CN117496643A - 检测和响应于智能家居环境的访客的系统和方法 - Google Patents

Abstract

本发明涉及测和响应于智能家居环境的访客的系统和方法。一种经由智能家居环境的电子问候系统检测和响应于智能家居环境的访客的方法，包括确定访客正在接近智能家居环境的入口；在访客正在接近入口时发起面部辨识操作；响应于确定访客正在接近入口，发起观察窗；在观察窗期间，从智能家居环境的一个或多个传感器获取场境信息；并且在时间窗结束时，基于场境信息和/或面部辨识操作的结果，发起对检测到的访客的接近的响应。

Description

检测和响应于智能家居环境的访客的系统和方法

分案说明

本申请属于申请日为2018年8月16日的中国发明专利申请No.201880033972.7的分案申请。

技术领域

这通常涉及响应于智能家居环境的访客，包括但不限于基于场境(contextual)信息来确定与访客交互的适当方式。

背景技术

房屋入口是通常与房屋居住者的安全和安心相关联的敏感区域。房屋所有者和居住者有兴趣监控他们的入口以确保安全和便利。一些现有的监视系统检测在安全相机的视场中的人员，并且一些在这样的检测时发起一般提醒。但是，单一类型的提醒并不适合所有检测到的人员。一些人员可能是受欢迎的客人、居住者、不受欢迎的访客或者仅仅是经过入口的人员。

准确识别和分类房屋的访客是一个挑战。向房屋的居住者提供有意义的选项以相应于这些访客也是一个挑战。非常需要用于发现和分类访客以及向用户提供相关选项以响应于访客的人性化技术。

发明内容

因此，需要具有用于实体(例如，人员)和事件识别、分类和呈现的更有效、准确和易于使用的方法的系统和/或设备。这类系统、设备和方法可选地补充或替代用于实体和事件识别、分类和/或呈现的常规系统、设备和方法。此外，需要具有用于识别和呈现与响应于实体和事件相关联的动作的更有效和易于使用的方法的系统和/或设备。这类系统、设备和方法可选地补充或替代用于动作识别和呈现的常规系统、设备和方法。

如果房屋监控系统不采用一些辨识/识别和分类处理，则该房屋监控系统的用户可能会受到关于不重要和琐碎事件的提醒和通知的轰炸。大量不必要或不完整的信息给用户增加了负担并且使得更难以识别和响应于重要事件。例如，每次有人员在房屋入口处安装的相机前面走动时均会接收入口运动通知的用户可能无法区分路人和访客。因此，能够辨识出何时检测事件是由接近入口的访客引起的是有益的。在区分该人员是否是接近入口的访客时，辨识关于该人员的动作的场境信息也是有益的。例如，系统可以发送详述“未知的人员正在接近前门”或“未知的人员已经在前门等了超过30秒但还未使门铃响铃”的通知，而不是发送陈述“运动被检测到”的通知。用户可以一目了然地看到事件的性质并请求更多细节(例如事件的片段)和/或生成响应(例如，提醒当局或者发起通信)。此外，通过在访客的接近期间辨识场境信息，房屋监控系统可以在访客到达入口之前确定用户的相关信息。因此，当访客到达入口并使门铃响铃或敲门时，房屋监控系统已经辨识出足够的场境信息以将相关信息发送给用户或采取适当的动作而无需必需等待访客到达入口，从而针对用户(例如，可以更快地响应于检测事件)和访客(例如，可以在几乎没有处理延迟的情况下与房屋监控系统交互)两者提高了系统的效率。

此外，房屋监控系统的用户通常具有可用于响应于检测到的访客的有限的选项。此外，如果呈现可用选项的任意子集，则它们可能与当前情况无关。因此，具有可用于响应于访客的大范围的选项是有益的，该选项诸如提醒当局、发起与访客的双向沟通、调整房屋中的安全设置等。此外，能够辨识关于访客的场境信息并呈现与特定情况相关的选项的适当子集是有益的。例如，如果已知的访客接近入口，则系统可以提供适合于已知的访客的动作的子集(例如，问候和/或解锁门的选项)。另一方面，如果未知的访客接近入口，则系统可以提供适合于未知的访客的不同的动作的子集(例如，警告、锁门的选项和/或呼叫当局的选项)。

在一个方面中，一些实施方式包括用于基于场境信息来辨识接近的访客以及发起响应的方法。在一些实施方式中，该方法包括：(1)确定访客正在接近入口；(2)在访客正在接近入口时发起面部辨识操作；(3)响应于确定访客正在接近入口，发起观察窗；(4)在观察窗期间，从智能家居环境的一个或多个传感器获取场境信息；(5)在观察窗结束时，基于场境信息和面部辨识操作的结果，发起对检测到的访客的接近的响应。

在一些实施方式中，在访客到达入口的物理交互区域之前发起观察窗，该物理交互区域限定访客在其中距入口足够接近以与入口的元件物理地交互的区域，该元件诸如门、门铃、传呼系统或电子问候系统的组件。例如，在访客足够接近以使门铃响铃或敲门之前，观察窗被发起以及(用作发起响应的基础的)场境信息被获取。

在一些实施方式中，在访客发起告知之前的任何时间，观察窗被发起(以及场境信息被获取)，该告知诸如敲门、按下门铃按钮、口头告知或与电子问候系统的组件的物理交互。例如，即使访客距入口足够接近以使门铃响铃或敲门，在访客实际上使门铃响铃或敲门(或进行其他任何种类的告知)之前的任何时间，观察窗被发起以及场境信息被获取。

在一些实施方式中，确定访客正在接近入口包括获取并分析指示接近的访客或在入口附近的访客的存在信息。在一些实施方式中，从智能家居环境的一个或多个运动传感器的运动数据中得出存在信息的部分或全部，该运动传感器包括例如无源红外(PIR)传感器、超声传感器、微波传感器和/或层析成像传感器。在一些实施方式中，从具有对应于入口的视场的一个或多个相机的视频数据中得出存在信息的部分或全部。例如，通过确定由相机或其他类型的运动传感器检测到的运动量满足一个或多个运动标准——诸如运动量超过阈值——得出存在信息。作为又一示例，通过分析多个图像帧以确定多个图像帧中的(例如，以像素测量的)对象的位置中的差异是否超过阈值，得出存在信息。在一些实施方式中，从音频传感器获取的音频信号中得出存在信息的部分或全部。例如，捕获音频事件(诸如脚步声、口头告知、门铃声音或敲门)的音频信号指示访客的存在。

在一些实施方式中，确定访客正在接近入口包括随时间比较访客的特性的尺寸。在一些实施方式中，确定访客正在接近包括随时间跟踪访客的一个或多个尺寸。例如，确定访客正在接近入口包括获取对访客的特性的尺寸的第一度量(诸如对访客的头部的初始高度的度量)、获取对访客的特性的尺寸的后续度量(诸如在初始高度度量之后的预确定时间量时对访客的头部的第二高度的度量)并且确定第一度量和后续度量之间的差异是否超过阈值。例如，如果访客的头部高度在第一度量和第二度量之间增加，则访客可能正在接近；否则，如果访客的头部高度不增加，则访客很可能没有接近或正在静止地站着。

在一些实施方式中，确定访客正在接近入口包括确定访客在距入口的阈值距离内。例如，如果在距入口的预确定距离内检测到人员，则将该人员确定为接近的访客。例如，一旦访客位于入口的15英尺、10英尺或5英尺之内，观察窗就被发起以及场境信息被获取。在一些实施方式中，响应于确定访客正在接近入口而发起观察窗包括响应于确定访客正在到入口的路径上(例如，已经进入走道、走廊或通向入口的外围大门)而发起观察窗。

在一些实施方式中，确定访客正在接近入口包括得出运动流。在一些实施方式中，运动流是从相机的视频流中得出的数据流，其中，数据流用作运动分析的基础。在一些实施方式中，通过检测关于相机的视场中的运动的量的信息或者通过将相机的视场中的检测到的运动的量与阈值进行比较来从视频流中得出运动流。在一些实施方式中，运动流包括在视频流中检测到的运动事件的运动掩码(mask)。

在一些实施方式中，该方法进一步包括当面部的大小超过运动流的帧的阈值比例时，从运动流中捕获访客的面部的裁剪。例如，一旦访客在相机的阈值距离(例如10英尺、5英尺或3英尺)内，相机就会生成访客的面部的经裁剪的图像。

在一些实施方式中，确定访客正在接近入口包括从智能家居环境的传感器获取位置数据；基于对位置数据的分析，识别访客相对于入口的位置；以及将访客的位置与距入口的阈值距离或访客的先前位置进行比较。

在一些实施方式中，确定访客正在接近入口包括检测访客进入或占据用户限定的活动区域。例如，如果访客进入了由被递送的包裹周围的3英尺半径限定的区域，则系统确定访客正在接近。如下所述，该信息也是场境信息的有用基础。

在一些实施方式中，确定访客正在接近入口包括检测访客的面部、高度、形状或移动特性(例如，诸如跛行的特定行走方式)中的至少一个。在一些实施方式中，特定访客的访客简档被设置(例如，由用户手动设置或者经由机器学习设置)以将特定的面部、高度、形状或移动特性与访客相关联。

在一些实施方式中，仅在访客接近时并且在到达入口的预确定距离(例如，附近)之前获取场境信息。在一些实施方式中，在访客正在接近时以及在访客在入口附近时都会获取场境信息。在一些实施方式中，仅当访客在入口附近时才获取场境信息。

在一些实施方式中，场境信息包括检测到的告知事件(例如，按下门铃按钮、敲门或口头告知)或在预确定时间阈值期间没有检测到的告知事件。例如，与已经到达入口但徘徊多于30秒而没有使门铃响铃或敲门的访客相比，在到达入口5秒钟之内使门铃响铃的访客可能适合来自电子问候系统的不同响应。在一些实施方式中，按门铃、敲门或口头告知是与已知访客相关联或以其他方式与已知访客相关联的按门铃或敲门的预指派的模式的一部分。例如，智能家居环境(例如，智能门铃)确定特定的访客总是在门的特定位置以特定的模式并且使用特定量的力来敲门。在该示例中，智能家居环境将这类敲门属性与特定访客相关联。在另一示例中，设置(例如，由用户手动设置或通过机器学习设置)特定访客的访客简档以将特定的敲门模式、特定的门铃铃声模式或特定的口头告知与特定的访客相关联。

在一些实施方式中，场境信息基于面部辨识分析结果、访客的一个或多个行为特性、访客的一个或多个身体特性、访客的一个或多个服装和/或配件特性、访客在其期间接近入口的一天中的时间、访客在其期间接近入口的一周中的一天；来自智能家居环境的音频数据；时间上接近已排程事件；时间上接近智能家居环境的已排程状态；电子问候系统的用户的已知或未知状态；电子问候系统的用户的预期或非预期状态；电子问候系统的用户的位置；电子问候系统的用户的身份；和/或一个或多个检测到的访客动作(例如，门铃激活、敲门、音频告知和/或访客与电子问候系统之间的任何其他交互)。在一些实施方式中，场境信息基于一个或多个检测到的访客动作的计时(例如，自访客被检测到或被确定已经接近或在入口附近以来访客按下门铃或敲门花费的时间，或者自从访客被检测到或被确定已经接近或在入口附近以来访客徘徊了多久而没有按门铃或敲门)。

在一些实施方式中，场境信息包括访客的特性，诸如身高、性别、年龄等。在一些实施方式中，场境信息包括确定的访客的生物特征。在一些实施方式中，如果一组访客一起接近入口，则场境信息包括访客的数量和/或所识别的访客之间的互动。在一些实施方式中，场境信息包括关于访客是否持有任何物品和/或这类物品的标识(例如，盒子、铁棍或食品物品)的信息。在一些实施方式中，场境信息包括关于智能家居附近(例如，在街区、1英里或10英里内)的任何活动的或最近的(例如，在最近1小时、1天或1周内)安全提醒的信息。在一些实施方式中，场境信息包括关于智能家居的先前访客的信息(例如，先前访客是罪犯、推销员还是邻居)。

在一些实施方式中，观察窗在以下中的较早时结束：(1)预确定的时间阈值；以及(2)检测到的访客告知。例如，如果响应的访客使门铃响铃或敲门，则观察窗将束而不管是否达到预确定的时间阈值，从而允许电子问候系统做出迅速响应。作为另一示例，如果在到达预确定时间阈值之前徘徊的访客还未按门铃或敲门，即使访客还未作出告知，观察窗也结束，从而允许电子问候系统做出迅速响应。

在一些实施方式中，对访客的响应包括向访客传达通信；发起安全动作；和/或将告知传输给电子问候系统的用户、传输给用户的预选择的联系人和/或传输给公共或私人执法人员。

在一些实施方式中，通信包括以下中的至少一个：传达电子问候系统的用户的状态的通信；指示访客执行动作的通信；指示访客留言的通信；预编程的定制通信；用于转换为音频消息的用户编写的文本消息；通过合成语音传达的音频通信；和/或在显示器上呈现的视觉通信。

在一些实施方式中，安全动作包括以下中的至少一个：激活灯或调整智能家居环境的照明级别；锁或解锁智能家居环境的门；激活警报或调整智能家居环境的报警敏感度；激活智能家居环境的洒水器系统；激活模拟狗吠；激活安全系统或调整智能家居环境的安全状态；向公共或私人执法人员传输通知或提醒；向用户的预选择的联系人传输通知或提醒；和/或记录访客的图像或视频。

在一些实施方式中，通知包括以下中的至少一个：关于访客的信息；关于面部辨识操作的结果的信息；关于检测到的访客告知事件或缺少事件的信息；和/或关于所获取的场境信息的信息。

在另一方面，一些实施方式包括智能家居环境的电子问候系统，该电子问候系统包括：(1)相机；(2)一个或多个处理器；以及(3)耦合到一个或多个处理器的存储器，存储器存储被配置成由一个或多个处理器执行的一个或多个程序。在一些实施方式中，一个或多个程序包括用于实施上述操作中的一个或多个的指令。

在另一方面，一些实施方式包括存储一个或多个程序的非瞬时性计算机可读存储介质。在一些实施方式中，一个或多个程序包括指令，该指令在由计算系统执行时，使系统实现上述操作中的一个或多个。

在另一方面中，一些实施方式包括提供用于响应于智能家居环境的访客或与之交互的适当的动作的方法。在一些实施方式中，该方法包括：(1)检测智能家居环境的访客；(2)从智能家居环境中获取关于访客的场境信息；(3)基于场境信息，识别可用于客户端设备的用户的以用于经由电子问候系统与访客交互的多个适当动作；以及(4)使所识别的动作被呈现给客户端设备的用户。例如，智能家居环境可以检测具有盒子的递送员接近并向智能家居用户发送适当的动作(有时在本文中称为“快速动作”)，使用户能够(1)指令递送员将盒子留在门廊上，(2)指令递送员稍后重新递送，或(3)询问递送员投递是否需要针对递送的签名。

在一些实施方式中，(1)检测访客包括确定(a)访客正在接近智能家居环境的入口，或者(b)访客在智能家居环境的入口附近。在一些实施方式中，确定访客正在接近或在入口附近包括先前所述的方面和实施方式中的任一个。

在一些实施方式中，(1)检测访客包括(a)从传感器获取运动数据；以及和(b)基于对运动数据的分析，识别涉及访客接近智能家居环境的入口的运动事件。在一些实施方式中，(a)获取运动数据包括：(i)分析多个图像帧以确定多个帧中的两个或更多个帧之间的运动是否满足运动标准；(ii)分析来自红外传感器的红外数据以确定红外数据的差异是否满足运动标准；和/或(iii)分析来自运动传感器的数据以确定该数据是否满足运动标准。例如，智能家居分析视频流以确定存在的运动的量是否超过预设的运动阈值。作为另一示例，智能家居利用无源红外(PIR)传感器来确定用户与智能家居入口之间的距离是否在缩小。在一些实施方式中，(b)识别运动事件包括：(i)检测访客进入了入口附近的活动区域；(ii)检测访客的面部；和/或(iii)检测访客的身高、外形和移动特性中的至少一个。

在一些实施方式中，(2)基于先前所述的方面和实施方式中的任一个来获取场境信息。

在一些实施方式中，(2)基于以下获取场境信息：(i)面部辨识分析；(ii)访客的一个或多个行为特性；(iii)访客的一个或多个服装特性；(iv)访客在其期间接近入口的一天中的时间；(v)音频数据；(vi)时间上接近预排程事件；(vii)时间上接近智能家居环境的预排程状态；(viii)用户的状态或位置；(ix)检测到的访客动作(例如，推门铃、敲门、音频或口头告知和/或访客与电子问候系统之间的交互)；和/或(x)检测到的访客动作的计时(例如，将检测到的访客动作的计时与识别涉及访客接近入口的运动事件的计时进行比较)。在一些实施方式中，场境信息包括关于智能家居用户的位置和/或状态的信息。

在一些实施方式中，多个适当动作包括先前所述方面和实施方式中的响应中的任一个。

在一些实施方式中，多个适当的动作包括：(i)一个或多个基于通信的动作；(ii)一个或多个基于动作的动作；(iii)一个或多特定人员的动作；(iv)一个或多个特定位置的动作；(v)一个或多个特定建筑物的行动；和/或(vi)一个或多个特定用户意向的动作。

在一些实施方式中，(i)一个或多个基于通信的动作包括：(a)发送关于用户的状态的消息；(b)发送指示访客执行动作的消息；(c)发送指示访客留言的消息；(d)向访客发送预编程的定制消息；(e)为访客发送要被转换为音频消息的用户编写的文本消息；(f)向访客发送由合成语音说出的音频消息；和/或(g)向访客发送在屏幕上显示的视觉消息。在一些实施方式中，在用户和访客之间的同时音频通信期间，接收对基于通信的动作的用户选择。

在一些实施方式中，(ii)一个或多个基于动作的动作包括：(a)调整智能家居环境的安全级别；(b)锁或解锁智能家居环境的门；(c)调整智能家居环境的灯的亮度级别；(d)提醒执法人员；(e)提醒用户的预选择的联系人；(f)记录访客的图像或视频；和/或(g)打开智能家居环境的警报。

在一些实施方式中，(iii)基于以下选择一个或多特定人员的动作：(a)访客的状态(例如，已知的、未知的、预期的或非预期的)；(b)检测到的访客的身份；和/或(c)当识别到运动事件时访客是否是被期望的。

在一些实施方式中，(4)识别可用于用户的多个适当动作包括基于场境信息对一个或多个动作进行排名以及基于排名对一个或多个动作进行排序。在一些实施方式中，要呈现给客户端设备的用户的所识别的动作的数量基于在客户端设备的用户界面的快速动作区域中可用的屏幕空间量。在一些实施方式中，要呈现给客户端设备的用户的所识别的动作的数量基于客户端设备的尺寸。在一些实施方式中，要呈现给客户端设备的用户的所识别的动作的数量基于客户端设备的定向。在一些实施方式中，识别可用于用户的多个适当动作包括从P个适当动作的超集中选择N个适当动作，其中，N和P为整数并且P大于N；以及将所选择的适当动作识别为多个适当动作。换句话说，显示给用户的适当动作的数量是适当动作的主列表的子集。

在一些实施方式中，该方法进一步包括：(5)从客户端设备的用户接收对所识别的动作的选择，以及(6)使该动作被执行。例如，智能家居用户选择要求访客陈述她为什么来访的原因快速动作。在该示例中，用户选择通过入口附近的扬声器(例如，智能门铃设备上的扬声器)中继该请求来触发音频输出。

在一些实施方式中，该方法进一步包括：(7)基于访客对所执行的动作的响应来获取附加场境信息；(8)基于附加场境信息，识别后续可用于客户端设备的用户以用于经由电子问候系统与访客交互的多个适当动作；以及(9)使所识别的后续动作被呈现给客户端设备的用户。在一些实施方式中，该方法进一步包括：(10)从客户端设备的用户接收对所识别的后续动作的后续选择，(11)以及使该后续动作被执行。例如，来自先前示例的访客陈述她到访是因为她与苏珊——智能家居居住者中的一个——有研究会议日程。在该示例中，然后，智能家居可以向智能家居用户发送新的快速动作集，包括(a)解锁门的动作，(b)向苏珊提醒访客的动作，(c)请求访客等待某人来接听的动作，以及(d)通知访客苏珊忙且必须取消研究会议的动作。

在一些实施方式中，该方法进一步包括：(12)连续获取场境信息；(13)基于连续获取的场境信息，连续地识别可用于客户端设备的用户的以用于经由电子问候系统与访客交互的接连的多个适当动作；以及(14)连续地使所识别的接连的多个动作被呈现给客户端设备的用户。在一些实施方式中，该方法进一步包括(15)从客户端设备的用户接连地接收对连续识别的接连的多个动作的一个或多个选择，以及(16)使一个或多个选择的动作被执行。

在另一方面，一些实施方式包括被配置为执行本文所述的方法中的任一个的电子问候系统。在一些实施方式中，电子问候系统包括用于执行本文所述的任何操作的装置。在一些实施方式中，电子问候系统包括一个或多个相机和服务器系统。在一些实施方式中，电子问候系统包括门铃设备，该门铃设备具有一个或多个麦克风、一个或多个扬声器、一个或多个相机以及用户界面(例如，触摸屏和/或用于触发设备的可供性(offordance))。

因此，为系统提供了更加高效和有效的方法以用于监控和便于对视频流中的事件和人员的检查，从而提高了这类系统的准确性、有效性、效率和用户满意度。另外，为系统提供了用于响应于视频流中的人员或与之交互的更有效的方法，从而提高了这类系统的准确性、有效性、效率和用户满意度。这类系统和方法可以补充或替代用于事件和人员监控、呈现、响应和交互的常规系统和方法。

附图说明

为了更好地理解各个所述的实施方式，应当结合下述附图，参考下文的实施方式的描述，在附图中，相同的附图标记在整个附图中指代对应的部件。

图1是根据一些实施方式的示例性智能家居环境。

图2A是示出根据一些实施方式的包括智能家居网络的代表性网络架构的框图。

图2B是根据一些实施方式的服务器系统在其中与客户端设备和智能设备交互的代表性操作环境。

图3A是示出根据一些实施方式的代表性服务器系统的框图。

图3B示出了一些实施方式中使用的各种数据结构。

图4是示出根据一些实施方式的代表性智能设备的框图。

图5示出根据一些实施方式的用于视频分析和分类的代表性系统架构。

图6是示出根据一些实施方式的代表性客户端设备的框图。

图7A-7C示出根据一些实施方式的代表性人员检测和辨识过程。

图8A-8B示出根据一些实施方式的代表性访客状态归类操作。

图9A-9D是示出根据一些实施方式的检测和响应于访客的方法的流程图。

图10A-10L示出了根据一些实施方式的用于通知客户端设备的用户访客正在接近并且促进与访客的交互的代表性用户界面。

图11A-11B示出了根据一些实施方式的用于显示具有快速动作的通知的代表性用户界面。

图12A-12D示出了根据一些实施方式的用于显示通知的代表性用户界面。

图13A-13D示出了根据一些实施方式的用于通过对话方式与访客进行交互的代表性用户界面。

图14示出了根据一些实施方式的包括交互摘要(例如，图9D，摘要988)的代表性摘要通知。

贯穿附图中的若干视图，相似的附图标记指代对应的部件。

具体实施方式

由于与房屋监控系统相关联的潜在大量提醒和通知，采用一些辨识/识别和分类过程是有益的。例如，能够辨识出运动事件是由接近入口的访客还是仅仅路过引起的并且通告用户发生的事件的类型以及所涉及的人员/实体是有益的，而不是每次有人员走过安装在房屋入口处的相机前就通知用户。这使得用户能够更快、更高效地确定事件是否需要任何动作或由用户进一步检查。以这种方式，用户可以更快速且容易地将重要事件(例如，需要立即响应或更详细检查的事件)与不需要进一步的检查或响应的琐碎事件区分开。此外，用户可以一目了然地看到事件的性质并且要求更多细节(例如，事件的片段)和/或产生响应(例如，提醒当局或发起通信)。

此外，由于许多不同的访客在其中可能会接近用户的住所的场景，因此在这种场境中有大范围的选项可用于响应于访客是有益的，诸如提醒当局、发起与访客的双向通信、调整住所的安全设置等。此外，能够辨识关于访客的场境信息并呈现与特定情况相关的适当的选项的子集是有益的。例如，如果已知访客接近入口，则系统可以提供适合于已知访客的动作的子集(例如，问候和/或解锁门的选项)。另一方面，如果未知访客接近入口，则系统可以提供适合未知访客的不同的动作的子集(例如，警告、锁门的选项和/或呼叫当局的选项)。

因此，一些实施方式包括联网的电子问候系统，该电子问候系统包括辨识与检测到的访客有关的场境信息的相机。在一些实施方式中，当访客按下门铃(或敲门或做出口头告知)时，系统将存在访客告知(例如，按下门铃按钮或敲门)的指示发送到用户的设备(在本文中有时也称为客户端设备和便携式电子设备；例如，智能电话)，并且用户的设备显示提醒(或其他类型的通知)。在一些实施方式中，提醒包括访客的视频片段(例如，图形交换格式(gif))和/或静态图像。在一些实施方式中，如果系统感测到涉及正接近的访客的运动事件，并且访客在阈值时间量内未做出告知(例如，未按下门铃或敲门)，则系统向用户的设备发送存在尚未做出告知的访客(有时本文称为徘徊的访客)的指示。

在一些实施方式中，用户设备的用户界面包括忽略提醒的选项、发起与访客的语音或文本到话音通信的选项以及显示建议动作列表的选项(在本文中有时也称为快速操作)。在一些实施方式中，在语音或文本到话音的通信会话之前和期间，显示快速动作的选项是可用的。在一些实施方式中，选择显示快速动作的选项不会在用户设备上打开麦克风，这使用户能够在不传输用户的实况音频的情况下进行响应。例如，如果用户正在开会或者不能或不愿意传输实况音频，则用户仍然能够经由快速动作进行响应。

在一些实施方式中，用户设备的用户界面包括使智能家居系统(例如，经由虚拟助手)与访客交互的选项。使用虚拟助手来与访客交互有时在本文中也称为对讲交互。在一些实施方式中，智能家居系统为用户提供虚拟助手与访客交互的摘要。

在一些实施方式中，用户可以对快速动作或助手响应中的一个或多个进行预编程。在一些实施方式中，用户可以通过向智能家居环境的扬声器设备讲话来预编程快速动作或助手响应。在一些实施方式中，用户可以通过使用客户端设备、电子问候系统、服务器系统或与智能家居环境相关联的任何其他合适的计算机系统来预编程快速动作或助手响应。

在一些实施方式中，快速动作的至少一个子集是基于通信的，诸如发送语音或文本到话音消息、发起对讲交互和/或发起预录制的问候。预录制的问候或警告消息可选的是人员的语音(例如，用户的语音)或人工语音(例如，虚拟助手的语音)的录音。在一些实施方式中，快速动作的至少一个子集是面向动作的，诸如提高智能家居环境的安全级别、锁门或解锁门、开灯或关灯、呼叫当局、提醒安全公司或与智能家居相关联的其他人员(例如邻居)、捕获访客的快照或视频片段(例如，并且将其发送给当局或将其存储在用户可访问的服务器系统上)和/或打开或关闭警报。在一些实施方式中，所呈现的快速动作列表包括至少一个基于通信的快速动作和至少一个面向动作的快速动作。在一些实施方式中，针对已知访客个性化快速动作的至少一个子集(例如，发送个性化的问候或指令、捎消息和/或询问密码)。在一些实施方式中，快速动作的至少一个子集特定于建筑物的类型(例如，住所、公寓楼、公寓建筑物和/或工作场所)。在一些实施方式中，快速动作的至少一个子集特定于智能家居用户的状况和/或性情，诸如智能家居用户是在家(例如，独自一人)还是不在家中，或者该用户当前是否没有感觉到安全(例如，一直受到威胁)。例如，如果智能家居用户当前感到不安全，则系统提供更多面向安全的动作，而如果智能家居用户感到安全，则系统提供更多基于问候的动作。

在一些实施方式中，电子问候系统包括请勿打扰模式，在此期间，提醒受到限制。在一些实施方式中，通过在房屋内使门铃声音效果静默(或减小其音量)来限制提醒，同时仍将提醒或其他通知发送到客户端设备。在一些实施方式中，与是否播放内部门铃声音无关，播放外部门铃声音以给访客已按门铃的反馈。在一些实施方式中，系统向用户提供视觉反馈(例如，在安装在门铃附近或与门铃集成的显示器上的旋转轮或预编程消息)。在一些实施方式中，通过使发送到客户端设备的提醒静音来限制提醒。在一些实施方式中，当处于请勿打扰模式时，电子问候系统(例如，通过助手)询问访客本次到访是否重要。如果重要，则系统向用户发送对应的提醒，并且可选地，停止限制提醒。如果不重要，则系统通告访客用户忙并且请求访客为用户留言。理解的是，如果与安全有关的场境信息使得这样做不谨慎，则系统将不会通告访客用户正忙或不在家里。在一些实施方式中，在确定用户正忙之后，电子问候系统捕获访客的图像或视频片段以向用户报告。在一些实施方式中，如果访客的面部没有在相机的视场中停留足够长的时间以捕获期望的图像或视频片段(例如，显示访客的面部的无遮挡的正面视图的图像或视频片段)，则系统请求访客在门前停留一会儿(例如，直到系统有足够的时间来捕获图像或视频片段为止)。在一些实施方式中，当访客出现后用户使用电子问候系统时，系统向用户提供关于到访的报告。

在一些实施方式中，电子问候系统经由两个或更多个通信信道(例如，经由WiFi和蓝牙)选择性地耦合到智能家居环境。例如，当智能家居WiFi中断时，问候系统将切换到备用网络，诸如蓝牙。

在一些实施方式中，电子问候系统包括安装在门铃设备附近或与门铃设备集成的相机。附加地或替代地，电子问候系统包括安装在较高位置(例如5英尺、6英尺或8英尺高)的相机，以便更好地看到访客的面部。

在一些实施方式中，电子问候系统通过感测一系列敲击来检测敲门。在一些实施方式中，当检测到敲击时，系统适应于不同的门材料和/或类型(例如，木材、金属、前门、后门)。在一些实施方式中，当检测敲击时，系统适应于来自入口周围环境的环境噪声。在一些实施方式中，系统仅在确定访客正接近时才感测敲击。在一些实施方式中，在检测到敲击时，系统使门铃响起，向客户端设备发送对应的通知和/或捕获访客的图像或视频片段。

现在转到附图，图1是根据一些实施方式的示例性智能家居环境100。智能家居环境100包括具有各种集成设备的结构150(例如，住所、办公建筑物、车库或移动房屋)。将理解的是，设备也可以被集成到不包括整个结构150的智能家居环境100中，诸如公寓、公寓楼或办公室空间。此外，智能家居环境100可以控制和/或耦合到实际结构150外部的设备。实际上，智能家居环境100中的多个设备不需要物理上位于结构150内。例如，控制泳池加热器114或灌溉系统116的设备可以位于结构150的外部。

将被理解的是，“智能家居环境”可以是指代诸如单户住所的房屋的智能环境，但是本教导的范围不限于此。本教导还适用于但不限于联式房屋、联排别墅、多单元公寓建筑物、旅馆、零售店、办公建筑物、工业建筑物以及更常见的任何居住空间或工作空间。

还将被理解的是，尽管词语用户、客户、安装者、房物所有者、居住者、客人、租户、房东、维修人员等可以用来指代在本文所述的一些特定情况的场境中行动的一个或多个人员，但这些指代并不限制关于执行这种动作的一个或多个人员的本教导的范围。因此，例如，在单户居民住宅的情况下，词语用户、客户、购买者、安装者、订户和房物所有者可能经常指代同一人员，因为户主通常是做出购买决定、购买单元以及安装和配置单元的人员并且还是该单元的用户中的一个。但是，在其他场景下，诸如房东-租户环境，关于购买单元而言客户可能是房东，安装者可能是本地公寓监管员，第一用户可能是租户，关于远程控制功能而言第二用户可能又是房东。重要的是，尽管执行动作的人员的身份可能与实施方式中的一个或多个提供的特定优势密切相关，但在随后的描述中，这种身份不应当被解释为必然将本教导的范围限制到具有这些特定身份的特定个人。

所描绘的结构150包括多个房间152，其经由墙壁154至少部分地彼此分离。墙壁154可以包括内壁或外壁。每个房间可以进一步包括地板156和天花板158。设备可以安装在墙壁154、地板156或天花板158上、与墙壁154、地板156或天花板158集成和/或由墙壁154、地板156或天花板158支撑。

在一些实施方式中，智能家居环境100的集成设备包括在智能家居网络(例如，图2A 202)中彼此和/或与中央服务器或云计算系统无缝整合的智能化的、多感测的、联网的设备，以提供各种有用的智能家居功能。智能家居环境100可以包括：一个或多个智能化的、多感测的、联网的恒温器102(下文称为“智能恒温器102”)；一个或多个智能化的、联网的、多感测的危险检测单元104(下文称为“智能危险检测器104”)；一个或多个智能化的、多感测的、联网的入口接口设备106和120(下文称为“智能门铃106”和“智能门锁120”)以及一个或多个智能化的、多感测的、联网的警报系统122(下文称为“智能警报系统122”)。

在一些实施方式中，一个或多个智能恒温器102检测环境气候特性(例如，温度和/或湿度)并且相应地控制HVAC系统103。例如，相应的智能恒温器102包括环境温度传感器。

一个或多个智能危险检测器104可以包括指向相应的热源(例如，炉子、烤箱、其他家电、壁炉等)的热辐射传感器。例如，厨房153中的智能危险检测器104包括指向炉子/烤箱112的热辐射传感器。热辐射传感器可以确定其所指向的相应的热源(或其一部分)的温度并且可以将对应的黑体辐射数据提供为输出。

智能门铃106和/或智能门锁120可以检测人员接近或从位置(例如，外门)离开、控制门铃/锁门功能性(例如，从便携式电子设备166接收用户输入以致动智能门锁120的螺栓)、经由音频或视觉装置通告人员的接近或离开和/或控制安全系统上的设置(例如，当居住者离开和回来时激活或解除安全系统)。在一些实施方式中，智能门铃106包括相机118的组件和特征中的一些或所有。在一些实施方式中，智能门铃106包括相机118。在一些实施方式中，智能门铃106包括嵌入在门铃106中的相机118。在一些实施方式中，智能门铃106包括安装在门铃106上或附近的相机。在一些实施方式中，智能门铃106包括未安装在门铃中、门铃上或门铃附近而是安装在接近门铃106处的相机118。在一些实施方式中，智能门铃106包括两个或更多个相机118(例如，一个相机面向入口，并且另一个相机面向访客)。在一些实施方式中，智能门铃106具有与摄像机118分离的相机(在本文中有时也称为门铃相机106)。出于本公开的目的，对门铃106的视频相关引用是指代与门铃106相关联的一个或多个相机。

智能警报系统122可以检测极接近的个体的存在(例如，使用内置IR传感器)，使警报发声(例如，通过内置扬声器或通过向一个或多个外部扬声器发送命令)并且向智能家居网络100内/外的实体或用户发送通知。在一些实施方式中，智能警报系统122还包括用于验证用户的身份的一个或多个输入设备或传感器(例如，小键盘、生物识别扫描仪、NFC收发器、麦克风)以及一个或多个输出设备(例如，显示器、扬声器)。在一些实施方式中，智能警报系统122还可以被设置为“布防”模式，使得除非执行撤防动作，否则对触发条件或事件的检测使警报被听见。

在一些实施方式中，智能家居环境100包括一个或多个智能化的、多感测的、联网的墙壁开关108(下文称为“智能墙壁开关108”)以及一个或多个智能化的、多感测的、联网的墙壁插座接口110(下文称为“智能墙壁插座110”)。智能墙壁开关108可以检测环境照明条件，检测房间占用状态并控制一个或多个灯的功率和/或调光状态。在一些情况下，智能墙壁开关108还可以控制诸如吊扇的风扇的功率状态或速度。智能墙壁插座110可以检测房间或封闭场地的占用并控制对一个或多个墙壁插座供电(例如，使得如果没有人在家，则不向插座供电)。

在一些实施方式中，图1的智能家居环境100包括多个智能化的、多感测的、联网的家电112(下文称为“智能家电112”)，诸如冰箱、炉子、烤箱、电视、洗衣机、烘干机、灯、立体声音响、对讲机系统、车库门开启器、落地扇、吊扇、墙壁空调、游泳池加热器、灌溉系统、安全系统、空间加热器、窗户AC单元和电动管道通风口等。在一些实施方式中，当插入时，家电可以诸如通过指示家电的类型是什么来向智能家居网络告知自己，并且它可以自动地与智能家居的控件集成。可以通过有线或无线通信协议来促进家电到智能家居的这种通信。智能家居还可以包括各种非通信的传统家电140，诸如旧的传统洗衣机/烘干机、冰箱等，其可以由智能墙壁插座110控制。智能家居环境100可以进一步包括可以由智能危险检测器104或智能墙壁开关108提供的IR信号控制的多种部分地通信的传统家电142，诸如红外(“IR”)控制的墙壁空调或其他IR控制的设备。

在一些实施方式中，智能家居环境100包括被配置为在智能家居环境100中提供视频监控和安全的一个或多个联网的相机118。相机118可以被用来确定结构150和/或在结构150中的特定房间152的占用，因此可以充当占用传感器。例如，可以处理由相机118捕获的视频以识别结构150中(例如，特定房间152中)的居住者的存在。特定个体可以基于例如其外貌(例如，身高、面部)和/或移动(例如，其步行/步态)来被识别。相机118可以另外包括一个或多个传感器(例如，IR传感器、运动检测器)、输入设备(例如，用于捕获音频的麦克风)和输出设备(例如，用于输出音频的扬声器)。在一些实施方式中，相机118被分别配置为在白天模式和低光模式(例如，夜间模式)下操作。在一些实施方式中，相机118均包括一个或多个IR照明器，以用于在相机在低光模式下操作时提供照明。在一些实施方式中，相机118包括一个或多个室外相机。在一些实施方式中，室外相机包括附加特征和/或组件，诸如防风雨和/或太阳光线补偿。

在一些实施方式中，智能家居环境100包括被配置为在智能家居环境100的入口附近提供视频监控和安全的一个或多个联网的门铃106。门铃106可选地用于确定访客的接近和/或存在。特定个体基于例如其外貌(例如，身高、面部)和/或移动(例如，其步行/步态)来被可选地识别。门铃106可选地包括一个或多个传感器(例如，IR传感器、运动检测器)、输入设备(例如，用于捕获音频的麦克风)和输出设备(例如，用于输出音频的扬声器)。在一些实施方式中，门铃106被配置为在高光模式(例如，白天模式)和低光模式(例如，夜间模式)下操作。在一些实施方式中，门铃106包括一个或多个IR照明器，以用于在相机在低光模式下操作时提供照明。在一些实施方式中，门铃106包括一个或多个灯(例如，一个或多个LED)，以用于在低光条件下照亮门铃和/或给访客视觉反馈。在一些实施方式中，门铃106包括附加的特征和/或组件，诸如防风雨和/或太阳光线补偿。在一些实施方式中，门铃106是电池供电的并且以低功率或高功率模式运行。在一些实施方式中，在低功率模式下，门铃106使用诸如一直接通或周期性接通的PIR传感器的低功率传感器来检测接近的访客。在一些实施方式中，在检测到访客接近之后，门铃106切换到高功率模式以执行进一步的处理功能(如下所述)。

在一些实施方式中，智能家居环境100可以附加地或替代地包括一个或多个其他占用传感器(例如，智能门铃106、智能门锁120、触摸屏、IR传感器、麦克风、环境光传感器、运动检测器、智能夜灯170等)。在一些实施方式中，智能家居环境100(例如，在每个房间152或其一部分中)包括基于位于或嵌入居住者中的RFID标签来确定占用的射频识别(RFID)读取器。例如，RFID读取器可以被集成到智能危险检测器104中。

在一些实施方式中，智能家居环境100可以包括在实际房屋之外但在房屋的邻近地理范围内的一个或多个设备。例如，智能家居环境100可以包括将当前泳池温度传送到智能家居环境100内的其他设备和/或接收用于控制泳池温度的命令的泳池加热器监控器114。类似地，智能家居环境100可以包括传送关于智能家居环境100内的灌溉系统的信息和/或接收用于控制这种灌溉系统的控制信息的灌溉监控器116。

借助于网络连接性，图1的智能家居设备中的一个或多个可以进一步允许用户与设备交互，即使用户不接近设备。例如，用户可以使用计算机(例如，台式计算机、手提计算机或平板电脑)或其他便携式电子设备166(例如，诸如智能电话的移动电话)与设备通信。网页或应用可以被配置为从用户接收通信并且基于通信控制设备和/或向用户呈现关于设备的操作的信息。例如，用户可以查看设备(例如，炉子)的当前设定点温度并且使用计算机对其进行调整。用户可能在该远程通信期间处于结构中或结构外。

如上所述，用户可以使用联网的计算机或便携式电子设备166来控制智能家居环境100中的智能设备。在一些示例中，居住者(例如，住在家中的个人)中的一些或所有可以向智能家居环境100注册他们的设备166。这样的注册可以在中央服务器处进行以将居住者和/或设备认证为与房屋相关联，并且许可居住者使用该设备来控制家中的智能设备。居住者可以使用他们的经注册的设备166来远程控制房屋中的智能设备，诸如当居住者在工作或度假时。当居住者实际位于房屋中时，诸如当居住者坐在房屋中的沙发上时，居住者还可以使用他们的经注册的设备来控制智能设备。应被理解的是，取代或除了注册设备166之外，智能家居环境100可以推断出哪些个人居住在房屋中并且因此是居住者以及哪些设备166与那些个人相关联。这样，智能家居环境可以“学习”谁是居住者并且允许与那些个人相关联的设备166来控制家中的智能设备。

在一些实施方式中，除了包含处理和感测能力之外，设备102、104、106、108、110、112、114、116、118、120和/或122(统称为“智能设备”)能够与其他智能设备、中央服务器或云计算系统和/或联网的其他设备进行数据通信和信息共享。可以使用各种定制或标准无线协议(例如，IEEE 802.15.4、Wi-Fi、ZigBee、6L0WPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.5A、WirelessHART、MiWi等)中的任何一个和/或各种定制或标准有线协议(例如，以太网、HomePlug等)中的任何一个或包括在本文件的提交日期时还未开发的通信协议的任何其他合适的通信协议来执行数据通信。

在一些实施方式中，智能设备用作无线或有线中继器。在一些实施方式中，智能设备中的第一个经由无线路由器与智能设备中的第二个通信。智能设备可以进一步经由到诸如互联网162的网络的连接(例如，网络接口160)彼此通信。通过互联网162，智能设备可以与服务器系统164(本文也称为中央服务器系统和/或云计算系统)通信。服务器系统164可以与和智能设备相关联的制造商、支持实体或服务提供商相关联。在一些实施方式中，用户能够使用智能设备本身联系客户支持，而不是需要使用其他通信装置，诸如电话或连接互联网的计算机。在一些实施方式中，软件更新(例如，当可用时、当被购买时或以例行间隔)被自动地从服务器系统164发送到智能设备。

在一些实施方式中，网络接口160包括传统网络设备(例如，路由器)，并且图1的智能家居环境100包括直接或者经由网络接口160通信地耦合到网络162的集线器设备180。集线器设备180进一步通信地耦合到上述智能化的、多感测的、联网的设备(例如，智能家居环境100的智能设备)中的一个或多个。这些智能设备中的每一个可选地使用至少在智能家居环境100中可用的一个或多个无线电通信网络(例如，ZigBee、Z-Wave、Insteon、蓝牙、Wi-Fi和其他无线电通信网络)与集线器设备180通信。在一些实施方式中，可以经由在智能电话、家庭控制器、手提电脑、平板计算机、游戏机或类似的电子设备上运行的应用来控制集线器设备180和与集线器耦合的设备/耦合到集线器的设备和/或与集线器设备180和与集线器耦合的设备/耦合到集线器的设备交互。在一些实施方式中，这类控制器应用的用户可以查看集线器设备或耦合的智能设备的状态、配置集线器设备以与新引入到家庭网络的智能设备互操作、调试新的智能设备以及调整或查看连接的智能设备的设置等。在一些实施方式中，集线器设备扩展了低性能智能设备的性能以匹配相同类型的高性能智能设备的性能，集成了多种不同设备类型的功能性——甚至跨不同的通信协议，并且被配置为简化新设备的添加和集线器设备的调试。在一些实施方式中，集线器设备180进一步包括本地存储设备，以用于存储与智能家居环境100的智能设备相关或由其输出的数据。在一些实施方式中，数据包括以下中的一个或多个：由相机设备输出的视频数据、由智能设备输出的元数据、智能设备的设置信息和智能设备的使用日志等。

在一些实施方式中，智能家居环境100包括本地存储设备190，以用于存储与智能家居环境100的智能设备相关或由智能家居环境100的智能设备输出的数据。在一些实施方式中，数据包括以下中的一个或多个：由相机设备(例如，包括在门铃106中的相机)输出的视频数据、由智能设备输出的元数据、智能设备的设置信息和智能设备的使用日志等。在一些实施方式中，本地存储设备190经由智能家居网络(例如，图2A，智能家居网络202)通信地耦合到一个或多个智能设备。在一些实施方式中，本地存储设备190经由有线和/或无线通信网络选择性地耦合到一个或多个智能设备。在一些实施方式中，本地存储设备190被用来在外部网络条件差时存储视频数据。例如，当包括在门铃106中的相机的编码比特率超过外部网络(例如，网络162)的可用带宽时，使用本地存储设备190。在一些实施方式中，本地存储设备190在将视频数据传递到服务器系统(例如，服务器系统164)之前，临时存储来自一个或多个门铃(例如，门铃106)的视频数据。

图2A是示出根据一些实施方式的包括智能家居网络202的代表性网络架构200的框图。在一些实施方式中，智能家居环境100中的智能设备204(例如，设备102、104、106、108、110、112、114、116、118、120和/或122)与集线器设备180组合以在智能家居网络202中创建网状网络。在一些实施方式中，智能家居网络202中的一个或多个智能设备204作为智能家居控制器操作。附加地和/或替代地，集线器设备180作为智能家居控制器操作。在一些实施方式中，智能家居控制器具有比其他智能设备更大的计算能力。在一些实施方式中，智能家居控制器处理(例如，来自智能设备204、电子设备166和/或服务器系统164的)输入并且(例如，向智能家居网络202中的智能设备204)发送命令以控制智能家居环境100的操作。在一些实施方式中，智能家居网络202中(例如，网状网络)中的智能设备204中的一些是“发言人(spokesman)”节点(例如，204-1)，而其他智能设备是“低功率”节点(例如，204-9)。智能家居环境100中的智能设备中的一些是电池供电的，而其他智能设备诸如通过连接到智能家居环境的墙壁154后面的布线(例如，连接到120V线电压线路)而具有稳定且可靠的电源。具有稳定且可靠的电源的智能设备被称为“发言人”节点。这些节点通常被配备有使用无线协议来促进与智能家居环境100中的各种其他设备以及与服务器系统164的双向性通信的性能。在一些实施方式中，一个或多个“发言人”节点作为智能家居控制器操作。另一方面，电池供电的设备是“低功率”节点。这些节点往往比发言人节点小并且通常仅使用诸如Zigbee、ZWave、6LoWPAN、Thread、蓝牙等的需要非常小的功率的无线协议进行通信。

在一些实施方式中，一些低功率节点不能双向通信。这些低功率节点发送消息，但它们无法“收听”。因此，智能家居环境100中的诸如发言人节点的其他设备不能向这些低功率节点发送信息。

在一些实施方式中，一些低功率节点仅能够进行受限的双向通信。例如，其他设备只能在特定时间段期间与低功率节点通信。

如所描述的，在一些实施方式中，智能设备用作低功率和发言人节点以在智能家居环境100中创建网状网络。在一些实施方式中，智能家居环境中的各个低功率节点定期发出关于它们在感测什么的消息，并且智能家居环境中的其他低功率节点——除了发出它们自己的消息之外——还转发消息，从而使消息在整个智能家居网络202中从节点向节点(即，从设备向设备)传播。在一些实施方式中，智能家居网络202中的能够使用诸如IEEE802.11的相对高功率的通信协议通信的发言人节点能够切换到诸如IEEE 802.15.4的相对低功率的通信协议以接收这些消息，将消息转变为其他通信协议并且(使用例如相对高功率的通信协议)将经转变的消息发送到其他发言人节点和/或服务器系统164。因此，使用低功率通信协议的低功率节点能够在整个智能家居网络202上以及通过互联网162向服务器系统164发送和/或接收消息。在一些实施方式中，网状网络使得服务器系统164能够定期从房屋中的智能设备中的大多数或所有接收数据，基于数据做出推断，促进智能家居网络202内和外部的设备之间的状态同步以及向智能设备中的一个或多个发送命令以在智能家居环境中执行任务。

如所描述的，发言人节点和低功率节点中的一些能够“收听”。因此，用户、其他设备和/或服务器系统164可以将控制命令传送到低功率节点。例如，用户可以使用电子设备166(例如，智能电话)来通过互联网向服务器系统164发送命令，然后服务器系统164将该命令中继到智能家居网络202中的一个或多个发言人节点。发言人节点可以使用低功率协议来将该命令传送到整个智能家居网络202中的低功率节点以及传送到未直接从服务器系统164接收命令的其他发言人节点。

在一些实施方式中，作为智能设备204的示例的智能夜灯170(图1)是低功率节点。除了容纳光源之外，智能夜灯170还容纳占用传感器以及环境光传感器，该占用传感器诸如超声波或无源IR传感器，该环境光传感器诸如测量房间中的光的光敏电阻器或单像素传感器。在一些实施方式中，智能夜灯170被配置为当其环境光传感器检测到房间暗时并且当其占用传感器检测到有人在房间中时激活光源。在其他实施方式中，智能夜灯170被简单地配置为当其环境光传感器检测到房间暗时激活光源。此外，在一些实施方式中，智能夜灯170包括低功率无线通信芯片(例如，ZigBee芯片)，该低功率无线通信芯片定期发出包括与占用传感器检测房间中的人员的存在同时发生的即时消息的关于房间的占用和房间中的光量的消息。如上所述，这些消息可以在智能家居网络202内从节点到节点(即，从智能设备到智能设备)被无线地(例如，使用网状网络)发送以及通过互联网162被发送到服务器系统164。

低功率节点的其他示例包括智能危险检测器104的电池运转的版本。这些智能危险检测器104通常位于不能获得恒定和可靠电力的区域中并且可以包括任何数量和类型的传感器，诸如烟/火/热传感器(例如，热辐射传感器)、一氧化碳/二氧化碳传感器、占用/运动传感器、环境光传感器、环境温度传感器和湿度传感器等。此外，智能危险检测器104可以诸如通过使用如上所述的网状网络，将对应于相应传感器的每一个的消息发送到其他设备和/或服务器系统164。

发言人节点的示例包括智能门铃106、智能恒温器102、智能墙壁开关108和智能墙壁插座110。这些设备通常位于可靠电源附近并与该可靠电源连接，并且因此可以包括更多的耗电的组件，诸如能够以各种协议进行双向通信的一个或多个通信芯片。

在一些实施方式中，智能家居环境100包括服务机器人168(图1)，其被配置为以自主方式执行各种家庭任务中的任何一个。

如上参考图1所解释的，在一些实施方式中，图1的智能家居环境100包括被直接或经由网络接口160通信地耦合到网络162的集线器设备180。集线器设备180使用至少在智能家居环境100中可用的无线电通信网络被进一步可通信地耦合到智能设备中的一个或多个。无线电通信网络使用的通信协议包括但不限于ZigBee、Z-Wave、Insteon、EuOcean、Thread、OSIAN、蓝牙低功耗等。在一些实施方式中，集线器设备180不仅转换从每个智能设备接收的数据以满足网络接口160或网络162的数据格式要求，而且还转换从网络接口160或网络162接收的信息以满足与目标智能设备相关联的相应通信协议的数据格式要求。在一些实施方式中，除了数据格式转换之外，集线器设备180进一步处理初步从智能设备接收的数据或从网络接口160或网络162接收的信息。例如，集线器设备180可以整合来自多个传感器/连接的设备(包括相同和/或不同类型的传感器/设备)的输入，对这些输入执行更高级别的处理——例如，以评估整体环境并协调不同的传感器/设备之间的操作——和/或基于输入的集合和编程处理向不同设备提供指令。还注意到的是，在一些实施方式中，网络接口160和集线器设备180被集成到一个网络设备。本文描述的功能性表示智能设备、在代表性电子设备(诸如智能电话)上运行的控制应用、集线器设备180和经由互联网或其他广域网耦合到集线器设备的服务器的特定实施方式。该功能性和相关操作的全部或一部分可以由所述系统的任何元件执行——例如，可以在不同系统实施方式中、全部或部分地在服务器、一个或多个连接的智能设备和/或控制应用上或其不同组合上执行本文描述为由集线器设备的实施方式执行的全部或部分功能。

图2B示出了在其中服务器系统164提供数据处理以监控和促进检查由摄像机118或门铃相机106捕获的视频流中的事件(例如，运动、音频、安全等)的代表性操作环境。如图2B所示，服务器系统164从位于各个物理位置(例如，房屋内或附近、饭店、商店、街道、停车场和/或图1的智能家居环境100)的视频源222(包括相机118或门铃相机106)接收视频数据。每个视频源222可以被绑定到一个或多个检查者账户，并且服务器系统164将视频源222的视频监控数据提供给与检查者账户相关联的客户端设备220。例如，便携式电子设备166是客户端设备220的示例。在一些实施方式中，服务器系统164是向视频源和客户端设备220提供视频处理服务的视频处理服务器。

在一些实施方式中，视频源222中的每一个包括捕获视频并且将所捕获的视频基本上实时地发送到服务器系统164的一个或多个摄像机118或门铃相机106。在一些实施方式中，视频源222中的每一个包括捕获视频并且将所捕获的视频实时地(例如，在1秒、10秒、30秒或1分钟内)发送到服务器系统164的一个或多个门铃相机106。在一些实施方式中，门铃106中的每一个包括捕获视频并且将所捕获的视频实时发送到服务器系统164的摄像机。在一些实施方式中，视频源222包括用作一个或多个门铃106与服务器系统164之间的中介的控制器设备(未示出)。控制器设备从一个或多个门铃106接收视频数据、可选地对视频数据执行一些初步处理并且代表一个或多个门铃106(例如，实时地)将视频数据和/或初步处理的结果发送到服务器系统164。在一些实施方式中，每个相机具有其自己的板上处理能力以在将视频数据(例如，连同通过初步处理获取的元数据)发送到控制器设备和/或服务器系统164之前，对所捕获的视频数据执行一些初步处理。

根据一些实施方式，客户端设备220包括客户端侧模块，诸如图6中的客户端侧模块628。在一些实施方式中，客户端侧模块通过一个或多个网络162与在服务器系统164上执行的服务器侧模块通信。客户端侧模块提供用于事件监控和检查处理以及与服务器侧模块进行通信的客户端侧功能性。服务器侧模块为均存在于相应客户端设备220上的任何数量的客户端侧模块提供用于事件监控和检查处理的服务器侧功能性。服务器侧模块还为包括任何数量的控制设备、相机118和门铃106的任何数量的视频源222提供用于视频处理和相机控制的服务器侧功能。

在一些实施方式中，服务器系统164包括一个或多个处理器212、视频存储数据库210、账户数据库214、到一个或多个客户端设备216的I/O接口以及到一个或多个视频源218的I/O接口。到一个或多个客户端216的I/O接口促进面向客户端的输入和输出处理。账户数据库214存储向视频处理服务器注册的检查者账户的多个简档，其中相应的用户简档包括相应检查者账户的账户凭证以及链接到相应检查者账户的一个或多个视频源。到一个或多个视频源218的I/O接口促进与一个或多个视频源222(例如，一个或多个门铃106、相机118和相关联的控制器设备的组)的通信。视频存储数据库210存储从视频源222接收的原始视频数据以及各种类型的元数据，诸如运动事件、事件类别、事件类别模型、事件过滤器和事件掩码，以用在对于事件监控和每个检查者账户的检查的数据处理中。

代表性客户端设备220的示例包括手持式计算机、可穿戴计算设备、个人数字助理(PDA)、平板计算机、手提计算机、台式计算机、蜂窝电话、智能电话、增强型通用分组无线电服务(EGPRS)移动电话、媒体播放器、导航设备、游戏机、电视、遥控器、销售点(POS)终端、车载计算机、电子书阅读器或这些数据处理设备或其他数据处理设备中的任何两个或更多个的组合。

一个或多个网络162的示例包括局域网(LAN)和诸如互联网的广域网(WAN)。使用任何已知的网络协议来实现一个或多个网络162，该网络协议包括各种有线或无线协议，诸如以太网、通用串行总线(USB)、FIREWIRE、长期演进(LTE)、全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、Wi-Fi、网际协议语音(VoIP)、Wi-MAX或任何其他合适的通信协议。

在一些实施方式中，在一个或多个独立数据处理装置或分布式计算机网络上实现服务器系统164。在一些实施方式中，服务器系统164还采用第三方服务提供商(例如，第三方云服务提供商)的各种虚拟设备和/或服务来提供服务器系统164的底层计算资源和/或基础设施资源。在一些实施方式中，服务器系统164包括但不限于服务器计算机、手持计算机、平板计算机、手提计算机、台式计算机或这些数据处理设备或其他数据处理设备中的任何两个或更多个的组合。

图2B所示的服务器-客户端环境包括客户端侧部分(例如，客户端侧模块)和服务器侧部分(例如，服务器侧模块)。操作环境的客户端和服务器部分之间的功能性的划分可以在不同的实施方式中变化。类似地，视频源222和服务器系统164之间的功能性的划分可以在不同的实施方式中变化。例如，在一些实施方式中，客户端侧模块是仅提供面向用户的输入和输出处理功能并且将所有其他数据处理功能性委托给后端服务器(例如，服务器系统164)的瘦客户端。类似地，在一些实施方式中，视频源222中的相应一个是简单的视频捕获设备，该简单的视频捕获设备在受限的或没有对视频数据的本地初步处理的情况下连续地捕获视频数据并将该视频数据流式传输到服务器系统164。尽管从服务器系统164的角度描述了本技术的许多方面，但是由客户端设备220和/或视频源222执行的对应动作对于本领域技术人员而言将是显而易见的。类似地，可以从客户端设备或视频源的角度描述本技术的一些方面，并且由视频服务器执行的对应动作对于本领域技术人员而言将是显而易见的。此外，本技术的一些方面可以由服务器系统164、客户端设备220和视频源222协作地执行。

在一些实施方式中，视频源222(例如，相机118或具有图像传感器的门铃106)将视频数据的一个或多个流传输到服务器系统164。在一些实施方式中，一个或多个流包括由图像传感器捕获的原始视频的具有相应分辨率和/或帧率的多个流。在一些实施方式中，多个流包括对应于由图像传感器捕获的原始视频的具有某一分辨率和帧率的“主”流(例如226-1)以及一个或多个附加流(例如226-2至226-q)。附加流可选地是与“主”流相同但是处于不同的分辨率和/或帧率的视频流，或者是处于与“主”流相同或不同的分辨率和/或帧率的捕获“主”流的一部分的流(例如，被裁剪以包括主流的视场或像素的一部分)。

在一些实施方式中，流226中的一个或多个从视频源222被直接发送到客户端设备220(例如，无需被路由到服务器系统164或由服务器系统164处理)。在一些实施方式中，流中的一个或多个被存储在门铃106(例如，在图4的存储器406中)和/或诸如数字视频录像机(DVR)的本地存储设备(例如，专用记录设备)处。例如，根据一些实施方式，门铃106存储由相机记录的最近24小时的视频镜头(footage)。在一些实施方式中，一个或多个流的部分(例如，对应于感兴趣的特定事件或时间的部分)被存储在门铃106和/或本地存储设备处。

在一些实施方式中，服务器系统164将视频数据的一个或多个流传输到客户端设备220，以促进由用户进行的事件监控。在一些实施方式中，一个或多个流可以包括相同视频馈送的具有相应分辨率和/或帧率的多个流。如在美国专利申请No.15/594,518中所更详细地描述的，在一些实施方式中，多个流包括对应于视频馈送的具有某一分辨率和帧率的“主”流以及一个或多个附加流。附加流可以是与“主”流相同但处于不同的分辨率和/或帧率的视频流，或者是处于与“主”流相同或不同的分辨率和/或帧率的显示“主”流的一部分的流(例如，被裁剪为包括主流的视场或像素的一部分)。

图3A是示出根据一些实施方式的服务器系统164的框图。服务器系统164通常包括一个或多个处理单元(CPU)302、一个或多个网络接口304(例如，包括到一个或多个客户端设备的I/O接口和到一个或多个电子设备的I/O接口)、存储器306和用于互连这些组件(有时称为芯片组)的一个或多个通信总线308。存储器306包括高速随机存取存储器，诸如DRAM、SRAM、DDR SRAM或其他随机存取固态存储器设备；以及可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器306可选地包括远离一个或多个处理单元302的一个或多个存储设备。存储器306或替选地存储器306内的非易失性存储器包括非瞬时性计算机可读存储介质。在一些实施方式中，存储器306或存储器306的非瞬时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集：

●操作系统310，该操作系统310包括用于处置各种基本系统服务和用于执行依赖于硬件的任务的过程；

●网络通信模块312，该网络通信模块312用于经由一个或多个网络接口304(有线或无线)将服务器系统164连接到其他系统和设备(例如，客户端设备、电子设备以及连接到一个或多个网络162的系统)；

●服务器侧模块314，该服务器侧模块314提供用于设备控制、数据处理和数据检查的服务器侧功能性，该服务器侧模块314包括但不限于：

○数据接收模块3140，该数据接收模块3140用于从电子设备接收数据(例如，来自图1门铃106的视频数据)，并且准备所接收的数据以供进一步处理和存储在数据存储数据库3160中；

○集线器和设备控制模块3142，该集线器和设备控制模块3142用于生成和发送服务器发起的控制命令以修改电子设备(例如，智能家居环境100的设备)的操作模式，和/或(例如，从客户端设备220)接收并且转发用户发起的控制命令以修改电子设备的操作模式；

○数据处理模块3144，该数据处理模块3144用于处理由电子设备提供的数据，和/或准备和向设备发送经处理的数据以用于检查(例如向客户端设备220发送经处理的数据以用于由用户检查)，该数据处理模块3144包括但不限于：

■视频处理器子模块3146，该视频处理器子模块3146用于处理(例如，分类和/或辨识)所接收的视频流(例如，来自门铃106的视频流)内的检测到的实体和/或事件候选；以及

■用户接口子模块3150，该用户接口子模块3150用于与用户通信(例如，发送提醒、时间轴事件等，以及接收用户编辑和区域限定等)；以及

●服务器数据库316，包括但不限于：

○数据存储数据库3160，该数据存储数据库3160用于存储与每个用户账户的每个电子设备(例如，每个门铃)相关联的数据，以及数据处理模型、经处理的数据结果和与数据相关联的其他相关元数据(例如，数据结果的名称、电子设备的位置、创建时间、持续时间、电子设备的设置等)，其中(可选地)与集线器设备180或智能设备相关联的数据和/或处理的所有或部分被安全地存储；

○账户数据库3162，该账户数据库3162用于存储用户账户的账户信息，包括诸如用户简档3163的用户账户信息、链接的集线器设备和电子设备的信息和设置(例如集线器设备标识)、集线器设备特定机密、相关的用户和硬件特性(例如，服务层、设备型号、存储容量、处理性能等)、用户界面设置、数据检查偏好等，其中相关联的电子设备的信息包括但不限于一个或多个设备标识符(例如，MAC地址和UUID)、设备特定机密和显示的标题；

○设备信息数据库3164，该设备信息数据库3164用于存储诸如设备简档3165的与一个或多个设备有关的设备信息，例如，在与对应的集线器设备是否已经与任何用户账户相关联无关的情况下，设备标识符和集线器设备特定机密；

○事件信息数据库3166，该事件信息数据库3166用于存储诸如场境信息31686的事件信息，例如，描述接近的访客周围的环境的场境数据；以及

○人员数据库3180，用于存储关于检测到的和/或所辨识的人员的信息，诸如检测到的人员的图像(例如，经裁剪的头部特写)3182和人员的特征表征数据3184。

上述所标识的元件中的每一个可以被存储在前面提及的存储器设备中的一个或多个中并且对应于用于执行上述功能的指令集。上文标识的模块或程序(即，指令集)不需要被实现为单独的软件程序、过程或模块，并且因此这些模块的各种子集可以在各种实施方式中被组合或以其他方式重新布置。在一些实施方式中，存储器306可选地存储以上标识的模块和数据结构的子集。此外，存储器306可选地存储上述未描述的附加模块和数据结构。

图3B示出了由一些实施方式所使用的各种数据结构，包括事件记录3168-i、用户简档3163-j、设备简档3165-k以及表征数据3184-m。事件记录3168-i对应于事件“i”和事件“i”的数据。在一些实施方式中，事件“i”包括以下中的一个或多个：运动事件、危险事件、音频事件和安全事件。在一些情况下，运动事件“i”的数据包括指示事件何时和/或如何开始的事件开始数据31681、事件分段数据31682、原始视频数据31683、指示事件何时和/或如何结束的事件结束数据31684、事件特征数据31685、场境信息数据31686、关联用户信息31687和关联设备信息31688。在一些情况下，事件记录3168-i仅包括上述数据的子集。在一些情况下，事件记录3168-i包括未显示的附加事件数据，诸如关于事件/运动掩码的数据。

事件开始数据31681包括诸如时间戳的日期和时间信息以及可选地包括附加信息，诸如关于存在的运动的量的信息、运动开始位置、存在的音频的量、音频的特性等。类似地，事件结束数据31684包括诸如时间戳的日期和时间信息以及可选地包括附加信息，诸如关于存在的运动的量的信息、运动开始位置、存在的音频的量、音频特性等。

事件分段31682包括关于运动事件“i”的分割的信息。在一些情况下，事件分段与原始视频数据31683分离地存储。在一些情况下，事件分段以比原始视频数据更低的显示分辨率存储。例如，事件分段可选地以480p或780p存储并且原始视频数据以1080i或1080p存储。以较低的显示分辨率存储事件分段使得系统将较少的时间和资源用于检索和处理事件分段。在一些情况下，事件分段不被分离地存储并且分割信息包括对原始视频数据31683的引用以及日期和时间信息以用于再现事件分段。在一些实施方式中，事件分段包括一个或多个音频分段(例如，对应于视频分段)。

事件特征数据31685包括关于事件特征的信息，诸如事件分类/归类、对象掩码、运动掩码、所识别/所辨识/所跟踪的运动对象(有时也称为斑点(blob))、关于运动对象的特征的信息(例如，对象颜色、对象尺寸、速度、大小变化等)、关于兴趣区域中的活动的信息等。

场境信息数据31686包括关于事件的场境信息，诸如关于访客的信息(例如，行为、服装或大小特性)、关于接近计时的信息(例如，一天中的时间、亮度级别)、关于访客告知的信息(例如，按门铃、敲击及其相关联的计时)、关于日程安排的信息(例如，与已排程事件的时间接近度或与智能家居环境的预排程的状态的时间接近度)、关于一个或多个用户的状态或位置的信息等。

关联用户信息31687包括关于与事件相关联的用户的信息，该用户诸如事件中所识别的用户、接收事件的通知的用户等。在一些情况下，关联用户信息31687包括到用户的用户简档3163的链接、指针或引用。关联设备信息31688包括关于事件中涉及的一个或多个设备(例如，记录事件的门铃106)的信息。在一些情况下，关联设备信息31688包括对设备的设备简档3165的链接、指针或引用。

用户简档3163-j对应于与智能家居网络(例如，智能家居网络202)相关联的用户'j'，诸如集线器设备204的用户、由集线器设备204识别的用户、从集线器设备204或从服务器系统164接收通知的用户等。在一些情况下，用户简档3163-j包括用户偏好31631、用户设置31632，关联设备信息31633和关联事件信息31634。在一些情况下，用户简档3163-j仅包括上述数据的子集。在一些情况下，用户简档3163-j包括未示出的附加用户信息，诸如关于与用户“j”相关联的其他用户的信息。

用户偏好31631包括由用户输入的显式用户偏好以及由系统(例如，服务器系统164和/或客户端设备220)确定的隐式和/或推断的用户偏好。在一些情况下，推断的用户偏好基于历史用户活动和/或其他用户的历史活动。用户设置31632包括关于由用户“j”设定的设置的信息，诸如通知设置、设备设置等。在一些情况下，用户设置31632包括与用户“j”相关联的设备的设备设置。

关联设备信息31633包括关于与用户'j'相关联的设备的信息，该设备诸如用户的智能家居环境100内的设备和/或客户端设备220。在一些情况下，关联设备信息31633包括到对应的设备简档3165的链接、指针或引用。关联事件信息31634包括关于与用户'j'相关联的事件的信息，该事件诸如用户'j'在其中被识别的事件、通知用户i的事件、对应于用户“j”的智能家居环境的事件等。在一些情况下，关联事件信息31634包括到对应的事件记录3168的链接、指针或引用。

设备简档3165-k对应于与智能家居网络(例如，智能家居网络202)相关联的设备“k”，诸如集线器设备204、门铃106、客户端设备220等。在一些情况下，设备简档3165-k包括设备设置31651、关联设备信息31652、关联用户信息31653、关联事件信息31654和环境数据31655。在一些情况下，设备简档3165-k仅包括上述数据的子集。在一些情况下，设备简档3165-k包括未示出的附加设备信息，诸如关于设备“k”当前是否活跃的信息。

设备设置31651包括关于设备“k”的当前设置的信息，诸如定位信息、操作模式信息等。在一些情况下，设备设置31651是用户特定的并且由设备“k”的相应用户设置。关联设备信息31652包括关于与设备“k”相关联的其他设备的信息，该其他设备诸如链接到设备i的其他设备和/或在与设备“k”相同的智能家居网络中的其他设备。在一些情况下，关联设备信息31652包括到与关联设备相对应的相应设备简档3165的链接、指针或引用。

关联用户信息31653包括关于与设备相关联的用户的信息，该用户诸如从设备接收通知的用户、向设备注册的用户、与设备的智能家居网络相关联的用户等。在一些情况下，相关联用户信息31653包括到与关联用户相对应的用户简档3163的链接、指针或引用。

关联事件信息31654包括关于与设备“k”相关联的事件的信息，该事件诸如涉及设备“k”的历史事件。在一些情况下，关联事件信息31654包括到与关联事件相对应的事件记录3168的链接、指针或引用。

环境数据31655包括关于设备'k'的环境的信息，诸如关于设备是在室外还是在室内的信息、关于环境的光级别的信息、关于环境中预期的活动量的信息(例如，关于设备是在私人住宅还是繁忙的商业地产中的信息)、关于环境对象的信息(例如，相机的深度映射信息)等。

表征数据3184-m对应于在智能家居环境100中检测到的人员“m”。在一些实施方式中，删除被指明为陌生人的人员的表征数据。在一些实施方式中，针对不同意使其个人可识别信息被存储的人员，删除表征数据。如图3B所示，根据一些实施方式，表征数据3184包括关联人员标识符31841、关联图像标识符31842、品质信息31843、姿态信息31844、计时信息31845、置信度信息31846、位置信息31847、身体特征信息31848和行为信息31849。在一些实施方式中，表征数据3184包括未示出的附加数据。在一些实施方式中，表征数据3184仅包括所示数据的子集。

关联人员标识符31841包括由表征数据表示的人员的标签或其他标识符。在一些实施方式中，标签是由用户在检查对应的图像时施加的。在一些实施方式中，标识符31841由系统根据确定表征数据3184匹配或类似于与该标识符相关联的其他表征数据来被指派。

关联图像标识符31842识别根据其生成表征数据3184的一个或多个图像。在一些实施方式中，表征数据和图像之间存在一对一映射，而在一些其他实施方式中，存在多对一或一对多映射。在一些实施方式中，关联图像标识符31842包括一个或多个图像的指针或逻辑存储地址。

品质信息31843包括表征数据3184的品质因数。在一些实施方式中，品质因数基于以下中的一个或多个：图像的模糊性、图像的分辨率、图像中可见的人员的数量、有多少人员的特征在图像中可见以及人员与捕获图像的相机之间的距离。

姿态信息31844识别检测到的人员的姿态。在一些实施方式中，姿态信息31844包括关于捕获图像的相机与检测到的人员之间的角度的信息。在一些实施方式中，姿态信息31844包括关于在图像中可见的人员的面部的一部分的信息。

计时信息31845包括关于图像何时被相机捕获的信息。在一些实施方式中，计时信息31845指示图像被捕获的一天中的时间、天、月、年等。在一些实施方式中，表征数据3184包括指示相机的操作模式和设置的相机的操作信息(例如，指示当图像被捕获时相机是否处于低光模式)。在一些实施方式中，计时信息31845与相机的设备简档3165结合使用以确定在图像被捕获时相机的操作信息。

置信度信息31846指示关联人员标识符31841正确的置信度。在一些实施方式中，置信度信息31846基于表征数据3184与关联人员的其他表征数据之间的相似性。在一些实施方式中，置信度信息31846包括表征数据3184的置信度得分。在一些实施方式中，根据确定置信度得分低于预确定阈值，重新评估与人员的关联性和/或表征数据3184和关联图像被标记为可能具有不正确的关联人员标识符31841。在一些实施方式中，将被标记的表征数据3184呈现给用户以用于确认或重新归类。

位置信息31847包括关于图像和/或检测到的人员的位置的信息。在一些实施方式中，位置信息31847指示捕获图像的相机的位置。在一些实施方式中，位置信息31847识别捕获图像的相机。在一些实施方式中，位置信息31847指示在图像中被捕获的智能家居环境的房间或一部分。在一些实施方式中，位置信息31847指示图像的GPS或基于坐标的位置。

身体特征信息31848包括关于检测到的人员的身体特征的信息。在一些实施方式中，身体特征信息31848包括人员的身体特征(例如，鼻子、耳朵、眼睛和头发)的表征。在一些实施方式中，身体特征信息31848包括关于人员的话音、步态和/或姿势的信息。在一些实施方式中，身体特征信息31848包括关于人员的尺寸的信息，诸如人员的眼睛或耳朵之间的距离或人员的手臂或腿的长度。在一些实施方式中，身体特征信息31848包括关于人员的年龄、性别和/或种族的信息。在一些实施方式中，身体特征信息31848包括关于人员的服装和/或配件的信息(例如，人员是否戴着帽子、眼镜、手套和/或戒指)。

行为信息31849包括关于检测到的人员的行为的信息。在一些实施方式中，行为信息31849包括关于检测到的人员的情绪和/或举止的信息。

图4是示出根据一些实施方式的代表性智能设备204的框图。在一些实施方式中，智能设备204(例如，图1的智能家居环境100的任何设备)包括一个或多个处理单元(例如，CPU、ASIC、FPGA、微处理器等)402、一个或多个通信接口404、存储器406、具有无线电440的通信模块442以及用于互连这些组件(有时称为芯片组)的一个或多个通信总线408。在一些实施方式中，用户接口410包括使得能够呈现媒体内容的一个或多个输出设备412，包括一个或多个扬声器和/或一个或多个视觉显示器。在一些实施方式中，用户接口410还包括一个或多个输入设备414，包括便于用户输入的用户接口组件，诸如键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器、触敏输入板、手势捕捉相机或其他输入按钮或控件。在一些实施方式中，门铃106的输入设备414是触觉或触敏门铃按钮。此外，一些智能设备204使用麦克风和语音辨识或相机和手势辨识来补充或替代键盘。在一些实施方式中，智能设备204包括一个或多个图像/视频捕获设备418(例如，相机、摄像机、扫描仪、照片传感器单元)。

内置传感器490包括例如一个或多个热辐射传感器、环境温度传感器、湿度传感器、IR传感器、接近传感器、范围传感器、占用传感器(例如，使用RFID传感器)、环境光传感器、运动检测器、加速度计和/或陀螺仪。

无线电440启用智能家居环境中的一个或多个无线电通信网络并且允许智能设备204与其他设备通信。在一些实施方式中，无线电440能够使用以下中的任何一个来数据通信：各种定制或标准无线协议(例如，IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.5A、WirelessHART、MiWi等)、定制或标准有线协议(例如，以太网、HomePlug等)和/或任何其他合适的通信协议，包括在本文件的提交日期时还未开发的通信协议。

通信接口404包括例如能够使用各种定制或标准无线协议(例如，IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.5A、WirelessHART、MiWi等)中的任何一个和/或各种定制或标准有线协议(例如，以太网、HomePlug等)中的任何一个或包括在本文件的提交日期时还未开发的通信协议的任何其他合适的通信协议来数据通信。

存储器406包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储设备；以及可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器406或替选地存储器406内的非易失性存储器包括非瞬时性计算机可读存储介质。在一些实施方式中，存储器406或存储器406的非瞬时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集：

●操作逻辑420，该操作逻辑420包括用于处置各种基本系统服务和用于执行依赖于硬件的过程；

●设备通信模块422，该设备通信模块422用于连接经由一个或多个通信接口404(有线或无线)被连接到一个或多个网络162的其他网络设备(例如，诸如提供互联网连接性的路由器的网络接口160、联网存储设备、网络路由设备、服务器系统164等)并与其通信；

●输入处理模块426，该输入处理模块426用于检测来自一个或多个输入设备414的一个或多个用户输入或交互并且解释检测到的输入或交互；

●用户界面模块428，该用户界面模块428用于提供和显示用户界面，在所述用户界面中可以配置和/或查看一个或多个设备(例如，智能设备204和/或智能家居环境100中的其他设备)的设置、所捕获的数据和/或其他数据；

●一个或多个应用430，该一个或多个应用430用于由智能设备执行(例如，游戏、社交网络应用、智能家居应用和/或其他基于Web或基于非Web的应用)以控制设备(例如，执行命令、发送命令和/或配置智能设备204和/或其他客户端/电子设备的设置)以及用于检查由设备捕获的数据(例如，设备状态和设置、所捕获的数据或关于智能设备204和/或其他客户端/电子设备的其他信息)；

●设备侧模块432，该设备侧模块432提供用于设备控制、数据处理和数据检查的设备侧功能性，该设备侧模块432包括但不限于：

○命令接收模块4320，该命令接收模块4320用于接收、转发和/或执行(例如，来自客户端设备220、来自服务器系统164、来自在用户接口410上检测到的用户输入等的)指令和控制命令以操作智能设备204；以及

○数据处理模块4322，该数据处理模块4322用于处理由一个或多个输入(例如，输入设备414、图像/视频捕获设备418、位置检测设备416)、传感器(例如，内置传感器490)、接口(例如，通信接口404、无线电440)和/或智能设备204的其他组件捕获或接收的数据并且用于准备和向设备发送经处理的数据以供检查(例如，向客户端设备220发送经处理的数据以供用户检查)；

●旁路模块436，该旁路模块436用于检测无线电440是否正在经由耦合到无线电440并相应地经由旁路线路或放大器(例如，低噪声放大器)将无线电440耦合到其相应天线的相应天线发送信号；

●传输接入模块438，该传输接入模块438用于(例如，基于检测到的控制信号和传输请求)准予或拒绝对一个或多个无线电440的传输接入；

●视频分析模块442，该视频分析模块442用于分析所捕获的视频数据，例如，以检测和/或辨识接近的访客和场境信息，该视频分析模块442包括但不限于：

○运动流模块4422，该运动流模块4422用于检测视频数据中的运动事件；

○访客检测模块4424，该访客检测模块4424用于从运动事件中检测接近的访客(例如，用于将与正在接近入口的人员相对应的运动与其他类型的运动区分开)；以及

○场境感测模块4426，该场境感测模块4426用于感测关于正在接近的访客的场境数据，例如基于行为特性和计时；以及

●设备数据434，该设备数据434用于存储与设备(例如，智能设备204)相关联的数据，该设备数据434包括但不限于：

○账户数据4340，该账户数据4340存储与加载在智能设备204上的用户账户有关的信息，其中这类信息包括缓存的登录凭证、智能设备标识符(例如，MAC地址和UUID)、用户接口设置、显示偏好、认证令牌和标签、密码等；

○本地数据存储数据库4342，该本地数据存储数据库4342用于选择性地存储与智能设备204相关联的原始或经处理的数据(例如，由门铃106捕获的视频监视录像)；以及

○实体数据4344，该实体数据4344存储与检测到的人员和其他实体有关的信息，诸如表征信息(例如，表征信息3184)和相关联的图像。

上文标识的元件中的每一个可以被存储在先前提及的存储设备中的一个或多个中并且对应于用于执行上述功能的指令集。上文标识的模块或程序(即，指令集)不需要被实现为单独的软件程序、过程或模块并且因此这些模块的各种子集可以在各种实施方式中被组合或以其他方式重新布置。在一些实施方式中，存储器406可选地存储上文标识的模块和数据结构的子集。此外，存储器406可选地存储上文未描述的附加模块和数据结构。

图5示出了代表性系统架构500。在一些实施方式中，服务器系统164包括事件处理器505、事件分类器507、实体辨识器3152和面向用户的前端3150的功能模块。事件处理器505获取事件候选(例如，通过处理视频流504或通过从视频源501接收事件开始信息，或通过检测用户按下门铃相机的门铃按钮)。在一些实施方式中，事件候选包括运动事件候选。在一些实施方式中，事件候选包括用户按下门铃相机的门铃按钮。在一些实施方式中，事件候选包括音频、电磁、嗅觉和/或视觉方面。在一些实施方式中，事件候选包括运动事件、接近检测和告知检测。事件分类器507(例如，基于来自事件处理器和/或实体辨识器的数据)将事件候选分类为不同的事件类别。面向用户的前端3150生成事件提醒和通知并且促进检查者通过客户端设备220上的检查界面检查检测到的实体和事件。面向用户的前端3150还接收对事件和实体类别的用户编辑、对提醒的用户偏好和事件过滤器、兴趣区域的区域限定等。事件分类器可选地基于由面向用户的前端接收到的用户编辑来修正事件分类模型和结果。实体识别器可选地基于由面向用户的前端接收到的用户编辑来修正实体分类和/或标签。服务器系统164还包括视频源数据数据库509、人员数据522、事件分类模型数据库510以及事件数据和事件掩码数据库511。在一些实施方式中，人员数据522包括人员数据库。在一些实施方式中，这些数据库中的每一个是服务器数据库316的部分(例如，数据存储数据库3160的部分)。

服务器系统164从视频源501(例如，图2B中的视频源222)接收一个或多个视频流504并且可选地接收事件候选信息502以及源信息503，该事件候选信息502诸如检测到的实体和事件的初步表征信息(例如，来自在门铃106处执行的处理的实体和事件元数据)，该源信息503诸如门铃106的设备设置(例如，门铃106的设备简档3165)。在一些实施方式中，事件处理器505与视频源501通信例如以请求附加图像，诸如视频流504的高清晰度图像或元数据。服务器系统向客户端设备220发送事件的提醒512、检测到的人员的提醒524、事件时间线信息513和/或视频数据528(例如对应于检测到的人员和/或事件的视频片段)。在一些实施方式中，提醒512将访客接近事件与其他类型的运动事件区分开。在一些实施方式中，提醒512将在门铃106处捕获的运动事件与由其他智能设备(例如，相机118)捕获的运动事件区分开。服务器系统164可选地从客户端设备220接收用户信息，诸如事件信息514(例如，对事件类别的编辑)、区域限定515和人员数据526(例如，检测到的人员的归类)。

数据处理管道处理从视频源501(例如，包括门铃106和可选的控制器设备)接收的视频信息(例如，实况视频馈送)和/或实时地(例如，在10秒、30秒或2分钟之内)从一个或多个智能设备接收的音频信息以识别和分类在智能家居环境中发生的事件，并且将实时事件提醒(例如，在10秒、20秒或30秒之内)和刷新的事件时间线(例如，在30秒、1分钟或3分钟之内)发送到与智能家居环境的检查者账户相关联的客户端设备220。数据处理管道还处理所存储的信息(诸如所存储的来自视频源501的视频馈送)以根据需要对事件进行重新评估和/或重新分类，诸如何时获取关于事件的新信息和/或何时获取关于事件类别的新信息(例如，从用户获取了新的活动区域)。

在视频和/或音频数据在智能设备上被捕获之后，对数据进行处理以确定是否存在任何潜在的事件候选或人员。在一些实施方式中，在智能设备(例如，视频源501、相机118或门铃106)处初始地处理数据。因此，在一些实施方式中，智能设备向服务器系统164发送事件候选信息，诸如事件开始信息。在一些实施方式中，在服务器系统164处处理数据以用于事件开始检测。在一些实施方式中，视频和/或音频数据被存储在服务器系统164上(例如，在视频和源数据数据库509中)。在一些实施方式中，视频流被存储在与服务器系统164不同的服务器上。在一些实施方式中，在检测到运动开始之后，从存储(例如，从视频和源数据数据库509)中检索视频流的相关部分。

在一些实施方式中，事件识别过程包括将视频流分割成多个分段，然后对每个分段内的事件候选分类。在一些实施方式中，对事件候选进行分类包括背景因素、实体检测和识别、每个运动实体的运动矢量生成、实体特征以及场景特征的聚合，以生成事件候选的运动特征。在一些实施方式中，事件识别过程进一步包括：对每个分段进行分类；基于对分段的分类来生成或更新事件日志；基于对分段的分类来生成事件的提醒；对完整事件进行分类；基于完整事件更新事件日志以及基于完整事件生成事件的提醒。在一些实施方式中，分类基于确定事件发生在特定兴趣区域内。在一些实施方式中，分类基于确定事件候选涉及一个或多个兴趣区域。在一些实施方式中，分类基于音频数据和/或音频事件表征。

事件分析和分类过程可以由智能设备(例如，视频源501)和服务器系统164共同执行，并且任务的划分可以在不同的实施方式中针对不同的装备能力配置和/或针对不同的网络和服务器负载情况而改变。在服务器系统164对事件候选分类之后，可以将事件检测和分类的结果发送到与智能家居环境相关联的检查者。

在一些实施方式中，服务器系统164针对视频源501中的每一个(例如，在视频和源数据数据库509中)存储原始或经压缩的视频数据、(例如，在事件分类模型数据库510中)存储事件分类模型以及(例如，在事件数据和事件掩码数据库511中)存储事件掩码和其他事件元数据。在一些实施方式中，视频数据以诸如480p、780p、1080i、1080p等的一个或多个显示分辨率被存储。

在一些实施方式中，视频源501(例如，门铃106)经由一个或多个网络(例如，网络162)将实况视频馈送传输到远程服务器系统164。在一些实施方式中，当视频数据被门铃106捕获时，视频数据的传输是连续的。在一些实施方式中，视频数据的传输与视频数据的内容无关，并且视频数据被从视频源501上传到服务器系统164以便存储，而与是否已经在视频数据中捕获了任何运动事件无关。在一些实施方式中，视频数据可以被默认地存储在视频源501的本地存储设备中并且仅(例如，实时地)将与视频流中检测到的运动事件候选相对应的视频部分上传到服务器系统164。

在一些实施方式中，视频源501动态地确定视频流将以什么显示分辨率被上传到服务器系统164。在一些实施方式中，视频源501动态地确定视频流的哪些部分将被上传到服务器系统164。例如，在一些实施方式中，取决于当前服务器负载和网络状况，视频源501可选地使对应于新检测到的运动事件候选的视频部分的上传优先于不包含任何运动事件候选的视频流的其他部分；或者视频源501以比视频流的其他部分更高的显示分辨率上传对应于新检测到的运动事件候选的视频部分。这种上传优先化帮助确保即使在网络条件和服务器负载均未达到最佳状态时，也可以实时地检测重要的运动事件并且提醒检查者。在一些实施方式中，视频源501实现两个并行的上传连接，一个用于上传由门铃106捕获的连续视频流并且另一个用于上传与检测到的运动事件候选相对应的视频部分。在任何给定时间，视频源501确定是否需要瞬时挂起连续视频流的上传以确保足够的带宽被给予与新检测到的运动事件候选相对应的视频分段的上传。

在一些实施方式中，被上传用于云存储的视频流比被上传用于运动事件处理的视频分段处于更低的品质(例如，更低的分辨率、更低的帧率、更高的压缩率等)。

如图5所示，视频源501包括(包括图像传感器的)门铃106和可选的控制器设备。在一些实施方式中，门铃106包括足够的板上处理能力以执行所有必要的本地视频处理任务(例如，针对运动事件候选的提示点检测、视频上传优先化、网络连接管理等)，并且门铃106与服务器系统164直接通信，无需任何控制器设备充当中介。在一些实施方式中，门铃106捕获视频数据并将视频数据发送到控制器设备以用于必要的本地视频处理任务。控制器设备可选地执行多个相机的本地处理任务。例如，在一个智能家居环境(例如，图1的智能家居环境100)中可能有多个相机，并且单个控制器设备从每个相机接收视频数据并处理该视频数据以检测来自每个相机的视频流中的运动事件候选。控制器设备负责分配足够的传出网络带宽以在使用剩余带宽来将视频流从每个相机传输到服务器系统164之前，将包含运动事件候选的视频分段从每个相机传输到服务器。在一些实施方式中，连续的视频流被发送并存储在一个服务器设施处，而包含运动事件候选的视频分段被发送到不同的服务器设施并在该不同的服务器设施处被处理。

在一些实施方式中，智能设备向服务器系统164发送附加源信息503。该附加源信息503可以包括关于设备状态的信息(例如，IR模式、AE模式、DTPZ设置等)和/或关于设备所位于的环境的信息(例如，室内、室外、夜间、白天等)。在一些实施方式中，服务器系统164使用源信息503来执行事件检测、实体辨识和/或对事件候选进行分类。在一些实施方式中，附加源信息503包括得自由门铃106执行的视频处理的一个或多个初步结果(例如，分类、对象/实体辨识、运动掩码等)。

在一些实施方式中，将检测到事件开始附带事件(incident)之后，视频部分被化分成多个分段。在一些实施方式中，分割继续直到获取事件结束信息(有时也称为“事件结束信号”)为止。在一些实施方式中，分割发生在服务器系统164内(例如，通过事件处理器505)。在一些实施方式中，分割包括生成重叠的分段。例如，每秒生成10秒的分段，使得新分段与先前分段重叠9秒。

在一些实施方式中，多个分段中的每一个具有相同或相似的持续时间(例如，每个分段具有10-12秒的持续时间)。在一些实施方式中，第一分段比后续分段具有较短的持续时间。将第一分段保持为短的允许实时的初始的分类和基于处理第一分段的提醒。然后可以基于对后续分段的处理来修正初始的分类。在一些实施方式中，如果运动实体进入新的兴趣区域，则生成新的分段。

在一些实施方式中，在事件处理器模块获取对应于事件候选的视频部分之后，事件处理器505获取背景因素并执行运动实体检测识别、针对每个运动实体的运动矢量生成以及特征识别。一旦事件处理器505完成了这些任务，事件分类器507就聚合所有信息并生成运动事件候选的分类。在一些实施方式中，事件处理器505和事件分类器507是视频处理模块3144的组件。在一些实施方式中，在运动事件候选被提交以用于事件分类之前，可选地执行误报(false positive)抑制以拒绝一些运动事件候选。在一些实施方式中，确定运动事件候选是否为误报包括确定运动事件候选是否发生在特定区域中。在一些实施方式中，确定运动事件候选是否为误报包括分析运动事件候选的重要性得分。候选运动事件的重要性得分可选地基于涉及运动事件候选的兴趣区域、背景特征、运动矢量、场景特征、实体特征、运动特征、运动路径等。

在一些实施方式中，视频源501具有足够的处理能力来执行并且确实执行实体检测、人员辨识、背景估计、运动实体识别、运动矢量生成和/或特征识别。

图6是示出根据一些实施方式的与用户账户相关联的代表性客户端设备220的框图。客户端设备220通常包括一个或多个处理单元(CPU)602、一个或多个网络接口604、存储器606以及用于互连这些组件(有时称为芯片组)的一个或多个通信总线608。可选地，客户端设备还包括用户接口610和一个或多个内置传感器690(例如，加速度计和陀螺仪)。用户接口610包括使得能够呈现媒体内容的一个或多个输出设备612，包括一个或多个扬声器和/或一个或多个视觉显示器。用户接口610还包括一个或多个输入设备614，包括便于用户输入的用户接口组件，诸如键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器、触敏输入板、手势捕捉相机或其他输入按钮或控件。此外，一些客户端设备使用麦克风和语音辨识或相机和手势辨识来补充或替代键盘。在一些实施方式中，客户端设备包括用于捕获图像的一个或多个相机、扫描仪或光传感器单元(未示出)。可选地，客户端设备包括位置检测设备616，诸如GPS(全球定位卫星)或其他地理位置接收器，以用于确定客户端设备的位置。

存储器606包括高速随机存取存储器，诸如DRAM、SRAM、DDR SRAM或其他随机存取固态存储器设备；并且可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器606可选地包括远离一个或多个处理单元602的一个或多个存储设备。存储器606或者替选地存储器606内的非易失性存储器包括非瞬时性计算机可读存储介质。在一些实施方式中，存储器606或存储器606的非瞬时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集：

●操作系统618，该操作系统618包括用于处置各种基本系统服务和用于执行依赖于硬件的任务的过程；

●网络通信模块620，该网络通信模块620用于经由一个或多个网络接口604(有线或无线)将客户端设备220连接到其他系统和设备(例如，客户端设备、电子设备和连接到一个或多个网络162的系统)；

●输入处理模块622，该输入处理模块622用于检测来自一个或多个输入设备614中的一个的一个或多个用户输入或交互并且解释检测到的输入或交互；

●一个或多个应用624，该一个或多个应用624用于由客户端设备执行(例如，游戏、社交网络应用、智能家居应用和/或其他基于web或基于非web的应用)以用于控制设备(例如，向集线器设备和/或其他客户端或电子设备发送命令、配置设置等)以及用于检查由设备捕获的数据(例如，设备状态和设置、所捕获的数据或关于集线器设备或其他连接的设备的其他信息)；

●用户界面模块626，该用户界面模块626用于提供和显示用户界面，在该用户界面中可以配置和/或查看一个或多个设备(例如，智能家居环境100中的智能设备204)的设置、所捕获的数据和/或其他数据；

●客户端侧模块628，该客户端侧模块628提供用于设备控制、数据处理和数据检查的客户端侧功能性，该客户端侧模块628包括但不限于：

○集线器设备和设备控制模块6280，该集线器设备和设备控制模块6280用于根据用户输入生成用于修改集线器设备或电子设备的操作模式的控制命令；

○视频分析模块6281，该视频分析模块6281用于分析所捕获的视频数据，例如以检测和/或辨识人员、对象、动物和事件，诸如先前关于视频分析模块442所述的；

○数据检查模块6282，该数据检查模块6282用于提供用于检查由服务器系统164处理的数据的用户界面，该数据检查模块6282包括但不限于：

●事件检查子模块6283，该事件检查子模块6283用于检查事件(例如，运动和/或音频事件)并且可选地启用用户对事件的编辑和/或更新；以及

■人员检查子模块6284，该人员检查子模块6284用于检查关于检测到的人员和其他实体的数据和/或图像并且可选地启用用户对人员数据的编辑和/或更新；

○快速动作(QA)呈现模块6285，该QA呈现模块6285用于提供由服务器系统164识别的快速动作的子集；以及

○远程交互模块6286，该远程交互模块6286用于例如经由门铃106和/或服务器系统164与远程人员(例如，智能家居环境100的访客)交互；以及

●客户端数据630，该客户端数据630存储与用户账户和电子设备相关联的数据，该客户端数据630包括但不限于：

○账户数据6300，该账户数据6300存储与在客户端设备上加载的用户账户以及与用户账户相关联的(例如，视频源222的)电子设备两者有关的信息，其中，这样的信息包括缓存的登录凭证、集线器设备标识符(例如，MAC地址以及UUID)、电子设备标识符(例如，MAC地址和UUID)、用户接口设置、显示偏好、认证令牌和标签、密码等；以及；

○本地数据存储数据库6302，该本地数据存储数据库6302用于选择性地存储与电子设备(例如，诸如门铃106的视频源501的电子设备)相关联的原始或经处理的数据，可选地包括诸如前述的实体数据4344的实体数据。

上述所标识的元件中的每一个可以被存储在前面提及的存储设备中的一个或多个中并且对应于用于执行上述功能的指令集。上文标识的模块或程序(即，指令集)不需要被实现为单独的软件程序、过程、模块或数据结构，并且因此这些模块的各种子集可以在各种实施方式中被组合或以其他方式被重新布置。在一些实施方式中，存储器606可选地存储以上标识的模块和数据结构的子集。此外，存储器606可选地存储上面未描述的附加模块和数据结构。

图7A-7C示出根据一些实施方式的代表性人员检测和辨识过程。图7A示出了对应于与电子问候系统的门铃106相关联的第一相机的视场的图像700。在一些实施方式中，电子问候系统包括智能家居环境100的一个或多个设备和/或服务器系统164。如图7A所示，在图像700中不存在潜在的访客。图7B示出了对应于与门铃106相关联的第二相机的视场的图像710。在一些实施方式中，在人员712的初始的检测(在下文中更详细地讨论)时，门铃106自动地切换到第二相机，因为它具有更有助益于访客检测的视场。然而，在一些实施方式中，门铃106仅包括一个相机，并且在人员的初始的检测之后图像700保留。在一些实施方式中，在检测到运动事件时(即，人员712进入相机的视场)，系统(例如，电子问候系统，包括但不限于门铃106的处理器)分析运动事件以确定人员712是否是访客(例如，人员712是否正在接近门铃106)。例如，当人员712在视场中移动时，系统测量人员的面部的高度(或其他尺寸)(或其他身体特性，诸如人员的躯干、肩膀宽度等)。图7B中的面部高度714增加到图7C中的更大面部高度716。在该示例中，基于面部高度增加是否满足一个或多个面部高度增加标准，系统确定人员712正在接近入口并且从而将人员712归类为访客。在一些实施方式中，分析运动事件附加地或替代地包括分析来自运动传感器的数据以确定运动数据是否满足运动标准和/或分析来自接近传感器(例如，PIR传感器)的数据以确定接近数据是否满足接近度标准。例如，PIR传感器检测热签名，并且与电子问候系统相关联的处理器分析热签名以确定热签名是否超过预确定阈值。根据检测到热签名超过阈值，与热签名相关联的人员712被归类为访客。作为另一示例，音频传感器检测音频信号，并且与电子问候系统相关联的处理器分析音频信号以检测指示正在接近的人员的音频事件，诸如脚步声。根据检测到音频事件的幅度或分贝级别(例如，检测到的脚步声的音量)超过预确定阈值，与音频事件相关联的人员712被归类为访客。在一些实施方式中，与电子问候系统相关联的处理器基于来自诸如雷达传感器的方向和/或距离传感器的信号来确定检测到的人员的移动方向和/或距离。在一些实施方式中，与电子问候系统相关联的处理器使用前述示例中的任何一个的组合来检测接近的人员并且将该人员归类为访客。

图8A-B示出根据一些实施方式的代表性访客状态归类操作。图8A示出了图像810中的访客820(例如，对应于第一时间时的门铃106的视场)，以及图8B示出了图像822中的访客830(例如，对应于第二时间时的门铃106的视场)。在一些实施方式中，电子问候系统(例如，基于面部辨识操作)确定访客是否为系统已知的。在一些实施方式中，电子问候系统(例如，门铃106的处理器)执行面部裁剪操作并且对经裁剪的面部822和832执行面部辨识操作。例如，与电子问候系统相关联的处理器从图像810中裁剪出人员820的面部的图像822，并且将经裁剪的图像822发送到服务器以进行面部辨识处理。在一些实施方式中，如果检测到多个面部，则与电子问候系统相关联的处理器单独地裁剪每个面部并且将每个面部发送到服务器以进行面部辨识处理。替选地，处理器从图像810中裁剪出包括每个检测到的面部的区域并将经裁剪的区域发送到服务器以进行面部辨识处理。替选地，处理器将整个帧810发送到服务器以用于面部辨识处理。在一些实施方式中，相机本身执行面部辨识处理。在一些实施方式中，电子问候系统将图像810、822和/或图像822、832发送给智能家居环境100的用户(例如，作为通知或提醒的一部分)。在一些实施方式中，电子问候系统分析图像810、822以确定访客820、830的场境信息。

图9A-D是示出了根据一些实施方式的检测和/或响应于智能家居环境的访客的方法的流程图。在一些实施方式中，该方法由以下执行：(1)一个或多个智能设备204(例如，门铃106)；(2)服务器系统164；(3)客户端设备220；或(4)其组合。在一些实例和实施方式中，本文所述的方法的各种操作是可互换的，并且方法的相应操作由上述设备、系统中的任何一个或设备和/或系统的组合来执行。例如，获取运动流(904)可选地由门铃106或服务器系统164执行。在一些实施方式中，视频和/或数据流通过不包括服务器系统164的网络(例如，WLAN)从门铃106发送到客户端设备220。在一些实施方式中，该方法由存储在一个或多个非瞬时性计算机可读存储介质中并且由一个或多个处理器执行的指令控制，该一个或多个服务器诸如服务器系统164的CPU 302和/或智能设备204(例如，门铃106)的CPU 402。为了方便起见，在下文中，将该方法操作描述为由特定组件或设备执行，但是不应将其解释为在所有实施方式中将操作的执行限于特定设备。

图9A示出根据一些实施方式的检测和响应于智能家居环境的访客的方法900。门铃106从与门铃106相关联或包括在门铃106中的相机获取视频流(902)。服务器系统164从相机的视频流中得出运动流(904)。在一些实施方式中，运动流包括从相机的视频流中得出的数据或元数据，该数据或元数据被分析以检测关于相机的视场中的运动量的信息。在一些实施方式中，运动流和视频流都从相机流式传输到服务器系统164以便分析。替选地，仅视频流被流式传输到服务器系统164以得出运动流并分析运动流。在一些实施方式中，仅当检测到满足阈值的运动量时，视频流和/或运动流才被流式传输到服务器系统164。在一些实施方式中，运动流包括具有元数据的视频流，该元数据包括运动数据。在一些实施方式中，运动流是单独的数据流(例如，不包括来自视频流的视频数据)，该运动流包括与视频流相对应的运动数据。在一些实施方式中，从相机的视频流得出运动流包括将相机的视场中的检测到的运动的量与阈值进行比较。例如，如果检测到的运动量大于预确定阈值，则与检测到的运动相关联的数据被包括在运动流中以用于进一步的分析；否则，与检测到的运动相关联的数据不被包括在运动流中。设置预确定的运动阈值使得系统忽略一些琐碎的移动，诸如微风中吹动的树叶。

服务器系统164分析(906)运动流以确定访客是否正在接近入口。在一些实施方式中，服务器系统164通过跟踪随时间的访客的特性的尺寸(例如，访客的路线、访客与入口的接近度、访客的面部的尺寸、访客的身体的尺寸以及/或访客的任何其他身体特征，诸如身体的任何部分的高度或形状，该身体的任何部分包括整个身体)来分析运动流。例如，如果访客的高度或宽度随时间增加，或者访客的面部的尺寸随时间增加，则确定访客正在接近入口。附加地或可替代地，如果访客的特性的尺寸超过阈值，则确定访客正在接近入口。例如，如果检测到的人员从相机视场的外部进入，但被确定为极接近入口(例如，在3英尺、5英尺或10英尺内)，则检测到的人员被视为访客。在一些实施方式中，根据确定检测到的人员比公共空间(例如，公共人行道)更靠近入口，将检测到的人员视为访客。

在一些实施方式中，除了分析运动流之外或作为对分析运动流的替代，服务器系统164通过检测人员的存在来确定访客是否正在接近入口(在本文中有时称为“存在信息”)。下文描述用于检测存在信息的几种示例性实施方式。

例如，确定访客正在接近入口包括获取和分析指示正接近的访客或入口附近的访客的存在信息。在一些实施方式中，从智能家居环境的一个或多个运动传感器的运动数据中得出存在信息的部分或全部，该一个或多个运动传感器包括例如无源红外(PIR)传感器、超声传感器、微波传感器和/或层析成像传感器。在一些实施方式中，从具有对应于入口的视场的一个或多个相机的视频数据中得出存在信息中的部分或全部。例如，通过确定由相机或其他类型的运动传感器检测到的运动量满足一个或多个运动标准——诸如运动量超过阈值——得出存在信息。作为又一示例，通过分析多个图像帧以确定(例如，以像素测量的)多个图像帧中的对象的位置差异是否超过阈值，得出存在信息。在一些实施方式中，从音频传感器获取的音频信号得出存在信息中的部分或全部。例如，捕获音频事件(诸如脚步声、口头告知、门铃声音或敲门)的音频信号指示访客的存在。

作为另一示例，确定访客正在接近入口包括比较随时间的访客的特性的尺寸。在一些实施方式中，确定访客正在接近包括跟踪随时间的访客的一个或多个尺寸。例如，确定访客正在接近入口包括获取访客的特性的尺寸的第一度量(诸如对访客的头部的初始高度度量)、获取访客的特性的尺寸的后续度量(诸如在初始高度测量之后的预确定时间量时的对访客的头部的第二高度度量)并且确定第一度量和后续度量之间的差异是否超过阈值。例如，如果访客的头部高度在第一和第二度量之间增加，则访客可能正在接近；否则，如果访客的头部高度没有增加，则访客可能没有接近或正在静止地站着。

作为另一示例，确定访客正在接近入口包括确定访客在距入口的阈值距离内。例如，如果在距入口的预确定距离之内检测到人员，则将该人员确定为正在接近的访客。例如，一旦访客位于入口的15英尺、10英尺或5英尺之内，发起观察窗并且获取场境信息。在一些实施方式中，响应于确定访客正在接近入口而发起观察窗包括响应于确定访客正在到入口的路径上(例如，已经进入走道、走廊，或通向入口的外围大门)而发起观察窗。

作为另一示例，确定访客正在接近入口包括得出运动流。在一些实施方式中，从相机的视频流得出运动流。在一些实施方式中，通过检测关于相机的视场中的运动量的信息或者通过将相机的视场中的检测到的运动量与阈值进行比较，从视频流中得出运动流。在一些实施方式中，运动流包括在视频流中检测到的运动事件的运动掩码。

在确定访客正在接近入口时，服务器系统164发起观察窗(908)。在一些实施方式中，观察窗的长度被预定义为对应于访客完成接近入口或到达距入口的阈值距离的合理的时间量。例如，与接近位于较短走道末端的入口的访客相比，给予接近位于长走道末端的入口的访客更多的时间以到达入口(或距入口的阈值距离)。在一些实施方式中，该方法附加地或可替代地包括响应于确定访客在距入口的阈值距离内而发起观察窗，其中阈值基于入口的布局被预确定。在一些实施方式中，电子问候系统分析入口的布局并且基于初始地检测到的人员到达入口的诸如门或大门的组件所花费的时间量来自动地设置阈值。附加地或替代地，用户使用电子问候系统的界面来手动地设置预确定阈值。在一些实施方式中，当访客足够接近入口以使得能够与电子问候系统交互(例如，按门铃或口头通信)时发起观察窗。在一些实施方式中，基于来自诸如无源红外(“PIR”)传感器或雷达的距离传感器的数据，确定访客已经到达距入口的阈值距离。

在发起观察窗时，门铃106获取场境信息(910)。在一些实施方式中，门铃106不断地获取场境信息，而在其他实施方式中，门铃在发起观察窗时开始获取场境信息。在一些实施方式中，场境信息基于检测到的告知事件(例如，按门铃、敲门、键盘输入或口头告知)；面部辨识分析；访客的一个或多个行为特性；访客的一个或多个服装特性；访客在其期间接近入口的时间(例如一天中的时间或一周中的天)；访客的口头告知；与预排程的事件的时间接近度；与智能家居环境的预排程的状态的时间接近度；用户的状态或位置；和/或与涉及访客接近入口的运动事件的识别的计时相比的检测到的访客动作的计时。下文提供关于获取场境信息的更多细节。

在发起观察窗时，服务器系统164基于由门铃106发送到服务器的运动流的一个或多个帧执行面部辨识操作(912)，并且基于面部辨识操作的结果来确定访客是电子问候系统已知的(例如，图8A中所示的)还是电子问候系统未知的(例如，图8B中所示的)。

服务器系统164根据面部辨识(912)和场境信息(910)的结果来表征访客(914)。例如，访客被表征为以下中的一个或多个：已知的、未知的、预期的、非预期的、可疑的等。在一些实施方式中，根据场境信息和面部辨识对表征进行加权。在一些实施方式中，服务器系统进一步基于访客是否在关闭观察窗之内告知到访(例如，使门铃响或敲门)来表征访客。在一些实施方式中，观察窗在以下中的较早的时关闭：(1)访客告知(例如，按门铃或敲门事件)；(2)预确定的时间阈值(例如，访客徘徊了多于预确定的时间阈值而没有做出告知)。在一些实施方式中，预确定的时间阈值是动态的并且取决于场境信息(例如，当场境信息暗示较高的安全或关切级别时，观察窗较长；而当场境信息暗示较低的安全或关切级别时，观察窗较短)。在一些实施方式中，场境信息包括确定在观察窗到期之前访客是否做出告知(例如，使门铃响或敲门)。

服务器系统根据访客表征(914)发起响应(916)。在一些实施方式中，服务器系统根据仅场境信息(910)或仅面部辨识结果(912)来发起响应(916)。在一些实施方式中，服务器系统根据场境信息(910)和面部辨识结果(912)而无需任何其他表征(914)来发起响应(916)。在图10-14中示出和下文论述响应的示例。

门铃106向访客输出响应(918)(例如，广播语音消息、提示访客答复等)。在一些实施方式中，另一智能设备204实现响应(例如，智能门锁120解锁门以让访客进入)。门铃106获取答复(922)并将答复发送到服务器164(例如，访客留下的口头或文本消息)。服务器164接收答复(924)并且发起后续响应(916)(例如，存储该答复以供用户稍后检索，或者发起通知)。在一些实施方式中，服务器通过向客户端设备220发送通知(920)来响应(916)于访客的表征(914)和/或答复(924)。在接收到该通知时，用户可以指令服务器164来发起后续响应(916)。

图9B示出了根据一些实施方式的通过向用户呈现适当的响应来检测和响应于智能家居环境的访客的方法930。

门铃106从与门铃106相关联或包括在门铃106中的相机获取视频流(932)。服务器系统164从相机的视频流得出运动流(934)(例如，如先前关于操作904所论述的)。在一些实施方式中，从相机的视频流得出运动流包括检测关于相机的视场中的运动量的信息。在一些实施方式中，从相机的视频流中得出运动流包括将检测到的相机的视场中的运动的量与阈值进行比较。例如，如果检测到的运动的量大于预确定阈值，则与检测到的运动相关联的数据被包括在运动流中以用于进一步分析；否则，与检测到的运动相关联的数据不被包括在运动流中。

服务器系统164分析(936)运动流以确定访客是否正在接近入口(例如，如先前关于操作906所论述的)。在一些实施方式中，服务器系统164通过比较随时间的访客的特性的尺寸(例如，访客的路线、访客与入口的接近度、访客的面部的尺寸、访客的身体的尺寸和/或访客的任何其他身体特性，诸如身体的任何部分的高度或形状，该身体的任何部分包括整个身体)来分析运动流。例如，如果访客的高度或宽度随时间增加，或者如果访客的面部的尺寸随时间增加，则确定访客正在接近入口。附加地或可替代地，如果访客的特性的尺寸超过阈值，则确定访客正在接近入口。

在检测到正在接近的访客时，门铃106获取(938)场境信息(例如，如先前参考操作910所论述的)。在一些实施方式中，门铃106不断地获取场境信息，而在其他实施方式中，门铃在检测到正在接近的访客时开始获取场境信息。在一些实施方式中，场境信息基于检测到的告知事件(例如，按门铃、敲门、键盘输入或口头告知)；面部辨识分析；访客的一个或多个行为特性；访客的一个或多个服装特性；访客在其期间接近入口的一天中的时间；访客的口头告知；与预排程事件的时间接近度；与智能家居环境的预排程状态的时间接近度；用户的状态或位置；和/或与涉及访客接近入口的运动事件的识别的计时相比的检测到的访客动作的计时。在下文中，提供关于获取场境信息的更多细节。

基于场境信息，服务器系统识别可用于客户端设备的用户以用于经由电子问候系统与访客交互的多个适当动作(940)。如果动作基于场境信息被确定为可能由用户选择的动作，则该动作被定义为“适当”。因此，取决于场境信息，对于响应于访客，适当的动作因此是相关的、可适用的、有用的、有关的和/或适合的。在一些实施方式中，动作的集合被存储在数据库(例如，图3A的数据库316)中，并且按照每个动作对涉及特定访客和特定场境信息的当前状况的适用性、相关性和/或有用性进行排名。在一些实施方式中，然后基于排名对经排名的动作进行排序。在这些实施方式中，如果动作在排名的顶部处或附近(例如，排名中的前3、5或10的动作中的一个)，则该动作被定义为“适当”。在一些实施方式中，动作排名越高，认为该动作越适当。在一些实施方式中，如果动作的排名高于预确定的阈值(例如，排名最高的十个动作)，则该动作被定义为“适当”，并且向用户呈现适当动作的子集(例如，三个动作)。在其他实施方式中，基于可以在客户端设备的单个用户界面中向用户呈现的动作的数量来确定阈值(例如，如果用户界面一次仅能显示三个动作，则排名最高的三个动作被确定为“适当”)，并且在同一用户界面中向用户同时呈现所有适当的动作。在一些实施方式中，要呈现给用户的动作的数量基于客户端设备的用户界面的快速动作区域中可用的显示空间量。在下文中，提供适当操作的示例。

在识别出可用于客户端设备的用户的用于经由电子问候系统与访客交互的多个适当动作时，服务器系统164在客户端设备220处向用户呈现所识别的适当动作的通知(942)。在图10中示出通知的示例。

服务器系统164从客户端设备220的用户接收对所识别的动作的选择(944)，并且通过在门铃106处输出响应来实现该动作(946)。门铃106记录答复(948)并且将答复发送给服务器164(例如，访客留下的消息)。服务器164接收答复(950)，识别经更新的动作(940)并且在客户端设备220处向用户呈现经更新的动作(942)。在一些实施方式中，服务器系统164识别用于识别出的动作的一个或多个适当的设备并且将识别出的动作发送到适当的设备。例如，服务器系统165确定用于解锁动作的适当设备是智能门锁并且将解锁动作发送到智能门锁。作为另一示例，服务器系统165确定用于提醒动作的适当设备包括智能家居环境中的照明灯设备、远程安全设备(例如，本地警察局的计算机)和门铃106(例如，向访客发出警告)并且向这些设备发送提醒动作。

图9C是示出根据一些实施方式的用于与访客进行交互的代表性方法的操作流程图960。在检测到访客告知(962)(例如，按门铃或敲门)之后，根据确定客户端220设备的用户当前正在操作客户端设备220上的电子问候系统的应用，界面前进到通话屏幕(964)(例如，图10C、图13A)。然而，根据确定客户端设备220的用户当前未操作客户端设备220上的电子问候系统的应用，向用户呈现提醒(970)(例如，图11A、图11B)。在完成与提醒的交互之后，该界面前进到事件列表(966)，显示了过去的访客事件的列表(例如，图10F)。在完成通话屏幕上的交互(例如，通过按“消除”可供性)后，界面前进到事件列表(966)，或者如果用户正在与电子问候系统应用的不同屏幕交互，则界面前进到先前屏幕(968)。

图9D是示出根据一些实施方式的用于与访客进行交互的代表性方法的操作流程图980。在检测到访客告知(982)(例如，按门铃或敲门)或徘徊的访客后，界面会提供对讲选项(984)(例如，图13A“对讲”可供性)和助手选项(986)(例如13A“助手”可供性)。在选择对讲选项(984)后，界面提供用于发送语音通信(例如，图13B)和/或文本到话音通信(例如，图13C)的对讲屏幕。在一些实施方式中，问候系统提供用于在文本到话音通信期间响应于消息的智能建议。在选择了助手选项(986)后，界面前进以提供助手屏幕(例如，图13D)。在助手屏幕中，用户可以可选地通过选择“对讲”可供性来进行响应，选择“对讲”可供性然后使界面前进到对讲屏幕(例如13B或13C)。在一些实施方式中，在助手会话结束(例如，访客和虚拟助手之间的交互结束)时，为用户提供该交互的摘要(988)(例如，图14)。在一些实施方式中，对讲界面等同于(通过通话屏幕选择的)交谈界面。如果用户在预定义的阈值时间量后未回答或已经将客户端设备设置为请勿打扰模式，则虚拟助手将基于某些场境信息(在下文中更详细说明)或基于定制的用户偏好来响应于访客。在一些实施方式中，如上所述，当虚拟助手与访客交互时，用户可以选择经由对讲交互(984)中的语音通话或文本到话音通话来接管交互。在一些实施方式中，在交互结束之后，为用户提供交互的摘要(988)(例如，图14)。

图10A-F示出了用于向客户端设备的用户通知访客正在接近并且用于促进与访客的交互的代表性用户界面。在一些实施方式中，在客户端设备220处(例如，利用用户界面模块626和/或人员检查模块6284)呈现用户界面。图10A图示了电子问候系统应用的房屋屏幕1002，包括相机的视场1004(例如，指向入口的第一相机)的图像。在一些实施方式中，场景的图像是显示检测到的访客的活动的视频片段的一部分(例如，以gif格式)。在一些实施方式中，视频片段由对应于涉及检测到的人员的事件的来自相机的多个帧(例如，每第10、第30或第100帧)组成。

在检测到访客接近入口、访客告知(例如，按门铃或敲门)、或访客在入口处徘徊了阈值时间量而没有任何告知或涉及访客的任何其他运动事件时，界面前进到通话屏幕1006(图10C)。在一些实施方式中，通话屏幕1006从屏幕的边缘(例如，如图10B中的底部)滑入。在一些实施方式中，通话屏幕1006包括从位置更好的以用于捕获访客的正面轮廓的图像或视频的不同的相机(例如，嵌入门铃106的相机)提供的更详细的图像。在一些实施方式中，场景的图像是示出了检测到的访客的活动的视频片段(例如，以gif格式)的一部分。在一些实施方式中，视频片段由对应于涉及检测到的人员的事件的来自相机的多个帧(例如，每第10、第30或第100帧)组成。在一些实施方式中，根据运动事件的检测，自动地切换相机视图(例如，在检测到接近的访客时，运动事件相机馈送切换到访客详细相机馈送)。

在一些实施方式中，通话屏幕1006包括访客所在的特定入口的标签(例如，“前门”)、关于有关该访客的相关信息的通知(例如，“门铃15秒前响起”或“徘徊了持续30秒”)、“消除”可供性1008(有时标记为“忽略”)、“交谈”可供性1010和“动作”可供性1012。

在选择交谈1010时，界面前进到交谈屏幕1014(图10D)。在一些实施方式中，在使用“完成”可供性1016替换交谈1010时，消除1008和动作1012消失(或以其他方式被指示为不可选择)，指示用户界面处于交谈模式(例如，客户端设备记录来自用户的口头消息并将其发送给访客)。在一些实施方式中，在选择完成1016时，界面退出交谈模式(例如，通话结束，或语音记录停止)，并返回到通话屏幕1006(图10E)、前进到事件列表屏幕1018或退出智能家居应用。在一些实施方式中，在选择消除1008时，用户退出通话屏幕1006并且界面前进到事件列表屏幕1018(图10F)或者退出智能家居应用。根据一些实施方式，事件列表屏幕1018包括事件列表1020，该事件列表1020包括过去交互的报告。

图10G-L示出了用于通过向用户提供快速动作来促进用户与访客之间的交互的代表性用户界面。在通话屏幕1006中，响应于对动作1012的选择(图10G)，适当的快速动作1024的列表出现在快速动作选择屏幕1022中(图10H)。根据一些实施方式，选择快速动作(“我们将到那里”)去除快速动作1024显示，并且在通信(“我们将到那里”)1026例如经由门铃设备106处的扬声器递送给访客(图10I)时，界面返回到通话屏幕1006。

在一些实施方式中，所显示的快速动作1024仅包括基于通信的动作、仅包括基于动作的动作或包括至少一个基于通信的动作和至少一个基于动作的动作。图10J是用于未知或非预期访客1030的示例性快速动作选择屏幕1022a。根据一些实施方式，动作1032、1034和1036对应于关于访客1030的场境信息(例如，基于场境被认为是适当的)并且都是基于通信的。图10K是用于已知和/或预期访客1034的示例性快速动作选择屏幕1022b。基于通信的动作1042和1044以及基于动作的动作1046对应于关于访客1040的场境信息。图10L是用于未知和潜在不安全的访客1050的示例性快速动作选择屏幕1022c。基于通信的动作1052以及基于动作的动作1054和1056与关于访客1050的场境信息相对应。在选择快速动作后，电子问候系统执行与所选择的快速动作相对应的任务。在一些实施方式中，在选择快速动作后，用户设备界面返回到通话屏幕1006(图10I)。

图11A和图11B示出根据一些实施方式的用于显示具有快速动作的通知的代表性用户界面。在图11A中，用户界面1102包括通知1104以及关于入口(例如，“前门”)和运动事件(例如，“门口处有人”)的相关信息，该通知1104包括包含访客的图像或入口的图像的第一部分1106。界面进一步包括第二部分1108，第二部分1108包括适当的快速动作列表。在一些实施方式中，在初始通知中自动显示快速动作。在其他实施方式中，初始通知包括动作可供性(例如，如图10G所示)，选择该动作可供性打开快速动作列表。在一些实施方式中，第一和第二部分1106和1108形成单个通知部分。在图11B中，用户界面1110包括可供性1112(类似于图10C中的那些可供性)以及快速动作列表1114。对于具有相对大的屏幕的客户端设备(例如，图11B)，快速动作可选地占据屏幕的较小部分。在一些实施方式中，图像占据界面的整个背景，在前景层中显示快速动作。

图12A-D示出根据一些实施方式的用于显示通知的代表性用户界面。图12A描绘了用于当用户处在通话屏幕1006(图10C)中时，家庭成员接听通话时的界面1202。在这种情况下，根据一些实施方式，交谈和动作可供性消失、淡出或以其他方式被标识为不可选择。在一些实施方式中，该界面(例如，通过字幕)显示关于访客和家庭成员之间的通话的信息。在一些实施方式中，交谈和动作可供性中的一个或两者保持可选择，允许多个人同时加入通话和/或当另一个人在通话中时快速动作被采取。图12B描绘了当两个人同时接听通话时的界面1204。在一些实施方式中，显示错误消息，通知用户该通话无法完成。但是，在一些实施方式中，当两个人同时接听通话时，两个人都连接到该通话。图12C描绘了当没有足够的带宽来支持音频和视频数据时的界面1206。在一些实施方式中，可以丢弃视频以有利于支持较低带宽的基于音频和/或文本的交互。在一些实施方式中，在用户界面中显示消息，通知用户带宽限制。图12D描绘了用于当与入口相关联的相机(例如，门铃106的相机)关闭时的界面1208。在一些实施方式中，不能显示图像，并且在用户界面中显示消息，通知用户。在一些实施方式中，在用户界面中显示开关(或任何其他基于控制的可供性)，允许用户打开相机。

图13A-D示出根据一些实施方式的用于通过对话与访客进行交互的代表性用户界面。图13A包括界面屏幕1302，该界面屏幕1302包括用于发起对讲对话的对讲可供性、用于发起助手主导的对话的助手可供性以及用于忽略通话的忽略可供性。在一些实施方式中，界面包括访客的面部的裁剪。图13B包括界面屏幕1304，该界面屏幕1304描绘了包括助手(例如，“我能如何帮助您？”)和访客(例如，“我是来送包裹的”)之间的交互的实况转录的助手通话。在一些实施方式中，访客的消息是音频消息，并且界面包括控制录音的回放的消息的播放按钮。图13C示出了界面1306，该界面1306用于使用所建议的答复(例如，“把它留在门廊上”和“好的”)响应于文本到语音对话中的消息。图13D包括在图13C中开始的交互的实况转录，其中用户已选择“把它留在门廊上”建议。

图14示出根据一些实施方式的包括交互摘要(例如，图9D，摘要988)的代表性摘要通知。在一些实施方式中，摘要1402-1408包括识别访客的信息(例如，“UPS”、“Michael”和“陌生人”)以及内容信息(例如，访客的告知消息的一部分)和/或活动信息(例如，“留言”、“包裹递送”和“助手让他进来了”)。在一些实施方式中，摘要1410附加地包括访客的视频片段。

根据上文参考附图所述的原理，现在转向某些实施方式。

一些实施方式包括识别和响应于智能家居环境的访客的方法。在一些实施方式中，该方法包括：(1)从智能家居环境的相机获取运动流，该相机具有智能家居环境的入口的视场；(2)基于对运动流的分析，确定访客正在接近入口；(3)基于运动流中的一个或多个帧执行面部辨识操作，并且基于面部辨识操作的结果确定人员是否是智能家居环境已知的；(4)响应于确定访客正在接近而发起观察窗；(5)在观察窗期间，获取并且关联来自智能家居环境的一个或多个传感器的场境信息；(6)在观察窗结束时，基于场境信息和面部辨识操作的结果，发起对正在接近入口的访客的响应。

在一些实施方式中，“访客”包括智能家居环境的居民、智能家居环境的非居民、已知人员(例如，由电子问候系统辨识的人员)和智能家居环境的入口附近的未知人员(例如，未被电子问候系统辨识的人员)。

在一些实施方式中，从相机获取运动流包括检测关于相机的视场中的运动的量的信息。在一些实施方式中，从相机的视频流中得出运动流包括将相机的视场中的检测到的运动的量与阈值进行比较。例如，如果检测到的运动的量大于预确定阈值，则与检测到的运动相关联的数据被包括在运动流中以用于进一步分析；否则，与检测到的运动相关联的数据不被包括在运动流中。

在一些实施方式中，确定访客是否正在接近入口包括比较随时间的访客的特性的尺寸(例如，访客的路线、访客与入口的接近度、访客的面部的尺寸、访客的身体的尺寸和/或访客的任何其他身体特性，诸如身体任何部分的高度或形状，该身体任何部分包括整个身体。例如，如果访客的高度或宽度随时间增加，或者如果访客的面部的尺寸随时间增加，则确定访客正在接近入口。附加地或可替代地，如果访客的特性的尺寸超过阈值，则确定访客正在接近入口。

在一些实施方式中，该方法进一步包括当面部的尺寸超过运动流的帧的阈值比例时，或者当面部的尺寸超过阈值时，从运动流捕获访客的面部的裁剪。

在一些实施方式中，确定访客正在接近入口包括检测访客进入入口附近的活动区域。在一些实施方式中，活动区域的尺寸和位置取决于入口的地理位置以及入口与公共空间的接近度。在一些实施方式中，活动区域的位置取决于所递送的包裹的位置。例如，当在入口附近处递送包裹时，电子问候系统实例化包括包裹周围的预确定缓冲区域的包裹周围的活动区域。当确定访客已经进入预确定缓冲区时，电子问候系统确定访客正在接近入口。在一些实施方式中，除了访客正在接近入口的任何确定以外或作为其替选，做出访客已经进入活动区域的确定。例如，如果确定访客正在接近入口，但没有进入包裹周围的活动区域，则仅做出接近确定。此外，如果访客进入包裹周围的活动区域，但是没有被确定为正在接近入口(例如，如果包裹已经离入口相对远地被递送)，则仅做出活动区域违反确定。在一些实施方式中，活动区域被限定远离入口附近处的任何敏感对象(例如，花、草坪装饰物或用户可能期望保护其免受破坏或盗窃的任何其他对象)的位置。

在一些实施方式中，在确定访客正在接近入口时，该方法附加地包括自动地从被用来获取运动流的相机切换到位置更好以捕获访客的面部的图像的相机，诸如门铃相机。但是，在一些实施方式中，仅使用一个相机来获取运动流和捕获访客的面部。

在一些实施方式中，观察窗的长度被预定义为对应于访客完成接近入口或到达距入口的阈值距离的合理时间量。例如，与接近位于较短走道末端的入口的访客相比，接近位于长走道末端的入口的访客被给予更多的时间以到达入口(或距入口的阈值距离)。

在一些实施方式中，该方法附加地或替代地包括响应于确定访客在距入口的阈值距离内而发起观察窗，其中，阈值基于入口的布局被预确定。在一些实施方式中，当访客足够接近入口以使得能够与电子问候系统进行交互(例如，按门铃或口头通信)时，发起观察窗。在一些实施方式中，基于诸如无源红外(“PIR”)传感器或雷达的距离传感器，确定访客已经到达距入口的阈值距离。

在一些实施方式中，场境信息基于检测到的告知事件(例如，按门铃、敲门、键盘输入或口头告知)；面部辨识分析；访客的一个或多个行为特性；访客的一个或多个服装特性；访客在其期间接近入口的一天中的时间；访客的口头告知；与预排程事件的时间接近度；与智能家居环境的预排程状态的时间接近度；用户的状态或位置和/或与涉及访客接近入口的运动事件的识别计时相比的检测到的访客动作的计时。

在一些实施方式中，场境信息包括检测到的告知事件。示例性告知事件包括按门铃、敲门、键盘输入、远程控制操作或访客与电子问候系统之间的任何其他类型的主动交互。在一些实施方式中，场境信息包括在多于预确定的时间阈值内没有检测到的告知事件(例如，访客在入口徘徊而没有按下门铃)。在一些实施方式中，告知是与已知的访客相关联的事件的预指派模式的一部分(例如，个性化的敲门或门铃响铃模式)。在一些实施方式中，告知是与已知访客相关联的预指派口头告知。对于这些实施方式，音频传感器(例如，麦克风)检测音频信号，并且处理器执行音频辨识分析以确定口头告知是否与存储在存储器中的任何已知告知匹配。在一些实施方式中，音频辨识分析确定访客的语音是否与存储在存储器中的已知语音匹配。在一些实施方式中，音频辨识分析确定访客的词语是否与存储在存储器中的已知词语模式相匹配(例如“这是Matt”、“我来这里烧烤”或“密码是Bosco”)。

在一些实施方式中，场境信息包括基于面部辨识分析的身份数据。在一些实施方式中，面部图像被存储在数据库中。在一些实施方式中，用户通过自动注册来自智能家居环境的新的或先前未注册的访客的新面部的经裁剪的图像来将新面部图像添加到数据库。在其他实施方式中，用户通过注册潜在访客来添加新面部图像，与访客是否在入口附近无关。例如，在不涉及到访的时间或位置，用户可以捕获潜在访客的面部图像，以便当潜在访客在将来的时间到访智能家居环境时，智能家居环境将辨识潜在用户并且基于面部辨识提供适当的场境信息。在一些实施方式中，除了身份数据(例如，“Matt在前门”)之外或作为其替代，场境信息包括基于访客的面部是否被识别的访客的归类(例如，“已知访客在前门，”或“未知访客在前门。”)。例如，如果访客的面部被辨识，则场境信息包括“已知”状态，并且如果访客的面部未被辨识，则场境信息包括访客的“未知”状态。附加地或替代地，身份数据或归类数据包括基于面部辨识分析的结果的对访客的进一步描述(例如，“泳池清洁员在前门”)。

在一些实施方式中，场境信息包括访客的一个或多个行为特性。例如，行为特性包括手持物体(例如，包裹、笔记板或暗示或标识访客存在的原因的任何其他物体)。作为另一示例，行为特性包括在活动区域(例如，由距入口或距诸如递送的包裹的物体的阈值距离限定的区域)中徘徊大于预确定阈值的时间段。

在一些实施方式中，场境信息包括访客的一个或多个服装特性。例如，服装特性包括(例如，由递送人员穿着的)制服。其他示例包括服装类别，诸如商务服装、休闲服装和可疑服装(例如，遮盖面部的一件服装、夜间或在黑暗照明条件下的深色服装以及与团伙有关的服装)。

在一些实施方式中，场境信息包括访客在其期间接近入口的一天中的时间。例如，在白天期间可疑级别可能较低，而在晚上期间可疑级别可能较高。在一些实施方式中，“白天”和“晚上”由预确定时间区分。在其他实施方式中，“白天”和“晚上”通过感测入口的视场中的光量区分。通过例如使用入口附近的光传感器，或者通过分析运动流的一个或多个帧中的亮度级别，完成感测视场中的光量。在一些实施方式中，基于可见性的场境信息基于中间亮度量(例如，在黄昏和黎明期间或在阴天期间)被加权。

在一些实施方式中，场境信息包括音频数据，诸如口头告知(上文描述其示例)。其他示例包括来自不是访客的来源的背景噪音(例如，吠叫的狗、警笛或可能为到访提供场境的任何其他声音)。

在一些实施方式中，场境信息包括与预排程事件的时间接近度。例如，遛狗者可以被排程以在预安排的时间接取狗。递送人员可以被排程以在预期的时间递送包裹。服务人员(或任何其他已知的人员)可以被排程以在预期时间或时间跨度期间到达(例如，每个星期二下午2点到4点之间清洁泳池、每月的第一个星期六为草坪服务或为其他目的而提前安排的一次到访)。

在一些实施方式中，场境信息包括与智能家居环境的预排程状态的时间接近度。例如，智能家居环境可以被预排程为在某些小时之间(例如，在上午9:00到下午6:00之间)无人(即，居住者不在)。作为进一步的示例，智能家居环境可以处于请勿打扰模式(例如，当婴儿正在睡觉时或者在居住者希望独自待着的安静时段期间)。

在一些实施方式中，场境信息包括用户的状态或位置。示例性用户状态包括请勿打扰状态、离开状态和/或在家状态。在一些实施方式中，客户端设备的位置传感器将用户位置信息提供给电子问候系统。在其他实施方式中，用户手动通知电子问候系统用户的位置和/或状态。

在一些实施方式中，场境信息包括上述示例的任何组合。在一些实施方式中，场境信息的各个子集被加权，并且场境信息是场境信息的各个子集的加权的组合。例如，亮度信息或一天中的时间信息可以比身份信息更重地加权(例如，如果泳池清洁员在深夜接近入口，则在确定接近访客的场境信息时，一天中的时间信息更相关，因此被更重地加权)。

在一些实施方式中，观察窗在以下中的较早的时结束：(1)访客告知(例如，按门铃或敲门事件)；以及(2)预确定时间阈值(例如，访客已经徘徊了多于预确定时间阈值而没有做出告知)。在一些实施方式中，预确定时间阈值是动态的并且其取决于场境信息(例如，当场境信息暗示较高的安全或关切级别时，观察窗更长，并且当场境信息暗示较低的安全或关切级别时，观察窗更短)。

一些实施方式包括一种经由智能家居环境的电子问候系统与智能家居环境的访客进行交互的方法。在一些实施方式中，该方法包括：(1)从智能家居环境的传感器获取运动数据；(2)基于对运动数据的分析，确定涉及访客的运动事件；(3)针对运动事件，从智能家居环境中获取场境信息；(4)基于场境信息，识别可用于客户端设备的用户以用于经由电子问候系统与访客交互的多个适当动作；(5)使所识别的动作被呈现给客户端设备的用户。

在一些实施方式中，获取运动数据包括分析多个图像帧以确定多个帧中的两个或更多个帧之间的运动是否满足运动标准。在一些实施方式中，在后续帧之间比较像素运动。在其他实施方式中，在当前帧和参考图像之间执行图像差分。

在一些实施方式中，获取运动数据包括分析来自红外传感器(例如，PIR传感器)的红外数据以确定红外数据中的差异是否满足运动标准。在一些实施方式中，获取运动数据包括分析来自运动传感器的数据以确定运动数据是否满足运动标准。

在一些实施方式中，如上所述，识别运动事件包括检测访客进入入口附近的(上文定义的)活动区域，检测访客的面部和/或检测以下中的至少一个：访客的高度、形状和移动特性。

在一些实施方式中，识别运动事件包括上述与访客接近入口或进入活动区域有关的确定中的任一个。换句话说，当电子问候系统确定访客正在接近入口或进入活动区域时，动作事件被触发。

在一些实施方式中，针对运动事件从智能家居环境中获取场境信息包括获取上述场境信息中的任一个。换句话说，当动作事件被识别或触发时，通过电子问候系统获取上述场境信息中的任一个。

基于场境信息，电子问候系统识别可用于客户端设备的用户以用于经由电子问候系统与访客交互的多个适当动作。如果取决于场境信息，动作对于响应于访客是相关的、可适用的、有用的、有关的和/或适合的，则该动作被定义为“适当”。在一些实施方式中，动作的集合被存储在数据库中并且按照其对于涉及特定访客和特定场境信息的当前状况的适用性、相关性和/或有用性进行排名。然后基于排名对经排名的动作进行排序。在这些实施方式中，如果动作被排名相对高于另一动作，则该动作被定义为“适当”。在一些实施方式中，动作排名越高，认为该动作越适当。在一些实施方式中，如果动作的排名高于预确定阈值(例如，排名最高的十个动作)，则该动作被定义为“适当”，并且向用户呈现适当动作的子集(例如，三个动作)。在其他实施方式中，基于可以在客户端设备的单个用户界面中向用户呈现的动作的数量来确定阈值(例如，如果用户界面一次只能显示三个动作，则排名最高的三个动作被确定为“适当”)，并且在同一用户界面中向用户同时呈现所有适当的动作。在一些实施方式中，要呈现给用户的动作的数量基于客户端设备的用户界面的快速动作区域中可用的空间量。

在一些实施方式中，适当的动作包括一个或多个基于通信的动作。在一些实施方式中，电子问候系统使用合成语音与访客讲话。在其他实施方式中，电子问候系统向用户输出由用户提前记录的预记录的消息。基于通信的动作的示例包括向访客传送关于用户状态的消息(例如，“Matt正忙”或“Matt将到那里”)；向访客传送指示访客采取动作的消息，(例如，“请留下包裹”、“稍后回来”或“进来并带走狗”)；将定制的消息传送给预期或非预期的访客，诸如对销售员的答复(例如“对不起，我们不感兴趣”)、问候(例如“欢迎，请在后院加入我们”)或提示(例如，“我应该联系房主吗？”或“密码是什么？”)；并向访客传送指示访客为用户留言的消息。在一些实施方式中，如果访客为用户留言，则电子问候系统会将消息发送给用户的设备。如果用户正在监控客户端设备，则用户可以在接收到消息时观看和/或收听消息。否则，该消息由客户端设备或由电子问候系统记录以供用户将来检索。在一些实施方式中，取决于所获取的场境信息，电子问候系统通过提及用户的姓名或通过使用通用占位符(例如“房主”)来向访客识别用户。例如，如果访客是已知的，则电子问候系统将使用用户的姓名，但是如果访客是未知的，则电子问候系统将通过通用占位符来指代用户。在一些实施方式中，(例如，如果用户是已知的)电子问候系统用姓名指代用户。在一些实施方式中，取决于场境信息(例如，如果用户不在，包裹被留在入口以及未知访客进入包装员周围的活动区域，系统向访客传送访客被辨识)，电子问候系统通过其他描述性属性(例如，“您好，穿红色连帽衫的人员”)来指代用户。

在一些实施方式中，预编程定制消息，从而允许用户从列表中选择它们。在其他实施方式中，通过客户端设备实时传送定制消息。例如，用户通过直接输入文本消息或通过使用客户端设备的话音转文本应用，在客户端设备上编写定制消息。然后，用户编写的消息在电子问候系统处被文本到话音应用转换为音频消息，并且通过位于入口附近的扬声器将音频消息传送给访客。在一些实施方式中，访客的响应在电子问候系统或客户端设备处被话音到文本应用记录并转换为文本消息，并且通过客户端设备的用户界面将文本消息呈现给用户。在一些实施方式中，访客的消息以音频格式被传输到客户端设备并作为音频消息呈现给用户。在一些实施方式中，如果访客以用户不理解的语言讲话，反之亦然，则消息在电子问候系统或客户端设备处被翻译应用翻译。

在一些实施方式中，除了音频通信之外或作为其替代，电子问候系统向访客呈现视觉通信，诸如由用户在客户端设备上记录的视频消息、预编程的视频消息或用户的文本消息的视觉表示。在一些实施方式中，视觉通信在安装在入口附近的显示器上呈现给访客。

在一些实施方式中，适当的动作包括一个或多个基于动作的动作。基于动作的动作的示例包括调整智能家居环境的安全级别(例如，锁门或解锁门、通过调暗一个或多个灯或打开或关闭一个或多个灯来调整入口处的一个或多个灯或智能家居环境的其他区域中的一个或多个灯的亮度级别、调整警报敏感度级别)；提醒执法人员(例如拨打911)；提醒用户的预选择的联系人(例如，信任的邻居或邻里监督联系人)；捕获访客的图像或视频数据并将其记录，将该访客的图像或视频数据发送给当局或发送给用户的预选择的联系人或打开智能家居环境的警报。

在一些实施方式中，适当的动作包括一个或多个特定人员的动作。特定人员的动作的示例包括基于检测到的访客身份的动作(例如，基于面部辨识、个性化的门铃按钮模式、个性化的键盘密码或上文讨论的其他示例检测的)；访客被归类为已知还是未知(例如，“到后面来”对比“请等待帮助”)；访客是预期的还是非预期的(例如，“进来并接狗”对比“您似乎比遛狗的约定早”)；或访客正在做什么(例如，出现在活动区域中而没有告知、有包裹时进入活动区域或在入口附近徘徊超过阈值的时间)。在一些实施方式中，被归类为具有未知身份的访客仍可以基于其他因素被归类为预期访客，该其他因素诸如制服(例如，表示泳池清洁或遛狗服务)或访客携带或带有的物体(例如泳池清洁装备或狗链)。

在一些实施方式中，适当的动作包括一个或多个特定位置的动作。特定位置的动作的示例包括取决于入口位置的动作，诸如前门的动作的第一子集(例如，基于通信的问候)对比后门或内门的动作的第二子集(例如，基于动作的功能，诸如使警报发声)。

在一些实施方式中，适当的动作包括一个或多个特定建筑物的动作。特定建筑物的动作的示例包括基于智能家居环境是居民住所、公寓大厦或公寓(例如，有在家和离开时间以及各种基于居民的动作)还是工作场所(例如，有营业和关门时间和各种基于工作场所的动作)。特定建筑物的动作的其他示例包括基于智能家居环境所位于的街区或地理区域的相对安全级别的动作(例如，针对安全区域的基于通信的问候对比针对不安全区域的基于动作的安全功能)。

在一些实施方式中，适当的动作包括一个或多个特定用户意向的动作。特定用户意向的动作的示例包括针对感到不安全的用户的动作(例如，独自一人在不安全的街区中的用户可能希望更快地访问基于动作的安全功能)以及针对仅希望监控访客的用户的动作(例如，在工作中并且仅希望监控住所递送的用户可能希望更快地访问基于通信的问候)。

如上所论述的，电子问候系统识别可用于客户端设备的用户以用于经由电子问候系统与访客交互的多个适当动作。在一些实施方式中，该识别基于经排序的动作的排名，该动作的排名基于场境信息。在一些实施方式中，识别进一步基于针对不同情况的定制的用户偏好(例如，如上所论述的，当独自在家时，用户可以决定总是使警报动作快速可用)。电子问候系统继续进行以使所识别的动作被呈现给客户端设备的用户。在一些实施方式中，要呈现给用户的动作的数量基于客户端设备的用户界面的快速动作区域中可用的空间量。在一些实施方式中，用户界面的快速动作区域占用的空间量与用户界面的大小成比例。例如，与具有相对较小屏幕的客户端设备相比，对于具有相对大的屏幕的客户端设备，用户界面的快速动作区域更宽大，从而允许向用户呈现更多动作。在一些实施方式中，用户界面的快速动作区域的大小(因此可以同时呈现给用户的动作的数量)可由用户定制。

电子问候系统进一步被配置为从客户端设备的用户接收对所识别的动作的选择，并且使该动作被执行。在一些实施方式中，如果用户还未找到期望的动作，则系统可以接受用户的请求以显示后续的多个适当的动作。在一些实施方式中，系统从过去的对适当动作的用户选择中学习并且相应地调整具有相似场境信息的动作的未来排名。在一些实施方式中，系统被进一步配置为在由客户端设备促进的用户和访客之间的同时的单向或双向音频通信会话期间，从客户端设备的用户接收对所识别的动作的选择。换句话说，对于在其中用户正在与访客进行音频对话并希望在对话期间选择适当的动作的情况，系统允许用户选择动作(例如，解锁门或拍照)而无需离开音频对话。

在一些实施方式中，电子问候系统进一步被配置为根据在已经向用户呈现了动作的初始子集之后观察到的新的场境信息，向用户呈现动作的经更新的子集。例如，动作的初始子集可以包括基于通信的动作(例如，问候)和基于动作的安全动作(例如，使警报发声)。如果用户发送问候并且访客使用识别信息做出响应(例如，通过展示凭证、更直接地看向相机或在小键盘中输入密码)，则电子问候系统可能会提供纯粹基于通信的经更新的动作子集(例如，对访客的响应的多个答复)。另一方面，如果访客未能响应于问候，则电子问候系统可以呈现纯粹基于动作的经更新的动作子集(例如，使警报发声或呼叫当局)。

尽管各种附图中的一些以特定顺序示出了多个逻辑阶段，但是可以重新排序不依赖于顺序的阶段，并且可以组合或分解其他阶段。虽然具体提到了一些重新排序或其他分组，但是其他对于本领域普通技术人员来说是显而易见的，因此本文呈现的排序和分组不是穷尽的替代的列表。此外，应当认识到，这些阶段可以用硬件、固件、软件或其任何组合来实现。

出于解释的目的，已经参考具体实施方式描述了前述描述。然而，上面的说明性讨论并非旨在穷举或将权利要求的范围限制为所公开的精确形式。鉴于上述教导，许多改进和变化都是可能的。选择实施方式以便最好地解释以权利要求为基础的原理及其实际应用，从而使得本领域的其他技术人员能够最好地使用具有适合于预期的特定用途的各种改进的实施方式。

Claims (20)

1.一种电子问候系统的方法，所述方法包括：

检测到环境的访客；

响应于所述检测，从所述环境获取场境信息，所述场境信息包括与所述访客有关的信息；

基于所述场境信息，识别能够用于客户端设备的用户的用于经由所述电子问候系统与所述访客交互的多个适当动作；以及

使所识别的动作被呈现给所述客户端设备的所述用户。

2.根据权利要求1所述的方法，其中，检测访客包括：获取和分析指示访客正在接近入口或在所述入口附近的存在信息。

3.根据权利要求2所述的方法，其中，从所述环境的一个或多个运动传感器的运动数据中得出所述存在信息。

4.根据权利要求2所述的方法，其中：

从具有对应于所述入口的视场的相机获取的视频数据中得出所述存在信息；以及

从所述视频数据中得出所述存在信息包括：分析多个图像帧以确定所述多个图像帧中的对象的位置差异是否超过阈值。

5.根据权利要求2所述的方法，其中：

从在所述入口附近的音频传感器获取的音频数据中得出所述存在信息；以及

从所述音频数据中得出所述存在信息包括识别选自由以下组成的组中的至少一个事件：敲门、门铃声音、脚步声或口头告知。

6.根据权利要求1所述的方法，其中，所述场境信息基于选自由以下组成的组中的一个或多个数据输入：

面部辨识分析结果；

所述访客的一个或多个行为特性；

所述访客的一个或多个身体特性；

所述访客的一个或多个服装和/或配件特性；

所述访客接近所述入口的一天中的时间；

所述访客接近所述入口的一周中的一天；

来自所述环境的音频数据；

时间上接近预排程事件；

时间上接近所述环境的预排程状态；

所述用户的已知或未知状态；

所述用户的预期或非预期状态；

所述用户的位置；

所述用户的身份；以及

一个或多个检测到的访客动作。

7.根据权利要求1所述的方法，其中，所述多个适当动作中的一个或多个动作包括向所述访客传达通信，所述通信选自由以下组成的组：

传达所述用户的状态的通信；

传达所述访客执行动作的请求的通信；

传达所述访客留言的请求的通信；

预编程的定制通信；

用于转换为音频消息的用户编写的文本消息；

通过合成语音传达的音频消息；以及

在显示器上呈现的视觉消息。

8.根据权利要求1所述的方法，其中，所述多个适当动作中的一个或多个动作包括发起选自由以下组成的组中的安全动作：

激活灯或调整所述环境的照明级别；

锁或解锁所述环境的门；

激活警报或调整所述环境的警报敏感度；

激活所述环境的洒水器系统；

激活模拟狗吠；

激活安全系统或调整所述环境的安全状态；

向公共或私人执法人员传输通知或警报；

向所述用户的预选择的联系人传输通知或警报；以及

记录所述访客的图像或视频。

9.根据权利要求1所述的方法，其中，所述多个适当动作包括特定于所述环境的位置的动作、特定于所述环境的建筑物类型的动作、或者特定于用户意向的动作。

10.根据权利要求1所述的方法，其中，所述多个适当动作中的第一动作包括向所述访客传达通信，以及所述多个适当动作中的第二动作包括发起安全动作。

11.根据权利要求1所述的方法，其中，所述场境信息包括在预确定的时间阈值期间不存在所检测的告知事件。

12.根据权利要求1所述的方法，其中，所述场境信息基于一个或多个检测到的访客动作，所述一个或多个检测到的访客动作选自由以下组成的组：门铃激活；敲门；音频告知；以及所述访客与所述电子问候系统之间的交互。

13.根据权利要求1所述的方法，其中，在所述用户与所述访客之间的同时通信期间，所述用户选择被接收。

14.一种电子问候系统，包括：

至少一个传感器；

一个或多个处理器；以及

耦合到所述一个或多个处理器的存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：

检测到环境的访客；

响应于所述检测，从所述环境获取场境信息，所述场境信息包括与所述访客有关的信息；

基于所述场境信息，识别能够用于客户端设备的用户的用于经由所述电子问候系统与所述访客交互的多个适当动作；以及

使所识别的动作被呈现给所述客户端设备的所述用户。

15.根据权利要求14所述的电子问候系统，其中，检测访客包括：获取和分析指示访客正在接近入口或在所述入口附近的存在信息。

16.根据权利要求15所述的电子问候系统，其中：

所述至少一个传感器包括运动传感器；以及

从所述运动传感器的运动数据中得出所述存在信息。

17.根据权利要求15所述的电子问候系统，其中：

所述至少一个传感器包括相机；

从具有对应于所述入口的视场的所述相机获取的视频数据中得出所述存在信息；以及

从所述视频数据中得出所述存在信息包括：分析多个图像帧以确定所述多个图像帧中的对象的位置差异是否超过阈值。

18.根据权利要求15所述的电子问候系统，其中：

所述至少一个传感器包括音频传感器；

从在所述入口附近的所述音频传感器获取的音频数据中得出所述存在信息；以及

从所述音频数据中得出所述存在信息包括识别选自由以下组成的组中的至少一个事件：敲门、门铃声音、脚步声或口头告知。

19.根据权利要求14所述的电子问候系统，其中，所述场境信息基于选自由以下组成的组中的一个或多个数据输入：

面部辨识分析结果；

所述访客的一个或多个行为特性；

所述访客的一个或多个身体特性；

所述访客的一个或多个服装和/或配件特性；

所述访客接近所述入口的一天中的时间；

所述访客接近所述入口的一周中的一天；

来自所述环境的音频数据；

时间上接近预排程事件；

时间上接近所述环境的预排程状态；

所述用户的已知或未知状态；

所述用户的预期或非预期状态；

所述用户的位置；

所述用户的身份；以及

一个或多个检测到的访客动作。

20.根据权利要求14所述的电子问候系统，其中，所述多个适当动作中的一个或多个动作包括向所述访客传达通信，所述通信选自由以下组成的组：

传达所述用户的状态的通信；

传达所述访客执行动作的请求的通信；

传达所述访客留言的请求的通信；

预编程的定制通信；

用于转换为音频消息的用户编写的文本消息；

通过合成语音传达的音频消息；以及

在显示器上呈现的视觉消息。