CN110546627A - 与家庭助理的视频整合 - Google Patents

Abstract

本文详述了涉及使用家庭助理和集成视频服务来管理排程事件的各种装置。使用支持网络的视频相机，可以捕获位置的视频流。捕获的视频流可以被用于确定在该位置处存在的用户的身份。响应于识别用户的身份，可以确定对用户的基于云的日历账户的访问被授权。可以访问与该用户链接的基于云的日历账户。可以确定映射到被排程在阈值持续时间内发生的基于云的日历账户的下一个日历事件。可以访问与下一个日历事件链接的描述。支持网络的智能家庭助理设备可以被用来合成语音以宣布与下一个事件有关的细节。

Description

与家庭助理的视频整合

背景技术

家庭助理(HA)设备可以为用户提供有有价值的信息。通常，用户说出触发词或短语以便激活HA设备。例如，用户可以说“OK计算机”或“Hey设备”来触发HA设备转换到命令或查询收听模式。然后，HA设备可以收听由用户所陈述的查询或命令，并且HA可以响应于该查询或命令来采取一些动作。这可能包括访问远程服务以尝试确定用户查询的回答。作为示例，用户可以向HA设备询问天气，并且HA设备可以访问基于互联网的气象服务以获得本地天气信息。虽然HA设备可以向用户提供重要功能，但是许多常见的装置可能固有地受限，因为这样的设备只能收听用户和用户的环境。

发明内容

本文详述了各种配置，包括方法、系统、设备和非瞬时性处理器可读介质，涉及使用家庭助理和集成视频服务来管理排程事件。使用支持网络的视频相机，可以捕获用户存在位置的视频流。可以使用所述支持网络的视频相机捕获的视频流来确定所述用户的身份。响应于识别用户的身份，可以确定授权对用于所述用户的所述基于云的日历账户的访问。可以访问与所述用户链接的所述基于云的日历账户。可以确定映射到所述基于云的日历账户的下一个日历事件被排程在阈值持续时间内发生。响应于确定映射到所述基于云的日历账户的下一个日历事件被排程在阈值持续时间内发生，可以访问与所述下一个日历事件链接的描述。支持网络的智能家庭助理设备可以合成语音，以在用户仍然存在在所述视频流内时，宣布排程的开始时间并且读取与所述下一个日历事件链接的描述。

这些方法、系统、设备和非瞬时性处理器可读介质的各个实施例可以包括下述特征中的一个或多个：可以确定事件位置与所述下一个日历事件相链接。可以访问交通服务，以确定从与所述支持网络的智能家庭助理设备或所述支持网络的视频相机链接的家庭位置到所述事件位置的行进时间。可以使用所述支持网络的智能家庭助理设备合成语音，以指示基于所确定的行进时间用户应当离开所述家庭位置以到达所述事件位置的时间。可以接收请求录制视频片段的话音命令。可以从视频流录制视频片段，其中，所述视频片段被映射到所述用户的用户账户。可以接收请求在将来的时间录制所述视频片段的话音命令。可以基于所述话音命令和所述时间来排程录制事件。可以从所述时间起，从所述视频流录制视频片段，其中，所述视频片段被映射到所述用户的用户账户。可以接收请求捕获图像的话音命令。可以使用所述支持网络的智能家庭助理设备来合成语音以指示直到捕获到所述图像为止的时间量。可以使用所述支持网络的视频相机捕获所述图像。可以将所述图像存储并映射到所述用户的用户账户。可以接收请求录制延时视频片段的话音命令，所述话音命令指定开始时间和结束时间。可以在所述开始时间和所述结束时间之间捕获多个图像，其中，捕获图像的频率取决于所述开始时间和所述结束时间之间的持续时间。可以使用所述多个图像创建所述延时视频片段。可以接收请求所述位置处的一个或多个事件的历史的话音命令。可以至少在预定义时间段内分析存储的视频流。可以识别与高于定义的阈值的音频水平链接的多个事件。可以创建包括来自在所述多个事件期间录制的所存储的视频流的视频的视频精彩集锦。

附加或可替选地，这些方法、系统、设备和非瞬时性处理器可读介质的实施例可以包括下述特征中的一个或多个：可以从所识别的用户接收第一话音查询。可以确定所述用户被授权访问与所述支持网络的智能家庭助理设备链接的基于云的日历账户。可以响应于第一话音查询输出合成的语音响应，该语音响应并入来自与所述支持网络的智能家庭助理设备链接的基于云的日历账户的信息。可以分析使用所述支持网络的视频相机捕获的视频流以确定存在未识别的用户。可以接收来自所述未识别的用户的第二话音查询。可以确定所述未识别的用户未被授权访问与所述支持网络的智能家庭助理设备链接的任何日历。可以响应于第二话音查询来输出通用响应，该通用响应未并入来自与所述支持网络的智能家庭助理设备链接的任何日历的信息。可以从所识别的用户接收话音查询。可以确定所述话音查询正在请求将物品添加到所存储的购物清单中。响应于确定所述话音查询，可以通过在所述视频流的一个或多个帧上执行对象识别来确定所述物品的名称。可以将所确定的物品的名称添加到所存储的购物清单上。

附图说明

通过参考下述附图，可以实现对各种实施例的本质和优点的进一步理解。在附图中，类似的组件或特征可以具有相同的参考标记。此外，相同类型的各种组件可以通过参考标记后面的短划线以及区分相似组件的第二标记来区分。如果在说明书中仅使用第一参考标记，则该描述适用于具有相同第一参考标记的任何一个类似组件，而与第二参考标记无关。

图1示出了使用基于云的服务与流式视频相机集成的家庭助理设备的实施例。

图2示出了智能家庭环境的实施例，其中，可应用本文所述的设备、方法、系统和/或服务中的一个或多个。

图3示出了基于云的家庭助理集成系统的实施例。

图4示出了使用具有集成视频服务的家庭助理服务来管理排程事件的方法的实施例。

图5示出了用于使用家庭助理服务来管理视频或图像捕获的方法的实施例。

图6示出了用于使用与视频服务集成以修改购物清单的家庭助理服务的方法的实施例。

图7示出了用于基于由集成视频服务观察到的特性来处理话音命令的方法的实施例。

图8示出了用于使用与视频服务集成的家庭助理服务与宣布他或她的存在的人交互的方法的实施例。

具体实施方式

家庭助理(HA)服务与视频流服务的集成可以增加两种服务的功能。也就是说，通过结合包括HA服务的用户所在位置或附近的区域的视频馈送来执行HA服务，可以显著地增加提供给用户的功能。这种集成可以直接在设备之间或在云中执行。(可以由专用HA设备或具有适当硬件的另一设备执行的)HA服务可以发送从用户捕获的音频并且发送到基于云的HA平台以处理。类似地，视频流服务可以发送从提供HA服务的设备附近的位置捕获的视频。基于云的HA集成平台可以分析从HA服务接收的音频以及从视频流服务接收的视频。可以基于来自HA服务的音频和来自流式视频服务的视频，由基于云的HA集成平台，来确定经由HA服务提供给用户的响应、由HA服务执行的动作，或者如何处理流式视频。

图1示出了与HA系统100的视频集成的实施例，HA系统100具有使用基于云的HA集成平台130(称为“平台”)，与流式视频相机120集成的HA设备110。HA设备110可以是可以安装在用户住宅中或附近的独立设备，使得HA设备110可以与本地无线网络和互联网通信。HA设备110可以提供HA服务，其包括接收话音查询并且使用自然的口语来响应话音查询的能力。HA设备110可以包括：一个或多个麦克风111、一个或多个扬声器112、语音合成器113、无线通信接口114，以及一个或多个处理器115。

麦克风111可以用于从HA设备110的周围环境捕获音频。可以分析该捕获的音频以确定用户是否正在尝试输入命令或查询(统称为“查询”)。如果存在多个麦克风111，则可以执行波束成形以从HA设备110所在的区域附近的区域(除了另一区域)收听音频。扬声器112可以被用于将音频输出到HA设备110的环境中。这样的音频可以包括合成语音，并且可以响应于经由麦克风111接收的查询。也就是说，HA设备110接收的主要输入形式可以是接收的音频以及HA设备110的主要输出形式可以是输出音频。

语音合成器113可以允许HA设备110生成语音，从而以自然的口语语言的形式向用户提供听觉信息。基于从一个或多个外部或内部源接收的数据，语音合成器113可以使用扬声器112将通常以用户设置的语言的合成语音输出到HA设备110的周围环境中。语音合成器113可以通过处理器115中的一个或多个处理器作为过程被执行，或者在一些实施例中，可以由基于云的HA集成平台130远程地执行，并且HA设备110可以用作这种音频的回放点。

无线通信接口114可以允许HA设备110与一个或多个不同的无线网络和/或设备通信。无线通信接口114可以允许与使用IEEE 802.11协议操作的无线局域网(WLAN)通信和/或可以允许使用不同协议(诸如WiFi DIRECT或BLUETOOTH)的直接的设备到设备通信。例如，数据可以在流式视频相机120和HA设备110之间直接交换、经由一个或多个网络140交换，或者经由基于云的HA集成平台130交换。一个或多个处理器115可以是板载HA设备110并且可以执行HA设备110的处理功能，包括语音合成器113的功能。应当理解到，HA设备110还可以包括通常在计算机化设备中找到的各种组件，包括存储器、用户界面(例如，一个或多个按钮)、一个或多个灯、数据总线、电源、外壳等。

虽然与HA系统100的视频集成将HA设备110图示为向用户提供HA服务的不同的独立设备，但是应当理解到，这种HA服务可以由具有足够硬件资源以执行此类功能的非专用设备提供。例如，可以具有板载一个或多个麦克风、一个或多个扬声器、语音合成器、无线通信接口和一个或多个处理器的流式视频相机120可以向其附近的用户提供HA服务。因此，HA设备110的功能可以由另一设备，诸如“智能”或家庭自动化设备提供。

流式视频相机120可以包括：一个或多个麦克风121、一个或多个扬声器122、无线通信接口124、一个或多个处理器125和视频相机126。流式视频相机120可以连续地、周期性地或间歇地从其处瞄准视频相机126的视场来捕获视频。流式视频相机120可以连续地、周期性地或间歇地经由网络140，向基于云的HA集成平台130上传或流式传输视频。

麦克风121可以被用于从流式视频相机120的周围环境捕获音频。该捕获的音频可以被用于利用相关联的音频来增强捕获的视频。如果存在多个麦克风121，则可以执行波束成形以从流式视频相机120所处的位置附近的方向(至少部分地排除另一个方向)收听音频。扬声器122可以被用于将音频输出到流式视频相机120的环境中。这种音频可以包括由用户(诸如经由远程设备)提供的语音和状态声音。

无线通信接口124可以允许流式视频相机120与一个或多个不同的无线网络和/或设备通信。无线通信接口124可以允许与使用IEEE 802.11协议操作的无线局域网(WLAN)进行通信和/或可以允许使用不同的协议，诸如THREAD、ZIGBEE、Z-WAVE、WiFi DIRECT或BLUETOOTH进行直接的设备到设备通信。例如，数据可以在流式视频相机120和HA设备110之间直接交换、经由一个或多个网络140交换，或者经由基于云的HA集成平台130交换。一个或多个处理器125可以是板载流式视频相机120，并且可以执行用于流式视频相机120的处理功能，诸如运动检测。

视频相机126可以连续地、周期性地或间歇地捕获其处视频相机126瞄准的视场的视频。该视频连同由麦克风121捕获的音频可以被流式传输到基于云的HA集成平台130。基于云的HA集成平台130可以存储流式视频以分析和/或检索来回放(诸如，根据用户的请求)。应当理解到，流式视频相机120还可以包括通常在计算机化设备中找到的各种组件，包括存储器、用户接口(例如，一个或多个按钮)、一个或多个灯、数据总线、电源、外壳等。

一个或多个网络140可以被用来促进HA设备110、流式视频相机120和基于云的HA集成平台130之间的通信。这样的网络可以包括结构上的WLAN、互联网服务供应商的网络，以及互联网。参考图3，提供了关于基于云的HA集成平台130的进一步细节。

尽管图1专注于HA设备和流式视频相机，但是这些设备可以作为更复杂的家庭自动化环境的一部分。图2示出了智能家庭环境的实施例，可在该环境内应用本文所述的设备、方法、系统和/或服务中的一个或多个。所描绘的智能家庭环境200包括结构250，其可以包括例如住宅、办公楼、车库或移动房屋。将显而易的是，设备也可以集成到不包括结构250的智能家庭环境200中，诸如公寓、分契式公寓或办公空间。此外，智能家庭环境可以控制和/或耦合到结构250外部的设备。实际上，智能家庭环境中的若干设备根本不需要物理地在结构250内。例如，控制泳池加热器或灌溉系统216的设备可以位于结构外部。

所描绘的结构250包括多个房间252，这些房间经由壁254至少部分地彼此分开。壁254可以包括内壁或外壁。每个房间可以进一步包括地板256和天花板258。设备可以安装在壁254、地板256或天花板258上，与壁254、地板256或天花板258集成和/或由壁254、地板256或天花板258支撑。

在一些实施例中，图2的智能家庭环境200包括多个设备，包括智能的、多感测的、网络连接的设备(本文有时称为“智能设备”)，其可以彼此无缝地集成和/或与中央服务器或云计算系统无缝集成，以提供各种有用的智能家庭目标中的任何一个，各种有用的智能家庭目标包括危险检测目标、家庭安全功能和HA功能。智能家庭环境200可以包括一个或多个智能、多感测、网络连接的智能恒温器202(下文称为“智能恒温器202”)；一个或多个智能、网络连接的、多感测智能危险检测单元(下文称为“智能危险检测器204”)，以及一个或多个智能、多感测、网络连接的入口接口智能门铃设备206(下文称为“智能门铃206”)。智能恒温器202、智能危险检测器204、智能门铃206都是智能设备的示例，但绝不是唯一的。可以表示图1的流式视频相机120的流式视频相机251也可以是智能设备。这些智能设备中的任何一个(或一些其他形式的智能设备)如果配备有适当的硬件，则能够执行如参考图1的HA设备110所详述的HA服务。附加地或可替选地，可以表示图1的HA设备110的专用HA设备205可以存在于结构250的内部或外部。

根据实施例，智能恒温器202检测环境气候特征(例如，温度和/或湿度)并且诸如通过打开和/或关闭气候控制系统203的风扇和/或热源，相应地控制气候控制系统203。(在本公开中，“气候控制系统”可以与“HVAC系统”互换使用，以阐明本公开同样适用于不一定包括空调的系统。本文使用术语“HVAC”不排除没有空调的系统。)

当气候控制系统203的风扇打开时，风扇操作以在结构250的房间252之间循环空气，并且从结构250排出空气并且将新鲜的外部空气吸入结构250中。智能危险检测器204可以检测危险状况或指示危险状况的物质(例如，烟、火、热、一氧化碳等)的存在。智能门铃206可以检测人员接近或离开位置(例如，外门)、控制门铃功能、通过音频或视觉装置宣布人的接近或离开，或控制安全系统上的设置(例如，当居住者来去时，激活或去激活安全系统)。诸如室外流流式视频相机253的流式视频相机可以是智能门铃206的一部分或安装在智能门铃206附近，以便提供智能门铃206附近的活动视频。

在一些实施例中，图2的智能家庭环境200进一步包括一个或多个智能的、多感测的、网络连接的壁开关208(下文中称为“智能壁开关208”，其可以是智能设备的一种形式)，以及一个或多个智能的、多感测的、网络连接的墙插头接口210(下文中称为“智能墙插头210”，其可以是智能设备的形式)。智能墙开关208可以检测环境照明条件、检测房间占用状态，并且控制一个或多个灯的功率和/或调光状态。在一些情况下，智能墙开关208还可以控制风扇，诸如吊扇的功率状态或速度。智能墙插头210可以检测房间或壳体的占用并控制对一个或多个壁插头的供电(例如，如果没有人在家，则不向插头供电)。

此外，在一些实施例中，图2的智能家庭环境200包括：多个智能的、多感测的、网络连接的智能家电212(下文中称为“智能家电212”，其可以是智能设备的形式)，诸如冰箱、炉灶和/或烤箱、电视机、洗衣机、烘干机、灯、立体声系统、对讲系统、车库门开启器、落地扇、吊扇、壁式空调、游泳池加热器、灌溉系统、安全系统等等。根据实施例，通过与家电的相应制造商合作，使得网络连接的智能家电212与智能家庭环境兼容。例如，智能家电可以是空间加热器、窗户AC单元、电动管道通风口等。当被插入时，家电可以向智能家庭网络宣布自己，诸如通过指示它是什么类型的家电，以及它可以自动地与智能家庭的控件集成，并且可能执行HA服务。可以通过本领域普通技术人员已知的任何有线或无线通信协议来促进家电与智能家庭的这种通信。智能家庭还可以包括各种非通信的传统家电240，诸如旧的传统洗衣机/干衣机、冰箱等，其可以通过智能墙插头210进行控制，尽管是粗略的(开/关)。智能家庭环境200还可以包括各种部分通信的传统家电242，诸如红外(“IR”)控制的壁式空调或其他IR控制的设备，其可以由智能危险检测器204或智能壁开关208提供的IR信号控制。

凭借网络连接，即使用户不接近设备，图2的智能家庭设备中的一个或多个也可以进一步允许用户与设备交互。例如，用户可以使用计算机266(例如，台式计算机、膝上型计算机或平板电脑)或一些其他便携式电子设备(例如，智能电话)与设备通信。网页或app可以被配置为接收来自用户的通信并基于通信控制设备和/或向用户呈现关于设备的操作的信息。例如，用户可以使用计算机266来查看设备的当前设定点温度并且使用计算机266对其进行调整。用户可以在该远程通信期间处于该结构中或结构外部。

如所讨论的，用户可以使用计算机266来控制智能家庭环境200中的智能恒温器和其他智能设备，如上所述，计算机266可以是网络连接的计算机或诸如智能手机或平板电脑的便携式电子设备。在一些示例中，一些或所有居住者(例如，在家中居住的个人)可以将他们的计算机266注册到智能家庭环境200。可以在中央服务器处进行这种注册以认证居住者和/或设备与家庭相关联，并且许可居住者使用该设备来控制家中的智能设备。居住者可以使用他们的计算机266来远程控制家庭的智能设备，诸如当居住者在工作或度假时。当居住者实际位于家中时，诸如当居住者坐在家中的沙发上时，居住者也可以使用他们的注册设备来控制智能设备。应当显而易见的是，代替计算机266或除了计算机266之外，智能家庭环境200做出关于哪些人居住在家中并且因此是居住者以及哪些计算机266与这些个人相关联的推断。这样，智能家庭环境“了解”谁是居住者并且允许与这些个人相关联的计算机266来控制家庭的智能设备。

根据实施例，所有或一些智能设备可以用作无线或有线中继器。例如，这些智能设备中的第一个可以经由无线路由器260与这些智能设备中的第二个进行通信。智能设备可以进一步经由与一个或多个网络140(诸如互联网)的连接而彼此通信。通过互联网，智能设备可以与中央服务器或云计算系统264通信，中央服务器或云计算系统264可以托管基于云的HA集成平台130。中央服务器或云计算系统264可以与制造商、支持实体或与设备有关的服务提供商相关联。某些实施例可以将诸如流式、温度测量、光、烟、CO、声音、运动、控制设置、警报状态、由智能设备执行的动作等的数据发送到云计算系统264以进行分析。此外，软件更新可以从中央服务器或云计算系统264自动发送到设备(例如，当可用时、当购买时、或以例行间隔)。

图3示出了与HA设备110、流式视频相机120和第三方物网络连接(IoT)服务380集成的基于云的HA集成平台的实施例300。如图1所示，HA设备110和流式视频相机120可以经由一个或多个网络140与基于云的HA集成平台310通信。基于云的HA集成平台310可以为从流式视频相机120流式传输的视频提供框架以结合HA设备110进行分析和使用。因此，HA设备110的功能可能受到由流式视频相机120捕获的视频的影响。

在实施例300中，用户向HA设备110提出的问询可以由基于云的HA引擎320接收。清晰度可以由HA接口321以音频记录的形式接收。HA接口321可以接收包括用户查询的音频记录，并对接收的音频执行某种形式的过滤。语音识别引擎322可以分析来自HA接口321的过滤后的音频，并确定用户说出的单词的自然语言等效物。自然语言解释引擎323可以获取语音识别引擎322的输出并确定用户在音频记录中提出的命令或查询。自然语言解释引擎323可以被配置为精确地确定用户正在命令或请求什么。例如，用户可能能够以多种方式对相同的请求进行措词。例如，用户可以说“将温度上升两度”或“将温度升高几度”。自然语言解释引擎323可能能够分析这样的命令并且诸如在上面的示例中，确定正在提出同样的要求。虽然在实施例300中，HA接口321、语音识别引擎322和自然语言解释引擎323由基于云的HA集成平台310在云中执行，但是应当理解到，在其他实施例中，这样的功能可以在HA设备110本地执行。

家庭自动化控制器和响应引擎324可以基于自然语言解释引擎323的输出来执行功能或提供响应。该响应可以由家庭自动化控制器和响应引擎324路由回到HA设备110，然后其将响应转换为输出到HA设备110的周围环境中的合成语音。

然而，在一些情况下，由响应引擎324中的家庭自动化控制器确定的动作或响应可能受到视频分析引擎331的输出的影响。基于云的视频管理系统330可以从流式视频相机接收视频流。可以利用流式执行多个动作。视频存储引擎332可以与流式视频相机120链接的用户账户相关联地存储所接收的视频馈送的全部或一部分。该视频馈送可以被存储到视频馈送数据库333。从视频馈送数据库333，被授权访问相关用户账户的用户能够使用网络连接的计算机化设备(诸如计算机、智能电话或平板电脑)访问所存储的视频并根据需要查看或回放视频。附加地或可替选地，视频分析引擎331可以实时分析从流式视频相机120接收的视频。实时分析所接收的视频可以指在由流式视频相机120捕获的视频的1、5、10或30秒内分析视频。理想地，在被流式视频相机120捕获之后分析视频越早越好。视频分析引擎331可以执行各种视频分析功能，包括面部识别，以根据用户账户数据340确定存在在流式视频相机120的视野中的一个或多个人是否是授权用户，或者是未知的人。视频分析引擎331还可以确定授权和未授权用户相对于HA设备110所处的位置。如果存在多个人，视频分析引擎331还能够诸如通过确定哪个人的嘴唇在动来评估哪个人正在讲话。视频分析引擎331还能够识别用户持有或指向的对象。视频分析引擎331响应于来自响应引擎324中的家庭自动化控制器的命令，可以能够控制视频存储引擎332如何运行。视频分析引擎331可以具有参考图4-8论述的附加能力。

家庭自动化控制器和响应引擎324可以对用于某些类型的接收命令或查询的用户账户数据340进行访问。各种类型的信息可以被存储为用户账户数据340的一部分。在用户账户数据内，日历数据库341可以为具有与HA设备110链接的账户的一个或多个用户存储日历条目。日历数据库341可以是基于云的日历服务的一部分，诸如GOOGLE Calendars或可以与之相关联。日历数据库341可以填充特定于用户的各种条目，并且可以包括特定开始时间、结束时间、位置和事件描述。用户可以经由基于web的界面、由诸如智能电话的计算机化设备执行的应用或一些其他接口平台访问这样的日历事件。用户身份数据库342可以存储用于可视地识别与用户账户数据340链接的用户的信息。例如，用户身份数据库342可以包括地标的地图或授权用户的特征。在用户身份数据库342中存储的数据可以结合视频分析引擎331使用以识别授权用户。设备链接数据库343可以存储关于其他链接的智能设备，诸如参考图2详述的那些设备的信息，其可以经由HA设备110控制或查询这些设备。设备链接数据库343中指示的这类设备可以由托管基于云的HA集成平台310的实体操作，或者可以由允许基于云的HA集成平台310与他们的设备交互的单独的实体操作。例如，智能家用电器可以经由设备链接数据库343与HA设备110链接。响应于由家庭自动化控制器和响应引擎324识别的命令，该命令可以经由网络140路由到第三方物联网(IoT)服务380，该第三方物联网(IoT)服务380与智能家用电器通信。这种布置允许HA设备110结合各种其他制造商和服务提供商的智能设备使用。

认证管理器370可以管理设备链接数据库343并且可以确定哪些智能设备可以由HA设备110控制并且经由基于云的HA引擎320与HA设备110通信。如果用户经由用户账户向流式视频相机120注册HA设备110，则认证管理器370可以为视频分析引擎331提供适当的授权，以与响应引擎324中的家庭自动化控制器交互。对于其他智能设备，该相同的过程也成立。也就是说，为了使HA设备110能够与各种智能设备通信和/或使用来自各种智能设备的数据，可能要求用户向认证管理器370注册智能家庭设备。认证管理器370可以管理用于注册的家庭自动化设备中的每个的认证令牌，注册的家庭自动化设备中的每个使得响应引擎324中的家庭自动化控制器能够向这种智能设备提供命令、从这种智能设备接收数据和查询。

可访问的云服务350表示在基于云的HA集成平台310或由可由家庭自动化控制器和响应引擎324访问的相同服务提供商或另一服务提供商操作的单独平台上提供的其他服务。例如，可以经由可访问的云服务350获得天气服务。家庭自动化控制器和响应引擎324能够对特定日期和特定位置查询这样的天气服务，并且作为响应，接收天气信息，然后可以将该天气信息中继到HA设备110。作为另一示例，交通服务可以是可访问的云服务350的一部分，其可以由家庭自动化控制器和响应引擎324使用，以经由HA设备110向用户提供行进时间信息和方向。

专用云执行服务360可以表示特定于经由家庭自动化控制器和响应引擎324提供的HA设备的服务。虽然可以经由多种形式的接口(例如，网页)访问经由可访问的云服务350提供的服务，但专门设计专用云执行服务360以与HA设备一起使用。例如，可以使用专用云执行服务360来结合流式视频相机120而向HA设备110的用户提供各种服务、游戏和/或活动。因此，为了访问专用云执行服务360的特定专用云执行服务，可能需要用户已经向流式视频相机120注册了账户，该账户也经由认证管理器370与HA设备110链接。

包括在专用云执行服务360中的一种可能的专用云执行服务是授权管理系统，其防止未授权用户控制特定家庭自动化设备、家庭自动化系统和/或某些云可访问数据。例如，家庭助理设备110可以允许用户经由基于云的家庭助理引擎320控制家庭安全系统。例如，用户可以通过向家庭助理设备110说出命令(例如，“关闭安全系统”)来禁用家庭安全系统。如果首先不确定用户被授权，则向家庭助理设备110发出这样的命令的能力可能是有问题的。例如，入侵者可以禁用安全系统。这样，为了执行经由基于云的家庭助理引擎320可用的某些功能，可能需要确定用户的认证和授权等级。当通过基于云的家庭助理引擎320从家庭助理设备110接收到命令时，如果该命令被映射到除未受保护之外的授权等级，则认证管理器370可以被用来经由从流式视频相机120接收并且由基于云的视频管理系统330分析的视频来识别说出该命令的用户。如果用户被成功认证并且用户的账户与至少与命令的授权等级一样高的授权等级链接，则可以执行该命令；否则，该命令可能会被阻止。除了控制安全系统之外，还可以限制对各种电器、灯、门、恒温器或对某些数据的访问的控制。例如，参考图4的方法400，详述了关于访问日历数据的具体示例。

在专用云执行服务360中包括的一种可能的专用云执行服务可以包括以绘图技能为中心的游戏。响应于提交给HA设备110以发起绘图游戏的请求，家庭自动化控制器和响应引擎324可以识别要绘制的对象。家庭自动化控制器和响应引擎324可以经由HA设备110宣告要绘制的对象，诸如“斑马”或“房屋”。然后，用户(或附近的孩子)可以努力绘制所声称的对象的他的再现。在结束游戏之后或在游戏的限定时限内，孩子或另一用户可以将绘图保持为对流式视频相机120可见。视频分析引擎331可以在家庭自动化控制器和响应引擎324请求下分析该绘图由用户高举。视频分析引擎331可以：(1)对绘图执行图像分析以确定它是否代表所请求的对象；(2)使用用户账户数据340执行分析，以确定高举绘图的用户或人是谁。作为响应，家庭自动化控制器和响应引擎324可以经由HA设备110使用自然语言进行响应，为用户评估绘图，并且可能在响应中识别用户。例如，响应可能是：“干得好，约翰尼！这是斑马的好照片！你想继续玩吗？”。作为另一例子，如果视频分析引擎331确定绘图缺少所请求对象的特定属性，则响应可以是：“干的不错，约翰尼。但别忘了添加斑马条纹！再尝试一下吧！”。

另一可能的专用云执行服务可以是以朝向HA设备110或流式视频相机120移动为中心的游戏。用户可以请求HA设备110发起“红灯、绿灯”游戏。可以触发家庭自动化控制器和响应引擎324以从专用云执行服务360访问相关联的服务。HA设备110可以被用来宣布规则并且告知参与的每个玩家处于与用作“目标”的HA设备110、流式视频相机120或一些其他设备的线等距离。然后，家庭自动化控制器和响应引擎324使HA设备110周期性地宣布“红灯”和“绿灯”。当已经由HA设备110宣布绿灯时，玩家可以自由地朝向目标移动。当已经由HA设备110宣布红灯时，要求玩家保持静止。如果玩家在已经宣布“红灯”之后移动，他或她将退出游戏或被要求返回到起点。经由流式视频相机120和视频分析引擎331，通过图像分析强制宣布“红灯”之后的运动。如果玩家在红灯宣布之后移动，则家庭自动化控制器和响应引擎324将使HA设备110宣布该玩家出局并识别玩家。如果基于用户身份数据库342识别出玩家，则可以宣布用户的姓名；如果玩家未知，则可以使用玩家的特征，诸如玩家的衬衫颜色。视频分析引擎331还可以确定玩家是否已经到达目标。如果是这样，家庭自动化控制器和响应引擎324可以使HA设备110通过名称或特征来宣布获胜者。

专用云执行服务360的另一种可能的专用云执行服务可以包括用于识别在由流式视频相机120监测的位置处发生的显著事件的服务。例如，用户可以向HA设备110说出命令，询问：“过去两天发生了什么事？”作为响应，该服务可以创建包括由视频分析引擎331识别的显著事件的精彩视频集锦。视频分析引擎331可以分析来自视频馈送数据库333的存储视频以在帧之间移动(高于阈值)和/或超过所定义声音阈值的声音。具有满足移动和/或声音阈值的一个或多个帧的视频的精彩集锦可以被包括在视频中。然后，用户可以经由另一个设备(诸如智能手机)从基于云的视频管理系统访问该视频。可替选地，家庭自动化控制器和响应引擎324可以总结精彩集锦，诸如通过说出检测的事件的数量、事件是否是由于响亮的声音和/或运动，以及事件何时发生。在一些实施例中，不是与整个位置有关的精彩集锦，而是用户的命令可以询问特定项目或者用户可以指向或拦截特定项目。然后，视频分析引擎331可以基于涉及该项目的移动和/或声音来为该特定项目创建精彩集锦。一个可能的示例是用户询问“这盘子发生了什么？”家庭自动化控制器和响应引擎324可以指示HA设备110输出消息，说明：“Jane Doe在4月27日星期四，晚上1:23将盘子放在那里”。

另一种可能的专用云执行服务是瑜伽助理。在通过HA设备110接收到瑜伽课程或姿势指令的请求之后，家庭自动化控制器和响应引擎324可以通过专用云执行服务360来执行瑜伽服务。瑜伽服务可以经由家庭自动化控制器以及响应引擎324和HA设备110来指示用户执行特定姿势(可能伴随姿势的描述)。可以由服务分析从流式视频相机120获得的用户的视频。基于由视频分析引擎331分析的视频和服务的反馈可以经由家庭自动化控制器以及响应引擎324和HA设备110提供(诸如“尽量保持膝盖在脚上方”或“放松你的肩膀”)。然后，用户可以完成整个瑜伽计划或特定姿势。

另一种可能的专用云执行服务是时尚助理。当流式视频相机120自动地或在接收到命令时捕获用户时，专用云执行服务360的时尚服务可以分析用户穿着什么，并且经由家庭自动化控制器和响应引擎324使HA设备110指示用户的衣服是否看起来匹配以及关于改善他的外观的建议。时尚服务可以追踪用户先前佩戴的物品用于将来的建议。例如，时尚服务经由家庭自动化控制器和响应引擎324，可以使HA设备110输出语音短语，诸如：“为什么不尝试将你的黑色鞋子换成你周二穿的棕褐色鞋子？那看起来很敏锐”。

另一种可能的专用云执行服务可以是个性化提醒。专用云执行服务360的个性化提醒服务可以允许用户向HA设备110说出对消息或提醒以及该消息或提醒所针对的另一特定用户的请求。消息或提醒可以由基于云的HA集成平台310存储，直到在由流视频视频相机120捕获的视频流中识别出所请求的用户。响应于确定存在接收者，个性化提醒服务可以导致家庭自动化控制器和响应引擎324又使HA设备110输出所请求的消息或提醒，可能连同创建该消息或提醒的用户的指示。

另一种可能的专用云执行服务可以是物品查找器。响应于HA设备110接收到要找到的特定物品(例如，钥匙)的命令，可以激活物品查找器。家庭自动化控制器和响应引擎324可以从专用云执行服务360调用物品查找器服务。视频分析引擎331可以针对命令中请求的物品分析从流式视频相机120接收的视频。例如，基于训练图像，可以训练视频分析引擎331以识别各种物品。如果所请求的物品存在在当前或先前的视频中，则家庭自动化控制器和响应引擎324可以使HA设备110输出物品位于在何处或最后识别物品在何处的指示。

尽管图3示出了与流式视频相机120不同的HA设备110，如前所述，应当理解到，在其他实施例中，可以在流式视频相机120或一些其他智能或家庭自动化设备上执行HA服务而不是具有专用HA装置110。

可以使用图1-3的系统、设备和布置来执行各种方法。图4示出了用于使用具有集成视频服务的HA服务来管理排程事件的方法400的实施例。可以使用图1-3的系统和设备来执行方法400。在框405处，可以从诸如参考图1-3详细描述的流式视频相机接收视频流。该视频流可以经由互联网流传输到基于云的HA集成平台，诸如基于云的HA集成平台310。

在框410处，可以使用平台的视频分析引擎来分析视频流，以识别在捕获的流视频内存在的授权用户。因此，可以与流式视频相机链接的用户账户相关联地存储用户的面部识别特征，并且这些特征可以被用来识别用户。在框415处，可以作出有关所识别的用户是否具有可云访问的日历的确定。这样的可云访问的日历可以通过与维护基于云的HA集成平台的相同服务提供商或由另一服务提供商维护，并且已经许可与所识别的用户和HA设备和/或流式视频相机链接的用户账户对日历的授权访问。如果多个用户存在在视频流中，则可以为每个用户执行框410和415。因此，可以将零个、一个或多于一个的基于云的日历账户识别为可由流式视频相机捕获的视频流中存在的一个或多个用户访问并且与所述用户链接。

如果框415的确定为是并且平台可访问至少一个日历，则可以在框420处访问基于云的日历。如果在框415处确定可访问多个日历，则在框420处可访问每个日历。在框425处，对于所访问的日历中的任何日历，可以作出关于在日历账户内指示的事件是否被排程在诸如在下一小时或两小时内的预定义时间段内发生的确定。可以根据与HA设备或服务链接的账户来用户定义到未来的该预定义时间段。如果框415或425中的任何一个的结果为否定确定，则方法400可以行进到框455并且可以不使任何日历信息使用由另一个智能设备执行的HA设备或HA服务来输出。因此，如果用户未被识别，则可能不输出特定于任何用户的日历信息。相反，可以向未知的人提供一般响应，诸如宣布时间、日期、日出时间、日落时间、天气、是否是假日等。替选地，如果用户未被识别，则根本不会宣布任何信息。

如果框425的确定为是，则在框430处，可以访问在即将到来的预定义时间段内发生的基于云的日历事件的描述。在框435处，平台的响应引擎可以使得用户附近的HA设备或服务通过使HA设备或服务合成语音来宣布事件的标题、定时和/或描述。在一些实施例中，不是立即宣布事件的标题或描述，而是可以由HA设备宣布提示，诸如向用户输出询问他们是否对事件感兴趣的查询，诸如：“我注意到你在接下来的两个小时内有一个日历事件，你想听听细节吗？”在其他实施例中，日历事件的标题、时间和细节可以在没有用户提供任何输入的情况下宣布。因此，除了存在在视频流中之外，用户可能还没有在框405-435中提供对日历信息的任何输入或请求。例如，HA设备基于由基于云的HA平台的响应引擎提供的数据，可以在没有来自用户的任何其他提示的情况下宣布：“Tom，您有一个排程在下午3点的在Lahey诊所的医生预约的日历事件，也就是38分钟后”。在一些实施例中，对于要宣布的事件，可能要求用户仍然存在在视频流内。

在一些实施例中，在框440处，平台可以访问另一个云服务并确定到在日历事件中包括的位置的交通状况和估计的行进时间。只有在日历事件中指示诸如地址或地标的特定位置时才可以执行这样的块。在框445处，可以由HA设备或服务向用户宣布到该位置的估计行进时间。只有事件的特定位置可用在日历事件中时，才可以发布此通知。

在框450处，用户可以向HA设备或服务提出日历特定查询。对于要执行的框450，可以不需要执行框425-445，或者可以在这些框之后执行框450。通过使用所接收的视频流识别用户，可以授权用户提出特定于已经基于其身份链接和授权的日历的查询。例如，用户可以向HA设备或服务提出查询：“我的下一个事件是什么？”、“我下周二有什么排程？”或“我明天和医生预约的是什么时间？”如果多个用户存在在视频流中，则日历特定的查询只有在与特定日历相关联的用户提出时才可以经由平台回答。因此，如果存在多个用户，则“我的下一个事件是什么？”的回答可能因用户的个人日历而异。

图5示出了用于使用HA服务来管理视频或图像捕获的方法500的实施例。可以使用图1-3的系统和设备来执行方法500。方法500可以独立于方法400、在400之前或400之后执行。在方框510处，可以从诸如参考图1-3详述的那些的流式视频相机接收视频流。该视频流可以经由互联网流传输到基于云的HA集成平台，诸如基于云的HA集成平台310。

在框520处，经由HA设备，可以从请求录制视频片段的用户接收话音命令。可以在需要或不需要定义的时间段的情况下接收该命令。如果没有定义时间段，则可以使用默认时间段，诸如一分钟。如果定义了时间段，则可以使用该持续时间。话音命令还可以指定未来应当进行录制的时间。如果未指定此时间，则可以立即开始录制。如果指定了时间，则可以由要执行的基于云的HA集成平台的家庭自动化控制器来排程录制。在框530处，可以识别在视频流中存在的、确定已经说出命令的用户。这可以使用与向其说出命令的HA设备或服务链接的用户账户数据来执行。如果不能确定用户的身份，则可以不录制视频，或者仍然可以录制视频，但是可以将视频与HA设备或服务的主账户或流式视频相机链接。在框540处，可以根据话音命令，存储对应于话音命令的视频流的部分。例如，即使视频存储引擎将连续馈送存储到由基于云的HA集成平台维护的视频馈送数据库，也可以创建单独的文件，或者可以基于话音命令来参考较大的存储视频馈送的部分。因此，当用户使用基于云的HA集成平台访问他的用户账户时，用户可以选择访问基于框520的所接收的话音命令定义的视频或视频的部分。作为示例，用户可以要求捕获延时视频。可以基于存储的视频流来创建这样的延时视频，或者可以通过周期性地选择包括在延时视频中的帧来在接收视频流的同时创建这样的延时视频。例如，如果要创建一小时延时视频，则一个图像或帧可以来自所接收的视频流，并且可以每秒添加到延时视频。

在一些实施例中，在框550处，可以修改视频流的存储部分。作为其示例，作为框520的接收话音命令的一部分，用户可以指定他希望延时视频或精彩集锦。延时视频可以是来自由话音命令定义的时间段的压缩视频，使得延时视频由比以与录制的速度相同的速度回放的视频少得多的帧组成。例如，可以使用每五秒一帧来创建延时视频，该视频允许在更短的时间段内回放长时间的视频。精彩片段可以基于由基于云的视频管理系统的视频分析引擎执行的视频分析，该视频管理系统是基于云的HA集成平台的一部分或与基于云的HA集成平台通信。该精彩集锦可以包括具有在视频中存在大量移动的事件，如由平台的视频分析引擎确定，或者可以包括超过视频相关音频中的阈值的音频。

在框560处，已经创建成由用户请求的视频的视频流的修改部分可以与关联于用户的用户账户相关联地存储。因此，通过在框530处在视频流中识别的用户，可以将用户请求的视频与正确的用户账户链接。如果在框530处未确定身份，则可以不创建所请求的视频，或者可以与HA设备或流式视频相机链接的主账户相关联地存储所请求的视频。在一些实施例中，在已经存储视频之后，可以将指示该视频现在可用于观看的通知发送到与用户相关联的移动设备。

虽然方法500具体地针对录制视频，但是框520处的用户可以请求捕获静止图像(即，图片)。同样，这样的命令可以是当前时间，或将来的某个时刻。可以类似地对静止图像执行框530到560。在框560处，可以经由用户的用户账户使静止图像对用户可访问。

图6示出了用于使用与视频服务集成的HA服务来修改购物清单的方法600的实施例。可以使用图1-3的系统和设备来执行方法600。方法600可以独立于方法400和/或500之前执行、在方法400和/或500之前执行或方法400和/或500之后执行。在框610处，可以从诸如参考图1-3详述的流式视频相机接收视频流。该视频流可以经由互联网流传输到基于云的HA集成平台，诸如图3的基于云的HA集成平台310。

在框620处，HA设备或执行HA服务的一些其他智能设备可以接收请求将物品添加到购物清单的话音命令。此命令可能需要可视参考。例如，话音命令可以说“将该物品添加到我的购物清单”。因此，可能需要访问由流式视频相机流式传输的视频，以便确定用户所指的特定物品。

在框630处，可以在视频流内识别用户。为了使用户将物品添加到购物清单，可以根据由基于云的HA集成平台存储的用户账户数据来要求用户是授权用户。在框630处，可以使用平台的视频分析引擎来分析视频流，以识别在捕获的流式内存在的授权用户。因此，用户的面部识别特征可以与流式视频相机链接的用户账户相关联地存储，并且这些特征可以被用来识别用户。

在框640处，平台的视频分析引擎可以尝试识别用户持有或指向的物品。例如，如果用户持有盒子，则可以分析存在在盒子上的文字和/或图形，诸如以确定用户正拿着一盒“Frosted Rice”谷物。在框650处，可以基于框640的图像分析来识别物品。这样的图像分析可以能够识别通常由用户订购或购买的各种常见物品，诸如食品、清洁用品、化妆品等。

在框660处，可以基于所识别的用户和所识别的物品来确定要修改的适当购物清单。关于所识别的用户，可以基于在框620处从用户接收的话音命令，仅允许更新与用户的用户账户链接的购物清单。此外，在框660处，关于所识别的物品，根据物品的类型，可以选择被修改的特定购物清单。例如，食品物品可以被添加到杂货店购物清单，而卫生用品可以被添加到在线食品购物清单。

在框670处，可以基于框660的确定来修改所确定的购物清单以包括所识别的物品。当用户在将来的某个时刻经由基于云的HA集成平台访问购物清单时，现在可以列出基于框620的话音命令而被请求添加到购物清单的物品。在其他实施例中，话音命令可以直接请求购买物品，而不是将物品添加到购物清单。除了不是将物品添加到确定的购物清单，而是可以通过确定的供应商购买该物品之外，可以类似地执行框630至框670。

图7示出了用于基于由集成视频服务观察到的特性来处理话音命令的方法700的实施例。可以使用图1-3的系统和设备来执行方法700。方法700可以独立于方法400、500和/或600执行，在方法400、500和/或600之前执行或在方法400、500和/或600之后执行。在框710处，可以从诸如参考图1-3详述那些的流式视频相机接收视频流。该视频流可以经由互联网流传输到基于云的HA集成平台，诸如图3的基于云的HA集成平台310。

在框720处，可以针对一个或多个用户分析所接收的视频流。这些用户可以是在视频流内出现的任何人(无论是否授权)。在框730处，基于云的HA集成平台的家庭自动化控制器可以向HA设备或提供HA服务的智能设备提供指令以波束形成设备的多个麦克风(通过分析所接收的音频的相位)，从而对从附近的一个或多个潜在用户接收的音频更敏感，而对从远离一个或多个潜在用户的区域接收的音频的灵敏度降低。因此，通过分析从流式视频相机获得的潜在用户的位置，HA设备可以对来自用户的未来话音命令更敏感，同时忽略来自其他源(诸如电视和电器)的音频。可以重复框710到730，以便考虑用户在视频流的视野内的用户的移动。因此，当用户四处移动时，HA设备或提供HA服务的设备的麦克风可以根据相位对其输入进行过滤，以便波束形成并保持对用户附近的音频更加敏感，以排除其他区域。

在可以独立于框730执行的框740处，可以基于在框720分析的视频流中识别的一个或多个用户的位置来调整输出音量和/或通过其音频被输出的输出设备。可以分析视频以确定HA设备的位置(或者用户可以经由HA设备或智能设备提供HA服务的位置的用户界面进行指示)。基于由基于云的HA集成平台的视频分析引擎确定的输出音频的HA设备与一个或多个用户之间存在的距离，可以通过正在由基于云的HA集成平台执行的家庭自动化控制器来调整HA设备的输出音量。如果在基于云的HA集成平台的家庭自动化控制器的控制下，多个音频输出设备可用，则家庭自动化控制器可以将音频输出转移到比当前输出音频的设备更靠近用户的设备。因此，通过经由视频流监测一个或多个用户的位置，当用户在位置处移动时，输出音频可以跟随用户。这种配置的一个可能的用例是让音乐在他家中的房间之间跟随用户。

在框750处，可以分析一个或多个用户的凝视。框750可以独立于框730和/或740执行，或者可以在这些框中的一个或两个之后执行。可以通过由基于云的HA集成平台的基于云的视频管理系统执行的视频分析引擎来分析凝视。可以分析用户的凝视以确定用户正在看的位置。具体地，在框750处，可以确定用户是正在看HA设备(或提供HA服务的智能设备)、看流式视频相机处还是看其他地方。再次，可以基于在视频流内识别的HA设备或者已经向基于云的HA集成平台提供信息的用户来了解HA设备的位置，该信息指示HA设备相对于流视频的位置。

在可以独立于框730到750执行的框760处，可以监测存在在视频流中的用户的移动。

在框770处，可以由HA设备或提供HA服务的智能设备从用户接收话音命令。如果存在多个用户，为了确定用户是谁发出命令，可以使用框760的确定和/或框750的分析的凝视。如果用户正在看流式视频相机或HA设备，则可以假设该特定用户说出该命令。如果在由HA设备接收到命令时用户的嘴唇正在移动，则基于云的HA集成平台可以假设该特定用户说出该命令。在冲突的情况下，诸如一个用户正在看HA设备，而另一个用户的嘴唇正在动，可以优先考虑嘴唇正在动的用户。

在一些实施例中，通过用户在说出命令时正直视HA设备、提供HA服务的设备或流式视频相机，用户可以避免必须说热词或热门短语以便激活HA设备来接收命令或查询。同样地，眼神接触可以被用作热词或热门短语的替代物。

在框780处，话音命令可以由基于云的HA集成平台的家庭自动化控制器来响应。可以基于发出命令的用户的授权或许可来响应或执行该命令。例如，请求日历信息的命令由此可以触发从该用户的基于云的日历检索信息。

图8示出了用于使用与视频服务集成的HA服务与宣布其存在的人交互的方法800的实施例。可以使用图1-3的系统和设备来执行方法700。方法800可以独立于方法400、500、600和/或700执行，在方法400、500、600和/或700之前或之后执行。在框805处，可以从诸如参考图1-3详述的室外流式视频相机接收视频流。该视频流可以经由互联网流传输到基于云的HA集成平台，诸如图3的基于云的HA集成平台310。

在框810处，可以在视频流内识别人。可以分析人的特征的面部识别以基于用户数据或存储已知人员(可能未经授权)的数据库，确定该人是否与授权用户匹配，其中，基于云的HA集成平台将用户数据与用户账户相关联地存储，该用户账户与室外流式视频相机链接。例如，可以存储邻居的简档，其包括邻居的姓名和面部特征，但是不提供对HA设备、提供HA服务的智能设备或流式视频相机的任何授权。在框815处，平台可以确定该人是否被识别为授权用户。如果是，则方法800可以行进到框820。如果不是，则方法800可以行进到框840。

在框820处，由结构内的HA设备或提供HA服务的智能设备宣布已经被识别的人的身份。例如，当人们敲响门铃或简单地存在在视频流上时，HA设备可以宣布该人的姓名并指示该人在外面。如果HA设备确定没有人在家中或已经没有人应答门，则在框825处可以提供语音提示以允许门口处的人留下语音消息。该消息连同该人的确定身份的指示可以被发送到HA设备和/或室外流式视频相机的一个或多个授权用户的移动设备。这可以经由智能门铃或提供HA服务的一些其他室外设备(诸如室外流式视频相机)来执行。在框830处，可以由提供HA服务的智能设备向所识别的人输出指令。指令可以基于所识别的人的身份。例如，如果所识别的人员为快递公司工作，则可以以语音格式提供的框830的输出指令可以指示应当留下递送的包裹的位置。

在框835处，可以使用来自室外流式视频相机的视频来追踪由所识别的人留下的任何物品。因此，如果所识别的人员留下包裹，则可以追踪包裹的位置和在包裹附近发生的任何活动。例如，这可以使包裹被盗时容易识别小偷。

在框840处，可以由结构内的HA设备或提供HA服务的智能设备宣布无法识别的人。例如，当人们敲响门铃或仅仅存在在视频流上时，HA设备可以宣布在室外视频相机的外部流上检测到未知的人。如果HA设备确定没有人在家中或者没有人应答门，则在框845处，可以提供语音提示以允许门口处的未知人员留下语音消息。这可以经由提供HA服务的智能门铃或一些其他室外设备，诸如室外流式视频相机来执行。在框850处，可以由提供HA服务的智能设备向所识别的人输出指令。由于该人未被识别，所以指示可以是适合所有访客的一般指示，诸如包裹递送指令或尝试后门的指令。

在框855处，类似于框835，可以使用来自室外流式视频相机的视频来追踪由所识别的人留下的任何物品。因此，如果所识别的人员留下包裹，则可以追踪包裹的位置和在包裹附近发生的任何活动。例如，这可以使包裹被盗时容易识别小偷。

上文论述的方法、系统、和设备是示例性。各种配置可以适当地省略、替代、或者添加各种过程或者组件。例如，在替选配置中，可以按照与所述的顺序不同的顺序来执行方法，和/或可以添加、省略、和/或组合各个阶段。而且，可以在各种其它配置中，组合相对于某些配置所述的特征。可以以相似的方式组合配置的不同方面和元件。而且，技术发展，因此，许多元件是示例性，不限制本公开或者权利要求书的范围。

说明书中给出了具体细节以提供示例性配置(包括实施方式)的全面理解。然而，可以在没有这些具体细节的情况下实施配置。例如，没有示出众所周知的电路、过程、算法、结构、和技术的不必要的细节以避免模糊配置。本说明书仅提供示例性配置，并且不限制权利要求书的范围、适用性，或配置。相反，对配置的先前描述将向本领域的技术人员提供用于实现所述的技术的支持描述。在不脱离本公开的精神或者范围的情况下，可以对元件的功能和布置进行各种改变。

此外，可以将配置描述为被图示为流程图或者框图的过程。虽然每个配置都可以将操作描述为顺序过程，但是可以并行或者同时地执行许多操作。另外，可以重新排列操作的顺序。过程可以具有未包括在附图中的另外的步骤。此外，可以通过硬件、软件、固件、中间件、微码、硬件描述语言、或者其任意组合来实现方法的示例。当以软件、固件、中间件、或者微码实现时，可以将执行必要任务的程序代码或者代码段存储在非瞬时性计算机可读介质(诸如，存储介质)中。处理器可以执行所述的任务。

已经描述了若干示例性配置，在不脱离本公开的精神的情况下，可以使用各种修改、替选构造和等效物。例如，上述元件可以是更大系统的组件，其中，其它规则可以优先于或者以其它方式修改本发明的应用。此外，可以在考虑上述元件之前、期间、或者之后进行若干步骤。

Claims (20)

1.一种用于使用家庭助理和集成视频服务来管理排程事件的方法，所述方法包括：

使用支持网络的视频相机捕获用户存在的位置的视频流；

分析使用所述支持网络的视频相机捕获的所述视频流以确定所述用户的身份；

响应于识别所述用户的所述身份，确定对所述用户的基于云的日历账户的访问被授权；

访问与所述用户链接的所述基于云的日历账户；

确定映射到所述基于云的日历账户的下一个日历事件被排程在阈值持续时间内发生；

响应于确定映射到所述基于云的日历账户的所述下一个日历事件被排程在所述阈值持续时间内发生，访问与所述下一个日历事件链接的描述；以及

使用支持网络的智能家庭助理设备合成语音，以在用户仍然存在在所述视频流内时，宣布排程的开始时间并且读取与所述下一个日历事件链接的描述。

2.如权利要求1所述的用于使用家庭助理来管理排程事件的方法，进一步包括：

确定事件位置与所述下一个日历事件相链接；

访问交通服务以确定从与所述支持网络的智能家庭助理设备或所述支持网络的视频相机链接的家庭位置到所述事件位置的行进时间；以及

使用所述支持网络的智能家庭助理设备合成语音，所述语音指示基于所确定的行进时间所述用户应当离开所述家庭位置以到达所述事件位置的时间。

3.如权利要求1所述的用于使用家庭助理来管理排程事件的方法，进一步包括：

通过所述支持网络的智能家庭助理设备接收请求录制视频片段的话音命令；以及

将来自所述视频流的所述视频片段存储到基于云的视频存储平台，其中，所述视频片段被映射到所述用户的用户账户。

4.如权利要求3所述的用于使用家庭助理来管理排程事件的方法，进一步包括：

通过所述支持网络的智能家庭助理设备接收请求在将来的时间录制所述视频片段的话音命令；

通过所述支持网络的智能家庭助理设备，基于所述话音命令和所述时间来排程录制事件；以及

将从所述时间起、来自所述视频流的所述视频片段存储到所述基于云的视频存储平台，其中，所述视频片段被映射到所述用户的用户账户。

5.如权利要求1所述的用于使用家庭助理来管理排程事件的方法，进一步包括：

通过所述支持网络的智能家庭助理设备接收请求捕获图像的话音命令；

使用所述支持网络的智能家庭助理设备来合成语音，所述语音指示直到捕获到所述图像为止的时间量；

使用所述支持网络的视频相机捕获所述图像；以及

将所述图像存储到基于云的视频存储平台，其中，所述图像被映射到所述用户的用户账户。

6.如权利要求1所述的用于使用家庭助理来管理排程事件的方法，进一步包括：

通过所述支持网络的智能家庭助理设备接收请求录制延时视频片段的话音命令，所述话音命令指定开始时间和结束时间；

使用所述支持网络的视频相机在所述开始时间和所述结束时间之间捕获多个图像，其中，捕获图像的频率取决于所述开始时间和所述结束时间之间的持续时间；以及

使用所述多个图像来创建所述延时视频片段。

7.如权利要求1所述的用于使用家庭助理来管理排程事件的方法，进一步包括：

通过所述支持网络的智能家庭助理设备接收请求所述位置处的一个或多个事件的历史的话音命令；

至少在预定义时间段内分析所存储的视频流；

识别与高于定义的阈值的音频水平链接的多个事件；以及

创建包括来自在所述多个事件期间录制的所存储的视频流的视频的视频精彩集锦。

8.如权利要求1所述的用于使用家庭助理来管理排程事件的方法，进一步包括：

从所识别的用户接收第一话音查询；

确定所述用户被授权访问与所述支持网络的智能家庭助理设备链接的所述基于云的日历账户；以及

通过所述支持网络的智能家庭助理设备来合成语音，以宣布对所述第一话音查询的响应，所述响应并入来自与所述支持网络的智能家庭助理设备链接的所述基于云的日历账户的信息。

9.如权利要求8所述的用于使用家庭助理来管理排程事件的方法，进一步包括：

分析使用所述支持网络的视频相机捕获的所述视频流以确定存在未识别的用户；

接收来自所述未识别的用户的第二话音查询；

确定所述未识别的用户未被授权访问与所述支持网络的智能家庭助理设备链接的任何日历；以及

通过所述支持网络的智能家庭助理设备合成语音，以宣布对所述第二话音查询的通用响应，所述通用响应未并入来自与所述支持网络的智能家庭助理设备链接的任何日历的信息。

10.如权利要求1所述的用于使用家庭助理来管理排程事件的方法，进一步包括：

从所识别的用户接收话音查询；

确定所述话音查询正在请求将物品添加到所存储的购物清单中；

响应于确定所述话音查询，通过在所述视频流的一个或多个帧上执行对象识别来确定所述物品的名称；以及

将所述物品的所确定的名称添加到所存储的购物清单上。

11.一种用于管理排程事件的系统，所述系统包括：

连接网络的视频相机，所述连接网络的视频相机捕获位置的视频流；以及

基于云的家庭助理集成平台，其被配置为：

分析使用所述连接网络的视频相机捕获的所述视频流以确定存在在所述视频流中的用户的身份；

响应于识别所述用户的所述身份，确定对所述用户的基于云的日历账户的访问被授权；

从能够通过所述基于云的家庭助理集成平台访问的多个基于云的日历账户来访问与所述用户链接的基于云的日历账户；

确定映射到所述基于云的日历账户的下一个日历事件被排程在阈值持续时间内发生；

响应于确定映射到所述基于云的日历账户的所述下一个日历事件被排程在所述阈值持续时间内发生，访问与所述下一个日历事件链接的描述；以及

发送所述下一个日历事件的指示和所访问的描述；以及家庭助理设备，其被配置为：

接收所述下一个日历事件的所述指示和所访问的描述；以及

合成语音以宣布所述下一个日历事件和所访问的描述。

12.如权利要求11所述的用于管理排程事件的系统，其中，所述家庭助理设备和所述连接网络的视频相机被合并为单个设备的部分。

13.如权利要求11所述的用于管理排程事件的系统，其中：

所述基于云的家庭助理集成平台被进一步配置为：

确定与所述下一个日历事件链接的事件位置；

访问交通服务以确定从家庭位置到所述事件位置的行进时间；以及

将所述行进时间的指示传送到所述家庭助理设备；以及所述家庭助理设备进一步被配置为：

合成语音，所述语音指示基于所确定的行进时间或所述行进时间所述用户应当离开所述家庭位置以到达所述事件位置的时间。

14.如权利要求11所述的用于管理排程事件的系统，其中：

所述基于云的家庭助理集成平台被配置为：

经由所述家庭助理设备接收话音命令，所述话音命令请求视频片段被录制；以及

将来自所述视频流的所述视频片段存储到基于云的视频存储装置中，其中，所述视频片段被映射到向所述家庭助理设备说出命令的用户的用户账户。

15.如权利要求14所述的用于管理排程事件的系统，其中：

所述基于云的家庭助理集成平台被配置为：

经由所述家庭助理设备接收在将来的时间录制所述视频片段的请求，作为所述话音命令的部分；以及

基于所述话音命令和所述时间来排程录制事件；以及其中，所述基于云的家庭助理集成平台被配置为存储所述视频片段包括所述基于云的家庭助理集成平台响应于所述录制事件来存储所述视频片段。

16.如权利要求11所述的用于管理排程事件的系统，其中：

所述基于云的家庭助理集成平台被配置为：

经由所述连接网络的智能家庭助理设备，接收请求捕获图像的话音命令；

使所述家庭助理设备合成语音，所述语音指示直到捕获到图像为止的时间量；以及

存储所述图像，其中，所述图像被映射到说出所述话音命令的所述用户的用户账户；以及

连接网络的视频相机被进一步配置为捕获所述图像。

17.如权利要求11所述的用于管理排程事件的系统，其中：

所述基于云的家庭助理集成平台被进一步配置为：

分析使用所述连接网络的视频相机捕获的所述视频流以确定存在未识别的用户；

接收来自所述未识别的用户的第二话音查询；

确定所述未识别的用户未被授权访问与所述家庭助理设备链接的任何日历；以及

使所述智能家庭助理设备合成语音，所述语音指示对所述第二话音查询的通用响应，所述通用响应未并入来自与所述家庭助理设备链接的任何用户的日历的信息。

18.一种非瞬时性处理器可读介质，所述非瞬时性处理器可读介质包括处理器可读指令，所述处理器可读指令被配置为使一个或多个处理器：

从支持网络的视频相机接收用户存在的位置的视频流；

分析使用所述支持网络的视频相机捕获的所述视频流以确定所述用户的身份；

响应于识别所述用户的所述身份，确定所述用户的基于云的日历账户是能够访问的；

访问与所述用户链接的所述基于云的日历账户；

确定映射到所述基于云的日历账户的下一个日历事件被排程在阈值持续时间内发生；

响应于确定映射到所述基于云的日历账户的所述下一个日历事件被排程在所述阈值持续时间内发生，访问与所述下一个日历事件链接的描述；以及

使支持网络的智能家庭助理设备输出合成的语音并且读取与所述下一个日历事件链接的描述，所述合成的语音指示排程的开始时间。

19.如权利要求18所述的非瞬时性处理器可读介质，其中，所述处理器可读指令当被执行时，进一步使所述一个或多个处理器：

确定事件位置与所述下一个日历事件相链接；

访问交通服务以确定从与所述支持网络的智能家庭助理设备或所述支持网络的视频相机链接的家庭位置到所述事件位置的行进时间；以及

使所述支持网络的智能家庭助理设备输出合成的语音，所述合成的语音指示基于所确定的行进时间所述用户应当离开所述家庭位置以到达所述事件位置的时间。

20.如权利要求18所述的非瞬时性处理器可读介质，其中，所述处理器可读指令当被执行时，进一步使所述一个或多个处理器：

接收请求录制视频片段的话音命令；以及

将来自所述视频流的所述视频片段存储到基于云的视频存储平台，其中，所述视频片段被映射到说出所述话音命令的所述用户的用户账户。