CN108353089A - 用于用户可配置的交互区域监视的装置和方法 - Google Patents

Abstract

在一个实施例中，一个或多个系统可以从用户接收识别物理环境的交互区域的输入。该一个或多个系统可以确定交互区域相对于深度传感器的位置，并且至少部分地通过深度传感器针对预定事件来监视交互区域。一个或多个系统可以至少部分地通过深度传感器来检测预定事件。响应于检测到预定事件，该一个或多个系统可以发起与预定事件相关联的预定动作。

Description

用于用户可配置的交互区域监视的装置和方法

技术领域

本公开总体上涉及电子事件检测。

背景技术

深度传感器可以生成深度图像，该深度图像包括与物理环境的区域相对应的像素阵列，其中每个像素的深度值指示相应区域的深度。深度图像可以通过立体三角测量、片光三角测量、结构光、干涉测量、编码光圈或其他手段来生成。

已连接设备可以是通信网络(诸如局域网、广域网、蜂窝网络、互联网或任何其他合适的网络)的一部分。已连接设备可以使用通信网络来与其他设备通信，以例如访问远程存储的数据、访问远程处理能力、访问远程显示器、提供本地存储的数据、提供本地处理能力、或提供对本地显示器的访问。例如，网络可以提供通向服务器的通信路径和链路，服务器可以托管可以由已连接设备访问或使用的应用、内容和服务。内容可以包括文本、视频数据、音频数据、用户设置或其他类型的数据。网络可以使用任何合适的通信协议或技术(例如BLUETOOTH、IEEE WI-FI(802.11a/b/g/n/ac)或TCP/IP)来促进已连接设备之间的通信。

发明内容

实施例提供了一种装置，包括：深度传感器接口；包括指令在内的一个或多个计算机可读存储介质；以及一个或多个处理器，被配置为执行所述指令以：至少部分地通过所述深度传感器的输出，针对预定事件来监视包括用户定义的交互区域在内的物理环境；至少部分地通过所述深度传感器的输出，检测所述交互区域中的所述预定事件；以及响应于检测到所述预定事件，发起与所述预定事件相关联的预定动作。

附图说明

图1示出了与交互区域监视系统相关联的示例网络环境。

图2示出了示例物理环境中的示例交互区域。

图3A～图3D示出了用户配置交互区域的示例实施例。

图4示出了示例物理环境中的多个示例交互区域。

图5示出了用于配置交互区域、预定事件、事件条件和预定动作的示例用户界面。

图6示出了由示例交互监视系统实现的示例方法。

图7示出了用于使用由深度传感器捕捉的图像来检测预定事件的示例方法。

图8示出了示例计算机系统。

具体实施方式

实施例提供了一种装置，包括：深度传感器接口；包括指令在内的一个或多个计算机可读存储介质；以及一个或多个处理器，被配置为执行所述指令以：至少部分地通过所述深度传感器的输出，针对预定事件来监视包括用户定义的交互区域在内的物理环境；至少部分地通过所述深度传感器的输出，检测所述交互区域中的所述预定事件；以及响应于检测到所述预定事件，发起与所述预定事件相关联的预定动作。

在一个实施例中，所述一个或多个处理器还被配置为执行所述指令以基于用户输入来识别所述交互区域。

在一个实施例中，所述一个或多个处理器还被配置为执行所述指令以：响应于接收到识别所述交互区域的输入，至少部分地基于监视负载来分配用于监视所述交互区域的资源。

在一个实施例中，所述输入至少部分地基于由所述用户在所述物理环境中执行的手势。

在一个实施例中，所述输入至少部分地基于所述用户与客户端系统上显示的用户界面之间的交互。

在一个实施例中，以下一项或多项成立：所述预定动作至少部分地由用户定义；或者所述预定动作与所述预定事件的关联至少部分地由用户定义。

在一个实施例中，被配置为执行所述指令以针对预定事件来监视所述交互区域的处理器还包括被配置为执行所述指令以执行以下操作的处理器：针对阈值事件来监视所述交互区域；以及响应于检测到所述阈值事件，针对所述预定事件来监视所述交互区域。

在一个实施例中，所述预定事件包括多个事件条件，至少一个事件条件对应于所述交互区域。

在一个实施例中，所述预定事件包括以下一项或多项：所述交互区域中存在对象或用户；对象或用户在所述交互区域内的移动；或者用户与所述交互区域内的对象的至少一部分之间的接触。

在一个实施例中，所述一个或多个处理器还被配置为执行所述指令以：至少部分地通过所述深度传感器的输出，根据与每个交互区域相关联的优先级来周期性地监视多个交互区域。

在一个实施例中，与第一交互区域相关联的第一优先级至少部分地基于以下一项或多项：与所述第一交互区域相关联的历史事件数据；所述第一交互区域中的一个或多个预定事件的预期频率；所述第一交互区域中的一个或多个预定事件的预期持续时间；或者所述第一交互区域的重要性。

在一个实施例中，所述一个或多个处理器还被配置为执行所述指令以：针对多个预定事件中的每一个，根据与每个事件相关联的优先级，至少部分地通过所述深度传感器来监视包括用户定义的交互区域在内的物理环境。

在一个实施例中，所述交互区域包括第一交互区域；所述第一交互区域的至少一部分包括与一个或多个第二区域预定事件相关联的第二交互区域的至少一部分；以及所述处理器还被配置为执行所述指令以：基于通过监视所述第一交互区域的所述部分而创建的数据来检测所述第二交互区域的所述部分中的一个或多个第二区域预定事件。

在一个实施例中，所述物理环境示用户定义的交互区域。

实施例提供了一个或多个包括指令在内的计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行包括以下各项在内的操作：至少部分地基于来自深度传感器的输出，针对预定事件来监视包括用户定义的交互区域在内的物理环境；至少部分地基于来自所述深度传感器的输出，检测所述交互区域中的所述预定事件；以及响应于检测到所述预定事件，发起与所述预定事件相关联的预定动作。

在一个实施例中，所述操作还包括基于用户输入来识别所述交互区域。

在一个实施例中，以下一项或多项成立：所述预定动作至少部分地由用户定义；或者所述预定动作与所述预定事件的关联至少部分地由用户定义。

实施例提供了一种方法，包括：至少部分地通过深度传感器的输出，针对预定事件来监视包括用户定义的交互区域在内的物理环境；至少部分地通过所述深度传感器的输出，检测所述交互区域中的所述预定事件；以及响应于检测到所述预定事件，自动地发起与所述预定事件相关联的预定动作。

在一个实施例中，所述方法还包括基于用户输入来识别所述交互区域。

在一个实施例中，以下一项或多项成立：所述预定动作至少部分地由用户定义；或者所述预定动作与所述预定事件的关联至少部分地由用户定义。

发明模式

特定实施例允许用户在物理环境中配置交互区域。可以针对一个或多个预定事件(例如由用户定义的事件、由计算设备自动定义的事件、或这二者)由交互区域监视系统来监视交互区域。在特定实施例中，交互区域监视系统可以包括一个或多个深度传感器。当检测到一个或多个预定事件时，可以由交互区域监视系统发起预定的动作。在一些实施例中，交互区域监视系统与另一个已连接设备进行电子通信以发起该动作。交互区域监视系统可以包括一个或多个深度传感器、已连接设备、服务器、客户端系统或任何其他设备或系统。尽管本公开描述并示出了特定的交互区域监视系统，但是本公开考虑了用于创建交互区域的任何合适的交互区域监视系统。在特定实施例中，交互区域监视系统可以是深度感测计算设备的一部分或连接到深度感测计算设备。

图1示出了交互区域监视系统的特定实施例的示例网络环境100。网络环境100可以包括通过网络110彼此连接的已连接设备130、数据存储140、交互区域监视服务器150和传感器160。虽然图1示出了已连接设备130、数据存储140、交互区域监视服务器150和传感器160的具体布置，但是本公开考虑了已连接设备130、数据存储140、交互区域监视服务器150和传感器160的任何合适的布置。作为示例而非限制，已连接设备130、数据存储140、交互区域监视服务器150和传感器160中的两个或更多个可以绕过网络110直接彼此连接。作为另一示例，已连接设备130、数据存储140、交互区域监视服务器150和传感器160中的两个或更多个可以在物理上或逻辑上彼此全部或部分地位于同一位置。作为示例，数据存储140可以直接连接到交互区域监视服务器150或者与之位于同一位置。作为另一个示例，一个或多个传感器160可以直接连接到一个或多个已连接设备130或与之位于同一位置。此外，虽然图1示出了特定数量的已连接设备130、数据存储140、交互区域监视服务器150、传感器160和网络110，但本公开考虑了任何合适数量的已连接设备130、数据存储140、交互区域监视服务器150、传感器160和网络110。作为示例而不是作为限制，网络环境100可以包括多个已连接设备130、数据存储140、交互区域监视服务器150、传感器160和网络110。

本公开考虑了任何合适的网络110。作为示例而非限制，网络110的一个或多个部分可以包括自组织网络、内联网、外联网、虚拟私有网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、互联网的一部分、公共交换电话网(PSTN)的一部分、蜂窝电话网或两个或更多个这样的网络的组合。网络110可以包括一个或多个网络110。

链路120可以将已连接设备130、数据存储140、交互区域监视服务器150和传感器160连接到通信网络110或彼此连接。本公开考虑了任何合适的链路120。在特定实施例中，一个或多个链路120包括一个或多个有线(例如数字订户线路(DSL)或电缆上数据服务接口规范(DOCSIS))、无线(例如Wi-Fi或全球互通微波接入(WiMAX))或光学(例如同步光学网络(SONET)或同步数字体系(SDH))链路。在特定实施例中，一个或多个链路120各自包括自组织网络、内联网、外联网、VPN、LAN、WLAN、WAN、WWAN、MAN、互联网的一部分、PSTN的一部分、基于蜂窝技术的网络、基于卫星通信技术的网络、另一个链路120、或者两个或更多个这样的链路120的组合。链路120在整个网络环境100中不一定是相同的。一个或多个第一链路120可以在一个或多个方面与一个或多个第二链路120不同。例如，通向已连接设备130a的链路120可以不同于通向已连接设备130b和130c的链路120。作为另一个示例，通向传感器160a的链路120可以在一个或多个方面与通向传感器160b和160c的链路120不同。

在特定实施例中，交互区域监视系统可以包括一个或多个已连接设备130、数据存储140、交互区域监视服务器150或传感器160。在特定实施例中，交互区域监视系统可以连接到一个或多个已连接设备130。已连接设备130可以包括(但不限于)电视机、诸如智能电话或平板电脑之类的移动设备、个人计算机、膝上型计算机、游戏机、恒温器、媒体设备或任何其他适当的设备。作为示例，已连接设备130可以经由诸如Wi-Fi或蓝牙之类的无线通信协议与网络110进行通信。在一些实施例中，交互区域监视服务器150可以向已连接设备发送指令，诸如用于打开、关闭、调谐到特定频道、播放音频、播放视频的指令或任何其他指令。

在特定实施例中，交互区域监视系统可以连接到一个或多个传感器160。传感器160可以包括任何合适的传感器，作为示例(但不作为限制)，包括深度传感器、图像传感器、数码相机、红-绿-蓝(RGB)相机、红外相机、飞行时间相机、结构光相机、激光扫描仪、雷达、LIDAR、声纳、接近传感器、运动检测器、任何其它合适的传感器、或其任何合适的组合。传感器160可以向交互区域监视服务器150发送数据。

在一些实施例中，数据存储140可以包括如图1所示的网络存储，如云存储或其他网络可访问的存储。附加地或备选地，数据存储140可以包括交互区域监视服务器150内的本地存储设备或直接附接到交互区域监视服务器150的本地存储设备，诸如固态驱动器(“SSD”)或硬盘驱动器(“HDD”)。

在特定实施例中，数据存储140可以存储对应于交互区域的数据结构。作为示例但不作为限制，这样的数据结构可以包括点云、线框模型、基于参数的模型、边界表示、二元空间分割树、k维树、八叉树、构造实体几何树、网格、多边形网状模型、表面模型、实体计算机辅助设计(CAD)模型或任何其他合适的数据结构。

在特定实施例中，数据存储140可以存储对应于事件或事件条件的模板数据。作为示例而不是作为限制，这种数据结构可以包括模板图像或模板骨架(skeletal)跟踪数据。附加地或备选地，数据存储140可以存储对应于事件条件的算法数据。作为示例而不是作为限制，数据存储140可以存储对应于如下事件条件的算法：用户的手向左移动至少13英寸，然后向上移动至少5英寸，但是仅当这两个移动之间的时间延迟小于1.3秒，并且仅当用户的其余部位相对稳定时。

在特定实施例中，数据存储140可以存储对应于动作的数据。在一些实施例中，这样的数据可以包括关于一个或多个已连接设备130的数据。作为示例而非限制，这样的数据可以包括唯一设备标识符、关于已连接设备130的用户的信息、设备细节(例如，制造商、操作系统、本地化语言、音频-视觉能力、电池容量、网络连接规范等)、关于已连接设备上的软件应用的细节(例如，名称、版本、最大消息大小等)或其他适当的设备数据。在一些实施例中，数据存储140可以存储关于以下内容的数据：与一个或多个已连接设备130对应的应用编程接口(API)、或者被配置为在一个或多个已连接设备130上运行的一个或多个软件应用。在一些实施例中，数据存储140可以存储指示交互区域、预定事件和预定动作之间的关联的数据。

在特定实施例中，数据存储140存储历史数据。历史数据可以包括：(1)已经创建的和/或已经发生了用户交互的一个或多个交互区域；(2)用户交互的时间、日期或持续时间；(3)来自交互区域监视系统的数据；(4)关于预定事件或事件条件的信息；(5)关于预定动作的信息；或(6)任何其他适当的数据，或其任何合适的组合。

在一些实施例中，交互区域监视服务器150与一个或多个传感器160通信。在一些实施例中，交互区域监视服务器150与一个或多个传感器160通信以监视交互区域。例如，交互区域监视服务器150可以与数据存储140通信并取回对应于交互区域的数据结构。基于该数据结构，交互区域监视服务器150可以针对一个或多个事件或事件条件来引导一个或多个传感器160监视对应的交互区域。在一些实施例中，传感器160可以不监视物理环境中与交互区域不对应的部分。

在特定实施例中，交互区域监视服务器150的交互区域服务152可以生成用于与传感器160或数据存储140通信的适当形式。例如，交互区域服务152可以从数据存储140中取回对应于交互区域的数据。交互区域服务152还可以从一个或多个传感器160取回数据。基于对应于交互区域的数据和来自一个或多个传感器160的数据的比较，交互区域服务152可以指示一个或多个传感器160监视交互区域。

在特定实施例中，交互区域监视服务器150的事件检测服务154可以基于模板数据来确定事件条件是否已经发生。例如，事件检测服务154可以从数据存储140取回对应于事件条件的模板数据。模板数据可以包括来自事件条件的范例的数据(例如，使用基于由用户提供的范例的数据)。事件检测服务154然后可以将模板数据与从一个或多个传感器160取回到的数据进行比较，以确定是否检测到事件条件。附加地或备选地，如上所述，事件检测服务154可基于对应于事件条件的模板数据或算法数据来确定事件条件是否已经发生。在一些实施例中，事件检测服务154可以通过确定与预定事件相关联的一个或多个事件条件并且基于对一个或多个事件条件的检测来检测预定事件。

在一些实施例中，交互区域监视服务器150与一个或多个已连接设备130通信。在一些实施例中，交互区域监视服务器150与一个或多个已连接设备130通信以发起预定的动作。例如，交互区域监视服务器150可以与数据存储140通信并且取回对应于预定动作的数据。基于该数据，交互区域监视服务器150可以向一个或多个已连接设备130发送指令以发起预定的动作。

在特定实施例中，交互区域监视服务器150的动作发起服务156可以基于交互区域、事件和动作之间的关联来发起预定动作。例如，动作发起服务156可以从数据存储140取回指示交互区域、事件和动作之间的关联的数据。动作发起服务156还可以从交互区域服务152和事件检测服务154接收指示已经检测到相关联的交互区域中的事件的数据。基于此，动作发起服务156可以使用指示交互区域、预定事件和预定动作之间的关联的数据，来将交互区域和预定事件与相关联的预定动作进行交叉引用。动作发起服务156然后可以发起相关联的预定动作。

在特定实施例中，动作发起服务156可以基于交互区域的记录来确定交互区域、事件和动作之间的关联。在一些实施例中，交互区域监视系统维护包括多个记录在内的数据结构(例如，通过将记录存储在数据存储140中并且经由来自交互区域监视服务器150的指令来更新记录)。每个记录可以定义一个或多个用于监视的交互区域，并且可以链接到一个或多个用户。例如，每个记录可以包括指示如下各项的数据：交互区域的坐标、触发动作的事件、响应于事件而发生的动作、以及(在一些实施例中)执行动作的设备。交互区域监视系统可以基于用户输入(例如，当用户配置交互区域、定义事件、定义动作等时)来生成记录。

在特定实施例中，动作发起服务156可以通过生成向一个或多个已连接设备130发送的适当指令来发起动作。例如，动作发起服务156可以从数据存储140取回对应于预定动作的数据。该动作可以由一个或多个已连接设备130执行。动作发起服务还可以从数据存储140取回关于一个或多个已连接设备130的数据。基于关于一个或多个已连接设备130的数据，动作发起服务可以通过确定适当的指令并向已连接设备发送该指令来发起动作。例如，关于移动电话的数据可以包括电话号码。在这个示例中，如果动作是向移动电话发送文本消息，则动作发起服务可以使用电话号码来唯一地识别移动电话以传送文本消息(例如，通过向短消息服务(SMS)网关发送电子邮件)。

图2示出了示例性物理环境中的交互区域的示例实施例。在特定实施例中，深度传感器210生成深度图像作为输出。深度图像可以是与物理环境的区域对应的像素阵列，其中每个像素的深度值指示相应区域的深度。作为示例而不是作为限制，深度图像可以通过立体三角测量、片光三角测量、结构光、干涉测量、编码光圈或检测深度图像的任何其他合适的手段来生成。在特定实施例中，深度传感器210可以包括电子系统或者是电子系统的一部分，该电子系统包括图像传感器、数码相机、红-绿-蓝(RGB)相机、红外相机、飞行时间相机、结构光相机、激光扫描仪、雷达、LIDAR、声纳、接近传感器、运动检测器、任何其他合适的传感器、或其任何适当的组合。在特定实施例中，深度传感器210(或深度传感器210是其一部分的电子系统)还可以检测声音、化学粒子、电流、电势、磁场、气流、光、压力、力、温度、热、运动、图像、时间、日期、生物特征数据或任何其他数据。在一些实施例中，深度传感器210(或深度传感器210是其一部分的电子系统)可以检测关于对象或人的移动或对象或人的速度的数据。

在特定实施例中，交互区域监视系统可针对一个或多个预定事件来监视(例如，通过深度传感器210)一个或多个交互区域(例如交互区域220)。交互区域可以具有物理环境中的任何合适的尺寸、形状或位置。如图2所示，在特定实施例中，交互区域可以由三维形状定义。在特定实施例中，交互区域可以是(或者非常接近于)表面，诸如桌子的表面。

在特定实施例中，交互区域监视系统可针对一个或多个预定事件来监视(例如，通过深度传感器210)一个或多个交互区域(例如交互区域220)。在一些实施例中，预定事件可以由共同构成事件的两个或更多个事件条件组成，即，仅当检测到多个事件(它们共同为预定事件)时才可以发起预定动作。如本文所使用的，当在交互区域内发生构成预定事件的一个或多个事件条件时，在交互区域内可发生预定事件。例如，预定事件可以包括两个事件条件：1)特定用户进入桌椅周围或桌椅之上的交互区域；和2)房间内的温度超过阈值温度。在这个例子中，可能需要这两个事件条件来触发预定的动作，例如打开风扇或空调。本公开认为，预定事件可以等同于一个事件条件，或者预定事件可以要求发生多个事件条件。本公开认为，在合适的情况下，涉及事件条件的公开适用于预定事件，反之亦然。

在特定实施例中，预定事件和/或事件条件可以包括：交互区域内的移动、交互区域内是否存在对象或人、进入交互区域的对象或人、离开交互区域的对象或人、或任何其他合适的事件条件。在一些实施例中，事件条件可以是其他事件条件以特定顺序发生、在彼此相对的特定时间内发生、或者可以是任何其他关系条件。在特定实施例中，事件条件可以包括来自任何传感器或设备(例如图1中所示的传感器或设备)的输出。在特定实施例中，一个或多个事件条件可以由用户例如根据事件条件列表来确定。在一些实施例中，交互区域监视系统可以通过从深度传感器210、已连接设备或指示事件条件已经发生的各设备的组合接收数据，来检测预定事件。

在一些实施例中，事件条件列表可以包括不需要资源密集型图像处理的事件条件，例如移动、亮度级别、对象或用户进入或离开交互区域、或者任何其他合适的事件。在特定实施例中，事件条件可以包括识别特定对象或对象类型、识别用户(诸如用户的面部或用户的客户端系统)、识别特定手势或身体位置、或任何其他事件条件。

在特定实施例中，除非检测到阈值事件，否则可以不检测预定事件或事件条件。检测阈值事件可以包括(例如，从深度传感器、已连接设备、数据库等)接收表示已经检测到阈值事件的信息。作为示例，交互区域监视系统可以经由深度传感器210来监视交互区域220，以检测作为阈值事件的人的存在。当在交互区域220中检测到用户230时，交互区域监视系统可以针对特定用户230来监视交互区域220，例如通过使用面部识别来处理由深度传感器捕捉的图像，与触发事件的检测和处理相比，这可能需要更密集的资源来完成。如该特定示例所示，可以在与检测事件相关联的一个或多个相对资源密集型任务之前，检测并处理资源密集程度相对较低的阈值事件，从而在未检测到阈值事件的时段期间节省计算机资源。

在特定实施例中，通信耦合到交互区域监视系统的一个或多个已连接设备可以用于检测预定的事件或事件条件。例如，特定用户可以具有已连接设备，该已连接设备传送唯一标识其用户的信息。例如，用户230可以具有(例如，经由蓝牙)向交互区域监视系统传送识别用户230的唯一标识符(例如用户名、电话号码、媒体访问控制(MAC)地址等)的移动电话、智能手表、平板电脑、膝上型电脑或其他设备。在示例实施例中，交互区域监视系统可以确定是否已经发生阈值条件。响应于对已经发生阈值条件的确定，交互区域监视系统可以广播请求，以使邻近的已连接设备用唯一识别其用户或相应用户设备的信息来回复。

在特定实施例中，交互区域可以与一个或多个特定用户相关联。例如，交互区域可能与用户230相关联。在特定实施例中，可以从数据存储(诸如数据存储140)确定该关联，该关联例如通过用户的简档、区域的简档或这二者将区域和用户加以相关。在特定实施例中，除非在交互区域中检测到特定用户的存在，否则可以不针对预定事件来监视交互区域。用户的存在可以通过例如面部识别来检测。在另一个示例中，如上所述，交互区域可以广播请求，以使邻近的已连接设备用唯一识别已连接设备的一个或多个用户的信息来回复。在该示例中，可以仅当邻近的已连接设备识别与交互区域相关联的特定用户时才针对预定事件来监视交互区域。附加地或备选地，交互区域可以不与任何特定的用户相关联。

在特定实施例中，交互区域监视系统可以仅当检测到阈值事件时才监视交互区域。例如，如果开/关切换开启，或者如果满足任何其他事件条件或预定事件，则可以仅在一天中的特定时间内监视交互区域。

在特定实施例中，当检测到预定事件时(例如当检测到针对预定事件的一个或多个事件条件时)，可以由交互区域监视系统发起预定动作。事件条件可以包括检测交互区域内的预定事件，并且可以包括一个或多个其他事件条件，诸如一天中的时间；来自设备(如智能电话、手表、电器等)的输出；诸如光线、噪音、温度等环境条件；或任何其他合适的事件条件。预定的动作可以由交互区域监视系统、连接到交互区域监视系统的设备、深度传感器或任何其他合适的设备来执行。作为示例，包括深度传感器210在内的交互区域监视系统可以针对用户进入交互区域220的预定事件来监视交互区域220。交互区域监视系统也可以连接到TV 240。当用户230进入交互区域220时，交互区域监视系统可以通过向TV 240发送指令来发起TV 240打开的预定动作。在一些实施例中，预定动作可以包括向用户传递消息或提醒。例如，用户230可能有观看节目“权力的游戏”的历史。如果用户230进入交互区域220，则交互区域监视系统可以发起对音频提醒的播放，其通知用户230“权力的游戏”的演季首映将在10分钟内开始。

在特定实施例中，预定事件可以包括多个事件条件。在一些实施例中，一个事件条件可以是其他事件条件以特定顺序发生、在彼此相对的特定时间内发生，或者可以是任何其他关系条件。在特定实施例中，可以针对多个预定事件来监视交互区域，每个预定事件触发预定动作。作为示例，交互区域监视系统可以经由深度传感器210针对包括用户进入交互区域220的事件条件在内的预定事件来监视交互区域220。当通过检测到用户进入交互区域220而满足事件条件时，交互区域监视系统可以发起打开TV 240的预定动作。附加地，交互区域监视系统可以针对附加的预定事件来监视交互区域220，该附加的预定事件包括特定用户230进入交互区域220的事件条件。如果用户230进入交互区域220，则交互区域监视系统可以发起将TV 240调谐到对于用户230特定的特定频道的预定动作。作为另一个示例，交互区域监视系统可以针对预定事件来监视交互区域220，该预定事件包括用户离开和TV240处于打开状态的事件条件。如果交互区域监视系统检测到TV 240处于打开状态并且用户离开交互区域220，则交互区域监视系统可以发起暂停TV 240上的视频内容的预定动作。

在特定实施例中，交互区域监视系统可以增强环境中的物理对象或表面。例如，交互区域监视系统可以通过允许用户接触或接近特定物品并作为响应而显示该物品的价格，来增强零售店显示。在该示例中，交互区域可以包括全部或部分物品、或物品附近的空间，预定事件可以是对物品的接触或接近，预定动作可以是对物品价格的显示。作为另一个示例，可以在博物馆中使用交互区域监视系统来将对象链接到与语音导览相关的内容。作为另一个示例，可以在教室中使用交互区域监视系统来将计算机内部的不同部分链接到不同的视频教程或链接到关于特定计算机组件的更详细信息的显示。作为另一个示例，可以在发布新产品的企业活动中使用交互区域监视系统，以在发生与产品原型的交互(例如触摸原型)时触发合适的演示内容。如本文更全面描述的，本公开认为：交互区域可以包括任何合适的空间或空间组合；预定事件可以包括一个或多个合适的事件条件；以及对应于预定事件的预定动作可以包括任何合适的一个或多个动作。

图3A～图3D示出了用户230配置交互区域的示例实施例。在一些实施例中，配置交互区域可以包括确定交互区域(例如，确定交互区域的形状、面积、位置、大小、取向、姿势或其他属性)、移动现有的交互区域、修改现有的交互区域、或删除现有的交互区域。在一些实施例中，交互区域监视系统可以存储表示交互区域的属性的数据。例如，交互区域监视系统可以存储对应于交互区域的数据结构(例如，点云、线框模型、基于参数的模型、边界表示、二元空间分割树、k维树、八叉树、构造实体几何树、网格、多边形网状模型、表面模型、实体计算机辅助设计(CAD)模型或任何其他合适的数据结构)。

图3A示出了用户230经由手势来确定交互区域320的示例实施例。例如，交互区域监视系统可以从用户230接收用户输入数据，其指示定义新的交互区域或者重新定义现有的交互区域的请求。响应于接收到该用户输入数据，交互区域监视系统可以接收表示交互区域的位置的位置数据。交互区域监视系统可以以下面描述的多种方式帮助用户提供位置数据。

在特定实施例中，交互区域监视系统可以使用深度传感器310来检测和跟踪用户230的指示交互区域的手势。交互区域的形状可以具有模板形状，例如长方体(例如，交互区域320)、圆柱体(例如，图3B中的交互区域350)、多面体、多胞形、球体、椭球体、由网格限定的体积、表面区域或任何其他形状。作为示例，用户230可以通过沿着路径330移动手来做出手势。交互区域监视系统可以经由深度传感器310检测手势，并且可以基于路径330确定交互区域320。

在一些实施例中，交互区域监视系统可以经由用户设备来跟踪手势。例如，用户可以用握住设备的手来做出手势，并且该设备可以使用惯性传感器、GPS传感器或者另一合适的传感器来生成数据并将其向交互区域监视系统或者其他合适的组件发送以确定交互区域。

在特定实施例中，交互区域的形状可以是具有使用户的手势完全被界定在该形状内的最小体积的预定类型的形状。作为示例而不是作为限制，交互区域320可以是具有使路径330位于交互区域320内的最小可能体积的立方体。在特定实施例中，交互区域可以采取多个预定形状中的一个。在特定实施例中，交互区域可以采取由用户的手势创建的形状。本公开考虑了用于定义交互区域的任何合适的方法，包括通过使用一个或多个语音命令、一个或多个手势、一个或多个仪器(诸如例如触控笔)等。

在特定实施例中，用户可以指示他们希望定义交互区域。例如，用户230可以通过使已连接设备向交互区域监视系统发送指示意愿的信息，来指示在交互环境中进行定义的意愿。作为示例而非限制，用户230可以将软件应用安装在已连接设备上，该已连接设备经由网络向交互区域监视系统发送数据。在接收到用户希望定义交互区域的指示之后，交互区域监视系统可以监视用户的手势并且基于这些手势来确定交互区域。附加地或备选地，交互区域监视系统可以检测用于发信号通知用户定义交互区域的意愿的语音命令。本申请考虑了用于由用户发信号通知定义交互区域的愿望的任何合适的方法。

在特定实施例中，交互区域可以与物理对象(例如，炉子、墙壁、地板、家具等)相交。作为示例，交互区域320可以向下延伸到炉子340。在特定实施例中，可以不针对预定的事件或事件条件来监视交互区域的与物理对象相交的部分。作为示例，如果交互区域320向下延伸到炉子340，则可以不针对预定的事件或事件条件来监视交互区域320的包括炉子340的部分。

在特定实施例中，可以基于一个或多个预定义条件来动态地配置交互区域、预定事件、动作或其任何适当的组合。例如，交互区域的形状、面积、地点、大小、取向或位置可以基于预定条件来修改。这样的条件可以包括一天中的时间、环境条件、用户偏好或任何其他合适的条件。作为示例，灯附近的交互区域可以随着灯附近的区域变暗而变大。作为另一个示例，预定事件可以包括用户存在于交互区域中并且包含交互区域在内的房间中的高于阈值温度的温度。相应的动作可以包括打开风扇。当用户存在时，风扇的速度可以根据空间中的温度动态改变。在一些实施例中，交互区域可以被配置为基于条件而变得存在、被删除、被激活或被去激活。例如，24小时杂货店可以使用交互区域监视系统来监视两个门口。在这个示例中，门口之一可以在一天的特定时间期间关闭并上锁，并且对应于该入口的交互区域可以被配置为在一天中的门上锁的时间期间被去激活并且在该时间之后被重新激活。

图3B示出了存在多个交互区域的物理环境的示例实施例。在特定实施例中，可以配置多个交互区域。多个交互区域可以彼此不同、部分重叠或完全重叠。

在特定实施例中，来自重叠的交互区域的图像数据以可以减少重复的方式被处理或监视。作为示例，交互区域320可以位于交互区域350内。交互区域监视系统可以使用相同的数据来监视物理环境中既位于交互区域320也位于交互区域350内的部分。例如，深度传感器310可以捕捉交互区域320和交互区域350之间的重叠区域的图像，并且该图像可以用于监视区域320和区域350这二者。在一些实施例中，交互区域监视系统能够以每秒一定次数来监视物理环境的特定区域。如果物理环境的特定区域被包含在多个交互区域内，则对于每个交互区域与另一个交互区域重叠的部分，交互区域监视系统可以用与该特定区域仅位于一个交互区域内时相同的每秒次数进行监视。

在特定实施例中，预定事件可以包括在一个或多个区域中检测到的多个事件条件。作为示例，交互区域监视系统可以经由深度传感器310来监视交互区域320和交互区域350这二者。在该示例中，预定事件可以包括在交互区域320中的电阻丝(element)上已经放置了壶并且用户已经离开交互区域350的事件条件。如果交互区域监视系统检测到该预定事件，则交互区域监视系统可以发起打开交互区域320中的炉子340的电阻丝的预定动作。

图3C和3D示出了用户230使用客户端系统360来确定交互区域320的示例实施例。在特定实施例中，用户可以使用客户端系统来帮助确定交互区域。作为示例，用户230可能希望经由手势来确定交互区域350。一般而言，交互区域对于仅使用人眼的用户是不可见的。在特定实施例中，客户端系统360可以经由相机来显示物理环境的一部分。客户端系统360还可以接收确定交互区域的数据(例如，地点、位置、大小、形状等)。客户端系统360可以向用户230显示包括物理环境中的交互区域的视觉表示在内的图像。在特定实施例中，用户可以在他们正在做出手势的时候观看客户端系统，并且客户端系统可以在用户正在做出手势时显示由该手势确定的交互区域。在特定实施例中，客户端系统可以仅显示一些交互区域而不显示其他区域。例如，图3D仅显示交互区域350，但不显示交互区域320。

在特定实施例中，用户可以经由客户端系统的显示器来确定交互区域。例如，客户端系统360可以具有允许用户230确定交互区域350的软件。客户端系统可以显示表示物理环境的图像(例如，经由相机)。用户可以与客户端系统交互以确定交互区域。例如，用户230可以使用客户端系统360，以通过从形状列表中选择形状并使用触摸屏来指示交互区域350的位置或大小来确定交互区域350。作为另一示例，用户230可以使用客户端系统360，以通过在客户端系统360的显示器上绘制区域来确定交互区域350。本公开考虑了用户与客户端系统交互以确定交互区域的任何合适的方法，包括语音命令、与用户界面(UI)交互、手势或者任何其他合适的方法。

图4示出了示例物理环境中的多个示例交互区域。在该示例中，交互区域420在其内包含若干交互区域420a～e。在特定实施例中，交互区域420和交互区域420a～e可以与预定事件、事件条件或预定动作相关联。作为示例，交互区域监视系统可以针对包括用户的手的存在的事件条件在内的预定事件经由深度传感器410来监视交互区域420和交互区域420a～e。在该例中，一旦检测到用户的手进入交互区域420的事件条件，则交互区域监视系统可以发起切换灯430的状态(例如，关闭或打开灯430)的预定动作，灯430可以连接到交互区域监视系统。用户的手进入交互区域420也可以是阈值事件，在此之后，交互区域监视系统可以检测包括与用户的手在区域420a～e之间的移动相对应的事件条件在内的预定事件。例如，如果用户的手进入交互区域420和交互区域420c，则灯430可以从关闭状态转到开启状态。如果用户然后将手从交互区域420c向下移动到交互区域420e，则交互区域监视系统可以发起使灯430变暗的预定动作(例如，通过改变灯430所使用的电压来控制光输出的强度)。在该例中，每个区域420a～e可以对应于灯430的特定亮度级别。

图5示出了用于关联或配置交互区域、预定事件、事件条件和预定动作的示例用户界面(UI)。UI可以向用户提供如下能力：与客户端系统360交互以配置交互区域；配置预定事件或事件条件；配置预定动作；和将交互区域、预定事件、事件条件和预定动作相互关联。客户端系统360可以向交互区域监视系统传送与用户的交互相对应的数据(例如，经由网络110)。虽然图5示出了图形UI(例如，使用在客户端系统上显示的图形图标或可视指示器来向用户提供与客户端系统交互的能力的用户界面)，但本公开考虑了使用语音用户界面(例如，允许用户通过语音或话音与客户端系统进行交互的用户界面)、手势界面(例如，向用户提供通过用户身体的某个部分的运动或状态来与客户端系统进行交互的能力的用户界面)或任何其他合适类型的UI。

在特定实施例中，UI可以包括交互区域的列表。在特定实施例中，当用户配置交互区域时，该列表动态地更新。在一些实施例中，列表中的交互区域可以被给予名称。例如，列表510包括具有名称“产品展示”、“商店入口”、“收银机”和“仅供雇员使用的门口”的交互区域。在这个示例中，物理环境可以位于零售商店中。在特定实施例中，交互区域可以以暗示该交互区域在物理环境中的位置的方式来命名。例如，列表510中的“产品展示”交互区域可以位于物理环境中的产品展示区中，列表510中的“商店入口”交互区域可以位于物理环境中的零售商店入口处，等等。在一些实施例中，UI允许用户通过指派或改变交互区域的名称来配置交互区域。

在特定实施例中，UI可以呈现事件条件的列表。在特定实施例中，用户可以通过选择一个或多个事件条件来配置预定事件，并将其与一个或多个区域以及一个或多个预定动作相关联。在特定实施例中，事件条件可以具有一个或多个用户可配置字段。例如，图5示出了事件条件的示例列表520。列表520中的一些事件条件具有用户可配置的字段520a～b。例如，事件条件“人员进入”具有两个用户可配置的字段(速度和面部识别)。用户可以经由用户可配置字段520a来配置事件条件是人以特定速度、大于特定速度、小于特定速度等进入。事件条件“人员进入”还具有用户可配置的字段520b，用户可使用该字段将事件条件配置为具有特定的被识别面部的人员进入交互区域。虽然图5示出了特定示例列表520，但是本公开考虑了具有任何数量的合适的用户可配置字段的任何合适的事件条件或预定事件。

在特定实施例中，用户可以经由明确定义(例如，经由执行或演示示例来定义)来定义预定事件、事件条件或动作。例如，交互区域监视系统可以被配置为识别用户输入，该用户输入指示用户希望在给定的交互区域中明确定义预定事件或事件条件。如果用户表示这样的愿望，则交互区域监视系统可以监视该交互区域。然后，用户可以通过进入交互区域来提供“人员进入交互区域”事件条件的示例。然后，交互区域监视系统可以识别该示例并且基于该示例来定义“人员进入交互区域”的事件条件。在一些实施例中，一旦明确定义了预定事件或事件条件，该事件就可以经由UI进行选择(例如，明确定义的预定事件可以在其被定义之后出现在列表520中)。

在特定实施例中，UI可以包括预定动作的列表。例如，列表530包括若干示例性预定动作。每个动作可以由用户进一步配置(例如，通过用户可配置的字段)。例如，预定动作“在显示器上播放视频”可以允许用户选择特定的显示设备和特定的视频。通常，预定动作可以由任何已连接设备执行，并且UI可以允许用户选择由哪个已连接设备执行哪个预定动作。在一些实施例中，UI可以包括可能的已连接设备的列表。在特定实施例中，UI可以包括用于每个已连接设备的不同列表，每个列表仅包括特定对应已连接设备能够执行的那些预定动作。

在特定实施例中，用户可以定义预定事件或预定动作。例如，用户可以经由与已连接设备的交互或者通过定义预定事件或预定动作的任何其他合适的手段来定义预定事件或预定动作。在一些实施例中，当用户定义预定事件或预定动作时，可以将与用户定义的预定事件或预定动作对应的数据存储在数据存储中。在一些实施例中，一旦用户定义了预定事件或预定动作，则用户定义的预定事件或预定动作在列表(诸如列表520或530)中可用。

在特定实施例中，UI可以允许用户将交互区域、预定事件和预定动作相关联。在上面的示例中，用户可以从列表510中选择“产品展示”交互区域。用户然后可以将该交互区域与包括来自列表520的事件条件“人员进入”在内的预定事件相关联。用户然后可以将该交互区域和该预定事件与来自列表530的预定动作“在显示器上播放视频”相关联。用户还可以配置该预定动作，以在该交互区域附近的显示设备上播放说明所展示的产品的使用的视频。在这个示例中，如果人员进入“产品展示”区域，则交互区域监视系统可以使该视频在该显示设备上播放。

在特定实施例中，交互区域可以随着物理环境中的对象移动而移动。例如，列表510包含交互区域“收银机”。这个交互区域可以对应于零售商店的物理环境中的对象收银机。交互区域监视系统可以针对包括事件条件“钱箱打开”在内的预定事件来监视该交互区域，并且如果检测到该预定事件，则可以发起预定动作“使用相机来记录和存储视频”。这样，当收银机的钱箱被打开时，用户可以使用连接的相机来记录收银机的视频。员工可能正在清理收银机周围的区域，并移动收银机。交互区域监视系统可以检测到收银机已经移动(例如，通过使用图像直方图、Canny边缘检测或其他合适的手段)，并使得交互区域“收银机”与收银机一起移动。

在特定实施例中，可以对特定的交互区域、预定事件或事件条件进行优先级化。在特定实施例中，交互区域监视系统可具有有限的处理能力、存储器或其他计算机资源。通过对交互区域、预定事件或事件条件使用与其他交互区域、预定事件或事件条件相比相对更多或更少的计算机资源，可以对交互区域、预定事件或事件条件进行优先级化。例如，优先级化可以涉及使用与其他交互区域相比较高的帧率来监视交互区域、与来自其它交互区域的图像相比以更高速率或更早地处理来自交互区域的图像、执行更多或更少的资源密集类型的监视、或者任何其他合适的优先级化方法。例如，可能针对涉及高速率的事件条件来监视交互区域。在一些实施例中，用户可以指示事件条件涉及高速率，或者交互区域监视系统可以基于机器学习(例如，基于对历史数据的分析)或基于与特定类型的预定事件或事件条件的关联来确定事件条件涉及高速率。在这样的示例中，当预见到涉及高速率的事件条件时，交互区域监视系统可以通过以比用于其他交互区域更高的帧率监视交互区域，来对交互区域进行优先级化。作为另一个示例，可以基于交互区域或预定事件的重要性，对事件条件“收银机打开”或包括该事件条件在内的预定事件进行优先级化。在一些实施例中，可以存在指示交互区域或预定事件的重要性的存储变量，其可以由交互区域监视系统或由用户修改。

在特定实施例中，特定交互区域、预定事件或事件条件可基于监视负载由交互区域监视系统自动进行优先级化。监视负载可以是管理交互区域监视系统所需的计算机资源(如存储器、处理器和传感器)，例如监视交互区域；检测事件；创建、更改、激活或去激活特定的交互区域、事件和动作；等等。在一些实施例中，当交互区域、预定事件或事件条件被监视时，监视负载可能变得大于交互区域监视系统可用的计算机资源。在特定实施例中，交互区域监视系统可以基于监视负载(诸如当监视负载达到阈值监视负载时)对交互区域监视系统的任何合适的方面(诸如所监视的区域或部分区域、所监视的事件、所发起的动作等)进行优先级化。在特定实施例中，优先级化降低了监视负载。优先级化的示例可以包括：使用较低的帧率来监视交互区域、延迟对来自交互区域的图像的处理、执行较少的资源密集类型的资源监视、或任何其他合适的优先级化方法。在一些实施例中，基于监视负载进行的优先级化可以是动态的。例如，可以以某一时间间隔或响应于某些触发条件(例如，在配置交互区域之后)，由交互区域监视系统基于监视负载对交互区域监视系统自动进行优先级化。

在特定实施例中，预定动作可以发生在任何位置。在一些实施例中，预定动作可以发生在交互区域内。例如，列表510中的交互区域“雇员专用门口”可以包含交互区域内的门。用户可以将该交互区域与包括列表520中的事件条件“人员进入”在内的预定事件相关联，并且使用用户可配置字段520b来指示面部必须被识别为雇员。用户还可以将该交互区域和预定事件与列表530中的预定动作“解锁门”相关联，并配置该动作以解锁位于交互区域内的门。在这个示例中，当雇员进入该交互区域时，交互区域监视系统可以检测到该雇员，识别该雇员的面部，然后解锁门。附加地或备选地，在一些实施例中，预定动作可以发生在交互区域之外。作为示例，用户可以将列表510中的交互区域“商店入口”与包括列表520中的事件条件“移动”以及零售商店关闭的事件条件(例如，通过确定与零售店的营业时间相比的一天中的时间来确定)在内的预定事件相关联。用户可以将该交互区域和预定事件与来自列表530的预定动作“向电话号码发送文本消息”相关联，以向用户的电话发送文本消息，指示在零售店关闭之后某人可能在零售店中。在此示例中，如果交互区域监视系统在“商店入口”交互区域中检测到移动并且商店是关闭的，则可以引起向用户发送文本消息，其中该文本消息可以在任何交互区域之外发送或接收。

图6示出了由示例交互监视系统实现的示例方法600。在步骤610中，交互区域监视系统可以接收识别交互区域的输入。在特定实施例中，输入可以来自用户。如上所述，用户可以经由手势、已连接设备或任何其他合适的手段来提供识别交互区域的输入，由此来配置交互区域。在一些实施例中，交互区域监视系统的数据存储可以存储对应于交互区域的数据结构，如上面结合图1更详细描述的。

在步骤620中，交互区域监视系统可以针对包括一个或多个事件条件在内的预定事件来监视一个或多个交互区域。在特定实施例中，交互区域监视系统可以通过监视交互区域所属的物理环境来监视交互区域。在特定实施例中，由交互区域监视系统监视的物理环境可以包括交互区域之外的区域(例如，传感器的整个视野、房间或建筑物)。

在特定实施例中，由交互区域监视系统监视的物理环境可以仅包括交互区域，即系统或特定系统组件可以仅监视交互区域或部分交互区域。在特定实施例中，系统可以仅处理由系统监视的部分区域，如本文更全面描述的那样。例如，交互区域监视系统可以访问数据存储140以确定交互区域在物理空间中的位置。交互区域监视系统可以选择性地处理与所确定的交互区域相对应的部分传感器数据。

在特定实施例中，交互区域监视系统可以通过从一个或多个传感器接收数据来监视预定事件。在一些实施例中，如上所述，来自一个或多个传感器的数据可以被发送到交互区域监视服务器的事件检测服务，然后交互区域监视服务器的事件检测服务可以使用所接收的数据来检测预定事件。

在步骤630中，交互区域监视系统可以检测交互区域中的预定事件。如上所述，预定事件可以包括一个或多个事件条件(例如，交互区域内的变化、接收信息、环境条件等)。在特定实施例中，交互区域监视服务器的事件检测服务可以基于在步骤620中接收到的数据来确定是否已经检测到预定事件。

在特定实施例中，交互区域监视系统可以至少部分地基于交互区域的深度图像(例如，经由深度传感器获得)来检测预定事件。如上所述，作为示例而不是限制，深度图像可以由深度传感器通过以下手段生成：立体三角测量、片光三角测量、结构光、干涉测量、编码光圈或检测深度图像的任何其他合适的手段。其他数据也可以在步骤620中获得，包括与以下各项检测有关的数据：声音、化学粒子、电流、电势、磁场、气流、光、压力、力、温度、热、运动、图像、时间、日期、生物特征数据或任何其他数据。在特定实施例中，可以使用深度图像来例如确定对象是否已经进入、存在于或离开交互区域。在特定实施例中，交互区域监视服务器的事件检测服务可以从一个或多个传感器取回深度图像。

在步骤640中，如果在步骤630中检测到预定事件，则交互区域监视系统可以发起预定动作。如上所述，预定动作可以发生在交互区域内、交互区域外或这二者中。预定动作可以由交互区域监视系统、已连接设备或任何其他合适的手段来执行。在一些实施例中，如上所述，预定动作可以由交互区域监视服务器的动作发起服务来发起。

在适当的情况下，特定实施例可以重复图6的方法的一个或多个步骤。尽管本公开以特定的发生顺序描述和示出了图6的方法的特定步骤，但是本公开考虑了图6的方法的任何合适的步骤的任何适当的发生顺序。此外，虽然本公开描述和示出了包括图6的方法的特定步骤在内的、由示例交互区域实现的示例方法，但本公开考虑了包括任何合适步骤在内的由任何合适的交互区域实现的任何合适的方法，其在合适的情况下可包括图6的方法的全部或部分步骤，或者不包括图6的方法的步骤。此外，尽管本公开描述和示出了执行图6的方法的特定步骤的特定组件、设备或系统，但本公开考虑了执行图6的方法的任何合适的步骤的任何合适的组件、设备或系统的任何合适的组合。

图7示出了用于基于至少部分由深度传感器捕捉的一个或多个图像来监视预定事件或事件条件并检测预定事件的示例方法700。在特定实施例中，图6的步骤620、630可以通过使用方法700来执行。例如，图7的步骤702、704可以对应于图6的步骤620，图7的步骤706、708可以对应于图6的步骤630。方法700可以从步骤702开始，在该步骤中计算设备(诸如本文描述的任何合适的计算设备)的处理器可以接收表示交互区域的至少一部分的图像的数据。

在步骤704，图像的一部分可被表征为背景或其他非事件信息。例如，该方法可以参考环境的先前图像，并将未改变或未改变超过特定阈值的部分识别为背景。在特定实施例中，可以仅识别与交互区域相对应的图像部分的背景或非事件数据。在特定实施例中，可以在处理图像之前从图像中去除图像的背景。在特定实施例中，背景去除可以通过进行帧差分、使用均值滤波器、运行高斯平均、使用背景混合模型或任何其他合适的方法来完成。在特定实施例中，背景去除可以隔离出图像的前景中的对象以帮助进行运动检测、对象检测、对象定位、对象识别、对象跟踪、语义分割或其他形式的图像处理。在特定实施例中，背景去除可允许将指示改变(例如，移动、颜色改变等)的数据与其他数据隔离。在特定实施例中，可以仅去除与交互区域相对应的背景。

在步骤706，可以对未被表征为背景或非事件数据的部分图像进行处理以确定该部分是否包含指示事件或事件条件已经发生的信息。图像处理可以包括测量去除背景后的信息的级别并将该级别与阈值进行比较。如果该级别大于阈值，则可以确定事件或事件条件已经发生。附加地或备选地，图像处理还可以包括对象识别、面部识别或任何其他类型的图像处理。可以使用任何合适的技术来处理图像，例如但不限于：边缘匹配、光线或颜色变化的检测、灰度匹配、使用直方图、将图像与一个或多个其他图像进行比较、使用解释树等。在特定实施例中，如上面更全面描述的，可以从特定于被分析的交互区域的简档或记录来访问识别事件或事件条件的数据。在特定实施例中，步骤706可以包括骨架跟踪(例如，使用骨架数据来推断人的身体位置或由人做出的手势)。在特定实施例中，可以通过使用表示人类目标的模型来完成骨架跟踪，其中该模型可以包括与人类关节相对应的可调节的骨架点。在一些实施例中，可以将模型调节成与人类目标所执行的姿态相对应的不同姿态。在一些实施例中，可以基于与对应于已知手势或姿态的数据的比较来确定骨架数据。在一些实施例中，可以使用机器学习来确定骨架数据。在特定实施例中，骨架数据可以指示人或者人的一部分位于特定交互区域内、已经进入或者已经离开特定交互区域。

如果在步骤706中没有检测到事件或事件条件，则方法700可以结束，并且可以执行图6的步骤620。如果检测到事件，则方法700可以结束，并且可以执行图6的步骤640。在特定实施例中，方法700可以包括步骤708，在该步骤中，该方法确定预定事件是否需要任何附加事件条件，如果是，则确定是否已经满足那些事件条件。如本文更全面描述的，其他事件条件的发生可以通过处理由深度传感器捕捉的图像来确定或从任何其他合适的传感器的输出来确定。如果需要其他事件条件来检测事件并且不满足这些事件条件中的至少一个事件条件，则该方法可以结束，并且可以执行图6的步骤620。如果事件不包括附加的事件条件，或者如果满足所有所需的附加事件条件，则该方法可以结束，并且可以执行图6的步骤640。

在适当的情况下，特定实施例可以重复图7的方法的一个或多个步骤。尽管本公开以特定的发生顺序描述和示出了图7的方法的特定步骤，但是本公开考虑了图7的方法的任何合适的步骤的任何适当的发生顺序。而且，虽然本公开描述和示出了包括图7的方法的特定步骤在内的、用于检测预定事件或事件条件的示例方法，但本公开考虑了用于检测预定事件或事件条件的任何合适的方法，其在合适的情况下可包括图7的方法的全部或部分步骤，或者不包括图7的方法的步骤。此外，尽管本公开描述和示出了执行图7的方法的特定步骤的特定组件、设备或系统，但本公开考虑了执行图7的方法的任何合适的步骤的任何合适的组件、设备或系统的任何合适的组合。

图8示出了示例计算机系统800。在特定实施例中，一个或多个计算机系统800执行在本文中描述或示出的一个或多个方法的一个或多个步骤。在特定实施例中，一个或多个计算机系统800提供在本文中描述或示出的功能。在特定实施例中，在一个或多个计算机系统800上运行的软件执行在本文中描述或示出的一个或多个方法的一个或多个步骤，或提供在本文中描述或示出的功能。特定实施例包括一个或多个计算机系统800的一个或多个部分。本文中，在适当的情况下，对计算机系统的引用可以包含计算设备，反之亦然。此外，在适当的情况下，对计算机系统的引用可以涵盖一个或多个计算机系统。

本公开考虑了任何合适数量的计算机系统800。本公开考虑了采取任何合适的物理形式的计算机系统800。作为示例而非限制，计算机系统800可以是嵌入式计算机系统、系统级芯片(SOC)、单板计算机系统(SBC)(诸如，模块上计算机(COM)或模块上系统(SOM))、台式计算机系统、膝上型或笔记本计算机系统、交互信息亭、大型机、计算机系统网格、移动电话、个人数字助理(PDA)、服务器、平板电脑系统、增强/虚拟现实设备或者这些中的两个或更多个的组合。在适当的情况下，计算机系统800可以包括整体或分布式的、跨越多个地点、跨越多台机器、跨越多个数据中心或驻留在云中的一个或多个计算机系统800，云可以包括一个或多个网络中的一个或多个云组件。在适当的情况下，一个或多个计算机系统800可以在没有显著的空间或时间限制的情况下执行本文描述或示出的一个或多个方法的一个或多个步骤。作为示例而非限制，一个或多个计算机系统800可以实时或以批处理模式执行本文描述或示出的一个或多个方法的一个或多个步骤。在适当的情况下，一个或多个计算机系统800可以在不同的时间或在不同的位置执行本文描述或示出的一个或多个方法的一个或多个步骤。

在特定实施例中，计算机系统800包括处理器802、存储器804、存储设备806、输入/输出(I/O)接口808、通信接口810和总线812。尽管本公开描述和示出了具有特定布置下的特定数量的特定组件的特定计算机系统，但本公开考虑了具有任何合适布置下的任何合适数量的任何合适组件的任何合适的计算机系统。

在特定实施例中，处理器802包括用于执行指令(例如构成计算机程序的指令)的硬件。作为示例而非限制，为了执行指令，处理器802可以从内部寄存器、内部高速缓存、存储器804或存储设备806中取回(或取出)指令；解码并执行它们；然后将一个或多个结果写入内部寄存器、内部高速缓存、存储器804或存储设备806。在特定实施例中，处理器802可以包括用于数据、指令或地址的一个或多个内部高速缓存。本公开考虑了在适当的情况下包括任何合适数量的任何合适的内部高速缓存的处理器802。作为示例而非限制，处理器802可以包括一个或多个指令高速缓存、一个或多个数据高速缓存以及一个或多个转换后备缓冲器(TLB)。指令高速缓存中的指令可以是存储器804或存储设备806中的指令的副本，且指令高速缓存可以加速处理器802对这些指令的取回。数据高速缓存中的数据可以是：由在处理器802中执行的指令对其进行操作的、存储器804或存储设备806中的数据的副本；由处理器802中后续执行的指令访问或被写入存储器804或存储设备806中的、处理器802中先前执行的指令的结果；或其他合适的数据。数据高速缓存可以加速处理器802的读取或写入操作。TLB可以加速处理器802的虚拟地址转换。在特定实施例中，处理器802可以包括用于数据、指令或地址的一个或多个内部寄存器。在适当的情况下，本公开考虑了包括任何合适数量的任何合适的内部寄存器在内的处理器802。在适当的情况下，处理器802可以包括一个或多个算术逻辑单元(ALU)；可以是多核处理器；或者可以包括一个或多个处理器802。尽管本公开描述并示出了特定处理器，但是本公开考虑了任何合适的处理器。

在特定实施例中，存储器804包括主存储器，该主存储器用于存储由处理器802执行的指令或由处理器802操作的数据。作为示例而不是作为限制，计算机系统800可以将来自存储设备806或另一个源(例如，另一个计算机系统800)的指令加载到存储器804。处理器802然后可以将指令从存储器804加载到内部寄存器或内部高速缓存。为了执行指令，处理器802可以从内部寄存器或内部高速缓存取回指令并对它们进行解码。在指令执行期间或之后，处理器802可以向内部寄存器或内部高速缓存写入一个或多个结果(其可以是中间结果或最终结果)。处理器802然后可以将这些结果中的一项或多项写入存储器804。在特定实施例中，处理器802仅执行一个或多个内部寄存器或内部高速缓存或存储器804(与存储设备806相对或在其他地方)中的指令，并且仅对一个或多个内部寄存器或内部高速缓存或存储器804(与存储设备806相对或在其他情况下)中的数据进行操作。一个或多个存储器总线(其每一个可以包括地址总线和数据总线)可以将处理器802耦合到存储器804。总线812可以包括一个或多个存储器总线，如下所述。在特定实施例中，一个或多个存储器管理单元(MMU)驻留在处理器802与存储器804之间且促进由处理器802请求的对存储器804的存取。在特定实施例中，存储器804包括随机存取存储器(RAM)。在适当的情况下，该RAM可以是易失性存储器。在适当的情况下，该RAM可以是动态RAM(DRAM)或静态RAM(SRAM)。此外，在适当的情况下，该RAM可以是单端口或多端口的RAM。本公开考虑了任何合适的RAM。在适当的情况下，存储器804可以包括一个或多个存储器804。尽管本公开描述并示出了特定的存储器，但是本公开考虑了任何合适的存储器。

在特定实施例中，存储设备806包括用于数据或指令的大容量存储设备。作为示例而非限制，存储设备806可以包括硬盘驱动器(HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(USB))驱动器或这些中的两个或更多个的组合。在适当的情况下，存储设备806可以包括可移除或不可移除(或固定)介质。在适当的情况下，存储设备806可以在计算机系统800的内部或外部。在特定实施例中，存储设备806是非易失性固态存储器。在特定实施例中，存储设备806包括只读存储器(ROM)。在适当的情况下，该ROM可以是掩模编程ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可变ROM(EAROM)或闪存，或者这些中的两个或更多个的组合。本公开考虑了采取任何合适的物理形式的大容量存储设备806。在适当的情况下，存储设备806可以包括一个或多个存储控制单元，其便于处理器802和存储设备806之间的通信。在适当的情况下，存储设备806可以包括一个或多个存储设备806。尽管本公开描述并示出了特定的存储设备，但是本公开考虑了任何合适的存储设备。

在特定实施例中，I/O接口808包括提供用于计算机系统800与一个或多个I/O设备之间的通信的一个或多个接口的硬件、软件或这两者。在适当的情况下，计算机系统800可以包括这些I/O设备中的一项或多项。这些I/O设备中的一项或多项可以实现人与计算机系统800之间的通信。作为示例而非限制，I/O设备可以包括键盘、键区、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静止相机、触控笔、平板电脑、触摸屏、轨迹球、摄像机、另一个合适的I/O设备或者两个或更多个这些设备的组合。I/O设备可以包括一个或多个传感器。本公开考虑任何合适的I/O设备以及用于它们的任何合适的I/O接口808。在适当的情况下，I/O接口808可以包括使处理器802能够驱动一个或多个这些I/O设备的一个或多个设备或软件驱动器。在适当的情况下，I/O接口808可以包括一个或多个I/O接口808。尽管本公开描述和示出了特定的I/O接口，但是本公开考虑了任何合适的I/O接口。

在特定实施例中，通信接口810包括提供用于计算机系统800与一个或多个其他计算机系统800或一个或多个网络之间的通信(例如，基于分组的通信)的一个或多个接口的硬件、软件或这二者。作为示例而非限制，通信接口810可以包括用于与以太网或其他基于有线的网络进行通信的网络接口控制器(NIC)或网络适配器、或用于与无线网络(例如WI-FI网络)进行通信的无线NIC(WNIC)或无线适配器。本公开考虑了任何合适的网络以及用于该网络的任何合适的通信接口810。作为示例而非限制，计算机系统800可以与自组织网络、个域网(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)或互联网的一个或多个部分、或这些中的两个或更多个的组合进行通信。这些网络中的一个或多个的一个或多个部分可以是有线或无线的。作为示例，计算机系统800可以与无线PAN(WPAN)(诸如例如BLUETOOTHWPAN)、WI-FI网络、WI-MAX网络、蜂窝电话网络(例如，全球移动通信系统(GSM)网络)或其他合适的无线网络、或者这些中的两个或更多个的组合进行通信。在适当的情况下，计算机系统800可以包括用于任何这些网络的任何合适的通信接口810。在适当的情况下，通信接口810可以包括一个或多个通信接口810。尽管本公开描述和示出了特定的通信接口，但是本公开考虑了任何合适的通信接口。

在特定实施例中，总线812包括将计算机系统800的组件彼此耦合的硬件、软件或这二者。作为示例而非限制，总线812可以包括加速图形端口(AGP)或其他图形总线、增强型工业标准架构(EISA)总线、前端总线(FSB)、超级传输(HT)互连、工业标准架构(ISA)总线、INFINIBAND互连、低引脚数(LPC)总线、存储器总线、微通道架构(MCA)总线、外围组件互连(PCI)总线、PCI快速(PCIe)总线、串行高级技术附件(SATA)总线、视频电子标准协会本地(VLB)总线或另一合适的总线或两个或更多个这些总线的组合。在适当的情况下，总线812可以包括一个或多个总线812。尽管本公开描述并示出了特定的总线，但是本公开内容考虑了任何合适的总线或互连。

本文中，计算机可读的非暂时性存储介质或媒体可以包括一个或多个基于半导体的或其他集成电路(IC)(例如现场可编程门阵列(FPGA)或专用集成电路(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ODD)、磁光盘、磁光驱动器、软盘、软盘驱动器(FDD)、磁带、固态驱动器(SSD)、RAM驱动器、SECURE DIGITAL卡或驱动器、任何其它合适的计算机可读非暂时性存储媒体，或者这些中的两个或更多个的任何合适的组合。在适当的情况下，计算机可读的非暂时性存储介质可以是易失性的、非易失性的、或者易失性和非易失性的组合。

本文中，“或者”是包含性的而不是排他性的，除非另有明确指示或者上下文另有指示。因此，在本文中，“A或B”意指“A、B或这二者”，除非另有明确指示或者上下文另有指示。此外，“和”既是共同的又是个别的，除非另有明确指示或者上下文另有指示。因此，在本文中，“A和B”意指“A和B，共同或个别地”，除非另有明确指示或上下文另有指示。

本文中，“自动”及其派生词意味着“没有人为干预”，除非另有明确指示或者上下文另有指示。

本公开的范围涵盖本领域的普通技术人员将理解的对本文描述或示出的示例实施例的所有改变、替换、变化、改换和修改。本公开的范围不限于在本文中描述或示出的示例实施例。此外，尽管本公开在本文中将各个实施例描述和示出为包括特定组件、元件、特征、功能、操作或步骤，但是这些实施例中的任一个可以包括本领域普通技术人员将理解的、本文任何地方描述或示出的任何组件、元件、特征、功能、操作或步骤的任何组合或排列。此外，在所附权利要求中对被适配为、被布置为、能、被配置为、能够、可操作为或能够操作为执行特定功能的装置或系统或者装置或系统的组件的引用涵盖了该装置、系统、组件，不管它或该特定功能是否被激活、开启或解锁，只要该装置、系统或组件被适配为、被布置为、能、被配置为、能够、可操作为或能够操作为执行该特定功能。附加地，尽管本公开将特定实施例描述或说明为提供特定优点，但是特定实施例可以不提供这些优点或提供这些优点中的一些或全部。

Claims (15)

1.一种装置，包括：

深度传感器接口；

一个或多个包括指令的计算机可读存储介质；以及

一个或多个处理器，被配置为执行所述指令以：

至少部分地通过所述深度传感器的输出，针对预定事件来监视包括用户定义的交互区域在内的物理环境；

至少部分地通过所述深度传感器的输出，检测所述交互区域中的所述预定事件；以及

响应于检测到所述预定事件，发起与所述预定事件相关联的预定动作。

2.根据权利要求1所述的装置，其中，所述一个或多个处理器还被配置为执行所述指令以基于用户输入来识别所述交互区域。

3.根据权利要求2所述的装置，其中，所述一个或多个处理器还被配置为执行所述指令以：

响应于接收到识别所述交互区域的输入，至少部分地基于监视负载来分配用于监视所述交互区域的资源。

4.根据权利要求1所述的装置，其中，以下一项或多项成立：

所述预定动作至少部分地由用户定义；或者

所述预定动作与所述预定事件的关联至少部分地由用户定义。

5.根据权利要求1所述的装置，其中，被配置为执行所述指令以针对预定事件来监视所述交互区域的处理器还包括被配置为执行所述指令以执行以下各项操作的处理器：

针对阈值事件来监视所述交互区域；以及

响应于检测到所述阈值事件，针对所述预定事件来监视所述交互区域。

6.根据权利要求1所述的装置，其中：

所述预定事件包括多个事件条件，至少一个事件条件对应于所述交互区域。

7.根据权利要求1所述的装置，其中，所述预定事件包括以下一项或多项：

所述交互区域中存在对象或用户；

对象或用户在所述交互区域内的移动；或者

用户与所述交互区域内的对象的至少一部分之间的接触。

8.根据权利要求1所述的装置，其中，所述一个或多个处理器还被配置为执行所述指令以：至少部分地通过所述深度传感器的输出，根据与每一交互区域相关联的优先级来周期性地监视多个交互区域。

9.根据权利要求8所述的装置，其中，与第一交互区域相关联的第一优先级至少部分地基于以下一项或多项：

与所述第一交互区域相关联的历史事件数据；

所述第一交互区域中的一个或多个预定事件的预期频率；

所述第一交互区域中的一个或多个预定事件的预期持续时间；或者

所述第一交互区域的重要性。

10.根据权利要求1所述的装置，其中，所述一个或多个处理器还被配置为执行所述指令以：针对多个预定事件中的每一个，根据与每个事件相关联的优先级，至少部分地通过所述深度传感器来监视包括用户定义的交互区域在内的物理环境。

11.根据权利要求1所述的装置，其中：

所述交互区域包括第一交互区域；

所述第一交互区域的至少一部分包括与一个或多个第二区域预定事件相关联的第二交互区域的至少一部分；以及

所述处理器还被配置为执行所述指令以：基于通过监视所述第一交互区域的所述部分而创建的数据来检测所述第二交互区域的所述部分中的一个或多个第二区域预定事件。

12.一个或多个包括指令的计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行根据权利要求13至15中任一项所述的方法，

至少部分地基于来自深度传感器的输出，针对预定事件来监视包括用户定义的交互区域在内的物理环境；

至少部分地基于来自所述深度传感器的输出，检测所述交互区域中的所述预定事件；以及

响应于检测到所述预定事件，发起与所述预定事件相关联的预定动作。

13.一种方法，包括：

至少部分地通过深度传感器的输出，针对预定事件来监视包括用户定义的交互区域在内的物理环境；

至少部分地通过所述深度传感器的输出，检测所述交互区域中的所述预定事件；以及

响应于检测到所述预定事件，自动地发起与所述预定事件相关联的预定动作。

14.根据权利要求13所述的方法，还包括基于用户输入来识别所述交互区域。

15.根据权利要求13所述的方法，其中，以下一项或多项成立：

所述预定动作至少部分地由用户定义；或者

所述预定动作与所述预定事件的关联至少部分地由用户定义。