CN103534664A - 存在感测 - Google Patents

Abstract

一个实施例可以采取一种操作计算设备来提供基于存在的功能性的方法的形式。该方法可以包括在降低的功率状态中操作计算设备和从至少一个传感器收集第一数据集。基于第一数据集，计算设备确定对象在计算设备的阈值距离内的概率，并且如果对象在阈值距离内，则设备激活至少一个第二传感器来收集第二数据集。基于第二数据集，计算设备确定对象是否是人。如果对象是人，则设备确定人相对于计算设备的位置并基于人相对于计算设备的位置来执行计算设备的状态改变。如果对象不是人，则计算设备保持在降低的功率状态。

Description

存在感测

相关申请的交叉引用

专利合作条约专利申请要求2012年5月11日提交的标题为“PRESENCE SENSING”的美国专利申请No.13／469,996的优先权，该美国专利申请在美国专利商标局还用代理案卷号P11391USX1(P222617.US.04)标识，该美国专利申请要求2011年8月26日提交的标题为“PRESENCE SENSING”的美国专利申请No.13／219,573、2011年7月1日提交的标题为“PRESENCESENSING”的美国临时专利申请No.61／504,026以及2011年5月12日提交的标题为“PRESENCE SENSING”的美国临时专利申请No.61／485,610的优先权，所有这些申请通过引用被全部并为所有目的而结合于此。

技术领域

本公开总地涉及具有计算能力的设备，并且更具体地，涉及用于感测在设备的本地附近的用户的存在的设备和系统。

背景技术

许多计算设备配备有意图用于在用户不使用设备时降低功耗的省电特征／模式。通常，这些省电特征通过定时器实现，定时器从用户最后一次向设备提供输入开始对设定量的时间进行倒计时。例如，具体设备可以被配置为在用户已经五分钟没有提供输入时进入睡眠模式，或比完全操作模式时消耗更少电力的其它模式。

然而，有时候，设备会在用户仍然在使用设备时进入省电特征／模式。例如，可能由于用户在设备上阅读内容、观看电影或收听音乐时没有在定时器的设定时间段内提供输入而进入省电特征。另外，从省电特征／模式恢复会花费时间，甚至会要求用户输入凭证，并且一般对于用户而言是麻烦事。

发明内容

一个实施例可以采取一种操作计算设备来提供基于存在的功能性的方法的形式。该方法可以包括以降低功率的状态来操作计算设备并从第一传感器或一组传感器收集第一数据集。基于第一数据集，计算设备确定对象处于设备附近的概率或可能性。另外地或可替代地，计算设备可以作出关于对象的临近度的硬判决，例如，可以判断对象是否在计算设备的阈值距离之内，并且如果对象在阈值距离之内和／或有可能处于设备附近，则设备激活第二传感器来收集第二数据集。基于第二数据集，设备判断对象是否是人。如果对象是人，则设备确定人相对于计算设备的位置并基于人相对于计算设备的位置来执行计算设备中状态的改变。如果对象不是人，则计算设备保持在降低功率的状态。

另一个实施例可以采取用于判断用户是否在计算设备附近的方法的形式。该方法包括使用图像传感器来捕获图像以及根据捕获的图像来计算以下中的至少一者：皮肤色调检测参数、人脸检测参数、身体检测参数和运动检测参数。该方法还包括利用皮肤色调检测参数、人脸检测参数和运动检测参数中的至少一者来判断用户是否存在，以及，如果判断用户存在，则改变计算设备的状态。

在又一实施例中，提供一种计算系统，其具有主处理器和耦接到主处理器的存在传感器。存在传感器包括图像传感器和耦接到图像传感器的处理器，该处理器被配置为处理捕获的图像来判断该图像中是否存在用户。图像传感器可以被配置为捕获3-D图像、深度图像、RGB图像、灰度图像等并且这些图像中的一个或多个可以用于概率确定。其它输入也可以贡献对于存在判断有用的信息。例如，诸如键盘、鼠标和／或麦克风之类的输入设备每一个都可以提供对于存在概率确定有用的信息。如果处理器判断用户图像中存在用户，则已经判断存在用户的指示被从处理器发送到主处理器并且主处理器基于该指示来改变计算设备的状态。

尽管公开了多个实施例，根据以下具体实施方式，本发明的其它实施例对于本领域技术人员将是显然的。将认识到，实施例能够在各个方面进行修改而都不偏离本发明的精神和范围。因此，附图和具体实施方式应视为本质上是说明性的而非限制性的。

附图说明

图1图示出具有用户存在感测能力的示例计算设备。

图2是图1的计算设备的框图。

图3是示出当关注的对象处于距离存在传感器的不同距离处时的存在感测结果的曲线图。

图4是示出当关注的对象与传感器偏离一角度时的存在感测结果的曲线图。

图5是图示出用于操作分层存在传感器系统的示例方法的流程图。

图6是图示出用于确定用户的存在的方法的流程图。

图7是图示出用于在存在感测中使用的皮肤色调检测例程的流程图。

图8是图示出用于在存在感测中使用的人脸识别例程的流程图。

图9是图示出用于在存在感测中使用的运动检测例程的流程图。

图10图示出帧被分割成窗口以用于单帧运动检测。

图11是图示出用于单帧运动检测的示例方法的流程图。

图12是图示出多个并发的异步传感器被用于确定用户处于设备附近的概率的示例方法的流程图。

具体实施方式

总地来说，在此讨论的实施例针对用户存在判断和与之有关的计算设备功能性。应当理解，用户与配备有这样的功能性的计算设备交互的体验可以得到改善。此外，在一些实施例中，可以通过实现在此讨论的实施例来实现电力节省和／或电力高效。这里使用的“用户”可以一般地指代一个人或多个人。然而，在一些实施例中，系统可以被配置为感测除人之外的对象并基于对象的存在来改变状态。

一个实施例可以采取一种计算设备的形式，该计算设备被配置为感测用户的存在和／或不存在并基于用户的存在和／或不存在提供操作状态。在其它实施例中，计算设备可以计算和提供用户存在或不存在的可能性或概率得分。在一些实施例中，在进行存在判断时，多个参数可以被确定、加权和结合使用。该加权的检测可以用于更明智的更高级别的决策算法，或在融合来自不同传感器的数据时被使用。

例如，在一些实施例中，计算设备可以被配置为基于传感器输入来判断用户何时到达或进入计算设备的附近和／或用户存在的概率。通过概率计算，可以减少错误肯定和／或错误否定。可以获得实现期望性能的贝叶斯最优阈值。即，可以以实现可接受数目的错误肯定相对于可接受数目的错误否定之间的期望平衡的方式设置触发阈值。响应于用户存在的肯定判断或在达到用户存在的阈值概率后，设备可以上电、退出睡眠模式和/或向用户提供一些反馈。

一般，存在感测系统的一个目标可以是更智能地使用技术。例如，在一些实施例中，当判断用户正在靠近时可以开始系统唤醒。系统唤醒可以包括缩减的例程集以使得系统处于比利用传统上电序列更快的操作模式中。例如，系统可以由于缩减的例程集而在半秒以内而不是六到八秒内上电。在一些实施例中，计算设备可以被配置为确定用户从设备移开或离开设备的附近的时间。作为响应，设备可以进入省电模式，诸如显示器睡眠模式、系统睡眠模式、屏幕保护程序的激活等等。此外，系统可以部分地退出睡眠模式以便基于感测到用户的存在而加速计算机唤醒时间。在又一些其它实施例中，所显示的内容可以基于用户的相对位置。例如，如果用户靠近设备，则设备可以提供产品细节，而在用户远离时，设备可以不显示任何东西。

在一些实施例中，设备也可以被配置为跟踪用户运动(例如，位置和速度)，并且，响应于确定的运动，提供反馈和／或进入或改变操作状态。例如，朝向设备的运动可以激活更多特征，诸如在用户界面中提供更多选项／菜单，而远离设备的运动可以减少可用于用户的特征的数目，诸如减少菜单／选项的数目和／或减少或增加所显示的选项的大小。另外地或可替代地，显示可以基于朝向设备的运动和远离设备的运动而放大或缩小。在一些实施例中，用户的横向运动(例如从左向右)可以引起设备上显示的背景和／或屏幕保护程序图像中的变化。此外，图像的改变可以一般地与感测到的运动对应。例如，从左向右的运动可以使得图像在从左到右的运动中替换为另一图像。可替换地，当用户从左向右运动时，树叶或窗帘可以反映该运动，即，树叶可以从左被吹到右或从左翻转到右，或者窗帘可以以与检测到运动对应的方式摇摆。

此外，在一些实施例中，用户的存在可以与用户相对于设备的位置一起被使用来提供某些功能性。在一些实施例中，输入和／或输出可以基于该位置。例如，设备可以被配置为提供指向用户的位置的音频立体声平移(例如，音频方向调节)。另外地，在一些实施例中，可以基于用户的位置实现麦克风方向调节。

此外，可以以分层的方式实现多个传感器和／或操作状态。即，在第一操作模式中，第一传感器可以是可操作的。用户存在或运动的检测可以导致第二传感器的激活等等。在一些实施例中，第二传感器的激活可以是与设备进入第二操作模式并发的，而在其它实施例中，在单独基于从第二传感器取回的数据或基于从第二传感器取回的数据与来自第一传感器的数据的组合做出判断之前，不会进入第二操作模式。

存在判断可以用由一个或多个传感器收集的数据做出。在一个实施例中，来自一个或多个传感器的数据被用来判断用户是否存在。例如，可以实现神经网络、支持矢量机或其它适合的分类器或概率确定器。在一些实例中，一大组数据点可以被收集、分类和存储以用于在存在判断中使用。并且，后续获得的数据可以被添加和使用来用于将来的判断。

转到附图并且一开始参考图1，图示出计算设备100。计算设备100一般可以包括可以用于存在感测的一个或多个传感器102。例如，一个或多个相机和／或光传感器可以用于存在感测。尽管这里将关于存在感测一般地讨论相机和光传感器，但是应当明白，也可以实现其它传感器类型，诸如超声传感器、微波雷达等。这些技术中的一些可以用来确定当人处于设备附近时的生理参数。例如，雷达可以用于检测和／或定位房间中的心跳。此外，可以实现各种技术和光波长。例如，可以使用深度传感器来确定临近度。一些示例深度传感器技术可以包括：聚焦和散焦、有源红外反射功率、有源红外结构光、有源红外飞行时间(2D+深度)、有源红外飞行时间(单像素传感器)、无源红外(运动检测器)、无源红外热成像(2D)、立体视觉、偏振技术等等。在一些实施例中，有源红外可以使用多个特定的红外波长来检测某些特有的材料特性，诸如人皮肤的反射性或呼吸时的二氧化碳排放。这样，这里描述的具体实施例仅作为实例介绍而不是限制性的。

图2是图1的计算设备100的框图。一般，计算设备包括与其它组件(例如，传感器)耦接的微处理器／微控制器104。微处理器／微控制器104可以实现为一个或多个低功率微控制器和作为来自(例如，相机、临近度等)传感器的数据的数据融合点以及用于高级的用户存在或不存在判决。在一些实施例中，用户存在判断和与之有关的数据可以被外部化并与设备的主操作隔离。即，用户存在系统通过将存在感测数据与主计算机处理单元(CPU)105、操作系统等隔离来提供安全性和隐私性。

各种适合的传感器可以提供输入／数据给微处理器／微控制器104。具体地，基于相机的传感器106可以与微处理器104可通信地耦接。可以实现任何适合的基于相机的传感器并且可以利用各种不同的技术。例如，可以使用可从ST Microelectronics获得的相机传感器。基于相机的传感器可以包括利用集成的处理器110提供人脸检测能力的完全的图像相机108。即，传感器可以具有嵌入的微处理器110并且可以能够估计人脸位置和距离。另外地，传感器可以用于确定对象的距离。相机108还提供来自AGC系统的加窗的直方图信息，其可以用于运动检测。

此外，相机108可以具有达120度或更大的水平视野和达120度或更大的垂直视野。在一些实施例中，诸如鱼眼镜头之类的镜头可以用于实现具有大于120度的角度的视野。在一个实施例中，水平视野可以在75-95度之间(例如，约85度)并且垂直视野可以在40-80度之间(例如，约60度)。可以检测达20英尺或更远的距离处的人脸。在一个实施例中，可以检测到在约6-14英尺处的人脸。可以获得约0.6-1Hz之间的人脸位置数据并且可以获得全帧速率约10-30Hz的AGC数据。

一般，由基于相机的传感器106捕获的图像和有关的原始信息可能在基于相机的传感器的外面是不可用的。但是，可以提供有关是否在传感器的功能范围内检测到人脸、在该范围内人脸的位置和／或人脸的运动的信息。在一些实施例中，相机传感器可以提供指示用户是否存在的二进制输出。另外地，如果用户存在，则用户相对于设备的位置可以由基于相机的传感器例如以x-y坐标输出。此外，传感器可以被配置为指示存在的人脸的数目(例如指示存在的人数)等。

在一些实施例中，基于相机的传感器106可以与其它传感器相独立地被实现以实现用于设备的期望操作特征。在一些实施例中，基于相机的传感器可以被配置为以分层的方式操作和提供输出。例如，在第一状态中，基于相机的传感器可以感测用户存在。如果用户存在，则其可以进入第二状态并判断存在多少人。随后，或同时地，其可以确定存在的人的位置。当相机离开操作状态时，其提供可供设备用来改变设备的状态的输出，如以下将更详细讨论的。

一些实施例可以使用主相机103来捕获图像。主相机103可以是用于由设备的用户进行视频和静止图像捕获的系统相机。在一些实施例中，主相机可以是与用于存在感测的相机分离的和不同的(例如在该系统中存在多个相机)，而在其它实施例中，主相机输出可以被基于相机的传感器使用，替代具有专用相机的基于相机的传感器106。例如，在一些实施例中，除了主相机以外还可以实现基于相机的深度。基于相机的深度可以采用任何适合的形式。在一个实施例中，主相机输出可以提供给图像处理器107以供用户使用以及提供给基于相机的传感器106的微控制器以用于用户存在检测。关于图像处理器和用户检测协同处理器如何通信以及如何使得来自主相机的数据可用于用户可以有不同的选项。例如，当用户不存在时，来自主相机的输出可以主要由微控制器处理以用于存在感测判断。在该状态中，一般可以使得来自相机的数据不可用于系统的其它组件。当用户存在时，来自主相机的输出可以被提供给图像处理器107。然而，对于将可供用的图像数据／信息，可以要求用户访问基于相机的应用(例如，视频聊天应用、图像捕获程序等等)。否则，来自相机的图像数据一般可以是不可访问的。

应当明白，存在允许使用一个或多个相机以及传统的相机和图像处理功能来进行期望的存在感测的许多不同配置。例如，在一个实施例中，主相机输出可以被路由到单个芯片，该芯片组合正常的图像处理功能和用户存在检测功能。在其它实施例中，来自相机的视频输出可以被流传输到主机以用于由中央处理单元处理。

诸如临近度传感器112之类的第二传感器也可以连接到微处理器104。在一些实施例中，控制器114、复用器116和发光二极管阵列118可以结合临近度传感器112而被操作。具体地，控制器114可以被配置为以时分复用(TDM)方式控制复用器116和LED118的操作。可以实现适合的滤波器来利用LED的TDM交替来获得期望的响应。在其它实施例中，机械设备(例如，微电气-机械设备)可以用于复用一个或多个LED来覆盖离散的视野。

LED118可以在任何适合的波长范围内操作，并且，在一个示例中，可以在电磁频谱中的近红外区中操作。LED(LED1-LEDN)中的每一个可以指向特定的视野。在一些实施例中，每个LED118可以指向离散的视野，而在其它实施例中，相邻LED的视野可以重叠。在一些实施例中，LED阵列118可以使LED分布于计算设备的边框周围。在其它实施例中，LED阵列118可以按行配置(例如，跨越显示屏边框的弯曲部分)其中，LED被定向地定位以覆盖不同的视野。

在一个实施例中，可以获得视野的平均值(例如，指示临近度的值)并使用其来判断对象是否在设备100附近。如果平均值超过阈值，则其可以指示对象在设备100的附近。利用LED阵列118，临近度传感器可以能够更准确地检测广阔视野上的临近度。当每个LED指向离散的视野时，也可以使用临近度传感器112来确定对象的位置。这样，在其它实施例中，从假定的空场景可以确定临近度值的变化。可以考虑各个传感器上的最大的变化(或某一秩)并且该值可以被与阈值比较来确定临近度和／或位置。

在一些实施例中，可以结合微处理器104来利用基于相机的传感器106和临近度传感器112来判断用户是否在计算设备100的附近。可以实现分层的感测系统来提供电力节省，以改善用户体验或提供具体的期望的用户体验以及其它目的和／或功能。具体地，分层的感测系统可以包括操作第一传感器来初始地判断计算设备的阈值距离内的用户的存在以提供电力节省。在一些实施例中，阈值距离可以在设备100的2-10英尺(例如5英尺)内。另外地，在一些实施例中，从第一传感器收集的数据可以用于确定用户的相对位置。

在分层的系统中，如果用户存在，则第二传感器可以被激活。来自第二传感器的数据单独地或与来自第一传感器的数据相结合地可以用于进一步识别用户／人和／或用户的位置。来自第一和第二传感器两者的数据可以一起用于判断要执行什么功能和／或用户正在做什么。例如，可以判断用户与设备有多接近；用户是否面对这设备；如果用户面对着设备，用户是否正在朝向／远离设备运动；等等。进一步，这些数据可以用于识别用户(例如，识别为受信任的用户)。

计算设备100的状态可以基于用户存在的判断而改变。例如，如果用户正在靠近设备，则显示器可以唤醒，系统可以唤醒，等等。如果用户正从左向右运动，则所显示的图像可以改变并且一般可以与用户的运动对应地运动。此外，如果存在多个用户(基于辨识多个人脸的存在而确定)，则设备100可以被供电至安全状态并且可以要求输入用户凭证来完全地访问设备。

存在判断可以基于在神经网络、支持矢量机(SVM)或基于分类器或概率判决系统的其它机器学习中所利用的多个因素。例如，可以用神经网络以加权方式利用皮肤色调／颜色、存在和运动来进行存在判断。如上所述，基于存在判断，设备100可以进入／改变操作状态。

应当明白，选择特定传感器供使用将取决于各种因素，例如包括期望的功能性和功率消耗限制。这样，在一些实施例中，基于相机的传感器106可以实现为第一层传感器，而在其它实施例中，临近度传感器112可以用作第一层传感器。以下提供对用于实现诸如临近度传感器112之类的临近度传感器的更详细的描述。

传感器112可以切割(chop)某一适合频率的光并测量返回的反射光信号的相位偏移。LED118输出可以是方波或其它波形，并且传感器112使用I／Q解调方案。从传感器112到达的光被与正弦波和余弦波混合，给定I(同相)分量和Q(正交)分量。正弦波／余弦波被与LED调制同步。这些是传感器的“原始”输出，如果存在用于测量的不同内部方法，则其可以被转换为该方案。不失一般性，可以假定2π的周期，以及在该周期上发生积分。实际上，可以使用固定周期并固定周期将在该周期的一些大的倍数上进行积分。这些差导致固定的缩放因子，其可以被忽略。基本的测量的分量是：

s(t)给传感器的输入

i(t)=sin(t)·s(t)

q(t)=cos(t)·s(t)

$I={\∫}_o^{2\·\mathrm{\π}}i\left(t\right)\mathrm{dt}$

$Q={\∫}_o^{2\·\mathrm{\π}}q\left(t\right)\mathrm{dt}$

如果测量距传感器112的恒定(径向)距离处的对象在整个视野发生，则具有相位偏移φ和大小A的相同频率的方波输入信号导致I和Q分量：

$I=M\·{\∫}_{\mathrm{\φ}}^{\mathrm{\π}+\mathrm{\φ}}\·\sin \left(t\right)\mathrm{dt}$

I=M·(-cos(π+φ)+cos(φ))

I=2·M·cos(φ)。

以及：

$Q=M\·{\∫}_{\mathrm{\φ}}^{\mathrm{\π}+\mathrm{\φ}}\·\cos \left(t\right)\mathrm{dt}$

Q=M·(sin(π+φ)-sin(φ))

Q=-2·M·sin(φ)

随后可以发现值φ为：

$\mathrm{\φ}=\arctan \left(\frac{-Q}{I}\right).$

随后，M可以被重构为：

$2\·M=\sqrt{I^2+Q^2}$

假定在传感器的视野中存在两个对象(A和B)，每一个都处于恒定距离处，则与这些距离相关联的相位偏移可以表示为φ和ψ。反射信号的大小可以定义为是A和B。输入的光信号在该情况下是加性的因此是积分，因此，I是：

$I=A\·{\∫}_{\mathrm{\φ}}^{\mathrm{\π}+\mathrm{\φ}}\sin \left(t\right)\mathrm{dt}+B\·{\∫}_{\mathrm{\ψ}}^{\mathrm{\π}+\mathrm{\ψ}}\sin \left(t\right)\mathrm{dt}$

I=2·(A·cos(φ)+B·cos(ψ))。

类似地，对于Q：

$Q=A\·{\∫}_{\mathrm{\φ}}^{\mathrm{\π}+\mathrm{\φ}}\cos \left(t\right)\mathrm{dt}+B\·{\∫}_{\mathrm{\ψ}}^{\mathrm{\π}+\mathrm{\ψ}}\cos \left(t\right)\mathrm{dt}$

Q=-2·(Asin(φ)+B·sin(ψ))。

强度不随时间变化的光源对于I和Q分量的贡献为零。该特性提供良好的环境光抑制。其还由于从在不同距离的对象的相位偏移而提供消除。使用1／0方波解调，该信息可以被保持但是具有更差的环境光抑制。该解调方案将导致略微不同的数学，但是最终结果将是类似的。对于以下所述，在I/Q之前的2的因子将被去掉，因为其用其它缩放因子被吸收。

可以进行若干简化并且对传感器输出提议作为该场景中的对象的函数的基本模型。将开发离散的情况，因为其更经得起实现的检验，尽管也可以实现其它情况。LED／传感器视野可以被划分为N个区间，从1至N编索引。这些区间中的每一个具有固定的角度Ω_i。此外，这些固定角度中的每一个具有固定的反射系数ρ_i，并且处于固定的径向距离r_i处。此外，来自LED的输出跨越给定的固定角度是常数，其中每立体弧度的发射强度是l_i。针对给定距离的相位偏移被定义为φ(ri)。

根据该模型，可以获得传感器处来自给定的固定角度的(I_i，Q_i)贡献。还定义I/Q空间中的极坐标系统是有用的。IQ矢量的大小被定义为是M_i，并且角度φ_i已经被定义。

$M_i=\frac{l_i\·\·{\mathrm{\Ω}}_i\·{\mathrm{\ρ}}_i}{r_i^2}$

I_i=·M_i·cos(φ(r_i))

Q_i=-·M_i·sin(φ(r_i))

(I_m，Q_m)都可以定义为测量的(原始)I和Q值。可以添加另一项（I_c，Q_c)来表示任何恒定的串话(电的或光的)。最终：

$I_m=I_c+\underset{i=1...N}{\mathrm{\Σ}}{I}_i$

$Q_m=Q_c+\underset{i=1...N}{\mathrm{\Σ}}{Q}_i$

一般，为了判断用户是否位于设备附近，理解设备所处于的环境会是有益的。这可以有助于减少错误肯定并且更准确地确定何时用户进入或退出设备100的附近。然而，创建背景模型由于相对缺乏由传感器112提供的信息而提出许多挑战。为了定义有用的模型，可以进行一些简化假设。一开始，将解决用于单个传感器的模型的数学运算，然后针对多个传感器的情况。

基本上，存在影响由诸如传感器112之类的某些临近度传感器提供的距离测量的两种类型的对象。存在不能被入挡住的那些对象以及存在可以被人挡住的那些对象。前者称为“前景”对象而后者称为“背景”对象。当然，根据对象相对于人的定位，对象可以落在这两个类别内。现在，场景可以划分为这两种类型的对象。一般，挑战在于测量与场景中的动态对象的距离，例如进入和离开的人。为了成功测量这些对象，用于场景中的静态对象的准确模型被创建并且它们与动态对象的关系被建模。

一开始，(I_p，Q_p)被定义为与正被测量的对象相关联的信号。(I_m，Q_m)和(I_c，Q_c)可以继续被分别用作测量的(原始)和串话值。

空场景

一个模型假定不存在前景或背景对象，并且所有信号都由于场景中的人引起。在该最单纯的形式中，可以使用工厂校准／串话值：

I_p=I_m-I_c

Q_p=Q_m-Q_c

该模型可以用于产生距离输出。对于没有前景对象的场景，该模型将总是高估距离。注意，该模型取决于在设备的使用寿命期间将是准确的工厂校准值。其可以不考虑由于污痕等而增加的串话。

一旦观察到静态偏移，则其被建模为前景对象和背景对象的某种组合。如何分布这些静态偏移的选择强烈影响I_p和Q_p的估计。

仅前景

考虑静态偏移的一种方式是假定其全都是由前景对象引起的。诸如串话之类的影响由于落入该类别的污痕或温度而改变。按照定义，前景对象对信号具有恒定的贡献，而不论是否存在人。在单纯前景模型中，前景对象的空间分布是不相关的——假定不是前景的任何事物都是我们关注的对象。定义(I_fg，Q_fg)是来自前景的信号。该模型暗示：

I_p=I_m-I_fg-I_c

Q_p=Q_m-Q_fg-Q_c

注意，(I_fg+I_c，Q_fg+Q_c)是在场景中没有关注的对象的情况下的测得的传感器读数。这是标准的“基线减法”模型。

具有空间阻挡的统一背景

对于该模型，假定背景处于统一距离并且均有统一的反射系数。还假定对象垂直覆盖视野。带有角度的LED衰减定义为l(θ)。假定具有固定宽度w的单个对象对应于固定位置处的角度区间Δθ_p。对象的中心位置定义为角度项θ_p。

一般模型如上所述。对于该模型，面积单纯是宽度的函数，入射光定义为l(θ)并且，距离／反射系数是未知的常数。

为了方便，定义：

$L_{\mathrm{total}}={\∫}_{-\∞}^{\∞}l\left(\mathrm{\θ}\right),$

$L({\mathrm{\θ}}_p,\mathrm{\Δ}{\mathrm{\θ}}_p)=\frac{{\∫}_{{\mathrm{\θ}}_p-\frac{{\mathrm{\Δ\θ}}_p}{2}}^{{\mathrm{\θ}}_p+\frac{{\mathrm{\Δ\θ}}_p}{2}}l\left(\mathrm{\θ}\right)}{L_{\mathrm{total}}}$ 以及

R(θ_p，Δθ_p)=1-L(θ_p，Δθ_p)。

L(θ_p；Δθ_p)表示来自LED的光中指向由关注的对象定义的固定角度的部分，L_total表示总的光输出，并且R(θ_p；Δθ_p)表示在背景上投射的总的光的部分。

从关注的对象到达传感器的光的大小与L(θ_p；Δθ_p)成比例。我们将定义比例常数为θ_p并且与到我们关注的对象的距离相关联的相位偏移定义为φ_p。这给出：

I_p=ρ_p·L(θ_p，Δθ_p)cos(φp)，

Q_p=-ρ_p·L(θ_p，Δθ_p)sin(φ_p)。

类似地，从背景到达我们的传感器的光的大小与R(θ_p；Δθ_p)成比例。比例常数定义为ρ_bg，并且与背景距离相关联的相位定义为φ_bg。这向我们给出：

I_bg=ρ_bg·R(θ_p，Δθ_p)·cos(φ_bg)，

Q_bg=-ρ_bg·R(θ_p，Δθ_p)·sin(φ_bg)。

当假定：

I_m=I_p+I_bg+I_c，

Q_m=Q_p+Q_bg+Q_c。

假定对以下的测量

I_open=ρ_bg·cos(φ_bg)+I_c，以及

Q_open=-ρ_bg·sin(φ_bg)+Q_c。

如果角度θ_p和宽度w已知或可以被假定，则该等式系统可以被求解。

具有空间阻挡的统一背景和统一前景

对于该模型，从“具有空间阻挡的统一背景”模型开始，并建立它，增加统一的并且对关注的对象没有空间变化的影响的前景分量。由于由于前景分量不是空间变化的，并且不受关注的对象的存在影响，因此，定义ρ_fg和φ_fg为前景对象的大小和相位。现在，对于前景：

I_fg=ρ_fg·cos(φ_fg)，和

Q_fg=-ρ_fg·sin(φ_fg)。

这可以简单地添加到之前的模型来获得：

I_m=I_p+I_bg+I_fg+I_c，和

Q_m=Q_p+Q_bg+I_fg+Q_c。

假定在空场景中可以测量：

I_open=I_bg+I_fg+I_c，和

Q_open=Q_bg+I_fg+Q_c。

与之前的情况比较，可以增加再多两个被估计的变量。

分区背景、统一前景

该模型将水平视野划分为一系列区间1...S，每个区间被建模为统一前景／统一背景。增加上标s来标注变量所属的区间。从背景区间开始，假定对象在具有与角度区间Δθ_p对应的宽度w以及角度位置θ_p的场景中。重新分区间地定义R函数来表示在被关注的对象挡住后投射在背景上的光的部分。其可以优选是R^s。

现在定义：

$I_{\mathrm{bg}}^s={\mathrm{\ρ}}_{\mathrm{bg}}^s\·R^s({\mathrm{\θ}}_p,{\mathrm{\Δ\θ}}_p)\·\cos \left({\mathrm{\φ}}_{\mathrm{bg}}^s\right),$ 和

$Q_{\mathrm{bg}}^s=-{\mathrm{\ρ}}_{\mathrm{bg}}^s\·R^s({\mathrm{\θ}}_p,{\mathrm{\Δ\θ}}_p)\·\sin \left({\mathrm{\φ}}_{\mathrm{bg}}^s\right).$

由于前景信号不被场景中的对象改变，所以不需要分区间地建模它。然而，前景可能挡住关注的对象从而改变跨区间的角度。这可以以许多不同方式建模，其中最干净的将是关联每个前景区间的“阻挡因子”F^s。此外，L^s被定义为来自LED的总的光输出中照射区间s中关注的对象的部分。现在：

$I_p={\mathrm{\ρ}}_p\·\cos \left({\mathrm{\φ}}_p\right)\underset{s=1...S}{\mathrm{\Σ}}{L}^s({\mathrm{\θ}}_p,\mathrm{\Δ}{\mathrm{\θ}}_p)\·F^s,$ 和

$Q_p=-{\mathrm{\ρ}}_p\·\sin \left({\mathrm{\φ}}_p\right)\underset{s=1...S}{\mathrm{\Σ}}{L}^s({\mathrm{\θ}}_p,\mathrm{\Δ}{\mathrm{\θ}}_p)\·F^s.$

在统一前景情况中，Fs对于所有区间都等于1，并且等式重新回到未分区的前景情况。总结而言：

$I_m=I_p+I_{\mathrm{fg}}+I_c+\underset{s=1...S}{\mathrm{\Σ}}{I}_{\mathrm{bg}}^s,$ 和

$Q_m=Q_p+I_{\mathrm{fg}}+Q_c+\underset{s=1...S}{\mathrm{\Σ}}{Q}_{\mathrm{bg}}^s.$

这里，针对背景每个区间增加两个变量，并且针对前景阻挡每个区间增加一个变量。前景对象的阻挡效果可以忽略，于是仅加入额外的背景变量。

具有重叠的视野的两个传感器

可以使用具有重叠的视野的两个传感器。仅考虑视野的重叠部分并且考虑在该区域中可以收集哪类信息，假定每个传感器具有其自己的L(θ_p；Δθ_p)，其中θ_p指代全局坐标系统。这些可以称为L¹和L²，并且使用上标来标注传感器。进一步假定这两个传感器在它们的灵敏度和LED输出上不同，并且这对于在重叠的视野中的同一对象的测量导致缩放因子误差α。还假定关注的对象的距离与信号大小的1／d²关系。进一步假设对象具有固定的反射系数ρ_p和固定的宽度w。

注意，ρ_p，φ_p，θ_p和d是两个传感器测量之间的公共值，并且特定于关注的对象。这是d和φ_p之间的明确定义的关系——参见本文中示例区间。这里，α是两个传感器／LED之间的恒定灵敏度差，其会随着传感器的使用寿命而缓慢变化。利用这些定义：

$I_p^1=L^1({\mathrm{\θ}}_p,\mathrm{\Δ}{\mathrm{\θ}}_p)\·{\mathrm{\ρ}}_p\·\frac{1}{d^2}\·\cos \left({\mathrm{\φ}}_p\right),$

$Q_p^1={-L}^1({\mathrm{\θ}}_p,\mathrm{\Δ}{\mathrm{\θ}}_p)\·{\mathrm{\ρ}}_p\·\frac{1}{d^2}\·\sin \left({\mathrm{\φ}}_p\right),$

$I_p^2={\mathrm{\α}\·L}^2({\mathrm{\θ}}_p,\mathrm{\Δ}{\mathrm{\θ}}_p)\·{\mathrm{\ρ}}_p\·\frac{1}{d^2}\·\cos \left({\mathrm{\φ}}_p\right),$ 和

$I_p^2={-\mathrm{\α}\·L}^2({\mathrm{\θ}}_p,\mathrm{\Δ}{\mathrm{\θ}}_p)\·{\mathrm{\ρ}}_p\·\frac{1}{d^2}\·\sin \left({\mathrm{\φ}}_p\right).$

这些等式可以针对I_p和Q_p替换到背景仅部分阻挡模型中，并且生成用于

和

的等式。存在五个未知数：

·α

·ρ_p

·φ_p

·θ_p

·Δθ_p

另外地，存在四个等式，只要这些值中的一个是已知的(或可以被假定)，则其余的就有可能被计算出。合理的是，假定可以做出α的良好的初始估计以及Δθ_p.一旦提供另一传感器，例如基于相机的传感器106，则可以获得针对θ_p和φ_p的直接测量。遗憾的是，这些等式是非线性的，因此还是可以做一些工作来示出在这些约束内存在唯一的解。为了完成该估计过程，可以利用许多估计方案中的任一个。示例可以包括使用扩展的Kalman滤波器、sigma-point Kalman滤波器或直接估计。

背景仅部分阻挡模型的示例实现

由10度LED传感器112投射的衰落被相对于白墙成像。其水平投影的衰落是具有大略12度的标准方差的大约高斯的。原型被放在相对黑的空房间中地板上方大约3.5英尺，该房间具有在12英尺处的背景幕。

利用覆盖传感器112的黑色障板测得串话。利用反射障板测得零相位偏移。捕获正常的“打开”(open)的背景。让人以与LED的0度偏移从距离传感器112一英尺增大直到10英尺站立来收集传感器数据。在5英尺的径向距离处以5度的增量从-15度到+15度而收集传感器数据。感觉到的测量可以称为(I_c；Q_c)，因为其本质上测量串话。反射障板测量可以称为(I₀；Q₀)，而打开测量称为(I_open；Q_open)。最终，对场景中关注的对象的原始测量称为(I_m；Q_m)，而待测的关注对象信号称为(I_p；Q_p)。假定上述高斯分布来建模L(θ_p；Δθ_p)，其具体形式变为：

$L({\mathrm{\θ}}_p,{\mathrm{\Δ\θ}}_p)=0.5\·(\mathrm{erf}(\frac{1}{12}\·({\mathrm{\θ}}_p+\frac{{\mathrm{\Δ\θ}}_p}{2}))-\mathrm{erf}(\frac{1}{12}\·({\mathrm{\θ}}_p+\frac{{\mathrm{\Δ\θ}}_p}{2})\left)\right);$

其中，“erf”是误差函数。此外，定义：

${\mathrm{\φ}}_o=\arctan \left(\frac{-Q_o}{I_o}\right)$

${\mathrm{\φ}}_p=\arctan \left(\frac{-Q_p}{I_p}\right)$

d_p=γ·(φ_o-φ_p)，以及

${\mathrm{\Δ\θ}}_p=2\·\arctan \left(\frac{1}{d_p}\right);$

其中γ是从相位Δ到距离的转换，并且在假定人具有2英尺的宽度的情况下计算Δθ_p。现在，等式系统可以建立：

I_m=I_p+(1.0-L(θ_p,Δθ_p))·(I_open-I_c)+I_c，以及

Q_m=Q_p+(1.0-L(θ_p，Δθ_p))·(Q_open-Q_c)+Q_c；

其中L(θ_p；Δθ_p)使用针对Δθ_p和L(θ_p；Δθ_p)的以上等式来表述。将θ_p视为已知的值，并且对非线性等式系统进行数值求解。在图3和图4的曲线图中示出具有实值数据的结果。在图3中，线120表示无校正而线122表示经校正的数据。在图4中，线130表示无校正，线132表示经校正的数据，而线134表示真实距离。

通过在各种背景模型下针对单个传感器112的数学运算，多个传感器可以被组合成集成的位置模型。如以上提及的，在一个实施例中，可以实现多个临近度传感器。在其它实施例中，可以以TDM方式使用多个LED来提供期望的视野。集成基于相机的传感器应允许对关注的所有参数的估计。

图5图示出用于以分层的方式利用多个传感器来改变设备的状态的方法300。一开始，设备可以处于诸如睡眠模式之类的降低功耗模式，并且控制器可以从第一传感器接收数据(框302)。接收的数据被处理(框304)并被与阈值比较(框306)。与阈值的比较考虑由关用户是否存在或有可能存在的判断(框308)。如果用户不存在，则可以继续从第一传感器接收数据(框302)。然而，如果判断用户存在或有可能存在，则可以激活第二传感器(框310)并且从第二传感器接收数据(框312)。处理来自第二传感器的数据(框314)并将其与来自第一传感器数据的数据组合(框316)。对来自第一和第二传感器的数据的处理可以包括但不限于，对数据执行数字信号处理，诸如对数据滤波，缩放数据和／或一般地调节数据以使得其对于存在判断是有用的。对来自第一和第二传感器的数据的组合可以包括将数据存储在一起和／或逻辑地或数学地组合数据。

使用来自第一和第二传感器的数据来计算用户存在值和／或用户存在得分的概率(框318)。将用户存在值和／或用户存在得分的概率与阈值比较来判断用户是否存在(框322)。此外，如果判断用户存在，则可以确定其他参数，诸如用户相对于设备的距离和位置(框324)并且可以改变设备的状态(框326)。状态改变可以包括将设备从睡眠模式带入唤醒模式或其它适合的状态改变。

另外地，应当明白，其他参数(例如，距离、位置等等)的确定以及设备状态的改变可以在仅基于第一传感器数据进行的对用户存在的肯定判断之后发生，如从框308开始的虚线所指示的。

此外，基于从第二传感器提供的附加信息，用户存在的第二判断(框320)可以比第一判断(框308)更准确。此外，如以上提及的，可以基于来自第一和第二传感器两者的数据的组合来确定附加参数。

应当明白，其他实施例可以实现比方法300更多或更少的步骤。图6-11图示出用于存在判断的方法的更详细的流程图。

转到图6，图示出图示存在感测的流程图200。一开始，使用相机来获取图像(框202)。可以进行亮度级确定(框204)并将其提供给皮肤色调检测例程(框206)。可选地，在一些实施例中，亮度级确定也可以提供给其它例程，如箭头203所示。另外地，捕获的图像可以被预处理(框208)。在一些情况下，例如，预处理可以包括图像的缩小，改变图像的色彩空间和／或增强图像。也可以执行其它特定于检测器的预处理(框214、215和217)。例如，图像可以可选地在被提供给皮肤色调检测例程之前通过框214中的预处理被模糊(框206)。另外地，框215中的预处理可以包括在将图像提供给人脸检测例程(框210)之前将色彩变为灰度和／或在将图像提供给运动检测例程(框212)之前执行框217的预处理中的边缘检测。可以通过将深度图像分段来预处理它们并可以将分段的部分作为检测器的输入提供。以下参考图7-11来更详细地讨论皮肤色调检测例程、人脸检测例程和运动检测例程。

皮肤色调检测例程、人脸检测例程和运动检测例程的结果可以使用融合和检测逻辑被加权和组合(框216)并且用户存在分类可以被确定(框218)。融合和检测逻辑可以包括使用神经网络、支持矢量机和／或一些其它形式的基于概率机学习的算法来获得用户是否存在的判断。图7将皮肤色调检测例程(框206)图示为从低亮判断(框204)开始的流程图。应当明白，可以以各种不同方式利用低亮判断来影响图像的处理。例如，在一些实施例中，低亮判断可以被提供作为给神经网络的矢量，而在其它实施例中，低亮判断可以用于选择要使用的特定类型的分类器。即，如果判断图像不是在低亮下拍摄的，则可以生成特征矢量(框220)，并且应用第一像素分类器(框222)。如果图像是在低亮下拍摄的，则可以生成不同的特征矢量集(框224)并且可以应用第二每像素分类器(框226)。特征的类型，例如，色彩转换等等，可以被有选择地提供以实现期望的结果并且可以根据低亮判断而不同。另外地，第一和第二每像素分类器可以基于低亮判断而不同。例如，第一分类器可以是7-5-2多层感知(MLP)前馈神经网络每像素分类器，而第二分类器可以是2-12-2MLP前馈神经网络每像素分类器。在一些实施例中，可以利用GPU在开源内核中实现分类器以帮助加速该处理。

来自分类器的输出可以是指示图像包括皮肤色调的概率的概率(例如，0和1之间的值)。可以可选地对图像应用形态过滤器(框228)并且可以计算平均灰度级(框230)。此外，可以在由于皮肤色调检测而确定用户存在的概率(框238)之前应用非线性缩放(框232)、时间队列滤波器(框234)和夹钳(夹钳器)(框236)。

图8将人脸检测例程(框210)图示为以应用人脸检测器(框240)开始的流程图。可以实现任何适合的人脸检测器，诸如Viola-Jones级联人脸检测器，其例如提供指示人脸存在的可能性的概率得分。随后缩放人脸存在得分(框242)并且可以可选地应用间歇检测闪烁滤波器(框244)来平滑图像。应当明白，在一些实施例中，诸如在相机具有相对良好的质量的情况下，可以从该处理中省略平滑。闪烁滤波器可以包括时间队列滤波器(框246)，有关从平均得到的正规化得分偏差是否小于阈值的判断(框248)以及随后的输出值与缩放后的得分的相乘(框250)。在由于人脸检测而确定用户存在的概率之前应用时间队列滤波器(框252)和夹钳器(框254)。身体检测器或身体传感器可以被配置为遵循与人脸检测器的流程相同的流程或相似的流程。此外，可以使用具有比用于人脸检测器的分辨率更低的分辨率的图像传感器来实现身体检测器。

图9将运动检测例程212图示为通过收集多个帧开始的流程图，并且，例如，可以实现用于存储多个帧的存储器。例如，可以利用三个帧，当前帧和两个其它帧。在图9中图示的实施例中，使用当前帧和两个后续帧。一开始，输入帧被顺次延迟k帧(框260，262)并被前馈以与第二延迟(框262)的输出相加(框264)。框260的输出乘以2(框266)并且确定加法器(框264)与乘法器(框266)的输出之间的差(框268)。随后，每像素的内积被确定(框270)，被缩放(框272)，并且像素被夹钳(框274)。平均灰度级被计算(框276)，非线性缩放被执行(框278)，时间队列滤波器被应用(框280)并且被夹钳至[0，1](框282)。最终，由运动引起的用户存在的概率被确定(框284)。

可以用于运动检测例程中的一些参数可以包括自动对焦(AF)窗口统计值或水平边缘或Sobel／Sharr边缘、2D彩色直方图数据、分量直方图数据、彩色内容的自动白平衡／自动曝光(AWB／AE)窗口统计值等等。可以为运动检测实现一些预处理步骤，诸如，Y通道(强度)、利用Sobel或Scharr滤波器计算的梯度幅值(针对适当的正规化而累加梯度)、阈值梯度幅值(用边缘像素数正规化)、色度(Cr，Cb)空间中的皮肤概率、任何前述的子图像等等。在一些实施例中，运动检测可以包括计算图像图心的能力。从当前帧的图心到前一帧的图心的距离被用作运动量的度量，并且硬阈值用来产生二进制检测或运动。因此，例如，Y’-强度、边缘梯度幅值、二进制边缘或皮肤概率图像的任一者的图心位置的改变可以指示运动。灵敏度与鲁棒性的折中可以指示所使用的参数的具体组合。例如，皮肤概率图像可以与边缘梯度一起使用，而二进制边缘可以用来提供对照明变化的鲁棒性。皮肤概率可以如以上提及那样利用神经网络而执行或可替代地使用自动白平衡色彩空间滤波器来逼近该功能性而被执行。

用于感测运动的一些实施例可以参考梯度图像的任一皮肤检测的窗口统计值。一些实施例可以查看全局和的变化。具体地，图像在整个帧上被加和来产生标量值s[i]，其中i是当前帧索引。过去的N个值的队列被维持：S={s[i-1]，s[i-2]，...s[i-N]}。S_L，_N表示为从s[i-L]到s[i-N]的序列，并且这些值中的极值被计算为u=max(S_L，N)和v=min(S_L，N)。用在该范围之外的偏移来确定运动量：e=max(s[i]-u，v-s[i])。如果e超过预定阈值，则检测到运动。

在一些实施例中，可以利用单个帧实现运动检测例程因此可以使用很少或不使用存储器，因为不会存储完全的帧。在一些实施例中，图像(单个帧)可以被分割成多个窗口，可以针对窗口计算统计值。窗口的统计值的改变可以用于确定用户的运动以及位置。

图10图示出为了单帧运动检测，图像可以被分割成的窗口集。具体地，图10示出被分割成不重叠的窗口和同心窗口两者以用于统计目的的单个帧。在每种情况下，考虑(页面顶部处的帧)图像的亮度和(页面底部处的帧)图像的强度梯度幅值。例如，图像300可以被分割成多个不重叠的曝光统计窗口302。可替换地，图像300可以被分割成多个同心的重叠的曝光统计窗口304。每个窗口的统计值可以基于亮度图像(如在图像300中)或基于强度梯度幅值图像306来确定。

使用窗口在计算梯度幅值的加和时提供更鲁棒的运动捕获。对于重叠的矩形窗口，一个实施例包括八个同心布置的矩形，最大的一个包含整个帧，最小的一个位于图像的中央。因此，在帧i处，帧的加和对于j∈[1，2，...8]是s_j[i]。矩形之间的像素条带的加和被计算作为这些和的差：d_j[i]=s_j[i]-s_j+1[i]／h_j，除了特殊情况d₈[i]=s₈[i]／h₈。这些差用条带的高度h_j正规化，条带的高度h_j与其面积近似成比例。

接着，使用队列以及偏差e_j=max(d_j[i]-u，v-d_j[i])来计算前N帧上的差d_j的极值u，v(最大值和最小值)。将每个偏差e_j与阈值比较来给出在帧的区域j中的运动的指示符。照明中的微小变化可能产生假的肯定检测。真实运动常常与这八个区域中的两个或三个区域中的检测相关联。因此，在一些实施例中，需要检测运动的至少两个区域来确定在该帧中已经检测到运动。另外地，照明中大的变化，例如打开或关闭房间灯光，常常导致许多区域示出运动检测。因此，如果多于三个区域已经检测到运动，可以抑制检测。这些设计参数可以基于经验被调节或被调节来提供期望水平的灵敏度和鲁棒性。

图11是图示出利用非同心的窗口302使用单帧300的运动检测例程212B。在一些实施例中，每个统计窗口可以设有独有的分析管道。即，每个窗口可以被并发地处理。在其它实施例中，可以在公共的分析管道中处理一个或多个窗口。如在这里使用的，“分析管道”可以指与窗口的统计分析相关联的处理步骤并且可以包括时间队列滤波器。

如上所述，图像300可以被分割成统计窗口302并且可以针对每个窗口计算平均统计值(框310)。时间队列滤波器可以应用于平均统计值(框312)并且与短期的过去行为的偏差值“e”可以被计算(框314)。偏差值可以与阈值比较来判断其是否超过阈值(框316)。对于超过阈值的每个偏差值保持正规化的计数(框318)并且如果正规化的计数超过投票阈值(框320)，则判断以及已经检测到运动(框322)。如果判断还没有检测到运动，则可以从(一个或多个)第二传感器收集附加的数据。另外地，在某一确定量的时间过去之后，设备可以返回到降低的功率状态并且(一个或多个)第一传感器可以收集数据。

偏差值还可以用于生成加和统计值(框324)。加和统计值可以被非线性地缩放(框326)并且概率运动得分可以被提供(框328)。一般，框322将提供指示已经检测到运动的二进制1或0的输出，而框328将提供指示在图像300中已经检测到运动的可能性的在0和1之间的值。

可以明白，可以在前述例程的每一个中利用神经网络、支持矢量机(SVM)或其它分类系统来进行关于用户存在的判断。另外地，来自每个例程的概率值单独就足以进行用户存在的判断，例如如果值在某一阈值以上的话。此外，在一些实施例中，来自每个例程的概率的组合可以用于判断用户是否存在。在一些实施例中，可以不使用例程的输出，因为其有效性可能是值得怀疑的。例如，皮肤色调检测例程可能由于照明是不可信赖的。此外，来自例程的概率输出可以以加权方式被组合(例如，一个概率可以基于其比其它的更准确的可能性而被赋予更大的权重)。

本文中公开的实施例可以被实现来降低计算设备中的功耗，计算设备诸如是笔记本计算机、台式计算机等等。具体地，计算设备可以提供存在感测功能性，即便在设备处于低功率状态诸如休眠或睡眠状态时，以使得设备可以在用户存在时上电，并且在用户离开时掉电或进入降低功率的状态。此外，可以提供实施例来通过提供直观的上电和掉电操作以及安全性特征等来改进用户使用计算设备的体验。

可以实现防止使用处于低功率操作中的处理器和RAM的分层系统。例如，在一个实施例中，最低功率状态可以仅实现可以实时计算存在值的相机、图像信号处理(ISP)设备和嵌入式处理器。在下一层，人脸检测器芯片和RAM可以被开启。在后一层，系统处理器和其它处理器可以被上电。

因此，在以上针对运动检测描述的示例中，之前帧的存储被限制于由ISP计算的统计值，并且被限制于嵌入式处理器寄存器和高速缓存中可用的空间(例如，32k)，因为RAM可以是不可用的。另外地，应当明白，存在感测信息(例如，统计值、图像，等等)在存在感测例程之外是不可用的。即，例如，为存在感测而捕获的图像可以不可被用户查看。

在一些实施例中，可以利用身体检测参数。身体检测参数可以与人脸检测参数类似但是基于人体宏观的特征而不是可以证明人脸的较小特征。例如，身体检测参数可以涉及有区别的手臂、腿、躯干、头等等。由于其基于较大的特征，因此，相对于用于人脸检测的相机的低分辨率相机可以被实现并作为身体传感器而实现够好的结果。此外，在一些实施例中，相机可以在用来获取身体检测参数时在低分辨率模式操作并且可以在用于其它用途时在较高分辨率模式操作。实际上，同一相机可以用于身体检测参数和人脸检测参数两者。应当明白，身体检测参数可以以与人脸检测参数相同的方式用于确定存在的概率。此外，身体检测参数可以是指示身体已经被检测到的概率的参数。用于身体检测器的数据可以是深度图像、灰度图像、RGB图像或前述类型的图像中任一者或其与另一类型的图像的组合。

在一些实施例中，可以实现许多不同的传感器和输入。这多个不同的传感器和输入可以帮助增加存在传感器减少错误肯定和错误否定的准确度和能力。在一个实施例中，可以实现Bayesian滤波器。具体地，可以基于概率数据融合执行递归Bayesian估计。图12是图示出使用并发的异步传感器来确定用户存在的概率的方法350的示例流程图。在流程图的顶部附近是多个传感器352。具体地，传感器可以包括视频相机354、3-D相机356、麦克风358和键盘360。应当明白，这仅仅是示例，并且在实际实现中可以利用更多或更少以及不同传感器。例如，触摸屏、跟踪板和鼠标每一个都可以被利用。每个传感器352可以并发地操作。

每个不同传感器352可以被配置为捕获确定的特征。即，每个传感器具有为存在判断提供一些有用信息的能力。传感器信息的组合提供信息的协同以使得信息的组合比来自每个传感器的信息被单独使用更有用和／或更准确。具体地，来自传感器352的数据可以被用来确定用户在3-D空间中的实际位置和用户的速度以及确定用户存在的可能性。获得的数据以鲁棒的方式被组合以提供传感器信息与运动模型的先验预测的协同。数据融合优选将模型预测与观测到的传感器数据融合，将每个分量对估计状态(用户的位置和速度)的贡献与该信息的确定性(质量)成比例地加权。因此，如果运动模型是准确的并且传感器数据是带噪的，则模型预测相对于传感器数据可以被更重地加权，反之亦然。模型与观测到的数据的该组合基于系统中的演进概率而被持续更新(例如，通过可能性模型计算的加权被不断更新)。

在流程图中提供可以从由传感器提供的数据中提取的一些示例特征。具体地，视频相机可以提取诸如3-D blob、人脸和身体检测以及运动矢量之类的特性(框370)。3-D blob可以表示相机的视野内的对象。3-D相机356可以被配置为也提取人脸检测、身体检测和运动矢量(框372)。麦克风358可以被配置为提取音频加速和新颖检测(框374)。键盘360可以被配置为提取按键检测(框376)。音频加速特征可以利用多普勒效应来判断对象是否正在靠近或后退。另外地，新颖检测特征可以致力于找到可以指示用户存在的背景噪声中的改变。例如，音量的增大可以指示用户的存在。

一旦这些特征已经被提取，则观测可能性被确定(框178)。即，每个提取出的特征可以用于确定关注的对象(例如，用户)存在的可能性。观测可能性随后被用于更新状态表示(框182)。状态表示利用数据的融合。状态表示(框184)可以被生成。在一个实施例中，状态表示可以采取直方图的形式。其它实施例可以包括参数高斯分布(Kalman滤波器)、基于Monte-Carlo样本的分布(顺序Monte-Carlo方法／粒子滤波器)、混合异步多观测粒子滤波器等等。状态表示可以呈现与用户存在计算有关的信息。例如，状态表示可以呈现与(一个或多个)用户的3-D位置和(一个或多个)用户的速度有关的信息。运动模型(框188)可以输入在状态表示中使用的信息并且还可以接收来自状态表示的信息。运动模型是对用户的运动进行建模的状态演进表达。状态表示可以用在统计计算(框186)中，统计计算可以确定用户存在的概率等等。另外地，统计计算可以估计用户的位置和估计的方差。

状态表示还向测量模型提供信息(框180)并且测量模型可以提供给观测可能性判断(框178)。测量模型一般可以缩放传感器的相应的观测。具体地，由于传感器的相关观测可以被给与更大或更小的权重，因此，可以应用模型来帮助向值得更大权重的那些观测赋予更大权重。例如，按键的观测可以比3-D blob的观测被赋予更大权重。另外地，如果传感器是带噪的，则它们可以被赋予较小的权重。每个测量模型被用在观测可能性步骤中，其中该步骤进而用于更新状态表示(框182)。

存在感测的实现可以提供计算设备的增加的智能行为。即，计算设备可以能够更好地预见用户干预并可以提供改进的用户体验。例如，显示器可以在用户存在时不变暗但是可以在用户离开后关断。另外地，显示器输出可以基于用户与设备的距离被缩放和／或改变。其它直观的和体验性特征，诸如叶子吹过屏幕来模仿感测到的运动，可以被添加到针对用户的智能的和交互式感觉。

以上描述了用于感测用户的存在的一些示例实施例。尽管以上讨论已经介绍了具体实施例，但是本领域技术人员将认识到，可以在不偏离实施例的精神和范围的情况下进行形式和细节的改变。例如，可以实现对用于存在感测的算法中一个或多个算法的修改。在一个示例中，硬件限制可以驱动算法改变。相应地，本文中所描述的具体实施例应当理解为示例而不是对范围的限制。

权利要求书(按照条约第19条的修改)

1.一种操作计算设备来提供基于存在的功能性的方法，该方法包括：

在降低的功率状态中操作计算设备；

从至少一个传感器收集第一数据集；

基于第一数据集确定关注的对象在计算设备的附近的概率；

基于所述对象相对于计算设备的部分有选择地执行计算设备的状态改变；

如果所述概率超过阈值水平，则激活至少一个第二传感器来收集第二数据集；以及

基于第一和第二数据集来确定所述对象是人的概率；

如果确定对象是人，则：

有选择地确定人相对于计算设备的位置和距离中的至少一者；以及

基于人相对于计算设备的存在和位置中的至少一者来执行计算设备的第二状态改变。

2.如权利要求1所述的方法，其中，所述至少一个传感器和所述至少一个第二传感器包括相同的传感器。

3.如权利要求2所述的方法，其中，所述传感器在作为所述至少一个传感器时在第一模式中操作并且在作为所述至少一个第二传感器时在第二模式中操作。

4.如权利要求3所述的方法，其中，第二传感器包括基于图像的传感器，其中，第一模式包括低分辨率模式并且第二模式包括更高分辨率模式。

5.如权利要求1所述的方法，其中，进行状态改变包括以下中的至少一者：

改变显示器背景／屏保转变，其中，所述转变对应于用户的运动；

将显示器带入唤醒状态；

将设备带入唤醒状态；

在将设备带入唤醒状态时减少处理的数目；

在检测到人时通过修改通常的超时来将设备维持在活动状态；

基于用户的位置的音频方向调节；

基于用户位置的麦克风方向调节；以及

修改用户界面以使得如果用户远离则提供较小用户选项集。

6.如权利要求5所述的方法，其中，如果设备已经唤醒并检测到用户从设备移动开，则设备被配置为：

将显示器状态改变为睡眠状态；或者

将设备状态改变为睡眠状态。

7.如权利要求1所述的方法，还包括：使用组合的传感器数据使用神经网络或支持矢量机来确定存在。

8.如权利要求1所述的方法，还包括：关于所述对象是否在设备的阈值距离内做出硬判决。

9.如权利要求1所述的方法，还包括：通过如下方式使用组合的传感器数据判断存在：以加权方式使用皮肤色调判断、存在判断、以及运动判断中的每一个来进行存在判断。

10.如权利要求1所述的方法，其中，所述至少一个传感器包括键盘、鼠标或麦克风中的至少一个。

11.如权利要求1所述的方法，还包括：通过使用确定的用户与设备的距离来使用组合的传感器数据判断存在。

12.如权利要求1所述的方法，还包括：为了安全性而确定在设备的附近的人脸的数目，其中，通过部分上电或上电至安全状态并请求针对进一步的访问的凭证来提供安全性。

13.如权利要求1所述的方法，其中，所述至少一个传感器包括人体传感器。

14.一种用于判断用户是否在计算设备的附近的方法，该方法包括：

使用图像传感器来捕获图像；

使用处理器来计算来自所捕获的图像的以下参数中的至少一者：

人体检测参数；和

运动检测参数；

利用人体检测参数和运动检测参数中的至少一者来确定用户存在的概率；

如果所述概率指示用户存在，则操作深度估计器来确定用户与设备的距离小于阈值的可能性；以及

如果所述可能性超过阈值，则改变设备的状态。

15.如权利要求14所述的方法，还包括计算皮肤色调检测参数和人脸检测参数，皮肤色调检测参数和人脸检测参数两者都被用来确定用户是否存在。

16.如权利要求15所述的方法，还包括：

计算皮肤色调检测参数、人脸检测参数、人体检测参数和运动参数中的每一者；以及

将所述参数相对于彼此加权，其中，皮肤色调检测参数比其它参数被更小地加权。

17.如权利要求14所述的方法，其中，运动检测参数是使用单帧计算的。

18.如权利要求17所述的方法，还包括：

将所述图像分割成多个窗口；以及

针对同心窗口计算统计值，其中，至少两个窗口中的改变指示所述图像中的运动。

19.一种计算设备，包括：

主处理器；

与主处理器耦接的存在传感器系统，包括：

至少一个图像传感器，被配置为捕获图像；

处理器，其被耦接至图像传感器，处理器被配置为通过计算以下中的至少一者来处理所述图像以确定用户处于设备附近的概率：

人体存在参数；

运动参数；

皮肤色调参数；以及

人脸检测参数；

其中，如果所述概率超过可能性阈值，则已经确定用户存在的指示被从处理器发送到主处理器并且主处理器基于该指示改变计算系统的状态。

20.如权利要求19所述的计算设备，其中，存在传感器被配置为从至少一个附加的输入设备接收输入并且从所述至少一个附加的输入设备接收的数据被用在概率确定中。

21.如权利要求20所述的计算设备，其中，所述至少一个附加的输入设备包括以下中的一者：

附加的图像传感器；

键盘；

触摸屏；

轨迹板；

麦克风；和

鼠标。

22.如权利要求21所述的计算设备，其中，传感器和输入设备中的一个或多个并发地操作。

23.如权利要求21所述的计算设备，其中，图像传感器和附加的图像传感器中的至少一者包括深度传感器。

24.如权利要求23所述的计算设备，其中，图像传感器和附加的图像传感器两者并发地操作。

25.如权利要求21所述的计算设备，其中，设备的状态单独基于来自所述传感器中的一个的数据而改变。

26.如权利要求25所述的计算设备，其中，状态改变包括进入热身状态。

27.如权利要求19所述的计算设备，其中，改变设备的状态包括当检测到用户时将设备维持在活动模式中。

28.如权利要求27所述的计算设备，其中，改变状态包括在没有其它输入被检测到时禁用设备的屏幕变暗或睡眠的超时中的一个。

Claims (28)

1.一种操作计算设备来提供基于存在的功能性的方法，该方法包括：

在降低的功率状态中操作计算设备；

从至少一个传感器收集第一数据集；

基于第一数据集确定关注的对象在计算设备的附近的概率；

基于所述对象相对于计算设备的部分有选择地执行计算设备的状态改变；

如果所述概率超过阈值水平，则激活至少一个第二传感器来收集第二数据集；以及

基于第一和第二数据集来确定所述对象是人的概率；

如果确定对象是人，则：

有选择地确定人相对于计算设备的位置和距离中的至少一者；以及

基于人相对于计算设备的存在和位置中的至少一者来执行计算设备的第二状态改变。

2.如权利要求1所述的方法，其中，所述至少一个传感器和所述至少一个第二传感器包括相同的传感器。

3.如权利要求2所述的方法，其中，所述传感器在作为所述至少一个传感器时在第一模式中操作并且在作为所述至少一个第二传感器时在第二模式中操作。

4.如权利要求3所述的方法，其中，第二传感器包括基于图像的传感器，其中，第一模式包括低分辨率模式并且第二模式包括更高分辨率模式。

5.如权利要求1所述的方法，其中，进行状态改变包括以下中的至少一者：

改变显示器背景／屏保转变，其中，所述转变对应于用户的运动；

将显示器带入唤醒状态；

将设备带入唤醒状态；

在将设备带入唤醒状态时减少处理的数目；

在检测到人时通过修改通常的超时来将设备维持在活动状态；

基于用户的位置的音频方向调节；

基于用户位置的麦克风方向调节；以及

修改用户界面以使得如果用户远离则提供较小用户选项集。

6.如权利要求5所述的方法，其中，如果设备已经唤醒并检测到用户从设备移动开，则设备被配置为：

将显示器状态改变为睡眠状态；或者

将设备状态改变为睡眠状态。

7.如权利要求1所述的方法，还包括：使用组合的传感器数据使用神经网络或支持矢量机来确定存在。

8.如权利要求1所述的方法，还包括：关于所述对象是否在设备的阈值距离内做出硬判决。

9.如权利要求1所述的方法，还包括：通过如下方式使用组合的传感器数据判断存在：以加权方式使用皮肤色调判断、存在判断、以及运动判断中的每一个来进行存在判断。

10.如权利要求1所述的方法，其中，所述至少一个传感器包括键盘、鼠标或麦克风中的至少一个。

11.如权利要求1所述的方法，还包括：通过使用确定的用户与设备的距离来使用组合的传感器数据判断存在。

12.如权利要求1所述的方法，还包括：为了安全性而确定在设备的附近的人脸的数目，其中，通过部分上电或上电至安全状态并请求针对进一步的访问的凭证来提供安全性。

13.如权利要求1所述的方法，其中，所述至少一个传感器包括身体传感器。

14.一种用于判断用户是否在计算设备的附近的方法，该方法包括：

使用图像传感器来捕获图像；

使用处理器来计算来自所捕获的图像的以下参数中的至少一者：

身体检测参数；和

运动检测参数；

利用身体检测参数和运动检测参数中的至少一者来确定用户存在的概率；

如果所述概率指示用户存在，则操作深度估计器来确定用户与设备的距离小于阈值的可能性；以及

如果所述可能性超过阈值，则改变设备的状态。

15.如权利要求14所述的方法，还包括计算皮肤色调检测参数和人脸检测参数，皮肤色调检测参数和人脸检测参数两者都被用来确定用户是否存在。

16.如权利要求15所述的方法，还包括：

计算皮肤色调检测参数、人脸检测参数、身体检测参数和运动参数中的每一者；以及

将所述参数相对于彼此加权，其中，皮肤色调检测参数比其它参数被更小地加权。

17.如权利要求14所述的方法，其中，运动检测参数是使用单帧计算的。

18.如权利要求17所述的方法，还包括：

将所述图像分割成多个窗口；以及

针对同心窗口计算统计值，其中，至少两个窗口中的改变指示所述图像中的运动。

19.一种计算设备，包括：

主处理器；

与主处理器耦接的存在传感器系统，包括：

至少一个图像传感器，被配置为捕获图像；

处理器，其被耦接至图像传感器，处理器被配置为通过计算以下中的至少一者来处理所述图像以确定用户处于设备附近的概率：

身体存在参数；

运动参数；

皮肤色调参数；以及

人脸检测参数；

其中，如果所述概率超过可能性阈值，则已经确定用户存在的指示被从处理器发送到主处理器并且主处理器基于该指示改变计算系统的状态。

20.如权利要求19所述的计算设备，其中，存在传感器被配置为从至少一个附加的输入设备接收输入并且从所述至少一个附加的输入设备接收的数据被用在概率确定中。

21.如权利要求20所述的计算设备，其中，所述至少一个附加的输入设备包括以下中的一者：

附加的图像传感器；

键盘；

触摸屏；

轨迹板；

麦克风；和

鼠标。

22.如权利要求21所述的计算设备，其中，传感器和输入设备中的一个或多个并发地操作。

23.如权利要求21所述的计算设备，其中，图像传感器和附加的图像传感器中的至少一者包括深度传感器。

24.如权利要求23所述的计算设备，其中，图像传感器和附加的图像传感器两者并发地操作。

25.如权利要求21所述的计算设备，其中，设备的状态单独基于来自所述传感器中的一个的数据而改变。

26.如权利要求25所述的计算设备，其中，状态改变包括进入热身状态。

27.如权利要求19所述的计算设备，其中，改变设备的状态包括当检测到用户时将设备维持在活动模式中。

28.如权利要求27所述的计算设备，其中，改变状态包括在没有其它输入被检测到时禁用设备的屏幕变暗或睡眠的超时中的一个。

Images