CN103576857B - 凝视跟踪系统的快速唤醒 - Google Patents

Abstract

一种凝视跟踪系统(10)，响应于激活信号(A)离开低功率模式；通过约束传感器(12)的图像区域在短时间内捕获眼睛画面的初始突发串，目的在于实现增加的帧速率。以正常帧速率捕获后续眼睛画面。基于眼睛画面的初始突发串并不基于附加像非记忆地计算第一凝视点值(G)，而可以通过考虑在前凝视点值或来自在前眼睛画面的信息递归地计算后续值。可以通过使用相同或不同传感器(14)捕获的初步概览画面来指导对图像面积的约束。该系统可以从凝视点值中导出要提供给具有视觉显示器(23)的计算机设备(20)的控制信号(C)。

Description

凝视跟踪系统的快速唤醒

技术领域

本文公开的本发明总体上涉及用于向计算机系统提供输入数据的眼睛跟踪(眼睛位置的确定、凝视点或凝视角度)。具体地，本发明提供了一种实现从凝视跟踪系统的睡眠模式快速唤醒的方法，凝视跟踪系统适用于确定观看便携式或固定个人计算机设备、电视机、车辆中的头戴式显示器、具有成像和计算能力的通信设备(例如，移动电话)中的近眼显示器或显示器的视觉显示形成部件的观看者的凝视点。

背景技术

人机接口(HMI)的眼睛跟踪系统形成部件受到功耗的严格约束，尤其在个人计算机和电池供电设备中。许多可用的眼睛跟踪系统编程为在没有来自用户的输入的时间段之后进入睡眠模式。从能量经济的观点，该时间段应当尽可能短，使得眼睛跟踪系统在大部分时间内应当在睡眠模式中。应当在这一点和系统的高响应性期望存在平衡，高响应性期望提倡在进入睡眠模式之前过去相对较长的时间段。然而如果努力降低系统的唤醒时间，这种折衷可能变得不那么难以实现。

发明内容

鉴于上述考虑，本发明人做出了本发明，减少或者至少消除了已知与现有技术相关联的问题。这样，本发明的目的是提供一种眼睛跟踪设备，该眼睛跟踪设备在操作的所有时刻(包括任一省电或‘睡眠’模式)具有有竞争力的电力管理特性并具有针对用户交互的较短等待时间。另一目的在于提供一种凝视跟踪系统，可以集成在个人计算机系统(例如，台式或膝上型计算机、平板计算机、笔记本电脑、上网本、超级本、一体机台式机、电视、智能电话、个人数字助理、数字摄像机、头戴式显示器、近眼显示器)而无需负担计算机系统的电力性能。

这些目的中的至少一个由具有独立权利要求中提出的特征的方法、计算机程序产品和凝视跟踪系统来实现。从属权利要求限定了本发明的实施例。

凝视跟踪系统与具有光敏面的至少一个传感器通信，光敏面布置为从与计算机设备相关联的视觉显示器的观看者的头部接收光(被反射的光)。至少一个传感器可以是凝视跟踪系统的适当部件，或者可以在系统外部，例如，可以作为外部组件提供。凝视跟踪系统适合于根据视觉显示器上检测到的观看者的凝视点，通过向计算机设备提供控制信号来控制计算机设备。

如本文所使用的，计算机设备可以包括与观看者交互的设备，例如在执行应用程序的个人计算机，观看者可以经由个人计算机中集成的或作为外围设备提供的人机接口来控制应用程序。此外，观看者可以经由个人计算机中集成的或者作为外围设备提供的人机接口与软件、系统软件或中间件交互。此外，计算机设备可以指代在凝视跟踪系统与执行这种应用程序的个人计算机之间布置的软件或硬件接口。这样，控制信号可以包含对观看者的凝视点加以表示的数据，其中，下游计算机设备可以进一步处理，以确定采取什么动作。备选地，控制信号包含至少部分地从凝视点导出的、可能是适合于应用程序解译的格式的特定计算机可读命令。

根据示例实施例，凝视跟踪系统响应于从计算机设备中一个或更多个输入装置接收到凝视跟踪激活信号，离开凝视跟踪系统的低功率模式(例如，睡眠模式)。凝视跟踪系统捕获观看者头部的一部分的概览画面，或者在多个观看者的情况下，捕获观看者之一的头部的至少一部分，并且导出与观看者的眼睛区域的位置(例如，一只或两只眼睛的眼眶、估计的位置)有关的信息。凝视跟踪系统捕获观看者的头部或者观看者头部的至少一部分的多个画面。这样做，凝视跟踪系统从至少一个传感器的受约束区域以第一帧速率(在实施例中，是比正常操作期间的帧速率大的帧速率)读出数据。可以在这些区域的共同至多占据至少一个传感器的光敏面面积的第一预定部分的意义下来约束这些区域。在本发明的实施例中，第一预定部分至多是至少一个传感器的光敏面面积的10％。可以根据从概览画面导出的眼睛区域位置来定位受约束区域。接着，凝视跟踪系统基于从所述多个画面中提取的信息以及可选地基于来自概览画面的信息确定视觉显示器上观看者的凝视点的第一值；凝视跟踪系统中的该操作与其他成像无关，但是可以考虑配置设定、用户相关和设备相关校准数据和类似的系统常量。基于如此确定的第一凝视点值，凝视跟踪系统向所述计算机设备提供第一控制信号。在提供所述第一控制信号之后，凝视跟踪系统继续移动，以通过以第二帧速率(在本发明的实施例中，是正常操作期间的帧速率)操作所述至少一个传感器来捕获观看者头部的至少一部分的其他画面。对于所述其他画面之一，该系统基于来自所述其他画面和来自至少一个在前画面二者的信息来确定另一凝视点值。所述在前画面可以是所述多个画面中的画面或者可以是所述其他画面中的较早画面之一。

可以将权利要求中标识为帧速率的量确定为每单位时间捕获的、完整图像帧的数目(不管是全传感器还是传感器或传感器的受约束区域的较小部分的完整图像帧的数目)。本发明人在图像传感器被划分成像素的情况下实现了典型地通过每单位时间读出的像素数目的明确或隐藏上限来确定帧速率。因此，如果仅针对受约束区域读出数据，则上述可以以更高帧速率执行，这缩短了唤醒过程所需的总时间。

关于制定为受约束区域的共同百分比的条件，注意以下内容。观察该条件的优点在于，在光敏面的限制部分处集中可用成像资源(数据传输速率、处理能力)。如果通过并置(可能地部分交叠)受约束区域来覆盖较大区域，使得受约束区域共同达到实质上较大百分比，则成像资源不会集中在光敏面的受限区域。取而代之，在成像较大场景上花费可用资源，这会导致凝视跟踪系统的较长唤醒时间或者精度劣化。此外，主要关于以下系统来表示数量10％(＝受约束区域的共同面积/全光敏面的面积)：在正常条件(例如距离)下全光敏面提供与最优定位时观看者整个头部相对应的图像尺寸。优选地，光敏面沿水平方向也是宽度的至少两倍。对于本领域技术人员显而易见的是，受约束区域占据的实际百分比可以响应于(对于受约束区域的给定集合)光敏面面积的改变和/或(对于光敏面的给定区域)响应于受约束区域的集合的改变而变化。受约束区域甚至可以更小，例如，小于全光敏面面积的5％或3％。这可以缩短唤醒过程，但是也需要使用具有较小容限的设备。

在一个示例实施例中，以无状态或无记忆方式确定第一凝视点值，而同时以有状态或有记忆方式确定另一凝视点值。具体地，可以非递归地计算第一凝视点值，而同时基于观看者头部的在前画面或者基于在前凝视点值递归地计算另一凝视点值。已知，递归、迭代和类似方法通过依赖于在前结果或在前输入数据来提高精度。在本示例实施例中，显然不能通过提供较丰富的输入数据集合(即通过以增大的帧速率来实现传感器操作)来补偿第一凝视点确定。

在一个示例实施例中，所述多个画面包括三个连续画面。可选地，用于确定凝视点的递归或迭代计算算法可以考虑相等数目的画面，例如，一个当前画面和两个在前画面。要包括的画面数目依赖于在特定应用中确定凝视点的预期困难(可以与典型的信噪比有关)以及所需的凝视点精度。这样，本示例实施例的变型可以包括基于观看者的至少一个眼睛的较少或较多画面数目的凝视点确定。

在一个示例实施例中，通过联合滤波所述多个画面中的画面或者从所述画面中导出的量来确定第一凝视点，并且通过联合滤波所述另一画面和至少一个在前画面或者从所述画面中导出的量来确定所述另一凝视点。滤波可以涉及使用有限脉冲响应滤波器或无限脉冲响应滤波器，具体是递归滤波器。根据以上讨论，滤波可以使用在前画面作为(部分)输入，或者可以使用从在前画面导出的量(例如凝视点)。联合滤波意味着为了确定一个凝视点值由子操作组成的操作。联合滤波并非主要指代包括对并行执行的实例进行多次滤波并且获得分离的最终结果的布置。这样，设计为提供另一凝视点值并且具有当前画面和在前画面作为输入的联合滤波操作典型地考虑这两个画面来计算单个另一凝视点值。

在先前示例实施例的另一方案中，凝视跟踪系统适合于从一个或更多个画面导出凝视点猜测。具体地，可以从单个画面中导出凝视点猜测；备选地，从若干画面(例如，所述多个画面中的所有画面)中导出凝视点猜测。可以使用本领域中实质上已知的数量方法来导出凝视点猜测。基于上述，凝视跟踪系统通过对若干凝视点猜测进行滤波(例如，通过平均)来确定凝视点值。因此，即使已知提供每个凝视点猜测的数量方法对输入数据(画面)的误差敏感，凝视跟踪系统由于后续滤波在整体上也没有数量方法敏感。在先前示例实施例的另一方案中，凝视跟踪系统可以配置为仅当凝视点猜测保持在有限范围中时才发起滤波。有效地，这是关于最大凝视漂移的条件，由此属于扫视而不是固定或平滑追踪的的连续眼睛画面不会经历平均。如果凝视跟踪系统以这样的方式确定在眼睛的当前位置仅存在眼睛的一个画面(即，在扫视之后)，则凝视跟踪系统可以选择捕获眼睛的其他画面，直到存在凝视点猜测足以关闭的足够数目的眼睛画面为止。备选地，凝视跟踪系统可以例外输出凝视点猜测作为凝视点。备选地，对于凝视跟踪系统响应于在凝视跟踪激活信号时刻与观看者的凝视点有关的信息的请求的示例实施例，凝视跟踪激活信号之后的扫视(扫视的最终部分)上的多个凝视点猜测可以用于确定扫视来自何处并且因此确定在凝视跟踪激活信号时刻观看者的凝视位于何处。

在一个示例实施例中，约束至少一个传感器的区域的配置由观看者头部的概览画面来指导。如上所述，概览画面可以用于找到眼睛区域位置的目的。本质并不在于哪个特定设备或组件向凝视跟踪系统提供概览画面，而是在于若干选项是可用的。

优选地，通过从至少一个传感器中的全光敏面(或者超过全光敏面的50％)读出数据来捕获概览画面。例如，凝视跟踪系统可以配置为基于概览画面将传感器约束到观看者的眼睛区域、一只眼睛周围的区域或每只眼睛周围的一个区域。为了进一步缩短唤醒过程的总持续时间，传感器可以在其捕获到概览画面时以降低的(空间)分辨率(优选地在降低的分辨率模式中)操作。由于每个像素然后收集较宽的光束，因此会在较少时间内聚集高于系统特定检测能力阈值的激发能量。可以通过重新分级(binning)来实现空间分辨率的降低。这需要读出一组相邻像素中的所有像素(或者一组相邻像素中的每隔一个像素)作为一个虚拟像素，以便累积激发能量；相邻像素可以分组为2×2像素组、4×4像素值、根据矩形图案的组等中。备选地或附加地，可以通过跳过特定像素来改变分辨率。例如，能够仅从像素子集中读出数据，例如通过仅每隔N个像素进行读取，从而可以在较短时间内收集到较低分辨率的图像。

仍关注于缩短唤醒过程，可以利用有源照明来捕获概览画面。这可以通过激活至少一个朝向观看者的头部发射光的光源来实现。激活的光源优选地具有广角类型，提供期望增加眼睛的不同部分与环境区域之间的图像对比度的一般照明。

通过应用分辨率降低和/或有源照明，捕获概览画面所需的曝光时间可以降低到环境照明条件和全分辨率下正常曝光时间的一半。在一些实现方式中，曝光时间可以缩减到正常值的四分之一或者甚至更小。

作为备选实现方式，以深度画面的形式捕获概览画面。深度画面可以由深度传感器提供，深度传感器应理解为用于提供场景的深度数据的二维阵列的设备。深度传感器可以集成在凝视跟踪系统中，或者可以例如通过计算机设备的中间物与系统相关联，该中间物与该系统通信连接。具体地，用于消费者产品的深度传感器可以包括与对于该波长范围具有灵敏度的单色CMOS传感器组合的红外或近红外激光投影仪。备选地，在可见光范围内发射光的照明器与对应光传感器相结合。深度传感器可以是测量从发射光脉冲到接收光脉冲反射的时间的渡越时间(time-of-flight)仪器。备选地，深度传感器可以用构造的光(例如，点图案、条纹)照亮场景并且应用三角测量方法。备选地，深度传感器包括两个或更多个摄像机，并且例如基于观看者头部的一部分的两个或更多个画面立体地导出深度图，观看者头部的一部分的两个或更多个画面是在短时间窗内或者同时捕获的。深度传感器可以包括上述至少一个传感器；例如，至少一个传感器可以与适合的光源组合，或者可以是立体对中的一个或两个摄像机(假定提供至少两个摄像机)。使用深度传感器的具体优点在于，可以从相同深度画面中导出附加信息，例如与眼睛的空间位置有关的信息。事实上，由于空间眼睛位置典型地比眼睛方位变化慢，因此典型地捕获用于该目的的深度画面的频率比捕获眼睛画面的频率慢，以便节省资源。对眼睛空间位置的估计能力可用于根据PCCR方法的凝视跟踪和类似技术中。

在目的在于进一步缩短总唤醒时间的一个示例实施例中，凝视跟踪激活信号触发凝视跟踪系统中的中断。在凝视跟踪系统和计算机设备利用对特定分组类型给出优先级的协议通过总线接口通信的实现方式中，凝视跟踪激活信号可以备选地(但具有同样效果)作为优先类型的分组传输。具体地，如果使用USB(通用串行总线)接口，则凝视跟踪激活信号可以是请求类型消息，根据USB要在缩短的持续时间段内处理请求类型消息。

在一个示例实施例中，在没有受到严格约束的图像区域上(或者甚至没有约束的图像区域)捕获所述其他画面(即，从整个光敏面或至少整个光敏面的实质部分读取数据)。有利地，上述针对快速头部移动使得凝视点确定更鲁棒，快速头部移动会导致在前眼睛位置的突然移位。这样的鲁棒性在传感器以正常帧速率而不是增大的帧速率操作时尤其有用。在本示例实施例的另一发展中，根据检测到的头部移动自适应地扩大和/或重新定位从中读出数据的区域。具体地，可以通过用与头部表面处估计的瞬间移动速度(包括旋转和平移运动)相关的大量像素进行外围填充来扩大区域。具体地，可以通过沿着从估计的瞬间头部速度矢量导出的方向的平移来重新定位区域(重新定位到光敏面的新位置)。具体地，可以(至少部分地基于第一凝视点值的确定)通过纯粹重新定位来更新从中读出数据以捕获所述多个画面的区域，其中，该区域保持固定的第一格式(表示第一面积)，而根据估计的运动方向和/或运动速度在光敏面上重复平移。当捕获画面以确定另一凝视点值时，所使用的与第一格式不同的固定第二格式至少表示大于第一面积的第二面积。第二面积可以至少是第一面积的1.25倍，例如，第一面积的1.5倍，例如第一面积的1.75倍，例如，第一面积的2倍，例如第一面积的3倍。备选地，第一和第二格式的不同之处在于它们包括不同数目的像素。具体地，第二格式可以包括第一格式的像素数目的至少1.25倍(例如，1.5倍、1.75倍、2倍、3倍)的像素数目。

在一个示例实施例中，第一帧速率(即，增大的帧速率)(以每单位时间帧数目为单位)与第二帧速率(即正常帧速率)之间的比率至少为2，例如至少为5，例如至少为10，例如至少为20，例如至少为50。正常帧速率可以近似为40Hz±10Hz，而增大的帧速率可以是300Hz±100Hz。

在一个示例实施例中，发出凝视跟踪激活信号的输入装置是非凝视类型。此外，优选地，该输入装置包括身体姿势传感器、声学换能器、触摸检测器、指针设备或接近传感器。身体姿势传感器例如可以是具有姿势识别功能的用于远程深度感测的光学系统。声学换能器可以与语言识别处理器相结合来形成基于语音的输入装置。触摸检测器可以是光学、电容式或机电的，并且可以集成在视觉显示器、触摸板或键盘中。指针设备可以鼠标、操纵杆、绘制板等。接近传感器具有在其建立与阈值距离相比身体部位更接近传感器时产生正接近指示的功能。接近传感器可以是光学类型或非光学类型，包括电容式。

在一个示例实施例中，仍关注于缩短唤醒时间，使用滚动快门类型的传感器来捕获所述多个图像。滚动快门传感器的特性与全局快门传感器的不同之处在于，在单个时间点处而不是根据预定扫描图案通过在传感器上扫描来对所有像素成像。预定的扫描图案可以沿着水平或垂直线按照某种顺序。与滚动快门传感器不同，全局快门传感器可以尝试通过记录公共时间窗中整个帧来近似快照拍摄。滚动快门传感器典型地提供更快的数据读出，理想地(省略数据格式中的任意空白行和空白列)这可以仅由读出区域的尺寸与数据传输速率的比率来限制。这允许凝视跟踪系统较早地开始所述多个图像的凝视点处理。具体地，凝视跟踪系统可以在已经读出区域中的所有像素之前开始处理。重要地，滚动快门传感器典型地提供比可比较的全局快门传感器更精细的像素间距(例如，1.1μm比3μm)。因为公知的每图像中像素令人不愉悦的非同步性(这看起来使后续凝视点导出更困难)，因此在凝视跟踪设备中使用滚动快门传感器并不是显而易见的。然而在本发明人已经实现的本示例实施例中，对图像区域的约束去除了这种对于较大程度的不便性。

在一个示例实施例中，唤醒过程以准备就绪模式结束，在准备就绪模式中凝视跟踪系统保持预定时间段。凝视跟踪系统在准备就绪模式中准备处理附加激活信号。附加激活信号不一定是凝视跟踪激活信号，也可以是HMI中的信号，通过HMI观看者与计算机设备交互。如果在预定时间段期间没有创建附加激活信号，则凝视跟踪系统回到低功率模式，例如，睡眠模式。类似地，如果确实已经接收到一个或更多个附加激活信号，而在上一次时间之后预定时间段已经过去，则系统具有类似行为。可以根据计算机设备的期望响应度(如果凝视跟踪系统引入明显的等待时间则计算机设备的响应度会被降低)和可用电力来选择预定时间段的持续时间。在一个实现方式中，预定时间段可以持续接近30秒。在其准备就绪模式中，凝视跟踪系统可以以相对较低频率(或者帧速率)操作至少一个传感器。例如，较低频率可以小于较高频率的1/2，优选地小于1/4，例如小于1/10。这会降低至少一个传感器(以及关联的处理电路)对凝视跟踪系统的总功耗的贡献。另外，较低频率可以提供足够的精度(包括运动精度)，这是因为在前值可以指导凝视点的更新。在其准备就绪模式中，此外，凝视跟踪系统可以从全传感器或表示比全传感器的面积小的面积区域中读出数据。

在一个示例实施例中，提供了一种凝视跟踪系统，该凝视跟踪系统包括：处理器，配置为根据上述实现方式之一执行唤醒过程。凝视跟踪系统与至少一个传感器相关联，优选地与至少一个传感器通信连接。具体地，至少一个传感器可以以正常帧速率选择性地操作，其中，可以从光敏面上的区域中选择的相对较大区域(可能包括全表面，但是备选地可以存在实现方式特定的区域面积上限)读出数据，或者以增大的帧速率读出数据，其中，从受限区域读出数据。受限区域可以定位在光敏面上的不同位置，而具有较小面积，以实现帧速率增大的诉求。

在不背离本发明范围的前提下，凝视跟踪系统中的至少一个传感器可以包括两个或更多个子传感器，其中，正常速率模式可以包括操作第一子传感器，并且增大的速率模式包括操作第二子传感器。优选地，第一子传感器包括比第二子传感器更大的光敏面。

在一个示例实施例中，提供了一种用于控制上述类型的凝视跟踪系统的计算机程序产品。

应注意，本发明涉及特征(甚至彼此不同的权利要求中引述的特征)的全部组合。

附图说明

现在参照附图描述本发明的示例实施例，在附图中：

图1是与具备视觉显示器的计算机设备合作布置的凝视跟踪系统的示意图；

图2示出了图像传感器的光敏面内受约束区域的定位，目的在于有效率地捕获观看者眼睛区域的画面；

图3示出了深度传感器的实现方式；以及

图4是凝视跟踪系统中的方法的流程图。

所有附图是示意性地，并且一般地仅示出阐明本发明所必需的部件，而其他部件可以省略或者仅是暗示。除非另外指示，不同附图中类似的附图标记指代结构或功能上对应的元件。

具体实施方式

如图1所示，根据示例实施例的凝视跟踪系统10包括处理器11。处理器与光源13和两个成像设备12、14通信连接，这两个成像设备12、14可以在系统外部(并且位于相同或不同的物理设备中)，或者可以是凝视跟踪系统10的内部组件。可以设想凝视跟踪系统实现为个人计算机系统中的内部软件或硬件组件(例如，参见上文)，内部软件或硬件组件一方面用作针对成像设备12、14和光源13的接口，另一方面用作针对个人计算机系中的处理器的接口。凝视跟踪系统10可以实现为在个人计算机系统的操作系统下执行的中间件。凝视跟踪系统10还可以是分布式的，使得一些任务(例如，画面处理)可以在操作系统下执行的软件中执行，一些任务(例如，与光源13和成像设备12、14通信)在与个人计算机系统相关联的外围单元(未示出)中布置的处理器11中执行。处理器11可以至少根据以下选项或者以下选项的任一组合来实现：

a)一个或更多个成像设备(传感器)具备具有处理能力的逻辑电路，该逻辑电路单独或联合在包括所附权利要求的本公开中被称作“处理器”单元。

b)提供传统单独或集成微处理器作为凝视跟踪系统中与成像设备通信的部件(与关联的计算机系统分离)。微处理器可以由低级或高级语言(例如，汇编程序或C)编程，并且用作“处理器”。

c)提供与至少一个图像传感器通信连接的外部专用集成电路(ASIC)。将逻辑硬编码为ASIC中的晶体管。因此，ASIC具有有限的处理能力但仍完成属于“处理器”的任务。

d)“处理器”是计算机系统中CPU的硬编码集成部件，或者以硬编码配套芯片的形式提供给CPU。计算机系统可由凝视跟踪系统控制。

e)“处理器”是在计算机系统中的CPU中执行的软件程序。计算机系统可由凝视跟踪系统控制。

f)微控制器用作“处理器”。微处理器可以是单独类型并且备选地可以集成在可由凝视跟踪系统控制的计算机系统中。

凝视跟踪系统10可以经由有线或无线、内部或外部连接项计算机设备20中的接口21发送信号并从接口21接收信号，包括接收激活信号A和发送控制信号C。如果凝视跟踪系统至少部分地集成在计算机系统20中，则这些信号是内部的并且可以通过内部通信接口发送，内部通信接口在物理上可区分(例如，总线、连接器、USB、TCP/IP、PCI)或者完全是虚拟的(例如，异常、事件、在存储器中执行的处理之间交换的其他软件消息、根据预定的API语法交换的数据等)。计算机设备20还包括视觉显示器23和指针设备22(出于示例目的绘制为鼠标)。计算机设备20的用户可以不时地将他或她的视觉注意对准视觉显示器23，例如，在附图中示出的示例凝视点G处，并且以下被称作观看者99。

应当指出，单独针对图1中示出的凝视跟踪系统10、以及计算机设备20和复合系统寻求保护，其中，凝视跟踪系统10和计算机设备20构成两个互连部分。注意，本发明可以以进行凝视跟踪相关任务的处理、通信和成像硬件或软件的不同组合来实现，而与它们部署在特定物理单元中无关；还针对任何以这种功能为动机的组合来寻求保护。根据不同示例实施例的凝视跟踪系统10和计算机设备20的功能和结构特性已经在本公开的先前部分中得到了讨论，并且以下进一步进行说明。

在图1中示出的部署中，凝视跟踪系统10配置为基于检测到的凝视点G通过向计算机设备20提供控制信号C来控制计算机设备20。以上已经讨论了不同示例实施例中控制信号C的属性。相反，计算机设备20可以通过提供激活信号A来控制凝视跟踪系统10的电力状态。如果凝视跟踪系统10可在低功率模式(例如，睡眠模式)和正常模式中操作，其可以通过离开低功率模式并进入正常模式来响应激活信号A。作为另一种可能性，如果凝视跟踪系统10在具有预定时间段的定时器(未示出)期满之后进入低功率模式，则凝视跟踪系统10可以通过重新开始定时器来响应正常模式中接收到的激活信号A。

为了能量经济，计算机系统20可以配置为当其判定需要凝视跟踪输入时发出激活信号A。在一些实现方式中，仅检测到观看者的存在就足以。如上所述，激活信号A可以由语音命令、身体姿势等交替触发。在另一实现方式中，检测到使用指针设备22或者检测到接近指针设备22可以触发激活信号A。具体地，如果指针设备22是用手控制的，例如，鼠标、操纵杆等，则检测到的移动触发激活信号A。这样，显示器上出现的指针可以跳至观看者99的实际凝视点G，观看者99可以在指针位置的最终手动调整之后随后通过鼠标点击等选择图形控制(例如，与要由计算机设备2-执行的预定动作相关联)。类似地，如果指针设备22具有手指控制类型，例如，要由一个或更多个手指致动的触摸板，手指的定位可以触发激活信号A。响应于此，凝视跟踪系统10返回对当前凝视点加以指示的控制信号C，指针立即移动到该当前凝视点(备选地，示出了一些其他视觉反馈来指示在观看者凝视点(由于被选择)处检测到的图形对象)，并且观看者99可以在释放手指之前通过在触摸板上移动他或她的手指来调节指针的位置，以在GUI中选择与要由计算机设备20执行的预定动作相关联的图形元素。已经结合手控制和手指控制的指针设备描述的两个处理是复合系统中人机交互的方法，针对该复合系统单独寻求保护。

成像设备12、14可以具有不同类型或相同类型。在除了图1中示出的实施例以外的其他实施例中，凝视跟踪系统10可以包括单个成像设备12；如上所述，如果单个成像设备12在两种不同分辨率模式中可操作，则可以快速获取全尺寸或接近全尺寸的概览画面。成像设备12、14中的至少一个负责对观看者99的眼睛区域进行成像，以便提供用于确定凝视点G的输入数据。如果凝视跟踪系统10捕获观看者99的头部或头部的一部分的概览画面，则可以从外部成像设备(未示出)接收到概览画面，或者成像设备12、14中的至少一个配置为提供该概览画面。概览画面当然可以基于来自两个成像设备12、14的信息。如上所述，成像设备12、14对可见光敏感，对近红外或红外光敏感。成像设备12、14和光源13的其他可能配置包括以下：

a)成像设备12、14是两个高分辨率CMOS型传感器，其输出由三角测量来处理，以获得深度图。备选地，处理可以简化为，对两个输出进行处理以获得到眼睛的距离，或者将部分深度图主要约束到眼睛区域。光源13可以在眼睛成像期间(例如，提供一般照明或角膜反射)使用。光源13备选地可以用于缩短概览画面的曝光时间，如上所述。

b)第一成像设备12是较高分辨率CMOS型传感器，并且第二成像设备14是较低分辨率CMOS型传感器。第一成像设备12提供眼睛像。通过在由来自光源13构造或编码的光照射观看者99的头部的同时操作第二成像设备14，来创建深度图。作为示例，图3示出了通过研究周期性点图案根据入射角如何在多个表面上变换(例如，通过重新缩放和剪切)，该图案如何用于测量场景中多个点处的深度。

c)第一成像设备12是较高分辨率CMOS型传感器，第二成像设备14是渡越时间传感器。在这种类型的传感器中，光源13优选地被模块化并与渡越时间传感器同步。

负责提供眼睛像的一个或更多个成像设备可以具有有限的数据输出速率(如以每单位时间的像素为单位)，继而限制给定图像尺寸下的帧速率。如在本公开的其他部分中讨论的，具有递归型方法的凝视跟踪算法(例如，作为输入数据的一个或更多个在前眼睛画面连同当前眼睛画面一起贡献于当前凝视点值)缺乏足够的输入数据(例如，代替在前眼睛画面的像)来完成期望精度下的初始凝视点计算。为了修正这一点，根据本发明的示例实施例，以增大的帧速率捕获眼睛画面的突发串，这能够通过约束图像面积来实现。具体地，这可以包括仅从受约束区域(或者可能地，在连续画面之间略微不同的多个受约束区域)读出数据，受约束区域占据成像设备中光敏面的面积的至多10％。对于图像面积约束技术的一般讨论，参照WO2004/45399，虽然与本发明的降低唤醒时间的问题不相关。

为了说明这一点，图2示出了与关联于处理器11的两个不同成像设备12、14的全传感器表面30有关的受约束区域31的定位。在附图中，受约束区域31定形为并行于全传感器表面30定向的矩形。这种定向的优点在于受约束区域31与传感器表面30中最少数目的行和列相交，这减少了空白行和空白列的数量，使得有效载荷占据从每个成像设备12输出的数据的更大百分比。可以由概览画面并且通过在概览画面中搜索视觉特征(眼眉、瞳孔、鼻子等)或者通过搜索典型地在眼睛区域中或接近眼睛区域找到的深度图案(鼻子轮廓、眼眶等)来指导每个受约束区域31的尺寸和位置。在对包围眼镜区域或眼镜区域中基准点的位置的边界框加以限定的概览画面中，可以以坐标形式输出概览画面中的搜索结果。然后，将这些坐标转换为相关成像设备12的光敏面中的等同坐标。在图2所示的情况下，由于不同定向，从相同概览画面的转换可以具有不同的特性。

现在参照图4，示出了根据示例实施例的凝视跟踪系统中用于控制计算机设备的方法。该方法包括：响应于来自计算机设备的输入装置的凝视跟踪激活信号，离开401凝视跟踪系统的低功率模式；捕获403观看者的头部的至少一部分的概览画面，并且在概览画面中定位观看者的眼睛区域；以及使用至少一个传感器以第一帧速率捕获405观看者头部的至少一部分的多个画面，从至少一个传感器在受约束区域中读出数据，受约束区域根据眼睛区域位置定位并且共同占据光敏面的面积的至多10％。该方法还包括：仅基于来自多个画面的信息并且可选地基于来自概览画面的附加信息，确定407视觉显示器上观看者的第一凝视点值；基于第一凝视点值向计算机设备提供409第一控制信号；并且使用至少一个传感器以低于第一帧速率的第二帧速率捕获411观看者头部的至少一部分的其他画面。该方法还包括以下步骤：针对另一画面，基于来自该另一画面的信息以及附加地基于来自至少一个在前画面的信息确定413视觉显示器上观看者的另一凝视点值；并且基于另一凝视点向计算机设备提供415另一控制信号。

结合本文提出的流程图描述的方法可以在计算机可读介质中实现，计算机可读介质包括用于使可编程处理器执行所描述的方法的指令。“计算机可读介质”包括但不限于任何易失性或非易失性介质，例如，RAM、ROM、CD-ROM、NVRAM、EEPROM、闪速存储器等。指令可以实现为一个或更多个软件模块，可以由其自身或与其他软件相结合执行。

现在简要概括具有递归或有记忆特性的凝视点确定算法的几个示例，以确定第一凝视点值G1(或者初始凝视点确定的数目)和后续凝视点值G2、G3、G4等。在这些示例中，算法任意使用在唤醒突发串期间以增大的帧速率捕获的三个眼睛画面B1、B2和B3以及该突发之后以正常帧速率捕获的其他眼睛画面N1、N2、N3。N1(N2)可以指代当要确定(第三)凝视点值G2(G3)时可用的最新眼睛画面。在一些示例中，不同算法可以用于一方面计算第一凝视点值G1并且另一方面计算后续凝视点值G2、G3、G4。

在表1中关于其针对不同凝视点的输入数据来描述使用三个眼睛画面来确定一个凝视点的第一示例算法。

该算法可选地使第一凝视点值G1基于来自概览画面的贡献。由于第一凝视点值G1是基于以增大的帧速率捕获的眼睛画面来计算的，因此可以在较早点处输出。为了计算后续凝视点值G2、G3、G4，以凝视点更新频率捕获其他眼睛画面就足够。应注意，由于增大的帧速率导致B1、B2、B3几乎同步；因此，即使B3是来自突发串的最近眼睛画面，也可以设想在B1或B2中任一个具有比B3质量高的情况下，在计算第三凝视点值G3时利用B1或B2。可以通过文献中描述的质量指标之一来自动测量质量。该算法还可以利用所有三个B1、B2、B3来确定第二和第三凝视点值G2、G3，然而优选地考虑到三个B1、B2、B3的并非最近的时间，对于第三凝视点应用比第二凝视的小的权重。

第二示例算法在确定后续凝视点值G2、G3、G4时使用在前凝视点值作为输入。对于第一凝视点值G1，任一在前凝视点值属于不同的测量时间段并且不会有帮助。取而代之，第一凝视点值G1通过第一示例算法的手段来计算。表2示出了第二示例算法的操作。

第三示例算法从单独的眼睛画面导出凝视点猜测。该算法从唤醒突发串期间以增大的帧速率捕获的三个眼睛画面B1、B2、B3导出凝视点猜测g(B1)、g(B2)、g(B3)，并且从突发串之后以正常帧速率捕获的其他眼睛画面N1、N2、N3导出凝视点猜测g(N1)、g(N2)、g(N3)。可以通过本领域中已知的方法(例如，PCCR)计算凝视点猜测。第三示例算法通过对猜测进行过滤来计算凝视点值。例如，如上所述，可以通过平均来获得凝视点值。表3示出了第三示例算法的操作。

这里，Bx(By)表示来自突出串被分配最高(次高)质量指数的眼睛画面。可选地，第三示例算法使第一凝视点值G1附加地基于从概览画面导出的信息。如果当前凝视点猜测与在前凝视点猜测间隔超过预定阈值距离或阈值角度，则凝视点确定可以拒绝根据平均的当前凝视点猜测。这是证明扫视或类似的突然移动。凝视跟踪系统10然后可以禁止更新当前凝视点值，并且取而代之收集另一眼睛像，使得足够数目(例如，3)的凝视点猜测可用于在期望精度下输出新凝视点值。

实施例

本发明的有利实施例还包括以下：

1.一种凝视跟踪系统中用于控制计算机设备的方法，所述凝视跟踪系统包括布置为接收来自观看者头部的光的至少一个传感器，其中：

响应于来自所述凝视跟踪系统处所述计算机设备的输入装置的凝视跟踪激活信号，离开所述凝视跟踪系统的低功率模式；

使用所述至少一个传感器以第一帧速率捕获观看者头部的至少一部分的多个画面；

基于来自所述多个画面的信息，确定所述观看者的第一凝视点值；

基于所述第一凝视点值提供第一控制信号；

使用所述至少一个传感器以比所述第一帧速率低的第二帧速率捕获所述观看者头部的至少一部分的其他画面；

基于来自所述其他画面的至少一个的信息，确定所述观看者的另一凝视点值；并且

基于所述另一凝视点提供另一控制信号。

2.根据实施例1所述的方法，还包括：在捕获所述多个画面之前，捕获观看者头部的至少一部分的概览画面，并且在概览画面中定位观看者的眼睛区域，其中可选地基于来自概览画面的附加信息确定第一凝视点值。

3.根据实施例1或2所述的方法，其中：

所述至少一个传感器包括布置为接收来自观看者头部的光的光敏面；

通过从所述至少一个传感器在受约束区域中读出数据来捕获所述多个画面，其中，受约束区域根据眼睛区域位置来定位，并且受约束区域的共同占据光敏面的面积的至多10％；并且

通过从光敏面的受约束少或不受约束的区域读出数据捕获所述其他画面。

4.根据实施例1至3中任一个所述的方法，其中：

第一凝视点的确定基于来自所述多个画面的信息，并且可选地基于来自概览画面的附加信息；并且

另一凝视点的确定基于来自所述其他画面的信息，并且附加地基于来自至少一个在前画面的信息。

5.一种凝视跟踪系统(10)，包括：

至少一个传感器(12)，具有布置为接收来自观看者头部的光的光敏面，所述至少一个传感器选择性地在第二帧速率或第一帧速率下可操作；以及

处理器(11)，配置为在凝视跟踪系统的低功率模式中，通过执行以下操作对凝视跟踪激活信号(A)的接收进行相应：

-使凝视跟踪系统离开低功率模式；

-使用所述至少一个传感器捕获观看者头部的至少一部分的多个画面，从所述至少一个传感器以第一帧速率读出数据；

-基于来自所述多个画面的信息确定所述观看者的第一凝视点值；

-基于所述第一凝视点值提供第一控制信号；

-使用所述至少一个传感器捕获观看者头部的至少一部分的其他画面，从所述至少一个传感器读出比所述第一帧速率低的第二帧速率；

-针对每个其他画面，基于所述其他画面中的至少一个确定所述观看者的另一凝视点值；并且

-基于所述另一凝视点值提供另一控制信号。

6.一种用于控制与视觉显示器相关联的计算机设备(20)的凝视跟踪系统(10)，所述系统包括：

至少一个传感器(12)，具有布置为接收来自视觉显示器的观看者头部的光的光敏面，所述至少一个传感器选择性地可操作于以第二帧速率从光敏面读出，或者以比所述第二帧速率高的第一帧速率从受约束区域读出；以及

概览成像设备(14)，配置为捕获观看者头部的至少一部分的概览画面，

其特征在于，处理器(11)配置为在凝视跟踪系统的低功率模式中通过执行以下操作对接收到来自所述计算机设备的输入装置(22)的凝视跟踪激活信号(A)进行响应：

-使凝视跟踪系统离开低功率模式；

-使用所述概览成像设备捕获观看者头部的至少一部分的概览画面，并且在概览图像中定位观看者的眼睛区域；

-使用所述至少一个传感器捕获观看者头部的至少一部分的多个画面，从所述至少一个传感器以第一帧速率在受约束区域中读出数据，在所述受约束区域中找到观看者眼睛的图像，并且受约束区域的共同占据光敏面的面积的至多10％；

-仅基于来自所述多个画面的信息并且可选地基于来自概览画面的附加信息，确定视觉显示器上所述观看者的第一凝视点值；

-基于所述第一凝视点值向计算机设备提供第一控制信号；

-使用所述至少一个传感器捕获观看者头部的至少一部分的其他画面，从所述至少一个传感器以第二帧速率读出数据；

-针对每个其他画面，基于所述其他画面并且附加地基于至少一个在前画面，确定所述观看者的另一凝视点值；并且

-基于所述另一凝视点值向计算机设备提供另一控制信号。

等同物、扩展、备选方案和杂项

在研究以上描述之后，本发明的其他实施例对于本领域技术人员变得显而易见。尽管本说明书和附图公开了实施例和示例，但是本发明不限于这些特定示例。在不背离由所附权利要求限定的本发明范围的前提下进行多种修改和变型。权利要求中出现的任何附图标记不应理解为限制它们的范围。

上述公开的系统和方法可以实现为软件、固件、硬件或其组合。在硬件实现方式中，以上描述中所引述的功能单元之间的任务划分不必对应于物理单元的划分；相反，一个物理组件可以具有多个功能，并且一个任务可以通过若干物理组件和合作来执行。参照以上讨论，应强调凝视跟踪系统可以以在主机计算机设备的操作系统下执行的硬件、软件或中间件来实现。特定组件或所有组件可以实现为由数字信号处理器或微处理器执行的软件，或者可以实现为硬件或专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时介质)和通信介质(或暂时介质)。对本领域技术人员公知的，术语计算机存储介质包括以用于信息(例如，计算机可读指令、数据结构、程序模块或其他数据)存储的任一方法或技术实现的易失性和非易失性、可拆卸和非可拆卸介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪速存储器或其他存储技术、CD-ROM、数字万能盘(DVD)或其他光盘存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备、或可以用于存储期望信息并且可以由计算机访问的任何其他介质。此外，本领域技术人员公知的是，通信介质典型地实现计算机可读指令、数据结构、程序模块或模块化数据信号(例如，载波或其他传输机制)中的其他数据，并且包括任何信息传送介质。

Claims (13)

1.一种凝视跟踪系统中用于控制与视觉显示器相关联的计算机设备的方法，其中，所述凝视跟踪系统跟踪所述视觉显示器上的凝视点，所述凝视跟踪系统包括具有光敏面的至少一个传感器，所述方法包括：

在所述凝视跟踪系统处响应于来自所述计算机设备的输入装置的凝视跟踪激活信号，离开所述凝视跟踪系统的低功率模式；

捕获观看者头部的至少一部分的概览画面，并且在概览画面中定位观看者的眼睛区域；

基于概览画面使用光敏面的第一区域以第一帧速率捕获观看者头部的至少一部分的多个画面，所述第一区域根据眼睛区域来定位；

仅基于所述多个画面并且基于概览画面，确定所述观看者的第一凝视点值；

基于所述第一凝视点值向计算机设备提供第一控制信号；

在提供第一控制信号之后使用所述光敏面的第二区域以比所述第一帧速率低的第二帧速率捕获观看者头部的至少一部分的多个其他画面，其中所述光敏面的第二区域大于所述光敏面的第一区域；

基于来自所述多个其他画面的其他画面并且基于来自所述多个画面的画面，确定所述观看者的另一凝视点值；并且

基于所述另一凝视点值向计算机设备提供另一控制信号。

2.根据权利要求1所述的方法，其中，第一帧速率与第二帧速率之间的比率至少为2。

3.根据权利要求1所述的方法，其中：

通过对所述多个画面中的画面或从所述多个画面中的画面中导出的量进行联合滤波并且基于来自概览画面的附加信息，确定所述第一凝视点；并且

通过对所述其他画面和所述多个画面中的画面或从所述多个画面中的画面中导出的量进行联合滤波，确定所述另一凝视点值。

4.根据权利要求3所述的方法，其中：

确定所述另一凝视点值的步骤包括同时对从一个或更多个画面导出的凝视点猜测进行滤波；并且

在确定所述另一凝视点的步骤中的滤波是以凝视点猜测的最大漂移为条件的。

5.根据权利要求1所述的方法，其中，通过从表示至少一个传感器的光敏面面积的至少50％的区域读出数据，来捕获概览画面，其中，至少一个传感器优选地在降低分辨率模式中操作。

6.根据权利要求1所述的方法，其中，概览画面由与所述至少一个传感器不同的成像设备来捕获，优选地通过以下之一来捕获：

从深度感测系统接收数据；

从RGB型摄像机接收数据；

从近红外摄像机接收数据。

7.根据权利要求1所述的方法，其中，凝视跟踪激活信号直接触发凝视跟踪系统中的中断，或者凝视跟踪激活信号是USB请求。

8.根据权利要求1所述的方法，其中，凝视跟踪激活信号是从非凝视型的输入装置接收的，优选地，身体姿势检测器、声学换能器、触摸检测器、指针设备或身体接近检测器型的输入装置。

9.一种计算程序产品，由用于控制与视觉显示器相关联的计算机设备的凝视跟踪系统来执行，所述产品包括具有指令的计算机可读介质，所述指令使凝视跟踪系统执行权利要求1所述的方法。

10.一种用于控制与视觉显示器相关联的计算机设备的凝视跟踪系统，其中，所述凝视跟踪系统跟踪所述视觉显示器上的凝视点，所述系统包括处理器，所述处理器与以下按照通信方式连接：

至少一个传感器，具有光敏面，所述至少一个传感器选择性地可操作于使用光敏面的第一区域以第一帧速率捕获画面，或者使用光敏面的第二区域以第二帧速率捕获画面，其中，所述第二帧速率低于所述第一帧速率，并且其中，所述第二区域大于所述第一区域；以及

概览成像设备，配置为捕获观看者头部的至少一部分的概览画面，

其中，处理器配置为在凝视跟踪系统的低功率模式中，通过执行以下操作来响应于接收到来自所述计算机设备的输入装置的凝视跟踪激活信号：

使凝视跟踪系统离开低功率模式；

使用所述概览成像设备捕获观看者头部的至少一部分的概览画面，并且在概览图像中定位观看者的眼睛区域；

使用所述光敏面的第一区域以第一帧速率捕获观看者头部的至少一部分的多个画面，其中在所述第一区域中要找到观看者眼睛的图像；

仅基于所述多个画面并且基于概览画面，确定所述观看者的第一凝视点值；

基于所述第一凝视点值向计算机设备提供第一控制信号；

在提供第一控制信号之后使用光敏面的所述第二区域以第二帧速率捕获观看者头部的至少一部分的多个其他画面；

基于来自所述多个其他画面的其他画面和来自所述多个画面的画面，确定所述观看者的另一凝视点值；并且

基于所述另一凝视点值向计算机设备提供另一控制信号。

11.根据权利要求10所述的凝视跟踪系统，还包括：滤波器，配置为基于观看者头部的多个画面或者从所述多个画面导出的量并且基于来自概览画面的附加信息，提供凝视点值。

12.根据权利要求10所述的凝视跟踪系统，其中，概览成像设备与所述至少一个传感器兼容，并且优选地通过在降低分辨率模式中操作所述至少一个传感器来捕获概览画面。

13.根据权利要求10所述的凝视跟踪系统，还包括：中断管脚，配置为从计算机设备的输入装置接收凝视跟踪激活信号。