CN104853668A - 用于眼睛和注视搜索的基于平铺图像的头部位置扫描 - Google Patents

Abstract

一种眼睛追踪方法包括：通过图像传感器捕捉图像数据；确定感兴趣区域作为所述传感器的子区或不相连的子区来基于所读出的图像数据执行眼睛追踪，该感兴趣区域要从所述传感器读出；其中所述确定所述感兴趣区域包括：a）初始仅读出所述传感器区域的一部分；b）在所述初始读出部分的图像数据中搜索一个或多个特征，该一个或多个特征表示要被追踪的被摄体的眼睛位置和/或头部位置；c）如果所述搜索一个或多个特征已经成功，则基于成功搜索到的一个或多个特征的位置来确定感兴趣区域；和d）如果所述搜索一个或多个特征没有成功，则读出所述传感器的另一部分来基于所述另一部分执行搜索一个或多个特征，该一个或多个特征表示眼睛位置和/或头部位置。

Description

用于眼睛和注视搜索的基于平铺图像的头部位置扫描

技术领域

本发明涉及眼睛注视追踪，特别涉及使用基于ROI的图像获取而提高基于相机的远程眼睛追踪系统的帧速率和确定用于眼睛追踪的初始ROI位置。

背景技术

在当前的眼睛追踪系统中，对相机图像进行处理来确定一只眼睛或多只眼睛的位置和/或注视方向。这可以通过检测图像中的特征来进行。特征例如为：

·瞳孔，

·角膜反射。

对于每个特征，通常提取尺寸、轮廓和位置。后续处理从这些特征中计算处了注视矢量和注视点。

基于相机的远程眼睛追踪器为头部移动提供了大工作范围，在相机镜头的焦距固定的情况下和没有接合点来改变相机方位的情况下，工作范围必须由相机传感器完全涵盖。

由于相机总线带宽有限，系统的帧速率取决于所抓取的图像的尺寸和空间分辨率。由于大量全空间分辨率的数据，所以以全空间分辨率覆盖单个图像中的整个工作范围只允许最低帧速率。

然而，五花八门的眼睛追踪应用要求高采样速率，该高采样速率不能使用永久全空间分辨率图像获取来提供。

利用基于ROI（感兴趣区域）的图像获取来解决这一问题，因为ROI只覆盖传感器的很小一部分，所以与全空间分辨率图像获取相比，该基于ROI的图像获取允许更高的帧速率。该ROI尺寸以这样方式设置：

·ROI图像覆盖眼睛追踪所需的所有特征，和

·ROI图像获取期间的采样速率满足关于时间分辨率的系统要求。

专利EP 1 562 469 B1描述了一种解决方案，该解决方案使用基于全帧的图像获取来初始检测一只眼睛或多只眼睛在相机传感器上的位置。然后，它在一只眼睛或多只眼睛周围产生ROI以仅在该区域内追踪眼睛。这导致带宽要求降低，并因此可以用来提高相机读出帧速率。然而，这种加速并不适用于全帧的初始读出。因此，发现眼睛所需的最短时间很大程度上是由其读出全帧所花费的时间来确定。

为了发现初始ROI位置，系统以头部位置搜索模式开始，其中，通常使用基于全空间分辨率的图像获取。“头部位置搜索模式”是指在所获取的图像中搜索一个或多个特征的模式，该一个或多个特征表示眼睛或指示头部位置或眼睛位置。一旦检测到头部或眼睛，则系统继续获取一只眼睛或多只眼睛周围的ROI的ROI图像。ROI被定位在其覆盖所检测到的一只眼睛或多只眼睛的位置。

然后，系统以追踪模式继续，其中，从ROI图像中提取特征并且用于进一步处理。根据头部运动来移动ROI位置，该ROI位置取决于特征位置。如果追踪可见眼睛特征失败，则系统返回到头部位置搜索模式。

然而，各种问题继续存在。对于头部位置搜索使用基于全空间分辨率的图像获取迫使系统暂时以比系统所需的帧速率低的帧速率工作。另一方面，相机的这种低全帧速度确定了被摄体在系统前面（准备追踪）和实际开始追踪之间的时间，极其需要提高这种拾取速度并且减少系统等待时间。

而且，基于全空间分辨率的图像获取和基于ROI的图像获取之间的切换会导致许多普通相机型号的相机操作延迟，这导致了数据速率降低。

最后的问题是，由于取决于帧速率的参数，所以数据帧速率的变化使后续数据分析复杂化。

因此，本发明的一个目的是避免与基于全空间分辨率的图像获取有关的这些问题，并且尤其是减少发现初始ROI位置的时间。

发明内容

对一些实施例可以进行概括，使得存在初始头部位置或眼睛位置搜索模式，在该模式中，确定ROI，该ROI要用于后续追踪模式。在该头部或眼睛位置搜索模式中，初始只读出图像传感器的一部分，并且在只读出图像传感器的一部分中搜索一个或多个特征来检测眼睛或头部位置。如果搜索成功，则基于所述特征或其它图像分析或建模手段来确定追踪ROI。如果搜索不成功，则读出传感器的另一部分。这可以通过偏移图像传感器一个读出区域或多个区域来进行。然后，可以搜索并单独分析新读出区域。此外，这二个部分可以拼接以搜索组合的或拼接的区块图像（tile image）。读出其它部分和搜索特征的这些步骤可以重复，直到可以确定待用于追踪模式的ROI为止。在这些步骤中，没有读出全帧，但是始终仅读出整个传感器区域的一部分。

根据一个实施例，提供了一种眼睛追踪方法，包括：

通过图像传感器捕捉图像数据；

确定感兴趣区域作为所述传感器的子区或不相连的子区，以基于所读出的图像数据执行眼睛追踪，该感兴趣区域要从所述传感器读出；

其中所述确定所述感兴趣区域包括：

a）初始仅读出所述传感器区域的一部分；

b）在所述初始读出部分的图像数据中搜索一个或多个特征，该一个或多个特征表示要被追踪的被摄体的眼睛位置和/或头部位置；

c）如果所述搜索一个或多个特征已经成功，则基于成功搜索到的一个或多个特征的位置来确定感兴趣区域；和

d）如果所述搜索一个或多个特征没有成功，则读出所述传感器的另一部分，以基于所述另一部分执行搜索一个或多个特征，该一个或多个特征表示眼睛位置和/或头部位置。

与根据现有技术的读出全帧相比，因为初始仅读出传感器区域的一部分，所以这使能够更快地确定用于实际眼睛或注视追踪的感兴趣区域（ROI）。因此，系统不需要在较低的帧速率下工作。相反，系统可以以恒定的帧速率工作并且提高了拾取速度。

根据一个实施例，搜索一个或多个特征和基于所发现的特征的位置来确定所述感兴趣区域或读出其它数据的所述步骤迭代地重复，直到成功发现所述一个或多个特征的位置并且可以确定感兴趣区域为止。

这种在图像的少量部分中迭代搜索特征比在全帧图像上的相应搜索更高效，该特征表示眼睛位置和/或头部位置。

根据一个实施例，传感器数据的所述读出部分基于对于一个或多个特征执行哪种搜索而被平铺到组合图像。

将图像的读出部分平铺到组合图像增加了检测到不能在先前组合图像或图像的部分中检测到的特征的机会。

根据一个实施例，方法还包括：将成功搜索到的一个或多个特征存储在特征累加器中；分析存储在特征累加器中的特征；和基于所分析的特征确定感兴趣区域。

特征累加器使能够分析所累加的特征（诸如施加约束或知识）来消除假阳性地检测到的特征。

根据一个实施例，所述分析存储在特征累加器中的特征涉及到特征的检测时间。

特征的检测时间使能够追踪头部运动并把置信度值分配给特征，以便和来自相同区域的较老特征相比，将特权给予较新特征。

根据一个实施例，方法还包括：基于重复地从所述传感器中读出所确定的感兴趣区域和确定其中的一个或多个特征来执行眼睛追踪，其中，优选地，所述感兴趣区域的位置是基于所确定的特征的位置来调整的。

一旦发现表示眼睛位置和/或头部位置的特征，就可以确定感兴趣区域，并提供最有前景的起点用于追踪眼睛和/或头部。

根据一个实施例，所述初始仅读出所述传感器的一部分是基于最后的感兴趣区域，该最后的感兴趣区域已经用于追踪。

这可能是初始子区的“良好猜测”，特别是如果追踪已经丢失（例如，由于图像失真或在被摄体的头部没有移动的情况下的闪烁）。于是，存在初始子区包含或位于靠近所搜索到的特征位于的区域的相对较高的似然。

根据一个实施例，当（或即使尽管）没有关于一个或多个特征的信息存在时，执行所述初始仅读出所述传感器区域的一部分，该一个或多个特征表示要被追踪的被摄体的眼睛位置和/或头部位置。

初始仅读出图像的一部分使能够显著减少被摄体在系统前面（准备追踪）和实际开始追踪之间的时间。该途径与现有技术相反，在现有技术中，当在图像中没有关于特征的信息可用时，读出整个图像，并且该现有技术是基于现有技术范例，该现有技术范例要求整个图像必须被读出，以便捕捉任何可能的特征位置。

根据一个实施例，所述初始仅读出所述传感器区域的一部分是基于先前有效头部位置、提供关于头部位置的信息的外部输入、或描述头部位置似然的概率密度函数，该头部位置似然提供先验或者在追踪当前被摄体或多个被摄体期间产生。

根据一个实施例，所述读出所述传感器的另一部分包括：根据统计选择另一部分，该统计确定具有覆盖用户头部的最高概率的另一部分。

这样，与利用纯粹地随机选择另一部分相比，有更好的机会用于检测特征。

根据一个实施例，所述读出所述传感器的另一部分包括：逐行地、逐线地、随机地、伪随机地、围绕中心的径向地、或围绕中心的螺旋形地选择另一部分。

根据一个实施例，所述搜索图像数据包括：在所述初始读出部分的图像数据中搜索一个或多个特征，该一个特征或多个特征表示要被追踪的多个被摄体的眼睛位置和/或头部位置。

所述读出所述传感器的另一部分包括：与先前读出部分相比，改变另一部分的尺寸。

根据一个实施例，所述搜索图像数据包括：使用所述初始读出部分的图像数据的水平或垂直或水平和垂直组合绑定、跳过、或亚采样来加速搜索。

根据一个实施例，一种眼睛追踪系统包括：

传感器，该传感器用于捕捉图像数据；

模块，该模块用于确定感兴趣区域作为所述传感器的子区或不相连的子区，以基于所读出的图像数据执行眼睛追踪，该感兴趣区域要从所述传感器读出；

其中，用于确定感兴趣区域的所述模块还包括：

a）模块，该模块用于初始仅读出所述传感器区域的一部分；

b）模块，该模块用于在所述初始读出部分的图像数据中搜索一个或多个特征，该一个或多个特征表示要被追踪的被摄体的眼睛位置和/或头部位置；

c）模块，该模块用于如果所述搜索一个或多个特征已经成功，则基于成功搜索到的一个或多个特征的位置来确定感兴趣区域，和

d）模块，该模块用于如果所述搜索一个或多个特征没有成功，则读出所述传感器的另一部分，以基于所述另一部分执行搜索一个或多个特征，该一个或多个特征表示眼睛位置和/或头部位置。

根据一个实施例，眼睛追踪系统包括用于执行根据本发明的先前限定的实施例的其中一个的方法的一个或多个模块。

根据一个实施例，提供了一种计算机程序，该计算机程序当在计算机上执行时，使所述计算机能够执行一种根据本发明实施例中的其中一个的方法。

附图说明

图1示意性地示出了被拆分成区块的传感器区域。

图2示意性示出了头部位置搜索模式和追踪模式。

图3示意性地示出了使用区块拼接扫描头部位置的方法。

图4示意性地示出了使用专用区块扫描头部位置的方法。

图5示意性地示出了不同区块尺寸。

图6示意性地示出了逐线方式的区块路径。

图7示意性地示出了与图6方向相反的逐线方式的区块路径。

图8示意性地示出了螺旋形区块路径。

图9示意性地示出了径向区块路径。

图10示意性地示出了区块边缘：对齐、交叠、或有间隙。

具体实施方式

下面将对本发明的实施例稍微更详细进行描述。下面描述的用于眼睛或注视追踪的实施例可以仅用于确定和追踪眼睛位置或注视本身的目的，或者它们可以应用于各种领域（诸如市场研究、心理学、包括手术在内的医学应用、控制应用、模拟器和通常作为人机接口的一部分）。

系统开始于头部位置搜索模式。该模式的目的是确定初始ROI位置，该初始ROI位置可以用于后续追踪模式。一旦检测到使系统能够确定头部或眼睛位置并从头部或眼睛位置（即用于追踪模式的ROI的初始位置）推断出的足够特征，这种转换就可以实现。

使用区块拼接扫描头部位置

根据一个实施例的眼睛或注视追踪系统开始于头部位置搜索模式。该模式的目的是发现初始感兴趣区域（ROI）位置，该初始感兴趣位置可以用于后续追踪模式。在头部位置搜索模式中，系统搜索眼睛、瞳孔、角膜反射、或眼睛或头部的任何其它特征，该眼睛或头部的任何其它特征用于确定眼睛或头部的位置并且基于此来识别或确定初始ROI位置以用于后续追踪模式。就此而言，参照图1，图1是示出了被拆分成部分或区块（tile）11的传感器区域10的示意图。

在头部位置搜索模式中，系统使用基于ROI的图像获取，其中，读出传感器区域10的部分或区块11。传感器区域的部分或区块在下面将被指定为区块。

仅读出图像区域的区块与现有技术相反，在现有技术中，当在图像中没有关于特征的信息可用时，读出整个图像，并且该现有技术基于现有技术范例，该现有技术范例要求整个图像必须被读出，以便捕捉任何可能特征位置。

区块11的位置从一个获取步骤改变到下一个获取步骤。这样做的一种方式可以是使连续的区块11彼此相邻。结合附图6-9下面将对区块11的读入序列的不同选项进行描述。区块11被聚集成拼接的区块图像。该拼接的区块图像也可以被称为组合图像。在每个步骤期间，眼睛追踪或头部追踪所需的特征是从拼接的区块图像中提取出来的。一旦特征与生理约束（例如如果搜索到的特征是瞳孔，则为瞳孔的形状）匹配，初始ROI位置就被发现并且系统切换到追踪模式。

就此而言，还可以参照图2，图2示出了头部位置搜索模式和追踪模式。在头部位置搜索模式中，读入新区块并与本拼接的区块图像聚集，然后对其特征进行分析。如果特征搜索成功，则从本拼接的区块图像中确定初始ROI图像并且进入追踪模式，否则该方法返回到初始步骤。

确定用于追踪模式的ROI可以例如恰好在于使用平铺图像作为用于追踪的ROI。可选地，表示眼睛位置的所发现的特征的位置可以用来根据眼睛位置周围的特定方案（例如通过选择如由特征所确定的眼睛位置周围的预定尺寸的正方形或矩形）来确定ROI。

在追踪模式中，分析ROI图像所需的特征。如果已经发现所需的特征，则重定位ROI图像；否则再次进入头部位置搜索模式。

进一步参照图3，图3示出了使用区块拼接扫描头部位置。在头部位置搜索模式的第一步骤中，初始化区块位置。然后，获取区块、整合到本拼接的区块图像中、并且执行图像处理。如果发现所需的特征，则进入追踪模式，同时从拼接的区块图像中确定ROI图像。否则，图像参数可以被调整（例如增益控制）。如果整个图像都已经被处理，则重置拼接的区块图像并重新开始该处理过程，否则重定位区块并且重新进入第二步骤，在该步骤中，获得区块。

可选地，作为重置对应于整个传感器区域的整个凭借的区块图像的替代，没有重置拼接的区块图像并且从图像传感器迭代地读出新区块，该新区块替换拼接的区块图像中的相应区块。

在追踪模式中，对ROI图像（初始从拼接的区块图像中确定的）进行采集和处理。如果所发现的特征与生理约束匹配，则追踪继续进行并且重定位ROI，否则重新进入头部位置搜索模式。

最后，确定注视参数（诸如注视矢量和注视点）。

使用专用区块扫描头部位置

作为使用参照图3描述的前述使用区块拼接扫描头部位置的替换，图4示出了使用专用区块扫描头部位置。

在头部位置搜索模式中，系统使用基于ROI的图像获取，如使用区块拼接扫描头部位置一样，其中，读出传感器区域10的区块11的一部分（参见图1）。对于每个获取步骤改变区块位置。

单个区块的区块布局可能太小而不能包含对应于头部和/或眼睛或一双眼睛的所有特征。因此从区块中提取特征并且存储在特征累加器中作为候选特征。下面将对特征累加器进行描述。因此不需要将先前访问的区块保持在拼接的区块图像中。因此，图像处理在较小的图像区域上操作，这减少了处理工作。

将特征添加到特征累加器之后，检查所有累加的候选特征以查找与生理约束的匹配。这种生理约束可以是例如由特征所表示的两只所发现的眼睛之间的距离、瞳孔的尺寸和形状、特征位置、或在相邻区块中发现的它们的部分（例如，在一个区块中发现的一半瞳孔而在相邻的区块中发现另一半瞳孔等）。一旦特征与约束条件匹配，初始ROI就可以被确定并且系统切换到追踪模式。该追踪如关于图3中使用区块拼接扫描头部位置所描述的一样进行操作。

在可选实施例（未示出）中，通过使用如图3中的区块拼接和如图4中的专用区块这两者进行扫描头部位置。这种途径可以组合专用区块途径的处理工作减少的优点和再次在扩展的区块图像上搜索丢失特征的可能性。

特征累加器

根据一个实施例的特征累加器是一数据库，该数据库包含几何特性（如从对每个专用区块的图像处理中所提取的特征的位置和尺寸）。附加信息（如曝光时间、置信度和区块特性）被附加到每个特征数据集。

特征累加器的目的是例如：

·分析所累加的特征直至最后以切换到追踪模式并确定用于追踪模式的初始ROI位置，

·选择后续区块以继续进行头部位置搜索模式。

为了检测头部位置，检查所累加的特征的几何和生理约束，例如通过使用以下一项或多项：

·从眼睛的生理模型与相机和照明二极管的几何设置计算出照明光路。由此，可以导出对角膜反射和瞳孔的位置的约束并且应用到所累加的特征，

·头部移动速度的知识用来根据到该特征的最后已知位置的空间和时间距离排除假阳性检测到的特征，

·双眼眼距用来根据左眼和右眼的特征之间的距离范围排除假阳性地检测到的特征。

一旦系统检测到合理的特征，系统切换到追踪模式。用于追踪模式的初始ROI以其包括公认的特征的方式进行定义。

特征累加器可以应用于使用区块拼接扫描头部位置和使用专用区块扫描头部位置这两者中。

区块尺寸

图5示出了优选地应用于专用区块（图4）但也可用于区块拼接（图3）的不同区块尺寸。如图5所示，区块尺寸可以为：

·恒定，

·不恒定（例如通过合并可以相继被抓取的两个相邻的区块以覆盖较大的水平或垂直区域）。

初始区块定位

根据实施例，存在以头部位置搜索模式搜索的不同的实例化方式，该头部位置搜索模式可以应用于区块拼接（图3）和专用区块（图4）：

·静态：从中间开始、或在存在立即发现头部位置的高概率的位置处开始

·基于最后追踪位置

·基于外部信息（例如，基于网络相机面部检测结果），该外部信息可以用于眼睛位置的逼近

区块路径

图6-9示出了根据实施例的在头部位置搜索模式期间相继读入区块的不同路径，该头部位置搜索模式可以应用于区块拼接（图3）和专用区块（图4）。

后续抓取的区块的顺序影响时间直到发现头部位置为止。相继抓取区块的顺序可以如下或以其它适当的形式：

·最简单的：逐行、逐线，

·围绕中心的螺旋形，

·围绕最后追踪的位置的螺旋形，

·围绕中心的径向，

·围绕最后追踪的位置的径向，

·基于概率密度函数的采样，

·随机或伪随机。

区块边缘

在头部位置搜索模式中，该头部位置搜索模式可以应用于区块拼接（图3）和专用区块（图4）。区块这样被定义，它们的边缘为

·交叠，或

·对齐，或

·区块之间有间隙。

使用交叠的边缘简化了接近ROI边界的特征的检测。因此，避免了由特征覆盖的并由ROI边界细分的区域的复杂化。

图9示出了区块边缘（从底部到顶部）：对齐、交叠或有间隙。

追踪模式

一旦头部位置搜索成功并且已经确定了用于追踪的ROI，系统就切换到追踪模式。

根据一个实施例，尽管系统保持处于追踪模式，它还是以一种方式产生用于区块拼接（图3）或专用区块（图4）的开始区块的统计，这种方式为：具有发现头部位置的最高概率的区块可以首先使用在头部位置搜索模式中。

追踪ROI是根据头部位置运动进行移动。当系统不能检测ROI内的所需的特征时，它切换回到头部位置搜索模式。

根据一个实施例，头部位置搜索模式以其扫描多个用户的追踪体积的方式进行修改。为此，头部位置搜索模式计算出所有特征周围的多个区块，该所有特征匹配生理和几何约束。为每个被摄体生成一个初始区块位置。

追踪模式以处理从头部传递位置搜索模式中传递的多个ROI的方式进行修改，每个被摄体一个ROI。每个ROI根据被摄体的头部运动进行移动。

如果在一个ROI中没有眼睛特征可用，则系统停止追逐特定对象的头部运动。只要有包含眼睛特征的ROI可用，系统就不切换回到头部位置搜索模式。

如果没有包含眼睛特征的任何ROI存在，则系统切换回到头部位置搜索模式。

根据一个实施例，尽管在追踪模式中，系统扫描追踪ROI外部的区域永久地用于额外的用户。这等同于头部位置搜索模式来实现。这意味着，对于多个用户追踪，系统同时以头部位置搜索模式和追踪模式运行。

使用多个ROI来提高采样速率

为了提高采样频率和/或降低追踪模式中的带宽，根据一个实施例，多个较小的ROI可以用来替换更大的一个，从而放置并调节ROI的尺寸以适合检测任务所需的特征。例如，一个小ROI可以居中位于每只眼睛上，而不是单个ROI位于两只眼睛上。两个ROI的面积之和小于大ROI的区域。这是通过不抓取预期是鼻梁的区域来实现。降低所抓取的区域尺寸提高了采样帧速率。

分辨率降低

绑定、（行和/或列）跳过、或亚采样可以用来降低空间分辨率并且提高帧速率。在头部位置搜索模式中使用这种分辨率降低的手段允许（与全分辨率传感器读出相比）：

·通过使用具有相同采样频率的更大的区块，覆盖较大的传感器区域。这提高了发现特征的概率，

·当使用具有更高采样频率的相同区块尺寸时，可以较早地检测出头部位置相关的特征并且系统可以更快地切换到追踪模式。

绑定

由于所处理的像素的数量减少，所以将相邻像素的信号添加到图像传感器中减少了图像处理工作。邻近可以是水平的、竖直的、或者是两者兼有，并且可以添加任何数量的相邻像素或可以组合它们的信号，但是典型的模式包括2×1（水平相邻的2个像素）、1×2（垂直相邻的2个像素）、2×2（水平、垂直和对角相邻的4个像素）、4×1、1×4、4×4等。

绑定可以在传感器级别上进行、在每个像素的模拟或数字输出上进行、或以软件形式或通过设备驱动程序数字地进行。

跳过

在像素输出处的部分读出没有被读取、没有被传输或者根据特定的空间循环方式（例如但不限于每隔一个像素垂直地、水平地、或两者兼有形式跳过）恰好被忽略。

这可以在传感器级别上执行、以软件形式执行、或两者兼有形式执行。

亚采样类似于绑定，但不添加这些信号，而是根据滤波函数组合这些信号；在最简单的情况下，这种滤波函数在于平均包含在亚采样邻近模式中的所有像素的输出。

更复杂的方式包括双三次插值、Lanczos插值等。

邻近模式类似于用于绑定的模式，即2×1、1×2、2×2、4×4等。

亚采样可以数字地或模拟地在传感器级别上执行、或以软件形式数字地执行、或两者兼有的方式执行。

在下文中，描述了一些实施例。

1）一种系统，包括：

a）能够捕捉图像的一个或多个图像传感器或光敏元件阵列；接收并处理由所述光敏元件阵列捕捉的图像的处理单元或CPU；

b）一种方法，该方法用于通过使用所述系统获取的图像、识别和检测用户眼睛的一个或多个特征（例如但不限于瞳孔、角膜和虹膜、巩膜、角膜缘、视网膜、血管、光源反射）来确定一个或多个用户眼睛的一个或多个参数；

c）一种用户眼睛和眼睛追踪系统的模型，该模型用来使在所述图像（多个）中检测到的实际特征（多个）与所选择的参考坐标系中的用户眼睛的实际位置（多个）、方位（多个）和尺寸相关联；

d）一种搜索方法，该搜索方法用于在以任意给定采样间隔使用所述图像传感器或光敏元件阵列的仅部分读出的同时，确定一个或多个用户眼睛的位置；其中部分读出由读取或收集光敏元件仅一个子集或阵列/图像传感器的子区或多个子区（感兴趣区域或ROI）的输出组成。

2）实施例1），该实施例1）可以包括或不包括一个或多个发光元件。

3）实施例1-2，其中，一些形式的分辨率降低（诸如绑定或跳过或亚采样）可以根据水平或垂直或水平和垂直组合形式来使用或不使用，以选择性地减少传输或处理的像素的数量。

4）实施例1-3，其中，搜索方法尝试大体上定位或识别光敏元件的（子）集中的或由部分读出所限定的ROI中的至少一个所述特征的至少一部分，该部分读出在给定的采样间隔内发生。

5）实施例1-4，其中，ROI的尺寸和形状可以设置为恒定值。

6）实施例1-5，其中，ROI的尺寸和形状可以在不同的时间周期内被动态地改变。

7）实施例1-6，其中，搜索方法在于在处理单元的内存中拼接或组合在不同的采样间隔内捕捉的所述部分读出中的一个或多个，以形成待处理图像传感器的光敏元件的较大的（子）集来如实施例4中的一样大体上定位或识别至少一个所述特征的至少一部分。

8）实施例1-6，其中，位于ROI中的这些特征或其部分连同所述特征的相关特性一起可以存储在特征累加器中或计算单元中的存储空间中，所述特征的相关特性可以包括：特征的位置、尺寸、（部分）形状、检测时间；ROI帧尺寸和位置。

9）实施例8，其中，生理和几何约束应用于存储在特征累加器中的特征以排除假阳性检测、以从一个或多个部分片段中重建特征的完整形状、并以所述连同所述模型来大体上确定用户头部的位置和/或方位和/或一只或多只眼睛的位置和/或方位。

10）实施例9，其中，一个或多个所述特征的检测时间可以用来为特征确定置信度值，该置信度值可以用来与来自相同区域或ROI的较老特征相比将特权给予较新特征。

11）前述实施例，其中，特征的检测时间可以用来确定一个或多个头部或一只或多只眼睛的运动速度并且所述速度（多个）可以用来以将来时间间隔追踪和/或预测头部（多个）和眼睛（多个）的位置，其中所述预测可以用来确定所述ROI（多个）的将来位置（多个）。

12）前述实施例，其中，一个或多个ROI的位置可以被静态地定义：

a）在传感器的中部，

b）在传感器的角落，

c）在具有发现头部位置的高概率的位置。概率取决于已经离线产生的头部位置统计。

13）前述实施例，其中，一个或多个ROI的位置可以被动态地定义：

a）基于最后有效头部位置，

b）基于提供关于头部位置的信息的外部输入，

c）基于在追踪当前被摄体或多个被摄体期间产生的概率密度函数。

14）前述实施例，其中，一个或多个ROI在后续时间间隔内的运动路径大体上取决于统计，该统计确定具有好到用户头部（多个）、眼睛（多个）及其特征的最高概率的专用位置。

15）实施例14，其中，所述运动路径大体上遵循螺旋形路径。

16）实施例14，其中，所述运动路径大体上遵循径向路径。

17）权利要求14所述的方法，其中，所述运动路径大体上遵循系统性逐行或逐列路径。

18）实施例14，其中，所述运动路径大体上遵循随机或伪随机路径。

19）前述实施例，其中，在后续时间间隔内假设的ROI位置可以交叠或可以不交叠。

20）前述实施例，其中，在后续时间间隔内假设的ROI位置可以具有或可以不具有对齐的边缘来最小化整个传感器读出区域。

21）前述实施例，其中，多个ROI被特别创建并且用来同时检测并追踪一个以上的用户的一只或多只眼睛。

22）前述实施例，其中，ROI根据相应的被摄体头部运动进行移动。

23）前述实施例，其中，对于ＲＯＩ能够在后续帧中检测用来识别一只或多只用户眼睛的一个或多个特征，移动ROI以便对每个用户的头部和眼睛运动进行预测和追踪。

24）前述实施例，其中，定位或移动ROI以便搜索并检测潜在新用户或暂时丢失用户。

25）前述实施例，其中，与单个ROI相比，多个ROI用来通过居中接近用户（多个）的眼睛的预期位置来大幅度地减少传感器区域读出。

26）实施例25，其中，一个ROI位于用户左眼中心的附近，一个ROI位于用户右眼中心的附近，并且预期是用户的鼻梁的区域没有被读出。

Claims (15)

1.一种眼睛追踪方法，包括：

通过图像传感器捕捉图像数据；

确定感兴趣区域作为所述传感器的子区或不相连的子区，以基于所读出的图像数据执行眼睛追踪，该感兴趣区域要从所述传感器读出；

其中所述确定所述感兴趣区域包括：

a）初始仅读出所述传感器区域的一部分；

b）在所述初始读出部分的图像数据中搜索一个或多个特征，该一个或多个特征表示要被追踪的被摄体的眼睛位置和/或头部位置；

c）如果所述搜索一个或多个特征已经成功，则基于成功搜索到的一个或多个特征的位置来确定感兴趣区域；和

d）如果所述搜索一个或多个特征没有成功，则读出所述传感器的另一部分，以基于所述另一部分执行搜索一个或多个特征，该一个或多个特征表示眼睛位置和/或头部位置。

2.权利要求1所述的眼睛追踪方法，其中

搜索一个或多个特征和基于所发现的特征的位置来确定所述感兴趣区域或读出其它数据的所述步骤迭代地重复，直到成功发现所述一个或多个特征的位置并且能够确定感兴趣区域为止。

3.权利要求1或2所述的眼睛追踪方法，其中

传感器数据的所述读出部分基于对一个或多个特征执行哪种搜索而被平铺到组合图像。

4.权利要求1或2所述的眼睛追踪方法，该眼睛追踪方法还包括：

将成功搜索到的一个或多个特征存储在特征累加器中；

分析存储在特征累加器中的特征；和

基于所分析的特征确定感兴趣区域。

5.前述权利要求所述的眼睛追踪方法，其中

所述分析存储在特征累加器中的特征涉及到特征的检测时间。

6.前述权利要求中的其中一项所述的眼睛追踪方法，该眼睛追踪方法还包括：

基于从所述传感器中重复地读出所确定的感兴趣区域和确定其中的一个或多个特征来执行眼睛追踪，其中，优选地，所述感兴趣区域的位置是基于所确定的特征的位置来调整的。

7.前述权利要求中的其中一项所述的眼睛追踪方法，其中

所述初始仅读出所述传感器的一部分是基于最后的感兴趣区域，该最后的感兴趣区域已经用于追踪。

8.前述权利要求中的其中一项所述眼睛追踪方法，其中

当没有关于一个或多个特征的信息存在时，执行所述初始仅读出所述传感器区域的一部分，该一个或多个特征表示要被追踪的被摄体的眼睛位置和/或头部位置。

9.权利要求1-7中的其中一项所述的眼睛追踪方法，其中

所述初始仅读出所述传感器区域的一部分是基于先前有效头部位置、提供关于头部位置的信息的外部输入、或描述头部位置似然的概率密度函数，该头部位置似然提供先验或者在追踪当前被摄体或多个被摄体期间产生。

10.前述权利要求中的其中一项所述的眼睛追踪方法，其中

所述读出所述传感器的另一部分包括：根据统计选择另一部分，该统计确定具有覆盖用户头部的最高概率的另一部分。

11.前述权利要求中的其中一项所述的眼睛追踪方法，其中

所述读出所述传感器的另一部分包括：逐行地、逐线地、随机地、伪随机地、围绕中心的径向地、或围绕中心的螺旋形地选择另一部分。

12.前述权利要求中的其中一项所述的眼睛追踪方法，其中

所述搜索图像数据包括：在所述初始读出部分的图像数据中搜索一个或多个特征，该一个特征或多个特征表示要被追踪的多个被摄体的眼睛位置和/或头部位置。

13.前述权利要求中的其中一项所述的眼睛追踪方法，其中

所述读出所述传感器的另一部分包括：与先前读出部分相比，改变另一部分的尺寸。

14.前述权利要求中的其中一项所述的眼睛追踪方法，其中

所述搜索图像数据包括：使用所述初始读出部分的图像数据的水平或垂直或水平和垂直组合绑定、跳过、或亚采样来加速搜索。

15.一种眼睛追踪系统，包括：

传感器，该传感器用于捕捉图像数据；

模块，该模块用于确定感兴趣区域作为所述传感器的子区或不相连的子区，以基于所读出的图像数据执行眼睛追踪，该感兴趣区域要从所述传感器读出；

其中，用于确定所述感兴趣区域的所述模块还包括：

a）模块，该模块用于初始仅读出所述传感器区域的一部分；

b）模块，该模块用于在所述初始读出部分的图像数据中搜索一个或多个特征，该一个或多个特征表示要被追踪的被摄体的眼睛位置和/或头部位置；

c）模块，该模块用于如果所述搜索一个或多个特征已经成功，则基于成功搜索到的一个或多个特征的位置来确定感兴趣区域，和

d）模块，该模块用于如果所述搜索一个或多个特征没有成功，则读出所述传感器的另一部分，以基于所述另一部分执行搜索一个或多个特征，该一个或多个特征表示眼睛位置和/或头部位置。