CN100589752C - 具有延长范围的操作距离的眼跟踪器 - Google Patents

Abstract

本发明涉及对至少一位受实验者(100)的眼(101、102)进行自动配准和跟踪。包括透镜结构(111、112)、掩模(120)以及图像传感器(130)的光学系统(110)接收来自包括受实验者(100)的现场的入射光(LS)并将至少一部分这种光引向图像传感器(130)，该图像传感器配准空间分布的光并因此产生原始数据(D_S)。掩模(120)适合于将透镜结构(111、112)和图像传感器(130)的基本光学传递函数改变成增强的光学传递函数，该增强的光学传递函数对于光学系统(110)与至少一位受实验者(100)之间的未知距离(R)的变化(Δ)的敏感性显著地小于基本光学传递函数。处理单元(140)适合于接收原始数据(D_S)并处理这种数据(D_S)以产生所得到的眼跟踪数据(D_EYE)，眼跟踪数据表示至少一只眼(101、102)的位置估计和/或至少一只眼(101、102)的注视方向。

Description

具有延长范围的操作距离的眼跟踪器

技术领域

本发明一般地涉及自动眼跟踪，其中跟踪精度的增强是基于光学传递函数改进(modifying)的掩模，其使眼跟踪器能够在相对较大范围的距离内进行工作。更具体地说，本发明涉及根据权利要求1的前文(preamble)所述的系统以及根据权利要求14所述的方法。本发明还涉及根据权利要求23所述的计算机程序和根据权利要求24所述的计算机可读介质。

背景技术

眼跟踪的概念在本技术领域是众所周知的，并且已经开发了许多不同的技术来完成自动眼和视线跟踪(gaze tracking)。在远程、非伸出(non-obtrusive)的眼跟踪领域，最通常使用的设计是基于瞳孔中心角膜反光点(PCCR)方法。这种方式的基本想法是使用至少一个光源并且借助于摄像机来捕获眼的一系列图像。在每个图像中，确定在角膜和瞳孔中的光源的反射(闪烁)。然后将确定的从闪烁到瞳孔中心的矢量用来估计眼睛的注视方向。另外，在PCCR眼跟踪领域内存在两种主要策略来确定(识别)在上述图像中的瞳孔。可以将光源定位成尽可能靠近摄像机的光轴。这导致由光源照射的一部分眼的视网膜将光线反射回到摄像机中，并因此在配准的图像中瞳孔显得明亮。因此基于这种策略的跟踪解决办法被分类为明亮瞳孔(bright-pupil，BP)PCCR。可替换地，可以将光源定位在离摄像机的光轴一定距离处。因此，基本上没有来自光源的光线会经由视网膜被反射到摄像机中，从而在配准的图像中瞳孔显得暗淡。因此，基于这种策略的跟踪解决办法被分类为暗淡瞳孔(dark-pupil，DP)PCCR。

是BP-PCCR还是DP-PCCR为优选的尤其(i.a.)取决于环境照明条件、受实验者的年龄以及性别，因为这些因素影响瞳孔面积。此外，BP反应受到其眼睛正被跟踪的人的人种的很大影响。例如，已经发现，西班牙裔人通常具有非常强的BP反应，而白种人具有稍微更弱的BP反应，然而仍然是相当足够的。然而，在许多情况下，亚洲人具有不充分的BP反应。因此，为了确保可靠的眼跟踪，经常希望BP-PCCR和DP-PCCR跟踪的结合。

公开的国际专利申请WO 2004/045399描述了一种系统，其中检测和跟踪眼的位置和注视方向。该系统包括摄像机和若干光源，光源分布在显示器(例如计算机屏幕)的周围。通过用来自不同光源的光顺序地照射正在观看显示器的受实验者，使得可以交替地检测眼睛的位置和注视方向。然而，为了进行这种评估，摄像机必须产生高图像质量的数据。这又需要高级光学装置、高性能图像传感器和/或很好受控的照明条件。同样非常重要的是，在跟踪操作期间，受实验者的眼要保持在焦点。为了这个目的，摄像机必须装备有自动聚焦装置或用具有相对较小数值孔径(即高光圈数)的光学系统进行操作，以达到足够大的视野深度。前一种选择使得摄像机复杂、笨重和昂贵，而后一种选择则进一步增加对图像传感器的性能要求，其是一种同样转变为成本的参数。

美国专利第5,748,371号披露了一种系统，用于增加视野深度并且降低波长灵敏度和非相关光学系统的透镜的散焦产生的象差(像差)。这种技术称作波前编码(wavefront coding)。在这里，专用光学掩模包括在非相关光学系统中。该掩模改变光学传递函数，以致它在离未改变系统的焦点内(in-focus)位置的一定范围内基本上保持恒定。所得到的中间图像的信号处理会取消掩模的光学传递改进效应，其在增加的视野深度提供了焦点内图像。虽然就基于相对简单和低成本光学装置和传感器能够获得长聚焦范围而论，这种系统是有效的，但该设计并不很好地适合于在自动眼跟踪系统中直接实施。即，在这里，眼跟踪专用图像参数(如眼位置和注视方向)必须是可导出的并且具有非常高的准确度，而基本上所有其它图像数据可以被丢弃。例如，当已经进行了眼位置的粗略估计时，眼眼踪摄像机通常移向(光学上或数字上)该位置，和/或在该位置周围的图像传感器上选择所谓的感兴趣区域(ROI)，以改善视线跟踪精度和/或将数据速率降低(reduce)到图像处理器。然而目前，没有基于波前编码的适合于允许这种类型的任何操作的设计。

发明内容

因此，本发明的目的是提供可靠(robust)且成本低的解决办法，其可以减轻上述问题并因此在离使用者相对较长范围的距离上可以进行可靠的自动眼跟踪，并且其还允许环境照明条件有相对较大的变化。

根据本发明的一个方面，该目的是通过如最初描述的系统来实现，其中光学系统进一步包括掩模，该掩模配置在至少一位受实验者与图像传感器之间。该掩模适合于将基本光学传递函数改变成增强的光学传递函数，其适合于将来自空间一点的图像传播到在图像传感器的传感器表面上的一个以上的传感元件。增强的光学传递函数还对于光学系统与至少一位受实验者之间的未知距离的变化的敏感性显著地小于基本光学传递函数。此外，处理单元适合于接收原始数据并处理这种数据以产生所得到的眼跟踪数据，眼跟踪数据又表示至少一只眼的位置估计和/或至少一只眼的注视方向。

该系统的重要优点是，可以相对简单地制作图像传感器。相对于由图像传感器配准的数据中的无用数据(干扰，noise)，该系统还是相对可靠的。此外，对于透镜结构的质量要求可以相对较低，其保证了低成本。

根据本发明此方面的一种优选的实施方式，图像传感器适合于仅仅将原始数据的高相关部分传输到处理单元。基于先前导出的眼跟踪数据和/或由连接于系统的一个或多个辅助传感器配准的数据，该处理单元又适合于选择高相关部分。因此，可以更有效地使用该处理单元的资源。

根据本发明此方面的另一种优选的实施方式，增强的光学传递函数适合于将反射自现场中单点的光投射到图像传感器的传感器表面的若干传感元件上。从而，分辨率水平得到提高，该分辨率水平高于由基本光学传递函数和传感器表面的物理传感元件密度所给出的基本分辨率水平。此外，处理单元适合于处理原始数据，以致可以以比仅仅基于眼跟踪数据(其以传统焦点内系统的基本分辨率水平由原始数据导出)可获得的最大精度更大的精度来导出眼跟踪数据。当然，这是数据质量的一种非常希望的增强。例如，就眼跟踪数据而论，任何数字变焦操作的结果得到改善。此外，可以显著降低在图像传感器上的任何有缺陷传感元件的负面影响。

根据本发明此方面的又一种优选的实施方式，处理单元适合于相对于目标形状匹配原始数据，该目标形状表示通过光学传递函数变换的通常的眼形状。从而，可以在现场有效地检测眼候选位置(candidate)。

根据本发明此方面的另一种优选的实施方式，处理单元适合于选择一部分原始数据，该部分原始数据表示在每一组传感元件周围的传感器表面上相应的感兴趣区域，其与高于匹配阈水平的目标形状具有相关性。因此，仅表示潜在有意义的信息的图像数据被传送到处理单元供进一步处理。当然，考虑到处理单元处理容量的利用，这是有效的。

根据本发明此方面的另一种优选的实施方式，处理单元适合于确定在现场中元件(element)的位置，该位置表示眼候选位置，即最初眼位置。于是，在已确定了一组候选位置以后，处理单元适合于匹配相对于眼模型(该眼模型表示通过光学传递函数变换的理想的眼形状)表示每个候选位置的原始数据的数据子集，以获得一组相关测试值。其后，基于相关测试值，处理单元适合于从候选位置组中选择至少一个候选位置，以表示至少一只眼。优选地，处理单元在这里选择具有高于阈水平的相关测试值的候选位置。因此，可以快速确定使用者的眼，以致其后可以开始跟踪。

根据本发明此方面的另一种优选的实施方式，该系统包括至少一个第一和至少一个第二光源。所述至少一个第一光源相对接近光学系统的光轴设置，并且如此定向以致发射自光源的主光束基本上与光轴一致。来自所述至少一个第一光源的光能主要分布在第一波长范围内。所述至少一个第二光源适合于将主要在第二波长范围(基本上与第一波长范围分开)内的光发射向所述至少一位受实验者。所述至少一个第二光源是配置在离成像装置的光轴一定距离处，以致由其发射的主光束相对于此光轴是离轴(off-axis)定位。因此，所述至少一个第一光源产生明亮瞳孔效应，而所述至少一个第二光源则产生暗淡瞳孔效应。

根据本发明此方面的又一种优选的实施方式，就在第一波长范围内的光而论，掩模适合于实现第一光学传递函数，并将在此范围内的光引到图像传感器的传感器表面上的第一区域。就在第二波长范围内的光而论，该掩模还适合于实现第二光学传递函数，并将在此范围内的光引到传感器表面上的第二区域。处理单元适合于基于由第一区域内的传感元件配准的原始数据的第一子集产生明亮瞳孔眼跟踪参数，和/或基于由第二区域内的传感元件配准的原始数据的第二子集相应地产生暗淡瞳孔眼跟踪参数。因此，该受实验者可以通过第一和第二光源两者恒定地被照射，同时处理单元并行地导出明亮瞳孔眼跟踪参数和暗淡瞳孔眼跟踪参数。这提供了在各种环境和条件下的高跟踪质量。

根据本发明此方面的又一种优选的实施方式，图像传感器可替换地包括第一和第二组传感元件。在第一组中的每个元件适合于检测在第一波长范围内的光，而在第二组中的每个元件适合于检测在第二波长范围内的光。与上述类似，处理单元在这里适合于基于由第一组传感元件配准的原始数据的第一子集产生明亮瞳孔眼跟踪参数，以及基于由第二组传感元件配准的原始数据的第二子集产生暗淡瞳孔眼跟踪参数。同样在这种情况下，通过第一和第二光源两者可以恒定地照射受实验者，同时并行地导出明亮瞳孔眼跟踪参数和暗淡瞳孔眼跟踪参数。优选地，在第一组传感元件中的每个元件与第二组传感元件中的至少一个元件相邻。例如，在第一和第二组传感元件中的元件可以设置成方格图案(checkered pattern)加以配置。借助于上述变换函数，由这种构造造成的原始数据中的分辨率损失可以在眼跟踪数据中得到一定程度的补偿，上述变换函数适合于以增加的图像分辨率水平产生数据。

具体地，根据本发明此方面的一种优选的实施方式，增强的光学传递函数适合于将反射自现场中单点的光投射到第一和第二组传感元件中的若干元件上。从而，可以实现分辨率水平的仿真，该分辨率水平高于由基本光学传递函数和传感器表面的物理传感元件密度给出的基本分辨率水平。处理单元适合于处理原始数据，以致可以以比仅仅基于眼跟踪数据(其以传统焦点内光学系统的基本分辨率水平由原始数据导出)可获得的最大精度更大的精度来导出眼跟踪数据。

根据本发明此方面的另一种优选的实施方式，处理单元适合于基于明亮瞳孔眼跟踪参数和/或暗淡瞳孔眼跟踪参数(例如，借助于中间(intermediate)复合表示)产生眼跟踪数据。再一次，这保证了在各种环境和条件下的可靠性和高跟踪质量。

根据本发明的一个进一步的方面，通过自动配准和跟踪至少一位受实验者的至少一只眼的方法来达到目的。在这里假设，原始数据被配准，其表示空间分布的光。进一步假设，借助于光学系统(包括透镜结构和掩模)，来自包括至少一位受实验者的现场的光已被传输到图像传感器，其中原始数据被配准。掩模适合于将透镜结构和图像传感器的基本光学传递函数改变成增强的光学传递函数，该增强的光学传递函数对于光学系统与至少一位受实验者之间的未知距离的变化的敏感性显著地小于基本光学传递函数。该方法涉及接收原始数据，以及处理原始数据以产生所得到的眼跟踪数据，该眼跟踪数据表示至少一只眼的位置估计和/或至少一只眼的注视方向。

根据以上参照所提出系统的讨论，这种方法的优点以及其优选的实施方式是显而易见的。

根据本发明的一个更进一步的方面，通过计算机程序来达到目的，其中计算机程序可直接装入计算机的内存储器，并且其包括软件，该软件用于当在计算机上运行所述程序时对上述提出的方法进行控制。

根据本发明的另一个方面，通过计算机可读介质(在其上记录有程序)来达到目的，其中程序是用来控制计算机以进行以上提出的方法。

本发明适用于在心理学和视觉研究、可用性和广告评估(例如所谓的在大商店橱窗中的注意传感器)中的所有种类的眼跟踪应用，即用于控制计算机和计算机程序。本发明还具有医疗用途：各种眼疾病和阿尔茨海默病的诊断、以及在进行激光眼外科手术时。另外，本发明可以用于自动立体显示器、模拟器、以及各种汽车的和航空电子的应用。

根据以下描述和所附权利要求，本发明的其它优点、有利特征以及应用将是显而易见的。

附图说明

现将通过披露为实施例的优选实施方式并参照附图，对本发明进行更详细的说明。

图1示出根据本发明的眼跟踪系统的示意图；

图2示出根据本发明的一种实施方式的系统的概要；

图3图解说明根据本发明的一种实施方式的照明和成像装置配置的细节；

图4是图解示出根据本发明的实施方式使用的两个波长范围之间的关系的示意图；

图5图解说明根据本发明的第一实施方式的掩模的工作原理；

图6图解说明根据本发明的第二实施方式的图像传感器的传感器区域的构造；

图7a-c图解说明根据本发明的第一和第二实施方式，明亮瞳孔图像和暗淡瞳孔图像如何可以用来确定用于受实验者眼位置估计的基础；以及

图8通过流程图图解说明根据本发明的一般方法。

具体实施方式

我们首先参照图1，其示出根据本发明的眼跟踪系统的示意图，该眼跟踪系统用于自动配准和跟踪至少一位受实验者(例如计算机系统的用户)的至少一只眼101和102。该眼跟踪系统包括光学系统110和处理单元140。

光学系统110适合于接收和配准反射自包括至少一位受实验者100的现场的入射光。为了这个目的，系统110包括图像传感器130，其适合于配准由空间分布的光表示的原始数据D_s。

光学系统110还包括透镜结构(在这里由示意性的一对透镜111和112表示)以及掩模120。根据本发明，透镜结构111、112和掩模120的具体次序可以变化。例如，掩模120可以位于整个透镜结构111、112的前面或后面，或如图1所示，可以在其中的某些元件之间。

掩模120影响来自现场的入射光LS投射到图像传感器130上的方式。具体地，我们假设，包括透镜结构111、112和图像传感器的基本光学系统具有基本光学传递函数。掩模120适合于将此基本光学传递函数改变成增强的光学传递函数，其对于光学系统110与至少一位受实验者100之间的未知距离R的变化Δ的敏感性显著地小于基本光学传递函数。

换言之，通过在光学系统110中包括掩模120扩大所提出系统的操作范围。例如，在一种其中距离R处于60cm等级的典型的眼跟踪应用中，操作范围可以扩大到大约80cm的距离范围Δ，从而眼101和102可以位于与光学系统110相隔20cm至100cm的任何地方。

然而，因为由图像传感器130那样配准的原始数据D_s并不表示在焦点处的图像内容，所以必须对原始数据D_s进行后处理以实现上述操作范围的改善。因此，处理单元140适合于接收原始数据D_s，并处理此数据，以便产生所得到的眼跟踪数据D_EYE，眼跟踪数据表示至少一只眼101、102的位置估计和/或至少一只眼101、102的注视方向。

出于效率原因，希望的是，如果处理单元140适合于相对于目标形状匹配原始数据D_s，该目标形状表示典型的眼形状，其已通过光学传递函数加以变换。从而，可以进行相关数据的最早可能的选择，即基本上在单元140进行任何其它处理以前。尤其优选的是，如果处理单元140适合于选择一部分原始数据D_s，该部分原始数据表示在每一组传感元件周围的传感器表面上相应的ROI(感兴趣区域)，其与高于匹配阈水平的目标形状具有相关性。

如果图像传感器130的传感器表面具有物理传感元件密度，则基本分辨率水平是由传感元件的数量给定，基本光学传递函数将反射自记录现场中的物体的焦点内光线投射到传感元件上。

然而，根据本发明的一种优选的实施方式，增强的光学传递函数适合于将反射自现场中单点的光投射到相对较大数目的图像传感器130的传感元件上。这使得可以仿真比由基本光学传递函数和物理传感元件密度给出的分辨率水平更高的分辨率水平。即，处理单元140适合于处理原始数据D_s，以致可以以比可获得的最大精度更大的精度来导出眼跟踪数据D_EYE，如果仅仅基于原始数据D_s以传统的焦点内光学系统的分辨率水平来进行处理可获得该最大精度。

下面我们将详细说明背后的推理。在传统光学系统中，焦点内的小件物体被成像在图像传感器上的较小的“单”点。然而，根据本发明，提出的掩模会改进光学传递函数，使其对于到要成像物体的距离变化的敏感性低于传统成像系统对于到要成像物体的距离变化的敏感性(即由基本光学传递函数给出)。提出的增强的光学传递函数适合于将小件物体成像到传感器表面的区域上，该区域大于传统成像系统中相应图像区域的面积。例如，增强的光学传递函数可以将物体一点的图像传播到图像传感器130的传感器区域的若干传感元件上，而基本光学传递函数将此点投射到单个传感元件上。

在传统光学系统中，确定小物体的准确位置有时是成问题的，例如在眼角膜中反射的闪烁。通常，这样的闪烁被成像到一个、或非常少的像素上。在闪烁的情况下，成像物体的尺寸因此最终限制了可以如何好地确定物体的质量中心(质心)。尤其是，当确定小物体图像的质量中心时，结果很大程度上取决于像素反应变化(pixel response variation)、小于100％的填充系数以及碰到有缺陷传感元件(即″死像素″)的危险。在眼跟踪应用中，这样的波动可能严重降低系统的性能。即，对于通常的操作距离，就估计的注视位置而论，重复地以一个像素错放闪烁的眼跟踪器可以容易地导致若干厘米的误差，例如在计算机屏幕上。当然，这是不可接受的。

如上所述，根据本发明的一种优选的实施方式，增强的光学传递函数适合于将来自空间中一点的图像传播到传感器表面上的一个以上的传感元件。因此，在眼角膜中反射的闪烁的情况下，在空间中定位有闪烁的点以覆盖多个传感元件的图案形式被投射到图像传感器130的传感器表面上。这意味着，通过增强的光学传递函数的理想闪烁的数学模式(pattern)可以对准(align)来自图像传感器的数据，以便发现最好的模式匹配。因为通过增强的光学传递函数的理想闪烁的模式不是离散的模式，而是连续函数，所以与在传统成像系统的焦点内捕获的图像可以确定的相比，数学上总是可以确定小闪烁的更准确的位置。因此，根据本发明的设计策略还对于上述像素反应变化、小于100％的填充系数以及具有″死像素″的危险不太敏感。

另外，可以用相反的方式应用光学传递函数是连续函数(即不是离散模式)的事实。根据本发明的一种优选的实施方式，在传统焦点内成像系统中将不会被配准、或″隐藏在像素之间″(由于相应的光线被聚焦在两个传感元件之间)的信息可以被配准。为了达到此目的，增强的光学传递函数和由图像传感器130配准的原始数据D_s的对准可以变化。起因于传感元件密度，物理上必要的是，以全像素间隔对原始数据D_s进行采样。然而，增强的光学传递函数不必对准特定的传感元件/像素位置、或甚至特定的子像素位置。代之以，此函数的原点可以被放置在每个相应维(X和Y)的任何位置，例如在X＝0.345。如果如此，将在X＝0.345、X＝1.345、X＝2.345等处对增强的光学传递函数进行采样。当然，对于Y方向相同的情况也同样有效。和由图像传感器130的传感元件密度所支持的(如果用于传统焦点内设计中)相比，这使得可以产生分辨率高许多倍的传统闪烁图像。通过以子像素间隔对增强的光学传递函数进行采样，则可以简单地实现分辨率的改善。当设计算法时可以使用相同的概念(concept)，该算法从原始数据D_s抽取眼跟踪数据。该概念可以用来获得高精度眼跟踪数据D_EYE，而不必通过产生传统图像作为措施。

当然，上述质量改善可用于所有种类的眼跟踪原理，即DP-PCCR跟踪、BP-PCCR跟踪以及其任何组合。

现简短地转向图7c，我们看到在现场中具有一位置(其是由一对坐标x、y给定)的瞳孔的示意表示。根据本发明的一种优选的实施方式，处理单元140适合于最初确定用于眼101和102的至少一只的至少一个候选位置，即粗略的x和y估计值。

然后，在已确定了一组候选位置x、y以后，处理单元140适合于相对于描述理想眼形状的眼模型匹配原始数据D_s(表示每个候选位置x、y)的不同数据子集，其已经通过光学传递函数加以变换。因此，获得一组相关测试值。其后，基于相关测试值，处理单元适合于从所述候选位置组选择至少一个候选位置，以表示至少一只眼，例如借助于阈水平。

图2示出根据本发明的一种实施方式的系统的概要，而图3图解说明根据该实施方式可以如何照射受实验者100以及他的/她的眼101和102的进一步细节。

除了以上参照图1所描述的单元110和140之外，该系统还分别包括至少一个第一光源L1和至少一个第二光源L2a和L2b。所述至少一个第一光源L1中的每一个是相对接近光学系统110的光轴A_C进行配置。此外，光源L1被定向为使得由其发射的相应的主光束B1基本上与光轴A_C相一致。因此，相对于由摄像机(其中结合有光学系统110)配准的图像，光束B1适于引起明亮瞳孔效应。

图4示出了曲线图，其表示沿水平轴的波长λ以及沿垂直轴的光谱强度l_s。来自至少一个第一光源L1的光能主要分布在第一波长范围λ_AL-λ_AU内。根据本发明，在这里基本上任何可见光或不可见光都是可能的。然而，第一波长范围优选在下端波长λ_AL(大约900nm至950nm)与上端波长λ_AU(大约1000nm)之间扩展。

所述至少一个第二光源L2a和L2b的每一个适合于将主要在第二波长范围λ_BL-λ_BU的光发射向受实验者100。和所述至少一个第一光源L1相反，每一个所述至少一个第二光源L2a和L2b配置在离成像装置110的光轴A_C一定距离d_L2处，以致由其发射的相应的主光束B2相对于该光轴A_C是离轴定位。因此，相对于由摄像机(其中结合有光学系统110)配准的图像，光束B2适合于引起暗淡瞳孔效应。

鉴于以上规定的λ_AL和λ_AU值，第二波长范围优选在下端波长λ_BL(大约400nm至800nm)与上端波长λ_BU(大约800nm至950nm)之间扩展。总之，第二波长范围λ_BL至λ_BU基本上与第一波长范围λ_AL至λ_AU分离。这意味着范围的较小重叠是可以接受的，如在曲线图中所示。

图5图解说明根据本发明的第一实施方式的掩模120是如何可以用来得益于上述明亮瞳孔效应和暗淡瞳孔效应的，该效应是在由所提出的处理装置140进行的处理中分别通过至少一个第一光源L1和至少一个第二光源L2a和L2b来实现。

在此实施例中，掩模120和透镜113适合于相对于第一波长范围λ_AL-λ_AU内的光实现第一光学传递函数，并且相对于第二波长范围λ_BL-λ_BU内的光实现第二光学传递函数。因此，在第一波长范围λ_AL-λ_AU内的光被引向图像传感器130的传感器表面上的第一区域A1，并且在第二波长范围λ_BL-λ_BU内的直射光被引向传感器表面上的第二区域A2。

为了清楚表达，在这里，第一和第二光学传递函数是分别用掩模120中的两个分开的体积(volume)121和122加以表示。然而，实际上，这些体积可以非常好地占据掩模120中的一个空间和相同空间。

此外，第一和第二区域A1和A2可以物理上彼此分开(如图5所示)、或这些区域可以或多或少重叠。如果第一和第二光学传递函数表示正交基(orthogonal bases)，那么区域A1和A2可以彼此完全重叠。

处理单元140适合于基于原始数据D_s的第一子集产生明亮瞳孔眼跟踪参数，该第一子集已被第一区域A1内的传感元件所配准。类似地，处理单元140适合于基于原始数据D_s的第二子集产生暗淡瞳孔眼跟踪参数，该第二子集已被第二区域A2内的传感元件所配准。

图6图解说明根据本发明的第二实施方式如何配置图像传感器130的传感器区域。同样在此实施方式中，该设计使由处理装置140进行的处理能够得益于明亮瞳孔效应和暗淡瞳孔效应，该效应是分别通过所述至少一个第一光源L1和所述至少一个第二光源L2a和L2b来实现。

然而，在这里，传感器130具有两种类型的传感元件，即第一组元件130a，其中每个元件(用白色方格表示)适合于检测第一波长范围λ_AL-λ_AU内的光，以及第二组传感元件130b，其中每个元件(用暗色方格表示)适合于检测第二波长范围λ_BL-λ_BU内的光。因此，第一组传感元件130a配准原始数据D_s的第一子集(表示明亮瞳孔信息)，而第二组传感元件130b配准原始数据D_s的第二子集(表示暗淡瞳孔信息)。

根据本发明的一种优选的实施方式，图像传感器115的光检测区域配置成在第一组传感元件130a中的每个元件与第二组传感元件130b中的至少一个元件相邻。因此，作为该实施方式的特殊情况，在第一和第二组传感器元件130a和130b中的元件可以配置成方格图案，如图6所示。

总之，处理单元140适合于基于原始数据D_s的第一子集产生明亮瞳孔眼跟踪参数，以及基于原始数据D_s的第二子集产生暗淡瞳孔眼跟踪参数。

为了进一步说明根据本发明的第一和第二实施方式明亮瞳孔图像和暗淡瞳孔图像是如何可以用来确定用于估计受实验者眼位置x、y的基础，我们现在参照图7a、图7b以及图7c。

图7a示出具有明亮瞳孔710的眼101。在这里，由于至少一个第一光源L1的强视网膜反射，眼101的瞳孔710显得相对明亮。也可以存在起因于至少一个光源L1的一个或多个闪烁715。

图7b示出另一只眼，其具有瞳孔710，该瞳孔在没有视网膜反射的情况下显得暗淡。然而，可以存在起因于至少一个第二光源L2a和L2b的一个或多个闪烁725。

因为由图像传感器130配准的原始数据D_s不在焦点，所以在这里在图7a或图7b本身中没有图像被配准。然而，原始数据D_s包含等价信息，其可以分成如上所述的第一和第二子集(即，分别表示明亮瞳孔眼跟踪参数和暗淡瞳孔眼跟踪参数)。因此，根据本发明的一种优选的实施方式，处理单元140适合于基于明亮瞳孔眼跟踪参数和暗淡瞳孔眼跟踪参数两者产生眼跟踪数据D_EYE。借助于合成图像，图7c对此进行了说明，其中合成图像表示从图7a中明亮瞳孔图像表示的图像内容减去图7b中暗淡瞳孔图像表示的图像内容。因此，合成图像包括来自原始数据D_s的第一子集的闪烁数据715′以及来自原始数据D_s的第二子集的闪烁数据725′。当然，在图7c中的合成图像仅需作为处理单元140中的抽象表示而存在(即，不是作为实际图像)，以便使得可以确定眼101的位置估计x、y。

总之，现将参照图8的流程图描述根据本发明的用于自动配准和跟踪至少一位受实验者的至少一只眼的一般方法。

最初步骤810接收来自包括至少一位受实验者(并且因此还假设包括至少一只眼)的现场的入射光。然后，借助于具有增强的光学传递函数的光学系统，步骤820变换入射光，其中和等效光学系统的基本光学传递函数相比，增强的光学传递函数对于提出的光学系统与至少一位受实验者之间的未知距离的变化显著地较小敏感。具体地，提出的光学系统包括透镜结构和掩模，其中掩模适合于将基本光学传递函数改变成如上所述的增强的光学传递函数。

在已通过光学系统以后，借助于图像传感器，步骤830配准空间分布的变换的光，从而完成原始数据D_s。

其后，步骤840处理原始数据D_s以产生所得到的眼跟踪数据D_EYE。该数据又表示至少一只眼的位置估计和/或至少一只眼的注视方向。

参照以上图8描述的所有过程步骤以及步骤的任何子序列可以借助于程序控制的计算机设备加以控制。此外，虽然以上参照附图描述的本发明的实施方式包括计算机设备和在计算机设备中进行的过程，但本发明还扩展到计算机程序，尤其是在载体上或载体中的计算机程序，其适合于实施本发明。该程序可以具有以下形式：源代码、目标代码、代码中间源(code intermediate source)以及诸如部分编译形式的目标代码、或具有适用于实施根据本发明的过程的任何其它形式。该程序可以是操作系统的一部分、或是单独应用程序。载体可以是能够携带程序的任何实体或装置。例如，该载体可以包括存储介质，如闪存，ROM(只读存储器)，例如DVD(数字多功能/视频盘)，CD(光盘)或半导体ROM，EPROM(可擦可编程只读存储器)，EEPROM(电擦除可编程只读存储器)，或磁记录介质，例如软盘或硬盘。另外，该载体可以是可传输载体(如电信号或光信号)，其可以通过电缆或光缆或借助于无线电或借助于其它设备加以传递。当程序体现在可以直接通过线缆或其它装置或设备加以传递的信号中时，该载体可以由这样的线缆或装置或设备构成。可替换地，该载体可以是其中嵌入程序的集成电路，该集成电路适合于进行、或用于进行相关的过程。

当在本说明书中使用时，术语“包括/包含”用来明确说明所陈述的特征、整体、步骤或组件的存在。然而，该术语并不排除存在或加入一个或多个另外的特征、整体、步骤或组件或其组合。

在本说明书中对任何在先技术的参照不是、并且不应看作是对下述的承认或任何提示：参照的在先技术在澳大利亚形成共有一般知识的一部分。

本发明并不限于在附图中所描述的实施方式，而是可以在权利要求的范围内自由地变化。

Claims (22)

1.一种用于自动配准和跟踪至少一位受实验者(100)的至少一只眼(101、102)的系统，包括：

光学系统(110)，包括：图像传感器(130)，适合于配准空间分布的光并产生所得到的原始数据(D_s)；以及透镜结构(111、112)，适合于接收反射自包括所述至少一位受实验者(100)的现场的入射光(LS)并将至少一部分所述入射光(LS)引导到所述图像传感器(130)，所述光学系统(110)具有基本光学传递函数，以及

处理单元(140)，适合于基于所述原始数据(D_s)导出眼跟踪数据(D_EYE)，

其特征在于，所述光学系统(110)进一步包括配置在所述至少一个受实验者(100)与所述图像传感器(130)之间的掩模(120)，所述掩模(120)适合于将所述基本光学传递函数改变成增强的光学传递函数，所述增强的光学传递函数适合于将来自空间中一点的图像传播到所述图像传感器(130)的传感器表面上的一个以上的传感元件，并且所述增强的光学传递函数对于所述光学系统(110)与所述至少一位受实验者(100)之间的未知距离(R)的变化(Δ)的敏感性显著地小于所述基本光学传递函数，以及

所述处理单元(140)适合于接收所述原始数据(D_s)，并处理所述原始数据(D_s)以产生所得到的眼跟踪数据(D_EYE)，所述眼跟踪数据表示所述至少一只眼(101、102)的至少一个位置估计以及所述至少一只眼(101、102)的注视方向。

2.根据权利要求1所述的系统，特征在于，所述图像传感器(130)适合于仅仅将所述原始数据(D_s)的高相关部分传输到所述处理单元(140)，所述高相关部分是由所述处理单元(140)基于先前导出的眼跟踪数据(D_EYE)和由一个或多个辅助传感器配准的数据的至少之一加以选择，所述一个或多个辅助传感器连接于所述用于自动配准和跟踪至少一位受实验者的至少一只眼的系统。

3.根据权利要求1或2中任一项所述的系统，其特征在于，所述增强的光学传递函数适合于将反射自所述现场单点的光投射到所述图像传感器(130)的传感器表面的多个传感元件上，从而仿真比由所述基本光学传递函数和所述传感器表面的物理传感元件密度所给出的基本分辨率水平更高的分辨率水平，以及

所述处理单元(140)适合于处理所述原始数据(D_s)，从而能够以比仅仅基于以传统焦点内光学系统的基本分辨率水平由原始数据(D_s)导出的眼跟踪数据(D_EYE)获得的最大精度更大的精度来导出所述眼跟踪数据(D_EYE)。

4.根据权利要求1所述的系统，其特征在于，所述处理单元(140)适合于相对于目标形状匹配所述原始数据(D_s)，所述目标形状表示由所述增强的光学传递函数变换的通常的眼形状。

5.根据权利要求4所述的系统，其特征在于，所述处理单元(140)适合于选择一部分所述原始数据(D_s)，所述选择的一部分原始数据表示在每一组传感元件周围的所述传感器表面上的相应的感兴趣区域，所述选择的一部分原始数据与高于匹配阈水平的所述目标形状具有相关性。

6.根据权利要求1所述的系统，其特征在于，所述处理单元(140)适合于确定所述至少一只眼(101、102)的至少一个候选位置，并在已确定一组候选位置(x，y)以后，所述处理单元(140)适合于：

相对于表示由所述增强的光学传递函数变换的理想眼形状的眼模型，匹配表示每个所述候选位置(x，y)的所述原始数据(D_s)的数据子集，以获得一组相关测试值，以及

基于所述相关测试值，从所述一组候选位置中选择至少一个候选位置，以表示至少一只眼。

7.根据权利要求1所述的系统，特征在于，所述用于自动配准和跟踪至少一位受实验者的至少一只眼的系统包括：

至少一个第一光源(L1)，配置成相对接近所述光学系统(110)的光轴(A_C)，所述至少一个第一光源(L1)被定向为使得由其发射的主光束(B1)基本上与所述光轴(A_C)一致，来自所述至少一个第一光源(L1)的光能主要分布在第一波长范围(λ_AL-λ_AU)内，以及

至少一个第二光源(L2a、L2b)，适合于将主要在第二波长范围(λ_BL-λ_BU)内的光发射向所述至少一位受实验者(100)，所述第二波长范围(λ_BL-λ_BU)基本上与所述第一波长范围(λ_AL-λ_AU)分开，并且所述至少一个第二光源(L2a、L2b)配置在离所述光学系统(110)的所述光轴(Ac)一定距离(d_L2)处，使得由其发射的主光束(B2)相对于所述光轴(Ac)离轴定位。

8.根据权利要求7所述的系统，特征在于，所述掩模(120)适合于，

相对于在所述第一波长范围(λ_AL-λ_AU)内的光实现第一光学传递函数并将在所述第一波长范围内的光引导到所述图像传感器(130)的传感器表面上的第一区域(A1)，以及相对于在所述第二波长范围(λ_BL-λ_BU)内的光实现第二光学传递函数，并将在所述第二波长范围内的光引导到所述传感器表面上的第二区域(A2)，以及

所述处理单元(140)适合于产生至少下述之一：

明亮瞳孔眼跟踪参数，其基于由所述第一区域(A1)内的传感元件配准的所述原始数据(D_s)的第一子集，以及

暗淡瞳孔眼跟踪参数，其基于由所述第二区域(A2)内的传感元件配准的所述原始数据(D_s)的第二子集。

9.根据权利要求7所述的系统，其特征在于，所述图像传感器(130)包括：

第一组传感元件(130a)，其中每个元件适合于检测在所述第一波长范围(λ_AL-λ_AU)内的光，以及

第二组传感元件(130b)，其中每个元件适合于检测在所述第二波长范围(λ_BL-λ_BU)内的光，以及

所述处理单元(140)适合于：

产生明亮瞳孔眼跟踪参数，其基于由所述第一组传感元件(130a)配准的所述原始数据(D_s)的第一子集，以及

产生暗淡瞳孔眼跟踪参数，其基于由所述第二组传感元件(130b)配准的所述原始数据(D_s)的第二子集。

10.根据权利要求9所述的系统，其特征在于，在所述第一组传感元件(130a)中的每个元件与所述第二组传感元件(130b)中的至少一个元件相邻。

11.根据权利要求10所述的系统，其特征在于，以方格图案配置所述第一组传感元件(130a)和所述第二组传感元件(130b)中的元件。

12.根据权利要求11所述的系统，其特征在于，所述增强的光学传递函数适合于将反射自所述现场中单点的光投射到所述第一组传感元件(130a)和所述第二组传感元件(130b)中的多个元件上，从而仿真比由所述基本光学传递函数和所述传感器表面的物理传感元件密度所给出的基本分辨率水平更高的分辨率水平，以及

所述处理单元(140)适合于处理所述原始数据(D_s)，使得能够以比仅仅基于以传统焦点内光学系统的基本分辨率水平由原始数据(D_s)导出的眼跟踪数据(D_EYE)能够获得的最大精度更大的精度来导出所述眼跟踪数据(D_EYE)。

13.根据权利要求8至12中任一项所述的系统，其特征在于，所述处理单元(140)适合于基于所述明亮瞳孔眼跟踪参数和暗淡瞳孔眼跟踪参数来产生所述眼跟踪数据(D_EYE)。

14.一种自动配准和跟踪至少一位受实验者(100)的至少一只眼(101、102)的方法，其中表示空间分布光的原始数据(D_s)被配准，借助于包括透镜结构(111、112)和掩模(120)的光学系统(110)，所述光已被从包括所述至少一位受实验者(100)的现场传输到图像传感器(130)，所述掩模(120)适合于将所述透镜结构(111、112)和所述图像传感器(130)的基本光学传递函数改变成增强的光学传递函数，所述增强的光学传递函数对于所述光学系统(110)与所述至少一位受实验者(100)之间的未知距离(R)的变化(Δ)的敏感性显著地小于所述基本光学传递函数，并且所述方法包括：

接收所述原始数据(D_s)，以及

处理所述原始数据(D_s)以产生所得到的眼跟踪数据(D_EYE)，所述眼跟踪数据表示所述至少一只眼(101、102)的至少一个位置估计和所述至少一只眼(101、102)的注视方向。

15.根据权利要求14所述的方法，其特征在于，仅仅处理所述原始数据(D_s)的高相关部分以产生所述眼跟踪数据(D_EYE)，所述方法包括基于先前导出的眼跟踪数据(D_EYE)和由一个或多个辅助传感器配准的数据中至少之一来选择所述高相关部分。

16.根据权利要求14所述的方法，其特征在于，所述增强的光学传递函数适合于将反射自所述现场中单点的光投射到所述图像传感器(130)的传感器表面的多个传感元件上，从而仿真比由所述基本光学传递函数和所述传感器表面的物理传感元件密度所给出的基本分辨率水平更高的分辨率水平，并且所述方法包括：

处理所述原始数据(D_s)，使得能够以比仅仅基于以传统焦点内光学系统的基本分辨率水平由原始数据(D_s)导出的眼跟踪数据(D_EYE)能够获得的最大精度更大的精度来导出所述眼跟踪数据(D_EYE)。

17.根据权利要求14所述的方法，其特征在于，相对于表示通过所述增强的光学传递函数变换的通常眼形状的目标形状匹配所述原始数据(D_s)。

18.根据权利要求17所述的方法，其特征在于，选择一部分所述原始数据(D_s)以表示所述原始数据(D_s)每个子集的相应的感兴趣区域，所述选择的一部分原始数据与高于匹配阈水平的所述目标形状具有相关性。

19.根据权利要求14所述的方法，其特征在于，确定所述至少一只眼(101、102)的至少一个候选位置，其后

相对于表示由所述增强的光学传递函数变换的理想眼形状的眼模型，为每个所述至少一个候选位置匹配表示所述候选位置(x，y)的所述原始数据(D_s)的相应的数据子集，以获得相应的相关测试值，以及

基于所述相关测试值，从一组候选位置中选择至少一个候选位置，以表示至少一只眼。

20.根据权利要求14所述的方法，其特征在于：

借助于配置成相对接近所述光学系统(110)的光轴(A_C)的至少一个第一光源(L1)照射所述现场，所述至少一个第一光源(L1)被定向为使得由其发射的主光束(B1)基本上与所述光轴(A_C)一致，所述至少一个第一光源(L1)发射主要在第一波长范围(λ_AL-λ_AU)内的光能，以及

借助于配置在离所述光学系统(110)的所述光轴(Ac)一定距离(d_L2)处的至少一个第二光源(L2a、L2b)照射所述现场，使得由其发射的主光束(B2)相对于所述光轴(Ac)离轴定位，所述至少一个第二光源(L2a，L2b)发射主要在第二波长范围(λ_BL-λ_BU)内的光，所述第二波长范围基本上与所述第一波长范围(λ_AL-λ_AU)分开。

21.根据权利要求20所述的方法，其特征在于，所述掩模(120)适合于变换来自所述现场的入射光(LS)，使得：

在所述第一波长范围(λ_AL-λ_AU)内的光被引导向在传感器表面上的第一区域(A1)，以及

在所述第二波长范围(λ_BL-λ_BU)内的光被引导向在所述传感器表面上的第二区域(A2)，以及所述方法包括产生以下的至少之一：

明亮瞳孔眼跟踪参数，其基于由所述第一区域(A1)内的传感元件配准的所述原始数据(D_s)的子集，以及

暗淡瞳孔眼跟踪参数，其基于由所述第二区域(A2)内的传感元件配准的所述原始数据(D_s)的子集。

22.根据权利要求21所述的方法，其特征在于，基于所述明亮瞳孔眼跟踪参数和暗淡瞳孔眼跟踪参数的至少之一，产生所述眼跟踪数据(D_EYE)。

Images