CN108697321B - 用于在限定操作范围内进行视线跟踪的装置 - Google Patents

Abstract

提供用于在限定操作范围内进行视线跟踪的系统和装置。该装置包括至少一个光学系统，该光学系统能够捕获由复合照明源产生的波长范围内的辐射。该装置还包括创建复合照明源的至少一组照明源，其中：照明源中的至少一个相对于光学系统被定位成，使得其确保在装置操作范围的起点处的用户亮瞳孔反应；并且复合照明源尺寸使得它在用户的眼睛上产生在装置操作范围的终点处能够由光学系统区分的普尔钦斑。该装置还包括用于激活和去激活至少一个复合照明源的照明控制器、以及用于传输从至少一个光学系统产生的图像的信号处理控制器。

Description

用于在限定操作范围内进行视线跟踪的装置

相关申请的交叉引用

本申请要求于2015年12月31日提交的美国临时专利申请No.62/273,681的优先权，其内容通过引用并入于此。

技术领域

下文涉及用于视线跟踪的系统和装置。更特别地，涉及最小硬件复杂性装置设计以及结合该设计的视线跟踪系统。

背景技术

1962年首先在[1]中报道了虽然处于非常受约束的环境中也能够远程确定视线方向的能力。1974年，在[2]中公开了允许用户在1 ft³头戴装置(head box)中自由活动的用于远程视线跟踪和瞳孔测量的装置。给定对用户施加的限制以及它们的降低便携性，作为研究工具，上述两种装置的使用受到限制。

通过采用对象眼睛的红外照明(在本文中称为主动-IR)，视线跟踪装置利用所谓的亮瞳孔反应、暗瞳孔反应或两者[3]。与充足图像处理相结合，其能够显著提高视线估计处理的鲁棒性和准确性。

在主动-IR照明下的亮瞳孔反应是根据摄影学的更广为人知的红眼效应的红外等效，其在用于照射场景的光源被定位成接近相机的光轴时发生，从而从视网膜产生回射。但是，在摄影学中这是不希望的效果，在主动-IR视线跟踪范例中，这是一种改进瞳孔的可探测性的手段。亮瞳孔反应通过将红外照明源定位成在相机镜头附近或与相机镜头同轴(轴上)而获得。相反，暗瞳孔反应通过将红外照明源定位在远离成像装置的光轴(离轴)的最小距离处而获得，避免产生亮瞳孔反应。

在通常的实践中，如[4]中所公开的，使用同轴和离轴红外照明器的串联以确保视线跟踪准确性和鲁棒性。这种装置配置是用于现有商业视线跟踪解决方案的当前实际解决方案。同时使用同轴和离轴照明器需要用于在两者之间切换的控制电路、以及用于处理连续图像采集的同步模块。

仅同轴的方法不太常见，在[5]中公开的一种这样的系统和方法限于单眼视线跟踪并且假定场景被约束于眼睛区域。使用这种方法使瞳孔检测变得简单直接，因为它依赖于在给定其预期尺寸的情况下瞳孔是图像中的最明亮对象。然而，受约束视场(FOV)和亮瞳孔反应的内在变化性极大地限制了可以使用这种系统的操作条件。

在[6]中首次公开了一种用于利用由仅同轴解决方案提供的小形状因数同时缓解上述限制的解决方案。这样做时，其揭露了将受益于这种简化的视线跟踪装置的另外方面。特别地，使执行视线跟踪所必须的照明源的数量和传感器分辨率最小化。现有装置仍然需要大量照明源来起作用，并且需要高分辨率传感器以对所有要求组成部分成像。应当理解，即使当描述由一个复合照明源(例如单个离轴源)组成的装置时，现有装置也使用大量单个源来创建所限定复合源，以试图确保在图像中检测到用户眼睛的期望组成部分。

发明内容

下文的目的是提供一种能够提供仍然包含足够细节以允许视线跟踪系统使用它们的低分辨率图像的装置。此外，本公开的目的是限定具有确保期望眼睛组成部分在所述图像中可检测到所必须的最少数量照明源的装置。

在一个方面，提供了一种用于在限定操作范围内进行视线跟踪的装置。该装置包括至少一个光学系统，所述至少一个光学系统能够捕获由复合照明源产生的波长范围内的辐射。该装置还包括创建复合照明源的至少一组照明源，其中：照明源中的至少一个相对于光学系统被定位成使得其确保在装置操作范围的起点处的用户亮瞳孔反应；并且复合照明源尺寸使得在用户的眼睛上产生在装置操作范围的终点处能够由光学系统区分的普尔钦斑(Purkinje image)。该装置还包括用于激活和去激活至少一个复合照明源的照明控制器、以及用于传输从至少一个光学系统生成的图像的信号处理控制器。

附图说明

现在将仅参照附图通过示例描述实施方式，其中：

图1A示出主动-IR视线跟踪中使用的主要人眼特征。

图1B示出因为当入射光束撞击人眼时发生的反射而产生的四个普尔钦斑。

图2的A-C示出所公开的装置的实施方式。

图3的A-C示出所公开装置的另外实施方式。

图4示出装置和用户眼睛之间的关系以便其满足亮瞳孔要求。

图5的A-B示出对照明源尺寸和成像传感器分辨率的约束，以便分辨反射点。

图6示出本文所公开的系统和装置的实施方式。

图7示出本文所公开的系统和装置的另一实施方式。

具体实施方式

同轴亮瞳孔视线跟踪的可行性取决于使所提供的同轴亮瞳孔系统和用户环境满足多个标准：

·最小可行传感器空间分辨率，

·照明器尺寸/定位，以及

·图像质量。

最小可行传感器空间分辨率

视线跟踪系统依赖于准确提取眼睛的特定图像特征的能力，使用这些来估计在任何给定时刻的用户的注视点。因此，所使用的传感器满足最小分辨率约束是必要的，以使其能够在整个操作范围内区分给定场景内的所述图像特征(image aspect)。

图1A示出眼睛100以及它的多个关键组成部分。特别是，瞳孔102在虹膜内是可见的，其由限定角膜表面和巩膜之间的边界的角膜缘104界定。在该区域{104∪102}内，照明源在角膜上产生镜面反射106。

虽然可以结合我们所描述的装置使用任何数量的图像特征来跟踪视线，但是装置设计关注确保针对其余特征集合的图像质量和分辨率的两个关键图像特征：瞳孔104和角膜反射点(glint)106。角膜反射点指的是系统的照明源在角膜的前表面和后表面上的反射，另外被称为第一和第二普尔钦斑(或者P1和P2，参见图1B)。我们关注这些图像特征，因为它们被假定为对应于最小感兴趣图像特征。因此，能区分瞳孔和角膜反射点的系统应该能够分辨所有其它图像特征。这通过图像分辨率和图像质量约束来实现。现在，关注图像分辨率。

应当注意，照明源在人眼的多个表面上产生反射。最感兴趣的反射是命名为普尔钦斑的那些，在图1B中示出。从普尔钦斑1(P1)到普尔钦斑4(P4)，这些分别对应于从以下表面的反射：角膜的前表面、角膜的后表面、晶状体的前表面和晶状体的后表面。大多数主动视线跟踪系统(即，使用照明源；与依靠外部照明来照射场景的被动系统相反)使用四个普尔钦斑的不同组合，因为它们提供高精度，并且比其它图像特征在图像中更容易区分。直观地，当光传播通过眼睛的这些多个表面时，其强度降低。因此，前两个反射P1和P2通常是最可见的且可提取的。我们将这两个一起提及是因为它们通常不能被我们限定的装置区分。由于角膜的前表面和后表面的折射特性，在给定光线的方向上发生最小偏差。此外，由于本系统的低分辨率，成像的反射通常对应于由合并P1和P2产生的复合反射。

关于瞳孔，该装置应该能够贯穿所限定操作范围检测用户的瞳孔。为此，必须考虑瞳孔直径的变化性：根据[7]，对于大多数人群来说，瞳孔的直径在2-8mm之间变化。这没有考虑到通过角膜观察该瞳孔而引起的缩小。正因为如此，可以假定瞳孔在其最小时的直径约为1mm。然后可以将瞳孔建模为具有由瞳孔组成的波峰和由背景噪声组成的波谷的1D正弦信号。那么该信号的波长将为2mm。

至少，感兴趣的信号在装置的空间分辨率范围内必须是可辨别的；也就是说，信号在像素空间中必须是可区分的。根据奈奎斯特-香农采样定理，我们知道，如果采样频率大于信号频率的两倍，信号才能被表征。因此，在其操作范围的终点处，我们的装置的空间分辨率(SR)至少如下：

*符号被附加到该计算中，这是因为虽然理论上准确，但空间分辨率可能仍然太低。用于确保信号可由成像系统辨别的一般准则是利用至少3个像素而不是2个像素对其成像。那么，瞳孔空间分辨率约束可以被计算为：

回到角膜反射点标准，它贯穿装置的操作范围应该也是可区分的。这里特别重要的是反射点不过度地遮挡用户的瞳孔。为了解决这个问题，装置的实施方式可以限制照明源尺寸，使得反射点不大于每个维度的瞳孔信号的尺寸的25％，使得在遮挡下准确提取瞳孔图像特征是可行的。注意，这表示2D瞳孔信号具有比反射点信号大16倍的面积。虽然该比率可以被认为是相当大的，但是它在光学中说明可能导致镜面反射看起来更大的未知因素。

为了考虑采样约束，可以将角膜反射点106建模为具有由反射点最大值组成的波峰和由瞳孔强度背景组成的波谷的1D正弦信号。假定照明源近似圆形或正方形尺寸，并且由于角膜反射的近镜面性质，这假定针对角膜反射点的高斯信号。重复上述空间分辨率约束，我们可以限定反射点信号空间分辨率约束如下：

图5示出对照明源尺寸208的这些约束。图5的A示出因为反射点小于传感器的单个像素，所以具有传感器分辨率500的光学系统不能正确地检测反射点106的情况。图5的B示出因为反射点在所述距离处显著大于像素尺寸，所以具有传感器分辨率500的光学系统能够检测反射点106的情况。

这里在反射点和瞳孔约束之间存在关键区别：因为反射点是点源反射，所以它包含由我们装置的光学系统的点扩散函数(PSF)引起的不可忽略附加扩散。此外，因为它是反射，所以它会趋向于过饱和，并且会比场景中的其它物体产生大得多的背景对比度。由于这些原因，本文描述的装置的实施方式应该能够考虑理论空间分辨率约束，并且在图像中仍然是可区分的。这已经过实验测试，并且发现是这种情况。也就是说，假定一定程度的PSF增加信号，可以使用理论最小值。换句话说，PSF可以充当上述“准则”，以添加额外像素用于“安全”。

应当注意，角膜反射点的尺寸直接与照明器的尺寸成比例(这将在下面进一步讨论)。然而，由于上面提到的遮挡问题，装置的实施方式可以将最小空间分辨率固定为常数。因为很明显，我们装置的实施方式的限制性空间分辨率约束是反射点信号，所以我们可以将系统空间分辨率约束表述为：

应当理解，反射点信号空间分辨率约束可以以更高反射点-瞳孔遮挡为代价被放宽。所描述的装置的范围不应受限于该固定陈述。

照明器尺寸/定位

照明器尺寸受两个标准约束：所选传感器空间分辨率以及对亮瞳孔反应的定位要求。对于根据本文描述的所限定装置能够进行视线跟踪的系统，其将需要通过这两个约束。

图2示出所描述装置200的多个实施方式。这些实施方式全部包含至少2个组件：光学系统202和由独立照明源204组成的复合照明源。复合照明源尺寸由206限定，它确保其角膜反射贯穿操作范围由光学系统成像。此外，每个照明源与光学系统之间的距离208确保了贯穿操作范围存在亮瞳孔反应。

在图2的A中，描述了装置的非常简单的实施方式。这里，复合照明源由两个照明源204组成，这两个照明源相对于光学系统202对称地定位，使得它们中的每一个离光学系统202一距离208。这产生了为尺寸206的有效照明源，是208的两倍。使用相对于传感器对称放置的仅两个照明源对装置的操作范围产生限制，因为在期望亮瞳孔反应的区域和能够检测到反射点的距离之间总会存在折衷。这些将在下面进一步解释。

空间分辨率约束

对于所选最小空间分辨率(在操作范围的终点处的空间分辨率)，照明器尺寸必须使得角膜反射点是可见的且是可提取的。如前所述，照明器的尺寸需要在操作范围的终点处允许其角膜反射大于一个像素。给定终点范围空间分辨率SR_min和操作范围的终点D_z，max，可以通过考虑从用户的角膜产生的镜面反射来计算最小照明器尺寸。为此，角膜可以被建模为凸面镜，并且镜面反射被视为照明器从所述凸面镜反射的真实图像的尺寸。因此，使用凸面镜特性：

其中，f_eye是我们眼睛模型的焦距，D_z，max是距离，操作范围的最大距离(即，离所述凸面镜的物距)，d_image是所确定的实际图像的距离。注意，我们的焦距的符号很重要；因为处理凸面镜，所以f_eye应该是负的。

最后，获得角膜反射点的尺寸：

h_{illuminator，sr}对应于照明器一侧的尺寸，为公制单位，并且λ_glint，min/2是在D_z，max处的预期反射点尺寸。假定照明器是近似正方形的，并且因此h_{illuminator，sr}是对照明器在其两个轴上的尺寸的合理估计。应当注意，虽然可以增加照明器尺寸，以增加能够检测到角膜反射点的距离(并且因此增加D_z，max)，但是这将影响反射点对瞳孔的遮挡效果。

“同轴”定位约束

除了上述空间分辨率约束之外，照明器定位受可获得亮瞳孔反应的最大照明器-传感器距离限制。该反应发生如下：照明源光线被传输穿过人眼，从脉络膜和视网膜上皮反射，并且被传输回到照明源。仅当照明源是同轴的或几乎同轴的时，亮瞳孔反应才是明显的，导致高百分比的照明源光线直接传输到光学系统中。当照明器进一步远离传感器放置时，用户的亮瞳孔反应减弱。这主要是由于照明源、眼睛和光学系统之间的角度关系，如图4所示。

图4形象化对于在离光学系统距离208处的复合照明源的需求。为了发生亮瞳孔反应，照明源204必须与光学系统202近似同轴。对于眼睛100能够离装置的每个距离400(在限定操作范围内)，从眼睛100至照明源204和光学系统202产生的角度402必须最小。尽管没有对必要角度关系进行大规模研究以确保对所有人群的亮瞳孔反应，但是存在一般准则，并且可以在避免红眼效应(类似事件)的摄影建议中找到。为此，通常建议在给定距离处保持至少3度的角距离，以避免产生红眼。从广泛测试来看，该建议似乎太大，很可能是由于摄影师仅希望消除红眼效应而不是试图最大化该效应的事实。通过测试，已经确定在整个操作范围内角度402应该小于0.5度，以确保在操作范围内对所有用户的亮瞳孔反应。因此，给定期望操作范围的起始D_z，min，照明源能够离用于亮瞳孔反应的传感器的最大距离h_{illuminator，bp}可以被限定为：

h_{illuminator，bp}＝2*tan(θ_bp)*D_z，min

θ_bp＝0.5deg

(8)

注意，该启发方法不保证亮瞳孔反应，但是被用于试图使用户最大化，对于该用户，亮瞳孔反应贯穿操作范围将是明显的。可能对此造成影响的多个参数(例如，瞳孔收缩率、外部照明)仍然可以去除对于特定用户和场景的亮瞳孔反应。

图像质量

如前所述，对于装置的实施方式，要从光学系统提取的最小所需特征是0.5mm直径2D点源反射。这种情况提出了需要考虑的两个问题场景：

·信号始终位于其上的实际背景足够高，使得信号在背景中丢失。

·输入信号分布在传感器上的足够像素上，使得它不能从其背景中区分开。

由这些带来的图像质量要求将在下面进一步解释。

背景标准

通常，假定标准正弦信号在该范围之上达到峰值，计算MTF(调制传递函数)比率。然而，重要特征往往被更大信号(瞳孔反射的信号)包围。因此，为了确保我们的估计将此考虑在内，可以计算反射点的峰值附近所需的有效比率，以允许期望对比度。示例实施方式将考虑为3∶2的对比度。

假定信号的一维截止的峰值在下标(index)1处，并且由我们光学系统引起的主要扩散出现在下标0和2处，我们关注下标1和2之间的关系。我们期望I₁和I₂之间的对比度为3∶2。此外，我们可以预期强度I₁由瞳孔强度I_P和反射点强度I_G组成。最后，强度I₂将由瞳孔强度I_P和关于下标2的反射点强度I_G的点扩散效应PSF(D₁)I_G组成(期望PSF比率乘以该信号)。因此，我们得到以下等式：

I₁＝I_P+I_G

I₂＝I_P+PSF(D₁)I_G

(9)

因此：

I₂＝I_P+PSF(D₁)I_G

因为这是处理点源，所以可以假定

因此，对于所描述的示例实施方式，可以将关于下标2的PSF效应计算为0.66。也就是说，我们系统的点扩散函数最多应该以1∶0.66的强度比率扩散至其相邻像素。

信号扩散标准

为了确保我们的信号不丢失，应该确定能够从光学系统提取与该信号振幅等效的正弦信号。因此，我们的系统必须能够区分振幅跨整个范围并且波长等于两倍信号大小的正弦波。这里，我们将使用前面描述的实施方式空间分辨率约束，即

那么我们系统的频率截止(cutoff)为1lp/mm(线对/毫米)。因此：

使用该值和示例传感器的像素尺寸1.4μm²，计算最终要求值。重要的是要注意，因为先前要求被表述为对角线，所以将使用像素的对角线尺寸

如前所述，1像素信号的相邻像素应该不大于该信号的峰值的0.66(3∶2的比率)。因此调制传递函数(MTF)被计算为：

装置设计

返回到图2的A，显然将我们的复合照明源限制为两个源迫使在装置将获得可用图像的最小距离和最大距离之间的折衷。前者是由每个照明源离光学系统的距离206引起的，其确保了亮瞳孔反应。后者由复合照明源尺寸208(假定固定分辨率)确定，其限定了将满足最小空间分辨率的位置。

事实上，给定固定传感器分辨率，不可能对称地定位两个源并且保证能够满足期望操作范围。图2的A的设计造成的主要限制之一是灵活性：模块必须被设计成具有由h_{illuminator，bp}限定的照明源距离206以保证操作范围。然而，这样做意味着比其它配置所必需的明显更大的所需传感器分辨率或者明显更小的镜头视场(FOV)。

为了进一步阐明，我们将描述用于设计所述装置的示例过程：

1.限定期望操作范围[D_z，min，D_z，max]和用于系统起作用的最小所需空间分辨率SR_min。

2.根据装置设计，限定照明源的定位以满足操作范围。

3.限定确保满足或超越最小空间分辨率约束SR_min的传感器和镜头组合。

应当清楚，本文描述的设计主要考虑步骤2。图2的A的设计在步骤2和3之间创建额外步骤：我们必须更新空间分辨率约束以说明所限定照明源定位。这是因为在操作范围的终点处的反射点尺寸λ_glint，mm将很可能小得多，因为其从较小复合源产生。因此，SR_min必须根据较小期望反射点信号被重新限定。

值得注意的是，示例过程中的步骤3可能被进一步约束。作为示例，贯穿操作范围可能存在期望最小头戴装置。在这种情况下，传感器分辨率将需要显著增加以满足或超越SR_min。

在图2的B中，复合照明源由四个照明源204组成，再次相对于光学系统202对称地定位。然而，在该实施方式中，存在靠近光学系统的两个对称定位的源、以及远离光学系统的两个对称定位的源。这些分别限定了内部和外部源对。内部源对经由它们的距离208确保贯穿操作范围的强烈亮瞳孔反应，同时外部源对确保贯穿相同范围能够检测到反射点。通过该实施方式，两个考虑都被最大化。对于内部源对，能够经由h_{illuminator，bp}找到准确定位；对于外部源对，能够经由h_{illuminator，sr}找到准确定位。不幸的是，这使特定装置所需的照明源的数量增加一倍，这可能由于制造成本导致是不切实际的。

在图2的C中，四个照明源由相对于光学系统非对称定位的两个照明源204模拟。因此，这些中的一个位于离光学系统202一距离208处，以贯穿操作范围产生亮瞳孔反应。另一个被定位成使得复合照明源为尺寸206。可以按与图2的B类似的方式找到准确定位，经由n_{illuminator，bp}设置内部源，并且经由h_{illuminator，sr}设置两个源之间的距离。这可以最小化贯穿装置的操作范围保证亮瞳孔反应和可检测反射点所需的照明源的数量。

图3描述了一些替代装置实现。在图3的A中，光学系统202被替换为能够检测额外波长的光学系统302，以用于视线跟踪之外的目的。因此，例如，与仅检测与照明源相关联的波长范围相比，系统还检测可见光谱数据。这使得视线跟踪装置既可以用作视线跟踪系统又可以用作标准网络摄像机。在图3的B中，图2的C中所描述的系统扩展有能够检测可见光谱信息的光学系统312。因此，它用单独光学系统实现与图3的A中的装置相同的目的。在图3的C中，复合照明源由单个大照明源304限定。因此，单个照明源具有尺寸206，并且位于离光学系统202一距离208处。照明源304可以例如由高功率大尺寸LED或激光投影仪组成。

图6示出了装置逻辑600。这里，光学系统控制器602请求图像采集并且一旦采集完成就接收传感器结果。它还控制光学系统参数，诸如快门速度、模拟信号增益和帧速率。信号处理控制器604在图像被发送到视线估计系统608之前接收图像并对图像执行任何必要处理。照明源控制器606确保照明源在图像采集需要时加电。它的一个实施方式能够控制有效照明源输出功率，从而确保将正确光量发送至用户。该组件可选地连接至光学系统控制器和/或视线估计系统。如果是前者，它能够确保图像采集和照明源之间的同步，以使功耗最小化。此外，它能够经由光学系统参数模拟对用户的有效照明。这允许系统在确保有用图像的同时维持照明源尽可能低。如果是后者，照明源控制器能够接收来自视线估计系统本身的照明改变请求。这将允许图像总是被校正为视线估计系统所定义的“理想”图像。

装置的替代实施方式另外结合光学系统控制器602使用照明源控制器606，以用于经由图像差分的环境照明减法。在这种情况下，装置利用依次地交替开和关的照明源捕获图像。这样做时，“开”图像包含环境照明以及来自所描述的照明源的照明；“关”图像仅包含场景中的环境照明。对于每一对图像，“开”图像然后与“关”图像存在差异，以产生使来自其的环境照明最小化的图像。该添加可以用于使环境照明对所捕捉图像的影响最小化，从而允许装置在更极端环境照明中起作用。显而易见的是，这样的实施方式要求控制逻辑将交替照明源与图像采集同步。应当理解，差分逻辑能够由信号处理控制器604、视线估计系统608、或者由所描述装置和视线估计系统之间的单独实体来执行。

在图7中，我们看到装置逻辑的另一个实施方式。在这种情况下，视线估计系统608在装置逻辑600内。装置将视线信息直接输出到操作系统或应用700，所有计算都在装置内完成。

参考文献：

[1]A.L.Yarbus.Eye Movements and Vision.New York：Plenum，1967(originally published in Russian 1962)。

[2]J.Merchant，R.Morrissette，and J.L.Porterfield.Remote measurement ofeye direction allowing subject motion over one cubic foot of space.IEEETransactions on Biomedical Engineering，BME-21(4)：309-317，July 1974。

[3]C.Morimoto，M.Flickner，A.Amir，and D.Koons.Pupil detection andtracking using multiple light sources.Technical Report RJ 10117.IBM USResearch Centers(Yorktown，San Jose，Almaden，US)，Yorktown Heights，1998。

[4]Y.Ebisawa.Improved video-based eye-gaze detection method.IEEETransactions on lnstrumentation and Measurement，47(4)：948-955，August 1998。

[5]D.Cleveland，J.H.Cleve1and，P.L.Norloff.Eye tracking method andapparatus.July 1993.US Patent 5,231,674。

[6]N.J.Sullivan.System and method for on-axis eye gazetracking.September 2014.WO Patent App.PCT/CA2014/050,282。

[7]B.Winn，D.Whitaker，D.B.Elliott，N.J.Phillips.Factors affectinglight-adapted pupil size in normal human subjects.Invest Ophthalmol VisSci.35(3)：1132-1137，March 1994。

为简化和清楚地例示起见，在认为合适时，附图标记可以在图之间重复，以指示对应或类似元件。另外，阐述了许多具体细节，以便提供对在此描述的示例的彻底理解。然而，本领域普通技术人员应当明白，在此描述的示例可以在不需要这些具体细节的情况下来实践。在其它情况下，公知方法、过程以及组件不被详细描述，以使不混淆在此描述的示例。而且，该描述不被视为限制如在此描述的示例的范围。

应当想到，在此使用的示例和对应图表仅出于例示性目的。在不脱离在此表达的原理的情况下，可以使用不同配置和术语。例如，在不脱离这些原理的情况下，可以利用不同连接来添加、删除、修改或者布置组件和模块。

还应当想到，在此例证的执行指令的任何模块或组件可以包括或者以其它方式存取计算机可读介质(诸如存储介质、计算机存储介质)或者数据存储装置(可移除和/或不可移除)(举例来说，如磁盘、光盘或磁带)。计算机存储介质可以包括按任何方法或技术实现以用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的易失性和非易失性、可移除和不可移除介质。计算机存储介质的示例包括：RAM、ROM、FE PROM、闪速存储器或其它存储器技术、CD-ROM、数字万用盘(DVD)或其它光学存储部、磁带盒、磁带、磁盘存储部或其它磁存储装置，或者可以用于存储希望信息和可以通过应用、模块或两者存取的任何其它介质。任何这种计算机存储介质都可以是本文描述的系统和/或装置的一部分、系统的任何组件或与系统有关的组件，或者可接入或可连接至其。在此描述的任何应用或模块可以利用可以通过这种计算机可读介质存储或者以其它方式保持的计算机可读/可执行指令来实现。

在此描述的流程图和示意图中的步骤或操作只是举例。不脱离上述原理的情况下，针对这些步骤或操作可以有许多变化。例如，所述步骤可以按不同次序执行，或者可以添加、删除，或修改步骤。

尽管上面的原理已经参照特定示例进行了描述，但如在所附权利要求中概述的，本领域技术人员将清楚其各种修改例。

Claims (11)

1.一种用于通过在限定操作范围内测量亮瞳孔反应和普尔钦斑来进行视线跟踪的装置，所述操作范围的起点是光学系统与用户之间的最小距离，所述操作范围的终点是所述光学系统与所述用户之间的最大距离，所述装置包括：

a.所述光学系统，所述光学系统能够捕获由复合照明源产生的波长范围内的辐射；

b.至少两个照明源，所述至少两个照明源创建所述复合照明源，其中：

i.所述照明源中的至少一个照明源被定位成对于用户来说足够接近所述光学系统，以在所述操作范围的起点处呈现亮瞳孔反应；以及

ii.所述照明源中的至少另一个照明源被定位成使得：所述复合照明源足够大，以便以所选择的所需空间分辨率在所述用户的眼睛上产生普尔钦斑，所述普尔钦斑在所述操作范围的终点处能够由所述光学系统区分；并且所述复合照明源对于所述光学系统足够小，以使所述普尔钦斑贯穿所述操作范围区别于所述亮瞳孔反应；

c.照明控制器，所述照明控制器用于激活和去激活所述复合照明源；以及

d.信号处理控制器，所述信号处理控制器用于传输从所述光学系统产生的图像。

2.根据权利要求1所述的装置，其中，所述复合照明源包括以下中的任一个：发光二极管LED、激光器和激光投影仪。

3.根据权利要求1所述的装置，其中，所述光学系统包含RGB-IR传感器。

4.根据权利要求1所述的装置，其中，所述光学系统包含单色传感器。

5.根据权利要求4所述的装置，其中，所述单色传感器仅接受在所述复合照明源的波长范围内的辐射。

6.根据权利要求1所述的装置，其中，所述复合照明源包括相对于所述光学系统非对称地放置的两个照明源，其中，维持尺寸和定位约束。

7.根据权利要求1所述的装置，其中，所述复合照明源包括四个照明源，其中：

a.所述照明源中的两个照明源相对于光轴对称地定位，使得在所述装置操作范围的起点处产生用户亮瞳孔反应；以及

b.所述照明源中的两个照明源相对于所述光轴对称地定位，这两个照明源之间的距离在用户的眼睛上产生在所述装置操作范围的终点处能够由所述光学系统区分的普尔钦斑。

8.根据权利要求1所述的装置，其中，所述照明控制器另外接收限定所述复合照明源的发射功率的输入。

9.根据权利要求1所述的装置，其中，所述信号处理控制器另外接收限定要被修改的图像质量参数的输入，并且控制所述图像质量参数。

10.根据权利要求1所述的装置，所述装置进一步包括用于执行视线估计方法的处理单元。

11.由根据权利要求1所述的装置提供的图像数据，其中，所述图像数据包括用户的眼睛中的至少一个眼睛，

a.其中，所述眼睛包括：

i.亮瞳孔反应，或者

ii.角膜反射点，或者

iii.亮瞳孔反应和角膜反射点

b.其中，所述图像数据用于：

i.视线跟踪目的，无论是在线、离线、现场还是非现场；或者

ii.直接或间接地使用所述亮瞳孔反应、所述反射点或两者的任何其它应用。

Images