CN104094280A - 用于高分辨率视线跟踪的系统和方法 - Google Patents

Abstract

本发明提供一种安装在眼镜或头戴装置内的系统，其不易察觉地产生并跟踪观察者的一只眼睛或两只眼睛表面上的参考位置，从而改善视线跟踪的精度。该系统利用多个照明源和/或多个摄像机生成并观察自多个方向的闪光。多个照明源和摄像机的使用能够补偿头部的复杂三维几何形状以及个人之中出现的头部和眼睛区域的显著解剖变异。该系统连续跟踪眼镜或头戴装置的初始位置和任何滑动。此外，多个照明源和摄像机的使用能够在眼睛运动通过其整个生理范围时，保持高精度、动态眼睛跟踪。而且，设置在装置佩戴者的正常视线中的照明源通过产生接近于装置佩戴者的视轴线的参考向量，提高视线跟踪的精度。

Description

用于高分辨率视线跟踪的系统和方法

关于联邦政府资助的研究和开发的声明

在本发明中，美国政府可能具有付费许可，并可能具有在有限情况下，以合理条款要求专利权人许可他人的权利，如关于美国国防部(美国陆军)合同号W81XWH-05-C-0045、美国国防部国会研究倡议号W81XWH-06-2-0037、W81XWH-09-2-0141和W81XWH-11-2-0156以及美国运输部国会研究计划倡议协议奖No.DTNH 22-05-H-01424所提供的条款。

技术领域

本发明涉及用于产生精确视线跟踪的设备、系统和方法，其使用不易察觉的眼镜或头戴装置以用于眼睛监测和/或控制应用。

背景技术

本文的系统和方法利用机器视觉技术跟踪正被观察者观看的位置和/或物体。传统地，视线跟踪算法已经被认为需要两个连续的数据流，以产生跟踪结果：1)在我们三维世界内定位头部的位置和方向的头部跟踪方法，以及2)眼睛跟踪方法，其沿着瞳孔的边缘以及眼睛表面上的其他可识别参考点检测照明源产生的闪光(glint)，以计算眼睛相对于这些闪光的摆角和观看方向。为进行精确视线跟踪，使用不易察觉的眼镜或头戴装置，连续监测该装置的位置(相对于眼睛表面)(所述装置自身包括固定到该装置的所有摄像机和照明源)，是解释头部解剖的个体变异以及使用期间眼镜或头戴装置的少量运动的额外输入。

涉及机器视觉的应用正变得越来越普遍。在某种程度上，这是由于电子和软件开发产业技术进步以及摄像机、信息处理单元和其他电子组件成本降低的结果。尤其是，视线跟踪正越来越多地用于若干诊断、人类行为和控制应用中。少量的示例包括监测个人疲劳程度、评估驾驶员或飞行员意识、评估药物或酒精的影响、诊断创伤后的应激障碍、跟踪人类不同年龄的行为、确定性能训练或锻炼的效果、通过测量眼部停留时间而评估电视广告或网页设计的效果、放大或改变被观察具体对象或图像(包括词语和句子)的亮度、控制游戏的各个方面、获得基本临床数据以评估神经或认知障碍、诊断和监测退化性眼疾以及允许颈部以下受限或不可动的个人通过使用一只或更多只眼睛和眼睑控制计算机图标来通信。利用视线跟踪的部门和行业包括军、医药、安保、人力绩效、游戏、运动医学、康复工程、公安、科研实验室和玩具业。

在几乎所有情况下，视线跟踪精度的提高使得大多数应用的性能和易于使用性增强。例如，利用提高的精度，能够更加精确地测量量化更小物体或物体组件的位置和固定时间的眼部停留时间。视线跟踪能够更有效地与便携式装置连用，所述便携式装置利用更小的屏幕，其包括移动电话和手持式显示器。当视线跟踪用于控制计算机图标包括屏幕内若干虚拟物体或图标的选择时，可选择物体的数量的增加能够同时显示，这是由于选择较小虚拟物体或图标的能力。选择过程的每个阶段内增加数量的物体可以增加虚拟物体和相关动作能够被选择的效率(即，选择阶段的数量减少和/或时间减少)。

随着现代微电子技术和微光学的出现，将用于视线跟踪的组件不易察觉地安装在包括装置(如美国专利No.6163281、6542081或7488294、7515054中公开的那些装置)的眼镜(例如，眼镜框)或头戴装置(例如，头盔，口罩，护目镜，虚拟现实显示器)上是可能的。与头部跟踪相关的方法在2011年5月20日提交的申请号13/113003中公开，其中，在所述方法中，一个或更多个安装有装置的场景摄像机用于跟踪我们环境内的参考位置。基于摄像机图像的照明控制相关的方法在2010年3月1日提交的申请号12/715177中公开，该申请的美国公开号为2011/0211056。与测量装置佩戴者的响应和反应时间相关的方法在2011年5月20日提交的申请号13/113006中公开；其中如在本申请中描述的空间精度的改善可有助于改进反应时间测量的时间精度。

眼睛表面上的结构和映象以及装置佩戴者观看的场景可以通过使用固定到眼镜或头戴系统内的摄像机的高精密微光学进行成像。低功耗、微型摄像机和电子装置的使用通过使用栓系到其他装置或非栓系并(可选地)由电池供电的头戴式系统，而允许全方位的运动。而且，无线通信的最新进步允许视线跟踪结果被实时传送到其他计算、数据存储和/或控制装置。作为这些技术在许多领域中进步的结果，基于戴在眼睛或戴在头上的视线跟踪系统可以是不易察觉的、重量轻的、便携式的以及便于使用且具有不受限的移动性。

发明内容

本发明涉及用于产生精确视线跟踪的装置、系统和方法，其使用不易察觉的眼镜或头戴装置用于眼睛监测和/或控制应用，例如，使用多个眼睛跟踪摄像机。

与固定到头戴装置的单个摄像机或位于距离头部一定距离的多个摄像机相比，本申请的系统和方法使用安装在眼镜或头戴装置上的多个眼睛跟踪摄像机、组件可以具有若干优点。第一，从不同角度指向眼睛的摄像机可以以“测距仪”模式用于跟踪照明源产生的闪光的位置。从多角度观看闪光位置可用于确定摄像机相对于眼睛表面的位置。这对于解释使用期间眼镜或头戴装置的初始位置和移动会是特别有用的。第二，指向眼睛的各个摄像机产生二维图像，而眼球和其他结构(例如，眼睑，面部肌肉)的运动发生在整个三维空间。从不同方向观看眼睛的多个摄像机的图像测量可用于基于解剖模型的方案中，以虚拟地重建全维度上的眼睛运动和其他参考位置(例如，闪光，眼睑)。第三，眼睛的极端运动(即，向上或向下，向左或向右)会导致精确跟踪瞳孔或其他参考位置的能力畸变，或者，由于眼球的曲率半径和/或其他结构的干扰，甚至导致单个近场摄像机观察瞳孔的能力完全丧失。多摄像机的使用可以允许在眼睛位置的整个生理范围上更精确跟踪瞳孔和其他参考位置。

与固定到头戴装置的单个照明源或位于距离头部一定距离的一个或更多个照明源相比，安装在眼镜或头戴装置上并指向眼睛的多个照明源的使用可以具有若干进一步的优点。例如，多个照明源的使用可以确保在眼睛的三维结构周围的全部区域被充分照亮而不产生阴影，或产生混淆机器图像处理算法的其他产物。此外，使用安装在眼镜或头戴装置上的足够大的照明源阵列可以确保在眼睛在整个生理范围内运动期间，至少一个闪光投射到眼睛的角膜区，其具有相对更简单的几何形状和已知的反射特性(与眼睛的其他部分相比)，从而计算摄像机图像内从角膜投射的闪光角度。进一步地，类似于上述“测距仪模式”中的多个摄像机的使用，多个照明源可以用于连续测量眼镜或头戴装置相对于眼睛表面的位置。将至少一些照明源直接安置在装置佩戴者的正常视距内也可以允许装置佩戴者的视线向量(即，视轴线)靠近已知参考向量(其通过使用闪光而生成)，从而改进视线跟踪的精度。

此外，固定到眼镜或头戴装置的照明源围绕装置佩戴者运动。这确保眼睛区域的照明，甚至在头部的宽范围运动期间。在这种头部运动期间，安装在距离头部一定距离的照明源会丧失闪光甚至所有照明。

摄像机处理单元和照明控制电子装置也可以安装在包括照明源的眼镜或头戴装置上。这允许照明源的直接开/关和/或强度控制以及摄像机控制，而不需要使用外部控制装置、通信协议和/或外部连线。

本申请的系统和方法可以在宽条件范围下保持精确视线跟踪，所述宽条件范围包括存在下列项的明显运动的时候：1)头部，2)包括摄像机和照明源的眼镜或头戴装置，和/或3)装置佩戴者的眼睛。

视线跟踪是连续识别观察者观看的位置和/或物体的能力。视线跟踪可以从相对于我们三维世界内已识别的参考位置进行的眼睛跟踪和头部跟踪的组合计算。本申请的系统和方法可以利用安装在眼镜或头戴装置上的多个照明源和/或多个摄像机精确跟踪瞳孔和眼睛的其他结构相对于安装在眼镜或头戴装置上的照明源产生的闪光位置的位置。虽然闪光和相关的照明源可以在观察者的直线视线中，本文所述方法的视线跟踪过程可以被执行，并且在很大程度上不会被装置佩戴者注意。

更具体地，本发明涉及用于眼睛监测、控制和其他应用的设备、系统和方法，用于不易察觉地识别闪光的位置和装置佩戴者的眼睛表面上的解剖结构。该装置可以被配置为用于稳健性眼睛跟踪的平台，其可以由具有各种解剖结构的头部、鼻子和眼睛区域的宽范围个体使用。从不同角度投射多个闪光和/或从多个角度观看的各个闪光可用于估算照明源和摄像机相对于眼睛表面的位置。本文所述系统和方法可以基本上连续监测包括照明源和眼睛跟踪摄像机的眼镜或头戴装置的位置。

视线跟踪装置的分辨率和/或指示精度的增加可以在宽范围应用中具有若干有益结果，例如医疗诊断、广告、人员因素、计算机游戏、安保、康复工程和/或计算机图标控制(即，替换或增强计算机鼠标的操作)。

因此，本文所述设置、系统和方法可以提供用于各种应用的改进(即，高分辨率和鲁棒性的)的视线跟踪方法和系统。

在一个示例性实施例中，其提供一种包括使用固定到眼镜或头戴装置的多个照明源的方法，所述多个照明源基本上完全照亮眼睛周围的所有区域。由于眼睛区域中的多个弯曲表面和能够阻止照明的解剖结构(例如，眼睑，睫毛)，单个或少量的照明源不可以提供用于精确眼睛跟踪的充足照明。具有照明源阵列的眼睛区域的照明可以允许在整个眼睛表面产生多个参考闪光和/或弯曲表面的更均匀照明，例如，避免生成阴影和/或避免会恶化机器视觉技术的其他照明效果。

类似地，固定到眼镜或头戴装置的多个摄像机的使用也可以补偿眼睛区域的复杂几何形状。从不止一个摄像机采集的图像可以用于克服在眼睛跟踪期间会阻止摄像机视场的结构(例如，眼睑，睫毛)。此外，当由仅采集二维图像的摄像机成像时，围绕三维世界运动的物体(例如，瞳孔，虹膜)产生的几何畸变会导致解读模糊。当摄像机靠近(即，3厘米(3cm)内)运动并且所述运动涉及眼球小半径(即，小于1.5cm(1.5cm))上的转动时，这个问题尤其重要。当不易察觉的摄像机安装在眼镜或头戴装置上时，这两种情况均可以存在。从安装在眼镜或头戴装置并从不同角度指向眼睛的多个摄像机的图像的使用可以用于大致连续跟踪和/或重建复杂的三维眼睛运动。

根据一个实施例，照明源阵列内的每个照明源可以在眼睛表面上产生闪光，其可用作生成向量的起始位置，该向量从该闪光穿过照明源位置。照明源的位置相对于其他照明源和眼镜或头戴装置上的摄像机是已知的。通过使用阵列中的每个照明元件执行类似计算，已知向量的阵列可以利用眼睛表面上的已知起始位置(即，闪光)计算。接着，使用从眼睛表面投射的瞳孔位置信息的视线跟踪向量可以相对于这些附近的已知向量表示，从而提高视线跟踪的精度。

根据另一个实施例，多个照明源和/或多个照相机可用于计算装置与眼睛表面上的闪光之间的距离。这些距离可以作为视线跟踪过程中的不同计算操作进行计算，或测量可以体现在视线跟踪向量的整个计算内。在这两种情况的任一种中，照明源和眼睛跟踪摄像机相对于眼睛表面的准确位置影响视线跟踪精度，尤其是在与眼镜或头戴装置上安装的结构关联的短距离(即，少于三厘米(3cm))上。在视线跟踪计算中大量连续包含这些距离测量可以消除用户到用户的这种变化的影响，以及在眼镜或头戴装置可以运动的持续使用期间的影响。

根据另一个实施例，照明源可以安置在通常用于观看装置佩戴者的环境中的物体的方向上。这包括在通常由典型眼镜或头戴装置中的镜片占据的区域中嵌入照明源。这些照明源在装置佩戴者的正常观察动作期间，可以高度有效地照亮瞳孔、角膜和/或周围区域。此外，嵌入镜片(或者，如果不需要矫正镜片功能，仅是简单透明材料)中的照明源生成的闪光可用于生成接近视线跟踪向量的已知向量，从而提高视线跟踪的精度。

根据另一个实施例，在所提供的系统和方法中，照明源利用装置佩戴者不可见的光。通常，在电磁波谱的近红外区的波长对装置佩戴者来说是不可见的；而由这些照明源产生的整个照明和闪光可以由固定到眼镜或头戴装置的固态摄像机探测。再者，眼睛不可见的照明的使用可以支持眼镜或头戴装置整体的不易察觉特性。

根据又一个实施例，在所提供的系统和方法中，位于眼镜或头戴装置的镜片区域中的照明源对于装置佩戴者来说基本是不可见的。这可以通过使用若干策略实现。发光二极管以及其他固态装置的基本组件是微小的。这个原理可以用在由LED和OLED供电的显示装置中，其中，小于0.2mm的像素尺寸商业可用于便携式计算机内。每面具有0.01mm尺寸的LED源可用于专业应用。因此，组成照明LED的半导体材料可以被制成最多作为微小的斑点出现。此外，用于照亮眼睛的光是不可见的，例如，在近红外范围内，波长从约800到2500纳米。因此，装置佩戴者不会感觉到照明源发出的电磁辐射。另一方面，CMOS摄像机，具体地，能够探测人眼不可见的近红外光谱的电磁辐射。CMOS摄像机也特别适合需要低功耗和微型化的应用。

添加这些因素，用于给照明源供电的导电通路可以被制成基本透明的。透明导电膜在装置的制造中是众所周知的，例如太阳能电池和可切换玻璃(也被称为用于构造窗户的智能玻璃)。用于透明导电通路的最常见材料是铟锡氧化物(ITO)。更便宜的替代品(例如掺杂铝的氧化锌和掺杂铟的氧化镉)代表可以用于透明导电通路的材料的附加示例。

综上所述，照明源对于装置佩戴者来说大部分不可见是因为：1)照明源可以生成人眼不可见的波长的光，2)固态照明源的尺寸可以是微小的(趋近光的分辨率极限)，3)导电通路可以被制成为基本透明的，和/或4)照明源可以在小于大多数个体的焦距的距离处接近眼睛(通过使用一组典型眼镜框，离大约两厘米(2cm)远)。因此，任意可能由这些微小结构反射的光可被感知为失焦的背景并且不会使装置佩戴者分心。这可以产生基本无阻碍的视野，支持眼镜或头戴装置的整体不易察觉特性。

根据又一个实施例，在所提供的系统和方法中，源自眼镜或头戴装置的镜片区域中的照明可以由嵌入在每个镜片内的小反射面产生。光可以由安置在镜片边缘周围并指向反射面的照明源生成。而反射面可以将这个光引向眼睛。这种构造可以从观察者的视觉通路中消除照明装置和向这些装置供电的导电通路的安置，从而支持装置的不易察觉性。

根据又一个实施例，提供控制照明源的强度的系统和方法，该照明源产生整个照明和眼睛表面上的闪光参考点。通过控制相对于视频图像采集的时序的照明时序，采集具有和不具有参考闪光照明的图像是可能的。从断开照明采集的图像减去接通照明采集的图像，提供一种(几个示例性)将图像内的闪光与眼睛跟踪摄像机(一个或更多)隔离的策略。而且，如果多个照明源系统内的单个照明源接通，那么，可以更容易确定闪光的准确中心位置(即，与包括多个闪光的图像相比)并且将具体闪光位置与具体照明源关联。

可选地，处理单元可以耦接到一个或更多个场景摄像机和用于接收眼睛区域的图像(例如，为了监测闪光位置和瞳孔边缘)的摄像机，其中，场景摄像机在装置佩戴者的环境中偏离眼睛指向。处理单元和场景跟踪处理单元可以是一个或更多个单独的处理器，或可以是单个处理器和/或包括照明控制器。

指向单个眼睛的多个眼睛跟踪摄像机的使用可以在眼睛区域中产生多个参考位置(例如，闪光，瞳孔边缘，眼睑)或产生参考位置的冗余测量。当这种情况发生时，处理单元(一个或更多)会考虑影响跟踪精度的其他因素。例如，如果参考位置的图像最接近一个摄像机的视场中心，那么，可以假设基于来自那个摄像机的测量值的眼睛跟踪和随后的视线跟踪计算比基于来自其他摄像机(在其中，所识别的位置较接近摄像机图像的边缘)的测量值的计算更精确。可供选择地，当参考位置的测量值接近所有摄像机图像的边缘时，那么，参考位置的最终确定可以被计算为通过使用不同摄像机的图像而计算的平均位置。这种方案可以考虑来自相邻摄像机的重叠视场，其中靠近一个摄像机的图像边缘的空间畸变可以与相邻摄像机测量的那些相反。求平均处理可以消除这种畸变。可供选择或附加地，如果存在已知畸变，例如，摄像机图像的具体区域中的球面像差(大多数镜片产生某种程度的)或眼球的曲率，那么，可以应用矫正空间映射函数和/或在求平均之前，可以对测量值加权。本领域中的普通技术人员将理解这类方案或方案的组合。

在另一个实施例中，照明控制器可以经配置以对光源的电流和电压中的至少一个进行幅度调制，以便在眼睛跟踪摄像机图像的相应区域提供期望的亮度水平。这通常被称为“幅度调制”。在另一个实施例中，控制电压或电流的持续时间或“停留时间”可以被修改以控制光强度。这通常被称为“脉宽调制”。可选地，同时使用这两种方案也是可能的。

在任何这些示例中，照明、参考位置跟踪、眼睛跟踪和视线跟踪可以基本连续或间断进行。例如，当眼睛跟踪摄像机不工作时，照明源可以被无效。这可以包括采集摄像机图像之间的时间。当不使用处理器、摄像机和/或照明时，也可以使其无效从而节省电力。为了增加安全，也可以降低照明源和/或其他电子装置的电力，或将其断开。

在一个示例性实施例中，系统可以包括眼镜或头戴装置框、大致偏离观察者指向以识别参考位置的场景摄像机、耦接到场景摄像机的场景处理单元、指向眼睛的至少一个眼睛跟踪摄像机、指向眼睛的一个或更多个照明源以及耦接到眼睛跟踪摄像机的处理单元(与场景处理单元相同或不同)。机器视觉技术可以在眼睛跟踪处理单元内使用，以确定闪光位置和眼睛参考位置。接着，闪光位置和相关的照明源产生的向量以及在眼睛跟踪处理单元内识别的眼睛参考位置可以用于视线跟踪计算。

根据另一个实施例，提供一种用于确定视线跟踪位置的系统，该系统包括经配置以佩戴在佩戴者头部的装置；安装在所述装置上、在佩戴所述装置的佩戴者的眼睛视场内并被定向以照亮眼睛的一个或更多个照明源，该一个或更多个照明源经配置以最小化视场内对佩戴者视力的干扰；安装在该装置上并被安置用于观看眼睛的眼睛跟踪摄像机；和耦接到眼睛跟踪摄像机的处理器，其分析眼睛跟踪摄像机采集的眼睛图像，以识别眼睛反射的来自一个或更多个照明源的一个或更多个闪光并识别眼睛特征相对于一个或更多个闪光的位置，从而确定佩戴者正在观看的位置。

根据又一个实施例，提供一种用于确定视线跟踪位置的系统，该系统包括经配置以佩戴在佩戴者头部的装置；安装在该装置上并被定向以照亮佩戴者的眼睛的一个或更多个照明源；和安装在该装置上并被安置用于观看眼睛的多个眼睛跟踪摄像机。处理器耦接到眼睛跟踪摄像机，用于分析眼睛跟踪摄像机采集的眼睛图像，以识别眼睛反射的来自一个或更多个照明源的一个或更多个闪光并识别眼睛的特征相对于一个或更多个闪光的位置，从而确定佩戴者正在观看的位置，其中所述眼睛跟踪摄像机彼此之间充分间隔开，以使在眼睛运动通过其完整个正常运动范围时，眼睛瞳孔出现在至少一个眼睛跟踪摄像机的眼睛跟踪摄像机图像中。

根据又一个实施例，提供一种用于确定视线跟踪位置的系统，该系统包括经配置以佩戴在佩戴者头部的装置，当该装置被佩戴时，该装置包括布置在佩戴者眼睛的眼睛前面的镜片；安装在该装置上并被安置以观看佩戴者的环境中的参考位置的场景摄像机；和安装在镜片上以照亮佩戴者的眼睛的多个照明源；安装在该装置上并被安置用于观看眼睛的多个眼睛跟踪摄像机。耦接到场景摄像机和眼睛跟踪摄像机的处理器用于分析来自场景摄像机和眼睛跟踪摄像机的图像，所述处理器使用来自场景摄像机图像的场景参考位置和来自眼睛跟踪摄像机图像的眼睛跟踪位置确定观察者正在观看的位置。

根据又一个实施例，提供一种视线跟踪的方法，该方法包括，将装置安置在佩戴者的头部，该装置包括朝向佩戴者的眼睛定向的一个或更多个照明源和多个眼睛跟踪摄像机，该眼睛跟踪摄像机被安置在装置的不同位置处，以提供重叠的眼睛视场；以及分析眼睛跟踪摄像机采集的眼睛图像，以识别眼睛反射的来自一个或更多个照明源的一个或更多个闪光并识别眼睛的特征相对于一个或更多个闪光的位置，从而确定佩戴者正在观看的位置。

根据又一个实施例，提供一种视线跟踪的方法，该方法包括，将装置安置在佩戴者的头部，该装置包括朝着佩戴者的眼睛定向的多个照明源和眼睛跟踪摄像机，照明源被布置在佩戴者的视场内并经配置以将所述视场内对佩戴者的视力的干扰最小化；以及分析眼睛跟踪摄像机采集的眼睛图像，以识别眼睛反射的来自一个或更多个照明源的一个或更多个闪光并识别眼睛的特征相对于一个或更多个闪光的位置，从而确定佩戴者正在观看的位置。

通过参考下列具体实施方式并结合附图，本发明的其他方面和特征会变得明显。

附图说明

所述附图示出本发明的示例性实施例，其中：

图1示出包括一对眼镜的系统的示例性实施例的剖视图，该对眼镜包括安装在眼镜框上的多个摄像机和多个照明源。

图2示出图1的近视特写图，其中，照明源安装在框架上以及镜片区域内，装置佩戴者通过镜片区域观看环境。

图3示出眼镜系统的另一个实施例的前视图，其中，该眼镜系统包括安装在眼镜框上的多个摄像机和安装在眼镜框的镜片区域内的多个照明源。图3还示出向安装在眼镜的镜片区域内的照明源供电的接线配置的不同示例。

图4示出示例性系统的镜片区域的近视特写图，其中照明在远端产生并且眼睛的照亮作为镜片内的小反射面反射的结果发生。

图5示出示例性几何组件计算的示意图，其中眼球表面与摄像机之间的距离可以通过使用三角测量法而被大致连续计算。

图6A和6B示出用于计算到眼球表面的距离的示例性组件的示意图，其中，到眼球表面的距离利用多个摄像机(图6A)和/或多个照明源(图6B)测量。

图7A和7B的示意图示出眼球转动如何可以模糊单个摄像机的视图，限制进行精确视线跟踪测量的能力，而多个摄像机可以在眼睛运动的整个范围上进行精确眼睛跟踪测量。

具体实施方式

转向附图，图1示出包括眼镜框11的系统10的一个示例性实施例，其中眼镜框11具有三个眼睛跟踪摄像机12a、12b、12c，它们指向装置佩戴者的左眼(未示出)。也指向装置佩戴者的左眼的是三个照明源13a、13b、13c，在此情况下，照明源安装在眼镜框11上。眼睛跟踪摄像机12a、12b、12c收集到的图像被发送到处理单元14。在这个示例性实施例中，处理单元安装在框架11的左杆15内并耦接到摄像机12a、12b、12c。可选地，为了将重量均匀分配在眼镜框11内，电源(例如，电池，未示出)和/或其他电子装置可以包裹在与包含处理单元14(未示出)相对的眼镜框11的杆中。

处理单元14还可以包括用于储存来自摄像机12a、12b、12c的图像信号的存储器；用于编辑和/或处理图像信号的数字滤波器等。可选地，眼镜框11和/或处理单元14可以包括用于发射数据、接收指令等的一个或更多个收发器、发射器和/或接收器(未示出)。附加或可选地，处理可以包括远离框架11和/或处理单元14的组件，类似于在本文其他地方标识的参考文献中公开的实施例。例如，系统10可以包括在处理单元14和/或框架11的一个或更多远端位置处(例如在相同的房间中，监测站附近或更远位置)的一个或更多个发射器、接收器、处理器和/或显示器(未示出)。这类显示可以包括框架11上的眼睛跟踪摄像机12a、12b、12c和/或一个或更多个场景摄像机(未示出)生成的视图。

眼睛跟踪摄像机12a、12b、12c可以指向头部，以跟踪瞳孔、眼睑、虹膜、闪光的位置和/或眼睛(一只或两只)成像区域中的其他参考点。在一个示例性实施例中，眼睛跟踪摄像机12a、12b、12c可以包括电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)或包括有效面积(active area)的其他探测器，例如包括用于捕捉图像和/或生成表示图像的视频信号的矩形或其他像素阵列。摄像机12a、12b、12c中的每个的有效面积可以具有任何期望的形状，例如正方形或矩形形状，圆形等。如果需要，例如，一个或更多个摄像机的有效面积的表面也可以弯曲，以在图像采集期间补偿眼睛附近的三维曲率和周围成像的结构。

此外，如果需要，摄像机12a、12b、12c可以包括一个或更多个滤光器、镜片等(例如，在图5中示出的滤光器57和镜片56)，例如，以过滤不希望的光强度和/或光波长、有效面积上的聚焦图像等。可选地，镜片还可以经配置以拉伸或压缩视场区域，以便补偿(至少在一定程度上)眼睛附近的三维曲率和周围的结构。

多个摄像机可以安置在框架11上的不同位置，以便大致连续监测眼睛的三维结构在所有方向上的运动。例如，在图1的实施例中，摄像机12b和12c很好地定位以跟踪在水平轴线上(即，假设正常的，直立头部位置)发生的眼睛运动。类似地，在眼睛向上运动期间(例如，相对于“笔直向前”方向)，使用摄像机12a可以采集精确的眼睛跟踪数据，而摄像机12b和12c被很好定位以监测眼睛向下看时的眼睛表面上的参考位置。

在图1所示实施例中，单个处理单元14用于采集来自系统10内的各种摄像机的图像。处理和/或其他控制电子装置可以包括单个装置或多个装置，例如微控制器，单核或多核中央处理单元(CPU)，现场可编程门阵列(FPGA)或专用集成电路(ASIC)。

容纳电子处理和控制元件的其他位置包括眼镜框11的鼻子区域16上方的位置、框架11的右杆(未示出)内、电气连接到眼镜或头戴装置和/或与眼镜或头戴装置无线通信的外部隔间内(例如，紧固到装置佩戴者的腰带或头带)或在系统10的框架内的其他位置。可供选择地，电子处理和控制元件可以分布在系统10内的不同位置，例如，为了更均匀分布重量、散热、缩短电缆长度和/或降低功耗。

在图1所示的实施例中，三个照明源13a、13b、13c固定在眼镜或头戴装置的坚固框架上。在一个示例性实施例中，照明源13a、13b、13c可以包括发光二极管(LED)、有机LED(OLED)、激光LED或将电能转换为光子的其他装置。每个照明源13a、13b、13c可以用于照亮眼睛，以通过使用任意摄像机12a、12b、12c采集图像和/或产生用于测量目的的参考闪光，从而改善视线跟踪精度。在一个示例性实施例中，每个光源13a、13b、13c可以经配置以发出相对窄或宽带宽的光(例如，约640-700纳米之间的一种或多种波长的红外光)。可选地，一个或更多个光源13a、13b、13c可以包括镜片、滤光器、漫射器、反射器和/或其他特征件(未示出)，例如，帮助和/或控制透射到眼睛的光的均匀性。照明源可以被单独、全部一起或以任何组合方式激活(即，供电)。

嵌入在眼镜或头戴装置框架11内的电缆可以包括单个电缆或一组电线，包括所谓的“柔性条”，将摄像机12a、12b、12c，电池，光源13a、13b、13c，和/或框架11上的其他组件耦接到处理单元(一个或更多)14。例如，电缆(一条或更多)应当足够柔韧，以穿过眼镜或头戴装置内的铰链区17，例如，以避免断裂，甚至在铰链17弯曲通过其极端运动范围时避免断裂。

图2示出类似于图1所示系统的系统10'的眼镜框11的镜片区的近视特写图。在此情况下，附加照明源20a、20b、20c、20d安置在通常由镜片21占据的眼镜框11的区域中。如果装置佩戴者需要光学矫正以辅助可视化，那么，使用验光领域中已知的处理，可以构造和插入合适的镜片。如果装置佩戴者不需要视力矫正，那么，镜片区域可以简单地由平坦玻璃片占据，或可选地，由透明塑料占据，以支持照明源20a、20b、20c、20d的视线。因此，如本文所使用的，“镜片”可以指矫正镜片，即，通过镜片折射光或以其他方式校正佩戴者的视力，或可以指基本不折射光或更改框架11的佩戴者通过镜片观看的视图的基本透明材料的基本平坦、弯曲或其他面板。

安装在眼镜框11的镜片区域内的附加或可供选择照明源20a、20b、20c、20d可以用于增强或代替安装在眼镜框11上的源13a、13b、13c提供的眼睛照明。安装在装置佩戴者的视线内的源20a、20b、20c、20d在正常的视觉活动期间，通常能够更好地大致均匀照亮眼睛的关键区域(即，角膜中或角膜附近，例如，如图7A和7B所示)。此外，这些相同的照明源20a、20b、20c、20d可以产生与指向向量关联的闪光，指向向量在可视化期间更接近眼睛的正常视线(参照图7A和7B)(即，与离轴线安装在眼镜框11上的源13a、13b、13c相比)。

如果视线向量相对于下列闪光进行计算，则可以更精确计算所述视线向量：1)安置在角膜内的瞳孔上或附近，和/或2)由指向与观察者的视线或视轴线大致相同的方向的照明源产生。因此，使用镜片内的照明源20a、20b、20c、20d生成的眼睛表面上的闪光计算的视线向量通常具有跟高的指向精确度，例如，与位于框架11上的其他位置处的源相比，例如图1和2所示的源13a、13b、13c。如其他位置所述，照明源20a、20b、20c、20d可以被构造成不干扰装置佩戴者的正常视力。

可以提供至少两个导电通路以向照明源20a，20b，20c，20d中的一个或更多个供电。图2示出允许照明源20a、20b、20c、20d的单个控制或组控制的一种接线图。如图所示，导电通路可以包括垂直导体21a、21b和水平导体22a、22b。通过向相对于水平导电通路22a或22b的垂直导电通路21a或21b施加电压，两个激活的导电通路的交叉点位置处可存在电位差(即，电压)。这个电位差可用于向各个照明源供电。与期望照明源不关联的所有其他导电通路可以置于高阻抗(即，非导通)模式，从而不向额外的照明源供电或抽取不想要的电流。垂直21a、21b和水平22a、22b导电通路在交叉点处可以彼此隔离(除了通过照明源自身的元件以外)。

进一步参照图2所示的实施例，如果需要所有照明元件都激活，电位差可以施加在所有垂直导电通路21a、21b和水平导电通路22a、22b之间。类似地，照明源的列可以通过在垂直导电通路21a或21b与所有水平通路22a和22b之间施加电位差被激活；或照明源的行可以通过在水平导电通路22a或22b与所有垂直通路21a和21b之间施加电位差被激活。如其他地方详细讨论的，导电通路可以由薄的材料制成为基本透明和/或不易察觉的，和/或由透明的ITO材料制成为基本透明和/或不易察觉的。

图3示出视线跟踪系统10"的一个实施例，该系统包括嵌入在眼镜平台11内的一个或更多个组件(从前面观看(即，看向装置佩戴者))。在此情况下，眼镜平台11被构造成使用安装到右眼镜框30a的组件跟踪右眼以及使用安装到左眼镜框30b的组件跟踪左眼。从图3的系统10"的观察点来看，可以看到用于跟踪右眼31a、31b和左眼32a、32b的一些摄像机的尾部。如在其他地方更全面描述的，处理和控制电子装置和/或电源可以可选地嵌入在眼镜11的右杆33a与左杆33b中的一个或两个中。

也如图3所示，导电通路的两个替代(与图2相比)图案可以设置在眼镜11上，以向位于装置佩戴者的整个视场内的照明源供电。如果不需要控制各个照明源，那么，可以利用右眼镜框30a内显示的源的图案。在这个示例中，通过在导电通路35a和35b两端施加电位差(即，电压)，可以同时激活照明源34a、34b、34c的水平行。通过使用这种装置到导电通路的并联连接，可以在每行内设置任何数量的照明源(其中图3中示出三个源34a、34b、34c)。此外，可以设置任何数量的行。导电通路可以，例如，被设置在如图所示的水平行中；垂直列中；径向图案(未示出)等等。这些图案的进一步优点(与在图2中示出的相比)是不需要隔离交叉点处的导电通路，因为没有交叉点。这可以帮助在透明玻璃或光学透明塑料镜片表面上沉积导电通路。

左眼镜框30b示出可用于激活照明源的导电通路的又一种图案。在此情况下，照明源36可以由导电通路37a和37b两端施加的电位差单独控制。至少一个单独的导电通路指向每个照明源。如果需要，向每个照明源供电的通路中的一个(如导电通路37b所示)可以在若干照明源中共享。在电子领域，这往往被称为参考或接地通路。左眼镜框30b中示出的导电通路的图案的优点是控制各个照明源的能力而不需要导电通路的任何交叉，如果存在导电通路的任何交叉，在构造期间将需要绝缘层将通路保持电气隔离。

图3所示的系统10"还示出采集装置佩戴者的环境图像的向外指向的场景摄像机38(其也可以设置在本文所述的任何其他实施例中)的示例性布置和使用。包括跟踪装置佩戴者的环境内的参考位置的与场景摄像机图像的处理和应用相关的方法在本文所述的其他参考文献的实施例中公开。与使用场景摄像机图像测量眼睛和装置佩戴者的头部内的其他结构的运动的响应和/或反应时间也在本文所述的其他参考文献中公开。

如下面关于图5-7更全面讨论的，眼镜或头戴装置停留在装置佩戴者的鼻子上的位置对于确保视线跟踪精度而言是有用的变量。图5-7示出测量装置组件与眼睛表面之间的距离的方法。为了减轻个人的鼻子尺寸和/或位置(相对于他们的眼睛)的一些变异，可调鼻托39可以包含在眼镜或头戴装置11的框架内，如图3所示。通过使用可互换鼻托插件(未示出)以及通过弯曲或以其他方式调整各个鼻托39内的支持结构和/或填料，可以引入可调整性。此外，不同尺寸的眼镜或头戴装置框架可适合于各个人，例如通过提供各种标准尺寸和/或为具体个人提供定制尺寸。

图4所示的实施例示出从眼镜或头戴装置(未示出)的镜片40内不易察觉地产生多个点照明源的另一种方法。在此情况下，光照从镜片的中心区域远程产生。例如，一个或更多个光源41a、41b(例如，LED)可以将沿镜片40的一个或更多个面的电磁辐射耦合到包括镜片的材料(即，通常是玻璃或透明塑料)中。电磁辐射通过镜片介质传播，接着通过设置在镜片40内的期望位置处的小反射面42a、42b、42c、42d(示出四个彼此均匀间隔的小反射面，当然根据需要可以设置更少或更多反射面)朝着眼睛反射。在图4所示的绘图中，反射面42的尺寸被示出相对于镜片的整体尺寸被放大，以便可视化反射面42的结构特征。远端电磁辐射源和反射红外光的小的嵌入式反射面42的使用(因而完全消除镜片区域中的导电通路)可以形成对装置佩戴者而言基本透明的视线照明系统。

进一步参照图4，使用光刻和半导体制造领域中公知的若干技术可以构造所述反射面。这类方法可以包括使用蚀刻或微加工以产生成角度的表面，以使通过镜片传播的电磁辐射被引向眼睛43。蚀刻或微加工工艺可以从镜片40的背面(即，最接近眼睛)或前面(即，远离眼睛)进行。接着，可以使用如公知的汽相沉积、喷镀和/或化学沉积技术在反射面42a、42b、42c、42d上沉积反射材料。最常见的，金属(例如，银，铝等)可用于生成反射镜面表面。

可选地，通过蚀刻或微加工工艺去除的容积可以用与镜片材料的折射率匹配的材料重新填充，从而避免指向眼睛43的光的任何进一步不期望的折射或反射，和/或防止灰尘在小缺口42a、42b、42c、42d中累积。

在一些实施例中，没有必要在反射面上涂覆金属。只要对光具有不同折射率的两种材料之间存在接口，就会发生反射。因此，通过蚀刻或微加工去除的容积可以用有意选择的、与组成镜片的材料具有不同折射率的材料重新填充。这种原理可以同样用于反射棱镜(具有玻璃相对空气的相反折射率)和光纤传输内的光。通过适当选择折射率和/或涂层厚度，镜片结构内的表面可以被制成部分或完全反射的。

进一步参照图4，来自反射面42的光可用于沿着眼睛的不同结构照亮瞳孔44(处于跟踪目的)和/或在眼睛表面上产生参考闪光45。瞳孔44和闪光45可以由一个或更多个眼睛跟踪摄像机46(仅示出一个)跟踪，其中，如其他地方更详细描述的，图像由微型镜片47聚焦在摄像机(一个或更多)47的感光阵列上。可选地，光学陷波滤波器48可用于基本隔离光源41生成的光和眼睛表面处反射的光，并消除大多数环境光源。类似于使用直接嵌入在镜片(例如，如图3和4所示)中的照明源，装置佩戴者的视线中的反射面42a、42b、42c、42d可以在角膜上直接产生闪光，从而在计算视线跟踪向量时，简化几何形状的考虑。视线跟踪向量也更接近作为穿过闪光和反射面42的线计算的参考向量43，从而产生提高的视线跟踪精度。

图5示出“测距仪”的一些组件或估算一个或更多个眼睛跟踪摄像机相对于眼睛表面的位置(因此，估算眼镜或头戴装置的位置，未示出)的三角测量方法。通过考虑头部解剖中的面部变异(尤其是当使用驻留在鼻梁上的眼镜时鼻子的尺寸)以及在使用期间因头部滑动或快速加速引起的眼镜或头戴装置的任何动态运动是否存在，这种测量可以有助于视线跟踪计算的精度。

在图5中，照明源50(其可以是本文中的其他地方所述的任何照明源和/或反射面)可以在眼睛表面上产生闪光51。照明源50的光束可以定位和指向所有三个维度(如角度54a所示)，从而最大化眼睛中心区域的照明(尤其是闪光生成)。当闪光在角膜内、在瞳孔53上或附近时(参照图7)，精确视线跟踪可以最容易被计算；虽然在眼睛跟踪摄像机55采集的图像内，但是，闪光51可以出现在眼睛52的巩膜或白色部位和/或围绕瞳孔的虹膜上(为清楚起见，图5未示出)。

进一步参照图5，眼睛中心区域的图像可以由镜片56聚焦在摄像机55上。在大多数应用中，陷波(即，带通)光学滤波器57可以包括在(红外)光通路中，从而允许照明源50生成的光波长的传输和所述光在眼睛表面反射以到达摄像机55。通常来自周围环境并且会干扰闪光51的图像和/或在瞳孔53上的反射的所有其他光波长可以被该滤光器吸收并不会到达摄像机55。

闪光51在摄像机55的图像中显现为强烈亮点(经常渗透一些摄像机像素)。确定闪光的中心位置通常被认为是相对容易的图像处理步骤，其中，例如，可以计算超出选定强度值(即，阀值)的所有像素的平均水平和垂直位置。这种方法可以在每个维度上产生亮闪光的位置的子像素空间分辨率。给出安装到眼镜或头戴装置的每个摄像机55的已知方向，所测量的、相对于视场中心(即，相对于摄像机图像中心)的每个闪光的位置与该闪光和摄像机55的视场中心所对向(subtend)的角度54c成比例。

照明源50对准眼睛的角膜区域(参照图7)。虽然眼睛的整个表面具有复杂的形态，但角膜形状可以近似为具有光滑表面的球体的一部分。接着，照明源的反射角54b可以以若干方式(最简单地，假设镜面反射)建模，所述方式包括入射角等于反射角的方式。为了考虑光的更多漫散射，可以将朗伯余弦定律引入方程。

摄像机(一个或更多)55和照明源(一个或更多)50均可以基本上刚性地固定到眼镜或头戴装置。因此，所有摄像机(一个或更多)55与照明源(一个或更多)50之间的三维方向和间隔距离58(所有三个维度上)可以是已知的。得知两个角度和间隔距离58允许计算将光源50、闪光51和摄像机55隔开的所有距离以及使用已知的三角测量技术计算相关的角度。类似的方案用于，例如，测距仪器内、勘测方法以及当估算到空间物体的距离时使用。

在图6A和6B中示出的实施例描述进一步改进距离和/或角度测量精度的方法，所述方法使用多个摄像机(图6A)将来自不同位置和/或多个照明源的闪光成像，以产生多个闪光(图6B)。如关于图5的描述所提到的，因眼睛表面的三维曲率的微变异以及眼睛表面对光的镜面漫散射引起的不确定性程度上升。通过测量两个或多个闪光，测量中的不确定性可以在视线跟踪方程中消掉，从而所有三个维度上的位置测量精度提高。

在图6A中，单个照明源50在眼睛表面上产生单个闪光51。如之前提到的，最有用的闪光是那些在角膜区(参照图7A中的80)内的瞳孔53上或其附近的闪光。在来自两个或多个摄像机55a、55b的图像内确定闪光51的位置。摄像机在所有三个维度上隔开已知距离(在如图6A所示的情况下，摄像机55a与55b之间的间隔距离是60)。相对于由摄像机和光源限定的平面的观察角度也是已知的。通过测量来自多个摄像机55a、55b的图像内的闪光51位置的差异，摄像机55a、55b与眼睛表面上的闪光51之间的距离可以使用三角测量法估算。

类似的方案可以用于图6B所示的方法中，除了在这种情况下，多个照明源50a、50b、50c在眼睛表面上产生多个闪光51a、51b、51c。当多个照明源50a、50b、50c被激活时，可以同时产生闪光。这种技术增加了图像处理算法的复杂性，其中具有类似强度值和形状的多个闪光的位置必须从单个图像中减去。

通过在选定时间上接通每个照明源，可选地，产生一次仅确定单个闪光50a或50b或50c的位置的一系列图像是可能的。这使得在图像内确定单个闪光(及其对应的照明源)的位置的可靠图像处理方法更容易实施。

照明源的实际隔离值归一化所测量的闪光位置的隔离值与摄像机和眼睛表面之间的距离成反比。例如，闪光51a与51b之间测量的隔离值62a除于照明源50a与50b之间的已知隔离值61a和摄像机与眼睛表面之间的距离成反比。类似地，闪光51b与51c之间测量的隔离值62b除于照明源50b与50c之间的已知隔离值61b和摄像机与眼睛表面之间的距离成反比。因此，正如本领域中的普通技术人员所理解的，识别照明源50a、50b、眼睛和摄像机55之间的关系的算法可以很容易生成，从而在摄像机55采集的图像中有助于进行眼睛的精确视线跟踪。

图7A和7B示出的实施例描述多个摄像机如何指向以从多个角度观看眼睛表面可以改善视线跟踪精度，以及在眼睛的正常运动期间，基本连续跟踪眼睛内的参考结构的能力。眼睛运动可以近似为眼球70围绕沿眼睛光轴线72安置的中心枢轴点71的旋转。光轴线通常行进通过眼睛镜片73的中心，并且在其中心基本上垂直于镜片表面。

环绕镜片的是具有每只眼睛(包括个人的左右眼)内的微解剖结构的虹膜74，并且负责控制镜片73前面的开口尺寸，因此，控制穿过镜片73的光量。虹膜74和镜片73外部的是半球形角膜80。由于光滑的角膜表面，而且因为视线或视轴线77必须穿过角膜80，角膜表面是生成用于精确视线跟踪测量的参考闪光的主要目标(参照图4-6)。

在大多数光照条件下，光进入镜片的区域显现得暗淡，其被称为瞳孔。瞳孔不出现暗淡时的情况的一种示例是所谓的“红眼”效应，当一个人使用闪烁光源和近乎平行于光路的摄像机探测器从一定距离拍照时，会出现所述“红眼”效应。由于摄像机和光源被很好分离(例如，如图1所示)，本发明通常不产生这种效应。

在图7A和7B中，所插入的虚线78a、78b指示每个摄像机组件件79a、79b观察的暗淡瞳孔的边缘。许多图像处理方案将暗淡瞳孔区域与虹膜74之间的对比度识别的瞳孔边缘用作可识别位置，然后用作视线跟踪计算的基本输入。可供选择地，瞳孔的中心可以，例如，通过计算摄像机图像中小于(即，更暗)阀值光强度值的暗淡像素族的平均位置被识别。

在眼科领域(即，眼睛的生理学研究)中已知：当观看物体74时，焦点中心不沿着光轴线72。而位于视网膜的黄斑区中心的视网膜中央窝(即，视网膜中央凹76)(其是约一毫米(1mm)的直径结构(对于人类而言)负责敏锐视力。因此，视轴线77(视网膜中央窝76与被观看物体之间的线)在其物理中心通常不与镜片73交叉。换句话说，观察者的瞳孔中心通常不精确跟踪被观看目标物体75的中心。

视觉和光轴线的非共线对准的进一步复合是眼睛表面的三维几何形状和眼球的旋转运动。除非摄像机79a或79b实际沿光轴线(其该位置，瞳孔图像呈现为圆形)安置，瞳孔边缘的摄像机图像显示为近似椭圆形。进一步偏离轴线的摄像机79a或79b记录逐渐拉长的瞳孔图像(即，不太圆)。这种拉长会放大光轴线72与视轴线77之间的隔离。

在图7A中，两个摄像机组件79a、79b可以很容易观看瞳孔78a、78b的边缘，其中光轴线72和视轴线77大致出现(虽然不完全)在瞳孔的图像中心附近。然而，随着眼睛适度转动，如图7B所示，摄像机79a观看的瞳孔图像被大幅拉长。而且，视轴线77远离瞳孔边缘的中间(即，远离虚线78a形成的视场的中间)。实际上，在摄像机79a采集的图像中，视轴线77呈现为接近虹膜边缘。

眼睛的进一步转动会导致摄像机组件79a跟踪瞳孔的能力完全丧失。对于一些个人，对这个问题妥协是解剖结构(例如鼓起或局部闭合的眼睑和/或眼睛“胀大”的下部)会进一步阻碍眼睛的大致连续跟踪。安装在眼镜或头戴装置上的摄像机的近场位置(相对于远离安装的摄像机，例如，安装在小轿车的仪表板或靠近计算机的显示监视器上)恶化这个问题。然而，策略性安置以全维度捕捉眼睛的全范围运动的多个摄像机(例如，图7B中的79a和79b)可以在整个全生理运动范围内提供瞳孔运动的基本连续和/或精确监测，而且不会被眼睛和面部的其他解剖结构阻碍。

出于说明和描述目的已经公开示例性实施例的前述描述。其并不旨在将本发明穷尽或限制到所公开的精确形式。根据上述公开的教导，本文所述的实施例的许多变化和更改对于本领域中的普通技术人员来说是明显的。

进一步，在描述代表性实施例时，本说明书以具体步骤顺序陈述所述方法和/或过程。然而，所述方法或过程在一定程度上不依赖本文所述的具体步骤顺序，所述方法或过程不应限于所述具体步骤顺序。本领域中的普通技术人员应当明白，其他步骤顺序是可能的。因此，在本说明书中阐述的步骤的具体顺序不应解释为对所要求保护的技术方案的限制。

虽然本发明可易于进行各种更改和替代形式，且其具体示例已在绘图中示出并在本文详细描述。然而，应当理解，本发明并不局限于所公开的具体形式或方法，而是相反，本发明覆盖落入所附权利要求的范围内的所有更改、等同体和替代体。

Claims (35)

1.一种用于确定视线跟踪位置的系统，其包括：

经配置以佩戴在佩戴者头部的装置；

一个或更多个照明源，其安装在所述装置上并在佩戴所述装置的佩戴者的眼睛的视场内，并被定向以照亮所述眼睛，所述一个或更多个照明源经配置以最小化所述视场内对所述佩戴者的视觉的干扰；

安装在所述装置上并被安置用于观看所述眼睛的眼睛跟踪摄像机；和

耦接到所述眼睛跟踪摄像机的处理器，其分析所述眼睛跟踪摄像机采集的所述眼睛的图像，以识别所述眼睛反射的、来自所述一个或更多个照明源的一个或更多个闪光并识别所述眼睛的特征相对于所述一个或更多个闪光的位置，从而确定所述佩戴者正在观看的位置。

2.根据权利要求1所述的系统，其中所述一个或更多个照明源包括LED和OLED发射器中的一种。

3.根据权利要求1所述的系统，其中所述装置包括安装到所述装置的镜片，其在所述佩戴者的视线内，并且其中所述一个或更多个照明源包括设置在所述镜片上以照亮所述眼睛的多个光源。

4.根据权利要求3所述的系统，其中所述光源的宽度小于0.2mm。

5.根据权利要求3所述的系统，其进一步包括在所述镜片上的电气引线，其将所述光源耦接到电源，所述电气引线经配置以最小化所述视场内对所述佩戴者的视觉的干扰。

6.根据权利要求5所述的系统，其中所述电气引线是基本透明的。

7.根据权利要求5所述的系统，其中所述电气引线的宽度小于0.2mm。

8.根据权利要求3所述的系统，其中所述多个光源被设置为彼此充分间隔开，以确保在所述眼睛运动通过其整个正常运动范围时来自光源的至少一个闪光在所述眼睛跟踪摄像机的图像中出现在所述眼睛的角膜区域的表面上。

9.根据权利要求8所述的系统，其中所述光源被设置为所述镜片上的二维阵列。

10.根据权利要求9所述的系统，进一步包括所述镜片上的电气引线，所述电气引线耦接到所述光源，以选择性激活所述阵列的一个或更多个光源。

11.根据权利要求1所述的系统，其中所述照明源包括在所述佩戴者的眼睛前面嵌入在安装到所述装置的镜片中的多个反射面，并且一个或更多个光源经配置以将光引入所述镜片中，从而所述光从所述多个反射面朝向所述眼睛反射。

12.根据权利要求1所述的系统，其进一步包括耦接到所述照明源的一个或更多个光源的控制器，其调制所述一个或更多个光源的亮度水平，从而在所述眼睛跟踪摄像机的视场内提供期望的亮度水平。

13.根据权利要求12所述的系统，其中所述控制器经配置以照亮单个光源，从而产生单个闪光，并且其中所述处理器被配置为隔离所述视线跟踪摄像机图像中的所述单个闪光。

14.根据权利要求1所述的系统，其中所述场景和眼睛跟踪摄像机中的至少一种包括CCD和CMOS探测器中的一种。

15.根据权利要求1所述的系统，其中所述眼睛跟踪摄像机包括用于生成眼睛跟踪摄像机图像的有效面积，并且其中所述有效面积的表面是弯曲的。

16.根据权利要求1所述的系统，其进一步包括安装在所述装置上并被安置用于观看所述眼睛的一个或更多个附加眼睛跟踪摄像机，所述处理器耦接到所述一个或更多个附加眼睛跟踪摄像机，从而从不同观看角度跟踪所述眼睛的位置。

17.根据权利要求16所述的系统，其中所述眼睛跟踪摄像机彼此充分间隔开，从而在所述眼睛运动通过其整个正常运动范围内时，所述眼睛的瞳孔出现在至少一个所述眼睛跟踪摄像机上的眼睛跟踪摄像机图像中。

18.根据权利要求1所述的系统，其进一步包括场景摄像机，其安装在所述装置上并被安置用于观看所述佩戴者的环境中的参考位置，所述处理器耦接到所述场景摄像机，用于采集所述视场的场景图像并相对于所述一个或更多个闪光关联所述眼睛的特征的位置，从而在所述场景图像内确定所述佩戴者正在观看的位置。

19.一种用于确定视线跟踪位置的系统，其包括：

经配置以佩戴在佩戴者头部的装置；

安装在所述装置上并被定向以照亮所述佩戴者的眼睛的一个或更多个照明源；

安装在所述装置上并被安置用于观看所述眼睛的多个眼睛跟踪摄像机；和

耦接到所述眼睛跟踪摄像机的处理器，其分析所述眼睛跟踪摄像机采集的所述眼睛的图像，以识别所述眼睛反射的、来自所述一个或更多个照明源的一个或更多个闪光并识别所述眼睛的特征相对于所述一个或更多个闪光的位置，从而确定所述佩戴者正在观看的位置，

其中所述眼睛跟踪摄像机彼此充分间隔开，从而在所述眼睛运动通过其整个正常运动范围时，所述眼睛的瞳孔出现在至少一个所述眼睛跟踪摄像机上的眼睛跟踪摄像机图像中。

20.根据权利要求19所述的系统，进一步包括场景摄像机，其安装在所述装置上并被安置用于观看所述佩戴者的环境中的参考位置，所述处理器耦接到所述场景摄像机，用于采集所述视场的场景图像并相对于所述一个或更多个闪光关联所述眼睛的特征的位置，从而在所述场景图像内确定所述佩戴者正在观看的位置。

21.一种用于确定视线跟踪位置的系统，其包括：

经配置以佩戴在佩戴者头部的装置，所述装置包括在所述装置被佩戴时，被安置在所述佩戴者眼睛的眼睛前面的镜片；

安装在所述装置上并被安置用于观看所述佩戴者的环境中的参考位置的场景摄像机；

安装在所述镜片上用于照亮所述佩戴者的眼睛的多个照明源；

安装在所述装置上并被安置用于观看所述眼睛的多个眼睛跟踪摄像机；和

耦接到所述场景摄像机和眼睛跟踪摄像机的处理器，其分析来自所述场景摄像机和眼睛跟踪摄像机的图像，所述处理器使用场景摄像机图像的场景参考位置和眼睛跟踪摄像机图像的眼睛跟踪位置确定所述佩戴者正在观看的位置。

22.根据权利要求21所述的系统，其中所述照明源包括嵌入在所述镜片中的多个反射面，并且所述一个或更多个光源经配置以将光引入所述镜片中，以使所述光从所述多个反射面朝向所述眼睛反射。

23.根据权利要求21所述的系统，其中所述照明源对于佩戴所述装置的所述佩戴者而言是基本不可见的。

24.根据权利要求21所述的系统，其中所述照明源包括在所述镜片上的多个光源和耦接到所述光源、在所述镜片上的多个导电通路，所述系统进一步包括耦接到所述通路的控制器，用于选择性激活所述光源。

25.根据权利要求24所述的系统，其中所述多个光源彼此充分间隔开，以确保在所述眼睛运动通过其整个正常运动范围内时，来自光源的至少一个闪光在所述眼睛跟踪摄像机的图像中出现在所述眼睛的角膜区域的表面上。

26.根据权利要求24所述的系统，其中所述控制器经配置以照亮单个光源，从而产生单个闪光，并且其中所述处理器经配置以隔离所述视线跟踪摄像机图像中的所述单个闪光。

27.一种用于视线跟踪的方法，其包括：

将装置安置在佩戴者的头部，所述装置包括朝向所述佩戴者的眼睛定向的一个或更多个照明源和多个眼睛跟踪摄像机，所述眼睛跟踪摄像机被安置在所述装置上的不同位置，以提供所述眼睛的视场的重叠；以及

分析所述眼睛跟踪摄像机采集的所述眼睛的图像，以识别所述眼睛反射的、来自所述一个或更多个照明源的一个或更多个闪光并识别所述眼睛的特征相对于所述一个或更多个闪光的位置，从而确定所述佩戴者正在观看的位置。

28.根据权利要求27所述的方法，其中所述眼睛的特征的位置根据所述眼睛跟踪摄像机的图像监测，以识别所述眼睛的特征在哪个眼睛跟踪摄像机中相对于其他眼睛跟踪摄像机最接近所述视场的中心，并且其中分析所述眼睛的图像包括分析来自所识别的眼睛跟踪摄像机的图像，从而确定所述佩戴者正在观看的位置。

29.根据权利要求28所述的方法，其进一步包括周期性识别在哪个眼睛跟踪摄像机中所述眼睛的特征相对于其他眼睛跟踪摄像机最接近所述视场的中心，并包括分析来自所识别的眼睛跟踪摄像机的图像，从而确定所述佩戴者正在观看的位置。

30.根据权利要求27所述的方法，其中所述眼睛的特征的位置根据所述眼睛跟踪摄像机的图像监测，并且其中分析所述眼睛的图像包括对所述图像中的所述眼睛的特征的位置求平均，以确定所述佩戴者正在观看的位置。

31.根据权利要求30所述的方法，其进一步包括对所述图像应用矫正空间映射函数，从而适应所述眼睛的球面像差和曲率中的至少一个。

32.根据权利要求30所述的方法，其中来自所述眼睛跟踪摄像机的图像的眼睛的特征的位置在求平均之前被加权，从而适应所述眼睛的球面像差和曲率中的至少一个。

33.一种用于视线跟踪的方法，其包括：

将装置安置在佩戴者头部，所述装置包括朝向所述佩戴者的眼睛定向的多个照明源和眼睛跟踪摄像机，所述照明源被布置在所述佩戴者的视场内并经配置以最小化所述视场内对所述佩戴者的视觉的干扰；以及

分析所述眼睛跟踪摄像机采集的眼睛的图像，以识别所述眼睛反射的、来自一个或更多个照明源的一个或更多个闪光，并识别所述眼睛的特征相对于所述一个或更多个闪光的位置，从而确定所述佩戴者正在观看的位置。

34.根据权利要求33所述的方法，其中每次仅有一个所述照明源被激活，从而在所述眼睛的图像中产生单个闪光，并且其中所述眼睛的特征相对于所述单个闪光的位置被识别，从而确定所述佩戴者正在观看的位置。

35.根据权利要求33所述的方法，其中每次激活多个所述照明源，从而在所述眼睛的图像中同时产生多个闪光，并且其中所述眼睛的特征相对于所述多个闪光的位置被识别，从而确定所述佩戴者正在观看的位置。