CN109472189B

CN109472189B - 瞳孔半径补偿

Info

Publication number: CN109472189B
Application number: CN201811052949.0A
Authority: CN
Inventors: 西蒙·约翰逊; 马克·瑞安; 埃里克·林登
Original assignee: Tobii AB
Current assignee: Tobii AB
Priority date: 2017-09-08
Filing date: 2018-09-10
Publication date: 2022-03-22
Anticipated expiration: 2038-09-10
Also published as: EP3453317A1; US20190076014A1; US10820796B2; CN109472189A; ES2887976T3; EP3453317B1

Abstract

公开了一种方法，其包括：获得具有第一瞳孔尺寸的眼睛的第一眼睛方向与第一注视方向之间的第一角度偏差；获得具有第二瞳孔尺寸的眼睛的第二眼睛方向与第二注视方向之间的第二角度偏差；以及基于第一角度偏差和第二角度偏差形成描述估计角度偏差作为瞳孔尺寸的函数的补偿模型。还公开了一种包括配置成执行该方法的电路的系统和设备。

Description

瞳孔半径补偿

技术领域

本发明一般涉及眼睛跟踪领域。具体地，本发明涉及用于生成和/或使用指示眼睛的注视方向的注视跟踪信息的系统和方法。

背景技术

在本领域中，已知几种不同的眼睛跟踪技术。例如，可以采用这些技术来允许用户通过看着一个位置而在视觉显示器中指示该位置。例如，眼睛跟踪可以借助一个系统来执行，该系统捕捉用户面部的图像，并从用户面部提取诸如瞳孔中心和来自照亮用户面部的照明器的闪光的关键特征。然后可以采用所提取的特征来确定用户正在看着显示器的哪个位置。当然，眼睛跟踪的准确性、速度和可靠性/稳健性等因素是实现积极用户体验的理想因素。因此，已经提出了几种方案来减轻眼睛跟踪系统中可能出现的不同类型的错误或不准确性的负面影响。

在US2010/0328444中公开了一个这样的例子(为了所有目的，其全部内容通过引用结合于此，如同在此完全阐述)，其提出了一种眼睛跟踪器，该眼睛跟踪器包括用于照亮眼睛的至少一个照明器、用于对眼睛进行成像的至少两个相机以及一个控制器。照明器和相机配置成使得至少一个相机与参考照明器不同轴。控制器适于基于图像质量因子来选择相机。通过重复执行相机选择，眼睛跟踪可以基于两个相机中产生最佳质量度量的一个。通过这种方式，眼睛跟踪变得不那么容易受到干扰，例如视觉模糊的对象。

尽管这些技术可以提供更稳健和准确的眼睛跟踪，但是仍然需要改进的眼睛跟踪系统和方法。

发明内容

本发明的目的是提供一种使眼睛跟踪方法、系统和设备具有改进的性能的技术。其他和替代目的可以从以下描述中得以理解。

本发明涉及一种技术，在该技术中，可以获得用户眼睛的眼睛方向与注视方向之间的角度偏差(例如，在校准程序中)，并用于后续的眼动跟踪。眼睛方向可以理解为由眼睛的角膜和瞳孔的相对位置定义的三维矢量。因此，眼睛方向可以理解为眼睛在空间中的相对方向，也可以称为眼睛的光轴。另一方面，注视方向可以理解为视轴或视线，由用户的注视点和眼睛的中央凹区域(foveal region)定义的三维矢量表示。注视方向通常偏离眼睛方向一个可能与眼睛/受试者有关的角度偏差。因此，可以在例如校准程序中确定该角度偏差，在该程序中，用户观看具有一个或多个具有已知位置或移动轨迹的点(即，注视点)的动态或静态校准图案，同时通过观察例如瞳孔位置和来自照亮用户面部的照明器的闪光来测量眼睛方向。然后可以将所测量的眼睛方向与观看例如校准图案的用户的已知注视方向进行比较。

因此，根据第一方面，提供了一种方法，其包括以下步骤：获得具有第一瞳孔尺寸的眼睛的第一眼睛方向与第一注视方向之间的第一角度偏差；获得具有第二瞳孔尺寸的眼睛的第二眼睛方向与第二注视方向之间的第二角度偏差；以及基于第一角度偏差和第二角度偏差形成描述估计角度偏差作为瞳孔尺寸的函数的补偿模型。

因此，根据第二方面，提供了一种系统，其包括配置成执行根据第一方面的方法的步骤的电路，即，获得具有第一瞳孔尺寸的眼睛的第一眼睛方向与第一注视方向之间的第一角度偏差，获得具有第二瞳孔尺寸的眼睛的第二眼睛方向与第二注视方向之间的第二角度偏差，以及基于第一角度偏差和第二角度偏差形成描述估计角度偏差作为瞳孔尺寸的函数的补偿模型。

眼睛方向可以通过观察相对于估计角膜中心的瞳孔位置(例如，估计瞳孔中心的位置)来确定。这两个位置给出了眼睛方向或眼睛的视轴。然而，存在一个问题，当虹膜扩张和收缩时，瞳孔通常不会完全同心地围绕眼睛的一个固定点打开或闭合。换言之，估计瞳孔中心位置可能会以可能与眼睛或受试者相关的方式随瞳孔尺寸的变化而变化。因此，估计眼睛方向以及其相对于注视方向的角度偏差可能会随着瞳孔尺寸的变化而变化。这样，通过形成描述估计角度偏差作为瞳孔尺寸的函数的补偿模型，可以补偿该效果并且通过眼睛跟踪的准确性。特别地，这使得注视跟踪对与影响瞳孔尺寸的不同光照条件相关联的误差和偏差不那么敏感。因此，本发明构思对例如使用动态显示亮度的应用(例如，虚拟现实应用)或用于环境照明的应用(例如，增强现实应用)特别感兴趣。

在上文中，补偿模型基于两个测量点，即，针对第一瞳孔尺寸的第一角度偏差和针对第二瞳孔尺寸的第二角度偏差。然而，应当理解，这仅仅是一个说明性实施例，该模型也可以基于包括两个或更多个测量点的数据组。此外，考虑到与另外的瞳孔尺寸相关联的另外的角度偏差，可以在后续校准程序中对该补偿模型进行更新。这样，本发明不限于由两个数据点形成或在特定时间点形成的补偿模型。它也可以是一个动态模型，每当获取相关数据时进行更新，或者根据用户或提供者的请求进行更新。

如前所述，补偿模型可用于通过动态调整注视方向的计算以适应瞳孔的实际尺寸来改进注视跟踪。因此，根据一个实施例，该方法可以进一步包括获得具有第三瞳孔尺寸的眼睛的第三眼睛方向，并且基于补偿模型确定与第三瞳孔尺寸相关联的估计角度偏差。然后可以采用该角度偏差并基于第三眼睛方向来确定具有第三瞳孔尺寸的眼睛的第三注视方向。因此，本实施例可以表示操作过程中(即，当采用眼睛跟踪技术来确定用户的注视方向时)的方法或系统。在该情况下，可以在操作过程中重复执行上述获得第三眼睛方向并基于特定瞳孔尺寸的角度偏差来确定注视方向的步骤。

根据一些实施例，可以从具有第一瞳孔尺寸的眼睛的第一图像获得第一眼睛方向和第一瞳孔尺寸，其中可以从具有第二瞳孔尺寸的眼睛的第二图像获得第二眼睛方向和第二瞳孔尺寸。在一个实施例中，该方法可以包括获取眼睛的第一图像和第二图像的步骤。例如，可以从包括在系统中的一个或多个图像传感器或者从其他地方获得这些图像。各个图像中的瞳孔尺寸可以确定为图像中表示的瞳孔尺寸或者实际瞳孔尺寸。使用实际瞳孔尺寸是有利的，因为该尺寸可以不依赖于眼睛与图像传感器或相机之间的距离。

根据一个实施例，可以以第一照明强度获取第一图像，可以以不同于第一照明强度的第二照明强度获取第二图像。例如，通过改变显示亮度可以在捕捉第二图像时主动改变照明强度，以便获得用于不同瞳孔尺寸的校准数据。这样，可以将照明强度的改变作为一个主动步骤包括在校准程序中。在另一实施例中，第二图像的捕捉可以由照明强度的预定变化触发，即，当检测到照明强度的预定变化或检测到瞳孔尺寸的预定变化时。

根据一个实施例，可以基于估计角膜中心与估计瞳孔中心之间的相对位置来确定眼睛方向。例如，这可以通过用照明器(例如，红外或近红外照明器)照亮眼睛而在眼睛上导致至少两次反射或闪光来实现。然后可以捕捉并分析二维图像以确定反射在图像中的位置。如果假设角膜呈球形，即，使得所观察到的角膜表面部分可近似为球体的一部分，则可以利用反射的位置来导出眼睛中估计角膜球体中心。例如，基于虹膜和瞳孔之间的边界的图像分析，可以从眼睛的图像导出估计瞳孔中心。可以将图像中识别的瞳孔投影到角膜的模型上，以确定实际眼睛中的瞳孔的估计中心。然后可以基于估计角膜球体中心的位置和估计瞳孔中心的位置来确定第一眼睛方向和第二眼睛方向。

可以由指向用户所看对象的空间中的矢量来定义注视方向。换言之，可以由注视点和视网膜的中央凹区域的位置来定义注视方向。根据一个实施例，可以基于眼睛的注视点和估计角膜球体中心的位置来确定第一注视方向和第二注视方向。有利地，注视点可以是空间中的已知点，例如，相对于例如观察眼睛的图像传感器具有已知位置的校准结构。

术语“瞳孔尺寸”可以指在眼睛的图像中表示的瞳孔的尺寸，或者由虹膜定义的瞳孔的实际尺寸或眼睛的孔径。然而，可能有其他定义，例如当投影到表示角膜曲率的球体上时成像瞳孔的尺寸等。可以采用图像中的瞳孔边缘像素来估计瞳孔中心的位置、瞳孔的边缘和瞳孔尺寸(例如，可以根据瞳孔的半径来确定)。

根据一个实施例，可以将分别与具有第一瞳孔尺寸和第二瞳孔尺寸的眼睛相关联的注视跟踪数据存储在存储区域中。存储区域例如可以形成上述系统的一部分，或者可通信地连接到系统但不包括在系统中。通过存储注视跟踪数据(例如，可以从中提取眼睛方向和瞳孔尺寸的眼睛的图像)，可以在后续的校准或之后的补偿模型调整中重复使用这些数据。所存储的数据也可以称为原始数据。

因此，根据一个实施例，该方法可以包括以下附加步骤：获得具有另一瞳孔尺寸的眼睛的另一眼睛方向与另一注视方向之间的另一角度偏差，并且基于所存储的注视跟踪数据、另一瞳孔尺寸和另一角度偏差来更新补偿模型。

根据一个实施例，眼睛跟踪系统可以包括用于照亮眼睛的至少一个照明器以及用于捕捉眼睛的图像的至少一个图像传感器或相机。照明器可以例如包括至少两个光源(例如发光二极管)，其布置为在眼睛的角膜上产生至少两个闪光。在一些实施例中，由照明器发射的光可以是红外光或近红外光。

根据第三方面，公开了一种适于由用户佩戴的设备。例如，该设备可以是虚拟现实耳机或增强现实眼镜。该设备可包括用于照亮用户眼睛的至少一个照明器、用于捕捉眼睛图像的至少一个相机以及电路。该电路可以配置成：获得具有第一瞳孔尺寸的眼睛的第一眼睛方向与第一眼睛注视方向之间的第一角度偏差，获得具有第二瞳孔尺寸的眼睛的第二眼睛方向与第二注视方向之间的第二角度偏差，以及基于第一角度偏差和第二角度偏差形成描述估计角度偏差作为瞳孔尺寸的函数的补偿模型。

第一方面的方法的实施例可以由第二方面的任何实施例的系统执行，或者由第三方面的设备执行，或者由包括在该系统/设备中的电路执行。

根据第四方面，公开了一种计算机程序产品，其包括一个或多个计算机可执行指令，当其由实现眼睛/注视数据处理的计算系统执行时，这些指令使计算系统执行一种方法。例如，该方法可以是根据第一方面的方法。

例如，根据第三方面的一个或多个计算机可读存储介质的实施例可以包括与根据第二方面的系统或根据第三方面的设备的任何实施例的特征相对应的特征。

一个或多个计算机可读介质例如可以是一个或多个非暂态计算机可读介质。

应当注意，本发明的实施例涉及权利要求中记载的特征的所有可能组合。

附图说明

通过以下说明性和非限制性的详细描述并参照附图，将更好地理解本发明的上述以及其他目的、特征和优点。除非另有说明，附图中相同附图标记用于表示相同元件。

图1展示了根据本发明的实施例的眼睛跟踪系统。

图2展示了眼睛的示例图像；

图3展示了眼睛的一部分的横截面图；

图4a和4b是具有第一瞳孔尺寸的眼睛和具有第二瞳孔尺寸的眼睛的透视图。

图5-7是根据本发明实施例的方法的流程图。

图8是一种专用计算机系统的框图，该计算机系统能够用于本发明的装置或系统的至少一部分，或实现本发明的方法的至少一部分。

所有附图都是示意性的，一般仅示出为了阐明各个实施例所必需的部件，而其他部件可以省略或仅作为建议。

具体实施方式

本说明书仅提供示例性实施例，而不旨在限制本发明的范围、适用性或配置。相反，本说明书的示例性实施例将向本领域技术人员提供用于实现一个或多个示例性实施例的有利描述。应当理解，在不偏离如本文所述的本发明的精神和范围的情况下，可以在元件的功能和布置方面进行各种改变。

例如，关于一个实施例所讨论的任何细节可以存在或不存在于该实施例的所有预期版本中。类似地，关于一个实施例所讨论的任何细节可以存在或不存在于在本文所述的其他实施例的所有预期版本中。最后，没有讨论关于本文的实施例的任何细节，应默认这种细节可以存在或不存在于本文讨论的任何实施例的任何版本中。

以下描述给出了具体细节以提供对实施例的透彻理解。然而，本领域普通技术人员将理解，这些实施例可以在没有这些具体细节的情况下实施。例如，为了避免在不必要的细节上使实施例不清楚，可以将本发明中的电路、系统、网络、进程和其他元素表示为框图形式的组件。在其他实例中，为了避免使实施例不清楚，可以以没有不必要细节的形式表示公知的电路、进程、算法、结构和技术。

另外，应当注意，单独的实施例可描述为由流程图、作业图、数据流程图、结构图或框图描述的进程。尽管流程图可以将操作描述为顺序进程，但是许多操作可以并行或同时地执行。此外，操作的顺序也可以重新布置。进程可以在其操作完成时终止，但是可以具有图中未讨论或包括的附加步骤。此外，并非任何特别描述的进程中的所有操作都可以在所有实施例中发生。进程可以对应于方法、函数、程序、子例程、子程序等。当进程对应于函数时，其终止对应于函数返回到调用函数或主函数。

术语“机器可读介质”等包括但不限于暂态或非暂态、便携式或固定存储设备、光学存储设备、无线信道以及能够存储、包含或携带指令和/或数据的各种其他介质。代码段或机器可执行指令可以表示程序、函数、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序语句的任何组合。代码段可以通过传递和/或接收信息、数据、自变量、参数或存储内容而耦合到另一代码段或硬件电路。可以通过任何合适的方式(包括存储共享、消息传递、令牌传递、网络传输等)来传递、转发或传输信息、自变量、参数、数据等。

此外，本发明的实施例至少部分可以手动或自动地实现。可以通过使用机器、硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来执行或至少辅助手动或自动实现。当在软件、固件、中间件或微代码中实现时，执行必要任务的程序代码或代码段可以存储在机器可读介质中。处理器可以执行必要任务。

图1展示了根据一个实施例的眼睛跟踪系统100(也可以被称为注视跟踪系统)。系统100可以包括用于照亮用户眼睛的照明器111和112，以及用于捕捉用户眼睛的图像的图像传感器113(也被称为光传感器)。例如，照明器111和112可以是在红外频带或近红外频带中发射光的发光二极管。例如，光传感器113可以是相机，例如互补金属氧化物半导体(CMOS)相机或电荷耦合器件(CCD)相机。

第一照明器111可以与图像传感器113同轴(或靠近)布置，使得图像传感器113可以捕捉用户眼睛的亮瞳孔图像。由于第一照明器111和图像传感器113同轴布置，从眼睛的视网膜反射的光通过朝向图像传感器113的瞳孔返回，使得在第一照明器111照亮眼睛的图像中，瞳孔看起来比其周围的虹膜更亮。第二照明器112可以与图像传感器113非同轴地(或者远离图像传感器113)布置，用于捕捉暗瞳孔图像。由于第二照明器112和图像传感器113非同轴布置，从眼睛的视网膜反射的光不会到达图像传感器113，并且在第二照明器112照亮眼睛的图像中，瞳孔看起来比其周围的虹膜更暗。例如，照明器111和112可以轮流照亮眼睛，使得每个第二图像为亮瞳孔图像，或者每个第二图像为暗瞳孔图像。

眼睛跟踪系统100还可以包括用于处理由图像传感器113捕捉的图像的电路120(例如，包括一个或多个处理器)。例如，电路120可以通过有线或无线连接而连接到图像传感器113和照明器111、112。在另一个例子中，可以在图像传感器113的光敏表面下方的一个或多个堆叠层中设置一个或多个处理器形式的电路120。

图2展示了由如图1中的系统所示的图像传感器113捕捉的眼睛200的图像的例子。例如，电路120可以采用图像处理(例如数字图像处理)来提取图像中的特征。例如，电路120可以配置成估计瞳孔210的尺寸(例如，半径以及瞳孔中心的位置)。电路120还可以配置成估计由来自照明器111、112的光的反射引起的闪光120的中心的位置，并且从这些位置计算用户眼睛200指向的位置。由于眼睛200的光学中心与中央凹之间通常存在偏差，因此处理器执行中央凹偏差的校准以能够确定用户正在看的位置。参照图3和图4对此进行详细说明。

在参照图1和图2描述的实施例中，照明器111、112可以布置在眼睛跟踪模块110中，该眼睛跟踪模块110放置在用户观看的显示器下方。这种布置仅作为示例。应当理解，可以采用更多或更少数量的照明器和图像传感器来进行眼睛跟踪，并且这种照明器和图像传感器可以相对于用户以及用户观看的任何场景或显示器以许多不同的方式来分布。应当理解，本发明中描述的眼睛跟踪方案可以例如用于远程眼睛跟踪(例如，在个人计算机、智能手机中，或集成在车辆中)或用于可穿戴眼睛跟踪(例如，在虚拟现实眼镜或增强现实眼镜中)。

现在将参照图3描述如何确定眼睛方向以及眼睛方向与注视方向之间的角度偏差的实施例。图3展示了眼睛300的不同部分的横截面。角膜310具有中心区域311和外部区域312，中心区域311通常具有可能接近球形的三维曲率，外部区域312可能不那么接近球形。因此，角膜310可以近似为球体330的表面部分(在本图中由虚线示出)，其具有位于眼睛内的估计三维中心点314。换言之，眼睛的角膜表面的至少一部分可以近似为内接在假想球体330的表面部分或与假想球体330的表面部分一致的形状。该中心点也可以称为角膜球体中心314，并且可以根据闪光220在角膜表面上的位置来计算。角膜球体中心314和瞳孔中心350的估计位置(也根据图像数据确定)定义眼睛300的光轴(也称为眼睛方向ED)。如图3所示，光轴ED可以从视网膜延伸穿过角膜球体中心314、瞳孔中心350和角膜。由于光轴可以从估计角膜球体中心314和瞳孔中心350导出，所以它也可以随着瞳孔中心350的位置变化而变化。

同时，视轴(也称为注视方向GD)从中央凹313延伸穿过角膜球体中心314。因此，视轴可以由视网膜的中央凹部分的物理位置和角膜的构造确定，因此对瞳孔尺寸和位置的变化可能不太敏感。当用户观看具有已知位置的注视点时，可以在系统校准过程中确定视轴的方向或注视方向GD。

如图所示，视轴GD可能偏离光轴ED一个角度偏差α。该偏差可以通过校准程序确定，在该校准程序组中，将已知的注视方向GD与眼睛方向ED进行比较。尽管图示例子示出了纸平面上的角度偏差，应当意识到的是，偏差也可能指向与纸平面垂直的方向，或者其任何组合。因此，眼睛方向ED与注视方向GD之间的角度偏差α可以由指示例如在眼球的内-外和头-尾方向的偏差的矢量表示。

图4a展示了眼睛400的透视图，其中瞳孔410具有第一尺寸或半径R1。图4b是具有第二瞳孔尺寸R2的相同眼睛400的透视图。例如，瞳孔尺寸可能随照明强度而变化，其中已知强度增加将导致虹膜410收缩而强度降低可能导致虹膜420扩张。这对于眼睛暴露于例如环境照明(例如，增强现实应用)中的应用或动态显示亮度的应用来说是公知效果。

瞳孔中心451、452的位置可随着瞳孔尺寸的改变而移动，从而可影响估计眼睛方向ED，并因此影响用于计算注视方向GD的角度偏差。在本图中，在眼睛的瞳孔中心的内/外位置的移动由角度偏差α₁、α₂表示，这表明当瞳孔尺寸从第一尺寸R1减小到第二尺寸R2时，本实施例中的瞳孔中心相对于眼睛的中心点c向上移动(沿头方向)。

在图4a中，眼睛400具有第一扩张瞳孔尺寸R1，第一眼睛方向ED1与第一注视方向GD1之间具有第一角度偏差α₁。如果瞳孔中心451的位置例如由于虹膜410的收缩而移动，则估计眼睛方向ED1可以如图4b所示发生变化，图4b示出了眼睛400具有第二收缩瞳孔尺寸R2，导致第二眼睛方向ED2与第二注视方向GD2之间具有第二角度偏差α₂。应当注意，第一眼睛方向ED1和第二眼睛方向ED2由于瞳孔中心位置的移动可能彼此不同，而第一注视方向GD1和第二注视方向GD2(在本实施例中由中心点c定义)可能受瞳孔位置的移动的影响较小。在一些实施例中，对于两个瞳孔尺寸R1、R2，可以假设注视方向GD1、GD2是相同的。

因此，瞳孔中心位置451、452的移动可导致角度偏差从第一角度偏差α₁变为第二角度偏差α₂。该关系使得可以在例如系统的校准过程中，即当用户观看具有已知位置的空间中的点时，将角度偏差α₁、α₂针对不同的瞳孔尺寸R1、R2进行映射。基于该信息，可以形成描述估计角度偏差作为瞳孔尺寸的函数的补偿模型。替代地或另外地，可以将照明强度与角度偏差α₁、α₂相关联以形成偏差作为照明强度的函数的类似模型。优选地，该模型应该针对每个单独用户进行校准，因为可以假设不同用户的虹膜对不同的照明强度会作出不同的反应。

在一个实施例中，可以通过线性近似来估计针对特定瞳孔尺寸的角度偏差α。换句话说，可以通过以下表达式来描述角度偏差：

α(R)＝kR+m

其中，α为注视方向GD和眼睛方向ED之间的角度偏差，R为瞳孔半径(优选从眼睛的图像获得)，k和m为例如在校准过程中设置的常数。该模型可以基于至少两个测量点来确定，例如，第一瞳孔尺寸和第二瞳孔尺寸以及对应的第一角度偏差和第二角度偏差值。然而应当理解，本发明决不限于基于两次测量的线性近似。诸如高阶多项式近似的其他模型可以与包括三个或更多个不同的瞳孔尺寸和角度偏差的数据组一起使用。以下数学关系是高阶多项式模型的一个示例：

其中，R为瞳孔半径，n为多项式次数(或阶数)，a为校准过程中确定的参数组。

图5是根据本发明的实施例的方法的流程图。例如，该方法可以由上面参照图1描述的眼睛跟踪系统100或眼睛跟踪系统100中包括的电路120来执行。

该方法包括：获得510具有第一瞳孔尺寸R1的眼睛的第一眼睛方向ED1与第一注视方向GD1之间的第一角度偏差α₁；获得520具有第二瞳孔尺寸R2的眼睛的第二眼睛方向ED2与第二注视方向GD2之间的第二角度偏差α₂；以及基于第一角度偏差α₁和第二角度偏差α₂形成530描述估计角度偏差α作为瞳孔尺寸R的函数的补偿模型。

上述步骤510、520、530中的一个或几个可以由眼睛跟踪系统100的电路120来执行。应当理解，电路120可以集成在单个单元中，或者分布在可能布置在不同位置的几个物理上不同的单元之间。因此，根据一个实施例，第一角度偏差α₁和第二角度偏差α₂可以在第一电路单元处获得，然后被传输到第二电路单元，在第二电路单元处理数据以形成补偿模型。

第一角度偏差α₁和第二角度偏差α₂可以从眼睛300的注视跟踪数据获得，反过来可以从眼睛300的图像中提取。注视跟踪数据例如可以包括(优选地但不是必须地)以例如结合图3描述的类似方式而导出瞳孔中心350、瞳孔尺寸(例如，半径或直径)R和角膜中心314的信息。例如，这些图像可以从如结合图1所公开的图像传感器(例如相机)获得。图像传感器可以布置为捕捉反射来自一个或多个照明器111、112的闪光的眼睛300的图像。可以在不同的照明强度下(例如在不同的环境光条件下)捕捉该图像，以便获得表示不同瞳孔尺寸R1、R2的信息。在一个实施例中，可以在用户在例如显示器上观看已知位置的校准程序中获得该图像。校准程序可以例如是九点校准程序，其中当用户在观看显示器上的九个物理上分离的点中的每一个时捕捉用户的眼睛。

图6是根据一个实施例的方法的流程图，其可以类似于根据参照图5描述的实施例的方法。在本实施例中，可以例如通过与上面结合图1所述类似的、根据一个实施例的系统的图像传感器来获得612具有第一瞳孔尺寸R1的眼睛的第一图像。可以对捕捉的图像进行分析，以基于估计角膜球体中心314的位置和估计瞳孔中心350的位置来确定614第一眼睛方向ED1，基于已知的注视点(例如，从校准图案获得的)和估计角膜球体中心314来确定616第一注视方向GD1。此外，可以从同一图像来确定618瞳孔尺寸R1。然后可以使用第一注视方向GD1和第一眼睛方向ED1来确定619(例如，通过处理器或电路)两个方向之间的角度偏差α₁，并在捕捉图像时将角度偏差α₁与眼睛的特定瞳孔尺寸R1相关联。

对于优选地具有与第一瞳孔尺寸R1不同的第二瞳孔尺寸R2的眼睛的第二图像，可以重复上述步骤612-619。因此，该方法可以包括以下步骤：获取622眼睛的第二图像；分析第二图像以基于估计角膜球体中心314的位置(该位置可以基于第二图像来确定，或从诸如第一图像或先前存储的校准数据的先前测量中提取)以及估计瞳孔中心350的位置(考虑到两个图像之间的瞳孔半径不同，可以假设其与第一图像的估计瞳孔中心不同)来确定624第二眼睛方向ED2。此外，该方法可以包括步骤：基于已知的注视点(其可以是与第一图像相同的点，或者空间中的不同点)和估计角膜球体中心314来确定626第二注视方向GD2。然后可以确定629第二注视方向GD2和第二眼睛方向ED2之间的角度偏差α₂并且与第二瞳孔尺寸R2相关联，第二瞳孔尺寸R2可以从相同图像中确定628。

第一角度偏差α₁、第二角度偏差α₂和相应的瞳孔尺寸R1、R2可以在后续步骤中用于形成630补偿模型，该补偿模型描述角度偏差α作为瞳孔尺寸R的函数。例如，该模型可以是线性模型、多项式近似或s曲线，或查找表的一组条目。该模型可以存储640在系统的存储区域中，或者发送到系统(或电路)可以访问的存储区域。存储区域还可以适于存储650用于在校准程序中获得角度偏差的图像，或者存储从该图像中提取的原始数据，供后续使用。在从眼睛的另一图像获得660具有另一瞳孔尺寸的眼睛的另一眼睛方向和另一注视方向之间的另一角度偏差的情况下，可以采用该另一角度偏差、另一瞳孔尺寸和另一角度偏差来更新670基于先前存储的原始数据的补偿模型。

因此，应当理解，本发明构思不限于仅使用两个图像来确定角度偏差、瞳孔半径和补偿模型的方法。相反，该补偿模型可以基于从三个或更多个图像获得的眼睛跟踪数据形成，并且还可以在眼睛跟踪系统的使用过程中进行动态更新。

图7是根据实施例的方法的流程图，其可以类似于结合先前的图5和图6所述的实施例。因此，该方法可以包括以下步骤：获得710具有第一瞳孔尺寸R1的眼睛的第一眼睛方向ED1与第一注视方向GD1之间的第一角度偏差α₁；获得720具有第二瞳孔尺寸R2的眼睛的第二眼睛方向ED2与第二注视方向GD2之间的第二角度偏差α₂；基于第一角度偏差α₁和第二角度偏差α₂形成730估计角度偏差α作为瞳孔尺寸R的函数的补偿模型。

在该方法的后续部分中，可以在使用过程中采用补偿模型来跟踪注视。因此，根据本实施例的方法还可以包括以下步骤：获得740第三眼睛方向ED3；确定742瞳孔尺寸R3；以及使用补偿模型来确定750与所确定的瞳孔尺寸R3相关联的角度偏差α。然后可以使用角度偏差α来计算760眼睛的第三注视方向GD3。可以重复执行上述步骤，即，获得740第三眼睛方向，确定742瞳孔尺寸，确定750角度偏差并将该偏差应用于第三眼睛方向ED3以获得第三注视点GD3的步骤，以在使用系统的过程中实现对注视的主动跟踪。

图8是说明可以实现本发明实施例的专用计算机系统800的框图。该实施例对专用计算机系统800进行了说明，例如该系统可以全部地、部分地或进行各种修改而使用，以提供本文描述的部件的功能。

示出了专用计算机系统800，其包括可以通过总线890电性连接的硬件元件。硬件元件可以包括一个或多个中央处理单元810、一个或多个输入设备820(例如，鼠标、键盘、眼睛跟踪设备等)以及一个或多个输出设备830(例如，显示设备、打印机等)。专用计算机系统800还可以包括一个或多个储存设备840。例如，存储设备840可以是磁盘驱动器、光学存储设备、固态存储设备(例如，随机存取存储器(“RAM”)和/或只读存储器(“ROM”))，其可以是可编程的、可闪存更新的存储设备等。

此外，专用计算机系统800还可以包括计算机可读存储介质读取器850、通信系统860(例如，调制解调器、网卡(无线或有线)、红外通信设备、蓝牙^TM设备、蜂窝通信设备等)以及可以包括如上所述的RAM和ROM设备的工作存储器880。在某些实施例中，专用计算机系统800还可以包括加速处理单元870，加速处理单元870可以包括数字信号处理器、专用处理器等。

计算机可读存储介质读取器850可以进一步连接到计算机可读存储介质，一起(且可选地，与存储设备840结合)全面地表示用于临时和/或更永久地包含计算机可读信息的远程、本地、固定和/或可移动的存储设备以及存储介质。通信系统860可以允许与上述网络、系统、计算机和/或其他部件交换数据。

专用计算机系统800还可以包括软件元素，如图所示，这些软件元素当前位于工作存储器880中，工作存储器880包括操作系统884和/或其他代码888。应当理解，专用计算机系统800的替代实施例可以与上述实施例具有许多不同。例如，也可以使用定制的硬件，并且/或者可在硬件、软件(包括便携式软件，例如小程序)或二者中实现特定元素。此外，还可以连接到其他计算设备(例如网络输入/输出设备和数据采集设备)。

专用计算机系统800的软件可以包括代码888，用于实现如本文所述的架构的各种元件的任何或全部功能。例如，由专用计算机系统(例如专用计算机系统800)存储和/或执行的软件可以提供如上所述的本发明的部件的功能。上面已经详细讨论了通过这些部件上的软件可实现的方法。

本领域技术人员应当理解，本发明不限于上述优选实施例。相反，在所附权利要求的范围内，可以进行许多修改和变化。例如，本领域技术人员应当理解，本文描述的眼睛/注视跟踪方法可以由许多其他眼睛/注视跟踪系统(例如，使用多个照明器和多个图像传感器的系统)执行，而不仅是由图1所示的眼睛/注视跟踪系统100执行。

此外，通过对附图、本发明和所附权利要求的研究，本领域技术人员可以理解并实现对所公开的实施例的变化。在本权利要求中，词语“包括”不排除其它元素或步骤，并且不定冠词“一”或“一个”不排除多个。本发明中提到的功能单元之间的任务划分不一定对应于物理上不同单元的划分；相反，一个物理部件可以具有多个功能，并且一个任务可以通过几个物理部件协作以分布式方式来执行。计算机程序可以存储/分布在合适的非暂态介质上(例如与其它硬件一起或作为其它硬件的一部分而提供的光学存储介质或固态介质)，但是也可以以其它形式分布，例如经由因特网或其它有线或无线的电信系统。

在相互不同的从属权利要求中陈述某些措施/特征这一事实并不表示这些措施/特征的组合不能用于获利。除非明确描述要求某个顺序，否则不一定按照在权利要求中或在本文所述的实施例中出现的顺序来执行方法步骤。权利要求中的任何附图标记不应被解释为对范围的限制。

Claims

1.一种眼睛跟踪方法，其特征在于，包括：

获得具有第一瞳孔尺寸的眼睛的第一眼睛方向与第一注视方向之间的第一角度偏差；

获得具有第二瞳孔尺寸的眼睛的第二眼睛方向与第二注视方向之间的第二角度偏差；

基于所述第一角度偏差和所述第二角度偏差来形成描述估计角度偏差作为瞳孔尺寸的函数的补偿模型；

获得具有第三瞳孔尺寸的眼睛的第三眼睛方向；

基于所述补偿模型来确定与所述第三瞳孔尺寸相关联的估计角度偏差；以及

基于所述第三眼睛方向和与所述第三瞳孔尺寸相关联的所述估计角度偏差来确定所述眼睛的第三注视方向。

2. 根据权利要求1所述的眼睛跟踪方法，其特征在于，

从具有所述第一瞳孔尺寸的所述眼睛的第一图像获得所述第一眼睛方向和所述第一瞳孔尺寸；以及

从具有所述第二瞳孔尺寸的所述眼睛的第二图像获得所述第二眼睛方向和所述第二瞳孔尺寸。

3.根据权利要求2所述的眼睛跟踪方法，其特征在于，还包括获取所述眼睛的所述第一图像以及获取所述眼睛的所述第二图像。

4.根据权利要求3所述的眼睛跟踪方法，其特征在于，以第一照明强度获取所述第一图像，并且以不同于所述第一照明强度的第二照明强度获取所述第二图像。

5.根据权利要求1所述的眼睛跟踪方法，其特征在于，基于估计角膜球体中心的位置和具有所述第一瞳孔尺寸和所述第二瞳孔尺寸的所述眼睛的估计瞳孔中心的位置来分别确定所述第一眼睛方向和所述第二眼睛方向。

6.根据权利要求1所述的眼睛跟踪方法，其特征在于，基于估计角膜球体中心的位置和具有所述第一瞳孔尺寸和所述第二瞳孔尺寸的所述眼睛的注视点来分别确定所述第一注视方向和所述第二注视方向。

7.根据权利要求1所述的眼睛跟踪方法，其特征在于，还包括：

基于具有所述第一瞳孔尺寸的所述眼睛的图像和具有所述第二瞳孔尺寸的所述眼睛的图像，确定相应瞳孔的实际尺寸。

8.根据权利要求1所述的眼睛跟踪方法，其特征在于，还包括：

存储与具有所述第一瞳孔尺寸和所述第二瞳孔尺寸的所述眼睛相关联的注视跟踪数据。

9.根据权利要求8所述的眼睛跟踪方法，其特征在于，还包括：

获得与具有另一瞳孔尺寸的眼睛的另一眼睛方向与另一注视方向之间的另一角度偏差；

基于所存储的注视跟踪数据、所述另一瞳孔尺寸和所述另一角度偏差来更新所述补偿模型。

10.一种眼睛跟踪系统，其特征在于，包括配置成以下的电路：

从所述眼睛的第一图像确定所述第一眼睛方向和所述第一瞳孔尺寸；

从所述眼睛的第二图像确定所述第二眼睛方向和所述第二瞳孔尺寸

获得具有第三瞳孔尺寸的眼睛的第三眼睛方向；

基于所述补偿模型确定与所述第三瞳孔尺寸相关联的估计角度偏差；以及

基于所述第三眼睛方向和与所述第三瞳孔尺寸相关联的所述估计角度偏差，确定所述眼睛的第三注视方向。

11.根据权利要求10所述的眼睛跟踪系统，其特征在于，所述电路配置成：

基于估计角膜球体中心的位置和具有所述第一瞳孔尺寸和所述第二瞳孔尺寸的所述眼睛的估计瞳孔中心的位置来分别确定所述第一眼睛方向和所述第二眼睛方向。

12.根据权利要求10所述的眼睛跟踪系统，其特征在于，所述电路配置成：

基于估计角膜球体中心的位置和具有所述第一瞳孔尺寸和所述第二瞳孔尺寸的所述眼睛的注视点来分别确定所述第一注视方向和所述第二注视方向。

13. 根据权利要求10所述的眼睛跟踪系统，其特征在于，还包括：

用于照亮所述眼睛的至少一个照明器；以及

用于捕捉所述眼睛的图像的至少一个相机。

14.根据权利要求13所述的眼睛跟踪系统，其特征在于，所述至少一个照明器配置成发射红外光或近红外光。

15.根据权利要求10所述的眼睛跟踪系统，其特征在于，所述电路具有存储区域，所述存储区域配置成存储表示所述补偿模型的数据。

16.一种适于由用户穿戴的设备，其特征在于，包括：

用于照亮所述用户的眼睛的至少一个照明器；

用于捕捉所述眼睛的图像的至少一个相机；

电路，其配置成：

获得具有第一瞳孔尺寸的所述眼睛的第一眼睛方向与第一注视方向之间的第一角度偏差；

获得具有第二瞳孔尺寸的所述眼睛的第二眼睛方向与第二注视方向之间的第二角度偏差；

获得具有第三瞳孔尺寸的眼睛的第三眼睛方向；

17.一种存储介质，其特征在于，包括一个或多个计算机可读介质，所述一个或多个计算机可读介质具有用于执行权利要求1-9中任一项所述的眼睛跟踪方法的指令。