CN115904061A - 注视缺陷补偿 - Google Patents

Abstract

一种眼睛追踪系统，包括控制器，所述控制器被配置为针对用户的左眼和右眼中的一个或两个：接收与眼睛相关联的眼睛测量数据；根据眼睛测量数据确定眼睛的光轴；以及基于光轴的方向来选择多个眼睛模型中的一个；以及通过将所选择的眼睛模型应用于眼睛测量数据来确定眼睛的注视矢量。

Description

注视缺陷补偿

技术领域

本公开内容总体上涉及眼睛追踪领域。特别地，本公开内容涉及用于在存在健康相关的眼睛缺陷的情况下提供准确的眼睛追踪的眼睛追踪系统和方法。

背景技术

在眼睛追踪应用中，取得用户眼睛的数字图像，并且对数字图像进行分析，以便估计用户的注视方向。注视方向的估计可以基于对被成像眼睛的特征的基于计算机的图像分析。一种已知的眼睛追踪示例方法包括使用红外光和图像传感器。红外光朝向用户的瞳孔被引导，并且光的反射由图像传感器捕获。

许多眼睛追踪系统基于瞳孔位置以及闪光或角膜反射的识别来估计注视方向。眼睛追踪系统可以包括用于定义眼睛追踪模型的校准序列，该眼睛追踪模型可以将瞳孔位置和闪光映射到注视方向。然而，对于具有健康相关的眼睛缺陷的用户来说，这种眼睛追踪模型的表现可能较差。

先前也已经描述了便携式或可穿戴式眼睛追踪设备。在美国专利号9,041,787中描述了一种这样的眼睛追踪系统(该美国专利的全部内容通过引用并入本文)。描述了一种使用光照器和图像传感器来确定注视方向的可穿戴式眼睛追踪设备。

发明内容

根据本公开内容的第一方面，提供了一种眼睛追踪系统，该眼睛追踪系统包括控制器，该控制器被配置为针对用户的左眼和右眼中的一个或两个：

接收与眼睛相关联的眼睛测量数据；

根据眼睛测量数据确定眼睛的光轴；以及

基于光轴的方向来选择多个眼睛模型中的一个；以及

通过将所选择的眼睛模型应用于眼睛测量数据来确定眼睛的注视矢量。

眼睛追踪系统可以有利地实施依赖于注视的眼睛模型，该依赖于注视的眼睛模型取决于光轴/用户注视的方向而应用不同计算过程。通过基于光轴的方向来选择多个眼睛模型中的一个，眼睛追踪系统可以有利地补偿一只或两只眼睛的斜视或其他注视相关的缺陷。

控制器可以被配置为基于光轴的方向来选择多个预定眼睛模型中的一个。

控制器可以被配置为通过以下方式来选择多个眼睛模型中的一个：基于光轴的方向来从多个注视偏移值选择某注视偏移值；以及将所选择的注视偏移值应用于基准眼睛模型。

控制器可以被配置为通过以下方式来选择多个眼睛模型中的一个：基于光轴的方向来从多个注视偏移值选择某注视偏移值；以及将所选择的注视偏移值应用于所选择的预定眼睛模型。

该控制器可以被配置为通过在校准过程中确定以下各项来确定多个眼睛模型：定义对应的多个预定眼睛模型的多个眼睛建模参数集；基准眼睛模型和用于应用于基准眼睛模型的多个注视偏移值；或者定义对应的多个预定眼睛模型的多个眼睛建模参数集和用于应用于预定眼睛模型中的一个的多个注视偏移值。

该控制器可以被配置为通过在校准过程中确定以下各项来确定多个眼睛模型：定义用于对应的多个刺激点或刺激点区域的对应的多个预定眼睛模型的多个眼睛建模参数集；基准眼睛模型和用于对应的多个刺激点或刺激点区域的多个注视偏移值，其中注视偏移值用于应用于基准眼睛模型；或者定义用于对应的多个刺激点区域的对应的多个预定眼睛模型的多个眼睛建模参数集、以及用于刺激点区域的对应子集的多个注视偏移值，其中注视偏移值用于应用于预定眼睛模型中的一个。

控制器可以被配置为：使多个刺激点一次一个地向用户显示；以及接收每个刺激点的眼睛测量数据。

多个刺激点可以包括6个或更多个刺激点。

以下各项中的每一个：多个眼睛建模参数集；和/或多个注视偏移值，可以对应于：每个刺激点；或者刺激点区域。

控制器可以被配置为：确定用户的左眼的注视矢量；确定用户的右眼的注视矢量；基于针对相应的左眼和右眼所选择的眼睛模型来确定左眼注视矢量和右眼注视矢量中的每一个的权重；以及将权重应用于左眼和右眼中的每一个的注视矢量，以提供组合注视矢量。

控制器可以被配置为基于与所选择的眼睛模型相关联的注视偏移值的量值来确定权重。

控制器可以被配置为根据与所选择的眼睛模型相关联的注视偏移值相对于多个注视偏移值的相邻值的变化来确定权重。

控制器可以被配置为根据与所选择的眼睛模型相关联的眼睛建模参数集的值相对于多个眼睛建模参数集的相邻值的变化来确定权重。

控制器可以被配置为在校准过程中确定多个权重，每个权重对应于以下各项中的每一个：多个眼睛建模参数集；多个注视偏移值；和/或多个刺激点。

每个权重可以包括从0到1的值。

该控制器可以进一步被配置为：使多个刺激点一次一个地向用户重新显示；以及针对被显示的每个刺激点：接收眼睛测量数据；选择对应于刺激点的眼睛模型；使用所选择的眼睛模型和眼睛测量数据来计算注视矢量；计算所计算的注视矢量与对应于刺激点的已知注视矢量之间的差异；以及基于该差异而确定权重。

根据本公开内容的第二方面，提供了一种头戴式设备，包括如本文所公开的任何眼睛追踪系统。

根据本公开内容的第三方面，提供了一种眼睛追踪方法，该方法包括：

接收与用户的眼睛相关联的眼睛测量数据；

根据眼睛测量数据确定眼睛的光轴；以及

基于光轴的方向来选择多个眼睛模型中的一个；以及

通过将所选择的眼睛模型应用于眼睛测量数据来确定眼睛的注视矢量。

根据本公开内容的第四方面，提供了一种校准眼睛追踪系统的方法，该方法包括：

使多个刺激点一次一个地向用户显示；

接收每个刺激点的眼睛测量数据；

确定：

定义对应的多个预定眼睛模型的多个眼睛建模参数集；

基准眼睛模型和用于应用于基准眼睛模型的多个注视偏移值；或者

定义对应的多个预定眼睛模型的多个眼睛建模参数集和用于应用于多个预定眼睛模型中的一个预定眼睛模型的多个注视偏移值，

其中，以下各项中的每一个：

多个眼睛建模参数集；和/或

多个注视偏移值，

对应于：

每个刺激点；或者

刺激点区域。

根据本公开内容的第五方面，提供了一种或多种非暂时性计算机可读存储介质，存储有计算机可执行指令，这些指令当被计算系统执行时使该计算系统执行本文公开的任何方法。

可以提供一种计算机程序，当该计算机程序在计算机上运行时使计算机配置任何装置(包括本文公开的电路、控制器或设备)，或者执行本文公开的任何方法。该计算机程序可以是软件实施方式，并且该计算机可以被认为是任何适当的硬件，包括数字信号处理器、微控制器，并且是只读存储器(ROM)、可擦除可编程只读存储器(EPROM)或电可擦除可编程只读存储器(EEPROM)中的实施方式，作为非限制性示例。该软件可以是汇编程序。

可以在计算机可读介质上提供计算机程序，该计算机可读介质可以是比如盘或存储器设备等物理计算机可读介质，或者可以体现为瞬时信号。这种瞬时信号可以是网络下载内容，包括互联网下载内容。可以提供一种或多种非暂时性计算机可读存储介质，存储有计算机可执行指令，这些指令当被计算系统执行时使该计算系统执行本文公开的任何方法。

附图说明

现在将参考附图仅通过示例的方式描述一个或多个实施例，在附图中：

图1示出了眼睛追踪系统的示意图，该眼睛追踪系统可以用于捕获可以由本公开内容的示例实施例使用的图像序列；

图2示出了一双眼睛的示例图像；

图3示意性地展示了眼睛的光轴与注视矢量之间的差异；以及

图4展示了患有严重斜视的用户的左眼的、对于各种刺激的实测注视方向；

图5展示了根据本公开内容的实施例的眼睛追踪系统；

图6A至图6C展示了用于确定多个眼睛模型的校准例程；

图7示意性地展示了根据本公开内容的实施例的方法；以及

图8示意性地展示了根据本公开内容的实施例的校准眼睛追踪系统的方法。

具体实施方式

图1示出了头戴式设备中的眼睛追踪系统100(其也可以称为注视跟踪系统)的简化视图，该头戴式设备呈虚拟或增强现实(VR或AR)设备、或VR或AR眼镜、或任何相关事物(比如扩展现实(XR)或混合现实(MR)头戴装置)的形式。系统100包括用于捕获用户眼睛的图像的图像传感器120(例如，相机)。该系统可以可选地包括用于照射用户的眼睛的一个或多个光照器110至119，这些光照器可以例如是发射红外频带或近红外频带中的光的发光二极管，并且可以物理布置成各种配置。图像传感器120可以例如是任何类型的图像传感器，比如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。图像传感器可以由包含像素传感器阵列的集成电路构成，每个像素包含光电检测器和有源放大器。图像传感器可以能够将光转换成数字信号。在一个或多个示例中，图像传感器可以是红外图像传感器或IR图像传感器、RGB传感器、RGBW传感器、或具有IR滤光片的RGB或RGBW传感器。

眼睛追踪系统100可以包括用于接收并处理由图像传感器120捕获的图像的电路系统或一个或多个控制器125，例如，包括接收器126和处理电路系统127。电路系统125可以例如经由有线连接或无线连接而连接到图像传感器120和可选的一个或多个光照器110至119，并且与图像传感器120和一个或多个光照器110至119位于同一位置、或相隔一定距离(例如，在不同的设备中)。在另一示例中，电路系统125可以设置在光传感器120的光敏表面下方的一个或多个堆叠层中。

眼睛追踪系统100可以包括用于向用户呈现信息和/或视觉刺激的显示器(未示出)。显示器可以包括呈现影像并基本上阻挡了用户的真实世界视野的VR显示器，或者呈现被感觉为叠加在用户真实世界视野之上的影像的AR显示器。

在这样的系统100中，用于一只眼睛的图像传感器120的位置通常远离用户的视线，以便不遮挡那只眼睛的显示器。该构造例如可以借助于所谓的热镜来实现，该热镜反射一部分光并且允许其余的光穿过，例如红外光被反射，并且可见光被允许穿过。

虽然在上述示例中，用户眼睛的图像由头戴式图像传感器120捕获，但在其他示例中，图像可以由非头戴式的图像传感器捕获。这种非头戴式系统可以称为远程系统。

在眼睛追踪系统中，可以针对用户的每只眼睛(左眼和右眼)计算注视信号。这些注视信号的质量可能会因输入图像中的干扰(比如图像噪声)和不正确的算法行为(比如不正确的预测)而降低。眼睛追踪系统的目标是提供在准确度(偏差误差)和精度(方差误差)方面尽可能好的注视信号。对于许多应用，每个时刻仅提供一个注视信号可能就足够了，而不是分别提供左眼和右眼的注视。进一步地，可以将左眼信号和右眼信号结合起来提供组合注视信号。这样的注视信号可以被称为组合注视信号。

图2示出了由眼睛追踪系统(比如图1的系统)捕获的一双眼睛的图像229的简化示例。图像229可以被认为包括人的右眼的右眼图像228和人的左眼的左眼图像234。在该示例中，右眼图像228和左眼图像234是人的两只眼睛的两个较大图像部分。在其他示例中，可以使用单独的图像传感器来获取右眼图像228和左眼图像234。

系统可以采用图像处理(比如数字图像处理)来提取图像中的特征。系统可以例如识别由图像传感器捕获的一个或多个图像中的瞳孔230的位置。系统可以使用瞳孔检测过程来确定瞳孔230的位置。系统还可以识别与瞳孔230紧挨着的角膜反射232。系统可以基于角膜反射232来估计角膜中心或眼球中心。例如，系统可以将每只眼睛的每个单独的角膜反射232与对应的光照器进行匹配，并基于该匹配来确定每只眼睛的角膜中心。

图3展示了基于如通过关于图2描述的图像处理确定的角膜反射332和瞳孔330的位置而进行的用户眼睛的注视矢量338的示例计算。作为第一近似计算，眼睛追踪系统可以将用户的眼睛的光轴336确定为穿过瞳孔330的中心和角膜中心333的矢量。然而，由于成像系统的缺陷和/或人眼的形状和几何结构的解剖学差异，光轴336通常不与注视矢量338对齐。注视矢量338从眼睛的中央凹337穿过瞳孔330的中心。注视矢量338与光轴之间的差异可以取决于瞳孔平面偏移(PPO)340，该瞳孔平面偏移定义了瞳孔的平面到角膜/眼睛的前表面处的切平面的距离(换句话说，眼睛中瞳孔的深度)。PPO可以根据用户而变化，并且可能无法由眼睛追踪系统直接测量。PPO 340可以充当光轴336与注视矢量338之间的标量乘子分量(scalar multiplier component)。此外，如图所展示，中央凹337的位置可能不位于光轴上，而是由相对于光轴336的中央凹偏移(FO)342定义。FO 342可以包括竖直分量(FO_y)和水平分量(FO_x)，然而我们在本文中将它们简称为FO 342。FO可以充当光轴336与注视矢量338之间的标量偏移分量。

在眼睛追踪之前，眼睛追踪系统可以执行校准例程以估计每个单独的用户的PPO和FO。在校准期间，可以在屏幕上依次显示已知位置/注视角度的一个或多个刺激点(例如5个)，并且可以指示用户在每个点显示时注视每个点。接着，眼睛追踪系统可以将所确定的光轴336与真实的已知注视方向338进行比较(假设用户正看着正确的刺激点)，以确定PPO340和FO 342。以这种方式，眼睛追踪系统可以基于所确定的常数PPO 340和FO 342来确定每个用户的个人眼睛注视跟踪模型(本文中称为眼睛模型)。

接着，该系统可以确定每只眼睛的注视矢量(也可以称为视线)。在一些示例中，注视矢量可以基于注视原点和注视方向，该注视原点和注视方向可以是根据相应闪光与光照器匹配/角膜中心、所确定的瞳孔位置和校准常数(如由眼睛追踪模型定义)确定的。可以组合每只眼睛的注视矢量以提供组合注视矢量。

用于确定注视矢量的上述过程是瞳孔中心角膜反射(PCCR)方法的示例。应了解，用于确定用户眼睛的图像的眼睛模型的上述方法的变体和替代方案在本领域中是已知的，并且本公开内容不限于任何特定方法。

当用户具有健康相关的眼睛缺陷时，用于确定每个用户的单一经校准的眼睛模型的上述方法可能遇到性能问题。一种这样的眼睛缺陷是斜视或“弱视”。4％的人口患有斜视，其特征是始终无法将双眼朝向焦点转动。这种影响可能因人而异，这给眼睛追踪增加了一层难度。这种影响可能表现为：一只或两只眼睛在一个或多个方向上的移动不正确；一只或两只眼睛的移动范围有限；一只或两只眼睛相对于焦点的比例移动；一只眼睛的注视的偏移恒定；双眼的恒定偏移不同，这取决于用户是向左看还是向右看；双眼是斗鸡眼(太近交汇)、非恒定偏移和/或许多其他影响。在一些示例中，斜视是不均匀的，其影响在眼睛的运动范围内大幅变化。在一些示例中，斜视是不一致的，因为相同的刺激点可能不一定引起相同的眼睛移动。

图4展示了患有严重斜视的用户的左眼的、对于各种刺激点的实测注视方向。每个象限将刺激点示出为一圈圆444，这些圆对应于在8个不同方向上相对于眼睛中心的固定角度偏差。如图所标记，每个象限的角度偏差增大。实测注视方向被表示为点446。对于10度的刺激点(左上象限)，用户的左眼通过仅在中心左侧的小区域内移动而展现出左倾。然而，对于20度的刺激点(右上象限)，记录到较大移动，但是朝向中心右侧右倾。一般来说，左眼的移动与用户预期看向何处无关。此外，左眼不会移动超过约15度的范围。

由于斜视的变化的性质，上述个人的经校准的眼睛模型对于患有斜视的用户来说存在性能问题。一种解决斜视的方法是让用户禁用对受影响的眼睛的跟踪。然而，这种方法严重限制了不受影响的注视方向的表现，这是因为在大多数情况下，组合注视表现优于单眼表现。这种方法也无法补偿双眼斜视的用户。

下文公开的系统和方法可以提供克服上述限制的眼睛追踪，并且可以补偿斜视或其他个人注视缺陷。所公开的系统和方法可以有利地实施依赖于注视的眼睛模型，该依赖于注视的眼睛模型取决于光轴/用户注视的方向而应用不同计算过程。

图5展示了根据本公开内容的实施例的眼睛追踪系统550。眼睛追踪系统550包括控制器552。控制器552被配置为(针对用户的一只或两只眼睛)接收与用户的眼睛相关联的眼睛测量数据。眼睛测量数据可以包括一只或两只眼睛的图像，或者可以是从这种图像推导出的，如下文将讨论。控制器552包括光轴检测器553，该光轴检测器被配置为接收眼睛测量数据以及根据眼睛测量数据确定眼睛的光轴。控制器552还包括注视估计模块554，该注视估计模块被配置为从光轴检测器553接收光轴以及基于光轴的方向来选择多个眼睛模型中的一个。注视估计模块554进一步被配置为接收眼睛测量数据以及通过将所选择的眼睛模型应用于眼睛测量数据来确定眼睛的注视矢量(注视)。

眼睛测量数据可以包括根据用户的眼睛的图像确定的一个或多个参数。例如，眼睛测量数据可以包括如上所述的角膜反射的位置、所计算的角膜中心、所确定的瞳孔位置等。在其他示例中，眼睛测量数据可以包括从图像传感器接收的眼睛的原始图像。在这样的示例中，控制器552进一步被配置为如上所述并且在本领域中是已知的根据原始图像确定角膜中心和瞳孔位置。

通过基于光轴的方向来选择多个眼睛模型中的一个，眼睛追踪系统可以有利地补偿一只或两只眼睛的斜视。特别地，眼睛追踪系统可以针对斜视区域和正常眼睛行为的区域而采用不同眼睛模型(并因此执行不同的注视计算过程)。

上述方法使用几个(例如，5个)已知刺激点来用眼睛模型参数(例如，PPO、FO)校准单一眼睛模型。结果，同一眼睛模型用于所有注视角度。图5的眼睛追踪系统550可以选择多个眼睛模型中的一个，该眼睛模型取决于用户正在看的方向(如由所检测的光轴确定)而改变其瞳孔中心和角膜中心到注视矢量的映射。这可以有利地补偿一个或多个方向以及一只或两只眼睛的斜视影响。

多个眼睛模型可以是根据校准例程(比如图6A至图6C所展示的校准例程)确定的。校准例程可以包括在显示器上向用户662呈现一系列刺激点660(也称为校准点)。对于远程眼睛追踪系统，用户可以位于距比如计算机屏幕等显示屏固定距离处。该固定距离的范围可以是50cm到200cm。对于头戴式眼睛追踪系统，刺激点660可以呈现在虚拟空间中约2米的距离处。在其他远程或头戴式示例中，该距离可以大于2米，并且在虚拟空间中达到无限远。在该示例中，刺激点660被布置成8×8的正方形栅格。然而，可以显示任意数量的刺激点660。刺激点的数量可以大于5(可以在单一模型校准中使用的点的数量)。为了更好地表征用户的斜视，大量的点是合乎需要的，然而，为了避免消耗过多时间的校准例程，较少的点是合乎需要的。刺激点660可以布置成4×4栅格、4×5栅格、5×5栅格、5×6栅格或6×6栅格。在其他示例中，刺激点660可以定位成非栅格图案。刺激点图案的大小以及用户662与显示器之间的距离可以被选择成使得刺激图案在水平和竖直方向两者上都与用户眼睛成约30到60度的角度。刺激点662可以依次(一次一个地)向用户662显示。每个刺激点660可以显示0.5至1.0秒。刺激点660可以以任何次序显示。

在第一示例中，多个眼睛模型可以包括作为校准过程的一部分由控制器552确定的多个预定眼睛模型。这种眼睛模型可以被认为是预先确定的，因为它们是在眼睛追踪系统用于“实时”(即非校准)眼睛测量数据之前，在校准过程期间确定的。作为示例，在校准期间，控制器552可以基于在用户被指示看每个对应的刺激点660时记录的眼睛测量数据来确定每个刺激点660的单独的眼睛模型。作为另一示例，控制器552可以对多个刺激点660区域确定单独的眼睛模型。例如，如图6C所展示，控制器552可以确定四个单独的眼睛模型，每个眼睛模型对应于如用户所观看的每个象限664a、664b、664c、664d(左上象限、右上象限、左下象限、右下象限，统称为象限664)。每个单独的(预定)眼睛模型(在校准过程期间确定的)可以具有其本身的单独的模型参数集(PPO、FO等)，这些模型参数集是在适当时针对每个刺激点或象限/区域在校准期间计算的。以这种方式，控制器被配置为在校准过程中确定定义对应的多个预定眼睛模型的多个眼睛建模参数集。

在眼睛追踪系统550的使用期间(校准之后)，光轴检测器553可以以正常方式(例如基于PCCR方法)确定眼睛的光轴的方向，以确定用户的近似注视角度。以这种方式，控制器552可以确定哪个刺激点660或刺激点区域(例如，哪个象限664a至664d)与所确定的光轴相关联。接着，注视估计模型554可以选择对应于所确定的区域/象限664a至664d/刺激点660的眼睛模型。以这种方式，控制器552可以基于所确定的光轴的角度来使用具有不同眼睛模型参数(PPO、FO等)的眼睛模型，以解决斜视影响或类似的眼睛注视缺陷。如果光轴的方向介于两个或更多个刺激点660之间，那么控制器552可以将对应于最近刺激点660的眼睛模型的模型参数进行内插运算。内插运算可以取决于到每个刺激点660的距离，以使得较近的刺激点660在组合中权重较大。

在第二示例中，多个眼睛模型可以包括基准眼睛模型和多个注视偏移值。作为校准过程的一部分，控制器552可以确定基准眼睛模型和多个注视偏移值。控制器552可以使用传统方法根据一个或多个刺激点660，例如根据5个刺激点660或所有刺激点660确定基准眼睛模型。多个注视偏移值中的每一个可以对应于相应的刺激点660或刺激点660区域。控制器552可以将每个注视偏移值作为使用基准眼睛模型所计算的基准注视角度与相应的一个或多个刺激点660的预期注视角度之间的误差值来确定。每个注视偏移值可以包括竖直方向(y轴)上的误差值和水平方向(x轴)上的误差值。多个注视偏移值可以被称为误差值矩阵(EVM)。EVM的大小可以对应于刺激点栅格的大小或者不同刺激点区域的数量。以这种方式，控制器被配置为在校准过程中确定用于应用于基准眼睛模型的多个注视偏移值。

在使用期间，在校准之后，光轴检测器553可以确定光轴的方向。接着，注视估计模块552可以确定最接近所确定的光轴的方向的刺激点660(或刺激点区域)。接着，注视估计模块552可以通过以下方式来选择多个眼睛模型中的一个：选择对应于最接近光轴的方向的刺激点660的注视偏移值，以及将注视偏移值应用于基准模型。以这种方式，控制器552可以使用具有相同眼睛模型参数(PPO、FO等)的单一眼睛模型，并且应用依赖于方向的注视角度偏移来解决斜视或类似缺陷。如果光轴的方向介于两个或更多个刺激点660(或刺激点区域)之间，那么控制器552可以基于距最近刺激点660的注视偏移值来内插运算应用于所计算的基准注视角度的误差矢量。内插运算可以取决于到每个刺激点660或刺激点660区域的距离。

第二示例为基准模型中的PPO和FO中的每一个维持单一值，这提供了眼睛的真实物理参数的单一表示。这可以有利地避免可能导致不期望的噪声敏感性的异常大量的PPO或FO。通过提供单一眼睛模型以及多个标量偏移，该方法还可以有利地提供比第一示例简单的方法。

第三示例可以包括第一示例和第二示例的混合。换句话说，控制器552可以在校准过程中确定多个预定眼睛模型和多个注视偏移值。每个预定眼睛模型可以对应于不同校准/刺激点区域，例如对于四个象限664中的每一个可以有单独的眼睛模型。控制器552可以将该区域中每个单独的刺激点的每个注视偏移值作为使用适当的预定眼睛模型所计算的注视角度与相应刺激点660的已知注视角度之间的误差值来确定。例如，控制器可以确定区域/象限中每个刺激点相对于该区域/象限的预定眼睛模型的单独的注视偏移值。以这种方式，控制器被配置为在校准过程中确定定义对应的多个预定眼睛模型的多个眼睛建模参数集；以及用于应用于多个预定眼睛模型中的一个预定眼睛模型的多个注视偏移值。

在后续使用期间，注视估计模块554可以通过以下方式选择多个眼睛模型中的一个：基于光轴的方向来选择多个预定眼睛模型中的一个；基于光轴的方向来选择多个注视偏移值中的一个；以及将所选择的注视偏移值应用于所选择的预定眼睛模型。

在斜视的一些情况下，对于一个或多个注视角度，眼睛行为可能不一致。在一些示例中，眼睛追踪系统550可以被配置为检测这种不一致的眼睛表现，以使得可以针对受影响的眼睛的受影响的注视角度禁用眼睛追踪。

应了解，控制器可以针对用户的左眼和右眼两者执行上述校准过程、模型选择和注视矢量确定。控制器552可以组合每只眼睛的所得眼睛矢量，以提供组合注视矢量。在一些示例中，当提供组合注视矢量时，控制器552可以将权重应用于左眼注视矢量和右眼注视矢量。控制器可以基于与相应眼睛的所选择的眼睛模型相关联的值来确定每只眼睛的权重。例如，对于上述第二示例和第三示例，权重可以基于注视偏移值的量值，该量值表示用户注视相对于基准或预定模型的误差。权重也可以基于注视偏移值相对于相邻注视偏移值(与相邻刺激点相关联)的变化。特定(刺激点660)区域的注视偏移值的高变化可以指示眼睛注视矢量在该区域中是不稳定的，并且因此可以是斜视或其他注视相关缺陷的指示。对于第一示例和第三示例，权重可以基于眼睛建模参数集(例如PPO，FO)的值相对于多个眼睛建模参数集(与相邻刺激点/刺激点区域相关联)的相邻值的变化。权重可以包括0到1的值。这对权重(每只眼睛一个)的总和可以等于1。权重可以取决于注视偏移值的量值或任何变化的大小。对于具有特别高的量值的注视偏移值(高于阈值的量值)或者注视偏移值和/或眼睛建模参数集的值的特别高的变化(高于阈值变化的变化)的区域，控制器552可以将对应权重设定为零，以禁用该区域中的眼睛注视跟踪。在一些示例中，两只眼睛可能经历相同的较差表现的区域，并且控制器可以将两只眼睛的对应权重设定为零，从而完全禁用眼睛追踪。以这种方式，眼睛追踪系统550可以有利地禁用眼睛追踪，而不是在严重斜视的区域中提供不准确的注视值。在其他示例中，控制器552可以仅针对具有最高误差/变化的眼睛将权重设定为零。

在一些示例中，控制器552可以在校准过程中确定多个权重(也可以称为成对的权重值——每只眼睛一个权重值)。多个权重中的每一个可以对应于：多个预定模型/眼睛建模参数集中的每一个(示例1和示例3)；多个注视偏移值中的每一个(示例2和示例3)；和/或每个刺激点660(示例1、示例2和示例3)。

多个权重可以被称为眼睛权重矩阵(EWM)，该眼睛权重矩阵的大小对应于不同眼睛模型(可以被实施为多个不同眼睛模型和/或多个不同注视偏移值)的数量，该眼睛权重矩阵的大小可以与刺激点栅格的大小相同。

在一些示例中，作为两阶段校准过程的一部分，控制器552可以确定多个权重值。在第一阶段期间，多个刺激点660可以一次一个地向用户662显示，并且控制器552可以(针对每只眼睛)确定多个眼睛建模参数集；和/或对应于每个刺激点或刺激点区域的多个注视偏移值，如上文关于示例1至示例3所述。在第二阶段期间，多个刺激点660可以一次一个地向用户662重新显示。当显示每个刺激点时，控制器552可以针对每只眼睛接收眼睛测量数据，选择对应于刺激点的眼睛模型，并使用所选择的眼睛模型和眼睛测量数据来确定所计算的注视矢量。接着，控制器552可以将每只眼睛的所计算的眼睛矢量与对应于刺激点的已知眼睛矢量进行比较，并且基于所计算的眼睛矢量与已知眼睛矢量之间的差异的量值来确定每只眼睛的权重。以这种方式，不能准确计算注视矢量的所选择的眼睛模型可以被给予较低权重。这在随后组合左眼和右眼的注视矢量时可以是有用的，以使得预期不太准确的注视矢量对组合注视信号具有较小影响。如上所述，当用户的注视对应于相关刺激点的方向时，可以将一只或两只眼睛的一个或多个权重值设定为零，以在后续使用期间禁用相关眼睛的注视跟踪。如果所计算的眼睛矢量与已知眼睛矢量之间的差异大于可接受的差异阈值，那么可以将权重值设定为零。

在类似示例中，校准过程的第一阶段可以包括控制器552(针对每只眼睛)确定多个刺激点660的第一多个注视偏移值，以用于应用于基准模型(示例2)或多个预定模型中的一个(示例3)。第二阶段可以包括控制器552(针对每只眼睛)确定相同的多个刺激点的第二多个注视偏移值，以用于应用于同一基准模型或多个预定模型中的同一个预定模型。第一多个注视偏移值中的每一个与第二多个注视偏移值中的对应一个之间的差异表示用户眼睛朝向该刺激点/刺激点区域注视的一致性。接着，控制器552可以基于第一多个注视偏移值和第二多个注视偏移值中的注视偏移值的对应值之间的差异来(针对每只眼睛)确定多个权重。

图7展示了根据本公开内容的实施例的眼睛追踪方法。该方法可以提供有利地解决了比如斜视等眼睛注视缺陷的眼睛追踪。

步骤770包括接收与用户的眼睛相关联的眼睛测量数据。步骤772包括根据眼睛测量数据确定眼睛的光轴。步骤774包括基于光轴的方向来选择多个眼睛模型中的一个。步骤776包括通过将所选择的眼睛模型应用于眼睛测量数据来确定眼睛的注视矢量。

图8展示了根据本公开内容的实施例的校准眼睛追踪系统的方法。该方法可以实现可以有利地解决了比如斜视等眼睛注视缺陷的眼睛追踪系统。

步骤880包括使多个刺激点一次一个地向用户显示。步骤882包括接收每个刺激点的眼睛测量数据。步骤884包括确定：定义对应的多个预定眼睛模型的多个眼睛建模参数集；基准眼睛模型和用于应用于基准眼睛模型的多个注视偏移值；或者定义对应的多个预定眼睛模型的多个眼睛建模参数集和用于应用于多个预定眼睛模型中的一个预定眼睛模型的多个注视偏移值。以下各项中的每一个：多个眼睛建模参数集；和/或多个注视偏移值，对应于：每个刺激点；或者刺激点区域。

所公开的眼睛追踪系统可以通过实施上述校准过程、模型定义和模型选择来提供斜视补偿模式。患有注视缺陷的用户可以选择斜视补偿模式，而不是传统的单一模型个人校准。

所公开的系统和方法为用户提供的解决方案提供解决了他们的个体斜视影响的功能性眼睛追踪。

在整个本说明书中，涉及相对取向和位置的描述词，比如“水平”、“竖直”、“顶部”、“底部”和“侧部”是在如附图所呈现的装置/设备的取向的意义上使用的。然而，这些描述词并不旨在以任何方式限制所描述或要求保护的发明的预期用途。

应了解，取决于上下文，对“接近”、“之前”、“之前不久”、“之后”、“之后不久”、“高于”或“低于”等的任何提及可以指所讨论的参数小于或大于阈值、或者在两个阈值之间。

Claims (19)

1.一种眼睛追踪系统，包括控制器，所述控制器被配置为针对用户的左眼和右眼中的一个或两个：

接收与眼睛相关联的眼睛测量数据；

根据所述眼睛测量数据确定所述眼睛的光轴；以及

基于所述光轴的方向来选择多个眼睛模型中的一个；以及

通过将所选择的眼睛模型应用于所述眼睛测量数据来确定所述眼睛的注视矢量。

2.如权利要求1所述的眼睛追踪系统，其中，所述控制器被配置为基于所述光轴的所述方向来选择多个预定眼睛模型中的一个。

3.如权利要求1所述的眼睛追踪系统，其中，所述控制器被配置为通过以下方式来选择多个眼睛模型中的一个：

基于所述光轴的所述方向来从多个注视偏移值中选择某注视偏移值；以及

将所选择的注视偏移值应用于基准眼睛模型。

4.如权利要求2所述的眼睛追踪系统，其中，所述控制器被配置为通过以下方式来选择多个眼睛模型中的一个：

基于所述光轴的所述方向来从多个注视偏移值中选择某注视偏移值；以及

将所选择的注视偏移值应用于所选择的预定眼睛模型。

5.如前述权利要求中任一项所述的眼睛追踪系统，其中，所述控制器被配置为通过在校准过程中确定以下各项来确定所述多个眼睛模型：

定义对应的多个预定眼睛模型的多个眼睛建模参数集；

基准眼睛模型和用于应用于所述基准眼睛模型的多个注视偏移值；或者

定义对应的多个预定眼睛模型的多个眼睛建模参数集以及用于应用于所述多个预定眼睛模型中的一个预定眼睛模型的多个注视偏移值。

6.如权利要求5所述的眼睛追踪系统，其中，所述控制器被配置为：

使多个刺激点一次一个地向用户显示；以及

接收针对每个刺激点的眼睛测量数据。

7.如权利要求6所述的眼睛追踪系统，其中，所述多个刺激点包括6个或更多个刺激点。

8.如权利要求6或权利要求7所述的眼睛追踪系统，其中，以下各项中的每一个：

所述多个眼睛建模参数集；和/或

所述多个注视偏移值，

对应于：

每个刺激点；或者

刺激点区域。

9.如前述权利要求中任一项所述的眼睛追踪系统，其中，所述控制器被配置为：

确定所述用户的所述左眼的注视矢量；

确定所述用户的所述右眼的注视矢量；

基于针对相应的左眼和右眼所选择的眼睛模型来确定所述左眼注视矢量和所述右眼注视矢量中的每一个的权重；以及

将所述权重应用于所述左眼和所述右眼中的每一个的注视矢量，以提供组合注视矢量。

10.如权利要求9在从属于权利要求3至8中任一项时所述的眼睛追踪系统，其中，所述控制器被配置为基于与所选择的眼睛模型相关联的所述注视偏移值的量值来确定所述权重。

11.如权利要求10所述的眼睛追踪系统，其中，所述控制器被配置为根据与所选择的眼睛模型相关联的所述注视偏移值相对于所述多个注视偏移值的相邻值的变化来确定所述权重。

12.如权利要求9至11中任一项在从属于权利要求5至8中任一项时所述的眼睛追踪系统，其中，所述控制器被配置为根据与所选择的眼睛模型相关联的所述眼睛建模参数集的值相对于所述多个眼睛建模参数集的相邻值的变化来确定所述权重。

13.如权利要求9至12中任一项在从属于权利要求5至8中任一项时所述的眼睛追踪系统，其中，所述控制器被配置为在所述校准过程中确定多个权重，每个权重对应于以下各项中的每一个：

所述多个眼睛建模参数集；

所述多个注视偏移值；和/或

所述多个刺激点。

14.如权利要求9至13中任一项所述的眼睛追踪系统，其中，每个权重包括从0到1的值。

15.如权利要求9至14中任一项在从属于权利要求6至8中任一项时所述的眼睛追踪系统，其中，所述控制器进一步被配置为：

使所述多个刺激点一次一个地向所述用户重新显示；以及

针对被显示的每个刺激点：

接收眼睛测量数据；

选择对应于所述刺激点的所述眼睛模型；

使用所选择的眼睛模型和所述眼睛测量数据来计算注视矢量；

计算所计算的注视矢量与对应于所述刺激点的已知注视矢量之间的差异；以及

基于所述差异来确定权重。

16.一种头戴式设备，包括如前述权利要求中任一项所述的眼睛追踪系统。

17.一种眼睛追踪的方法，所述方法包括：

接收与用户的眼睛相关联的眼睛测量数据；

根据所述眼睛测量数据确定所述眼睛的光轴；以及

基于所述光轴的方向来选择多个眼睛模型中的一个；以及

通过将所选择的眼睛模型应用于所述眼睛测量数据来确定所述眼睛的注视矢量。

18.一种校准眼睛追踪系统的方法，所述方法包括：

使多个刺激点一次一个地向用户显示；

接收针对每个刺激点的眼睛测量数据；

确定：

定义对应的多个预定眼睛模型的多个眼睛建模参数集；

基准眼睛模型和用于应用于所述基准眼睛模型的多个注视偏移值；或者

定义对应的多个预定眼睛模型的多个眼睛建模参数集以及用于应用于所述多个预定眼睛模型中的一个预定眼睛模型的多个注视偏移值，

其中，以下各项中的每一个：

所述多个眼睛建模参数集；和/或

所述多个注视偏移值，

对应于：

每个刺激点；或者

刺激点区域。

19.一种或多种非暂时性计算机可读存储介质，存储有计算机可执行指令，所述指令当被计算系统执行时使所述计算系统执行如权利要求17或权利要求18所述的方法。

Images