CN111752383A - 更新角膜模型 - Google Patents

Abstract

公开了一种更新针对眼睛(100)的角膜(104)的角膜模型的方法(500)、以及相应的系统(1000)和存储介质(1007)。该方法包括：控制(501)显示器(900)在第一深度(407)处显示刺激物(406)，其中，该显示器能够在不同深度处显示对象；当由该显示器在该第一深度处显示该刺激物时，接收(502)由眼睛跟踪传感器(1001)获得的第一传感器数据；控制(504)该显示器在第二深度(409)处显示刺激物(410)，其中，该第二深度不同于该第一深度；当由该显示器在该第二深度处显示该刺激物时，接收(505)由该眼睛跟踪传感器获得的第二传感器数据；以及基于该第一传感器数据和该第二传感器数据更新(506)该角膜模型。

Description

更新角膜模型

技术领域

本公开内容总体上涉及眼睛跟踪。

背景技术

已经开发了用于监测用户正在看向哪个方向(或显示器上的哪个点)的不同技术。这通常被称为注视跟踪。在此背景下经常采用的另一个术语是眼睛跟踪，其也可以涉及对注视方向和/或注视点的跟踪。然而，眼睛跟踪不一定必须涉及对注视方向或注视点的跟踪。在一些情况下，眼睛跟踪涉及跟踪眼睛在空间中的位置，而不是实际地跟踪/估算眼睛正看向何处。

眼睛跟踪技术通常涉及检测眼睛图像中的某些特征，并且然后基于这些被检测到的特征的位置来计算注视方向或注视点。这种眼睛跟踪技术的示例是瞳孔中心角膜反射(PCCR)。基于PCCR的眼睛跟踪采用瞳孔中心的位置和闪光点(发光装置在角膜处的反射)的位置来计算眼睛的注视方向或显示器上的注视点。

眼睛跟踪技术通常采用角膜模型，例如用以计算来自发光装置的光线如何在角膜处反射。这种角膜模型可以例如包括角膜的形状和角膜相对于眼睛的其他部分的位置(例如，角膜与瞳孔中心之间的距离)。尽管不同眼睛的角膜在形状和位置上可能是相当相似的，但即使很小的偏差也会影响眼睛跟踪性能。如果若干摄像头和发光装置是可用的，则可以以相对较高的准确性确定角膜的形状。另一方面，如果采用单摄像头眼睛跟踪器，则通常很难确定准确的角膜模型。因此，单摄像头眼睛跟踪器通常需要处理不太准确的角膜模型。经由眼睛跟踪器的校准——例如通过要求用户看向显示器上的某些已知的参考点/刺激点——可以至少一定程度地补偿角膜模型的不完美性。然而，这种补偿并不总是足以提供所期望的眼睛跟踪性能。例如，在远程眼睛跟踪(诸如安装在固定的计算机显示器下方的眼睛跟踪器)的情况下，这种补偿可能依赖于以下假设：用户将不会使其头部相对于眼睛跟踪器移动太多。

期望提供新的方式来解决上述问题中的一个或多个问题。

发明内容

提供了具有在独立权利要求中定义的特征的方法、系统和计算机可读存储介质，以解决上述问题中的一个或多个问题。在从属权利要求中定义了优选的实施例。

因此，第一方面提供了一种更新针对眼睛的角膜的角膜模型的方法的实施例。该方法包括控制显示器在第一深度处显示刺激物。该显示器能够在不同深度处显示对象。该方法包括当由该显示器在该第一深度处显示该刺激物时，接收由眼睛跟踪传感器获得的第一传感器数据。该方法包括控制该显示器在第二深度处显示刺激物。该第二深度不同于该第一深度。该方法包括当由该显示器在该第二深度处显示该刺激物时，接收由该眼睛跟踪传感器获得的第二传感器数据。该方法包括基于该第一传感器数据和该第二传感器数据更新该角膜模型。

如以上在背景技术章节中所描述的，使用不准确的角膜模型可能会影响眼睛跟踪性能。可以采用位于不同深度处的刺激物来确定更准确的角膜模型。

第二方面提供了用于更新针对眼睛的角膜的角膜模型的系统的实施例。该系统包括被配置用于控制显示器在第一深度处显示刺激物的处理电路系统(或者一个或多个处理器)。该显示器能够在不同深度处显示对象。该处理电路系统被配置用于当由该显示器在该第一深度处显示该刺激物时，接收由眼睛跟踪传感器获得的第一传感器数据，并且控制该显示器在第二深度处显示刺激物。该第二深度不同于该第一深度。该处理电路系统被配置用于当由该显示器在该第二深度处显示该刺激物时，接收由该眼睛跟踪传感器获得的第二传感器数据，并且基于该第一传感器数据和该第二传感器数据更新该角膜模型。

该处理电路系统(或者一个或多个处理器)可以例如被配置用于执行如在本文(换言之，在权利要求、或发明内容、或具体实施方式、或附图说明中)公开的第一方面的任何实施例中所定义的方法。该系统可以例如包括存储指令的一个或多个非临时性计算机可读存储介质(或者一个或多个存储器)，这些指令当由该处理电路系统(或者一个或多个处理器)执行时使该系统执行如本文公开的第一方面的任何实施例中所定义的方法。

在本公开内容中针对根据第一方面的方法的实施例呈现的效果和/或优点也可以应用于根据第二方面的系统的相应实施例。

第三方面提供了一种非临时性计算机可读存储介质的实施例，该存储介质存储用于更新针对眼睛的角膜的角膜模型的指令。这些指令当由系统执行时使该系统执行以下操作：

·控制显示器在第一深度处显示刺激物，其中，该显示器能够在不同深度处显示对象；

·当由该显示器在该第一深度处显示该刺激物时，接收由眼睛跟踪传感器获得的第一传感器数据；

·控制该显示器在第二深度处显示刺激物，其中，该第二深度不同于该第一深度；

·当由该显示器在该第二深度处显示该刺激物时，接收由该眼睛跟踪传感器获得的第二传感器数据；以及

·基于该第一传感器数据和该第二传感器数据更新该角膜模型。

该非临时性计算机可读存储介质可以例如存储指令，这些指令当由系统(或者由该系统中包括的处理电路系统)执行时使该系统执行如本文(换言之，在权利要求、或发明内容、或附图说明、或具体实施方式中)公开的第一方面的任何实施例中所定义的方法。

该非临时性计算机可读存储介质可以例如提供在计算机程序产品中。换言之，计算机程序产品可以例如包括存储指令的非临时性计算机可读存储介质，这些指令当由系统执行时使该系统执行如本文公开的第一方面的任何实施例中所定义的方法。

在本公开内容中针对根据第一方面的方法的实施例呈现的效果和/或优点也可以应用于根据第三方面的非临时性计算机可读存储介质的相应实施例。

应注意的是，本公开内容的实施例涉及权利要求中所列举的特征的所有可能的组合。

附图说明

在下文中，将参考附图更详细地描述示例实施例，在附图中：

图1是眼睛的正视图；

图2是从眼睛的旁侧观察图1的眼睛的横截面图；

图3示出了经由角膜处的反射从发光装置到成像装置的示例光路；

图4示出了眼睛看向在不同深度处显示的刺激物的视线；

图5是根据一实施例的更新角膜模型的方法的流程图；

图6示出了根据实施例的如何在图5的方法中估算视线的方案；

图7是根据一实施例的更新角膜模型的方法的流程图，在该方法中该角膜模型可以被更新多次；

图8是根据实施例的更新角膜模型的方法的流程图，该方法包括眼睛跟踪数据的估算；

图9是示例显示器的示意性概览；

图10是根据实施例的用于更新角膜模型的系统的示意性概览；并且

图11示出了根据实施例的可以包括图10中的系统的头戴式显示器。

所有的图都是示意性的，不一定按比例绘制，并且总体上仅示出了为了阐明各实施例所必需的部分，而其他部分可以被省略或仅被暗示提到。除非另外指出，否则在多个附图中出现的任何附图标记在整个附图中均指相同的对象或特征。

具体实施方式

贯穿本公开内容，术语“眼睛跟踪传感器”涉及被适配用于获得用于眼睛跟踪的传感器数据的传感器。虽然眼睛跟踪传感器可以例如是成像装置(诸如摄像头)，但是也可以采用若干其他类型的传感器来进行眼睛跟踪。例如，眼睛跟踪传感器可以采用光、声音、磁场或电场来获得传感器数据，该传感器数据可被用于(例如，结合来自其他传感器的传感器数据)确定眼睛所在的位置和/或眼睛正在注视的方向。眼睛跟踪传感器可以例如被布置用于(或被配置用于)监测眼睛。眼睛跟踪传感器可以例如被布置用于(或被配置用于)当被指示执行测量(或获得传感器数据)时这么做。换言之，眼睛跟踪传感器不一定对眼睛执行恒定/持续的监测。

贯穿本公开内容，术语“成像装置”涉及被适配用于捕获图像的装置。成像装置可以例如是图形传感器或摄像头，诸如电荷耦合器件(CCD)摄像头或互补金属氧化物半导体(CMOS)摄像头。然而，也可以设想其他类型的成像装置。

各种方法、系统以及相关联的存储介质的实施例将在下文中参考图3至图11进行描述。首先，将参考图1至图2描述眼睛的某些特征。

图1是眼睛100的正视图。图2是从眼睛100的旁侧观察到的眼睛100的横截面图。尽管图2差不多示出了整只眼睛100，但是在图1中所呈现的正视图仅示出了眼睛100的、通常从人脸的前方可见的那些部分。眼睛100具有瞳孔101，该瞳孔具有瞳孔中心102。眼睛100还具有虹膜103和角膜104。角膜104位于瞳孔101和虹膜103的前面。角膜104是弯曲的。通常将角膜104建模为具有曲率中心105的球形表面，该曲率中心被简称为角膜中心105。在这种球形角膜模型中，角膜104的曲率半径被称为角膜104的半径106或被简称为角膜半径106。在现实中，角膜104通常不是完美的球形。因此可以采用非球形角膜模型。在这种非球形角膜模型中，对于沿着角膜104的不同点的曲率半径是不同的。因此，如果采用非球形角膜模型，则可以采用术语“角膜半径”来表示角膜104的某个点或区域处的曲率半径。将理解的是，本公开内容中提供的至少一些实施例可以采用球形角膜模型以及非球形角膜模型两者。眼睛100还具有巩膜107。眼睛100具有中心108，该中心也可以被称为眼球的中心108，或者被简称为眼球中心108。眼睛100的视轴109穿过眼睛100的中心108到达眼睛100的中央凹110。眼睛100的光轴111穿过瞳孔中心102和眼睛100的中心108。视轴109相对于光轴111形成角度112。在视轴109与光轴111之间的偏差或偏移通常被称为中央凹偏移112。在图2中所示出的示例中，眼睛100正看向显示器113，并且眼睛100正注视着显示器113上的注视点114。图1还示出了发光装置在角膜104处的反射115。这种反射115也被称为闪光点115。

图3示出了经由眼睛的角膜104处的反射从发光装置302到成像装置303的示例光路301。为简单起见，将图3中的角膜104建模为球体，而不是图2中示出的更真实的形状。将理解的是，在现实中，角膜104仅覆盖这种球体的前面部分。发光装置302位于相对于成像装置303已知的位置处，但是角膜104的位置是未知的。在光线301在角膜104处反射的位置形成闪光点115。

如果角膜半径106是已知的，则可以经由从成像装置303观察到的闪光点115的位置来计算角膜中心105的位置。从而，还可以计算从成像装置303到角膜中心105的距离304。如果角膜半径106被高估，则计算出的从成像装置303到角膜中心105的距离304将太短。因此，由眼睛跟踪系统通过使用过大的角膜半径所提供的用户距离估算通常将过小。另一方面，如果角膜半径106被低估，则计算出的从成像装置303到角膜中心105的距离304将过长。因此，由眼睛跟踪系统使用过小的角膜半径所提供的用户距离估算通常将过大。

许多单摄像头眼睛跟踪系统无法确定角膜半径106。这意味着由这种眼睛跟踪系统输出的任何距离测量值都是错误的，并且仅仅是相对于由该眼睛跟踪系统输出的其他测量值有效。无论如何，眼睛跟踪系统的注视准确性可能相对较好，因为注视角度可以被重新调节以补偿距离估算误差。如果所有注视点都在同一平面上并且用户不会使其头部相对于眼睛跟踪器过多地移动，则这种补偿可能效果足够好。在虚拟现实(VR)和增强现实(AR)中，期望具有精准的深度测量(或用户距离测量)，并且需要对于离用户多个距离(观察深度)处的被观察的对象提供良好的准确性。对于具有变焦显示器或多焦显示器的系统尤其如此。

图4示出了眼睛看向由显示器在不同深度处显示的刺激物的视线。图4示出了测量/估算的角膜位置401和相关联的视线402以及实际/真实的角膜位置403和相关联的视线404。图4还示出了显示器的透镜405、在第一深度407处的第一刺激点406、在第二深度409处的第二刺激点408、以及同样在第二深度409处的第三刺激点410。

由于实际/真实的角膜半径是未知的，我们不知道真实的角膜位置403，而是仅知道估算的角膜位置401。真实的角膜位置403可以比估算的角膜位置401更接近透镜405(如图4中所示)，或者更远离。如果通过调整观察到的注视角度来补偿角膜位置误差，则注视估算可能无论如何都会起作用，从而使视线穿过校准中所使用的校准点。在图4中，这可以表现为来自估算的角膜位置401的视线402的角度与从真实角膜位置403延伸的真实视线404的角度412不同。由于补偿，估算的视线402和真实的视线404两者都穿过真实的注视点406。如在图4中还可以看到的，当用户正在观察更远的点408时，角度差异会引起问题。如图4，如果使点408位于真实的视线404上，则用户将不会注意到变化(如果相应地调整了刺激点的大小)，并且因此由眼睛跟踪系统看到的眼睛的图像将不会改变。因此，注视角度估算不应改变。如在图4中可以清楚地看到的，由于估算的视线402没有穿过点408，因此我们实际上会得到注视误差。

为了解决这个问题，可以使用向用户展示的在不同深度处的刺激点来校准角膜模型。

这样做的第一示例方法将是向用户展示在第一深度407处的刺激点/参考点406，该第一示例方法是相对容易的并且对噪声相当免疫。从估算的角膜中心位置401通过刺激点406的视线402被估算。然后沿着估算的视线402将刺激点406移至第二深度409处，使得我们沿着估算的视线402得到第二深度409处的刺激点410。如果我们已经具有正确的角膜半径(并且因此也具有正确的角膜位置)，则用户应该察觉不到刺激点的移动，并且由眼睛跟踪系统捕获的眼睛的图像也不应改变。然而，因为用户最可能一开始就具有不正确的角膜半径(并且因此导致不正确的角膜位置)，所以用户通常会察觉到刺激点正在移动(向上/向下或向左/向右，取决于原始的注视角度)，并且眼睛将移动以跟踪该刺激点，这将通过我们的眼睛跟踪传感器观察到。这在图4中通过以下事实证明：刺激点406对应于真实的注视角412，而刺激点410对应于较小的真实的注视角413。眼睛为了跟踪刺激点而移动的方向将让我们知道我们是否已经高估或低估了角膜半径。我们可以调整估算的角膜半径并可能地重复上述步骤，直到角膜半径估算令人满意为止，此时当刺激点沿估算的视线移动时眼睛的图像不会改变。如在图4中可以看到的，应该避免将第一刺激点406置于零注视角度处。实际上，如果第一刺激点406位于零注视角度处，即使估算的角膜位置401相比真实的角膜位置403更远离显示器，估算的视线402和真实的视线404也将平行，因此很难检测到角膜半径是不正确的并且应被更新。因此，第一刺激点406应当被置于非零注视角度处，诸如至少在显示器上稍微向上/向下或者在显示器上至少稍微向左/向右处。

第二示例方法将是通过对观察第一深度407处和第二深度409处的刺激点的注视角度进行比较来直接从一次重复循环中确定角膜半径，但是这相比第一示例方法而言对于在视线估算中的噪声更加敏感。

鉴于以上内容，提出了一种更新针对眼睛100的角膜104的角膜模型的方法。下文参考图5至图8描述了所提出的方法的实施例。

图5是根据一实施例的更新针对眼睛100的角膜104的角膜模型的方法500的流程图。角膜模型可以例如包括角膜104的形状和/或角膜104的曲率半径106和/或角膜104相对于眼睛100的其他部分的位置(例如从角膜104到瞳孔中心102的距离)。将理解的是，角膜模型的更新可以例如包括角膜模型的一个或多个参数的更新(或修改、或调整、或改变)，并且不一定涉及更新角膜模型的所有部分/组成部分。

方法500包括控制501显示器在第一深度处显示刺激物。该显示器能够在不同深度处显示对象。可以例如在与显示器的向前方向(在图4中由箭头414以及在图9中由箭头905例示的)平行的方向上和/或在与正在观看该显示器的用户的向前方向(在图4中由箭头415以及在图9中由箭头903例示的)平行的方向上定义或测量深度。深度可以例如在与显示器的显示屏(或显示表面)正交(或横交)、换言之与对象可以被显示器显示在的屏幕或表面正交(或横交)的方向(在图9中以与显示屏901正交的方向904例示的)上定义或测量。下文结合图9描述显示器的示例实施方式。刺激物可以例如是参考点或符号，但是也可以设想其他刺激物。

方法500包括：当由显示器在第一深度处显示刺激物时，接收502由眼睛跟踪传感器获得的第一传感器数据。换言之，当由显示器在第一深度处显示刺激物时，由眼睛跟踪传感器获得第一传感器数据。接收第一传感器数据的步骤502可以例如在由眼睛跟踪传感器获得第一传感器数据时几乎同时执行，或者可以在稍后的时间点执行。

方法500包括控制504显示器在第二深度处显示刺激物。第二深度不同于(或区别于)第一深度。在第二深度处显示的刺激物可以例如与在第一深度处显示的刺激物相似(或相同)。然而，也可以设想在方法500中的步骤501和504中采用不同类型的刺激物的实施例。

方法500包括：当由显示器在第二深度处显示刺激物时，接收505由眼睛跟踪传感器获得的第二传感器数据。换言之，当由显示器在第二深度处显示刺激物时，由眼睛跟踪传感器获得第二传感器数据。接收第二传感器数据的步骤505可以例如当由眼睛跟踪传感器获得第二传感器数据时几乎同时执行，或者可以在稍后的时间点执行。

方法500包括：基于第一传感器数据和第二传感器数据来更新506角膜模型。将理解的是，更新角膜模型的步骤506可以例如还基于另外的传感器数据。

通过第一刺激点406在图4中例示了在方法500的步骤501中的第一深度处的刺激物。通过第三刺激点410在图4中例示了在方法500的步骤504中的第二深度处的刺激物。

如前面在背景技术章节中所描述的，使用不准确的角膜模型可能会影响眼睛跟踪性能。如前面参考图4所描述的，可以采用位于不同深度处的刺激物来确定更准确的角膜模型，从而可以改善眼睛跟踪性能。

方法500可以例如是计算机实施的方法。

根据一些实施例，控制501显示器在第一深度处显示刺激物的步骤可以例如包括提供(或输出)用于使显示器在第一深度处显示刺激物的信号。类似地，控制504显示器在第二深度处显示刺激物的步骤可以例如包括提供(或输出)用于使显示器在第二深度处显示刺激物的信号。

根据一些实施例，方法500中采用的眼睛跟踪传感器是成像装置，诸如摄像头。第一传感器数据(在步骤502处接收的)可以例如包括当在第一深度处显示刺激物时由成像装置捕获的眼睛图像，并且第二传感器数据(在步骤505处接收的)可以例如包括当在第二深度处显示刺激物时由成像装置捕获的眼睛图像。然而，也可以设想这样的实施例：在该实施例中，第一传感器数据(和类似地第二传感器数据)代表指示角度和/或距离的值，诸如来自压敏传感器(透镜或类似物)的角度或距离或者在物理刺激物情况下是飞行时间测量值。

根据一些实施例，以上参考图5描述的方法500是更新单摄像头眼睛跟踪器(或单摄像头眼睛跟踪系统)的角膜模型的方法。换言之，方法500可以由配备不多于一个摄像头的眼睛跟踪器采用。将理解的是，方法500还可被用于更新多摄像头眼睛跟踪器的角膜模型。然而，如以上在背景技术章节中所描述的，即便不使用方法500，也有许多方法来使用具有若干摄像头和发光装置的眼睛跟踪器以确定准确的角膜模型。方法500可以被用于单摄像头眼睛跟踪器，单摄像头眼睛跟踪器相比多摄像头眼睛跟踪器可以更便宜和/或占据更少的空间。除了提供多个摄像头的额外硬件成本外，多摄像头眼睛跟踪器的另一个潜在问题是：人们通常需要在眼睛跟踪器的不同摄像头之间仔细校准，以使眼睛跟踪器表现良好。

根据一些实施例，在方法500中更新的角膜模型由指示角膜104的曲率半径106的参数来参数表示。更新506角膜模型的步骤可以包括更新该参数的值。参数可以例如是角膜半径106本身，或者是角膜模型中控制角膜半径106的一些其他参数。角膜模型可以例如是单参数模型。换言之，角膜模型可以包括单个参数，可以确定该单个参数的值以校准角膜模型。角膜模型可以例如是基于参数的值可调整的。角膜模型可以例如是球形角膜模型，并且参数可以例如是该球体的半径或直径。角膜模型可以例如是非球形角膜模型，并且参数可以例如是该模型的最小曲率半径、该模型的最大曲率半径、或该模型的平均曲率半径。

根据一些实施例，方法500包括：接收507由眼睛跟踪传感器获得的第三传感器数据，以及基于第三传感器数据和更新的角膜模型来估算508：

·眼睛100在空间中的位置；和/或

·眼睛100的视线；和/或

·眼睛100的注视点。

换言之，在步骤506处已经更新了角膜模型之后，可以将该角膜模型用于眼睛跟踪。眼睛100在空间中的位置可以例如以眼球的中心108的形式或以角膜曲率中心105的形式来表达。眼睛100的视线可以例如以沿着视线的两个点、或者沿着视线的一个点和平行于视线的矢量的形式来表达。眼睛100的注视点可以例如是显示器上的注视点114。

根据一些实施例，方法500包括估算503眼睛100的视线。显示器可以沿着估算的视线显示由显示器在第一深度处显示的刺激物(如在步骤501中指定的)和由显示器在第二深度处显示的刺激物(如在步骤504处指定的)。

可以例如在接收第一传感器数据的步骤502之后执行估算眼睛100的视线的步骤503。对视线的估算503可以例如是基于在步骤502处接收的第一组传感器数据(并且还可以可选地进一步基于额外的传感器数据)。估算的视线可以例如是从估算的角膜中心位置开始并且穿过由显示器在第一深度处显示刺激物的位置的视线。

在图4中通过在估算的角膜位置401处开始并且穿过刺激点406的估算的视线402例示了在步骤503处估算的视线。在图4中，刺激点406和410分别例示了由显示器沿估算的视线402在第一深度和第二深度处显示的刺激物。

图6示出了根据一实施例如何在图5的方法500中估算视线的方案。在本实施例中，估算眼睛的视线的步骤503包括获得601角膜模型的初步版本，以及基于角膜模型的初步版本来估算602眼睛的视线。角膜模型的初步版本可以例如在眼睛跟踪器的校准期间例如经由某种形式的估算或计算来获得。初步角膜模型可以例如是从存储器检索的默认角膜模型。可以例如针对多个用户采用同一默认角膜模型。例如，可以基于角膜模型的初步版本、结合来自眼睛跟踪传感器的传感器数据来估算602视线。

根据一些实施例，响应于检测到第一传感器数据的内容(在步骤502处接收的)与第二传感器数据的内容(在步骤505处接收的)之间的差异，执行更新角膜模型的步骤506。如前面参考图4所描述的，如果估算的视线是正确的，则沿估算的视线在不同深度之间移动刺激物不应影响由眼睛跟踪传感器获得的传感器数据，因为当刺激物移动时眼睛应在相同的方向上保持其注视。因此，第一传感器数据和第二传感器数据的内容应相似。第一传感器数据的内容与第二传感器数据的内容之间的差异可以指示估算的视线是不正确的。如前面参考图4所描述的，估算的视线是不正确的事实可以指示当前采用的角膜模型(诸如在步骤602处用于估算视线的初步角膜模型)是不准确的。

根据一些实施例，方法500包括基于第一传感器数据(在步骤502处接收的)估算眼睛100的瞳孔101的第一位置，以及基于第二传感器数据(在步骤505处接收的)估算瞳孔101的第二位置。更新角膜模型的步骤506可以是基于瞳孔101的第一位置与瞳孔101的第二位置之间的偏差。如前面参考图4所描述的，如果估算的视线是正确的，则沿估算的视线在不同深度之间移动刺激物不应影响瞳孔101的位置，因为当刺激物移动时眼睛100应在相同的方向上保持其注视。因此，瞳孔101的第一位置和第二位置应相似。瞳孔101的第一位置与第二位置之间的差异可以指示所估算的视线是不正确的。如前面参考图4所描述的，估算的视线是不正确的事实可以指示当前采用的角膜模型(诸如在步骤602处用于估算视线的初步角膜模型)是不准确的。

根据一些实施例，方法500包括基于第一传感器数据(在步骤502处接收的)估算第一注视角度，以及基于第二传感器数据(在步骤505处接收的)估算第二注视角度。更新角膜模型的步骤506可以是基于第一注视角度与第二注视角度之间的偏差。在图4中通过针对刺激点406的注视角度412例示了第一注视角度，并且在图4中通过针对刺激点410的注视角度413例示了第二注视角度。如前面参考图4所描述的，如果估算的视线是正确的，则沿估算的视线在不同深度之间移动刺激物不应影响注视角度，因为当刺激物移动时，眼睛应在相同的方向上保持其注视。因此，第一注视角度和第二注视角度应相似。第一注视角度与第二注视角度之间的差异可以指示估算的视线是不正确的。如前面参考图4所描述的，估算的视线是不正确的事实可以指示当前采用的角膜模型(诸如在步骤602处用于估算视线的初步角膜模型)是不准确的。

贯穿本公开内容，注视角度可以被定义为在估算的视线与用户的向前方向(在图4中由箭头415例示的)之间形成的角度，或者被定义为在估算的视线与指向显示器中心位置的潜在视线之间形成的角度。

图7是根据一实施例的更新角膜模型的方法700的流程图，在该方法中该角膜模型可以被更新多次。方法700包括前面参考图5描述的方法500的步骤501至步骤505。在此将不再重复对这些步骤的描述。

方法700包括基于第一传感器数据(在步骤502处接收的)估算701第一注视角度，以及基于第二传感器数据(在步骤505处接收的)估算702第二注视角度。由显示器在第一深度处显示的刺激物和由显示器在第二深度处显示的刺激物均由显示器沿着在步骤503处估算的视线显示。沿着估算的视线，在第二深度处显示的刺激物比在第一深度处显示的刺激物被显示在更远离眼睛的位置。这在图4中由在深度407处显示的刺激点406和在深度409处显示的刺激点410例示，其中，刺激点406和刺激点410两者都位于估算的视线402上。在图4中通过针对刺激点406的注视角度412例示了第一注视角度，并且在图4中通过针对刺激点410的注视角度413例示了第二注视角度。

方法700包括前面参考图5描述的方法500的步骤506。在方法700中，更新角膜模型的步骤506包括响应于第一估算的注视角度超过703第二估算的注视角度而减小704角膜104的曲率半径106。换言之，将两个注视角度进行比较。参考在图4中示出的示例，如果第一注视角度412大于第二注视角度413(在图7中由703指示了这种情况)，则这意味着真实的角膜位置403比估算的角膜位置401更靠近显示器。这意味着真实的角膜半径小于当前采用的角膜半径，从而应减小角膜模型的角膜半径。第一估算的注视角度与第二估算的注视角度之间的差异的大小可以例如被用于确定将角膜半径减小704多少。相对较大的差异可以指示需要相对较大的减小量，而相对较小的差异可以指示需要相对较小的减小量。

在方法700中，更新角膜模型的步骤506还包括响应于第二估算的注视角度超过705第一估算的注视角度而增加706角膜104的曲率半径106。换言之，将两个注视角度进行比较。参考在图4中示出的示例，如果第二注视角度413大于第一注视角度412(在图4中不是这种情况，但是在图7中由705指示了这种情况)，则这将意味着真实的角膜位置403比估算的角膜位置401更远离显示器。这将意味着真实的角膜半径大于当前采用的角膜半径，从而应增加角膜模型的角膜半径104。第一估算的注视角度与第二估算的注视角度之间的差异的大小可以例如被用于确定将角膜半径增加706多少。相对较大的差异可以指示需要相对较大的增加量，而相对较小的差异可以指示需要相对较小的增加量。

如果没有检测到第一注视角度与第二注视角度之间的差异(如在图7中由707所指示的)，则角膜半径看起来是正确的并且不应该被更新，因此方法700可以结束708。

如在图7中所指示的，如果角膜半径减小704或增加706，则方法700可以例如重复步骤501至506和步骤701至702。可以例如重复这些步骤501至506和步骤701至702直到已获得正确的角膜半径，并且方法700在步骤708处结束。即使没有重复步骤501至506和步骤701至702中的所有步骤，方法700也可以例如包括以下操作：基于更新后的角膜模型估算眼睛的新的视线；控制显示器在对应时刻在沿着新的估算的视线的对应位置处显示刺激物；在对应时刻接收由眼睛跟踪传感器获得的新的传感器数据；以及基于该新的传感器数据来更新角膜模型。

图8是根据一实施例的更新角膜模型的方法800的流程图，该方法包括估算眼睛跟踪数据。方法800包括前面参考图5描述的方法500的步骤501至步骤505。在此将不再重复对这些步骤的描述。

方法800包括基于第一传感器数据(在步骤502处接收的)估算801指示以下内容的第一眼睛跟踪数据：

·注视角度；和/或

·视线；和/或

·注视点；以及

方法800包括基于第二传感器数据(在步骤505处接收的)估算802指示以下内容的第二眼睛跟踪数据：

·注视角度；和/或

·视线；和/或

·注视点。

方法800包括前面参考图5描述的方法500的步骤506。在方法800中，更新角膜模型的步骤506是基于第一眼睛跟踪数据和第二眼睛跟踪数据。

根据一些实施例，在方法500、700和800中采用的显示器能够通过至少以下方式在不同深度处显示对象：

·重新定位显示屏；和/或

·重新定位光学元件；和/或

·改变光学元件的光学特性。

显示器可以例如包括在其上显示对象的显示屏或显示表面。该显示屏/显示表面可以例如相对于用户在一个方向上来回移动或平移，以便在不同深度处显示对象。显示器可以例如包括诸如透镜或反射镜的光学元件。该光学元件可以例如被移动、或被平移或旋转以用于给予对象在不同深度处显示的印象。可以例如改变光学元件(诸如透镜或反射镜)的诸如焦距等光学特性以用于给予对象在不同深度处显示的印象。可以例如通过改变电压来改变光学元件的光学特性。

图9是可以在方法500、700和800中采用的示例显示器900的示意性概览。显示器900包括在其上显示对象的显示屏901以及透镜形式的光学元件902。通过在观看显示器900的用户的向前方向903上或者在显示器900的向前方向905上来回移动显示屏901，显示器900能够在不同深度处显示对象。换种说法，显示屏901可以在与显示屏901正交的方向904上移动。通过在观看显示器900的用户的向前方向903上或者在显示器900的向前方向905上来回移动光学元件902，显示器900能够在不同深度处显示对象。换种说法，光学元件902可以在与显示屏901正交的方向904上移动。通过改变光学元件902的光学特性，显示器900能够在不同深度处显示对象。

将理解的是，在图9中示出的显示器仅旨在作为简单的示例，并且在方法500、700和800中也可以采用其他显示器。

根据一些实施例，方法500、700和800中采用的显示器是能够在多个深度处显示对象的变焦显示器或多焦显示器。

图10是根据一实施例的用于更新针对眼睛100的角膜104的角膜模型的系统1000的示意性概览。系统1000包括：一个或多个眼睛跟踪传感器1001，该一个或多个眼睛跟踪传感器被适配用于在眼睛100观看显示器1002时获得传感器数据；以及处理电路系统1003，该处理电路系统被配置用于处理来自该一个或多个眼睛跟踪传感器1001的传感器数据。处理电路系统1003可以被配置用于执行方法500、方法700或方法800。眼睛跟踪传感器1001不一定被视为系统1000的一部分。换言之，系统1000可以例如仅包括处理电路系统1003。

如前所述，眼睛跟踪传感器1001可以是用于在眼睛100看着显示器1002时捕获眼睛100的图像的成像装置，但是眼睛跟踪传感器1001也可以是一些其他类型的传感器。如果眼睛跟踪传感器1001是成像装置，则系统1000可以包括用于照射眼睛100(例如，以在眼睛100的角膜104处提供闪光点)的一个或多个发光装置1004。

处理电路系统1003例如经由有线或无线连接被通信地连接到眼睛跟踪传感器1001。处理电路系统1003还可以被通信地连接到显示器1002，例如用于控制(或触发)显示器1002以展示刺激点1005。处理电路系统1003还可以被通信地连接到发光装置1004。

发光装置1004可以例如是红外或近红外发光装置，例如呈发光二极管(LED)的形式。然而，也可以设想其他类型的发光装置。图10示出了位于显示器1002的任一侧的示例发光装置1004，但是发光装置1004也可以位于其他地方。

图10示出了位于显示器1002上方的示例眼睛跟踪传感器1001，但是眼睛跟踪传感器1001也可以位于其他地方，例如在显示器1002下方。

显示器1002可以例如是液晶显示器(LCD)或LED显示器。然而，也可以设想其他类型的显示器。显示器1002可以例如是平面的或曲面的。显示器1002可以例如是电视屏幕、计算机屏幕、或者可以是诸如虚拟现实(VR)或增强现实(AR)设备等头戴式设备(HMD)的一部分。显示器1002可以例如被放置在用户的其中一只眼睛的前面。换言之，可以为左眼和右眼采用单独的显示器1002。例如，可以为左眼和右眼采用单独的眼睛跟踪设备(诸如发光装置1004和眼睛跟踪传感器1001)。

处理电路系统1003可被用于双眼，或者可以有针对左眼和右眼的单独的处理电路系统1003。

系统1000可以例如是眼睛跟踪系统或注视跟踪系统。系统1000可以例如单独地针对左眼和右眼执行眼睛跟踪，并且然后可以将组合的注视点确定为针对左眼和右眼的注视点的平均值。

处理电路系统1003可以例如包括一个或多个处理器1006。(多个)处理器1006可以例如是被配置用于执行特定方法的专用集成电路(ASIC)。可替代地，(多个)处理器1006可以被配置用于执行存储在一个或多个存储器1007中的指令(例如呈计算机程序的形式)。这种存储器1007可以例如被包括在系统1000的电路系统1003中，或者可以在系统1000的外部(例如，位于远离该系统的位置)。存储器1007可以存储用于使系统1000执行方法500、方法700或方法800的指令。

将理解的是，前面参考图10描述的系统1000被提供作为示例，并且可以设想许多其他系统。例如，发光装置1004和/或眼睛跟踪传感器1001不一定被视为系统1000的一部分。系统1000可以例如仅由处理电路系统1003组成。显示器1002可以例如被包括在系统1000中，或者可以被认为与系统1000分离。

前面参考图10描述的系统1000可以例如是单摄像头眼睛跟踪系统。

图11示出了由用户1102佩戴的头戴式设备1101。前面参考图10描述的系统1000可以例如被包括在头戴式设备1101中。头戴式设备1101可以例如是虚拟现实(VR)设备(诸如VR显示器)或增强现实(AR)设备(诸如AR眼镜)。

如在图11中所例示的，方法500、700和800可以例如由可穿戴的眼睛跟踪系统执行。然而，方法500、700和800也可以由被配置用于远程眼睛跟踪的系统(诸如，安装在固定的计算机显示器上的眼睛跟踪系统)所采用。在远程眼睛跟踪系统的情况下，我们可以通过以3D方式(换言之，在不同深度)展示用户刺激点从而以更好的角膜半径估算来改善我们的距离估算。对于这种远程眼睛跟踪系统，应该在3D场景中显现刺激点，在该3D场景中，将显现摄像头“放置”在估算的用户头部位置(双眼之间)。

前面参考图4至图8描述的方法和方案表示本公开内容的第一方面。前面参考图10描述的系统1000表示本公开内容的第二方面。系统1000(或系统1000的处理电路系统1003)可以例如被配置用于执行前述第一方面的任何实施例的方法。系统1000可以例如被配置用于执行前面参考图5描述的方法500、或前面参考图7描述的方法700、或前面参考图8描述的方法800。

系统1000可以例如包括处理电路系统1003(或者一个或多个处理器1006)和一个或多个存储器1007，该一个或多个存储器1007包含可由处理电路系统1003(或者一个或多个处理器1006)执行的指令，由此系统1000可操作以执行本文公开的第一方面的任何实施例的方法。

如前面参考图10所描述的，系统1000不一定包括在图10中示出的所有元件。

本公开内容的第三方面由存储指令的非临时性计算机可读存储介质1007的实施例表示，这些指令当由系统1000(或由系统1000的处理电路系统1003)执行时，使系统1000执行上述第一方面的任何实施例的方法(诸如前面参考图5描述的方法500、或前面参考图7描述的方法700、或前面参考图8描述的方法800)。

如前面参考图10所描述的，存储介质1007不一定被包括在系统1000中。

本领域技术人员认识到，本公开内容中给出的建议方法绝不限于上述优选实施例。相反，在所附权利要求的范围内可以进行许多修改和变化。例如，前面参考图4至图8描述的方法和方案可以被组合以形成进一步的实施例。进一步，将理解的是，图10中示出的系统1000仅旨作为示例，并且其他系统也可以执行前面参考图4至图8所描述的方法。还将理解的是，参考图5、图6、图7和图8描述的方法步骤不一定按照这些图中示出的具体顺序执行，除非另有声明。

将理解的是，处理电路系统1003(或者一个或多个处理器)可以包括以下各项中的一项或多项的组合：微处理器、控制器、微控制器、中央处理单元、数字信号处理器、专用集成电路、现场可编程门阵列、或任何其他合适的计算设备、资源、或硬件、软件和/或编码逻辑的组合，该编码逻辑可操作以单独地或与其他计算机部件(诸如存储器或存储介质)结合来提供计算机功能。

还将理解的是，存储器或存储介质1007(或计算机可读介质)可以包括任何形式的易失性或非易失性计算机可读存储器，包括但不限于持久性存储装置、固态存储器、远程安装的存储器、磁性介质、光学介质、随机存取存储器(RAM)、只读存储器(ROM)、大容量存储介质(例如，硬盘)、可移除存储介质(例如，闪存驱动器、致密盘(CD)或数字视频光盘(DVD))和/或任何其他易失性的或非易失性的、非临时性的设备可读和/或计算机可执行的存储器设备，这些存储器设备存储可以由处理器或处理电路系统使用的信息、数据和/或指令。

另外，从对附图、本公开内容和所附权利要求的研究中，本领域技术人员在实践所要求保护的本发明时可以理解和实现所公开的实施例的变化。在权利要求中，词语“包括”并不排除其他的要素或步骤，并且不定冠词“一个(a)”或“一种(an)”并不排除复数。在权利要求中，词语“或”不被解释为“异或”(有时被表示为“XOR”)。相反，除非另有说明，否则诸如“A或B”等表述涵盖“A而非B”、“B而非A”以及“A和B”的所有情况。在彼此不同的从属权利要求中所列举的某些措施的简单事实并不表明这些措施的组合不能被有利地使用。权利要求中的任何附图标记都不应被解释为对范围的限制。

Claims (18)

1.一种更新针对眼睛(100)的角膜(104)的角膜模型的方法(500)，所述方法包括：

控制(501)显示器(900)在第一深度(407)处显示刺激物(406)，其中，所述显示器能够在不同深度处显示对象；

当由所述显示器在所述第一深度处显示刺激物时，接收(502)由眼睛跟踪传感器(1001)获得的第一传感器数据；

控制(504)所述显示器在第二深度(409)处显示刺激物(410)，其中，所述第二深度不同于所述第一深度；

当由所述显示器在所述第二深度处显示刺激物时，接收(505)由所述眼睛跟踪传感器获得的第二传感器数据；以及

基于所述第一传感器数据和所述第二传感器数据更新(506)所述角膜模型。

2.如权利要求1所述的方法，其中，所述角膜模型由指示所述角膜的曲率半径(106)的参数来参数表示，并且其中，所述角膜模型的更新包括：

更新所述参数的值。

3.如前述权利要求中任一项所述的方法，包括：

估算(503)所述眼睛的视线(402)，

其中，由所述显示器沿着所估算的视线显示由所述显示器在所述第一深度处显示的刺激物和由所述显示器在所述第二深度处显示的刺激物。

4.如权利要求3所述的方法，其中，估算所述眼睛的视线包括：

获得(601)所述角膜模型的初步版本；以及

基于所述角膜模型的所述初步版本估算(602)所述眼睛的视线。

5.如权利要求3至4中的任一项所述的方法，其中，响应于检测到所述第一传感器数据的内容与所述第二传感器数据的内容之间的差异，执行对所述角膜模型的更新。

6.如权利要求3至5中任一项所述的方法，包括：

基于所述第一传感器数据估算所述眼睛的瞳孔(101)的第一位置；以及

基于所述第二传感器数据估算所述瞳孔的第二位置，

其中，对所述角膜模型的更新是基于所述瞳孔的所述第一位置与所述瞳孔的所述第二位置之间的偏差进行的。

7.如权利要求3至6中任一项所述的方法，包括：

基于所述第一传感器数据估算(701)第一注视角度(412)；以及

基于所述第二传感器数据估算(702)第二注视角度(413)，

其中，对所述角膜模型的更新是基于所述第一注视角度与所述第二注视角度之间的偏差进行的。

8.如权利要求3至7中任一项所述的方法，包括：

基于所述第一传感器数据估算(701)第一注视角度(412)；以及

基于所述第二传感器数据估算(702)第二注视角度(413)，

其中，沿着所估算的视线，在所述第二深度处显示的刺激物比在所述第一深度处显示的刺激物更远离所述眼睛地显示，并且其中，对所述角膜模型的更新包括：

响应于所估算的第一注视角度超过(703)所估算的第二注视角度，减小(704)所述角膜的曲率半径(106)；和/或

响应于所估算的第二注视角度超过(705)所估算的第一注视角度，增加(706)所述角膜的曲率半径(106)。

9.如权利要求3至8中任一项所述的方法，进一步包括：

基于所更新的角膜模型估算所述眼睛的新的视线；

控制所述显示器在对应时刻沿着所述新的估算的视线在对应位置处显示刺激物；

在所述对应时刻接收由所述眼睛跟踪传感器获得的新的传感器数据；以及

基于所述新的传感器数据更新所述角膜模型。

10.如前述权利要求中任一项所述的方法，进一步包括：

接收(507)由所述眼睛跟踪传感器获得的第三传感器数据；以及

基于所述第三传感器数据和所更新的角膜模型，估算(508)：

所述眼睛在空间中的位置(108)；和/或

所述眼睛的视线；和/或

所述眼睛的注视点(114)。

11.如前述权利要求中任一项所述的方法，其中，所述眼睛跟踪传感器是成像装置。

12.如权利要求11所述的方法，其中，所述第一传感器数据包括当由所述显示器在所述第一深度处显示刺激物时由所述成像装置捕获的所述眼睛的图像，并且其中，所述第二传感器数据包括当由所述显示器在所述第二深度处显示刺激物时由所述成像装置捕获的所述眼睛的图像。

13.如权利要求11至12中的任一项所述的方法，其中，所述方法是更新单摄像头眼睛跟踪器的角膜模型的方法。

14.如前述权利要求中任一项所述的方法，其中，所述显示器能够至少通过以下方式在不同深度处显示对象：

重新定位显示屏(901)；和/或

重新定位光学元件(902)；和/或

改变光学元件(902)的光学特性。

15.如前述权利要求中任一项所述的方法，包括：

基于所述第一传感器数据，估算(801)指示以下内容的第一眼睛跟踪数据：

注视角度；和/或

视线；和/或

注视点；以及

基于所述第二传感器数据，估算(802)指示以下内容的第二眼睛跟踪数据：

注视角度；和/或

视线；和/或

注视点；

其中，对所述角膜模型的更新是基于所述第一眼睛跟踪数据和所述第二眼睛跟踪数据进行的。

16.一种用于更新针对眼睛(100)的角膜(104)的角膜模型的系统(1000)，所述系统包括处理电路系统(1003)，所述处理电路系统被配置用于：

控制显示器(900)在第一深度(407)处显示刺激物(406)，其中，所述显示器能够在不同深度处显示对象；

当由所述显示器在所述第一深度处显示刺激物时，接收由眼睛跟踪传感器(1001)获得的第一传感器数据；

控制所述显示器在第二深度(409)处显示刺激物(410)，其中，所述第二深度不同于所述第一深度；

当由所述显示器在所述第二深度处显示刺激物时，接收由所述眼睛跟踪传感器获得的第二传感器数据；以及

基于所述第一传感器数据和所述第二传感器数据更新所述角膜模型。

17.一种头戴式设备(1101)，包括如权利要求16所述的系统，以及包括所述显示器。

18.一种非临时性计算机可读存储介质(1007)，其存储用于更新针对眼睛(100)的角膜(104)的角膜模型的指令，所述指令当由系统(1000)执行时使所述系统：

控制显示器(900)在第一深度(407)处显示刺激物(406)，其中，所述显示器能够在不同深度处显示对象；

当由所述显示器在所述第一深度处显示刺激物时，接收由眼睛跟踪传感器(1001)获得的第一传感器数据；

控制所述显示器在第二深度(409)处显示刺激物(410)，其中，所述第二深度不同于所述第一深度；

当由所述显示器在所述第二深度处显示刺激物时，接收由所述眼睛跟踪传感器获得的第二传感器数据；以及

基于所述第一传感器数据和所述第二传感器数据更新所述角膜模型。

Images