CN116406449A - 使用低相干干涉测量法在头戴式设备中进行眼睛追踪的系统和方法 - Google Patents

Abstract

提供了一种眼睛追踪系统，该眼睛追踪系统包括干涉仪。该系统还包括出射部和透镜，该出射部被配置为将来自干涉仪的光束引导到用户的眼睛。边框区与该透镜相邻，并且该出射部与该透镜相邻设置或设置在该透镜上。

Description

使用低相干干涉测量法在头戴式设备中进行眼睛追踪的系统 和方法

相关申请的交叉引用

本公开要求于2020年10月26日提交的、申请号为63/105,867的美国临时专利申请的权益。该在先申请的公开内容通过引用整体并入本文。

技术领域

本公开涉及使用光子集成电路来追踪眼睛。更具体地，本公开涉及使用低相干干涉测量法在头戴式设备中进行眼睛追踪的系统和方法。这样的系统和方法的应用包括例如但不限于，意图推断、认知负荷估计和健康监测。

背景技术

当前的头戴式眼睛追踪传感器主要依赖于被称为闪烁(glint)的二维标志点反射。这些闪烁的形状和分布取决于照明配置和对象的眼睛的几何形状。这种方法通常需要不同的电子部件来照明和检测，并且该方法利用二维传感器来对眼睛和闪烁进行成像。这种方法还依赖于图像处理以找到每个闪烁相对于眼睛的坐标。

通常的基于闪烁的追踪方法和系统提供的眼睛追踪结果可能不准确。这些缺点源于典型闪烁估计中使用的过于简化的眼睛模型、在测量重叠闪烁时遇到的固有二义性(inherent ambiguity)、以及测量结果对环境光的敏感性。因此，设计基于闪烁的、对于大多数人和在变化的环境条件下以高精度操作的追踪器是具有挑战性的。

发明内容

根据本发明，提供了一种眼睛追踪系统，该系统包括：干涉仪、出射部、透镜以及边框区；该出射部被配置为将来自该干涉仪的光束引导到用户的眼睛，该边框区与该透镜相邻，其中，该出射部与该透镜相邻设置或设置在该透镜上。

优选地，该干涉仪包括探测器、参考臂、分束器和光束整形元件。

优选地，该参考臂的长度选自由以下组成的长度组：小于约100mm、小于约80mm、小于约50mm、小于约25mm和小于约10mm。

优选地，该干涉仪被配置为从该分束器输出光束。

优选地，该眼睛追踪系统进一步包括头戴式视图器(headset)，该头戴式视图器包括该透镜和该边框区。

优选地，该干涉仪包括空间相干光源。

优选地，该干涉仪包括扫描机构，该扫描机构被配置为用于光束控制。

优选地，该眼睛追踪系统还包括另一干涉仪，该另一干涉仪被配置为发射另一光束。

优选地，该光束和该另一光束的相应光轴大致平行。

优选地，该光束和该另一光束的相应光轴相对于彼此成角度。

优选地，根据权利要求1所述的眼睛追踪系统还包括传感器和相机中的一者，该传感器和相机中的该一者被配置为提供补充信息。

优选地，在包括传感器时，该传感器被配置为基于自混合干涉测量法进行轴向测距。

优选地，在包括传感器时，该传感器被配置为作为混合眼睛追踪系统来操作。

根据本发明的另一方面，提供了一种使用眼睛追踪系统来追踪用户的眼睛的方法，该方法包括：在该眼睛上的预定区域上执行至少一次干涉测量；执行对该眼睛的前段、视网膜、或眼睛的前段和视网膜的组合的至少一次深度轮廓测量；基于至少一次干涉测量结果和至少一次深度轮廓测量结果的组合，通过将观察到的深度与从眼睛模型或机器学习算法中的一者计算的深度之间的差最小化，来确定对该眼睛的位置和方向的估计；以及对测量结果进行时空过滤，以并入不同时间和该眼睛的不同动态。

优选地，该方法还包括：包括从测量结果中获得相位信息。

优选地，该方法还包括：还包括基于该相位信息计算高分辨率移位和轴向速度。

优选地，该方法还包括：包括运行一个或多个计算过滤器，以增强该眼睛追踪系统的性能。

优选地，该方法还包括：包括在标定协议中对测量结果进行组合，以生成地面实况眼睛模型。

优选地，该眼睛追踪系统还包括光源，其中，该光源选自由以下组成的组：垂直腔面发射激光器(vertical cavity surface-emitting laser，VCSEL)、超辐射发光二极管(super luminescence light emission diode，SLED)、SLED阵列、可调谐激光器和可调谐激光器阵列；在这种情况下，可选地，其中，该光源、探测器、干涉仪和光学输入/输出耦合器与光子集成电路集成。

本文特写的实施例有助于解决或减轻上述问题以及本领域已知的其他问题。例如，本文特写的实施例中的至少一个实施例提供允许三维感测的低相干干涉测量法，从而由于高干涉测量增益而产生更高信噪比。此外，在一些实施例中，低相干干涉测量法能够以小于约10μm的轴向分辨率解析眼睛的表面。

实施例还提供了对环境光不敏感的测量。此外，可以在校准协议中利用三维信息，以生成特定对象的眼睛模型，所述眼睛模型可以极大地增强系统的整体准确性。实施例还被配置为能够高速追踪扫视和微扫视，这可以为诸如意图推断、认知负荷估计和健康监侧等应用提供有价值的信号和测量结果。

在某些情况下，实施例提供了一种包括干涉仪的眼睛追踪系统。该系统还包括出射部和透镜，该出射部被配置为将来自干涉仪的光束引导到用户的眼睛。边框区与该透镜相邻，其中，该出射部与该透镜相邻设置或设置在该透镜上。

下面参考附图详细描述了本公开的进一步的特征和优点、以及各种实施例的结构和操作。需要注意的是，本公开不限于本文描述的具体实施例。本文呈现的这些实施例仅用于说明性目的。基于本文包含的教导，附加的实施例对于相关领域的技术人员将是显而易见的。

附图说明

除了描述和展示本公开中阐述的各个方面和/或原理之外，附图和以下详细描述示出了多个示例性实施例。提供附图和简要描述以使本领域普通技术人员能够实践本公开所阐述的各个方面和/或原理。

图1示出了根据本公开各个方面的基于扫频源的干涉仪。

图2示出了根据本公开各个方面的轴向测量方案。

图3示出了根据本公开各个方面的组件。

图4示出了根据本公开各个方面的眼睛追踪系统。

图5示出了根据本公开各个方面的方法。

具体实施方式

下面将参照附图更详细地描述实施例。提供以下详细描述以帮助读者获得对本文所描述的方法、装置和/或系统及其修改的全面理解。因此，本文所描述的方法、装置和/或系统的各种修改和等同物对于本领域普通技术人员将是显而易见的。为了更清楚和简明，可以省略对公知功能和结构的描述。

本文特写的实施例可以包括基于干涉仪的系统或混合系统，这些系统依赖于干涉测量法以及其他感测模式，例如图像感测。实施例总体上包括光子集成电路，所述光子集成电路可以包括集成光源。在一个非限制性实施方式中，示例性系统可以是基于扫频源的系统。

具体地，示例性系统包括扫频源，该扫频源可以以特定速度(例如，以约100kHz)并在指定波长范围内对其输出波长的带宽进行调整。例如而非限制性的，波长范围可以是从约5nm至约100nm。该系统可以包括一个或多个光电探测器。

光源和一个或多个光电探测器可以集成在单个芯片上。可以将来自源的光耦合到光子电路的元件中，该光子电路将输出光引导到分束器、参考臂(arm)和样品臂，并且引导到系统中存在的各种光电探测器，从而形成低相干干涉仪。

在替代的示例性实施方式中，多个诸如上述干涉仪的干涉仪可以分布在玻璃衬底上以形成空间检测系统。将激光二极管(Laser Diode，LD)芯片和光电二极管(photodiode，PD)芯片放置在边框区中(嵌入在围绕衬底的框架中)或靠近透视干扰最小的边缘。在又一替代示例性实现方式中，该多个干涉仪可以通过使用光子波导分束器或光学开关共享单个光源。

图1示出了根据实施例的、位于芯片105上的干涉仪100的示例实施方式。光束101所示的是来自源103的方向，在这种情况下，光束102是来自样品108或用户眼睛的反射。来自源的光被准直，然后由分束器106分到参考臂和样品臂中。参考臂被向上引导到反射镜110，并被反射回到分束器。来自样品108的反射光和参考的反射光在分束器处重新组合，并且干涉图案由探测器107探测。

图2示出了示例轴向测量(A扫描)方案200，其中，类似于图1中所示的干涉仪100的芯片被嵌入到头戴式视图器201的观看光学器件中。代表性的A扫描示出了与眼睛中的感兴趣的主表面相对应的特征峰值，从而提供眼睛的深度轮廓，其中，每个峰值与眼睛的特定深度相对应。

图3示出了干涉仪芯片100在头戴式视图器的透镜、透镜边框、或它们的组合上的可能布置的不同示例的面板300。所发射的光束可以是平行的或会聚的(上部行)；如下部行所示，集成电路可以完全嵌入透镜中，完全放置在边框/框架中，或者分布在这两个区域中并经由波导耦合。

图4示出了基于如图1所示的干涉仪100的基于扫频源的系统400。系统400与头戴式视图器201集成，并且可以包括激光二极管和光电二极管，该激光二极管和光电二极管可以单片集成到单个芯片中。基于干涉仪的眼睛追踪系统400可以使用波导分束器、使用定向耦合器来实现。输入/输出(光学I/O)可以在单通道上，并且系统400可以包括光束控制装置以提供高空间分辨率。

图5示出了根据实施例的方法500。方法500是一种示例性过程，诸如系统400等系统经由该示例性过程来在虚拟或增强现实头戴式视图器中执行基于注视的交互。方法500在步骤502处开始。在步骤504处，用户穿戴包括框架的虚拟或增强现实头戴式视图器，该框架包括眼睛追踪系统，例如先前描述的示例性系统。在步骤506处，方法500可以包括：由系统来提供信号，该信号反映来自多个测量点的反射率的轴向轮廓。

在步骤508处，方法500包括：经由后处理算法分析所提供的信号。这种处理可以包括：将这些信号中的一个或多个信号分类为与眼睛结构相关联，该眼睛结构例如为角膜、巩膜、虹膜、晶状体或视网膜。这种处理还可以包括：将这些信号中的一个或多个信号分类为与皮肤或睫毛相关联。

在步骤510处，方法500可以包括：将所分类的信号拟合到预先指定的参考帧或眼睛模型。在步骤512处，方法500可以包括：从所拟合的信号和预先指定的参考帧或眼睛模型，来计算注视角度和/或瞳孔中心。在步骤514处，方法500还可以包括：基于所计算的参数(例如注视角度和/或瞳孔中心)，推断头戴式视图器的显示器上的兴趣点。方法500还可以包括：基于停留时间或眨眼次数作出决定。该方法可以在步骤516处结束。

本文描述的实施例中的一个或多个实施例可以被配置为执行动态带宽光学相干层析成像(optical coherence tomography，OCT)，用于低/高分辨率或用于长/短测距应用。在这种示例性配置中，波长扫频源可以用于动态地控制该源在其上扫频的带宽。在窄带宽上扫频产生低轴向分辨率，而在宽带宽上扫频产生高轴向分辨率。

此外，本公开的实施例可以被配置为混合系统。混合系统可以包括如下的混合系统：该混合系统将使用SMI(自混合干涉)或光学飞行时间或声音飞行时间的长距离、较低分辨率路径长度传感器，与用于高分辨率的低相干干涉测量法进行组合。通常，这种混合系统可以被配置为用作任何路径长度测量传感器。

在这样的实施例中，混合系统可以被配置为允许动态地最优地控制参考臂位置。例如而非限制性的，根据实施例的OCT传感器可以在距离透镜12mm的10mm范围成像。如果框架滑动或者用户具有不寻常的出瞳距离(eye-relief)，则该距离可能不足。利用传感器的低分辨率、远程选项，可以通过调整参考臂长度来将示例性系统配置成：OCT传感器的起点为10mm范围。

在又一实施例中，混合系统可以被配置为基于分离的相干源，进行用于运动和速度估计的散斑追踪。这可以通过从光谱中选择窄带、使用高相干源(空间和时间)结合来自OCT传感器的路径长度测量以追踪运动来实现。相干源也可以通过从OCT源拾取非常窄的带来“合成”。此外，该系统可以被配置为用于表面法线的角度敏感探测器，该角度敏感探测器与用于路径长度的OCT相结合。如果角度敏感探测器和OCT是从相同点进行探测的，则除了轴向信息外，示例性系统还可以生成关于表面法线的信息，这将增强追踪/建模精度。

在又一实施例中，示例性系统可以被配置为用于基于偏振的感测。例如，该系统可以被配置为用于探测分离的通道上的正交偏振。在这种配置中，系统可以生成关于双折射的信息，这可以增强信号中的对比度，从而使得更容易提供分割和/或计算。在这种配置中，系统可以被配置为通过测量来自每个偏振的耦合功率的比率，来实现对局部曲率的感测。例如，在布儒斯特(Brewster)角处，只有一个偏振反射而另一个偏振透射。

此外，示例性系统可以被配置为用于结合OCT扫描SMI、或利用微电子机械系统(micro-electro-mechanical system，MEMS)扫描器扫描OCT。在这种配置中，示例性系统被配置为能够形成3D图像。在这种配置中，系统可以包括附加传感器，该附加传感器不必在现场或者甚至不必指向眼睛。该附加传感器可以位于玻璃的指向颊骨的太阳穴的臂中，并且在相对距离处进行感测，并且该附加传感器可以作为代表用作探测滑动或振动。

总体上，本文提供的实施例可以包括眼睛追踪系统。该系统可以包括干涉仪、出射部，该出射部被配置为将来自干涉仪的光束引导到用户的眼睛。该系统还包括透镜和边框区，该边框区与该透镜相邻。出射部与透镜相邻设置，或设置在透镜上。在示例性实施方式中，干涉仪还包括探测器、参考臂、分束器和光束整形元件。此外，在示例性实施方式中，参考臂的长度可以小于约100mm、小于约80mm、小于约50mm、小于约25mm、或小于约10mm。

干涉仪可以被配置为从分束器输出光束。在一个实施方式中，眼睛追踪系统可以包括头戴式视图器，其中，头戴式视图器包括透镜和边框区。眼睛追踪系统还可以包括空间相干光源。眼睛追踪系统可以包括扫描机构以及另一干涉仪，该扫描机构被配置为用于光束控制，该另一干涉仪被配置为发射另一光束，该另一光束大致平行于上述第一干涉仪的光束，并且各个光束的相应光轴可以大致平行。在替代实施方式中，这些光束的相应光轴可以成角度。眼睛追踪系统还可以包括传感器和相机，该传感器和相机被配置为提供补充信息。传感器还可以被配置为基于自混合干涉测量法进行轴向测距。

在基于本文提供的教导的又一实施方式中，光源可以与光子集成电路集成。光子集成电路可以包括波导和耦合器，该耦合器被配置为将光子集成电路与光源进行耦合。耦合器可以是光栅耦合器或微光学元件。干涉仪可以包括平面光子电路和光子分束器。光子分束器可以是定向耦合器。

在上述示例性系统中，出射部可以包括输出耦合器，该输出耦合器用于将光束引导至用户的眼睛。输出耦合器可以包括光束整形元件。光束整形元件可以是元透镜或衍射光学元件。并且，光束整形元件包括元透镜和衍射光学元件。

参考臂可以包括波导和定向耦合器，该定向耦合器包括探测端口。定向耦合器可以具有2×2个50:50的端，并且探测器可以包括耦合到定向耦合器的光电探测器。光电探测器可以包括硅雪崩光电探测器，并且所述硅雪崩光电探测器可以与光源集成在同一芯片上。在系统包括光子集成电路的实施方式中，该电路可以包括透明衬底。例如，衬底也可以是玻璃。此外，该系统可以包括电控制器电路和计算单元，该电控制器电路和计算单元被配置为驱动光源和光电探测器。

在又一实施例中，提供了一种使用上述眼睛追踪系统来追踪用户的眼睛的方法。该方法可以包括：在眼睛的预定区域上执行至少一次干涉测量，以及对眼睛的前段、视网膜或它们的组合执行至少一次深度轮廓测量。该方法还可以包括：基于至少一次干涉测量结果与至少一次深度轮廓测量结果的组合，通过将观察到的深度与从眼睛模型和机器学习算法中的一者计算的深度之间的差最小化，来确定眼睛的位置和方向的估计。

此外，该方法还可以包括：对测量结果进行时空过滤，以并入不同时间和眼睛的不同动态。该方法还可以包括：从测量结果获得相位信息，基于相位信息计算高分辨率移位和轴向速度。该方法还可以包括：运行一个或多个计算过滤器以增强眼睛追踪系统的性能。该方法还可包括：在校准协议中对测量结果进行组合以生成地面实况眼睛模型。

一个或多个相关领域的技术人员将容易地理解，在不背离本公开的范围和精神的情况下，可以实现对上述示例性实施例的各种改变和修改。因此，应当理解的是，在所附权利要求的范围内，除了本文中的具体描述以外，本公开的教导也可以被实施。

Claims (15)

1.一种眼睛追踪系统，包括：

干涉仪；

出射部，所述出射部被配置为将来自所述干涉仪的光束引导到用户的眼睛；

透镜；以及

边框区，所述边框区与所述透镜相邻；

其中，所述出射部与所述透镜相邻设置或设置在所述透镜上。

2.根据权利要求1所述的眼睛追踪系统，其中，所述干涉仪包括探测器、参考臂、分束器和光束整形元件。

3.根据权利要求2所述的眼睛追踪系统，其中，所述参考臂的长度选自由以下项组成的长度组：小于约100mm、小于约80mm、小于约50mm、小于约25mm和小于约10mm。

4.根据权利要求2所述的眼睛追踪系统，其中，所述干涉仪被配置为从所述分束器输出所述光束。

5.根据权利要求1所述的眼睛追踪系统，进一步包括头戴式视图器，所述头戴式视图器包括所述透镜和所述边框区。

6.根据权利要求1所述的眼睛追踪系统，其中，所述干涉仪包括空间相干光源。

7.根据权利要求1所述的眼睛追踪系统，其中，所述干涉仪包括扫描机构，所述扫描机构被配置用于光束控制。

8.根据权利要求1所述的眼睛追踪系统，还包括另一干涉仪，所述另一干涉仪被配置为发射另一光束。

9.根据权利要求8所述的眼睛追踪系统，其中，所述光束和所述另一光束的相应光轴大致平行。

10.根据权利要求8所述的眼睛追踪系统，其中，所述光束和所述另一光束的相应光轴相对于彼此成角度。

11.根据权利要求1所述的眼睛追踪系统，还包括传感器和相机中的一者，所述传感器和所述相机中的所述一者被配置为提供补充信息。

12.根据权利要求11所述的眼睛追踪系统，以及以下中的任一者：

a)其中，在包括所述传感器时，所述传感器被配置为基于自混合干涉测量法进行轴向测距；或

b)其中，在包括所述传感器时，所述传感器被配置为作为混合眼睛追踪系统来操作。

13.一种使用眼睛追踪系统来追踪用户的眼睛的方法，所述方法包括：

在所述眼睛上的预定区域上执行至少一次干涉测量；

对所述眼睛的前段、视网膜、或眼睛的前段和视网膜的组合执行至少一次深度轮廓测量；

基于至少一次干涉测量结果和至少一次深度轮廓测量结果的组合，通过将观察到的深度与从眼睛模型或机器学习算法中的一者计算的深度之间的差最小化，来确定对所述眼睛的位置和方向的估计；以及

对所述测量结果进行时空过滤，以并入不同时间和所述眼睛的不同动态。

14.根据权利要求13所述的方法，以及以下中的任一项：

a)还包括从所述测量结果获得相位信息；在这种情况下，可选地，以下中的任一项：

i)还包括基于所述相位信息计算高分辨率移位和轴向速度；或

ii)还包括运行一个或多个计算过滤器，以增强所述眼睛追踪系统的性能；或

b)还包括在标定协议中对所述测量结果进行组合，以生成地面实况眼睛模型。

15.根据权利要求1所述的眼睛追踪系统，还包括光源，其中，所述光源选自由以下组成的组：垂直腔面发射激光器(VCSEL)、超辐射发光二极管(SLED)、SLED阵列、可调谐激光器和可调谐激光器阵列；在这种情况下，可选地，其中，所述光源、探测器、干涉仪和光学输入/输出耦合器与光子集成电路集成。

Images