CN117813540A - 眼动追踪 - Google Patents

Abstract

一种集成在用于安装在用户头部的框架(2)中的眼动追踪装置(1)包括：激光输出单元(4)，其固定到该框架，并被配置为在使用时提供用于照射用户眼睛(8)的角膜(7)的激光束(6)；以及接收单元(4)，其固定到该框架(2)，并被配置为接收激光束(6)的反射并提供可用于确定角膜(7)的距离或速度的追踪信号。该装置还包括处理单元(9)，其用于根据追踪信号确定用户眼睛(8)的转动。

Description

眼动追踪

技术领域

本公开涉及眼动追踪(eye tracking)装置，特别是集成在用于安装到用户头部的框架中、例如集成在AR智能眼镜中的装置。

背景技术

眼动追踪是重要的用户侧传感模态，其可以使得能够实现例如增强现实(AR)应用中的各种应用。

现有技术的眼动追踪传感模态依赖于使用成像传感器对眼睛和角膜进行成像并基于对采集到的图像的数据处理来识别注视向量。这样的方法常常功耗较高、精度较低、和/或数据收集缓慢。同样重要的是，成像传感器的放置是以最大化所采集的数据的质量的方式选择的，导致放置遮挡了承载装置中的视场。

理想的眼动追踪解决方案应当具有低功耗、精确、快速、且具有较小的形状因子以及在承载装置中的简单集成。当前系统无法同时提供所有这些特征。

发明内容

为解决这些问题中的至少一些，提供了使用激光来测量角膜上特定点的距离并使用该信息来推断眼睛的转动位置的装置。

根据本公开的第一方面，提供了一种集成在用于安装到用户头部的框架(例如，智能眼镜、AR头戴设备、VR头戴设备、头盔或类似设备)中的眼动追踪装置，所述装置包括激光输出单元，其固定到所述框架，并被配置为在使用时提供用于照射用户眼睛的角膜的激光束。所述装置还包括：接收单元(当使用SMI时，接收单元可以与激光输出单元相同)，其固定到所述框架，并被配置为接收所述激光束的反射并提供可用于确定角膜的距离或速度的追踪信号；以及处理单元，其用于根据所述追踪信号确定所述用户眼睛的转动。因此，所述眼动追踪装置无需对眼睛进行成像。

优选地，所述眼动追踪装置提供至少两个空间上分离的激光束，用于照射用户眼睛的角膜上的不同点，其中，所述接收单元被配置为接收来自两个激光束的反射，并针对接收到的反射中的每一个提供可用于确定角膜的相应点的距离或速度的追踪信号。使用两个或更多个激光束可以提高眼动追踪的精度。更优选地，通过所述激光输出单元提供至少三个空间上分离的激光束。再次地，所述装置被配置为使得每个激光束照射用户眼睛的角膜上的不同点。所述接收单元被配置为接收来自所述至少三个激光束的反射并提供对应的追踪信号。然后所述追踪信号可以用于确定用户眼睛的转动(例如，根据角膜的不同点的速度或根据距离变化)。通过使用(来自三个激光源的)至少三个激光束，可以进一步提高精度。

当具有多个激光束时，各光束可以对称分布在用户眼睛的角膜上。例如，三个激光束可以照射角膜上形成等边三角形的三个点。对于在某些方向上追踪眼睛转动比在其他方向上更重要的应用来说(例如，精确的水平追踪比竖直追踪更重要的应用)，角膜上的激光束照射的其他分布可能是合适的。例如，非对称分布可用于某些应用。

激光源单独使用或与光学元件一起使用，以在眼睛上、特别是角膜上产生照射场。取决于实际的几何构造，角膜表面上的特定位置将产生可被检测到的对该照射场的反射。由于角膜是与眼睛的转动点偏移的球面，因此眼睛的任何转动将引起角膜的移位。这使得用激光信号测得的角膜目标点移位与眼睛转动相关联。由于所提出的方法根据角膜上特定点的相对距离变化来推断眼睛转动，因此在给定锥体内绕起始位置的任何眼睛转动会导致相同的距离变化，并因此导致测量结果与转动之间的不确定性。为了克服这一点，进一步且优选地，可以使用具有不同位置的至少三个激光束。

所述激光输出单元通常包括诸如激光二极管之类的激光源(每个激光束一个)，例如边缘发射激光器、分布反馈(DFB)激光器、分布布拉格反射器(DBR)激光器或垂直腔面发射激光器(VCSEL)。替代地，所述激光输出单元可以包括连接至激光源的光波导。波导通常可以是单波模式光纤波导。所述激光输出单元可以包括连接至相应激光源的多个波导，用于提供多个(通常是三个)激光束。因此，实际的激光源可以位于集成装置外(即框架外)而通过波导连接至该装置。所述激光源应当是完全单色的(窄带)并具有高相干性，以实现精确的距离/位移测量。VCSEL具有相对便宜的优势，并具有低功耗。所述激光源可以被配置为在红外或近红外光谱中的波长上进行操作。例如，所述激光源可以被配置为发射波长范围在850nm至1500nm的光，例如940nm。从眼睛安全性的角度，更长的波长通常更好，且因此可以用相对更高的输出功率来使用，这可以提供更好的信号。

有利地，所述激光输出单元也是所述接收单元，并通过测量发射的激光束与接收到的激光束之间的相位差来提供(一个或多个)追踪信号。特别地，在激光源中发生自混合干涉的自混合干涉法SMI可以用于提供SMI信号作为追踪信号。SMI允许精确的距离/位移测量，而无需额外的光电二极管来接收反射光。使用SMI，照射光的一部分从角膜表面反射出来并返回每个相应的激光源。耦合回激光器腔的反射光与原始激光发生干涉，引起对激光发射特性的调整。测量激光发射特性(例如，激光功率输出、结电压等)的变化可以提供关于较远目标(角膜表面上的特定点)的相对位置变化的信息。

SMI可以使用光学检测，其中，根据相应激光源的光输出确定每个追踪信号。例如，光电二极管可以放置于靠近激光源处，并测量激光源的输出强度。光电二极管可以集成在激光器外延中，或者可以位于激光源后方，并被布置为监测与眼睛发射相对的激光镜上的功率输出。替代地，可以根据输入到相应激光源的电流或电压来确定每个追踪信号。由于SMI影响激光输出，因此其也影响对激光源的功率供给，可以对此进行测量以确定距离/位移。

所述空间上分离的激光束在使用时可以在用户眼睛的角膜上相距范围为3.5°至20°的角距离。例如，在使用三个激光源的配置中，所述激光束可以相距大约17°的最小角距离。激光源角距离的其他值也是可能的，并且可取决于所使用的激光束的数量。所述空间上分离的激光束可以包含数量范围在3至12个的激光束。尽管(来自三个激光源的)三个激光束可以提供精确的眼动追踪，但更多光束可以用来改善眼动追踪或在系统中提供冗余度(例如，若一个激光源失效的话)。然而，更多数量的源可能增加装置的复杂度和功耗。

所述装置还可以包括一个或多个光学元件，其固定到所述框架，并被配置为调整照射角膜的激光束。例如，所述一个或多个光学元件可以是用于提供对角膜的平面波照射的准直透镜。替代地，所述一个或多个光学元件可以是用于使激光束聚焦到角膜上的聚焦透镜。所述光学元件可以是反射透镜。于是，所述激光输出单元可以固定到所述框架的沿用户头部的侧面延伸的杆。替代地，所述一个或多个光学元件可以是透射透镜。例如，所述激光输出单元可以放置在用户眼睛前方。

激光器可以与(一个或多个)光学元件一起使用，以产生到角膜表面上的任何范围的照射场，从平面波照射到角膜表面上的单个焦点。例如，这可以通过改变透镜与激光源之间的距离来实现。角膜的球面会将光的某一部分反射回来，其与相同或不同的光学元件的相互作用将使其向着接收单元重定向(使用SMI时重定向回激光器)。基于所述追踪信号，可以推断出所述较远目标的深度变化，并且其与眼睛的转动相关联。(一个或多个)光学元件可以包括以下中的任何：体相全息(VPH)、液晶偏振光栅(LCPG)和热镜等。

根据本发明的第二方面，提供了一种眼动追踪方法，其可以用根据第一方面的眼动追踪装置来实施。所述方法包括：将框架安装到用户头部(例如，戴上眼镜)；用固定到所述框架的激光输出单元提供的激光束照射用户眼睛的角膜；以及用接收单元接收所述激光束的反射，所述接收单元固定到所述框架并提供可用于确定到角膜的距离或角膜的速度的追踪信号(例如，SMI信号)。所述方法还包括用处理单元根据所述追踪信号来确定所述用户眼睛的转动。因此，所述眼动追踪方法无需对眼睛进行成像。

优选地，使用至少三个空间上分离的激光束来提供至少三个追踪信号，所述至少三个追踪信号可以一起使用，以确定用户眼睛的转动。

本公开提供了眼动追踪解决方案，该方案使用较少数量的照射和检测元件，从而得到复杂度较低的解决方案。通过使用框架上的光学元件，传感模块可以灵活地放置在装置的不同位置上(例如，杆上)，从而允许不引人注目的眼动追踪。数据收集的减少(由于从有限数量的光电二极管读出信号)可以使得数据速率提高。

附图说明

下面参考附图对本公开的具体实施例进行描述，其中

图1描绘了包括根据本公开的实施例的眼动追踪装置的智能眼镜；

图2描绘了根据实施例的眼动追踪装置的一部分；

图3描绘了根据实施例的使用中的眼动追踪装置的一部分；

图4描绘了从眼睛角膜反射的激光束；

图5a描绘了包括准直透射透镜的眼动追踪装置的一部分；

图5b描绘了包括弱聚焦透射透镜的眼动追踪装置的一部分；

图5c描绘了包括强聚焦透射透镜的眼动追踪装置的一部分；

图6a描绘了包括准直反射透镜的眼动追踪装置的一部分；

图6b描绘了包括弱聚焦反射透镜的眼动追踪装置的一部分；

图6c描绘了包括强聚焦反射透镜的眼动追踪装置的一部分；

图7描绘了曲线图，其对照反射激光束在反射透镜上的位置绘制了其在VCSEL激光源上的位置；

图8描绘了包括全息光学元件(HOE)反射镜的眼动追踪装置的一部分；

图9描绘了由于眼睛转动20°产生的光程差(OPD)；

图10描绘了一个激光源的OPD的等高线；

图11描绘了曲线图，其针对一个激光源对照转动方向绘制了转动测量精度；

图12描绘了两个激光源的OPD的等高线；

图13描绘了曲线图，其针对两个激光源对照转动方向绘制了转动测量精度；

图14描绘了三个激光源的OPD的等高线；

图15描绘了曲线图，其针对三个激光源对照转动方向绘制了转动测量精度；

图16描绘了任何方向上的最小转动精度的图，其使用各激光束之间角距离为17°的三激光源配置，并且针对眼睛绕x轴和y轴从-30°到30°的任何转动位置；

图17描绘了相距3.5°的角距离的三个激光源的OPD的等高线；以及

图18描绘了任何方向上的最小转动精度的图，其使用各激光束之间角距离为3.5°的三激光源配置，并且针对眼睛绕x轴和y轴从-30°到30°的任何转动位置。

具体实施方式

图1示出了集成在一副眼镜(例如AR智能眼镜)中的眼动追踪装置1，眼镜包括具有杆3的框架2。装置1包括激光输出单元4和光学元件5，激光输出单元4包括作为VCSEL激光器的三个激光源，光学元件5用于调整来自激光输出单元4的激光束6。光学元件5是反射准直透镜(例如，布拉格反射器)，其在眼镜的用户/佩戴者的眼睛8的角膜7上提供平面波照射场。激光束6的一部分从角膜7反射回来并进入激光输出单元4。因此，激光输出单元4也是用于接收反射光的接收单元。反射光通过所谓的自混合干涉而与激光源中的激光场发生干涉，这改变了激光器的输出。通过监测激光器的输出强度或者到激光源的输入电压或输入电流，可以确定到角膜7的距离和/或角膜7的速度。装置1包括处理单元9，其用于基于自混合干涉法(SMI)来确定到角膜7的距离。随着用户的眼睛8移动，到角膜7上反射点的距离也移位，这引起激光源与角膜7之间的距离发生变化。因此，能够检测到眼睛移动。为精确地确定眼睛在所有方向上的转动，使用至少三个角度上分离的激光束6。可以使用更多光束以用于更准确的眼动追踪和/或在系统中提供冗余度。然而，使用仅三个激光束6的优势在于可能的低功耗和较小的形状因子。装置1还包括第二光学元件10，其为用于重定向来自激光输出单元4的激光束6的反射镜。另外的光学元件可以在激光输出单元4的放置中提供更大的灵活性。

在其他实施例中，激光输出单元4可以放置在框架中、在眼睛8前方，并将激光束6直接发射到角膜7上，而无需反射元件。此外，不是必须具有激光输出单元4中的激光源。相反，激光源可以放置在装置外部并连接到波导来发射激光束6。

实施例提供了这样的眼动追踪装置1，其具有较少数量的照射和检测装置来测量角膜7上特定点的相对深度变化，并使用该信息来推断眼睛8的注视方向。使用激光源中的集成光电二极管或通过直接测量栅极电压，可以测量用于检测每个点的深度变化的SMI信号。使用激光照射和检测使得能够将传感模块与放置在目镜中的高透明且高效反射光学部件相结合。正是这一点允许将传感模块灵活放置在头戴式装置的杆3内。SMI检测(能够测量兴趣点的非常小的深度变化)与将各种照射和检测源放置在特定几何构造中的结合使得能够在整个眼睛转动空间上实现非常高的精度。最后，包括最少三个源(每个源潜在地为较低功耗的VCSEL)的该解决方案实现整体低功耗。

图2示出了从全息椭圆镜11反射以在目标13(例如，用户眼睛的角膜)上提供平面波照射场12的发散激光束6的示意图。全息椭圆镜11可以用作图1的眼动追踪装置1中用来提供平面波照射的光学元件。为清楚起见，使用了相同的附图标记来指代不同图中的等效或相似特征，但这并不旨在限制所图示的实施例。

图3示出了激光束6与光学元件5，光学元件5是用于照射眼睛8的角膜7的反射透镜。光学元件可以是如图2所示的用来提供平面波的全息椭圆镜(HOE)。

图4示出了反射的激光束14。激光束14是从角膜7反射的。由于角膜的曲率，反射的激光束14是发散的。反射的激光束14可以是图3所示的激光束6的反射。

图5a至图5c示出了根据实施例的眼动追踪装置的一部分，该眼动追踪装置具有激光输出单元4和作为透射透镜(与反射透镜相对)的光学元件5。光学元件在眼睛8的角膜7上提供照射场。图5a示出了采用准直透镜的实施例，提供平面波照射15。图5b示出了采用弱聚焦透镜的实施例，焦点位于角膜7的表面后方，提供了弱聚焦照射16。图5c示出了采用强聚焦透镜的实施例，焦点基本上在角膜7的表面上，以提供强聚焦照射17。

图6a至图6c示出了根据实施例眼动追踪装置的一部分，该眼动追踪装置具有激光输出单元4和作为反射透镜的光学元件5。激光输出单元4提供激光束6，激光束6被光学元件调整以提供眼睛8的角膜7上的照射场。图6a示出了采用准直透镜的实施例，提供平面波照射15。图6b示出了采用弱聚焦透镜的实施例，焦点位于角膜7的表面后方，提供了弱聚焦照射16。图6c示出了采用强聚焦透镜的实施例，焦点基本上在角膜7的表面上，以提供强聚焦照射17。

图7示出了曲线图，其对照反射激光束在光学元件上的位置绘制了反射激光束在VCSEL激光源上的位置，所述光学元件是全息光学镜(HOE)。针对分别沿x轴18和y轴19的各位置绘制了两条线18和19。

图8示出了从眼睛8的角膜7反射并经由HOE 22入射到VCSEL激光源21上的发散激光束20。由于角膜7的曲率，反射光是发散的并最终照射VCSEL平面上相对较大的区域(见图7)。为了估计功率比，必须确认将被捕获到VCSEL孔径中的HOE孔径的尺寸。功率比由衍射孔径除以全照射孔径给出，其中，全照射孔径由眼睛转动范围和所覆盖的瞳距(IPD)范围来定义。功率比由下式给出：

功率比＝菲涅尔系数*衍射孔径/全照射孔径

使用该等式，可以使用模拟来确定SMI信号将高于底噪的频率。信号的频率是测量时间(“观察”信号的时间)的倒数，用于确定距离/速度。噪声与带宽或带宽的平方根成比例。因此，测量越快，带宽越大，噪声也越大。

通过将光学几何结构改变至角膜后方的焦点可以提高功率比。例如，功率比可以提高到4至8倍。然而，使用聚焦光学器件可能会增加复杂度并潜在地影响适配要求(例如，瞳距、眼距、鼻子高度、耳朵位置等)。

图9示出了当使用平面波照射时眼睛8的转动是如何改变光程的，这进而产生了可测量的信号。当眼睛8处于第一位置(眼睛转动α＝0°)时，具有照射角β的激光束6a入射到眼睛8的角膜7上的一个点并从其反射。基于输入角β，角膜7上有一个点将由于局部曲率而以与入射角相同的角度反射光并使其返回接收单元(未示出)。当眼睛8转动时，该点相对于角膜7的中心保持相同。眼睛8转动到第二位置(α＝20°)，激光束6b在这里入射到角膜7上的一个点并从其反射并返回接收单元。反射的激光束6a和6b在角膜7与接收单元之间的光程的距离变化(光程差，OPD)取决于转动角度α，并因此能被测量到，以确定眼睛转动。

图10示出了OPD是如何随转动角度变化的。具体而言，示出了OPD等高线23，等高线上的OPD是不变的。星形指示了眼睛转动空间中的任意位置24，并且箭头指示了眼睛转动的可能方向。中心点25指示了角膜上激光照射的位置。最精确的测量(对应于最大OPD)可能是对于在垂直于等高线23的方向上转动。相反，沿着等高线23的切线转动不会改变OPD，因此具有最差精度。

图11示出了作为从任何给定位置的转动角度的函数的精度。精度可以定义为最小的可确定角度变化，因此，大数值指示较差的精度(低分辨率)，而小数值指示较好的精度(高分辨率)。如图11所示，沿OPD线23的切线方向(即θ＝0°或θ＝180°)上的转动具有最差精度，而垂直方向(即θ＝90°或θ＝270°)上的转动具有最佳精度。作为转动角度的函数的精度可以通过下式表达：

为了解决这一问题，可以提供另外的激光束。图12和图13示出了两个激光源的OPD等高线23和对应的精度图，这两个激光源提供两个空间上分离的激光束来照射角膜。如图13中的曲线图所示，通过使用如图所示的两个光源，至少一个光源的精度将总是小于0.25度(由虚线指示)。

图14和图15示出了包括三个激光源的配置的OPD等高线23和对应的精度。每个激光束相距17°的角度，这从角膜上的任何位置在所有方向上提供了小于约0.05度的精度。

图16绘制了任何方向上的最小转动精度，其使用各激光束之间为17°角度的三激光源配置，针对眼睛绕x轴和y轴从-30°到30°的任何转动位置。从图中可以看到，只有相对小的区域针对任何方向上的移动/转动具有比0.05度更差的最小精度。

图17示出了装置的OPD等高线23，该装置提供相距3.5°角距离的三个激光源。图18示出了从眼睛绕x轴和y轴在-30°至30°内的任何转动位置在任何方向上的最小转动精度的对应图。从图中可以看到，精度不如三光源17°的配置好。最小精度大约为0.25度(对比17°配置的0.05度)。因此，减小激光源之间的角度会降低精度。

尽管上面描述了具体实施例，但权利要求并不限于那些实施例。公开的每个特征可以单独或与这里公开的其他特征适当组合而结合到任何所描述的实施例中。

附图标记

1 眼动追踪装置

2 框架

3 杆

4 激光输出单元

5 光学元件

6 激光束

7 角膜

8 眼睛

9 处理单元

10 第二光学元件

11 全息椭圆元件

12 平面波照射场

13 目标

14 反射的激光束

15 平面波照射

16 弱聚焦照射

17 强聚焦照射

18沿x轴的位置

19沿y轴的位置

20发散激光束

21VCSEL激光源

22全息光学元件(HOE)

23 等高线

24 眼睛位置

25 中心点

Claims (16)

1.一种集成在用于安装在用户头部的框架(2)中的眼动追踪装置(1)，所述装置包括：

激光输出单元(4)，其固定到所述框架(2)，并被配置为在使用时提供用于照射用户眼睛(8)的角膜(7)的激光束(6)；

接收单元(4)，其固定到所述框架(2)，并被配置为接收所述激光束的反射并提供可用于确定所述角膜(7)的距离或速度的追踪信号；以及

处理单元(9)，其用于根据所述追踪信号来确定所述用户眼睛(8)的转动。

2.根据权利要求1所述的眼动追踪装置(1)，其中，所述激光输出单元(4)被配置为提供至少三个空间上分离的激光束(6)，并且其中，所述接收单元(4)被配置为接收所述至少三个空间上分离的激光束(6)的反射。

3.根据权利要求2所述的眼动追踪装置(1)，其中，至少三个分离的激光束(6)在使用时在所述用户眼睛(8)的角膜(7)上相距范围为3.5°至20°的角距离。

4.根据权利要求1、2或3所述的眼动追踪装置(1)，其中，所述激光输出单元(4)包括用于发射所述激光束的激光源。

5.根据权利要求1、2或3所述的眼动追踪装置(1)，其中，所述激光输出单元(4)包括连接至用于发射所述激光束的激光源的光波导。

6.根据权利要求4或5所述的眼动追踪装置(1)，其中，所述激光输出单元(4)也是所述接收单元(4)，并且通过所述激光源中的自混合干涉来提供所述追踪信号。

7.根据权利要求4、5或6所述的眼动追踪装置(1)，其中，所述追踪信号根据所述激光源的光输出来确定。

8.根据权利要求4、5或6所述的眼动追踪装置(1)，其中，所述追踪信号根据输入到所述激光源的电流或电压来确定。

9.根据权利要求4至8中的任一项所述的眼动追踪装置(1)，其中，所述激光源是垂直腔面发射激光器VCSEL。

10.根据前述权利要求中的任一项所述的眼动追踪装置(1)，还包括一个或多个光学元件(5，10，11，22)，其固定到所述框架(2)，并被配置为调整用于照射所述角膜(7)的所述激光束(6)。

11.根据权利要求10所述的眼动追踪装置(1)，其中，所述一个或多个光学元件(5，10，11，22)是用于提供对所述角膜(7)的平面波照射(12，15)的准直透镜。

12.根据权利要求10所述的眼动追踪装置(1)，其中，所述一个或多个光学元件(5，10，11，22)是用于使所述激光束聚焦到所述角膜(7)上的聚焦透镜。

13.根据权利要求10、11或12所述的眼动追踪装置(1)，其中，所述一个或多个光学元件(5，10，11，22)是反射透镜。

14.根据权利要求13所述的眼动追踪装置(1)，其中，所述激光输出单元被配置为在使用时固定到所述框架的沿用户头部的侧面延伸的杆。

15.一种虚拟现实VR或增强现实AR头戴设备，包括用于安装在用户头部的框架(2)和集成在所述框架(2)中的根据权利要求1至14中的任一项所述的眼动追踪装置(1)。

16.一种眼动追踪方法，包括：

将框架安装到用户头部；

用固定到所述框架的激光输出单元提供的激光束照射用户眼睛的角膜；

用接收单元接收所述激光束的反射，所述接收单元固定到所述框架并提供可用于确定所述角膜的距离或速度的追踪信号；以及

用处理单元根据所述追踪信号来确定所述用户眼睛的转动。