CN117980796A - 产生用于眼动追踪的闪烁和虹膜照明的技术 - Google Patents

Abstract

一种眼动追踪系统包括较小的形状要素，并且该眼动追踪系统相对于传统的眼动追踪系统，允许更准确地和/或以更好的信噪比来追踪观看者的眼睛。该眼动追踪系统可以包括多个光源，该多个光源被配置为照射眼睛。要么由包括在一个或多个光源中的每个光源发射的光路中设置有小透镜阵列或漫射器，要么由包括在一个或多个光源中的每个光源发射的光路不被任何光学元件遮挡。另外，多个光源可以包括发射在所有方向上都均匀的光的朗伯光源、窄视场(FOV)光源和/或它们的组合，以便提供泛光照明来区分眼睛的虹膜和瞳孔。

Description

产生用于眼动追踪的闪烁和虹膜照明的技术

技术领域

本公开总体上涉及眼动追踪系统，并且更具体地涉及产生用于眼动追踪的闪烁和虹膜照明的技术。

背景技术

人工现实系统显示如下内容：所述内容可以包括完全生成的内容或与所采集的(例如，真实世界)内容相结合的生成的内容。人工现实系统可以包括显示设备和多个光学元件，该显示设备发射光，该多个光学元件作用于所发射的光和/或真实世界光，以对光进行调制、组合并将光重定向到观看者的眼睛。

为了将光重定向到观看者的眼睛，人工现实系统包括眼动追踪系统，以获得关于眼睛位置的信息，例如关于眼睛注视角度的信息。一些眼动追踪系统包括一个或多个光源、次级光学器件和用于采集每只眼睛的成像设备。次级光学器件是安装在光源顶部的光学元件。光源和次级光学器件可以在眼睛上产生随时间而被监测的闪烁、以及用于区分眼睛的瞳孔和虹膜的整体虹膜照明(在本文中也被称为“泛光照明”)。可以基于闪烁位置和所检测到的瞳孔来追踪瞳孔的位置。

上述眼动追踪方法的一个缺点是，光源和次级光学器件产生的闪烁需要紧密聚焦。然而，使用光源和次级光学器件来产生紧密聚焦的闪烁减少了光源和次级光学器件可产生的泛光照明量。因此，一般而言，传统的眼动追踪系统不能产生足够紧密聚焦的闪烁和足够的泛光照明来实现准确的眼动追踪和期望的虹膜对比度的信噪比。

上述眼动追踪方法的另一个缺点是，光源和次级光学器件的组合的尺寸通常相对较大。光源和次级光学器件的尺寸可能导致人工现实系统(例如，头戴式显示器(head-mounted display，HMD))的显示器相对远离观看者的面部。因此，观看者可能体验到正在显示的内容的减小的视场(field of view，FOV)。

如上所述，本领域所需要的是更有效的眼动追踪技术。

发明内容

本公开的一个实施例提出了一种眼动追踪系统。该眼动追踪系统包括一个或多个摄像头以及一个或多个光源，该一个或多个光源被配置为照射眼睛。要么(i)由包括在该一个或多个光源中的每个光源发射的光路中设置有小透镜阵列或漫射器中的至少一者，要么(ii)由包括在该一个或多个光源中的每个光源发射的光路不被任何光学元件遮挡。

在一些实施例中，包括在一个或多个光源中的各个光源可以包括发光二极管(light-emitting diode，LED)、超发光二极管(superluminescent diode，SLED)、谐振腔LED、激光器、垂直腔面发射激光器(vertical-cavity surface-emitting laser，VCSEL)或光子晶体表面发射激光器(photonic crystal surface emitting laser，PCSEL)。

在一些实施例中，该一个或多个光源可以包括：一个或多个第一光源，每个第一光源在多个方向上产生大致均匀的光；以及一个或多个第二光源，每个第二光源产生相对于每个第一光源更窄视场(FOV)的光束。

在一些实施例中，包括在一个或多个光源中的每个光源发射的光路中可以设置有小透镜阵列，并且该眼动追踪系统还包括：与一个或多个光源相对应的一个或多个折叠反射镜。

在一些实施例中，该眼动追踪系统还可以包括一个或多个处理器，其中，该一个或多个处理器被配置为基于由一个或多个摄像头采集的多个图像，来执行一个或多个光轴追踪操作或者一个或多个虚拟瞳孔追踪操作中的至少一者。

在一些实施例中，该一个或多个光源可以安装在眼杯上。

在一些实施例中，包括在一个或多个光源中的第一组光源可以邻近包括在一个或多个摄像头中的第一摄像头设置。

在一些实施例中，该眼动追踪系统还可以包括处理器，该处理器被配置为基于由一个或多个摄像头采集的多个图像，来执行一个或多个光轴操作或一个或多个虚拟瞳孔追踪操作中的至少一者。

在一些实施例中，该眼动追踪系统还可以包括一个或多个处理器，其中，该一个或多个处理器被配置为基于以下项中的至少一项来追踪眼睛：通过一个或多个光源产生的多个闪烁；或由一个或多个光源产生的虹膜照明。

本公开的另一实施例提出了一种头戴式显示器(HMD)。该HMD包括电子显示器和眼动追踪系统。该眼动追踪系统包括一个或多个光源，该一个或多个光源被配置为照射眼睛。要么(i)由包括在一个或多个光源中的每个光源发射的光路中设置有小透镜阵列或漫射器中的至少一者，要么(ii)由包括在一个或多个光源中的每个光源发射的光路不被任何光学元件遮挡。

在一些实施例中，该眼动追踪系统还可以包括一个或多个摄像头。

在一些实施例中，包括在一个或多个光源中的各个光源可以包括发光二极管(LED)、超发光二极管(SLED)、谐振腔LED、激光器、垂直腔面发射激光器(VCSEL)或光子晶体表面发射激光器(PCSEL)。

在一些实施例中，该一个或多个光源可以包括：一个或多个第一光源，每个第一光源在多个方向上产生大致均匀的光；以及一个或多个第二光源，每个第二光源产生相对于每个第一光源更窄的视场(FOV)光束。

在一些实施例中，由包括在一个或多个光源中的每个光源发射的光路中可以设置有小透镜阵列，并且该眼动追踪系统还包括：与一个或多个光源相对应的一个或多个折叠反射镜。

在一些实施例中，该HMD还可以包括处理器，该处理器被配置为基于由一个或多个摄像头采集的多个图像，来执行一个或多个光轴操作或一个或多个虚拟光瞳追踪操作中的至少一者。

在一些实施例中，该一个或多个光源可以安装在眼杯上。

在一些实施例中，包括在一个或多个光源中的第一组光源可以邻近摄像头设置。

在一些实施例中，该HMD还可以包括：透镜，其中，包括在一个或多个光源中的至少一个光源在相对于眼睛的方向上设置在透镜后面。

本公开的另一实施例提出了一种眼动追踪系统。该眼动追踪系统包括一个或多个摄像头。该眼动追踪系统还包括一个或多个第一光源，每个第一光源在多个方向上产生(或被设置成产生)大致均匀的光。另外，该眼动追踪系统包括一个或多个第二光源，每个第二光源产生(或被设置成产生)相对于每个第一光源更窄视场(FOV)的光束。

在一些实施例中，每个第一光源可以包括发光二极管(LED)、超发光二极管(SLED)或谐振腔LED；并且每个第一光源包括激光器、垂直腔面发射激光器(VCSEL)或光子晶体表面发射激光器(PCSEL)。

本文所公开的眼动追踪系统的一个优势是，该眼动追踪系统相对于传统的眼睛追踪系统更紧凑。因此，所公开的眼动追踪系统允许人工现实系统(例如，HMD)的显示器相对接近观看者的面部。因此，相对于包括传统眼动追踪系统的人工现实系统，观看者可以体验到正在显示的内容的更大的FOV。另外，所公开的各眼动追踪系统中的一些眼动追踪系统相对于传统的眼动追踪系统，产生与泛光照明相结合的更紧密聚焦的闪烁。使用紧密聚焦的闪烁和泛光照明，可以更准确地和/或以更好的信噪比来追踪观看者的眼睛。这些技术优势代表了优于现有技术方法的一项或多项技术进步。

应当理解的是，本文所描述的适于结合到本公开一个或多个方面或各实施例中的任何特征旨在在本公开的任何和所有的方面和实施例具有普遍性。本领域技术人员可以根据本公开的说明书、权利要求书和附图理解本公开的其它方面。前述总体描述和以下详细描述仅是示例性和说明性的，而不是对权利要求的限制。

附图说明

为了能够详细地理解上述各种实施例的特征，可以参考各种实施例对上文简要概述的公开概念进行更具体的描述，各种实施例中的一些实施例在附图中示出。然而，应当注意的是，附图仅示出了所公开的概念的典型实施例，因此不应被视为以任何方式限制范围，并且存在其它同等有效的实施例。

图1A是根据各种实施例的近眼显示器(near eye display，NED)的示意图。

图1B是图1A中示出的NED的实施例的前部刚性体的横截面。

图2A是根据各种实施例的被实现为NED的头戴式显示器(HMD)的示意图。

图2B是根据各种实施例的图2A的被实现为近眼显示器的HMD的横截面图。

图3是根据各种实施例的NED系统的框图。

图4A示出了根据现有技术的眼动追踪系统的侧视图。

图4B示出了根据现有技术的由图4A的眼动追踪系统产生的示例闪烁和虹膜照明。

图5示出了根据现有技术的另一眼动追踪系统的正视图。

图6A示出了根据各种实施例的眼动追踪系统的侧视图。

图6B示出了根据各种实施例的由图6A的眼动追踪系统产生的示例闪烁和虹膜照明。

图7A示出了根据各种其它实施例的眼动追踪系统的侧视图。

图7B示出了根据各种实施例的由图7A的眼动追踪系统产生的示例闪烁和虹膜照明。

图8A示出了根据各种其它实施例的眼动追踪系统的侧视图。

图8B示出了根据各种实施例的由图8A的眼动追踪系统产生的示例闪烁和虹膜照明。

图9A示出了根据各种其它实施例的眼动追踪系统的侧视图。

图9B示出了根据各种实施例的由图9A的眼动追踪系统产生的示例闪烁和虹膜照明。

图10A示出了根据各种其它实施例的眼动追踪系统的正视图。

图10B示出了根据各种实施例的图10A的眼动追踪系统的光源和小透镜阵列的侧视图。

图10C更详细地示出了根据各种实施例的图10A的眼动追踪系统的小透镜阵列的俯视图。

图11示出了根据各种其它实施例的眼动追踪系统的正视图。

图12示出了根据各种实施例的各闪烁相对于光源的模拟角度位置。

具体实施方式

在以下描述中，阐述了许多具体的细节以提供对各种实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节中的一个或多个具体细节的情况下，对所公开的概念进行实践。

配置概述

本文公开的一个或多个实施例涉及眼动追踪系统，所述眼动追踪系统具有较小的形状要素，并且所述眼动追踪系统相对于传统的眼动追踪系统，允许更准确地和/或以更高的信噪比来追踪观看者的眼睛。在一些实施例中，眼动追踪系统包括被配置为照射眼睛的多个光源。在由每个光源发射的光路上不设置光学元件、设置漫射器或小透镜阵列。此外，光源可以包括在所有方向上均匀发光的朗伯光源(Lambertian light source)、窄视场(FOV)光源和/或它们的组合，以便提供泛光照明以区分眼睛的虹膜和瞳孔和/或产生可用于随时间追踪眼睛的闪烁。

系统概述

图1A是根据各种实施例的近眼显示器(NED)100的线示图。如图所示，NED 100包括前部刚性体105和带110。前部刚性体105包括电子显示器的一个或多个电子显示元件(未示出)、惯性测量单元(inertial measurement unit，IMU)115、一个或多个位置传感器120以及一个或多个定位器125。如图1A所示，各位置传感器120位于IMU 115内，并且IMU 115和各位置传感器120均对用户不可见。在NED 100用作AR设备或MR设备的各种实施例中，NED 100的多个部分和/或其多个内部部件至少是部分透明的。

图1B是图1A中示出的NED 100的各实施例的前部刚性体105的横截面160。如图所示，前部刚性体105包括电子显示器130和光学块135，该电子显示器和光学块一起向出射光瞳145提供图像光。出射光瞳145是前部刚性体105中用户的眼睛140可以被定位的位置。出于说明的目的，图1B示出了与单只眼睛140相关联的横截面160，但是与光学块135分开的另一光学块可以向用户的另一只眼睛提供改变后的图像光。另外，NED 100包括眼动追踪系统(图1B中未示出)。眼动追踪系统可以包括照射用户的一只或两只眼睛的一个或多个光源。眼动追踪系统还可以包括一个或多个摄像头，该一个或多个摄像头采集用户的一只或两只眼睛的图像以追踪眼睛的位置。在一些实施例中，眼动追踪系统可以是眼动追踪系统600、700、800、900、1000或1100中的一者，下面分别结合图6A和图6B、图7A和图7B、图8A和图8B、图9A和图9B、图10A至图10C和图11对上述各眼动追踪系统进行了更详细地论述。

电子显示器130向用户显示图像。在各种实施例中，电子显示器130可以包括单个电子显示器或多个电子显示器(例如，用户的每只眼睛一个显示器)。电子显示器130的示例包括：液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic lightemitting diode，OLED)显示器、有源矩阵有机发光二极管显示器(active-matrix organiclight-emitting diode display，AMOLED)、量子点有机发光二极管显示器(QOLED)、量子点发光二极管显示器(QLED)、某种其它显示器或它们的某种组合。

光学块135对从电子显示器130发射的图像光的取向进行调整，使得电子显示器130出现在距用户特定虚拟图像距离处。光学块135被配置为接收从电子显示器130发射的图像光，并将该图像光引导到与出射光瞳145相关联的适眼区(eye-box)。引导到适眼区的图像光在眼睛140的视网膜处形成图像。适眼区是这样的区域：所述区域界定了眼睛140向上/向下/向左/向右移动多少而不会显著降低图像质量。在图1B的图示中，视场(FOV)150是可观察到的世界的、眼睛140在任何给定时刻看到的范围。

另外，在一些实施例中，光学块135放大所接收的光，对与图像光相关联的光学误差进行校正，并向眼睛140呈现经校正的图像光。光学块135可以包括在光学上串联的一个或多个光学元件155。光学元件155可以是光圈、菲涅耳透镜、凸透镜、凹透镜、滤光器、波导、潘查特南-贝里相位(Pancharatnam-Berry phase，PBP)透镜或光栅、颜色选择滤光器、波片、C-板或影响图像光的任何其它合适的光学元件155。此外，光学块135可以包括不同光学元件的组合。光学块135中的一个或多个光学元件可以具有一个或多个涂层，例如抗反射涂层。

图2A是根据各种实施例的被实现为NED的HMD 162的示意图。如图所示，HMD 162是一副增强现实眼镜形式的。HMD 162向用户呈现计算机生成的媒体，并用该计算机生成的媒体来增强物理的、真实世界环境的视图。由HMD 162呈现的计算机生成的媒体的示例包括一幅或多幅图像、视频、音频或它们的某种组合。在一些实施例中，音频通过外部设备(例如，扬声器和耳机)来呈现，该外部设备接收来自HMD 162、控制台(未示出)或这两者的音频信息，并且基于音频信息来呈现音频数据。在一些实施例中，HMD 162可以被修改为还作为VRHMD、MR HMD或它们的某种组合来运行。HMD 162包括框架175和显示器164。如图所示，框架175将NED固定到用户的头部，而显示器164向用户提供图像光。显示器164可以被定制成各种形状和大小，以符合不同风格的眼镜框。

图2B是根据各种实施例的图2A的被实现为NED的HMD 162的横截面图。该视图包括框架175、显示器164(其包括显示组件180和显示块185)和眼睛170。显示组件180向眼睛170提供图像光。显示组件180容纳显示块185，在不同的实施例中，显示块185对不同类型的成像光学器件和重定向结构进行封闭。出于说明的目的，图2B示出了与单个显示块185和单只眼睛170相关联的横截面，但在未示出的替代实施例中，与图2B中示出的显示块185分开的另一显示块向用户的另一只眼睛提供图像光。

如图所示，显示块185被配置为将来自局部区域的光与来自计算机生成的图像的光组合，以形成增强场景。显示块185还被配置为向与用户的眼睛170的位置相对应的适眼区165提供该增强场景。显示块185例如可以包括波导显示器、聚焦组件、补偿组件或它们的某种组合。

HMD 162可以包括位于显示块185与眼睛170之间的一个或多个其它光学元件。各光学元件可用于例如对从显示块185发射的图像光中的像差进行校正、放大从显示块185发射的图像光、对从显示块185发射的图像光进行某种其它光学调整、或它们的某种组合。光学元件的示例可以包括：光圈、菲涅耳透镜、凸透镜、凹透镜、滤光器、或影响图像光的任意其它合适的光学元件。显示块185还可以包括具有一种或多种折射率的一种或多种材料(例 如，塑料、玻璃等)，该一种或多种材料使HMD 162的重量有效地最小化并扩大HMD 162的视场。

图3是控制台310在其中运行的近眼显示器系统300的实施例的框图。在一些实施例中，NED系统300对应于NED 100或HMD 162。NED系统300可以在VR系统环境、AR系统环境、MR系统环境或它们的某种组合中运行。图3中示出的NED系统300包括NED 305和输入/输出(input/output，I/O)接口315，该I/O接口耦接到控制台310。

尽管图3示出了示例NED系统300包括一个NED 305和一个I/O接口315，但是在其它实施例中，NED系统300中可以包括任意数量的这些部件。例如，可以存在多个NED 305，该多个NED各自具有相关联的I/O接口315，其中，每个NED 305和每个I/O接口315与控制台310通信。在替代配置中，NED系统300中可以包括不同的部件和/或附加的部件。另外，在一些实施例中，包括在NED 305、控制台310和I/O接口315中的各种部件可以以与结合图3描述的不同的方式而分布。例如，控制台310的一些或全部功能可以由NED 305来提供。

NED 305可以是向用户呈现内容的头戴式显示器。该内容可以包括物理的、真实世界环境的虚拟和/或增强视图，该物理的、真实世界环境的虚拟和/或增强视图包括计算机生成的元素(例如，二维或三维图像、二维或三维视频、声音等)。在一些实施例中，NED 305还可以向用户呈现音频内容。NED 305和/或控制台310可以经由I/O接口315将音频内容发送到外部设备。该外部设备可以包括各种形式的扬声器系统和/或耳机。在各种实施例中，音频内容与由NED 305显示的可视内容同步。

NED 305可以包括一个或多个刚性体，所述多个刚性体可以刚性地或非刚性地彼此耦接。各刚性体之间的刚性耦接使得耦接后的各刚性体作为单个刚性实体。相比之下，各刚性体之间的非刚性耦接允许这些刚性体相对于彼此移动。

如图3所示，NED 305可以包括深度摄像头组件(depth camera assembly，DCA)320、显示器325、光学组件330、一个或多个位置传感器335、惯性测量单元(IMU)340、眼动追踪系统345和变焦模块350。在一些实施例中，显示器325和光学组件330可以一起集成到投影组件中。NED 305的各种实施例可以具有比上面列出的部件更多的部件、更少的部件或与上面列出的部件不同的部件。另外，在各种实施例中，每个部件的功能可以部分地或完全地被一个或多个其它部件的功能所包含。

DCA 320采集描述了NED 305周围区域的深度信息的传感器数据。可以通过各深度成像技术(例如三角测量、结构光成像、飞行时间成像和激光扫描等)中的一种或其组合来生成传感器数据。DCA 320可以使用传感器数据来计算NED 305周围区域的各种深度属性。附加地或替代地，DCA 320可以将传感器数据传输到控制台310以进行处理。

DCA 320包括光源、成像设备和控制器。光源将光发射到NED 305周围的区域。在一实施例中，所发射的光是结构光。光源包括多个发射器，每个发射器发射具有某些特性(例 如，波长、偏振、相干性、时间行为等)的光。各发射器之间的特性可以相同或不同，并且各发射器可以同时运行或单独运行。在一个实施例中，该多个发射器例如可以是激光二极管(例如，边缘发射器)、无机或有机发光二极管(LED)、垂直腔面发射激光器(VCSEL)或某种其它源。在一些实施例中，光源中的单个发射器或多个发射器可以发射具有结构光图案的光。成像设备除了采集由多个发射器产生的从环境中的对象反射的光之外，还采集NED 305周围环境中的环境光。在各种实施例中，成像设备可以是红外摄像头或被配置为在可见光光谱中操作的摄像头。控制器协调光源如何发光以及成像设备如何采集光。例如，控制器可以确定所发射的光的亮度。在一些实施例中，控制器还分析所检测到的光，以检测环境中的对象以及与这些对象相关的位置信息。

显示器325根据从控制台310接收的像素数据，向用户显示二维图像或三维图像。在各种实施例中，显示器325包括单个显示器或多个显示器(例如，用于用户的每只眼睛的单独的显示器)。在一些实施例中，显示器325包括单个波导显示器或多个波导显示器。光可以通过以下器件耦接到单个波导显示器或多个波导显示器中：所述器件例如为液晶显示器(LCD)、有机发光二极管(OLED)显示器、无机发光二极管(inorganic light emittingdiode，ILED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、透明有机发光二极管(transparent organic light emitting diode，TOLED)显示器、基于激光的显示器、一个或多个波导、其它类型的显示器、扫描仪和一维阵列等。此外，各显示器类型的组合可以结合在显示器325中，并且可以单独使用、并行使用和/或组合使用。

光学组件330可以放大从显示器325接收到的图像光，对与该图像光相关联的光学误差进行校正，并且向NED 305的用户呈现经校正的图像光。光学组件330包括多个光学元件。例如，光学组件330中可以包括以下光学元件中的一个或多个光学元件：光圈；菲涅耳透镜；凸透镜；凹透镜；滤光器；反射表面；或偏转、反射、折射和/或以某种方式改变图像光的任何其它合适的光学元件。此外，光学组件330可以包括不同光学元件的组合。在一些实施例中，光学组件330中多个光学元件中的一个或多个光学元件可以具有一个或多个涂层，例如部分反射涂层或抗反射涂层。光学组件330可以集成到投影组件中。在一个实施例中，光学组件330包括光学块155。

在操作中，光学组件330放大并聚焦由显示器325产生的图像光。这样，与不使用光学组件330的显示器相比，该光学组件330使显示器325能够在物理上更小、重量更轻并且消耗更少的功率。另外，放大可以增大显示器325所呈现的内容的视场。例如，在一些实施例中，所显示内容的视场部分或全部使用用户的视场。例如，所显示的图像的视场可以达到或超过310度。在各种实施例中，可以通过添加或移除光学元件来调整放大量。

在一些实施例中，可以将光学组件330设计为校正一种或多种类型的光学误差。光学误差的示例包括桶形失真或枕形失真、纵向色差或横向色差。其它类型的光学误差还可以包括：球面像差；色差；或除其它类型的光学误差以外由于透镜场曲、像散所引起的误差。在一些实施例中，传输到显示器325的可视内容是预失真的，并且当来自显示器325的图像光穿过光学组件330的各种光学元件时，光学组件330对该失真进行校正。在一些实施例中，光学组件330的各光学元件作为投影组件集成到显示器325中，该投影组件包括与一个或多个光学元件耦接的至少一个波导。

IMU 340是这样的电子设备：所述电子设备基于从一个或多个位置传感器335接收的测量信号以及从DCA 320接收的深度信息，来生成指示NED 305的位置的数据。在NED 305的一些实施例中，IMU 340可以是专用硬件部件。在其它实施例中，IMU 340可以是在一个或多个处理器中实现的软件部件。

在操作中，位置传感器335响应于NED 305的运动而生成一个或多个测量信号。位置传感器335的示例包括：一个或多个加速计；一个或多个陀螺仪；一个或多个磁力计；一个或多个高度计；一个或多个倾斜计；和/或用于运动检测、漂移检测和/或误差检测的各种类型的传感器。各位置传感器335可以位于IMU的外部、IMU的内部或它们的某种组合。

基于来自一个或多个位置传感器335的一个或多个测量信号，IMU 340生成指示NED 305相对于NED 305初始位置的估计当前位置的数据。例如，各位置传感器335可以包括用于测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和用于测量转动运动(例如，俯仰、左右摇摆和侧倾)的多个陀螺仪。在一些实施例中，IMU 340快速地对测量信号进行采样，并且根据所采样的数据计算NED 305的估计当前位置。例如，IMU 340可以随时间对从加速度计接收到的测量信号进行积分来估计速度矢量，并随时间对速度矢量进行积分，以确定NED 305上的参考点的估计当前位置。替代地，IMU 340向控制台310提供采样的测量信号，控制台310分析采样数据以确定一个或多个测量误差。控制台310还可以向IMU340发送控制信号和/或测量误差中的一者或多者，以配置IMU 340来校正和/或减少一个或多个测量误差(例如，漂移误差)。参考点是可用于描述NED 305的位置的点。通常可以将参考点定义为空间中的点或与NED 305的位置和/或方位相关的位置。

在各种实施例中，IMU 340接收来自控制台310的一个或多个参数。该一个或多个参数用于保持对NED 305的追踪。IMU 340可以基于所接收到的参数，调整一个或多个IMU参数(例如，采样率)。在一些实施例中，某些参数使IMU 340更新参考点的初始位置，使得该IMU 340对应于参考点的下一位置。将参考点的初始位置更新为参考点的下一个校准位置有助于减少在检测IMU 340的当前位置估计时的漂移误差。

在一些实施例中，眼动追踪系统345集成到NED 305中。眼动追踪系统345可以包括一个或多个光源和一成像设备(摄像头)。在操作中，当用户佩戴NED 305时，眼动追踪系统345生成并分析与用户眼睛相关的追踪数据。眼动追踪系统345还可以生成眼动追踪信息，该眼动追踪信息可以包括关于用户眼睛的位置的信息，即关于眼睛注视的角度的信息。

在一些实施例中，还将变焦模块350集成到NED 305中。变焦模块350可以通信地耦接到眼动追踪系统345，以便使变焦模块350能够接收来自眼动追踪系统345的眼动追踪信息。变焦模块350还可以基于从眼动追踪系统345接收的眼动追踪信息，来修改从显示器325发射的图像光的聚焦。因此，变焦模块350可以减少在用户的眼睛解析图像光时可能产生的辐辏调节冲突。在各种实施例中，变焦模块350可以与光学组件330的至少一个光学元件(例 如，机械地或电地)对接。

在操作中，变焦模块350可以调整一个或多个光学元件在光学组件330中的位置和/或方位，以便对传播通过光学组件330的图像光的聚焦进行调整。在各种实施例中，变焦模块350可以使用从眼动追踪系统345获得的眼动追踪信息来确定如何调整光学组件330中的一个或多个光学元件。在一些实施例中，变焦模块350可以基于从眼动追踪系统345获得的眼动追踪信息来执行图像光的中央凹渲染，以便调整由显示器325发射的图像光的分辨率。在这种情况下，变焦模块350将显示器325配置为：在用户眼睛注视的中央凹区域中显示高像素密度，在用户眼睛注视的其它区域中显示低像素密度。

I/O接口315有助于将来自用户的动作请求传送到控制台310。另外，I/O接口315有助于将来自控制台310的设备反馈传送给用户。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束采集图像或视频数据的指令或在应用中执行特定动作的指令，在应用中执行特定动作的指令例如为暂停视频播放、和提高或降低音频播放的音量等。在各种实施例中，I/O接口315可以包括一个或多个输入设备。示例输入设备包括：键盘、鼠标、游戏控制器、操纵杆和/或用于接收动作请求并向控制台310传送所述动作请求的任何其它合适的设备。在一些实施例中，I/O接口315包括采集校准数据的IMU 340，所述校准数据指示I/O接口315相对于I/O接口315的初始位置的估计当前位置。

在操作中，I/O接口315接收来自用户的动作请求，并向控制台310发送这些动作请求。响应于接收到动作请求，控制台310执行对应的动作。例如，响应于接收到动作请求，控制台310可以配置I/O接口315，以向用户的手臂发出触觉反馈。例如，控制台310可以配置I/O接口315，以在接收到动作请求时向用户传递触觉反馈。附加地或替代地，控制台310可以配置I/O接口315，以在控制台310响应于接收到动作请求而执行动作时生成触觉反馈。

控制台310根据从以下项中的一项或多项接收到的信息向NED 305提供内容以供处理：DCA 320、NED 305和I/O接口315。如图3所示，控制台310包括应用存储库355、追踪模块360和引擎365。在一些实施例中，控制台310可以具有比结合图3描述的这些模块或更多的模块和/或部件、更少的模块和/或部件或与结合图3描述的这些模块不同的模块和/或部件。类似地，以下进一步描述的功能可以以与结合图3描述的不同的方式而分布在控制台310的各部件之中。

应用存储库355存储一个或多个应用以供控制台310执行。应用是一组指令，该组指令在被处理器执行时，执行一组特定的功能，例如生成用于向用户呈现的内容。例如，应用可以响应于(例如，通过当用户移动其头部时NED 305的移动、经由I/O接口315等)接收到来自用户的输入来生成内容。应用的示例包括：游戏应用、会议应用、视频播放应用、或其它合适的应用。

追踪模块360使用一个或多个校准参数来对NED系统300进行校准。追踪模块360还可以对一个或多个校准参数进行调整，以减少在确定NED 305或I/O接口315的位置和/或方位时的误差。例如，追踪模块360可以向DCA 320发送校准参数，以便调整DCA 320的焦距。因此，DCA 320可以更准确地确定环境中对象反射的结构光元素的位置。追踪模块360还可以在确定要修改的各种校准参数时分析由IMU 340生成的传感器数据。此外，在一些实施例中，如果NED 305失去了对用户眼睛的追踪，则追踪模块360可以重新校准NED系统300中各部件中的一些或全部部件。例如，如果DCA 320失去投射到用户眼睛上的至少阈值数量的结构光元件的视线，则追踪模块360可以将校准参数发送到变焦模块350，以便重新建立眼动追踪。

追踪模块360使用来自DCA 320、一个或多个位置传感器335、IMU 340或它们的某种组合的信息，来追踪NED 305的移动和/或I/O接口315的移动。例如，追踪模块360可以根据NED 305的局部区域的地图来确定NED 305的参考位置。追踪模块360可以基于从NED 305自身接收到的信息来生成所述地图。追踪模块360还可以利用来自IMU 340的传感器数据和/或来自DCA 320的深度数据来确定NED 305和/或I/O接口315的参考位置。在各种实施例中，追踪模块360生成对NED 305和/或I/O接口315的后续位置的估计和/或预测。追踪模块360可以将所预测的后续位置发送到引擎365。

引擎365基于从NED 305接收到的信息来生成NED 305周围区域(即，“局部区域”)的三维地图。在一些实施例中，引擎365基于从DCA 320接收到的深度数据(例如，局部区域中的各对象的深度信息)来确定局部区域的三维地图的深度信息。在一些实施例中，引擎365通过使用由DCA 320生成的深度数据来计算NED 305的深度和/或位置。特别地，引擎365可以实现用于计算NED 305的深度和/或位置的各种技术，例如基于立体的技术、结构光照明技术和飞行时间技术等。在各种实施例中，引擎365使用从DCA 320接收到的深度数据来更新局部区域的模型，并部分地基于更新后的模型来生成和/或修改媒体内容。

引擎365还执行NED系统300内的多个应用，并接收来自追踪模块360的NED 305的位置信息、加速度信息、速度信息、所预测的未来位置或它们的某种组合。引擎365基于所接收到的信息，确定要向NED 305发送以用于向用户呈现的各种形式的媒体内容。例如，如果所接收到的信息指示用户已经看向左边，则引擎365生成用于NED 305的这样的媒体内容：所述媒体内容反映了用户在虚拟环境中的移动或在用附加媒体内容增强了局部区域的环境中的移动。因此，引擎365可以生成和/或修改用于呈现给用户的媒体内容(例如，视觉内容和/或音频内容)。引擎365还可以向NED 305发送媒体内容。另外，引擎365可以响应于接收到来自I/O接口315的动作请求，在控制台310上执行的应用内执行动作。引擎365还可以在执行动作时提供反馈。例如，引擎365可以配置NED 305以生成对用户的视觉反馈和/或音频反馈，和/或可以配置I/O接口315以生成对用户的触觉反馈。

产生用于眼动追踪的闪烁和虹膜照明

图4A示出了根据现有技术的眼动追踪系统400的侧视图。如图所示，眼动追踪系统400包括围绕眼睛408安装在眼杯402上的多个光源406_i(在本文中统称为光源406，并且单独称为光源406)。眼杯402可以围绕透镜(未示出)，内容通过所述透镜经由显示设备显示。另外，眼动追踪系统400包括安装在对应光源406顶部的封装的次级光学器件404_i(在本文中统称为次级光学器件404，并且单独称为次级光学器件404)。本文描述的光源(例如，光源406)在某些情况下可以发射红外光。例如，光源406可以是发射红外光谱中的朗伯光(Lambertian light)的发光二极管(LED)。如本文所使用的，朗伯光是指在所有方向上大致均匀发射的光。朗伯光源(例如，LED)可以提供泛光照明，以用于区分眼睛的瞳孔和虹膜。然而，朗伯光源不会产生可随时间被追踪的闪烁。次级光学器件404用于聚焦光源406发射的光，以便产生闪烁。例如，由光源406发射并已经穿过次级光学器件404的光的视场(FOV)可以为约100度。另外，散射到虹膜上的杂散光用于泛光照明。

另外，眼动追踪系统400可以包括用于采集眼睛408的图像的成像设备(未示出)。可以使用所采集到的图像，应用已知的技术来随时间监测闪烁的位置、以及检测眼睛408的瞳孔。然后，可以基于闪烁位置和/或所检测到的瞳孔来随时间追踪瞳孔的位置。例如，可以使用信噪比和算法处理来基于闪烁位置和所检测到的瞳孔的组合来追踪瞳孔的位置。作为另一示例，可以使用机器学习技术来检测和追踪瞳孔。眼动追踪系统400的一个缺点是光源406和次级光学器件404的组合在尺寸上可能相对较大，从而导致显示设备相对远离观看者的面部。因此，观看者可能会体验到正在显示的内容的减小的FOV。眼动追踪系统400的另一个缺点是，光源406和次级光学器件404的组合通常不会产生足够紧密聚焦的闪烁和足够的泛光照明来实现准确的眼动追踪和期望的信噪比。

图4B示出了根据现有技术的由图4A的眼动追踪系统400产成的示例闪烁和虹膜照明。如图所示，次级光学器件404使得由光源406发射的光半聚焦而不是紧密聚焦成多个闪烁412_i(在本文中统称为闪烁412，并且单独称为闪烁412)。半聚焦的闪烁412相对较大的尺寸降低了当使用眼动追踪系统400追踪眼睛408时可实现的定位准确度。另外，半聚焦光对眼睛408的虹膜410照亮不充足，从而与眼睛408的瞳孔414形成较弱的对比度。因此，无法对瞳孔414进行检测(即，无法将该瞳孔与虹膜410区分开)和准确追踪。

图5示出了根据现有技术的另一眼动追踪系统500的正视图。如图所示，眼动追踪系统500包括多个光源504_i和多个光源508_i(在本文中统称为光源504和508，并且单独称为光源504或508)，所述多个光源504_i围绕摄像头502设置在环510上，并且所述多个光源508_i围绕摄像头506设置在环512上。光源504和508分别产生多个闪烁514_i和多个闪烁524_i(在本文中统称为闪烁514和524，并且单独称为闪烁514或524)。如以上结合图4A所描述的，由摄像头502和506采集的图像中的闪烁可用于检测每只眼睛的瞳孔，例如眼睛516的瞳孔518。另外，通过使用虚拟瞳孔连接角膜中心和瞳孔中心，可以使用已知技术来获得光轴。在这些情况下，可以通过使用光轴/虚拟瞳孔、以及眼睛上的闪烁、虚拟瞳孔和与光源(例如，光源504或508)并置的摄像头(例如，摄像头502或506)之间的三角测量，在不直接跟随瞳孔的情况下找到眼球的中心来追踪瞳孔(例如，瞳孔518)。如果仅使用闪烁514或524来追踪眼睛，则不需要照亮每只眼睛的虹膜。

图6A示出了根据各种实施例的眼动追踪系统600的侧视图。如图所示，在眼动追踪系统600中，紧凑的多个朗伯光源604_i(在本文中统称为光源604，并且单独称为光源604)围绕眼睛608安装在眼杯602上。在一些实施例中，各个光源604可以包括LED、超发光二极管(SLED)或谐振腔LED。在一些实施例中，可以使用形成环的任何技术上可行数量的光源604。在一些实施例中，本文所描述的光源(包括光源604)可以发射红外光。在一些实施例中，每个光源604的发射锥为约120度至140度，这示例性地取决于核线(epi)，各对应光源604上的漫射器606i(在本文中统称为漫射器606，并且单独称为漫射器606)可以进一步散射所发射的光，同时不增加包括漫射器606和光源604的封装的尺寸。例如，在一些实施例中，漫射器606和光源604可以是具有漫射器结构化硅封装的朗伯发射器(Lambertian emitter)。

图6B示出了根据各种实施例的由图6A的眼动追踪系统600产成的示例闪烁和虹膜612照明。如图所示，眼动追踪系统600产生大量泛光照明，所述大量泛光照明可以为待检测的眼睛608的瞳孔616在所采集的图像中提供足够的对比度。可以通过一个或多个摄像头的任何技术上可行的配置来采集图像，所述一个或多个摄像头例如为沿着与光源604相同的平面而定位的一个或多个摄像头；定位在鼻颞区周围一侧的一个或多个摄像头；和/或定位在眼睛608的相对侧的透镜后面的一个或多个摄像头。

另外，眼动追踪系统600产生相对较暗的闪烁，例如闪烁614。因此，可以使用所采集到的图像，应用已知的技术来随时间监测闪烁的位置、以及检测瞳孔616。然后，如以上结合图4A所描述的，可以基于闪烁位置和/或所检测到的瞳孔616来随时间追踪瞳孔616的位置。

图7A示出了根据各种其它实施例的眼动追踪系统700的侧视图。如图所示，在眼动追踪系统700中，多个窄FOV光源702_i(在本文中统称为光源702，并且单独称为光源702)围绕眼睛706安装在眼杯704上。在一些实施例中，每个光源702可以包括激光器、VCSEL或PCSEL。在一些实施例中，每个光源702具有单模和5至50度的窄FOV。在一些实施例中，光源702是超低功率(例如，0.5-2mW)，并因此光源702发射的光束的发散度将处于高端。孔径尺寸决定了发散度，如果孔径尺寸太大，设备就会变成多模态的。在一些实施例中，可以使用形成环的任何技术上可行数量的光源702(例如，9至12个光源702)。值得注意的是，由于光源702是自然紧密聚焦的，所以不需要次级光学器件来使由任何光源702发射的光束变窄。因此，相对于结合图4A的眼动追踪系统400使用的显示设备，显示设备(未示出)可以更接近观看者的面部，并且观看者可以体验到正在显示的内容的更宽的FOV。

图7B示出了根据各种实施例的由图7A的眼动追踪系统700产成的示例闪烁和虹膜照明。如图所示，眼动追踪系统700生成多个闪烁720_i(在本文中统称为闪烁712，并且单独称为闪烁712)的环，所述多个闪烁720_i由于光源702发射的紧密聚焦的光束而相对锐化。然而，光源702不提供太多泛光照明，因此在由一个或多个摄像头采集的图像中，眼睛706的虹膜714与瞳孔710之间的对比度可能相对较差。类似于以上结合图6B的论述，可以由一个或多个摄像头的任何技术上可行的配置来采集图像，所述一个或多个摄像头例如为沿着与光源702相同的平面而定位的一个或多个摄像头；定位在鼻颞区周围一侧的一个或多个摄像头；和/或定位在眼睛706的相对侧的透镜后面的一个或多个摄像头。如以上结合图4A所描述的，可以使用所采集到的图像，应用已知技术来随时间监测闪烁712的位置，然后可以基于闪烁712的位置来追踪瞳孔710的位置。附加地或替代地，在一些实施例中，如以上结合图5所描述的，与光源702并置的摄像头(未示出)可用于采集这样的图像：所述图像被用于通过经由三角测量寻找眼球中心来追踪瞳孔。

图8A示出了根据各种其它实施例的眼动追踪系统800的侧视图。如图所示，在眼动追踪系统800中，多个窄FOV光源802_i(在本文中统称为光源802，并且单独称为光源802)和多个朗伯光源804_i(在本文中统称为光源804，并且单独称为光源804)围绕眼睛808安装在眼杯806上。在一些实施例中，可以使用形成环的任何技术上可行数量的光源802和804。在一些实施例中，窄FOV光源802类似于以上结合图7A描述的窄FOV光源702，并且朗伯光源804类似于以上结合图6A描述的朗伯光源604。值得注意的是，没有次级光学器件与光源802或804结合使用。因此，相对于结合图4A的眼动追踪系统400使用的显示设备，显示设备(未示出)可以更接近观看者的面部，并且观看者可以体验到正在显示的内容的更宽的FOV。

图8B示出了根据各种实施例的由图8A的眼动追踪系统800产成的示例闪烁和虹膜照明。如图所示，眼动追踪系统800产生足够的泛光照明，以在由一个或多个摄像头采集的图像中、在眼睛808的虹膜816与瞳孔814之间提供相对较高的对比度。类似于以上结合图6B的论述，可以由一个或多个摄像头的任何技术上可行的配置来采集图像，所述一个或多个摄像头例如为沿着与光源802和804相同的平面而定位的一个或多个摄像头；定位在鼻颞区周围一侧的一个或多个摄像头；和/或定位在眼睛808的相对侧的透镜后面的一个或多个摄像头。

另外，眼动追踪系统800生成多个闪烁812_i(在本文中统称为闪烁812，并且单独称为闪烁812)的环，所述多个闪烁812_i由于光源802发射的紧密聚焦的光束而相对锐化。因此，可以使用所采集到的图像，应用已知的技术来随时间监测闪烁812的位置、以及检测瞳孔814。然后，如以上结合图4A所描述的，可以基于闪烁812位置和/或所检测到的瞳孔814来随时间追踪瞳孔814的位置。附加地或替代地，在一些实施例中，如以上结合图5所描述的，与光源802并置的摄像头(未示出)可用于采集这样的图像：所述图像被用于通过经由三角测量寻找眼球中心来追踪瞳孔。

图9A示出了根据各种其它实施例的眼动追踪系统900的侧视图。如图所示，在眼动追踪系统900中，多个窄FOV光源902_i(在本文中统称为光源902，并且单独称为光源902)围绕眼睛908安装在眼杯906上。另外，多个朗伯光源904_i(在本文中统称为光源904，并且单独称为光源904)在远离观看者的方向上设置在透镜905的后面。在一些实施例中，可以使用形成环的任何技术上可行数量的光源902和904。在一些实施例中，窄FOV光源902和朗伯光源904分别类似于以上结合图8A描述的窄FOV光源802和朗伯光源804。通过将朗伯光源904放置在透镜905后面，相对于图8A的眼动追踪系统800节省了额外的空间。

图9B示出了根据各种实施例的由图9A的眼动追踪系统900产成的示例闪烁和虹膜916照明。如图所示，眼动追踪系统900产生类似于以上结合图8B描述的由眼动追踪系统800产生的泛光照明和闪烁812的、泛光照明和多个闪烁912_i(在本文中统称为闪烁912，并且单独称为闪烁912)的环。可以使用所采集到的图像，应用已知的技术来随时间监测闪烁912的位置、以及检测眼睛908的瞳孔914。类似于以上结合图6B的论述，可以由一个或多个摄像头的任何技术上可行的配置来采集图像，所述一个或多个摄像头例如为沿着与光源902相同的平面而定位的一个或多个摄像头；定位在鼻颞区周围一侧的一个或多个摄像头；和/或定位在眼睛908的相对侧的透镜后面的一个或多个摄像头。如以上结合图4A所描述的，可以基于闪烁912位置和/或所检测到的瞳孔914来随时间追踪瞳孔914的位置。附加地或替代地，在一些实施例中，如以上结合图5所描述的，与光源902并置的摄像头(未示出)可用于采集这样的图像：所述图像被用于通过经由三角测量寻找眼球中心来追踪瞳孔。

图10A示出了根据各种其它实施例的眼动追踪系统1000的正视图。如图所示，眼动追踪系统1000包括多个朗伯光源(未示出)，所述多个朗伯光源安装在多透镜阵列1002和1004(在本文中也称为小透镜阵列1002和1004)下，所述多透镜阵列1002和1004位于围绕眼睛1005的眼杯1006上。在一些实施例中，可以使用反射镜将光源和多透镜阵列1002和1004折叠到眼杯1006中。

图10B更详细地示出了根据各种实施例的图10A的眼动追踪系统1000的光源和小透镜阵列1004的侧视图。如图所示，朗伯光源1014发射穿过多透镜阵列1004并被反射镜1020反射的光。如上所述，反射镜允许光源1014和多透镜阵列1004折叠到眼杯1006中。

图10C更详细地示出了根据各种实施例的图10A的眼动追踪系统1000的小透镜阵列1004的俯视图。如图所示，小透镜阵列1004包括平坦部分1024，由光源1014发射的一些光将作为朗伯光穿过该平坦部分1024，从而提供对眼睛1005的泛光照明。另外，小透镜阵列1004包括位于半圆中的多个小透镜1026，所述多个小透镜1026产成位于半圆中的多个闪烁。与由小透镜阵列1002产生的相对半圆的闪烁一起，产生多个闪烁1008_i(在本文中统称为闪烁1008，并且单独称为闪烁1008)的环。应当注意的是，闪烁1008可能不像以上分别结合图7和图8描述的闪烁712和812那样紧密聚焦。尽管闪烁1008是稍微大一些的闪烁，但是通过使用只需要安装一个多透镜光学器件的多透镜阵列1004，减少了围绕眼睛1005的闪烁照明的对准，因为每个小透镜1026贡献了公差，这与以上结合图7和图8描述的单个透镜放置相对。应当注意的是，每个闪烁1008的位置由围绕眼睛1005的每个光源上的指向角度和透镜位置确定，并受制造公差和安装公差的影响。另外，在一些实施例中，眼动追踪系统1000可以与不需要眼睛1005的360度覆盖的图像处理技术结合使用。例如，在一些实施例中，所述图像处理技术可以基于眼睛1005的中心位置，而不是基于如以上结合图5所描述的纯粹的闪烁追踪。值得注意的是，不需要围绕眼睛1005的360度的闪烁覆盖，即，可以使用部分闪烁覆盖和虹膜1012对比度来追踪瞳孔1010。类似于以上结合图6B的论述，可以由一个或多个摄像头的任何技术上可行的配置来采集眼睛1005的图像，所述一个或多个摄像头例如为沿着与光源1014相同的平面而定位的一个或多个摄像头；定位在鼻颞区周围一侧的一个或多个摄像头；和/或定位在眼睛1005的相对侧的透镜后面的一个或多个摄像头。

图11示出了根据各种其它实施例的眼动追踪系统的正视图。如图所示，光源阵列1106和1108分别围绕摄像头1110和1111并置。在一些实施例中，光源阵列1106和1108可以分别位于尽可能接近摄像头1110和1111的位置。在一些实施例中，光源阵列1106和1108包括窄FOV光源，例如激光器、VCSEL或PCSEL。示例性地，光源阵列1106和1108产生多个闪烁，例如多个闪烁1112_i(在本文中统称为闪烁1112，并且单独称为闪烁1112)，所述多个闪烁由于光源阵列1106和1108发射的紧密聚焦的光束而相对锐化。因此，可以使用所采集到的图像，应用已知的技术来随时间监测闪烁的位置，然后可以基于闪烁位置来随时间追踪瞳孔的位置。在一些实施例中，如以上结合图5所描述的，可以使用三角测量瞳孔追踪技术，基于闪烁的位置来追踪瞳孔(例如，虹膜1116中的瞳孔1114)。值得注意的是，闪烁覆盖不需要围绕眼睛360度，即可以使用部分闪烁覆盖和虹膜对比度来追踪瞳孔。

图12示出了根据各种实施例的各闪烁相对于光源的模拟角度位置1200。如图所示，使用以上结合图11描述的眼动追踪系统1100，一小圆锥可以覆盖眼睛的、在校准/瞄准后需要闪烁来进行瞳孔追踪的所有区域1202。因此，眼动追踪系统1100可用于使用以上结合图11描述的闪烁来随时间追踪眼睛的瞳孔。

本文所公开的眼动追踪系统的一个优点是，该眼睛追踪系统相对于传统的眼动追踪系统更紧凑。因此，所公开的眼动追踪系统允许人工现实系统(例如，HMD)的显示器相对接近观看者的面部。因此，相对于包括传统眼动追踪系统的人工现实系统，观看者可以体验到正在显示的内容的更大的FOV。另外，本公开的各眼动追踪系统中的一些眼动追踪系统相对于传统的眼动追踪系统，产生了与泛光照明相结合的更紧密聚焦的闪烁。使用紧密聚焦的闪烁和泛光照明，可以更准确地和/或以更好的信噪比来追踪观看者的眼睛。这些技术优势代表了优于现有技术方法的一项或多项技术进步。

1.在一些实施例中，一种眼动追踪系统包括：一个或多个摄像头，以及一个或多个光源，所述一个或多个光源被配置为照射眼睛，其中，要么(i)由包括在所述一个或多个光源中的每个光源发射的光路中设置有小透镜阵列或漫射器中的至少一者，要么(ii)由包括在所述一个或多个光源中的每个光源发射的光路不被任何光学元件遮挡。

2.根据第1条所述的眼动追踪系统，其中，包括在所述一个或多个光源中的各个光源包括发光二极管(LED)、超发光二极管(SLED)、谐振腔LED、激光器、垂直腔面发射激光器(VCSEL)或光子晶体表面发射激光器(PCSEL)。

3.根据第1或2条所述的眼动追踪系统，其中，所述一个或多个光源包括：一个或多个第一光源，每个第一光源在多个方向上产生大致均匀的光；以及一个或多个第二光源，每个第二光源产生相对于每个第一光源更窄视场(FOV)的光束。

4.根据第1至3条中任一条所述的眼动追踪系统，其中，由包括在所述一个或多个光源中的每个光源发射的光路中设置有小透镜阵列，并且所述眼动追踪系统还包括与所述一个或多个光源相对应的一个或多个折叠反射镜。

5.根据第1至4条中任一条所述的眼动追踪系统，还包括一个或多个处理器，其中，所述一个或多个处理器被配置为基于由所述一个或多个摄像头采集的多个图像，来执行一个或多个光轴追踪操作或者一个或多个虚拟瞳孔追踪操作中的至少一者。

6.根据第1至5条中任一条所述的眼动追踪系统，其中，所述一个或多个光源安装在眼杯上。

7.根据第1至6条中任一条所述的眼动追踪系统，其中，包括在所述一个或多个光源中的第一组光源邻近包括在所述一个或多个摄像头中的第一摄像头设置。

8.根据第1至7条中任一条所述的眼动追踪系统，还包括处理器，所述处理器被配置为基于由所述一个或多个摄像头采集的多个图像，来执行一个或多个光轴操作或者一个或多个虚拟瞳孔追踪操作中的至少一者。

9.根据第1至8条中任一条所述的眼动追踪系统，还包括一个或多个处理器，其中，所述一个或多个处理器被配置为基于以下项中的至少一项来追踪所述眼睛：通过所述一个或多个光源产生的多个闪烁；或由所述一个或多个光源产生的虹膜照明。

10.在一些实施例中，一种头戴式显示器(HMD)包括电子显示器和眼动追踪系统，所述眼动追踪系统包括一个或多个光源，所述一个或多个光源被配置为照射眼睛，其中，要么(i)由包括在所述一个或多个光源中的每个光源发射的光路中设置有小透镜阵列或漫射器中的至少一者，要么(ii)由包括在所述一个或多个光源中的每个光源发射的光路不被任何光学元件遮挡。

11.根据第10条所述的HMD，其中，所述眼动追踪系统还包括一个或多个摄像头。

12.根据第10或11条所述的HMD，其中，包括在所述一个或多个光源中的各个光源包括发光二极管(LED)、超发光二极管(SLED)、谐振腔LED、激光器、垂直腔面发射激光器(VCSEL)或光子晶体表面发射激光器(PCSEL)。

13.根据第10至12条中任一条所述的HMD，其中，所述一个或多个光源包括：一个或多个第一光源，每个第一光源在多个方向上产生大致均匀的光；以及一个或多个第二光源，每个第二光源产生相对于每个第一光源更窄的视场(FOV)光束。

14.根据第10至13条中任一条所述的HMD，其中，由包括在所述一个或多个光源中的每个光源发射的光路上设置有小透镜阵列，并且所述眼动追踪系统还包括与所述一个或多个光源相对应的一个或多个折叠反射镜。

15.根据第10至14条中任一条所述的HMD，还包括处理器，所述处理器被配置为基于由一个或多个摄像头采集的多个图像来执行一个或多个光轴操作或者一个或多个虚拟瞳孔追踪操作中的至少一者。

16.根据第10至15条中任一条所述的HMD，其中，所述一个或多个光源安装在眼杯上。

17.根据第10至16条中任一条所述的HMD，其中，包括在所述一个或多个光源中的第一组光源邻近摄像头设置。

18.根据第10至17条中任一条所述的HMD，还包括透镜，其中，包括在所述一个或多个光源中的至少一个光源在相对于眼睛的方向上设置在所述透镜的后面。

19.在一些实施例中，一种眼动追踪系统包括：一个或多个摄像头；一个或多个第一光源，每个第一光源在多个方向上产生大致均匀的光；以及一个或多个第二光源，每个第二光源产生相对于每个第一光源更窄视场(FOV)的光束。

20.根据第19条所述的眼动追踪系统，其中，每个第一光源包括发光二极管(LED)、超发光二极管(SLED)或谐振腔LED，并且每个第一光源包括激光器、垂直腔面发射激光器(VCSEL)或光子晶体表面发射激光器(PCSEL)。

各权利要求中任何权利要求所陈述的任何权利要求要素和/或本申请中描述的任何要素的任何组合和所有组合以任何方式都落入本公开和保护的预期范围内。

已经出于说明的目的而呈现了本公开的实施例的前述描述；前述描述不旨在是详尽的、或者不旨在将本公开限制于所公开的精确形式。相关领域的技术人员可以理解的是，考虑到上述公开内容，许多修改和变型是可能的。

本说明书的某些部分在对信息操作的算法和符号表示方面描述了本公开的实施例。数据处理领域的技术人员通常使用这些算法描述和表示向本领域的其他技术人员有效地传达其工作的实质内容。尽管在功能上、计算上或逻辑上对这些操作进行了描述，但这些操作应当被理解为由计算机程序或等效电路、或微代码等实现。此外，事实证明，在不失一般性的情况下，有时将这些操作布置称为模块也很方便。所描述的操作及其相关联的模块可以以软件、固件、硬件或它们的任意组合来体现。

本文描述的各步骤、各操作或各过程中的任何步骤、任何操作或任何过程都可以使用一个或多个硬件或软件模块单独地或者与其它设备组合来执行或实现。在一个实施例中，用计算机程序产品来实现软件模块，所述计算机程序产品包括包含计算机程序代码的计算机可读介质，所述计算机程序代码可以由计算机处理器执行以用于执行所描述的各步骤、各操作或各过程中的任何或全部步骤、操作或过程。

本公开的各实施例还涉及一种用于执行本文的操作的装置。该装置可以出于所需目的而专门构造，和/或该装置可以包括通用计算设备，该通用计算设备由存储在计算机中的计算机程序选择性地激活或重新配置。这样的计算机程序可以存储在耦接到计算机系统总线的非暂态有形计算机可读存储介质、或适于存储电子指令的任何类型的介质中。此外，在本说明书中提及的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计来提高计算能力的架构。

本公开的各实施例还可以涉及一种由本文所描述的计算过程生成的产品。这样的产品可以包括由计算过程产生的信息，其中，该信息存储在非暂态有形计算机可读存储介质上，并且可以包括计算机程序产品或本文所描述的其它数据组合的任何实施例。

最后，在说明书中使用的语言主要是出于可读性和指导性的目的而选择的，并且其不可能被选择来描绘或限制本发明的主题。因此，其旨在本公开的范围不被该具体实施方式所限制，而是由基于本文的申请而提出的任何权利要求所限制。因此，各实施例的公开内容旨在对本公开的范围进行说明而不是限制，本公开的范围在所附权利要求中得到阐述。

出于说明的目的，已经呈现了对各种实施例的描述，但并不旨在是详尽的或被限制于所公开的实施例。在不脱离所描述的实施例的范围的情况下，许多修改和变型对于本领域的普通技术人员是显而易见的。

本实施例的各方面可以体现化为系统、方法或计算机程序产品。因此，本公开的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或结合了软件和硬件方面的实施例的形式，在本文通常可以将这些软件和硬件方面统称为“模块”或“系统”。此外，本公开的各方面可以采用计算机程序产品的形式，该计算机程序产品体现在一个或多个计算机可读存储介质中，该一个或多个计算机可读存储介质具有体现在其上的计算机可读程序代码。

可以使用一个或多个计算机可读介质的任何组合。所述计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备，或前述的任何合适的组合。所述计算机可读存储介质的更具体的示例(非穷举列表)将包括以下：具有一条或多条导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable read-onlymemory，EPROM或闪存)、光纤、便携式光盘只读存储器(compact disc read-only memory，CD-ROM)、光存储设备、磁存储设备或上述设备的任何合适的组合。在本文件的上下文中，计算机可读存储介质可以是以下任何有形介质：所述有形介质能够包含或存储由指令执行系统、装置或设备使用或与其结合使用的程序。

以上参照根据本公开的各实施例的方法、装置(系统)和计算机程序产品的流程图示和/或框图描述了本公开的各方面。应当理解的是，流程图示和/或框图的每个框以及流程图示和/或框图中的各框的组合可以通过计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器以制造机器。所述指令在通过计算机或其它可编程数据处理设备的处理器执行时，能够实现流程图和/或框图的一个或多个框中指定的功能/动作。这样的处理器可以是但不限于通用处理器、专用处理器、特定于应用程序的处理器或现场可编程门阵列。

图中的流程图和框图示出了根据本公开的各种实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。在这一点上，流程图或框图中的每个框可以表示模块、片段或代码的一部分，所述模块、片段或代码的一部分包括用于实现一个或多个指定逻辑功能的可执行指令。还应注意的是，在一些替代实施方式中，框中标注的功能可以不按照图中标注的顺序进行。例如，根据所涉及的功能，连续示出的两个框实际上可以大体上同时执行，或者这些块有时可以以相反的顺序执行。还应当注意的是，框图和/或流程图示的每个框、以及框图和/或流程图示中的各框的组合可以由执行指定功能或动作的基于专用硬件的系统、或专用硬件和计算机指令的组合来实现。

虽然前面针对的是本公开的各实施例，但是可以在不背离本公开基本范围的情况下设计本公开的其它和进一步的实施例，并且本公开的范围由所附权利要求书确定。

Claims (15)

1.一种眼动追踪系统，包括：

一个或多个摄像头；以及

一个或多个光源，所述一个或多个光源被配置为照射眼睛，

其中，要么(i)由包括在所述一个或多个光源中的每个光源发射的光路中设置有小透镜阵列或漫射器中的至少一者，要么(ii)由包括在所述一个或多个光源中的每个光源发射的所述光路不被任何光学元件遮挡。

2.根据权利要求1所述的眼动追踪系统，其中，包括在所述一个或多个光源中的各个光源包括发光二极管(LED)、超发光二极管(SLED)、谐振腔LED、激光器、垂直腔面发射激光器(VCSEL)或光子晶体表面发射激光器(PCSEL)。

3.根据权利要求1或2所述的眼动追踪系统，其中，所述一个或多个光源包括：

一个或多个第一光源，每个第一光源在多个方向上产生大致均匀的光；以及

一个或多个第二光源，每个第二光源产生相对于每个第一光源更窄视场(FOV)的光束。

4.根据权利要求1、2或3所述的眼动追踪系统，其中，由包括在所述一个或多个光源中的每个光源发射的所述光路中设置有小透镜阵列，并且所述眼动追踪系统还包括：

与所述一个或多个光源相对应的一个或多个折叠反射镜。

5.根据权利要求4所述的眼动追踪系统，还包括一个或多个处理器，其中，所述一个或多个处理器被配置为：基于由所述一个或多个摄像头采集的多个图像，来执行一个或多个光轴追踪操作或一个或多个虚拟瞳孔追踪操作中的至少一者。

6.根据前述权利要求中任一项所述的眼动追踪系统，其中，所述一个或多个光源安装在眼杯上。

7.根据前述权利要求中任一项所述的眼动追踪系统，其中，包括在所述一个或多个光源中的第一组光源邻近包括在所述一个或多个摄像头中的第一摄像头设置。

8.根据前述权利要求中任一项所述的眼动追踪系统，还包括处理器，所述处理器被配置为基于由所述一个或多个摄像头采集的多个图像，来执行一个或多个光轴操作或者一个或多个虚拟瞳孔追踪操作中的至少一者。

9.根据前述权利要求中任一项所述的眼动追踪系统，还包括一个或多个处理器，其中，所述一个或多个处理器被配置为基于以下项中的至少一项来追踪所述眼睛：通过所述一个或多个光源产生的多个闪烁；或由所述一个或多个光源产生的虹膜照明。

10.一种头戴式显示器(HMD)，包括：

电子显示器；以及

眼动追踪系统，所述眼动追踪系统包括：

一个或多个光源，所述一个或多个光源被配置为照射眼睛，

其中，要么(i)由包括在所述一个或多个光源中的每个光源发射的光路中设置有小透镜阵列或漫射器中的至少一者，要么(ii)由包括在所述一个或多个光源中的每个光源发射的所述光路不被任何光学元件遮挡。

11.根据权利要求10所述的HMD，其中，所述眼动追踪系统还包括以下项中的一项或多项：

i.一个或多个摄像头；

ii.处理器，所述处理器被配置为基于由所述一个或多个摄像头采集的多个图像，来执行一个或多个光轴操作或者一个或多个虚拟光瞳追踪操作中的至少一者；

iii.透镜，其中，包括在所述一个或多个光源中的至少一个光源在相对于眼睛的方向上设置在所述透镜后面。

12.根据权利要求10或11所述的HMD，其中，以下项中的一项或多项：

i.包括在所述一个或多个光源中的各个光源包括发光二极管(LED)、超发光二极管(SLED)、谐振腔LED、激光器、垂直腔面发射激光器(VCSEL)或光子晶体表面发射激光器(PCSEL)；

ii.所述一个或多个光源包括：

一个或多个第一光源，每个第一光源在多个方向上产生大致均匀的光；以及

一个或多个第二光源，每个第二光源产生相对于每个第一光源更窄视场(FOV)的光束；

iii.由包括在所述一个或多个光源中的每个光源发射的所述光路中设置有小透镜阵列，并且所述眼动追踪系统还包括：

与所述一个或多个光源相对应的一个或多个折叠反射镜。

13.根据权利要求10、11或12所述的HMD，其中，所述一个或多个光源安装在眼杯上；和/或优选地，其中，包括在所述一个或多个光源中的第一组光源邻近摄像头设置。

14.一种眼动追踪系统，包括：

一个或多个摄像头；

一个或多个第一光源，每个第一光源在多个方向上产生大致均匀的光；以及

一个或多个第二光源，每个第二光源产生相对于每个第一光源更窄视场(FOV)的光束。

15.根据权利要求14所述的眼动追踪系统，其中：

每个第一光源包括发光二极管(LED)、超发光二极管(SLED)或谐振腔LED；并且

每个第一光源包括激光器、垂直腔面发射激光器(VCSEL)或光子晶体表面发射激光器(PCSEL)。