CN112470163A - 用于眼睛跟踪的场内照明和成像 - Google Patents

Abstract

本文公开了用于在近眼显示设备中的眼睛跟踪的技术。在一些实施例中，提供了用于眼睛跟踪的照明器。照明器包括：光源，其被配置成位于用户的眼睛的视场内；第一反射器，其被配置成遮蔽光源而避开照相机的视场；以及第二反射器，其被配置成接收由用户的眼睛反射的来自光源的光，并朝着照相机引导该光。

Description

用于眼睛跟踪的场内照明和成像

相关申请的交叉引用

本申请要求2018年7月11日提交的美国专利申请号16/033,099的权益，该专利申请要求2018年5月23日提交的美国临时专利申请号62/675,650的权益，这些申请的内容在此通过引用以其整体并入。

背景

人工现实系统通常包括被配置为呈现描绘在虚拟环境中的对象的人工图像的显示面板。显示面板可以显示虚拟对象或者将真实对象与虚拟对象组合(如在虚拟现实(VR)、增强现实(AR)或混合现实(MR)应用中)。为了与人工现实系统进行交互，用户可能需要提供针对所显示的图像的至少一部分的输入。一些人工现实系统可以包括用于接收用户输入(例如手和/或手指运动)的专用输入/输出接口。然而，传统的输入/输出接口可能需要频繁且主动的用户输入，且因此可能阻碍用户具有在人工现实环境中的完全沉浸式的体验。

眼睛跟踪系统可以跟踪人工现实(例如，VR/AR/MR)系统的凝视，使得人工现实系统知道用户正在看哪里，以及因此可以提供比主要依赖于手持外围输入/输出设备的典型输入/输出接口更沉浸式的接口。眼睛跟踪也可用于中央凹成像(foveated imaging)、图像数据的中央凹传输、警觉性监测(alertness monitoring)等。现有的眼睛跟踪系统可以使用位于用户的视场的周边处的光源(例如，红外光)来照亮眼睛，其中照亮眼睛的光可以被用户的眼睛的角膜镜面地反射，导致在眼睛的所捕获的图像中的“亮斑(glint)”。可以基于例如在所捕获的图像中亮斑相对于眼睛的已知特征(例如，瞳孔的中心)的位置来确定眼睛的位置(例如，凝视方向或旋转位置)。现有的眼睛跟踪系统也可以使用成像系统(例如，照相机)来捕获由眼睛的各种表面反射的光。照相机也可以位于用户的视场的周边处。

可能存在与现有的眼睛跟踪技术相关联的几个问题。问题之一是对于可能不是“点光源”的光源，在所捕获的图像中的亮斑的大小。例如，可以用作光源的LED可以有具有200μm或更大的线性尺寸的发射区域。因此，当整个LED发射区域被捕获时，亮斑不会表现为在所捕获的图像中的点。因此，在图像中的亮斑的中心位置可能无法被精确地确定，并且近似中的误差可能导致眼睛跟踪结果中的误差。此外，由于例如从光源到眼睛的大角度照明光，光源的周边位置可能消极地影响眼睛跟踪的准确度。虽然场内照明(in-fieldillumination)可以提供更高的准确度，但是场内照明可能有几个挑战。例如，位于用户的视场内的光源可能影响透视(see-through)真实世界图像和所显示的图像的质量。此外，位于用户的视场的周边处的照相机可以从大角度观察眼睛，从而降低了眼睛跟踪计算的准确度。此外，从周边位置观察眼睛会增加眼睛的照相机视野可能被面部特征(例如眼睑、睫毛等)阻挡的可能性。

概述

本公开总体上涉及在近眼显示设备中的眼睛跟踪。在一些实施例中，提供了一种用于眼睛跟踪的照明器。该照明器包括：光源，该光源被配置成位于用户的眼睛的视场内；第一反射器，该第一反射器被配置成遮蔽光源而避开照相机的视场；以及第二反射器，该第二反射器被配置成接收由用户的眼睛反射的来自光源的光，并朝着照相机引导该光。

第一反射器可以是在第一棱镜上的第一涂层，以及第二反射器可以是在第二棱镜上的第二涂层。被第一反射器遮蔽的第二棱镜的第一部分可以是无涂层的，以及未被第一反射器遮蔽的第二棱镜的第二部分可以被第一涂层覆盖。光源可以被配置成发射在第一反射器和第二反射器之间传播的光。第一反射器和第二反射器中的每一个可以被配置成反射红外光并透射可见光。

照明器还可以包括具有第一表面和第二表面的基板，光源安装在第一表面上，光穿过第二表面朝着用户的眼睛向外耦合(outcouple)。第一反射器和第二反射器可以布置在第一表面和第二表面之间的基板内。此外，照明器可以包括被配置成朝着用户的眼睛引导来自光源的光的光束转向部件。

光束转向部件可以在基板的第二表面上形成，朝着基板的第一表面凹进(indent)，并且具有棱镜、圆锥体、衍射光栅或透镜的形状。可选地，光束转向部件可以在基板的第二表面上形成，远离基板的第一表面突出，并且具有棱镜或圆锥体的形状。作为另一备选方案，光束转向部件可以是在基板的第二表面处形成的表面浮雕光栅(surfacerelief grating)或体布拉格光栅(volume Bragg grating)。

在其他实施例中，光束转向部件可以包括第三反射器和第四反射器，其中的每一个布置在第一表面和第二表面之间的基板内。第三反射器可以被配置成将来自光源的光反射到第四反射器，以及第四反射器可以被配置成朝着基板的第二表面反射光。

根据另一方面，提供了一种用于眼睛跟踪的系统。该系统可以包括上述照明器的任何配置连同被配置成捕获由用户的眼睛反射的光源的图像的照相机。

本概述既不意欲识别所要求保护的主题的关键或基本特征，也不意欲孤立地用于确定所要求保护的主题的范围。应当参考本公开的整个说明书的适当部分、任何或所有附图以及每项权利要求来理解主题。前述内容连同其他特征和示例一起将在下面的说明书、权利要求和附图中被更详细地描述。

附图简述

下面参考以下附图详细描述说明性实施例：

图1是根据某些实施例的包括近眼显示器的示例人工现实系统环境的简化框图；

图2是包括各种传感器的简化示例近眼显示器的透视图；

图3是包括示例眼睛跟踪单元的简化示例近眼显示器的透视图；

图4是包括示例眼睛跟踪单元的示例近眼显示器的横截面视图；

图5示出了在眼睛跟踪期间经由眼睛的光反射和扩散；

图6是根据某些实施例的用于在示例近眼显示器中的眼睛跟踪的示例系统的简图；

图7是根据某些实施例的用于在示例近眼显示器中的眼睛跟踪的示例照明系统的简图；

图8A-图8C是根据某些实施例的用于在示例近眼显示器中的眼睛跟踪的示例照明系统的简图；

图9A-图9C是根据某些实施例的用于在示例近眼显示器中的眼睛跟踪的示例照明系统的简图；

图10A-图10C是根据某些实施例的用于在示例近眼显示器中的眼睛跟踪的示例照明系统的简图；

图11是示出根据某些实施例的用于在近眼显示器中的眼睛跟踪的眼睛照明的示例方法的流程图；

图12是用于实现本文公开的一些示例的采用头戴式显示器(HMD)设备的形式的示例近眼显示器的透视图；以及

图13是用于实现本文公开的一些示例的示例近眼显示器的示例电子系统的简化框图。

详细描述

在下面的描述中，为了解释的目的，阐述了具体细节以便提供对本公开的示例的透彻理解。然而，将明显的是，各种示例可以在没有这些具体细节的情况下被实施。例如，设备、系统、结构、组件、方法和其他部件可以以框图形式被示出为部件，以避免在不必要的细节上模糊示例。在其他情况下，公知的设备、过程、系统、结构和技术可以在没有必要细节的情况下被示出，以避免模糊示例。附图和描述并不旨在是限制性的。在本公开中使用的术语和措辞被用作描述性术语而非限制性术语，并且在这样的术语和措辞的使用中没有排除所示出和描述的特征或其部分的任何等同物的意图。

如在本文所使用的，可见光可以指具有在大约400nm和大约750nm之间的波长的光。近红外(NIR)光可以指具有在大约750nm和大约2500nm之间的波长的光。期望的红外(IR)波长范围可以指可以由合适的IR传感器(例如，互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)传感器)检测的IR光的波长范围(例如在830nm和860nm之间或在930nm和980nm之间)。

也如在本文所使用的，基板可以指一种介质，啁啾光栅(chirped grating)的阵列可以被刻在该介质内。啁啾光栅可以指一种其间距和定向角在光栅的范围内变化的光栅。基板可以包括一种或更多种类型的介电材料，例如玻璃、石英、塑料、聚合物、聚甲基丙烯酸甲酯(PMMA)、晶体或陶瓷。至少一种类型材料的基板对可见光和NIR光可以是透明的。基板的厚度的范围可以从例如小于约1mm至小于约10mm。如在本文所使用的，如果光束可以以例如大于60％、75％、80％、90％、95％、98％、99％或更高的高透射率穿过材料，则材料对于光束可以是“透明的”，其中光束的一小部分(例如，小于40％、25％、20％、10％、5％、2％、1％或更少)可以被材料散射、反射或吸收。透射率(即，透射度(transmissivity))可以由波长范围内的适光加权(photopically weighted)或未加权的平均透射率来表示，或者由波长范围(例如可见波长范围)内的最低透射率来表示。

人工现实系统(例如虚拟现实(VR)、增强现实(AR)或混合现实(MR)系统)可以包括被配置为经由电子或光学显示器向用户呈现内容的近眼显示器(例如，头戴式装置(headset)或一副眼镜)，并且在一些情况下还可以包括被配置为生成内容以呈现给用户并且将所生成的内容提供到近眼显示器用于呈现的控制台。为了改善用户与所呈现的内容的交互，控制台可以基于用户正在看的位置来修改或生成内容，该位置可以通过跟踪用户的眼睛来确定。跟踪眼睛可以包括跟踪眼睛的瞳孔的位置和/或形状和/或眼睛的旋转位置(凝视方向)。根据至少一个实施例，为了跟踪眼睛，近眼显示器可以使用安装到近眼显示器上或近眼显示器内的光源来照亮用户的眼睛的表面。然后，在近眼显示器的附近区域中包括的成像设备(例如，照相机)可以捕获由用户的眼睛的各种表面反射的光。从用户的眼睛的角膜镜面地反射的光可能导致在所捕获的图像中的“亮斑”。照亮眼睛以看到瞳孔以及亮斑的一种方式是使用发光二极管(LED)的二维(2D)阵列。根据本发明的实施例，这些LED可以放置在用户的视场内。诸如质心算法的技术可以用于准确地确定在所捕获的图像中的眼睛上的亮斑的位置，以及然后可以基于在所捕获的图像中亮斑相对于眼睛的已知特征(例如，瞳孔的中心)的位置来确定眼睛的旋转位置(例如，凝视方向)。

将单个光源或多个光源定位在用户的视场内可以比将光源定位在用户的视场的周边处提供更大的眼睛跟踪准确度。例如，当光源位于用户的视场内时，在眼睛的所有凝视角度上捕获亮斑的概率更高。此外，光源可以被配置成使得它们对用户实际上是不可见的。这可以通过使用具有例如小于500nm、小于400nm或小于200μm的非常小的形状因子的光源来实现。形状因子可以指光源在平行于光源的发射表面的平面中的最大线性尺寸。200μm的形状因子可以是眼睛能够分辨的东西的下限。可选地，当光源在用户的视场内时，200μm的形状因子可以是使用户烦恼的东西的上限。例如，具有200μm的形状因子的光源可能看起来类似于在用户的眼镜上的灰尘斑点，并且不会干扰用户的透过眼镜的视觉。具有非常小的形状因子的光源的一些示例是具有小于160μm的裸晶片(bare die)尺寸和角度小于25°的发射圆锥(emission cone)的垂直腔表面发射激光器(VCSEL)以及具有小于200μm的裸晶片尺寸和角度小于30°的发射圆锥的微型LED。晶片尺寸可以指VCSEL或微型LED在平行于VCSEL或微型LED的发射表面的平面中的线性尺寸。例如，VCSEL或微型LED可以具有在平行于发射表面的平面内的正方形形状，使得正方形的每个边具有小于200μm的线性尺寸。此外，将光源定位在用户的视场内可以在光源的放置和分布方面提供更大的灵活性，使得由照相机捕获的光量被最大化。虽然眼睛可以检测来自非常明亮的光源的近红外光，但是光源可以在较低的亮度水平处操作以最小化这个效应。

图1是根据某些实施例的包括近眼显示器120的示例人工现实系统环境100的简化框图。图1所示的人工现实系统环境100可以包括近眼显示器120、外部成像设备150和输入/输出接口140，它们各自耦合到控制台110。尽管图1示出了包括一个近眼显示器120、一个外部成像设备150和一个输入/输出接口140的示例人工现实系统环境100，但人工现实系统环境100中可以包括任何数量的这些部件，或者可以省略任何部件。例如，可以有多个近眼显示器120，这些近眼显示器120由与控制台110通信的一个或更多个外部成像设备150监控。在替代配置中，人工现实系统环境100中可以包括不同或附加的部件。

近眼显示器120可以是向用户呈现内容的头戴式显示器。由近眼显示器120呈现的内容示例包括一个或更多个图像、视频、音频或其某种组合。在一些实施例中，音频可以经由外部设备(例如，扬声器和/或头戴式受话器)被呈现，该外部设备从近眼显示器120、控制台110或两者接收音频信息，并基于音频信息来呈现音频数据。近眼显示器120可以包括一个或更多个刚性主体，该刚性主体可以刚性或非刚性地彼此联接。刚性主体之间的刚性联接可以使所联接的刚性主体充当单个刚性实体。刚性主体之间的非刚性联接可以允许刚性主体相对于彼此移动。在各种实施例中，可以以任何合适的形状因子(包括一副眼镜)来实现近眼显示器120。此外，在各种实施例中，可以在头戴式装置中使用本文描述的功能，该头戴式装置组合在近眼显示器120外部的环境的图像和从控制台110或从生成内容并向用户提供内容的任何其他控制台接收的内容。因此，近眼显示器120和本文所述的用于眼睛跟踪的方法可以用所生成的内容(例如，图像、视频、声音等)来增强在近眼显示器120外部的物理真实世界环境的图像以向用户呈现增强现实。

在各种实施例中，近眼显示器120可以包括显示电子器件122、显示光学器件124、一个或更多个定位器126、一个或更多个位置传感器128、眼睛跟踪单元130和惯性测量单元(IMU)132中的一个或更多个。在各种实施例中，近眼显示器120可以省略这些元件中的任何一个，或者可以包括附加元件。附加地，在一些实施例中，近眼显示器120可以包括组合了结合图1描述的各种元件的功能的元件。

显示电子器件122可以根据从控制台110接收的数据向用户显示图像。在各种实施例中，显示电子器件122可以包括一个或更多个显示面板，例如液晶显示器(LCD)、有机发光二极管(OLED)显示器、微型LED显示器、有源矩阵OLED显示器(AMOLED)、透明OLED显示器(TOLED)或某种其他显示器。例如，在近眼显示器120的一个实现中，显示电子器件122可以包括前TOLED面板、后显示面板以及在前显示面板和后显示面板之间的光学部件(例如，衰减器、偏振器或者衍射或光谱膜)。显示电子器件122可以包括子像素以发射主导颜色(例如红色、绿色、蓝色、白色或黄色)的光。在一些实施方式中，显示电子器件122可以通过由二维面板产生的立体效果来显示3D图像，以创建图像深度的主观感知。例如，显示电子器件122可以包括分别位于用户的左眼和右眼前方的左显示器和右显示器。左显示器和右显示器可以呈现相对于彼此水平偏移的图像的副本，以产生立体效果(即，观看图像的用户对图像深度的感知)。

在某些实施例中，显示光学器件124可以光学地(例如，使用光波导和耦合器)显示图像内容，或者放大从显示电子器件122接收的图像光，校正与图像光相关联的光学误差，并且向近眼显示器120的用户呈现经校正的图像光。在各种实施例中，显示光学器件124可以包括一个或更多个光学元件。示例光学元件可以包括基板、光波导、光圈、菲涅尔透镜、凸透镜、凹透镜、滤光器或者可以影响从显示电子器件122发射的图像光的任何其他合适的光学元件。显示光学器件124可以包括不同光学元件以及机械联接的组合，以保持组合中的光学元件的相对间距和定向。显示光学器件124中的一个或更多个光学元件可以具有光学涂层，例如抗反射涂层、反射涂层、滤光涂层或不同光学涂层的组合。

由显示光学器件124对图像光的放大可以允许显示电子器件122比更大的显示器在物理上更小、重量更轻并且消耗更少的功率。附加地，放大可以增加显示内容的视场。在一些实施例中，显示光学器件124可以具有比显示光学器件124和显示电子器件122之间间距大的有效焦距，以放大由显示电子器件122投射的图像光。显示光学器件124对图像光的放大倍数可以通过从显示光学器件124增加光学元件或移除光学元件来被调节。

显示光学器件124可以被设计成校正一种或更多种类型的光学误差，例如二维光学误差、三维光学误差或其组合。二维误差可以包括二维中出现的光学像差(opticalaberration)。二维误差的示例类型可以包括桶形失真、枕形失真、纵向色差和横向色差。三维误差可以包括三维中出现的光学误差。三维误差的示例类型可以包括球面像差(spherical aberration)、彗形像差(comatic aberration)、像场弯曲(field curvature)和像散(astigmatism)。在一些实施例中，被提供给显示电子器件122用于显示的内容可以被预失真，并且当显示光学器件124从显示电子器件122接收基于预失真内容生成的图像光时，显示光学器件124可以校正失真。

定位器126可以是相对于彼此并相对于在近眼显示器120上的参考点位于近眼显示器120上的特定位置的对象。控制台110可以识别在由外部成像设备150捕获的图像中的定位器126以确定人工现实头戴式装置的位置、定向或两者。定位器126可以是发光二极管(LED)、锥体棱镜(corner cube reflector)、反射标记、与近眼显示器120操作于的环境形成对比的一种类型的光源，或者其一些组合。在定位器126是有源部件(例如，LED或其他类型的发光设备)的实施例中，定位器126可以发射在可见光频带(例如，约380nm至750nm)中、在红外(IR)频带(例如，约750nm至1mm)中、在紫外频带(例如，约10nm至约380nm)中、在电磁频谱的另一部分中或在电磁频谱中的多个部分的任何组合中的光。

在一些实施例中，定位器126可以位于近眼显示器120的外表面下方。在定位器126和近眼显示器120外部的实体(例如，外部成像设备150、观看近眼显示器120的外表面的用户)之间的近眼显示器120的一部分对于由定位器126发射或反射的光的波长可以是透明的，或者足够薄以基本上不使由定位器126发射或反射的光衰减。在一些实施例中，近眼显示器120的外表面或其他部分在可见光频带中可以是不透明的，但是在IR频带中是透明的，并且定位器126可以在外表面下方并且可以发射在IR频带中的光。

外部成像设备150可以基于从控制台110接收的校准参数来生成慢速校准数据。慢速校准数据可以包括显示定位器126的观察位置的一个或更多个图像，这些图像可被外部成像设备150检测到。外部成像设备150可以包括一个或更多个照相机、一个或更多个摄像机、能够捕获包括一个或更多个定位器126的图像的任何其他设备，或者它们的一些组合。附加地，外部成像设备150可以包括一个或更多个滤光器(例如，用于提高信噪比)。外部成像设备150可以被配置成检测从外部成像设备150的视场中的定位器126发射或反射的光。在定位器126包括无源元件(例如，回射器(retroreflector))的实施例中，外部成像设备150可以包括照亮一些或所有定位器126的光源，定位器126可以将光回射到外部成像设备150中的光源。可以将慢速校准数据从外部成像设备150传送到控制台110，并且外部成像设备150可以从控制台110接收一个或更多个校准参数，用于调整一个或更多个成像参数(例如，焦距、焦点、帧速率、传感器温度、快门速度、孔径等)。

位置传感器128可以响应于近眼显示器120的运动而生成一个或更多个测量信号。位置传感器128的示例可以包括加速度计、陀螺仪、磁力计、其他运动检测或误差校正传感器或其一些组合。例如，在一些实施例中，位置传感器128可以包括测量平移运动(例如，向前/向后、向上/向下、或向左/向右)的多个加速度计和测量旋转运动(例如，俯仰、偏航、或滚动)的多个陀螺仪。在一些实施例中，各个位置传感器可以彼此正交定向。

IMU 132可以是基于从一个或更多个位置传感器128接收的测量信号来生成快速校准数据的电子设备。位置传感器128可以位于IMU 132的外部、IMU 132的内部或这两种位置的某种组合。基于来自一个或更多个位置传感器128的一个或更多个测量信号，IMU 132可以生成快速校准数据，该快速校准数据指示相对于近眼显示器120的初始位置的近眼显示器120的估计位置。例如，IMU 132可以对从加速度计接收的测量信号在时间上进行积分，以估计速度向量，并且对速度向量在时间上进行积分，以确定近眼显示器120上参考点的估计位置。替代地，IMU 132可以向控制台110提供采样的测量信号，控制台110可以确定快速校准数据。虽然参考点通常可以被定义为空间中的点，但是在各种实施例中，参考点也可以被定义为近眼显示器120内的点(例如，IMU 132的中心)。

眼睛跟踪单元130可以包括被配置为捕获眼睛跟踪数据的一个或更多个成像设备，在控制台110中的眼睛跟踪模块118可以使用眼睛跟踪数据来跟踪用户的眼睛。眼睛跟踪数据可以指由眼睛跟踪单元130输出的数据。示例眼睛跟踪数据可以包括由眼睛跟踪单元130捕获的图像或者从由眼睛跟踪单元130捕获的图像导出的信息。眼睛跟踪可以指确定眼睛相对于近眼显示器120的位置，包括眼睛的定向和定位。例如，眼睛跟踪模块118可以基于由眼睛跟踪单元130捕获的眼睛的图像来输出眼睛的俯仰和偏航。在各种实施例中，眼睛跟踪单元130可以测量由眼睛反射的电磁能量，并将所测量的电磁能量传递到眼睛跟踪模块118，其可以然后基于所测量的电磁能量来确定眼睛的位置。例如，眼睛跟踪单元130可以测量电磁波，例如可见光、红外光、无线电波、微波、在电磁频谱的任何其他部分中的波或者由用户的眼睛反射的电磁波的组合。

眼睛跟踪单元130可以包括一个或更多个眼睛跟踪系统。眼睛跟踪系统可以包括对一只或更多只眼睛成像的成像系统，并且可以可选地包括光发射器，该光发射器可以生成指向眼睛的光，使得由眼睛反射的光可以被成像系统捕获。例如，眼睛跟踪单元130可以包括发射在可见光谱或红外光谱中的光的相干光源(例如，VCSEL)以及捕获由用户的眼睛反射的光的照相机。作为另一个示例，眼睛跟踪单元130可以捕获由微型雷达单元发射的反射无线电波。眼睛跟踪单元130可以使用低功率光发射器，其以不会伤害眼睛或引起身体不适的频率和强度发射光。眼睛跟踪单元130可以被布置成增加在由眼睛跟踪单元130捕获的眼睛的图像中的对比度，同时降低由眼睛跟踪单元130消耗的总功率(例如，降低由在眼睛跟踪单元130中包括的光发射器和成像系统消耗的功率)。例如，在一些实施方式中，眼睛跟踪单元130可以消耗小于100毫瓦的功率。

在一些实施例中，眼睛跟踪单元130可以包括一个光发射器和一个照相机以跟踪用户的每只眼睛。在其他实施例中，眼睛跟踪单元130可以包括多个光发射器和一个照相机以跟踪用户的每只眼睛。眼睛跟踪单元130还可以包括不同的眼睛跟踪系统，其一起操作以提供提高的眼睛跟踪准确度和响应性。例如，眼睛跟踪单元130可以包括具有快速响应时间的快速眼睛跟踪系统和具有较慢响应时间的慢速眼睛跟踪系统。快速眼睛跟踪系统可以频繁地测量眼睛以捕获由眼睛跟踪模块118使用来确定相对于参考眼睛位置的眼睛位置的数据。慢速眼睛跟踪系统可以独立地测量眼睛以捕获由眼睛跟踪模块118使用来确定参考眼睛位置的数据，而不参考先前确定的眼睛位置。由慢速眼睛跟踪系统捕获的数据可以允许眼睛跟踪模块118以比从由快速眼睛跟踪系统捕获的数据确定的眼睛位置更大的准确度来确定参考眼睛位置。在各种实施例中，慢速眼睛跟踪系统可以以比快速眼睛跟踪系统更低的频率向眼睛跟踪模块118提供眼睛跟踪数据。例如，慢速眼睛跟踪系统可以不太频繁地操作或者具有较慢的响应时间以节省功率。

眼睛跟踪单元130可以被配置成估计用户的眼睛的定向。眼睛的定向可以对应于用户在近眼显示器120内的凝视的方向。用户的眼睛的定向可以被定义为视网膜中央凹轴(foveal axis)的方向，视网膜中央凹轴是在视网膜中央凹(在眼睛的视网膜上的具有最高浓度的光感受器的区域)与眼睛瞳孔的中心之间的轴。通常，当用户的眼睛固定在一点上时，用户的眼睛的视网膜中央凹轴与该点相交。眼睛的瞳孔轴可以被定义为穿过瞳孔的中心并垂直于角膜表面的轴。通常，即使瞳孔轴和视网膜中央凹轴在瞳孔中心相交，瞳孔轴也可能不直接与视网膜中央凹轴对准。例如，视网膜中央凹轴的定向可以从瞳孔轴横向地偏移大约-1°至8°和垂直地偏移大约±4°。因为视网膜中央凹轴是根据位于眼睛后部的视网膜中央凹来定义的，所以在一些眼睛跟踪实施例中，视网膜中央凹轴可能难以或不可能直接测量。相应地，在一些实施例中，可以检测瞳孔轴的定向，并且可以基于检测到的瞳孔轴来估计视网膜中央凹轴。

通常，眼睛的运动不仅对应于眼睛的角旋转，而且还对应于眼睛的平移、眼睛的扭转(torsion)的变化和/或眼睛的形状的变化。眼睛跟踪单元130还可以被配置成检测眼睛的平移，其可以是眼睛相对于眼窝的位置的变化。在一些实施例中，眼睛的平移可以不被直接检测，而是可以基于来自检测到的角定向的映射来被近似。也可以检测对应于眼睛的位置相对于眼睛跟踪单元的变化的眼睛的平移。这种类型的平移可以例如由于在用户的头部上的近眼显示器120的位置的移动而出现。眼睛跟踪单元130还可以检测眼睛的扭转和眼睛绕着瞳孔轴的旋转。眼睛跟踪单元130可以使用检测到的眼睛的扭转来从瞳孔轴估计视网膜中央凹轴的定向。眼睛跟踪单元130还可以跟踪眼睛的形状的变化，其可以被近似为倾斜(skew)或缩放线性变换或扭曲失真(twisting distortion)(例如，由于扭转变形)。眼睛跟踪单元130可以基于瞳孔轴的角定向、眼睛的平移、眼睛的扭转和眼睛的当前形状的一些组合来估计视网膜中央凹轴。

在一些实施例中，眼睛跟踪单元130可以包括可以在眼睛的所有部分或一部分上投射结构光图案的多个发射器或至少一个发射器。当从偏斜角度被观看时，结构光图案可能由于眼睛的形状而失真。眼睛跟踪单元130还可以包括可以检测投射到眼睛上的结构光图案的失真(如果有的话)的至少一个照相机。照相机可以被定向在到眼睛的与发射器不同的轴上。通过检测在眼睛的表面上的结构光图案的变形，眼睛跟踪单元130可以确定被结构光图案照亮的眼睛的部分的形状。因此，所捕获的失真光图案可以指示眼睛的被照亮部分的3D形状。从而可以从眼睛的被照亮部分的3D形状导出眼睛的定向。眼睛跟踪单元130还可以基于由照相机捕获的失真结构光图案的图像来估计瞳孔轴、眼睛的平移、眼睛的扭转和眼睛的当前形状。

近眼显示器120可以使用眼睛的定向来例如确定用户的瞳孔间距离(IPD)、确定凝视方向、引入深度线索(例如，使在用户的主视线之外的图像模糊)、收集关于在VR媒体中的用户交互(例如，根据所受到的刺激在任何特定主题、对象或帧上花费的时间)的直观推断(heuristics)、部分地基于用户的至少一只眼睛的定向的一些其他功能，或者其一些组合。因为可以确定用户双眼的定向，所以眼睛跟踪单元130可以确定用户正在看哪里。例如，确定用户凝视的方向可以包括基于用户的左眼和右眼的所确定的定向来确定辐辏点(pointof convergence)。辐辏点可以是用户的眼睛的两个视网膜中央凹轴相交的点(或者在两个轴之间的最近的点)。用户凝视的方向可以是穿过辐辏点和在用户眼睛瞳孔之间的中点的线的方向。

输入/输出接口140可以是允许用户向控制台110发送动作请求的设备。动作请求可以是执行特定动作的请求。例如，动作请求可以是开始或结束应用，或者是在应用内执行特定动作。输入/输出接口140可以包括一个或更多个输入设备。示例输入设备可以包括键盘、鼠标、游戏控制器、手套、按钮、触摸屏或用于接收动作请求并将接收到的动作请求传送到控制台110的任何其他合适的设备。由输入/输出接口140接收的动作请求可以被传送到控制台110，控制台110可以执行对应于所请求动作的动作。在一些实施例中，输入/输出接口140可以根据从控制台110接收的指令向用户提供触觉反馈。例如，当动作请求被接收到时或者当控制台110已经执行了所请求的动作并将指令传递到输入/输出接口140时，输入/输出接口140可以提供触觉反馈。

控制台110可以根据从外部成像设备150、近眼显示器120和输入/输出接口140中的一个或更多个接收的信息来向近眼显示器120提供内容用于呈现给用户。在图1所示的示例中，控制台110可以包括应用储存器112、头戴式装置跟踪模块114、虚拟现实引擎116和眼睛跟踪模块118。控制台110的一些实施例可以包括与结合图1描述的模块不同的或附加的模块。下面进一步描述的功能可以以不同于这里描述的方式分布在控制台110的部件中。

在一些实施例中，控制台110可以包括处理器和存储由处理器可执行的指令的非暂时性计算机可读存储介质。处理器可以包括并行执行指令的多个处理单元。计算机可读存储介质可以是任何存储器，例如硬盘驱动器、可移动存储器、或固态驱动器(例如，闪存或动态随机存取存储器(DRAM))。在各种实施例中，结合图1描述的控制台110的模块可以被编码为非暂时性计算机可读存储介质中的指令，当由处理器执行时，这些指令使得处理器执行下面进一步描述的功能。

应用储存器112可以存储用于由控制台110执行的一个或更多个应用。应用可以包括一组指令，该组指令当由处理器执行时生成用于呈现给用户的内容。由应用生成的内容可以对经由用户的眼睛的移动从用户接收的输入或者从输入/输出接口140接收的输入做出响应。应用的示例可以包括游戏应用、会议应用、视频回放应用或其他合适的应用。

头戴式装置跟踪模块114可以使用来自外部成像设备150的慢速校准信息来跟踪近眼显示器120的移动。例如，头戴式装置跟踪模块114可以使用来自慢速校准信息的观察到的定位器和近眼显示器120的模型来确定近眼显示器120的参考点的位置。头戴式装置跟踪模块114还可以使用来自快速校准信息的位置信息来确定近眼显示器120的参考点的位置。此外，在一些实施例中，头戴式装置跟踪模块114可以使用快速校准信息、慢速校准信息中的一部分或其某种组合来预测近眼显示器120的未来位置。头戴式装置跟踪模块114可以向VR引擎116提供近眼显示器120的所估计或预测的未来位置。

头戴式装置跟踪模块114可以使用一个或更多个校准参数来校准人工现实系统环境100，并且可以调整一个或更多个校准参数以减少在确定近眼显示器120的位置时的误差。例如，头戴式装置跟踪模块114可以调整外部成像设备150的焦点，以获得在近眼显示器120上观察到的定位器的更准确的位置。此外，头戴式装置跟踪模块114执行的校准也可以考虑从IMU 132接收的信息。此外，如果失去对近眼显示器120的跟踪(例如，外部成像设备150失去至少阈值数量的定位器126的视线)，头戴式装置跟踪模块114可以重新校准校准参数中的一些或全部。

VR引擎116可以在人工现实系统环境100中执行应用，并且从头戴式装置跟踪模块114接收近眼显示器120的位置信息、近眼显示器120的加速度信息、近眼显示器120的速度信息、近眼显示器120的所预测的未来位置或者其某种组合。VR引擎116还可以从眼睛跟踪模块118接收所估计的眼睛位置和定向信息。基于接收到的信息，VR引擎116可以确定要提供到近眼显示器120用于呈现给用户的内容。例如，如果接收到的信息指示用户已经向左看，则VR引擎116可以为近眼显示器120生成反映用户的眼睛在虚拟环境中的移动的内容。此外，VR引擎116可以响应于从输入/输出接口140接收的动作请求来执行在控制台110上执行的应用内的动作，并且向用户提供指示动作已经被执行的反馈。反馈可以是经由近眼显示器120的视觉或听觉反馈，或者经由输入/输出接口140的触觉反馈。

眼睛跟踪模块118可以从眼睛跟踪单元130接收眼睛跟踪数据，并基于眼睛跟踪数据来确定用户的眼睛的位置。眼睛的位置可以包括眼睛相对于近眼显示器120或其任何元件的定向、位置或两者。因为眼睛的旋转轴根据眼睛在它的眼窝中的位置而变化，所以确定眼睛在它的眼窝中的位置可以允许眼睛跟踪模块118更准确地确定眼睛的定向。

在一些实施例中，眼睛跟踪单元130可以输出包括眼睛的图像的眼睛跟踪数据，并且眼睛跟踪模块118可以基于图像来确定眼睛的位置。例如，眼睛跟踪模块118可以存储由眼睛跟踪单元130捕获的图像与眼睛位置之间的映射，以从由眼睛跟踪单元130捕获的图像确定参考眼睛位置。可选地或附加地，眼睛跟踪模块118可以通过比较参考眼睛位置从中被确定的图像和已更新的眼睛位置从中被确定的图像，来确定相对于参考眼睛位置的已更新的眼睛位置。眼睛跟踪模块118可以使用来自不同成像设备或其他传感器的测量结果来确定眼睛位置。例如，如上所述，眼睛跟踪模块118可以使用来自慢速眼睛跟踪系统的测量结果来确定参考眼睛位置，然后从快速眼睛跟踪系统确定相对于参考眼睛位置的更新的位置，直到基于来自慢速眼睛跟踪系统的测量结果来确定下一个参考眼睛位置为止。

眼睛跟踪模块118还可以确定眼睛校准参数以提高眼睛跟踪的精度和准确度。眼睛校准参数可以包括每当用户佩戴或调整近眼显示器120时可能改变的参数。示例眼睛校准参数可以包括在眼睛跟踪单元130的部件和眼睛的一个或更多个部位(例如，眼睛的中心、瞳孔、角膜边界)或眼睛的表面上的点之间的所估计的距离。其他示例眼睛校准参数可以特定于特定用户，并且可以包括所估计的平均眼睛半径、平均角膜半径、平均巩膜半径、在眼睛表面上的特征的图以及所估计的眼睛表面轮廓。在来自近眼显示器120的外部的光可以到达眼睛的实施例中(如在一些增强现实应用中)，校准参数可以包括由于来自近眼显示器120的外部的光的变化而导致的强度和色彩平衡的校正因子。眼睛跟踪模块118可以使用眼睛校准参数来确定由眼睛跟踪单元130捕获的测量结果是否允许眼睛跟踪模块118确定准确的眼睛位置(在本文也被称为“有效测量结果”)。无效测量结果——眼睛跟踪模块118无法从无效测量结果确定准确的眼睛位置——可以由用户眨眼、调整头戴式装置或移除头戴式装置引起，和/或可以由近眼显示器120由于外部光而经历在照明中的大于阈值的变化引起。

图2是包括各种传感器的简化示例近眼显示器200的透视图。近眼显示器200可以是图1的近眼显示器120的特定实现，并且可以被配置为作为虚拟现实显示器、增强现实显示器和/或混合现实显示器来操作。近眼显示器200可以包括框架205和显示器210。显示器210可以被配置为向用户呈现内容。在一些实施例中，显示器210可以包括显示电子器件和/或显示光学器件。例如，如上面关于图1的近眼显示器120所述的，显示器210可以包括LCD显示面板、LED显示面板或光学显示面板(例如，波导显示组件)。

近眼显示器200还可以包括在框架205上或框架205内的各种传感器250a、250b、250c、250d和250e。在一些实施例中，传感器250a-250e可以包括一个或更多个深度传感器、运动传感器、位置传感器、惯性传感器或环境光传感器。在一些实施例中，传感器250a-250e可以包括被配置为生成表示在不同方向上的不同视场的图像数据的一个或更多个图像传感器。在一些实施例中，传感器250a-250e可以用作输入设备，以控制或影响近眼显示器200的所显示的内容和/或向近眼显示器200的用户提供交互式VR/AR/MR体验。在一些实施例中，传感器250a-250e还可以用于立体成像。

在一些实施例中，近眼显示器200还可以包括一个或更多个照明器230以将光投射到物理环境中。所投射的光可以与不同的频带(例如，可见光、红外光、紫外光等)相关联，并且可以为各种目的服务。例如，照明器230可以在黑暗环境中(或者在具有低强度的红外光、紫外光等的环境中)投射光以帮助传感器250a-250e在黑暗环境内捕获不同对象的图像。在一些实施例中，照明器230可以用于将某个光图案投射到在环境中的对象上。在一些实施例中，照明器230可以用作定位器，例如上面关于图1描述的定位器126。

在一些实施例中，近眼显示器200还可以包括高分辨率照相机240。照相机240可以捕获在视场中的物理环境的图像。所捕获的图像可以例如由虚拟现实引擎(例如，图1的虚拟现实引擎116)处理以将虚拟对象添加到所捕获的图像或修改在所捕获的图像中的物理对象，并且所处理的图像可以由用于AR或MR应用的显示器210显示给用户。

图3是包括示例眼睛跟踪单元的简化示例近眼显示器300的透视图。图3可以是从面向用户眼睛的侧面观看的近眼显示器300的透视图。与近眼显示器200一样，近眼显示器300可以包括框架305和显示器310。框架305可以耦合到一个或更多个电气或光学部件或者嵌有一个或更多个电气或光学部件。显示器310可以包括显示电子器件和/或显示光学器件，并且可以被配置为向用户呈现内容。例如，如上所述，显示器310可以包括LCD显示面板、LED显示面板和/或光学显示面板(例如，波导显示组件)。

近眼显示器300可以包括一个或更多个光源320和一个或更多个照相机330。如下面更详细讨论的，光源320可以安装在基板340上，使得光源320位于用户的眼睛的视场内。任何合适数量的光源320可以被使用，并且光源320可以以任何合适的图案(例如一维阵列或二维阵列)被布置。光源320可以比图3所示的更近地靠在一起或更远地间隔开。基板340可以安装在显示器310的前面，或者可以与显示器310集成在一起。基板340对可见光可以是透明的。照相机330可以耦合到框架305或可以嵌在框架305中。光源320可以朝着用户的眼睛发射在某个频率范围(例如NIR)内的光。发射光可以被用户的眼睛反射。反射光然后可以被照相机330接收以形成可以指示光源320和用户的眼睛的某些特征的图像。基于由照相机330捕获的图像，可以确定眼睛的位置，包括眼睛的定向和定位。如上面关于图1所述的，也可以基于检测到的眼睛的位置来确定用户的凝视方向和/或凝视点。然后，可以基于用户的凝视方向和/或凝视点来相应地调整在显示器310上显示的图像内容。

图4是包括示例眼睛跟踪单元的示例近眼显示器400的横截面视图。注意，尽管图4和本公开中的其他附图为了说明的目的示出了近眼显示器的用户的眼睛，但是用户的眼睛不是相应的近眼显示器的一部分。像近眼显示器200和300一样，近眼显示器400可以包括框架405和显示系统，该显示系统包括耦合到框架405或嵌在框架405中的显示电子器件410和/或显示光学器件420。如上面关于显示电子器件122所描述的，显示电子器件410可以根据从控制台(例如控制台110)接收的数据向用户显示图像。显示电子器件410可以包括子像素以发射主导颜色(例如红色、绿色、蓝色、白色或黄色)的光。显示光学器件420可以(例如，使用光波导和光耦合器)光学地显示图像内容、或者放大由显示电子器件410发射的图像光、校正与图像光相关联的光学误差并向近眼显示器400的用户呈现经校正的图像光。在各种实施例中，显示光学器件420可以包括一个或更多个光学元件。示例光学元件可以包括基板、光波导、光耦合器、光圈、菲涅尔透镜、凸透镜、凹透镜、滤光器或可以影响从显示电子器件410发射的图像光的任何其他合适的光学元件。显示光学器件420可以包括不同光学元件以及机械联接的组合，以保持组合中的光学元件的相对间距和定向。显示光学器件420中的一个或更多个光学元件可以具有光学涂层，例如抗反射涂层、反射涂层、滤光涂层或不同光学涂层的组合。

近眼显示器400可以包括眼睛跟踪单元，该眼睛跟踪单元包括光源430和照相机440。光源430可以安装在基板422上，基板422可以安装在显示光学器件420前面的框架450上、耦合到框架450或嵌在框架450中。基板450对可见光可以是透明的。照相机440可以安装在框架405中、耦合到框架405或嵌在框架405中。光源430可以朝着近眼显示器400的用户的眼睛490发射光，并且可以位于眼睛490的视场内。发射光可以被用户的眼睛490的角膜492反射。反射光然后可以被反射器424-1进一步反射，并被照相机440接收，以生成可以指示光源430和用户的眼睛490的某些特征的图像。基于由照相机440捕获的图像，可以确定眼睛490的位置，包括眼睛490的定向和定位。可以基于检测到的眼睛490的位置来确定用户的凝视方向和/或凝视点，如上面关于图1所述的。然后，可以基于用户的凝视方向和/或凝视点来相应地调整在显示系统上显示的图像内容。如下面更详细讨论的，反射器424-2可用于遮蔽光源430而避开照相机440的视场。

在一些实现中，光源430可以包括诸如VCSEL的相干光源(即，发射具有可忽略相位差的精确波长的光的光源)。VCSEL可以用相干光照亮眼睛490的表面(例如，角膜492或虹膜494)的一部分。例如，VCSEL可以发射在具有在大约830nm和大约860nm之间的波长的红外光谱中的光。作为另一个示例，VCSEL可以发射具有在大约900nm和大约1160nm之间(例如在大约930nm和大约980nm之间)的波长的光。可选地，VCSEL可以发射具有在可见光谱中的波长的光。然而，用在红外光谱中的光照亮眼睛可以减少来自由显示电子器件410发射的可见光或者来自进入近眼显示器400的外部可见光的干扰和噪声(如在一些增强现实应用中)。VCSEL可以具有低功率以防止用户不适或受伤。

虽然光源430通常可以包括相干光源，但是在一些实现中可以使用非相干光源。例如在一些实现中，光源430可以包括发射具有在可见光频带中或在红外频带中的波长的光的LED。例如，光源430可以包括微型LED。然而，因为LED在比激光宽的波长范围内发射光，所以LED可以产生具有比使用相干光源产生的图像更低的对比度的图像。在一些实施例中，发射与光源不同波长的光的附加光源可以用于提高眼睛跟踪精度。尽管在图4中示出了单个光源430和两个反射器424-1和424-2，但是可以使用任何合适数量的光源和反射器。

照相机440可以捕获由光源430照亮的眼睛表面的部分所反射并由反射器424-1进一步反射的光。在一个示例中，照相机440可以捕获具有30×30像素的像素阵列的图像，其中像素可以对应于眼睛表面的大约15μm至40μm的分辨率。在这个示例中，眼睛490的表面的所成像的部分可以具有在大约0.20平方毫米和大约1.44平方毫米之间的面积。在各种实施例中，照相机440可以具有增加的分辨率以增加眼睛跟踪精度和准确度。例如，照相机440可以有具有320×240像素的像素阵列的四分之一视频图形阵列(QVGA)分辨率。增加在照相机440中包括的像素的数量可以允许对应于像素的眼睛490的表面的尺寸减小、允许由照相机440成像的眼睛490的表面的面积增加或两者。然而，使用更少的像素可以有益地降低照相机440的功率消耗，以及照亮眼睛的表面的较小区域并使该较小区域成像可以有益地降低由光源430产生的功率消耗。在一些实施例中，照相机440可以包括光学鼠标传感器或以非常高的帧速率捕获图像的其他传感器。例如在一些情况下，照相机440可以每秒捕获大约5,000个图像以提供精确的眼睛跟踪数据。尽管在图4中示出了单个照相机440，但是可以使用任何合适数量的照相机。

图5示出了在使用眼睛跟踪单元510进行的眼睛跟踪期间经由眼睛550的光反射和光扩散。眼睛跟踪单元510可以包括如上面关于图4所述的光源512、反射器534-1和反射器534-2。尽管在图5中仅示出了一个光源512，但是应当理解，多个附加光源可以放置在眼睛550的视场内。在其他实施例中，眼睛跟踪单元510可以包括与在图4中描绘的部件不同的和/或附加的部件。光源512可以包括VCSEL或微型LED，并且可以发射具有中心轴的光，该中心轴相对于眼睛550的表面法向量520形成角度522。如下面更详细讨论的，光束转向部件可以位于光源512的发射区域附近，以便实现期望的光输出方向。表面法向量520垂直于由光源512照亮的眼睛550的表面(例如，角膜552)的一部分。在图5所示的示例中，表面法向量520可以与眼睛550的视网膜中央凹轴(从瞳孔556的中心到视网膜中央凹562的线)相同。可选地，表面法向量520可以垂直于眼睛550的表面的另一部分。可以在表面法向量520和从由光源512照亮的眼睛550的表面的一部分的中心到光源512的输出孔径的中心的线之间测量角度522。角度522可以被选择为具有任何合适的值，使得来自光源512的光的至少一部分被眼睛550反射并被反射器534-1接收。例如，角度522可以被选择为接近零(例如，在5°和10°之间)以便最小化由较大入射角引起的任何失真，但是大于零，以防止光被眼睛550直接反射回光源512处。各种反射器和/或其他光学部件(例如反射器534-1)可以用于朝着照相机540引导由眼睛550反射的光。例如，多个反射器可以浸没在可以位于眼睛550的视场内的透明基板中。

可以以相对于眼睛550的表面法向量520的角度524安装反射器534-1。反射器534-1可以安装在眼睛550的视场内。可以在表面法向量520和从被光源512照亮的眼睛550的表面的一部分的中心到反射器534-1的中心的线之间测量角度524。在一些实施例中，角度522和角度524之间的差异可以小于阈值量，使得反射器534-1可以经由入射在眼睛550的角膜552上的光的镜面反射来反射图像，这可以有利地增加因而得到的图像的对比度，并且最小化光功率损耗和功率消耗。

由光源512发射的光可以基本上均匀地照亮眼睛表面(例如，角膜552)的一部分。发射光的一部分可以被眼睛550的角膜552镜面地反射，并入射在反射器534-1上。在一些情况下，入射在眼睛550上的光在被反射之前可以传播到眼睛内一段小距离。光的至少一些部分可以通过角膜552进入眼睛550，并到达眼睛550的虹膜554、瞳孔556、晶状体558或视网膜560。因为眼睛表面和在眼睛550内的界面(例如虹膜554或瞳孔556的表面)可以是粗糙的(例如，由于诸如毛细管或隆起部分(bump)的特征)，所以眼睛表面和在眼睛550内的界面可以在多个方向上散射入射光。眼睛表面和在眼睛550内的界面的不同部分可以具有不同的特征布置。因此，由眼睛550反射的光的强度图案可以取决于在眼睛550的被照亮部分内的特征的布置，这可以允许根据强度图案识别眼睛的部分。

照相机540可以收集由反射器534-1反射的光并将光投射到照相机540的图像传感器上。照相机540还可以校正一个或更多个光学误差(例如关于显示光学器件124描述的那些光学误差)以提高由照相机540的图像传感器捕获的图像的对比度和其他属性。在一些实施例中，照相机540也可以放大反射光。在一些实施例中，照相机540可以放大图像。照相机540的图像传感器可以捕获由照相机540的透镜组件聚焦的入射光。因此，照相机540可以有效地捕获由眼睛反射的光源512(其发射光被眼睛的角膜镜面地反射)的图像，导致在所捕获的图像中的“亮斑”。由于在眼睛表面和眼睛的内部界面处的散射(漫反射)，入射在图像传感器的一个点上的光可以包括从在眼睛550的被照亮部分内的多个点反射的光，且因此可以是从多个点反射的光的干涉的结果。因此，照相机540的图像传感器也可以捕获由从眼睛550的表面的多个点反射的光的组合形成的衍射或散斑图案(speckle pattern)。

图像传感器的每个像素可以包括可以输出与入射在像素上的光的强度成比例的电流或电压信号的光敏电路。在一些实施例中，图像传感器的像素可以对在窄波长频带中的光敏感。在一些其他实施例中，图像传感器的像素可以具有宽频带或多频带灵敏度。例如，照相机540的图像传感器可以包括互补金属氧化物半导体(CMOS)像素阵列，其可以与具有小于约850nm的波长的光一起使用。作为另一个示例，照相机514的图像传感器可以包括铟镓砷(InGaAs)合金像素阵列。这样的图像传感器可以与具有在大约900nm和大约1160nm之间的波长的光一起使用。

在一些实施例中，为了确定眼睛550的位置变化，眼睛跟踪模块(例如，图1的眼睛跟踪模块118)可以确定在图像之间的像素位移。将像素位移乘以每像素的校准距离可以允许眼睛跟踪模块确定眼睛550的表面(例如，角膜552)移动的距离。例如，如果在一个图像中捕获的亮斑相对于在前一图像中捕获的亮斑移动了两个像素以及每个像素对应于在眼睛550的表面处的10μm的距离，则眼睛550的表面可能已经移动大约20μm。

可选地或附加地，眼睛跟踪模块可以通过将所捕获的图像与具有眼睛的已知位置的一个或更多个先前图像进行比较来确定在所捕获的图像中的眼睛的位置。例如，眼睛跟踪模块可以包括图像的数据库，每个图像都与参考眼睛位置相关联。通过将所捕获的图像与所存储的图像匹配，眼睛跟踪模块可以确定眼睛在与所存储的图像相关联的参考眼睛位置处。在一些实施例中，眼睛跟踪模块可以识别在所捕获的图像的一部分中的特征。该特征可以包括与眼睛550的特定部分相关联的衍射或光流(optical flow)图案。例如，眼睛跟踪模块可以通过下列操作来确定眼睛位置：检索与特征(其也在参考图像中被捕获)相关联的参考眼睛位置，确定在所捕获的图像中的特征和在参考图像中的特征之间的像素位移，以及通过使用如上所述的每像素的校准距离根据所确定的像素位移来修改参考眼睛位置从而确定眼睛位置。

如上面所讨论的，照相机540可以有效地捕获由眼睛550的角膜552反射的光源512的图像。在一些情况下，光源可以是扩展光源而不是点光源。因此，所捕获的光源512的图像(即，亮斑)可以具有圆形、矩形、椭圆形的形状或不规则形状，并且光源512的空间结构可以被捕获在图像中。当使用例如质心算法确定在图像中的亮斑的相对位置时，亮斑的扩展形状和/或在光源的图像中捕获的空间结构会引起误差。当在图像中的亮斑的相对位置(例如，像素位移)用于确定在3D空间中的角膜位置时，这些误差可以影响眼睛跟踪的准确度。因此，光源512可以有具有比200μm小得多的小形状因子的发射区域。VCSEL或微型LED的小发射区域在图像中看起来更像点光源而不是扩展光源，并且减小了在所捕获的图像上的因而得到的亮斑的尺寸。具有小于200μm的裸晶片尺寸的VCSEL或微型LED具有线性尺寸明显小于200μm的发射区域，因为VCSEL或微型LED的发射区域比裸晶片尺寸小得多，以便容纳其他部件，例如键合部件(bond part)。例如，发射区域的直径可以小于20μm。在所捕获的图像中的较小的亮斑尺寸可以导致更精确的亮斑位置确定和更准确的眼睛跟踪。

根据本公开的某些方面，一个光源或多个光源可以安装在可位于用户前方的透明基板上，使得该光源或多个光源在用户的视场内。该光源或多个光源可以用于在眼睛跟踪中的照明和成像。可以为每个光源提供光束转向部件，以便朝着用户的眼睛引导来自光源的光。光束转向部件可以使来自光源的光的至少一部分以相对于垂直于用户的眼睛的表面的向量的一角度入射在用户的眼睛上。

此外，根据本公开的某些方面，多个反射器(例如，分色镜)可以浸没在可以位于用户前方且在用户的视场内的透明基板中。如下面更详细讨论的，反射器可以遮蔽光源，使得来自光源的光不直接到达照相机。每个反射器可以反射在光谱的第一频带中的光(例如，IR光或NIR光)，并且透射在光谱的第二频带中的光(例如，可见光)。反射器可以具有平坦、球形、非球形、变形(anamorphic)或圆柱形表面。反射器可以在光谱的期望频带中具有至少30％、至少50％和至少70％或更多的反射率。反射器在工作波长范围(例如，可见光)内的(适光加权的)透射率可以是至少80％、至少90％、至少95％、至少99％或更高。合适的反射器可以包括多层介电反射器、金属涂层和透明导电膜。基板对在第一频带中的光和在第二频带中的光可以都是透明的。

在一些实现中，反射器可以是可以反射IR光但对可见光透明的热反射镜(hotmirror)。反射器的IR光反射率和可见光透射率可以在同一近眼显示设备中或在不同的相同近眼显示设备中变化。因为可见光被允许穿过反射器和基板，所以反射器可以被定位在用户的眼睛前方而不阻碍用户的视场。例如，在AR应用中，用户可以透过基板和浸没的反射器以看到外部世界。在VR应用中，用户可以透过基板和浸没的反射器以观看所显示的内容。同时，来自用于眼睛照明的光源的光可以被用户的眼睛(例如,角膜)反射，且然后可以被反射器反射到照相机以在由用于眼睛跟踪的照相机捕获的图像中形成亮斑。

图6是根据某些实施例的用于在示例近眼显示器中的眼睛跟踪的示例系统600的简图。图6仅仅是说明性的，且并不是按比例绘制的。系统600可以包括可以安装在棱镜604的安装表面628上的光源612。光源612可以以任何合适的方式(例如晶片键合(diebonding))安装在安装表面628上。光源612可以位于用户的眼睛的视场内。如上面所讨论的，光源612可以具有例如小于200μm的非常小的形状因子，使得光源612对用户实际上是不可见的。光源612可以具有角度小于30°的发射圆锥630。

系统600还可以包括棱镜602，反射涂层622在棱镜602上形成。反射涂层622可以被配置成遮蔽光源612而避开照相机650的视场。遮蔽来自光源612的光并防止它直接到达照相机650对于眼睛跟踪的图像处理阶段的对比度、图像质量和信噪比是有利的。在没有遮蔽来自光源612的光的情况下，照相机650可能遭受不必要的杂散光(stray light)。

反射涂层622可以包括在棱镜602的表面上形成的多层介电材料。可以通过定向涂覆工艺(例如电子束沉积、离子束沉积或原子层沉积)来形成反射涂层622。沉积材料的源可以位于照相机650的位置处。在沉积期间，棱镜602遮蔽棱镜604的一部分，使得棱镜604的未涂覆表面626保留，同时反射涂层624沉积在棱镜604的未涂覆部分上。光源612可以被定位成使得发射光穿过棱镜604的未涂覆表面626行进。发射圆锥630可以足够窄，使得发射光在反射涂层622和624之间传播，并且不会入射在反射涂层622或624上，从而防止杂散光朝着安装表面628被反射。此外，反射涂层622防止来自光源612的光直接到达照相机650，从而防止在所捕获的用户的眼睛的图像中的噪声和用户的眼睛的特征的错误识别。

光源612可以被配置为朝着用户的眼睛发射光。然后，用户的眼睛可以朝着反射涂层624反射光，反射涂层624进一步朝着照相机650反射光。反射涂层624可以倾斜一角度，使得反射光到达照相机650。如果使用多个光源和多个对应的反射涂层，则每个反射涂层可以以不同的角度倾斜以朝着照相机650反射来自用户的眼睛的光。

反射涂层622和624可以是反射近红外光并透射可见光的热反射镜涂层。此外，反射涂层622和624可以分别在棱镜602和604的平坦表面上形成。菲涅尔透镜可以在每个平坦表面上形成，以便聚焦反射光。可选地，反射涂层622和624可以分别在棱镜602和604的弯曲表面上形成。弯曲表面可以包括凹表面、凸表面、圆柱形表面、非球形表面和/或自由曲面(freeform surface)。

图7是根据某些实施例的用于在示例近眼显示器中的眼睛跟踪的示例照明系统700的简图。图7仅仅是说明性的，且并不是按比例绘制的。照明系统700可以包括可以安装在基板716的安装表面728上的光源712。光源712可以以任何合适的方式(例如晶片键合)安装在安装表面728上。光源712可以位于用户的眼睛的视场内。如上面所讨论的，光源712可以具有例如小于200μm的非常小的形状因子，使得光源712对用户实际上是不可见的。基板716可以由对可见光和近红外光透明的任何合适的材料(例如玻璃、石英、塑料、聚合物、陶瓷或晶体)制成。

系统700还可以包括反射器722、724和726。反射器722可以被配置成遮蔽光源712而避开照相机(未示出)的视场。反射器722、724和726可以以与上面关于图6所述的类似的方式形成。可选地，反射器722、724和726可以以任何合适的方式形成，并且可以是独立的反射镜、介质叠层(dielectric stack)、反射涂层或任何其他反射材料。反射器722、724和726可以是菲涅尔反射器。

光源712可以被定位成使得发射光在反射器722和724之间行进，并且不会入射在反射涂层722或724上，从而防止杂散光朝着安装表面728被反射。此外，反射器722防止来自光源712的光直接到达照相机，从而防止在所捕获的用户的眼睛的图像中的噪声。

光源712可以被配置成朝着用户的眼睛发射光。发射光738可以传播穿过向外耦合表面(outcoupling surface)732，且然后可以由用户的眼睛朝着反射器724反射，反射器724朝着照相机进一步反射光。反射器724可以倾斜一角度，使得反射光到达照相机。如果使用多个光源和多个对应的反射涂层，则每个反射涂层可以以不同的角度倾斜以朝着照相机反射来自用户的眼睛的光。

反射器722和724可以是反射近红外光并透射可见光的热反射镜涂层。此外，反射器722和724可以在基板716内的棱镜的平坦表面上形成。菲涅尔透镜可以在每个平坦表面上形成，以便聚焦反射光。可选地，反射器722和724可以在基板716内的棱镜的弯曲表面上形成。弯曲表面可以包括凹表面、凸表面、圆柱形表面、非球形表面和/或自由曲面。在图7所示的示例中，通过用热反射镜涂层覆盖大约80％的棱镜表面来形成反射器724。

图8A-图8C是根据某些实施例的用于在示例近眼显示器中的眼睛跟踪的示例照明系统800、801和802的简图。图8A-图8C仅仅是说明性的，且并不是按比例绘制的。图8A-图8C示出了使用光束转向部件朝着用户的眼睛引导来自光源的光。在图8A-图8C所示的示例中，光束转向部件可以是在基板的向外耦合表面处形成的凹进棱镜(indented prism)或圆锥体。可选地或附加地，光束转向部件可以是在基板的向外耦合表面处形成的衍射光栅或透镜。

如图8A所示，照明系统800可以包括可以安装在基板816的安装表面828上的光源812。光源812可以以任何合适的方式(例如晶片键合)安装在安装表面828上。光源812可以位于用户的眼睛的视场内。如上面所讨论的，光源812可以具有例如小于200μm的非常小的形状因子，使得光源812对用户实际上是不可见的。基板816可以由对可见光和近红外光透明的任何合适的材料(例如玻璃、石英、塑料、聚合物、陶瓷或晶体)制成。

照明系统800还可以包括反射器822和824。反射器822可以被配置成遮蔽光源812而避开照相机(未示出)的视场。反射器822和824可以以与上面关于图6所述的类似的方式形成。可选地，反射器822和824可以以任何合适的方式形成，并且可以是独立的反射镜、介质叠层、反射涂层或任何其他反射材料。反射器822和824可以是菲涅尔反射器。

光源812可以被定位成使得光830的第一部分在反射器822和824之间行进，光830的第二部分朝着向外耦合表面832被反射器822透射，并且光830的第三部分朝着反射器824被反射器822反射。光830的第三部分的一些穿过反射器824，并作为杂散光834透射穿过安装表面828。光830的第三部分的剩余部分由反射器824朝着向外耦合表面832反射。反射器822可以防止来自光源812的光直接到达照相机，从而防止在所捕获的用户的眼睛的图像中的噪声。

可以调整反射器822和824之间的间距以优化图像质量。为了最佳成像条件，反射器822和824可以尽可能彼此靠近。然而，如果反射器822和824彼此靠得太近，一些光可能由于来自反射器822和824的多径反射而损失。此外，这个配置可能导致杂散光834，如图8A所示。另一方面，对于最佳照明条件，反射器822和824可以尽可能远离彼此。然而，如果反射器822和824相隔太远，对于由眼睛反射并入射在照相机上的光，在成像路径中可能有信号的损失。因此，可以达成优化由照相机产生的图像的整体质量的折衷。

凹进棱镜836可以用作光束转向部件以朝着用户的眼睛重新引导来自光源812的光。可以通过任何合适的方法(例如灰度光刻法)在基板816的向外耦合表面832处形成凹进棱镜836。凹进棱镜836的形状可以被配置成提供一定量的倾斜，使得发射光838到达用户的眼睛。

发射光838可以传播穿过向外耦合表面832，且然后可以由用户的眼睛朝着反射器824反射，反射器824朝着照相机进一步反射光。反射器824可以倾斜一角度，使得反射光到达照相机。如果使用多个光源和多个对应的反射涂层，则每个反射涂层可以以不同的角度倾斜以朝着照相机反射来自用户的眼睛的光。

反射器822和824可以是反射近红外光并透射可见光的热反射镜涂层。此外，反射器822和824可以在基板816内的棱镜的平坦表面上形成。菲涅尔透镜可以在每个平坦表面上形成，以便聚焦反射光。可选地，反射器822和824可以在基板816内的棱镜的弯曲表面上形成。弯曲表面可以包括凹表面、凸表面、圆柱形表面、非球形表面和/或自由曲面。

如图8B所示，照明系统801可以包括可以安装在基板846的安装表面858上的光源842。光源842可以以任何合适的方式(例如晶片键合)安装在安装表面858上。光源842可以位于用户的眼睛的视场内。如上面所讨论的，光源842可以具有例如小于200μm的非常小的形状因子，使得光源842对用户实际上是不可见的。基板846可以由对可见光和近红外光透明的任何合适的材料(例如玻璃、石英、塑料、聚合物、陶瓷或晶体)制成。

照明系统801还可以包括反射器852和854。反射器852可以被配置成遮蔽光源842而避开照相机(未示出)的视场。反射器852和854可以以与上面关于图6所述的类似的方式形成。可选地，反射器852和854可以以任何合适的方式形成，并且可以是独立的反射镜、介质叠层、反射涂层或任何其他反射材料。反射器852和854可以是菲涅尔反射器。

光源842可以被定位成使得光860的第一部分在反射器852和854之间传播，光860的第二部分朝着向外耦合表面862被反射器852透射，并且光860的第三部分朝着反射器854被反射器852反射。光860的第三部分的一些穿过反射器854，并作为杂散光864透射穿过安装表面858。光860的第三部分的剩余部分由反射器854朝着向外耦合表面852反射。反射器852可以防止来自光源842的光直接到达照相机，从而防止在所捕获的用户的眼睛的图像中的噪声。

可以调整反射器852和854之间的间距以优化图像质量。为了最佳成像条件，反射器852和854可以尽可能彼此靠近。然而，如果反射器852和854彼此靠得太近，一些光可能由于来自反射器852和854的多径反射而损失。此外，这个配置可能导致杂散光864，如图8B所示。另一方面，对于最佳照明条件，反射器852和854可以尽可能远离彼此。然而，如果反射器852和854相隔太远，对于由眼睛反射并入射在照相机上的光，在成像路径中可能有信号的损失。因此，可以达成优化由照相机产生的图像的整体质量的折衷。

凹进棱镜866可以用作光束转向部件以朝着用户的眼睛重新引导来自光源842的光。可以通过任何合适的方法(例如灰度光刻法)在基板846的向外耦合表面862上形成凹进棱镜866。凹进棱镜866的形状可以被配置成提供一定量的倾斜，使得发射光868到达用户的眼睛。如图8B所示，凹进棱镜866比凹进棱镜836提供更大的倾斜量。

发射光868可以传播穿过向外耦合表面862，且然后可以由用户的眼睛朝着反射器854反射，反射器854朝着照相机进一步反射光。反射器854可以倾斜一角度，使得反射光到达照相机。如果使用多个光源和多个对应的反射涂层，则每个反射涂层可以以不同的角度倾斜以朝着照相机反射来自用户的眼睛的光。

反射器852和854可以是反射近红外光并透射可见光的热反射镜涂层。此外，反射器852和854可以在基板846内的棱镜的平坦表面上形成。菲涅尔透镜可以在每个平坦表面上形成，以便聚焦反射光。可选地，反射器852和854可以在基板846内的棱镜的弯曲表面上形成。弯曲表面可以包括凹表面、凸表面、圆柱形表面、非球形表面和/或自由曲面。

如图8C所示，照明系统802可以包括可以安装在基板876的安装表面888上的光源872。光源872可以以任何合适的方式(例如晶片键合)安装在安装表面888上。光源872可以位于用户的眼睛的视场内。如上面所讨论的，光源872可以具有例如小于200μm的非常小的形状因子，使得光源872对用户实际上是不可见的。基板876可以由对可见光和近红外光透明的任何合适的材料(例如玻璃、石英、塑料、聚合物、陶瓷或晶体)制成。

照明系统802还可以包括反射器882和884。反射器882可以被配置成遮蔽光源872以避开照相机(未示出)的视场。反射器882和884可以以与上面关于图6所述的类似的方式形成。可选地，反射器882和884可以以任何合适的方式形成，并且可以是独立的反射镜、介质叠层、反射涂层或任何其他反射材料。反射器882和884可以是菲涅尔反射器。

光源872可以被定位成使得光890的第一部分在反射器882和884之间传播，光890的第二部分朝着向外耦合表面892被反射器882透射，并且光890的第三部分朝着反射器884被反射器882反射。光890的第三部分的一些穿过反射器884，并作为杂散光894透射穿过安装表面888。光890的第三部分的剩余部分由反射器884朝着向外耦合表面882反射。反射器882可以防止来自光源872的光直接到达照相机，从而防止在所捕获的用户的眼睛的图像中的噪声。

可以调整反射器882和884之间的间距以优化图像质量。为了最佳成像条件，反射器882和884可以尽可能彼此靠近。然而，如果反射器882和884彼此靠得太近，一些光可能由于来自反射器882和884的多径反射而损失。此外，这个配置可能导致杂散光894，如图8C所示。另一方面，对于最佳照明条件，反射器882和884可以尽可能远离彼此。然而，如果反射器882和884相隔太远，对于由眼睛反射并入射在照相机上的光，在成像路径中可能有信号的损失。因此，可以达成优化由照相机产生的图像的整体质量的折衷。

凹进棱镜896可以用作光束转向部件以朝着用户的眼睛重新引导来自光源872的光。可以通过任何合适的方法(例如灰度光刻法)在基板876的向外耦合表面892上形成凹进棱镜896。凹进棱镜896的形状可以被配置成提供一定量的倾斜，使得发射光898到达用户的眼睛。如图8C所示，凹进棱镜896比凹进棱镜836和866提供更大的倾斜量。

发射光898可以传播穿过向外耦合表面892，且然后可以由用户的眼睛朝着反射器884反射，反射器884朝着照相机进一步反射光。反射器884可以倾斜一角度，使得反射光到达照相机。如果使用多个光源和多个对应的反射涂层，则每个反射涂层可以以不同的角度倾斜，以朝着照相机反射来自用户的眼睛的光。

反射器882和884可以是反射近红外光并透射可见光的热反射镜涂层。此外，反射器882和884可以在基板876内的棱镜的平坦表面上形成。菲涅尔透镜可以在每个平坦表面上形成，以便聚焦反射光。可选地，反射器882和884可以在基板876内的棱镜的弯曲表面上形成。弯曲表面可以包括凹表面、凸表面、圆柱形表面、非球形表面和/或自由曲面。

图9A-图9C是根据某些实施例的用于在示例近眼显示器中的眼睛跟踪的示例照明系统900、901和902的简图。图9A-图9C仅仅是说明性的，且并不是按比例绘制的。图9A-图9C示出了使用光束转向部件朝着用户的眼睛引导来自光源的光。在图9A-图9C所示的示例中，光束转向部件可以是在基板的向外耦合表面处形成的突出棱镜(protruding prism)或圆锥体。

如图9A所示，照明系统900可以包括可以安装在基板916的安装表面928上的光源912。光源912可以以任何合适的方式(例如晶片键合)安装在安装表面928上。光源912可以位于用户的眼睛的视场内。如上面所讨论的，光源912可以具有例如小于200μm的非常小的形状因子，使得光源912对于用户实际上是不可见的。基板916可以由对可见光和近红外光透明的任何合适的材料(例如玻璃、石英、塑料、聚合物、陶瓷或晶体)制成。

照明系统900还可以包括反射器922和924。反射器922可以被配置成遮蔽光源912而避开照相机(未示出)的视场。反射器922和924可以以与上面关于图6所述的类似的方式形成。可选地，反射器922和924可以以任何合适的方式形成，并且可以是独立的反射镜、介质叠层、反射涂层或任何其他反射材料。反射器922和924可以是菲涅尔反射器。

光源912可以被定位成使得光930在反射器922和924之间行进，并且不会入射在反射器922或924上，从而防止杂散光朝着安装表面928被反射。此外，反射器922防止来自光源912的光直接到达照相机，从而防止在所捕获的用户的眼睛的图像中的噪声。

突出棱镜936可以用作光束转向部件以朝着用户的眼睛重新引导来自光源912的光。可以通过任何合适的方法(例如任何合适的沉积方法)在基板916的向外耦合表面932处形成突出棱镜936。突出棱镜936的形状可以被配置成提供一定量的倾斜，使得发射光938到达用户的眼睛。

发射光938可以由用户的眼睛朝着反射器924反射，反射器924朝着照相机进一步反射光。反射器924可以倾斜一角度，使得反射光到达照相机。如果使用多个光源和多个对应的反射涂层，则每个反射涂层可以以不同的角度倾斜以朝着照相机反射来自用户的眼睛的光。

反射器922和924可以是反射近红外光并透射可见光的热反射镜涂层。此外，反射器922和924可以在基板916内的棱镜的平坦表面上形成。菲涅尔透镜可以在每个平坦表面上形成，以便聚焦反射光。可选地，反射器922和924可以在基板916内的棱镜的弯曲表面上形成。弯曲表面可以包括凹表面、凸表面、圆柱形表面、非球形表面和/或自由曲面。

如图9B所示，照明系统901可以包括可以安装在基板946的安装表面958上的光源942。光源942可以以任何合适的方式(例如晶片键合)安装在安装表面958上。光源942可以位于用户的眼睛的视场内。如上面所讨论的，光源942可以具有例如小于200μm的非常小的形状因子，使得光源942对于用户实际上是不可见的。基板946可以由对可见光和近红外光透明的任何合适的材料(例如玻璃、石英、塑料、聚合物、陶瓷或晶体)制成。

照明系统901还可以包括反射器952和954。反射器952可以被配置成遮蔽光源942而避开照相机(未示出)的视场。反射器952和954可以以与上面关于图6所述的类似的方式形成。可选地，反射器952和954可以以任何合适的方式形成，并且可以是独立的反射镜、介质叠层、反射涂层或任何其他反射材料。反射器952和954可以是菲涅尔反射器。

光源942可以被定位成使得光960在反射器952和954之间行进，并且不会入射在反射器952或954上，从而防止杂散光朝着安装表面958被反射。此外，反射器952防止来自光源942的光直接到达照相机，从而防止在所捕获的用户的眼睛的图像中的噪声。

突出棱镜966可以用作光束转向部件以朝着用户的眼睛重新引导来自光源942的光。可以通过任何合适的方法(例如任何合适的沉积方法)在基板946的向外耦合表面962处形成突出棱镜966。突出棱镜966的形状可以被配置成提供一定量的倾斜，使得发射光968到达用户的眼睛。如图9B所示，突出棱镜966比突出棱镜936提供更大的倾斜量。

发射光968可以由用户的眼睛朝着反射器954反射，反射器954朝着照相机进一步反射光。反射器954可以倾斜一角度，使得反射光到达照相机。如果使用多个光源和多个对应的反射涂层，则每个反射涂层可以以不同的角度倾斜以朝着照相机反射来自用户的眼睛的光。

反射器952和954可以是反射近红外光并透射可见光的热反射镜涂层。此外，反射器952和954可以在基板946内的棱镜的平坦表面上形成。菲涅尔透镜可以在每个平坦表面上形成，以便聚焦反射光。可选地，反射器952和954可以在基板946内的棱镜的弯曲表面上形成。弯曲表面可以包括凹表面、凸表面、圆柱形表面、非球形表面和/或自由曲面。

如图9C所示，照明系统902可以包括可以安装在基板976的安装表面988上的光源972。光源972可以以任何合适的方式(例如晶片键合)安装在安装表面988上。光源972可以位于用户的眼睛的视场内。如上面所讨论的，光源972可以具有例如小于200μm的非常小的形状因子，使得光源972对用户来说实际上是不可见的。基板976可以由对可见光和近红外光透明的任何合适的材料(例如玻璃、石英、塑料、聚合物、陶瓷或晶体)制成。

照明系统902还可以包括反射器982和984。反射器982可以被配置成遮蔽光源972而避开照相机(未示出)的视场。反射器982和984可以以与上面关于图6所述的类似的方式形成。可选地，反射器982和984可以以任何合适的方式形成，并且可以是独立的反射镜、介质叠层、反射涂层或任何其他反射材料。反射器982和984可以是菲涅尔反射器。

光源972可以被定位成使得光990在反射器982和984之间行进，并且不会入射在反射器982或984上，从而防止杂散光朝着安装表面988被反射。此外，反射器982防止来自光源972的光直接到达照相机，从而防止在所捕获的用户的眼睛的图像中的噪声。

突出棱镜996可以用作光束转向部件以朝着用户的眼睛重新引导来自光源972的光。可以通过任何合适的方法(例如任何合适的沉积方法)在基板976的向外耦合表面992处形成突出棱镜996。突出棱镜996的形状可以被配置成提供一定量的倾斜，使得发射光968到达用户的眼睛。如图9C所示，突出棱镜996比突出棱镜936和966提供更大的倾斜量。

发射光998可以由用户的眼睛朝着反射器984反射，反射器984朝着照相机进一步反射光。反射器984可以倾斜一角度，使得反射光到达照相机。如果使用多个光源和多个对应的反射涂层，则每个反射涂层可以以不同的角度倾斜以朝着照相机反射来自用户的眼睛的光。

反射器982和984可以是反射近红外光并透射可见光的热反射镜涂层。此外，反射器982和984可以在基板976内的棱镜的平坦表面上形成。菲涅尔透镜可以在每个平坦表面上形成，以便聚焦反射光。可选地，反射器982和984可以在基板976内的棱镜的弯曲表面上形成。弯曲表面可以包括凹表面、凸表面、圆柱形表面、非球形表面和/或自由曲面。

图10A-图10C是根据某些实施例的用于在示例近眼显示器中的眼睛跟踪的示例照明系统1000、1001和1002的简图。图10A-图10C仅仅是说明性的，且并不是按比例绘制的。图10A-图10C示出了使用光束转向部件朝着用户的眼睛引导来自光源的光。在图10A-图10C所示的示例中，光束转向部件可以是在基板内形成的反射器。尽管图10A-图10C示出了光束转向部件由两个反射器制成，但是光束转向部件可以替代地由单个反射器或任何合适数量的反射器制成。光束转向部件可以从被涂覆的表面或者通过全内反射来反射光。光束转向部件可以包括反射器、棱镜、透镜和/或衍射光栅的任何组合。

如图10A所示，照明系统1000可以包括可以安装在基板1016的安装表面1028上的光源1012。光源1012可以以任何合适的方式(例如晶片键合)安装在安装表面1028上。光源1012可以位于用户的眼睛的视场内。如上面所讨论的，光源1012可以具有例如小于200μm的非常小的形状因子，使得光源1012对于用户实际上是不可见的。基板1016可以由对可见光和近红外光透明的任何合适的材料(例如玻璃、石英、塑料、聚合物、陶瓷或晶体)制成。

照明系统1000还可以包括反射器1022和1024。反射器1022可以被配置成遮蔽光源1012而避开照相机(未示出)的视场。反射器1022和1024可以以与上面关于图6所述的类似的方式形成。可选地，反射器1022和1024可以以任何合适的方式形成，并且可以是独立的反射镜、介质叠层、反射涂层或任何其他反射材料。反射器1022和1024可以是菲涅尔反射器。

反射器1034和1036可以用作光束转向部件以朝着用户的眼睛重新引导来自光源1012的光。反射器1034和1036可以以与上面关于图6所述的类似的方式形成。例如，反射器1034和1036可以被形成为棱镜上的反射涂层，并且可以在与反射器1022和1024被形成的相同的时间形成。可选地，反射器1034和1036可以以任何合适的方式形成，并且可以是独立的反射镜、介质叠层、反射涂层或任何其他反射材料。例如，反射器1034和1036可以分别直接沉积或金刚石车削到反射器1022和1024的边缘刻面(edge facet)上。反射器1034和1036可以成角度以提供一定量的倾斜，使得发射光1038到达用户的眼睛。

光源1012可以被定位成使得光1030入射在反射器1034上，且不会入射在反射器1022或1024上，从而防止杂散光朝着安装表面1028被反射。此外，反射器1022防止来自光源1012的光直接到达照相机，从而防止在所捕获的用户的眼睛的图像中的噪声。光1030由反射器1034朝着反射器1036反射，并由反射器1036朝着向外耦合表面1032进一步反射。

发射光1038可以由用户的眼睛朝着反射器1024反射，反射器1024朝着照相机进一步反射光。反射器1024可以倾斜一角度，使得反射光到达照相机。如果使用多个光源和多个对应的反射涂层，则每个反射涂层可以以不同的角度倾斜以朝着照相机反射来自用户的眼睛的光。尽管反射器1036可以在照相机的视场内，但是反射器1036可以足够小，使得它对于照相机几乎是不可见的。例如，反射器1036可以仅出现在照相机的焦平面阵列的单个像素中。反射器1036可以具有100μm或更小的最大线性尺寸。

反射器1022和1024可以是反射近红外光并透射可见光的热反射镜涂层。此外，反射器1022和1024可以在基板1016内的棱镜的平坦表面上形成。菲涅尔透镜可以在每个平坦表面上形成，以便聚焦反射光。可选地，反射器1022和1024可以在基板1016内的棱镜的弯曲表面上形成。弯曲表面可以包括凹表面、凸表面、圆柱形表面、非球形表面和/或自由曲面。

如图10B所示，照明系统1001可以包括可以安装在基板1046的安装表面1058上的光源1042。光源1042可以以任何合适的方式(例如晶片键合)安装在安装表面1058上。光源1042可以位于用户的眼睛的视场内。如上面所讨论的，光源1042可以具有例如小于200μm的非常小的形状因子，使得光源1042对于用户实际上是不可见的。基板1046可以由对可见光和近红外光透明的任何合适的材料(例如玻璃、石英、塑料、聚合物、陶瓷或晶体)制成。

照明系统1001还可以包括反射器1052和1054。反射器1052可以被配置成遮蔽光源1042而避开照相机(未示出)的视场。反射器1052和1054可以以与上面关于图6所述的类似的方式形成。可选地，反射器1052和1054可以以任何合适的方式形成，并且可以是独立的反射镜、介质叠层、反射涂层或任何其他反射材料。反射器1052和1054可以是菲涅尔反射器。

反射器1064和1066可以用作光束转向部件以朝着用户的眼睛重新引导来自光源1042的光。反射器1064和1066可以以与上面关于图6所述的类似的方式形成。例如，反射器1064和1066可以被形成为棱镜上的反射涂层，并且可以在与反射器1052和1054被形成的相同的时间形成。可选地，反射器1064和1066可以以任何合适的方式形成，并且可以是独立的反射镜、介质叠层、反射涂层或任何其他反射材料。例如，反射器1064和1066可以分别直接沉积或金刚石车削到反射器1052和1054的边缘刻面上。反射器1064和1066可以成角度以提供一定量的倾斜，使得发射光1068到达用户的眼睛。如图10B所示，反射器1066提供比反射器1036更小的倾斜量。

光源1042可以被定位成使得光1060入射在反射器1064上，且不会入射在反射器1052或1054上，从而防止杂散光朝着安装表面1058被反射。此外，反射器1052防止来自光源1042的光直接到达照相机，从而防止在所捕获的用户的眼睛的图像中的噪声。光1060由反射器1064朝着反射器1066反射，并由反射器1066朝着向外耦合表面1062进一步反射。

发射光1068可以由用户的眼睛朝着反射器1054反射，反射器1054朝着照相机进一步反射光。反射器1054可以倾斜一角度，使得反射光到达照相机。如果使用多个光源和多个对应的反射涂层，则每个反射涂层可以以不同的角度倾斜以朝着照相机反射来自用户的眼睛的光。尽管反射器1066可以在照相机的视场内，但是反射器1066可以足够小，使得它对于照相机几乎是不可见的。例如，反射器1066可以仅出现在照相机的焦平面阵列的单个像素中。反射器1066可以具有100μm或更小的最大线性尺寸。

反射器1052和1054可以是反射近红外光并透射可见光的热反射镜涂层。此外，反射器1052和1054可以在基板1046内的棱镜的平坦表面上形成。菲涅尔透镜可以在每个平坦表面上形成，以便聚焦反射光。可选地，反射器1052和1054可以在基板1046内的棱镜的弯曲表面上形成。弯曲表面可以包括凹表面、凸表面、圆柱形表面、非球形表面和/或自由曲面。

如图10C所示，照明系统1002可以包括可以安装在基板1076的安装表面1088上的光源1072。光源1072可以以任何合适的方式(例如晶片键合)安装在安装表面1088上。光源1072可以位于用户的眼睛的视场内。如上面所讨论的，光源1072可以具有例如小于200μm的非常小的形状因子，使得光源1072对用户来说实际上是不可见的。基板1076可以由对可见光和近红外光透明的任何合适的材料(例如玻璃、石英、塑料、聚合物、陶瓷或晶体)制成。

照明系统1002还可以包括反射器1082和1084。反射器1082可以被配置成遮蔽光源1072而避开照相机(未示出)的视场。反射器1082和1084可以以与上面关于图6所述的类似的方式形成。可选地，反射器1082和1084可以以任何合适的方式形成，并且可以是独立的反射镜、介质叠层、反射涂层或任何其他反射材料。反射器1082和1084可以是菲涅尔反射器。

反射器1094和1096可以用作光束转向部件以朝着用户的眼睛重新引导来自光源1072的光。反射器1094和1096可以以与上面关于图6所述的类似的方式形成。例如，反射器1094和1096可以被形成为棱镜上的反射涂层，并且可以在与反射器1082和1084被形成的相同的时间形成。可选地，反射器1094和1096可以以任何合适的方式形成，并且可以是独立的反射镜、介质叠层、反射涂层或任何其他反射材料。例如，反射器1094和1096可以分别直接沉积或金刚石车削到反射器1082和1084的边缘刻面上。反射器1094和1096可以成角度以提供一定量的倾斜，使得发射光1098到达用户的眼睛。如图10C所示，反射器1096比反射器1036和1066提供更大的倾斜量。

光源1072可以被定位成使得光1090入射在反射器1094上，且不会入射在反射器1082或1084上，从而防止杂散光朝着安装表面1088被反射。此外，反射器1082防止来自光源1072的光直接到达照相机，从而防止在所捕获的用户的眼睛的图像中的噪声。光1090由反射器1094朝着反射器1096反射，并由反射器1096朝着向外耦合表面1092进一步反射。

发射光1098可以由用户的眼睛朝着反射器1084反射，反射器1084朝着照相机进一步反射光。反射器1084可以倾斜一角度，使得反射光到达照相机。如果使用多个光源和多个对应的反射涂层，则每个反射涂层可以以不同的角度倾斜以朝着照相机反射来自用户的眼睛的光。尽管反射器1096可以在照相机的视场内，但是反射器1096可以足够小，使得它对于照相机几乎是不可见的。例如，反射器1096可以仅出现在照相机的焦平面阵列的单个像素中。反射器1096可以具有100μm或更小的最大线性尺寸。

反射器1082和1084可以是反射近红外光并透射可见光的热反射镜涂层。此外，反射器1082和1084可以在基板1076内的棱镜的平坦表面上形成。菲涅尔透镜可以在每个平坦表面上形成，以便聚焦反射光。可选地，反射器1082和1084可以在基板1076内的棱镜的弯曲表面上形成。弯曲表面可以包括凹表面、凸表面、圆柱形表面、非球形表面和/或自由曲面。

在其他实施例中，光束转向部件可以是光栅，例如表面浮雕光栅或体布拉格光栅。例如，表面浮雕光栅可以在基板的向外耦合表面(例如图7所示的向外耦合表面732)处形成。可选地，光栅可以集成在反射器(例如图8A所示的反射器822和/或824)内。在所有实施例中，光束转向部件可以包括反射器、棱镜、透镜和/或光栅的任何组合。

图11是示出根据某些实施例的用于在近眼显示器中的眼睛跟踪的眼睛照明的示例方法的流程图1100。该方法可以由例如在图1的近眼显示器120中的眼睛跟踪单元130执行。

在框1110，在近眼显示设备中的眼睛跟踪单元的光源(例如，VCSEL或微型LED)可以发射光。光源可以在用户的眼睛的视场内。为了防止用户察觉到光源的存在或被光源的存在影响，光源在平行于光源的发射表面的平面中的最大尺寸可以小于200μm。光可以在光谱的NIR区中，例如在830nm和860nm之间或者在930nm和980nm之间。来自光源的光的发射圆锥的角度可以小于30°。

在框1120，光束转向部件可以改变来自光源的光的方向，以便朝着用户的眼睛引导来自光源的光。光束转向部件可以被设计成使得光的至少一部分以相对于垂直于用户眼睛表面的向量的一角度入射在用户的眼睛上。光的其他部分可以以其他角度入射在用户的眼睛上，或者可以不入射在用户的眼睛上。

在框1130，眼睛跟踪单元的反射器可以接收由用户的眼睛反射的光。反射器可以在用户的眼睛的视场内。由用户的眼睛反射的光可以包括由眼睛的角膜镜面地反射的光和由在眼睛内的特征(例如在眼睛的虹膜或瞳孔上的特征)漫反射或衍射的光。

在框1140，眼睛跟踪单元的照相机可以接收由反射器反射的光。由用户的眼睛反射的光可以包括由眼睛的角膜镜面地反射的光和由在眼睛内的特征(例如在眼睛的虹膜或瞳孔上的特征)漫反射或衍射的光。

在框1150，照相机可以通过使用图像传感器检测从用户的眼睛反射的光，来生成包括由用户的眼睛反射的光源的图像(“亮斑”)的图像帧。在使用多个光源的实施例中，可以在所捕获的图像帧中捕获多个亮斑。如上所述，在所捕获的图像帧中的亮斑的位置和/或在所捕获的图像帧中的对应于在眼睛的不同区域中的特征的其他特征然后可以用于确定用户的眼睛的位置。

本发明的实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，现实世界)内容组合的所生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，且其中任何一个都可以在单个通道中或在多个通道中被呈现(例如向观众产生三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台——包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统或能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台——上实现。

图12是用于实现本文公开的一些示例近眼显示器(例如，近眼显示器120)的采用头戴式显示器(HMD)设备1200的形式的示例近眼显示器的透视图。HMD设备1200可以是例如虚拟现实(VR)系统、增强现实(AR)系统、混合现实(MR)系统或其某种组合的一部分。HMD设备1200可以包括主体1220和头带1230。图12在透视图中示出了主体1220的顶侧1223、前侧1225和右侧1227。头带1230可以具有可调整或可延伸的长度。在HMD设备1200的主体1220和头带1230之间可以有足够的空间，用于允许用户将HMD设备1200安装到用户的头上。在各种实施例中，HMD设备1200可以包括附加的、更少的或不同的部件。例如，在一些实施例中，HMD设备1200可以包括如例如图2-图4所示的眼镜腿和眼镜腿末端(temple tips)，而不是头带1230。

HMD设备1200可以向用户呈现包括具有计算机生成的元素的物理真实世界环境的虚拟和/或增强视图的媒体。由HMD设备1200呈现的媒体的示例包括图像(例如二维(2D)或三维(3D)图像)、视频(例如2D或3D视频)、音频或其某种组合。图像和视频可以通过在HMD设备1200的主体1220中包围的一个或更多个显示组件(在图12中未示出)呈现给用户的每只眼睛。在各种实施例中，一个或更多个显示组件可以包括单个电子显示面板或多个电子显示面板(例如，针对用户的每只眼睛有一个显示面板)。电子显示面板的示例包括例如液晶显示器(LCD)、有机发光二极管(OLED)显示器、无机发光二极管(ILED)显示器、微型LED显示器、有源矩阵有机发光二极管(AMOLED)显示器、透明有机发光二极管(TOLED)显示器、某种其他显示器或其一些组合。HMD设备1200可以包括两个视窗(eye box)区域。

在一些实现中，HMD设备1200可以包括各种传感器(未示出)，例如深度传感器、运动传感器、位置传感器和眼睛跟踪传感器。这些传感器中的一些可以使用结构化光图案用于感测。在一些实现中，HMD设备1200可以包括用于与控制台通信的输入/输出接口。在一些实现中，HMD设备1200可以包括虚拟现实引擎(未示出)，该虚拟现实引擎可以在HMD设备1200内执行应用，并且从各种传感器接收HMD设备1200的深度信息、位置信息、加速度信息、速度信息、所预测的未来位置或其某种组合。在一些实现中，由虚拟现实引擎接收的信息可以用于向一个或更多个显示组件产生信号(例如，显示指令)。在一些实现中，HMD设备1200可以包括相对于彼此和相对于参考点位于主体1220上的固定位置中的定位器(未示出，例如定位器126)。每个定位器可以发射由外部成像设备可检测的光。

图13是用于实现本文公开的一些示例的示例近眼显示器(例如，HMD设备)的示例电子系统1300的简化框图。电子系统1300可以用作上述HMD设备1000或其他近眼显示器的电子系统。在该示例中，电子系统1300可以包括一个或更多个处理器1310和存储器1320。处理器1310可以被配置成执行用于在多个部件处执行操作的指令，并且可以是例如通用处理器或适于在便携式电子设备内实现的微处理器。处理器1310可以与在电子系统1300内的多个部件通信地耦合。为了实现这种通信耦合，处理器1310可以通过总线1340与其他示出的部件进行通信。总线1340可以是适于在电子系统1300内传输数据的任何子系统。总线1340可以包括传输数据的附加电路和多条计算机总线。

存储器1320可以耦合到处理器1310。在一些实施例中，存储器1320可以提供短期和长期存储，并且可以被分成若干个单元。存储器1320可以是易失性的(例如静态随机存取存储器(SRAM)和/或动态随机存取存储器(DRAM))和/或非易失性的(例如只读存储器(ROM)、闪存等)。此外，存储器1320可以包括可移动存储设备，例如安全数字(SD)卡。存储器1320可以为电子系统1300提供计算机可读指令、数据结构、程序模块和其他数据的存储。在一些实施例中，存储器1320可以分布在不同的硬件模块中。一组指令和/或代码可以被存储在存储器1320中。指令可以采取可以由电子系统1300可执行的可执行代码的形式，和/或可以采取源代码和/或可安装代码的形式，当在电子系统1300上(例如，使用各种通常可用的编译器、安装程序、压缩/解压缩实用程序等中的任何一种)编译和/或安装时，源代码和/或可安装代码可以采用可执行代码的形式。

在一些实施例中，存储器1320可以存储可以包括任何数量的应用的多个应用模块1322至1324。应用的示例可以包括：游戏应用、会议应用、视频回放应用或其他合适的应用。这些应用可以包括深度感测功能或眼睛跟踪功能。应用模块1322-1324可以包括要由处理器1310执行的特定指令。在一些实施例中，应用模块1322-1324中的某些应用或部分可以由其他硬件模块1380执行。在某些实施例中，存储器1320可以另外包括安全存储器，该安全存储器可以包括附加的安全控件，以防止对安全信息的复制或其他未授权的访问。

在一些实施例中，存储器1320可以包括在其中加载的操作系统1325。操作系统1325可以可操作来启动由应用模块1322-1324提供的指令的执行和/或管理其他硬件模块1380以及与无线通信子系统1330的接口，无线通信子系统1330可以包括一个或更多个无线收发器。操作系统1325可以适于在电子系统1300的组件上执行其他操作，包括线程管理(threading management)、资源管理、数据存储控制和其他类似功能。

无线通信子系统1330可以包括例如红外通信设备、无线通信设备和/或芯片组(例如

设备、IEEE 802.11设备、Wi-Fi设备、WiMax设备、蜂窝通信设施等)和/或类似的通信接口。电子系统1300可以包括用于无线通信的、作为无线通信子系统1330的一部分或者作为耦合到系统的任何部分的单独部件的一根或更多根天线1334。根据期望的功能，无线通信子系统1330可以包括单独的收发器，以与基站收发信台和其他无线设备以及接入点进行通信，这可以包括与不同的数据网络和/或网络类型(例如无线广域网(WWAN)、无线局域网(WLAN)或无线个域网(WPAN))进行通信。WWAN可以是例如WiMax(IEEE 802.16)网络。WLAN可以是例如IEEE 802.11x网络。WPAN可以是例如蓝牙网络、IEEE 802.15x或一些其他类型的网络。本文描述的技术也可以用于WWAN、WLAN和/或WPAN的任何组合。无线通信子系统1330可以允许与网络、其他计算机系统和/或本文描述的任何其他设备交换数据。无线通信子系统1330可以包括用于使用天线1334和无线链路1332发送或接收数据(例如HMD设备的标识符、位置数据、地理地图、热图、照片或视频)的装置。无线通信子系统1330、处理器1310和存储器1320可以一起包括用于执行本文公开的一些功能的装置中的一个或更多个的至少一部分。

电子系统1300的实施例还可以包括一个或更多个传感器1390。传感器1390可以包括，例如，图像传感器、加速度计、压力传感器、温度传感器、接近度传感器(proximitysensor)、磁力计、陀螺仪、惯性传感器(例如，组合了加速度计和陀螺仪的模块)、环境光传感器、或者可操作来提供感测输出(sensory output)和/或接收感测输入的任何其他类似模块(例如深度传感器或位置传感器)。例如，在一些实现中，传感器1390可以包括一个或更多个惯性测量单元(IMU)和/或一个或更多个位置传感器。IMU可以基于从一个或更多个位置传感器接收的测量信号来生成校准数据，该校准数据指示相对于HMD设备的初始位置的HMD设备的估计位置。位置传感器可以响应于HMD设备的运动而生成一个或更多个测量信号。位置传感器的示例可以包括，但不限于，一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一种合适类型的传感器、用于IMU的误差校正的一种类型的传感器或者其某种组合。位置传感器可以位于IMU的外部、IMU的内部或者这两种位置的某种组合。至少一些传感器可以使用结构化光图案进行感测。

电子系统1300可以包括显示模块1360。显示模块1360可以是近眼显示器，并且可以向用户图形地呈现来自电子系统1300的信息(例如图像、视频和各种指令)。这种信息可以从一个或更多个应用模块1322-1324、虚拟现实引擎1326、一个或更多个其他硬件模块1380、它们的组合或者(例如，通过操作系统1325)用于为用户解析图形内容的任何其他合适的装置中得到。显示模块1360可以使用液晶显示(LCD)技术、发光二极管(LED)技术(包括例如，OLED、ILED、mLED、AMOLED、TOLED等)、发光聚合物显示(LPD)技术或某种其他显示技术。

电子系统1300可以包括用户输入/输出模块1370。用户输入/输出模块1370可以允许用户向电子系统1300发送动作请求。动作请求可以是执行特定动作的请求。例如，动作请求可以是开始或结束应用，或者是在应用内执行特定动作。用户输入/输出模块1370可以包括一个或更多个输入设备。示例输入设备可以包括触摸屏、触摸板、麦克风、按钮、拨号盘、开关、键盘、鼠标、游戏控制器、或者用于接收动作请求并将接收到的动作请求传送给电子系统1300的任何其他合适的设备。在一些实施例中，用户输入/输出模块1370可以根据从电子系统1300接收的指令来向用户提供触觉反馈。例如，可以在接收到动作请求或者已经执行动作请求时提供触觉反馈。

电子系统1300可以包括可以用于拍摄用户的照片或视频(例如以用于跟踪用户的眼睛位置)的照相机1350。照相机1350也可以用于拍摄环境的照片或视频(例如，以用于VR、AR或MR应用)。照相机1350可以包括例如具有几百万或几千万像素的互补金属氧化物半导体(CMOS)图像传感器。在一些实现中，照相机1350可以包括两个或更多个照相机，它们可以用于捕获3D图像。

在一些实施例中，电子系统1300可以包括多个其他硬件模块1380。其他硬件模块1380中的每一个可以是电子系统1300内的物理模块。虽然其他硬件模块1380中的每一个可以被永久地配置为结构，但是其他硬件模块1380中的一些可以被临时配置为执行特定功能或者被临时激活。其他硬件模块1380的示例可以包括例如音频输出和/或输入模块(例如，麦克风或扬声器)、近场通信(NFC)模块、可再充电电池、电池管理系统、有线/无线电池充电系统等。在一些实施例中，其他硬件模块1380的一个或更多个功能可以在软件中实现。

在一些实施例中，电子系统1300的存储器1320还可以存储虚拟现实引擎1326。虚拟现实引擎1326可以执行电子系统1300内的应用，并从各种传感器接收HMD设备的位置信息、加速度信息、速度信息、预测的未来位置或其某种组合。在一些实施例中，由虚拟现实引擎1326接收的信息可以用于为显示模块1360产生信号(例如，显示指令)。例如，如果接收到的信息指示用户已经向左看，则虚拟现实引擎1326可以为HMD设备生成反映(mirror)用户在虚拟环境中的移动的内容。另外，虚拟现实引擎1326可以响应于从用户输入/输出模块1370接收的动作请求执行应用内的动作，并且向用户提供反馈。所提供的反馈可以是视觉、听觉或触觉反馈。在一些实现中，处理器1310可以包括可以执行虚拟现实引擎1326的一个或更多个GPU。

在各种实现中，上述硬件和模块可以在单个设备上或者在能够使用有线或无线连接与彼此通信的多个设备上被实现。例如，在一些实现中，一些部件或模块(例如GPU、虚拟现实引擎1326和应用(例如，跟踪应用))，可以在与头戴式显示设备分离的控制台上被实现。在一些实现中，一个控制台可以连接到或支持一个以上HMD。

在替代配置中，不同的和/或附加的部件可以被包括在电子系统1300中。类似地，一个或更多个部件的功能可以以不同于上述方式的方式分布在部件当中。例如在一些实施例中，电子系统1300可以被修改为包括其他系统环境，例如AR系统环境和/或MR环境。

上面讨论的方法、系统和设备是示例。各种实施例可以酌情省略、替换或添加各种过程或部件。例如，在替代配置中，所描述的方法可以以不同于所描述的顺序来被执行，和/或可以添加、省略和/或组合各个阶段。此外，关于某些实施例描述的特征可以在各种其他实施例中被组合。实施例的不同方面和元素可以以相似的方式被组合。此外，技术不断发展，且因此许多元素是示例，并不将本公开的范围限制于那些具体示例。

在描述中给出了特定细节以提供对实施例的透彻理解。然而，可以在没有这些具体细节的情况下实施实施例。例如，为了避免模糊实施例，众所周知的电路、过程、系统、结构和技术被示出而没有不必要的细节。此描述仅提供示例实施例，并不意图限制本发明的范围、适用性或配置。相反，实施例的前述描述将为本领域技术人员提供用于实现各种实施例的使能描述(enabling description)。在不脱离本公开的精神和范围的情况下，可以在元素的功能和布置方面进行各种改变。

此外，一些实施例被描述为过程，过程被描绘为流程图或框图。尽管每一个都可以将操作描述为顺序过程，但是许多操作可以并行或并发地被执行。此外，操作的顺序可以被重新排列。过程可以具有图中未包括的附加步骤。此外，可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任意组合来实现方法的实施例。当以软件、固件、中间件或微代码实现时，执行相关联的任务的程序代码或代码段可以存储在诸如存储介质的计算机可读介质中。处理器可以执行相关联的任务。

对于本领域中的技术人员将明显，可以根据特定的要求来做出实质性变化。例如，还可以使用定制的或专用的硬件，和/或可以以硬件、软件(包括便携式软件，例如小程序(applet)等)或者两者来实现特定的元素。此外，可以采用到诸如网络输入/输出设备的其他计算设备的连接。

参考附图，可以包括存储器的部件可以包括非暂时性机器可读介质。如在本文所使用的，术语“机器可读介质”和“计算机可读介质”指参与提供使机器以特定方式操作的数据的任何存储介质。在上文提供的实施例中，各种机器可读介质可以涉及向处理单元和/或其他设备提供指令/代码以供执行。附加地或替代地，机器可读介质可以用于存储和/或携带这样的指令/代码。在许多实现中，计算机可读介质是物理和/或有形存储介质。这样的介质可以采取多种形式，包括但不限于非易失性介质、易失性介质和传输介质。计算机可读介质的常见形式包括例如磁和/或光学介质(例如光盘(CD)或数字多功能盘(DVD))、穿孔卡、纸带、具有孔图案的任何其他物理介质、RAM、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、闪存-EPROM、任何其他存储器芯片或盒、下文所述的载波、或计算机可以从中读取指令和/或代码的任何其他介质。计算机程序产品可以包括代码和/或机器可执行指令，其可以表示过程、函数、子程序、程序、例程、应用(App)、子例程、模块、软件包、类、或指令、数据结构或程序语句的任意组合。

本领域中的技术人员将认识到，可以使用各种不同的技术和技能中的任一种来表示用于传递本文描述的消息的信息和信号。例如，在上面的描述中引用的数据、指令、命令、信息、信号、比特、符号和码片(chip)可以由电压、电流、电磁波、磁场或粒子、光场或粒子、或其任意组合来表示。

如本文所使用的术语“和”以及“或”可以包括多种含义，其也被预期至少部分地取决于这样的术语被使用于的上下文。一般，“或”如果用于关联列表，例如A、B或C，则意欲意指这里在包容的(inclusive)意义上使用的A、B和C以及这里在排他的(exclusive)意义上使用的A、B或C。此外，如本文所使用的术语“一个或更多个”可以用来以单数形式描述任何特征、结构或特性，或者可以用来描述特征、结构或特性的某种组合。然而，应当注意，这仅仅是说明性的示例，并且要求保护的主题不限于该示例。此外，术语“...中的至少一个”如果用于关联列表，例如A、B或C，则可以被解释为意指A、B和/或C的任何组合，例如A、AB、AC、BC、AA、ABC、AAB、AABBCCC等。

此外，虽然使用硬件和软件的特定组合描述了某些实施例，但是应当认识到，硬件和软件的其他组合也是可能的。某些实施例可以仅以硬件实现，或者仅以软件实现，或者使用它们的组合来实现。在一个示例中，可以用包含计算机程序代码或指令的计算机程序产品来实现软件，所述计算机程序代码或指令可由一个或更多个处理器执行，用于执行在本公开中描述的任何或所有步骤、操作或过程，其中计算机程序可以存储在非暂时性计算机可读介质上。本文描述的各种过程可以在相同的处理器上或者以任何组合在不同的处理器上被实现。

在设备、系统、部件或模块被描述为被配置为执行某些操作或功能的情况下，可以例如通过设计电子电路以执行操作、通过对可编程电子电路(例如微处理器)进行编程以执行操作(例如通过执行计算机指令或代码)、或者通过处理器或核心被编程为执行存储在非暂时性存储器介质上的代码或指令或者其任何组合来完成这样的配置。过程可以使用各种技术(包括但不限于用于过程间通信的传统技术)进行通信，并且不同的过程对可以使用不同的技术，或者同一对过程可以在不同的时间使用不同的技术。

说明书和附图应相应地在说明性而不是限制性意义上被看待。然而，将明显的是，在不脱离在权利要求中阐述的更广泛的精神和范围的情况下，可以对其进行添加、删减、删除以及其他修改和改变。因此，尽管已经描述了具体实施例，但是这些实施例并不意图进行限制。各种修改和等同物都在所附权利要求的范围内。

Claims (20)

1.一种用于眼睛跟踪的照明器，包括：

光源，其被配置成位于用户的眼睛的视场内；

第一反射器，其被配置成遮蔽所述光源而避开照相机的视场；以及

第二反射器，其被配置成接收由所述用户的所述眼睛反射的来自所述光源的光，并朝着所述照相机引导所述光。

2.根据权利要求1所述的照明器，其中，所述第一反射器是在第一棱镜上的第一涂层，以及所述第二反射器是在第二棱镜上的第二涂层。

3.根据权利要求2所述的照明器，其中，被所述第一反射器遮蔽的所述第二棱镜的第一部分是无涂层的，以及未被所述第一反射器遮蔽的所述第二棱镜的第二部分被所述第一涂层覆盖。

4.根据权利要求1所述的照明器，其中，所述光源被配置成发射在所述第一反射器和所述第二反射器之间传播的光。

5.根据权利要求1所述的照明器，还包括：

基板，其包括第一表面和第二表面，所述光源安装在所述第一表面上，光穿过所述第二表面朝着所述用户的所述眼睛向外耦合；以及

光束转向部件，其被配置成朝着所述用户的所述眼睛引导来自所述光源的光，

其中，所述第一反射器和所述第二反射器布置在所述第一表面和所述第二表面之间的所述基板内。

6.根据权利要求5所述的照明器，其中，所述光束转向部件在所述基板的所述第二表面上形成，朝着所述基板的所述第一表面凹进，并且具有棱镜、圆锥体、衍射光栅或透镜的形状。

7.根据权利要求5所述的照明器，其中，所述光束转向部件在所述基板的所述第二表面上形成，远离所述基板的所述第一表面突出，并且具有棱镜或圆锥体的形状。

8.根据权利要求5所述的照明器，其中：

所述光束转向部件包括第三反射器和第四反射器，所述第三反射器和所述第四反射器中的每一个布置在所述第一表面和所述第二表面之间的所述基板内，

所述第三反射器被配置成将来自所述光源的光反射到所述第四反射器，以及

所述第四反射器被配置成朝着所述基板的所述第二表面反射所述光。

9.根据权利要求5所述的照明器，其中，所述光束转向部件是在所述基板的所述第二表面处形成的表面浮雕光栅或体布拉格光栅。

10.根据权利要求1所述的照明器，其中，所述第一反射器和所述第二反射器中的每一个被配置成反射红外光并透射可见光。

11.一种用于眼睛跟踪的系统，包括：

光源，其被配置成位于用户的眼睛的视场内；

照相机，其被配置成捕获由所述用户的所述眼睛反射的所述光源的图像；

第一反射器，其被配置成遮蔽所述光源而避开所述照相机的视场；以及

第二反射器，其被配置成接收由所述用户的所述眼睛反射的来自所述光源的光，并朝着所述照相机引导所述光。

12.根据权利要求11所述的系统，其中，所述第一反射器是在第一棱镜上的第一涂层，以及所述第二反射器是在第二棱镜上的第二涂层。

13.根据权利要求12所述的系统，其中，被所述第一反射器遮蔽的所述第二棱镜的第一部分是无涂层的，以及未被所述第一反射器遮蔽的所述第二棱镜的第二部分被所述第一涂层覆盖。

14.根据权利要求11所述的系统，其中，所述光源被配置成发射在所述第一反射器和所述第二反射器之间传播的光。

15.根据权利要求11所述的系统，还包括：

基板，其包括第一表面和第二表面，所述光源安装在所述第一表面上，光穿过所述第二表面朝着所述用户的所述眼睛向外耦合；以及

光束转向部件，其被配置成朝着所述用户的所述眼睛引导来自所述光源的光，

其中，所述第一反射器和所述第二反射器布置在所述第一表面和所述第二表面之间的所述基板内。

16.根据权利要求15所述的系统，其中，所述光束转向部件在所述基板的所述第二表面上形成，朝着所述基板的所述第一表面凹进，并且具有棱镜、圆锥体、衍射光栅或透镜的形状。

17.根据权利要求15所述的系统，其中，所述光束转向部件在所述基板的所述第二表面上形成，远离所述基板的所述第一表面突出，并且具有棱镜或圆锥体的形状。

18.根据权利要求15所述的系统，其中：

所述光束转向部件包括第三反射器和第四反射器，所述第三反射器和所述第四反射器中的每一个布置在所述第一表面和所述第二表面之间的所述基板内，

所述第三反射器被配置成将来自所述光源的光反射到所述第四反射器，以及

所述第四反射器被配置成朝着所述基板的所述第二表面反射所述光。

19.根据权利要求15所述的系统，其中，所述光束转向部件是在所述基板的所述第二表面处形成的表面浮雕光栅或体布拉格光栅。

20.根据权利要求11所述的系统，其中，所述第一反射器和所述第二反射器中的每一个被配置成反射红外光并透射可见光。

Images