CN116137801A - 使用交替采样的眼睛跟踪 - Google Patents

Abstract

眼睛跟踪系统可包括第一相机，该第一相机被配置为以第一采样率捕获右眼的第一多个视觉数据。该系统可包括第二相机，该第二相机被配置为以第二采样率捕获左眼的第二多个视觉数据。第二多个视觉数据可以在与第一多个视觉数据不同的采样时间期间被捕获。该系统可以基于第一和第二多个视觉数据中的至少一些视觉数据来估计在采样时间的右眼或左眼中的至少一个的视觉数据，在该采样时间期间，正在为其估计视觉数据的眼睛的视觉数据没有被捕获。可以基于所估计的视觉数据中的至少一些和第一或第二多个视觉数据中的至少一些视觉数据来确定眼睛的眼睛移动。

Description

使用交替采样的眼睛跟踪

相关申请的交叉引用

本申请要求于2020年7月23日提交的美国临时专利申请号63/055,807和于2020年7月29日提交的美国临时专利申请号63/058,383的优先权，其中的每一个以全部内容通过引用并入本文。

技术领域

本公开涉及显示系统、虚拟现实和增强现实成像和可视化系统。

背景技术

现代的计算和显示技术已经促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统的发展，其中，以它们看起来是真实的或者可被感知为是真实的方式向用户呈现数字再现的图像或其一部分。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而对其他实际现实世界视觉输入不透明；增强现实或“AR”场景通常涉及数字或虚拟图像信息的呈现，以作为对用户周围现实世界的可视化增强；混合现实或“MR”与融合现实世界和虚拟世界有关，以产生物理和虚拟对象共存并实时交互的新环境。事实证明，人类的视觉感知系统非常复杂，产生促进虚拟图像元素尤其其他虚拟或现实图像元素的舒适、感觉自然、丰富的呈现的VR、AR或MR技术是具有挑战性的。本文公开的系统和方法解决了与VR、AR和MR技术有关的各种挑战。

发明内容

一种眼睛跟踪系统可包括：第一相机，其被配置为以第一采样率捕获用户的右眼的第一多个视觉数据；以及第二相机，其被配置为以第二采样率捕获用户的左眼的第二多个视觉数据。第二多个视觉数据可以在与第一多个视觉数据不同的采样时间期间被捕获。该系统可包括：处理电子器件，其被配置为基于第一和第二多个视觉数据中的至少一些视觉数据，在未捕获正在被估计的视觉数据的眼睛的视觉数据的采样时间期间，估计右眼或左眼中的至少一个的视觉数据。处理电子器件可以被配置为基于所估计的视觉数据中的至少一些和第一或第二多个视觉数据中的至少一些视觉数据来确定眼睛的眼睛移动。

在各种实施方式中，第一相机和第二相机的组合采样率可以是第一采样率和第二采样率的聚合。第一采样率和/或第二采样率可以是30Hz、40Hz、60Hz、100Hz、120Hz或另一采样率。第一和第二相机可以被配置为交替捕获第一和第二多个视觉数据。处理电子器件可以被配置为基于右眼的第一多个视觉数据中的至少一个视觉数据与左眼的第二多个视觉数据中的至少一个视觉数据之间的差异的确定来估计视觉数据。处理电子器件还可以被配置为基于对差异进行滤波来估计右眼或左眼的视觉数据。

在一些实施方式中，可穿戴显示系统可以包括前述段落中的任何一个的眼睛跟踪系统和/或本文所描述的眼睛跟踪系统中的任何一个以及被配置为呈现虚拟内容的显示器。处理电子器件可以使得显示器基于眼睛移动呈现虚拟内容。显示器可以是头戴式显示器。

本说明书中描述的主题的一种或多种实施方式的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，其他特征、方面和优点将变得显而易见。该概述或以下详细描述均不旨在限定或限制本发明主题的范围。

附图说明

图1描绘了具有由人观看的某些物理对象和某些虚拟现实对象的混合现实场景的图示。

图2示意性地示出了可穿戴系统的示例。

图3示意性地示出了可穿戴系统的示例组件。

图4示意性地示出了用于将图像信息输出给用户的可穿戴设备的波导堆叠的示例。

图5示意性地示出了眼睛的示例。

图5A示意性地示出了用于确定眼睛的眼睛姿势的示例坐标系统。

图6是包括眼睛跟踪系统的可穿戴系统的示意图。

图7A和7B是示出捕获左眼和右眼的视觉数据的图。

图8是示出使用交替采样来捕获左眼和右眼的视觉数据的图。

图9是示出使用交替采样针对每只眼睛利用多个相机捕获左眼和右眼的视觉数据的图。

图10是示出用于眼睛跟踪的示例方法的流程图。

在所有附图中，参考标号可被重复使用以指示参考元件之间的对应关系。提供附图是为了说明本文描述的示例实施例，而无意于限制本公开的范围。

具体实施方式

现在将参考附图，在附图中，相同的附图标记始终指代相同的部分。除非另有说明，否则附图是示意性的，不一定按比例绘制。

可穿戴系统的3D显示器的示例

可穿戴系统(在本文中也称为增强现实(AR)系统)可被配置为向用户呈现2D或3D虚拟图像。图像可以是静止图像、视频的帧、或视频、或组合等。可穿戴系统的至少一部分可以被实现在可穿戴设备上，该可穿戴设备可以单独或组合地为用户交互来呈现VR、AR或MR环境。可穿戴设备可以互换地用作AR设备(ARD)。此外，出于本公开的目的，术语“AR”与术语“MR”可互换使用。

图1描绘了具有某些虚拟现实对象以及由人观看的某些物理对象的混合现实场景的图示。在图1中，描绘了MR场景100，其中，MR技术的用户看到现实世界的公园状的设置110，其特征在于背景中的人、树、建筑物、以及混凝土平台120。除了这些项目之外，MR技术的用户还感知到他“看到”了站在现实世界平台120上的机器人雕像130，以及飞行的卡通状的化身角色140，似乎是大黄蜂的化身，即使这些元素在现实世界中不存在。

为了使3D显示器产生真实的深度感，更具体地说，产生表面深度的模拟感，可能希望显示器的视场中的每个点都生成与其虚拟深度相对应的调节响应。如果对显示点的调节响应不符合该点的虚拟深度(如由双目深度会聚提示和立体视觉确定)，则人眼可能会遇到适应冲突，从而导致成像不稳定、有害的眼睛疲劳、头痛、以及缺乏适应信息的情况下几乎完全缺乏表面深度(surface depth)。

可以通过具有显示器的显示系统来提供VR、AR和MR体验，在该显示器中，将与多个深度平面相对应的图像提供给观看者。图像对于每个深度平面可能是不同的(例如，提供场景或对象的稍有不同的呈现)，并且可能会被观看者的眼睛分别聚焦，从而有助于基于眼睛所需的适应向用户提供深度提示，为位于不同深度平面上的场景或基于观察不同深度平面上的不同图像特征失焦而聚焦不同图像特征。如本文其他地方所讨论的，这样的深度提示提供了对深度的可信感知。

图2示出了可被配置为提供AR/VR/MR场景的可穿戴系统200的示例。可穿戴系统200也可以称为AR系统200。可穿戴系统200包括显示器220以及支持显示器220的功能的各种机械和电子模块和系统。显示器220可以耦合到可由用户、穿戴者或观看者210穿戴的框架230。显示器220可以位于用户210的眼睛的前面。显示器220可以向用户呈现AR/VR/MR内容。显示器220可以包括佩戴在用户的头部上的头戴式显示器(HMD)。

在一些实施例中，扬声器240耦合到框架230并且邻近用户的耳道定位(在一些实施例中，未示出的另一个扬声器可以邻近用户的另一耳道定位，以提供立体声/可塑造声音控制)。显示器220可以包括用于检测来自环境的音频流并捕获环境声音的音频传感器(例如，麦克风)232。在一些实施例中，未示出的一个或多个其他音频传感器被定位为提供立体声接收。立体声接收可以用来确定声源的位置。可穿戴系统200可以对音频流执行声音或语音识别。

可穿戴系统200可以包括面向外部的成像系统464(图4所示)，该成像系统464观察用户周围的环境中的世界。可穿戴系统200还可以包括可用于跟踪用户的眼睛移动的面向内部的成像系统462(图4所示)。面向内部的成像系统可以跟踪一只眼睛的移动或两只眼睛的移动。面向内部的成像系统462可以附接到框架230，并且可以与处理模块260或270电连通，处理模块260或270可以处理由面向内部的成像系统获取的图像信息以确定例如用户210的眼睛的瞳孔直径或定向、眼睛移动或眼睛姿势。面向内部的成像系统462可以包括一个或多个相机。例如，至少一个相机可以用于对每只眼睛成像。相机获取的图像可以用于分别确定每只眼睛的瞳孔大小或眼睛姿势，从而允许将图像信息呈现给每只眼睛以动态地适应该只眼睛。

作为示例，可穿戴系统200可以使用面向外部的成像系统464或面向内部的成像系统462来获取用户的姿势的图像。图像可以是静止图像、视频的帧、或视频。

显示器220可以例如通过有线引线或无线连接250可操作地耦合到本地数据处理模块260，该本地数据处理模块260可以以各种配置安装，例如，固定地附接到框架230、固定地附接到用户穿戴的头盔或帽子上、嵌入耳机中、或以其他方式可拆卸地附接到用户210(例如，以背包式配置、皮带耦合式配置)。

本地处理和数据模块260可以包括硬件处理器以及数字存储器(例如，非易失性存储器(例如，闪存))，两者均可以用于协助处理、缓存和存储数据。数据可以包括：a)从传感器(其可以例如可操作地耦合到框架230或以其他方式附接到用户210)捕获的数据，例如图像捕获设备(例如，面向内部的成像系统或面向外部的成像系统中的相机)、音频传感器(例如，麦克风)、惯性测量单元(IMU)、加速度计、指南针、全球定位系统(GPS)单元、无线电设备或陀螺仪；或b)使用远程处理模块270或远程数据存储库280获取或处理的数据，可能在这样的处理或检索之后传递给显示器220。本地处理和数据模块260可以通过通信链路262或264(例如，经由有线或无线通信链路)可操作地耦合到远程处理模块270或远程数据存储库280，使得这些远程模块可用作本地处理和数据模块260的资源。此外，远程处理模块280和远程数据存储库280可以可操作地彼此耦合。

在一些实施例中，远程处理模块270可以包括被配置为分析和处理数据或图像信息的一个或多个处理器。在一些实施例中，远程数据存储库280可以是数字数据存储设施，其可以通过互联网或“云”资源配置中的其他网络配置来使用。在一些实施例中，所有数据被存储并且所有计算在本地处理和数据模块中执行，从而允许来自远程模块的完全自主的使用。

可穿戴系统的示例组件

图3示意性地示出了可穿戴系统的示例组件。图3示出了可穿戴系统200，其可包括显示器220和框架230。分解图202示意性地示出了可穿戴系统200的各个组件。在某些实施方式中，图3所示的组件中的一个或多个可以是显示器220的一部分。单独或组合的各种组件可以收集与可穿戴系统200的用户或用户的环境相关联的各种数据(例如，音频、图像或视频数据)。应当理解，取决于对其使用可穿戴系统的应用，其他实施例可以具有更多或更少的组件。尽管如此，图3提供了各种组件中的一些以及可以通过可穿戴系统收集、分析和存储的数据的类型的基本思想。

图3示出了可以包括显示器220的示例可穿戴系统200。显示器220可以包括可以安装到用户的头部或外壳或框架230的显示透镜226，该显示透镜226与框架230相对应。显示透镜226可以包括一个或多个透明镜，该透明镜由外壳230定位在用户的眼睛302、304的前面，并且可被配置为将投射的光338弹射到眼睛302、304中并促进光束整形，同时还允许透射至少一些来自本地环境的光。投射的光束338的波前(wavefront)可以被弯曲或聚焦以与投射的光的期望焦距一致。如图所示，两个广视场机器视觉相机316(也称为世界相机)可以耦合到外壳230以对用户周围的环境成像。这些相机316可以是双重捕获可见光/不可见(例如，红外)光相机。相机316可以是图4中所示的面向外部的成像系统464的一部分。由世界相机316获取的图像可以由姿势处理器336处理。例如，姿势处理器336可以实现一个或多个对象识别器以标识用户或在用户的环境中的另一个人的姿势或标识在用户的环境中的物理对象。

继续参考图3，示出了具有显示镜和光学器件的一对扫描激光成形波前(例如，对于深度)光投影仪模块，其被配置为将光338投射到眼睛302、304中。所描绘的视图还示出了与红外光源326(例如，发光二极管“LED”)配对的两个微型红外相机324，其被配置为能够跟踪用户的眼睛302、304以支持渲染和用户输入。相机324可以是图4所示的面向内部的成像系统462的一部分。可穿戴系统200的特征还在于传感器组件339，该传感器组件339可包括X、Y和Z轴加速度计能力以及磁指南针以及X、Y和Z轴陀螺仪能力，优选地以相对较高的频率(例如，200Hz)提供数据。传感器组件339可以是参考图2A描述的IMU的一部分。所描绘的系统200还可以包括头部姿势处理器336，诸如ASIC(专用集成电路)、FPGA(现场可编程门阵列)或ARM处理器(高级简化指令集机器)，其可被配置为根据从捕获设备316输出的宽视场图像信息来计算实时或近实时用户头部姿势。头部姿势处理器336可以是硬件处理器，并且可以被实现为图2A中所示的本地处理和数据模块260的一部分。

可穿戴系统还可以包括一个或多个深度传感器234。深度传感器234可被配置为测量环境中的对象到可穿戴设备之间的距离。深度传感器234可包括激光扫描仪(例如，激光雷达)、超声深度传感器、或深度感测相机。在某些实施方式中，在相机316具有深度感测能力的情况下，相机316也可以被认为是深度传感器234。

还示出了处理器332，其被配置为执行数字或模拟处理以根据来自传感器组件339的陀螺仪、指南针或加速度计数据导出姿势。处理器332可以是图2中所示的本地处理和数据模块260的一部分。如图3所示的可穿戴系统200还可以包括诸如GPS 337(全球定位系统)之类的定位系统，以辅助姿势和定位分析。另外，GPS可以进一步提供关于用户的环境的基于远程的(例如，基于云的)信息。此信息可用于识别用户的环境中的对象或信息。

可穿戴系统可以组合由GPS 337和远程计算系统(例如，远程处理模块270、另一个用户的ARD等)获取的数据，该数据可以提供有关用户的环境的更多信息。作为一个示例，可穿戴系统可以基于GPS数据确定用户的位置，并检索包括与用户的位置相关联的虚拟对象的世界地图(例如，通过与远程处理模块270通信)。作为另一个示例，可穿戴系统200可以使用世界相机316(其可以是图4所示的面向外部的成像系统464的一部分)来监控环境。基于由世界相机316获取的图像，可穿戴系统200可以检测环境中的对象。可穿戴系统可以进一步使用由GPS 337获取的数据来解释角色。

可穿戴系统200还可包括渲染引擎334，该渲染引擎334可被配置为提供用户本地的渲染信息，以促进扫描仪的操作和成像到用户的眼睛中，以供用户观看世界。渲染引擎334可以由硬件处理器(例如，中央处理单元或图形处理单元)实现。在一些实施例中，渲染引擎是本地处理和数据模块260的一部分。渲染引擎334可以可通信地(例如，经由有线或无线链路)耦合到可穿戴系统200的其他组件。例如，渲染引擎334可以经由通信链路274耦合到眼睛相机324，并且可以经由通信链路272耦合到投射子系统318(其可以以类似于视网膜扫描显示器的方式经由扫描的激光布置将光投射到用户的眼睛302、304中)。渲染引擎334还可以分别经由链路276和294与其他处理单元通信，例如，传感器姿势处理器332和图像姿势处理器336。

相机324(例如，微型红外相机)可以用来跟踪眼睛的姿势以支持渲染和用户输入。一些示例眼睛姿势可以包括用户正在看的地方、或他或她正聚焦的深度(这可以通过眼睛聚散(vergence)来估计)。GPS 337、陀螺仪、指南针和加速度计339可用于提供粗略或快速的姿势估计。相机316中的一个或多个可以获取图像和姿势，这些图像和姿势与来自关联的云计算资源的数据一起可以用于映射本地环境并与其他用户共享用户视图。

图3所示的示例组件仅用于说明目的。为了便于说明和描述，一起显示了多个传感器和其他功能模块。一些实施例可以仅包括这些传感器或模块中的一个或子集。此外，这些组件的位置不限于图3所示的位置。某些组件可安装到其他组件或容纳在其他组件中，例如，皮带安装组件、手持组件或头盔组件。作为一个示例，图像姿势处理器336、传感器姿势处理器332和渲染引擎334可以被放置在皮带包中，并且被配置为经由无线通信(例如，超宽带、Wi-Fi、蓝牙等)或经由有线通信与可穿戴系统的其他组件通信。所描绘的外壳230优选地是用户可头戴的和可穿戴的。但是，可穿戴系统200的某些组件可能会穿戴到用户的身体的其他部分。例如，扬声器240可以被插入用户的耳朵中以向用户提供声音。

关于光338到用户的眼睛302、304中的投射，在一些实施例中，相机324可以用于测量用户的眼睛的中心在几何上被聚散到的位置，这通常与眼睛的焦点位置或“焦深”一致。眼睛聚散到的所有点的三维表面可以称为“双眼单视界(horopter)”。焦距可以具有有限量的深度，或者可以无限变化。从聚散距离投射的光似乎聚焦到了受试者眼睛302、304，而在聚散距离之前或之后的光却变得模糊了。在美国专利公开号2016/0270656(其全部内容通过引用合并于此)中也描述了本公开的可穿戴设备和其他显示系统的示例。

人的视觉系统是复杂的，并且提供对深度的真实感是具有挑战性的。由于组合了聚散(vergence)和适应，对象的观看者可以将对象感知为三维。两只眼睛相对于彼此的聚散移动(即，瞳孔相向或远离彼此的滚动移动以收敛眼睛的视线以固定在对象上)与眼睛晶状体的聚焦(或“适应”)紧密相关联。在正常情况下，在称为“适应－聚散反射”(accommodation-vergence reflex)的关系下，改变眼睛晶状体的焦点或适应眼睛以将焦点从一个对象变化为不同距离的另一对象，将自动导致在相同距离上的聚散的匹配变化。同样，在正常情况下，聚散的改变将触发适应的匹配变化。在适应和聚散之间提供更好匹配的显示系统可以形成更逼真和舒适的三维图像模拟。

人眼可以正确地分辨出光束直径小于约0.7mm的空间相干光，而无论眼睛聚焦在何处。因此，为了产生适当的焦深的错觉，可以用相机324跟踪眼睛聚散，并且可以利用渲染引擎334和投射子系统318来将所有对象渲染聚焦在双眼单视界上或附近，以及将所有其他对象以不同程度的失焦(例如，使用故意创建的模糊)。优选地，系统220以大约每秒60帧或更高的帧速率向用户渲染。如上所述，优选地，相机324可以用于眼睛跟踪，并且软件可被配置为不仅拾取聚散几何形状，而且拾取焦点位置提示以用作用户输入。优选地，这种显示系统配置有适合白天或晚上使用的亮度和对比度。

在一些实施例中，显示系统优选地具有小于约20毫秒的视觉对象对齐延迟，小于约0.1度的角度对齐和约1弧分的分辨率，这不受理论限制地被认为大约是人眼的极限。显示系统220可以与定位系统集成在一起，该定位系统可以涉及GPS元件、光学跟踪、指南针、加速度计或其他数据源，以帮助确定位置和姿势；定位信息可用于促进用户观看相关世界时的准确渲染(例如，此类信息将有助于眼镜了解它们相对于现实世界的位置)。

在一些实施例中，可穿戴系统200被配置为基于用户的眼睛的适应来显示一个或多个虚拟图像。在一些实施例中，不同于迫使用户聚焦在图像被投射的地方的现有3D显示方法，可穿戴系统被配置为自动变化投射的虚拟内容的焦点，以允许更舒适地观看呈现给用户的一个或多个图像。例如，如果用户的眼睛当前焦点为1m，则可以投射图像以使其与用户的焦点一致。如果用户将焦点移至3m，则投射图像以使其与新焦点一致。因此，一些实施例的可穿戴系统200不是迫使用户达到预定的焦点，而是允许用户的眼睛以更自然的方式起作用。

这样的可穿戴系统200可以消除或减少通常关于虚拟现实设备观察到的眼睛压力、头痛和其他生理症状的发生。为了实现这一点，可穿戴系统200的各种实施例被配置为通过一个或多个可变聚焦元件(VFE)以变化的焦距投射虚拟图像。在一个或多个实施例中，可以通过多平面聚焦系统来实现3D感知，该多平面聚焦系统在远离用户的固定焦平面上投射图像。其他实施例采用可变平面焦点，其中，焦平面在z方向上前后移动，以与用户的当前焦点状态一致。

在多平面聚焦系统和可变平面聚焦系统中，可穿戴系统200都可以使用眼睛跟踪来确定用户的眼睛的聚散，确定用户的当前聚焦以及以确定的聚焦投射虚拟图像。在其他实施例中，可穿戴系统200包括光调制器，该光调制器通过光纤扫描仪或其他光产生源以可变的方式以不同的焦点以光栅图案跨视网膜投射光束。因此，如在美国专利公开号2016/0270656中进一步描述的(其全部内容通过引用合并于此)，可穿戴系统200的显示器以变化的焦距投射图像的能力不仅使用户轻松适应以观看3D对象，而且还可以用于补偿用户眼部异常。在一些其他实施例中，空间光调制器可以通过各种光学组件将图像投射到用户。例如，如下文进一步所述，空间光调制器可将图像投射到一个或多个波导上，波导然后将图像发送给用户。

波导堆叠组件

图4示出了用于向用户输出图像信息的波导堆叠的示例。可穿戴系统400包括波导的堆叠或堆叠的波导组件480，其可以被用于使用多个波导432b、434b、436b、438b、4400b向眼睛/大脑提供三维感知。在一些实施例中，可穿戴系统400可以对应于图2的可穿戴系统200，图4示意性地更详细地示出了该可穿戴系统200的一些部分。例如，在一些实施例中，波导组件480可以集成到图2的显示器220中。

继续参考图4，波导组件480还可在波导之间包括多个特征458、456、454、452。在一些实施例中，特征458、456、454、452可以是透镜。在其他实施例中，特征458、456、454、452可以不是透镜。而是，它们可以简单地是间隔件(例如，用于形成气隙的包层或结构)。

波导432b、434b、436b、438b、440b或多个透镜458、456、454、452可被配置为以各种级别的波前曲率或光线发散将图像信息发送到眼睛。每个波导级别可以与特定的深度平面相关联，并且可被配置为输出与该深度平面相对应的图像信息。图像注入设备420、422、424、426、428可被用于将图像信息注入波导440b、438b、436b、434b、432b，每个波导可被配置为将入射光分布在每个相应的波导上，以向眼睛410输出。光离开图像注入设备420、422、424、426、428的输出表面，并且被注入到波导440b、438b、436b、434b、432b的对应输入边缘中。在一些实施例中，可以将单个光束(例如，准直光束)注入每个波导中，以输出克隆的准直光束的整个视场，该准直光束以对应于与特定波导相关联的深度平面的特定角度(和发散量)指向眼睛410。

在一些实施例中，图像注入设备420、422、424、426、428是分立的显示器，其各自产生图像信息以分别注入到对应的波导440b、438b、436b、434b、432b中。在一些其他实施例中，图像注入设备420、422、424、426、428是单个多路复用显示器的输出端，其可以例如经由一个或多个光导管(例如，光纤电缆)将图像信息输送到图像注入设备420、422、424、426、428中的每一个。

控制器460控制堆叠的波导组件480和图像注入设备420、422、424、426、428的操作。控制器460包括编程(例如，非暂时性计算机可读介质中的指令)，该编程调制定时和向波导440b、438b、436b、434b、432b提供图像信息。在一些实施例中，控制器460可以是单个集成设备，或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中，控制器460可以是处理模块260或270(在图2中示出)的一部分。

波导440b、438b、436b、434b、432b可被配置为通过全内反射(TIR)在每个相应波导内传播光。波导440b、438b、436b、434b、432b每个可以是平面的或具有另一种形状(例如，弯曲的)，并且可以具有主要的顶部和底部表面以及在那些主要的顶部和底部表面之间延伸的边缘。在所示的配置中，波导440b、438b、436b、434b、432b可各自包括光提取光学元件440a、438a、436a、434a、432a，光提取光学元件440a、438a、436a、434a、432a被配置为通过使光重定向、在各个波导内传播从而从波导中提取光以将图像信息输出到眼睛410。提取的光也可以称为出耦合光，并且光提取光学元件也可以称为出耦合光学元件。提取的光束由波导在波导中传播的光撞击光重定向元件的位置处输出。光提取光学元件(440a、438a、436a、434a、432a)可以例如是反射或衍射光学特征。虽然为了便于描述和绘图清楚起见，示出了设置在波导440b、438b、436b、434b、432b的底部主表面上，但是在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以设置在顶部主表面或底部主表面上，或者可以直接设置在波导440b、438b、436b、434b、432b的体积中。在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以形成在材料层中，该材料层附接到透明基板上以形成波导440b、438b、436b、434b、432b。在一些其他实施例中，波导440b、438b、436b、434b、432b可以是单片材料，并且光提取光学元件440a、438a、436a、434a、432a可以形成在该片材料的表面上或内部中。

继续参考图4，如本文所述，每个波导440b、438b、436b、434b、432b被配置为输出光以形成与特定深度平面相对应的图像。例如，最靠近眼睛的波导432b可被配置为将注入到这种波导432b中的准直光传送到眼睛410。准直光可以表示光学无穷远焦平面。下一个上行(up)波导434b可被配置为在准直光到达眼睛410之前发出通过第一透镜452(例如，负透镜)的准直光。第一透镜452可被配置为产生轻微的凸波前曲率，从而眼睛/大脑将来自该下一上行波导434b的光解释为来自第一焦平面，该第一焦平面从光学无穷远处向内更靠近朝向眼睛410。类似地，第三上行波导436b在到达眼睛410之前将其输出光通过第一透镜452和第二透镜454。第一透镜452和第二透镜454的组合光功率可被配置为产生另一增量的波前曲率，使得眼睛/大脑将来自第三波导436b的光解释为来自第二焦平面，该第二焦平面比来自下一个上行波导434b的光从光学无穷远向内更靠近人。

其他波导层(例如，波导438b、440b)和透镜(例如，透镜456、458)被类似地配置，堆叠中的最高波导440b通过其与眼睛之间的所有透镜发送其输出，用于表示最靠近人的焦平面的聚合(aggregate)焦度。在观看/解释来自堆叠波导组件480的另一侧上的世界470的光时，为了补偿透镜堆叠458、456、454、452，可以在堆叠的顶部设置补偿透镜层430，以补偿下面的透镜堆叠458、456、454、452的聚合焦度。(补偿透镜层430和堆叠的波导组件480整体上可被配置为使得来自世界470的光以与初始被堆叠的波导组件480接收时的光具有的基本相同的发散(或准直)级别被传送到眼睛410)。这样的配置提供与可用的波导/透镜对一样多的感知焦平面。波导的光提取光学元件和透镜的聚焦方面都可以是静态的(例如，不是动态的或电激励的)。在一些替代实施例中，其中一个或两者在使用电激励特征时可以是动态的。

继续参考图4，光提取光学元件440a、438a、436a、434a、432a可被配置为既将光重定向到其各自的波导之外，又对于与波导相关联的特定深度平面以适当的发散或准直量输出该光。结果，具有不同相关联的深度平面的波导可以具有光提取光学元件的不同配置，该光提取光学元件根据相关联的深度平面以不同的发散量输出光。在一些实施例中，如本文所讨论的，光提取光学元件440a、438a、436a、434a、432a可以是体积或表面特征，其可被配置为以特定角度输出光。例如，光提取光学元件440a、438a、436a、434a、432a可以是体积全息图、表面全息图和/或衍射光栅。在2015年6月25日公开的美国专利公开No.2015/0178939中描述了诸如衍射光栅的光提取光学元件，其通过引用全部并入在此。

在一些实施例中，光提取光学元件440a、438a、436a、434a、432a是形成衍射图案或衍射光学元件(在本文中也称为“DOE”)的衍射特征。优选地，DOE具有相对较低的衍射效率，使得通过与DOE的每次交互，光束的仅一部分光朝着眼睛410偏转，而其余部分则通过全内反射继续移动通过波导。携带图像信息的光因此可以被分成多个相关的出射光束，该出射光束在多个位置处离开波导，并且该结果对于在波导内反弹的该特定准直光束是朝向眼睛304的相当均匀图案的出射发射。

在一些实施例中，一个或多个DOE可以在它们主动衍射的“开启”状态和它们不明显衍射的“关闭”状态之间切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中，微滴(microdrop)在主体介质(host medium)中包含衍射图案，并且微滴的折射率可以切换为与主体材料的折射率基本匹配(在这种情况下，该图案不会明显衍射入射光)，或者可以将微滴切换到与主体介质的折射率不匹配的折射率(在这种情况下，该图案会主动衍射入射光)。

在一些实施例中，深度平面或景深的数量和分布可以基于观看者的眼睛的瞳孔大小或定向动态地变化。景深可能与观看者的瞳孔大小成反比。结果，随着观看者眼睛的瞳孔大小减小，景深增加，使得由于该平面的位置超出眼睛的焦深而无法辨认的平面可能变得可辨认，并且随着瞳孔大小的减小和景深的相应增加表现为更聚焦。同样，随着瞳孔大小减小，可以减少用于向观看者呈现不同图像的间隔开的深度平面的数量。例如，在处于一个瞳孔大小下，不将眼睛的调节从一个深度平面调整到另一个深度平面，则观看者可能无法清楚地感知第一深度平面和第二深度平面两者的细节。但是，这两个深度平面可以在不改变调节的情况下，对于处于另一瞳孔大小的用户同时充分地聚焦。

在一些实施例中，显示系统可以基于对瞳孔大小或定向的确定，或者基于接收到指示特定瞳孔大小或定向的电信号，来改变接收图像信息的波导的数量。例如，如果用户的眼睛不能区分与两个波导相关联的两个深度平面，则控制器460(其可以是本地处理和数据模块260的实施例)可以被配置或编程为停止向这些波导之一提供图像信息。有利地，这可以减少系统上的处理负担，从而增加系统的响应性。在波导的DOE可在开启和关闭状态之间切换的实施例中，当波导确实接收到图像信息时，DOE可被切换为关闭状态。

在一些实施例中，可能希望使出射光束满足直径小于观看者眼睛的直径的条件。但是，鉴于观看者瞳孔大小的可变性，满足此条件可能是具有挑战性的。在一些实施例中，通过响应于观看者的瞳孔大小的确定而改变出射光束的大小，在宽范围的瞳孔大小上满足该条件。例如，随着瞳孔大小的减小，出射光束的大小也可以减小。在一些实施例中，可以使用可变孔径来改变出射光束的大小。

可穿戴系统400可以包括对世界470的一部分进行成像的面向外部的成像系统464(例如，数码相机)。世界470的这一部分可以称为世界相机的视场(FOV)，成像系统464有时被称为FOV相机。世界相机的FOV可以与观看者210的FOV相同或不同，观看者210的FOV包含观看者210在给定时间感知的世界470的一部分。例如，在某些情况下，世界相机的FOV可以大于可穿戴系统400的观看者210的观看者210。可用于观看者观看或成像的整个区域可以被称为能视场(field of regard(FOR))。FOR可以包括围绕可穿戴系统400的立体角的4π球面度，因为穿戴者可以移动他的身体、头部或眼睛以感知空间中的基本上任何方向。在其他上下文中，穿戴者的移动可能会更受限制，并且因此穿戴者的FOR可能会对向较小的立体角。从面向外部的成像系统464获得的图像可以用于跟踪用户做出的手势(例如，手或手指手势)，检测用户面前的世界470中的对象等等。

可穿戴系统400可以包括音频传感器232(例如，麦克风)以捕获环境声音。如上所述，在一些实施例中，可以定位一个或多个其他音频传感器以提供对确定语音源的位置有用的立体声接收。作为另一个示例，音频传感器232可以包括定向麦克风，该定向麦克风还可以提供关于音频源位于何处的有用的定向信息。可穿戴系统400可以在定位语音源时使用来自面向外部的成像系统464和音频传感器230的信息，或者在特定时间确定有源说话者等。例如，可穿戴系统400可以单独使用语音识别或组合扬声器的反射图像(例如，在镜子中看到的)，以确定说话者的标识。作为另一个示例，可穿戴系统400可以基于从定向麦克风获取的声音来确定说话者在环境中的位置。可穿戴系统400可以使用语音识别算法解析来自说话者的位置的声音，以确定语音的内容，并使用语音识别技术来确定说话者的标识(例如，姓名或其他人口统计信息)。

可穿戴系统400还可以包括面向内部的成像系统466(例如，数字相机)，其观测用户的移动，例如，眼睛移动和面部移动。面向内部的成像系统466可以用于捕获眼睛410的图像以确定眼睛304的瞳孔的大小和/或定向。面向内部的成像系统466可以用于获取图像以用于确定用户正在看的方向(例如，眼睛姿势)或用于对用户进行生物特征标识(例如，经由虹膜标识)。在一些实施例中，每只眼睛可以利用至少一个相机，以独立地确定每只眼睛的瞳孔大小或眼睛姿势，从而允许为每只眼睛呈现图像信息动态地适合该眼睛。在一些其他实施例中，仅确定单只眼睛410的瞳孔直径或定向(例如，每双眼睛仅使用单个相机)，并且认为该瞳孔直径或定向对于用户的两只眼睛是相似的。可以分析由面向内部的成像系统466获得的图像以确定用户的眼睛姿势或情绪，可穿戴系统400可以使用该眼睛姿势或情绪来确定应该向用户呈现哪些音频或视觉内容。可穿戴系统400还可以使用诸如IMU、加速度计、陀螺仪等的传感器来确定头部姿势(例如，头部位置或头部定向)。

可穿戴系统400可以包括用户输入设备466，用户可以通过该用户输入设备466向控制器460输入命令以与可穿戴系统400交互。例如，用户输入设备466可以包括触控板、触摸屏、游戏杆、多自由度(DOF)控制器、电容感测设备、游戏控制器、键盘、鼠标、方向板(D-pad)、棒、触觉设备、图腾(totem)(例如，充当虚拟用户输入设备)等等。多DOF控制器可以感测控制器的某些或所有可能的平移(例如，左/右、前/后、或上/下)或旋转(例如，偏航、俯仰或滚动)中的用户输入。支持平移移动的多DOF控制器可以称为3DOF，而支持平移和旋转的多DOF控制器可以称为6DOF。在一些情况下，用户可以使用手指(例如，拇指)在触敏输入设备上按下或滑动以向可穿戴系统400提供输入(例如，向由可穿戴系统400提供的用户接口提供用户输入)。用户输入设备466可以在可穿戴系统400的使用过程中被用户的手握住。用户输入设备466可以与可穿戴系统400进行有线或无线通信。

可穿戴系统的其他组件

在许多实施方式中，除了上述可穿戴系统的组件之外或作为替代，可穿戴系统可以包括其他组件。可穿戴系统可以例如包括一个或多个触觉设备或组件。触觉设备或组件可操作以向用户提供触感。例如，当触摸虚拟内容(例如，虚拟对象、虚拟工具、其他虚拟构造物)时，触觉设备或组件可以提供压力或纹理的触感。触感可以复制虚拟对象所表示的物理对象的感觉，或者可以复制虚拟内容所表示的想象的对象或角色(例如，龙)的感觉。在一些实施方式中，用户可以穿戴触觉设备或组件(例如，用户可穿戴的手套)。在一些实施方式中，触觉设备或组件可以由用户持有。

例如，可穿戴系统可以包括用户可操纵的一个或多个物理对象，以允许输入或与可穿戴系统交互。这些物理对象在本文中可以称为图腾。一些图腾可以采取无生命对象的形式，例如，一块金属或塑料、墙壁、桌子表面。在某些实施方式中，图腾实际上可能没有任何物理输入结构(例如，按键、触发器、操纵杆、轨迹球、摇杆开关)。相反，图腾可以简单地提供物理表面，并且可穿戴系统可以渲染用户接口，以便对用户看起来在图腾的一个或多个表面上。例如，可穿戴系统可以使计算机键盘和触控板的图像渲染为看起来驻留在图腾的一个或多个表面上。例如，可穿戴系统可以使虚拟计算机键盘和虚拟触控板渲染为看起来在用作图腾的薄铝矩形板的表面上。矩形板本身可能没有任何物理按键、触控板或传感器。但是，可穿戴系统可以将用户操作或交互或者触摸矩形板检测为通过虚拟键盘或虚拟触控板进行的选择或输入。用户输入设备466(图4中所示)可以是图腾的一个实施例，它可以包括触控板、触摸板、触发器、操纵杆、轨迹球、摇杆或虚拟开关、鼠标、键盘、多自由度控制器、或其他物理输入设备。用户可以单独或与姿势结合使用图腾来与可穿戴系统或其他用户进行交互。

在美国专利公开No.2015/0016777中描述了本公开的与可穿戴设备、HMD和显示系统一起使用的触觉设备和图腾的示例，其全部内容通过引用并入本文。

眼睛图像的示例

图5示出了具有眼睑504、巩膜508(眼睛的“白色”)、虹膜512和瞳孔516的眼睛500的图像。曲线516a示出了瞳孔516和虹膜512之间的瞳孔边界，并且曲线512a示出了虹膜512和巩膜508之间的边缘边界。眼睑504包括上眼睑504a和下眼睑504b。示出了处于自然静止(resting)姿势的眼睛500(例如，其中，用户的脸部和凝视都朝向用户正前方的远处对象而定向)。眼睛500的自然静止姿势可由自然静止方向520指示，该方向是当处于自然静止姿势时与眼睛500的表面正交的方向(例如，直接在图5中示出的眼睛500的平面之外)，并且在此示例中，位于瞳孔516的中心。

当眼睛500移动以朝着不同的对象看时，眼睛姿势将相对于自然静止方向520发生变化。当前的眼睛姿势可以参考眼睛姿势方向520来确定，该当前的眼睛姿势是与眼睛的表面正交(并且位于瞳孔516的中心)但朝向眼睛当前所指向的对象的方向而定向。参考图5A中所示的示例坐标系，眼睛500的姿势可以被表达为两个角度参数，其指示眼睛的眼睛姿势方向524的方位角偏转(azimuthal deflection)和顶角偏转(zenithal deflection)，均相对于眼睛的自然静止方向520。为了说明的目的，这些角度参数可以被表示为θ(从基准方位角(fiducial azimuth)确定的方位角偏转)和φ(顶角偏转，有时也称为极角偏转(polardeflection))。在一些实施方式中，在眼睛姿势的确定中可以包括眼睛围绕眼睛姿势方向524的角度滚动，并且可在以下分析中包括角度滚动。在其他实施方式中，用于确定眼睛姿势的其他技术可以使用例如俯仰、偏航和可选地滚动系统。

光源326可以照亮眼睛500(例如，在IR中)，并且光源从眼睛反射(通常离开角膜)被称为闪烁。图5示意性地示出了存在四个闪烁550的示例。闪烁550的位置、数量、亮度等可以取决于光源326的位置和数量、眼睛的姿势等。眼睛跟踪相机324可以获得眼睛图像，并且处理器可以分析眼睛图像以确定用于眼睛跟踪的闪烁的位置和移动。

眼睛图像可以使用任何适当的过程从视频获得，例如，使用可以从一个或多个连续帧(或非连续帧)提取图像的视频处理算法。图4的面向内的成像系统462或图3的相机324和光源326可用于提供一只或两只眼睛的(一个或多个)图像或视频。眼睛的姿势可以使用各种眼睛跟踪技术根据眼睛图像确定。例如，眼睛姿势可以通过考虑角膜对所提供的光源的透镜效应来确定。任何适合的眼睛跟踪技术可以用来确定本文所描述的眼睑形状估计技术中的眼睛姿势。

眼睛跟踪系统的示例

图6示出了包括眼睛跟踪系统的可穿戴系统600的示意图。在至少一些实施例中，可穿戴系统600可包括位于头戴式单元602中的部件和位于非头戴式单元604中的部件。非头戴式单元604可以是例如皮带式部件、手持式部件、背包中的部件、远程部件等。将可穿戴系统600的一些部件并入非头戴式单元604中可帮助减少头戴式单元602的尺寸、重量、复杂性和成本。在一些实施方式中，被描述为由头戴式单元602和/或非头戴式604的一个或多个部件执行的一些或全部功能可通过可穿戴系统600中其他地方包括的一个或多个部件来提供。例如，可通过非头戴式单元604的CPU 616提供与头戴式单元602的CPU 612相关联的以下描述的一些或全部功能，反之亦然。在一些示例中，可通过可穿戴系统600的外围设备来提供一些或所有这样的功能。此外，在一些实施方式中，可通过一个或多个云计算设备或其他远程计算设备以类似于上面参考图2所述的方式来提供一些或所有这样的功能。

如图6所示，可穿戴系统600可包括眼睛跟踪系统，该眼睛跟踪系统包括捕获用户的眼睛610的图像的相机324。如果需要，眼睛跟踪系统还可包括光源326a和326b(诸如发光二极管“LED”)。光源326a和326b可产生闪光(例如，在由相机324捕获的眼睛的图像中出现的被用户的眼睛反射走)。光源326a和326b相对于相机324的位置可以是已知的，并且因此，相机324所捕获的图像内的闪光的位置可用于跟踪用户的眼睛。在至少一个实施例中，可存在与用户的一只眼睛610相关联的一个光源326和一个相机324。在另一实施例中，可存在与用户的每只眼睛610相关联的一个光源326和一个相机324。在其他实施例中，可存在与用户的一只或每只眼睛610相关联的一个或多个相机324和一个或多个光源326。作为一个特定示例，可存在与用户的每只眼睛610相关联的两个光源326a和326b以及一个或多个相机324。作为另一示例，可存在与用户的每只眼睛610相关联的三个或更多个光源(例如，光源326a和326b)以及一个或多个相机324。

眼睛跟踪模块614可从眼睛跟踪相机324接收图像，并且可分析图像以提取各条信息。作为示例，眼睛跟踪模块614可检测用户的眼睛姿势、用户的眼睛相对于眼睛跟踪相机324(和相对于头戴式单元602)的三维位置、用户的一只或两只眼睛610聚焦的方向、用户的聚散深度(例如，距用户的深度，在该深度处用户正在聚焦)、用户的瞳孔的位置、用户的角膜和角膜球(cornea sphere)的位置、用户的每只眼睛的旋转中心、以及用户的每只眼睛的视角中心(center of perspective)如图6所示，眼睛跟踪模块614可以是使用头戴式单元602中的CPU 612实现的软件模块。

来自眼睛跟踪模块614的数据可被提供给可穿戴系统中的其他部件。例如，这样的数据可被发送到非头戴式单元604中的部件，例如包括用于光场渲染控制器618和配准观察器620的软件模块的CPU 616。

渲染控制器618可使用来自眼睛跟踪模块614的信息来调整由渲染引擎622(例如，可以是GPU 620中的软件模块并且可向显示器220提供图像的渲染引擎)向用户显示的图像。作为示例，渲染控制器618可基于用户的旋转中心或视角中心来调整显示给用户的图像。特别地，渲染控制器618可使用关于用户的视角中心的信息来模拟渲染相机(例如，从用户的视角模拟收集图像)，并且可基于模拟的渲染相机来调整显示给用户的图像。

“渲染相机”，有时也称为“针孔透视相机”(或简称为“透视相机”)或“虚拟针孔相机”(或简称为“虚拟相机”)，是用于在渲染可能来自虚拟世界中的对象数据库的虚拟图像内容中所使用的模拟相机。对象可具有相对于用户或穿戴者并且可能相对于围绕用户或穿戴者的环境中的真实对象的位置和朝向。换句话说，渲染相机可表示渲染空间内的透视图，用户或穿戴者将从该透视图观看渲染空间的3D虚拟内容(例如，虚拟对象)。渲染相机可由渲染引擎管理，以基于要呈现给所述眼睛的虚拟对象的数据库来渲染虚拟图像。可渲染虚拟图像，就像从用户或穿戴者的视角拍摄一样。例如，虚拟图像可被渲染为好像被具有特定内在参数集(例如，焦距、相机像素大小、主点坐标、偏斜/失真参数等)以及特定外在参数集(例如，相对于虚拟世界的平移分量和旋转分量)的针孔相机(对应于“渲染相机”)捕获一样。从具有渲染相机的位置和取向(例如，渲染相机的外在参数)的这种相机的视角拍摄虚拟图像。因此，系统可定义和/或调整内在和外在渲染相机参数。例如，该系统可定义特定外在渲染相机参数集，使得可以渲染虚拟图像，就像从具有相对于用户或穿戴者的眼睛的特定位置的相机的视角捕获虚拟图像一样，以提供看起来像从用户或穿戴者的视角来看的图像。该系统随后可动态地即时(on-the-fly)调整外在渲染相机参数，以便维持与所述特定位置的配准。类似地，可定义内在渲染相机参数并随时间动态调整。在一些实施方式中，图像被渲染为好像是从相机的视角捕获的，该相机具有在相对于用户或穿戴者的眼睛的特定位置(例如，视角中心或旋转中心或别处)处的光圈(例如，针孔)。

在一些实施例中，系统可针对用户的左眼来创建或动态地重新定位和/或重新定向一个渲染相机，以及针对用户的右眼的另一渲染相机，因为用户的眼睛在物理上彼此分开并且，因此始终如一定位在不同的位置。因此，在至少一些实施方式中，从与观看者的左眼相关联的渲染相机的视角渲染的虚拟内容可通过头戴式显示器(例如，头戴式单元602)左侧的目镜呈现给用户，以及从与用户的右眼相关联的渲染相机的视角渲染的虚拟内容可通过这种头戴式显示器右侧的目镜呈现给用户。在题为“METHODS AND SYSTEMS FORDETECTING AND COMBINING STRUCTURAL FEATURES IN 3D RECONSTRUCTION(用于在3D重建中检测和组合结构特征的方法和系统)”的美国专利No.10,559,127中提供了讨论在渲染过程中创建、调整和使用渲染相机的更多细节，其出于所有目的通过引用整体明确地并入本文。

在一些示例中，系统600的一个或多个模块(或部件)(例如，光场渲染控制器618、渲染引擎620等)可基于用户的头部和眼睛的位置和取向(例如，分别基于头部姿势和眼睛跟踪数据确定的)确定渲染相机在渲染空间内的位置和取向。也就是说，系统600可有效地将用户的头部和眼睛的位置和取向映射到3D虚拟环境内的特定位置和角度位置，将渲染相机放置和定向在3D虚拟环境内的特定位置和角度位置，以及为用户渲染虚拟内容，就像由渲染相机捕获的一样。在题为“SELECTING VIRTUAL OBJECTS IN A THREE-DIMENSIONALSPACE(在三维空间中选择虚拟对象)”的美国专利No.10,521,025中提供了讨论现实世界到虚拟世界映射过程的更多细节，其出于所有目的通过引用整体明确地并入本文。作为示例，渲染控制器618可通过选择在任何给定时间利用哪个深度平面(或多个深度平面)来显示图像来调整显示图像的深度。在一些实施方式中，可通过调整一个或多个内在渲染相机参数来执行这种深度平面切换。例如，光场渲染控制器618可以在执行深度平面切换或调整时调整渲染相机的焦距。深度平面可以基于用户所确定的聚散或注视深度来切换

配准观察器620可使用来自眼睛跟踪模块614的信息来标识头戴式单元602是否正确地定位在用户的头部上。作为示例，眼睛跟踪模块614可提供眼睛位置信息，诸如用户的眼睛的旋转中心的位置，该信息指示用户的眼睛相对于相机324和头戴式单元602的三维位置，并且眼睛跟踪模块614可使用该位置信息来确定显示器220在用户的视场中是否被正确对齐，或者头戴式单元602(或头戴式受话器(headset))是否已经滑动或与用户的眼睛未对齐。作为示例，配准观察器620能够确定：是否头戴式单元602已经沿用户的鼻梁向下滑落，从而将显示器220从用户的眼睛向远处和下面移动(这可能是不希望的)；是否头戴式单元602已经沿用户的鼻梁向上移动，从而将显示器220从用户的眼睛向近处和向上移动；是否头戴式单元602已经相对于用户的鼻梁向左或向右移动，是否头戴式单元602已经抬高到用户的鼻梁上方，或者是否头戴式单元602已经以这些或其他方式从期望的位置或位置范围移开。通常，配准观察器620能够确定总体上头戴式单元602以及尤其是显示器220是否被正确地定位在用户的眼睛前面。换句话说，配准观察器620可确定显示系统220中的左显示器是否与用户的左眼正确地对齐，并且显示系统220中的右显示器是否与用户的右眼正确地对齐。配准观察器620可通过确定头戴式单元602是否被定位和定向在相对于用户的眼睛的位置和/或取向的期望范围内来确定头戴式单元602是否被正确地定位。

在至少一些实施例中，配准观察器620可以告警、消息或其他内容形式生成用户反馈。可将这样的反馈提供给用户以告知用户头戴式单元602的任何未对齐，以及关于如何校正未对齐的可选反馈(诸如以特定方式调整头戴式单元602的建议)。

在题为“PERIOCULAR TEST FOR MIXED REALITY CALIBRATION(用于混合现实校准的眼周测试)”的美国专利号10,473,042和题为“DISPLAY SYSTEMS AND METHODS FORDETERMINING REGISTRATION BETWEEN A DISPLAY AND A USER’S EYES(用于确定显示器和用户眼睛之间的配准的显示系统和方法)”的美国专利公开号2019/0222830中描述了可由配准观察器620利用的示例配准观察和反馈技术，其二者以整体内容通过引用并入本文。

使用交替采样的眼睛跟踪

一个或多个眼睛跟踪相机，诸如(一个或多个)相机324，可以以特定帧速率捕获左眼和右眼的视频(包括例如视频的帧)和/或(一个或多个)图像(有时称为(一个或多个)视觉数据或注视向量)。帧速率可以指示视频捕获期间眼睛的曝光时间。例如，较高的帧速率可以指示较长的曝光时间，这可能导致检测到如本文所描述的更多事件。图7A示出了以每秒30帧(fps)的帧速率(有时被称为采样率或采样率)(或30Hz的采样率)捕获左眼和右眼的视觉数据的图700A。图700A的x轴表示时间。顶部条示出了标记为L1、L2、L3和L4的左眼的捕获视觉数据(对应于在时间实例(或时间)t1、t2、t3和t4所捕获的视觉数据)。捕获(或采样)视觉数据的时间实例有时可以被称为采样间隔或采样时间。底部条示出了标记为R1、R2、R3和R4的右眼的捕获视觉数据(对应于在时间实例t1、t2、t3和t4所捕获的视觉数据)。如图所示，通常同时捕获来自左眼和右眼的视觉数据。在图7A中，左眼的连续视觉数据样本之间的时间是33.3毫秒(ms)(对应于1/30Hz)。类似地，右眼的连续视觉数据样本之间的时间是33.3毫秒(ms)(对应于1/30Hz)。在一些变型中，一个或多个相机可以以不同的采样率来捕获左眼和右眼的视频。

图7B示出了以每秒60帧(fps)的帧速率(或60Hz的采样率)捕获左眼和右眼的视觉数据的图700B。除了由于较高的采样率，更多的视觉数据被示出为在图7B中被捕获之外，图700B类似于图700A。特别地，图700B示出了所捕获的左眼的视觉数据L1至L7和右眼的视觉数据R1至R7(对应于时间实例t1至t7)。通常同时捕获来自左眼和右眼的视觉数据。在图7B中，左眼的连续视觉数据样本之间的时间是16.7(ms)(对应于1/60Hz)。类似地，右眼的连续视觉数据样本之间的时间是16.7(ms)(对应于1/60Hz)。如图700B所示，使用更高采样率的优点之一是以更快的发生率检测事件(诸如，眼睛移动或眼睛姿势的变化)的能力。例如，在图700B中，最短的可检测事件持续时间是16.7ms，而在图700A中，最短的可检测事件持续时间约是33.3ms。使用更高采样率的另一个优点是采样延迟的减小，这可以对应于连续视觉数据样本之间的持续时间。采样延迟可以指示用于在存储捕获的视觉数据的存储器缓冲器中存储新的视觉数据样本的持续时间。较低的采样延迟对于检测快速事件，诸如扫视眼睛移动(其可以对应于眼睛的当改变注视时快速移动)可能是优选的。图7A和7B中所示的采样率仅是示例，并且可以使用其他更高或更低的采样率(诸如，40Hz、60Hz、100Hz、120Hz等)。

虽然使用更高的采样率可能对于改进事件的检测有益，但是增加采样率可以导致功耗的增加、计算速度的增加、计算资源的使用的增加等。附加地或者替代地，支持较高采样率的一个或多个眼睛跟踪相机的可用性可能比用于较低采样率的更有限。因此，在可穿戴系统中，以更高采样率进行眼睛跟踪可能成本更高并且更难实现。

为了获得与利用较高采样率相关联的益处，同时保持与使用较低采样率相关联的简单性，可以实现交替采样。图8是示出使用交替采样捕获左眼和右眼的视觉数据的图800。类似于图700A和700B，在图800中，顶部条表示所捕获的左眼的视觉数据，并且底部条表示所捕获的右眼的视觉数据。如图8所示，用于左眼和右眼的一个或多个眼睛跟踪相机可以被配置为交替捕获每只眼睛的视觉数据。例如，如图所示，在初始时间(诸如，t1)捕获用于左眼的视觉数据(L1)，而在该初始时间期间，不捕获用于右眼的视觉数据。在下一时间处(例如，t2)，捕获用于右眼的视觉数据(R2)，但是不捕获用于左眼的视觉数据。在一些实施方式中，虽然在t1期间未捕获用于右眼的视觉数据，但是相反可以在时间t1处提供用于右眼的视觉数据的估计。类似地，虽然在t2期间未捕获用于左眼的视觉数据，但是相反可以在时间t2处提供用于左眼的视觉数据的估计。该过程可以针对随后的时间实例t3、t4、t5、t6、t7等继续。

因此，用于每只眼睛的一个或多个眼睛跟踪相机交替捕获视觉数据。图800中的暗条表示由用于左眼和右眼的一个或多个眼睛跟踪相机实际所捕获的视觉数据。如下文所描述的，图800中的光条表示用于左眼和右眼的估计视觉数据。虽然左眼的视觉数据的捕获被示出为在初始时间处执行，但是相反可以执行右眼的视觉数据的捕获。

在图8中，左眼的一个或多个眼睛跟踪相机被示出为以30Hz的采样率(对应于左眼的连续视觉数据采样之间的33.3ms时间间隔，诸如L1和L3、或L3和L5、或L5和L7)捕获左眼的视觉数据。类似地，右眼的一个或多个跟踪相机被示出为以30Hz的采样率(如在诸如R2和R4或R4和R6的连续样本之间的33.3ms持续时间所示)捕获右眼的视觉数据。由于左眼和右眼的视觉数据的捕获是交错的，因此用于捕获双眼的视觉数据的组合采样率是60Hz(如图所示，例如，由分别用于左眼的连续捕获样本和估计样本L1和L2之间的16.7ms持续时间)。有利地，与图7A的方法相比较，图8所示的方法可以使采样率加倍。而且，与图7A的方法相比较，图8所示的方法可以将用于每只眼睛的采样延迟减少一半(由于估计的样本)。此外，图8所示的方法可能不需要一个或多个眼睛跟踪相机的帧速率的增加或功耗的增加、计算速度的增加、计算资源的使用的增加(除了用于估计视觉数据的计算资源的小增加，如下文所描述的)等。

已经观察到，左眼和右眼可以是强耦合的。例如，左眼和右眼的眨眼可能一致地发生。作为另一示例，左眼和右眼的扫视可以一致地发生，使得眼睛可以均等地并在相同的方向上移动。因此，在各种情况下，左眼和右眼的注视向量的垂直分量可以是相同的。因此，可以基于左眼和右眼之间的差异(反之亦然)可以缓慢变化的原理来执行眼睛的视觉数据的估计(或预测)。在一些情况下，估计可能涉及确定左眼和右眼的视觉数据之间的差异。所确定的差异可以被滤波(例如，使用低通滤波器，诸如通过求平均)，并且随后用于在未捕获该眼睛的视觉数据的时间实例处(诸如，在由图8中的光条指示的时间实例期间)估计眼睛的视觉数据。利用该方法，可以解释左眼和右眼的垂直和水平移动之间的差异。

在各种实施方式中，估计可以涉及确定左眼的视觉数据之间的差异和右眼的视觉数据之间的差异。差值可以从相应眼睛的过去视觉数据样本中确定。差值可以指示左眼和右眼的注视向量的水平分量之间的差异。在一些实施方式中，可以对所确定的差值进行滤波(例如，求平均)。随后，差值或滤波差值可用于确定左眼和右眼的视觉数据之间的差值(例如，如等式(1a)和(2a)中所提供的)。可以使用左眼的视觉数据和左眼和右眼的视觉数据之间的差异(例如，如等式1(b)中所提供的)来估计用于右眼的视觉数据。类似地，可以使用右眼的视觉数据和左眼和右眼的视觉数据之间的差异(例如，如等式2(b)中所提供的)来估计用于左眼的视觉数据。在一些实施方式中，用于右眼和左眼的视觉数据的估计还可以涉及使用预测滤波器。

作为示例，可以在时间实例n＝[0，1，2，3，…，n]处捕获视觉数据。左眼的视觉数据可以在偶数时间实例处被捕获，并且由集合L[n]表示。右眼的视觉数据可以在奇数时间实例处被捕获，并且由集合R[n]表示。在一些情况下，右眼的视觉数据可以在偶数时间实例处被捕获，而左眼的视觉数据可以在奇数时间实例处被捕获。双眼的视觉数据之间的差异可以由集合D[n]表示。例如，在一些实施方式中，对于偶数时间实例(在其期间捕获左眼的视觉数据，而未捕获右眼的视觉数据)，用于右眼的视觉数据R’[n]可以被估计如下：

D[n]＝(L[n]+L[n-2])/2–R[n-1](1a)

R'[n]＝L[n]–D[n](1b)

对于奇数时间实例(在其期间捕获右眼的视觉数据，而未捕获左眼的视觉数据)，用于左眼的视觉数据L’[n]可以被估计如下：

D[n]＝L[n-1]–(R[n]+R[n-2])/2(2a)

L'[n]＝R[n]+D[n](2b)

因此，如上文所描述的，可以根据在特定时间(例如，t_n)期间所捕获的第二只眼(例如右眼)的视觉数据来估计特定时间期间用于第一只眼(例如左眼)的视觉数据。在该示例中，特定时间(t_n)可以是三个时间实例(t_n、t_n-1、t_n-2)的序列中的第三时间。第二时间t_n-1可以紧接着该第三时间t_n之前，第一时间t_n-2紧接着第二时间t_n-1之前。在诸如上文所讨论的一些实施方式中，可以根据在先前时间(例如t_n-1)期间捕获的第一眼睛(例如左眼)的视觉数据和在当前时间(例如第三时间t_n和为第二眼睛捕获视频数据的先前时间(例如第一时间t_n-2)期间捕获的第二眼睛(例如右眼)的视频数据的平均来估计第三时间t_n期间的用于第一眼睛(例如左眼)的视觉数据。在一些实施方式中，例如，可以根据在先前时间(例如t_n-1)期间捕获的第一眼睛(例如左眼)的视觉数据与第二眼睛的视频数据的该平均之间的差来估计第三时间t_n期间的第一眼睛的视觉数据。在一些实施方式中，例如，该差异可以被确定为1)在第三时间t_n和第一时间t_n-2期间捕获的第二眼睛的平均视觉数据与2)在先前时间t_n-1期间捕获的第一眼睛的视觉数据之间的差异，第一时间t_n-2对应于在其期间为第二眼捕获的视频数据的先前时间(例如，用于捕获眼睛的视觉数据的紧接在第三时间t_n之前的时间)。该差异可以与在特定时间t_n期间捕获的第二眼睛(例如右眼)的视觉数据组合，以估计在特定时间期间的第一眼睛(例如左眼)的视觉数据。在一些实施方式中，求平均可以有助于低通滤波。求平均可以表示应用低通滤波器(例如，消除或限制归因于噪声的(一个或多个)误差)。当然，该方法可以应用于在为左眼捕获视频数据时的时间期间估计用于右眼的视觉数据。同样，左眼可以是第一眼睛，并且右眼可以是第二眼睛，或者右眼可以是第一眼睛，并且左眼可以第二眼睛。如图8所示，在各种实施方式中，左眼和右眼将交替作为收集视频数据的眼睛，并且随着眼睛跟踪系统在一系列时间实例中进展，估计视频数据。

在一些实施方式中，视觉数据的附加样本可用于估计。例如，可以使用在时间上比紧接先前的一个或两个时间实例更远的视觉数据的样本用于捕获眼睛的视觉数据。在估计中包括更多样本可以潜在地改进估计的准确度。因此，在一些实施方式中，可以使用在两个以上时间实例上的平均。也可以采用用于估计的其他方法。在一些情况下，例如，卡尔曼滤波器、机器学习、深度学习等可用于估计。

在一些实施方式中，估计问题通常可以表述为如何从视觉数据先前样本中估计视觉数据L'[n]和R'[n]，例如，由相应的(一个或多个)眼睛跟踪相机交替捕获的L[n]、R[n-1]、L[n-2]、R[n-3]、L[n-4]等中的任意一个或多个。所捕获的视觉数据样本可能有些噪声。可以使用卡尔曼滤波器来解决估计问题，特别是在已知注视向量的频率内容和/或噪声的性质的情况下。卡尔曼滤波器可用于估计左眼和右眼的注视向量的联合概率分布，并且基于联合概率，在相应的(一个或多个)眼睛跟踪相机未捕获眼睛的视觉数据时的一个或多个时间实例处估计左眼和/或右眼的视觉数据。卡尔曼滤波器可以执行估计和噪声去除。

在一些情况下，机器学习和/或深度学习可用于估计视觉数据。可以创建用于估计视觉数据L’[n]和R’[n]的网络(诸如神经网络)。可以使用同时为双眼捕获的视觉数据的一个或多个数据集来训练网络。这样的一个或多个数据集可包括大量数据。随后，训练的网络可用于从先前的视觉数据样本中估计视觉数据，例如，由相应的(一个或多个)眼睛跟踪相机交替捕获的L[n]、R[n-1]、L[n-2]、R[n-3]、L[n-4]等中的任意一个或多个。

实验结果表明，例如，用于左眼和右眼的30Hz采样率的交替采样(利用使用等式(1a)-(1b)和(2a)-(2b)的估计)可能导致用于检测事件的错误减少至少32％，用于扫视检测的采样延迟下降至少50％，用于眨眼检测的采样延迟下降至少50％等，与如图7A所示的以30Hz对每只眼睛的采样相比较。这些改进可以与在没有如图7B所示的交替采样的情况下以60Hz对每只眼睛进行采样相比较。当对每只眼睛使用60Hz采样率的交替采样(具有用于两只眼睛的120Hz的组合采样率)和对每只眼睛使用120Hz采样率的交替采样(具有用于两只眼睛的240Hz的组合采样率)时，已经获得了类似的改进。

图9是示出使用交替采样用多个眼睛跟踪相机来捕获双眼的视觉数据的图900。除了每只眼睛的两个眼睛跟踪相机捕获视觉数据之外，图900类似于图8的图800。例如，第一眼睛跟踪相机可以位于眼睛的一侧(诸如，在颞(temporal)侧)，并且第二眼睛跟踪相机可以位于眼睛的另一侧(诸如，在眼睛的鼻侧)。其他位置是可能的。例如，第一相机可以在眼睛上方，更靠近前额，并且第二相机可以在眼睛下方，更靠近脸颊。因此，用于每只眼睛的两个眼睛跟踪相机可用于用于两只眼睛的总共四个眼睛跟踪相机。

在图9中，用于左眼的两个眼睛跟踪相机以及用于右眼的两个跟踪相机被配置为交替地捕获用于每只眼睛的视觉数据。并且用于左眼的眼睛跟踪相机也被配置为与右眼的眼睛跟踪相机交替。相应地，在该示例中，四个相机(两个用于左眼，并且两个用于右眼)被配置为交替地捕获用于每只眼睛的视觉数据。例如，如图所示，用于左眼的视觉数据(FL1)由第一左眼跟踪相机捕获，该第一左眼跟踪相机可以在初始时间(诸如t1)被定位得更远离左眼(诸如，在左颞侧、左鼻侧、或在如本文所描述的另一位置处)。在这样的时间期间，用于左眼的视觉数据未由第二左眼跟踪相机捕获，第二左眼跟踪相机可以被定位得更接近左眼(诸如，在左鼻侧、左颞侧、或在如本文所描述的另一位置处)，并且未捕获用于右眼的视觉数据。在下一时间处(诸如，t2)，用于左眼的视觉数据(L2)由第二左眼跟踪相机捕获。在这样的时间期间，用于左眼的视觉数据未由第一左眼跟踪相机捕获，并且未捕获用于右眼的视觉数据。在下一时间处(诸如，在t3处)，用于右眼的视觉数据(FR3)由第一右眼跟踪相机捕获，该第一右眼跟踪相机可以被定位得更远离右眼(例如，在右颞侧、右鼻侧、或在如本文所描述的另一位置处)。在这样的时间期间，第二右眼跟踪相机未捕获用于左眼的视觉数据，并且未捕获用于右眼的视觉数据，该第二右眼跟踪相机可以被定位得更接近右眼(诸如，在右鼻侧、右颞侧、或在如本文所描述的另一位置处)。在下一时间处(诸如，在t4处)，用于右眼的视觉数据(FR4)由第二右眼跟踪相机捕获。在这样的时间期间，第一眼睛跟踪相机未捕获用于左眼的视觉数据，并且未捕获用于右眼的视觉数据。如图9所示，该过程可以针对随后的时间实例t5、t6、t7、t8等继续。相机捕获视频数据的布置和顺序可以不同，并且可以随时间变化。其他变型是可能的。

因此，用于每只眼睛的一个或多个眼睛跟踪相机交替捕获视觉数据。在图9所示的示例中，使用四个眼睛跟踪相机，采用四个采样间隔来捕获用于两只眼睛的完整视觉数据集。假设，例如，每个眼睛跟踪相机以30fps的帧速率(或30Hz的采样率)操作，则在所示示例中，用于由四个眼睛跟踪相机捕获两只眼睛的视觉数据的组合帧速率是240fps(或240Hz)。

类似于图8，在图900中，暗条表示由用于左眼和右眼的一个或多个眼睛跟踪相机捕获的视觉数据。图900中的光条表示用于左眼和右眼的视觉数据的估计。视觉数据的估计可以类似于本文所描述的任何方法以及可能使用其他方法来执行。用于每只眼睛的多个眼睛跟踪相机可以捕获比每只眼睛一个眼睛跟踪相机更多的视觉数据样本。例如，视觉数据样本FL[n]、L[n-1]、FR[n-3]、R[n-4]、FL[n-5]等可以由多个眼睛跟踪相机捕获，如图9所示。所捕获的视觉数据样本可以具有不同的噪声特性，使得每个样本的准确度可以是不同的，并且随时间变化。例如，如果用户向左看得很远，则位于左鼻侧的眼睛跟踪相机可能不具有左眼的清晰视图，这可能导致由这样的相机捕获的噪声视觉数据样本。然而，位于左颞侧的眼睛跟踪相机可以具有左眼的清晰视图，并且因此，捕获了较小噪声的左眼的视觉数据样本。例如，可以使用由位于左颞侧的眼睛跟踪相机捕获的视觉数据样本来估计右眼的视觉数据(诸如，R’[n]或FR’[n])。

用于眼睛跟踪的示例方法

图10是示出用于眼睛跟踪的示例方法1000的流程图。方法1000可以通过可穿戴显示系统200、400或600的实现来执行，例如，使用参考图6所描述的眼睛跟踪系统601或其他配置。在方法1000的各种实施方式中，可以以任何适合的顺序或次序执行下文所描述的块，可以省略、组合或重新排列框，可以添加其他框或这些框的任何组合。

在框1010处，方法1000可以使用一个或多个眼睛跟踪相机来捕获左眼(或在一些情况下，右眼)的视觉数据。在框1020处，方法1000可以使用一个或多个眼睛跟踪相机来捕获右眼(或在一些情况下，左眼)的视觉数据。如本文所描述的，一个或多个眼睛跟踪相机可以交替捕获右眼和左眼的视觉数据。因此，在框1010处，可以不捕获右眼的视觉数据。类似地，在框1020处，可以不捕获左眼的视觉数据。参考图8，例如，框1010可以对应于时间t1，以及框1020可以对应于时间t2。

在框1030处，方法1000可以在一个或多个时间实例处估计左眼的视觉数据，在该时间实例期间，左眼的视觉数据未由一个或多个眼睛跟踪相机捕获。在框1040处，方法1000可以在一个或多个时间实例处估计右眼的视觉数据，在该时间实例期间，右眼的视觉数据未由一个或多个眼睛跟踪相机捕获。方法1000可以利用本文所描述的任何估计技术。

在框1050处，方法1000可以基于估计的视觉数据和/或捕获的视觉数据来确定左眼和/或右眼的眼睛移动(或姿势)。用于收集视频数据和/或估计的数据捕获的一个或多个迭代可以被重复并用于确定眼睛移动。可穿戴显示系统的一个或多个处理器可以分析估计的视觉数据和/或捕获的视觉数据，以确定用于眼睛跟踪的闪烁的位置和移动，如本文所描述的。如本文所解释的，眼睛跟踪可以帮助确定如何渲染虚拟内容用于呈现给用户。在一些情况下，眼睛跟踪可以单独地确定用于眼睛的眼睛姿势，从而允许向相应的眼睛呈现虚拟内容以动态地定制到该眼睛。

附加示例

示例1.一种可穿戴显示系统，包括：

头戴式显示器，其被配置为通过向所述头戴式显示器的穿戴者的眼睛输出光来呈现虚拟内容；

至少一个光源，其被配置为将光引导向所述穿戴者的所述眼睛；

右眼睛跟踪相机，其被配置为以第一采样率捕获所述穿戴者的右眼睛的第一多个视觉数据；

左眼睛跟踪相机，其被配置为以第二采样率捕获所述穿戴者的左眼睛的第二多个视觉数据，所述第二多个视觉数据在与所述第一多个视觉数据不同的采样时间期间被捕获；以及

处理电子器件，其通信地耦接到所述头戴式显示器以及所述右眼睛跟踪相机和所述左眼睛跟踪相机，所述处理电子器件被配置为：

基于所述第一多个视觉数据和所述第二多个视觉数据中的至少一些视觉数据，在所述第一多个视觉数据中的视觉数据未被捕获的采样时间，估计所述右眼睛的视觉数据；

基于所述第一多个视觉数据和所述第二多个视觉数据中的至少一些视觉数据，在所述第二多个视觉数据中的视觉数据未被捕获的采样时间，估计所述左眼睛的视觉数据；

确定所述右眼睛或左眼睛中的至少一个眼睛的眼睛移动，确定所述右眼睛的所述眼睛移动是基于所估计的所述右眼睛的视觉数据中的至少一些和所述右眼睛的所述第一多个视觉数据中的至少一些视觉数据，以及确定所述左眼睛的所述眼睛移动是基于所估计的所述左眼睛的视觉数据中的至少一些和所述左眼睛的所述第二多个视觉数据中的至少一些视觉数据；以及

使得所述头戴式显示器基于所述右眼睛或所述左眼睛中的至少一个的所述眼睛移动来呈现所述虚拟内容。

示例2.根据示例1所述的可穿戴显示系统，其中，所述至少一个光源包括红外光源。

示例3.根据示例1或示例2所述的可穿戴显示系统，其中，所述至少一个光源包括：第一光源，其被配置为将光引导向所述左眼睛；以及第二光源，其被配置为将光引导向所述右眼睛。

示例4.根据示例1至3中的任一项所述的可穿戴显示系统，其中，所述右眼睛跟踪相机和所述左眼睛跟踪相机的组合采样率包括所述第一采样率和所述第二采样率的聚合。

示例5.根据示例1至4中的任一项所述的可穿戴显示系统，其中，所述第一采样率等于所述第二采样率。

示例6.根据示例1至5中的任一项所述的可穿戴显示系统，其中，所述右眼睛跟踪相机和所述左眼睛跟踪相机被配置为交替捕获所述第一多个视觉数据和所述第二多个视觉数据。

示例7.根据示例1至6中的任一项所述的可穿戴显示系统，其中，所述第一采样率和所述第二采样率包括30Hz。

示例8.根据示例7所述的可穿戴显示系统，其中，所述右眼睛跟踪相机和所述左眼睛跟踪相机的组合采样率包括60Hz。

示例9.根据示例1至8中的任一项所述的可穿戴显示系统，其中，所述处理电子器件被配置为：基于对所述右眼睛的所述第一多个视觉数据中的视觉数据和所述左眼睛的所述第二多个视觉数据中的视觉数据之间的差异的确定，估计所述右眼睛或所述左眼睛的所述视觉数据。

示例10.根据示例9所述的可穿戴显示系统，其中，所述处理电子器件还被配置为：

基于在所估计的视觉数据的所述采样时间期间所捕获的所述左眼睛的所述第二多个视觉数据中的视觉数据与在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述右眼睛的所述第一多个视觉数据中的视觉数据之间的第一差异，估计所述右眼睛的所述视觉数据；以及

基于在所估计的视觉数据的所述采样时间期间所捕获的所述右眼睛的所述第一多个视觉数据中的视觉数据与在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述左眼睛的所述第二多个视觉数据中的视觉数据之间的第二差异，估计所述左眼睛的所述视觉数据。

示例11.根据示例9至10中的任一项所述的可穿戴显示系统，其中，所述处理电子器件还被配置为：

基于所述差异和在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述右眼睛的所述第一多个视觉数据中的视觉数据，估计所述右眼睛的所述视觉数据；以及

基于所述差异和在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述左眼睛的所述第二多个视觉数据中的视觉数据，估计所述左眼睛的所述视觉数据。

示例12.根据示例9至11中的任一项所述的可穿戴显示系统，其中，所述处理电子器件还被配置为：基于对所述差异进行滤波，估计所述右眼睛或所述左眼睛的所述视觉数据。

示例13.根据示例12所述的可穿戴显示系统，其中，对所述差异进行滤波包括求平均。

示例14.一种用于眼睛跟踪的方法，包括：

用第一相机以第一采样率捕获右眼睛的第一多个视觉数据；

用第二相机以第二采样率捕获左眼睛的第二多个视觉数据，在与所述第一多个视觉数据不同的采样时间期间捕获所述第二多个视觉数据；以及

由处理电子器件：

基于所述第一多个视觉数据和所述第二多个视觉数据中的至少一些视觉数据，在未捕获针对其估计视觉数据的眼睛的所述视觉数据的采样时间，估计所述右眼睛或所述左眼睛中的至少一个眼睛的视觉数据；以及

基于所估计的视觉数据中的至少一些和所述第一多个视觉数据或所述第二多个视觉数据中的至少一些视觉数据，确定所述眼睛的眼睛移动。

示例15.根据示例14所述的方法，还包括：由所述处理电子器件使得显示器至少部分地基于所述眼睛移动来渲染虚拟内容。

示例16.根据示例14至15中的任一项所述的方法，其中，确定所述眼睛移动包括：

基于所估计的所述右眼睛的视觉数据中的至少一些和所述右眼睛的所述第一多个视觉数据中的至少一些视觉数据，确定所述右眼睛的眼睛移动；以及

基于所估计的所述左眼睛的视觉数据中的至少一些和所述左眼睛的所述第二多个视觉数据的至少一些视觉数据，确定所述左眼睛的眼睛移动。

示例17.根据示例14至16中的任一项所述的方法，其中，所述第一相机和所述第二相机的组合采样率包括所述第一采样率和第二采样率的聚合。

示例18.根据示例14至17中的任一项所述的方法，其中，所述第一采样率等于所述第二采样率。

示例19.根据示例14至18中的任一项所述的方法，其中，所述第一相机和所述第二相机交替地捕获所述第一视觉数据和所述第二多个视觉数据。

示例20.根据示例14至18中的任一项所述的方法，其中，所述第一采样率和所述第二采样率包括30Hz。

示例21.根据示例19所述的方法，其中，所述第一相机和所述第二相机的组合采样率包括60Hz。

示例22.根据示例14至21中的任一项所述的方法，其中，估计所述视觉数据包括：确定所述右眼睛的所述第一多个视觉数据中的视觉数据与所述左眼睛的所述第二多个视觉数据中的视觉数据之间的差异。

示例23.根据示例22所述的方法，其中：估计所述右眼的所述视觉数据包括：

估计所述右眼睛的所述视觉数据包括：确定在所估计的视觉数据的所述采样时间期间所捕获的所述左眼睛的所述第二多个视觉数据中的视觉数据与在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述右眼睛的所述第一多个视觉数据中的视觉数据之间的第一差异；以及

估计所述左眼睛的所述视觉数据包括：确定在所估计的视觉数据的所述采样时间期间所捕获的所述右眼睛的所述第一多个视觉数据中的视觉数据与在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述左眼睛的所述第二多个视觉数据中的视觉数据之间的第二差异。

示例24.根据示例23所述的方法，其中：

所述右眼睛的所述第一多个视觉数据中的所述视觉数据的所述采样时间紧接在所估计的视觉数据的所述采样时间之前；以及

所述左眼睛的所述第二多个视觉数据中的所述视觉数据的所述采样时间紧接在所估计的视觉数据的所述采样时间之前。

示例25.根据示例22至24中的任一项所述的方法，还包括：由所述处理电子器件：

基于所述差异和在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述右眼睛的所述第一多个视觉数据中的视觉数据，估计所述右眼睛的所述视觉数据；以及

基于所述差异和在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述左眼睛的所述第二多个视觉数据中的视觉数据，估计所述左眼睛的所述视觉数据。

示例26.根据示例25所述的方法，其中：

所述右眼睛的所述第一多个视觉数据中的所述视觉数据的所述采样时间紧接在所估计的视觉数据的所述采样时间之前；以及

所述左眼睛的所述第二多个视觉数据中的所述视觉数据的所述采样时间紧接在所估计的视觉数据的所述采样时间之前。

示例27.根据示例22至26中的任一项所述的方法，还包括：通过低通滤波器对所述差异进行滤波。

示例28.一种眼睛跟踪系统，包括：

第一相机，其被配置为以第一采样率捕获用户的右眼的第一多个视觉数据；

第二相机，其被配置为以第二采样率捕获所述用户的左眼的第二多个视觉数据，所述第二多个视觉数据在与所述第一多个视觉数据不同的采样时间期间被捕获；以及

处理电子器件，其通信地耦接到所述第一相机和所述第二相机，所述处理电子器件被配置为：

基于所述第一多个视觉数据和所述第二多个视觉数据中的至少一些视觉数据，在未捕获正在被估计的所述视觉数据的眼睛的视觉数据期间的采样时间，估计所述右眼或所述左眼中的至少一个的视觉数据；以及

基于所估计的视觉数据中的至少一些和所述第一多个视觉数据或所述第二多个视觉数据中的至少一些视觉数据，确定所述眼睛的眼睛移动。

示例29.根据示例28所述的眼睛跟踪系统，其中，处理电子器件被配置为：

基于所估计的所述右眼的视觉数据中的至少一些和所述右眼的所述第一多个视觉数据中的至少一些视觉数据，确定所述右眼的眼睛移动；以及

基于所估计的所述左眼的视觉数据中的至少一些和所述左眼的所述第二多个视觉数据中的至少一些视觉数据，确定所述左眼的眼睛移动。

示例30.根据示例28至29中的任一项所述的眼睛跟踪系统，其中，所述第一相机和所述第二相机的组合采样率包括所述第一采样率和所述第二采样率的聚合。

示例31.根据示例28至30中的任一项所述的眼睛跟踪系统，其中，所述第一采样率等于所述第二采样率。

示例32.根据示例28至31中的任一项所述的眼睛跟踪系统，其中，所述第一相机和所述第二相机被配置为交替捕获所述第一多个视觉数据和所述第二多个视觉数据。

示例33.根据示例28至32中的任一项所述的眼睛跟踪系统，其中，所述第一采样率和所述第二采样率包括30Hz。

示例34.根据示例33所述的眼睛跟踪系统，其中，所述第一相机和所述第二相机的组合采样率包括60Hz。

示例35.根据示例28至34中的任一项所述的眼睛跟踪系统，其中，所述处理电子器件被配置为基于所述右眼的所述第一多个视觉数据中的至少一个视觉数据与所述左眼的所述第二多个视觉数据中的至少一个视觉数据之间的差异的确定，估计所述视觉数据。

示例36.根据示例35所述的眼睛跟踪系统，其中，所述处理电子器件还被配置为：

基于在所估计的视觉数据的所述采样时间期间捕获的所述左眼的所述第二多个视觉数据中的视觉数据与在所估计的视觉数据的所述采样时间之前的采样时间期间捕获的所述右眼的所述第一多个视觉数据中的视觉数据之间的第一差异的确定，估计所述右眼的所述视觉数据；以及

基于在所估计的视觉数据的所述采样时间期间捕获的所述右眼的所述第一多个视觉数据中的视觉数据与在所估计的视觉数据的所述采样时间之前的采样时间期间捕获的所述左眼的所述第二多个视觉数据中的视觉数据之间的第二差异的确定，估计所述左眼的所述视觉数据。

示例37.根据示例36所述的眼睛跟踪系统，其中：

所述右眼的所述第一多个视觉数据中的所述视觉数据的所述采样时间紧接在所估计的视觉数据的所述采样时间之前；以及

所述左眼的所述第二多个视觉数据中的所述视觉数据的所述采样时间紧接在所估计的视觉数据的所述采样时间之前。

示例38.根据示例35至37中的任一项所述的眼睛跟踪系统，其中，所述处理电子器件还被配置为：

基于所述差异和在所估计的视觉数据的所述采样时间之前的采样时间期间捕获的所述右眼的所述第一多个视觉数据中的视觉数据，估计所述右眼的所述视觉数据；以及

基于所述差异和在所估计的视觉数据的所述采样时间之前的采样时间期间捕获的所述左眼的所述第二多个视觉数据中的视觉数据，估计所述左眼的所述视觉数据。

示例39.根据示例38所述的眼睛跟踪系统，其中：

所述右眼的所述第一多个视觉数据中的所述视觉数据的所述采样时间紧接在所估计的视觉数据的所述采样时间之前；以及

所述左眼的所述第二多个视觉数据中的所述视觉数据的所述采样时间紧接在所估计的视觉数据的所述采样时间之前。

示例40.根据示例35至39中的任一项所述的眼睛跟踪系统，其中，所述处理电子器件还被配置为：基于使用低通滤波器对所述差异进行滤波来估计所述右眼或所述左眼的所述视觉数据。

示例41.一种可穿戴显示系统，包括根据示例28至40中的任一项所述的眼睛跟踪系统和被配置为呈现虚拟内容的显示器，其中，所述处理电子器件通信地耦接到所述显示器并且还被配置为使得所述显示器基于所述眼睛移动来呈现所述虚拟内容。

示例42.根据示例41所述的可穿戴显示系统，包括头戴式显示器。

示例43.一种可穿戴显示系统，包括：

框架，其被配置为支撑在穿戴者的头部上；

头戴式显示器，其被设置在所述框架上，所述显示器被配置为通过向所述穿戴者的眼睛输出光来向所述穿戴者呈现虚拟图像内容；

右眼跟踪相机，其被配置为捕获所述穿戴者的右眼的第一多个视觉数据；以及

左眼跟踪相机，其被配置为捕获所述穿戴者的左眼的第二多个视觉数据，

其中，所述第二多个视觉数据在与所述第一多个视觉数据不同的采样时间期间被捕获，所述左眼跟踪相机在所述右眼跟踪相机正在捕获视觉数据时的时段期间不捕获视觉数据，并且所述右眼跟踪相机在所述左眼跟踪相机正在捕获视觉数据时的时段期间不捕获视觉数据。

示例44.根据示例43所述的可穿戴显示系统，还包括：至少一个光源，其被配置为将光引导向所述穿戴者的所述眼睛。

示例45.根据示例44所述的可穿戴显示系统，其中，所述至少一个光源包括红外光源。

示例46.根据示例44至45中的任一项所述的可穿戴显示系统，其中，所述至少一个光源包括：第一光源，其被配置为将光引导向所述左眼；以及第二光源，其被配置为将光引导向所述右眼。

示例47.根据示例43至46中的任一项所述的可穿戴显示系统，其中，所述右眼跟踪相机和所述左眼跟踪相机的组合采样率包括所述左眼跟踪相机和所述右眼跟踪相机的采样率的聚合。

示例48.根据示例47所述的可穿戴显示系统，其中，所述左眼跟踪相机的所述采样率等于所述右眼跟踪相机的所述采样率。

示例49.根据示例48所述的可穿戴显示系统，其中，所述左眼跟踪相机和所述右眼跟踪相机的所述采样率包括30Hz。

示例50.根据示例49所述的可穿戴显示系统，其中，所述左眼跟踪相机和所述右眼跟踪相机的组合采样率包括60Hz。

示例51.根据示例43至50中的任一项所述的可穿戴显示系统，其中，所述右眼跟踪相机和所述左眼跟踪相机被配置为交替捕获所述第一多个视觉数据和所述第二多个视觉数据。

示例52.根据示例43或51中的任一项所述的可穿戴显示系统，还包括：处理电子器件，其通信地耦接到所述头戴式显示器以及所述右眼跟踪相机和所述左眼跟踪相机。

示例53.根据示例52所述的可穿戴显示系统，其中，所述处理电子器件被配置为：在未捕获所述第一多个视觉数据中的视觉数据的采样时间期间处估计所述右眼的视觉数据，并且在未捕获所述第二多个视觉数据中的视觉数据的采样时间期间处估计所述左眼的视觉数据。

示例54.根据示例52或53中的任一项所述的可穿戴显示系统，其中，所述处理电子器件被配置为：

基于至少一些视觉数据，在未捕获所述第一多个视觉数据中的视觉数据的采样时间期间，估计所述右眼的视觉数据；以及

基于至少一些视觉数据，在未捕获所述第二多个视觉数据中的视觉数据的采样时间期间，估计所述左眼的视觉数据。

示例55.根据示例52至54中的任一项所述的可穿戴显示系统，其中，所述处理电子器件被配置为：

基于所述第一多个视觉数据和所述第二多个视觉数据中的至少一些视觉数据，在其期间未捕获所述第一多个视觉数据中的视觉数据的采样时间，估计所述右眼的视觉数据；以及

基于所述第一多个视觉数据和所述第二多个视觉数据中的至少一些视觉数据，在其期间未捕获所述第二多个视觉数据的视觉数据的采样时间，估计所述左眼的视觉数据。

示例56.根据示例52至55中的任一项所述的可穿戴显示系统，其中，所述处理电子器件被配置为：使用捕获的视觉数据来确定所述右眼或所述左眼中的至少一个的眼睛移动。

示例57.根据示例52至56中的任一项所述的可穿戴显示系统，其中，所述处理电子器件被配置为：确定所述右眼或所述左眼中的至少一个的眼睛移动，所述右眼的所述眼睛移动的所述确定基于所估计的所述右眼的视觉数据中的至少一些和所述右眼的所述第一多个视觉数据中的至少一些视觉数据，以及所述左眼的所述眼睛移动的所述确定基于所估计的所述左眼的视觉数据中的至少一些和所述左眼的所述第二多个视觉数据中的至少一些视觉数据。

示例58.根据示例52至57中的任一项所述的可穿戴显示系统，其中，所述处理电子器件被配置为：基于所述第一多个视觉数据中的视觉数据与所述第二多个视觉数据中的视觉数据之间的差异的确定，在其期间未捕获所述第一多个视觉数据中的视觉数据的采样时间处估计所述右眼的视觉数据，并且在其期间未捕获所述第二多个视觉数据中的视觉数据的采样时间处估计所述左眼的视觉数据。

示例59.根据示例58所述的可穿戴显示系统，其中，所述处理电子器件还被配置为：

基于在所估计的视觉数据的所述采样时间期间捕获的所述第二多个视觉数据中的视觉数据与在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间捕获的所述第一多个视觉数据中的视觉数据之间的第一差异，估计所述右眼的所述视觉数据；以及

基于在所估计的视觉数据的所述采样时间期间捕获的所述第一多个视觉数据中的视觉数据与在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间捕获的所述第二多个视觉数据中的视觉数据之间的第二差异，估计所述左眼的所述视觉数据。

示例60.根据示例58至59中的任一项所述的可穿戴显示系统，其中，所述处理电子器件还被配置为：

基于所述差异和在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间捕获的所述第一多个视觉数据中的视觉数据，估计所述右眼的所述视觉数据；以及

基于所述差异和在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间捕获的所述第二多个视觉数据中的视觉数据，估计所述左眼的所述视觉数据。

示例61.根据示例58至60中的任一项所述的可穿戴显示系统，其中，所述处理电子器件还被配置为：基于对所述差异进行滤波，估计所述右眼或所述左眼的所述视觉数据。

示例62.根据示例61所述的可穿戴显示系统，其中，对所述差异进行滤波包括求平均。

示例63.一种可穿戴显示系统，包括：

头戴式显示器，其被配置为通过向所述头戴式显示器的穿戴者的眼睛输出光来呈现虚拟内容；

右眼跟踪相机，其被配置为捕获所述穿戴者的右眼的第一多个视觉数据；

左眼跟踪相机，其被配置为捕获所述穿戴者的左眼的第二多个视觉数据；以及

处理电子器件，其通信地耦接到所述头戴式显示器以及所述右眼跟踪相机和所述左眼跟踪相机，所述处理电子器件被配置为：

基于至少一些视觉数据，估计所述右眼的视觉数据；

基于至少一些视觉数据，估计所述左眼的视觉数据。

示例64.根据示例63所述的可穿戴显示系统，还包括：至少一个光源，其被配置为将光引导向所述穿戴者的所述眼睛。

示例65.根据示例64所述的可穿戴显示系统，其中，所述至少一个光源包括红外光源。

示例66.根据示例64至65中的任一项所述的可穿戴显示系统，其中，所述至少一个光源包括：第一光源，其被配置为将光引导向所述左眼；以及第二光源，其被配置为将光引导向所述右眼。

示例67.根据示例63至66中的任一项所述的可穿戴显示系统，其中，所述右眼跟踪相机和所述左眼跟踪相机的组合采样率包括所述左眼跟踪相机和所述右眼跟踪相机的采样率的聚合。

示例68.根据示例67所述的可穿戴显示系统，其中，所述左眼跟踪相机的所述采样率等于所述右眼跟踪相机的所述采样率。

示例69.根据示例68所述的可穿戴显示系统，其中，所述左眼跟踪相机和所述右眼跟踪相机的所述采样率包括30Hz。

示例70.根据示例69所述的可穿戴显示系统，其中，所述左眼跟踪相机和所述右眼跟踪相机的组合采样率包括60Hz。

示例71.根据示例63至70中的任一项所述的可穿戴显示系统，其中，所述右眼跟踪相机和所述左眼跟踪相机被配置为交替捕获所述第一视觉数据和所述第二多个视觉数据。

示例72.根据示例63或71中的任一项所述的可穿戴显示系统，其中，所述处理电子器件被配置为：在未捕获所述第一多个视觉数据中的视觉数据的采样时间期间估计所述右眼的视觉数据，并且在未捕获所述第二多个视觉数据中的视觉数据的采样时间期间处估计所述左眼的视觉数据。

示例73.根据示例63至72中的任一项所述的可穿戴显示系统，其中，所述处理电子器件被配置为：

基于所述第二多个视觉数据中的至少一些视觉数据，估计所述右眼的视觉数据；以及

基于所述第一多个视觉数据中的至少一些视觉数据，估计所述左眼的视觉数据。

示例74.根据示例63至73中的任一项所述的可穿戴显示系统，其中，所述处理电子器件被配置为：

基于所述第一多个视觉数据中的至少一些视觉数据，估计所述右眼的视觉数据；以及

基于所述第二多个视觉数据中的至少一些视觉数据，估计所述左眼的视觉数据。

示例75.根据示例63或71中的任一项所述的可穿戴显示系统，其中，处理电子器件被配置为：

基于所述第一多个视觉数据和所述第二多个视觉数据中的至少一些视觉数据，针对在其期间未捕获所述第一多个视觉数据中的视觉数据的采样时间来估计所述右眼的视觉数据；

基于所述第一多个视觉数据和所述第二多个视觉数据中的至少一些视觉数据，针对在其期间未捕获所述第二多个视觉数据中的视觉数据的采样时间来估计所述左眼的视觉数据。

示例76.根据示例63至75中的任一项所述的可穿戴显示系统，其中，所述处理电子器件被配置为：基于捕获的视觉数据来确定所述右眼或所述左眼中的至少一个的眼睛移动。

示例77.根据示例63至76中的任一项所述的可穿戴显示系统，其中，所述处理电子器件被配置为：确定所述右眼或所述左眼中的至少一个的眼睛移动，所述右眼的所述眼睛移动的所述确定基于所估计的所述右眼的视觉数据中的至少一些和所述右眼的所述第一多个视觉数据中的至少一些视觉数据，以及所述左眼的所述眼睛移动的所述确定基于所估计的所述左眼的视觉数据中的至少一些和所述左眼的所述第二多个视觉数据中的至少一些视觉数据。

示例78.根据示例63至77中的任一项所述的可穿戴显示系统，其中，所述处理电子器件被配置为：基于所述第一多个视觉数据中的视觉数据与所述第二多个视觉数据中的视觉数据之间的差异的确定，在其期间未捕获所述第一多个视觉数据中的视觉数据的采样时间处估计所述右眼的视觉数据，并且在其期间未捕获所述第二多个视觉数据中的视觉数据的采样时间处估计所述左眼的视觉数据。

示例79.根据示例78所述的可穿戴显示系统，其中，所述处理电子器件还被配置为：

基于在所估计的视觉数据的所述采样时间期间捕获的所述第二多个视觉数据中的视觉数据与在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间捕获的所述第一多个视觉数据中的视觉数据之间的第一差异，估计所述右眼的所述视觉数据；以及

基于在所估计的视觉数据的所述采样时间期间捕获的所述第一多个视觉数据中的视觉数据与在紧接在所估计的所述视觉数据的所述采样时间之前的采样时间期间捕获的所述第二多个视觉数据中的视觉数据之间的第二差异，估计所述左眼的所述视觉数据。

示例80.根据示例78至79中的任一项所述的可穿戴显示系统，其中，所述处理电子器件还被配置为：

基于所述差异和在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间捕获的所述第一多个视觉数据中的视觉数据，估计所述右眼的所述视觉数据；以及

基于所述差异和在紧接在所述估计的视觉数据的所述采样时间之前的采样时间期间捕获的所述第二多个视觉数据中的视觉数据，估计所述左眼的所述视觉数据。

示例81.根据示例78至80中的任一项所述的可穿戴显示系统，其中，所述处理电子器件还被配置为：基于对所述差异进行滤波来估计所述右眼或所述左眼的所述视觉数据。

示例82.根据示例81所述的可穿戴显示系统，其中，对所述差异进行滤波包括求平均。

示例83.一种使用和/或操作根据前述示例中的任一项所述的系统的方法。

示例84.一种如所示和/或所描述的装置和/或方法。

附加考虑

本文描述和/或附图中描绘的每个过程、方法和算法可以体现在由一个或多个被配置为执行专门的和特定的计算机指令的物理计算系统、硬件计算机处理器、专用电路和/或电子硬件中以及全部或部分地由其自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如服务器)或专用计算机、专用电路等。代码模块可被编译并链接到可执行程序中、安装在动态链接库中，或者可以用解释性编程语言来编写。在一些实施方式中，特定的操作和方法可以由特定于给定功能的电路执行。

此外，本公开的功能的某些实施方式在数学上、计算上或技术上都足够复杂，以致于可能需要专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行功能，例如由于所涉及计算的量或复杂性，或为了实质上实时地提供结果。例如，动画或视频可以包括许多帧，每个帧具有数百万个像素，并且需要专门编程的计算机硬件来处理视频数据，以在商业上合理的时间量内提供所需的图像处理任务或应用。此外，用于AR、MR、VR可穿戴设备的实时眼睛跟踪在计算上具有挑战性，并且本文所公开的眼睛跟踪技术可以利用高效的CPU、GPU、ASIC或FPGA。

代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，例如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储设备、它们和/或类似存储器的组合等。方法和模块(或数据)还可以作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)在各种计算机可读传输介质(包括基于无线的和基于有线的/电缆的介质)上发送，并且可以采用多种形式(例如作为单个或多路复用模拟信号的一部分，或作为多个离散数字分组或帧)。所公开的过程或过程步骤的结果可以永久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质进行传递。

本文描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应被理解为潜在地表示代码模块、代码段或代码部分，其包括用于在流程中实现特定功能(例如逻辑或算术)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能可以组合、重新布置、添加到本文提供的说明性示例、从本文提供的说明性示例中删除、修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文描述的一些或全部功能。本文描述的方法和过程也不限于任何特定的顺序，并且与之相关的框、步骤或状态可以以适当的其他顺序(例如串行、并行或以某些其他方式)来执行。可以将任务或事件添加到所公开的示例实施例中或从中删除。此外，本文描述的实施方式中的各种系统组件的分离是出于说明的目的，并且不应被理解为在所有实施方式中都需要这种分离。应当理解，所描述的程序组件、方法和系统通常可以被集成在一起在单个计算机产品中或包装到多个计算机产品中。许多实施方式变型是可能的。

可以在网络(或分布式)计算环境中实现过程、方法和系统。网络环境包括企业范围的计算机网络、企业内网、局域网(LAN)、广域网(WAN)、个人区域网(PAN)、云计算网络、众包计算网络、互联网和万维网。该网络可以是有线或无线网络或任何其他类型的通信网络。

本公开的系统和方法各自具有若干创新方面，其中，没有一个对本文公开的期望属性负有单独责任或要求。上述的各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合旨在落入本公开的范围内。对本公开中描述的实现的各种修改对于本领域技术人员而言是显而易见的，并且在不脱离本公开的精神或范围的情况下，本文中定义的一般原理可以应用于其他实现。因此，权利要求书无意限于本文中所示的实现，而是应被赋予与本文中所揭示的本发明、原理及新颖特征一致的最广范围。

在本说明书中在单独的实现的上下文中描述的某些特征也可以在单个实现中组合实现。相反，在单个实现的上下文中描述的各种特征也可以分别在多个实现中或以任何合适的子组合来实现。而且，尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此宣称，但是在某些情况下可以从组合中切除所要求保护的组合中的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变体。对于每个实施例，没有单个特征或一组特征是必要的或必不可少的。

这里使用的条件语言，尤其例如“能够”、“会”、“可能”、“可以”、“例如”等，除非另有明确说明，否则在所使用的上下文中理解为通常意在传达某些实施例包括而其他实施例不包括某些特征、元素和/或步骤。因此，这样的条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或没有作者输入或提示的情况下决定这些特征、元素和/或步骤是否在任何特定实施例中被包括或将被执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，以开放式方式包含地使用，并且不排除附加要素、特征、动作、操作等。而且，术语“或”以其包含的含义使用(而不是以其排他的含义使用)，因此例如在用于连接元素列表时，术语“或”表示列表中的一个、一些或全部元素。另外，在本申请和所附权利要求书中使用的“一”、“一个”和“该”应被解释为表示“一个或多个”或“至少一个”，除非另有说明。

如本文所使用的，指代项目列表中的“至少一个”的短语是指那些项目的任何组合，包括单个成员。例如，“A、B或C中的至少一个”旨在涵盖：A、B、C、A和B、A和C、B和C以及A、B和C。除非另外特别说明，否则诸如短语“X、Y和Z中的至少一个”之类的词语应与上下文一起理解，该上下文通常用于传达项目、术语等可以是X、Y或Z中的至少一个。因此，这种联合语言通常不旨在暗示某些实施例要求X中的至少一个、Y中的至少一个和Z中的至少一个存在。

类似地，尽管可以以特定顺序在附图中描绘操作，但是要认识到，不需要以所示的特定顺序或相继顺序来执行这样的操作，或者不需要执行所有示出的操作来实现理想的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作可以结合在示意性示出的示例方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其他实现中，操作可以重新布置或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，在上述实现中的各种系统组件的分离不应被理解为在所有实现中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以集成在单个软件产品中或打包到多个软件产品中。另外，其他实现在所附权利要求的范围内。在某些情况下，可以以不同的顺序执行权利要求中记载的动作，并且仍然实现期望的结果。

Claims (27)

1.一种可穿戴显示系统，包括：

头戴式显示器，其被配置为通过向所述头戴式显示器的穿戴者的眼睛输出光来呈现虚拟内容；

至少一个光源，其被配置为将光引导向所述穿戴者的所述眼睛；

右眼睛跟踪相机，其被配置为以第一采样率捕获所述穿戴者的右眼睛的第一多个视觉数据；

左眼睛跟踪相机，其被配置为以第二采样率捕获所述穿戴者的左眼睛的第二多个视觉数据，所述第二多个视觉数据在与所述第一多个视觉数据不同的采样时间期间被捕获；以及

处理电子器件，其通信地耦接到所述头戴式显示器以及所述右眼睛跟踪相机和所述左眼睛跟踪相机，所述处理电子器件被配置为：

基于所述第一多个视觉数据和所述第二多个视觉数据中的至少一些视觉数据，在所述第一多个视觉数据中的视觉数据未被捕获的采样时间，估计所述右眼睛的视觉数据；

基于所述第一多个视觉数据和所述第二多个视觉数据中的至少一些视觉数据，在所述第二多个视觉数据中的视觉数据未被捕获的采样时间，估计所述左眼睛的视觉数据；

确定所述右眼睛或左眼睛中的至少一个眼睛的眼睛移动，确定所述右眼睛的所述眼睛移动是基于所估计的所述右眼睛的视觉数据中的至少一些和所述右眼睛的所述第一多个视觉数据中的至少一些视觉数据，以及确定所述左眼睛的所述眼睛移动是基于所估计的所述左眼睛的视觉数据中的至少一些和所述左眼睛的所述第二多个视觉数据中的至少一些视觉数据；以及

使得所述头戴式显示器基于所述右眼睛或所述左眼睛中的至少一个的所述眼睛移动来呈现所述虚拟内容。

2.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述至少一个光源包括红外光源。

3.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述至少一个光源包括：第一光源，其被配置为将光引导向所述左眼睛；以及第二光源，其被配置为将光引导向所述右眼睛。

4.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述右眼睛跟踪相机和所述左眼睛跟踪相机的组合采样率包括所述第一采样率和所述第二采样率的聚合。

5.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述第一采样率等于所述第二采样率。

6.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述右眼睛跟踪相机和所述左眼睛跟踪相机被配置为交替捕获所述第一多个视觉数据和所述第二多个视觉数据。

7.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述第一采样率和所述第二采样率包括30Hz。

8.根据权利要求7所述的可穿戴显示系统，其中，所述右眼睛跟踪相机和所述左眼睛跟踪相机的组合采样率包括60Hz。

9.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述处理电子器件被配置为：基于对所述右眼睛的所述第一多个视觉数据中的视觉数据和所述左眼睛的所述第二多个视觉数据中的视觉数据之间的差异的确定，估计所述右眼睛或所述左眼睛的所述视觉数据。

10.根据权利要求9所述的可穿戴显示系统，其中，所述处理电子器件还被配置为：

基于在所估计的视觉数据的所述采样时间期间所捕获的所述左眼睛的所述第二多个视觉数据中的视觉数据与在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述右眼睛的所述第一多个视觉数据中的视觉数据之间的第一差异，估计所述右眼睛的所述视觉数据；以及

基于在所估计的视觉数据的所述采样时间期间所捕获的所述右眼睛的所述第一多个视觉数据中的视觉数据与在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述左眼睛的所述第二多个视觉数据中的视觉数据之间的第二差异，估计所述左眼睛的所述视觉数据。

11.根据权利要求9至10中的任一项所述的可穿戴显示系统，其中，所述处理电子器件还被配置为：

基于所述差异和在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述右眼睛的所述第一多个视觉数据中的视觉数据，估计所述右眼睛的所述视觉数据；以及

基于所述差异和在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述左眼睛的所述第二多个视觉数据中的视觉数据，估计所述左眼睛的所述视觉数据。

12.根据权利要求9至11中的任一项所述的可穿戴显示系统，其中，所述处理电子器件还被配置为：基于对所述差异进行滤波，估计所述右眼睛或所述左眼睛的所述视觉数据。

13.根据权利要求12所述的可穿戴显示系统，其中，对所述差异进行滤波包括求平均。

14.一种用于眼睛跟踪的方法，包括：

用第一相机以第一采样率捕获右眼睛的第一多个视觉数据；

用第二相机以第二采样率捕获左眼睛的第二多个视觉数据，在与所述第一多个视觉数据不同的采样时间期间捕获所述第二多个视觉数据；以及

由处理电子器件：

基于所述第一多个视觉数据和所述第二多个视觉数据中的至少一些视觉数据，在未捕获针对其估计视觉数据的眼睛的所述视觉数据的采样时间，估计所述右眼睛或所述左眼睛中的至少一个眼睛的视觉数据；以及

基于所估计的视觉数据中的至少一些和所述第一多个视觉数据或所述第二多个视觉数据中的至少一些视觉数据，确定所述眼睛的眼睛移动。

15.根据权利要求14所述的方法，还包括：由所述处理电子器件使得显示器至少部分地基于所述眼睛移动来渲染虚拟内容。

16.根据权利要求14至15中的任一项所述的方法，其中，确定所述眼睛移动包括：

基于所估计的所述右眼睛的视觉数据中的至少一些和所述右眼睛的所述第一多个视觉数据中的至少一些视觉数据，确定所述右眼睛的眼睛移动；以及

基于所估计的所述左眼睛的视觉数据中的至少一些和所述左眼睛的所述第二多个视觉数据的至少一些视觉数据，确定所述左眼睛的眼睛移动。

17.根据权利要求14至16中的任一项所述的方法，其中，所述第一相机和所述第二相机的组合采样率包括所述第一采样率和第二采样率的聚合。

18.根据权利要求14至17中的任一项所述的方法，其中，所述第一采样率等于所述第二采样率。

19.根据权利要求14至18中的任一项所述的方法，其中，所述第一相机和所述第二相机交替地捕获所述第一视觉数据和所述第二多个视觉数据。

20.根据权利要求14至18中的任一项所述的方法，其中，所述第一采样率和所述第二采样率包括30Hz。

21.根据权利要求19所述的方法，其中，所述第一相机和所述第二相机的组合采样率包括60Hz。

22.根据权利要求14至21中的任一项所述的方法，其中，估计所述视觉数据包括：确定所述右眼睛的所述第一多个视觉数据中的视觉数据与所述左眼睛的所述第二多个视觉数据中的视觉数据之间的差异。

23.根据权利要求22所述的方法，其中：

估计所述右眼睛的所述视觉数据包括：确定在所估计的视觉数据的所述采样时间期间所捕获的所述左眼睛的所述第二多个视觉数据中的视觉数据与在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述右眼睛的所述第一多个视觉数据中的视觉数据之间的第一差异；以及

估计所述左眼睛的所述视觉数据包括：确定在所估计的视觉数据的所述采样时间期间所捕获的所述右眼睛的所述第一多个视觉数据中的视觉数据与在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述左眼睛的所述第二多个视觉数据中的视觉数据之间的第二差异。

24.根据权利要求23所述的方法，其中：

所述右眼睛的所述第一多个视觉数据中的所述视觉数据的所述采样时间紧接在所估计的视觉数据的所述采样时间之前；以及

所述左眼睛的所述第二多个视觉数据中的所述视觉数据的所述采样时间紧接在所估计的视觉数据的所述采样时间之前。

25.根据权利要求22至24中的任一项所述的方法，还包括：由所述处理电子器件：

基于所述差异和在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述右眼睛的所述第一多个视觉数据中的视觉数据，估计所述右眼睛的所述视觉数据；以及

基于所述差异和在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述左眼睛的所述第二多个视觉数据中的视觉数据，估计所述左眼睛的所述视觉数据。

26.根据权利要求25所述的方法，其中：

所述右眼睛的所述第一多个视觉数据中的所述视觉数据的所述采样时间紧接在所估计的视觉数据的所述采样时间之前；以及

所述左眼睛的所述第二多个视觉数据中的所述视觉数据的所述采样时间紧接在所估计的视觉数据的所述采样时间之前。

27.根据权利要求22至26中的任一项所述的方法，还包括：通过低通滤波器对所述差异进行滤波。

Images