CN112655204A - 用于确定左显示器和右显示器与用户眼睛之间的垂直对准的显示系统和方法 - Google Patents

Abstract

一种可穿戴设备可以包括用于渲染看起来位于显示器的用户的周围环境中的三维(3D)虚拟对象的头戴式显示器(HMD)。HMD的相对位置和用户的一只或多只眼睛可能不位于期望位置以接收由HMD输出的图像信息。例如，HMD到眼睛的垂直对准可以在左眼与右眼之间是不同的。可穿戴设备可以确定HMD在用户的头部上是否齐平，并且然后可以向用户提供左眼对准标记和右眼对准标记。基于用户反馈，可穿戴设备可确定是否存在任何左右垂直未对准并且可采取行动以减少或最小化任何未对准的影响。

Description

用于确定左显示器和右显示器与用户眼睛之间的垂直对准的 显示系统和方法

通过引用并入

本申请通过引用来整体并入以下专利申请中的每一个：2018年8月3日提交的美国临时申请No.62/714,649；2016年7月17日提交的美国临时申请No.62/875,474；2019年7月17日提交的美国申请No.16/251,017；以及2019年7月23日提交的PCT申请PCT/US2019/043096。

技术领域

本公开涉及包括虚拟现实和增强现实显示系统的显示系统，更具体地，涉及用于在可穿戴显示系统中对准左显示器和右显示器的系统和方法。

背景技术

现代计算和显示技术促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统的发展，其中数字再现的图像或其部分以看起来是真实的或可被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而不对其他实际的真实世界的视觉输入透明；增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为对用户周围的现实世界的可视化的增强；混合现实或“MR”涉及将真实世界和虚拟世界合并以产生物理和虚拟对象共存并实时交互的新环境。事实证明，人类视觉感知系统非常复杂，并且产生VR、AR或MR技术具有挑战性，这些技术便于在其他虚拟或真实世界的图像元素中舒适、自然、丰富地呈现虚拟图像元素。在此公开的系统和方法解决了与VR、AR和MR技术有关的各种挑战。

发明内容

公开了混合现实系统中的显示器对准的各种示例。

在一些实施例中，提供了一种增强现实系统。该增强现实系统包括：头戴式显示器，其被配置为通过向用户输出光来呈现虚拟内容；成像设备，其被配置为捕获用户的眼睛的图像；以及至少一个处理器，其被通信地耦接到头戴式显示器和成像设备。该至少一个处理器被配置为：使用左眼显示器提供左眼对准标记；使用右眼显示器提供右眼对准标记；接收用户输入以调整左眼对准标记和右眼对准标记中的至少一个；以及基于所接收到的用户输入来垂直地调整左眼显示器和右眼显示器中的至少一个显示器中的图像内容。在一些实施例中，该至少一个处理器被配置为：确定头戴式显示系统是否相对于用户的左眼和右眼齐平；以及在提供左眼对准标记或右眼对准标记之前，向用户提供关于头戴式显示系统是否相对于用户的左眼和右眼齐平的反馈。

在一些其他实施例中，提供了一种用于使头戴式显示系统的左眼显示器和右眼显示器的显示内容与用户的左眼和右眼垂直对准的方法。该方法包括：使用左眼显示器提供左眼对准标记；使用右眼显示器提供右眼对准标记；接收用户输入以调整左眼对准标记和右眼对准标记中的至少一个；以及基于所接收到的用户输入来垂直地调整左眼显示器和右眼显示器中的至少一个显示器中的图像内容。在一些实施例中，该方法还包括：确定头戴式显示系统是否相对于用户的左眼和右眼的齐平；以及在提供左眼对准标记或右眼对准标记之前，向用户提供关于头戴式显示系统是否相对于用户的左眼和右眼齐平的反馈。

在一些实施例中，提供了一种增强现实系统。该增强现实系统包括：头戴式显示器(HMD)，其被配置为通过向用户输出光来呈现虚拟内容；以及至少一个处理器，其被通信地耦接到HMD。HMD包括被配置为向用户的左眼呈现虚拟内容的左眼显示器和被配置为向用户的右眼呈现虚拟内容的右眼显示器。至少一个处理器被配置为：使用左眼显示器来提供左眼对准标记；使用右眼显示器来提供右眼对准标记；接收用户输入以调整左眼对准标记和右眼对准标记中的至少一个；以及基于所接收到的用户输入来垂直地调整左眼显示器和右眼显示器中的至少一个中的图像内容。

在一些实施例中，提供了一种增强现实系统。该增强现实系统包括：头戴式显示器(HMD)，其被配置为通过向用户输出光来呈现虚拟内容；成像系统，其被配置为捕获用户眼睛的图像；以及至少一个处理器，其被通信地耦接到HMD和成像装置。至少一个处理器被配置为至少部分地基于由成像系统捕获的一个或多个图像来确定在用户的左眼与右眼之间延伸的用户的眼间轴；确定HMD相对于用户的眼间轴的取向；以及基于所确定的HMD相对于用户的眼间轴的取向来向用户提供反馈。

实施例的附加示例在下面列举。

示例1.一种增强现实系统，包括：

头戴式显示器，其被配置为通过向用户输出光来呈现虚拟内容；

成像设备，其被配置为捕获用户的眼睛的图像；以及

至少一个处理器，其被通信地耦接到头戴式显示器和成像设备，至少一个处理器被配置为：

使用左眼显示器提供左眼对准标记；

使用右眼显示器提供右眼对准标记；

接收用户输入以调整左眼对准标记和右眼对准标记中的至少一个；以及

基于所接收到的用户输入来垂直地调整左眼显示器和右眼显示器中的至少一个显示器中的图像内容。

示例2.根据示例1所述的增强现实系统，其中，处理器被配置为：

确定头戴式显示系统是否相对于用户的左眼和右眼齐平；以及

在使用左眼显示器提供左眼对准标记之前，向用户提供关于头戴式显示系统是否相对于用户的左眼和右眼齐平的反馈。

示例3.根据示例1所述的增强现实系统，其中，处理器被配置为通过呈现具有取向的齐平标记来向用户提供关于头戴式显示器是否相对于用户的左眼和右眼齐平的反馈，其中取向关于头戴式显示器相对于用户的左眼和右眼的取向而改变。

示例4.根据示例1所述的增强现实系统，还包括眼睛跟踪系统，其中，处理器被配置为基于来自眼睛跟踪系统的眼睛跟踪数据来确定头戴式显示系统是否相对于用户的左眼和右眼齐平。

示例5.根据示例1所述的增强现实系统，还包括眼睛跟踪系统，其中，处理器还被配置为基于来自眼睛跟踪系统的眼睛跟踪数据来确定在用户的左眼与右眼之间延伸的用户的眼间轴。

示例6.根据示例5所述的增强现实系统，其中，处理器还被配置为通过确定眼睛跟踪系统相对于用户的眼间轴的取向来确定头戴式显示系统是否相对于用户的左眼和右眼齐平。

示例7.根据示例5所述的增强现实系统，其中，处理器被配置为通过呈现具有取向的齐平标记来向用户提供关于头戴式显示器是否相对于用户的左眼和右眼齐平的反馈，其中取向关于眼睛跟踪系统相对于用户的眼间轴的取向而改变。

示例8.根据示例5所述的增强现实系统，其中，处理器被配置为通过呈现与头戴式显示器的取向相关联的静态齐平标记和且呈现与眼间轴的取向相关联的动态齐平标记来向用户提供关于头戴式显示器是否相对于用户的左眼和右眼齐平的反馈，其中当眼间轴的取向相对于头戴式显示器改变时，动态齐平标记相对于静态齐平标记移动。

示例9.根据示例8所述的增强现实系统，其中，当头戴式显示器相对于眼间轴齐平时，动态齐平标记与静态齐平标记合并。

示例10.根据示例1所述的增强现实系统，其中，左眼对准标记包括第一水平线，并且其中右眼对准标记包括第二水平线。

示例11.根据示例10所述的增强现实系统，其中，处理器被配置为接收用于调整左眼对准标记和右眼对准标记中的至少一个的用户输入，用户输入采用升高或降低第一水平线和第二水平线中的至少一个水平线的用户输入的形式。

示例12.根据示例10所述的增强现实系统，其中，处理器被配置为接收用于调整左眼对准标记和右眼对准标记中的至少一个的用户输入，用户输入采用升高或降低第一水平线和第二水平线中的至少一个水平线直到从用户的角度第一水平线和第二水平线是齐平的用户输入的形式。

示例13.根据示例1所述的增强现实系统，其中，头戴式显示器包括：被配置为将来自世界的光传递到用户的左眼中的第一波导堆叠，以及被配置为将来自世界的光传递到用户的右眼中的第二波导堆叠，其中每一个波导堆叠包含多个波导。

示例14.根据示例1所述的增强现实系统，其中，头戴式显示器包括：被配置为将来自世界的光传递到用户的左眼中的第一波导堆叠，以及被配置为将来自世界的光传递到用户的右眼中的第二波导堆叠，

其中，每一个波导堆叠包含多个波导，其中该波导堆叠的一个或多个波导被配置为向用户输出具有与该波导堆叠的一个或多个其他波导不同的波前发散量的光，

其中，不同的波前发散量与眼睛的不同调节相关联，以及

其中，具有不同的波前发散量的输出光在远离用户的不同感知深度处形成虚拟对象。

示例15.一种用于使头戴式显示系统的左眼显示器和右眼显示器的显示内容与用户的左眼和右眼垂直对准的方法，方法包括：

使用左眼显示器提供左眼对准标记；

使用右眼显示器提供右眼对准标记；

接收用户输入以调整左眼对准标记和右眼对准标记中的至少一个；以及

基于所接收到的用户输入来垂直地调整左眼显示器和右眼显示器中的至少一个显示器中的图像内容。

示例16.根据示例15所述的方法，还包括：

确定头戴式显示系统是否相对于用户的左眼和右眼的齐平；以及

在提供左眼对准标记或右眼对准标记之前，向用户提供关于头戴式显示系统是否相对于用户的左眼和右眼齐平的反馈。

示例17.根据示例15所述的方法，其中，头戴式显示系统包括眼睛跟踪系统，其中确定头戴式显示系统是否相对于用户的左眼和右眼的齐平包括：利用眼睛跟踪系统来确定在用户的左眼与右眼之间延伸的用户的眼间轴，以及确定头戴式显示系统相对于眼间轴的齐平。

示例18.根据示例17所述的方法，其中，利用眼睛跟踪系统来确定用户的眼间轴包括：

使用眼睛跟踪系统来确定用户的左眼的旋转中心；

使用眼睛跟踪系统来确定用户的右眼的旋转中心；以及

确定在用户的左眼的旋转中心与右眼的旋转中心之间延伸的线的位置，其中线构成眼间轴。

示例19.根据示例15所述的方法，其中，提供左眼对准标记包括：使用左眼显示器来提供第一垂直对准标记和第一水平对准标记，并且其中提供右眼对准标记包括：使用右眼显示器来提供第二垂直对准标记和第二水平对准标记。

示例20.根据示例19所述的方法，其中，当由用户观看时，第一垂直对准标记和第二垂直对准标记在用户的视觉中融合在一起，并且第一水平对准标记和第二水平对准标记在用户的视觉中保持未被融合。

示例21.根据示例19所述的方法，其中，接收用户输入以调整左眼对准标记和右眼对准标记中的至少一个包括：接收用户输入以垂直地移动第一水平对准标记和第二水平对准标记中的至少一个。

示例22.根据示例19所述的方法，其中，接收用户输入以调整左眼对准标记和右眼对准标记中的至少一个包括：接收用户输入以垂直地移动第一水平对准标记和第二水平对准标记中的至少一个，直到第一水平对准标记和第二水平对准标记在用户的视觉中彼此垂直对准。

示例23.根据示例15所述的方法，还包括：

确定用户已佩戴头戴式显示系统持续给定时间阈值；以及

响应于确定用户已佩戴头戴式显示系统持续给定时间阈值，执行确定头戴式显示系统的齐平。

示例24.一种增强现实系统，包括：

头戴式显示器，其被配置为通过向用户输出光来呈现虚拟内容，该头戴式显示器包括被配置为向用户的左眼呈现虚拟内容的左眼显示器和被配置为向用户的右眼呈现虚拟内容的右眼显示器；以及

至少一个处理器，其被通信地耦接到头戴式显示器，至少一个处理器被配置为：

使用左眼显示器提供左眼对准标记；

使用右眼显示器提供右眼对准标记；

接收用户输入以调整左眼对准标记和右眼对准标记中的至少一个；以及

基于所接收到的用户输入来垂直地调整左眼显示器和右眼显示器中的至少一个显示器中的图像内容。

示例25.根据示例24所述的增强现实系统，其中，左眼对准标记包括第一水平线，并且其中右眼对准标记包括第二水平线。

示例26.根据示例25所述的增强现实系统，其中，处理器被配置为接收用于调整左眼对准标记和右眼对准标记中的至少一个的用户输入，用户输入采用升高或降低第一水平线和第二水平线中的至少一个水平线的用户输入的形式。

示例27.根据示例25所述的增强现实系统，其中，处理器被配置为接收用于调整左眼对准标记和右眼对准标记中的至少一个的用户输入，用户输入采用升高或降低第一水平线和第二水平线中的至少一个水平线直到从用户的角度第一水平线和第二水平线是齐平的用户输入的形式。

示例28.根据示例24所述的增强现实系统，其中，左眼显示器包括：被配置为将来自世界的光传递到用户的左眼中的第一波导堆叠，以及右眼显示器包括被配置为将来自世界的光传递到用户的右眼中的第二波导堆叠，其中每一个波导堆叠包含多个波导。

示例29.根据示例24所述的增强现实系统，其中，左眼显示器包括：被配置为将来自世界的光传递到用户的左眼中的第一波导堆叠，以及右眼显示器包括被配置为将来自世界的光传递到用户的右眼中的第二波导堆叠，

其中，每一个波导堆叠包含多个波导，其中该波导堆叠的一个或多个波导被配置为向用户输出具有与该波导堆叠的一个或多个其他波导不同的波前发散量的光，

其中，不同的波前发散量与眼睛的不同调节相关联，以及

其中，具有不同的波前发散量的输出光在远离用户的不同感知深度处形成虚拟对象。

示例30.根据示例24所述的增强现实系统，其中，为了使用左眼显示器和右眼显示器来分别提供左眼对准标记和右眼对准标记，该至少一个处理器被配置为：

使用左眼显示器提供第一垂直对准标记和第一水平对准标记；以及

使用右眼显示器提供第二垂直对准标记和第二水平对准标记。

示例31.根据示例30所述的增强现实系统，其中，当由用户观看时，第一垂直对准标记和第二垂直对准标记在用户的视觉中融合在一起，并且第一水平对准标记和第二水平对准标记在用户的视觉中保持未被融合。

示例32.根据示例30所述的增强现实系统，其中，为了接收用户输入以调整左眼对准标记和右眼对准标记中的至少一个，该至少一个处理器被配置为：

接收用户输入以垂直地移动第一水平对准标记和第二水平对准标记中的至少一个。

示例33.根据示例30所述的增强现实系统，其中，为了接收用户输入以调整左眼对准标记和右眼对准标记中的至少一个，该至少一个处理器被配置为：

接收用户输入以垂直地移动第一水平对准标记和第二水平对准标记中的至少一个，直到第一水平对准标记和第二水平对准标记在用户的视觉中彼此垂直对准。

示例34.根据示例24所述的增强现实系统，其中，至少一个处理器还被配置为：

选择用于呈现左眼对准标记的第一垂直位置；以及

选择用于呈现右眼对准标记的第二垂直位置，以及

其中为了使用左眼显示器和右眼显示器来分别提供左眼对准标记和右眼对准标记，该至少一个处理器被配置为：

使用左眼显示器在第一垂直位置处提供左眼对准标记；以及

使用右眼显示器在第二垂直位置处提供右眼对准标记。

示例35.根据示例24所述的增强现实系统，其中，为了选择用于呈现左眼对准标记的第一垂直位置和选择用于呈现右眼对准标记的第二垂直位置，至少一个处理器被配置为：

伪随机地或半随机地选择用于呈现左眼对准标记的第一垂直位置；以及

伪随机地或半随机地选择用于呈现右眼对准标记的第二垂直位置。

示例36.根据示例24所述的增强现实系统，其中，为了基于所接收到的用户输入来垂直地调整左眼显示器和右眼显示器中的至少一个中的图像内容，至少一个处理器被配置为：

基于所接收到的用户输入、所选择的第一垂直位置和所选择的第二垂直位置来垂直地调整左眼显示器和右眼显示器中的至少一个中的图像内容。

示例37.根据示例24所述的增强现实系统，其中，为了基于所接收到的用户输入来垂直地调整左眼显示器和右眼显示器中的至少一个中的图像内容，至少一个处理器被配置为：

调整与左眼显示器相关联的第一渲染相机和与右眼显示器相关联的第二渲染相机中的至少一个的一个或多个外在参数。

示例38.根据示例37所述的增强现实系统，其中，该一个或多个外部参数包括位置和取向中的至少一个。

示例39.根据示例24所述的增强现实系统，还包括被配置为捕获用户眼睛的图像的成像系统，以及

其中，至少一个处理器被通信地耦接到成像系统，该至少一个处理器还被配置为：

至少部分地基于由成像系统捕获的一个或多个图像来确定头戴式显示器是否相对于用户的左眼和右眼齐平。

示例40.根据示例39所述的增强现实系统，其中，至少一个处理器被配置为响应于确定头戴式显示器相对于用户的左眼和右眼齐平，使用左眼显示器和右眼显示器来分别提供左眼对准标记和右眼对准标记。

示例41.根据示例24所述的增强现实系统，其中，左眼显示器包括第一波导堆叠，以及右眼显示器包括第二波导堆叠，第一波导堆叠和第二波导堆叠中的每一个包括被配置为向用户输出光的多个波导，以及

其中，为了使用左眼显示器和右眼显示器分别提供左眼对准标记和右眼对准标记，至少一个处理器被配置为：

使用第一波导堆叠中的多个波导中的单个波导来提供左眼对准标记；以及

使用第二波导堆叠中的多个波导中的单个波导来提供右眼对准标记。

示例42.一种增强现实系统，包括：

头戴式显示器，其被配置为通过向用户输出光来呈现虚拟内容；

成像系统，其被配置为捕获用户眼睛的图像；以及

至少一个处理器，其被通信地耦接到头戴式显示器和成像系统，该至少一个处理器被配置为：

至少部分地基于由成像系统捕获的一个或多个图像来确定在用户的左眼与右眼之间延伸的用户的眼间轴；

确定头戴式显示器相对于用户的眼间轴的取向；以及

基于所确定的头戴式显示器相对于用户的眼间轴的取向来向用户提供反馈。

示例43.根据示例42所述的增强现实系统，其中，为了基于所确定的头戴式显示器相对于用户的眼间轴的取向来向用户提供反馈，至少一个处理器被配置为：

呈现具有取向的齐平标记，其中该取向关于所确定的头戴式显示器相对于用户的左眼和右眼的取向而改变。

示例44.根据示例42所述的增强现实系统，其中，为了基于所确定的头戴式显示器相对于用户的眼间轴的取向来向用户提供反馈，至少一个处理器被配置为：

呈现与头戴式显示器的取向相关联的静态齐平标记；以及

呈现与眼间轴的取向相关联的动态齐平标记，其中当眼间轴的取向相对于头戴式显示器改变时，动态齐平标记相对于静态齐平标记移动。

示例45.根据示例44所述的增强现实系统，其中，当头戴式显示器相对于眼间轴齐平时，动态齐平标记与静态齐平标记合并。

示例46.根据示例42所述的增强现实系统，其中，为了至少部分地基于由成像系统捕获的一个或多个图像来确定在用户的左眼与右眼之间延伸的用户的眼间轴，至少一个处理器被配置为：

至少部分地基于由成像系统捕获的用户左眼的一个或多个图像来确定用户左眼的旋转中心；

至少部分地基于由成像系统捕获的用户右眼的一个或多个图像来确定用户右眼的旋转中心；以及

确定在用户的左眼的旋转中心与右眼的旋转中心之间延伸的线的位置，其中线构成用户的眼间轴。

示例47.根据示例42所述的增强现实系统，其中，至少一个处理器还被配置为：

确定用户是否已佩戴头戴式显示器持续至少时间阈值量，以及

其中至少一个处理器被配置为响应于确定用户已佩戴头戴式显示器持续至少时间阈值量，而至少部分地基于由成像系统捕获的一个或多个图像来确定在用户的左眼与右眼之间延伸的用户的眼间轴。

示例48.根据示例42所述的增强现实系统，其中，至少一个处理器还被配置为：

基于所确定的头戴式显示器相对于用户的眼间轴的取向来确定头戴式显示器是否相对于用户的左眼和右眼齐平。

示例47.根据示例46所述的增强现实系统，其中，至少一个处理器还被配置为：响应于确定头戴式显示器相对于用户的左眼和右眼齐平：

使用头戴式显示器的左眼显示器来提供左眼对准标记；

使用头戴式显示器的右眼显示器来提供右眼对准标记；

接收用户输入以调整左眼对准标记和右眼对准标记中的至少一个；以及

基于所接收到的用户输入来垂直地调整左眼显示器和右眼显示器中的至少一个中的图像内容。

示例48.根据示例46所述的增强现实系统，其中，为了基于所确定的头戴式显示器相对于用户的眼间轴的取向来向用户提供反馈，至少一个处理器被配置为：

向用户提供指示头戴式显示器是否相对于用户的左眼和右眼齐平的反馈。

本说明书中描述的主题的一个或多个实施方式的细节在附图和下面的描述中阐述。通过阅读描述、附图和权利要求，其他特征、方面和优点将变得显而易见。本发明内容和以下的具体实施方式都不旨在限定或限制本发明主题的范围。

附图说明

图1示出了具有由人观看到的特定虚拟现实对象和特定物理对象的混合现实场景的图示。

图2示意性地示出了可穿戴系统的示例。

图3示意性地示出了可穿戴系统的示例部件。

图4示意性地示出了用于向用户输出图像信息的可穿戴设备的波导堆叠的示例。

图5示意性地示出了眼睛的示例并且示意性地示出了用于确定眼睛的眼睛姿势的示例坐标系。

图6是包括眼睛跟踪系统的可穿戴系统的示意图。

图7A是可以包括眼睛跟踪系统的可穿戴系统的框图。

图7B是可穿戴系统中的渲染控制器的框图。

图7C是头戴式显示系统中的配准观察器的框图。

图8A是示出眼睛的角膜球的眼睛示意图。

图8B示出了由眼睛跟踪相机检测到的示例角膜亮斑。

图8C至8E示出了通过可穿戴系统中的眼睛跟踪模块定位用户的角膜中心的示例阶段。

图9A至9C示出了眼睛跟踪图像的坐标系的示例规范化(normalization)。

图9D至9G示出了通过可穿戴系统中的眼睛跟踪模块定位用户的瞳孔中心的示例阶段。

图10示出了眼睛的示例，包括眼睛的光轴和视轴以及眼睛的旋转中心。

图11是用于使用眼睛跟踪在可穿戴设备中渲染内容以及提供配准反馈的方法的示例的过程流程图。

图12A和图12B示出了显示元件相对于用户的眼睛的标称位置，并且示出了用于描述显示元件和用户的眼睛相对于彼此的位置的坐标系。

图13示出了可以被提供给头戴式显示系统的用户的示例显示屏，以作为将用户头部上的头戴式显示系统调平的部分。

图14示出了在用户已将他们头部上的头戴式显示系统调平之后可以被提供给图13中的头戴式显示系统的用户的示例显示屏。

图15示出了可以被提供给头戴式显示系统的用户的示例显示屏，以作为调整显示系统的左眼显示器与右眼显示器之间的垂直对准的部分。

图16示出了可以被提供给图15的用户的左眼、右眼和融合图像的示例，以作为调整显示系统的左显示器与右显示器之间的垂直对准的部分。

图17是用户的手和包括各种输入设备的控制器的透视图。

图18是示出将用户头部上的头戴式显示系统调平以及调整显示系统的左显示器和右显示器的垂直对准的实施例的流程图。

在所有附图中，可重复使用参考标号来指示所参考的元素之间的对应。提供附图是为了图示本文描述的示例实施例，而非旨在限制本公开的范围。

具体实施方式

显示系统可以包括头戴式显示器(HMD)，其可以显示虚拟对象，使得对象看起来位于用户的周围环境内。在一些实施例中，虚拟对象可以被用户感知为三维(3D)的。

HMD可以包括两个或更多个不同的显示器或单个连续显示器。在任何情况下，可以向用户的左眼和右眼输出不同的图像。如本文所使用的，对左眼显示器和右眼显示器或与观看者的左眼和左眼相关联的显示器的引用可被理解为指示被配置为向观看者的左眼和右眼输出不同图像的显示设备。因此，左眼显示器和右眼显示器可指示物理上分离的显示器、或被配置为将不同图像输出到每只眼睛的单个显示器。在一些实施例中，不同图像可以是呈现相同对象或场景的略微不同的视图的立体图像，其中不同视图被人类视觉系统融合在一起，这可以创建深度的感知。

在一些情况下，左显示器和右显示器可能不能相对于彼此和用户的眼睛正确地垂直对准。各种因素可以组合以确定左眼显示器和右眼显示器相对于彼此和用户眼睛的位置。例如，HMD可以随着时间而变形或扭曲，从而导致左眼显示器、右眼显示器垂直未对准。由于包括热循环、物理冲击(例如，由于被抛落)、来自粗糙处理的弹性或非弹性弯曲、材料的老化等的许多因素，HMD可能变形或扭曲。在一些情况下，左眼显示器或右眼显示器中的一个显示器可相对于左眼显示器或右眼显示器中的另一个显示器旋转和/或垂直平移。

这样的垂直未对准可能使用户体验降级并且可能导致用户不适。不受理论的限制，据信人类视觉系统不习惯于接收用于形成对应的左眼立体图像和右眼立体图像的垂直未对准的光，其中朝向一只眼睛传播的光可从朝向另一眼睛传播的光垂直偏移以形成对应的立体图像。应当理解，朝向每只眼睛传播的光可以形成特定于那些眼睛的立体图像。作为示例，如果来自一个显示器的光被水平地被引导到达一只眼睛并且来自另一显示器的光被向下引导到达另一眼睛，则这些显示器可以被认为是垂直未对准的。据信，甚至左眼与右眼之间的相对较小的垂直为对准可能导致不适，诸如有害的眼睛疲劳和头痛。

为了减少由于垂直未对准引起的观看者不适，可以减少左眼显示器与右眼显示器之间的垂直对准的差异。例如，左眼显示器和右眼显示器可以通过物理地移动那些显示器而垂直对准。在一些情况下，显示器的这种物理移动是不实际的或不期望的。有利地，在一些实施例中，通过在一个或两个显示器上使显示器垂直向上或向下移位图像内容来有效地实现左眼显示器与右眼显示器之间的垂直对准。在一些实施例中，图像移位可允许左眼显示器和右眼显示器具有与其对应的左眼和右眼类似的垂直关系。

本文中所描述的各种系统和技术至少部分地涉及解决与左眼显示器和右眼显示器的正确垂直对准相关的问题，这可允许观看者舒适地观看图像内容。在一些实施例中，头戴式显示系统可以被配置为确定用户眼睛的位置(例如，使用诸如面向内的成像系统，其可以是眼睛跟踪系统)。确定眼睛的位置可以包括确定与眼睛相关联的代表性点的位置，诸如眼睛的相应旋转中心和用户的眼间轴的位置和/或取向(例如，在用户的左眼和右眼的对应部分之间延伸的轴，诸如在用户的左眼旋转中心与用户的右眼旋转中心之间的轴)。然后，显示系统可以确定HMD是否相对于用户的眼睛齐平(level)(例如，相对于用户的眼间轴齐平)。在调平(leveling)之后，显示系统可以向用户的左眼呈现左眼对准标记，并且向用户的右眼呈现右眼对准标记。优选地，对准标记包括不被人类视觉系统融合并且在左眼显示器与右眼显示器之间的垂直为对准中显而易见的水平分量。然后，显示系统可以从用户请求反馈，该反馈识别和/或调整左眼显示器与右眼显示器之间的垂直对准差异(例如，通过要求用户对准左眼对准标记和右眼对准标记)。使用这样的反馈，显示系统可以通过补偿由用户识别的任何垂直对准差异来调整通过系统显示的内容，从而在观看HMD时改善用户的舒适度。

在一些实施例中，显示系统包括以堆叠形成的多个波导，用于向用户输出图像信息。如本文所述，可针对每一个波导执行对准过程。例如，不同波导可被配置为输出与不同深度平面对应的不同分量颜色和/或不同波前发散量，并且可针对每一个分量颜色(针对相应分量颜色波导中的每一者)和/或每一个深度平面(针对具有相应波前发散量的每一个波导)执行对准。

现在参考附图，在所有附图中，相同的参考标号表示相同的部件。除非另外指出，否则附图是示意性的，不一定按比例绘制。

可穿戴系统的3D显示的示例

可穿戴系统(在此也称为头戴式显示系统或增强现实(AR)系统)可被配置为向用户呈现2D或3D虚拟图像。图像可以是静止图像、视频帧或视频，上述项的组合等等。可穿戴系统的至少一部分可以在可穿戴设备上实现，该可穿戴设备能够单独或组合地呈现VR、AR或MR环境以用于用户交互。可穿戴设备可以与AR设备(ARD)互换地使用。此外，出于本公开的目的，术语“AR”可与术语“MR”互换地使用。

图1示出了具有由人观看到的特定虚拟现实对象和特定物理对象的混合现实场景的图示。在图1中，示出了MR场景100，其中MR技术的用户看到以人、树木、背景中的建筑物以及混凝土平台120为特征的真实世界公园状设置110。除了这些项目之外，MR技术的用户还感知他“看到”站在真实世界平台120上的机器人雕像130，以及看起来像大黄蜂的化身的飞舞的卡通式的化身角色140，尽管这些元素不存在于真实世界中。

为了使三维3D显示器产生真实的深度感，更具体地，为了产生模拟的表面深度感，可能希望显示器的视场中的每个点产生对应于其虚拟深度的调节响应(accommodativeresponse)。如果对显示点的调节响应与该点的虚拟深度(由会聚和立体视觉的双眼深度线索(depth cue)确定)不对应，则人眼可能经历调节冲突，导致成像不稳定、有害的眼疲劳、头痛，并且在没有调节信息的情况下，几乎完全缺乏表面深度。

VR、AR和MR体验可以由具有显示器的显示系统提供，在显示器中，对应于多个深度平面的图像被提供给观看者。每个深度平面的图像可能都有所不同(例如，提供略微不同的场景或对象呈现)，并且可以由观看者的眼睛单独聚焦，从而有助于基于眼睛的调节(需要这种调节以使位于不同深度平面上的场景的不同图像特征聚焦)，或者基于观察到不同深度平面上的不同图像特征脱焦，为用户提供深度线索。如本文其他地方所讨论的，这种深度线索提供了可靠的深度感。

图2示出了可被配置为提供AR/VR/MR场景的可穿戴系统200的示例。可穿戴系统200也可以称为AR系统200。可穿戴系统200包括显示器220以及支持显示器220的功能的各种机械和电子模块和系统。显示器220可以耦合到可由用户、穿戴者或观看者210穿戴的框架230。显示器220可以位于用户210的眼睛的前面。显示器220可以向用户呈现AR/VR/MR内容。因为显示器220可以被佩戴在用户210的头部上，所以它也可以被称为头戴式显示器(HMD)，并且包括显示器220的可穿戴系统200也可以被称为头戴式显示系统。

在一些实施例中，扬声器240被耦接到框架230并且被定位在用户的耳道附近(在一些实施例中，另一扬声器(未示出)被定位在用户的另一耳道附近以提供立体声/可塑形的声音控制)。显示器220可以包括音频传感器(例如，麦克风)232以检测来自环境的音频流并且捕获环境声音。在一些实施例中，放置一个或多个其他音频传感器(未示出)以提供立体声接收。立体声接收可用于确定声源的位置。可穿戴系统200可以对音频流执行语音或话音识别。

可穿戴系统200可包括面向外的成像系统464(如图4所示)，其观察用户周围环境中的世界。可穿戴系统200可以还包括面向内的成像系统462(如图4所示)，其可以跟踪用户的眼睛运动。面向内的成像系统可以跟踪一只眼睛的运动或全部两只眼睛的运动。面向内的成像系统462可以被附接到框架230并且可以与处理模块260或270电通信，处理模块260或270可以处理由面向内的成像系统获取的图像信息以确定例如用户210的眼睛的瞳孔直径或取向、眼睛运动或眼睛姿势。面向内的成像系统462可以包括一个或多个相机。例如，可以使用至少一个相机对每只眼睛进行成像。通过相机获取的图像可用于单独确定每只眼睛的瞳孔大小或眼睛姿势，从而允许向每只眼睛呈现为该只眼睛动态地定制的图像信息。

作为示例，可穿戴系统200可以使用面向外的成像系统464或面向内的成像系统462来获取用户姿势的图像。图像可以是静止图像、视频帧或视频。

显示器220可以例如通过有线引线或无线连接可操作地耦接250到本地数据处理模块260，本地数据处理模块260可以以各种配置安装，例如固定地附接到框架230，固定地附接到用户戴的头盔或帽子，嵌入在耳机中，或以其他方式可移除地附接到用户210(例如，采取背包式配置，采取腰带耦接式配置)。

本地处理和数据模块260可以包括硬件处理器以及诸如非易失性存储器(例如，闪速存储器)的数字存储器，二者都可用于辅助数据的处理、缓存以及存储。数据可以包括如下数据：a)从环境传感器(其可以例如可操作地耦接到框架230或以其他方式附接到用户210)捕获的数据，这些传感器为例如图像捕获设备(例如，面向内的成像系统或面向外的成像系统中的相机)、音频传感器(例如，麦克风)、惯性测量单元(IMU)、加速度计、罗盘、全球定位系统(GPS)单元、无线电装置或陀螺仪；或b)使用远程处理模块270或远程数据储存库280获取或处理的数据，可能在这样的处理或检索之后传递给显示器220。本地处理和数据模块260可以通过通信链路262或264(诸如经由有线或无线通信链路)可操作地耦接到远程处理模块270或远程数据储存库280，使得这些远程模块作为资源可用于本地处理和数据模块260。另外，远程处理模块280和远程数据储存库280可以可操作地相互耦接。

在一些实施例中，远程处理模块270可以包括一个或多个处理器，其被配置为分析和处理数据或图像信息。在一些实施例中，远程数据储存库280可以包括数字数据存储设施，其可以通过互联网或其他网络配置以“云”资源配置而可用。在一些实施例中，在本地处理和数据模块中存储全部数据，并且执行全部计算，这允许从远程模块完全自主使用。

可穿戴系统的示例部件

图3示意性地示出了可穿戴系统的示例部件。图3示出了可穿戴系统200，其可以包括显示器220和框架230。放大的视图202示意性地示出了可穿戴系统200的各种部件。在某些实施方式中，图3所示的部件中的一个或多个可以是显示器220的一部分。各种部件单独地或组合地可以收集与可穿戴系统200的用户或用户的环境相关联的各种数据(例如，音频或视觉数据)。应当理解，根据可穿戴系统所用于的应用，其他实施例可以具有更多或更少的部件。尽管如此，图3提供了各种部件以及可通过可穿戴系统收集、分析和存储的数据类型中的一些的基本理念。

图3示出了示例可穿戴系统200，其可以包括显示器220。显示器220可以包括显示透镜226，显示透镜226可以被安装到用户的头部或对应于框架230的壳体或框架230上。显示透镜226可以包括一个或多个透明镜，该透明镜由壳体230定位在用户的眼睛302、304前方，并且可被配置为将投射的光338反射到眼睛302、304中并促进光束成型，同时还允许透射来自本地环境的至少一些光。投射的光束338的波前可以被弯曲或聚焦以与投射的光的期望焦距一致。如图所示，两个广视场机器视觉相机316(也称为世界相机)可以被耦接到壳体230以对用户周围的环境进行成像。这些相机316可以是双拍摄可见光/不可见(例如，红外)光相机。相机316可以是图4中所示的面向外的成像系统464的一部分。由世界相机316获取的图像可以由姿势处理器336处理。例如，姿势处理器336可以实现一个或多个对象识别器708(例如，图7所示)以识别用户或用户环境中的另一人的姿势，或者识别用户环境中的物理对象。

继续参考图3，示出了一对扫描激光整形波前(例如，用于深度)光投影仪模块，其具有被配置为将光338投射到眼睛302、304中的显示镜和光学器件。所描绘的视图还示出了与红外光源326(例如发光二极管“LED”)配对的两个微型红外相机324，其被配置为能够跟踪用户的眼睛302、304以支持渲染和用户输入。相机324可以是图4所示的面向内的成像系统462的一部分。可穿戴系统200还可以具有传感器组件339，该传感器组件339可以包括X、Y和Z轴加速度计功能以及磁罗盘以及X、Y和Z轴陀螺仪功能，优选地以相对较高的频率(例如200Hz)提供数据。传感器组件339可以是参考图2A描述的IMU的一部分。所描绘的系统200还可以包括头部姿势处理器336，例如ASIC(专用集成电路)、FPGA(现场可编程门阵列)或ARM处理器(高级精简指令集机器)，其可被配置为根据从捕获设备316输出的宽视场图像信息而计算实时或近实时的用户头部姿势。头部姿势处理器336可以是硬件处理器，并且可以实现为图2A所示的本地处理和数据模块260的一部分。

可穿戴系统还可以包括一个或多个深度传感器234。深度传感器234可被配置为测量环境中的对象到可穿戴设备之间的距离。深度传感器234可以包括激光扫描仪(例如，激光雷达)、超声深度传感器或深度感测相机。在某些实施例中，在相机316具有深度感测功能的情况下，相机316也可以被视为深度传感器234。

还示出了处理器332，其被配置为执行数字或模拟处理以从来自传感器组件339的陀螺仪、罗盘或加速度计数据中推导出姿势。处理器332可以是图2所示的本地处理和数据模块260的一部分。图3所示的可穿戴系统200可以还包括诸如GPS 337(全球定位系统)之类的定位系统，以辅助姿势和定位分析。另外，GPS可以进一步提供关于用户环境的基于远程的(例如，基于云的)信息。该信息可用于识别用户环境中的对象或信息。

可穿戴系统可以将由GPS 337与可以提供关于用户环境的更多信息的远程计算系统(例如，远程处理模块270，另一用户的ARD等)获取的数据进行组合。作为一个示例，可穿戴系统可以基于GPS数据确定用户的位置，并检索世界地图(例如，通过与远程处理模块270通信)，世界地图包括与用户的位置相关联的虚拟对象。作为另一示例，可穿戴系统200可以使用世界相机316(其可以是图4所示的面向外的成像系统464的一部分)来监视环境。基于由世界相机316获取的图像，可穿戴系统200可以检测环境中的对象(例如，通过使用图7所示的一个或多个对象识别器708)。可穿戴系统可以进一步使用由GPS 337获取的数据来解释字符。

可穿戴系统200还可以包括渲染引擎334，该渲染引擎334可被配置为提供用户本地的渲染信息，以便于扫描仪的操作和成像到用户的眼睛中，以供用户观看世界。渲染引擎334可以由硬件处理器(例如，中央处理单元或图形处理单元)实现。在一些实施例中，渲染引擎是本地处理和数据模块260的一部分。渲染引擎334可以通信地(例如，经由有线或无线链路)耦接到可穿戴系统200的其他部件。例如，渲染引擎334可以经由通信链路274被耦接到眼睛相机324，以及经由通信链路272耦接到投影子系统318(其可以以类似于视网膜扫描显示器的方式经由扫描激光装置将光投射到用户的眼睛302、304中)。渲染引擎334还可以分别经由链路276和294与其他处理单元(例如传感器姿势处理器332和图像姿势处理器336)通信。

相机324(例如，微型红外相机)可被用于跟踪眼睛姿势以支持渲染和用户输入。一些示例眼睛姿势可以包括用户正在看的地方。或者他或她正聚焦在什么深度上(这可以通过眼睛辐辏来估计)。GPS 337、陀螺仪、罗盘和加速度计339可用于提供粗略或快速的姿势估计。相机316中的一者或多者可以获取图像和姿势，这些图像和姿势与来自关联的云计算资源的数据结合，可以用于绘制本地环境并与其他用户共享用户视图。

图3中示出的示例部件仅用于说明的目的。为了便于说明和描述，一起示出了多个传感器和其他功能模块。一些实施例可以仅包括这些传感器或模块中的一个或其子集。此外，这些部件的位置不限于图3所示的位置。某些部件可以被安装到或容纳在其他部件(例如束带安装式部件、手持式部件或头盔部件)中。作为一个示例，图像姿势处理器336、传感器姿势处理器332和渲染引擎334可以被定位在腰包中，并被配置为经由无线通信(例如，超宽带、Wi-Fi、蓝牙等)或经由有线通信，与可穿戴系统的其他部件通信。所示的壳体230优选地是用户可头戴的和可穿戴的。但是，可穿戴系统200的某些部件可以被穿戴到用户身体的其他部位。例如，扬声器240可以被插入到用户的耳朵中以向用户提供声音。

关于光338向用户的眼睛302、304中的投射，在一些实施例中，可以使用相机324测量用户眼睛的中心在几何上趋向的位置，其通常与眼睛的聚焦位置或“焦深”重合。眼睛趋向的所有点的三维表面可被称为“两眼视界(horopter)”。焦距可以呈现有限数量的深度，或者可以无限地变化。从辐辏距离投射的光看起来被聚焦到目标眼睛302、304，而辐辏距离前或后的光变得模糊。本公开的可穿戴设备和其他显示系统的示例也在美国专利公开No.2016/0270656中进行了描述，该专利公开的全部内容通过引用并入本文中。

人类视觉系统复杂，并且提供深度的逼真感知是具挑战性的。对象的观看者可能由于辐辏和调节的组合而将该对象感知为“三维的”。两只眼睛相对于彼此的辐辏运动(例如，瞳孔朝向彼此或远离彼此的滚动运动，以会聚眼睛的视线来注视对象)与眼睛晶状体的聚焦(或“调节”)密切相关。在正常情况下，改变眼睛晶状体的焦点或调节眼睛，以将焦点从一个对象改变到在不同距离处的另一个对象，这将会在被称为“调节-辐辏反射(accommodation-vergence reflex)”的关系下自动地导致到相同的距离的辐辏的匹配改变。同样，在正常情况下，辐辏的改变将触发调节的匹配改变。提供调节和辐辏之间的更好匹配的显示系统可以形成更逼真且舒适的三维图像模拟。

无论眼睛聚焦于何处，具有小于约0.7毫米的光束直径的空间相干光都能被人眼正确地分辨。因此，为了产生适当焦深的错觉，可以通过相机324跟踪眼睛辐辏，并且可以利用渲染引擎334和投影子系统318渲染焦点中的两眼视界上或靠近焦点中的两眼视界的所有对象，以及不同程度的散焦(例如，使用故意产生的模糊)的所有其他对象。优选地，系统220以大约每秒60帧或更高的帧速率向用户渲染。如上所述，优选地，可以使用相机324进行眼睛跟踪，并且可将软件配置为不仅拾取辐辏几何形状而且还拾取焦点位置线索以用作用户输入。优选地，这种显示系统被配置有适合白天或夜晚使用的亮度和对比度。

在一些实施例中，显示系统优选地具有小于约20毫秒的视觉对象对准延迟、小于约0.1度的角度对准延迟和约1弧分的分辨率延迟，不受理论的限制，这被认为接近人眼的极限。显示系统220可以与可包括GPS元件、光学跟踪、罗盘、加速度计或其他数据源的定位系统集成在一起，辅助确定位置和姿势；定位信息可用于便于在用户看到的相关世界的视图中进行准确的渲染(例如，这种信息将有助于眼镜了解其相对于真实世界的位置)。

在一些实施例中，可穿戴系统200被配置为基于用户眼睛的调节而显示一个或多个虚拟图像。不同于迫使用户聚焦于图像投影位置的现有3D显示方法，在一些实施例中，可穿戴系统被配置为自动改变投影的虚拟内容的焦点，以允许更舒适地观看呈现给用户的一个或多个图像。例如，如果用户眼睛的当前焦点为1m，则可以使图像被投射为与用户的焦点重合。如果用户将焦点移至3m，则图像被投射为与新焦点重合。因此，一些实施例的可穿戴系统200不是迫使用户达到预定的焦点，而是使用户的眼睛以更自然的方式发挥作用。

这种可穿戴系统200可以消除或减少对于虚拟现实设备通常观察到的眼疲劳、头痛和其他生理症状的发生。为了实现这一点，可穿戴系统200的各种实施例被配置为通过一个或多个可变焦元件(VFE)以变化的焦距投射虚拟图像。在一个或多个实施例中，可通过多平面聚焦系统实现3D感知，该多平面聚焦系统在远离用户的固定焦平面处投射图像。其他实施例采用可变平面焦点，其中焦平面在z方向上前后移动，以与用户当前的聚焦状态一致。

在多平面聚焦系统和可变平面聚焦系统这两者中，可穿戴系统200可以采用眼睛跟踪来确定用户眼睛的辐辏，确定用户的当前焦点，以及将虚拟图像投射到预定的焦点处。在其他实施例中，可穿戴系统200包括光调制器，该光调制器通过光纤扫描仪或其他光产生源，在整个视网膜上以光栅图案可变地投射变焦光束。因此，如在全部内容通过引用并入本文中的美国专利公开No.2016/0270656中进一步描述的，可穿戴系统200的显示器以变化的焦距投射图像的能力不仅缓解了用户观看3D对象时的调节，而且还可用于补偿用户的视觉异常。在一些其他实施例中，空间光调制器可以通过各种光学部件向用户投射图像。例如，如下文进一步所述，空间光调制器可以将图像投射到一个或多个波导上，波导然后将图像传输给用户。

波导堆叠组件

图4示出了用于将图像信息输出给用户的波导堆叠的示例。可穿戴系统400包括波导堆叠或堆叠波导组件480，其可用于使用多个波导432b、434b、436b、438b、4400b向眼睛/大脑提供三维感知。在一些实施例中，可穿戴系统400可以对应于图2的可穿戴系统200，图4更详细地示意性地示出了该可穿戴系统200的一些部分。例如，在一些实施例中，波导组件480可以被集成到图2的显示器220中。

继续参考图4，波导组件480可以还包括位于波导之间的多个特征458、456、454、452。在一些实施例中，特征458、456、454、452可以是透镜。在其他实施例中，特征458、456、454、452可以不是透镜。相反，它们可以简单地是间隔物(例如，包层或用于形成气隙的结构)。

波导432b、434b、436b、438b、440b或多个透镜458、456、454、452可以被配置为以各种级别的波前曲率或光线发散度向眼睛发送图像信息。每个波导级别可以与特定深度平面相关联，并且可以被配置为输出对应于该深度平面的图像信息。图像注入装置420、422、424、426、428可用于将图像信息注入到波导440b、438b、436b、434b、432b中，每个波导440b、438b、436b、434b、432b可以被配置为分配入射光穿过每个相应的波导以便朝着眼睛410输出。光从图像注入装置420、422、424、426、428的输出表面射出，并且被注入到波导440b、438b、436b、434b、432b的相应输入边缘中。在一些实施例中，可以将单个光束(例如准直光束)注入到每个波导中，以输出克隆的准直光束的整个场，这些克隆的准直光束以对应于与特定波导相关联的深度平面的特定角度(和发散量)朝向眼睛410定向。

在一些实施例中，图像注入装置420、422、424、426、428是分立的显示器，每个显示器产生用于分别注入到相应波导440b、438b、436b、434b、432b中的图像信息。在一些其他实施例中，图像注入装置420、422、424、426、428是单个多路复用显示器的输出端，其可以例如经由一个或多个光导管(例如光纤电缆)将图像信息管道传输到图像注入装置420、422、424、426、428中的每一者。

控制器460控制堆叠波导组件480和图像注入装置420、422、424、426、428的操作。控制器460包括编程(例如，非暂时性计算机可读介质中的指令)，该编程调节到波导440b、438b、436b、434b、432b的图像信息的定时和提供。在一些实施例中，控制器460可以是单个整体设备，或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中，控制器460可以是处理模块260或270(图2中示出)的部分。

波导440b、438b、436b、434b、432b可以被配置为通过全内反射(TIR)在每一个相应的波导内传播光。波导440b、438b、436b、434b、432b可以各自是平面的或具有其他形状(例如，弯曲)，具有顶部和底部主表面以及在这些顶部和底部主表面之间延伸的边缘。在所示的配置中，波导440b、438b、436b、434b、432b可以各自包括光提取光学元件440a、438a、436a、434a、432a，这些光提取光学元件被配置为通过将每一个相应波导内传播的光重定向而将光提取到波导外，以向眼睛410输出图像信息。提取的光也可以被称为耦出光，并且光提取光学元件也可以被称为耦出光学元件。提取的光束在波导中传播的光照射光重定向元件的位置处被波导输出。光提取光学元件(440a、438a、436a、434a、432a)可以例如是反射或衍射光学特征。虽然为了便于描述和清晰绘图起见而将其图示设置在波导440b、438b、436b、434b、432b的底部主表面处，但是在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以设置在顶部或底部主表面处，或可以直接设置在波导440b、438b、436b、434b、432b的体积中。在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以形成在被附接到透明基板的材料层中以形成波导440b、438b、436b、434b、432b。在一些其他实施例中，波导440b、438b、436b、434b、432b可以是单片材料，并且光提取光学元件440a、438a、436a、434a、432a可以形成在该片材料的表面上或该片材料的内部中。

继续参考图4，如本文所讨论的，每一个波导440b、438b、436b、434b、432b被配置为输出光以形成与特定深度平面对应的图像。例如，最接近眼睛的波导432b可以被配置为将如注入到这种波导432b中的准直光传送到眼睛410。准直光可以代表光学无限远焦平面。下一上行波导434b可以被配置为将传输通过第一透镜452(例如，负透镜)的准直光在其可以到达眼睛410之前发出。第一透镜452可以被配置为产生轻微凸面的波前曲率，使得眼睛/大脑将来自该下一上行波导434b的光解释为来自第一焦平面，该第一焦平面从光学无限远处向内更靠近眼睛410。类似地，第三上行波导436b将输出光在到达眼睛410之前传输通过第一透镜452和第二透镜454。第一透镜452和第二透镜454的组合光焦度(optical power)可被配置为产生波前曲率的另一增量，以使得眼睛/大脑将来自第三波导436b的光解释为来自第二焦平面，该第二焦平面从光学无穷远比来自所述下一上行波导434b的光更向内靠近人。

其他波导层(例如，波导438b、440b)和透镜(例如，透镜456、458)被类似地配置，其中堆叠中的最高波导440b通过它与眼睛之间的全部透镜发送其输出，用于代表最靠近人的焦平面的总(aggregate)焦度。当在堆叠波导组件480的另一侧上观看/解释来自世界470的光时，为了补偿透镜458、456、454、452的堆叠，补偿透镜层430可以被设置在堆叠的顶部处以补偿下面的透镜堆叠458、456、454、452的总焦度(补偿透镜层430和堆叠的波导组件480作为整体可被配置为使得来自世界470的光以与其最初被堆叠的波导组件480接收时基本相同的发散(或准直)水平被传送到眼睛410)。这种配置提供了与可用波导/透镜配对一样多的感知焦平面。波导的光提取光学元件和透镜的聚焦方面可以是静态的(例如，不是动态的或电激活的)。在一些替代实施例中，两者之一或者两者都可以使用电激活特征而为动态的。

继续参考图4，光提取光学元件440a、438a、436a、434a、432a可以被配置为将光重定向出它们各自的波导并且针对与波导相关联的特定深度平面以适当的发散量或准直度输出该光。结果，具有不同相关联深度平面的波导可具有不同的光提取光学元件配置，其取决于相关联的深度平面而输出具有不同发散量的光。在一些实施例中，如本文所讨论的，光提取光学元件440a、438a、436a、434a、432a可以是体积或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件440a、438a、436a、434a、432a可以是体积全息图、表面全息图和/或衍射光栅。在2015年6月25日公开的美国专利公开No.2015/0178939中描述了诸如衍射光栅的光提取光学元件，其通过引用全部并入本文中。

在一些实施例中，光提取光学元件440a、438a、436a、434a、432a是形成衍射图案的衍射特征或“衍射光学元件”(本文中也称为“DOE”)。优选地，DOE具有相对较低的衍射效率，以使得仅光束的一部分通过DOE的每一个交点偏转向眼睛410，而其余部分经由全内反射继续移动通过波导。携带图像信息的光因此可被分成多个相关的出射光束，这些出射光束在多个位置处离开波导，并且该结果对于在波导内反弹的该特定准直光束是朝向眼睛304的相当均匀图案的出射发射。

在一些实施例中，一个或多个DOE可以在它们活跃地衍射的“开”状态和它们不显著衍射的“关”状态之间可切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中微滴在基体介质中包含衍射图案，并且微滴的折射率可以被切换为基本上匹配基体材料的折射率(在这种情况下，图案不明显地衍射入射光)，或者微滴可以被切换为与基体介质的折射率不匹配的折射率(在这种情况下，该图案活跃地衍射入射光)。

在一些实施例中，深度平面的数量和分布或景深可以基于观看者的眼睛的瞳孔大小或取向而动态地改变。景深可以与观看者的瞳孔大小成反比地改变。因此，随着观看者眼睛的瞳孔大小减小时，景深增加，使得由于一个平面的位置超出了眼睛的焦点深度而不可辨别的该平面可能变得可辨别，并且随着瞳孔大小的减小表现为更聚焦，而且与景深的增加相称。同样地，用于向观看者呈现不同图像的间隔开的深度平面的数量可以随着瞳孔大小的减小而减小。例如，观看者在不将眼睛的调节从一个深度平面调整到另一个深度平面的情况下，可能不能以一个瞳孔大小清楚地感知第一深度平面和第二深度平面两者的细节。然而，这两个深度平面可以在不改变调节的情况下，对于处于另一瞳孔大小的用户同时充分地聚焦。

在一些实施例中，显示系统可以基于瞳孔大小或取向的确定，或在接收到指示特定瞳孔大小或取向的电信号时，改变接收图像信息的波导的数量。例如，如果用户的眼睛无法区分与两个波导相关联的两个深度平面，则控制器460(其可以是本地处理和数据模块206的实施例)可以被配置或编程为停止向这些波导中的一个提供图像信息。有利地，这可以减轻系统的处理负担，从而增加系统的响应性。在其中用于一波导的DOE可在接通和关断状态之间切换的实施例中，当波导确实接收到图像信息时，DOE可以被切换到关断状态。

在一些实施例中，可能期望使出射光束满足直径小于观看者眼睛直径的条件。然而，考虑到观看者的瞳孔大小的可变性，满足这种条件可能是具有挑战性的。在一些实施例中，通过响应于观看者的瞳孔大小的确定而改变出射光束的大小，该条件在宽范围的瞳孔大小上满足。例如，随着瞳孔大小减小，出射光束的大小也可以减小。在一些实施例中，可以使用可变光圈来改变出射光束大小。

可穿戴系统400可包括面向外的成像系统464(例如，数字相机)，其对世界470的一部分进行成像。世界470的该部分可被称为世界相机的视场(FOV)，并且成像系统464有时被称为FOV相机。世界相机的FOV可以与观看者210的FOV相同，也可以与观看者210的FOV不同，观看者210的FOV包含观看者210在给定时刻感知的世界470的一部分。例如，在一些情况下，世界相机的FOV可以大于可穿戴系统400的观看者210的观看者210。可供观看者观看或成像的整个区域可被称为能视域(FOR)。因为穿戴者可以移动其身体、头部或眼睛以感知空间中的基本上任何方向，FOR可以包括围绕可穿戴系统400的立体角的4π球面度。在其他情况下，穿戴者的运动可能更受限制，相应地，穿戴者的FOR可以对着更小的立体角。从面向外的成像系统464获得的图像可用于跟踪用户做出的手势(例如手或手指的姿势)，检测用户前方的世界470中的对象等等。

可穿戴系统400可以包括音频传感器232，例如麦克风，以捕获环境声音。如上所述，在一些实施例中，可以放置一个或多个其他音频传感器以提供对于语音源位置的确定有用的立体声接收。音频传感器232可以包括定向麦克风，作为另一示例，定向麦克风也可以提供关于音频源的位置的这些有用方向信息。可穿戴系统400可以使用来自面向外的成像系统464和音频传感器230二者的信息定位语音源，或者确定在特定时刻讲话者等等。例如，可穿戴系统400可以单独使用语音识别，或与讲话者的反射图像(例如，在镜子里看到的反射图像)组合地使用语音识别，来确定讲话者的身份。作为另一示例，可穿戴系统400可以基于从定向麦克风获取的声音确定讲话者在环境中的位置。可穿戴系统400可以通过语音识别算法解析来自讲话者位置的声音以确定语音内容，并使用语音识别技术确定讲话者的身份(例如，姓名或其他人口统计信息)。

可穿戴系统400还可以包括面向内的成像系统466(例如，数字相机)，其观察用户的运动，诸如眼睛运动和面部运动。面向内的成像系统466可用于捕获眼睛410的图像以确定眼睛304的瞳孔的大小和/或取向。面向内的成像系统466可用于获取用来确定用户观看的方向(例如，眼睛姿势)或用于用户的生物识别(例如，经由虹膜识别)的图像。在一些实施例中，可以针对每只眼睛使用至少一个相机，以便独立地分别确定每只眼睛的瞳孔大小或眼睛姿势，从而允许向每只眼睛的图像信息呈现动态地适合该眼睛。在一些其他实施例中，仅一只眼睛410的瞳孔直径或取向(例如，针对每双眼睛仅使用一个相机)被确定和假设对于用户的双眼是相似的。可以分析通过面向内的成像系统466获得的图像以确定用户的眼睛姿势或情绪，可穿戴系统400可以使用用户的眼睛姿势或情绪来决定应该将哪些音频或视觉内容呈现给用户。可穿戴系统400还可以使用诸如IMU、加速度计、陀螺仪等的传感器来确定头部姿势(例如，头部位置或头部取向)。

可穿戴系统400可以包括用户输入设备466，通过该用户输入设备466用户可以向控制器460输入命令以与可穿戴系统400交互。例如，用户输入设备466可以包括触控板、触摸屏、操纵杆、多自由度(DOF)控制器、电容感测设备、游戏控制器、键盘、鼠标、方向垫(D-pad)、魔杖、触觉设备、图腾(例如，用作虚拟用户输入设备)等等。多DOF控制器可以感测控制器的部分或全部可能的平移(例如，左/右、前/后、或上/下)或旋转(例如，偏航、俯仰或翻滚)方面的用户输入。支持平移运动的多DOF控制器可以被称为3DOF，而支持平移和旋转的多DOF控制器可以被称为6DOF。在一些情况下，用户可以使用手指(例如，拇指)在触敏输入设备上按压或轻扫以向可穿戴系统400提供输入(例如，以将用户输入提供给由可穿戴系统400提供的用户界面)。用户输入设备466可以在使用可穿戴系统400期间由用户的手保持。用户输入设备466可以与可穿戴系统400进行有线或无线通信。

可穿戴系统的其他部件

在许多实施例中，可穿戴系统可以包括其他部件，作为上述可穿戴系统的部件的补充或替代。可穿戴系统例如可以包括一个或多个触觉设备或部件。触觉设备或部件可以用于向用户提供触觉。例如，触觉设备或部件可以在触摸虚拟内容(例如，虚拟对象、虚拟工具、其他虚拟构造)时提供压力或纹理的触觉。触觉可以复制虚拟对象表示的物理对象的感觉，或者可以复制虚拟内容表示的想象的对象或角色(例如，龙)的感觉。在一些实施例中，触觉设备或部件可由用户穿戴(例如，用户可穿戴的手套)。在一些实施例中，触觉设备或部件可以由用户保持。

可穿戴系统例如可以包括可由用户操纵的一个或多个物理对象以允许输入或与可穿戴系统进行交互。这些物理对象在本文中可以被称为图腾。一些图腾可采取无生命对象的形式，诸如例如金属或塑料块、墙壁、桌子的表面。在某些实施例中，图腾可能实际上不具有任何物理输入结构(例如，键、触发器、操纵杆、轨迹球、摇杆开关)。相反，图腾可以简单地提供物理表面，并且可穿戴系统可以呈现用户界面，以便对于用户而言看起来在图腾的一个或多个表面上。例如，可穿戴系统可以使计算机键盘和触控板的图像看起来驻留在图腾的一个或多个表面上。例如，可穿戴系统可以使虚拟计算机键盘和虚拟触控板看起来在作为图腾的铝的薄矩形板的表面上。矩形板本身没有任何物理键或触控板或传感器。然而，可穿戴系统可以检测用户操纵或交互或触摸该矩形板作为经由虚拟键盘或虚拟触控板进行的选择或输入。用户输入设备466(在图4中示出)可以是图腾的实施例，其可以包括触控板、触摸板、触发器、操纵杆、轨迹球、摇杆或虚拟开关、鼠标、键盘、多自由度控制器或另一物理输入设备。用户可以单独或与姿势结合使用图腾，以与可穿戴系统或其他用户进行交互。

在美国专利公开No.2015/0016777中描述了可用于本公开的可穿戴设备、HMD和显示系统的触觉设备和图腾的示例，其全部内容通过引用并入本文中。

眼睛图像的示例

图5示出了具有眼睑504、巩膜508(眼睛的“白色部分”)、虹膜512和瞳孔516的眼睛500的图像。曲线516a示出了瞳孔516和虹膜512之间的瞳孔边界，并且曲线512a示出了虹膜512和巩膜508之间的角膜缘边界。眼睑504包括上眼睑504a和下眼睑504b。所示的眼睛500处于自然静止姿势(例如，其中用户的面部和注视均朝向用户正前方的远处对象)。眼睛500的自然静止姿势可以由自然静止方向520指示，该自然静止方向520是当眼睛500处于自然静止姿势时与眼睛500的表面正交的方向(例如，从图5所示的眼睛500的平面直接向外)，在该示例中，位于瞳孔516的中心。

当眼睛500移动以看向不同对象时，眼睛姿势将相对于自然静止方向520发生变化。当前的眼睛姿势可以参考眼睛姿势方向524来确定，该眼睛姿势方向524是与眼睛的表面正交的方向(并且位于瞳孔516内的中心)，但朝向眼睛当前注视的对象。参考图5所示的示例坐标系，眼睛500的姿势可以表示为指示眼睛的眼睛姿势方向524的方位角偏转(azimuthal deflection)和天顶偏转(zenithal deflection)的两个角度参数，两个偏转均相对于眼睛的自然静止方向520。为了说明的目的，这些角度参数可以表示为θ(方位角偏转，根据基准方位确定)和φ(天顶偏转，有时也称为极角偏转)。在一些实施例中，围绕眼睛姿势方向524的眼睛的角向滚动可以被包括在眼睛姿势的确定中，而且，角向滚动可以被包括在以下分析中。在一些其他实施例中，可以使用用于确定眼睛姿势的其他技术，例如俯仰、偏航和可选的翻滚系统。

可以使用任何适当的过程从视频中获得眼睛图像，例如使用可以从一个或多个连续帧中提取图像的视频处理算法。可以使用各种眼睛跟踪技术从眼睛图像确定眼睛姿势。例如，可以通过考虑角膜对所提供的光源的透镜作用来确定眼睛姿势。在本文所述的眼睑形状估计技术中，可以使用任何合适的眼睛跟踪技术来确定眼睛姿势。

眼睛跟踪系统的示例

图6示出了包括眼睛跟踪系统的可穿戴或头戴式显示系统600的示意图。在至少一些实施例中，可穿戴系统600可以包括位于头戴式单元602中的部件和位于非头戴式单元604中的部件。非头戴式单元604例如可以是束带安装式部件、手持式部件、背包中的部件、远程部件等。将头戴式显示系统600的某些部件包含在非头戴式单元604中有助于减小头戴式单元602的尺寸、重量、复杂性和成本。在一些实施例中，被描述为由头戴式单元602和/或非头戴式单元604的一个或多个部件执行的部分或全部功能可以通过被包括在头戴式显示系统600中其他位置的一个或多个部件来提供。例如，下面与头戴式单元602的CPU 612相关联的部分或全部功能可以通过非头戴式单元604的CPU 616提供，反之亦然。在一些示例中，部分或全部这样的功能可以通过头戴式显示系统600的外围设备来提供。此外，在一些实施例中，部分或全部这样的功能可以通过一个或多个云计算设备或其他远程定位计算设备，以类似于上面参考图2描述的方式来提供。

如图6所示，头戴式显示系统600可以包括眼睛跟踪系统，该眼睛跟踪系统包括捕获用户眼睛610的图像的相机324。如果需要，眼睛跟踪系统还可以包括光源326a和326b(诸如发光二极管“LED”)。光源326a和326b可以产生亮斑(即，在由相机324捕获的眼睛图像中出现的从用户眼睛的反射)。光源326a和326b相对于相机324的位置可以是已知的，因此，由相机324捕获的图像内的亮斑位置可用于跟踪用户的眼睛(如下面将结合图7至11更详细地讨论的)。在至少一个实施例中，可以具有与用户的眼睛610中的单只眼睛相关联的一个光源326和一个相机324。在另一实施例中，可以具有与用户的眼睛610中的每一只眼睛相关联的一个光源326和一个相机324。在另外的实施例中，可以具有与用户的眼睛610中的一只或每一只相关联的一个或多个相机324以及一个或多个光源326。作为特定示例，可以具有与用户的眼睛610中的每一只相关联的两个光源326a和326b以及一个或多个相机324。作为另一示例，可以具有与用户的眼睛610中的每一只相关联的三个或更多个光源(诸如光源326a和326b)以及一个或多个相机324。

眼睛跟踪模块614可以从眼睛跟踪相机324接收图像，并且可以分析图像以提取各种信息片段。作为示例，眼睛跟踪模块614可以检测用户的眼睛姿势、用户的眼睛相对于眼睛跟踪相机324(以及相对于头戴式单元602)的三维位置、用户的眼睛610中的一只或全部两只的聚焦方向、用户的辐辏深度(即，用户正聚焦的相对于用户的深度)、用户瞳孔的位置、用户的角膜和角膜球的位置、用户眼睛中的每一只的旋转中心，以及用户眼睛中的每一只的透视中心。眼睛跟踪模块614可以使用下面结合图7至11描述的技术来提取这种信息。如图6所示，眼睛跟踪模块614可以是使用头戴式单元602中的CPU 612实现的软件模块。

来自眼睛跟踪模块614的数据可被提供给可穿戴系统中的其他部件。例如，这样的数据可被发送到非头戴式单元604中的部件，例如包括用于光场渲染控制器618和配准观察器620的软件模块的CPU 616，配准观察器620可被配置为评估头戴式显示系统600的显示器是否与用户的眼睛正确地配准。

渲染控制器618可以使用来自眼睛跟踪模块614的信息来调整由渲染引擎622(例如，可以是GPU 621中的软件模块并且可以向显示器220提供图像的渲染引擎)向用户显示的图像。作为示例，渲染控制器618可以基于用户的旋转中心或透视中心调整显示给用户的图像。具体地，渲染控制器618可以使用关于用户的透视中心的信息来模拟渲染相机(即，模拟从用户的视角收集图像)，并且可以基于模拟的渲染相机调整显示给用户的图像。

“渲染相机”，有时也称为“针孔透视相机”(或简称为“透视相机”)或“虚拟针孔相机”(或简称为“虚拟相机”)，是用于渲染虚拟图像内容的模拟相机，这些虚拟图像内容可能来自虚拟世界中的对象的数据库。对象可以具有相对于用户或穿戴者，并且可能相对于用户或穿戴者周围环境中的真实对象的位置和取向。换句话说，渲染相机可以表示渲染空间内的视角，用户或穿戴者从该视角观看渲染空间的3D虚拟内容(例如，虚拟对象)。渲染相机可以由渲染引擎管理，以基于要呈现给所述眼睛的虚拟对象的数据库渲染虚拟图像。虚拟图像可被渲染为如同从用户或穿戴者的视角拍摄的一样。例如，虚拟图像可被渲染为如同由具有一组特定的内在参数(例如焦距、相机像素大小、主点坐标、偏斜/失真参数等)和一组特定的外在参数(例如，相对于虚拟世界的平移分量和旋转分量)的针孔相机(对应于“渲染相机”)捕获的一样。虚拟图像从这种具有渲染相机的位置和取向(例如，渲染相机的外在参数)的相机的视角拍摄。因此，系统可以定义和/或调整内在和外在渲染相机参数。例如，系统可以定义一组特定的外在渲染相机参数，使得虚拟图像被渲染为如同从具有相对于用户或穿戴者的眼睛的特定位置的相机的视角捕获的一样，从而提供看起来来自用户或穿戴者的视角的图像。系统随后可以动态地即兴(on-the-fly)调整外在渲染相机参数，以便保持与所述特定位置的配准。类似地，可以定义并随时间动态地调整内在渲染相机参数。在一些实施例中，图像被渲染为如同从具有位于相对于用户或穿戴者的眼睛的特定位置(例如，透视中心或旋转中心或其他位置)处的光圈(例如，针孔)的相机的视角捕获的一样。

在一些实施例中，系统可以针对用户的左眼创建或动态地重新定位和/或重新定向一个渲染相机，以及针对用户的右眼创建或动态地重新定位和/或重新定向另一渲染相机，因为用户的眼睛在物理上彼此分离并因此始终定位在不同位置处。因此，在至少一些实施例中，从与观看者的左眼相关联的渲染相机的视角渲染的虚拟内容可以通过头戴式显示器(例如，头戴式单元602)左侧的目镜呈现给用户，并且从与观看者的右眼相关联的渲染相机的视角渲染的虚拟内容可以通过这种头戴式显示器右侧的目镜呈现给用户。讨论在渲染过程中创建、调整和使用渲染相机的更多细节在名称为“METHODS AND SYSTEMS FORDETECTING AND COMBINING STRUCTURAL FEATURES IN 3D RECONSTRUCTION(用于在3D重建中检测和组合结构特征的方法和系统)”的美国专利申请No.15/274,823中提供，该专利申请的全部内容出于所有目的通过引用明确地并入本文中。

在一些示例中，系统600的一个或多个模块(或部件)(例如，光场渲染控制器618、渲染引擎622等)可以基于用户的头部和眼睛的位置和取向(例如，分别基于头部姿势和眼睛跟踪数据确定的)确定渲染相机在渲染空间内的位置和取向。也就是说，系统600可以有效地将用户的头部和眼睛的位置和取向映射到3D虚拟环境内的特定位置和角度方位，将渲染相机放置和定向在3D虚拟环境内的特定位置和角度方位，以及为用户渲染虚拟内容，就像被渲染相机捕获的一样。讨论真实世界到虚拟世界映射过程的更多细节在名称为“SELECTING VIRTUAL OBJECTS IN A THREE-DIMENSIONAL SPACE(在三维空间中选择虚拟对象)”的美国专利申请No.15/296,869中提供，该专利申请的全部内容出于所有目的通过引用明确地并入本文中。作为示例，渲染控制器618可以通过选择在任何给定时间利用哪个深度平面(或哪些深度平面)显示图像来调整图像被显示于的深度。在一些实施例中，可以通过调整一个或多个内在渲染相机参数来执行这种深度平面切换。

配准观察器620可以使用来自眼睛跟踪模块614的信息来识别头戴式单元602是否正确地定位在用户的头部上。作为示例，眼睛跟踪模块614可以提供眼睛位置信息，例如用户眼睛的旋转中心的位置，该信息指示用户的眼睛相对于相机324和头戴式单元602的三维位置，眼睛跟踪模块614可以使用该位置信息来确定显示器220是否在用户的视场中正确地对准，或者头戴式单元602(或头戴装置)是否已经滑落或以其他方式与用户的眼睛未对准。作为示例，配准观察器620能够确定：头戴式单元602是否已经从用户的鼻梁滑下，从而将显示器220从用户的眼睛移开和向下移动(这是不希望的)；头戴式单元602是否沿着用户的鼻梁向上移动，从而使显示器220向上移动使其更靠近用户的眼睛；头戴式单元602是否已经相对于用户的鼻梁向左或向右移动；头戴式单元602是否已经被上升到用户的鼻梁上方；或者头戴式单元602是否已经以这些或其他方式被从期望的位置或位置范围移开。通常，配准观察器620能够确定一般的头戴式单元602以及具体的显示器220是否被正确地定位在用户的眼睛前方。换句话说，配准观察器620可以确定显示系统220中的左显示器是否与用户的左眼适当地对准，并且显示系统220中的右显示器是否与用户的右眼适当地对准。配准观察器620可以通过确定头戴式单元602是否被定位和定向在相对于用户的眼睛的期望的位置和/或取向范围内来确定头戴式单元602是否被适当地定位。

在至少一些实施例中，配准观察器620可以生成警报、消息或其他内容形式的用户反馈。可以将这种反馈提供给用户以向用户通知头戴式单元602的任何未对准，以及关于如何校正未对准的可选反馈(诸如以特定方式调整头戴式单元602的建议)。

配准观察器620可使用的示例配准观察和反馈技术在2017年9月27日提交的美国专利申请No.15/717,747(代理案卷号MLEAP.052A2)中进行了描述，其全部内容通过引用并入本文中。

眼睛跟踪模块的示例

示例眼睛跟踪模块614的详细框图在图7A中示出。如图7A所示，眼睛跟踪模块614可以包括各种不同的子模块，可以提供各种不同的输出，并且可以利用各种可用数据来跟踪用户的眼睛。作为示例，眼睛跟踪模块614可以利用包括以下项的可用数据：眼睛跟踪外在特征和内在特征，例如眼睛跟踪相机324相对于光源326和头戴式单元602的几何布置；假设的眼睛尺寸704，例如用户的角膜曲率中心和用户眼睛的平均旋转中心之间的约4.7mm的典型距离，或用户的旋转中心和透视中心之间的典型距离；以及按用户(per-user)校准数据706，例如特定用户的瞳距。眼睛跟踪模块614可采用的外在特征、内在特征和其他信息的附加示例在2017年4月26日提交的美国专利申请No.15/497,726(代理案卷号MLEAP.023A7)中进行了描述，该专利申请的全部内容通过引用并入本文中。

图像预处理模块710可以从眼睛相机(诸如眼睛相机324)接收图像，并且可以对接收到的图像执行一个或多个预处理(即，调节)操作。作为示例，图像预处理模块710可以对图像应用高斯模糊，可以将图像下采样到较低分辨率，可以应用非锐化蒙版，可以应用边缘锐化算法，或者可以应用有助于后期检测、定位和标记来自眼睛相机324的图像中的亮斑、瞳孔或其他特征的其他适合的滤波器。图像预处理模块710可以应用低通滤波器或形态滤波器(例如开放式滤波器)，这些滤波器可以去除诸如来自瞳孔边界516a(参见图5)的高频率噪声，从而去除可能妨碍瞳孔和亮斑确定的噪声。图像预处理模块710可以将预处理后的图像输出到瞳孔识别模块712以及亮斑检测和标记模块714。

瞳孔识别模块712可以从图像预处理模块710接收预处理后的图像，并且可以识别这些图像中包括用户瞳孔的区域。在一些实施例中，瞳孔识别模块712可以在来自相机324的眼睛跟踪图像中确定用户瞳孔的位置的坐标或其中心或形心(centroid)的坐标。在至少一些实施例中，瞳孔识别模块712可以识别眼睛跟踪图像中的轮廓(例如，瞳孔虹膜边界的轮廓)，识别轮廓矩(即，质心)，应用星爆瞳孔检测和/或Canny边缘检测算法，丢弃基于强度值的离群值，识别子像素边界点，校正眼睛相机失真(即，由眼睛相机324捕获的图像中的失真)，应用随机采样一致性(RANSAC)迭代算法以将椭圆拟合到眼睛跟踪图像中的边界，向图像应用跟踪滤波器，以及识别用户瞳孔形心的子像素图像坐标。瞳孔识别模块712可以向亮斑检测和标记模块714输出瞳孔识别数据，该瞳孔识别数据可以指示预处理图像模块712的哪些区域被识别为显示用户瞳孔。瞳孔识别模块712可以将每个眼睛跟踪图像中的用户瞳孔的2D坐标(即，用户瞳孔形心的2D坐标)提供给亮斑检测模块714。在至少一些实施例中，瞳孔识别模块712还可以将同一类瞳孔识别数据提供给坐标系规范化模块718。

瞳孔识别模块712可以利用的瞳孔检测技术在2017年2月23日公开的美国专利公开No.2017/0053165和2017年2月23日公开的美国专利公开No.2017/0053166中进行了描述，这两个专利公开的每一者的全部内容通过引用并入本文中。

亮斑检测和标记模块714可以从模块710接收预处理后的图像，以及从模块712接收瞳孔识别数据。亮斑检测模块714可以使用该数据来检测和/或识别显示用户瞳孔的预处理后的图像的区域内的亮斑(即，来自光源326的光从用户眼睛的反射)。作为示例，亮斑检测模块714可以搜索眼睛跟踪图像内的亮区，在本文中有时被称为“斑点”或局部强度最大值，其位于用户的瞳孔附近。在至少一些实施例中，亮斑检测模块714可以重新缩放(例如放大)瞳孔椭圆以包含附加的亮斑。亮斑检测模块714可以按大小和/或强度过滤亮斑。亮斑检测模块714还可以确定眼睛跟踪图像内每个亮斑的2D位置。在至少一些示例中，亮斑检测模块714可以确定亮斑相对于用户瞳孔的2D位置，其也可被称为瞳孔-亮斑矢量。亮斑检测和标记模块714可以标记亮斑，并将带有标记的亮斑的预处理图像输出到3D角膜中心估计模块716。亮斑检测和标记模块714还可以传递数据，例如来自模块710的预处理后的图像和来自模块712的瞳孔识别数据。

由诸如模块712和714之类的模块执行的瞳孔和亮斑检测可以使用任何合适的技术。作为示例，可以将边缘检测应用于眼睛图像以识别亮斑和瞳孔。边缘检测可以通过各种边缘检测器、边缘检测算法或滤波器来应用。例如，可以将Canny边缘检测器应用于图像，以检测诸如图像线条中的边缘。边缘可以包括沿着线定位的对应于局部最大导数的点。例如，可以使用Canny边缘检测器来定位瞳孔边界516a(参见图5)。在确定了瞳孔位置的情况下，可以使用各种图像处理技术来检测瞳孔116的“姿势”。确定眼睛图像的眼睛姿势也可被称为检测眼睛图像的眼睛姿势。姿势也可被称为注视、指向方向或眼睛的取向。例如，瞳孔可能正在向左观看对象，并且瞳孔的姿势可以被分类为向左姿势。可以使用其他方法来检测瞳孔或亮斑的位置。例如，可以使用Canny边缘检测器定位眼睛图像中的同心环。作为另一示例，可以使用积分-微分算子找到虹膜的瞳孔或角膜缘边界。例如，可以使用Daugman积分-微分算子、Hough变换或其他虹膜分割技术来返回估计瞳孔或虹膜的边界的曲线。

3D角膜中心估计模块716可以从模块710、712、714接收包括检测到的亮斑数据和瞳孔识别数据的预处理后的图像。3D角膜中心估计模块716可以使用这些数据来估计用户角膜的3D位置。在一些实施例中，3D角膜中心估计模块716可以估计眼睛的角膜曲率中心或用户的角膜球的3D位置，例如，假想球体的中心，该球体的表面部分与用户的角膜大致共同延伸。3D角膜中心估计模块716可以将指示角膜球和/或用户角膜的估计的3D坐标的数据提供给坐标系规范化模块718、光轴确定模块722和/或光场渲染控制器618。3D角膜中心估计模块716的更多操作细节在本文中结合图8A至8E提供。本公开的可穿戴系统中的3D角膜中心估计模块716和其他模块可以利用的用于估计眼睛特征(例如，角膜或角膜球)的位置的技术在2017年4月26日提交的美国专利申请No.15/497,726(代理案卷号MLEAP.023A7)中进行了讨论，该专利申请的全部内容通过引用并入本文中。

坐标系规范化模块718可以可选地(如其虚线框所示)被包括在眼睛跟踪模块614中。坐标系规范化模块718可以从3D角膜中心估计模块716接收指示用户角膜中心(和/或用户角膜球中心)的估计的3D坐标的数据，并且还可以从其他模块接收数据。坐标系规范化模块718可以规范化眼睛相机坐标系，这有助于补偿可穿戴设备的滑移(slippage)(例如，头戴式部件从其在用户头部的正常静止位置滑移，这可以通过配准观察器620识别)。坐标系规范化模块718可以旋转坐标系以将坐标系的z轴(即，辐辏深度轴)与角膜中心(例如，由3D角膜中心估计模块716指示)对准，并且可以将相机中心(即，坐标系的原点)平移至远离角膜中心的预定距离，例如30mm(即，模块718可以放大或缩小眼睛跟踪图像，这取决于眼睛相机324被确定为比预定距离更近还是更远)。通过该规范化过程，眼睛跟踪模块614能够相对独立于用户头部上的头戴装置定位的变化而在眼睛跟踪数据中建立一致的取向和距离。坐标系规范化模块718可以向3D瞳孔中心定位器模块720提供角膜(和/或角膜球)中心的3D坐标、瞳孔识别数据和预处理后的眼睛跟踪图像。坐标系规范化模块718的更多操作细节在本文中结合图9A至9C提供。

3D瞳孔中心定位器模块720可以在规范化或未规范化的坐标系中接收数据，该数据包括用户的角膜(和/或角膜球)中心的3D坐标、瞳孔位置数据和预处理后的眼睛跟踪图像。3D瞳孔中心定位器模块720可以分析这种数据以确定用户的瞳孔中心在规范化或未规范化的眼睛相机坐标系中的3D坐标。3D瞳孔中心定位器模块720可以基于瞳孔形心的2D位置(如模块712确定的)、角膜中心的3D位置(如模块716确定的)、假设的眼睛尺寸704(例如，典型用户角膜球的大小以及从角膜中心到瞳孔中心的典型距离)，以及眼睛的光学特性(例如，角膜折射率(相对于空气折射率))或这些的任意组合，确定用户瞳孔在三维中的位置。3D瞳孔中心定位器模块720的更多操作细节在本文中结合图9D至9G提供。本公开的可穿戴系统中的3D瞳孔中心定位器模块720和其他模块可以利用的用于估计眼睛特征(例如，瞳孔)的位置的技术在2017年4月26日提交的美国专利申请No.15/497,726(代理案卷号MLEAP.023A7)中进行了讨论，该专利申请的全部内容通过引用并入本文中。

光轴确定模块722可以从模块716和720接收指示用户角膜中心和用户瞳孔的3D坐标的数据。基于这种数据，光轴确定模块722可以识别从角膜中心(即，从角膜球中心)的位置到用户的瞳孔中心的矢量，该矢量可以限定用户眼睛的光轴。作为示例，光轴确定模块722可以将指定用户的光轴的输出提供给模块724、728、730和732。

旋转中心(CoR)估计模块724可以从模块722接收数据，该数据包括用户眼睛的光轴的参数(即，指示光轴在坐标系中的方向的数据，此方向与头戴式单元602具有已知的关系)。CoR估计模块724可以估计用户眼睛的旋转中心(即，当用户的眼睛向左、向右、向上和/或向下旋转时用户的眼睛绕其旋转的点)。尽管眼睛可能无法围绕奇异点完美旋转，但假设奇异点就足够了。在至少一些实施例中，CoR估计模块724可以通过沿着光轴(由模块722识别)从瞳孔中心(由模块720识别)或角膜曲率中心(由模块716识别)向视网膜向移动特定距离来估计眼睛的旋转中心。该特定距离可以是假设的眼睛尺寸704。作为一个示例，角膜曲率中心和CoR之间的特定距离可以为约4.7mm。可以基于任何相关数据(包括用户的年龄、性别、视力处方、其他相关特征等)，针对特定用户更改该距离。

在至少一些实施例中，CoR估计模块724可以细化(refine)其随时间对用户的每只眼睛的旋转中心的估计。作为示例，随着时间的流逝，用户最终旋转眼睛(看向其他地方更近、更远的对象或某个时候向左、向右、向上或向下看)，导致其每只眼睛的光轴发生偏移。CoR估计模块724然后分析由模块722识别的两个(或更多个)光轴，并定位这些光轴的3D交点。CoR估计模块724然后可以确定旋转中心位于该3D交点。这种技术可以提供旋转中心的估计，其准确性随着时间的推移而提高。可以采用各种技术来增加CoR估计模块724以及所确定的左眼和右眼的CoR位置的准确性。作为示例，CoR估计模块724可以通过找到随时间针对各种不同的眼睛姿势确定的光轴的平均交点来估计CoR。作为附加示例，模块724可以对随时间估计的CoR位置进行滤波或求平均，可以计算随时间估计的CoR位置的移动平均值，和/或可以应用卡尔曼滤波器以及眼睛和眼睛跟踪系统的已知动力学来估计随时间的CoR位置。作为特定示例，模块724可以计算所确定的光轴交点和假设的CoR位置(例如，距眼睛的角膜曲率中心4.7mm)的加权平均值，使得所确定的CoR可以随时间从假设的CoR位置(例如，眼睛的角膜曲率中心后面的4.7mm处)缓慢漂移到用户眼睛内的稍微不同的位置，因为获得了该用户的眼睛跟踪数据，从而能够实现对CoR位置的按每个用户细化。

瞳距(IPD)估计模块726可从CoR估计模块724接收指示用户的左眼和右眼的旋转中心的估计的3D位置的数据。IPD估计模块726然后可以通过测量用户的左眼和右眼的旋转中心之间的3D距离来估计用户的IPD。通常，当用户正在看光学无限远时(例如，用户眼睛的光轴基本彼此平行)，用户的左眼的估计的CoR和用户的右眼的估计的CoR之间的距离可以大致等于用户的瞳孔中心之间的距离，这是瞳距(IPD)的典型定义。用户的IPD可由可穿戴系统中的各种部件和模块使用。例如，可以将用户的IPD提供给配准观察器620，并用于评估可穿戴设备与用户眼睛对准的程度(例如，左右显示透镜是否根据用户的IPD正确地间隔开)。作为另一示例，可以将用户的IPD提供给辐辏深度估计模块728，并用于确定用户的辐辏深度。模块726可以采用各种技术，例如结合CoR估计模块724所讨论的技术，以提高所估计的IPD的准确性。作为示例，IPD估计模块724可以应用滤波、随时间的推移求平均、包括假设的IPD距离的加权平均、卡尔曼滤波器等，作为以精确的方式估计用户的IPD的一部分。

眼间轴估计模块740可以从一个或多个模块接收数据，该一个或多个模块诸如IPD估计模块726、光轴确定模块722、3D角膜中心估计模块716、3D瞳孔中心定位器模块720、CoR估计模块724和CoP估计模块723。具体地，眼间轴估计模块740可以接收数据，该数据指示用户的左眼和右眼的一个或多个特征的估计的3D位置，诸如左眼和右眼旋转中心、透视中心、瞳孔位置、虹膜位置、光轴、瞳孔间距离等。眼间轴估计模块740可以使用这样的信息来确定用户的眼间轴的位置。眼间轴可以在用户的左眼的特征与用户的右眼的对应特征之间延伸。作为示例，眼间轴可以在左眼旋转中心与右眼旋转中心之间延伸。作为另一示例，眼间轴可以在左眼瞳孔与右眼瞳孔之间延伸。眼间轴估计模块740可以能够诸如通过确定用户眼睛(或其中的一些特征)相对于眼睛相机324的位置来确定眼间轴线相对于可穿戴系统的位置和/或取向。

辐辏深度估计模块728可以从眼睛跟踪模块614中的各个模块和子模块(如结合图7A所示)接收数据。具体地，辐辏深度估计模块728可采用指示以下项的数据：瞳孔中心的估计的3D位置(例如，由上述模块720提供的)、光轴的一个或多个确定的参数(例如，由上述模块722提供的)、旋转中心的估计的3D位置(例如，由上述模块724提供的)、估计的IPD(例如，旋转中心的估计的3D位置之间的欧几里德距离)(例如，由上述模块726提供的)，和/或光轴和/或视轴的一个或多个确定的参数(例如，由模块722和/或下面描述的模块730提供的)。辐辏深度估计模块728可以检测或以其他方式获得用户的辐辏深度度量，该度量可以是用户眼睛聚焦的相对于用户的距离。例如，当用户正在看其前方三英尺处的对象时，用户的左眼和右眼的辐辏深度为三英尺；并且，当用户正在看远处风景时(即，用户眼睛的光轴基本彼此平行，使得用户瞳孔中心之间的距离大致等于用户的左眼和右眼的旋转中心之间的距离)，用户的左眼和右眼具有无限远的辐辏深度。在一些实施例中，辐辏深度估计模块728可以利用指示用户瞳孔的估计的中心的数据(例如，由模块720提供的)来确定用户瞳孔的估计的中心之间的3D距离。辐辏深度估计模块728可以通过将瞳孔中心之间的这种确定的3D距离与估计的IPD(例如，旋转中心的估计的3D位置之间的欧几里得距离)(例如，由上述模块726指示的)进行比较来获得辐辏深度的度量。除了瞳孔中心和估计的IPD之间的3D距离之外，辐辏深度估计模块728还可以利用已知的、假设的、估计的和/或确定的几何形状来计算辐辏深度。作为示例，模块728可以在三角计算中组合瞳孔中心之间的3D距离、估计的IPD和3D CoR位置，以估计(即，确定)用户的辐辏深度。实际上，针对估计的IPD计算瞳孔中心之间的这种确定的3D距离可用于指示相对于光学无限远的用户当前辐辏深度的度量。在一些示例中，辐辏深度估计模块728可以简单地接收或访问指示估计的用户瞳孔中心之间的估计的3D距离的数据，以便获得这种辐辏深度的度量。在一些实施例中，辐辏深度估计模块728可以通过比较用户的左右光轴来估计辐辏深度。具体地，辐辏深度估计模块728可以通过定位其中用户的左右光轴相交(或者用户的左右光轴在平面(例如，水平平面)上的投影相交)处相对于用户的距离来估计辐辏深度。通过将零深度设定为其中用户的左右光轴被用户的IPD分开的深度，模块728可以在该计算中利用用户的IPD。在至少一些实施例中，辐辏深度估计模块728可以通过将眼睛跟踪数据与已知或导出的空间关系一起进行三角划分(triangulate)来确定辐辏深度。

在一些实施例中，辐辏深度估计模块728可以基于用户的视轴(而非其光轴)的相交来估计用户的辐辏深度，这可以提供用户所聚焦于的距离的更精确指示。在至少一些实施例中，眼睛跟踪模块614可以包括光轴到视轴映射模块730。如结合图10更详细讨论的，用户的光轴和视轴通常不对准。视轴是人注视所沿着的轴，而光轴是由人的晶状体和瞳孔的中心限定的，并且可以穿过人的视网膜中心。特别地，用户的视轴通常由用户中央凹(fovea)的位置限定，中央凹的位置可能偏离用户视网膜的中心，从而导致不同的光轴和视轴。在这些实施例中的至少一些实施例中，眼睛跟踪模块614可以包括光轴到视轴映射模块730。光轴到视轴映射模块730可以校正用户的光轴和视轴之间的差异，并向可穿戴系统中的其他部件(例如，辐辏深度估计模块728和光场渲染控制器618)提供关于用户视轴的信息。在一些示例中，模块730可以使用假设的眼睛尺寸704，其中包括光轴和视轴之间的向内(偏向鼻子，朝着用户鼻子)大约5.2°的典型偏移。换句话说，模块730可以将用户的左光轴朝着鼻子向右(偏向鼻子)移位5.2°，并且将用户的右光轴朝着鼻子向左(偏向鼻子)移位5.2°，以便估计用户的左右光轴的方向。在其他示例中，模块730可以在将光轴(例如，由上述模块722指示的)映射到视轴时利用按用户校准数据706。作为附加示例，模块730可以使用户的光轴偏向鼻子移位4.0°至6.5°，4.5°至6.0°，5.0°至5.4°等等，或者由这些值中的任何值形成的任何范围。在一些布置中，模块730可以至少部分地基于特定用户的特征(例如，他们的年龄、性别、视力处方或其他相关特征)应用移位，和/或可以至少部分地基于特定用户的校准过程(即，确定特定用户的光轴-视轴偏移)应用移位。在至少一些实施例中，模块730还可将左右光轴的原点移位以对应于用户的CoP(由模块732确定的)而非用户的CoR。

当设置了可选的透视中心(CoP)估计模块732时，CoP估计模块732可以估计用户的左右透视中心(CoP)的位置。CoP可能是可穿戴系统的有用位置，并且在至少一些实施例中，CoP是瞳孔正前方的位置。在至少一些实施例中，CoP估计模块732可以基于用户的瞳孔中心的3D位置、用户的角膜曲率中心的3D位置或这种合适的数据或其任意组合来估计用户的左右透视中心的位置。作为示例，用户的CoP可以在角膜曲率中心的前方约5.01mm(即，在朝向眼睛的角膜并沿着光轴的方向上距离角膜球中心5.01mm)处，并且可以沿着光轴或视轴在用户角膜的外表面的后方约2.97mm处。用户的透视中心可以在其瞳孔中心的正前方。例如，用户的CoP可以距用户的瞳孔小于约2.0mm，距用户的瞳孔小于约1.0mm，距用户的瞳孔小于约0.5mm，或者任何这些值中的任何值之间的任何范围。作为另一示例，透视中心可以对应于眼睛的前房内的位置。作为其他示例，CoP可以在1.0mm至2.0mm之间，约1.0mm，在0.25mm至1.0mm之间，在0.5mm至1.0mm之间，或者在0.25mm至0.5mm之间。

本文所述的透视中心(可能是渲染相机针孔的期望位置和用户眼睛中的解剖位置)可以是用于减小和/或消除不希望的视差偏移的位置。具体地，用户眼睛的光学系统非常近似地等同于由透镜前面的针孔形成的投射到屏幕上的理论系统，其中针孔、透镜和屏幕分别大致对应于用户的瞳孔/虹膜、晶状体和视网膜。此外，当与用户眼睛相距不同距离的两个点光源(或对象)严格围绕针孔开口旋转(例如，沿曲率半径旋转，该半径等于点光源各自相对于针孔开口的距离)时，希望具有很小的视差偏移或者没有视差偏移。因此，似乎CoP应该位于眼睛的瞳孔中心(并且在某些实施例中可以使用这种CoP)。然而，人眼除了晶状体和瞳孔的针孔外，还包括角膜，该角膜赋予朝着视网膜传播的光以额外的光焦度。因此，在本段落中所述的理论系统中，针孔的等效解剖部分可以是位于用户眼睛的角膜外表面与用户眼睛的瞳孔或虹膜的中心之间的用户眼睛区域。例如，针孔的等效解剖部分可以对应于用户眼睛前房内的区域。由于本文讨论的各种原因，希望将CoP设定为用户眼睛的前房内的这种位置。

如上所述，眼睛跟踪模块614可以将诸如左右眼旋转中心(CoR)的估计的3D位置、辐辏深度、左右眼光轴、用户眼睛的3D位置、用户左右角膜曲率中心的3D位置、用户左右瞳孔中心的3D位置、用户左右透视中心的3D位置、用户的IPD等的数据提供给可穿戴系统中的其他部件，例如光场渲染控制器618和配准观察器620。眼睛跟踪模块614还可以包括其他子模块，这些子模块检测并生成与用户眼睛的其他方面相关联的数据。作为示例，眼睛跟踪模块614可以包括在用户每次眨眼时提供标志或其他警报的眨眼检测模块以及在用户的眼睛每次扫视(即，将焦点快速移到另一点)时提供标志或其他警报的扫视检测模块。

渲染控制器的示例

示例光场渲染控制器618的详细框图在图7B中示出。如图6和7B所示，渲染控制器618可以从眼睛跟踪模块614接收眼睛跟踪信息，并且可以将输出提供给渲染引擎622，渲染引擎622可以生成要显示的图像以供可穿戴系统的用户观看。作为示例，渲染控制器618可以接收关于辐辏深度、左右眼旋转中心(和/或透视中心)，以及其他眼睛数据，例如眨眼数据、扫视数据等的信息。

深度平面选择模块750可接收聚散深度信息，并且基于这样的数据可使渲染引擎622向用户提供内容，其中，该内容看起来位于特定的深度平面上(即，在特定的距离适应或焦距)。如结合图4所讨论的，可穿戴系统可以包括由多个波导形成的多个离散的深度平面，每个深度平面以变化的波前曲率水平传送图像信息。在一些实施例中，可穿戴系统可以包括一个或多个可变深度平面，例如以随时间变化的波前曲率水平传送图像信息的光学元件。在这些和其他实施例中，深度平面选择模块750可以部分基于用户的辐辏深度，使渲染引擎622以选定的深度向用户传送内容(即，使渲染引擎622指示显示器220切换深度平面)。在至少一些实施例中，深度平面选择模块750和渲染引擎622可以在不同深度处渲染内容，并且还生成深度平面选择数据和/或将深度平面选择数据提供给显示硬件，例如显示器220。诸如显示器220的显示硬件可以响应于由诸如深度平面选择模块750和渲染引擎622的模块生成和/或提供的深度平面选择数据(可以是控制信号)而执行电气深度平面切换。

通常，希望深度平面选择模块750选择与用户的当前辐辏深度匹配的深度平面，以便为用户提供准确的调节线索。然而，也希望以谨慎且不引人注目的方式切换深度平面。作为示例，希望避免深度平面之间的过度切换和/或希望在用户不太可能注意到切换时(例如，在眨眼或眼睛扫视期间)切换深度平面。

跨滞后带检测模块752可以帮助避免深度平面之间的过度切换，特别是当用户的辐辏深度在两个深度平面之间的中点或过渡点处波动时。具体地，模块752可以使深度平面选择模块750在其深度平面选择时表现出滞后性。作为示例，模块752可以仅在用户的辐辏深度越过第一阈值之后才使深度平面选择模块750从第一较远的深度平面切换到第二较近的深度平面。类似地，模块752可以仅在用户的辐辏深度越过比第一阈值距离用户更远的第二阈值之后才使深度平面选择模块750(其继而指示诸如显示器220的显示器)切换到第一较远的深度平面。在第一和第二阈值之间的重叠区域中，模块750可以使深度平面选择模块750保持当前选择的深度平面作为选定的深度平面，从而避免深度平面之间的过度切换。

眼睛事件检测模块750可以从图7A的眼睛跟踪模块614接收其他眼睛数据，并且可以使深度平面选择模块750延迟某些深度平面切换，直至发生眼睛事件。作为示例，眼睛事件检测模块750可以使深度平面选择模块750延迟计划的深度平面切换，直至检测到用户眨眼；可以从眼睛跟踪模块614中的眨眼检测部件接收指示用户当前正在眨眼的时间的数据；并且作为响应，可以使深度平面选择模块750在眨眼事件期间执行计划的深度平面切换(例如，通过使模块750指示显示器220在眨眼事件期间执行深度平面切换)。在至少一些实施例中，可穿戴系统能够在眨眼事件期间将内容移位到新的深度平面，使得用户不太可能察觉到该移位。作为另一示例，眼睛事件检测模块750可以延迟计划的深度平面切换，直至检测到眼睛扫视。如结合眨眼所讨论的，这种布置可以便于深度平面的离散移位。

如果需要，即使在不出现眼睛事件的情况下，深度平面选择模块750也可以在执行深度平面切换之前仅将计划的深度平面切换延迟有限时间段。类似地，即使在不出现眼睛事件的情况下，当用户的辐辏深度基本在当前选择的深度平面之外时(例如，当用户的辐辏深度已经超过深度平面切换的常规阈值以预定阈值时)，深度平面选择模块750也可以执行深度平面切换。这些布置可以帮助确保眼睛事件检测模块754不会无限地延迟深度平面切换，并且在存在较大调节误差时不会延迟深度平面切换。

渲染相机控制器758可以向渲染引擎622提供指示用户的左眼和右眼的位置的信息。然后，渲染引擎622可以通过在用户的左眼和右眼的位置处模拟相机，并基于模拟相机的视角生成内容，来生成内容。如上所述，渲染相机是用于渲染虚拟图像内容的模拟相机，这些虚拟图像内容可能来自虚拟世界中的对象的数据库。对象可以具有相对于用户或穿戴者，以及可能地相对于用户或穿戴者周围环境中的真实对象的位置和取向。渲染相机可以被包括在渲染引擎中，以基于要呈现给所述眼睛的虚拟对象的数据库渲染虚拟图像。虚拟图像可以被渲染为如同从用户或穿戴者的视角拍摄的一样。例如，虚拟图像可以被渲染为如同由具有观看虚拟世界中的对象的光圈、透镜和检测器的相机(对应于“渲染相机”)捕获的一样。虚拟图像从这种具有“渲染相机”位置的相机的视角拍摄。例如，虚拟图像可以被渲染为如同从具有相对于用户或穿戴者的眼睛的特定位置的相机的视角捕获的一样，从而提供看起来来自用户或穿戴者的视角的图像。在一些实施例中，图像被渲染为如同从具有相对于用户或穿戴者的眼睛的特定位置(例如，如本文或其他地方讨论的透视中心或旋转中心)的光圈的相机的视角捕获的一样。

渲染相机控制器758可以基于由CoR估计模块724确定的左右眼旋转中心(CoR)和/或基于由CoP估计模块732确定的左右眼透视中心(CoP)而确定左右相机的位置。在一些实施例中，渲染相机控制器758可以基于各种因素在CoR和CoP位置之间切换。作为示例，渲染相机控制器758可以在各种模式下，始终将渲染相机配准到CoR位置，始终将渲染相机配准到CoP位置，基于各种因素随时间推移在将渲染相机配准到CoR位置和将渲染相机配准到CoP位置之间切换或离散地切换，或者基于各种因素随着时间的推移动态地将渲染相机配准到沿着CoR和CoP位置之间的光轴(或视轴)的一系列不同位置中的任一位置。CoR和CoP位置可以可选地通过平滑滤波器756(以用于渲染相机定位的上述任一模式)，该平滑滤波器756可以随时间的推移对CoR和CoP位置进行平均以降低这些位置中的噪声，并防止在渲染模拟的渲染相机中发生抖动(jitter)。

在至少一些实施例中，渲染相机可以被模拟为针孔相机，其中针孔设置在由眼睛跟踪模块614识别的估计的CoR或CoP的位置处。在CoP偏离CoR的情况下，每当渲染相机的位置基于用户的CoP时，渲染相机及其针孔均随着用户眼睛的旋转而移位。相反，每当渲染相机的位置基于用户的CoR时，渲染相机针孔的位置不随眼睛旋转而移动，尽管在一些实施例中，渲染相机(位于针孔后面)可以随眼睛旋转而移动。在其中渲染相机的位置基于用户的CoR的其他实施例中，渲染相机可以不随着用户的眼睛移动(即，旋转)。

配准观察器的示例

在图7C中示出了示例配准观察器620的框图。如图6、图7A和图7C所示，配准观察器620可从眼睛跟踪模块614(图6和7A)接收眼睛跟踪信息。作为示例，配准观察器620可接收关于用户的左眼和右眼旋转中心的信息(例如，用户的左眼和右眼旋转中心的三维位置，其可在共同的坐标系上或具有与头戴式显示系统600共同的参考框架)。作为其他示例，配准观察器620可接收显示器外在特征、适配公差和眼睛跟踪有效指示符。显示器外在参数可包括关于显示器(例如，图2的显示器200)的信息，例如显示器的视场、一个或多个显示表面的尺寸、以及显示表面相对于头戴式显示系统600的位置。适配公差可包括关于显示配准体积的信息，该信息可指示在影响显示性能之前用户的左眼和右眼可从标称位置移动多远。另外，适配公差可指示根据用户的眼睛的位置所期望的显示性能影响量。

如图7C所示，配准观察器620可包括3D位置适配模块770。位置适配模块770可获取并分析各条数据，包括例如左眼旋转中心3D位置(例如，左CoR)、右眼旋转中心3D位置(例如，右CoR)、显示器外在特征和适配公差。3D位置适配模块770可确定用户的左眼和右眼距各自的左眼和右眼标称位置有多远(例如，可计算左3D误差和右3D误差)，并且可提供误差距离(例如，左3D误差和右3D误差)给设备3D适配模块772。

3D位置适配模块770还可将误差距离与显示器外在参数和适配公差进行比较，以确定用户的眼睛是否在标称体积、部分劣化的体积(例如，其中显示器220的性能被部分劣化的体积)内，或者处于完全劣化或几乎完全劣化的体积中(例如，其中显示器220基本上不能向用户的眼睛提供内容的体积)。在至少一些实施例中，3D位置适配模块770或3D适配模块772可提供定性描述HMD对用户的适配的输出，例如图7C中所示的适配质量输出。作为示例，模块770可提供指示HMD在用户上的当前适配是良好、一般(marginal)还是失败的输出。良好适配可对应于使用户能够观看至少一定百分比的图像(例如90％)的适配，一般适配可使用户能够观看至少较低百分比的图像(例如80％)的适配，而失败适配可以是用户只能看到甚至更低百分比的图像的适配。

作为另一示例，3D位置适配模块770和/或设备3D适配模块772可计算可见面积度量，其可以是由显示器220显示的对用户可见的图像的总面积(或像素)的百分比。模块770和772可通过以下来计算可见面积度量：评估用户的左眼和右眼相对于显示器220的位置(例如，其可基于用户的眼睛的旋转中心)并且使用一个或多个模型(例如，数学或几何模型)、一个或多个查表或其他技术或这些技术与其他技术的组合以根据用户的眼睛的位置确定对用户可见的图像的百分比。另外，模块770和772可根据用户的眼睛的位置来确定期望显示器220显示的图像的哪些区域或部分对于用户是可见的。

配准观察器620也可包括设备3D适配模块772。模块772可从3D位置适配模块770接收数据，并且还可接收眼睛跟踪有效指示符，该指示符可由眼睛跟踪模块614提供并可指示是否眼睛跟踪系统当前正在跟踪用户的眼睛的位置或者眼睛跟踪数据是否不可用或处于误差状况(例如，被确定为不可靠)。如果需要，设备3D适配模块772可根据眼睛跟踪有效数据的状态来修改从3D位置适配模块770接收的适配数据的质量。例如，如果来自眼睛跟踪系统的数据被指示为不可用或有误差，则设备3D适配模块772可提供关于存在误差的通知和/或不向用户提供有关适配质量或适配误差的输出。

在至少一些实施例中，配准观察器620可向用户提供关于适配质量以及误差的性质和大小的细节的反馈。作为示例，头戴式显示系统可在校准或适配过程期间向用户提供反馈(例如，作为设置过程的一部分)，并且可在操作期间提供反馈(例如，如果适配由于滑动而劣化，则配准观察器620可提示用户重新调整头戴式显示系统)。在一些实施例中，可自动地(例如，在使用头戴式显示系统期间)执行配准分析，并且可在没有用户输入的情况下提供反馈。这些仅是说明性示例。

通过眼睛跟踪系统定位用户角膜的示例

图8A是示出眼睛的角膜球的眼睛示意图。如图8A所示，用户的眼睛810可以具有角膜812、瞳孔822和晶状体820。角膜812可以具有由角膜球814所示的近似球形的形状。角膜球814可以具有中心点816(也称为角膜中心)和半径818。用户眼睛的半球形角膜可围绕角膜中心816弯曲。

图8B至8E示出了使用3D角膜中心估计模块716和眼睛跟踪模块614来定位用户的角膜中心816的示例。

如图8B所示，3D角膜中心估计模块716可以接收包括角膜亮斑854的眼睛跟踪图像852。然后，3D角膜中心估计模块716可以在眼睛相机坐标系850中模拟眼睛相机324和光源326的已知3D位置(其可以基于眼睛跟踪外在特征和内在特征数据库702、假设的眼睛尺寸数据库704和/或按用户校准数据706中的数据)，以便在眼睛相机坐标系中投射射线856。在至少一些实施例中，眼睛相机坐标系850可使其原点在眼睛跟踪相机324的3D位置处。

在图8C中，3D角膜中心估计模块716在第一位置处模拟角膜球814a(其可以基于来自数据库704的假设的眼睛尺寸)和角膜曲率中心816a。3D角膜中心估计模块716然后可以查看角膜球814a是否将来自光源326的光适当地反射到亮斑位置854。如图8C所示，当射线860a不与光源326相交时，第一位置不匹配。

类似地，在图8D中，3D角膜中心估计模块716在第二位置处模拟角膜球814b和角膜曲率中心816b。然后，3D角膜中心估计模块716查看角膜球814b是否将来自光源326的光适当地反射到亮斑位置854。如图8D所示，第二位置也不匹配。

如图8E所示，3D角膜中心估计模块716最终能够确定角膜球的正确位置是角膜球814c和角膜曲率中心816c。3D角膜中心估计模块716通过检查来自光源326的光在图像852上的亮斑854的正确位置处从角膜球适当地反射，并由相机324成像而确认所示位置是正确的。通过该布置，并且通过光源326、相机324的已知3D位置以及相机的光学特性(焦距等)，3D角膜中心估计模块716可以确定角膜曲率中心816(相对于可穿戴系统)的3D位置。

本文至少结合图8C至8E描述的过程可以有效地作为迭代、重复或优化过程，以识别用户角膜中心的3D位置。这样，可以使用多种技术中的任何技术(例如，迭代技术、优化技术等)来有效、快速地修剪或减小可能位置的搜索空间。此外，在一些实施例中，系统可以包括两个、三个、四个或更多个光源(例如，光源326)，并且所有这些光源中的一些可以设置在不同位置处，从而导致位于图像852上不同位置处的多个亮斑(例如，亮斑584)以及具有不同原点和方向的多条射线(例如，射线856)。此类实施例可以增强3D角膜中心估计模块716的准确性，因为模块716寻求识别导致部分或全部亮斑和射线在其相应光源和其各自在图像852上的位置之间适当地被反射的角膜位置。换句话说，在这些实施例中，部分或全部光源的位置依赖于图8B至8E的3D角膜位置确定(例如，迭代、优化技术等)过程。

使眼睛跟踪图像的坐标系规范化的示例

图9A至9C示出了通过可穿戴系统中的部件(例如图7A的坐标系规范化模块718)对眼睛跟踪图像的坐标系的规范化的示例。相对于用户瞳孔位置对眼睛跟踪图像的坐标系进行规范化可以补偿可穿戴系统相对于用户面部的滑移(即，头戴装置滑移)，并且这样的规范化可以在眼睛跟踪图像和用户的眼睛之间建立一致的取向和距离。

如图9A所示，坐标系规范化模块718可以接收用户的角膜旋转中心的估计的3D坐标900，并且可以接收未规范化的眼睛跟踪图像，例如图像852。作为示例，眼睛跟踪图像852和坐标900可以处于基于眼睛跟踪相机324的位置的未规范化的坐标系850中。

作为第一规范化步骤，坐标系规范化模块718可以将坐标系850旋转为旋转后的坐标系902，使得坐标系的z轴(即，辐辏深度轴)可以与坐标系原点和角膜曲率中心坐标900之间的矢量对准，如图9B所示。具体地，坐标系规范化模块718可以将眼睛跟踪图像850旋转为旋转后的眼睛跟踪图像904，直至用户的角膜曲率中心的坐标900垂直于旋转图像904的平面。

作为第二规范化步骤，坐标系规范化模块718可以将旋转后的坐标系902平移成规范化坐标系910，使得角膜曲率中心坐标900是距规范化坐标系910的原点的标准的规范化距离906，如图9C所示。具体地，坐标系规范化模块718可以将旋转后的眼睛跟踪图像904平移成规范化的眼睛跟踪图像912。在至少一些实施例中，标准的规范化距离906可以是约30毫米。如果需要，可以在第一规范化步骤之前执行第二规范化步骤。

通过眼睛跟踪系统定位用户瞳孔形心的示例

图9D至9G示出了使用3D瞳孔中心定位器模块720和眼睛跟踪模块614来定位用户瞳孔中心(即，如图8A所示的用户瞳孔822的中心)的示例。

如图9D所示，3D瞳孔中心定位器模块720可以接收包括瞳孔形心913(即，由瞳孔识别模块712识别的用户瞳孔的中心)的规范化眼睛跟踪图像912。然后，3D瞳孔中心定位器模块720可以模拟眼睛相机324的规范化3D位置910，以通过瞳孔形心913在规范化坐标系910中投射射线914。

在图9E中，3D瞳孔中心定位器模块720可以基于来自3D角膜中心估计模块716的数据模拟角膜球，例如具有曲率中心900的角膜球901(如结合图8B至8E更详细地讨论的)。作为示例，可以基于结合图8E识别的曲率中心816c的位置以及基于图9A至9C的规范化过程将角膜球901定位在规范化坐标系910中。另外，如图9E所示，3D瞳孔中心定位器模块720可以识别射线914(即，规范化坐标系910的原点和用户瞳孔的规范化位置之间的射线)与模拟的角膜之间的第一交点916。

如图9F所示，3D瞳孔中心定位器模块720可以基于角膜球901确定瞳孔球918。瞳孔球918可以与角膜球901共享公共曲率中心，但是具有小的半径。3D瞳孔中心定位器模块720可以基于角膜中心和瞳孔中心之间的距离确定角膜中心900和瞳孔球918之间的距离(即，瞳孔球918的半径)。在一些实施例中，瞳孔中心和角膜曲率中心之间的距离可以根据图7A的假设的眼睛尺寸704，根据眼睛跟踪外在特征和内在特征数据库702，和/或根据按用户校准数据706而被确定。在其他实施例中，瞳孔中心和角膜曲率中心之间的距离可以根据图7A的按用户校准数据706而被确定。

如图9G所示，3D瞳孔中心定位器模块720可以基于各种输入而定位用户瞳孔中心的3D坐标。作为示例，3D瞳孔中心定位器模块720可以利用瞳孔球918的3D坐标和半径、规范化眼睛跟踪图像912中的模拟的角膜球901和与瞳孔形心913相关联的射线914之间的交点916的3D坐标、关于角膜折射率的信息，以及诸如空气折射率之类的其他相关信息(其可被存储在眼睛跟踪外在特征和内在特征数据库702中)来确定用户瞳孔中心的3D坐标。具体地，3D瞳孔中心定位器模块720可以在模拟时基于空气(具有约1.00的第一折射率)和角膜材料(具有约1.38的第二折射率)之间的折射率差将射线916弯曲成折射射线922。在考虑由角膜引起的折射之后，3D瞳孔中心定位器模块720可以确定折射射线922和瞳孔球918之间的第一交点920的3D坐标。3D瞳孔中心定位器模块720可以确定用户的瞳孔中心920位于折射射线922和瞳孔球918之间的近似第一交点920处。通过这种布置，3D瞳孔中心定位器模块720可以在规范化坐标系910中确定瞳孔中心920(相对于可穿戴系统)的3D位置。如果需要，可穿戴系统可以将瞳孔中心920的坐标非规范化为原始眼睛相机坐标系850。瞳孔中心920可以与角膜曲率中心900一起使用，以便除了其他事项之外，使用光轴确定模块722确定用户的光轴，并通过辐辏深度估计模块728确定用户的辐辏深度。

光轴与视轴之间的差异的示例

如结合图7A的光轴到视轴映射模块730所讨论的，用户的光轴和视轴通常不对准，部分原因是用户的视轴由其中央凹限定，并且该中央凹通常不在人的视网膜的中心。因此，当人希望将注意力集中在特定对象上时，会将其视轴与该对象对准，以确保来自对象的光落在其中央凹上，而其光轴(由其瞳孔中心和其角膜曲率中心限定)实际上稍微偏离该对象。图10是示出眼睛光轴1002、眼睛视轴1004以及这些轴之间的偏移的眼睛1000的示例。另外，图10示出了眼睛的瞳孔中心1006、眼睛的角膜曲率中心1008和眼睛的平均旋转中心(CoR)1010。在至少一些人群中，眼睛的角膜曲率中心1008可以位于眼睛的平均旋转中心(CoR)1010前方约4.7mm处，如尺寸1012所示。此外，眼睛的透视中心1014可以位于眼睛的角膜曲率中心1008前方约5.01mm处，位于用户角膜的外表面1016后方约2.97mm处，和/或刚好位于用户的瞳孔中心1006前方(例如，对应于眼睛1000的前房内的位置)。作为附加示例，尺寸1012可以在3.0mm至7.0mm之间，在4.0mm至6.0mm之间，在4.5mm至5.0mm之间，或者在4.6mm至4.8mm之间，或者在任何值之间的任何范围内，以及是任何这些范围内的任何值。眼睛的透视中心(CoP)1014可以是可穿戴系统的有用位置，因为在至少一些实施例中，在CoP处配准渲染相机有助于减少或消除视差伪像。

图10还示出了可以与渲染相机的针孔对准的人眼1000内的这样的。如图1所示。如图10所示，渲染相机的针孔可以与位置1014配准，该位置1014沿着人眼1000的光轴1002或视轴1004，该位置比(a)瞳孔或虹膜的中心1006和(b)人眼1000的角膜曲率中心1008二者更靠近角膜的外表面。例如，如图10所示，渲染相机的针孔可以与位置1014配准，该位置1014沿着人眼1000的光轴1002，位于角膜的外表面1016后方约2.97mm毫米处，并且位于角膜曲率中心1008前方约5.01毫米处。可以将渲染相机的针孔的位置1014和/或位置1014所对应的人眼1000的解剖区域视为表示人眼1000的透视中心。图10所示的人眼1000的光轴1002表示穿过角膜曲率中心1008和瞳孔或虹膜的中心1006的最直接的线。人眼1000的视轴1004不同于光轴1002，因为它表示从人眼1000的中央凹延伸到瞳孔或虹膜的中心1006的线。

基于眼睛跟踪而渲染内容和检查配准的示例过程

图11是用于使用眼睛跟踪在可穿戴设备中渲染内容以及提供配准反馈的示例方法1100的过程流程图。方法1100可以由本文描述的可穿戴系统执行。方法1100的实施例可以由可穿戴系统用来基于来自眼睛跟踪系统的数据而渲染内容以及提供配准反馈(例如，可穿戴设备与用户的贴合(fit))。

在框1110处，可穿戴系统可以捕获用户的一只或多只眼睛的图像。可穿戴系统可以使用至少在图3的示例中示出的一个或多个眼睛相机324来捕获眼睛图像。如果需要，可穿戴系统还可以包括一个或多个光源326，光源326被配置为将IR光照射在用户的眼睛上并在由眼睛相机324捕获的眼睛图像中产生相应的亮斑。如本文讨论的，眼睛跟踪模块614可以使用亮斑推导关于用户眼睛的各种信息片段，其中包括眼睛正看向哪里。

在框1120处，可穿戴系统可以检测在框1110中捕获的眼睛图像中的亮斑和瞳孔。作为示例，框1120可以包括通过亮斑检测和标记模块714处理眼睛图像以识别眼睛图像中的亮斑的二维位置，并且通过瞳孔识别模块712处理眼睛图像以识别眼睛图像中瞳孔的二维位置。

在框1130处，可穿戴系统可以估计用户的左右角膜相对于可穿戴系统的三维位置。作为示例，可穿戴系统可以估计用户的左右角膜的曲率中心的位置以及这些曲率中心和用户的左右角膜之间的距离。框1130可以包括3D角膜中心估计模块716识别曲率中心的位置，如本文中至少结合图7A以及图8A至8E所述。

在框1140处，可穿戴系统可以估计用户的左右瞳孔中心相对于可穿戴系统的三维位置。作为示例，可穿戴系统和3D瞳孔中心定位器模块720具体地可以估计用户的左右瞳孔中心的位置，如至少结合图7A以及图9D至9G所述，作为框1140的一部分。

在框1150处，可穿戴系统可以估计用户的左右旋转中心(CoR)相对于可穿戴系统的三维位置。作为示例，可穿戴系统和CoR估计模块724具体地可以估计用户的左眼和右眼的CoR的位置，如至少结合图7A和图10所述。作为特定示例，可穿戴系统可以通过沿着光轴从角膜曲率中心返回到视网膜来找到眼睛的CoR。

在框1160处，可穿戴系统可以根据眼睛跟踪数据估计用户的IPD、辐辏深度、透视中心(CoP)、光轴、视轴和其他所需属性。作为示例，IPD估计模块726可以通过比较左右CoR的3D位置来估计用户的IPD，辐辏深度估计模块728可以通过找到左右光轴的交点(或接近交点)或左右视轴的交点来估计用户的深度，光轴确定模块722可以随时间的推移识别左右光轴，光轴到视轴映射模块730可以随时间的推移识别左右视轴，CoP估计模块框732可以识别左右透视中心，作为框1160的一部分。

在框1170处，可穿戴系统可以部分地基于在框1120至1160中识别的眼睛跟踪数据而渲染内容并且可以可选地提供配准反馈(例如，可穿戴系统与用户头部的贴合)。作为示例，可穿戴系统可以识别渲染相机的合适位置，然后基于渲染相机的位置为用户生成内容，如结合光场渲染控制器618、图7B以及渲染相机622所讨论的。作为另一示例，可穿戴系统可以确定是否正确地贴合到用户，或者是否已从相对于用户的其正确位置滑移，并且可以向用户提供指示是否需要调整设备贴合度的可选反馈，如结合配准观察器620所讨论的。在一些实施例中，可穿戴系统可以基于不适当的或不太理想的配准调整渲染的内容，以尝试减小、最小化或补偿不适当或错误配准的影响。

设备配准的概述

为了使本文所述的可穿戴系统200输出高感知图像质量的图像，可穿戴系统200的显示器220(图2)优选地正确地适配至用户(例如，相对于用户的头部进行定位和定向，使得系统200的输入和输出与用户的头部的对应部分正确地对接，并且使得该设备稳定且穿戴和使用舒适)。作为示例，为了使显示器220向用户的眼睛提供视觉内容，显示器220优选地位于用户的眼睛前面，并且取决于显示器220的相关特性，用户的眼睛优选地位于特定的体积内。作为另外的示例，扬声器240优选地位于用户的耳朵附近、其上或之中，以向用户提供高质量的音频内容，音频传感器(例如，麦克风)232优选地位于特定区域中以从用户接收声音，面向内部的成像系统462(其可包括一个或多个相机324和一个或多个红外光源326)优选地被正确地放置在一个位置和取向上，以获得用户的眼睛的清晰、无障碍的图像(其可成为眼睛跟踪系统的一部分)。这些仅仅是可穿戴系统200优选地正确地适配用户的各种原因的示例。

为了确保可穿戴系统200被正确地与用户配准，可穿戴系统200可包括诸如图6的配准观察器620的配准观察器。在一些实施例中，正确配准的可穿戴系统200包括显示器，该显示器被定位成使得用户的一只或两只眼睛能够接收足够的图像光以基本上看到由可穿戴显示系统200的显示器220提供的整个视场。例如，正确配准的显示器可允许在显示器的视场的约80％或更高、约85％或更高、约90％或更高、或约95％或更高的范围内观看图像，具有80％或更高、约85％或更高、约90％或更高、或约95％或更高的亮度均匀性。将理解的是，当显示器正在遍及整个视场显示相同的内容时，亮度均匀性可等于显示器的整个视场上100％乘以最小亮度除以最大亮度(100％×L_min/L_max)。

配准观察器620可使用各种传感器来确定可穿戴系统200如何适配在用户上(例如，如果可穿戴系统200的显示器220正确地定位在用户上)。作为示例，配准观察器620可使用面向内部的成像系统462(其可包括眼睛跟踪系统)来确定如何相对于用户特别是相对于用户的眼睛、耳朵、嘴巴或与可穿戴系统200对接的其他部分，来对可穿戴系统200的相关部分进行空间定向。

配准观察器620可协助校准过程，针对特定用户的可穿戴系统200的这种初始或后续配置或设置。作为示例，配准观察器620可在针对该特定用户在可穿戴系统200的配置或设置期间向用户提供反馈。附加地或替代地，配准观察器620可连续地或间歇地监控可穿戴系统200在用户上的配准，以在使用期间检查持续的正确配准，并且可即时(on the fly)提供用户反馈。配准观察器620可提供用户反馈，或作为配置过程的一部分或作为在使用期间的配准监控的一部分，该用户反馈指示何时可穿戴系统200被正确配准以及何时可穿戴系统200未被正确配准。配准观察器620还可提供关于用户可如何校正任何未配准并实现正确配准的特定建议。作为示例，配准观察器620可推荐用户在检测到可穿戴设备的滑动之后(例如，沿着用户的鼻梁向下)向后推可穿戴设备，可推荐用户调整可穿戴设备的一些可调整部件等等。

配准坐标系的示例

图12A-12B示出了示例眼睛位置坐标系，该示例眼睛位置坐标系可用于定义用户的左眼和右眼相对于本文所述的可穿戴系统的显示器的三维位置。作为示例，坐标系可包括轴X、Y和Z。坐标系的轴z可对应于深度，例如用户的眼睛所在的平面与显示器220所在的平面之间的距离(例如，垂直于用户的面部正面的平面的方向)。坐标系的轴x可对应于左右方向，诸如用户左眼和右眼之间的距离。换言之，轴x通常可以与眼间轴(例如，匹配的左眼特征和右眼特征(诸如旋转中心)之间的线)。坐标系的轴y可对应于上下方向，其可以是当用户直立时的垂直方向。

图12A示出了用户的眼睛1200和显示表面1202(其可以是图2的显示器220的一部分)的侧视图，而图12B示出了用户的眼睛1200和显示表面1202的俯视图。显示表面1202可位于用户的眼睛前面，并且可将图像光输出给用户的眼睛。作为示例，显示表面1202可包括一个或多个出耦合光元件、有源或像素显示元件，并且可以是波导堆叠的一部分，诸如图4的堆叠波导组件480。在一些实施例中，显示表面1202可以是平面的。在一些其他实施例中，显示表面1202可具有其他拓扑(例如，弯曲的)。应当理解，显示表面1202可以是显示器的物理表面，或者仅仅是平面或其他假想表面，从该平面或其他假想表面，图像光被理解为从显示器220传播到用户的眼睛。

如图12A所示，用户的眼睛1200可具有偏移标称位置1206的实际位置1204，并且显示表面1202可处于位置1214。图12A还示出了用户的眼睛1200的角膜顶点1212。用户的视线(例如，他们的光轴和/或视轴)可基本上沿着实际位置1204和角膜顶点1212之间的线。如图12A和图12B中所示，实际位置1204可从标称位置1206偏移z-偏移1210、y-偏移1208和x-偏移1209。标称位置1206可表示针对用户的眼睛1200相对于显示表面1202的优选位置(有时称为设计位置，其通常可在所需的体积内居中)。随着用户的眼睛1200远离标称位置1206移动，显示表面1202的性能可能会劣化。

将认识到，与用户的眼睛1200相关联的点或体积可用于表示本文的配准分析中的用户的眼睛的位置。表示点或体积可以是与眼睛1200相关联的任何点或体积，并且优选地被一致地使用。例如，该点或体积可在眼睛1200上或之中，或者可远离眼睛1200放置。在一些实施例中，该点或体积是眼睛1200的旋转中心。旋转中心可如本文中所描述的那样确定，并且由于其大致对称地布置在眼睛1200内的各个轴上并且允许与光轴对准的单个显示配准体积被用于分析，因此可具有简化配准分析的优点。

图12A还示出了显示表面1202可位于用户的视域下方的中心(当用户笔直向前看时沿y轴看，他们的光轴与地面平行)并且可倾斜(相对于y轴)。特别地，显示表面1202可被设置在用户的视域下方一些位置，使得当眼睛1200在位置1206时，用户将不得不以大约角度1216向下看以看着显示表面1202的中心。这可促进与显示表面1202的更自然且舒适的交互，特别是当观看以较短深度(或距用户的距离)渲染的内容时，因为用户可更舒适地观看在视域下方而不是视域上方的内容。此外，显示表面1202可例如以角度1218(相对于y轴)倾斜，使得当用户注视显示表面1202的中心(例如，注视稍微用户视域以下)时，显示表面1202通常垂直于用户的视线。在至少一些实施例中，显示表面1202也可相对于用户的眼睛的标称位置向左或向右偏移(例如，沿x轴)。作为示例，左眼显示表面可向右偏移并且右眼显示表面可向左偏移(例如，显示表面1202可朝彼此偏移)，使得用户的视线当聚焦在小于无限远的某个距离处时命中显示表面的中心，这可能会增加在可穿戴设备上的典型使用过程中的用户舒适度。

使用户头部上的左眼显示器和右眼显示器垂直对准的示例

如前所述，头戴式显示器(HMD)(例如，图3中的可穿戴系统200中的显示器220)的左眼显示器和右眼显示器与用户的眼睛之间的正确对准可能是重要的，以便确保期望的用户体验。例如，当左眼显示器从用户的左眼垂直偏移的量与右眼显示器从用户的右眼垂直偏移的量不同时(偏移诸如由于随着时间或通过其他变形方式的设备的正常磨损和撕扯)，用户可能经历不适和眼睛疲劳。

在一些实施例中，头戴式显示系统可以被配置为确定其左眼显示器和右眼显示器是否与用户的眼睛(例如，它们的眼间轴)齐平并且提供适当的用户反馈以鼓励用户调整左目镜或右目镜上所显示的图像，最终目标是校正左显示子系统或右显示子系统的校准度量(诸如用于对应的左目镜或右目镜的投射器输入)，使得通过左眼显示器和右眼显示器投射的图像与眼睛之间的眼间轴齐平。

然后显示系统可以向用户提供具有对准标记的左眼图像和右眼图像。可以提供对准标记，使得左眼显示器与右眼显示器之间的任何垂直偏移对于用户是可见的。换句话说，如果存在左眼显示器和右眼显示器垂直偏移(例如，左眼显示器相对于右眼显示器垂直偏移)，则用户可将来自左眼显示器和右眼的图像感知为垂直未对准并且不能正确地融合图像(例如，偏移可以以彼此不对齐的对准标记的水平部分的形式而可见)。应理解，对准标记的水平部分可采取在垂直未对准时不完全重叠的其他镜像形状或线的布置的形式。

图13和14示出了可以被提供给头戴式显示器(HMD)(例如，图3的显示器220)的用户的示例显示屏，以作为使HMD相对于用户的眼睛(例如，它们的眼间轴)调平的部分(例如，使延伸穿过HMD的左眼显示器和右眼显示器的水平轴调平)。具体地，图13示出了包括示例引导的显示屏1300，该示例引导可以被提供以帮助用户来调平HMD。

显示屏1300还可以包括关于HMD相对于用户眼睛的当前取向的反馈。这样的反馈可以采取化身1304(例如，用户的虚拟表示)和HMD的虚拟描绘1302的形式。化身1304可以以垂直取向描绘(使得眼间轴处于水平取向)，而HMD的虚拟描绘1302的取向可相对于水平而倾斜。虚拟描绘1302的倾斜的量和方向可以基于眼间轴(例如，如由图7A的模块740确定的)相对于HMD的估计的取向。在其他实施例中，化身1302和1304可以被省略或者可以是静态的。在各种实施例中，HMD的倾斜的量和方向可经由诸如对准标记1306和1308的其他标记传达给用户。对准标记1306可对应于用户的眼间轴(例如，呈现为水平线)，而对准标记1308可指示HMD相对于眼间轴的倾斜。在一个示例中，标记1306可以保持静态，而标记1308随着用户朝向齐平来调整他们头部上的HMD而移位。在一些实施例中，HMD的取向可使用附接到HMD的各种传感器来确定，包括陀螺仪、加速计和/或成像系统，该成像系统对外部环境中的一个或多个参考点成像并且基于那些参考点来确定HMD的取向。通常，对准标记可以采取任何合适的形状或形式。使用对准标记，用户可以能够快速地感知HMD是否在他们的头部上倾斜，包括在哪个方向上倾斜和倾斜了多少。因此，用户可以校正HMD的倾斜直到HMD被适当地调平。

如图14所示，当用户成功地调整HMD的倾斜以使得其头部上的HMD齐平时(例如，当眼间轴或其一部分平行于在HMD的左眼显示器与右眼显示器之间延伸的水平轴时、当眼间轴或其一部分落在相对于HMD限定的预定体积内时等)，用户可被呈现有指示在HMD中调平成功的显示屏，诸如屏幕1400。在图14的示例中，用户已经成功地调平HMD并且被示出为标记1402。当图13的标记1306和1308重叠时，标记1402可以出现。

在用户对HMD调平之后，系统可以执行左眼和右眼显示器对准协议，以通过未自身垂直对准的刚性显示器来适当地调平图像的显示。具体地，显示器对准过程可以检查和识别(例如，自动地或基于用户反馈)左显示器和右显示器及其相应眼睛之间的垂直对准中的任何差异。换句话说，显示器对准过程可以检查(例如，自动地或通过向用户提供向用户突出显示任何未对准的对准标记并且接收关于任何未对准的用户反馈)用户的左眼是否具有与HMD的左眼显示器的第一垂直对准(诸如沿着图12A的Y轴的第一偏移)，而用户的右眼是否具有与HMD的右眼显示器的第二且不同的垂直对准(诸如沿着图12的Y轴的具有不同大小的第二偏移)。将理解的是，即使当HMD被佩戴为与用户的头部齐平时，左侧与右侧之间的垂直对准的差异也可能发生，这是由于诸如HMD的扭曲或损坏的各种因素，这可能导致左眼显示器和右眼显示器中的一者或两者移位，以使得即使当HMD被确定为与用户眼睛的眼间轴齐平时，显示器也不处于相同的垂直高度。

图15和图16示出了可以被提供给头戴式显示器(HMD)(例如，图3的显示器220)的用户的示例显示屏，以作为识别在调平之后剩余的垂直未对准的部分。如图15所示，诸如屏幕1500的显示屏可以包括用户指令以及向用户突出显示任何垂直未对准的诸如标记1502、1504和1506的对准标记。在一些实施例中，对准标记采取侧向放置的字母“T”的形式。然而，应当理解，对准标记可以采取其他形状或形式。

如图16所示，HMD可以向用户的左眼和右眼提供不同的相应对准标记，以便展示任何左右垂直未对准。例如，HMD可以向用户的左眼显示屏幕1600a并且可以向用户的右眼显示屏幕1600b。屏幕1600a可以包括左眼水平对准标记1502和垂直对准标记1506，而屏幕1600b可以包括右眼水平对准标记1504和垂直对准标记1506。在一些实施例中，屏幕1600a可以不包括右眼水平对准标记1504，屏幕1600b可以不包括左眼水平对准标记1504。

当佩戴HMD的用户同时观看屏幕1600a和1600b(例如，分别使用他们的左眼和右眼)时，垂直对准标记1506a和1506b可以呈现给用户，如被融合在一起(例如，作为标记1506)。然而，至少因为左眼水平对准标记1502和右眼水平对准标记1504彼此在空间上不水准，所以用户未将标记1502和1504感知为融合在一起。相反，用户将能够确定标记1502和1504是否彼此垂直地对准(或者是否存在左右垂直未对准)。换句话说，未正确对准的系统将显示1604的预期图像作为示例性未对准图像1602。

在至少一些实施例中，对准标记1502和1504最初被呈现在左眼显示器和右眼显示器的相同位置处，尽管变形可以提示对位置的感知为未对准的。在一些实施例中，系统可以有意地在对准标记1502与1504之间引入垂直偏移。在这样的实施例中，标记1502和1504的对准可能不一定表示左眼显示器和右眼显示器的对准。例如，尽管左眼显示器和右眼显示器可以表现出相对较少或没有未对准，但是在这些实施例中，由系统呈现的标记1502和1504可以表现出相对高的未对准量。这样做可以用于促进显示器对准过程中的用户参与。也就是说，当由系统呈现的标记1502和1504表现出相对高的未对准度时，一些用户可以感觉到被更多地强制以主动参与显示器对准过程。在一些示例中，对准标记1502和1504的垂直位置可以被随机化、伪随机化或半随机化。例如，系统可以从预定的垂直位置范围中随机地、伪随机地或半随机地选择对准标记1502和1504的垂直位置。在一些实施例中，系统可以从预定偏移范围中随机地、伪随机地或半随机地选择对准标记1502和1504之间的偏移。在一些实施例中，显示系统可以被配置为基于伪随机数生成器(诸如梅森旋转算法(MersenneTwitter)、Xorshift等)来随机地、伪随机地或半随机地选择偏移。在一些实施例中，伪随机数生成器可以直接生成偏移值。在一些其他实施例中，每个偏移可以与数、或者数的集合相关联，并且伪随机数生成器的数的生成可以用于选择与所生成的数相关联的偏移或者与所生成的数所属的集合相关联的偏移(例如，每个偏移可以与一个或多个唯一的数或数的集合相关联，可以使用伪随机生成器生成数，并且可以基于所生成的数(或者该数所属的集合)与跟偏移相关联的数(或数的集合)之间的对应关系来选择要应用的偏移)。

当用户提供输入以垂直地对准标记1502和1504时，系统可以将所选择的标记1502和1504的垂直位置和/或标记1502与1504之间的所选择的偏移考虑在内。在用户提供输入以垂直地对准标记1502和1504之后，系统可以能够基于用户输入的大小和方向来确定左右垂直未对准的大小和方向。优选地，对垂直对准的调整仅对一个显示器执行一次。

对于其中HMD包括波导的堆叠的实施例，对垂直对准的调整可以仅对一个波导执行一次。因此，在一些实施例中，系统可以针对被包括在HMD的波导堆叠中的每个波导进行显示器对准过程。在一些示例中，HMD的波导堆叠可以包括用于每个深度平面的多个波导，例如，三个波导。波导的数目可对应于由显示系统使用以形成全色彩内容的分量色彩的数目。例如，对于RGB(红、绿、蓝)显示系统，为每个深度平面提供的三个波导可以包括被配置为输出红光的波导、被配置为输出绿光的波导、以及被配置为输出蓝光的波导。例如当对被配置为输出红光的波导进行显示器对准时、例如当对被配置为输出绿光的波导进行显示器对准时、以及例如当对被配置为输出蓝光的波导进行显示器对准时，系统可以关于红色、绿色和蓝色中的每个分量颜色呈现标记1502和1504。在一些实施例中，系统可以连续地针对每个波导进行显示器对准(例如，可以针对与不同分量颜色对应的不同波导和/或针对提供与不同深度平面对应的不同波前发散量的不同波导，顺序地进行对准)。在一些其他实施例中，系统可以同时针对HMD的波导堆叠中的一些或所有波导进行显示器对准。在这样的实施例中，标记1502和1504可以同时以各种颜色(例如，标记1502和1504的红色、绿色和蓝色版本)和/或在各种深度(具有提供不同波前发散量的波导)呈现，并且用户可以能够提供输入以一次垂直地移位一个标记。

应当理解，可以使用用户可用的任何输入设备来提供用户输入。例如，可以利用手势、语音激活命令、物理切换等来提供输入。作为特定示例，图17是用户的手1700和包括各种输入设备1702、1704、1706的控制器1701的透视图。输入设备1702、1704、1706中的任一者可以被配置为提供关于被期望用于使对准标记1502和1504对准的垂直移位的输入。

使用户头部上的左眼显示器和右眼显示器垂直对准的示例过程

图18是用于调平用户头部上的头戴式显示系统以及用于调整显示系统的左显示器和右显示器的垂直对准的示例方法1800的过程流程图。方法1800可以由本文描述的可穿戴系统执行。

在框1802处，可穿戴系统可以确定潜在需要以调整头戴式显示器(HMD)(例如，图3的显示器220)的校准。可穿戴系统可以基于各种因素来确定关于校准HMD的需要，该各种因素单独地或组合地包括自上次校准以来的小时数、检测到HMD的潜在或实际变形(例如，使用加速度计或其他传感器检测到碰撞事件)、检测到HMD的误配准(例如，由眼睛跟踪组件确定用户的眼睛中的一只或两只眼睛不在相对于HMD的设计位置处)、在HMD启动时、在启动HMD时、在确定HMD已被放置在用户的头部上时等等。作为附加选项，校准过程可以通过用户手动、客户服务或其他源而被推荐给用户，并且框1802可以涉及接收执行校准过程的用户请求。

在框1804处，可穿戴系统可以执行设备调平，该设备调平可以包括诸如框1806和1808的框。在框1806处，HMD可以确定用户的眼间轴和设备的水平轴，其中该设备的水平轴可以是在HMD的左眼显示器与右眼显示器之间延伸的或者相对于HMD的世界坐标系的重力向量来测量的互显示轴。框1806可涉及确定眼间轴和设备的水平轴是否平行、或者在两个轴之间是否存在倾斜。在一些示例中，框1806可涉及确定眼间轴或其一部分是否落在相对于HMD限定的预定体积内。在框1808处，HMD可以将关于调平HMD的反馈提供给用户。这样的反馈可以采取显示图13的对准标记1306和1308的形式。框1806和1808可以继续，直到用户退出对准过程或者成功地将他们头部上的HMD调平(例如，使标记1308与标记1306对准)。

在框1810处，可穿戴系统可以执行显示器对准流程，其可以包括诸如框1812和1814的框。在框1812处，HMD可以提供未融合的左眼对准标记和右眼对准标记。作为示例，HMD可以在左眼显示器上显示图15和16的对准标记1502，并且可以在右眼显示器上显示图15和16的对准标记1504，如本文所讨论的。如上文所述，在一些示例中，HMD可在随机、伪随机或半随机选择的垂直位置处显示对准标记1502和1504中的一者或两者。在框1814处，可穿戴系统可以接收关于左眼显示器或右眼显示器垂直对准调整的用户反馈。具体地并且如结合图15-17所讨论的，可穿戴系统可以接收使对准标记1502和1504中的至少一者移位直到从用户的角度标记彼此垂直对准的用户输入。框1812和1814可以继续，直到用户退出对准过程或接受已对对准标记进行的任何垂直调整。如上所述，在一些示例中，可穿戴系统可以针对被包括在HMD中的每个波导进行一个显示器对准过程。在这些示例中，可穿戴系统可以针对被包括在HMD中的每个波导执行与框1810、1812和1814中的一个或多个框相关联的操作。

在框1816处，可穿戴系统可以实现由用户提供的对左右垂直对准的任何调整。作为示例，如果用户反馈指示了右眼显示器低于左眼显示器给定量，则可穿戴系统可以通过将经由右眼显示器显示的图像内容(例如，在图18的对准过程的完成之后显示的)向上移位给定量、通过将经由左眼显示器显示的图像内容向下移位给定的量、或者通过右眼内容和左眼内容的移位的适当组合来补偿该未对准。

在一些实施例中，在框1816处，可穿戴系统可以对与左眼显示器相关联的渲染相机的一个或多个外在参数和与右眼显示器相关联的渲染相机的一个或多个外在参数进行调整。例如，在这些实施例中，可穿戴系统可以至少部分地基于由用户提供的输入来调整与两个显示器(例如，左眼显示器和右眼显示器)相关联的两个渲染相机中的一个或两个相机的位置和/或取向。在一些实施例中，可穿戴系统可以跳过与框1804、1806和/或1808相关联的操作。在这些实施例中，可穿戴系统可以紧接在执行与框1802相关联的操作之后前进到框1810。

在周围环境中检测对象的计算机视觉

如上所述，显示系统可被配置为检测用户周围环境中的对象或周围环境的特性。如本文所讨论的，可以使用包括各种环境传感器(例如，相机、音频传感器、温度传感器等)在内的各种技术来实现检测。

在一些实施例中，可以使用计算机视觉技术来检测环境中存在的对象。例如，如本文所公开的，显示系统的前向相机可被配置为对周围环境进行成像，并且显示系统可被配置为对图像执行图像分析以确定周围环境中对象的存在。显示系统可以分析通过面向外的成像系统获取的图像以执行场景重建、事件检测、视频跟踪、对象识别、对象姿势估计、学习、索引、运动估计或图像恢复等。作为其他示例，显示系统可被配置为执行面部和/或眼睛识别以确定面部和/或人眼在用户视场中的存在和位置。可以使用一种或多种计算机视觉算法来执行这些任务。计算机视觉算法的非限制性示例包括：尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、定向FAST和旋转BRIEF(ORB)、二进制鲁棒不变可扩展关键点(BRISK)、快速视网膜关键点(FREAK)、Viola-Jones算法、特征脸方法、Lucas-Kanade算法、Horn-Schunk算法，均值漂移(Mean-shift)算法、视觉同步定位与地图构建(vSLAM)技术、序列贝叶斯估计器(例如，卡尔曼滤波器、扩展卡尔曼滤波器等)、光束法平差(bundleadjustment)、自适应阈值分割(和其他阈值分割技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(例如，支持向量机、k最近邻算法、朴素贝叶斯、神经网络(包括卷积或深度神经网络)或其他有监督/无监督模型等)等等。

这些计算机视觉技术中的一种或多种也可以与从其他环境传感器(例如，麦克风)获取的数据一起使用，以检测和确定由传感器检测到的对象的各种特性。

如本文所讨论的，可以基于一个或多个标准检测周围环境中的对象。当显示系统使用计算机视觉算法或使用从一个或多个传感器组件(可能是或可能不是显示系统的一部分)接收到的数据检测周围环境中是否存在标准时，显示系统然后会以信号告知对象的存在。

机器学习

可以使用各种机器学习算法来学习识别周围环境中对象的存在。一经训练，机器学习算法便可被显示系统存储。机器学习算法的一些示例可以包括有监督或无监督机器学习算法，包括回归算法(例如，普通最小二乘回归)、基于实例的算法(例如，学习向量量化)、决策树算法(例如，分类和回归树)、贝叶斯算法(例如，朴素贝叶斯)、聚类算法(例如，k均值聚类)、关联规则学习算法(例如，先验算法)、人工神经网络算法(例如，感知机)、深度学习算法(例如，深度玻尔茨曼机或深度神经网络)、降维算法(例如例如，主成分分析)、集合算法(例如，堆栈泛化)和/或其他机器学习算法。在一些实施例中，可以针对各个数据集定制各个模型。例如，可穿戴设备可以生成或存储基础模型。基础模型可以用作生成特定于数据类型(例如，特定用户)、数据集(例如，获得的附加图像集)、条件情况或其他变化的附加模型的起点。在一些实施例中，显示系统可以被配置为利用多种技术来生成用于分析聚合数据的模型。其他技术可包括使用预定义的阈值或数据值。

用于检测对象的标准可以包括一个或多个阈值条件。如果由环境传感器获取的数据的分析指示越过阈值条件，则显示系统可以提供指示检测到周围环境中对象的存在的信号。阈值条件可以涉及定量和/或定性的量度。例如，阈值条件可以包括与环境中存在反射和/或对象的可能性相关联的分数或百分比。显示系统可以将根据环境传感器数据计算出的分数与阈值分数进行比较。如果得分高于阈值水平，则显示系统可以检测到反射和/或对象的存在。在一些其他实施例中，如果得分低于阈值，则显示系统可以用信号通知环境中对象的存在。在一些实施例中，可以基于用户的情绪状态和/或用户与周围环境的交互来确定阈值条件。

在一些实施例中，阈值条件、机器学习算法或计算机视觉算法可以专用于特定情境。例如，在诊断情境中，计算机视觉算法可以专用于检测对刺激的特定反应。作为另一示例，显示系统可以执行面部识别算法和/或事件跟踪算法以感测用户对刺激的反应，如本文所讨论的。

将理解，本文描述和/或附图中描绘的过程、方法和算法中的每一者可以体现在由一个或多个物理计算系统、硬件计算机处理器、专用电路和/或被配置为执行特定和特殊的计算机指令的电子硬件所执行的代码模块中并且完全或部分地由该代码模块自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如，服务器)或专用计算机、专用电路等等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释的编程语言编写。在一些实施例中，特定操作和方法可以由专用于给定功能的电路来执行。

此外，本公开的功能的某些实施例在数学上、计算上或技术上是足够复杂的，使得专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)对于执行功能可能是必需的，例如由于所涉及的计算的数量或复杂性或为了基本上实时提供结果。例如，视频可以包括许多帧，每帧具有数百万个像素，并且具体地编程的计算机硬件对于处理视频数据是必需的以在商业上合理的时间量内提供期望的图像处理任务或应用。

代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器、其组合和/或类似物。在一些实施例中，非暂时性计算机可读介质可以是本地处理和数据模块(140)、远程处理模块(152)和远程数据储存库(160)中的一者或多者的一部分。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的和有线/基于线缆的介质，并且可以采取多种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字分组或帧)。所公开的方法或方法步骤的结果可以持久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质来传送。

在此描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，代码包括一个或多个可执行指令以实现特定功能(例如，逻辑或算术)或方法中的步骤。各种方法、框、状态、步骤或功能可以与本文提供的说明性示例相组合，重新排列，添加，删除，修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文描述的功能中的一些或全部。本文描述的方法和过程也不限于任何特定的顺序，并且与其相关的块、步骤或状态可以以适当的其他顺序来执行，例如串行、并行或以某种其他方式。可以向所公开的示例实施例添加任务或事件或者从中移除任务或事件。此外，本文描述的实施例中的各种系统部件的分离是出于说明的目的，并且不应该被理解为在所有实施例中都需要这种分离。应该理解，所描述的程序部件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。

其他考虑事项

在此描述的和/或在附图中描绘的过程、方法和算法中的每一者可以体现在由一个或多个物理计算系统、硬件计算机处理器、专用电路和/或被配置为执行具体和特定计算机指令的电子硬件所执行的代码模块中，并且由以上完全或部分自动化。例如，计算系统可以包括编程有特定计算机指令的通用计算机(例如，服务器)或专用计算机、专用电路等等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释的编程语言写入。在一些实施例中，特定操作和方法可以由专用于给定功能的电路来执行。

此外，本公开的功能的某些实施例在数学上、计算上或技术上是足够复杂的，以致于可能需要专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行功能，例如由于所涉及的计算的数量或复杂性或为了基本实时地提供结果。例如，动画或视频可以包括许多帧，每帧具有数百万个像素，并且特别编程计算机硬件需要处理视频数据，从而在商业上合理的时间量内提供期望的图像处理任务或应用。

代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，其包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器、其组合和/或类似物。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的和基于有线/线缆的介质，并且可以采取多种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字分组或帧)。所公开的过程或过程步骤的结果可以持久地或以其他方式存储在任何类型的非暂时性、有形计算机存储器中，或者可以经由计算机可读传输介质来传送。

在此所描述/或附图中描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，这些代码模块、代码段或代码部分包括用于实现特定功能(例如，逻辑或算术)或步骤的一个或多个可执行指令。过程、框、状态、步骤或功能可以与在此提供的说明性示例相组合、重新排列、添加、删除、修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行在此描述的功能中的一些或全部。本文描述的方法和过程也不限于任何特定的顺序，并且与其相关的块、步骤或状态可以以适当的其他顺序来执行，例如串行、并行或以某种其他方式。可以向所公开的示例性实施例添加任务或事件或者从中移除任务或事件。此外，本文描述的实施例中的各种系统部件的分离是出于说明的目的，并且不应该被理解为在所有实施例中都需要这种分离。应该理解，所描述的程序部件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。许多实施方式变化是可能的。

过程、方法和系统可以在网络(或分布式)计算环境中实施。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个人区域网络(PAN)、云计算网络、众包计算网络、因特网和万维网。网络可以是有线或无线网络或任何其他类型的通信网络。

本公开的系统和方法各自具有若干创新性方面，其中没有单独一个对于本文公开的期望属性完全负责或需要。上述各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合均旨在落入本公开的范围内。对于本公开中所描述的实施例的各种修改对于本领域技术人员来说可能是显而易见的，并且在不脱离本公开的精神或范围的情况下，可将本文中定义的一般原理应用于其他实施例。因此，权利要求不旨在限于本文所示的实施例，而是应被赋予与本公开一致的最宽范围、本文公开的原理和新颖特征。

在本说明书中在分开的实施例的情境中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的情境中描述的各种特征也可以分开或者以任何合适的子组合在多个实施例中实施。此外，尽管上文可以将特征描述为以某些组合起作用并且甚至最初如此要求，但是来自所要求保护的组合的一个或多个特征可以在一些情况下从组合中删除，并且所要求保护的组合可以针对子组合或变体的子组合。没有单个特征或特征组对于每个实施例是必要或是必不可少的。

除非另有明确说明，否则本文中使用的条件语言，诸如“能够”、“可能”“应该”、“可以”、“例如”等等，或者在情境中以其他方式理解的，为一般地意在表达某些实施例包括，而其他实施例不包括某些特征、元件和/或步骤。因此，这样的条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或者没有作者输入或提示的情况下决定是否这些特征、元件和/或步骤包括在任何特定实施例中或将在任何特定实施例中执行。术语“包括”、“包含”、“具有”等是同义词，并且以开放式的方式包含性地使用，并且不排除附加的元件、特征、动作、操作等等。此外，术语“或”以其包含性含义(而不是其专有含义)使用，因此当用于例如连接元素列表时，术语“或”表示一个、一些或全部列表中的元素。另外，除非另有说明，否则本申请和所附权利要求中使用的冠词“一”、“一个”和“所述”应被解释为表示“一个或多个”或“至少一个”。

如本文所使用的，提及项目列表中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。例如，“A、B或C中的至少一个”旨在覆盖：A、B、C、A和B、A和C、B和C以及A、B和C。连接语言例如短语“X、Y和Z中的至少一个”，除非另有特别说明，否则在通常用于表达项目，术语等可以是X、Y或Z中的至少一个。因此，这样的连接语言通常并不意味着某些实施方案需要X中的至少一个，Y中的至少一个和Z中的至少一个存在。

类似地，尽管可以在特定顺序中在附图中描绘操作，但应认识到，这些操作不需要以所示出的特定顺序或按顺序执行，或者所有所示操作都要执行，以实现理想的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作可以并入示意性说明的示例性方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其他例中，操作可以重新安排或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统部件的分离不应该被理解为在所有实施例中都需要这种分离，并且应该理解，所描述的程序部件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。另外，其他实施例在以下权利要求的范围内。在一些情况下，权利要求中列举的动作可以以不同的顺序执行并且仍然实现期望的结果。

Claims (23)

1.一种增强现实系统，包括：

头戴式显示器，其被配置为通过向用户输出光来呈现虚拟内容；

成像设备，其被配置为捕获所述用户的眼睛的图像；以及

至少一个处理器，其被通信地耦接到所述头戴式显示器和所述成像设备，所述至少一个处理器被配置为：

使用左眼显示器提供左眼对准标记；

使用右眼显示器提供右眼对准标记；

接收用户输入以调整所述左眼对准标记和所述右眼对准标记中的至少一个；以及

基于所接收到的用户输入来垂直地调整所述左眼显示器和所述右眼显示器中的至少一个显示器中的图像内容。

2.根据权利要求1所述的增强现实系统，其中，所述处理器被配置为：

确定所述头戴式显示系统是否相对于所述用户的左眼和右眼齐平；以及

在提供所述左眼对准标记或所述右眼对准标记之前，向所述用户提供关于所述头戴式显示系统是否相对于所述用户的左眼和右眼齐平的反馈。

3.根据权利要求1所述的增强现实系统，其中，所述处理器被配置为通过呈现具有取向的齐平标记来向所述用户提供关于所述头戴式显示器是否相对于所述用户的左眼和右眼齐平的反馈，其中所述取向关于所述头戴式显示器相对于所述用户的左眼和右眼的取向而改变。

4.根据权利要求1所述的增强现实系统，还包括眼睛跟踪系统，其中，所述处理器被配置为基于来自所述眼睛跟踪系统的眼睛跟踪数据来确定所述头戴式显示系统是否相对于所述用户的左眼和右眼齐平。

5.根据权利要求1所述的增强现实系统，还包括眼睛跟踪系统，其中，所述处理器还被配置为基于来自所述眼睛跟踪系统的眼睛跟踪数据来确定在所述用户的左眼与右眼之间延伸的所述用户的眼间轴。

6.根据权利要求5所述的增强现实系统，其中，所述处理器还被配置为通过确定所述眼睛跟踪系统相对于所述用户的所述眼间轴的取向来确定所述头戴式显示系统是否相对于所述用户的左眼和右眼齐平。

7.根据权利要求5所述的增强现实系统，其中，所述处理器被配置为通过呈现具有取向的齐平标记来向所述用户提供关于所述头戴式显示器是否相对于所述用户的左眼和右眼齐平的反馈，其中所述取向关于所述眼睛跟踪系统相对于所述用户的所述眼间轴的所述取向而改变。

8.根据权利要求5所述的增强现实系统，其中，所述处理器被配置为通过呈现与所述头戴式显示器的取向相关联的静态齐平标记和且呈现与所述眼间轴的取向相关联的动态齐平标记来向所述用户提供关于所述头戴式显示器是否相对于所述用户的左眼和右眼齐平的反馈，其中当所述眼间轴的所述取向相对于所述头戴式显示器改变时，所述动态齐平标记相对于所述静态齐平标记移动。

9.根据权利要求8所述的增强现实系统，其中，当所述头戴式显示器相对于所述眼间轴齐平时，所述动态齐平标记与所述静态齐平标记合并。

10.根据权利要求1所述的增强现实系统，其中，所述左眼对准标记包括第一水平线，并且其中所述右眼对准标记包括第二水平线。

11.根据权利要求10所述的增强现实系统，其中，所述处理器被配置为接收用于调整所述左眼对准标记和所述右眼对准标记中的至少一个的用户输入，所述用户输入采用升高或降低所述第一水平线和所述第二水平线中的至少一个水平线的用户输入的形式。

12.根据权利要求10所述的增强现实系统，其中，所述处理器被配置为接收用于调整所述左眼对准标记和所述右眼对准标记中的至少一个的用户输入，所述用户输入采用升高或降低所述第一水平线和所述第二水平线中的至少一个水平线直到从所述用户的角度所述第一水平线和所述第二水平线是齐平的用户输入的形式。

13.根据权利要求1所述的增强现实系统，其中，所述头戴式显示器包括：被配置为将来自世界的光传递到所述用户的左眼中的第一波导堆叠，以及被配置为将来自世界的光传递到所述用户的右眼中的第二波导堆叠，其中每一个波导堆叠包含多个波导。

14.根据权利要求1所述的增强现实系统，其中，所述头戴式显示器包括：被配置为将来自世界的光传递到所述用户的左眼中的第一波导堆叠，以及被配置为将来自世界的光传递到所述用户的右眼中的第二波导堆叠，

其中，每一个波导堆叠包含多个波导，其中该波导堆叠的一个或多个波导被配置为向所述用户输出具有与该波导堆叠的一个或多个其他波导不同的波前发散量的光，

其中，不同的波前发散量与所述眼睛的不同调节相关联，以及

其中，具有不同的波前发散量的所述输出光在远离所述用户的不同感知深度处形成虚拟对象。

15.一种用于使头戴式显示系统的左眼显示器和右眼显示器的显示内容与用户的左眼和右眼垂直对准的方法，所述方法包括：

使用左眼显示器提供左眼对准标记；

使用右眼显示器提供右眼对准标记；

接收用户输入以调整所述左眼对准标记和所述右眼对准标记中的至少一个；以及

基于所接收到的用户输入来垂直地调整所述左眼显示器和所述右眼显示器中的至少一个显示器中的图像内容。

16.根据权利要求15所述的方法，还包括：

确定所述头戴式显示系统是否相对于所述用户的左眼和右眼的齐平；以及

在提供所述左眼对准标记或所述右眼对准标记之前，向所述用户提供关于所述头戴式显示系统是否相对于所述用户的左眼和右眼齐平的反馈。

17.根据权利要求15所述的方法，其中，所述头戴式显示系统包括眼睛跟踪系统，其中确定所述头戴式显示系统是否相对于所述用户的左眼和右眼的所述齐平包括：利用所述眼睛跟踪系统来确定在所述用户的左眼与右眼之间延伸的所述用户的眼间轴，以及确定所述头戴式显示系统相对于所述眼间轴的齐平。

18.根据权利要求17所述的方法，其中，利用所述眼睛跟踪系统来确定所述用户的眼间轴包括：

使用所述眼睛跟踪系统来确定所述用户的左眼的旋转中心；

使用所述眼睛跟踪系统来确定所述用户的右眼的旋转中心；以及

确定在所述用户的左眼的旋转中心与右眼的旋转中心之间延伸的线的位置，其中所述线构成所述眼间轴。

19.根据权利要求15所述的方法，其中，提供所述左眼对准标记包括：使用所述左眼显示器来提供第一垂直对准标记和第一水平对准标记，并且其中提供所述右眼对准标记包括：使用所述右眼显示器来提供第二垂直对准标记和第二水平对准标记。

20.根据权利要求19所述的方法，其中，当由所述用户观看时，所述第一垂直对准标记和所述第二垂直对准标记在所述用户的视觉中融合在一起，并且所述第一水平对准标记和所述第二水平对准标记在所述用户的视觉中保持未被融合。

21.根据权利要求19所述的方法，其中，接收所述用户输入以调整所述左眼对准标记和所述右眼对准标记中的所述至少一个包括：接收用户输入以垂直地移动所述第一水平对准标记和所述第二水平对准标记中的至少一个。

22.根据权利要求19所述的方法，其中，接收所述用户输入以调整所述左眼对准标记和所述右眼对准标记中的所述至少一个包括：接收用户输入以垂直地移动所述第一水平对准标记和所述第二水平对准标记中的至少一个，直到所述第一水平对准标记和所述第二水平对准标记在所述用户的视觉中彼此垂直对准。

23.根据权利要求15所述的方法，还包括：

确定所述用户已佩戴所述头戴式显示系统持续给定时间阈值；以及

响应于确定用户已佩戴所述头戴式显示系统持续给定时间阈值，执行确定所述头戴式显示系统的所述齐平。

Images