CN116194821A - 具有相关耦入和耦出光学区域的增强和虚拟现实显示系统 - Google Patents

具有相关耦入和耦出光学区域的增强和虚拟现实显示系统 Download PDF

Info

Publication number
CN116194821A
CN116194821A CN202180060550.0A CN202180060550A CN116194821A CN 116194821 A CN116194821 A CN 116194821A CN 202180060550 A CN202180060550 A CN 202180060550A CN 116194821 A CN116194821 A CN 116194821A
Authority
CN
China
Prior art keywords
light
coupling
display system
waveguide
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180060550.0A
Other languages
English (en)
Inventor
B·T·朔文格特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN116194821A publication Critical patent/CN116194821A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0015—Means for improving the coupling-in of light from the light source into the light guide provided on the surface of the light guide or in the bulk of it
    • G02B6/0016—Grooves, prisms, gratings, scattering particles or rough surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0075—Arrangements of multiple light guides
    • G02B6/0076—Stacked arrangements of multiple light guides of the same or different cross-sectional area
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G02B2027/0125—Field-of-view increase by wavefront division
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/105—Scanning systems with one or more pivoting mirrors or galvano-mirrors

Abstract

增强现实和虚拟现实显示系统和设备被配置为有效地使用投射光。在一些方面，显示系统包括光投射系统和头戴式显示器，头戴式显示器被配置为将光投射到用户的眼睛中以显示虚拟图像内容。头戴式显示器包括至少一个波导，该波导包括多个耦入区域，每个耦入区域被配置为从光投射系统接收对应于用户视场的一部分的光，并将光耦入波导中；以及包括多个耦出区域，这些耦出区域被配置为将光耦出波导以显示虚拟内容，其中耦出区域中的每一个被配置为从不同的耦入区域接收光。在一些实现中，每个耦入区域与唯一对应的耦出区域具有一一对应关系。

Description

具有相关耦入和耦出光学区域的增强和虚拟现实显示系统
相关申请的交叉引用
在与本申请一起提交的申请数据表中确定了外国或国内优先权要求的任何和所有申请均根据37CFR 1.57通过引用并入本文。
本申请要求以下申请的优先权：2020年5月22日提交的题为“METHOD AND SYSTEMFOR DUAL PROJECTOR WAVEGUIDE DISPLAYS WITH WIDE FIELD OF VIEW(用于具有宽视场双投影仪波导显示器的方法和系统)”的美国临时专利申请号63/029312，以及2020年7月10日提交的题为“AUGMENTED AND VIRTUAL REALITY DISPLAY SYSTEMS WITH CORRELATEDIN-COUPLING AND OUT-COUPLING OPTICAL REGIONS FOR EFFICIENT LIGHT UTILIZATION(具有用于有效光利用的相关耦入和耦出光学区域的增强和虚拟现实显示系统)”的美国临时专利申请号63/050635的优先权，其内容通过引用全部并入本文。
本申请与以下专利申请相关：2018年9月27日公开的题为“DEPTH BASED FOVEATEDRENDERING FOR DISPLAY SYSTEMS(用于显示系统的基于深度的注视点渲染)”的美国专利申请公开号2018/0275410；2020年2月25日发布的题为“PERIOCULAR TEST FOR MIXEDREALITY CALIBRATION(用于混合真实校准的周期性测试)”的美国专利号10573042；以及2019年7月18日公开的题为“DISPLAY SYSTEMS AND METHODS FOR DETERMININGREGISTRATION BETWEEN A DISPLAY AND A USER'S EYES(用于确定显示器和用户眼睛之间的配准的显示系统和方法)”的美国专利申请公开号2019/0222830；2019年5月21日提交发布的题为“IRIS BOUNDARY ESTIMATION USING CORNEA CURVATURE(使用角膜曲率的虹膜边界估计)”的美国专利号10296792；2017年2月23日公开的题为“EYELID SHAPE ESTIMATIONUSING EYE POSE MEASUREMENT(使用眼睛姿势测量的眼睑形状估计)”的美国专利公开号2017/0053165；2017年2月23日公开的题为“EYELID SHAPE ESTIMATION(眼睛形状估计)”的美国专利公开号2017/0053166，2019年8月8日公开的题为“EYE CENTER OF ROTATIONDETERMINATION,DEPTH PLANE SELECTION,AND RENDER CAMERA POSITIONING IN DISPLAYSYSTEMS(显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位)”的美国专利申请公开号2019/0243558；2021年1月21日公开的题为“EYE CENTER OF ROTATIONDETERMINATION WITH ONE OR MORE EYE TRACKING CAMERAS(利用一个或多个眼睛跟踪相机的眼睛旋转中心确定)”的国际公开号WO 2021/01166；2018年4月26日公开的题为“SYSTEM AND METHOD FOR PRESENTING IMAGE CONTENT ON MULIPLE DEPTH PLANES BYPROVIDING MULTIPLE INTRA-PUPIL PARALLAX VIEWS(用于通过提供多个瞳孔内视差视图在多个深度平面上呈现图像内容的系统和方法)”的美国专利申请公开号2018/0113311；2019年9月12日公开的题为“DISPLAY SYSTEM WITH LOW-LATENCY PUPIL TRACKER(具有低延迟瞳孔跟踪器的显示系统)”的国际专利公开号WO 2019/173158；2017年10月12日公开的题为“AUGMENTED REALITY SYSTEMS AND METHODS WITH VARIABLE FOCUS LENS ELEMENTS(具有可变焦透镜元件的增强现实系统和方法)”的美国专利申请公开号2017/0293145；以及2018年4月26日公开的题为“SYSTEM AND METHOD FOR PRESENTING IMAGE CONTENT ONMULIPLE DEPTH PLANES BY PROVIDING MULTIPLE INTRA-PUPIL PARALLAX VIEWS(用于通过提供多个瞳孔内视差视图在多个深度平面上呈现图像内容的系统和方法)”的美国专利公开号2018/0113311，上述专利申请中的每一个的全部内容通过引用全部并入本文。
技术领域
本公开涉及显示系统，并且更具体地，涉及增强和虚拟现实显示系统。
背景技术
现代计算和显示技术已经促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中，以它们似乎是真实的或可能被感知为真实的方式向用户呈现数字再现的图像或其一部分。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而对其他实际现实世界视觉输入不透明；增强现实或“AR”场景通常涉及数字或虚拟图像信息的呈现，以增强对用户周围现实世界的可视化。混合现实或“MR”场景是AR场景类型并且通常涉及集成到自然世界中并响应于自然世界的虚拟对象。例如，MR场景可以包括AR图像内容，该AR图像内容似乎被现实世界中的对象阻挡或被感知为与现实世界中的对象交互。
参考图1，示出了增强现实场景10。AR技术的用户看到以人、树、背景中的建筑物为特征的现实世界的公园般的设置20，以及混凝土平台30。用户还感知到他/她“看到”了站在现实世界平台30上的诸如机器人雕像40的“虚拟内容”，以及飞来飞去的似乎是大黄蜂的化身的卡通般的化身角色50。这些元素50、40是“虚拟的”，因为它们在现实世界中不存在。由于人类的视觉感知系统很复杂，因此要开发一种促进虚拟图像元素以及其他虚拟或现实图像元素的舒适、感觉自然、丰富的呈现的AR技术是具有挑战的。
本文公开的系统和方法解决了与包括AR和VR技术的显示技术相关的各种挑战。
发明内容
现在将参考附图和各种示例详细阐述本公开的各方面。然而，本领域技术人员将理解，即使没有以相同的细节描述，本文所公开的设备和方法的其他配置仍将落入本公开的范围内。所讨论的各种配置的方面不限制本文公开的范围，而是由本说明之后的权利要求来限定。
本文描述了将光投射到用户的一只或多只眼睛中以在所述用户的视场中显示虚拟图像内容的显示系统的各种示例，例如以下列举的示例：
示例1：一种被配置为投射光以显示虚拟图像内容的头戴式显示系统，所述显示系统包括：光投射系统；以及被配置为显示虚拟图像内容的头戴式显示器，所述头戴式显示器包括至少一个波导，所述至少一个波导包括：多个耦入区域，每个耦入区域被配置为从所述光投射系统接收具有用于形成所述虚拟图像内容的图像信息的光，并将所述光耦入所述波导中；以及多个耦出区域，其被配置为将所述光耦出所述波导以显示所述虚拟内容，其中，所述多个耦出区域中的每个耦出区域被配置为接收来自所述耦入区域中的不同耦入区域的光。
示例2：根据示例1所述的显示系统，其中，所述多个耦入区域中的每个耦入区域对应于以及被配置为选择性地将光引导到所述多个耦出区域中的唯一的耦出区域。
示例3：根据示例1或2所述的显示系统，其中，每个耦入区域是具有倾斜、光栅取向、光栅结构尺寸、或光栅间距中的至少一个的衍射光栅，所述倾斜、光栅取向、光栅结构尺寸、或光栅间距中的所述至少一个被选择为使得由所述耦入区域耦入的光被与所述耦入区域对应的所述耦出区域优先地耦出。
示例4：根据示例1至3中任一项所述的显示系统，其中，所述光耦合区域被配置为将来自所述光投射系统的入射光沿着传播方向以用于全内反射通过所述波导的角度进行重定向，所述显示系统还包括光分布结构，其被配置为重定向所述光的一部分以沿着与所述传播方向交叉的轴进行传播。
示例5：根据示例1至4中任一项所述的显示系统，其中，所述光分布结构和所述多个耦出区域被设置在所述至少一个波导的相对主表面上。
示例6：根据示例1至5中任一项所述的显示系统，其中，所述多个耦入区域包括衍射光栅。
示例7：根据示例1至6中任一项所述的显示系统，其中，所述多个耦入区域中的每个耦入区域具有与所述波导的至少一个其他耦入区域不同的光栅间距。
示例8：根据示例1至7中任一项所述的显示系统，其中，所述不同的光栅间距改变全内反射角，以所述全内反射角被耦入所述波导中的光朝着所述多个耦出区域中的相关联的耦出区域朝向所述波导进行全内反射。
示例9：根据示例1至6中任一项所述的显示系统，其中，所述多个耦入区域中的每个耦入区域在所述波导的平面内具有与所述波导的至少一个其他耦入区域不同的光栅取向。
示例10：根据示例1至9中任一项所述的显示系统，其中，所述不同的光栅取向改变光被耦入所述波导中的角度，以使得所述光朝向所述多个耦出区域中的预期耦出区域传播。
示例11：根据示例1至10中任一项所述的显示系统，其中，所述多个耦入区域中的每个耦入区域相对于所述波导的平面具有与所述波导的至少一个其他耦入区域不同的倾斜。
示例12：根据示例1至11中任一项所述的显示系统，其中，所述耦入区域彼此间隔开。
示例13：根据示例1至12中任一项所述的显示系统，其中，所述光耦入区域围绕所述多个耦出区域的至少一侧成行设置。
示例14：根据示例1至13中任一项所述的显示系统，其中，所述耦出区域中的每个耦出区域限定跨越所述波导的条带，所述条带沿着与所述耦入区域的行交叉的轴伸长。
示例15：根据示例1至14中任一项所述的显示系统，其中，所述耦出区域限定跨越所述波导的栅格图案。
示例16：根据示例1至15中任一项所述的显示系统，其中，所述多个耦入区域中的每个耦入区域被布置成耦入光，并引导所述光通过全内反射在所述波导内沿着与所述波导的至少一个其他耦入区域不同的方向进行传播。
示例17：根据示例1至16中任一项所述的显示系统，其中，靠近所述至少一个耦出区域的横向边缘的至少一个耦入区域被配置为：沿着围绕向内偏置的轴对称设置的角度范围耦入光。
示例18：根据示例1至17中任一项所述的显示系统，其中，所述多个耦入区域中的至少两个耦入区域沿着所述多个耦出区域中的至少一个耦出区域的不同侧被设置。
示例19：根据示例1至18中任一项所述的显示系统，其中，所述多个耦入区域包括在至少三侧围绕所述多个耦出区域中的所述至少一个耦出区域的耦入光学元件。
示例20：根据示例1至19中任一项所述的显示系统，其中，所述光投射系统包括光源和可移动光注入器，所述可移动光注入器被配置为将图像光引导到所述耦入区域中的各个耦入区域。
示例21：根据示例1至20中任一项所述的显示系统，其中，所述头戴式显示器包括形成波导堆叠的多个波导，所述波导中的每个波导包括多个所述耦入区域和所述耦出区域，其中，当从入射到所述耦入区域上的入射光的方向观察时，每个所述波导的所述耦入区域在正面平面图中被横向移位。
示例22：根据示例1至21中任一项所述的显示系统，其中，同一波导的耦出区域被配置为输出具有相同波前发散的光，其中，不同波导的耦出区域被配置为输出具有与至少一个其他波导的耦出区域不同的波前发散量的光，其中，所述不同的波前发散量对应于不同的深度平面。
示例23：根据示例1至22中任一项所述的显示系统，其中，每个波导的所述耦入区域被配置为耦入与同一分量颜色对应的波长范围的光，其中，一些波导的耦入区域被配置为耦入对应于与其他波导的耦入区域不同的分量颜色的波长范围的光。
示例24：根据示例1至23中任一项所述的显示系统，其中，所述光投射系统包括：光源，其包括光发射器阵列；空间光调制器，其被配置为调制来自所述光源的光；以及投影光学器件，其被安装在框架上并且被配置为将来自所述空间光调制器的光引导到所述耦入区域，其中，所述显示系统被配置为激活不同的多个所述光发射器以在不同的深度平面上提供所述虚拟图像内容，其中，所述显示系统被配置为：在多个光发射器中的各个光发射器之间提供相对大的距离，以用于在相对近的深度平面上提供所述虚拟图像内容；以及在多个光发射器中的各个光发射器之间提供相对小的距离，以用于在相对远的深度平面上提供所述虚拟图像内容。
示例25：根据示例1至24中任一项所述的显示系统，其被配置为在不同的时间顺序地激活多个光发射器中的每个所述光发射器，其中，所述显示系统被配置为使每个光发射器的激活与不同的视差各异瞳孔内图像的显示同步。
示例26：根据示例1至25中任一项所述的显示系统，其中，所述光源是微显示器，并且所述光发射器是发光二极管。
示例27：根据示例1至26中任一项所述的显示系统，还包括位于所述波导的相对侧的可变焦透镜元件。
示例28：根据示例1至27中任一项所述的显示系统，其中，所述光投射系统包括多个投影仪，并且其中，所述多个投影仪中的投影仪被配置为提供用于不超过所述头戴式显示器的FOV的细分部分的图像内容。
示例29：一种显示系统，包括：光投射系统；头戴式显示器，其被配置为将光投射到用户的眼睛中以显示虚拟图像内容，所述头戴式显示器包括：至少一个波导，其包括：多个光耦入区域，其被配置为接收来自所述光投射系统的光；以及多个光耦出区域，其被配置为向所述用户的所述眼睛输出光；以及处理电子器件，其与所述显示器和面向内的成像系统通信，所述处理电子器件包括一个或多个处理器和存储指令的一个或多个计算机存储介质，所述指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行包括以下的操作：确定与所述眼睛的眼睛姿势相关联的光耦出区域；以及提供指令以将来自所述光投射系统的光引导到与所确定的光耦出区域相关联的光耦入区域。
示例30：根据示例29所述的显示系统，其中，确定所述光耦出区域包括：确定所述眼睛的视线与所述多个光耦出区域中的一个光耦出区域的交叉点。
示例31：根据示例29或30所述的显示系统，其中，所述光耦入区域围绕所述多个耦出区域的至少一侧成行设置。
示例32：根据示例29所述的显示系统，其中，所述光投射系统包括至少一个光源和至少一个可移动光注入器，所述至少一个可移动光注入器被配置为输出图像光。
示例33：根据示例29至32中任一项所述的显示系统，其中，所述至少一个可移动光注入器包括扫描镜。
示例34：根据示例29至33中任一项所述的显示系统，其中，所述至少一个可移动光注入器包括扫描光纤注入器。
示例35：根据示例29至34中任一项所述的显示系统，其中，所述光投射系统包括至少一个光源和至少一个空间光调制器，所述空间光调制器被配置为调制来自所述光源的光。
示例36：根据示例29至35中任一项所述的显示系统，其中，所述头戴式显示器被配置为在多个深度平面上显示虚拟对象。
示例37：根据示例29至36中任一项所述的显示系统，其中，所述操作包括：将所述虚拟对象的视差各异瞳孔内图像组注入所述眼睛，以在所述深度平面中的一个深度平面上显示所述虚拟对象。
示例38：根据示例29至37中任一项所述的显示系统，其中，所述操作包括：在闪烁融合阈值内注入所述视差各异瞳孔内图像组中的每一个。
示例39：根据示例29至39中任一项所述的显示系统，其中，所述操作包括：提供指令以将光引导到与所确定的光耦出区域相关联的所述多个耦入区域中的光耦入区域中的多个耦入元件。
示例40：根据示例29至39中任一项所述的显示系统，还包括在所述至少一个波导的用户侧的至少一个可变焦透镜元件，其中，所述第一可变焦透镜元件被配置为修改所投射的光以校正所述用户的眼睛的屈光不正。
示例41：根据示例29至40中任一项所述的显示系统，其中，所述操作还包括：确定所述眼睛的注视点，并应用与所述注视点对应的校正。
示例42：根据示例29至41中任一项所述的显示系统，还包括面向内的成像系统，其被配置为捕获所述用户的眼睛的一个或多个图像，其中，所述操作包括：接收由所述面向内的成像系统所捕获的所述用户的所述眼睛的图像；以及基于所接收的图像，识别所述眼睛姿势。
示例43：根据示例29至42中任一项所述的显示系统，其中，所述至少一个波导是形成波导堆叠的多个波导之一，所述波导中的每个波导包括多个所述耦入区域和所述耦出区域，其中，当从入射到所述耦入区域上的入射光的方向观察时，所述波导中的每个波导的所述耦入区域在正面平面图中被横向移位。
示例44：根据示例29至43中任一项所述的显示系统，其中，同一波导的耦出区域被配置为输出具有相同波前发散的光，其中，不同波导的耦出区域被配置为输出具有与至少一个其他波导的耦出区域不同的波前发散量的光，以及其中，所述不同的波前发散量对应于不同的深度平面。
示例45：根据示例29至44中任一项所述的显示系统，其中，每个波导的所述耦入区域被配置为耦入与同一分量颜色对应的波长范围的光，其中，一些波导的耦入区域被配置为耦入对应于与其他波导的耦入区域不同的分量颜色的波长范围的光。
示例46：根据示例29至45中任一项所述的显示系统，其中，所述光投射系统包括多个投影仪，并且其中，所述多个投影仪中的投影仪被配置为提供用于不超过所述头戴式显示器的FOV的细分部分的图像内容。
示例47：一种显示系统，包括：光投射系统；头戴式显示器，其被配置为将光投射到用户的眼睛中以显示虚拟图像内容，所述头戴式显示包括：至少一个波导，其包括：多个光耦入区域，其被配置为接收来自所述光投射系统的光；以及多个光耦出区域，其被配置为向所述用户的所述眼睛输出光；以及处理电子器件，其与所述显示器通信，所述处理电子器件包括一个或多个处理器和存储指令的一个或多个计算机存储介质，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下的操作：确定虚拟对象在所述用户的视场中的位置；识别与所述位置对应的耦出区域；以及提供指令以将来自所述光投射系统的光引导到与所确定的光耦出区域相关联的光耦入区域。
示例48：根据示例47所述的显示系统，其中，识别所述耦出区域包括：确定所述眼睛的眼睛姿势；以及确定与所述虚拟对象在所述视场中要占据的位置重叠的耦出区域。
示例49：根据示例47或48所述的显示系统，其中，所述操作包括：提供用于所述虚拟对象的移动。
示例50：根据示例47至49中任一项所述的显示系统，其中，所述操作包括：提供所述虚拟对象的视觉特性随时间的时间变化，其中，所述视觉特性包括以下中的一个或多个：颜色、大小、以及亮度。
示例51：根据示例47至50中任一项所述的显示系统，其中，所述光耦入区域围绕所述多个耦出区域的至少一侧成行设置。
示例52：根据示例47至52中任一项所述的显示系统，其中，所述光投射系统包括至少一个光源和至少一个可移动光注入器，所述至少一个可移动光注入器被配置为输出图像光。
示例53：根据示例47至52中任一项所述的显示系统，其中，所述至少一个可移动光注入器包括扫描镜。
示例54：根据示例47至52中任一项所述的显示系统，其中，所述至少一个可移动光注入器包括扫描光纤注入器。
示例55：根据示例47至51中任一项所述的显示系统，其中，所述光投射系统包括至少一个光源和至少一个空间光调制器，所述空间光调制器被配置为调制来自所述光源的光。
示例56：根据示例47至55中任一项所述的显示系统，其中，所述头戴式显示器被配置为在多个深度平面上显示虚拟对象。
示例57：根据示例47至56中任一项所述的显示系统，其中，所述操作包括：将所述虚拟对象的视差各异瞳孔内图像组注入到所述眼睛中，以在所述深度平面之一上显示所述虚拟对象。
示例58：根据示例47至56中任一项所述的显示系统，其中，所述操作包括：提供指令以将光引导到与所确定的光耦出区域相关联的所述多个耦入区域中的光耦入区域中的多个耦入元件。
示例59：根据示例47至56中任一项所述的显示系统，还包括在所述至少一个波导的用户侧的至少一个可变焦透镜元件，其中，第一可变焦透镜元件被配置为修改所投射的光以校正所述用户的所述眼睛的屈光不正。
示例60：根据示例47至59中任一项所述的显示系统，还包括面向内的成像系统，其被配置为捕获所述用户的眼睛的一个或多个图像，其中所述操作包括：接收由所述面向内的成像系统所捕获的所述用户的所述眼睛的图像；以及基于所接收的图像，识别所述眼睛姿势。
示例61：根据示例47至60中任一项所述的显示系统，其中，所述至少一个波导是形成波导堆叠的多个波导之一，每个所述波导包括多个所述耦入区域和所述耦出区域，其中，当从入射到所述耦入区域上的入射光的方向观察时，所述波导中的每个波导的所述耦入区域在正面平面图中被横向移位。
示例62：根据示例47至61中任一项所述的显示系统，其中，同一波导的耦出区域被配置为输出具有相同波前发散的光，其中，不同波导的耦出区域被配置为输出具有与至少一个其他波导的耦出区域不同的波前发散量的光，以及其中，所述不同的波前发散量对应于不同的深度平面。
示例63：根据示例47至62中任一项所述的显示系统，其中，每个波导的所述耦入区域被配置为耦入对应于同一分量颜色的波长范围的光，其中，一些波导的耦入区域被配置为耦入对应于与其他波导的耦入区域不同的分量颜色的波长范围的光。
示例64：根据示例47至63中任一项所述的显示系统，其中，所述耦入区域包括衍射光栅。
示例65：根据示例47至64中任一项所述的显示系统，其中，所述耦出区域包括衍射光栅。
示例66：根据示例47至65中任一项所述的显示系统，其中，所述光投射系统包括多个投影仪，并且其中，所述多个投影仪中的投影仪被配置为提供用于不超过所述头戴式显示器的FOV的细分部分的图像内容。
示例67：一种被配置为投射光以显示虚拟图像内容的头戴式显示系统，所述显示系统包括：光投射系统；以及被配置为显示虚拟图像内容的头戴式显示器，所述头戴式显示器包括至少一个波导，所述至少一个波导包括：靠近所述至少一个波导的至少一个横向边缘的多个耦入区域，其中，每个波导被配置为从所述光投射系统接收具有用于形成所述虚拟图像内容的图像信息的光，并将所述光耦入所述波导中。
示例68：根据示例67所述的显示系统，还包括多个耦出区域，其被配置为将所述光耦出所述波导以显示所述虚拟内容，其中，所述多个耦出区域中的每个耦出区域被配置为接收来自所述耦入区域中的不同耦入区域的光。
示例69：根据示例67或68所述的显示系统，其中，所述多个耦入区域中的至少两个耦入区域沿着所述多个耦出区域中的至少一个耦出区域的不同的横向边缘被设置。
示例70：根据示例67至69中任一项所述的显示系统，其中，所述多个耦入区域环绕所述多个耦出区域。
示例71：根据示例67至70中任一项所述的显示系统，其中，所述多个耦入区域中的每个耦入区域对应于以及被配置为选择性地将光引导到所述多个耦出区域中的唯一的耦出区域。
示例72：根据示例67至71中任一项所述的显示系统，其中，所述光耦合区域被配置为将来自所述光投射系统的入射光沿着传播方向以全内反射通过所述波导的角度进行重定向，所述显示系统还包括光分布结构，其被配置为重定向所述光的一部分以沿着与所述传播方向交叉的轴进行传播。
示例73：根据示例67至72中任一项所述的显示系统，其中，所述光分布结构和所述多个耦出区域被设置在所述至少一个波导的相对主表面上。
示例74：根据示例67至73中任一项所述的显示系统，其中，所述耦出区域限定跨越所述波导的栅格图案。
示例75：根据示例67至74中任一项所述的显示系统，其中，所述头戴式显示器包括形成波导堆叠的多个波导，所述波导中的每个波导包括多个所述耦入区域和所述耦出区域，其中，当从入射到所述耦入区域上的入射光的方向观察时，每个所述波导的所述耦入区域在正面平面图中被横向移位。
示例76：根据示例67至75中任一项所述的显示系统，其中，同一波导的耦出区域被配置为输出具有相同波前发散的光，其中，不同波导的耦出区域被配置为输出具有与至少一个其他波导的耦出区域不同的波前发散量的光，其中，所述不同的波前发散量对应于不同的深度平面。
示例77：根据示例67至76中任一项所述的显示系统，其中，每个波导的所述耦入区域被配置为耦入与同一分量颜色对应的波长范围的光，其中，一些波导的耦入区域被配置为耦入对应于与其他波导的耦入区域不同的分量颜色的波长范围的光。
示例78：根据示例67至77中任一项所述的显示系统，其中，所述多个耦入区域包括衍射光栅。
示例79：根据示例67至78中任一项所述的显示系统，其中，所述多个耦入区域中的每个耦入区域具有与所述波导的至少一个其他耦入区域不同的光栅间距。
示例80：根据示例67至79中任一项所述的显示系统，其中，所述多个耦入区域中的每个耦入区域在所述波导的平面内具有与所述波导的至少一个其他耦入区域不同的光栅取向。
示例81：根据示例67至80中任一项所述的显示系统，其中，所述多个耦入区域中的每个耦入区域相对于所述波导的所述平面具有与所述波导的至少一个其他耦入区域不同的倾斜。
示例82：根据示例67至81中任一项所述的显示系统，其中，所述耦入区域彼此间隔开。
示例83：根据示例67至82中任一项所述的显示系统，其中，所述多个耦入区域中的每个耦入区域被布置成耦入光，并引导所述光通过全内反射在所述波导内沿着与所述波导的至少一个其他耦入区域不同的方向进行传播。
示例84：根据示例67至83中任一项所述的显示系统，其中，所述光投射系统包括至少一个光源和至少一个可移动光注入器，所述至少一个可移动光注入器被配置为将图像光引导到所述耦入区域中的各个耦入区域。
示例85：根据示例67至84中任一项所述的显示系统，其中，所述光投射系统包括：至少一个光源，其包括光发射器阵列；至少一个空间光调制器，其被配置为调制来自所述光源的光；以及投影光学器件，其被安装在框架上，并且被配置为将来自所述空间光调制器的光引导到所述耦入区域，其中，所述显示系统被配置为激活不同的多个所述光发射器以在不同的深度平面上提供所述虚拟图像内容，其中，所述显示系统被配置为：在多个光发射器中的各个光发射器之间提供相对大的距离，用于在相对近的深度平面上提供所述虚拟图像内容；以及在多个光发射器中的各个光发射器之间提供相对小的距离，用于在相对远的深度平面上提供所述虚拟图像内容。
示例86：根据示例67至86中任一项所述的显示系统，其被配置为在不同的时间顺序地激活多个光发射器中的每个所述光发射器，其中，所述显示系统被配置为使每个光发射器的激活与不同的视差各异瞳孔内图像的显示同步。
示例87：根据示例67至86中任一项所述的显示系统，还包括在所述波导的相对横向边缘上的可变焦透镜元件。
示例88：根据示例67至87中任一项所述的显示系统，其中，所述光投射系统包括多个投影仪，并且其中，所述多个投影仪中的投影仪被配置为提供用于不超过所述头戴式显示器的FOV的细分部分的图像内容。
本说明书中描述的主题的一个或多个实现的细节在附图和下面的描述中阐述。根据说明书、附图和权利要求，其他特征、方面和优点将变得显而易见。本发明内容和以下详细描述均不限制本发明主题的范围。
附图说明
图1示出了用户通过AR设备的增强现实(AR)场景视图。
图2示出了用于为用户模拟三维图像的传统显示系统。
图3A-3C示出了曲率半径与焦半径之间的关系。
图4A示出了人类视觉系统的适应-辐辏响应的表示。
图4B示出了用户的双眼的不同适应状态和辐辏状态的示例。
图4C示出了经由显示系统观看内容的用户的俯视平面图的表示的示例。
图4D示出了经由显示系统观看内容的用户的俯视平面图的表示的另一示例。
图5示出了通过修改波前发散来模拟三维图像的方法的方面。
图6示出了用于将图像信息输出给用户的波导堆叠的示例。
图7示出了由波导输出的出射光束的示例。
图8示出了堆叠波导组件的示例，其中每个深度平面包括使用多种不同分量颜色形成的图像。
图9A示出了一组堆叠的波导的示例的横截面侧视图，每个堆叠的波导包括耦入光学元件。
图9B示出了图9A的多个堆叠波导的示例的视角。
图9C示出了图9A和图9B的多个堆叠波导的示例的俯视平面图。
图9D示出了可穿戴显示系统的示例。
图10A示出了将光从波导朝向用户的眼睛耦出的示例耦出元件。
图10B示出了图10A的示例耦出元件分割成不同的耦出区域的示例配置。
图10C示出了可以从示例可穿戴显示系统的波导耦出的光束的示例路径。
图10D示出了可以从示例可穿戴显示系统的波导耦出的光的示例主光线。
图11A示出了具有光分布结构阵列的示例耦出元件。
图11B示出了示例耦出元件的示例分割配置。
图11C示出了图11B的波导的示例横截面侧视图。
图12A示出了包括具有多个段的耦出元件的示例显示系统。
图12B示出了结合示例非矩形耦出元件的耦入元件的示例布置。
图13示出了围绕示例耦出元件的示例耦入元件配置。
图14A示出了结合示例耦出元件的另一示例耦入元件配置。
图14B是图14A的波导的横截面侧视图的示例。
图14C示出了分别包括耦入光学元件配置的一组堆叠波导的示例的横截面侧视图。
图15示出了基于光到用户眼睛的方向选择耦出区域的过程的示例的流程图。
图16示出了基于眼睛姿势选择耦出区域的过程的示例的流程图。
图17A示意性地示出了眼睛的示例。
图17A-1示意性地示出了用于确定眼睛的眼睛姿势的示例坐标系。
图17B是包括眼睛跟踪系统的可穿戴系统的示意图。
图17C是可以包括眼睛跟踪系统的可穿戴系统的框图。
图18示出了用于操作具有多个耦入区域的显示系统的示例过程的流程图。
图19示出了具有用于将光引导到所选择的区域的光注入系统和耦入区域阵列的示例显示器。
图20A-20D示出了包括扫描光纤注入器的示例可移动光注入系统。
图21A-21B示出了包括扫描镜的示例可移动光注入系统。
图22示出了包括空间光调制器的示例固定光注入系统。
图23示出了具有多个光发射器的光模块的俯视平面图。
图24示出了可变焦透镜系统。
图25A示出了眼睛针对连续入射波前的适应前和适应后条件。
图25B示出了眼睛针对连续入射波前的逐段近似的适应前和适应后条件。
图25C示出了包括用于形成图25B的发散波前近似的投射系统的显示系统的示例。
图25D示出了包括眼睛跟踪系统和光瞳依赖组合器目镜(pupil rely combinereyepiece)的显示系统的示例，光瞳依赖组合器目镜具有被配置为产生非无限深度平面的光瞳扩展器。
具体实施方式
AR和/或VR系统可以向用户或观看者显示虚拟内容。例如，该内容可以被显示在例如作为眼镜的一部分的头戴式显示器上，该头戴式显示器将图像信息投射到用户的眼睛。此外，在系统为AR系统的情况下，显示器还可以将来自周围环境的光传输到用户的眼睛，以允许查看周围环境。如本文所用，应当理解，“头戴式”或“可头戴”显示器是可以被安装在观看者或用户的头部上的显示器。此类显示器可被理解为形成显示系统的一部分。
在各种增强现实和虚拟现实显示系统中，波导可以延伸穿过用户的相关联的眼睛。波导可以被配置为输出具有图像信息的图像光以在眼睛中形成图像。例如，可以使用耦出元件(其可以是光栅)输出光，该耦出元件将光从波导重定向到眼睛。
应当理解，眼睛可以相对于波导运动。为了确保眼睛继续接收图像光，即使它移动，波导也可以在波导的整个观看区域上输出具有类似图像信息的图像光。这允许眼睛即使在它移动并与波导的不同区域对准时也能接收图像光。由耦出元件耦出的一部分光可被有用地引导到眼睛的瞳孔中(光将经过此处进入眼睛以形成图像)，由耦出元件耦出的其他光不会入射到眼睛的瞳孔上，因此对眼睛所看到的图像没有贡献。因此，虽然能量用于产生所有输出的光，但只有一小部分该光到达眼睛以形成图像。令人不快的是，未进入眼睛瞳孔的光和用于产生该光的能量在某种程度上被视为“浪费”，因为无法被观看者感知到。
有利地，在一些实现中，本文公开的显示系统允许光被高效利用。不是在波导的整个观看区域上输出光，而是从波导的与眼睛对准的区域选择性地输出光，从而增加进入眼睛的瞳孔的输出光的比例。优选地，这些区域占据的面积小于波导的整个观看区域，并且在一些实现中，大于普通眼睛瞳孔的面积，这可能导致将观看区域划分为两个或更多个、三个或更多个、四个或更多个，或者九个或更多个不同的光耦出区域。因此，光不会在整个观看区域上被输出和浪费，而输出区域足够大以提供期望的视场并为眼睛的运动提供一定的容差。
在一些实现中，耦出区域可以具有唯一关联的或相关的耦入区域。将认识到，耦入区域接收图像光(例如由空间光调制器调制的光)，并且将该图像光耦入波导中，使得该图像光朝向耦出区域传播并入射到耦出区域上，光从耦出区域耦出并朝向用户的眼睛传播。在一些实现中，光分布特征也可用于沿着穿过期望的耦出区域的轴分布来自耦入区域的光。因为耦入区域选择性地将光引向关联的或相关的耦出区域，所以可以通过将光引向一个或多个相关联的耦入区域来选择用于输出光的耦出区域。有利地，除了能量效率之外，通过将特定的耦入区域与特定的耦出区域进行关联，可以提供耦入区域的布置的灵活性。例如，耦入区域可以跨波导和/或围绕波导的周边成排分布，这对于提供比在耦入区域(其必须位于波导的相同部分中)更薄的形状因子或更宽范围的波导形状可能具有优势。
应当理解，显示系统可以包括光投射系统，该光投射系统被配置为选择性地将光引导到一个或多个期望的耦入区域中。在一些示例中，光投射系统可以包括投影仪或多个投影仪，和/或在一些实现中，投影仪可以用作光源。由于光投射系统将光输入到耦入区域中，因此它也可称为光注入系统。光投射系统可以包括单个投影设备或多个投影设备(例如光投影仪)。在一些实现中，显示系统的视场(FOV)可以被细分为多个部分，并且每个光投影设备可以被配置为整个FOV的关联部分投影图像内容。因此，在一些实现中，每个投影仪提供不超过显示系统的视场的细分部分的图像内容。应当理解，为了提供可接受的图像质量，用于形成整个FOV的光学器件和相关系统可能复杂且尺寸较大，特别是在投射系统准直光以输入波导中的情况下。另一方面，用于仅形成FOV的一部分的投影仪的光学器件和相关系统可以更简单，在一些实现中，具有多个光投影仪(每个光投影仪提供整个视场的一部分的图像内容)的光投射系统的总尺寸小于提供整个FOV的图像内容的单个光投射系统的尺寸。因此，有利地，使用多个光投影仪有助于实现比具有用于整个视场的单个光投影仪的系统更小的形状因子。
在一些实现中，光投射系统可以包括机械致动结构，以物理地调节输出的图像光朝向期望的耦入区域的方向。例如，光投射系统可以包括一个或多个可切换的反射镜，该反射镜例如可以旋转以将来自一个或多个光源的光引导到期望的耦入区域中。在一些其他实现中，光投射系统可以包括一个或多个扫描光纤，这些扫描光纤在耦入区域上扫描，并且被配置为在扫描光纤的输出端与与期望的耦入区域对应的位置对准时输出光。
在一些其他实现中，光投射系统可以在没有机械致动的情况下将光输出电切换到不同的耦入区域。例如，光投射系统可以包括多个单独激活的光源，这些光源被布置向耦入区域的单独对应的耦入区域提供唯一的光路。结果，可以利用适当光源的激活来将光引导到期望的耦入区域中。在一些实现中，可以在光源与耦入区域之间的光路中设置空间光调制器，以利用形成图像的图像信息对来自光源的光进行编码。
在一些实现中，可以基于眼睛的取向(例如，眼睛的瞳孔的取向)的确定，选择用于输出光的适当耦出区域。例如，显示系统可以包括对眼睛进行成像以确定其取向的面向内的相机。在一些实现中，可以外推眼睛的视线以确定视线与耦出区域的交点。相交的光耦出区域可以被理解为用于接收要输出到眼睛的图像光的期望区域。
在一些实现中，结合眼睛姿势，可以利用要显示的虚拟对象的位置来选择耦出区域，以接收要输出的图像光。例如，虚拟对象可以被理解为位于用户视场的特定部分，该特定部分与特定的耦出区域重叠。结果，该耦出区域可以被指定为接收图像光。在一些实现中，该耦出区域还可以与眼睛的视线相交，特别是在虚拟对象是期望引起用户注意的对象的情况下(例如，虚拟对象表现出运动和/或视觉特性的时间变化，如颜色、大小、亮度等的变化)。
有利地，根据一些实现的显示系统可以提供具有高度观看舒适度的虚拟对象三维呈现。应当理解，用户的左眼和右眼可以被呈现虚拟对象的不同视图，以提供辐辏提示，从而通过立体视觉提供深度感。此外，显示系统可以被配置为输出具有不同水平的波前发散的光，以引出期望深度的适当适应响应。结果，可以实现适应-辐辏匹配，这可以提供舒适和真实的观看体验。
在一些实现中，可以使用形成波导堆叠的多个波导来实现不同水平的波前发散。每个波导的耦出区域可以包括耦出特征(例如，衍射光栅)，该耦出特征被配置为耦出具有特定量的波前发散的光。因此，可以通过将图像光引导到波导的耦入区域中来选择期望量的波前发散，该波导具有耦出区域，这些耦出区域具有被配置为输出具有期望量的波前发散的光的耦出特征。在一些实现中，不同波导的耦入区域可以横向移位，如俯视平面图所示。因此，可以通过将光引导到不同的耦入区域来选择不同的波导。例如，特定的耦入区域可以与特定的波导以及该波导内特定的耦出区域相关联。
在一些实现中，作为输出具有不同量的波前发散的光的多个波导的补充或替代，可以提供一个或多个可变焦透镜元件，以修改从波导传播到眼睛的光的波前发散。在一些实现中，可变焦透镜元件可替代地或附加地用于为朝向眼睛传播的光提供屈光不正校正。
在一些其他实现中，光投射系统可以包括离散光源阵列，从不同角度引导光通过投影光学器件，以提供视差各异瞳孔内图像(parallactically-disparate intra-pupilimage)，从而近似不同量的波前发散。在一些实现中，可以利用离散光源之间的可选分隔来调制波前发散。例如，各个光源之间相对大的距离可以提供对应于相对近的深度平面的波前发散，而各个光源之间相对小的距离可以提供对应于相对远的深度平面的波前发散。视差各异瞳孔内图像的图像光可以被引导到此处所述的适当的耦入区域。例如，可以利用诸如扫描镜或扫描光纤之类的机械致动结构来将视差各异瞳孔内图像的图像光引导到适当的耦入区域。
本技术的实现可以提供各种优点。例如，本文公开的实现可以通过增加光投射系统所产生的用于形成用户感知的图像的光的比例，同时减少落在用户眼睛或面部的其他部分上，或者对用户感知的图像没有贡献的光的比例，有利地提高显示系统的效率。通过选择性地朝向瞳孔耦出光，此类系统可以减少由光投射系统或其他显示光源产生的光能的量，以便在用户的眼睛中产生给定亮度的图像。此外，由于更大比例的生成光被引导到眼睛中，因此可以提高图像亮度。此外，可以将较少的能量用于产生达到所需亮度的光，从而允许将能量使用重新分配给其他用途，例如分配给计算过程，这对于图像渲染、减少延迟等具有优势。
值得注意的是，耦入元件在本文中可称为输入耦合元件、耦入光栅(或ICG)、衍射输入耦合元件等。类似地，耦出元件在本文中可称为输出耦合元件、衍射输出耦合元件等。
现在将参考附图，其中相同的参考标号始终指代相同的部件。除非另有说明，否则附图是示意性的并且不一定按比例绘制。
示例显示系统
图2示出了用于为用户模拟三维图像的传统显示系统。应当理解，用户的眼睛是间隔开的，并且当观看空间中的真实对象时，每只眼睛将具有该对象的稍微不同的视图，并且可以在每只眼睛的视网膜上的不同位置处形成该对象的图像。这可以被称为双目视差，并且可以被人类视觉系统用来提供对深度的感知。传统的显示系统通过呈现具有相同虚拟对象的略有不同的视图的两个不同的图像190、200(每只眼睛210、220对应一个图像)来模拟双目视差，该略有不同的视图对应于每只眼睛将看到的虚拟对象的视图，如果虚拟对象是期望深度的真实对象的话。这些图像提供了双目提示，用户的视觉系统可以将其解释为获得深度的感知。
继续参考图2，图像190、200与眼睛210、220在z轴上间隔开距离230。z轴与观看者的光轴平行，其眼睛注视在观看者正前方的光学无限远处的对象上。图像190、200是平坦的并且与眼睛210、220处于固定的距离。基于分别呈现给眼睛210、220的图像中的虚拟对象的略微不同的视图，眼睛可以自然地旋转，使得对象的图像落在每只眼睛的视网膜上的对应点上，以保持单个双目视觉。该旋转可导致眼睛210、220中的每只眼睛的视线会聚到空间上的一点，在该点处虚拟对象被感知为存在。结果，提供三维图像通常涉及提供双目提示，该双目提示可操纵用户的眼睛210、220的辐辏，并且人类视觉系统将其解释为提供深度的感知。
然而，生成对深度的现实且舒适的感知是具有挑战性的。应当理解，来自距眼睛不同距离处的对象的光具有带有不同发散量的波前。图3A-3C示出了距离与光线的发散之间的关系。对象与眼睛210之间的距离由R1、R2和R3按减小距离的顺序表示。如图3A-3C中所示，随着距对象的距离减小，光线变得更加发散。相反，随着距离增加，光线变得更加准直。换句话说，可以说由点(对象或对象的一部分)产生的光场具有球面波前曲率，该曲率是该点距用户眼睛多远的函数。曲率随着对象和眼睛210之间的距离减小而增加。尽管为了清楚起见在图3A-3C和在此的其它图中仅示出了单只眼睛210，但是关于眼睛210的讨论可以应用于观看者的两只眼睛210和220。
继续参考图3A-3C，观看者的眼睛注视在其上的对象发出的光可能具有不同程度的波前发散。由于不同量的波前发散，眼睛的晶状体可能会不同地聚焦光，这进而可能会要求晶状体采取不同的形状以在眼睛的视网膜上形成聚焦图像。在未在视网膜上形成聚焦图像的情况下，所产生的视网膜模糊可作为适应的提示，该适应引起眼睛晶状体形状的改变，直到在视网膜上形成聚焦图像为止。例如，适应的提示可触发眼睛晶状体周围的睫状肌松弛或收缩，从而调节施加到保持晶状体的悬韧带的力，从而引起眼睛晶状体的形状改变直到注视对象的视网膜模糊被消除或最小化，从而在眼睛的视网膜(例如，中央凹)上形成注视对象的聚焦图像。眼睛的晶状体改变形状的过程可以被称为适应，并且形成在眼睛的视网膜(例如，中央凹)上的注视对象的聚焦图像所需的眼睛的晶状体的形状可以被称为适应状态。
现在参考图4A，示出了人类视觉系统的适应-辐辏响应的表示。眼睛注视在对象上的运动使眼睛接收来自对象的光，该光在眼睛的每个视网膜上形成图像。在视网膜上形成的图像中视网膜模糊的存在可以提供适应的提示，并且图像在视网膜上的相对位置可以为辐辏提供提示。适应的提示使适应发生，导致眼睛的晶状体各自呈现特定的适应状态，该特定的适应状态形成了对象在眼睛的视网膜(例如，中央凹)上的聚焦图像。另一方面，辐辏的提示使辐辏运动(眼睛的旋转)发生，使得形成在每只眼睛的每个视网膜上的图像位于保持单个双目视觉的对应视网膜点处。在这些位置中，可以说眼睛已呈现特定的辐辏状态。继续参考图4A，适应可以被理解为眼睛达到特定的适应状态的过程，而辐辏可以被理解为眼睛达到特定的辐辏状态的过程。如图4A中所示，如果用户注视在另一对象上，则眼睛的适应和辐辏状态可能改变。例如，如果用户在z轴上的不同深度处注视在新对象上，则适应状态可能改变。
在不受理论限制的情况下，相信对象的观看者可能由于辐辏和适应的组合而将对象感知为“三维”。如上所述，两只眼睛相对于彼此的辐辏运动(例如，眼睛的旋转，使得瞳孔彼此朝向或远离移动以会聚眼睛的视线以注视在对象上)与眼睛的晶状体的适应紧密相关。在正常情况下，改变眼睛的晶状体形状以将焦点从一个对象改变到不同距离处的另一对象，将在称为“适应-辐辏反射”的关系下自动导致在辐辏上距相同距离的匹配变化。同样，在正常情况下，辐辏的变化将触发晶状体形状的匹配变化。
现在参考图4B，示出了眼睛的不同适应和辐辏状态的示例。一对眼睛222a在光学无限远处注视在对象上，而一对眼睛222b在小于光学无限远处注视在对象221上。值得注意的是，每对眼睛的辐辏状态不同，该对眼睛222a笔直指向前方，而该对眼睛222会聚在对象221上。形成每对眼睛222a和222b的眼睛的适应状态也不同，如晶状体210a、220a的不同形状所代表的。
不期望地，由于这些显示器中的适应状态和辐辏状态之间的失配，传统“3D”显示系统的许多用户发现此类传统系统不舒适或根本无法感知深度感。如上所述，许多立体或“3D”显示系统通过向每只眼睛提供略有不同的图像来显示场景。此类系统对于许多观看者来说是不舒适的，因为它们尤其提供了场景的不同呈现并且引起眼睛的辐辏状态的改变，但是没有相应地改变那些眼睛的适应状态。相反，通过显示器在距眼睛的固定距离处示出图像，使得眼睛在单个适应状态下观看所有图像信息。此类布置通过引起辐辏状态的变化而没有适应状态的匹配变化来对抗“适应-辐辏反射”。据信该失配会引起观看者不适。在适应和辐辏之间提供更优匹配的显示系统可能会形成更逼真的且更舒适的三维图像模拟。
不受理论的限制，据信人眼通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面相对应的图像的不同呈现，可以实现感知深度的高度可信的模拟。在一些实现中，不同的呈现可以提供辐辏的提示和适应的匹配提示二者，从而提供生理上正确的适应-辐辏匹配。
继续参考图4B，示出了两个深度平面240，其对应于距眼睛210、220在空间上的不同距离。对于给定的深度平面240，可以通过为每只眼睛210、220显示适当不同视角的图像来提供辐辏提示。此外，对于给定的深度平面240，形成提供给每只眼睛210、220的图像的光可以具有与该深度平面240的距离处的点所产生的光场相对应的波前发散。
在所示的实现中，包含点221的深度平面240沿z轴的距离为1m。如在此所使用的，可以采用位于用户眼睛的瞳孔处的零点来测量沿z轴的距离或深度。因此，位于深度为1m的深度平面240对应于在这些眼睛的光轴上距用户眼睛的瞳孔1m的距离，眼睛朝向光学无限远引导。作为近似，可以从用户眼睛前面的显示器(例如，从波导的表面)测量沿z轴的深度或距离，再加上该设备与用户眼睛的瞳孔之间的距离值。该值可以称为眼距，并且对应于用户眼睛的瞳孔与用户在眼睛前面佩戴的显示器之间的距离。实际上，眼距的值可以是通常用于所有观看者的归一化值。例如，可以假设眼距为20mm，并且深度1m处的深度平面在显示器前面的距离可以为980mm。
现在参考图4C和4D，分别示出了匹配的适应-辐辏距离和失配的适应-辐辏距离的示例。如图4C中所示，显示系统可以向每只眼睛210、220提供虚拟对象的图像。图像可以使眼睛210、220呈现辐辏状态，在该状态中眼睛会聚在深度平面240上的点15上。另外，图像可以由具有与该深度平面240处的真实对象相对应的波前曲率的光形成。结果，眼睛210、220呈现适应状态，在该状态中图像聚焦在那些眼睛的视网膜上。因此，用户可以将虚拟对象感知为在深度平面240上的点15处。
应当理解，眼睛210、220的适应状态和辐辏状态中的每一种状态都与z轴上的特定距离相关联。例如，距眼睛210、220特定距离处的对象使那些眼睛基于该对象的距离呈现特定的适应状态。与特定的适应状态相关联的距离可以被称为适应距离Ad。类似地，在特定的辐辏状态或相对于彼此的位置中，存在与眼睛相关联的特定的辐辏距离Vd。在适应距离和辐辏距离匹配的情况下，适应和辐辏之间的关系可以说是生理上正确的。对于观看者来说，这被认为是最舒适的场景。
然而，在立体显示中，适应距离和辐辏距离可能并不总是匹配。例如，如图4D中所示，显示给眼睛210、220的图像可以以与深度平面240相对应的波前发散来显示，并且眼睛210、220可以呈现特定的适应状态，在该状态中在该深度平面上的点15a、15b处于焦点。然而，显示给眼睛210、220的图像可能会提供辐辏提示，该提示使眼睛210、220会聚在未位于深度平面240上的点15上。结果，在一些实现中，适应距离对应于从眼睛210、220的瞳孔到深度平面240的距离，而辐辏距离对应于从眼睛210、220的瞳孔到点15的较大距离。适应距离不同于辐辏距离。因此，存在适应-辐辏失配。此类失配被认为是不期望的，并且可能导致用户不适。应当理解，失配对应于距离(例如，Vd-Ad)，并且可以使用屈光度来表征。
在一些实现中，应当理解，除了眼睛210、220的瞳孔之外的参考点可以被用于确定用于确定适应-辐辏失配的距离，只要相同的参考点被用于适应距离和辐辏距离。例如，可以测量从角膜到深度平面，从视网膜到深度平面，从目镜(例如，显示设备的波导)到深度平面的距离等。
在不受理论限制的情况下，据信用户仍可将高达约0.25屈光度、高达约0.33屈光度和高达约0.5屈光度的适应-辐辏失配感知为生理上正确的，而失配本身不会引起严重不适。在一些实现中，在此公开的显示系统(例如，图6的显示系统250)向观看者呈现具有约0.5屈光度或更小的适应-辐辏失配的图像。在一些其它实现中，由显示系统提供的图像的适应-辐辏失配为约0.33屈光度或更小。在其它实现中，由显示系统提供的图像的适应-辐辏失配为约0.25屈光度或更小，包括约0.1屈光度或更小。
图5示出了通过修改波前发散来模拟三维图像的方法的方面。该显示系统包括波导270，该波导270被配置为接收用图像信息编码的光770，并将该光输出到用户的眼睛210。波导270可以输出具有限定量的波前发散的光650，该限定量的波前发散与由所期望的深度平面240上的点产生的光场的波前发散相对应。在一些实现中，为在该深度平面上呈现的所有对象提供相同量的波前发散。另外，将说明可以向用户的另一只眼睛提供来自类似波导的图像信息。
在一些实现中，单个波导可以被配置为输出具有与单个或有限数量的深度平面相对应的设定量的波前发散的光，和/或波导可以被配置为输出有限波长范围的光。因此，在一些实现中，可以利用多个波导或堆叠的波导来为不同的深度平面提供不同量的波前发散和/或输出不同波长范围的光。如在此所使用的，应当理解，在深度平面处可以是平坦表面或者可以遵循弯曲表面的轮廓。
图6示出了用于向用户输出图像信息的波导堆叠的示例。显示系统250包括波导的堆叠，或堆叠的波导组件260，其可以用于使用多个波导270、280、290、300、310向眼睛/大脑提供三维感知。将理解的是，在一些实现中，显示系统250可以被认为是光场显示器。另外，波导组件260也可以被称为目镜。
在一些实现中，显示系统250可以被配置为提供辐辏的基本上连续的提示和适应的多个离散的提示。可以通过向用户的每只眼睛显示不同的图像来提供辐辏的提示，并且可以通过输出具有可选择的离散量的波前发散的形成图像的光来提供适应的提示。换句话说，显示系统250可以被配置为输出具有可变水平的波前发散的光。在一些实现中，波前发散的每个离散水平对应于特定的深度平面，并且可以由波导270、280、290、300、310中的特定波导提供。
继续参考图6，波导组件260还可以在波导之间包括多个特征320、330、340、350。在一些实现中，特征320、330、340、350可以是一个或多个透镜。波导270、280、290、300、310和/或多个透镜320、330、340、350可以被配置为以各种水平的波前曲率或光线发散向眼睛发送图像信息。每个波导水平可以与特定的深度平面相关联并且可以被配置为输出与该深度平面相对应的图像信息。图像注入设备360、370、380、390、400可以用作波导的光源，并且可以用于将图像信息注入到波导270、280、290、300、310中，如在此所述，其可以被配置为将入射光分布在每个相应的波导上，用于朝向眼睛210输出。光从图像注入设备360、370、380、390、400的输出表面410、420、430、440、450出射，并且注入波导270、280、290、300、310的对应输入表面460、470、480、490、500。在一些实现中，输入表面460、470、480、490、500中的每个输入表面可以是对应波导的边缘，或者可以是对应波导的主表面的一部分(也就是说，直接面对世界510或观看者的眼睛210的波导表面之一)。在一些实现中，可以将单个光束(例如，准直光束)注入每个波导中，以输出克隆的准直光束的整个场，该准直光束以与与特定波导相关联的深度平面相对应的特定角度(和发散量)朝向眼睛210引导。在一些实现中，图像注入设备360、370、380、390、400中的单个图像注入设备可以与波导270、280、290、300、310中的多个(例如，三个)相关联并将光注入到其中。
在一些实现中，图像注入设备360、370、380、390、400是离散的显示器，其各自产生图像信息以分别注入到对应的波导270、280、290、300、310中。在一些其它实现中，图像注入设备360、370、380、390、400是单个多路复用显示器的输出端，该显示器可以例如经由一个或多个光导管(诸如光纤电缆)将图像信息输送到图像注入设备360、370、380、390、400中的每一个图像注入设备。应当理解，图像注入设备360、370、380、390、400提供的图像信息可以包括不同波长或颜色的光(例如，如在此所述，不同分量的颜色)。
在一些实现中，注入波导270、280、290、300、310的光利用图像信息进行编码并且由光投影系统1010提供，如本文进一步所示。在一些实现中，光投影系统1010可以包括一个或多个发光像素阵列。应当理解，发光像素阵列可分别包括多个发光像素，这些发光像素可以被配置为发射强度和颜色变化的光。应当理解，图像注入设备360、370、380、390、400被示意性地示出，并且在一些实现中，这些图像注入设备可以表示公共投射系统中的不同光路和位置，该公共投射系统被配置为将光输出到波导270、280、290、300、310中相关联的一个。在一些实现中，波导组件260中的波导可以用作理想透镜，同时将注入波导的光中继出波导到用户的眼睛。在该概念中，对象可以是光投射系统1010的像素阵列，并且图像可以是深度平面上的图像。
控制器560控制一个或多个堆叠的波导组件260的操作，包括图像注入设备360、370、380、390、400、光投射系统1010的操作。在一些实现中，控制器560是本地数据处理模块140的一部分。控制器560包括编程(例如，非暂态介质中的指令)，该编程根据例如在此公开的各种方案中的任何方案来调节图像信息到波导270、280、290、300、310的定时和提供。在一些实现中，控制器可以是单个整体设备，或者是通过有线或无线通信信道连接的分布式系统。在一些实现中，控制器560可以是处理模块140或150(图9D)的一部分。
继续参考图6，可以将波导270、280、290、300、310配置为通过全内反射(TIR)在每个相应的波导内传播光。波导270、280、290、300、310每个可以是平面的或具有另一种形状(例如，弯曲的)，具有主要的顶部和底部表面以及在那些主要的顶部和底部表面之间延伸的边缘。在所示的配置中，波导270、280、290、300、310可各自包括耦出光学元件570、580、590、600、610，其被配置为通过将在每个相应波导内传播的光重定向到波导之外以将图像信息输出到眼睛210，从而从波导中提取光。提取的光也可以称为耦出光，并且耦出光学元件也可以称为光提取光学元件。所提取的光束可以在波导中传播的光撞击光提取光学元件的位置处由波导输出。如在此进一步讨论的，耦出光学元件570、580、590、600、610可以例如是包括衍射光学特征的光栅。虽然示出为设置在波导270、280、290、300、310的底部主表面上，但是为了便于描述和清楚作图起见，在一些实现中，如在此进一步讨论的，耦出光学元件570、580、590、600、610可以设置在顶部和/或底部主表面上，和/或可以直接设置在波导270、280、290、300、310的体积中。在一些实现中，耦出光学元件570、580、590、600、610可以形成为材料层，该材料层附接到透明基板以形成波导270、280、290、300、310。在一些其它实现中，波导270、280、290、300、310可以是单片材料，并且耦出光学元件570、580、590、600、610可以形成在该片材料的表面上和/或内部中。
继续参考图6，如在此所述，每个波导270、280、290、300、310被配置为输出光以形成与特定深度平面对应的图像。例如，最靠近眼睛的波导270可以被配置为将准直光(其被注入到此类波导270中)传送到眼睛210。准直光可以代表光学无限远焦平面。下一个波导向上280可以被配置为在准直光可到达眼睛210之前发出通过第一透镜350(例如，负透镜)的准直光；此类第一透镜350可以被配置为产生轻微的凸面的波前曲率，使得眼睛/大脑将来自下一个波导向上280的光解释为来自光学无限远更近地向内朝向眼睛210的第一焦平面。类似地，第三向上波导290在到达眼睛210之前使它的输出光通过第一透镜350和第二透镜340二者；第一350和第二340透镜的组合光焦度(optical power)可以被配置为产生另一增量的波前曲率，使得眼睛/大脑将来自第三波导290的光解释为来自第二焦平面，该第二焦平面比来自下一个波导向上280的光从光学无限远更近地向内朝向人。
其它波导层300、310和透镜330、320被类似地配置，其中堆叠中的最高波导310通过其与眼睛之间的所有透镜发送其输出，以代表最接近人的焦平面的总(aggregate)焦度。在观看/解释来自堆叠波导组件260的另一侧上的世界510的光时，为了补偿透镜320、330、340、350的堆叠，可以在堆叠的顶部设置补偿透镜层620，以补偿下面的透镜堆叠320、330、340、350的总焦度。此类配置提供与可用的波导/透镜对一样多的感知焦平面。波导的耦出光学元件和透镜的聚焦方面二者都可以是静态的(即，不是动态的或电激活的)。在一些替代实现中，使用电激活特征，上述中的一个或二者可以是动态的。
在一些实现中，波导270、280、290、300、310中的两个或更多个波导可以具有相同的相关联深度平面。例如，多个波导270、280、290、300、310可以被配置为输出设置到相同深度平面的图像，或者波导270、280、290、300、310的多个子集可以被配置为输出设置到相同的多个深度平面的图像，其中对于每个深度平面设置一组。这可以提供用于形成平铺图像以在那些深度平面处提供扩大的视场的优点。
继续参考图6，耦出光学元件570、580、590、600、610可以被配置为既将光重定向到其相应的波导之外，并且针对与波导相关联的特定深度平面以适当的发散或准直量输出该光。结果，具有不同的相关联深度平面的波导可以具有耦出光学元件570、580、590、600、610的不同配置，其取决于相关联的深度平面以不同的发散量输出光。在一些实现中，光提取光学元件570、580、590、600、610可以是体积或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件570、580、590、600、610可以是体积全息、表面全息和/或衍射光栅。在一些实现中，特征320、330、340、350可以不是透镜；相反，它们可以简单地是间隔物(例如，用于形成气隙的包层和/或结构)。
在一些实现中，耦出光学元件570、580、590、600、610是形成衍射图案的衍射特征，或者是“衍射光学元件”(在此也称为“DOE”)。优选地，DOE具有足够低的衍射效率，使得光束的仅一部分在DOE的每个相交处被偏转出朝向眼睛210，而其余的继续经由TIR移动通过波导。携带图像信息的光因此被分成多个相关的出射光束，该光束在多个位置处离开波导，并且结果是对于在波导内弹跳(bounce)的该特定准直光束，朝向眼睛210的出射的图案相当均匀。
在一些实现中，一个或多个DOE可以在它们主动衍射的“开”状态和它们没有明显衍射的“关”状态之间切换。例如，可切换DOE可以包含聚合物分散的液晶层，其中微滴在主体介质中包含衍射图案，并且微滴的折射率可以切换为与主体材料的折射率基本上匹配(在该情况下，该图案不会明显地衍射入射光)，或者可以将微滴切换到与主体介质的折射率不匹配的折射率(在该情况下，该图案主动衍射入射光)。
在一些实现中，可以提供相机组件630(例如，包括可见光和红外光相机的数字相机)以捕获眼睛210和/或眼睛210周围的组织的图像，以例如检测用户输入和/或监控用户的生理状态。如在此所使用的，相机可以是任何图像捕获设备。在一些实现中，相机组件630可包括图像捕获设备和以将光(例如，红外光)投射到眼睛的光源，然后该光可被眼睛反射并由图像捕获设备检测。在一些实现中，相机组件630可以附接到框架80(图9D)，并且可以与处理模块140和/或150电连通，该处理模块140和/或150可以处理来自相机组件630的图像信息。在一些实现中，一个相机组件630可以用于每只眼睛，以分别监控每只眼睛。
现在参考图7，示出了由波导输出的出射光束的示例。示出了一个波导，但是应当理解，波导组件260(图6)中的其它波导可以类似地起作用，其中波导组件260包括多个波导。光640在波导270的输入表面460处注入到波导270中，并通过TIR在波导270内传播。在光640入射在DOE 570上的点处，光的一部分作为出射光束650离开波导。出射光束650示为基本上平行，但是，如在此所述，取决于与波导270相关联的深度平面，它们还可以被重定向以一定角度传播到眼睛210(例如，形成发散的出射光束)。应当理解，基本上平行的出射光束可以指示具有耦出光学元件的波导，该耦出光学元件将光耦出以形成看起来被设置在距眼睛210很大距离(例如，光学无限远)处的深度平面上的图像。其它波导或其它组耦出光学元件可能会输出更发散的出射光束图案，该图案将需要眼睛210适应更近的距离以将其聚焦在视网膜上，并且将由大脑解释为光来自比光学无限远更靠近眼睛210的距离。
在一些实现中，可以通过在诸如三个或更多个分量颜色的每个分量颜色中覆盖图像来在每个深度平面处形成全色图像。图8示出了堆叠波导组件的示例，其中每个深度平面包括使用多个不同分量颜色形成的图像。所示的实现示出了深度平面240a-240f，但是也可以考虑更多或更少的深度。每个深度平面可以具有与其相关联的三个或更多个分量颜色图像，包括：第一颜色G的第一图像；第二颜色R的第二图像；以及第三颜色B的第三图像。在图中，不同的深度平面由字母G、R和B之后的屈光度(dpt)的不同数字表示。作为示例，这些字母中的每个字母之后的数字都指示屈光度(1/m)或深度平面距观看者的距离的倒数，并且图中的每个框代表单独的分量颜色图像。在一些实现中，为了解决眼睛对不同波长的光聚焦的差异，针对不同分量颜色的深度平面的确切位置可能会有所不同。例如，针对给定深度平面的不同分量颜色图像可以被放置在与距用户的不同距离对应的深度平面上。此类布置可以增加视觉敏锐度和用户舒适度和/或可以减少色差。不受理论的限制，应当理解，不将不同的分量颜色图像放置在相同的物理焦点上有助于补偿人眼的自然纵向色差(LCA)，并且效果显著。例如，目镜可以通过偏置分量颜色图像的聚焦水平，使得它们在被眼睛的高LCA光学器件聚焦之后聚焦到视网膜上来帮助补偿眼睛的LCA。在一些实现中，系统可以针对一种分量颜色具有更稀疏的深度平面集(例如，2x蓝色深度平面)，而针对另一种分量颜色具有更密集的深度平面集(例如，6x绿色深度平面)。有利地，该方法可以帮助降低硬件成本和复杂性，同时仍然为眼睛提供足够的深度信息。例如，眼睛可以使中(例如，“绿色”)波长的焦点优先于短波长和长波长，因此在所有分量颜色的图像上不需要统一的深度平面集。例如，在一些实现中，输出由短或长波长光形成的分量颜色图像(例如，蓝色或红色分量颜色图像)的波导可用于在多个深度平面上形成全彩色图像，而输出由中波长光形成的分量颜色图像(例如，绿色分量颜色图像)的波导可用于仅针对单个深度平面形成全彩色图像，前提是眼睛在感知全彩色图像的深度平面时将优先考虑中波长光(例如，用于形成绿色分量颜色图像)。因此，在中波长光的波导数量和可用深度平面总数之间存在一一对应关系，而另一波长分量颜色(例如红光和/或蓝光)的波导数量小于可用深度平面总数。
在一些实现中，每个分量颜色的光可以由单个专用波导输出，并且因此，每个深度平面可以具有与其相关联的多个波导。在此类实现中，图中的包括字母G、R或B的每个框可以被理解为代表单独的波导，并且每深度平面可以提供三个波导，其中每深度平面提供三个分量颜色图像。尽管为了便于描述，在该图中将与每个深度平面相关联的波导示出为彼此相邻，但是应当理解，在物理设备中，波导可以全部以每个层级一个波导的形式布置在堆叠中。在一些其它实现中，相同的波导可以输出多个分量颜色，使得例如每深度平面可以仅提供单个波导。
继续参考图8，在一些实现中，G是绿色，R是红色，并且B是蓝色。在一些其它实现中，除了红色、绿色或蓝色中的一个或多个之外或可以替代红色、绿色或蓝色中的一个或多个，可以使用与其它波长的光相关联的其它颜色，包括品红色和青色。
应当理解，在整个本公开中，对给定颜色的光的引用将被理解为涵盖被观看者感知为给定颜色的光的波长范围内的一个或多个波长的光。例如，红光可以包括在约620-780nm范围内的一个或多个波长的光，绿光可以包括在约492-577nm范围内的一个或多个波长的光，并且蓝光可以包括在约435-493nm范围内的一个或多个波长的光。
在一些实现中，光投射系统1010(图6)可以被配置为发射观看者的视觉范围之外的一个或多个波长的光，例如，红外和/或紫外波长。另外，显示器250的波导的耦入、耦出和其它光重定向结构可以被配置为将该光朝向用户的眼睛210引导并发射出显示器，例如，用于成像和/或用户刺激应用。
现在参考图9A，在一些实现中，可能需要重定向撞击到波导上的光以将该光耦入到波导中。耦入光学元件可以用于将光重定向并耦入到其对应的波导中。图9A示出了多个堆叠波导或堆叠波导组660的示例的横截面侧视图，每个堆叠波导包括耦入光学元件。波导可以各自被配置为输出一种或多种不同波长或一种或多种不同波长范围的光。应当理解，除了来自图像注入设备360、370、380、390、400中的一个或多个图像注入设备的光从需要将光重定向以耦入的位置注入到波导中之外，堆叠660可以对应于堆叠260(图6)，并且堆叠660的所示波导可以对应于多个波导270、280、290、300、310的一部分。
所示的堆叠波导组660包括波导670、680和690。每个波导包括相关联的耦入光学元件(其也可以称为波导上的光输入区域)，例如，设置在波导670的主表面(例如，上主表面)上的耦入光学元件700、设置在波导680的主表面(例如，上主表面)上的耦入光学元件710，以及设置在波导690的主表面(例如，上主表面)上的耦入光学元件720。在一些实现中，耦入光学元件700、710、720中的一个或多个可以设置在相应的波导670、680、690(特别是一个或多个耦入光学元件是反射的偏转光学元件的情况)的底部主表面上。如图所示，耦入光学元件700、710、720可设置在它们相应的波导670、680、690(或下一个较低的波导的顶部)的上主表面上，特别是那些耦入光学元件是透射的偏转光学元件的情况。在一些实现中，耦入光学元件700、710、720可设置在相应的波导670、680、690的主体中。在一些实现中，如在此所讨论的，耦入光学元件700、710、720是波长选择性的，使得它们选择性地重定向一个或多个波长的光，同时透射其它波长的光。虽然在它们相应的波导670、680、690的一侧或角上示出，但是应当理解，在一些实现中，耦入光学元件700、710、720可以设置在其相应的波导670、680、690的其它区域中。应当理解，耦入光学元件700、710、720可被理解为耦入区域，每个耦入元件对应于耦入区域。在一些其他实现中，如本文所讨论的，每个波导的耦入光学元件分别被细分为多个区域。
如图所示，耦入光学元件700、710、720可以彼此横向偏移。在一些实现中，每个耦入光学元件可以被偏移，使得其接收光而该光不穿过另一耦入光学元件。例如，如图6中所示，每个耦入光学元件700、710、720可被配置为从不同的图像注入设备360、370、380、390和400接收光，并且可以与其它耦入光学元件700、710、720分离(例如，横向间隔开)，使得它基本上从耦入光学元件700、710、720中的其它耦入光学元件不接收光。
每个波导还包括相关联的光分布元件，例如，设置在波导670的主表面(例如，顶部主表面)上的光分布元件730、设置在波导680的主表面(例如，顶部主表面)上的光分布元件740，以及设置在波导690的主表面(例如，顶部主表面)上的光分布元件750。在一些其它实现中，光分布元件730、740、750可分别设置在相关联波导670、680、690的底部主表面上。在一些其它实现中，光分布元件730、740、750可以分别设置在相关联波导670、680、690的顶部主表面和底部主表面二者上；或光分布元件730、740、750可以分别设置在不同的相关联的波导670、680、690中的顶部主表面和底部主表面中的不同主表面上。
波导670、680、690可以例如由气体、液体和/或固体材料层间隔开并分离。例如，如图所示，层760a可以分离波导670和680；并且层760b可以分离波导680和690。在一些实现中，层760a和760b由低折射率材料(也就是说，具有比形成波导670、680、690中的紧邻波导的材料的折射率低的材料)形成。优选地，形成层760a、760b的材料的折射率是形成波导670、680、690的材料的折射率的0.05或更大，或者是0.10或更小。有利地，较低折射率层760a、760b可以用作包层，该包层有助于通过波导670、680、690的光的全内反射(TIR)(例如，每个波导的顶部和底部主表面之间的TIR)。在一些实现中，层760a、760b由空气形成。尽管未示出，但是应当理解，所示出的波导组660的顶部和底部可以包括紧邻的包层。
优选地，为了易于制造和其它考虑，形成波导670、680、690的材料相似或相同，并且形成层760a、760b的材料相似或相同。在一些实现中，在一个或多个波导之间，形成波导670、680、690的材料可以是不同的，和/或形成层760a、760b的材料可以是不同的，同时仍保持上述各种折射率关系。
继续参考图9A，光线770、780、790入射在该波导组660上。应当理解，可以通过一个或多个图像注入设备360、370、380、390、400(图6)将光线770、780、790注入波导670、680、690中。
在一些实现中，光线770、780、790旨在用于不同的波导(例如，被配置为输出具有不同量的波前发散的光，和/或被配置为输出具有不同特性，如不同波长或颜色的光的波导)。因此，在一些实现中，光线770、780、790具有不同的特性，例如，不同的波长或不同的波长范围，其可以对应于不同的颜色。耦入光学元件700、710、720每个使入射光偏转，使得光通过TIR传播通过波导670、680、690中的相应波导。在一些实现中，耦入光学元件700、710、720每个选择性地偏转一个或多个特定波长的光，同时将其它波长透射到下面的波导和相关联的耦入光学元件。
例如，耦入光学元件700可以被配置为使具有第一波长或波长范围的光线770偏转，同时透射分别具有不同的第二和第三波长或波长范围的光线780和790。透射光线780撞击到耦入光学元件710上并由其偏转，该耦入光学元件710被配置为使第二波长或波长范围的光偏转。光线790由耦入光学元件720偏转，该耦入光学元件720被配置为选择性地偏转第三波长或波长范围的光。
继续参考图9A，偏转的光线770、780、790被偏转，使得它们传播通过对应的波导670、680、690；也就是说，每个波导的耦入光学元件700、710、720将光偏转到对应的波导670、680、690中，以将光耦入到对应的波导中。光线770、780、790以使光通过TIR传播通过相应波导670、680、690的一定角度偏转。光线770、780、790通过TIR传播通过相应的波导670、680、690，直到撞击到波导的对应的光分布元件730、740、750上。
现在参考图9B，示出了图9A的多个堆叠的波导的示例的视角。如上所述，耦入的光线770、780、790分别由耦入光学元件700、710、720偏转，并且然后通过TIR分别在波导670、680、690内传播。然后，光线770、780、790分别撞击在光分布元件730、740、750上。光分布元件730、740、750使光线770、780、790偏转，使得它们分别朝向耦出光学元件800、810、820传播。
在一些实现中，光分布元件730、740、750是正交光瞳扩展器(OPE)。在一些实现中，OPE将光偏转或分布到耦出光学元件800、810、820，并且在一些实现中，当光传播到耦出光学元件时，还可以增加该光的光束或光斑大小。在一些实现中，可以省略光分布元件730、740、750，并且可以将耦入光学元件700、710、720配置为将光直接偏转到耦出光学元件800、810、820。例如，参考图9A，光分布元件730、740、750可以分别用耦出光学元件800、810、820代替。在一些实现中，耦出光学元件800、810、820是将光引导到观看者的眼睛210中的出射光瞳(EP)或出射光瞳扩展器(EPE)(图7)。应当理解，OPE可被配置为在至少一个轴上增加眼箱的尺寸，而EPE可被配置为在与OPE的轴相交(例如，正交)的轴线上增加眼箱。例如，每个OPE可被配置为将撞击OPE的光的一部分重定向到相同波导的EPE，同时允许光的其余部分继续沿波导向下传播。再次撞击在OPE上时，其余光的另一部分被重定向到EPE，并且该部分的其余部分继续沿波导向下进一步传播，依此类推。同样，在撞击EPE时，撞击的光的一部分从波导朝向用户向外引导，并且该光的其余部分继续传播通过波导，直到再次撞击EP，此时，撞击的光的另一部分被引导出波导，依此类推。因此，每次通过OPE或EPE重定向该光的一部分时，都可以“复制”单个耦入光束，从而形成克隆光束的场，如图6中所示。在一些实现中，OPE和/或EPE可以被配置为修改光束的大小。
相应地，参考图9A和图9B，在一些实现中，该波导组660包括波导670、680、690；耦入光学元件700、710、720；光分布元件(例如OPE)730、740、750；以及每个分量颜色的耦出光学元件(例如EP)800、810、820。波导670、680、690可以以每个波导之间的气隙/包层堆叠。耦入光学元件700、710、720将入射光(具有接收不同波长的光的不同的耦入光学元件)重定向或偏转到其波导中。然后，光以一定角度传播，该角度将导致相应的波导670、680、690内的TIR。在所示示例中，光线770(例如，蓝光)由第一耦入光学元件700偏转，并且然后继续以先前描述的方式沿波导向下反弹，与光分布元件(例如，OPE)730以及然后与耦出光学元件(例如，EP)800相互作用。光线780和790(例如，分别为绿色和红色)将穿过波导670，光线780撞击在耦入光学元件710上并由耦入光学元件710偏转。然后，光线780经由TIR沿波导680向下反弹，继续进行到其光分布元件(例如，OPE)740，以及然后进行到耦出光学元件(例如，EP)810。最后，光线790(例如，红光)穿过波导690撞击到波导690的光耦入光学元件720上。光耦入光学元件720使光线790偏转，使得光线通过TIR传播到光分布元件(例如，OPE)750，并且然后通过TIR传播到耦出光学元件(例如，EP)820。然后，耦出光学元件820最终将光线790耦出到观看者，该观看者还从其它波导670、680接收耦出光。
图9C示出了图9A和图9B的多个堆叠的波导的示例的俯视平面图。如图所示，波导670、680、690以及每个波导的相关联的光分布元件730、740、750和相关联的耦出光学元件800、810、820可以垂直对齐。然而，如在此所述，耦入光学元件700、710、720不是垂直对齐的；相反，耦入光学元件优选地是非重叠的(例如，如在俯视平面图中所见，横向地间隔开)。如在此进一步讨论的，该非重叠的空间布置有利于将来自不同资源的光一对一地注入到不同的波导中，从而允许将特定的光源唯一地耦合到特定波导。在一些实现中，包括非重叠的空间分离的耦入光学元件的布置可以被称为移位光瞳系统，并且这些布置内的耦入光学元件可以对应于子光瞳。应当理解，当从分别入射到耦入元件700、710、720上的入射光束(例如，光770、780、790)的方向观察时，所示的俯视图可被理解为正面平面图。
图9D示出了可穿戴显示系统60的示例，可将在此所公开的各种波导和相关系统集成到该显示系统60中。在一些实现中，显示系统60是图6的系统250，图6示意性地更详细地示出了该系统60的一些部分。例如，图6的波导组件260可以是显示器70的一部分。
继续参考图9D，显示系统60包括显示器70，以及支持该显示器70的功能的各种机械和电子模块和系统。显示器70可以耦合至框架80，该框架80可由显示系统用户或观看者90穿戴，并且被配置为将显示器70定位在用户90的眼睛前面。在一些实现中，显示器70可以被认为是眼镜。在一些实现中，扬声器100耦合到框架80，并且被配置为定位在用户90的耳道附近(在一些实现中，未示出的另一扬声器可以可选地定位在用户的另一耳道附近，以提供立体声/整形的声音控制)。显示系统60还可包括一个或多个麦克风110或检测声音的其它设备。在一些实现中，麦克风被配置为允许用户向系统60提供输入或命令(例如，语音菜单命令的选择、自然语言问题等)，和/或可以允许与其他人(例如与相似显示系统的其他用户)的音频通信。麦克风可以进一步被配置为外围传感器以收集音频数据(例如，来自用户和/或环境的声音)。在一些实现中，显示系统还可以包括外围传感器120a，该外围传感器120a可以与框架80分离并附接到用户90的身体(例如，用户90的头部、躯干、四肢上等)。在一些实现中，外围传感器120a可以被配置为获得表征用户90的生理状态的数据。例如，传感器120a可以是电极。
继续参考图9D，显示器70通过通信链路130(诸如通过有线导线或无线连接)可操作地耦合到本地数据处理模块140，该本地数据处理模块140可以以各种配置安装，诸如固定地附接到框架80，固定地附接到用户佩戴的头盔或帽子，嵌入耳机中，或者以其它方式可移除地附接到用户90(例如，以背包式配置、以皮带耦合式配置)。类似地，传感器120a可以通过通信链路120b(例如，有线导线或无线连接)可操作地耦合到本地处理器和数据模块140。本地处理和数据模块140可以包括硬件处理器以及数字存储器，诸如非易失性存储器(例如，闪存或硬盘驱动器)，二者均可以用于辅助数据的处理、缓存和存储。可选地，本地处理器和数据模块140可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用处理硬件等。数据可以包括如下数据：a)从传感器(例如，可以可操作地耦合到框架80或以其它方式附接到用户90)捕获的，诸如图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线设备、陀螺仪和/或在此公开的其它传感器；和/或b)使用远程处理模块150和/或远程数据存储库160(包括与虚拟内容有关的数据)获得和/或处理的，可能在此类处理或取得之后传递给显示器70。本地处理和数据模块140可以由通信链路170、180，诸如经由有线或无线通信链路，可操作地耦合到远程处理模块150和远程数据存储库160，使得这些远程模块150、160可操作地彼此耦合，并可用作本地处理和数据模块140的资源。在一些实现中，本地处理和数据模块140可以包括一个或多个图像捕获设备、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线设备和/或陀螺仪。在一些其它实现中，这些传感器中的一个或多个传感器可以附接到框架80，或者可以是通过有线或无线通信路径与本地处理和数据模块140通信的独立结构。
继续参考图9D，在一些实现中，远程处理模块150可以包括被配置为分析和处理数据和/或图像信息的一个或多个处理器，例如包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用处理硬件等。在一些实现中，远程数据存储库160可以包括数字数据存储设施，该数字数据存储设施可以通过互联网或“云”资源配置中的其它网络配置而可用。在一些实现中，远程数据存储库160可以包括一个或多个远程服务器，该远程服务器向本地处理和数据模块140和/或远程处理模块150提供信息，例如用于生成增强现实内容的信息。在一些实现中，所有数据都存储在本地处理和数据模块中，并且所有计算都在本地处理和数据模块中执行，从而允许从远程模块完全自主地使用。可选地，包括CPU、GPU等的外部系统(例如，一个或多个处理器、一个或多个计算机的系统)可以执行至少一部分处理(例如，生成图像信息、处理数据)，并且例如经由无线或有线连接向模块140、150、160提供信息，以及从模块140、150、160接收信息。
具有多个耦出区域的示例显示系统
本文描述的显示系统(例如，显示系统60，图9D)可用于呈现增强或虚拟现实内容(本文称为虚拟内容)。为了呈现虚拟内容，显示系统可以使用一个或多个耦出元件将光引导出一个或多个波导，耦出元件沿着使得光传播到用户(例如，头戴式显示器的穿戴者)的眼睛中的方向耦出该光。
如图10A所示，示例耦出元件830将在波导内传播(例如，通过全内反射)的光向朝向用户的眼睛1010耦出，如本文所述。然而，典型的耦出元件可以被构造为在跨耦出光学元件的区域的所有区域处沿各种方向输出光。因此，由耦出光学元件830耦出的光的子集可以有效地指向用户的眼睛1010的瞳孔1012，光将在瞳孔处进入眼睛1010以形成图像。理想定向的光由示例光束1015示出，光束1015可以在耦出元件830的中心附近的位置处垂直于或基本垂直于耦出元件830延伸(以及可以在耦出元件830的外围附近的位置处以向内的角度延伸)。由耦出元件830耦出的其他光(例如从耦出元件830的外围沿法线方向耦出，或者以不在瞳孔1012处或附近入射到眼睛1010上的各种角度耦出的光束1017)对在眼睛1010中形成的图像没有贡献。这种从耦出光学元件830耦出但未入射到瞳孔处或瞳孔附近的光可以被认为是浪费能量。应当理解，附图是示意性的，不一定按比例绘制，使得光束115和117之间的横向距离相对于所示的眼睛1010较大。
有利地，一些实现增加了朝向用户的眼睛1010的瞳孔1012耦出的比例(例如，与光束1015一致耦出的光)，并减少了在眼睛1010未配准的其他方向上耦出的光量(例如，与光束1017一致耦出的光)。例如，这样的系统可以增加最终进入瞳孔的耦入光的比例，并且可以相应地减少为了在用户的眼睛中产生给定亮度的图像而必须由光投射系统或其他显示光源产生的光能的量。本技术的各种实现提供了包括耦出元件、耦入元件和/或光投射系统的系统，其被配置为选择性地将图像光引向用户的眼睛1010的瞳孔1012。这样的系统由此可以有利地提高本文公开的显示系统的效率，因为它们可以增加由光投射系统产生的到达眼睛1010以形成用户感知的图像的给定光量的比例，并且可以减少落在用户眼睛或面部的其他部分上，或者对用户感知的图像没有贡献的光的比例。
如图10B和10C示意性地所示，一些实现可以包括将波导900的耦出元件1000分割成不同的耦出区域1000a、1000b、1000c。不同的耦出区域可以被配置为不同地耦出光。例如，耦出区域1000b可以引导耦出光线1015，而减少引导或不引导从其他耦出区域1000a、1000c输出的光1017。结果，不进入眼睛并且不被用户感知的光1017不会因从耦出区域1000a、1000c输出而被“浪费”。
应当理解，不同的耦出区域可以以垂直于耦出元件1000以外的角度引导输出光。图10C示出了可能与不同耦出区域1000a、1000b、1000c相关联的示例光束方向1019。在一些实现中，可以利用不同的耦出区域来针对视场的不同部分耦出光。例如，可能期望耦出元件1000的中心区域1000b沿着一般围绕垂直向外朝向眼睛1010延伸的方向设置的一组角度耦出光，同时期望耦出元件1000的外围区域1000a、1000c沿着一般围绕朝向眼睛1010向内成角度的方向设置的一组角度耦出光，并且这些光还进入眼睛的瞳孔。因此，在一些实现中，如本文所讨论的，由显示系统提供的视场和/或视场不同部分中可用的虚拟内容通过适当地选择耦出区域1000a、1000b、1000c根据需要改变。有利地，这种选择视场的不同部分(例如，包含期望虚拟内容的部分)的能力通过允许不发射来自某些其他方向的光而促进了高能量利用效率。
在一些实现中，应当理解，可以利用光投射系统将光引导到波导900中，并且光投射系统可以利用准直光以输入到波导900中的投射光学器件。本文公开的图像平铺方法有利地允许针对视场不同部分中的每个或多个部分使用分立的光投影仪，其中每个投影仪形成视场的相关联部分的图像内容。应当理解，如果使用单个光投影仪，用于在整个视场上提供图像内容的准直光可能需要大型且复杂的投影光学器件。另一方面，用于提供相对小的视场(例如，显示系统的视场的一部分)的投影光学器件有利地比用于准直光用于更大视场的投影光学器件更简单和更小。如本文所讨论的，因此，对于整个视场，使用多个光投影仪可能比使用单个光投影仪占据的总体积更小。
图10D示出了可从示例可穿戴显示系统的波导耦出的示例主光线1015。在一些实现中，耦出区域1000a、1000b、1000c中的单个耦出区域可以足够大以产生用于眼睛1010的期望视场。例如，可以从耦出区域1000b耦出的光线1015可以在接近并包括眼睛视觉极限的区域中散开，或者可以为入射到对应于期望视场的眼睛上的光提供角度范围。
现在参考图11A，波导900可以具有耦出元件，例如耦出元件1000，其可以包括其他光分布结构1020或衍射的阵列，该阵列导致光在耦出元件1000上衍射和传播。在一些实现中，光分布结构1020和耦出元件1000可以被设置在波导900的同一侧，例如波导900的同一主表面上。在这样的实现中，由耦出元件1000占据的区域可以包括将光耦出波导的结构(例如，衍射结构)以及通过全内反射在波导上分布入射光的结构(例如，衍射结构)。
在一些其他实现中，在所示的俯视图中，耦出元件1000可以被理解为位于光分布元件1020下方。在这样的配置中，耦出元件1000和光分布元件1020可以被设置在波导900的不同的相对主表面上。
继续参考图11A，当光束1025(例如，对应于图像光)照射在耦入元件1005上时，光束1025被耦入波导900中，沿着一个轴(例如，垂直轴)在传播方向上传播，直到它照射光分布结构1020，这导致光束1025的一部分被分成通常可以沿不同的轴(例如所示的正交轴或水平轴)级联(cascade)和传播的小光束1027。优选地，耦入元件1005以一定角度将光重定向到波导900中，使得光束1025通过全内反射在波导内传播。应当理解，光分布结构1020具有足够低的光重定向效率，以允许大部分光束1025继续传播(例如，沿着垂直轴向下传播)。因此，光束1025可以被复制并且基本上填充耦出元件1000的整个区域。尽管这样的布置可以在耦出元件1000上提供均匀的传播和高度覆盖，但它可能会导致难以将小光束1027的传播瞄准以有效利用光。
在一些实现中，如图11B所示，波导900可以具有耦出元件1000，该耦出元件可以分为左侧区域1000l和右侧区域1000r。左侧区域1000l可以仅包括光分布结构1020l，该光分布结构被配置为使小光束1027l大致向左和向下传播。类似地，右侧区域1000r可以仅包括光分布结构1020r，该光分布结构被配置为使小光束1027r大致向右和向下传播。因此，进入每个区域1000l、1000r的每个光束1025仅从区域1000l和1000r中的相同一个区域耦出，并且不传播到区域1000l，1000r中另一区域。这种配置因此可以提高耦出元件1000的效率，因为上面传播每个光束1025的耦出元件1000的面积量减少了大约一半。应当理解，在各种实现中，可以实施进一步的分割，以例如通过包括附加的分割区域和/或不同形状的分割区域来提供耦入光的有效使用。左侧区域1000l和右侧区域1000r之间的边界可以对应于物理分割结构(例如，光学不透明和/或吸收隔断)，或者可以简单地为不同取向的光分布结构1020r、1020l的区域之间的界面。
图11C示出了实现中图11B的波导的示例横截面侧视图，其中耦出区域和光分布结构可以位于波导的不同侧。例如，耦出区域1000r可以被设置在波导900的第一主表面上，光分布结构1020r可以被设置在波导900的第二相对主表面上。在一些实现中，如图所示，光分布结构1020r可以垂直对准并且占据与耦出区域1000r相似的区域。如本文所讨论的，耦出区域和光分布结构可以是衍射结构，例如在一些实现中的衍射光栅。
图12A和12B示出了可以改变耦入元件的一些方面以提高本文所述的成像系统中的光使用效率的示例配置。在图12A和12B中，波导900包括多个离散的耦入区域。
在图12A中，示例波导900包括耦出元件1000，该耦出元件包括区域1000l、1000c和1000r。区域1000l、1000c和1000r可以是耦出元件1000的物理分割区域，或者可以是耦出元件1000的未被任何分割结构、光分布结构的变化、或其他物理结构进行物理分割的区域。
示例显示系统还包括相应的耦入元件1005l、1005c、005r，这些耦入元件被配置为将入射到耦入元件1005l、1005c、1005r上的光朝向耦出元件1000耦入。应当理解，诸如图11C所示的光分布结构可以被设置在波导900的与具有耦出元件1000的主表面相对的主表面上。在一些其他实现中，光分布结构和光耦出元件1000可以位于同一主表面上。
继续参考图12A，耦入元件1005c将光耦入并引导到耦出元件1000的中心区域1000c，并且可能期望光在两个横向方向上均匀分布。在一些实现中，可能期望耦入元件1005c在大致围绕轴1025c对称分布的角度范围内引导耦入光。此外，如图所示，耦入元件1005l和1005r可以将光耦入到耦出元件1000的相关区域1000l、1000r，其中可能更期望光朝向耦出元件1000的中心向内分布，而不是朝向耦出元件1000的横向边缘分布(例如，因为到达耦出元件1000的横向边缘的光可能被吸收，可能远离眼睛耦出，或者可能不被有效地耦出)。因此，可能期望耦入元件1005l和1005r在围绕向内偏置的轴1025l、1025r的角度范围内引导耦入光，以减少到达耦出元件1000的横向边缘的光量。在一些实现中，区域1000l、1000c和1000r可以被理解为是在波导900上限定条带的耦出区域，其中条带沿着与由耦入区域1005l、1005c和1005r限定的行交叉的轴延伸。
在一些实现中，例如在耦入元件1005l、1005c、1005r包括衍射光栅的实现中，耦入元件1005l、1005c、1005r可以基于耦入结构1007的取向实现期望的耦入方向性。在图12A所示的示例实现中，横向耦入元件1005l和1005r的耦入结构1007相对于中央耦入元件10005c的耦入结构1007的取向以特定方向倾斜或偏置。
继续参考图12A，区域1000l、1000c、1000r和/或相关联的光分布结构1020(图11C)可以通过光学不透明和/或吸收隔断来分隔，以限制光在相关区域1000l、1000c、1000r中的不同区域之间的传播。在一些其他实现中，在不同区域或其相关联的光分布结构之间不设置隔断。相反，可以允许被引导到一个耦出区域的光自由地传播到其他耦出区域。然而，这样的配置为光的有效利用提供了优点，因为耦入区域将光主要引导到特定的耦出区域，使得整个波导接收的光少于该耦出区域。
图12B示出了结合非矩形耦出元件1000的耦入元件的另一示例布置。在图12B的示例实现中，波导900包括偶数个耦入元件10051、10052、10053、10054，在某些实现中，耦入元件10051、10052、10053、10054围绕耦出元件1000的中部以基本对称的分布的设置。因此，由于耦入元件10051、10052、10053、10054中没有一个耦入元件在耦出元件1000的中心部的上居中，因此，所有四个耦入元件10051、10052、10053、10054可以被配置为具有向内偏置。由于耦入元件10052和10053相对于耦入元件10051和10054位于更中心的位置，因此耦入元件10052和10053的耦入结构1007相对于耦入元件10051和10054的耦入结构1007具有更小的倾斜，使得耦入元件10052和10053将光耦入到耦出元件1000的更宽的中心区域。耦入元件10051和10054更接近耦出元件1000的横向边缘，因此具有更倾斜的耦入结构1007，使得由耦入元件10051和10054耦入的光具有更大的向内偏置，并且更不太可能入射到耦出元件1000的横向边缘上。
尽管图12A和12B所示的实现示出了多个离散的、速度分开的耦入区域，但本文所公开的波导900也可以使用一个或多个耦入区域来实现，在这些区域中，各个光耦入元件的连续部分具有不同配置的光重定向结构，这些光重定向结构限定了其不同的耦入区域。例如，图13示出了具有沿着波导的两侧或更多侧或横向边缘延伸的耦入元件的波导。例如，如图所示，耦入元件1005可以沿着波导的多个侧面或边缘被设置以围绕耦出元件1000。在一些实现中，如图所示，耦入元件1005基本上包围耦出元件1000。耦入元件1005包括耦入结构1007，这些耦入结构被布置成耦入光，并朝向耦出元件1000在特定所需方向上引导光。例如，位于耦出元件1000的顶部附近的耦入结构1007可以被布置成大致向下耦入光，并且位于耦出元件1000的底部附件的耦入结构1007可以被布置成大致向上耦入光，位于耦出元件1000的横向边附近的耦入结构1007可以被布置成朝向耦出元件1000的中心大致向内耦入光。应当理解，具有不同配置的耦入结构1007的耦入元件1005的不同区域可以被理解为构成不同的耦入区域。
在一些示例中，光注入系统可以被配置为朝向耦入元件1005投射光。光注入系统可以包括多个投影仪，其优势在于简化了在波导不同侧上将光提供给耦入元件。如本文所讨论的，显示系统的整个FOV可以细分为多个部分，并且光注入系统可以包括多个投影仪，这些投影仪被配置为通过将光引导到耦入元件1005的不同区域来提供用于每个相关联的部分的图像内容。附加地或替代地，投影仪可以取向成将光引导到波导900的不同侧上的耦入元件1005的部分。在一些示例中，光注入系统可以包括第一投影仪，该投影仪被配置为沿着波导900的顶边缘将光引导到耦入元件1005的一部分中；第二投影仪，该投影仪被配置为沿着波导900的右边缘将光引导到耦入元件1005的一部分中；第三投影仪，该投影仪被配置为沿着波导900的底边缘将光引导到耦入元件1005的一部分中；以及第四投影仪，该投影仪被配置为沿着波导900的左边缘将光引导到耦入光学元件1005的一部分中。应当理解，每个投影仪可以被配置为提供用于耦出元件1000的不同部分的图像内容，这些不同部分与耦入光学元件1005的不同部分相关联，如本文所讨论的。
图14A示出了波导900的另一示例配置，该波导900具有用于将光耦入耦出元件1000中的耦入元件。耦入元件1005可以包括单独的耦入区域1005a1...1005d4。每个耦入区域1005a1...1005d4可以被配置为耦入光，该光将从耦出元件1000的相应的或相关的耦出区域a1...d4被耦出。耦出区域a1...d4可以跨波导900限定栅格图案。基于上述技术，例如，基于诸如倾斜、光栅间距、光栅结构尺寸(例如，形成光栅的表面上的突起的尺寸)之类的一个或多个特征，或者各个耦入区域1005a1...1005d4的其他特性，在每个耦入区域1005a1...1005d4处耦入的光可以被引导为仅从或主要从耦出元件1000的相应耦出区域a1…d4被耦出。例如，耦入区域1005a2、1005b2、1005c2、1005d2可以在倾斜、光栅、光栅间距、光栅结构尺寸或另一特性方面彼此各异，使得在每个耦入区域1005a2、1005b2、1005c2、1005d2处耦入的光被选择性地或主要地引导到特定相关联的耦出区域，以由该耦出区域来耦出。例如，耦入元件1005a2可以被配置为使得从其耦入的光在耦出元件1000内具有导致光入射到区域a2上的全内反射角。类似地，耦入元件1005b2可以被配置为使得从其耦入的光在波导900内具有导致大部分光沿着耦出元件1000进一步行进并入射到耦出区域b2上的不同的全内反射角。
如本文所讨论的，光注入系统可以被配置为朝向不同的耦入区域1005a1...1005d4投射光。光注入系统可以包括多个投影仪，这些投影仪被配置为将光引导到不同的耦入区域1005a1...1005d4。在一些示例中，光注入系统可以包括不同的投影仪，这些投影仪被配置为将FOV的子集发射到一个或多个耦入区域1005a1...1005d4的不同或重叠子集中。例如，第一投影仪可以被配置为朝向更靠近波导的第一横向边缘的耦入区域的子集发射光，而第二投影仪可以被设置为朝向更靠近波导的第二横向边缘的耦入区域的子集发射光。
图14B是图14A波导的示意性横截面侧视图的示例，横截面沿平面14B(图14A)截取。如图所示，耦入区域1005a2、1005b2、1005c2、1005d2可接收入射光束1025，入射光束1025可以被耦入并朝向耦出元件1000的耦出区域a1、b1、c1、d1重定向。应当理解，耦入区域1005a2、1005b2、1005c2、1005d2可以被配置为耦入光，使得光通过全内反射传播通过波导900。此外，当耦入光时，耦入区域1005a2、1005b2、1005c2、1005d2可以被配置为以不同角度偏转光，如图所示。例如，光束1025可以被耦入区域1005a2、1005b2、1005c2、1005d2偏转，以分别提供耦入光束1205a2、1025b2、1025c2、1025d2。耦入光束1205a2、1025b2、1025c2、1025d2通过全内反射以一定角度传播，从而导致它们随后分别照射相应的耦出区域a1、b1、c1、d1。在一些实现中，可以通过适当地选择用于耦入区域1005a2、1005b2、1005c2、1005d2的光栅间距来选择全内反射角(耦入光通过全内反射离开波导主表面的角度)，使得耦入光发生偏转并以所需的全内反射角进入波导。在一些实现中，用于一些耦入区域的角度可以比其他区域浅(shallow)。
在一些实现中，可以通过配置耦出区域，使得耦出区域在耦出从相关联耦入区域接收到的光时最有效，来提高特定耦入区域和特定耦出区域之间对应关系的选择性。例如，耦出区域可以被配置为最有效地耦出从与从相关联的耦入区域传播的耦入光的角度相对应的角度入射到耦出区域上的入射光。例如，耦出区域可以最有效地耦出以相关联的耦入区域所提供的TIR角度照射在其上的光，和/或耦出区域可以最有地耦出从与相关联的耦入区域对应的横向方向照射在其上的光。
在一些实现中，可以结合图14A的示例配置使用图像平铺方法。应当理解，在一些上下文中，虚拟内容可以仅显示在用户视场的一部分中。在一些实现中，区域a1...d4可以各自与视场的特定部分相关联，并且由特定区域a1...d4输出的图像内容可以对应于视场的该部分的虚拟内容。在某些情况下，图像可以跨多个区域a1...d4。投射到每个耦入元件1005a1...1005d4上的图像光可以表示将出现在耦出元件1000的对应区域a1...d4上的部分图像。因此，当单独的图像部分被投射到对应的耦入元件1005a1...1005d4上时，用于每个图像部分的图像光在耦出元件1000的相应区域a1...d4处耦出，其强度大于来自其他耦入区域1005a1...1005d4的光。在一些实现中，图像光可以进行时间复用(在不同时间被引导到不同的耦入区域)，使得观看耦出元件1000的用户感知到完整的图像。当进行时间复用时，图像光优选地在闪烁融合阈值内提供给期望输出图像光的每个耦出区域。
应当理解，例如如图11A-14B所示，波导900可以是形成波导堆叠的多个类似波导中的一个。如本文所讨论的，这种波导堆叠可有利地用于在多个深度平面上提供虚拟内容。
图14C示出了一组660A的堆叠波导670A、680A和690A，其中每一个都可以类似于波导900(图11A-14B)。每个波导包括一个或多个相关联的耦入区域700A、700B、710A、710B、720A和720B(也可以称为波导上的光输入区域，并且可以对应于参考图12A-14C讨论的光耦入区域)。一个或多个耦入区域可以包括一个或多个耦入光学元件，并且可以被配置为将光引导到其相关联的波导中的一个或多个耦出元件1000A、1000B和1000C中。如本文所讨论的，耦出元件可以被分割成不同的区域。每个堆叠波导中的耦入区域和耦出区域的配置可以对应于所公开的任何示例波导配置，例如参考图11A-14A中的任一个所讨论的波导配置。
如图所示，耦入光学区域700A、700B、710A、710B、720A和720B可以彼此横向偏移。在一些实现中，每个耦入光学区域可以被偏移，使得它在光不穿过另一耦入光学区域的情况下接收光。例如，每个耦入区域700A、700B、710A、710B、720A和720B可以与其他耦入光学区域700A、700B、710A、710B、720A和720B分离(例如，横向间隔开)，使得其基本上不接收穿过耦入光学元件700A、700B、710A、710B、720A和720B中的其他耦入光学元件的光。在一些示例中，一个或多个耦入光学区域可以共享图像注入设备，或者可以接收来自不同图像注入设备的光。
波导可以以类似于参考图9A讨论的波导堆叠的方式间隔开或分离。在一些实现中，光束770、780、790以不同的波导(例如，被配置为输出具有不同波前发散量的光的波导，和/或被配置为输出具有不同特性的光，例如不同的波长或颜色)为目标。有利地，可以通过将光引导到不同的耦入区域来选择不同的波导，从而提供具有不同波前发散量的图像光输出。因此，在一些实现中，特定的耦入区域可以与特定波导相关联(以将光耦入该波导中)，并且还可以与该波导内的特定耦出区域相关联(以朝向相关联的耦出区域引导光)。
将光引导到耦出区域
显示系统可以通过识别输出图像光的区域并将图像光引导到该耦出区域来选择性地将光引导到显示器的一个或多个耦出区域。图15示出了用于将光引导到显示器的耦出区域的示例光引导过程3000。
继续参考图15，在框3002，显示系统可以确定虚拟对象在显示器上的期望位置，显示器可以包括具有观看区域的波导，观看区域可以包括被分割成多个耦出区域的耦出元件。在显示系统是AR或VR系统的情况下，系统可以识别用户的3D环境中的期望和/或感知位置以显示虚拟对象，并确定显示器的区域中的相关联的位置。例如，显示系统的应用可以向显示系统发送指令，以在用户的物理环境中的指定位置显示虚拟对象，例如蝴蝶。显示系统可以确定指定位置对应于虚拟对象在显示器上的投影位置，例如显示器的右上角。例如，显示器上提供用于形成虚拟对象的图像光的区域可以对应于显示器的观看区域和从虚拟对象到眼睛的瞳孔的预期光路之间的预期相交。
显示器上的投影位置可以包括能够在其上投影虚拟对象的显示器的整个区域。例如，如果虚拟对象是可能占据用户的大部分视场的大对象，例如树，则期望的位置可以包括显示器的大百分比区域。在另一示例中，如果虚拟对象是占据用户的小部分视场的小对象，例如蝴蝶，则期望的位置可以包括显示器的小百分比区域。在另一示例中，显示系统可以显示多于一个虚拟对象。在具有多于一个虚拟对象的示例中，显示系统可以确定显示虚拟对象的显示器的多个位置、区域或部分。
应当理解，3D空间中虚拟对象的表示可以考虑用户的眼睛姿势，并且用于显示虚拟对象的显示器的区域可以随着用户眼睛姿势的改变而随时间改变。例如，虚拟对象的位置可以被锚定到物理对象，并且虚拟对象在用户的视场内的位置可以随着用户的眼睛相对于用作锚的物理对象的移动而改变，这可以导致用于输出图像光的显示器的区域中的相应改变。如本文所讨论的，显示系统可以基于一个或多个眼睛跟踪过程来识别用户的眼睛姿势。在一些实现中，如本文所讨论的，为了提供虚拟对象在用户的3D环境中的位置处的感知，显示器可以从与该位置相关联的耦出元件上的位置输出光，使得光从对应于该位置的方向传播到眼睛。
在框3004，显示系统可以识别与确定的位置相关联的一个或多个耦出区域。例如，显示器可以包括多个耦出区域。显示器的一个或多个确定的位置或区域可以落在一个或多个耦出区域上。显示系统可以识别哪些耦出区域与显示器的与一个或多个所显示的虚拟对象相关的位置或区域相关联。
在框3006，显示系统可以发送指令以将光输出到所识别的一个或多个耦出区域。例如，显示系统可以向控制器发送指令，以将光投射到与所识别的耦出区域相关联的耦入区域。例如，耦入区域可以包括一个或多个光重定向结构，例如一个或多个衍射光栅。显示系统可以使用光注入系统选择性地将光引导到耦入区域，如参考图20-22所讨论的。
在一些其他实现中，显示系统可以根据用户的眼睛姿势来显示虚拟对象的不同表示。例如，显示系统可以基于例如虚拟对象与用户视场的中心(例如，注视点)的距离，利用中央凹(foveate)渲染技术来降低虚拟内容的分辨率，从而减少显示虚拟内容所涉及的计算工作量。例如，显示系统可以被配置为在虚拟对象与用户眼睛的注视点重合时以相对高(例如，最大)的分辨率显示虚拟对象，并且在虚拟对象位于用户视场的外围时以相对低的分辨率显示该虚拟对象。2018年9月27日公开的题为“DEPTH BASED FOVEATED RENDERINGFOR DISPLAY SYSTEMS(用于显示系统的基于深度的中央凹渲染)”的美国专利申请公开号2018/0275410中讨论了中央凹渲染技术，该专利申请公开的全部公开内容在此纳入作为参考。
使用眼睛姿势确定的区域确定的示例
如上文参考图15所述，可以至少部分地基于用户的眼睛姿势确定输出图像光的显示器的期望位置。例如，如上所述，期望位置可以对应于从用户环境中的虚拟对象的3D位置到用户眼睛的瞳孔的光的显示器的观看区域(例如，在波导上)中的交点。
或者，对于至少一些内容(例如，显示系统菜单项和警报，或未锚定到物理世界中的位置的其他内容)，可以简单地基于用户的眼睛姿势，选择输出图像光的显示器的区域。例如，显示系统菜单可以简单地绑定到用户的眼睛姿势，使得菜单保持在用户的视场内，而与眼睛姿势无关。
图16是使用眼睛姿势的耦出位置确定过程3100的流程图的示例。在框3102，显示系统可以从成像系统接收一个或多个眼睛图像。成像系统可以包括面向内的成像系统，例如与显示系统的显示器相关联的一个或多个相机。成像系统可以被配置为对用户的左眼和/或右眼进行成像。如下面参考图17A详细描述的，眼睛图像可以包括含有眼睛的一个或多个特征，例如眼睑、巩膜、虹膜和瞳孔的眼睛的图像。
在框3104，显示系统可以确定用户眼睛的眼睛姿势。例如，显示系统可以分析一个或多个眼睛图像以确定眼睛姿势。在一些示例中，眼睛姿势可以包括用户眼睛的旋转中心、注视方向、用户眼睛的其他取向、或它们的某种组合。如参考图17B和32C详细描述的，显示系统可以利用一个或多个眼睛跟踪模块来分析图像以识别眼睛姿势。
在框3106，显示系统可以应用利用眼睛姿势来确定与眼睛姿势相关联的显示区域以渲染虚拟内容。例如，显示系统可以利用一个或多个引擎来计算显示器上的显示位置，以在相对于眼睛瞳孔的不同位置处渲染虚拟内容，例如，沿着与用户眼睛的旋转中心或视角中心相交的矢量，如参考图17B和32C详细描述的。
用于眼睛跟踪的示例眼睛图像
图17A示出了具有眼睑3204、巩膜3208(眼睛的“白色”)、虹膜3212和瞳孔3216的眼睛3200的图像。曲线3216a示出了瞳孔3216和虹膜3212之间的瞳孔边界，并且曲线3212a示出了虹膜3212和巩膜3208之间的边缘边界。眼睑3204包括上眼睑3204a和下眼睑3204b。示出了处于自然静止(resting)姿势的眼睛3200(例如，其中，用户的脸部和凝视都朝向用户正前方的远处对象而定向)。眼睛3200的自然静止姿势可由自然静止方向3200指示，该方向是当处于自然静止姿势时与眼睛3200的表面正交的方向(例如，直接在图17A中示出的眼睛3200的平面之外)，并且在此示例中，位于瞳孔3216的中心。
当眼睛3200移动以朝着不同的对象看时，眼睛姿势将相对于自然静止方向3200发生变化。当前的眼睛姿势可以参考眼睛姿势方向3204来确定，该当前的眼睛姿势是与眼睛的表面正交(并且位于瞳孔3216的中心)但朝向眼睛当前所指向的对象的方向而定向。参考图17A中所示的示例坐标系，眼睛3200的姿势可以被表达为两个角度参数，其指示眼睛的眼睛姿势方向3204的方位角偏转(azimuthal deflection)和顶角偏转(zenithaldeflection)，均相对于眼睛的自然静止方向3200。为了说明的目的，这些角度参数可以被表示为θ(从基准方位角(fiducial azimuth)确定的方位角偏转)和φ(顶角偏转，有时也称为极角偏转(polar deflection))。在一些实施方式中，在眼睛姿势的确定中可以包括眼睛围绕眼睛姿势方向3204的角度滚动，并且可在以下分析中包括角度滚动。在其他实施方式中，用于确定眼睛姿势的其他技术可以使用例如俯仰、偏航和可选地滚动系统。
可使用任何适当的过程从视频获得眼睛图像，例如，使用可从一个或多个连续帧中提取图像的视频处理算法。可使用多种眼睛跟踪技术根据眼睛图像确定眼睛的姿势。例如，可通过考虑角膜对所提供的光源的透镜作用来确定眼睛姿势。任何合适的眼睛跟踪技术都可用于确定眼睛姿势。
眼睛跟踪系统示例
图17B示出了包括眼睛跟踪系统的可穿戴系统3230的示意图。在至少一些实现中，可穿戴系统3230可包括位于头戴式单元3232中的部件和位于非头戴式单元3234中的部件。非头戴式单元3234可以是例如皮带式部件、手持式部件、背包中的部件、远程部件等。将可穿戴系统3230的一些部件并入非头戴式单元3234中可帮助减少头戴式单元3232的尺寸、重量、复杂性和成本。在一些实施方式中，被描述为由头戴式单元3232和/或非头戴式3234的一个或多个部件执行的一些或全部功能可通过可穿戴系统3230中其他地方包括的一个或多个部件来提供。例如，可通过非头戴式单元3234的CPU 3246提供与头戴式单元3232的CPU3242相关联的以下描述的一些或全部功能，反之亦然。在一些示例中，可通过可穿戴系统3230的外围设备来提供一些或所有这样的功能。此外，在一些实施方式中，可通过一个或多个云计算设备或其他远程计算设备以类似于上面参考图9D所述的方式来提供一些或所有这样的功能。此外，应当理解，可穿戴系统3230可以对应于显示系统60(图9D)，并且在一些实现中，头戴式单元3232和非头戴式单元3234可以分别对应于本地数据处理模块140和远程处理模块150。
如图17B所示，可穿戴系统3230可以包括眼睛跟踪系统，该眼睛跟踪系统包括捕获用户的眼睛3240的图像的相机3270。如果需要，眼睛跟踪系统还可包括光源3260a和3260b(诸如发光二极管“LED”，其在一些实现中可以发射可见光，或者在其他实现中发射不可见光，例如红外光)。光源3260a和3260b可产生闪光(例如，在由相机3270捕获的眼睛的图像中出现的被用户的眼睛反射走)。光源3260a和3260b相对于相机3270的位置可以是已知的，并且因此，相机3270所捕获的图像内的闪光的位置可用于跟踪用户的眼睛(如下面将更详细地讨论的)。在至少一个实现中，可存在与用户的一只眼睛3240相关联的一个光源326和一个相机3270。在另一实现中，可存在与用户的两个眼睛3240相关联的一个光源326和一个相机3270。在其他实现中，可存在与用户的一只或每只眼睛3240相关联的一个或多个相机3270和一个或多个光源326。作为一个特定示例，可存在与用户的每只眼睛3240相关联的两个光源3260a和3260b以及一个或多个相机3270。作为另一示例，可存在与用户的每只眼睛3240相关联的三个或更多个光源(例如，光源3260a和3260b)以及一个或多个相机3270。在本文描述的一些实现中，可以使用两个或更多个相机来对给定的眼睛进行成像。
眼睛跟踪模块3244可以从眼睛跟踪相机324接收图像，并可以分析图像以提取各种信息段。作为示例，眼睛跟踪模块3244可以检测用户的眼睛姿势、用户的眼睛相对于眼睛跟踪相机3270(以及相对于头戴式单元3232)的三维位置、用户眼睛3240中的一只或全部两只聚焦的方向、用户的会聚深度(例如，用户聚焦的相对于用户的深度)、用户瞳孔的位置、用户角膜和/或角膜球的位置、用户眼睛中的一只或每一只的旋转中心、以及用户眼睛中的一只或每一只的视角中心、或它们的任何组合。眼睛跟踪模块3244可以使用下面结合图17C描述的技术来提取这样的信息。如图17B所示，在一些实现中，眼睛跟踪模块3244可以是使用头戴式单元3232中的CPU 3242实现的软件模块。
尽管图17B示出了一个相机3270对眼睛进行成像，但在一些实现中，如本文所讨论的，多个相机可以对眼睛成像，并用于测量，如角膜中心和/或旋转中心测量，或用于眼睛跟踪或其他目的。
来自眼睛跟踪模块3244的数据可被提供给可穿戴系统中的其他部件。例如，这样的数据可被发送到非头戴式单元3234中的部件，例如包括用于光场渲染控制器3248和配准观察器3250的软件模块的CPU 3246。
渲染控制器3248可使用来自眼睛跟踪模块3244的信息来调整由渲染引擎3252(例如，可以是GPU 3250中的软件模块并且可向显示器220提供图像的渲染引擎)向用户显示的图像。作为示例，渲染控制器3248可基于用户的旋转中心或视角中心来调整显示给用户的图像。特别地，渲染控制器3248可使用关于用户的视角中心的信息来模拟渲染相机(例如，从用户的视角模拟收集图像)，并且可基于模拟的渲染相机来调整显示给用户的图像。
“渲染相机”，有时也称为“针孔透视相机”(或简称为“透视相机”)或“虚拟针孔相机”(或简称为“虚拟相机”)，是用于在渲染可能来自虚拟世界中的对象数据库的虚拟图像内容中所使用的模拟相机。对象可具有相对于用户或穿戴者并且可能相对于围绕用户或穿戴者的环境中的真实对象的位置和朝向。换句话说，渲染相机可表示渲染空间内的透视图，用户或穿戴者将从该透视图观看渲染空间的3D虚拟内容(例如，虚拟对象)。渲染相机可由渲染引擎管理，以基于要呈现给所述眼睛的虚拟对象的数据库来渲染虚拟图像。可渲染虚拟图像，就像从用户或穿戴者的视角拍摄一样。例如，虚拟图像可被渲染为好像被具有特定内在参数集(例如，焦距、相机像素大小、主点坐标、偏斜/失真参数等)以及特定外在参数集(例如，相对于虚拟世界的平移分量和旋转分量)的针孔相机(对应于“渲染相机”)捕获一样。从具有渲染相机的位置和取向(例如，渲染相机的外在参数)的这种相机的视角拍摄虚拟图像。因此，系统可定义和/或调整内在和外在渲染相机参数。例如，该系统可定义特定外在渲染相机参数集，使得可以渲染虚拟图像，就像从具有相对于用户或穿戴者的眼睛的特定位置的相机的视角捕获虚拟图像一样，以提供看起来像从用户或穿戴者的视角来看的图像。该系统随后可动态地即时(on-the-fly)调整外在渲染相机参数，以便维持与所述特定位置的配准。类似地，可定义内在渲染相机参数并随时间动态调整。在一些实施方式中，图像被渲染为好像是从相机的视角捕获的，该相机具有在相对于用户或穿戴者的眼睛的特定位置(例如，视角中心或旋转中心或别处)处的光圈(例如，针孔)。
在一些实现中，系统可针对用户的左眼来创建或动态地重新定位和/或重新定向一个渲染相机，以及针对用户的右眼的另一渲染相机，因为用户的眼睛在物理上彼此分开并且，因此始终如一定位在不同的位置。因此，在至少一些实施方式中，从与观看者的左眼相关联的渲染相机的视角渲染的虚拟内容可通过头戴式显示器(例如，头戴式单元3232)左侧的目镜呈现给用户，以及从与用户的右眼相关联的渲染相机的视角渲染的虚拟内容可通过这种头戴式显示器右侧的目镜呈现给用户。在题为“METHODS AND SYSTEMS FORDETECTING AND COMBINING STRUCTURAL FEATURES IN 3D RECONSTRUCTION(用于在3D重建中检测和组合结构特征的方法和系统)”的美国专利申请No.15/274,823中提供了讨论在渲染过程中创建、调整和使用渲染相机的更多细节，其出于所有目的通过引用整体明确地并入本文。
在一些示例中，系统3230的一个或多个模块(或部件)(例如，光场渲染控制器3248、渲染引擎3250等)可基于用户的头部和眼睛的位置和取向(例如，分别基于头部姿势和眼睛跟踪数据确定的)确定渲染相机在渲染空间内的位置和取向。也就是说，系统3230可有效地将用户的头部和眼睛的位置和取向映射到3D虚拟环境内的特定位置和角度位置，将渲染相机放置和定向在3D虚拟环境内的特定位置和角度位置，以及为用户渲染虚拟内容，就像由渲染相机捕获的一样。在题为“SELECTING VIRTUAL OBJECTS IN A THREE-DIMENSIONAL SPACE(在三维空间中选择虚拟对象)”的美国专利申请No.15/296,869中提供了讨论现实世界到虚拟世界映射过程的更多细节，其出于所有目的通过引用整体明确地并入本文。作为示例，渲染控制器3248可通过选择在任何给定时间利用哪个深度平面(或多个深度平面)来显示图像来调整显示图像的深度。在一些实施方式中，可通过调整一个或多个内在渲染相机参数来执行这种深度平面切换。例如，当执行深度平面切换或调节时，光场渲染控制器3248可以调节渲染相机的焦距。如下面进一步详细描述的，可以基于用户的所确定的会聚或注视深度来切换深度平面。
配准观察器3250可使用来自眼睛跟踪模块3244的信息来标识头戴式单元3232是否正确地定位在用户的头部上。作为示例，眼睛跟踪模块3244可提供眼睛位置信息，诸如用户的眼睛的旋转中心的位置，该信息指示用户的眼睛相对于相机3270和头戴式单元3232的三维位置，并且眼睛跟踪模块3244可使用该位置信息来确定显示器220在用户的视场中是否被正确对准，或者头戴式单元3232(或头戴式受话器(headset))是否已经滑动或与用户的眼睛未对准。作为示例，配准观察器3250能够确定：是否头戴式单元3232已经沿用户的鼻梁向下滑落，从而将显示器220从用户的眼睛向远处和下面移动(这可能是不希望的)；是否头戴式单元3232已经沿用户的鼻梁向上移动，从而将显示器220从用户的眼睛向近处和向上移动；是否头戴式单元3232已经相对于用户的鼻梁向左或向右移动，是否头戴式单元3232已经抬高到用户的鼻梁上方，或者是否头戴式单元3232已经以这些或其他方式从期望的位置或位置范围移开。通常，配准观察器3250能够确定总体上头戴式单元3232以及尤其是显示器220是否被正确地定位在用户的眼睛前面。换句话说，配准观察器3250可确定显示系统220中的左显示器是否与用户的左眼正确地对准，并且显示系统220中的右显示器是否与用户的右眼正确地对准。配准观察器3250可通过确定头戴式单元3232是否被定位和定向在相对于用户的眼睛的位置和/或取向的期望范围内来确定头戴式单元3232是否被正确地定位。
在至少一些实现中，配准观察器3250可以告警、消息或其他内容形式生成用户反馈。可将这样的反馈提供给用户以告知用户头戴式单元3232的任何未对准，以及关于如何校正未对准的可选反馈(诸如以特定方式调整头戴式单元3232的建议)。
配准观察器3250可能使用的配准观察和反馈技术示例在2020年2月25日发布的题为“PERIOCULAR TEST FOR MIXED REALITY CALIBRATION(用于混合现实校准的周期性测试)”的美国专利号10573042和2019年7月18日公开的题为“DISPLAY SYSTEMS AND METHODSFOR DETERMINING REGISTRATION BETWEEN A DISPLAY AND A USER'S EYES(用于确定显示器和用户眼睛之间的配准的显示系统和方法)”的美国专利申请公开号2019/0222830中进行了描述，这两个专利申请的全部内容在此纳入作为参考。
用于眼睛姿势确定的眼睛跟踪模块的示例
图17C示出了可用于确定眼睛姿势的示例眼睛跟踪模块614的框图。如图17C所示，眼睛跟踪模块614可包括各种不同的子模块，可提供各种不同的输出，并且可利用各种可用数据来跟踪用户的眼睛。作为示例，眼睛跟踪模块614可利用可用数据，包括眼睛跟踪外在和内在参数(extrinsics and intrinsics)，诸如眼睛跟踪相机3270相对于光源326和头戴式单元602的几何布置；假设的眼睛尺寸3304，诸如用户的角膜曲率中心与用户的眼睛的平均旋转中心之间的典型距离约为4.7mm，或用户的旋转中心与视角中心之间的典型距离；以及每用户的校准数据3306，诸如特定用户的瞳孔间距离。眼睛跟踪模块614可能使用的外在参数、内在参数和其他信息的其他示例在2017年4月26日提交(律师案号MLEAP.023A7)，2019年5月21日作为美国专利号10,296,792发布的题为“IRIS BOUNDARY ESTIMATIONUSING CORNEA CURVATURE(使用角膜曲率的虹膜边界估计)”的美国专利申请号15/497,726中进行了描述，该申请的全部内容在此纳入作为参考。
图像预处理模块3280可从眼睛相机(诸如眼睛相机3270)接收图像，并且可对接收到的图像执行一个或多个预处理(例如，调节)操作。作为示例，图像预处理模块3280可对图像应用高斯模糊，可对图像进行下采样到较低的分辨率，可应用非锐化掩模，可应用边缘锐化算法，或者可应用其他合适的滤波器来帮助对来自眼睛相机3270的图像中的闪光、瞳孔或其他特征的后期检测、定位和标记。图像预处理模块3280可应用低通滤波器或形态滤波器(例如开口滤波器)，这些滤波器可去除诸如来自瞳孔边界516a(参见图5)的高频噪声，从而去除了可能妨碍瞳孔和闪光确定的噪声。图像预处理模块3280可将预处理后的图像输出给瞳孔标识模块3282以及闪光检测和标记模块3284。
瞳孔标识模块3282可从图像预处理模块3280接收预处理的图像，并且可标识那些图像中包括用户的瞳孔的区域。在一些实现中，瞳孔标识模块3282可在来自相机3270的眼睛跟踪图像中确定用户的瞳孔的位置的坐标或中心或形心(centroid)的坐标。在至少一些实现中，瞳孔标识模块3282可标识眼睛跟踪图像中的轮廓(例如，瞳孔虹膜边界的轮廓)，标识轮廓矩(例如，形心)，应用爆炸形(starburst)瞳孔检测和/或Canny边缘检测算法，基于强度值拒绝异常值，标识子像素边界点，校正眼睛相机扭曲(例如，由眼睛相机3270捕获的图像中的扭曲)，应用随机抽样一致(RANSAC)迭代算法以将椭圆适配到眼睛跟踪图像中的边界，对图像应用跟踪滤波器，以及标识用户瞳孔形心的子像素图像坐标。瞳孔标识模块3282可向闪光检测和标记模块3284输出瞳孔标识数据，该瞳孔标识数据可指示预处理图像模块3282的哪些区域被标识为示出了用户的瞳孔。瞳孔标识模块3282可向闪光检测模块3284提供每个眼睛跟踪图像内用户的瞳孔的2D坐标(例如，用户的瞳孔的形心的2D坐标)。在至少一些实现中，瞳孔标识模块3282还可向坐标系归一化模块3288提供相同种类的瞳孔标识数据。
瞳孔标识模块3282可利用的瞳孔检测技术在2017年2月23日公开的美国专利公开号2017/0053165和2017年2月23日公开的美国专利公开号2017/0053166中进行了描述，其每个全部内容均通过引用整体并入本文。
闪光检测和标记模块3284可从模块3280接收预处理的图像，并且从模块3282接收瞳孔标识数据。闪光检测模块3284可使用该数据在示出用户的瞳孔的预处理图像的区域内检测和/或标识闪光(例如，来自光源326的光从用户的眼睛的反射走)。作为示例，闪光检测模块3284可搜索眼睛跟踪图像内的明亮区域(有时在本文中称为“团迹(blob)”或局部强度最大值)，其在用户的瞳孔附近。在至少一些实现中，闪光检测模块3284可重新缩放(例如，放大)瞳孔椭圆以包含附加的闪光。闪光检测模块3284可按大小和/或强度过滤闪光。闪光检测模块3284还可确定眼睛跟踪图像内的每个闪光的2D位置。在至少一些示例中，闪光检测模块3284可确定闪光相对于用户的瞳孔的2D位置，其也可称为瞳孔闪光矢量。闪光检测和标记模块3284可标记闪光并将带有标记的闪光的预处理图像输出给3D角膜中心估计模块3286。闪光检测和标记模块3284还可传递数据，例如来自模块3280的预处理图像和来自模块3282的瞳孔标识数据。在一些实现中，闪光检测和标记模块3284可以确定哪个光源(例如，来自包括红外光源326a和326b的系统的多个光源)产生每个识别的闪光。在这些示例中，闪光检测和标记模块3284可以用标识相关联的光源的信息来标记闪光，并将具有标记的闪光的预处理图像输出到3D角膜中心估计模块3286。
由诸如模块3282和3284之类的模块执行的瞳孔和闪光检测可使用任何合适的技术。作为示例，可将边缘检测应用于眼睛图像以标识闪光和瞳孔。边缘检测可通过各种边缘检测器、边缘检测算法或滤波器来应用。例如，可将Canny边缘检测器应用于图像，以检测诸如图像的线条中的边缘。边缘可包括沿着线定位的对应于局部最大导数的点。例如，可使用Canny边缘检测器来定位瞳孔边界516a(参见图5)。在确定了瞳孔的位置的情况下，可使用各种图像处理技术来检测瞳孔116的“姿势”。确定眼睛图像的眼睛姿势也可称为检测眼睛图像的眼睛姿势。姿势也可称为凝视、指向方向或眼睛的取向。例如，瞳孔可能正在向左看向对象，并且瞳孔的姿势可被分类为向左姿势。可使用其他方法来检测瞳孔或闪光的位置。例如，可使用Canny边缘检测器将同心环放置在眼睛图像中。作为另一个示例，可使用积分微分算子来找到虹膜的瞳孔或角膜缘边界。例如，可使用Daugman积分微分算子、Hough变换、或其他虹膜分割技术以返回估计瞳孔或虹膜的边界的曲线。
3D角膜中心估计模块3286可从模块3280、3282、3284接收包括检测到的闪光数据和瞳孔标识数据的预处理图像。3D角膜中心估计模块3286可使用这些数据来估计用户的角膜的3D位置。在一些实现中，3D角膜中心估计模块3286可估计眼睛的角膜曲率中心或用户的角膜球的3D位置，例如，具有通常与用户的角膜共同延伸的表面部分的假想球的中心。3D角膜中心估计模块3286可将指示角膜球和/或用户的角膜的估计的3D坐标的数据提供给坐标系归一化模块3288、光轴确定模块3292和/或光场渲染控制器618。3D角膜中心估计模块3286的操作的更多细节在本文中结合图11-16C提供。2017年4月26日提交的美国专利申请No.15/497,3296(代理人案号MLEAP.023A7)(其全部内容通过引用合并于此)中讨论了用于估计眼睛特征(例如角膜或角膜球)的位置的示例技术，其可由本公开的可穿戴系统中的3D角膜中心估计模块3286和其他模块使用。
坐标系归一化模块3288可可选地(如其虚线轮廓所示)被包括在眼睛跟踪模块614中。坐标系归一化模块3288可从3D角膜中心估计模块3286接收指示用户的角膜的中心(和/或用户的角膜球的中心)的估计的3D坐标，并且还可从其他模块接收数据。坐标系归一化模块3288可归一化眼睛相机坐标系，这可帮助补偿可穿戴设备的滑动(例如，头戴式部件从其在用户的头部上的正常静止位置的滑动，这可由配准观察器620标识)。坐标系归一化模块3288可旋转坐标系以将坐标系的z轴(例如，聚散深度轴)与角膜中心(例如，如3D角膜中心估计模块3286所指示的)对准，并且可平移相机中心(例如，坐标系的原点)到距角膜中心的预定距离(诸如30mm)处(例如，模块3288可取决于是否确定眼睛相机3270比预定距离更近或更远而放大或缩小眼睛跟踪图像)。通过该归一化过程，眼睛跟踪模块614能够在眼睛跟踪数据中建立一致的取向和距离，而相对独立于用户的头上的头戴式受话器定位的变化。坐标系归一化模块3288可向3D瞳孔中心定位器模块3290提供角膜的中心(和/或角膜球)的3D坐标、瞳孔标识数据和预处理的眼睛跟踪图像。
3D瞳孔中心定位器模块3290可在归一化或非归一化坐标系中接收数据，包括用户的角膜(和/或角膜球)的中心的3D坐标、瞳孔位置数据和预处理的眼睛跟踪图像。3D瞳孔中心定位器模块3290可分析此类数据以确定用户的瞳孔的中心在归一化或非归一化的眼睛相机坐标系中的3D坐标。3D瞳孔中心定位器模块3290可基于以下在三个维度上确定用户的瞳孔的位置：瞳孔形心的2D位置(如模块3282所确定的)、角膜中心的3D位置(如模块3286所确定的)、假设的眼睛尺寸3304(例如，典型用户的角膜球的大小以及从角膜中心到瞳孔中心的典型距离)以及眼睛的光学特性(例如，角膜的折射率(相对于空气的折射率)或这些的任意组合。在2017年4月26日提交的美国专利申请No.15/497,3296(代理人案卷号MLEAP.023A7)中讨论了本公开的可穿戴系统中的3D瞳孔中心定位器模块3290和其他模块可利用的用于估计诸如瞳孔之类的眼睛特征的位置的技术，其全文通过引用并入本文。
光轴确定模块3292可从模块3286和3290接收数据，该数据指示用户的角膜和用户的瞳孔的中心的3D坐标。基于这样的数据，光轴确定模块3292可标识从角膜中心的位置(例如，从角膜球的中心)到用户的瞳孔的中心的矢量，其可定义用户的眼睛的光轴。作为示例，光轴确定模块3292可将指定用户的光轴的输出提供给模块3294、3298、3310和3312。
旋转中心(CoR)估计模块3294可从模块3292接收数据，该数据包括用户的眼睛的光轴的参数(例如，指示光轴在与头戴式单元602具有已知关系的坐标系中的方向的数据)。例如，CoR估计模块3294可估计用户的眼睛的旋转中心。旋转中心可以指示当用户的眼睛向左、向右、向上和/或向下旋转时，用户的眼睛围绕其旋转的点。尽管眼睛可能无法围绕奇异点(singular point)完美旋转，但假设奇异点可能就足够了。在至少一些实现中，CoR估计模块3294可通过从瞳孔的中心(由模块3290标识)或角膜的曲率中心(由模块3286标识)沿着光轴(由模块3292标识)向视网膜移动特定距离，来估计眼睛的旋转中心。该特定距离可以是假设的眼睛尺寸3304。作为一个示例，角膜的曲率中心与CoR之间的特定距离可以是大约4.7mm。可基于任何相关数据(包括用户的年龄、性别、视力处方、其他相关特征等)为特定用户更改此距离。
在至少一些实现中，CoR估计模块3294可细化其对用户的每只眼睛的旋转中心随时间的估计。举例来说，随着时间的流逝，用户最终将旋转眼睛(看向其他地方，看向更近的东西，看向更远的东西、或某个时候向左、向右、向上或向下看)，导致其每只眼睛的光轴发生偏移。CoR估计模块3294然后可分析由模块3292标识的两个(或更多)光轴，并定位那些光轴的3D相交点。CoR估计模块3294然后可确定旋转中心位于那个3D相交点。这样的技术可提供旋转中心的估计，其准确性随着时间的推移而提高。
可采用各种技术来提高CoR估计模块3294的准确性以及所确定的左眼和右眼的CoR位置。作为示例，CoR估计模块3294可通过找到针对各种不同的眼睛姿势随时间而确定的光轴的平均相交点来估计CoR。作为附加示例，模块3294可过滤随时间推移所估计的CoR位置或对其求平均，可计算随时间推移所估计的CoR位置的移动平均值，和/或可应用卡尔曼滤波器以及眼睛和眼睛跟踪系统的已知动力学来估计随时间推移的CoR位置。在一些实现中，可以采用最小二乘法来确定光轴的一个或多个交点。在这样的实现中，系统可以在给定的时间点将到给定的一组光轴的平方距离之和减小或最小化的位置识别为光轴交点。作为特定示例，模块3294可计算所确定的光轴相交点和假设的CoR位置(例如距眼睛的角膜曲率中心4.7mm)的加权平均值，使得确定的CoR可从假设的CoR位置(例如，在眼睛的角膜曲率中心后4.7mm处)随时间推移缓慢漂移至用户的眼睛内的稍有不同的位置，因为获得了用户的眼睛跟踪数据，从而使得能够每用户细化CoR位置。
在理想条件下，当用户移动其眼睛时(例如，当用户的眼睛围绕其旋转中心旋转时)，用户的眼睛相对于HMD的真实CoR的3D位置应随时间变化可忽略或最小的量。换言之，对于给定的一组眼睛运动，用户眼睛的真实CoR(相对于HMD)的3D位置在随时间的变化应假设小于沿着用户眼睛的光轴的任何其他点。因此，可以看出，沿着光轴的点离用户眼睛的真实CoR越远，随着用户移动眼睛，其3D位置在一段时间呈现的变化或方差就越大。在一些实现中，CoR估计模块3294和/或眼睛跟踪模块614的其他子模块可以利用该统计关系来提高CoR估计精度。在这样的实现中，CoR估计模块3294和/或眼睛跟踪模块614的其他子模块可以通过识别具有较小变化(例如，低方差或标准差)的CoR估计的变化来细化它们在一段时间对CoR 3D位置的估计。
作为第一示例，并且在CoR估计模块3294基于多个不同光轴(每个光轴与用户观看不同的方向相关联)的相交来估计CoR的实现中，CoR估计模块3294可以通过向每个光轴的方向引入公共偏移(例如，使每个轴偏移某一均匀的量)并确定偏移光轴是否在具有较小变化(例如，低方差或标准差)的交点中彼此相交来利用此统计关系(真实CoR应该具有低方差)。这可以校正计算光轴方向时的微小系统误差，并有助于将CoR的估计位置细化为更接近真实CoR。
作为第二示例，并且在CoR估计模块3294通过沿着光轴(或其他轴)移动特定距离(例如，CoR和角膜曲率中心之间的距离)来估计CoR的实现中，系统能够以减少或最小化估计的CoR位置的变化(例如，方差和/或标准差)的方式在一段时间内改变、优化、调整或以其他方式调节CoR和角膜曲率中心之间的特定距离(例如，对于在不同时间捕获的大量眼睛图像)。例如，如果CoR估计模块3294最初使用4.7mm(距角膜曲率中心并沿着光轴)的特定距离值来获得CoR位置估计，但是给定的用户眼睛的真实CoR位于眼睛的角膜曲率中心后面的4.9mm处(沿着光轴)，则由CoR估计模块3294获得的CoR位置估计的初始集合可以表现出相对大的变化量(例如，方差或标准差)。响应于检测到这种相对大的变化量(例如，方差或标准差)，CoR估计模块3294可以寻找并识别沿着光轴的具有较小变化量(例如，方差或标准差)的一个或多个点，可以将4.9mm识别为具有最小变化(例如，方差或标准差)的距离，并且因此将所使用的特定距离值调节为4.9mm。
CoR估计模块3294可以响应于检测到当前CoR估计具有相对较大变化量(例如，方差或标准差)而寻找具有较小变化量(例如，方差和/或标准差)的替代CoR估计，或者可以在获得初始CoR估计之后理所当然地寻找具有最小变化(例如，方差或标准差)的替代CoR估计。在一些示例中，这种优化/调节可以在一段时间内逐渐发生，而在其他示例中，可以在初始用户校准会话期间进行这种优化/调节。在这样的过程在校准过程期间进行的示例中，CoR估计模块3294不最初订阅/坚持任何假设的特定距离，而是可以在一段时间内收集一组眼睛跟踪数据，对该组眼睛跟踪数据执行统计分析，并且基于统计分析确定产生具有最小可能变化(例如，方差或标准差)量(例如，全局最小值)的CoR位置估计的特定距离值。
瞳孔间距离(IPD)估计模块3296可从CoR估计模块3294接收数据，该数据指示用户的左眼和右眼的旋转中心的估计3D位置。IPD估计模块3296然后可通过测量用户的左眼和右眼的旋转中心之间的3D距离来估计用户的IPD。通常，当用户注视光学无穷远时(例如，用户的眼睛的光轴基本上彼此平行)，用户的左眼的估计CoR和用户的右眼的估计CoR之间的距离可大致等于用户的瞳孔的中心之间的距离，这是瞳孔间距离(IPD)的典型定义。用户的IPD可由可穿戴系统中的各种部件和模块使用。例如，可将用户的IPD提供给配准观察器620，并用于评估可穿戴设备与用户的眼睛对准的程度(例如，根据用户的IPD，左和右显示器透镜是否根据用户的IPD正确分开了)。作为另一个示例，可将用户的IPD提供给聚散深度估计模块3298，并用于确定用户的聚散深度。模块3296可采用各种技术，例如结合CoR估计模块3294所讨论的技术，以提高估计的IPD的准确性。作为示例，IPD估计模块3294可应用滤波、随时间求平均、包括假设的IPD距离的加权平均、卡尔曼滤波器等，作为以准确的方式估计用户的IPD的一部分。
聚散深度估计模块3298可从眼睛跟踪模块614中的各个模块和子模块接收数据(如结合图17C所示)。具体地，聚散深度估计模块3298可采用指示以下的数据瞳孔中心的估计3D位置(例如，如上文所述的模块3290所提供)、一个或多个确定的光轴参数(例如，如上文所述的模块3292所提供)、旋转中心的估计3D位置(例如，如上文所述的模块3294所提供)、估计的IPD(例如，旋转中心的估计3D位置之间的欧几里得(Euclidean)距离)(例如，如上文所述的模块3296所提供)，和/或一个或多个确定的光轴和/或视轴参数(例如，如由下面描述的模块3292和/或模块3310所提供)。聚散深度估计模块3298可检测或以其他方式获得用户的聚散深度的度量，该度量可以是距用户的距离，在该距离处用户的眼睛在聚焦。例如，当用户注视他们前方三英尺处的对象时，用户的左眼和右眼的聚散深度为三英尺；以及当用户注视着远处的风景时(例如，用户的眼睛的光轴基本彼此平行，使得用户的瞳孔的中心之间的距离可大致等于用户的左眼和右眼的旋转中心之间的距离)，用户的左眼和右眼的聚散深度为无穷大。在一些实施方式中，聚散深度估计模块3298可利用指示用户的瞳孔的估计中心的数据(例如，如由模块3290提供的那样)来确定用户的瞳孔的估计中心之间的3D距离。聚散深度估计模块3298可通过将瞳孔中心之间的这种确定的3D距离与估计的IPD(例如，旋转中心的估计3D位置之间的欧几里得距离)进行比较来获得聚散深度的量度(例如，如以上所述的模块3296所指示的)。除了瞳孔中心之间的3D距离和估计的IPD之外，聚散深度估计模块3298可利用已知的、假设的、估计的和/或确定的几何形状来计算聚散深度。作为示例，模块3298可在三角计算中组合瞳孔中心之间的3D距离、估计的IPD和3D CoR位置，以估计(例如，确定)用户的聚散深度。实际上，根据估计的IPD对瞳孔中心之间这样确定的3D距离进行评估可用于指示用户当前的聚焦深度相对于光学无穷远的度量。在一些示例中，聚散深度估计模块3298可简单地接收或访问指示用户的瞳孔的估计中心之间的估计的3D距离的数据，以便获得这种聚散深度的度量。在一些实现中，聚散深度估计模块3298可通过比较用户的左和右光轴来估计聚散深度。特别地，聚散深度估计模块3298可通过定位距用户的距离来估计聚散深度，在该距离处用户的左和右光轴相交(或者用户的左和右光轴在例如水平面的平面上的投射相交)。通过将零深度设置为用户的左和右光轴被用户的IPD分开的深度，模块3298可在该计算中利用用户的IPD。在至少一些实现中，聚散深度估计模块3298可通过将眼睛跟踪数据与已知或导出的空间关系一起进行三角测量来确定聚散深度。
在一些实现中，聚散深度估计模块3298可基于用户的视轴(而不是他们的光轴)的交点来估计用户的聚散深度，这可提供对用户聚焦的距离的更准确的指示。在至少一些实现中，眼睛跟踪模块614可包括光轴到视轴映射模块3310。如结合图10在进一步细节中讨论的，用户的光轴和视轴通常不对准。视轴是一个人观看时所沿的轴，而光轴是由该人的晶状体和瞳孔的中心定义的，并且可穿过该人的视网膜的中心。特别地，用户的视轴通常由用户的中央凹(fovea)的位置定义，该位置可能会偏移用户的视网膜的中心，从而导致光轴和视轴不同。在这些实现中的至少一些实现中，眼睛跟踪模块614可包括光轴到视轴映射模块3310。光轴到视轴映射模块3310可校正用户的光轴和视轴之间的差异，并向可穿戴系统中的其他部件(例如，聚散深度估计模块3298和光场渲染控制器618)提供关于用户的视轴的信息。在一些示例中，模块3310可使用假设的眼睛尺寸3304，包括在光轴和视轴之间向内(经鼻地，朝向用户的鼻子)大约5.2°的典型偏移。换句话说，模块3310可将用户的左光轴(经鼻地)向鼻子向右移位5.2°，并且将用户的右光轴(经鼻地)向鼻子向左移位5.2°，以便估计用户的左和右光轴的方向。在其他示例中，模块3310可在将光轴(例如，如上述模块3292所指示的)映射到视轴中时利用每用户校准数据3306。作为附加的示例，模块3310可使用户的光轴经鼻地在4.0°至6.5°之间移位、在4.5°至6.0°之间移位、在5.0°至5.4°之间移位等等，或者由这些值中的任何一个形成的任何范围。在一些布置中，模块3310可至少部分地基于特定用户的特征(例如，他们的年龄、性别、视力处方或其他相关特征)来应用移位，和/或可至少部分地基于针对特定用户的校准过程来应用移位(例如，以确定特定用户的光-视轴偏移)。在至少一些实现中，模块3310还可移位左和右光轴的原点以对应于用户的CoP(由模块3312确定)而不是对应于用户的CoR。
(当提供时)可选的视角中心(CoP)估计模块3312可估计用户的左和右视角中心(CoP)的位置。CoP可以是可穿戴系统的有用位置，并且在至少一些实现中，是瞳孔正前方的位置。在至少一些实现中，CoP估计模块3312可基于用户的瞳孔中心的3D位置、用户的角膜曲率中心的3D位置或这样的合适的数据或任何组合来估计用户的左和右视角中心的位置。作为示例，用户的CoP可在角膜曲率中心前方大约5.01mm(例如，在朝向眼睛的角膜并且沿着光轴的方向上距角膜球中心5.01mm)并且可沿光轴或视轴在用户的角膜的外表面后方约2.97mm处。用户的视角中心可在他们的瞳孔的中心正前方。例如，用户的CoP可距用户的瞳孔小于大约2.0mm，距用户的瞳孔小于大约1.0mm，或者距用户的瞳孔小于大约0.5mm，或者这些值之间的任何范围。作为另一个示例，视角中心可对应于眼睛的前房(anteriorchamber)内的位置。作为其他示例，CoP可距用户瞳孔在1.0mm与2.0mm之间，大约1.0mm，在0.25mm与1.0mm之间，在0.5mm与1.0mm之间，或者在0.25mm与0.5mm之间。
本文描述的视角中心(作为渲染相机的针孔的潜在期望位置和用户的眼睛中的解剖位置)可以是用于减少和/或消除不期望的视差偏移的位置。特别地，用户的眼睛的光学系统非常近似于由透镜前面的针孔形成的理论系统，投射到屏幕上，且针孔、透镜和屏幕大致分别对应于用户的瞳孔/虹膜、晶状体和视网膜。此外，可期望当距用户的眼睛不同距离的两个点光源(或对象)围绕针孔的开口刚性旋转(例如，沿等于他们距针孔的开口的距离的曲率半径旋转)时，几乎没有或没有视差偏移。因此，似乎CoP应该位于眼睛的瞳孔的中心(并且在某些实现中可使用这种CoP)。但是，人眼除晶状体和瞳孔的针孔外，还包括角膜，该角膜向传播到视网膜的光赋予附加的光焦度。因此，在此段中描述的理论系统中，针孔的解剖等同物可以是位于用户的眼睛的角膜的外表面与用户的眼睛的瞳孔或虹膜的中心之间的用户的眼睛区域。例如，针孔的解剖等同物可对应于用户的眼睛的前房内的区域。由于本文讨论的各种原因，可能需要将CoP设置为用户的眼睛的前房内的此类位置。
如上所述，眼睛跟踪模块614可向可穿戴系统中的其他部件(诸如光场渲染控制器618和配准观察器620)提供数据，诸如左眼和右眼旋转中心(CoR)的估计3D位置、聚散深度、左眼和右眼光轴、用户的眼睛的3D位置、用户的左和右角膜曲率中心的3D位置、用户左和右瞳孔中心的3D位置、用户左和右视角中心的3D位置、用户的IPD等。眼睛跟踪模块614还可包括检测并生成与用户的眼睛的其他方面相关联的数据的其他子模块。作为示例，眼睛跟踪模块614可包括每当用户眨眼时提供标志或其他告警的眨眼(blink)检测模块，以及每当用户的眼睛扫视(例如，快速将焦点移至另一点)时提供标志或其他告警的扫视检测模块。
其他眼睛跟踪和确定旋转中心的方法也是可能的。因此，眼睛跟踪模块614可以是不同的。例如，在以下描述的眼睛跟踪模块的各种实现中，基于多个角膜曲率中心值来确定旋转中心的估计。在一些实现中，例如，如参考图17A-19所讨论的，眼睛跟踪模块614可以通过确定可能针对不同的眼睛姿势拟合到多个角膜曲率中心的表面的表面法向矢量之间的收敛或相交来估计眼睛的旋转中心。然而，来自上文或本文其他地方描述的眼睛跟踪模块614的一个或多个特征可以包括在眼睛跟踪模块的其他实现中。
眼睛跟踪技术在2019年8月8日公开的题为“EYE CENTER OF ROTATIONDETERMINATION,DEPTH PLANE SELECTION,AND RENDER CAMERA POSITIONING IN DISPLAYSYSTEMS(眼睛旋转中心确定、深度平面选择、和显示系统中的渲染相机定位)”的美国专利申请公开号2019/0243558，以及2021年1月21日公开的题为“EYE CENTER OF ROTATIONDETERMINATION WITH ONE OR MORE EYE TRACKING CAMERAS(用一个或多个眼睛跟踪相机确定眼睛旋转中心)”的国际公开号WO 2021/01166(律师案号MLEAP.256WO；优先于2019年7月16日提交的美国临时申请号62/874867)中进行了讨论，上述每个专利申请的全部公开内容在此纳入作为参考。
示例光注入系统
如上文参考图15所述，显示系统可识别用于接收待输出的图像光的一个或多个耦出区域。此外，如上所述，可以确定眼睛姿势，以便于确定适当的耦出区域以选择耦出图像光。一旦确定了适当的一个或多个耦出区域，显示系统便可以被配置为确定光到一个或多个耦出区域的适当路径。例如，功能性地将光引导到一个或多个特定的光耦出区域可以涉及将图像光引导到与那些耦出区域唯一相关联的耦入区域中。
图18是示例光引导过程3320的流程图，该过程可用于将光引导到显示器的所确定的耦出区域。在框3322，显示系统可以确定将光引向显示器的耦入区域。例如，耦入区域可以包括与显示器上的期望渲染位置相关联的耦入区域。期望渲染位置可以基于如参考图16所述的确定过程来确定。在一些示例中，耦入区域可以是耦入光学特征(如耦入光栅)的区域、组、阵列或其他组合。如图19所示，显示器的耦入区域可以包括沿显示器的一部分布置的耦入特征布置。在框3322，显示系统可以确定将光引导到耦入区域，以使得光被引导到适当的相关联的耦出区域，以形成显示器上的感知图像的至少一部分。
在框3324，显示系统可以确定要向用户显示的图像。图像可以包括要在用户的环境中显示的虚拟内容的表示，并且图像可以包括虚拟内容的一部分或虚拟内容的全部。例如，显示系统可以接收显示树的指示。显示系统可以确定要投影到所确定的耦入区域中的树的表示或者要投影到所确定的耦入区域的树的一部分的表示。在一些示例中，显示系统可以分解(break up)落在显示器的观看区域的多个耦出区域上的图像或虚拟对象的表示。为了在这种情况下显示虚拟对象的全部效果，显示系统可以分解图像，使得投影到显示器的第一区域中的图像的一部分的光包含渲染期间与该区域相关联的部分的图像。在一些示例中，图像可以包含虚拟对象的表示的多个部分，这些部分重叠一定量，以防止在跨显示器的区域而显示大对象时出现渲染间隙。
在框3326，显示系统可以发送将光引导到耦入区域的指令。如上所述，引导的光可以包括图像信息，用于形成从与该耦入区域相关联的显示器的耦出区域显示的图像。显示系统可以利用一个或多个光注入系统来将光引导到耦入区域。例如，如图19所示，显示系统可以包括控制器3402、光注入系统3404、波导3412、和相机3408。控制器3402可以向光注入系统3404发送指令，以将光3410引导或注入到所选择的耦入区域，例如波导3412上的耦入区域3414A、3414B或3414C。如上所述，参考图16-图17C，显示系统可以基于例如用户的眼睛姿势确定将光注入耦入区域3414A、3414B、3414C或与耦入区域相关联的耦入光学元件3416A、3416B、3416C中的哪一个。用户的眼睛姿势可以由显示系统使用来自一个或多个相机3408的图像来确定，相机3408被配置为对用户的至少一只眼睛进行成像。注入的光可以通过与显示器相关联的一个或多个波导向相关联的耦出区域3418A、3418B、3418C传播。耦出区域3418A、3418B、3418C中的一个或多个耦出光学元件可以朝向用户的眼睛3406输出光。应当理解，耦入区域3414A、3414B、3414C可以对应于由参考标号1005、700、710和720以及各种后缀标识的任何耦入区域(例如，见图11A和14B)。
控制器3402可以包括一个或多个软件引擎，用于执行本文描述的过程和功能。软件引擎可以包括用于执行如本文所讨论(并且在流程图中示出)的过程的编程指令，以引导光注入系统向显示器的区域注入光。引擎可以由与显示系统相关联的一个或多个硬件处理器执行。编程指令可以存储在与显示系统相关联的存储器中。编程指令可以用C、C++、JAVA或任何其他合适的编程语言实现。在一些实现中，包括引擎的控制器3402的部分中的一些或全部可以在诸如ASIC和FPGA之类的专用电路中实现。控制器3402的功能的一些方面可以通过网络在服务器上远程执行。因此，控制器3402可以用上面参考图6和9D描述的硬件组件(例如，控制器560、处理模块140和/或处理模块150)来实现。
光注入系统可以是用于选择性地将光引向期望区域的任何合适的系统。例如，如图20A-20D所示，光注入系统可以包括可移动注入机构，例如扫描光纤注入器。在另一示例中，如图21A-21D所示，光注入系统可以包括一个或多个可移动反射镜以引导光。附加地或替代地，光注入系统可以使用一个或多个固定注入系统，例如形成SLM的不同位置处的不同耦入区域的图像的系统，如参考图22详细描述的。然而，尽管可以讨论示例光注入系统的细节，但是显示系统可以利用任何数量或组合的光注入系统来将光引导到所确定的耦入区域。
机械驱动的光注入系统示例
在一些实现中，光注入系统3404(图19)可以采用可移动注入器系统的形式。可移动注入器系统可以包括一个或多个组件，这些组件被配置为物理地移动光学组件，以便将光引向期望的位置，例如波导3412上的耦入区域3414A、3414B、3414C。图20A-20D和21A-21B示出了两个可移动注入系统示例。
图20A-20D示出了包括至少一个扫描光纤注入器3527的示例可移动注入系统3500的实现。应当理解，可移动注入系统3500可对应于光注入系统3404(图19)。扫描光纤注入器3527可以包括至少一个光发射器3528和使光纤3542移动的至少一个致动器3540。来自光纤3542端部的光3501可以通过光学器件3534向波导3526'中的耦入区域3510A'或3510B'传播。在一些示例中，如图20A所示，光学器件3534可以是准直光学器件，其被配置为接收从光纤3542扇出的光，并在光传播到耦入区域3510A'或3510B'之前准直光。
准直光学器件可以采取各种形式，并且可以包括一个或多个透镜结构。在一些示例中，如图20B所示，光学器件3534可以包括双凸(lenticular)透镜，其中包括多个透镜3534L'、3534L”(例如，小透镜阵列)。多个透镜中的每一个可以被配置为向相关联的耦入区域3510A'或3510B'提供准直光。在一些示例中，如图20C所示，光学器件3534可以包括用于准直入射光的准直透镜结构3534C和用于将准直光传播到耦入区域3510A'或3510B'的投影透镜结构3534P。更一般地，可以理解，光学器件3534可以包括各种透镜结构的组合，以执行向多个耦入区域(例如，耦入区域3510A'或3510B')提供准直光的功能。在一些示例中，如图20D所示，投影光学器件3534可以包括准直透镜结构3534C和投影透镜结构3534P，其包括凸透镜3534P'和双凸透镜，其包括多个透镜3534L'、3534L”。应当理解，也可以考虑透镜的其他组合。
再次参考图20A-20D，致动器3540可使光纤3542以已知速度沿着预定义路径(例如，圆形路径)移动。因此，处理模块3638可以被配置为使光从光纤3542的端部传播出与光纤3542的移动同步，使得图像光在期望的光输出位置处传播出光纤3542，这又与要显示的图像同步。
在一些实现中，光源3528可以被形成在光投射系统的图像平面上的虚拟光源替代。光投射系统可以包括致动器，该致动器能够使光束在图像平面上与虚拟光源对应的区域上扫描。如本文所讨论的，为了模拟激活光源3528的分立发光区域的能力，由投射系统输出的光与致动器的运动同步，以使光在特定时间输出到图像平面上期望的位置。优选地，致动器能够在图像平面上扫描光束的速率足够高，使得可以在显示任何给定瞳孔内图像的时间段(timeframe)期间访问图像平面上的所有期望的光输出位置。例如，在显示特定图像的时间量期间，致动器优选地能够在图像平面上与虚拟2D光源相对应的区域上至少一次，优选地多次扫描光束。
图21A和21B示出了另一示例可移动注入器系统3600，该系统包括至少一个扫描镜系统，用于将光传播引导到不同位置。光注入系统3626可以包括可输出图像光的图像源3628和分别由致动器3631和3633移动的反射镜3630和3632。图像源3628的示例包括一个或多个光源和空间光调制器，空间光调制器将图像信息编码为穿过空间光调制器从光源到反射镜3632的光。
如图所示，光3501可以从图像源3628传播到反射镜3632，反射镜3632将光反射到反射镜3630，然后反射镜3630反射光，使光通过投影光学器件3634朝向波导3526'的耦入光学区域3510A'或3510B'传播。反射镜3630和3632可以是双轴检流计的一部分，其中致动器3631和3633沿着不同的轴(例如，正交轴)旋转反射镜，从而允许光被引导到沿着波导3526'的两个轴所限定的区域。在一些实现中，致动器3631、3633可以是电动机。投影光学器件3634可以是线性传输透镜，例如F-theta(F-θ或F-tanθ)透镜，并且可以被配置为在耦入光学区域(例如，3510A'或3510B')处将光投射到波导3526'上。在一些实现中，光注入系统3626还可以包括准直透镜3636，以在光到达反射镜3632之前准直右光发射器3628发射的光。在一些示例中，如图21A所示，投影光学器件3634可以包括各种透镜结构。在一些示例中，如图21B所示，投影光学器件3634可以包括凸透镜结构3634P'和双凸透镜，该双凸透镜包括多个透镜3634L'、3634L”，每个透镜被配置为将准直光引导到相关联的耦入光学区域，例如3510A'或3510B'。
继续参考图21A和21B，光注入系统3626优选地还包括处理模块3638或与处理模块3638通信，处理模块3638控制并同步来自光发射器3628的光的输出与致动器3631、3633的运动以及待形成的图像。例如，处理模块3638可以使反射镜3632、3630的移动与来自图像源3628的光的发射相协调。在一些实现中，反射镜3632、3630通过致动器3631、3633在反射镜被设计为在其上移动的轴上连续旋转或前后摆动。图像源3628发射的光(例如，光脉冲)与该运动同步(time with)，使得光在给定时间被引导到波导3526'上期望的位置，并且该位置和时间也基于要显示的图像被确定(例如，耦入区域与针对该特定耦入区域的图像的显示在时间上一致)。在一些实现中，通过在接通和关断状态之间切换图像源3628(例如，通过分别向光发射器供电或不供电)来控制来自图像源3628的光的发射。在一些其他实现中，可以使用选择性地允许或阻止光到达波导3526'的物理开关来机械地控制来自图像源3628的光的发射。
在一些其他实现中，可移动光注入系统3600不是包括两个反射镜3632和3630，而是仅包括被配置为沿着单个轴引导光的单个反射镜。例如，在诸如3510A'或3510B'之类的耦入区域沿单轴排列成行的布置中，可以利用这种配置。
一些可移动注入器技术在2018年4月26日公开的题为“SYSTEM AND METHOD FORPRESENTING IMAGE CONTENT ON MULIPLE DEPTH PLANES BY PROVIDING MULTIPLE INTRA-PUPIL PARALLAX VIEWS(通过提供多个瞳孔内视差视图在多个深度平面上呈现图像内容的系统和方法)”的美国专利申请公开号2018/0113311中进行了讨论，该专利申请的全部公开内容在此纳入作为参考。
无机械致动的电子可切换光输出示例
光注入系统3404可以包括注入器系统，其中输出光的位置在没有机械致动的情况下以电子方式切换。固定注入器系统可以包括一个或多个组件，其被配置为选择性地发射光，以便将光引向期望的位置(例如，波导3412上的耦入区域3414A、3414B、3414C)。
图22示出了示例固定注入系统3700，该固定注入系统包括空间光调制器(SLM)3736，该空间光调制器3736被配置为将光3501投射到波导3526'上的一个或多个耦入光学区域3710A'、3710B'。固定注入系统3700可以包括光发射器3728和空间光调制器(SLM)3736。光发射器3528的示例包括LED和激光器。在一些实现中，光纤电缆可以传输来自远程光发射器的光。如图所示，光3501可以从光发射器3728传播到SLM 3736，SLM 3736调制光以通过光学器件3734传播到波导3526'中的耦入光学区域3710A'或3710B'。在一些实现中，SLM 3736可以被配置为调制通过SLM传输的光。在一些其他实现中，SLM 3736可以被配置为反射和调制光。SLM的示例包括液晶显示面板、DLP反射镜阵列、LCoS等。光学器件3734可以是线性传输透镜，例如F-theta(F-θ或F-tanθ)透镜，并且可以被配置为将光聚焦到波导3526'上的耦入光学区域(例如3710A'或3710B')处。然而，也可以设想光学器件3734的其他配置，例如包括准直透镜、双凸透镜或其他透镜结构的某种组合的透镜系统。
SLM 3736可以包括面板显示器，面板显示器可以包括诸如LED或激光器之类的光发射器的阵列。为了选择传播到哪个耦入光学区域，例如3710A'或3710B'，控制器3738可以与光注入系统3700通信，以使SLM 3736激活SLM 3736中的某些像素、阵列或像素组，这些像素、阵列或者像素组可以与期望的耦入光学区域或者耦入区域相关联。在一些实现中，SLM的不同部分可用于形成用于耦入区域3710A'、3710B'中不同相关联的区域的不同图像。在一些实现中，光源SLM 1020上的激活发光像素组的大小可以提供更小或更大的图像。在一些其他实现中，可以修改光源SLM 3736上的发光区域的大小以控制显示系统的聚焦深度。
一些可移动注入器技术在2019年9月12日公开的题为“DISPLAY SYSTEM WITHLOW-LATENCY PUPIL TRACKER(具有低延迟瞳孔跟踪器的显示系统)”的国际专利公开WO号2019/173158中进行了讨论，该专利申请的全部公开内容在此纳入作为参考。
深度平面投影示例
诸如上文所述的显示设备的一些实现可以被配置为通过调节增强现实系统中包括的可变焦透镜元件的焦距来调节光(包括从显示系统投射的图像信息的光以及来自周围现实世界中的对象的入射光)的波前发散。如上所述，增强现实系统可以包括显示设备，该显示设备可以包括向用户或观看者(例如，图2的观看者或用户90)的眼睛投射光的多个堆叠波导(例如，对应于图9A和9B的多个或一组660的堆叠波导，或对应于图6的堆叠波导组件260)。在一些其他实现中，显示设备可以仅包括单个波导。因此，虽然在本文的公开的各个部分中提及了多个波导，但是应当理解，多个波导可以由单个波导代替。
如本文所述，来自波导的投射光可用于向观看者提供虚拟、增强现实图像信息。光可以被投射，使得用户感觉到光来自一个或多个不同的深度或来自距观看者的一个或多个距离。显示设备可以是光学透射的，使得用户可以通过显示设备看到周围环境中的现实世界对象。在一些实现中，波导可以被配置为具有固定的光焦度。为了提供投射光源自不同深度的外观，波导可以被配置为输出发散光束，具有对应于不同深度平面的不同发散量。
为了提供所显示的虚拟对象的多维感，显示系统可以在多个深度平面上显示图像。在耦入元件阵列的情况下，存在多种方法可以在多个深度平面上投射图像。这些系统包括图23所示的分离瞳孔(separated pupil)系统、图24所示的可变焦透镜系统、以及图25C和25D所示的被配置为使用多个瞳孔内图像近似连续波前的系统。
分离瞳孔深度平面投影示例
在一些示例中，深度平面投影可以通过向波导堆叠中的耦入光学元件投射图像来实现，如上文参考图9A-9C所述。在波导中的耦入区域阵列的情况下，深度平面投影可以通过例如为对应于多个深度平面的每个耦入元件提供多个耦入光学区域来实现。
图23示出了耦入区域3800的俯视图，该耦入区域包括多个耦入光学元件3810A、3810B、3810C。光发射器(未示出)可以向耦入元件3810A、3810B、3810C发射对应于多种颜色之一的波长的光。耦入光学元件3810A、3810B、3810C可以以与光发射器类似的方式间隔开地布置。例如，耦入光学元件3810A、3810B、3810C中的单个光学元件可以位于光发射器中的相关联的一个光发射器的直接光路中。多个耦入光学元件(如元件3810A、3810B、3810C)可以设置在波导堆叠中，以便为朝向包含耦入光学元件的区域3800投影的图像提供多深度平面投影。
在所示示例中，存在九个耦入光学元件3810。九个耦入光学元件3810可以被配置为在多个深度平面上投影具有多种颜色的单个图像。所示的九个耦入光学元件3810可以包括例如被配置为发射第一颜色(例如，红色)的光的三个元件、被配置为发射第二颜色(例如，绿色)的光的三个元件，以及被配置为发送第三颜色(例如，蓝色)的光的三个元件。然而，具有其他分组的其他数量的耦入光学元件是可能的。分组可以各自包括不同颜色的耦入光学元件(例如，每个分组可以具有用于第一颜色的一个耦入光学元件、用于第二颜色的一个耦入光学元件、以及用于第三颜色的一个耦入光学元件)，并且每个分组可以被配置为在特定深度平面上形成图像。例如，耦入光学元件3810形成三个组，每个组在三个深度平面中的相关联的一个上投射图像。然而，其他数量、布置和配置的耦入光学元件也是可能的，例如被配置为将三种分量颜色的光投射到两个深度平面上的六个耦入光学单元、被配置为将四种颜色的光投射到三个深度平面上的十二个耦入光学元件等。
在一些示例中，耦入区域可以被配置为使用时间复用在多个深度平面上以多种颜色投射光。例如，耦入元件可以包括多个耦入区域，这些耦入区域被配置为在多个深度平面上投射光。一个或多个光发射器可以被耦合到耦入元件，以在特定时间向耦入光学元件投射特定颜色的光。如果颜色投射之间的时间足够快，则得到的感知图像可以是具有投射到耦入光学元件的所有颜色的图像。
可变焦透镜配置示例
在一些示例中，可以使用可变焦透镜系统来实现深度平面投影。图24示出了可用于实现深度平面投影的示例可变焦透镜系统3900。
参考图24，在一些实现中，可以在波导与观看者的眼睛之间设置第一可变焦透镜元件，以对由波导输出的光的波前进行适当调节，从而允许观看者的眼睛正确地聚焦该光。然而，该第一透镜元件也处于从周围环境传播到观看者眼睛的光的路径中。结果，第一透镜元件可以改变来自周围环境的光的波前，从而导致观看者看到的世界中的像差。为了校正这种像差，第二可变焦透镜元件可以设置在多个堆叠波导的与第一可变焦透镜元件相对的一侧；即，第二可变焦透镜元件可以位于多个堆叠波导与周围现实世界之间，以调节来自周围环境中现实世界对象的光的波前。第二可变焦透镜元件可以被配置为补偿由第一可变焦透镜元件引起的像差。在一些实现中，第二可变焦透镜还可以被配置为补偿由波导引起的像差。
在一些实现中，第二可变焦透镜元件的焦点可以与第一可变焦透镜元件的焦点相逆或相反。例如，如果第一可变焦透镜元件具有正的光焦度，则第二可变焦透镜元件可以具有大小类似的负的光焦度。在一些其他实现中，为了补偿第一可变焦透镜元件的光焦度和中间波导的光焦度，第二透镜元件的光焦度可以与第一透镜元件和波导的总光焦度相反，并且具有与第一透镜元件和波导的总光焦度相似的大小。
在一些其他实现中，波导可能没有光焦度(例如，波导可能被配置为输出准直光)，并且第一可变焦透镜元件可以被配置为修改从波导发射的光的波前，以针对将被观看者解释为位于特定深度平面上的图像信息提供适当的发散量。应当理解，适当的发散量可以针对不同的观看者改变，因为用于将图像信息放置在特定深度平面上的光焦度将通过特定的差分来调节，从而考虑到观看者对于该深度平面的光学处方。在这样的实现中，第一和第二可变焦透镜元件之间的波导堆叠可以简单地由单个波导形成。
应当理解，第一和第二可变焦透镜元件可以提供给观看者的一只眼睛，而分别类似于第一和第二可变焦透镜元件的第三和第四可变焦透镜元件可以提供给观看者另一只眼睛。
图24示出了具有可变焦透镜元件和波导堆叠的示例显示系统(例如，增强现实显示系统)的示意图。应当理解，显示系统3910可以对应于显示系统250(图6)。第一可变焦透镜元件3907a和第二可变焦透镜元件3907b设置在波导堆叠3905的任一侧，并且第三可变焦透镜元件3908a和第四可变焦透镜元件3908b设置在波导堆叠3906的任一侧。
所示的各种波导3905a、3905b、3906a、3906b可以具有与图6的波导270、280、290、300、310和/或图9A和9B的波导670、680和690中的单个波导相似的特性和/或特征。波导堆叠3905、3906可以具有与图9A和9B的多个或一组660的堆叠波导或图6的堆叠波导组件260相似的特性和/或特征。在一些实现中，波导3905a、3905b、3906a、3906b可以包括光学元件，例如衍射光学元件，这些光学元件提供具有光焦度(例如，固定光焦度)的波导。例如，这些波导中的一个或多个可以具有在0屈光度和约5.0屈光度之间；在约0.5屈光度和约4.5屈光度之间；在约1.0屈光度和约4.0屈光度之间；在约1.5屈光度和约3.5屈光度之间，以及在约2.0屈光度和约3.0屈光度之间的范围内的光焦度或者具有这些范围或子范围内的任何值的光焦度。作为另一示例，在特定实现中，每个波导可以具有1.5屈光度的光焦度。
如上所述，来自光源3903或3904的提供图像信息(例如，虚拟内容)的光可以分别注入波导3905a或3906a，使得光通过全内反射传播通过这些波导中的每一个。传播的光可以通过耦出元件(例如，对应于图9A和9B的耦出元件800、810、839)从波导3905a(或波导3905b)投射到用户的眼睛3901。在一些实现中，光源3903、3904可以是光纤扫描设备(FSD)，其利用移动光纤来创建2D图像图案，如本文所公开的。FSD可以通过以各种图案(例如，光栅扫描、螺旋扫描、李萨如等)投射光来创建2D图像图案。在一些其他实现中，另如本文所公开的，光源3903a(和/或3903b)可以是例如其中将完整图像投射到波导上的图像投射系统。应当理解，来自光源3903a(和/或3903b)的光可以通过波导的边缘或通过波导的主表面注入波导堆叠3905。在波导堆叠包括多个波导的情况下，光源3903和/或3904可以被配置为将光注入这些波导中的多个波导，或者可以提供额外的光源，例如每个波导一个光源。
第一可变焦透镜元件3907a可以被设置在波导堆叠3905与用户的眼睛3901之间，第二可变焦透镜元件3907b可以被设置在波导堆叠3905与用户周围的现实世界之间。应当理解，眼睛3901可以对应于图6的观看者的眼睛210。类似地，第三可变焦透镜元件3908a可以被设置在波导堆叠3906与用户的眼睛3902之间，第四可变焦透镜元件3908b可以被设置在波导堆叠3906与用户周围的现实世界之间。
在一些实现中，第一和第二可变焦透镜元件3907a和3907b以及第三和第四可变焦透镜元件3908a和3908b可以是自适应光学元件。自适应光学元件可以动态地改变，例如，通过向其施加电信号，以改变入射到其上的波前的形状。在一些实现中，自适应光学元件可以包括透射光学元件，例如动态透镜(例如，液晶透镜、电激活透镜、具有移动元件的常规折射透镜、基于机械变形的透镜、电润湿透镜、弹性透镜、或具有不同折射率的多种流体)。通过改变自适应光学器件的形状、折射率或其他特性，入射到其上的波前可以被改变，例如以改变观看者眼睛的光焦点，如本文所述。
在一些实现中，可变焦透镜元件3907a、3907b、3908a、3908b可以包括夹在两个基板之间的液晶层。基板可以包括光学透射材料，例如玻璃、塑料、丙烯酸等。在一些实现中，基板可以是平坦的。在一些实现中，基板可以具有弯曲部分，使得基板的各个部分可以具有固定的光焦度。
在一些实现中，可变焦透镜元件3907a、3907b、3908a、3908b的光焦度可以通过调节通过例如一个或多个薄膜晶体管(TFT)和/或与液晶层和/或基板集成的电极施加到液晶层的电信号(例如，电流和/或电压)来改变。应当理解，液晶层中液晶物质的取向决定了该层的折射率。所施加的电信号设置液晶物质的取向，从而允许通过改变所施加的电信号来根据需要改变液晶层的折射率。在一些实现中，可变焦透镜元件3907a、3907b、3908a、3908b的光焦度可以在约±5.0屈光度之间变化(例如，在约-4.0屈光度和+4.0屈光度之间；在约-3.5屈光度和约+3.5屈光度之间，在约-3.0屈光度和约+3.0屈光度之间；在约-2.0屈光度与约+2.0屈光度之间；在约-1.5屈光度和约+1.5屈光度之间，包括这些范围或子范围中的任何值)。
有利地，可变焦透镜元件3907a、3907b、3908a、3908b可以具有与其各自相关联的波导堆叠3905、3906的波导的孔径基本匹配的宽孔径。在一些实现中，可变焦透镜元件3907a、3907b、3908a、3908b的孔径可以与波导堆叠3905、3906的波导的表面积基本相等(例如，在约±39％、约±15％、或约±10％内)。因此，可变焦透镜元件3907a、3907b、3908a、3908b和波导堆叠3905、2396将光传输到相关联的眼睛3901、3902的面积可以基本相等。
继续参考图24，第一和第三可变焦透镜元件3907a、3908a可以各自改变其光焦度，以分别调节从波导堆叠3905、3906的波导投射的光的波前，从而分别将该光适当地聚焦到眼睛3901、3902的视网膜上。如本文所述，第一和第三可变焦透镜元件3907a、3908a可在来自周围环境中的对象3909的入射光的波前中引起像差，从而降低通过第一可变焦透镜元件3907a观看的现实世界对象3909光学图像质量。第二和第四可变焦透镜元件3907b、3908b可以有利地补偿在观看对象3909时分别由第一和第三可变焦透镜元件3907a、3908a以及任何波导引入的像差。在一些实现中，第二和第四可变焦透镜元件3907b、3908b可以被配置为提供与分别由第一和第三可变焦透镜元件3907a、3908a以及相关联的波导堆叠3905、3906提供的光焦度相反的光焦度。在一些实现中，相反光焦度的大小使得对于每只眼睛3901、3902，显示系统3910的净光焦度等于眼睛所接近的深度平面处的眼睛的光学处方。由第一和第二可变焦透镜元件3907a和3907b提供的光焦度可以由电子硬件控制系统3911改变和控制。在一些实现中，电子硬件控制系统3911可以对应于图2的本地处理和数据模块140和/或远程处理模块150。
在一些实现中，增强现实显示系统3910可以被配置为确定用户眼睛的聚散度。第一和第二可变焦透镜元件3907a、3907b的光焦度可以基于眼睛3901、3902的会聚点来设置。第三和第四可变焦透镜元件3908a、3908b的光焦度也可以基于该会聚点来设置。应当理解，会聚点是眼睛3901、3902的视线会聚的空间中的点，并且可以对应于这些眼睛的生理适应目标。在一些实现中，可以例如基于眼睛3901、3902之间的分离的已知量和每只眼睛所形成的角度来计算该点距眼睛3901、3902的距离。一旦计算出该距离，就可以确定观看者针对该距离的适当校正。例如，显示系统3910可以用一个或多个光学处方来编程。在一些实现中，光学处方可以被存储在本地处理和数据模块140和/或远程数据库160中。眼睛3901、3902和会聚点之间的距离可以与该距离的适当校正相匹配，并且可以调节可变焦透镜元件3907a、3907b、3908a、3908b以提供校正。在一些实现中，眼睛3901、3902可以具有不同的处方校正，结果，多对可变焦透镜元件3907a、3907b和3908a、3908b可以提供不同的光焦度。
有利地，可变焦透镜元件3907a、3907b、3908a、3908b提供了大量可能的校正，因为它们的光焦度可以通过例如施加不同的电压来根据需要被调节。在一些实现中，每只眼睛的校正总次数可能是1、2、3或4以上。在一些实现中，每只眼睛的校正总次数可以等于显示系统3910被配置为在其上显示图像信息的深度平面的数量。应当理解，这些校正可以对应于光学处方，其可以针对距眼睛3901、3902不同距离处的对象来确定。例如，可以通过确定距眼睛3901、3902的四个逐渐更远的距离(例如，近距离、中近距离、中远距离、和远距离)处的屈光不正的校正来获得四个处方。在一些实现中，观看由波导堆叠3905输出的图像内容的可能校正的次数可能不同于观看周围环境中的对象3909时的可能的校正次数。
在一些实现中，可变焦透镜元件3907a、3907b、3908a、3908b的焦点或光焦度可各自基于用户眼睛3901、3904的所确定的聚散度来设置。例如，第一和第二可变焦透镜元件3907a和3907b的光焦度可以基于用户的眼睛3901的聚散度而改变，而无需具体参考其他透镜元件的光焦度。
在一些实现中，第一和第二可变焦透镜元件3907a、3907b中的一个或第三和第四可变聚焦元件3908a、3908b中的一个可被指定为主元件，而第一和第二可变焦透镜元件3907a、3907b或第三和第四可变聚焦元件3908a、3908b中的另一个可被指定为从元件。被指定为从元件的可变焦透镜元件可以被配置为跟随主可变焦透镜元件。在一些其他实现中，第二和第四可变焦透镜元件3907b、3908b可以从属于第一和第三可变焦透镜元件3907a、3908a，并且第一和第三可变焦透镜元件3907a、3908a的焦点可以基于用户的眼睛3901、3902的所确定的会聚点来设置。例如，如果波导3905a(和/或波导3905b)具有约1.5屈光度的光焦度，并且用户以2.0屈光度会聚，则第一可变焦透镜元件3907a可以具有+0.5屈光度的光焦度，而第二可变焦透镜元件3907b可以具有-0.5屈光度的光焦度。
可变焦透镜元件3907a、3907b、3908a、3908b的光焦度可以实时变化，并且可以优选地以等于或大于人类眼睛变化适应状态的速率来变化。优选地，第一和第二可变焦透镜元件可以在人类眼睛改变适应状态之前改变其光焦度，使得用户在接收针对给定会聚点的适当校正时不会体验到延迟。在一些实现中，第一和第二可变焦透镜元件的光焦度可以在小于约300ms、小于约275ms、或小于约250ms的时间内改变。电子硬件控制系统3911可以驱动可变焦透镜元件3907a、3907b、3908a、3908b，使得可变焦透镜元件3907a、3907b、3908a、3908b的光焦度可以同时改变。
可变焦透镜技术在2017年10月12日公布的题为“AUGMENTED REALITY SYSTEMSAND METHODS WITH VARIABLE FOCUS LENS ELEMENTS(具有可变焦透镜元件的增强现实系统和方法)”的美国专利申请公开号2017/0293145中进行了讨论，该专利申请的全部公共内容在此纳入作为参考。
使用多个瞳孔内图像的波前近似示例
已经发现，可以使用多个波前来近似连续波前，如图25A的波前4000。在一些示例中，可以通过使用在闪烁融合阈值内引导到眼睛中的多个离散瞳孔内图像来近似一个或多个期望深度平面处的连续波前来实现深度平面选择。
现在参考图25A，示出了在接收连续输入波前4000时，眼睛210的适应前和适应后状态。图a)示出了视觉系统将波前4000聚焦到视网膜211上之前的适应前状态。需要指出，焦点212不在视网膜211上。例如，如图所示，焦点212可以在视网膜211的前方。图b)示出了在人类视觉系统使观看者的眼睛210的瞳孔肌肉组织屈曲(flexe)以使波前4000聚焦到视网膜211上之后的适应后状态。如图所示，焦点212可以在视网膜211上。
图25B示出了在接收图25A的连续波前4000的逐段近似时，眼睛210的适应前和适应后状态。图25B的图a)示出了眼睛210的适应前状态，图b)示出了眼睛210的适应后状态。可以使用多个组成(constituent)波前1010a、1010b和1010c来形成近似，每个组成波前与单独的光束相关联。如本文所用，参考标号1010a、1010b和1010c可以指示光束和该光束的相关联的波前。在一些实现中，组成波前1010a和1010b可以是平面波前，例如由准直光束形成。如图b)所示，由组成波前1010a和1010b形成的波前近似1010由眼睛210聚焦到视网膜211上，焦点212在视网膜211上。有利地，适应前和适应后状态类似于由图25A所示的连续波前4000引起的状态。
应当理解，可以使用光学投射系统来近似连续发散波前，该光学投射系统将多个视差各异瞳孔内图像输出到眼睛中。图25C示出了眼睛调节由投射系统提供的有限焦距虚拟图像发出的发散波前。该系统包括具有焦距“F”和外部光阑的投影光学器件1020和空间光调制器4018。图像可以由空间光调制器1018形成，并且来自空间光调制器4018的包含图像信息的光可以通过投影光学器件4020被引导到眼睛210。可以选择空间光调制器4018和投影光学器件4020之间的间隔(小于F)，使得发散波前4000朝向眼睛210输出。如上文关于图25A所述，眼睛210然后可以将波前4000聚焦到视网膜211上。
继续参考图25C，示出了包括用于形成图25B的发散波前近似4010的投射系统4003的显示系统4001的示例。投射系统4003包括光源4026，光源4026被配置为将光4010a'和4010b'输出到空间光调制器4018，空间光调制器对光进行调制以形成显示相同对象或场景的稍微不同的视差视图的图像。然后，具有图像信息的调制光传播通过中继/投影光学器件4020，并作为光束4010a和4010b由中继/投影光学器件4020输出到眼睛210中。投射系统4003还可以包括透镜结构4014，该透镜结构可以被配置为将光4010a'和4010b'的发射中的空间差异转换为该光向空间光调制器4018传播时的角度差异。投射系统4003还可以包括偏振分束器4016，其被配置为1)将来自光源4026的光引导到空间光调制器4018；以及2)允许来自空间光调制器4018的调制光通过分束器4016传播回中继/投影光学器件4020。在一些实现中，显示系统4001可以包括眼睛跟踪设备4022，例如，相机，其被配置为监视眼睛的注视。如本文所讨论的，这种监视可用于确定观看者观看的方向，这可用于选择适合于该方向的图像内容，以及用于眼睛姿势确定。优选地，眼睛跟踪设备4022跟踪观看者的双眼，或者每只眼睛包括其自己相关联的眼睛跟踪设备。结果，可以跟踪观看者双眼的辐辏，并且可以确定眼睛的会聚点，以确定眼睛指向什么方向和什么距离。
应当理解，光源4026可以在不同的时间输出光4010a'和4010b'，空间光调制器4018可以在不同时间与光4010a'和4010b'形成不同的视差视图，并且如本文所讨论的，最终的光束4010a和4010b可以在不同时间呗注入眼睛210。
继续参考图25C，光源4026可以是2D光源，具有基本布置在平面上的多个选择性激活的光输出位置。在一些实现中，选择性激活的光输出位置可以是选择性激活的发光区域。例如，光源4026可以是发光二极管(LED)阵列，或是空间光调制器(例如，数字微镜设备，诸如数字光处理(DLP)设备、LCOS设备等)，其包含输出光的离散单元或光发射器的阵列。LED阵列的示例包括有机发光二极管(OLED)阵列和无机发光二极管(ILED)阵列，每个阵列都可以是微型显示器的一部分。在一些实现中，光源4026中的各个发光二极管和/或光调制器可以构成发光区域。在一些其他实现中，多组发光二极管和/或光调制器可以形成发光区域。在这样的实现中，不同发光区域的发光二极管和/或光调制器之间可能存在一些重叠，尽管这些区域因为未完全重叠而被认为是不同的。
在一些其他实现中，光源4026可以被配置为将光聚焦到图像平面上，以实际上在该图像平面上提供虚拟2D光源。图像平面上的不同位置可以被认为是不同的光输出位置，并且可以通过使用致动反射镜或光纤扫描仪引导来自光发射器的光通过图像平面上这些位置来激活这些位置。有关这种虚拟2D光源的更多细节在下面图19和20的讨论中提供。
在一些实现中，空间光调制器4018的示例包括硅上液晶(LCOS)面板。作为另一示例，在一些其他实现中，空间光调制器4018可以包括透射液晶面板或MEM设备，例如DLP。
继续参考图25C，显示系统4001还可以包括控制系统4024，用于确定显示系统提供的图像内容的时间和类型。在一些实现中，控制系统4024包括一个或多个硬件处理器，这些处理器具有存储用于控制显示系统4001的程序的存储器。例如，系统4024可以被配置为控制光源4026的发光区域的激活、空间光调制器4018的各个像素元件的致动、和/或显示系统4001对从眼睛跟踪设备4022接收的数据的解释和反应。优选地，系统4024包括计算模块4024a，该计算模块被配置为接收有关期望的深度平面或波前发散的输入，并计算要激活的适当的发光区域，以便形成针对期望深度平面或波阵面发散具有适当视差量的视差视图。此外，计算模块4024a可以被配置为确定空间光调制器4018的像素的适当致动以形成期望的视差视图的图像。系统4024还可以包括同步模块4024b，该同步模块被配置为将光源4026的特定发光区域的激活与空间光调制器4018的光调制同步，以形成用于提供对应于这些激活的发光区域的视差视图。此外，系统4024可以包括眼睛跟踪模块4024c，该眼睛跟踪模块从眼睛跟踪设备4022接收输入。例如，眼睛跟踪设备4022可以是被配置为对眼睛210进行成像的相机。基于由眼睛跟踪设备4022捕获的图像，眼睛跟踪模块4024c可以被配置为确定瞳孔的取向并外推眼睛210的视线。该信息可以电子的方式传送到计算模块4024a。计算模块4024a可以被配置为基于眼睛210的视线或注视(优选地还基于观看者的另一只眼睛的视线或注视)选择图像内容。
因为光源4026可以包括分立光发射器阵列，所以由光发射器形成的发光区域的形状和大小可以通过激活所选择的光发射器，根据需要来改变。例如，可以针对不同的视差视图来激活不同的发光区域。在一个示例中，细长的发光区域可以水平地间隔开，这对于仅水平视差驱动的适应来说是理想的。在另一示例中，圆形发光区域可以具有水平和垂直位移。在另一示例中，发光区域的亮度可能降低。在另一示例中，发光区域可以重叠。在另一示例中，发光区域可以形成阵列。因此，光源4026(图25C)可以包括二进制(简单地接通和关断)光发射器和/或结合灰度的光发射器(发射选择性可变强度的光)。在一些实现中，光源4026可以包括以非常高的速率切换的元件，其中包括超过系统4001的视差切换速率的速率。例如，光源4026可以具有光输出元件，其以比在不同时间显示不同的瞳孔内图像的实现中切换视差(瞳孔内)图像的速率更高的速率来打开和关闭光输出。
应当理解，可以通过适当选择隔开那些被激活以形成不同瞳孔内图像的光发射器的物理距离来近似不同的波前发散量。光源4026的光发射器可以引导来自不同角度的光通过投影光学器件，以提供视差各异瞳孔内图像，用于近似不同的波前发散量。在一些实现中，各个光源之间相对大的距离可以提供与相对近的深度平面对应的波前发散，而各个光源之间相对小的距离可以提供与相对远的深度平面对应的波前发散。
再次参考图25C，在一些实现中，控制系统4024可以包括两个部分：1)光场生成和2)因子(factored)光场优化。如本文所讨论的，为了近似波前，在空间光调制器4018上针对光源4026的每个激活的发光区域来显示适当的图像。应当理解，这些图像是在光场生成步骤期间创建的，其中从多个轻微偏移的视点渲染3D场景，这些轻微偏移的视点对应于激活的发光区域中的轻微偏移。例如，为了显示5x5光场，3D场景将从以网格图案排列的25个不同视点被渲染25次。网格图案中视点的位置将对应于激活的光源区域的位置，并且渲染的图像将对应于由空间光调制器所形成的图像。
可能需要增加由空间光调制器4018所形成的图像的亮度。有利地，利用包括光发射器阵列的光源4026允许形成具有各种形状和大小的发光区域，其可用于增加亮度。在一些实现中，可以通过增加激活的发光区域的大小来增加亮度，而不显著改变由空间光调制器4018形成的图像。计算模块4024a可以被配置为使用分解(factor)光场优化来确定激活的发光区域的大小和形状。模块4024a可以被配置为获取输入焦点堆叠并创建一系列图案以显示在空间光调制器4018以及光源4026上，其中所配置的图案在最小平方意义上创建对焦点堆叠的期望近似。该优化利用了这样的优点，即，视点中的小偏移不会显著改变感知图像，并且能够利用来自光源4026上较大区域的照明生成发光区域图案，同时在空间光调制器4018上显示相同的图像。
优化问题可以公式化为非凸优化问题，如下所示：
Figure SMS_1
其中，投影算子ρ执行从4D光场到3D焦点堆叠的线性变换(使用移位和加法算法)。这个问题是嵌入去卷积问题中的非负矩阵分解。解决此问题的算法使用交替方向乘子法(ADMM)。有关解决该问题的示例方法的附加细节在附录I中进行了讨论。应当理解，模块4024a被配置为基于将由空间光调制器4018形成的视差视图实时主动地计算发光区域的适当大小和形状。
在一些其他实现中，优化问题可以被公式化为稍微不同的非凸优化问题，如下所示：
Figure SMS_2
其中，A和B表示在空间光调制器(例如，用于形成图像的光源4026和空间光调制器4018)上所显示的图案，y是作为算法的期望输出的目标4D光场，以及AB'是组合空间光调制器图案以模拟当在调制器上显示A和B时由物理显示器发射的4D光场的算子。这个问题是一个非负矩阵分解。解决此问题的算法使用迭代优化技术从随机初始猜测中细化A和B。
继续参考图25C，应当理解，人类视觉系统的闪烁融合阈值对可能被注入眼睛210的图像数量施加了时间限制，同时仍然被认为是同时被注入的。例如，控制系统4024的处理带宽以及切换光源4026的发光区域和空间光调制器4018的光调制器的能力可以限制在闪烁融合阈值允许的时间段内被注入眼睛210的图像数量。在给定该有限数量图像的情况下，控制系统4024可以被配置为做出有关所显示的图像的选择。例如，在闪烁融合阈值内，需要显示系统将一组视差各异瞳孔内图像注入眼睛，并且反过来，每个视差视图需要各种分量颜色的图像以形成全彩色图像。在一些实现中，使用分量颜色图像的全彩色图像的形成与期望的适应响应的阐明(elucidation)分开。例如，在不受理论限制的情况下，可以用单一颜色的光引发期望的适应响应。在这种情况下，用于引发适应响应的视差各异瞳孔内图像将仅为单色。结果，不需要使用其他颜色的光形成视差各异瞳孔内图像，从而在闪烁融合阈值内腾出时间用于要被显示的其他类型的图像。例如，为了更好地近似波前，可以生成更大一组视差各异瞳孔内图像。
在一些其他实现中，控制系统4024可以被配置为在闪烁融合阈值内花费更少的时间来显示人类视觉系统不太敏感的颜色光的图像。例如，人类视觉系统对蓝光的敏感度低于绿光。结果，显示系统可以被配置为生成用绿光形成的图像的数量高于用蓝光形成的图像的数量。
现在参考图25D，示出了投射系统4003的示例，该投射系统包括眼睛跟踪系统4022和组合目镜1005，该组合目镜具有配置为产生非无限深平面的光瞳扩展器1035。在一些实现中，非无限深度平面可能为3米，这提供了约2.5米至无限远的预算内适应。例如，考虑到人类视觉系统对适应-辐辏失配的容忍度，距离观看者约2.5米至无限远的距离处的虚拟内容可以被放置在3米深度平面上，几乎没有不适。在这样的系统中，视差各异瞳孔内图像可用于驱动更窄范围的深度平面的适应，这些深度平面可能全部比固定的“默认”焦平面更接近观看者。在一些实现中，该系统还可以包括眼睛跟踪系统4022，以例如基于观看者的双眼的会聚角来确定观看者的注视距离。
在一些实现中，光源4026可以被形成在光投射系统的图像平面上的虚拟光源替代。光投射系统可以包括致动器，该致动器能够使光束扫描图像平面上与虚拟光源相对应的区域。为了模拟激活光源4026的分立发光区域的能力，投射系统的光输出与致动器的运动同步，以使光在特定时间被输出到图像平面上的期望位置。优选地，致动器能够在图像平面上扫描光束的速率足够高，使得可以在显示任何给定瞳孔内图像的时间段期间访问图像平面上的所有期望的光输出位置。例如，在显示特定瞳孔内图像的时间段期间，致动器优选地能够在图像平面上与虚拟2D光源相对应的区域上扫描光束至少一次，优选地扫描多次。
应当理解，如本文所讨论的，视差各异瞳孔内图像可以被引导到具有多个耦入区域和相关联的耦出区域的波导中。这些瞳孔内图像中的每一个的图像光可以通过各种方案被路由到期望的耦入区域，包括：扫描光纤系统，如关于图20所讨论的；可移动反射镜系统，如图关于21所讨论的；以及针对空间光调制器的不同部分的不同耦入区域形成图像的系统，如关于图22所讨论的。
一些波前近似技术在2018年4月26日公开的题为“SYSTEM AND METHOD FORPRESENTING IMAGE CONTENT ON MULIPLE DEPTH PLANES BY PROVIDING MULTIPLE INTRA-PUPIL PARALLAX VIEWS(用于通过提供多个瞳孔内视差视图在多个深度平面上呈现图像内容的系统和方法)”的美国专利申请公开号2018/0113311中进行了讨论，该专利申请的全部公开内容在此纳入作为参考。
其他实现
所描述的实现的各个方面、实施、实施方式或特征可以单独使用或以任何组合使用。所描述的实现的各个方面可以通过软件、硬件或硬件和软件的组合来实现。所描述的实现还可以体现为用于控制制造操作的计算机可读介质上的计算机可读代码，或者体现为用于控制制造线的计算机可读介质上的计算机可读代码。计算机可读介质是可存储数据的任何数据存储设备，该数据随后可由计算机系统读取。计算机可读介质的示例包括只读存储器、随机存取存储器、CD-ROM、HDD、DVD、磁带和光学数据存储设备。计算机可读介质还可以分布在网络耦合的计算机系统上，从而以分布式方式存储和执行计算机可读代码。
为了解释的目的，上述描述使用了特定的术语，以提供对所描述的实现的彻底理解。然而，对于本领域技术人员来说显而易见的是，不需要具体细节也可实践所描述的实现。因此，出于说明和描述的目的，给出了具体实现的上述描述。它们不旨在是穷尽的或将所描述的实现限于所公开的精确形式。对于本领域普通技术人员来说，鉴于上述教导，许多修改和变化是可能的。
还应理解，本文描述和/或附图中描绘的每个过程、方法和算法可以体现在由一个或多个被配置为执行专门的和特定的计算机指令的物理计算系统、硬件计算机处理器、专用电路和/或电子硬件中以及全部或部分地由其自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如服务器)或专用计算机、专用电路等。代码模块可被编译并链接到可执行程序中、安装在动态链接库中，或者可以用解释性编程语言来编写。在一些实现中，特定的操作和方法可以由特定于给定功能的电路执行。
此外，本公开的功能的某些实施例在数学上、计算上或技术上都足够复杂，以致于可能需要专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行功能，例如由于所涉及计算的量或复杂性，或为了实质上实时地提供结果。例如，视频可以包括许多帧，每个帧具有数百万个像素，并且需要专门编程的计算机硬件来处理视频数据，以在商业上合理的时间量内提供所需的图像处理任务或应用。
代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，例如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储设备、它们和/或类似存储器的组合等。在一些实现中，非暂时性计算机可读介质可以是本地处理和数据模块(140)、远程处理模块(150)和远程数据存储库(160)中的一个或多个的一部分。方法和模块(或数据)还可以作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)在各种计算机可读传输介质(包括基于无线的和基于有线的/电缆的介质)上发送，并且可以采用多种形式(例如作为单个或多路复用模拟信号的一部分，或作为多个离散数字分组或帧)。所公开的过程或过程步骤的结果可以永久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质进行传递。
本文描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应被理解为潜在地表示代码模块、代码段或代码部分，其包括用于在流程中实现特定功能(例如逻辑或算术)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能可以组合、重新布置、添加到本文提供的说明性示例、从本文提供的说明性示例中删除、修改或以其他方式改变。在一些实现中，附加的或不同的计算系统或代码模块可以执行本文描述的一些或全部功能。本文描述的方法和过程也不限于任何特定的顺序，并且与之相关的框、步骤或状态可以以适当的其他顺序(例如串行、并行或以某些其他方式)来执行。可以将任务或事件添加到所公开的示例实现中或从中删除。此外，本文描述的实现中的各种系统组件的分离是出于说明的目的，并且不应被理解为在所有实现中都需要这种分离。应当理解，所描述的程序组件、方法和系统通常可以被集成在一起在单个计算机产品中或包装到多个计算机产品中。
在上述说明书中，已经参考本发明的具体实现描述了本发明。然而，很明显，在不脱离本发明更广泛的精神和范围的情况下，可以对其进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的。例如，尽管有利地与跨多个深度平面提供图像的AR显示结合，但是本文公开的增强现实内容也可以由在单个深度平面上提供图像的系统显示。
实际上，应当理解，本公开的系统和方法各自具有若干创新方面，其中，没有一个对本文公开的期望属性负有单独责任或要求。上述的各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合旨在落入本公开的范围内。
在本说明书中在单独的实现的上下文中描述的某些特征也可以在单个实现中组合实现。相反，在单个实现的上下文中描述的各种特征也可以分别在多个实现中或以任何合适的子组合来实现。而且，尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此宣称，但是在某些情况下可以从组合中切除所要求保护的组合中的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变体。对于每个实现，没有单个特征或一组特征是必要的或必不可少的。
应当理解，这里使用的条件语言，尤其例如“能够”、“会”、“可能”、“可以”、“例如”等，除非另有明确说明，否则在所使用的上下文中理解为通常意在传达某些实现包括而其他实现不包括某些特征、元素和/或步骤。因此，这样的条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实现是必需的，或者一个或多个实现必然包括用于在有或没有作者输入或提示的情况下决定这些特征、元素和/或步骤是否在任何特定实现中被包括或将被执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，以开放式方式包含地使用，并且不排除附加要素、特征、动作、操作等。而且，术语“或”以其包含的含义使用(而不是以其排他的含义使用)，因此例如在用于连接元素列表时，术语“或”表示列表中的一个、一些或全部元素。另外，在本申请和所附权利要求书中使用的“一”、“一个”和“该”应被解释为表示“一个或多个”或“至少一个”，除非另有说明。类似地，尽管可以以特定顺序在附图中描绘操作，但是要认识到，不需要以所示的特定顺序或相继顺序来执行这样的操作，或者不需要执行所有示出的操作来实现理想的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作可以结合在示意性示出的示例方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其他实现中，操作可以重新布置或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，在上述实现中的各种系统组件的分离不应被理解为在所有实现中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以集成在单个软件产品中或打包到多个软件产品中。另外，其他实现在所附权利要求的范围内。在某些情况下，可以以不同的顺序执行权利要求中记载的动作，并且仍然实现期望的结果。

Claims (88)

1.一种被配置为投射光以显示虚拟图像内容的头戴式显示系统，所述显示系统包括：
光投射系统；以及
被配置为显示虚拟图像内容的头戴式显示器，所述头戴式显示器包括至少一个波导，所述至少一个波导包括：
多个耦入区域，每个耦入区域被配置为从所述光投射系统接收具有用于形成所述虚拟图像内容的图像信息的光，并将所述光耦入所述波导中；以及
多个耦出区域，其被配置为将所述光耦出所述波导以显示所述虚拟内容，其中，所述多个耦出区域中的每个耦出区域被配置为接收来自所述耦入区域中的不同耦入区域的光。
2.根据权利要求1所述的显示系统，其中，所述多个耦入区域中的每个耦入区域对应于以及被配置为选择性地将光引导到所述多个耦出区域中的唯一的耦出区域。
3.根据权利要求2所述的显示系统，其中，每个耦入区域是具有倾斜、光栅取向、光栅结构尺寸、或光栅间距中的至少一个的衍射光栅，所述倾斜、光栅取向、光栅结构尺寸、或光栅间距中的所述至少一个被选择为使得由所述耦入区域耦入的光被与所述耦入区域对应的所述耦出区域优先地耦出。
4.根据权利要求1所述的显示系统，其中，所述光耦合区域被配置为将来自所述光投射系统的入射光沿着传播方向以用于全内反射通过所述波导的角度进行重定向，所述显示系统还包括光分布结构，其被配置为重定向所述光的一部分以沿着与所述传播方向交叉的轴进行传播。
5.根据权利要求4所述的显示系统，其中，所述光分布结构和所述多个耦出区域被设置在所述至少一个波导的相对主表面上。
6.根据权利要求1所述的显示系统，其中，所述多个耦入区域包括衍射光栅。
7.根据权利要求6所述的显示系统，其中，所述多个耦入区域中的每个耦入区域具有与所述波导的至少一个其他耦入区域不同的光栅间距。
8.根据权利要求7所述的显示系统，其中，所述不同的光栅间距改变全内反射角，以所述全内反射角被耦入所述波导中的光朝着所述多个耦出区域中的相关联的耦出区域朝向所述波导进行全内反射。
9.根据权利要求6所述的显示系统，其中，所述多个耦入区域中的每个耦入区域在所述波导的平面内具有与所述波导的至少一个其他耦入区域不同的光栅取向。
10.根据权利要求9所述的显示系统，其中，所述不同的光栅取向改变光被耦入所述波导中的角度，以使得所述光朝向所述多个耦出区域中的预期耦出区域传播。
11.根据权利要求1所述的显示系统，其中，所述多个耦入区域中的每个耦入区域相对于所述波导的平面具有与所述波导的至少一个其他耦入区域不同的倾斜。
12.根据权利要求1所述的显示系统，其中，所述耦入区域彼此间隔开。
13.根据权利要求1所述的显示系统，其中，所述光耦入区域围绕所述多个耦出区域的至少一侧成行设置。
14.根据权利要求13所述的显示系统，其中，所述耦出区域中的每个耦出区域限定跨越所述波导的条带，所述条带沿着与所述耦入区域的行交叉的轴伸长。
15.根据权利要求1所述的显示系统，其中，所述耦出区域限定跨越所述波导的栅格图案。
16.根据权利要求1所述的显示系统，其中，所述多个耦入区域中的每个耦入区域被布置成耦入光，并引导所述光通过全内反射在所述波导内沿着与所述波导的至少一个其他耦入区域不同的方向进行传播。
17.根据权利要求16所述的显示系统，其中，靠近所述至少一个耦出区域的横向边缘的至少一个耦入区域被配置为：沿着围绕向内偏置的轴对称设置的角度范围耦入光。
18.根据权利要求1所述的显示系统，其中，所述多个耦入区域中的至少两个耦入区域沿着所述多个耦出区域中的至少一个耦出区域的不同侧被设置。
19.根据权利要求18所述的显示系统，其中，所述多个耦入区域包括在至少三侧围绕所述多个耦出区域中的所述至少一个耦出区域的耦入光学元件。
20.根据权利要求1所述的显示系统，其中，所述光投射系统包括光源和可移动光注入器，所述可移动光注入器被配置为将图像光引导到所述耦入区域中的各个耦入区域。
21.根据权利要求1所述的显示系统，其中，所述头戴式显示器包括形成波导堆叠的多个波导，所述波导中的每个波导包括多个所述耦入区域和所述耦出区域，
其中，当从入射到所述耦入区域上的入射光的方向观察时，每个所述波导的所述耦入区域在正面平面图中被横向移位。
22.根据权利要求21所述的显示系统，其中，同一波导的耦出区域被配置为输出具有相同波前发散的光，
其中，不同波导的耦出区域被配置为输出具有与至少一个其他波导的耦出区域不同的波前发散量的光，
其中，所述不同的波前发散量对应于不同的深度平面。
23.根据权利要求21所述的显示系统，其中，每个波导的所述耦入区域被配置为耦入与同一分量颜色对应的波长范围的光，
其中，一些波导的耦入区域被配置为耦入对应于与其他波导的耦入区域不同的分量颜色的波长范围的光。
24.根据权利要求1所述的显示系统，其中，所述光投射系统包括：
光源，其包括光发射器阵列；
空间光调制器，其被配置为调制来自所述光源的光；以及
投影光学器件，其被安装在框架上并且被配置为将来自所述空间光调制器的光引导到所述耦入区域，
其中，所述显示系统被配置为激活不同的多个所述光发射器以在不同的深度平面上提供所述虚拟图像内容，其中，所述显示系统被配置为：
在多个光发射器中的各个光发射器之间提供相对大的距离，以用于在相对近的深度平面上提供所述虚拟图像内容；以及
在多个光发射器中的各个光发射器之间提供相对小的距离，以用于在相对远的深度平面上提供所述虚拟图像内容。
25.根据权利要求24所述的显示系统，其被配置为在不同的时间顺序地激活多个光发射器中的每个所述光发射器，其中，所述显示系统被配置为使每个光发射器的激活与不同的视差各异瞳孔内图像的显示同步。
26.根据权利要求24所述的显示系统，其中，所述光源是微显示器，并且所述光发射器是发光二极管。
27.根据权利要求1所述的显示系统，还包括位于所述波导的相对侧的可变焦透镜元件。
28.根据权利要求1所述的显示系统，其中，所述光投射系统包括多个投影仪，并且其中，所述多个投影仪中的投影仪被配置为提供用于不超过所述头戴式显示器的FOV的细分部分的图像内容。
29.一种显示系统，包括：
光投射系统；
头戴式显示器，其被配置为将光投射到用户的眼睛中以显示虚拟图像内容，所述头戴式显示器包括：
至少一个波导，其包括：
多个光耦入区域，其被配置为接收来自所述光投射系统的光；以及
多个光耦出区域，其被配置为向所述用户的所述眼睛输出光；以及
处理电子器件，其与所述显示器和面向内的成像系统通信，所述处理电子器件包括一个或多个处理器和存储指令的一个或多个计算机存储介质，所述指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行包括以下的操作：
确定与所述眼睛的眼睛姿势相关联的光耦出区域；以及
提供指令以将来自所述光投射系统的光引导到与所确定的光耦出区域相关联的光耦入区域。
30.根据权利要求29所述的显示系统，其中，确定所述光耦出区域包括：确定所述眼睛的视线与所述多个光耦出区域中的一个光耦出区域的交叉点。
31.根据权利要求29所述的显示系统，其中，所述光耦入区域围绕所述多个耦出区域的至少一侧成行设置。
32.根据权利要求29所述的显示系统，其中，所述光投射系统包括至少一个光源和至少一个可移动光注入器，所述至少一个可移动光注入器被配置为输出图像光。
33.根据权利要求32所述的显示系统，其中，所述至少一个可移动光注入器包括扫描镜。
34.根据权利要求32所述的显示系统，其中，所述至少一个可移动光注入器包括扫描光纤注入器。
35.根据权利要求29所述的显示系统，其中，所述光投射系统包括至少一个光源和至少一个空间光调制器，所述空间光调制器被配置为调制来自所述光源的光。
36.根据权利要求29所述的显示系统，其中，所述头戴式显示器被配置为在多个深度平面上显示虚拟对象。
37.根据权利要求36所述的显示系统，其中，所述操作包括：将所述虚拟对象的视差各异瞳孔内图像组注入所述眼睛，以在所述深度平面中的一个深度平面上显示所述虚拟对象。
38.根据权利要求37所述的显示系统，其中，所述操作包括：在闪烁融合阈值内注入所述视差各异瞳孔内图像组中的每一个。
39.根据权利要求36所述的显示系统，其中，所述操作包括：提供指令以将光引导到与所确定的光耦出区域相关联的所述多个耦入区域中的光耦入区域中的多个耦入元件。
40.根据权利要求36所述的显示系统，还包括在所述至少一个波导的用户侧的至少一个可变焦透镜元件，其中，所述第一可变焦透镜元件被配置为修改所投射的光以校正所述用户的眼睛的屈光不正。
41.根据权利要求40所述的显示系统，其中，所述操作还包括：确定所述眼睛的注视点，并应用与所述注视点对应的校正。
42.根据权利要求29所述的显示系统，还包括面向内的成像系统，其被配置为捕获所述用户的眼睛的一个或多个图像，其中，所述操作包括：
接收由所述面向内的成像系统所捕获的所述用户的所述眼睛的图像；以及
基于所接收的图像，识别所述眼睛姿势。
43.根据权利要求29所述的显示系统，其中，所述至少一个波导是形成波导堆叠的多个波导之一，所述波导中的每个波导包括多个所述耦入区域和所述耦出区域，
其中，当从入射到所述耦入区域上的入射光的方向观察时，所述波导中的每个波导的所述耦入区域在正面平面图中被横向移位。
44.根据权利要求43所述的显示系统，其中，同一波导的耦出区域被配置为输出具有相同波前发散的光，
其中，不同波导的耦出区域被配置为输出具有与至少一个其他波导的耦出区域不同的波前发散量的光，以及
其中，所述不同的波前发散量对应于不同的深度平面。
45.根据权利要求43所述的显示系统，其中，每个波导的所述耦入区域被配置为耦入与同一分量颜色对应的波长范围的光，
其中，一些波导的耦入区域被配置为耦入对应于与其他波导的耦入区域不同的分量颜色的波长范围的光。
46.根据权利要求29所述的显示系统，其中，所述光投射系统包括多个投影仪，并且其中，所述多个投影仪中的投影仪被配置为提供用于不超过所述头戴式显示器的FOV的细分部分的图像内容。
47.一种显示系统，包括：
光投射系统；
头戴式显示器，其被配置为将光投射到用户的眼睛中以显示虚拟图像内容，所述头戴式显示包括：
至少一个波导，其包括：
多个光耦入区域，其被配置为接收来自所述光投射系统的光；以及
多个光耦出区域，其被配置为向所述用户的所述眼睛输出光；以及
处理电子器件，其与所述显示器通信，所述处理电子器件包括一个或多个处理器和存储指令的一个或多个计算机存储介质，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下的操作：
确定虚拟对象在所述用户的视场中的位置；
识别与所述位置对应的耦出区域；以及
提供指令以将来自所述光投射系统的光引导到与所确定的光耦出区域相关联的光耦入区域。
48.根据权利要求47所述的显示系统，其中，识别所述耦出区域包括：
确定所述眼睛的眼睛姿势；以及
确定与所述虚拟对象在所述视场中要占据的位置重叠的耦出区域。
49.根据权利要求47所述的显示系统，其中，所述操作包括：提供用于所述虚拟对象的移动。
50.根据权利要求47所述的显示系统，其中，所述操作包括：提供所述虚拟对象的视觉特性随时间的时间变化，其中，所述视觉特性包括以下中的一个或多个：颜色、大小、以及亮度。
51.根据权利要求47所述的显示系统，其中，所述光耦入区域围绕所述多个耦出区域的至少一侧成行设置。
52.根据权利要求47所述的显示系统，其中，所述光投射系统包括至少一个光源和至少一个可移动光注入器，所述至少一个可移动光注入器被配置为输出图像光。
53.根据权利要求52所述的显示系统，其中，所述至少一个可移动光注入器包括扫描镜。
54.根据权利要求52所述的显示系统，其中，所述至少一个可移动光注入器包括扫描光纤注入器。
55.根据权利要求47所述的显示系统，其中，所述光投射系统包括至少一个光源和至少一个空间光调制器，所述空间光调制器被配置为调制来自所述光源的光。
56.根据权利要求47所述的显示系统，其中，所述头戴式显示器被配置为在多个深度平面上显示虚拟对象。
57.根据权利要求56所述的显示系统，其中，所述操作包括：将所述虚拟对象的视差各异瞳孔内图像组注入到所述眼睛中，以在所述深度平面之一上显示所述虚拟对象。
58.根据权利要求56所述的显示系统，其中，所述操作包括：提供指令以将光引导到与所确定的光耦出区域相关联的所述多个耦入区域中的光耦入区域中的多个耦入元件。
59.根据权利要求56所述的显示系统，还包括在所述至少一个波导的用户侧的至少一个可变焦透镜元件，其中，第一可变焦透镜元件被配置为修改所投射的光以校正所述用户的所述眼睛的屈光不正。
60.根据权利要求47所述的显示系统，还包括面向内的成像系统，其被配置为捕获所述用户的眼睛的一个或多个图像，其中所述操作包括：
接收由所述面向内的成像系统所捕获的所述用户的所述眼睛的图像；以及
基于所接收的图像，识别所述眼睛姿势。
61.根据权利要求47所述的显示系统，其中，所述至少一个波导是形成波导堆叠的多个波导之一，每个所述波导包括多个所述耦入区域和所述耦出区域，
其中，当从入射到所述耦入区域上的入射光的方向观察时，所述波导中的每个波导的所述耦入区域在正面平面图中被横向移位。
62.根据权利要求47所述的显示系统，其中，同一波导的耦出区域被配置为输出具有相同波前发散的光，
其中，不同波导的耦出区域被配置为输出具有与至少一个其他波导的耦出区域不同的波前发散量的光，以及
其中，所述不同的波前发散量对应于不同的深度平面。
63.根据权利要求47所述的显示系统，其中，每个波导的所述耦入区域被配置为耦入对应于同一分量颜色的波长范围的光，
其中，一些波导的耦入区域被配置为耦入对应于与其他波导的耦入区域不同的分量颜色的波长范围的光。
64.根据权利要求47所述的显示系统，其中，所述耦入区域包括衍射光栅。
65.根据权利要求47所述的显示系统，其中，所述耦出区域包括衍射光栅。
66.根据权利要求46所述的显示系统，其中，所述光投射系统包括多个投影仪，并且其中，所述多个投影仪中的投影仪被配置为提供用于不超过所述头戴式显示器的FOV的细分部分的图像内容。
67.一种被配置为投射光以显示虚拟图像内容的头戴式显示系统，所述显示系统包括：
光投射系统；以及
被配置为显示虚拟图像内容的头戴式显示器，所述头戴式显示器包括至少一个波导，所述至少一个波导包括：
靠近所述至少一个波导的至少一个横向边缘的多个耦入区域，其中，每个波导被配置为从所述光投射系统接收具有用于形成所述虚拟图像内容的图像信息的光，并将所述光耦入所述波导中。
68.根据权利要求67所述的显示系统，还包括多个耦出区域，其被配置为将所述光耦出所述波导以显示所述虚拟内容，其中，所述多个耦出区域中的每个耦出区域被配置为接收来自所述耦入区域中的不同耦入区域的光。
69.根据权利要求67所述的显示系统，其中，所述多个耦入区域中的至少两个耦入区域沿着所述多个耦出区域中的至少一个耦出区域的不同的横向边缘被设置。
70.根据权利要求68所述的显示系统，其中，所述多个耦入区域环绕所述多个耦出区域。
71.根据权利要求68所述的显示系统，其中，所述多个耦入区域中的每个耦入区域对应于以及被配置为选择性地将光引导到所述多个耦出区域中的唯一的耦出区域。
72.根据权利要求68所述的显示系统，其中，所述光耦合区域被配置为将来自所述光投射系统的入射光沿着传播方向以全内反射通过所述波导的角度进行重定向，所述显示系统还包括光分布结构，其被配置为重定向所述光的一部分以沿着与所述传播方向交叉的轴进行传播。
73.根据权利要求72所述的显示系统，其中，所述光分布结构和所述多个耦出区域被设置在所述至少一个波导的相对主表面上。
74.根据权利要求68所述的显示系统，其中，所述耦出区域限定跨越所述波导的栅格图案。
75.根据权利要求68所述的显示系统，其中，所述头戴式显示器包括形成波导堆叠的多个波导，所述波导中的每个波导包括多个所述耦入区域和所述耦出区域，
其中，当从入射到所述耦入区域上的入射光的方向观察时，每个所述波导的所述耦入区域在正面平面图中被横向移位。
76.根据权利要求75所述的显示系统，其中，同一波导的耦出区域被配置为输出具有相同波前发散的光，
其中，不同波导的耦出区域被配置为输出具有与至少一个其他波导的耦出区域不同的波前发散量的光，
其中，所述不同的波前发散量对应于不同的深度平面。
77.根据权利要求75所述的显示系统，其中，每个波导的所述耦入区域被配置为耦入与同一分量颜色对应的波长范围的光，
其中，一些波导的耦入区域被配置为耦入对应于与其他波导的耦入区域不同的分量颜色的波长范围的光。
78.根据权利要求67所述的显示系统，其中，所述多个耦入区域包括衍射光栅。
79.根据权利要求78所述的显示系统，其中，所述多个耦入区域中的每个耦入区域具有与所述波导的至少一个其他耦入区域不同的光栅间距。
80.根据权利要求78所述的显示系统，其中，所述多个耦入区域中的每个耦入区域在所述波导的平面内具有与所述波导的至少一个其他耦入区域不同的光栅取向。
81.根据权利要求67所述的显示系统，其中，所述多个耦入区域中的每个耦入区域相对于所述波导的所述平面具有与所述波导的至少一个其他耦入区域不同的倾斜。
82.根据权利要求67所述的显示系统，其中，所述耦入区域彼此间隔开。
83.根据权利要求67所述的显示系统，其中，所述多个耦入区域中的每个耦入区域被布置成耦入光，并引导所述光通过全内反射在所述波导内沿着与所述波导的至少一个其他耦入区域不同的方向进行传播。
84.根据权利要求67所述的显示系统，其中，所述光投射系统包括至少一个光源和至少一个可移动光注入器，所述至少一个可移动光注入器被配置为将图像光引导到所述耦入区域中的各个耦入区域。
85.根据权利要求67所述的显示系统，其中，所述光投射系统包括：
至少一个光源，其包括光发射器阵列；
至少一个空间光调制器，其被配置为调制来自所述光源的光；以及
投影光学器件，其被安装在框架上，并且被配置为将来自所述空间光调制器的光引导到所述耦入区域，
其中，所述显示系统被配置为激活不同的多个所述光发射器以在不同的深度平面上提供所述虚拟图像内容，其中，所述显示系统被配置为：
在多个光发射器中的各个光发射器之间提供相对大的距离，用于在相对近的深度平面上提供所述虚拟图像内容；以及
在多个光发射器中的各个光发射器之间提供相对小的距离，用于在相对远的深度平面上提供所述虚拟图像内容。
86.根据权利要求85所述的显示系统，其被配置为在不同的时间顺序地激活多个光发射器中的每个所述光发射器，其中，所述显示系统被配置为使每个光发射器的激活与不同的视差各异瞳孔内图像的显示同步。
87.根据权利要求67所述的显示系统，还包括在所述波导的相对横向边缘上的可变焦透镜元件。
88.根据权利要求67所述的显示系统，其中，所述光投射系统包括多个投影仪，并且其中，所述多个投影仪中的投影仪被配置为提供用于不超过所述头戴式显示器的FOV的细分部分的图像内容。
CN202180060550.0A 2020-05-22 2021-05-21 具有相关耦入和耦出光学区域的增强和虚拟现实显示系统 Pending CN116194821A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063029312P 2020-05-22 2020-05-22
US63/029,312 2020-05-22
US202063050635P 2020-07-10 2020-07-10
US63/050,635 2020-07-10
PCT/US2021/033700 WO2021237115A1 (en) 2020-05-22 2021-05-21 Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions

Publications (1)

Publication Number Publication Date
CN116194821A true CN116194821A (zh) 2023-05-30

Family

ID=78708075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180060550.0A Pending CN116194821A (zh) 2020-05-22 2021-05-21 具有相关耦入和耦出光学区域的增强和虚拟现实显示系统

Country Status (5)

Country Link
US (3) US11543666B2 (zh)
EP (1) EP4154050A1 (zh)
JP (1) JP2023528262A (zh)
CN (1) CN116194821A (zh)
WO (1) WO2021237115A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4154050A1 (en) * 2020-05-22 2023-03-29 Magic Leap, Inc. Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions
US20230300470A1 (en) * 2022-02-03 2023-09-21 Facebook Technologies, Llc Techniques for producing glints and iris illumination for eye tracking

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150346495A1 (en) * 2014-05-30 2015-12-03 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US20150378162A1 (en) * 2014-06-25 2015-12-31 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
US20170293145A1 (en) * 2016-04-08 2017-10-12 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
US20180143509A1 (en) * 2016-11-18 2018-05-24 Magic Leap, Inc. Waveguide light multiplexer using crossed gratings
US20180188528A1 (en) * 2016-12-28 2018-07-05 Magic Leap, Inc. Dual depth exit pupil expander
US20180374266A1 (en) * 2017-05-16 2018-12-27 Magic Leap, Inc. Systems and methods for mixed reality
US20190339447A1 (en) * 2018-05-04 2019-11-07 Oculus Vr, Llc Diffraction gratings for beam redirection

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
KR101997852B1 (ko) 2010-12-24 2019-10-01 매직 립, 인코포레이티드 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CN107656615B (zh) 2011-05-06 2021-09-14 奇跃公司 大量同时远程数字呈现世界
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
EP3404894B1 (en) 2011-10-28 2020-02-12 Magic Leap, Inc. System and method for augmented and virtual reality
BR112014024941A2 (pt) 2012-04-05 2017-09-19 Magic Leap Inc dispositivo de imagem de campo de visão amplo com capacidade de focalização ativa
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
EP2895910A4 (en) 2012-09-11 2016-04-20 Magic Leap Inc ERGONOMIC HEAD-MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM
US9417452B2 (en) 2013-03-15 2016-08-16 Magic Leap, Inc. Display system and method
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
CN105829953B (zh) 2013-10-16 2019-05-28 奇跃公司 具有可调节的瞳距的虚拟或增强现实头戴设备
CN109445095B (zh) 2013-11-27 2021-11-23 奇跃公司 虚拟和增强现实系统与方法
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN107087431B (zh) 2014-05-09 2021-02-05 谷歌有限责任公司 用于辨别眼睛信号和连续生物识别的系统和方法
CA2989414A1 (en) * 2015-06-15 2016-12-22 Magic Leap, Inc. Display system with optical elements for in-coupling multiplexed light streams
JP6944461B2 (ja) * 2016-02-29 2021-10-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想および拡張現実システムおよび方法
NZ746514A (en) * 2016-03-25 2020-03-27 Magic Leap Inc Virtual and augmented reality systems and methods
US10197804B2 (en) * 2016-04-25 2019-02-05 Microsoft Technology Licensing, Llc Refractive coating for diffractive optical elements
KR102217789B1 (ko) * 2016-08-22 2021-02-19 매직 립, 인코포레이티드 나노그레이팅 방법 및 장치
EP3529653B1 (en) * 2016-10-21 2024-01-24 Magic Leap, Inc. System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views
US10534177B1 (en) * 2017-10-10 2020-01-14 Facebook Technologies, Llc Scanning assembly with gratings in waveguide displays with a large eyebox
US11209650B1 (en) * 2018-09-06 2021-12-28 Facebook Technologies, Llc Waveguide based display with multiple coupling elements for artificial reality
GB2578769B (en) * 2018-11-07 2022-07-20 Advanced Risc Mach Ltd Data processing systems
US11287657B2 (en) * 2019-02-28 2022-03-29 Magic Leap, Inc. Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays
US11428938B2 (en) * 2019-12-23 2022-08-30 Meta Platforms Technologies, Llc Switchable diffractive optical element and waveguide containing the same
US11415805B2 (en) * 2019-12-30 2022-08-16 Meta Platforms Technologies, Llc Optical system and method for providing compressed eyebox
EP4127822A1 (en) * 2020-04-03 2023-02-08 Magic Leap, Inc. Wearable display systems with nanowire led micro-displays
EP4154050A1 (en) * 2020-05-22 2023-03-29 Magic Leap, Inc. Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions
US11531202B2 (en) * 2020-11-05 2022-12-20 Microsoft Technology Licensing, Llc Waveguide assembly with virtual image focus
US11474352B2 (en) * 2020-12-30 2022-10-18 Meta Platforms Technologies, Llc Optical system and method for providing expanded field of view
US11567568B2 (en) * 2021-02-25 2023-01-31 Varjo Technologies Oy Display apparatuses and methods incorporating foveated rendering

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150346495A1 (en) * 2014-05-30 2015-12-03 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US20150378162A1 (en) * 2014-06-25 2015-12-31 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
US20170293145A1 (en) * 2016-04-08 2017-10-12 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
US20180143509A1 (en) * 2016-11-18 2018-05-24 Magic Leap, Inc. Waveguide light multiplexer using crossed gratings
US20180188528A1 (en) * 2016-12-28 2018-07-05 Magic Leap, Inc. Dual depth exit pupil expander
US20180374266A1 (en) * 2017-05-16 2018-12-27 Magic Leap, Inc. Systems and methods for mixed reality
US20190339447A1 (en) * 2018-05-04 2019-11-07 Oculus Vr, Llc Diffraction gratings for beam redirection

Also Published As

Publication number Publication date
JP2023528262A (ja) 2023-07-04
EP4154050A1 (en) 2023-03-29
US20210397004A1 (en) 2021-12-23
US20230118284A1 (en) 2023-04-20
US20240085707A1 (en) 2024-03-14
US11543666B2 (en) 2023-01-03
US11860370B2 (en) 2024-01-02
WO2021237115A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
US11710469B2 (en) Depth based foveated rendering for display systems
JP6921161B2 (ja) 仮想および拡張現実における焦点面を作成する方法およびシステム
US20230251492A1 (en) Depth based foveated rendering for display systems
US11303880B2 (en) Near eye wavefront emulating display
US20220028175A1 (en) Multi-depth plane display system with reduced switching between depth planes
US11138793B2 (en) Multi-depth plane display system with reduced switching between depth planes
CN109313341B (zh) 具有可变焦透镜元件的增强现实系统和方法
KR102550587B1 (ko) 가상 및 증강 현실 시스템들 및 방법들
CN111465887A (zh) 包括具有透明发射显示器的目镜的增强现实显示器
US11860370B2 (en) Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions for efficient light utilization
CN113647085A (zh) 具有一维像素阵列和扫描镜的显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination