CN117980808A - 用于混合现实头戴式显示设备中多个焦平面的组合双折射材料和反射波导 - Google Patents

用于混合现实头戴式显示设备中多个焦平面的组合双折射材料和反射波导 Download PDF

Info

Publication number
CN117980808A
CN117980808A CN202280064240.0A CN202280064240A CN117980808A CN 117980808 A CN117980808 A CN 117980808A CN 202280064240 A CN202280064240 A CN 202280064240A CN 117980808 A CN117980808 A CN 117980808A
Authority
CN
China
Prior art keywords
virtual image
virtual
user
mixed reality
modulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280064240.0A
Other languages
English (en)
Inventor
R·T·赫尔德
B·C·克雷斯
A·索尔斯布里
D·雷希迪科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN117980808A publication Critical patent/CN117980808A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/288—Filters employing polarising elements, e.g. Lyot or Solc filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3083—Birefringent or phase retarding elements
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/294—Variable focal length devices
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

混合现实头戴式显示(HMD)设备的显示系统中的光学组合器包括双折射材料透镜和铁电液晶(FLC)调制器，该双折射材料透镜和铁电液晶调制器适合与反射波导一起使用以提供多个不同的焦平面，其中在焦平面上显示虚拟世界对象的全息图(即虚拟图像)。双折射透镜具有两个正交折射率，通常折射率和非常折射率，这具体取决于入射光的偏振状态。根据FLC调制器对偏振轴的转动，双折射透镜的入射光被聚焦在与通常折射率或非常折射率相对应的距离处。离开双折射透镜的虚拟图像光被输入耦合到透视反射波导，该透视反射波导被配置为形成光学组合器的出射光瞳，以使HMD设备用户能够观看来自源的虚拟图像。

Description

用于混合现实头戴式显示设备中多个焦平面的组合双折射材 料和反射波导
背景技术
诸如头戴式显示(HMD)设备之类的混合现实计算设备可以被配置为在用户视野中向用户显示关于诸如全息图像之类的虚拟对象和/或真实对象的信息。例如，HMD设备可以被配置为使用透视显示系统来显示具有混合在其中的真实世界对象的虚拟环境，或者具有混合在其中的虚拟对象的真实世界环境。
为了清晰地观察对象，人类必须针对对象的距离而适应或调整他们的眼睛的焦点。同时，双眼的转动必须会聚于(converge to)对象的距离，以避免看到重影。在自然观察中，聚散度和调节是相关的。当观察附近的某物时，例如靠近鼻子的家蝇，眼睛会交叉并适应近点。相反，在光学无限远(正常视力大约从6m或更远的地方开始)观察某物时，眼睛的视线会变得平行，并且眼睛的晶状体会适应无限远。在大多数HMD设备中，用户始终会适应显示器的焦距以获得清晰的图像，但会聚于感兴趣对象的距离以获得单个图像。当用户适应并会聚于不同的距离时，两个线索之间的自然联系就会被打破，导致视觉不适或疲劳。
发明内容
混合现实HMD设备的显示系统中的光学组合器包括双折射材料透镜和铁电液晶(FLC)调制器，它们适合与反射波导一起使用，以提供多个不同的焦平面，其中在这些焦平面上显示虚拟世界对象的全息图(即虚拟图像)。FLC调制器控制来自虚拟图像源的入射到双折射透镜上的光的偏振状态。FLC调制器被配置为用作具有可转动大约45度的光轴的半波片；因此，来自调制器的光学输出可以转动0度或90度。
双折射透镜具有两个正交折射率，通常折射率和非常折射率，这具体取决于入射光的偏振状态。如果由FLC调制器转动偏振轴以匹配通常轴，则双折射透镜的入射光被聚焦在与通常折射率相对应的距离处。如果转动轴以匹配非常轴，则入射光被聚焦在与非常折射率相对应的不同距离处。
离开双折射透镜的虚拟图像光被输入耦合到反射波导，该反射波导被配置为形成光学组合器的出射光瞳，以使HMD设备用户能够观看来自源的虚拟图像。反射波导至少部分透明，使得用户可以透过波导查看以在混合现实使用场景中观察物理真实世界对象，并且同时观察虚拟图像。
FLC调制器可以可操作地与虚拟图像源同步，以动态切换偏振状态以及虚拟图像的对应聚焦状态，以支持混合现实场景的给定构成。在这样的构成中，虚拟世界对象的图像在用户看来可以与真实世界对象一起出现在焦平面中在不同距离处。FLC调制器的时间响应使得能够实现快速状态切换，以构建具有适当焦点提示(cue)的时间复用混合现实场景，从而提供舒适的视觉体验，无论HMD用户位于场景中的哪个位置。
当显示混合现实场景中的远虚拟图像时，切换FLC调制器以使得双折射透镜将虚拟图像聚焦在远焦平面处，从而使用户的眼睛适应远处，以清晰的焦点观看虚拟图像。当显示近虚拟图像时，切换FLC调制器以使得双折射透镜将虚拟图像聚焦在近焦平面处，从而使用户的眼睛适应近处，以清晰的焦点观看虚拟图像。
有利的是，FLC调制器、双折射透镜和反射波导的利用使得虚拟图像的焦深能够在进入波导之前被调整，而不会干扰HMD设备用户通过波导对真实世界的查看。光学组合器中的元件的这种组合可以消除使用传统共轭透镜对的需要，在传统共轭透镜对中，负透镜设置在波导的眼睛侧以提供非无限远距离处的虚拟图像聚焦，并且共轭正透镜布置在真实世界的相反一侧，以抵消负透镜对入射真实世界光的影响。与传统可变焦透镜相比，FLC调制器和双折射透镜的切换速度更快，从而使能更高的显示刷新率，以用于更身临其境的混合现实体验。除了提供快速切换速度之外，FLC调制器和双折射透镜通常还具有固态特性，而没有机械运动和相关的噪声或振动。利用本原理使得光学组合器的焦距调节组件能够移离HMD设备用户眼睛的前方，这可以提供设备封装的灵活性，同时减少重量和质量惯性矩，这通常是HMD设备舒适度的重要的考虑因素。
在各种说明性实施例中，可以利用多组FLC调制器和双折射透镜。如果使用N组，则提供2N个不同的焦平面。眼睛跟踪器还可以在HMD设备中实现，以在设备在使用期间在头部上发生移位的情况下，使得用户眼睛相对于设备的位置能够保持适当的校准。
提供本发明内容是为了以简化的形式介绍一些概念的选择，这些概念将在下面的具体实施方式中进一步描述。本发明内容无意于识别所要求保护的主题的关键特征或基本特征，也无意于用作确定所要求保护的主题的范围的帮助。此外，所要求保护的主题不限于解决本公开的任何部分中指出的任何或所有缺点的实现方式。
附图说明
图1示出了示例性HMD设备的图示性部分剖视图，该HMD设备被配置为使用本发明的组合双折射材料和反射波导来实现多个虚拟图像焦平面；
图2示意性地示出了覆盖在混合现实头戴式显示(HMD)设备的视场(FOV)内的真实世界图像上的虚拟图像；
图3A、图3B和图3C示出了分别与远处对象、无穷远处对象和附近对象相关联的说明性部分球形波前；
图4示出了示例性负透镜，其提供位于透镜焦点处的虚拟图像；
图5示出了示例性虚拟显示系统的侧视图，该虚拟显示系统包括基于波导的光学组合器，该基于波导的光学组合器提供可以在HMD设备中使用的虚拟图像的渲染；
图6示出了示例性虚拟显示系统的侧视图，其中可以通过透视波导观看来自真实世界对象的光；
图7示出了示例性虚拟显示系统的侧视图，其中铁电液晶(FLC)调制器和包括双折射材料的透镜被选择性地控制以使得能够在两个不同焦平面处渲染虚拟图像；
图8示出了线性偏振光通过FLC调制器和双折射透镜的传播，以将光聚焦在不同的焦平面处。
图9示出了说明性混合现实场景，其中用户的眼睛适应远距离来以清晰的焦点观察虚拟世界对象；
图10示出了说明性混合现实场景，其中用户的眼睛适应近距离来以清晰的焦点查看虚拟世界对象；
图11示出了利用N组FLC调制器和双折射透镜来提供2N个不同的虚拟图像焦平面的布置；
图12示出了与包括眼睛跟踪器系统、焦平面控制器和处理器的HMD设备组件有操作关系的说明性虚拟显示系统的侧视图；
图13和图14示出了物理环境中的HMD用户与说明性虚拟对象交互；
图15描绘了示例性布置，其中一些虚拟对象被重新定位到包含HMD设备用户当前正在查看的虚拟对象的焦平面；
图16示出了说明性混合现实场景，其中虚拟对象被渲染在同一焦平面中；
图17是用于操作包括混合现实透视光学显示系统的电子设备的说明性方法的流程图，该混合现实透视光学显示系统用于示出包括叠加在真实世界对象的视图上的多个不同焦平面处的虚拟图像的场景；
图18示出了可以用作HMD设备的组件的示例性密封遮阳板的图示性前视图；
图19示出了示例性密封遮阳板的图示性后视图；
图20示出了示例性密封遮阳板的部分分解图；
图21A、图21B和图21C分别是可用于将与输入光瞳相关联的虚拟图像复制到扩展的出射光瞳的示例性反射波导的前视图、俯视图和侧视图；
图22是可以使用本发明组合的双折射材料和反射波导的虚拟现实或混合现实HMD设备的说明性示例的图示性视图；
图23示出了可以使用本发明组合的双折射材料和反射波导的虚拟现实或混合现实HMD设备的说明性示例的框图；
图24示意性地示出了计算系统的说明性示例，该计算系统可以实施本文中关于本发明的组合双折射材料和反射波导描述的方法和过程中的一个或多个。
附图中相似的附图标记表示相似的元件。除非另有说明，元件并非按比例绘制。
具体实施方式
图1示出了示例性混合现实HMD设备100的图示性部分剖视图，其被配置为使用本发明的组合的双折射材料和反射波导来实现多个虚拟图像焦平面。在该示例中，HMD设备包括显示设备105和框架110，框架110环绕用户115的头部以将显示设备定位在用户眼睛附近，从而向用户提供混合现实体验。
可以使用任何合适的技术和配置来使用显示设备105而显示虚拟图像，虚拟图像也可以被称为全息图或全息图像。对于混合现实体验，显示设备可以是透视的，使得HMD设备100的用户可以查看物理环境中的物理真实世界对象，其中虚拟对象的像素覆盖在该物理真实世界对象上。例如，显示设备可以包括与虚拟图像源结合使用的一个或多个部分透明的波导，诸如例如包括RGB(红、绿、蓝)LED(发光二极管)、有机LED(OLED)阵列、硅基液晶(LCoS)器件和/或MEMS器件，或以透射、反射或发射方式操作的任何其他合适的显示器或微显示器的微显示器。虚拟图像源还可以包括诸如处理器之类的电子器件、诸如镜子和/或透镜之类的光学组件、和/或使得能够组成虚拟显示器并向显示系统提供一个或多个输入光束的机械组件和其他组件。在某些情况下，虚拟图像源可以被称为光或显示引擎。
在一些实现方式中，可以提供捕获周围物理环境的图像的面向外的相机120，并且这些捕获的图像可以与增强所捕获的物理环境的图像的计算机生成的虚拟图像一起渲染在显示设备105上。
框架110还可以支撑HMD设备100的额外组件，包括处理器125、惯性测量单元(IMU)130和眼睛跟踪器135。在一些实现方式中，眼睛跟踪器可以被配置为支持聚散度跟踪和/或注视跟踪功能中的一项或多项。处理器可以包括逻辑和关联的计算机存储器，其被配置为从IMU和其他传感器接收传感信号、向显示设备105提供显示信号、从收集的数据导出信息、以及制定(enact)本文描述的各种控制过程。
在一些实现方式中，显示设备105可以被布置为近眼显示器。在近眼显示器中，虚拟图像源实际上并不将图像照射在诸如玻璃镜片等表面上来为用户创建显示。这是不可行的，因为人眼无法聚焦在那么近的某物上。近眼显示器不是在表面上创建可见图像，而是使用光学系统形成光瞳，并且用户的眼睛充当光学链中的最后一个元件，并将来自光瞳的光转换成眼睛视网膜上的图像作为虚拟显示。可以意识到，出射光瞳是光学系统中的虚拟孔径。只有穿过该虚拟孔径的光线才能离开系统。因此，出射光瞳描述了全息虚拟图像光在离开显示系统之后的最小直径。出射光瞳限定了视窗，该视窗包括用户眼睛位置的空间范围，在该空间范围中由显示设备投射的全息虚拟图像是可见的。
图2示出了由用户115佩戴的被配置用于混合现实体验的HMD设备100，其中显示设备105被配置作为近眼显示系统，除了各种其他组件之外还具有至少部分透明的透视波导，并且显示设备105可以进一步适应于利用根据本文所讨论的原理的可变焦透镜。
如上所述，虚拟图像源(未示出)生成全息虚拟图像，该全息虚拟图像由显示设备中的波导引导至用户。由于是透明的，显示设备中的波导使用户能够感知来自真实世界的光，从而获得真实世界对象的未改变的视图。
基于透视波导的显示设备105可以渲染叠加在使用透视波导显示器共同观看的真实世界图像上的各种虚拟对象的全息图像，从而在HMD设备的FOV(视场)220内创建混合现实环境200。值得注意的是，真实世界的FOV和虚拟世界中的全息图像的FOV不一定相同，因为由显示设备提供的虚拟FOV通常是真实FOV的子集。FOV通常被描述为水平、垂直或对角线维度的角度参数。可以理解的是，诸如“左”、“右”、“上”、“下”、“方向”、“水平”和“垂直”的术语主要用于在为了便于描述而在所示并进行描述的说明性示例中建立相对定向。这些术语对于HMD设备的用户直立且面向前的使用场景来说可能是直观的，但对于其他使用场景来说不太直观。所列出的术语不应被解释为限制本布置中所利用的特征的配置(以及其中的使用场景)的范围。
值得注意的是，FOV只是HMD设备设计者通常考虑和平衡以满足特定实现方式的要求的众多参数之一。例如，此类参数可包括视窗尺寸、亮度、透明度和工作时间、对比度、分辨率、色彩保真度、深度感知、尺寸、重量、形状因数和用户舒适度(即，可穿戴、视觉和社交)等等。
在图2所示的说明性示例中，用户115实际上正在真实世界的城市区域中行走，该城市区域包括具有各种建筑物、商店等的城市街道，以及远处的乡村。在HMD设备100上观看的城市景观的FOV随着用户移动通过真实世界环境而改变，并且设备可以在真实世界视图上渲染静态和/或动态虚拟图像。在该说明性示例中，全息虚拟图像包括标识餐馆企业的标签225和到城市中的感兴趣地点的导向230。在一些实现方式中，在基于波导的显示设备上视觉上看到的混合现实环境200还可以通过由HMD设备产生的音频和/或触觉/触感来补充。
虚拟图像和数字内容可以沿着坐标系235的所有三个轴而位于FOV内的各个位置。随着显示器沿着“z”轴的范围从近场聚焦平面(即，通常在HMD设备用户的手臂长度内)延伸到远场聚焦平面(即，通常超出手臂的范围)以促进手臂长度的虚拟显示交互，可以增强内容的三位沉浸感。许多混合现实HMD设备体验将采用近场和远场视觉组件的混合。近场和远场之间的边界不一定严格定义，并且可以因实现方式而异。例如，在一些混合现实HMD设备场景中，超过2m的距离可以被视为远场的一部分。
在自然观看期间，人类视觉系统依赖于多种信息源或“线索”来解释三维形状和对象的相对位置。一些线索仅依赖于单眼(单眼线索)，包括线性透视、熟悉的尺寸、遮挡、景深模糊和调节。其他线索依赖于双眼(双眼线索)，包括聚散度(本质上是观看对象所需的眼睛的相对转动)和双眼视差(场景在两只眼睛背面上的投影之间的差异模式)。
为了清晰地观察对象，人类必须适应或调整他们眼睛的焦点以适应对象的距离。同时，双眼的转动必须会聚于(converge to)对象的距离，以避免看到重影。视线相交处的距离是聚散距离(vergence distance)。观看者还针对场景的固定部分(即眼睛正在看的地方)适当地调节(即适应)每只眼睛中晶状体的焦度。眼睛必须聚焦以创建清晰的视网膜图像的距离是焦距。在自然观看中，聚散度和适应(accommodation)是相关的。当观看附近的某物(例如靠近鼻子的家蝇)时，眼睛会交叉并适应近点。相反，当在光学无限远处观看对象时，眼睛的视线变得平行，并且眼睛的晶状体适应无限远。
在典型的HMD设备中，用户始终适应显示器的焦距(以获得清晰的图像)，但会会聚于感兴趣对象的距离(以获得单个图像)。当用户适应并会聚于不同的距离时，两个线索之间的自然联系必须被打破，这可能会由于这种聚散调节冲突(VAC)而导致视觉不适或疲劳。因此，为了最大化关于HMD设备100的用户体验质量和舒适度，可以在平面中渲染虚拟图像以看起来在距用户眼睛恒定距离处。例如，包括图像225和230的虚拟图像可以被设置在距离用户115固定深度(例如，2m)处。因此，用户将总是适应接近2m以在HMD设备中保持清晰的图像。可以意识到，2m是示例性距离并且旨在是非限制性的。可以利用其他距离，并且对于混合现实HMD设备的许多应用，虚拟图像通常可以最佳地放置在距离HMD设备用户1.5m到5m之间的距离处，同时确保用户舒适度，然而，在一些应用和用例中，虚拟图像可以更接近用户地渲染。
在如图3A所示的真实世界中，来自远距离对象310的光线305到达用户115的眼睛几乎是平行的。光学无限远处(对于正常视力大约6m或更远)的真实世界对象具有当到达眼睛时完全平行的光线320，如图3B中所示。与更远的对象相比，来自附近的真实世界对象330的光线325以不同的、更发散的角度到达眼睛，如图3C所示。
可以利用各种方法以适当发散角度来渲染虚拟图像，从而出现在目标焦深处。例如，图4示出了负(即，凹)透镜405可以使从HMD设备中的传统输出耦合器元件(未示出)接收的准直/平行光线450发散，以产生具有在焦点F(如附图标记415所示)处的对于用户来说显而易见的位置的全息虚拟图像(virtual image)，焦点F由透镜的焦距确定。例如，在各种混合现实HMD设备场景中，焦距范围可以在-0.2到-3.0屈光度之间(即33cm到5m)，以将虚拟对象从远场边界(接近无穷远)定位到稍微超过一英尺远处。如图所示，从负透镜到达用户眼睛115的光线是不平行且发散的，并且使用眼睛的内部晶状体会聚以在视网膜上形成图像，如附图标记420所示。
图5示出了示例性混合现实显示系统500的简化侧视图，该混合现实显示系统500被并入到显示设备105(图1)中并且可以在HMD设备100中使用以渲染虚拟图像。注意，图5的侧视图示出了用于用户115的单眼的显示组件。然而，可以意识到的是，这些组件可以被扩展，使得在双眼实现方式中为用户的每只眼睛提供单独的显示。这样的布置可以促进例如HMD设备100的FOV中的虚拟图像的立体渲染并且使得能够在每只眼睛的基础上实现其他特征。
混合现实显示系统500包括被配置为传播可见光的至少一个部分透明(即，透视)的波导510。波导510促进虚拟图像源520和用户115的眼睛之间的光传输。可以在近眼显示系统中使用一个或多个波导，因为它们是透明的并且因为它们通常小且轻。这在HMD设备等应用中是期望的，因为出于性能和用户舒适度的原因，通常寻求尺寸和重量最小化。使用波导可以使虚拟图像源能够位于不碍事的位置(out of the way)，例如位于用户头部的侧面或前额附近，只在眼睛前面留下相对较小、轻且透明的波导光学元件。
在说明性实现方式中，波导510使用全内反射(TIR)原理来操作，使得光可以在HMD设备100中的各个光学元件之间耦合。TIR是当传播的光波以相对于表面法线大于临界角的角度撞击介质边界(例如，由波导的光学基底提供的)时发生的现象。换句话说，临界角(θc)是大于其就会发生TIR的入射角，其由斯涅尔定律给出，如本领域已知的。更具体地说，斯涅尔定律指出临界角(θc)使用以下等式指定：
θc＝sin-1(n2/n1)
其中θc是在介质边界处相遇的两种光学介质(例如，波导基底和空气或与基底相邻的某些其他介质)的临界角，n1是光在其中朝向介质边界(例如，波导基底，一旦光耦合到其中)行进的光学介质的折射率，并且n2是超出介质边界(例如，空气或邻近波导基底的一些其他介质)的光学介质的折射率。
虚拟图像光515可以由虚拟图像源520(例如，微显示器或光引擎等)提供。根据虚拟图像源的特定类型和配置，可以可选地使用准直透镜522，使得波导的输入包括准直光线。虚拟图像光通过输入光瞳516上的输入耦合器525输入耦合(in-couple)到波导，并且在TIR中传播通过波导。虚拟图像光通过显示系统的视窗535上的输出耦合器530从波导输出耦合(out-couple)。
由视窗提供的输出耦合图像光540的出射光瞳通常在垂直方向和水平方向两者上相对于输入光瞳在尺寸上扩大。通常，在基于波导的光学组合器中，输入光瞳需要在准直场之上形成，否则每个波导出射光瞳将在稍微不同的距离处产生图像。这会导致混合的视觉体验，其中图像与不同的焦深重叠，形成一种称为焦点扩散的光学现象。传统的基于波导的显示系统中的准直输入和输出提供由显示设备显示的聚焦于无穷远处的全息虚拟图像。
透视波导和耦合元件的组合可以被称为混合现实光学组合器545，其用于将真实世界图像和虚拟世界图像组合到单个显示器中。虽然输入耦合器和输出耦合器在图5中被示出为被实现为分立元件，但是在一些应用中可以将输入耦合和输出耦合功能部分或全部直接并入波导和/或其组件中。由波导和耦合器提供的光学组合器功能可以使用反射波导组合器来实现。例如，部分反射表面可以嵌入波导中和/或以几何阵列堆叠以实现使用部分场传播的光学组合器。反射器可以是半色调、电介质、全息、偏振薄层，或者断裂成菲涅耳元件。在其他实施例中，本发明组合的双折射材料和反射波导的原理可以利用任何合适的输入耦合和/或输出耦合方法使用反射波导组合器来实现。
在一些应用中可以使用多个波导。如图5所示，组合器545包括用于虚拟图像中的所有颜色的单个波导，这在一些应用中可以是期望的。例如，如果使用RGB(红、绿、蓝)颜色模型来配置虚拟图像源520，则波导510可以适于传播每个颜色分量中的光，如附图标记524、526和528所示。相比之下，由于波导TIR条件规定的角度范围受到限制，衍射组合器通常需要多个波导才能满足多色应用中的目标FOV。
本发明组合的双折射材料和反射波导还可以与反射以外的各种其他波导/耦合配置一起使用。例如，可以意识到的是，本发明的原理可以替代地应用于包括折射、衍射、偏振、混合衍射/折射、相位复用全息和/或消色差超表面的一个或多个元件的波导。
如图6所示，用户115可以透过混合现实显示系统500的波导510观看，以在与眼睛侧相对的波导的真实世界侧上看到真实世界对象605的未改变的视图(眼睛侧由附图标记612指示，而真实世界侧由附图标记614指示)。光学组合器545可以将虚拟图像(为了阐述清楚起见而未示出)叠加在从真实世界对象反射的光610的用户视图上，从而形成混合现实显示。在该特定示例中，真实世界对象位于远处，因此当用户115观看时，入射到显示系统上的真实世界光的平行光线保持平行。
图7示出了说明性混合现实显示系统700的侧视图，其中使用焦平面控制器715选择性地控制铁电液晶(FLC)调制器705和包括双折射材料的透镜710，以使得能够使用发散光线740来渲染虚拟图像。虚拟图像可以在焦距Fe和Fo处向用户115显现，焦距Fe和Fo分别定义距光学组合器750中的透视波导745距离d1和d2处的两个不同焦平面。波导和/或光学组合器可以以与上面在附图5的文本中所讨论的类似的方式包括反射元件。应当注意的是，为了清楚起见，没有示出光通过透视波导的传播。还可以意识到的是，用户115可以通过透视波导来观察图中也未示出的真实世界对象。
虚拟图像源720提供虚拟图像光725，虚拟图像光725可以包括诸如RGB颜色模型的颜色模型的多个分量(未示出)。与图5所示的混合现实显示系统500一样，可以根据源的特性可选地使用准直透镜730。如图所示，线性偏振过滤器735设置在准直透镜与FLC调制器之间的虚拟图像光的传播路径上。焦平面控制器715可操作地耦合到虚拟图像源720和FLC调制器705。
图8示出了线性偏振光通过FLC调制器705和双折射透镜710的传播以将光聚焦在不同的焦平面处。透镜的特性在于其具有两个焦距Fo和Fe，两个焦距Fo和Fe对应于双折射材料的通常折射率和非常折射率no和ne，如附图标记805和810所示。双折射透镜可以包括透明且可成型的任何合适的双折射材料。双折射透镜在图8中未示出为具有任何特定形状，但可以意识到的是，其一个或多个主表面可被成形为提供对焦距的附加控制以满足特定要求。
来自虚拟图像源720的非偏振光穿过线性偏振过滤器735并且入射到FLC调制器705上。线性偏振过滤器与双折射透镜的通常轴或非常轴对准。FLC调制器被配置为用作具有二元状态的可切换半波片。FLC调制器具有快轴815和慢轴820。快轴为线性偏振波的一种偏振状态提供最小折射率以及最大相速度。当波转动90°并沿慢轴偏振时，它将以最大折射率和最小相速度传播。FLC调制器根据其所切换的状态而与线性偏振过滤器的轴成0或45°朝向。在替代实现方式中，不是使用FLC调制器，而是可以通过适当配置的光弹性调制器(PEM)、采用例如普克尔斯效应(Pockels effect)的线性电光调制器、采用例如克尔效应(Kerr effect)的二次电光调制器、采用例如法拉第效应(Faraday effect)的磁光调制器、压电材料或其他合适的设备或技术来执行。
如果FLC调制器705处于第一状态，则虚拟图像光在传播到双折射透镜710时保持0°偏振，从而与通常轴对准并聚焦在焦距Fo处。如果FLC调制器处于第二状态，则出射光的偏振面转动90°并与双折射透镜的非常轴对准，从而聚焦在焦距Fe处。因此，通过在FLC调制器状态之间切换，可以选择双折射透镜的两个不同折射率之一，从而选择透镜的两个不同焦度之一。
再次参考图7，可以使用焦平面控制器715将由虚拟图像源720在混合现实场景中呈现虚拟图像与FLC调制器705的操作同步。该同步使得能够以正确的焦点线索构建时间复用的场景，使得在双折射透镜710处于正确状态的情况下呈现场景中的焦距。因此，当混合现实场景的更远的部分在虚拟图像源720处合成时，焦平面控制器向FLC调制器发出信号以将双折射透镜切换到其更长的焦距，使得用户的眼睛必须适应远，以创建清晰的视网膜图像。当混合现实场景的较近部分被合成时，焦平面控制器向FLC调制器发出信号以将双折射透镜切换到较短的局部长度，使得用户的眼睛必须适应较近的距离，以创建清晰的图像。可以意识到，混合现实场景的给定合成中的每个焦点状态将显示在虚拟图像源的每隔一个帧中。
图9示出了说明性混合现实场景900的FOV 905，其中虚拟图像源显示场景的更远的部分。作为响应，FLC调制器将双折射透镜切换到Fe焦距。因此，混合现实显示系统创建用户的眼睛在自然观看三维场景时通常遇到的光场的数字近似。不需要知道用户115的眼睛聚焦在哪里来创建适当的焦点线索。
如果用户适应d2处的远距离来观看虚拟世界对象910，则所显示场景的远部分处于清晰焦点，而包括虚拟世界对象915的近部分被模糊。图10示出了说明性混合现实场景1000的FOV 1005，其中用户适应d1处的近距离以清晰焦点观看虚拟世界对象915，而包括虚拟世界对象910的远部分被模糊。因此，混合现实显示系统可以再现(reproduce)正确的焦点线索，包括模糊和双眼视差，从而刺激自然适应以会聚于适当的焦距，从而创建清晰的视网膜图像。
距离d1和d2的值可以基于应用来选择。在典型的HMD设备应用中，可以寻求在2m(-0.5屈光度)内显示虚拟图像，以最小化VAC。由于人类视觉的景深大约为+/-0.3屈光度，因此可以利用焦平面之间的半屈光度距离和足够的焦点线索以使用户能够在焦平面之间平滑地转移焦点。因此，例如，近距离可以是大约1m，而远距离可以是大约2m。这些值是说明性的并且不旨在进行限制。
图11示出了示例性混合现实显示系统1100，其中利用N组FLC调制器和双折射透镜来提供2N个不同的虚拟图像焦平面。在该示例中，N＝2，因此包括FLC调制器1110和双折射透镜1115的第一组1105与第二组1120串联放置。如图所示，调制器和透镜组的串联布置沿着虚拟图像光路布置，虚拟图像光路从虚拟图像源720通过准直透镜730和线性偏振过滤器735延伸到光学组合器750中的透视波导745。
FLC调制器和双折射透镜的两组1105和1120相结合地工作以在距波导745的相应距离d1、d2、d3和d4处提供四个不同的焦距F1、F2、F3和F4。由焦距定义的焦平面之间的空间分离度可以根据应用而变化。例如，F1和F4可以分开1.5屈光度，其中d1、d2、d3和d4分别是50cm、1m、1.5m和2m。
图12示出了与包括眼睛跟踪器1205、焦平面控制器715和处理器1210的HMD设备组件处于操作关系的说明性虚拟显示系统1200的侧视图。焦平面控制器可操作地耦合到虚拟图像源720和FLC调制器705，如上所述，从而使用双折射透镜710提供多个不同的焦距，以在混合现实场景中在光学组合器750上在不同距离处渲染虚拟图像。这些组件可以设置在图22和图23中所示并在附图中描述的HMD设备100或示例性HMD设备2200的框架(未示出)或其他合适的结构中。
眼睛跟踪器1205可操作地耦合到一个或多个照明源1215和一个或多个传感器1220。例如，照明源可以包括位于虚拟显示系统和/或光学组合器的外围周围的IR(红外)LED和/或可以设置在诸如框架之类的一些其他合适的HMD设备组件中。眼睛跟踪器照明源可以用作闪烁源和/或提供用户眼睛特征的一般或结构化照明。眼睛跟踪器传感器可以包括例如对IR光具有敏感性的面向内的相机。基于图像和/或基于特征的眼睛跟踪或其他合适的眼睛跟踪技术可以用来满足本原理的实现的要求。
在说明性示例中，来自照明源1215的IR光引起高度可见的反射，并且眼睛跟踪器传感器1220捕获显示这些反射的眼睛的图像。由传感器捕获的图像用于识别光源在角膜上和瞳孔中的反射(即“闪烁”)。通常，可以使用实时图像分析来计算由角膜与瞳孔反射之间的角度形成的矢量，然后使用矢量方向并结合反射的其他几何特征来确定用户正在注视的位置——注视点——并计算眼球运动、位置和朝向。
眼睛跟踪可以用于初始校准用户眼睛相对于HMD设备100的位置并且帮助在设备使用期间维持校准状态。眼睛跟踪器1205可以动态地跟踪眼睛相对于HMD设备的位置，例如，如果设备在用户的头上移位，则该位置可能改变。用户眼睛与显示系统的正确连续对准可以确保使用适当的焦点线索(包括准确的双眼视差以及真实和虚拟对象的遮挡)正确渲染不同焦平面中的虚拟图像的显示。
例如，图13示出了用户115与发生在真实世界办公室环境中的混合现实场景1300中的各种虚拟对象1305和1310交互。可以注意到，附图中所示的虚拟对象通常仅由HMD设备用户可见。图14示出了从HMD设备用户的角度来看在设备的FOV 1405内的混合现实场景。面板虚拟对象1305显示在近焦平面中，而圆柱形虚拟对象1310显示在远焦平面中。为了保持自然的深度外观，虚拟图像源组成混合现实场景，通过FLC调制器和双折射透镜的操作在不同焦距处显示混合现实场景，以保持场景中对象之间适当的遮挡关系。如图14中的混合现实场景1400所示，圆柱形虚拟对象1310被用户FOV 1405中的面板虚拟对象1305部分地遮挡。虚拟对象部分地遮挡位于远焦平面之外的墙壁和房间内容物。
图15描绘了示例性布置的俯视图，其中虚拟对象可以位于包含HMD设备用户当前正在观看的虚拟对象的焦平面中。可以意识到，在单个焦平面中渲染所有虚拟图像可以在一些情况下降低实现复杂性，例如，通过降低混合现实显示系统中的组件的刷新率，否则将需要组件的该刷新率来支持同时跨越多个焦平面分发虚拟内容。还可以对所有虚拟内容使用单个焦平面来减少VAC。
如图所示，用户115的注视点1505由眼睛跟踪器1205(图12)确定，注视点1505指示用户当前正在观看距离d1处的面板虚拟对象1305。然后，圆柱形虚拟对象1310可以从其距离d2处的当前位置移动到与距离d1处的面板相同的焦平面，如线1510所示。随着新虚拟对象的图像被引入到混合现实场景的合成中，它们可以在与当前注视点对应的焦平面中渲染。例如，新的三角形虚拟对象1515位于距离d1处的焦平面中。可以意识到的是，焦平面控制器715(图12)可以被配置成连续地与眼睛跟踪器1205交互，使得混合现实场景中的虚拟对象可以响应于检测到的用户注视点的移位而定位到和/或移动到适合的焦平面。
图16从HMD设备用户115的角度示出了如上面参考图15所讨论的说明性混合现实场景1600。如图所示，所有虚拟对象1515、1305和1310都位于单个焦平面中，该单个焦平面基于通过眼睛跟踪器1205(图12)的操作确定的用户的当前注视点来选择。因此，该混合现实场景1600不同于图14中所示的场景1400，在场景1400中面板和圆柱形虚拟对象分别位于距离d1和d2处的不同焦平面处。
图17是用于操作包括混合现实透视显示系统的电子设备(例如，HMD设备)的说明性方法1700的流程图，该混合现实透视显示系统被配置为示出包括虚拟世界对象的虚拟图像的混合现实场景，在真实世界对象的视图上向电子设备的用户渲染虚拟世界对象的虚拟图像。除非特别说明，否则流程图中示出的以及附图中描述的方法或步骤不限于特定的顺序或序列。另外，一些方法或其步骤可以同时发生或执行，并且并非所有方法或步骤都必须在给定实现方式中执行，这取决于给定实现方式的要求，并且可以可选地利用一些方法或步骤。
在框1705处，接收虚拟图像的光，其中该光以第一偏振状态被线性偏振。在框1710处，操作FLC调制器以在虚拟图像光的第一偏振状态和与第一偏振状态正交的第二偏振状态之间切换。在框1715处，提供双折射材料的透镜，虚拟图像光以第一偏振状态或第二偏振状态入射到双折射材料的透镜上，其中透镜根据入射虚拟图像光的偏振状态而提供用于虚拟图像的两个不同焦距中的一个。在框1720处，来自透镜的虚拟图像光被输入耦合到混合现实透视光学显示系统中，该系统在两个不同焦距中的一个焦距处向用户渲染虚拟图像。
图18和图19分别示出了遮阳板1800的说明性示例的前视图和后视图，遮阳板1800并入了在由用户115佩戴的HMD设备100中使用的内部近眼显示设备105(图1和图2)。在一些实现方式中，遮阳板可以被密封以保护内部显示设备。遮阳板通常与HMD设备的其他组件接口，例如头戴式/保持系统和包括传感器、电源管理、控制器等的其他子系统，如结合图22和图23说明性描述的。包括按扣、凸台、螺钉和其他紧固件等的合适的接口元件(未示出)也可以并入遮阳板中。
遮阳板1800可分别包括透视前屏蔽件1805和后屏蔽件1810，其可使用透明或部分透明的材料模制以促进对显示设备和周围真实世界环境的无障碍视野。可以对前屏蔽件和后屏蔽件进行处理，例如着色、镜面化、抗反射、防雾和其他涂层，并且还可以使用各种颜色和饰面。前屏蔽件和后屏蔽件固定至图20的分解图中所示的底盘2005。
当HMD设备操作时以及在用于清洁等的正常处置期间，密封遮阳板1800可以物理地保护敏感的内部组件，包括显示设备105。该说明性示例中的显示设备包括左光学显示系统2010L和右光学显示系统2010R，其分别向用户的左眼和右眼提供混合现实场景的全息虚拟图像。遮阳板还可以保护显示设备免受环境因素的影响，并在HMD设备跌落、碰撞、撞击等情况下免受损坏。
如图19所示，后屏蔽件1810被配置为符合人体工程学的合适形式1905以与用户的鼻子接合，并且可以包括鼻垫和/或其他舒适特征(例如，模制和/或附加为分立组件)。在一些应用中，在一些情况下，密封遮阳板1800还可以在模制护罩内结合一定水平的光学屈光度曲率(即，眼睛处方)。
图21A、图21B和图21C分别是示例性光学显示系统2010的前视图、俯视图和侧视图，该光学显示系统2010可用于将与输入光瞳相关联的图像复制到扩展的出射光瞳。术语“输入光瞳”是指孔径，对应于图像的光通过该孔径覆盖在设置在波导2110上的输入耦合器2105上。术语“出射光瞳”是指孔径，对应于图像的光通过该孔径离开设置在波导上的输出耦合器2115。
波导2110可以由玻璃或光学塑料制成，但不限于此。相对侧可以被配置为是平行的。波导可以是平面的，如示例性所示，或者在替代实施例中，波导可以是弯曲的。波导可以利用体衬底配置，其中波导厚度是波导用作传播介质的光的波长的至少十倍。波导至少部分透明以允许光穿过它，使得用户可以透过波导观看并观察另一侧真实世界对象的未改变的视图。
在一些实现方式中，中间组件2120可以设置在波导2100上。中间组件可以被配置为在输出耦合器2115的方向上重定向光。此外，中间组件可以被配置为执行水平或垂直光瞳扩展中的一个，并且输出耦合器可以被配置为执行水平或垂直光瞳扩展中的另一个。例如，中间组件可以在水平方向上执行光瞳扩展，并且输出耦合器可以在垂直方向上执行光瞳扩展。可替代地，如果中间组件被重新定位，例如位于图21A所示的输入耦合器下方和输出耦合器2115的左侧，则中间组件可被配置为执行垂直光瞳扩展，并且输出耦合器可被配置为执行水平瞳孔扩展。
输入耦合器2105、中间组件2120和输出耦合器2115被示出为具有矩形外周形状，但可以具有替代的外周形状。这些元件还可以设置在波导的同一侧或相对侧。还可以利用嵌入式配置，其中一个或多个耦合器或组件浸没在波导内且在波导的外表面之间。输入耦合器、中间组件和输出耦合器可以使用反射光学元件来配置，每个反射光学元件都具有一个或多个反射或部分反射表面。在替代实现方式中，还可以利用一个或多个衍射光学元件来执行输入和输出耦合以及光瞳扩展。
图22示出了混合现实HMD设备2200的一个特定说明性示例，并且图23示出了设备2200的功能框图。HMD设备2200为前面的附图中示出并在上文讨论的HMD设备100提供了替代形状因数。HMD设备2200包括形成透视显示子系统2204的一部分的一个或多个透镜2202，使得可以使用透镜2202(例如，使用透镜2202上的投影，一个或多个波导系统，例如近眼显示系统，并入透镜2202中，和/或以任何其他合适的方式)来显示图像。
HMD设备2200还包括一个或多个面向外的图像传感器2206，图像传感器被配置为获取用户正在观看的背景场景和/或物理环境的图像，并且可以包括一个或多个麦克风2208，麦克风被配置为检测声音，例如来自用户的语音命令。面向外的图像传感器2206可以包括一个或多个深度传感器和/或一个或多个二维图像传感器。在替代布置中，如上所述，混合现实或虚拟现实显示系统可以通过面向外的图像传感器的取景器模式来显示混合现实或虚拟现实图像，而不是并入透视显示子系统。
HMD设备2200还可以包括注视检测子系统2210，该注视检测子系统被配置为用于检测用户每只眼睛的注视方向或者焦点的方向或位置，如上所述。注视检测子系统2210可以被配置为以任何合适的方式确定用户每只眼睛的注视方向。例如，在所示的说明性示例中，注视检测子系统2210包括：一个或多个闪烁源2212，例如如上所述的虚拟IR光或可见源，其被配置为引起光闪烁从眼睛的每个眼球反射；以及一个或多个图像传感器2214，例如面向内的传感器，被配置为捕获用户的每个眼球的图像。根据使用(一个或多个)图像传感器2214收集的图像数据确定的来自用户眼球和/或用户瞳孔位置的闪烁的变化可以用于确定注视方向。
另外，从用户眼睛投射的注视线与外部显示器相交的位置可用于确定用户正在注视的对象(例如，显示的虚拟对象和/或真实背景对象)。注视检测子系统2210可以具有任何合适数量和布置的光源和图像传感器。在一些实现方式中，可以省略注视检测子系统2210。
HMD设备2200还可以包括附加传感器。例如，HMD设备2200可以包括全球定位系统(GPS)子系统2216以允许确定HMD设备2200的位置。这可能有助于识别可能位于用户相邻物理环境中的真实世界对象，例如建筑物等。
HMD设备2200还可以包括一个或多个运动传感器2218(例如，惯性传感器、多轴陀螺仪传感器或加速度传感器)，以当用户佩戴系统作为混合现实或虚拟现实HMD设备的一部分时检测用户头部的运动和位置/朝向/姿态。运动数据可以与眼睛跟踪闪烁数据和面向外的图像数据一起用于注视检测，以及用于图像稳定以帮助校正来自面向外的图像传感器2206的图像中的模糊。即使来自面向外的图像传感器2206的图像数据无法被解析，运动数据的使用可以允许跟踪注视方向的变化。
另外，运动传感器2218以及麦克风2208和注视检测子系统2210也可以被采用作为用户输入设备，使得用户可以经由眼睛、颈部和/或头部的姿势以及在某些情况下经由口头命令来与HMD设备2200交互。可以理解的是，图22和图23中示出的以及附图中描述的传感器是出于示例的目的而被包括的，并且不旨在以任何方式进行限制，因为可以利用任何其他合适的传感器和/或传感器的组合以满足特定实现方式的需要。例如，可以在一些实现方式中使用生物识别传感器(例如，用于检测心率和呼吸频率、血压、大脑活动、体温等)或环境传感器(例如，用于检测温度、湿度、海拔、UV(紫外线)光水平等)。
HMD设备2200还可以包括控制器2220，例如一个或多个处理器，其具有通过通信子系统2226与传感器、注视检测子系统2210、显示子系统2204和/或其他组件进行通信的逻辑子系统2222和数据存储子系统2224。通信子系统2226还可以促进显示系统与远程定位的资源(例如处理、存储、电力、数据和服务)结合操作。也就是说，在一些实现方式中，HMD设备可以作为系统的一部分来操作，该系统可以在不同的组件和子系统之间分配资源和能力。
存储子系统2224可以包括存储在其上的指令，这些指令可由逻辑子系统2222执行，例如除其他任务外，接收和解释来自传感器的输入、识别用户的位置和移动、使用表面重建和其他技术来识别真实对象，以及还根据与对象的距离使显示变暗/淡化，以便使用户能够看到对象。
HMD设备2200配置有一个或多个音频换能器2228(例如，扬声器、耳机等)，使得音频可以被用作混合现实或虚拟现实体验的一部分。电源管理子系统2230可以包括一个或多个电池2232和/或保护电路模块(PCM)以及相关联的充电器接口2234和/或用于向HMD设备2200中的组件供电的远程电源接口。
可以意识到，HMD设备2200是出于示例的目的而描述的，并且因此并不意味着限制。还可以理解的是，在不脱离本布置的范围的情况下，显示设备可以包括除所示的那些之外的附加的和/或替代的传感器、相机、麦克风、输入设备、输出设备等。另外，HMD设备及其各种传感器和子组件的物理配置可以采取各种不同的形式而不脱离本布置的范围。
图24示意性地示出了计算系统的说明性示例，该计算系统可以针对本发明的组合双折射材料和反射波导执行上述方法和过程中的一种或多种。计算系统2400以简化形式示出。计算系统2400可以采用一台或多台个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能手机)、可穿戴计算机和/或或其他计算设备的形式。
计算系统2400包括逻辑处理器2402、易失性存储器2404和非易失性存储设备2406。计算系统2400可以可选地包括显示子系统2408、输入子系统2410、通信子系统2412和/或图24中未示出的其他组件。
逻辑处理器2402包括被配置为执行指令的一个或多个物理设备。例如，逻辑处理器可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分的指令。此类指令可被实现为执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果或以其他方式达到期望的结果。
逻辑处理器可以包括被配置为执行软件指令的一个或多个处理器。另外或替代地，逻辑处理器可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑处理器。逻辑处理器的处理器可以是单核或多核，并且在其上执行的指令可以被配置用于顺序、并行和/或分布式处理。逻辑处理器的各个组件可选地可以分布在两个或更多个单独的设备中，这些设备可以远程定位和/或被配置用于协调处理。逻辑处理器的各方面可以由配置在云计算配置中的远程可访问的联网计算设备虚拟化和执行。在这种情况下，这些虚拟化方面可以在各种不同机器的不同物理逻辑处理器上运行。
非易失性存储设备2406包括一个或多个物理设备，其被配置为保存可由逻辑处理器执行以实现本文描述的方法和过程的指令。当实现这样的方法和过程时，非易失性存储设备2406的状态可以被变换——例如，以保存不同的数据。
非易失性存储设备2406可以包括可移除和/或内置的物理设备。非易失性存储设备2406可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，ROM、EPROM、EEPROM、闪存存储器等)，和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)或其他大容量存储设备技术。非易失性存储设备2406可以包括非易失性、动态、静态、读/写、只读、顺序访问、位置可寻址、文件可寻址和/或内容可寻址设备。应当意识到，非易失性存储设备2406被配置为即使当非易失性存储设备2406的电源被切断时也保持指令。
易失性存储器2404可以包括包含随机存取存储器的物理设备。易失性存储器2404通常被逻辑处理器2402用来在软件指令的处理期间临时存储信息。应当意识到，当易失性存储器2404的电源被切断时，易失性存储器2404通常不继续存储指令。
逻辑处理器2402、易失性存储器2404和非易失性存储设备2406的各方面可以一起集成到一个或多个硬件逻辑组件中。此类硬件逻辑组件可能包括例如现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)和复杂可编程逻辑器件(CPLD)。
术语“程序”可以用于描述通常由处理器以软件实现以使用易失性存储器的部分来执行特定功能的计算系统2400的一个方面，该功能涉及专门配置处理器以执行该功能的变换处理。因此，可以使用易失性存储器2404的部分，经由逻辑处理器2402执行由非易失性存储设备2406保存的指令来实例化程序。应当理解，可以从相同的应用、服务、代码块、对象、库、例程、API、函数等来实例化不同的程序。同样，相同的程序可以由不同的应用、服务、代码块、对象、例程、API、函数等实例化。术语“程序”可以涵盖单个或一组可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
当被包括时，显示子系统2408可以用于呈现由非易失性存储设备2406保存的数据的视觉表示。该视觉表示可以采取图形用户界面(GUI)的形式。当本文描述的方法和过程改变非易失性存储设备所保存的数据并因此变换非易失性存储设备的状态时，显示子系统2408的状态同样可以被变换以可视地表示底层数据的变化。显示子系统2408可以包括使用实际上任何类型的技术的一个或多个显示设备；然而，利用MEMS投影仪引导激光可以以紧凑的方式与眼睛跟踪系统兼容。这样的显示设备可以与逻辑处理器2402、易失性存储器2404和/或非易失性存储设备2406组合在共享外壳中，或者这样的显示设备可以是外围显示设备。
当被包括时，输入子系统2410可以包括一个或多个用户输入设备或者与一个或多个用户输入设备接口连接，例如键盘、鼠标、触摸屏或游戏控制器。在一些实施例中，输入子系统可以包括选定的自然用户输入(NUI)组件或与选定的自然用户输入(NUI)组件接口连接。这样的组件可以是集成的或外围的，并且输入动作的转换和/或处理可以在板上或板外处理。示例NUI组件可以包括用于语音和/或话音识别的麦克风；用于机器视觉和/或姿势识别的红外、彩色、立体和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估大脑活动的电场传感组件。
当被包括时，通信子系统2412可以被配置为将本文描述的各种计算设备彼此通信地耦合以及与其他设备通信地耦合。通信子系统2412可以包括与一种或多种不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置用于经由无线电话网络、或者有线或无线局域网或广域网进行通信。在一些实施例中，通信子系统可以允许计算系统2400经由诸如因特网之类的网络向其他设备发送消息和/或从其他设备接收消息。
现在通过说明的方式呈现用于混合现实头戴式显示设备中的多个焦平面的本发明的组合双折射材料和反射波导的各种示例性实施例，而不是作为所有实施例的详尽列表。示例包括一种用于操作电子设备的方法，该电子设备包括混合现实透视光学显示系统，该混合现实透视光学显示系统被配置为展示包括虚拟世界对象的虚拟图像的混合现实场景，在真实世界对象的视图上向电子设备的用户渲染该虚拟世界对象的虚拟图像，该方法包括：接收用于虚拟图像的光，该光在第一偏振状态下被线性偏振；操作铁电液晶(FLC)调制器以在虚拟图像光的第一偏振状态和与第一偏振状态正交的第二偏振状态之间切换；提供双折射材料透镜，虚拟图像光以第一偏振状态或第二偏振状态入射到双折射材料透镜上，其中透镜根据入射虚拟图像光的偏振状态提供用于虚拟图像的两个不同焦距中的一个；将来自透镜的虚拟图像光输入耦合到混合现实透视光学显示系统中，该混合现实透视光学显示系统以两个不同焦距中的一个向用户渲染虚拟图像。
在另一示例中，该方法还包括：以与所接收的虚拟图像光的刷新率同步的速率操作FLC调制器，以提供包括位于一个或另一个不同焦距处或同时位于两个所述不同焦距处的一个或多个虚拟图像的时间复用的虚拟图像显示。在另一示例中，该方法还包括：堆叠串联作用于接收到的虚拟图像光的FLC调制器和双折射材料透镜的组合，其中所述堆叠中的每个组合为渲染的虚拟图像提供两个独特的焦距。在另一示例中，该方法还包括：根据混合现实场景的合成来操作FLC调制器，其中所述合成的混合现实场景包括位于不同焦距处的虚拟世界对象。
进一步的示例包括一种可由用户佩戴并被配置为支持混合现实体验的头戴式显示(HMD)设备，所述混合现实体验包括由所述用户观看与物理世界中的真实世界对象的视图组合的虚拟图像，所述HMD设备包括：焦距调制系统，所述焦距调制系统可操作以从虚拟图像源接收虚拟图像，所述焦距调制系统包括偏振调制器和双折射透镜，其中所述偏振调制器被配置为选择性地在两个正交状态之间切换所述虚拟图像的偏振，并且其中所述双折射透镜具有两个不同的折射率，每个折射率对虚拟图像的不同正交偏振状态敏感，其中处于第一偏振状态的虚拟图像被所述双折射透镜聚焦在第一焦距处，并且其中处于第二偏振状态的虚拟图像被所述双折射透镜聚焦在第二焦距处；以及光学组合器，用户能够利用所述光学组合器看到混合现实场景中的所述真实世界对象和所述虚拟图像，该光学组合器包括：输入耦合器，所述输入耦合器被配置为将来自所述焦距调制系统的聚焦在所述第一焦距或第二焦距的虚拟图像输入耦合到所述光学组合器中，并且还包括输出耦合器，所述输出耦合器被配置为将聚焦在所述第一焦距或第二焦距处的虚拟图像从所述光学组合器输出耦合到用户的一只或多只眼睛。
在另一示例中，HMD设备还包括线性偏振过滤器，所述线性偏振过滤器被布置为使来自所述虚拟图像源的光线性偏振。在另一示例中，HMD设备还包括眼睛跟踪器，用于跟踪用户眼睛的聚散度或跟踪用户的至少一只眼睛的注视方向，以执行用户眼睛与所述光学组合器之间的对准校准、在使用所述HMD设备期间对准是否发生变化的动态确定或者在所述虚拟图像源处混合现实场景的合成中的一项。在另一示例中，混合现实场景的合成包括：在基于所述眼睛跟踪器的操作而选择的单个焦平面中渲染虚拟图像以确定所述用户的注视点。在另一示例中，HMD设备还包括焦平面控制器，所述焦平面控制器可操作地耦合到所述偏振调制器并且被配置为以与所述虚拟图像源的刷新速率同步的速率选择性地切换所述虚拟图像的偏振状态以在所述光学组合器支持的混合现实场景中生成不同焦距处的虚拟图像。在另一示例中，焦平面控制器进一步可操作地耦合到所述虚拟图像源并且被配置为基于在所述虚拟图像源处生成的混合现实场景的合成来选择性地切换所述虚拟图像的偏振状态。在另一示例中，焦距调制系统进一步至少包括附加偏振调制器和附加双折射透镜，其中总共N个偏振调制器/双折射透镜对用于提供2N个不同焦距。在另一示例中，光学组合器包括波导，所述波导是至少部分透明的，所述波导被配置为将聚焦的虚拟图像从所述输入耦合器引导到所述输出耦合器。在另一示例中，输入耦合器、输出耦合器或波导中的一个或多个包括一或多个反射表面。在另一示例中，光学组合器被配置为向所述光学组合器提供相对于输入光瞳在一个或多个方向上扩展的出射光瞳。在另一示例中，偏振调制器包括铁电液晶(FLC)调制器、光弹性调制器、电光调制器、磁光调制器或压电调制器中的一个。
进一步的示例包括混合现实光学显示系统，该混合现实光学显示系统为可显示虚拟世界对象的图像的平面提供多个不同的焦距，该混合现实光学显示系统包括：被配置为生成用于虚拟世界图像的光的源，所述虚拟世界图像光在从源到混合现实显示系统的用户的眼睛的光路上传播；铁电液晶(FLC)调制器，其沿着光路设置，并且可操作地耦合到源以接收虚拟世界图像光，并且其可在第一切换状态和第二切换状态之间切换；线性偏振器，其沿着源和FLC调制器之间的光路设置，并且被配置为向入射到FLC调制器上的虚拟世界图像光赋予线性偏振状态，其中可切换FLC调制器被配置为根据切换状态相对于线性偏振器的偏振轴以0度或45度对准的半波片；双折射透镜，其沿着FLC调制器下游的光路设置，该双折射透镜具有与线性偏振器的偏振轴对准的通常折射率和与通常折射率正交的非常折射率，其中入射到具有与通常折射率一致的偏振状态的双折射透镜上的虚拟世界图像光被双折射透镜聚焦在第一焦距处，并且入射到具有与非常折射率一致的偏振状态的双折射透镜上的虚拟世界图像光被双折射透镜聚焦在不同于第一焦距的第二焦距处；焦距控制器，其可操作地耦合到FLC调制器以在第一状态和第二状态之间切换FLC调制器，其中在FLC调制器的第一切换状态下，离开FLC调制器并入射到双折射透镜上的虚拟世界图像光具有与双折射透镜的通常折射率一致的偏振状态，并且其中在FLC调制器的第二切换状态中，离开FLC调制器的虚拟世界图像光具有与双折射透镜的非常折射率一致的偏振状态；以及透视光学组合器，用户通过该透视光学组合器可以看到真实世界的对象，该透视光学组合器设置在双折射透镜下游的光路上，并且该透视光学组合器适合于显示虚拟世界对象图像，所述虚拟世界对象图像叠加在分别与第一焦距和第二焦距相关联的第一焦平面或第二焦平面中的真实世界对象的视图上。
在另一个示例中，透视光学组合器包括波导。在另一示例中，波导包括反射输入耦合器或反射输出耦合器。在另一示例中，光学组合器适于根据焦距控制器的操作选择性地在第一平面和第二平面中的任一者或两者中显示虚拟世界对象图像。在另一个示例中，混合现实光学显示系统被配置为在头戴式显示(HMD)设备中使用。
尽管已经以特定于结构特征和/或方法动作的语言描述了本主题，但是应当理解，所附权利要求中定义的主题不一定限于上述特定特征或动作。相反，上述具体特征和动作被公开为实现权利要求的示例形式。

Claims (15)

1.一种用于操作包括混合现实透视光学显示系统的电子设备的方法，所述混合现实透视光学显示系统被配置为展示包括虚拟世界对象的虚拟图像的混合现实场景，其中，在真实世界对象的视图上向所述电子设备的用户渲染所述虚拟世界对象的虚拟图像，所述方法包括：
接收所述虚拟图像的光，所述光以第一偏振状态被线性偏振；
操作铁电液晶(FLC)调制器以在虚拟图像光的所述第一偏振状态和与所述第一偏振状态正交的第二偏振状态之间切换；
提供双折射材料透镜，其中，虚拟图像光以所述第一偏振状态或所述第二偏振状态入射到所述双折射材料透镜上，其中，所述透镜根据入射虚拟图像光的偏振状态而提供用于所述虚拟图像的两个不同焦距中的一个焦距；以及
将来自所述透镜的所述虚拟图像光输入耦合到所述混合现实透视光学显示系统中，所述混合现实透视光学显示系统在两个不同焦距中的所述一个焦距处向所述用户渲染所述虚拟图像。
2.根据权利要求1所述的方法，还包括：以与所接收的虚拟图像光的刷新率同步的速率操作所述FLC调制器，以提供时间复用的虚拟图像显示，所述时间复用的虚拟图像显示包括位于一个或另一个不同焦距处或同时位于两个不同焦距处的一个或多个虚拟图像。
3.根据权利要求1所述的方法，还包括：串联地堆叠作用于接收到的虚拟图像光的FLC调制器和双折射材料透镜的组合，其中，所述堆叠中的每个组合为渲染的虚拟图像提供两个独特的焦距。
4.根据权利要求1所述的方法，还包括：根据混合现实场景的合成来操作所述FLC调制器，其中，合成的混合现实场景包括位于不同焦距处的虚拟世界对象。
5.一种能够由用户佩戴并被配置为支持混合现实体验的头戴式显示(HMD)设备，所述混合现实体验包括由所述用户观看与物理世界中的真实世界对象的视图组合的虚拟图像，所述HMD设备包括：
焦距调制系统，其能够操作以从虚拟图像源接收虚拟图像，所述焦距调制系统包括偏振调制器和双折射透镜，其中，所述偏振调制器被配置为选择性地在两个正交状态之间切换所述虚拟图像的偏振，并且其中，所述双折射透镜具有两个不同的折射率，每个折射率对虚拟图像的不同正交偏振状态敏感，其中，处于第一偏振状态的虚拟图像被所述双折射透镜聚焦在第一焦距处，并且其中，处于第二偏振状态的虚拟图像被所述双折射透镜聚焦在第二焦距处；以及
光学组合器，所述用户能够利用所述光学组合器看到混合现实场景中的所述真实世界对象和所述虚拟图像，所述光学组合器包括：输入耦合器和输出耦合器，所述输入耦合器被配置为将来自所述焦距调制系统的、聚焦在所述第一焦距或所述第二焦距处的虚拟图像输入耦合到所述光学组合器中，并且所述输出耦合器被配置为将来自所述光学组合器的、聚焦在所述第一焦距或第二焦距处的虚拟图像输出耦合到所述用户的眼睛中的一只或多只眼睛。
6.根据权利要求5所述的HMD设备，还包括线性偏振过滤器，所述线性偏振过滤器被布置为使来自所述虚拟图像源的光线性偏振。
7.根据权利要求5所述的HMD设备，还包括眼睛跟踪器，其用于跟踪所述用户的眼睛的聚散度或跟踪所述用户的至少一只眼睛的注视方向，以执行以下中的一项：对所述用户的眼睛与所述光学组合器之间的对准的校准、对在使用所述HMD设备期间对准是否发生变化的动态确定、或者在所述虚拟图像源处对混合现实场景的合成。
8.根据权利要求7所述的HMD设备，其中，所述混合现实场景的合成包括：在基于所述眼睛跟踪器的操作而选择的单个焦平面中渲染虚拟图像以确定所述用户的注视点。
9.根据权利要求8所述的HMD设备，还包括焦平面控制器，其可操作地耦合到所述偏振调制器并且被配置为以与所述虚拟图像源的刷新速率同步的速率选择性地切换所述虚拟图像的偏振状态，以在所述光学组合器支持的所述混合现实场景中在不同焦距处生成虚拟图像。
10.根据权利要求9所述的HMD设备，其中，所述焦平面控制器进一步可操作地耦合到所述虚拟图像源并且被配置为基于在所述虚拟图像源处生成的混合现实场景的合成来选择性地切换所述虚拟图像的偏振状态。
11.根据权利要求5所述的HMD设备，其中，所述焦距调制系统进一步至少包括附加偏振调制器和附加双折射透镜，其中，总共N个偏振调制器/双折射透镜对用于提供2N个不同焦距。
12.根据权利要求5所述的HMD设备，其中，所述光学组合器包括波导，所述波导是至少部分透明的，所述波导被配置为将聚焦的虚拟图像从所述输入耦合器引导到所述输出耦合器。
13.根据权利要求12所述的HMD设备，其中，所述输入耦合器、所述输出耦合器、或所述波导中的一个或多个包括一或多个反射表面。
14.根据权利要求5所述的HMD设备，其中，所述光学组合器被配置为向所述光学组合器提供相对于输入光瞳在一个或多个方向上扩展的出射光瞳。
15.根据权利要求5所述的HMD设备，其中，所述偏振调制器包括以下中的一个：铁电液晶(FLC)调制器、光弹性调制器、电光调制器、磁光调制器、或压电调制器。
CN202280064240.0A 2021-09-26 2022-07-28 用于混合现实头戴式显示设备中多个焦平面的组合双折射材料和反射波导 Pending CN117980808A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/448,890 US11953686B2 (en) 2021-09-26 2021-09-26 Combined birefringent material and reflective waveguide for multiple focal planes in a mixed-reality head-mounted display device
US17/448,890 2021-09-26
PCT/US2022/038609 WO2023048822A1 (en) 2021-09-26 2022-07-28 Combined birefringent material and reflective waveguide for multiple focal planes in a mixed-reality head-mounted display device

Publications (1)

Publication Number Publication Date
CN117980808A true CN117980808A (zh) 2024-05-03

Family

ID=82899142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280064240.0A Pending CN117980808A (zh) 2021-09-26 2022-07-28 用于混合现实头戴式显示设备中多个焦平面的组合双折射材料和反射波导

Country Status (3)

Country Link
US (1) US11953686B2 (zh)
CN (1) CN117980808A (zh)
WO (1) WO2023048822A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220343816A1 (en) * 2019-11-26 2022-10-27 Telefonaktiebolaget Lm Ericsson (Publ) Supply of multi-layer extended reality images to a user

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201110661D0 (en) * 2011-06-23 2011-08-10 Univ Durham Apparatus and method for displaying images
US10429639B2 (en) * 2016-01-31 2019-10-01 Paul Lapstun Head-mounted light field display
WO2018106253A1 (en) 2016-12-09 2018-06-14 University Of Central Florida Research Foundation, Inc. Optical display system, method, and applications
CN112051675B (zh) 2020-09-27 2022-11-25 京东方科技集团股份有限公司 一种近眼显示装置

Also Published As

Publication number Publication date
US11953686B2 (en) 2024-04-09
WO2023048822A1 (en) 2023-03-30
US20230103091A1 (en) 2023-03-30

Similar Documents

Publication Publication Date Title
US11391951B2 (en) Dual depth exit pupil expander
CN108474956B (zh) 具有可变聚焦的增强现实显示系统
US11662575B2 (en) Multi-depth exit pupil expander
US11774758B2 (en) Waveguide display with multiple monochromatic projectors
US11536969B2 (en) Scene camera
US11914767B2 (en) Glint-based eye tracker illumination using dual-sided and dual-layered architectures
CN117043658A (zh) 通过波导的眼睛跟踪器照明
US11885967B2 (en) Phase structure on volume Bragg grating-based waveguide display
US11709358B2 (en) Staircase in-coupling for waveguide display
US11531202B2 (en) Waveguide assembly with virtual image focus
CN117980808A (zh) 用于混合现实头戴式显示设备中多个焦平面的组合双折射材料和反射波导
US20220291437A1 (en) Light redirection feature in waveguide display
US11693248B1 (en) TIR prisms and use of backlight for LCoS microdisplay illumination
US11768375B2 (en) Control of variable-focus lenses in a mixed-reality device for presbyopes
US20230314804A1 (en) Polarization-recycling waveguided illumination system for microdisplay
WO2023158654A1 (en) Hybrid waveguide to maximize coverage in field of view (fov)

Legal Events

Date Code Title Description
PB01 Publication