CN114787690A - 用于混合现实显示的增加的景深 - Google Patents

用于混合现实显示的增加的景深 Download PDF

Info

Publication number
CN114787690A
CN114787690A CN202080085459.XA CN202080085459A CN114787690A CN 114787690 A CN114787690 A CN 114787690A CN 202080085459 A CN202080085459 A CN 202080085459A CN 114787690 A CN114787690 A CN 114787690A
Authority
CN
China
Prior art keywords
pixel beam
virtual
optical system
distance
collimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080085459.XA
Other languages
English (en)
Inventor
M·A·克鲁格
W·H·韦尔奇
J·舍费尔
B·N·S·弗拉斯坎普
R·D·泰克尔斯特
M·B·D·沃恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN114787690A publication Critical patent/CN114787690A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

公开了光学系统和用于其操作的方法。基于VAC限制,划定区域被定义为距光学系统的距离的函数,划定区域具有至少一个距离阈值。确定虚拟深度平面距光学系统的虚拟距离,在所述虚拟距离处将要显示虚拟对象。通过将虚拟距离与至少一个距离阈值进行比较来确定虚拟距离是否在划定区域之外。由光学系统的投影仪生成与虚拟对象相关联的准直像素光束。如果虚拟距离在划定区域之外,则修改准直像素光束以生成经修改的像素光束。修改准直像素光束包括会聚准直像素光束和/或减小准直像素光束的直径。

Description

用于混合现实显示的增加的景深
相关申请的交叉引用
本申请要求于2019年12月10日提交的题为“INCREASED DEPTH OF FIELD FORMIXED-REALITY DISPLAY(用于混合现实显示的增加的景深)”的美国临时专利申请No.62/946,291的优先权,用于所有目的,其整体内容通过引用并入本文。
背景技术
现代计算和显示技术已经有助于用于所谓的“虚拟现实”或“增强现实”体验的系统的开发,其中,数字再现的图像或其部分以其看起来是真实的或可以被感知为真实的方式呈现给用户。虚拟现实或者“VR”场景典型地包含数字或者虚拟图像信息的呈现,而无需对于其他实际现实世界视觉输入透明;增强现实或者“AR”场景典型地包含数字或者虚拟图像信息的呈现作为用户周围的实际世界的可视化的增强。
不管在这些显示技术中取得的进步,在本领域中需要涉及增强现实系统的经改进的方法、系统、和设备,特别地涉及增强现实显示系统的经改进的方法、系统、和设备。
发明内容
本公开一般涉及用于改进光学系统的性能和用户体验的技术。更特别地,本公开的实施例提供用于操作固定焦平面光学系统的系统和方法,该固定焦平面光学系统包括微显示器和泄漏光栅光导光瞳扩展目镜元件,其具有通过以紧凑的形状因子动态扩展该系统的景深来破坏人类视觉系统调节线索的方案。尽管本发明参考诸如增强现实(AR)设备的光学系统描述,但是本公开适用于计算机视觉和图像显示系统中的各种应用。
下面参考一系列示例提供本发明的综述。如下文所使用的,对一系列示例的任何引用将被理解为分离地对那些示例中的每一个的引用(例如,“示例1-4”将被理解为“示例1、2、3、或4”)。
示例1是一种操作光学系统的方法,所述方法包括:基于辐辏-调节冲突(VAC)限制,根据距所述光学系统的距离定义划定区域,所述划定区域具有至少一个距离阈值;确定虚拟深度平面距所述光学系统的虚拟距离,在所述虚拟距离处将要显示虚拟对象;通过将所述虚拟距离与所述至少一个距离阈值进行比较来确定所述虚拟距离是否在所述划定区域之外;由所述光学系统的投影仪生成与所述虚拟对象相关联的准直像素光束;基于确定所述虚拟距离在所述划定区域之外,修改所述准直像素光束以生成经修改的像素光束,其中,修改所述准直像素光束包括以下各项中的至少一项:会聚所述准直像素光束;或减小所述准直像素光束的直径;将所述经修改的像素光束注入所述光学系统的目镜中;以及将所述经修改的像素光束从所述目镜向用户的眼睛输出。
示例2是一种光学系统,包括:投影仪,其被配置为生成与虚拟对象相关联的准直像素光束;光修改设备,其被配置为修改所述准直像素光束以生成经修改的像素光束;目镜,其被配置为输出所述经修改的像素光束;以及处理模块,其被配置为执行包括以下各项的操作:确定虚拟深度平面距所述光学系统的虚拟距离,在所述虚拟距离处将要显示所述虚拟对象;将所述虚拟距离与至少一个距离阈值进行比较;以及基于将所述虚拟距离与所述至少一个距离阈值进行比较,使得所述光修改设备修改所述准直像素光束以生成所述经修改的像素光束。
示例3是根据示例2所述的光学系统,其中,修改所述准直像素光束包括:会聚所述准直像素光束。
示例4是根据示例2至3所述的光学系统,其中,修改所述准直像素光束包括:减小所述准直像素光束的直径。
示例5是根据示例2至4所述的光学系统,其中,所述操作还包括:根据距所述光学系统的距离定义划定区域,所述划定区域包括所述至少一个距离阈值。
示例6是根据示例5所述的光学系统,其中,将所述虚拟距离与所述至少一个距离阈值进行比较包括:确定所述虚拟距离是否在所述划定区域之外。
示例7是根据示例5-6所述的光学系统,其中,基于VAC限制定义所述划定区域。
示例8是根据示例7所述的光学系统,其中,由所述光学系统的用户定义所述VAC限制。
示例9是根据示例2-8所述的光学系统,其中,所述至少一个距离阈值包括上距离阈值。
示例10是根据示例9所述的光学系统,其中,将所述虚拟距离与所述至少一个距离阈值进行比较包括:确定所述虚拟距离是否大于所述上距离阈值。
示例11是根据示例10所述的光学系统,其中,基于将所述虚拟距离与所述至少一个距离阈值进行比较来修改所述准直像素光束包括:响应于确定所述虚拟距离大于所述上距离阈值,使得所述光修改设备修改所述准直像素光束。
示例12是根据示例2-11所述的光学系统,其中,所述至少一个距离阈值包括下距离阈值。
示例13是根据示例12所述的光学系统,其中,将所述虚拟距离与所述至少一个距离阈值进行比较包括:确定所述虚拟距离是否小于所述下距离阈值。
示例14是根据示例13所述的光学系统,其中,基于将所述虚拟距离与所述至少一个距离阈值进行比较来修改所述准直像素光束包括:响应于确定所述虚拟距离小于所述下距离阈值,使得所述光修改设备修改所述准直像素光束。
示例15是根据示例2-14所述的光学系统,其中,所述目镜被配置为从所述光修改设备接收所述经修改的像素光束。
示例16是根据示例2-15所述的光学系统,其中,所述光修改设备位于所述投影仪与所述目镜之间的光路中。
示例17是一种操作光学系统的方法,所述方法包括:确定虚拟深度平面距光学系统的虚拟距离,在所述虚拟距离处将要显示虚拟对象;将所述虚拟距离与至少一个距离阈值进行比较;由所述光学系统的投影仪生成与所述虚拟对象相关联的准直像素光束;以及基于将所述虚拟距离与所述至少一个距离阈值进行比较,修改所述准直像素光束以生成经修改的像素光束。
示例18是根据示例17所述的方法,其中,修改所述准直像素光束包括:会聚所述准直像素光束。
示例19是根据示例17-18所述的方法,其中,修改所述准直像素光束包括:减小所述准直像素光束的直径。
示例20是根据示例17-19所述的方法,还包括:根据距所述光学系统的距离定义划定区域,所述划定区域包括所述至少一个距离阈值。
示例21是根据示例20所述的方法,其中,将所述虚拟距离与所述至少一个距离阈值进行比较包括:确定所述虚拟距离是否在所述划定区域之外。
示例22是根据示例20-21所述的方法,其中,基于VAC限制,定义所述划定区域。
示例23是根据示例22所述的方法,其中,由所述光学系统的用户定义所述VAC限制。
示例24是根据示例17-23所述的方法,其中,所述至少一个距离阈值包括上距离阈值。
示例25是根据示例24所述的方法,其中,将所述虚拟距离与所述至少一个距离阈值进行比较包括:确定所述虚拟距离是否大于所述上距离阈值。
示例26是根据示例25所述的方法,其中,基于将所述虚拟距离与所述至少一个距离阈值进行比较来修改所述准直像素光束包括:响应于确定所述虚拟距离大于所述下距离阈值,修改所述准直像素光束。
示例27是根据示例17-26所述的方法,其中,所述至少一个距离阈值包括下距离阈值。
示例28是根据示例27所述的方法,其中,将所述虚拟距离与所述至少一个距离阈值进行比较包括:确定所述虚拟距离是否小于所述下距离阈值。
示例29是根据示例28所述的方法,其中,基于将所述虚拟距离与所述至少一个距离阈值进行比较来修改所述准直像素光束包括:响应于确定所述虚拟距离小于所述下距离阈值,修改所述准直像素光束。
示例30是根据示例17-29所述的方法,还包括:将所述经修改的像素光束注入所述光学系统的目镜中。
示例31是根据示例17-30所述的方法,还包括:从所述光学系统的目镜向用户的眼睛输出所述经修改的像素光束。
示例32是根据示例17-31所述的方法,其中,由位于所述投影仪与所述光学系统的目镜之间的光路中的光修改设备修改所述准直像素光束。
本公开通过常规技术实现了许多益处。例如,实施例使得单焦平面系统能够具有与双焦平面系统相同的多个益处,诸如在近景和远景虚拟深度平面两者中降低的VAC。此外,由于可以在注入目镜之前修改像素光束,因此实施例与采用光瞳扩展组合器目镜技术的现有目镜兼容。实施例还消除了对经常用于近景深度平面的裁切平面的需要,从而减少了由于虚拟内容消失而给用户带来的不便。本公开的其他益处对于本领域技术人员来说将是容易地明显的。
附图说明
并入本说明书中并且形成其一部分的被包括以提供本公开的进一步的理解的附图示出了本公开的实施例,并且连同详细描述一起用于解释本公开的原理。未做出尝试以以比对于本公开的的基本理解必要的更详细地示出本公开的结构细节和其可以被实践的各种方式。
图1示出了如通过可穿戴AR设备观看的增强现实(AR)场景。
图2A示出了具有单个固定焦平面的AR设备。
图2B示出了具有两个固定焦平面的AR设备。
图3示出了辐辏-调节冲突(VAC)与虚拟深度平面的距离之间的关系。
图4示出了示例可穿戴AR设备的示意图。
图5示出了AR设备的观察光学组件的示例功能以及产生的系统输出的用户视觉感知。
图6示出了AR设备的观察光学组件的示例功能以及产生的系统输出的用户视觉感知。
图7示出了AR设备的观察光学组件的示例功能以及产生的系统输出的用户视觉感知。
图8示出了AR设备的观察光学组件的示例功能以及产生的系统输出的用户视觉感知。
图9示出了AR设备的观察光学组件的示例功能以及产生的系统输出的用户视觉感知。
图10A至图10C示出了用于减小准直像素光束的直径的示例光修改设备。
图11示出了用于光修改设备的示例控制方案和系统输出的对应用户视觉感知。
图12示出了用于定义VAC划定区域的示例方法。
图13示出了VAC划定区域的各种示例。
图14示出了操作光学系统的示例方法。
图15示出了简化计算机系统。
在附图中,相同的部件和/或特征可以具有相同的编号参考标记。进一步地,相同类型的各种部件可以通过以下方法进行区分:在参考标记后面加上字母;或通过在参考标记后面加上破折号,然后加上在相似部件和/或特征中间进行区分的第二数字参考标记。如果在说明书中仅使用第一数字参考标记,则描述适用于具有相同的第一数字参考标记的类似部件和/或特征中的任一个而不管后缀。
具体实施方式
混合现实(MR)和增强现实(AR)可穿戴显示器能够在很宽的深度范围内向用户呈现虚拟内容。对于许多显示器而言,用户可能在不同深度处体验到不同水平的调节-辐辏冲突(VAC),当用户大脑接收到虚拟对象距用户眼睛的距离与眼睛聚焦于该虚拟对象所要求的聚焦距离之间的失配线索时,发生这种情况。VAC导致视觉疲劳、头痛、恶心和眼睛疲劳,并且仍然是用户不适的重要来源。因此,为了保持用户舒适,现代MR和AR可穿戴显示器在在深度范围内递送虚拟内容时可能考虑VAC预算限额,这可能导致显著减小的深度范围。
已经实现了各种减轻VAC的方法。一种方法包括向光学系统添加第二深度平面和基于眼睛跟踪的变焦开关。另一种方法是添加具有跨宽范围扫描目镜焦平面的能力的变焦元件。这些方法以附加的目镜层和/或通过集成跨接目镜的液体可填充可调透镜对的形式增加了体积,以及由于复杂的照明方案而增加了复杂性。
本发明的一些实施例提供了一种具有划定区域的光学系统,在该区域内用户忍受有限量的VAC,并且在该区域之外可以打开扩展的景深以破坏人类视觉系统调节线索。在一些实施例中,可以基于单个或多个固定焦平面或单个或多个可变焦平面,定义划定区域。具有位于划定区域内的相关联的虚拟深度平面的虚拟内容可以以正常方式投射给用户,而划定区域外的虚拟内容由光修改设备修改以减少调节线索的可靠性。
在一些实例中,光修改设备可以使得由投影仪生成的准直光在进入目镜时变得会聚。这使得从目镜的泄露光栅耦出的虚拟图像光(即,与虚拟图像相关联的光)也被会聚。然而,每个子束的主光线并没有改变方向,导致具有辐辏线索但具有非常弱的调节线索的虚拟图像。在VAC将超过阈值容差的景深区域中,这样的虚拟图像可能破坏辐辏-调节响应。因此,本文所公开的实施例可以扩展光学系统的景深,因为用户眼睛可能无法聚焦在虚拟深度平面处的像素上。附加地或替代地,光修改设备可以减小由投影仪生成的每个准直像素光束的直径。这可能使得从目镜的泄露光栅耦出的光同样具有减小的直径的像素光束,从而破坏与耦出光相关联的调节线索。
在一些实例中,光学透视(OST)AR设备可以通过使用布置在光学堆叠内布置的一个或多个透镜组件向虚拟图像光施加屈光力来改进呈现给用户的虚拟内容。本发明的实施例与利用透镜组件来改变虚拟对象的虚拟深度平面的现有系统兼容。
图1示出了根据一些实施例的如通过可穿戴AR设备观看的AR场景100。描绘了AR场景100,其中,AR技术的用户看到以背景中的各种现实世界对象130诸如人、树、建筑以及现实世界混凝土平台120为特征的现实世界公园状的设置106。除了这些项目之外,AR技术的用户还感知到他们“看到”了站在现实世界混凝土平台120上的各种虚拟对象102诸如机器人雕像102-2以及飞行的似乎是大黄蜂的化身的卡通状的化身角色102-1,即使这些元素(角色102-1和雕像102-2)在现实世界中不存在。由于人类视觉感知和神经系统的极端复杂性,因此产生促进其他虚拟或现实世界影像元素中间的虚拟图像元素的舒适的、自然感觉的、丰富呈现的虚拟现实(VR)或AR技术是具挑战性的。
图2A示出了根据一些实施例的具有单个固定焦平面的AR设备200A。在操作期间,AR设备200A的投影仪214可以将虚拟图像光223(即,与虚拟内容相关联的光)投射到目镜202-1上,该目镜202-1可以使得光场(即,虚拟内容的角表示)以某种方式被投射到用户的视网膜上,使得用户将对应的虚拟内容感知为被定位在用户的环境内的某个位置处。例如,由目镜202-1耦出的虚拟图像光223可以使得用户将角色102-1感知为被定位在第一虚拟深度平面210-1处,并且将雕像102-2感知为被定位在第二虚拟深度平面210-2处。用户连同与一个或多个世界对象230(诸如平台120)相对应的世界光232一起感知虚拟内容。
在一些实施例中,AR设备200A包括位于目镜202-1的用户侧(目镜202-1最靠近用户眼睛的一侧)的第一透镜组件205-1和位于目镜202-1的世界侧的第二透镜组件205-2。透镜组件205-1、205-2中的每一个可以被配置为将屈光力施加到穿过其的光。
图2B示出了根据一些实施例的具有两个固定焦平面的AR设备200B。在操作期间,投影仪214可以将虚拟图像光223投射到第一目镜202-1和第二目镜202-2,其可能使得光场以某种方式被投射到用户的视网膜上,使得用户将对应的虚拟内容感知为被定位在用户的环境内的某个位置处。例如,由第一目镜202-1耦出的虚拟图像光223可以使得用户将角色102-1感知为被定位在第一虚拟深度平面210-2处并且由第二目镜202-2耦出的虚拟图像光223可以使得用户将雕像102-2感知为被定位在第二虚拟深度平面210-2处。
图3示出了分别参考图2A和图2B描述的AR设备200A、200B中的每一个的VAC与虚拟深度平面的距离之间的关系。对于AR设备200B,双焦平面系统提供1.95屈光度(0.51米)和0.65屈光度(1.54米)处的可切换焦平面,其中切换点在1.3屈光度(0.77米)处,近内容限制(裁切平面)在2.7屈光度(0.37米)处,以及在该平面与无限远之间提供不超过1.0屈光度VAC的影像的能力。对于AR设备200A,单个固定焦平面系统具有1.5屈光度(0.6米)处的焦平面位置和2.5屈光度(0.4米)的近内容限制和0.31屈光度(3.2米)的远内容限制,假设1.0屈光度的最大允许VAC。这样的配置将具有0.4-3.2米的可用范围,其中内容落在该范围之外要求一些解决方案来减轻超过VAC限制。
图4示出了根据本发明的一些实施例的示例可穿戴AR设备400的示意图。AR设备400可包括以并排式配置布置的左目镜402A和左透镜组件405A以及也以并排式配置布置的右目镜402B和右透镜组件405B。在一些实施例中,AR设备400包括一个或多个传感器,包括但不限于:面向左前的世界相机406A,其被直接地附接到左目镜402A或在左目镜402A附近;面向右前的世界相机406B,其被直接地附接到右目镜402B或在右目镜402B附近;面向左侧的世界相机406C,其被直接地附接到左目镜402A或在左目镜402A附近;以及面向右侧的世界相机406D,其被直接地附接到右目镜402B或在右目镜402B附近。在一些实施例中,AR设备400包括一个或多个图像投射设备,诸如左投影仪414A,其被光学链接到左目镜402A,以及右投影仪414B,其被光学链接到右目镜402B。
AR设备400的部件中的一些或全部可以是头戴式的,使得投射的图像可以由用户观看。在一个特定实施方式中,图4所示的AR设备400的所有部件被安装到可由用户穿戴的单个设备(例如,单个头戴装置)。在另一实施方式中,处理模块450的一个或多个部件与AR设备400的其他部件物理分离并且通过一个或多个有线和/或无线连接通信地耦接到AR设备400的其他部件。例如,处理模块450可包括AR设备的头戴式部分上的本地模块452和与本地模块452物理分离并且通信地链接到本地模块452的远程模块456。远程模块456可以被以各种配置安装,诸如被固定地附接到框架、被固定地附接到由用户穿戴的头盔或帽子、被嵌入在耳机中或以其他方式被可移除地附接到用户(例如,采用背包型配置、腰带耦接型配置等)。
模块450可包括处理器和相关联的数字存储器,诸如非易失性存储器(例如,闪存),其二者可以用于辅助数据的处理、缓存和存储。数据可包括从传感器(其可以例如被操作地耦接到AR设备400)捕获的数据或以其他方式被附接到用户,诸如相机406、环境光传感器、眼睛跟踪器、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电设备、和/或陀螺仪。例如,处理模块450可以从相机406接收(一个或多个)图像420。具体地,处理模块450可以从面向左前的世界相机406A接收(一个或多个)左前图像420A,从面向右前的世界相机406B接收(一个或多个)右前图像420B,从面向左侧的世界相机406C接收(一个或多个)左侧图像420C,以及从面向右侧的世界相机406D接收(一个或多个)右侧图像420D。在一些实施例中,(一个或多个)图像420可包括单个图像、一对图像、包括图像流的视频、包括成对图像流的视频等。(一个或多个)图像420可以在AR设备400通电时被周期性地生成并发送到处理模块450,或者可以响应于由处理模块450向相机中的一个或多个发送的指令而生成。作为另一示例,处理模块450可以从环境光传感器接收环境光信息。作为另一示例,处理模块450可以从一个或多个眼睛跟踪器接收注视信息。作为另一示例,处理模块450可以从投影仪414中的一者或两者接收图像信息(例如,图像亮度值)。
相机406A、406B可以被分别地定位以捕获与用户的左眼和右眼的视场内基本上重叠的图像。因此,相机406的设置可以在用户眼睛附近,但是不会太近以致于模糊用户的视场。替代地或者附加地,相机406A、406B可以被分别地定位以便与虚拟图像光422A、422B的耦入位置对准。相机406C、406D可以被定位为捕获用户的一侧的图像,例如,在用户的周围视觉内或在用户的周围视觉外。使用相机406C、406D捕获的(一个或多个)图像420C、420D不必需要与使用相机406A、406B捕获的(一个或多个)图像420A、420B重叠。
目镜402A、402B可以分别包括透明或半透明波导,该透明或半透明波导被配置为引导和耦出由投影仪414A、414B生成的光。具体地,处理模块450可以使得左投影仪414A将左虚拟图像光422A输出到左目镜402A上,并且可以使得右投影仪414B将右虚拟图像光422B输出到右目镜402B上。在一些实施例中,目镜402A、402B中的每一个可包括对应于不同颜色的多个波导。在一些实施例中,透镜组件405A、405B可以被耦接到目镜402A、402B和/或与目镜402A、402B集成。例如,透镜组件405A、405B可以被包含到多层目镜中并且可形成组成目镜402A、402B中的一个的一个或多个层。
在一些实施例中,AR设备400包括用于修改虚拟图像光422A、422B的一个或多个光修改设备404A、404B。具体地,左光修改设备404A可以被定位在左投影仪414A与左目镜402A之间的光路中,以便在被输出到左目镜402A上之前修改左虚拟图像光422A,以及右光修改设备404B可以被定位在右投影仪414B与右目镜402B之间的光路中以便在被输出到右目镜上之前修改右虚拟图像光422B。在一些实施例中,光修改设备404A、404B可以与投影仪414A、414B集成。在一些实施例中,光修改设备404A、404B可以与目镜402A、402B集成。
在一些实施例中,投影仪414A、414B可包括微机电系统(MEMS)空间光调制器(SLM)扫描设备。在这样的实施例中,光修改设备404A、404B可以采用可在扫描镜之前的激光束中使用的变焦镜或透镜。如果使用中继光学系统,则中继光学系统内的光学元件中的一个可以是可变焦的,并且可以被切换以向形成在目镜上的ICG提供会聚的像素光线。如果标准投射系统与基于像素的SLM(诸如硅上液晶(LCOS))一起使用,则SLM本身可以在z轴(垂直于阵列)上平移,使得投射透镜产生有限外部焦平面(以及因此会聚像素阵列)。在一些实施例中,可以在微显示器的投射/中继透镜与目镜本身的ICG之间合并变焦透镜,将输出的准直像素光线转换成会聚状态。
图5示出了AR设备的观察光学组件500的示例功能以及产生的系统输出的用户视觉感知。观察光学组件500包括投影仪514和目镜502。投影仪514生成准直像素光束516,该准直像素光束516在形成在目镜502上的输入耦合光栅(ICG)503处被携带到目镜502上。在被ICG 503衍射之后,准直像素光束516在目镜502中传播,直到被形成在目镜502上的输出光栅将光朝向用户衍射。
没有编程的屈光力的泄露光栅光导光瞳扩展目镜在无限远处产生虚拟图像。由通过瞳孔收集并成像到用户眼睛的视网膜上的多个输出“子束”(输入像素波前的发射复制体)产生感知。在这种情况下,当用户眼睛聚焦在无限远处时,在视网膜上形成清晰的像素图像。当眼睛聚焦在另一平面(例如在距用户1.33米处)时,在视网膜上形成像素的模糊图像。
图6示出了AR设备的观察光学组件600的示例功能以及产生的系统输出的用户视觉感知。观察光学组件600包括生成准直像素光束616的投影仪614,该准直像素光束616在形成在目镜602上的ICG 603处被携带到目镜602上。在被ICG 603衍射之后,准直像素光束616在目镜602中传播,直到形成在目镜602上的输出光栅将光朝向用户衍射。
观察光学组件600包括-0.75屈光度透镜组件605,其调制发射的子束的波前,使它们相对于彼此发散并且独立地发散每条光线,以便在距用户眼睛1.33米处聚焦像素光和会聚子束。透镜组件605位移出现子束的主光线并将准直输出发散到透镜焦距处的单个像素焦点位置。在这种情况下,当用户眼睛聚焦在1.33米处时,在视网膜上形成清晰的像素图像。当眼睛聚焦在无限远处时,该图像是模糊的。
在图6所示的示例中,图像的聚焦深度由多个因素确定,包括子束封装密度(由光束直径、目镜基板厚度以及多个其他因素确定)、用户瞳孔的尺寸、透镜组件605的光学质量、以及用户眼睛的固有景深。可以考虑这些因素中的每一个来确定系统可接受的VAC预算数字。在一些实施例中,1.0屈光度可以用作VAC预算数字,尽管该值在实践中可以更高或更低。
图7示出了AR设备的观察光学组件700的示例功能以及产生的系统输出的用户视觉感知。观察光学组件700包括生成准直像素光束716的投影仪714,该准直像素光束716由光修改设备704修改以产生具有会聚波前的经修改的像素光束752。经修改的像素光束752在形成在目镜702上的ICG 703处被携带到目镜702上。在被ICG 703衍射之后,经修改的像素光束752在目镜702中传播,直到形成在目镜702上的输出光栅将光朝向用户衍射。
在图7所示的示例中,修改成像像素的波前将屈光力引入到投射系统,将无限远聚焦系统转换为在投影仪前面产生有限图像位置的系统。在这样的配置中,单个像素在投影仪的光瞳平面处产生会聚(弯曲)波前。当会聚的像素光线进入目镜时,出射的子束保持该会聚,然而,每个子束的主光线不改变方向。在这种情况下,当用户的眼睛聚焦在1.33米或无限远处时,在视网膜上形成像素的模糊图像。此外,当用户的眼睛聚焦在1.33米处时的感知像素可能与当用户眼睛聚焦在无限远处时的感知像素不同,如图7中的不同类型的模糊所描绘的。
图8示出了AR设备的观察光学组件800的示例功能以及产生的系统输出的用户视觉感知。观察光学组件800包括生成准直像素光束816的投影仪814,该准直像素光束816被光修改设备804修改以产生具有会聚波前的经修改的像素光束852。经修改的像素光束852在形成在目镜802上的ICG 803处被携带到目镜802上。在被ICG 803衍射之后,经修改的像素光束852在目镜802中传播,直到形成在目镜802上的输出光栅将光朝向用户衍射。观察光学组件800还包括位于目镜802与用户眼睛之间的-0.75屈光度透镜组件805,其调制发射的子束的波前。
在图8所示的示例中,透镜组件805准直每个子束输出,同时重新引导每个子束的主光线以围绕透镜焦平面处的点枢转。因此,当用户眼睛聚焦在1.33米处时,在视网膜上形成像素的模糊图像。当用户眼睛聚焦在无限远处时,产生包括模糊图像的重复结构的感知。用户眼睛不能使模糊图像对焦,从而破坏了用户的生理辐辏-调节线索,并且减少了辐辏-调节冲突的不适影响。具有重复结构的这种感知允许虚拟内容存在于VAC阈值之外的平面上。因此,光学系统的景深可以扩展到VAC阈值之外而没有不适,因为用户眼睛将无法聚焦在虚拟深度平面处的像素上。
图9示出了AR设备的观察光学组件900的示例功能以及产生的系统输出的用户视觉感知。观察光学组件900包括投影仪914,该投影仪914生成由光修改设备904修改的准直像素光束916,该光修改设备904诸如空间光调制器(SLM)、中继光学器件、偏振器、分束器、透镜或其组合,以产生具有减小的直径的经修改的像素光束952。经修改的像素光束952在形成在目镜902上的ICG 903处被携带到目镜902上。在被ICG 903衍射之后,经修改的像素光束952在目镜902中传播,直到形成在目镜902上的输出光栅将光朝向用户衍射。观察光学组件900还包括透镜组件905,透镜组件905包括位于目镜902与用户眼睛之间的-1屈光度部件和位于目镜902的世界侧的+1屈光度部件。
在图9所示的示例中,通过调制激光束的直径而不是通过图像光的发散/会聚,辐辏-调节线索被破坏并且系统的景深被扩展。这可以在将光注入ICG 903之前由光修改设备904执行。在这种情况下,由目镜902与用户眼睛之间的透镜组件由于减小像素光束尺寸而无法提供小焦斑来驱动感知。
图10A至图10C示出了根据本发明的一些实施例的用于减少准直像素光束的直径的示例光修改设备。通过改变第二透镜1004相对于第一透镜1002和第三透镜1006的位置,输入的准直像素光束的直径可以被扩大、减少或保持不变。参考图10A,第二透镜1004被调整为定位成比第三透镜1006更靠近第一透镜1002(例如,邻近第一透镜1002),使得准直像素光束的直径在离开光修改设备时变得扩大。参考图10B,第二透镜1004被调整为位于第一透镜1002与第三透镜1006之间的中点处,使得准直像素光束的直径在离开光修改设备时保持不变。参考图10C,第二透镜1004被调整为定位成比第一透镜1002更靠近第三透镜1006(例如,邻近第三透镜1006),使得准直像素光束的直径在离开光修改设备时变小。
在一些实施例中,图10A至图10C所示的光修改设备用于动态改变MEMs激光束的直径。在一些实例中,光修改设备可以被定位在(一个或多个)MEMs镜之前以便在进入(一个或多个)MEMs镜之前修改激光束。
图11示出了根据本发明的一些实施例的用于光修改设备的示例控制方案和系统输出的对应用户视觉感知。在一些实施例中,基于诸如1屈光度的期望的VAC限制,定义VAC划定区域1102。VAC划定区域1102可包括:下距离阈值1104,在该下距离阈值1104以下,由用户经历的VAC超过VAC限制;以及上距离阈值1106,在该上距离阈值1106以上,由用户经历的VAC超过VAC限制。
在控制方案下,当确定虚拟深度平面(距AR设备或用户)的距离小于下距离阈值1104时,使得光修改设备修改准直像素光束的波前。当确定虚拟深度平面的距离大于下距离阈值1104且小于上距离阈值1106时(即,在VAC划定区域1102内),使得光修改设备不修改准直像素光束并且在没有修改的情况下输出准直像素光束。当确定虚拟深度平面的距离大于上距离阈值1106时,使得光修改设备修改准直像素光束的波前。
控制方案可以可选地在距离阈值处或附近实现对准直像素光束的逐渐修改。例如,光修改设备可以对准直像素光束在仅距离阈值之前的虚拟距离给予部分修改,在距离阈值处给予更大修改,以及在远超过距离阈值时给予完全修改。作为一个示例,对于3.2米的上距离阈值,可以实现控制方案,其中准直像素光束对于2.8米的虚拟距离会聚0%,对于3.0米的虚拟距离会聚25%,对于3.2米的虚拟距离会聚50%,对于3.4米的虚拟距离会聚75%,以及对于3.6米的虚拟距离会聚100%。在相同或不同的示例中,对于0.4米的下距离阈值,可以实现控制方案,其中准直像素光束对于0.6米的虚拟距离会聚0%,对于0.5米的虚拟距离会聚25%,对于0.4米的虚拟距离会聚50%,对于0.3米的虚拟距离会聚75%,以及对于0.2米的虚拟距离会聚100%。可以实现具有比上述示例更长或更短的过渡带的控制方案。本领域普通技术人员将看到各种变化、替代和修改。
图12示出了根据本发明的一些实施例的用于定义VAC划定区域1202的示例方法。首先,将由用户体验的VAC绘制为虚拟深度平面距AR设备的距离的函数(可替代地也称为“VAC图”)。在一些实施例中,基于AR设备的焦平面设计,确定VAC图。对于图12所示的VAC图,使用了0.75米焦平面。接下来,将VAC限制连同由用户体验的VAC一起绘制。接下来,标识两个图之间的交点1204、1206,并且将对应的距离分别用作VAC区域1202的下距离阈值和上距离阈值。
图13示出了可以基于各种单焦平面系统的VAC图来定义的VAC划定区域的各种示例。随着AR设备的焦平面增加,VAC划定区域的下距离阈值和上距离阈值增加,呈现了近景与远景性能之间的折中。可以将附加的深度平面添加到系统以增加VAC划定区域。
图14示出了根据本发明的一些实施例的操作光学系统(例如,AR设备400)的示例方法1400。方法1400的一个或多个步骤可以以与示出的实施例不同的顺序执行,并且方法1400的一个或多个步骤可以在方法1400的执行期间省略。此外,方法1400的两个或两个以上步骤可以被同时或彼此同时执行。
在步骤1402处,定义了VAC划定区域(例如,VAC划定区域1102、1202)。在一些实施例中,基于光学设备的焦平面的数量和/或它们对应的焦平面位置,定义VAC划定区域。例如,与具有1.5屈光度处的焦平面位置的单焦平面系统相关联的VAC可以被估计并用于确定VAC划定区域,该VAC划定区域可以显著小于使用与多焦平面系统,例如,具有1.95屈光度和0.65屈光度处的焦平面位置的双焦平面系统,相关联的VAC确定的VAC划定区域。在一些实施例中,基于VAC限制,附加地(或替代地)定义VAC划定区域,VAC限制可以由用户指定或者可以为系统预先确定。在一些实施例中,通过找到与光学系统相关联的VAC与VAC限制之间的(一个或多个)交点(例如,交点1204、1206)来定义VAC划定区域,如至少参考图3、图12和图13所描述的。
在一些实施例中,根据距光学系统的距离定义VAC划定区域,其中VAC划定区域内的距离与虚拟内容使得用户体验到小于VAC限制的VAC的虚拟深度平面相对应,以及VAC划定区域外的距离与虚拟内容使得用户体验到大于VAC限制的VAC的虚拟深度平面相对应。在一些实施例中,VAC划定区域包括至少一个距离阈值。例如,VAC划定区域可包括下距离阈值(例如,下距离阈值1104)和/或上距离阈值(例如,上距离阈值1106),下距离阈值小于上距离阈值。
在步骤1404处,确定虚拟深度平面(例如,虚拟深度平面210)距要显示虚拟对象(例如,虚拟对象102)的光学系统的虚拟距离。虚拟距离可以以米、屈光度或指示物理位移的某些其他单位表示。在一些实施例中,虚拟距离由处理模块(例如,处理模块450)确定。在一些实施例中,在与虚拟对象相关联的准直像素光束由光学系统生成之前、期间或之后确定虚拟距离。
在步骤1406处,将虚拟距离与下距离阈值和/或上距离阈值进行比较。在一些实施例中,确定虚拟距离是否小于下距离阈值、大于下距离阈值并且小于上距离阈值、或大于上距离阈值。例如,在一些实施例中,步骤1406可包括确定虚拟距离是否小于下距离阈值。作为另一示例,在一些实施例中,步骤1406可包括确定虚拟距离是否大于上距离阈值。作为另一示例,在一些实施例中,步骤1406可包括确定虚拟距离是否小于下距离阈值还是大于上距离阈值。在一些实施例中,步骤1406等同于确定虚拟距离是否在VAC划定区域之外。
在步骤1408处,由光学系统生成与虚拟对象相关联的准直像素光束(例如,准直像素光束516、616、716、816、916)。在一些实施例中,由光学系统的投影仪(例如,投影仪214、414、514、614、714、814、914)生成准直像素光束。准直像素光束可包含用于显示虚拟对象的颜色、亮度和尺寸信息。例如,准直像素光束可包括来自单个LED颜色源(例如,红色)或来自多个LED颜色源(例如,红色、绿色和蓝色)的光。
在步骤1410处,修改准直像素光束以生成经修改的像素光束(例如,经修改的像素光束752、852、952)。在一些实施例中,由光学系统的光修改设备(例如,光修改设备404、704、804、904)修改准直像素光束。在一些实施例中,是否执行步骤1410可以取决于在步骤1406中执行的比较。例如,在一些实施例中,仅当确定虚拟距离在VAC划定区域之外时执行步骤1410。例如,可以仅响应于确定虚拟距离小于下距离阈值或者响应于确定虚拟距离大于上距离阈值来执行步骤1410。在一些实施例中,光修改设备与投影仪集成。在一些实施例中,光修改设备与投影仪分离。
在一些实施例中,步骤1410包括步骤1412和/或步骤1414。在步骤1412处,会聚准直像素光束。在一些实施例中,由光修改设备会聚准直像素光束。在步骤1414处,减小准直像素光束的直径。在一些实施例中,由光修改设备减少准直像素光束的直径。
在步骤1416处,经修改的像素光束被注入到光学系统的目镜(例如,目镜202、402、502、602、702、802、902)中。在一些实施例中,经修改的像素光束被注入到形成在目镜上的ICG(例如,ICG 503、603、703、803、903)中。
在步骤1418处,从光学系统的目镜输出经修改的像素光束。在一些实施例中,经修改的像素光束从形成在目镜上的泄漏光栅输出。在一些实施例中,经修改的像素光束从目镜朝向用户眼睛输出。
图15示出了根据本文所描述的实施例的简化计算机系统1500。如图15所示的计算机系统1500可以被包含到本文所描述的设备中。图15提供了可以执行由各种实施例所提供的方法的步骤中的一些或全部的计算机系统1500的一个实施例的示意图。应当注意,图15仅旨在提供其任何或全部可以酌情使用的各种部件的一般化图示。因此,图15广泛地示出了单独系统元件可以如何以相对分离或相对更集成的方式实现。
示出了包括可以经由总线1505被电气耦接或可以酌情以其他方式通信的硬件元件的计算机系统1500。硬件元件可包括一个或多个处理器1510,包括但不限于一个或多个通用处理器和/或一个或多个专用处理器,诸如数字信号处理芯片、图形加速处理器、和/或类似物;一个或多个输入设备1515,其可以包括但不限于鼠标、键盘、相机、和/或类似物;以及一个或多个输出设备1520,其可以包括但不限于显示设备、打印机、和/或类似物。
计算机系统1500还可以包括一个或多个非暂态存储设备1525和/或与一个或多个非暂态存储设备1525通信,该非暂态存储设备1525可以包括但不限于本地和/或网络访问存储,和/或可以包括但不限于磁盘驱动器、驱动器阵列、光存储设备、固态存储设备,诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”),其可以是可编程的、快闪更新的和/或类似物。这样的存储设备可以被配置为实现任何适当的数据存储,包括但不限于各种文件系统、数据库结构和/或类似物。
计算机系统1500还可以包括通信子系统1519,该通信子系统1519可以包括但不限于调制解调器、网络卡(无线或有线)、红外通信设备、无线通信设备、和/或芯片集诸如BluetoothTM设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设施等和/或类似物。通信子系统1519可包括允许数据与网络(诸如下文所描述的网络,仅举一个示例)、其他计算机系统、电视、和/或本文所描述的任何其他设备交换的一个或多个输入和/或输出通信接口。取决于期望的功能和/或其他实施方式问题,便携式电子设备或类似设备可以经由通信子系统1519传递图像和/或其他信息。在其他实施例中,便携式电子设备(例如,第一电子设备)可以被包含到计算机系统1500中例如,作为输入设备1515的电子设备。在一些实施例中,计算机系统1500将还包括工作存储器1535,该工作存储器1535可以包括RAM或ROM设备,如上文所描述的。
计算机系统1500还可包括示出为当前位于工作存储器1535内的软件元素,包括操作系统1540、设备驱动程序、可执行库、和/或其他代码,诸如一个和多个应用程序1545,其可包括由各种实施例提供的计算机程序,和/或可以被设计为实现方法、和/或配置由其他实施例所提供的系统,如上文所描述的。仅举例来说,关于上文所讨论的方法所描述的一个或多个程序可以被实现为可由计算机和/或计算机内的处理器执行的代码和/或指令;在一方面,然后,这样的代码和/或指令可以用于配置和/或适配通用计算机或其他设备以执行根据所描述的方法的一个或多个操作。
这些指令和/或代码的集合可以被存储在非暂态计算机可读存储介质上,诸如上文所描述的(一个或多个)存储设备1525。在一些情况下,存储介质可以被包含在计算机系统内,诸如计算机系统1500。在其他实施例中,存储介质可能与计算机系统分离,例如,可移除介质,诸如光盘,和/或被提供在安装包中,使得存储介质可以用于利用在其上存储的指令/代码编程、配置、和/或适配通用计算机。这些指令可能采取可由计算机系统1500执行的可执行代码的形式和/或可能采取源和/或可安装代码的形式,其基于计算机系统1500上的编译和/或安装,例如,使用任何各通常可用的编译器、安装程序、压缩/解压实用程序等,然后采取可执行代码的形式。
对于本领域的技术人员来说显而易见的是,可以根据具体要求做出实质性的变化。例如,定制硬件还可以被使用,和/或特定元件可以以硬件、软件(包括便携式软件,诸如小应用程序等)或者两者实现。进一步地,可以采用对诸如网络输入/输出设备的其他计算设备的连接。
如上文所提到的,在一个方面中,一些实施例可以使用计算机系统(诸如计算机系统1500)执行根据技术的各种实施例的方法。根据一组实施例,这样的方法的过程中的一些或全部响应于处理器1510执行一个或多个指令的一个或多个序列而被计算机系统1500执行,其可以被包含到操作系统1540和/或其他代码中,诸如在工作存储器1535中包含的应用程序1545。这样的指令可以被从另一计算机可读介质(诸如存储设备1525中的一个或多个)读取到工作存储器1535中。仅举例来说,在工作存储器1535中包含的指令的序列的执行可能使得(一个或多个)处理器1510执行本文所描述的方法的一个或多个过程。附加地或者替代地,可以通过专用硬件执行本文所描述的方法的部分。
如本文所使用的术语“机器可读介质”和“计算机可读介质”指代参与提供使得机器以特定的方式操作的数据的任何介质。在使用计算机系统1500实现的实施例中,各种计算机可读介质可以涉及向(一个或多个)处理器1510提供指令/代码以用于执行和/或可以用于存储和/或携带这样的指令/代码。在许多实施方式中,计算机可读介质是物理和/或有形存储介质。这样的介质可以采取非易失性介质或易失性介质的形式。非易失性介质包括例如光学和/或磁盘,诸如(一个或多个)存储设备1525。易失性介质包括但不限于动态存储器,诸如工作存储器1535。
物理和/或有形计算机可读介质的常见形式包括例如软磁盘、软盘、硬盘、磁带、或任何其他磁性介质、CD-ROM、任何其他光学介质、打孔卡、纸带、具有孔的图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或者磁带盒、或计算机可从其读取指令和/或代码的任何其他介质。
各种形式的计算机可读介质可以涉及将一个或多个指令的一个或多个序列携带到(一个或多个)处理器1510以用于执行。仅举例来说,指令可以初始地被携带在远程计算机的磁盘和/或光盘上。远程计算机可以将指令加载到其动态存储器中并且通过传输介质发送指令作为信号以由计算机系统1500接收和/或执行。
通信子系统1519和/或其部件通常将接收信号,并且总线1505然后可将信号和/或由信号携带的数据、指令等携带到工作存储器1535,从该工作存储器1335,(一个或多个)处理器1510检索并且执行指令。由工作存储器1535接收的指令可以在由(一个或多个)处理器1510执行之前或之后可选地存储在非暂态存储设备1525上。
上文所讨论的方法、系统和设备是示例的。各种配置可被酌情省略、替换或添加各种过程或部件。例如,在可替代配置中,可以以与所描述的顺序不同的顺序执行方法,和/或可以添加、省略和/或组合各阶段。而且,关于某些配置所描述的特征可以以各种其他配置组合。配置的不同方面和元素可以以类似方式组合。而且,技术演变,并且因此许多元素是示例,并且不限制本公开或权利要求的范围。
在提供示例性配置(包括实施方式)的透彻理解的描述中给定特定细节。然而,可以在没有这些特定细节的情况下实践配置。例如,在没有不必要的细节的情况下已经示出了众所周知的电路、过程、算法、结构和技术以便避免混淆配置。本说明书仅提供示例配置,并且不限制权利要求的范围、适用性或配置。相反,配置的前述描述将向本领域技术人员提供用于实现所描述的技术的启用描述。在不脱离本公开的精神或范围的情况下,可以对元件的功能和布置进行各种改变。
而且,配置可以被描述为被描绘为示意性流程图或者框图的过程。虽然每个配置可以将操作描述为顺序的过程,但是许多操作能够并行或者并发执行。另外,操作的顺序可以被重新排列。过程可以具有图中未包括的附加步骤。此外,方法的示例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现。当在软件、固件、中间件或微代码中实现时,执行必要任务的程序代码或代码段可被存储在诸如存储介质的非暂态计算机可读介质中。处理器可执行所描述的任务。
描述了多个示例配置,在不脱离本公开的精神的情况下,可以使用各种修改、可替代构造和等同物。例如,以上元件可以是较大系统的部件,其中,其它规则可以优于或者以其它方式修改技术的应用。而且,在考虑以上元件之前、期间或之后,可以采取多个步骤。因此,以上描述不结合权利要求的范围。
如本文所使用的并且在随附的权利要求中,除非上下文另外清楚指示,否则单数形式“一”、“一个”、和“该”包括复数引用。因此,例如,对“用户”的引用包括多个这样的用户,并且对“处理器”的引用包括一个或多个处理器和对本领域技术人员已知的等同物的引用等。
而且,当在本说明书中并且在以下权利要求中使用时,词语“包括”、“包括了”、“容纳”、“容纳了”、“包含”、“包含了”、“包含有”旨在指定说明特征、整体、部件、或步骤的存在,但是其不排除一个或多个其他特征、整体、部件、步骤、动作、或组合的存在或者添加。
还应理解,本文所描述的示例和实施例仅用于说明目的,并且将向本领域技术人员建议根据其进行的各种修改或改变,并且将被包括在本申请的精神和范围内以及权利要求书的范围内。

Claims (20)

1.一种操作光学系统的方法,所述方法包括:
基于辐辏-调节冲突(VAC)限制,根据距所述光学系统的距离定义划定区域,所述划定区域具有至少一个距离阈值;
确定虚拟深度平面距所述光学系统的虚拟距离,在所述虚拟距离处将要显示虚拟对象;
通过将所述虚拟距离与所述至少一个距离阈值进行比较来确定所述虚拟距离是否在所述划定区域之外;
由所述光学系统的投影仪生成与所述虚拟对象相关联的准直像素光束;
基于确定所述虚拟距离在所述划定区域之外,修改所述准直像素光束以生成经修改的像素光束,其中,修改所述准直像素光束包括以下各项中的至少一项:
会聚所述准直像素光束;或
减小所述准直像素光束的直径;
将所述经修改的像素光束注入所述光学系统的目镜中;以及
将所述经修改的像素光束从所述目镜向用户的眼睛输出。
2.一种光学系统,包括:
投影仪,其被配置为生成与虚拟对象相关联的准直像素光束;
光修改设备,其被配置为修改所述准直像素光束以生成经修改的像素光束;
目镜,其被配置为输出所述经修改的像素光束;以及
处理模块,其被配置为执行包括以下各项的操作:
确定虚拟深度平面距所述光学系统的虚拟距离,在所述虚拟距离处将要显示所述虚拟对象;
将所述虚拟距离与至少一个距离阈值进行比较;以及
基于将所述虚拟距离与所述至少一个距离阈值进行比较,使得所述光修改设备修改所述准直像素光束以生成所述经修改的像素光束。
3.根据权利要求2所述的光学系统,其中,修改所述准直像素光束包括:
会聚所述准直像素光束。
4.根据权利要求2所述的光学系统,其中,修改所述准直像素光束包括:
减小所述准直像素光束的直径。
5.根据权利要求2所述的光学系统,其中,所述操作还包括:
根据距所述光学系统的距离定义划定区域,所述划定区域包括所述至少一个距离阈值。
6.根据权利要求5所述的光学系统,其中,将所述虚拟距离与所述至少一个距离阈值进行比较包括:
确定所述虚拟距离是否在所述划定区域之外。
7.根据权利要求5所述的光学系统,其中,基于辐辏-调节冲突(VAC)限制,定义所述划定区域。
8.根据权利要求7所述的光学系统,其中,由所述光学系统的用户定义所述VAC限制。
9.根据权利要求2所述的光学系统,其中,所述目镜被配置为从所述光修改设备接收所述经修改的像素光束。
10.根据权利要求2所述的光学系统,其中,所述光修改设备位于所述投影仪与所述目镜之间的光路中。
11.一种操作光学系统的方法,所述方法包括:
确定虚拟深度平面距所述光学系统的虚拟距离,在所述虚拟距离处将要显示虚拟对象;
将所述虚拟距离与至少一个距离阈值进行比较;
由所述光学系统的投影仪生成与所述虚拟对象相关联的准直像素光束;以及
基于将所述虚拟距离与所述至少一个距离阈值进行比较,修改所述准直像素光束以生成经修改的像素光束。
12.根据权利要求11所述的方法,其中,修改所述准直像素光束包括:
会聚所述准直像素光束。
13.根据权利要求11所述的方法,其中,修改所述准直像素光束包括:
减小所述准直像素光束的直径。
14.根据权利要求11所述的方法,还包括:
根据距所述光学系统的距离定义划定区域,所述划定区域包括所述至少一个距离阈值。
15.根据权利要求14所述的方法,其中,将所述虚拟距离与所述至少一个距离阈值进行比较包括:
确定所述虚拟距离是否在所述划定区域之外。
16.根据权利要求14所述的方法,其中,基于辐辏-调节冲突(VAC)限制,定义所述划定区域。
17.根据权利要求16所述的方法,其中,由所述光学系统的用户定义所述VAC限制。
18.根据权利要求11所述的方法,还包括:
将所述经修改的像素光束注入所述光学系统的目镜中。
19.根据权利要求11所述的方法,还包括:
将所述经修改的像素光束从所述光学系统的目镜向用户的眼睛输出。
20.根据权利要求11所述的方法,其中,由位于所述投影仪与所述光学系统的目镜之间的光路中的光修改设备修改所述准直像素光束。
CN202080085459.XA 2019-12-10 2020-12-09 用于混合现实显示的增加的景深 Pending CN114787690A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962946291P 2019-12-10 2019-12-10
US62/946,291 2019-12-10
PCT/US2020/064079 WO2021119171A1 (en) 2019-12-10 2020-12-09 Increased depth of field for mixed-reality display

Publications (1)

Publication Number Publication Date
CN114787690A true CN114787690A (zh) 2022-07-22

Family

ID=76209680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080085459.XA Pending CN114787690A (zh) 2019-12-10 2020-12-09 用于混合现实显示的增加的景深

Country Status (5)

Country Link
US (2) US11726318B2 (zh)
EP (1) EP4073570A4 (zh)
JP (1) JP2023505791A (zh)
CN (1) CN114787690A (zh)
WO (1) WO2021119171A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024098828A1 (zh) * 2022-11-11 2024-05-16 华为技术有限公司 投影系统、投影方法和交通工具

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL308285B1 (en) 2013-03-11 2024-07-01 Magic Leap Inc System and method for augmentation and virtual reality
EP4027222A1 (en) 2013-03-15 2022-07-13 Magic Leap, Inc. Display system and method
WO2021119171A1 (en) 2019-12-10 2021-06-17 Magic Leap, Inc. Increased depth of field for mixed-reality display
US11782290B2 (en) * 2021-05-21 2023-10-10 Lightspace Group, Inc. Apparatus and method for displaying three-dimensional image

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8248458B2 (en) * 2004-08-06 2012-08-21 University Of Washington Through Its Center For Commercialization Variable fixation viewing distance scanned light displays
KR102503155B1 (ko) * 2016-02-11 2023-02-22 매직 립, 인코포레이티드 깊이 평면들 간의 감소된 스위칭을 갖는 다중-깊이 평면 디스플레이 시스템
JP6680109B2 (ja) * 2016-06-28 2020-04-15 株式会社デンソー 映像投射装置及びそれを備えるヘッドアップディスプレイ装置
WO2018057660A2 (en) * 2016-09-20 2018-03-29 Apple Inc. Augmented reality system
US10241329B2 (en) * 2017-07-13 2019-03-26 Google Llc Varifocal aberration compensation for near-eye displays
JP7356995B2 (ja) * 2018-03-14 2023-10-05 マジック リープ, インコーポレイテッド コンテンツをクリッピングし、視認快適性を増加させるためのディスプレイシステムおよび方法
WO2021119171A1 (en) 2019-12-10 2021-06-17 Magic Leap, Inc. Increased depth of field for mixed-reality display

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024098828A1 (zh) * 2022-11-11 2024-05-16 华为技术有限公司 投影系统、投影方法和交通工具

Also Published As

Publication number Publication date
US11726318B2 (en) 2023-08-15
JP2023505791A (ja) 2023-02-13
WO2021119171A1 (en) 2021-06-17
US20210173204A1 (en) 2021-06-10
EP4073570A1 (en) 2022-10-19
EP4073570A4 (en) 2023-01-18
US20230333369A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
JP7096836B2 (ja) ディスプレイシステムのための深度ベース中心窩化レンダリング
US11461961B2 (en) Spatially-resolved dynamic dimming for augmented reality device
EP3625648B1 (en) Near-eye display with extended effective eyebox via eye tracking
US11726318B2 (en) Increased depth of field for mixed-reality display
JP2021518679A (ja) ディスプレイシステムのための深度ベースの中心窩化レンダリング
US9667954B2 (en) Enhanced image display in head-mounted displays
US10712576B1 (en) Pupil steering head-mounted display
JP2019507902A (ja) 深度平面間の低減された切り替えを伴う多深度平面ディスプレイシステム
WO2020146451A1 (en) Volume bragg gratings for near-eye waveguide display
US10546430B1 (en) Image plane adjustment in a near-eye display
US11269180B2 (en) Multi-depth exit pupil expander
US11971542B2 (en) Monovision display for wearable device
US11574389B2 (en) Reprojection and wobulation at head-mounted display device
US11885967B2 (en) Phase structure on volume Bragg grating-based waveguide display
US11221487B2 (en) Method and device of field sequential imaging for large field of view augmented/virtual reality
US20210294119A1 (en) Display apparatus for rendering three-dimensional image and method therefor
US10698218B1 (en) Display system with oscillating element
US11733521B2 (en) Heterogeneous layered volume Bragg grating waveguide architecture
US20220163816A1 (en) Display apparatus for rendering three-dimensional image and method therefor
CN116266371A (zh) 稀疏rgb滤波硬件加速器
Das et al. NextGen XR Requirements State-of-the-Art

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination