CN110291565B - 增强现实显示系统 - Google Patents

增强现实显示系统 Download PDF

Info

Publication number
CN110291565B
CN110291565B CN201780086089.XA CN201780086089A CN110291565B CN 110291565 B CN110291565 B CN 110291565B CN 201780086089 A CN201780086089 A CN 201780086089A CN 110291565 B CN110291565 B CN 110291565B
Authority
CN
China
Prior art keywords
light
augmented reality
display system
real object
reality display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780086089.XA
Other languages
English (en)
Other versions
CN110291565A (zh
Inventor
N·U·罗柏纳
N·E·萨梅茨
G·M·林克
M·拜伦洛特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202310784659.XA priority Critical patent/CN116778120A/zh
Publication of CN110291565A publication Critical patent/CN110291565A/zh
Application granted granted Critical
Publication of CN110291565B publication Critical patent/CN110291565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0005—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being of the fibre type
    • G02B6/0008—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being of the fibre type the light being emitted at the end of the fibre
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0015—Means for improving the coupling-in of light from the light source into the light guide provided on the surface of the light guide or in the bulk of it
    • G02B6/0016—Grooves, prisms, gratings, scattering particles or rough surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0033—Means for improving the coupling-out of light from the light guide
    • G02B6/0035—Means for improving the coupling-out of light from the light guide provided on the surface of the light guide or in the bulk of it
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0066—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form characterised by the light source being coupled to the light guide
    • G02B6/0068—Arrangements of plural sources, e.g. multi-colour light sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0075—Arrangements of multiple light guides
    • G02B6/0076—Stacked arrangements of multiple light guides of the same or different cross-sectional area
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0081—Mechanical or electrical aspects of the light guide and light source in the lighting device peculiar to the adaptation to planar light guides, e.g. concerning packaging
    • G02B6/0086—Positioning aspects
    • G02B6/0088—Positioning aspects of the light guide or other optical sheets in the package
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

一种增强现实显示系统，其被配置为使用基准标记将3D内容与真实对象对准。增强现实显示系统可以可选地包括被配置为检测真实对象的位置的深度传感器。增强现实显示系统还可以包括被配置为利用不可见光照射对象的至少一部分的光源，以及被配置为使用不可见光的反射部分形成图像的光传感器。显示系统的处理电路可以基于发射光与反射光之间的差异来标识位置标记，并且基于真实对象的位置和位置标记的位置来确定真实对象的取向。

Description

增强现实显示系统
相关申请的交叉引用
本申请要求来自于2016年12月13日提交的题为“3D OBJECT RENDERING USINGDETECTED FEATURES(使用检测到的特征的3D对象呈现)”的美国临时申请号62/433,767在35U.S.C.§119(e)下的优先权，其以整体内容通过引用并入本文并且用于所有目的。本申请附加地通过引用并入以下各专利申请的整体内容：于2014年11月27日提交的美国申请号14/555,585；于2015年4月18日提交的美国申请号14/690,401；于2014年3月14日提交的美国申请号14/212,961；于2014年7月14日提交的美国申请号14/331,218；以及于2016年3月16日提交的美国申请号15/072,290。
技术领域
本公开涉及光学设备，包括虚拟现实和增强现实成像和可视化系统。
背景技术
现代计算和显示技术已经利于用于所谓的“虚拟现实”或者“增强现实”体验的系统的发展，其中，数字再现图像或其部分以其似乎真实或者可以被感知为真实的方式被呈现给用户。虚拟现实或者“VR”场景典型地涉及数字或者虚拟图像信息的呈现，而对于其他实际现实世界视觉输入不透明；增强现实或者“AR”场景典型地涉及将数字或者虚拟图像信息呈现为对用户周围的实际世界的可视化的增强。混合现实或者“MR”场景是一种类型的AR场景并且典型地涉及被集成到自然界中并且响应于自然界的虚拟对象。例如，在MR场景中，AR图像内容可以由现实世界中的对象阻挡或以其他方式被感知为与现实世界中的对象相互作用。
参考图1，描绘了增强现实场景10，其中，AR技术的用户看到以背景中的人、树、建筑为特征的现实世界公园般的设置20，以及混凝土平台30。除了这些项之外，AR技术的用户还感知到他“看到”“虚拟内容”，诸如站在现实世界平台30上的机器人雕像40，以及飞行的卡通式的化身人物50，其似乎是大黄蜂的拟人化，即使这些元素40、50不存在于现实世界中。由于人类视觉感知系统是复杂的，因而产生利于其他虚拟或现实世界影像元素中间的虚拟图像元素的舒适的、自然感觉的、丰富呈现的AR技术是具挑战性的。
本文所公开的系统和方法解决与AR和VR技术有关的各种挑战。
发明内容
在附图和以下描述中阐述本说明书中所描述的主题的一个或多个实施方式的细节。其他特征、方面和优点将从描述、附图和权利要求变得显而易见。本发明内容和以下详细描述二者都不旨在限定或者限制发明主题的范围。
示例
1.一种被配置为将3D内容与真实对象对准的增强现实显示系统，该系统包括：
框架，其被配置为安装在穿戴者上；
增强现实显示器，其被附接到框架并且被配置为将图像引导到穿戴者的眼睛；
光源，其被配置为通过发射不可见光照射对象的至少一部分；
光传感器，其被配置为使用所述不可见光对由所述光源照射的所述对象的所述部分成像；以及
处理电路，其被配置为基于使用不可见光的反射部分形成的图像中的特征的一个或多个特性，确定关于对象的位置、对象的取向或者二者的信息。
2.根据示例1所述的增强现实显示系统，其中，使用不可见光的反射部分形成的图像中的特征对于眼睛不可见。
3.根据示例1-2中的任一项所述的增强现实显示系统，其中，不可见光包括红外光。
4.根据示例1-3中的任一项所述的增强现实显示系统，其中，由光源发射的不可见光包括在对象的所述部分上形成斑点的束。
5.根据示例1-3中的任一项所述的增强现实显示系统，其中，由光源发射的不可见光包括光图案。
6.根据示例1-5中的任一项所述的增强现实显示系统，其中，所述特性包括所述特征的位置。
7.根据示例1-6中的任一项所述的增强现实显示系统，其中，所述特性包括所述特征的形状。
8.根据示例1-7中的任一项所述的增强现实显示系统，其中，所述特性包括所述特征的取向。
9.根据示例1-8中的任一项所述的增强现实显示系统，还包括深度传感器，其被配置为检测世界中的真实对象的位置。
10.根据示例1-9中的任一项所述的增强现实显示系统，其中，所述处理电路被配置为确定发射的不可见光的分布和不可见光的反射部分的分布之间的差异。
11.根据示例10所述的增强现实显示系统，其中，所述处理电路被配置为基于所确定的差异，标识差异签名。
12.根据示例11所述的增强现实显示系统，其中，所述处理电路被配置为基于真实对象的位置和差异签名的位置，确定真实对象的取向。
13.根据示例12所述的增强现实显示系统，其中，所述处理电路被配置为至少部分地基于差异签名的位置，确定真实对象的位置。
14.根据示例1-13中的任一项所述的增强现实显示系统，还包括设置在框架上的目镜，所述目镜的至少一部分是透明的并且当穿戴者穿戴所述显示系统时被设置在穿戴者的眼睛前面的位置处，使得所述透明部分从在穿戴者前面的环境到穿戴者的眼睛透射光以提供在穿戴者前面的环境的视图。
15.一种增强现实显示系统，包括：
框架，其被配置为安装在穿戴者上；
增强现实显示器，其被附接到框架并且被配置为将图像引导到穿戴者的眼睛；
深度传感器，其被配置为映射穿戴者的视场内的真实对象的表面；
光源，其被配置为投影入射到真实对象的表面上的至少第一波长中的光；
光检测器，其被配置为使用由真实对象的表面反射的光的一部分形成图像；以及
处理电路，其被配置为至少部分地基于光图案的反射的部分，确定光差标记，并且在相对于光差标记的固定位移处呈现虚拟对象。
16.根据示例15所述的增强现实显示系统，其中，在相对于光差标记的固定位移处呈现虚拟对象包括：
接收用于在初始时间处呈现相对于真实对象的虚拟对象的初始位置；
基于初始位置与光差标记之间的距离，确定固定位移；
在初始时间之后的时间处检测光差标记的后续位置；以及
在相对于光差标记的检测到的后续位置的固定位移处呈现虚拟对象。
17.根据示例15或16所述的增强现实显示系统，还包括设置在框架上的目镜，所述目镜的至少一部分是透明的并且当穿戴者穿戴所述显示系统时被设置在穿戴者的眼睛前面的位置处，使得所述透明部分从在穿戴者前面的环境到穿戴者的眼睛透射光以提供在穿戴者前面的环境的视图。
18.一种被配置为将3D内容与真实对象对准的增强现实显示系统，该系统包括：
框架，其被配置为安装在穿戴者上；
增强现实显示器，其被附接到框架并且被配置为将图像引导到穿戴者的眼睛；
深度传感器，其被配置为映射穿戴者的视场内的真实对象的表面；
光源，其被配置为通过发射光照射对象的至少一部分；
光传感器，其被配置为使用所述发射光对由所述光源照射的所述对象的所述部分进行成像；以及
处理电路，其被配置为基于所述对象的所述图像中的特征的一个或多个特性，确定关于真实对象的位置、真实对象的取向或者二者的信息。
19.根据示例18所述的增强现实显示系统，其中，由光源发射的光包括在对象的所述部分上形成斑点的束。
20.根据示例18所述的增强现实显示系统，其中，由光源发射的光包括光图案。
21.根据示例18-20中的任一项所述的增强现实显示系统，其中，所述特性包括所述特征的位置。
22.根据示例18-21中的任一项所述的增强现实显示系统，其中，所述特性包括所述特征的形状。
23.根据示例18-22中的任一项所述的增强现实显示系统，其中，所述特性包括所述特征的取向。
24.根据示例18-23中的任一项所述的增强现实显示系统，其中，所述处理电路被配置为确定发射光的分布与从所述对象反射的所述发射光的分布之间的差异。
25.根据示例24所述的增强现实显示系统，其中，所述处理电路被配置为基于所确定的差异，标识光差标记。
26.根据示例25所述的增强现实显示系统，其中，所述处理电路被配置为基于真实对象的位置和光差标记的位置，确定真实对象的取向。
27.根据示例25或26所述的增强现实显示系统，其中，所述处理电路被配置为至少部分地基于光差标记的位置，确定真实对象的位置。
28.根据示例18-27中的任一项所述的增强现实显示系统，其中，所述深度传感器包括激光器或者超声测距仪。
29.根据示例18-28中的任一项所述的增强现实显示系统，其中，所述深度传感器包括照相机。
30.根据示例18-29中的任一项所述的增强现实显示系统，还包括设置在框架上的目镜，所述目镜的至少一部分是透明的并且当穿戴者穿戴所述显示系统时被设置在穿戴者的眼睛前面的位置处，使得所述透明部分从在穿戴者前面的环境到穿戴者的眼睛透射光以提供在穿戴者前面的环境的视图。
31.根据上文示例中的任一项所述的增强现实显示系统，其中，所述显示器被配置为呈现图像内容，好像不同的图像内容被定位在不同的深度处。
32.根据示例31所述的增强现实显示系统，其中，所述显示器包括多个屈光光学元件，其具有不同的屈光力(optical power)以为所述不同的深度而提供。
附图说明
图1图示了通过AR设备的增强现实(AR)的用户的视图。
图2图示了可穿戴显示系统的示例。
图3图示了用于为用户模拟三维影像的常规显示系统。
图4图示了用于使用多个深度平面模拟三维影像的方法的方面。
图5A-5C图示了曲率半径与焦半径之间的关系。
图6图示了用于向用户输出图像信息的波导堆叠的示例。
图7图示了由波导输出的出射束的示例。
图8图示了每个深度平面包括使用多个不同的分量颜色形成的图像的堆叠波导组件的示例。
图9A图示了各自包括耦入光学元件的一组堆叠波导的示例的剖面侧视图。
图9B图示了图9A的多个堆叠波导的示例的透视图。
图9C图示了图9A和图9B的多个堆叠波导的示例的自上而下平面图。
图10示意性地图示了被配置为使用标记跟踪世界中的对象的取向的增强现实显示系统。
图11图示了使用标记跟踪世界中的对象的取向的示例方法。
具体实施方式
现在将对附图进行参考，其中相似附图标记自始至终指代相似部件。将理解到，本文所公开的实施例包括光学系统，通常包括显示系统。在一些实施例中，显示系统是可穿戴的，其可以有利地提供更沉浸的VR或AR体验。例如，包含一个或多个波导(例如，波导的堆叠)的显示器可以被配置为穿戴定位在用户或观察者的眼睛的前面。在一些实施例中，波导的两个堆叠(一个用于观察者的每只眼睛)可以被用于向每只眼睛提供不同的图像。
示例显示系统
图2图示了可穿戴显示系统60的示例。显示系统60包括显示器70，以及支持该显示器70的运行的各种机械和电子模块和系统。显示器70可以被耦合到框架80，该框架80是可由显示系统用户或观察者90穿戴的，并且该框架80被配置为将显示器70定位在用户90的眼睛的前面。在一些实施例中，显示器70可以被认为是眼镜。在一些实施例中，扬声器100被耦合到框架80并且被配置为被定位在用户90的耳道附近(在一些实施例中，未示出的另一扬声器被定位在用户的另一耳道附近以提供立体/可成形声音控制)。在一些实施例中，显示系统还可以包括一个或多个麦克风110或者检测声音的其他设备。在一些实施例中，麦克风被配置为允许用户向系统60提供输入或者命令(例如，语音菜单命令、自然语言问题等的选择)，和/或可以允许与其他人(例如，与类似显示系统的其他用户)的音频通信。麦克风还可以被配置为采集音频数据(例如，来自用户和/或环境的声音)的外围传感器。在一些实施例中，显示系统还可以包括外围传感器120a，该外围传感器120a可以与框架80分离并且被附接到用户90的身体(例如，在用户90的头部、躯干、肢体等上)。在一些实施例中，外围传感器120a可以被配置为采集表征用户90的生理状态的数据。例如，传感器120a可以是电极。
继续参考图2，显示器70通过通信链路130(诸如通过有线导线或无线连接)操作性地耦合到本地数据处理模块140，其可以安装在各种配置中，诸如固定地附接到框架80、固定地附接到由用户穿戴的头盔或帽子、被嵌入在耳机中、或者以其他方式可移除地附接到用户90(例如，在背包型配置中、在腰带耦合型配置中)。类似地，传感器120a可以由通信链路120b(例如，有线导线或无线连接)操作性地耦合到本地处理器和数据模块140。本地处理和数据模块140可以包括硬件处理器，以及数字存储器，诸如非易失性存储器(例如，闪存或硬盘驱动器)，其二者可以用于辅助数据的处理、高速缓存和存储。数据包括以下数据：a)从传感器(其可以例如操作性地耦合到框架80或以其他方式附接到用户90)采集的数据，诸如图像采集设备(诸如照相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备、陀螺仪和/或本文所公开的其他传感器；和/或b)使用远程处理模块150和/或远程数据存储库160采集和/或处理的数据(包括与虚拟内容有关的数据)，可能地用于在这样的处理或者检索之后传送到显示器70。本地处理和数据模块140可以通过通信链路170、180(诸如经由有线或无线通信链路)操作性地耦合到远程处理模块150和远程数据存储库160，使得这些远程模块150、160操作性地耦合到彼此并且可用作本地处理和数据模块140的资源。在一些实施例中，本地处理和数据模块140可以包括以下各项中的一项或多项：图像采集设备、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备和/或陀螺仪。在一些其他实施例中，这些传感器中的一个或多个可以附接到框架80，或者可以是通过有线或无线通信路径与本地处理和数据模块14通信的独立结构。
继续参考图2，在一些实施例中，远程处理模块150可以包括被配置为分析和处理数据和/或图像信息的一个或多个处理器。在一些实施例中，远程数据存储库160可以包括数字数据存储设施，该数字数据存储设施可以是通过因特网或“云”资源配置中的其他网络配置可用的。在一些实施例中，远程数据存储库160可以包括一个或多个远程服务器，该一个或多个远程服务器向本地处理和数据模块140和/或远程处理模块150提供信息，例如，用于生成增强现实内容的信息。在一些实施例中，所有数据被存储并且所有计算在本地处理和数据模块中执行，这允许来自远程模块的完全自主使用。
将图像感知为“三维”或“3-D”可以通过向观察者的每只眼睛提供图像的稍微不同的呈现实现。图3图示了用于为用户模拟三维影像的常规显示系统。两个不同的图像190、200-一个用于每只眼睛210、220-被输出给用户。图像190、200沿着平行于观察者的视线的光轴或z轴与眼睛210、220隔开距离230。图像190、200是平面的，并且眼睛210、220可以通过假定单个调节状态聚焦于图像上。这样的3-D显示系统依赖于人类视觉系统来组合图像190、200，以为组合图像提供深度和/或标度感知。
然而，将理解到，人类视觉系统是更复杂的，并且提供现实深度感知是更具挑战性的。例如，常规“3-D”显示系统的许多观察者发现这样的系统是不舒适的或者可能根本感知不到深度感觉。在不由理论限制的情况下，人们相信对象的观察者可以由于辐辏(vergence)和调节的组合将对象感知为“三维的”。两只眼睛相对于彼此的辐辏运动(即，眼睛的旋转，使得瞳孔朝向或远离彼此移动以将眼睛的视线会聚以固定在对象上)与眼睛的晶状体和瞳孔的聚焦(或“调节”)紧密地相关联。在正常情况下，改变眼睛的晶状体的焦点或者调节眼睛以将焦点从一个对象改变到不同的距离处的另一对象将在被称为“调节-辐辏反射”以及瞳孔扩张或者收缩的关系下自动引起对于相同距离的辐辏的匹配改变。同样地，在正常情况下，辐辏的改变将触发晶状体形状和瞳孔大小的调节的匹配改变。如本文指出的，许多立体或者“3-D”显示系统将使用对每只眼睛稍微不同的呈现(并且因此，稍微不同的图像)显示场景，使得三维视角由人类视觉系统感知。然而，这样的系统对于许多观察者是不舒适的，因为除了其他方面，其简单地提供场景的不同的呈现，但是其中，眼睛在单个调节状态处观察所有图像信息，并且与“调节-辐辏反射”相违背。提供调节与辐辏之间的更好匹配的显示系统可以形成三维影像的更现实并且舒适的模拟，其有助于增加的耐久性持续时间以及进而对诊断和治疗协议的符合性。
图4图示了用于使用多个深度平面模拟三维影像的方法的方面。参考图4，在z轴上距眼睛210、220各种距离处的对象由眼睛210、220调节，使得那些对象合焦。眼睛210、220采取特定调节状态以将对象对焦在沿着z轴的不同距离处。因此，特定调节状态可以被说成与深度平面240中的特定一个相关联，并且具有相关联的焦距，使得当眼睛在针对该深度平面的调节状态中时特定深度平面中的对象或者对象的部分合焦。在一些实施例中，三维影像可以通过为眼睛210、220中的每一个提供图像的不同呈现并且还通过提供对应于深度平面中的每一个的图像的不同呈现来模拟。虽然为了说明清晰起见被示出为分离的，但是将理解到，眼睛210、220的视场可以重叠，例如，随着沿着z轴的距离增加。另外，虽然为了便于说明起见被示出为平的，但是将理解到，深度平面的轮廓在物理空间中可以是弯曲的，使得深度平面中的所有特征与特定调节状态中与眼睛合焦。
对象与眼睛210或220之间的距离还可以改变如由该眼睛观察的来自该对象的光的发散量。图5A-5C图示了距离与光线的发散之间的关系。对象与眼睛210之间的距离以减小的距离的次序由R1、R2和R3表示。如在图5A-5C中所示，随着到对象的距离减小，光线变得更发散。随着距离增加，光线变得更准直。换句话说，可以说由点(对象或者对象的一部分)产生的光场具有球面波前曲率，该球面波前曲率是该点距用户的眼睛多么远的函数。曲率随着减小对象与眼睛210之间的距离而增加。因此，在不同的深度平面处，光线的发散度也是不同的，其中，发散度随着深度平面与观察者的眼睛210之间减小的距离而增加。虽然在图5A-5C和本文中的其他附图中为了说明清晰起见仅图示单只眼睛210，但是将理解到，关于眼睛210的讨论可以适用于观察者的两只眼睛210和220。
在不由理论限制的情况下，人们相信人眼通常可以解释有限数目的深度平面以提供深度感知。因此，感知深度的高度可信模拟可以通过向眼睛提供对应于这些有限数目的深度平面中的每一个的图像的不同呈现来实现。不同呈现可以由观察者的眼睛单独聚焦，从而有助于基于使针对位于不同的深度平面的场景的不同的图像特征对焦所要求的眼睛的调节和/或基于观察离焦的不同深度平面上的不同图像特征，给用户提供深度线索。
图6图示了用于向用户输出图像信息的波导堆叠的示例。显示系统250包括波导的堆叠或者堆叠波导组件260，该波导的堆叠或者堆叠波导组件260可以用于使用多个波导270、280、290、300、310向眼睛/大脑提供三维感知。在一些实施例中，显示系统250是图2的系统60，并且图6示意性地更详细地示出该系统60的一些部分。例如，波导组件260可以是图2的显示器70的一部分。将理解到，在一些实施例中，显示系统250可以被认为是光场显示器。
继续参考图6，波导组件260还可以包括波导之间的多个特征320、330、340、350。在一些实施例中，特征320、330、340、350可以是一个或多个透镜。波导270、280、290、300、310和/或多个透镜320、330、340、350可以被配置为以不同水平的波前曲率或者光线发散向眼睛发送图像信息。每个波导水平可以与特定深度平面相关联并且可以被配置为输出对应于该深度平面的图像信息。图像注入设备360、370、380、390、400可以用作用于波导的光源并且可以用于将图像信息注入波导270、280、290、300、310中，如本文所描述的，其中的每一个波导可以被配置为跨每个相应波导分布入射光，用于朝向眼睛210输出。光离开图像注入设备360、370、380、390、400的输出表面410、420、430、440、450并且注入波导270、280、290、300、310的对应的输入表面460、470、480、490、500中。在一些实施例中，输入表面460、470、480、490、500中的每一个可以是对应的波导的边缘，或者可以是对应的波导的主要表面的一部分(即，直接面对世界510或者观察者的眼睛210的波导表面之一)。在一些实施例中，单个光束(例如，准直束)可以被注入每个波导中以输出克隆的准直束的整个场，该克隆的准直束以对应于与特定波导相关联的深度平面的特定角(和发散量)朝向眼睛210引导的。在一些实施例中，图像注入设备360、370、380、390、400中的单独一个可以与多个(例如，三个)波导270、280、290、300、310相关联并且将光注入多个(例如，三个)波导270、280、290、300、310中。
在一些实施例中，图像注入设备360、370、380、390、400是分立显示器，该分立显示器各自产生用于分别注入对应的波导270、280、290、300、310中的图像信息。在一些其他实施例中，图像注入设备360、370、380、390、400是单个复用显示器的输出端，该单个复用显示器的输出端可以例如经由一个或多个光学导管(诸如光纤光缆)将图像信息输送到图像注入设备360、370、380、390、400中的每一个。将理解到，由图像注入设备360、370、380、390、400提供的图像信息可以包括不同的波长或者颜色(例如，不同的分量颜色，如本文所讨论的)的光。
在一些实施例中，注入波导270、280、290、300、310中的光由光投影仪系统520提供，该光投影仪系统520包括光模块530，该光模块530可以包括光发射器，诸如发光二极管(LED)。来自光模块530的光可以经由分束器550被引导到光调制器540(例如，空间光调制器)，并且由光调制器540修改。光调制器540可以被配置为改变注入波导270、280、290、300、310中的光的感知强度。空间光调制器的示例包括液晶显示器(LCD)，其包括硅上液晶(LCOS)显示器。
在一些实施例中，显示系统250可以是扫描光纤显示器，包括被配置为以各种图案(例如，光栅扫描、螺旋扫描、李沙育(Lissajous)图案等)将光投影到一个或多个波导270、280、290、300、310中并且最终到观察者的眼睛310的一个或多个扫描光纤。在一些实施例中，所图示的图像注入设备360、370、380、390、400可以示意性地表示被配置为将光注入一个或多个波导270、280、290、300、310中的单个扫描光纤或一束扫描光纤。在一些其他实施例中，所图示的图像注入设备360、370、380、390、400可以示意性地表示多个扫描光纤或多束扫描光纤，其中的每一个被配置为将光注入波导270、280、290、300、310中的相关联的一个。将理解到，一个或多个光纤可以被配置为将光从光模块530传输到一个或多个波导270、280、290、300、310。将理解到，一个或多个中间光学结构可以在扫描光纤或光纤与一个或多个波导270、280、290、300、310之间提供，以例如将离开扫描光纤的光重定向到一个或多个波导270、280、290、300、310。
控制器560控制堆叠波导组件260中的一个或多个的操作，包括图像注入设备360、370、380、390、400、光源530和光调制器540的操作。在一些实施例中，控制器560是本地数据处理模块140的一部分。控制器560包括根据例如本文所公开的各种方案中的任一个调控到波导270、280、290、300、310的图像信息的时序和提供的编程(例如，非暂态介质中的指令)。在一些实施例中，控制器可以是单个积分设备，或者由有线或无线通信信道连接的分布式系统。在一些实施例中，控制器560可以是处理模块140或150(图2)的一部分。
继续参考图6，波导270、280、290、300、310可以被配置为通过全内反射(TIR)在每个相应波导内传播光。波导270、280、290、300、310可以各自是平面的或者具有另外的形状(例如，弯曲的)，其具有主顶面和主底面以及在那些主顶面与主底面之间延伸的边缘。在所图示的配置中，波导270、280、290、300、310可以各自包括耦出光学元件570、580、590、600、610，该耦出光学元件570、580、590、600、610被配置为通过重定向在每个相应波导内传播的光来将光提取出波导，提取出波导以向眼睛210输出图像信息。提取的光还可以称为耦出光，并且耦出光学元件光还可以称为光提取光学元件。所提取的光束可以由波导在波导中传播的光撞击光提取光学元件的位置处输出。耦出光学元件570、580、590、600、610可以例如是包括衍射光学特征的光栅，如本文进一步讨论的。虽然图示被设置在波导270、280、290、300、310的底主表面处以便于描述和附图清晰，但是在一些实施例中，耦出光学元件570、580、590、600、610可以设置在顶和/或底主表面处，和/或可以直接设置在波导270、280、290、300、310的体积中，如本文进一步讨论的。在一些实施例中，耦出光学元件570、580、590、600、610可以在附接到透明衬底以形成波导270、280、290、300、310的材料层中形成。在一些其他实施例中，波导270、280、290、300、310可以是单片材料，并且耦出光学元件570、580、590、600、610可以在该片材料的表面上和/或内部中形成。
继续参考图6，如本文所讨论的，每个波导270、280、290、300、310被配置为输出光以形成对应于特定深度平面的图像。例如，最靠近眼睛的波导270可以被配置为将准直光(其被注入这样的波导270中)递送给眼睛210。准直光可以代表光学无限远焦平面。下一向上波导280可以被配置为发送出准直光，该准直光在其可以到达眼睛210之前通过第一透镜350(例如，负透镜)；这样的第一透镜350可以被配置为产生轻微的凹波前曲率，使得眼睛/大脑将来自该下一向上波导280的光解释为来自从光学无限远朝向眼睛210向内更接近的第一焦平面。类似地，第三向上波导290使其输出光在到达眼睛210之前穿过第一透镜350和第二透镜340；第一透镜350和第二透镜340的组合屈光力可以被配置为产生波前曲率的另一增加量，使得眼睛/大脑将来自第三波导290的光解释为比来自第一向上波导280的光从光学无限远朝向人向内更加接近的第二焦平面。
其他波导层300、310和透镜330、320类似地被配置，其中，该堆叠中的最高波导310通过其与眼睛之间的所有透镜发送其输出，用于代表到人的最近焦平面的总光焦度。为了补偿当观看/解释来自堆叠波导组件260的另一侧的世界510的光时透镜320、330、340、350的堆叠，补偿透镜层620可以被设置在堆叠的顶部以补偿下面透镜堆叠320、330、340、350的总光焦度。这样的配置提供与存在可用的波导/透镜配对一样多的焦平面。波导的耦出光学元件和透镜的聚焦方面二者可以是静态的(即，非动态或电活性的)。在一些可选实施例中，一者或二者可以使用电活性特征是动态的。
在一些实施例中，波导270、280、290、300、310中的两个或两个以上可以具有相同的相关联深度平面。例如，多个波导270、280、290、300、310可以被配置为将图像集输出给相同的深度平面，或者波导270、280、290、300、310的多个子集可以被配置为将图像集输出给相同的多个深度平面，其中，针对每个深度平面具有一个集。这可以提供用于形成拼接图像以在那些深度平面处提供扩展视场的优点。
继续参考图6，耦出光学元件570、580、590、600、610可以被配置为将光重定向到其相应波导之外并且以对于与波导相关联的特定深度平面的适当的发散或准直量输出该光。因此，具有不同的相关联的深度平面的波导可以具有耦出光学元件570、580、590、600、610的不同配置，其取决于相关联的深度平面，输出具有不同的发散量的光。在一些实施例中，光提取光学元件570、580、590、600、610可以是体积或者表面特征，其可以被配置为以特定角输出光。例如，光提取光学元件570、580、590、600、610可以是体积全息图、表面全息图和/或衍射光栅。在一些实施例中，特征320、330、340、350可以不是透镜；相反，其可以简单地是间隔器(例如，包层和/或用于形成空隙的结构)。
在一些实施例中，耦出光学元件570、580、590、600、610是形成衍射图案的衍射特征，或者“衍射光学元件”(在本文中还被称为“DOE”)。优选地，DOE具有足够低的衍射效率，使得光束的仅一部分利用DOE的每个交点朝向眼睛210偏转离开，而剩余部分继续经由TIR移动通过波导。携带图像信息的光因此被分成在许多位置处离开波导的许多相关出射束，并且结果是针对在波导内到处反弹的该特定准直束的朝向眼睛210的出射发射的相当均匀的图案。
在一些实施例中，一个或多个DOE可以是在其主动地衍射的“开启”状态与其不显著地衍射的“关闭”状态之间可切换的。例如，可切换DOE可以包括聚合物分散液晶层，其中，微滴包括主介质中的衍射图案，并且微滴的折射率可以被切换以基本上匹配主材料的折射率(在该情况下，图案未明显地衍射入射光)或者微滴可以被切换到不匹配主介质的折射率的折射率(在该情况下，图案主动地衍射入射光)。
在一些实施例中，照相机组件630(例如，数字照相机，包括可见光和红外光照相机)可以被提供以采集眼睛210和/或眼睛210周围的组织的图像，以例如检测用户输入和/或监测用户的生理状态。如本文所使用的，照相机可以是任何图像采集设备。在一些实施例中，照相机组件630可以包括图像采集设备和向眼睛投影光(例如，红外光)的光源，该光可以然后由眼睛反射并且由图像采集设备检测。在一些实施例中，照相机组件630可以附接到框架80(图2)并且可以与处理模块140和/或150电气通信，该处理模块140和/或150可以处理来自照相机组件630的图像信息以做出关于例如用户的生理状态的各种确定，如本文所讨论的。将理解到，关于用户的生理状态的信息可以用于确定用户的行为或者情绪状态。这样的信息的示例包括用户的运动和/或用户的面部表情。用户的行为或者情绪状态可以然后利用采集的环境和/或虚拟内容数据进行三角测量以便确定行为或者情绪状态、生理状态与环境或者虚拟内容数据之间的关系。在一些实施例中，可以针对每只眼睛利用一个照相机组件630，以单独监测每只眼睛。
现在参考图7，示出了由波导输出的出射束的示例。图示了一个波导，但是将理解到，在波导组件260包括多个波导的情况下，波导组件260(图6)中的其他波导可以类似地运行。光640在波导270的输入表面460处被注入波导270中并且通过TIR在波导270内传播。在光640入射在DOE 570上的点处，光的一部分离开波导作为出射束650。出射束650被图示为基本上平行的，但是如本文所讨论的，其还可以被重定向以以某个角度传播到眼睛210(例如，形成发散出射束)，这取决于与波导270相关联的深度平面。将理解到，基本上平行出射束可以指示具有耦出光学元件的波导，该耦出光学元件耦出光以形成看起来设定在距眼睛210大距离(例如，光学无限远)的深度平面上的图像。其他波导或者其他耦出光学元件集可以输出更发散的出射束图案，该出射束图案将要求眼睛210调节到更近的距离以使其对焦于视网膜并且将由大脑解释为来自比光学无限远更接近于眼睛210的距离的光。
在一些实施例中，全色图像可以通过重叠分量颜色(例如，三种或更多种分量颜色)中的每一个的图像在每个深度平面处形成。图8图示了每个深度平面包括使用多个不同的分量颜色形成的图像的堆叠波导组件的示例。所图示的实施例示出深度平面240a–240f，但是还预期了更多或更少的深度。每个深度平面可以具有与其相关联的三个或更多个分量颜色图像，包括：第一颜色G的第一图像；第二颜色R的第二图像；以及第三颜色B的第三图像。通过跟随字母G、R和B的针对屈光度(dpt)的不同的数字在附图中指示不同的深度平面。仅作为示例，跟随这些字母中的每一个的数字指示屈光度(1/m)，或者深度平面距观察者的反距离，并且附图中的每个框表示单独的分量颜色图像。在一些实施例中，为了解释不同的波长的光的眼睛聚焦的差异，用于不同的颜色分量的深度平面的确切定位可以变化。例如，对于给定深度平面的不同的分量颜色图像可以被放置在对应于距用户不同距离的深度平面上。这样的布置可以增加视觉灵敏度和用户舒适和/或可以减小色差。
在一些实施例中，每种分量颜色的光可以由单个专用波导输出，并且因此，每个深度平面可以具有与其相关联的多个波导。在这样的实施例中，包括字母G、R或B的图中的每个框可以被理解为表示单独波导，并且每深度平面可以提供三个波导，其中，每深度平面提供三种颜色分量图像。虽然与每个深度平面相关联的波导在该附图中被示出为彼此邻近，但是将理解到，在物理设备中，波导可以全部布置在每层具有一个波导的堆叠中。在一些其他实施例中，多种分量颜色可以由相同波导输出，使得例如，每深度平面可以仅提供单个波导。
继续参考图8，在一些实施例中，G是绿色，R是红色，并且B是蓝色。在一些其他实施例中，与光的其他波长相关联的其他颜色(包括品红和青色)可以另外使用或者可以替换红、绿或蓝中的一个或多个。在一些实施例中，特征320、330、340和350可以是有源或无源光学滤波器，该有源或无源光学滤波器被配置为阻止或选择性地阻止从周围环境到观察者的眼睛的光。
将理解到，贯穿本公开对于光的给定颜色的引用将被理解为涵盖由观察者感知为具有该给定颜色的光的波长的范围内的一个或多个波长的光。例如，红光可以包括大约620–780nm的范围内的一个或多个波长的光，绿光可以包括大约492–577nm的范围内的一个或多个波长的光，并且蓝光可以包括大约435–493nm的范围内的一个或多个波长的光。
在一些实施例中，光源530(图6)可以被配置为发射观察者的视觉感知范围之外的一个或多个波长的光，例如，红外和/或紫外波长。另外，显示器250的波导的耦入、耦出和其他光重定向结构可以被配置为朝向用户的眼睛210将该光引导并且发射到显示器之外，例如，用于成像和/或用户刺激应用。
现在参考图9A，在一些实施例中，入射在波导上的光可能需要重定向以将该光耦入到波导中。耦入光学元件可以用于将光重定向并且耦入到其对应的波导中。图9A图示了各自包括耦入光学元件的多个堆叠波导或堆叠波导集660的示例的剖面侧视图。波导可以各自被配置为输出一个或多个不同波长或者一个或多个不同波长范围的光。将理解到，堆叠660可以对应于堆叠260(图6)，并且堆叠660的所图示的波导可以对应于多个波导270、280、290、300、310的一部分，例外的是，来自图像注入设备360、370、380、390、400中的一个或多个的光从要求光重定向用于耦入的位置被注入到波导中。
所图示的堆叠波导集660包括波导670、680和690。每个波导包括相关联的耦入光学元件(其还可以被称为波导上的光输入区)，其中例如，在波导670的主表面(例如，上主表面)上设置的耦入光学元件700、在波导680的主表面(例如，上主表面)上设置的耦入光学元件710，以及在波导690的主表面(例如，上主表面)上设置的耦入光学元件720。在一些实施例中，耦入光学元件700、710、720中的一个或多个可以被设置在相应波导670、680、690的底主表面上(特别地其中，一个或多个耦入光学元件是反射偏转光学元件)。如所图示的，耦入光学元件700、710、720可以被设置在其相应波导670、680、690的上主表面上(或在下一个下波导的顶部)，特别地其中，那些耦入光学元件是透射偏转光学元件。在一些实施例中，耦入光学元件700、710、720可以被设置在相应波导670、680、690的本体中。在一些实施例中，如本文所讨论的，耦入光学元件700、710、720是波长选择的，使得其选择性地重定向光的一个或多个波长，同时透射光的其他波长。虽然图示在其相应波导670、680、690的一个边或角上，但是将理解到，在一些实施例中，耦入光学元件700、710、720可以设置在其相应波导670、680、690的其他区域中。
如所图示的，耦入光学元件700、710、720可以彼此横向偏移。在一些实施例中，每个耦入光学元件可以偏移，使得其在该光不穿过另一耦入光学元件的情况下接收光。例如，每个耦入光学元件700、710、720可以被配置为从如图6中所示的不同图像注入设备360、370、380、390和400接收光，并且可以与其他耦入光学元件700、710、720分离(例如，横向地隔开)，使得其基本上不接收来自耦入光学元件700、710、720中的其他耦入光学元件的光。
每个波导还包括相关联的光分布元件，其中，例如，在波导670的主表面(例如，顶主表面)上设置的光分布元件730、在波导680的主表面(例如，顶主表面)上设置的光分布元件740，以及在波导690的主表面(例如，顶主表面)上设置的光分布元件750。在一些其他实施例中，光分布元件730、740、750可以分别设置在相关联的波导670、680、690的底主表面上。在一些其他实施例中，光分布元件730、740、750可以分别设置在相关联的波导670、680、690的顶和底主表面上；或者光分布元件730、740、750可以分别设置在不同的相关联的波导670、680、690中的顶和底要表面中的不同的主表面上。
波导670、680、690可以通过例如气体、液体和/或固体材料层隔开并且分离。例如，如所图示的，层760a可以将波导670和680分离；并且层760b可以将波导680和690分离。在一些实施例中，层760a和760b由低折射率材料(即，具有比形成波导670、680、690中的直接相邻的一个波导的材料更低的折射率的材料)形成。优选地，形成层760a、760b的材料的折射率小于形成波导670、680、690的材料的折射率0.05或更多，或者0.10或更少。有利地，较低折射率层760a、760b可以用作包层，该包层利于通过波导670、680、690的光的TIR(例如，每个波导的顶主表面与底主表面之间的TIR)。在一些实施例中，层760a、760b由空气形成。虽然未图示，但是将理解到，所图示的波导集660的顶部和底部可以包括直接邻近的包层。
优选地，为了便于制造和其他考虑，形成波导670、680、690的材料类似或者相同，并且形成层760a、760b的材料类似或者相同。在一些实施例中，形成波导670、680、690的材料可以在一个或多个波导之间是不同的，和/或形成层760a、760b的材料可以是不同的，同时仍然保持上文指出的各种折射率关系。
继续参考图9A，光线770、780、790入射在波导集660上。将理解到，可以通过一个或多个图像注入设备360、370、380、390、400将光线770、780、790注入到波导670、680、690中(图6)。
在一些实施例中，光线770、780、790具有不同的性质，例如，不同的波长或不同的波长范围，该不同的波长或不同的波长范围可以对应于不同的颜色。光线770、780、790还可以横向地位移到对应于耦入光学元件700、710、720的横向位置的不同的位置。耦入光学元件700、710、720各自偏转入射光，使得光通过TIR传播通过波导670、680、690中的相应一个。
例如，耦入光学元件700可以被配置为使光线770偏转，该光线770具有第一波长或波长范围。类似地，透射光线780入射在耦入光学元件710上并且由耦入光学元件710偏转，该耦入光学元件710被配置为使第二波长或波长范围的光偏转。同样地，光线790由耦入光学元件720偏转，该耦入光学元件720被配置为选择性地使第三波长或波长范围的光偏转。
继续参考图9A，偏转光线770、780、790被偏转，使得其传播通过对应的波导670、680、690；即，每个波导的耦入光学元件700、710、720使光偏转到该对应的波导670、680、690中以将光耦入到该对应的波导中。光线770、780、790以使得光通过TIR传播通过相应波导670、680、690的角度偏转，并且因此在其中引导。例如，光线770、780、790的偏转可以由一个或多个反射、衍射和/或全息光学元件引起，诸如全息、衍射和/或反射调谐特征、反射器或反射镜。在一些情况下，偏转可以由微结构(诸如一个或多个光栅中的衍射特征)和/或被配置为调谐或者重定向光例如以便利用光导引导的全息和/或衍射光学元件引起。光线770、780、790通过TIR传播通过相应波导670、680、690，在其中引导，直到入射在波导的对应的光分布元件730、740、750上。
现在参考图9B，图示了图9A的多个堆叠波导的示例的透视图。如上所述，耦入光线770、780、790分别由耦入光学元件700、710、720偏转，并且然后通过TIR传播并且分别在波导670、680、690内引导。引导光线770、780、790然后分别入射在光分布元件730、740、750上。光分布元件730、740、750可以包括一个或多个反射、衍射和/或全息光学元件，诸如全息、衍射和/或反射调谐特征、反射器或反射镜。在一些情况下，偏转可以由微结构(诸如一个或多个光栅中的衍射特征)和/或被配置为调谐或者重定向光例如以便利用光导引导的全息和/或衍射光学元件引起。光线770、780、790通过TIR传播通过相应波导670、680、690，在其中引导，直到入射在波导的对应的光分布元件730、740、750上，然而，其中，其以光线770、780、790仍然在波导内引导的方式偏转。光分布元件730、740、750使光线770、780、790偏转，使得其分别朝向耦出光学元件800、810、820传播。
耦出光学元件800、810、820被配置为将在波导内引导的光(例如，光线770、780、790)定向到波导之外并且朝向观察者的眼睛定向。耦出光学元件800、810、820可以因此被配置为以相对于波导的表面的更法线角偏转和重定向波导内引导的光，例如，光线770、780、790，以便减少全内反射(TIR)的效应，使得光不在波导内引导而是相反从其出射。而且，这些耦出光学元件800、810、820可以被配置为朝向观察者的眼睛偏转和重定向该光，例如，光线770、780、790。因此，耦出光学元件800、810、820可以包括一个或多个反射、衍射和/或全息光学元件，诸如全息、衍射和/或反射调谐特征、反射器或反射镜。在一些情况下，偏转可以由微结构(诸如一个或多个光栅中的衍射特征)和/或被配置为调谐或者重定向光例如以便利用光导引导的全息和/或衍射光学元件引起。光学元件800、810、820可以被配置为反射、偏转和/或衍射光线770、780、790，使得其朝向用户眼睛传播到波导之外。
在一些实施例中，光分布元件730、740、750是正交光瞳扩张器(OPE)。在一些实施例中，OPE使光偏转或分布到耦出光学元件800、810、820并且还复制(一个或多个)束以形成传播到耦出光学元件的更大数量的束。随着束沿着OPE传播，束的一部分可以与束分割并且在正交于束的方向上(在耦出光学元件800、810、820的方向上)传播。OPE中的束的正交分割可以重复地沿着通过OPE的束的路径发生。例如，OPE可以包括具有沿着束路径的增加的反射率，使得一系列基本上均匀的子束从单个束产生。在一些实施例中，耦出光学元件800、810、820是将光定向到观察者的眼睛210中的出射光瞳(EP)或出射光瞳扩张器(EPE)(图7)。OPE可以被配置为增加眼盒的尺寸(例如，沿着x方向)，并且EPE可以在跨越(例如，正交于)OPE的轴的轴中增加眼盒(例如，沿着y方向)。
因此，参考图9A和9B，在一些实施例中，波导集660包括波导670、680、690；耦入光学元件700、710、720；光分布元件(例如，OPE)730、740、750；以及用于每种分量颜色的耦出光学元件(例如，EPE)800、810、820。波导670、680、690可以通过空隙和/或每一个之间的包层堆叠。耦入光学元件700、710、720将入射光(其中，不同的耦入光学元件接收不同的波长的光)重定向或者偏转到其相应波导中。光然后以将导致相应波导670、680、690内的TIR的角度传播，并且光在其中引导。在示出的示例中，光线770(例如，蓝光)由第一耦入光学元件700偏转，并且然后继续在波导内传播，在其中引导，与光分布元件(例如，OPE)730相互作用，其中，其以先前所描述的方式被复制成传播到耦出光学元件(例如，EPE)800的多个光线。光线780和790(例如，分别地绿光和红光)将穿过波导670，其中，光线780入射在耦入光学元件710上并且由耦入光学元件710偏转。光线780然后经由TIR沿波导680向下反弹，继续到其光分布元件(例如，OPE)740，其中，其被复制成传播到耦出光学元件(例如，EPE)810的多个光线。最后，光线790(例如，红光)穿过波导690以入射在波导690的光耦入光学元件720中。光耦入光学元件720偏转光线790，使得光线通过TIR传播到光分布元件(例如，OPE)，其中，其被复制成通过TIR传播到耦出光学元件(例如，EPE)820的多个光线。耦出光学元件820然后最后进一步复制光线790并且将光线耦出到观察者，该观察者还从其他波导670、680接收耦出光。
图9C图示了图9A和图9B的多个堆叠波导的示例的自上而下平面图(前视图)。如所图示的，波导670、680、690连同每个波导的相关联的光分布元件730、740、750和相关联的耦出光学元件800、810、820可以垂直地对准(例如，沿着x和y方向)。然而，如本文所讨论的，耦入光学元件700、710、720未垂直地对准；相反，耦入光学元件优选地是非重叠的(例如，沿着x方向横向隔开，如在该示例中的前视图的自上而下视图中看到的)。还可以采用在其他方向上的偏移，诸如y方向。该非重叠空间布置利于在一对一基础上将来自不同的资源(诸如不同的光源和/或显示器)的光注入到不同的波导中，从而允许特定光源唯一地耦合到特定波导。在一些实施例中，包括非重叠的横向分离的耦入光学元件的布置可以被称为偏移光瞳系统，并且这些布置内的耦入光学元件可以对应于子光瞳。
除了将光耦出波导之外，耦出光学元件800、810、820可以使得光准直或者发散，好像光起源于远距离或更近距离、深度或深度平面处的对象。例如，准直光与来自远离视图的对象的光一致。增加的发散光与来自更接近的对象的光一致，例如，在观察者的前面5-10英尺或1-3英尺。眼睛的自然晶状体将当查观更接近于眼睛的对象时调节，并且大脑可以感测该调节，该调节然后还用作深度线索。同样地，通过使得光发散一定量，眼睛将调节并且将对象感知为在更近距离处。因此，耦出光学元件800、810、820可以被配置为使得光准直或者发散，好像光从远或近距离、深度或深度平面发出。这样做，耦出光学元件800、810、820可以包括屈光力。例如，耦出光学元件800、810、820可以包括全息、衍射和/或反射光学元件，使得除了使光偏转或者重定向出波导之外，这些全息、衍射和/或反射光学元件还可以包括屈光力，以使光准直或者发散。耦出光学元件800、810、820可以在可选方案中或者另外包括折射面，该折射面包括使得光准直或者发散的屈光力。因此，例如除了衍射或者全息调谐特征之外，耦出光学元件800、810、820可以包括提供屈光力的折射面。除了耦出光学元件800、810、820之外，这样的折射面还可以包括在例如耦出光学元件800、810、820的顶部。在某些实施例中，例如，光学元件(例如，衍射光学元件、全息光学元件、折射透镜表面或其他结构)可以相对于耦出光学元件800、810、820设置以提供引起光的准直或者发散的屈光力。具有屈光力的层(诸如具有折射面的层或具有衍射和/或全息特征的层)可以例如相对于耦出光学元件800、810、820设置以附加地提供屈光力。来自具有屈光力的耦出光学元件800、810、820和具有屈光力的附加层(诸如具有折射面的层或具有衍射和/或全息特征的层)二者的贡献的组合也是可能的。
示例的3D内容呈现系统和方法
在各种实施方式中，本文所描述的增强现实系统和方法可以用于呈现看起来与穿戴者周围的世界中的真实对象相互作用的虚拟内容，诸如虚拟对象。在一些实施例中，深度传感器可以用于映射穿戴者和/或穿戴者的身体部分周围的世界，并且增强现实系统可以将3D虚拟内容(诸如对象或图形)呈现到世界中检测到的真实对象上。在一个示例中，虚拟内容可以是在穿戴者的手腕上呈现的虚拟手表。因此，虽然头戴式增强现实的穿戴者未戴真实手表，但是通过设备的显示器显示给穿戴者的虚拟手表可能看起来位于穿戴者的手腕上。在另一示例中，虚拟内容可以是用于在真实对象上显示的图形设计，诸如待显示在咖啡杯的边上的徽标或者广告内容。
可以跟踪与虚拟内容相关联的真实对象的位置，诸如通过深度传感器。虚拟内容可以显示在基于真实对象的位置确定的位置中。例如，当穿戴者移动与虚拟手表相关联的手腕时，设备可以改变如显示给穿戴者的虚拟手表的位置，使得手表继续看起来在穿戴者的手腕上。然而，现有的深度传感器可能不能够检测与虚拟内容相关联的真实对象的取向。例如，如果穿戴者的手腕或者上文所描述的咖啡杯旋转，则来自深度传感器的信息可能不足以允许系统区分真实对象的不同的对称或几乎对称取向。因此，虽然深度传感器可以检测真实对象的位置，但是本文所描述的系统可以使用真实对象的特征(有时在本文中称为界标或基准特征)的次级跟踪来标识深度传感器不能检测的更精确的位置和/或取向信息。
本文所描述的各种系统和方法可以允许增强现实显示系统基于对象的表面处或附近的可见或不可见标记的光反射和/或散射性质来跟踪对象的位置和取向。在一些示例实施例中，增强现实显示系统可以使用深度传感器跟踪对象的位置，标识对象的表面处的特征，并且基于特征相对于对象的位置来确定对象的取向。特征(有时在本文中称为基准特征或基准)可以是对象的预先存在特征，使得在不单独应用附加标记用于取向跟踪的目的的情况下，可以跟踪对象的取向。如将更详细地描述的，特征或基准可以使用可见光或不可见光检测，诸如在红外或紫外范围内。基准或特征可以是背景特征(诸如手腕上的胎记或者咖啡杯中的缝)或者不可见特征(诸如手腕、手臂或手上的一个或多个静脉)。
现在将对图10进行参考，图10示出了被配置为跟踪如本文所描述的真实对象的位置和取向的示例的增强现实显示系统2010的各种部件的示意图。在一些实施例中，增强现实显示系统可以是混合现实显示系统。如所示出的，增强现实显示系统2010包括至少部分地包封左和右波导堆叠2005、2006的框架64，该左和右波导堆叠2005、2006被配置为将增强现实内容递送给增强现实显示系统的穿戴者的左眼和右眼2001、2002。系统还包括深度传感器28、光源26和光检测器24。跟踪系统22可以包括处理模块70，该处理模块70可以控制和/或分析从深度传感器28、光检测器24和/或光源26接收到的数据。深度传感器28、光检测器24和/或光源26可以通过数据链路76、78与处理模块70通信。
深度传感器28可以被配置为检测穿戴者周围的世界中的各种对象的形状和位置。例如，由深度传感器28检测到的对象可以包括穿戴者周围的房间中的墙、家具和其他项目、穿戴者附近的其他人或动物、室外对象，诸如树、灌木、汽车、建筑等、和/或穿戴者的身体的部分，诸如手臂、手、腿和脚。在各种实施例中，深度传感器可以在距穿戴者0.5米与4米之间的距离的范围、1米到3米、多达5米、或任何其他范围处的映射对象处是有效的。深度传感器可以是光学深度传感器，该光学深度传感器被配置为使用红外光、可见光等确定深度。在各种实施例中，深度传感器可以包括以下各项中的一项或多项：激光源、激光测距仪、照相机、超声波测距仪、或者其他距离感测、成像和/或映射设备。
光检测器24可以被配置为检测红外光、可见光、紫外光、或电磁辐射的其他范围中的一个或多个。类似地，光源26可以被配置为发射红外光、可见光、紫外光、或电磁辐射的其他范围中的一个或多个。在一些实施例中，由光源26发射的光谱的至少一部分将是由光检测器24可检测的。在一些设计中，光源26可以安装在万向架或其他可移动安装上，使得发射辐射的方向可以独立于增强现实显示设备2010的取向来控制。光检测器24可以是成像设备(诸如照相机)，该成像设备被配置为获得穿戴者的视场的至少一部分中的光的图像。在各种实施例中，每个光检测器24可以是照相机并且可以包括光传感器的二维阵列。在一些示例实施例中，光源26被配置为发射指定波长范围内的红外光，并且光检测器24包括红外传感器或红外光检测器，该红外传感器或红外光检测器被配置为使用由光检测器24的视场内的对象反射的红外光获得红外图像。
在一些情况下，当利用不可见光(诸如红外光或紫外光)照射时，可见光中不突出的特征产生可辨别的特征。例如可能不作为对于眼睛可解析的静脉可以根据红外线照射由红外照相机清楚地可解析。这样的静脉可以用作标识并且跟踪对象的运动、其平移和/或取向的改变的基准。因此，利用诸如不可见光的光照射对象可以以其他方式使得不可见特征由照相机或者成像传感器检测。可以被称为基准(或如下文更充分地描述的差异签名)的这些特征的运动可以允许对象的运动被跟踪，例如，使得可以适当地放置虚拟内容相对于移动对象的定位。虽然将静脉用作一个示例，但是其他特征可以是利用照射可观察的，诸如使用红外检测器的红外照射。例如，皮肤的其他特征可以反射或吸收IR光(或UV光)，以便产生可以利用对适合的(一个或多个)波长敏感的照相机(例如，IR照相机)跟踪的特征、标记或基准，以便跟踪对象的运动，包括对象的旋转或取向的改变。利用已知对象的运动和取向的改变，虚拟内容可以准确地定位和取向。可以适当地呈现被设计为跟随对象或具有相对于对象的固定位置和/或取向的这样的虚拟内容。类似地，可以提供虚拟内容的适当的视角。虽然在以上示例中已经讨论了红外或紫外光，但是可以使用可见和不可见的光或电磁辐射的其他波长。
在一些情况下，照射可以包括图案，诸如网格或者阵列。此外，投影到表面上的图案的图像可以通过处理模块70与光的发射图案相比较来确定发射光与反射光之间的差异。同样地，处理模块70可以被配置为标识图像内局部唯一的差异。局部唯一差异可以由具有与周围区域不同的反射率的真实对象的一部分引起。例如，手臂或手的胎记、痣、静脉、疤痕组织或其他结构可以在成像波长范围(例如，红外或UV)中具有不同于周围组织的反射率不同的反射率。因此，如果疤痕组织的区域存在于照射和成像的区域中，则发射辐射分布与反射辐射分布之间的光差可以包括以疤痕组织区域的形状的异常区域。在本文中称为差异标签的这样的特征可以用于跟踪对象，使得虚拟内容可以相对于对象适当地定位和取向。
联合参考图10和11，现在将描述使用检测到的特征跟踪3D对象的位置和/或取向的示例方法1100。方法1100可以由本文所描述的系统中的任一个实现，诸如在图2和图10中所描绘的可穿戴增强现实显示系统60、2010。方法1100在框1110处开始，其中，接收虚拟内容。在一个示例中，虚拟内容可以是手表的3D呈现，该手表的3D呈现可以用作对于增强现实显示系统2010的穿戴者可见的虚拟手表。系统2010还接收虚拟内容相对于检测到的真实对象的位置。例如，系统2010可以自动地或者基于由穿戴者造成的指示使用深度传感器28检测穿戴者的手腕。用于虚拟手表的位置可以自动确定或者可以通过穿戴者指示，诸如通过手势或使用任何适合的输入设备。例如，穿戴者可以选择虚拟手表的位置，使得虚拟手表看起来像现实世界的手表那样设置在穿戴者的手腕周围。在另一示例中，虚拟内容可以是虚拟名签或者项目标识符、待显示在真实对象(诸如咖啡杯)上的广告图形、或者旨在表现为好像附着到真实对象的任何其他类型的虚拟内容。一旦虚拟内容的期望位置相对于真实对象确定，则可以选择、登记或以其他方式完成相对位置。在接收虚拟内容和其相对于真实对象的位置之后，方法1100继续到框1120。
在框1120处，系统2010发射辐射图案并且确定投影在对象上的图像之间的差异。该差异可以取决于并且指示真实对象的结构特征。该差异可以例如指示归因于对象的结构变化的吸收、反射率和/或散射的变化。该差异可以用作跟踪运动和/或取向的改变的基准、差异标签或标记。辐射图案可以由光源26、光图案发射，诸如纹理化光场、网格、或一系列点、交叉、圆形(例如，同心圆或轮廓)或者其他图案。虽然上文讨论了诸如网格的图案，但是照射还可以包括基本上均匀的照射或者任何形状的斑点(例如，圆形、正方形等)，并且仍然可以获得差异标签或标记。发射的辐射图案可以包括可见光或不可见光，诸如红外光、紫外光、或任何其他适合的波长或波长范围。在一些实施例中，诸如红外线或紫外线的不可见波长范围可能是期望的，以避免通过投影可见光图案或可见光使穿戴者或他人分心。可以选择辐射图案的方向，使得辐射图案的至少一部分入射在真实对象的表面上。例如，在一些配置中，光源是可移动的，诸如经由万向架或其他旋转平台和/或可以倾斜的平台。在一些实施例中，可以将辐射投影到直接邻近虚拟对象的接收位置的位置上。在虚拟手表的示例实施方式中，可以将辐射投影到穿戴者的手的背部或者到邻近虚拟手表的位置的穿戴者的前臂上。在其他实施例中，可以将辐射投影到与虚拟对象的位置隔开的位置上。
在辐射图案被发射之后，发射的辐射的一部分可以通过真实对象反射回到增强现实显示系统2010。发射的辐射中的一些可以由外部表面或对象的表面下面的内部结构反射。例如，如果辐射图案是用户的手臂或手处引导的红外光图案，则红外光的一部分可以由外部皮肤表面、皮肤的内部区域和/或静脉或皮肤下面的其他结构反射。可以在光检测器24处检测辐射图案的反射部分。例如，光源26可以是发射红外辐射图案的红外线源，并且光检测器24可以是被配置为获得红外光谱中的图像的红外照相机。因此，当发射的辐射图案的一部分被反射到显示系统2010时，光检测器24可以获得反射光图案的图像。
为了确定光差签名，反射光图案的图像可以与发射辐射图案的分布相比较。光差签名的确定可以在处理模块70或者与增强现实显示系统2010相关联的任何其他局部或远程处理电路处发生。处理模块70可以寻找可以用作界标、标记或基准的发射光图案与反射光图案之间的唯一差异。如果在发射光图案与反射光图案之间找到唯一差异，则可以存储差异并且可以记录光差签名或标记。在一些情况下，唯一差异可以由具有与周围区域不同的反射率的真实对象的一部分引起，例如，手臂或手的胎记、痣、静脉、疤痕组织或其他结构。例如，如果疤痕组织的区域存在于照射和成像的区域中，则发射辐射分布与反射辐射分布之间的光差可以包括以可以用作界标或差异签名的疤痕组织区域的形状的异常区域。(由于各种类型的生物组织(诸如皮肤、脂肪、含氧血、缺氧血等)可以具有不同的红外线吸收率和散射特性，因而在唯一差异不能在第一波长处检测的情况下，辐射图案可以包括多种光波长。)如果在发射光图案与反射光图案之间找到光差的可检测和/或局部唯一子区域，则可以将该差异存储为光差签名。如果在将发射光图案与反射光图案相比较之后未找到可以用作界标或基准的唯一差异，则框1120可以通过将辐射图案发射到真实对象上的不同的位置重复，例如，邻近虚拟对象位置的不同的部分和/或稍微与虚拟对象位置更远隔开的位置。如果可以用作界标的唯一差异被标识并且被存储为光差签名或标记，则方法1100继续到框1130。
在框1130处，虚拟内容的位置相对于光差签名、界标或“差异标记”来确定。光差签名或界标或差异标记的位置可以用作用于呈现虚拟内容的参考点。然后可以相对于参考点针对虚拟对象确定位移。例如，位移可以包括一个或多个维度中的坐标。在一些实施例中，位移可以是具有参考点处的原点的二维或三维坐标系内的位置。因此，当再次检测到相同光差签名或标记或界标时，可以在相对于光差签名、标记或界标的相同位置处呈现虚拟内容。
在一些实施方式中，光差签名、标记或界标还可以与可由深度传感器28检测的现实世界中的物理参考点相关联。物理参考点可以是真实对象的特征，诸如本文所描述的虚拟手表示例中的手指或腕骨。类似于虚拟对象相对于光差签名、标记或界标的位置，光差签名、标记或界标相对于物理参考点的位置可以包括一个或多个维度上的坐标。在虚拟对象与光差标记或界标之间以及在物理参考点与光差标记或界标之间的位移可以被记录在相同或者不同的参考系或坐标系中。
在相对于光差标记或界标确定虚拟内容和物理参考点的位置之后，系统2010可以使用深度传感器28间歇地或者连续地监测物理参考点的位置。在一些实施例中，深度传感器28可以要求比光检测器24和光源26更少的功率和/或处理能力来连续地监测真实对象和/或物理参考点的位置。因此，深度传感器28可以连续地监测物理参考点的位置，同时可以更低频地利用由光源26和光检测器24对辐射或辐射图案的发射和检测，诸如当检测到物理参考点的位置改变时、当虚拟内容的帧需要刷新时、或者在任何其他规则或不规则间隔处。当虚拟内容呈现的位置待刷新时，方法1100继续到框1140。
在框1140处，再次发射辐射或者辐射图案。在框1140处发射的辐射可以是与在框1120处发射的辐射相同的分布(例如，均匀分布、斑点、图案、纹理等)。辐射图案的发射的方向可以基于如由深度传感器28跟踪的物理参考点的位置来确定，使得发射的辐射图案至少部分地入射在期望找到光差签名、标记或界标的真实对象的区域上。发射的方向可以通过在万向架或其他可移动安装平台上枢转或以其他方式移动(一个或多个)光源24来选择。例如，在穿戴者的手臂的示例中，基于来自物理参考点的计算位移，可以将发射辐射图案引导到与光差签名、标记或界标相关联的胎记、静脉或其他特征的位置处。辐射或者辐射图案可以以与上文参考框1120所描述的相同的方式由光源24发射。在辐射或辐射图案发射之后，方法1100继续到框1150。
在框1150处，系统2010获得反射辐射分布或图案并且定位反射辐射分布或图案内的差异签名、标记或界标。反射辐射或者图案可以由光检测器26检测和/或成像，该光检测器26被配置为检测由光源24发射的一个或多个波长的光。可以然后在发射辐射图案与反射辐射图案之间确定和/或计算差异。所存储的光差签名或标记或界标可以与发射辐射分布或图案和反射辐射分布或图案之间的差异相比较，来验证存在并且确定新反射辐射分布中的光差签名、标记或界标的位置。然后可以记录光差签名、标记或界标的位置，以用作当虚拟内容被刷新时用于虚拟内容的呈现的参考点。在光差标记位于反射辐射分布或差异内之后，方法1100继续到框1160。
在框1160处，虚拟内容相对于光差签名、标记或界标的位置来呈现。用于呈现虚拟内容的位置可以基于在框1130处计算的光差签名、标记或界标与虚拟内容之间的位移来确定。通过使用先前计算的相同位移，增强现实显示系统2010可以实现显示看起来与相关联的真实对象一起移动的虚拟内容的优点。例如，通过重复地在相对于穿戴者的手上的胎记或静脉组引起的光差签名、标记或界标的相同位移处呈现虚拟手表，虚拟手表的面可以看起来保持在穿戴者的手腕的顶侧附近，即使穿戴者旋转手腕或者以不能单独可靠地由深度传感器28检测的方式变更手腕的取向。在虚拟内容相对于光差签名、标记或界标来呈现之后，方法1100可以返回框1140，其中，在无论何时将要刷新虚拟内容帧时，框1140-1160可以根据需要在规则或不规则间隔处无限地重复。例如，方法1100可以在检测到物理参考点的位置的改变的任何时间或在规则间隔(诸如每秒、每秒五次、每秒十次、每秒五十次、每秒一百次、或任何其他适合的间隔)处返回框1140。在一些实施例中，光源24可以被配置为连续地投影辐射诸如红外光，而不是每次重新定位差异标记时发送光的离散脉冲。
如上文所讨论的，结合光的图案的照射讨论的系统、设备、方法和过程也适用于均匀照射或者投影任何形状的斑点，诸如圆形斑点。此外，虽然以上讨论涉及标识和使用标记或界标，但是多个标记或界标可以被标识并且用于提供虚拟图像内容的跟踪和位移。
应预期到，创新方面可以实现在各种应用中或者与各种应用相关联并且因此包括宽范围的变化。例如，预期了EPE的形状、数目和/或屈光力的变化。本文中所描述的结构、设备和方法可以特别地发现在诸如可穿戴显示器(例如，头戴式显示器)的显示器中使用，可穿戴显示器(例如，头戴式显示器)可以用于增强现实和/或虚拟现实。更一般地，所描述的实施例可以被实现在可以被配置为显示图像(无论是运动(诸如视频)还是固定(诸如静止图像)，以及无论是文本、图形还是绘画)的任何设备、装置或者系统中。然而，应预期到，所描述的实施例可以包括在各种电子设备中或者与各种电子设备相关联，诸如但不限于：移动电话、启用多媒体因特网的蜂窝电话、移动电视接收器、无线设备、智能电话、
Figure GDA0004178354220000321
设备、个人数字助理(PDA)、无线电子邮件接收器、手持式或便携式计算机、上网本、笔记本、智能本、平板电脑、打印机、复印机、扫描器、传真设备、全球定位系统(GPS)接收器/导航仪、照相机、数字媒体播放器(诸如MP3播放器)、摄录像机、游戏控制台、手表、时钟、计算器、电视监视器、平板显示器、电子阅读设备(例如，电子阅读器)、计算机监视器、自动显示器(包括里程计和速度计显示器等)、驾驶舱控制和/或显示器、照相机视图显示器(诸如车辆中的后视图照相机的显示器)、电子照片、电子广告牌或标志、投影仪、架构结构、微波、冰箱、立体音响系统、盒式录音机或播放器、DVD播放器、CD播放器、VCR、收音机、便携式存储器芯片、洗衣机、烘干机、洗衣机/烘干机、停车计时器、头戴式显示器和各种成像系统。因此，教导不旨在限于仅在附图中所描绘的实施例，而是相反具有如将对于本领域普通技术人员容易明显的宽适用性。
对于本公开中所描述的实施例的各种修改可以对于本领域的技术人员是容易明显的，并且本文中定义的一般原理可以适用于其他实施例而不脱离本公开的精神或范围。因此，权利要求不旨在限于本文中所示的实施例，而是将符合与本文所公开的本公开、原理和新颖特征一致的最宽范围。词语“示例性的”在本文中排外地用于意指“用作示例、实例或者图示”。在本文中描述为“示例性的”的任何实施例并非一定被理解为相对于其他实施例优选的或者有利的。此外，本领域普通技术人员将容易理解到，术语“上”和“下”、“上面”和“下面”等有时用于便于描述附图，并且指示对应于适当取向页面上的图的取向的相对位置，并且可以不反映本文所描述的结构的适当的取向，因为实现了那些结构。
在分离的实施例的上下文中在该说明书中所描述的某些特征还能够组合实现在单个实施例中。相反地，在单个实施例中的上下文中所描述的各种特征还能够单独地或者以任何适合的子组合实现在多个实施例中。而且，尽管上面可以将特征描述为在某些组合中作用并且甚至如此初始地要求保护，但是在一些情况下，可以从组合切除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以涉及子组合或子组合的变型。
类似地，虽然操作以特定次序在附图中描绘，但是这不应该被理解为要求这样的操作以所示的特定次序或者以顺序次序执行，或者全部所图示的操作被执行，以实现期望的结果。而且，附图可以示意性地以流程图的形式描绘一个或多个示例过程。然而，未描绘的其他操作可以包含在示意性地图示的示例过程中。例如，一个或多个附加操作可以在任何所图示的操作之前、之后、同时或者之间执行。在某些情况下，多任务和并行处理可以是有利的。而且，上文所描述的实施例中的各种系统部件的分离不应该被理解为要求所有实施例中的这样的分离，并且应该理解的是，所描述的程序部件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。此外，其他实施例在以下权利要求的范围内。在一些情况下，权利要求中所记载的动作能够以不同的次序执行并且仍然实现期望的结果。
在本文中描述了本发明的各种示例实施例。以非限制性的意义对这些示例进行参考。其被提供以图示本发明的更宽的适用方面。可以对所描述的本发明做出各种改变并且可以代替等效物而不脱离本发明的真实精神和范围。另外，可以做出许多修改以将特定情况、材料、物质的组成、过程、(一个或多个)过程动作或(一个或多个)步骤适于本发明的(一个或多个)目的、精神或范围。而且，如由本领域的技术人员将理解到，本文中所描述并且所图示的每个单独变型具有可以容易地与其他数个实施例中的任一个的特征分离或者组合的分立部件和特征，而不脱离本公开的范围或精神。所有这样的修改旨在在与本公开相关联的权利要求的范围内。
本发明包括可以使用主题设备执行的方法。方法可以包括提供这样的适合的设备的动作。这样的提供可以由终端用户执行。换句话说，“提供”动作仅要求终端用户获得、访问、接近、定位、设立、激活、加电或其他动作以提供本方法中的必要设备。本文中记载的方法可以以记载事件的逻辑上可能的任何次序以及以事件的记载次序执行。
上文已经阐述了本发明的示例方面连同关于材料选择和制造的细节。至于本发明的其他细节，这些可以结合上文提到的专利和公开理解并且通常由本领域的技术人员已知或者理解。就如通常或者逻辑上使用的附加动作而言，相对于本发明的基于方法的方面可以同样适用。
另外，虽然已经参考可选地包含各种特征的数个示例描述了本发明，但是本发明将不限于如相对于本发明的每个变型预期的描述或指示的发明。可以对所描述的本发明做出各种改变并且可以代替等效物(无论是记载在本文中还是出于某种简洁的缘故未包括)，而不脱离本发明的真实精神和范围。另外，在提供值的范围的情况下，应当理解，该范围的上限与下限之间的每个中间值和该声明的范围中的任何其他声明的或中间值涵盖在本发明中。
而且，应预期到，可以独立地或者组合本文所描述的特征中的任何一个或多个来阐述并且要求保护所描述的发明变型的任何可选特征。对于单数项的引用包括存在多个相同项的可能性。更特别地，如本文所使用的并且在与其相关联的权利要求中，除非特别另外说明，否则单数形式“一(a)”、“一(an)”、“所述(said)”和“该(the)”包括复数指示物。换句话说，冠词的使用允许以上描述以及与本公开相关联的权利要求中的主题项中的“至少一个”。还应注意到，这样的权利要求可以被撰写为不包括任何可选元素。如此，该语句旨在用作用于结合权利要求元素的记载来使用如“仅仅(solely)”、“仅(only)”等这样的专用术语或者使用“否定”限制的先行基础。
在不使用这样的专用术语的情况下，与本公开相关联的权利要求中的术语“包括”应当允许包括任何附加元素—而不管给定数目的元素是否被列举在这样的权利要求中，或者特征的添加可以被认为是转换这样的权利要求中阐述的元素的性质。除了如本文特别定义之外，本文中使用的所有技术和科学术语将被给定为尽可能宽的通常理解的意义，同时维持权利要求有效性。
本发明的宽度将不限于所提供的示例和/或本说明书，而是相反仅通过与本公开相关联的权利要求语言的范围来限定。

Claims (31)

1.一种被配置为将3D内容与真实对象对准的增强现实显示系统，所述系统包括：
框架，其被配置为安装在穿戴者上；
增强现实显示器，其被附接到所述框架并且被配置为将图像引导到所述穿戴者的眼睛；
光源，其被配置为通过发射不可见光照射所述真实对象的至少一部分；
光传感器，其被配置为使用所述不可见光对由所述光源照射的所述真实对象的所述部分成像；
深度传感器，其被配置为检测所述真实对象的位置；以及
处理电路，其被配置为
检测使用所述不可见光的反射部分形成的所述图像中的特征，所述特征对应于所述真实对象上的预先存在的特征；
存储所述特征以用作虚拟内容的标记；以及
基于使用所述不可见光的反射部分形成的所述图像中的所述预先存在的特征的一个或多个特性，确定关于所述真实对象的位置、所述真实对象的取向或者二者的信息，
其中，所述处理电路被配置为使用所述深度传感器以第一频率周期性地监测所述真实对象的位置和取向，并使用所述光传感器以小于所述第一频率的第二频率监测所述特征的位置。
2.根据权利要求1所述的增强现实显示系统，其中，使用所述不可见光的反射部分形成的所述图像中的所述特征对于所述眼睛不可见。
3.根据权利要求1所述的增强现实显示系统，其中，所述不可见光包括红外光。
4.根据权利要求1-3中的任一项所述的增强现实显示系统，其中，由所述光源发射的所述不可见光包括在所述真实对象的所述部分上形成斑点的束。
5.根据权利要求1-3中的任一项所述的增强现实显示系统，其中，由所述光源发射的所述不可见光包括光图案。
6.根据权利要求1-3中的任一项所述的增强现实显示系统，其中，所述特性包括所述特征的位置。
7.根据权利要求1-3中的任一项所述的增强现实显示系统，其中，所述特性包括所述特征的形状。
8.根据权利要求1-3中的任一项所述的增强现实显示系统，其中，所述特性包括所述特征的取向。
9.根据权利要求1-3中的任一项所述的增强现实显示系统，其中，所述处理电路被配置为确定发射的不可见光的分布和所述不可见光的反射部分的分布之间的差异。
10.根据权利要求9所述的增强现实显示系统，其中，所述处理电路被配置为基于所确定的所述差异，标识差异签名。
11.根据权利要求10所述的增强现实显示系统，其中，所述处理电路被配置为基于所述真实对象的位置和所述差异签名的位置，确定所述真实对象的取向。
12.根据权利要求10所述的增强现实显示系统，其中，所述处理电路被配置为至少部分地基于所述差异签名的位置，确定所述真实对象的位置。
13.根据权利要求1-3和10-12中的任一项所述的增强现实显示系统，还包括设置在所述框架上的目镜，所述目镜的至少一部分是透明的并且当所述穿戴者穿戴所述显示系统时被设置在所述穿戴者的眼睛前面的位置处，使得所述透明部分从在所述穿戴者前面的环境到所述穿戴者的眼睛透射光以提供在所述穿戴者前面的所述环境的视图。
14.一种增强现实显示系统，包括：
框架，其被配置为安装在穿戴者上；
增强现实显示器，其被附接到所述框架并且被配置为将图像引导到所述穿戴者的眼睛；
深度传感器，其被配置为映射所述穿戴者的视场内的真实对象的表面；
光源，其被配置为投影入射到所述真实对象的所述表面上的至少第一波长中的光；
光传感器，其被配置为使用由所述真实对象的所述表面反射的所述光的一部分形成图像；以及
处理电路，其被配置为：
检测使用所述光的反射部分形成的所述图像中的特征，所述特征对应于所述真实对象上的预先存在的特征；
至少部分地基于所述光的反射部分，确定光差标记，并且在相对于所述光差标记的固定位移处呈现虚拟对象，所述光差标记包括所述真实对象的所述预先存在的特征，
其中，所述处理电路被配置为使用所述深度传感器以第一频率周期性地监测所述真实对象的位置和取向，并使用所述光传感器以小于所述第一频率的第二频率监测所述光差标记的位置。
15.根据权利要求14所述的增强现实显示系统，其中，在相对于所述光差标记的固定位移处呈现所述虚拟对象包括：
接收用于在初始时间处呈现相对于所述真实对象的所述虚拟对象的初始位置；
基于所述初始位置与所述光差标记之间的距离，确定所述固定位移；
在所述初始时间之后的时间处检测所述光差标记的后续位置；以及
在相对于所述光差标记的检测到的后续位置的所述固定位移处呈现所述虚拟对象。
16.根据权利要求14或15所述的增强现实显示系统，还包括设置在所述框架上的目镜，所述目镜的至少一部分是透明的并且当所述穿戴者穿戴所述显示系统时被设置在所述穿戴者的眼睛前面的位置处，使得所述透明部分从在所述穿戴者前面的环境到所述穿戴者的眼睛透射光以提供在所述穿戴者前面的所述环境的视图。
17.一种被配置为将3D内容与真实对象对准的增强现实显示系统，所述系统包括：
框架，其被配置为安装在穿戴者上；
增强现实显示器，其被附接到所述框架并且被配置为将图像引导到所述穿戴者的眼睛；
深度传感器，其被配置为映射所述穿戴者的视场内的真实对象的表面；
光源，其被配置为通过发射光照射所述真实对象的至少一部分；
光传感器，其被配置为使用由所述光源发射的所述光对由所述光源照射的所述真实对象的所述部分进行成像；以及
处理电路，其被配置为：
检测所述真实对象的所述图像中的特征，所述特征对应于所述真实对象的预先存在的特征；
存储所述真实对象的所述图像中的所述特征以用作用于将增强现实内容呈现到所述真实对象的视图上的标记；
基于所述真实对象的所述图像中的特征的一个或多个特性，确定关于所述真实对象的位置、所述真实对象的取向或者二者的信息；以及
基于使用所述深度传感器检测所述真实对象和使用所述光传感器检测所述特征来将增强现实内容呈现到所述真实对象的视图上，
其中，所述处理电路被配置为使用所述深度传感器以第一频率周期性地监测所述真实对象的位置和取向，并使用所述光传感器以小于所述第一频率的第二频率监测所述特征的位置。
18.根据权利要求17所述的增强现实显示系统，其中，由所述光源发射的所述光包括在所述真实对象的所述部分上形成斑点的束。
19.根据权利要求17所述的增强现实显示系统，其中，由所述光源发射的所述光包括光图案。
20.根据权利要求17-19中的任一项所述的增强现实显示系统，其中，所述特性包括所述特征的位置。
21.根据权利要求17-19中的任一项所述的增强现实显示系统，其中，所述特性包括所述特征的形状。
22.根据权利要求17-19中的任一项所述的增强现实显示系统，其中，所述特性包括所述特征的取向。
23.根据权利要求17-19中的任一项所述的增强现实显示系统，其中，所述处理电路被配置为确定所述发射光的分布与从所述真实对象反射的所述发射光的分布之间的差异。
24.根据权利要求23所述的增强现实显示系统，其中，所述处理电路被配置为基于所确定的所述差异，标识光差标记。
25.根据权利要求24所述的增强现实显示系统，其中，所述处理电路被配置为至少部分地基于所述光差标记的位置，确定所述真实对象的取向。
26.根据权利要求24或25所述的增强现实显示系统，其中，所述处理电路被配置为至少部分地基于所述光差标记的位置，确定所述真实对象的位置。
27.根据权利要求17-19和24-25中的任一项所述的增强现实显示系统，其中，所述深度传感器包括激光器或者超声测距仪。
28.根据权利要求17-19和24-25中的任一项所述的增强现实显示系统，其中，所述深度传感器包括照相机。
29.根据权利要求17-19和24-25中的任一项所述的增强现实显示系统，还包括设置在所述框架上的目镜，所述目镜的至少一部分是透明的并且当所述穿戴者穿戴所述显示系统时被设置在所述穿戴者的眼睛前面的位置处，使得所述透明部分从在所述穿戴者前面的环境到所述穿戴者的眼睛透射光以提供在所述穿戴者前面的所述环境的视图。
30.根据权利要求17-19和24-25中的任一项所述的增强现实显示系统，其中，所述显示器被配置为呈现图像内容，好像不同的图像内容被定位在不同的深度处。
31.根据权利要求27所述的增强现实显示系统，其中，所述显示器包括多个屈光光学元件，其具有不同的屈光力以为所述不同的深度而提供。
CN201780086089.XA 2016-12-13 2017-12-12 增强现实显示系统 Active CN110291565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310784659.XA CN116778120A (zh) 2016-12-13 2017-12-12 增强现实显示系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662433767P 2016-12-13 2016-12-13
US62/433,767 2016-12-13
PCT/US2017/065850 WO2018111895A1 (en) 2016-12-13 2017-12-12 3d object rendering using detected features

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310784659.XA Division CN116778120A (zh) 2016-12-13 2017-12-12 增强现实显示系统

Publications (2)

Publication Number Publication Date
CN110291565A CN110291565A (zh) 2019-09-27
CN110291565B true CN110291565B (zh) 2023-06-30

Family

ID=62559186

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780086089.XA Active CN110291565B (zh) 2016-12-13 2017-12-12 增强现实显示系统
CN202310784659.XA Pending CN116778120A (zh) 2016-12-13 2017-12-12 增强现实显示系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310784659.XA Pending CN116778120A (zh) 2016-12-13 2017-12-12 增强现实显示系统

Country Status (9)

Country Link
US (2) US10922887B2 (zh)
EP (1) EP3555865A4 (zh)
JP (3) JP7038713B2 (zh)
KR (2) KR20230022453A (zh)
CN (2) CN110291565B (zh)
AU (1) AU2017375951B2 (zh)
CA (1) CA3046399A1 (zh)
IL (1) IL267117B (zh)
WO (1) WO2018111895A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017375951B2 (en) 2016-12-13 2022-02-10 Magic Leap, Inc. 3D object rendering using detected features
US10371896B2 (en) 2016-12-22 2019-08-06 Magic Leap, Inc. Color separation in planar waveguides using dichroic filters
EP3528003A1 (en) * 2018-02-15 2019-08-21 Kinexon GmbH System and method estimating orientation from radio measurements
JP7444861B2 (ja) * 2018-09-26 2024-03-06 マジック リープ， インコーポレイテッド 屈折力を有する回折光学要素
US11892642B2 (en) 2018-10-05 2024-02-06 Htc Corporation Electronic apparatus
WO2020101895A1 (en) 2018-11-12 2020-05-22 Magic Leap, Inc. Event-based camera with high-resolution frame output
US11902677B2 (en) 2018-11-12 2024-02-13 Magic Leap, Inc. Patch tracking image sensor
US20220014689A1 (en) * 2018-11-13 2022-01-13 Magic Leap, Inc. Event-based ir camera
EP3884337A4 (en) * 2018-11-20 2022-08-17 Magic Leap, Inc. EYEPIECES FOR AN AUGMENTED REALITY DISPLAY SYSTEM
JP2022519310A (ja) 2019-02-07 2022-03-22 マジック リープ， インコーポレイテッド 受動深度抽出を伴う軽量のクロスリアリティデバイス
WO2021040106A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 Ar 장치 및 그 제어 방법
KR20210035557A (ko) * 2019-09-24 2021-04-01 삼성전자주식회사 백라이트 유닛 및 이를 포함하는 홀로그래픽 디스플레이 장치
EP4058993A4 (en) 2019-12-06 2023-01-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. LIGHT SOURCE DETECTION FOR EXTENDED REALITY TECHNOLOGIES
US11176716B2 (en) * 2020-02-28 2021-11-16 Weta Digital Limited Multi-source image data synchronization
US11536972B2 (en) 2020-05-22 2022-12-27 Magic Leap, Inc. Method and system for dual projector waveguide displays with wide field of view using a combined pupil expander-extractor (CPE)
KR102419290B1 (ko) 2020-08-12 2022-07-12 태나다 주식회사 동영상 데이터에 3차원 가상객체를 합성하는 방법 및 장치
US20240073401A1 (en) * 2020-12-23 2024-02-29 Magic Leap, Inc. Eyepiece imaging assemblies for a head mounted display

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
KR100542370B1 (ko) 2004-07-30 2006-01-11 한양대학교 산학협력단 보이지 않는 마커를 이용하는 비전기반 증강현실 시스템
JP2006050165A (ja) 2004-08-03 2006-02-16 Olympus Corp 情報表示装置
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
KR101189550B1 (ko) 2008-03-21 2012-10-11 아츠시 타카하시 3차원 디지털 확대경 수술지원 시스템
KR101648201B1 (ko) 2009-11-04 2016-08-12 삼성전자주식회사 영상 센서 및 이의 제조 방법.
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
JP6185844B2 (ja) 2010-12-24 2017-08-30 マジック リープ， インコーポレイテッド 人間工学的ヘッドマウントディスプレイデバイスおよび光学システム
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
US8611601B2 (en) * 2011-03-08 2013-12-17 Bank Of America Corporation Dynamically indentifying individuals from a captured image
US8570372B2 (en) * 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
CN103635891B (zh) 2011-05-06 2017-10-27 奇跃公司 大量同时远程数字呈现世界
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
BR112014010230A8 (pt) 2011-10-28 2017-06-20 Magic Leap Inc sistema e método para realidade virtual e aumentada
CA3024054C (en) 2011-11-23 2020-12-29 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
WO2013152205A1 (en) 2012-04-05 2013-10-10 Augmented Vision Inc. Wide-field of view (fov) imaging devices with active foveation capability
JP5912059B2 (ja) * 2012-04-06 2016-04-27 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
US20140046291A1 (en) 2012-04-26 2014-02-13 Evena Medical, Inc. Vein imaging systems and methods
US20140039309A1 (en) 2012-04-26 2014-02-06 Evena Medical, Inc. Vein imaging systems and methods
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
WO2013179427A1 (ja) 2012-05-30 2013-12-05 パイオニア株式会社 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
CN104737061B (zh) 2012-06-11 2018-01-16 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9898742B2 (en) * 2012-08-03 2018-02-20 Ebay Inc. Virtual dressing room
EP2895910A4 (en) 2012-09-11 2016-04-20 Magic Leap Inc ERGONOMIC HEAD-MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM
US20140160162A1 (en) * 2012-12-12 2014-06-12 Dhanushan Balachandreswaran Surface projection device for augmented reality
US10151875B2 (en) 2013-01-15 2018-12-11 Magic Leap, Inc. Ultra-high resolution scanning fiber display
KR102387314B1 (ko) 2013-03-11 2022-04-14 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
NZ751602A (en) * 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
US20140285520A1 (en) * 2013-03-22 2014-09-25 Industry-University Cooperation Foundation Hanyang University Wearable display device using augmented reality
EP2797313A1 (en) * 2013-04-26 2014-10-29 Elvesjö, John Computer graphics presentation system and method
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
EP3058418B1 (en) 2013-10-16 2023-10-04 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
US20150257735A1 (en) 2013-10-24 2015-09-17 Evena Medical, Inc. Systems and methods for displaying medical images
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
KR102268462B1 (ko) 2013-11-27 2021-06-22 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
JP2015125641A (ja) 2013-12-26 2015-07-06 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
US9405122B2 (en) * 2014-01-29 2016-08-02 Ricoh Co., Ltd Depth-disparity calibration of a binocular optical augmented reality system
EP3100098B8 (en) 2014-01-31 2022-10-05 Magic Leap, Inc. Multi-focal display system and method
EP4071537A1 (en) 2014-01-31 2022-10-12 Magic Leap, Inc. Multi-focal display system
US10691332B2 (en) * 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9552674B1 (en) * 2014-03-26 2017-01-24 A9.Com, Inc. Advertisement relevance
US20150324568A1 (en) 2014-05-09 2015-11-12 Eyefluence, Inc. Systems and methods for using eye signals with secure mobile communications
US10061058B2 (en) * 2014-05-21 2018-08-28 Universal City Studios Llc Tracking system and method for use in surveying amusement park equipment
KR102193052B1 (ko) 2014-05-30 2020-12-18 매직 립, 인코포레이티드 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들
JP6481269B2 (ja) * 2014-07-01 2019-03-13 富士通株式会社 出力制御方法、画像処理装置、出力制御プログラムおよび情報処理装置
CN106062862B (zh) * 2014-10-24 2020-04-21 杭州凌感科技有限公司 用于沉浸式和交互式多媒体生成的系统和方法
US9733790B2 (en) * 2014-10-30 2017-08-15 Disney Enterprises, Inc. Haptic interface for population of a three-dimensional virtual environment
JP2016091348A (ja) * 2014-11-06 2016-05-23 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US20160140761A1 (en) 2014-11-19 2016-05-19 Microsoft Technology Licensing, Llc. Using depth information for drawing in augmented reality scenes
US9728010B2 (en) * 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
US9846968B2 (en) * 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
IL293029B2 (en) 2015-03-16 2023-06-01 Magic Leap Inc Augmented reality signal oximeter
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US10147218B2 (en) * 2016-09-29 2018-12-04 Sony Interactive Entertainment America, LLC System to identify and use markers for motion capture
AU2017375951B2 (en) 2016-12-13 2022-02-10 Magic Leap, Inc. 3D object rendering using detected features

Also Published As

Publication number Publication date
IL267117B (en) 2022-05-01
JP7038713B2 (ja) 2022-03-18
US20210350623A1 (en) 2021-11-11
CN110291565A (zh) 2019-09-27
US11461982B2 (en) 2022-10-04
JP2023159118A (ja) 2023-10-31
IL267117A (en) 2019-08-29
US10922887B2 (en) 2021-02-16
JP2020513590A (ja) 2020-05-14
AU2017375951B2 (en) 2022-02-10
JP2022088420A (ja) 2022-06-14
CA3046399A1 (en) 2018-06-21
KR102497707B1 (ko) 2023-02-08
KR20230022453A (ko) 2023-02-15
EP3555865A1 (en) 2019-10-23
CN116778120A (zh) 2023-09-19
US20180182173A1 (en) 2018-06-28
EP3555865A4 (en) 2020-07-08
KR20190095334A (ko) 2019-08-14
AU2017375951A1 (en) 2019-06-20
WO2018111895A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
CN110291565B (zh) 增强现实显示系统
US11391951B2 (en) Dual depth exit pupil expander
US10649218B2 (en) Beam angle sensor in virtual/augmented reality system
IL274976B1 (en) Improved positioning for a display device
CN110651216A (zh) 低轮廓分束器
US20230258928A1 (en) Multi-depth exit pupil expander
NZ795513A (en) 3D object rendering using detected features
US20240069347A1 (en) System and method using eye tracking illumination
US20240094809A1 (en) Eye tracking system with in- plane illumination
US20230314716A1 (en) Emission of particular wavelength bands utilizing directed wavelength emission components in a display system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant