CN113728267A - 使用由光发射器阵列形成的多个瞳孔内视差视图来提供可变适应提示的显示系统和方法 - Google Patents

使用由光发射器阵列形成的多个瞳孔内视差视图来提供可变适应提示的显示系统和方法 Download PDF

Info

Publication number
CN113728267A
CN113728267A CN202080031443.0A CN202080031443A CN113728267A CN 113728267 A CN113728267 A CN 113728267A CN 202080031443 A CN202080031443 A CN 202080031443A CN 113728267 A CN113728267 A CN 113728267A
Authority
CN
China
Prior art keywords
light
image
display system
pupil
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080031443.0A
Other languages
English (en)
Inventor
M·A·克鲁格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN113728267A publication Critical patent/CN113728267A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/02—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the intensity of light
    • G02B26/023—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the intensity of light comprising movable attenuating elements, e.g. neutral density filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B25/00—Eyepieces; Magnifying glasses
    • G02B25/001—Eyepieces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/102—Beam splitting or combining systems for splitting or combining different wavelengths for generating a colour image from monochromatic image signal sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/149—Beam splitting or combining systems operating by reflection only using crossed beamsplitting surfaces, e.g. cross-dichroic cubes or X-cubes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/30—Collimators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0075—Arrangements of multiple light guides
    • G02B6/0076—Stacked arrangements of multiple light guides of the same or different cross-sectional area
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G02B2027/0114—Head-up displays characterised by optical features comprising device for genereting colour display comprising dichroic elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels

Abstract

显示系统被配置为将多个视差差异的瞳孔内图像引导到观看者的眼睛。视差差异的瞳孔内图像提供虚拟对象的不同视差视图，并从不同角度照射在瞳孔上。总的来说，形成图像的光的波前近似于连续发散波前，并根据瞳孔内图像之间的视差差异量为用户提供可选择的适应提示。可以使用选择性地调节图像光进入眼睛的快门阵列来选择视差差异量。阵列中的每个打开的快门提供不同的瞳孔内图像，并且打开的快门的位置提供图像之间所需的视差差异量。在一些其他实施例中，图像可以由发射式微显示器形成。由微显示器形成的每个像素可以由一组光发射器中的一个形成，这些光发射器位于不同的位置，使得发射的光通过不同的路径到达眼睛，不同的路径提供不同的视差差异量。

Description

使用由光发射器阵列形成的多个瞳孔内视差视图来提供可变 适应提示的显示系统和方法
优先权声明
本申请要求以下申请的优先权：2019年2月28日提交的美国临时申请No.62/812,142；以及2019年3月7日提交的美国临时申请No.62/815,225，这些申请通过引用并入本文。
相关申请的交叉引用
本申请通过引用并入以下专利申请和专利公开中的每一个的全部内容：2018年4月26日公开的美国申请公开No.2018/0113311；2014年11月27日提交的美国申请No.14/555,585；2015年4月18日提交的美国申请No.14/690,401；2014年3月14日提交的美国申请No.14/212,961；2014年7月14日提交的美国申请No.14/331,218；2016年3月16日提交的美国申请No.15/072,290；以及2016年11月10日公开的WO 2016/179246；以及2019年2月1日提交的美国临时申请No.62/800363。
技术领域
本公开涉及光学设备，包括增强现实和虚拟现实成像和可视化系统。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中数字再现的图像或其部分以其看起来是真实的或者可被感知为真实的方式呈现给用户。虚拟现实(或者“VR”)场景通常涉及数字或虚拟图像信息的呈现，而对于其他实际的真实世界的视觉输入不透明；增强现实(或者“AR”)场景通常涉及数字或虚拟图像信息的呈现作为对用户周围的实际世界的可视化的增强。混合现实(或者“MR”)场景是一种AR场景并且通常涉及集成到自然世界中并响应于自然世界的虚拟对象。例如，在MR场景中，AR图像内容可以被真实世界中的对象阻挡或者被感知为与对象交互。
参考图1，示出了增强场景10，其中AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台30为特征的真实世界公园状设置20。除了这些项目之外，AR技术的用户同样感知到他“看到”诸如站在真实世界平台30上的机器人雕像40以及飞过的卡通式化身角色50的“虚拟内容”，该化身角色看起来是大黄蜂的化身，即使这些元素40、50在真实世界中不存在。因为人类的视觉感知系统是复杂的，因此产生有助于连同其他虚拟或真实世界的图像元素一起的虚拟图像元素的舒适、自然、丰富呈现的AR技术是具有挑战性的。
本文公开的系统和方法解决了与AR和VR技术相关的各种挑战。
发明内容
在一些实施例中，提供了一种头戴式显示系统。该显示系统包括图像投影系统，该图像投影系统包括：微显示器，其被配置为输出定义图像的图像光；以及投影光学器件，其被配置为引导来自微显示器的图像光传播到观看者的眼睛。显示系统还包括选择性激活的快门阵列，用于选择性地将图像光从不同位置传输到眼睛。选择性激活的快门阵列被设置在投影光学器件的适眼区体积内。
在一些其他实施例中，提供了一种用于显示图像内容的方法。该方法包括将虚拟对象的一组视差差异的瞳孔内图像从头戴式显示系统注入到观看者的眼睛。瞳孔内图像中的每个图像通过以下方式被提供：在头戴式显示系统的微显示器上形成图像；通过投影光学器件从微显示器输出图像光；以及打开快门阵列中的快门以通过打开的快门将图像光传播到眼睛。快门阵列被设置在投影光学器件的适眼区体积内。该组视差差异的瞳孔内图像的不同图像通过不同的打开快门来传播。
在又一其他实施例中，提供了一种头戴式显示系统。该显示系统包括微显示器，该微显示器包括光发射器组的阵列；覆盖光发射器的光准直器阵列；以及投影光学器件。每个光准直器与光发射器组中的一个相关联并且延伸跨越相关联的光发射器组中的所有光发射器。光准直器阵列位于光发射器与投影光学器件之间。显示系统被配置为通过将对象的一组视差差异的瞳孔内图像注入到观看者的眼睛来在深度平面上显示虚拟对象。
在一些其他实施例中，提供了一种用于显示图像内容的方法。该方法包括将一组视差差异的瞳孔内图像从头戴式显示系统注入到观看者的眼睛。注入一组视差差异的瞳孔内图像包括：提供光发射器组的阵列；提供覆盖光发射器的光准直器阵列，其中每个光准直器与光发射器组相关联；提供投影光学器件，其中光准直器阵列位于光发射器组的阵列与投影光学器件之间，通过从光发射器组中的第一光发射器发射光，将第一视差差异的瞳孔内图像注入到眼睛；并且通过从光发射器组中的第二光发射器发射光，将第二视差差异的瞳孔内图像注入到眼睛。
此外，本公开中描述的主题的各种创新方面可以在以下示例中实现：
示例1.一种头戴式显示系统，包括：
图像投影系统，其包括：
微显示器，其被配置为输出定义图像的图像光；以及
投影光学器件，其被配置为引导来自所述微显示器的所述图像光传播到观看者的眼睛；以及
选择性激活的快门阵列，用于将所述图像光从不同位置选择性地传输到所述眼睛，其中，所述选择性激活的快门阵列被设置在所述投影光学器件的适眼区体积内。
示例2.根据示例1所述的显示系统，还包括控制系统，所述控制系统包括一个或多个处理器和存储指令的存储器，所述指令在由所述一个或多个处理器执行时，使所述显示系统执行包括以下的操作：
确定虚拟对象的期望深度平面；
基于所述期望深度平面，确定所述选择性激活的快门阵列中的要被打开的快门；
通过所述图像投影系统，将不同图像的呈现与所述快门中的不同快门的打开同步，其中，所述不同图像提供所述虚拟对象的不同视图。
示例3.根据示例1或2中任一个示例所述的显示系统，其中，所述快门是可移动的物理结构。
示例4.根据示例3所述的显示系统，其中，所述物理结构是基于微电子机械系统的微机械结构。
示例5.根据示例3所述的显示系统，其中，所述快门是铁电快门。
示例6.根据示例1或2中任一个示例所述的显示系统，其中，所述快门包括具有可逆变化的状态的化学物质，所述状态提供不同的光传输量。
示例7.根据示例6所述的显示系统，其中，所述化学物质包括液晶，其中，所述快门由像素化液晶显示器中的像素构成。
示例8.根据示例1至7中任一个示例所述的显示系统，其中，所述微显示器是包括光发射器的阵列的发射式微显示器。
示例9.根据示例8所述的显示系统，其中，所述光发射器是微LED。
示例10.根据示例1至9中任一个示例所述的显示系统，还包括在所述光发射器与所述投影光学器件之间的光准直器的阵列。
示例11.根据示例10所述的显示系统，其中，所述光准直器的阵列中的每个光准直器延伸跨越多个所述光发射器，其中，每个光准直器对应于由所述图像投影系统所输出的图像中的像素。
示例12.根据示例1至11中任一个示例所述的显示系统，其中，所述微显示器是形成所述投影系统的多个单色微显示器中的一个，其中，每个所述单色微显示器被配置为发射不同的分量颜色的光。
示例13.根据示例12所述的显示系统，还包括X立方棱镜，其中，每个所述单色微显示器被布置为将图像光输出到X立方棱镜的不同面中。
示例14.根据示例1至13中任一个示例所述的显示系统，还包括光瞳中继组合器目镜，其被配置为将所述图像光中继到所述观看者的眼睛，其中，所述选择性激活的快门阵列被配置为调节所述图像光到所述光瞳中继组合器目镜的传播。
示例15.根据示例14所述的显示系统，其中，所述光瞳中继组合器目镜包括波导，所述波导包括：
用于将所述图像光入耦合到所述波导中的入耦合光学元件；以及
用于将入耦合的图像光出耦合出所述波导的出耦合光学元件。
示例16.根据示例15所述的显示系统，其中，所述波导是包括入耦合光学元件和出耦合光学元件的多个波导中的一个波导。
示例17.根据示例1至16中任一个示例所述的显示系统，其中，所述投影系统的光瞳直径为0.2至0.5mm。
示例18.一种用于显示图像内容的方法，所述方法包括：
将虚拟对象的一组视差差异的瞳孔内图像从头戴式显示系统注入到观看者的眼睛，
其中，所述瞳孔内图像中的每个图像通过以下来提供：
在所述头戴式显示系统的微显示器上形成所述图像；
通过投影光学器件输出来自所述微显示器的图像光；以及
打开快门阵列中的快门以将图像光通过被打开的快门传播到所述眼睛，其中，所述快门阵列被设置在所述投影光学器件的适眼区体积内，
其中，所述一组视差差异的瞳孔内图像中的不同图像通过不同的被打开的快门来传播。
示例19.根据示例18所述的方法，其中，在闪光融合阈值内将所述一组视差差异的瞳孔内图像中的所有图像注入到所述眼睛。
示例20.根据示例18所述的方法，其中，所述闪光融合阈值为1/60秒。
示例21.根据示例18至20中任一个示例所述的方法，还包括：
确定要被显示给所述观看者的所述虚拟对象的期望深度平面；
基于所述期望深度平面，确定所述选择性激活的快门阵列中的要被打开的快门；以及
使所述一组视差差异的瞳孔内图像中的不同图像的呈现与所述快门中的不同快门的打开同步。
示例22.根据示例18至21中任一个示例所述的方法，还包括：
使用眼睛跟踪传感器来确定所述眼睛的凝视；以及
基于所确定的眼睛的凝视来选择所述瞳孔内图像的内容。
示例23.根据示例18至22中任一个示例所述的方法，其中，所述微显示器是发射式微显示器。
示例24.根据示例18至23中任一个示例所述的方法，其中，所述快门阵列包括可选择性移动的物理结构。
示例25.根据示例18至23中任一个示例所述的方法，其中，所述快门阵列包括具有可逆变化的状态的化学物质，所述状态提供不同的光传输量。
示例26.根据示例18至25中任一个示例所述的方法，其中，所述不同图像提供所述虚拟对象的不同视图。
示例27.一种头戴式显示系统，包括：
微显示器，其包括光发射器组的阵列；
覆盖所述光发射器的光准直器阵列，其中，每个光准直器与所述光发射器组中的一个光发射器组相关联并且延伸跨越相关联的光发射器组中的所有光发射器
投影光学器件，其中，所述光准直器阵列位于所述光发射器与所述投影光学器件之间，
其中，所述显示系统被配置为通过将对象的一组视差差异的瞳孔内图像注入到观看者的眼睛来在深度平面上显示虚拟对象。
示例28.根据示例27所述的显示系统，还包括一个或多个处理器和存储指令的存储器，所述指令在由所述一个或多个处理器执行时，使所述显示系统执行包括以下的操作：
基于由光发射器形成的图像的视差差异的期望水平，确定每个光发射器组中的要激活的光发射器；
激活所述光发射器组中的第一光发射器以形成第一视差差异的瞳孔内图像；以及
激活所述光发射器组中的第二光发射器以形成第二视差差异的瞳孔内图像，
其中，所述第一视差差异的瞳孔内图像和所述第二视差差异的瞳孔内图像提供所述虚拟对象的不同视图。
示例29.根据示例27所述的显示系统，其中，激活所述光发射器组中的所述第一光发射器与激活所述光发射器组中的所述第二光发射器在时间上重叠，以将所述第一视差差异的瞳孔内图像和所述第二视差差异的瞳孔内图像同时注入到所述眼睛。
示例30.根据示例27至29中任一个示例所述的显示系统，其中，所述光准直器是小透镜。
示例31.根据示例27至30中任一个示例所述的显示系统，还包括用于将图像光选择性地从不同位置传输到所述眼睛的选择性激活的快门阵列，其中，所述选择性激活的快门阵列被设置在所述投影光学器件的适眼区体积内。
示例32.根据示例31所述的显示系统，其中，所述快门阵列包括可选择性移动的物理结构。
示例33.根据示例31所述的显示系统，其中，所述快门阵列包括具有可逆变化的状态的化学物质，所述状态提供不同的光传输量。
示例34.根据示例31至33中任一个示例所述的显示系统，还包括一个或多个处理器和存储指令的存储器，所述指令在由所述一个或多个处理器执行时，使所述显示系统执行包括以下的操作：
确定虚拟对象的期望深度平面；
基于所述期望深度平面，确定所述选择性激活的快门阵列中的要打开的快门；
通过所述图像投影系统将不同图像的呈现与所述快门中的不同快门的打开同步，其中，所述不同图像提供所述虚拟对象的不同视图。
示例35.根据示例27至34中任一个示例所述的显示系统，其中，所述光准直器是双凸小透镜，所述双凸小透镜被配置为将不同的光束从相关联的光发射器组中的光发射器沿着第一轴提供到不同位置，
其中，所述快门阵列被布置成沿着与所述第一轴正交的第二轴形成子光瞳。
示例36.根据示例27至35中任一个示例所述的显示系统，其中，所述微显示器是发射式微显示器，其中，所述光发射器是微LED。
示例37.根据示例27至36中任一个示例所述的显示系统，其中，所述微显示器是多个单色微显示器中的一个，其中，每个所述单色微显示器被配置为发射不同的分量颜色的光。
示例38.根据示例37所述的显示系统，还包括X立方棱镜，其中，每个所述单色微显示器被布置成将图像光输出到所述X立方棱镜的不同面。
示例39.根据示例27至38中任一个示例所述的显示系统，还包括光瞳中继组合器目镜，其被配置为将所述图像光中继到所述观看者的眼睛，其中，所述选择性激活的快门阵列被配置为调节所述图像光到所述光瞳中继组合器目镜的传播。
示例40.根据示例39所述的显示系统，其中，所述光瞳中继组合器目镜包括波导，所述波导包括：
用于将所述图像光入耦合到所述波导的入耦合光学元件；以及
用于将入耦合的图像光出耦合出所述波导的出耦合光学元件。
示例41.根据示例40所述的显示系统，其中，所述波导是包括入耦合光学元件和出耦合光学元件的多个波导中的一个波导。
示例42.一种用于显示图像内容的方法，所述方法包括：
将一组视差差异的瞳孔内图像从头戴式显示系统注入到观看者的眼睛，
其中，注入一组视差差异的瞳孔内图像包括：
提供光发射器组的阵列；
提供覆盖所述光发射器的光准直器阵列，其中，每个光准直器与光发射器组相关联；
提供投影光学器件，其中，所述光准直器阵列位于所述光发射器组的阵列与所述投影光学器件之间，
通过从所述光发射器组中的第一光发射器发射光，将第一视差差异的瞳孔内图像注入到所述眼睛；以及
通过从所述光发射器组中的第二光发射器发射光，将第二视差差异的瞳孔内图像注入到所述眼睛。
示例43.根据示例42所述的方法，其中，所述一组视差差异的瞳孔内图像中的每个图像以不同的角度被注入到所述眼睛，并且所述一组视差差异的瞳孔内图像中的所有图像在闪光融合阈值内被注入到所述眼睛。
示例44.根据示例43所述的方法，其中，所述闪光融合阈值为1/60秒。
示例45.根据示例42至43中任一个示例所述的方法，其中，不同图像提供虚拟对象的不同视图。
示例46.根据示例42至45中任一个示例所述的方法，其中，注入所述第一视差差异的瞳孔内图像和注入所述第二视差差异的瞳孔内图像被同时执行。
示例47.根据示例42至46中任一个示例所述的方法，还包括提供选择性激活的快门阵列，用于将图像光选择性地从不同位置传输到所述眼睛，其中，所述选择性激活的快门阵列被设置在所述投影光学器件的适眼区体积内。
示例48.根据示例42至47中任一个示例所述的方法，其中，所述光准直器是双凸小透镜，所述双凸小透镜被配置为将不同光束从相关联的光发射器组中的光发射器沿着第一轴提供到不同位置，其中，所述快门阵列被布置为沿着与所述第一轴正交的第二轴形成子光瞳。
示例49.根据示例47至48中任一个示例所述的方法，还包括空间复用由所述光发射器组中的不同光发射器所形成的多个图像，以沿着所述第一轴定位显示子光瞳，以及通过将所述快门的打开与对应光发射器的激活同步来在时间上复用多个图像。
示例50.根据示例47至49中任一个示例所述的方法，其中，所述快门阵列包括可选择性移动的物理结构。
示例51.根据示例47至49中任一个示例所述的方法，其中，所述快门阵列包括具有可逆变化的状态的化学物质，所述状态提供不同的光传输量。
示例52.根据示例42至51中任一个示例所述的方法，其中，注入所述第一视差差异的瞳孔内图像和注入所述第二视差差异的瞳孔内图像包括通过光瞳中继组合器目镜将光从所述光发射器路由到所述眼睛。
示例53.根据示例52所述的方法，其中，所述光瞳中继组合器目镜包括波导，所述波导包括：
用于将图像光入耦合到所述波导中的入耦合光学元件；以及
用于将入耦合的图像光出耦合出所述波导的出耦合光学元件。
示例54.根据示例42至53中任一个示例所述的方法，还包括将第二组视差差异的瞳孔内图像从所述头戴式显示系统注入到观看者的第二只眼睛。
附图说明
图1示出了用户通过AR设备对增强现实(AR)的视图。
图2示出了用于为用户模拟三维图像的传统方案。
图3示出了使用多个深度平面模拟三维图像的方法的方面。
图4A至4C示出了波前曲率与焦距之间的关系。
图5示出了用于将图像信息输出给用户的波导堆叠的示例。
图6A示出了眼睛对连续输入波前的预适应(accommodation)和后适应状态。
图6B示出了眼睛对连续输入波前的分段近似(approximate)的预适应和后适应状态。
图7A示出了对于从投影系统提供的有限焦距虚拟图像发出的发散波前的眼睛适应。
图7B示出了利用由无限远聚焦虚拟图像形成的波前分段来形成图7A的发散波前的近似的系统。
图8示出了形成图7B的发散波前近似的视差视图的示例。
图9示出了包括用于形成图7B和图8的发散波前近似的投影系统的显示系统的示例。
图10A至图10C示出了用于提供不同视差视图的快门阵列的示例。
图11示出了图9的投影系统的示例，其在与图9所示的时间不同的时间提供不同的视差差异的瞳孔内图像。
图12示出了图9和图11的投影系统的示例，其中在发射式微显示器与投影光学器件之间具有光准直器阵列。
图13示出了包括用于形成图7B和图8的发散波前近似的投影系统的显示系统的另一个示例。
图14示出了具有用于形成不同的视差差异的瞳孔内图像的快门阵列和光准直器阵列的投影系统的示例。
图15示出了由根据各种实施例的投影系统提供的深度平面的范围的示例。
图16A示出了包括投影系统的显示系统的示例，该投影系统包括快门阵列和用于在用户的世界视图上叠加图像内容的光瞳中继组合器目镜。
图16B示出了包括投影系统的显示系统的示例，该投影系统包括用于提供不同的瞳孔内图像的光准直器阵列和用于在用户的世界视图上叠加图像内容的光瞳中继组合器目镜。
图17A示出了包括投影系统的显示系统的另一个示例，该投影系统包括快门阵列和用于在用户的世界视图上叠加图像内容的光瞳中继组合器目镜。
图17B示出了显示系统的另一个示例，该显示系统包括投影系统，该投影系统包括用于提供不同的瞳孔内图像的光准直器阵列和用于在用户的世界视图上叠加图像内容的光瞳中继组合器目镜。
图18示出了包括眼睛跟踪系统和具有光瞳扩展器的组合器目镜的显示系统的示例。
图19示出了包括眼睛跟踪系统和具有被配置为产生非无限远深度平面的光瞳扩展器的光瞳中继组合器目镜的显示系统的示例。
图20A至20B示出了具有多个微显示器的投影系统的示例。
图21示出了包括堆叠波导组件的目镜的示例，该堆叠波导组件用于输出具有与不同分量颜色对应的不同波长的光。
图22示出了可穿戴显示系统的示例。
具体实施方式
通过向观看者的左眼和右眼中的每一者提供略微不同的图像呈现，人类视觉系统可以将由显示器呈现的图像感知为“三维的”。依赖于呈现给每只眼睛的图像，观看者将图像中的“虚拟”对象感知为处于离观看者(在此也称为“用户”)的选定距离处(例如，在某个“深度平面”处)。然而，简单地向左眼和右眼提供图像的不同呈现可能引起观看者的不适。如本文进一步讨论的，可以通过使眼睛适应图像来增加观看舒适度，就像眼睛适应放置虚拟对象的深度平面处的真实对象一样。
关于给定深度平面处的虚拟对象的正确的适应可以通过使用具有波前发散度的光向眼睛呈现图像来引出(elicit)，该波前发散度与来自该深度平面上的真实对象的光的波前发散度相匹配。一些显示系统使用具有不同光焦度(optical power)的不同结构来提供适当的波前发散度。例如，一个结构可以提供特定量的波前发散度(以将虚拟对象放置在一个深度平面上)，而另一结构可以提供不同量的波前发散度(以将虚拟对象放置在不同的深度平面上)。因此，在这些显示系统中，物理结构和深度平面之间可能存在一一对应关系。由于每个深度平面需要单独的结构，因此这种显示系统可能体积庞大和/或笨重，这对于诸如便携式头戴式显示器的某些应用而言是不期望的。另外，由于对可以利用的具有不同光焦度的结构的数量的实际限制，因此这种显示系统在从眼睛引出的不同适应性响应的数量上是有限的。
已经发现，可以通过将被引导的视差差异的瞳孔内图像注入到眼睛中来近似连续波前，例如，连续发散波前。例如，显示系统可以提供适应性响应的范围，无需适应性响应与显示器中的光学结构之间存在一一对应。通过将视差差异的瞳孔内图像注入到眼睛中，显示系统可以输出具有选定量的感知波前发散度的光，该选定量的感知波前发散度对应于所需深度平面。这些图像可以被称为“视差差异”的瞳孔内图像，因为每个图像可以被视为在给定的深度平面上的相同虚拟对象或场景的不同视差视图。这些是“瞳孔内”图像，因为具有视差差异的图像的组被投影到单只眼睛的瞳孔中，例如观看者的右眼或左眼。尽管图像可能具有一些重叠，但是形成这些图像的光束将具有至少一些没有重叠的区域，并且将从略微不同的角度入射到瞳孔上。在一些实施例中，观看者的另一只眼睛(例如，左眼)可以被提供其自己的视差差异的瞳孔内图像的组。投影到每只眼睛中的视差差异的瞳孔内图像的组可能略有不同，例如，由于每只眼睛提供的视角略微不同，因此图像可能显示同一场景的多个略微不同的视图。
形成具有不同视图的每个瞳孔内图像的光的波前，在投影到眼睛瞳孔中时，总体上可以近似于连续的发散波前。可以通过改变瞳孔内图像之间的视差差异量来改变该近似波前的感知发散度量，视差差异的变化改变了由形成瞳孔内图像的光的波前所跨越的角度范围。优选地，该角度范围模拟正在被近似的连续波前所跨越的角度范围。在一些实施例中，形成各个瞳孔内图像的光的波前是准直的或半准直的，如在此讨论的。在2018年4月26日公开的美国申请公开No.2018/0113311中公开了用于提供瞳孔内图像的系统的示例。该申请中公开的一些实施例利用光发射器来照射空间光调制器，该空间光调制器利用图像信息对来自光发射器的光进行编码；可以提供多个光发射器，并且可以在不同位置使用光发射器形成不同的瞳孔内图像，以提供图像之间所需的视差差异量。
优选地，用于近似特定连续波前的一组瞳孔内图像被足够快地注入到眼睛，以使得人类视觉系统不会检测到图像是在不同的时间被提供给眼睛。在不受理论限制的情况下，术语“闪光融合阈值”可以用于表示呈现给人眼的图像被感知为同时存在的持续时间；也就是说，视觉系统可以将在闪光融合阈值内形成在视网膜上的图像感知为同时存在。在一些实施例中，近似连续波前可以包括将一组瞳孔内图像中的每个图像的光束顺序地注入到眼睛，注入所有光束的总持续时间小于闪光融合阈值。应当理解，在大于闪光融合阈值的持续时间内呈现该组图像可能导致人类视觉系统将至少一些图像感知为被单独注入到眼睛。例如，闪光融合阈值可以是大约1/60秒。因此，每组瞳孔内图像可以由特定数量的视差视图组成，例如，两个或更多个视图、三个或更多个视图、四个或更多个视图等，并且优选地，所有这些视图都在闪光融合阈值内被提供给眼睛。
在闪光融合阈值内提供所有期望的视图对一些显示技术提出了挑战，例如使用空间光调制器的那些技术，其中物理元件被移动以调制输出光的强度。物理地移动这些元件的需要可能会限制相应像素改变状态的速度，并且还会限制使用这些光学元件的显示器的帧速率。此外，空间光调制器可能需要单独的光源，这会不利地增加显示系统的复杂性、尺寸和重量，并且可能潜在地限制所显示图像的亮度。
在一些实施例中，显示系统包括发射式微显示器，其有利地可以以异常高的速率提供不同的瞳孔内图像。此外，显示系统可以包括快门阵列。快门阵列中的快门可以相应选择性地被打开或被激活以允许光传输，从而允许光从不同位置传播到视网膜。发射式微显示器发射形成瞳孔内图像的图像光，并且图像光传播到快门阵列。快门中位于不同位置的不同快门可以选择性地打开(使图像光传输)从而允许图像光从那些不同位置进一步传播到观看者的眼睛。可以通过改变快门被打开的位置来改变瞳孔内图像之间的视差差异量。因此，打开的快门位置的空间差异可以转换为光线进入眼睛的路径差异。不同的路径可以对应于不同的视差差异量。在一些实施例中，光准直器阵列可以靠近发射式微显示器设置。例如，发射式微显示器中的每个像素可以具有相关联的光准直器。光准直器使由发射式微显示器所发射的光的角发射轮廓(angular emission profile)变窄，从而不会增加最终到达观看者眼睛的发射光的量。
应当理解，由发射式微显示器形成的图像可以与快门阵列中被打开的快门在时间上同步。例如，与一个瞳孔内图像对应的一个快门(或多个相邻或连续快门)的打开可以与微显示器中的像素的激活同步或同时。一旦在第二瞳孔内图像所需的位置处的另一个快门被打开，微显示器就可以发光以形成该第二瞳孔内图像。附加的瞳孔内图像可以通过与不同位置的快门的打开同步来形成。这种将瞳孔内图像基于时间的顺序注入到眼睛可以被称为瞳孔内图像的时间复用或时间复用显示。因此，在一些实施例中，微显示器对瞳孔内图像的呈现可以在时间上复用，使得不同的视差视图可以由发射式微显示器在不同时间进行提供，并且与提供所需视差差异的不同快门的打开同步。
优选地，发射式微显示器是微LED显示器，其提供高亮度和高像素密度的优点。在一些其他实施例中，微显示器是微OLED显示器。
在一些实施例中，发射式微显示器包括具有例如小于10μm、小于8μm、小于6μm、小于5μm或小于2μm的间距的光发射器阵列，包括1至5μm、1至4μm或1至2μm；发射器尺寸为2μm或更小、1.7μm或更小、或1.3μm或更小。在一些实施例中，发射器尺寸在具有上述尺寸的上限和1μm的下限的范围内。发射器尺寸与间距之比的示例包括1:1到1:5、1:2到1:4、或1:2到1:3。
在一些实施例中，显示系统可以结合光准直器阵列利用发射式微显示器以提供不同的视差差异量。准直器阵列可以被配置为沿着与不同的视差差异量对应的不同路径引导由微显示器发射的光。例如，准直器阵列可以靠近发射式微显示器或直接定位在发射式微显示器上。在一些实施例中，光准直器是小透镜。准直器阵列中的每个准直器可以包括相关联的子像素组，每个子像素相对于准直器被设置在不同的位置。结果，来自子像素组中的不同子像素的光与准直器不同地相互作用(interface)，并且由准直器沿着略微不同的路径进行引导。这些不同的路径可以对应于不同的视差差异量。因此，每个准直器可以对应于瞳孔内图像的不同像素，并且每个子像素可以为该像素提供不同的光路，以使得可以通过适当激活形成两个或多个像素的子像素来选择这些像素之间的视差差异。在一些实施例中，有利地，不同的瞳孔内图像可以同时形成并提供给眼睛，视差差异由形成图像的子像素的位置来确定，并且准直器阵列引导来自那些子像素的光的传播。
如上所述，来自不同子像素的光将通过不同的路径到达投影光学器件并因此到达观看者的眼睛。因此，激活(active)子像素的横向和/或垂直位移被转换为离开光准直器阵列并最终通过投影光学器件向观看者的瞳孔传播的光中的角位移(angulardisplacement)。在一些实施例中，用于形成不同图像的激活子像素之间的横向位移的增加可以被理解为转换为相对于微显示器测量的角位移的增加。在一些实施例中，用于近似特定波前的每个瞳孔内图像可以通过输出来自不同子像素的光来形成，从而提供形成每个图像的光束之间的角位移。
在一些实施例中，显示系统，无论是使用准直器阵列还是快门阵列，都可以包括用于将光注入到眼睛的投影光学器件。发射式微显示器可以被配置为输出编码有图像信息的光以形成瞳孔内图像。光随后照射在投影光学器件上并传播通过投影光学器件，并最终到达观看者的眼睛。
在一些实施例中，显示系统可以包括组合器目镜，其允许虚拟图像内容与观看者的世界视图或周围环境覆盖。例如，组合器目镜可以是允许观看者看到世界的光透射式波导。此外，波导可以用于接收、引导形成瞳孔内图像的光，并最终将该光输出到观看者的眼睛。因为波导可以位于观看者与世界之间，所以由波导输出的光可以被感知为形成位于世界中不同深度平面上的虚拟图像。本质上，组合器目镜允许观看者接收来自显示系统的光和来自世界的光的组合。
在一些实施例中，显示系统还可以包括眼睛跟踪系统以检测观看者的注视方向。这种眼睛跟踪系统允许基于观看者正在看的位置来选择适当的内容并且显示。
优选地，显示系统具有足够小的出射光瞳，其中由形成各个瞳孔内图像的光提供的景深基本上是无限远的，并且视觉系统以“开环(open-loop)”模式操作，在这种模式下，眼睛不能适应单独的瞳孔内图像。在一些实施例中，形成各个图像的光束在入射到眼睛上时占据宽度或直径小于约0.5mm的区域。然而，应当理解，形成瞳孔内图像的组的光束至少部分地不重叠并且光束的集合优选地限定大于0.5mm的区域，以向眼睛的晶状体提供足够的信息，以基于由形成瞳孔内图像的光的波前形成的波前近似来引起期望的适应性响应。
不受理论的限制，可以认为由光束的组限定的区域模拟合成孔径，眼睛通过该合成孔径观看场景。应当理解，通过瞳孔前方的足够小的针孔观看场景提供了几乎无限远的景深。在针孔的小孔径的情况下，眼睛的晶状体未被提供足够的场景采样以辨别不同的焦深。随着针孔扩大，向眼睛的晶状体提供附加信息，并且自然光学现象允许感知到有限焦深。有利地，由光束的组限定的区域和对应的视差差异的瞳孔内图像的组可以大于产生无限远的景深的针孔，并且多个瞳孔内图像可以产生由上述扩大的针孔提供的效果的近似。
在此公开的一些实施例可以提供各种优点。例如，由于微显示器是发射式的，因此不需要外部照明，从而有助于减小投影系统的尺寸和重量。这些微显示器的小尺寸允许使用具有单独分量颜色(例如，红色、绿色、蓝色)微显示面板的单个投影仪，而不需要过大或过于复杂的投影仪。在一些实施例中，由于本文公开的各种微显示器的有利的小尺寸和重量，不同的投影仪可以用于不同的分量颜色。此外，与例如LCOS显示器的典型显示器相比，不需要偏振来提供具有图像信息的光。结果，可以避免与偏振相关联的光损失。此外，微显示器的相应光发射器具有高光学扩展率(etendue)，因此，来自每个像素的光自然地填充了大的超瞳孔(super-pupil)区域，这可以提供理想的大适眼区体积。在一些实施例中，发射式微显示器是微LED显示器，其可具有异常高的帧速率(例如，1kHz或更高的帧速率，包括1至2kHz)。此外，发射式微显示器可以具有非常小的像素间距(例如，1至4μm，包括2至4μm或1至2μm)和高像素密度，这可以提供理想的高图像分辨率。
现在将参考附图，其中相同的附图标记始终指代相同的部件。
如本文所讨论的，可以通过向观看者的每只眼睛提供略微不同的图像呈现来实现将图像感知为“三维”或“3D”。图2示出了用于为用户模拟三维图像的传统方案。将两个不同图像190、200-用于每只眼睛210、220中的一个-输出给用户。图像190、200沿着与观看者的视线平行的光学轴或z轴与眼睛210、220隔开距离230。图像190、200是平坦的，并且眼睛210、220可以通过呈现单个适应状态而聚焦在图像上。这样的3D显示方案依赖于人类视觉系统来组合图像190、200以提供组合图像的深度感知和/或规模(scale)。
然而，应当理解，人类视觉系统更复杂并且提供对深度的真实感知更具挑战性。例如，常规的“3D”显示系统的许多观看者发现这样的系统不舒服或者根本不能感知到深度感。不受理论的限制，据信对象的观看者可能由于辐辏和适应的组合而将对象感知为“三维的”。两只眼睛相对于彼此的辐辏运动(即，眼睛的旋转，使得瞳孔向着彼此或远离彼此移动以会聚眼睛的视线来注视对象)与眼睛的晶状体和瞳孔的聚焦(或“适应”)紧密相关。在正常情况下，改变眼睛的晶状体从一个对象到位于不同距离处的另一对象时的聚焦(或使眼睛适应)，将会在被称为“适应-辐辏反射(accommodation-vergence reflex)”的关系下自动导致使辐辏到相同的距离的匹配变化。同样，在正常情况下，辐辏的变化将触发适应的匹配变化，晶状体形状和瞳孔尺寸也会发生变化。如本文所述，许多立体或“3D”显示系统使用略微不同的呈现(并且因此略微不同的图像)向每只眼睛显示场景，使得人类视觉系统感知到三维透视。然而，这样的系统对于许多观看者来说是不舒服的，因为除了其他的之外，这样的系统简单地提供场景的不同呈现，眼睛在单个适应状态下观看所有图像信息，甚至是不同深度处对象的图像信息。然而，这违反“适应-辐辏反射”工作。提供适应与辐辏之间的更好匹配的显示系统可以形成更逼真和更舒适的三维图像模拟，这可以方便用户长时间佩戴显示器。
图3示出了使用多个深度平面模拟三维图像的方法的方面。在z轴上距眼睛210、220的不同距离处的对象由眼睛210、220适应，以使得那些对象对焦(in focus)；也就是，眼睛210、220呈现特定的适应状态，以使沿着z轴的不同距离处的对象进入焦点。因此，可以说特定的适应状态与深度平面240中的特定一个深度平面相关联，该特定深度平面具有相关联的焦距，以使得当眼睛处于该深度平面的适应状态时，特定深度平面中的对象或对象的部分对焦。在一些实施例中，可以通过为眼睛210、220中的每一者提供图像的不同呈现来模拟三维图像，其中对于不同的深度平面，图像的呈现也不同。尽管为了清楚说明而示出为分离的，但应理解的是，例如，随着沿着z轴的距离增加，眼睛210、220的视场可以重叠。另外，虽然为了便于说明而示出为平坦的，但应理解的是，深度平面的外形可以在物理空间中是弯曲的，使得深度平面中的所有特征在特定的适应状态下与眼睛对焦。
对象和眼睛210或220之间的距离也可以改变来自该对象的光的发散量，如该眼睛所看到的。图4A-4C示出了距离和光线发散之间的关系。对象与眼睛210之间的距离由距离减小的顺序R1、R2和R3表示。如图4A-4C所示，随着到对象的距离减小，光线变得更发散。随着距离的增加，光线变得更加准直。换句话说，可以说由点(物体或物体的一部分)产生的光场具有球面波前曲率，其是该点离用户眼睛有多远的函数。随着对象与眼睛210之间的距离减小，曲率增加。因此，在不同的深度平面处，光线的发散度也不同，发散度随着深度平面与观看者眼睛210之间的距离的减小而增加。虽然为了清楚地说明在图4A-4C和本文的其他图中仅示出了单个眼睛210，但是应当理解，关于眼睛210的讨论可以应用于观看者的双眼210和220。
不受理论的限制，据信人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面对应的图像的不同呈现，可以实现感知深度的高度可信的模拟。不同的呈现可以由观看者的眼睛单独聚焦，从而有助于基于将场景中的不同图像特征聚焦所需的眼睛的适应向用户提供深度提示，其中不同的特征位于不同的深度平面上。这也可能导致其他深度平面上的其他图像特征出现失焦，从而为观看者提供额外的深度感。
因为每个深度平面具有相关联的波前发散度，因此为了显示看起来位于特定深度平面处的图像内容，一些显示器可以利用具有光焦度的波导来输出具有与该深度平面对应的波前发散度的光。可以利用具有不同光焦度的多个类似波导在多个深度平面上显示图像内容。例如，这种系统可以利用形成为堆叠的多个这样的波导。图5示出了用于向用户输出图像信息的波导堆叠的示例。显示系统250包括波导的堆叠260，该波导的堆叠260可用于使用多个波导270、280、290、300、310输出图像信息以向眼睛/大脑提供三维感知。图像注入设备360、370、380、390、400可用于将包含图像信息的光注入到波导270、280、290、300、310中。在一些实施例中，图像注入设备360、370、380、390、400可被理解为不同的光投影系统和/或一个或多个投影系统中的不同光瞳。波导270、280、290、300、310可以通过例如空气或其他低折射率材料与其他波导隔开，这有助于光通过各个波导进行全内反射。每个波导270、280、290、300、310可以包括提供光焦度的结构(例如，分别为光学光栅和/或透镜570、580、590、600、610)，使得每个波导输出具有预设波前发散度的量的光，该预设波前发散度的量对应于特定的深度平面。因此，每个波导270、280、290、300、310将图像内容放置在由该波导提供的波前发散度的量确定的相关联的深度平面上。
然而，应当理解，波导和深度平面之间的一一对应可能导致需要多个深度平面的系统中的庞大且笨重的设备。在这样的实施例中，多个深度平面将需要多个波导。另外，在需要彩色图像的情况下，甚至需要更大数量的波导，因为每个深度平面可以具有多个对应的波导，关于每种分量颜色(例如，红色、绿色或蓝色)需要一个波导以形成彩色图像。
有利地，在此的各种实施例可以提供更简单的显示系统，该系统通过使用形成瞳孔内图像(该图像呈现对象或场景的不同视差视图)的离散光束来近似期望的连续波前。此外，光投影系统利用发射式微显示器，相对于利用单独的空间光调制器和光源的投影系统，这可以减小显示系统的尺寸和重量。此外，一些实施例提供了异常高的帧速率，这可以为在给定持续时间内灵活提供所需数量的瞳孔内图像提供优势。
现在参考图6A，其中示出了在接收连续输入波前1000时眼睛210的预适应和后适应状态。图示a)示出了在视觉系统使波前1000聚焦在视网膜211上之前的预适应状态。值得注意的是，焦点212不在视网膜211上。例如，如图所示，焦点212可以在视网膜211的前方。图示b)示出了在人类视觉系统弯曲观看者眼睛210的瞳孔肌肉组织以使波前1000聚焦在视网膜211上之后的后适应状态。如图所示，焦点212可以在视网膜211上。
已经发现，诸如图6A的波前1000的连续波前可以使用多个波前来近似。图6B示出了在接收到图6A的连续波前1000的分段的近似时眼睛210的预适应和后适应状态。图6B的图示a)示出了预适应状态，以及图示b)示出了眼睛210的后适应状态。可以使用多个组分波前1010a、1010b和1010c形成近似，组分波前1010a、1010b和1010c中的每一个与单独的光束相关联。如本文所使用的，参考标号1010a、1010b和1010c可以指示光束和光束的关联波前。在一些实施例中，组分波前1010a和1010b可以是平面波前，例如由准直光束形成的平面波前。如图示b)所示，由组分波前1010a和1010b形成的波前近似1010通过眼睛210聚焦到视网膜211上，其中焦点212在视网膜211上。有利地，预适应和后适应状态类似于由图6A所示的连续波前1000引起的状态。
应当理解，可以使用光学投影系统来形成连续发散波前。如上所述，2018年4月26日公开的美国申请公开No.2018/0113311公开了使用光源来照射空间光调制器1018的系统的示例。图7A示出了眼睛适应发散波前，该发散波前源自投影系统提供的有限焦距虚拟图像。该系统包括空间光调制器1018和具有焦距“F”和外部光阑的投影光学器件1020。光源(未示出)向空间光调制器1018提供光，并且空间光调制器1018可以通过调制光来形成图像。包含图像信息的调制光可以通过投影光学器件1020引导到眼睛210。如图7A所示，可以选择微显示器2000和投影光学器件1020之间的间隔(小于F)，使得发散波前1000朝向眼睛210输出。如上文关于图6A所述，眼睛210然后可以将波前1000聚焦在视网膜211上。
图7B示出了利用由无限远聚焦的虚拟图像形成的波前分段来形成图7A的发散波前的近似的系统。如上所述，该系统包括空间光调制器1018和投影光学器件1020。如上所述，光源(未示出)向空间光调制器1018提供光，空间光调制器1018调制光以形成图像。空间光调制器1018可以形成相对于彼此移位的两个图像。空间光调制器1018放置在离投影光学器件1020(具有后焦距F)的后焦平面的距离F处。包含第一图像的图像信息的光束1010a通过投影光学器件1020传播到眼睛中。包含第二图像的图像信息的光束1010b采用不同的路径通过投影光学器件1020进入眼睛210。光束1010a和1010b沿着路径远离空间光调制器传播，通过投影光学器件1020并进入眼睛210，使得这些光束限定从一个光束到另一光束的角度范围，该角度范围与发散波前1000(图7A)的角度范围相匹配。应当理解，光束1010a和1010b之间的角度间隔随着近似的波前发散度的量的增加而增加。
现在参考图8，其中示出了形成图7B的发散波前近似的视差视图的示例。应当理解，光束1010a、1010b和1010c中的每一者从与空间中图像的不同放置对应的略微不同的视角形成相同对象或场景的一个视图的不同图像。如图所示，可以在不同的时间顺序地将图像注入到眼睛210中。或者，如果光学系统允许，可以同时注入图像，或者一组图像可以被同时注入，如本文所讨论的。在一些实施例中，将形成全部图像的光注入眼睛210的总持续时间小于观看者的闪光融合阈值。例如，闪光融合阈值可以是1/60秒，并且全部光束1010a、1010b和1010c在小于该闪光融合阈值的持续时间内被注入到眼睛210中。这样，人类视觉系统整合了全部这些图像，并且这些图像呈现给眼睛210的方式就像光束1010a、1010b和1010c同时被注入眼睛210一样。由此，光束1010a、1010b和1010c形成波前近似1010。
现在参考图9，示出了显示系统1001的示例，该显示系统1001包括用于形成图7B和图8的发散波前近似1010的投影系统1003。投影系统1003包括微显示器2000，该微显示器2000包括多个光发射器2002，其用作形成图像的像素。光发射器2002发射光2002a、2002b、2002c，这些光传播通过中继/投影光学器件1020，并由中继/投影光学器件1020输出。然后光继续通过快门阵列2004中打开的快门20061。打开的快门20061可以理解为形成快门孔径(shutter-aperture)子光瞳。此外，通过打开的快门20061传播的光可以被理解为光束1010a，其传播到眼睛210中以形成瞳孔内图像(参见例如图8中由光束1010a形成的图像)。优选地，快门阵列2004位于或接近眼睛210的瞳孔的平面。
应当理解，由投影光学器件1020接受的光的数值孔径由投影光学器件的焦距和直径确定。在一些实施例中，从投影光学器件1020出射的光形成光瞳，该光瞳可以在投影光学器件1020的出射孔径处。此外，传播通过并离开投影光学器件1020的光2002a、2002b、2002c继续沿不同方向传播，但也重叠以限定体积2003。体积2003是适眼区并且在一些实施例中可以是金字塔形。如上所述，适眼区包括来自微显示器2000的所有光发射器2002的贡献。优选地，当观看来自微显示器2000的图像时，投影光学器件光瞳的尺寸(例如，横向尺寸)和眼睛210所位于的适眼区的尺寸(例如，横向尺寸)与眼睛210的瞳孔的尺寸(例如，横向尺寸)一样大或更大。因此，优选地，形成在微显示器2000上的整个图像可以被眼睛210看到。此外，如本文所指出的，快门阵列2004优选地位于或靠近眼睛210的瞳孔平面，以便快门阵列2004也在适眼区体积2003内。
继续参考图9，如本文所述，微显示器2000可以包括光发射器阵列2002。光发射器的示例包括有机发光二极管(OLED)和微发光二极管(micro-LED)。应当理解，OLED利用有机材料发光，而微LED利用无机材料发光。
有利地，一些微LED提供比OLED更高的亮度和更高的效率(以勒克斯(lux)/W为单位)。在一些实施例中，微显示器优选地是微LED显示器。微LED可以利用无机材料，例如，诸如GaAs、GaN和/或GaIn的III-V族材料用于发光。GaN材料的示例包括InGaN，其在一些实施例中可用于形成蓝光或绿光发射器。GaIn材料的示例包括AlGaInP，其在一些实施例中可用于形成红光发射器。在一些实施例中，光发射器2002可以发射具有初始颜色的光，其可以使用磷光体材料或量子点被转换为其他期望的颜色。例如，光发射器20002可以发射激发磷光体材料或量子点的蓝光，该磷光体材料或量子点将蓝光波长的光转换成绿光或红光波长。
在一些实施例中，显示系统1001可以包括被配置为监视眼睛的注视的眼睛跟踪设备1022，例如相机。这种监视可用于确定观看者正在观看的方向，该监视可用于选择适合于该方向的图像内容。眼睛跟踪设备1022可以跟踪观看者的双眼，或者每只眼睛可以包括其自己的相关联的眼睛跟踪设备。在一些实施例中，可以跟踪观看者的双眼的辐辏，并且可以确定眼睛的注视的会聚点以确定眼睛指向的方向和距离。
继续参考图9，显示系统1001还可以包括控制系统1024，其用于确定由显示系统提供的图像内容的定时和类型。在一些实施例中，控制系统1024包括一个或多个硬件处理器，该硬件处理器具有存储用于控制显示系统1001的程序的存储器。例如，系统1024可以被配置为控制快门阵列2004中的各个快门的打开、微显示器2000的发射器2002的激活、和/或显示系统1001对从眼睛跟踪设备1022接收的数据的解释和反应。优选地，系统1024包括计算模块1024a，该计算模块1024a被配置为接收关于期望的深度平面或波前发散度的输入并且计算要打开的适当快门，以便形成具有用于所需深度平面或波前发散度的合适视差量的视差视图。另外，计算模块1024a可以被配置为确定微显示器2000的光发射器2002的适当驱动以形成具有期望的视差视图的图像。系统1024还可以包括同步模块1024b，其被配置为使快门阵列2004中的特定快门的激活与微显示器2000的光发射器2002的光发射同步，以形成提供期望视差视图的图像。另外，系统1024可以包括接收来自眼睛跟踪设备1022的输入的眼睛跟踪模块1024c。例如，眼睛跟踪设备1022可以是被配置为对眼睛210进行成像的相机。基于由眼睛跟踪设备1022捕获的图像，眼睛跟踪模块1024c可以被配置为确定瞳孔的取向并且推断眼睛210的视线。该信息可以被电子地传送到计算模块1024a。计算模块1024a可以被配置为基于眼睛210的视线或注视(并且优选地还基于观看者的另一只眼睛的视线或注视，例如基于观察者的眼睛的注视点)选择图像内容。
现在参考图10A，示出了快门2006的阵列2004的示例。所示视图是正面视图，如从来自微显示器2000的光照射在阵列2004上的方向所见。如图所示，阵列2004可以在二维上延伸并且可以包括快门2006的行和列。优选地，每个快门2006可以被单独激活或打开。打开的快门2006的位置可以对应于瞳孔内图像的期望位置。例如，图9中所示的快门阵列2004可以具有与图8中所示的光束1010a的位置对应的打开的快门2006a。
应当理解，阵列2004可以具有其他整体配置。例如，对于仅水平视差驱动的适应，阵列2004可以是快门2006的水平线，如图10A所示。在一些其他实施例中，对于仅垂直视差驱动的适应，阵列2004可以是快门2006的垂直线，如图10B所示。
虽然示出为正方形网格，但是快门2006可以以在打开不同的快门2006时提供视差差异的任何配置进行排列。例如，快门2006可以排列成六边形网格。此外，快门2006可以具有除正方形之外的形状。例如，快门2006可以具有六边形、圆形、三角形等。在一些实施例中，可以打开多个快门，这可以允许根据需要选择打开的尺寸和/或形状。
应当理解，这里讨论的快门是可以独立地制成传输(transmissive)光的结构。因此，打开的快门是被控制为传输光的快门，关闭的快门是被控制为阻挡光或不透明的快门。在一些实施例中，快门可以是物理结构，其通过移出或移入光路而在第一位置和第二位置之间移动以分别传输或阻挡光。在一些其他实施例中，快门可以包括可逆地改变状态或取向以改变快门的光传输特性的化学物质。适合用作快门的结构示例包括形成传输式像素化液晶显示器的像素、基于微电子机械系统(mems)的微机械结构(其可以例如垂直和/或水平移入光路和移出光路)，或能够实现至少两种状态之间的高切换率的其他阵列分段结构。快门的附加示例包括铁电快门。优选地，快门能够以比微显示器2000的帧更新速率大的速率改变状态(在传输(打开)和非传输(关闭)状态之间切换)，速率的倍数由显示系统所需的快门孔径子光瞳(或瞳孔内图像)的数量确定。例如，如果微显示器2000以120Hz产生图像，并且需要3个子光瞳，则快门阵列2004的快门2006优选地能够具有至少3倍于微显示器帧速率的切换速率，或3x 120Hz(例如，360Hz或更高)。
优选地，投影系统1003(图9)产生相对长的景深(depth of field)，这可以通过限制系统中的孔径来控制。不受理论的限制，并且如本文所讨论的，投影系统可以被配置为以足够小的有效光瞳直径向眼睛提供图像，以迫使人类视觉系统以“开环”模式操作，因为眼睛无法相应地适应于这样的图像。然而，相信多个瞳孔内图像向眼睛提供足够的信息以引起期望的适应反应。如本文所讨论的，形成瞳孔内图像的光的波前总体上提供了眼睛适应的波前近似。在一些实施例中，投影系统1003可以被配置为提供具有大约0.5mm或更小(例如，0.2至0.5mm)的有效光瞳直径的图像，该直径被认为足够小以迫使人类视觉系统在“开环”模式下操作。因此，在一些实施例中，快门2006在打开时提供宽度为0.5mm或更小(例如，0.2至0.5mm)的开口。
再次参考图9，应当理解，图示的打开的快门20061在第一时间(t＝tl)打开以提供初始瞳孔内图像，示出第一视差视图。随后，在稍后的时间(t＝t2)可以打开另一个快门以提供第二瞳孔内图像，示出第二视差视图。
现在参考图11，示出了图9的投影系统在稍后的时间(例如，在时间t＝t2)提供不同的视差差异的瞳孔内图像的示例。如图所示，快门20062打开以将光束1010b提供到眼睛210中。光束1010b可以形成图8右侧所示的瞳孔内图像。应当理解，可以在其他时间打开附加快门来提供其他瞳孔内图像，优选地在闪光融合阈值内向眼睛提供用于近似波前曲率的一组瞳孔内图像。
继续参考图9，如本文所述，人类视觉系统的闪光融合阈值对可注入到眼睛210中的图像数量设定时间约束，但是仍然被感知为正被同时注入。例如，控制系统1024的处理带宽以及使光源1026的发光区域和微显示器2000的光调制器切换的能力可以限制在由闪光融合阈值允许的持续时间之内可注入到眼睛210中的图像的数量。给有限数量图像的情况下，控制系统1024可以被配置为做出有关所显示的图像的选择。例如，在闪光融合阈值内，可能需要显示系统将视差差异的瞳孔内图像的组注入到眼睛中，进而每个视差视图可能需要具有各种分量颜色的图像以形成全色图像。在一些实施例中，使用分量颜色图像形成全色图像从所需的适应响应的解释(elucidation)分叉。例如，不受理论的限制，可以用单一颜色的光引起所需的适应响应。在这种情况下，用于引起适应响应的视差差异的瞳孔内图像将仅为单色的。因此，没有必要使用其他颜色的光形成视差差异的瞳孔内图像，从而释放闪光融合阈值内的时间以用于要显示的其他类型的图像。例如，为了更好地近似波前，可以生成较大的视差差异的瞳孔内图像的组。
在一些其他实施例中，控制系统1024可以被配置为在闪光融合阈值内投入更少的时间来显示具有人类视觉系统不太敏感的光的颜色的图像。例如，人类视觉系统对蓝光的敏感度低于对绿光的敏感度。因此，显示系统被配置为生成以绿光形成的图像多于生成以蓝光形成的图像。
应当理解，微显示器2000的光发射器可以发射具有大角发射轮廓(例如，朗伯角发射轮廓)的光。不期望的是，这种角发射轮廓可能“浪费”光，因为只有一小部分发射光可能最终传播通过投影光学器件1020并到达观看者的眼睛。
现在参考图12，在一些实施例中，可以利用光准直器来使由光发射器发射的光的角发射轮廓变窄。图12示出了图9和图11的投影系统的示例，其中光准直器阵列2010位于发射式微显示器2000与投影光学器件1020之间。光准直器阵列2010设置在光发射器2002的前方。在一些实施例中，每个光发射器2002具有专用的光准直器2010；每个光发射器2002与相关联的光准直器2010一对一匹配(每个光发射器2002一个光准直器2010)。光准直器可以被配置为从相关联的光发射器2002获取光并且在光学无限远(或在一些其他实施例中，一些其他非无限远平面)处对该光成像。
光准直器2010可以被配置为使入射光的角发射分布变窄；例如，如图所示，每个光准直器2010从相关联的光发射器2002接收具有相对较宽的初始角发射轮廓的光，并且输出具有与光发射器2002的宽初始角发射轮廓相比更窄的角发射轮廓的光。在一些实施例中，离开光准直器2010的光线比由光准直器2010接收的在传输穿过和离开准直器2010之前的光线更平行。有利地，与不存在准直器2010的情况相比，光准直器2010可以提高光利用效率，从而通过允许更多的光被引导到观看者的眼睛中来形成图像。
优选地，光准直器2010紧邻光发射器2002定位以捕获由光发射器2002输出的大部分光。在一些实施例中，光准直器2010与光发射器2002之间可能存在间隙。在一些其他实施例中，光准直器2010可以与光发射器2002接触。优选地，来自光发射器2002的光锥的全部或大部分入射在单个相关联的光准直器2010上。因此，在一些实施例中，每个光发射器2002比相关联的光准直器2010的光接收面更小(占据更小的面积)。在一些实施例中，每个光发射器2002具有比相邻光发射器2002之间的间隔更小的宽度。
光准直器2010可以采用各种形式。例如，在一些实施例中，光准直器2010可以是微透镜或小透镜，包括球面或双凸小透镜。如这里所讨论的，每个微透镜优选地具有大于相关联的光发射器2002的宽度的宽度。微透镜可以由弯曲的透明材料形成，例如玻璃或聚合物，包括光致抗蚀剂(photoresist)和例如环氧树脂的树脂。在一些实施例中，光准直器2010可以是纳米透镜，例如衍射光栅。在一些实施例中，光准直器2010可以是超表面(metasurface)和/或液晶光栅。在一些实施例中，光准直器2010可以采用反射井的形式。
现在参考图13，示出了用于形成图7B和图8的发散波前近似的投影系统1003的另一个示例。在一些实施例中，投影系统1003可以包括微显示器2000和设置在微显示器2000与投影光学器件1020之间的光准直器阵列2010。投影系统是显示系统1001的一部分，具有用于控制投影系统1003和眼睛跟踪设备1022的控制系统1024，如上面关于图9所讨论的。
继续参考图13，微显示器2000可以包括多个光发射器2002。光发射器2002可以布置成组，每组包括两个或更多个光发射器。每组光发射器2002包括相关联的光准直器2010。如图所示，每个光准直器组2002g可以包括两个光发射器20021、20022，并且相关联的光准直器20101被配置为捕获来自两个光发射器的光。优选地，相关联的光准直器20101具有跨越两个光发射器20021、20022延伸的宽度，使得相关联的光准直器20101包围的面积大于两个光发射器20021、20022的面积。在一些实施例中，光准直器2010与光发射器20021、20022间隔开。在一些其他实施例中，光准直器2010可以接触光发射器20021、20022。例如，光准直器2002可以是小透镜，并且光发射器20021、20022可以设置在相关联的小透镜20101内。
应当理解，光发射器相对于相关联的光准直器的位置可以影响光从光准直器传播出去的方向。光发射器20021、20022(例如，位于不同的位置)与相关联的光准直器20101不同地相互作用，这使得光准直器20101将来自光发射器20021、20022中的每一个的光沿着不同的路径引导到投影光学器件1020然后到眼睛210。优选地，光发射器20021、20022的位置和相关联的光准直器20101的物理参数(例如，尺寸和形状)被配置为提供对应于不同瞳孔内图像的不同光路。虽然为了图示清楚而提供了两个光发射器20021、20022，但是应当理解，与光准直器相关联的每组光发射器可以具有多于两个的光发射器。例如，每个组2002g可以具有三个或更多个光发射器、四个或更多个光发射器等。空间上不同的光发射器的数量越多，潜在水平的视差差异的数量就越多。
在一些实施例中，来自每组光发射器中的光发射器的图像光可由相关联的光准直器2010和投影光学器件1020引导以形成作为光束1010a的第一瞳孔内图像，并且来自每组光发射器中的另一个光发射器的图像光可由相关联的光准直器2010和投影光学器件1020引导以形成作为光束1010b的第二瞳孔内图像。如本文所讨论的，光束1010a、1010b优选地具有足够小的直径，使得眼睛无法适应由每个光束形成的相应的图像。在一些实施例中，在眼睛210的瞳孔处，每个光束1010a、1010b的直径为约0.5mm或更小(例如，0.2至0.5mm)。
继续参考图13，包括光发射器20021、20022的组2002g的投影系统1003可以使用空间复用形成不同的瞳孔内图像。对于这种空间复用，可以使用不同位置的光发射器来形成不同的瞳孔内图像；也就是说，每组光发射器中的不同光发射器可以提供不同的瞳孔内图像的图像信息。来自每组光发射器中的对应的光发射器的光被光学结构(例如，光准直器阵列2010中的光准直器和投影光学器件1020)引导，以形成光束1010a、1010b中的一个以形成对应的瞳孔内图像。有利地，可以同时向眼睛提供瞳孔内图像，避免了在闪光融合阈值下快速顺序地提供图像的需要。这可以放宽对微显示器2000和支撑控制系统1024的帧速率的要求。
现在参考图14，应当理解，图13的投影系统1003可以包括具有相关联的光发射器组的光准直器以及快门阵列2004，以提供空间和时间的组合复用。快门阵列2004可以进一步细化进入眼睛并形成瞳孔内图像的光束的位置和/或尺寸。例如，由光准直器阵列2010输出的光束可能大于形成瞳孔内图像所需的(例如，大于眼睛开环操作所需的，包括直径大于0.5mm)。快门阵列2004中的快门可用于限制最终进入眼睛210的光束的尺寸。另外，由准直器阵列2010中的光准直器提供的每个光束可以照射射在多个快门上。结果，快门可以为每个入射光束提供附加的视差差异水平，这可以促使比仅由光准直器阵列2010输出的光束在更多深度平面上提供虚拟内容的呈现。
在一些实施例中，显示系统可以在一个维度上(例如，沿着x轴)在时间上复用，而在另一个维度上(例如，沿着正交的维度，例如y轴)在空间上复用。例如，光准直器可以是双凸小透镜，而不是球面小透镜，并且可以被配置为将来自空间上不同的光发射器的不同光束沿着第一轴提供到不同位置，第一轴与第二轴正交，第二轴可以是双凸小透镜的延长轴。可以利用快门阵列沿着第二轴在不同的点和不同的时间形成子光瞳。例如，子光瞳沿第一轴的位置可以通过空间复用来实现，通过激活每组光发射器中的与双凸小透镜(其沿第二轴延长)相关联的不同光发射器，而子光瞳沿第二轴的位置可以通过时间复用来提供，通过在期望时间(例如，与激活用于空间复用的相应光发射器重叠的时间)打开第二轴上的快门。
现在参考图15，示出了由本文公开的投影系统提供的深度平面范围的示例。该范围从光学无限远处的远平面跨越到更接近眼睛210的近平面。光学无限远处的远平面可以由基本上是准直或彼此平行的光束(例如，光束1010a和1010b)所形成的瞳孔内图像来提供。对于这样的远平面，光束可以被理解为没有视差差异或具有低视差差异。
继续参考图15，可以使用更高水平的视差差异来提供更接近的深度平面。在一些实施例中，近平面与眼睛210的感知接近度可以由形成瞳孔内图像的光束之间的最大视差差异来确定。例如，光束1010a和1010b之间的最大视差差异可以由快门阵列2004中的快门之间的最大距离(图9至图12和图14)和/或每个光准直器1010a为来自其相关联的光发射器组中的光发射器2002的光提供的最大方向差(图13和图14)来确定。
现在参考图16A，示出了包括投影系统的显示系统的示例，该投影系统包括快门阵列，以及用于将图像内容叠加在用户的世界视图上的光瞳中继组合器目镜。优选地，目镜1030是透光的，允许来自世界的光2012通过目镜传播到观看者的眼睛210，以便观看者可以看到世界。在一些实施例中，目镜1030包括一个或多个波导1032，其具有入耦合光学元件和出耦合光学元件，例如入耦合光学元件770和出耦合光学元件800。入耦合光学元件770接收来自投影系统1003的图像光2014并重定向该图像光，使得它通过全内反射通过目镜1030传播到出耦合光学元件800。出耦合光学元件800将图像光2014输出到观看者的眼睛210。有利地，目镜1030保留了由投影系统1003提供的所有图像属性，因此通过目镜1030准确地描绘了快速切换的视差视图。应当理解，图像光2014是由微显示器2000发射的光，并且可以对应于例如光200a、2002b、2002c(图9)或通过光准直器阵列2010提供的光(图13和图14)。
如图所示，投影系统1003可以包括光瞳平面2005上的快门阵列2004，通过该阵列2004，光离开投影系统1003朝向入耦合光学元件770。可以在快门阵列2004与入耦合光学元件770之间提供透镜结构2016以中继图像光2014。在一些实施例中，透镜结构2016还可准直图像光2014以在形成目镜1030的波导1032内传播。
入耦合光学元件770和出耦合光学元件800可以是折射或反射结构。优选地，入耦合光学元件770和出耦合光学元件800是衍射光学元件。衍射光学元件的示例包括表面浮雕特征、体积相位特征、超材料、或液晶偏振光栅。虽然图示为布置在波导1032的同一侧，但应当理解，入耦合光学元件770和出耦合光学元件800可以布置在波导1032的不同侧。同时，虽然示出为在波导1032的与投影光学器件1020相对的一侧，但是入耦合光学元件770和出耦合光学元件800中的一个或两个可以与投影光学器件1020设置在波导1032的同一侧。
图16B示出了包括投影系统的显示系统的示例，该投影系统包括用于提供不同瞳孔内图像的光准直器阵列，以及用于在用户的世界视图上叠加图像内容的光瞳中继组合器目镜。除了投影系统1003类似于图13的投影系统而不是图9的投影系统以外，图16B的显示系统类似于图16A的显示系统。如图所示，投影系统1003可以包括微显示器2000和位于微显示器2000与投影光学器件1020之间的光准直器阵列2010。微显示器2000可以包括形成为组2002g的多个光发射器，每个光准直器2010一组光发射器。光发射器相对于相关联的光准直器的位置确定了光从光准直器传播出去的方向，因此确定了使用光发射器组2002g的不同光发射器20021、20022形成的图像之间的视差差异。结果，如本文所述，一组光发射器内的不同光发射器的激活设置了使用不同光发射器形成的瞳孔内图像之间的视差差异。在一些实施例中，来自每个光发射器组2002g中的第一光发射器20021的光由相关联的光准直器2010和投影光学器件1020引导以与光束1010a形成第一瞳孔内图像，并且来自每个光发射器组2002g中的第二光发射器20022可由相关联的光准直器2010和投影光学器件1020引导以与光束1010b形成第二瞳孔内图像。
应当理解，这里公开的投影系统的任何实施例都可以用在图16A和图16B的显示系统中，例如作为这些图中的投影系统1003。例如，投影系统1003可以使用光准直器和快门阵列，如图12和图14所示。
图17A示出了投影系统的另一个示例，包括快门阵列和用于在用户的世界视图上叠加图像内容的光瞳中继组合器目镜。除了与目镜1030相关联的光学结构之外，图示的显示系统类似于图16A的显示系统。目镜1030可以包括用于将图像光2014反射到眼睛210中的部分透明中继镜2020。如图所示，图像光2014由入耦合光学元件770入耦合，该入耦合光学元件770重定向光2014，使得其通过波导1032传播。目镜1030包括出耦合光学元件800，其将图像光2014向前引导，通过位于波导1032的前方面上的四分之一波片2018。如图所示，部分透明中继镜2020可以在四分之一波片2018和波导1032的前方并与其间隔开。
图17B示出了包括投影系统的显示系统的另一个示例，该投影系统包括用于提供不同瞳孔内图像的光准直器阵列，以及用于在用户的世界视图上叠加图像内容的光瞳中继组合器目镜。除了与目镜1030相关联的光学结构之外，图示的显示系统类似于图16B的显示系统。目镜1030和相关联的结构类似于图17A中所示的。如上所述，图像光2014由入耦合光学元件770入耦合并且通过全内反射传播通过波导1032。出耦合光学元件800使图像光2014远离眼睛210向前输出，通过四分之一波片2018输出到部分透明中继镜2020。如图所示，部分透明中继镜2020可以在四分之一波片2018和波导1032的前方并与其间隔开，并且将图像光2014反射到眼睛210中。在一些实施例中，部分透明中继镜2020可以被配置为选择性地反射传输通过四分之一波片2018的偏振光。
现在参考图18，其中示出了显示系统1001的示例，该显示系统具有包括眼睛跟踪系统1022和具有光瞳扩展器1034的组合器目镜1030的投影系统1003。光瞳扩展器1034可以包括例如被配置为跨目镜1030复制投影系统光瞳的衍射光学元件。由于光瞳扩展器1034跨可以通过眼睛运动被观看者的瞳孔横穿的大区域上复制投影系统光瞳，因此由微显示器2000形成的图像和光源1026的发光区域的位置可以基于来自眼睛跟踪系统1022的输入而被实时地更新。有利地，这种配置使能较大的适眼区用于更舒适地观看，从而放松对眼睛到组合器的相对定位以及瞳孔内距离变化的限制。
现在参考图19，其中示出了显示系统1001的示例，该显示系统具有包括眼睛跟踪系统1022和具有被配置为产生非无限远深度平面的光瞳扩展器1035的组合器目镜1030的投影系统1003。在一些实施例中，非无限远深度平面可以在3米处，这提供了约2.5米到无限远的预算内适应。例如，考虑到人类视觉系统对适应-辐辏不匹配的容忍度，位于从观看者开始约2.5米到无限远处的虚拟内容可以放置在3米深度平面上而具有很少不适。在这样的系统中，可以使用视差差异的瞳孔内图像来驱动对较窄范围的深度平面的适应，这些深度平面可能比固定的“默认”焦平面更接近观看者。在一些实施例中，该系统还可以结合眼睛跟踪系统1022来基于例如观看者双眼的辐辏角确定观看者的注视的距离。
应当理解，微显示器2000可以是单色显示器，并且显示系统1001可以被配置为向眼睛210提供单色图像。更优选地，显示系统1001被配置为向眼睛210提供全色图像。在这样的实施例中，微显示器2000可以是全色微显示器。例如，全色图像可以通过提供由不同分量颜色(例如，三种或更多种分量颜色，例如红色、绿色和蓝色)形成的不同图像来形成，这些相组合地被观看者感知为全色图像。微显示器2000可以被配置为发射所有分量颜色的光。例如，不同的光发射器可以发射不同的颜色。
在一些其他实施例中，可以使用由多个微显示器提供的分量颜色图像来形成全色图像，其中至少一些微显示器是单色微显示器。例如，不同的单色微显示器可以被配置为提供不同的分量颜色图像。分量颜色图像可以同时提供给眼睛210，或者可以在时间上复用(例如，可以在闪光融合阈值内向眼睛210提供用于形成单个全色图像的所有不同分量颜色图像)。
图20A至图20B示出了具有多个发射式微显示器2000a、2000b、2000c的投影系统的示例。微显示器2000a、2000b、2000c可各自类似于本文公开的微显示器2000(参见例如图9、图11至图14、和图16A至图17B)。来自微显示器2000a、2000b、2000c的光由光学组合器1050组合并引导朝向投影光学器件1020，并最终到观看者的眼睛210。如本文所讨论的，在一些实施例中，来自投影光学器件1020的光可以被引导到目镜1030，目镜1030可以是包括一个或多个波导的波导组件。
在一些实施例中，微显示器2000a、2000b、2000c可以是单色微显示器。每个单色微显示器可以输出不同分量颜色的光以提供不同的单色图像，观看者可以将这些不同的单色图像组合以形成全色图像。
继续参考图20A，光学组合器1050分别从微显示器2000a、2000b、2000c中的每一个接收图像光2001a、2001b、2001c并且组合该光，使得光大体以相同的方向传播，例如朝向投影光学器件1020。在一些实施例中，光学组合器1050可以是具有分别将图像光2001c、2001a重定向到投影光学器件1020的反射内表面1052、1054的二向色X立方棱镜。投影光学器件1020会聚或聚焦照射在快门阵列2004上的图像光。图像光2001a、2001b、2001c然后传播通过打开的快门(例如，快门20061)并进入眼睛210。
现在参考图20B，示出了分别具有多个发射式微显示器2000a、2000b、2000c和相关联的光准直器阵列2010a、2010b、2010c的光投影系统1010的示例。阵列2010a、2010b、2010c可各自类似于本文公开的阵列2010(参见例如图12至图14、图16B和图17B)。
在一些实施例中，阵列2010a、2010b、2010c可以各自包括光准直器，光准直器被配置为使由微显示器1030a、1030b、1030c发射的图像光2001a、2001b、2001c的角发射轮廓变窄。图像光2001a、2001b、2001c随后穿过光学组合器1050传播到投影光学器件1020，然后进入眼睛210。此外，每个光准直器可以具有相关联的光发射器组(例如，如图13、图14、图16B和图17B所示)并且可以沿着不同的路径引导来自每组发射器的不同光发射器的光，不同路径对应于不同的视差差异量，用于形成不同的瞳孔内图像，如本文所讨论的。
参考图20A和图20B，在一些其他实施例中，微显示器2000a、2000b、2000c可以各自是被配置为输出所有分量颜色的光的全色显示器。例如，微显示器2000a、2000b、2000c可以各自包括被配置为发射红光、绿光和蓝光的光发射器。微显示器2000a、2000b、2000c可以是相同的并且可以显示相同的图像。然而，利用多个微显示器可以提供用于增加图像亮度的亮度和亮度动态范围的优势，通过组合来自多个微显示器的光以形成单个图像。在一些实施例中，可以使用两个或更多个(例如，三个)微显示器，其中光学组合器1050被配置为组合来自所有这些微显示器的光。
继续参考图20A和图20B，在一些实施例中，与输出面1051直接相对的单色微显示器2000b可以有利地输出绿光。应当理解，当分别反射来自微显示器2000c、2000a的光时，反射表面1052、1054可能具有光学损失。此外，在分量颜色红、绿、蓝三色中，人眼对绿色最为敏感。因此，与光学组合器1050的输出面相对的单色微显示器2000b优选地输出绿光，使得绿光可以直接通过光学组合器1050而不需要被反射以从光学组合器1050输出。然而，应当理解，在一些其他实施例中，绿色单色微显示器可以面向光学组合器1050的其他表面。
在一些实施例中，如本文所讨论的，显示系统可以包括目镜(例如，目镜1030，图16A至图19)以将由投影光学器件1020输出的光中继到眼睛210。在一些实施例中，目镜可以包括配置为入耦合和出耦合所有分量颜色的光的单个波导。
在一些其他实施例中，目镜1030可以包括形成波导堆叠的多个波导。每个波导具有用于入耦合图像光的相应的入耦合光学元件。例如，每个波导可以具有相关联的入耦合光学元件，该入耦合光学元件被配置为入耦合不同分量颜色或不同波长范围的光。在一些实施例中，波导的数量与由微显示器2000a、2000b、2000c提供的分量颜色的数量成比例。例如，在存在三种分量颜色的情况下，目镜1030中的波导的数量可以包括一组三个波导或多组三个波导。2019年2月1日提交美国临时申请No.62/800363中讨论了波导和相关结构的布置示例，其全部公开内容通过引用并入本文。
现在参考图21，示出了包括堆叠波导组件的目镜660(可以对应于图16A至19中的目镜1030)的示例，该堆叠波导组件用于输出具有对应于不同分量颜色的不同波长的光。在一些实施例中，波导组件包括波导670、680和690，它们可以分别对应于波导1032(图16A至17B)。每个波导包括相关联的入耦合光学元件，例如，设置在波导670的主表面(例如，上主表面)上的入耦合光学元件700、设置在波导680的主表面(例如，上主表面)上的入耦合光学元件710、以及设置在波导690的主表面(例如，上主表面)上的入耦合光学元件720。在一些实施例中，入耦合光学元件700、710、720中的一个或多个可以设置在相应的波导670、680、690的底部主表面上(特别是在一个或多个入耦合光学元件是反射的、偏转光学元件的情况下)。如所示出的，入耦合光学元件700、710、720可以设置在它们相应的波导670、680、690的上主表面上(或下一个下波导的顶部)，特别是在那些入耦合光学元件是透射的、偏转的光学元件情况下。在一些实施例中，入耦合光学元件700、710、720可以设置在相应波导670、680、690的主体中。在一些实施例中，如本文所讨论的，入耦合光学元件700、710、720是波长选择性的，使得它们选择性地重定向一个或多个波长的光，同时透射其他波长的光。虽然在它们相应的波导670、680、690的一侧或角上示出，但是应当理解，在一些实施例中，入耦合光学元件700、710、720可以设置在它们相应的波导670、680、690的其他区域中。
如所示出的，入耦合光学元件700、710、720可以彼此横向偏移。在一些实施例中，每个入耦合光学元件可以偏移，使得它接收光而光不通过另一入耦合光学元件。例如，每个入耦合光学元件700、710、720可以被配置为从如图6所示的不同的图像注入设备360、370、380、390和400接收光并且可以与其他入耦合光学元件700、710、720分离(例如，横向间隔开)，使得它基本上不接收来自其他入耦合光学元件700、710、720的光。在一些实施例中，入耦合光学元件700、710、720垂直对准并且不横向偏移。
每个波导还可以包括相关联的光分布(distribute)元件，例如，设置在波导670的主表面(例如，顶部主表面)上的光分布元件730、设置在波导680的主表面(例如，顶部主表面)上的光分布元件740以及设置在波导690的主表面(例如，顶部主表面)上的光分布元件750。在一些其他实施例中，光分布元件730、740、750可以分别设置在相关联的波导670、680、690的底部主表面上。在一些其他实施例中，光分布元件730、740、750可以分别设置在相关联的波导670、680、690的顶部和底部主表面上；或者光分布元件730、740、750可以分别设置在不同的相关联的波导670、680、690的顶部和底部主表面中的不同的主表面上。
波导670、680、690可以由例如气体、液体和/或固体材料层间隔开并分离。例如，如所示出的，层760a可以分离波导670和680；以及层760b可以分离波导680和690。在一些实施例中，层760a和760b由低折射率材料(也就是，具有比形成波导670、680、690中的紧邻的波导的材料的折射率低的材料)形成。优选地，形成层760a、760b的材料的折射率比形成波导670、680、690的材料的折射率小0.05或更多、或0.10或更少。有利地，低折射率层760a、760b可以用作促进通过波导670、680、690的光的TIR(例如，每个波导的顶部和底部主表面之间的TIR)的包覆(clad)层。在一些实施例中，层760a、760b由空气形成。尽管未示出，但应理解，所示波导组660的顶部和底部可包括紧邻的包覆层。
继续参考图21，光线770、780、790通过投影系统1003(图9、图11至图14、以及图16A至17B)入射在波导670、680、690上并且注入这些波导内。
在一些实施例中，光线770、780、790具有不同的属性，例如，不同的波长或不同的波长范围，其可以对应于不同的颜色。入耦合光学元件700、710、720各自使入射光偏转，使得光通过TIR传播通过波导670、680、690中的相应一个波导。
例如，入耦合光学元件700可以被配置为偏转具有第一波长或波长范围的光线770。类似地，传输的光线780入射入耦合光学元件710并被入耦合光学元件710偏转，该入耦合光学元件710被配置为偏转具有第二波长或波长范围的光。同样地，光线790被入耦合光学元件720偏转，该入耦合光学元件720被配置为选择性地偏转具有第三波长或波长范围的光。
继续参考图21，入耦合光线770、780、790分别被入耦合光学元件700、710、720偏转，然后分别在波导670、680、690内通过TIR传播。然后，光线770、780、790分别入射光分布元件730、740、750。光分布元件730、740、750使光线770、780、790偏转，使得它们分别朝向出耦合光学元件800、810、820传播。
在一些实施例中，光分布元件730、740、750是正交瞳孔扩展器(OPE)。在一些实施例中，OPE将光偏转或分布至出耦合光学元件800、810、820，并且还在该光传播到出耦合光学元件时增加该光的光束或光点尺寸。在一些实施例中，例如，在光束尺寸已经具有期望尺寸的情况下，可以省略光分布元件730、740、750，并且可以将入耦合光学元件700、710、720配置为将光直接偏转至出耦合光学元件800、810、820。在一些实施例中，出耦合光学元件800、810、820是出射光瞳(EP)或出射光瞳扩展器(EPE)，其引导观看者眼睛210中的光(参见，例如图18)。应当理解，OPE可以被配置为在至少一个轴上增加适眼区的尺寸，并且EPE可以在例如与OPE的轴正交的轴上增加适眼区。
因此，在一些实施例中，目镜660包括波导670、680、690；入耦合光学元件700、710、720；光分布元件(例如，OPE)730、740、750；以及用于每种分量颜色的出耦合光学元件(例如，EP)800、810、820。波导670、680、690可以堆叠，其中每个之间存在的空气隙/包覆层。入耦合光学元件700、710、720将入射光(采用接收不同波长的光的不同的入耦合光学元件)重定向或偏转到其波导中。然后光以一定角度传播，这将导致相应波导670、680、690内的TIR。在所示的示例中，光线770(例如，蓝光)被第一入耦合光学元件700偏转，然后继续跳到波导，以前面描述的方式与光分布元件(例如，OPE)730相互作用，然后与出耦合光学元件(例如，EPs)800相互作用。光线780和790(例如，分别是绿光和红光)将穿过波导670，其中光线780入射入耦合光学元件710并被入耦合光学元件710偏转。光线780然后经由TIR跳到波导680，继续进行到达其的光分布元件(例如，OPE)740然后到达出耦合光学元件(例如，EP)810。最后，光线790(例如，红光)穿过波导690以入射波导690的光入耦合光学元件720。光入耦合光学元件720偏转光线790，使得光线通过TIR传播到光分布元件(例如，OPE)750，然后通过TIR传播到出耦合光学元件(例如，EP)820。然后，出耦合光学元件820最终将光线790出耦合到观看者，观看者还接收来自其他波导670、680的出耦合光。
如上所述，入耦合光学元件700、710、720可以彼此横向偏移。在这样的实施例中，来自不同微显示器2000a、2000b、2000c的图像光2001a、2001b、2001c可以采取不同的路径到达目镜1030，使得它们照射到入耦合光学元件700、710、720中的不同入耦合光学元件上。在图像光2001a、2001b、2001c包括不同分量颜色的光的情况下，相关联的入耦合光学元件700、710、720可分别被配置为选择性地入耦合不同波长的光，如本文所讨论的。
图像光2001a、2001b、2001c的不同光路可以由组合器1050(图20A至图20B)提供；由阵列2010a、2010b、2010c中的一个或多个阵列来提供；和/或通过将微显示器2000a、2000b、2000c中的一个或多个相对于光学组合器1050的反射表面1052、1054以适当角度倾斜来提供。例如，参考图20A至图20B，光学组合器1050可以被配置为重定向由微显示器2000a、2000b、2000c发射的图像光2001a、2001b、2001c，使得图像光沿着不同的光路传播，以便照射到入耦合光学元件700、710、720中的相关联的入耦合光学元件上。因此，光学组合器1050在图像光从光学组合器1050的公共面输出的意义上对图像光2001a、2001b、2001c进行组合，尽管光可能以稍微不同的方向离开光学组合器。例如，X立方棱镜的反射内表面1052、1054可以各自成角度以将图像光2001a、2001b、2001c沿着不同的路径引导到目镜1030。结果，图像光2001a、2001b、2001c可以入射在入耦合光学元件700、710、720中的不同相关联的入耦合光学元件上。在一些实施例中，微显示器2000a、2000b、2000c可以相对于X立方棱镜的反射内表面1052、1054适当地成角度以向入耦合光学元件700、710、720提供所需的光路。例如，微显示器2000a、2000b、2000c中的一个或多个的面可以与光学组合器1050的匹配面成角度，使得由微显示器发射的图像光以适当的角度入射在反射内表面1052、1054上以朝向相关联的入耦合光学元件700、710、720传播。应当理解，除了立方体，光学组合器1050可以采取各种其他多面体的形式。例如，光学组合器1050可以是具有至少两个不是正方形的面的直角棱镜的形状。
如本文所讨论的，在一些实施例中，可以利用时分复用来实现用户对全色图像的感知。例如，可以在不同时间激活不同的微LED阵列2000a、2000b、2000c以生成不同的分量颜色图像。在这样的实施例中，可以足够快地顺序地显示形成单个全色图像的不同分量颜色图像，使得人类视觉系统不会将分量颜色图像感知为在不同时间显示；即，可以在足够短的持续时间内显示形成单个全色图像的不同分量颜色图像，从而用户将分量颜色图像感知为同时呈现，而不是在时间上分开。例如，可以以高于人类视觉系统的闪光融合阈值的帧速率顺序地显示分量颜色图像。例如，闪光融合阈值可以是60Hz，这被认为足够快以至于大多数用户不会感知分量颜色图像在不同时间被显示。在一些实施例中，不同分量颜色图像以高于60Hz的速率顺序地显示。应当理解，时分复用可以有利地减少用于形成显示图像的处理器(例如，图形处理器)上的计算负载。在一些其他实施例中，例如在有足够的计算资源可用的情况下，形成全色图像的所有分量颜色图像可以由微显示器2000a、2000b、2000c同时显示。
现在参考图22，其中示出了可穿戴显示系统60的示例。显示系统60可以对应于图9和图13的显示系统1001，其中投影系统1003用于观看者或用户90的每只眼睛。
显示系统60包括显示器70、以及支持该显示器70的功能的各种机械和电子模块和系统。显示器70可以与框架80耦接，该框架可以由显示系统用户或观看者90佩戴并且被配置为将显示器70定位在用户90的眼睛前方。在一些实施例中，显示器70可以被认为是眼镜(eyewear)。在一些实施例中，扬声器100被耦接到框架80并且被配置为位于用户90的耳道附近(在一些实施例中，另一扬声器(未示出)位于用户的另一耳道附近以提供立体声/可塑形声音控制)。在一些实施例中，显示系统还可以包括一个或多个麦克风110或其它设备以检测声音。在一些实施例中，麦克风被配置为允许用户向系统60提供输入或命令(例如，语音菜单命令、自然语言问题等的选择)和/或可以允许与其它人(例如，与其它类似显示系统的用户)的音频通信。麦克风还可以被配置作为外围传感器以收集音频数据(例如，来自用户和/或环境的声音)。在一些实施例中，显示系统60还可以包括一个或多个向外定向的环境传感器112，其被配置为检测用户周围的对象、刺激、人、动物、位置、或世界的其他方面。例如，环境传感器121可以包括一个或多个相机，其可以例如面向外定位以便捕获与用户90的普通视场的至少一部分类似的图像。在一些实施例中，显示系统还可以包括外围传感器120a，该外围传感器120a可以与框架80分离并且附接到用户90的身体(例如，用户90的头部、躯干、四肢等上)。在一些实施例中，外围传感器120a可以被配置为获取表征用户90的生理状态的数据。例如，传感器120a可以是电极。
继续参考图22，显示器70通过通信链路130可操作地(诸如通过有线引线或无线连接)被耦接到本地数据处理和模块140，本地数据处理和模块140可以以各种配置安装，诸如被固定地附到框架80上、被固定地附到由用户佩戴的头盔或帽子上、被嵌入头戴耳机内、或者其它的可拆卸地附到用户90(例如，以背包式配置、以带耦接式配置)。类似地，传感器120a可以通过通信链路120b(例如通过有线引线或无线连接)可操作地耦接到本地处理和数据模块140。本地处理和数据模块140可以包括硬件处理器以及诸如非易失性存储器(例如，闪速存储器或硬盘驱动器)的数字存储器，这两者都可用于辅助处理、高速缓存和存储数据。该数据可以包括：a)从传感器(其例如可以可操作地耦接到框架80或者其它的可操作地附到用户90)捕获的数据，所述传感器例如为图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电设备、陀螺仪和/或本文公开的其他传感器；和/或b)使用远程处理模块150和/或远程数据储存库160获取和/或处理的数据(包括与虚拟内容有关的数据)，这些数据可以在这样的处理或检索之后被传送到显示器70。本地处理和数据模块140可以诸如经由有线或无线通信链路可操作地通过通信链路170、180耦接到远程处理模块150和远程数据储存库160，使得这些远程模块150、160可操作地彼此耦接并且可用作本地处理和数据模块140的资源。在一些实施例中，本地处理和数据模块140可以包括图像捕获设备、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电设备和/或陀螺仪中的一个或多个。在一些其它实施例中，这些传感器中的一个或多个可以附到框架80或者可以是通过有线或无线通信路径与本地处理和数据模块140通信的独立结构。在一些实施例中，本地处理和数据模块140可以包括一个或多个图形处理器并且可以对应于控制系统1024(图9和图13)
继续参考图22，在一些实施例中，远程处理模块150可以包括一个或多个处理器，这些处理器被配置为分析和处理数据和/或图像信息。在一些实施例中，远程数据储存库160可以包括数字数据存储设施，该设施可以通过因特网或“云”资源配置中的其它网络配置而可用。在一些实施例中，远程数据储存库160可以包括一个或多个远程服务器，这些远程服务器向本地处理和数据模块140和/或远程处理模块150提供信息，例如，用于生成增强现实内容的信息。在一些实施例中，在本地处理和数据模块中存储所有数据并且执行所有计算，从而允许从远程模块完全自主的使用。
应当理解，本文描述的和/或附图描绘的过程、方法以及算法中的每一者可体现在以下项中并通过以下项被全部或部分自动化：代码模块，其由一个或多个物理计算系统、硬件计算机处理器、专用电路执行；以及/或者电子硬件，其被配置为执行具体和特定计算机指令。例如，计算系统能包括用具体计算机指令或专用计算机编程的通用计算机(例如服务器)、专用电路等。代码模块可被编译并链接到可执行程序中，安装在动态链接库中，或可用解释性编程语言编写。在一些实施例中，特定操作和方法可由特定于给定功能的电路来执行。
此外，本公开的功能的特定实施例在数学上、计算上或技术上都足够复杂，以至于为了执行所述功能(例如由于所涉及的计算量或复杂性)或为了基本实时地提供结果，专用硬件或者一个或多个物理计算设备(利用适当的专有可执行指令)可以是必需的。例如，视频可包括多个帧，每帧具有数百万个像素，为了处理视频数据以在商业合理的时间量内提供期望的图像处理任务或应用，专用编程计算机硬件是必需的。
代码模块或任何类型的数据可被存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器以及相同和/或相似元件的组合。在一些实施例中，非暂时性计算机可读介质可以是本地处理和数据模块(140)、远程处理模块(150)和远程数据储存库(160)中的一个或多个的一部分。方法和模块(或数据)也可在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的介质和基于有线/电缆的介质，且可采取多种形式(例如，作为单一或多路复用模拟信号的一部分，或者作为多个离散数字数据包或帧)。所公开的过程或处理步骤的结果可持久地或以其他方式存储在任何类型的非暂时性实体计算机存储器中，或可经由计算机可读传输介质进行传送。
本文所描述和/或附图所描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，它们包括在过程中实现具体功能(例如逻辑功能或算术功能)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能能够根据本文提供的说明性示例进行组合、重新排列、添加、删除、修改或其他改变。在一些实施例中，额外或不同的计算系统或代码模块可执行本文所述的一些或全部功能。本文所述方法和过程也不限于任何具体的顺序，且与其相关的框、步骤或状态能以适当的其他顺序来执行，例如以串行、并行或某种其他方式。可向所公开的示例实施例添加或从中移除任务或事件。此外，本文所述的实施例中的分离各种系统组件是出于说明的目的，且不应被理解为在所有实施例中都需要这样的分离。应该理解，所描述的程序组件、方法以及系统一般能一起集成在单个计算机产品中或封装到多个计算机产品中。
在前述说明书中，已经参考其特定实施例描述了本发明。然而，显而易见的是，在不脱离本发明的更广泛的精神和范围的情况下，可以对其进行各种变型和改变。因此，说明书和附图应被视为示例性的而非限制性意义的。
实际上，将理解，本公开的系统和方法各自具有若干创新性方面，这些方面中的任一单个方面不单独负责本文所公开的期望待性或不是本文所公开的期望待性所必需的。上述各种特征和过程可彼此独立使用或可以以各种方式组合使用。所有可能的组合和子组合均旨在落入此公开的范围内。
在单独实施例的上下文中在此说明书所述的某些特征也能在单个实施例中组合实现。相反，在单个实施例的上下文中所述的各种特征也能在多个实施例中单独地或以任何合适的子组合实现。此外，尽管上文可将特征描述为以某些组合执行，甚至最初这样要求保护，但在一些情况下，来自所要求保护的组合的一个或多个特征能被从该组合中删除，且所要求保护的组合可涉及子组合或子组合的变体。任何单个特征或特征组对于每个实施例都不是必需或不可或缺的。
将理解，本文中使用的条件语，诸如(除其他项外)“能”、“能够”、“可能”、“可以”、“例如”等一般旨在表达某些实施例包括而其他实施例不包括某些特征、元素和/或步骤，另有具体说明或在上下文中另有理解除外。因此，这样的条件语一般不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在具有或没有程序设计者输入或提示的情况下决定这些特征、元素和/或步骤是否包括在或者是否将在任何具体实施例中执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，且以开放式的方式包含性地使用，且不排除额外的元素、特征、动作、操作等。此外，术语“或”以其包含性含义(而不是其专有性含义)使用，因此，当被用于例如连接元素列表时，术语“或”意味着列表中的一个、一些或全部元素。另外，本申请和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为意味着“一个或多个”或“至少一个”，另有具体说明除外。类似地，虽然操作在附图中可以以特定顺序描绘，但应认识到，这样的操作不需要以所述特定顺序或以相继顺序执行，或执行所有例示的操作以实现期望的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作能并入示意性地示出的示例方法和过程中。例如，能在任何所示操作之前、之后、同时或期间执行一个或多个附加操作。另外，在其他实施例中，操作可被重新排列或重新排序。在某些情况下，多任务和并行处理可具有优势。此外，上述实施例描述的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离，且应该理解，所述程序组件和系统一般能被一起集成在单个软件产品中或封装到多个软件产品中。另外，其他实施例处于以下权利要求的范围内。在一些情况下，权利要求中列举的动作能以不同的顺序执行，且仍实现期望的结果。
因此，权利要求不旨在限于本文所示的实施例，而是符合与本公开、本文公开的原理和新颖特征相一致的最宽范围。

Claims (54)

1.一种头戴式显示系统，包括：
图像投影系统，其包括：
微显示器，其被配置为输出定义图像的图像光；以及
投影光学器件，其被配置为引导来自所述微显示器的所述图像光传播到观看者的眼睛；以及
选择性激活的快门阵列，用于将所述图像光从不同位置选择性地传输到所述眼睛，其中，所述选择性激活的快门阵列被设置在所述投影光学器件的适眼区体积内。
2.根据权利要求1所述的显示系统，还包括控制系统，所述控制系统包括一个或多个处理器和存储指令的存储器，所述指令在由所述一个或多个处理器执行时，使所述显示系统执行包括以下的操作：
确定虚拟对象的期望深度平面；
基于所述期望深度平面，确定所述选择性激活的快门阵列中的要被打开的快门；
通过所述图像投影系统，将不同图像的呈现与所述快门中的不同快门的打开同步，其中，所述不同图像提供所述虚拟对象的不同视图。
3.根据权利要求1所述的显示系统，其中，所述快门是可移动的物理结构。
4.根据权利要求3所述的显示系统，其中，所述物理结构是基于微电子机械系统的微机械结构。
5.根据权利要求3所述的显示系统，其中，所述快门是铁电快门。
6.根据权利要求1所述的显示系统，其中，所述快门包括具有可逆变化的状态的化学物质，所述状态提供不同的光传输量。
7.根据权利要求6所述的显示系统，其中，所述化学物质包括液晶，其中，所述快门由像素化液晶显示器中的像素构成。
8.根据权利要求1所述的显示系统，其中，所述微显示器是包括光发射器的阵列的发射式微显示器。
9.根据权利要求8所述的显示系统，其中，所述光发射器是微LED。
10.根据权利要求8所述的显示系统，还包括在所述光发射器与所述投影光学器件之间的光准直器的阵列。
11.根据权利要求10所述的显示系统，其中，所述光准直器的阵列中的每个光准直器延伸跨越多个所述光发射器，其中，每个光准直器对应于由所述图像投影系统所输出的图像中的像素。
12.根据权利要求1所述的显示系统，其中，所述微显示器是形成所述投影系统的多个单色微显示器中的一个，其中，每个所述单色微显示器被配置为发射不同的分量颜色的光。
13.根据权利要求12所述的显示系统，还包括X立方棱镜，其中，每个所述单色微显示器被布置为将图像光输出到X立方棱镜的不同面中。
14.根据权利要求1所述的显示系统，还包括光瞳中继组合器目镜，其被配置为将所述图像光中继到所述观看者的眼睛，其中，所述选择性激活的快门阵列被配置为调节所述图像光到所述光瞳中继组合器目镜的传播。
15.根据权利要求14所述的显示系统，其中，所述光瞳中继组合器目镜包括波导，所述波导包括：
用于将所述图像光入耦合到所述波导中的入耦合光学元件；以及
用于将入耦合的图像光出耦合出所述波导的出耦合光学元件。
16.根据权利要求15所述的显示系统，其中，所述波导是包括入耦合光学元件和出耦合光学元件的多个波导中的一个波导。
17.根据权利要求1所述的显示系统，其中，所述投影系统的光瞳直径为0.2至0.5mm。
18.一种用于显示图像内容的方法，所述方法包括：
将虚拟对象的一组视差差异的瞳孔内图像从头戴式显示系统注入到观看者的眼睛，
其中，所述瞳孔内图像中的每个图像通过以下来提供：
在所述头戴式显示系统的微显示器上形成所述图像；
通过投影光学器件输出来自所述微显示器的图像光；以及
打开快门阵列中的快门以将图像光通过被打开的快门传播到所述眼睛，其中，所述快门阵列被设置在所述投影光学器件的适眼区体积内，
其中，所述一组视差差异的瞳孔内图像中的不同图像通过不同的被打开的快门来传播。
19.根据权利要求18所述的方法，其中，在闪光融合阈值内将所述一组视差差异的瞳孔内图像中的所有图像注入到所述眼睛。
20.根据权利要求18所述的方法，其中，所述闪光融合阈值为1/60秒。
21.根据权利要求18所述的方法，还包括：
确定要被显示给所述观看者的所述虚拟对象的期望深度平面；
基于所述期望深度平面，确定所述选择性激活的快门阵列中的要被打开的快门；以及
使所述一组视差差异的瞳孔内图像中的不同图像的呈现与所述快门中的不同快门的打开同步。
22.根据权利要求18所述的方法，还包括：
使用眼睛跟踪传感器来确定所述眼睛的凝视；以及
基于所确定的眼睛的凝视来选择所述瞳孔内图像的内容。
23.根据权利要求18所述的方法，其中，所述微显示器是发射式微显示器。
24.根据权利要求18所述的方法，其中，所述快门阵列包括可选择性移动的物理结构。
25.根据权利要求18所述的方法，其中，所述快门阵列包括具有可逆变化的状态的化学物质，所述状态提供不同的光传输量。
26.根据权利要求18所述的方法，其中，所述不同图像提供所述虚拟对象的不同视图。
27.一种头戴式显示系统，包括：
微显示器，其包括光发射器组的阵列；
覆盖所述光发射器的光准直器阵列，其中，每个光准直器与所述光发射器组中的一个光发射器组相关联并且延伸跨越相关联的光发射器组中的所有光发射器
投影光学器件，其中，所述光准直器阵列位于所述光发射器与所述投影光学器件之间，
其中，所述显示系统被配置为通过将对象的一组视差差异的瞳孔内图像注入到观看者的眼睛来在深度平面上显示虚拟对象。
28.根据权利要求27所述的显示系统，还包括一个或多个处理器和存储指令的存储器，所述指令在由所述一个或多个处理器执行时，使所述显示系统执行包括以下的操作：
基于由光发射器形成的图像的视差差异的期望水平，确定每个光发射器组中的要激活的光发射器；
激活所述光发射器组中的第一光发射器以形成第一视差差异的瞳孔内图像；以及
激活所述光发射器组中的第二光发射器以形成第二视差差异的瞳孔内图像，
其中，所述第一视差差异的瞳孔内图像和所述第二视差差异的瞳孔内图像提供所述虚拟对象的不同视图。
29.根据权利要求27所述的显示系统，其中，激活所述光发射器组中的所述第一光发射器与激活所述光发射器组中的所述第二光发射器在时间上重叠，以将所述第一视差差异的瞳孔内图像和所述第二视差差异的瞳孔内图像同时注入到所述眼睛。
30.根据权利要求27所述的显示系统，其中，所述光准直器是小透镜。
31.根据权利要求27所述的显示系统，还包括用于将图像光选择性地从不同位置传输到所述眼睛的选择性激活的快门阵列，其中，所述选择性激活的快门阵列被设置在所述投影光学器件的适眼区体积内。
32.根据权利要求31所述的显示系统，其中，所述快门阵列包括可选择性移动的物理结构。
33.根据权利要求31所述的显示系统，其中，所述快门阵列包括具有可逆变化的状态的化学物质，所述状态提供不同的光传输量。
34.根据权利要求31所述的显示系统，还包括一个或多个处理器和存储指令的存储器，所述指令在由所述一个或多个处理器执行时，使所述显示系统执行包括以下的操作：
确定虚拟对象的期望深度平面；
基于所述期望深度平面，确定所述选择性激活的快门阵列中的要打开的快门；
通过所述图像投影系统将不同图像的呈现与所述快门中的不同快门的打开同步，其中，所述不同图像提供所述虚拟对象的不同视图。
35.根据权利要求27所述的显示系统，其中，所述光准直器是双凸小透镜，所述双凸小透镜被配置为将不同的光束从相关联的光发射器组中的光发射器沿着第一轴提供到不同位置，
其中，所述快门阵列被布置成沿着与所述第一轴正交的第二轴形成子光瞳。
36.根据权利要求27所述的显示系统，其中，所述微显示器是发射式微显示器，其中，所述光发射器是微LED。
37.根据权利要求27所述的显示系统，其中，所述微显示器是多个单色微显示器中的一个，其中，每个所述单色微显示器被配置为发射不同的分量颜色的光。
38.根据权利要求37所述的显示系统，还包括X立方棱镜，其中，每个所述单色微显示器被布置成将图像光输出到所述X立方棱镜的不同面。
39.根据权利要求27所述的显示系统，还包括光瞳中继组合器目镜，其被配置为将所述图像光中继到所述观看者的眼睛，其中，所述选择性激活的快门阵列被配置为调节所述图像光到所述光瞳中继组合器目镜的传播。
40.根据权利要求39所述的显示系统，其中，所述光瞳中继组合器目镜包括波导，所述波导包括：
用于将所述图像光入耦合到所述波导的入耦合光学元件；以及
用于将入耦合的图像光出耦合出所述波导的出耦合光学元件。
41.根据权利要求40所述的显示系统，其中，所述波导是包括入耦合光学元件和出耦合光学元件的多个波导中的一个波导。
42.一种用于显示图像内容的方法，所述方法包括：
将一组视差差异的瞳孔内图像从头戴式显示系统注入到观看者的眼睛，
其中，注入一组视差差异的瞳孔内图像包括：
提供光发射器组的阵列；
提供覆盖所述光发射器的光准直器阵列，其中，每个光准直器与光发射器组相关联；
提供投影光学器件，其中，所述光准直器阵列位于所述光发射器组的阵列与所述投影光学器件之间，
通过从所述光发射器组中的第一光发射器发射光，将第一视差差异的瞳孔内图像注入到所述眼睛；以及
通过从所述光发射器组中的第二光发射器发射光，将第二视差差异的瞳孔内图像注入到所述眼睛。
43.根据权利要求42所述的方法，其中，所述一组视差差异的瞳孔内图像中的每个图像以不同的角度被注入到所述眼睛，并且所述一组视差差异的瞳孔内图像中的所有图像在闪光融合阈值内被注入到所述眼睛。
44.根据权利要求43所述的方法，其中，所述闪光融合阈值为1/60秒。
45.根据权利要求42所述的方法，其中，不同图像提供虚拟对象的不同视图。
46.根据权利要求42所述的方法，其中，注入所述第一视差差异的瞳孔内图像和注入所述第二视差差异的瞳孔内图像被同时执行。
47.根据权利要求42所述的方法，还包括提供选择性激活的快门阵列，用于将图像光选择性地从不同位置传输到所述眼睛，其中，所述选择性激活的快门阵列被设置在所述投影光学器件的适眼区体积内。
48.根据权利要求47所述的方法，其中，所述光准直器是双凸小透镜，所述双凸小透镜被配置为将不同光束从相关联的光发射器组中的光发射器沿着第一轴提供到不同位置，其中，所述快门阵列被布置为沿着与所述第一轴正交的第二轴形成子光瞳。
49.根据权利要求48所述的方法，还包括空间复用由所述光发射器组中的不同光发射器所形成的多个图像，以沿着所述第一轴定位显示子光瞳，以及通过将所述快门的打开与对应光发射器的激活同步来在时间上复用多个图像。
50.根据权利要求47所述的方法，其中，所述快门阵列包括可选择性移动的物理结构。
51.根据权利要求47所述的方法，其中，所述快门阵列包括具有可逆变化的状态的化学物质，所述状态提供不同的光传输量。
52.根据权利要求42所述的方法，其中，注入所述第一视差差异的瞳孔内图像和注入所述第二视差差异的瞳孔内图像包括通过光瞳中继组合器目镜将光从所述光发射器路由到所述眼睛。
53.根据权利要求52所述的方法，其中，所述光瞳中继组合器目镜包括波导，所述波导包括：
用于将图像光入耦合到所述波导中的入耦合光学元件；以及
用于将入耦合的图像光出耦合出所述波导的出耦合光学元件。
54.根据权利要求42所述的方法，还包括将第二组视差差异的瞳孔内图像从所述头戴式显示系统注入到观看者的第二只眼睛。
CN202080031443.0A 2019-02-28 2020-02-27 使用由光发射器阵列形成的多个瞳孔内视差视图来提供可变适应提示的显示系统和方法 Pending CN113728267A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962812142P 2019-02-28 2019-02-28
US62/812,142 2019-02-28
US201962815225P 2019-03-07 2019-03-07
US62/815,225 2019-03-07
PCT/US2020/020183 WO2020176783A1 (en) 2019-02-28 2020-02-27 Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays

Publications (1)

Publication Number Publication Date
CN113728267A true CN113728267A (zh) 2021-11-30

Family

ID=72238540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080031443.0A Pending CN113728267A (zh) 2019-02-28 2020-02-27 使用由光发射器阵列形成的多个瞳孔内视差视图来提供可变适应提示的显示系统和方法

Country Status (5)

Country Link
US (3) US11287657B2 (zh)
EP (1) EP3931625A4 (zh)
JP (2) JP2022521974A (zh)
CN (1) CN113728267A (zh)
WO (1) WO2020176783A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102603745B1 (ko) 2016-10-21 2023-11-17 매직 립, 인코포레이티드 다수의 동공내 시차 뷰들을 제공함으로써 다수의 깊이평면들 상에 이미지 콘텐츠를 제공하기 위한 시스템 및 방법
JP2022521974A (ja) 2019-02-28 2022-04-13 マジック リープ， インコーポレイテッド 光エミッタアレイによって形成される複数の瞳孔内視差ビューを使用して可変遠近調節キューを提供するためのディスプレイシステムおよび方法
US11209657B2 (en) 2020-01-24 2021-12-28 Valve Corporation Position tracking system for head-mounted display systems that includes angle sensitive detectors
US11073906B1 (en) 2020-01-27 2021-07-27 Valve Corporation Eye tracking system for head-mounted display devices
JP2023512393A (ja) 2020-02-03 2023-03-27 バルブ コーポレーション ディスプレイバックライトのための空間変化偏光子
EP4100782A4 (en) 2020-02-06 2024-03-06 Valve Corp VARIABLE OPTICAL CORRECTION USING SPATIAL VARIATION POLARIZERS
WO2021158679A1 (en) 2020-02-06 2021-08-12 Valve Corporation Spatially and time varying polarization correction optic for scan beam systems
KR20220130809A (ko) 2020-02-06 2022-09-27 밸브 코포레이션 머리-착용 디스플레이 시스템들에 대한 위치 추적 시스템
CN114902113A (zh) 2020-02-06 2022-08-12 威尔乌集团 用于头戴式显示系统的偏振复用光学器件
WO2021158677A1 (en) 2020-02-06 2021-08-12 Valve Corporation Viewing field-based optical correction using spatially varying polarizers
CN114868052A (zh) 2020-02-06 2022-08-05 威尔乌集团 头戴式显示系统的线栅偏振器的偏振补偿
JP2023512871A (ja) 2020-02-06 2023-03-30 バルブ コーポレーション 照明光学素子のためのマイクロレンズアレイ偏光再利用光学素子
CN114787672A (zh) 2020-02-06 2022-07-22 威尔乌集团 用于显示系统的校正偏振补偿光学部件
US11733446B2 (en) 2020-02-11 2023-08-22 Valve Corporation Polarization-based multiplexing of diffractive elements for illumination optics
EP4104004A4 (en) 2020-02-11 2024-03-06 Valve Corp POLARIMETRY CAMERA FOR HIGH FIDELITY SURFACE CHARACTERIZATION MEASUREMENTS
CN111341809A (zh) * 2020-03-06 2020-06-26 武汉华星光电半导体显示技术有限公司 显示面板及显示装置
EP4154050A1 (en) * 2020-05-22 2023-03-29 Magic Leap, Inc. Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions
WO2022104229A1 (en) * 2020-11-13 2022-05-19 Raxium, Inc. Eyebox expanding viewing optics assembly for stereo-viewing
US11947134B2 (en) 2021-01-22 2024-04-02 National Taiwan University Device of generating 3D light-field image
TWI786525B (zh) * 2021-01-22 2022-12-11 國立臺灣大學 光場產生裝置
US11493773B2 (en) 2021-06-07 2022-11-08 Panamorph, Inc. Near-eye display system
WO2022271430A1 (en) * 2021-06-22 2022-12-29 Google Llc Display systems using light extraction configurations for micro light emitting diodes

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590573B1 (en) 1983-05-09 2003-07-08 David Michael Geshwind Interactive computer system for creating three-dimensional image information and for converting two-dimensional image information for three-dimensional display systems
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
JPH0991468A (ja) 1995-09-22 1997-04-04 Nippon Telegr & Teleph Corp <Ntt> ３次元画像表示装置および方法
EP0788008B1 (en) 1996-01-31 2006-04-26 Canon Kabushiki Kaisha Stereoscopic image display apparatus whose observation area is widened
US6466185B2 (en) 1998-04-20 2002-10-15 Alan Sullivan Multi-planar volumetric display system and method of operation using psychological vision cues
EP1083755A3 (en) 1999-09-07 2003-11-12 Canon Kabushiki Kaisha Image input apparatus and image display apparatus
JP3492251B2 (ja) 1999-09-07 2004-02-03 キヤノン株式会社 画像入力装置及び画像表示装置
JP2002131694A (ja) 2000-10-26 2002-05-09 Mixed Reality Systems Laboratory Inc 画像観察装置及びそれを用いた画像観察システム
JP2002228978A (ja) 2001-02-02 2002-08-14 Mixed Reality Systems Laboratory Inc 立体画像表示装置
JP2002228987A (ja) 2001-02-05 2002-08-14 Teruyasu Yamamoto 金属のパッドアーム
US8521411B2 (en) 2004-06-03 2013-08-27 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
CN100588265C (zh) * 2004-07-22 2010-02-03 汤姆森许可公司 用于单个成像器微显示的离散的高开关速度的照明几何结构
US20100232016A1 (en) * 2005-09-28 2010-09-16 Mirage Innovations Ltd. Stereoscopic Binocular System, Device and Method
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
CN102341740B (zh) 2009-06-22 2015-09-16 财团法人工业技术研究院 发光单元阵列、其制造方法和投影设备
JP2011244349A (ja) 2010-05-20 2011-12-01 Nikon Corp 表示装置および表示方法
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US9348143B2 (en) 2010-12-24 2016-05-24 Magic Leap, Inc. Ergonomic head mounted display device and optical system
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
EP3462286A1 (en) 2011-05-06 2019-04-03 Magic Leap, Inc. Massive simultaneous remote digital presence world
JP2012253690A (ja) 2011-06-06 2012-12-20 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
JP6110866B2 (ja) 2011-10-28 2017-04-05 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
WO2013074978A1 (en) 2011-11-17 2013-05-23 Datalogic ADC, Inc. Systems and methods for reading color optical codes
AU2012341069B2 (en) 2011-11-23 2018-04-05 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
US8848006B2 (en) 2012-01-25 2014-09-30 Massachusetts Institute Of Technology Tensor displays
RU2015156050A (ru) 2012-04-05 2019-01-18 Мэджик Лип, Инк. Устройство формирования изображения с широким полем обзора (fov) с возможностью активного наведения взора на цель
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
EP2859403B1 (en) 2012-06-11 2022-10-19 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9841563B2 (en) * 2012-08-04 2017-12-12 Paul Lapstun Shuttered waveguide light field display
EP2895910A4 (en) 2012-09-11 2016-04-20 Magic Leap Inc ERGONOMIC HEAD-MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM
US10151875B2 (en) 2013-01-15 2018-12-11 Magic Leap, Inc. Ultra-high resolution scanning fiber display
JP6123342B2 (ja) 2013-02-20 2017-05-10 ソニー株式会社 表示装置
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
CN108427504B (zh) 2013-03-15 2021-06-11 奇跃公司 显示系统和方法
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) * 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
KR102341870B1 (ko) 2013-10-16 2021-12-20 매직 립, 인코포레이티드 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들
CN107315249B (zh) 2013-11-27 2021-08-17 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
KR20150086799A (ko) 2014-01-20 2015-07-29 한국전자통신연구원 휴대용 디바이스를 위한 광섬유 어레이 백라이트를 이용한 홀로그래픽 디스플레이 장치 및 방법
US10317690B2 (en) 2014-01-31 2019-06-11 Magic Leap, Inc. Multi-focal display system and method
AU2015210704B2 (en) 2014-01-31 2019-05-30 Magic Leap, Inc. Multi-focal display system and method
WO2015134738A1 (en) * 2014-03-05 2015-09-11 Arizona Board Of Regents On Behalf Of The University Of Arizona Wearable 3d augmented reality display
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP6201836B2 (ja) 2014-03-14 2017-09-27 ソニー株式会社 光学装置及びその組立方法、ホログラム回折格子、表示装置並びにアライメント装置
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
AU2015297036B2 (en) 2014-05-09 2017-09-28 Google Llc Systems and methods for discerning eye signals and continuous biometric identification
NZ764905A (en) 2014-05-30 2022-05-27 Magic Leap Inc Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
US10261318B2 (en) 2014-09-29 2019-04-16 Magic Leap, Inc. Architectures and methods for outputting different wavelength light out of waveguides
CN104749779B (zh) 2014-12-24 2017-06-06 张璁 双屏头盔显示器
CN104570366A (zh) 2015-01-16 2015-04-29 中国科学院上海光学精密机械研究所 一种具有手势识别功能的全息头盔显示器
WO2016134037A1 (en) * 2015-02-17 2016-08-25 Thalmic Labs Inc. Systems, devices, and methods for eyebox expansion in wearable heads-up displays
RU2677932C1 (ru) 2015-03-10 2019-01-22 Минору ИНАБА Средство стереопросмотра
NZ773831A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US9651786B1 (en) * 2015-05-05 2017-05-16 SA Photonics, Inc. Systems and methods for augmented reality devices with light security
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
WO2017011799A1 (en) * 2015-07-15 2017-01-19 Nyqamin Dynamics Llc Head-up display
EP3335418A1 (en) * 2015-08-14 2018-06-20 PCMS Holdings, Inc. System and method for augmented reality multi-view telepresence
US9940701B2 (en) * 2015-09-25 2018-04-10 Intel Corporation Device and method for depth image dequantization
US11231544B2 (en) * 2015-11-06 2022-01-25 Magic Leap, Inc. Metasurfaces for redirecting light and methods for fabricating
CN112367513B (zh) * 2016-05-06 2022-06-17 深圳市大疆创新科技有限公司 导航系统和用于感测环境的方法
US20180025640A1 (en) * 2016-07-19 2018-01-25 Ford Global Technologies, Llc Using Virtual Data To Test And Train Parking Space Detection Systems
CN106485233B (zh) 2016-10-21 2020-01-17 深圳地平线机器人科技有限公司 可行驶区域检测方法、装置和电子设备
KR102603745B1 (ko) 2016-10-21 2023-11-17 매직 립, 인코포레이티드 다수의 동공내 시차 뷰들을 제공함으로써 다수의 깊이평면들 상에 이미지 콘텐츠를 제공하기 위한 시스템 및 방법
JP6642497B2 (ja) * 2017-03-14 2020-02-05 オムロン株式会社 表示装置
JP6662333B2 (ja) * 2017-03-14 2020-03-11 オムロン株式会社 表示装置
GB2551870B (en) 2017-04-07 2020-04-01 Dualitas Ltd Holographic projector
JP2018206149A (ja) * 2017-06-06 2018-12-27 オムロン株式会社 入力装置
US10836379B2 (en) * 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking
JP6695062B2 (ja) * 2018-03-29 2020-05-20 パナソニックＩｐマネジメント株式会社 表示システム、制御装置、制御方法、プログラム、及び移動体
JP2022521974A (ja) 2019-02-28 2022-04-13 マジック リープ， インコーポレイテッド 光エミッタアレイによって形成される複数の瞳孔内視差ビューを使用して可変遠近調節キューを提供するためのディスプレイシステムおよび方法
US10755571B1 (en) * 2019-03-01 2020-08-25 Amazon Technologies, Inc. Identifying parking location using single camera reverse projection
US11550324B2 (en) * 2019-09-30 2023-01-10 Zoox, Inc. Parking zone detection for vehicles

Also Published As

Publication number Publication date
US20240036331A1 (en) 2024-02-01
JP2023058677A (ja) 2023-04-25
WO2020176783A1 (en) 2020-09-03
EP3931625A4 (en) 2022-11-23
EP3931625A1 (en) 2022-01-05
US20200301147A1 (en) 2020-09-24
US20220221724A1 (en) 2022-07-14
US11815688B2 (en) 2023-11-14
US11287657B2 (en) 2022-03-29
JP2022521974A (ja) 2022-04-13

Similar Documents

Publication Publication Date Title
US11815688B2 (en) Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays
US11614628B2 (en) System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views
US11256095B2 (en) Reflective switching device for inputting different wavelengths of light into waveguides
CN109074785B (zh) 减少用电的显示系统以及用于减少显示系统的用电的方法
CN113508580A (zh) 具有左右眼共享显示器的增强和虚拟现实显示系统
CN113631973A (zh) 串列耦入光学元件
CN113647085A (zh) 具有一维像素阵列和扫描镜的显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination