CN109073891B - 用于近眼显示的双眼图像对准 - Google Patents

用于近眼显示的双眼图像对准 Download PDF

Info

Publication number
CN109073891B
CN109073891B CN201780023401.0A CN201780023401A CN109073891B CN 109073891 B CN109073891 B CN 109073891B CN 201780023401 A CN201780023401 A CN 201780023401A CN 109073891 B CN109073891 B CN 109073891B
Authority
CN
China
Prior art keywords
eye
image
alignment
optical system
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780023401.0A
Other languages
English (en)
Other versions
CN109073891A (zh
Inventor
A·特拉维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109073891A publication Critical patent/CN109073891A/zh
Application granted granted Critical
Publication of CN109073891B publication Critical patent/CN109073891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0077—Adaptation of holography to specific applications for optical manipulation, e.g. holographic optical tweezers [HOT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

一种近眼显示设备包括左眼光学系统和右眼光学系统。左眼光学系统和右眼光学系统中的每一者都包括位于用户眼睛的视野中的光偏转光学组件、被配置成发射成像光的图像源、以及对准光学组件，其中图像源和光偏转光学组件之间的投影光束路径和对准光学组件与光偏转组件之间的对准光束路径共享共同的光学路径。

Description

用于近眼显示的双眼图像对准
背景
近眼显示设备可向用户的眼睛提供虚拟图像以提供沉浸式增强现实体验。可以以各种方式提供虚拟图像。在一个示例中，近眼显示设备可包括图像源，该图像源被配置为经由一个或多个光学组件沿着光学路径将图像投影到用户的眼睛。
概述
公开了与近眼显示设备的双眼对准有关的示例。在一个示例中，近眼显示设备包括左眼光学系统和右眼光学系统。左眼光学系统和右眼光学系统中的每一者都包括位于用户眼睛的视野中的光偏转光学组件、被配置成发射成像光的图像源、以及对准光学组件，其中图像源和光偏转光学组件之间的投影光束路径和对准光学组件与光偏转组件之间的对准光束路径共享共同的光学路径。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的概念的选集。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。
附图简述
图1示出了示例近眼显示设备。
图2A-2B示出了用于近眼显示设备的示例光学系统。
图3示出了近眼显示设备，其包括具有可见光相机形式的旨在获取物理空间的图像的左眼和右眼对准光学组件。
图4示出了近眼显示设备，其包括具有可见光相机形式的旨在获取用户的图像的左眼和右眼对准光学组件。
图5示出了近眼显示设备，其包括具有红外相机形式的旨在获取物理空间的图像的左眼和右眼对准光学组件。
图6示出了近眼显示设备，其包括具有红外相机形式的旨在获取用户的图像的左眼和右眼对准光学组件。
图7示出了近眼显示设备，其包括具有红外投影仪形式的被配置为朝向物理空间发射不同的红外光图案的左眼和右眼对准光学组件。
图8示出了近眼显示设备，其包括具有红外投影仪形式的被配置为朝向用户发射不同的红外光图案的左眼和右眼对准光学组件。
图9A-9B示出了近眼显示设备，其包括具有红外投影仪形式的被配置为根据时间复用方案发射红外光的左眼和右眼对准光学组件。
图10示出了用于对准左眼图像和右眼图像的示例方法。
图11示出了示例计算系统。
图12A-12B示出了用于近眼显示设备的另一示例光学系统。
详细描述
双眼近眼显示设备可将单独的虚拟图像投影到用户的左眼和右眼中的每一者以提供沉浸式增强现实体验。如下面更详细地描述的，双眼近眼显示设备可包括用于用户的左眼和右眼中的每一者的单独的光学系统，其中每个光学系统都包括被配置为通过光学组件(例如，光导)投影虚拟图像的图像源。光学组件将虚拟图像引导到体全息图，该体全息图将虚拟图像向用户的眼睛引导。
在此类设备中，存在左眼和右眼虚拟图像可能无法正确对准的风险。例如，由于左眼和右眼光学系统中任一个光学系统中的一个或多个光学组件屈曲、扭曲或以其他方式变形，则单独的左眼和右眼光学系统可能会变得失准。在具有柔性框架的设备中，此类光学组件可能在近眼显示设备放置在用户的头部期间和/或在其他情况下变形。被投影到左眼和右眼中的每一者的虚拟图像的此类失准，即使程度很小，也可能导致立体图像的失准呈现。
因此，公开了涉及校准双眼近眼显示设备的单独的左眼和右眼光学系统以将单独投影的虚拟图像对准到用户的左眼和右眼的示例。如下面更详细地描述的，左眼光学系统和右眼光学系统中的每一者都包括光学组件，该光学组件被布置为形成图像光和对准光两者都沿其行进的共同的光学路径。图像光被用于形成虚拟图像，并且对准光被用于校准双眼近眼显示设备的左眼和右眼光学系统，以将提供给用户的左眼的左眼图像与提供给用户的右眼的右眼图像对准。因为图像光和对准光两者在每个光学系统中都使用共同的光学路径，所以该共同的光学路径的变形对光学系统的图像光和对准光具有相同的影响。因此，即使在左眼或右眼光学路径中的任何一者变形的情况下，由左眼光学系统和右眼光学系统提供的图像也可相对于彼此对准。
图1示出了双眼近眼显示设备100的各方面。显示设备100包括安装到被配置成搁在穿戴者的头上的框架104的右眼和左眼光学系统102R和102L。右眼和左眼光学系统102中的每一者都包括光偏转图像显示部件，其被配置为将计算机化的虚拟图像投影到穿戴者的视野(FOV)中的左和右显示窗106R和106L中。在一个示例中，光偏转图像显示部件包括被配置为偏转图像光的一个或多个全息光学组件。下面参考图2A-2B和3-9更详细地描述代表右眼和左眼光学系统102R和102L的示例光学系统200。
在一些实现中，右和左显示窗106R和106L从穿戴者的角度看是全部或部分透明的，以便给予穿戴者他或她的周围环境的清晰视图。在一些实现中，右和左显示窗106R、106L是不透明的，使得穿戴者完全置身于经由近眼显示设备提供的虚拟现实(VR)图像。在一些实现中，右和左显示窗106R、106L的不透明度可经由变暗滤光器来动态地控制。因此，基本上透视的显示窗可被切换成完全不透明以用于完全沉浸式虚拟现实体验。
显示设备100包括板上计算系统108，该板上计算系统108被配置为呈现计算机化的显示图像，该计算机化的显示图像经由右眼和左眼光学系统102被提供给右和左显示窗106。计算系统108被配置为向右显示窗106R发送适当的控制信号，使右显示窗形成右显示图像。同样地，计算系统108被配置为向左显示窗106L发送适当的控制信号，使左显示窗形成左显示图像。显示设备100的穿戴者分别用右和左眼查看右和左显示图像。当右和左显示图像被组成并以适当的方式呈现时，穿戴者体验虚拟图像的感知(即，在特定位置并具有特定3D内容和其它显示属性的一个或多个虚拟对象)。这样的虚拟图像可具有任何所需的复杂性；例如，它可包括具有前景和背景部分两者，或者前景和背景之一而不包括另一部分的完全虚拟场景。
显示设备100的操作附加地或替换地由与显示设备100通信的(例如，远离显示设备100的)一个或多个计算设备控制。计算系统108可包括逻辑子系统和存储子系统，如下面参考图11更详细地讨论的。
计算系统108与显示设备100的各种传感器和视觉系统组件通信，以向计算系统108提供信息。此类传感器可包括但不限于位置感测部件110、面向世界的视觉系统112和面向穿戴者的视觉系统114。位置感测部件110可由计算系统108使用以在适当的参考系中确定显示设备100的位置和取向。在一些实现中，位置感测部件110提供显示系统的三个笛卡尔坐标的六个自由度(6DOF)估计，加上绕这三个笛卡尔轴中的每一者的旋转。为此，位置感测部件110可包括加速度计、陀螺仪、磁力计和全球定位系统(GPS)接收器中的任一者，一些或每一者。位置感测部件110的输出被用来将虚拟显示对象的位置、大小和取向映射到右和左显示窗106。
面向世界的机器视觉系统112可包括彩色或单色平面成像相机、深度成像相机和红外投影仪中的一者或多者。术语“相机”在本文中指的是具有被配置成对场景或对象进行成像的至少一个光学光圈和传感器阵列的任何机器-视觉组件。深度成像相机可被配置成获取场景或对象的深度图的时间分辨的序列。在一些实现中，分立的平面成像和深度成像相机可布置有以相同方向定向的平行光轴。在一些实现中，来自平面成像和深度成像相机的图像或视频输出可被协配准并被组合成统一(例如，RGB+深度)数据结构或流。在其中深度成像相机是适当配置的飞行时间深度成像相机的示例中，表示深度和亮度两者(例如，IR+深度)的数据流可通过组合相位上不同的输出来获得。
红外投影仪被配置为向物理空间发射红外对准光。红外对准光可从物理空间反射回显示设备100，并且由左眼和右眼光学系统102R和102L中的每一者的相机成像。
面向世界的视觉系统112可被配置为测量显示设备100周围的物理空间的环境属性。在一些示例中，计算系统108可使用此类环境数据来确定显示设备100的位置和取向，利用右眼光学系统102R来校准左眼光学系统102L以将由左眼光学系统102L呈现给用户的左眼的虚拟图像与由右眼光学系统102R呈现给用户的右眼的虚拟图像对准，将由左眼光学系统102L和右眼光学系统102R呈现的虚拟图像与物理空间对准，和/或执行其他操作。
在一些实现中，显示设备100可包括面向穿戴者的机器视觉系统114。面向穿戴者的机器视觉系统114可包括彩色或单色平面成像相机、深度成像相机和/或红外投影仪中的一者或多者。面向穿戴者的视觉系统114被配置为测量显示设备100的穿戴者的属性。在一些示例中，计算系统108使用此类属性数据来利用右眼光学系统102R校准左眼光学系统102L，以及确定穿戴者的眼睛的位置、凝视向量、凝视目标、瞳孔位置、头部取向、眼睛注视速度、眼睛注视加速度、眼睛注视方向角度的变化、和/或任何其他合适的眼睛跟踪信息。
在一些实现中，计算系统108可包括对象识别引擎，该对象识别引擎被配置为将由视觉系统112和114解析的对象与存储在数据库中或启发式地定义的多个对象进行比较，并标识匹配。对象识别引擎116可被用于利用右眼光学系统102R校准左眼光学系统102L。此外，在一些实现中，对象识别引擎116可被用于将由左眼光学系统102L生成的虚拟图像与右眼光学系统102R和与物理空间对准。
图2A-2B以简化形式示出了示例光学系统200。光学系统200是可用作图1的显示设备100的左眼光学系统102L和右眼光学系统102R，和/或与任何其他合适的近眼显示设备一起使用的系统的示例。图2A示出了向用户眼睛202提供图像光201的光学系统200，而图2B示出了根据所使用的对准方法发射或接收对准光203的光学系统200。对准光203被用于利用相应的右眼光学系统来校准光学系统200，如下面进一步详细讨论的。
如图2A所示，图像源204将图像光201输出给光束分束器206。图像源204可采用任何合适的形式，包括但不限于液晶显示器(LCD)或硅上液晶(LCOS)显示器。图像源204可采用任何合适的背光源或其他照明源。在一个示例中，图像源204可包括一个或多个激光源(例如，激光二极管)，以向光束分离器206提供空间上相干的图像光201。激光具有窄的线宽(例如，以单一波长发射光)，当被全息图衍射时，其可产生很少或不产生可察觉的彩虹效应。图像源204可以以任何合适的方式将图像光201提供给光束分束器206。在一些实施方案中，图像源204可以以固定的入射角将图像光201提供给光束分束器206。在其他实现中，图像源204可改变图像光201被提供给光束分束器206的入射角。
图像光201沿着光学路径从图像源204，通过光束分束器206，并到达透镜208。可使用任何合适类型的光束分束器206，包括但不限于介电镜、棱镜立方体和偏振光束分束器。在一些实现中，可从光学系统200省略光束分束器206，并且图像光201可直接从图像源204行进到透镜208，或可行进通过不同的光学组件。
透镜208被配置为以合适的角度引导图像光201进入波导210。在其他实施方式中，光学系统200可附加地或替换地包括输入耦合棱镜、浮雕光栅、体全息图、倾斜衍射光栅、或其他耦合结构。
图像光201可通过全内反射传播通过波导210，直到其在光偏转光学组件212处离开波导210。波导210可采取任何合适的形式。在所例示的实现中，波导210具有楔形形状。在其他实现中，波导210可具有更均匀的厚度。
在用户眼睛202的视野中，光偏转光学组件212被定位在波导210附近。在一个示例中，光偏转光学组件212包括全息光学组件。在另一示例中，光偏转光学组件212包括浮雕光栅。在又一示例中，光偏转光学组件212包括菲涅耳(Fresnel)透镜。光偏转光学组件212可被配置为以任何合适的方式在不同的方向上偏转不同的光束。
在所例示的示例中，光偏转光学组件212是根据全息光学组件描述的，但可在其他示例中采用其他形式。全息光学组件212包括全息薄膜，该全息薄膜被应用于图1的显示设备100的显示窗106的至少一部分。全息光学组件212可位于相对于光学系统200的其他组件的任何合适的位置。此外，全息光学组件212可具有任何合适的形状和/或取向。全息光学组件212包括图像全息图214和对准全息图216。在一些实现中，图像全息图214和对准全息图216被记录在全息光学组件212上相同或空间重叠的位置，而在其他示例中，这些全息图可具有不同的位置(例如，形成在不同的层中)。
图像全息图214被配置为将图像光201衍射到用户的眼睛202以产生虚拟图像。以此方式，图像光201沿着在光束分束器206和光偏转光学组件212之间延伸的投影光束路径行进。
此外，对准全息图216被配置为重定向用于对准左眼和右眼光学系统的对准光。如此，光学系统200进一步包括对准光学组件218。在各种实现中，并且如图2B所示，对准光学组件218被配置为提供或接收对准光203。在一些实现中，对准光学组件218包括被配置为从经接收的对准光203获取对准图像的相机。在此类实现中，对准光203经由对准全息图216进入光学系统200，该对准全息图216以适当的角度将对准光衍射进入波导210中，以使对准光203完全通过波导210内部反射。对准光203通过波导210传播，并且朝向透镜208离开波导210。透镜208将对准光203引导到光束分束器206中，其在此示例中被配置为将对准光203引导到相机以获取对准图像。以此方式，对准光203沿着在光束分束器206和光偏转光学组件212之间延伸的对准光束路径行进。
光束分束器206可基于图像光201和对准光203之间不同的任何合适的光学特性在不同的方向上引导光。示例包括但不限于波长和偏振态。在光束分束器是偏振光束分束器的情况下一个或多个偏振器(未示出)可被包括在光学系统200中。
在其他实现中，对准光学组件218包括被配置成发射红外对准光203的红外投影仪。相对对准光学组件218包括相机的实现而言，红外对准光203沿着相同的对准光束路径但以相反方向行进通过光学系统200。在此类实现中，红外投影仪朝向光束分束器206发射红外对准光203。光束分束器206将红外对准光203引导通过透镜208并进入波导210。红外对准光203通过波导传播到对准全息图，其将光重定向到物理环境中。在对准光学组件218发射红外光的实现中，显示设备可进一步包括红外相机(例如，图1的视觉系统112或114中的任一者的深度相机)，该红外相机被配置为捕捉从物理空间反射的红外对准光203的图像以形成红外对准图像，该红外对准图像是二维图像或深度图像。
因此，光学系统200定义在光束分束器206和全息光学组件212之间延伸的共同的光学路径，沿着该共同的光学路径，图像光201沿着投影光束路径行进，而对准光203沿着对准光束路径行进。
因为图像光201和对准光203共享在光束分束器206和全息光学组件212之间延伸的共同的光学路径，所以引导到对准光学组件218或从对准光学组件218引出的对准光束在与从图像源204发射的图像光束相同的位置处穿过全息光学组件212。此光学关系对于全息光学组件212的每个像素都是正确的。结果，提供给用户眼睛202的虚拟图像以与由相机获取的图像相同的方式失真。
图2A-2B还示意性地示出了控制光学系统200的操作的计算系统220。计算系统220可对应于图1的计算系统108，并且可控制左眼和右眼光学系统两者。除了其他操作之外，计算系统220被配置为将右眼图像源204与左眼光学系统的对应图像源对准，并控制图像源204以向用户右眼202提供与提供给用户左眼的虚拟图像对准的虚拟图像。
计算系统220被配置为基于从对准光203生成的对准图像校准每个光学系统的图像源，例如，以有助于补偿由于变形(例如，扭曲或屈曲)导致的任一光学系统中的各种失真，并从而对准提供给每个用户眼睛的虚拟图像。例如，计算系统220可被配置为确定由左眼光学系统的图像源和右眼光学系统的图像源提供的虚拟图像的位置偏移(例如，沿着视野的X轴和/或Y轴)。此外，计算系统220被配置为基于所确定的位置偏移来校准这些图像源，以便对准左眼和右眼虚拟图像。在另一示例中，计算系统220可被配置为调整一个或多个图像源以使由图像源产生的虚拟图像的至少一部分失真(例如，拉伸、收缩)以补偿相关联的光学系统的任何变形。计算系统220可被配置为在校准过程期间调整任何合适的图像产生参数以对准虚拟图像。
图3-9示出了具有在立体显示系统中用于对准由左眼和右眼光学系统产生的图像的对准光学组件的不同布置的近眼显示设备的各种实现。示出了提供和/或接收各种光线的各种实现。注意，光线是出于说明目的示出的，不是按比例绘制的，并且可能不是实现所使用的光学路径的精确表示。
图3示出了包括左眼光学系统302L和右眼光学系统302R的显示设备300。左眼光学系统302L包括具有可见光相机304L形式的对准光学组件，而右眼光学系统302R还包括具有可见光相机304R形式的对准光学组件。左眼光学系统302L进一步包括全息光学组件306L，该全息光学组件306L被配置为将环境对准光308L从物理空间310引导到相机304L。相机304L被配置为基于对准光308L获取物理空间310的对准图像。此外，全息光学组件306L被配置为将来自图像源314L的图像光引导到用户的左眼，使得用户的左眼查看左眼图像。
同样地，右眼光学系统302R包括全息光学组件306R，该全息光学组件306R被配置为将环境对准光308R从物理空间310引导到相机304R。相机304R被配置为基于对准光308R获取物理空间310的对准图像。此外，全息光学组件306R被配置为将来自图像源314R的图像光引导到用户的右眼，使得用户的右眼查看右眼图像。
计算系统312被配置为基于由相机304L获取的对准图像和由相机304R获取的对准图像来校准左眼光学系统302L的图像源314L和右眼光学系统302R的图像源314R以便将左眼图像和右眼图像对准。
显示设备300还包括面向外的相机316，该面向外的相机316被配置为从不行进通过左眼或右眼光学系统的光获取物理空间310的对准图像(例如，该面向外的相机316位于这两个光学系统的外部)。此对准图像也可被称为外部对准图像，因为它是经由左眼和右眼光学系统外部的相机获取的。换言之，面向外的相机316从直接接收自物理空间310的光获取外部对准图像。面向外的相机316可以是可见光相机，其被配置为从环境光获取外部对准图像，或者可采用任何其他合适的形式。面向外的相机316可定位在显示设备300上的任何合适的位置，例如，位于左眼显示器和右眼显示器之间的位置。在一个示例中，面向外的相机316表示被包括在图1的显示设备100的面向世界的视觉系统112中的相机。
由于面向外的相机316被配置为从不行进通过光学系统302L、302R中的任一者而是直接收集自物理空间310的环境光获取外部对准图像，因此外部对准图像不受由光学系统302L、302R中的任一者的变形所引起的任何失真。外部对准图像可包括物理空间310的区域，该物理空间310的区域至少部分地与由相机304L、304R获取的每个对准图像中包括的物理空间310的区域重叠。
计算系统312被配置为基于由相机304L获取的对准图像、由相机304R获取的对准图像、以及由面向外的相机316获取的外部对准图像的校准，将由图像源314L产生的左眼图像和由图像源314R产生的右眼图像与物理空间310对准。例如，计算系统312可被配置为基于各对准图像之间的空间配准将左眼图像和右眼图像中的虚拟对象与物理空间310的一个或多个现实世界特征对准。
计算系统312可被配置为执行任何合适的机器视觉算法以在空间上配准图像。可由计算系统312采用的机器视觉算法的非限制性示例包括但不限于在线连续立体声参数估计、包含包括束调整的多个误差度量的卡尔曼滤光器、极线约束和三线性约束、以及单眼视觉同时定位和映射(SLAM)。在一些实现中，计算系统312可采用对象识别引擎来执行这些算法中的一者或多者，诸如图1的对象识别引擎116。计算系统312可执行任何这些和/或任何其他合适的机器视觉操作作为对准过程的一部分。
图4示出了另一示例显示设备400。显示设备400与显示设备300的不同之处在于，显示设备400包括可见光相机以获取用户而不是物理空间的对准图像。可包括左眼和右眼光学系统外部的面向外的相机，但是为了清楚起见在图4中省略。
显示设备400包括左眼光学系统402L和右眼光学系统402R。左眼光学系统402L包括具有可见光相机404L形式的对准光学组件，而右眼光学系统402R包括具有可见光相机404R形式的对准光学组件。左眼光学系统402L包括全息光学组件406L，该全息光学组件406L被配置为将从用户410的面部的一部分反射的对准光408L引导到相机404L以进行成像。全息光学组件406L还被配置为将来自图像源414L的图像光引导到用户的左眼，使得用户的左眼查看左眼图像。同样地，右眼光学系统402R包括全息光学组件406R，该全息光学组件406R被配置为将从用户410的面部的一部分反射的对准光408L引导到相机404L以进行成像。全息光学组件406R还被配置为将来自图像源414R的图像光引导到用户的右眼，使得用户的右眼查看右眼图像。计算系统412被配置为校准左眼光学系统402L的图像源414L和右眼光学系统402R的图像源414R，以基于由相机404L获取的对准图像和由相机404R获取的对准图像对准提供给用户的左眼和右眼的左眼和右眼图像。
图5示出了另一显示设备500。显示设备500与先前描述的配置的不同之处在于显示设备500包括向物理空间发射红外光的红外投影仪。红外光被反射回光学系统的红外相机以将由光学系统提供的左眼和右眼图像对准至用户的眼睛。
显示设备500包括左眼光学系统502L和右眼光学系统502R。左眼光学系统502L包括具有红外深度相机504L形式的对准光学组件，而右眼光学系统502R还包括具有红外深度相机504R形式的对准光学组件。显示设备500包括红外投影仪518，该红外投影仪518被配置为将红外光520发射到物理空间510中。红外投影仪518可配置为发射任何合适的光。在一个示例中，红外投影仪518以由结构化光红外相机成像的图案发射红外光。在另一示例中，红外投影仪518发射红外光作为由飞行时间红外相机成像的脉冲。在另一示例中，红外投影仪518发射由平面红外相机成像的恒定红外光。
左眼光学系统502L包括全息光学组件506L，该全息光学组件506L被配置为将从物理空间510反射的红外对准光508L引导到深度相机504L以供该相机504L成像。此外，全息光学组件506L被配置为将来自图像源514L的图像光引导到用户的左眼，使得用户的左眼查看左眼图像。同样地，右眼光学系统502R包括全息光学组件506R，该全息光学组件506R被配置为引导从物理空间510反射回来的红外对准光508R以供该相机504R成像。此外，全息光学组件506R被配置为将来自图像源514R的图像光引导到用户的右眼，使得用户的右眼查看右眼图像。计算系统512被配置为校准左眼光学系统502L的图像源514L和右眼光学系统502R的图像源514R，以基于由相机504L获取的红外对准图像和由相机504R获取的红外对准图像对准提供给用户的左眼和右眼的左眼和右眼图像。
显示设备500可选地包括面向外的深度相机516，该面向外的深度相机516被配置为从不行进通过光学系统的红外光获取物理空间510的红外外部深度对准图像。面向外的深度相机516被配置为从由红外投影仪518发射的直接反射自物理空间510的红外光获取红外外部对准图像。面向外的深度相机516可位于显示设备500上的任何合适的位置处。在一个示例中，面向外的深度相机516表示包括在图1的显示设备100的面向世界的视觉系统112中的相机。
面向外的深度相机516从不行进通过光学系统502L、502R中的任一者而是直接收集自物理空间510的红外光获取外部红外对准图像。如此，外部对准图像不受由光学系统502L、502R中的任一者的变形所引起的任何失真。外部对准图像可包括物理空间510的区域，该物理空间310的区域至少部分地与由深度相机504L、504R获取的每个红外对准图像中包括的物理空间310的区域重叠。
计算系统512被配置为基于由深度相机504L获取的红外对准图像、由深度相机504R获取的红外对准图像、以及由面向外的深度相机516获取的红外外部对准图像的校准，将由图像源514L产生的左眼图像和由图像源514R产生的右眼图像与物理空间510对准。例如，计算系统512可被配置为基于各对准图像之间的空间配准将左眼图像和右眼图像中的虚拟对象与物理空间510的现实世界特征对准。
在一些实现中，计算系统512可采用诸如图1的对象识别引擎116之类的对象识别引擎，以将左眼和右眼图像中的虚拟对象与在物理空间中的现实世界对象进行配准。计算系统512可执行任何合适的机器视觉操作作为校准过程的一部分。
图6示出了显示设备600。显示设备600与上文描述的配置的不同之处在于，显示设备利用配置成获取用户而不是物理空间的红外对准图像的红外相机。可包括左眼和右眼光学系统外部的面向外的相机，但是为了清楚起见在图6中省略。
显示设备600包括左眼光学系统602L和右眼光学系统602R。左眼光学系统602L包括具有深度相机604L或其他红外相机形式的对准光学组件，而右眼光学系统602R包括具有深度相机604R或其他红外相机形式的对准光学组件。显示设备600包括红外投影仪618，该红外投影仪618被配置为朝向用户610的至少一部分(例如，用户的脸的一部分)发射红外光620。左眼光学系统602L包括全息光学组件606L，该全息光学组件606L被配置为将从用户610的至少一部分反射回的红外对准光608L引导到深度相机604L以对用户的脸的一部分进行成像。全息光学组件606L还被配置为将来自图像源614L的图像光引导到用户的左眼，使得用户的左眼查看左眼图像。同样地，右眼光学系统602R包括全息光学组件606R，该全息光学组件606R被配置为将从用户610的至少一部分反射回的红外对准光608R引导到深度相机604R以对用户的脸的一部分进行成像。此外，全息光学组件606R还被配置为将来自图像源614R的图像光引导到用户的右眼，使得用户的右眼查看右眼图像。
计算系统612被配置为校准左眼光学系统602L的图像源614L和右眼光学系统602R的图像源614R，以基于由深度相机404L获取的深度对准图像和由深度相机404R获取的深度对准图像对准提供给用户的左眼和右眼的左眼和右眼图像。
图7示出了显示设备700。显示设备700与上文描述的配置的不同之处在于显示设备700包括左眼和右眼光学系统，其包括将红外光发射到显示设备前面的物理空间中的红外投影仪。此外，显示设备700包括面向外的深度相机或其他红外相机，其被配置为从发射自两个红外投影仪和返回自物理空间的红外光获取深度对准图像或其他红外对准图像。
显示设备700包括左眼光学系统702L和右眼光学系统702R。左眼光学系统702L包括具有红外投影仪704L形式的对准光学组件，其被配置为根据第一结构化光图案发射红外对准光708L。同样地，右眼光学系统702R包括具有红外投影仪704R形式的对准光学组件，其被配置为根据与红外对准光708L的第一结构化光图案不同的第二结构化光图案发射红外对准光708R。左眼光学系统702L包括全息光学组件706L，该全息光学组件706L被配置为将红外对准光708L向物理空间710引导。此外，全息光学组件706L被配置为将来自图像源714L的图像光引导到用户的左眼，使得用户的左眼查看左眼图像。同样地，右眼光学系统702R包括全息光学组件706R，该全息光学组件706R被配置为将红外对准光708R向物理空间710引导。此外，全息光学组件706R还被配置为将来自图像源714R的图像光引导到用户的右眼，使得用户的右眼查看右眼图像。
显示设备700附加地包括面向外的深度相机716或其他红外相机，其被配置为基于从物理空间710反射回面向外的深度相机716的红外对准光708L和红外对准光708R获取物理空间710的一个或多个深度对准图像或红外对准图像。面向外的深度相机716可位于显示设备700上的任何合适的位置处。在一个示例中，面向外的深度相机716表示包括在图1的显示设备100的面向世界的视觉系统112中的相机。
计算系统712被配置为校准左眼光学系统702L的图像源714L和右眼光学系统702R的图像源714R，以基于由面向外的深度相机716获取的一个或多个红外对准图像对准提供给用户的左眼和右眼的左眼和右眼图像。在一个示例中，计算系统712被配置为基于由不同光学系统的不同红外投影仪发射的不同结构化光图案来区分两个光学系统。在另一示例中，两个光学系统的两个红外发射器按照相同的图案发射红外光，并且计算系统712被配置为以与上面参考显示设备300的两个可见光相机配置所描述的相同的方式校准两个光学系统的图像源。
图8示出了显示设备800。显示设备800与上文描述的配置的不同之处在于显示设备800包括左眼和右眼光学系统，其包括朝内向用户发射红外光而不是朝外向物理空间发射红外光的红外投影仪。此外，显示设备800包括面向内的深度相机或其他红外相机，其被配置为从发射自两个红外投影仪和返回自用户的红外光获取深度对准图像或其他红外对准图像。
显示设备800包括左眼光学系统802L和右眼光学系统802R。左眼光学系统802L包括具有红外投影仪804L形式的对准光学组件，其被配置为根据第一结构化光图案发射红外对准光808L。同样地，右眼光学系统802R包括具有红外投影仪804R形式的对准光学组件，其被配置为根据与红外对准光808L的第一结构化光图案不同的第二结构化光图案发射红外对准光808R。左眼光学系统802L包括全息光学组件806L，该全息光学组件806L被配置为将红外对准光808L向用户810的至少一部分引导。此外，全息光学组件806L被配置为将来自图像源814L的图像光引导到用户的左眼，使得用户的左眼查看左眼图像。同样地，右眼光学系统802R包括全息光学组件806R，该全息光学组件806R被配置为将红外对准光808R向用户810的至少一部分引导。此外，全息光学组件806R被配置为将来自图像源814R的图像光引导到用户的右眼，使得用户的右眼查看右眼图像。
显示设备800还包括面向内的深度相机816，其被配置为基于从用户810反射回面向内的深度相机816的红外对准光808L和红外对准光808R获取一个或多个深度对准图像或其他红外对准图像。面向内的深度相机816可位于显示设备800上的任何合适的位置处。在一个示例中，面向内的深度相机816表示包括在图1的显示设备100的面向穿戴者的视觉系统114中的相机。
计算系统812被配置为校准左眼光学系统802L的图像源814L和右眼光学系统802R的图像源814R，以基于由面向内的深度相机816获取的一个或多个深度对准图像或其他红外对准图像对准提供给用户的左眼和右眼的左眼和右眼图像。在一个示例中，计算系统812被配置为基于由不同光学系统的不同红外投影仪发射的不同结构化光图案来区分两个光学系统。在另一示例中，两个光学系统的两个红外发射器按照相同的图案发射红外光，并且计算系统812被配置为以与上面参考显示设备300的两个可见光相机配置所描述的相同的方式校准两个光学系统的图像源。
图9A-9B示出了显示设备900。显示设备900与上文描述的配置的不同之处在于显示设备900包括左眼和右眼光学系统，其包括根据时间复用方案将红外光从用户的角度发射到显示设备900前面的物理空间中的红外投影仪。此外，显示设备900包括面向外的深度相机或其他红外相机，其被配置为基于时间复用方案从发射自任一红外投影仪和返回自物理空间的红外光获取深度对准图像或其他红外对准图像。显示设备900包括左眼光学系统902L和右眼光学系统902R。左眼光学系统902L包括具有红外投影仪904L形式的对准光学组件，其被配置为根据时间复用方案发射红外对准光908L。例如，如图9A中所示出的，在时间T1，红外投影仪904L经由全息光学组件906L将红外对准光908L发射到物理空间910。同样地，右眼光学系统902R包括具有红外投影仪904R形式的对准光学组件，其被配置为根据时间复用方案发射红外对准光908R。例如，如图9B中示出的，在时间T1之后的时间T2，红外投影仪904R经由全息光学组件906R将红外对准光908R发射到物理空间910。全息光学组件906L还被配置为将来自图像源914L的图像光引导到用户的左眼，使得用户的左眼查看左眼图像。同样地，全息光学组件906R还被配置为将来自图像源914R的图像光引导到用户的右眼，使得用户的右眼查看右眼图像。
显示设备900进一步包括面向外的深度相机916，其被配置为获取物理空间910的多个红外对准图像。具体而言，根据时间复用方案，不同的红外图像可以与红外对准光908R分开地捕捉红外对准光908L。面向外的深度相机916可位于显示设备900上的任何合适的位置处。在一个示例中，面向外的深度相机916表示包括在图1的显示设备100的面向世界的视觉系统112中的相机。
计算系统912被配置为校准左眼光学系统902L的图像源914L和右眼光学系统902R的图像源914R，以基于由面向外的深度相机916获取的多个深度对准图像对准提供给用户的左眼和右眼的左眼和右眼图像。
由于在不同时间获取不同光学系统的对准图像，所以显示设备的姿态可以在不同的对准图像之间改变。因此，计算系统912可被配置为在基于对准图像校准图像源时补偿姿态的变化，或在确定系统适当静止(例如，根据运动传感器数据)时执行对准。
图10示出了用于校准诸如图1的显示设备100之类的双眼近眼显示设备的图像源的示例方法1000。在1002处，方法1000包括经由一个或多个相机从沿着第一对准光束路径被引导通过位于第一显示器的视野中的第一全息光学组件的对准光获取第一对准图像。例如，第一对准光束路径可从第一全息光学组件延伸通过其中包括第一全息光学组件的相关联的光学系统。
在1004处，方法1000包括经由一个或多个相机从沿着第二对准光束路径被引导通过位于第二显示器的视野中的第二全息光学组件对准光获取第二对准图像。例如，第二对准光束路径可从第二全息光学组件延伸通过其中包括第二全息光学组件的相关联的光学系统。上文描述的对准光行进通过全息光学组件和相关联的光学系统的方向取决于相关联的光学系统的对准光学组件采用相机的形式还是投影仪的形式。
在1006处，方法1000包括基于第一对准图像和第二对准图像校准第一图像源和第二图像源以对准左眼和右眼虚拟图像。例如，校准可包括确定由左眼光学系统的图像源和右眼光学系统的图像源提供的虚拟图像中的一者或两者的位置偏移(例如，沿着视野的X轴和/或Y轴)，并且基于所确定的位置偏移来校准这些图像源，以便对准左眼和右眼虚拟图像。在另一示例中，校准可包括调整一个或多个图像源以使由图像源产生的虚拟图像的至少一部分失真(例如，拉伸、收缩)以补偿相关联的光学系统的任何变形。可在校准过程期间调整图像源的任何合适的图像产生参数以对准虚拟图像。
在一些实现中，校准可进一步包括将左眼和右眼图像与物理空间的外部图像的一个或多个特征对准，其中术语“外部图像”指示该图像是经由左眼和右眼光学系统外部的相机获取的。因此，在1008处，方法1000任选地可包括经由面向外的相机获取物理空间的外部对准图像，并在1010处，基于第一对准图像、第二对准图像以及外部对准图像的校准，将第一图像和第二图像与物理空间的外部对准图像中的一个或多个特征对准。可使用任何合适的算法(包括但不限于上文描述的那些)将第一图像和第二图像与物理空间的外部对准图像对准。
在1012处，方法1000包括经由第一图像源产生沿第一投影光束路径通过第一全息光学组件并从第一显示器导出到用户的第一眼睛的第一图像，其中第一投影光束路径与第一对准光束路径共享共同的光学路径。在1014处，方法1000包括经由第二图像源产生沿第二投影光束路径通过第二全息光学组件并从第二显示器导出到用户的第二眼睛的第二图像，其中第二投影光束路径与第二对准光束路径共享共同的光学路径。
图11示意性地示出了可执行上述方法和过程中的一个或多个的计算系统1100的非限制性实现。以简化形式示出了计算系统1100。计算系统1100可采取以下形式：一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)、虚拟现实设备和/或其他计算设备。例如，计算系统1100可以是图1的显示设备100的计算系统108的非限制性示例。
计算系统1100包括逻辑机1102和存储机1104。计算系统1100可任选地包括显示子系统1106、输入子系统1108、通信子系统1110和/或在图11中未示出的其他组件。
逻辑机1102包括被配置成执行指令的一个或多个物理设备。例如，逻辑机1102可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑机1102可以包括被配置成执行软件指令的一个或多个处理器。附加地或替换地，逻辑机1102可以包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机1102的处理器可以是单核的或多核的，其上执行的指令可以被配置用于串行、并行和/或分布式处理。逻辑机1102的个体组件可任选地分布在两个或更多个分开的设备之间，该设备可以位于远程以及/或者被配置用于协同处理。逻辑机1102的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储机1104包括被配置成保持可由逻辑机1102执行的指令以实现此处描述的方法和过程的一个或多个物理设备。当实现这些方法和过程时，可以变换存储机1104的状态(例如，以保持不同的数据)。
存储机1104可包括可移除和/或内置设备。存储机1104可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)、和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)，等等。存储机1104可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、和/或内容可寻址设备。
应当领会，存储机1104包括一个或多个物理设备。然而，本文中所描述的指令的各方面可替换地通过不由物理设备在有限持续时间内保持的通信介质(例如，电磁信号、光信号等)来传播。
逻辑机1102和存储机1104的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
当包括显示子系统1106时，显示子系统1106可被用来呈现由存储机1104保持的数据的视觉表示。该视觉表示可采取图形用户界面(GUI)的形式。由于本文中所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，因此同样可以转变显示子系统1106的状态以视觉地表示底层数据中的改变。显示子系统1106可包括使用实质上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑机1102和/或存储器机1104组合在共享封装中，或者此类显示设备可以是外围显示设备。作为非限制性示例，显示子系统1106可包括上文描述的近眼显示器。
在包括输入子系统1108时，输入子系统1108包括诸如键盘、鼠标、触摸屏、或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实现中，输入子系统可以包括所选择的自然用户输入(NUI)部件或与其对接。此类部件可以是集成的或外围的，并且输入动作的换能和/或处理可以在板上或板外被处置。NUI部件的示例可包括用于语音和/或声音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体、和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计、和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
当包括通信子系统1110时，通信子系统1110可被配置成将计算系统1100与一个或多个其他计算设备通信地耦合。通信子系统1110可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限定性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网进行通信。在一些实现中，通信子系统1110可允许计算系统1100经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。
图12A-12B示出了另一示例光学系统1200。光学系统1200不是使用光束分束器，而是包括并排配置的图像源和对准光学组件。光学系统1200是可用作图1的显示设备100的左眼光学系统102L和右眼光学系统102R，和/或与任何其他合适的近眼显示设备一起使用的系统的示例。图12A示出了向用户眼睛1200提供图像光1201的光学系统1202，而图12B示出了根据所使用的对准方法发射或接收对准光1203的光学系统1200。对准光1203被用于利用相应的右眼光学系统校准光学系统1200，如上文讨论的。
如图12A所示，图像源1204将图像光1201输出给透镜1208。透镜1208被配置为以合适的角度引导图像光1201进入波导1210。图像光1201可通过全内反射传播通过波导1210，直到其在全息光学组件1212处离开波导1210。全息光学组件1212包括全息薄膜，该全息薄膜被应用于图1的显示设备100的显示窗106的至少一部分。全息光学组件1212包括图像全息图1214和对准全息图1216。图像全息图214被配置为将图像光1201衍射到用户的眼睛1202以产生虚拟图像。以此方式，图像光1201沿着在图像源1204和全息光学组件1212之间延伸的投影光束路径行进。
此外，如图12B所示，对准光学组件1218被配置为提供或接收对准光1203。在一些实现中，对准光学组件1218包括被配置为从经接收的对准光1203获取对准图像的相机。在此类实现中，对准光1203经由对准全息图1216进入光学系统1200，该对准全息图1216以适当的角度将对准光衍射到波导1210中，以使对准光1203完全通过波导1210内部反射。对准光1203通过波导1210传播，并且朝向透镜1208离开波导210。透镜1208将对准光1203引导到相机以获取对准图像。以此方式，对准光1203沿着在全息光学组件1212和对准光学组件1218之间延伸的对准光束路径行进。在此实现中，对准光1203与全息光学组件1212和透镜1208之间的图像光1201共享共同的光学路径，并且对准光1203和图像光1201沿相反的方向行进。
在其他实现中，对准光学组件1218包括被配置成发射红外对准光1203的红外投影仪。相对对准光学组件1218包括相机的实现而言，红外对准光1203沿着相同的对准光束路径但以相反方向行进通过光学系统1200。在此类实现中，红外投影仪发射红外对准光1203，通过透镜1208，并进入波导1210。红外对准光1203通过波导传播到对准全息图，其将光重定向到物理环境中。在对准光学组件1218发射红外光的实现中，显示设备可进一步包括红外相机(例如，图1的视觉系统112或114中的任一者的深度相机)，该红外相机被配置为捕捉从物理空间反射的红外对准光1203的图像以形成红外对准图像，该红外对准图像是二维图像或深度图像。
计算系统1220被配置为利用左眼光学系统的对应图像源校准图像源1204，并控制图像源1204以向用户的右眼1202提供与提供给用户左眼的虚拟图像对准的虚拟图像。具体而言，计算系统1220基于从对准光1203生成的对准图像校准每个光学系统的图像源，例如，以有助于补偿由于变形(例如，扭曲或屈曲)导致的任一光学系统中的各种失真，并从而对准提供给每个用户眼睛的虚拟图像。
在上文描述的配置中，图像源1204和对准光学组件1218以并排配置取向，其中图像光1201的投影光束路径和对准光1203的对准光束路径平行或接近平行。因此，如上文所提及的，可从光学系统1200省略光束分束器，因为图像光1201直接在图像源1204和透镜1208之间行进，而对准光1203直接在对准光学组件1218和透镜1208之间行进。
在另一示例中，一种近眼显示设备包括左眼光学系统和右眼光学系统，左眼光学系统和右眼光学系统中的每一者都包括位于用户眼睛的视野内的光偏转光学组件，被配置为发射成像光的图像源，以及对准光学组件，图像源和光偏转光学组件之间的投影光束路径和对准光学组件与光偏转光学组件之间的对准光束路径共享共同的光学路径。在此示例中，左眼光学系统和右眼光学系统中的每一者替换地或附加地可进一步包括光束分束器，该光束分束器被配置为将共同的光学路径分成1)在光束分束器与对准光学组件之间延伸的对准光束路径和2)在光束分束器与图像源之间延伸的投影光束路径。在此示例中，对准光学组件可替换地或附加地包括被配置为获取对准图像的相机，以及近眼显示设备可进一步包括计算系统，该计算系统被配置为校准左眼光学系统的图像源和右眼光学系统的图像源，以基于由左眼光学系统的相机获取的对准图像和由右眼光学系统的相机获取的对准图像将从由左眼光学系统的图像源发射的成像光产生的左眼图像与从由右眼光学系统的图像源发射的成像光产生的右眼图像对准。在此示例中，相机替换地或附加地可以是可见光相机，并且对准图像替换地或附加地可以是可见光图像。在此示例中，近眼显示设备替换地或附加地可进一步包括红外投影仪，该红外投影仪被配置为发射红外光，相机可以是深度相机，红外光可经由对准光束路径被反射到该深度相机，以及对准图像可以是包括来自该红外投影仪的经反射的红外光的红外光图像。在此示例中，近眼显示设备替换地或附加地可进一步包括面向外的相机，面向外的相机被配置为从不行进通过左眼光学系统或右眼光学系统的光获取物理空间的外部对准图像，以及计算系统替换地或附加地可被配置为基于由左眼光学系统的相机获取的对准图像和由右眼光学系统的相机获取的对准图像和外部对准图像的校准将左眼图像和右眼图像与物理空间的外部对准图像中的一个或多个特征对准。在此示例中，全息光学组件替换地或附加地可被配置为将来自从用户眼睛的视角可通过视野查看的物理空间的一部分的光引导到相机。在此示例中，对准光学组件替换地或附加地可包括红外投影仪，该红外投影仪被配置为经由对准光束路径发射红外光，以及近眼显示设备可进一步包括深度相机，该深度相机被配置为获取由左眼光学系统的红外投影仪发射的红外光和由右眼光学系统的红外投影仪发射的红外光。在此示例中，对准光束路径替换地或附加地可被配置为将红外光向从用户眼睛的视角可通过视野查看的物理空间的一部分引导，以及深度相机可被定位成获取从物理空间反射的红外光。在此示例中，对准光束路径替换地或附加地可被配置为将红外光向近眼显示设备的用户引导，以及深度相机可被定位成获取从用户反射的红外光。在此示例中，左眼光学系统的红外投影仪和右眼光学系统的红外投影仪替换地或附加地可被配置为根据时间复用方案发射红外光。在此示例中，图像源和对准组件替换地或附加地可被并排放置以形成由对准光束路径和投影光束路径共享的共同的光学路径。
在另一示例中，一种近眼显示设备包括左眼光学系统和右眼光学系统，左眼光学系统和右眼光学系统中的每一者都包括位于用户眼睛的视野内的全息光学组件，被配置为发射成像光的图像源，被配置为获取对准图像的相机，以及光束分束器，该光束分束器被配置为将在光束分束器和全息光学组件之间延伸的共同的光学路径分成在光束分束器与相机之间延伸的对准光束路径和在光束分束器与图像源之间延伸的投影光束路径，以及计算系统，该计算系统被配置为校准左眼光学系统的图像源和右眼光学系统的图像源，以基于由左眼光学系统的相机获取的对准图像和由右眼光学系统的相机获取的对准图像将从由左眼光学系统的图像源发射的成像光产生的左眼图像与从由右眼光学系统的图像源发射的成像光产生的右眼图像对准。在此示例中，相机替换地或附加地可以是可见光相机，并且其中对准图像可以是可见光图像。在此示例中，相机替换地或附加地可以是深度相机，近眼显示设备可进一步包括被配置为发射红外光的红外投影仪，红外光可经由对准光束路径被反射到该深度相机，以及对准图像可以是包括来自该红外投影仪的经反射的红外光的红外光图像。在此示例中，近眼显示设备替换地或附加地可进一步包括面向外的相机，面向外的相机被配置为从不行进通过左眼光学系统或右眼光学系统的光获取物理空间的外部对准图像，以及计算系统可被配置为基于由左眼光学系统的相机获取的对准图像和由右眼光学系统的相机获取的对准图像和外部对准图像的校准将左眼图像和右眼图像与物理空间的外部对准图像中的一个或多个特征对准。在此示例中，替换地或附加地，全息光学组件替换地或附加地可被配置为将来自从用户眼睛的视角可通过视野查看的物理空间的一部分的光引导到相机。在此示例中，全息光学组件替换地或附加地可被配置为将从近眼显示设备的用户反射的光引导到相机。
在另一示例中，一种用于近眼显示设备的双眼校准方法包括经由左侧相机从位于左显示器中的左眼全息光学组件沿着左侧对准光束路径引导的对准光获取左侧对准图像，经由右侧相机从位于右显示器中的右眼全息光学组件沿着右侧对准光束路径引导的对准光获取右侧对准图像，基于比较左侧对准图像和右侧对准图像来校准左眼图像源和右眼图像源，经由左眼图像源产生左眼图像，该左眼图像沿着左侧投影光束路径被引导并经由左眼全息光学组件从左显示器中导出，以及经由右眼图像源产生右眼图像，该右眼图像沿着右侧投影光束路径被引导并经由右眼全息光学组件从右显示器中导出。在此示例中，该方法替换地或附加地可进一步包括经由面向外的相机从不沿左侧对准光束路径向下行进并且不沿右侧对准光束路径向下行进的光获取物理空间的外部对准图像，以及基于第一对准图像、第二对准图像和外部对准图像的校准，将左眼图像和右眼图像与物理空间的外部对准图像中的一个或多个特征对准。
将会理解，此处描述的配置和/或方法是作为示例呈现的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。本文中所描述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所例示和/或所描述的各种动作可以以所解说和/或所描述的顺序、以其他顺序、并行地执行，或者被省略。同样地，以上所描述的过程的次序可被改变。
本公开的主题包括本文中所公开的各种过程、系统和配置以及其他特征、功能、动作、和/或属性的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。

Claims (21)

1.一种近眼显示设备，包括：
左眼光学系统和右眼光学系统，所述左眼光学系统和所述右眼光学系统中的每一者都包括：
位于用户眼睛的视野内的光偏转光学组件；
被配置为发射成像光的图像源；以及
对准光学组件，所述对准光学组件包括被配置为获取对准图像的相机，其中所述图像源与所述光偏转光学组件之间的投影光束路径和所述对准光学组件与所述光偏转光学组件之间的对准光束路径共享共同的光学路径；
计算系统，所述计算系统被配置为校准所述左眼光学系统的所述图像源和所述右眼光学系统的所述图像源，以基于由所述左眼光学系统的所述相机获取的所述对准图像和由所述右眼光学系统的所述相机获取的所述对准图像将从由左眼光学系统的所述图像源发射的所述成像光产生的左眼图像与从由所述右眼光学系统的所述图像源发射的成像光产生的右眼图像对准。
2.如权利要求1所述的近眼显示设备，其特征在于，所述左眼光学系统和所述右眼光学系统中的每一者进一步包括：
光束分束器，所述光束分束器被配置为将所述共同的光学路径分成1)在所述光束分束器与所述对准光学组件之间延伸的所述对准光束路径和2)在所述光束分束器与所述图像源之间延伸的所述投影光束路径。
3.如权利要求1所述的近眼显示设备，其特征在于，所述相机是可见光相机，以及其中所述对准图像是可见光图像。
4.如权利要求1所述的近眼显示设备，其特征在于，进一步包括红外投影仪，所述红外投影仪被配置为发射红外光，其中所述相机是深度相机，其中所述红外光经由所述对准光束路径被反射到所述深度相机，以及其中所述对准图像是包括来自所述红外投影仪的经反射的红外光的红外光图像。
5.如权利要求1所述的近眼显示设备，其特征在于，进一步包括面向外的相机，所述面向外的相机被配置为从不行进通过所述左眼光学系统或所述右眼光学系统的光获取物理空间的外部对准图像，以及其中所述计算系统被配置为基于由所述左眼光学系统的所述相机获取的所述对准图像和由所述右眼光学系统的所述相机获取的所述对准图像和所述外部对准图像的校准将所述左眼图像和所述右眼图像与所述物理空间的所述外部对准图像中的一个或多个特征对准。
6.如权利要求1所述的近眼显示设备，其特征在于，全息光学组件被配置为将来自从用户眼睛的视角可通过所述视野查看的物理空间的一部分的光引导到所述相机。
7.如权利要求1所述的近眼显示设备，其特征在于，所述对准光学组件包括红外投影仪，所述红外投影仪被配置为经由所述对准光束路径发射红外光，以及其中所述近眼显示设备进一步包括深度相机，所述深度相机被配置为获取由所述左眼光学系统的所述红外投影仪发射的红外光和由所述右眼光学系统的所述红外投影仪发射的红外光。
8.如权利要求7所述的近眼显示设备，其特征在于，所述对准光束路径被配置为将所述红外光向从所述用户眼睛的视角可通过所述视野查看的物理空间的一部分引导，以及其中所述深度相机被定位成获取从所述物理空间反射的红外光。
9.如权利要求7所述的近眼显示设备，其特征在于，所述对准光束路径被配置为将所述红外光向所述近眼显示设备的用户引导，以及其中所述深度相机被定位成获取从所述用户反射的红外光。
10.如权利要求7所述的近眼显示设备，其特征在于，所述左眼光学系统的红外投影仪和所述右眼光学系统的红外投影仪被配置为根据时间复用方案发射红外光。
11.如权利要求1所述的近眼显示设备，其特征在于，所述图像源和对准组件被并排放置以形成由所述对准光束路径和所述投影光束路径共享的所述共同的光学路径。
12.一种近眼显示设备，包括：
左眼光学系统和右眼光学系统，所述左眼光学系统和所述右眼光学系统中的每一者都包括：
位于用户眼睛的视野内的全息光学组件；
被配置为发射成像光的图像源；
被配置为获取对准图像的相机；以及
光束分束器，所述光束分束器被配置为将在所述光束分束器和所述全息光学组件之间延伸的共同的光学路径分成在所述光束分束器与所述相机之间延伸的对准光束路径和在所述光束分束器与所述图像源之间延伸的投影光束路径；以及
计算系统，所述计算系统被配置为校准所述左眼光学系统的所述图像源和所述右眼光学系统的所述图像源，以基于由所述左眼光学系统的所述相机获取的所述对准图像和由所述右眼光学系统的所述相机获取的所述对准图像将从由左眼光学系统的所述图像源发射的所述成像光产生的左眼图像与从由所述右眼光学系统的所述图像源发射的成像光产生的右眼图像对准。
13.如权利要求12所述的近眼显示设备，其特征在于，所述相机是可见光相机，以及其中所述对准图像是可见光图像。
14.如权利要求12所述的近眼显示设备，其特征在于，所述相机是深度相机，其中所述近眼显示设备进一步包括红外投影仪，所述红外投影仪被配置为发射红外光，其中所述红外光经由所述对准光束路径反射到所述深度相机，以及其中所述对准图像是包括来自所述红外投影仪的经反射的红外光的红外光图像。
15.如权利要求12所述的近眼显示设备，其特征在于，进一步包括面向外的相机，所述面向外的相机被配置为从不行进通过所述左眼光学系统或所述右眼光学系统的光获取物理空间的外部对准图像，以及其中所述计算系统被配置为基于由所述左眼光学系统的所述相机获取的所述对准图像和由所述右眼光学系统的所述相机获取的所述对准图像和所述外部对准图像的校准将所述左眼图像和所述右眼图像与所述物理空间的所述外部对准图像中的一个或多个特征对准。
16.如权利要求12所述的近眼显示设备，其特征在于，所述全息光学组件被配置为将来自从用户眼睛的视角可通过所述视野查看的物理空间的一部分的光引导到所述相机。
17.如权利要求12所述的近眼显示设备，其特征在于，所述全息光学组件被配置为将从所述近眼显示设备的所述用户反射的光引导到所述相机。
18.一种用于近眼显示设备的双眼校准方法，所述方法包括：
经由左侧相机从位于左显示器中的左眼全息光学组件沿着左侧对准光束路径引导的对准光获取左侧对准图像；
经由右侧相机从位于右显示器中的右眼全息光学组件沿着右侧对准光束路径引导的对准光获取右侧对准图像；
基于比较所述左侧对准图像和所述右侧对准图像来校准左眼图像源和右眼图像源；
经由所述左眼图像源产生左眼图像，所述左眼图像沿着左侧投影光束路径被引导并经由所述左眼全息光学组件从所述左显示器中导出；以及
经由所述右眼图像源产生右眼图像，所述右眼图像沿着右侧投影光束路径被引导并经由所述右眼全息光学组件从所述右显示器中导出。
19.如权利要求18所述的方法，其特征在于，进一步包括：
经由面向外的相机从不沿所述左侧对准光束路径向下行进并且不沿所述右侧对准光束路径向下行进的光获取物理空间的外部对准图像；以及
基于第一对准图像、第二对准图像和所述外部对准图像的校准，将所述左眼图像和所述右眼图像与所述物理空间的所述外部对准图像中的一个或多个特征对准。
20.一种具有指令的计算机可读存储介质，当所述指令被执行时使得机器执行如权利要求18-19中任一项所述的方法。
21.一种计算机系统，包括用于执行如权利要求18-19中任一项所述的方法的装置。
CN201780023401.0A 2016-04-12 2017-04-05 用于近眼显示的双眼图像对准 Active CN109073891B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/097,199 2016-04-12
US15/097,199 US10178378B2 (en) 2016-04-12 2016-04-12 Binocular image alignment for near-eye display
PCT/US2017/026029 WO2017180375A1 (en) 2016-04-12 2017-04-05 Binocular image alignment for near-eye display

Publications (2)

Publication Number Publication Date
CN109073891A CN109073891A (zh) 2018-12-21
CN109073891B true CN109073891B (zh) 2021-04-02

Family

ID=58633094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780023401.0A Active CN109073891B (zh) 2016-04-12 2017-04-05 用于近眼显示的双眼图像对准

Country Status (4)

Country Link
US (1) US10178378B2 (zh)
EP (1) EP3443406A1 (zh)
CN (1) CN109073891B (zh)
WO (1) WO2017180375A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9816804B2 (en) * 2015-07-08 2017-11-14 Google Inc. Multi functional camera with multiple reflection beam splitter
US20180091797A1 (en) * 2016-09-27 2018-03-29 The Boeing Company Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras
US10685453B1 (en) * 2017-05-09 2020-06-16 Facebook Technologies, Llc Folded laser emitters for structured light applications
JP7149322B2 (ja) * 2017-07-17 2022-10-06 ビュージックス コーポレーション 両眼式バーチャルイメージング装置の画像シフト補正
CN113777783B (zh) * 2018-01-02 2024-04-12 鲁姆斯有限公司 具有对准校正的双目增强现实系统及对准校正方法
KR102523433B1 (ko) * 2018-01-10 2023-04-19 삼성전자주식회사 깊이 정보를 결정하는 방법 및 광학 시스템
JP7118650B2 (ja) * 2018-01-18 2022-08-16 キヤノン株式会社 表示装置
WO2020010271A1 (en) * 2018-07-05 2020-01-09 Magic Leap, Inc. Waveguide-based illumination for head mounted display system
US11768377B2 (en) 2018-07-13 2023-09-26 Magic Leap, Inc. Systems and methods for display binocular deformation compensation
US11215828B1 (en) * 2018-08-03 2022-01-04 Rockwell Collins, Inc. In field visor characterization for visor projected displays
US11212509B2 (en) * 2018-12-20 2021-12-28 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
EP3991402A4 (en) * 2019-06-25 2023-06-28 Snap Inc. Vanishing point stereoscopic image correction
US11039113B2 (en) * 2019-09-30 2021-06-15 Snap Inc. Multi-dimensional rendering
US10965931B1 (en) 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
US11716456B2 (en) * 2021-05-21 2023-08-01 Microsoft Technology Licensing, Llc Autocalibrated near-eye display
US11863730B2 (en) * 2021-12-07 2024-01-02 Snap Inc. Optical waveguide combiner systems and methods
US11876952B2 (en) * 2022-01-24 2024-01-16 Microsoft Technology Licensing, Llc Calibration of stereoscopic display using waveguide combiner
US20230366780A1 (en) * 2022-05-12 2023-11-16 Microsoft Technology Licensing, Llc Alignment assessment for head-mounted display system
US11751761B1 (en) * 2022-12-28 2023-09-12 Eric Rubinfeld System and method for calculating binocular alignment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810600B2 (en) * 2012-01-23 2014-08-19 Microsoft Corporation Wearable display device calibration
CN104956252A (zh) * 2012-11-28 2015-09-30 微软公司 用于近眼显示设备的外围显示器
CN105229514A (zh) * 2013-01-28 2016-01-06 微软技术许可有限责任公司 用于将图像光耦合到近眼显示器的投影光学系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001522063A (ja) 1997-10-30 2001-11-13 ザ マイクロオプティカル コーポレイション 眼鏡インターフェースシステム
IL174170A (en) 2006-03-08 2015-02-26 Abraham Aharoni Device and method for two-eyed tuning
US7511684B2 (en) 2006-07-31 2009-03-31 Motorola, Inc. Image alignment method for binocular eyewear displays
DE102008015527A1 (de) 2008-03-25 2009-10-01 Volkswagen Ag Verfahren und Einrichtung zum Erzeugen eines Augmented-Reality-Bildes
US9480919B2 (en) * 2008-10-24 2016-11-01 Excalibur Ip, Llc Reconfiguring reality using a reality overlay device
US20120120103A1 (en) 2010-02-28 2012-05-17 Osterhout Group, Inc. Alignment control in an augmented reality headpiece
US9097891B2 (en) * 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US8416263B2 (en) 2010-03-08 2013-04-09 Empire Technology Development, Llc Alignment of objects in augmented reality
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US8866702B1 (en) * 2012-03-13 2014-10-21 Google Inc. Use of optical display system as a visual indicator for a wearable computing device
US8922589B2 (en) * 2013-04-07 2014-12-30 Laor Consulting Llc Augmented reality apparatus
US20140375542A1 (en) 2013-06-25 2014-12-25 Steve Robbins Adjusting a near-eye display device
US9429756B1 (en) * 2013-06-27 2016-08-30 Google Inc. Transparent microdisplay in head mountable displays
US10345903B2 (en) * 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
AU2014354673B2 (en) * 2013-11-27 2019-04-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
EP2887124A1 (en) 2013-12-20 2015-06-24 Thomson Licensing Optical see-through glass type display device and corresponding optical unit
US9746686B2 (en) * 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9335549B2 (en) 2014-03-19 2016-05-10 Google Inc. Imaging lightguide with holographic boundaries
US9606354B2 (en) * 2014-07-17 2017-03-28 Google Inc. Heads-up display with integrated display and imaging system
US9865089B2 (en) * 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9684172B2 (en) * 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810600B2 (en) * 2012-01-23 2014-08-19 Microsoft Corporation Wearable display device calibration
CN104956252A (zh) * 2012-11-28 2015-09-30 微软公司 用于近眼显示设备的外围显示器
CN105229514A (zh) * 2013-01-28 2016-01-06 微软技术许可有限责任公司 用于将图像光耦合到近眼显示器的投影光学系统

Also Published As

Publication number Publication date
EP3443406A1 (en) 2019-02-20
US10178378B2 (en) 2019-01-08
WO2017180375A1 (en) 2017-10-19
CN109073891A (zh) 2018-12-21
US20170295362A1 (en) 2017-10-12

Similar Documents

Publication Publication Date Title
CN109073891B (zh) 用于近眼显示的双眼图像对准
EP3821289B1 (en) Systems and methods for display binocular deformation compensation
CN109891332B (zh) 用于波导显示的全息投影仪
US9746675B2 (en) Alignment based view matrix tuning
KR20220120664A (ko) 포비티드 디스플레이 시스템
US11574389B2 (en) Reprojection and wobulation at head-mounted display device
EP3014342A1 (en) Eye-tracking system for head-mounted display
KR20220120663A (ko) 스위칭 가능한 판카라남-베리 페이즈 그레이팅 스택
US20240114123A1 (en) Calibration of stereoscopic display using waveguide combiner
CN117043658A (zh) 通过波导的眼睛跟踪器照明
US10866425B1 (en) Image reprojection based on intra-pupil distance
US11960088B2 (en) Waveguide configurations in a head-mounted display (HMD) for improved field of view (FOV)
US11778160B2 (en) Calibrating sensor alignment with applied bending moment
US20230209032A1 (en) Detection, analysis and correction of disparities in a display system utilizing disparity sensing port
US11150470B2 (en) Inertial measurement unit signal based image reprojection
US11940628B2 (en) Display device having common light path region
CN117242390A (zh) 头戴式显示器(hmd)中用于改善视场(fov)的波导构造

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant