CN107843988A - 具有相互遮挡和不透明度控制能力的用于光学透视头戴显示器的设备 - Google Patents

具有相互遮挡和不透明度控制能力的用于光学透视头戴显示器的设备 Download PDF

Info

Publication number
CN107843988A
CN107843988A CN201711317230.0A CN201711317230A CN107843988A CN 107843988 A CN107843988 A CN 107843988A CN 201711317230 A CN201711317230 A CN 201711317230A CN 107843988 A CN107843988 A CN 107843988A
Authority
CN
China
Prior art keywords
path
image
object lens
eyepiece
optical component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711317230.0A
Other languages
English (en)
Other versions
CN107843988B (zh
Inventor
C·高
Y·林
H·华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN107843988A publication Critical patent/CN107843988A/zh
Application granted granted Critical
Publication of CN107843988B publication Critical patent/CN107843988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B25/00—Eyepieces; Magnifying glasses
    • G02B25/001—Eyepieces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/144—Beam splitting or combining systems operating by reflection only using partially transparent surfaces without spectral selectivity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/04—Prisms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0145—Head-up displays characterised by optical features creating an intermediate image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/015—Head-up displays characterised by mechanical features involving arrangement aiming to get less bulky devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

本发明涉及具有相互遮挡和不透明度控制能力的用于光学透视头戴显示器的设备。本发明包括一种紧凑光学透视头戴显示器，其能够组合透视图像路径和虚拟图像路径，以便所述透视图像路径的不透明度可以被调制并且所述虚拟图像遮挡所述透视图像的部分，并且反之亦然。

Description

具有相互遮挡和不透明度控制能力的用于光学透视头戴显示 器的设备
本申请是申请日为2013年4月5日、申请号为201380029550.X、名称为"具有相互遮挡和不透明度控制能力的用于光学透视头戴显示器的设备"的专利申请的分案申请。
相关申请
本申请要求在2012年4月5日提交的美国临时申请61/620574和在 2012年4月5日提交的美国临时申请61/620581的优先权，通过引用将其公开的全部内容并入本文中。
技术领域
本发明一般涉及头戴显示器，并且更具体地，但是不唯一地，涉及具有不透明度控制和相互遮挡能力的光学透视头戴显示器，在该光学透视头戴显示器中，真实物体可被位于前面的计算机渲染的虚拟物体遮挡或者反之亦然。
背景技术
在过去几十年，增强实现(AR)技术已经被应用在许多应用领域，例如医疗和军事训练、工程设计和原型、远程操作和远程呈现(tele-presence) 以及个人娱乐系统。透视头戴显示器(ST-HMD)为用于合并虚拟视图与物理场景的增强实现系统的使能技术当中的一种。有两种类型的 ST-HMD：光学和视频(J.Rolland和H.Fuchs，“Optical versus videosee-through head mounted displays”，Fundamentals of Wearable Computers andAugmented Reality，pp113-157，2001)。视频透视方法的主要缺点包括：透视视图的图像质量降低；源于进入视频流的处理的图像滞后；源于硬件/软件故障的透视视图的潜在损失。相反，光学透视HMD (OST-HMD)通过分束器提供真实世界的直接视图，并且从而具有对真实世界的视图的最小影响。这在用户对现场环境的意识是极为重要的苛刻应用中是高度优选的。
然而，开发光学透视HDM面临复杂的技术挑战。关键问题之一在于，由于缺乏遮挡能力，在OST-HMD中的虚拟视图呈现“重影状(ghost-like)”并且在真实世界中浮动。图1示出通过典型的OST-HMD(图1a)的增强视图和通过能够遮挡的OST-HMD(OCOST-HMD)系统透视的增强视图 (图1b)的对比说明。在图中，虚拟汽车模型被叠加在表示真实物体的立体平台上。如图1a中所示，不具有适当的遮挡管理，在典型的AR视图中，汽车与平台混合，难以区分汽车和平台的深度关系。相反，如图1b中所示，具有恰当的遮挡管理，汽车挡住平台的一部分，并且可以清晰地识别出汽车是位于平台的顶上。向AR显示器添加遮挡能力能够将虚拟物体真实地并入到真实环境中。这样的遮挡能力对AR显示器技术产生变革性影响，并且对许多基于增强实现的应用是非常具有吸引力的。
OCOST-HMD系统典型地包括两个关键子系统。第一是允许用户在微显示器上看到放大图像的目镜光学部件；以及第二是收集并且调制来自真实世界中的外部场景的光的中继光学部件(relay optics)，当向观察者呈现时，其能够对外部场景进行不透明度和遮挡控制。产生真正便携式和轻巧的OCOST-HMD系统的关键挑战在于解决三个基础问题：(1)允许两个子系统集成而没有向系统添加显著重量和体积的光学方案。(2)维持外部场景的坐标系统的宇称(parity)的适当的光学方法；(3)具有优雅的形状因子使能这些光学子系统设计的光学设计方法，这已经是HMD开发者的持续梦想。若干能遮挡的光学ST-HMD概念已经被开发(美国专利， 7639208B1，Kiyokawa K.、Kurata Y.和Ohno H.，“An Optical See-Through Display For Mutual Occlusion With A Real-Time Stereo Vision System”,Elsevier Computer&Graphics,Special Issue On“Mixed Realities-BeyondConventions”,Vol.25,No.5,pp.2765-779,2001K. Kiyokawa,M.Billinghurst,B.Campbell,E.Woods,“An Occlusion-Capable Optical See-Through Head MountDisplay For Supporting Co-Located Collaboration”)。例如，Kiyokawa等使用常规的透镜、棱镜和反射镜开发ELMO系列遮挡显示器。不是仅由于所使用的元件的数目，更重要地是源于光学系统的旋转对称的性质，现有能遮挡的 OST-HMD具有头盔状笨重的形状因子。由于沉重重量和累赘的设计，它们仅仅被用在实验环境中。累赘的头盔状形状因子阻碍了用于许多苛刻和新兴应用对技术的接受。
发明内容
本发明涉及一种具有不透明度控制和相互遮挡能力的光学透视头戴显示器(OST-HMD)装置。所述装置系统典型地由虚拟视图路径和透视路径组成，所述虚拟视图路径用于观察显示的虚拟图像，所述透视路径用于观察在真实世界中的外部场景。在本发明中，所述虚拟视图路径包括用于供应虚拟图像内容的小型图像显示器单元和目镜，用户通过所述目镜观察放大的虚拟图像。所述透视路径包括物镜光学部件、空间光调制器(SLM) 和目镜光学部件，所述物镜光学部件直接捕获来自所述外部场景的所述光并且形成至少一个中间图像，所述空间光调制器位于或者接近在所述透镜路径中的中间图像平面以控制和调制所述透视视图的不透明度，所述观察者通过所述目镜光学部件看到所述调制的透视视图。在所述透视路径中，所述物镜光学部件和目镜一起作为用于将来自所述真实世界的所述光传递到观察者的眼睛的中继光学部件。为了实现紧凑形状因子并且降低视点偏移，所述透视路径通过若干反射表面被折成两层，前层接受来自外部场景的所述入射光并且背层通将由所述前层所捕获的光耦合到观察者的眼睛中。通过分束器将所述透视路径与所述虚拟图像路径合并，以便两个路径共用相同的目镜以用于观察显示的虚拟内容和调制的透视图像。通过所述分束器，将所述微显示器和所述SLM彼此光学共轭，这使得像素级控制是可能的。在本发明中，所述目镜、所述物镜光学部件或者二者为旋转对称透镜或者非旋转对称自由形状光学部件。在其一个显著方面，本发明在目镜光学部件、物镜光学部件或者二者中利用自由形状光学技术，以实现紧凑的并且轻巧的OCOST-HMD设计。
用于折叠所述光学路径的所述反射表面可为具有光学度数(optical power)的平面反射镜、球面、非球面或者自由形状表面。在本发明的另一显著方面，一些反射表面利用自由形状光学技术。一些反面表面也可被策略地设计为所述目镜或者物镜光学部件的一体部分，其中所述反射表面不仅仅促进用于实现紧凑的显示设计的所述光学路径的折叠，还贡献光度数并且校正光像差。在示例性配置中，本发明使用单-反射或者多-反射自由形状棱镜作为目镜或者物镜光学部件，其中所述棱镜为包括折射表面和一个或多个反射表面的单个光学元件以用于折叠所述光学路径并且校正像差。
在本发明的另一显著方面，在所述透视路径中的所述物镜光学部件形式至少一个可访问的中间图像(accessible intermediate image)，在所述中间图像附近放置有SLM以提供不透明度控制和透视调制。在本发明中，使用反射型SLM或者透射型SLM用于调制所述透视视图以用于遮挡控制。与透射型SLM相比，反射型SLM需要物镜光学部件的更长的背焦距。反射型SLM具有比透射型SLM更高的光效率的优势。
在本发明的另一显著方面，透视路径形成奇数或者偶数数目的中间图像。在奇数数目的中间图像的情况下，提供光学方法以反转(invert)和/ 或颠倒(revert)在所述透视路径中的所述透视视图。例如，取决于在所述透视路径中涉及的反射的数目，可能的方法的实例包括但不限制于，插入附加的一个反射或者多个反射、利用屋脊反射镜表面、或者插入直立 (erection)棱镜或者透镜。在偶数数目的中间图像的情况下，如果在所述透视视图中不存在宇称(parity)改变，则不需要图像直立元件。例如，利用多-反射自由形状棱镜结构(典型地多于2)作为目镜或者物镜光学部件或者二者，这允许在所述物镜和/或目镜棱镜内部多次折叠所述透视光学路径并且在所述棱镜内部形成中间图像，其消除使用直立屋脊反射表面的必要性。消除直立棱镜的潜在优势是此方法导致更紧凑的设计。
附图说明
连同所附附图说明，可以进一步理解本发明的上述总结和下列示例性实施例的详细描述，其中：
图1示意性示出通过不具有遮挡能力(图1a)和具有遮挡能力(图1b) 的光学透视HMD而看到的AR视图。
图2示意性示出根据本发明的被示为单眼光学模块的示例性光学布局。
图3示意性示出根据本发明的基于自由形状光学技术(freeform opticaltechnology)的优选实施例。该实施例包括单-反射目镜棱镜、单- 反射物镜棱镜、反射型SLM和屋脊反射表面(roof reflective surface)。
图4示意性示出根据本发明的基于自由形状光学技术的另一优选实施例。此实施例包括双-反射目镜棱镜、四-反射物镜棱镜和反射型SLM。
图5示意性示出根据本发明的基于自由形状光学技术的另一优选实施例。此实施例包括双-反射目镜棱镜、单-反射物镜棱镜、透射型SLM和屋脊反射表面。
图6示意性示出根据本发明的基于自由形状光学技术的另一优选实施例。此实施例包括双-反射目镜棱镜、三-反射物镜棱镜和透射型SLM。
图7示意性示出根据本发明的基于自由形状光学技术的另一优选实施例。此实施例包括双-反射目镜棱镜、双-反射物镜棱镜、反射型SLM和中继透镜。
图8示意性示出根据本发明的基于图3中的示例性布局的 OCOST-HMD系统的示例性设计。
图9示出使用3mm瞳孔直径评估的40lps/mm的截止频率(线对每毫米)下图8的设计的虚拟显示路径的多色调制传递函数(MTF)的场图绘图(field map plot)。
图10示意性示出根据本发明的基于图3中的示例性布局的 OCOST-HMD系统的示例性设计，其具有含有相同的自由形状结构的目镜和物镜光学部件。
图11示出了使用3mm瞳孔直径评估的40lps/mm的截止频率(线对每毫米)下图10中的设计的虚拟现实路径的多色调制传递函数(MTF) 的场图绘图。
图12描绘根据本发明的图像处理流水线的实例的框图。
图13示出表1：目镜棱镜的表面1的光学表面配方(prescription)。
图14示出表2：目镜棱镜的表面2的光学表面配方。
图15示出表3：目镜棱镜的表面3的光学表面配方。
图16示出表4：目镜棱镜的位置和取向参数。
图17示出表5：物镜棱镜的表面4的光学表面配方。
图18示出表6：物镜棱镜的表面5的光学表面配方。
图19示出表7：物镜棱镜的表面6的光学表面配方。
图20示出表8：物镜棱镜的位置和取向参数。
图21示出表9：对于DOE板882和884的表面参数。
图22示出表10：自由形状棱镜的表面1的光学表面配方。
图23示出表11：自由形状棱镜的表面2的光学表面配方。
图24示出表12：自由形状棱镜的表面3的光学表面配方。
图25示出表13：作为目镜的自由形状棱镜的位置和取向参数。
具体实施方式
将考虑到附图全面地描述根据本发明的实施例。阐述描述以便提供对本发明的理解。然而，将简而易见的是，没有这些细节仍可以实施本发明。再者，可以各种形式实施本发明。然而，下面描述的本发明的实施例将不被构造为限制于本文所描述的实施例。相反，这些实施例、附图和实例为说明性的并且旨在避免模糊本发明。
能遮挡的光学透视头戴式显示器(OCOST-HMD)系统典型地由用于观察显示的虚拟图像的虚拟视图路径和用于观察在真实世界上的外部场景的透视路径组成。此后，通过虚拟视图路径所观察的虚拟图像被称为虚拟视图，并且通过透视路径所观察的外部场景被称为透视视图。在本发明的一些实施例中，虚拟视图路径包括用于供应虚拟图像内容的微显示器单元和通过其用户观察放大的虚拟视图的目镜。透视路径包括用以从外部场景捕获光并且至少形成一个中间图像的物镜光学部件、放置于或者接近在透视路径中的中间图像平面的空间光模块(SLM)、以及目镜，该空间光模块用以控制和调制透视视图的不透明度，观察者通过该目镜看到调制的透视视图。在透视路径中，物镜光学部件和目镜一起作为用于将光从真实世界传递给观察者的眼睛的中继光学部件。在透视路径中的中间图像被称为透视图像，并且由SLM调制的中间图像被称为调制的透视图像。 OCOST-HMD产生虚拟视图和透视视图的组合视图，其中，虚拟视图遮挡透视视图的部分。
在一些实施例中，本发明包括紧凑光学透视头戴式显示器200，其能够组合透视路径207和虚拟视图路径205，以便透视路径的不透明度可以被调制并且虚拟视图遮挡透视视图的部分，并且反之亦然，显示器包括：
a.微显示器250，用于生成要由用户观察的图像，该微显示器具有与之关联的虚拟视图路径205；
b.空间光调制器240，用于修改来自真实世界中的外部场景的光，以挡住透视视图的要被遮挡的部分，空间光调制器具有与之关联的透视路径 207；
c.目镜光学部件220，被配置为接收来自外部场景的入射光并且将光聚焦在空间光调制器240之上；
d.分束器230，被配置为合并来自微显示器250的虚拟图像和从空间光调制器传递的调制的外部场景的透视图像，产生组合图像；
e.目镜210，被配置为放大组合图像；
f.出瞳202，被配置为面对目镜，其中，用户观察虚拟视图和透视视图的组合视图，在该组合视图中，虚拟视图遮挡透视视图的部分；
g.多个反射表面，被配置为将虚拟视图路径205和透视路径207折成两层。
在一些实施例中，使用至少三个反射表面以将虚拟和透视路径折成两层。第一反射表面(M1)位于显示器的前层上且被定向以反射来自外部场景的光。物镜光学部件220位于显示器的前层上。第二反射表面(M2)位于显示器的前层上且被定向以将光反射到空间光调制器中。空间光调制器 240位于或者接近透视路径207的中间图像平面，其通过分束器230沿着透视路径207与物镜光学部件220和目镜210相光学通信。微显示器250 位于目镜210的焦平面，其通过分束器230沿着虚拟视图路径205与目镜 210相光学通信。将分束器230定向以便透视路径207与虚拟视图路径205 合并，并且来自透视路径和虚拟视图路径的光都被导引到目镜210。目镜 210位于显示器的背层上。第三反射表面(M3)位于显示器的背层上，其被定向为将光从目镜反射到出瞳202中。
在一些实施例中，物镜光学部件220反射外部场景的光，并且聚焦外部场景的光并在空间光调制器240上形成透视图像。空间光调制器240修改透视图像以去除图像要被遮挡的部分。微显示器250将虚拟图像投射到分束器230。空间光调制器240将修改的透视图像传输到分束器230，其中分束器230合并两图像产生组合的图像，其中虚拟图像遮挡透视图像的部分。分束器230则将组合图像投射到目镜210，因此目镜将图像投射到出瞳202。
在一些实施例中，本发明包括能够组合在真实世界中的外部场景与虚拟视图的光学透视头戴式显示器200，其中外部场景的不透明度被调制并且数字生成的虚拟视图遮挡外部场景的部分并且反之亦然。本发明包括传输虚拟图像的微显示器250、用于修改来自外部场景的光的空间光调制器 240、捕获外部场景的物镜光学部件220、被配置为合并来自微显示器的数字地生成的虚拟图像和来自空间光调制器的修改的外部场景的分束器 230、放大虚拟图像和修改的外部场景的目镜210、以及用户用以观察虚拟图像和修改的外部场景的组合视图的出瞳202。
在一些实施例中，使用至少三个反射表面，以将虚拟视图路径205虚和透视路径207折成两层。物镜光学部件220位于显示器的前层上，而目镜210位于显示器的背层上。可使用一系列反射镜以引导光沿着光学路径通过空间光调制器、分束器和目镜。空间光调制器240位于或者接近在透视路径中的中间图像平面。微显示器250面对分束器230，以便来自微显示器的光被传输到分束器230中。分束器230组合来自微显示器和空间光调制器的光，并且被定向以便从分束器的光传输的方向面对着目镜210。目镜210被定位以便来自分束器、经过目镜的光被传输到出瞳中。
在一些实施例中，物镜光学部件220接收外部场景的图像，并且将图像反射或者折射到空间光调制器240。空间光调制器240修改来自外部场景的光以去除图像要被遮挡的部分，并且将光传输或者反射到分束器中。微显示器250将虚拟图像传输到分束器230，并且分束器230合并两图像产生组合图像，其中虚拟图像205遮挡外部场景的图像的部分。分束器230 将组合图像投射到目镜210，目镜210将图像传导到出瞳208。从而用户观察到组合图像，其中虚拟图像看起来遮挡外部场景的部分。
图2示出根据本发明的用于实现紧凑OCOST-HMD系统的示意性布局200。在此示例性布局200中，虚拟视图路径205(以虚线示出)代表虚拟视图的光传播路径并且包括用于提供显示器内容的微显示器250和目镜 210，用户通过目镜210观察显示内容的放大图像；透视路径207(以实线示出)代表透视视图的光传播路径并且包括物镜光学部件220和目镜210组成，二者作为用于将来自真实世界中的外部场景的光传到观察者的眼睛的中继光学部件。为了实现紧凑形状因子并且减少观察点偏移，通过若干反射表面M1～M3在观察者的眼睛前，将透视路径207折成两层。接受来自外部场景的入射光的前层215主要包括物镜光学部件220和必要的反射表面M1和M2。将由前层所捕获的光耦合到观察者的眼睛中的背层217主要包括目镜210和诸如附加的折叠反射镜M3的其它必需的光学组件。在前层215中，反射表面M1将来自外部场景的入射光导引向物镜光学部件220；并且在通过物镜光学部件220之后，通过反射表面表面M2将光折向背层217。在透视路径207中的物镜光学部件220形成至少一个可访问的中间图像。空间光调制器(SLM)240被放置在可访问的中间图像的位置处或者接近可访问的中间图像的位置，可访问的中间图像典型地在物镜光学部件的背焦平面，以提供透视视图的不透明度控制和透视调制。在本发明中，SLM为可以调制通过其的或被其反射的光束的强度的光控制器件。SLM可以为反射型SLM，例如，在硅上液晶(LCoS)显示板或者数字镜器件(digital mirror device，DMD)，或者为透射型SLM，例如，液晶显示板(LCD)。可使用两种类型SLM用于调制透视视图，以在透视路径207中的遮挡控制。图2(a)示出使用反射型SLM的示例性配置，而图2(b)示出示出透射型SLM的使用。取决于物镜光学部件220的焦平面位置，在图2(a)中，为反射型SLM的SLM240可以被放置在SLM2 的位置，或者在图2(b)中，为透射型SLM的SLM240可以被放置在SLM1 的位置。分束器230将透视路径207折叠并且将其与虚拟视图路径205合并，以便对于观察显示的虚拟内容和调制的透视视图，共用相同的目镜 210。反射表面M3将虚拟视图路径205和透视路径207导引向出瞳202，其中观察者的眼睛观察混合的虚拟和真实视图。反射表面M1～M3可以为独立元件(standing aloneelement)(例如反射镜)，或者可被策略性地设计为目镜210或者物镜光学部件220的一体部件。微显示器250和 SLM240均位于物镜光学部件220的焦平面，并且通过分束器230而彼此光学共轭，这使得在透视视图上的像素级控制是可能的。尽管如示例性图中所示，组装SLM240、微显示器250和分束器230的单元被包括在背层中，当目镜的背焦距大于物镜光学部件的背焦距时，可将该单元并入到前层中，以便优选将组合单元放置得更近于物镜光学部件。上述方法能够实现紧凑的OCOST-HMD解决方案和最小的视轴偏移。
作为益处之一，光学布局200具有对许多类型HMD光学部件的适用性，包括但不限制于，旋转对称性光学部件和非旋转对称性自由光学部件。用于折叠光学路径的反射表面M1～M3为具有光学度数(optical power) 的平面反射镜、球面、非球面或者自由形状。反射表面中的一些利用自由形状光学技术。反射表面中的一些也可被策略性地设计为目镜210或者物镜光学部件220的一体部分，其中反射表面不仅仅促进用于实现紧凑显示设计的光学路径的折叠，还贡献光学度数并且校正光学像差。在如图3所示的示例性配置中，本发明示例了单-反射自由形状棱镜作为目镜和物镜光学部件的使用，其中棱镜为包括两个折射表面和一个反射表面的用于折叠光学路径和校正像差的单光学元件。在配置的其它实例中，说明了多-反射自由形状棱镜。
在本发明的另一显著方面，除SLM可访问的中间图像外，通过物镜光学部件220或目镜210或者两者，透视路径207可形成附加的中间图像 260。例如，多个-反射自由形状棱镜结构(典型地多于2)被利用作为目镜或者物镜光学部件或者两者，这允许在物镜和/或目镜棱镜内部多次折叠透视路径，并且在棱镜内部形成中间图像(一个或多个图像)。其结果是，透视路径产生总数为奇数或者偶数的图像。产生多于一个中间图像的潜在优点是扩展的光学路径长度、场背焦距和消除真时视图直立元件的益处。
取决于被产生的中间图像的总数目和在透视路径207中所使用的反射表面的总数目，需要透视视图直立方法，以将透视路径的透视视图反转和/ 或颠倒，以维持透视视图的坐标系统的宇称并且阻止观察者看到反转的或者颠倒的透视视图。具体地至于透视视图直立方法，本发明考虑两种不同的图像直立策略。当在透视路径207中涉及总偶数数目的反射时，这没有诱导对透视视图的坐标系统的宇称的改变，将设计目镜210和物镜光学部件220的形状，以便在透视路径207中产生偶数数目的中间图像。当在透视路径207中存在奇数数目的反射和奇数数目的中间图像时，这诱导宇称改变，反射表面M1到M3当中的一个可被屋脊反射镜(roof mirror)表面替代以用于透视视图直立。在下面将结合图3和5讨论具有使用屋脊反射的视图直立的优选实施例。在下面将结合图4、6和7讨论优选具有使用中间图像的视图直立的实施例。
在显著方面之一，本发明在目镜、物镜光学部件或者两者中利用自由形状光学技术，以实现紧凑且轻巧的OCOST-HMD。图3示出根据本发明的基于自由形状光学技术的对紧凑OCOST-HMD设计的示例性方法的框图300。在背层317中的目镜310为单-反射自由形状棱镜，其包括三个光学自由形状表面：折射表面S1、反射表面S2和折射表面S3。在虚拟视图路径305中，从微显示器350发射的光线，通过折射表面S3进入目镜310 并且通过反射表面S2的反射后到达出瞳302，其中对准观察者的眼睛以看到微显示器350的放大的虚拟图像。在前层315中的物镜光学部件320也是单-反射自由形状棱镜，其由三个光学自由表面组成：折射表面S4、反射表面S5和折射表面S6。在透视路径307中，物镜光学部件320与目镜 310一起工作作为用于透视视图的中继光学部件。来自外部场景的由反射镜325反射的入射光通过折射表面S4进入目镜光学部件320，然后被反射表面S5反射，并且通过折射表面S6离开物镜光学部件320，并且在其焦平面处在用于光调制的SLM340上形成中间图像。分束器330合并在透视路径307中的调制光和在虚拟视图路径305中的光，并且折向目镜310用于观察。分束器330为线栅型分束器、偏振立方体分束器或者其它类似类型的分束器。在此方法中，SLM340为反射型SLM并且位于示意性布局 200的SLM2位置处，并且通过分束器330被光学共轭至微显示器350。
在此示例性布局300中，示意性布局200的反射表面M2被策略地设计为作为自由形状反射表面S5的目镜棱镜320的集成部分；示意性布局 200的反射表面M3被策略地设计为作为自由形状反射表面S2的目镜棱镜 310的集成部分；示意性布局200的反射表面M1被策略地设计为屋脊型反射镜325用于视图直立，给定在透视路径307中的反射总数目为5(奇数数目)。
在此示例性布局300中，目镜310和物镜光学部件320具有相同的自由形状棱镜结构。对于目镜和物镜光学部件使用相同结构的优势是一个棱镜的光学设计策略可以容易地应用到另一个，这有助于简化光学设计。目镜和物镜光学部件的对称结构也有助于校正奇数阶像差，例如，慧差、失真和横向色差。
图4示出根据本发明的基于自由形状光学技术的对紧凑OCOST-HMD设计的另一示例性方法的框图400。在一个示例性实施中，目镜410为双-反射棱镜并且物镜光学部件420为四-反射棱镜。在物镜光学部件420内部，形成中间图像460以直立透视视图，这消除使用直立屋脊反射表面的必要性。消除直立棱镜的潜在优势为，通过在物镜棱镜内部将光学路径折叠多次，此系统结构导致更紧凑的设计。在背层417中的目镜410由四个光学自由表面组成：折射表面S1、反射表面S2、反射表面 S1’和折射表面S3。在虚拟视图路径405中，从微显示器450发射的光线通过折射表面S3进入目镜410，然后被反射表面S1’和S2连续地反射，并且通过折射表面S1离开目镜410，并且到达出瞳402，其中对准观察者的眼睛以看到微显示器450的放大的虚拟图像。折射表面S1和折射表面S1’可为相同的物理表面并且具备同一套表面配方。在前层415中的物镜光学部件420由六个光学自由形状表面组成：折射表面S4、反射表面S5、S4’、 S5’和S6以及折射表面S7。在透视路径407中，物镜光学部件420与目镜410一起作为用于透视视图的中继光学部件。来自在真实世界中的外部场景的入射光，通过折射表面S4进入物镜光学部件420，然后被反射表面 S5、S4、S5’和S6连续地反射，并且通过折射表面S7离开物镜光学部件 420，然后在其焦平面处在用于光调制的SLM440上形成中间图像。折射表面S4和反射表面S4’可为相同的物理表面并且具备同一套表面配方。反射表面S5和反射表面S5’可为相同的物理表面并且具备同一套表面配方。分束器430合并在透视路径407中的调制的光和在虚拟视图路径405中的光，并且折向目镜410以用于观察。分束器430可为线栅型分束器、偏振立方体分束器或者其它类似类型的分束器。在此方法中，SLM440为反射型SLM并且位于示意性布局200的SLM2位置处，并且通过分束器430 被光学共轭至微显示器450。
在此示例性布局400中，示意性布局200的反射表面M2被策略地设计为作为反射表面S6的物镜光学部件420的集成部分；示意性布局200 的反射表面M3被策略地设计为作为反射表面S2的目镜410的集成部分；示意性布局200的反射表面M1被策略地设计为作为反射表面S5的物镜光学部件420的集成部分。在物镜光学部件420内部形成中间图像460以用于真实视图直立。给定在透视路径407中的反射总数目为8(偶数数目)，在任何反射表面上不需要屋脊反射镜。
图5示出根据本发明的基于自由形状光学技术的对紧凑 OCOST-HMD设计的另一示例性方法的框图500。此方法促进透射型SLM 的使用。目镜510为双-反射棱镜并且物镜光学部件520为单-反射棱镜。屋脊反射镜527被放置在物镜棱镜520的顶上，以将透视视图反转并且将透视路径507折向背层517。在背层517中的目镜510由四个光学自由形状表面组成：折射表面S1、反射表面S2、反射表面S1’和折射表面S3。在虚拟视图路径505中，从微显示器550发射的光线，通过折射表面S3 进入目镜510，然后被反射表面S1’和S2连续地反射，并且通过折射表面 S1离开目镜510，并且到达出瞳502，其中观察者的眼睛被对准以看到微显示器550的放大的虚拟图像。折射表面S1和反射表面S1’可为相同的物理表面并且具备相同的一套表面配方。在前层515中的物镜光学部件520 由三个光学自由形状表面组成：折射表面S4、反射表面S5和折射表面S6。在透视路径507中，物镜光学部件520与目镜510一起操作作为用于透视视图的中继光学部件。来自在真实世界中的外部场景的入射光，通过折射表面S4进入物镜光学部件520，然后被反射表面S5反射，并且通过折射表面S6离开物镜光学部件520并且通过反射镜527被折向背层517，并且在其焦平面处、在用于光调制的SLM540上形成中间图像。分束器530合并在透视路径507中的调制的光和在虚拟视图路径505中的光，并且将合并的光折向目镜510以用于观察。分束器530为线栅型分束器、偏振立方体分束器或者其它类似类型的分束器。在此方法中，SLM540为透射型 SLM并且位于示意性布局200的SLM1位置处，并且通过分束器530被光学共轭至微显示器530。
在此示例性布局500中，示意性布局200的反射表面M1被策略地设计为作为反射表面S5的物镜光学部件520的集成部分；示意性布局200 的反射表面M3被策略地设计为作为反射表面S2的目镜510的集成部分；示意性布局200的反射表面M2被设计为屋脊型反射镜527用于视图直立，给定在透视路径507中的反射总数目为5(奇数数目)。
图6示出根据本发明的基于自由形状光学技术的对紧凑 OCOST-HMD设计的另一示例性方法的框图600。此方法还促进透射型 SLM的使用。在一个示例性实施中，目镜610为双-反射自由形状棱镜并且物镜光学部件620为三-反射自由形状棱镜。在目镜610内部，形成中间图像660以直立透视视图。在背层617中的目镜610由四个光学自由形状表面组成：折射表面S1、反射表面S2、反射表面S1’和折射表面S3。在虚拟视图路径605中，从微显示器650发射的光线，通过折射表面S3进入目镜610，然后被反射表面S1’和S2连续地反射，并且通过折射表面S1 离开目镜610，并且到达出瞳602，其中观察者的眼睛被对准以看到微显示器650的放大的虚拟图像。折射表面S1和反射表面S1’为相同的物理表面并且具备相同一套表面配方。在前层615中的物镜光学部件620由五个光学自由形状表面组成：折射表面S4、反射表面S5、S4’和S6以及折射表面S7。在透视路径607中，物镜光学部件620与目镜610一起工作作为用于透视视图的中继光学部件。来自在真实世界中的外部场景的入射光通过折射表面S4进入物镜光学部件620，被反射表面S5、S4’和S6连续地反射，并且通过折射表面S7离开物镜光学部件620，并且在其焦平面、在 SLM640上形成中间图像以用于光学调制。折射表面S4和反射表面S4’为相同的物理表面并且具备相同一套表面配方。分束器630合并在透视路径607中的调制光和在虚拟视图路径605中的光，并且折向目镜610以用于观察。分束器630为线栅型分束器、偏振立方体分束器或者其它类似类型的分束器。在此方法中，SLM640为透射型SLM并且位于示意性布局200 的SLM1位置处，并且通过分束器630被光学共轭至微显示器650。
在此示例性布局600中，示意性布局200的反射表面M1被策略地设计为作为反射表面S5的物镜光学部件620的集成部分；示意性布局200 的反射表面M2被策略地设计为作为反射表面S6的物镜光学部件620的集成部分；示意性布局200的反射表面M3被策略地设计为作为反射表面S2 的目镜610的集成部分。在物镜光学部件610内部形成中间图像660以用于真实视图直立。给定了在透视路径607中的反射总数目为6(偶数数目)，在任何反射表面上不需要屋脊反射镜。
图7示出根据本发明的基于自由形状光学技术的对紧凑 OCOST-HMD设计的另一示例性方法的框图700。在一个示例性实施中，目镜和物镜光学部件均为双-反射自由形状棱镜并且具有几乎相同的结构。对于目镜和物镜使用相同结构的优势为一个棱镜的光学设计策略可以容易地施加到另一个，这有助于简化光学设计。目镜和物镜棱镜的对称结构也有助于校正奇数阶像差，例如，慧差、失真和横向色差。在背层717中的目镜710由四个光学自由形状表面组成：折射表面S1、反射表面S2、反射表面S1’和折射表面S3。在虚拟视图路径705中，从微显示器750发射的光线，通过折射表面S3进入目镜710，然后被反射表面S1’和S2连续地反射，并且通过折射表面S1离开目镜710，并且到达出瞳702，其中观察者的眼睛被对准以看到微显示器750的放大的虚拟图像。折射表面S1和反射表面S1’为相同的物理表面并且具备相同套的表面配方。在前层715 中的物镜光学部件720由四个光学自由形状表面组成：折射表面S4、反射表面S5、S4’和折射表面S6。在透视路径707中，物镜光学部件720与目镜710一起工作作为用于透视视图的中继光学部件。来自在真实世界中的外部场景的入射光，通过折射表面S4进入物镜光学部件720，并且被反射表面S6、S4’连续地反射，并且通过折射表面S6离开物镜光学部件720，并且在其焦平面形成中间图像760。分束器780将离开背层715的透视路径707折叠朝向位于物镜光学部件720的焦平面的反射镜790。反射镜790 将透视路径707朝着背层715反射回来。使用中继透镜770以在示意性布局200的SLM2位置处产生中间图像760的图像以用于视图调制。分束器 730合并在透视路径707中的调制的光和在虚拟视图路径705中的光，并且折向目镜710以用于观察。在此方法中，SLM740为反射型SLM，并且通过分束器730被光学共轭至微显示器750。由于中间图像760被光学共轭至SLM740这一事实，SLM740和反射镜790的位置是可交换的。
在此示例性布局700中，示意性布局200的反射表面M1被策略地设计为作为反射表面S5的物镜光学部件720的集成部分；示意性布局200 的反射表面M3被策略地设计为作为反射表面S2的目镜710的集成部分；示意性布局200的反射表面M2被作为反射镜790而定位在物镜光学部件 710的焦平面，并且将透视路径707折向虚拟视图路径705；在物镜光学部件720的焦平面形成中间图像760以用于真实视图直立。给定了在透视路径707中的反射总数目为8(偶数数目)，在任何反射表面上不需要屋脊反射镜。
图8示意性示出基于在图3中描绘的示例性方法的示例性设计800。设计实现40度的对角(Diagonal)FOV、8mm的出瞳直径(EPD)(非虚光(non-vignetted))和18mm的眼间隙(eye clearance)，该对角FOV 在水平方向(X轴方向)上为31.7度，并且在垂直方向(Y轴方向)上为 25.6度。设计是基于具有5:4纵横比和1280×1024像素分辨率的0.8”微显示器。微显示器具有15.36mm和12.29mm的有效面积以及12μm的像素尺寸。设计使用与微显示器的尺寸和分辨率相同的SLM。使用偏振立方体分束器以组合虚拟视图路径和透视路径。使用DOE板882和884以校正色像差。系统被测量为43mm(X)×23mm(Y)×44.5mm(Z)。在入瞳886和出瞳802之间的视点偏移分别在Y方向上为0.6mm，在Z方向上为67mm。
在表1-4中列出目镜810的示例性光学配方。在目镜810中的全部三个光学表面为变形非球面表面(AAS)。AAS表面的凹陷被这样限定：
其中，z为沿着局部x,y,z坐标系统的z轴测量的自由形状表面的凹陷， cx和cy分别为在x和y轴的顶点曲率，Kx和Ky分别为在x和y轴的锥形常数(conic constant)，AR、BR、CR和DR为来自锥形的第4、6、8 和10阶变形的旋转对称部分，AP、BP、CP和DP为来自锥形的第4、6、8和10阶变形的非旋转对称分量。
表1：目镜棱镜的表面1的光学表面配方，见图13。
表2：目镜棱镜的表面2的光学表面配方，见图14。
表3：目镜棱镜的表面3的光学表面配方，见图15。
表4：目镜棱镜的位置和取向参数，见图16。
在表5-8中列出物镜光学部件820的示例性光学配方。在物镜光学部件820中的全部三个光学表面为变形非球面表面(AAS)。
表5：物镜棱镜的表面4的光学表面配方，见图17。
表6：物镜棱镜的表面5的光学表面配方，见图18。
表7：物镜棱镜的表面6的光学表面配方，见图19。
表8：物镜棱镜的位置和取向参数，见图20。
在表9中列出DOE板882和884的示例性光学配方。
表9：用于DOE板882和884的表面参数，见图21。
图9示出使用3mm瞳孔直径评估的40lps/mm的截止频率(线对每毫米)下的虚拟显示路径的多色调制传递函数(MTF)的场图。40lps/mm 的截止频率被从微显示器的像素尺寸确定。绘图示出，除在截止频率处的 MTF值略小于15％的两个上部显示拐角之外，本设计对于多数场具非常好的性能。跨整个FOV，虚拟现实路径的失真小于2.9％，而透视路径的失真小于0.5％。只对于光学部件，总评估重量为33克每眼。
图10示意性示出基于在图3中描绘的示例性方法的示例性设计1000。设计实现40度的对角FOV、8mm的出瞳直径(EPD)(非虚光)和18mm 的眼间隙，该对角FOV为水平地(X轴方向)35.2度以及垂直地(Y轴) 20.2度。设计是基于具有16:9纵横比和1280×720像素分辨率的0.7”微显示器。设计使用与微显示器的尺寸和分辨率相同的SLM。使用线栅板分束器以组合虚拟视图路径和透视路径。相同的自由形状棱镜被用作目镜和物镜光学部件。
在表10-15中列出自由形状棱镜的示例性光学配方。在棱镜中的两个表面为变形非球面表面(AAS)，并且一个为非球面表面(ASP)。AAS 表面的凹陷被这样限定：
其中，z为沿着局部x,y,z坐标系统的z轴测量的表面的凹陷，c为在顶点曲率，k为锥形常数，A至J分别为第4、6、8、10、12、14、16、18 和20阶变形系数。
表10：自由形状棱镜的表面1的光学表面配方，见图22。
表11：自由形状棱镜的表面2的光学表面配方，见图23。
表12：自由形状棱镜的表面3的光学表面配方，见图24。
表13：作为目镜的自由形状棱镜的位置和取向参数，见图25。
图11示出使用3mm瞳孔直径评估的40lps/mm(线对每毫米)的截止频率下的虚拟显示路径的多色调制传递函数(MTF)的场图。绘图示出，对于多数场，本发明设计具有非常好的性能。
图12描绘本发明所需的图像处理流水线的实例的框图。首先，使用合宜的深度感测装置，获得外部场景的深度图。然后，将虚拟物体与深度图比较，以确定遮挡出现的区域。根据预先确定的遮挡区域，掩盖生成算法产生二元掩盖图像。然后在空间光调制器上显示该掩盖图像，以屏蔽来自在外部场景的中间图像中的遮挡区域的光。虚拟物体的虚拟图像被渲染并且显示在微显示器上。观察者通过本发明的显示装置观察虚拟图像和外部场景的调制的透视图像的组合图像。
与现有技术相比，本发明以折叠的图像路径为特征，该折叠的图像路径允许本发明压缩成紧凑形式、作为头戴显示器是更容易穿戴的。在现有技术(美国专利7639208B1)中，使用旋转对称透镜直线布置光学路径。其结果是，现有技术的遮挡型显示器具有长的望远镜般形状，这对于戴上头上是笨拙的。本发明使用反射表面将图像路径折成两层，以便空间光调制器、微显示器和分束器被安装在头的顶上，而不是直线性地在眼前。
现有技术仅依靠反射型空间光调制器，而本发明可使用反射或者透射型空间光调制器。再者，现有技术需要偏振分束器以调制外部图像，而本发明不必须是偏振。
由于本发明是以层来布置，目镜和物镜光学部件不必须如同在现有技术的情况下那样是共线的。物镜光学部件也不必须是焦阑的(tele-centric)。
在现有技术中，由于系统的光学部件，世界的视图为透视视图的反射镜反射。本发明的折叠的图像路径允许嵌入屋脊反射镜，以在用户和外部的视图之间维持宇称。这使得从用户角度来讲，本发明更具功能性。
与现有技术相比，本发明利用允许系统更紧凑的自由形状光学技术。可以设计自由光学表面以在内部多次反射光，以便不需要反射镜来折叠光路径。
在本发明中，用于折叠光学路径的反射表面为具有光学度数的平面反射镜、球面、非球面或者自由形状表面。本发明的显著方面在于一些反射表面利用自由形状光学技术，这有助于提升光学性能和紧凑度。在本发明中，一些反射表面被策略地设计为目镜或者物镜光学部件的一体部分，其中反射表面不仅促进用于实现紧凑显示器设计的光学路径的折叠，还贡献光度数并且校正光学像差。例如，在图2中，示出反射表面M1～M3，其作为与目镜和物镜光学部件分开的通用反射镜。在图3中，两个反射镜(M2 和M3)为作为S2和S5并入到自由形状目镜和物镜棱镜中的自由形状表面。在图4中，4个反射自由形状表面被并入到自由形状物镜棱镜中，并且2个被并入到自由形状目镜棱镜中。在图5中，除屋脊棱镜外，1个自由形状表面在物镜棱镜中，2个自由形状表面在目镜中。在图6中，3个自由形状表面在物镜中，并且2个自由形状表面在目镜中。在图7中，除反射镜790和分束器780之外，2个反射自由形状反射镜在物镜中，2个自由形状反射镜在目镜中。
本发明确保通过系统看到的透视视图被正确地直立(未反转或者颠倒)。在实施例中利用两种不同的光学方法用于将这点实现，取决于在透视路径中形成的中间图像的数目和在透视路径中涉及的反射的数目。在奇数数目的中间图像的情况下，提供光学方法以反转和/或颠倒在透视路径中的透视视图。例如，依赖于透视路径中的反射的数目，可能的方法的实例包括但不限制于，插入附加的一个反射或者多个反射、利用屋脊反射镜表面或者插入直立透镜(erector lens)。在偶数数目的中间图像的情况下如果不需要宇称改变，就不需要图像直立元件。例如，利用多-反射自由形状棱镜结构(典型的多于2)作为目镜或者物镜光学部件或者两者，这允许在物镜和/或目镜棱镜内部多次折叠透视光学路径，并且在棱镜内部形成中间图像以直立透视视图，这消除使用直立屋脊反射表面的必要性。
在图3中，仅在透视路径中产生1个中间图像。此结构利用屋脊棱镜用于325，以适宜地产生直立的透视视图。
在图4中，利用4-反射自由形状棱镜作为物镜光学部件，其产生2个中间图像(一个用于SLM440，并且一个是在棱镜内部的460)。附加地，在透视路径中涉及总共8个反射，这导致不存在宇称改变。因此，产生直立的视图。值得一提，物镜和目镜的结构可互变用于相同结果。
在图5中，在用于SLM的透视路径中产生中间图像。此涉及利用屋脊棱镜527以直立透视视图。
在图6中，利用3-反射自由形状棱镜作为物镜光学部件，其产生2个中间图像(一个用于SLM640，并且一个是在棱镜内部的660)。附加地，在透视路径中涉及总共6个反射，这导致不存在宇称改变。因此，产生直立的视图。值得一提的是，对于相同结果，物镜和目镜的结构可互换。
在图7中，物镜光学部件720仅利用2个反射，分束器780和反射镜 790的组合促进在透视路径中的2个中间图像的产生(一个用于SLM740，和附加的一个760)。附加地，在透视路径中总共涉及8个反射。因此，产生直立的透视视图。
对于头戴显示器来说，维持外部场景的宇称是非常重要的，这向用户提供如同他们不用HMD而有的通常视图那样的真实的体验。
尽管这里已经示出并且描述了本发明的优选实施例，对于本领域技术人员将显而易见的是，可以在不超过所附权利要求的范围下，做出对本发明的优选实施例的修改。在权利要求中引用的标号仅为示例性的并且用于方便专利局评述，在任何方面并非为限制性的。在一些实施例中，在本申请中表示的图是按比例来绘制的，包括角度、尺寸比率等等。在一些实施例中，图仅为表示性的，并且权利要求不受图的尺寸的限制。
在下列权利要求中的参考标号仅仅用于方便本申请的审查，并且为示例性的，并在任何方面非旨在将权利要求的范围限制到具有在附图中相应参考标号的具体特征。

Claims (3)

1.一种紧凑光学透视头戴显示器系统，被配置为组合透视路径和虚拟视图路径，以便透视路径视图的不透明度能够被调制以遮挡所述透视路径的部分，所述系统包括：
a.微显示器，用于在所述虚拟视图路径上生成要被用户观察的虚拟图像；
b.空间光调制器，用于修改来自外部场景的光，以挡住所述透视路径的要被遮挡的部分；
c.物镜光学部件，被配置为接收在所述透视路径上接收并折叠来自所述外部场景的所述光，并将来自所述外部场景的所述光作为中间图像聚焦到在所述物镜光学部件的背焦平面距离处的所述空间光调制器上，其中所述物镜光学部件为通过多个反射和折射表面形成的自由形状棱镜以将所述外部场景成像到所述空间光调制器中；
d.组合单元，被配置为合并虚拟图像和遮挡的透视图像，在所述透视路径的那些遮挡的部分中产生来自所述微显示器的所述虚拟图像的组合的图像；
e.目镜光学部件，被配置为放大所述组合的图像；
f.出瞳，被配置为面对所述目镜光学部件，其中所述用户通过所述出瞳观察所述组合的图像；
g.多个表面，被配置为将所述虚拟视图路径和所述透视路径折叠到所述出瞳，
其中所述微显示器和所述空间光调制器为光学共轭，以便所述空间光调制器被设置为与所述组合单元相距这样的距离，该距离基本上等于所述微显示器相距所述组合单元的距离。
2.根据权利要求1的光学透视头戴显示器系统，其中所述组合单元被设置为与所述物镜光学部件相距固定的距离，以及所述物镜光学部件的配方确定所述背焦平面距离。
3.一种方法，包括：
通过物镜光学部件接受来自外部场景的外部光；
通过多个表面折叠来自所述外部场景的所述外部光以产生透视路径；
将作为中间图像的所述外部光聚焦在空间光调制器上，所述空间光调制器基本上位于与所述物镜光学部件的配方相关的背焦平面处；
在所述空间光调制器上调制从所述外部场景接收的所述外部光以产生所述外部场景的调制的透视图像；
将所述外部场景的所述调制的透视图像传输到组合单元；
通过微显示器渲染虚拟图像；
将渲染的图像传输到虚拟视图路径上的所述组合单元，其中所述组合单元与所述空间光调制器相距一距离，所述空间光调制器与所述微显示器光学共轭；
组合所述渲染的图像与所述调制的透视图像；以及
通过目镜光学部件折叠组合的渲染的图像和调制的透视图像，所述目镜光学部件被配置为放大所述组合的渲染的图像和调制的透视图像。
CN201711317230.0A 2012-04-05 2013-04-05 具有相互遮挡和不透明度控制能力的用于光学透视头戴显示器的设备 Active CN107843988B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261620581P 2012-04-05 2012-04-05
US201261620574P 2012-04-05 2012-04-05
US61/620,574 2012-04-05
US61/620,581 2012-04-05
CN201380029550.XA CN104937475B (zh) 2012-04-05 2013-04-05 具有相互遮挡和不透明度控制能力的用于光学透视头戴显示器的设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380029550.XA Division CN104937475B (zh) 2012-04-05 2013-04-05 具有相互遮挡和不透明度控制能力的用于光学透视头戴显示器的设备

Publications (2)

Publication Number Publication Date
CN107843988A true CN107843988A (zh) 2018-03-27
CN107843988B CN107843988B (zh) 2021-02-02

Family

ID=49301051

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201380029492.0A Active CN104541201B (zh) 2012-04-05 2013-04-04 具有主动中央凹能力的宽视场(fov)成像设备
CN201810181619.5A Active CN108391033B (zh) 2012-04-05 2013-04-04 具有主动中央凹能力的宽视场（fov）成像设备
CN201711317271.XA Active CN107976818B (zh) 2012-04-05 2013-04-05 具有相互遮挡和不透明度控制能力的用于光学透视头戴显示器的设备
CN201711317230.0A Active CN107843988B (zh) 2012-04-05 2013-04-05 具有相互遮挡和不透明度控制能力的用于光学透视头戴显示器的设备
CN201380029550.XA Active CN104937475B (zh) 2012-04-05 2013-04-05 具有相互遮挡和不透明度控制能力的用于光学透视头戴显示器的设备

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201380029492.0A Active CN104541201B (zh) 2012-04-05 2013-04-04 具有主动中央凹能力的宽视场(fov)成像设备
CN201810181619.5A Active CN108391033B (zh) 2012-04-05 2013-04-04 具有主动中央凹能力的宽视场（fov）成像设备
CN201711317271.XA Active CN107976818B (zh) 2012-04-05 2013-04-05 具有相互遮挡和不透明度控制能力的用于光学透视头戴显示器的设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380029550.XA Active CN104937475B (zh) 2012-04-05 2013-04-05 具有相互遮挡和不透明度控制能力的用于光学透视头戴显示器的设备

Country Status (12)

Country Link
US (13) US9851563B2 (zh)
EP (5) EP2841991B1 (zh)
JP (9) JP6176747B2 (zh)
KR (11) KR102404537B1 (zh)
CN (5) CN104541201B (zh)
AU (4) AU2013243380B2 (zh)
BR (2) BR112014024941A2 (zh)
CA (4) CA3111134A1 (zh)
IL (6) IL308962A (zh)
NZ (6) NZ700887A (zh)
RU (2) RU2015156050A (zh)
WO (2) WO2013152205A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115220238A (zh) * 2022-07-12 2022-10-21 李宪亭 近视防控结构和近视防控设备

Families Citing this family (462)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US20150277120A1 (en) 2014-01-21 2015-10-01 Osterhout Group, Inc. Optical configurations for head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US9341846B2 (en) 2012-04-25 2016-05-17 Rockwell Collins Inc. Holographic wide angle display
US9274349B2 (en) 2011-04-07 2016-03-01 Digilens Inc. Laser despeckler based on angular diversity
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
EP2995986B1 (en) 2011-08-24 2017-04-12 Rockwell Collins, Inc. Data display
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
WO2013102759A2 (en) 2012-01-06 2013-07-11 Milan Momcilo Popovich Contact image sensor using switchable bragg gratings
WO2013152205A1 (en) * 2012-04-05 2013-10-10 Augmented Vision Inc. Wide-field of view (fov) imaging devices with active foveation capability
US9456744B2 (en) 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US9858721B2 (en) 2013-01-15 2018-01-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
US10209517B2 (en) 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
US10228561B2 (en) * 2013-06-25 2019-03-12 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism and gaze-detection light
US9625723B2 (en) * 2013-06-25 2017-04-18 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism
WO2015015138A1 (en) 2013-07-31 2015-02-05 Milan Momcilo Popovich Method and apparatus for contact image sensing
WO2015095737A2 (en) 2013-12-19 2015-06-25 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9310610B2 (en) 2014-01-21 2016-04-12 Osterhout Group, Inc. See-through computer display systems
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
CN103901615B (zh) * 2014-03-14 2016-05-25 北京理工大学 小凹成像光学系统
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10529359B2 (en) 2014-04-17 2020-01-07 Microsoft Technology Licensing, Llc Conversation detection
US9922667B2 (en) 2014-04-17 2018-03-20 Microsoft Technology Licensing, Llc Conversation, presence and context detection for hologram suppression
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US20150309534A1 (en) 2014-04-25 2015-10-29 Osterhout Group, Inc. Ear horn assembly for headworn computer
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
CN104007559B (zh) * 2014-05-08 2017-05-17 北京理工大学 含局部超分辨扫描的小凹成像系统
CN104102018B (zh) * 2014-05-08 2016-10-05 北京理工大学 双小凹局部高分辨率成像系统
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US10359736B2 (en) 2014-08-08 2019-07-23 Digilens Inc. Method for holographic mastering and replication
WO2016042283A1 (en) 2014-09-19 2016-03-24 Milan Momcilo Popovich Method and apparatus for generating input images for holographic waveguide displays
US10423222B2 (en) 2014-09-26 2019-09-24 Digilens Inc. Holographic waveguide optical tracker
NZ730509A (en) 2014-09-29 2018-08-31 Magic Leap Inc Architectures and methods for outputting different wavelength light out of waveguides
WO2016054079A1 (en) 2014-09-29 2016-04-07 Zyomed Corp. Systems and methods for blood glucose and other analyte detection and measurement using collision computing
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
KR102329295B1 (ko) 2015-01-09 2021-11-19 삼성디스플레이 주식회사 헤드 마운티드 디스플레이 장치
US20180275402A1 (en) 2015-01-12 2018-09-27 Digilens, Inc. Holographic waveguide light field displays
CN111323867A (zh) 2015-01-12 2020-06-23 迪吉伦斯公司 环境隔离的波导显示器
US10105049B2 (en) 2015-01-16 2018-10-23 Massachusetts Institute Of Technology Methods and apparatus for anterior segment ocular imaging
CN107533137A (zh) 2015-01-20 2018-01-02 迪吉伦斯公司 全息波导激光雷达
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
CN105988763B (zh) * 2015-02-15 2019-10-29 联想(北京)有限公司 一种信息处理方法及装置
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
WO2016146963A1 (en) 2015-03-16 2016-09-22 Popovich, Milan, Momcilo Waveguide device incorporating a light pipe
IL293029B2 (en) 2015-03-16 2023-06-01 Magic Leap Inc Augmented reality signal oximeter
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
JP2016180955A (ja) * 2015-03-25 2016-10-13 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、表示制御方法及び位置制御方法
CN106154640B (zh) * 2015-03-31 2020-02-21 联想(北京)有限公司 显示组件和电子设备
US10591756B2 (en) 2015-03-31 2020-03-17 Digilens Inc. Method and apparatus for contact image sensing
US10274728B2 (en) 2015-05-18 2019-04-30 Facebook Technologies, Llc Stacked display panels for image enhancement
US10254454B2 (en) 2015-06-15 2019-04-09 Magic Leap, Inc. Display system with optical elements for in-coupling multiplexed light streams
US9977493B2 (en) 2015-06-17 2018-05-22 Microsoft Technology Licensing, Llc Hybrid display system
US10222619B2 (en) 2015-07-12 2019-03-05 Steven Sounyoung Yu Head-worn image display apparatus for stereoscopic microsurgery
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
CA2995978A1 (en) 2015-08-18 2017-02-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
NZ740746A (en) 2015-08-21 2019-08-30 Magic Leap Inc Eyelid shape estimation
US10146997B2 (en) 2015-08-21 2018-12-04 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement
US9581744B1 (en) * 2015-09-03 2017-02-28 3M Innovative Properties Company Optical stack and optical system
EP4254145A3 (en) 2015-09-16 2023-11-01 Magic Leap, Inc. Head pose mixing of audio files
EP3353711A1 (en) 2015-09-23 2018-08-01 Datalogic USA, Inc. Imaging systems and methods for tracking objects
US10466478B2 (en) 2015-09-23 2019-11-05 Magic Leap, Inc. Eye imaging with an off-axis imager
EP3359999A1 (en) 2015-10-05 2018-08-15 Popovich, Milan Momcilo Waveguide display
CN108369653B (zh) 2015-10-16 2021-12-14 奇跃公司 使用眼睛特征的眼睛姿态识别
NZ741866A (en) 2015-10-20 2019-07-26 Magic Leap Inc Selecting virtual objects in a three-dimensional space
NZ742518A (en) 2015-11-04 2019-08-30 Magic Leap Inc Dynamic display calibration based on eye-tracking
US11231544B2 (en) 2015-11-06 2022-01-25 Magic Leap, Inc. Metasurfaces for redirecting light and methods for fabricating
CN105404005A (zh) * 2015-12-10 2016-03-16 合肥虔视光电科技有限公司 用于增强现实的头戴显示器
IL301785A (en) 2016-01-07 2023-05-01 Magic Leap Inc Virtual and augmented reality systems and methods with an unequal number of color component images spread across depth planes
KR102567431B1 (ko) 2016-01-19 2023-08-14 매직 립, 인코포레이티드 눈 이미지 수집, 선택 및 결합
WO2017127571A1 (en) 2016-01-19 2017-07-27 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
JP2019505843A (ja) 2016-01-22 2019-02-28 コーニング インコーポレイテッド 広視野パーソナル表示装置
EP3408704B1 (en) 2016-01-29 2021-11-03 Magic Leap, Inc. Display for three-dimensional image
US10459230B2 (en) 2016-02-02 2019-10-29 Disney Enterprises, Inc. Compact augmented reality / virtual reality display
WO2017134412A1 (en) 2016-02-04 2017-08-10 Milan Momcilo Popovich Holographic waveguide optical tracker
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
IL301720A (en) 2016-02-24 2023-05-01 Magic Leap Inc Polarizing beam splitter with low light leakage
IL303148A (en) 2016-02-24 2023-07-01 Magic Leap Inc Low profile connection for light emitter
NZ760857A (en) 2016-02-26 2024-02-23 Magic Leap Inc Light output system with reflector and lens for highly spatially uniform light output
CN114002844A (zh) 2016-02-26 2022-02-01 奇跃公司 具有用于多个光发射器的多个光管的显示系统
CA3014765A1 (en) 2016-02-29 2017-09-08 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US10571693B2 (en) 2016-03-01 2020-02-25 Magic Leap, Inc. Reflective switching device for inputting different wavelengths of light into waveguides
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
KR20230109789A (ko) 2016-03-04 2023-07-20 매직 립, 인코포레이티드 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소
US10127369B2 (en) 2016-03-07 2018-11-13 Magic Leap, Inc. Blue light adjustment for biometric security
KR102530558B1 (ko) * 2016-03-16 2023-05-09 삼성전자주식회사 투시형 디스플레이 장치
CN115032795A (zh) 2016-03-22 2022-09-09 奇跃公司 被配置为交换生物测定信息的头戴式显示系统
CN105744132B (zh) * 2016-03-23 2020-01-03 捷开通讯(深圳)有限公司 全景图像拍摄的光学镜头配件
CN108780224B (zh) 2016-03-24 2021-08-03 迪吉伦斯公司 用于提供偏振选择性全息波导装置的方法和设备
EP3433661A4 (en) 2016-03-25 2019-11-20 Magic Leap, Inc. SYSTEMS AND METHODS FOR VIRTUAL AND INCREASED REALITY
US9554738B1 (en) 2016-03-30 2017-01-31 Zyomed Corp. Spectroscopic tomography systems and methods for noninvasive detection and measurement of analytes using collision computing
EP3436863A4 (en) 2016-03-31 2019-11-27 Magic Leap, Inc. INTERACTIONS WITH 3D VIRTUAL OBJECTS USING POSES AND MULTI-DOF CONTROLLERS
US10539763B2 (en) * 2016-03-31 2020-01-21 Sony Corporation Optical system, electronic device, camera, method and computer program
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
IL299497B2 (en) 2016-04-08 2024-02-01 Magic Leap Inc Augmented reality systems and methods with variable focus lens elements
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
WO2017178781A1 (en) 2016-04-11 2017-10-19 GRANT, Alastair, John Holographic waveguide apparatus for structured light projection
US10001648B2 (en) 2016-04-14 2018-06-19 Disney Enterprises, Inc. Occlusion-capable augmented reality display using cloaking optics
CN109313509B (zh) 2016-04-21 2022-01-07 奇跃公司 视野周围的视觉光环
US9726896B2 (en) 2016-04-21 2017-08-08 Maximilian Ralph Peter von und zu Liechtenstein Virtual monitor display technique for augmented reality environments
WO2017189450A1 (en) 2016-04-26 2017-11-02 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
CA3022876A1 (en) 2016-05-06 2017-11-09 Magic Leap, Inc. Metasurfaces with asymmetric gratings for redirecting light and methods for fabricating
KR102643105B1 (ko) 2016-05-09 2024-03-04 매직 립, 인코포레이티드 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들
US9922464B2 (en) * 2016-05-10 2018-03-20 Disney Enterprises, Inc. Occluded virtual image display
CA3023539A1 (en) 2016-05-12 2017-11-16 Magic Leap, Inc. Distributed light manipulation over imaging waveguide
US11328484B2 (en) 2016-05-20 2022-05-10 Magic Leap, Inc. Contextual awareness of user interface menus
US10430988B2 (en) 2016-06-03 2019-10-01 Facebook Technologies, Llc Facial animation using facial sensors within a head-mounted display
US9959678B2 (en) * 2016-06-03 2018-05-01 Oculus Vr, Llc Face and eye tracking using facial sensors within a head-mounted display
KR102516112B1 (ko) 2016-06-03 2023-03-29 매직 립, 인코포레이티드 증강 현실 아이덴티티 검증
KR102448938B1 (ko) 2016-06-10 2022-09-28 매직 립, 인코포레이티드 텍스처 투사 전구용 적분 점광원
EP3472828B1 (en) 2016-06-20 2022-08-10 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
KR102296267B1 (ko) 2016-06-30 2021-08-30 매직 립, 인코포레이티드 3d 공간에서의 포즈 추정
US9996984B2 (en) 2016-07-05 2018-06-12 Disney Enterprises, Inc. Focus control for virtual objects in augmented reality (AR) and virtual reality (VR) displays
CN114495249A (zh) 2016-07-14 2022-05-13 奇跃公司 使用角膜曲率的虹膜边界估计
EP3485425B1 (en) 2016-07-14 2023-08-23 Magic Leap, Inc. Deep neural network for iris identification
KR20230050479A (ko) 2016-07-25 2023-04-14 매직 립, 인코포레이티드 광 필드 프로세서 시스템
KR20230133940A (ko) 2016-07-25 2023-09-19 매직 립, 인코포레이티드 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화
EP4138339A1 (en) 2016-07-29 2023-02-22 Magic Leap, Inc. Secure exchange of cryptographically signed records
CN115202482A (zh) 2016-08-11 2022-10-18 奇跃公司 用于三维空间中虚拟对象的自动放置的系统和方法
EP3497695A4 (en) 2016-08-12 2019-12-25 Magic Leap, Inc. WORD STREAM ANNOTATION
IL247360B (en) * 2016-08-18 2021-09-30 Veeride Ltd A device and method for augmented reality
KR102194688B1 (ko) 2016-08-22 2020-12-24 매직 립, 인코포레이티드 다층 회절 접안렌즈
WO2018039269A1 (en) 2016-08-22 2018-03-01 Magic Leap, Inc. Augmented reality display device with deep learning sensors
US10108013B2 (en) 2016-08-22 2018-10-23 Microsoft Technology Licensing, Llc Indirect-view augmented reality display system
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
KR102257181B1 (ko) 2016-09-13 2021-05-27 매직 립, 인코포레이티드 감각 안경류
CA3037044A1 (en) 2016-09-21 2018-03-29 Magic Leap, Inc. Systems and methods for optical systems with exit pupil expander
US10330935B2 (en) 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
JP7148501B2 (ja) 2016-09-22 2022-10-05 マジック リープ， インコーポレイテッド 拡張現実の分光法
WO2018058063A1 (en) 2016-09-26 2018-03-29 Magic Leap, Inc. Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system
US10976549B2 (en) 2016-09-28 2021-04-13 Magic Leap, Inc. Face model capture by a wearable device
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
US20180096494A1 (en) * 2016-09-30 2018-04-05 Visbit Inc. View-optimized light field image and video streaming
CA3038967A1 (en) 2016-10-04 2018-04-12 Magic Leap, Inc. Efficient data layouts for convolutional neural networks
JP7090601B2 (ja) 2016-10-05 2022-06-24 マジック リープ， インコーポレイテッド 複合現実較正のための眼球周囲試験
USD840395S1 (en) 2016-10-17 2019-02-12 Osterhout Group, Inc. Head-worn computer
AU2017345780B2 (en) 2016-10-21 2022-11-17 Magic Leap, Inc. System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views
US10565790B2 (en) 2016-11-11 2020-02-18 Magic Leap, Inc. Periocular and audio synthesis of a full face image
JP6854344B2 (ja) 2016-11-15 2021-04-07 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 直方体検出のための深層機械学習システム
JP7037561B2 (ja) 2016-11-16 2022-03-16 マジック リープ， インコーポレイテッド ウェアラブルコンポーネントのための熱管理システム
CA3044241A1 (en) 2016-11-18 2018-05-24 Magic Leap, Inc. Waveguide light multiplexer using crossed gratings
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
CN115685626A (zh) 2016-11-18 2023-02-03 奇跃公司 用于重定向具有宽入射角范围的光的多层液晶衍射光栅
WO2018094079A1 (en) 2016-11-18 2018-05-24 Magic Leap, Inc. Spatially variable liquid crystal diffraction gratings
US11513350B2 (en) 2016-12-02 2022-11-29 Digilens Inc. Waveguide device with uniform output illumination
KR102413561B1 (ko) 2016-12-05 2022-06-24 매직 립, 인코포레이티드 혼합 현실 환경의 가상 사용자 입력 콘트롤들
US10531220B2 (en) 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
KR102656425B1 (ko) * 2016-12-07 2024-04-12 삼성전자주식회사 영상을 표시하는 전자 장치 및 방법
CA3045663A1 (en) 2016-12-08 2018-06-14 Magic Leap, Inc. Diffractive devices based on cholesteric liquid crystal
US10664049B2 (en) 2016-12-09 2020-05-26 Nvidia Corporation Systems and methods for gaze tracking
AU2017375951B2 (en) 2016-12-13 2022-02-10 Magic Leap, Inc. 3D object rendering using detected features
CN110291369A (zh) 2016-12-13 2019-09-27 奇跃公司 用于传送偏振光和确定葡萄糖水平的增强和虚拟现实眼镜、系统和方法
IL301448B1 (en) 2016-12-14 2024-04-01 Magic Leap Inc Structures of liquid crystals through fine-imprint copying of surface alignment templates
US10088686B2 (en) 2016-12-16 2018-10-02 Microsoft Technology Licensing, Llc MEMS laser scanner having enlarged FOV
AU2017382880B2 (en) 2016-12-22 2022-10-27 Magic Leap, Inc. Systems and methods for manipulating light from ambient light sources
US10371896B2 (en) 2016-12-22 2019-08-06 Magic Leap, Inc. Color separation in planar waveguides using dichroic filters
US10746999B2 (en) 2016-12-28 2020-08-18 Magic Leap, Inc. Dual depth exit pupil expander
CN106773054A (zh) * 2016-12-29 2017-05-31 北京乐动卓越科技有限公司 一种实现增强现实互动的装置及方法
KR102553190B1 (ko) 2016-12-29 2023-07-07 매직 립, 인코포레이티드 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어
US10825010B2 (en) 2016-12-30 2020-11-03 Datalogic Usa, Inc. Self-checkout with three dimensional scanning
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
CN110431118B (zh) 2017-01-05 2023-10-27 奇跃公司 通过等离子体蚀刻的高折射率玻璃的图案化
JP7096253B2 (ja) 2017-01-23 2022-07-05 マジック リープ， インコーポレイテッド 仮想現実、拡張現実、および複合現実システムのための接眼レンズ
KR102553802B1 (ko) 2017-01-27 2023-07-07 매직 립, 인코포레이티드 상이하게 배향된 나노빔들을 갖는 메타표면들에 의해 형성된 회절 격자
CN110476090B (zh) 2017-01-27 2023-04-25 奇跃公司 用于超表面的抗反射涂层
US10354140B2 (en) 2017-01-31 2019-07-16 Microsoft Technology Licensing, Llc Video noise reduction for video augmented reality system
US10504397B2 (en) 2017-01-31 2019-12-10 Microsoft Technology Licensing, Llc Curved narrowband illuminant display for head mounted display
US11187909B2 (en) 2017-01-31 2021-11-30 Microsoft Technology Licensing, Llc Text rendering by microshifting the display in a head mounted display
US10298840B2 (en) 2017-01-31 2019-05-21 Microsoft Technology Licensing, Llc Foveated camera for video augmented reality and head mounted display
US9983412B1 (en) 2017-02-02 2018-05-29 The University Of North Carolina At Chapel Hill Wide field of view augmented reality see through head mountable display with distance accommodation
US11287292B2 (en) 2017-02-13 2022-03-29 Lockheed Martin Corporation Sensor system
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
IL268630B2 (en) 2017-02-23 2023-09-01 Magic Leap Inc Display system with variable power reflector
JP2020514802A (ja) 2017-03-14 2020-05-21 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 吸光膜を有する導波管およびそれを形成するためのプロセス
WO2018170421A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Room layout estimation methods and techniques
CN115576048A (zh) 2017-03-21 2023-01-06 奇跃公司 用于组合视场的具有不同衍射光栅的堆叠波导
EP4020982A3 (en) 2017-03-21 2022-09-21 Magic Leap, Inc. Depth sensing techniques for virtual, augmented, and mixed reality systems
EP3602156A4 (en) 2017-03-21 2020-12-23 Magic Leap, Inc. SPATIAL LIGHT MODULATOR LIGHTING DISPLAY SYSTEM FOR DIVIDED PUPILS
CN110651216B (zh) 2017-03-21 2022-02-25 奇跃公司 低轮廓分束器
CA3057080C (en) 2017-03-21 2023-09-12 Magic Leap, Inc. Eye-imaging apparatus using diffractive optical elements
JP7424834B2 (ja) 2017-03-21 2024-01-30 マジック リープ， インコーポレイテッド 空間光変調器を照明するための方法、デバイス、およびシステム
KR20240046291A (ko) 2017-03-22 2024-04-08 매직 립, 인코포레이티드 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링
US10891488B2 (en) 2017-03-30 2021-01-12 Hrl Laboratories, Llc System and method for neuromorphic visual activity classification based on foveated detection and contextual filtering
US10417975B2 (en) 2017-04-03 2019-09-17 Microsoft Technology Licensing, Llc Wide field of view scanning display
US10921593B2 (en) 2017-04-06 2021-02-16 Disney Enterprises, Inc. Compact perspectively correct occlusion capable augmented reality displays
US10499021B2 (en) 2017-04-11 2019-12-03 Microsoft Technology Licensing, Llc Foveated MEMS scanning display
EP4270091A3 (en) 2017-04-18 2024-01-24 Magic Leap, Inc. Waveguides having reflective layers formed by reflective flowable materials
EP4220258A1 (en) 2017-04-19 2023-08-02 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
IL310727A (en) 2017-04-27 2024-04-01 Magic Leap Inc Light emitting user output device
CN110832441B (zh) 2017-05-19 2023-12-26 奇跃公司 用于虚拟、增强和混合现实显示系统的键盘
JP7080249B2 (ja) 2017-05-22 2022-06-03 マジック リープ， インコーポレイテッド コンパニオンデバイスとのペアリング
CN110710014B (zh) 2017-05-30 2023-06-20 奇跃公司 用于电子装置的具有风扇组件的电源组件
EP4123425A1 (en) 2017-05-31 2023-01-25 Magic Leap, Inc. Eye tracking calibration techniques
CN111052720A (zh) 2017-06-12 2020-04-21 奇跃公司 具有更改深度平面的多元件自适应透镜的增强现实显示器
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
CN107065196B (zh) 2017-06-16 2019-03-15 京东方科技集团股份有限公司 一种增强现实显示装置及增强现实显示方法
KR102314789B1 (ko) 2017-06-29 2021-10-20 에스케이텔레콤 주식회사 증강현실용 디스플레이 장치
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10908680B1 (en) 2017-07-12 2021-02-02 Magic Leap, Inc. Pose estimation using electromagnetic tracking
CN107167921B (zh) * 2017-07-18 2020-01-21 京东方科技集团股份有限公司 显示器
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
IL271929B (en) 2017-07-26 2022-07-01 Magic Leap Inc Neural network training with displays of user interface devices
JP7398962B2 (ja) 2017-07-28 2023-12-15 マジック リープ， インコーポレイテッド 画像を表示するためのファンアセンブリ
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US10976551B2 (en) 2017-08-30 2021-04-13 Corning Incorporated Wide field personal display device
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
US10719951B2 (en) 2017-09-20 2020-07-21 Magic Leap, Inc. Personalized neural network for eye tracking
WO2019060741A1 (en) 2017-09-21 2019-03-28 Magic Leap, Inc. INCREASED REALITY DISPLAY HAVING A WAVEGUIDE CONFIGURED TO CAPTURE IMAGES OF THE EYE AND / OR THE ENVIRONMENT
JP7317003B2 (ja) 2017-09-27 2023-07-28 マジック リープ， インコーポレイテッド 別個の位相および振幅変調器を伴う接眼３ｄディスプレイ
US10867368B1 (en) 2017-09-29 2020-12-15 Apple Inc. Foveated image capture for power efficient video see-through
AU2018348229A1 (en) 2017-10-11 2020-04-23 Magic Leap, Inc. Augmented reality display comprising eyepiece having a transparent emissive display
CN116149058A (zh) 2017-10-16 2023-05-23 迪吉伦斯公司 用于倍增像素化显示器的图像分辨率的系统和方法
KR102602117B1 (ko) 2017-10-26 2023-11-13 매직 립, 인코포레이티드 딥 멀티태스크 네트워크들에서 적응적 손실 밸런싱을 위한 그라디언트 정규화 시스템들 및 방법들
CA3078774A1 (en) 2017-10-26 2019-05-02 Magic Leap, Inc. Augmented reality display having liquid crystal variable focus element and roll-to-roll method and apparatus for forming the same
EP3701516A4 (en) 2017-10-26 2021-07-28 Magic Leap, Inc. LARGE BAND ADAPTIVE LENS KIT INTENDED FOR AUGMENTED REALITY DISPLAY
IL310847A (en) 2017-10-27 2024-04-01 Magic Leap Inc A virtual network for augmented reality systems
EP3710990A4 (en) 2017-11-14 2021-10-27 Magic Leap, Inc. METALERS FOR MULTITASK LEARNING FOR NEURAL NETWORKS
US11256093B2 (en) 2017-12-11 2022-02-22 Magic Leap, Inc. Waveguide illuminator
KR102601622B1 (ko) 2017-12-14 2023-11-10 매직 립, 인코포레이티드 가상 아바타들의 콘텍스추얼 기반 렌더링
IL274976B1 (en) 2017-12-15 2024-01-01 Magic Leap Inc Improved positioning for a display device
IL303076A (en) 2017-12-15 2023-07-01 Magic Leap Inc Eyepieces for an augmented reality display system
TWI647485B (zh) * 2018-01-03 2019-01-11 國立交通大學 Head-mounted virtual object imaging device
US11656466B2 (en) * 2018-01-03 2023-05-23 Sajjad A. Khan Spatio-temporal multiplexed single panel based mutual occlusion capable head mounted display system and method
JP7474696B2 (ja) 2018-01-04 2024-04-25 マジック リープ， インコーポレイテッド 無機材料を組み込むポリマー構造に基づく光学要素
US10914950B2 (en) 2018-01-08 2021-02-09 Digilens Inc. Waveguide architectures and related methods of manufacturing
CN115356905A (zh) 2018-01-08 2022-11-18 迪吉伦斯公司 波导单元格中全息光栅高吞吐量记录的系统和方法
JP7291708B2 (ja) 2018-01-17 2023-06-15 マジック リープ， インコーポレイテッド ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
JP7390297B2 (ja) 2018-01-17 2023-12-01 マジック リープ， インコーポレイテッド 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け
CN115052139B (zh) 2018-01-19 2023-09-08 交互数字Vc控股公司 一种用于显示视频的方法和显示设备
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
WO2019152177A2 (en) * 2018-01-30 2019-08-08 Hrl Laboratories, Llc System and method for neuromorphic visual activity classification based on foveated detection and contextual filtering
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US20190250407A1 (en) * 2018-02-15 2019-08-15 Microsoft Technology Licensing, Llc See-through relay for a virtual reality and a mixed environment display device
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
EP3759693A4 (en) 2018-02-27 2021-11-24 Magic Leap, Inc. MESH PAIRING FOR VIRTUAL AVATARS
CA3089645A1 (en) 2018-02-28 2019-09-06 Magic Leap, Inc. Head scan alignment using ocular registration
JP7081473B2 (ja) * 2018-03-02 2022-06-07 株式会社リコー 撮像光学系、撮像システム及び撮像装置
EP3762765A4 (en) 2018-03-05 2021-12-08 Magic Leap, Inc. DISPLAY SYSTEM WITH A LOW-LATENCY PUPIL TRACKER
AU2019231697B2 (en) 2018-03-07 2020-01-30 Magic Leap, Inc. Visual tracking of peripheral devices
US11656462B2 (en) 2018-03-07 2023-05-23 Magic Leap, Inc. Adaptive lens assemblies including polarization-selective lens stacks for augmented reality display
WO2019178120A1 (en) 2018-03-12 2019-09-19 Magic Leap, Inc. Very high index eyepiece substrate-based viewing optics assembly architectures
EP3765890A4 (en) 2018-03-14 2022-01-12 Magic Leap, Inc. DISPLAY SYSTEMS AND CONTENT CROPPING METHODS TO INCREASE VIEWING COMFORT
WO2019177870A1 (en) 2018-03-15 2019-09-19 Magic Leap, Inc. Animating virtual avatar facial movements
US10775618B2 (en) 2018-03-16 2020-09-15 Magic Leap, Inc. Facial expressions from eye-tracking cameras
CN112088332A (zh) 2018-03-16 2020-12-15 迪吉伦斯公司 包含双折射控制的全息波导及用于它们的制造的方法
CN112136094A (zh) 2018-03-16 2020-12-25 奇跃公司 用于显示系统的基于深度的凹式渲染
US11480467B2 (en) 2018-03-21 2022-10-25 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis
MX2020009791A (es) 2018-03-23 2020-11-11 Pcms Holdings Inc Método basado en planos multifocales para producir puntos de vista estereoscópicos en un sistema de renderizado de imágenes basado en profundidad (mfp-dibr).
EP3776027A4 (en) 2018-04-02 2021-12-29 Magic Leap, Inc. Waveguides with integrated optical elements and methods of making the same
US11460609B2 (en) 2018-04-02 2022-10-04 Magic Leap, Inc. Hybrid polymer waveguide and methods for making the same
WO2019195193A1 (en) 2018-04-02 2019-10-10 Magic Leap, Inc. Waveguides having integrated spacers, waveguides having edge absorbers, and methods for making the same
WO2019204164A1 (en) 2018-04-16 2019-10-24 Magic Leap, Inc. Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters
WO2019204765A1 (en) 2018-04-19 2019-10-24 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility
US10789753B2 (en) 2018-04-23 2020-09-29 Magic Leap, Inc. Avatar facial expression representation in multidimensional space
WO2019212698A1 (en) 2018-05-01 2019-11-07 Magic Leap, Inc. Avatar animation using markov decision process policies
WO2019213220A1 (en) 2018-05-03 2019-11-07 Magic Leap, Inc. Using 3d scans of a physical subject to determine positions and orientations of joints for a virtual character
WO2019226494A1 (en) 2018-05-21 2019-11-28 Magic Leap, Inc. Generating textured polygon strip hair from strand-based hair for a virtual character
WO2019226549A1 (en) 2018-05-22 2019-11-28 Magic Leap, Inc. Computer generated hair groom transfer tool
EP3797345A4 (en) 2018-05-22 2022-03-09 Magic Leap, Inc. TRANSMODAL INPUT FUSION FOR A BODY WEARABLE SYSTEM
US10885692B2 (en) 2018-05-22 2021-01-05 Magic Leap, Inc. Skeletal systems for animating virtual avatars
WO2019226865A1 (en) 2018-05-25 2019-11-28 Magic Leap, Inc. Compression of dynamic unstructured point clouds
WO2019236344A1 (en) 2018-06-07 2019-12-12 Magic Leap, Inc. Augmented reality scrollbar
EP3807715A4 (en) 2018-06-15 2022-03-23 Magic Leap, Inc. WIDE FIELD OF VIEW POLARIZATION SWITCHES AND LIQUID CRYSTAL OPTICAL ELEMENTS WITH FORWARD TILT
EP3807710B1 (en) 2018-06-18 2024-01-17 Magic Leap, Inc. Augmented reality display with frame modulation functionality
EP3807868A4 (en) * 2018-06-18 2021-09-22 Magic Leap, Inc. CENTRALIZED RENDERING
US11694435B2 (en) 2018-06-18 2023-07-04 Magic Leap, Inc. Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device
US11624909B2 (en) 2018-06-18 2023-04-11 Magic Leap, Inc. Head-mounted display systems with power saving functionality
US11151793B2 (en) 2018-06-26 2021-10-19 Magic Leap, Inc. Waypoint creation in map detection
CN112602090A (zh) 2018-07-02 2021-04-02 奇跃公司 用于插值不同输入的方法和系统
WO2020010271A1 (en) 2018-07-05 2020-01-09 Magic Leap, Inc. Waveguide-based illumination for head mounted display system
US11689709B2 (en) 2018-07-05 2023-06-27 Interdigital Vc Holdings, Inc. Method and system for near-eye focal plane overlays for 3D perception of content on 2D displays
WO2020018938A1 (en) 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
JP2021530790A (ja) 2018-07-23 2021-11-11 マジック リープ, インコーポレイテッドMagic Leap, Inc. 頭部姿勢予測のための深層予測器再帰ニューラルネットワーク
US11627587B2 (en) 2018-07-23 2023-04-11 Magic Leap, Inc. Coexistence interference avoidance between two different radios operating in the same band
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES
USD930614S1 (en) 2018-07-24 2021-09-14 Magic Leap, Inc. Totem controller having an illumination region
WO2020023546A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Diffractive optical elements with mitigation of rebounce-induced light loss and related systems and methods
USD924204S1 (en) 2018-07-24 2021-07-06 Magic Leap, Inc. Totem controller having an illumination region
US11422620B2 (en) 2018-07-24 2022-08-23 Magic Leap, Inc. Display systems and methods for determining vertical alignment between left and right displays and a user's eyes
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
WO2020023404A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Flicker mitigation when toggling eyepiece display illumination in augmented reality systems
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
WO2020023788A1 (en) 2018-07-27 2020-01-30 Magic Leap, Inc. Pose space dimensionality reduction for pose space deformation of a virtual character
CN112805659A (zh) 2018-08-03 2021-05-14 奇跃公司 通过用户分类为多深度平面显示系统选择深度平面
US11002971B1 (en) * 2018-08-24 2021-05-11 Apple Inc. Display device with mechanically adjustable optical combiner
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
USD950567S1 (en) 2018-09-18 2022-05-03 Magic Leap, Inc. Mobile computing support system having an illumination region
USD955396S1 (en) 2018-09-18 2022-06-21 Magic Leap, Inc. Mobile computing support system having an illumination region
USD934872S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
USD934873S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
JP7444861B2 (ja) 2018-09-26 2024-03-06 マジック リープ， インコーポレイテッド 屈折力を有する回折光学要素
US10861240B1 (en) * 2018-09-26 2020-12-08 Facebook Technologies, Llc Virtual pupil camera in head mounted display
EP3871034A4 (en) * 2018-10-26 2022-08-10 Magic Leap, Inc. ELECTROMAGNETIC AMBIENT DISTORTION CORRECTION FOR ELECTROMAGNETIC TRACKING
WO2020102554A1 (en) 2018-11-15 2020-05-22 Magic Leap, Inc. Deep neural network pose estimation system
EP3884337A4 (en) 2018-11-20 2022-08-17 Magic Leap, Inc. EYEPIECES FOR AN AUGMENTED REALITY DISPLAY SYSTEM
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
JP2022510843A (ja) 2018-11-30 2022-01-28 マジック リープ， インコーポレイテッド アバタ移動のためのマルチモードの手の場所および配向
US11914150B2 (en) 2018-12-28 2024-02-27 Magic Leap, Inc. Augmented and virtual reality display systems with shared display for left and right eyes
US11640063B2 (en) 2018-12-28 2023-05-02 Magic Leap, Inc. Variable pixel density display system with mechanically-actuated image projector
CN113614783A (zh) 2019-01-25 2021-11-05 奇跃公司 使用具有不同曝光时间的图像的眼睛跟踪
JP7268372B2 (ja) * 2019-01-31 2023-05-08 株式会社リコー 撮像装置
CN113692544A (zh) 2019-02-15 2021-11-23 迪吉伦斯公司 使用集成光栅提供全息波导显示的方法和装置
WO2020176783A1 (en) 2019-02-28 2020-09-03 Magic Leap, Inc. Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays
US20200292745A1 (en) 2019-03-12 2020-09-17 Digilens Inc. Holographic Waveguide Backlight and Related Methods of Manufacturing
US11435584B2 (en) * 2019-03-13 2022-09-06 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Large field of view see through head mounted display having magnified curved intermediate image
US11846778B2 (en) 2019-03-20 2023-12-19 Magic Leap, Inc. System for providing illumination of the eye
US10554940B1 (en) 2019-03-29 2020-02-04 Razmik Ghazaryan Method and apparatus for a variable-resolution screen
US10466489B1 (en) 2019-03-29 2019-11-05 Razmik Ghazaryan Methods and apparatus for a variable-resolution screen
US11284053B2 (en) 2019-03-29 2022-03-22 Razmik Ghazaryan Head-mounted display and projection screen
JP2022529245A (ja) 2019-04-15 2022-06-20 マジック リープ， インコーポレイテッド 電磁追跡のためのセンサ融合
US11800205B2 (en) * 2019-04-18 2023-10-24 University Of Florida Research Foundation, Incorporated Fast foveation camera and controlling algorithms
KR102606609B1 (ko) 2019-05-05 2023-11-29 후아웨이 테크놀러지 컴퍼니 리미티드 카메라 모듈, 단말 디바이스, 촬상 방법 및 촬상 장치
CN110913096A (zh) * 2019-05-05 2020-03-24 华为技术有限公司 一种摄像模组及电子设备
EP3973347A4 (en) 2019-05-20 2023-05-31 Magic Leap, Inc. EYE POSITION ESTIMATION SYSTEMS AND TECHNIQUES
TWI707193B (zh) * 2019-05-22 2020-10-11 財團法人國家實驗研究院 遙測衛星的聚焦面組合件及其影像處理方法
WO2020243012A1 (en) 2019-05-24 2020-12-03 Magic Leap, Inc. Variable focus assemblies
EP3976726A4 (en) 2019-05-28 2023-06-28 Magic Leap, Inc. Thermal management system for portable electronic devices
USD962981S1 (en) 2019-05-29 2022-09-06 Magic Leap, Inc. Display screen or portion thereof with animated scrollbar graphical user interface
WO2020247930A1 (en) 2019-06-07 2020-12-10 Digilens Inc. Waveguides incorporating transmissive and reflective gratings and related methods of manufacturing
CN114286962A (zh) 2019-06-20 2022-04-05 奇跃公司 用于增强现实显示系统的目镜
CN114270312A (zh) 2019-06-21 2022-04-01 奇跃公司 经由模态窗口的安全授权
WO2020263866A1 (en) 2019-06-24 2020-12-30 Magic Leap, Inc. Waveguides having integral spacers and related systems and methods
US11029805B2 (en) 2019-07-10 2021-06-08 Magic Leap, Inc. Real-time preview of connectable objects in a physically-modeled virtual space
US11868525B2 (en) 2019-07-16 2024-01-09 Magic Leap, Inc. Eye center of rotation determination with one or more eye tracking cameras
JP2022540691A (ja) 2019-07-19 2022-09-16 マジック リープ， インコーポレイテッド 回折格子を加工する方法
JP7447237B2 (ja) 2019-07-19 2024-03-11 マジック リープ， インコーポレイテッド 低減された偏光感度を伴う回折格子を有するディスプレイデバイス
US11740458B2 (en) 2019-07-26 2023-08-29 Microsoft Technology Licensing, Llc Projection device and projection method for head mounted display based on rotary MEMS fast scanner
JP2022543571A (ja) 2019-07-29 2022-10-13 ディジレンズ インコーポレイテッド 画素化されたディスプレイの画像解像度および視野を乗算するための方法および装置
AU2020325162B2 (en) * 2019-08-07 2023-08-31 Agilent Technologies, Inc. Optical imaging performance test system and method
US11442222B2 (en) 2019-08-29 2022-09-13 Digilens Inc. Evacuated gratings and methods of manufacturing
EP4028354A4 (en) 2019-09-11 2023-11-22 Magic Leap, Inc. DISPLAY DEVICE PROVIDED WITH A DIFFRACTION GRATING WITH REDUCED POLARIZATION SENSITIVITY
CN114600035A (zh) * 2019-09-13 2022-06-07 代表亚利桑那大学的亚利桑那校董事会 瞳孔匹配的具有遮挡能力的光学透视头戴式显示器
US11610290B2 (en) * 2019-09-24 2023-03-21 Rockwell Collins, Inc. Point source detection
US11933949B2 (en) * 2019-09-27 2024-03-19 Apple Inc. Freeform folded optical system
US11276246B2 (en) 2019-10-02 2022-03-15 Magic Leap, Inc. Color space mapping for intuitive surface normal visualization
US11176757B2 (en) 2019-10-02 2021-11-16 Magic Leap, Inc. Mission driven virtual character for user interaction
JPWO2021070970A1 (zh) * 2019-10-12 2021-04-15
JP7467619B2 (ja) 2019-11-08 2024-04-15 マジック リープ， インコーポレイテッド 複数の材料を含む光再指向構造を伴うメタ表面およびその加工方法
US11493989B2 (en) 2019-11-08 2022-11-08 Magic Leap, Inc. Modes of user interaction
USD982593S1 (en) 2019-11-08 2023-04-04 Magic Leap, Inc. Portion of a display screen with animated ray
WO2021101844A1 (en) 2019-11-18 2021-05-27 Magic Leap, Inc. Mapping and localization of a passable world
JP2023502336A (ja) 2019-11-22 2023-01-24 マジック リープ， インコーポレイテッド 液晶層をパターン化するための方法およびシステム
KR102244445B1 (ko) * 2019-11-22 2021-04-26 인하대학교 산학협력단 단일 디지털 마이크로미러 장치를 이용한 오클루전 가능 증강현실용 근안 디스플레이 장치 및 방법
JP7467623B2 (ja) 2019-11-26 2024-04-15 マジック リープ， インコーポレイテッド 拡張または仮想現実ディスプレイシステムのための向上された眼追跡
WO2021113309A1 (en) 2019-12-06 2021-06-10 Magic Leap, Inc. Encoding stereo splash screen in static image
WO2021113322A1 (en) 2019-12-06 2021-06-10 Magic Leap, Inc. Dynamic browser stage
USD940749S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940748S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941307S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with graphical user interface for guiding graphics
USD952673S1 (en) 2019-12-09 2022-05-24 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940189S1 (en) 2019-12-09 2022-01-04 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941353S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
US11288876B2 (en) 2019-12-13 2022-03-29 Magic Leap, Inc. Enhanced techniques for volumetric stage mapping based on calibration object
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
CN111077679A (zh) * 2020-01-23 2020-04-28 福州贝园网络科技有限公司 一种智能眼镜显示器及其成像方法
US11340695B2 (en) 2020-01-24 2022-05-24 Magic Leap, Inc. Converting a 2D positional input into a 3D point in space
CN115380236A (zh) 2020-01-24 2022-11-22 奇跃公司 使用单个控制器的内容移动和交互
USD948562S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with avatar
WO2021154646A1 (en) 2020-01-27 2021-08-05 Magic Leap, Inc. Neutral avatars
USD949200S1 (en) 2020-01-27 2022-04-19 Magic Leap, Inc. Portion of a display screen with a set of avatars
CN115039166A (zh) 2020-01-27 2022-09-09 奇跃公司 增强现实地图管理
USD948574S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with a set of avatars
CN115004235A (zh) 2020-01-27 2022-09-02 奇跃公司 基于锚的交叉现实应用的增强状态控制
CN115004128A (zh) 2020-01-27 2022-09-02 奇跃公司 基于注视计时器的用户输入设备的功能增强
USD936704S1 (en) 2020-01-27 2021-11-23 Magic Leap, Inc. Portion of a display screen with avatar
WO2021155047A1 (en) 2020-01-31 2021-08-05 Magic Leap, Inc. Augmented and virtual reality display systems for oculometric assessments
US11709363B1 (en) 2020-02-10 2023-07-25 Avegant Corp. Waveguide illumination of a spatial light modulator
CN115087905A (zh) 2020-02-10 2022-09-20 奇跃公司 在混合现实环境中相对于三维容器的以身体为中心的内容定位
US11726349B2 (en) 2020-02-14 2023-08-15 Magic Leap, Inc. Virtual object movement speed curve for virtual and augmented reality display systems
EP4111133A1 (en) 2020-02-26 2023-01-04 Magic Leap, Inc. Procedural electron beam lithography
CN115190837A (zh) 2020-02-28 2022-10-14 奇跃公司 制造用于形成具有一体间隔件的目镜的模具的方法
US11262588B2 (en) 2020-03-10 2022-03-01 Magic Leap, Inc. Spectator view of virtual and physical objects
US11474358B2 (en) 2020-03-20 2022-10-18 Magic Leap, Inc. Systems and methods for retinal imaging and tracking
CN115698782A (zh) 2020-03-25 2023-02-03 奇跃公司 具有单路镜的光学设备
EP4127822A1 (en) 2020-04-03 2023-02-08 Magic Leap, Inc. Wearable display systems with nanowire led micro-displays
JP2023520463A (ja) 2020-04-03 2023-05-17 マジック リープ， インコーポレイテッド 最適視線弁別のためのアバタカスタマイズ
WO2021237115A1 (en) 2020-05-22 2021-11-25 Magic Leap, Inc. Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions
WO2021247435A1 (en) 2020-06-05 2021-12-09 Magic Leap, Inc. Enhanced eye tracking techniques based on neural network analysis of images
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
CN111580280B (zh) * 2020-06-16 2022-10-28 京东方科技集团股份有限公司 透视头戴显示器
WO2022032198A1 (en) 2020-08-07 2022-02-10 Magic Leap, Inc. Tunable cylindrical lenses and head-mounted display including the same
CN116438479A (zh) 2020-09-29 2023-07-14 阿维甘特公司 用于对显示面板照明的架构
JP2022144057A (ja) * 2021-03-18 2022-10-03 株式会社Ｊｖｃケンウッド 表示装置、表示方法およびプログラム
TWI775392B (zh) * 2021-04-20 2022-08-21 宏碁股份有限公司 擴增實境眼鏡
US11936975B2 (en) 2021-05-12 2024-03-19 Nio Technology (Anhui) Co., Ltd. Combined computer vision and human vision camera system
WO2022269895A1 (ja) * 2021-06-25 2022-12-29 株式会社ニコン 撮像装置、および受光装置
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US20230236420A1 (en) * 2021-08-17 2023-07-27 Texas Instruments Incorporated Compact near eye display engine
US20230059918A1 (en) * 2021-08-17 2023-02-23 Texas Instruments Incorporated Compact near eye display engine
US20230057977A1 (en) * 2021-08-20 2023-02-23 Immervision, Inc. Dual field of view optical system
US11417069B1 (en) * 2021-10-05 2022-08-16 Awe Company Limited Object and camera localization system and localization method for mapping of the real world
WO2023133301A1 (en) * 2022-01-07 2023-07-13 Arizona Board Of Regents On Behalf Of The University Of Arizona Occlusion-capable optical viewing device and associated method
US11662591B1 (en) * 2022-07-01 2023-05-30 Brelyon Inc. Display systems and imaging systems with dynamically controllable optical path lengths
US11776206B1 (en) 2022-12-23 2023-10-03 Awe Company Limited Extended reality system and extended reality method with two-way digital interactive digital twins

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4026641A (en) * 1975-12-30 1977-05-31 The United States Of America As Represented By The Secretary Of The Army Toric reflector display
CN1089039A (zh) * 1991-12-17 1994-07-06 德克萨斯仪器股份有限公司 虚象显示装置及其显示方法
JPH0792426A (ja) * 1993-09-24 1995-04-07 Sony Corp 視覚装置
EP0977071A1 (en) * 1998-07-27 2000-02-02 Mixed Reality Systems Laboratory Inc. Image observing apparatus
CN1305619A (zh) * 1998-04-20 2001-07-25 帝曼斯诺梅迪亚联合有限公司 多平面立体显示系统及采用三维去混叠的操作方法
US6341869B1 (en) * 1998-08-11 2002-01-29 Minolta Co., Ltd. Method and device for providing information
WO2003001275A2 (en) * 2001-06-21 2003-01-03 Koninklijke Philips Electronics N.V. Display device
CN1440513A (zh) * 2000-06-05 2003-09-03 鲁姆斯有限公司 基片导引的光束扩展器
CN1452725A (zh) * 2000-02-11 2003-10-29 Emd有限公司 光学分束器单元和包括这种单元的双目显示装置
US20040109009A1 (en) * 2002-10-16 2004-06-10 Canon Kabushiki Kaisha Image processing apparatus and image processing method
EP1430349A1 (de) * 2000-10-07 2004-06-23 Dickerson, David Informationssystem
US20050007673A1 (en) * 2001-05-23 2005-01-13 Chaoulov Vesselin I. Compact microlenslet arrays imager
CN1894617A (zh) * 2003-12-12 2007-01-10 海德佩公司 用于头戴显示器的光学装置
CN101029968A (zh) * 2007-04-06 2007-09-05 北京理工大学 可寻址光线屏蔽机制光学透视式头盔显示器
CN101034206A (zh) * 2006-03-09 2007-09-12 比亚迪股份有限公司 一种头盔显示器的光学成像系统
WO2008129539A2 (en) * 2007-04-22 2008-10-30 Lumus Ltd. A collimating optical device and system
US7639208B1 (en) * 2004-05-21 2009-12-29 University Of Central Florida Research Foundation, Inc. Compact optical see-through head-mounted display with occlusion support
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
WO2012037290A2 (en) * 2010-09-14 2012-03-22 Osterhout Group, Inc. Eyepiece with uniformly illuminated reflective display

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3909121A (en) * 1974-06-25 1975-09-30 Mesquita Cardoso Edgar Antonio Panoramic photographic methods
JPS54128217A (en) * 1978-03-29 1979-10-04 Olympus Optical Co Ltd Pickup device
JPS57171314A (en) 1981-04-15 1982-10-21 Mitsubishi Electric Corp Optical branching and coupling circuit
CN1058577C (zh) * 1989-07-28 2000-11-15 佳能株式会社 图象形成装置
US5136183A (en) 1990-06-27 1992-08-04 Advanced Micro Devices, Inc. Integrated comparator circuit
US5307203A (en) * 1990-12-06 1994-04-26 Tandem Scanning Corporation Confocal tandem scanning reflected light microscope
US5135183A (en) * 1991-09-23 1992-08-04 Hughes Aircraft Company Dual-image optoelectronic imaging apparatus including birefringent prism arrangement
US5406415A (en) 1992-09-22 1995-04-11 Kelly; Shawn L. Imaging system for a head-mounted display
US5386313A (en) 1993-03-11 1995-01-31 Szegedi; Nicholas J. Reflective magneto-optic spatial light modulator assembly
JP3320252B2 (ja) * 1995-04-24 2002-09-03 キヤノン株式会社 反射型の光学系及びそれを用いた撮像装置
US6347744B1 (en) * 1995-10-10 2002-02-19 Symbol Technologies, Inc. Retroreflective scan module for electro-optical readers
JPH09166759A (ja) * 1995-12-18 1997-06-24 Olympus Optical Co Ltd 画像表示装置
JP3222052B2 (ja) * 1996-01-11 2001-10-22 株式会社東芝 光走査装置
JPH1068899A (ja) * 1996-08-26 1998-03-10 Asahi Optical Co Ltd カスケード走査光学系
US6204974B1 (en) 1996-10-08 2001-03-20 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
JP3924348B2 (ja) * 1996-11-05 2007-06-06 オリンパス株式会社 画像表示装置
JPH10197796A (ja) * 1996-12-27 1998-07-31 Olympus Optical Co Ltd ファインダー光学系
US6466185B2 (en) 1998-04-20 2002-10-15 Alan Sullivan Multi-planar volumetric display system and method of operation using psychological vision cues
JP2000105348A (ja) * 1998-07-27 2000-04-11 Mr System Kenkyusho:Kk 画像観察装置
JP2000171750A (ja) * 1998-12-03 2000-06-23 Sony Corp ヘッドマウントディスプレイ、表示方法、および提供媒体
JP2000227554A (ja) 1999-02-05 2000-08-15 Olympus Optical Co Ltd 結像光学系
JP2000330025A (ja) * 1999-05-19 2000-11-30 Olympus Optical Co Ltd ルーバーを用いた結像光学系
AU4082801A (en) * 2000-03-16 2001-09-24 Lee Scott Friend Imaging apparatus
US20020000951A1 (en) * 2000-06-26 2002-01-03 Richards Angus Duncan Display device enhancements
US6457834B1 (en) 2001-01-24 2002-10-01 Scram Technologies, Inc. Optical system for display panel
EP1231780A3 (en) * 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
JP2002244074A (ja) * 2001-02-15 2002-08-28 Mixed Reality Systems Laboratory Inc 画像表示装置
FR2826221B1 (fr) 2001-05-11 2003-12-05 Immervision Internat Pte Ltd Procede d'obtention et d'affichage d'une image panoramique numerique a resolution variable
US6593561B2 (en) * 2001-06-22 2003-07-15 Litton Systems, Inc. Method and system for gathering image data using multiple sensors
US7940299B2 (en) 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
US6473241B1 (en) * 2001-11-27 2002-10-29 The United States Of America As Represented By The Secretary Of The Air Force Wide field-of-view imaging system using a reflective spatial light modulator
US7084904B2 (en) * 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
JP2004170386A (ja) * 2002-10-28 2004-06-17 Seiko Epson Corp 検査装置及び検査方法、液滴吐出装置及び液滴吐出方法、デバイス及び電子機器
JP2004153605A (ja) * 2002-10-31 2004-05-27 Victor Co Of Japan Ltd 撮像装置及び撮像画像伝送システム
GB0228089D0 (en) * 2002-12-02 2003-01-08 Seos Ltd Dynamic range enhancement of image display apparatus
JP4288939B2 (ja) * 2002-12-05 2009-07-01 ソニー株式会社 撮像装置
JP4304973B2 (ja) * 2002-12-10 2009-07-29 ソニー株式会社 撮像装置
US6870653B2 (en) * 2003-01-31 2005-03-22 Eastman Kodak Company Decoupled alignment axis for fold mirror adjustment
US7542090B1 (en) * 2003-03-21 2009-06-02 Aerodyne Research, Inc. System and method for high-resolution with a small-format focal-plane array using spatial modulation
US20050117015A1 (en) * 2003-06-26 2005-06-02 Microsoft Corp. Foveated panoramic camera system
US7336299B2 (en) * 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
JP2005094417A (ja) * 2003-09-18 2005-04-07 Sony Corp 撮像装置
DE10359691A1 (de) * 2003-12-18 2005-07-14 Carl Zeiss Beobachtungssystem und -verfahren
EP1580586B1 (en) * 2004-03-25 2008-06-11 Olympus Corporation Scanning confocal microscope
KR100491271B1 (ko) * 2004-04-30 2005-05-25 주식회사 나노포토닉스 전방위 거울 및 이를 이용한 영상 시스템
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
SG155167A1 (en) * 2004-08-03 2009-09-30 Silverbrook Res Pty Ltd Walk-up printing
US20060055811A1 (en) * 2004-09-14 2006-03-16 Frtiz Bernard S Imaging system having modules with adaptive optical elements
US7532771B2 (en) * 2004-11-12 2009-05-12 Microsoft Corporation Image processing system for digital collage
JP4689266B2 (ja) * 2004-12-28 2011-05-25 キヤノン株式会社 画像表示装置
US7884947B2 (en) 2005-01-20 2011-02-08 Zygo Corporation Interferometry for determining characteristics of an object surface, with spatially coherent illumination
US20070002131A1 (en) * 2005-02-15 2007-01-04 Ritchey Kurtis J Dynamic interactive region-of-interest panoramic/three-dimensional immersive communication system and method
DE102005012763A1 (de) 2005-03-19 2006-09-21 Diehl Bgt Defence Gmbh & Co. Kg Weitwinkeloptik
US7023628B1 (en) * 2005-04-05 2006-04-04 Alex Ning Compact fisheye objective lens
EP1798587B1 (en) * 2005-12-15 2012-06-13 Saab Ab Head-up display
DE602005015010D1 (de) 2005-12-29 2009-07-30 Fiat Ricerche Optisches System zur Bildübertragung, besonders für Projektionsgeräte der kopfmontierten Art
CN101021669A (zh) * 2006-02-13 2007-08-22 耿忠 全视场成像与显示方法与系统
US20100045773A1 (en) * 2007-11-06 2010-02-25 Ritchey Kurtis J Panoramic adapter system and method with spherical field-of-view coverage
JP2007248545A (ja) * 2006-03-14 2007-09-27 Konica Minolta Holdings Inc 映像表示装置および映像表示システム
US20080097347A1 (en) 2006-09-22 2008-04-24 Babak Arvanaghi Bendable needle assembly
US8072482B2 (en) * 2006-11-09 2011-12-06 Innovative Signal Anlysis Imaging system having a rotatable image-directing device
US7589901B2 (en) * 2007-07-10 2009-09-15 Microvision, Inc. Substrate-guided relays for use with scanned beam light sources
KR100882011B1 (ko) * 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
US7973834B2 (en) * 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
JP2009122379A (ja) * 2007-11-14 2009-06-04 Canon Inc 光学装置及びその制御方法、撮像装置、並びにプログラム
JP5201957B2 (ja) * 2007-11-21 2013-06-05 キヤノン株式会社 撮像装置
JP5153351B2 (ja) * 2008-01-18 2013-02-27 キヤノン株式会社 ズームレンズ及びそれを有する光学機器
US7952783B2 (en) * 2008-09-22 2011-05-31 Microvision, Inc. Scanning mirror control
CN102265124A (zh) 2008-11-04 2011-11-30 威廉马什赖斯大学 像映射光谱仪
US20110164108A1 (en) * 2009-12-30 2011-07-07 Fivefocal Llc System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8743199B2 (en) * 2010-03-09 2014-06-03 Physical Optics Corporation Omnidirectional imaging optics with 360°-seamless telescopic resolution
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
JP2012252091A (ja) 2011-06-01 2012-12-20 Sony Corp 表示装置
EP2732330A4 (en) * 2011-07-17 2015-07-08 Ziva Corp OPTICAL ILLUSTRATION WITH FOVEATION
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US9256117B2 (en) * 2011-10-07 2016-02-09 L-3 Communications Cincinnati Electronics Corporation Panoramic imaging systems comprising rotatable mirrors for image stabilization
WO2013152205A1 (en) 2012-04-05 2013-10-10 Augmented Vision Inc. Wide-field of view (fov) imaging devices with active foveation capability
KR20140118770A (ko) 2013-03-27 2014-10-08 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치
US9494792B2 (en) 2013-07-30 2016-11-15 Global Oled Technology Llc Local seal for encapsulation of electro-optical element on a flexible substrate
US20160077345A1 (en) 2014-09-17 2016-03-17 Michael Bohan Eliminating Binocular Rivalry in Monocular Displays
EP3163379B1 (en) * 2015-10-28 2019-10-16 Samsung Electronics Co., Ltd. See-through holographic display apparatus

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4026641A (en) * 1975-12-30 1977-05-31 The United States Of America As Represented By The Secretary Of The Army Toric reflector display
CN1089039A (zh) * 1991-12-17 1994-07-06 德克萨斯仪器股份有限公司 虚象显示装置及其显示方法
JPH0792426A (ja) * 1993-09-24 1995-04-07 Sony Corp 視覚装置
CN1305619A (zh) * 1998-04-20 2001-07-25 帝曼斯诺梅迪亚联合有限公司 多平面立体显示系统及采用三维去混叠的操作方法
EP0977071A1 (en) * 1998-07-27 2000-02-02 Mixed Reality Systems Laboratory Inc. Image observing apparatus
US6341869B1 (en) * 1998-08-11 2002-01-29 Minolta Co., Ltd. Method and device for providing information
CN1452725A (zh) * 2000-02-11 2003-10-29 Emd有限公司 光学分束器单元和包括这种单元的双目显示装置
CN1440513A (zh) * 2000-06-05 2003-09-03 鲁姆斯有限公司 基片导引的光束扩展器
EP1430349A1 (de) * 2000-10-07 2004-06-23 Dickerson, David Informationssystem
US20050007673A1 (en) * 2001-05-23 2005-01-13 Chaoulov Vesselin I. Compact microlenslet arrays imager
WO2003001275A2 (en) * 2001-06-21 2003-01-03 Koninklijke Philips Electronics N.V. Display device
CN1316286C (zh) * 2001-06-21 2007-05-16 皇家菲利浦电子有限公司 显示装置
US20040109009A1 (en) * 2002-10-16 2004-06-10 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN1894617A (zh) * 2003-12-12 2007-01-10 海德佩公司 用于头戴显示器的光学装置
US7639208B1 (en) * 2004-05-21 2009-12-29 University Of Central Florida Research Foundation, Inc. Compact optical see-through head-mounted display with occlusion support
CN101034206A (zh) * 2006-03-09 2007-09-12 比亚迪股份有限公司 一种头盔显示器的光学成像系统
CN101029968A (zh) * 2007-04-06 2007-09-05 北京理工大学 可寻址光线屏蔽机制光学透视式头盔显示器
WO2008129539A2 (en) * 2007-04-22 2008-10-30 Lumus Ltd. A collimating optical device and system
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
WO2012037290A2 (en) * 2010-09-14 2012-03-22 Osterhout Group, Inc. Eyepiece with uniformly illuminated reflective display

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KIYOSHI KIYOKAWA 等: "《An Occlusion-Capable Optical See-through Head Mount Display for Supporting Co-located Collaboration 》", 《PROCEEDINGS OF THE SECOND IEEE AND ACM INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY》 *
KIYOSHI KIYOKAWA 等: "《An Optical See-through Display for Mutual Occlusion of Real and Virtual Environments》", 《PROCEEDINGS OF AUGMENTED REALITY》 *
MARK A. LIVINGSTON 等: "《Resolving Multiple Occluded Layers in Augmented Reality》", 《PROC. OF INTL. SYMPOSIUM ON MIXED AND AUGMENTED REALITY》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115220238A (zh) * 2022-07-12 2022-10-21 李宪亭 近视防控结构和近视防控设备

Also Published As

Publication number Publication date
KR102022719B1 (ko) 2019-11-05
EP2841991A4 (en) 2016-02-10
US20170315361A1 (en) 2017-11-02
EP3608717A1 (en) 2020-02-12
CN108391033B (zh) 2020-10-30
CN104937475B (zh) 2018-01-16
KR102188748B1 (ko) 2020-12-08
US20140177023A1 (en) 2014-06-26
CA2869781A1 (en) 2013-10-10
KR102223290B1 (ko) 2021-03-04
JP6322753B2 (ja) 2018-05-09
CA2874576C (en) 2021-12-28
US20180157046A1 (en) 2018-06-07
EP2834699B1 (en) 2020-12-16
US20170031163A1 (en) 2017-02-02
JP6126682B2 (ja) 2017-05-10
US10061130B2 (en) 2018-08-28
IL300033B1 (en) 2024-01-01
KR20180038583A (ko) 2018-04-16
KR20210119558A (ko) 2021-10-05
IL261165A (en) 2018-10-31
IL284204B (en) 2022-05-01
NZ725339A (en) 2018-04-27
JP2017161914A (ja) 2017-09-14
CN107976818B (zh) 2020-06-19
EP2834699A4 (en) 2016-06-29
US20230244074A1 (en) 2023-08-03
CN104541201A (zh) 2015-04-22
US20140218468A1 (en) 2014-08-07
BR112014024945A2 (pt) 2020-10-27
US10175491B2 (en) 2019-01-08
KR20180038584A (ko) 2018-04-16
WO2014011266A2 (en) 2014-01-16
CN108391033A (zh) 2018-08-10
NZ725322A (en) 2017-12-22
JP2015518178A (ja) 2015-06-25
KR102345444B1 (ko) 2021-12-29
JP6434076B2 (ja) 2018-12-05
IL275662B (en) 2021-07-29
JP6944578B2 (ja) 2021-10-06
RU2015154980A3 (zh) 2019-03-26
JP6176747B2 (ja) 2017-08-09
IL292007B2 (en) 2023-06-01
KR102028732B1 (ko) 2019-10-04
IL261165B (en) 2020-07-30
US11656452B2 (en) 2023-05-23
IL308962A (en) 2024-01-01
AU2013243380B2 (en) 2017-04-20
US10048501B2 (en) 2018-08-14
IL284204A (en) 2021-07-29
CA3111134A1 (en) 2013-10-10
KR20150009536A (ko) 2015-01-26
US20180299677A1 (en) 2018-10-18
AU2013243380A1 (en) 2014-10-30
NZ700898A (en) 2017-03-31
US20180101012A1 (en) 2018-04-12
US20190018249A1 (en) 2019-01-17
AU2017203227A1 (en) 2017-06-08
EP4339690A2 (en) 2024-03-20
CA2869781C (en) 2021-04-27
US9726893B2 (en) 2017-08-08
JP7216165B2 (ja) 2023-01-31
EP2841991B1 (en) 2020-01-08
IL275662A (en) 2020-08-31
EP3796071B1 (en) 2024-01-31
KR102404537B1 (ko) 2022-05-31
KR102306729B1 (ko) 2021-09-28
KR102095330B1 (ko) 2020-03-31
CA2874576A1 (en) 2014-01-16
US9874752B2 (en) 2018-01-23
JP2023052497A (ja) 2023-04-11
NZ700887A (en) 2016-11-25
AU2017203227B2 (en) 2018-11-29
NZ724344A (en) 2018-05-25
RU2015156050A (ru) 2019-01-18
JP2019035977A (ja) 2019-03-07
US10451883B2 (en) 2019-10-22
EP2834699A2 (en) 2015-02-11
AU2013289157A1 (en) 2014-10-30
JP2015519595A (ja) 2015-07-09
US9547174B2 (en) 2017-01-17
KR102129330B1 (ko) 2020-07-02
CN104937475A (zh) 2015-09-23
EP2841991A1 (en) 2015-03-04
JP2018139421A (ja) 2018-09-06
JP2021009398A (ja) 2021-01-28
KR20140141718A (ko) 2014-12-10
US20210373338A1 (en) 2021-12-02
AU2013289157B2 (en) 2017-04-06
KR20180037336A (ko) 2018-04-11
NZ740631A (en) 2018-12-21
EP3796071A1 (en) 2021-03-24
JP2017201406A (ja) 2017-11-09
IL300033A (en) 2023-03-01
CN104541201B (zh) 2018-05-25
KR20200138449A (ko) 2020-12-09
US10901221B2 (en) 2021-01-26
JP2022001949A (ja) 2022-01-06
WO2014011266A3 (en) 2015-04-16
KR20200035184A (ko) 2020-04-01
JP6768046B2 (ja) 2020-10-14
US20200012109A1 (en) 2020-01-09
KR102124350B1 (ko) 2020-06-23
AU2017201669A1 (en) 2017-03-30
RU2015154980A (ru) 2017-06-28
KR20190112218A (ko) 2019-10-02
US20180284456A1 (en) 2018-10-04
AU2017201669B2 (en) 2019-02-07
IL292007A (en) 2022-06-01
WO2013152205A1 (en) 2013-10-10
CN107843988B (zh) 2021-02-02
BR112014024941A2 (pt) 2017-09-19
KR20210024255A (ko) 2021-03-04
US20190107722A1 (en) 2019-04-11
EP3608717B1 (en) 2023-09-27
US10162184B2 (en) 2018-12-25
KR20180038582A (ko) 2018-04-16
CN107976818A (zh) 2018-05-01
CA3138549A1 (en) 2014-01-16
US9851563B2 (en) 2017-12-26
KR102099156B1 (ko) 2020-04-09

Similar Documents

Publication Publication Date Title
CN104937475B (zh) 具有相互遮挡和不透明度控制能力的用于光学透视头戴显示器的设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant