CN106537220B - 具有可变焦点和/或对象识别的可佩戴3d增强现实显示器 - Google Patents

具有可变焦点和/或对象识别的可佩戴3d增强现实显示器 Download PDF

Info

Publication number
CN106537220B
CN106537220B CN201580022973.8A CN201580022973A CN106537220B CN 106537220 B CN106537220 B CN 106537220B CN 201580022973 A CN201580022973 A CN 201580022973A CN 106537220 B CN106537220 B CN 106537220B
Authority
CN
China
Prior art keywords
display
augmented reality
reality display
optics
eyepiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580022973.8A
Other languages
English (en)
Other versions
CN106537220A8 (zh
CN106537220A (zh
Inventor
华宏
B.贾维迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Connecticut
Arizona State University ASU
Original Assignee
University of Connecticut
Arizona State University ASU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Connecticut, Arizona State University ASU filed Critical University of Connecticut
Publication of CN106537220A publication Critical patent/CN106537220A/zh
Publication of CN106537220A8 publication Critical patent/CN106537220A8/zh
Application granted granted Critical
Publication of CN106537220B publication Critical patent/CN106537220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G02B17/0856—Catadioptric systems comprising a refractive element with a reflective surface, the reflection taking place inside the element, e.g. Mangin mirrors
    • G02B17/086—Catadioptric systems comprising a refractive element with a reflective surface, the reflection taking place inside the element, e.g. Mangin mirrors wherein the system is made of a single block of optical material, e.g. solid catadioptric systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Abstract

一种可佩戴3D增强现实显示器和方法，其可包括3D集成成像光学器件。

Description

具有可变焦点和/或对象识别的可佩戴3D增强现实显示器
相关申请
本申请要求2014年3月5日提交的美国临时申请号61/948,226的优先权的权益，通过引用将该（多个）申请的整体内容合并于此。
政府许可的权利。
本发明是利用根据国家科学基金会授予的基金号Nos. 14-22653和14-22179的政府支持完成的。政府具有本发明的某些权利。
技术领域
本发明总体上涉及可佩戴3D增强现实显示器，并且更特别地但不是排外地涉及包括具有可选的可变焦点和/或对象识别的3D集成成像（InI）光学器件的可佩戴3D增强现实显示器。
背景技术
允许在人的现实世界视图上叠加2D或3D数字信息的增强现实（AR）显示器长期以来已被描述为一项重新定义我们感知数字信息且与数字信息相互作用的方式的起改造作用的技术。尽管已经探索了若干个类型的AR显示设备，但是期望形式的AR显示器是轻质的光学看穿式（see-through）头戴式显示器（OST-HMD），其能够实现数字信息到物理世界的直观视图上的光学叠加并且保持对现实世界的看穿式视觉。随着无线网络的迅速增加的带宽、电子器件的小型化以及流行的云计算，当前挑战之一是实现不显眼（unobtrusive）AR显示器，其将OST-HMD、智能电话以及移动计算的功能集成在一副眼镜的体积内。
如果可用的话，这样的AR显示器将有潜力彻底改革许多实践的领域并且渗透生活的结构（fabric），包括医疗、防御和安全、制造、运输、教育和娱乐领域。例如，在医学中，AR技术可使得医生能够在实施手术的同时看到叠加在患者的腹腔上的患者的CT图像；在移动计算中，它可以允许旅行者在街上行走的同时访问他或她视线中的饭店的评论；在军事训练中，它可以允许战士在将3D虚拟对象混入现场训练环境中的环境中有效地训练。
通常，AR技术的大多数关键障碍是由显示器来限定的。缺少高性能、紧凑和低成本AR显示器会限制探索AR技术潜在提供的全范围益处的能力。近年，重要的研究和市场驱动已经朝向克服OST-HMD系统的笨重、类似头盔的外形因数，主要集中于实现紧凑且轻质的外形因数。已经探索了导致OST-HMD显著进步的几个光学技术。例如，大力宣传的googleGlass®是非常紧凑、轻质（~36克）、单眼OST-HMD，提供无障碍即时访问数字信息的益处。尽管它已展示了AR显示器的有前途且令人兴奋的未来前景，但是google Glass®的当前版本在640×360像素的图像分辨率下具有非常窄的FOV（沿对角线近似15°FOV）。这对有效增强许多应用程序中的现实世界视图提供了有限的能力。
尽管这样的承诺，但是现有的OST-HMD仍有许多问题，诸如AR显示器的视觉不适。因此，在实现低成本、高性能、轻质且真正3D OST-HMD系统的同时提供提供增加的视觉舒适度的OST-HMD将是本领域中的进步。
发明内容
在本发明的各方面之一中，本发明可以提供一种3D增强现实显示器，其具有用于提供向用户显示的虚拟3D图像的微显示器。例如，本发明的光学方法可将AR显示系统的光学路径和微InI子系统的光学路径唯一地组合以提供3D光场光源。此方法提供了实现不易受到适应-会聚差异问题影响的AR显示的潜力。受益于自由形式的光学技术，该方法还可以创建轻质且紧凑的OST-HMD解决方案。
在这点上，在本发明的一个示例性配置中，显示光学器件可被提供用来从微显示器接收光学辐射并且可被配置成从所接收的辐射创建3D光场，即真正光学重构的3D实际或虚拟对象。（如这里所使用的，术语“3D光场”被定义成意指包括看起来要由3D场景发射以创建3D场景的感知的光线集合的3D场景的辐射场）。还可包括与显示光学器件光通信的目镜，其中该目镜被配置成从显示光学器件接收3D光场并将所接收到的辐射递送到该系统的出瞳以提供虚拟显示路径。目镜可包括被配置成从显示光学器件接收3D光场且将所接收到的辐射反射到该系统的出瞳以提供虚拟显示路径的所选表面。该所选表面还可被配置成从不同于微显示器的源接收光学辐射并将这样的光学辐射传输到出瞳以提供看穿式光学路径。该目镜可包括自由形式的棱镜形状。在一个示例性配置中，该显示光学器件可包括集成成像光学器件。
附图说明
当结合附图阅读时，可进一步理解本发明的示例性实施例的前述摘要和后面的详细描述，在附图中：
图1A到1C示意性地图示单眼AR显示器中的适应-会聚提示（图1A）；双眼显示器（图1B）；以及观看实际对象（图1C）；
图2示意性地图示根据本发明的示例性3D-OST-HMD系统的框图，其包括微观集成成像（InI）单元、看穿式光学器件和目镜；
图3示意性地图示用于创建在本发明的设备和方法中使用的3D场景的3D光场的微观InI单元的图；
图4示意性地图示根据本发明的用于创建其中虚拟光场是远心的3D场景的3D光场的替代示例性微观InI（微InI）单元的图；
图5示意性地图示根据本发明的示例性头戴3D集成成像显示系统的图，其集成微InI单元和用于创建3D场景的虚拟光场的传统目镜光学器件；
图6A到6C示意性地图示根据本发明的使用自由形式的光学技术的3D增强现实光学看穿式HMD的示例性设计，其中图6A图示用于3D光场显示器的示例性自由形式目镜，图6B图示校正观察轴线偏离和偏差的示例性自由形式校正镜，以及图6C图示集成光学布局和射线追踪；
图6D示意性地图示根据本发明的包括可变焦点元件的3D增强现实光学看穿式HMD的示例性设计；
图6E示意性地图示根据本发明的包括3D和/或2D对象识别的3D增强光学看穿式HMD的示例性设计；
图7示意性地图示根据本发明的示例性微InI模块和目镜；
图8图示根据本发明的由微InI和自由形式目镜重构的微显示器、微透镜阵列、3D场景的示例性样机（prototype）；
图9图示在本发明的特定示范中使用的实验“3D”图像；以及
图10A到10D展示由放置在图8的样机的目镜处的数码照相机捕获的图像，其中照相机以4m（图10A）聚焦、30cm（图10B）聚焦、移动到出瞳左侧（图10C）以及移动到出瞳右侧（图10D）。
具体实施方式
尽管HMD的目前商业发展，已经作出了非常有限的努力来解决使AR显示器的视觉不适最小化的挑战，这是要求延长的使用时段的应用的极重要的关注。引起视觉不适的关键因素之一是所显示的数字信息与现实世界场景之间的适应-会聚差异，这是大多数现有AR显示器所固有的基本问题。适应提示指的是眼睛的聚焦动作，其中睫状肌改变晶状体的折光能力并因此使对于场景的固定深度的模糊量最小化。与眼睛适应变化相关的是视网膜图像模糊提示，其指的是随着从眼睛的固定点到更近或更远的点的距离变化的图像模糊效应。适应和视网膜图像模糊效应一起被称为聚焦提示。会聚提示指的是眼睛使视觉轴线向内或向外以便在近距离或远距离在感兴趣的3D对象处相交的旋转动作。
适应-会聚失配问题源于在大多数现有AR显示器中图像源是位于离眼睛固定距离处的2D平坦表面的事实。因此，这个类型的AR显示器缺少为要被叠加在位于不同于2D图像源的距离处的实际对象上的数字信息再现（render）正确聚焦提示的能力。它引起下面的三个适应-会聚冲突。（1）存在2D图像平面与现实世界场景之间的适应提示的失配（图1A）。提示眼睛在2D图像平面处适应以便在同时提示眼睛在数字信息被叠加到其上的实际3D对象的深度处适应和会聚的同时观看增强的信息。显示平面和现实世界对象之间的距离间隙可以容易地超越人类视觉系统（HVS）可以同时适应的事物。简单的示例是驾驶辅助的AR显示器的使用，其中眼睛需要时常在AR显示器和从近处（例如仪表板）跨越到远处（例如道路标志）的现实世界对象之间切换注意力。（2）在双眼立体显示中，通过利用双眼差异来再现一对立体图像，可再现增强信息以便在与2D显示表面不同的距离处显现（图1B）。当观看增强信息时，提示眼睛在2D显示表面处适应以便使虚拟显示焦点对准（in focus）但是同时促使眼睛会聚在由双眼差异指示的深度处以融合立体对。在观看自然场景中（图1C），眼睛会聚深度与适应深度相符并且在不同于感兴趣对象的深度处的对象看起来是模糊的。（3）经由立体图像再现的合成对象（不管它们所再现的离用户的距离）看起来都是焦点对准（在观看者集中在图像平面上的情况下），或者看起来都模糊（在用户在不同于图像平面的距离处适应的情况下）。所显示的场景的视网膜图像模糊不会随着从眼睛固定点到模拟场景中的不同深度处的其它点的距离而变化。简言之，不正确的聚焦提示可促成观看立体显示的问题，诸如扭曲的深度感知、复视视觉、视觉不适和疲劳以及动眼反应的降级。
在本发明的各方面之一中，本发明涉及通过将3D光场创建技术与自由形式光学技术组合的OST-HMD设计的新颖方法。本发明的3D光场创建技术通过创建看起来要由3D场景发射的光线集合以及创建3D场景的感知来重构3D场景的辐射场。因此，如这里所使用的，术语“3D光场”被定义成意指包括看起来要由3D场景发射以创建3D场景的感知的光线集合的3D场景的辐射场。所重构的3D场景为HMD观看光学器件创建3D图像源，这能够实现利用3D源替代典型2D显示表面并且因此潜在地克服适应-会聚差异问题。可在本发明的设备和方法中使用能够生成3D光场的任何光学系统。例如，本发明的一个示例性配置将微集成成像（微InI）光学器件用于创建全视差3D光场以便光学地创建3D场景的感知。（本领域技术人员将意识到集成成像（InI）是多视图成像和显示技术，其通过利用针孔、透镜或微透镜阵列来捕获或显示3D场景的光场。在作为显示技术的情况下，微透镜阵列与显示设备组合，这提供每个都具有3D场景的不同视角的信息的一组基本图像。与显示设备组合的微透镜阵列再现由显示设备的不同像素发射的光线束，并且来自不同像素的这些光线束相交并光学地创建看起来发光并占用3D空间的3D点的感知。此方法允许利用所有方向上的全视差信息来重构3D场景的真正3D图像）。能够生成可与本发明一起使用的3D光场的其它光学系统包括但不限于全息显示（M. Lucente, “Interactive three-dimensional holographic displays:seeing the future in depth,” Computer Graphics, 31(2), pp. 63-67, 1997; P. A.Blanche等, “Holographic three-dimensional telepresence using large-areaphotorefractive polymer”, Nature, 468, 80-83, 2010年11月）、多层计算光场显示（G.Wetzstein等, “Tensor Displays: Compressive light field synthesis usingmultilayer displays with directional backlighting,” ACM Transactions onGraphics, 31(4), 2012）、以及体积显示（Blundell, B. G., 和Schwarz, A. J., “Theclassification of volumetric display systems: characteristics andpredictability of the image space,” IEEE Transaction on Visualization andComputer Graphics, 8(1), pp. 66-75, 2002；J. Y. Son, W.H. Son, S.K. Kim, K.H.Lee, B. Javidi, “Three-Dimensional Imaging for Creating Real-World-LikeEnvironments,” Proceedings of IEEE Journal, Vol. 101, issue 1, pp. 190-205,2013年1月）。
微InI系统具有以适合于可穿戴系统的非常紧凑的外形因数实现全视差3D对象重构和可视化的潜力。它可以显著地减轻传统自动立体InI显示器中的大多数限制（这归因于良好约束的观看位置的益处）并且可以被有效地用于解决传统HMD系统中的适应-会聚差异问题。微InI单元可以通过来自3D场景的很多所记录的感知图像的传播光线锥的相交来重构小型化3D场景。通过利用自由形式的光学技术，本发明的方法可以导致紧凑、轻质、护目镜风格的AR显示器，其潜在地更不易受到适应-会聚差异问题和视觉疲劳的影响。作为对现有AR显示器的适应-会聚差异问题的响应，我们开发了具有再现光学重构的3D场景的真正光场的能力的AR显示技术以及由此的对于跨大深度范围放置的数字信息的准确聚焦提示。
创建不易受到适应-会聚差异问题影响的轻质且紧凑OST-HMD解决方案的挑战是解决两个基础问题。第一个是针对与AR显示器中的眼睛会聚深度相关的场景的预期距离提供显示具有正确再现的聚焦提示的3D场景的能力，而不是显示在固定距离的2D平面上。第二个是创建具有与一副眼镜一样引人入胜的外形因数的目镜的光学设计。
图2中图示根据本发明的3D OST-HMD系统的框图。它包括三个主要子系统：光场创建模块（“3D光场创建模块”），其重现从受约束的视区看到的3D场景的全视差光场；目镜，其将重构的3D光场中继到观看者的眼睛中；以及看穿式系统（“看穿式光学器件”），其光学地实现现实世界场景的不显眼的视图。
在本发明各方面之一中，本发明提供一种将用于全视差3D场景光学可视化的3D微InI方法与用于OST-HMD观看光学器件的自由形式的光学技术集成的创新的OST-HMD系统。此方法实现具有全视差光场再现能力的紧凑3D InI光学看穿式HMD（InI-OST-HMD）的开发，其被预期克服持续的适应-会聚差异问题并且大大降低了用户的视觉不适和疲劳体验。
全视差光场创建方法。解决适应-会聚差异问题的重要步骤是提供正确地再现数字信息的聚焦提示（不管其到观看者的距离）而不是将数字信息再现在固定距离2D表面上的能力。在不同的非立体显示方法之中，我们选择使用InI方法，它允许看起来要由从受约束的或不受约束的视区看到的3D场景发射的3D场景的全视差光场的重构。与所有其它技术相比，InI技术要求最小量的硬件复杂性，这使得可能将它与OST-HMD光学系统集成并创建可佩戴真实3D AR显示器。
图3示意性地图示示例性微InI单元300。一组2D基本图像301（每个表示3D场景的不同视角）被显示在高分辨率微显示器310上。通过微透镜阵列（MLA）320，每个基本图像301充当空间上不相干的对象并且基本图像301中的像素发射的锥形射线束相交并完整地创建3D场景的感知，其中对象看起来沿着在参考面处具有深度范围Z0的表面AOB定位，例如以提供发光并占用3D空间的外观。微透镜阵列可被放置成离微显示器310为距离“g”处以创建虚拟或实际3D场景。微InI单元300允许利用全视差信息来光学重构3D表面形状。应该注意的是，基于InI的3D显示器从根本上不同于多视图立体系统来进行操作，其中透镜板用作空间解复用器，以取决于观看者位置来选择场景的适当不连续左眼和右眼平面视图。此类多视图系统产生通常仅具有水平视差的限定数目的双眼视图并且可继续遭受会聚适应冲突。
图4示意性地图示根据本发明的微InI单元400的替代配置，其在表面AOB处创建3D场景的远心3D光场。与图3的配置的主要区别在于附加透镜（透镜430和/或透镜440）的使用，其帮助中继微透镜阵列（MLA）420的孔径并创建远心3D光场。（R. Martínez-Cuenca, H.Navarro, G. Saavedra, B. Javidi, 和M. Martínez-Corral, “Enhanced viewing-angle integral imaging by multiple-axis telecentric relay system,” OpticsExpress, Vol. 15, Issue 24, pp. 16255-16260, 2007年11月21日）。透镜430和透镜440具有相同的焦距f1=f2，其中透镜430直接附着到MLA 420并且透镜440被放置在离开焦距f1处。微显示器410与MLA 420之间的间隙与MLA 420的焦距f0相同。此替代设计的主要优点是重构3D场景的视角的潜在增加、紧凑、容易与HMD观看光学器件集成，并且阻止由MLA 420的微透镜421而不是正确配对的基本图像401和微透镜421所折射的射线创建的翻转图像。
尽管InI方法是有前途的，但是由于下面三个主要限制仍期望改进：（1）低横向和纵向分辨率；（2）窄的场深度（DOF）；以及（3）有限的视场角。这些限制受制于微透镜的有限成像能力和有限孔径、大尺寸显示器的差空间分辨率以及宽视角和高空间分辨率之间的权衡关系。传统的InI系统通常产生低横向和深度分辨率和窄DOF。然而，在本发明的可佩戴InI-HMD系统中可以减轻这些限制。首先，具有大像素计数和非常精细像素（例如~5μm像素尺寸）的微显示器可被用在本发明中以替换在传统InI显示器中使用的大像素显示设备（~200-500μm像素尺寸），从而提供空间分辨率的至少50x增益（图7）。其次，由于HMD系统的本质，视区被很好地限制且因此与大尺寸的自动立体积显示器相比数目少得多的基本图像将足以为限制的视区生成全视差光场。第三，为了在InI-HMD系统中产生从40cm到5m深度范围跨越的感知的3D体积，对于由微InI单元重构的中间3D场景来说非常窄的深度范围（例如Z0~3.5mm）就足够了，与在传统的独立InI显示系统中要求至少50cm深度范围可使用相比其更负担得起得多（图7）。最后，通过一起优化微透镜和HMD观看光学器件，整个InI-HMD系统的深度分辨率可以被显著地改进，从而克服独立InI系统的成像限制。
由微InI单元重构的小型化3D场景的光场可被目镜光学器件中继到眼睛中以便观看。目镜光学器件不仅将3D光场有效地耦合到眼睛（出）瞳中，而且还可以放大3D场景以创建看起来在离观看者的有限距离处的虚拟3D显示。
作为示例，图5示意性地图示微InI单元530与传统目镜光学器件540的集成。微InI单元530可包括可以以与图3中图示的那个类似的方式配置的微显示器510和微透镜阵列520。微InI单元530重构小型化3D场景（位于图5中的AOB处），其位于目镜光学器件540的后焦点附近。通过目镜光学器件540，小型化场景可被放大成在A'O'B'处的扩大3D显示，然后可从由目镜光学器件540的出瞳约束的小区域观看该扩大3D显示。归因于重构场景的3D本质，在出瞳内的不同位置处看到不同观看视角。
在用于HMD设计的不同方法之中，自由形式的光学技术在设计紧凑HMD系统中展示出广阔前景。图6A图示根据本发明的可佩戴3D增强现实显示器600的示例性配置的示意图。该可佩戴3D增强现实显示器600包括3D InI单元630和自由形式目镜640。该微 InI单元630可包括可以以与图3中图示的那个类似的方式配置的微显示器610和微透镜阵列620。此配置600采用楔形的自由形式棱镜作为目镜640，通过该目镜640来放大和观看由微InI单元630重构的3D场景。此类目镜640由分别标记为1、2和3的三个自由形式光学表面来形成，该三个自由形式光学表面可以是旋转非对称表面。出瞳是眼睛被放置以观看经放大的3D场景的地方，该经放大的3D场景位于与3D InI单元630的参考面共轭的虚拟参考面上。从位于中间场景处的3D点（例如A）发射的光线首先被位于最靠近参考面的自由形式目镜640的表面3折射。随后，光线经历由表面1'和2的两次连续反射，并最后通过表面1传输且到达系统的出瞳。来自相同对象点的多个射线方向（例如来自点A的3条射线中的每一个）撞击在出瞳的不同位置上并且在眼睛前面重构虚拟3D点（例如 A'），其中多个射线方向中的每一个表示对象的不同视图。
不是需要多个元件，而是将光学路径自然折叠在目镜640的三表面棱镜结构内，当与使用旋转对称元件的设计相比时这帮助大大降低光学器件的总体积和重量。
为了实现用于AR系统的看穿能力，目镜640的表面2可被涂覆为分束镜。可添加自由形式校正镜650以提供具有改进的看穿能力的可佩戴3D增强现实显示器690。该校正镜650可包括两个自由形式表面，其可被附着到目镜640的表面2以校正由自由形式棱镜目镜640引入到现实世界场景的观看轴线偏离和不期望的偏差。来自3D InI单元630所生成的虚拟光场的射线被棱镜目镜640的表面2反射，而来自现实世界场景的射线被传输通过自由形式目镜640和校正镜650，图6C。图6C示意性图示整体可佩戴3D增强现实显示器690的集成和射线追踪。自由形式校正镜650的前表面与棱镜目镜640的表面2的形状相匹配。当校正镜650与棱镜目镜640组合时，校正镜650的后表面4可被优化成使从现实世界场景引入到射线的移动和失真最小化。预期附加的校正镜650不会显著增加整个系统690的占用空间和重量。
因此，在本发明的设备中，自由形式目镜640可对3D表面AOB的光场成像，而不是对2D图像表面成像。在此类InI-HMD系统600、690中，自由形式目镜640可以在与实际对象的光场光学共轭的位置处重构虚拟3D对象A'O'B'的光场，而在传统HMD系统中，目镜创建与2D微显示表面光学共轭的经放大的2D虚拟显示。
在本发明各方面的另一个中，本发明可提供一种3D增强现实光学看穿式HMD 700，其中可调整虚拟参考面的位置（图6D）。通过选择包含与对象在观看者所观察的现实世界场景中的位置有关的增强现实信息的虚拟参考面的位置，调整虚拟参考面的位置的能力可特别有益于解决适应-会聚差异。在这点上，图6D示意性地图示根据本发明的3D增强现实光学看穿式HMD 700的替代配置，其将可变焦点元件728集成在微InI模块730的光学路径中。与图6C的设计一样，HMD 700可包括目镜640、校正镜650和具有微显示器710和微透镜阵列720的微InI单元730，其可以与图6C中使用的那些相同。
可通过将电压施加到元件来改变可变焦点元件728（VFE）的光功率。可被使用的可变焦点元件728的示例包括液晶透镜、液体透镜、薄膜反射镜、或双折射透镜。具有动态改变微InI单元730的光功率的能力不仅允许3D重构场景的参考面的轴向位置的动态控制，而且还能够实现重构场景的视角的动态调整。例如，改变VFE 728上的电压允许一个人在不必进行机械改变的情况下将虚拟参考面放置在近至25cm的距离处（例如在O'处）或远至光学无穷大的距离处（例如在O''处）或者反之亦然。改变VFE 728的光功率还能够实现对重构3D场景的光的射线角的动态控制并由此控制视角。通过VFE 728能够实现的此能力允许一个人改进纵向分辨率，延伸场的深度，并且增加视角。可通过要被再现的3D场景深度的知识或用户感兴趣的区域的知识来控制VFE 728上的光功率的变化。例如，已知重构的虚拟场景（例如A'O'B'）关于观看者的绝对深度以及场景的深度范围允许系统以最佳纵向分辨率和视角适当地定位虚拟参考面。替代地，可通过眼睛移动跟踪设备检测到的观看者感兴趣的区域可被动态获取且被用来相应地定位虚拟参考面。当VFE 728和微显示器710两者以高速操作时（例如人视觉系统的临界闪烁频率的至少两倍），在参考面被放置在这些深度上以覆盖扩展的深度体积的情况下可按时间顺序地再现不同深度的3D场景。然后按时间顺序再现的场景可被视为连续3D体积（这归因于速度的优点）。液晶透镜728可被用于改变集成成像显示器的场深度。还可使用其它类型的空间光调制器，诸如用于高速调制的可变形反射镜设备。
在本发明各方面的又一个中，本发明可提供一种3D增强现实光学看穿式HMD 800，其集成三维（3D）或2D对象识别能力（图6E）。例如，图6E示意性地图示根据本发明的3D增强现实光学看穿式HMD 800 的替代配置，其将三维（3D）或2D对象识别能力与增强现实（AR）集成。与图6C的设计一样，HMD 800可包括目镜640、校正镜650和具有微显示器810和微透镜阵列820的微InI单元830，其可以与图6C中使用的那些相同。HMD 800可通过将至少一个照相机815附着到HMD 800（图6E）来组合集成成像光学3D显示方法和2D/3D对象识别能力。该技术的当前状态允许可获得小到1平米毫米的轻质兆像素照相机。（索尼960H微针孔隐蔽照相机#20-100）。照相机815可以是规则摄影机，但是更重要的是它可以是3D集成成像图像捕获系统，其中在成像光学器件中利用微小透镜阵列来捕获现实世界场景10的3D光场。通过使用由此类照相机815捕获的图像，一个人可以实施2D成像或3D集成成像获取、数字可视化、以及场景10中对象的2D或3D对象识别、分段和定位。尽管由用户直接通过自由形式光学器件640、650观察实际场景10，但是由捕获单元850能够实现的对象识别能力可以允许关于所检测的对象和场景的信息、它们的描述、它们的位置、使用（集成成像的3D成像性质）的它们的范围、它们与场景中其它对象的关系等等的智能提取，并且可通过现实的增强将此类信息呈现给观看者。例如，如果观看者正寻找拥挤场景中的特定对象，则识别能力可以检测此对象并将它（包括其位置）呈现到使用AR的观看者。各种各样的架构可以被用于3D对象可视化，其可被在通用计算机上运行以提供捕获单元850。（S. Hong, J. Jang, 和 B. Javidi,“Three-dimensional volumetric object reconstruction using computationalintegral imaging,”Journal of Optics Express, on-line Journal of the OpticalSociety of America, Vol. 12, No. 3, pp. 483-491, 2004年2月9日。R. Schulein, M.DaneshPanah和 B. Javidi, “3D imaging with axially distributed sensing,”Journal of Optics Letters, Vol. 34, Issue 13, pp. 2012-2014, 2009年7月1日）或识别。（S. Kishk 和B. Javidi, “Improved Resolution 3D Object Sensing andRecognition using time multiplexed Computational Integral Imaging,” OpticsExpress, on-line Journal of the Optical Society of America, vol. 11, no. 26,pp. 3528-3541, 2003年12月29日。R. Schulein, C. Do, 和B. Javidi, “Distortion-tolerant 3D recognition of underwater objects using neural networks,” Journalof Optical Society of America A, vol. 27, no. 3, pp 461-468, 2010年3月。C.Manh Do, R. Martinez-Cuenca,和B. Javidi, “Three-dimensional object-distortion-tolerant recognition for integral imaging using independentcomponent analysis,” Journal of Optical Society of America A 26, issue 2, pp245-251 (2009年2月1日)。 S. Hong 和 B. Javidi, “Distortion-tolerant 3Drecognition of occluded objects using computational integral imaging,”Journal of Optics Express, Vol. 14, Issue 25, pp. 12085-12095, 2006年12月11日）。各种各样的算法可以被用于2D或3D对象识别。（F. Sadjadi 和 B. Javidi, “Physicsof Automatic Target Recognition,” Springer-Verlag, New York, 2007. R. J.Schalkoff, Pattern Recognition: Statistical, Structural and Neural Approaches(Wiley, 1991)。Christopher M. Bishop, Neural Networks for Pattern Recognition,Oxford University Press, Inc. New York, NY 1995。A. K. Jain, Fundamentals ofDigital Image Processing, Prentice Hall。M. Daneshpanah, B. Javidi, 和 E.Watson, “Three dimensional integral imaging with randomly distributedsensors,” Journal of Optics Express, Vol. 16, Issue 9, pp. 6368-6377, 2008年4月21日。R. Schulein, M. DaneshPanah, 和 B. Javidi, “3D imaging with axiallydistributed sensing,” Journal of Optics Letters, Vol. 34, Issue 13, pp. 2012-2014, 2009年7月1日）。在观看者正移动时通过使用单个照相机815来具有3D对象识别能力是可能的。或者，在观看者正朝着对象移动时通过使用具有零视差的单个照相机815通过使用轴向分布的感测来具有3D对象识别能力是可能的。
示例。
使用现成光学部件来实施根据图6C的配置的InI OST-HMD的概念验证单眼样机（图8）。利用焦距为3.3mm且间距为0.985mm的微透镜阵列（MLA）。（可以从Digital Optics公司、SUSS Microoptics等等购买这些类型的微透镜）。微显示器是0.8''有机发光显示器（OLED），其提供具有9.6μm像素尺寸的1920x1200彩色像素。（通过华盛顿州的贝尔维尤的eMagin公司的EMA-100820）。所使用的自由形式目镜连同看穿式校正器属于在国际专利申请号PCT/US2013/065422中公开的类型，通过参考将其整个内容合并于此。在下面的表中提供目镜640和校正器650的规格。目镜提供40度的视场和大约6.5mm的眼箱（eyebox）。归因于目镜设计的严格远心度，其适于具有合理地低串扰但具有窄的视区的InI设置。值得注意的是，实施本发明中描述的光学方法不需要修改此特定自由形式目镜设计。可为了此目的而设计和优化替代目镜。
对于显示路径的系统规定。
在表1中，表面#2—#4指定自由形式目镜640。表1表面#2和#4表示相同的物理表面并且与图6A-6C中的目镜表面1相对应。表1表面#3与目镜表面2相对应，并且表1表面#5与图6A-6C中的目镜表面3相对应。
表面编号 表面类型 Y半径 厚度 材料 折射模式
1 (停止) 球形 无穷大 0.000 折射
2 XY多边形 -185.496 0.000 PMMA 折射
3 XY多边形 -67.446 0.000 PMMA 折射
4 XY多边形 -185.496 0.000 PMMA 折射
5 XY多边形 -830.046 0.000 折射
6 球形 无穷大 0.000 折射
表1. 目镜的表面规定—AR显示路径。
表面编号 表面类型 Y半径 X 半径 厚度 材料 折射模式
1 (停止) 球形 无穷大 无穷大 0.000 折射
2 XY多边形 -185.496 -185.496 0.000 PMMA 折射
3 XY多边形 -67.446 -67.446 0.000 PMMA 折射
4 XY多边形 -67.446 -67.446 0.000 PMMA 折射
5 XY多边形 -87.790 -87.790 10.00 折射
6 圆柱形 无穷大 -103.400 6.5 NBK7 折射
7 球形 无穷大 无穷大 0.000 折射
表2. 对于看穿式路径的系统规定。
对于光学看穿式路径的系统规定。
在表2中，表面#2和#3是目镜表面1和3，与显示路径中相同地被建模。表面#4、#5指定自由形式校正镜650。表面#4是表面#3的准确复制品（目镜表面2）。
Y 半径 -1.854965E+02 X**2 * Y**5 -1.505674E-10
圆锥常数 -2.497467E+01 X * Y**6 0.000000E+00
X 0.000000E+00 Y**7 -4.419392E-11
Y 0.000000E+00 X**8 4.236650E-10
X**2 -2.331157E-03 X**7 * Y 0.000000E+00
X * Y 0.000000E+00 X**6 * Y**2 -1.079269E-10
Y**2 6.691726E-04 X**5 * Y**3 0.000000E+00
X**3 0.000000E+00 X**4 * Y**4 -1.678245E-10
X**2 * Y -1.066279E-04 X**3 * Y**5 0.000000E+00
X Y**2 0.000000E+00 X**2 * Y**6 2.198604E-12
Y**3 -2.956368E-05 X * Y**7 0.000000E+00
X**4 -1.554280E-06 Y**8 -2.415118E-12
X**3 * Y 0.000000E+00 X**9 0.000000E+00
X**2 * Y**2 1.107189E-06 X**8 * Y 4.113054E-12
X * Y**3 0.000000E+00 X**7 * Y**2 0.000000E+00
Y**4 1.579876E-07 X**6 * Y**3 -1.805964E-12
X**5 0.000000E+00 X**5 * Y**4 0.000000E+00
X**4 * Y 1.789364E-07 X**4 * Y**5 9.480632E-13
X**3 * Y**2 0.000000E+00 X**3 * Y**6 0.000000E+00
X**2 * Y**3 -2.609879E-07 X**2 * Y**7 2.891726E-13
X * Y**4 0.000000E+00 X * Y**8 0.000000E+00
Y**5 -6.129549E-10 Y**9 -2.962804E-14
X**6 -3.316779E-08 X**10 -6.030361E-13
X**5 * Y 0.000000E+00 X**9 * Y 0.000000E+00
X**4 * Y**2 9.498635E-09 X**8 * Y**2 -7.368710E-13
X**3 * Y**3 0.000000E+00 X**7 * Y**3 0.000000E+00
X**2 * Y**4 9.042084E-09 X**6 * Y**4 9.567750E-13
X * Y**5 0.000000E+00 X**5 * Y**5 0.000000E+00
Y**6 -4.013470E-10 X**4 * Y**6 4.280494E-14
X**7 0.000000E+00 X**3 * Y**7 0.000000E+00
X**6 * Y -8.112755E-10 X**2 * Y**8 -7.143578E-15
X**5 * Y**2 0.000000E+00 X * Y**9 0.000000E+00
X**4 * Y**3 1.251040E-09 Y**10 3.858414E-15
X**3 * Y**4 0.000000E+00 N-半径 1.000000E+00
表3. 表1的表面#2和#4的光学表面规定。
Y 离心 Z 离心 阿尔法倾斜
6.775E+00 2.773E+01 7.711E+00
表4. 表1的表面#2和#4相对于表1的表面#1的离心。
Y 半径 -6.744597E+01 X**2 * Y**5 -3.464751E-11
圆锥常数 -1.258507E+00 X * Y**6 0.000000E+00
X 0.000000E+00 Y**7 -8.246179E-12
Y 0.000000E+00 X**8 -2.087865E-11
X**2 -1.300207E-03 X**7 * Y 0.000000E+00
X * Y 0.000000E+00 X**6 * Y**2 2.845323E-11
Y**2 4.658585E-04 X**5 * Y**3 0.000000E+00
X**3 0.000000E+00 X**4 * Y**4 -5.043398E-12
X**2 * Y -1.758475E-05 X**3 * Y**5 0.000000E+00
X Y**2 0.000000E+00 X**2 * Y**6 2.142939E-14
Y**3 -1.684923E-06 X * Y**7 0.000000E+00
X**4 -1.463720E-06 Y**8 1.607499E-12
X**3 * Y 0.000000E+00 X**9 0.000000E+00
X**2 * Y**2 -1.108359E-06 X**8 * Y -1.922597E-12
X * Y**3 0.000000E+00 X**7 * Y**2 0.000000E+00
Y**4 -1.098749E-07 X**6 * Y**3 1.100072E-13
X**5 0.000000E+00 X**5 * Y**4 0.000000E+00
X**4 * Y -7.146353E-08 X**4 * Y**5 -4.806130E-14
X**3 * Y**2 0.000000E+00 X**3 * Y**6 0.000000E+00
X**2 * Y**3 -1.150619E-08 X**2 * Y**7 -2.913177E-14
X * Y**4 0.000000E+00 X * Y**8 0.000000E+00
Y**5 5.911371E-09 Y**9 9.703717E-14
X**6 -5.406591E-10 X**10 2.032150E-13
X**5 * Y 0.000000E+00 X**9 * Y 0.000000E+00
X**4 * Y**2 -1.767107E-09 X**8 * Y**2 -1.037107E-13
X**3 * Y**3 0.000000E+00 X**7 * Y**3 0.000000E+00
X**2 * Y**4 -7.415334E-10 X**6 * Y**4 3.602862E-14
X * Y**5 0.000000E+00 X**5 * Y**5 0.000000E+00
Y**6 -5.442400E-10 X**4 * Y**6 -8.831469E-15
X**7 0.000000E+00 X**3 * Y**7 0.000000E+00
X**6 * Y 6.463414E-10 X**2 * Y**8 2.178095E-15
X**5 * Y**2 0.000000E+00 X * Y**9 0.000000E+00
X**4 * Y**3 1.421597E-10 Y**10 1.784074E-15
X**3 * Y**4 0.000000E+00 N-半径 1.000000E+00
表5. 表1的表面#3的光学表面规定。
Y 离心 Z 离心 阿尔法倾斜
1.329E+01 4.321E+01 -8.856E+00
表6. 表5的表面#3相对于表1的表面#1的离心。
Y 半径 -8.300457E+02 X**2 * Y**5 4.051880E-08
圆锥常数 -9.675799E+00 X * Y**6 0.000000E+00
X 0.000000E+00 Y**7 -3.973293E-09
Y 0.000000E+00 X**8 -1.881791E-10
X**2 -1.798206E-04 X**7 * Y 0.000000E+00
X * Y 0.000000E+00 X**6 * Y**2 5.519986E-09
Y**2 -2.606383E-03 X**5 * Y**3 0.000000E+00
X**3 0.000000E+00 X**4 * Y**4 3.822268E-09
X**2 * Y -7.767146E-05 X**3 * Y**5 0.000000E+00
X Y**2 0.000000E+00 X**2 * Y**6 -3.024448E-09
Y**3 -8.958581E-05 X * Y**7 0.000000E+00
X**4 1.978414E-05 Y**8 2.673713E-11
X**3 * Y 0.000000E+00 X**9 0.000000E+00
X**2 * Y**2 2.081156E-05 X**8 * Y 1.006915E-10
X * Y**3 0.000000E+00 X**7 * Y**2 0.000000E+00
Y**4 -1.073001E-06 X**6 * Y**3 -2.945084E-10
X**5 0.000000E+00 X**5 * Y**4 0.000000E+00
X**4 * Y 2.585164E-07 X**4 * Y**5 5.958040E-10
X**3 * Y**2 0.000000E+00 X**3 * Y**6 0.000000E+00
X**2 * Y**3 -2.752516E-06 X**2 * Y**7 -3.211903E-10
X * Y**4 0.000000E+00 X * Y**8 0.000000E+00
Y**5 -1.470053E-06 Y**9 2.296303E-11
X**6 -1.116386E-07 X**10 5.221834E-12
X**5 * Y 0.000000E+00 X**9 * Y 0.000000E+00
X**4 * Y**2 -3.501439E-07 X**8 * Y**2 1.135044E-11
X**3 * Y**3 0.000000E+00 X**7 * Y**3 0.000000E+00
X**2 * Y**4 1.324057E-07 X**6 * Y**4 -1.050621E-10
X * Y**5 0.000000E+00 X**5 * Y**5 0.000000E+00
Y**6 -9.038017E-08 X**4 * Y**6 5.624902E-11
X**7 0.000000E+00 X**3 * Y**7 0.000000E+00
X**6 * Y 3.397174E-10 X**2 * Y**8 5.369592E-12
X**5 * Y**2 0.000000E+00 X * Y**9 0.000000E+00
X**4 * Y**3 -1.873966E-08 Y**10 2.497657E-12
X**3 * Y**4 0.000000E+00 N-半径 1.000000E+00
表7. 表1的表面#5的光学表面规定。
Y离心 Z 离心 阿尔法倾斜
.427E+01 3.347E+01 7.230E+01
表8. 表面#5相对于表1的表面#1的离心。
Y半径 -8.779024E+01 X**2 * Y**5 -8.011955E-11
圆锥常数 -7.055198E+00 X * Y**6 0.000000E+00
X 0.000000E+00 Y**7 3.606142E-11
Y 0.000000E+00 X**8 3.208020E-11
X**2 -3.191225E-03 X**7 * Y 0.000000E+00
X * Y 0.000000E+00 X**6 * Y**2 -2.180416E-11
Y**2 4.331992E-03 X**5 * Y**3 0.000000E+00
X**3 0.000000E+00 X**4 * Y**4 -3.616135E-11
X**2 * Y -9.609025E-05 X**3 * Y**5 0.000000E+00
X Y**2 0.000000E+00 X**2 * Y**6 -5.893434E-12
Y**3 -2.432809E-05 X * Y**7 0.000000E+00
X**4 -2.955089E-06 Y**8 3.081069E-12
X**3 * Y 0.000000E+00 X**9 0.000000E+00
X**2 * Y**2 2.096887E-07 X**8 * Y 1.267096E-12
X * Y**3 0.000000E+00 X**7 * Y**2 0.000000E+00
Y**4 -9.184356E-07 X**6 * Y**3 -1.848104E-12
X**5 0.000000E+00 X**5 * Y**4 0.000000E+00
X**4 * Y 3.707556E-08 X**4 * Y**5 5.208420E-14
X**3 * Y**2 0.000000E+00 X**3 * Y**6 0.000000E+00
X**2 * Y**3 -1.535357E-07 X**2 * Y**7 1.198597E-13
X * Y**4 0.000000E+00 X * Y**8 0.000000E+00
Y**5 -1.445904E-08 Y**9 -6.834914E-14
X**6 -4.440851E-09 X**10 -1.706677E-14
X**5 * Y 0.000000E+00 X**9 * Y 0.000000E+00
X**4 * Y**2 1.686424E-09 X**8 * Y**2 -1.614840E-14
X**3 * Y**3 0.000000E+00 X**7 * Y**3 0.000000E+00
X**2 * Y**4 6.770909E-09 X**6 * Y**4 8.739087E-14
X * Y**5 0.000000E+00 X**5 * Y**5 0.000000E+00
Y**6 -3.713094E-10 X**4 * Y**6 3.940903E-15
X**7 0.000000E+00 X**3 * Y**7 0.000000E+00
X**6 * Y -1.316067E-10 X**2 * Y**8 5.435162E-15
X**5 * Y**2 0.000000E+00 X * Y**9 0.000000E+00
X**4 * Y**3 7.924387E-10 Y**10 -2.259169E-15
X**3 * Y**4 0.000000E+00 N-半径 1.000000E+00
表9. 表2的表面#5的光学表面规定。
Y 离心 Z 离心 阿尔法倾斜
3.358E+00 4.900E+01 6.765E+00
表10. 表面#5相对于表2的表面#1的离心。
如在系统规定表（例如表1或表2）中使用的，术语“XY多边形”指的是可以通过下面的等式表示的表面：
其中z是沿着局部x, y, z 坐标系的z轴测量的自由形式表面的下垂，c是顶点曲率（CUY），r是径向距离，k是圆锥常数，并且Cj是xmyn的系数。
出于展示的目的，模拟包括数字“3”和字母“D”的3D场景。在视觉空间中，对象“3”和“D”分别位于离开眼睛位置~4米和30cm处。为了清楚地展示聚焦的效果，利用黑线纹理而不是使用清晰的纯色来再现这些字符对象。模拟3D场景的18x11基本图像的阵列（图9），该阵列中的每一个都由102 x102个颜色像素组成。微InI单元所重构的3D场景离开MLA大约10mm，并且两个重构目标的间隔在中间重构空间中的深度上为大约3.5mm。
图10A至10D示出利用放置在眼睛位置处的数码照相机捕获的一组图像。为了展示聚焦效果以及看穿式视图，在现实世界视图中，斯内伦字母图和打印的黑白栅格目标被分别放置在离开观看者~4米和30cm处，其分别与对象“3”和“D”的位置对应。
图10A和10B分别展示照相机在斯内伦图和栅格目标上的聚焦效果。当相机聚焦在远的斯内伦图上时对象“3”看起来处于锐聚焦，而当照相机聚焦在近的栅格目标上时对象“D”焦点对准。图10C和10D展示在照相机焦点被设置在近的栅格目标上的同时照相机位置从眼箱的左侧移动到右侧的效果。如所预期的，在这两个视图之间观察到细微的视角变化。尽管人工制品是公认地可见的并且需要进一步的开发，但是结果清楚地展示所提出的用于AR显示器的方法可以产生正确聚焦提示以及大深度范围中的真正3D观看。
这里描述和要求保护的发明在范围上不会受到这里公开的特定实施例的限制，因为这些实施例被旨在作为本发明的若干方面的说明。旨在使任何等同实施例处于本发明的范围之内。实际上，根据前面的描述，除了这里示出和描述的那些之外的本发明的各种修改对本领域技术人员来说将变得显而易见。还旨在使此类修改落入所附权利要求的范围之内。
在说明书中引用许多专利和非专利出版物，通过参考将这些出版物中的每一个的整个公开合并于此。
参考文献
[1] Yano, S., Emoto, M., Mitsuhashi, T., and Thwaites, H., “A studyof visual fatigue and visual comfort for 3D HDTV/HDTV images,” Displays, 23(4), pp. 191-201, 2002.
[2] S.J. Watt, K. Akeley, M.O. Ernst, and M.S. Banks, “Focus CuesAffect Perceived Depth,” J. Vision, 5(10), 834-862, (2005).
[3] D.M. Hoffman, A.R. Girshick, K. Akeley, and M.S. Banks,“Vergence-Accommodation Conflicts Hinder Visual Performance and Cause VisualFatigue,” J. Vision, 8(3), 1-30, (2008).
[4] G. Lippmann, “Epreuves reversibles donnant la sensation durelief,” Journal of Physics (Paris) 7, 821–825 (1908).
[5] C. B. Burckhardt, “Optimum parameters and resolution limitationof integral photography,” J. Opt. Soc. Am. 58, 71–76 (1968).
[6] T. Okoshi, “Optimum design and depth resolution of lens-sheet andprojection-type three-dimensional displays,” Appl. Opt. 10, 2284–2291 (1971).
[7] F. Okano, H. Hoshino, J. Arai y I. Yuyama, “Real-time pickupmethod for a three-dimensional image based on integral photography,” Appl.Opt. 36, 1598–1603 (1997).
[8] J. Aran, “Depth-control method for integral imaging,” OpticsLetters, 33(3): 279-282, 2008.
[9] H. Hua, “Sunglass-like displays become a reality with freeformoptical technology,” SPIE Newsroom, 2012.
[10] H. Hua and C. Gao, A compact, eye-tracked optical see-throughhead-mounted display, Proc. SPIE 8288, p. 82881F, 2012.
[11] H. Hua, X. Hu, and C. Gao, “A high-resolution optical see-through head-mounted display with eyetracking capability,” Optics Express,November 2013.
[12] D. Cheng, Y.Wang, H. Hua, and M. M. Talha, Design of an opticalsee-through headmounted display with a low f-number and large field of viewusing a free-form prism, App. Opt. 48 (14), pp. 2655–2668, 2009.
[13] D. Cheng, Y.Wang, H. Hua, and J. Sasian, Design of a wide-angle,lightweight headmounted display using free-form optics tiling, Opt. Lett. 36(11), pp. 2098–2100, 2011.
[14] A. Okuyama and S. Yamazaki, Optical system and image observingapparatus and image pickup apparatus using it, US Patent 5,706,136, 1998.
[15] S. Yamazaki, K. Inoguchi, Y. Saito, H. Morishima, and N.Taniguchi, Thin widefield-of-view HMD with free-form-surface prism andapplications, Proc. SPIE 3639,p. 453, 1999.
[16] A. Jones, I. McDowall, Yamada H., M. Bolas, P. Debevec,Rendering for an Interactive 360º Light Field Display ACM Transactions onGraphics (TOG) –Proceedings of ACM SIGGRAPH 2007, 26(3), 2007.
[17] Tibor Balogh, “The HoloVizio System,” Proceedings of SPIE, VOl6055, 2006.
[18] Y. Takaki, Y. Urano, S. Kashiwada, H. Ando, and K. Nakamura,“Super multi-view winshield display for long-distance image informationpresentation,” Opt. Express, 19, 704-16, 2011.
[19] Blundell, B. G., and Schwarz, A. J., “The classification ofvolumetric display systems: characteristics and predictability of the imagespace,” IEEE Transaction on Visualization and Computer Graphics, 8(1), pp.66-75, 2002.
[20] P. A. Blanche, et al, “Holographic three-dimensionaltelepresence using large-area photorefractive polymer”, Nature, 468, 80-83,Nov. 2010.
[21] Rolland, J. P., Kureger, M., and Goon, A., “Multifocal planeshead-mounted displays,” Applied Optics, 39(19), pp. 3209-14, 2000.
[22] Akeley, K., Watt, S., Girshick, A., and Banks, M., “A stereodisplay prototype with multiple focal distances,” Proc. of SIGGRAPH, pp. 804-813, 2004.
[23] Schowengerdt, B. T., and Seibel, E. J., “True 3-D scanned voxeldisplays using single or multiple light sources,” Journal of SID, 14(2), pp.135-143, 2006.
[24] S. Liu, H. Hua, D. Cheng, "A Novel Prototype for an Optical See-Through Head-Mounted Display with Addressable Focus Cues," IEEE Transactionson Visualization and Computer Graphics, 16(3), 381-393, (2010).
[25] S. Liu and H. Hua, "A systematic method for designing depth-fused multi-focal plane three-dimensional displays," Opt. Express, 18, 11562-11573, (2010)
[26] X. Hu and H. Hua, “Design and assessment of a depth-fused multi-focal-plane display prototype,” Journal of Display Technology, December 2013.
[27] Suyama, S., Ohtsuka, S., Takada, H., Uehira, K., and Sakai, S.,“Apparent 3D image perceived from luminance-modulated two 2D images displayedat different depths,” Vision Research, 44: 785-793, 2004.
[28] J. Hong, S. Min, and B. Lee, “Integral floating display systemsfor augmented reality,” Applixed Optics, 51(18):4201-9, 2012.
[29] A. Malmone, and H. Fuchs, “Computational augmented realityeyeglasses,” Proc. of ISMAR 2012.
[30] Rolland, J. P., and Hua, H., “Head-mounted display systems,” inEncyclopedia of Optical Engineering (Editors: R. Barry Johnson and Ronald G.Driggers), New York, NY: Marcel Dekker, pp. 1-13, 2005.
[31] H. Mukawa, K. Akutsu, I. Matsumura, S. Nakano, T. Yoshida, M.Kuwahara, and K. Aiki, A full-color eyewear display using planar waveguideswith reflection volume holograms, J. Soc. Inf. Display 19 (3), pp. 185–193,2009.
[32] http://www.lumus-optical.com/
[33] http://www.innovega-inc.com
[34] http://www.epson.com/cgi-bin/Store/jsp/Moverio/Home.do
[35] http://www.google.com/glass/start/
[36] M. Martínez-Corral, H. Navarro, R. Martínez-Cuenca, G. Saavedra,and B. Javidi, "Full parallax 3-D TV with programmable display parameters,"Opt. Phot. News 22, 50-50 (2011).
[37] J. S. Jang and B. Javidi, "Large depth-of-focus time-multiplexedthree-dimensional integral imaging by use of lenslets with non-uniform focallengths and aperture sizes," Opt. Lett. vol. 28, pp. 1924-1926 (2003).
[38] Chih-Wei Chen, Myungjin Cho, Yi-Pai Huang, and Bahram Javidi,“Improved viewing zones for projection type integral imaging 3D display usingadaptive liquid crystal prism array,” IEEE Journal of Display Technology,2014.
[39] Xiao Xiao, Bahram Javidi, Manuel Martinez-Corral, and AdrianStern , “Advances in Three-Dimensional Integral Imaging: Sensing, Display,and Applications,” Applied Optics, 52(4):. 546–560,2013.
[40] J. S. Jang, F. Jin, and B. Javidi, "Three-dimensional integralimaging with large depth of focus by use of real and virtual image fields,"Opt. Lett. 28:1421-23, 2003.
[41]S. Bagheri and B. Javidi, “Extension of Depth of Field UsingAmplitude and Phase Modulation of the Pupil Function,” Journal of OpticsLetters, vol. 33, no. 7, pp. 757-759, 1 April 2008。

Claims (22)

1.一种3D增强现实显示器，包括：
用于提供向用户显示的虚拟3D图像的微显示器；
可变焦点显示光学器件，被配置成从微显示器接收光学辐射并且被配置成在可由可变焦点光学器件改变的位置处根据接收的辐射来创建3D光场；以及
与显示光学器件光通信的目镜，被配置成从显示光学器件接收3D光场并将所接收的辐射递送到增强现实显示器的出瞳。
2.根据权利要求1所述的3D增强现实显示器，其中该可变焦点显示光学器件包括液体透镜。
3.根据权利要求1所述的3D增强现实显示器，包括被配置成从场景接收信息的成像设备。
4.根据权利要求3所述的3D增强现实显示器，其中该成像设备包括照相机。
5.根据权利要求3所述的3D增强现实显示器，其中该成像设备包括集成成像图像捕获系统。
6.根据权利要求3所述的3D增强现实显示器，其中该成像设备包括使用轴向分布的成像的3D成像捕获系统。
7.根据权利要求3所述的3D增强现实显示器，其中该成像设备包括用于分析由成像设备接收的信息以对所述信息执行对象识别的信息捕获单元。
8.根据权利要求3所述的3D增强现实显示器，其中该成像设备被设置成与微显示器通信以将分析提供给微显示器。
9.根据权利要求3所述的3D增强现实显示器和对象识别，其中该图像捕获设备包括根据场的深度来提供增强性能的可变焦距光学器件。
10.根据权利要求3所述的3D增强现实显示器，其中该显示光学器件包括集成成像光学器件。
11.根据权利要求3所述的3D增强现实显示器，其中该目镜包括被配置成从显示光学器件接收3D光场且将所接收的辐射反射到出瞳的所选表面，该所选表面还被配置成从不同于微显示器的源接收光学辐射并且将该光学辐射传输到出瞳。
12.根据权利要求3所述的3D增强现实显示器，其中该目镜包括自由形式的棱镜形状。
13.根据权利要求3所述的3D增强现实显示器，其中该目镜包括被配置成从显示光学器件接收光学辐射并折射该光学辐射的第一表面，并且包括被配置成从第一表面接收所折射的光学辐射的第二表面，该第二表面被配置成将光学辐射反射到目镜的第三表面，该第三表面被配置成将从第二表面反射的光学辐射反射到出瞳。
14.根据权利要求13所述的3D增强现实显示器，包括邻近目镜的第二表面设置的校正镜。
15.根据权利要求3所述的3D增强现实显示器，其中该目镜的表面中的一个或多个包括旋转非对称表面。
16.根据权利要求3所述的3D增强现实显示器，其中该目镜包括楔形形状。
17.根据权利要求3所述的3D增强现实显示器，其中该目镜包括由下面的等式表示的表面：
其中z是沿着局部x, y, z 坐标系的z轴测量的自由形式表面的下垂，c是顶点曲率，r是径向距离，k是圆锥常数，并且Cj是xmyn的系数。
18.根据权利要求3所述的3D增强现实显示器，其中该显示光学器件包括全息显示器、多层计算光场显示器和体积显示器中的一个或多个。
19.根据权利要求3所述的3D增强现实显示器，其中该3D光场提供全视差。
20.根据权利要求1所述的3D增强现实显示器，其中所述可变焦点显示光学器件包括液晶透镜。
21.根据权利要求1所述的3D增强现实显示器，其中所述可变焦点显示光学器件包括薄膜反射镜和双折射透镜中的一个或多个。
22.一种3D增强现实显示器，包括：
用于提供向用户显示的虚拟3D图像的微显示器；
显示光学器件，被配置成从微显示器接收光学辐射并且被配置成根据所接收的辐射来创建3D光场；
与显示光学器件光通信的目镜，被配置成从显示光学器件接收3D光场并将所接收的辐射递送到增强现实显示器的出瞳；以及
被配置成从场景接收信息的成像设备。
CN201580022973.8A 2014-03-05 2015-03-05 具有可变焦点和/或对象识别的可佩戴3d增强现实显示器 Active CN106537220B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461948226P 2014-03-05 2014-03-05
US61/948,226 2014-03-05
PCT/US2015/018951 WO2015134740A1 (en) 2014-03-05 2015-03-05 Wearable 3d augmented reality display with variable focus and/or object recognition

Publications (3)

Publication Number Publication Date
CN106537220A CN106537220A (zh) 2017-03-22
CN106537220A8 CN106537220A8 (zh) 2017-06-30
CN106537220B true CN106537220B (zh) 2019-07-26

Family

ID=52697543

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201580023032.6A Active CN106662731B (zh) 2014-03-05 2015-03-05 可佩戴3d增强现实显示器
CN201910961573.3A Pending CN110879468A (zh) 2014-03-05 2015-03-05 可佩戴3d增强现实显示器
CN201580022973.8A Active CN106537220B (zh) 2014-03-05 2015-03-05 具有可变焦点和/或对象识别的可佩戴3d增强现实显示器

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201580023032.6A Active CN106662731B (zh) 2014-03-05 2015-03-05 可佩戴3d增强现实显示器
CN201910961573.3A Pending CN110879468A (zh) 2014-03-05 2015-03-05 可佩戴3d增强现实显示器

Country Status (11)

Country Link
US (4) US10326983B2 (zh)
EP (3) EP3114526B1 (zh)
JP (5) JP6630465B2 (zh)
KR (2) KR102561425B1 (zh)
CN (3) CN106662731B (zh)
AU (4) AU2015227092B2 (zh)
BR (1) BR112016020346A2 (zh)
CA (2) CA2941653C (zh)
IL (2) IL247588B2 (zh)
NZ (4) NZ762222A (zh)
WO (2) WO2015134738A1 (zh)

Families Citing this family (138)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009094399A1 (en) 2008-01-22 2009-07-30 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
WO2010123934A1 (en) 2009-04-20 2010-10-28 The Arizona Board Of Regents On Behalf Of The University Of Arizona Optical see-through free-form head-mounted display
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
CN102782562B (zh) 2010-04-30 2015-07-22 北京理工大学 宽视场高分辨率拼接式头盔显示装置
EP3761072A1 (en) 2012-01-24 2021-01-06 Augmented Vision Inc. Compact eye-tracked head-mounted display
EP2910022B1 (en) 2012-10-18 2023-07-12 The Arizona Board Of Regents On Behalf Of The University Of Arizona Stereoscopic displays with addressable focus cues
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
EP3114526B1 (en) 2014-03-05 2021-10-20 Arizona Board of Regents on Behalf of the University of Arizona Wearable 3d augmented reality display
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US10048647B2 (en) 2014-03-27 2018-08-14 Microsoft Technology Licensing, Llc Optical waveguide including spatially-varying volume hologram
IL235642B (en) 2014-11-11 2021-08-31 Lumus Ltd A compact head-up display system is protected by an element with a super-thin structure
US9759919B2 (en) * 2015-01-05 2017-09-12 Microsoft Technology Licensing, Llc Virtual image display with curved light path
US10176961B2 (en) 2015-02-09 2019-01-08 The Arizona Board Of Regents On Behalf Of The University Of Arizona Small portable night vision system
US10061129B2 (en) 2015-03-15 2018-08-28 Kessler Optics and Photonics Solutions Ltd. Birefringent ocular for augmented reality imaging
IL293029B2 (en) 2015-03-16 2023-06-01 Magic Leap Inc Augmented reality signal oximeter
US9846310B2 (en) * 2015-06-22 2017-12-19 Innolux Corporation 3D image display device with improved depth ranges
US10210844B2 (en) 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
US10213688B2 (en) 2015-08-26 2019-02-26 Warner Bros. Entertainment, Inc. Social and procedural effects for computer-generated environments
KR102274753B1 (ko) 2015-09-05 2021-07-08 레이아 인코포레이티드 집광 백라이트 및 이를 이용한 근안 디스플레이
US10466478B2 (en) 2015-09-23 2019-11-05 Magic Leap, Inc. Eye imaging with an off-axis imager
WO2017065819A1 (en) 2015-10-16 2017-04-20 Leia Inc. Multibeam diffraction grating-based near-eye display
CN105371780B (zh) * 2015-11-06 2018-04-24 西北大学 基于集成成像系统的光学三维相关识别装置及识别方法
JP2019510995A (ja) * 2016-01-16 2019-04-18 レイア、インコーポレイテッドＬｅｉａ Ｉｎｃ． マルチビーム回折格子ベースのヘッドアップディスプレイ
US10788791B2 (en) 2016-02-22 2020-09-29 Real View Imaging Ltd. Method and system for displaying holographic images within a real object
WO2017145158A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Zero order blocking and diverging for holographic imaging
US10795316B2 (en) 2016-02-22 2020-10-06 Real View Imaging Ltd. Wide field of view hybrid holographic display
US11663937B2 (en) 2016-02-22 2023-05-30 Real View Imaging Ltd. Pupil tracking in an image display system
KR20230109789A (ko) 2016-03-04 2023-07-20 매직 립, 인코포레이티드 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소
EP3433661A4 (en) * 2016-03-25 2019-11-20 Magic Leap, Inc. SYSTEMS AND METHODS FOR VIRTUAL AND INCREASED REALITY
IL299497B2 (en) 2016-04-08 2024-02-01 Magic Leap Inc Augmented reality systems and methods with variable focus lens elements
US10215983B2 (en) 2016-07-19 2019-02-26 The Board Of Trustees Of The University Of Illinois Method and system for near-eye three dimensional display
US10739578B2 (en) 2016-08-12 2020-08-11 The Arizona Board Of Regents On Behalf Of The University Of Arizona High-resolution freeform eyepiece design with a large exit pupil
AU2017345780B2 (en) 2016-10-21 2022-11-17 Magic Leap, Inc. System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views
US10254542B2 (en) 2016-11-01 2019-04-09 Microsoft Technology Licensing, Llc Holographic projector for a waveguide display
RU2763850C2 (ru) 2016-11-08 2022-01-11 Люмус Лтд Световодное устройство с краем, обеспечивающим оптическую отсечку, и соответствующие способы его изготовления
US10636063B1 (en) 2016-11-08 2020-04-28 Wells Fargo Bank, N.A. Method for an augmented reality value advisor
GB2557229A (en) 2016-11-30 2018-06-20 Cambridge Entpr Ltd Multi-depth augmented reality display
GB2557227A (en) 2016-11-30 2018-06-20 Jaguar Land Rover Ltd Multi-depth display apparatus
GB2557230B (en) 2016-11-30 2019-09-25 Jaguar Land Rover Ltd Multi-depth augmented reality display
GB2557231B (en) * 2016-11-30 2020-10-07 Jaguar Land Rover Ltd Multi-depth display apparatus
CN114325903A (zh) 2016-12-08 2022-04-12 北京耐德佳显示技术有限公司 一种自由曲面棱镜组及使用其的近眼显示装置
CN108882845B (zh) 2016-12-31 2022-05-03 鲁姆斯有限公司 基于经由光导光学元件的视网膜成像的眼动追踪器
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US11022939B2 (en) 2017-01-03 2021-06-01 Microsoft Technology Licensing, Llc Reduced bandwidth holographic near-eye display
US11601638B2 (en) * 2017-01-10 2023-03-07 Intel Corporation Head-mounted display device
KR20180086798A (ko) 2017-01-23 2018-08-01 삼성전자주식회사 영상 디스플레이 장치
CN110431467A (zh) * 2017-01-28 2019-11-08 鲁姆斯有限公司 增强现实成像系统
IL268630B2 (en) 2017-02-23 2023-09-01 Magic Leap Inc Display system with variable power reflector
CA3055545A1 (en) * 2017-03-09 2018-09-13 Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted light field display with integral imaging and waveguide prism
WO2018165123A1 (en) * 2017-03-09 2018-09-13 Arizona Board Of Regents On Behalf Of The University Of Arizona Freeform prism and head-mounted display with increased field of view
IL269042B1 (en) * 2017-03-09 2024-02-01 Univ Arizona Light field display is integrated in the head with integral imaging and relay optics
CN106647094B (zh) * 2017-03-17 2019-01-15 京东方科技集团股份有限公司 光场显示装置
CN108319015B (zh) * 2017-04-21 2023-02-10 北京耐德佳显示技术有限公司 视网膜投影式近眼显示装置
US20200201038A1 (en) * 2017-05-15 2020-06-25 Real View Imaging Ltd. System with multiple displays and methods of use
JP6952123B2 (ja) * 2017-05-26 2021-10-20 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 拡張された調節範囲の調整を有するニアアイディスプレイ
JP2020522737A (ja) 2017-05-27 2020-07-30 ムン キ イ， 鏡を利用した透明なめがね型ディスプレイ
US10629105B2 (en) * 2017-06-15 2020-04-21 Google Llc Near-eye display with frame rendering based on reflected wavefront analysis for eye characterization
US10712567B2 (en) 2017-06-15 2020-07-14 Microsoft Technology Licensing, Llc Holographic display system
CN107450188A (zh) * 2017-08-31 2017-12-08 深圳珑璟光电技术有限公司 一种3d近眼显示装置及方法
CN109581678A (zh) * 2017-09-29 2019-04-05 中强光电股份有限公司 近眼光场显示装置及近眼显示装置
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
CN107656371A (zh) * 2017-10-16 2018-02-02 苏州耐德佳天成光电科技有限公司 具有视度调节功能的光学系统
JP7278277B2 (ja) 2017-11-02 2023-05-19 ピーシーエムエス ホールディングス インコーポレイテッド ライトフィールドディスプレイにおける開口拡大のための方法およびシステム
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
CN109782441A (zh) * 2017-11-14 2019-05-21 塔普翊海（上海）智能科技有限公司 一种近眼可透视头显光学系统
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
US10586360B2 (en) * 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
RU2686576C1 (ru) 2017-11-30 2019-04-29 Самсунг Электроникс Ко., Лтд. Компактное устройство голографического дисплея
EP3729168A4 (en) * 2017-12-18 2021-07-28 LEIA Inc. CLOSE TO EYE DISPLAY BASED ON MULTI-BEAM ELEMENTS, SYSTEM AND PROCESS
CN107861247B (zh) * 2017-12-22 2020-08-25 联想(北京)有限公司 光学部件及增强现实设备
CN108196374A (zh) * 2017-12-26 2018-06-22 张家港康得新光电材料有限公司 显示装置
KR102521557B1 (ko) * 2018-01-04 2023-04-14 삼성전자주식회사 스크롤 입력에 기반하여 이미지 표시를 제어하는 전자 장치 및 방법
CN115052139B (zh) 2018-01-19 2023-09-08 交互数字Vc控股公司 一种用于显示视频的方法和显示设备
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US10129984B1 (en) 2018-02-07 2018-11-13 Lockheed Martin Corporation Three-dimensional electronics distribution by geodesic faceting
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10838250B2 (en) * 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
WO2019164745A1 (en) * 2018-02-20 2019-08-29 Pcms Holdings, Inc. Multifocal optics for light field displays
CN108375840B (zh) * 2018-02-23 2021-07-27 北京耐德佳显示技术有限公司 基于小型阵列图像源的光场显示单元及使用其的三维近眼显示装置
US10678056B2 (en) 2018-02-26 2020-06-09 Google Llc Augmented reality light field head-mounted displays
JP7185331B2 (ja) * 2018-03-22 2022-12-07 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ インテグラルイメージング方式のライトフィールドディスプレイ用にライトフィールド画像をレンダリングする方法
MX2020009791A (es) 2018-03-23 2020-11-11 Pcms Holdings Inc Método basado en planos multifocales para producir puntos de vista estereoscópicos en un sistema de renderizado de imágenes basado en profundidad (mfp-dibr).
TWI651545B (zh) * 2018-03-26 2019-02-21 國立中興大學 可變化成像距離的成像裝置
KR102055901B1 (ko) * 2018-03-27 2019-12-13 한국과학기술원 초점조절 집적영상 증강현실 디스플레이 및 그 제어 방법
KR20190118846A (ko) 2018-04-11 2019-10-21 한국과학기술연구원 다초점 증강현실 장치
CN112189161B (zh) * 2018-04-27 2022-09-13 特塞兰德有限责任公司 适应人视觉的光场显示器
WO2019221539A1 (ko) * 2018-05-17 2019-11-21 주식회사 프라젠 증강현실 디스플레이 장치
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
CN110554593B (zh) * 2018-05-31 2021-01-26 京东方科技集团股份有限公司 全息光学元件及其制作方法、像重建方法、增强现实眼镜
KR20200001863A (ko) 2018-06-28 2020-01-07 삼성전자주식회사 디스플레이 장치
US11689709B2 (en) 2018-07-05 2023-06-27 Interdigital Vc Holdings, Inc. Method and system for near-eye focal plane overlays for 3D perception of content on 2D displays
WO2020018938A1 (en) 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
KR20200013453A (ko) 2018-07-30 2020-02-07 삼성전자주식회사 3차원 영상 표시 장치 및 영상 처리 방법
KR102546321B1 (ko) 2018-07-30 2023-06-21 삼성전자주식회사 3차원 영상 표시 장치 및 방법
EP3844949A1 (en) * 2018-08-29 2021-07-07 PCMS Holdings, Inc. Optical method and system for light field displays based on mosaic periodic layer
US10567744B1 (en) * 2018-09-24 2020-02-18 Cae Inc. Camera-based display method and system for simulators
US10567743B1 (en) * 2018-09-24 2020-02-18 Cae Inc. See-through based display method and system for simulators
KR102135888B1 (ko) * 2018-11-01 2020-07-20 서울대학교산학협력단 프로젝션 장치
TW202026685A (zh) 2018-11-08 2020-07-16 以色列商魯姆斯有限公司 具有反射鏡的光導顯示器
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
EP3893040A4 (en) * 2018-12-04 2022-07-20 BOE Technology Group Co., Ltd. DISPLAY PANEL, DISPLAY DEVICE AND DISPLAY METHOD
US10838214B2 (en) * 2018-12-14 2020-11-17 Facebook Technologies, Llc Angle compensating lens and display
CN111435199A (zh) * 2018-12-26 2020-07-21 施轩杰 一种空间显示方案
US10621858B1 (en) 2019-02-06 2020-04-14 Toyota Research Institute, Inc. Systems and methods for improving situational awareness of a user
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
WO2020176783A1 (en) 2019-02-28 2020-09-03 Magic Leap, Inc. Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays
WO2020190313A1 (en) * 2019-03-20 2020-09-24 Ward Matthew E Mems-driven optical package with micro-led array
CN109870820B (zh) * 2019-03-26 2023-10-17 成都工业学院 针孔反射镜阵列集成成像增强现实装置及方法
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
EP3736796A1 (en) * 2019-05-07 2020-11-11 Wooptix S.L. Method and optical system for characterizing displays
US11288873B1 (en) 2019-05-21 2022-03-29 Apple Inc. Blur prediction for head mounted devices
CN112565165B (zh) * 2019-09-26 2022-03-29 北京外号信息技术有限公司 基于光通信装置的交互方法和系统
MX2022000041A (es) 2019-06-28 2022-04-06 Pcms Holdings Inc Método y sistema óptico para pantallas de campo de luz (lf) basados en difusores de cristal líquido (lc) sintonizables.
CN114556913A (zh) * 2019-08-12 2022-05-27 代表亚利桑那大学的亚利桑那校董事会 3d光场显示器的光学设计和优化技术
US11906628B2 (en) 2019-08-15 2024-02-20 Apple Inc. Depth mapping using spatial multiplexing of illumination phase
US20210105451A1 (en) * 2019-12-23 2021-04-08 Intel Corporation Scene construction using object-based immersive media
CN111323921A (zh) * 2020-03-17 2020-06-23 京东方科技集团股份有限公司 一种镜筒组件及头戴式显示装置
CN111277808B (zh) * 2020-03-24 2021-02-05 欧拓飞科技(珠海)有限公司 一种虚拟现实增强设备及方法
US11763472B1 (en) * 2020-04-02 2023-09-19 Apple Inc. Depth mapping with MPI mitigation using reference illumination pattern
KR102284743B1 (ko) * 2020-05-14 2021-08-03 한국과학기술연구원 초점심도 확장 영상표시장치 및 그 제어방법
CN116134833A (zh) * 2020-06-30 2023-05-16 3M创新有限公司 用于耳塞增强现实的装置和方法
CN116457716A (zh) * 2020-11-24 2023-07-18 见真实股份有限公司 高分辨率光场投影仪
JP2024507352A (ja) * 2021-02-18 2024-02-19 クリアル・ソシエテ・アノニム 高効率のニアアイライトフィールド表示システム及びニアアイライトフィールド表示システムを用いた投影仮想画素の投影方法
EP4237903A4 (en) 2021-03-01 2024-04-24 Lumus Ltd COMPACT COUPLING OPTICAL SYSTEM FROM A PROJECTOR IN A WAVEGUIDE
JP2024510164A (ja) * 2021-03-09 2024-03-06 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ 時分割多重化方式を使用して、インテグラルイメージングに基づくライトフィールドディスプレイの性能を向上させる装置および方法
WO2022196809A1 (ja) * 2021-03-19 2022-09-22 株式会社Ｊｖｃケンウッド 表示装置、表示制御方法、及び表示制御プログラム
KR20220145668A (ko) * 2021-04-22 2022-10-31 삼성전자주식회사 자유형상 곡면을 포함하는 디스플레이 장치 및 그 동작 방법
KR20230133841A (ko) 2021-05-19 2023-09-19 루머스 리미티드 액티브 광학 엔진
WO2022170287A2 (en) * 2021-06-07 2022-08-11 Panamorph, Inc. Near-eye display system
WO2023021732A1 (ja) 2021-08-20 2023-02-23 ソニーグループ株式会社 表示装置及び表示方法
US11886008B2 (en) 2021-08-23 2024-01-30 Lumus Ltd. Methods of fabrication of compound light-guide optical elements having embedded coupling-in reflectors
WO2024029212A1 (ja) * 2022-08-03 2024-02-08 ソニーグループ株式会社 立体画像表示装置および立体画像表示方法
TWI812406B (zh) * 2022-08-16 2023-08-11 張朝凱 左右眼可分別微調出清晰的人工生成影像的增強現實裝置
KR102555165B1 (ko) * 2022-10-04 2023-07-12 인하대학교 산학협력단 단안 비디오에서 뉴럴 레이디언스 기반의 라이트필드 합성 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102566049A (zh) * 2010-11-08 2012-07-11 微软公司 用于扩展现实显示的自动可变虚拟焦点

Family Cites Families (199)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3632184A (en) 1970-03-02 1972-01-04 Bell Telephone Labor Inc Three-dimensional display
JPS503354A (zh) 1973-05-11 1975-01-14
DE3266147D1 (en) 1981-05-29 1985-10-17 Gec Avionics Night vision goggles
US4669810A (en) 1984-02-03 1987-06-02 Flight Dynamics, Inc. Head up display system
US4753522A (en) 1985-06-03 1988-06-28 Ricoh Company, Ltd. Plastic lens assembly for use in copying machines
US4863251A (en) 1987-03-13 1989-09-05 Xerox Corporation Double gauss lens for a raster input scanner
US5880888A (en) 1989-01-23 1999-03-09 Hughes Aircraft Company Helmet mounted display system
JPH02200074A (ja) 1989-01-30 1990-08-08 Nippon Hoso Kyokai <Nhk> イメージインテンシファイア付固体撮像装置
GB8916206D0 (en) 1989-07-14 1989-11-08 Marconi Gec Ltd Helmet systems
JP2692996B2 (ja) 1989-12-25 1997-12-17 オリンパス光学工業株式会社 結像レンズ
US5109469A (en) 1990-11-01 1992-04-28 Itt Corporation Phosphor screen for correcting luminous non-uniformity and method for making same
US5172275A (en) 1990-12-14 1992-12-15 Eastman Kodak Company Apochromatic relay lens systems suitable for use in a high definition telecine apparatus
JPH06502054A (ja) 1991-04-22 1994-03-03 エバンズ・アンド・サザーランド・コンピューター・コーポレーション ビームスプリッタを用いた頭部搭載型投射ディスプレイシステム
EP0566001B1 (en) 1992-04-07 1999-07-14 Raytheon Company Wide spectral bandwidth virtual image display optical system
US6008781A (en) 1992-10-22 1999-12-28 Board Of Regents Of The University Of Washington Virtual retinal display
US5526183A (en) 1993-11-29 1996-06-11 Hughes Electronics Helmet visor display employing reflective, refractive and diffractive optical elements
US5416315A (en) 1994-01-24 1995-05-16 Night Vision General Partnership Visor-mounted night vision visor
JP3396074B2 (ja) * 1994-04-01 2003-04-14 オリンパス光学工業株式会社 映像表示装置
US7262919B1 (en) 1994-06-13 2007-08-28 Canon Kabushiki Kaisha Head-up display device with curved optical surface having total reflection
US5621572A (en) 1994-08-24 1997-04-15 Fergason; James L. Optical system for a head mounted display using a retro-reflector and method of displaying an image
JP3486468B2 (ja) * 1994-10-21 2004-01-13 オリンパス株式会社 プリズム光学系
JPH08160345A (ja) 1994-12-05 1996-06-21 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
US5625495A (en) 1994-12-07 1997-04-29 U.S. Precision Lens Inc. Telecentric lens systems for forming an image of an object composed of pixels
JP3658034B2 (ja) 1995-02-28 2005-06-08 キヤノン株式会社 画像観察光学系及び撮像光学系
US5818632A (en) 1995-04-13 1998-10-06 Melles Griot, Inc Multi-element lens system
US5577729A (en) 1995-04-24 1996-11-26 Sabour; Max T. Head movement detector
JP3599828B2 (ja) 1995-05-18 2004-12-08 オリンパス株式会社 光学装置
JPH09105885A (ja) * 1995-10-12 1997-04-22 Canon Inc 頭部搭載型の立体画像表示装置
JP3556389B2 (ja) 1996-05-01 2004-08-18 日本電信電話株式会社 ヘッドマウントディスプレイ装置
EP0785457A3 (en) 1996-01-17 1998-10-14 Nippon Telegraph And Telephone Corporation Optical device and three-dimensional display device
JPH09218375A (ja) 1996-02-08 1997-08-19 Canon Inc 疲労判定方法及びそれを用いた観察装置
JPH09219832A (ja) 1996-02-13 1997-08-19 Olympus Optical Co Ltd 画像表示装置
US5959780A (en) 1996-04-15 1999-09-28 Olympus Optical Co., Ltd. Head-mounted display apparatus comprising a rotationally asymmetric surface
US5880711A (en) 1996-04-24 1999-03-09 Sony Corporation Three-dimensional image display method and its display apparatus
JP3758265B2 (ja) 1996-04-24 2006-03-22 ソニー株式会社 ３次元画像表示方法とその表示装置
US6028606A (en) 1996-08-02 2000-02-22 The Board Of Trustees Of The Leland Stanford Junior University Camera simulation system
GB9618720D0 (en) 1996-09-07 1996-10-16 Philips Electronics Nv Electrical device comprising an array of pixels
JP3924348B2 (ja) 1996-11-05 2007-06-06 オリンパス株式会社 画像表示装置
US6034823A (en) 1997-02-07 2000-03-07 Olympus Optical Co., Ltd. Decentered prism optical system
JPH10307263A (ja) 1997-05-07 1998-11-17 Olympus Optical Co Ltd プリズム光学素子及び像観察装置
US6760169B2 (en) 1997-05-07 2004-07-06 Olympus Corporation Prism optical element, image observation apparatus and image display apparatus
JPH10319342A (ja) * 1997-05-15 1998-12-04 Olympus Optical Co Ltd 眼球投影型映像表示装置
US7457017B2 (en) * 1997-07-08 2008-11-25 Kremen Stanley H Screens to be used with a system for the magnification and projection of images in substantially three-dimensional format
JP2001522118A (ja) 1997-11-05 2001-11-13 オーエムデイ・デバイシズ・エル・エル・シー 焦点誤差補正装置
CN1132039C (zh) 1997-12-11 2003-12-24 皇家菲利浦电子有限公司 图象显示装置和包括这种装置的头戴显示器
US6236521B1 (en) 1998-02-09 2001-05-22 Canon Kabushiki Kaisha Objective lens and image pickup device using the same
US6198577B1 (en) 1998-03-10 2001-03-06 Glaxo Wellcome, Inc. Doubly telecentric lens and imaging system for multiwell plates
JP3279265B2 (ja) 1998-03-26 2002-04-30 株式会社エム・アール・システム研究所 画像表示装置
US6704149B2 (en) 1998-04-21 2004-03-09 Minolta Co., Ltd. Lens optical system
JPH11326820A (ja) 1998-05-18 1999-11-26 Olympus Optical Co Ltd 観察光学系及びそれを用いた観察装置
JP2000075240A (ja) 1998-08-26 2000-03-14 Mr System Kenkyusho:Kk 複合表示装置
JP2000199853A (ja) 1998-10-26 2000-07-18 Olympus Optical Co Ltd 結像光学系及び観察光学系
US6281862B1 (en) 1998-11-09 2001-08-28 University Of Washington Scanned beam display with adjustable accommodation
JP2000171714A (ja) 1998-12-07 2000-06-23 Olympus Optical Co Ltd 結像光学系
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
JP4550184B2 (ja) * 1999-07-02 2010-09-22 オリンパス株式会社 観察光学系
JP2000231060A (ja) 1999-02-12 2000-08-22 Olympus Optical Co Ltd 結像光学系
JP2000249974A (ja) 1999-03-02 2000-09-14 Canon Inc 表示装置及び立体表示装置
DE60041287D1 (de) 1999-04-02 2009-02-12 Olympus Corp Optisches Sichtgerät und Bildanzeige mit diesem Gerät
EP1054280A3 (en) 1999-05-20 2004-08-18 Konica Corporation Zoom lens
JP2001066543A (ja) 1999-08-25 2001-03-16 Canon Inc 複合光学装置
US6243199B1 (en) 1999-09-07 2001-06-05 Moxtek Broad band wire grid polarizing beam splitter for use in the visible wavelength region
JP2001215441A (ja) * 2000-02-07 2001-08-10 Mixed Reality Systems Laboratory Inc 画像観察装置
JP3391342B2 (ja) 1999-10-29 2003-03-31 ミノルタ株式会社 撮像レンズ装置
JP2001145127A (ja) 1999-11-12 2001-05-25 Shunichi Suda ３次元画像表示装置
JP3854763B2 (ja) * 1999-11-19 2006-12-06 キヤノン株式会社 画像表示装置
KR100360592B1 (ko) 1999-12-08 2002-11-13 동부전자 주식회사 반도체 장치 및 그 제조 방법
JP2001238229A (ja) 2000-02-21 2001-08-31 Nippon Hoso Kyokai <Nhk> 立体画像撮影装置及び立体画像表示装置並びに立体画像撮影表示システム
US20010048561A1 (en) 2000-08-24 2001-12-06 Heacock Gregory L. Virtual imaging system for small font text
KR100386725B1 (ko) 2000-07-31 2003-06-09 주식회사 대양이앤씨 헤드 마운트 디스플레이용 광학 시스템
JP3658295B2 (ja) 2000-08-09 2005-06-08 キヤノン株式会社 画像表示装置
EP1316225B1 (en) 2000-09-07 2006-11-15 Actuality Systems, Inc. Volumetric display system
JP4583569B2 (ja) * 2000-09-22 2010-11-17 オリンパス株式会社 観察光学系および撮像光学系
JP4646374B2 (ja) * 2000-09-29 2011-03-09 オリンパス株式会社 画像観察光学系
US6563648B2 (en) 2000-10-20 2003-05-13 Three-Five Systems, Inc. Compact wide field of view imaging system
JP2002148559A (ja) 2000-11-15 2002-05-22 Mixed Reality Systems Laboratory Inc 画像観察装置及びそれを用いた画像観察システム
JP4943580B2 (ja) 2000-12-25 2012-05-30 オリンパス株式会社 結像光学系
US20020114077A1 (en) 2001-01-23 2002-08-22 Bahram Javidi Integral three-dimensional imaging with digital reconstruction
JP3658330B2 (ja) 2001-02-21 2005-06-08 キヤノン株式会社 複合表示装置及びそれを用いたヘッドマウントディスプレイ装置
JP2002258208A (ja) 2001-03-01 2002-09-11 Mixed Reality Systems Laboratory Inc 光学素子及びそれを用いた複合表示装置
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US6999239B1 (en) 2001-05-23 2006-02-14 Research Foundation Of The University Of Central Florida, Inc Head-mounted display by integration of phase-conjugate material
US6731434B1 (en) 2001-05-23 2004-05-04 University Of Central Florida Compact lens assembly for the teleportal augmented reality system
US6963454B1 (en) 2002-03-01 2005-11-08 Research Foundation Of The University Of Central Florida Head-mounted display by integration of phase-conjugate material
JP4751534B2 (ja) 2001-07-24 2011-08-17 大日本印刷株式会社 光学系及びそれを用いた装置
JP4129972B2 (ja) 2002-02-18 2008-08-06 オリンパス株式会社 偏心光学系
KR100509370B1 (ko) 2002-12-30 2005-08-19 삼성테크윈 주식회사 촬영 렌즈
DE10306578A1 (de) 2003-02-17 2004-08-26 Carl Zeiss Anzeigevorrichtung mit elektrooptischer Fokussierung
CN100383598C (zh) 2003-03-05 2008-04-23 3M创新有限公司 衍射透镜
JP4035476B2 (ja) 2003-04-23 2008-01-23 キヤノン株式会社 走査光学系、走査型画像表示装置および画像表示システム
US7152977B2 (en) 2003-04-24 2006-12-26 Qubic Light Corporation Solid state light engine optical system
US7077523B2 (en) 2004-02-13 2006-07-18 Angstorm Inc. Three-dimensional display using variable focusing lens
US20070246641A1 (en) 2004-02-27 2007-10-25 Baun Kenneth W Night vision system with video screen
US7339737B2 (en) 2004-04-23 2008-03-04 Microvision, Inc. Beam multiplier that can be used as an exit-pupil expander and related system and method
CN1950747A (zh) * 2004-05-05 2007-04-18 图象公司 多源高性能立体投影系统
SG155167A1 (en) 2004-08-03 2009-09-30 Silverbrook Res Pty Ltd Walk-up printing
EP1792225A4 (en) 2004-09-01 2010-07-28 Optical Res Associates HIGH COMPACT HEAD DISPLAY DEVICES WITH INCLINE / DECENTRE LENS ELEMENT
JP4639721B2 (ja) 2004-09-22 2011-02-23 株式会社ニコン 三次元映像表示装置
JP4560368B2 (ja) 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
US7249853B2 (en) 2005-04-13 2007-07-31 Eastman Kodak Company Unpolished optical element with periodic surface roughness
US7405881B2 (en) 2005-05-30 2008-07-29 Konica Minolta Holdings, Inc. Image display apparatus and head mount display
US7360905B2 (en) 2005-06-24 2008-04-22 Texas Instruments Incorporated Compact optical engine for very small personal projectors using LED illumination
US20070109505A1 (en) 2005-10-05 2007-05-17 Matsushita Electric Industrial Co., Ltd. Projection three-dimensional display apparatus
JP2007101930A (ja) * 2005-10-05 2007-04-19 Matsushita Electric Ind Co Ltd 立体像要素画像作成表示方法および立体像表示装置
US7486341B2 (en) * 2005-11-03 2009-02-03 University Of Central Florida Research Foundation, Inc. Head mounted display with eye accommodation having 3-D image producing system consisting of, for each eye, one single planar display screen, one single planar tunable focus LC micro-lens array, one single planar black mask and bias lens
US7522344B1 (en) 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
WO2007085682A1 (en) 2006-01-26 2007-08-02 Nokia Corporation Eye tracker device
US7499217B2 (en) * 2006-03-03 2009-03-03 University Of Central Florida Research Foundation, Inc. Imaging systems for eyeglass-based display devices
KR101255209B1 (ko) 2006-05-04 2013-04-23 삼성전자주식회사 인터레이스 방식으로 영상을 디스플레이 하는 고해상도입체 영상 디스플레이 장치
US20070273983A1 (en) 2006-05-26 2007-11-29 Hebert Raymond T Devices, methods, and systems for image viewing
EP2031862A4 (en) 2006-06-08 2010-08-04 Shimadzu Corp PICTURE SETUP
JP2006276884A (ja) 2006-06-16 2006-10-12 Olympus Corp 偏心プリズム光学系
US7515345B2 (en) 2006-10-09 2009-04-07 Drs Sensors & Targeting Systems, Inc. Compact objective lens assembly
US8243127B2 (en) * 2006-10-27 2012-08-14 Zecotek Display Systems Pte. Ltd. Switchable optical imaging system and related 3D/2D image switchable apparatus
AU2007336715B2 (en) * 2006-12-21 2012-10-11 Arizona Board Of Regents On Behalf Of The University Of Arizona Carousel having liquid filled cells for optical testing of ophthalmic lenses
WO2008089417A2 (en) 2007-01-18 2008-07-24 The Arizona Board Of Regents On Behalf Of The University Of Arizona A polarized head-mounted projection display
US8384769B1 (en) * 2007-05-23 2013-02-26 Kwangwoon University Research Institute For Industry Cooperation 3D image display method and system thereof
US20090262182A1 (en) * 2007-10-15 2009-10-22 The University Of Connecticut Three-dimensional imaging apparatus
JP4906680B2 (ja) 2007-11-02 2012-03-28 キヤノン株式会社 画像表示装置
US20090160985A1 (en) * 2007-12-10 2009-06-25 The University Of Connecticut Method and system for recognition of a target in a three dimensional scene
US20090168010A1 (en) 2007-12-27 2009-07-02 Igor Vinogradov Adaptive focusing using liquid crystal lens in electro-optical readers
WO2009094399A1 (en) 2008-01-22 2009-07-30 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
JP5169253B2 (ja) * 2008-01-29 2013-03-27 ブラザー工業株式会社 画像表示装置
FR2928034B1 (fr) 2008-02-26 2010-03-19 New Imaging Technologies Sas Capteur matriciel pour tube amplificateur de lumiere
JP5397980B2 (ja) * 2008-09-11 2014-01-22 独立行政法人情報通信研究機構 立体映像撮影装置および立体映像撮影方法
JP5329882B2 (ja) 2008-09-17 2013-10-30 パイオニア株式会社 ディスプレイ装置
CN101359089B (zh) * 2008-10-08 2010-08-11 北京理工大学 轻小型大视场自由曲面棱镜头盔显示器光学系统
JP5341462B2 (ja) 2008-10-14 2013-11-13 キヤノン株式会社 収差補正方法、画像処理装置および画像処理システム
EP2180364A1 (en) * 2008-10-23 2010-04-28 Robert Bosch Gmbh A display and a method of operating a display
JP5464839B2 (ja) 2008-10-31 2014-04-09 キヤノン株式会社 画像表示装置
CN101424788A (zh) 2008-12-09 2009-05-06 中国科学院长春光学精密机械与物理研究所 一种眼镜式头盔显示器光学系统
US8331032B2 (en) 2009-02-19 2012-12-11 Drs Rsta, Inc. Compact objective lens assembly for simultaneously imaging multiple spectral bands
JP5394108B2 (ja) 2009-03-27 2014-01-22 日本放送協会 ３次元映像表示装置
WO2010123934A1 (en) 2009-04-20 2010-10-28 The Arizona Board Of Regents On Behalf Of The University Of Arizona Optical see-through free-form head-mounted display
US8441733B2 (en) 2009-04-24 2013-05-14 David Kessler Pupil-expanded volumetric display
GB0909126D0 (en) 2009-05-27 2009-07-01 Qinetiq Ltd Eye tracking apparatus
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US9684282B2 (en) * 2009-10-09 2017-06-20 Massachusetts Institute Of Technology System, method and apparatus for wavelength-coded multi-focal microscopy
JP2011085769A (ja) 2009-10-15 2011-04-28 Canon Inc 撮像表示装置
EP3611555A1 (en) 2009-11-19 2020-02-19 eSight Corporation Image magnification on a head mounted display
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
JP5402791B2 (ja) * 2010-04-02 2014-01-29 セイコーエプソン株式会社 プロジェクター
CN102782562B (zh) 2010-04-30 2015-07-22 北京理工大学 宽视场高分辨率拼接式头盔显示装置
DE102010028900B4 (de) 2010-05-11 2019-08-01 Carl Zeiss Ag Okularsystem sowie Anzeigesystem mit einem solchen Okularsystem
JP6149339B2 (ja) * 2010-06-16 2017-06-21 株式会社ニコン 表示装置
JP2013532467A (ja) 2010-07-16 2013-08-19 マックギル テクノロジー リミテッド 小出し装置
US20120013988A1 (en) * 2010-07-16 2012-01-19 Hutchin Richard A Head mounted display having a panoramic field of view
US20120019557A1 (en) 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
DE102010040030B4 (de) 2010-08-31 2017-02-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Objektiv und Bildaufnahmesystem
JP5603716B2 (ja) 2010-09-06 2014-10-08 オリンパス株式会社 プリズム光学系、プリズム光学系を用いた画像表示装置及び撮像装置
JP2012088549A (ja) * 2010-10-20 2012-05-10 Nippon Hoso Kyokai <Nhk> 立体画像撮像装置、立体画像表示装置、および立体画像撮像表示装置
US8503087B1 (en) 2010-11-02 2013-08-06 Google Inc. Structured optical surface
JP5652747B2 (ja) * 2010-11-12 2015-01-14 株式会社ニコン 光学系、画像表示装置及び画像撮像装置
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
JP6185844B2 (ja) 2010-12-24 2017-08-30 マジック リープ， インコーポレイテッド 人間工学的ヘッドマウントディスプレイデバイスおよび光学システム
US20120160302A1 (en) 2010-12-27 2012-06-28 Jeffrey Michael Citron Trough shaped fresnel reflector solar concentrator
CA2828413A1 (en) 2011-02-28 2012-09-07 Osterhout Group, Inc. Alignment control in an augmented reality headpiece
TWI490587B (zh) 2011-04-12 2015-07-01 Ability Entpr Co Ltd 光學變焦鏡頭
EP2761362A4 (en) * 2011-09-26 2014-08-06 Microsoft Corp VIDEO DISPLAY CHANGE BASED ON SENSOR INPUT FOR TRANSPARENT EYE DISPLAY
US11640050B2 (en) 2011-10-19 2023-05-02 Epic Optix Inc. Microdisplay-based head-up display system
EP3761072A1 (en) * 2012-01-24 2021-01-06 Augmented Vision Inc. Compact eye-tracked head-mounted display
JP6111635B2 (ja) 2012-02-24 2017-04-12 セイコーエプソン株式会社 虚像表示装置
US8985803B2 (en) 2012-03-21 2015-03-24 Microsoft Technology Licensing, Llc Freeform-prism eyepiece with illumination waveguide
JP6056171B2 (ja) 2012-03-29 2017-01-11 富士通株式会社 立体画像表示装置及び方法
JPWO2013157228A1 (ja) * 2012-04-19 2015-12-21 パナソニック株式会社 光音響撮像装置
US20130285885A1 (en) * 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US20130286053A1 (en) * 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
US20130300634A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for determining representations of displayed information based on focus distance
US8989535B2 (en) * 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
CN102833487B (zh) * 2012-08-08 2015-01-28 中国科学院自动化研究所 面向视觉计算的光场成像装置和方法
DE102013001097A1 (de) 2012-08-10 2014-02-13 Johnson Controls Gmbh Head-up-Display und Verfahren zum Betrieb eines Head-up-Displays
JP6019918B2 (ja) 2012-08-17 2016-11-02 セイコーエプソン株式会社 虚像表示装置
EP2895910A4 (en) 2012-09-11 2016-04-20 Magic Leap Inc ERGONOMIC HEAD-MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM
EP2910022B1 (en) 2012-10-18 2023-07-12 The Arizona Board Of Regents On Behalf Of The University Of Arizona Stereoscopic displays with addressable focus cues
US10073201B2 (en) * 2012-10-26 2018-09-11 Qualcomm Incorporated See through near-eye display
US9189021B2 (en) * 2012-11-29 2015-11-17 Microsoft Technology Licensing, Llc Wearable food nutrition feedback system
US9858721B2 (en) 2013-01-15 2018-01-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
CN103064136B (zh) * 2013-01-16 2014-12-31 福州大学 用于集成成像3d显示的组合微透镜阵列及其制作方法
US20150262424A1 (en) * 2013-01-31 2015-09-17 Google Inc. Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System
US9201193B1 (en) 2013-02-18 2015-12-01 Exelis, Inc. Textured fiber optic coupled image intensified camera
WO2014144989A1 (en) 2013-03-15 2014-09-18 Ostendo Technologies, Inc. 3d light field displays and methods with improved viewing angle depth and resolution
US9405124B2 (en) 2013-04-09 2016-08-02 Massachusetts Institute Of Technology Methods and apparatus for light field projection
CN103605210A (zh) * 2013-11-07 2014-02-26 四川大学 一种虚模式集成成像3d显示装置
CN103605214A (zh) 2013-11-21 2014-02-26 深圳市华星光电技术有限公司 立体显示装置
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN103700686B (zh) * 2013-12-16 2016-02-24 深圳市华星光电技术有限公司 具有景深效果的3d显示面板及其显示方法
WO2015095737A2 (en) 2013-12-19 2015-06-25 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
JP6264878B2 (ja) 2013-12-24 2018-01-24 セイコーエプソン株式会社 導光装置、虚像表示装置及び導光装置の製造方法
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
WO2015126466A1 (en) 2014-02-21 2015-08-27 The University Of Akron Imaging and display system for guiding medical interventions
EP3114526B1 (en) 2014-03-05 2021-10-20 Arizona Board of Regents on Behalf of the University of Arizona Wearable 3d augmented reality display
AU2015266670B2 (en) 2014-05-30 2019-05-09 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
US20170276918A1 (en) 2014-08-29 2017-09-28 Arizona Board Of Regents Of Behalf Of The University Of Arizona Ultra-compact head-up displays based on freeform waveguide
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
CN204592780U (zh) * 2015-03-24 2015-08-26 杭州华宏压铸有限公司 监控摄像头的安装支架
US10739578B2 (en) 2016-08-12 2020-08-11 The Arizona Board Of Regents On Behalf Of The University Of Arizona High-resolution freeform eyepiece design with a large exit pupil

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102566049A (zh) * 2010-11-08 2012-07-11 微软公司 用于扩展现实显示的自动可变虚拟焦点

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"A compact eyetracked optical see-through head mounted display";Hong Hua, Chunyu Gao;《Proc. of SPIE-IS&T Electronic Imaging》;20121231;第8828卷;第82881F-1至82881F-9页

Also Published As

Publication number Publication date
US11350079B2 (en) 2022-05-31
CA2941653C (en) 2021-08-24
AU2019240590A1 (en) 2019-10-24
NZ724519A (en) 2022-02-25
IL247588A0 (en) 2016-11-30
CA2941655A1 (en) 2015-09-11
AU2019240590B2 (en) 2021-04-22
BR112016020346A2 (pt) 2017-10-31
AU2021205131A1 (en) 2021-08-12
CN106662731B (zh) 2019-11-15
US20170078652A1 (en) 2017-03-16
IL247587B2 (en) 2023-12-01
EP3114526A1 (en) 2017-01-11
CN110879468A (zh) 2020-03-13
AU2015227094A1 (en) 2016-09-22
CN106662731A (zh) 2017-05-10
IL247587B1 (en) 2023-08-01
CA2941653A1 (en) 2015-09-11
US10805598B2 (en) 2020-10-13
WO2015134740A1 (en) 2015-09-11
JP2020024438A (ja) 2020-02-13
EP3114527B1 (en) 2021-10-20
EP4016169A1 (en) 2022-06-22
KR102539365B1 (ko) 2023-06-01
EP3114527A1 (en) 2017-01-11
US20210006773A1 (en) 2021-01-07
JP2022020675A (ja) 2022-02-01
JP6602797B2 (ja) 2019-11-06
KR20160135744A (ko) 2016-11-28
JP7369507B2 (ja) 2023-10-26
US10469833B2 (en) 2019-11-05
KR20160134714A (ko) 2016-11-23
NZ762223A (en) 2022-02-25
NZ762222A (en) 2022-02-25
CN106537220A8 (zh) 2017-06-30
EP4016169B1 (en) 2023-11-22
JP7102382B2 (ja) 2022-07-19
CN106537220A (zh) 2017-03-22
JP6965330B2 (ja) 2021-11-10
NZ724518A (en) 2021-12-24
JP6630465B2 (ja) 2020-01-15
US20170102545A1 (en) 2017-04-13
AU2015227092B2 (en) 2019-07-04
JP2017515162A (ja) 2017-06-08
JP2017516154A (ja) 2017-06-15
US10326983B2 (en) 2019-06-18
KR102561425B1 (ko) 2023-07-28
EP3114526B1 (en) 2021-10-20
WO2015134738A1 (en) 2015-09-11
IL247588B1 (en) 2023-08-01
CA2941655C (en) 2021-03-09
IL247588B2 (en) 2023-12-01
US20190260982A1 (en) 2019-08-22
AU2015227094B2 (en) 2019-07-04
JP2020073988A (ja) 2020-05-14
AU2015227092A1 (en) 2016-09-22
IL247587A0 (en) 2016-11-30

Similar Documents

Publication Publication Date Title
CN106537220B (zh) 具有可变焦点和/或对象识别的可佩戴3d增强现实显示器
Hua Advances in Head‐Mounted Light‐Field Displays for Virtual and Augmented Reality
Hua Optical methods for enabling focus cues in head-mounted displays for virtual and augmented reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CI01 Publication of corrected invention patent application

Correction item: Priority

Correct: 61/948,226 2014.03.05 US

Number: 12

Volume: 33

CI01 Publication of corrected invention patent application
CI02 Correction of invention patent application

Correction item: Priority

Correct: 61/948,226 2014.03.05 US

Number: 12

Page: The title page

Volume: 33

CI02 Correction of invention patent application
GR01 Patent grant
GR01 Patent grant