CN111869204A - 为基于积分成像的光场显示来渲染光场图像的方法 - Google Patents

为基于积分成像的光场显示来渲染光场图像的方法 Download PDF

Info

Publication number
CN111869204A
CN111869204A CN201880091602.9A CN201880091602A CN111869204A CN 111869204 A CN111869204 A CN 111869204A CN 201880091602 A CN201880091602 A CN 201880091602A CN 111869204 A CN111869204 A CN 111869204A
Authority
CN
China
Prior art keywords
sco
scene
depth
virtual
ini
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880091602.9A
Other languages
English (en)
Other versions
CN111869204B (zh
Inventor
华宏
黄河昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arizona Board of Regents of University of Arizona
Original Assignee
Arizona Board of Regents of University of Arizona
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arizona Board of Regents of University of Arizona filed Critical Arizona Board of Regents of University of Arizona
Publication of CN111869204A publication Critical patent/CN111869204A/zh
Application granted granted Critical
Publication of CN111869204B publication Critical patent/CN111869204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

为基于积分成像的光场显示来渲染光场图像的方法。

Description

为基于积分成像的光场显示来渲染光场图像的方法
政府许可权
本发明是在美国国家科学基金会（NSF）授予的第1422653号拨款的支持下完成的。政府具有本发明中的某些权利。
技术领域
本发明总体上涉及头戴式显示器的领域，并且更具体地但非排他地涉及基于积分成像（InI）的头戴式显示器。
背景技术
头戴式显示器（HMD），也通常被称为近眼显示器（NED）或头戴显示器（HWD），近年来引起了人们的极大兴趣，并且刺激了将该技术向前推广用于广泛的消费者应用的巨大努力。例如，轻型光学透视HMD（OST-HMD）使得能够使数字信息光学叠加到用户对物理世界的直接视图上，并且维持对真实世界的透视视觉，这是增强现实（AR）应用的关键使能技术之一。宽视场（FOV）沉浸式HMD使用户沉浸在计算机生成的虚拟世界或遥远真实世界的高分辨率视频捕获中，这是虚拟现实（VR）应用的关键使能技术。HMD在博弈、模拟和训练、防卫、教育和其他领域中找到了无数应用。
尽管近来朝向VR和AR两种显示器的开发做出了很高的承诺和巨大的进步，但是要最大限度地减少长时间佩戴HMD所带来的视觉不适仍然是一个尚未解决的挑战。视觉不适的关键贡献因素之一是由于缺乏渲染正确焦点提示（包括调节提示和视网膜图像模糊效果）的能力所致的聚散度调节冲突（VAC）。HMD中的VAC问题源于以下事实：图像源多半是位于距眼睛固定距离处的2D平坦表面。图1示出了典型的单眼HMD的示意性布局，其主要包括2D微型显示器作为图像源，以及目镜，该目镜将微型显示器上渲染的图像放大，并且形成在距眼睛固定距离处出现的虚像。OST-HMD需要将光学组合器（例如，分束器）放置在眼睛的前面，以组合虚拟显示和真实场景的光路。常规的HMD，无论是单眼的还是双眼的、透视的还是沉浸式的，都缺乏为数字信息提供正确焦点提示的能力，该焦点提示可以出现在与虚拟图像平面相对应的距离之外的其他距离处。结果，常规的HMD无法刺激自然的眼睛调节响应和视网膜模糊效果。HMD中缺少正确焦点提示的问题会导致一些视觉提示冲突。例如，常规的立体HMD根据一对二维（2D）透视图像（每只眼睛一个）刺激对3D空间和形状的感知，其中具有双眼视差和从两个略有不同的查看方位看到的3D场景的其他图片深度提示。因此，常规的立体HMD迫使调节和会聚提示不自然地解耦。调节深度的提示由2D图像平面的深度决定，而3D场景的会聚深度则由图像对所渲染的双眼视差决定。显示器渲染的虚拟对象的视网膜图像模糊提示与自然场景所创建的提示不匹配。许多研究提供了有力的支持证据，这些与常规HMD中不正确渲染的焦点提示有关的视觉提示可能会导致各种视觉伪影和视觉性能退化。
先前提出的几种方法可以克服常规立体显示器的缺点，包括体积显示器、超多视图自动立体显示器、基于积分成像的显示器、全息显示器、多焦平面显示器和计算多层显示器。由于其巨大的硬件复杂性，许多这些不同的显示方法不适合于在HMD系统中实现。另一方面，多焦平面显示、积分成像和计算多层方法通常被称为光场显示，并且适合于头戴式应用。它们在HMD中的使用被称为头戴式光场显示。
头戴式光场显示通过对3D场景在不同深度的投影或明显由3D场景发出并从不同眼睛方位查看的光线的方向进行采样来渲染真实的3D场景。它们能够渲染正确或接近正确的焦点提示，并且能够解决常规VR和AR显示器中的聚散度调节不匹配问题。例如，基于积分成像（InI）的显示器通过对明显由3D场景发出的并从不同眼睛方位查看的光线的方向进行角度采样来重建3D场景的光场。如图2中图示的，简单的基于InI的显示器通常包括显示面板和2D阵列，该2D阵列可以是微透镜阵列（MLA）或针孔阵列。该显示器渲染一组2D基本图像，每个基本图像表示3D场景的不同透视图。由基本图像中的对应像素发射的锥形射线束相交并且整体地创建对3D场景的感知，该3D场景似乎发光并且占据3D空间。使用2D阵列的基于InI的显示器允许重建在水平和垂直两个方向上具有全视差信息的3D形状，这是其与使用一维视差屏障或柱面双凸透镜的仅具有水平视差的常规自动立体显示器的主要区别。自1908年被Lippmann公开以来，基于InI的技术已被广泛探索，既用于捕获真实场景的光场，又用于其在无眼镜自动立体显示器方面的使用。其以其在低横向和纵向分辨率、狭窄的景深（DOF）和狭窄的视角方面的限制而闻名。与所有其他非立体3D显示技术相比，InI技术的简单光学架构使其对于与HMD光学系统集成并且创建可穿戴光场显示器而言具有吸引力。
然而，像其他基于积分成像的显示和成像技术一样，当前基于InI的HMD方法也遭受几个主要限制的影响：（1）狭窄的视场（对角地<30°）；（2）低横向分辨率（在视觉空间中约为10弧分）；（3）低纵向分辨率（视觉空间中约为0.5屈光度）；（4）狭窄的景深（DOF）（对于10弧分的分辨率标准，约为1屈光度）；（5）对于无串扰查看的有限的眼盒（<5 mm）；以及（6）视角的有限分辨率（每次查看为> 20弧分）。这些限制不仅为采用该技术作为高性能解决方案创建了很大的障碍，而且还潜在地破坏了该技术对于解决适应-会聚差异问题的有效性。
因此，本公开详述了基于积分成像的高性能头戴式光场显示的方法、设计和实施例，其克服了以上总结的现有技术的性能极限的一些方面。
发明内容
在本发明的一个方面中，本发明提供了与基于积分成像的高性能HMD相关联的方法，该积分成像提供了高横向和纵向分辨率、大景深、无串扰的眼盒、以及增加的视角分辨率。在这方面，本发明可以提供一种用于使用基于积分成像的光场显示来在HMD中渲染3D场景的光场图像的方法，其包括：提供具有可变焦元件和与可变焦元件光学连通的微型显示器的积分成像（InI）光学器件，该InI光学器件具有与其相关联的中央深度平面（CDP）；在微型显示器上显示图像数据，该图像数据包括分别表示3D场景的不同透视图的基本图像；以及设置可变焦元件的焦距，以调整CDP的位置。该方法可以包括：使用相机的模拟虚拟阵列对3D场景进行采样，以使得每个相机捕获3D场景的相应部分以创建多个基本图像；以及基本图像可以共同地包括：用于在微型显示器上显示的图像数据。InI光学器件可以被配置成创建虚拟CDP，该虚拟CDP是视觉空间中微型显示器的光学共轭平面。该3D场景可以具有关注深度（DOI），通过该关注深度，3D场景沿着视轴延伸，并且可以具有平均DOI。该方法可以包括：设置可变焦元件的焦距，使得虚拟CDP的位置与3D场景的平均DOI一致。
该方法还可以包括：选择在3D场景的DOI内沿着视轴分布的多个深度，并且对于多个深度中的每个所选深度，设置可变焦元件的焦距，使得每个虚拟CDP的位置与所选深度一致，以创建多个虚拟CDP，每个虚拟CDP与多个深度中的相应所选深度一致。对于多个深度中的每个所选深度，该方法可以在微型显示器上顺序显示与每个所选深度相关联的3D场景的一部分，并且设置可变焦元件的焦距的步骤可以与在微型显示器上顺序显示的定时同步。InI光学器件可以包括：中继组，其中将可变焦元件设置在其中，该中继组可以被配置成接收由微型显示器创建的光场，并且在所选3D场景的光轴上创建中间3D场景。中继组可以被配置成调谐沿着中间3D场景的光轴的方位。该微型显示器可以被配置成在沿着系统的光轴的所选方位处创建3D场景的光场，并且该中继组可以被设置在光轴上的一位置处，使得所选方位是中继组的光学共轭。该InI光学器件还可以包括：目镜光学器件，用于将来自中继组的中间3D场景成像到系统的出射光瞳中，以供头戴式显示系统的用户查看。
在本发明的另外的方面中，本发明可以提供一种用于使用基于积分成像的光场显示来在HMD中渲染3D场景的光场图像的方法，其包括：提供包括微型显示器的积分成像（InI）光学器件，该InI光学器件具有与其相关联的中央深度平面（CDP）；使用相机的模拟虚拟阵列对3D场景进行采样，以使得每个相机捕获3D场景的相应部分以创建多个基本图像，该基本图像共同地包括用于在微型显示器上显示的图像数据；以及在微型显示器上显示图像数据。该InI光学器件可以包括：小透镜的微透镜阵列，并且对3D场景进行采样的步骤可以包括：定位每个虚拟相机，以使得每个虚拟相机位置对应于微透镜阵列的对应小透镜的主射线与InI光学器件的出射光瞳的交点。每个模拟虚拟相机的视轴可以与通过InI光学器件看到的对应小透镜的主射线方向匹配。此外，对3D场景进行采样的步骤可以包括：提供传感器的模拟虚拟阵列，其中每个传感器与对应的所选虚拟相机光学连通，以提供模拟虚拟相机-传感器对。每个相机-传感器对之间的间隔可以是使得每个相机-传感器对的视场与微透镜阵列的对应小透镜的视场匹配。
附图说明
当结合附图阅读时，可以进一步理解本发明的示例性实施例的前述发明内容和以下详细描述，在附图中：
图1示意性地图示了常规的单眼HMD，其中目镜将微型显示器上渲染的图像放大，并且形成出现在距眼睛固定的远距离处的虚拟显示；
图2示意性地图示了基于积分成像的近眼光场显示；
图3A示意性地图示了根据本发明的高性能的基于InI的头戴式光场显示的示例性配置；
图3B示意性地图示了根据本发明的微型InI单元的示例性配置；
图4A-4D示意性地图示了根据本发明的微型InI单元的示例性配置，该微型InI单元被构造成通过使用以下各项来提供射线方向控制：孔径阵列（图4A）、可编程空间光调制器（图4B）、具有可控制的定向发射引擎的显示源（图4C）；以及具有空间光调制器作为示例性可控制的定向发射引擎的背光源（图4D）；
图5示意性地图示了根据本发明的中继组的示例性配置，其中将VFE（可变焦元件）放置在与目镜的出射光瞳共轭的方位处；
图6A-6D示意性地图示了根据本发明的使用自由形式的波导棱镜的光学透视InI-HMD设计的示例性配置，其中可变焦中继组的一部分被结合到目镜中，其中图6A示出了显示路径布局，图6B示出了透视图布局，图6C示出了用于扩展的透视图的波导棱镜的分段后表面，并且图6D示出了波导棱镜的后表面的前视图；
图7A、7B示意性地图示了根据本发明的InI-HMD设计配置的2D光学布局的示例性配置，其中图7A示出了光场显示路径，并且图7B示出了透视路径；
图8A、8B图示了对于轴上视场（图8A）和对于MLA的边缘附近的最远MLA（微透镜阵列）元件的视场（图8B）的3屈光度的重建中央深度平面（CDP）深度的MTF（调制传递函数）标绘图；
图9A、9B图示了对于MLA的轴上视场（图9A）和对于MLA的边缘附近的最远MLA元件的视场（图9B）的2屈光度的重建CDP深度的MTF标绘图；
图10A、10B图示了对于MLA的轴上视场（图10A）和对于MLA的边缘附近的最远MLA元件的视场（图10B）的0屈光度的重建CDP深度的MTF标绘图；
图11A、11B图示了对于MLA的轴上视场（图11A）和对于MLA的边缘附近的最远MLA元件的视场（图11B）的重建点的MTF标绘图，该重建点从CDP偏移开0.25屈光度；
图12A、12B图示了对于MLA的轴上视场（图12A）和对于MLA的边缘附近的最远MLA元件的视场（图12B）的重建点的MTF标绘图，该重建点从CDP偏移开0.5屈光度；
图13A、13B图示了对于MLA的轴上视场（图13A）和对于MLA的边缘附近的最远MLA元件的视场（图13B）的重建点的MTF标绘图，该重建点从CDP偏移开0.75屈光度；
图14A、14B图示了对于MLA的轴上视场（图14A）和对于MLA的边缘附近的最远MLA元件的视场（图14B）的重建点的MTF标绘图，该重建点从CDP偏移开1屈光度；
图15图示了透视路径FOV 65°x40°的MTF；
图16示意性地图示了根据本发明的用于以固定深度模式渲染3D虚拟场景的光场的方法；
图17A图示了微型显示器上的基本图像（EI）的阵列；
图17B-17D图示了通过根据本发明制造的、以图17A的EI的固定深度模式操作的InI-HMD原型的真实和虚拟目标两者的捕获图像，其中相机分别聚焦于1屈光度（图17B）、0.5屈光度（图17C）和3屈光度（图17D）；
图18示意性地图示了根据本发明的用于以可变深度模式渲染3D虚拟场景的光场的方法；
图19A、19B图示了通过根据本发明制造的、以可变深度模式操作的InI-HMD原型的真实和虚拟目标两者的捕获图像，其中虚拟CDP设置在3屈光度，而相机分别聚焦于3屈光度（图19A）和0.5屈光度（图19B）；
图20示意性地图示了用于以多深度模式渲染3D虚拟场景的光场的方法；以及
图21A、21B图示了通过根据本发明制造的、以多深度模式操作的InI-HMD原型的真实和虚拟目标两者的捕获图像，其中虚拟CDP设置在3屈光度，而相机分别聚焦于3屈光度（图21A）和0.5屈光度（图21B）。
具体实施方式
现在参考附图，其中相同的元件始终被相似地编号，如图3A所示，根据本发明的HMD系统100可以包括三个关键子系统：I）微观InI单元（微型InI）130，II）中继组120，其中将可变焦元件（VFE）122设置在其中，用于接收来自InI单元130的光场，以及III）目镜光学器件110，用于接收来自中继组120的经调谐的中间3D场景。如图3B中图示的，微型InI单元130可以再现从受约束的查看区域看到的3D场景的全视差光场，其中全视差光场提供了从水平和垂直两个查看方向的3D场景的查看透视图的改变。受约束的查看区域光学地对应于限制微型InI单元130的孔径，并且受约束的查看区域光学地与显示系统100的出射光瞳共轭，其中观看者的眼睛被放置成查看重建的3D场景。中继组120创建由微型InI单元130重建的3D场景的中间图像，该中间图像具有其中央深度平面（CDP）的可调谐方位。取决于目镜110的放大倍数，CDP的方位可以在从约0.5 mm至像数百毫米一样大的范围内可调谐，以创建具有跨越光学无穷（0屈光度）至像20 cm（5屈光度）一样近的大深度范围的3D场景的感知。中继组120还可以便于重建的3D场景AOB的凹性的翻转。目镜光学器件110将可调谐3D光场重新成像到观看者的眼睛中，并且将3D光场的可调谐深度范围扩大到从几米远到像几厘米一样近的大深度体积间距中。如果需要透视图，则可以是具有分束器功能的光学器件的透视单元（未示出）可以与目镜光学器件110光学连通，以使得能够光学地实现真实世界场景的非遮挡视图。如在图3B中进一步图示的，图3A的微型InI单元130可以包括：高分辨率微型显示器和微透镜阵列（MLA）132。MLA 132中的小透镜133的焦距被表示为f MLA ，并且微型显示器134与MLA 132之间的间隙被记为g。可以在高分辨率微型显示器134上显示一组2D基本图像，每个2D基本图像表示3D场景AOB的不同透视图。通过MLA 132，每个基本图像都充当空间上不相干的对象，并且由基本图像中的像素发射的圆锥形光束会相交，并且整体地创建对3D场景的感知，该3D场景似乎发光并且占据3D空间。具有深度范围为z0的重建的微型场景的中央深度平面（CDP）位于从MLA 132测量的距离l cdp 。这样的InI系统130允许在水平和垂直两个方向上利用视差信息来重建3D表面形状AOB。重建的3D场景的光场（即，图3B中的曲线AOB）可以经由中继组120光学耦合到目镜光学器件110中，以供用户查看。在分辨率优先的InI系统中（f MLA ≠g），重建的3D场景的中央深度平面CDP与微型显示器134光学共轭，并且其位置由下式给出
Figure DEST_PATH_IMAGE001
其中M MLA 是微型InI单元130的放大率，其可以用下式表达
Figure 928906DEST_PATH_IMAGE002
如图3A、4A所示，可选地，包括与MLA 132的螺距匹配的一组射线限制孔径的孔径阵列136可以插入在微型显示器134与MLA 132之间。与每个微透镜133相对应的小孔径允许在所设计的查看窗口内的射线传播通过该光学器件，并且到达眼盒，同时阻挡不想要的射线到达相邻的微透镜133，或者同时阻挡来自相邻基本图像的射线到达微透镜133。例如，孔径A1与A2之间的黑色区域阻挡了源自点P1的虚线射线到达邻近小透镜MLA1的MLA2。这些被阻挡的射线通常是在InI显示系统中观察到的串扰和鬼像的主要视图源。从微型显示器134到孔径阵列136的距离被表示为ga，并且孔径开口的直径被表示为pa，其可以由下式约束：
Figure DEST_PATH_IMAGE003
其中g a-max 和p a-max 分别是最大可允许的间隙和孔径大小，pei是基本图像的尺寸，并且pmla是MLA 132的螺距。
使用具有固定孔径大小的孔径阵列136时的一个缺点在于，如果基本图像的大小改变，则其可以部分阻挡位于每个基本图像的边缘附近的像素的射线。如图4A中图示的，来自点P1的、应该传播通过小透镜MLA1的一小部分射线被孔径A1与孔径A2之间的黑色区域阻挡，从而引起渐晕效果，使得观看者可以观察到对于每个基本图像的边缘附近的点的图像亮度的降低。图4B示出了图4A的配置的替换配置，其中孔径阵列136被可编程空间光调制器（SLM）135代替，使得每个孔径的大小和形状可以被动态地适配以避免部分地阻挡期望射线。图4C示出了根据本发明的微型InI单元的另一个实施例，其中微型显示器134和孔径阵列136被具有可控制的定向发射的显示源131代替，其中可以精确地控制发光方向，使得来自每个像素的射线将仅到达其对应的MLA小透镜133。图4D演示了这种显示源131的一种可能的配置，其中空间光调制器135被插入在具有无方向发射的背光源138与非自发射微型显示器137之间。可以将空间光调制器135设置成编程和控制照射微型显示器137并且到达MLA132的射线的锥角。
常规的基于InI的显示系统可能通常会遭受有限景深（DOF）的影响，这是由于随着3D重建点的深度从CDP的深度偏移开，空间分辨率的快速退化所致。例如，可能需要将3D场景体积限制为小于0.5屈光度，以便于在视觉空间中维持3弧分或更好的空间分辨率。为了在维持高空间分辨率的同时渲染大得多的3D场景体积（诸如在图3A的示例性配置中），将具有夹在内部的电控可变焦元件122的中继组120插入微型InI 130与目镜110之间。示例性VFE 122包括：液体透镜、液晶透镜、可变形镜或任何其他可调谐光学技术，诸如电可调谐光学技术。通过向VFE 122施加不同的电压来动态地控制中继组120的光焦度
Figure 783729DEST_PATH_IMAGE004
，中继组120形成由微型InI 130创建的重建的微型3D场景的中间图像A'O'B'。经中继的中间场景的中央深度方位CDP相对于目镜110是可轴向调谐的（沿着光轴）。结果，由目镜110放大的3D虚拟场景的深度体积可以从非常近（例如，5屈光度）轴向偏移到非常远（例如，0屈光度），同时维持高横向和纵向分辨率。
图5示意性地图示了可变焦中继组120的示例性配置，诸如图3A的中继组120，其包括邻近微型InI单元130的前透镜组“前中继”126、位于中间而起到系统光阑作用的VFE光学器件122、以及邻近目镜110的后透镜组“后中继”124。中继组120的复合焦度
Figure 563466DEST_PATH_IMAGE004
由下式给出
Figure DEST_PATH_IMAGE005
其中，
Figure 614468DEST_PATH_IMAGE006
和
Figure DEST_PATH_IMAGE007
分别是前透镜组126、VFE 122和后透镜组124的光焦度。t1和t2是前透镜组126与VFE 122之间、以及VFE 122与后透镜组124之间的空间。z0是前透镜组与由微型InI单元130重建的3D场景之间的轴向距离。经中继的中间场景的轴向方位由下式给出
Figure 959999DEST_PATH_IMAGE008
可变焦中继系统的横向放大率由下式给出
Figure DEST_PATH_IMAGE009
假设
Figure 782461DEST_PATH_IMAGE010
是目镜110的光焦度，并且ZRCDP是从经中继的CDP到目镜110的距离，则通过目镜110的重建的3D虚拟场景的表观CDP方位由下式给出
Figure DEST_PATH_IMAGE011
通过目镜110的整个系统的横向放大率由下式给出
Figure 456019DEST_PATH_IMAGE012
通过目镜110的整个系统的视场（FOV）由下式给出：
Figure DEST_PATH_IMAGE013
Figure 654919DEST_PATH_IMAGE014
其中t3是目镜110与后中继透镜124之间的间距；zxp是出射光瞳与目镜110之间的间距；h0是重建场景的图像高度，并且我们进一步定义
Figure DEST_PATH_IMAGE015
，以及
Figure 854956DEST_PATH_IMAGE016
Figure DEST_PATH_IMAGE017
。
当VFE 122被设置为目镜110的出射光瞳的光学共轭时（例如，hvfe=0），其中将眼睛的入射光瞳放置成查看显示器134，我们得到hvfe=0，并且FOV独立于VFE 122的光焦度。等式（9）中的等式被简化成：
Figure 504112DEST_PATH_IMAGE018
如图5中图示的，可变焦中继组120的优选实施例是在前中继组26的后焦距处放置VFE122（即，
Figure DEST_PATH_IMAGE019
），以使VFE 122为目镜110的出射光瞳的光学共轭（即，hvfe=0）。在此优选实施例的情况下，由等式（4）给出的中继组120的复合焦度
Figure 789600DEST_PATH_IMAGE004
被简化为：
Figure 526612DEST_PATH_IMAGE020
由等式（6）给出的可变焦中继系统的横向放大率被简化为
Figure DEST_PATH_IMAGE021
而且由等式(8)给出的整个系统的横向放大率也是如此。
当
Figure 456522DEST_PATH_IMAGE022
且hvfe=0时，系统的FOV被进一步简化为
Figure DEST_PATH_IMAGE023
如等式（10）至（13）演示的，VFE 122以优选方式的谨慎方位确保了中继组120的复合光焦度维持恒定，而独立于VFE 122的光焦度，这是由于归因于对象-空间远心性的属性的恒定的主射线方向所致。如等式（13）进一步演示的，通过目镜110的显示器的对向视场角进一步维持恒定，而独立于VFE 122的光焦度。为中继组120维持恒定的光焦度有助于虚拟重建的3D场景实现恒定的视场，而不管CDP的焦深。因此，在视线或时间复用模式下，可以在没有接缝或伪影的情况下在视觉上感知到大得多体积的3D场景。值得注意的是，如果满足
Figure 886366DEST_PATH_IMAGE024
，则由等式（12）给出的中继组120的横向放大率可以进一步维持恒定，这使得可变焦中继组120是双远心系统。
图3A中的目镜110可以采取许多不同的形式。例如，为了实现光学透视HMD的紧凑的光学设计，可以采用楔形的自由形式的棱镜，通过该棱镜，由微型InI单元130和中继组120重建的3D场景被放大和查看。为了使得AR系统具有透视能力，可以将其中表面之一涂覆有分束器涂层的自由形式的校正镜附接到自由形式的棱镜目镜，以校正由自由形式的棱镜引入到真实世界场景中的视轴偏差和不合期望的像差。
在本发明的另一个方面，可以将中继组120的一部分结合到目镜光学器件110中，诸如自由形式的目镜，使得可调谐的中间3D场景在自由形式的目镜内部形成。在这样的情境中，目镜例如可以是楔形的自由形式的波导棱镜。图6A示意性地图示了由多个自由形式的光学表面形成的自由形式的波导状棱镜850的概念。出射光瞳位于使用者的眼睛被放置成查看放大的3D场景的地方。在该设计中，遵循VFE 122的传统的中继组220的一部分被结合到棱镜850中，并且由包含在标有“具有VFE的中继组”的框中的自由形式的波导棱镜850的顶部部分851满足。从3D点（例如，A）发射的光线首先被中继组220的最靠近的光学元件126折射，并且被透射到棱镜850中，接着被一个或多个自由形式的表面反射以创建中间图像（例如，A'）。该中间图像（例如，A'）的轴向方位可由VFE 122调谐。后续表面的多次连续反射以及通过出射表面855的最终折射允许射线到达系统的出射光瞳。可能存在来自不同基本图像的多束射线，但是显然是从同一物点开始的，每束射线表示对象的不同视图，从而撞击在出射光瞳的不同位置上。这些射线束整体地重建位于眼睛前面的虚拟3D点（例如，“A”）。不是需要多个光学元件，而是光路在多表面棱镜850内自然地折叠，在与使用旋转对称元件的设计相比时，这有助于大幅减少光学器件的整体体积和重量。与使用传统的楔形三面棱镜的设计相比，波导状目镜设计结合了部分中继功能，使得与将独立的中继组120与三面棱镜进行组合相比，能够实现紧凑得多的系统。除了紧凑度的优点外，波导状多重目镜设计还提供了有利得多的形状因数，因为它使得能够实现将剩余的中继组和微型InI单元水平折叠到太阳穴侧的能力。与使用楔形棱镜相比，多次折叠不仅会产生重量平衡得多的系统，而且还使得能够实现大得多的透视FOV。
为了使得能够实现AR系统的透视能力，可以将图6A中的棱镜850的后表面的底部部分853（被标记为目镜部分）涂覆为分光镜，并且包括至少两个自由形式的光学表面的自由形式的校正镜840可以附接到棱镜850的后表面，以校正视轴偏差和由自由形式的棱镜850引入真实世界场景的不合期望的像差。图6B中示出了透视示意性布局。来自虚拟光场的射线被棱镜850的后表面反射，而来自真实世界场景的射线则通过自由形式的校正镜840和棱镜850透射。自由形式的校正镜840的前表面与棱镜850的后表面的形状匹配。当透镜与棱镜850组合时，自由形式的校正镜840的后表面可以被优化成将被引入到来自真实世界场景的射线的偏移和失真最小化。附加的校正镜“补偿器”不会显著增加整个系统的占地面积和重量。
在本发明的另一个方面，图6A中的棱镜850的后表面的底部部分853（被标记为目镜部分）可以被划分成两个区段——区段853-1和区段853-2。如图6C中示意性图示的，区段853-1可以是反射或部分反射的表面，其接收由微型InI单元生成的光场。在区段853-1上的分光镜涂层还允许透射来自真实世界场景的光线。区段853-2是透射或半透射表面，其仅接收来自真实世界场景的光线，而不接收由微型InI单元130生成的光场。图6D示意性地图示了棱镜850的后表面的前视图。两个表面区段853-1和853-2在由微型InI单元130接收重建的3D光场所需的孔径窗口的上边界处相交，并且它们可以由两个单独的自由形式的表面制成。将后表面853的底部部分划分成具有不同光路的两个单独的区段853-1、853-2，提供了将透视视图的FOV大幅地扩大到显示路径的FOV之外的能力，而不会遭受到虚拟显示路径的约束。如图6C所示，可以将自由形式的校正镜840附接到棱镜850的后表面，以校正由自由形式的棱镜850引入到真实世界场景中的视轴偏差和不合期望的像差。来自虚拟光场的射线被棱镜850的后表面的区段853-1反射，而来自真实世界场景的射线则通过棱镜850的区段853-1和853-2和自由形式的校正镜840透射。当表面区段853-2与自由形式的校正镜840进行组合时，其可以被优化成将透视图的视觉伪影最小化。自由形式的校正镜840的前表面与棱镜850的表面区段853-1和853-2的形状匹配。当自由形式的校正镜840与棱镜850进行组合时，自由形式的校正镜840的后表面可以被优化成将被引入到来自真实世界场景的射线的偏移和失真最小化。
根据本发明的又另一个方面，图7A示意性地图示了体现图6A的概念性系统的物理系统700的光学设计。图7A图示了光场显示路径的2D光学布局，并且图7B示出了透视路径的光学布局。光场显示的光学系统700包括微型InI单元、具有VFE的中继组和自由形式的波导。中继组的一部分可以结合到波导中。微型InI单元可以包括微型显示器S0、针孔阵列S1和微透镜阵列S2。中继组可以包括四个透镜、商业上可获得的VFE（Optotune 公司的电子透镜EL 10-30）和两个自由形式的表面（表面S19和S20）。自由形式的波导棱镜900可以由分别被标记为S19、S20、S21和S22的多个自由形式的光学表面形成。在该设计中，可以将遵循VFE的传统中继组的一部分结合到棱镜900中，并且由表面S19和S20实现。从3D点（例如，A）发射的光线首先被棱镜900的表面S19折射，接着被表面S20反射以创建中间图像（例如，A'）。中间图像（例如，A'）的轴向方位可由VFE调谐。表面S21'和S22-1的多于两次连续反射以及通过表面S21的最终折射允许射线到达系统700的出射光瞳。存在来自不同基本图像但显然来自同一物点的多束射线，每束射线表示对象的不同视图，从而撞击在出射光瞳的不同位置上。这些射线束整体地重建位于眼睛前面的虚拟3D点。需要由波导的表面S21’反射的射线满足全内反射的条件。棱镜900的后表面S22-1、S22-2可以涂覆有镜面涂层，以用于构建沉浸式HMD系统，该系统阻挡了真实世界场景的视图。替换地，如果期望使用辅助透镜的光学透视能力，则表面S22-1可以涂覆有分束涂层，如图7B所示。
应当注意的是，在由此公开的设计中，Z轴为沿着查看方向，Y轴与水平方向平行，该水平方向与瞳孔方向对准，并且X轴沿垂直方向，该垂直方向与头部取向对准。结果，整个波导系统关于水平（YOZ）平面对称，并且光学表面（S19、S20、S21和S22）沿水平Y轴偏心并且绕着垂直X轴旋转。光路在水平YOZ平面中折叠。这种布置允许将微型InI单元和可变焦中继组安装在用户头部的太阳穴侧上，从而导致平衡的且符合人体工程学的系统包装。
表1突出显示了图7A的系统700的一些关键性能规格。系统700提供了渲染3D场景的真实3D光场的能力，该3D场景的对角FOV为35°，并且使光学分辨率达到了视觉空间中每个像素像2弧分一样高的光学分辨率。另外，系统700提供了从0到5屈光度可调谐的大深度范围，其中对于单眼显示器，具有大约0.1屈光度的高纵向分辨率。此外，系统700实现了约0.5/mm2的高视图密度，其中视图密度σ被定义为出射光瞳上的每单位面积的唯一视图数，其由下式给出：
Figure DEST_PATH_IMAGE025
其中N是视图总数，并且AXP是显示系统的出射光瞳的面积。0.5/mm2的视图密度等同于对于在0.2屈光度的距离处的对象的近似为1弧分的视角分辨率。用于无串扰查看的出射光瞳直径（也被称为显示器的眼盒）大约为6 mm。在该实施例中，出射光瞳直径受到商用VFE的孔径大小的限制，并且如果采用另一种较大孔径的VFE，则可以增大该直径。最后，该系统提供了大的透视FOV、水平地大于65°并且垂直地大于40°。在我们的原型中利用的微型显示器是0.7”有机发光显示器（OLED），其具有8μm的彩色像素，并且像素分辨率为1920x1080（索尼的ECX335A）。然而，光学器件设计本身能够支持具有不同尺寸的OLED面板或其他类型的微型显示器，诸如彩色像素大小大于6μm的液晶显示器。
表1——一阶系统规格
中央深度平面（CDP）的可调谐深度范围 <i>0〜5屈光度</i>
视场（虚拟显示） <i>在CDP处为35°（对角的），或30.5°（水平的）x 17.5°（垂直的）</i>
视场（透视的） <i>&gt; 75°（对角的），或&gt; 65°（水平的）x 40°（垂直的）</i>
前中继组的焦距 24 mm
后中继组的焦距 24 mm
可调谐透镜的焦距范围 75-100 mm（8.5屈光度）
目镜焦距，f<sub>eye</sub> 27.5 mm
出射光瞳直径 6 mm
MLA中的小透镜的螺距 1 mm
MLA的F数 3.3
表2至表5以光学表面数据的形式提供了图7A的系统700的示例性实现方式。表2总结了显示路径的基本参数（单位：毫米）。表3至表5提供了定义非球面光学表面的优化系数。
表2——InI-HMD显示路径的光学规格
Figure 659150DEST_PATH_IMAGE026
采用具有像6μm一样小的像素的高分辨率微型显示器来实现高分辨率虚拟重建的3D图像。为了实现微型InI单元的这样的高分辨率成像，可以具体设计由非球面形成的微透镜阵列（MLA）。MLA的每一个非球面可以被描述为：
Figure DEST_PATH_IMAGE027
其中z是沿着局部x、y、z坐标系的z轴测量的表面的垂度，c是顶点曲率，r是径向距离，k是圆锥常数，A到E分别是第4、第6、第8、第10和第12阶变形系数。MLA的材料是PMMA。表3提供了表面S1和S2的系数。
表3-微透镜阵列（MLA）的非球面定义
S1 S2
Y半径 -5.32 -1.48
圆锥常数（K） 30 -0.809
四阶系数（A） -0.157 -0.013
六阶系数（B） -0.092 0.002
为了实现扩大的透视FOV，自由形式的波导棱镜900可以由五个自由形式的表面形成，它们分别被标记为表面S19、S20、S21/S21'、S22-1和S22-2。自由形式的校正镜可以由两个自由形式的表面形成，其中前表面与波导棱镜900的表面S22-1和S22-2具有相同的表面规格，并且后表面被表示为表面S23。S22-1的表面区段是反射或部分反射表面，其接收由微型InI单元生成的光场。S22-1区段上的分光镜涂层还允许透射来自真实世界场景的光线，以用于透视功能。表面区段S22-2是透射或半透射表面，其仅接收来自真实世界场景的光线，而不接收由微型InI单元生成的光场。
包括S19、S20、S21/S21'、S22-1和S23的自由形式的表面可以用数学方式描述为
Figure 934274DEST_PATH_IMAGE028
其中z是沿局部x、y、z坐标系的z轴测量的自由形式的表面的垂度，c是顶点曲率（CUY），r是径向距离，k是圆锥常数，以及Cj是xmyn的系数。波导棱镜和补偿透镜两者的材料均为PMMA。表4至8分别提供了表面S19至S21、S22-1和S23的系数，并且表9提供了每个光学表面的表面参考。
在设计过程期间，在优化了通过由微型InI单元、中继透镜组和表面S19、S20、S21/21'和S22-1组成的棱镜900的光场显示路径之后，获得了表面区段S22-1的规格。首先为光场显示路径确定表面S20和S22-1所需的孔径尺寸。然后将表面S20、S21和S22-1输入到3D建模软件（诸如Solidworks®）中，表面S22-2从该软件中创建。通过满足以下要求，在建模软件中创建了表面S22-2的形状：（1）其沿着显示路径所限定的表面S22-1所需的孔径的上边界线或在其上方与表面S22-1相交；（2）沿着表面S22-2与S22-2之间的交线，在表面S22-2上的交点处的表面坡度与表面S22-1上的那些对应点近似匹配（即便并不相等），以确保两个表面似乎是差不多连续的，当与匹配的自由形式的校正镜组合时，这可以使透视图的视觉伪影最小化；（3）表面S22-2沿着显示路径所限定的表面S20所需的孔径的下边界线或在其下方与表面S20相交；以及（4）使表面S21与S22-2之间的整体厚度最小化。最后，在3D建模软件中获得表面S22-2的自由形式的形状，将其与表面S19、S20、S21/21'和S22-1进行组合，以创建封闭的自由形式的波导棱镜。图7B演示了通过上述方法的大幅放大的透视FOV。
表4－自由形式的表面S19的表面定义
Y半径 31.0417
Y曲率 3.2215e-2
圆锥常数（SCO K | C1） -30
X（SCO X | C2） 0
Y（SCO Y | C3） 0
X ** 2（SCO X2 | C4） -0.0181749
X * Y（SCO XY | C5） 0
Y ** 2（SCO Y2 | C6） -0.03201
X ** 3（SCO Y3 | C7） 0
X ** 2 * Y（SCO X2Y | C8） -0.002337
XY ** 2（SCO XY2 | C9） 0
Y ** 3（SCO Y3 | C10） -0.00340584
X ** 4（SCO X4 | C11） 2.214179429e-005
X ** 3 * Y（SCO X3Y | C12） 0
X ** 2 * Y ** 2（SCO X2Y2 | C13） -8.34173481e-005
X * Y ** 3（SCO XY3 | C14） 0
Y ** 4（SCO Y4 | C15） -0.00012019
X ** 5（SCO X5 | C16） 0
X ** 4 * Y（SCO X4Y | C17） -1.9551358e-006
X ** 3 * Y ** 2（SCO X3Y2 | C18） 0
X ** 2 * Y ** 3（SCO X2Y3 | C19） -5.7523828e-007
X * Y ** 4（SCO XY4 | C20） 0
Y ** 5（SCO Y5 | C21） -2.18978576e-006
X ** 6（SCO X6 | C22） -1.08276112e-007
X ** 5 * Y（SCO X5Y | C23） 0
X ** 4 * Y ** 2（SCO X4Y2 | C24） -3.584137e-007
X ** 3 * Y ** 3（SCO X3Y3 | C25） 0
X ** 2 * Y ** 4（SCO X2Y4 | C26） 9.1214167e-008
X * Y ** 5（SCO XY5 | C27） 0
Y ** 6（SCO Y6 | C28） -5.28011679e-009
X ** 7（SCO X7 | C29） 0
X ** 6 * Y（SCO X6Y | C30） 0
X ** 5 * Y ** 2（SCO X5Y2 | C31） 0
X ** 4 * Y ** 3（SCO X4Y3 | C32） 0
X ** 3 * Y ** 4（SCO X3Y4 | C33） 0
X ** 2 * Y ** 5（SCO S2Y5 | C34） 0
X * Y ** 6（SCO XY6 | C35） 0
Y ** 7（SCO Y7 | C36） 0
X ** 8（SCO X8 | C37） 0
X ** 7 * Y（SCO X7Y | C38） 0
X ** 6 * Y ** 2（SCO X6Y2 | C39） 0
X ** 5 * Y ** 3（SCO X5Y3 | C40） 0
X ** 4 * Y ** 4（SCO X4Y4 | C41） 0
X ** 3 * Y ** 5（SCO X3Y5 | C42） 0
X ** 2 * Y ** 6（SCO X2Y6 | C43） 0
X * Y ** 7（SCO XY7 | C44） 0
Y ** 8（SCO Y8 | C45） 0
X ** 9（SCO X9 | C46） 0
X ** 8 * Y（SCO X8Y | C47） 0
X ** 7 * Y ** 2（SCO X7Y2 | C48） 0
X ** 6 * Y ** 3（SCO X6Y3 | C49） 0
X ** 5 * Y ** 4（SCO X5Y4 | C50） 0
X ** 4 * Y ** 5（SCO X4Y5 | C51） 0
X ** 3 * Y ** 6（SCO X3Y6 | C52） 0
X ** 2 * Y ** 7（SCO X2Y7 | C53） 0
X * Y ** 8（SCO XY8 | C54） 0
Y ** 9（SCO Y9 | C55） 0
X ** 10（SCO X10 | C56） 0
X ** 9 * Y（SCO X9Y | C57） 0
X ** 8 * Y ** 2（SCO X8Y2 | C58） 0
X ** 7 * Y ** 3（SCO X7Y3 | C59） 0
X ** 6 * Y ** 4（SCO X6Y4 | C60） 0
X ** 5 * Y ** 5（SCO X5Y5 | C61） 0
X ** 4 * Y ** 6（SCO X4Y6 | C62） 0
X ** 3 * Y ** 7（SCO X3Y7 | C63） 0
X ** 2 * Y ** 8（SCO X2Y8 | C64） 0
X * Y ** 9（SCO XY9 | C65） 0
Y ** 10（SCO Y10 | C66） 0
表5－自由形式的表面S20的表面定义
Y半径 -54.2094
Y曲率 -1.845e-2
圆锥常数（SCO K | C1） -13.0997
X（SCO X | C2） 0
Y（SCO Y | C3） 0
X ** 2（SCO X2 | C4） 0.0011699
X * Y（SCO XY | C5） 0
Y ** 2（SCO Y2 | C6） 0.00676927
X ** 3（SCO Y3 | C7） 0
X ** 2 * Y（SCO X2Y | C8） -4.52710486e-005
XY ** 2（SCO XY2 | C9） 0
Y ** 3（SCO Y3 | C10） -0.00011081
X ** 4（SCO X4 | C11） -1.1510996e-005
X ** 3 * Y（SCO X3Y | C12） 0
X ** 2 * Y ** 2（SCO X2Y2 | C13） -9.13752747e-006
X * Y ** 3（SCO XY3 | C14） 0
Y ** 4（SCO Y4 | C15） -5.5289301e-006
X ** 5（SCO X5 | C16） 0
X ** 4 * Y（SCO X4Y | C17） -8.8179807e-007
X ** 3 * Y ** 2（SCO X3Y2 | C18） 0
X ** 2 * Y ** 3（SCO X2Y3 | C19） -1.06187669e-006
X * Y ** 4（SCO XY4 | C20） 0
Y ** 5（SCO Y5 | C21） -3.38263553e-007
X ** 6（SCO X6 | C22） 4.77710263e-008
X ** 5 * Y（SCO X5Y | C23） 0
X ** 4 * Y ** 2（SCO X4Y2 | C24） 6.21915481e-008
X ** 3 * Y ** 3（SCO X3Y3 | C25） 0
X ** 2 * Y ** 4（SCO X2Y4 | C26） 1.43552488e-007
X * Y ** 5（SCO XY5 | C27） 0
Y ** 6（SCO Y6 | C28） 5.362211474e-008
X ** 7（SCO X7 | C29） 0
X ** 6 * Y（SCO X6Y | C30） 1.193262499e-008
X ** 5 * Y ** 2（SCO X5Y2 | C31） 0
X ** 4 * Y ** 3（SCO X4Y3 | C32） -6.01716948e-009
X ** 3 * Y ** 4（SCO X3Y4 | C33） 0
X ** 2 * Y ** 5（SCO S2Y5 | C34） -8.19603928e-009
X * Y ** 6（SCO XY6 | C35） 0
Y ** 7（SCO Y7 | C36） -2.505270966e-009
X ** 8（SCO X8 | C37） -8.149026e-010
X ** 7 * Y（SCO X7Y | C38） 0
X ** 6 * Y ** 2（SCO X6Y2 | C39） -1.84757517e-010
X ** 5 * Y ** 3（SCO X5Y3 | C40） 0
X ** 4 * Y ** 4（SCO X4Y4 | C41） 2.388128888e-010
X ** 3 * Y ** 5（SCO X3Y5 | C42） 0
X ** 2 * Y ** 6（SCO X2Y6 | C43） 1.61835037e-010
X * Y ** 7（SCO XY7 | C44） 0
Y ** 8（SCO Y8 | C45） 3.966177607e-011
X ** 9（SCO X9 | C46） 0
X ** 8 * Y（SCO X8Y | C47） 0
X ** 7 * Y ** 2（SCO X7Y2 | C48） 0
X ** 6 * Y ** 3（SCO X6Y3 | C49） 0
X ** 5 * Y ** 4（SCO X5Y4 | C50） 0
X ** 4 * Y ** 5（SCO X4Y5 | C51） 0
X ** 3 * Y ** 6（SCO X3Y6 | C52） 0
X ** 2 * Y ** 7（SCO X2Y7 | C53） 0
X * Y ** 8（SCO XY8 | C54） 0
Y ** 9（SCO Y9 | C55） 0
X ** 10（SCO X10 | C56） 0
X ** 9 * Y（SCO X9Y | C57） 0
X ** 8 * Y ** 2（SCO X8Y2 | C58） 0
X ** 7 * Y ** 3（SCO X7Y3 | C59） 0
X ** 6 * Y ** 4（SCO X6Y4 | C60） 0
X ** 5 * Y ** 5（SCO X5Y5 | C61） 0
X ** 4 * Y ** 6（SCO X4Y6 | C62） 0
X ** 3 * Y ** 7（SCO X3Y7 | C63） 0
X ** 2 * Y ** 8（SCO X2Y8 | C64） 0
X * Y ** 9（SCO XY9 | C65） 0
Y ** 10（SCO Y10 | C66） 0
表6－自由形式的表面S21/S21'的表面定义
Y半径 -145.276
Y曲率 -6.88e-3
圆锥常数（SCO K | C1） -1.5654
X（SCO X | C2） 0
Y（SCO Y | C3） 0
X ** 2（SCO X2 | C4） -0.0142277
X * Y（SCO XY | C5） 0
Y ** 2（SCO Y2 | C6） 0.00392684
X ** 3（SCO Y3 | C7） 0
X ** 2 * Y（SCO X2Y | C8） 0.000646111
XY ** 2（SCO XY2 | C9） 0
Y ** 3（SCO Y3 | C10） 2.44041e-005
X ** 4（SCO X4 | C11） 0.000151
X ** 3 * Y（SCO X3Y | C12） 0
X ** 2 * Y ** 2（SCO X2Y2 | C13） -8.2192e-006
X * Y ** 3（SCO XY3 | C14） 0
Y ** 4（SCO Y4 | C15） -3.028061e-007
X ** 5（SCO X5 | C16） 0
X ** 4 * Y（SCO X4Y | C17） -4.13244e-006
X ** 3 * Y ** 2（SCO X3Y2 | C18） 0
X ** 2 * Y ** 3（SCO X2Y3 | C19） 2.964542e-008
X * Y ** 4（SCO XY4 | C20） 0
Y ** 5（SCO Y5 | C21） 1.127521e-009
X ** 6（SCO X6 | C22） 4.4371187e-008
X ** 5 * Y（SCO X5Y | C23） 0
X ** 4 * Y ** 2（SCO X4Y2 | C24） 2.7676459e-008
X ** 3 * Y ** 3（SCO X3Y3 | C25） 0
X ** 2 * Y ** 4（SCO X2Y4 | C26） -3.277381e-011
X * Y ** 5（SCO XY5 | C27） 0
Y ** 6（SCO Y6 | C28） -1.4480674e-012
X ** 7（SCO X7 | C29） 0
X ** 6 * Y（SCO X6Y | C30） 0
X ** 5 * Y ** 2（SCO X5Y2 | C31） 0
X ** 4 * Y ** 3（SCO X4Y3 | C32） 0
X ** 3 * Y ** 4（SCO X3Y4 | C33） 0
X ** 2 * Y ** 5（SCO S2Y5 | C34） 0
X * Y ** 6（SCO XY6 | C35） 0
Y ** 7（SCO Y7 | C36） 0
X ** 8（SCO X8 | C37） 0
X ** 7 * Y（SCO X7Y | C38） 0
X ** 6 * Y ** 2（SCO X6Y2 | C39） 0
X ** 5 * Y ** 3（SCO X5Y3 | C40） 0
X ** 4 * Y ** 4（SCO X4Y4 | C41） 0
X ** 3 * Y ** 5（SCO X3Y5 | C42） 0
X ** 2 * Y ** 6（SCO X2Y6 | C43） 0
X * Y ** 7（SCO XY7 | C44） 0
Y ** 8（SCO Y8 | C45） 0
X ** 9（SCO X9 | C46） 0
X ** 8 * Y（SCO X8Y | C47） 0
X ** 7 * Y ** 2（SCO X7Y2 | C48） 0
X ** 6 * Y ** 3（SCO X6Y3 | C49） 0
X ** 5 * Y ** 4（SCO X5Y4 | C50） 0
X ** 4 * Y ** 5（SCO X4Y5 | C51） 0
X ** 3 * Y ** 6（SCO X3Y6 | C52） 0
X ** 2 * Y ** 7（SCO X2Y7 | C53） 0
X * Y ** 8（SCO XY8 | C54） 0
Y ** 9（SCO Y9 | C55） 0
X ** 10（SCO X10 | C56） 0
X ** 9 * Y（SCO X9Y | C57） 0
X ** 8 * Y ** 2（SCO X8Y2 | C58） 0
X ** 7 * Y ** 3（SCO X7Y3 | C59） 0
X ** 6 * Y ** 4（SCO X6Y4 | C60） 0
X ** 5 * Y ** 5（SCO X5Y5 | C61） 0
X ** 4 * Y ** 6（SCO X4Y6 | C62） 0
X ** 3 * Y ** 7（SCO X3Y7 | C63） 0
X ** 2 * Y ** 8（SCO X2Y8 | C64） 0
X * Y ** 9（SCO XY9 | C65） 0
Y ** 10（SCO Y10 | C66） 0
表7－自由形式的表面S22-1的表面定义
Y半径 -47.3572012741099
Y曲率 -2.111611e-2
圆锥常数（SCO K | C1） -4.32135
X（SCO X | C2） 0
Y（SCO Y | C3） 0
X ** 2（SCO X2 | C4） 0.000908
X * Y（SCO XY | C5） 0
Y ** 2（SCO Y2 | C6） 0.005975
X ** 3（SCO Y3 | C7） 0
X ** 2 * Y（SCO X2Y | C8） 4.66442802e-005
XY ** 2（SCO XY2 | C9） 0
Y ** 3（SCO Y3 | C10） 0.000101981
X ** 4（SCO X4 | C11） -5.17499005e-006
X ** 3 * Y（SCO X3Y | C12） 0
X ** 2 * Y ** 2（SCO X2Y2 | C13） -4.7451096e-006
X * Y ** 3（SCO XY3 | C14） 0
Y ** 4（SCO Y4 | C15） -2.4419368e-007
X ** 5（SCO X5 | C16） 0
X ** 4 * Y（SCO X4Y | C17） -1.9769907e-007
X ** 3 * Y ** 2（SCO X3Y2 | C18） 0
X ** 2 * Y ** 3（SCO X2Y3 | C19） 3.352610999e-008
X * Y ** 4（SCO XY4 | C20） 0
Y ** 5（SCO Y5 | C21） 1.61592149e-008
X ** 6（SCO X6 | C22） 8.08067957e-009
X ** 5 * Y（SCO X5Y | C23） 0
X ** 4 * Y ** 2（SCO X4Y2 | C24） 7.3374791e-009
X ** 3 * Y ** 3（SCO X3Y3 | C25） 0
X ** 2 * Y ** 4（SCO X2Y4 | C26） 6.611479e-009
X * Y ** 5（SCO XY5 | C27） 0
Y ** 6（SCO Y6 | C28） 9.4341645e-011
X ** 7（SCO X7 | C29） 0
X ** 6 * Y（SCO X6Y | C30） 7.9369652e-010
X ** 5 * Y ** 2（SCO X5Y2 | C31） 0
X ** 4 * Y ** 3（SCO X4Y3 | C32） 6.27173598e-010
X ** 3 * Y ** 4（SCO X3Y4 | C33） 0
X ** 2 * Y ** 5（SCO S2Y5 | C34） 1.332732e-010
X * Y ** 6（SCO XY6 | C35） 0
Y ** 7（SCO Y7 | C36） -1.5647943e-011
X ** 8（SCO X8 | C37） -2.12470728e-012
X ** 7 * Y（SCO X7Y | C38） 0
X ** 6 * Y ** 2（SCO X6Y2 | C39） 3.27745944e-011
X ** 5 * Y ** 3（SCO X5Y3 | C40） 0
X ** 4 * Y ** 4（SCO X4Y4 | C41） 1.07463864e-011
X ** 3 * Y ** 5（SCO X3Y5 | C42） 0
X ** 2 * Y ** 6（SCO X2Y6 | C43） 1.347790032e-012
X * Y ** 7（SCO XY7 | C44） 0
Y ** 8（SCO Y8 | C45） -9.599201503e-014
X ** 9（SCO X9 | C46） 0
X ** 8 * Y（SCO X8Y | C47） 0
X ** 7 * Y ** 2（SCO X7Y2 | C48） 0
X ** 6 * Y ** 3（SCO X6Y3 | C49） 0
X ** 5 * Y ** 4（SCO X5Y4 | C50） 0
X ** 4 * Y ** 5（SCO X4Y5 | C51） 0
X ** 3 * Y ** 6（SCO X3Y6 | C52） 0
X ** 2 * Y ** 7（SCO X2Y7 | C53） 0
X * Y ** 8（SCO XY8 | C54） 0
Y ** 9（SCO Y9 | C55） 0
X ** 10（SCO X10 | C56） 0
X ** 9 * Y（SCO X9Y | C57） 0
X ** 8 * Y ** 2（SCO X8Y2 | C58） 0
X ** 7 * Y ** 3（SCO X7Y3 | C59） 0
X ** 6 * Y ** 4（SCO X6Y4 | C60） 0
X ** 5 * Y ** 5（SCO X5Y5 | C61） 0
X ** 4 * Y ** 6（SCO X4Y6 | C62） 0
X ** 3 * Y ** 7（SCO X3Y7 | C63） 0
X ** 2 * Y ** 8（SCO X2Y8 | C64） 0
X * Y ** 9（SCO XY9 | C65） 0
Y ** 10（SCO Y10 | C66） 0
表8－自由形式的表面S23的表面定义
Y半径 149.3605
Y曲率 6.695e-3
圆锥常数（SCO K | C1） 9.81433
X（SCO X | C2） 0
Y（SCO Y | C3） 0
X ** 2（SCO X2 | C4） -0.024663
X * Y（SCO XY | C5） 0
Y ** 2（SCO Y2 | C6） 0.0612683
X ** 3（SCO Y3 | C7） 0
X ** 2 * Y（SCO X2Y | C8） 0.0010723
XY ** 2（SCO XY2 | C9） 0
Y ** 3（SCO Y3 | C10） 2.4386556e-005
X ** 4（SCO X4 | C11） 0.00013098
X ** 3 * Y（SCO X3Y | C12） 0
X ** 2 * Y ** 2（SCO X2Y2 | C13） -1.2892527e-006
X * Y ** 3（SCO XY3 | C14） 0
Y ** 4（SCO Y4 | C15） 2.62995523e-006
X ** 5（SCO X5 | C16） 0
X ** 4 * Y（SCO X4Y | C17） -6.0819504e-006
X ** 3 * Y ** 2（SCO X3Y2 | C18） 0
X ** 2 * Y ** 3（SCO X2Y3 | C19） -1.3155971e-007
X * Y ** 4（SCO XY4 | C20） 0
Y ** 5（SCO Y5 | C21） 4.0503658e-008
X ** 6（SCO X6 | C22） 1.3439432e-007
X ** 5 * Y（SCO X5Y | C23） 0
X ** 4 * Y ** 2（SCO X4Y2 | C24） 2.5855823e-008
X ** 3 * Y ** 3（SCO X3Y3 | C25） 0
X ** 2 * Y ** 4（SCO X2Y4 | C26） -2.699141e-008
X * Y ** 5（SCO XY5 | C27） 0
Y ** 6（SCO Y6 | C28） 5.31499927e-009
X ** 7（SCO X7 | C29） 0
X ** 6 * Y（SCO X6Y | C30） -3.738121e-009
X ** 5 * Y ** 2（SCO X5Y2 | C31） 0
X ** 4 * Y ** 3（SCO X4Y3 | C32） 2.69691705e-012
X ** 3 * Y ** 4（SCO X3Y4 | C33） 0
X ** 2 * Y ** 5（SCO S2Y5 | C34） 4.84174393e-011
X * Y ** 6（SCO XY6 | C35） 0
Y ** 7（SCO Y7 | C36） -1.39752199e-010
X ** 8（SCO X8 | C37） 4.2757097e-011
X ** 7 * Y（SCO X7Y | C38） 0
X ** 6 * Y ** 2（SCO X6Y2 | C39） 1.1630807e-011
X ** 5 * Y ** 3（SCO X5Y3 | C40） 0
X ** 4 * Y ** 4（SCO X4Y4 | C41） 3.4775484e-011
X ** 3 * Y ** 5（SCO X3Y5 | C42） 0
X ** 2 * Y ** 6（SCO X2Y6 | C43） 3.6136367e-012
X * Y ** 7（SCO XY7 | C44） 0
Y ** 8（SCO Y8 | C45） -5.8509308e-013
X ** 9（SCO X9 | C46） 0
X ** 8 * Y（SCO X8Y | C47） 0
X ** 7 * Y ** 2（SCO X7Y2 | C48） 0
X ** 6 * Y ** 3（SCO X6Y3 | C49） 0
X ** 5 * Y ** 4（SCO X5Y4 | C50） 0
X ** 4 * Y ** 5（SCO X4Y5 | C51） 0
X ** 3 * Y ** 6（SCO X3Y6 | C52） 0
X ** 2 * Y ** 7（SCO X2Y7 | C53） 0
X * Y ** 8（SCO XY8 | C54） 0
Y ** 9（SCO Y9 | C55） 0
X ** 10（SCO X10 | C56） 0
X ** 9 * Y（SCO X9Y | C57） 0
X ** 8 * Y ** 2（SCO X8Y2 | C58） 0
X ** 7 * Y ** 3（SCO X7Y3 | C59） 0
X ** 6 * Y ** 4（SCO X6Y4 | C60） 0
X ** 5 * Y ** 5（SCO X5Y5 | C61） 0
X ** 4 * Y ** 6（SCO X4Y6 | C62） 0
X ** 3 * Y ** 7（SCO X3Y7 | C63） 0
X ** 2 * Y ** 8（SCO X2Y8 | C64） 0
X * Y ** 9（SCO XY9 | C65） 0
Y ** 10（SCO Y10 | C66） 0
表9 — 全局坐标系中局部曲面参考的定义
Figure DEST_PATH_IMAGE029
在设计过程期间，选择了三个代表性波长465 nm、550 nm和630 nm，它们对应于所选OLED微型显示器中的蓝色、绿色和红色发射器的峰值发射光谱。对MLA中的总共21个小透镜进行采样，其中每个小透镜表示9个元素像点，这将总共189个视场样本加了起来。为了评估图像质量，在系统的出射光瞳（查看窗口）处放置了与目镜具有相同焦度的理想透镜，这导致最终图像的截止频率为20.83 lp/mm，这受限于微型显示器的像素大小。在三个设计波长的代表性视场角下评定了所设计的系统的光学性能。通过改变可调谐透镜VFE的焦度，可以在较大范围内（例如，从0屈光度到3屈光度）轴向偏移中央深度平面，而不会有光学性能的显著退化。图8至图10标绘了对于在分别设置在3、1和0屈光度的深度处的CDP上重建的点的多色调制传递函数（MTF）。对于每个CDP方位，标绘了两组MTF，一组用于与轴上MLA相对应的视场，而一组用于与靠近边缘的最远MLA相对应的视场。
另一方面，当对于特定的可调谐状态，将重建的图像从中央深度平面移开时，评定3D重建点的图像质量如何退化也同样重要。这可以通过在不改变可调谐透镜的焦度的情况下，将中央深度平面偏移一小段距离来进行评估。图11至图14标绘了分别从CDP偏移开0.25、0.5、0.75和1屈光度的重建点的多色MTF。对于每个深度，标绘了两组MTF，一组用于与轴上MLA相对应的视场，而一组用于与靠近边缘的最远MLA相对应的视场。
图15标绘了65°x40°FOV的多色MTF。跨整个FOV，透视路径实现了在30个周期/度的频率下的50％以上的平均MTF值（对应于20/20正常视力），以及在60个周期/度的频率下的接近20％的平均MTF值（对应于20/10视力或0.5弧分的视敏度）。
原型系统（“InI-HMD原型”）由图7A的InI-HMD 700以及表1–9和相关联的文本构建。
在本发明的另外的方面，本发明可以提供用于渲染基于积分成像的光场显示的光场图像的方法。作为一种示例性方法，图16的流程图图示了3D虚拟场景1603的光场的渲染，其中InI-HMD光学器件1600在距观看者固定深度（ZCDP，以屈光度为单位测量的）处创建虚拟中央深度平面（CDP）1601，其被称为固定深度模式光场显示。虚拟CDP 1601是在视觉空间中的微型显示器1601的光学共轭平面。通常，可以为位于CDP 1609的深度处的3D对象重建3D光场的最高对比度和分辨率。
为了渲染3D目标场景1603的光场，本发明的示例性固定深度模式方法可以开始于确定相对于观看者的眼睛方位的InI-HMD光学器件1600的虚拟CDP 1601的深度。然后可以模拟由I乘J个针孔相机组成的虚拟相机阵列1604。阵列1604中的每一个虚拟相机可以以下面这样的方式在模拟中定位，该方式为使得每个位置对应于微透镜阵列（MLA）1606的对应小透镜的主射线方向与InI-HMD光学器件1600的出射光瞳的交点，并且每个虚拟相机的视轴与通过InI-HMD光学器件1600看到的对应小透镜的主射线方向匹配。对应于模拟虚拟相机阵列1604的是由I乘J个虚拟传感器组成的模拟虚拟相机传感器阵列1605。每一个虚拟传感器可以具有K乘L的像素分辨率。虚拟相机的投影平面1613被设置成与InI-HMD光学器件1600的虚拟CDP 1601的深度一致，并且模拟虚拟相机阵列1604与传感器阵列1605之间的间隔（被称为相机等效焦距（EFL）f）被设置成使得每个相机-传感器对的视场（FOV）与MLA1606的每个小透镜的FOV匹配。可以使用模拟虚拟相机阵列1604作为其参考来计算虚拟3D场景1603。为了便于参考，此后将相对于观看者来参照以屈光度为单位测量的3D场景对象的深度Z，或以屈光度为单位测量的3D场景对象的深度Z被等效地引用到模拟虚拟相机阵列1604。每对虚拟相机1604和传感器1605可以对应于3D场景的3D光场的所计算的（渲染的）2D基本图像（EI），从而表示由模拟虚拟相机1604看到的3D场景的稍微不同的透视图。然后可以将这些EI镶嵌成为微型显示器1602创建I*K乘J*L个像素的全分辨率光场图像拼接（mosaic）1607。（应当注意到，元件1603、1604、1605、1607是非物理元件，从计算上模拟它们以提供要递送到物理显示器1602的数据。）可以经由InI-HMD光学器件1600的微型显示器1602来显示全分辨率图像1607。通过InI-HMD光学器件1600，重建的虚拟3D场景1608可以被重建以供观看者在深度Z处查看。例如，在本示例性实现方式中，遵循3D计算机图形的常规渲染管线（诸如，F. S. Hill Jr.，Computer Graphics Using OpenGL，第二版，出版商：Prentice Hall，1990），模拟了3D目标场景1603的15x9个基本图像的阵列，每一个图像都由125x125个彩色像素组成。这些EI可以被镶嵌成创建用于微型显示器1602的1920x1080个像素的全分辨率图像。
使用InI-HMD原型，通过固定可调谐透镜122的光焦度S10-S16来实行演示，使得将显示系统700、1600的CDP 1609设置在距观看者为1屈光度的固定距离处，它模拟常规的基于InI的HMD的显示属性。（出于即时固定深度模式方法的目的，不需要可调谐透镜，并且所以其光焦度是固定的。）为了演示固定深度的CDP模式下的光场光学器件1600的光学性能，创建了虚拟3D目标场景1603，其三个深度平面位于远离InI-HMD光学器件的观看者或出射光瞳3、1和0.5屈光度处，图17A。在每个深度平面上，渲染了三组Snellen字母E，它们具有不同的空间分辨率（字母的单个笔划或间隙分别为3、6和10弧分）和取向（水平的和垂直的）以及深度指示符（“3D”、“1D”和“0.5D”）。使用以上结合图16所述的方法来渲染图像。图17A示出了为微型显示器1602生成的虚拟3D场景1601的11x5个EI的示例性拼接1607，其中虚拟CDP 1601被设置在1屈光度处。为了定性评定焦点提示，将三个辐条分辨率目标物理地放置在虚拟3D场景1603的三个深度平面的对应深度处。在观看者的地方使用了具有2448乘2048个像素的2/3”彩色传感器和16 mm透镜的相机（未示出）。相机系统总体上产生了每像素0.75弧分的空间分辨率，该分辨率明显好于显示光学器件1600的分辨率。相机透镜的入射光瞳直径被设置成约为4 mm，使得其类似于人眼的直径。图17B示出了重建的虚拟3D场景的捕获图像，其覆盖有真实世界目标，在那里相机聚焦于1屈光度。可以观察到，只有位于相机聚焦平面的相同深度处的目标（真实目标（由箭头指示）和虚拟目标（由框指示）两者）才能正确且清晰地被分辨，这表明了基于InI的HMD 700、1600向观看者渲染正确焦点提示的能力。分辨1屈光度目标的顶行上的最小Snellen字母的能力进一步表明，原型的空间分辨率与所设计的3弧分的标称分辨率相匹配。在固定的透镜焦点的这种配置中，可以进一步观察到，虚拟目标的EI在与相机的聚焦平面不同的深度（例如，3D和0.5D）处无法正确会聚，从而导致在图17B中，字母的多个副本被捕获。当调整相机焦点以聚焦在其对应深度时，这些目标可以正确地会聚，如图17C和17D中演示的，其示出了利用被分别聚焦在0.5和3屈光度处的相机的具有相同虚拟和真实世界场景的捕获图像。与相机对焦深度相对应的目标分别用框标记。然而，与传统的基于InI的HMD相似，在除了CDP之外的深度平面处重建的目标的图像对比度和分辨率只能维持在相对较短的有限DOF中，并且即使这些目标的EI正确地会聚，并且位于与相机的聚焦平面相同的深度处，它们除此之外也会严重退化。例如，图17C中的捕获图像仍然可以分辨对应到6弧分的字母，而图17D中的捕获图像只能分辨对应到10弧分的字母，并且EI开始不正确地会聚。
借助于根据本发明的可调谐透镜1811、122（图18、7A），可以动态地调节CDP 1809的深度。这种能力允许本发明的系统1800以两种不同的模式操作：可变深度模式（图18、19A-19B）和时分多深度模式（图20、21A-21B）。在可变深度模式下，可以根据所显示内容的平均深度或关注深度来适应性地改变CDP 1809的深度。在多深度模式下，可调谐透镜1810、122的焦度可以在与几个离散的CDP深度相对应的几种状态当中快速切换，而同步地，光场渲染以相同的速度被更新，使得在以无闪烁速率发生切换的情况下，不同深度的内容被时分复用并且被视为扩展的体积。
在图18的流程图中图示了用于以可变深度模式来渲染3D虚拟场景的光场的方法。可变深度模式开始于确定以屈光度为单位测量的3D目标场景1603的关注深度ZDOI，其可以由观看者的关注点确定或由计算机算法指定。观看者的关注点可以由眼动设备确定（如果在HMD系统中可用的话）或者由其他用户输入设备（诸如计算机鼠标）确定。替换地，代替依赖于眼动设备或其他输入设备，计算机算法可以基于从与其相关联的深度图获得的虚拟3D场景的平均深度、或基于由图像处理算法检测到的虚拟3D场景的特征点，来指定目标场景的关注深度。一旦确定了场景1603的关注深度（DOI），控制器1812（诸如PC）就可以将电控制信号V施加到可变焦中继组1810的VFE元件1811，其适应性地改变经中继的中间微型3D场景1815与InI-HMD光学器件1800的目镜1817之间的距离ZRCDP（V）（以屈光度为单位测量的）。因此，适应性地设置以屈光度为单位测量的InI-HMD光学器件1800的虚拟CDP 1801的深度ZCDP（V），使得其与目标场景1603的关注深度一致。除了相机投影平面1813与3D场景1603的关注深度一致之外，以与图16中所示的固定深度的方式类似的方式来配置模拟虚拟相机阵列1604和虚拟相机传感器阵列1605。其余的渲染方法与结合图16所讨论的方法相同。
出于演示可变深度模式的目的，改变了可调谐透镜1811的光焦度，使得将显示光学器件1800的CDP 1809被设置成3屈光度的深度。虚拟相机和虚拟传感器阵列1604、1605被适配成匹配显示光学器件1800的虚拟CDP 1801的调整深度。然后针对3和0.5屈光度处的目标重新渲染EI，其中相机投影平面被调整成匹配3屈光度的深度。图19A、19B示出了通过HMD的捕获图像，其中位于观看者处的相机（未示出）分别聚焦在3和0.5屈光度的深度处。通过正确地调整可调谐透镜1811的光焦度以及重新生成微型显示器1602上的内容，系统1800能够为位于深度为3屈光度处（图19A）的目标、以及为图17B中位于1屈光度处的目标维持相同水平的3弧分的空间分辨率和图像质量。然而，可变深度模式只能对显示硬件的CDP所决定的特定深度附近的目标实现高分辨率显示。如图19B所示，即使当相机聚焦在这些0.5屈光度目标的深度处时，由于其与给定CDP的间隔增加，因此在0.5屈光度的深度处的目标示出比图17C中更严重的分辨率退化。
在其仍另外的方面中，在图20的流程图中图示了根据本发明的用于渲染3D虚拟场景2003的光场的多深度模式方法。在多深度模式下，我们开始于选择沿视轴分布的3D目标场景2003的多个关注深度ZDOI（n）（n = 1…N）（以屈光度为单位测量的），其中ZDOI（1）可以以屈光度为单位限定到观看者的最接近的深度平面2003-1，以及ZDOI（N）可以限定最远的深度平面2003-N。多个关注深度的安置可能受多个因素的约束。最重要的因素可能是角度分辨率要求、景深要求、对眼睛适应误差的阈值公差以及纵向分辨率要求。可能影响对关注深度的选择的其他因素包括：可变焦VFE 1811负担得起的深度范围和3D场景2003的深度分布。深度平面的总数N可能受硬件设计的约束。例如，在以时间顺序的方式渲染不同关注深度的时分复用的实现方式中，VFE 1811、微型显示器1602和图形硬件的更新帧速率可以被表达为
Figure 764695DEST_PATH_IMAGE030
其中fc是无闪烁视图所需的阈值刷新率，fVFE是VFE 1811对光焦度改变的电信号的最大响应速度，fdisplay是微型显示器1602的最大刷新率，并且fc是图形渲染硬件的最大帧速率。如果可以实现空间复用方法，其中硬件可以承担得起同时渲染多个深度平面，则可以增加深度平面的数量。一旦确定了关注深度的安置和数量，就可以如下实现其余的渲染方法。对于每一个所选关注深度ZDOI（n）（n = 1 ... N），控制器1812将电控制信号V（n）施加到可变焦中继组1810的VFE元件1811，其适应性地改变经中继的中间微型3D场景2105与InI-HMD光学器件1800的目镜1817之间的距离ZRIM（Vn）。因此，适应性地设置InI-HMD光学器件1800的虚拟CDP 2001的深度ZCDP（Vn），使得其与给定的关注深度ZDOI（n）（n = 1…N）一致。可以以与图18中所述的方式类似的方式来配置模拟虚拟相机阵列1604和虚拟相机传感器阵列1605，使得例如相机投影平面1813与关注深度ZDOI（n）（n = 1…N）2003-1、2003-N一致。为了针对给定的关注深度渲染3D场景2003的2D基本图像，创建3D虚拟场景2003的深度图，以获得相对于观看者的场景对象的深度信息。代替渲染整个3D场景2003的2D基本图像，我们可以只渲染位于由下式定义的深度范围内的2D基本图像：
Figure DEST_PATH_IMAGE031
其中
Figure 99862DEST_PATH_IMAGE032
和
Figure DEST_PATH_IMAGE033
定义了给定的关注深度与其邻近的深度平面之间的屈光度间距。当n=1时，
Figure 828783DEST_PATH_IMAGE034
定义了要由显示器1602渲染的最近深度极限2003-1，而当n=N时，
Figure DEST_PATH_IMAGE035
定义了要由显示器1602渲染的最远深度极限2003-N。所渲染的2D基本图像可以以与固定深度或可变深度模式相同的方式被镶嵌在一起，以创建全分辨率光场图像的第n帧，其然后被发送到微型显示器1602以供更新。可以为下一个关注深度重复相同的渲染方法，直到所有N个深度平面都被渲染为止。如更早陈述的，所有N个深度平面都可以以时间顺序的方式或以并行方式或两种方法的混合方式进行渲染。
为了演示图20的多深度模式，我们决定创建两个时分复用的深度平面的实现方式，一个放置在3屈光度处，并且另一个放置在0.5屈光度处。可调谐透镜VFE 1811的光焦度被两个不同的信号V1和V2顺序地电控制，使得显示系统1800的虚拟CDP 2001被相应地设置成3和0.5屈光度的深度。在两个虚拟CDP安置中的每一个处，我们重新渲染了目标场景2003的EI，其包括放置在3屈光度和0.5屈光度处的两个分辨率目标。对于此简单情况，为0.5屈光度CDP安置所渲染的EI仅渲染被放置在0.5屈光度处的目标对象，并且类似地，为3屈光度CDP安置所渲染的EI仅渲染被放置在3屈光度处的目标对象。以时分多路复用的方式、以约30 Hz的帧速率显示单独渲染的EI，而同步地，显示器1602的CDP 2009在3屈光度与0.5屈光度的深度之间快速切换。30 Hz的刷新速度是由于OLED微型显示器1602的最高60 Hz刷新率的极限所致。图21A、21B示出了通过HMD的捕获图像，其中相机（未示出）被放置在观看者的位置处，并且分别聚焦在3和0.5屈光度的深度处。与虚拟显示一起，将两个辐条分辨率目标物理地放置在字母的对应深度处。如图21A所示，当相机聚焦在3屈光度的近处深度处时，近处深度处的虚拟对象和真实对象（左侧的字母和辐条）两者都似乎是清晰对焦的，而远处的对象（右侧的字母和辐条）如预期的那样示出了明显的离焦模糊。图21B演示了将相机焦点切换到0.5屈光度的远处深度时的情况。可以清楚地观察到，在相机的对应焦点处，远处和近处深度处的字母两者都比较清晰。通过以双深度模式驱动显示器，该系统以差不多3屈光度的大深度间隔实现了目标的高分辨率显示，同时渲染了与其真实相对物相当的焦点提示。
本发明的基于InI的光场渲染方法的可变深度和多深度模式可以共享以下特征：在可变深度模式中，根据关注深度来适应性地改变CDP 1809、2009的深度，或者在多深度模式中，在几个离散深度当中快速切换CDP 1809、2009的深度。然而，它们的视觉效果和对焦点提示的影响明显不同。例如，如图19中演示的，在InI-HMD的可变深度模式中（图18），由于光场渲染的性质，尽管分辨率可能会退化，会利用正确的模糊提示来渲染远离CDP 1809的内容，而在常规的可变焦HMD中，远离其焦平面的内容可以和在焦深上的内容是一样高的分辨率，除非人为模糊，但是由于其2D渲染的性质而不会示出适当的焦点提示。在多深度模式中（图20），相比于传统的多焦平面HMD方法的显著优点是需要少得多数量的深度切换，以在相同深度范围内渲染正确焦点提示，而在多焦点系统中，深度混合是必需的，从而为远离物理焦平面的内容渲染焦点提示。在基于InI的光场渲染的情况下，覆盖3屈光度的深度范围仅需要2个焦点深度，并且在这种情况下所生成的焦点提示也更加准确和连续。
根据前面的说明书，本发明的这些和其他优点对于本领域技术人员将是清楚的。因此，本领域技术人员将意识到，可以在不偏离本发明的广泛发明构思的情况下对上述实施例做出改变或修改。因此，应当理解到，本发明不限于本文中描述的特定实施例，而是意图包括处于权利要求中阐述的本发明的范围和精神内的所有改变和修改。

Claims (12)

1.一种使用基于积分成像的光场显示在HMD中渲染3D场景的光场图像的方法，其包括：
提供具有可变焦元件和与所述可变焦元件光学连通的微型显示器的积分成像（InI）光学器件，所述InI光学器件具有与其相关联的中央深度平面（CDP）；
在微型显示器上显示图像数据，所述图像数据包括分别表示3D场景的不同透视图的基本图像；以及
设置可变焦元件的焦距，以调整CDP的位置。
2.根据权利要求1所述的方法，包括：使用相机的模拟虚拟阵列对3D场景进行采样，以使得每个相机捕获所述3D场景的相应部分以创建基本图像。
3.根据前述权利要求中任一项所述的方法，其中，所述InI光学器件被配置成创建虚拟CDP，所述虚拟CDP是视觉空间中的微型显示器的光学共轭平面，并且其中，所述3D场景包括关注深度（DOI），通过所述关注深度，3D场景沿着视轴延伸，所述3D场景具有平均DOI，并且包括设置可变焦元件的焦距，以使得虚拟CDP的位置与3D场景的平均DOI一致。
4.根据前述权利要求中任一项所述的方法，其中，所述InI光学器件被配置成创建虚拟CDP，所述虚拟CDP是视觉空间中的微型显示器的光学共轭平面，并且其中，所述3D场景包括关注深度（DOI），通过所述关注深度，3D场景沿着视轴延伸，并且包括：
选择在3D场景的DOI内沿着视轴分布的多个深度；以及
对于多个深度中的每个所选深度，设置可变焦元件的焦距，以使得每个虚拟CDP的位置与所选深度一致，以创建多个虚拟CDP，每个虚拟CDP与多个深度中的相应所选深度一致。
5.根据权利要求4所述的方法，包括：对于多个深度中的每个所选深度，在微型显示器上顺序显示与每个所选深度相关联的3D场景的一部分，并且其中，设置可变焦元件的焦距的步骤与在微型显示器上顺序显示的定时同步。
6.根据前述权利要求中任一项所述的方法，其中，所述InI光学器件包括：中继组，其中将可变焦元件设置在其中，所述中继组被配置成接收由微型显示器创建的光场，并且在所选3D场景的光轴上创建中间3D场景，所述中继组被配置成调谐沿着中间3D场景的光轴的方位。
7.根据权利要求6所述的方法，其中，所述微型显示器被配置成在沿着系统光轴的所选方位处创建3D场景的光场，并且将中继组设置在光轴上的一位置处，以使得所选方位是中继组的光学共轭。
8.根据权利要求6-7中任一项所述的方法，其中，所述InI光学器件包括：目镜光学器件，用于将来自中继组的中间3D场景成像到系统的出射光瞳中，以供头戴式显示系统的用户查看。
9.一种使用基于积分成像的光场显示在HMD中渲染3D场景的光场图像的方法，其包括：
提供包括微型显示器的积分成像（InI）光学器件，所述InI光学器件具有与其相关联的中央深度平面（CDP）；
使用相机的模拟虚拟阵列对3D场景进行采样，以使得每个相机捕获3D场景的相应部分以创建多个基本图像，所述基本图像共同地包括用于在微型显示器上显示的图像数据；以及
在微型显示器上显示图像数据。
10.根据权利要求2或9所述的方法，其中，所述InI光学器件包括：小透镜的微透镜阵列，并且其中，对3D场景进行采样的步骤包括：定位每个虚拟相机，以使得每个虚拟相机位置对应于微透镜阵列的对应小透镜的主射线与InI光学器件的出射光瞳的交点。
11.根据权利要求2或10所述的方法，其中，每个模拟虚拟相机的视轴与通过InI光学器件看到的对应小透镜的主射线方向匹配。
12.根据权利要求2、10或11中任一项所述的方法，其中，对3D场景进行采样的步骤包括：提供传感器的模拟虚拟阵列，每个传感器与对应的所选虚拟相机光学连通，以提供模拟虚拟相机-传感器对，其中，每个相机-传感器对之间的间隔为使得每个相机-传感器对的视场与微透镜阵列的对应小透镜的视场匹配。
CN201880091602.9A 2018-03-22 2018-03-22 为基于积分成像的光场显示来渲染光场图像的方法 Active CN111869204B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2018/023682 WO2019182592A1 (en) 2018-03-22 2018-03-22 Methods of rendering light field images for integral-imaging-based light filed display

Publications (2)

Publication Number Publication Date
CN111869204A true CN111869204A (zh) 2020-10-30
CN111869204B CN111869204B (zh) 2023-10-03

Family

ID=67987806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880091602.9A Active CN111869204B (zh) 2018-03-22 2018-03-22 为基于积分成像的光场显示来渲染光场图像的方法

Country Status (5)

Country Link
US (1) US11546575B2 (zh)
EP (1) EP3769512A4 (zh)
JP (1) JP7185331B2 (zh)
CN (1) CN111869204B (zh)
WO (1) WO2019182592A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024012232A1 (en) * 2022-07-13 2024-01-18 Huawei Technologies Co., Ltd. Three-dimensional integral-imaging light field display and optimization method therefor

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009094399A1 (en) 2008-01-22 2009-07-30 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
CA3103877A1 (en) * 2018-06-18 2019-12-26 New Jersey Institute Of Technology Method, system and apparatus for diagnostic assessment and screening of binocular dysfunctions
CN110703456B (zh) * 2019-11-08 2021-07-20 深圳英伦科技股份有限公司 大景深集成成像三维显示装置及方法
CN111427166B (zh) * 2020-03-31 2022-07-05 京东方科技集团股份有限公司 一种光场显示方法及系统、存储介质和显示面板
JP2022039297A (ja) * 2020-08-28 2022-03-10 セイコーエプソン株式会社 虚像表示装置及び光学ユニット
US11947134B2 (en) 2021-01-22 2024-04-02 National Taiwan University Device of generating 3D light-field image
JP2024510164A (ja) * 2021-03-09 2024-03-06 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ 時分割多重化方式を使用して、インテグラルイメージングに基づくライトフィールドディスプレイの性能を向上させる装置および方法
US20220311984A1 (en) * 2021-03-26 2022-09-29 Lightspace Technologies, SIA System and method for rendering three-dimensional image content
TWM621801U (zh) * 2021-08-16 2022-01-01 大立光電股份有限公司 頭戴裝置
WO2023064271A1 (en) * 2021-10-15 2023-04-20 Google Llc Curved see-through lightguide with intermediate focus
CN114157852B (zh) * 2021-11-30 2022-12-13 北京理工大学 一种基于旋转双棱镜的虚拟相机阵列三维成像方法及系统
CN116413911A (zh) * 2021-12-31 2023-07-11 北京耐德佳显示技术有限公司 一种超薄型镜片、使用其的虚像成像装置和近眼显示器
CN114500977A (zh) * 2022-01-22 2022-05-13 深圳市帝泰光电有限公司 视觉增强的智能穿戴设备及实现立体视觉换位的方法
TWI828063B (zh) * 2022-02-15 2024-01-01 國立陽明交通大學 光學顯示系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102739945A (zh) * 2012-05-24 2012-10-17 上海理工大学 光场成像装置及方法
TW201502589A (zh) * 2013-03-15 2015-01-16 Ostendo Technologies Inc 具有改良之視角深度及解析度之三維光場顯示器及方法
US20160011419A1 (en) * 2010-12-24 2016-01-14 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CN106537220A (zh) * 2014-03-05 2017-03-22 亚利桑那大学评议会 具有可变焦点和/或对象识别的可佩戴3d增强现实显示器

Family Cites Families (171)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3493290A (en) 1966-01-14 1970-02-03 Mitre Corp Three-dimensional display
US3632184A (en) 1970-03-02 1972-01-04 Bell Telephone Labor Inc Three-dimensional display
JPS503354A (zh) 1973-05-11 1975-01-14
EP0066402B1 (en) 1981-05-29 1985-09-11 Gec Avionics Limited Night vision goggles
US4669810A (en) 1984-02-03 1987-06-02 Flight Dynamics, Inc. Head up display system
US4753522A (en) 1985-06-03 1988-06-28 Ricoh Company, Ltd. Plastic lens assembly for use in copying machines
US4863251A (en) 1987-03-13 1989-09-05 Xerox Corporation Double gauss lens for a raster input scanner
US5880888A (en) 1989-01-23 1999-03-09 Hughes Aircraft Company Helmet mounted display system
JPH02200074A (ja) 1989-01-30 1990-08-08 Nippon Hoso Kyokai <Nhk> イメージインテンシファイア付固体撮像装置
GB8916206D0 (en) 1989-07-14 1989-11-08 Marconi Gec Ltd Helmet systems
JP2692996B2 (ja) 1989-12-25 1997-12-17 オリンパス光学工業株式会社 結像レンズ
US5109469A (en) 1990-11-01 1992-04-28 Itt Corporation Phosphor screen for correcting luminous non-uniformity and method for making same
US5172275A (en) 1990-12-14 1992-12-15 Eastman Kodak Company Apochromatic relay lens systems suitable for use in a high definition telecine apparatus
DE4291016T1 (zh) 1991-04-22 1993-05-13 Evans & Sutherland Computer Corp., Salt Lake City, Utah, Us
DE69325607T2 (de) 1992-04-07 2000-04-06 Raytheon Co Breites spektrales Band virtuelles Bildanzeige optisches System
US6008781A (en) 1992-10-22 1999-12-28 Board Of Regents Of The University Of Washington Virtual retinal display
US5526183A (en) 1993-11-29 1996-06-11 Hughes Electronics Helmet visor display employing reflective, refractive and diffractive optical elements
US5416315A (en) 1994-01-24 1995-05-16 Night Vision General Partnership Visor-mounted night vision visor
US7262919B1 (en) 1994-06-13 2007-08-28 Canon Kabushiki Kaisha Head-up display device with curved optical surface having total reflection
US5621572A (en) 1994-08-24 1997-04-15 Fergason; James L. Optical system for a head mounted display using a retro-reflector and method of displaying an image
JPH08160345A (ja) 1994-12-05 1996-06-21 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
US5625495A (en) 1994-12-07 1997-04-29 U.S. Precision Lens Inc. Telecentric lens systems for forming an image of an object composed of pixels
JP3658034B2 (ja) 1995-02-28 2005-06-08 キヤノン株式会社 画像観察光学系及び撮像光学系
US5818632A (en) 1995-04-13 1998-10-06 Melles Griot, Inc Multi-element lens system
JP3599828B2 (ja) 1995-05-18 2004-12-08 オリンパス株式会社 光学装置
EP1798592A3 (en) 1996-01-17 2007-09-19 Nippon Telegraph And Telephone Corporation Optical device and three-dimensional display device
JP3556389B2 (ja) 1996-05-01 2004-08-18 日本電信電話株式会社 ヘッドマウントディスプレイ装置
JPH09218375A (ja) 1996-02-08 1997-08-19 Canon Inc 疲労判定方法及びそれを用いた観察装置
JPH09219832A (ja) 1996-02-13 1997-08-19 Olympus Optical Co Ltd 画像表示装置
US5959780A (en) 1996-04-15 1999-09-28 Olympus Optical Co., Ltd. Head-mounted display apparatus comprising a rotationally asymmetric surface
JP3758265B2 (ja) 1996-04-24 2006-03-22 ソニー株式会社 ３次元画像表示方法とその表示装置
US5880711A (en) 1996-04-24 1999-03-09 Sony Corporation Three-dimensional image display method and its display apparatus
US6028606A (en) 1996-08-02 2000-02-22 The Board Of Trustees Of The Leland Stanford Junior University Camera simulation system
GB9618720D0 (en) 1996-09-07 1996-10-16 Philips Electronics Nv Electrical device comprising an array of pixels
JP3924348B2 (ja) 1996-11-05 2007-06-06 オリンパス株式会社 画像表示装置
US6034823A (en) 1997-02-07 2000-03-07 Olympus Optical Co., Ltd. Decentered prism optical system
JPH10307263A (ja) 1997-05-07 1998-11-17 Olympus Optical Co Ltd プリズム光学素子及び像観察装置
US6760169B2 (en) 1997-05-07 2004-07-06 Olympus Corporation Prism optical element, image observation apparatus and image display apparatus
WO1999023647A1 (en) 1997-11-05 1999-05-14 Omd Devices, L.L.C. Focus error correction apparatus
WO1999030199A1 (en) 1997-12-11 1999-06-17 Koninklijke Philips Electronics N.V. Image display device and head-mounted display comprising such a device
US6236521B1 (en) 1998-02-09 2001-05-22 Canon Kabushiki Kaisha Objective lens and image pickup device using the same
US6198577B1 (en) 1998-03-10 2001-03-06 Glaxo Wellcome, Inc. Doubly telecentric lens and imaging system for multiwell plates
JP3279265B2 (ja) 1998-03-26 2002-04-30 株式会社エム・アール・システム研究所 画像表示装置
US6704149B2 (en) 1998-04-21 2004-03-09 Minolta Co., Ltd. Lens optical system
JPH11326820A (ja) 1998-05-18 1999-11-26 Olympus Optical Co Ltd 観察光学系及びそれを用いた観察装置
JP2000075240A (ja) 1998-08-26 2000-03-14 Mr System Kenkyusho:Kk 複合表示装置
JP2000199853A (ja) 1998-10-26 2000-07-18 Olympus Optical Co Ltd 結像光学系及び観察光学系
US6281862B1 (en) 1998-11-09 2001-08-28 University Of Washington Scanned beam display with adjustable accommodation
JP2000171714A (ja) 1998-12-07 2000-06-23 Olympus Optical Co Ltd 結像光学系
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
JP4550184B2 (ja) 1999-07-02 2010-09-22 オリンパス株式会社 観察光学系
JP2000231060A (ja) 1999-02-12 2000-08-22 Olympus Optical Co Ltd 結像光学系
JP2000249974A (ja) 1999-03-02 2000-09-14 Canon Inc 表示装置及び立体表示装置
WO2000060398A1 (fr) 1999-04-02 2000-10-12 Olympus Optical Co., Ltd. Systeme optique de visualisation et afficheur d'image contenant ce systeme
EP1054280A3 (en) 1999-05-20 2004-08-18 Konica Corporation Zoom lens
JP2001066543A (ja) 1999-08-25 2001-03-16 Canon Inc 複合光学装置
US6243199B1 (en) 1999-09-07 2001-06-05 Moxtek Broad band wire grid polarizing beam splitter for use in the visible wavelength region
JP3391342B2 (ja) 1999-10-29 2003-03-31 ミノルタ株式会社 撮像レンズ装置
JP2001145127A (ja) 1999-11-12 2001-05-25 Shunichi Suda ３次元画像表示装置
JP3854763B2 (ja) 1999-11-19 2006-12-06 キヤノン株式会社 画像表示装置
KR100360592B1 (ko) 1999-12-08 2002-11-13 동부전자 주식회사 반도체 장치 및 그 제조 방법
JP2001238229A (ja) 2000-02-21 2001-08-31 Nippon Hoso Kyokai <Nhk> 立体画像撮影装置及び立体画像表示装置並びに立体画像撮影表示システム
US20010048561A1 (en) 2000-08-24 2001-12-06 Heacock Gregory L. Virtual imaging system for small font text
KR100386725B1 (ko) 2000-07-31 2003-06-09 주식회사 대양이앤씨 헤드 마운트 디스플레이용 광학 시스템
JP4727025B2 (ja) 2000-08-01 2011-07-20 オリンパス株式会社 画像表示装置
JP3658295B2 (ja) 2000-08-09 2005-06-08 キヤノン株式会社 画像表示装置
DE60124566T2 (de) 2000-09-07 2007-09-06 Actuality Systems, Inc., Reading Volumetrische bildanzeigevorrichtung
JP4583569B2 (ja) 2000-09-22 2010-11-17 オリンパス株式会社 観察光学系および撮像光学系
JP4646374B2 (ja) 2000-09-29 2011-03-09 オリンパス株式会社 画像観察光学系
US6563648B2 (en) 2000-10-20 2003-05-13 Three-Five Systems, Inc. Compact wide field of view imaging system
JP2002148559A (ja) 2000-11-15 2002-05-22 Mixed Reality Systems Laboratory Inc 画像観察装置及びそれを用いた画像観察システム
JP4943580B2 (ja) 2000-12-25 2012-05-30 オリンパス株式会社 結像光学系
US20020114077A1 (en) 2001-01-23 2002-08-22 Bahram Javidi Integral three-dimensional imaging with digital reconstruction
JP3658330B2 (ja) 2001-02-21 2005-06-08 キヤノン株式会社 複合表示装置及びそれを用いたヘッドマウントディスプレイ装置
JP2002258208A (ja) 2001-03-01 2002-09-11 Mixed Reality Systems Laboratory Inc 光学素子及びそれを用いた複合表示装置
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US6963454B1 (en) 2002-03-01 2005-11-08 Research Foundation Of The University Of Central Florida Head-mounted display by integration of phase-conjugate material
US6999239B1 (en) 2001-05-23 2006-02-14 Research Foundation Of The University Of Central Florida, Inc Head-mounted display by integration of phase-conjugate material
US6731434B1 (en) 2001-05-23 2004-05-04 University Of Central Florida Compact lens assembly for the teleportal augmented reality system
JP4751534B2 (ja) 2001-07-24 2011-08-17 大日本印刷株式会社 光学系及びそれを用いた装置
JP4129972B2 (ja) 2002-02-18 2008-08-06 オリンパス株式会社 偏心光学系
KR100509370B1 (ko) 2002-12-30 2005-08-19 삼성테크윈 주식회사 촬영 렌즈
DE10306578A1 (de) 2003-02-17 2004-08-26 Carl Zeiss Anzeigevorrichtung mit elektrooptischer Fokussierung
EP1599754A1 (en) 2003-03-05 2005-11-30 3M Innovative Properties Company Diffractive lens
JP4035476B2 (ja) 2003-04-23 2008-01-23 キヤノン株式会社 走査光学系、走査型画像表示装置および画像表示システム
US7152977B2 (en) 2003-04-24 2006-12-26 Qubic Light Corporation Solid state light engine optical system
US7077523B2 (en) 2004-02-13 2006-07-18 Angstorm Inc. Three-dimensional display using variable focusing lens
US20070246641A1 (en) 2004-02-27 2007-10-25 Baun Kenneth W Night vision system with video screen
US7339737B2 (en) 2004-04-23 2008-03-04 Microvision, Inc. Beam multiplier that can be used as an exit-pupil expander and related system and method
JP2008508621A (ja) 2004-08-03 2008-03-21 シルバーブルック リサーチ ピーティワイ リミテッド ウォークアップ印刷
US7542209B2 (en) 2004-09-01 2009-06-02 Optical Research Associates Compact head mounted display devices with tilted/decentered lens element
JP4639721B2 (ja) 2004-09-22 2011-02-23 株式会社ニコン 三次元映像表示装置
JP4560368B2 (ja) 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
US7249853B2 (en) 2005-04-13 2007-07-31 Eastman Kodak Company Unpolished optical element with periodic surface roughness
US7405881B2 (en) 2005-05-30 2008-07-29 Konica Minolta Holdings, Inc. Image display apparatus and head mount display
US7360905B2 (en) 2005-06-24 2008-04-22 Texas Instruments Incorporated Compact optical engine for very small personal projectors using LED illumination
WO2007019347A2 (en) 2005-08-08 2007-02-15 University Of Connecticut Depth and lateral size control of three-dimensional images in projection integral imaging
US20070109505A1 (en) 2005-10-05 2007-05-17 Matsushita Electric Industrial Co., Ltd. Projection three-dimensional display apparatus
JP2007101930A (ja) 2005-10-05 2007-04-19 Matsushita Electric Ind Co Ltd 立体像要素画像作成表示方法および立体像表示装置
US7522344B1 (en) 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
CN101336089A (zh) 2006-01-26 2008-12-31 诺基亚公司 眼睛跟踪器设备
KR101255209B1 (ko) 2006-05-04 2013-04-23 삼성전자주식회사 인터레이스 방식으로 영상을 디스플레이 하는 고해상도입체 영상 디스플레이 장치
US20070273983A1 (en) 2006-05-26 2007-11-29 Hebert Raymond T Devices, methods, and systems for image viewing
WO2007142032A1 (ja) 2006-06-08 2007-12-13 Shimadzu Corporation 撮像装置
JP2006276884A (ja) 2006-06-16 2006-10-12 Olympus Corp 偏心プリズム光学系
US7515345B2 (en) 2006-10-09 2009-04-07 Drs Sensors & Targeting Systems, Inc. Compact objective lens assembly
US8259239B2 (en) 2007-01-18 2012-09-04 The Arizona Board Of Regents On Behalf Of The University Of Arizona Polarized head-mounted projection display
JP4906680B2 (ja) 2007-11-02 2012-03-28 キヤノン株式会社 画像表示装置
US20090168010A1 (en) 2007-12-27 2009-07-02 Igor Vinogradov Adaptive focusing using liquid crystal lens in electro-optical readers
WO2009094399A1 (en) 2008-01-22 2009-07-30 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
JP5169253B2 (ja) 2008-01-29 2013-03-27 ブラザー工業株式会社 画像表示装置
FR2928034B1 (fr) 2008-02-26 2010-03-19 New Imaging Technologies Sas Capteur matriciel pour tube amplificateur de lumiere
JP5329882B2 (ja) 2008-09-17 2013-10-30 パイオニア株式会社 ディスプレイ装置
CN101359089B (zh) 2008-10-08 2010-08-11 北京理工大学 轻小型大视场自由曲面棱镜头盔显示器光学系统
JP5341462B2 (ja) 2008-10-14 2013-11-13 キヤノン株式会社 収差補正方法、画像処理装置および画像処理システム
JP5464839B2 (ja) 2008-10-31 2014-04-09 キヤノン株式会社 画像表示装置
CN101424788A (zh) 2008-12-09 2009-05-06 中国科学院长春光学精密机械与物理研究所 一种眼镜式头盔显示器光学系统
US8331032B2 (en) 2009-02-19 2012-12-11 Drs Rsta, Inc. Compact objective lens assembly for simultaneously imaging multiple spectral bands
US20120081800A1 (en) 2009-04-20 2012-04-05 Dewen Cheng Optical see-through free-form head-mounted display
US8441733B2 (en) 2009-04-24 2013-05-14 David Kessler Pupil-expanded volumetric display
GB0909126D0 (en) 2009-05-27 2009-07-01 Qinetiq Ltd Eye tracking apparatus
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
JP2011085769A (ja) 2009-10-15 2011-04-28 Canon Inc 撮像表示装置
CA3043204C (en) 2009-11-19 2021-08-31 Esight Corp. Apparatus and method for a dynamic "region of interest" in a display system
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9244277B2 (en) 2010-04-30 2016-01-26 The Arizona Board Of Regents On Behalf Of The University Of Arizona Wide angle and high resolution tiled head-mounted display device
US20130112705A1 (en) 2010-07-16 2013-05-09 Mcgill Technology Limited Dispensing apparatus
US20120013988A1 (en) 2010-07-16 2012-01-19 Hutchin Richard A Head mounted display having a panoramic field of view
US20120019557A1 (en) 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
DE102010040030B4 (de) 2010-08-31 2017-02-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Objektiv und Bildaufnahmesystem
JP5603716B2 (ja) 2010-09-06 2014-10-08 オリンパス株式会社 プリズム光学系、プリズム光学系を用いた画像表示装置及び撮像装置
US8503087B1 (en) 2010-11-02 2013-08-06 Google Inc. Structured optical surface
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
AU2011348122A1 (en) 2010-12-24 2013-07-11 Magic Leap Inc. An ergonomic head mounted display device and optical system
US20120160302A1 (en) 2010-12-27 2012-06-28 Jeffrey Michael Citron Trough shaped fresnel reflector solar concentrator
WO2012118575A2 (en) 2011-02-28 2012-09-07 Osterhout Group, Inc. Alignment control in an augmented reality headpiece
TWI490587B (zh) 2011-04-12 2015-07-01 Ability Entpr Co Ltd 光學變焦鏡頭
US11640050B2 (en) 2011-10-19 2023-05-02 Epic Optix Inc. Microdisplay-based head-up display system
RU2623708C2 (ru) 2012-01-24 2017-06-28 Дзе Аризона Борд Оф Риджентс Он Бехаф Оф Дзе Юниверсити Оф Аризона Компактный наголовный дисплей с отслеживанием движения глаз
JP6111635B2 (ja) 2012-02-24 2017-04-12 セイコーエプソン株式会社 虚像表示装置
US8985803B2 (en) 2012-03-21 2015-03-24 Microsoft Technology Licensing, Llc Freeform-prism eyepiece with illumination waveguide
JP6056171B2 (ja) 2012-03-29 2017-01-11 富士通株式会社 立体画像表示装置及び方法
US20130285885A1 (en) 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
US20130300634A1 (en) 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for determining representations of displayed information based on focus distance
US9841537B2 (en) * 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
DE102013001097A1 (de) 2012-08-10 2014-02-13 Johnson Controls Gmbh Head-up-Display und Verfahren zum Betrieb eines Head-up-Displays
JP6019918B2 (ja) 2012-08-17 2016-11-02 セイコーエプソン株式会社 虚像表示装置
US9740006B2 (en) 2012-09-11 2017-08-22 Magic Leap, Inc. Ergonomic head mounted display device and optical system
KR102344903B1 (ko) 2012-10-18 2021-12-28 더 아리조나 보드 오브 리전츠 온 비핼프 오브 더 유니버시티 오브 아리조나 어드레스 가능 포커스 큐를 갖는 입체적 디스플레이
JP6221223B2 (ja) 2012-11-16 2017-11-01 セイコーエプソン株式会社 光学部材及び虚像表示装置
WO2014113455A1 (en) 2013-01-15 2014-07-24 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
US9201193B1 (en) 2013-02-18 2015-12-01 Exelis, Inc. Textured fiber optic coupled image intensified camera
US9405124B2 (en) 2013-04-09 2016-08-02 Massachusetts Institute Of Technology Methods and apparatus for light field projection
US9519144B2 (en) 2013-05-17 2016-12-13 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
CN103605214A (zh) 2013-11-21 2014-02-26 深圳市华星光电技术有限公司 立体显示装置
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
WO2015095737A2 (en) 2013-12-19 2015-06-25 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
JP6264878B2 (ja) 2013-12-24 2018-01-24 セイコーエプソン株式会社 導光装置、虚像表示装置及び導光装置の製造方法
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
WO2015126466A1 (en) 2014-02-21 2015-08-27 The University Of Akron Imaging and display system for guiding medical interventions
KR102205000B1 (ko) 2014-05-30 2021-01-18 매직 립, 인코포레이티드 가상 및 증강 현실에 대한 어드레스 가능 포커스를 가진 자유형 광학 시스템을 사용하여 입체영상을 디스플레이하기 위한 방법들 및 시스템들
JP6388435B2 (ja) * 2014-08-21 2018-09-12 日本放送協会 画像生成装置、画像生成方法、及びプログラム
US20170276918A1 (en) 2014-08-29 2017-09-28 Arizona Board Of Regents Of Behalf Of The University Of Arizona Ultra-compact head-up displays based on freeform waveguide
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
JP2018007110A (ja) * 2016-07-05 2018-01-11 株式会社ニコン 表示装置およびスクリーン
US10739578B2 (en) 2016-08-12 2020-08-11 The Arizona Board Of Regents On Behalf Of The University Of Arizona High-resolution freeform eyepiece design with a large exit pupil
KR102270131B1 (ko) * 2017-05-26 2021-06-28 구글 엘엘씨 스파스 샘플링 슈퍼-해상도를 가진 니어-아이 디스플레이

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160011419A1 (en) * 2010-12-24 2016-01-14 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CN102739945A (zh) * 2012-05-24 2012-10-17 上海理工大学 光场成像装置及方法
TW201502589A (zh) * 2013-03-15 2015-01-16 Ostendo Technologies Inc 具有改良之視角深度及解析度之三維光場顯示器及方法
CN106537220A (zh) * 2014-03-05 2017-03-22 亚利桑那大学评议会 具有可变焦点和/或对象识别的可佩戴3d增强现实显示器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024012232A1 (en) * 2022-07-13 2024-01-18 Huawei Technologies Co., Ltd. Three-dimensional integral-imaging light field display and optimization method therefor

Also Published As

Publication number Publication date
EP3769512A4 (en) 2021-03-24
JP7185331B2 (ja) 2022-12-07
US11546575B2 (en) 2023-01-03
JP2021524052A (ja) 2021-09-09
CN111869204B (zh) 2023-10-03
EP3769512A1 (en) 2021-01-27
US20210014473A1 (en) 2021-01-14
WO2019182592A1 (en) 2019-09-26
WO2019182592A8 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
CN111869204B (zh) 为基于积分成像的光场显示来渲染光场图像的方法
CN110770633B (zh) 具有集成成像和波导棱镜的头戴式光场显示器
CN110678799B (zh) 具有集成成像和中继光学器件的头戴式光场显示器
JP2020024438A (ja) ウェアラブル３ｄ拡張現実ディスプレイ
CN110914741A (zh) 自由形式棱镜和具有增加视场的头戴式显示器
Zhang et al. Design and implementation of an optical see-through near-eye display combining Maxwellian-view and light-field methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40040319

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant