CN114556913A - 3d光场显示器的光学设计和优化技术 - Google Patents

3d光场显示器的光学设计和优化技术 Download PDF

Info

Publication number
CN114556913A
CN114556913A CN202080068903.7A CN202080068903A CN114556913A CN 114556913 A CN114556913 A CN 114556913A CN 202080068903 A CN202080068903 A CN 202080068903A CN 114556913 A CN114556913 A CN 114556913A
Authority
CN
China
Prior art keywords
array
ini
ray
light field
metric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080068903.7A
Other languages
English (en)
Inventor
H·华
H·黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arizona Board of Regents of ASU
Original Assignee
Arizona Board of Regents of ASU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arizona Board of Regents of ASU filed Critical Arizona Board of Regents of ASU
Publication of CN114556913A publication Critical patent/CN114556913A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/23—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using wavelength separation, e.g. using anaglyph techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Computer Graphics (AREA)
  • Computational Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Lenses (AREA)

Abstract

公开了用于设计和优化诸如集成成像头戴式显示器的高性能光场显示器的方法和框架。所公开的技术使用户定义的度量能够表征这样的系统的性能和优化。一种设计方法涉及基于集成成像的三维(3D)显示系统，该显示系统包括阵列光学体、用于产生多个元素图像的阵列显示装置、表示虚拟中心深度平面(CDP)的第一参考平面、表示用于观看经重构3D场景的观看窗口的第二参考平面，以及表示人眼模型的光学子区段。该方法包括追迹针对阵列显示装置和阵列光学体的每个元件从阵列显示装置开始、通过阵列光学体并且到达光学子区段的射线，以及调整一个或多个参数以至少获得在预先确定值内的第一度量值。

Description

3D光场显示器的光学设计和优化技术
相关申请的交叉引用
本申请要求2019年8月12日提交的题为“用于3D光场显示器的光学设计和优化技术”的美国临时申请的优先权，申请号为62/885,460。上述临时申请的全部内容通过引用并入以作为本文件公开的一部分。
关于联邦资助研究的声明
本发明是通过NSF授予的第1422653号经费的政府支持来完成的。政府对本发明享有一定的权利。
技术领域
所公开的技术总体上涉及三维(3D)显示器，更具体地涉及用于设计和优化高性能光场显示器的方法和框架。
背景技术
常规的立体三维显示器(S3D)通过双目差异和从两个稍微不同的观看位置看到的3D场景的其他图片深度线索，从固定距离处的一对二维(2D)透视图像(每只眼睛一个)，来激励3D空间和形状的感知。与S3D类型显示器相关联的关键限制是已知的辐辏调节冲突(vergence-accommodation conflict，VAC)问题。在双目视觉中，当观察物体时，眼睛必须围绕水平轴旋转，使得图像的投射在双眼的视网膜中心。辐辏是两只眼睛同时向相反方向运动以获得或维持单一双目视觉。调节是眼睛随着距离的变化而改变光焦度以维持清晰图像或聚焦在物体上的过程。在物体的正常观看条件下，为观看不同距离的物体对眼睛的焦点的改变会自动引起辐辏和调节。在3D显示的背景下，当大脑接收到虚拟3D物体的距离(辐辏)与眼睛聚焦在该物体上所需的聚焦距离(调节)之间的不匹配线索时，发生VAC。此问题源于无法为3D场景渲染正确的聚焦线索，包括调节和视网膜模糊效果。它会导致多个线索冲突，并被认为是导致与观看S3D显示器相关联的各种视觉伪影的关键因素中的一个。
发明内容
所公开的实施例涉及三维(3D)显示器，更具体地涉及用于设计和优化高性能光场显示器的方法和框架，包括但不限于光场头戴式显示器。
在一个示例实施例中，用于设计基于集成成像(InI)的三维(3D)显示系统的方法。该系统包括：阵列光学体；能够产生多个元素图像的阵列显示装置；第一参考平面，表示虚拟中心深度平面(CDP)，显示器上的点源发射的光线会聚在该虚拟中心深度平面上以形成图像点；第二参考平面，表示用于观看经重构3D场景的观看窗口；以及表示人眼模型的光学子区段。用于设计系统的方法包括追迹与基于InI的3D系统中的光场相关联的射线集合，其中针对阵列显示装置和阵列光学体的每个元件，该追迹从阵列显示装置开始，并且实行为通过阵列光学体到光学子区段来。该方法还包括调整与基于InI的3D系统相关联的一个或多个参数以至少获得在预先确定值或值的范围内的第一度量值。第一度量值对应于光场的射线定向采样。
在所公开的基于InI的3D系统中，光场通过对明显由3D场景发射的光线的方向进行角度采样来重构3D场景的4-D光场。根据一些实施例，光学设计过程包括优化4-D光场渲染中的射线位置和射线方向两者的映射，而不是简单地优化常规HMD设计中物像共轭平面之间的2D映射。
附图说明
图1A是在微显示器上渲染二维(2D)图像以形成锐利聚焦视网膜图像的常规头戴式显示器(HMD)配置的示例。
图1B图示了当调节深度偏离虚拟显示器的距离时的如图1A所示的常规HMD配置。
图2A是图示用于第一调节深度的光场重构的基于集成成像的HMD(InI-HMD)的图像形成过程的示例配置。
图2B图示了图2A的配置和对应于第二调节深度的图像形成。
图3A图示了用于基于集成成像的HMD(InI-HMD)配置的相关联符号和光场函数的映射。
图3B图示了重构基于InI的光场3D显示器的3D场景的光学原理。
图4A图示了InI-HMD系统的各个方面的三维视图，包括观看窗口上的覆盖区(footprint)和微透镜阵列(MLA)的小透镜的成像孔径。
图4B图示了与InI-HMD系统相关联的微显示器上的元素图像(EI)的划分。
图4C图示了包括EI、MLA的小透镜和共享目镜组的子系统。
图4D图示了四个EI在虚拟中心深度平面(CDP)上的部分重叠的虚像。
图4E图示了在为了提高清晰度移除某些特征的情况下如图4D所示的EI在CDP上的部分重叠的虚像。
图5图示了对于示例InI-HMD系统，关于射线位置的全局畸变的全局偏差度量对全场畸变网格的影响。
图6图示了对于示例InI-HMD系统，给定射线束的射线覆盖区从其近轴形状的变形的影响。
图7A图示了根据所公开的技术设计的双目InI-HMD系统的示例布局。
图7B图示了关于图7A的区段的光学布局的进一步细节。
图8A图示了与示例InI-HMD系统相关联的显示路径的图像对比度图。
图8B图示了与覆盖示例InI-HMD系统的视场的采样小透镜的子集对应的轴上场点的调制传递函数(MTF)图。
图8C图示了对应于中心小透镜的每个EI的轴上场点的MTF图，其中它们的虚拟CDP是远离示例InI-HMD系统的观看窗口从3屈光度到0屈光度采样的。
图9A图示了示例InI-HMD系统的覆盖全场的显示路径的畸变网格图。
图9B图示了在优化示例InI-HMD系统的光瞳像差之前在观看窗口处的覆盖区图。
图9C图示了在优化示例InI-HMD系统的光瞳像差之后在观看窗口处的覆盖区图。
图10图示了根据示例实施例的用于设计基于InI的3D显示系统的操作的集合。
图11图示了根据示例实施例的用于改进集成成像光学系统的设计的操作的集合。
图12图示了可以用于实现所公开技术的某些方面的装置的框图。
具体实施方式
已经有一些努力来解决辐辏调节冲突(VAC)问题，其中是基于集成成像(InI-based)的光场3D(LF-3D)显示器。集成成像通常是指通过使用光学孔径或微透镜的二维阵列来捕获和再现光场的三维成像技术。该配置允许通过渲染明显由从预先设计的观看窗口经由阵列光学体看到的场景发射的方向光线来重构3D场景。然而，缺乏适合优化3D显示系统的系统设计方法，包括基于InI的LF-3D头戴式显示器(HMD)。因此，设计高性能3D显示系统仍然是挑战。特别是，在没有经过优化的设计的情况下，InI-HMD将不能正确地渲染经重构3D场景的深度和调节线索，从而导致图像的质量和舒适度受损。
在下面的描述中，InI-HMD被用作示例系统来说明上述问题和所公开的解决方案。然而，应当理解，所公开的实施例类似地适用于其他类型的3D显示系统，诸如非头戴式、直视型光场显示器，其中用于渲染光场的光学系统不直接佩戴在观看者的头部，3D光场显示器仅在一个角度方向上，典型地在水平方向上对光场进行采样，(这更好地称为仅渲染水平视差的显示器——即，多视图布置为观看窗口上的垂直条纹)，或超级多视图显示器或自动立体显示器，其中基本视图由投射器或成像单元生成。
在利用集成成像的系统中，典型地通过在图像前面放置微透镜阵列(MLA)来显示3D图像，其中MLA的每个小透镜取决于视角而看起来都不同。InI-HMD系统需要渲染由MLA的多个元件创建的不同元素视图并且需要它们通过每个眼睛瞳孔被看到。因此，这些元素视图上多个空间分离的像素发射的光线由眼睛瞳孔接收并且积分相加以形成3D重构点的感知，这本质上是InI-HMD与常规HMD的关键区别。在常规HMD系统中，观看光学体(viewingoptics)简单地将微显示器上的2D图像投射到2D虚拟显示器上，并且因此来自单个像素的光线由眼睛光学体一起成像，来形成2D点的感知。至少由于图像形成过程的这种固有差异，常规HMD的现有光学设计方法变得不足以设计真正的3D LF-HMD系统，该系统需要来自多个单独源的射线集成。
除了其他特征和优点之外，所公开的实施例还提供了改进的光学设计方法，该方法能够(1)产生LF-3D HMD设计以精确地执行实际射线追迹，以及(2)优化设计以精确地采样和渲染经重构3D场景的光场，这是驱动观看者的眼睛的调节状态从而解决VAC问题的关键。在所公开技术的实施例中，建立了一种或多种新的设计约束或度量，其有助于优化光场的射线位置采样和/或光场的射线定向采样。例如，位置采样的一个约束或度量说明了相对于经重构3D场景像差的整个FOV、与虚拟元素图像(EI)的横向位置相关的全局畸变(例如，像差)。定向采样的另一约束或度量提供射线覆盖区与其近轴形状的偏差或变形的量度。
所公开的约束和度量的使用改进了光学设计过程，并且允许设计者评估所产生的图像的质量(例如，在解决VAC问题方面)并且改进光学系统的设计。在一些实施例中，通过在设计过程期间最小化所公开的度量，可以产生最佳设计。所公开的度量进一步提供了对可实现的图像质量的评估，因此，在一些实施例中，可以基于所公开的度量的目标值(与最小化相反)为特定光学系统实现期望的图像质量目标。
图1A和1B图示了在微显示器上渲染2D图像的示例性常规HMD配置。与其他2D显示器类似，每个像素值表示光线在角度范围内的强度或辐射总和。插入在微显示器(在图1A和1B中标记为“显示器”)与眼睛之间的目镜简单地放大2D图像并且在经由目镜与微显示器平面光学共轭的距离处形成放大的2D虚拟显示器。因此，来自单个像素的所有光线都由眼睛光学体一起成像，以形成对2D点的感知。在图1A和1B中，“红色”和“绿色”标签用于帮助说明通过系统传播的不同射线束。当眼睛光学体的调节深度与虚拟显示器的表观距离(apparent distance)相匹配时，形成了锐利聚焦的视网膜图像，如图1A所示。否则，如图1B所示，当调节深度偏离虚拟显示器的距离时，形成同样模糊的视网膜图像。
由于上述2D图像形成的本质，这样的系统的光学设计过程只需要关注微显示器上的像素与其在虚拟显示器上的对应图像之间的2D映射；优化策略集中于控制降低虚拟显示器的对比度和分辨率或使虚拟显示器的几何形状畸变的光学像差。为此，来自显示器上每一个像素的射线由光学元件的序列或公共光学路径来成像。因此，常规HMD系统可以由共享光学配置进行建模。在这样的系统中，渲染点的视网膜图像是单个像素发射的射线在微显示器或放大的虚拟显示器上的投射，从而允许通过表征由微显示器上少数场位置的射线所投射的2D图像图案来充分评估常规2D HMD系统的光学性能。
相比之下，LF-HMD通过对明显由3D场景发射的光线方向进行角度采样来重构3D场景的4-D光场。图2A和2B是图示用于光场重构的基于集成成像的HMD(InI-HMD)的图像形成过程的示例配置。图3A和3B图示了相同系统的三维视图，其他符号有助于理解光场函数。如图2A所示，该系统包括微显示器、阵列光学体(例如，小透镜阵列)和目镜。在图2A中，2D阵列的元素图像(EI)表示在微显示器上渲染的3D场景的不同视角(perspective)(例如，元素A1至A3用于经重构点A；元素B1至B3用于经重构点B)。InI-HMD中有两个独特且重要的概念参考平面被广泛认可。第一平面是虚拟中心深度平面(CDP)，由微显示器上的点源发射的光线在通过MLA和目镜传播后会聚在该虚拟中心深度平面上以形成图像点(还参见图3A)。它被视为与微显示器光学共轭的视觉空间中的参考平面。第二参考平面是定义观看者观察经重构3D场景的区域的观看窗口。它在设计上与眼睛光学体的入瞳平面重合并且通常称为常规HMD的系统的出瞳或眼部框(eye box)。
这些EI上的每个像素都被认为是4-D光场函数的定义位置信息(s,t)的图像源。与EI的阵列相关联的是阵列光学体，诸如MLA，每个EI都定义了光场函数的方向信息(u,v)(还参见图3A，其图示了4-D光场，包括参数s、t、u、v)。每个2D EI都由其对应的微小透镜作为分离的成像路径来成像。为了重构3D点的光场，由多个像素(每个像素在不同的EI上)发射的射线束由其对应的MLA元件调制，以在重构的3D位置相交。因此，来自这些空间分离像素的光线整体地创建了3-D点，该点呈现出向不同方向发射光。通过将EI正确布置在显示面板上，具有位于不同视场角和深度的点(例如图2A和2B中的点A和B)的3D场景的4-D光场因此可以对应地渲染。
在放大视图配置中，插入目镜以进一步将微型3D场景放大到虚拟空间中具有扩展深度的大3D体积(例如，图2A和2B中的A'和B'分别是经重构点A和B的放大渲染)。在真正的LF-3D HMD中，来自3D点的多个元素视图被投射在眼睛入瞳的不同位置处，并且这些元素视图的视网膜图像整体形成空间中3D点的感知。当如图2A所示以经重构点A'的深度来调节眼睛时，来自其对应元素像素(例如，像素A1到A3)的射线将相互重叠并且在视网膜上自然地形成锐利聚焦的图像，而来自像素重构点B'的射线(例如，从像素B1到B3的射线)——其位于与点A不同的深度——将在空间上相互偏离并且产生视网膜模糊。点B的视网膜模糊的表观量随重构深度与眼睛调节之间的差异而变化。如图2B所示，当眼睛调节深度切换到点B'时，点B'的视网膜图像变得清晰，而点A'的视网膜图像变得模糊。在这种情况下，由InI-HMD的经重构3D场景的视网膜图像将近似于观看自然3D场景的视觉效果。
由于上述3D图像形成的本质，3D点的光场重构是由多个空间分离的像素发射的光线的集成效应，每个像素位于不同的元素图像上并由阵列光学体的不同光学单元来成像。每个像素提供光场位置的样本，并且其对应的成像光学体的单元提供光场方向的样本。因此，光学设计过程需要优化4-D光场渲染中射线位置和方向两者的映射，而不是简单地优化常规HMD设计中物像共轭平面之间的2D映射。优化策略不仅需要适当控制和评估降低虚拟显示器的对比度和分辨率或使2D元素图像的几何形状畸变的光学像差，这说明了光场的射线位置采样方面，而且还需要用于控制和评估降低方向射线采样的准确度的光学像差的方法和度量。
如图3A所示，不同元素图像上的像素通过穿过不同的光学元件的不同的光学路径成像。因此，LF-HMD系统需要通过多配置阵列系统或在水平和垂直方向分布的子系统阵列来建模。每个子系统表示自给定的元素图像通过其对应的光学单元和可能的目镜组(如果有一个的话)的单一成像路径。需要注意到，为了清楚地区分EI与小透镜的形状，出于说明的目的，圆形用于表示小透镜的孔径及其在观看窗口上的对应覆盖区，而方形孔径已经用于在此提供的示例中的小透镜。
经渲染3D点的视网膜图像是由在不同元素图像上多个像素发射的投射射线的积分和，图像的表观随眼睛调节的状态而大幅变化。因此，LF-HMD系统的光学性能不能仅通过表征从少数场位置的射线投射到微显示器上的2D图像模式来充分评估，而是需要通过表征视网膜上关于不同的眼睛调节状态的集成图像来评估。为此，眼睛模型是成像系统的必要部分。
图3A进一步图示了视觉空间中的光场渲染的简化过程，其中光场函数的射线位置由投射的虚拟像素(xc,yc)在虚拟CDP上采样，并且射线方向由观看窗口上的阵列元素的投射坐标(xv,yv)定义。理论上，使用InI-HMD渲染的理想光场函数L’(xc,yc,xv,yv)，重构光场点的对应EI将在虚拟CDP上成像为点源，且它们的射线束将在点的横向和纵向位置完美相交并且将在如图3B所示的观看窗口上投射在其对应的观看区处。需要注意到，与常规HMD明显不同的是，由重构3D点的元素像素发射的射线束被投射到观看窗口的不同位置处，如图3B所示。然而，由于InI-HMD成像过程的缺陷引起的光场函数渲染中的任何偏差都会导致虚拟CDP上的EI损坏和/或投射到观看窗口上的射线束的方向和覆盖区错误。因此，这样的偏差会导致3D场景的重构损坏，并且降低观看者对InI-HMD的感知图像质量。因此，在设计InI-HMD系统时，光场L(s,t,u,v)——由物体空间中的MLA和显示面板物理渲染——必须准确地映射到由视觉空间中的眼睛观看的光场L’(xc,yc,xv,yv)中。
为了获得良好的映射，关键的是获得(1)对光场函数的从(s,t)到(xc,yc)的位置采样映射的良好控制，使得将显示面板上渲染的每个EI良好地成像到虚拟CDP上，以及(2)对光场函数的从(u,v)到(xv,yv)的定向采样映射的良好控制，使得来自每个经成像EI的射线束以正确的方向和覆盖区投射到观看窗口上，因此元素视图在不相互偏离的情况下良好地集成。
特别是，在优化从(s,t)到(xc,yc)的射线位置映射时必须考虑到关于单独元素之间相互作用的附加考虑。此外，对从(u,v)到(xv,yv)的射线方向映射的优化需要全新的设计度量，其能够精确评估3D场景的经重构光场的定向采样质量及其对显示系统的影响。
图4A到4D图示了InI-HMD系统的各个方面的三维视图，包括观看窗口上的覆盖区和MLA的小透镜的成像孔径(实际出瞳)，以及微显示器上的EI的划分。值得注意到，在一些InI-HMD系统中，可以在显示路径中添加能够改进整体显示性能的更多光学元件，诸如可调中继器组，这增加了InI-HMD设计的更多复杂性，但仍然可以遵循与仅由目镜构成的系统相同的设计方法。在不失一般性的情况下，在一些实例中，这些添加的光学元件可以与目镜组合并且在本文中被称为“目镜组”。
图4A图示了观看窗口上的覆盖区和MLA的小透镜的成像孔径(实际出瞳)。LF-HMD系统可以被划分为M乘N个子系统，其中M和N分别是阵列光学体中的光学单元的总数、和等效地是渲染在微显示器上的EI在水平方向和垂直方向上的数量。图4B图示了微显示器上的EI的划分。图4C图示了包括EI、MLA的小透镜和共享目镜组的子系统。每个子系统表示从EI穿过阵列光学体的对应光学单元和共享目镜组的单一成像路径。每个子系统的成像路径是离轴的，与主光轴非旋转对称，如图4C所示。每个子系统都可以在光学设计软件中被配置为变焦配置。图4D图示了EI在虚拟CDP上的部分重叠的虚像。
在常规的2D HMD设计中，HMD光学系统通常被配置为从共享的出瞳(或眼睛的入瞳)向微显示器反向追迹射线，并且不需要眼睛模型。相反，根据所公开的实施例的子系统被配置为使得射线追迹从微显示器或等效地从EI开始朝向观看窗口。以这种方式，由于阵列光学体的光学单元的孔径阵列在观看窗口上的投射不像常规HMD中那样形成共同共享的出瞳的事实，因此避免射线追迹失败。此外，插入模拟观看者的眼睛光学体或经建立眼睛模型(例如，Arizona眼睛模型)的理想透镜，其入瞳与观看窗口重合，以更好地优化会聚并且方便评估光场重构的视网膜图像。应当注意到，标准眼睛模型的使用是允许为大规模生产的产品设计3D系统的一个非限制性示例。在一些实施例中，可以使用个性化或定制的眼睛模型。
参考回到图4A至4D所示，子系统之间的变焦配置彼此之间的主要区别在于对应光学单元的表面形状规定和横向位置以及对应EI相对于目镜组光轴的横向位置。在一个实施例中，MLA中的所有小透镜具有相同的表面形状并且布置为在水平方向和垂直方向两者上具有相等透镜节距的矩形阵列。对于本实施例，每个小透镜的横向位置(u,v)仅由邻近小透镜之间的位移ΔpMLA或等效的透镜节距pMLA与小透镜的布置来确定。遵循与图3A所示相同的坐标系，对于索引为(m,n)的给定变焦配置，其对应的小透镜的横坐标可以表示为
Figure BDA0003572689880000111
虽然微显示器也划分成EI的M乘N个阵列，每个小透镜一个EI，但是每个EI的横向位置和尺寸更加复杂且取决于显示系统的其他几个规格。例如，观看窗口——其不一定是MLA的光学共轭且可以根据设计要求沿光轴纵向移位(例如，参见图4A，其中X表示非共轭关系)——在将整个系统划分和配置为一系列子系统方面起着至关重要的作用。成像孔径的阵列实际上是在视觉空间中形成的，这被认为是常规显示器或成像系统意义上的出瞳。然而，将观看者的眼睛放在这个出瞳位置将指示观看者不能同时看到所有EI，因为成像孔径在空间上是分离的。为确保所有EI都可以在观看窗口适当地看到，微显示器被划分为使得穿过整个显示光学体(包括MLA的对应小透镜和共享目镜组)的每个EI的中心的主射线将与光轴相交在观看窗口的中心○v处(例如，图4B中从显示器开始且在观看窗口会聚的实线)。在这种约束下，在微显示器上的相邻EI之间的位移ΔpEI和元素图像的尺寸pEI是相等的并且可以写作：
Figure BDA0003572689880000121
在等式(2)中，g是显示面板与MLA之间的间隙，l是MLA与中间CDP之间的间隙，zIC是中间CDP与目镜组之间的间隙，并且引入z′xp以指代目镜组与通过目镜组的经成像观看窗口之间的距离，其可以进一步给定为：
Figure BDA0003572689880000122
在等式(3)中，fep是目镜组的等效焦距。因此，对于索引为(m,n)的给定的子系统单元，对应EI中心的横坐标可以表示为：
Figure BDA0003572689880000123
通过整个光学体投射到观看窗口上、来自EI像素的射线束的覆盖区尺寸dv——其确定了视图密度或等效地由眼睛瞳孔包围的视图总数——可以通过追迹EI的中心点发射的射线束(例如，图4C中的阴影射线束)来确定，并且观看窗口的整体尺寸Dv可以通过在整个显示光学体中追迹EI的边缘点的主射线来确定(例如，图4C中的EI的边缘开始的线)。射线覆盖区直径和整体观看窗口尺寸可以表示为：
Figure BDA0003572689880000124
Figure BDA0003572689880000125
在等式(5)和(6)中，|…|表示绝对值符号。
根据近轴几何形状，任何子系统的覆盖区直径和观看窗口尺寸两者都相同，不同子系统的相同场物体对应的覆盖区将在观看窗口上相交，使得它们共享相同的坐标(xv,yv)。例如，如上所述，每个EI的中心的主射线将与观看窗口中心的光轴相交，使得对于任何子系统，xv0(m,n)和yv0(m,n)两者都等于零。
在InI-HMD系统中，EI被视为从观看窗口观察到的空间位移的虚像的阵列。图4D图示了简单示例，其中在微显示器上渲染的四个邻近EI通过MLA中的它们对应的小透镜和共享目镜成像，并作为四个部分重叠的虚拟EI投射到虚拟CDP上，如在中心阴影正方形处相互重叠的虚线框所示。图4E在与移除两个EI相关联的射线的情况下与图4D相同，以便于对基本原理的理解。虚拟CDP上的邻近虚拟EI的中心之间的位移ΔpEIc不再等于虚拟EI的尺寸pEIc，并且它们的近轴值分别进一步表示为,
Figure BDA0003572689880000131
Figure BDA0003572689880000132
在等式(7)和(8)中，ZCDP是虚拟CDP与观看窗口之间的距离。对于索引为(m,n)的给定子系统单元，对应的虚拟EI的近轴中心的横坐标可以表示为：
Figure BDA0003572689880000133
等式(7)和(9)本质上提供了图像尺寸的近轴计算和每个子系统的中心位置。虚拟CDP上的虚拟EI的图像尺寸通常远大于邻近虚拟EI的位移，使得虚拟CDP上的虚拟EI会部分地相互重叠。如图4D所示，虚拟CDP上的阴影重叠区域对应于所有四个虚拟EI相互重叠的区域，并且可以渲染四个不同的元素视图，每个EI一个，以重构从观看窗口看到的场景的子体积的光场。由于这种本质，InI-HMD的整体FOV由每个单独EI渲染的子体积拼接而成，因此不能像在常规HMD中那样直接计算。为简单起见，通过参考虚拟CDP上边缘EI的虚像的中心，显示系统的对角线视场(FOV)可以估计为：
Figure BDA0003572689880000141
上述步骤展示了所公开的建模LF-HMD系统的方法和计算系统参数的一阶关系的分析方法。这些步骤不同于对常规的2D HMD进行建模，并且对于开发适当的优化策略至关重要。
如前所述，LF-HMD的优化策略需要适当控制和评估光学像差，这些像差降低虚拟显示器的对比度和分辨率，或者会单独和共同地使2D元素图像的几何形状畸变，以说明光场的射线位置采样方面。优化策略还需要用于控制和评估降低方向射线采样的准确度的光学像差的方法和度量。
射线位置采样注意事项：对光场函数的射线位置采样的优化可以通过控制光学像差来实现，该光学像差会影响降低虚拟显示器的对比度和分辨率或使2D元素图像的几何形状畸变的像差。有帮助的是，从显示面板通过MLA的对应小透镜和目镜组获得虚拟CDP上良好成像的EI。
根据所公开的实施例的用于射线位置采样的优化策略是多方面的，并且包括由每个子系统单独地优化每个EI的成像过程。例如，可以使用可用于优化常规HMD的2D图像共轭的优化约束和性能度量。确切的约束和性能度量随系统而大幅变化，很大程度上取决于InI-HMD的光学系统中利用的光学部件的复杂性。典型约束的示例包括但不限于元件厚度的最小值和最大值或邻近元件之间的间距、系统的总路径长度、可允许的部件尺寸、每个光学表面的形状、偏离参考表面的表面矢高(sag)、要使用的光学材料的类型、可容忍的像差量、或光焦度量。性能度量的示例包括但不限于均方根(RMS)光斑尺寸、波前误差、残余像差量、调制传递函数或可接受的图像对比度。使用该初始源头，由单独EI构成的LF显示器的整个FOV被分别优化，而不是像常规HMD设计中那样被视为一个整体。然而，对每个EI的这样的单独优化忽略了邻近EI之间的对应连接，并且更重要地忽略了虚拟EI相对于总FOV的相对位置和尺寸。对于如图4D所示的InI-HMD，虚拟CDP上的成像EI将与邻近的EI完美对准且部分重叠，其中近轴关系由等式(7)到(9)给定。然而，MLA和目镜组引起的图像像差会使虚拟CDP上的虚拟EI畸变，并且当重构不同深度的3D场景的光场时，畸变的虚拟EI将使得视图会聚潜在地失败。
为了说明引发的畸变局部和全局地对EI的影响，可以在优化期间应用两种不同类型的约束。第一个约束是对表示单个EI的每个子系统的局部畸变像差的控制，这可以容易通过将光学设计软件中已有的畸变相关优化约束应用于每个变焦配置来实现。局部畸变控制的确切约束随系统而大幅变化，很大程度上取决于InI-HMD的光学系统中利用的光学部件的复杂性。畸变的典型控制的示例包括但不限于经采样物场的图像高度与其近轴值的最大可允许偏差、与规则网格的形状差异和图像高度的可允许百分比、不同物场的可允许放大率差异、或图像与期望形状的可允许形状变形等。这些控制典型地作为约束单独应用于每个子系统，以确保每个子系统形成具有可接受的局部畸变的图像。每个子系统中的这些局部畸变控制确保虚拟EI的尺寸和形状与其近轴非畸变图像相比保持在阈值水平内。
第二约束是全局畸变的控制，其与虚拟EI相对于经重构3D场景的整个FOV的横向位置有关。为了优化这种全局畸变，微显示器上每个EI的中心物场的主射线应该被专门追迹，并且它在虚拟CDP上的截距(interception)需要被提取并在全局坐标下与其近轴位置相比限制在阈值水平内。对于索引为(m,n)的给定子系统，虚拟EI在虚拟CDP上的中心位置与其近轴位置的全局偏差可以通过可能的度量GD与对应的约束条件一起来量化，该度量可以表示为：
Figure BDA0003572689880000151
等式(11)中的GD度量检查从观看窗口测量的中心物场的主射线的实际位置与理论位置之间的角度偏差。例如，如图5所示，不同的GD度量值可以对应于不同的畸变量，因此允许系统设计者选择适用于特定系统的适当目标GD值。例如，在一个特定系统中(例如，由于部件的成本和质量)，可以容忍较高的畸变量，这可以告知设计者选择适当目标GD值。
因此，可以通过获得穿过所有子系统的所有EI的度量的最大值来创建与度量对应的约束。通过在优化过程中添加约束并且修改约束值，可以调整和优化最大允许的全局畸变。图5进一步通过利用在40°乘40°的InI-HMD系统中模拟的桶形畸变和梯形(keystone)畸变的示例表现了在全局畸变与GD值之间的整体相互关系，其中CDP深度为1屈光度。在每个子图中，绘制了没有全局畸变的完全理论的FOV网格(黑色实线)和与特定类型和畸变值相对应的畸变的FOV网格(略微偏移的灰色)，其中数字表示对于总共11乘11个EI采样中心(网格的交点)、根据等式(11)计算的GD的最大值和平均值。例如，当1％桶形畸变产生的最大GD仅为0.36°时，5％桶形畸变产生的最大GD为1.78°。显然，在优化光场函数的射线位置时，GD值提供对EI中心位置的全局畸变的良好控制，无论是作为常规畸变模式(例如桶形或枕形畸变)还是非常规畸变模式(例如梯形畸变)
射线定向采样注意事项：由于LF-HMD的独特性质，光场的射线方向在设计这样的显示系统中起着非常重要的作用。射线方向的不正确采样不仅会影响EI的集成，而且可能导致经重构光场目标的元素视图数目不均匀，从而导致错误表示的焦点线索。在严重的光瞳像差的情况下，甚至可能的是，由观看者的眼睛瞳孔包围的元素视图的数目减少到少于两个，使得系统变得与常规的立体显示系统没有区别，并且没有适当渲染实际的光场。
如上所述，观看窗口是通过所有EI的中心像素的所有主射线与光轴相交的位置，如图3A所示，以确保可以同时正确观看所有EI。由等式(5)表征的、从每个元素视图投射的射线束的覆盖区共同定义观看窗口，其近轴尺寸由等式(6)表征。为了在设计LF-HMD时优化光场的射线定向采样，必须为投射在观看窗口上的每个元素视图的覆盖区提供适当的约束，而不是直接优化元素视图的出瞳。对于具有理想光场函数的射线方向或等效没有光瞳像差的InI-HMD，观看窗口处的合并覆盖区图应具有两个显要特征。首先，单个EI上不同物场的主射线经过MLA的对应小透镜以及目镜组后，应会聚在成像孔径的中心，并且与具有均匀间距的规则网格中的观看窗口相交，该规则网格类似于EI的像素阵列。其次，从相同物场(相对于主射线自身的EI)穿过其相应的小透镜和目镜的主射线应会聚在观看窗口处，并且来自这些像素的射线束的覆盖区应形成相同的形状并且在观看窗口上相互完美重叠。
为了在设计LF-HMD时优化光场的射线定向采样，必须为投射在观看窗口上的每个元素视图的覆盖区提供适当约束。为了说明在优化期间对观看窗口上的射线覆盖区和方向引起的光瞳像差的影响，所公开的优化策略(1)提取观看窗口上给定EI的任何给定像素的射线束的准确覆盖区；并且(2)建立适当量化射线覆盖区与其近轴形状和位置的任何偏差的度量函数，使得可以在优化过程期间应用约束以将偏差控制在阈值水平内。
在一些实施例中，对于每个给定的物场，穿过小透镜孔径对四个边缘射线进行采样以避免在优化过程期间耗尽计算时间。观看窗口上这些边缘射线的坐标定义了给定子系统中给定EI上采样场的射线覆盖区的包络。对于与索引为(m,n)的采样子系统对应的给定的EI上的索引为(i,j)的经采样物场,射线覆盖区与其近轴形状的变形可以使用下式通过度量函数PA来量化：
Figure BDA0003572689880000171
在等式(12)中，x’v和y’v分别是经由实际射线追迹水平和垂直地获得的观看窗口上边缘射线的实际位置，而xv和yv是它们在观看窗口上对应的近轴位置。k是与采样子系统对应的给定EI上采样物体的四个边缘射线的索引。
等式(12)中的度量PA通过检查观看窗口上边缘射线的实际位置和理论位置之间的平均偏离距离与近轴覆盖区的对角线宽度的相对比率来量化给定射线束与其近轴形状的射线覆盖区的变形。通过在优化过程中添加约束并且修改值，可以调整和优化覆盖区的最大允许偏差和变形，或者等效地，可以调整和优化影响InI-HMD光场的射线方向的光瞳像差。
图6图示了观看窗口上的覆盖区图、光瞳像差与PA的度量函数值之间的总体相互关系。因此，可以通过从每个采样子系统上的所有采样物场中获得度量的最大值来创建单个约束。附图绘制了在有光瞳像差的情况下和在没有光瞳像差的情况下以InI-HMD的光轴为中心的EI的中心场点的模拟射线覆盖区图。为简单起见，在模拟时，小透镜被视为理想透镜，目镜组使用用作光瞳像差的不同像差项和幅度(例如，球差从0.25到1个波峰谷(λPV)，并且从0.25倾斜到1°)进行建模。具体来说，理论覆盖区的直径dv设定为1mm。在每个子图中，描绘没有光瞳像差的理论覆盖区图(形成由实线包围的正方形的10乘10个星形点的集合)和与光瞳像差项的特定类型和值对应的变形或位移的覆盖区图(剩余的星形点)。每个子图下方的数字表示对于各个情况，根据公式(12)计算出的PA值。可以观察到，由于光瞳像差的存在，真实覆盖区图可以从它们的理论覆盖区(例如，通过光瞳球差)显著变形或(例如，通过倾斜)移位。等式(12)基于覆盖区图就PA而言很好地估计了光瞳像差的严重度。例如，0.25λPV光瞳球差产生的PA仅为0.059，而1λPV光瞳球差产生的PA高达0.23。
在使用上述度量时，可以实行系统设计以确定最佳(或通常、期望或目标)设计，其包括确定部件的距离和角度对准、部件的尺寸(例如，小透镜的间距、小透镜的面积、小透镜和/或目镜的表面轮廓、焦距、以及小透镜阵列和/或目镜的孔径等)。该系统还可以包括附加的光学元件，诸如中继光学体、用于折叠或改变光学路径的元件及其他，这些元件可以作为系统设计的一部分经受射线追迹和优化。
图7A图示了根据所公开的设计设置和优化方法产生的InI-HMD系统的双目设置的示例布局。在图7A中，该系统相对于观看者的头部来说明。图7B提供了关于图7A的光学布局相对于其单目设置(右眼)的其他细节，其中关键元素被标记。图7A的顶部区段遵循与图7B类似的配置。应当注意到，所示部件的距离和特定数量是作为示例而非限制提供的，以便于理解所公开的技术。如图所示，特别令人感兴趣的显示路径的光学体包括三个主要子区段：包括高分辨率微显示器的微InI单元、定制设计的非球面MLA、定制孔径阵列、包括4个透镜(例如，内部夹置有
Figure BDA0003572689880000191
EL-10-30可调透镜的库存球面透镜)的可调中继器组，以及自由形状的波导状棱镜。波导状棱镜，本质上由表示为S1到S4的4个自由曲面形成，进一步放大经重构中间微型场景并将光投射到出瞳或观看窗口，观看者在出瞳或观看窗口处看到经放大3D场景重构。
在示例配置的设计之初，由于系统的复杂性，MLA和中继器目镜组分别优化以获得良好的起点。对于MLA设计的初始迭代，特别注意为不超过小透镜边缘而限制的边缘射线，来防止邻近EI之间的串扰。小透镜的两个表面被优化为系数高达6阶的非球面多项式。在中继器和目镜组设计的初始迭代中，设计是通过从观看窗口向后追迹射线到目镜和中继镜来反向设置的。棱镜的四个自由曲面中的每一个都由x平面对称的XY多项式描述，并使用高达10阶的系数进行了优化。
在获得MLA和中继器目镜组两者的初始设计后，将这两个部分集成在一起，并创建了7乘3个变焦配置的阵列。图7C示出了
Figure BDA0003572689880000192
中集成显示路径的设计配置，绘制了来自采样EI和小透镜的一部分的实际射线追迹。观看窗口放置在自由曲面目镜的后焦点处。在观看窗口处插入焦距等于与虚拟CDP的深度相对应的眼睛焦距的理想透镜以模拟EI的视网膜图像。在图中，仅追迹来自每个EI的中心像素的射线。MLA包括17乘9个相同小透镜，其透镜间距为1mm，并且微显示器被划分为17乘9个EI，每个具有125乘125个像素。考虑到自由曲面棱镜的平面对称性，对总FOV的上半部分的总共7乘3个子系统(EI和MLA的对应小透镜)来采样，采样子系统的分布如图7C所示作为变焦小透镜。在每个子系统中，进一步对覆盖整个EI的9个场点进行采样。此外，为了说明在可调谐透镜的光焦度以及虚拟CDP深度变化的情况下的DOF扩展，系统还被配置为优化其在0、1和3屈光度的虚拟CDP深度下的性能。因此，观看窗口处的理想透镜和可调透镜的焦距会对应地调整，以将射线正确聚焦到像平面上。总而言之，21个采样MLA-EI子系统的变焦以及不同虚拟CDP深度的变焦结合，通过总共63个变焦配置和总共567个视场点对整个系统进行了建模。
图8A描绘了覆盖显示路径的全场的采样的7乘3个子系统的图像对比度，其在3弧分或10周期/度(cpd)的奈奎斯特角频率下评估，其中虚拟CDP设定为距观看窗口1屈光度。在每个子系统中，对其对应的EI上的五个物场进行采样，并且它们的对比度值由圆圈表示，每个圆圈位于与五个物场中的每一个相对应的特定位置处。在整个30°乘18°FOV中，图像对比度都远高于奈奎斯特角频率的阈值0.2，平均值为0.53。
图8B描绘了覆盖显示路径的整个FOV的三个EI上的轴上场点的调制传递函数(MTF)，该三个EI分别对应于以光轴为中心的小透镜(索引(9,5))、左顶角小透镜(索引(1,1))、和右顶角小透镜(索引(17,1))。图7C还绘制了三个EI上的轴上场点的MTF，该三个EI对应于以光轴为中心的小透镜(索引(9,5))，但它们的虚拟CDP远离观看窗口通过调整可调透镜的光焦度从3屈光度调整到0屈光度。显然，光学系统在超过3屈光度的整个FOV和深度范围内表现均匀的图像对比度和MTF性能，其中以小于0.15的奈奎斯特角频率评估出图像对比度的下降。
图9A通过从设计示例的实际射线追迹的每个子系统中提取对应EI上的中心物场的主射线坐标，进一步绘制了覆盖全显示FOV的显示路径的采样的7乘3个子系统的全局畸变网格，其中主射线的近轴坐标以实线网格绘制，并且真实射线坐标以星号绘制。虽然显示路径由于折叠光学路径而遭受少量梯形畸变，但通常全显示场的全局畸变相对较小，特别是对于涉及容易引入高阶畸变项的自由曲面光学的设计。关于全局畸变GD的设计目标设定为0.75°，这对应于相对于全FOV的畸变大约为2％。7乘3个子系统中的所有子系统均在设计目标内进行了优化，其中GD的平均值为0.22°，这对应于相对于全FOV小于1％的平均畸变。
图9B和8C比较了关于光场函数的射线方向优化前后观看窗口处的射线覆盖区图。图9B绘制了来自在约束系统的光瞳像差之前的实际设计设置中的，轴上小透镜(实线，索引(9,5))的9个采样物场的观看窗口上的射线覆盖区的包络以及位于右顶角的边缘小透镜(带对角线短划线的实线，索引(17,1))的9个物场的包络。这两个小透镜的射线覆盖区包络不仅畸变而且严重分离。相比之下，图9C绘制了从优化后的实际设计设置中提取的覆盖区图的合并包络。在这种情况下，通过MLA的9个采样小透镜的射线覆盖区被绘制(细实线，索引(1,1),(9,1),(17,1),(1,3),(9,3)、(17,3)、(1,5)、(9,5)和(17,5))。图8C还绘制了从近轴计算获得的小透镜上相同场的射线覆盖区的理论包络(粗实线)，其如上文所建议的在小透镜和场上相互完美对准。设计目标PA设定为0.3，因为人类视觉系统对射线方向的敏感度低于位置。7乘3个子系统中的19个在设计目标内进行了优化，其中平均比率为0.145，远低于设计目标，这对应于小于0.27的实际覆盖区的平均通量(average throughput)或尺寸偏差，其中如图9C所示，投射覆盖区的偏差和变形仍然是可接受的。
在实验中，根据所公开的技术设计的原型InI-HMD系统的测试结果是通过将相机放置在观看窗口并通过系统捕获显示场景的实际图像而获得的。测试场景包括带有水滴纹理的倾斜墙壁，该墙壁跨越从大约500mm(2屈光度)到1600mm(0.6屈光度)的深度，被计算渲染和显示为测试目标。通过将相机的焦深分别从近侧(～600mm)调整到场景的中间部分(～1000mm)和远侧(～1400mm)，这模拟从近到远距离的眼睛调节的调整，获得了在微显示器上渲染的中心15×7元素视图，以及这种连续3D场景的渲染光场的真实捕获图像。原型的虚拟CDP被移位并固定在750mm(1.33屈光度)的深度。与目标相比，相机焦点相同深度内的3D场景部分以高保真度保持锐利对焦。相比之下，相机焦深以外的3D场景的其他部分是模糊的；3D场景的深度越偏离相机焦点，3D场景的部分就越模糊，这与我们从实际世界场景中观察到的相似。这样的结果清楚地表现了根据所公开的实施例设计的原型的能力，该原型被设计为渲染高质量光场内容并且更重要地为呈现正确的焦点线索以驱动观看者眼睛的调节。
图10图示了根据示例实施例的可以实行实现用于设计基于集成成像(InI)的三维(3D)显示系统的方法的操作的集合。该方法包括，在1002，追迹与基于InI的3D系统中的光场相关联的射线集合。该系统包括：阵列光学体；能够产生多个元素图像的阵列显示装置；表示虚拟中心深度平面(CDP)的第一参考平面，显示器上的点源发射的光线会聚在该虚拟中心深度平面上以形成图像点；表示用于观看经重构3D场景的观看窗口的第二参考平面，以及表示人眼模型的光学子区段。针对阵列显示装置和阵列光学体的每个元件，追迹从阵列显示装置开始，并且实行为通过阵列光学体并到达的光学子区段。该方法还包括，在1004，调整与基于InI的3D系统相关联的一个或多个参数以获得在预先确定值或值的范围内的至少第一度量值，其中第一度量值对应于光场的射线定向采样。
在一个示例实施例中，第一度量值量化光场的给定射线束的射线覆盖区与其近轴覆盖区的变形。在另一示例实施例中，第一度量值是根据第二参考平面上边缘射线的实际位置和理论位置之间的平均偏离距离与近轴覆盖区的对角线宽度的相对比率来确定的。在又一示例实施例中，第一度量值是根据等式(12)确定的。例如，可以基于射线追迹获得的观看窗口上边缘射线的实际位置与它们在观看窗口上的对应近轴位置的差异确定第一度量值。
根据另一示例实施例，在上述方法中，调整与基于InI的3D系统相关联的一个或多个参数以进一步获得在另一预先确定值或值的范围内的第二度量值，其中第二度量值对应于光场的射线位置采样，其说明了由至少阵列光学体的邻近元件引起的变形。在一个示例实施例中，根据从第二参考平面测量的中心物场的主射线的实际位置与理论位置之间的角度偏差来确定第二度量值。在又一示例实施例中，第二度量值表示全局畸变量度。在又一示例实施例中，根据等式(11)确定第二度量值。例如，第二度量值被计算为虚拟CDP上的多个元素图像的虚拟元素图像的中心位置与其近轴位置的偏差。在另一示例实施例中，相对于光场的射线位置采样对与基于InI的3D系统相关联的一个或多个参数实行调整，以附加地单独地优化每个EI的成像。
在一个示例实施例中，基于InI的3D系统还包括位于阵列光学体和第二参考平面之间的目镜，并且追迹射线集合包括追迹通过目镜的射线集合。在一些实施例中，阵列显示装置是微显示器装置。在一些实施例中，阵列光学体包括一个或多个小透镜阵列，每个小透镜阵列包括多个微透镜。在另一实施例中，基于InI的3D系统是基于InI的头戴式显示器(基于InI的HMD)系统。
在一些实施例中，选择第一度量和第二度量中的一者或两者的预先确定值或值的范围以实现特定图像质量。在一些实施例中，第一度量和第二度量中的一者或两者的预先确定值或值的范围表示提供关于第一度量或第二度量的最佳设计标准的最大值或最小值。
图11图示了根据示例实施例的为了改进集成成像光学系统的设计而可以实行的操作的集合。这些操作可以针对包括对产生二维元素图像(EI)的阵列的光场的方向进行角度采样的小透镜阵列的集成成像光学系统执行，每个元素图像表示三维(3D)的不同视角。该方法包括，在1102，确定对应于光场的射线定向采样的第一度量；在1104，确定对应于光场的射线位置采样的第二度量，以及在1106，进行用于基于第一度量和第二度量确定集成成像光学系统的设计的射线追迹操作。在一些实施例中，射线追迹操作是基于一个或多个约束进行的，这些约束包括将第一度量或第二度量维持在对应的值或值的范围。
图12图示了可以用于实现所公开技术的某些方面的装置1200的框图。例如，图12的装置可以用于接收、处理、存储、提供显示和/或发送与所公开的图像传感器相关联的各种数据和信号。装置1200包括至少一个处理器1204和/或控制器、与处理器1204通信的至少一个存储器1202单元、以及至少一个通信单元1206，其能够通过与其他实体、装置、数据库和网络的通信链接1208来直接或间接地交换数据和信息。通信单元1206可以根据一种或多种通信协议提供有线和/或无线通信能力，因此它可以包括适当的发送器/接收器、天线、电路和端口，以及正确发送和/或接收数据和其他信息所必需的编码/解码能力。图12的示例性装置1200可以集成为更大的部件(例如，服务器、计算机、平板计算机、智能手机等)的一部分，其可以用于执行本文公开的各种计算、方法或算法，诸如实现射线追迹程序(例如，Code V或Zemax)，它们被增强以适应本文档中公开的改进。
处理器1204可以包括中央处理单元(CPU)以控制例如主计算机的整体操作。在某些实施例中，处理器1204通过执行存储在存储器1202中的软件或固件来实现这一点。处理器1204可以是或可以包括一个或多个可编程通用或专用微处理器、数字信号处理器(DSP)、可编程控制器、专用集成电路(ASIC)、可编程逻辑装置(PLD)、图形处理单元(GPU)等，或这样的装置的组合。
存储器1202可以是或可以包括计算机系统的主存储器。存储器1202表示任何合适形式的随机存取存储器(RAM)、只读存储器(ROM)、闪存等，或这些装置的组合。在使用中，存储器1202尤其可以包含机器指令的集合，其当由处理器1204执行时，使处理器1204执行操作以实现当前公开的技术的某些方面。
应当理解，各种公开的实施例可以单独地或共同地在由各种光学部件、电子硬件和/或软件模块和部件构成的装置中实现。例如，这些装置可以包括相互通信连接的处理器、存储器单元、接口，并且范围可以从台式和/或膝上型计算机到移动装置等。处理器和/或控制器可以基于存储在存储介质上的程序代码的执行来执行各种公开的操作。例如，处理器和/或控制器可以与至少一个存储器和至少一个通信单元通信，该通信单元能够通过与其他实体、装置和网络的通信链接直接或间接地交换数据和信息。通信单元可以根据一种或多种通信协议提供有线和/或无线通信能力，因此它可以包括适当的发送器/接收器天线、电路和端口、以及可以需要正确发送和/或接收数据和其他信息的编码/解码能力。
在一个实施例中，本文描述的各种信息和数据处理操作可以由计算机程序产品实现，该计算机程序产品被实施在计算机可读介质中，包括计算机可执行指令，诸如由网络环境中的计算机执行的程序代码。计算机可读介质可以包括可移动和不可移动存储装置，包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)、数字多功能盘(DVD)等。因此，本申请所描述的计算机可读介质包括非暂时性存储介质。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、部件、数据结构等。计算机可执行指令、相关联的数据结构和程序模块表示用于执行本文公开的方法的步骤的程序代码的示例。这样的可执行指令或相关联的数据结构的特定序列表示用于实现在这些步骤或过程中描述的功能的对应动作的示例。
已经出于图示和描述的目的呈现了本发明的实施例的前述描述。前述描述并非旨在穷举或将本发明的实施例限制为所公开的精确形式，并且根据以上教导修改和变化是可能的，或者可以从各种实施例的实践中获得。选择和描述在此讨论的实施例，以便解释各种实施例的原理和本质及其实际应用，以使得本领域其他技术人员能够在各种实施例中且通过如适合于预期的特定用途的各种修改来利用本发明。尽管在附图中以特定次序描绘了操作，但这不应当理解为要求按所示的特定次序或顺序次序执行这样的操作或者执行所有图示的操作，以实现期望的结果。本文描述的实施例的特征可以在方法、设备、模块和系统的所有可能组合中组合。

Claims (20)

1.一种用于设计基于集成成像(InI)的三维(3D)显示系统的方法，所述方法包括：
在基于InI的3D系统中追迹与光场相关联的射线，所述系统包括：
阵列光学体，
能够产生多个元素图像的阵列显示装置，
第一参考平面，表示虚拟中心深度平面(CDP)，由显示器上的点源发射的光线会聚在所述虚拟中心深度平面上以形成图像点，
第二参考平面，表示用于观看经重构3D场景的观看窗口，以及
表示人眼的模型的光学子区段，其中针对所述阵列显示装置和阵列光学体的每个元件，所述追迹从所述阵列显示装置开始，并实行为通过所述阵列光学体并且到达所述光学子区段；和
调整与所述基于InI的3D系统相关联的一个或多个参数以至少获得在预先确定值或值的范围内的第一度量值，其中，所述第一度量值对应于所述光场的射线定向采样。
2.根据权利要求1所述的方法，其中，所述第一度量值量化所述光场的给定射线束的射线覆盖区与其近轴覆盖区的变形。
3.根据权利要求2所述的方法，其中，所述第一度量值是根据在所述第二参考平面上的边缘射线的实际位置与理论位置之间的平均偏离距离与所述近轴覆盖区的对角线宽度的相对比率来确定的。
4.根据权利要求1所述的方法，其中，所述第一度量值是基于由射线追迹获得的边缘射线在所述观看窗口上的实际位置与边缘射线在所述观看窗口上的对应近轴位置之间的差异来确定的。
5.根据权利要求1所述的方法，其中，对与所述基于InI的3D系统相关联的一个或多个参数实行调整以进一步获得在另一预先确定值或值的范围内的第二度量值，其中，所述第二度量值对应于所述光场的射线位置采样，其说明了由至少所述阵列光学体的邻近元件引起的变形。
6.根据权利要求5所述的方法，其中，所述第二度量值是根据从所述第二参考平面测量的中心物场的主射线的实际位置与理论位置之间的角度偏差来确定的。
7.根据权利要求5所述的方法，其中，所述第二度量值表示全局畸变量度。
8.根据权利要求5所述的方法，其中，所述第二度量值被计算为所述虚拟CDP上的多个元素图像的虚拟元素图像的中心位置与其近轴位置的偏差。
9.根据权利要求5所述的方法，其中，相对于所述光场的射线位置采样对与所述基于InI的3D系统相关联的一个或多个参数来实行调整，以进一步单独优化每个元素图像的成像。
10.根据权利要求1所述的方法，其中，所述基于InI的3D系统还包括位于所述阵列光学体与所述第二参考平面之间的目镜，并且其中，追迹所述射线集合包括追迹穿过所述目镜的所述射线集合。
11.根据权利要求1所述的方法，其中，所述阵列显示装置是微显示器装置。
12.根据权利要求1所述的方法，其中，所述阵列光学体包括一个或多个小透镜阵列，每个小透镜阵列包括多个微透镜。
13.根据权利要求1所述的方法，其中，所述基于InI的3D系统是基于InI的头戴式显示器(InI-based HMD)系统。
14.根据权利要求1或5所述的方法，其中，选择所述第一度量和所述第二度量中的一者或两者的预先确定值或值的范围，以实现特定图像质量。
15.根据权利要求1或5所述的方法，其中，所述第一度量和所述第二度量中的一者或两者的预先确定值或值的范围表示提供关于所述第一度量或第二度量的最佳设计标准的最大值或最小值.
16.一种用于改进集成成像光学系统设计的方法，所述系统包括对产生二维元素图像(EI)阵列的光场的方向进行角度采样的小透镜阵列，每个二维元素图像表示三维(3D)的不同视角，所述方法包括：
确定对应于所述光场的射线定向采样的第一度量；
确定对应于所述光场的射线位置采样的第二度量；和
基于所述第一度量和所述第二度量进行用于确定所述集成成像光学系统的设计的射线追迹操作。
17.根据权利要求16所述的方法，其中，所述射线追迹操作是基于一个或多个约束进行的，所述约束包括将所述第一度量或所述第二度量保持在对应的值或值的范围。
18.根据权利要求16所述的方法，其中，所述集成成像光学系统包括基于InI的头戴式显示器(基于InI的HMD)。
19.一种装置，包括：
处理器；以及
包括处理器可执行代码的存储器，其中在由所述处理器执行时使所述处理器：
在基于InI的3D系统中追迹与光场相关联的射线，所述系统包括：
阵列光学体，
能够产生多个元素图像的阵列显示装置，
第一参考平面，表示虚拟中心深度平面(CDP)，由显示器上的点源发射的光线会聚在所述虚拟中心深度平面上以形成图像点，
第二参考平面，表示用于观看经重构3D场景的观看窗口，以及
表示人眼的模型的光学子区段，其中针对所述阵列显示装置和阵列光学体的每个元件，所述追迹从所述阵列显示装置开始，并实行为通过所述阵列光学体并且到达所述光学子区段；和
调整与所述基于InI的3D系统相关联的一个或多个参数以至少获得在预先确定值或值的范围内的第一度量值，其中，所述第一度量值对应于所述光场的射线定向采样。
20.一种包括存储在其上的指令的非暂时性计算机可读介质，其中所述指令在由处理器执行时使所述处理器执行用于设计基于集成成像(InI)的三维(3D)显示系统的方法，所述指令包括：
用于在基于InI的3D系统中追迹与光场相关联的射线集合的程序代码，其中，所述系统包括：
阵列光学体，
能够产生多个元素图像的阵列显示装置，
第一参考平面，表示虚拟中心深度平面(CDP)，由显示器上的点源发射的光线会聚在所述虚拟中心深度平面上以形成图像点，
第二参考平面，表示用于观看经重构3D场景的观看窗口，以及
表示人眼的模型的光学子区段，其中针对所述阵列显示装置和阵列光学体的每个元件，所述追迹从所述阵列显示装置开始，并实行为通过所述阵列光学体并且到达所述光学子区段；和
用于调整与所述基于InI的3D系统相关联的一个或多个参数以至少获得在预先确定值或值的范围内的第一度量值的程序代码，其中，所述第一度量值对应于所述光场的射线定向采样。
CN202080068903.7A 2019-08-12 2020-08-12 3d光场显示器的光学设计和优化技术 Pending CN114556913A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962885460P 2019-08-12 2019-08-12
US62/885,460 2019-08-12
PCT/US2020/045921 WO2021030430A1 (en) 2019-08-12 2020-08-12 Optical design and optimization techniques for 3d light field displays

Publications (1)

Publication Number Publication Date
CN114556913A true CN114556913A (zh) 2022-05-27

Family

ID=74570719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080068903.7A Pending CN114556913A (zh) 2019-08-12 2020-08-12 3d光场显示器的光学设计和优化技术

Country Status (5)

Country Link
US (1) US20220283431A1 (zh)
EP (1) EP4014483A4 (zh)
JP (1) JP2022544287A (zh)
CN (1) CN114556913A (zh)
WO (1) WO2021030430A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516748B (zh) * 2021-07-30 2024-05-28 中山大学 一种集成成像光场显示的实时渲染方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150049390A1 (en) * 2013-08-14 2015-02-19 Nvidia Corporation Hybrid optics for near-eye displays
US20150178923A1 (en) * 2013-12-24 2015-06-25 Lytro, Inc. Light-field aberration correction
US20170078652A1 (en) * 2014-03-05 2017-03-16 The Arizona Board Of Regents On Behalf Of The University Of Arizona A wearable 3d augmented reality display

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7185303B2 (ja) * 2017-03-09 2022-12-07 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ インテグラルイメージングおよびリレー光学部品を用いたヘッドマウント・ライトフィールド・ディスプレイ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150049390A1 (en) * 2013-08-14 2015-02-19 Nvidia Corporation Hybrid optics for near-eye displays
US20150178923A1 (en) * 2013-12-24 2015-06-25 Lytro, Inc. Light-field aberration correction
US20170078652A1 (en) * 2014-03-05 2017-03-16 The Arizona Board Of Regents On Behalf Of The University Of Arizona A wearable 3d augmented reality display

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUANG HEKUN, HUA HONG: "Effects of ray position sampling on the visual responses of 3D light field displays", 《OPTICS EXPRESS》 *
HUANG HEKUN, HUA HONG: "Systematic characterization and optimization of 3D light field displays", 《OPTICS EXPRESS》 *

Also Published As

Publication number Publication date
JP2022544287A (ja) 2022-10-17
WO2021030430A1 (en) 2021-02-18
EP4014483A4 (en) 2023-06-28
EP4014483A1 (en) 2022-06-22
US20220283431A1 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
US10397539B2 (en) Compensating 3D stereoscopic imagery
US10948740B2 (en) Head-mounted displays having curved lens arrays and generating elemental images for displaying
US9357206B2 (en) Systems and methods for alignment, calibration and rendering for an angular slice true-3D display
Mercier et al. Fast gaze-contingent optimal decompositions for multifocal displays.
CN107071382B (zh) 立体图像显示装置
US10466485B2 (en) Head-mounted apparatus, and method thereof for generating 3D image information
EP2615838A1 (en) Calibration of an autostereoscopic display system
CN110967166A (zh) 近眼显示光学系统的检测方法、检测装置和检测系统
CN103163717B (zh) 立体摄像设备
EP3756161B1 (en) Method and system for calibrating a plenoptic camera system
Huang et al. Generalized methods and strategies for modeling and optimizing the optics of 3D head-mounted light field displays
WO2021113228A1 (en) System and method for integrated visualization camera and optical coherence tomography
CN102497563A (zh) 跟踪式裸眼立体显示控制方法、显示控制装置和显示系统
CN112130325B (zh) 车载抬头显示器视差矫正系统、方法、存储介质和电子设备
Jo et al. Tomographic projector: large scale volumetric display with uniform viewing experiences
CN102595178A (zh) 视场拼接三维显示图像校正系统及校正方法
CN113534490B (zh) 基于用户眼球追踪的立体显示装置及立体显示方法
CN109782452A (zh) 立体影像产生方法、成像方法与系统
CN114556913A (zh) 3d光场显示器的光学设计和优化技术
CN114879377B (zh) 水平视差三维光场显示系统的参数确定方法、装置及设备
Ziegler Advanced image processing for immersive media applications using sparse light-fields
CN118020010A (zh) 生成光学矫正的虚像的光场投影仪和通过使用该光场投影仪生成经矫正的虚像的方法
Huang Development and Optimization of Light Field Head-Mounted Displays
KR20180016823A (ko) 영상 보정 장치 및 방법
Straßer Design and simulation of a light field display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination