CN117295996A - 用于使用时分复用方案增强基于集成成像的光场显示器的性能的设备和方法 - Google Patents

用于使用时分复用方案增强基于集成成像的光场显示器的性能的设备和方法 Download PDF

Info

Publication number
CN117295996A
CN117295996A CN202280034137.1A CN202280034137A CN117295996A CN 117295996 A CN117295996 A CN 117295996A CN 202280034137 A CN202280034137 A CN 202280034137A CN 117295996 A CN117295996 A CN 117295996A
Authority
CN
China
Prior art keywords
array
time division
light field
ini
division multiplexed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280034137.1A
Other languages
English (en)
Inventor
华宏
X·王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arizona Board of Regents of University of Arizona
Original Assignee
Arizona Board of Regents of University of Arizona
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arizona Board of Regents of University of Arizona filed Critical Arizona Board of Regents of University of Arizona
Publication of CN117295996A publication Critical patent/CN117295996A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G02B30/29—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays characterised by the geometry of the lenticular array, e.g. slanted arrays, irregular arrays or arrays of varying shape or size
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/33—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving directional light or back-light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)

Abstract

使用时分复用方案的基于集成成像的光场显示器。

Description

用于使用时分复用方案增强基于集成成像的光场显示器的性 能的设备和方法
相关申请
本申请要求2021年3月9日提交的第63/158,707号美国临时申请的优先权的权益，该申请的全部内容通过引用结合于本文中。
技术领域
本发明总体上涉及光场显示器，更具体地但不排他地，涉及使用时分复用方案的基于集成成像的光场显示器。
背景技术
基于集成成像(InI)的光场显示器提供了很好的机会来实现具有正确聚焦提示的真实3D场景，以便减轻已知的聚散度-调节冲突。然而，仍然需要解决的一个主要挑战是空间分辨率和深度分辨率之间的折衷。增加深度分辨率需要增加不同视图的数量，这被称为视图数量，用于呈现3D场景，而增加视图数量通常以场景的空间分辨率为代价。在本公开中，我们描述了根据本发明的时分复用的基于InI的光场显示器的设计，其可以潜在地增加观看数量，并由此增加深度分辨率，同时保持高空间分辨率。
常规的立体显示器能够通过一对二维(2D)透视图像感知3D场景(每只眼睛一个二维(2D)透视图像)，具有双眼视差和其他图形深度提示，通常缺乏呈现正确的视网膜模糊效果和刺激自然眼睛调节反应的能力，这导致众所周知的聚散度-调节冲突(VAC)问题。已经展示了若干种潜在地能够呈现聚焦提示并克服VAC问题的显示方法，包括体积显示、全息显示、多焦平面显示、麦克斯韦视图显示和光场显示。在所有这些方法中，基于集成成像(基于InI)的光场显示能够通过再现由3D场景的不同深度的3D点明显发出的定向光线来重建3D场景，并因此能够呈现类似于自然观看场景的正确聚焦提示。
图1图示了通用的基于InI的头戴显示器(HMD)系统的配置，该系统由微显示器、微透镜阵列(MLA)和目镜组成。包含3D场景的不同透视图的一组元素图像(elemental image，EI)被显示在微显示器上。MLA的每个小透镜对应于微显示器上的EI，并在中心深度平面(CDP)上形成EI的共轭图像，以创建重建的3D场景的一个方向样本。如本文中所使用的，CDP具体被定义为跨越MLA与微显示器的平面光学共轭的平面。观看者通过提供适当深度信息的目镜在观看窗口(也称为目镜的出射光瞳)观看重建的3D场景。与常规的2D显示器相对比，光场3D显示器的显著特征是，通过将眼睛的瞳孔放置在观看窗口处来观察呈现3D场景点(例如P)的多个不同的元素视图；这些视图整体上形成了3D场景的视网膜图像感知。
观察者眼睛的调节状态对感知图像起着关键作用。例如，图1图示了在对应的元素图像上通过三个不同像素O1、O2和O3对3D点O的呈现。由三个对应的微透镜成像，来自不同EI上的对应点(像素)的光线束将会聚到点O，并通过目镜进一步投射到眼睛瞳孔上。如图1所图示的，当眼睛被调节在重建的3D场景的重建点O的深度处时，来自不同EI上的对应点(像素)的光线束将会聚到视网膜O’上的聚焦图像。对于其他深度的重建点(例如点P)，各个像素的图像将在视网膜上彼此空间移位，并将产生视网膜模糊。视网膜模糊的水平取决于重建深度和眼睛调节之间的差异而变化，这类似于我们如何对现实世界进行感知。
工作已经将这种光场呈现方法适用于用于沉浸式虚拟现实(VR)和光学透视增强或混合现实(AR/MR)应用这两者的HMD设计。例如，Lanman和Luebke通过将微显示器和微透镜阵列(MLA)放置在观看者眼睛前面来展示近眼沉浸式光场显示器；Hua和Javidi通过将微型InI单元与透视自由形式放大目镜相结合来展示一种光学透视LF-HMD系统(图2A)。最近，Huang和Hua展示了一种光学透视LF-HMD系统，该系统在超过3屈光度的扩展景深上提供了约3弧分的高空间分辨率(图2B)。尽管这种工作已经成功地展示了LF-HMD系统呈现聚焦提示并因此解决常规立体显示器中众所周知的VAC问题的潜在能力，但是现有的LF-HMD原型中没有一个能够利用现有技术微显示技术提供与人类视觉相当的足够高的空间分辨率。本发明人已经认识到一个关键的挑战是重建的3D场景的空间分辨率应当被折衷以实现足够的视图密度和合理的眼箱。
发明内容
响应于这种未满足的需求，诸如上面所公开的那些需求，以及其他考虑，在本公开中，我们描述了时分复用的基于InI的光场显示器的示例性设计，其可以增加观看数量，并由此增加深度分辨率，同时保持高空间分辨率。在本发明的一个方面，本发明可以结合高速可编程可切换阵列(诸如例如快门阵列或可切换光源阵列),并且使显示器上多个元素图像组的呈现与以时分复用方式操作的可编程阵列同步。这样，本发明的示例性设备和方法可以在多组元素图像之间快速切换，这些元素图像从略微不同的观看视角呈现3D场景。因此，可以在不牺牲空间分辨率的情况下成倍增加视图数量和观看密度。在本发明的另一个方面，本发明可以提供在不对观看密度和眼箱尺寸进行折衷的情况下提高空间分辨率的设备和方法，如本文进一步公开的，已经实现并实验验证了若干个这样的示例性设备和方法。根据我们的计算，通过适当选择根据本发明的InI系统的系统参数，可以实现匹配人类视觉的高空间分辨率系统。一种概念验证系统被构建并证明了所提出方法的有效性。
因此，在本发明的一个方面中，本发明可以提供一种时分复用集成成像(InI)光场显示器，其包括:包括多个像素的微显示器，其被配置成呈现多组元素图像，其中的每个元素图像提供3D场景的不同透视图；微透镜阵列，其被布置成与微显示器在离其选定距离处进行光学通信，以接收来自微显示器的元素图像的光，所述微透镜阵列具有与其相关联的中心深度平面，该中心深度平面跨越微透镜阵列与微显示器光学共轭，所述微透镜阵列被配置成接收来自元素图像的光线束，以在中心深度平面周围的对应重建点处创建集成图像，从而重建3D场景的光场；以及可切换阵列，其被布置成与微透镜阵列光学通信，并且被配置成接收由微透镜阵列透射的光，并且将接收到的光透射到3D场景的光场。可切换阵列可以被配置成选择性地将来自元素图像中的所选择的元素图像的光引导穿过其中到达中心深度平面，和/或微显示器可以被配置成将微显示器上的元素图像的呈现与可切换阵列的切换同步，以便以同步的时分复用方式操作微显示器和可切换阵列。微透镜阵列可以包括具有相同焦距的微透镜的阵列。
在另一方面，可切换阵列可以被布置在微透镜阵列和中心深度平面之间的位置处，和/或布置在微透镜阵列和微显示器之间的位置处。可切换阵列可以包括可切换元件，这些可切换元件可以被打开以允许来自微透镜阵列的光线从其穿过，或者被关闭以阻止光线从其穿过。可编程可切换阵列可以包括快门阵列和/或可切换光源阵列。微显示器可以是自发射的或透射的，和/或可以包括空间光调制器。可切换阵列的每个可切换元件的孔径尺寸可以小于微透镜阵列的每个小透镜的孔径，使得每个小透镜覆盖可切换阵列的不止一个元件。可切换阵列可以包括尺寸小于每个可切换元件的孔径尺寸的多个像素化元件。屏障阵列可以被布置在微显示器和与其进行光学通信的微透镜阵列之间。
此外，本发明可以包括目镜，该目镜被布置在离中心深度平面距离z0处，以接收来自3D场景的光场的光。孔径阵列可以被布置在微显示器和与其进行光学通信的微透镜阵列之间。从微显示器到孔径阵列的距离可以表示为a，以及孔径阵列中的孔径开口的直径可以表示为dA，并且其中
其中pEI是元素图像的尺寸，g是从微显示器到微透镜阵列的距离，以及pMLA是MLA的间距。
附图说明
当结合附图阅读时，可以进一步理解本发明的示例性实施例的前述概述和以下详细描述，其中:
图1示意性地图示了基于集成成像的头戴式光场显示器；
图2A-2B示意性地图示了基于光学透视头戴式集成成像的光场显示器的光学布局；
图3A示意性地图示了根据本发明的示例性的时分复用的基于InI的光场显示器(例如图中的4×4元素视图和4阶段(4-phase)时分复用)；
图3B示意性地图示了图3A的2D快门阵列的布局；
图3C示意性地图示了由图3A的时分复用方案呈现的2D观看窗口的布局；
图4示意性地图示了针对图3A的设备的显示周期的阶段1的状态，时分复用的基于InI的光场显示(例如，图中的2×2EI和4阶段时分复用)的工作原理；
图5A-5D示意性地图示了根据本发明的阶段1中的重要平面处的部件和覆盖区的状态，其中图5A示意性地图示了微显示器上的元素图像，图5B示意性地图示了快门阵列的状态，图5C示意性地图示了中心深度平面上的中间图像，以及图5D示意性地图示了观看窗口处的元素视图分布；
图6示意性地图示了根据本发明的4阶段时分复用的基于InI的光场显示器中的显示周期的阶段2的状态；
图7A-7D示意性地图示了根据本发明的阶段2中的重要平面处的部件和覆盖区的状态，其中图7A示意性地图示了微显示器上的元素图像，图7B示意性地图示了快门阵列的状态，图7C示意性地图示了中心深度平面上的中间图像，以及图7D示意性地图示了观看窗口处的元素视图分布；
图8示意性地图示了常规InI系统的布局，其中取决于MLA的形状和布置，在中心深度平面(CDP)处呈现并重建3D点(例如图中的2×2元素视图)，其中还示出了观看窗口处的元素视图分布；
图9A-9B示意性地图示了根据本发明的在时分复用下由小像素元件组成的快门阵列的子孔径的布局，其中图9A示意性地图示了在阶段1期间快门组S1打开，以及图9B示意性地图示了在阶段1期间快门组S2打开；
图10A-10B示意性地图示了根据本发明的用于增强视图填充因子的示例性时分复用的基于InI的光场显示器，其中图10A示意性地图示了显示周期的阶段1的状态，以及图10B示意性地图示了显示周期的阶段2的状态；
图11示意性地图示了根据本发明的2×2视图4阶段时分复用InI系统；
图12示意性地图示了根据本发明的使用孔径阵列来减轻串扰问题的示例性设备；
图13A-13B示意性地图示了根据本发明的示例性时分复用InI显示系统的布局，其中利用了定向微显示器(例如图中的4×4元素视图和4阶段时分复用)，其中图13A示意性地图示了显示周期的阶段1的状态，以及图13B示意性地图示了显示周期的阶段2的状态；
图14示意性地图示了图13A-13B的定向背光方案的参数，其中微显示器与微透镜阵列一起；
图15A-15B示意性地图示了根据本发明的通过在光源单元中利用具有多个光源元件的光源阵列的填充因子，其中每个光源单元包含8×8个光源元件，并且不同阶段之间的照明区域的重叠允许填充因子大于1；
图16图示了根据本发明的由示例性时分复用的基于InI的光场系统构成的原型。
具体实施方式
现在参考附图，其中相同的元件始终编号相同，图3图示了根据本发明的示例性时分复用的基于InI的3D光场显示器100的示意图，该3D光场显示器100可以包括微显示器102、微透镜阵列(MLA)104、高速可编程可切换阵列，诸如可切换快门阵列(SA)106和目镜光学器件108。微显示器102可以是自发射显示器，诸如发射光的有机发光显示器(OLED),或者是空间光调制器(SLM),诸如液晶显示器(LCD)或者调制照明源的数字反射镜设备(DMD)。在SLM的情况下，微显示器102可以通过透射或反射其照明源来产生2D图像图案，从而以透射或反射模式运转。
微显示器102可以呈现不同组的元素图像(EI)101，每组元素图像提供3D场景的透视图。微显示器102可以被放置在距MLA 104距离g处。MLA 104可以包括具有相同焦距的微透镜105的阵列。呈现在微显示器102上的每个元素图像101可以通过MLA 104的对应微透镜成像到中心深度平面(CDP)109上。取决于微透镜105的横向放大率，元素图像101的共轭图像可以在CDP 109上重叠。MLA 104帮助生成3D光场的定向采样。来自EI 101的光线束进入它们对应的微透镜105，并在它们对应的重建点(例如点P)处集成，以重建3D场景的光场。通过改变每个EI 101的透视内容，可以呈现不同深度处的对象。可切换快门阵列106可以包括可切换元件的阵列，该可切换元件可以被打开以允许来自微显示器102的光线穿过，或者被关闭以阻止光线穿过(图3A)。快门阵列106可以邻近MLA 104被放置在任一侧上(例如，前面或后面)。快门阵列106和MLA 104之间的间隙可以被最小化以减少伪影。快门阵列106可以提供通过MLA 104的不同光线路径之间的快速切换(例如，通过图3A中的白色阴影路径对比灰色阴影路径)，使得不同组的EI 101可以以时分复用方式被呈现在微显示器102上并由MLA 104成像，其中不同组的EI 101的呈现与所选孔径组的开和关状态同步。时分复用EI101组可以有效地增加为重建的3D场景所呈现的透视图的数量。例如，通过简单地时分复用两组EI 101和SA 106的两个状态，重建点P的视图数量被加倍，如图3A所图示的。
可以放置在距CDP 109距离z0处的目镜108可以放大由集成成像单元(包括微显示器102和MLA 104)形成的重建的3D场景，并将重建的3D场景成像到视觉空间中。目镜108可以以任何合适的配置来提供，诸如单透镜或双透镜、传统的旋转对称透镜组、或者单片自由棱镜。目镜108可以将来自重建的3D场景的光线束投射到观看窗口110上，在观看窗口110处，观察者可以放置他们的瞳孔来观察放大的虚拟3D场景。图3A中的小正方形概念性地图示了来自元素视图的每个光线束的覆盖区。观看窗口110上光线覆盖区的实际形状主要取决于微透镜105孔径的形状。例如，如果微透镜105孔径的形状是圆形的，则光线覆盖区也将是圆形的。
图3B图示了2D快门阵列106的示意性布局，而图3C图示了由时分复用方案呈现的2D观看窗口110的示意性布局。每个可切换元件的孔径尺寸dSA优选小于小透镜105的孔径dMLA，使得每个小透镜105覆盖快门阵列106的不止一个元件。通过打开或关闭每个小透镜105下的不同快门元件，选择小透镜105的不同部分，以允许来自不同EI 101组的像素的光线束被成像。例如，在图3A-3B中，通过打开快门阵列106的白色元件(S1)，每个小透镜105的上半部分被选择，并且来自由第一EI 101组呈现的像素的光线(由图3A中的实线图示)被成像以重建3D场景的光场的一部分(例如点P)。类似地，如果快门阵列106的灰色元件被打开，则每个小透镜105的下半部分被选择，并且来自由第二EI 101组呈现的像素的光线(由图3A中的虚线和灰色阴影图示)被成像以重建3D场景的光场的第二部分(例如点P)。由不同组的元素图像101通过小透镜105的不同部分呈现的光线束被投射在观看窗口110上的不同位置处，在观看者的眼睛瞳孔上形成独特的观看入口位置。取决于快门尺寸与微透镜阵列间距的比率，所提出的时分复用方法能够相应地增加视图数量和观看密度。
快门阵列106可以由现有的空间光调制器(SLM)技术改造而来。然而，由于具有低像素填充因子的典型SLM的像素化结构，可能引发严重的衍射效应。最小化像素化孔径结构的衍射效应需要大于85％的像素填充因子，而商业上可得的透射式液晶显示器的填充因子远低于这一要求。然而，诸如硅上液晶(LCoS)技术的几种商业上可得的反射式空间光调制器的填充因子和开关速度可以满足要求。然而，LCoS的反射性质需要中继光学器件将其成像到MLA孔径平面，并由此显著增加了系统体积。
图4-7D进一步图示了根据本发明的示例性4阶段时分复用的基于InI的光场显示器100的工作原理，其中为了图示的目的，仅示出了2×2元素图像101。在该图示中，快门阵列106的孔径尺寸可以是小透镜105间距的一半，使得MLA 104的每个小透镜105被分成四个子孔径，每个子孔径对应于4阶段时分复用周期的一个阶段，并且为每个子孔径或阶段呈现对应的EI 101组。图4和图6分别示出了整个显示周期的两个不同阶段。在每个阶段中，只有一组快门(例如用于阶段1的S1和用于阶段2的S2)被打开，以允许光线穿过小透镜105的对应子孔径。同时，在微显示器102上显示具有与打开的快门组相对应的右透视图的一组EI101。例如，P1,1、P1,2、P1,3和P1,4表示显示在微显示器102上的EI 101组1的四个相邻元素图像101上的像素，以重建3D点P(图5A)。微显示器102上的这四个点由微型小透镜105的对应子孔径成像，并在CDP 109上分别形成4个图像P'1,1、P'1,2、P'1,3和P'1,4(图4、5C)。从这四个点发出的光线将穿过对应的打开的快门组并会聚到重建点P，然后通过目镜108在观看窗口110处形成四个元素视图(图4)。分别在图5A-5D中以实线轮廓图示了以下内容：I)在微显示器102上呈现的像素，ii)对应的打开的快门组，iii)像素在CDP 109上的投影，以及iv)它们在针对阶段1的观看窗口平面110上的光线覆盖区。在这些图中，还示出了针对其他阶段的像素呈现和光线覆盖区，但是使用了虚线轮廓。第一个下标表示显示周期的四个阶段的阶段号(1、2、3或4)，以及第二个下标表示视图号。例如，在显示周期的阶段1，快门组S1被打开，并且包含P1,1、P1,2、P1,3和P1,4的EI 101的组被显示(图5A)。四个中间图像P'1,1、P'1,2、P'1,3和P'1,4被形成在CDP 109上(图5C)，并且光线只能穿过由分别对应于四个元素视图V1,1、V1,2、V1,3和V1,4的4个子窗口组成的观看区域V1(图5D)。图7A-7D分别示出了针对阶段2的以下各项的状态：I)微显示器102平面上的像素、ii)打开的快门组、iii)CDP 109上的图像、以及iv)观看窗口110平面上的光线覆盖区。在每个阶段中，仅呈现与打开的快门组相对应的元素视图，在图4和图6中示为观看窗口110处的白色观看区域(V1和V2)。通过以时分复用方式组合快门阵列106和不同组的元素图像101，在整个显示周期期间，所有的元素视图可以被人眼整体接收。快门尺寸与微透镜105间距的比率取决于显示周期中的阶段数量。在图4和6中所示的情况下，其中整个显示周期可以包括四个阶段，快门孔径的尺寸等于微透镜105间距的一半。显然，根据本发明，可以选择快门尺寸与MLA 104透镜间距的其他比率来实现不同的视图分布。
值得注意的是，图4–7D中描述的方案很容易适用于M阶段时分复用，其中M大于1。还值得注意的是，快门阵列106的孔径元件可以包括多于一个的像素化元件。例如，包括小像素的空间光调制器可以被用作可编程快门阵列106，并且因此每个孔径元件可以包括多个像素元件。这种像素化孔径元件使得有可能通过将不同组的像素元件分组来允许子孔径具有大的面积并且彼此重叠。子孔径的这种重叠可以导致时分复用子观看窗口110的重叠，这提供了空间分辨率和深度分辨率上的潜在改进。这些效果将在下面进一步展示。
为了展示所提出的时分复用的基于InI的光场显示器如何能够在根据本发明的不同配置中增强显示性能，我们首先使用常规的基于InI的光场显示器的示意性布局800，用于没有快门阵列106的单组元素图像101，如图8中所示，以导出关键参数关系。MLA 804可以包括具有相同焦距fMLA的微透镜805的阵列。微显示器802和MLA 804之间的间隙表示为g，以及从MLA 804到CDP 809的距离表示为lCDP(图8)。重建场景的CDP 809和目镜808之间的距离是z0，以及观看窗口810位于距目镜808的距离ZXP处。当间隙g等于或小于焦距fMLA时，虚拟CDP 809被形成在微显示器802的左侧上，并且离开小透镜的光线束看起来是发散的。当间隙g大于焦距fMLA时，真实CDP 809形成在微显示器802的右侧上，并且离开小透镜的光线束看起来朝着CDP 809会聚，如图8所图示的。
假设CDP 809是通过MLA 804的微显示器802的光学共轭图像，其位置由下式给出
lCDP＝mMLAg, (1)
其中mMLA是MLA 804的横向放大率，以及mMLA给出为:
如图8所图示的，观看窗口810上的元素视图的光线覆盖区和观看窗口810上所有元素视图801的分布取决于MLA 804的形状和布置。MLA 804的间距表示为pMLA，以及微透镜的直径表示为dMLA。这样，观看窗口810平面上的元素视图的覆盖区尺寸d可以表达为:
其中feyepiece是目镜的焦距。
观看窗口810上的两个相邻元素视图之间的横向位移或元素视图分布的间距s可以由公式(4)表达为:
元素视图的覆盖区填充因子α被定义为元素视图的光线覆盖区尺寸d与两个相邻视图的覆盖区之间的间距s之比:
如图8的示例中所示，填充因子α通常在0到8的范围，因为它受到MLA 804的物理布置和来自微显示器802的光线束的数值孔径(NA)的限制。请注意，低填充因子可能会引入较大的衍射效应和观看不连续性伪影。
基于InI的光场显示器的视图采样属性可以通过视图密度σview来表征，该视图密度σview被定义为每单位面积的视图数量。它可以通过计算由视图窗口上元素视图的间距所定义的面积的倒数来获得。为了简单起见，这里我们假设元素视图以矩形阵列均匀地分布在观看窗口110上，并且每个元素视图的光线覆盖区也是完美的正方形，如图5A-5D中所示。如果利用圆形孔径小透镜阵列或另一圆形孔径阵列，则光线覆盖区可以是圆形的，如图8中所图示的。这样，视图密度可以由公式(6)表达为：
呈现重建的3D场景的所有元素视图的覆盖区尺寸的总和定义了观看窗口110或显示器的眼箱的尺寸，表示为Deyebox，其中可以观察到3D重建场景的光场。通过对来自不同EI101的与CDP 109上的重建点相对应的光线束进行集成，可以近似获得水平或垂直方向上的眼箱的总尺寸，并且该总尺寸被估计为：
Deyebox＝N·s＝mMLA·s, (7)
其中N是用于重建3D点的水平或垂直方向上的视图数量，其等于CDP 109上MLA104的横向放大率mMLA。
在不考虑衍射所致的图像退化影响的情况下，在观看窗口110处观察到的重建3D场景的角分辨率可以被表达为：
其中p是微显示器102上的像素尺寸。需要小的β值来实现提供高空间分辨率的显示器。
对于基于InI的光场显示器而言，期望高观看密度σview，以便实现能够呈现具有大景深、高纵向深度分辨率、低图像伪影和用于减轻众所周知的聚散度-调节冲突(VAC)问题的精确调节提示的3D场景的光场显示器。Huang和Hua已经对观看密度和这些显示性能量度之间的分析关系进行了彻底研究。如公式(6)所示，观看密度σview与元素视图分布的间距s的平方成反比。为了实现高观看密度，期望相邻元素视图之间的小间距。另一方面，如公式(4)所表明的，两个相邻元素视图之间的光线覆盖区的间距s与MLA 104的光学放大率mMLA成反比，并且与MLA 104的间距pMLA成正比。因此，期望小透镜的低光学放大率来实现高观看密度。然而，如公式(7)所表明的，眼箱尺寸Deyebox与观看窗口110上的元素视图的光线覆盖区间距成正比，这表明当选择小透镜的低光学放大率时，产生小眼箱。此外，如公式(8)所表明的，MLA 104的大放大率将导致每个像素的角分辨率的大值，这产生作为显示器的较差空间分辨率和低图像质量。
如图3A中所图示的，针对根据本发明的所提出的用于呈现3D光场的时分复用系统和方法，可以导出类似的参数关系。然而，与图8中所图示的常规的基于InI的显示方法不同，用于呈现3D场景的元素视图不是同时呈现的，而是以时分复用的方式呈现的。如图3A中所图示的，为了通过4×4个不同的元素视图重建3D图像点P，这16个元素视图被分成4组元素图像101，并且每组元素图像101包括4个元素视图。四组元素图像101以4阶段时分复用方式进行呈现，如图4–7D所描述的那样。
在一般配置中，为了呈现时分复用光场的所有元素视图，针对不同阶段的不同组元素视图彼此交错。如图3A-7D中所图示的，在给定的阶段下，打开(例如，图4中的S1)的相邻快门元件之间的间距表示为pSA。它确定了在同一阶段中呈现的元素视图的间距。然而，通过时分复用方案交错的元素视图的有效间距要小得多。它取决于分别在水平和垂直方向上由单个阶段呈现的相邻视图之间交错的阶段数量MH和MV。所需的总阶段M为M＝MH*MV。不失一般性，让我们假设相同数量的视图在水平和垂直方向上交错(即MH＝MV)。在M阶段时分复用系统中，快门上相邻交错的子孔径的有效间距可以被表达为：
如图3A中所示，为了确保交错的元素视图之间的均匀分布，我们应该仔细选择分别在水平和垂直方向上的两个后续阶段中打开的快门元件之间的横向位移ΔdSA-H和ΔdSA-V。不失一般性，让我们假设水平和垂直方向上的相同横向位移(即ΔdSA-H＝ΔdSA-V＝ΔdSA)。在不同阶段(例如，图4中的S1和S2)中打开的相邻快门元件之间的横向位移ΔdSA应满足以下关系:
在这种情况下，如图3C中所示，观看窗口110上每个元素视图的光线覆盖区尺寸dTM取决于快门元件的孔径尺寸dSA，而不是小透镜的孔径尺寸dMLA。类似地，在观看窗口110上交错的两个相邻元素视图之间的光线覆盖区间距sTM取决于快门孔径的有效间距pSA,eff，而不是MLA 104的小透镜间距pMLA。观看窗口110上的光线覆盖区尺寸dTM和与时分复用InI系统中相同微透镜相对应的两个相邻元素视图之间的横向位移ΔdTM可以被表达为：
类似于公式(11)和(12)中，针对时分复用InI系统的在观看窗口110处的元素视图的有效间距sTM将取决于快门上相邻交错子孔径的有效间距，其可以被表达为:
时分复用系统中的元素视图的填充因子被表达为：
与常规系统不同，元素视图的填充因子将取决于快门阵列106的填充因子，而不是MLA 104的填充因子。这允许元素视图的大范围填充因子，因为子孔径可以彼此重叠，如我们早前提到的以及在随后的实现方式和实施例中讨论的。这使得填充因子能够大于1，并且克服了MLA 104的物理填充因子限制，并且潜在地拓宽了InI系统的实现方式。
在时分复用呈现方法中，每个微透镜将被用于在M个阶段中呈现M组元素视图。这意味着用于重建3D点的视图数量将不再等于MLA 104的横向放大率mMLA。因此，针对时分复用系统的在水平或垂直方向上的观看窗口110或眼箱的尺寸被表达为:
在不考虑衍射效应的情况下，针对时分复用系统的在观看窗口110处观察到的重建场景的角分辨率可以由相同的公式(8)来表达。
基于由公式(1)到(15)所表征的参数关系，有几种不同的方式来实现根据本发明的所提出的时分复用方案的实施例，以根据不同应用的需求实现对整体显示质量的不同方面的改进。
示例性实现方式1:视图密度优先方案
基于上文描述的参数关系，时分复用光场系统的根据本发明的一种可能的实现方式是增加元素视图的数量和视图密度，同时保持给定的眼箱尺寸并使用相同间距和相同光学放大率的小透镜。图3A中图示了用于增强视图密度的4阶段时分复用系统100的示意性布局。如公式(9)所示，可以通过时分复用方案呈现的总视图的数量取决于MLA 104间距pMLA与快门阵列106的有效间距pSA,eff的比率。对于给定的MLA 104，选择更小的有效快门间距尺寸将提供更多的元素视图101，但是对于快门阵列106和微显示器而言需要更高的刷新率，以便能够足够快地呈现M组元素视图101，使得眼睛能够以时分复用的方式观看它们，而不会受到闪烁效应的影响。考虑到现有技术显示技术的刷新率限制，对于如图3A所图示的4阶段呈现过程，推荐比率为2。
在视图密度增强方案下，MLA 104、目镜108的光学规格以及它们的相对间隔应当被选择为与用于由图8所示的常规非复用方案的那些参数是相同的。作为结果，针对M阶段复用系统由公式(15)给出的总眼箱尺寸以及由公式(8)给出的空间分辨率将与非复用系统的那些参数是相同的。然而，针对复用系统的视图总数将是非复用系统的M倍。由公式(13)给出的相邻元素视图101的光线覆盖区间距将显著更小，并且针对时分复用系统的对应观看密度将显著高于非复用系统。
为了比较的目的，表1列出了如图3A中所示的4阶段时分复用方案的光学规格，并且相同的光学规格将被应用于没有快门阵列106的图8中所示的非时分复用方案。在这个设计示例中，微显示器的像素间距p是8um。MLA 104的所有微透镜都具有相同的3mm焦距。MLA104的微透镜直径dMLA和小透镜间距两者都是1mm。目镜108的焦距是18mm，以及CDP 109和目镜108之间的距离是18mm。观看窗口110位于目镜108后面24mm处。对于时分复用方法，快门阵列106的间距pSA为1mm，以及快门阵列106系统的孔径尺寸dSA为0.5mm。
表1：四阶段时分复用InI系统的光学规格
规格 值
像素间距(p) 8um
MLA的焦距(fMLA) 3mm
MLA的间距(pMLA) 1mm
微透镜的直径(dMLA) 1mm
微显示器和MLA之间的距离(g) 4.5mm
MLA和CDP之间的距离(lCDP) 9mm
CDP和目镜之间的距离(z0) 18mm
目镜的焦距(feyepiece) 18mm
目镜和观看窗口之间的距离(zXP) 18mm
快门阵列的间距(pSA) 1mm
快门阵列的孔径尺寸(dSA) 0.5mm
表2示出了图3A的根据本发明的视图密度优先时分复用InI系统100和图8的常规InI显示系统800之间的观看参数的比较。我们可以看到，本发明的时分复用InI系统100具有与常规非复用系统相同的眼箱尺寸和角分辨率，而视图数量和观看密度是用于根据本发明的时分复用系统的那些参数的4倍。
表2：视图密度优先时分复用InI系统与常规InI显示系统的观看属性比较
示例性实现方式2:观看填充因子优先方案
元素视图的填充因子在光场显示器的空间分辨率和视觉外观中起着非常重要的作用。在常规的基于InI的显示器中，如公式(5)所表明的，元素视图的填充因子受到微透镜布置的物理约束的限制，并且通常在0和1之间。基于以上描述的参数关系，时分复用光场系统的另一种替代配置是采用复用方案来增强元素视图的填充因子，同时保持给定的一组观看参数，诸如视图总数或眼箱尺寸和空间分辨率。如公式(14)所表明的，时分复用系统中的视图填充因子由子孔径尺寸dSA和有效子孔径间距pSA,eff之间的比率所定义。如图9A-9B所图示的，图3A中的快门阵列106可以由小的可编程像素化元件(诸如液晶显示器阵列或数字反射镜设备阵列)制成。利用这种像素化设备，各个像素的开或关状态可以是可独立寻址的。在这种情况下，通过不同的像素分组，可以使子孔径尺寸dSA大于有效子孔径间距pSA,eff，使得时分复用系统的填充因子可以大于1，从而允许相邻元素视图的光线覆盖区重叠，并且因此最小化由于视图不连续性而造成的图像伪影。时分复用子观看窗口的重叠也可以对空间分辨率和深度分辨率提供潜在的改进。当第二子孔径组距第一孔径组的横向位移ΔdSA小于子孔径的尺寸dSA时，由两个子孔径组以时分复用方式呈现的对应元素视图的光线覆盖区在观看窗口上重叠，导致填充因子大于1。当第二子孔径组距第一孔径组的横向位移ΔdSA大于子孔径的尺寸dSA时，对应的元素视图的光线覆盖区将不会在观看窗口上重叠，导致填充因子小于1。
图10A-10B示出了根据本发明的用于增强光场显示器的视图填充因子的4阶段时分复用系统1000的示例性示意布局。图10A图示了用于第一阶段的光线路径和第一有源子孔径组的对应布置S1，而图10B图示了用于第二阶段的光线路径和第二有源子孔径组的对应布置S2。这里，利用由小的可寻址像素组成的可编程快门阵列1006，使得打开的子孔径的尺寸dSA和有效间距pSA,eff可以被数字控制。大的子孔径尺寸可以通过将更多可控像素分组来获得，以便增加针对每个元素视图的光线束尺寸，如图10A-10B中所示。
作为示例，对于用于增强观看填充因子并因此增强观看密度的4阶段时分复用方案，我们使用与表1中列出的用于非时分复用方案的那些光学规格相同的光学规格，除了透射式基于LC的像素阵列1006被用作快门阵列106。LC像素阵列1006具有125um的像素间距，并且具有足够的像素分辨率，使得其整体尺寸与MLA 1004的尺寸兼容。在每个1mm孔径的微透镜下总共有8×8个像素单元。图9A-9B分别图示了用于第一组和第二组子孔径S1和S2的设计参数。快门的每个子孔径的尺寸dSA被设置为6个像素，并且与相同微透镜相对应的相邻子孔径之间的横向位移ΔdSA1被设置为2个像素。总体上，第一组子孔径S1与第二组子孔径重叠4个像素。在这种情况下，有效快门间距pSA,eff为4个像素。由第一组子孔径呈现的元素视图的光线覆盖区与由第二组子孔径呈现的元素视图的光线覆盖区重叠33％，产生1.5的有效视图填充因子。表3示出了这种时分复用方案的观看参数和空间分辨率。
表3：观看属性观看填充因子时分复用InI系统
示例性实现方式3:空间分辨率优先方案
基于以上描述的参数关系，根据本发明的时分复用光场系统的另一示例性替代配置是采用复用方案来增强重建3D场景的空间分辨率，同时保持给定的一组观看参数，诸如视图总数和观看密度。如公式(8)所表明的，重建3D场景的每像素的角分辨率与MLA的光学放大率mMLA成正比。MLA的较低光学放大率mMLA将导致针对每像素的角分辨率的较小值，这产生作为显示器的高空间分辨率和良好的图像质量。公式(8)进一步表明角分辨率对微显示器像素间距p、CDP和目镜之间的距离z0、目镜的焦距feyepiece以及目镜和观看窗口平面之间的距离zXP的依赖性。因此，对于给定的一组观看参数规格，诸如总视图数和眼箱，我们可以优化时分复用系统的光学规格，使之不同于非复用系统，从而在产生相同观看参数的同时提高空间分辨率的产出。
图11示出了4阶段时分复用系统1100的示意性布局，该系统用于增强光场显示器的空间分辨率，同时保持重建3D场景的总体2×2视图。出于比较的目的，图9A-9B示出了没有产生相同的2×2视图的复用的常规的基于InI的显示方案的示意性布局。为了在两个系统中实现总体2×2视图，用于4阶段复用方案的MLA的光学放大率mMLA被选择为常规非复用系统的光学放大率的一半。如公式(2)所表明的，通过调节微显示器和MLA 104之间的间隙或者调节MLA 104的焦距或者调节两者，可以实现对MLA 104的光学放大率的控制。为了便于比较，图11中所示的示例调整了微显示器和MLA 104之间的间隙，同时对MLA 104使用与由非复用系统所使用的MLA 104的光学规格相同的光学规格，诸如其焦距、间距和微透镜直径。然而，图11中的时分复用系统产生比图9A-9B中的非复用方法的空间分辨率好2倍的空间分辨率。由M阶段时分复用方案呈现的分辨率改进的幅度取决于MLA 104间距pMLA与快门阵列的有效间距pSA,eff的比率。更多数量的阶段要求用于快门阵列和微显示器的更高刷新率，以便能够足够快地呈现M组元素视图，使得眼睛能够以时分复用方式观看它们，而不会受到闪烁效应的影响。考虑到现有技术显示技术的刷新率限制，对于4倍分辨率增强，推荐比率为2。
如早前所讨论的，公式(8)表明了角分辨率对微显示器像素间距p、MLA 104光学放大率、CDP 109和目镜108之间的距离z0、目镜108的焦距feyepiece以及目镜108和观看窗口平面110之间的距离zXP的依赖性。因此，在分辨率增强方案下，用于MLA 104、目镜108以及它们的相对间隔的光学规格应当被一起优化，以获得由公式(8)给出的空间分辨率以及由公式(9)到(15)给出的观看参数之间的平衡。因此，用于分辨率优先方案的可能实施例不限于图11中所示的示例。在用于微显示器102的像素间距相同的假设下，图9A、9B和11中所示的两个系统可以分别呈现总共2×2的视图。
表4：呈现2×2视图的两个4阶段时分复用InI系统的光学规格
为了比较，表4列出了4阶段时分复用方案的两组光学规格。第一组(示例1)对应于图11中所示的示例，其采用微显示器102和与表1中列出的用于非时分复用方案的那些光学规格相同的光学规格，除了不同的物像关系。在微显示器102和MLA 104之间使用6mm的间隙g而不是4.5mm，并且MLA 104和CDP 109之间的距离相应地从9mm变为6mm。表4的第二示例(示例2)对应的系统规格产生与第一示例相同的空间分辨率和观看数量，但产生与图9A-9B中的非复用方法相同的观看密度和眼箱尺寸。在第二设计示例中，微显示器102的像素间距p是8um，与第一示例相同。MLA 104的所有微透镜105具有2.57mm的相同焦距。MLA 104的微透镜直径dMLA和小透镜间距都是1mm。目镜108的焦距是24mm，以及CDP 109和目镜108之间的距离是24mm。观看窗口位于目镜108后面24mm处。快门阵列106的间距pSA为1mm，以及快门阵列106的孔径尺寸dSA为0.5mm。表5示出了两种不同时分复用配置之间的观看参数和空间分辨率的比较。非多路复用系统的比较数据可以在表5找到。
表2：分辨率优先时分复用InI系统与常规InI显示系统的观看属性比较
/>
示例性实现方式4:具有视图串扰减轻的时分复用方案
在之前所示的所有示例性实现方式中，包括具有与MLA 1204相同间距的光线限制光学孔径的阵列的孔径阵列1207可以被插入在微显示器1202和MLA 1204之间，以减轻串扰问题。如图12中示意性图示的，对应于每个微透镜1205的孔径仅允许期望的光线传播通过并到达眼箱，但是阻挡来自相邻元素图像1201的不期望的光线到达对应的微透镜1205。例如，在EI1和EI2之间的孔径阵列1207上的不透明部分(以黑色实线示出)防止源自元素图像EI1的虚线光线到达与微透镜ML1相邻的微透镜ML2。这些被阻挡的光线是通常在InI显示系统中观察到的串扰和重影的主要来源。从微显示器1202到孔径阵列1207的距离表示为a，以及孔径开口的直径表示为dA。为了减轻串扰，这些参数应该满足以下约束：
其中pEI是元素图像的尺寸，以及pMLA是MLA的间距。孔径阵列1207可以是打印的固定孔径阵列1207或空间光调制器。
示例性实现方式5:通过可控定向光源的时分复用方案
图3A中所示的基于InI的光场显示器100的时分复用方案利用了邻近MLA 104放置的可切换快门阵列106。打开或关闭每个微透镜105下的不同快门元件允许在通过小透镜1005的不同部分的不同光线路径之间快速切换，并且允许来自不同组的元素图像101的像素的光线束以时分复用方式呈现在微显示器102上并由MLA 104成像。由于快门阵列的潜在有限的透射率或反射率，可切换快门阵列1207的使用可能潜在地导致光损失(图12)。当利用自发光微显示器102时，可切换快门阵列106被用于图3A的示例性配置100。微显示器102可以基于非自发射SLM型显示技术，诸如液晶显示(LCD)设备(反射式或透射式)或调制照明源的数字反射镜设备(DMD)。这些非发射型显示技术都需要照明源，例如对于反射型SLM是前光照明的，而对于透射型SLM是背光照明的。在采用这种非发射显示技术的配置中，使用可切换快门阵列106作为在不同光线路径之间快速切换的机制仍然是可行的。根据本发明的替代配置是创建一种微显示器，该微显示器能够以时分复用方式向MLA 104的微透镜孔径的不同部分选择性地输出或“发射”光线，这在下文中被称为“定向微显示器”。根据本发明的这种定向微显示器可以与MLA 104一起工作，并在通过MLA 104的不同光线路径之间快速切换，以实现与使用可切换孔径阵列106相同的光学功能。
例如，图13A-13B展示了根据本发明的4阶段时分复用的基于InI的光场系统1300的示例性光学布局，该光场系统1300利用如上文所解释的生成定向照明的定向微显示器1302来实现与图3A-3C中所图示的时分复用类似的功能。根据本发明的定向微显示器可以包括可切换光源阵列1310(例如LED阵列)、屏障阵列1312、MLA 1304和空间光调制器(SLM1314)(图13A-13B)。值得注意的是，图13A-13B中的MLA 1304被标记为“MLA2”,以将其与出于集成成像目的所需的主MLA 1304区分开。此外，微显示器1302的示意性布局假设使用需要背光照明光源的透射型SLM 1314。对于需要前光照明光源的反射型SLM 1314，可以容易地修改布局。光源阵列1310可以包括多个光源单元1316，每个光源单元具有相同的尺寸dcell，并且光源单元1316的间距pcell与元素图像的间距pEI相同。每个单元1316可以被认为是元素光源单元1316，并且为显示在SLM 1314的一部分上的对应元素图像提供所需的背光照明。每个单元1316可以包括光源单元1316的阵列1310，在图13A-13B中示为光源阵列1310上的矩形。这些光源单元1316可以是单独可控的，例如单独的发光二极管(LED)。每个光源单元1316可以独立于同一单元1316的其他单元打开或关闭。提供附着到每个光源单元1316的屏障阵列1312，以防止相邻单元1316之间的串扰，并为微透镜阵列1313提供机械安装。微透镜阵列1313中的每个微型小透镜可以调制来自光源的光，以便为其在SLM 1314上呈现的对应元素图像生成定向背光照明。SLM 1314调制来自光源单元1316的光，并呈现用于集成成像的元素图像。如图13A-13B中所图示的，通过在光源单元1316内打开或关闭光源单元1316，我们可以产生通过主MLA 1304选择光线路径的功能，该功能类似于图3A中快门阵列的功能。例如，在图13A-13B中，为了生成4阶段时分复用定向微显示器1302，每个光源单元1316可以包括2×2的光源单元1316，每个光源单元1316对应于4阶段时分复用周期的一个阶段和要呈现的对应EI组。图13A-13B示出了整个显示周期的两个不同阶段。在每个阶段，光源阵列1310中只有一组光源单元1316被打开，并且由对应组发出的光以由微透镜阵列1313的光学属性控制的期望方向上的光线照射SLM 1314。这些期望的光线继续向主MLA1304的微透镜孔径的选择部分传播。光源单元的开关状态可以与表示用于重建目标3D场景的右透视图的对应元素图像组的呈递同步。例如，在图13A中，由光源的顶部单元(以白色矩形形状示出)生成的光线被在SLM 1314上呈现的第一组元素图像调制。由SLM 1314调制的光线向微透镜孔径的底部传播，以产生元素视图V1。在图13B中，由光源的底部单元生成的光线被在SLM 1314上呈现的第二组元素图像调制。由SLM 1314调制的光线向微透镜孔径的顶部传播，以产生元素视图V2。在该实施例中，光源阵列1310中的光源单元1316的数量确定了显示周期中的阶段数量。例如，图14图示了4阶段时分复用系统。每个光源单元1316在成像MLA 1304中的每个微透镜上产生对应的子孔径。
图14示出了定向微显示器1302以及主成像MLA 1304的参数。光源单元1316和微透镜阵列1313之间的距离表示为lBL。由微透镜阵列1313成像的光源单元1316需要与主成像MLA 1304的平面光学共轭。因此，期望距离lBL满足下面的公式：
其中mMLA2是微透镜阵列1313的横向放大率，其可以被表达为：
投影在观看窗口平面上的元素视图的填充因子将取决于每个光源单元的物理尺寸和相邻光源单元1316之间的间距，
为了实现无串扰系统，光源单元1316的图像应当不大于MLA 1304的尺寸，表达为：
mMLA2dcell≤pMLA。 (21)
为了在保持系统无串扰的同时实现1的观看填充因子，微透镜阵列1313的焦距应当被很好地选择，以使每个光源单元1316的图像与主成像MLA 1304的间距完全相同。因此，MLA 1304的焦距和从光源阵列1310到微透镜阵列1313的距离应当根据公式(17)至(20)来仔细选择。
还值得注意的是，图14中所示的每个光源单元1316可以包括多于一个的发光元件，这些发光元件类似于像素化快门阵列的像素。每个发光元件可以单独打开或关闭。图15A-15B图示了根据本发明的包括2×2光源单元1316的光源阵列1510的设计。每个单元1316照射SLM 1314的一个对应部分，以呈现元素图像图案。根据本发明，四个单元对应于SLM 1314上的照明区域，用于呈现2×2的元素视图，以在时分复用InI的四个阶段中重建3D光场。光源单元1316的尺寸被表示为dcell。每个光源单元1316可以包括单独可控的发光元件的2D阵列(例如，在图15A-15B中示为小正方形的LED元件的8×8阵列)。在这种阵列格式中，我们可以通过将每个单元1316中不同数量的光源元件分组来限定有效发光面积(相当于图9A-9B中的子孔径)，从而控制发光单元的尺寸dunit。我们还可以通过调整相邻光源单元1316之间的横向间隔来控制发光源的间距pcell。最后，我们可以通过调整单元1316内相邻光源单元1316之间的横向位移Δdunit来控制视图填充因子。在图15A-15B所示的示例中，每个发光单元1316可以包括6×6发光元件的阵列，而每个单元1316可以包括8×8的元件。图15A示出了用于呈现第一组元素图像的发光单元的布置，而光源单元1316之间的间距是pcell。图15B示出了用于呈现第二组元素图像的发光单元1316的布置，其中发光单元从用于呈现第一组元素图像的第一对应发光单元移位2个元素。我们可以很容易地看到不同阶段之间被照亮区域的重叠。这种重叠允许系统具有1.5的视图填充因子。例如，图15A-15B的示例性配置产生了与图9A-9B中所示的效果相类似的效果。
实验原型
基于图3A中的示意图，我们实现了如图16中所示的时分复用的基于InI的光场系统1600的概念验证原型。我们的原型中使用的微显示器1602是来自索尼(Sony)的0.7英寸有机发光显示器(OLED)，具有8μm彩色像素间距和1920×1080(ECX335B)的像素分辨率。我们使用的MLA 1604是来自Fresnel Technologies(https://www.fresneltech.com/)的MLA630。它具有的焦距为3.3mm，以及镜头间距为1mm。快门阵列1606由来自JHDLCM电子公司的透射式LCD(JHD12864)改装而成。它具有128×64的像素，并且像素间距为0.5mm。由于如此大的像素尺寸，该系统不受像素化结构的衍射的影响，因为LCD上的一个像素对应于一个快门。整个图像周期可以包括4个阶段。MLA 1604的横向放大率被设置为2，这呈现了总共4×4的元素视图。目镜1608是具有27mm焦距的现成目镜1608。总的来说，原型系统1600被设计成实现大约6mm×6mm的观看窗口尺寸，并且对于重建3D场景的每个点，系统呈现总共4×4的视图。视图密度约为0.44mm-2，这对应于观看窗口处1.5mm的元素视图间距。结合焦距为27mm的目镜1608，在视觉空间中每个显示像素的角分辨率约为2.04弧分。
根据前述说明书，本发明的这些和其他优点对于本领域技术人员来说将是显而易见的。因此，本领域技术人员将会认识到，在不脱离本发明的广义发明概念的情况下，可以对以上描述的实施例进行改变或修改。因此，应当理解的是，本发明不限于这里描述的特定实施例，而是旨在包括在权利要求中阐述的本发明的范围和精神内的所有改变和修改。
参考文献：
以下参考文献通过引用整体并入本文中。
1.H.Hua，“Enabling focus cues in head-mounted displays”，Proceedingsofthe IEEE 105(5)，805-824(2017)。
2.G.E.Favalora，“Volumetric 3D displays and applicationinfrastructure”，Computer,38(8)，37-44(2005)。
3.H.Yu、K.Lee,J.Park和Y.Park，“Ultrahigh-definition dynamic3Dholographic displayby active control ofvolume speckle fields”，NaturePhotonics 11(3)，186(2017)。
4.G.Li,D.Lee，Y.Jeong,J.Cho和B.Lee，“Holographic display for see-through augmented reality using mirror-lens holographic optical element”，Opt.Letters 41(11)，2486-2489(2016)。
5.S.Liu和H.Hua，“A systematic method fordesigning depth-fused multi-focalplane three-dimensional displays”，Opt.Express 18(11)，11562-11573(2010)。
6.J.Rolland、M.Krueger和A.Goon，“Multifocal planes head-mounteddisplays”，Appl.Opt.39(19)，3209-3215(2000)。
7.S.B.Kim和J.H.Park，“Optical see-through Maxwellian near-to-eyedisplaywith an enlargedeyebox”，Opt.Letters43(4)，767-770(2018)。
8.H.Hua和B.Javidi，“A 3D integral imaging optical see-through head-mounted display”，Opt.Express，22(11)，13484-13491(2014)。
9.G.Wetzstein、D.Lanman、M.Hirsch和R.Raskar，“Tensor displays:Compressive light field synthesis using multilayer displays with directionalbacklighting”，Proc.ACM SIGGRAPH，(2012)。
10.D.Lanman和D.Luebke，“Near-eye light field displays”，ACMTrans.Graph.32(6)，1-10(2013)。
11.H.Huang和H.Hua，“High-performance integral-imaging-based lightfield augmented reality display using freeform optics”，Opt.Express26(13)，17578-17590(2018)。
12.B.Liu、X.Sang、X.Yu、X.Gao、L.Liu、C.Gao、P.Wang、Y.Le和J.Du，“Time-multiplexedlight fielddisplaywith 120-degree wide viewing angle”，Opt.Express27(24)，第35728-35739页(2019)。
13.H.Huang和H.Hua，“Generalized methods and strategies for modelingand optimizing the optics of 3D head-mounted light field displays”，Opt.Express 27(18)，25154-25171(2019)。
14.H.Huang和H.Hua，“Systematic characterization and optimization of3Dlight field displays”，Opt.Express 25(16)，18508-18525(2017)。
15.J.H.Park、S.W.Min、S.Jung和B.Lee，"Analysis ofviewing parameters fortwo display methods based on integral photography"，Applied Optics 40,no.295217-5232(2001)。
16.X.Wang、Y.Qin、H.Hua、Y.H.Lee和S.T.Wu，“Digitally switchable multi-focal lens using freeform optics”，Opt.Express 16；26(8):11007-17(2018)。
17.X.Wang和H.Hua，"Digitally Switchable Microlens Array for IntegralImaging"，SID Symposium Digest ofTechnical Papers，Vol.51.No.1.(2020)。
18.M.Xu和H.Hua，“Finite-depth and varifocal head-mounted displaybasedon geometrical lightguide”，Opt.Express 28(8)，12121-12137(2020)。

Claims (19)

1.一种时分复用集成成像(InI)光场显示器，包括:
包括多个像素的微显示器，其被配置成呈现多组元素图像，其中的每个元素图像提供3D场景的不同透视图；
微透镜阵列，其被布置成与所述微显示器在离其选定距离处进行光学通信，以接收来自所述微显示器的元素图像的光，所述微透镜阵列具有与其相关联的中心深度平面，所述中心深度平面跨越所述微透镜阵列与所述微显示器光学共轭，所述微透镜阵列被配置成接收来自元素图像的光线束，以在所述中心深度平面周围的对应重建点处创建集成图像，从而重建3D场景的光场；以及
可切换阵列，其被布置成与所述微透镜阵列光学通信，并且被配置成接收由所述微透镜阵列透射的光，并且将接收到的光透射到所述3D场景的光场。
2.根据前述权利要求中任一项所述的时分复用集成成像(InI)光场显示器，其中所述可切换阵列被配置成选择性地将来自所述元素图像中的所选择的元素图像的光引导穿过其中到达所述中心深度平面。
3.根据前述权利要求中任一项所述的时分复用集成成像(InI)光场显示器，其中所述微显示器被配置成使所述微显示器上的所述元素图像的呈现与所述可切换阵列的切换同步，以便以同步的时分复用方式操作所述微显示器和所述可切换阵列。
4.根据前述权利要求中任一项所述的时分复用集成成像(InI)光场显示器，其中所述微透镜阵列包括具有相同焦距的微透镜阵列。
5.根据前述权利要求中任一项所述的时分复用集成成像(InI)光场显示器，其中所述可切换阵列被布置在所述微透镜阵列和所述中心深度平面之间的位置处。
6.根据前述权利要求中任一项所述的时分复用集成成像(InI)光场显示器，其中所述可切换阵列被布置在所述微透镜阵列和所述微显示器之间的位置处。
7.根据前述权利要求中任一项所述的时分复用集成成像(InI)光场显示器，其中所述可切换阵列包括可切换元件，所述可切换元件能够被打开以允许来自所述微透镜阵列的光线从其穿过，或者被关闭以阻止光线从其穿过。
8.根据前述权利要求中任一项所述的时分复用集成成像(InI)光场显示器，其中所述可编程可切换阵列包括快门阵列。
9.根据前述权利要求中任一项所述的时分复用集成成像(InI)光场显示器，其中所述可编程可切换阵列包括可切换光源阵列。
10.根据前述权利要求中任一项所述的时分复用集成成像(InI)光场显示器，其中所述微显示器是自发光的。
11.根据前述权利要求中任一项所述的时分复用集成成像(InI)光场显示器，其中所述微显示器是透射式的。
12.根据前述权利要求中任一项所述的时分复用集成成像(InI)光场显示器，其中所述微显示器包括空间光调制器。
13.根据前述权利要求中任一项所述的时分复用集成成像(InI)光场显示器，其中所述微显示器包括液晶显示器和数字反射镜设备中的一个或多个。
14.根据前述权利要求中任一项所述的时分复用集成成像(InI)光场显示器，包括目镜，所述目镜被布置在距所述中心深度平面距离z0处，以接收来自所述3D场景的光场的光。
15.根据前述权利要求中任一项所述的时分复用集成成像(InI)光场显示器，其中所述可切换阵列的每个可切换元件的孔径尺寸小于所述微透镜阵列的每个小透镜的孔径，使得每个小透镜覆盖所述可切换阵列的多于一个元件。
16.根据权利要求15所述的时分复用集成成像(InI)光场显示器，其中所述可切换阵列包括尺寸小于每个可切换元件的孔径尺寸的多个像素化元件。
17.根据前述权利要求中任一项所述的时分复用集成成像(InI)光场显示器，包括布置在所述微显示器和与其进行光学通信的微透镜阵列之间的屏障阵列。
18.根据权利要求1-16中任一项所述的时分复用集成成像(InI)光场显示器，包括布置在所述微显示器和与其进行光学通信的微透镜阵列之间的孔径阵列。
19.根据权利要求18所述的时分复用集成成像(InI)光场显示器，其中从所述微显示器到所述孔径阵列的距离表示为a，以及所述孔径阵列中的孔径开口的直径表示为dA，并且其中：
其中pEI是元素图像的尺寸，g是从所述微显示器到所述微透镜阵列的距离，以及pMLA是MLA的间距。
CN202280034137.1A 2021-03-09 2022-03-03 用于使用时分复用方案增强基于集成成像的光场显示器的性能的设备和方法 Pending CN117295996A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163158707P 2021-03-09 2021-03-09
US63/158707 2021-03-09
PCT/US2022/018605 WO2022192054A1 (en) 2021-03-09 2022-03-03 Devices and methods for enhancing the performance of integral imaging based light field displays using time-multiplexing schemes

Publications (1)

Publication Number Publication Date
CN117295996A true CN117295996A (zh) 2023-12-26

Family

ID=83228318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280034137.1A Pending CN117295996A (zh) 2021-03-09 2022-03-03 用于使用时分复用方案增强基于集成成像的光场显示器的性能的设备和方法

Country Status (7)

Country Link
US (1) US20240151984A1 (zh)
EP (1) EP4305487A1 (zh)
JP (1) JP2024510164A (zh)
KR (1) KR20230153483A (zh)
CN (1) CN117295996A (zh)
IL (1) IL305779A (zh)
WO (1) WO2022192054A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116047788B (zh) * 2023-03-31 2023-09-29 成都工业学院 一种超分辨率立体显示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007019347A2 (en) * 2005-08-08 2007-02-15 University Of Connecticut Depth and lateral size control of three-dimensional images in projection integral imaging
US9860522B2 (en) * 2012-08-04 2018-01-02 Paul Lapstun Head-mounted light field display
US9519144B2 (en) * 2013-05-17 2016-12-13 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
KR102561425B1 (ko) * 2014-03-05 2023-07-28 아리조나 보드 오브 리전츠 온 비해프 오브 더 유니버시티 오브 아리조나 웨어러블 3d 증강 현실 디스플레이
JP7185331B2 (ja) * 2018-03-22 2022-12-07 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ インテグラルイメージング方式のライトフィールドディスプレイ用にライトフィールド画像をレンダリングする方法

Also Published As

Publication number Publication date
US20240151984A1 (en) 2024-05-09
EP4305487A1 (en) 2024-01-17
JP2024510164A (ja) 2024-03-06
WO2022192054A1 (en) 2022-09-15
KR20230153483A (ko) 2023-11-06
IL305779A (en) 2023-11-01

Similar Documents

Publication Publication Date Title
JP7418378B2 (ja) 表示装置
CN107407816B (zh) 具有时间复用的视觉显示器
Benzie et al. A survey of 3DTV displays: techniques and technologies
US10297071B2 (en) 3D light field displays and methods with improved viewing angle, depth and resolution
EP2160905B1 (en) Multi-user autostereoscopic display
CN100477808C (zh) 自动立体显示系统
US9310769B2 (en) Coarse integral holographic display
JP2010224129A (ja) 立体画像表示装置
KR102070800B1 (ko) 입체 디스플레이 장치 및 그 디스플레이 방법
TWI801439B (zh) 用於生成大視場之顯示裝置及方法
KR20120063161A (ko) 3차원 디스플레이 장치 및 3차원 영상 디스플레이 방법
CN117295996A (zh) 用于使用时分复用方案增强基于集成成像的光场显示器的性能的设备和方法
Surman Stereoscopic and autostereoscopic displays
Surman et al. Latest developments in a multi-user 3D display
Surman et al. Multi-user 3D display using a head tracker and RGB laser illumination source

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination