CN110325892A - 具有稀疏采样超分辨率的近眼显示 - Google Patents

具有稀疏采样超分辨率的近眼显示 Download PDF

Info

Publication number
CN110325892A
CN110325892A CN201880008692.0A CN201880008692A CN110325892A CN 110325892 A CN110325892 A CN 110325892A CN 201880008692 A CN201880008692 A CN 201880008692A CN 110325892 A CN110325892 A CN 110325892A
Authority
CN
China
Prior art keywords
array
element image
image
display panel
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880008692.0A
Other languages
English (en)
Inventor
约翰·D·佩罗特
帕特里克·卢尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority claimed from PCT/US2018/018434 external-priority patent/WO2018217253A1/en
Publication of CN110325892A publication Critical patent/CN110325892A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/005—Diaphragms

Abstract

近眼显示系统(100)包括用于显示包括元素图像(122)的阵列和小透镜阵列(124)的近眼光场帧(120)的显示面板(118)，该小透镜阵列(124)将整体光场帧呈现给用户的眼睛(132)。该系统还包括渲染组件(104)，该渲染组件(104)至少部分地基于源图像(202)的稀疏采样来生成元素图像(122)的阵列以减少在元素图像的阵列的每个单独元素图像内包含的图像数据的重叠。近眼显示系统(100)的操作的方法包括基于主体对象的当前视点的稀疏采样来生成形成整体光场帧(120)的元素图像(122)的阵列以减少在该阵列的每个单独元素图像内包含的图像数据的重叠。

Description

具有稀疏采样超分辨率的近眼显示
背景技术
头戴式显示器(HMD)和其他近眼显示系统可以利用整体光场显示器或其他计算显示器来提供三维(3D)图形的有效显示。通常，整体光场显示器采用一个或多个显示面板和覆盖一个或多个显示面板的小透镜、针孔或其他光学特征的阵列。渲染系统渲染元素图像阵列，每个元素图像表示来自对应透视或虚拟相机位置的对象或场景的图像或视图。这种整体光场显示器通常表现出分辨率和良视距(eye relief)(即，用户眼睛可以获得全视野的距离)之间的折衷。采用整体光场显示器的传统近眼显示系统通常由于小透镜投影仪阵列中的重叠而牺牲空间分辨率。
附图说明
通过参考附图，可以更好地理解本公开，并且其众多特征和优点对于本领域技术人员而言是显而易见的。在不同附图中使用相同的附图标记表示相似或相同的项。
图1是示出根据一些实施例的采用姿势检测和稀疏采样以提供增加的显示分辨率的近眼显示系统的图。
图2是示出近眼显示系统中的传统计算显示器的图。
图3是示出根据一些实施例的用于在图1的近眼显示系统中使用的示例低填充因子显示器的图。
图4是示出根据一些实施例的用于在图1的近眼显示系统中使用的另一示例低填充因子显示器的图。
图5是示出根据一些实施例的用于在图1的近眼显示系统中使用的另一示例低填充因子显示器的图。
图6是示出根据一些实施例的用于在图1的近眼显示系统中渲染具有增加的分辨率的光场帧的稀疏采样的方法的示例的流程图。
图7是示出根据一些实施例的用于渲染光场帧的示例稀疏采样操作的图。
图8是示出根据一些实施例的光场超分辨率的示例的图。
具体实施方式
图1至图8示出了用于近眼显示系统中的整体光场帧的稀疏采样超分辨率渲染的示例方法和系统。在至少一个实施例中，近眼显示系统采用计算显示器向用户显示影像的整体光场帧，以便向用户提供沉浸式虚拟现实(VR)或增强现实(AR)体验。每个整体光场帧由元素图像的阵列组成，每个元素图像表示来自不同对应视点的对象或场景的视图。小透镜阵列覆盖显示面板并且操作以将元素图像的阵列作为单个自动立体图像呈现给用户。
由于计算显示器的分辨率表现出分辨率和良视距(即，用户的眼睛可以获得全视野的距离)之间的折衷，所以采用整体光场显示器的近眼显示系统通常由于小透镜投影仪阵列中的重叠而牺牲空间分辨率。为了提供改进的分辨率，在至少一个实施例中，本文描述的近眼显示系统利用低填充因子显示器的稀疏采样，以通过去除投影仪阵列元件内的图像数据中的重叠来恢复一些丢失的分辨率。作为示例，每个投影仪阵列元件可以被配置为对源图像的略微不同的子区域进行采样，因此相对于彼此具有唯一图像数据。因此，可以通过低填充因子显示器来获得源图像的稀疏采样，以减少在小透镜投影仪阵列处接收的图像数据的重叠，并且恢复由于近眼系统的观看距离减小而导致的空间分辨率的损失(例如，小于10毫米(mm)对传统光场显示器的10-40mm镜头焦距对传统放大镜显示器的40+mm)。
图1示出了根据至少一个实施例的并入了整体光场帧的稀疏采样超分辨率渲染的近眼显示系统100。在所描绘的示例中，近眼显示系统100包括计算显示子系统102和渲染组件104。计算显示子系统102包括安装在装置114(例如，护目镜、眼镜等)中的左眼显示器110和右眼显示器112，该装置114将显示器110、112分别放置在用户的左眼和右眼的前面。
如视图116所示，显示器110、112中的每一个包括至少一个显示面板118，以显示整体光场帧(下文中，为了便于参考，“光场帧”)的序列或连续，每个帧包括元素图像122的阵列120。为了便于参考，元素图像122的阵列120在本文中也可称为光场帧120。显示器110、112中的每一个还包括覆盖显示面板118的小透镜126(通常也称为“微透镜”)的阵列124。通常，小透镜阵列124中的小透镜126的数量等于阵列120中的元素图像122的数量，但是在其他实施方式中，小透镜126的数量可以比元素图像122的数量更少或更多。注意，尽管图1的示例示出了元素图像122的5×4阵列和小透镜126的对应的5x4阵列120以便于说明，在典型的实施方式中，光场帧120中的元素图像122的数量和小透镜阵列124中的小透镜126的数量通常要高得多。此外，在一些实施例中，为显示器110、112中的每一个实现单独的显示面板118，而在其他实施例中，左眼显示器110和右眼显示器112共享单个显示面板118，显示面板118的左半部分用于左眼显示器110并且显示面板118的右半部分用于右眼显示器112。
图1的交叉视图128描绘了沿着覆盖显示面板118的小透镜阵列124的线AA的横截面视图，使得小透镜阵列124覆盖显示面板118的显示表面130，以便布置在显示器表面130和用户的对应眼睛132之间。在该配置中，每个小透镜126将显示表面130的对应区域聚焦到眼睛的瞳孔134上，每个这样的区域至少部分地与一个或多个相邻区域重叠。因此，在这样的计算显示配置中，当元素图像122的阵列120显示在显示面板118的显示表面130处然后由眼睛132通过小透镜阵列124观看时，用户感知元素图像122的阵列120作为场景的单个图像。因此，当对用户的左眼和右眼两者并行地执行该处理并且在其间实现适当的视差时，结果是向用户呈现自动立体三维(3D)图像。
还如图1所示，渲染组件104包括一组一个或多个处理器，例如图示的中央处理单元(CPU)136和图形处理单元(GPU)138、140以及用于存储软件程序或其他可执行指令的一个或多个存储组件，例如系统存储器142，该软件程序或其他可执行指令由处理器136、138、140访问和执行以便操纵处理器136、138、140中的一个或多个以执行如本文所述的各种任务。这样的软件程序包括例如渲染程序144，其包括用于稀疏采样过程的可执行指令，如下所述。
在操作中，渲染组件104从本地或远程内容源150接收渲染信息148，其中渲染信息148表示图形数据、视频数据或表示作为要渲染并显示在显示子系统102上的图像的主体对象或场景的其他数据。执行渲染程序144，CPU 136使用渲染信息148将绘图指令发送到GPU138、140，GPU 138、140继而利用绘图指令以使用各种众所周知的VR/AR计算/光场渲染过程中的任何一种并行渲染用于在左眼显示器110处显示的一系列光学帧151和用于在右眼显示器112处显示的一系列光学帧153。作为该渲染过程的一部分，CPU 136可以从惯性管理单元(IMU)154接收姿势信息150，由此姿势信息150表示显示子系统102的当前姿势，并且控制一个或多个对光场帧151、153的渲染以反映来自当前姿势的对象或场景的视点。尽管这里在VR和/或AR显示器的上下文中描述了各种实施例，但是本领域技术人员将认识到，稀疏采样超分辨率渲染系统和方法被描述为类似地适用于用于捕获影像的光场相机系统。
图2示出了传统计算显示器的横截面视图200。小透镜阵列124的每个小透镜126用作到用户的眼睛(例如，图1的眼睛132)上的单独“投影仪”，每个“投影仪”在从在显示面板118处显示的元素图像122的阵列120形成复合虚像202时与一个或多个相邻投影仪重叠。如该视图所示，有效折射面积(此处称为“填充因子”)接近100％。也就是说，将光导向小透镜阵列124(即显示面板118)的面积与包括任何间隙的小透镜阵列所占据的占据的总连续面积的比率接近100％。
具有高填充因子的显示器在来自虚像202的多个元素图像122中具有重叠数据。为了说明，小透镜126-1从与虚像202的区域206相对应的元素图像122-2接收图像数据。类似地，小透镜126-2从与虚像202的区域206相对应的元素图像122-5接收图像数据，并且小透镜126-3从与虚像202的区域206相对应的元素图像122-8接收图像数据。因此，从元素图像122-2、122-5和122-8接收的图像数据具有大量的重叠信息。具有高填充因子的常规显示器在虚像平面上通常重叠多个元素图像(例如，4-6个元素图像)。这种重叠导致源分辨率降低相同因子(即，分辨率降低4x-6x)。
可以使用较低的填充因子显示器来恢复分辨率降低的一部分。图3示出了根据一些实施例的可以在近眼显示系统100中使用的低填充因子显示器的截面图300。小透镜阵列124的每个小透镜126用作到用户眼睛(例如，图1的眼睛132)上的单独“投影仪”，每个“投影仪”在从在显示面板118处显示的元素图像122的阵列120形成复合虚像202时与一个或多个相邻投影仪重叠。如该视图所示，填充因子约为33％。也就是说，将光导向小透镜阵列124(即，呈现显示面板118的元素图像122的发光元件)的面积与由包括任何间隙的小透镜阵列所占据的占据的总连续面积的比率大约为33％。
具有较低填充因子的显示器相对于高填充因子显示器提供源数据的稀疏采样，例如图3中所示。为了说明，类似于图2的高填充因子显示器，小透镜126-1从与虚像202的区域206相对应的元素图像122-2接收图像数据。类似地，小透镜126-2从与虚像202的区域206相对应的元素图像122-5接收图像数据，并且小透镜126-3从对应于虚像202的区域206的元素图像122-8接收图像数据。然而，较低的填充因子显示器包括较小的发光元件，其允许源图像数据的更离散的属性，以减少在小透镜阵列124处接收的图像数据的重叠。
如图所示，小透镜126-1从与虚像202的区域206内的子区域206-1相对应的元素图像122-2接收图像数据。小透镜126-2从与虚像202的区域206内的子区域206-2相对应的元素图像122-5接收图像数据。小透镜126-3从与虚像202的区域206内的子区域206-3相对应的元素图像122-8接收图像数据。因此，尽管小透镜126-1、126-2和126-3的全部从源图像的相同局部区域(即，区域206)采样，小透镜126不在相同的精确位置对样本数据进行采样。小透镜126-1、126-2和126-3中的每一个对源图像的略微不同的子区域进行采样，因此相对于彼此具有图像数据的唯一强度值(即，信息内容)。因此，可以通过较低填充因子显示器来获得虚像202的稀疏采样，以减小在小透镜126处接收的图像数据的重叠，并以1/(填充因子)的比率恢复丢失的分辨率。例如，图3的大约33％的填充因子显示器将虚像202的分辨率增加了大约3倍(即，1/0.33填充因子)。
在各种实施例中，显示面板118可包括以例如图3中所示的小填充因子制造的发光元件。这种发光元件可包括例如有机发光二极管(OLED)发射器。然而，对于给定的每单位面积的电流密度和填充因子比，这些发光元件的亮度输出可以受到限制。换句话说，通过减小填充因子来增加虚像分辨率的稀疏采样有时会导致降低显示面板118的亮度的结果。这种较低的亮度至少部分地归因于可用于发光元件输出的较小的表面面积量。
图4示出了根据一些实施例的可以在近眼显示系统100中使用的低填充因子显示器的配置。如横截面视图400所示，小透镜阵列124的每个小透镜126用作到用户眼睛(例如，图1的眼睛132)上的单独“投影仪”，每个“投影仪”在由发光元件402从在显示面板118处显示的元素图像的阵列形成复合虚像202时与一个或多个相邻投影仪重叠。如该视图所示，有效折射面积(在此称为“填充因子”)接近100％。也就是说，将光导向小透镜阵列124(即显示面板118)的面积与包括任何间隙的小透镜阵列所占据的占据的总连续面积的比率接近100％。
具有高填充因子的常规显示器在虚像平面上通常重叠多个元素图像(例如，4-6个元素图像)。具有高填充因子的显示器在来自虚像202的多个元素图像122中具有重叠数据。因此，如横截面视图400所示，在该配置中，像素孔径掩模404位于显示器的光发射器和小透镜阵列124之间。应当注意，像素孔径掩模404实际上并未减小显示面板118的填充因子。将光导向小透镜阵列124的表面面积约为100％，与图2的配置类似。然而，附加像素孔径掩模404使在小透镜阵列124处接收的光变窄，并且允许图像数据仅归因于发光元件402的一部分区域。
例如，基于孔径406的物理尺寸，经过像素孔径掩模在小透镜126-1处接收的光可以归因于发光元件402-1的子区域408-1。发光元件402-1的子区域408-1与图3的元素图像122-2类似，并且与虚像202的区域206内的子区域206-1相对应。类似地，基于经过孔径410在小透镜126-2处接收的光可以归因于发光元件402-2的子区域408-2，且经过孔径412在小透镜126-3处接收的光可以归因于发光元件402-3的子区域408-3。这些子区域408-2和408-3与图3的元素图像122-5、122-8类似，并且分别与虚像202的区域206内的子区域206-2、206-3相对应。因此，像素孔径掩模404通过减小“有效填充因子”(即，如从小透镜126的视点经历的填充因子)而不改变显示面板118的实际填充因子而允许更高的分辨率，从而增加虚像202的空间分辨率，同时保持较大的发射器表面面积(例如，相对于图3)以增加输出亮度。
应注意，横截面视图400未提供关于像素孔径掩模404中的孔径的大小和形状的任何细节。本领域技术人员将认识到，可使用各种大小和形状的孔径而不脱离本公开的范围。例如，可以使用基本上正方形或矩形的孔径。还应注意，尽管横截面视图400示出了像素孔径掩模404与显示面板118和小透镜阵列124之间的空间，但是为了清楚和相关目的而提供了这些空间。例如，在各种实施例中，像素孔径掩模404可以被布置为与显示面板118或小透镜阵列124直接接触，或者施加于与显示面板118或小透镜阵列124直接接触的玻璃表面，而不脱离本公开的范围。
图5示出了根据一些实施例的可以在近眼显示系统100中使用的低填充因子显示器的另一种配置。如横截面视图500所示，小透镜阵列124的每个小透镜126用作到用户眼睛(例如，图1的眼睛132)上的单独“投影仪”，每个“投影仪”在由发光元件402从在显示面板118处显示的元素图像阵列形成复合虚像202时与一个或多个相邻投影仪重叠。如该视图所示，有效折射面积(在此称为“填充因子”)接近100％。也就是说，将光导向小透镜阵列124(即显示面板118)的面积与包括任何间隙的小透镜阵列所占据的占据的总连续面积的比率接近100％。
具有高填充因子的常规显示器在虚像平面上通常重叠多个元素图像(例如，4-6个元素图像)。具有高填充因子的显示器在来自虚像202的多个元素图像122中具有重叠数据。因此，如横截面视图500所示并且如先前关于图4所讨论的那样，像素孔径掩模404位于显示面板118的发光器和小透镜阵列124之间。应当注意，像素孔径掩模404实际上不会降低显示面板118的填充因子。将光导向小透镜阵列124的表面面积大约为100％，类似于图2的配置。然而，附加像素孔径掩模404使在小透镜阵列124处接收的光变窄，并且允许图像数据仅归因于发光元件402的一部分区域。
例如，基于孔径406的物理尺寸，经过像素孔径掩模在小透镜126-1处接收的光可以归因于发光元件402-1的子区域408-1。发光元件402-1的子区域408-1类似于图3的元素图像122-2，并且与虚像202的区域206内的子区域206-1相对应。类似地，基于经过孔径410在小透镜126-2处接收的光可以归因于发光元件402-2的子区域408-2，且经过孔径412在小透镜126-3处接收的光可以归因于发光元件402-3的子区域408-3。这些子区域408-2和408-3类似于图3的元素图像122-5、122-8，并且分别与虚像202的区域206内的子区域206-2、206-3相对应。因此，像素孔径掩模404通过减小“有效填充因子”(即，如从小透镜126的视点经历的填充因子)而不改变显示面板118的实际填充因子而允许更高的分辨率，从而增加虚像202的空间分辨率，同时保持较大的发射器表面面积(例如，相对于图3)以增加输出亮度。
应该注意，尽管图4所示的配置相对于图2的配置提供了增加的发射器表面面积用于增加输出亮度，但是像素孔径掩模404的存在确实将亮度降低η2，其中η＝NAlenslet/NAelem(NAlenslet＝小透镜的数值孔径，并且NAelem＝元素图像的数值孔径)。因此，图5的配置还包括位于每个发光元件402前面的微透镜502。如图5所示，微透镜502被布置在显示面板118和像素孔径掩模404之间，使得微透镜502被配置为聚焦由发光元件402发射的经过孔径的光。因此，将微透镜502与像素孔径掩模404组合通过减小“有效填充因子”(即，从小透镜126的视点经历的填充因子)而不改变显示面板118的实际填充因子来允许更高的分辨率，从而增加虚像202的空间分辨率，同时使用微透镜502聚焦从较大发射器表面面积(例如，相对于图3)发射的光，以增加输出亮度和到小透镜126的光通过量。
应该注意的是，横截面视图500未提供关于像素孔径掩模404中的孔径的大小和形状的任何细节。本领域技术人员将认识到可以使用各种大小和形状的孔径而不脱离本公开的范围。例如，可以使用基本上正方形或矩形的孔径。还应注意，尽管横截面视图500示出了像素孔径掩模404与显示面板118和小透镜阵列124之间的空间，但是为了清楚和相关目的提供了这些空间。例如，在各种实施例中，像素孔径掩模404可以被布置为与显示面板118或小透镜阵列124直接接触，或者施加于与显示面板118或小透镜阵列124直接接触的玻璃表面。而不脱离本公开的范围。
图6示出了根据一些实施例的用于使用低填充因子显示面板渲染光场帧以生成高分辨率光场显示的近眼显示系统100的操作方法600。方法600示出了用于针对左眼显示器110或右眼显示器112中的一个渲染和显示光场帧的过程的一次迭代，因此对于每个显示器110、112并行地重复执行所示过程以在不同的时间点为每只眼睛生成和显示光场帧的不同的流或序列，从而为用户提供3D自动立体VR或AR体验。
对于要生成和显示的光场帧，方法600在框602处开始，由此渲染组件104将要显示给用户的对应眼睛的图像内容识别为光场帧。在至少一个实施例中，渲染组件104从各种姿势相关传感器(诸如陀螺仪、加速度计、磁力计、全球定位系统(GPS)传感器等)接收表示数据的IMU信息152，并且从IMU信息150确定用于将显示器110、112安装在用户眼睛附近的装置114(例如，HMD)的当前姿势。从该IMU信息152，执行渲染程序144的CPU 136可以确定主体场景或对象的对应当前视点，并且从该视点和作为渲染信息148提供的场景或对象的图形和空间描述，确定要渲染的影像。
在块604，渲染程序144操纵CPU 136对空间域中的源对象(例如，图2的虚像202)进行稀疏采样，并基于块602中要渲染的影像的确定来生成元素图像。如上所述，每个元素图像表示例如在框602中确定的来自对应的透视或虚拟相机位置的对象或场景的图像或视图。在各种实施例中，对源对象进行稀疏采样包括最小化在虚像平面上与其他元素图像内的图像数据重叠的每个生成的元素图像内的图像数据的量。
例如，现在参照图7，示出了被配置为稀疏地采样虚像以供显示的低填充因子显示器(例如，图3的实施例)的横截面视图700的示意图。如图所示，小透镜阵列124的每个小透镜126用作到用户眼睛(例如，图1的眼睛132)上的单独“投影仪”，其中每个“投影仪”在从显示在显示面板118处的元素图像形成复合虚像202时与一个或多个相邻的投影仪重叠。如该视图所示，填充因子约为33％。也就是说，将光导向小透镜阵列124(即，显示面板118的诸如像素122的发光元件)的面积与包括任何间隙的由小透镜阵列所占的占据的总连续面积的比率约为33％。
如图所示，由给定图案表示的像素122是来自源虚像202的相同局部区域(例如，局部区域204-206之一)的样本。然而，未在完全相同的位置对像素122进行采样，因此具有唯一强度值(即信息内容)。例如，像素122-1与子区域204-1的稀疏采样相对应，而像素122-4与子区域204-2的稀疏采样相对应。尽管像素122-1和122-4都在相同的局部区域204中采样，但是它们捕获不同的视角并且相对于彼此具有唯一强度值。此外，如图所示，像素122-2与子区域206-1的稀疏采样相对应，而像素122-3与子区域208-1的稀疏采样相对应。因此，基于像素122-1、122-2和122-3渲染的用于经由小透镜126-1呈现的元素图像相对于例如基于像素122-4、122-5和122-6渲染的用于经由小透镜126-2呈现的元素图像将包含唯一数据(与例如其中所有三个显示的小透镜在各个小透镜处接收相同虚像数据的多于一个副本的图2的显示相反)。
类似地，图4至图5及其相关公开内容还讨论了元素图像的生成，该元素图像具有更大的空间分辨率并且在元素图像之间的图像数据中具有更少重叠。在替代实施例中，渲染程序144操纵CPU 136对空间域中的源对象(例如，图2的虚像202)进行稀疏采样，并生成在虚像平面处的图像数据中没有重叠的元素图像，从而最大化系统的效率。GPU随后在框606处渲染光场帧，并将光场帧提供给计算显示器110、112中的对应一个，以显示给用户的眼睛132。另外，在各种实施例中，本文描述的稀疏采样渲染操作可以与变焦距透镜组合以位移虚像平面以实现对所显示的影像的分辨率的额外改进。
图8是示出根据一些实施例的光场超分辨率的示例的示意图。利用光场显示器，在例如用户的图1的眼睛132的视网膜处感知的图像是多个元素图像的复合。每个元素图像经过阵列(例如，图1的阵列124)内的小透镜(例如，图1的小透镜126)并重叠以形成重叠的复合图像。如图所示，元素图像802、804和806的视网膜图像重叠以形成具有重叠子像素元素(例如，红色子像素810、蓝色子像素812和绿色子像素814)的聚合光场像素网格808。当小透镜阵列124与像素点阵网格对准时，子像素元素的视网膜图像如图所示重叠。
在一些实施例中，小透镜阵列124相对于显示面板118的旋转导致光场超分辨率。当显示像素(即，样本网格)相对于小透镜阵列124旋转时(例如，通过小透镜阵列124和/或显示面板118的旋转)，来自每个相邻元素图像的子像素的虚像将不再完全重叠。旋转是复合平移(例如，子像素位置的x轴和y轴平移)，从而导致在视网膜处感知的虚像的偏差。如所示，旋转被建模为一个元素图像的像素网格相对于其邻居网格的x轴和y轴位置的子像素移位。
在某个角度，子像素将完全交织。如图所示，在旋转之后，元素图像816、818和820的像素网格在一个方向上分开半像素，而在另一个方向上分开整数个半像素，导致相邻的元素图像的像素的交织。因此，图像信息从相邻的元素图像转向到复合视网膜图像822的正常黑色区域(例如，由于子像素之间的显示器的非发光部分)，从而产生分辨率的1/N倍的增加，其中N表示共享相同像素的元素图像的数量(例如，冗余因子)。
在图8的实施例中，通过将名义上重叠的像素的虚像移动彼此相距一半像素间距的距离，得到的复合视网膜图像822具有增加2的因子的分辨率。另外感知的像素是来自提供附加图像信息的相邻元素图像的贡献。例如，子像素824是重叠来自两个不同的元素图像的蓝色子像素和绿色子像素的结果。
尽管这里在每个方向上旋转两个元素图像的示例上下文中进行了描述，但是本领域技术人员将认识到，添加更多元素图像将填充颜色通道的间隙。通过移动小透镜阵列124相对于显示面板118的旋转的超分辨率可以扩展以将分辨率增加1/(填充因子)的因子。因此，通过根据视网膜上旋转的虚拟采样网格调整渲染功能以重新采样源图像，相对于子像素元素的视网膜图像重叠(例如，小透镜阵列124与像素点阵网格对齐)时生成具有更高分辨率和更少冗余的复合视网膜图像。
在其他实施例中，还可以通过移动小透镜显示距离(例如，小透镜阵列124相对于图3的显示面板之间的z轴距离)而不是x轴和y轴平移来实现通过交织子像素的超分辨率。由于小透镜显示旋转导致的。为了实现交织状况，小透镜显示距离移动了量其中ΔΦ′＝从交织状况到异常图像平面的屈光度距离，fa＝小透镜焦距，p＝像素大小，da＝小透镜孔径大小，N＝光场冗余因子(例如，1/(填充因子))。从交织状况到异常图像平面ΔΦ′的屈光度距离由等式表示，其中p/N光发射器尺寸，da＝小透镜孔径大小，和fa＝小透镜焦距。类似地，混叠重叠状况(即，异常图像平面)之间的屈光度距离由等式表示，其中p＝像素大小，da＝小透镜孔径大小，并且fa＝小透镜焦距。
在这种交织状况下的虚像(例如，图3的虚像202)的深度范围受到小透镜景深或用户的眼睛适应范围的限制，例如阻挡对间隔了的p/(dafa)异常图像重建的感知，其中p＝像素大小，da＝小透镜孔径大小，fa＝小透镜焦距。理想情况下，η＝NAlenslet/NAelem(即，NAlenslet＝小透镜的数值孔径，NAelem＝元素图像的数值孔径)，但任何值η<1将产生分辨率增益，因为填充因子不能>1且光场显示分辨率不能超过显示面板118的原始显示面板分辨率。以这种方式，通过移动小透镜阵列124和显示面板118之间的相对距离，产生更高分辨率的复合视网膜图像。
在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器实现。该软件包括存储或以其他方式有形地体现在非暂时性计算机可读存储介质上的一组或多组可执行指令。软件可以包括指令和某些数据，当由一个或多个处理器执行时，操纵一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可包括例如磁盘或光盘存储设备，诸如闪存的固态存储设备、高速缓存、随机存取存储器(RAM)或其他非易失性存储设备或装置等。存储在非暂时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、对象代码或由一个或多个处理器解释或以其他方式可执行的其他指令格式。
计算机可读存储介质可以包括在使用期间可由计算机系统访问以向计算机系统提供指令和/或数据的任何存储介质或存储介质的组合。这样的存储介质可以包括但不限于光学介质(例如，光盘(CD)、数字通用盘(DVD)、蓝光盘)、磁介质(例如，软盘、磁带或磁性硬盘驱动)、易失性存储器(例如，随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如，只读存储器(ROM)或闪存)或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以嵌入在计算系统中(例如，系统RAM或ROM)，固定地附接到计算系统(例如，磁性硬盘驱动)，可移除地附接到计算系统(例如，光盘或基于通用串行总线(USB)的闪存)，或通过有线或无线网络耦合到计算机系统(例如，网络可访问存储(NAS))。
注意，并非需要一般描述中的上述所有活动或元素，可能不需要特定活动或设备的一部分，并且可以除了描述的那些之外执行一个或多个其他活动或者包括一个或多个其他元素。此外，列出活动的顺序不一定是执行它们的顺序。而且，已经参考特定实施例描述了这些概念。然而，本领域普通技术人员认识到，在不脱离如下面的权利要求所阐述的本公开的范围的情况下，可以进行各种修改和改变。因此，说明书和附图应被视为说明性而非限制性意义，并且所有这些修改旨在包括在本公开的范围内。
上面已经针对特定实施例描述了益处、其他优点和问题的解决方案。但是，益处、优点、问题的解决方案以及可能导致任何益处、优点或解决方案发生或变得更加明显的任何特征不应被解释为权利要求中的任何或所有的关键、必需或必要特征。此外，以上公开的特定实施例仅是说明性的，因为所公开的主题可以以受益于本文教导的本领域技术人员显而易见的不同但等同的方式进行修改和实践。除了在下面的权利要求中描述的之外，对于本文所示的结构或设计的细节没有限制。因此显而易见的是，可以改变或修改上面公开的特定实施例，并且所有这些变化都被认为在所公开的主题的范围内。因此，本文寻求的保护如下面的权利要求中所述。

Claims (19)

1.一种近眼显示系统(100)，包括：
渲染组件(104)，所述渲染组件(104)用于至少部分地基于源图像的稀疏采样来生成元素图像(122)的阵列，以减少在所述元素图像(122)的阵列的每个单独元素图像内所包含的图像数据的重叠；
显示面板(118)，所述显示面板(118)用于显示包括所述元素图像(122)的阵列的整体光场帧(120)；和
小透镜阵列(124)，所述小透镜阵列(124)用于向用户的眼睛(132)呈现所述整体光场帧(120)。
2.根据权利要求1所述的近眼显示系统，进一步包括：
像素孔径掩模(404)，所述像素孔径掩模(404)被布置在所述显示面板(118)和所述小透镜阵列(124)之间，其中，所述像素孔径掩模(404)包括孔径(406、410、412)，所述孔径(406、410、412)被配置成相对于所述显示器(118)的实际填充因子减小所述显示面板(118)的有效填充因子。
3.根据权利要求2所述的近眼显示系统，其中，所述像素孔径掩模(404)的所述孔径(406、410、412)暴露所述显示面板(118)的每个发光元件(402)的一部分，以用于向所述小透镜阵列(124)发送图像数据。
4.根据权利要求3所述的近眼显示系统，其中，所述渲染组件(104)用于通过识别与每个发光元件(402)的所暴露的部分(408)相对应的源图像的区域来生成所述元素图像(122)的阵列。
5.根据权利要求2所述的近眼显示系统，进一步包括：
多个微透镜(502)，所述微透镜(502)被布置在所述显示面板(118)和所述像素孔径掩模(404)之间，其中，所述微透镜(502)被配置为增加到所述小透镜阵列(124)的光通过量。
6.根据权利要求1所述的近眼显示系统，其中，所述渲染组件用于通过以下方式来生成所述元素图像(122)的阵列：
生成所述元素图像(122)的阵列，使得所述阵列的每个单独元素图像包含相对于所述阵列中的所有其他元素图像唯一的唯一图像数据。
7.根据权利要求1所述的近眼显示系统，其中，所述小透镜阵列(124)相对于所述显示面板(118)旋转，使得来自每个单独元素图像(802、804、806)的像素(810、812、814)的虚像相对于所述阵列中的所有其他元素图像在位置上平移。
8.根据权利要求7所述的近眼显示系统，其中，来自每个单独元素图像(816、818、820)的像素(824)的虚像在所述阵列中的一个或多个相邻元素图像的像素的虚像之间被交织。
9.一种渲染系统，包括：
至少一个处理器(136、138、140)；
输入端，所述输入端用于从至少一个姿势相关传感器(154)接收数据，所述数据指示主体对象相对于近眼显示面板(118)的当前视点；和存储组件(142)，所述存储组件(142)用于存储可执行指令集，所述可执行指令集被配置为操纵所述至少一个处理器以至少部分地基于所述主体对象(202)的稀疏采样来渲染包括元素图像(122)的阵列的整体光场帧(120)，以减少在所述元素图像的阵列的每个单独元素内所包含的图像数据的重叠。
10.根据权利要求9所述的渲染系统，其中，所述可执行指令集被配置为操纵所述至少一个处理器以通过以下方式来渲染所述整体光场帧：
将部分的所述主体对象(202)归因于要由所述近眼显示面板(118)的发光元件显示的一个或多个元素图像。
11.根据权利要求9所述的渲染系统，其中，所述可执行指令集被配置为操纵所述至少一个处理器以通过以下方式来渲染所述整体光场帧：
确定所述发光元件中的每个发光元件的由像素孔径掩模(404)所暴露的部分(408)；和
将部分的所述主体对象(202)归因于要由所述近眼显示面板(118)的所述发光元件(402)的所暴露的部分(408)显示的一个或多个元素图像。
12.根据权利要求9所述的渲染系统，其中，所述可执行指令集被配置为操纵所述至少一个处理器以通过以下方式来渲染所述整体光场帧：
生成所述元素图像(122)的阵列，使得所述阵列的每个单独元素图像包含相对于阵列中的所有其他元素图像唯一的唯一图像数据。
13.根据权利要求9所述的渲染系统，其中，所述可执行指令集被配置为操纵所述至少一个处理器以通过以下方式来渲染所述整体光场帧：
基于所述元素图像的阵列的每个单独元素图像(816、818、820)具有在所述阵列中的一个或多个相邻元素图像的像素的虚像之间被交织的像素(824)的虚像来对所述源对象(202)进行采样。
14.一种在近眼显示系统中的方法，包括：
使用至少一个姿势相关传感器(154)确定主体对象相对于所述近眼显示系统(100)的显示面板的当前视点；
基于所述主体对象的所述当前视点的稀疏采样，生成形成整体光场帧(120)的元素图像(122)的阵列，以减少在所述阵列的每个单独元素图像内所包含的图像数据的重叠；
在所述整体光场帧内的位置处渲染所述元素图像(122)的阵列；以及
在所述显示面板(118)处显示所述整体光场帧(120)。
15.根据权利要求14所述的方法，其中，生成所述元素图像的阵列包括：
识别所述显示面板(118)的多个发光元件(402)中的每一个发光元件(402)的由像素孔径掩模(404)中的孔径(406、410、412)所暴露的暴露部分(408)。
16.根据权利要求15所述的方法，其中，生成所述元素图像的阵列包括：
识别与每一个发光元件(402)的所暴露部分(408)相对应的源图像(202)的区域。
17.根据权利要求15所述的方法，其中，在所述显示面板处显示所述整体光场帧包括：
使用在所述显示面板(118)和所述像素孔径掩模(404)之间布置的微透镜(502)的集合来聚焦穿过所述孔径(406、410、412)的表示所述元素图像的阵列的光。
18.根据权利要求17所述的方法，进一步包括：
相对于所述显示面板(118)旋转所述微透镜(502)的集合，使得来自每个单独元素图像(802、804、806)的像素(810、812、814)的虚像相对于所述阵列中的所有其他元素图像(802、804、806)在位置上平移。
19.根据权利要求18所述的方法，其中，相对于所述显示面板(118)旋转所述微透镜(502)的集合使来自每个单独元素图像的像素(824)的虚像交织在所述阵列中的一个或多个相邻元素图像的像素的虚像之间。
CN201880008692.0A 2017-05-26 2018-02-15 具有稀疏采样超分辨率的近眼显示 Pending CN110325892A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762511561P 2017-05-26 2017-05-26
US62/511,561 2017-05-26
PCT/US2018/018434 WO2018217253A1 (en) 2017-05-26 2018-02-15 Near-eye display with sparse sampling super-resolution

Publications (1)

Publication Number Publication Date
CN110325892A true CN110325892A (zh) 2019-10-11

Family

ID=68112757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880008692.0A Pending CN110325892A (zh) 2017-05-26 2018-02-15 具有稀疏采样超分辨率的近眼显示

Country Status (2)

Country Link
EP (1) EP3631559A1 (zh)
CN (1) CN110325892A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111781736A (zh) * 2020-08-30 2020-10-16 成都工业学院 基于复合针孔偏振片的3d显示装置及方法
CN112698515A (zh) * 2020-04-18 2021-04-23 彭昊 一种裸眼三维显示成像方法及光场模拟器
CN112859366A (zh) * 2021-04-01 2021-05-28 成都工业学院 基于复合偏振片的双视3d显示方法
CN112859373A (zh) * 2021-04-01 2021-05-28 成都工业学院 基于离散式复合图像元阵列的3d显示方法
CN113009709A (zh) * 2021-04-01 2021-06-22 成都工业学院 基于复合针孔阵列的双视3d显示方法
CN113031297A (zh) * 2021-04-01 2021-06-25 成都工业学院 基于偏振眼镜的双视3d显示方法
CN113031301A (zh) * 2021-04-01 2021-06-25 成都工业学院 宽视角和高光学效率一维集成成像3d显示方法
WO2023156826A1 (en) * 2022-02-18 2023-08-24 Zhang Chuanrui 2d transparent display device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104246578A (zh) * 2012-04-25 2014-12-24 微软公司 用于头戴式光场显示器的基于可移动led阵列和微透镜阵列的光场投影仪
US20150085259A1 (en) * 2012-03-29 2015-03-26 Fraunhofer-Gesellschaft zur Foerderung der angewan ten Forschung e.V. Projection display and method for projecting an overall image
CA2931776A1 (en) * 2013-11-27 2015-06-04 Magic Leap, Inc. Virtual and augmented reality systems and methods
US20150177514A1 (en) * 2013-12-19 2015-06-25 Nvidia Corporation System, method, and computer program product for a pinlight see-through near-eye display
CN106019605A (zh) * 2016-08-04 2016-10-12 京东方科技集团股份有限公司 近眼显示装置和方法
CN106097251A (zh) * 2016-06-22 2016-11-09 深圳信息职业技术学院 非均匀稀疏采样视频超分辨率方法
US20170038590A1 (en) * 2015-08-03 2017-02-09 Oculus Vr, Llc Enhanced Pixel Resolution through Non-Uniform Ocular Projection
US20170147034A1 (en) * 2013-08-14 2017-05-25 Nvidia Corporation Hybrid optics for near-eye displays

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150085259A1 (en) * 2012-03-29 2015-03-26 Fraunhofer-Gesellschaft zur Foerderung der angewan ten Forschung e.V. Projection display and method for projecting an overall image
CN104246578A (zh) * 2012-04-25 2014-12-24 微软公司 用于头戴式光场显示器的基于可移动led阵列和微透镜阵列的光场投影仪
US20170147034A1 (en) * 2013-08-14 2017-05-25 Nvidia Corporation Hybrid optics for near-eye displays
CA2931776A1 (en) * 2013-11-27 2015-06-04 Magic Leap, Inc. Virtual and augmented reality systems and methods
US20150177514A1 (en) * 2013-12-19 2015-06-25 Nvidia Corporation System, method, and computer program product for a pinlight see-through near-eye display
US20170038590A1 (en) * 2015-08-03 2017-02-09 Oculus Vr, Llc Enhanced Pixel Resolution through Non-Uniform Ocular Projection
CN106097251A (zh) * 2016-06-22 2016-11-09 深圳信息职业技术学院 非均匀稀疏采样视频超分辨率方法
CN106019605A (zh) * 2016-08-04 2016-10-12 京东方科技集团股份有限公司 近眼显示装置和方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112698515A (zh) * 2020-04-18 2021-04-23 彭昊 一种裸眼三维显示成像方法及光场模拟器
CN112698515B (zh) * 2020-04-18 2023-08-22 彭昊 一种裸眼三维显示成像方法及光场模拟器
CN111781736A (zh) * 2020-08-30 2020-10-16 成都工业学院 基于复合针孔偏振片的3d显示装置及方法
CN112859366A (zh) * 2021-04-01 2021-05-28 成都工业学院 基于复合偏振片的双视3d显示方法
CN112859373A (zh) * 2021-04-01 2021-05-28 成都工业学院 基于离散式复合图像元阵列的3d显示方法
CN113009709A (zh) * 2021-04-01 2021-06-22 成都工业学院 基于复合针孔阵列的双视3d显示方法
CN113031297A (zh) * 2021-04-01 2021-06-25 成都工业学院 基于偏振眼镜的双视3d显示方法
CN113031301A (zh) * 2021-04-01 2021-06-25 成都工业学院 宽视角和高光学效率一维集成成像3d显示方法
CN113009709B (zh) * 2021-04-01 2022-11-15 成都航空职业技术学院 基于复合针孔阵列的双视3d显示方法
CN113031297B (zh) * 2021-04-01 2022-11-15 成都航空职业技术学院 基于偏振眼镜的双视3d显示方法
CN112859373B (zh) * 2021-04-01 2022-11-18 成都航空职业技术学院 基于离散式复合图像元阵列的3d显示方法
WO2023156826A1 (en) * 2022-02-18 2023-08-24 Zhang Chuanrui 2d transparent display device

Also Published As

Publication number Publication date
EP3631559A1 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
KR102270131B1 (ko) 스파스 샘플링 슈퍼-해상도를 가진 니어-아이 디스플레이
CN110325892A (zh) 具有稀疏采样超分辨率的近眼显示
KR102415502B1 (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
JP4707368B2 (ja) 立体視画像作成方法および装置
JP4328311B2 (ja) 三次元画像表示用多視点画像の作成方法およびプログラム
JP3966830B2 (ja) 立体表示装置
JP4327758B2 (ja) 立体画像表示装置
JP2019511024A (ja) パノラマフレームを生成するプロセスにおけるフレームの適応ステッチング
CN103562963A (zh) 用于角切片真3d显示器的对准、校准和渲染的系统和方法
JP2007506172A (ja) ３次元画像ディスプレイの画面に３次元画像を描画するシステム及び方法
KR20160021968A (ko) 영상 처리 방법 및 장치
US9791707B2 (en) Auto-stereoscopic display apparatus and non-transitory computer readable storage device
JPWO2013132601A1 (ja) 立体画像表示装置及びプログラム
JP2007336002A (ja) 多視点映像表示装置
JP2010113159A (ja) 立体画像表示装置および立体画像表示方法
US20220309621A1 (en) Virtual, augmented, and mixed reality systems and methods
JP4703635B2 (ja) 立体視画像生成方法、その装置、及び立体視画像表示装置
JP4660769B2 (ja) 多視点立体ディスプレイ装置
WO2014119555A1 (ja) 画像処理装置、表示装置及びプログラム
US20100277573A1 (en) Orthostereoscopic Motion Picture Theater
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
JP6102945B2 (ja) 画像表示装置、レンチキュラレンズおよび画像表示方法
JP5428723B2 (ja) 画像生成装置、画像生成方法、および、プログラム
Hansen et al. Calibrating, Rendering and Evaluating the Head Mounted Light Field Display
WO2020256767A1 (en) Method and apparatus for correcting lenticular distortion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220819

AD01 Patent right deemed abandoned