CN110651217B - 具有减小的离轴光学像差的小透镜阵列的近眼显示器 - Google Patents

具有减小的离轴光学像差的小透镜阵列的近眼显示器 Download PDF

Info

Publication number
CN110651217B
CN110651217B CN201880033318.6A CN201880033318A CN110651217B CN 110651217 B CN110651217 B CN 110651217B CN 201880033318 A CN201880033318 A CN 201880033318A CN 110651217 B CN110651217 B CN 110651217B
Authority
CN
China
Prior art keywords
lenslet
lenslet array
array
light field
lenslets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880033318.6A
Other languages
English (en)
Other versions
CN110651217A (zh
Inventor
约翰·D·佩罗特
帕特里克·卢尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110651217A publication Critical patent/CN110651217A/zh
Application granted granted Critical
Publication of CN110651217B publication Critical patent/CN110651217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938Using specific optical elements
    • G02B27/095Refractive optical elements
    • G02B27/0955Lenses
    • G02B27/0961Lens arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0147Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Lenses (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

近眼显示系统(100)包括:显示面板(110、112),所述显示面板用于显示光场图像(151),所述光场图像(151)包括元素图像(122)的阵列(120);以及小透镜阵列(124),所述小透镜阵列(124)面朝所述显示面板并且包括具有空间变化规定的小透镜(126),诸如不同直径、不同焦距和不同非球面项。所述小透镜阵列还可以形成有平面的或非平面的基板(127、227)。所述系统还可以包括失真图(144),所述失真图(144)包括一组变换矩阵,每个变换矩阵被配置为对光场图像的对应元素图像进行预失真以便补偿预计会由所述小透镜阵列的对应小透镜引入的失真;以及渲染组件(104),所述渲染组件被配置为使用所述失真图修改渲染后的光场的元素图像的阵列以生成修改光场图像,以显示在所述显示面板处。

Description

具有减小的离轴光学像差的小透镜阵列的近眼显示器
技术领域
本申请涉及具有减小的离轴光学像差的小透镜阵列的近眼显示器。
背景技术
头戴式显示器(HMD)和其他近眼显示系统可以利用近眼光场显示器或其他计算显示器来提供三维(3D)图形的有效显示。通常,近眼光场显示器采用一个或多个显示面板以及覆盖该一个或多个显示面板的一个或多个小透镜阵列。渲染系统渲染元素图像的阵列,各个元素图像表示从对应的视角或虚拟相机位置看到的对象或场景的图像或视图。在常规近眼显示器中,小透镜阵列由设置在平面基板上的均匀小透镜组成。这种设置会产生离轴光学像差,通常表现为模糊,这是随着显示器边缘附近的几何路径长度增加在元素图像和小透镜阵列中心之间的偏斜导致的。这些聚焦误差通常是用户可检测到的,因此有损观看体验。
发明内容
在第一方面中,本申请限定了一种近眼显示系统,包括:显示面板,该显示面板用于显示光场图像,该光场图像包括元素图像的阵列;以及面朝该显示面板的小透镜阵列,该小透镜阵列包括具有空间变化规定的小透镜,其中,每个小透镜具有至少部分地基于该小透镜在该小透镜阵列内的位置的规定。本申请还扩展到一种近眼显示系统,包括:显示面板,该显示面板用于显示光场图像,该光场图像包括元素图像的阵列;以及面朝该显示面板的小透镜阵列,该小透镜阵列包括位于非平面基板上的小透镜,其中,该非平面基板具有非零光功率。
在另一方面中,提供了一种在近眼显示系统处显示光场图像的方法,该方法包括:访问针对小透镜阵列的失真图,该小透镜阵列具有带空间变化规定的小透镜,该失真图包括多个变换矩阵,每个变换矩阵被配置为对光场图像的对应元素图像进行预失真以补偿预计会由该小透镜阵列的对应小透镜引入到该元素图像的失真;使用该失真图修改光场图像以生成修改光场图像;以及将该修改光场图像提供给该近眼显示系统的显示面板以通过该小透镜阵列显示给观看者。
附图说明
通过参考附图,可以更好地理解本公开,并且其众多特征和优点对于本领域技术人员而言显而易见。在不同附图中使用相同的附图标记表示相似或相同的项。
图1是示出了根据一些实施例的采用小透镜阵列的近眼显示系统的示意图,该小透镜阵列被配置为减小离轴光学像差。
图2是示出了根据一些实施例的图1所示的、具有非平面基板的小透镜阵列的实施方式的俯视图和截面图的示意图。
图3是示出了根据一些实施例的图1所示的、具有不同直径的小透镜的小透镜阵列的实施方式的俯视图和截面图的示意图。
图4是示出了根据一些实施例的图1所示的、具有不同焦距的小透镜的小透镜阵列的实施方式的俯视图和截面图的示意图。
图5是示出了根据一些实施例的图1所示的、具有不同非球面参数的小透镜的小透镜阵列的实施方式的俯视图和截面图的示意图。
图6是示出了根据一些实施例的用于生成与图1所示的近眼显示系统的小透镜阵列的具有不同规定的小透镜匹配的修改光场的方法的示意图。
图7是示出了根据一些实施例的如图6所示的方法的示例的示意图。
具体实施方式
图1-7示出了用于减轻近眼显示系统中的焦点模糊的示例方法和系统。在至少一个实施例中,近眼显示系统采用计算显示器向用户显示近眼光场,从而为用户提供身临其境的虚拟现实(VR)或增强现实(AR)体验。各个近眼光场都由元素图像的阵列组成,各个元素图像表示从不同的对应视点看到的对象或场景的视图。小透镜阵列(在下文中称为“小透镜阵列”)覆盖在显示面板之上,并且用于将元素图像阵列作为单个自动立体图像呈现给用户。
为了减轻在常规小透镜阵列实施方式中发现的由于使用均匀小透镜和/或平面基板而导致的聚焦模糊,在至少一个实施例中,近眼显示系统的小透镜阵列利用具有随空间变化规定的小透镜(即,各个小透镜都有基于其在阵列中的位置的规定)、或者非平面基板、或者具有空间变化规定的小透镜与非平面基板的组合。如本文中更详细地描述的,通过利用不均匀的小透镜和/或非平面基板,可以减小小透镜和光场的元素图像之间的视场角,从而减少模糊和其他聚焦误差,从而改善了在通过小透镜阵列观察光场时的用户体验。
图1示出了根据至少一个实施例的并入了减轻离轴光学像差的近眼显示系统100。在所描绘的示例中,近眼显示系统100包括计算显示子系统102和渲染组件104。近眼显示系统100还可以包括其他组件,诸如眼睛跟踪子系统、惯性测量单元(IMU)、音频组件等,为了清楚起见,已经省略了这些组件。计算显示子系统102包括左眼显示器110和右眼显示器112,该左眼显示器110和右眼显示器112安装在将显示器110、112分别放置在左、右眼前方的设备114(例如,护目镜、眼镜等)中。
如视图116所示,显示器110、112中的每一个包括至少一个显示面板118以显示一系列或连续的近眼光场图像,各个近眼光场图像包括元素图像122的阵列120。各个显示器110、112还包括小透镜126(也通常称为“微透镜”)的阵列124,这些小透镜设置在覆盖显示面板118的基板127上。在一个实施例中,小透镜126和基板127是由一种材料或多种材料(诸如丙烯酸或其他塑料、玻璃等)的组合铸造或加工而成的一个整体。在其他实施例中,小透镜124和基板127分别制造,然后使用光学粘合剂、压入配合张力等将小透镜124机械地附接到基板127。为了进行参考,在图1中将显示面板118的显示表面和小透镜阵列124的主表面示出为定向在X-Y平面上。
通常,小透镜阵列124中的小透镜126的数量等于阵列120中的元素图像122的数量,但是在其他实施方式中,小透镜126的数量可以小于或大于元素图像122的数量。注意,虽然为了便于说明图1的示例示出了元素图像122的5×4阵列120和小透镜126的对应5×4阵列124,但在典型的实施方式中,在光场图像120中的元素图像122的数目和在小透镜阵列124中的小透镜126的数目通常更高。此外,在一些实施例中,为显示器110、112中的每一个实现单独的显示面板118,而在其他实施例中,左眼显示器110和右眼显示器112共享单个显示面板118,显示面板118的左半部分用于左眼显示器110而显示面板118的右半部分用于右眼显示器112。
在小透镜阵列124覆盖显示面板118的情况下,各个小透镜126将显示面板118的显示表面的对应区域聚焦到用户的对应眼睛的瞳孔上,每个这样的区域至少部分地与一个或多个相邻区域重叠。因此,在这样的计算显示配置中,当元素图像122的阵列120被显示在显示面板118的显示表面上并且然后通过小透镜阵列124被眼睛观看时,用户将元素图像122的阵列120感知为场景的单个图像。当针对用户的左眼和右眼并行执行此过程并在其间实现适当的视差时,结果是在通常由这种计算显示器提供的相对较宽的FOV和较浅的形式因子情况下将自动立体三维(3D)图像呈现给了用户。
在常规近眼显示系统中,设置在显示面板和用户眼睛之间的小透镜阵列由设置在平面基板上的均匀小透镜阵列(即,均具有相同规定的小透镜)组成。这样,常规小透镜阵列的小透镜都具有相同的焦距,并且具有与平面基板正交并因此彼此平行的光轴。通常,这会导致通过常规小透镜阵列相对清晰地感知在所显示的光场中心的元素图像,因为这些元素图像位于显示面板的中心并且大约位于对应小透镜的焦距上,并且小透镜和对应元素图像的视场角(即,小透镜的光轴与通过该小透镜观看到的元素图像的主光线之间的角度)相对较小。但是,小透镜距离阵列中心的位置越远,小透镜的光轴和对应元素图像中心之间的偏斜越大,这反过来又反映了小透镜的焦距与在透镜及其对应元素图像之间的几何路径长度之间的差距越来越大、以及小透镜与该元素图像之间的视场角更大。结果,当通过常规小透镜阵列观看显示的光场时,模糊和其他离轴光学像差的大小会朝着用户眼睛所知的图像的外围增大。
近眼显示系统100的小透镜阵列124配置为减轻这种离轴光学像差,从而提供改善的用户观看体验。在至少一些实施例中,该配置包括:配置小透镜阵列124,使得基板127是非平面的;即,基板127绕一个或多个轴弯曲。在其他实施例中,该配置包括配置小透镜阵列124,使得小透镜126的规定在空间上是变化的。也就是说,各个小透镜126具有至少部分地基于小透镜阵列124内该小透镜的位置的规定。可以以这种方式不同的小透镜126的规定参数包括:例如,小透镜的直径、小透镜的焦距、或小透镜的非球面参数。在其他实施例中,小透镜阵列124的配置包括:将小透镜阵列124配置为既具有非平面基板127又具有带不同规定的小透镜126。以下参考图2至图5描述具有这种配置的小透镜阵列124的示例实施方式。
同样如图1所示,渲染组件104包括一组一个或多个处理器(诸如所示的中央处理单元(CPU)128和图形处理单元(GPU)130、132)、以及一个或多个存储组件(诸如系统存储器134),以存储由处理器128、130、132访问和执行的软件程序或其他可执行指令,以便操纵一个或多个处理器来执行本文所述的各种任务。这样的软件程序包括:例如,如下所述的渲染程序136,该渲染程序136包括用于光场渲染过程的可执行指令;以及,也如下所述的光场修改程序138,该光场修改程序138包括用于转换生成的光场以更好地匹配小透镜阵列124的光学参数的可执行指令。
在操作中,渲染组件104从本地或远程内容源142接收渲染信息140,其中渲染信息140表示图形数据、视频数据或其他表示对象或场景的数据,该对象或场景是要渲染和显示在显示子系统102处的图像的主题。通过执行渲染程序136,CPU 128使用渲染信息140向GPU130、132发送绘图指令,GPU 130、132继而使用各种公知的VR/AR计算/光场渲染方法中的任何一种利用绘图指令并行地渲染要显示在左眼显示器110处的一系列初始的或原始的光场图像以及要显示在右眼显示器112处的一系列初始的或原始的光场图像。
如本文中详细描述的,小透镜阵列124使用具有不同规定的非平面基板或小透镜中的一种或两种。当使用非平面基板时,这引入了应考虑的非零光功率。同样,当使用具有不同规定的小透镜时,由于规定的不同,给定的小透镜可能会按照与其他小透镜扭曲其对应元素图像不同的方式使对应元素图像失真。因此,在至少一个实施例中,渲染组件104可以对通过执行光场渲染程序136生成的光场图像进行“预失真”,以适应由小透镜阵列126的不同小透镜126引入的不同失真。为了进行图示,在至少一个实施例中,为小透镜阵列124生成失真图144,其中失真图144包括预失真变换矩阵的阵列,各个变换矩阵与对应的元素图像位置相关联并且被配置为针对该元素图像位置对预计会由小透镜阵列124的对应小透镜126引入的失真进行预补偿。给定元素图像位置的预失真变换矩阵基于对应小透镜126的规定以及元素图像位置相对于小透镜126的位置(以及用户眼睛的预期位置),并且可以使用多种技术中的任何一种通过对这些参数进行计算分析来确定。此外,在一些实施例中,可以在开发期间共同优化预失真变换矩阵和对应小透镜的规定。在小透镜124具有相同规定但基板127是非平面的情况下,可以对各个元素图像应用相同的预失真变换矩阵。
为了进行图示,对于由GPU 130执行光场渲染程序136生成的各个初始光场图像,GPU 130还可以执行光场修改程序138(可以是与程序136相同的程序)以使用失真图144(例如,存储在存储器134中)生成对应的修改光场图像151,以显示在左显示器110上。类似地,GPU 132执行相同的过程为右显示器112生成对应的修改光场图像153。这样,当通过其对应的小透镜阵列124观看修改光场图像151、153时,通过应用失真图144而在元素图像中引入的预失真有效地抵消了由小透镜阵列124所引入的失真,因此将相对未失真的元素图像呈现给用户的眼睛,并被用户的视觉感知系统感知为两个立体图像,这两个立体图像一起被解读为场景的3D视图。
图2-5示出了具有用于减轻模糊和其他像差的各种配置的小透镜阵列124的各种示例实施方式。注意,为了便于图示,在这些图中示出了相对简单的小透镜的3×3或3×5阵列。在典型的实施方式中,所示的小透镜阵列将具有更多的小透镜。此外,虽然小透镜阵列124的各种实施方式的小透镜布置成矩形栅格图案,但是在其他实施例中,小透镜可以布置成其他图案,诸如六边形图案、八边形图案等。
转到图2,示出了沿着小透镜阵列224(小透镜阵列124的一个实施例)的切割线A-A的俯视图200和对应的截面图202。在该实施例中,小透镜阵列224包括非平面或弯曲的基板227(基板127的一个实施例),在基板227处设置有多个小透镜,包括小透镜226-1、226-2和226-3(小透镜126的实施例)。在所示的实施例中,小透镜设置在主表面206处并且从该表面突出(即,沿Z方向)。基板227的主表面206和相对的主表面207都沿一个轴弯曲,诸如沿截面图202所示的Y轴弯曲,或者沿X轴弯曲,或者沿两个正交轴弯曲,诸如同时沿X和Y轴弯曲。
当基板227弯曲时,基板227引入一些非零的光功率,因此可以配置基板227的规定使得基板227本身充当校正透镜以校正由小透镜引入的某些失真或与小透镜结合用于光学放大或光学收缩元素图像的视图。对于小透镜,在一些实施例中,它们是均匀的或具有相同的规定。然而,为了更好地减轻离轴光学像差,在其他实施例中,在至少一些小透镜之间,规定不同。为了进行图示,位于小透镜阵列224中心的小透镜可以是径向对称的,从而具有与基板227的局部区域正交的光轴,而更多位于外围的小透镜可以具有径向不对称性,从而具有与基板227的局部区域不正交的光轴。例如,位于中心的小透镜226-2可以形成为具有径向对称性,从而具有与基板227的局部表面正交(并且与显示面板118的显示表面正交)的光轴208,而位于外围的小透镜226-1可以形成有非球面轮廓,从而产生相对于光轴208成非零角度(即不平行于光轴208)的中心光轴210,并且实际上是背离小透镜阵列224的中心。结果,位于小透镜阵列224外围的小透镜的光轴更紧密地匹配所显示的光场图像的对应元素图像的主光线,从而减小了由常规平面基板上的对应位置处的小透镜引入的任何离轴光学像差的大小。同样,基板227的曲率引入了朝小透镜阵列的边缘变化的补偿屈光力。
图3示出了根据一些实施例的沿着小透镜阵列324(小透镜阵列124的一个实施例)的切割线B-B的俯视图300和对应的截面图302,该小透镜阵列324具有不同直径的小透镜。在所描绘的示例中,小透镜阵列324包括基板327(基板127的一个实施例),该基板327可以是平面的,或者在一些实施例中,如上文参考图2的基板227所描述的,沿着一个或多个轴弯曲。小透镜阵列324还包括多个小透镜,包括小透镜326-1、326-2、326-3和326-4(小透镜126的实施例),这些小透镜设置在基板327的主表面306上并从主表面306突出。多个小透镜包括具有不同占用面积或直径的小透镜,由此,对应小透镜的参考直径在小透镜与基板327的界面处确定,或者将其确定为小透镜的最大直径。
在一些实施例中,小透镜的直径至少部分地基于小透镜在小透镜阵列324内的位置,并且直径随着小透镜位置距小透镜阵列324中心的距离的增加而减小。为了进行图示,位于小透镜阵列324的中心的小透镜326-2具有直径310,而位于中心小透镜326-2的紧邻侧的小透镜326-1和326-3均具有直径311,该直径311小于直径310。此外,与中心小透镜326-2成对角并且因此位于最外围的小透镜326-4具有直径312,该直径312小于直径311。
要理解的是,通过小透镜的光量基于小透镜的直径,因此对于给定的焦距,通过大直径的小透镜观看到的元素图像比通过小直径的小透镜观看到的元素图像更明亮。因此,在小透镜阵列324的各个小透镜具有相同的曲率半径或具有相同的焦距的实施方式中,由于小透镜的直径随着小透镜的位置从中心向外围行进而减小,所以,相较于在光场图像的中心处的元素图像,在光场图像外围的元素图像以更低的亮度被呈现并且因此被“弱化”。结果,可以按照凹入的方式渲染光场图像,使得各个元素图像的大小与对应的小透镜的直径相称,并且在中心以较高的分辨率相称地渲染显示图像并向外围降低。由于模糊和聚焦误差更可能会发生在外围,因此,位于外围的元素图像的大小的弱化会使用户的视觉感知系统弱化此类焦点误差。
图4示出了根据一些实施例的沿着小透镜阵列424(小透镜阵列124的一个实施例)的切割线C-C的俯视图400和对应的截面图402,该小透镜阵列424具有不同焦距的小透镜。在所描绘的示例中,小透镜阵列424包括基板427(基板127的一个实施例),该基板427可以是平面的,或者在一些实施例中,如上文参考图2的基板227所描述的,沿着一个或多个轴弯曲。小透镜阵列424还包括多个小透镜,包括小透镜426-1、426-2、426-3和426-4(小透镜126的实施例),这些小透镜布置在基板427的主表面406上并从主表面406突出。
多个小透镜包括具有不同焦距或不同光功率的小透镜。具体地,在一些实施例中,小透镜的焦距至少部分地基于小透镜在小透镜阵列424内的位置,并且焦距随着小透镜位置距小透镜阵列424中心的距离的增加而增加。为了进行图示,位于小透镜阵列424中心的小透镜426-2具有焦距410,而小透镜426-1和426-3均具有比焦距410长的焦距411。此外,与中心小透镜426-2成对角并且因此位于最外围的小透镜426-4可以具有比焦距411长的焦距(未示出)。
如上所述,具有均匀小透镜的常规平面小透镜阵列存在离轴光学像差,这是因为元素图像和对应的小透镜之间的几何路径长度朝着外围增加,而焦距保持恒定。然而,小透镜阵列424的配置减轻了这样的像差,这是因为小透镜的焦距朝着外围增加,因此更好地匹配了朝着外围的几何路径。
图5示出了根据一些实施例的沿着小透镜阵列524(小透镜阵列124的一个实施例)的切割线D-D的俯视图500和对应的截面图502,该小透镜阵列524具有不同非球面项的非球面小透镜。在所描绘的示例中,小透镜阵列524包括基板527(基板127的一个实施例),该基板527可以是平面的,或者在一些实施例中,沿着一个或多个轴弯曲。小透镜阵列524还包括多个非球面小透镜,包括小透镜526-1、526-2、526-3、526-4和526-5(小透镜126的实施例),这些小透镜设置在基板527的主表面506上并从主表面506突出。
多个小透镜包括对于多项式方程具有不同非球面项的非球面小透镜,该多项式方程可用于表示其非对称轮廓。具体地,在一些实施例中,小透镜形成有所示的“楔形”形状的轮廓,随着小透镜位置距小透镜阵列524的中心的距离增加,楔的“倾斜”更加明显。为了进行图示,位于小透镜阵列524的中心处的小透镜526-3具有名义上径向对称的轮廓,而小透镜526-2和526-4均都具有带适度的楔形的轮廓,该楔形适度地向着中心倾斜,并且位置更靠外围的小透镜526-1和526-5可以具有更明显的楔形形状,该楔形形状向着中心更明显地倾斜。
虽然图2-5示出了具有非平面基板或不同规定(体现在不同直径、不同焦距或不同非球面项)的小透镜的小透镜阵列124的示例性配置,但小透镜阵列124不限于这些示例性配置,而是可以实现这些配置方面中两个或更多个的组合。例如,在一个实施例中,小透镜阵列124可在平面基板或弯曲基板上采用不同焦距和不同直径的小透镜。在另一实施例中,小透镜阵列124可以在平面或非平面基板上采用不同焦距、不同大小和不同非球面项的非球面小透镜。在又一实施例中,小透镜阵列124可以在平面或非平面基板上采用不同大小和不同非球面项的非球面小透镜。
图6示出了根据一些实施例的操作用于渲染和显示光场图像以通过小透镜阵列124观看的近眼显示系统100的方法600。为了便于理解,下面常参考图7表示的示例来描述方法600。方法600示出了用于为左眼显示器110或右眼显示器112之一渲染和显示光场图像的过程的一次迭代,并且因此针对显示器110、112中的每一个并行地重复执行所示出的过程,以生成并在不同时间点为每只眼睛显示不同的光场帧流或序列,从而以减少的离轴光学像差为用户提供3D、自动立体VR或AR体验。
方法600在框602中开始,其中针对小透镜阵列124的特定配置生成失真图144,失真图144包括多个变换矩阵,这些变换矩阵用于基于其在光场内的位置来变换对应的元素图像。如上所述,在一些实施例中,在设计小透镜阵列124之后确定变换矩阵,而在其他实施例中,小透镜阵列124和失真图144在开发期间被共同优化。失真图144可以以查找表(LUT)或其他数据结构的形式存储在存储器134或其他存储元件中。
在框604中,渲染组件104获得表示要渲染为光场图像的图像内容的源图像702(源图像140的一个实施例)。源图像702可以从大容量存储设备获得,从近眼显示系统100的摄像头获得,或者经由网络从远程服务器获得。在框606中,执行光场渲染程序136的处理器(例如,GPU 130)使用源图像702的图像内容来渲染原始光场图像704。如放大部分706所示,通过元素图像阵列708表示原始光场图像704,各个元素图像表示从稍微移位的角度看到的场景的视图。尽管原始光场图像704可以原样显示,但是如上所述,使用弯曲的基板和/或不均匀的小透镜会导致小透镜阵列124引入某些失真。因此,在框608中,执行光场修改程序138的处理器(例如,GPU 130)访问失真图144,并将失真图144的变换矩阵应用于原始光场图像704的对应元素图像708,以生成修改光场图像的预失真元素图像710,如由所得的修改光场图像的放大修改部分712所表示。在框610中,将修改光场提供给显示面板118并显示。用户通过小透镜阵列124观看所显示的修改光场,这又引入了由小透镜阵列124的小透镜126的形式引起的对应失真,该失真抵消了在框608中施加的变换所引入的预失真。此外,由于本文所描述的小透镜阵列124的配置,大大减轻了通过常规的具有均匀小透镜的平面小透镜阵列观看到的光场图像中可能存在的聚焦误差,从而改善了用户观看体验。
在一些实施例中,上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实现。该软件包括在非暂时性计算机可读存储介质上存储或有形地体现的一组或多组可执行指令。该软件可以包括指令和某些数据,这些指令和某些数据在由该一个或多个处理器执行时操纵该一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可以包括:例如,磁盘或光盘存储设备、诸如闪存等固态存储设备、缓存、随机存取存储器(RAM)或其他一个或多个非易失性存储设备等。存储在非暂时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码、或由一个或多个处理器解释或可执行的其他指令格式。
计算机可读存储介质可以包括在使用期间计算机系统可访问的任何存储介质或存储介质的组合,以向计算机系统提供指令和/或数据。这样的存储介质可以包括但不限于光学介质(例如,光盘(CD)、数字通用光盘(DVD)、蓝光光盘)、磁介质(例如,软盘、磁带或硬磁驱动器)、易失性存储器(例如,随机存取存储器(RAM)或缓存)、非易失性存储器(例如,只读存储器(ROM)或闪存)、或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以嵌入在计算系统(例如,系统RAM或ROM)中,固定地附接到计算系统(例如,硬磁驱动器),可移除地附接到计算系统(例如,光盘或基于串行总线(USB)的闪存),或通过有线或无线网络(例如,网络可访问存储(NAS))耦合到计算机系统。
注意,在一般描述中并非上述所有活动或元件都是必需的,特定活动或设备的一部分可能不是必需的,并且还可以执行除了上述活动之外的一个或多个其他活动或者还可以包括除了上述元件之外的元件。更进一步地,所列活动的顺序不一定是执行活动的顺序。而且,已经参考特定实施例描述了构思。然而,本领域的普通技术人员要了解,在不脱离如以下权利要求书中阐述的本公开的范围的情况下,可以进行各种修改和改变。因此,该说明书和附图都应该被理解为是示意性的,而不是限制性的,并且所有这种修改都旨在被包括在本公开的范围内。
上面已经关于特定实施例描述了益处、其他优点和问题的解决方案。然而,这些益处、优点、问题的解决方案、以及可能使任何益处、优点或解决方案出现或变得更加明显的(多个)任何特征都不应被解释为任何或所有权利要求的关键性、所需或必要的特征。此外,上面公开的特定实施例仅是说明性的,因为可以按照对受益于本文的教导的领域的技术人员而言显而易见的不同但等效的方式来修改和实践所公开的主题。除了在下面的权利要求书中描述的以外,没有意图限制本文所示的配置或设计的细节。因此,显而易见的是,以上公开的特定实施例可以被改变或修改,并且所有这样的变化都被认为在所公开的主题的范围内。因此,本文所寻求的保护如以下权利要求书所述。

Claims (15)

1.一种近眼显示系统,包括:
显示面板,所述显示面板用于显示光场图像,所述光场图像包括元素图像的阵列;
面朝所述显示面板的小透镜阵列,所述小透镜阵列包括具有空间变化规定的小透镜,其中,每个小透镜具有至少部分地基于该小透镜在所述小透镜阵列内的位置的规定,
其中,所述小透镜阵列包括:
第一小透镜,所述第一小透镜位于所述小透镜阵列的中心并且具有第一直径;以及
第二小透镜,所述第二小透镜位于所述小透镜阵列的外围并且具有第二直径,其中,所述第二直径小于所述第一直径,并且小透镜的相应的直径在该小透镜与所述小透镜阵列的基板的界面处确定;
非暂时性存储组件,所述存储组件用于存储表示失真图的数据,所述失真图包括一组变换矩阵,每个变换矩阵被配置为对光场图像的对应元素图像进行预失真以便补偿预计会由所述小透镜阵列的对应小透镜引入的失真;以及
渲染组件,所述渲染组件耦合至所述非暂时性存储组件并且耦合至所述显示面板,所述渲染组件被配置为:
渲染第一光场图像,所述第一光场图像包括元素图像的阵列;
使用所述失真图修改所述元素图像的阵列以生成第二光场图像;以及
提供所述第二光场图像以显示在所述显示面板处供用户经由所述小透镜阵列观看。
2.根据权利要求1所述的近眼显示系统,其中,所述小透镜阵列包括具有不同焦距的小透镜。
3.根据权利要求2所述的近眼显示系统,其中,所述小透镜阵列包括:
第一小透镜,所述第一小透镜位于所述小透镜阵列的中心并且具有第一焦距;以及
第二小透镜,所述第二小透镜位于所述小透镜阵列的外围并且具有第二焦距,其中,所述第二焦距大于所述第一焦距。
4.根据权利要求2所述的近眼显示系统,其中,所述第一小透镜的曲率半径比所述第二小透镜的曲率半径短。
5.根据权利要求1所述的近眼显示系统,其中,所述小透镜阵列包括具有不同非球面项的非球面小透镜。
6.根据权利要求5所述的近眼显示系统,其中,所述小透镜阵列包括:
第一小透镜,所述第一小透镜位于所述小透镜阵列的中心并且具有对称轮廓,所述对称轮廓提供与所述小透镜阵列的所述基板的局部表面区域正交的第一光轴;以及
第二小透镜,所述第二小透镜位于所述小透镜阵列的外围并且具有非对称轮廓,所述非对称轮廓提供第二光轴,所述第二光轴相对于所述第一光轴成非零角度。
7.根据权利要求1所述的近眼显示系统,其中,所述小透镜设置在非平面基板处。
8.一种近眼显示系统,包括:
显示面板,所述显示面板用于显示光场图像,所述光场图像包括元素图像的阵列;
面朝所述显示面板的小透镜阵列,所述小透镜阵列包括位于非平面基板上的小透镜,其中,所述非平面基板具有非零光功率,
其中,所述小透镜阵列包括:
第一小透镜,所述第一小透镜位于所述基板的中心并且具有第一光轴;以及
第二小透镜,所述第二小透镜位于外围并且具有第二光轴,所述第二光轴相对于所述第一光轴成非零锐角;
非暂时性存储组件,所述存储组件用于存储表示失真图的数据,所述失真图包括至少一个变换矩阵,所述变换矩阵被配置为对光场图像的一个或多个元素图像进行预失真以便补偿预计会由所述小透镜阵列的所述非平面基板引入的失真;以及
渲染组件,所述渲染组件耦合至所述非暂时性存储组件并且耦合至所述显示面板,所述渲染组件被配置为:
渲染第一光场图像,所述第一光场图像包括元素图像的阵列;
使用所述失真图修改所述元素图像的阵列以生成第二光场图像;以及
提供所述第二光场图像以显示在所述显示面板处供用户经由所述小透镜阵列观看。
9.根据权利要求8所述的近眼显示系统,其中,所述非平面基板绕单个轴弯曲。
10.根据权利要求8所述的近眼显示系统,其中,所述非平面基板绕两个正交轴弯曲。
11.根据权利要求8所述的近眼显示系统,其中,所述小透镜中的至少一些旋转非对称。
12.根据权利要求8所述的近眼显示系统,其中,每个小透镜具有至少部分地基于该小透镜在所述小透镜阵列内的位置的规定。
13.一种在近眼显示系统处显示光场图像的方法,所述方法包括:
访问针对小透镜阵列的失真图,所述小透镜阵列具有带空间变化规定的小透镜,所述失真图包括多个变换矩阵,每个变换矩阵被配置为对光场图像的对应元素图像进行预失真以补偿预计会由所述小透镜阵列的对应小透镜引入到该元素图像的失真;
使用所述失真图修改光场图像以生成修改光场图像;
将所述修改光场图像提供给所述近眼显示系统的显示面板以通过所述小透镜阵列显示给观看者,
其中,所述小透镜阵列包括不同直径的小透镜,并且小透镜的相应的直径在该小透镜与所述小透镜阵列的基板的界面处确定,并且所述小透镜阵列包括不同焦距的小透镜。
14.根据权利要求13所述的方法,其中,所述小透镜阵列包括不同非球面项的小透镜。
15.根据权利要求13所述的方法,其中,所述小透镜阵列还包括非平面基板。
CN201880033318.6A 2017-10-31 2018-07-13 具有减小的离轴光学像差的小透镜阵列的近眼显示器 Active CN110651217B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762579266P 2017-10-31 2017-10-31
US62/579,266 2017-10-31
US15/832,012 US10678049B2 (en) 2017-10-31 2017-12-05 Near-eye display having lenslet array with reduced off-axis optical aberrations
US15/832,012 2017-12-05
PCT/US2018/041920 WO2019089100A1 (en) 2017-10-31 2018-07-13 Near-eye display having lenslet array with reduced off-axis optical aberrations

Publications (2)

Publication Number Publication Date
CN110651217A CN110651217A (zh) 2020-01-03
CN110651217B true CN110651217B (zh) 2022-04-05

Family

ID=66243792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880033318.6A Active CN110651217B (zh) 2017-10-31 2018-07-13 具有减小的离轴光学像差的小透镜阵列的近眼显示器

Country Status (4)

Country Link
US (1) US10678049B2 (zh)
EP (1) EP3586186A1 (zh)
CN (1) CN110651217B (zh)
WO (1) WO2019089100A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11921302B2 (en) 2018-04-27 2024-03-05 Tesseland Llc Human vision-adapted light field displays
US10869023B1 (en) * 2019-06-21 2020-12-15 Google Llc Method and apparatus for correcting lenticular distortion
KR102582407B1 (ko) * 2019-07-28 2023-09-26 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
CN112260044B (zh) * 2020-10-23 2022-06-10 青岛镭创光电技术有限公司 一种能量均匀的激光装置
US11614618B2 (en) * 2020-12-30 2023-03-28 Snap Inc. System for using digital light projectors for augmented reality

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK3075150T3 (da) * 2013-11-25 2022-09-12 Tesseland Llc Immersive kompakte displayglas
CN103823305B (zh) * 2014-03-06 2016-09-14 成都贝思达光电科技有限公司 一种基于曲面微透镜阵列的近眼显示光学系统
US20170336626A1 (en) 2014-11-07 2017-11-23 Sony Corporation Display device and display control method
US10247858B2 (en) * 2015-10-25 2019-04-02 Facebook Technologies, Llc Liquid crystal half-wave plate lens
CN106019605B (zh) * 2016-08-04 2018-03-23 京东方科技集团股份有限公司 近眼显示装置和方法
CN206270594U (zh) * 2016-12-15 2017-06-20 金华唯见科技有限公司 一种用于虚拟现实的近眼显示系统及头戴显示设备
US20180288387A1 (en) * 2017-03-29 2018-10-04 Intel Corporation Real-time capturing, processing, and rendering of data for enhanced viewing experiences

Also Published As

Publication number Publication date
CN110651217A (zh) 2020-01-03
WO2019089100A1 (en) 2019-05-09
US20190129166A1 (en) 2019-05-02
EP3586186A1 (en) 2020-01-01
US10678049B2 (en) 2020-06-09
WO2019089100A9 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
CN110651217B (zh) 具有减小的离轴光学像差的小透镜阵列的近眼显示器
US10764552B2 (en) Near-eye display with sparse sampling super-resolution
TWI709765B (zh) 擴增實境光場頭戴式顯示器
US10838459B2 (en) Hybrid optics for near-eye displays
JP7046085B2 (ja) 画像修復におけるアンチエイリアシング
US8125406B1 (en) Custom, efficient optical distortion reduction system and method
JP4125252B2 (ja) 画像生成装置、画像生成方法、及び画像生成プログラム
JP6661832B2 (ja) 眼の特徴付けのための反射波面分析に基づくフレームレンダリングを有するニアアイディスプレイ
US20210076025A1 (en) Near-eye display with extended accommodation range adjustment
US10466485B2 (en) Head-mounted apparatus, and method thereof for generating 3D image information
EP3370099B1 (en) Compound lens and display device including same
CN109729341B (zh) 用于校准三维显示设备的参数的方法和设备
US20200257361A1 (en) Three-dimensional (3d) rendering method and apparatus for user' eyes
JP2022022421A (ja) バーチャル・リアリティー・ヘッドマウント装置
US20180003991A1 (en) Image alignment in head worn display
CN103018907A (zh) 显示方法及头戴显示器
US20230023263A1 (en) Multilens direct view near eye display
WO2020065251A1 (en) Device for augmented reality or virtual reality display
US20200132990A1 (en) Eye tracked lens for increased screen resolution
KR20140050129A (ko) 다시점 및 초다시점 영상을 디스플레이하는 장치 및 방법
US20170069128A1 (en) Method and apparatus for generating images
US20160163093A1 (en) Method and apparatus for generating image
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
Xiao et al. Division model‐based distortion correction method for head‐mounted displays
US11947114B2 (en) Holographic lens and apparatus including the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant