CN113938668B - 一种三维光场显示及模型训练方法、装置和存储介质 - Google Patents

Abstract

本发明提供了一种三维光场显示方法、装置、设备及存储介质，所述方法包括：获取三维场景信息，并生成高分辨率基元图像阵列；将所述高分辨率基元图像阵列输入神经网络模型得到训练后的低分辨率基元图像阵列；将训练后的所述低分辨率基元图像阵列转换为携带完整三维光场信息的光场光线向微透镜阵列投射；微透镜阵列对经过的所述光场光线进行调整后，投射至定向扩散膜生成大视角三维光场图像；其中，生成所述大视角三维光场图像的视觉像素，包括所述光场光线以及所述光场光线在所述定向扩散膜上投射的漫射光斑的混叠区域。这样，在不增加系统复杂度和不增加额外设备的基础上，直接增加新的视觉像素，提高三维立体图像的分辨率。

Description

一种三维光场显示及模型训练方法、装置和存储介质

技术领域

本发明涉及三维光场显示技术领域，具体而言，涉及一种三维光场显示及模型训练方法、装置和存储介质。

背景技术

光场显示是实现三维(3D)显示的一种很有前景的方法。目前主流的光场三维显示技术为基于微透镜阵列与定向扩散膜的集成成像技术。在集成成像中，单位圆透镜下覆盖的基元图像通过圆形透镜的空间光调制，使在焦平面上的不同空间位置排列的像素发出的光线都以光心的连线方向射出，汇聚在定向扩散膜上，经过定向扩散膜的扩散形成具有全视差的三维立体图像。由于集成成像的视角由单位透镜下覆盖基元图像大小和透镜到显示面板的距离决定，集成成像虽然能够提供平滑的连续视差，但是相对而言，难免会存在分辨率低的固有缺陷。

在光场显示技术领域，目前主要是通过时分复用或空分复用提高显示的像素数量，或者是通过设计额外的光学器件来实现体素叠加。但是前者的系统复杂度过高，后者需要额外设备。

由此可见，缺少能够在不增加设备的基础上改进视觉分辨率的方法。

发明内容

本发明解决的问题是现有提升视觉分辨率的方法需要额外设备。

为解决上述问题，本发明首先提供一种三维光场显示方法，其包括：

获取三维场景信息，并生成高分辨率基元图像阵列；

将所述高分辨率基元图像阵列输入神经网络模型得到训练后的低分辨率基元图像阵列；

将训练后的所述低分辨率基元图像阵列转换为携带完整三维光场信息的光场光线向微透镜阵列投射；

微透镜阵列对经过的所述光场光线进行调整后，投射至定向扩散膜生成大视角三维光场；

其中，生成所述大视角三维光场的视觉像素，包括所述光场光线以及所述光场光线在所述定向扩散膜上投射的漫射光斑的混叠区域。

这样，在不增加系统复杂度和不增加额外设备的基础上，直接增加新的视觉像素，提高三维立体图像的分辨率。

优选的，所述光场光线经过所述微透镜阵列中的复合透镜后，在所述定向扩散膜上形成的漫射光斑的直径大小是显示像素边长大小的两倍。

优选的，所述复合透镜尺寸为：沿光路顺序的第一透镜的直径为6mm，厚度为0.84mm，其距离光阑的距离为0.82mm；第二透镜的直径为6mm，厚度为0.89mm，其距离所述光阑的距离为1.76mm；光阑直径为4.20mm。所述第一透镜的前表面曲率半径为-12.02mm，后表面曲率半径为18.14mm；所述第二透镜的前表面曲率半径为7.76mm，后表面曲率半径为3.66mm。

其次，提供一种神经网络模型训练方法，用于对前述所述的三维光场显示方法中的神经网络模型进行训练，其包括：

获取高分辨率基元图像阵列；

将高分辨率基元图像阵列输入神经网络模型，得到训练后的低分辨率基元图像阵列；

放大训练后的所述低分辨率基元图像阵列并与点扩散函数阵列进行卷积运算，得到分辨率提升的基元图像阵列；

计算所述分辨率提升的基元图像阵列与所述高分辨率基元图像阵列的结构相似性；

根据所述结构相似性调整所述神经网络模型的参数，直至所述结构相似性收敛。

这样，通过对神经网络模型的训练，从而使得训练完成的神经网络模型可以直接将获取的高分辨率基元图像阵列再编码为新的低分辨率基元图像阵列，该低分辨率基元图像阵列可以直接通过三维光场显示系统生成视觉像素分辨率更高的大视角三维光场。

优选的，所述点扩散函数阵列为高斯核阵列。

优选的，所述点扩散函数阵列中，不同RMS半径的点扩散函数为：

式中，R是均方根半径值；μ_x是x轴方向上的期望值；μ_y是y轴方向上的期望值。

再次，提供一种三维光场显示装置，其包括：

第一获取单元，其用于获取三维场景信息，并生成高分辨率基元图像阵列；

第一训练单元，其用于将所述高分辨率基元图像阵列输入神经网络模型得到训练后的低分辨率基元图像阵列；

显示面板，其用于将训练后的所述低分辨率基元图像阵列转换为携带完整三维光场信息的光场光线向微透镜阵列投射；

微透镜阵列，其对经过的所述光场光线进行调整后，投射至定向扩散膜生成大视角三维光场；

其中，生成所述大视角三维光场的视觉像素，包括所述光场光线以及所述光场光线在所述定向扩散膜上投射的漫射光斑的混叠区域。

从次，提供一种神经网络模型训练装置，其包括：

第二获取单元，其用于获取高分辨率基元图像阵列；

第二训练单元，其用于将高分辨率基元图像阵列输入神经网络模型，得到训练后的低分辨率基元图像阵列；

卷积单元，其用于放大训练后的所述低分辨率基元图像阵列并与点扩散函数阵列进行卷积运算，得到分辨率提升的基元图像阵列；

计算单元，其用于计算所述分辨率提升的基元图像阵列与所述高分辨率基元图像阵列的结构相似性；

调整单元，其用于根据所述结构相似性调整所述神经网络模型的参数，直至所述结构相似性收敛。

另次，提供一种电子设备，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如前述所述的三维光场显示方法，或者实现如前述所述的神经网络模型训练方法。

最后提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如前述所述的三维光场显示方法，或者实现如前述所述的神经网络模型训练方法。

这样，在不增加系统复杂度和不增加额外设备的基础上，直接增加新的视觉像素，提高三维立体图像的分辨率。

这样，通过对神经网络模型的训练，从而使得训练完成的神经网络模型可以直接将获取的高分辨率基元图像阵列再编码为新的低分辨率基元图像阵列，该低分辨率基元图像阵列可以直接通过三维光场显示系统生成视觉像素分辨率更高的大视角三维光场。

附图说明

图1为现有基于微透镜阵列与定向扩散膜的光场显示系统的结构框图；

图2为弥散斑重合产生的混叠区域的示意图；

图3为根据本发明实施例的三维光场显示方法的流程图；

图4为对漫射点的RMS半径与原像素的边长具有相同、两倍大小和三倍大小的三种情况下的模拟结果图；

图5为根据本发明实施例的复合透镜尺寸图；

图6为根据本发明实施例的神经网络模型训练方法的流程图；

图7为街道场景的3D光场显示结果对比图；

图8为根据本发明实施例的三维光场显示装置的结构框图；

图9为根据本发明实施例的神经网络模型训练装置的结构框图；

图10为根据本发明实施例的电子设备的结构框图。

具体实施方式

为了便于理解，对以下技术名词进行解释：

三维(3D)光场显示：无需任何助视设备，可以直接为观看者提供全视差的立体视觉的一种显示方式。

视差图像：模拟人眼立体视觉，对同一场景从不同角度拍摄时，所获得的两幅或多幅有视差的图像。

合成图像：将视差图像的像素按照光栅的光学结构，以一定规律排列生成的图像；合成图像即为编码完成之后的图像，亦可称为“编码图像”。

合成基元图像：合成图像中被单个圆透镜所覆盖、由多个像素组成的图像。

显示单元结构：由一个合成基元图像和一个圆透镜组成的结构。

视点：视差图像在空间中形成的可正确观看的位置。

视点数：观看者在一个观看周期范围内，所观察到的视差图的个数。

原像素：被加载在液晶显示面板(LCD)单个显示单元上的编码图像信息。

像差：在实际光学系统中，由于制作过程非理想等原因，造成实际光学系统所成的像与近轴区所成的像的差异。

漫射光斑：由于圆透镜存在像差，点光源经过光学系统后所成的衍射像的光强分布。

卷积神经网络：一类包含卷积计算及反卷积计算且具有深度结构的前馈神经网络，仿造生物的视知觉机制搭建而成，可以进行监督学习和非监督学习。

视觉像素：原像素经过圆透镜后重新会聚在定向扩散膜上形成的，最终被观看者所观察到的像素。

视觉分辨率：观看者实际在观看中能接收到的图像分辨率大小，由视觉像素的数量多少决定。

均方根半径：漫射光斑各个点坐标参考中心点进行平方和后除以点数量再开平方的值，用于定量地反映系统中漫射光斑的实际大小。

另外需要说明的是，基于微透镜阵列与定向扩散膜的集成成像技术是目前主流的光场三维显示技术。其主要是利用微透镜阵列中的圆透镜单元作为控光器件，将透镜一侧的入射光线按照透镜的光学特性在透镜另一侧重新排布，复现出三维场景中真实光线分布情况。

如图1所示，其为现有基于微透镜阵列与定向扩散膜的光场显示系统，其在光路上依次设置的液晶显示面板(LCD)、微透镜阵列(Lens Array)和定向扩散膜；液晶显示面板用于作为信息输入端，将经过卷积神经网络学习后带有完整三维光场信息的光场光线向微透镜阵列投射；微透镜阵列用于对经过的光场光线进行折射调整后，投射至定向扩散膜；定向扩散膜用于对调整后的光场光线进行优化显示，生成大视角的三维光场。

但是由于集成成像的视角由单位透镜下覆盖基元图像大小和透镜到显示面板的距离决定，集成成像虽然能够提供平滑的连续视差，但是相对而言，难免会造成分辨率低视角小的固有缺陷。

因为显示分辨率和视点数目恰好是一对相互制约的两个参数，一般情况下，直接增加三维显示设备的视点数目会导致显示分辨率下降，而提高显示分辨率会导致视点数目的下降，缺少既满足多视点又满足高分辨率的显示方法。在光场显示技术领域，目前主要有以下解决分辨率低的问题：通过刷新背光模组和二维显示面板进行时分复用，通过增加二维显示器件进行空分复用；通过设计额外的光学器件来实现体素叠加。前者(前两者)都旨在提高显示的像素数量从而提高视觉分辨率，后者是通过增加视觉像素来提高视觉分辨率，但都无一例外地显著增加了系统的复杂度和制造难度。

此外，在光场显示的成像过程中，像素由于透镜像差而成为漫射光斑。如图2所示，P1、P2、P3、P4为被加载在二维显示面板上的原像素，透镜引入的像差使单个像素在成像过程后成为漫射点。由于像差，在定向扩散膜上成像的两个相邻像素之间存在混叠区域，其中SP1、SP2、SP3、SP4、SP5为在定向扩散膜上新产生的像素混叠区域。这种漫射光斑会造成光场显示的不清晰。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

为了解决上述问题，本申请提出了一种新的思路，也即是将漫射光斑的混叠区域作为新的视觉像素来转而对原本的三维光场的视觉分辨率进行增强，这样，不仅可以减少漫射光斑造成的显示不清晰，而且不会增加系统的复杂度，也不需额外增加设备。

本申请实施例提供了一种三维光场显示方法。如图1所示，本发明的方法中涉及的硬件包括：在光路上依次设置的液晶显示面板、微透镜阵列和定向扩散膜。液晶显示面板用于作为信息输入端，将携带有完整三维光场信息的光场光线向微透镜阵列投射；微透镜阵列用于对经过的光场光线进行调整后，投射至定向扩散膜；定向扩散膜用于对调整后的光场光线进行显示，生成大视角三维光场。上述装置在光路上，按照成像规律进行适当距离的调整，以实现利用微透镜阵列中的单位复合透镜作为控光器件，将入射的光场光线按照透镜的光学特性在透镜另一侧重新排布，并在集成成像中，单位复合透镜下覆盖的基元图像通过复合透镜的空间光调制，使放在焦面上的不同空间位置排列的像素发出的发散光线都以光心的连线方向射出，会聚在定向扩散膜上，经过定向扩散膜的扩散实现了大视角三维光场。

如图3所示，本申请实施例的具体方案流程如下：

S10，获取三维场景信息，并生成高分辨率基元图像阵列；

三维场景信息的获取，可以通过拍摄像机矩阵来完成，比如根据投影仪阵列(或采用液晶显示面板)中的投影仪数量，将拍摄相机矩阵划分为多个拍摄相机子区域，拍摄相机子区域的个数与投影仪数量相等；构建每个投影仪和拍摄相机子区域之间的映射；根据映射，将每个拍摄相机子区域内的视差图合成一张合成图，合成图为与所述拍摄相机子区域相对应的投影仪的合成图。也可以通过其他方式完成三维场景信息的获取以及高分辨率基元图像阵列的生成，在此不再赘述。

需要说明的是，高分辨率基元图像阵列为合成图像，其具体是由合成基元图像组成的阵列。

S20，将所述高分辨率基元图像阵列输入神经网络模型得到训练后的低分辨率基元图像阵列；

本步骤中，即是对高分辨率基元图像阵列中的各个基元图像分别进行重新编码，得到编码后的基元图像，编码后的基元图像组成的阵列即为训练后的低分辨率基元图像阵列。

通过神经网络模型，从而对输入的高分辨基元图像阵列进行重新编码，从而使得漫射光斑重合产生的混叠区域中的信息能被用作新的视觉像素。

S30，将训练后的所述低分辨率基元图像阵列转换为携带完整三维光场信息的光场光线向微透镜阵列投射；

S40，微透镜阵列对经过的所述光场光线进行调整后，投射至定向扩散膜生成大视角三维光场；

其中，生成所述大视角三维光场的视觉像素，包括所述光场光线以及所述光场光线在所述定向扩散膜上投射的漫射光斑的混叠区域。

如图2中所示，原像素P1、P2、P3、P4在定向扩散膜上产生的像素混叠区域SP1、SP2、SP3、SP4、SP5可以被视为新的视觉像素；

这样每个新的视觉像素的强度可以用原像素P1、P2、P3和P4的强度表示。

例如，新的视觉像素SP3的强度可以用等式表示如下：

Intensity(SP3)＝K1·Intensity(P1)+K2·Intensity(P2)

+K3·Intensity(P3)+K4·Intensity(P4)

其中K1、K2、K3、K4分别表示P1、P2、P3、P4在SP3位置的权重系数。该权重系数可以通过分析定向扩散膜上显示的视觉像素的强度分布来获得。

这样，将漫射点的混叠区域视为新的视觉像素，作为额外的信息载体，从而无需设计额外的光学器件，也无需增加系统的复杂度和制造难度，直接完成视觉像素的增加，提高三维立体图像的分辨率。

这样，在不增加系统复杂度和不增加额外设备的基础上，直接增加新的视觉像素，提高三维立体图像的分辨率。

但是需要说明的是，为了将漫射点的混叠区域视为新的视觉像素，需要使用神经网络对混叠区域进行学习，但是现有的透镜下光线产生的混叠区域不适合进行学习(不规则、不均匀)。

优选地，所述光场光线经过所述微透镜阵列中的复合透镜后，在所述定向扩散膜上形成的漫射光斑的大小是显示像素大小的两倍。

也即是说，漫射点的RMS(均方根半径)是原像素的边长的两倍大小。

这样，可以使得漫射点的混叠区域被最大化利用，从而实现将漫射点的混叠区域视为新的视觉像素，增加提高三维立体图像的分辨率的设想。

如图4所示，其为对漫射点的RMS半径与原像素的边长具有相同(1x)、两倍大小(2x)和三倍(3x)大小的三种情况下的模拟，通过SSIM对模拟结果进行展示。结构相似性(Structural Similarity，SSIM)，是一种衡量两幅图像相似度的指标。本图中，SSIM表示的是理想图像与最终显示图像之间的结构相似性。

图中所示，左上角图像为没有分辨率增强的显示图像，右上角图像为视觉分辨率增强方法的显示图像，混叠区域为原像素的1倍，左下角图像为视觉分辨率增强方法显示的图像，混叠区域是原像素的2倍，右下角图像为视觉分辨率增强方法的显示图像，混叠区域是原像素的3倍。

在此需要说明的是，基于其形成过程可知，显示图像的与理想图像的结构相似性，与神经网络模型的训练结果息息相关，上图中为了排除神经网络模型对结果的干扰，通过相同方式对具体的神经网络模型进行了一一优化，直到优化极限为止(常规意义上可以认为神经网络模型被优化到了最优值)。

由该模拟结果可以明显看出，漫射点的RMS(均方根半径)是原像素的边长的两倍大小情况下，对视觉分辨率增强的效果最强。

进一步优选地，当漫射点的RMS半径在每个视场都相同，也即是漫射光斑均匀分布在每个视场时，对视觉分辨率的增强效果最强。

优选地，如图5所示，(图中光路的顺序是光由左向右入射)所述复合透镜尺寸为：沿光路顺序的第一透镜的直径为6mm，厚度为0.84mm，其距离光阑的距离为0.82mm；第二透镜的直径为6mm，厚度为0.89mm，其距离所述光阑的距离为1.76mm；光阑直径为4.20mm。所述第一透镜的前表面曲率半径R3为-12.02mm，后表面曲率半径R4为18.14mm；所述第二透镜的前表面曲率半径R1为7.76mm，后表面曲率半径R2为3.66mm。

需要说明的是，本图中中间部分代表光阑，实线部分表示不能透光，虚线部分表示可以透光。其中，光阑的透光直径被缩小或是增大，单个透镜单元的进光量会发生变化，进而导致成像发生变化。

经过严格实验后，可以确认，该尺寸的复合透镜，其对应透射的漫射点的RMS(均方根半径)是原像素的边长的两倍大小。

这样，通过该复合透镜，可以使得对应透射的漫射点的RMS均匀分布且是原像素的边长的两倍大小，从而使得投射后漫射点的混叠区域视为新的视觉像素，作为额外的信息载体，转而对原本的三维光场的视觉分辨率进行增强，这样，不仅可以减少漫射光斑造成的显示不清晰，直接完成视觉像素的增加，提高三维立体图像的分辨率，而且不会增加系统的复杂度，也不需额外增加设备。

需要说明的是，也可以通过部分或全部改变复合透镜尺寸或者其他方式来对复合透镜进行进一步改进，只要其对应透射的漫射点的RMS(均方根半径)是原像素的边长的两倍大小即可。

本申请实施例提供了一种神经网络模型训练方法，该方法可以由神经网络模型训练装置来执行，该神经网络模型训练装置可以集成在电脑、服务器、计算机等电子设备中。如图6所示，其为根据本发明实施例的神经网络模型训练方法的流程图；其中，所述神经网络模型训练方法，用于对前述所述的三维光场显示方法中的神经网络模型进行训练，其包括：

S100，获取高分辨率基元图像阵列；

需要说明的是，本步骤中获取的高分辨率基元图像阵列，即为步骤S10中生成的高分辨率基元图像阵列，其具体获取方式在此不再赘述。

需要说明的是，高分辨率基元图像阵列为合成图像，其具体是由合成基元图像组成的阵列。

S200，将高分辨率基元图像阵列输入神经网络模型，得到训练后的低分辨率基元图像阵列；

本步骤中，即是对高分辨率基元图像阵列中的各个基元图像分别进行重新编码，得到编码后的基元图像，编码后的基元图像组成的阵列即为训练后的低分辨率基元图像阵列。

在此需要说明的是，(高分辨率基元图像阵列)合成图像的表现形式是阵列，阵列中的每个单元就是一个合成基元图像；将高分辨率基元图像阵列(合成图像)输入神经网络模型，即是将该高分辨率基元图像阵列中的每个合成基元图像(该合成基元图像也可以认为是高分辨率基元图像阵列中的高分辨率基元图像)逐个输入神经网络模型，得到对应的训练后的低分辨率基元图像，所有得到的训练后的低分辨率基元图像组合得到训练后的低分辨率基元图像阵列。

可选的，所述神经网络模型的层数为四层、五层或六层，从而可以达到更好的训练和学习效果；较佳的，所述神经网络模型的层数为五层。这样，训练和学习效果最佳。

需要说明的是，神经网络模型的层数为N层，即是说所述神经网络模型中包括N个卷积层和N个反卷积层。

可选的，所述神经网络模型包括编码器和解码器；所述编码器中包含五个卷积层，所述解码器中包含五个反卷积层。

其中，在经过每个卷积层时，特征的尺寸减小至原特征尺寸的0.5倍，特征的数量增加至原特征数量的2倍。解码器中包含五个反卷积层，使用反卷积操作来逐层增加特征的分辨率，最终得到学习后的基元图像。

可选的，所述编码器与解码器之间，通过跳跃式进行连接；这样，采用了跳跃连接的技术来提高网络的收敛性能，具体操作时当网络训练次数迭代到50000次时，网络基本可以进入收敛状态。

可选的，所述高分辨率基元图像阵列输入所述神经网络模型之前，还包括一次直接压缩操作，从而通过直接压缩将其分辨率压缩为一半(16K压缩为8K)。

其中，所述直接压缩方式为线性插值法。

S300，放大训练后的所述低分辨率基元图像阵列并与点扩散函数阵列进行卷积，得到分辨率提升的基元图像阵列；

其中，放大训练后的低分辨率基元图像阵列，即是对训练后的低分辨率基元图像阵列中的每个低分辨率基元图像分别进行放大；其具体放大方式可以是最近邻插值法。

放大后的低分辨率基元图像阵列与点扩散函数阵列卷积，得到分辨率提升的基元图像阵列。

S400，计算所述分辨率提升的基元图像阵列与所述高分辨率基元图像阵列的结构相似性；

将分辨率提升的基元图像阵列与所述高分辨率基元图像阵列(在此可以将其认为是理想图像)进行计算，得到一个在0到1之间的数值，该数值即为SSIM，即结构相似性，其值越接近1说明两个图像阵列越相似。

S500，根据所述结构相似性调整所述神经网络模型的参数，直至所述结构相似性收敛。

本步骤中，将结构相似性(SSIM)并作为神经网络模型的损失(loss)函数传回到神经网络模型中计算梯度进行反向传播，直至损失(loss)函数收敛为止。

这样，通过对神经网络模型的训练，从而使得训练完成的神经网络模型可以直接将获取的高分辨率基元图像阵列再编码为新的低分辨率基元图像阵列，该低分辨率基元图像阵列可以直接通过三维光场显示系统生成视觉像素分辨率更高的大视角三维光场。

对神经网络模型的训练结果的判断，其实质上是对光场显示系统中具体成像过程的模拟。本申请中，定向扩散膜上显示的视觉像素的强度分布可以用卷积运算表示：

VI(x,y)＝PI(x,y)*h(x,y)

其中*表示卷积运算，VI(x,y)表示定向扩散膜上视觉像素的强度分布，PI(x,y)表示液晶显示面板上像素的强度分布。h(x,y)表示对应的点扩散函数(PSF)。不同场的每个像素的PSF可以看作是高斯分布。大约两倍的漫射点的RMS半径(RMS直径)可以被认为等于高斯分布的半高宽(FWHM)。根据高斯公式，不同RMS半径的PSF可以表示为：

其中为R是RMS半径，μ_x是沿x轴方向的期望值，μ_y是沿y轴方向的期望值。当通过镜头显示基元图像(EI)时，不同的场具有不同的PSF，并且漫射点的RMS半径会发生变化。因此，EI的成像过程可以看作是EI光强与高斯核阵列(GKA)的卷积运算。也即是说像素经过镜头后的模糊过程，可视为与高斯核卷积。

优选地，所述点扩散函数阵列为高斯核阵列。这样，通过对光场显示系统中具体成像过程进行准确的模拟，从而提高模拟的准确度，以进一步提高神经网络模型训练的训练效果。

优选地，所述点扩散函数阵列中，不同RMS半径的点扩散函数为：

式中，R是均方根半径值；μ_x是x轴方向上的期望值；μ_y是y轴方向上的期望值。

这样，通过设置点扩散函数，对光场显示系统中具体成像过程进行准确的模拟，从而提高模拟的准确度，以进一步提高神经网络模型训练的训练效果。

在光学实验中，展示了由定向扩散膜、透镜阵列和液晶显示面板组成的光场显示系统。透镜阵列放置在液晶显示面板上方8.151毫米处，定向扩散膜放置在透镜阵列上方180.00mm处。透镜单元排列成53×30阵列，相邻透镜单元中心距为13mm。液晶显示面板是一块32英寸的面板，分辨率为7680×4320。实际显示情况的几张照片如图7所示，给出了从不同角度观察到的3D街道，并给出了一些区域的局部细节。图7的第一行为没有进行视觉分辨率增强操作的3D图像，第二行提供了对改进图像的比较。很明显，视觉分辨率增强方法产生的3D图像在70度视角内更清晰，提供更详细的街道信息。

本申请实施例提供了一种三维光场显示装置，用于执行本发明上述内容所述的三维光场显示方法，以下对所述三维光场显示装置进行详细描述。

如图8所示，所述三维光场显示装置，其包括：

第一获取单元101，其用于获取三维场景信息，并生成高分辨率基元图像阵列；

第一训练单元102，其用于将所述高分辨率基元图像阵列输入神经网络模型得到训练后的低分辨率基元图像阵列；

液晶显示面板103，其用于将训练后的所述低分辨率基元图像阵列转换为携带完整三维光场信息的光场光线向微透镜阵列投射；

微透镜阵列104，其对经过的所述光场光线进行调整后，投射至定向扩散膜105生成大视角三维光场；

其中，生成所述大视角三维光场的视觉像素，包括所述光场光线以及所述光场光线在所述定向扩散膜上投射的漫射光斑的混叠区域。

这样，将漫射点的混叠区域视为新的视觉像素，作为额外的信息载体，从而无需设计额外的光学器件，也无需增加系统的复杂度和制造难度，直接完成视觉像素的增加，提高三维立体图像的分辨率。这样，在不增加系统复杂度和不增加额外设备的基础上，直接增加新的视觉像素，提高三维立体图像的分辨率。

在此需要说明的是，三维光场显示装置与光场显示系统并非表明其包含与被包含关系，该三维光场显示装置是作为与三维光场显示方法对应的装置，并未确认为全部的实体装置，不应该以此来论证三维光场显示装置与光场显示系统的相互关系。

优选地，所述光场光线经过所述微透镜阵列中的复合透镜后，在所述定向扩散膜上形成的漫射光斑的大小是显示像素大小的两倍。

优选地，所述复合透镜尺寸为：沿光路顺序的第一透镜的直径为6mm，厚度为0.84mm，其距离光阑的距离为0.82mm；第二透镜的直径为6mm，厚度为0.89mm，其距离所述光阑的距离为1.76mm；光阑直径为4.20mm。所述第一透镜的前表面曲率半径R3为-12.02mm，后表面曲率半径R4为18.14mm；所述第二透镜的前表面曲率半径R1为7.76mm，后表面曲率半径R2为3.66mm。

本申请实施例提供了一种神经网络模型训练装置，用于执行本发明上述内容所述的神经网络模型训练方法，以下对所述神经网络模型训练装置进行详细描述。

如图9所示，所述神经网络模型训练装置，其包括：

第二获取单元201，其用于获取高分辨率基元图像阵列；

第二训练单元202，其用于将高分辨率基元图像阵列输入神经网络模型，得到训练后的低分辨率基元图像阵列；

卷积单元203，其用于放大训练后的所述低分辨率基元图像阵列并与点扩散函数阵列进行卷积，得到分辨率提升的基元图像阵列；

计算单元204，其用于计算所述分辨率提升的基元图像阵列与所述高分辨率基元图像阵列的结构相似性；

调整单元205，其用于根据所述结构相似性调整所述神经网络的参数，直至所述结构相似性收敛。

这样，通过对神经网络模型的训练，从而使得训练完成的神经网络模型可以直接将获取的高分辨率基元图像阵列再编码为新的低分辨率基元图像阵列，该低分辨率基元图像阵列可以直接通过三维光场显示系统生成视觉像素分辨率更高的大视角三维光场。

优选地，所述点扩散函数阵列为高斯核阵列。这样，通过对光场显示系统中具体成像过程进行准确的模拟，从而提高模拟的准确度，以进一步提高神经网络模型训练的训练效果。

优选地，所述点扩散函数阵列中，不同RMS半径的点扩散函数为：

式中，R是均方根半径值；μ_x是x轴方向上的期望值；μ_y是y轴方向上的期望值。

本申请实施例提供了一种电子设备，如图10所示，其包括存储有计算机程序的计算机可读存储介质301和处理器302，所述计算机程序被所述处理器读取并运行时，实现如前述所述的三维光场显示方法，或者实现如前述所述的神经网络模型训练方法。

这样，将漫射点的混叠区域视为新的视觉像素，作为额外的信息载体，从而无需设计额外的光学器件，也无需增加系统的复杂度和制造难度，直接完成视觉像素的增加，提高三维立体图像的分辨率。这样，在不增加系统复杂度和不增加额外设备的基础上，直接增加新的视觉像素，提高三维立体图像的分辨率。

本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如前述所述的三维光场显示方法，或者实现如前述所述的神经网络模型训练方法。

本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是空调器，制冷装置，个人计算机，服务器，或者网络设备等)或processor(处理器)执行本发明实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

这样，将漫射点的混叠区域视为新的视觉像素，作为额外的信息载体，从而无需设计额外的光学器件，也无需增加系统的复杂度和制造难度，直接完成视觉像素的增加，提高三维立体图像的分辨率。这样，在不增加系统复杂度和不增加额外设备的基础上，直接增加新的视觉像素，提高三维立体图像的分辨率。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本申请中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见前述所述实施例的部分说明即可。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种三维光场显示方法，其特征在于，包括：

获取三维场景信息，并生成高分辨率基元图像阵列；

将所述高分辨率基元图像阵列输入神经网络模型得到训练后的低分辨率基元图像阵列；

将训练后的所述低分辨率基元图像阵列转换为携带完整三维光场信息的光场光线向微透镜阵列投射；

微透镜阵列对经过的所述光场光线进行调整后，投射至定向扩散膜生成大视角三维光场；

其中，生成所述大视角三维光场的视觉像素，包括所述光场光线以及所述光场光线在所述定向扩散膜上投射的漫射光斑的混叠区域。

2.如权利要求1所述的三维光场显示方法，其特征在于，所述光场光线经过所述微透镜阵列中的复合透镜后，在所述定向扩散膜上形成的漫射光斑的直径尺寸是显示像素边长尺寸的两倍。

3.如权利要求2所述的三维光场显示方法，其特征在于，所述复合透镜尺寸为：沿光路顺序的第一透镜的直径为6mm，厚度为0.84mm，其距离光阑的距离为0.82mm；第二透镜的直径为6mm，厚度为0.89mm，其距离所述光阑的距离为1.76mm；光阑直径为4.20mm， 所述第一透镜的前表面曲率半径为-12.02mm，后表面曲率半径为18.14mm；所述第二透镜的前表面曲率半径为7.76mm，后表面曲率半径为3.66mm。

4.一种神经网络模型训练方法，用于对权利要求1-3中任一所述的三维光场显示方法中的神经网络模型进行训练，其特征在于，包括：

获取高分辨率基元图像阵列；

将高分辨率基元图像阵列输入神经网络模型，得到训练后的低分辨率基元图像阵列；

放大训练后的所述低分辨率基元图像阵列与点扩散函数阵列进行卷积运算，得到分辨率提升的基元图像阵列；

计算所述分辨率提升的基元图像阵列与所述高分辨率基元图像阵列的结构相似性；

根据所述结构相似性调整所述神经网络模型的参数，直至所述结构相似性收敛。

5.如权利要求4所述的神经网络模型训练方法，其特征在于，所述点扩散函数阵列为高斯核阵列。

6.如权利要求4或5所述的神经网络模型训练方法，其特征在于，所述点扩散函数阵列中，不同RMS半径的点扩散函数为：

式中，R是均方根半径值；μ_x是x轴方向上的期望值；μ_y是y轴方向上的期望值。

7.一种三维光场显示装置，其特征在于，包括：

第一获取单元，其用于获取三维场景信息，并生成高分辨率基元图像阵列；

第一训练单元，其用于将所述高分辨率基元图像阵列输入神经网络模型得到训练后的低分辨率基元图像阵列；

显示面板，其用于将训练后的所述低分辨率基元图像阵列转换为携带完整三维光场信息的光场光线向微透镜阵列投射；

微透镜阵列，其对经过的所述光场光线进行调整后，投射至定向扩散膜生成大视角三维光场；

其中，生成所述大视角三维光场的视觉像素，包括所述光场光线以及所述光场光线在所述定向扩散膜上投射的漫射光斑的混叠区域。

8.一种神经网络模型训练装置，其特征在于，包括：

第二获取单元，其用于获取高分辨率基元图像阵列；

第二训练单元，其用于将高分辨率基元图像阵列输入神经网络模型，得到训练后的低分辨率基元图像阵列；

卷积单元，其用于放大训练后的所述低分辨率基元图像阵列并与点扩散函数阵列进行卷积运算，得到分辨率提升的基元图像阵列；

计算单元，其用于计算所述分辨率提升的基元图像阵列与所述高分辨率基元图像阵列的结构相似性；

调整单元，其用于根据所述结构相似性调整所述神经网络模型的参数，直至所述结构相似性收敛。

9.一种电子设备，其特征在于，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如权利要求1-3任一项所述的三维光场显示方法，或者实现如权利要求4-6任一项所述的神经网络模型训练方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如权利要求1-3任一项所述的三维光场显示方法，或者实现如权利要求4-6任一项所述的神经网络模型训练方法。

Images