CN113900608B - 立体三维光场的显示方法、装置、电子设备及介质 - Google Patents

立体三维光场的显示方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN113900608B
CN113900608B CN202111044457.9A CN202111044457A CN113900608B CN 113900608 B CN113900608 B CN 113900608B CN 202111044457 A CN202111044457 A CN 202111044457A CN 113900608 B CN113900608 B CN 113900608B
Authority
CN
China
Prior art keywords
image
neural network
convolutional neural
correction
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111044457.9A
Other languages
English (en)
Other versions
CN113900608A (zh
Inventor
于迅博
粟曦雯
桑新柱
李涵宇
高鑫
刘博阳
陈铎
王越笛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202111044457.9A priority Critical patent/CN113900608B/zh
Publication of CN113900608A publication Critical patent/CN113900608A/zh
Application granted granted Critical
Publication of CN113900608B publication Critical patent/CN113900608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请公开了一种立体三维光场的显示方法、装置、电子设备及介质。本申请中，可以获取初始合成图像；将所述初始合成图像输入至预校正卷积神经网络中，得到经过校正后的目标合成图像，其中所述预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络；将所述目标合成图像加载到定向扩散膜上，生成立体三维场景。通过应用本申请的技术方案，可以通过预先训练得到的预校正卷积神经网络训练模型以实现对合成图像的学习，从而达到对其进行像差预校正的目的，从而可以实现在不增加系统复杂度的前提下适用于抑制不同程度的透镜像差对光场显示设备显示质量的影响的目的。

Description

立体三维光场的显示方法、装置、电子设备及介质
技术领域
本申请中涉及图像处理技术，尤其是一种立体三维光场的显示方法、装置、电子设备及介质。
背景技术
近年来，三维(3D)显示技术蓬勃发展，而桌面式三维显示技术因其能为设备周围的多个观察者同时提供具有正确深度信息的立体三维场景而引起了人们的广泛关注。
进一步的，现有的三维显示系统由于图像采集、传输和显示过程较为复杂，要想重建出大型真彩的三维图像仍很困难。可以理解的，由于部分显示方式导致的图像存在的透明度会导致难以构建正确的空间遮挡关系，同时，部分现有的三维显示系统只能显示有限种颜色和灰度。这也导致显示效果不强。
因此，如何设计一种可以实现全彩色具有真三维效果的自由立体显示方法，成为了需要解决的问题。然而，使用基于集成成像技术的光场显示可以有效地解决上述问题。
发明内容
本申请实施例提供一种立体三维光场的显示方法、装置、电子设备及介质，其中，根据本申请实施例的一个方面，提供的一种立体三维光场的显示方法，其特征在于，包括：
获取初始合成图像；
将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络；
将所述目标合成图像加载到定向扩散膜上，生成立体三维场景。
可选地，在基于本申请上述方法的另一个实施例中，在所述获取初始合成图像之前，还包括：
获取多个样本基元图像；
将所述样本基元图像输入至初始卷积神经网络模型，得到经过预处理的样本基元图像；
将所述经过预处理的样本基元图像与点扩散函数阵列进行卷积运算，得到显示基元图像；
计算所述显示基元图像与所述样本基元图像的结构相似性指标，并将所述结构相似性指标作为卷积神经网络的损失函数；
利用所述损失函数与所述初始卷积神经网络模型，训练得到所述预校正卷积神经网络。
可选地，在基于本申请上述方法的另一个实施例中，其中所述预校正卷积神经网络的学习率为3E^-4；以及，
所述样本基元图像由裁取框在16K分辨率的原始图像上随机裁取得到，其中所述原始图像为128*128像素的图像。
可选地，在基于本申请上述方法的另一个实施例中，在所述获取初始合成图像之前，还包括：
利用虚拟相机阵列对三维场景的拍摄操作，采集得到所述三维场景对应的场景信息；
将所述场景信息合成得到所述初始合成图像。
可选地，在基于本申请上述方法的另一个实施例中，所述将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，包括：
将所述初始合成图像输入至所述预校正卷积神经网络的编码器中，得到图像编码特征，其中所述编码器包含有5个卷积层；
将所述图像编码特征输入至所述预校正卷积神经网络的解码器中，得到所述经过像差预校正后的目标合成图像，其中所述解码器包含有5个反卷积层。
可选地，在基于本申请上述方法的另一个实施例中，所述将所述目标合成图像加载到定向扩散膜上，生成立体三维场景，包括：
在光路上依次设置液晶显示面板、微透镜阵列以及所述定向扩散膜；
将所述液晶显示面板用于作为信息输入端，将所述目标合成图像的光场光线向所述微透镜阵列投射；
所述微透镜阵列用于对经过的光场光线进行折射调整后，投射至所述定向扩散膜上，得到所述立体三维场景。
可选地，在基于本申请上述方法的另一个实施例中，所述微透镜阵列以53*30的矩阵式进行排列；以及，
所述微透镜阵列中相邻透镜的中心间距为13毫米。
其中，根据本申请实施例的又一个方面，提供的一种立体三维光场的显示装置，其特征在于，包括：
获取模块，被配置为获取初始合成图像；
预校正模块，被配置为将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络；
生成模块，被配置为将所述目标合成图像加载到定向扩散膜上，生成立体三维场景。
根据本申请实施例的又一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
显示器，用于与所述存储器显示以执行所述可执行指令从而完成上述任一所述立体三维光场的显示方法的操作。
根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述立体三维光场的显示方法的操作。
本申请中，可以获取初始合成图像；将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络；将所述目标合成图像加载到定向扩散膜上，生成立体三维场景。通过应用本申请的技术方案，可以通过预先训练得到的预校正卷积神经网络训练模型以实现对合成图像的学习，从而达到对其进行预校正像差的目的，从而可以实现在不增加系统复杂度的前提下适用于抑制不同程度的透镜像差对光场显示设备显示质量的影响的目的。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请提出的一种立体三维光场的显示方法示意图；
图2-图5为本申请提出的一种立体三维光场的系统架构示意图；
图6为本申请提出的立体三维光场的显示电子装置的结构示意图；
图7为本申请提出的立体三维光场的显示电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
需要说明的是，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
下面结合图1-图5来描述根据本申请示例性实施方式的用于进行立体三维光场的显示方法。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
本申请还提出一种立体三维光场的显示方法、装置、电子设备及介质。
图1示意性地示出了根据本申请实施方式的一种立体三维光场的显示方法的流程示意图。如图1所示，该方法包括：
S101,获取初始合成图像。
近年来，三维(3D)显示技术蓬勃发展，而桌面式三维显示技术因其能为设备周围的多个观察者同时提供具有正确深度信息的立体三维场景而引起了人们的广泛关注。
其中，现有的桌面三维显示系统可以分为三种基本类型：全息显示、体显示和光场显示。全息显示技术通过再现振幅和相位信息的方式重建空间中的三维物体，但由于图像采集、传输和显示过程较为复杂，要想重建出大型真彩的三维图像仍很困难。体显示技术多采用高速旋转屏幕和投影仪来生成有一定透明度的体填充三维图像。
然而，图像存在的透明度会导致难以构建正确的空间遮挡关系，同时，该系统只能显示有限种颜色和灰度。因此，能够复现三维场景中真实光线分布情况的光场显示技术中被认为是实现桌面三维显示最具前景的方法，使用该技术可以轻松实现全彩色具有真三维效果的自由立体显示。
需要说明的是，在光场三维显示技术中，通常存在基于微透镜阵列与定向扩散膜的集成成像技术，该技术使用圆透镜作为控光器件，将透镜一侧的入射光线按照透镜的光学特性在透镜另一侧重新排布，如图2a所示，为其系统构成示意图。液晶显示面板(LCD)用于显示基元图像阵列，LCD上显示的图像通过每个透镜及其对应的像素构成一个显示单元结构被投射到定向扩散膜上。然而，透镜的像差(像差为在实际光学系统中，由于制作过程非理想等原因，造成实际光学系统所成的像与近轴区所成的像的差异)会导致图像质量和观看视角的下降，且弥散斑(弥散斑为由于圆透镜存在像差，点光源经过光学系统后所成的衍射像的光强分布)的尺寸随着视角的增大而变大，图2b为弥散斑产生的示意图。
在相关技术中，可以使用优化光学结构的方法或增加逆滤波器来抑制像差为光场显示系统带来的不利影响。但是使用光学优化的方法因为需要增加设备中的光学结构，所以提升显示系统的结构复杂度和制造难度；使用逆滤波器优化的方法虽然不会引入新的硬件，但该类方法仅适用于像差较轻微的情况，当像差较严重时，使用逆滤波抑制像差的同时会产生严重的振铃效应，会大大降低图像质量。
针对上述问题，本申请采用一种通过卷积神经网络训练模型并完成合成图像的学习来预先校正圆透镜像差的方法。其中首先需要获取利用虚拟相机等对三维场景进行拍摄而采集到的信息，并由该采集信息得到初始的合成图像。
S102,将初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络。
进一步的，本申请可以利用预设的卷积神经网络对该合成图像进行预校正透镜像差的处理，以使在不增加系统硬件设备数量的同时也能在应对不同程度的像差时都有较好的表现。
具体的，为了尽可能地减小透镜像差对光场显示质量的影响，本申请需要利用采用五层卷积与反卷积结构而生成的卷积神经网络对初始合成图像进行重新编码，由此得到经过像差预校正后的目标合成图像。
具体而言，如图3所示，本申请可以将多个样本基元图像输入至初始的卷积神经网络得到学习后的经预处理的合成图像。进一步的，为了与透镜成像的真实过程进行对应，本申请还可以利用模拟透镜成像过程中引入像差的过程原理，以将网络输出的经预处理的合成图像与点扩散函数阵列做卷积运算得到显示基元图像，并将显示基元图像(卷积运算结果)与原始基元图像对比，计算两幅图像的结构相似性指标(SSIM)，并将该指标作为网络的损失(loss)函数传回到卷积神经网络中计算梯度进行反向传播。最终得到训练完成的预校正卷积神经网络模型。
还需要说明的是，本申请中的预校正卷积神经网络由编码器和解码器两部分组成。其中，编码器中包含五个卷积层，在图像经过每个卷积层时，特征的尺寸减小至原特征尺寸的0.5倍，特征的数量增加至原特征数量的2倍。
另外，预校正卷积神经网络结构中的解码器中包含五个反卷积层，使用反卷积操作来逐层增加特征的分辨率，最终得到学习后的目标合成图像。需要说明的是，本申请中在预校正卷积神经网的编码器与解码器之间，采用了跳跃连接的技术来提高网络的收敛性能。例如当网络训练次数迭代到50000次时，网络基本可以进入收敛状态。其中，图4为网络的训练次数同收敛性的变化曲线。图5所示的卷积神经网络结构。
S103,将目标合成图像加载到定向扩散膜上，生成立体三维场景。
可以理解的，本申请可以在获得多个初始合成图像后，将多个初始合成图像分别输入至预校正卷积神经网络中，得到对应的经过像差预校正后的多个目标合成图像，从而形成目标合成图像阵列，以使后续将该目标合成图像阵列经过透镜阵列投射到定向扩散膜上，以得到最终的立体三维场景。
需要注意的是，本申请中的透镜阵列的透镜单元是以53*30的矩阵式进行排列，且每个相邻透镜的中心间距为13毫米。
本申请中，可以获取初始合成图像；将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络；将所述目标合成图像加载到定向扩散膜上，生成立体三维场景。通过应用本申请的技术方案，可以通过预先训练得到的预校正卷积神经网络训练模型以实现对合成图像的学习，从而达到对其进行预校正像差的目的，从而可以实现在不增加系统复杂度的前提下适用于抑制不同程度的透镜像差对光场显示设备显示质量的影响的目的。
可选的，在本申请一种可能的实施方式中，在所述获取初始合成图像之前，还包括：
获取多个样本基元图像；
将所述样本基元图像输入至初始卷积神经网络模型，得到经过预处理的样本基元图像；
将所述经过预处理的样本基元图像与点扩散函数阵列进行卷积运算，得到显示基元图像；
计算所述显示基元图像与所述样本基元图像的结构相似性指标，并将所述结构相似性指标作为卷积神经网络的损失函数；
利用所述损失函数与所述初始卷积神经网络模型，训练得到所述预校正卷积神经网络。
可选的，在本申请一种可能的实施方式中，其中所述预校正卷积神经网络的学习率为3E^-4；以及，
所述样本基元图像由裁取框在16K分辨率的原始图像上随机裁取得到，其中所述原始图像为128*128像素的图像。
可选的，在本申请一种可能的实施方式中，在所述获取初始合成图像之前，还包括：
利用虚拟相机阵列对三维场景的拍摄操作，采集得到所述三维场景对应的场景信息；
将所述场景信息合成得到所述初始合成图像。
可选的，在本申请一种可能的实施方式中，所述将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，包括：
将所述初始合成图像输入至所述预校正卷积神经网络的编码器中，得到图像编码特征，其中所述编码器包含有5个卷积层；
将所述图像编码特征输入至所述预校正卷积神经网络的解码器中，得到所述经过像差预校正后的目标合成图像，其中所述解码器包含有5个反卷积层。
可选的，在本申请一种可能的实施方式中，所述将所述目标合成图像加载到定向扩散膜上，生成立体三维场景，包括：
在光路上依次设置液晶显示面板、微透镜阵列以及所述定向扩散膜；
将所述液晶显示面板用于作为信息输入端，将所述目标合成图像的光场光线向所述微透镜阵列投射；
所述微透镜阵列用于对经过的光场光线进行折射调整后，投射至所述定向扩散膜上，得到所述立体三维场景。
可选的，在本申请一种可能的实施方式中，所述微透镜阵列以53*30的矩阵式进行排列；以及，
所述微透镜阵列中相邻透镜的中心间距为13毫米。
需要说明的是，本申请中的样本基元图像可以为128*128(单位：像素)的裁取框在16K的高分辨率原始图像上随机裁取的多个图像。另外，本申请中预校正卷积神经网络的学习率为3E^-4。且在预校正卷积神经网络的学习率每在训练次数到达5000次时，降为原学习率的0.99倍。
可选的，在本申请的另外一种实施方式中，如图6所示，本申请还提供一种立体三维光场的显示装置。其中包括：
获取模块201，被配置为获取模块，被配置为获取初始合成图像；
预校正模块202，被配置为将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络；
生成模块203，被配置为将所述目标合成图像加载到定向扩散膜上，生成立体三维场景。
本申请中，可以获取初始合成图像；将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络；将所述目标合成图像加载到定向扩散膜上，生成立体三维场景。通过应用本申请的技术方案，可以通过预先训练得到的预校正卷积神经网络训练模型以实现对合成图像的学习，从而达到对其进行预校正像差的目的，从而可以实现在不增加系统复杂度的前提下适用于抑制不同程度的透镜像差对光场显示设备显示质量的影响的目的。
在本申请的另外一种实施方式中，获取模块201，还包括：
获取模块201，被配置为获取多个样本基元图像；
预校正模块202，被配置为将所述样本基元图像输入至初始卷积神经网络模型，得到经过预处理的样本基元图像；
预校正模块202，被配置为将所述经过预处理的样本基元图像与点扩散函数阵列进行卷积运算，得到显示基元图像；
预校正模块202，被配置为计算所述显示基元图像与所述样本基元图像的结构相似性指标，并将所述结构相似性指标作为卷积神经网络的损失函数；
预校正模块202，被配置为利用所述损失函数与所述初始卷积神经网络模型，训练得到所述预校正卷积神经网络。
在本申请的另外一种实施方式中，还包括：其中所述预校正卷积神经网络的学习率为3E^-4；以及，
所述样本基元图像由裁取框在16K分辨率的原始图像上随机裁取得到，其中所述原始图像为128*128像素的图像。
在本申请的另外一种实施方式中，获取模块201，还包括：
获取模块201，被配置为利用虚拟相机对三维场景的拍摄操作，采集得到所述三维场景对应的场景信息；
获取模块201，被配置为将所述场景信息合成得到所述初始合成图像。
在本申请的另外一种实施方式中，获取模块201，还包括：
预校正模块202，被配置为将所述初始合成图像输入至所述预校正卷积神经网络的编码器中，得到图像编码特征，其中所述编码器包含有5个卷积层；
预校正模块202，被配置为将所述图像编码特征输入至所述预校正卷积神经网络的解码器中，得到所述经过像差预校正后的目标合成图像，其中所述解码器包含有5个反卷积层。
在本申请的另外一种实施方式中，获取模块201，还包括：
生成模块203，被配置为在光路上依次设置液晶显示面板、微透镜阵列以及所述定向扩散膜；
生成模块203，被配置为将所述液晶显示面板用于作为信息输入端，将所述目标合成图像的光场光线向所述微透镜阵列投射；
生成模块203，被配置为所述微透镜阵列用于对经过的光场光线进行折射调整后，投射至所述定向扩散膜上，得到所述立体三维场景。
在本申请的另外一种实施方式中，还包括：所述微透镜阵列以53*30的矩阵式进行排列；以及，
所述微透镜阵列中相邻透镜的中心间距为13毫米。
图7是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如，电子设备300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备处理器执行以完成上述立体三维光场的显示方法，该方法包括：获取初始合成图像；将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络；将所述目标合成图像加载到定向扩散膜上，生成立体三维场景。可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种应用程序/计算机程序产品，包括一条或多条指令，该一条或多条指令可以由电子设备的处理器执行，以完成上述立体三维光场的显示方法，该方法包括：获取初始合成图像；将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络；将所述目标合成图像加载到定向扩散膜上，生成立体三维场景。可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。
图7为计算机设备30的示例图。本领域技术人员可以理解，示意图7仅仅是计算机设备30的示例，并不构成对计算机设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备30还可以包括输入输出设备、网络接入设备、总线等。
所称处理器302可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器302也可以是任何常规的处理器等，处理器302是计算机设备30的控制中心，利用各种接口和线路连接整个计算机设备30的各个部分。
存储器301可用于存储计算机可读指令303，处理器302通过运行或执行存储在存储器301内的计算机可读指令或模块，以及调用存储在存储器301内的数据，实现计算机设备30的各种功能。存储器301可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备30的使用所创建的数据等。此外，存储器301可以包括硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)或其他非易失性/易失性存储器件。
计算机设备30集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (9)

1.一种立体三维光场的显示方法，其特征在于，包括：
获取初始合成图像；
将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络；
将所述目标合成图像加载到定向扩散膜上，生成立体三维场景；
其中，在所述获取初始合成图像之前，还包括：
获取多个样本基元图像；
将所述样本基元图像输入至初始卷积神经网络模型，得到经过预处理的样本基元图像；
将所述经过预处理的样本基元图像与点扩散函数阵列进行卷积运算，得到显示基元图像；
计算所述显示基元图像与所述样本基元图像的结构相似性指标，并将所述结构相似性指标作为卷积神经网络的损失函数；
利用所述损失函数与所述初始卷积神经网络模型，训练得到所述预校正卷积神经网络。
2.如权利要求1所述的方法，其特征在于，其中所述预校正卷积神经网络的学习率为3E^-4；以及，
所述样本基元图像由裁取框在16K分辨率的原始图像上随机裁取得到，其中所述原始图像为128*128像素的图像。
3.如权利要求1所述的方法，其特征在于，在所述获取初始合成图像之前，还包括：
利用虚拟相机阵列对三维场景的拍摄操作，采集得到所述三维场景对应的场景信息；
将所述场景信息合成得到所述初始合成图像。
4.如权利要求1所述的方法，其特征在于，所述将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，包括：
将所述初始合成图像输入至所述预校正卷积神经网络的编码器中，得到图像编码特征，其中所述编码器包含有5个卷积层；
将所述图像编码特征输入至所述预校正卷积神经网络的解码器中，得到所述经过像差预校正后的目标合成图像，其中所述解码器包含有5个反卷积层。
5.如权利要求1所述的方法，其特征在于，所述将所述目标合成图像加载到定向扩散膜上，生成立体三维场景，包括：
在光路上依次设置液晶显示面板、微透镜阵列以及所述定向扩散膜；
将所述液晶显示面板作为信息输入端，将所述目标合成图像的光场光线向所述微透镜阵列投射；
所述微透镜阵列用于对经过的光场光线进行折射调整后，投射至所述定向扩散膜上，得到所述立体三维场景。
6.如权利要求5所述的方法，其特征在于，所述微透镜阵列以53*30的矩阵式进行排列；以及，
所述微透镜阵列中相邻透镜的中心间距为13毫米。
7.一种立体三维光场的显示装置，其特征在于，包括：
获取模块，被配置为获取初始合成图像；
预校正模块，被配置为将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络；
生成模块，被配置为将所述目标合成图像加载到定向扩散膜上，生成立体三维场景；
其中，在所述获取初始合成图像之前，还包括：
获取多个样本基元图像；
将所述样本基元图像输入至初始卷积神经网络模型，得到经过预处理的样本基元图像；
将所述经过预处理的样本基元图像与点扩散函数阵列进行卷积运算，得到显示基元图像；
计算所述显示基元图像与所述样本基元图像的结构相似性指标，并将所述结构相似性指标作为卷积神经网络的损失函数；
利用所述损失函数与所述初始卷积神经网络模型，训练得到所述预校正卷积神经网络。
8.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及，
处理器，用于与所述存储器显示以执行所述可执行指令从而完成权利要求1-6中任一所述立体三维光场的显示方法的操作。
9.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1-6中任一所述立体三维光场的显示方法的操作。
CN202111044457.9A 2021-09-07 2021-09-07 立体三维光场的显示方法、装置、电子设备及介质 Active CN113900608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111044457.9A CN113900608B (zh) 2021-09-07 2021-09-07 立体三维光场的显示方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111044457.9A CN113900608B (zh) 2021-09-07 2021-09-07 立体三维光场的显示方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN113900608A CN113900608A (zh) 2022-01-07
CN113900608B true CN113900608B (zh) 2024-03-15

Family

ID=79188653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111044457.9A Active CN113900608B (zh) 2021-09-07 2021-09-07 立体三维光场的显示方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113900608B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117644680B (zh) * 2023-11-28 2024-07-09 深圳市深大极光科技股份有限公司 一种可烫印三维全视角显示膜及其制备方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230338A (zh) * 2018-01-11 2018-06-29 温州大学 一种基于卷积神经网络的立体图像分割方法
CN110070503A (zh) * 2019-04-05 2019-07-30 马浩鑫 基于卷积神经网络的尺度校准方法、系统及介质
CN110321773A (zh) * 2018-03-30 2019-10-11 托比股份公司 使用校准参数的用于三维（3d）注视预测的神经网络训练
CN110441271A (zh) * 2019-07-15 2019-11-12 清华大学 基于卷积神经网络的光场高分辨解卷积方法及系统
CN110500957A (zh) * 2019-09-10 2019-11-26 中国科学院苏州纳米技术与纳米仿生研究所 一种主动三维成像方法、装置、设备以及存储介质
CN111768484A (zh) * 2020-05-20 2020-10-13 北京邮电大学 基于合成图像编码的电子沙盘显示方法及系统
WO2020220516A1 (zh) * 2019-04-30 2020-11-05 深圳市商汤科技有限公司 图像生成网络的训练及图像处理方法、装置、电子设备、介质
CN112508171A (zh) * 2020-11-23 2021-03-16 中国辐射防护研究院 一种基于多层卷积神经网络的图像深度估计方法和装置
WO2021164737A1 (zh) * 2020-02-20 2021-08-26 华为技术有限公司 神经网络压缩的方法、数据处理的方法及相关装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2709661C1 (ru) * 2018-09-19 2019-12-19 Общество с ограниченной ответственностью "Аби Продакшн" Обучение нейронных сетей для обработки изображений с помощью синтетических фотореалистичных содержащих знаки изображений
US11699242B2 (en) * 2020-02-25 2023-07-11 Electronics And Telecommunications Research Institute System and method for digital hologram synthesis and process using deep learning

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230338A (zh) * 2018-01-11 2018-06-29 温州大学 一种基于卷积神经网络的立体图像分割方法
CN110321773A (zh) * 2018-03-30 2019-10-11 托比股份公司 使用校准参数的用于三维（3d）注视预测的神经网络训练
CN110070503A (zh) * 2019-04-05 2019-07-30 马浩鑫 基于卷积神经网络的尺度校准方法、系统及介质
WO2020220516A1 (zh) * 2019-04-30 2020-11-05 深圳市商汤科技有限公司 图像生成网络的训练及图像处理方法、装置、电子设备、介质
CN110441271A (zh) * 2019-07-15 2019-11-12 清华大学 基于卷积神经网络的光场高分辨解卷积方法及系统
CN110500957A (zh) * 2019-09-10 2019-11-26 中国科学院苏州纳米技术与纳米仿生研究所 一种主动三维成像方法、装置、设备以及存储介质
WO2021164737A1 (zh) * 2020-02-20 2021-08-26 华为技术有限公司 神经网络压缩的方法、数据处理的方法及相关装置
CN111768484A (zh) * 2020-05-20 2020-10-13 北京邮电大学 基于合成图像编码的电子沙盘显示方法及系统
CN112508171A (zh) * 2020-11-23 2021-03-16 中国辐射防护研究院 一种基于多层卷积神经网络的图像深度估计方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于计算机视觉算法的图像处理技术;刘海玲;《计算机与数字工程》;第第47卷卷(第第3期期);第673-676页 *

Also Published As

Publication number Publication date
CN113900608A (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
US11113794B2 (en) Systems and methods for generating defocus blur effects
Xiao et al. Deepfocus: Learned image synthesis for computational display
JP5340952B2 (ja) 三次元投影ディスプレイ
Hong et al. Three-dimensional display technologies of recent interest: principles, status, and issues
US10466485B2 (en) Head-mounted apparatus, and method thereof for generating 3D image information
CN113763301B (zh) 一种减小错切概率的三维图像合成方法和装置
US11308682B2 (en) Dynamic stereoscopic rendering method and processor
US20220408070A1 (en) Techniques for generating light field data by combining multiple synthesized viewpoints
CN113900608B (zh) 立体三维光场的显示方法、装置、电子设备及介质
Chen et al. Real-time lens based rendering algorithm for super-multiview integral photography without image resampling
Chen et al. Light field display with ellipsoidal mirror array and single projector
CN113222868B (zh) 图像合成方法及装置
Wang et al. A full-parallax tabletop three dimensional light-field display with high viewpoint density and large viewing angle based on space-multiplexed voxel screen
CN111768484A (zh) 基于合成图像编码的电子沙盘显示方法及系统
US10809663B2 (en) Method and apparatus for processing image
US20200103825A1 (en) Method and apparatus for processing hologram image data
CN112866676B (zh) 一种基于单像素多视点重建的裸眼三维显示算法
CN116165864B (zh) 一种用于增强现实的二值层析三维场景实现方法及系统
Lee et al. Tomoreal: Tomographic displays
CN113935907A (zh) 预校正图像像差的方法、装置、电子设备及介质
KR101606539B1 (ko) 360도 원형 디스플레이의 3차원 영상 렌더링 방법
Gao et al. Performance improvement for additive light field displays with weighted simultaneous algebra reconstruction technique and tracked views
US7619652B2 (en) Frame processing and frame processing method
CN114339191B (zh) 一种基于多视点重建的裸眼三维显示方法
CN115327770A (zh) 自适应全息功能屏调制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant