CN113935907A - 预校正图像像差的方法、装置、电子设备及介质 - Google Patents
预校正图像像差的方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN113935907A CN113935907A CN202111052841.3A CN202111052841A CN113935907A CN 113935907 A CN113935907 A CN 113935907A CN 202111052841 A CN202111052841 A CN 202111052841A CN 113935907 A CN113935907 A CN 113935907A
- Authority
- CN
- China
- Prior art keywords
- image
- correction
- aberration
- images
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004075 alteration Effects 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012937 correction Methods 0.000 claims abstract description 175
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000009792 diffusion process Methods 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 11
- 239000004973 liquid crystal related substance Substances 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 5
- 230000002441 reversible effect Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 abstract description 10
- 238000003062 neural network model Methods 0.000 abstract description 6
- 230000002401 inhibitory effect Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 210000003644 lens cell Anatomy 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种预校正图像像差的方法、装置、电子设备及介质。本申请中，可以获取无像差的基元图像；利用卷积神经网络模型对无像差的基元图像进行像差预校正，得到多个第一预校正图像，以及利用维纳滤波器对无像差的基元图像进行像差预校正，得到多个第二预校正图像；将多个第一预校正图像以及第二预校正图像进行图像拼接，得到对应的多个联合预校正基元图像；在多个联合预校正基元图像中，选取图像指标值最高的图像作为目标预校正图像。通过应用本申请的技术方案，可以通过预先训练得到的卷积神经网络模型训练模型以及维纳滤波器以实现对系统中透镜像差预先的校正处理，从而在不增加系统复杂度的前提下用于抑制各种程度的透镜像差对光场显示设备带来的影响的目的。
Description
技术领域
本申请中涉及图像处理技术，尤其是一种预校正图像像差的方法、装置、电子设备及介质。
背景技术
近年来，三维(3D)显示技术蓬勃发展，而桌面式三维显示技术因其能为设备周围的多个观察者同时提供具有正确深度信息的立体三维场景而引起了人们的广泛关注。
进一步的，现有的三维显示系统由于图像采集、传输和显示过程较为复杂，要想重建出大型真彩的三维图像仍很困难。可以理解的，在集成成像系统中，视角由单个透镜覆盖的基元图像大小和透镜距显示面板的远近决定。集成成像技术虽然能够提供为观看者同时提供水平和竖直方向上的连续视差，但是相对而言，也存在显示分辨率低和视角小的固有缺陷。因为，在集成成像系统中，显示分辨率和视点数目恰好是一对相互制约的两个参数，一般情况下，直接增加三维显示设备的视点数目会导致显示分辨率下降，而提高显示分辨率会导致视点数目的下降，缺少既满足多视点又满足高分辨率的显示方法。
发明内容
本申请实施例提供一种预校正图像像差的方法、装置、电子设备及介质，其中，根据本申请实施例的一个方面，提供的一种预校正图像像差的方法，其特征在于，包括：
获取无像差的基元图像，所述无像差的基元图像中不存在透镜像差；
利用卷积神经网络模型对所述无像差的基元图像进行像差预校正，得到多个第一预校正图像；以及，利用维纳滤波器对所述无像差的基元图像进行像差预校正，得到多个第二预校正图像；
将多个所述第一预校正图像以及所述第二预校正图像进行图像拼接，得到对应的多个联合预校正基元图像；
在所述多个联合预校正基元图像中，选取图像指标最高的图像作为目标联合预校正图像。
可选地，在基于本申请上述方法的另一个实施例中，在所述获取无像差的基元图像之前，还包括：
利用虚拟相机阵列对三维场景的拍摄操作，采集得到所述三维场景对应的场景信息；
将所述场景信息生成得到视差图像；
在所述初始基元图像上对像素进行反向映射处理，得到所述无像差的基元图像。
可选地，在基于本申请上述方法的另一个实施例中，所述利用卷积神经网络模型对所述无像差的基元图像进行像差预校正，得到多个第一预校正图像，包括：
将所述无像差的基元图像输入至所述卷积神经网络模型的编码器中，得到图像编码特征，其中所述编码器包含有5个卷积层；
将所述图像编码特征输入至所述卷积神经网络模型的解码器中，得到所述经过像差预校正后的第一预校正图像，其中所述解码器包含有5个反卷积层。
可选地，在基于本申请上述方法的另一个实施例中，所述利用维纳滤波器对所述无像差的基元图像进行像差预校正，得到多个第二预校正图像，包括：
利用最小均方差滤波器对所述无像差的基元图像进行像差预校正，得到经过像差预校正后的所述第二预校正图像。
可选地，在基于本申请上述方法的另一个实施例中，所述将多个所述第一预校正图像以及所述第二预校正图像进行图像拼接，得到对应的多个联合预校正基元图像，包括：
选取所述第一预校正图像中，弥散斑均方根半径值大于均方根半径阈值的第一区域图像；以及，选取所述第二预校正图像中，弥散斑均方根半径值大于均方根半径阈值的第二区域图像；
将所述第一区域图像以及所述第二区域图像进行图像拼接，得到所述对应的多个联合预校正基元图像。
可选地，在基于本申请上述方法的另一个实施例中，所述在所述多个联合预校正基元图像中，选取图像指标最高的图像作为目标联合预校正图像，包括：
以所述评价分数为纵坐标，并以弥散斑的均方根半径为横坐标，并计算每个目标预校正图像的评价分数值，生成校正效率曲线；
将所述校正效率曲线中的极大值点所对应的目标预校正图像作为所述目标联合预校正图像。
可选地，在基于本申请上述方法的另一个实施例中，在所述选取图像指标最高的图像作为目标联合预校正图像之后，还包括：
在光路上依次设置液晶显示面板、微透镜阵列以及所述定向扩散膜；
将所述液晶显示面板用于作为信息输入端，将所述目标联合预校正图像的光场光线向所述微透镜阵列投射；
所述微透镜阵列用于对经过的光场光线进行折射调整后，投射至所述定向扩散膜上，得到立体三维场景。
其中，根据本申请实施例的又一个方面，提供的一种预校正图像像差的装置，其特征在于，包括：
获取模块，被配置为获取无像差的基元图像，所述无像差的基元图像中不存在透镜像差；
预校正模块，被配置为利用卷积神经网络模型对所述无像差的基元图像进行像差预校正，得到多个第一预校正图像；以及，利用维纳滤波器对所述无像差的基元图像进行像差预校正，得到多个第二预校正图像；
拼接模块，被配置为将多个所述第一预校正图像以及所述第二预校正图像进行图像拼接，得到对应的多个联合预校正基元图像；
生成模块，被配置为在所述多个联合预校正基元图像中，选取图像指标最高的图像作为目标联合预校正图像。
根据本申请实施例的又一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
显示器，用于与所述存储器显示以执行所述可执行指令从而完成上述任一所述预校正图像像差的方法的操作。
根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述预校正图像像差的方法的操作。
本申请中，可以获取无像差的基元图像，无像差的基元图像中不存在透镜像差；利用卷积神经网络模型对无像差的基元图像进行像差预校正，得到多个第一预校正图像；以及，利用维纳滤波器对无像差的基元图像进行像差预校正，得到多个第二预校正图像；将多个第一预校正图像以及第二预校正图像进行图像拼接，得到对应的多个联合预校正基元图像；在多个联合预校正基元图像中，选取图像指标最高的图像作为目标联合预校正图像。通过应用本申请的技术方案，可以通过预先训练得到的卷积神经网络模型训练模型以及维纳滤波器以实现对系统中透镜像差预先的校正处理，从而在不增加系统复杂度的前提下用于抑制各种程度的透镜像差对光场显示设备带来的影响的目的。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请提出的一种预校正图像像差的方法示意图；
图2-图4为本申请提出的一种预校正图像像差的模型系统架构示意图；
图5为本申请提出的预校正图像像差的电子装置的结构示意图；
图6为本申请提出的预校正图像像差的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
需要说明的是，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
下面结合图1-图4来描述根据本申请示例性实施方式的用于进行预校正图像像差的方法。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
本申请还提出一种预校正图像像差的方法、装置、电子设备及介质。
图1示意性地示出了根据本申请实施方式的一种预校正图像像差的方法的流程示意图。如图1所示，该方法包括：
S101,获取无像差的基元图像，无像差的基元图像中不存在透镜像差。
近年来，三维(3D)显示技术引起了人们的广泛关注，而光场显示技术被认为是最具前景的一种实现三维显示的技术。与基于双目视差的三维显示不同，光场显示能够在空间中重建出与真实物理世界相同的三维光场分布，为观众提供真实自然的三维感知体验。使用该技术可以轻松实现全彩色的“真三维”效果，且观看者无需佩戴任何助视设备。而分辨率是三维显示中影响显示质量的重要指标，理想的三维显示技术可以为观看者提供接近真实世界的视觉感官体验。通常，提高显示分辨率可以增强所显示立体内容的视觉真实性，使其包含更加丰富的光场信息，有助于更加真实地重建三维场景。
在目前较为主流的三维光场显示技术中，基于微透镜阵列与定向扩散膜的集成成像技术尤其受到关注。在集成成像中，单位圆透镜下覆盖的基元图像经过透镜的空间光调制，使在焦平面上的不同空间位置排列的像素发出的光线都以光心的连线方向射出，重新汇聚在定向扩散膜上。经过定向扩散膜的扩散形成具有全视差的三维立体图像。在集成成像系统中，视角由单个透镜覆盖的基元图像大小和透镜距显示面板的远近决定。集成成像技术虽然能够提供为观看者同时提供水平和竖直方向上的连续视差，但是相对而言，也存在显示分辨率低和视角小的固有缺陷。因为，在集成成像系统中，显示分辨率和视点数目恰好是一对相互制约的两个参数，一般情况下，直接增加三维显示设备的视点数目会导致显示分辨率下降，而提高显示分辨率会导致视点数目的下降，缺少既满足多视点又满足高分辨率的显示方法。
相关技术中，目前主要有三种思路来解决这一问题：一是通过时分复用，引入刷新背光的模组和算法使得在短时间内显示多组内容；二是通过空分复用，引入更多的二维显示器件使得能够显示多组内容；三是通过制造体像素叠加，设计特殊复杂的光学器件来重新调制空间中的光分布情况。前两者是通过提高单位时间内显示的像素数量从而提高视觉分辨率，最后一种方法是通过增加可以被看到的像素(视觉像素)来提高视觉分辨率。不幸的是，三种方法无一例外地都显著增加了系统的复杂度和制造难度。
针对上述问题，本申请采用一种通过预先训练得到的卷积神经网络模型训练模型以及维纳滤波器以实现对系统中透镜像差预校正的处理方法。其中首先需要获取利用虚拟相机等对三维场景进行拍摄而采集到的信息，并由该采集信息得到视差图像后，将其中的像素进行反向映射处理，以得到无像差的基元图像。
S102,利用卷积神经网络模型对无像差的基元图像进行像差预校正，得到多个第一预校正图像；以及，利用维纳滤波器对无像差的基元图像进行像差预校正，得到多个第二预校正图像。
进一步的，对于得到第一预校正图像来说，本申请可以利用预设的卷积神经网络对该合成图像进行像差预校正的处理，以使在不增加系统硬件设备数量的同时也能在应对不同程度的像差时都有较好的表现。
其中，为了尽可能地减小透镜像差对光场显示质量的影响，本申请需要利用采用五层卷积与反卷积结构而生成的卷积神经网络对无像差的基元图像进行重新编码，由此得到经过像差预校正后的第一预校正图像。
具体的，本申请中使用到的深度学习卷积神经网络由编码器和解码器两部分组成。编码器中包含五个卷积层，在经过每个卷积层时，特征的尺寸减小至原特征尺寸的0.5倍，特征的数量增加至原特征数量的2倍。解码器中包含五个反卷积层，使用反卷积操作来逐层增加特征的分辨率，最终得到第一预校正图像。可以理解的，上述卷积神经网络结构只是给出了一个可以满足本申请要求的例子，并非仅有此特定的网络结构才能实现本申请。
更进一步的，对于得到第二预校正图像来说，本申请中提出的维纳滤波器可以是一种以最小平方(统计准则)为最优准则的线性滤波器，也被称为最小均方差滤波器。
其中，在假设噪声和图像不相关，其中一个或另一个有零均值，且估计中的灰度级是退化图像中灰度级的线性函数的条件下，均方误差函数的最小值在频率域由如下表达式给出：
其中，H(u,v)为退化函数；G(u,v)为退化后图像的傅里叶变换；
Sη(u,v)为噪声功率谱，Sf(u,v)为未退化图像功率谱，在实际应用中，根据处理的效果选取合适的K值即可。
S103,将多个第一预校正图像以及所述第二预校正图像进行图像拼接，得到对应的多个联合预校正基元图像。
S104,在多个联合预校正基元图像中，选取图像指标最高的图像作为目标联合预校正图像。
进一步的，对于无像差的基元图像而言，如果其数量为一个，则可以将根据该系统中像差严重程度的分布情况选择合适的像差预校正方法，即一个无像差的基元图像中的其中一部分区域的像差预校正由卷积神经网络完成，一部分区域的像差预校正由维纳滤波器完成。
对于无像差的基元图像而言，如果其数量为多个，那么则需要为每一个无像差的基元图像分别进行一次像差预校正，并从中选取合适的联合预校正基元图像。
如图3所示，本申请可以包括如下步骤得到目标预校正图像，以使后续将该目标预校正图像加载在液晶显示面板上：
步骤一：如图4所示，本申请可以对无像差的基元图像分别使用卷积神经网络和维纳滤波器进行像差的校正以分别得到第一预校正图像以及第二预校正图像，并以弥散斑均方根半径的大小为变量，对两个预校正图像进行拼接，得到联合预校正基元图像。
步骤二：将第一步得到的经校正的拼接基元图像(即联合预校正基元图像)依次送入图像质量评价算法，其中该质量评价算法即为以评价分数为纵坐标、以弥散斑均方根半径为横坐标，绘制出一条校正效率曲线。
其中，对于评价分数来说，一种方式可以为由图像的信息保真度(IFC)得到。其中IFC为用多尺度高斯混合模型对自然图像进行统计得到，度量信息损失程度，主要针对高频信息的波型特征，对于图像的结构信息没有响应。当然，本申请也可以根据图像的其他参数来作为评价分数，例如峰值信噪比，结构相似性等等。
而对于像差来说，由于像差的严重程度可以用弥散斑的均方根半径表示，因此可以得出，弥散斑的均方根半径越大则该区域的像差越严重，半径越小则像差越轻微。
步骤三：找到步骤二中校正效率曲线的极大值点，将该点所对应的联合预校正基元图像取用为最终的目标校正图像。
本申请中，可以获取无像差的基元图像；利用卷积神经网络模型对无像差的基元图像进行像差预校正，得到多个第一预校正图像，以及利用维纳滤波器对无像差的基元图像进行像差预校正，得到多个第二预校正图像；将多个第一预校正图像以及第二预校正图像进行图像拼接，得到对应的多个联合预校正基元图像；在多个联合预校正基元图像中，选取图像指标最高的图像作为目标联合预校正图像。通过应用本申请的技术方案，可以通过预先训练得到的卷积神经网络模型训练模型以及维纳滤波器以实现对系统中透镜像差预校正的处理，从而在不增加系统复杂度的前提下用于抑制各种程度的透镜像差对光场显示设备带来的影响的目的。
可选地，在基于本申请上述方法的另一个实施例中，在所述获取无像差的基元图像之前，还包括：
利用虚拟相机阵列对三维场景的拍摄操作，采集得到所述三维场景对应的场景信息；
将所述场景信息生成得到视差图像；
在所述初始基元图像上对像素进行反向映射处理，得到所述无像差的基元图像。
可选地，在基于本申请上述方法的另一个实施例中，所述利用卷积神经网络模型对所述无像差的基元图像进行像差预校正，得到多个第一预校正图像，包括：
将所述无像差的基元图像输入至所述卷积神经网络模型的编码器中，得到图像编码特征，其中所述编码器包含有5个卷积层；
将所述图像编码特征输入至所述卷积神经网络模型的解码器中，得到所述经过像差预校正后的第一预校正图像，其中所述解码器包含有5个反卷积层。
可选地，在基于本申请上述方法的另一个实施例中，所述利用维纳滤波器对所述无像差的基元图像进行像差预校正，得到多个第二预校正图像，包括：
利用最小均方差滤波器对所述无像差的基元图像进行像差预校正，得到经过像差预校正后的所述第二预校正图像。
可选地，在基于本申请上述方法的另一个实施例中，所述将多个所述第一预校正图像以及所述第二预校正图像进行图像拼接，得到对应的多个联合预校正基元图像，包括：
选取所述第一预校正图像中，弥散斑均方根半径值大于均方根半径阈值的第一区域图像；以及，选取所述第二预校正图像中，弥散斑均方根半径值小于均方根半径阈值的第二区域图像；
将所述第一区域图像以及所述第二区域图像进行图像拼接，得到所述对应的多个联合预校正基元图像。
可以理解的，由于相关技术中存在仅使用维纳滤波预校正的方法会在像差严重的区域产生振铃效应，以及仅使用深度学习网络预校正的方法在像差轻微区域的校正效果不及使用滤波方法的效果好的原因，本申请即可以选择选取第一预校正图像(经过神经网络模型校正得到的图像)中，像差值较大(大于像差阈值)的第一区域图像，以及选取第二预校正图像(经过滤波器校正得到的图像)中，像差值较小(小于像差阈值)的第二区域图像，以使后续将两个区域的图像进行图像拼接，从而得到对应的联合预校正基元图像。
可选地，在基于本申请上述方法的另一个实施例中，所述在所述多个联合预校正基元图像中，选取图像指标最高的图像作为目标联合预校正图像，包括：
以所述评价分数为纵坐标，并以弥散斑的均方根半径为横坐标，并计算每个目标预校正图像的评价分数值，生成校正效率曲线；
将所述校正效率曲线中的极大值点所对应的联合预校正图像作为所述目标预校正图像。
可选地，在基于本申请上述方法的另一个实施例中，在所述选取图像指标最高的图像作为目标联合预校正图像之后，还包括：
在光路上依次设置液晶显示面板、微透镜阵列以及所述定向扩散膜；
将所述液晶显示面板用于作为信息输入端，将所述目标预校正图像的光场光线向所述微透镜阵列投射；
所述微透镜阵列用于对经过的光场光线进行折射调整后，投射至所述定向扩散膜上，得到立体三维场景。
进一步的，本申请在得到目标预校正图像之后，还可以在后续将该目标预校正图像阵列经过液晶显示面板以及透镜阵列投射到定向扩散膜上，以得到最终的立体三维场景。
一种方式中，本申请中的透镜阵列的透镜单元可以为以53*30的矩阵式进行排列，且每个相邻透镜的中心间距为13毫米。
可选的，在本申请的另外一种实施方式中，如图5所示，本申请还提供一种预校正图像像差的装置。其中包括：
获取模块201，被配置为获取无像差的基元图像，所述无像差的基元图像中不存在透镜像差；
预校正模块202，被配置为利用卷积神经网络模型对所述无像差的基元图像进行像差预校正，得到多个第一预校正图像；以及，利用维纳滤波器对所述无像差的基元图像进行像差预校正，得到多个第二预校正图像；
拼接模块203，被配置为将多个所述第一预校正图像以及所述第二预校正图像进行图像拼接，得到对应的多个联合预校正基元图像；
生成模块204，被配置为在所述多个联合预校正基元图像中，选取图像指标最高的图像作为目标预校正图像。
本申请中，可以获取无像差的基元图像；利用卷积神经网络模型对无像差的基元图像进行像差预校正，得到多个第一预校正图像，以及利用维纳滤波器对无像差的基元图像进行像差预校正，得到多个第二预校正图像；将多个第一预校正图像以及第二预校正图像进行图像拼接，得到对应的多个联合预校正基元图像；在多个联合预校正基元图像中，选取图像指标最高的图像作为目标预校正图像。通过应用本申请的技术方案，可以通过预先训练得到的卷积神经网络模型训练模型以及维纳滤波器以实现对系统中透镜像差的预校正处理，从而在不增加系统复杂度的前提下用于抑制各种程度的透镜像差对光场显示设备带来的影响的目的。
在本申请的另外一种实施方式中，获取模块201，还包括：
获取模块201，被配置为利用虚拟相机阵列对三维场景的拍摄操作，采集得到所述三维场景对应的场景信息；
获取模块201，被配置为将所述场景信息生成得到视差图像；
获取模块201，被配置为在所述初始基元图像上对像素进行反向映射处理，得到所述无像差的基元图像。
在本申请的另外一种实施方式中，预校正模块202，还包括：
预校正模块202，被配置为将所述无像差的基元图像输入至所述卷积神经网络模型的编码器中，得到图像编码特征，其中所述编码器包含有5个卷积层；
预校正模块202，被配置为将所述图像编码特征输入至所述卷积神经网络模型的解码器中，得到所述经过像差预校正后的第一预校正图像，其中所述解码器包含有5个反卷积层。
在本申请的另外一种实施方式中，预校正模块202，还包括：
预校正模块202，被配置为利用维纳滤波器对所述无像差的基元图像进行像差预校正，得到经过像差预校正后的所述第二预校正图像。
在本申请的另外一种实施方式中，拼接模块203，还包括：
拼接模块203，被配置为选取所述第一预校正图像中，弥散斑均方根半径值大于均方根半径阈值的第一区域图像；以及，选取所述第二预校正图像中，弥散斑均方根半径值小于均方根半径阈值的第二区域图像；
拼接模块203，被配置为将所述第一区域图像以及所述第二区域图像进行图像拼接，得到所述对应的多个联合预校正基元图像。
在本申请的另外一种实施方式中，生成模块204，还包括：
生成模块204，被配置为以所述评价分数为纵坐标，并以弥散斑均方根半径为横坐标，并计算每个目标联合预校正图像的评价分数值，生成校正效率曲线；
生成模块204，被配置为将所述校正效率曲线中的极大值点所对应的联合预校正图像作为所述目标联合预校正图像。
在本申请的另外一种实施方式中，生成模块204，还包括：
生成模块204，被配置为在光路上依次设置液晶显示面板、微透镜阵列以及所述定向扩散膜；
生成模块204，被配置为将所述液晶显示面板用于作为信息输入端，将所述目标预校正图像的光场光线向所述微透镜阵列投射；所述微透镜阵列用于对经过的光场光线进行折射调整后，投射至所述定向扩散膜上，得到立体三维场景。
图6是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如，电子设备300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备处理器执行以完成上述预校正图像像差的方法，该方法包括：获取无像差的基元图像，所述无像差的基元图像中不存在透镜像差；利用卷积神经网络模型对所述无像差的基元图像进行像差预校正，得到多个第一预校正图像；以及，利用维纳滤波器对所述无像差的基元图像进行像差预校正，得到多个第二预校正图像；将多个所述第一预校正图像以及所述第二预校正图像进行图像拼接，得到对应的多个联合预校正基元图像；在所述多个联合预校正基元图像中，选取图像指标最高的图像作为目标预校正图像。可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种应用程序/计算机程序产品，包括一条或多条指令，该一条或多条指令可以由电子设备的处理器执行，以完成上述预校正图像像差的方法，该方法包括：获取无像差的基元图像，所述无像差的基元图像中不存在透镜像差；利用卷积神经网络模型对所述无像差的基元图像进行像差预校正，得到多个第一预校正图像；以及，利用维纳滤波器对所述无像差的基元图像进行像差预校正，得到多个第二预校正图像；将多个所述第一预校正图像以及所述第二预校正图像进行图像拼接，得到对应的多个联合预校正基元图像；在所述多个联合预校正基元图像中，选取图像指标最高的图像作为目标预校正图像。可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。
图6为计算机设备30的示例图。本领域技术人员可以理解，示意图6仅仅是计算机设备30的示例，并不构成对计算机设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备30还可以包括输入输出设备、网络接入设备、总线等。
所称处理器302可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器302也可以是任何常规的处理器等，处理器302是计算机设备30的控制中心，利用各种接口和线路连接整个计算机设备30的各个部分。
存储器301可用于存储计算机可读指令303，处理器302通过运行或执行存储在存储器301内的计算机可读指令或模块，以及调用存储在存储器301内的数据，实现计算机设备30的各种功能。存储器301可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备30的使用所创建的数据等。此外，存储器301可以包括硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)或其他非易失性/易失性存储器件。
计算机设备30集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种预校正图像像差的方法，其特征在于，包括：
获取无像差的基元图像，所述无像差的基元图像中不存在透镜像差；
利用卷积神经网络模型对所述无像差的基元图像进行像差预校正，得到多个第一预校正图像；以及，利用维纳滤波器对所述无像差的基元图像进行像差预校正，得到多个第二预校正图像；
将多个所述第一预校正图像以及所述第二预校正图像进行图像拼接，得到对应的多个联合预校正基元图像；
在所述多个联合预校正基元图像中，选取图像指标最高的图像作为目标预校正图像。
2.如权利要求1所述的方法，其特征在于，在所述获取无像差的基元图像之前，还包括：
利用虚拟相机阵列对三维场景的拍摄操作，采集得到所述三维场景对应的场景信息；
将所述场景信息生成得到视差图像；
在所述初始基元图像上对像素进行反向映射处理，得到所述无像差的基元图像。
3.如权利要求1所述的方法，其特征在于，所述利用卷积神经网络模型对所述无像差的基元图像进行像差预校正，得到多个第一预校正图像，包括：
将所述无像差的基元图像输入至所述卷积神经网络模型的编码器中，得到图像编码特征，其中所述编码器包含有5个卷积层；
将所述图像编码特征输入至所述卷积神经网络模型的解码器中，得到所述经过像差预校正后的第一预校正图像，其中所述解码器包含有5个反卷积层。
4.如权利要求1或3所述的方法，其特征在于，所述利用维纳滤波器对所述无像差的基元图像进行像差预校正，得到多个第二预校正图像，包括：
利用维纳滤波器对所述无像差的基元图像进行像差预校正，得到经过像差预校正后的所述第二预校正图像。
5.如权利要求1所述的方法，其特征在于，所述将多个所述第一预校正图像以及所述第二预校正图像进行图像拼接，得到对应的多个联合预校正基元图像，包括：
选取所述第一预校正图像中，弥散斑均方根半径值大于均方根半径阈值的第一区域图像；以及，选取所述第二预校正图像中，弥散斑均方根半径值小于均方根半径阈值的第二区域图像；
将所述第一区域图像以及所述第二区域图像进行图像拼接，得到所述对应的多个联合预校正基元图像。
6.如权利要求1所述的方法，其特征在于，所述在所述多个联合预校正基元图像中，选取图像指标最高的图像作为目标预校正图像，包括：
以所述评价分数为纵坐标，并以弥散斑的均方根半径为横坐标，并计算每个目标预校正图像的评价分数值，生成校正效率曲线；
将所述校正效率曲线中的极大值点所对应的目标校正图像作为所述目标联合预校正图像。
7.如权利要求1所述的方法，其特征在于，在所述选取图像指标最高的图像作为目标联合预校正图像之后，还包括：
在光路上依次设置液晶显示面板、微透镜阵列以及所述定向扩散膜；
将所述液晶显示面板用于作为信息输入端，将所述目标联合预正图像的光场光线向所述微透镜阵列投射；
所述微透镜阵列用于对经过的光场光线进行折射调整后，投射至所述定向扩散膜上，得到立体三维场景。
8.一种预校正图像像差的装置，其特征在于，包括：
获取模块，被配置为获取无像差的基元图像，所述无像差的基元图像中不存在透镜像差；
预校正模块，被配置为利用卷积神经网络模型对所述无像差的基元图像进行像差预校正，得到多个第一预校正图像；以及，利用维纳滤波器对所述无像差的基元图像进行像差预校正，得到多个第二预校正图像；
拼接模块，被配置为将多个所述第一预校正图像以及所述第二校正图像进行图像拼接，得到对应的多个联合预校正基元图像；
生成模块，被配置为在所述多个联合预校正基元图像中，选取图像指标最高的图像作为目标联合预校正图像。
9.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及，
处理器，用于与所述存储器显示以执行所述可执行指令从而完成权利要求1-7中任一所述预校正图像像差的方法的操作。
10.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1-7中任一所述预校正图像像差的方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111052841.3A CN113935907A (zh) | 2021-09-06 | 2021-09-06 | 预校正图像像差的方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111052841.3A CN113935907A (zh) | 2021-09-06 | 2021-09-06 | 预校正图像像差的方法、装置、电子设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113935907A true CN113935907A (zh) | 2022-01-14 |
Family
ID=79275432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111052841.3A Pending CN113935907A (zh) | 2021-09-06 | 2021-09-06 | 预校正图像像差的方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113935907A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117541519A (zh) * | 2024-01-09 | 2024-02-09 | 清华大学 | 光场像差校正方法、装置、电子设备及存储介质 |
-
2021
- 2021-09-06 CN CN202111052841.3A patent/CN113935907A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117541519A (zh) * | 2024-01-09 | 2024-02-09 | 清华大学 | 光场像差校正方法、装置、电子设备及存储介质 |
| CN117541519B (zh) * | 2024-01-09 | 2024-05-31 | 清华大学 | 光场像差校正方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10715782B2 (en) | 3D system including a marker mode | |
| US11094075B1 (en) | Systems and methods utilizing a machine learning model for generating defocus blur effects | |
| Terzić et al. | Methods for reducing visual discomfort in stereoscopic 3D: A review | |
| JP5366547B2 (ja) | 立体視表示装置 | |
| JP2017532847A (ja) | 立体録画及び再生 | |
| CN111199518B (zh) | Vr设备的图像呈现方法、装置、设备和计算机存储介质 | |
| US11308682B2 (en) | Dynamic stereoscopic rendering method and processor | |
| CN113763301B (zh) | 一种减小错切概率的三维图像合成方法和装置 | |
| US10805601B2 (en) | Multiview image display device and control method therefor | |
| US20210405585A1 (en) | Method and apparatus for processing hologram image data | |
| US20240040098A1 (en) | 3d system | |
| US10122987B2 (en) | 3D system including additional 2D to 3D conversion | |
| CN113935907A (zh) | 预校正图像像差的方法、装置、电子设备及介质 | |
| CN112866676B (zh) | 一种基于单像素多视点重建的裸眼三维显示算法 | |
| CN113900608B (zh) | 立体三维光场的显示方法、装置、电子设备及介质 | |
| US10121280B2 (en) | 3D system including rendering with three dimensional transformation | |
| US20240249422A1 (en) | Single Image 3D Photography with Soft-Layering and Depth-aware Inpainting | |
| CN114339191A (zh) | 一种基于多视点重建的裸眼三维显示方法 | |
| CN114637391A (zh) | 基于光场的vr内容处理方法及设备 | |
| Deng et al. | Render‐based factorization for additive light field display | |
| CN113516748B (zh) | 一种集成成像光场显示的实时渲染方法及装置 | |
| US20110141107A1 (en) | Method for Producing an Autostereoscopic Display and System for an Autostereoscopic Display | |
| CN118646855A (zh) | 基于多层显示屏的裸眼三维显示方法、装置及存储介质 | |
| WO2017083509A1 (en) | Three dimensional system | |
| US10284837B2 (en) | 3D system including lens modeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |