CN116782041A - 一种基于液晶微透镜阵列的图像质量提高方法及系统 - Google Patents
一种基于液晶微透镜阵列的图像质量提高方法及系统 Download PDFInfo
- Publication number
- CN116782041A CN116782041A CN202310618403.1A CN202310618403A CN116782041A CN 116782041 A CN116782041 A CN 116782041A CN 202310618403 A CN202310618403 A CN 202310618403A CN 116782041 A CN116782041 A CN 116782041A
- Authority
- CN
- China
- Prior art keywords
- image
- color difference
- light field
- resolution
- liquid crystal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000004973 liquid crystal related substance Substances 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000006872 improvement Effects 0.000 title claims description 12
- 230000004075 alteration Effects 0.000 claims abstract description 35
- 238000003384 imaging method Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 56
- 230000006870 function Effects 0.000 claims description 51
- XLOMVQKBTHCTTD-UHFFFAOYSA-N Zinc monoxide Chemical compound [Zn]=O XLOMVQKBTHCTTD-UHFFFAOYSA-N 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 23
- 230000000295 complement effect Effects 0.000 claims description 19
- 239000011787 zinc oxide Substances 0.000 claims description 14
- 238000009877 rendering Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 239000011521 glass Substances 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 239000004988 Nematic liquid crystal Substances 0.000 claims description 3
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 claims description 3
- 229910052782 aluminium Inorganic materials 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 4
- 230000008030 elimination Effects 0.000 abstract description 2
- 238000003379 elimination reaction Methods 0.000 abstract description 2
- 238000010801 machine learning Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于液晶微透镜阵列的图像质量提高方法及系统，涉及机器学习及计算摄像学技术领域；该方法包括以下步骤：获取不同电压下的二维光场图像序列，对于二维光场图像序列中的每张第一图像，第一图像为分辨率为第一分辨率、且带有色差的图像；对于每张第一图像，通过预先训练的图像质量增强模型对第一图像进行图像质量增强处理，得到第一图像对应的第二图像，第二图像为分辨率为第二分辨率、且已消除色差的图像，第一分辨率小于第二分辨率；使用图像质量增强模型解决了液晶成像系统中的色差问题并提升图像分辨率，充分挖掘了面向液晶基的成像系统潜力，优化了液晶基成像系统的设计流程，为实现高质量液晶基成像系统提出了一条新的思路。
Description
技术领域
本发明涉及机器学习及计算摄像学技术领域，具体而言，涉及一种基于液晶微透镜阵列的图像质量提高方法及系统。
背景技术
传统光学微透镜阵列，易受制于现有光学元件孔径、景深、曝光时间、曝光水平等因素的影响，难以与传感器高效组合，会明显降低传感器图像频带宽度，成像也易形变造成大幅降质；而液晶是一种性能优异的光电材料，经多年发展，液晶微透镜阵列可弥补传统玻璃型光学微透镜阵列的不足，也已在一些成像应用中取代了传统玻璃型元件，但其仍存在色差、分辨率不高等问题，会严重影响液晶微透镜阵列的成像质量。
为了解决液晶微透镜阵列在宽谱段成像中由于自身散射特性导致的像质退化问题，传统方法是在液晶微透镜阵列后放置一个衍射光学元件，进行相位补偿，来校正液晶微透镜阵列所带来的色差；但由于设计出该衍射光学元件，需使用柯西色散近似理论来计算，造成整个过程计算量较大，且整个设计流程也较为复杂，且该衍射光学元件制备完成后，还存在成品光透射率下降等问题。
发明内容
本发明的目的在于提供一种基于液晶微透镜阵列的图像质量提高方法及系统，以解决目前液晶微透镜阵列的成像存在色差和分辨率低的问题。
本发明的实施例是这样实现的：
第一方面，本申请实施例提供了基于液晶微透镜阵列的成像质量提高方法，包括以下步骤：
获取不同电压下的二维光场图像序列，对于二维光场图像序列中的每张第一图像，第一图像为分辨率为第一分辨率、且带有色差的图像；
对于每张第一图像，通过预先训练的图像质量增强模型对第一图像进行图像质量增强处理，得到第一图像对应的第二图像，第二图像为分辨率为第二分辨率、且已消除色差的图像，第一分辨率小于第二分辨率。
本发明的有益效果是：使用图像质量增强模型解决了液晶成像系统中的色差问题并提升图像分辨率，充分挖掘了面向液晶基的成像系统潜力，优化了液晶基成像系统的设计流程，为实现高质量液晶基成像系统提出了一条新的思路。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，上述图像质量增强模型包括色差特征提取模块、重构模块和上采样模块；
对于每张第一图像，通过预先训练的图像质量增强模型对第一图像进行图像质量增强处理，得到第一图像对应的第二图像，包括：
通过色差提取模块，提取第一图像的色差特征；
根据第一图像的色差特征，通过重构模块对第一图像进行特征重构，获得已消除色差的第一图像；
通过上采样模块，对已消除色差的第一图像进行重组，得到第二图像。
采用上述进一步方案的有益效果是：通过图像质量增强模型分别对第一图像进行特征提取、特征重构和消色差处理，以获得已消除色差和提升分辨率后的第二图像。
进一步，上述色差特征提取模块包括多个卷积层；其中，通过色差提取模块，提取第一图像的色差特征，包括：
获取第一图像对应的二维光场图像序列，二维光场图像序列包括多张二维光场图像；
将二维光场图像序列进行分解，得到多张二维光场图像；
对于每张二维光场图像，通过色差特征提取模块的多个卷积层，提取二维光场图像的空间特征，以及提取二维光场图像对应的预测图像的互补特征，色差特征包括空间特征和互补特征；
重构模块包括多个卷积层；其中，通过重构模块，根据第一图像的色差特征，对第一图像进行特征重构，获得已消除色差的第一图像，包括：
重构模块包括多个卷积层；其中，通过重构模块，根据第一图像的色差特征，对第一图像进行特征重构，获得已消除色差的第一图像，包括：
对于每张二维光场图像，通过重构模块的多个卷积层，对二维光场图像对应的空间特征和互补特征进行特征融合，得到已消除色差的第一图像；
上采样模块包括多个卷积层和PixelShuffle-2D层，其中，通过上采样模块，对已消除色差的第一图像进行重组，得到第二图像，包括：
通过上采样模块的多个卷积层，对已消除色差的第一图像的进行信息还原，获得分辨率为第一分辨率且已消除色差的第一图像；
通过PixelShuffle-2D层，提高分辨率为第一分辨率且已消除色差的第一图像的分辨率，得到第二图像。
采用上述进一步方案的有益效果是：通过色差特征的提取、根据色差特征对第一图像进行特征重构、最后对第一图像进行重组和还原，通过这样处理图像，利用光场图像序列之间的相关性，充分提取图像特征，使获得的第二图像消除色差，更加清晰，从而提高图像质量。
进一步，上述图像质量增强模型是基于以下方式训练得到的：
获取初始训练样本，初始训练样本中包括多张第三图像，每张第三图像为分辨率为第三分辨率，且无色差的图像；
在每张第三图像中加入色差，得到包括多张第四图像的目标训练样本；
将目标训练样本输入初始模型，得到每张第四图像对应的预测图像，预测图像为分辨率为第四分辨率、且无色差的图像；
根据各张第四图像和各张预测图像，确定初始模型的第一损失函数值；
根据每张第四图像的RGB值和每张预测图像的RGB值，确定初始模型的第二损失函数值；
根据第一损失函数值和第二损失函数值，确定初始模型的总损失函数值，若总损失函数值满足预设的训练结束条件，将满足训练结束条件的初始模型确定为图像质量增强模型，若总损失函数值不满足训练结束条件，调整初始模型的模型参数，并基于调整后的模型参数重新训练初始模型，直到总损失函数值满足训练结束条件。
采用上述进一步方案的有益效果是：通过确定的第一损失函数值和第二损失函数值，从两个维度来实现对模型的训练，这样的好处是获得高精度的图像质量增强模型，使图像质量增强模型在使用于消色差和提升分辨率时，精度更高。
进一步，上述在每张第三图像中加入色差，得到包括多张第四图像的目标训练样本，包括：
对于每张第三图像，计算得到第三图像对应的色差偏置数值；
通过各个色差偏置数值对初始训练样本进行计算，得到包括多张第四图像的目标训练样本。
采用上述进一步方案的有益效果是：向第三图像中加入色差后，使获得的样本中具有色差特征，好处是获得能用于初始训练模型使用的目标训练样本，最终实现消色差的目的。
进一步，上述获取不同电压下的二维光场图像序列，包括：
对于每张第一图像，对第一图像进行光场渲染，得到与第一图像对应的二维光场图像序列，二维光场图像序列为除去液晶微透镜阵列的圆孔阵列的第一图像。
采用上述进一步方案的有益效果是：通过光场渲染达到出去圆孔阵列的目的，避免第一图像中液晶微透镜阵列的圆孔阵列对后续消色差的流程造成影响。
进一步，上述不同电压下的二维光场图像序列为通过基于液晶微透镜阵列搭建的光场成像装置获取的，其中，光场成像装置包括依次设置的电脑、CCD相机、氧化锌液晶微透镜阵列、偏振片和主透镜，氧化锌液晶微透镜阵列包括铝膜、两个玻璃衬底、氧化锌微结构和向列相液晶。
采用上述进一步方案的有益效果是：采用上述成像装置，通过改变氧化锌液晶微透镜阵列电压，调节该氧化锌液晶微透镜阵列中液晶分子的折射率，获得不同电压下的光场图像；与传统成像方法相比，使用氧化锌液晶微透镜阵列成像在不增加成像系统的复杂度和成本的情况下，提高成像系统的分辨率。
第二方面，本申请实施例提出一种基于液晶微透镜阵列的图像质量提高系统，包括：
获取模块，用于获取不同电压下的二维光场图像序列，对于二维光场图像序列中的每张第一图像，第一图像为分辨率为第一分辨率、且带有色差的图像；
图像质量提高模块，用于对于每张第一图像，通过预先训练的图像质量增强模型对第一图像进行图像质量增强处理，得到第一图像对应的第二图像，第二图像为分辨率为第二分辨率、且已消除色差的图像，第一分辨率小于第二分辨率。
第三方面，本申请实施例提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面中任一项的方法。
第四方面，本申请实施例提出一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面中任一项的方法。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中成像质量提高方法的流程图；
图2为本发明实施例中光场成像装置的连接示意图；
图3为本发明实施例中成像质量提高系统的连接示意图；
图4为本发明实施例中电子设备的连接示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
实施例
本实施例提供一种基于液晶微透镜阵列的图像质量提高方法，包括以下步骤：
获取不同电压下的二维光场图像序列，对于二维光场图像序列中的每张第一图像，第一图像为分辨率为第一分辨率、且带有色差的图像；
对于每张第一图像，通过预先训练的图像质量增强模型对第一图像进行图像质量增强处理，得到第一图像对应的第二图像，第二图像为分辨率为第二分辨率、且已消除色差的图像，第一分辨率小于第二分辨率。
其中，通过预先训练的图像质量增强模型对第一图像进行图像质量增强处理，解决了液晶微透镜阵列的色差问题，同时增强了图像分辨率，优化了液晶基成像系统的设计流程，为实现高质量液晶基成像系统提出了一条新的思路。
可选的，上述图像质量增强模型包括色差特征提取模块、重构模块和上采样模块；
对于每张第一图像，通过预先训练的图像质量增强模型对第一图像进行图像质量增强处理，得到第一图像对应的第二图像，包括：
通过色差提取模块，提取第一图像的色差特征；
根据第一图像的色差特征，通过重构模块对第一图像进行特征重构，获得已消除色差的第一图像；
通过上采样模块，对已消除色差的第一图像进行重组，得到第二图像。
其中，通过色差提取模块提取第一图像的色差特征，其次通过重构模块对提取的色差特征进行重构，以获得已消除色差的第一图像，最后通过上采样模块对已消除色差的第一图像进行重组，得到第二图像，第二图像即为分辨率为第二分辨率、且已消除色差的图像。
可选的，上述色差特征提取模块包括多个卷积层；其中，通过色差提取模块，提取第一图像的色差特征，包括：
获取第一图像对应的二维光场图像序列，二维光场图像序列包括多张二维光场图像；
将二维光场图像序列进行分解，得到多张二维光场图像；
对于每张二维光场图像，通过色差特征提取模块的多个卷积层，提取二维光场图像的空间特征，以及提取二维光场图像对应的预测图像的互补特征，色差特征包括空间特征和互补特征；
具体地，色差特征提取模块还可以包括2个3*3卷积层、1个ReLU层和4个SC模块，其中，SC模块由2个3*3卷积和一个ReLU层构成；可以将多个连续不同电压下采集到的第一图像，经过光场渲染处理为二维光场图像序列输入至网络，二维光场图像与初始训练样本中的vimeo90k数据集中的图像接近，其次，通过卷积层的滑动扫描输入二维光场图像，SC模块的S分支提取图像的空间特征，如边缘、线条、角点等特征；SC模块的C分支对相邻图像的互补图像进行特征提取，获得互补特征，如互补图像的边缘、线条、角点等特征，从而将两种不同信息输入到SC模块，这样不仅能够锐化每一电压下图像信息的结构，而且还能够恢复缺失的细节。
重构模块包括多个卷积层；其中，通过重构模块，根据第一图像的色差特征，对第一图像进行特征重构，获得已消除色差的第一图像，包括：
对于每张二维光场图像，通过重构模块的多个卷积层，对二维光场图像对应的空间特征和互补特征进行特征融合，得到已消除色差的第一图像；
具体地，重构模块作为网络的主干部分，可以由2个3*3卷积层、1个ReLU层和18个RDB模块组成，RDB模块由多个1*1卷积层、3*3卷积层和ReLU层跳跃连接构成；1*1卷积层的添加目的是降维减少计算量，又能够融合各通道之间的特征；密集跳跃连接的目的是提高梯度传播的流动性，充分利用浅层特征以增加重构特征的精度。
具体地，在重构模块中，卷积层的作用是特征融合，将SC模块分支得到的空间特征和互补特征在通道维度上进行融合，融合后的特征图包含两个分支的特征信息；RDB模块(密集残差)的作用是：首先，可以提取丰富的局部特征:RDB模块由多个卷积层堆叠而成，RDB模块的每个卷积层都可以提取输入的局部特征，并且这些特征在经过模块内的连接而被加深和扩展，可以提取到空间特征和互补特征中更局部的色差特征；其次，RDB模块通过Addition连接使得RDB模块中每个卷积层的输出都被直接传递到下一层,这种连接方式可以进行残差学习；再次，在前向传播时,RDB模块的每个卷积层的输出都会被其他卷积层使用,实现特征的重用，这种连接方式可以最大限度地重用特征；最后，通过堆叠多个RDB模块,可以构建很深的网络结构以学习输入的映射函数，例如，包含16个RDB模块的叠加,以构建较深的网络结构进行特征提取和学习，因此，RDB模块通过卷积层的堆叠和残差连接,实现了丰富特征的提取、残差学习、特征重用以及网络的加深。
上采样模块包括多个卷积层和PixelShuffle-2D层，其中，通过上采样模块，对已消除色差的第一图像进行重组，得到第二图像，包括：
通过上采样模块的多个卷积层，对已消除色差的第一图像的进行信息还原，获得分辨率为第一分辨率且已消除色差的第一图像；
通过PixelShuffle-2D层，提高分辨率为第一分辨率且已消除色差的第一图像的分辨率，得到第二图像。
具体地，上采样模块中卷积层的作用是特征上采样和空间特征还原，上采样模块中的卷积层通过转置卷积对特征图进行上采样，以恢复特征图的分辨率，获得更高分辨率的特征图，清晰地恢复空间特征互补特征,使得特征图变得更加光滑自然；PixelShuffle-2D层的作用是输入上采样模块的卷积层得到的特征图进行2倍上采样,使得输出特征图的分辨率提高2倍，其主要利用重排像素的方式来增加特征图的分辨率,恢复空间特征,与转置卷积相比具有更高的计算效率和更少的混叠影响，最终获得分辨率为第二分辨率且已消除色差的第二图像。
可选的，上述色差特征提取模块、重构模块和上采样模块中，均还可以包括ReLU层，ReLU层的作用是激活映射，是各个模块的卷积层中的激活函数，用于对特征图(包括空间特征和互补特征)进行非线性映射,增加特征图的非线性表达能力。
可选的，上述图像质量增强模型是基于以下方式训练得到的：
获取初始训练样本，初始训练样本中包括多张第三图像，每张第三图像为分辨率为第三分辨率，且无色差的图像；
在每张第三图像中加入色差，得到包括多张第四图像的目标训练样本；
将目标训练样本输入初始模型，得到每张第四图像对应的预测图像，预测图像为分辨率为第四分辨率、且无色差的图像；
根据各张第四图像和各张预测图像，确定初始模型的第一损失函数值；
根据每张第四图像的RGB值和每张预测图像的RGB值，确定初始模型的第二损失函数值；
根据第一损失函数值和第二损失函数值，确定初始模型的总损失函数值，若总损失函数值满足预设的训练结束条件，将满足训练结束条件的初始模型确定为图像质量增强模型，若总损失函数值不满足训练结束条件，调整初始模型的模型参数，并基于调整后的模型参数重新训练初始模型，直到总损失函数值满足训练结束条件。
其中，对于获得的初始训练样本，可以是vimeo90k数据集，vimeo90k数据集中包括了多个分辨率为第三分辨率，且无色差的图像，通过再初始训练样本中加入色差，从而获得目标训练样本，最后通过目标训练样本对初始模型进行训练，在初始模型合格后，将初始模块确定为图像质量增强模型。
具体地，通过计算初始模型的第一损失函数值和初始模型的第二损失函数值，来确定初始模型的总损失函数值，通过预设的训练结束条件，来判断初始模型的总损失函数值是否满足，若初始模型的总损失函数值满足预设的训练结束条件，则将初始模型确定为图像质量增强模型。
具体地，总损失函数值可以通过第一公式表示，第一公式表示为：
其中，表示第一损失函数值，/>表示为第二损失函数值，y(i)表示第四图像，/>表示预测图像，r(i)、g(i)、b(i)代表的是红、绿、蓝色通道的理论强度值，i表示图像的第i个像素值，总共m个；r0(i)、g0(i)、b0(i)代表的是红、绿、蓝色通道的实际强度值；λ1为折衷参数，用于控制第二损失函数值的强度，ε表示为正数，/>表示梯度算子，/>
可选的，上述在每张第三图像中加入色差，得到包括多张第四图像的目标训练样本，包括：
对于每张第三图像，计算得到第三图像对应的色差偏置数值；
通过各个色差偏置数值对初始训练样本进行计算，得到包括多张第四图像的目标训练样本。
其中，计算第三图像对应的色差偏置数值可以利用CMC(l：c)色差公式进行计算，获得色差偏置数值后，再对vimeo90k数据集(初始训练样本)进行计算，即完成构建图像质量增强模型的降质数据集(目标训练样本)。
具体地，计算色差偏置数值可以通过第二公式表示，第二公式表示为：
式中，L为容差椭圆形中的图像明度，C为容差椭圆形中的图像彩度，H为容差椭圆形中的图像色调。
式中，和/>代表两个第三图像的容差椭圆形中的图像明度；/>和/>代表两个第三图像的容差椭圆形中的图像彩度；/>代表两个第三图像的容差椭圆形中的图像色调差；l是明度加权值，调节明度的相对宽容量；SL,SC,SH分别为明度差、彩度差和色调差的权重函数，其中，SL＝0.040975L*/(1+0.01765L*),s.t.L*≥16；SL＝0.511,s.t.L*＜16；SC＝0.0638C*/(1+0.0131C*)+0.638；/>
可选的，为了求解准确，将采集到的多组第三图像进行多次计算，求其平均值，例如，由CMC(1.4:1)可得出色差偏置数值Δ＝2.2，以此对vimeo90k数据集(初始训练样本)的R,G,B三通道进行计算。
可选的，上述获取不同电压下的二维光场图像序列，包括：
对于每张第一图像，对第一图像进行光场渲染，得到与第一图像对应的二维光场图像序列，二维光场图像序列为除去液晶微透镜阵列的圆孔阵列的第一图像。
其中，将不同电压下的第一图像进行光场渲染，渲染前为带有液晶微透镜圆孔阵列的第一图像，渲染后为除去圆孔阵列的二维光场图像序列。
可选的，上述不同电压下的二维光场图像序列为通过基于液晶微透镜阵列搭建的光场成像装置获取的，其中，光场成像装置包括依次设置的电脑、CCD相机、氧化锌液晶微透镜阵列、偏振片和主透镜，氧化锌液晶微透镜阵列包括铝膜、两个玻璃衬底、氧化锌微结构和向列相液晶。
其中，本发明实施例的基于液晶微透镜阵列的光场成像装置的示意图可以参见图2，具体地，该光场成像装置从右至左依次可以包括电脑(PC)、CCD相机(CCD)、氧化锌液晶微透镜阵列(ZnO LC-MLA)、偏振片(Polarizer)、主透镜(Main lens)和目标物体(Object)。
第二方面，本申请实施例提出一种基于液晶微透镜阵列的图像质量提高系统，包括：
获取模块，用于获取不同电压下的二维光场图像序列，对于二维光场图像序列中的每张第一图像，第一图像为分辨率为第一分辨率、且带有色差的图像；
图像质量提高模块，用于对于每张第一图像，通过预先训练的图像质量增强模型对第一图像进行图像质量增强处理，得到第一图像对应的第二图像，第二图像为分辨率为第二分辨率、且已消除色差的图像，第一分辨率小于第二分辨率。
可选的，上述所述图像质量增强模型包括色差特征提取模块、重构模块和上采样模块；
上述图像质量提高模块，包括：
第一处理模块，用于通过所述色差提取模块，提取所述第一图像的色差特征；
第二处理模块，用于根据所述第一图像的色差特征，通过所述重构模块对所述第一图像进行特征重构，获得已消除色差的第一图像；
第三处理模块，用于通过所述上采样模块，对所述已消除色差的第一图像进行重组，得到所述第二图像。
可选的，上述所述色差特征提取模块包括多个卷积层；其中，第一处理模块，包括：
第一处理子模块，用于获取所述第一图像对应的二维光场图像序列，所述二维光场图像序列包括多张二维光场图像；
第二处理子模块，用于将所述二维光场图像序列进行分解，得到多张所述二维光场图像；
第三处理子模块，用于对于每张所述二维光场图像，通过所述色差特征提取模块的多个所述卷积层，提取所述二维光场图像的空间特征，以及提取所述二维光场图像对应的预测图像的互补特征，所述色差特征包括所述空间特征和所述互补特征；
所述重构模块包括多个卷积层；其中，第二处理模块，包括：
第四处理子模块，用于对于每张所述二维光场图像，通过所述重构模块的多个所述卷积层，对所述二维光场图像对应的空间特征和互补特征进行特征融合，得到已消除色差的第一图像；
所述上采样模块包括多个卷积层和PixelShuffle-2D层，其中，第三模块，包括：
第五处理子模块，用于通过上采样模块的多个所述卷积层，对所述已消除色差的第一图像的进行信息还原，获得分辨率为第一分辨率且已消除色差的第一图像；
第六处理子模块，用于通过所述PixelShuffle-2D层，提高所述分辨率为第一分辨率且已消除色差的第一图像的分辨率，得到所述第二图像。
可选的，上述图像质量提高模块包括：
获取子模块，用于获取初始训练样本，所述初始训练样本中包括多张第三图像，每张所述第三图像为分辨率为第三分辨率，且无色差的图像；
色差子模块，用于在每张所述第三图像中加入色差，得到包括多张第四图像的目标训练样本；
输入子模块，用于将所述目标训练样本输入初始模型，得到每张所述第四图像对应的所述预测图像，所述预测图像为分辨率为第四分辨率、且无色差的图像；
第一损失子模块，用于根据各张所述第四图像和各张所述预测图像，确定所述初始模型的第一损失函数值；
第二损失子模块，用于根据每张所述第四图像的RGB值和每张所述预测图像的RGB值，确定所述初始模型的第二损失函数值；
模型确定子模块，用于根据所述第一损失函数值和所述第二损失函数值，确定所述初始模型的总损失函数值，若所述总损失函数值满足预设的训练结束条件，将满足所述训练结束条件的初始模型确定为所述图像质量增强模型，若所述总损失函数值不满足所述训练结束条件，调整所述初始模型的模型参数，并基于调整后的模型参数重新训练所述初始模型，直到所述总损失函数值满足所述训练结束条件。
可选的，上述色差子模块包括：
计算单元，用于对于每张所述第三图像，计算得到所述第三图像对应的色差偏置数值；
目标样本单元，用于通过各个所述色差偏置数值对初始训练样本进行计算，得到包括多张第四图像的目标训练样本。
可选的，上述获取模块包括：
渲染子模块，用于对于每张所述第一图像，对所述第一图像进行光场渲染，得到与所述第一图像对应的所述二维光场图像序列，所述二维光场图像序列为除去液晶微透镜阵列的圆孔阵列的第一图像。
第三方面，本申请实施例提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面中任一项的方法。
第四方面，本申请实施例提出一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面中任一项的方法。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (10)
1.一种基于液晶微透镜阵列的图像质量提高方法，其特征在于，包括以下步骤：
获取不同电压下的二维光场图像序列，对于所述二维光场图像序列中的每张第一图像，所述第一图像为分辨率为第一分辨率、且带有色差的图像；
对于每张所述第一图像，通过预先训练的图像质量增强模型对所述第一图像进行图像质量增强处理，得到所述第一图像对应的第二图像，所述第二图像为分辨率为第二分辨率、且已消除色差的图像，所述第一分辨率小于所述第二分辨率。
2.根据权利要求1所述的基于液晶微透镜阵列的图像质量提高方法，其特征在于，所述图像质量增强模型包括色差特征提取模块、重构模块和上采样模块；
对于每张所述第一图像，所述通过预先训练的图像质量增强模型对所述第一图像进行图像质量增强处理，得到所述第一图像对应的第二图像，包括：
通过所述色差提取模块，提取所述第一图像的色差特征；
根据所述第一图像的色差特征，通过所述重构模块对所述第一图像进行特征重构，获得已消除色差的第一图像；
通过所述上采样模块，对所述已消除色差的第一图像进行重组，得到所述第二图像。
3.根据权利要求2所述的基于液晶微透镜阵列的图像质量提高方法，其特征在于，所述色差特征提取模块包括多个卷积层；其中，所述通过所述色差提取模块，提取所述第一图像的色差特征，包括：
获取所述第一图像对应的二维光场图像序列，所述二维光场图像序列包括多张二维光场图像；
将所述二维光场图像序列进行分解，得到多张所述二维光场图像；
对于每张所述二维光场图像，通过所述色差特征提取模块的多个所述卷积层，提取所述二维光场图像的空间特征，以及提取所述二维光场图像对应的预测图像的互补特征，所述色差特征包括所述空间特征和所述互补特征；
所述重构模块包括多个卷积层；其中，所述通过所述重构模块，根据所述第一图像的色差特征，对所述第一图像进行特征重构，获得已消除色差的第一图像，包括：
对于每张所述二维光场图像，通过所述重构模块的多个所述卷积层，对所述二维光场图像对应的空间特征和互补特征进行特征融合，得到已消除色差的第一图像；
所述上采样模块包括多个卷积层和PixelShuffle-2D层，其中，通过所述上采样模块，对所述已消除色差的第一图像进行重组，得到所述第二图像，包括：
通过上采样模块的多个所述卷积层，对所述已消除色差的第一图像的进行信息还原，获得分辨率为第一分辨率且已消除色差的第一图像；
通过所述PixelShuffle-2D层，提高所述分辨率为第一分辨率且已消除色差的第一图像的分辨率，得到所述第二图像。
4.根据权利要求2所述的基于液晶微透镜阵列的图像质量提高方法，其特征在于，所述图像质量增强模型是基于以下方式训练得到的：
获取初始训练样本，所述初始训练样本中包括多张第三图像，每张所述第三图像为分辨率为第三分辨率，且无色差的图像；
在每张所述第三图像中加入色差，得到包括多张第四图像的目标训练样本；
将所述目标训练样本输入初始模型，得到每张所述第四图像对应的所述预测图像，所述预测图像为分辨率为第四分辨率、且无色差的图像；
根据各张所述第四图像和各张所述预测图像，确定所述初始模型的第一损失函数值；
根据每张所述第四图像的RGB值和每张所述预测图像的RGB值，确定所述初始模型的第二损失函数值；
根据所述第一损失函数值和所述第二损失函数值，确定所述初始模型的总损失函数值，若所述总损失函数值满足预设的训练结束条件，将满足所述训练结束条件的初始模型确定为所述图像质量增强模型，若所述总损失函数值不满足所述训练结束条件，调整所述初始模型的模型参数，并基于调整后的模型参数重新训练所述初始模型，直到所述总损失函数值满足所述训练结束条件。
5.根据权利要求4所述的基于液晶微透镜阵列的图像质量提高方法，其特征在于，所述在每张所述第三图像中加入色差，得到包括多张第四图像的目标训练样本，包括：
对于每张所述第三图像，计算得到所述第三图像对应的色差偏置数值；
通过各个所述色差偏置数值对初始训练样本进行计算，得到包括多张第四图像的目标训练样本。
6.根据权利要求1至3中任一项所述的基于液晶微透镜阵列的图像质量提高方法，其特征在于，所述获取不同电压下的二维光场图像序列，包括：
对于每张所述第一图像，对所述第一图像进行光场渲染，得到与所述第一图像对应的所述二维光场图像序列，所述二维光场图像序列为除去液晶微透镜阵列的圆孔阵列的第一图像。
7.根据权利要求1至3中任一项所述的基于液晶微透镜阵列的图像质量提高方法，所述不同电压下的二维光场图像序列为通过基于液晶微透镜阵列搭建的光场成像装置获取的，其中，所述光场成像装置包括依次设置的电脑、CCD相机、氧化锌液晶微透镜阵列、偏振片和主透镜，所述氧化锌液晶微透镜阵列包括铝膜、两个玻璃衬底、氧化锌微结构和向列相液晶。
8.一种基于液晶微透镜阵列的图像质量提高系统，其特征在于，包括：
获取模块，用于获取不同电压下的二维光场图像序列，对于所述二维光场图像序列中的每张第一图像，所述第一图像为分辨率为第一分辨率、且带有色差的图像；
图像质量提高模块，用于对于每张所述第一图像，通过预先训练的图像质量增强模型对所述第一图像进行图像质量增强处理，得到所述第一图像对应的第二图像，所述第二图像为分辨率为第二分辨率、且已消除色差的图像，所述第一分辨率小于所述第二分辨率。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现权利要求1-7中任一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310618403.1A CN116782041B (zh) | 2023-05-29 | 2023-05-29 | 一种基于液晶微透镜阵列的图像质量提高方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310618403.1A CN116782041B (zh) | 2023-05-29 | 2023-05-29 | 一种基于液晶微透镜阵列的图像质量提高方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116782041A true CN116782041A (zh) | 2023-09-19 |
| CN116782041B CN116782041B (zh) | 2024-01-30 |
Family
ID=88010690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310618403.1A Active CN116782041B (zh) | 2023-05-29 | 2023-05-29 | 一种基于液晶微透镜阵列的图像质量提高方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116782041B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754438A (zh) * | 2020-06-24 | 2020-10-09 | 安徽理工大学 | 基于多分支门控融合的水下图像复原模型及其复原方法 |
| CN112598579A (zh) * | 2020-12-28 | 2021-04-02 | 苏州科达特种视讯有限公司 | 面向监控场景的图像超分辨率方法、装置及存储介质 |
| CN112785502A (zh) * | 2021-01-25 | 2021-05-11 | 江南大学 | 一种基于纹理迁移的混合相机的光场图像超分辨率方法 |
| CN112884682A (zh) * | 2021-01-08 | 2021-06-01 | 福州大学 | 一种基于匹配与融合的立体图像颜色校正方法及系统 |
| CN114166346A (zh) * | 2021-12-03 | 2022-03-11 | 武汉工程大学 | 基于深度学习的多光谱光场成像方法及系统 |
| CN114170084A (zh) * | 2021-12-07 | 2022-03-11 | 清华大学 | 一种图像超分辨率处理方法、装置及设备 |
| CN114511449A (zh) * | 2020-11-16 | 2022-05-17 | 株式会社理光 | 图像增强方法、装置及计算机可读存储介质 |
| WO2022110638A1 (zh) * | 2020-11-30 | 2022-06-02 | 深圳市慧鲤科技有限公司 | 人像修复方法、装置、电子设备、存储介质和程序产品 |
| CN114913101A (zh) * | 2022-04-15 | 2022-08-16 | 武汉工程大学 | 多光谱光场重建方法、装置、电子设备及存储介质 |
| CN115018702A (zh) * | 2022-05-19 | 2022-09-06 | 武汉工程大学 | 高分辨光场图像重建方法、装置、电子设备及存储介质 |
| CN115294555A (zh) * | 2022-09-27 | 2022-11-04 | 江苏景瑞农业科技发展有限公司 | 基于神经网络的植物病害智能诊断方法及系统 |
| CN115358927A (zh) * | 2022-08-22 | 2022-11-18 | 重庆理工大学 | 一种结合空间自适应和纹理转换的图像超分辨重建方法 |
| CN115375548A (zh) * | 2022-08-29 | 2022-11-22 | 广东工业大学 | 一种超分辨率的遥感图像生成方法、系统、设备和介质 |
-
2023
- 2023-05-29 CN CN202310618403.1A patent/CN116782041B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754438A (zh) * | 2020-06-24 | 2020-10-09 | 安徽理工大学 | 基于多分支门控融合的水下图像复原模型及其复原方法 |
| CN114511449A (zh) * | 2020-11-16 | 2022-05-17 | 株式会社理光 | 图像增强方法、装置及计算机可读存储介质 |
| WO2022110638A1 (zh) * | 2020-11-30 | 2022-06-02 | 深圳市慧鲤科技有限公司 | 人像修复方法、装置、电子设备、存储介质和程序产品 |
| CN112598579A (zh) * | 2020-12-28 | 2021-04-02 | 苏州科达特种视讯有限公司 | 面向监控场景的图像超分辨率方法、装置及存储介质 |
| CN112884682A (zh) * | 2021-01-08 | 2021-06-01 | 福州大学 | 一种基于匹配与融合的立体图像颜色校正方法及系统 |
| CN112785502A (zh) * | 2021-01-25 | 2021-05-11 | 江南大学 | 一种基于纹理迁移的混合相机的光场图像超分辨率方法 |
| CN114166346A (zh) * | 2021-12-03 | 2022-03-11 | 武汉工程大学 | 基于深度学习的多光谱光场成像方法及系统 |
| CN114170084A (zh) * | 2021-12-07 | 2022-03-11 | 清华大学 | 一种图像超分辨率处理方法、装置及设备 |
| CN114913101A (zh) * | 2022-04-15 | 2022-08-16 | 武汉工程大学 | 多光谱光场重建方法、装置、电子设备及存储介质 |
| CN115018702A (zh) * | 2022-05-19 | 2022-09-06 | 武汉工程大学 | 高分辨光场图像重建方法、装置、电子设备及存储介质 |
| CN115358927A (zh) * | 2022-08-22 | 2022-11-18 | 重庆理工大学 | 一种结合空间自适应和纹理转换的图像超分辨重建方法 |
| CN115375548A (zh) * | 2022-08-29 | 2022-11-22 | 广东工业大学 | 一种超分辨率的遥感图像生成方法、系统、设备和介质 |
| CN115294555A (zh) * | 2022-09-27 | 2022-11-04 | 江苏景瑞农业科技发展有限公司 | 基于神经网络的植物病害智能诊断方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 谢超;朱泓宇;: "基于深度卷积神经网络的图像超分辨率重建方法", 传感器与微系统, no. 09 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116782041B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Underwater scene prior inspired deep underwater image and video enhancement | |
| CN111062905B (zh) | 一种基于显著图增强的红外和可见光融合方法 | |
| CN109064396B (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| CN111739077A (zh) | 基于深度神经网络单目水下图像深度估计和颜色矫正方法 | |
| Fang et al. | Variational single image dehazing for enhanced visualization | |
| CN113454680A (zh) | 图像处理器 | |
| CN110070489A (zh) | 一种基于视差注意力机制的双目图像超分辨方法 | |
| CN111882489A (zh) | 用于水下图像同时增强的超分辨率图形恢复方法 | |
| CN111882485B (zh) | 分级特征反馈融合的深度图像超分辨率重建方法 | |
| Hu et al. | Hyperspectral image super resolution based on multiscale feature fusion and aggregation network with 3-D convolution | |
| CN114648508A (zh) | 一种基于多维协同细化网络的多曝光图像融合方法 | |
| CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
| CN116543227A (zh) | 基于图卷积网络的遥感图像场景分类方法 | |
| Wang et al. | Correction of uneven illumination in color microscopic image based on fully convolutional network | |
| CN113935917A (zh) | 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法 | |
| CN116782041B (zh) | 一种基于液晶微透镜阵列的图像质量提高方法及系统 | |
| CN110580684A (zh) | 一种基于黑白-彩色双目相机的图像增强方法 | |
| CN112489103A (zh) | 一种高分辨率深度图获取方法及系统 | |
| CN111968039A (zh) | 基于硅传感器相机的昼夜通用图像处理方法、装置及设备 | |
| CN113506230B (zh) | 一种基于机器视觉的光伏电站航拍影像匀光处理方法 | |
| Cheng et al. | A lightweight convolutional neural network for camera isp | |
| CN115689918A (zh) | 一种基于残差先验注意力机制的并行单幅图像去雨方法 | |
| CN115100076A (zh) | 基于上下文感知注意力的低光图像去雾方法 | |
| CN116934583A (zh) | 基于深浅特征融合网络的遥感图像超分辨率算法 | |
| CN114463192A (zh) | 一种基于深度学习的红外视频畸变校正的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |