CN111652815B - 一种基于深度学习的掩膜板相机图像复原方法 - Google Patents
一种基于深度学习的掩膜板相机图像复原方法 Download PDFInfo
- Publication number
- CN111652815B CN111652815B CN202010455043.4A CN202010455043A CN111652815B CN 111652815 B CN111652815 B CN 111652815B CN 202010455043 A CN202010455043 A CN 202010455043A CN 111652815 B CN111652815 B CN 111652815B
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- matrix
- camera
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims abstract description 115
- 238000011084 recovery Methods 0.000 claims abstract description 36
- 238000005457 optimization Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 238000012546 transfer Methods 0.000 claims abstract description 17
- 238000005520 cutting process Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 36
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000000354 decomposition reaction Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 241000282326 Felis catus Species 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 2
- 238000011423 initialization method Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 31
- 239000007787 solid Substances 0.000 abstract description 2
- 238000013461 design Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 101100243951 Caenorhabditis elegans pie-1 gene Proteins 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002575 gastroscopy Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000001259 photo etching Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的掩膜板相机图像复原方法。使用掩模板相机显示拍摄装置拍摄不同的多条纹图案,获得系统物像传递矩阵;对公开数据集进行预处理,将公开数据集里的图像以固定的间隔裁剪都裁切为固定大小的图像块,使用掩模板相机显示拍摄装置进行拍摄得到训练数据集;结合物像传递矩阵搭建复原网络模型,以训练数据集训练;将拍摄的待测的掩模板相机图像输入到训练好的复原网络模型中,得到复原后的图像。本发明与传统的优化复原方法相比,大大提高掩膜板相机的成像质量图像信噪比,并大大缩短了掩模板相机图像的复原时间,为掩膜板相机高质量成像奠定坚实的基础。
Description
技术领域
本发明属于数字成像技术领域,涉及掩膜板相机成像质量、信噪比提升的一种方法,具体涉及一种掩膜板相机图像的复原方法。
背景技术
传统相机由于存在复杂的镜头,导致整个相机体积庞大,这便限制了相机的应用。例如,在航天遥感成像中通常要求相机要有较小的质量,在生物医学成像(医疗胃镜等)中常常要求相机有较小的体积,在这些情况下传统相机便无能为力。因此,如何实现超薄无透镜成像是光学成像领域的一个重要研究方向。掩膜板相机由掩膜板和光电传感器阵列组成,是一种新型超薄无透镜相机。其厚度只有几个毫米。因此,掩膜板相机在科学探索、航天遥感、监视侦察和生物医学成像等领域中具有重大研究价值和重要的科学意义。
然而,传统掩模板相机图像复原方法主要是基于最优化原理的复原方法,即对图像施加一个常用的先验约束条件,通过多次迭代求解使图像收敛在约束空间内。由于在求解过程中需要多次迭代(一般要上百次),这种复原方法一般要耗费较长时间。另外由于先验条件并不能非常精确的约束待求解图像,传统求解得到的图像质量较差。因此,针对掩膜板相机的图像复原方法仍有很大改进空间。
掩膜板相机研究涉及的文献有许晓锋.光学压缩编码成像及其复原算法研究[D].西安电子科技大学,2011;邵晓鹏,钟宬,杜娟,饶存存.多值压缩编码孔径超分辨率成像方法[J],光电子.激光,2012,23(06):1189-1195;DeWeert M J,Farm B P.Lensless coded-aperture imaging with separable Doubly-Toeplitz masks[J].Optical Engineering,2015,54(2):023102;Asif M S,Ayremlou A,Sankaranarayanan A,et al.Flatcam:Thin,lensless cameras using coded aperture and computation[J].IEEE Transactions onComputational Imaging,2017,3(3):384-397.
上述文献中许晓锋设计最优化迭代复原算法,实现图像的超分辨率重建;邵晓鹏等用多值掩膜板代替二值掩膜板来增强编码质量;DeWeert等人设计了可分离掩膜编码,降低了运算复杂度;Asif等人设计了条纹标定方法,提高了编码矩阵的准确度。这些研究分别从图像复原算法、掩膜板设计、标定方法方面改善了系统成像质量,但均未结合深度学习在掩模板相机图像复原方面提出改进。
发明内容
针对上述现有技术中存在的技术问题,本发明提供一种基于深度学习的掩膜板相机图像复原方法,丰富了掩模板相机的图像复原方法种类。相比于传统复原方法,大幅提升了掩模板相机的成像清晰度与信噪比,缩短了掩模板相机图像复原所需要的时间,为掩膜板相机高质量成像奠定基础。
本发明的技术方案基于掩膜版相机成像的特性。
掩膜板相机结构如图1所示,其中1为掩膜板,2为光电传感器阵列。掩膜板由一块透明玻璃镀上金属膜制作而成,如图2所示,黑色区域为镀膜区域,镀膜区域不透光,白色区域为透光区域。光电传感器阵列的像元只能通过掩膜板透光区域接收物方光线,因此在光电传感器阵列上形成了物方光线的编码:
Y=φLXφR T (3)
其中,Y为光电传感器阵列输出的图像,X为物方图像,φL、φR为系统传递矩阵。传递矩阵可以通过标定获得。依据公式1,可利用传递矩阵φL、φR从图像Y中复原出物方图像x,如公式(2)所示:
x=agr min||φLXΦR T-Y||2 2+λR(X) (4)
上式中λ为正则系数,R(X)为先验约束。
加入物方图像X的影子变量V,结合卷积神经网络进而表示以下形式:
x=arg min||Y-φLXφR T||2 2+λ||V-X||2 2 (5)
v=arg min||V-X||2 2+R(V) (6)
对于公式(3)可使用解析解更新,对于公式(4)可使用网络优化。
为了更好的复原得到物方图像X,本发明方法分为三步:第一步为通过标定获得物像传递矩阵;第二部分为对公开数据集进行预处理并利用掩模板相机实拍装置进行拍摄,获得掩模板相机的成像数据集以作为深度神经网络的训练集;第三部分为结合传递矩阵搭建复原网络模型并训练至预设条件。复原网络模型训练完毕,将掩模板相机拍得的图像输入到训练好的复原网络模型,得到高质量的复原图像。
为达到以上目的,本发明采用以下技术方案,实现流程如图3和图4所示:
该方法包括以下步骤:
(1)使用掩模板相机显示拍摄装置拍摄不同的多条纹图案,对相机输出图像进行处理获得系统物像传递矩阵φL、φR;
(2)对已经公开的公开数据集进行预处理,将公开数据集里的大量高清图像以固定的间隔裁剪都裁切为固定大小的图像块,使用掩模板相机显示拍摄装置进行拍摄得到训练数据集;
(3)结合物像传递矩阵搭建复原网络模型,以训练数据集迭代训练初始化后的卷积神经网络模型,直至迭代次数达到预设次数,复原网络模型训练完毕;将拍摄的待测的掩模板相机图像输入到训练好的复原网络模型中,得到复原后的图像。
所述步骤(1)具体如下:
(1.1)搭建掩模板相机显示拍摄装置,装置包括一个掩模板相机和一个显示器,掩模板相机正对朝向显示器并拍摄显示器中的图像,如图5所示;
(1.2)构造一个N′N大小的哈达玛矩阵H,将哈达玛矩阵里的-1全替换为0得到多条纹矩阵D,分别取多条纹矩阵D里的每一列、每一行并将其拉伸扩展为横、竖条纹图像,最后根据场景亮度调整横、竖条纹图像的亮度值,以防止出现拍摄过程中出现过曝光;
(1.3)由显示器依次播放所有的横竖条纹图像,由掩模板相机拍摄记录显示器上显示的横竖条纹图像,获得横条纹相机图像,如图6所示;
(1.4)依次对横条纹对应的相机图像做奇异值分解,保留奇异值最大的左奇异向量,依照条纹顺序按列组合这些向量得到第一矩阵φL1,使用第一矩阵φL1右除多条纹矩阵D得到第一系统物像传递矩阵φL;
依次对竖条纹对应的相机图像做奇异值分解,保留奇异值最大的右奇异向量,依照条纹顺序按列组合这些向量得到第二矩阵φR1,使用第二矩阵φR1右除多条纹矩阵D得到第二系统物像传递矩阵φR。
所述步骤(2)具体如下:
(2.1)获得现有的包含大量图片的公开数据集,获得装置里显示器的伽马(gamma)参数或根据常用gamma校正方法获取gamma参数,依据伽马参数对数据集里的每张图像做非线性矫正;
(2.2)对矫正好的每一张图像以固定的间隔做裁切操作,获得各个固定相同大小的图像块,如512*512大小;
(2.3)由显示器依次播放所有的图像块,由掩模板相机拍摄记录显示器上显示的图像块,获得图像块相机图像,由原始的图像块X和图像块相机图像Y构成了掩模板相机图像对,所有掩模板相机图像对构成训练数据集。
所述步骤(3)中,所述的复原网络模型主要分为两块,分别为解析解更新块和,由一个解析解更新块和一个卷积网络优化块连接构成了一层网络单元,四层网络单元组成了复原网络模型,即形成了由四个解析解更新块和四个卷积网络优化块依次交替连接构成的完整复原网络结构;
这里用i表示所在层数,整个复原网络计算过程如图7所示。
具体如下:
(3.1)以固定的初始化方法初始化复原网络模型的所有可训练的网络参数,使得服从特定的分布;所有可训练的网络参数包括了解析解更新块中的正则化参数和卷积网络优化块中的卷积核权重和偏置参数。
(3.2)取训练数据集中的一批图像块相机图像Y,依据公式和物像传递矩阵得到初始复原图x0,将初始复原图x0作为初始卷积结果图输入到第一层网络单元的解析解更新块中;
(3.3)在第i层网络单元的解析解更新块中依据公式解析解更新公式进行矩阵乘、点乘、点除运算去更新得到第i复原图xi,i表示解析解更新块所在网络单元的层数,i=1,2,3,4;
在第一次更新时v0=x0,在之后的更新过程中为卷积网络优化块输出的vi。
(3.4)将更新后获得的第i复原图xi输入到第i层网络单元的卷积网络优化块中得到卷积结果图vi:
对在卷积网络优化块的各级卷积层上,使用各级卷积层上的初始卷积核和初始偏置矩阵,对每个第i复原图xi分别进行卷积操作和上下采样操作,得到每个第i复原图xi在各级卷积层上的特征图像featurek i,k=1,2,3...n,k表示卷积网络优化块里卷积层的序数,n表示卷积网络优化块里卷积层的总数,i表示网络单元层的序数,其中卷积网络优化块最后一个卷积层输出的特征图像featuren i作为当前第i层网络单元的卷积网络优化块的卷积结果图vi;
(3.5)连续运行四次(3.3)和(3.4)的操作,第四层网络单元的卷积网络优化块输出的卷积结果图v4,作为整个复原网络模型输出的最终图像x;
(3.6)根据复原网络模型输出的最终图像x和原始的图像块X计算保真项误差Lossmse,根据计算得到的保真项误差Lossmse,对待训练的复原网络模型的可训练的网络参数进行调整;
(3.7)根据调整后的卷积神经网络模型参数和训练数据集里下一批的图像块相机图像Y,继续重复进行步骤(3.2)至步骤(3.6)的操作,进行模型参数调整的过程,直至迭代次数达到预设次数,则模型训练完毕;
(3.8)将待测的掩模板相机图像输入到训练好的复原网络模型,得到高质量的复原图像。
所述步骤(3.2)具体为:
对第一系统物像传递矩阵φL和第二系统物像传递矩阵φR进行奇异值分解即:
φL=UL*SL*VL T,φR=UR*SR*VR T
其中,UL、SL、VL分别表示第一系统物像传递矩阵φL的左奇异向量矩阵、奇异值对角矩阵、右奇异向量矩阵,UR、SR、VR分别表示第二系统物像传递矩阵φR的左奇异向量矩阵、奇异值对角矩阵、右奇异向量矩阵,T表示矩阵转置;
输入图像块相机图像Y后依据下式求解初始复原图x0:
式中,σL,σR分别为SL,SR形成的列向量,λ表示正则系数,11表示全1矩阵,⊙表示矩阵点乘。
所述步骤(3.3)具体为:
按下式进行解析解迭代更新得到第i复原图xi,i表示解析解更新块所在网络单元的层数,i=1,2,3,4:
其中,UL、SL、VL分别表示第一系统物像传递矩阵φL的左奇异向量矩阵、奇异值对角矩阵、右奇异向量矩阵,UR、SR、VR分别表示第二系统物像传递矩阵φR的左奇异向量矩阵、奇异值对角矩阵、右奇异向量矩阵,T表示矩阵转置;σL,σR分别为SL,SR形成的列向量,λ表示正则系数,11表示全1矩阵,⊙表示矩阵点乘。
所述步骤(3.4)具体为:
所述的卷积网络优化块包含有15层卷积层,对于输入的第i复原图xi,按照以下方式在各层卷积层中进行处理:
在当前第k层卷积层且k=2,4,6时,k表示卷积层的序号,利用下式处理获得经第k层卷积层处理得到的结果图像:
featurek i=DownSample{Conv{Conv{featurek-2 i}}} (7)
其中,featurek-2 i为第k-2层卷积层处理得到的结果图像,feature0 i即为第i-1复原图xi-1,Conv为作卷积操作;DownSample为0.5倍作下采样的操作通过最大值池化实现;
在当前第k层卷积层且k=8,10,12时,利用下式处理得到经过第k层卷积层处理得到的结果图像featurek i:
featurek i=Cat{UpSample{Conv{Conv{featurek-2 i}}}+featurek-2 i} (8)
其中,UpSample为作2.0倍上采样的操作通过反卷积实现;Cat为将两幅图像沿着图像的通道维度拼接起来的操作;
在当前第k层卷积层且k=1,3,5,7,9,11,13,14,15时,利用下式处理得到经过第k层卷积层处理得到的结果图像featurek i:
featurek i=Conv{featurek-1 i}
其中,Conv{}为作卷积操作。
所述步骤(3.6)具体为:
首先,在得到最后第四层网络单元的卷积网络优化块的最后一个卷积层输出的结果图像feature15 4后,也即v4和原始小图像块X,通过以下公式计算保真项误差Lossmse:
上式中,(xpic,ypic)为图像v4和原始小图像块X的像素点的横纵坐标索引值,|| ||2表示图像的Frobenius范数;
接着,通过下式根据保真项误差Lossmse对复原网络模型中所有卷积网络优化块的卷积层的卷积核权重和偏置参数的偏导数值:
其中,和βk i分别为第i层网络单元卷积网络优化块的第k层卷积层的卷积操作Conv的卷积核权重和偏置参数,X为在训练集中的图像块真值;l为输入的图像块X的序号,m为输入的图像块的总量,具体实验中,每输入12个样本图像更新一次偏导;和分别表示保真项误差Lossmse对和βk i的偏导数;
其中,a为学习速率,和newβk i分别为更新后的第i层网络单元卷积网络优化块的第k层卷积层的卷积核权重和偏置参数,是控制卷积核权重和偏置参数变化快慢的参数;与为由前面公式计算得到的保真项误差对于卷积层的卷积核权重和偏置参数的偏导数值。
所述的拍摄装置是掩模板相机系统,即在成像传感器前毫米距离处放置一个掩模板。
本发明复原的图像对象具体场景可以是室内和自然场景。
本发明针对掩模板相机图像复原过程中复原质量差,复原时间长的问题,采用卷积神经网络,提供了掩膜板相机图像复原方法。方法首先通过标定获得物像传递矩阵;然后对公开数据集进行预处理并利用掩模板相机实拍装置进行拍摄,获得掩模板相机的成像数据集以作为深度神经网络的训练集;最后结合传递矩阵搭建复原网络模型并训练至预设条件。复原网络模型训练完毕,将掩模板相机拍得的图像输入到训练好的复原网络模型,得到高质量的复原图像。
本发明基于掩膜板相机的编码成像原理,针对图像质量与图像信噪比需求,将传统复原算法与深度学习卷积神经网络相结合,在图像复原算法设计上提出了新的解决方式。
本发明与传统的复原算法,拓展了掩模板相机的图像复原算法,提高了掩膜板相机的成像质量与图像信噪比,缩减了掩模板相机图像复原所需要的时间,为掩膜板相机高质量成像奠定基础。
本发明与现有技术相比的优点在于:
本发明基于掩膜板相机的编码成像原理,针对图像质量与图像信噪比需求及复原时间需求,在图像复原算法设计上提出了新思路。
本发明提出的复原方法与传统复原方法相比,拓展了掩模板相机的图像复原方法种类,大大提高了掩膜板相机的成像/复原质量与图像信噪比,缩短了掩模板相机图像复原时间,实现掩膜板相机高质量成像为掩膜板相机高质量成像奠定基础。
附图说明
图1是掩膜板相机结构示意图,其中1为掩膜板,2为光电传感器阵列;
图2是掩膜板示意图;
图3是本方法主要框架流程示意图;
图4是本发明方法整体细节流程示意图;
图5是实验所用显示拍摄装置示意图;
图6是标定过程中拍摄示意图;
图7是本发明方法整体计算过程示意图;
图8是卷积网络优化块的卷积神经网络模型的结构图
图9是示例性实施例物方图像;
图10是采用本发明方法对物方图像9的成像结果图;
图11是采用传统复原方法FISTA对物方图像9的成像结果图。
具体实施方式
现在将参照附图详细描述本发明的示例性实施例。
按照本发明方法发明内容完整方法实施的实施例及其实施过程如下:
步骤(1)具体为:
(1.1)搭建掩模板相机显示拍摄装置:选取一个显示器,其显示亮度可调。分别将显示器、掩模板、和成像传感器固定在三个空间三维位置可调和俯仰角可调、横滚角可调、偏航角可调的底座上。调节三个角度使三个平面相互平行。调节三维空间位置其显示器显示中心对准掩模板中心和成像传感器的中心。显示器距离相机约40cm,物距可根据拍摄视场需要进行调整。位置调好后调节显示器的显示亮度使自然图像在拍摄时处于合理的曝光时间内,如2000ms。
(1.2)使用Matlab软件自带的哈达玛矩阵生成文件生成一个N′N大小的哈达玛矩阵H,其中2N=P,P为复原图像的分辨率。将哈达玛矩阵里的-1全替换为0得到多条纹矩阵D。依次取多条纹矩阵的每一列Dp,p∈[1,N],p表示列索引值,用Dp列乘全一行向量得到横条纹Rowp=Dp*1T,1为全一列向量。依次取多条纹矩阵的每一行Dq,q∈[1,N],q表示行索引值,用全一列向量乘Dq行得到竖条纹Colq=1*Dq。根据拍摄场景对条纹亮度值做合适的衰减,如所有条纹亮度值都乘衰减系数0.5。
(1.3)以幻灯片的方式依次按1至N顺序播放条纹图像,并使用掩模板相机拍摄。每个条纹图片都拍摄多次例如25次,最后平均得到一个相机记录图像。
(1.4)按1至N顺序依次对平均得到的对应的横条纹相机图像Rowp进行SVD分解,即Rowp=UpSpVp T,Up、Sp、Vp分别表示对Rowp进行奇异值分解得到的左奇异向量矩阵、奇异值对角矩阵、右奇异向量矩阵,将Up第一列保存至临时矩阵φL1的第p列中。使用φL1右除矩阵D得到φL,若在(1.2)步骤中对横条纹图像进行了亮度衰减,则此处右除矩阵D应先点乘相应的衰减系数。同理,按1至N顺序依次对平均得到的竖条纹相机图像Colq进行SVD分解,即Colq=UqSqVq T,Uq、Sq、Vq分别表示分别表示对Colq进行奇异值分解得到的左奇异向量矩阵、奇异值对角矩阵、右奇异向量矩阵,将Vq第一列保存至临时矩阵φR1的第q列中。使用φR1右除矩阵D得到φR,若在(1.2)步骤中对竖条纹图像进行了亮度衰减,则此处右除矩阵D应先点乘相应的衰减系数。
步骤(2):
选取一个公开的数据集如DIV2K数据集,针对数据集里每一张高清图像,将高清图像按照从左至右、从上至下顺序以划分裁剪成固定大小各个图像块,图像块大小等于复原图片的分辨率如512*512。裁剪过程中图像小块与图像小块之间紧密相连且部分重叠。
(2.1-2.2)获取显示拍摄系统里显示器的gamma参数,如未能直接获取可以通过拍摄灰度测试板后根据常用gamma校正方法获取gamma参数,如本系统里的显示器gamma参数为[1.0023,2.2530]。对裁切的每个图像块都进行非线性矫正即Pic=(Pic1./1.0023).^(1/2.2530),其中Pic1为原始图像块,Pic为校正后图像块。
(2.3)依次显示每个图像块并多次拍摄,获得掩模板相机数据集里的图像对:(图像块原图X,相机输出图像Y)。
步骤(3):
结合传递矩阵搭建复原网络模型,以训练集迭代训练初始化后的卷积神经网络模型,直至迭代次数达到预设次数,复原网络模型训练完毕。将拍摄的用于测试的掩模板相机图像输入到训练好的网络中,得到复原后的图像。
(3.1-3.2)结合传递矩阵搭建复原网络。复原网络主要分为两块,第一块为解析解更新块和卷积网络优化块。将上述两个块顺序堆叠四层组成完整的复原网络,这里用i表示所在层数,整个复原网络计算过程如图7所示。
本发明卷积网络优化块的卷积神经网络模型包含有15层卷积层,卷积网络结构图如图8所示。将复原网络模型的初始模型参数,即卷积神经网络的各级卷积层的初始卷积核和所述各级卷积层的初始偏置矩阵中的所有元素值,初始化为32位浮点数,使所有初始的模型参数服从(0,1)之间的均匀分布。
(3.3)对传递矩阵φL,φR进行奇异值分解即φL=UL*SL*VL T,φR=UR*SR*VR T;
输入图像块相机图像Y后依据下式求解初始复原图x0:
上式中σL,σR分别为SL,SR形成的列向量。
(3.4)在获得初始估计x0后按下式进行解析解迭代更新得到xi,i=1,2,3,4表示此解析解更新块所在的层数,
计算上式时若是在第一次更新则v0=x0,在之后的更新过程中vi为步骤(3.5)的输出vi。
(3.5)将更新后xi输入到卷积网络优化块得到vi。
本发明卷积网络优化块的卷积神经网络模型包含有15层卷积层。
对于输入的xi,在当前(i,k)层卷积层且k=2,4,6时,k表示卷积层的序号,利用下式处理获得经第(i,k)层卷积层处理得到的结果图像:
featurek i=DownSample{Conv{Conv{featurek-2 i}}} (11)
其中,featurek-2 i为上一层的第(i,k-2)层卷积层处理得到的结果图像,feature0 i即为初始估计xi-1,Conv为用初始化后的初始卷积核和初始偏置矩阵作卷积操作;DownSample为0.5倍作下采样的操作通过最大值池化实现。
在当前第k层卷积层且k=8,10,12时,利用下式处理得到经过第k层卷积层处理得到的结果图像featurek i:
featurek i=Cat{UpSample{Conv{Conv{featurek-2 i}}}+featurek-2 i} (12)
其中,UpSample为作2.0倍上采样的操作,通过反卷积实现;Cat为将两幅图像沿着图像的通道维度拼接起来的操作。
在当前第k层卷积层且k=1,3,5,7,9,11,13,14,15时,利用下式处理得到经过第k层卷积层处理得到的结果图像featurek i:
featurek i=Conv{featurek-1 i} (13)
步骤(3.7):
在得到最后一个卷积网络优化块的最后一个卷积层输出的结果图像feature15 4也即v4和原始小块图像X后,通过以下公式计算保真项误差Lossmse:
上式中(xpic,ypic)为图像像素点的坐标索引值。
步骤(3.8):
首先通过下式获得保真项误差Lossmse对所有卷积神经网络模型的卷积层的卷积核权重和偏置参数的偏导数值:
本实施例中使用的掩膜板相机由VT-OE_SH-4000CL-NF相机的光电传感器阵列和金属光刻掩膜板组成。光电传感器阵列的像元间隔为5.5微米,分辨率为2048*2048。掩膜板尺寸为15mm*15mm。光电传感器阵列和掩膜板之间缝隙宽0.55mm。
首先对图9所示的物方图像成像,本实例将图9所示图像显示在显示屏上,图像尺寸为14.2cm*14.2cm,显示屏到掩膜板相机之间距离为36cm。使用本发明方法复原的结果如图10所示,作为对比,使用传统算法FISTA复原的结果如图11所示。
二者复原质量对比如下表所示:
PSNR | TIME | |
本发明方法复原 | 23.12 | 4.81 |
FISTA方法复原 | 14.85 | 194.48 |
上表中,PSNR表示图像的峰值信噪比,是一种评价图像的客观标准,其值越大说明复原的图像越接近原图。TIME表示复原所用的时间,以秒为单位。由上表可见,由发明方法复原的结果优于传统FISTA方法,其复原的图像更清晰,显著提高了信噪比并缩短了复原时间。
本发明对图9所示物方图像成像,并以传统算法FISTA对比,说明本发明的有益效果。
在上述实施例中,使用本发明的复原方法可以对掩膜板相机图像进行较好的复原。与同等条件下使用传统复原算法进行复原相比,大大提高了掩膜板相机的成像质量和图像信噪比,并大大缩短了掩模板相机图像的复原时间,为掩膜板相机高质量成像奠定坚实的基础。
Claims (7)
1.一种基于深度学习的掩膜板相机图像复原方法,其特征在于:该方法包括以下步骤:
(1)使用掩模板相机显示拍摄装置拍摄不同的多条纹图案,对相机输出图像进行处理获得系统物像传递矩阵φL、φR;
(2)对公开数据集进行预处理,将公开数据集里的图像以固定的间隔裁剪都裁切为固定大小的图像块,使用掩模板相机显示拍摄装置进行拍摄得到训练数据集;
(3)结合物像传递矩阵搭建复原网络模型,以训练数据集迭代训练初始化后的卷积神经网络模型,直至迭代次数达到预设次数,复原网络模型训练完毕;将拍摄的待测的掩模板相机图像输入到训练好的复原网络模型中,得到复原后的图像;
所述步骤(3)中,所述的复原网络模型主要分为两块,分别为解析解更新块和,由一个解析解更新块和一个卷积网络优化块连接构成了一层网络单元,四层网络单元组成了复原网络模型;具体如下:
(3.1)以固定的初始化方法初始化复原网络模型的所有可训练的网络参数,使得服从特定的分布;
(3.2)取训练数据集中的一批图像块相机图像Y,依据公式和物像传递矩阵得到初始复原图x0,将初始复原图x0作为初始卷积结果图输入到第一层网络单元的解析解更新块中;
(3.3)在第i层网络单元的解析解更新块中依据公式解析解更新公式进行矩阵乘、点乘、点除运算去更新得到第i复原图xi,i表示解析解更新块所在网络单元的层数,i=1,2,3,4;
(3.4)将更新后获得的第i复原图xi输入到第i层网络单元的卷积网络优化块中得到卷积结果图vi:
对在卷积网络优化块的各级卷积层上,使用各级卷积层上的初始卷积核和初始偏置矩阵,对每个第i复原图xi分别进行卷积操作和上下采样操作,得到每个第i复原图xi在各级卷积层上的特征图像featurek i,k=1,2,3...n,k表示卷积网络优化块里卷积层的序数,n表示卷积网络优化块里卷积层的总数,i表示网络单元层的序数,其中卷积网络优化块最后一个卷积层输出的特征图像featuren i作为当前第i层网络单元的卷积网络优化块的卷积结果图vi;
(3.5)连续运行四次(3.3)和(3.4)的操作,第四层网络单元的卷积网络优化块输出的卷积结果图v4,作为整个复原网络模型输出的最终图像x;
(3.6)根据复原网络模型输出的最终图像x和原始的图像块X计算保真项误差Lossmse,根据计算得到的保真项误差Lossmse,对待训练的复原网络模型的可训练的网络参数进行调整;
(3.7)根据调整后的卷积神经网络模型参数和训练数据集里下一批的图像块相机图像Y,继续重复进行步骤(3.2)至步骤(3.6)的操作,进行模型参数调整的过程,直至迭代次数达到预设次数,则模型训练完毕;
(3.8)将待测的掩模板相机图像输入到训练好的复原网络模型,得到高质量的复原图像。
2.根据权利要求1所述的一种基于深度学习的掩膜板相机图像复原方法,其特征在于:所述步骤(1)具体如下:
(1.1)搭建掩模板相机显示拍摄装置,装置包括一个掩模板相机和一个显示器,掩模板相机正对朝向显示器并拍摄显示器中的图像;
(1.2)构造一个N×N大小的哈达玛矩阵H,将哈达玛矩阵里的-1全替换为0得到多条纹矩阵D,分别取多条纹矩阵D里的每一列、每一行并将其拉伸扩展为横、竖条纹图像,最后根据场景亮度调整横、竖条纹图像的亮度值;
(1.3)由显示器依次播放所有的横竖条纹图像,由掩模板相机拍摄记录显示器上显示的横竖条纹图像,获得横条纹相机图像;
(1.4)依次对横条纹对应的相机图像做奇异值分解,保留奇异值最大的左奇异向量,依照条纹顺序按列组合这些向量得到第一矩阵φL1,使用第一矩阵φL1右除多条纹矩阵D得到第一系统物像传递矩阵φL;
依次对竖条纹对应的相机图像做奇异值分解,保留奇异值最大的右奇异向量,依照条纹顺序按列组合这些向量得到第二矩阵φR1,使用第二矩阵φR1右除多条纹矩阵D得到第二系统物像传递矩阵φR。
3.根据权利要求1所述的一种基于深度学习的掩膜板相机图像复原方法,其特征在于:所述步骤(2)具体如下:
(2.1)获得公开数据集,获得装置里显示器的伽马参数,依据伽马参数对数据集里的每张图像做非线性矫正;
(2.2)对矫正好的每一张图像以固定的间隔做裁切操作,获得各个固定相同大小的图像块;
(2.3)由显示器依次播放所有的图像块,由掩模板相机拍摄记录显示器上显示的图像块,获得图像块相机图像,由原始的图像块X和图像块相机图像Y构成了掩模板相机图像对,所有掩模板相机图像对构成训练数据集。
4.根据权利要求1所述的一种基于深度学习的掩膜板相机图像复原方法,其特征在于:所述步骤(3.2)具体为:
对第一系统物像传递矩阵φL和第二系统物像传递矩阵φR进行奇异值分解即:
φL=UL*SL*VL T,φR=UR*SR*VR T
其中,UL、SL、VL分别表示第一系统物像传递矩阵φL的左奇异向量矩阵、奇异值对角矩阵、右奇异向量矩阵,UR、SR、VR分别表示第二系统物像传递矩阵φR的左奇异向量矩阵、奇异值对角矩阵、右奇异向量矩阵,T表示矩阵转置;
输入图像块相机图像Y后依据下式求解初始复原图x0:
式中,σL,σR分别为SL,SR形成的列向量,λ表示正则系数,11表示全1矩阵,⊙表示矩阵点乘。
6.根据权利要求1所述的一种基于深度学习的掩膜板相机图像复原方法,其特征在于:所述步骤(3.4)具体为:
所述的卷积网络优化块包含有15层卷积层,对于输入的第i复原图xi,按照以下方式在各层卷积层中进行处理:
在当前第k层卷积层且k=2,4,6时,k表示卷积层的序号,利用下式处理获得经第k层卷积层处理得到的结果图像:
featurek i=DownSample{Conv{Conv{featurek-2 i}}} (1)
其中,featurek-2 i为第k-2层卷积层处理得到的结果图像,Conv为作卷积操作;DownSample为0.5倍作下采样的操作通过最大值池化实现;
在当前第k层卷积层且k=8,10,12时,利用下式处理得到经过第k层卷积层处理得到的结果图像featurek i:
featurek i=Cat{UpSample{Conv{Conv{featurek-2 i}}}+featurek-2 i} (2)
其中,UpSample为作2.0倍上采样的操作通过反卷积实现;Cat为将两幅图像沿着图像的通道维度拼接起来的操作;
在当前第k层卷积层且k=1,3,5,7,9,11,13,14,15时,利用下式处理得到经过第k层卷积层处理得到的结果图像featurek i:
featurek i=Conv{featurek-1 i}
其中,Conv{}为作卷积操作。
7.根据权利要求1所述的一种基于深度学习的掩膜板相机图像复原方法,其特征在于:所述步骤(3.6)具体为:
首先,在得到最后第四层网络单元的卷积网络优化块的最后一个卷积层输出的结果图像feature15 4后,通过以下公式计算保真项误差Lossmse:
上式中,(xpic,ypic)为图像v4和原始小图像块X的像素点的横纵坐标索引值,|| ||2表示图像的Frobenius范数;
接着,通过下式根据保真项误差Lossmse对复原网络模型中所有卷积网络优化块的卷积层的卷积核权重和偏置参数的偏导数值:
其中,和βk i分别为第i层网络单元卷积网络优化块的第k层卷积层的卷积操作Conv的卷积核权重和偏置参数,X为在训练集中的图像块;l为输入的图像块X的序号,m为输入的图像块的总量;和分别表示保真项误差Lossmse对和βk i的偏导数;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010455043.4A CN111652815B (zh) | 2020-05-26 | 2020-05-26 | 一种基于深度学习的掩膜板相机图像复原方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010455043.4A CN111652815B (zh) | 2020-05-26 | 2020-05-26 | 一种基于深度学习的掩膜板相机图像复原方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111652815A CN111652815A (zh) | 2020-09-11 |
CN111652815B true CN111652815B (zh) | 2023-05-05 |
Family
ID=72348607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010455043.4A Active CN111652815B (zh) | 2020-05-26 | 2020-05-26 | 一种基于深度学习的掩膜板相机图像复原方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111652815B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112102200B (zh) * | 2020-09-21 | 2024-05-07 | 腾讯科技(深圳)有限公司 | 图像补全模型初始化方法、训练方法和图像补全方法 |
CN112950750B (zh) * | 2021-03-18 | 2023-12-08 | 中国科学院西安光学精密机械研究所 | 基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法 |
CN113192062A (zh) * | 2021-05-25 | 2021-07-30 | 湖北工业大学 | 一种基于图像复原的动脉斑块超声图像自监督分割方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5627639A (en) * | 1995-06-06 | 1997-05-06 | Lockheed Missiles & Space Company, Inc. | Coded aperture imaging spectrometer |
JP2017521942A (ja) * | 2014-06-30 | 2017-08-03 | アルカテル−ルーセント | 圧縮センシング撮像 |
CN108646260A (zh) * | 2018-07-02 | 2018-10-12 | 中国科学院西安光学精密机械研究所 | 一种凝视型无镜头激光三维成像装置及成像方法 |
CN109741407A (zh) * | 2019-01-09 | 2019-05-10 | 北京理工大学 | 一种基于卷积神经网络的光谱成像系统的高质量重构方法 |
CN109884018A (zh) * | 2019-03-22 | 2019-06-14 | 华中科技大学 | 一种基于神经网络的亚微米级无透镜显微成像方法及系统 |
CN110392193A (zh) * | 2019-06-14 | 2019-10-29 | 浙江大学 | 一种掩膜板相机的掩膜板 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018064660A1 (en) * | 2016-09-30 | 2018-04-05 | University Of Utah Research Foundation | Lensless imaging device |
US10798364B2 (en) * | 2016-10-20 | 2020-10-06 | Nokia Of America Corporation | 3D image reconstruction based on lensless compressive image acquisition |
JP7106307B2 (ja) * | 2018-03-14 | 2022-07-26 | キヤノンメディカルシステムズ株式会社 | 医用画像診断装置、医用信号復元方法、医用信号復元プログラム、モデル学習方法、モデル学習プログラム、および磁気共鳴イメージング装置 |
-
2020
- 2020-05-26 CN CN202010455043.4A patent/CN111652815B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5627639A (en) * | 1995-06-06 | 1997-05-06 | Lockheed Missiles & Space Company, Inc. | Coded aperture imaging spectrometer |
JP2017521942A (ja) * | 2014-06-30 | 2017-08-03 | アルカテル−ルーセント | 圧縮センシング撮像 |
CN108646260A (zh) * | 2018-07-02 | 2018-10-12 | 中国科学院西安光学精密机械研究所 | 一种凝视型无镜头激光三维成像装置及成像方法 |
CN109741407A (zh) * | 2019-01-09 | 2019-05-10 | 北京理工大学 | 一种基于卷积神经网络的光谱成像系统的高质量重构方法 |
CN109884018A (zh) * | 2019-03-22 | 2019-06-14 | 华中科技大学 | 一种基于神经网络的亚微米级无透镜显微成像方法及系统 |
CN110392193A (zh) * | 2019-06-14 | 2019-10-29 | 浙江大学 | 一种掩膜板相机的掩膜板 |
Non-Patent Citations (1)
Title |
---|
Peidong Chen , Xiuqin Su , Muyuan Liu ,Wenhua Zhu.Lensless Computational Imaging Technology Using Deep Convolutional Network.《sensors》.2020,第1-11页. * |
Also Published As
Publication number | Publication date |
---|---|
CN111652815A (zh) | 2020-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109360171B (zh) | 一种基于神经网络的视频图像实时去模糊方法 | |
CN111652815B (zh) | 一种基于深度学习的掩膜板相机图像复原方法 | |
CN108549892B (zh) | 一种基于卷积神经网络的车牌图像清晰化方法 | |
Wang et al. | Enhancing low light videos by exploring high sensitivity camera noise | |
CN109697697B (zh) | 基于优化启发的神经网络的光谱成像系统的重构方法 | |
WO2020224518A1 (zh) | 基于局部中值直方图的自适应红外图像去条纹算法 | |
CN110246105B (zh) | 一种基于实际相机噪声建模的视频去噪方法 | |
CN111835983B (zh) | 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统 | |
CN105931196A (zh) | 基于傅里叶光学建模的编码光圈相机图像恢复方法 | |
CN113763271B (zh) | 一种基于物理噪声模型的高质量光谱去噪方法 | |
CN111932452B (zh) | 基于可见光图像增强的红外图像卷积神经网络超分辨方法 | |
CN110852982A (zh) | 自适应的曝光量调整多尺度熵融合的水下图像增强方法 | |
CN110501025B (zh) | 一种卷帘快门面阵cmos相机的在轨定标方法 | |
CN115499566B (zh) | 基于深度计算光学元件的端到端高质量消色差成像系统 | |
CN111598775B (zh) | 基于lstm网络的光场视频时域超分辨重建方法 | |
CN109801234A (zh) | 图像几何校正方法及装置 | |
CN114998141B (zh) | 基于多分支网络的空间环境高动态范围成像方法 | |
CN112116539A (zh) | 一种基于深度学习的光学像差模糊去除方法 | |
CN116245726A (zh) | 基于深度学习框架的压缩感知偏振超分辨成像方法 | |
CN118475823A (zh) | 光谱成像设备 | |
CN116152128A (zh) | 基于注意力机制的高动态范围多曝光图像融合模型及方法 | |
CN114463196B (zh) | 一种基于深度学习的图像校正方法 | |
CN112950750B (zh) | 基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法 | |
CN114928704A (zh) | 一种基于双dmd的编码曝光高动态成像方法 | |
CN112581551B (zh) | 基于潜在空间特征提取和映射的被动非视域成像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |