CN111652815B

CN111652815B - 一种基于深度学习的掩膜板相机图像复原方法

Info

Publication number: CN111652815B
Application number: CN202010455043.4A
Authority: CN
Inventors: 冯华君; 周浩; 胡增新; 吴迪; 胡海泉; 徐之海; 李奇; 陈跃庭
Original assignee: Zhejiang University ZJU; Sunny Optical Zhejiang Research Institute Co Ltd
Current assignee: Zhejiang University ZJU; Sunny Optical Zhejiang Research Institute Co Ltd
Priority date: 2020-05-26
Filing date: 2020-05-26
Publication date: 2023-05-05
Anticipated expiration: 2040-05-26
Also published as: CN111652815A

Abstract

本发明公开了一种基于深度学习的掩膜板相机图像复原方法。使用掩模板相机显示拍摄装置拍摄不同的多条纹图案，获得系统物像传递矩阵；对公开数据集进行预处理，将公开数据集里的图像以固定的间隔裁剪都裁切为固定大小的图像块，使用掩模板相机显示拍摄装置进行拍摄得到训练数据集；结合物像传递矩阵搭建复原网络模型，以训练数据集训练；将拍摄的待测的掩模板相机图像输入到训练好的复原网络模型中，得到复原后的图像。本发明与传统的优化复原方法相比，大大提高掩膜板相机的成像质量图像信噪比，并大大缩短了掩模板相机图像的复原时间，为掩膜板相机高质量成像奠定坚实的基础。

Description

一种基于深度学习的掩膜板相机图像复原方法

技术领域

本发明属于数字成像技术领域，涉及掩膜板相机成像质量、信噪比提升的一种方法，具体涉及一种掩膜板相机图像的复原方法。

背景技术

传统相机由于存在复杂的镜头，导致整个相机体积庞大，这便限制了相机的应用。例如，在航天遥感成像中通常要求相机要有较小的质量，在生物医学成像(医疗胃镜等)中常常要求相机有较小的体积，在这些情况下传统相机便无能为力。因此，如何实现超薄无透镜成像是光学成像领域的一个重要研究方向。掩膜板相机由掩膜板和光电传感器阵列组成，是一种新型超薄无透镜相机。其厚度只有几个毫米。因此，掩膜板相机在科学探索、航天遥感、监视侦察和生物医学成像等领域中具有重大研究价值和重要的科学意义。

然而，传统掩模板相机图像复原方法主要是基于最优化原理的复原方法，即对图像施加一个常用的先验约束条件，通过多次迭代求解使图像收敛在约束空间内。由于在求解过程中需要多次迭代(一般要上百次)，这种复原方法一般要耗费较长时间。另外由于先验条件并不能非常精确的约束待求解图像，传统求解得到的图像质量较差。因此，针对掩膜板相机的图像复原方法仍有很大改进空间。

掩膜板相机研究涉及的文献有许晓锋.光学压缩编码成像及其复原算法研究[D].西安电子科技大学,2011；邵晓鹏,钟宬,杜娟,饶存存.多值压缩编码孔径超分辨率成像方法[J],光电子.激光,2012,23(06):1189-1195；DeWeert M J,Farm B P.Lensless coded-aperture imaging with separable Doubly-Toeplitz masks[J].Optical Engineering,2015,54(2):023102；Asif M S,Ayremlou A,Sankaranarayanan A,et al.Flatcam:Thin,lensless cameras using coded aperture and computation[J].IEEE Transactions onComputational Imaging,2017,3(3):384-397.

上述文献中许晓锋设计最优化迭代复原算法，实现图像的超分辨率重建；邵晓鹏等用多值掩膜板代替二值掩膜板来增强编码质量；DeWeert等人设计了可分离掩膜编码，降低了运算复杂度；Asif等人设计了条纹标定方法，提高了编码矩阵的准确度。这些研究分别从图像复原算法、掩膜板设计、标定方法方面改善了系统成像质量，但均未结合深度学习在掩模板相机图像复原方面提出改进。

发明内容

针对上述现有技术中存在的技术问题，本发明提供一种基于深度学习的掩膜板相机图像复原方法，丰富了掩模板相机的图像复原方法种类。相比于传统复原方法，大幅提升了掩模板相机的成像清晰度与信噪比，缩短了掩模板相机图像复原所需要的时间，为掩膜板相机高质量成像奠定基础。

本发明的技术方案基于掩膜版相机成像的特性。

掩膜板相机结构如图1所示，其中1为掩膜板，2为光电传感器阵列。掩膜板由一块透明玻璃镀上金属膜制作而成，如图2所示，黑色区域为镀膜区域，镀膜区域不透光，白色区域为透光区域。光电传感器阵列的像元只能通过掩膜板透光区域接收物方光线，因此在光电传感器阵列上形成了物方光线的编码：

Y＝φ_LXφ_R ^T (3)

其中，Y为光电传感器阵列输出的图像，X为物方图像，φ_L、φ_R为系统传递矩阵。传递矩阵可以通过标定获得。依据公式1，可利用传递矩阵φ_L、φ_R从图像Y中复原出物方图像x，如公式(2)所示：

x＝agr min||φ_LXΦ_R ^T-Y||₂ ²+λR(X) (4)

上式中λ为正则系数，R(X)为先验约束。

加入物方图像X的影子变量V，结合卷积神经网络进而表示以下形式：

x＝arg min||Y-φ_LXφ_R ^T||₂ ²+λ||V-X||₂ ² (5)

v＝arg min||V-X||₂ ²+R(V) (6)

对于公式(3)可使用解析解更新，对于公式(4)可使用网络优化。

为了更好的复原得到物方图像X，本发明方法分为三步：第一步为通过标定获得物像传递矩阵；第二部分为对公开数据集进行预处理并利用掩模板相机实拍装置进行拍摄，获得掩模板相机的成像数据集以作为深度神经网络的训练集；第三部分为结合传递矩阵搭建复原网络模型并训练至预设条件。复原网络模型训练完毕，将掩模板相机拍得的图像输入到训练好的复原网络模型，得到高质量的复原图像。

为达到以上目的，本发明采用以下技术方案，实现流程如图3和图4所示：

该方法包括以下步骤：

(1)使用掩模板相机显示拍摄装置拍摄不同的多条纹图案，对相机输出图像进行处理获得系统物像传递矩阵φ_L、φ_R；

(2)对已经公开的公开数据集进行预处理，将公开数据集里的大量高清图像以固定的间隔裁剪都裁切为固定大小的图像块，使用掩模板相机显示拍摄装置进行拍摄得到训练数据集；

(3)结合物像传递矩阵搭建复原网络模型，以训练数据集迭代训练初始化后的卷积神经网络模型，直至迭代次数达到预设次数，复原网络模型训练完毕；将拍摄的待测的掩模板相机图像输入到训练好的复原网络模型中，得到复原后的图像。

所述步骤(1)具体如下：

(1.1)搭建掩模板相机显示拍摄装置，装置包括一个掩模板相机和一个显示器，掩模板相机正对朝向显示器并拍摄显示器中的图像，如图5所示；

(1.2)构造一个N′N大小的哈达玛矩阵H，将哈达玛矩阵里的-1全替换为0得到多条纹矩阵D，分别取多条纹矩阵D里的每一列、每一行并将其拉伸扩展为横、竖条纹图像，最后根据场景亮度调整横、竖条纹图像的亮度值，以防止出现拍摄过程中出现过曝光；

(1.3)由显示器依次播放所有的横竖条纹图像，由掩模板相机拍摄记录显示器上显示的横竖条纹图像，获得横条纹相机图像，如图6所示；

(1.4)依次对横条纹对应的相机图像做奇异值分解，保留奇异值最大的左奇异向量，依照条纹顺序按列组合这些向量得到第一矩阵φ_L1，使用第一矩阵φ_L1右除多条纹矩阵D得到第一系统物像传递矩阵φ_L；

依次对竖条纹对应的相机图像做奇异值分解，保留奇异值最大的右奇异向量，依照条纹顺序按列组合这些向量得到第二矩阵φ_R1，使用第二矩阵φ_R1右除多条纹矩阵D得到第二系统物像传递矩阵φ_R。

所述步骤(2)具体如下：

(2.1)获得现有的包含大量图片的公开数据集，获得装置里显示器的伽马(gamma)参数或根据常用gamma校正方法获取gamma参数，依据伽马参数对数据集里的每张图像做非线性矫正；

(2.2)对矫正好的每一张图像以固定的间隔做裁切操作，获得各个固定相同大小的图像块，如512*512大小；

(2.3)由显示器依次播放所有的图像块，由掩模板相机拍摄记录显示器上显示的图像块，获得图像块相机图像，由原始的图像块X和图像块相机图像Y构成了掩模板相机图像对，所有掩模板相机图像对构成训练数据集。

所述步骤(3)中，所述的复原网络模型主要分为两块，分别为解析解更新块和，由一个解析解更新块和一个卷积网络优化块连接构成了一层网络单元，四层网络单元组成了复原网络模型，即形成了由四个解析解更新块和四个卷积网络优化块依次交替连接构成的完整复原网络结构；

这里用i表示所在层数，整个复原网络计算过程如图7所示。

具体如下：

(3.1)以固定的初始化方法初始化复原网络模型的所有可训练的网络参数，使得服从特定的分布；所有可训练的网络参数包括了解析解更新块中的正则化参数和卷积网络优化块中的卷积核权重和偏置参数。

(3.2)取训练数据集中的一批图像块相机图像Y，依据公式和物像传递矩阵得到初始复原图x⁰，将初始复原图x⁰作为初始卷积结果图输入到第一层网络单元的解析解更新块中；

(3.3)在第i层网络单元的解析解更新块中依据公式解析解更新公式进行矩阵乘、点乘、点除运算去更新得到第i复原图xⁱ，i表示解析解更新块所在网络单元的层数，i＝1,2,3,4；

在第一次更新时v⁰＝x⁰，在之后的更新过程中为卷积网络优化块输出的vⁱ。

(3.4)将更新后获得的第i复原图xⁱ输入到第i层网络单元的卷积网络优化块中得到卷积结果图vⁱ：

对在卷积网络优化块的各级卷积层上，使用各级卷积层上的初始卷积核和初始偏置矩阵，对每个第i复原图xⁱ分别进行卷积操作和上下采样操作，得到每个第i复原图xⁱ在各级卷积层上的特征图像feature_k ⁱ，k＝1,2,3...n，k表示卷积网络优化块里卷积层的序数，n表示卷积网络优化块里卷积层的总数，i表示网络单元层的序数，其中卷积网络优化块最后一个卷积层输出的特征图像feature_n ⁱ作为当前第i层网络单元的卷积网络优化块的卷积结果图vⁱ；

(3.5)连续运行四次(3.3)和(3.4)的操作，第四层网络单元的卷积网络优化块输出的卷积结果图v⁴，作为整个复原网络模型输出的最终图像x；

(3.6)根据复原网络模型输出的最终图像x和原始的图像块X计算保真项误差Loss_mse，根据计算得到的保真项误差Loss_mse，对待训练的复原网络模型的可训练的网络参数进行调整；

(3.7)根据调整后的卷积神经网络模型参数和训练数据集里下一批的图像块相机图像Y，继续重复进行步骤(3.2)至步骤(3.6)的操作，进行模型参数调整的过程，直至迭代次数达到预设次数，则模型训练完毕；

(3.8)将待测的掩模板相机图像输入到训练好的复原网络模型，得到高质量的复原图像。

所述步骤(3.2)具体为：

对第一系统物像传递矩阵φ_L和第二系统物像传递矩阵φ_R进行奇异值分解即：

φ_L＝U_L*S_L*V_L ^T,φ_R＝U_R*S_R*V_R ^T

其中，U_L、S_L、V_L分别表示第一系统物像传递矩阵φ_L的左奇异向量矩阵、奇异值对角矩阵、右奇异向量矩阵，U_R、S_R、V_R分别表示第二系统物像传递矩阵φ_R的左奇异向量矩阵、奇异值对角矩阵、右奇异向量矩阵，T表示矩阵转置；

输入图像块相机图像Y后依据下式求解初始复原图x⁰：

式中，σ_L,σ_R分别为S_L,S_R形成的列向量，λ表示正则系数，11表示全1矩阵，⊙表示矩阵点乘。

所述步骤(3.3)具体为：

按下式进行解析解迭代更新得到第i复原图xⁱ，i表示解析解更新块所在网络单元的层数，i＝1,2,3,4：

其中，U_L、S_L、V_L分别表示第一系统物像传递矩阵φ_L的左奇异向量矩阵、奇异值对角矩阵、右奇异向量矩阵，U_R、S_R、V_R分别表示第二系统物像传递矩阵φ_R的左奇异向量矩阵、奇异值对角矩阵、右奇异向量矩阵，T表示矩阵转置；σ_L,σ_R分别为S_L,S_R形成的列向量，λ表示正则系数，11表示全1矩阵，⊙表示矩阵点乘。

所述步骤(3.4)具体为：

所述的卷积网络优化块包含有15层卷积层，对于输入的第i复原图xⁱ，按照以下方式在各层卷积层中进行处理：

在当前第k层卷积层且k＝2,4,6时，k表示卷积层的序号，利用下式处理获得经第k层卷积层处理得到的结果图像：

feature_k ⁱ＝DownSample{Conv{Conv{feature_k-2 ⁱ}}} (7)

其中，feature_k-2 ⁱ为第k-2层卷积层处理得到的结果图像，feature₀ ⁱ即为第i-1复原图x^i-1，Conv为作卷积操作；DownSample为0.5倍作下采样的操作通过最大值池化实现；

在当前第k层卷积层且k＝8,10,12时，利用下式处理得到经过第k层卷积层处理得到的结果图像feature_k ⁱ：

feature_k ⁱ＝Cat{UpSample{Conv{Conv{feature_k-2 ⁱ}}}+feature_k-2 ⁱ} (8)

其中，UpSample为作2.0倍上采样的操作通过反卷积实现；Cat为将两幅图像沿着图像的通道维度拼接起来的操作；

在当前第k层卷积层且k＝1,3,5,7,9,11,13,14,15时，利用下式处理得到经过第k层卷积层处理得到的结果图像feature_k ⁱ：

feature_k ⁱ＝Conv{feature_k-1 ⁱ}

其中，Conv{}为作卷积操作。

所述步骤(3.6)具体为：

首先，在得到最后第四层网络单元的卷积网络优化块的最后一个卷积层输出的结果图像feature₁₅ ⁴后，也即v⁴和原始小图像块X，通过以下公式计算保真项误差Loss_mse：

上式中，(x_pic,y_pic)为图像v⁴和原始小图像块X的像素点的横纵坐标索引值，|| ||₂表示图像的Frobenius范数；

接着，通过下式根据保真项误差Loss_mse对复原网络模型中所有卷积网络优化块的卷积层的卷积核权重和偏置参数的偏导数值：

其中，

和β_k ⁱ分别为第i层网络单元卷积网络优化块的第k层卷积层的卷积操作Conv的卷积核权重和偏置参数，X为在训练集中的图像块真值；l为输入的图像块X的序号，m为输入的图像块的总量，具体实验中，每输入12个样本图像更新一次偏导；

和

分别表示保真项误差Loss_mse对

和β_k ⁱ的偏导数；

最后，利用求得的保真项误差按照如下公式对卷积核权重

和偏置参数β_k ⁱ进行更新：

其中，a为学习速率，

和newβ_k ⁱ分别为更新后的第i层网络单元卷积网络优化块的第k层卷积层的卷积核权重和偏置参数，是控制卷积核权重和偏置参数变化快慢的参数；

与

为由前面公式计算得到的保真项误差对于卷积层的卷积核权重和偏置参数的偏导数值。

所述的拍摄装置是掩模板相机系统，即在成像传感器前毫米距离处放置一个掩模板。

本发明复原的图像对象具体场景可以是室内和自然场景。

本发明针对掩模板相机图像复原过程中复原质量差，复原时间长的问题，采用卷积神经网络，提供了掩膜板相机图像复原方法。方法首先通过标定获得物像传递矩阵；然后对公开数据集进行预处理并利用掩模板相机实拍装置进行拍摄，获得掩模板相机的成像数据集以作为深度神经网络的训练集；最后结合传递矩阵搭建复原网络模型并训练至预设条件。复原网络模型训练完毕，将掩模板相机拍得的图像输入到训练好的复原网络模型，得到高质量的复原图像。

本发明基于掩膜板相机的编码成像原理，针对图像质量与图像信噪比需求，将传统复原算法与深度学习卷积神经网络相结合，在图像复原算法设计上提出了新的解决方式。

本发明与传统的复原算法，拓展了掩模板相机的图像复原算法，提高了掩膜板相机的成像质量与图像信噪比，缩减了掩模板相机图像复原所需要的时间，为掩膜板相机高质量成像奠定基础。

本发明与现有技术相比的优点在于：

本发明基于掩膜板相机的编码成像原理，针对图像质量与图像信噪比需求及复原时间需求，在图像复原算法设计上提出了新思路。

本发明提出的复原方法与传统复原方法相比，拓展了掩模板相机的图像复原方法种类，大大提高了掩膜板相机的成像/复原质量与图像信噪比，缩短了掩模板相机图像复原时间，实现掩膜板相机高质量成像为掩膜板相机高质量成像奠定基础。

附图说明

图1是掩膜板相机结构示意图，其中1为掩膜板，2为光电传感器阵列；

图2是掩膜板示意图；

图3是本方法主要框架流程示意图；

图4是本发明方法整体细节流程示意图；

图5是实验所用显示拍摄装置示意图；

图6是标定过程中拍摄示意图；

图7是本发明方法整体计算过程示意图；

图8是卷积网络优化块的卷积神经网络模型的结构图

图9是示例性实施例物方图像；

图10是采用本发明方法对物方图像9的成像结果图；

图11是采用传统复原方法FISTA对物方图像9的成像结果图。

具体实施方式

现在将参照附图详细描述本发明的示例性实施例。

按照本发明方法发明内容完整方法实施的实施例及其实施过程如下：

步骤(1)具体为：

(1.1)搭建掩模板相机显示拍摄装置：选取一个显示器，其显示亮度可调。分别将显示器、掩模板、和成像传感器固定在三个空间三维位置可调和俯仰角可调、横滚角可调、偏航角可调的底座上。调节三个角度使三个平面相互平行。调节三维空间位置其显示器显示中心对准掩模板中心和成像传感器的中心。显示器距离相机约40cm，物距可根据拍摄视场需要进行调整。位置调好后调节显示器的显示亮度使自然图像在拍摄时处于合理的曝光时间内，如2000ms。

(1.2)使用Matlab软件自带的哈达玛矩阵生成文件生成一个N′N大小的哈达玛矩阵H，其中2^N＝P，P为复原图像的分辨率。将哈达玛矩阵里的-1全替换为0得到多条纹矩阵D。依次取多条纹矩阵的每一列D_p,p∈[1,N]，p表示列索引值，用D_p列乘全一行向量得到横条纹Row_p＝D_p*1^T，1为全一列向量。依次取多条纹矩阵的每一行D_q,q∈[1,N]，q表示行索引值，用全一列向量乘D_q行得到竖条纹Col_q＝1*D_q。根据拍摄场景对条纹亮度值做合适的衰减，如所有条纹亮度值都乘衰减系数0.5。

(1.3)以幻灯片的方式依次按1至N顺序播放条纹图像，并使用掩模板相机拍摄。每个条纹图片都拍摄多次例如25次，最后平均得到一个相机记录图像。

(1.4)按1至N顺序依次对平均得到的对应的横条纹相机图像Row_p进行SVD分解，即Row_p＝U_pS_pV_p ^T，U_p、S_p、V_p分别表示对Row_p进行奇异值分解得到的左奇异向量矩阵、奇异值对角矩阵、右奇异向量矩阵，将U_p第一列保存至临时矩阵φ_L1的第p列中。使用φ_L1右除矩阵D得到φ_L，若在(1.2)步骤中对横条纹图像进行了亮度衰减，则此处右除矩阵D应先点乘相应的衰减系数。同理，按1至N顺序依次对平均得到的竖条纹相机图像Col_q进行SVD分解，即Col_q＝U_qS_qV_q ^T，U_q、S_q、V_q分别表示分别表示对Col_q进行奇异值分解得到的左奇异向量矩阵、奇异值对角矩阵、右奇异向量矩阵，将V_q第一列保存至临时矩阵φ_R1的第q列中。使用φ_R1右除矩阵D得到φ_R，若在(1.2)步骤中对竖条纹图像进行了亮度衰减，则此处右除矩阵D应先点乘相应的衰减系数。

步骤(2)：

选取一个公开的数据集如DIV2K数据集，针对数据集里每一张高清图像，将高清图像按照从左至右、从上至下顺序以划分裁剪成固定大小各个图像块，图像块大小等于复原图片的分辨率如512*512。裁剪过程中图像小块与图像小块之间紧密相连且部分重叠。

(2.1-2.2)获取显示拍摄系统里显示器的gamma参数，如未能直接获取可以通过拍摄灰度测试板后根据常用gamma校正方法获取gamma参数，如本系统里的显示器gamma参数为[1.0023,2.2530]。对裁切的每个图像块都进行非线性矫正即Pic＝(Pic1./1.0023).^(1/2.2530)，其中Pic1为原始图像块，Pic为校正后图像块。

(2.3)依次显示每个图像块并多次拍摄，获得掩模板相机数据集里的图像对：(图像块原图X，相机输出图像Y)。

步骤(3)：

结合传递矩阵搭建复原网络模型，以训练集迭代训练初始化后的卷积神经网络模型，直至迭代次数达到预设次数，复原网络模型训练完毕。将拍摄的用于测试的掩模板相机图像输入到训练好的网络中，得到复原后的图像。

(3.1-3.2)结合传递矩阵搭建复原网络。复原网络主要分为两块，第一块为解析解更新块和卷积网络优化块。将上述两个块顺序堆叠四层组成完整的复原网络，这里用i表示所在层数，整个复原网络计算过程如图7所示。

本发明卷积网络优化块的卷积神经网络模型包含有15层卷积层，卷积网络结构图如图8所示。将复原网络模型的初始模型参数，即卷积神经网络的各级卷积层的初始卷积核和所述各级卷积层的初始偏置矩阵中的所有元素值，初始化为32位浮点数，使所有初始的模型参数服从(0,1)之间的均匀分布。

(3.3)对传递矩阵φ_L,φ_R进行奇异值分解即φ_L＝U_L*S_L*V_L ^T,φ_R＝U_R*S_R*V_R ^T；

输入图像块相机图像Y后依据下式求解初始复原图x₀：

上式中σ_L,σ_R分别为S_L,S_R形成的列向量。

(3.4)在获得初始估计x₀后按下式进行解析解迭代更新得到xⁱ，i＝1,2,3,4表示此解析解更新块所在的层数，

计算上式时若是在第一次更新则v⁰＝x⁰，在之后的更新过程中vⁱ为步骤(3.5)的输出vⁱ。

(3.5)将更新后xⁱ输入到卷积网络优化块得到vⁱ。

本发明卷积网络优化块的卷积神经网络模型包含有15层卷积层。

对于输入的xⁱ,在当前(i,k)层卷积层且k＝2,4,6时，k表示卷积层的序号，利用下式处理获得经第(i,k)层卷积层处理得到的结果图像：

feature_k ⁱ＝DownSample{Conv{Conv{feature_k-2 ⁱ}}} (11)

其中，feature_k-2 ⁱ为上一层的第(i,k-2)层卷积层处理得到的结果图像，feature₀ ⁱ即为初始估计x^i-1，Conv为用初始化后的初始卷积核和初始偏置矩阵作卷积操作；DownSample为0.5倍作下采样的操作通过最大值池化实现。

feature_k ⁱ＝Cat{UpSample{Conv{Conv{feature_k-2 ⁱ}}}+feature_k-2 ⁱ} (12)

其中，UpSample为作2.0倍上采样的操作，通过反卷积实现；Cat为将两幅图像沿着图像的通道维度拼接起来的操作。

feature_k ⁱ＝Conv{feature_k-1 ⁱ} (13)

步骤(3.7)：

在得到最后一个卷积网络优化块的最后一个卷积层输出的结果图像feature₁₅ ⁴也即v⁴和原始小块图像X后，通过以下公式计算保真项误差Loss_mse：

上式中(x_pic,y_pic)为图像像素点的坐标索引值。

步骤(3.8)：

首先通过下式获得保真项误差Loss_mse对所有卷积神经网络模型的卷积层的卷积核权重和偏置参数的偏导数值：

其中，

和β_k ⁱ分别为步骤(3.2)中卷积操作Conv的卷积核权重和偏置参数，X为在训练集中图像块真值；l为输入图像X的序号，m为输入图像的总量，具体实验中，每输入12个样本图像更新一次偏导。

然后利用求得的保真项误差按照如下公式对卷积核权重

和偏置参数β_k ⁱ进行更新：

其中，a为学习速率，是控制卷积核权重和偏置参数变化快慢的参数；

与

为由式(11)计算得到的保真项误差对于卷积层的卷积核权重和偏置参数的偏导数值。

本实施例中使用的掩膜板相机由VT-OE_SH-4000CL-NF相机的光电传感器阵列和金属光刻掩膜板组成。光电传感器阵列的像元间隔为5.5微米，分辨率为2048*2048。掩膜板尺寸为15mm*15mm。光电传感器阵列和掩膜板之间缝隙宽0.55mm。

首先对图9所示的物方图像成像，本实例将图9所示图像显示在显示屏上，图像尺寸为14.2cm*14.2cm，显示屏到掩膜板相机之间距离为36cm。使用本发明方法复原的结果如图10所示，作为对比，使用传统算法FISTA复原的结果如图11所示。

二者复原质量对比如下表所示：

	PSNR	TIME
			本发明方法复原	23.12	4.81
FISTA方法复原	14.85	194.48

上表中，PSNR表示图像的峰值信噪比，是一种评价图像的客观标准，其值越大说明复原的图像越接近原图。TIME表示复原所用的时间,以秒为单位。由上表可见，由发明方法复原的结果优于传统FISTA方法，其复原的图像更清晰，显著提高了信噪比并缩短了复原时间。

本发明对图9所示物方图像成像，并以传统算法FISTA对比，说明本发明的有益效果。

在上述实施例中，使用本发明的复原方法可以对掩膜板相机图像进行较好的复原。与同等条件下使用传统复原算法进行复原相比，大大提高了掩膜板相机的成像质量和图像信噪比，并大大缩短了掩模板相机图像的复原时间，为掩膜板相机高质量成像奠定坚实的基础。

Claims

1.一种基于深度学习的掩膜板相机图像复原方法，其特征在于：该方法包括以下步骤：

(2)对公开数据集进行预处理，将公开数据集里的图像以固定的间隔裁剪都裁切为固定大小的图像块，使用掩模板相机显示拍摄装置进行拍摄得到训练数据集；

(3)结合物像传递矩阵搭建复原网络模型，以训练数据集迭代训练初始化后的卷积神经网络模型，直至迭代次数达到预设次数，复原网络模型训练完毕；将拍摄的待测的掩模板相机图像输入到训练好的复原网络模型中，得到复原后的图像；

所述步骤(3)中，所述的复原网络模型主要分为两块，分别为解析解更新块和，由一个解析解更新块和一个卷积网络优化块连接构成了一层网络单元，四层网络单元组成了复原网络模型；具体如下：

(3.1)以固定的初始化方法初始化复原网络模型的所有可训练的网络参数，使得服从特定的分布；

2.根据权利要求1所述的一种基于深度学习的掩膜板相机图像复原方法，其特征在于：所述步骤(1)具体如下：

(1.1)搭建掩模板相机显示拍摄装置，装置包括一个掩模板相机和一个显示器，掩模板相机正对朝向显示器并拍摄显示器中的图像；

(1.2)构造一个N×N大小的哈达玛矩阵H，将哈达玛矩阵里的-1全替换为0得到多条纹矩阵D，分别取多条纹矩阵D里的每一列、每一行并将其拉伸扩展为横、竖条纹图像，最后根据场景亮度调整横、竖条纹图像的亮度值；

(1.3)由显示器依次播放所有的横竖条纹图像，由掩模板相机拍摄记录显示器上显示的横竖条纹图像，获得横条纹相机图像；

3.根据权利要求1所述的一种基于深度学习的掩膜板相机图像复原方法，其特征在于：所述步骤(2)具体如下：

(2.1)获得公开数据集，获得装置里显示器的伽马参数，依据伽马参数对数据集里的每张图像做非线性矫正；

(2.2)对矫正好的每一张图像以固定的间隔做裁切操作，获得各个固定相同大小的图像块；

4.根据权利要求1所述的一种基于深度学习的掩膜板相机图像复原方法，其特征在于：所述步骤(3.2)具体为：

φ_L＝U_L*S_L*V_L ^T,φ_R＝U_R*S_R*V_R ^T

输入图像块相机图像Y后依据下式求解初始复原图x⁰：

5.根据权利要求1所述的一种基于深度学习的掩膜板相机图像复原方法，其特征在于：所述步骤(3.3)具体为：

6.根据权利要求1所述的一种基于深度学习的掩膜板相机图像复原方法，其特征在于：所述步骤(3.4)具体为：

feature_k ⁱ＝DownSample{Conv{Conv{feature_k-2 ⁱ}}} (1)

其中，feature_k-2 ⁱ为第k-2层卷积层处理得到的结果图像，Conv为作卷积操作；DownSample为0.5倍作下采样的操作通过最大值池化实现；

feature_k ⁱ＝Cat{UpSample{Conv{Conv{feature_k-2 ⁱ}}}+feature_k-2 ⁱ} (2)

feature_k ⁱ＝Conv{feature_k-1 ⁱ}

其中，Conv{}为作卷积操作。

7.根据权利要求1所述的一种基于深度学习的掩膜板相机图像复原方法，其特征在于：所述步骤(3.6)具体为：

首先，在得到最后第四层网络单元的卷积网络优化块的最后一个卷积层输出的结果图像feature₁₅ ⁴后，通过以下公式计算保真项误差Loss_mse：

其中，

和β_k ⁱ分别为第i层网络单元卷积网络优化块的第k层卷积层的卷积操作Conv的卷积核权重和偏置参数，X为在训练集中的图像块；l为输入的图像块X的序号，m为输入的图像块的总量；

和

分别表示保真项误差Loss_mse对

和β_k ⁱ的偏导数；

最后，利用求得的保真项误差按照如下公式对卷积核权重

和偏置参数β_k ⁱ进行更新：

其中，α为学习速率，

和newβ_k ⁱ分别为更新后的第i层网络单元卷积网络优化块的第k层卷积层的卷积核权重和偏置参数。