CN110443768A - 基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法 - Google Patents

Abstract

本发明涉及基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，包括：S1建立低分辨率图像和高分辨率图像之间的一致性对应关系，通过获取0阶梯度、1阶梯度和2阶梯度，分别建立关于结构、边缘和纹理的观测模型，即一致性约束模型；S2：根据所需重建图像的种类，构建高分辨率图像和低分辨率图像之间在结构、边缘和纹理层面上的对应训练集；S3：建立基于对称冗余深度神经网络的训练模型，获得高分辨率图像和低分辨率图像之间的映射关系。S4：利用半二次迭代方法将步骤S1的一致性约束模型和步骤S3的先验约束建立超分辨率重建模型，并进行求解，得到重建后的超分辨率图像。

Description

基于多重微分一致性约束和对称冗余网络的单帧图像超分辨 率重建方法

技术领域

本发明涉及基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，属于计算机图像处理领域。

背景技术

获取高分辨率图像是计算机视觉和后续相关领域的重要基础。目前的超分辨率重建方法可以广义得分为单帧重建算法和多帧重建算法。单帧重建算法是指利用一幅受到噪声、模糊、降采样等降质因素影响的低分辨率图像来重建出其对应的高分辨率图像所需的算法。具体参见文献W.Shi,J.Caballero,F.Huszar,J.Totz,A.P.Aitken,R.Bishop,D.Rueckert,Z.Wang,Real-Time Single Image and Video Super-Resolution Using anEfficient Sub-Pixel Convolutional Neural Network.IEEE Conference on ComputerVision and Pattern Recognition,1874-1883,Las Vegas,NV,United States,2016及文献Y.Zhang,Q.Fan,F.Bao,Y.Liu,C.Zhang,Single-Image Super-Resolution Based onRational Fractal Interpolation.IEEE Transactions on Image Processing,27(8):3782-797,2018。多帧图像重建算法是指利用同一场景下的多帧有相对位移的低分辨率图像(受到噪声、模糊、降采样等降质因素影响的降质图像)来重建一帧高分辨率图像，具体参见文献K.Konstantoudakis,L.Vrysis,N.Tsipas,C.Dimoulas,Block unshifting high-accuracy motion estimation:A new method adapted to super-resolutionenhancement.Signal Processing:Image Communication,65:81-93,2018及文献I.Mourabit,M.Rhabi,A.Hakim,A.Laghrib,E.Moreau,A new denoising model formulti-frame super-resolution image reconstruction.Signal Processing,132(C):51-65,2017。

目前，解决单帧图像超分辨率重建算法有最优化方法和学习方法两种。基于最优化方法是建立观测模型后，依赖先验模型(内部估计)进行图像重建。而基于学习方法依赖于前期建立的数据集(外部模型)。依赖先验模型的算法以人们的主观意志为转移，依靠前期经验就某一种特征进行加强而忽略了其他多种特征，具有强烈的人工倾向性，例如：TV先验着重强调边缘的保护而忽略纹理细节的保护，从而导致重建图像过平滑。学习方法依赖于外部图像库，这存在两个问题，1，图像库是否完备，不完备则某些特征无法恢复；2，内部结构性信息没有良好把握，主要依赖外部信息进行恢复。因此，解决单帧图像超分辨率重建寻找一个契合点，从图像自身特征出发，从多重特征层面利用一致性约束减少人工倾向性约束，同时利用外部图像库训练特征集，利用多重梯度特征补全原图像缺失特征，从而达到重建的效果。

发明内容

针对现有技术的不足，本发明提供了基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法；

本发明的目的是有效整合图像内外部信息建立一种基于多重梯度和对称卷积深度网络的单帧图像超分辨率重建算法模型。

获取内部信息指的是图像的结构、梯度和细节信息。获取外部信息指的是利用对称卷积深度网络训练已有数据级，从结构、梯度和细节方面获得有效支持，补全缺失信息。利用半二次迭代算法整合内外部信息，达到超分辨率重建的目的。

术语解释：

1、多重微分一致性约束：本发明所提出的多重微分一致性约束指的是在单帧图像重建过程中，为了有效复原图像的结构、边缘和纹理信息，利用0阶梯度，1阶梯度和2阶梯度对待估图像进行一致性约束，使得在仿真情况下的降质尽可能符合实际。

2、对称冗余网络：所涉及的网络是一个对称的深度网络，所谓的对称指的是网络分为编码和解码两部分(图1所示)，编码过程分为5个相同的功能块，每个功能块包括卷积操作，批量标准化操作和激活操作。对称的，解码过程也分为5个功能块，同样每个功能块中包括反卷积，批量标准化和激活操作。所谓冗余指的是在神经网络训练过程中，训练的信息为残差信息，即估计值和标签值的差值。

3、0阶梯度、1阶梯度、2阶梯度：假设m×n图像定义为X(i,j),i＝1,…n；j＝1,…,m，所谓0阶梯度即灰度差值，1阶梯度是利用1阶差分函数：

2阶梯度即利用Laplace函数求解图像在横坐标方向(x方向)和纵坐标方向(y方向)的2阶差分：

4、结构：图像结构即图像的构图信息由图像的边缘区域、平坦区域和角点区域组成，描述了图像的整体框架。

5、边缘(梯度)：边缘是图像属性区域和另一个属性区域的交接处，是区域属性发生突变的地方，是图像中不确定性最大的地方，也是图像信息最集中的地方，图像的边缘包含着丰富的信息。在本领域通常指的是1阶梯度值较大的区域。

6、半二次迭代方法：将正则项中的原始变量进行变量替换，然后增加拉格朗日乘子项和二次惩罚项。

7、纹理：纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。在本领域通常指的是1阶梯度值较小的区域。

本发明的技术方案为：

基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，包括步骤如下：

S1：建立低分辨率图像和高分辨率图像之间的一致性对应关系，通过获取0阶梯度、1阶梯度和2阶梯度，分别建立关于结构、边缘和纹理的观测模型，从而获得新的数据保真模型，即一致性约束模型；

S2：根据所需重建图像的种类，构建高分辨率图像和低分辨率图像之间在结构、边缘和纹理层面上的对应训练集；

所述种类，是指在重建高分辨率图像时，由于图像的内容不同会导致图像结构、边缘、纹理等信息的巨大差异，为了尽可能多的弥补这些差异，需要将待重建的图像根据内容不同划归到不同种类图像中，例如，医学领域的CT图像，MRI图像；建筑物图像、人脸图像、其他领域的自然图像等相同或者相似的种类中，以获取更多的信息支持，而这些获取到的内容被称之为外部信息。

相对于高分辨率图像，低分辨率图像包括了模糊、噪声；

由于不同的特征对于噪声、模糊等降质因素的响应不同，因此为了保证噪声、模糊的有效去除，在建立训练集时，需要针对性的选取部分包含大梯度边缘的图像对、部分包含丰富纹理的图像对作为训练集的组成部分。

S3：建立基于对称冗余深度神经网络的训练模型，通过该训练模型训练步骤S2获取的高分辨率图像和低分辨率图像之间在结构、边缘和纹理层面上的对应训练集中的数据，获得高分辨率图像和低分辨率图像之间的映射关系，即外部信息，所述映射关系也被称为先验约束；

S4：利用半二次迭代方法将步骤S1的一致性约束模型和步骤S3的先验约束建立超分辨率重建模型，并进行求解，得到重建后的超分辨率图像。

根据本发明优选的，一般，数据保真模型可以写作：该模型利用0阶梯度描述了低分辨率图像y和仿真低分辨率图像Wx之间的一致性。该模型仅仅反映了图像点对之间的一致性，不能反映图像更深层次的区别。因此，在基于0阶梯度降质模型的基础上，增加基于一阶梯度和二阶梯度的降质关系来描述边缘和纹理的降质过程，实现低分辨率图像y和待求解图像X之间的不同梯度之间(1阶梯度或2阶梯度)的降质对应关系，从而实现不同特征层面角度下的一致性约束。基于以上分析，建立新的数据一致性约束：

ψ(·)表示梯度算子，当时，表示1阶梯度算子；当ψ(·)＝△表示2阶梯度算子；y表示低分辨率图像，W为降质矩阵，W描述的降质过程包括降采样、模糊、形变等信息，但是W本身是未知的，需要在后续的求解过程中求解。x为待求解高分辨率图像，Ψ(x,y)表示图像对x，y之间基于1阶梯度或2阶梯度的对应关系；

步骤S1中，构建的一致性约束模型如式(I)所示：

式(I)中，F(x,y)表示本发明建立的基于低分辨率图像y和高分辨率图像x之间的多重微分一致性约束函数，i的取值分别为0，1，2，分别用来标记0阶梯度，1阶梯度，2阶梯度，λ_i为第i阶梯度的权重参数，ψ₀为恒等变换，ψ₁为1阶梯度算子，ψ₂为2阶梯度算子，ψ_i(y)表示对低分辨率图像y求第i阶梯度，ψ_i(Wx)表示对拟合的低分辨率图像Wx求第i阶梯度；

根据本发明优选的，所述步骤S2，包括：

构建高分辨率图像集和对应的低分辨率图像集i为样本序号，n为训练样本库大小；x_i表示训练样本库中第i帧高分辨率图像，y_i表示训练样本库中与x_i相对应的第i帧低分辨率图像。

在训练过程中，通过重复抽取、求取1，2阶梯度，进行图像扩充，建立高分辨率图像样本库X和低分辨率图像样本库Y。

例如，重建人脸图像时，所关注的信息除了人脸轮廓之外，更为主要的是人脸内部的五官、皱纹、脸部疤痕等更具有区分能力的特征。这些特征的呈现，有的是依靠该部位边缘与周围强烈的对比，例如眼睛、眉毛等；有的则是呈现比较弱的对比，比如，皱纹、脸部皮肤等。为了更好地恢复这些细节，将强对比的特征展现的更强，弱对比的纹理细节特征勾显出来，在选取训练集图像时，会更多的选择人脸图像作为训练集中的样本，这样做的好处是可以使重建的人脸更为真实自然。因此，在建立人脸数据集时，针对性的对具有不同肤色、年龄、性别或其他特征的人脸进行筛选并放入训练数据集。同时，为了保证训练过程中，不出现过拟合现象，采用了以下技术手段：1)对这些图片增加不同种类不同强度的噪声或者模糊，产生低分辨率图像，2)将这些图片打乱顺序随机、重复放入。

根据本发明优选的，所述步骤S3，基于对称冗余深度神经网络的训练模型是一个对称模型，包括编码部分和对称的解码部分，编码部分包括5个一样的功能模块，每一个功能模块包括卷积(Conv)、归一化(Bnorm)和激活操作(ReLU)；对称的解码部分也包括5个功能模块，每一个功能模块包括反卷积、归一化和激活操作；编码部分的从左往右的5个功能模块的通道数量分别为256、128、64、32、16，对称的解码部分的从左往右的5个功能模块的通道数量为分别16、32、64、128、256。每层功能模块之间是一个冗余链接，形成冗余网络。

根据本发明优选的，所述步骤S3，高分辨率图像与低分辨率图像的映射关系是指根据已有的训练集中数据对(训练集中的数据成对出现的，即：低分辨率图像和高分辨率图像是成对存在的，此处输入即为低分辨率图像、输出即为高分辨率图像)调整基于对称冗余深度神经网络的训练模型中的参数、连接权值或者结构，使得输入和输出形成映射关系，保证输出的高分辨率图像和真实的高分辨率图像之间误差尽量的小；根据本发明提出的深度神经网络模型，如式(Ⅱ)所示：

z＝f_n(…(f₀(x)) (Ⅱ)

式(Ⅱ)中，x是训练集中的低分辨率图像，z是对应的高分辨率图像，f＝{f₀(x),…f_n(x)}为n层对称冗余深度神经网络的每层的映射函数，训练集通过基于对称冗余深度神经网络的训练模型经过若干轮迭代，得到的f＝{f₀(x),…f_n(x)}，即高分辨率图像与低分辨率图像的映射关系。

进一步优选的，迭代次数为100次。

建立一个基于对称冗余深度神经网络的训练模型，学习图像各层梯度求得冗余信息，所谓的冗余指的是在神经网络训练过程中训练的信息，即残差信息--估计值和标签值的差值。

根据本发明优选的，所述步骤S4，对单帧超分辨率重建模型求解，如式(Ⅲ)所示：

式(Ⅲ)中，x,z为argmin{}返回的关于式(Ⅲ)求解得到的最小值，z为待求高分辨率图像，x为不含外部信息的带噪图像；为根据式(Ⅲ)估计出的高分辨率图像，y为输入的低分辨率图像，λ和γ分别是求解过程中的权重参数，Φ()指的是先验函数；

利用迭代格式对x问题求解，x_k+1和z_k+1分别是第k+1次迭代结束之后的含噪声的图像和求得的高分辨率图像，k为当前迭代次数，x_k和z_k是第k次迭代后的含噪噪声的图像和求得的高分辨率图像，第k+1次迭代是建立在第k次迭代结果之上的；得到：

W为降质矩阵，I为恒等矩阵，即对角线元素为1、其他元素为0的矩阵，x_k+1是第k+1次迭代结束之后求得的含噪图像；

利用步骤S3建立的低分辨率图像与高分辨率图像的映射关系，在每次迭代过程中，输入变量为x问题的解x_k；通过网络后，输出为z_k+1；

重复迭代过程，直到求得的两次高分辨率图像之间的差异小于预先设定的极小值ε，即|z_k-z_k+1|<ε，终止迭代，得到满足要求的高分辨率重建图像

本发明的有益效果为：

1、本发明寻找一个契合点，从图像自身特征出发，从多重特征层面利用一致性约束减少人工倾向性约束，同时利用外部图像库训练特征集，利用多重梯度特征补全原图像缺失特征，从而达到重建的效果。

2、本发明同时利用图像内、外部信息，建立了一个基于多重梯度特征学习和信息补全的超分辨率重建算法框架，该框架利用半二次迭代算法有效地整合内外部信息。

3、本发明利用多重梯度算法设计了一个数据约束模型，该模型可以从图像框架、边缘结构特征和细节特征对待估图像进行约束，可以有效地整合图像内部信息。

4、本发明建立了一个对称冗余网络。该网络对称的分为5层卷积部分和5层反卷积部分。对于卷积部分，通过卷积获得多重梯度算子，减少其空间维度；反卷积部分利用学习结果整合通道信息补全空间细节信息。该网络和所提出数据约束模型同时作用于重建过程，提高算法的可行性。

附图说明

图1为基于对称冗余深度神经网络的训练模型的结构框图；

图2(a)为原始图像示意图；

图2(b)为通过插值算法获得的重建结果示意图；

图2(c)为通过SRCNN方法获得的重建结果示意图；

图2(d)为DRNN方法获得的重建结果示意图；

图2(e)为通过SISR方法获得的重建结果示意图；

图2(f)为本发明方法获得的重建结果示意图；

图2(g)为图2(a)的原始图像与图2(a)的原始图像的差值图像示意图；

图2(h)为图2(b)的重建结果图像与图2(a)的原始图像的差值图像示意图；

图2(i)为图2(c)的重建结果图像与图2(a)的原始图像的差值图像示意图；

图2(j)为图2(d)的重建结果图像与图2(a)的原始图像的差值图像示意图；

图2(k)为图2(e)的重建结果图像与图2(a)的原始图像的差值图像示意图；

图2(l)为图2(f)的重建结果图像与图2(a)的原始图像的差值图像示意图；

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例

基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，包括步骤如下：

S1：建立低分辨率图像和高分辨率图像之间的一致性对应关系，通过获取0阶梯度、1阶梯度和2阶梯度，分别建立关于结构、边缘和纹理的观测模型，从而获得新的数据保真模型，即一致性约束模型；

一般，数据保真模型可以写作：该模型利用0阶梯度描述了低分辨率图像y和仿真低分辨率图像Wx之间的一致性。该模型仅仅反映了图像点对之间的一致性，不能反映图像更深层次的区别。因此，在基于0阶梯度降质模型的基础上，增加基于一阶梯度和二阶梯度的降质关系来描述边缘和纹理的降质过程，实现低分辨率图像y和待求解图像X之间的不同梯度之间(1阶梯度或2阶梯度)的降质对应关系，从而实现不同特征层面角度下的一致性约束。基于以上分析，建立新的数据一致性约束：

ψ(·)表示梯度算子，当时，表示1阶梯度算子；当ψ(·)＝△表示2阶梯度算子；y表示低分辨率图像，W为降质矩阵，W描述的降质过程包括降采样、模糊、形变等信息，但是W本身是未知的，需要在后续的求解过程中求解。x为待求解高分辨率图像，Ψ(x,y)表示图像对x，y之间基于1阶梯度或2阶梯度的对应关系；

构建的一致性约束模型如式(I)所示：

式(I)中，F(x,y)表示本发明建立的基于低分辨率图像y和高分辨率图像x之间的多重微分一致性约束函数，i的取值分别为0，1，2，分别用来标记0阶梯度，1阶梯度，2阶梯度，λ_i为第i阶梯度的权重参数，ψ₀为恒等变换，ψ₁为1阶梯度算子，ψ₂为2阶梯度算子，ψ_i(y)表示对低分辨率图像y求第i阶梯度，ψ_i(Wx)表示对拟合的低分辨率图像Wx求第i阶梯度；

S2：根据所需重建图像的种类，构建高分辨率图像和低分辨率图像之间在结构、边缘和纹理层面上的对应训练集；

所述种类，是指在重建高分辨率图像时，由于图像的内容不同会导致图像结构、边缘、纹理等信息的巨大差异，为了尽可能多的弥补这些差异，需要将待重建的图像根据内容不同划归到不同种类图像中，例如，医学领域的CT图像，MRI图像；建筑物图像、人脸图像、其他领域的自然图像等相同或者相似的种类中，以获取更多的信息支持，而这些获取到的内容被称之为外部信息。

相对于高分辨率图像，低分辨率图像包括了模糊、噪声；

由于不同的特征对于噪声、模糊等降质因素的响应不同，因此为了保证噪声、模糊的有效去除，在建立训练集时，需要针对性的选取部分包含大梯度边缘的图像对、部分包含丰富纹理的图像对作为训练集的组成部分。

构建高分辨率图像集和对应的低分辨率图像集i为样本序号，n为训练样本库大小；x_i表示训练样本库中第i帧高分辨率图像，y_i表示训练样本库中与x_i相对应的第i帧低分辨率图像。

在训练过程中，通过重复抽取、求取1，2阶梯度，进行图像扩充，建立高分辨率图像样本库X和低分辨率图像样本库Y。

例如，重建人脸图像时，所关注的信息除了人脸轮廓之外，更为主要的是人脸内部的五官、皱纹、脸部疤痕等更具有区分能力的特征。这些特征的呈现，有的是依靠该部位边缘与周围强烈的对比，例如眼睛、眉毛等；有的则是呈现比较弱的对比，比如，皱纹、脸部皮肤等。为了更好地恢复这些细节，将强对比的特征展现的更强，弱对比的纹理细节特征勾显出来，在选取训练集图像时，会更多的选择人脸图像作为训练集中的样本，这样做的好处是可以使重建的人脸更为真实自然。因此，在建立人脸数据集时，针对性的对具有不同肤色、年龄、性别或其他特征的人脸进行筛选并放入训练数据集。同时，为了保证训练过程中，不出现过拟合现象，采用了以下技术手段：1)对这些图片增加不同种类不同强度的噪声或者模糊，产生低分辨率图像，2)将这些图片打乱顺序随机、重复放入。

S3：建立基于对称冗余深度神经网络的训练模型，通过该训练模型训练步骤S2获取的高分辨率图像和低分辨率图像之间在结构、边缘和纹理层面上的对应训练集中的数据，获得高分辨率图像和低分辨率图像之间的映射关系，即外部信息，所述映射关系也被称为先验约束；

基于对称冗余深度神经网络的训练模型是一个对称模型，包括编码部分和对称的解码部分，编码部分包括5个一样的功能模块，每一个功能模块包括卷积(Conv)、归一化(Bnorm)和激活操作(ReLU)；对称的解码部分也包括5个功能模块，每一个功能模块包括反卷积、归一化和激活操作；编码部分的从左往右的5个功能模块的通道数量分别为256、128、64、32、16，对称的解码部分的从左往右的5个功能模块的通道数量为分别16、32、64、128、256。每层功能模块之间是一个冗余链接，形成冗余网络。

高分辨率图像与低分辨率图像的映射关系是指根据已有的训练集中数据对(训练集中的数据成对出现的，即：低分辨率图像和高分辨率图像是成对存在的，此处输入即为低分辨率图像、输出即为高分辨率图像)调整基于对称冗余深度神经网络的训练模型中的参数、连接权值或者结构，使得输入和输出形成映射关系，保证输出的高分辨率图像和真实的高分辨率图像之间误差尽量的小；根据本发明提出的深度神经网络模型，如式(Ⅱ)所示：

z＝f_n(…(f₀(x)) (Ⅱ)

式(Ⅱ)中，x是训练集中的低分辨率图像，z是对应的高分辨率图像，f＝{f₀(x),…f_n(x)}为n层对称冗余深度神经网络的每层的映射函数，训练集通过基于对称冗余深度神经网络的训练模型经过若干轮迭代，得到的f＝{f₀(x),…f_n(x)}，即高分辨率图像与低分辨率图像的映射关系。迭代次数为100次。

建立一个基于对称冗余深度神经网络的训练模型，学习图像各层梯度求得冗余信息，所谓的冗余指的是在神经网络训练过程中训练的信息，即残差信息--估计值和标签值的差值。

S4：利用半二次迭代方法将步骤S1的一致性约束模型和步骤S3的先验约束建立超分辨率重建模型，并进行求解，得到重建后的超分辨率图像。

对单帧超分辨率重建模型求解，如式(Ⅲ)所示：

式(Ⅲ)中，x,z为argmin{}返回的关于式(Ⅲ)求解得到的最小值，z为待求高分辨率图像，x为不含外部信息的带噪图像；为根据式(Ⅲ)估计出的高分辨率图像，y为输入的低分辨率图像，λ和γ分别是求解过程中的权重参数，Φ()指的是先验函数；

利用迭代格式对x问题求解，x_k+1和z_k+1分别是第k+1次迭代结束之后的含噪声的图像和求得的高分辨率图像，k为当前迭代次数，x_k和z_k是第k次迭代后的含噪噪声的图像和求得的高分辨率图像，第k+1次迭代是建立在第k次迭代结果之上的；得到：

W为降质矩阵，I为恒等矩阵，即对角线元素为1、其他元素为0的矩阵，x_k+1是第k+1次迭代结束之后求得的含噪图像；

利用步骤S3建立的低分辨率图像与高分辨率图像的映射关系，在每次迭代过程中，输入变量为x问题的解x_k；通过网络后，输出为z_k+1；

重复迭代过程，直到求得的两次高分辨率图像之间的差异小于预先设定的极小值ε，即|z_k-z_k+1|<ε，终止迭代，得到满足要求的高分辨率重建图像

为了检验本发明的有效性，本实施例选取了图像处理领域经典的Lena图像作为测试图像，数据集采用来自ImageNet、BSD等公共数据库的5000张图片组成的数据集作为训练数据集，为了确保实验结果的说服力，采用多种主客观评价指标，客观评价指标包括PSNR值，SSIM值(该两项数值越大说明效果越好)，主观评价方法为对比展示重建结果；图2(a)为原始图像，图2(b)为通过插值算法获得的重建结果，图2(c)为通过SRCNN方法获得的重建结果，图2(d)为DRNN方法获得的重建结果，图2(e)为通过SISR方法获得的重建结果，图2(f)为本发明方法获得的重建结果。

为了让重建结果更易于分辨，利用重建图和原图做了点对点的差值图。图2(g)为图2(a)的原始图像与图2(a)的原始图像的差值图像，图2(h)为图2(b)的重建结果图像与图2(a)的原始图像的差值图像，图2(i)为图2(c)的重建结果图像与图2(a)的原始图像的差值图像，图2(j)为图2(d)的重建结果图像与图2(a)的原始图像的差值图像，图2(k)为图2(e)的重建结果图像与图2(a)的原始图像的差值图像，图2(l)为图2(f)的重建结果图像与图2(a)的原始图像的差值图像；在差值图中，白点表示误差，白点越多，表示差值越大，重建效果越差。对于图2(h)-图2(l)，图2(l)中白点最少，几乎没有，可见本申请方法获得的重建效果是最好的。

表1为本实施例1选取的六幅低分辨率图像(Cameraman、Parrots、Lena、Boat、Man、Couple)在提升3倍分辨率条件下通过现有的A+、SRCRC、SRCRNS、DRRN、VDSR、SRCNN、SISR、SRMMPM及本发明方法获取的重建结果，在本实验中，模糊和噪声是未知的。

表1

表1在提升3倍分辨率条件下本发明提出方法与传统算法的数值结果对比。表1中”\”前为PSNR值，后为SSIM值，这两个数值越大，说明重建效果越好，因此可知本申请方法与现有的传统算法相比，重见效果最优。

Claims (7)

1.基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，其特征在于，包括步骤如下：

S1：建立低分辨率图像和高分辨率图像之间的一致性对应关系，通过获取0阶梯度、1阶梯度和2阶梯度，分别建立关于结构、边缘和纹理的观测模型，从而获得新的数据保真模型，即一致性约束模型；

S2：根据所需重建图像的种类，构建高分辨率图像和低分辨率图像之间在结构、边缘和纹理层面上的对应训练集；

S3：建立基于对称冗余深度神经网络的训练模型，通过该训练模型训练步骤S2获取的高分辨率图像和低分辨率图像之间在结构、边缘和纹理层面上的对应训练集中的数据，获得高分辨率图像和低分辨率图像之间的映射关系，即外部信息，所述映射关系也被称为先验约束；

S4：利用半二次迭代方法将步骤S1的一致性约束模型和步骤S3的先验约束建立超分辨率重建模型，并进行求解，得到重建后的超分辨率图像。

2.根据权利要求1所述的基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，其特征在于，步骤S1中，构建的一致性约束模型如式(I)所示：

式(I)中，F(x,y)表示本发明建立的基于低分辨率图像y和高分辨率图像x之间的多重微分一致性约束函数，i的取值分别为0，1，2，分别用来标记0阶梯度，1阶梯度，2阶梯度，λ_i为第i阶梯度的权重参数，ψ₀为恒等变换，ψ₁为1阶梯度算子，ψ₂为2阶梯度算子，ψ_i(y)表示对低分辨率图像y求第i阶梯度，ψ_i(Wx)表示对拟合的低分辨率图像Wx求第i阶梯度。

3.根据权利要求1所述的基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，其特征在于，所述步骤S2，包括：

构建高分辨率图像集和对应的低分辨率图像集i为样本序号，n为训练样本库大小；x_i表示训练样本库中第i帧高分辨率图像，y_i表示训练样本库中与x_i相对应的第i帧低分辨率图像。

4.根据权利要求1所述的基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，其特征在于，所述步骤S3，基于对称冗余深度神经网络的训练模型是一个对称模型，包括编码部分和对称的解码部分，编码部分包括5个一样的功能模块，每一个功能模块包括卷积、归一化和激活操作；对称的解码部分也包括5个功能模块，每一个功能模块包括反卷积、归一化和激活操作；编码部分的从左往右的5个功能模块的通道数量分别为256、128、64、32、16，对称的解码部分的从左往右的5个功能模块的通道数量为分别16、32、64、128、256。

5.根据权利要求1所述的基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，其特征在于，所述步骤S3，高分辨率图像与低分辨率图像的映射关系是指根据已有的训练集中数据对调整基于对称冗余深度神经网络的训练模型中的参数、连接权值或者结构，使得输入和输出形成映射关系，保证输出的高分辨率图像和真实的高分辨率图像之间误差尽量的小；如式(Ⅱ)所示：

z＝f_n(…(f₀(x))(Ⅱ)

式(Ⅱ)中，x是训练集中的低分辨率图像，z是对应的高分辨率图像，f＝{f₀(x),…f_n(x)}为n层对称冗余深度神经网络的每层的映射函数，训练集通过基于对称冗余深度神经网络的训练模型经过若干轮迭代，得到的f＝{f₀(x),…f_n(x)}，即高分辨率图像与低分辨率图像的映射关系。

6.根据权利要求5所述的基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，其特征在于，迭代次数为100次。

7.根据权利要求1-6任一所述的基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法，其特征在于，所述步骤S4，对单帧超分辨率重建模型求解，如式(Ⅲ)所示：

式(Ⅱ)中，x,z为argmin{}返回的关于式(Ⅲ)求解得到的最小值，z为待求高分辨率图像，x为不含外部信息的带噪图像；为根据式(Ⅲ)估计出的高分辨率图像，y为输入的低分辨率图像，λ和γ分别是求解过程中的权重参数，Φ()指的是先验函数；

利用迭代格式对x问题求解，x_k+1和z_k+1分别是第k+1次迭代结束之后的含噪声的图像和求得的高分辨率图像，k为当前迭代次数，x_k和z_k是第k次迭代后的含噪噪声的图像和求得的高分辨率图像，第k+1次迭代是建立在第k次迭代结果之上的；得到：

W为降质矩阵，I为恒等矩阵，即对角线元素为1、其他元素为0的矩阵，x_k+1是第k+1次迭代结束之后求得的含噪图像；

利用步骤S3建立的低分辨率图像与高分辨率图像的映射关系，在每次迭代过程中，输入变量为x问题的解x_k；通过网络后，输出为z_k+1；

重复迭代过程，直到求得的两次高分辨率图像之间的差异小于预先设定的极小值ε，即|z_k-z_k+1|<ε，终止迭代，得到满足要求的高分辨率重建图像