CN106952229A - 基于数据增强的改进型卷积网络的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开一种基于数据增强的改进型卷积网络的图像超分辨率重建方法，包括数据增强和网络结构改进的步骤。一方面采用多角度旋转和翻转样本集的方式增加了样本的多样性，因此可以获得多角度背景的特征实现特征的旋转不变性；充分的特征信息有利于提高图像的重建精度。另一方面本方法的网络模型利用深层卷积神经网络提取特征，多层的卷积层有利于提取更高级，更加完整的特征，然后用反卷积层作为重建层对卷积层输出的特征映射进行处理，恢复图像分辨率，从而得到超分辨率图像。由于卷积层缺乏旋转不变性的特性，本方法另外样本的多样性达到增加参数的目的，从而更好的拟合网络最终实现提高重建精度，并加快网络训练的收敛速度的效果。

Description

基于数据增强的改进型卷积网络的图像超分辨率重建方法

技术领域

本发明涉及图像处理技术领域，具体是一种基于数据增强的改进型卷积网络的图像超分辨率重建方法。

背景技术

近年来，图像的超分辨率重建技术逐渐成熟并广泛应用于医学图像领域，卫星影像，以及人脸识别等领域。该技术可分为三大类：基于插值算法，基于重建算法以及基于学习的算法。由于基于学习的算法效果更优，大多数学者都是在这个基础上进行探索，研究。目前，基于学习的方法通过学习低分辨率图像块与高分辨率图像块之间的映射关系。虽然Yang等人提出的稀疏编码算法有一定的突破，该方法主要是通过局部调整字典学习的过程以及稀疏正则化参数，并充分利用自然图像中固有的稀疏性。但是在局部调整的过程中容易出现数据过拟合，而学习到的字典缺乏不变性特性并只适用于低维数据。随后Dong等人成功的将深度学习算法引入该领域，并取得了一定的成果。他们提出的网络结构使得整个网络完成特征提取和回归任务，即展示了端到端学习的可能性，实现了从输入到输出过程中高维数据的非线性变化。该方法的主要特性体现在可以自动学习所需要的先验知识，避免了传统稀疏图像超分辨率重建方法的分块处理、字典学习和数据重组恢复等分步处理过程。然而该方法本质上是一种归纳法，大数据集有利于该方法学习低分辨率图像与高分辨率图像之间的映射。而该网络在训练过程中的数据集小使得网络训练收敛慢，同时网络层结构特征造成获取的有用信息缺乏，最终导致图像重建精度低。

CN106228512A基于学习率自适应卷积神经网络图像超分辨率重建方法，直接应用的是卷积神经网络，创新是在每层卷积层后添加了BN层，但是仅从网络收敛速度角度出发，并没有把图像信息与网络结构结合起来。

CN1062204449A一种基于对称深度网络的单幅图像超分辨率重建方法，通过结合卷积层与反卷积层，同时增加网络深度，加强了图像细节部分的重建能力，获得了更好的图像超分辨率重建效果，但其重建精度还有待提高。

发明内容

本发明所要解决的技术问题是，针对前述现有技术的缺陷，提出基于数据增强的改进型卷积网络的图像超分辨率重建方法，通过数据增强，增加了数据的多样性；再对网络结构进行改进，增加网络的深度的同时，又将卷积层与反卷积层相结合，将反卷积层应用于最后的重建层，从而能够直接恢复图像分辨率，提高图像的重建精度。

本发明基于数据增强的改进型卷积网络的图像超分辨率重建方法，包括如下步骤：

（1）数据增强：对样本集的91张图像分别进行旋转90°、180°、270°、翻转0°、90°、180°、270°七种操作，然后以步伐r=14，有重叠的裁剪得到168000个fsub×fsub子图像作为原始HR图像，其中fsub=33；然后再对原始图像进行高斯模糊下采样得到输入数据集{Yi}；

（2）网络结构改进：构造一个四层网络模型，网络前三层由卷积层构成，用于提取图像特征信息作为特征提取层；最后一层为反卷积层作为重建层，将卷积层获得的特征信息用于重建，从而得到高分辨率图像。

步骤（2）所述的网络结构改进，具体包括以下子步骤：

（2.1）特征提取层1：输入为LR图像Y，用滤波器对LR图像卷积操作，得到类似于边缘特征向量，该层输出的特征映射经过ReLu激活函数处理得到F1(Y)，作为下一层的输入；

（2.2）特征提取层2：输入为上层的输出F1(Y)，并进行卷积运算，依旧得到一组高维向量，并经过ReLu激活函数进行非线性操作得到F2(Y)输出的特征映射，作为特征提取层3的输入；

（2.3）特征提取层3：输入为上层的输出F2(Y)，然后用一组滤波器对其操作，得到较为完整的特征，经过该层处理，提取到的纹理特征向量将被表示为一组更为完整的具有可区别信息的高维向量；

（2.4）反卷积层可以被看作为滤波器中每个参数对应的输入像素的乘积并以步伐r移动，输出窗口称为反向卷积；反卷积层与卷积层是相应的，它是卷积的逆转过程，在运算过程中，先将核转置后再进行卷积运算，这个过程通过学习不同的放大核优化了该层特征，最后进行整合得到输出的HR图像。

本发明重建方法，应用数据增强的方式对样本集进行处理，既保持了源图像的质量又达到扩充数据集的目的，使得图像数据集的大小是原有数据集的7倍，图像经多角度的转换增强了其样本的多样性。实验表明，通过该方式处理后的样本更有利于加快网络的训练收敛速度，同时也提供了更多的特征信息，从而更好的拟合网络最终实现提高重建精度。

所述提取图像特征信息作为特征提取层，是采用卷积层的方式对图像进行卷积操作得到特征映射，并经过激活函数处理输出。多层卷积操作有利于提取更加高级，完整的特征信息从而达到提高重建精度的目的。

所述重建层是反卷积层构成，反卷积操作充分利用了有用的特征信息，用反卷积层作为重建层对卷积层输出的特征映射进行处理，可以直接利用输出的特征信息恢复图像分辨率，从而得到超分辨率图像。

本发明重建方法，数据增强时，对图像进行多角度的转换，可保持图像的分辨率，避免使用插值引起的图像分辨率下降的问题；特征提取层总共有三层，并且对每一层卷积操作输出的特征映射都通过修正线性单元(Rectified Linear Unit,ReLU)函数max(0,x)处理，使得网络具有稀疏表示能力，增加网络的非线性，并且能保持梯度不衰减，从而缓解梯度消失的问题。能够直接恢复图像分辨率，提高图像的重建精度。

附图说明

图1是本发明图像超分辨率重建方法的网络结构框架图；

图2是本发明与其他图像超分辨率重建方法处理的图像效果对比图。

具体实施方式

下面结合实施例和附图，对本发明内容作进一步的详细说明，但不是对本发明的限定。

实施例

本发明基于数据增强的改进型卷积网络的图像超分辨率重建方法，具体步骤如下：

（1）数据增强：对样本集的91张图像分别进行旋转90°、180°、270°、翻转0°，90°、180°、270°七种操作，然后以步伐r=14，有重叠的裁剪得到168000个fsub×fsub子图像作为原始HR图像，其中fsub=33；然后再对原始图像进行高斯模糊下采样得到输入数据集{Yi}。

（2）网络结构改进：构造一个四层网络模型，如图1所示，网络前三层由卷积层构成，用于提取图像特征信息作为特征提取层；最后一层为反卷积层作为重建层，将卷积层获得的特征信息用于重建，从而得到高分辨率图像。

所述网络结构改进，具体方法是：

（2.1）特征提取层1：输入为LR图像Y，用滤波器对LR图像卷积操作，得到类似于边缘特征向量，并采用高维向量表示，向量由一组特征映射组成，向量的维数等于特征映射个数；

公式如下：

（1）

式中的W1和B1分别表示滤波器组及其偏置，符号表示卷积运算，W1的尺寸为c×f1×f1×n1，相当于n1个c×f1×f1大小的滤波器，c是图像通道数，f1是滤波器大小，n1是滤波器个数。本例中c=1，n1=64，W1=9×9。因此，该层主要应用n1个大小f1×f1为滤波器对图像进行卷积运算，并将得到的特征映射用激活函数ReLu处理得到F1(Y)，作为下一层的输入。

（2.2）特征提取层2：输入为上层的输出F1(Y)，并进行卷积运算，使得该输入的高维向量可以用另一组高维向量表示，即为纹理特征向量；

公式如下：

（2）

式中W2的尺寸为c×f2×f2×n2，将设为f2=7,即的大小W1=7×7，n1=32，B2是n2维向量。

（2.3）特征提取3：该层的输入为上一层激活函数ReLu的输出F2(Y)，然后用一组滤波器对其操作，得到较为完整的特征；

公式如下：

（3）

式中W3的尺寸为c×f3×f3×n3，B3为n3维向量，将f3设为1，n3=16，经过该层处理，提取到的纹理特征向量将被表示为一组更为完整的具有可区别信息的高维向量。

（2.3）重建层：反卷积层可以被看作为滤波器中每个参数对应的输入像素的乘积并以步伐r移动，输出窗口称为反向卷积；反卷积层的滤波器参数也是学习得到的，在运算过程中它与卷积层原理相似，但是反卷积层可以用隐藏层的特征来重建先前层的图像。这就是说可以通过依次跨层来重建出输入的图像。因此，将反卷积层设为重建层，充分利用卷积层提取的较为完整的特征，使之重建得到超分辨率图像；

公式如下：

（4）

公式（4）中，表示的是W4以及B4反卷积层的滤波器以及偏置，其中W4=3×3，根据公式得，反卷积层与卷积层是相应的，它是卷积的逆转过程，在运算过程中，先将核转置后再进行卷积运算，这个过程通过学习不同的放大核优化了该层特征，最后进行整合得到输出的HR图像。

本实施例应用的是Matlab R2014a以及Caffe。观察图2实验结果，观察到monarch的蝴蝶头部上的纹理细节，基准算法Bicubic插值重建的效果表面平滑，但是蝴蝶头部的纹理不清晰以及帽子边缘模糊；ANR算法结合了稀疏字典学习与邻域嵌入的方法，保存了部分纹理信息，同时细节部分更加清晰，视觉效果优于基准算法，但是在帽子边缘依旧有模糊不清的现象；A+算法是在ANR的基础上优化的，相较于ANR算法，A+通过线性转换相应的HR块保存了LR-HR 之间的空间关系，相对减少了重建误差，即呈现的视觉效果较优。观察图2中的monarch我们可以看到整张图是比较清晰的，但局部细节部分恢复不够完整；而SRCNN算法直接学习LR-HR之间的映射关系，是一种端到端学习的方式，因此保存了更多的高频信息，从图中可以观察到，SRCNN与A+相对比，A+虽然在某些细节信息更加明显，但SRCNN的视觉效果也是可观的；而本发明方法，既体现出端到端的学习优势，同时又弥补了SRCNN提取特征信息不够多的缺点。从图2中观察到，monarch的头部纹理信息清晰，更加细腻，视觉效果优于以上相比较的算法，同时整体视觉效果与原始图像更接近。

Claims (2)

1.基于数据增强的改进型卷积网络的图像超分辨率重建方法，其特征在于，包括以下步骤：

（1）数据增强：对样本集的91张图像分别进行旋转90°、180°、270°、翻转0°、90°、180°、270°七种操作，然后以步伐r=14，有重叠的裁剪得到168000个fsub×fsub子图像作为原始HR图像，其中fsub=33；然后再对原始图像进行高斯模糊下采样得到输入数据集{Yi}；

（2）网络结构改进：构造一个四层网络模型，网络前三层由卷积层构成，用于提取图像特征信息作为特征提取层；最后一层为反卷积层作为重建层，将卷积层获得的特征信息用于重建，从而得到高分辨率图像。

2.根据权利要求1所述的基于数据增强的改进型卷积网络的图像超分辨率重建方法，其特征在于，步骤（2）所述网络结构改进的具体步骤如下：

（2.1）特征提取层1：输入为LR图像Y，用滤波器对LR图像卷积操作，得到类似于边缘特征向量，该层输出的特征映射经过ReLu激活函数处理得到F1(Y)，作为下一层的输入；

（2.2）特征提取层2：输入为上层的输出F1(Y)，并进行卷积运算，依旧得到一组高维向量，并经过ReLu激活函数进行非线性操作得到F2(Y)输出的特征映射，作为特征提取层3的输入；

（2.3）特征提取层3：输入为上层的输出F2(Y)，然后用一组滤波器对其操作，得到较为完整的特征，经过该层处理，提取到的纹理特征向量将被表示为一组更为完整的具有可区别信息的高维向量；

（2.4）反卷积层可以被看作为滤波器中每个参数对应的输入像素的乘积并以步伐r移动，输出窗口称为反向卷积；反卷积层与卷积层是相应的，它是卷积的逆转过程，在运算过程中，先将核转置后再进行卷积运算，这个过程通过学习不同的放大核优化了该层特征，最后进行整合得到输出的HR图像。