CN106228512A - 基于学习率自适应的卷积神经网络图像超分辨率重建方法 - Google Patents

Abstract

本发明公开一种基于学习率自适应的卷积神经网络图像超分辨率重建方法包括：步骤S1、对高分辨率训练图像集中的图像进行模糊和下采样，得到对应的低分辨率训练图像集；步骤S2、将低分辨率的图像进行双立方插值放大；步骤S3、将步骤S2处理后的低分辨率图像输入预训练好的学习率自适应卷积神经网络，得到重建高分辨率图像。采用本发明技术方案，具有优秀的超分辨率重建性能。

Description

基于学习率自适应的卷积神经网络图像超分辨率重建方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于学习率自适应的卷积神经网络图像超分辨率重建方法。

背景技术

图像超分辨重建是指利用计算机将一幅低分辨率图像(lowresolution,LR)或图像序列进行处理，恢复出高分辨率图像(high resolution，HR)的一种图像处理技术。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。

在过去的数十年中，涌现很多优秀的超分辨率重建算法，大致分为以下三类；基于插值的图像超分辨率重建算法，基于重构的图像超分辨率重建算法和基于学习的图像超分辨率重建算法。相比其他两种方法，基于学习的超分辨重建算法通过大量的学习训练和适当的先验知识约束，使其具有突出的性能，关注度较高。

以单帧图像作为输入的超分辨率问题主要可以分为两类：没有训练样本的增强边缘的单帧超分辨率问题和有训练样本的基于学习的单帧超分辨率问题。其中，增强边缘的超分辨率问题没有额外信息的辅助，而只是对图像的显示效果进行增强。因此严格地说增强边缘的超分辨率并没有从本质上提高图像的分辨率,而应当归类为启发式的图像增强或图像插值。

近年来，深度学习理论迅速发展，与传统依赖先验知识的特征提取算法不同，深度神经网络可在训练数据驱动下自适应地构建特征描述，具有更高的灵活性和普适性。深度学习方法在许多计算机视觉问题上取得很大的成功，如图像分类、目标检测和目标分割。等实践证明，深度学习方法也可用来解决低层视觉问题，如图像去模糊。基于学习的单帧超分辨率问题是近年来研究的一个热点,又称为图像幻感或基于样例的超分辨率,它通过机器学习方法从训练样本集中提取所需的高频信息模型,从而对未知测试样本的所需信息进行预测,达到提高图像分辨率的目的,大部分的基于学习的超分辨率方法都是基于分块的,目标图像平面被分成小的图像块,通过计算求取低分辨率图像块所对应的高分辨率图像块。为了更好的学习低分辨率与高分辨率图像块之间的映射关系，对于单幅图像超分辨率重建，Chao Dong等人提出了基于卷积神经网络的端到端的学习框架，这是一个重大突破。超分辨率的端到端学习架构不需要特征提取的预处理过程和后续重叠的高分辨率图像块聚合过程。基于卷积神经网络的图像超分辨率算法(SRCNN)利用深度学习的方法直接在外部的低分辨率和高分辨率图像对上进行训练学习。它采用了联合优化的策略，SRCNN的深度学习网络结构包括三个卷积层，它们分别代表图像块的特征提取和表示，低分辨率图像块和高分辨率图像块之间的非线性映射，高分辨率图像块的重组。然而，SRCNN存在一定的局限性，比如网络中的感受野过小，网络的收敛速度过慢，网络的训练时间有待提高。如果简单的通过多次叠加权重层来提高性能，这会大大增加参数的个数并且需要更多的数据防止过拟合。在本文中，基于端到端的学习框架，通过加深和改进基于卷积神经网络的超分辨率重建方法，为了获得更好的效果，加速网络的收敛，本发明提出了一种新的基于学习率自适应的卷积神经网络图像超分辨率重建方法。

发明内容

本发明要解决的技术问题是，提供一种基于学习率自适应的卷积神经网络图像超分辨率重建方法。

为解决上述问题，本发明采用如下的技术方案：

一种基于学习率自适应的卷积神经网络图像超分辨率重建方法，包括：

步骤S1、对高分辨率训练图像集中的图像进行模糊和下采样，得到对应的低分辨率训练图像集；

步骤S2、将低分辨率的图像进行双立方插值放大,得到低分辨率图像Y；

步骤S3、得到低分辨率图像Y输入预训练好的学习率自适应卷积神经网络，得到重建高分辨率图像。

作为优选，步骤S3中通过学习率自适应的卷积神经网络，得到重建高分辨率图像具体为：

S3.1、卷积层C1，输入低分辨率训练数据，通过n1个大小为f1×f1的滤波器，输出n1个特征图，

y^j＝∑_ik^ij*xⁱ+b^j，

其中，xⁱ表示第i次输入的特征图，y^j表示第j次输出的特征图，k^ij表示第i和j次输入输出特征图之间的卷积核，b^j表示第j次输出的特征图的偏置，*表示卷积；

S3.2、卷积层C2，输入上一层的输出，通过n2个大小f2×f2的滤波器，输出n2个特征图；

S3.3、卷积层C3，输入上一层的输出，通过n3个大小f3×f3的滤波器，输出特征图n3；

S3.4、卷积层C4，输入上一层的输出，通过n4个大小f4×f4的滤波器，输出特征图n4；

S3.5、卷积层C5，输入上一层的输出，通过n5个大小f5×f5的滤波器，输出特征图n5；

S3.6、卷积层C6，输入上一层的输出，通过n6个大小f6×f6的滤波器，输出特征图n6；

S3.7、将得到的高分辨率图像块，取图像块中间的像素点赋值为高分辨率图像对应位置坐标的像素值，重建高分辨率图像。

作为优选，所述S3中的卷积神经网络中的每一卷积层后附加一个批归一化处理层(Batch Normalization)，批归一化通过以下公式对输入数据进行缩放和平移：

$y=\mathrm{\γ}\hat{x}+\mathrm{\β}$

其中，E(x)为每一批训练数据神经元x的平均值；为每一批数据神经元x激活度的一个标准差，γ、β为可学习重构参数，y为输出。

作为优选，在卷积神经网络反向传播训练时运用学习率自适应算法加速网络的收敛，具体包括以下步骤：

步骤(1)设卷积网络N，初始网络参数Θ，训练集图像Ω，验证集图像Φ，可控参数α、t；

步骤(2)训练集图像Φ通过卷积网络N，通过均方误差(MSE)公式计算损失函数，得到损失L₀；

其中，n表示训练集个数，Y_i表示输入的低分辨率图像，F(Y_i；Θ)表示卷积网络N和网络初始参数Θ训练得到的高分辨率图像，X_i表示原图高分辨率图像。

步骤(3)设置学习率η＝α/L₀，验证集图像Φ通过卷积网络N得到损失L；

步骤(4)如果L＞t；

利用反向传播算法(BP)对卷积网络N调整并计算损失L；如果L没有变小；η＝η×0.1；

步骤(5)如果L＜t；

设置学习率η＝α/L；

步骤(6)如果卷积网络没有收敛，重复步骤(3)。

本发明图像超分辨率重建方法，对高分辨率训练图像集中的图像进行模糊和下采样，得到对应的低分辨率训练图像集，将低分辨率图像记为Y；将低分辨率的图像进行双立方插值放大；设计一个学习率自适应的卷积神经网络；低分辨率图像Y输入预训练好的学习率自适应卷积神经网络；重建高分辨率图像X；采用本发明方法，具有优秀的超分辨率重建性能。

附图说明

图1是本发明卷积神经网络图像超分辨率重建方法流程图；

图2是使用本发明用放大2倍的图像经过学习率自适应的卷积神经网络处理的重建结果和其他三种算法比较；其中，a为原图，b为双三次插值，c为改进的锚点近邻回归算法，d为基于卷积神经网络的超分辨率重建算法，e为本发明；

图3是使用本发明用放大2倍的图像经过学习率自适应的卷积神经网络处理的重建结果和其他三种算法比较；其中，a为原图，b为双三次插值，c为改进的锚点近邻回归算法，d为基于卷积神经网络的超分辨率重建算法，e为本发明。

具体实施方式

下面结合附图和实施例对本发明进一步说明，应指出的是，所描述的实例仅旨在便于对本发明的理解，而对其不起任何限定作用。

本发明实施例提供的一种基于学习率自适应的卷积神经网络图像超分辨率重建方法包括：

步骤1、输入低分辨率图像Y；

步骤2、利用Matlab软件中的imresize函数将该低分辨率的图像进行2倍的双立方插值放大，得到低分辨率图像Y；

步骤3、低分辨率图像Y输入预训练好的卷积神经网络；卷积神经网络包含6个卷积层；每一卷积层后跟随一个归一化层，加速网络的训练。

步骤4、在卷积神经网络反向传播训练时运用学习率自适应算法加速网络的收敛；

步骤5、重建高分辨率图像。

为了验证算法的有效性，在测试库set5和测试库set14上，分别与其他三种优秀算法进行比较。图2的四幅图像分别是原图，Bicubic双三次插值算法，A+为改进的锚点近邻回归算法，SRCNN为基于卷积神经网络的超分辨率重建算法，本发明图像超分辨率重建算法。图3的四幅图像分别是原图，Bicubic双三次插值算法，A+为改进的锚点近邻回归算法，SRCNN为基于卷积神经网络的超分辨率重建算法，本发明图像超分辨率重建算法。

表1为图2重建结果的结构相似性(SSIM)和峰值信噪比(PSNR)比较。

表1：

表2为图3重建结果的结构相似性(SSIM)和峰值信噪比(PSNR)比较。

表2：

实验结果表明，本发明提出的方法，不仅在视觉效果上而且在客观评价标准上都取得了比其他三种优秀的算法要显著的效果，展现了优秀的超分辨率重建性能。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (4)

1.一种基于学习率自适应的卷积神经网络图像超分辨率重建方法，其特征在于，包括：

步骤S1、对高分辨率训练图像集中的图像进行模糊和下采样，得到对应的低分辨率训练图像集；

步骤S2、将低分辨率的图像进行双立方插值放大,得到低分辨率图像Y；

步骤S3、得到低分辨率图像Y输入预训练好的学习率自适应卷积神经网络，得到重建高分辨率图像。

2.如权利要求1所述的基于学习率自适应的卷积神经网络图像超分辨率重建方法，其特征在于，步骤S3中通过学习率自适应的卷积神经网络，得到重建高分辨率图像具体为：

S3.1、卷积层C1，输入低分辨率训练数据，通过n1个大小为f1×f1的滤波器，输出n1个特征图，

y^j＝Σ_ik^ij*xⁱ+b^j，

其中，xⁱ表示第i次输入的特征图，y^j表示第j次输出的特征图，k^ij表示第i和j次输入输出特征图之间的卷积核，b^j表示第j次输出的特征图的偏置，*表示卷积；

S3.2、卷积层C2，输入上一层的输出，通过n2个大小f2×f2的滤波器，输出n2个特征图；

S3.3、卷积层C3，输入上一层的输出，通过n3个大小f3×f3的滤波器，输出特征图n3；

S3.4、卷积层C4，输入上一层的输出，通过n4个大小f4×f4的滤波器，输出特征图n4；

S3.5、卷积层C5，输入上一层的输出，通过n5个大小f5×f5的滤波器，输出特征图n5；

S3.6、卷积层C6，输入上一层的输出，通过n6个大小f6×f6的滤波器，输出特征图n6；

S3.7、将得到的高分辨率图像块，取图像块中间的像素点赋值为高分辨率图像对应位置坐标的像素值，重建高分辨率图像。

3.如权利要求1所述的基于学习率自适应的卷积神经网络图像超分辨率重建方法，其特征在于，所述S3中的卷积神经网络中的每一卷积层后附加一个批归一化处理层(BatchNormalization)，批归一化通过以下公式对输入数据进行缩放和平移：

$y=\mathrm{\γ}\hat{x}+\mathrm{\β}$

其中，E(x)为每一批训练数据神经元x的平均值；为每一批数据神经元x激活度的一个标准差，γ、β为可学习重构参数，y为输出。

4.如权利要求1所述的基于学习率自适应的卷积神经网络图像超分辨率重建方法，其特征在于，在卷积神经网络反向传播训练时运用学习率自适应算法加速网络的收敛，具体包括以下步骤：

步骤(1)设卷积网络N，初始网络参数Θ，训练集图像Ω，验证集图像Φ，可控参数α、t；

步骤(2)训练集图像Φ通过卷积网络N，通过均方误差(MSE)公式计算损失函数，得到损失L₀；

$L\left(\mathrm{\Θ}\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}\left|\right|F(Y_i;\mathrm{\Θ})-X_i|{|}^2$

其中，n表示训练集个数，Y_i表示输入的低分辨率图像，F(Y_i；Θ)表示卷积网络N和网络初始参数Θ训练得到的高分辨率图像，X_i表示原图高分辨率图像。

步骤(3)设置学习率η＝α/L₀，验证集图像Φ通过卷积网络N得到损失L；

步骤(4)如果L＞t；

利用反向传播算法(BP)对卷积网络N调整并计算损失L；如果L没有变小；η＝η×0.1；

步骤(5)如果L＜t；

设置学习率η＝α/L；

步骤(6)如果卷积网络没有收敛，重复步骤(3)。