CN108921786B - 基于残差卷积神经网络的图像超分辨率重构方法 - Google Patents

Abstract

本发明属于图像处理、计算机视觉技术领域，为提出新的技术方案，通过多层卷积神经网络学习低分辨率图像与高分辨率图像之间的映射关系，将低分辨率图像作为网络的输入，输出具有丰富高频信息的高分辨率图像，提高图像的重建质量和视觉效果。为此，本发明采用的技术方案是，基于残差卷积神经网络的图像超分辨率重构方法，通过多个残差单元的连接学习低分辨率图像与高分辨率图像之间的映射关系，利用学习到的映射关系重建高分辨率图像。本发明主要应用于图像处理场合。

Description

基于残差卷积神经网络的图像超分辨率重构方法

技术领域

本发明属于图像处理、计算机视觉技术领域，涉及一种基于卷积神经网络的图像超分辨率重构方法。

背景技术

图像超分辨率重构技术是从单帧或多帧的低分辨率图像中重建出高分辨率图像的过程。重构图像相较于低分辨率图像具有更丰富的高频细节信息，所以在计算机视觉和图像处理中有着广泛的应用。图像超分辨率重构是一个具有理论意义和实践价值的计算机视觉问题。图像超分辨率重构技术可以分为三类：基于插值的方法、基于重建的方法和基于学习的方法。

基于插值的方法主要包括双线性插值、双三次插值、最近邻方法等，由于基于插值的方法具有低复杂度的优势，算法的运行速度较快。但是基于插值的超分辨率重构算法较为简单，并不能取得较好的图像重建效果。基于重建的超分辨率重构的方法是对图像的降质过程建立模型，通过获得模型逆过程的最优解，重建出高分辨率图像的方法。该方法由于受配准效果和先验知识的限制，具有一定局限性。

基于学习的方法是学习低分辨图像块与高分辨率图像块之间的映射关系，利用学习到的映射关系重建出高分辨率图像，由于其优越的性能越来越成为超分辨率重构研究的重点。近几年，随着深度学习理论的发展，卷积神经网络在图像分类、图像去雨、图像去噪等研究领域取得了较好的效果，在图像超分辨率重构中也有越来越多的应用。相较于人为的选取特征，使用卷积神经网络能够提取到较丰富、更有利于重建的图像特征。但是现有的基于卷积神经网络图像超分辨率重构算法存在网络较浅，可利用的上下文信息较少，需要对图像进行预处理，网络训练速度较慢与梯度消失等问题。

发明内容

为克服现有技术的不足，本发明旨在提出新的技术方案，通过多层卷积神经网络学习低分辨率图像与高分辨率图像之间的映射关系，将低分辨率图像作为网络的输入，输出具有丰富高频信息的高分辨率图像，提高图像的重建质量和视觉效果。为此，本发明采用的技术方案是，基于残差卷积神经网络的图像超分辨率重构方法，通过多个残差单元的连接学习低分辨率图像与高分辨率图像之间的映射关系，利用学习到的映射关系重建高分辨率图像。

具体步骤细化如下：

1)图像预处理

在网络训练前需要将低分辨率图像进行图像预处理，具体过程为使用双三次插值的方法将低分辨率图像扩展为相应尺寸图像，再将图像从RGB空间转换为YCbCr空间，由于人眼对于亮度信息更敏感，因此只处理图像的Y通道，将其作为网络的输入；

2)特征提取

对于输入的低分辨率图像，使用卷积神经网络对低分辨率图像进行特征提取，计算关系为：

F₁(I)＝σ(W₁*I+B₁)

式中，I表示输入的图像，W₁表示卷积层的权重，B₁表示卷积层的偏置值，σ表示线性修正单元ReLU(Rectified Linear Unit)激励函数；

3)非线性映射

在非线性映射过程中使用残差连接的方式，改进的残差单元表示如下式：

式中，N为网络中残差单元的数量，n表示网络中的第n个残差单元，x表示残差单元的输入，y表示残差单元的输出，W_i,i＝1,2,3,...,N表示第i层的权重，

表示反卷积操作，*表示卷积操作，在残差单元中使了卷积和反卷积操作，对图像特征进了放缩，卷积层使特征图尺寸缩小，反卷积层使特征图尺寸增大；

4)图像重建

图像重建是将非线性映射后的特征融合成高分辨率图像的过程，通过一个卷积层实现超分辨率图像的重建，计算关系为：

F(I)＝W_m*F_m(I)+B_m,

式中，W_m表示该卷积层的权重，B_m表示卷积层的偏置，W_m包含1个f_m×f_m×n_m-1尺寸大小的滤波器，f_m×f_m为滤波器的尺寸，n_m-1为非线性映射后的特征图数量，重建后的图像为亮度分量，将低分辨率图像的Cb、Cr分量与重建后的Y分量结合，再转换到RGB空间，得到重建的高分辨率图像。

本发明的特点及有益效果是：

1)本发明采用残差卷积神经网络进行图像超分辨率重构，能够学习到更丰富的图像特征，可以重建出具有丰富纹理信息的高频图像。

2)本发明将残差单元进行改进，提出了卷积层与反卷积结合的残差单元结构，可以更好的提取用于重建的敏感特征，加速网络的收敛，避免信息在训练过程中丢失。

3)本发明提出的卷积神经网络图像超分辨率重构有一定的应用价值，该算法可以被应用到如图像处理和计算机视觉等领域。

附图说明：

图1网络结构。(Conv表示卷积层，ReLU为线性修正单元，Residual Unit为残差单元，LR为低分辨率图像，HR为高分辨率图像)

图2残差单元。(Conv表示卷积层，Deconv表示解卷积层，ReLU为修正线性单元)

图3本发明实验结果

(a)低分辨率Y分量图像，(b)双三次插值Y分量图像，(c)本发明重建Y分量图像，(d)高分辨率Y分量图像。

具体实施方式

本发明实现了一种基于残差卷积神经网络的图像超分辨率重构方法，对卷积神经网络的残差单元结构进行了改进，通过多个残差单元的连接学习低分辨率图像与高分辨率图像之间的映射关系，利用学习到的映射关系重建高分辨率图像。

1图像预处理

在网络训练前需要将低分辨率图像进行图像预处理，具体过程为使用双三次插值的方法将低分辨率图像扩展为相应尺寸图像。再将图像从RGB空间转换为YCbCr空间，由于人眼对于亮度信息更敏感，因此只处理图像的Y通道，将其作为网络的输入。

2特征提取

对于输入的低分辨率图像，为了获取图像的特征，相较于传统算法中人为的去选取特征，使用卷积神经网络对低分辨率图像进行特征提取更易获得用于图像超分辨率重构的有效特征。本发明的特征提取过程由一个卷积层组成，计算关系为：

F₁(I)＝σ(W₁*I+B₁)

式中，I表示输入的图像，W₁表示卷积层的权重，B₁表示卷积层的偏置值，σ表示线性修正单元(Rectified Linear Unit,ReLU)激励函数；经过特征提取后，图像被表示为高维向量，有利于后续非线性映射过程学习到高水平图像特征。

3非线性映射

在图像超分辨率重构任务中，训练深层卷积神经网络时，由于网络层数过深，图像细节信息在经过多层卷积处理后会消失，引起网络性能退化的问题，从而不能得到最优的训练结果。为了保留不同水平的图像特征，本文在非线性映射过程中使用了残差连接的方式，改进的残差单元可表示为式

式中，N为网络中残差单元的数量，n表示网络中的第n个残差单元，x表示残差单元的输入，y表示残差单元的输出，W_i,i＝1,2,3,...,N表示第i层的权重，

表示反卷积操作，*表示卷积操作，为了表示方便省略了偏置项。本发明在残差单元中使用了卷积和反卷积操作，对图像特征进行了放缩，卷积层使特征图尺寸缩小，反卷积层使特征图尺寸增大，通过卷积层与反卷积层的结合并引入跳跃连接，可以提取更深层次的特征，更好的实现非线性映射过程。

4图像重建

图像重建是将非线性映射后的特征融合成高分辨率图像的过程，本发明通过一个卷积层实现超分辨率图像的重建，计算关系为：

F(I)＝W_m*F_m(I)+B_m,

式中，W_m表示该卷积层的权重，B_m表示该卷积层的偏置，为了产生一幅高分辨率图像，W_m包含1个f_m×f_m×n_m-1尺寸大小的滤波器，f_m×f_m为滤波器的尺寸，n_m-1为非线性映射后的特征图数量。重建后的图像为亮度分量，将低分辨率图像的Cb、Cr分量与重建后的Y分量结合，再转换到RGB空间，得到重建的高分辨率图像。

下面结合算法流程框图对本发明进行详细的描述。

如图1所示，本发明提供一种基于残差卷积神经网络的图像超分辨率重构方法，其包括以下步骤：

步骤1：预处理

将训练数据集进行下采样，再将其插值放大到相应的倍数，将颜色空间转换到YCbCr空间，只取Y分量，再将图像切成41×41大小的小块作为网络输入。

步骤2：特征提取

本发明的特征提取过程由一个卷积层组成，计算关系为：

F₁(I)＝σ(W₁*I+B₁)

式中，I表示输入的图像，W₁表示卷积层的权重，B₁表示卷积层的偏置值，σ表示线性修正单元(Rectified Linear Unit,ReLU)激励函数；经过特征提取后，图像被表示为高维向量，有利于后续非线性映射过程学习到高水平图像特征。

步骤3：非线性映射

非线性映射由多个残差单元的连接组成，改进的第n个残差单元可表示为式

式中，N为网络中残差单元的数量，n表示网络中的第n个残差单元，x表示残差单元的输入，y表示残差单元的输出，W_i,i＝1,2,3,...,N表示第i层的权重，

表示反卷积操作，*表示卷积操作，为了表示方便省略了偏置项。

步骤4：图像重建

图像重建是将非线性映射后的特征融合成高分辨率图像的过程，本发明通过一个卷积层实现超分辨率图像的重建，计算关系为：

F(I)＝W_m*F_m(I)+B_m,

式中，W_m表示该卷积层的权重，B_m表示该卷积层的偏置值，为了产生一幅高分辨率图像，W_m包含1个f_m×f_m×n_m-1尺寸大小的滤波器，f_m×f_m为滤波器的尺寸，n_m-1为非线性映射后的特征图数量。重建后的图像为亮度分量，将低分辨率图像的Cb、Cr分量与重建后的Y分量结合，再转换到RGB空间，得到重建的高分辨率图像。

Claims (1)

1.一种基于残差卷积神经网络的图像超分辨率重构方法，其特征是，通过多个残差单元的连接学习低分辨率图像与高分辨率图像之间的映射关系，利用学习到的映射关系重建高分辨率图像；具体步骤细化如下：

1)图像预处理

在网络训练前需要将低分辨率图像进行图像预处理，具体过程为使用双三次插值的方法将低分辨率图像扩展为相应尺寸图像，再将图像从RGB空间转换为YCbCr空间，由于人眼对于亮度信息更敏感，因此只处理图像的Y通道，将其作为网络的输入；

2)特征提取

对于输入的低分辨率图像，使用卷积神经网络对低分辨率图像进行特征提取，计算关系为：

F₁(I)＝σ(W₁*I+B₁)

式中，W₁表示卷积层的权重，B₁表示卷积层的偏置值，σ表示线性修正单元ReLU(Rectified Linear Unit)激励函数；

3)非线性映射

在非线性映射过程中使用残差连接的方式，改进的残差单元表示如下式：

式中，N为网络中残差单元的数量，n表示网络中的第n个残差单元，x表示残差单元的输入，y表示残差单元的输出，W_i,i＝1,2,3,...,N表示第i层的权重，

表示反卷积操作，*表示卷积操作，在残差单元中使了卷积和反卷积操作，对图像特征进了放缩，卷积层使特征图尺寸缩小，反卷积层使特征图尺寸增大；

4)图像重建

图像重建是将非线性映射后的特征融合成高分辨率图像的过程，通过一个卷积层实现超分辨率图像的重建，计算关系为：

F(I)＝W_m*F_m(I)+B_m,

式中，W_m表示该卷积层的权重，B_m表示卷积层的偏置，W_m包含1个f_m×f_m×n_m-1尺寸大小的滤波器，f_m×f_m为滤波器的尺寸，n_m-1为非线性映射后的特征图数量，重建后的图像为亮度分量，将低分辨率图像的Cb、Cr分量与重建后的Y分量结合，再转换到RGB空间，得到重建的高分辨率图像。

Images