CN108765296B - 一种基于递归残差注意力网络的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于递归残差注意力网络的图像超分辨率重建方法，其特征在于，包括如下步骤：1）数据预处理；2）建立重建模型；3）残差注意力网络支路第一个残差注意力模块特征提取；4）递归网络支路第一个递归模块特征提取；5）特征融合；6）图像重建。这种方法能解决预处理操作带来的噪声，且获得更多高频信息来丰富图像细节，同时能减少网络参数，在增加层数的同时而不增加新的参数，能提高超分辨率重建的精度。

Description

一种基于递归残差注意力网络的图像超分辨率重建方法

技术领域

本发明涉及智能图像处理技术领域，具体涉及一种基于递归残差注意力网络的图像超分辨率重建方法。

背景技术

单幅图超分辨率(Single Image Super-Resolution，简称SISR)重建是计算机视觉领域中的经典热门问题，旨在从一幅低分辨率(Low-Resolution，简称LR)图像中重建出高分辨率(High-Resolution，简称HR)图像。单幅图超分辨率能够突破硬件设备的限制,提高图像分辨率,在卫星遥感图像、医学图像、安全监督等需要高清图像源领域中得到广泛应用。

在传统的方法中，通过若干成对出现的低-高分辨率图像的实例进行重建。而基于深度学习的超分辨率重建通过卷积神经网络(CNN)直接学习低分辨率图像到高分辨率图像的端到端的映射函数。卷积神经网络已广泛用于超分辨率重建中，例如，Dong等人提出了基于卷积神经网络的超分辨率重建(SRCNN),是超越传统方法的首个深度学习方法,以端对端的方法学习LR到HR之间的非线性映射关系；Kim等人受VGG网络启发提出一种非常深的卷积网络(VDSR)来得到高准确性的重建方法，该网络达到20层，为了加速收敛速度，使用非常高的学习率，运用残差学习与梯度裁剪来解决梯度爆炸问题。

尽管这些基于CNN的超分辨率方法在重建质量和效率方面取得了令人瞩目的成绩，但仍有不足之处，首先，现有方法使用预处理(例如双三次插值)将输入图像放大至期望的空间分辨率但会增加计算量且造成重建噪声，或者在最后一层增加空间分辨率但会造成重建伪影且图像精确度下降；其次，重建出的图像都过于平滑或模糊，细节恢复不够逼真，与人类在自然图像上的感知有一定的差距。最后，这些方法从几层增加到几十层来提升网络的性能，需要巨大的参数，网络模型难训练。

发明内容

本发明的目的是针对现有技术的不足，而提出一种基于递归残差注意力网络的图像超分辨率重建方法。这种方法能解决预处理操作带来的噪声，且获得更多高频信息来丰富图像细节，同时能减少网络参数，在增加层数的同时而不增加新的参数，能提高超分辨率重建的精度。

实现本发明目的的技术方案是：

一种基于递归残差注意力网络的图像超分辨率重建方法，与现有技术不同的是，包括如下步骤：

1)数据预处理：对原始输入图像进行双三次插值，将原始输入图像分辨率放大到与期望的图像分辨率一样的大小，根据不同的插值放大倍数，生成多尺度的训练集；

2)建立重建模型：重建模型包括残差注意力网络支路和递归网络支路，所述残差注意力网络支路由一组串联的且结构相同的残差注意力模块组成，递归网络支路也由一组串联的递归模块组成，残差注意力模块与递归模块一一对应，残差注意力模块的输出与递归模块的输出连接，通过重建模型将低分辨率图像生成高分辨率图像；

3)残差注意力网络支路第一个残差注意力模块特征提取：将步骤1)处理后的图像进行卷积操作，卷积后的特征图输入到残差注意力网络支路，残差注意力模块结构为Bottom-up top-down模块级联而成，通过Bottom-up top-down模块得到残差注意力网络支路第一个残差注意力模块的注意力特征A₁(x)；

4)递归网络支路第一个递归模块特征提取：将步骤1)处理后的图像进行卷积操作，卷积后的特征图输入到递归网络支路第一个递归模块中，通过递归网络得到递归网络支路第一个递归模块特征R₁(x)；

5)特征融合：将步骤3)和步骤4)所提取的注意力特征A₁(x)与递归网络支路特征R₁(x)进行点乘，再将点乘结果G₁(x)与递归网络支路特征R₁(x)进行相加，得到融合特征F₁(x)；

6)图像重建：将步骤5)所提取的融合特征F₁(x)作为第二个残差注意力模块和第二个递归模块的输入，重复步骤3)、4)、5)，得到第二个融合特征F₂(x)，依次类推得到最终融合特征F(x)，对最终融合特征F(x)进行卷积操作，得到最终输出高分辨率图像。

步骤3)中所述的Bottom-up top-down模块的输出特征的值在[0,1]之间，Bottom-up top-down模块为系列化池化层和卷积层组成，将预处理后放大的图像通过由池化层和卷积层组成的单元，得到最小分辨率特征图，再通过由插值层和卷积层组成的单元将最小分辨率特征图放大到与预处理后放大的图像同样的大小，之后经过1×1的线性卷积层进行卷积操作以及sigmoid激活函数层来归一化输出特征的值在[0,1]之间，输出称之为注意力特征A(x)。

步骤4)中所述递归网络支路包括一组串联的结构相同的的递归模块，每个递归模块由一组结构相同残差单元组成，且各残差单元又有局部跳跃连接，所有残差单元有一个共同的输入，各残差单元设置为参数共享模式。

步骤5)中所述注意力特征A₁(x)与递归网络支路特征R₁(x)进行点乘依据式(1)：

G_i,c(x)＝A_i,c(x)*R_i,c(x)(1)，残差注意力网络支路不仅可以作为特征选择器，而且在反向传播时还作为梯度更新滤波器，在残差注意力网路支路中，输入特征的梯度为公式(3)：

其中，

分别为残差注意力支路和递归模块支路的参数，由于A(x)的值是在[0,1]之间，由公式(3)知，当A(x)趋于0时，那么梯度也趋于0，当A(x)趋于1时，梯度也趋于大的方向更新；

点乘结果G₁(x)与递归网络支路特征R₁(x)进行相加依据公式(2)：

F_i,c(x)＝G_i,c(x)+R_i,c(x)＝(1+A_i,c(x))*R_i,c(x) (2)，

其中，x为输入，i为像素点，i的取值范围是整个空间位置，c是通道指数，将残差注意力模块作为递归块的恒等映射，即将二者点乘操作后的特征G(x)与递归块得到的特征R(x)再进行相加，得到最终的输出特征F(x)，当A(x)趋于0时，F(x)趋于递归网络特征R(x),因此特征融合之后的效果不可能比原始特征R(x)差，这使得递归网络支路输出的特征图中显著的特征更加显著，增加了特征的高频细节信息。

上述技术方案，有效地解决了高频信息少，重建效果平滑和细节不逼真，网络参数大等问题：

(1)利用残差注意力网络支路中注意力机制的感知功能增强递归网络支路的特征细节，不同模块的注意力感知功能随着层次的深入而自适应地变化，可以广泛的捕捉越来越多的关注信息；

(2)使用递归网络来对特征进行提取，递归学习可以增加深度而没有增加任何权重参数来提高精度，解决模型参数大，计算困难的问题；

(3)使用类似残差学习的连接方式对两个支路的特征进行融合，该连接方式不仅保留了递归网络的良好特征属性，而且加强高频信息的同时抑制了递归网络支路的噪声。

这种方法能解决预处理操作带来的噪声，且获得更多高频信息来丰富图像细节，同时能减少网络参数，在增加层数的同时而不增加新的参数，能提高超分辨率重建的精度。

附图说明

图1为实施例的方法流程示意图；

图2为实施例中的重建模型结构示意图；

图3为实施例中注意力机制对网络性能的影响示意图；

图4为实施例中网络参数对重建性能的影响示意图。

具体实施方式

下面结合附图和实施例对本发明内容作进一步的说明，但不是对本发明的限定。

实施例：

参照图1，一种基于递归残差注意力网络的图像超分辨率重建方法，包括如下步骤：

1)数据预处理：对原始输入图像进行双三次插值，将原始输入图像分辨率放大到与期望的图像分辨率一样的大小，根据不同的插值放大倍数，生成多尺度的训练集；

2)建立重建模型：如图2所示，重建模型包括残差注意力网络支路和递归网络支路，所述残差注意力网络支路由一组串联的且结构相同的残差注意力模块组成，递归网络支路也由一组串联的递归模块组成，残差注意力模块与递归模块一一对应，残差注意力模块的输出与递归模块的输出连接，通过重建模型将低分辨率图像生成高分辨率图像，本例中残差注意力网络支路包括2个残差注意力模块；递归网络支路包括2个叠加的递归块，每个递归块由4个残差单元组成。

3)残差注意力网络支路第一个残差注意力模块特征提取：将步骤1)处理后的图像进行卷积操作，卷积后的特征图输入到残差注意力网络支路，残差注意力模块结构为Bottom-up top-down模块级联而成，通过Bottom-up top-down模块得到残差注意力网络支路第一个残差注意力模块的注意力特征A₁(x)；

4)递归网络支路第一个递归模块特征提取：将步骤1)处理后的图像进行卷积操作，卷积后的特征图输入到递归网络支路第一个递归模块中，通过递归网络得到递归网络支路第一个递归模块特征R₁(x)；

5)特征融合：将步骤3)和步骤4)所提取的注意力特征A₁(x)与递归网络支路特征R₁(x)进行点乘，再将点乘结果G₁(x)与递归网络支路特征R₁(x)进行相加，得到融合特征F₁(x)；

6)图像重建：将步骤5)所提取的融合特征F₁(x)作为第二个残差注意力模块和第二个递归模块的输入，重复步骤3)、4)、5)，得到第二个融合特征F₂(x)，依次类推得到最终融合特征F(x)，对最终融合特征F(x)进行卷积操作，得到最终输出高分辨率图像。

步骤3)中所述的Bottom-up top-down模块的归一化输出特征的值在[0,1]之间，Bottom-up top-down模块为系列化池化层和卷积层组成，将预处理后放大的图像通过池化层和卷积层组成的单元，得到最小分辨率特征，再通过由插值层和卷积层组成的单元将最小分辨率特征放大到与预处理后放大的图像同样的大小，之后经过1×1的线性卷积层进行卷积操作以及sigmoid激活函数层来归一化输出特征的值在[0,1]之间，输出称之为注意力特征A(x)。

步骤4)中所述递归网络支路包括一组串联的结构相同的递归模块，每个递归模块由一组结构相同残差单元组成，且各残差单元又有局部跳跃连接，所有残差单元有一个共同的输入，各残差单元设置为参数共享模式。

步骤5)中所述注意力特征A₁(x)与递归网络支路特征R₁(x)进行点乘依据公式(1)：

G_i,c(x)＝A_i,c(x)*R_i,c(x) (1)，

残差注意力网络不仅可以作为特征选择器，而且在反向传播时还作为梯度更新滤波器，在残差注意力网路支路中，输入特征的梯度为公式(3)：

其中，

分别为残差注意力支路和递归模块支路的参数，由于A(x)的值是在[0,1]之间，由公式(3)知，当A(x)趋于0时，那么梯度也趋于0，当A(x)趋于1时，梯度也趋于大的方向更新；

点乘结果G₁(x)与递归网络支路特征R₁(x)进行相加依据公式(2)：

F_i,c(x)＝G_i,c(x)+R_i,c(x)＝(1+A_i,c(x))*R_i,c(x) (2)，

其中，i为像素点，i的取值范围是整个空间位置，c是通道指数，将残差注意力模块作为递归块的恒等映射，即将二者点乘操作后的特征G(x)与递归块得到的特征R(x)再进行相加，得到最终的输出特征F(x)，当A(x)趋于0时，F(x)趋于递归网络特征R(x),因此特征融合之后的效果不可能比原始特征R(x)差，这使得递归网络支路输出的特征图中显著的特征更加显著，增加了特征的高频细节信息。

如图3所示，将本例的方法—图中用“RRAN”表示与移除残差注意力网路支路的单一递归网络-简称RN-net做比较，在Set5数据集上的性能曲线比较，可以看到本例的方法比RN-net方法更快收敛，PSNR也比RN-net高，也就说明了本例的方法中残差注意力模块提高了递归网络的性能，恢复出更多的高频信息以及抑制噪声影响；此外，本例的方法-图中用“RRAN”表示与基于CNN的SR方法的重建性能和网络参数数量如图4所示，在Set14数据集上的测试结果，从图中可以看到本例方法的网络参数比VDSR少了约5×10⁵，比DRCN少了1.6×10⁶，本例的方法与SCN，SRCNN等层数少的方法相比较，本例的方法在峰值信噪比上提高了，通过递归层和参数共享的方法来减少本例的方法的参数，使其层数加深而没有添加新的参数来提高重建性能。

Claims (4)

1.一种基于递归残差注意力网络的图像超分辨率重建方法，其特征在于，包括如下步骤：

1)数据预处理：对原始输入图像进行双三次插值，将原始输入图像分辨率放大到与期望的图像分辨率一样的大小，根据不同的插值放大倍数，生成多尺度的训练集；

2)建立重建模型：重建模型包括残差注意力网络支路和递归网络支路，所述残差注意力网络支路由一组串联的且结构相同的残差注意力模块组成，递归网络支路也由一组串联的递归模块组成，残差注意力模块与递归模块一一对应，残差注意力模块的输出与递归模块的输出连接；

3)残差注意力网络支路第一个残差注意力模块特征提取：将步骤1)处理后的图像进行卷积操作，卷积后的特征图输入到残差注意力网络支路，残差注意力模块结构为Bottom-uptop-down模块级联而成，通过Bottom-up top-down模块得到残差注意力网络支路第一个残差注意力模块的注意力特征A₁(x)；

4)递归网络支路第一个递归模块特征提取：将步骤1)处理后的图像进行卷积操作，卷积后的特征图输入到递归网络支路第一个递归模块中，通过递归网络得到递归网络支路第一个递归模块特征R₁(x)；

5)特征融合：将步骤3)和步骤4)所提取的注意力特征A₁(x)与递归网络支路特征R₁(x)进行点乘，再将点乘结果G₁(x)与递归网络支路特征R₁(x)进行相加，得到融合特征F₁(x)；

6)图像重建：将步骤5)所提取的融合特征F₁(x)作为第二个残差注意力模块和第二个递归模块的输入，重复步骤3)、4)、5)，得到第二个融合特征F₂(x)，依次类推得到最终融合特征F(x)，对最终融合特征F(x)进行卷积操作，得到最终输出高分辨率图像。

2.根据权利要求1所述的基于递归残差注意力网络的图像超分辨率重建方法，其特征在于，步骤3)中所述的Bottom-up top-down模块的输出特征的值在[0,1]之间，输出称之为注意力特征A(x)。

3.根据权利要求1所述的基于递归残差注意力网络的图像超分辨率重建方法，其特征在于，步骤4)中所述递归网络支路包括一组串联的结构相同的递归模块，每个递归模块由一组结构相同的残差单元组成，且各残差单元又有局部跳跃连接，所有残差单元有一个共同的输入，各残差单元设置为参数共享模式。

4.根据权利要求1所述的基于递归残差注意力网络的图像超分辨率重建方法，其特征在于，步骤5)中所述注意力特征A₁(x)与递归网络支路特征R₁(x)进行点乘依据公式(1)：

G_i,c(x)＝A_i,c(x)*R_i,c(x) (1)，

点乘结果G₁(x)与递归网络支路特征R₁(x)进行相加依据公式(2)：

F_i,c(x)＝G_i,c(x)+R_i,c(x)＝(1+A_i,c(x))*R_i,c(x) (2)，

其中，x为输入，i为像素点，i的取值范围是整个空间位置，c是通道指数。

Images