CN115511705A

CN115511705A - 一种基于可变形残差卷积神经网络的图像超分辨率重建方法

Info

Publication number: CN115511705A
Application number: CN202110606835.1A
Authority: CN
Inventors: 孙叶美; 张艳
Original assignee: Tianjin Chengjian University
Current assignee: Tianjin Chengjian University
Priority date: 2021-06-04
Filing date: 2021-06-04
Publication date: 2022-12-23

Abstract

本发明公开一种基于可变形残差卷积神经网络的图像超分辨率重建方法，包括以下步骤：图像预处理、图像特征提取和图像重建，在图像特征提取步骤中，采用了多个可变形卷积残差模块(DeRCB)，在DeRCB模块中，采用可变形卷积层自适应调整采样网格和感受野形状，再采用长短残差组合连接方式，增强模型对局部和全局特征的有效融合，设计利用不同尺度因子(×2、×3、×4)模糊的低分辨率图像交叉训练网络，增强了模型对不同模糊程度的图像重建的泛化能力。本发明实现了模型对提取特征时，扩大了空间采样位置，增强了模型空间变换建模能力；实现了特征的重利用和信息的多通道传播，有效地解决了传统算法中存在的梯度消失问题，提高了算法的精度。

Description

一种基于可变形残差卷积神经网络的图像超分辨率重建方法

技术领域

本发明属于图像处理技术领域，特别涉及一种基于可变形残差卷积神经网络的图像超分辨率重建方法。

背景技术

随着数字多媒体技术的快速发展，数字图像成为信息传达的重要表现形式。图像分辨率的高低、携带有用信息量的多少直接关系到人们对信息认知程度的深浅，然而，在实际获取数字图像的过程中，往往会受到诸多因素的影响而导致获取的图像质量下降，例如成像系统内外各种噪声，再加上一些特殊场合需要对数据进行传输、保存、下采样或者压缩，使图像的分辨率及质量进一步恶化，导致人们获取的有价值的图像细节信息大大减少。所以如何有效地提高图像的分辨率及质量以满足应用需求是需要解决的一个问题。

一般地，可通过提高硬件性能来提升图像的分辨率，方式有两种：一是通过制造工艺的更新换代，二是通过扩大成像芯片的尺寸来增大传感元件的绝对数目。但这两种方式都存在着瓶颈。而且从商业角度考虑，市场上高精度光学设备和高质量的传感器价格较高，大大增加了企业的生产成本。

为了打破在硬件方面的局限，国内外的许多研究学者从算法入手来提高图像的分辨率。目前，图像的超分辨率重建算法可以分为三类：基于插值的超分辨率算法、基于重建的超分辨率算法以及基于学习的超分辨率算法。基于学习的超分辨率重建算法可获得相对较好的重建效果，已经成为当前超分辨率重建研究的热点，但传统的基于学习的超分辨率重建算法在特征提取与表达能力有限，导致重建得到的图像效果不佳，不能满足人们对高质量图像的要求。

近年来，深度学习在图像、语音、文本等数据上的成功应用引起了学术界和工业界的广泛关注，与其它传统的基于学习的算法相比，它端到端的训练模式和超强的特征提取与学习能力有很大的优越性，因此，越来越多的国内外学者将深度学习应用到图像超分辨率重建研究中。其中基于卷积神经网络的图像超分辨率重建算法取得了良好的重建性能，但经典的基于深度卷积神经网络的图像超分辨率重建算法(Image Super-ResolutionUsing Deep Convolutional Networks，SRCNN)存在网络层较少、感受野小、模型泛化能力差等缺陷。

发明内容

本发明针对现有技术中存在的技术问题，提供一种基于可变形残差卷积神经网络的图像超分辨率重建方法，采用可变形卷积层自适应调整模型采样网格和感受野形状，再采用长短残差组合连接方式，增强了模型对图像局部和全局特征的有效融合，设计利用不同尺度因子模糊的低分辨率图像交叉训练网络，增强模型对不同模糊程度的图像重建的泛化能力。

本发明采用的技术方案是：一种基于可变形残差卷积神经网络的图像超分辨率重建方法，包括以下步骤：

(1)图像预处理

为了更好地利用深度学习框架Pytorch进行训练，未将这个预处理过程包含在训练网络中。图像预处理部分主要包括以下步骤：

S1：将训练集中的高分辨率I_H分别按照缩放尺度为×2、×3、×4的因子进行下采样得到不同模糊程度的低分辨率图像，分别记为I_L2、I_L3、I_L4；

S2：将I_L2、I_L3、I_L4不重叠裁剪为41×41大小的子图像块，分别记为I_L2-sub、I_L3-sub、I_L4-sub；再将I_H不重叠裁剪成与I_L2-sub、I_L3-sub、I_L4-sub相对应的子图像块作为标签，分别记为I_H2-sub、I_H3-sub、I_H4-sub；

S3：按照I_L2-sub-I_H2-sub、I_L3-sub-I_H3-sub、I_L4-sub-I_H4-sub相对应的图像对形式保存，作为卷积神经网络输入层的数据。

(2)图像特征提取

特征提取的主要目的是利用卷积神经网络来学习高分辨率图像和低分辨率图像之间的映射关系。模型中每一层可变形卷积层和传统卷积层后都有一个整流线性单元(Rectified Linear Unit，ReLU)作为激活函数。整个训练学习的过程都在NVIDIA TITAN V显卡上进行，软件平台为Pytorch深度学习框架。对输入的图像进行特征提取主要有以下步骤：

S1：输入的图像通过第一层卷积核为3×3大小、通道数为64的卷积层，再进入DeRCB_1模块；

S2：进入DeRCB_1模块后，采用含有可变形卷积层进行特征提取，再采用密集连接的方式进行模块之间的对称残差链接，实现不同阶段的特征相互融合，输出特征图Feature_DeRCB_1；

S3：将特征图Feature_DeRCB_1输入到DeRCB_2模块中，重复S2中学习步骤，将得到的特征图记为Feature_DeRCB_2，再将其输入到下一个DeRCB模块中；

S4：最终经过16个DeRCB模块后，DeRCB_16模块获得特征图与第一层卷积层提取的特征图进行残差链接得到特征图DeRCB_16_Sum；

DeRCB模块中，假设R＝{(-1，-1)，(-1，0)，...，(0，1)，(1，1)}为尺寸大小为3×3的卷积核，传统标准的卷积操作的输出的特征图y_{stand_conv}为

式中p₀为输入的特征图中像素位置，p_n为卷积核R中的位置，x(p₀+p_n)为输入特征图中任意位置的像素，w(p_n)为卷积核中的权重。

然后将获得的特征图y_{stand_conv}输入到可变形卷积层中，对于任意像素位置p₀，可变形卷积操作的输出的特征图y_{deform_conv}表示为

式中Δp_n为学习到的偏移量。最终，对于第l个DeRCB模块的输入数据x_l，则DeRCB模块的输出y_DeRCB为

y_DeRCB＝x_l+y_{deform_conv}

与单纯的仅用传统卷积层来提取特征相比，该方法通过使用可变形卷积层，在提取样本点上添加了偏移量来改变模型感受野，使模型的感受野和采样位置可以根据图像中目标的尺寸和形状自适应地调整，增加了提取特征的灵活性和多样性，实现了在当前位置附近随意采样而不局限于常规卷积的规则采样点，更好的提取了图像特征。

(3)图像重建

图像重建步骤中，首先模型使用Upscale模块进行上采样纹理细化。然后，我们定义x和y是低分辨率输入图像和高分辨率图像，θ代表模型中需要被优化的一系列参数，

代表训练集，N代表训练集中样本的数量，则模型需要优化的损失函数L(θ)可由如下表示：

其中，

和

分别为第i张低分辨率图像和对应的高分辨率图像，H_DeRCNN(·)为模型学习到的低分辨率与高分辨率图像的映射关系。使用该误差函数实现网络层各权重参数的迭代更新。测试网络模型时，只需要将预处理后的图像输入训练好的网络模型即可。

与现有技术相比，本发明所具有的有益效果是：

1.设计可变形卷积残差模块，自适应调整模型采样网格和感受野形状，使模型可以扩大空间采样位置，更准确的获得图像空间信息，增强模型的空间变换的建模能力；

2.采用长残差对称连接、长短残差连接嵌套式连接方式，增强模型对图像局部和全局特征的有效融合，实现特征的重利用，而且对称的长残差连接可隐式地为模型训练提供指导，提高模型训练效率，缓解模型的梯度消失现象；

3.采用不同模糊程度的低分辨率图像对模型进行交叉训练，提高了模型的泛化能力。

附图说明

图1为本发明的网络(DeRCNN)结构示意图；

图2为本发明的DeRCB模块结构示意图；

图3为标准卷积层和可变形卷积层的感受野形状对比图；

图4为不同模型在测试集上完成缩放尺度因子为×3的重建平均PSNR值曲线；

图5为缩放尺度因子为×2的超分辨率重建图；

图6为缩放尺度因子为×3的超分辨率重建图；

图7为缩放尺度因子为×4的超分辨率重建图。

具体实施方式

为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施例对本发明作详细说明。

本发明的实施例公开了一种基于可变形残差卷积神经网络的图像超分辨率重建方法，如图所示，其包括以下步骤：图像预处理、图像特征提取和图像重建。

(1)图像预处理

(2)图像特征提取

特征提取的主要目的是利用卷积神经网络来学习高分辨率图像和低分辨率图像之间的映射关系。模型中每一层可变形卷积层和传统卷积层后都有一个整流线性单元(Rectified Linear Unit，ReLU)作为激活函数。所有的DeRCB模块网络结构如图2所示。整个训练学习的过程都在NVIDIA TITAN V显卡上进行，软件平台为Pytorch深度学习框架。对输入的图像进行特征提取主要有以下步骤：

S2：进入DeRCB_1模块后，采用含有可变形卷积层进行特征提取，再采用密集连接的方式进行模块之间的对称残差链接，实现不同阶段的特征相互融合，每层卷积层的通道数量设置为64，输出特征图Feature_DeRCB_1；

S4：当特征图从模块DeRCB_9中输出时，将之前学习得到的特征图Feature_DeRCB_1、Feature_DeRCB_2、Feature_DeRCB_3...进行对称残差连接，实现不同阶段的特征的相互融合，即：

Feature_DeRCB_9_sum＝Feature_DeRCB_9+Feature_DeRCB_7；

Feature_DeRCB_10_sum＝Feature_DeRCB_10+Feature_DeRCB_6；

Feature_DeRCB_11_sum＝Feature_DeRCB_11+Feature_DeRCB_5；

Feature_DeRCB_12_sum＝Feature_DeRCB_12+Feature_DeRCB_4；

Feature_DeRCB_13_sum＝Feature_DeRCB_13+Feature_DeRCB_3；

Feature_DeRCB_14_sum＝Feature_DeRCB_14+Feature_DeRCB_2；

Feature_DeRCB_15_sum＝Feature_DeRCB_15+Feature_DeRCB_1；

其中，每一个Feature_DeRCB_sum为相应Feature_DeRCB的输入；

S5：最终经过16个DeRCB模块后，DeRCB_16模块获得特征图与第一层卷积层提取的特征图进行残差链接得到特征图DeRCB_16_Sum；

(3)图像重建

其中，

和

分别为第i张低分辨率图像和对应的高分辨率图像，H_DeRCNN(·)为模型学习到的低分辨率与高分辨率图像的映射关系。使用该误差函数实现网络层各权重参数的迭代更新。

本发明采用峰值信噪比(PSNR)和结构相似性信噪比(SSIM)作为评价指标。图4显示了缩放尺度因子为×3的三个不同网络上的测试结果，给出了迭代次数与平均峰值信噪比之间的关系。采用可变形残差卷积模块DeRCB提取特征模型获得线1。采用可变形卷积但未采用残差连接提取特征模型获得线2。采用传统卷积层和残差连接提取特征模型获得线3。

比较线2和线3两条曲线，结果表明可变形卷积层通过自适应调整模型采样网格和感受野形状，增加了提取特征的灵活性，能更好的提取图像特征，重建图像获得PSNR值会有提升。比较线2和线1两条曲线，我们发现使用可变形卷积层和长残差连接对模型的特征学习和空间转换能力有一定增强作用，能提高模型重建图像的质量，获得的图像平均PSNR值曲线最高。因此，采用可变形残差卷积神经网络可以获得更好的性能。

从图5-7可以看出，本发明可以恢复精确的图像，勾勒出清晰生动的轮廓，效果均要优于比较算法。

比较算法出处：

[A⁺]：

Timofte R，De Smet V，Van Gool L.A+：Adjusted anchored neighborhoodregression for fast super-resolution[C]//Asian confer-ence on computervision.Springer，Cham，2014：111-126

[SRCNN]：

Dong C，Loy C C，He K，et al.Learning a deep convolutional network forimage su-per-resolution[C]//European conference on computer vision.Springer，Cham，2014：184-199.

[VDSR]：

Kim J，Kwon Lee J，Mu Lee K.Accurate image super-resolution using verydeep convolutional networks[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.2016：1646-1654.

[LapSRN]：

Lai W S，Huang J B，Ahuja N，et al.Deep laplacian pyramid networks forfast and accurate super-resolution[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.2017：624-632.

以上通过实施例对本发明进行了详细说明，但所述内容仅为本发明的示例性实施例，不能被认为用于限定本发明的实施范围。本发明的保护范围由权利要求书限定。凡利用本发明所述的技术方案，或本领域的技术人员在本发明技术方案的启发下，在本发明的实质和保护范围内，设计出类似的技术方案而达到上述技术效果的，或者对申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖保护范围之内。