CN110111256A - 基于残差蒸馏网络的图像超分辨重建方法 - Google Patents

Abstract

本发明公开了一种基于残差蒸馏网络的图像超分辨率重建方法，主要解决现有方法重建效果差，资源消耗大的问题，其实现步骤为：1)构建残差蒸馏模块；2)级联残差蒸馏块构建残差蒸馏卷积群；3)级联低级特征提取网络、残差蒸馏模块和图像重建层构建残差蒸馏卷积网络；4)对公布的图像数据集进行预处理，并将处理后的数据分成训练数据集和测试数据集；5)利用训练数据集训练残差蒸馏网络；6)将测试数据集中的图像输入到残差蒸馏网络中，输出重建后的高分辨率图像。本发明提高了重建图像的清晰度，尤其在重建结构轮廓、自然纹理时，表现更佳，可用于受限设备采集图像的超分辨率重建。

Description

基于残差蒸馏网络的图像超分辨重建方法

技术领域

本发明属于图像处理技术领域，更进一步涉及图像超分辨重建方法，可用于计算机视觉、模式识别。

背景技术

超分辨率重建技术是通过信号处理、机器学习、统计理论等方法，对安防监控、高清电视、医学检测、刑事侦查等多个领域中受限设备采集到的低分辨率图像进行图像重建。其中，基于实例学习的图像超分辨率重建方法是假设低分辨率图像与对应高分辨率图像存在一定的映射关系，通过学习这一映射关系，并将其转移到输入的低分辨率特征空间来重建高分辨率图像。

清华大学深圳研究生院与深圳市未来媒体技术研究院在其申请的专利文献“一种图像的超分辨率重建方法”(专利申请号：201710084743.5；申请公布号：CN106886978A)中提出了一种图像的超分辨率重建方法。该方法主要通过计算各图像块的中心像素点的位置向量所对应的结构张量，然后计算该结构张量的特征值，来判断图像块是否为平滑图像块；在图像块为平滑图像块时，将初始高分辨率图像块作为该图像块的最终高分辨率图像块；在图像块为非平滑图像块时，结合图论进行重建计算，最终得到重建的高分辨率图像。该方法存在的不足之处是，只考虑图像自身的结构信息，而没有引入外部训练样本，使得图像的先验细节不够丰富，使得重建效果大打折扣。

深圳市华星光电技术有限公司在其申请的专利文献“一种图像超分辨率重建方法”(专利申请号：201611153801.7；申请公布号：CN106780333A)中提出了一种图像超分辨率重建方法。该方法主要通过将低分辨率特征空间和高分辨率特征空间构造成多个成对设置的低分辨率特征子空间和高分辨率特征子空间；然后在成对设置的低分辨率特征子空间和高分辨率特征子空间之间建立线性映射关系；最后根据线性映射关系将低分辨率重构图像重构成高分辨率重构图像。该方法存在的不足之处是，在划分特征子空间过程中仅使用K-均值算法进行硬聚类，而且该方法在重建过程中使用的是最近邻方法进行最优锚点搜索，如此一来，该工作就仅仅成为了一个聚类与匹配问题，而没有考虑到图像统计信息，导致图像全局性重建效果一般。

发明内容

本发明的目的在于针对已有技术的不足，提出一种基于残差蒸馏网络的图像超分辨率重建方法，以提升图像重建效果，减少网络参数量，降低网络计算量，便于在受限设备上实现。

为实现上述目的，本发明实现的方案如下：

(1)搭建一个由三个残差卷积层和两个非线性激活层构成残差蒸馏模块，用于蒸馏数据特征；

(2)将8个残差蒸馏模块进行级联构成残差蒸馏卷积群，并将每个残差蒸馏模块中通道数大于64的特征图叠加到残差蒸馏群末尾，再在残差蒸馏群的末尾添加压缩卷积层，用来蒸馏信息并压缩通道数量；

(3)搭建两层低级特征提取网络，并在其后级联6个残差蒸馏卷积群，再在残差蒸馏卷集群后搭建图像重建层，构成残差蒸馏网络；

(4)对公布的数据集进行预处理，将每个图像矩阵元素的像素值归一化到[0,1]之间，得到归一化的图像矩阵，并对图像矩阵随机进行反转、折叠和旋转变化实现图像数据增强；

(5)对增强后的图像数据进行双立方插值下采样，依据放大倍数将每个图像的长度和宽度按比例缩减，得到低分辨率原始图像和高分辨率原始图像，再将低分辨率原始图像与高分辨率原始图像数据成对地进行随机扰乱，并选取其80％数据作为训练数据集，其余作为测试数据集；

(6)训练残差蒸馏网络：

(6a)用训练数据集中的低分辨率图像块和对应的高分辨图像块训练残差蒸馏网络，得到两个网络参数W_i和b_i，其中W_i表示网络中的边连接的权值向量，b_i表示网络中下一次对上一层的偏置；

(6b)使用平均绝对误差MAE作为损失函数，用随机梯度下降法对这两个网络参数W_i和b_i进行微调，直到损失值e＜30或者迭代次数t＞120，得到训练好的残差蒸馏网络；

(7)将测试数据集中的低分辨率图像作为输入，利用训练好的残差蒸馏网络来预测得到对应的高分辨率图像，实现图像超分辨率重建。

本发明与现有技术相比具有以下优点：

第一，由于本发明采用残差蒸馏模块，在网络加深的同时，一方面可以保持信息的一致性，另一方面还可以蒸馏出新的特征，充分利用残差网络结构，使得可以重建出更丰富的图像细节信息，提高了重建效果。

第二，由于本发明网络参数少，计算量小，网络结构简单紧凑，在性能表现和模型体量上做出了很好的权衡。

第三，由于本发明通过残差蒸馏网络进行了有效而简单的蒸馏，可获得比现有先进方法质量更高的超分辨率图像。

附图说明

图1是本发明的实现流程图；

图2是用本发明和现有方法对图“Image074”进行图像超分辨率重建的仿真视觉效果图；

图3是用本发明和现有方法对图“Image027”进行图像超分辨率重建的仿真视觉效果图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照图1，本发明实现的具体步骤如下。

步骤1，构建残差蒸馏模块。

搭建一个由三个残差卷积层和两个非线性激活层构成残差蒸馏模块，用于蒸馏数据特征。

该残差蒸馏模块的结构关系表示为：

第一层卷积->第一非线性激活层->第二层卷积->第二非线性激活层->第三层卷积。

各层参数如下：

第一层卷积的卷积核设置为64个，卷积核大小为1×1，步长为1；

第一非线性激活层函数为非线性整流函数；

第二层卷积的卷积核设置为72个，卷积核大小为3×3，补零为1，步长为1，卷积群设置为4；

第三层卷积的卷积核设置为72个，卷积核大小为1×1，步长为1；

第二非线性激活层函数为非线性整流函数。

步骤2，构建残差蒸馏卷积群。

将8个残差蒸馏模块进行级联，以构成残差蒸馏卷积群，并将每个残差蒸馏模块中通道数大于64的特征图叠加到残差蒸馏群末尾，再在残差蒸馏群的末尾添加压缩卷积层，用来蒸馏信息并压缩通道数量。其结构关系表示如下：

第1个残差蒸馏模块->第2个残差蒸馏模块->·····->第8个残差蒸馏模块->压缩卷积层。

该压缩卷积层是由一层卷积层构成，卷积核为64个，卷积核大小为1×1，步长为1。

步骤3，构建残差蒸馏网络。

搭建两层低级特征提取网络，并在其后级联6个残差蒸馏卷积群，再在残差蒸馏卷集群后搭建图像重建层，构成残差蒸馏网络。其结构关系表示如下：

低级特征提取网络->第1个残差蒸馏模块卷积群->第2个残差蒸馏模块卷积群->·····->第6个残差蒸馏模块卷积群->图像重建层。

该低级特征提取网络是由两层卷积层级联构成，其参数如下：

第一个卷积层的卷积核为64个，卷积核大小为3×3，补零为1，步长为1；

第二个卷积层的卷积核为64个，卷积核大小为3×3，补零为1，步长为1。

该图像重建层由3层卷积层级联构成，其参数如下：

第1层卷积层的卷积核个数为：64×低分辨率图像的放大倍数×低分辨率图像的放大倍数，卷积核大小为3×3，补零为1，步长为1；

第2层为pixelshuffle层，参数为低分辨率图像的放大倍数；

第3层卷积层的卷积核为3个，卷积核大小为3×3，补零为1，步长为1。

步骤4，对公布的数据集进行预处理。

将每个图像矩阵元素的像素值归一化到[0,1]之间，得到归一化的图像矩阵，并对图像矩阵随机进行反转、折叠和旋转变化实现图像数据增强。

步骤5，构建训练数据集和测试数据集。

对增强后的图像数据进行双立方插值下采样，依据放大倍数将每个图像的长度和宽度按比例缩减，得到低分辨率原始图像和高分辨率原始图像；

再将低分辨率原始图像与高分辨率原始图像数据成对地进行随机扰乱，并选取其80％数据作为训练数据集，其余作为测试数据集。

步骤6，训练残差蒸馏网络。

6.1)用训练数据集中的低分辨率图像块和对应的高分辨图像块训练残差蒸馏网络，得到两个网络参数W_i和b_i:

6.1a)向网络中输入低分辨率图像块，网络进行前向传播得到标签；

6.1b)计算标签与高分辨图像块的误差值，根据误差值e调整网络参数：若误差值e＞30，返回6.1a)，否则，训练结束，得到两个网络参数W_i和b_i,其中W_i表示网络中的边连接的权值向量，b_i表示网络中下一次对上一层的偏置。

6.2)用随机梯度下降法对这两个网络参数W_i和b_i进行微调：

6.2a)输入一个低分辨率图像；

6.2b)计算网络的输出与所输入的低分辨率图像对应的高分辨率图像之间的差值，用该差值计算损失函数l_MAE，公式表示如下：

其中，N表示单次参与训练的所有低分辨与对应高分辨图像块的个数，I表示网络生成的高分辨图像，表示参照的原始高分辨图像，下标o代表第o个图像块，||·||₁表示1-范数，即两数值之差的绝对值；

6.2c)通过损失函数l_MAE计算得到的W_i的偏导数G_W,i和b_i的偏导数G_b,i：

6.2d)依照下式，调整网络中的每个参数：

b_i′＝b_i-α×G_b,i，

W_i′＝W_i-α×G_W,i，

其中，b_i′表示网络调整参数后的参数b_i，W_i′表示网络调整参数后的参数W_i，α表示调整参数时的学习率，α∈[0,1]；

6.2e)判断调整参数后网络的损失值e是否小于30，若是，则得到训练好的网络，否则，返回6.2a)。

步骤7，重建超分辨率图像。

将测试数据集中的低分辨率图像输入到训练好的残差蒸馏网络，经过残差蒸馏网络的前向传播得到对应的高分辨率图像，实现图像超分辨率重建。

下面结合仿真实验对本发明的效果做进一步的描述。

1、仿真实验条件：

1.1)本发明的仿真实验的硬件平台为：Intel Core i7-7700K@4.00GHZ、16GBRAM，软件平台为：Pytorch；本文仿真实验采用单帧图像超分辨率重建公众数据库，选取图像大小为48×48像素，放大倍数为4倍，其中训练样本集是DIV2K库中的800张图像，包含风景、花鸟、人物的自然图像，参考出处为“Ntire 2017challenge on single image super-resolution:Methods and results,”in Computer Vision and Pattern RecognitionWorkshops(CVPRW),2017IEEE Conference on.IEEE,2017,pp.1110–1121.，本实验的测试样本采用的是，Urban100中的100幅高分辨率无失真24位RGB图像，参考出处为“A databaseof human segmented natural im-ages and its application to evaluatingsegmentation al-gorithms and measuring ecological statistics,”in ComputerVision,2001.ICCV 2001.Proceedings.Eighth IEEE International Conferenceon.IEEE,2001,vol.2,pp.416–423.。

1.2)仿真使用的方法

仿真实验中分别使用本发明及其现有先进方法中的三种方法：

现有技术中的第一种方法是采用记忆存储网络对测试样本进行超分辨率重建，本发明的仿真实验中记为方法A，参考文献“Memnet:A persistent memory network forimage restoration,”in Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition,2017,pp.4539–4547.

现有技术中的第二种方法是采用基于信息蒸馏网络的超分辨率重建方法对测试样本进行超分辨率重建，本发明的仿真实验中记为方法B，参考文献“Fast and accuratesingle image super-resolution via information distillation network,”inProceedings of the IEEE Conference on Computer Vision and PatternRecognition,2018,pp.723–731.

现有技术中的第三种方法是采用基于多尺度残差网络的超分辨率重建方法对测试样本进行超分辨率重建，本发明的仿真实验中记为方法C，参考文献“Multi-scaleresidual network for image super-resolution,”in Proceedings of the EuropeanConference on Computer Vision(ECCV),2018,pp.517–532.

2、仿真内容及其结果分析：

仿真1，用本发明与现有三种方法对测试样本Urban100中的低分辨率“Image074”图进行超分辨率重建，放大倍数为4倍，结果如图2，其中：

图2(a)是测试样本中的低分辨率“Image074”图，

图2(b)是使用方法A对低分辨率“Image074”图进行重建的结果图，

图2(c)是使用方法B对低分辨率“Image074”图进行重建的结果图，

图2(d)是使用方法C对低分辨率“Image074”图进行重建的结果图，

图2(e)是使用本发明对低分辨率“Image074”图进行重建的结果图，

图2(f)是测试样本中的高分辨“Image074”图像。

对比图2(b)、图2(c)、图2(d)和图2(e)，可以看出，本发明在对窗户结构轮廓的重建效果较现有技术中的三种方法更加清晰且更加自然。

仿真2，用本发明与现有三种方法对测试样本Urban100中的低分辨率“Image027”图进行超分辨率重建，放大倍数为3倍，结果如图3，其中：

图3(a)是测试样本中的低分辨率“Image027”图，

图3(b)是使用方法A对低分辨率“Image027”图进行重建的结果图，

图3(c)是使用方法B对低分辨率“Image027”图进行重建的结果图，

图3(d)是使用方法C对低分辨率“Image027”图进行重建的结果图，

图3(e)是使用本发明对低分辨率“Image027”图进行重建的结果图，

图3(f)是测试样本中的高分辨“Image027”图像。

对比图3(b)、图3(c)、图3(d)和图3(e)，可以看出，本发明在对建筑物纹理的重建效果较现有技术中的三种方法重建更加准确真实。

仿真3，用本发明与现有三种方法对测试样本Urban100重建图像进行客观评价，放大倍数为4倍，采用峰值信噪比PSNR、结构相似度SSIM这两个评价指标作为客观评价指标，评价指标越高，说明重建后的图像质量越好。

本发明与上述现有三种方法重建Urban100图像的客观评价指标的平均值的对比结果如表1所示：

表1本发明与对比方法重建图像的客观评价值评价表

由表1可以看出，本发明重建测试样本Urban100后的两个客观评价指标的平均值均高于上述现有技术中的三种方法，说明本发明重建的图像更接近原始高分辨率的图像，取得更好的重建效果。

Claims (9)

1.一种基于残差蒸馏网络的图像超分辨率重建方法，其特征在于，包括如下：

(1)搭建一个由三个残差卷积层和两个非线性激活层构成残差蒸馏模块，用于蒸馏数据特征；

(2)将8个残差蒸馏模块进行级联构成残差蒸馏卷积群，并将每个残差蒸馏模块中通道数大于64的特征图叠加到残差蒸馏群末尾，再在残差蒸馏群的末尾添加压缩卷积层，用来蒸馏信息并压缩通道数量；

(3)搭建两层低级特征提取网络，并在其后级联6个残差蒸馏卷积群，再在残差蒸馏卷集群后搭建图像重建层，构成残差蒸馏网络；

(4)对公布的数据集进行预处理，将每个图像矩阵元素的像素值归一化到[0,1]之间，得到归一化的图像矩阵，并对图像矩阵随机进行反转、折叠和旋转变化实现图像数据增强；

(5)对增强后的图像数据进行双立方插值下采样，依据放大倍数将每个图像的长度和宽度按比例缩减，得到低分辨率原始图像和高分辨率原始图像，再将低分辨率原始图像与高分辨率原始图像数据成对地进行随机扰乱，并选取其80％数据作为训练数据集，其余作为测试数据集；

(6)训练残差蒸馏网络：

(6a)用训练数据集中的低分辨率图像块和对应的高分辨图像块训练残差蒸馏网络，得到两个网络参数W_i和b_i，其中W_i表示网络中的边连接的权值向量，b_i表示网络中下一次对上一层的偏置；

(6b)使用平均绝对误差MAE作为损失函数，用随机梯度下降法对这两个网络参数W_i和b_i进行微调，直到损失值e＜30或者迭代次数t＞120，得到训练好的残差蒸馏网络；

(7)将测试数据集中的低分辨率图像作为输入，利用训练好的残差蒸馏网络来预测得到对应的高分辨率图像，实现图像超分辨率重建。

2.根据权利要求1所述的方法，其特征在于：(1)中的残差蒸馏模块,结构参数如下：

结构关系表示为：

第一层卷积->第一非线性激活层->第二层卷积->第二非线性激活层->第三层卷积；

各层参数设定为：

第一层卷积的卷积核为64个，卷积核大小为1×1，步长为1；

第一非线性激活层采用非线性整流函数；

第二层卷积的卷积核为72个，卷积核大小为3×3，补零为1，步长为1，卷积群设置为4；

第二非线性激活层采用非线性整流函数；

第三层卷积的卷积核为72个，卷积核大小为1×1，步长为1。

3.根据权利要求1所述的方法，其特征在于：(2)中的压缩卷积层，是由一层卷积层构成，其参数如下：

卷积核为64个，卷积核大小为1×1，步长为1。

4.根据权利要求1所述的方法，其特征在于：(3)中的搭建的两层低级特征提取网络，是由两个卷积层级联构成，其参数如下：

第一个卷积层的卷积核为64个，卷积核大小为3×3，补零为1，步长为1；

第二个卷积层的卷积核为64个，卷积核大小为3×3，补零为1，步长为1。

5.根据权利要求1所述的方法，其特征在于：(3)中搭建的图像重建层，是由三层卷积层级联构成，其参数如下：

第一层卷积层的卷积核个数为64×低分辨率图像的放大倍数×低分辨率图像的放大倍数，卷积核大小为3×3，补零为1，步长为1；

第二层为pixelshuffle层，参数为低分辨率图像的放大倍数；

第三层卷积层的卷积核为3个，卷积核大小为3×3，补零为1，步长为1。

6.根据权利要求1所述的方法，其特征在于：(5)中对增强后的图像数据进行双立方插值下采样，通过如下公式进行：

其中，f(a,b)代表点(a,b)的像素值，W(a-a_m)和W(b-b_n)均为高斯核函数，可用W(x)描述为：

c取值为0.5。

7.根据权利要求1所述的方法，其特征在于：(6a)中用训练数据集中的低分辨率图像块和对应的高分辨图像块训练残差蒸馏网络，得到两个网络参数W_i和b_i，实现如下：

(6a1)向网络中输入低分辨率图像块，网络进行前向传播得到标签；

(6a2)计算标签与高分辨图像块的误差值，根据误差值e调整网络参数：若误差值e＞30，返回(6a1)，否则，训练结束，得到两个网络参数W_i和b_i,其中W_i表示网络中的边连接的权值向量，b_i表示网络中下一次对上一层的偏置。

8.根据权利要求1所述的方法，其特征在于：(6b)中的平均绝对误差MAE，公式表示如下：

其中，N表示单次参与训练的所有低分辨与对应高分辨图像块的个数，I表示网络生成的高分辨图像，表示参照的原始高分辨图像，下标o代表第o个图像块，||·||₁表示1-范数，即两数值之差的绝对值。

9.根据权利要求1所述的方法，其特征在于，(6b)中用随机梯度下降法对两个网络W_i参数和b_i进行微调，实现步骤如下：

(6b1)输入一个低分辨率图像；

(6b2)计算网络的输出与所输入的低分辨率图像对应的高分辨率图像之间的差值l_MAE，通过l_MAE计算得到的W_i的偏导数G_W,i和b_i的偏导数G_b,i

(6b3)依照下式，调整网络中的每个参数：

b_i′＝b_i-α×G_b,i，

W_i′＝W_i-α×G_W,i，

其中，b_i′表示网络调整参数后的参数b_i，W_i′表示网络调整参数后的参数W_i，α表示调整参数时的学习率，α∈[0,1]；

(6b4)判断调整参数后网络的损失值e是否小于30，若是，则得到训练好的网络，否则，返回(6b1)。