CN115953294A

CN115953294A - 一种基于浅层通道分离与聚合的单图像超分辨率重建方法

Info

Publication number: CN115953294A
Application number: CN202211466547.1A
Authority: CN
Inventors: 李艳春; 范明慧; 裴廷睿; 朱江; 申冬苏; 贺新安
Original assignee: Xiangtan University
Current assignee: Xiangtan University
Priority date: 2022-11-22
Filing date: 2022-11-22
Publication date: 2023-04-11

Abstract

本发明公开一种基于浅层通道分离与聚合的单图像超分辨率重建方法，属于超分辨率图像重建领域。首先对数据进行预处理得到高分辨率图片和低分辨率图片；然后构建并训练基于浅层通道分离与聚合的单图像超分辨率重建网络，包括通道分离与聚合模块和全局特征聚合模块；通道分离与聚合模块用于对浅层图片信息的特征提取，能更好的获得图片的细节和纹理信息；全局特征聚合模块用于聚合通道分离与聚合模块所得的特征信息，更好的获得全局信息。本发明方法有利于学习深浅特征模式的关系，从而恢复更多的细粒度信息，与大型重量级网络相比，在计算资源和性能之间达到了较好的均衡。

Description

一种基于浅层通道分离与聚合的单图像超分辨率重建方法

技术领域

本发明属于图像处理技术领域，涉及基于深度学习的单张图像超分辨重建方法，特别涉及基于通道分离与聚合的单图像超分辨重建方法。

背景技术

视觉信息具有直观高效的描述能力，在人类社会中扮演着重要的角色。图像中包含了大量的视觉信息，人们能从图像中获得所描述对象的相关信息，是重要的信息载体。一般来说，图像的分辨率越高，蕴含的细节会更多，而在很多领域中，如医学影像、视频监控等应用中，细节起到了非常关键作用。但由于硬件设备、自然环境、人为因素和其他因素的影响，成像系统采集的图像存在分辨率低、图像模糊等问题，无法满足高质量图像的需求。图像超分辨重建技术可以将采集的低质量图像重建成更清晰、分辨率更高、视觉效果更好的图像，从而提高图像的分辨率，恢复图像中的细节。近二十年来，图像超分辨重建一直是图像处理、计算机视觉和机器学习等领域的研究热点，广受工业界和学术界的关注。

传统超分辨率重建算法主要包括基于插值的超分辨率重建、基于退化模型的超分辨率重建、基于学习的超分辨率重建算法。基于插值的超分辨率重建是利用基函数或插值核来逼近损失的图像高频信息，从而实现超分辨率重建。常见基于插值的方法包括最近邻插值法、双线性插值法和双三次插值法。基于退化模型的超分辨率重建是假定高分辨率图片经过适当的运动变化、模糊、噪声得到的低分辨率图片，通过提取低分辨率图像中的关键信息，并结合对未知的超分辨图像的先验知识来约束超分辨率图像的生成。常见方法包括迭代反投射、凸集投影法和最大后验概率法等。基于学习的超分辨率重建是利用大量的训练数据，学习低分辨率图像和高分辨率图像之间某种对应关系，根据映射预测低分辨率图片所对应的高分辨率图片，从而实现图像的超分辨率重建过程。常见的基于学习的方法包括流形学习、稀疏编码方法。

近年来，超分辨工作中，传统超分辨率重建方法不适用于放大倍数较大的超分辨率重建，基于深度学习的超分辨率重建算法是目前研究的主流方向，典型的网络结构有SRCNN、ESPCN、VDSR、DRCN和EDSR 等；单图像超分辨率领域中首次使用卷积神经网络(CNN)的是Dong提出的SRCNN。与传统算法相比，SRCNN 增加了细节特征，明显地提升了视觉效果。ESPCN提出了一种新的上采样方式，通过通道扩增和像素点重排来实现的图像放大。VDSR该算法使用了20个卷积层来提取输入图像的特征，并引入残差学习以保证细节特征可以长距离的保留。另一种深度递归卷积网络DRCN每一层都采用监督式递归层，通过不断循环递归层来获取高频信息，并采用跳跃连接结构减轻了网络的梯度消失。EDSR修改了残差块，将残差块中的归一化层给删除了，删除之后网络的参数降低了40％，2×的效果增加了0.48db。上述基于深度学习的网络结构，随着层数的增多，不仅能从数据中提取多层级特征，还能进行端到端的联合优化和重建，因而具有更强的表征能力。目前大部分超分辨率网络虽然能取得相对较好的效果，但受模型参数多、计算量大等问题的影响，在计算能力有限、内存容量不足的情况下，基于深度学习方法的超分辨率重建很难应用到实际场景中。

发明内容

本发明提出了一种基于浅层通道分离与聚合的单图像超分辨率重建方法，主要应用于图像处理领域，主要优点是能够在参数、内存使用和计算量中达到平衡，实现性能最优。通过对通道的分离与聚合，提取特征并增加信息的获取，从而实现更好的效果。

一种基于浅层通道分离与聚合的单图像超分辨率重建方法，步骤如下：

步骤(1)训练数据集处理；

对长宽为H_r×W_r的I_HR高分辨图片进行降质处理并缩放至s倍，获得长宽为(H_r//s)×(W_r//s)的I_LR低分辨图片；将所有高分辨率图像对与低分辨率图像对组成训练集。

步骤(2)构建基于浅层通道分离与聚合的图像超分辨率重建网络；

图像超分辨率重建网络包括浅层通道分离与聚合模块、非线性全局特征聚合模块和上采样模块。浅层通道分离与聚合模块用于对低分辨率图片的通道进行分离和聚合，提取其中的特征。而全局特征聚合模块聚合每个浅层通道分离与聚合模块所得的特征。上采样模块是将通过网络训练所得的图像放大至高分辨率图像大小一样。

步骤(3)训练基于浅层通道分离与聚合的图像超分辨率重建网络。

步骤(4)通过训练好的图像超分辨重建网络完成图像超分辨重建任务。

步骤(1)具体方法如下；

采用公开数据集DIV2K数据集作为训练数据，DIV2K数据集包含800张训练集、100张验证集、100张测试集。其中已有800张高清图片，将其降质处理，采用的降质方法是双三次插值法进行指定倍数下采样的模糊处理，得到缩小指定倍数的低分辨率图片I_LR。将训练数据的低分辨率图片I_LR作为模型训练过程中的输入图片，高分辨率图片I_HR作为模型训练过程中所得图片的对比图片。

步骤(2)具体方法如下；

基于浅层通道分离与聚合的图像超分辨率重建网络分为并联的第一分支和第二分支。第一分支对通道进行分离，依次加入第二分支中，以丰富浅层网络的纹理信息。第一分支包含第一三维卷积层，在此基础上对通道进行分离操作，得到n//n1通道组，n表示低分辨率图像的通道数，n1表示每一组的通道数。再将每一组的通道数依次添入第二分支的浅层通道分离与聚合模块后面。

第二分支提取图像的浅层网络信息，包含第二三维卷积层，n//n1个浅层通道分离与聚合模块，每个浅层通道分离与聚合模块后加入一个三维卷积层。浅层通道分离与聚合模块是由三个三维的卷积层和非线性激活函数组成，通过对通道进行连接和加和操作，能提取更多丰富的浅层图像几何信息。全局特征聚合模块由一个亚像素卷积、两个三维的卷积层和非线性激活函数组成，其中两个卷积层共享参数。每个浅层通道分离与聚合模块提取的特征都将输入全局特征聚合模块，从而更好的得到全局特征。上采样模块是由通道注意力和空间注意力机制CBAM、亚像素卷积和一个三维的卷积层组成，其中CBAM的数量是s²-1。上采样模块不仅仅对图像进行放大操作，同时还对图像使用通道和空间注意力机制方法，更加关注于有着丰富细节、纹理特征的通道。

步骤(3)具体方法如下；

图像超分辨重建网络的输入包括两部分：第一部分低分辨率图像经过第一三维卷积，将通道数由3增加至n，每n1个通道一组，一共分离出n//n1组，再将每一组通道中的特征加入浅层通道分离与聚合模块。第二部分同一张低分辨率图像经过另一个三维卷积，将通道数增加至n，使用浅层通道分离与聚合模块，取前n-n1通道数，再将第一分支分离的通道组与浅层通道分离与聚合模块做连接，经过一个三维卷积层，所得的特征图将输入下一个浅层通道分离与聚合模块，一共经历n//n1次。每一次的连接也将输入全局特征聚合模块，以获取更好的全局特征，再进行上采样操作，将通过网络训练的图像放大至与高分辨率图像大小一致。

步骤(4)具体方法如下；

采用公认的测试集数据set 5和set 14，将其图片双三次插值法进行指定倍数下采样的模糊处理，得到缩小指定倍数的低分辨率图片I_LR将低分辨率图片I_LR放入已经训练好的图像超分辨重建网络中进行训练，得到图像超分辨重建网络的重要参数psnr，即峰值信噪比。

本发明有益效果如下：

本发明的创新是提出基于浅层通道分离与聚合的单图像超分辨率重建方法，将浅层通道提取的特征信息分成不同的组合，逐步加入所设计深层特征提取模块中，进行特征聚合和蒸馏，有利于学习深浅特征模式的关系，从而恢复更多的细粒度信息。与大型重量级网络相比，本网络模型所需的参数量较少，但却获得与之相当的实验结果，在计算资源和性能之间达到了较好的均衡。

附图说明

图1为本发明提供的一种基于浅层通道分离与聚合的单图像超分辨率重建方法流程图；

图2为本发明提供的基于浅层通道分离与聚合的超分辨率网络结构示意图；

图3为本发明提供的浅层通道分离与聚合模块结构示意图；

图4为本发明提供的全局特征聚合模块结构示意图；

图5为本发明提供的上采样模块结构示意图。

具体实施方式

下面结合附图对本发明作进一步的详细描述。

参照图1，对本发明的实现步骤进行进一步详细描述。

步骤(1)数据预处理；

采用公开数据集DIV2K数据集作为训练数据，DIV2K数据集包含800张训练集、100张验证集、100张测试集；对长宽为H_r×W_r的I_HR高分辨图片进行降质处理并缩放至s倍，获得长宽为(H_r//s)×(W_r//s)的I_LR低分辨图片。将所有高分辨率图像对与低分辨率图像对组成训练集。

训练数据处理：DIV2K中包含800张高清图片，将其降质处理。采用的降质方法是双三次插值法进行指定倍数下采样的模糊处理，得到缩小指定倍数的低分辨率图片I_LR。低分辨率图片I_LR由高分辨率图片I_LR经过倍数为2的双三次插值法下采样得到，即低分辨率图片I_LR的宽和高均为高分辨率图片I_HR的1/2。将训练数据的低分辨率图片I_LR作为模型训练过程中的输入图片，高分辨率图片I_HR作为模型训练过程中所得图片的对比图片。

图像超分辨率重建网络包括浅层通道分离与聚合模块、非线性全局特征聚合模块和上采样模块，整体网络结构图如图2所示。浅层通道分离与聚合模块用于对低分辨率图片的通道进行分离和聚合，提取其中的特征，其模块结构图如图3所示。非线性全局特征聚合模块聚合每个浅层通道分离与聚合模块所得的特征，其模块结构图如图4所示。上采样模块是将缩小的低分辨率图片将其放大至高分辨率图片大小一样，其模块结构图如图5所示。

该网络分为两个分支，第一支分支将低分辨率图片通道平均分为4个通道数为一组，每一组加入每个浅层通道分离与聚合模块后面。第二分支将低分辨率图片传入每个浅层通道分离与聚合模块，浅层通道分离与聚合模块是由三个卷积层和LeakyRelu激活函数组成。卷积核的大小为3×3，填充边设置为1，步幅为1，激活函数的参数设置为0.05。输入特征图的通道数为64，经过3×3的卷积核后，特征图输出通道为32，经过一个LeakyRelu激活函数。在此基础上做残差和连接，最后提取图片的特征，输出下一个浅层通道分离与聚合模块。全局特征聚合模块由一个亚像素卷积、两个三维的卷积层和非线性激活函数组成，其具体参数设置是第一个卷积核大小1×1，填充边设置为0，步幅为1，第二个卷积核大小2×2，填充边设置为0，步幅为2，其中两个卷积共享参数。Leaky Relu非线性激活函数设置的参数也为0.05。上采样模块是由通道注意力和空间注意力机制CBAM、亚像素卷积和一个卷积核组成，其中CBAM的数量是s²-1，s 为倍数，使用卷积核大小为3×3，填充边设置为1，步幅为1。

步骤(3)训练基于浅层通道分离与聚合的图像超分辨率重建网络；

图像超分辨重建网络的输入包括两部分：第一部分是将通道数为3的低分辨率图片，经过3×3卷积层，将通道数增加至64，每4个通道一组，一共分离出16组，再将每一组通道中的特征加入浅层通道分离与聚合模块。第二部分是将通道数为3的低分辨率图片也经过3×3卷积，将通道数增加至64，使用浅层通道分离与聚合模块，取前60个通道数，再将第一分支分离的通道组与浅层通道分离与聚合模块做连接，经过一个三维卷积层，所得的特征图将输入下一个浅层通道分离与聚合模块。以此类推，一共经历16 次。每一次的连接也将输入全局特征聚合模块，以获取更好的全局特征，再进行上采样操作，将图片放大至高分辨率图片大小。

步骤(4)通过训练好的图像超分辨重建网络完成图像超分辨重建任务；

采用公认的测试集数据set 5和set 14，将其图片双三次插值法进行2倍数下采样的模糊处理，得到缩小2倍数的低分辨率图片I_LR将低分辨率图片I_LR放入已经训练好的图像超分辨重建网络中进行训练，得到图像超分辨重建网络的重要参数psnr，即峰值信噪比。

Claims

1.一种基于浅层通道分离与聚合的单图像超分辨率重建方法，其特征在于，该方法包括：

步骤(1)、训练数据集处理；

对长宽为H_r×W_r的I_HR高分辨图像进行降质处理并缩放至s倍，获得长宽为(H_r//s)×(W_r//s)的I_LR低分辨图像；将所有高分辨率图像对与低分辨率图像对组成训练集；

步骤(2)、构建基于浅层通道分离与聚合的单图像超分辨率重建网络；

图像超分辨率重建网络包括浅层通道分离与聚合模块、全局特征聚合模块和上采样模块；浅层通道分离与聚合模块用于对低分辨率图像的通道进行分离和聚合，提取其中的特征；而全局特征聚合模块聚合每个浅层通道分离与聚合模块所得的特征；上采样模块是将通过网络训练所得的图像放大至高分辨率图像大小一样；

步骤(3)、训练基于浅层通道分离与聚合的单图像超分辨率重建网络；

步骤(4)、通过训练好的单图像超分辨重建网络完成单图像超分辨重建任务。

2.根据权利要求1所述的浅层通道分离与聚合的单图像超分辨率重建方法，其特征在于，步骤(1)具体方法如下：

采用公开数据集DIV2K数据集作为训练数据，DIV2K数据集包含800张训练集、100张验证集、100张测试集；DIV2K中的800张训练集为高清图像，将其降质处理；采用的降质方法是双三次插值法并进行指定倍数下采样的模糊处理，得到缩小指定倍数的低分辨率图像I_LR；低分辨率图像I_LR由高分辨率图像I_HR经过倍数为s的双三次插值法下采样得到，即低分辨率图像I_LR的宽和高均为高分辨率图像I_HR的1/s；将训练数据的低分辨率图像I_LR作为模型训练过程中的输入图像，高分辨率图像I_HR作为模型训练过程中所得图像的对比图像。

3.根据权利要求1所述的浅层通道分离与聚合的单图像超分辨率重建方法，其特征在于，步骤(2)具体方法如下：

基于浅层通道分离与聚合的图像超分辨率重建网络分为并联的第一分支和第二分支；第一分支对通道进行分离，依次加入第二分支中，以丰富浅层网络的纹理信息；第一分支包含第一三维卷积层，在此基础上对通道进行分离操作，得到n//n1通道组，n表示低分辨率图像的通道数，n1表示每一组的通道数；再将每一组的通道数依次添入第二分支的浅层通道分离与聚合模块后面；

第二分支提取图像的浅层网络信息，包含第二三维卷积层，n//n1个浅层通道分离与聚合模块，每个浅层通道分离与聚合模块后加入一个三维卷积层；浅层通道分离与聚合模块是由三个三维的卷积层和非线性激活函数组成，通过对通道进行连接和加和操作，能提取更多丰富的浅层图像几何信息；全局特征聚合模块由一个亚像素卷积、两个三维的卷积层和非线性激活函数组成，其中两个卷积层共享参数；每个浅层通道分离与聚合模块提取的特征都将输入全局特征聚合模块，从而更好的得到全局特征；上采样模块是由通道注意力和空间注意力机制CBAM、亚像素卷积和一个三维的卷积层组成，其中CBAM的数量是s²-1；上采样模块不仅仅对图像进行放大操作，同时还对图像使用通道和空间注意力机制方法，更加关注于有着丰富细节、纹理特征的通道。

4.根据权利要求1所述的浅层通道分离与聚合的图像超分辨率重建方法，其特征在于，步骤(3)具体方法如下：

图像超分辨重建网络的输入包括两部分：第一部分低分辨率图像经过第一三维卷积，将通道数由3增加至n，每n1个通道一组，一共分离出n//n1组，再将每一组通道中的特征加入浅层通道分离与聚合模块；第二部分同一张低分辨率图像经过另一个三维卷积，将通道数增加至n，使用浅层通道分离与聚合模块，取前n-n1通道数，再将第一分支分离的通道组与浅层通道分离与聚合模块做连接，经过一个三维卷积层，所得的特征图将输入下一个浅层通道分离与聚合模块，一共经历n//n1次；每一次的连接也将输入全局特征聚合模块，以获取更好的全局特征，再进行上采样操作，将通过网络训练的图像放大至与高分辨率图像大小一致。

5.根据权利要求1所述的浅层通道分离与聚合的图像超分辨率重建方法，其特征在于，步骤(4)具体方法如下：

采用公认的测试集数据set5和set14，将其图像双三次插值法进行指定倍数下采样的模糊处理，得到缩小指定倍数的低分辨率图像I_LR再将低分辨率图像I_LR放入已经训练好的图像超分辨重建网络中进行训练，得到图像超分辨重建网络的重要参数psnr，即峰值信噪比。