CN114331830B - 一种基于多尺度残差注意力的超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于多尺度残差注意力的超分辨率重建方法，具体包括如下步骤：步骤1，数据预处理；步骤2，构建基于多尺度残差注意力的特征提取模块；步骤3，构建基于残差注意力的特征增强模块及重建模块；采用本发明，通过实验结果表明，重建出的图像质量更高，细节纹理更加完整，丰富了人工智能和计算机视觉的方法体系，支撑了图像恢复领域的发展，为超分辨率重建领域提升重建质量提供了一种选择。

Description

一种基于多尺度残差注意力的超分辨率重建方法

技术领域

本发明属于计算机视觉及人工智能技术领域，涉及一种基于多尺度残差注意力的超分辨率重建方法。

背景技术

单图像超分辨率重建是指利用计算机将一幅低分辨率图像或图像序列进行处理，恢复出高分辨率图像的一种图像处理技术；

近年来，在图像超分辨率领域，单图像超分辨率的关注度越来越高，如何重建出含有丰富细节的高分辨率图像并且有较高的客观判别值，成了图像处理中的研究热点。传统研究方法常用基于插值的、基于重建的方法，随着机器学习和深度学习的发展又产生了基于学习的方法，其中基于深度卷积神经网络算法重建出的图像质量较高，受应用场景限制较小，是目前最主流的超分辨率重建方法，但存在模型计算复杂度高、尺度信息利用不足及重建效果不理想等问题。

我们选择以卷积神经网络重建方法为基础，围绕着基于多尺度残差注意力的超分辨率重建任务的四项关键技术展开研究，包括数据预处理、特征提取、特征增强以及图像重建。通过四项关键技术的实现，共同完成超分辨率重建的任务，从而弥补现有重建方法大多网络模型参数量庞大、计算复杂度高、重建效果不理想等问题，这对实现视频监控、医学图像处理、人脸识别、遥感影像等技术的实现具有重要意义。

发明内容

本发明的目的是提供一种基于多尺度残差注意力的超分辨率重建方法，解决了现有重建方法大多有网络模型参数量庞大、计算复杂度高、重建效果不理想等问题，重建图像的纹理细节更加丰富逼真，重建质量大幅提升。

本发明所采用的技术方案是，一种基于多尺度残差注意力的超分辨率重建方法，具体按以下步骤实施：

步骤1，数据预处理；

步骤2，构建基于多尺度残差注意力的特征提取模块；

步骤3，构建基于残差注意力的特征增强模块及重建模块。

本发明的特点还在于：

其中步骤1中数据预处理具体按以下步骤实施：

步骤1.1，采用DIV2K的1-800号图像作为训练数据集，801-810号图像作为验证数据集，Set5、Set14、B100以及Urban100作为测试数据集，并对训练数据集图像进行随机水平旋转或竖直旋转进行数据扩充；

步骤1.2，通过卷积代替双三次线性插值方法进行下采样，生成2倍、3倍和4倍缩放因子下的低分辨率图像，分别用于2倍、3倍和4倍超分辨重建模型的训练、及测试；

设O是输出尺寸，W是图片大小，K是过滤器尺寸，P是填充，S是步幅，对原始图像进行下采样操作，计算公式如式(1)所示：

步骤1.3，将步骤1.2生成的低分辨率图像作为输入，将其裁剪为48×48大小的块作为网络输入的RGB图像，对输入RGB图像的三个通道减去均值向量，假设原张量为(x，y，z)，减去均值向量后的张量为(x′，y′，z′)，如式(2)所示：

其中步骤2中构建基于多尺度残差注意力的特征提取模块具体按以下步骤实施：

步骤2.1，构建基于子空间蓝图卷积的特征提取模块对图像进行初次特征提取；

步骤2.2，构建多尺度特征提取模块进行图像特征的二次提取；

步骤2.3，构建通道注意力模块CAM，在特征映射中进行自适应特征细化，根据细节纹理的重要度分配不同的权重比；

其中步骤2.1对图像进行初次特征提取具体按以下步骤实施：

步骤2.1.1，以点卷积与深度卷积为基础，构建子通道蓝图卷积模块，具体步骤如下：

步骤2.1.1.1，对于标准CNN，假设输入张量为大小为M×Y×X的U，则U通过大小为M×K×K的卷积核F⁽¹⁾，...，F^(N)生成N×Y×X的V，如式(3)所示：

V_{n，：，：}＝U*F⁽ⁿ⁾  (3)

步骤2.1.1.2，点卷积层所使用的参数矩阵W的行与行之间存在高度关联，因此将该权重矩阵分解，分解为一个大小为NxM′的矩阵

和另一个大小为M×M′矩阵

如式(4)所示：

W＝W^A·W^B  (4)

其中

p∈(0.0，1.0)，p取0.5；

步骤2.1.1.3，矩阵通过添加正交约束来减少参数之间的相互关联，如式(5)所示：

式中，W为单位矩阵，是Frobenius范数；

步骤2.1.2，构建特征提取模块，首先经过第一次带有正交约束的点卷积层后生成图像U’，通道数由M变为M’，再经过一次点卷积，通道数调整为最终需要的N；之后经过K*K的卷积核进行深度卷积，生成图像V，Shape为N*Y*X，最后经过PReLU函数进行特征激活；

其中步骤2.2中图像特征的二次提取具体按以下步骤实施：

步骤2.2.1，构建三个旁路A、B和C，其中A为上方旁路，中间旁路B分为M₁和M₂两个阶段，下方旁路C分为N₁和N₂两个阶段，分别使用1、3和5的卷积核大小，此处卷积使用步骤2.1构建的子通道蓝图卷积，进行特征初次提取，如下式所示：

式中w和b分别表示权重和偏置，上标表示它们所在的层数，下标表示层中使用的卷积核的大小，σ(x)＝max(0，x)代表ReLU激活函数；

步骤2.2.2，由M₁和N₁提取的双尺度特征采用级联进行特征融合，输出作为M₂和N₂的输入；

步骤2.2.3，将M₂和N₂卷积的通道数增加一倍，最后对A，M₂和N₂的输出进行特征融合，并对三个尺度的低维特征进行两次融合，如(9)和(10)所示：

式中，[M₁，N₁],[N₁，M₁],[M₂，N₂，A]代表特征堆叠操作；

步骤2.2.4，采用1×1卷积自适应提取特征，最终采用局部残差连接到F_n-1和F_n，如下式所示：

其中步骤2.3具体按以下步骤实施：

步骤2.3.1，对输入特征图做自适应平均池化，得到一个1*1*C的通道描述F_avg；

步骤2.3.2，对输入特征图做自适应最大池化，得到一个1*1*C的通道描述F_max；

步骤2.3.3，分别对F_avg与F_max采用1*1卷积进行降维，将通道数由56调整为14，并使用ReLU函数进行激活；再采用1*1卷积进行升维，将通道数恢复至56；

步骤2.3.4，将F_avg与F_max经步骤2.3.3处理后的结果进行相加，并经过Sigmoid激活，最后输出Mc(F)，如下式所示：

步骤2.3.5，将权重系数和原来的特征F相乘即可得到缩放后的新特征，从而根据细节纹理的重要度分配不同的权重比；

其中步骤3构建基于残差注意力的特征增强模块及重建模块具体按以下步骤实施：

步骤3.1，通过1*1卷积进行降维，将原输入通道数d压缩至s(s<<d)，通过通道压缩减少模型计算量；

步骤3.2，构建残差注意力映射块RCSB，将低维空间特征信息映射到高维空间；

步骤3.3，通过1*1卷积进行升维，通道数由s恢复至d，并加入通道注意力块；

步骤3.4，构建特征重建模块进行超分辨重建；

步骤3.5，对输入图像的RGB通道加上均值向量，输出RGB图像，设原张量为(x，y，z)，加上均值向量后的张量为(x′，y′，z′)，计算公式如下：

步骤3.6，设置训练超参，通过峰值信噪比与结构相似度作为评价指标，进行模型的训练与测试；

其中步骤3.2中，构建残差注意力映射块RCSB，将低维空间特征信息映射到高维空间具体按以下步骤实施：

步骤3.2.1，第一层为一个3*3卷积，输入通道为12，输出通道为12；

步骤3.2.2，第二层为一个3*3卷积，输入通道为12，输出通道为12；

步骤3.2.3，第三层将步骤3.2.2的输出与重建倍数因子进行矩阵乘法，实现低维空间到高维空间的特征映射；

步骤3.2.4，构建恒等映射，最后将原始输入与步骤3.2.3的输出进行相加；

步骤3.2.5，根据步骤2.3构建通道注意力块，进行通道特征权重分配；

其中步骤3.4中构建特征重建模块进行超分辨重建具体按以下步骤实施：

步骤3.4.1，通过深度可分离卷积将张量大小调整为X×Y×d；

步骤3.4.2，通过一个1×1卷积将通道数由d调整为r²d，其中r为缩放倍数，r＝(2，3，4)；

步骤3.4.3，采用亚像素卷积操作将地分辨率图像重建为rX×rY的高分辨率图；

步骤3.4.4，通过3×3卷积将通道数恢复至三通道；

其中步骤3.6具体按以下步骤实施：

步骤3.6.1，MDSRN模型将s设置为20，d设置为64，RCSB个数为64；初始学习率设为2×10^-4，batchsize设为16，epoch设为1000，优化器采用Adam，其中β₁＝0.9,β₂＝0.999,以及∈＝10^-8，损失函数采用L1损失，采用峰值信噪比(PSNR)与结构相似度(SSIM)作为评价指标来评估重建图像质量；

步骤3.6.2，将2倍放大因子训练完成后的模型参数及权重作为3倍、4倍放大因子模型训练的预训练权重，从而加快收敛速度。

本发明的有益效果是：

本发明的方法中数据预处理工作不参与模型训练过程，特征提取采用蓝图卷积，更加关注跨内核的相关性，并去掉了影响图像对比度信息以及图像生成质量的批处理层，大幅减少计算量，实现了模型轻量化，并利用多尺度模块提取不同尺度下的图像特征，充分利用了多尺度下图像的细节特征。通过融入通道注意力机制的残差块，可以有效的在特征映射中进行自适应特征细化，根据细节纹理的重要度分配不同的权重比，从而改善重建结果在大尺度因子下缺乏高频信息和纹理细节的问题，最后采用深度可分离卷积与亚像素卷积进行高质量图像重建。实验结果表明，与主流方法相比，重建出的图像质量更高，细节纹理更加完整，丰富了人工智能和计算机视觉的方法体系，支撑了图像恢复领域的发展，为超分辨率重建领域提升重建质量提供了一种选择。

附图说明

图1是本发明的一种基于多尺度残差注意力的超分辨率重建方法中实施例步骤1中DIV2K数据集的0012号原始高清图像；

图2是本发明的一种基于多尺度残差注意力的超分辨率重建方法中实施例的步骤1中使用卷积下采样生成的DIV2K数据集的0012号图像降低4倍分辨率的低分辨率图像；

图3是本发明的一种基于多尺度残差注意力的超分辨率重建方法中实施例的步骤2中三种卷积结构对比图；

图4是本发明的一种基于多尺度残差注意力的超分辨率重建方法中实施例的步骤2中基于子通道蓝图卷积的特征提取模块；

图5是本发明的一种基于多尺度残差注意力的超分辨率重建方法中实施例的步骤2中多尺度特征提取模块；

图6是本发明的一种基于多尺度残差注意力的超分辨率重建方法中实施例的步骤3中整体模型框架图；

图7是本发明的一种基于多尺度残差注意力的超分辨率重建方法中实施例的步骤3得到的Set5数据集中baby图像在4倍放大因子下的超分辨率重建结果；

图8是本发明的一种基于多尺度残差注意力的超分辨率重建方法中实施例的步骤3得到的Set5数据集中butterfly图像在4倍放大因子下的超分辨率重建结果；

图9是本发明的一种基于多尺度残差注意力的超分辨率重建方法中实施例的步骤3得到的Set14数据集中woman图像在4倍放大因子下的超分辨率重建结果以及与主流网络重建细节对比。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明提供了一种基于多尺度残差注意力的超分辨率重建方法，具体按以下步骤实施：

步骤1，进行数据预处理操作：

步骤1.1采用DIV2K的1-800号图像作为训练数据集，801-810号图像作为验证数据集，Set5、Set14、B100以及Urban100作为测试数据集，并对训练数据集图像进行随机水平旋转或竖直旋转进行数据扩充；

步骤1.2，输入原始数据集DIK2K图像如图1所示，通过卷积代替双三次线性插值方法进行下采样，分别生成2倍、3倍和4倍缩放因子下的低分辨率图像；假设O是输出尺寸，W是图片大小，K是过滤器尺寸，P是填充，S是步幅，对原始图像进行下采样操作，计算如下式所示：

图1对应的为DIV2K数据集中的0012号原始高清图像，通过步骤1.2后生成如图2所示降低4倍分辨率后的图像；

步骤1.3，将原始图像裁剪为48×48大小的块作为网络输入的RGB图像，对输入RGB图像的三个通道减去均值向量，假设原张量为(x，y，z)，减去均值向量后的张量为(x′，y′，z′)，如下式所示：

步骤2.1，构建基于子空间蓝图卷积的特征提取模块对图像进行初次特征提取，具体如下：

步骤2.1.1，以点卷积与深度卷积为基础，构建子通道蓝图卷积模块，如图3所示；

步骤2.1.1.1，对于标准CNN，假设输入张量为大小为M×Y×X的U，则U通过大小为M×K×K的卷积核F⁽¹⁾，...，F^(N)生成N×Y×X的V，如下式所示：

V_{n，：，：}＝U*F⁽ⁿ⁾  (3)；

步骤2.1.1.2，点卷积层所使用的参数矩阵W的行与行之间存在高度关联，因此将该权重矩阵分解，分解为一个大小为NxM′的矩阵

和另一个大小为M×M′矩阵

如下式所示：

W＝W^A·W^B  (4)

其中

p∈(0.0，1.0)，在本方法中p取0.5；

步骤2.1.1.3，矩阵通过添加正交约束来减少参数之间的相互关联，如下式所示：

其中W为单位矩阵，是Frobenius范数；

步骤2.1.2，构建特征提取模块，首先经过第一次带有正交约束的点卷积层后生成图像U’，通道数由M变为M’，再经过一次点卷积，通道数调整为最终需要的N；之后经过K*K的卷积核进行深度卷积，生成图像V，Shape为N*Y*X，最后经过PReLU函数进行特征激活，模块结构如图4所示；

步骤2.2，构建多尺度特征提取模块进行图像特征的二次提取，如图5所示，具体如下：

步骤2.2.1，构建三个旁路A、B和C，其中A为上方旁路，中间旁路B分为M₁和M₂两个阶段，下方旁路C分为N₁和N₂两个阶段，分别使用1、3和5的卷积核大小，此处卷积使用步骤2.1构建的子通道蓝图卷积，进行特征初次提取，如下式所示：

式中w和b分别表示权重和偏置，上标表示它们所在的层数，下标表示层中使用的卷积核的大小，σ(x)＝max(0，x)代表ReLU激活函数；

步骤2.2.2，由M₁和N₁提取的双尺度特征采用级联进行特征融合，输出作为M₂和N₂的输入；

步骤2.2.3，将M₂和N₂卷积的通道数增加一倍，最后对A，M₂和N₂的输出进行特征融合，并对三个尺度的低维特征进行两次融合，如(9)和(10)所示：

式中，[M₁，N₁],[N₁，M₁],[M₂，N₂，A]代表特征堆叠操作；

步骤2.2.4，这些特征映射包含大量冗余信息，直接用于重构将大大增加计算复杂度，因此采用1×1卷积自适应提取特征，并最终采用局部残差连接到F_n-1和F_n，如下式所示：

步骤2.3，构建通道注意力块CAM，通过通道注意力模块可以有效的在特征映射中进行自适应特征细化，具体如下：

步骤2.3.1，对输入特征图做自适应平均池化，得到一个1*1*C的通道描述F_avg；

步骤2.3.2，对输入特征图做自适应最大池化，得到一个1*1*C的通道描述F_max；

步骤2.3.3，分别对F_avg与F_max采用1*1卷积进行降维，将通道数由56调整为14，并使用ReLU函数进行激活；再采用1*1卷积进行升维，将通道数恢复至56；

步骤2.3.4，将F_avg与F_max经步骤2.3.3处理后的结果进行相加，并经过Sigmoid激活，最后输出Mc(F)，如下式所示；

步骤2.3.5，将权重系数和原来的特征F相乘即可得到缩放后的新特征，从而根据细节纹理的重要度分配不同的权重比；

步骤3，构建基于残差注意力的特征增强模块及重建模块，具体如下：

步骤3.1，通过1*1卷积进行降维，将原输入通道数d压缩至s(s<<d)，根据数据集特征，s为通道压缩因子，通过通道压缩以减少模型计算量；

步骤3.2，构建残差注意力映射块RCSB，将低维空间特征信息映射到高维空间，如图4所示，具体如下：

步骤3.2.1，第一层为一个3*3卷积，输入通道为12，输出通道为12；

步骤3.2.2，第二层为一个3*3卷积，输入通道为12，输出通道为12；

步骤3.2.3，第三层将步骤3.2.2的输出与重建倍数因子进行矩阵乘法，实现低维空间到高维空间的特征映射；

步骤3.2.4，构建恒等映射，最后将原始输入与步骤3.2.3的输出进行相加，解决深层网络难以训练、退化等问题；

步骤3.2.5，根据步骤2.3构建通道注意力块，通过注意力机制进行通道特征权重分配；

步骤3.3，通过1*1卷积进行升维，通道数由s恢复至d，并在输出后加上一个通道注意力模块；

步骤3.4，构建特征重建模块进行超分辨重建，具体如下：

步骤3.4.1：通过深度可分离卷积将张量大小调整为X×U×d；

步骤3.4.2，通过一个1×1卷积将通道数由d调整为r²d，其中r为缩放倍数，r＝(2，3，4)；

步骤3.4.3，采用亚像素卷积操作将地分辨率图像重建为rX×rY的高分辨率图；

步骤3.4.4，通过3×3卷积将通道数恢复至三通道；

步骤3.5，对输入图像的RGB通道加上均值向量，输出RGB图像。假设原张量为(x，y，z)，加上均值向量后的张量为(x′，y′，z′)，计算公式如下所示：

步骤3.6，设置训练超参，进行网络的训练与测试，具体如下：

步骤3.6.1，本方法提出的MDSRN模型将s设置为20，d设置为64，RCSB个数为64，整体模型如图6所示；初始学习率设为1×10^-4，batchsize设为16，epoch设为1000，优化器采用Adam，其中β₁＝0.9,β₂＝0.999,以及∈＝10^-8，损失函数采用L1损失，采用峰值信噪比(PSNR)与结构相似度(SSIM)作为评价指标来评估重建图像质量；

步骤3.6.2，将2倍放大因子训练完成后的模型参数及权重作为3倍、4倍放大因子模型训练的预训练权重，从而加快收敛速度，模型性能更佳；

实验结果如表1所示，结果表明，采用本发明提出的方法训练出的网络模型MDSRN，取得了较高的PSNR与SSIM值，在高倍缩放因子下表现尤为出色。超分辨率重建出的效果图像如图7，图8所示，左侧为低分辨率图像，右侧为超分辨重建出的高分辨率图像，与其他主流模型重建结果对比如图9所示；

表1.本发明方法与主流方法结果对比，其中加了下划线的为最好的结果

Claims (8)

1.一种基于多尺度残差注意力的超分辨率重建方法，其特征在于，具体按以下步骤实施：

步骤1，数据预处理；

步骤2，构建基于多尺度残差注意力的特征提取模块，具体按以下步骤实施：

步骤2.1，构建基于子空间蓝图卷积的特征提取模块对图像进行初次特征提取；对图像进行初次特征提取具体按以下步骤实施：

步骤2.1.1，以点卷积与深度卷积为基础，构建子通道蓝图卷积模块，具体步骤如下：

步骤2.1.1.1，对于标准CNN，假设输入张量为大小为M×Y×X的U，则U通过大小为M×K×K的卷积核F⁽¹⁾,…,F^(N)生成N×Y×X的V，如式(3)所示：

V_n，:，：＝U*F(n)         (3)

步骤2.1.1.2，点卷积层所使用的参数矩阵W的行与行之间存在高度关联，因此将该参数矩阵分解，分解为一个大小为N×M′的矩阵

和另一个大小为M×M′矩阵

如式(4)所示：

W＝W^A·W^B      (4)

其中

p∈(0.0,1.0)；

步骤2.1.1.3，矩阵通过添加正交约束来减少参数之间的相互关联，如式(5)所示：

式中，I为单位矩阵，||·||_F是Frobenius范数；

步骤2.1.2，构建特征提取模块，首先经过第一次带有正交约束的点卷积层后生成图像U’，通道数由M变为M’，再经过一次点卷积，通道数调整为最终需要的N；之后经过K×K的卷积核进行深度卷积，生成图像V，Shape为N×Y×X，最后经过PReLU函数进行特征激活；

步骤2.2，构建多尺度特征提取模块进行图像特征的二次提取；

步骤2.3，构建通道注意力模块CAM，在特征映射中进行自适应特征细化，根据细节纹理的重要度分配不同的权重比；

步骤3，构建基于残差注意力的特征增强模块及重建模块。

2.根据权利要求1所述的一种基于多尺度残差注意力的超分辨率重建方法，其特征在于，所述步骤1中数据预处理具体按以下步骤实施：

步骤1.1，采用DIV2K的1-800号图像作为训练数据集，801-810号图像作为验证数据集，Set5、Set14、B100以及Urban100作为测试数据集，并对训练数据集图像进行随机水平旋转或竖直旋转进行数据扩充；

步骤1.2，通过卷积代替双三次线性插值方法进行下采样，生成2倍、3倍和4倍缩放因子下的低分辨率图像，分别用于2倍、3倍和4倍超分辨重建模型的训练、及测试；

设O是输出尺寸，W是图片大小，K是过滤器尺寸，P是填充，S是步幅，对原始图像进行下采样操作，计算公式如式(1)所示：

步骤1.3，将步骤1.2生成的低分辨率图像作为输入，将其裁剪为48×48大小的块作为网络输入的RGB图像，对输入RGB图像的三个通道减去均值向量，假设原张量为(x,y,z)，减去均值向量后的张量为(x′,y′,z′)，如式(2)所示：

3.根据权利要求1所述的一种基于多尺度残差注意力的超分辨率重建方法，其特征在于，所述步骤2.2中图像特征的二次提取具体按以下步骤实施：

步骤2.2.1，构建三个旁路A、B和C，分别使用1、3和5的卷积核大小，此处卷积使用步骤2.1构建的子通道蓝图卷积，进行特征初次提取，如下式所示：

式中w和b分别表示权重和偏置，上标表示它们所在的层数，下标表示层中使用的卷积核的大小，σ(x)＝max(0,x)代表ReLU激活函数；

步骤2.2.2，由M₁和N₁提取的双尺度特征采用级联进行特征融合，输出作为M₂和N₂的输入；

步骤2.2.3，将M₂和N₂卷积的通道数增加一倍，最后对A，M₂和N₂的输出进行特征融合，并对三个尺度的低维特征进行两次融合，如下式所示：

式中，[M₁,N₁],[N₁,M₁],[M₂,N₂,A]代表特征堆叠操作；

步骤2.2.4，采用1×1卷积自适应提取特征，最终采用局部残差连接到F_n-1和F_n，如下式所示：

4.根据权利要求1所述的一种基于多尺度残差注意力的超分辨率重建方法，其特征在于，所述步骤2.3具体按以下步骤实施：

步骤2.3.1，对输入特征图做自适应平均池化，得到一个1×1×C的通道描述F_avg；

步骤2.3.2，对输入特征图做自适应最大池化，得到一个1×1×C的通道描述F_max；

步骤2.3.3，分别对F_avg与F_max采用1×1卷积进行降维，将通道数由56调整为14，并使用ReLU函数进行激活；再采用1×1卷积进行升维，将通道数恢复至56；

步骤2.3.4，将F_avg与F_max经步骤2.3.3处理后的结果进行相加，并经过Sigmoid激活，最后输出Mc(F)，如下式所示：

步骤2.3.5，将权重系数和原来的特征F相乘即可得到缩放后的新特征，从而根据细节纹理的重要度分配不同的权重比。

5.根据权利要求1所述的一种基于多尺度残差注意力的超分辨率重建方法，其特征在于，所述步骤3构建基于残差注意力的特征增强模块及重建模块具体按以下步骤实施：

步骤3.1，通过1×1卷积进行降维，将原输入通道数d压缩至s(s<<d)，通过通道压缩减少模型计算量；

步骤3.2，构建残差注意力映射块RCSB，将低维空间特征信息映射到高维空间；

步骤3.3，通过1×1卷积进行升维，通道数由s恢复至d，并加入通道注意力块；

步骤3.4，构建特征重建模块进行超分辨重建；

步骤3.5，对输入图像的RGB通道加上均值向量，输出RGB图像，设原张量为(x,y,z)，加上均值向量后的张量为(x′,y′,z′)，计算公式如下：

步骤3.6，设置训练超参，通过峰值信噪比与结构相似度作为评价指标，进行模型的训练与测试。

6.根据权利要求4或5所述的一种基于多尺度残差注意力的超分辨率重建方法，其特征在于，所述步骤3.2中，构建残差注意力映射块RCSB，将低维空间特征信息映射到高维空间具体按以下步骤实施：

步骤3.2.1，第一层为一个3×3卷积，输入通道为12，输出通道为12；

步骤3.2.2，第二层为一个3×3卷积，输入通道为12，输出通道为12；

步骤3.2.3，第三层将步骤3.2.2的输出与重建倍数因子进行矩阵乘法，实现低维空间到高维空间的特征映射；

步骤3.2.4，构建恒等映射，最后将原始输入与步骤3.2.3的输出进行相加；

步骤3.2.5，根据步骤2.3构建通道注意力块，进行通道特征权重分配。

7.根据权利要求5所述的一种基于多尺度残差注意力的超分辨率重建方法，其特征在于，所述步骤3.4中构建特征重建模块进行超分辨重建具体按以下步骤实施：

步骤3.4.1，通过深度可分离卷积将张量大小调整为X×Y×d；

步骤3.4.2，通过一个1×1卷积将通道数由d调整为r²d，其中r为缩放倍数，r＝(2,3,4)；

步骤3.4.3，采用亚像素卷积操作将地分辨率图像重建为rX×rY的高分辨率图；

步骤3.4.4，通过3×3卷积将通道数恢复至三通道。

8.根据权利要求5所述的一种基于多尺度残差注意力的超分辨率重建方法，其特征在于，所述步骤3.6具体按以下步骤实施：

步骤3.6.1，MDSRN模型将s设置为20，d设置为64，RCSB个数为64；初始学习率设为2×10^-4，batchsize设为16，epoch设为1000，优化器采用Adam，其中β₁＝0.9,β₂＝0.999,以及∈＝10^-8，损失函数采用L1损失，采用峰值信噪比与结构相似度作为评价指标来评估重建图像质量；

步骤3.6.2，将2倍放大因子训练完成后的模型参数及权重作为3倍、4倍放大因子模型训练的预训练权重，从而加快收敛速度。

Images