CN116797456A - 图像超分辨率重建方法、系统、设备和存储介质 - Google Patents

Abstract

本发明涉及图像超分辨率重建方法、系统、设备和计算机可读存储介质，包括将低分辨率图像映射高维空间，提取图像浅层特征；利用稀疏注意力结构处理图像浅层特征，得到多尺度深度特征；利用移位卷积结构加强多尺度深度特征，得到强化多尺度深度特征；将强化多尺度深度特征进行上采样操作，得到超分辨率特征图；利用最小绝对偏差损失函数训练由稀疏注意力结构和移位卷积结构组成的高分辨率网络；利用高分辨率网络，将超分辨率特征图与待重建的低分辨率图像对应的高分辨率标签图像进行迭代更新运算，得到完成训练的图像超分辨率重建模型。能够充分利用图像的多尺度特征，同时减少冗余特征，增强图像特征表征能力，从而提高图像超分辨率的重建性能。

Description

图像超分辨率重建方法、系统、设备和存储介质

技术领域

本发明涉及计算机视觉技术领域，尤其是指图像超分辨率重建方法、系统、设备和计算机可读存储介质。

背景技术

图像超分辨率是一种通过数学算法来提高低分辨率图像的分辨率的技术。它可以从原始低分辨率图像中生成高分辨率图像，从而提高图像的质量和清晰度。这种技术可以用于许多领域，如医学成像、视频监控、航空航天、电影制作等。在这些领域中，高分辨率图像对于提高图像质量和准确度至关重要。

传统提高图像分辨率的方法通常为插值和重建。插值是通过对低分辨率图像进行插值来提高图像的分辨率，简单快速，但是在提高图像质量和细节方面效果较差。而重建是通过将低分辨率图像转换为高分辨率图像来提高图像的质量和分辨率。这种方法可以利用深度学习、卷积神经网络等技术来实现，可以有效地提高图像质量和细节，并且已经成为了图像超分辨率的主要研究方向。

近年来，基于深度学习的方法在图像超分辨率领域中得到了广泛的应用。这些方法主要使用卷积神经网络进行高分辨率图像的重建。常见的卷积神经网络包括SRCNN、VDSR、DRCN、ESPCN、EDSR等。其中，SRCNN是最早使用卷积神经网络进行图像超分辨率的方法，它通过三层卷积神经网络将低分辨率图像映射到高分辨率空间。之后的算法在SRCNN的基础上不断发展，不断提高着图像的超分辨率质量。由于网络层数较少，图像重建性能也随之受限。为此，L im等人提出了网络层数更深、参数量更大的EDSR模型，EDSR采用加强残差结构扩充网络的深度，极大的提升了网络的学习能力，在图像超分辨率任务上取得了巨大的进展。

对于一个典型的深度学习图像超分辨率方法，低分辨率图像的特征对于超分辨率重建都用不同程度的作用，现有的基于注意力机制的图像超分辨率方法在提取图像特获时往往产生大量的冗余信息，而且不能充分利用图像多尺度特特征，从而使得图像超分辨率重建性能退化。

综上所述，如何充分利用图像多尺度特特征，减少冗余特征，提高图像超分辨率的重建性能是目前有待解决的问题。

发明内容

为了解决现有方法的不足，本发明提供了图像超分辨率重建方法、系统、设备和计算机可读存储介质。能够充分利用图像的多尺度特征，同时减少冗余特征，从而提高图像超分辨率的重建性能。

本发明提供了一种图像超分辨率重建方法，其包括以下步骤：

S1、将待重建的低分辨率图像映射高维空间，提取图像浅层特征；

S2、利用稀疏注意力结构处理所述图像浅层特征，提取单尺度深度特征；

S3、设置三个不同尺度参数的窗口，处理所述单尺度深度特征，得到多尺度深度特征；

S4、利用移位卷积结构加强所述多尺度深度特征，得到强化多尺度深度特征；

S5、将所述强化多尺度深度特征进行上采样操作，得到超分辨率特征图；

S6、利用最小绝对偏差损失函数训练由所述稀疏注意力结构和移位卷积结构组成的高分辨率网络；

S7、利用所述高分辨率网络，将所述超分辨率特征图与所述待重建的低分辨率图像对应的高分辨率标签图像进行迭代更新运算，得到完成训练的图像超分辨率重建模型。

在本发明的一个实施例中，所述利用稀疏注意力结构处理所述图像浅层特征，提取单尺度深度特征包括：

S21、对所述图像浅层特征进行窗口划分，将其划分为多个相等大小的窗口；

S22、在每个所述窗口的范围内计算所述图像浅层特征的非局部注意力，得到相似度权重矩阵；

S23、对所述相似度权重矩阵进行稀疏化操作，并过滤所述相似度权重矩阵中不相关的权重值，利用剩余的相似度权重矩阵对图像浅层特征矩阵中的每个值进行加权求和，得到所述单尺度深度特征。

在本发明的一个实施例中，提取所述单尺度深度特征包括：

将图像浅层特征矩阵F₀∈R^C×H×W作为输入；

对所述图像浅层特征进行窗口划分，将其划分为个大小均为M×M的窗口，此时图像浅层特征矩阵/>

利用由1×1的卷积实现的转移矩阵W_q，W_k，Q_v分别对所述图像浅层特征进行线性变换,得到矩阵Q、K和V；

利用所述矩阵Q和K在每个所述窗口的范围内计算非局部注意力，得到相似度权重矩阵

保留所述相似度权重矩阵A的前K个最相关的权重、不相关的权重赋值为负无穷，完成稀疏化操作，得到稀疏化权重矩阵A^*；

利用Softmax激活函数过滤所述稀疏化权重矩阵A^*，并对过滤后的权重矩阵对矩阵V进行加权求和，得到所述单尺度深度特征F；

其计算公式为：

Q＝W_qF₀，K＝W_kF₀，V＝W_vF₀

A＝QK^T

A^*＝Sparse(A)

F＝Softmax(A^*)V

其中，K^T表示K的转置，C，H，W分别表示图像浅层特征的通道数、长、宽，L＝M×M，Sparse为稀疏化操作。

在本发明的一个实施例中，所述设置三个不同尺度参数的窗口，处理所述单尺度深度特征，得到多尺度深度特征包括：

S31、设置三个不同尺度参数的窗口；

S32、将所述单尺度深度特征F在通道维度上平均分割成三份f₁、f₂和f₃，并分别输入到不同尺度参数的窗口的稀疏注意力结构中，得到三个单尺度的深度特征F₁、F₂和F3_；

S33、将所述三个单尺度的深度特征F₁、F₂和F₃在通道维度进行融合，得到多尺度深度特征F¹；

其计算公式为：

f₁，f₂，f₃＝Split(F)

F₁，F₂，F₃＝SA(f₁，f₂，f₃)

F¹＝Concat(F₁，F₂，F₃)

其中，Split为通道分割函数，SA为设有不同尺度参数的窗口的稀疏注意力结构，Concat为通道拼接函数。

在本发明的一个实施例中，所述利用移位卷积结构加强所述多尺度深度特征，得到强化多尺度深度特征包括：

S41、利用第一个1×1的移位卷积对所述多尺度深度特征在上、下、左、右四个方向进行位移，随后进行1×1的卷积操作，得到移位特征矩阵F_s；

S42、利用3×3的深度可分离卷积处理所述移位特征矩阵F_s，得到特征矩阵F_d；

S43、利用第二个1×1的移位卷积处理所述特征矩阵F_d，得到强化多尺度深度特征F²；

其计算公式为：

F_s＝Shift(F¹)

F_d＝Dw(F_s)

F²＝Shift(F_d)+F_s

其中，Shift表示1×1的移位卷积，F¹为多尺度深度特征，Dw表示3×3的深度可分离卷积。

在本发明的一个实施例中，所述将所述强化多尺度深度特征进行上采样操作，得到超分辨率特征图包括：

将所述强化多尺度深度特征进行卷积操作后，利用1×1的卷积层扩充通道维数至超分辨率放大倍数因子的平方倍，再通过多通道间像素重组，得到超分辨率特征图，其计算公式为：

Y＝PixelShuffle(Conv_1×1(Conv_3×3(F²)))

其中，Y为超分辨率特征图，PixelShuffle为像素重组函数，Conv_1×1为1×1的卷积层，Conv_3×3为3×3的卷积层，F²为强化多尺度深度特征。

在本发明的一个实施例中，所述采用最小绝对偏差损失函数训练由所述稀疏注意力结构和移位卷积结构组成的高分辨率网络包括：

根据所述最小绝对偏差损失函数计算误差，训练所述高分辨率网络，反复迭代直至损失函数收敛；

所述最小绝对偏差损失函数计算公式为：

其中，N为训练的迭代总次数，i为本次迭代次数，为高分辨率标签图像，/>为生成的超分辨率图像。

本发明还提供一种图像超分辨率重建系统，包括：

浅层特征提取模块，用于将待重建的低分辨率图像嵌入高维空间，提取出图像浅层特征；

稀疏注意力模块，用于利用稀疏注意力结构处理所述图像浅层特征，提取并聚合图像的多尺度特征，得到多尺度深度特征；

移位卷积模块，用于利用移位卷积结构加强所述多尺度深度特征，得到强化多尺度深度特征；

超分辨率特征模块，用于将所述强化多尺度深度特征进行上采样操作，得超分辨率特征图；

训练模块，用于利用最小绝对偏差损失函数训练由所述稀疏注意力结构和移位卷积结构组成的高分辨率网络；并利用所述高分辨率网络，将所述超分辨率特征图与所述待重建的低分辨率图像对应的高分辨率标签图像进行迭代更新运算，得到完成训练的图像超分辨率重建模型。

本发明还提供一种图像超分辨率重建设备，包括存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述任意一项所述的一种图像超分辨率重建方法。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述的一种图像超分辨率重建方法。

本发明的上述技术方案相比现有技术具有以下优点：

本发明所述的图像超分辨率重建方法，通过设计稀疏注意力结构、有效提取并聚合低分辨率图像的多尺度特征。多尺度特征有助于重建更好的图像细节，从而提升图像超分辨率的性能；通过稀疏注意力结构块能够过滤掉大量冗余特征，从而有效降低模型的计算复杂度。同时，引入了移位卷积结构，通过连续的移位卷积操作，可以充分提取图像的局部细节特征，从而增强图像特征的表征能力。最后，由稀疏注意力结构和移位卷积结构组成的高分辨率网络能够充分的提取图像不同尺度的特征信息，从而获得质量更高的超分辨率图像。本发明所述的图像超分辨率重建方法能够重建现实环境下的低分辨率图像，得到应用的超分辨率图像，为进一步的图像任务提供了低层技术支持，同时为技术革新做出了贡献。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明优选实施例中图像超分辨率重建方法的流程图；

图2为本发明优选实施例中图像超分辨率重建方法的具体流程图；

图3为本发明优选实施例中稀疏注意力模块的流程图；

图4为本发明优选实施例中移位卷积模块的流程图；

图5为本发明优选实施例中图像超分辨率重建系统的结构框图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

需要说的是，图像特征即是图像的语义信息，图像的轮廓、边缘、纹理、光照和颜色等信息。当图像经过卷积、注意力加权等操作之后，得到的是图像特征矩阵，即图像特征的编码。涉及到图像特征变换操作的时候，例如进行卷积和注意力加权等操作，我们常用图像特征矩阵表述，当表述特征的性质，例如浅层特征或深度特征的时候，我们习惯用图像特征表述。

参照图1所示，本发明提供了一种图像超分辨率重建方法，包括：

S1、将待重建的低分辨率图像映射高维空间，提取图像浅层特征；

S2、利用稀疏注意力结构处理所述图像浅层特征，提取单尺度深度特征；

S21、对所述图像浅层特征进行窗口划分，将其划分为多个相等大小的窗口；

S22、在每个所述窗口的范围内计算所述图像浅层特征的非局部注意力，得到相似度权重矩阵；

S23、对所述相似度权重矩阵进行稀疏化操作，并过滤所述相似度权重矩阵中不相关的权重值，利用剩余的相似度权重矩阵对图像浅层特征矩阵中的每个值进行加权求和，得到所述单尺度深度特征；

S3、设置三个不同尺度参数的窗口，处理所述单尺度深度特征，得到多尺度深度特征；

S31、设置三个不同尺度参数的窗口；

S32、将所述单尺度深度特征F在通道维度上平均分割成三份f₁、f₂和f₃，并分别输入到不同尺度参数的窗口的稀疏注意力结构中，得到三个单尺度的深度特征F₁、F₂和F₃；

S33、将所述三个单尺度的深度特征F₁、F₂和F₃在通道维度进行融合，得到多尺度深度特征F¹；

S4、利用移位卷积结构加强所述多尺度深度特征，得到强化多尺度深度特征；

S41、利用第一个1×1的移位卷积对所述多尺度深度特征在上、下、左、右四个方向进行位移，随后进行1×1的卷积操作，得到移位特征矩阵F_s；

S42、利用3×3的深度可分离卷积处理所述移位特征矩阵F_s，得到特征矩阵F_d；

S43、利用第二个1×1的移位卷积处理所述特征矩阵F_d，得到强化多尺度深度特征F²；

S5、将所述强化多尺度深度特征进行上采样操作，得到超分辨率特征图；

将所述强化多尺度深度特征进行卷积操作后，利用1×1的卷积层扩充通道维数至超分辨率放大倍数因子的平方倍，再通过多通道间像素重组，得到超分辨率特征图；

S6、利用最小绝对偏差损失函数训练由所述稀疏注意力结构和移位卷积结构组成的高分辨率网络；

根据所述最小绝对偏差损失函数计算误差，训练所述高分辨率网络，反复迭代直至损失函数收敛；

S7、利用所述高分辨率网络，将所述超分辨率特征图与所述待重建的低分辨率图像对应的高分辨率标签图像进行迭代更新运算，得到完成训练的图像超分辨率重建模型。

本发明所述的图像超分辨率重建方法，通过设计稀疏注意力结构、有效提取并聚合低分辨率图像的多尺度特征。多尺度特征有助于重建更好的图像细节，从而提升图像超分辨率的性能；通过稀疏注意力结构块能够过滤掉大量冗余特征，从而有效降低模型的计算复杂度。同时，引入了移位卷积结构，通过连续的移位卷积操作，可以充分提取图像的局部细节特征，从而增强图像特征的表征能力。最后，由稀疏注意力结构和移位卷积结构组成的高分辨率网络能够充分的提取图像不同尺度的特征信息，从而获得质量更高的超分辨率图像。本发明所述的图像超分辨率重建方法能够重建现实环境下的低分辨率图像，得到应用的超分辨率图像，为进一步的图像任务提供了低层技术支持，同时为技术革新做出了贡献。

为了能够更加清楚的对本发明的技术方案进行说明，下面以具体数据以进行阐述，请参照图2-4所示，图中GT图像、LR图像、SR图像分别为Ground Truth图像、Low-Resolution图像、Super-Resolution图像的缩写，其中文分别为高分辨率标签图像、低分辨率图像、超分辨率图像。

具体如下：

一、提取图像浅层特征：

如公式(1)所示，给定输入的低分辨率图像X∈R^3×H×W，首先经过一个卷积核大小为3×3，步长为1，padding为1，通道数为60的卷积层，将低分辨率图像映射到通道维数为60的高维空间，提取图像浅层特征F₀；

F₀＝Conv_3×3(X) (1)

其中，Conv_3×3为3×3的卷积层，3×H×W表示低分辨率图像的通道数为3、长为H、宽为W。

二、利用稀疏注意力结构处理图像浅层特征，提取并聚合图像多尺度特征，得到多尺度深度特征：

将图像浅层特征矩阵F₀∈R^C×H×W作为输入；

对图像浅层特征进行窗口划分，将其划分为个大小均为M×M的窗口，此时图像浅层特征矩阵/>在每个窗口的范围内，计算图像浅层特征的非局部注意力，可以显著降低计算复杂度，将计算复杂度由二次方时间降低到线性时间内；

如公式(2)所示，利用由1×1的卷积实现的转移矩阵W_q，W_k，W_v分别对图像浅层特征F₀进行线性变换，得到矩阵Q、K和V；

如公式(3)所示，利用矩阵Q和K在每个窗口的范围内计算非局部注意力，得到相似度权重矩阵

如公式(4)所示，保留相似度权重矩阵A的前K个最相关的权重、不相关的权重赋值为负无穷，完成稀疏化操作，得到稀疏化权重矩阵A^*；

如公式(5)所示，利用Softmax激活函数过滤所述稀疏化权重矩阵A^*，使得不相关的权重稀疏变为0，同时保留了相关信息的权重。对过滤后的权重矩阵对矩阵V进行加权求和，得到所述单尺度深度特征F；

Q＝W_qF₀，K＝W_kF₀，V＝W_vF₀ (2)

A＝QK^T (3)

A^*＝Sparse(A) (4)

F＝Softmax(A^*)V (5)

其中，K^T表示K的转置，C，H，W分别表示图像浅层特征的通道数、长、宽，L＝M×M，Sparse为稀疏化操作。

由于得到的单尺度深度特征F只包含单尺度的特征信息，为了提取图像的多尺度信息，从而加强特征的表征能力，为此：

设置三个不同尺度参数的窗口，其窗口大小分别为4×4、8×8和16×16；

如公式(6)和公式(7)所示，将单尺度深度特征F在通道维度上平均分割成三份f₁、f₂和f₃，并分别输入到窗口大小分别为4×4、8×8和16×16的稀疏注意力结构中，继续提取深度特征，得到三个单尺度的深度特征F₁、F₂和F₃；将单尺度深度特征在通道维度平均分成三份，并行的在三个单尺度的窗口内计算稀疏注意力，可以有效降低计算复杂度；

如公式(8)所示，将三个单尺度的深度特征F₁、F₂和F₃在通道维度进行融合，得到多尺度深度特征F¹；

f₁，f₂，f₃＝Split(F) (6)

F₁，F₂，F₃＝SA(f₁，f₂，f₃) (7)

F¹＝Concat(F₁，F₂，F₃) (8)

其中，Split为通道分割函数，SA为设有不同尺度参数的窗口的稀疏注意力结构，Concat为通道拼接函数。

通过上述方法对低分辨率图像进行处理，能够有效提取并聚合低分辨率图像的多尺度特征。多尺度特征有助于重建更好的图像细节，从而提升图像超分辨率的性能；通过稀疏注意力结构块能够过滤掉大量冗余特征，从而有效降低模型的计算复杂度。

三、利用移位卷积结构加强多尺度深度特征，得到强化多尺度深度特征：

如公式(9)所示，利用第一个1×1的移位卷积对多尺度深度特征F¹在上、下、左、右四个方向进行位移，随后进行1×1的卷积操作，得到移位特征矩阵F_s；

如公式(10)所示，利用3×3的深度可分离卷积处理移位特征矩阵F_s，得到特征矩阵F_d；通过3×3的深度可分离卷积，能够有效的补充特征的局部细节；

如公式(11)所示，利用第二个1×1的移位卷积处理所述特征矩阵F_d，得到强化多尺度深度特征F²；利用第二个1×1的移位卷积，能够有效的扩大图像感受野，加强特征表征能力；

F_s＝Shift(F¹) (9)

F_d＝Dw(F_s) (10)

F²＝Shift(F_d)+F_s (11)

其中，Shift表示1×1的移位卷积，Dw表示3×3的深度可分离卷积。

通过上述方法引入移位卷积结构，通过连续的移位卷积操作，可以充分提取图像的局部细节特征，从而增强图像特征的表征能力。

四、将强化多尺度深度特征进行上采样操作，得到超分辨率特征图：

如公式(12)所示，首先，利用一个3×3的卷积核，对经过局部细节加强后的强化多尺度深度特征F²进行卷积，以操作强化高频特征的表征能力，得到高频特征；

其次，利用一个1×1的卷积层，将高频特征扩充通道维数至超分辨率放大倍数因子的平方倍；

最后，利用多通道间的像素重组上述扩充通道维数至超分辨率放大倍数因子平方倍的高频特征，得到超分辨率的特征图；

Y＝PixelShuffle(Conv_1×1(Conv_3×3(F²))) (12)

其中，Y为超分辨率特征图，PixelShuffle为像素重组函数，Cony_1×1为1×1的卷积层，Conv_3×3为3×3的卷积层。

五、利用最小绝对偏差损失函数训练由稀疏注意力结构和移位卷积结构组成的高分辨率网络：

Batch Size(中文含义为：一小批训练集的数量)设定为32，Patch Size(中文含义为：训练集数据裁剪后的尺寸)设定为128，初始学习率设定为2×10^-4，每训练2×10⁵次，学习率衰减一半；

如公式(13)所示，根据最小绝对偏差损失函数计算误差，训练高分辨率网络，反复迭代直至损失函数收敛；

其中，N为训练的迭代总次数，i为本次迭代次数，为高分辨率标签图像，/>为生成的超分辨率图像。

六、利用高分辨率网络，将超分辨率特征图与待重建的低分辨率图像对应的高分辨率标签图像进行迭代更新运算，得到完成训练的图像超分辨率重建模型。

通过以上技术方案，本发明基于深度学习技术提出了一种基于多尺度稀疏注意力网络的图像超分辨率重建方法，相比于现有的超分辨率方法，本发明的方法能够充分利用图像的多尺度特征，同时减少冗余特征，从而重建出细节更完整，视觉效果更清晰的超分辨率图像，大大提升了图像超分辨率的性能。

参照图5所示，本发明还提供了一种图像超分辨率重建系统，包括：

浅层特征提取模块10，用于将待重建的低分辨率图像嵌入高维空间，提取出图像浅层特征；

稀疏注意力模块20，用于利用稀疏注意力结构处理所述图像浅层特征，提取并聚合图像的多尺度特征，得到多尺度深度特征；

移位卷积模块30，用于利用移位卷积结构加强所述多尺度深度特征，得到强化多尺度深度特征；

超分辨率特征模块40，用于将所述强化多尺度深度特征进行上采样操作，得超分辨率特征图；

训练模块50，用于利用最小绝对偏差损失函数训练由所述稀疏注意力结构和移位卷积结构组成的高分辨率网络；并利用所述高分辨率网络，将所述超分辨率特征图与所述待重建的低分辨率图像对应的高分辨率标签图像进行迭代更新运算，得到完成训练的图像超分辨率重建模型。

该系统用于实现上述任意一项实施例所述的图像超分辨率重建方法，因此其具有的优点，该系统也全部具有，不再重复叙述。

本发明还提供了一种图像超分辨率重建设备，包括存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述任意一项实施例所述的一种图像超分辨率重建方法。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项实施例所述的一种图像超分辨率重建方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种图像超分辨率重建方法，其特征在于，包括：

S1、将待重建的低分辨率图像映射高维空间，提取图像浅层特征；

S2、利用稀疏注意力结构处理所述图像浅层特征，提取单尺度深度特征；

S3、设置三个不同尺度参数的窗口，处理所述单尺度深度特征，得到多尺度深度特征；

S4、利用移位卷积结构加强所述多尺度深度特征，得到强化多尺度深度特征；

S5、将所述强化多尺度深度特征进行上采样操作，得到超分辨率特征图；

S6、利用最小绝对偏差损失函数训练由所述稀疏注意力结构和移位卷积结构组成的高分辨率网络；

S7、利用所述高分辨率网络，将所述超分辨率特征图与所述待重建的低分辨率图像对应的高分辨率标签图像进行迭代更新运算，得到完成训练的图像超分辨率重建模型。

2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述利用稀疏注意力结构处理所述图像浅层特征，提取单尺度深度特征包括：

S21、对所述图像浅层特征进行窗口划分，将其划分为多个相等大小的窗口；

S22、在每个所述窗口的范围内计算所述图像浅层特征的非局部注意力，得到相似度权重矩阵；

S23、对所述相似度权重矩阵进行稀疏化操作，并过滤所述相似度权重矩阵中不相关的权重值，利用剩余的相似度权重矩阵对图像浅层特征矩阵中的每个值进行加权求和，得到所述单尺度深度特征。

3.根据权利要求2所述的图像超分辨率重建方法，其特征在于，提取所述单尺度深度特征包括：

将图像浅层特征矩阵F₀∈R^C×H×W作为输入；

对所述图像浅层特征进行窗口划分，将其划分为个大小均为M×M的窗口，此时图像浅层特征矩阵/>

利用由1×1的卷积实现的转移矩阵W_q，W_k，W_v分别对所述图像浅层特征进行线性变换,得到矩阵Q、K和V；

利用所述矩阵Q和K在每个所述窗口的范围内计算非局部注意力，得到相似度权重矩阵

保留所述相似度权重矩阵A的前K个最相关的权重、不相关的权重赋值为负无穷，完成稀疏化操作，得到稀疏化权重矩阵A^*；

利用softmax激活函数过滤所述稀疏化权重矩阵A^*，并对过滤后的权重矩阵对矩阵V进行加权求和，得到所述单尺度深度特征F；

其计算公式为：

Q＝W_qF₀，K＝W_kF₀，V＝W_vF₀

A＝QK^T

A^*＝Sparse(A)

F＝Softmax(A^*)V

其中，K^T表示K的转置，C，H，W分别表示图像浅层特征的通道数、长、宽，L＝M×M，Sparse为稀疏化操作。

4.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述设置三个不同尺度参数的窗口，处理所述单尺度深度特征，得到多尺度深度特征包括：

S31、设置三个不同尺度参数的窗口；

S32、将所述单尺度深度特征F在通道维度上平均分割成三份f₁、f₂和f₃，并分别输入到不同尺度参数的窗口的稀疏注意力结构中，得到三个单尺度的深度特征F₁、F₂和F₃；

S33、将所述三个单尺度的深度特征F₁、F₂和F₃在通道维度进行融合，得到多尺度深度特征F¹；

其计算公式为：

f₁，f₂，f₃＝Split(F)

F₁，F₂，F₃＝SA(f₁，f₂，f₃)

F¹＝Concat(F₁，F₂，F₃)

其中，Split为通道分割函数，SA为设有不同尺度参数的窗口的稀疏注意力结构，Concat为通道拼接函数。

5.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述利用移位卷积结构加强所述多尺度深度特征，得到强化多尺度深度特征包括：

S41、利用第一个1×1的移位卷积对所述多尺度深度特征在上、下、左、右四个方向进行位移，随后进行1×1的卷积操作，得到移位特征矩阵F_s；

S42、利用3×3的深度可分离卷积处理所述移位特征矩阵F_s，得到特征矩阵F_d；

S43、利用第二个1×1的移位卷积处理所述特征矩阵F_d，得到强化多尺度深度特征F²；

其计算公式为：

F_s＝Shift(F¹)

F_d＝Dw(F_s)

F²＝Shift(F_d)+F_s

其中，Shift表示1×1的移位卷积，F¹为多尺度深度特征，Dw表示3×3的深度可分离卷积。

6.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述将所述强化多尺度深度特征进行上采样操作，得到超分辨率特征图包括：

将所述强化多尺度深度特征进行卷积操作后，利用1×1的卷积层扩充通道维数至超分辨率放大倍数因子的平方倍，再通过多通道间像素重组，得到超分辨率特征图，其计算公式为：

Y＝PixelShuffle(Conv_1×1(Conv_3×3(F²)))

其中，Y为超分辨率特征图，PixelShuffle为像素重组函数，Conv_1×1为1×1的卷积层，Conv_3×3为3×3的卷积层，F²为强化多尺度深度特征。

7.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述采用最小绝对偏差损失函数训练由所述稀疏注意力结构和移位卷积结构组成的高分辨率网络包括：

根据所述最小绝对偏差损失函数计算误差，训练所述高分辨率网络，反复迭代直至损失函数收敛；

所述最小绝对偏差损失函数计算公式为：

其中，N为训练的迭代总次数，i为本次迭代次数，为高分辨率标签图像，/>为生成的超分辨率图像。

8.一种图像超分辨率重建系统，其特征在于，包括：

浅层特征提取模块，用于将待重建的低分辨率图像嵌入高维空间，提取出图像浅层特征；

稀疏注意力模块，用于利用稀疏注意力结构处理所述图像浅层特征，提取并聚合图像的多尺度特征，得到多尺度深度特征；

移位卷积模块，用于利用移位卷积结构加强所述多尺度深度特征，得到强化多尺度深度特征；

超分辨率特征模块，用于将所述强化多尺度深度特征进行上采样操作，得超分辨率特征图；

训练模块，用于利用最小绝对偏差损失函数训练由所述稀疏注意力结构和移位卷积结构组成的高分辨率网络；并利用所述高分辨率网络，将所述超分辨率特征图与所述待重建的低分辨率图像对应的高分辨率标签图像进行迭代更新运算，得到完成训练的图像超分辨率重建模型。

9.一种图像超分辨率重建设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1-7中任意一项所述的一种图像超分辨率重建方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述的一种图像超分辨率重建方法。