CN115861062A - 多尺度学习小波注意力机制网络及图像超分辨率重建方法 - Google Patents

Abstract

本发明提供一种多尺度学习小波注意力机制网络以及图像重建方法，包括：第一部分网络，所述第一部分网络包括两层卷积层和一个通道‑空间注意力机制块，输入原始LR图像至所述第一部分网络，获得原始LR图像的低层特征；第二部分网络，所述第二部分网络包括一个神经网络CNN分支，通过所述神经网络CNN分支，能够在最高水平预测低频小波系数；第三部分网络，所述第三部分网络包括一个神经网络RNN分支，通过所述神经网络RNN分支，预测剩余的子带系数；基于所述子带系数获得多尺度的超分辨率图像。本发明在模型参数、性能和运行时间三个方面实现了较好的平衡，超过了现有的大多数SR方法。

Description

多尺度学习小波注意力机制网络及图像超分辨率重建方法

技术领域

本发明涉及图像处理技术领域，具体地，涉及多尺度学习小波注意力机制网络及图像超分辨率重建方法。

背景技术

从低分辨率(LR)图像重建高分辨率(HR)图像被称为单图像超分辨率(SISR)。许多复杂的视觉应用(卫星和航空成像、医学成像、安全和监控成像)在使用SR技术作为预处理步骤时，可从高质量重建HR图像中获益。如何从所提供的LR图像中成功地提取有价值的信息一个难题；如何使用提取到的特征来重建HR图像的纹理信息也是至关重要的。SISR仍然是一个困难且病态的挑战，因为多个的HR图像可能被下采样到相同的LR图像，并且从LR图像恢复HR图像是一对多映射。

为了解决SR问题，社区的插值研究在早期重建中发挥了重要作用。此外，得益于深度学习(DL)取得的很大进步，基于DL的最新进展远远超过了基于插值的传统方法。SRCNN是图像SR领域的一个突破性项目，使用三层卷积神经网络(CNN)极大地提高了重建效率。从那时起，按照“越深入越好”的想法，更深入的CNN和生成性对抗性网络(GAN)被提出。所有基于DL的方法都展示了强大的重建性能，但它们也有各种缺点。大多数早期的SR技术包括学习上采样层，包括去卷积和亚像素卷积，对LR特征进行上采样映射到网络末端所需的大小。一个网络只能针对单个比例因子进行优化，因为这些层只能在给定比例下实现上采样。当实施多尺度SR任务时，需要更多的计算和存储空间用于模型训练和存储。此外，随着现代SR网络旨在提高重构性能，额外的网络参数和更长的推理时间已成为普遍的问题。一般来说，有两种技术可以在保持性能的同时缩小网络。一是仔细设计一个精简架构，但需要高水平的专业知识。另一种方法是使用参数共享方法，包括递归和递归学习。然而，由于每个递归/递归块使用顺序推理方法，它们可能具有较长的推理时间。

尽管最近取得了相当大的进展，但当前许多基于CNN的SR方法忽略了中间层的特征连接，这导致LR图像的纹理细节在超分辨输出中经常趋于平滑。因此，SR方法在保留纹理细节方面仍有不小的挑战。基于通道注意力的技术无法保存所有有用的纹理和恢复自然特征，因为它们对不同层次的特征的处理是相同的，这导致重建图像中丢失了某些细节部分。

基于上述分析，目前的方法在模型运行时间、参数和性能等方面都没有形成平衡。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种多尺度学习小波注意力机制网络及图像超分辨率重建方法。

根据本发明的一个方面，提供一种多尺度学习小波注意力机制网络，包括：

第一部分网络，所述第一部分网络包括两层卷积层和一个通道-空间注意力机制块，输入原始LR图像至所述第一部分网络，获得原始LR图像的低层特征；

第二部分网络，所述第二部分网络包括一个神经网络CNN分支，通过所述神经网络CNN分支，能够预测低频小波系数；

第三部分网络，所述第三部分网络包括一个神经网络RNN分支，通过所述神经网络RNN分支，预测剩余的子带小波系数。

优选地，所述第一部分网络，包括：

两个卷积层，原始LR图像通过所述两个卷积层，提取到LR图像的低级特征；

通道-空间注意力机制块CSAM，通过所述CSAM提取所述低级特征在所述两个卷积层连续通道中表示通道内和通道间信息所需的低层特征。

优选地，所述通道-空间注意力机制块CSAM，包括：

3D卷积层，所述3D卷积层接收输入特征，即所述LR图像的低级特征，并收集其关键空间和通道特征构建注意力地图；

矩阵，所述矩阵对所述注意力地图进行三维卷积，获得注意图；

将所述输入特征和所述注意图相乘并加权比例因子，合并所述输入特征，获得加权特征。

优选地，所述第二部分网络，包括：

两个连续的卷积层，通过所述两个连续的卷积层预测小波系数，所述小波系数处理检索到的低级信息，即所述第一部分网络获取的低层特征。

优选地，所述神经网络RNN分支包括用以减少网络参数总量的通道注意力循环块。

优选地，所述第三部分网络，包括：

第一通道注意循环块，所述第一通道注意循环块能够共享所有参数；

两个连续的卷积层，所述两个连续的卷积层位于所述第一通道注意循环块之后，所述第一部分网络获取的低层特征作为输入，依序通过所述第一通道注意循环块和两个连续的卷积层，预测获得第三级小波系数；

第一连接层，所述第一连接层将所述第一部分网络的低层特征和所述第一通道注意循环块的先验输出串联，并获得相同的权重；

第二通道注意循环块，所述第一连接层的输出输入所述第二通道注意循环块，形成判别特征；

反卷积层和卷积层，所述判别特征依序通过所述反卷积层和卷积层，预测获得第二级小波系数；

第二连接层，所述第二连接层将所述第一部分网络的低层特征和所述第二通道注意循环块的先验输出串联，并获得相同的权重；

第三通道注意循环块，所述第二连接层的输出输入所述第三通道注意循环块，形成判别特征；

反卷积层和卷积层，所述判别特征通过所述反卷积层和卷积层，预测获得第一级小波系数。

优选地，所述通道注意力循环块，包括：

PRM层，即逐步细化模块，所述PRM层包括卷积层和多个精馏层；输入特征首先进入卷积层提取特征，提取后的特征依序进入多个精馏层，每个精馏层对输入特征进行信道分割运算，得到两部分特征，一部分被保留，另一部分被输入到下一个精馏层，所述保留的特征和最后一个精馏层的输出特征融合；

ECA通道注意力模块和一维卷积层，所述PRM层的输出特征和第一层提取的低层信息输入至所述ECA通道注意力模块进行特征细化，经过所述一维卷积层输出细节特征。

根据本发明的第二个方面，提供一种图像超分辨率重建方法，采用上述的多尺度学习小波注意力机制网络，包括：

将高分辨率图像下采样生成低分辨率图像；

将所述低分辨率图像输入所述第一部分网络，获得低层特征；

将所述低级特征输入第二部分网络和第三部分网络，预测小波系数；

利用所述小波系数做离散逆小波变换生成重建的多尺度的超分辨率图像。

优选地，重建的超分辨率图像的放大倍数随着所述通道注意力循环块的重复次数呈指数增长。

优选地，所述利用所述小波系数做离散逆小波变换生成重建的多尺度的超分辨率图像，包括：

所述第二部分网络的小波系数和第三级小波系数联合，再经过离散逆小波变换获得2x的超分辨率图像；

所述第三级小波系数和第二级小波系数联合，再经过离散逆小波变换获得4x的超分辨率图像；

所述第二级小波系数和第一级小波系数联合，再经过离散逆小波变换获得8x的超分辨率图像。

与现有技术相比，本发明具有如下的有益效果：

(1)本发明实施例中的多尺度学习小波注意力机制网络(MLWAN网络)及图像超分辨率重建方法，预测输入图像的小波系数，并将预测的小波系数反变换，得到最后的HR图像；其以快速、轻量级的方式完成完整的多尺度SR任务。

(2)本发明实施例中的多尺度学习小波注意力机制网络及图像超分辨率重建方法，其中的通道-空间注意机制块(CSAM)，用于学习每一层特征的通道和空间相关性。由于它包含了来自所有特征维度的响应，因此将其用于第一部分网络，以更完整地提取LR图像的低级特征。

(3)本发明实施例中的多尺度学习小波注意力机制网络及图像超分辨率重建方法，采用的一种有效的通道注意循环块(ECARB)，作为RB的基本单元，用于减小网络参数。实验表明，所提出的MLWAN网络在模型参数、性能和运行时间三个方面实现了较好的平衡，超过了现有的大多数SR方法。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中的多尺度学习小波注意力机制网络的结构示意图；

图2为本发明一优选实施例中的通道-空间注意力模块的结构示意图；

图3为本发明一优选实施例中的有效通道注意力循环块的结构示意图；

图4为发明一个优选实施例中的多尺度学习小波注意力机制网络及图像超分辨率重建方法的流程图；

图5为本发明实验过程中的模型运行时间示意图；(a)2×图像的结果；(b)4×图像的结果；(c)8×图像的结果

图6为本发明实验过程中(2,4,8)×SR不同SR方法对Set5蝴蝶的视觉比较效果图；

图7为本方明实验过程中(2,4,8)×SR不同SR方法对Set14斑马的视觉比较效果图；

图8为本发明实验过程中(2,4,8)×SR在B100 119082上不同SR方法的视觉比较效果图；

图9为发明实验过程中(2,4,8)×SR在B100 361010上不同SR方法的视觉比较效果图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明提供一个实施例，一种多尺度学习小波注意力机制网络，包括：第一部分网络、第二部分网络和第三部分网络；第一部分包括两层卷积层和一个通道-空间注意力机制块，输入LR图像至所述第一部分，获得LR图像的低层特征；第二部分网络包括CNN分支，通过所述CNN分支，能够在最高水平预测低频小波系数；第三部分网络包括RNN分支，通过所述RNN分支，预测剩余的子带系数。

本实施例中的多尺度学习小波注意力机制网络，即MLWAN，其能够利用更多的连接层特定信息和结构信息，并通过单独模型达到多尺度超分辨率图像SR。其使用原始LR图像作为直接导入，预测目标图像的小波系数，基于小波系数进行反变换，能够重建出HR图像，即其能够快速、轻量级的方式完成完整的多尺度SR任务。

在本发明的一个优选实施例中，RNN分支包括用以减少网络参数总量的通道注意力循环块。

本实施例中的通道注意力循环块，其减少参数总量会让运行时间变短，会让模型的计算量更小，在更低级的服务器上也可以运行。

在本发明的一个优选实施例中，参见图1，在第一部分网络，通过两层卷积和一种新的通道-空间注意力机制块(CSAM)提取输入LR图像的底层特征。

本实施例的第一部分网络主要用于提取图像低层特征，通过AM提取的特征比卷积层提取的特征更关注通道间和空间的参数，使得分解的图像信息更具纹理，特征更明显不趋于平滑。

在本发明的一个优选实施例中，参见图1，神经网络CNN分支是第二个组成部分，其包括两个连续的卷积层，即通过CNN部分的两个连续卷积层预测小波系数

来处理检索到的低级信息，即第一部分获取的低层特征。由此可见，第二部分网络主要用于预测小波系数。

在本发明的一个优选实施例中，参见图1，第三部分网络为神经RNN分支，RNN部分主要预测剩余的子带系数(也称作小波系数)。

具体的，第三部分网络引入了一种有效的通道注意循环块(ECARB)，见图1中的RB模块，它采用了共享所有参数的方法。ECARB模型进一步使用两个卷积层和低层特征作为输入来预测第三级小波系数(

和/>

)。采用第三级小波系数的二维离散小波逆变换(IDWT)计算O_2×。

接着，将上一层2倍图像的所输出的小波系数先验输出和低电平特征的串联，以相同的权重输入到ECARB中，形成判别特征。使用生成的判别特征预测二阶小波系数

和/>

)，使用2×反卷积层加卷积层。相关的IDWT将第二级小波系数反变换为O_4×。

为了预测第一级小波系数(

和/>

)，相同的RB第二次传播，使用一个4×反卷积层和一个卷积层。最终，O_8×被重建。

较佳实施中，特别地，上述所有RBs的权重都是相同的。对于IDWT，采用db1小波函数作为小波滤波器。

本实施例，与基于前递归神经网络(RNN)的方法不同，本实施例的真实递归次数根据必要的尺度因子不断调整，每一次递归负责预测一定水平的子带系数。在预测所有分支的小波系数后，利用离散小波逆变换重建HR图像。本实施例可以在单个网络中重建2×、4×和8×(分别表示将原图像放大的倍数。2x表示放大二倍，4x表示放大四倍，8x表示放大八倍)的SR图像，同时SR图像的放大倍数随ECARB的重复次数呈指数增长。因此，通过考虑尺度因素，在推断过程中自由改变ECARB的重复次数，可以获得所需尺度的SR结果。此外，由于ECARB的权重共享技术，在提高SR规模时增加RNN部分的同时，需要的额外参数最少。

在本发明的一个优选实施例中，提供了通道-空间注意力机制块的优选结构，参见图2。现有技术中，最新的通道注意力机制忽略了尺度信息，空间注意机制则侧重关注特征的大小维度。本实施例的通道-空间注意力机制块融合了每个特征图维度的响应来解决这个问题。参见图2，首先将特征映射F_N输入到3D卷积层中，通过收集关键空间和通道特征来构建注意力地图，赋予最终层特征地图F_N∈R^H×W×C；接下来，使用3D核对F_N附近的几个通道创建的立方体进行卷积，以执行3D卷积。更准确地说，对内核大小为3×3×3，步长为1(一组三维核与三组并行通道进行卷积)进行三维卷积，产生三组通道-空间注意映射W_csa；最后，CSAM还可以提取连续信道中描述信道内和信道间消息的有效表示。此外,将输入特性F_N和注意图W_csa元素相乘。最后，为了创建加权特征F_CS，将加权得到β，β是一个比例因子。最后给出输入特征F_N。

F_CS＝βσ(W_csa)⊙F_N+F_N

其中，⊙为元素级积，σ(·)为sigmoid函数，比例因子β为0，在后续迭代中逐步改进。因此，F_CS是每个空间信道位置特征与主特征加权后的总和。与传统的通道注意和空间注意不同，本实施例提出的CSAM明确地模拟了空间特征间的依赖关系和通道，以自适应学习通道内和通道间的特征响应。

在本发明的一个优选实施例中，提供了通道注意力循环块的优选结构，参见图3。可见，该有效通道注意循环块(efficient channel attention recurrent block,ECARB)由递进细化块(PRM)、高效通道注意层(efficient channel attention,ECA)和一个1×1卷积来减少特征通道的数量组成。

通道注意力循环块整个模型使用剩余连接。其的基本概念是逐渐提取有价值的特征，很像Dense-Net。递进精化模块(PRM)采用一个3×3卷积层提取多个连续精馏段的输入特征，如图3的所示。在每个步骤中对上一阶段的特性使用通道拆分操作来创建两个部分特性。其中一部分被保存，剩下的部分用于接下来的计算单元。保留下来的部分可以被认为是精致的特征。具体而言，利用频带矩阵W_k对研究的信道注意力进行委托，W_k包含k×C参数，避免了不同组之间的完全独立性。对于权重，只考虑y_i与其k个邻居之间的消息连接。下面是计算公式，

σ(·)为sigmoid函数，

是矩阵W_k的元素，y_i是相邻系数，/>

是y_i的k个相邻通道的集合。各通道可以交换权重数据，更好地提高性能。

在此基础上，提出了一种利用一维卷积和大小为k的卷积核实现信道间信息交互的新方法。

ω＝σ(C1D_k(y)),

C1D是一维卷积。该模型称为ECA块，仅包含k个参数信息。捕获跨通道消息连接的方法保证了模型的有效性和性能结果。因此，本实施例可以在ECA模块的帮助下慢慢提高SISR的准确性。

基于相同的发明构思，本发明还提供一种图像超分辨率重建方法，参见图4，采用上述的多尺度学习小波注意力机制网络，包括：

S100，将高分辨率图像下采样生成低分辨率图像；

S200，将所述低分辨率图像输入第一部分网络，通过其两层卷积层和通道-空间注意力块提取低级特征；

S300，将所述低级特征输入第二部分网络和第三部分网络，预测小波系数；

S400，利用S300中的小波系数做离散逆小波变换生成重建的超分辨率图像。

本实施例实用上述多尺度学习小波注意力机制网络的单个网络中重建2×、4×和8×的SR图像，同时SR图像的放大倍数随ECARB的重复次数呈指数增长。因此，通过考虑尺度因素，在推断过程中自由改变ECARB的重复次数，可以获得所需尺度的SR结果。此外，由于ECARB的权重共享技术，在提高SR规模时增加RNN部分的同时，需要的额外参数最少。

在本发明的一个优选实施例中，对上述重建方法的损失函数进行了介绍。该损失函数主要评估了重建的HR图像与其符合的ground truth(GT)值在两个区域的差异。该损失考虑了多个因素，包括小波区域的纹理差异和图像在空间区域的整体像素距离，因此，本实施例中的总损失函数是空间损失与小波损失的线性相加，公式如下：

L_total＝αL_spatial+βL_wavelet

其中，空间损失(Spatial Loss):每次IDWT后，不同尺度因子(O2×、O4×和O8×)的重建端点之间的平均绝对误差(MAE)计算，通过相应的GTs来最小化空间场像素级的差异。计算公式如下:

L_spatial＝||O_2×-bic_4↓(G)||₁+||O_4×-bic_2↓(G)||₁+||O_8×-G||₁

G为O_8×对应的GT,bic_s↓(·)为尺度因子双三次降采样函数。

其中，采用小波部分的小波损失，与许多其他SR模型只是在空间层面引入地面真值和输出之间的损失不同，目的是限制在IDWT之前目标小波系数和预测小波系数之间的差距。小波损耗由期望的小波系数(ω)与对应的GT之间的MAE计算得到，可表示为，有助于产生更精细、更高频的纹理。

L_wavelet＝ω-dwt_n(G)₁

式中，dwt_n(·)为n层二维离散小波变换(DWT)的映射函数。

基于上述实施例的多尺度学习小波注意力机制网以及其图像重建方法，进行实验验证，具体过程如下：

1指标和数据集

DIV2K是一个流行的SISR数据集，包含了1000张高质量的天然RGB照片。在该实验中，选取DIV2K中的前900张照片作为训练数据。同时，利用Set5、Set14、B100、Urban100、Manga109 5个标准基准数据集进行评估。利用两个定量指标对SR结果进行评价。利用峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似指数(SSIM)评价重建后的HR图像质量。为了公平比较，SSIM和PSNR在早期的研究中很少考虑亮度(Y)信道。使用Matlab算法使用双三次插值对高质量的照片进行下采样，以创建LR图像的训练数据。

2实验细节

实验中MLWAN在(2,4,8)SR上训练4000批次。在每次迭代中，对输入随机裁剪32个大小为40×40的patch，它们是从训练数据中的LR图像中随机裁剪出来的。采用随机翻转(垂直和水平)和90度旋转在将数据发送到模型之前实时更新数据。Adam以4×10^-5的学习速率初始化模型参数进行优化。式(5)中的α和β均设为1.0。MLW AN训练代码是使用PyTorchLibrary在NVIDIA的Quadro RTX 6000GPU上运行的。

3有效性分析

3.1定量分析

为了研究该模型的有效性和鲁棒性，将MLWAN模型与现有的一些典型的SR模型进行了比较，包括推理时间、网络参数、PSNR和SSIM等方面。

对于网络参数，本实施例将卷积、反卷积和绝对链接层考虑在内。IDWT参数没有提供，因为它们的0.008K量可以忽略不计。参数数的卷积层可以通过

Params＝C_in×C_out×k_h×k_ω+b

其中C_in和C_out分别为卷积层的输出和输入通道数。b是偏差，使用偏差时等于C_out不使用偏差时等于0。(k_h,k_ω)为核大小。反卷积层参数的计算与卷积层相同。

绝对连通层的参数数可由

Params＝D_in×D_out+b

其中，绝对链接层的输入和输出维度分别用变量D_in和D_out表示。偏移的个数是b，也就是D_out使用偏移但0不使用偏移。在实验中，所有模型参数值按照上述两个公式计算。参见图5，其比较了模型规模较大的SR方法的模型参数个数和运行时间。

B100数据集由100幅图像组成，用于量化网络推理时间与实验运行时间的关系。比较技术的官方实现依赖于几个深度学习库，因此，这些库使用的计算后端不同，这对推断时间比较的公平程度有影响。在评估网络推断时间时，只在NVIDIA的一个Quadro RTX6000GPU上应用PyTorch Library，以最小化各种软件或硬件带来的测量变化。从表1中可以找到定量结果，将MLWAN与bicubic、SRCNN、FSRCNN、VDSR、DRCN、LapSRN、MemNet进行比较。可以看出，该模型与Bicubic、SRCNN和FSRCNN相比，在PSNR和SSIM对比度方面都有很大的提高。特别是对于VDSR方法，所提模型具有较高的PSNR和SSIM(4×和8×图像)。与4×Set5数据集相比，PSNR和SSIM分别提高了0.84和0.0127。然后，对于方法DRCN，本文方法不仅在PSNR和SSIM上比前者高，而且在参数和运行时间上也更少。对于LapSRN方法，虽然运行时间很短，但所提出的模型取得了比LapSRN更好的PSNR和SSIM值。特别是在8幅图像的Manga109数据集上，该方法的PSNR提高了1.12,SSIM提高了0.0483。对于MemNet方法，该网络的推理时间大大缩短。综上所述，本文提出的MWLAN模型在SSIM和PSNR下的性能优于其他比较模型。此外，还在图5中进行了对比。对于EDSR和RCAN，它们的PSNR和SSIM值都略高于本文提出的模型，但它们的参数和运行时间都远远大于本文提出的方法。SRFBN采用循环学习降低了模型参数的全部个数，但网络模型参数和操作时间也较高。虽然这些方法在PSNR和SSIM值上高于本文提出的方法，但在网络参数和运行时间上远高于本文提出的方法。通过与上述方法的定量比较，发现本文方法在重构性能、模型参数和运行时间三个方面实现了较好的平衡。因此，该方法可以嵌入到实时图像处理系统中，用于图像SR应用。

表1比较不同单尺度SR方法的网络参数个数、推断时间和PSNR/SSIM

/>

3.2视觉效果分析

在这部分中，通过视觉感官比较来研究方法的可用性。比较了双三次插值、SRCNN、FSRCNN和LapSRN，在标准数据集上对2×、4×和8×图像进行超分辨率重建，分别如图6、图7、图8和图9所示。具体来说，在Set5中选择图6的图像，在Set14中选择图7的图像，在B100中选择图8和图9的图像。很明显，可以看出本文方法比前面的四种方法具有更好的纹理清晰性和重建效果，尤其是在较大的4×和8×上，远远优于对比方法。总之，通过人眼的主观实验，可以发现该方法优于现有方法。

4消融实验

4.1CSAM的有效性

该模型用CSAM块提取的特征对整个网络的性能有很大的影响。基于这样的考虑，设计了两组实验。第一个实验是没有CSAM块的MLWAN，命名为MLWAN(无CSAM)。第二组实验为带CSAM块的MLWAN。在2×、4×、8×五个标准基准数据集上测试了两个训练好的网络，并对比了SSIM和PSNR。由表2可以看出，有CSAM块的模型的PSNR和SSIM值明显高于无CSAM块的模型。总体而言，本文提出的CSAM块能够有效地捕获图像SR的结构和纹理信息。

表2CSAM与无CSAM的MLWAN的PSNR/SSIM比较

4.2ECA对RB的影响

为了验证添加到RB的ECA模块的可用性，从RB块中删除了ECA模块，并训练了一个并将其与初始MLWAN模型进行了比较。结果如表3所示。在2×、4×、8×5个标准基准数据集上测试了这两种模型。得到的PSNR和SSIM值表明，不加ECA的模块的PSNR和SSIM值显著低于原始模型，说明添加的ECA模块对图像SR是有效的。

表3加ECA与不加ECA的MLWAN的PSNR/SSIM比较

本实施例中的多尺度学习小波注意网络(MLWAN)以及图像构建方法，实现图像的精确和轻量化超分辨率，利用该网络对目标图像的逆变换系数和小波系数进行预测，利用预测的小波系数得到HR图像。特别地，在特征提取中使用了CSAM块，在RNN分支特征提取中使用了ECARB循环块，提高了网络的性能。实验结果表明，该模型的性能优于现有方法。此外，该模型还能在网络重构性能、推理时间和参数数量之间取得平衡。在未来的工作中，希望将提出的方法扩展到视频超分辨率。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。

Claims (10)

1.一种多尺度学习小波注意力机制网络，其特征在于，包括：

第一部分网络，所述第一部分网络包括两层卷积层和一个通道-空间注意力机制块，输入原始LR图像至所述第一部分网络，获得原始LR图像的低层特征；

第二部分网络，所述第二部分网络包括一个神经网络CNN分支，通过所述神经网络CNN分支，能够预测低频小波系数；

第三部分网络，所述第三部分网络包括一个神经网络RNN分支，通过所述神经网络RNN分支，预测剩余的子带小波系数。

2.根据权利要求1所述的一种多尺度学习小波注意力机制网络，其特征在于，所述第一部分网络，包括：

两个卷积层，原始LR图像通过所述两个卷积层，提取到LR图像的低级特征；

通道-空间注意力机制块CSAM，通过所述CSAM提取所述低级特征在所述两个卷积层连续通道中表示通道内和通道间信息所需的低层特征。

3.根据权利要求2所述的一种多尺度学习小波注意力机制网络，其特征在于，所述通道-空间注意力机制块CSAM，包括：

3D卷积层，所述3D卷积层接收输入特征，即所述LR图像的低级特征，并收集其关键空间和通道特征构建注意力地图；

矩阵，所述矩阵对所述注意力地图进行三维卷积，获得注意图；

将所述输入特征和所述注意图相乘并加权比例因子，合并所述输入特征，获得加权特征。

4.根据权利要求1所述的一种多尺度学习小波注意力机制网络，其特征在于，所述第二部分网络，包括：

两个连续的卷积层，通过所述两个连续的卷积层预测小波系数，所述小波系数处理检索到的低级信息，即所述第一部分网络获取的低层特征。

5.根据权利要求1所述的一种多尺度学习小波注意力机制网络，其特征在于，所述神经网络RNN分支包括用以减少网络参数总量的通道注意力循环块。

6.根据权利要求5所述的一种多尺度学习小波注意力机制网络，其特征在于，所述第三部分网络，包括：

第一通道注意循环块，所述第一通道注意循环块能够共享所有参数；

两个连续的卷积层，所述两个连续的卷积层位于所述第一通道注意循环块之后，所述第一部分网络获取的低层特征作为输入，依序通过所述第一通道注意循环块和两个连续的卷积层，预测获得第三级小波系数；

第一连接层，所述第一连接层将所述第一部分网络的低层特征和所述第一通道注意循环块的先验输出串联，并获得相同的权重；

第二通道注意循环块，所述第一连接层的输出输入所述第二通道注意循环块，形成判别特征；

反卷积层和卷积层，所述判别特征依序通过所述反卷积层和卷积层，预测获得第二级小波系数；

第二连接层，所述第二连接层将所述第一部分网络的低层特征和所述第二通道注意循环块的先验输出串联，并获得相同的权重；

第三通道注意循环块，所述第二连接层的输出输入所述第三通道注意循环块，形成判别特征；

反卷积层和卷积层，所述判别特征通过所述反卷积层和卷积层，预测获得第一级小波系数。

7.根据权利要求5所述的一种多尺度学习小波注意力机制网络，其特征在于，所述通道注意力循环块，包括：

PRM层，即逐步细化模块，所述PRM层包括卷积层和多个精馏层；输入特征首先进入卷积层提取特征，提取后的特征依序进入多个精馏层，每个精馏层对输入特征进行信道分割运算，得到两部分特征，一部分被保留，另一部分被输入到下一个精馏层，所述保留的特征和最后一个精馏层的输出特征融合；

ECA通道注意力模块和一维卷积层，所述PRM层的输出特征和第一层提取的低层信息输入至所述ECA通道注意力模块进行特征细化，经过所述一维卷积层输出细节特征。

8.一种图像超分辨率重建方法，采用权利要求1-7任一项所述的多尺度学习小波注意力机制网络，其特征在于，包括：

将高分辨率图像下采样生成低分辨率图像；

将所述低分辨率图像输入所述第一部分网络，获得低层特征；

将所述低级特征输入第二部分网络和第三部分网络，预测小波系数；

利用所述小波系数做离散逆小波变换生成重建的多尺度的超分辨率图像。

9.根据权利要求8所述的一种基于多尺度学习小波注意力机制网络的图像超分辨率重建方法，其特征在于，重建的超分辨率图像的放大倍数随着所述通道注意力循环块的重复次数呈指数增长。

10.根据权利要求9所述的一种图像超分辨率重建方法，其特征在于，所述利用所述小波系数做离散逆小波变换生成重建的多尺度的超分辨率图像，包括：

所述第二部分网络的小波系数和第三级小波系数联合，再经过离散逆小波变换获得2x的超分辨率图像；

所述第三级小波系数和第二级小波系数联合，再经过离散逆小波变换获得4x的超分辨率图像；

所述第二级小波系数和第一级小波系数联合，再经过离散逆小波变换获得8x的超分辨率图像。

Images