CN111833246A - 基于注意力级联网络的单帧图像超分辨方法 - Google Patents

Abstract

本发明公开一种基于注意力级联网络的单帧图像超分辨方法，通过多阶段注意力增强网络多阶段处理实现；浅层特征提取阶段，利用一个浅层特征提取卷积层从低分辨率图像中提取浅层特征，深层特征提取与融合阶段，利用深层级联残差U‑net结构的主网络在浅层特征基础上进行深层特征提取与融合，使用长、短跳连接促进低频信息流动；尺度增加阶段，利用尺度增加网络对深层特征上采样；上采样后再卷积操作，映射成高分辨率图像。本发明可以充分利用多个表示阶段的互补信息来生成逼真的图像。

Description

基于注意力级联网络的单帧图像超分辨方法

技术领域

本发明涉及单帧图像超分辨技术领域，特别是涉及一种基于注意力级联网络的单帧图像超分辨方法。

背景技术

单帧图像超分辨(SISR)旨在从低分辨率(LR)输入图像中重建高分辨率(HR)图像。对于同一LR图像，由于HR图像估计具有多种解决方案，因此SISR是个典型的不适定反问题。另外，包括噪声和模糊在内的成像质量下降问题将使HR图像的恢复过程更加困难。因此有必要探索可靠的自然图像先验知识，甚至是HR-LR对的正确映射，以找到具有高视觉质量的最佳HR解决方案。

早期插值方法通过用各种插值内核来预测未知像素值来生成HR图像，但由于对相邻像素加权的过程易于擦除高频图像分量，因此它们的内插性能受限制。为提供更多有用信息，基于重构的方法采用各种正则化术语作为先验知识。但它们仍然很难恢复精细的结构和纹理。为获得更好感知质量，已通过从HR-LR示例图像或共现补丁对中学习映射关系来解决SR问题，但它们的建模能力相对于大量训练数据仍然有限，将限制重建质量提高。

当前，用于SR任务的深度学习技术已比以前的SR方法取得了更加优越的性能。由于以纯数据驱动的方式，具有端到端训练模式的深度卷积神经网络(CNN)具有强大的特征表示能力。目前有一系列基于CNN的SISR方法，以从LR输入及其对应的HR输出中学习映射函数。但大多数基于CNN的SR模型主要着眼于设计更深或更广的网络以学习更多区分性的高级特征，忽略了跨不同尺度和通道的特征交互，因此缺乏固有特征的表示能力，且限制了图像SR结果的准确性和稳定性。

发明内容

本发明的目的是针对现有技术中的问题，为进一步提高SISR性能，而提供一种基于注意力级联网络的单帧图像超分辨方法，通过多阶段注意力增强网络(AHN)的多阶段特征学习策略，可以获得更优越的SR结果。

为实现本发明的目的所采用的技术方案是：

一种基于注意力级联网络的单帧图像超分辨方法，通过多阶段注意力增强网络多阶段处理实现；浅层特征提取阶段，利用一个浅层特征提取卷积层从低分辨率图像中提取浅层特征，深层特征提取与融合阶段，利用深层级联残差U-net结构的主网络在浅层特征基础上进行深层特征提取与融合，使用长、短跳连接促进低频信息流动；尺度增加阶段，利用尺度增加网络对深层特征上采样；上采样后再卷积操作，映射成高辨率图像：其中，

主网络包括多G个顺序连接的深层级联残差模块CRG与一个末端卷积层，深层级联残差模块CRG依次设置一个内容感知模块CAM、多个顺序连接的方向感知模块OAM及末端一个内部卷积模块；第g个深层级联残差模块CRG输出如下：

F_g＝F_g-1+F_g,B＝H_g(F_g-1)，

其中F_g-1和F_g分别表示第g个深层级联残差模块CRG的输入和输出，F_g,B表示方向感知模块OAM的输出，H_g(·)表示第g个CRG函数；

深层特征通过以下式得到，

F_DF＝F₀+H_DF(F_G)，

其中，F_G是在主网络尾部提取的CRG特征图，H_DF(·)是卷积操作，F₀是提取到的浅层特征。

尺度增加网络由位置感知模块PAM与像素混洗模块依次连接构成，位置感知模块PAM通过自注意力机制来实现，以增强图像纹理和细节的中高频特征响应；像素混洗将通道空间的深度重塑为空间的宽度和高度。

其中，内容感知模块CAM为三层深度网络结构；收缩路径中，通过卷积操作将输入的特征图进行两次下采样，扩展路径中，通过带有像素混洗操作的卷积层将下采样后的特征图上采样，然后与相同级别的空间注意力模块SAB的输出特征拼接：内容感知模块CAM第m级别的输出特征表示为

其中.

是第m级卷积块的函数,T_CAM(·)表示CAM的注意门控函数，

表示在第m阶段编码部分最终卷积块的输出，

表示在第m+1阶段的解码部分的最后块的输出。

其中，空间注意力模块SAB，用于通过以全局方式对互补上下文特征进行重新校准来对分离的空间区域之间的关系进行建模，具体执行以下步骤：

将解码器阶段的卷积特征图像x分别传入两个1×1卷积层分别生成两个特征图像f(x)和g(x)，转换为两个特征空间f和g之后，在特征图像f(x)和特征图像g(x)的转置之间执行矩阵乘法，并应用softmax层来计算空间注意力图；

与此同时，将编码阶段的特征

输入到空间注意力模块SAB，通过一个1×1卷积层生成一个新的特征图像h(y)，然后在空间注意力图与新的特征图像h(y)之间执行矩阵相乘，将结果通过一个1×1卷积转换成s(y)输出；空间注意力模块SAB的输出为

β_j,i表示第i个位置对第j个位置的影响。

其中，方向感知模块OAM包含三个并行的卷积层，以提取不同方向上的方向感知特征，用于重新缩放通道特征的通道注意力；三个上述卷积层中使用预定义的稀疏内核来部署两个稀疏卷积层以减少参数的数量，两个5×5稀疏卷积SConv内核，一个是具有垂直和水平SConv_VH方向的内核；另一个是具有对角SConv_D方向的SConv内核；两个5×5稀疏卷积SConv内核的每个内核在5×5空间中允许有9个非零权重条目，其余16个条目为0。

其中，位置感知模块PAM为Pointtwise Conv层-APReLU层-Pointtwise Conv层-Sigmoid层的结构；执行位置感知时，首先应用逐点Conv运算符来处理带有C个通道的输入特征图

将卷积核尺寸减小到可接受的范围内,形成APReLU层的输入特征图x^PAM，对负特征使用了学习到的非零乘法系数，从每个通道特征

计算出的全局平均池化被用作系数，从而进行非线性变换以自适应地响应上下文特征；APReLU函数R_c为

其中，

表示(i,j)位置的特征，同一层所有通道，学习到的参数τ是相同的，μ_c代表负特征的全局池化，乘法系数r_c由以下给出：

在[0,1]范围内构造权重图，从位置像素的邻近相关关系中获得更好的注意力权重，如下所示：

H_PW表示逐点卷积算子的函数，是在训练过程中学习的；

位置感知模块PAM空间上改进后，输出特征图像

本发明提出的注意力级联网络(AHN)，以便共同学习多尺度，多方位和多层次特征的最优表示。通过利用空间注意力来捕获不同分辨率特征图中的远程依存关系，构建多尺度的U-net以生成内容感知特征。基于具有跳过连接的残差结构，使用2D稀疏和非稀疏卷积核的组合在通道注意力的指导下执行不同方向的自适应特征提取和多方向融合。利用自我关注机制，以根据相邻位置中的特征交互作用来调整元素方向的值，完善最终的特征图；并且通过将建议的注意力增强模块堆叠到深度残差架构中，可以充分利用多个表示阶段的互补信息来生成逼真的HR图像。

附图说明

图1是本发明所用的多阶段注意力增强网络(AHN)的原理示意图。

图2是本发明所用的内容感知模块(CAM)的原理图；

图3是本发明所用的空间注意力块(SAB)的原理图；

图4是本发明所用的方向感知模块(OAM)的原理图；

图5是本发明所用的位置感知模块(PAM)的原理图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明通过图1所示的多阶段注意力增强网络(AHN)实现，通过多阶段学习，实现最终获得一个优越的SR结果。

其中，特征提取阶段，提出注意门控U-net结构，以生成内容感知特征。为进一步增强特征识别，利用两个预定义的稀疏内核和一个标准内核组合，以提取多方向特征，这些多方向特征是通过通道注意力机制进行融合的。

多尺度阶段，提出自我关注机制，以促进训练结果并帮助恢复真实的细节。

本发明基于注意力级联网络的单帧图像超分辨方法，其实现的网络结构为一种新型网络结构——多阶段注意力增强网络(AHN)，如图1所示。

多阶段注意力增强网络(AHN)由三个注意力级联阶段组成：浅层特征提取阶段(Feature extraction Stage)，深层特征提取与融合阶段(Feature extraction andfusion stage)，尺度增加阶段(Upscale stage)。

本发明K,用I_LR和I_SR分别表示多阶段注意力增强网络(AHN)的输入和输出。本发明仅用一个卷积层(Conv)来从LR输入中提取浅层特征F₀，

F₀＝H_SF(I_LR) (1)

其中H_SF(·)表示卷积操作,提取到的浅层特征F₀被输入到主网络中，用于深层特征的提取与融合。因此，可以进一步得到以下表达式

F_DF＝H_CRG(F₀) (2)

其中，H_CRG(·)表示深层级联残差U-net结构。此主网络包含总级数为G的多级CRGs，这可以达到很大的深度，从而提供更大的感受野。在特征提取和融合阶段，使用长、短跳连接来促进低频信息的流动。然后，提取到的深层特征F_DF通过一个Upscale Stage来进行上采样操作；

F_UP＝H_UP(F_DP) (3)

尺度增加的特征F_UP通过一个3×3卷积层映射成SR图像；

I_SR＝H_MAAN(I_LR) (4)

其中，H_MAAN(·)表示整个AHN网络的函数。

如图1所示，每个CRG包含一个内容感知模块(CAM)、一些方向感知模块(OAM)和跳跃连接。内容感知模块(CAM)利用互补的多尺度特征和具有不同分辨率的特征图的远程关联。此外，内容感知模块(CAM)可有效地组合多尺度特征以获得更好的上下文表示，并在较大感受野中生成丰富的结构提示。

方向感知模块(OAM)被引入到CRG中以进一步有效地生成更多独特的特征，因为存在多个与方向相关的卷积核，以通过级联多个残差结构来提取丰富的层次特征。特征图拼接之后，方向感知模块(OAM)进一步进行局部特征融合，从而为后面的CRGs自适应地保留上下文信息。

已经证明，堆叠残差块有助于构建深层CNN。但对于图像SR任务，以这种方式构建的非常深的网络会遭受训练困难，并且很难获得更精细的重建质量。将具有残差结构的CRG用作更深层网络的基本模块。CRG内的级联机制可以进一步稳定非常深层网络的训练。然后将第g组中的CRG表示为，

F_g＝F_g-1+F_g,B＝H_g(F_g-1) (5)

其中F_g-1和F_g分别表示第g个CRG的输入和输出，F_g,B表示最终OAM的输出。为简单起见省略偏置项。H_g(·)表示第g个CRG函数。深层特征F_DF通过下式得到

F_DF＝F₀+H_DF(F_G) (6)

其中，F_G是在主网络尾部提取的CRG特征图。H_DF(·)是卷积操作。这种多阶段结构不仅可以简化重要特征的提取和跨多个CRG的流动，而且还可为图像SR训练非常深的CNN。

如图2所示，内容感知模块(CAM)旨在将两个空间注意力块(SAB)集成到具有残差结构的基本U-net中。这样所提出的模块可学习具有不同分辨率的多尺度深度特征，并根据空间和通道的相互依赖性将它们组合起来。

基本的U-net架构本质上是一个编码器和解码器网络，其中的收缩路径和对称扩展路径通过一系列跳跃连接进行连接。内容感知模块(CAM)的结构鼓励完全重用信息流，并将跳过连接中的HR低级功能自适应地纳入扩展路径中的功能。传统跳过连接允许在特征图中重复传输LR信息，但这经常导致提取的图像特征模糊。而且，网络提取的全局特征通常不包含足够的输入HR上下文信息。

为了解决该问题，本发明将空间注意力块(SAB)添加到基本U-net的跳跃连接中，以避免重复功能的LR信息。

内容感知模块(CAM)由三个层次的深度组成。为了捕获具有足够大的感受野的上下文信息，从第一阶段开始逐渐对特征图进行下采样(Downsampling)。

在收缩路径中，在每个级别应用两个卷积块以提取特征，其中每个卷积块由一个3×3Conv层和紧随其后的线性单元(ReLU)组成。使用步长为2的3×3Conv操作对特征图进行下采样后，特征的LR信息将在下一阶段传输到Conv层。在第一阶段，Conv层不会影响特征通道的数量。使用其他两个阶段的第一个卷积块将特征通道加倍，随后的块用于进一步提取特征。

在扩展路径中，通过带有像素混洗操作的3×3卷积层将特征图上采样(Upsampling)到一个较大级别，然后与相同级别的空间注意力块(SAB)的输出特征进行拼接。扩展路径中的每个卷积块将特征通道的数量减半，并使用随后的3×3Conv层来减轻网格化伪影。

最后，HR特征与LR上下文信息相结合，并经过许多层处理，以产生具有U-net残差结构的信息特征。

表示在第m阶段编码部分最终卷积块的输出，

表示在第(m+1)阶段的解码部分的最后块的输出。基于CAM的结构，第m级别的输出特征表示为

其中.

是第m级卷积块的函数,T_CAM(·)表示CAM的注意门控函数。

本发明的空间注意力块(SAB)，如图3所示。将空间注意力模块(SAB)与CAM内部的直接连接集成在一起，参见图2。空间注意力块(SAB)的目的是通过以全局方式对互补上下文特征进行重新校准来有效地对分离的空间区域之间的关系进行建模。空间注意力机制的输出用于有选择地强调更多的信息功能并抑制无用的功能。

考虑解码器阶段的卷积特征图像

沿着通道尺度，特征图像改变为

N＝H×W表示特征图像中位置的数量。如图3所示，首先将卷积特征图像x传入1×1卷积层分别生成两个特征图像f(x)＝W_fx和g(x)＝W_gx。转换为两个特征空间f和g之后，在f(x)和g(x)的转置(Transpose)之间执行矩阵乘法(Matrix Multiplicationg)，并应用softmax层来计算空间注意图(Attention Map)；

其中,β_j,i表示第i个位置对第j个位置的影响。两个位置上的特征表示的相似性衡量了它们之间的相关性。与此同时，将编码阶段的特征

输入到SAB中生成一个新的特征图像h(y)＝W_hy。然后在注意力图与h(y)之间执行矩阵相乘，将其结果通过一个1×1卷积进行转换s(y)＝W_sy。注意力层

的输出为

本发明的方向感知模块(OAM)，如图4所示。方向感知模块(OAM)包含三个卷积层，以提取不同方向上的方向感知特征，用于重新缩放通道特征的通道注意力，以及一个带有ReLU的标准3×3卷积层。每个OAM中，使用预定义的稀疏内核来部署两个稀疏卷积层，这可以显著减少参数的数量，并且相对于标准卷积而言，精度的降低可忽略不计。通过定义2D滤波器内核中的稀疏模式，利用了输入感受野的结构稀疏性，并提取了不同方向上的定向感知特征。零位置在训练之前定义，并在训练和推理过程中保持不变。

方向感知模块(OAM)中的特征级联层(Concat),将前面的三个卷积层提取的特征进行串接操作，最后形成一个3×H×W的向量送入下一级网络，下一级网络为四层结构，依次设置有池化层(Global Pooling)，全连接层(FC)，ReLU层，全连接层(FC)以及最后一层的Sigmoid；其中，池化层(Global Pooling)将每个通道的特征图求其算术平均的操作，全连接层(FC)是对方向感知模块(OAM)中的通道数进行先降维数再增加维数的操作。

图4示出了两个5×5稀疏卷积(SConv)内核。一个预定义的过滤器具有SConv内核具有垂直和水平(SConv_VH)方向；另一个是具有对角线(SConv_D)方向的SConv内核。每个内核，在5×5空间中允许有9个非零权重条目(参见图4中的SConv_VH和SConv_D的深色网格)，其余16个条目为0。此设置下，SConv_VH和SConv_D过滤器更适合提取方向感知特征。

本发明的位置感知模块(PAM)，如图5所示。为了提高重建性能，将位置感知模块(PAM)与ESPCN算法的像素混洗(PixelShuffle)相结合，以自适应地改进LR特征图的元素方向值。

如图5所示，位置感知模块(PAM)通过自注意力机制来实现，可增强图像纹理和细节的中高频特征响应。像素混洗(PixelShuffle)将通道空间的深度重塑为空间的宽度和高度。然而，仅混洗算子不能响应像素之间的局部相关性，因此限制了SR性能。为了超越限制，提出的位置感知模块(PAM)执行高效的自注意算子，以学习每个位置的空间自适应权重。

执行PAM时，首先应用逐点Conv运算符来处理带有c个通道的输入特征图

将卷积核尺寸减小到可接受的范围内不会损害性能。让x^PAM表示APReLU的输入特征图。为了适应特定实例内容，对负特征使用了学习到的非零乘法系数。此外，从每个通道特征

计算出的全局平均池化也被用作系数，从而进行非线性变换以自适应地响应上下文特征。形式上，考虑通道级APReLU函数R_c为

其中，

表示(i,j)位置的特征。对于同一层所有通道，学习到的参数τ是相同的。μ_c代表负特征的全局池化，其中可能包含有用的详细信息。乘法系数r_c由以下给出

的元素级激活是为了增强自注意力的非线性能力。为了从位置像素的邻近相关关系中获得更好的注意力权重，在[0,1]范围内构造权重图，如下所示：

H_PW表示逐点卷积算子的函数，它是在训练过程中学习的。考虑到性能和效率之间的良好折衷，将内核大小设置为3×3。

通过位置感知模块(PAM)空间上改进后，输出特征图像

可以更精确地表示图像结构，因此Upscale模块可以预测更好的SR结果。这样，PAM可以在整个Upscale阶段有效传播更多上下文信息，以重建HR图像。

综上，可以看出，本发明所提出的用于单帧图像超分辨的多阶段注意力增强网络，通过精心设计的多阶段特征学习策略，能获得最先进的SR结果。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.基于注意力级联网络的单帧图像超分辨方法，其特征在于，通过多阶段注意力增强网络多阶段处理实现；浅层特征提取阶段，利用一个浅层特征提取卷积层从低分辨率图像中提取浅层特征，深层特征提取与融合阶段，利用深层级联残差U-net结构的主网络在浅层特征基础上进行深层特征提取与融合，使用长、短跳连接促进低频信息流动；尺度增加阶段，利用尺度增加网络对深层特征上采样；上采样后再卷积操作，映射成高辨率图像：其中，

主网络包括多G个顺序连接的深层级联残差模块CRG与一个末端卷积层，深层级联残差模块CRG依次设置一个内容感知模块CAM、多个顺序连接的方向感知模块OAM及末端一个内部卷积模块；第g个深层级联残差模块CRG输出如下：

F_g＝F_g-1+F_g,B＝H_g(F_g-1)，

其中F_g-1和F_g分别表示第g个深层级联残差模块CRG的输入和输出，F_g,B表示方向感知模块OAM的输出，H_g(·)表示第g个CRG函数；

深层特征通过以下式得到，

F_DF＝F₀+H_DF(F_G)，

其中，F_G是在主网络尾部提取的CRG特征图，H_DF(·)是卷积操作，F₀是提取到的浅层特征。

尺度增加网络由位置感知模块PAM与像素混洗模块依次连接构成，位置感知模块PAM通过自注意力机制来实现，以增强图像纹理和细节的中高频特征响应；像素混洗将通道空间的深度重塑为空间的宽度和高度。

2.根据权利要求1所述基于注意力级联网络的单帧图像超分辨方法，其特征在于，内容感知模块CAM为三层深度网络结构；收缩路径中，通过卷积操作将输入的特征图进行两次下采样，扩展路径中，通过带有像素混洗操作的卷积层将下采样后的特征图上采样，然后与相同级别的空间注意力模块SAB的输出特征拼接：内容感知模块CAM第m级别的输出特征表示为

其中.

是第m级卷积块的函数,T_CAM(·)表示CAM的注意门控函数，

表示在第m阶段编码部分最终卷积块的输出，

表示在第m+1阶段的解码部分的最后块的输出。

3.根据权利要求2所述基于注意力级联网络的单帧图像超分辨方法，其特征在于，空间注意力模块SAB，用于通过以全局方式对互补上下文特征进行重新校准来对分离的空间区域之间的关系进行建模，具体执行以下步骤：

将解码器阶段的卷积特征图像x分别传入两个1×1卷积层分别生成两个特征图像f(x)和g(x)，转换为两个特征空间f和g之后，在特征图像f(x)和特征图像g(x)的转置之间执行矩阵乘法，并应用softmax层来计算空间注意力图；

与此同时，将编码阶段的特征

输入到空间注意力模块SAB，通过一个1×1卷积层生成一个新的特征图像h(y)，然后在空间注意力图与新的特征图像h(y)之间执行矩阵相乘，将结果通过一个1×1卷积转换成s(y)输出；空间注意力模块SAB的输出为

β_j,i表示第i个位置对第j个位置的影响。

4.根据权利要求1所述基于注意力级联网络的单帧图像超分辨方法，其特征在于，方向感知模块OAM包含三个并行的卷积层，以提取不同方向上的方向感知特征，用于重新缩放通道特征的通道注意力；三个上述卷积层中使用预定义的稀疏内核来部署两个稀疏卷积层以减少参数的数量，两个5×5稀疏卷积SConv内核，一个是具有垂直和水平SConv_VH方向的内核；另一个是具有对角SConv_D方向的SConv内核；两个5×5稀疏卷积SConv内核的每个内核在5×5空间中允许有9个非零权重条目，其余16个条目为0。

5.根据权利要求1所述基于注意力级联网络的单帧图像超分辨方法，其特征在于，位置感知模块PAM为Pointtwise Conv层-APReLU层-Pointtwise Conv层-Sigmoid层的结构；执行位置感知时，首先应用逐点Conv运算符来处理带有C个通道的输入特征图

将卷积核尺寸减小到可接受的范围内,形成APReLU层的输入特征图x^PAM，对负特征使用了学习到的非零乘法系数，从每个通道特征

计算出的全局平均池化被用作系数，从而进行非线性变换以自适应地响应上下文特征；APReLU函数R_c为

其中，

表示(i,j)位置的特征，同一层所有通道，学习到的参数τ是相同的，μ_c代表负特征的全局池化，乘法系数r_c由以下给出：

在[0,1]范围内构造权重图，从位置像素的邻近相关关系中获得更好的注意力权重，如下所示：

H_PW表示逐点卷积算子的函数，是在训练过程中学习的；

位置感知模块PAM空间上改进后，输出特征图像

Images