CN110717856A

CN110717856A - 一种用于医学成像的超分辨率重建算法

Info

Publication number: CN110717856A
Application number: CN201910827129.2A
Authority: CN
Inventors: 雷志春; 李泽田
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2019-09-03
Filing date: 2019-09-03
Publication date: 2020-01-21

Abstract

本发明公开一种用于医学成像的超分辨率重建算法，包括步骤：利用全局注意力网络提取目标医学图像的包含高频信息的浅层特征，以及包括抽象信息的深层特征；对图像尺寸上采样放大后，进行全局注意力处理，获得全局特征；在所述全局特征的基础上，进行图像重建，输出重建后的图像。本发明通过双注意力机制提取输入图像的重要特征成分，提高超分辨率重建的图像质量，恢复对医学分析极为关键的图像细节，减少神经网络参数，加快神经网络收敛速度。

Description

一种用于医学成像的超分辨率重建算法

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种用于医学成像的超分辨率重建算法。

背景技术

基于深度学习的超分辨率重建技术如卷积神经网络、残差学习和密集连接广泛地应用到超分辨率重建工作中，如用于单图像超分辨率重建任务的的三层卷积神经网络(CNN)，称为SRCNN，以端到端的方式优化特征提取、非线性映射和图像重建阶段。然而受自身卷积层数的限制，该方法提取的特征有限，恢复质量仍有待提高。SRCNN基础上，有人提出更深层的网络结构--VDSR，深度达到20层，并引入残差学习和梯度裁剪以降低训练难度。随着深度的增加，网络产生的冗余信息越来越多，这会浪费大量计算资源，甚至会降低网络性能。

卷积神经网络的深度对网络的性能影响很大，但是过深的网络却难以训练。网络的浅层特征包含丰富的高频信息，这对图像细节的重建非常重要，但这些高频信息在通道间被平等对待，这阻碍了网络的表达能力。

发明内容

本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于双注意力机制与深度学习的用于医学成像的超分辨率重建算法，通过提出全局注意力网络，应用于单图像超分辨率重建任务，达到提升输入图像分辨率，优化生成图像视觉质量的目的。

为实现本发明的目的所采用的技术方案是：

一种用于医学成像的超分辨率重建算法，包括步骤：

利用全局注意力网络提取目标医学图像的包含高频信息的浅层特征，以及包括抽象信息的深层特征；

对图像尺寸上采样放大后，进行全局注意力处理，获得全局特征；

在所述全局特征的基础上，进行图像重建，输出重建后的图像。

其中，所述全局注意力网络包括依次顺序连接的浅层特征提取模块，深层特征提取模块、上采样模块、全局特征模块以及图像重建模块。

其中，所述浅层特征提取模块包含一个3×3的卷积层；

所述深层特征提取模块包括依次顺序连接的卷积模块、通道注意力模块与空间注意力模块；所述卷积模块包括两个基本卷积块以及位于两个基本卷积块之间一个过渡卷积层，所述基本卷积块采用密集残差结构，所述过渡卷积层卷积核大小为3×3；

所述上采样模块包含两层反卷积层，用于输入LR的尺寸放大到HR大小；

所述图像重建模块包括一层卷积核大小为1×1的卷积层。

其中，所述通道注意力模块包括：

降维模块，用于对输入特征图采用平均池化与最大池化的方法进行降维；

特征评估模块，用于在输入特征图降维后进行特征评估得到各自权重；

结果计算模块，用于将上述权重相加并通过sigmoid归一化得到最终的通道注意力结果--通道注意力特征图；通道注意力特征图表述如下：

其中，

和

分别表示平均池化以及最大池化降维之后的特征图；W₀，W₁分别表示平均池化以及最大池化降维之后的特征图的权重，M_C(F)表示通道注意力特征图，F∈R^C ^×H×W为中间特征图。

其中，所述空间注意力模块，基于通道注意力模块的输出结果，在通道维度上使用最大池化和平均池化得到两个不同特征图和

并在通道维度上将两个所述特征图连接，最后经过一个7×7卷积层得到空间注意力结果；空间注意力满足方程：

M_S(F)＝σ(f^7×7([AvgPool(F)；MaxPool(F)])，

其中，M_S(F)表示空间注意力特征图，σ为sigmoid函数；f^7×7()为7×7的卷积操作；AvgPool()为均值池化函数；MaxPool()为最大池化函数；[；]表示通道维度上特征的连接操作。

其中，所述全局特征模块包括依次顺序连接的全局特征单元，特征传递单元以及特征聚合单元；所述全局特征单元包括一个1×1的卷积层与softmax分类器,所述特征传递单元包括一个1×1的卷积层、一个Instance_Norm层，Relu 层，所述特征聚合单元包括一个1×1的卷积层。

本发明通过双注意力机制提取输入图像的重要特征成分，提高超分辨率重建的图像质量，恢复对医学分析极为关键的图像细节，减少神经网络参数，加快神经网络收敛速度。

附图说明

图1所示为医学成像的超分辨率重建算法所用全局双注意力网络结构图；

图2所示为通道注意力模块的结构图；

图3所示为空间注意力模块的结构图；

图4所示为全局注意力模块的结构图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1-4所示，本发明用于医学成像的超分辨率重建算法，是利用所构建的全局注意力网络来依次进行以下操作而实现，其步骤具体如下：

S1.利用浅层特征提取模块提取浅层特征F_shallow(x):

F_shallow(x)＝Conv_3×3(x)

S2.利用深层特征提取模块提取深层特征F_deep(x):

F_deep(x)＝BLOCK(x)

＝ReLu(InstanceNorm(Conv_3×3(x)))

其中，Conv_3×3()是卷积层，InstanceNorm()是实例归一化层，ReLu是非线性层，共同级联构成BLOCK模块。

S3.利用上采样模块进行上采样恢复图像尺寸F_{up_smpxn}(x)：

F_{up_smp×n}(x)＝Up_Sample_×n(x)

S 4.利用全局特征提取模块提取全局特征F_global(x):

S 5.利用图像重建模块进行图像重建，获得重建图像X_gen：

X_gen(x)＝Gen(x)。

图2是本发明所用的全局双注意力网络结构。

利用全局注意力网络的通道注意力(chanel attention)模块提取图像的抽象信息，即图像中的内容。利用全局注意力网络的空间注意力(spatial attetion)模块提取图像中的位置信息，即图像中各要素间的相对位置。另外，上述双注意力模块采用池化操作，可以对输入图像进行特征层面的降噪，全局注意力网络的全局注意力(global attetion)模块，负责计算图像中所有像素点对于某一特定像素的映射，即图像中所有像素点在当前像素点的映射加权和，权重值由softmax函数求得，其中全局池化操作，可以提高网络的拟合能力，减少网络层数，加快训练速度。

注意力机制(Visual Attention Mechanism，VA)，认为人类在面对一个场景时，有优先关注对感兴趣区域而选择性地忽略不感兴趣区域，这大大提高了大脑处理图像信息的效率。在计算机视觉领域，利用注意力机制可使网络优先关注包含信息丰富的特征区域，将这一特性应用到超分辨率重建任务中，提升了网络的性能，改善了重建图像的视觉效果。

本发明中，所述全局双注意力网络包含五部分：

(1)浅层特征提取模块，用于提取浅层特征(纹理、细节、灰度值等)，这些浅层特征包含大量的高频信息，由一个3×3的卷积层构成；

(2)深层特征提取模块，用于提取深层特征(抽象语义，比如图像内容是什么)，这些特征包含抽象信息，由两个基本卷积块basic_0和basic_1以及一个过渡卷积层构成，基本卷积块采用的是密集残差结构，过渡卷积层卷积核大小为3×3；

本发明中，密集残差网络不是单纯的将每层进行像素级别的相加，而是进行信道级别连接，实验证明，这种连接方式会节省计算资源，加速网络训练。

(3)上采样模块，用于将输入低分辨率图像LR((Low Resolution)的尺寸放大到输出的高分辨率图像HR((High Resolution)大小，由两层反卷积构成；

(4)全局特征提取模块，由全局注意力网络或模块构成；

(5)图像重建模块，由一层卷积核大小为1×1的卷积层构成，因为生成的是彩色图像，所以输出通道为3。

图2是本发明中所用通道注意力模块结构图。通道注意力(chanel attention)模块关注输入的抽象信息。输入图像各特征通道间信息有高度相关性，利用此相关性，滤除通道冗余信息，使网络专注于有用信息，生成通道注意力。

网络的浅层特征包含丰富的高频信息，这对图像细节的重建非常重要，但这些高频信息在通道间被平等对待，这阻碍了网络的表达能力。为克服这一缺点，本发明将通道注意力机制引入到医学图像的超分辨率重建中。

由于通道注意力是关注输入的抽象信息。为有效地计算通道注意力，对输入特征图降维。常用降维方法是均值池化，但均值池化会损失一些高频信息。为此同时使用了均值池化与最大池化，实验证明效果比单独使用均值池化性能优异。降维之后特征图记为和

定义某中间特征图为F∈R^C×H×W(C为通道数，H、W为特征图尺寸)，通道注意力特征图为M_C∈R^C×1×1，之后进行特征评估得到权重W₀、W₁，将权重相加并通过sigmoid归一化得到最终的通道注意力。通道注意力满足方程：

图3是本发明中所用的空间注意力(spatial attetion)模块结构图。与通道注意力不同，空间注意力关注输入中的位置信息，利用所有像素特征的加权和来选择性地聚合每个位置处的特征。利用特征的空间关系生成空间注意力，首先在通道维度上使用平均池化和最大池化得到两个不同的特征图

和

(H、W为特征图尺寸)，并在通道维度上将这两个特征图连接，最后经过一个7×7的卷积层得到空间注意力。空间注意力满足方程：

式中：σ为sigmoid函数；f^7×7()为7×7的卷积操作；AvgPool()为均值池化函数；MaxPool()为最大池化函数；[；]表示通道维度上特征的连接操作。

图4是本发明中所用的全局注意力(global attetion)模块结构图。全局注意力计算全局其他片区(比如很远的像素)对当前区域的贡献。

在卷积神经网络中，设卷积核为n×n，则该层卷积只关注邻域为n的区域，即使通过增加层数、采用扩张卷积使感受野越来越大，终究还是局部区域的运算，这样就忽略了全局其他片区(比如很远的像素)对当前区域的贡献。本发明提出的全局注意力网络模块，就是提取这种长程依赖关系，也就是图像中任何像素在当前像素的映射的叠加。首先使用1×1的卷积提取图像每一个像素点的权重，并使用softmax对所有权重进行估值，该过程得到的权重在网络训练过程不断更新。

图像重建模块，该算法使用端到端的重建方式，提取的各层次特征经过一个1×1的卷积层进行特征融合，利用反向传播算法进行监督学习，优化生成图像与ground truth之间损失，包括像素级损失MSE(mean square error)、感知损失(perceptual loss)，其中感知损失是基于VGG19预训练的深层神经网络， VGG19提取生成图像各层风格特征与语义特征，并由ground truth参与监督优化。

本发明提出的单图像超分辨率模型，称为全局双重注意网络(GDAN)，应用频道注意力和空间注意力以不等方式处理低分辨率图像，可以突出高频成分，并利用全局注意力模块来提取上下文信息。

本发明将双重注意模块与残留密集结构相结合，以便GDAN可轻松堆叠成一个非常深入和可训练的网络架构。对各种基准数据集的广泛评估验证了所提出的模型与最先进的SR算法相比的有效性。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种用于医学成像的超分辨率重建算法，其特征在于，包括步骤：

2.根据权利要求1所述用于医学成像的超分辨率重建算法，其特征在于，所述全局注意力网络包括依次顺序连接的浅层特征提取模块，深层特征提取模块、上采样模块、全局特征模块以及图像重建模块。

3.根据权利要求1所述用于医学成像的超分辨率重建算法，其特征在于，所述浅层特征提取模块包含一个3×3的卷积层；

所述图像重建模块包括一层卷积核大小为1×1的卷积层。

4.根据权利要求1所述用于医学成像的超分辨率重建算法，其特征在于，所述通道注意力模块包括：

其中，

和

分别表示平均池化以及最大池化降维之后的特征图；W₀，W₁分别表示平均池化以及最大池化降维之后的特征图的权重，M_C(F)表示通道注意力特征图，F∈R^C×H×W为中间特征图。

5.根据权利要求4所述用于医学成像的超分辨率重建算法，其特征在于，所述空间注意力模块，基于通道注意力模块的输出结果，在通道维度上使用最大池化和平均池化得到两个不同特征图

和

M_S(F)＝σ(f^7×7([AvgPool(F)；MaxPool(F)])，

6.根据权利要求5所述用于医学成像的超分辨率重建算法，其特征在于，所述全局特征模块包括依次顺序连接的全局特征单元，特征传递单元以及特征聚合单元；所述全局特征单元包括一个1×1的卷积层与softmax分类器,所述特征传递单元包括一个1×1的卷积层、一个Instance_Norm层，Relu层，所述特征聚合单元包括一个1×1的卷积层。