CN113298717A - 基于多注意力残差特征融合的医学图像超分辨率重建方法 - Google Patents

Abstract

一种基于多注意力残差特征融合的医学图像超分辨率重建方法，联合了通道注意力机制和空间注意力机制两个模块，让网络对输入图片的特征进行加权重处理，从而解决输入特征被平等处理而导致网络表征能力不足的问题；提出了残差注意力特征融合模块(RAFF)，将神经网络中局部的特征进行融合，再加上全局的特征融合，可以更充分地利用整个网络中的局部残差特征，从而解决深度神经网络过深而网络学习能力不足的问题。本发明有效地对医学图像进行超分辨率重建，可以提高较深的超分辨率网络的图像超分重建性能。

Description

基于多注意力残差特征融合的医学图像超分辨率重建方法

技术领域

本发明涉及一种基于多注意力残差特征融合的医学图像超分辨率重建方法。

背景技术

近年来，深度卷积神经网络在单幅图像上的超分辨率上取得了非常好的效果，图像超分辨率的一种常见方法是基于实例的方法，该方法利用高分辨率图像和低分辨率图像的信息，生成近似原始高分辨率图像的超分辨率版本。在医学图像上也存在许多使用超分辨率的方法，医学影像的超分辨率重建有助于提高基于计算机辅助的临床医学诊断和疾病定量分析的准确性和客观性，所以，对需要的医学图像进行超分辨率重建是有必要的。

现有技术存在的缺陷为：现有的大部分超分网络都是基于卷积神经网络进行训练的，网络对输入图片的特征是平等处理的，网络虽然学习到了输入图像的特征，但是这些特征并没有差异，从而会降低超分网络的表征能力。并且现有的超分辨率方法主要专注于设计更深的网络结构，却很少挖掘层间特征的相关性，难以充分利用整个网络中的局部特征信息，从而会降低深度神经网络的学习能力。

发明内容

为了克服现有的不足，本发明针对上述的两个问题进行了改进，提出了一种基于多注意力残差特征融合的医学图像超分辨率重建方法，联合了通道注意力机制和空间注意力机制两个模块，让网络对输入图片的特征进行加权重处理，从而解决输入特征被平等处理而导致网络表征能力不足的问题；提出了残差注意力特征融合模块(RAFF)，将神经网络中局部的特征进行融合，再加上全局的特征融合，可以更充分地利用整个网络中的局部残差特征，从而解决深度神经网络过深而网络学习能力不足的问题。

本发明解决其技术问题所采用的技术方案是：

一种基于多注意力残差特征融合的医学图像超分辨率重建方法，联合通道注意力和空间注意力模块，将输入图片的特征从多方面加以权重，再加上局部和全局的残差特征融合并构建了新颖的超分辨率重建方法，包括以下步骤：

1)训练样本的处理：

为了使所提超分辨率网络模型再训练过程中有对应的高分辨率图像(即HR)和低分辨率图像(即LR)，本发明先对512x512分辨率的高清医学图像原图数据集做2倍和4倍的双三次下采样，得到256x256分辨率和128x128分辨率的低分辨率数据集。

2)联合多注意力机制：

本发明提出了一种多注意力的超分辨率重建网络。当提取到输入图像的特征H×W×C后，会分别进行Channel attention和Spatial attention的处理，最后将通道注意力权重和空间注意力权重相结合得到一个三维的Attention map M(U’)。本发明在注意力机制前还添加了一个上下文融合模块Combine Context，目的是让输入图像的特征拥有更多的图像上下文信息，具体操作为：输入一张特征图F：H×W×C，先经过一个池化层变为H/r×W/r×C，再经过上采样变为特征图U：H×W×C，此时H×W上每个像素点都含有周围像素点的信息，见公式(1)：

U′＝upsample(Pool(F))+F (1)

然后再将U’分别输入到两个注意力模块。在通道注意力模块中，先进行全局平均池化(GAP)聚合feature map在每个通道的维度，得到了1×1×C大小的特征图，紧接着用一个全连接层将特征通道数降为C/r，再用一个全连接层将其变为1×1×C，得到了通道注意力的权重特征图M_c(U′)，计算过程如公示(2):

M_c(U′)＝BN(FC₂(FC₁(AvgPool(U′)))) (2)

在空间注意力模块中，先用1x1的卷基层将特征通道压缩一半，再紧接一个3x3的卷基层和一个1x1的卷积层将特征变为H×W×1，得到了空间注意力的权重特征图M_s(U′)，计算过程如公式(3)：

然后将两个注意力分支中获取到的权重特征图融合起来，由于这两张注意力特征图的形状不一样，于是先将两者扩展到H×W×C，然后再将它们逐项求和，求和后，取一个Sigmoid函数σ，将数值控制到0到1范围内，得到既有通道注意力权重也有空间注意力权重的三维注意力特征图M(U’)，如公式(4)：

M(U′)＝σ(M_c(U′)+M_s(U′)) (4)

再将该三维注意力图与最开始的输入特征F相乘，然后再将其添加到F上，得到带有双重注意力权重的特征图F’，图1的整个过程称为CCDA(Combine Context DualAttention)，如公式(5)：

3)局部和全局残差特征融合：

该网络框架主要有三个模块构成：Head、Body和Tail。

3.1)、Head module：使用一个卷基层提取输入图像的初始特征图，可以描述为公式(6)：

F₀＝H(I_LR) (6)

其中I_LR表示输入图像，F₀表示提取到的浅层特征，H表示提取输入图浅层特征的卷积操作；

3.2)、Body module：本模块是整个网络的重点部分，包含了G个CCDA模块，但是直接堆加模块而加深网络深度的话，难以充分利用整个网络中的局部特征信息，从而会降低深度神经网络的学习能力。于是本发明在网络结构中加入了局部特征融合，将每一个CCDA模块的输出都直接和最后一个CCDA模块的输出进行汇聚，这样最后的特征图不仅拥有网络最终输入的结果还会有网络中间结果的信息。此外，在body module的最后还加入了一个全局的特征融合，用于融合F₀和F_DF的特征，还具有加速训练收敛的作用，该过程描述为公式(7)：

F_DF＝H_RAFF(F₀)＝F₀+B_g(F_g-1(…))+B_g-1(F_g-2(…))+…+B₀(F₀) (7)

其中F_DF表示提取到的深层特征，H_RAFF表示本发明提出的残差注意力特征融合模块(Residual Attention Feature Fusion)，其中包含了G个CCDA模块，B_g表示第g个堆叠的CCDA Block。

3.3)、Tail module：包含上采样模块和重建模块，以Head和Body的输出作为输入，输出重建图像，该部分描述为公式(8)：

其中I_SR表示最终超分辨率重建的图像，H_UP表示上采样模块，H_REC表示重建模块，I_LR是输入给神经网络的低分辨率图。

最后用L₁损失函数对该网络模型进行优化，给定一个训练集

其中包含N张输入的低分辨率LR图，以及对应的N张HR图，网络的训练目标是最小化L₁损失函数，描述为公式(9)：

其中，θ表示该网络的参数集，并采用随机梯度下降的方法对损失函数进行了优化。

本发明的技术构思为：当一张低分辨率图像输入给网络模型，首先在Head模块进行浅层特征的提取，下一步进入Body模块进行深层特征的提取，该模块中包含了多个CCDA模块，每个CCDA模块中有结合上下文信息机制、通道注意力机制和空间注意力机制，可以让网络更加有效地提取到图像的深层特征。最后进入Tail模块，进行图像的上采样和最终的超分辨率图像重建。

本发明方法的内容主要包括：1)联合了通道注意力机制和空间注意力机制两个模块，让网络对输入图片的特征进行加权重处理，从而解决输入特征被平等处理而导致网络表征能力不足的问题。2)提出了残差注意力特征融合模块(RAFF)，将神经网络中局部的特征进行融合，再加上全局的特征融合，可以更充分地利用整个网络中的局部残差特征，从而解决深度神经网络过深而网络学习能力不足的问题。

本发明的有益效果主要表现在：1、该新颖的融合残差特征的多注意力卷积神经网络模型可以有效地对医学图像进行超分辨率重建。2、该网络模型联合了通道注意力和空间注意力模块，从而解决了神经网络的输入特征被平等处理而导致网络表征能力不足的问题。3、本发明中的残差注意力特征融合模块(RAFF)，可以更充分地利用整个网络中的局部残差特征，从而解决深度神经网络过深而网络学习能力不足的问题，可以提高较深的超分辨率网络的图像超分重建性能。

附图说明

图1是所提网络中的CCDA模块，包含了通道注意力和空间注意力的融合机制。

图2是所提超分网络的整体框架以及各部分组件的简介，其中，①表示headmodule，一层卷积提取输入图像的浅层特征；②表示body module，包含G个CCDA模块、局部特征融合、全局特征融合；③表示tail module，上采样模块和重建模块。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1和图2，一种基于多注意力残差特征融合的医学图像超分辨率重建方法，联合通道注意力和空间注意力模块，将输入图片的特征从多方面加以权重，再加上局部和全局的残差特征融合并构建了新颖的超分辨率重建方法，包括以下步骤：

1)训练样本的处理：

为了使所提超分辨率网络模型再训练过程中有对应的高分辨率图像(即HR)和低分辨率图像(即LR)，本发明先对512x512分辨率的高清医学图像原图数据集做2倍和4倍的双三次下采样，得到256x256分辨率和128x128分辨率的低分辨率数据集。

2)联合多注意力机制：

本发明提出了一种多注意力的超分辨率重建网络，如图1所示。当提取到输入图像的特征H×W×C后，会分别进行Channel attention和Spatial attention的处理，最后将通道注意力权重和空间注意力权重相结合得到一个三维的Attention map M(U’)。本发明在注意力机制前还添加了一个上下文融合模块Combine Context，目的是让输入图像的特征拥有更多的图像上下文信息，具体操作为：输入一张特征图F：H×W×C，先经过一个池化层变为H/r×W/r×C，再经过上采样变为特征图U：H×W×C，此时H×W上每个像素点都含有周围像素点的信息，见公式(1)：

U′＝upsample(Pool(F))+F (1)

然后再将U’分别输入到两个注意力模块。在通道注意力模块中，先进行全局平均池化(GAP)聚合feature map在每个通道的维度，得到了1×1×C大小的特征图，紧接着用一个全连接层将特征通道数降为C/r，再用一个全连接层将其变为1×1×C，得到了通道注意力的权重特征图M_c(U′)，计算过程如公示(3):

M_c(U′)＝BN(FC₂(FC₁(AvgPool(U′)))) (2)

在空间注意力模块中，先用1x1的卷基层将特征通道压缩一半，再紧接一个3x3的卷基层和一个1x1的卷基层将特征变为H×W×1，得到了空间注意力的权重特征图M_s(U′)，计算过程如公式(3)：

然后将两个注意力分支中获取到的权重特征图融合起来，由于这两张注意力特征图的形状不一样，于是先将两者扩展到H×W×C，然后再将它们逐项求和，求和后，取一个Sigmoid函数σ，将数值控制到0到1范围内，得到既有通道注意力权重也有空间注意力权重的三维注意力特征图M(U’)，如公式(4)：

M(U′)＝σ(M_c(U′)+M_s(U′)) (4)

再将该三维注意力图与最开始的输入特征F相乘，然后再将其添加到F上，得到带有双重注意力权重的特征图F’，图1的整个过程称为CCDA(Combine Context DualAttention)，如公式(5)：

3)局部和全局残差特征融合：

网络的整体框架如图2所示，该网络框架主要有三个模块构成：Head、Body和Tail。

3.1)、Head module：使用一个卷基层提取输入图像的初始特征图，可以描述为公式(6)：

F₀＝H(I_LR) (6)

其中I_LR表示输入图像，F₀表示提取到的浅层特征，H表示提取输入图浅层特征的卷积操作；

3.2)、Body module：本模块是整个网络的重点部分，包含了G个CCDA模块(即图1的过程)，但是直接堆加模块而加深网络深度的话，难以充分利用整个网络中的局部特征信息，从而会降低深度神经网络的学习能力。于是本发明在网络结构中加入了局部特征融合，将每一个CCDA模块的输出都直接和最后一个CCDA模块的输出进行汇聚，这样最后的特征图不仅拥有网络最终输入的结果还会有网络中间结果的信息。此外，在body module的最后还加入了一个全局的特征融合，用于融合F₀和F_DF的特征，还具有加速训练收敛的作用，该过程描述为公式(7)：

F_DF＝H_RAFF(F₀)＝F₀+B_g(F_g-1(…))+B_g-1(F_g-2(…))+…+B₀(F₀) (7)

其中F_DF表示提取到的深层特征，H_RAFF表示本发明提出的残差注意力特征融合模块(Residual Attention Feature Fusion)，其中包含了G个CCDA模块，B_g表示第g个堆叠的CCDA Block。

3.3)、Tail module：包含上采样模块和重建模块，以Head和Body的输出作为输入，输出重建图像，该部分可以描述为公式(8)：

其中I_SR表示最终超分辨率重建的图像，H_UP表示上采样模块，H_REC表示重建模块，I_LR是输入给神经网络的低分辨率图。

最后用L₁损失函数对该网络模型进行优化，给定一个训练集

其中包含N张输入的低分辨率LR图，以及对应的N张HR图，网络的训练目标是最小化L₁损失函数，描述为公式(9)：

其中，θ表示该网络的参数集，并采用随机梯度下降的方法对损失函数进行了优化。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (1)

1.一种基于多注意力残差特征融合的医学图像超分辨率重建方法，其特点在于，所述方法包括以下步骤：

1)训练样本的处理：

为了使所提超分辨率网络模型再训练过程中有对应的高分辨率图像HR和低分辨率图像LR，先对512x512分辨率的高清医学图像原图数据集做2倍和4倍的双三次下采样，得到256x256分辨率和128x128分辨率的低分辨率数据集。

2)联合多注意力机制：

当提取到输入图像的特征H×W×C后，会分别进行Channel attention和Spatialattention的处理，最后将通道注意力权重和空间注意力权重相结合得到一个三维的Attention map M(U’)；在注意力机制前还添加了一个上下文融合模块Combine Context，目的是让输入图像的特征拥有更多的图像上下文信息，操作为：输入一张特征图F：H×W×C，先经过一个池化层变为H/r×W/r×C，再经过上采样变为特征图U：H×W×C，此时H×W上每个像素点都含有周围像素点的信息，见公式(1)：

U′＝upsample(Pool(F))+F (1)

然后再将U’分别输入到两个注意力模块。在通道注意力模块中，先进行全局平均池化GAP聚合feature map在每个通道的维度，得到了1×1×C大小的特征图，紧接着用一个全连接层将特征通道数降为C/r，再用一个全连接层将其变为1×1×C，得到了通道注意力的权重特征图M_c(U′)，计算过程如公示(2):

M_c(U′)＝BN(FC₂(FC₁(AvgPool(U′)))) (2)

在空间注意力模块中，先用1x1的卷基层将特征通道压缩一半，再紧接一个3x3的卷基层和一个1x1的卷基层将特征变为H×W×1，得到了空间注意力的权重特征图M_s(U′)，计算过程如公式(3)：

然后将两个注意力分支中获取到的权重特征图融合起来，由于这两张注意力特征图的形状不一样，于是先将两者扩展到H×W×C，然后再将它们逐项求和，求和后，取一个Sigmoid函数σ，将数值控制到0到1范围内，得到既有通道注意力权重也有空间注意力权重的三维注意力特征图M(U’)，如公式(4)：

M(U′)＝σ(M_c(U′)+M_s(U′)) (4)

再将该三维注意力图与最开始的输入特征F相乘，然后再将其添加到F上，得到带有双重注意力权重的特征图F’，图1的整个过程称为CCDA，如公式(5)：

3)局部和全局残差特征融合，网络框架有三个模块构成：Head、Body和Tail，过程如下：

3.1)、Head module模块使用一个卷基层提取输入图像的初始特征图，描述为公式(6)：

F₀＝H(I_LR) (6)

其中I_LR表示输入图像，F₀表示提取到的浅层特征，H表示提取输入图浅层特征的卷积操作；

3.2、Body module模块包含了G个CCDA模块，在网络结构中加入了局部特征融合，将每一个CCDA模块的输出都直接和最后一个CCDA模块的输出进行汇聚，这样最后的特征图不仅拥有网络最终输入的结果还会有网络中间结果的信息，此外，在body module的最后还加入了一个全局的特征融合，用于融合F₀和F_DF的特征，还具有加速训练收敛的作用，该过程描述为公式(7)：

F_DF＝H_RAFF(F₀)＝F₀+B_g(F_g-1(…))+B_g-1(F_g-2(…))+…+B₀(F₀) (7)

其中F_DF表示提取到的深层特征，H_RAFF表示本发明提出的残差注意力特征融合模块(Residual Attention Feature Fusion)，其中包含了G个CCDA模块，B_g表示第g个堆叠的CCDA Block。

3.3、Tail module模块包含上采样模块和重建模块，以Head和Body的输出作为输入，输出重建图像，该部分描述为公式(8)：

其中I_SR表示最终超分辨率重建的图像，H_UP表示上采样模块，H_REC表示重建模块，I_LR是输入给神经网络的低分辨率图；

最后用L₁损失函数对该网络模型进行优化，给定一个训练集

其中包含N张输入的低分辨率LR图，以及对应的N张HR图，网络的训练目标是最小化L₁损失函数，描述为公式(9)：

其中，θ表示该网络的参数集，并采用随机梯度下降的方法对损失函数进行了优化。

Images