CN114359292A - 一种基于多尺度和注意力的医学图像分割方法 - Google Patents

Abstract

本发明公开了一种基于多尺度和注意力的医学图像分割方法，包括下列步骤：首先对获取到的医学图像进行处理，并划分数据集，之后构建二维网络模型，将经过预处理的数据送入网络中进行训练；通过优化损失函数调整模型到最优效果；将待分割的医学图像送入调整好参数的网络模型中，得到预测的分割结果，并与真实标签对比来评估模型性能。本发明针对经典的U型网络存在的缺乏上下文信息的问题，在网络中加入了可以即插即用，非常轻便的通道注意力机制和混合空洞注意力卷积层，以充分利用上下文信息，发掘通道有用特征。本发明的分割模型可以在参数量很少的情况下完成医学图像的分割。

Description

一种基于多尺度和注意力的医学图像分割方法

技术领域

本发明涉及图像分割领域，尤其涉及一种基于多尺度和注意力的医学图像分割方法。

背景技术

医学图像在医学治疗和诊断中起着至关重要的作用。医学图像分割是决定医学图像在临床诊疗中能否提供可靠依据的关键问题。其在医学研究、病情诊断、病情分析、辅助手术等研究领域中有着极为重要的研究和应用价值。

近年来，深度学习方法与计算机视觉的其他研究领域一样，在医学图像分割中取得了优异的成果，并遥遥领先于传统的图像分割方法。2014年，全卷积网络(FullyConvolutional Networks，FCN)被加州大学伯克利分校的Long等人提了出来，其将卷积神经网络的全连接层全部换成了卷积层，这种方式不但可以输入任何尺寸的数据，而且实现了像素级的图像分割，使得分割后的精确率进一步提高。在FCN的基础上，研究者们提出了很多优秀的全卷积神经网络，在实际的图像分割中取得了非常好的结果。

最值得一提的是Ronneberger等人提出的U-net这是一项很有意义创新，该网络已经成功的应用于许多图像分割任务中。它与自动编码器类似，由一个收缩分支和一个扩展分支组成，并支持多分辨率分析。此外，该网络还加入了跳跃连接，将编码器、解码器的不同特征连接，对不同分辨率的多尺度图像到图像的转换建模。它可以在训练样本很少的情况下工作，充分考虑了医学图像分割数据稀缺和类别不平衡的问题。到目前为止，人们已经提出了许多基于U-Net的改进方案。2018年，Li等人提出了一种混合的U-net网络去分割肝脏肿瘤影像的方法，该方法结合2D和3D U-net来提取相应的特征，能够实现自动的肝脏肿瘤影像分割。尽管它们具有良好的表示能力，但是当分割目标在形状和大小方面表现出较大的差异时，这些体系结构仍依赖多级级联的CNN。级联框架提取感兴趣区域(ROI)并对该特定ROI进行密集的预测。应用领域包括腹部胰腺分割,肝脏，脾脏，胃等腹部分割和肺部CT结节检测。但是，这种方法导致过多和冗余地使用计算资源和模型参数。注意力机制则可以较好的解决上述问题。注意力机制在文本处理、语音识别、图像处理等领域被广泛使用。它最大的特点在于可以通过对神经元的输入权重进行动态分配，以实现选择性地关注信息中最关键的部分，即使用一个权值生成网络来根据当前上下文信息生成输入向量的权值向量，而后将输入向量乘以对应权值，再连接当前上下文信息作为新输入，最后通过解码器获得当前转译输出。Oktay等人提出了门类结构，将注意力机制应用到医学图像分割。该网络首先在跳跃连接中提取特征映射送入注意门中然后连接。它的缺点主要是处理步骤分别对两组特征图执行的，这种操作没有充分利用上下文信息，发掘通道有用特征。

发明内容

针对上述问题，本发明提出了一种基于多尺度和注意力的医学图像分割方法。技术方案如下：

步骤1：获取医学图像，对其进行预处理，并划分数据集；

若获取的医学图像为三维图像，则在轴位方向重采样置1mm，并切成二维切片；若为二维图像，这一步则不做处理；若获取的医学图像为灰度图，则实施直方图均衡算法增强图像对比度，使图片变得更清晰，有利于突出图片信息；若为彩色图像，这一步则不做处理。经过这两步处理后，对图像进行归一化操作，使得送入到网络中的图片像素均值为0，方差为1，并采用在线数据增强的方式增加数据多样性，包括随机旋转和随机翻转。另外，按照8：1：1的比例把数据集划分为训练集、验证集和测试集。

步骤2：构建二维网络模型，将经过预处理的数据送入网络中进行训练；

二维网络模型包含1个编码支和1个解码支，编码支和解码支通过通道注意力模块相连接。其中，编码支包含4个下采样残差模块和1个混合空洞注意力模块，解码支包含4个上采样残差模块。

所述的下采样模残差模块是由2个3×3的卷积层(进行same padding)构成的小结构块，对每一个卷积层都采用残差学习，每个卷积层后面都有一个批量归一化层，一个ReLU非线性层，每个小结构块后面再跟上一个采样步骤为2的池化核大小为2×2的最大池化层用来下采样。在每次下采样的过程中，将特征层的层数翻倍，初始通道数为32。然后连接所述的混合空洞注意力模块汇总全局信息并生成编码支的输出。

所述的混合空洞注意力模块包含3个不同空洞率的瓶颈空洞模块和1个通道注意力模块。其中，瓶颈空洞模块的结构为3个带有残差连接的卷积，分别是1个1×1的卷积，1个3×3的空洞卷积，1个1×1的卷积，3个瓶颈空洞模块包含的空洞卷积的空洞率为2，3，5。

通过串联多个不同扩张率的瓶颈空洞模块，实现了不同大小感受野信息的融合，充分提取了多尺度上下文信息，有效降低了参数的数量。我们为每一个瓶颈空洞模块加入残差连接，从而有利于网络的优化。同时，我们利用上文提到的通道注意力模块对各个通道的信息进行非线性融合，通过非线性函数表征不同通道上下文信息之间的关系，进而对多尺度上下文信息分配权重,增加空洞卷积的多尺度上下文信息学习能力。

所述的通道注意力模块有三个分支K，Q，V，首先将输入特征图I∈R^C*H*W进行整型，将I分别整型为特征图K∈R^C*(H*W)，特征图Q∈R^(H*W)*C，同时形成分支K和分支Q，之后让K,Q之间执行矩阵相乘操作，除以因子

最后应用Softmax层来获得。通道特征图A∈R^C*C。分支V通过特征图I经过全局平均池化形成特征图V∈R^C*1*1，V经过整形后，得到V’∈R^C*1*1，让A和V’执行矩阵乘法，将结果整型为R^C*1*1后，再乘以比例参数γ，并用I进行逐元素求和运算以获得最终输出O∈R^C*H*W。

每个通道对应一个特定的语义响应。我们希望通过对各通道的依赖性进行建模以提高网络的表示能力，并且对特征进行逐通道调整，让网络可以学习通过全局信息来有选择性的加强包含有用信息的特征并抑制无用特征。通道注意力模块对语义依赖性进行建模以强调目标获取渠道。通过利用通道图之间的相互依赖性，我们强调相互依存的特征图的大小，并改进特定语义的特征表示。

所述的上采样残差模块包含1个2×2的反卷积层用来实现上采样操作，每一次上采样操作，都会使得特征层的数量减半，反卷积层后面连接着2个采用残差学习3×3的卷积层，每个卷积层后面都有一个批量归一化层，一个ReLU非线性层。

在此网络结构中，我们使用了大量的批量归一化层，增加了神经网络的稳定性，加快了神经网络训练过程的速度，该神经网络通过减去批次平均值并除以批次标准偏差来标准化网络中某一层的输入。此外，在某些情况下，由于适度的正则化效果而提高了模型的性能。

而且我们网络没有使用全连接层，这样可以保证分割的结果都是基于上下文信息做出的预测，同样还可以减少网络模型的参数。编码过程，通过不断地使用卷积层和池化的组合来获取更高层的特征，每一次下采样过程，卷积核的感受野都会成倍增大。在解码过程中，通过将底层的特征图堆叠在上采样层输出的特征之后，再通过连续的卷积层来学习高底层特征，通过这样的持续上采样，最终输出图像尺寸和输入图像尺寸一样，这种特征提取的方式，很好的结合了浅层位置信息和深层语义信息。

此外，我们加入了短跳跃连接，即残差结构。残差结构使得网络更容易优化，加快模型收敛速度，并且能够通过增加深度来提高准确率。长连接和短连接的适当结合让网络更好的提取不同层级的特征，增强其表达能力，在高层补充语义信息，在底层细化分割轮廓。

步骤3：通过优化损失函数调整模型到最优效果；

损失函数为带权重的交叉熵损失，公式表达如下：

其中

表示体素n属于c类(背景或病变)的概率，

表示体素n的权重，

表示体素n的真值标签。

步骤4：将用于评估模型性能的相应的医学图像送入调整好参数的网络模型中，得到预测的分割结果，并与真实标签对比来评估模型性能。

评价指标包括Dice系数(Dice)，准确性(AC)，精确率(Pre)，灵敏度(SE)，特异度(SP)，具体的公式如下所示：

其中，FP、FN、TP、TN分别为假阳性、假阴性、真阳性、真阴性。

本发明的有益效果是：

本发明提出了一种基于U-Net模型的残差卷积神经网络，并加入了可以即插即用，非常轻便的通道注意力机制，可以更好的适用于医学图像分割。与U-Net跳跃连接时的简单复制拼接不同，我们将通道注意力模块插入到编码路径的提取的特征映射之后再进行解码操作，因为此块是轻量级的，所以我们可以将其应用于骨干网络中的多层，以对该层编码操作的通道作用进行优化。此外将“U”型网络底部的卷积层替换为混合空洞注意力模块，提高了模型的稳定性，并减少了参数量。

附图说明

图1是本发明的方法实施流程图；

图2是本发明的二维网络结构示意图；

图3是本发明的通道注意力模块示意图；

图4是本发明的混合空洞注意力模块示意图；

具体实施方式

下面结合附图对本发明做进一步阐述。

一种基于多尺度和注意力的医学图像分割方法，如图1所示，包括以下步骤：

步骤1：获取医学图像，对其进行预处理，并划分数据集；

若获取的医学图像为三维图像，则在轴位方向重采样置1mm，并切成二维切片；若为二维图像，这一步则不做处理；若获取的医学图像为灰度图，则实施直方图均衡算法增强图像对比度，使图片变得更清晰，有利于突出图片信息；若为彩色图像，这一步则不做处理。经过这两步处理后，对图像进行归一化操作，使得送入到网络中的图片像素均值为0，方差为1，并采用在线数据增强的方式增加数据多样性，包括随机旋转和随机翻转。另外，按照8：1：1的比例把数据集划分为训练集、验证集和测试集。

步骤2：构建二维网络模型，将经过预处理的数据送入网络中进行训练；

如图2所示，二维网络模型包含1个编码支和1个解码支，编码支和解码支通过通道注意力模块相连接。其中，编码支包含4个下采样残差模块和1个混合空洞注意力模块，解码支包含4个上采样残差模块。

所述的下采样模残差模块是由2个3×3的卷积层(进行same padding)构成的小结构块，对每一个卷积层都采用残差学习，每个卷积层后面都有一个批量归一化层，一个ReLU非线性层，每个小结构块后面再跟上一个采样步骤为2的池化核大小为2×2的最大池化层用来下采样。在每次下采样的过程中，将特征层的层数翻倍，初始通道数为32。然后连接所述的混合空洞注意力模块汇总全局信息并生成编码支的输出。

如图4所示，所述的混合空洞注意力模块包含3个不同空洞率的瓶颈空洞模块和1个通道注意力模块。其中，瓶颈空洞模块的结构为3个带有残差连接的卷积，分别是1个1×1的卷积，1个3×3的空洞卷积，1个1×1的卷积，3个瓶颈空洞模块包含的空洞卷积的空洞率为2，3，5。

通过串联多个不同扩张率的瓶颈空洞模块，实现了不同大小感受野信息的融合，充分提取了多尺度上下文信息，有效降低了参数的数量。我们为每一个瓶颈空洞模块加入残差连接，从而有利于网络的优化。同时，我们利用上文提到的通道注意力模块对各个通道的信息进行非线性融合，通过非线性函数表征不同通道上下文信息之间的关系，进而对多尺度上下文信息分配权重,增加空洞卷积的多尺度上下文信息学习能力。

如图3所示，所述的通道注意力模块有三个分支K，Q，V，首先将输入特征图I∈R^C*H*W进行整型，将I分别整型为特征图K∈R^C*(H*W)，特征图Q∈R^(H*W)*C，同时形成分支K和分支Q，之后让K,Q之间执行矩阵相乘操作，除以因子

最后应用Softmax层来获得。通道特征图A∈R^C*C。

其中，a_ji用来衡量第i个通道对第j个通道的影响，函数f用来计算i和所有j之间的关系。

分支V通过特征图I经过全局平均池化形成特征图V∈R^C*1*1，V经过整形后，得到V’∈R^C*1*1，让A和V’执行矩阵乘法，将结果整型为R^C*1*1后，再乘以比例参数γ，并用I进行逐元素求和运算以获得最终输出O∈R^C*H*W。

g代表全局平均池化，其中，k＝1,2,…,c,I＝[i₁,i₂,…,i_c]。

γ从0开始逐渐学习权重。ω_θ代表1×1卷积的权重，b_θ代表偏差。

每个通道对应一个特定的语义响应。我们希望通过对各通道的依赖性进行建模以提高网络的表示能力，并且对特征进行逐通道调整，让网络可以学习通过全局信息来有选择性的加强包含有用信息的特征并抑制无用特征。通道注意力模块对语义依赖性进行建模以强调目标获取渠道。通过利用通道图之间的相互依赖性，我们强调相互依存的特征图的大小，并改进特定语义的特征表示。

所述的上采样残差模块包含1个2×2的反卷积层用来实现上采样操作，每一次上采样操作，都会使得特征层的数量减半，反卷积层后面连接着2个采用残差学习3×3的卷积层，每个卷积层后面都有一个批量归一化层，一个ReLU非线性层。

在此网络结构中，我们使用了大量的批量归一化层，增加了神经网络的稳定性，加快了神经网络训练过程的速度，该神经网络通过减去批次平均值并除以批次标准偏差来标准化网络中某一层的输入。此外，在某些情况下，由于适度的正则化效果而提高了模型的性能。

而且我们网络没有使用全连接层，这样可以保证分割的结果都是基于上下文信息做出的预测，同样还可以减少网络模型的参数。编码过程，通过不断地使用卷积层和池化的组合来获取更高层的特征，每一次下采样过程，卷积核的感受野都会成倍增大。在解码过程中，通过将底层的特征图堆叠在上采样层输出的特征之后，再通过连续的卷积层来学习高底层特征，通过这样的持续上采样，最终输出图像尺寸和输入图像尺寸一样，这种特征提取的方式，很好的结合了浅层位置信息和深层语义信息。

此外，我们加入了短跳跃连接，即残差结构。残差结构使得网络更容易优化，加快模型收敛速度，并且能够通过增加深度来提高准确率。长连接和短连接的适当结合让网络更好的提取不同层级的特征，增强其表达能力，在高层补充语义信息，在底层细化分割轮廓。

步骤3：通过优化损失函数调整模型到最优效果；

损失函数为带权重的交叉熵损失，公式表达如下：

其中

表示体素n属于c类(背景或病变)的概率，

表示体素n的权重，

表示体素n的真值标签。

步骤4：将用于评估模型性能的相应的医学图像送入调整好参数的网络模型中，得到预测的分割结果，并与真实标签对比来评估模型性能。

评价指标包括Dice系数(Dice)，准确性(AC)，精确率(Pre)，灵敏度(SE)，特异度(SP)，具体的公式如下所示：

其中，FP、FN、TP、TN分别为假阳性、假阴性、真阳性、真阴性。

以上所述仅仅是本发明的优选方式，技术人员可根据实际情况做出相应的改变，本发明并不限制于上述实施例。

Claims (9)

1.一种基于多尺度和注意力的医学图像分割方法，其特征在于，包括以下步骤：

步骤1：获取医学图像，对其进行预处理，并划分数据集；

步骤2：构建二维网络模型，将经过预处理的数据送入网络中进行训练；

步骤3：通过优化损失函数调整模型到最优效果；

步骤4：将用于评估模型性能的相应的医学图像送入调整好参数的网络模型中，得到预测的分割结果，并与真实标签对比。

2.根据权利要求1所述的一种基于多尺度和注意力的医学图像分割方法，其特征在于，所述步骤1中，若获取的医学图像为三维图像，则在轴位方向重采样置1mm，并切成二维切片；若为二维图像，这一步则不做处理；若获取的医学图像为灰度图，则实施直方图均衡算法增强图像对比度；若为彩色图像，这一步则不做处理；经过这两步处理后，对图像进行归一化操作，使得送入到网络中的图片像素均值为0，方差为1，并采用在线数据增强的方式增加数据多样性，包括随机旋转和随机翻转；另外，按照8：1：1的比例把数据集划分为训练集、验证集和测试集。

3.根据权利要求1所述的一种基于多尺度和注意力的医学图像分割方法，其特征在于，所述步骤2中，二维网络模型包含1个编码支和1个解码支，编码支和解码支通过通道注意力模块相连接。

4.根据权利要求3所述的一种基于多尺度和注意力的医学图像分割方法，其特征在于，所述的编码支包含4个下采样残差模块和1个混合空洞注意力模块，所述的解码支包含4个上采样残差模块。

5.根据权利要求4所述的一种基于多尺度和注意力的医学图像分割方法，其特征在于，所述的下采样模残差模块是由2个3×3的卷积层构成的小结构块，对每一个卷积层都采用残差学习，每个卷积层后面都有一个批量归一化层，一个ReLU非线性层，每个小结构块后面再跟上一个采样步骤为2的池化核大小为2×2的最大池化层用来下采样；在每次下采样的过程中，将特征层的层数翻倍，初始通道数为32；然后连接所述的混合空洞注意力模块汇总全局信息并生成编码支的输出；

所述的混合空洞注意力模块包含3个不同空洞率的瓶颈空洞模块和1个通道注意力模块；

所述的上采样残差模块包含1个2×2的反卷积层用来实现上采样操作，每一次上采样操作，都会使得特征层的数量减半，反卷积层后面连接着2个采用残差学习3×3的卷积层，每个卷积层后面都有一个批量归一化层，一个ReLU非线性层。

6.根据权利要求3所述的一种基于多尺度和注意力的医学图像分割方法，其特征在于，所述的通道注意力模块有三个分支K，Q，V，首先将输入特征图I∈R^C*H*W进行整型，将I分别整型为特征图K∈R^C*(H*W)，特征图Q∈R^(H*W)*C，同时形成分支K和分支Q，之后让K,Q之间执行矩阵相乘操作，除以因子

最后应用Softmax层来获得；通道特征图A∈R^C*C；分支V通过特征图I经过全局平均池化形成特征图V∈R^C*1*1，V经过整形后，得到V’∈R^C*1*1，让A和V’执行矩阵乘法，将结果整型为R^C*1*1后，再乘以比例参数γ，并用I进行逐元素求和运算以获得最终输出O∈R^C*H*W。

7.根据权利要求5所述的一种基于多尺度和注意力的医学图像分割方法，其特征在于，所述的瓶颈空洞模块的结构为3个带有残差连接的卷积，分别是1个1×1的卷积，1个3×3的空洞卷积，1个1×1的卷积，3个瓶颈空洞模块包含的空洞卷积的空洞率为2，3，5。

8.根据权利要求1所述的一种基于多尺度和注意力的医学图像分割方法，其特征在于，所述步骤3中，损失函数为带权重的交叉熵损失，公式表达如下：

其中

表示体素n属于c类的概率，

表示体素n的权重，

表示体素n的真值标签。

9.根据权利要求1所述的一种基于多尺度和注意力的医学图像分割方法，其特征在于，所述步骤4中，评价指标包括Dice系数Dice，准确性AC，精确率Pre，灵敏度SE，特异度SP，具体的公式如下所示：

其中，FP、FN、TP、TN分别为假阳性、假阴性、真阳性、真阴性。

Images