CN113554669A - 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 - Google Patents

Abstract

一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法，解决了由于病灶的形状的多样性和不同器官结构的差异性，仅使用UNet结构分割病灶无法满足对于精准度、速度等的需求的问题，属于语义分割领域。本发明包括：在Unet网络中使用可逆残差模块替代原有的卷积模块；在Unet中的跳变连接部分，encorder与deorder拼接之前加入改进的残差注意力模块ResCBAM，可以更好地提高训练过程中细节特征的质量。本文使用Brats2019的数据集进行实验，实验结果表明，相比于其他方法，本文所提出的方法在不同的评价指标下分割效果都有不同程度的提升。

Description

一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法

技术领域

本发明涉及一种深度神经网络，是一种改进注意力模块的Unet网络，属于语义分割领域。

背景技术

随着社会的发展和人民生活水平的提高，脑肿瘤的发病率逐年提升。同时，随着计算机断层扫描CT和核磁共振成像MRI等无创脑肿瘤影像诊断技术的进步，也对临床医生提出了越来越高的要求。为了减轻医生的劳动强度，并且避免个人主观性的影响，基于图像处理和人工智能的计算机辅助诊断技术日益成为全世界研究的热点。

传统方法一般都是先提取图像的统计特征、纹理特征等一系列特征，之后再利用诸如人工神经网络、随机森林及支持向量机等来分割。徐立等人提出了一种新的基于脑部MR图像的肿瘤诊断方法，通过多阈值分割形态学操作检测图像的畸形区域，提取用于分类的高斯混合模型特征，并利用决策树分类器对肿瘤图像类型进行分类。Ma等人提出一种结合随机森林和活动轮廓模型的分割方法，可从多模态MR图像中分割出神经胶质瘤。Khan等提出一种基于标记的分水岭分割和特征选择的自动分割方法，利用基于标记的分水岭算法进一步提取形状、纹理和点特征，最后在使用支持向量机进行分类之前使用基于序列的拼接方法对选择的特征进行融合。传统方法通常计算效率低、人工成本高且鲁棒性差，极易出现肿瘤过度分割的情况。

如今，深度学习发展迅速，在计算机视觉的各个领域都展现出强大的识别能力。2012年，Shelhamer提出全卷积神经网络(Fully Convolutional Networks,FCN)，自此神经网络开始成为图像分割的主流方法。Mark等人在MobileNetV2网络中使用反相残差(Inverted Residuals)结构，构建出了能够更好复用特征的MobileNetV2网络，在COCO图像检测、VOC目标分割及Imagenet分类上表现良好。Fang等人提出了一种由S-FCN、T-FCN和D-FCN组成的MM-FCN方法，实验结果证实MM-FCN可以很大程度提高立体视频的视觉预测结果。He等人将边缘信息作为先验知识引入FCN，提出了一种Edge-FCN语义分割方法，利用整体嵌套的边缘检测(HED)方法，提高了遥感图像语义分割的效果。

虽然卷积网络很久以前就被提出了，但是由于训练集大小和网络深度的限制，其应用依旧有限。在FCN的基础上，Ronneberger等人提出了Unet网络用于图像分割，Unet能够结合底层和高层的信息,在医学图像分割上表现良好。Li等人将密集连接与Unet网络融合，用于分割肝脏图像。为了解决深层网络中的梯度消失问题，Zhang等人在Unet中引入了深度残差模块，提高了遥感图像的分割精度。

由于病灶的形状的多样性和不同器官结构的差异性，仅使用Unet结构分割病灶无法满足对于精准度、速度等的需求。因此，Roy等人将SE模块引入Unet网络中，对脑部MRI图像的脑组织及人体CT图像的器官进行分割，由此注意力开始应用于图像分割。Oktay等人提出了Attention-Unet，在原有的Unet基础上引入AGs注意力模块，并使用两个大型腹部CT数据集的图像分割任务评估Attention-Unet，实验结果表明，AGs模块提高了UNet的性能。Zhen等人设计了注意力增强模块(Augmented Attention Module，AAM)，并将其插入到Unet中，提高了Unet信息融合的能力，对于CT图像中肝脏和肿瘤的分割效果良好。Trebing等人将卷积注意力模块(Convolutional Block Attention Module，CBAM)，插入到Unet模块中，并使用深度可分离卷积代替Unet中原有的卷积，减少了四分之三的参数量，并且提高了模型预测的能力。

虽然许多改进的Unet在图像分割上能够取得很好的效果，但是在信息融合过程中易导致信息丢失，从而影响分割效果。针对上述问题，本发明在Unet的编码和解码部分引入了可逆残差模块代替原有的卷积层，并且提出了一种改进残差卷积注意力模块(ResidualsConvolutional Block Attention Module，ResCBAM)，ResCBAM使用CBAM代替AAM中原有的残差块生成一种新的注意力机制。本发明所提出的方法在减少参数量的同时，极大的提高了信息融合的能力，能够实现对肿瘤的准确分割。

发明内容

为解决由于病灶的形状的多样性和不同器官结构的差异性，仅使用UNet结构分割病灶无法满足对于精准度、速度等的需求的问题，本发明提供一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法。

本发明的一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法，所述方法包括：

S1、数据预处理：

实验所用数据为Brats19数据集，已经进行了部分预处理，包括配准、重采样以及头骨去除。在脑肿瘤MRI图像中，由于偏移场效应和容积效应图像产生伪影与噪声，使图像存在偏置场等问题。因此在对Brats数据集进行肿瘤分割之前，先对该数据集进行偏置场校正。

S2、构建以Unet为底层的肿瘤分割模型：

在Unet网络中使用可逆残差模块替代原有的卷积模块，并在encorder与deorder拼接之前加入改进的残差注意力模块ResCBAM，可以更好地提高训练过程中细节特征的质量。

S3、利用构建好的改进Unet模型对Brats19数据集进行训练，保存最佳模型用以测试模型的分割效果。

所述Unet模型包括编码部分、解码部分和跳变连接部分。

作为优选，所述S2中的可逆残差模块在加速信息传递的同时能够很好的解决信息退化的问题，并且其中使用的深度卷积能够减少参数量，使网络能够做的更深。

作为优选，所述S2中的ResCBAM结合了空间注意力和通道注意力，使编码阶段与解码阶段的特征信息能更好的融合，同时提高了特征提取的能力。

本发明的有益效果，本发明提出了一种改进的Unet网络，用于脑肿瘤的分割。在Unet网络中使用可逆残差模块替代原有的卷积模块，并在encorder与deorder拼接之前加入改进的残差注意力模块ResCBAM，可以更好地提高训练过程中细节特征的质量。本发明使用Brats2019的数据集进行实验，实验结果表明，相比于其他方法，本发明所提出的方法在不同的评价指标下分割效果都有不同程度的提升，其中Dice指标提高了0.02～0.03；PPV指标提高了0.02～0.06；sensitivity指标增加了0.03～0.05；Hausdorff系数降低了2.28～5.29，其量化结果可以为病理图像诊断提供技术参考。

附图说明

图1为Unet模型的结构示意图；

图2为可逆残差模块示意图；

图3为改进的残差卷积注意力模块ResCBAM示意图；

图4为CBAM模块示意图；

图5为CA模块示意图；

图6为SA模块示意图；

图7为N4偏置场校正前后对比图，图(a)为原图，图(b)为偏置场校正后的图；

图8为四个患者四种模态图像、金标准及不同模型分割结果对比图，图(a)、(b)、(c)、(d)和(e)分别为患者的四个模态的图像(Flair,T1,T1ce,T2)及GT图像；

图9为不同模型分割结果，图(a)为使用FCN16对数据进行分割的结果，图(b)为使用Unet对数据进行分割的结果，图(c)为使用OM-NET对数据进行分割的结果，图(d)为使用本发明对数据进行分割的结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本实施方式提供一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法，Unet网络如图1所示包括三个处理过程，即编码阶段、解码阶段及跳变连接阶段。编码过程中，提取浅层特征；解码过程中，提取深层特征；跳变连接阶段将编码阶段提取的浅层特征与解码阶段提取的深层特征进行融合；使用可逆残差模块代替编码与解码阶段的卷积模块，并在跳变连接阶段加入改进的ResCBAM模块；使用Dice系数、Sensitivity(敏感度)、PPV(Positive predictive value，阳性预测值、查准率)以及Hausdorff_95距离作为评价指标对模型的分割结果进行评价。本实施方式的方法包括：

S1、数据预处理：

实验所用数据为Brats19数据集，已经进行了部分预处理，包括配准、重采样以及头骨去除。在脑肿瘤MRI图像中，由于偏移场效应和容积效应图像产生伪影与噪声，使图像存在偏置场等问题。偏置场是低频、平缓的不良信号，会使图像模糊，丢失高频部分信息(如边缘轮廓信息)，使得同一个组织呈现不同的灰度值，对分割的效果造成不良影响。因此在对Brats数据集进行肿瘤分割之前，先对该数据集进行偏置场校正，NITK4偏置场校正算法对MRI图像中强度不均匀的低频部分进行校正，校正结果如图7。

S2、构建以Unet为底层的肿瘤分割模型：

在Unet网络中使用可逆残差模块替代原有的卷积模块，在加速信息传递的同时能够很好的解决信息退化的问题；在编码与解码输出特征拼接之前加入改进的残差注意力模块ResCBAM，可以更好地提高训练过程中细节特征的质量。

S3、利用构建好的改进Unet模型对Brats19数据集进行训练，保存最佳模型用以测试模型的分割效果。

作为优选，所述S2中的可逆残差模块如图2，可逆残差模块中含有两层逐点卷积(Pointwise convolution，PW)和一层深度卷积Depthwise convolution，DW)。输入特征经过PW1升维后，使用3×3的DW对输入特征的每一层进行单独卷积，再使用PW2交互特征通道之间的信息，使提取的特征更加丰富；为了更好的保存特征，PW2降维后不再使用Relu激活函数。可逆残差模块在加速信息传递的同时能够很好的解决信息退化的问题，并且其中使用的DW能够减少参数量，使网络能够做的更深。

残差单元的公式可表示为：

y＝w_ix+f(w_ix) (1)

其中，x为输入，y为输出，w_i为卷积操作，f即为残差映射。优选实施例中，ResCBAM如图3，结合了空间注意力和通道注意力，使编码阶段与解码阶段的特征信息能更好的融合，同时提高了特征提取的能力。

ResCBAM分为上下两个通道，上层输入由编码阶段输出的全局上下文信息，底层输入由解码阶段输出的语义信息。ResCBAM中的CBAM模块如图4，CBAM先通过通道注意力模块(Channel attention，CA)如图5，生成通道注意力向量a，通过残差作用于原始特征生成新的特征Fc，再通过空间注意力模块(Spatial attention module，SA)如图6，生成空间注意力向量Fcs。

CA模块的公式为：

M_c(F)＝σ(MLP(AvgPool(F))+(MaxPool(F))) (2)

其中，F代表输入，σ为sigmoid函数，MLP为共享的多层感知机，AvgPool为全局平均池化，MaxPool为最大池化。

SA模块公式为：

M_s(Fc)＝σ(f^7×7([AvgPool(Fc))；MaxPool(Fc)])) (3)

其中，Fc代表输入，σ为sigmoid函数，AvgPool为全局平均池化，MaxPool为最大池化。

ResCBAM中输入上下文信息F1和语义信息F2，分别经过CBAM后生成特征向量F1cs和F2cs，将F1cs和F2cs相加，使用softmax作为激活函数对向量进行归一化后，将输出的注意力向量F3与F1相乘以获得具有背景信息的特征图F4，再将F4与F2相加以更好的关注目标信息。

由此可见，本发明提出的ResCBAM结合了空间注意力和通道注意力，并且使用了残差模块，使编码阶段与解码阶段的特征信息能更好的融合，同时提高了特征提取的能力。

本实施方式的方法还包括loss函数，即损失函数是预测值与真实值之间差异的数值化表示，即帮助训练机制随时优化参数的标准，以便于找到更好参数帮助有效地减少网络进行训练，是决定网络学习质量的关键。在网络结构不变的前提下，损失函数选择不当会导致模型精度差等后果。

交叉熵损失函数能够保证背景被正确分割。交叉熵损失函数如下：

式中，n为分割图中像素点的集合，L为金标准标签像素点集合，y_i∈(0,1)为真实标记分布，g_ij为第i个像素点和第j个金标准像素点的真实类别，p_ij为第i个像素点和第j个金标准像素点的预测类别。

Dice损失函数将Dice系数最大化，使其接近于零值，从而使模型更加快速收敛。

Dice损失函数如下：

式中，N为分割图中像素点集合，L为金标准标签像素点集合，g_ij为第i个像素点和第j个金标准像素点的真实类别，p_ij为第i个像素点和第j个金标准像素点的预测类别。

混合损失函数具有两种损失函数的优点，因此本发明将交叉熵损失函数与Dice损失函数结合，作为训练的混合损失函数可表达为：

loss＝loss_BCE+loss_Dice (6)

为了能更好的评价模型的分割性能，本发明采用四种指标对模型进行评价，四种评价系数分别为：Dice系数如公式(7)、Sensitivity(敏感度)公式(8)、PPV(Positivepredictive value，阳性预测值、查准率)如公式(9)以及Hausdorff_95距离如公式(10)。

Hous(T,P)＝max[sup_t∈Tinf_p∈Pd(t,p),sup_p∈Pinf_t∈Td(t,p)] (10)

其中，TP代表像素为真阳性(True Positive，TP)，TN代表真阴性(True Negative，TN)。同理FP代表像素为假阳性(False Positive，FP)，FN代表假阴性(False Negative，FN)。sup代表上确界，inf代表下确界。T为人工标注的肿瘤区域，t为在T上的点；同理，P为预测的肿瘤区域，p为在P上的点。d(t,p)表示用来计算两点之间距离的函数。Dice系数，PPV和Sensitivity用来评估真实值和预测结果两者内部填充像素的重叠情况。Hausdorff距离用来计算真实值边界和预测区域边界的距离。

实验数据处理与分析：

(一)实验参数选择与设置

实验所用数据为Brats19^[数据集，该数据集中每个患者的MRI都包括四种模态(Flair，T1，T1ce，T2)图像和金标准(Ground Truth，GT)图像，每个MR图像的大小为240×240×155。Brats19数据集已经进行了部分预处理，包括配准、重采样以及头骨去除。经过预处理的数据输入到搭建好的模型中，实验基于Windows操作系统，学习率设置为0.003，批数量设为16，训练的迭代周期设置为200，采用早停法来防止训练过程中出现过拟合。

(二)实验结果及分析

肿瘤分割的任务即分割出肿瘤图像中的肿瘤区域，可细分为三类：整个肿瘤区域(whole tumor，WT)、增强肿瘤区域(enhance tumor，ET)以及肿瘤核心区域(tumor core，TC)。模型训练前对Brats19数据集进行偏置场校正，并将图片尺寸裁剪为160×160。为了评价本发明提出模型的分割性能，将Shelhamer等人提出的FCN、Ronneberger等人提出的Unet以及Zhou等人提出的SOTA模型作为对比模型，进行实验测试，随机抽取测试数据中的四位患者四种模态的图像、真实标签以及四种网络模型的分割结果进行对比，如图8所示。

图8中(a)、(b)、(c)、(d)和(e)分别为患者的四个模态的图像(Flair，T1，T1ce，T2)及GT图像。由图9(a)可见，FCN16能够定位出肿瘤的位置，并对肿瘤的不同部分进行划分，但是边缘不够清晰，区域错分的概率很大，会把细小的肿瘤部分划分为背景；由图9(b)可见，Unet的分割效果优于FCN16，但是仍然存在将细小的肿瘤散点判定为背景的情况，并且肿瘤的不同区域之间存在粘连和明显的错分；由图9(c)可见，SOTA方法的分割效果进一步提高，核心和增强肿瘤区域之间的边界变得明显，但是对于全部肿瘤边界的划分仍然存在一定的问题；由图9(d)可见，相比于其他方法，本发明提出的方法能够比较完整的划分出肿瘤区域，并且边界清晰，最难分割出的增强肿瘤部分也能被准确的标注出来，不同的肿瘤区域之间的边界变得明显，错分的情况少有发生，此方法能够得到与金标准相似的分割结果。

为了能更好的评价模型的分割性能，本文采用四种指标对模型进行评价，四种评价系数分别为：Dice系数如公式(7)、Sensitivity(敏感度)公式(8)、PPV(Positivepredictive value，阳性预测值、查准率)，评价结果如表1。

表1四种模型在不同评价指标下的评价结果

由表1可见，相比于其他方法，不同评价标准下，本发明所提出的方法的分割结果是最优的，其中Dice评分WT为0.8533、TC为0.8767和ET为0.8139，Dice指标提高了0.02～0.04；PPV评分WT为0.8860、TC为0.8978和ET为0.8075，PPV指标提高了0.02～0.06；sensitivity评分WT为0.8723、TC为0.9259和ET为0.8184，sensitivity指标增加了0.03～0.05；Hausdorff评分WT为2.5650、TC为1.6481和ET为2.7751，Hausdorff系数降低了2.28～5.29。总的来说，相比于其他方法，本发明所提出的方法性能最佳，分割效果最好，准确率和敏感度也最优。

虽然在本发明中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本发明中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (5)

1.一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法，其特征在于，所述方法包括：

S1、数据预处理：

实验所用数据为Brats19数据集，已经进行了部分预处理，包括配准、重采样以及头骨去除。在脑肿瘤MRI图像中，由于偏移场效应和容积效应图像产生伪影与噪声，使图像存在偏置场等问题。因此在对Brats数据集进行肿瘤分割之前，先对该数据集进行偏置场校正。

S2、构建以Unet为底层的肿瘤分割模型：

在Unet网络中使用可逆残差模块替代原有的卷积模块，并在encorder与deorder拼接之前加入改进的残差注意力模块ResCBAM，可以更好地提高训练过程中细节特征的质量。

S3、利用构建好的改进Unet模型对Brats19数据集进行训练，保存最佳模型用以测试模型的分割效果。

所述Unet模型包括编码部分、解码部分和跳变连接部分。

2.根据权利要求1所述的方法，其特征在于：

S21、所述S1包括：NITK4偏置场校正算法对MRI图像中强度不均匀的低频部分进行校正，使肿瘤边界变得明显；

S22、所述S2包括：可逆残差模块中含有两层逐点卷积(Pointwise convolution，PW)和一层深度卷积Depthwise convolution，DW)。输入特征经过PW1升维后，使用3*3的DW对输入特征的每一层进行单独卷积，再使用PW2交互特征通道之间的信息，使提取的特征更加丰富；为了更好的保存特征，PW2降维后不再使用Relu激活函数；

S23、所述S2包括：ResCBAM结合了空间注意力和通道注意力，并且使用了残差模块，使编码阶段与解码阶段的特征信息能更好的融合，同时提高了特征提取的能力。

3.根据权利要求1或2所述的肿瘤分割方法，其特征在于，所述S2中提取的特征结合了空间注意力和通道注意力，并且融合了深层和浅层特征。

4.根据权利要求2所述的肿瘤分割方法，其特征在于，所述可逆残差单元的公式可表示为：

y＝w_ix+f(w_ix) (1)

其中，x为输入，y为输出，w_i为卷积操作，f即为残差映射。

5.根据权利要求2所述的肿瘤分割方法，其特征在于，ResCBAM分为上下两个通道，上层输入由编码阶段输出的全局上下文信息，底层输入由解码阶段输出的语义信息。两个通道都包含有CBAM注意力模块，CBAM先通过通道注意力模块(Channel attention，CA)，生成通道注意力向量a，CA模块的公式为：

M_c(F)＝σ(MLP(AvgPool(F))+(MaxPool(F))) (2)

其中，F代表输入，σ为sigmoid函数，MLP为共享的多层感知机，AvgPool为全局平均池化，MaxPool为最大池化。

通道向量a通过残差作用于原始特征生成新的特征Fc，再通过空间注意力模块(Spatial attention module，SA)生成空间注意力向量Fcs,SA模块公式为：

M_s(Fc)＝σ(f^7×7([AvgPool(Fc))；MaxPool(Fc)])) (3)

其中，Fc代表输入，σ为sigmoid函数，AvgPool为全局平均池化，MaxPool为最大池化。

ResCBAM中输入上下文信息F1和语义信息F2，分别经过CBAM后生成特征向量F1cs和F2cs，将F1cs和F2cs相加，使用softmax作为激活函数对向量进行归一化后，将输出的注意力向量F3与F1相乘以获得具有背景信息的特征图F4，再将F4与F2相加以更好的关注目标信息。

Images