CN109754404A - 一种基于多注意力机制的端到端的肿瘤分割方法 - Google Patents

Abstract

本发明涉及一种基于多注意力机制的端到端的肿瘤分割方法，该方法主要包括主干网络部分和注意力模块部分，其中主干网络包括三个子网络，由改进的3D Residual U‑net构成；注意力模块由特殊设计的双分支结构构成。该方法能够弥补现有技术的训练效率低，分割精度差的不足，将对多个肿瘤子区域多类分割问题转化成多个二类分割任务，注意力机制将对肿瘤外周水肿区域的分割结果作为一种软注意力添加到进一步对于肿瘤核部分的分割子任务中，同样将肿瘤核部分的分割结果通过注意力机制添加到对于肿瘤核内部的增强区域的分割子任务中。该方法适用于包括脑瘤在内的具有类似层次结构的肿瘤病变组织的3D影像的分割，包括MRI，CT图像等，能够提供更加精确的分割结果。

Description

一种基于多注意力机制的端到端的肿瘤分割方法

技术领域

本发明涉及计算机视觉，医学图像处理，图像分割领域，尤其是对于肿瘤的核磁共振图像的自动分割领域，具体涉及一种基于多注意力机制的端到端的肿瘤分割方法。

背景技术

对于肿瘤的不同组织的精准划分和描述是治疗肿瘤和判断预后效果中非常重要的一步。在现阶段的临床实践中，肿瘤的标定勾勒通常是由专业的医生或有丰富经验的放射科医师来完成。然而，医学图像不同于传统的自然场景下的2D图像，许多肿瘤需要借助MR，CT等仪器生成的3D图像来进行确诊，对于这些3D图像的手工分割往往是一件耗时耗力成本高昂的工作，而且不同的标注者对于同一幅图像的判断标准和标注原则并不是完全相同，因此标注的结果往往具有很大的类间和类内方差。

深度学习的发展极大地推动了对于肿瘤图像自动分割的研究，但是由于脑瘤在图像中的独特特点，给这项工作带来了极大地挑战。首先肿瘤的不同区域以及肿瘤在人体中与其他正常组织之间对比度较低，因此在低级别的肿瘤影像中其边界非常模糊，成像后边界会出现无规则不连续的情况；其次肿瘤的大小，形状，位置，对比度摄取等在不同的病人之间也存在较大的差异，无法将一些固定规则的先验知识添加到分割任务中去。以脑神经胶质瘤为例，更加精确的分类脑瘤的亚型和告知后续的治疗，在将其从混杂的脑部其他组织中分离出来的同时，还需要分别对脑瘤的水肿区域，肿瘤核(手术中主要切出的部分)，增强部分等进行划分，这也是术前规划和进行放射治疗的关键。

鉴于任务的复杂性，目前的很多工作都是通过设计一个更加强大的模型来解决对于多个肿瘤子区域的分割，但是这些单个的模型对于图像中较小的区域分割效果较差。也有很多工作是通过将复杂任务分解，使用多个简单模型来处理不同的子任务，最后通过级联的方式结合在一起，但是对于这种级联网络的一个缺点就是它并不是一个端到端的网络，因此其训练测试效率较低，同时将整体任务分解，虽然每个子任务能达到局部最优，但是无法达到全局最优。

发明内容

本发明所要解决的技术问题是：弥补上述现有技术的不足，提出一种基于多注意力机制的端到端的肿瘤分割方法，提升分割效果。

为此，本发明提出一种基于多注意力机制的端到端的肿瘤分割方法，利用深度学习神经网络进行肿瘤分割，所述神经网络包括主干网络部分和注意力模块部分，其中主干网络包括三个子网络；注意力模块由双分支结构构成；该方法的使用包括如下步骤：A.数据的预处理，包括图像的裁切，数据的增强，图像的偏差矫正，归一化等操作；B.数据的输入，通过对数据的排序进行打乱，随机裁切一定大小的图像块，作为模型的输入；C.模型的训练，使用准备好的数据对主干网络和注意力模块组成的模型进行整体端到端训练，直到模型在评价指标上达到收敛为止；D.效果的验证，将训练好的模型对验证集中的所有肿瘤图像进行分割，将分割得到的结果进行在线提交，以评估模型的分割效果。

在本发明的一些实施例中，还包括如下特征：

将肿瘤的多类分割问题转化为多个前景背景二类分割问题，使用多个子网络来对不同的子区域进行分割，最终将各个子网络对于不同子区域的分割结果通过加权平均的方式进行融合。

主干网络由三个子网络构成，三个子网络均使用改进的3D Residual U-net结构，其下采样次数分别为4次、4次、3次。

根据肿瘤在解剖学上的层次性特点，通过使用注意力机制来利用这一特点，将对于全肿瘤的分割结果作为一种软注意力信息添加到对于肿瘤核的分割任务上，同理，将对于肿瘤核的分割结果作为一种软注意力信息添加到对于肿瘤核内部增强肿瘤部分的分割任务上。

注意力模块包括两个分支，一个分支的输入来自于前一个子网络输出部分logit操作之前的特征图，将其进行了sigmod归一化处理；另一个分支的输入来自于相邻下一个子网络中下采样路径中第一个残差块输出部分的特征图。

注意力模块中在将注意力图和相应的特征图点乘时，先对注意力图中的所有元素进行加一操作，防止因为注意力图趋近于零时进行点乘影响后面的子网络的训练。

数据的预处理过程中首先通过检测像素值大于零的最小边界，使用该最小边界对数据进行裁切，一定程度上缓解类别不平衡问题。

数据预处理过程中对于肿瘤3D MRI进行了偏差矫正，之后又进行归一化操作，使图像的像素值处于[0,1]区间。

模型训练过程中输入数据是采样后的3D图像块，同时为了缓解类别不平衡问题，采样时限制了图像块中每个类别的最小体素数目。

模型的训练是一个端到端的过程，即中间的学习过程完全是由深度卷积神经网络完成，不需要额外的特征处理操作。

本发明与现有技术对比的有益效果是：1)我们提出了一种用于3D医学图像分割的端到端模型。我们将多个复杂子区域的多类分割问题转化为不同的子任务，用不同的子网络进行学习，然后将这些子网络组合在一起作为一个整体进行优化，在实现整体优化的同时，使每个子网更多地关注特定的子区域。2)我们使用了注意力机制，充分利用了肿瘤解剖结构特点。将肿瘤外周水肿区域的分割结果作为一种软注意力信息添加到对于肿瘤核部分的分割，同理肿瘤核部分的分割结果也被作为一种软注意力添加到肿瘤核内部水肿区域的分割任务中。3)我们将所提出的模型在BraTS’2017脑瘤数据集上进行了实验，我们在使用了更少的输入MRI序列的前提下，能够在验证集上达到最好的分割成绩。尤其是对于加入注意力机制的肿瘤核和增强肿瘤部分的分割效果的提升格外明显。

附图说明

图1是本发明具体实施方式中端到端多注意力方法的主要流程示意图；

图2是本发明具体实施方式中端到端多注意力方法中子网络的结构图；

图3是本发明具体实施方式中端到端多注意力方法中注意力机制的结构示意图；

图4是本发明具体实施方式中端到端注意力方法中子网络中的残差块的结构图；

图5是本发明具体实施方式中端到端注意力模型的输入MRI序列和最终的分割结果，(a)FLAIR序列；(b)T1序列；(c)T1-Gd序列；(d)本模型对于脑瘤的分割效果。

具体实施方式

下面结合具体实施方式并对照附图对本发明做进一步详细说明。

本发明下述实施例模型将对多个肿瘤子区域多类分割问题转化成多个二类分割任务，同时利用肿瘤在解剖学上特点，使用注意力机制将对肿瘤外周水肿区域的分割结果作为一种软注意力添加到进一步对于肿瘤核部分的分割子任务中，同样将肿瘤核部分的分割结果通过注意力机制添加到对于肿瘤核内部的增强区域的分割子任务中，这样每个子网络对于肿瘤不同区域的学习就会更加聚焦于感兴趣的部分，效率更高。相比于之前的模型，该模型能够进行端到端的训练，这样能够协调各个子任务，达到全局最优。下面是具体说明。

本发明所提出的端到端的模型主要包括两大部分，分别是基础主干网络和注意力模块，如图1所示，三个虚线框分别为三个子网络，虚线框之间的连接线代表注意力模块的上分支，圈×符号代表注意力模块的点乘。模型中的三个子网络均采用相同结构的三维残差U型网络(3D Residual U-net)(图1每个子网络中三个白色块即简化后的3D ResidualU-net，详细结构如图2所示)，只是考虑到分割目标的大小，在网络的深度上有所区别。三个子网络分别对于全肿瘤、肿瘤核、增强肿瘤进行分割(即：三个子网络的输入是相同的，只是他们的分割目标是不用的，分别用于全肿瘤，肿瘤核和增强肿瘤的分割)。在两个相邻的子网络之间，使用我们所提出的注意力模块进行连接。三个子网络的损失函数均使用标准的交叉熵损失函数。

图1中，圈×符号代表注意力模块的点乘，箭头边上标注的字符的含义是：“收”表示收缩路径，“扩”表示扩张路径，“跳”表示跳跃连接，“注”表示注意力连接，“出”表示输出路径。

1)主干网络部分：如图2所示，我们采用3D U-net作为我们基础的结构(图2网络的形状为U型，)，为了提升网络的性能同时防止因网络层数过多而产生的梯度消失，我们在基础网络的基础上进行了修改，加入残差块结构，如图4所示。在每个残差块内部，我们依次使用批量归一化(Batch Normalization)，ReLU激活函数，3*3*3的卷积。考虑到肿瘤的每个子区域在同一个图像块中体素所占的比例不同，尤其对于增强肿瘤部分，体素数量非常少，为了保证分割的质量，我们减少了第三个子网络的下采样的次数，最终子网络1，子网络2，子网络3的下采样次数分别为4次，4次，3次。图2中，“注”表示注意力模块，“残”表示残差块，“算”表示Logit and Softmax运算；“转”表示转置卷积；“化”表示最大池化；“跳”表示跳跃连接。

2)注意力模块：医学图像中对于肿瘤的等病变组织的分割任务区别于自然图像的分割，需要了解相应的疾病的特点。根据肿瘤解剖学结构特点，肿瘤从外向里组织依次为全肿瘤，肿瘤核，增强肿瘤，考虑到这种层次上的递进关系，我们提出了软注意力机制来更好地利用这种肿瘤不同子区域之间的关系。(软注意力即注意力图中数值是处于[0,1]区间的小数，分布光滑可导；硬注意力即注意力图中数值服从伯努利分布，非0即1，不可导)

我们的注意力模块主要由两个分支构成，如图3所示(图3是图1中注意力连接及点乘部分的详细结构图)，上面的分支用来获取掩码以生成用于相邻的下一个子网络的注意力图；下面的分支是下一个子网络的收缩路径，F(x)是第一个残差块输出的特征图(图2中最左边第一个带“残”字样的方块是第一个残差块)。注意力模块的两个输入均来自相邻的子网络中具有相同尺寸和通道数的特征图，这样的话在注意力图点乘操作的过程中我们就不需要额外的卷积或者采样步骤，从而保证了计算的效率。F'(x)是上一个子网络中logit操作(图3中上面的分支)之前的特征图像，然后我们采用sigmod运算将像素值变换到[0,1]之间得到注意力图，我们将得到的注意力图T(x)与特征图F(x)进行点乘(图3中点乘)，公式如下：

F_l(x)＝F(x)*(T(x)+1)

T(x)为由前一个子网络输出部分的特征图得到的注意力图，F_l(x)为输出的特征图。

在训练的初始阶段，网络的学习效果较差，为了保证添加的注意力机制不影响相邻子网络的训练，因此对注意力图的所有元素进行了加一操作，这样的话即使注意力图T(x)的值接近0，输出F_l(x)将会趋近与原始特征图F(x)，从而保证注意力模块的有效性。

为了验证模型在实际肿瘤影像中的分割效果，我们使用了MICCAI BraTS’17提供的脑部胶质瘤的MRI数据集，该数据集包括285个训练病例，其中75个为低级别的神经胶质瘤病例(LGG),210个高级别的神经胶质瘤病例(HGG)。验证集包括46个未划分级别的病例数据。每个病例的MRI数据包括4个不同的影像序列，如图5所示，分别是原生T1加权(T1)，对比后T1加权(T1Gd)，T2加权(T2)和T2流体衰减反转恢复(FLAIR)。不同的序列对于不同的肿瘤区域具有不同的成像特点，并且在分割任务中可以相互补充。

在数据预处理部分，为了缓解医学图像中类别不平衡的问题，我们首先对图像进行了裁剪，去掉了图像中像素值为0的区域，同时为了补偿MRI图像中的不一致性，我们对所有的影像序列进行了偏差矫正，然后进行了归一化操作。

我们使用Dice相似性系数和豪斯多夫边界距离对我们所提出的模型的分割效果进行评价。我们将模型对验证集数据分割的结果提交到比赛官方的在线验证平台上，最终得到的反馈结果表明我们的模型在全肿瘤(WT)，肿瘤核(TC)，增强肿瘤(ET)三个子区域的分割得分分别为0.8958,0.8233,0.8006，该得分超过比赛榜单中的所有参赛单个模型以及现有的其他工作。

考虑到MRI这种体积图像在空间分辨率上具有各向异性的特点，我们分别将图像进行视图平面的空间变换，分别使用横状面，矢状面，冠状面训练数据对我们的模型进行训练，测试时将三个模型的得到分割结果进行加权平均，最终融合之后的结果在三个子区域上的得分分别为0.90，0.84，0.79尤其是对于肿瘤核(TC)和增强肿瘤(ET)的分割效果相比于现有的工作提升格外明显。实验结果表明我们所提出的基于多注意力机制的端到端的肿瘤分割方法对于这种具有层次结构特点的肿瘤分割，具有十分优异的表现。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于多注意力机制的端到端的肿瘤分割方法，利用深度学习神经网络进行肿瘤分割，所述神经网络包括主干网络部分和注意力模块部分，其中主干网络包括三个子网络；注意力模块由双分支结构构成；该方法的使用包括如下步骤：

A.数据的预处理，包括图像的裁切，数据的增强，图像的偏差矫正，归一化等操作；

B.数据的输入，通过对数据的排序进行打乱，随机裁切一定大小的图像块，作为模型的输入；

C.模型的训练，使用准备好的数据对主干网络和注意力模块组成的模型进行整体端到端训练，直到模型在评价指标上达到收敛为止；

D.效果的验证，将训练好的模型对验证集中的所有肿瘤图像进行分割，将分割得到的结果进行在线提交，以评估模型的分割效果。

2.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法，其特征在于将肿瘤的多类分割问题转化为多个前景背景二类分割问题，使用多个子网络来对不同的子区域进行分割，最终将各个子网络对于不同子区域的分割结果通过加权平均的方式进行融合。

3.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法模型，其特征在于主干网络由三个子网络构成，三个子网络均使用改进的3D Residual U-net结构，其下采样次数分别为4次、4次、3次。

4.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法，其特征在于根据肿瘤在解剖学上的层次性特点，通过使用注意力机制来利用这一特点，将对于全肿瘤的分割结果作为一种软注意力信息添加到对于肿瘤核的分割任务上，同理，将对于肿瘤核的分割结果作为一种软注意力信息添加到对于肿瘤核内部增强肿瘤部分的分割任务上。

5.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法，其特征在于注意力模块包括两个分支，一个分支的输入来自于前一个子网络输出部分logit操作之前的特征图，将其进行了sigmod归一化处理；另一个分支的输入来自于相邻下一个子网络中下采样路径中第一个残差块输出部分的特征图。

6.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法，其特征在于注意力模块中在将注意力图和相应的特征图点乘时，先对注意力图中的所有元素进行加一操作，防止因为注意力图趋近于零时进行点乘影响后面的子网络的训练。

7.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法，其特征在于数据的预处理过程中首先通过检测像素值大于零的最小边界，使用该最小边界对数据进行裁切，一定程度上缓解类别不平衡问题。

8.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法，其特征在于数据预处理过程中对于肿瘤3D MRI进行了偏差矫正，之后又进行归一化操作，使图像的像素值处于[0,1]区间。

9.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法，其特征在于模型训练过程中输入数据是采样后的3D图像块，同时为了缓解类别不平衡问题，采样时限制了图像块中每个类别的最小体素数目。

10.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法，其特征在于模型的训练是一个端到端的过程，即中间的学习过程完全是由深度卷积神经网络完成，不需要额外的特征处理操作。