CN111402259A - 一种基于多层次结构关系学习网络的脑肿瘤分割方法 - Google Patents

Abstract

本发明提出了一种先进的多层次结构关系学习网络用于对脑肿瘤数据进行分割。在每个子网中，在编码器和解码器之间引入一个环境信息挖掘模块，采用对偶自注意力机制和空间交互学习来分别挖掘单个域内和不同域之间的环境信息。

Description

一种基于多层次结构关系学习网络的脑肿瘤分割方法

技术领域

本发明涉及肿瘤分割技术，具体涉及一种基于多层次结构关系学习网络的脑肿瘤分割方法。

背景技术

脑肿瘤的分割，在多模态三维磁共振图像中分割不同类型的肿瘤区域。基于MRI数据的脑肿瘤分割是一个重要的学术和工业课题，在过去的十年中一直是一个活跃的研究领域。有效和快速的脑肿瘤分割有助于神经状态监测、肿瘤发展评估和脑病诊断。

近年来，基于深度学习的级联多层次网络和多尺度分析使得医学图像分割取得了长足的进展。然而，在基于MRI数据的脑肿瘤分割中，如何准确地对每个像素进行分类仍是一个挑战。MRI数据图像对比度较低，不同类型的肿瘤具有类似的外观。此外，目前已有的分割方法只是简单地使用线性模型进行特征的后融合（例如，拼接或加函数）来集成来自不同分支的特性。线性模型并没有足够的表达能力来完全捕获具有语义差异的特征之间的复杂关系。

对于第一个问题，尽管不同类型的肿瘤呈现类似的模式，但环境信息为区分属于同类肿瘤的像素提供了额外的线索，所述方法提出一种探索环境信息的鲁棒分割方案。

对于第二个问题，不同域的独立分析和线性后融合使得分割模型容易陷入局部最优问题。空间域和通道域是相关的，通道中高激活值对应于特定类别的高置信度评分，当空间环境没有足够的辨别力来区分不同类别的区域时，通道信息有助于语义分割。所述方法的重点是如何结合来自不同域的信息，探索这些域之间的内在相互关系并用于改进脑肿瘤分割结果。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于多层次结构关系学习网络的脑肿瘤分割方法，所述方法能够有效提高脑肿瘤分割的准确率。

本发明的目的是通过以下技术方案来实现的，所述方法包括以下步骤：

（1）构建脑肿瘤分割模型：所述肿瘤分割模型主要由对偶自注意力网络、空间交互学习和损失函数这三部分复合而成。

1-1）所述对偶自注意力网络的构建方法如下：

使用对偶自注意力机制来学习空间域和通道域像素的关系。假设编码器得到的共享特征表示为

，其中C、H、W、D分别为共享特征的通道数、宽度、高度、深度。所述方法重塑共享特征为形状C×N的共享特征f，其中N = H×W×D为特征立方体中的体素数；

表示体素i和j中的特征，

表示通道m和n中的特征；然后利用特征矩阵中的线性核函数和softmax层来学习空间域或信道域内体素间的相似性，即体素i到体素j的信息

和信道m到信道n的信息

的公式为：

，

，

空间环境特征和信道环境特征的最终输出由环境特征和原始共享特征的线性组合得到，其公式为：

，

，

其中α和β系数用来来控制环境因素的影响，采用网格搜索获取最佳取值。

1-2）所述空间交互学习的构建方法如下：

通道环境信息反映像素属于不同类别的置信度，使用这些语义信息为脑肿瘤分割提供额外的线索。所述方法提出一种空间交互学习方法，通过通道自注意模型和通道与空间之间的交互模型对空间语义信息进行增强，融合空间和通道-空间挖掘的语义特征，提取有辨别力的语义特征。

假设对偶自注意力模块获得的空间环境特征和通道环境特征分别为

；然后使用线性核

表示体素i中的空间环境特征

与信道m中的通道环境特征

之间的关系，从而得到额外的空间信息

。空间环境特性和信道环境特性产生不同的分支，这些分支之间具有语义鸿沟，共享空间嵌入可以找到一个共享空间来增强空间和通道之间的关系，并采用数据驱动的方法来确定嵌入的投影矩阵。计算体素i中的空间环境融合特征g ⁱ 的公式为：

，

其中

和

分别为在空间和信道空间交互中的嵌入矩阵。该公式通过网格搜索确定合适的嵌入维数T。

1-3）所述损失函数的构建方法如下：

网络权重W是从一组训练样本

中学习获得的，其中X _i为样本的多模态MRI观测值，Y _i为对应的Whole Tumor（WT）、Tumor Core（TC）、Enhancing Tumor（ET）区域的分割掩码，N为训练集中样本的个数，这些参数采用多任务损失函数进行优化。

其中，损失函数的公式为：

，

其中，M是在多任务学习中的（任务）分支数量，在所述方法中M = 3，a _m 是特定任务的权重，由网格搜索决定最佳权重值，l ^m 是任务m的损失值。

为了进一步解决标签不平衡问题，所述方法使用混合损失函数，包括Dice系数（Dice coefficient，DC）和加权交叉熵（weighted cross-entropy，WCE）损失来训练多任务分割网络。其公式为：

，

Dice系数度量预测的分割掩码与真实分割掩码之间的重叠度。假设P _i 为样本i的预测掩模图，G _i 为专家手动标注的对应的真实分割掩码；定义Dice系数的计算公式为：

，

WCE计算的公式为：

，

其中S₊表示正样本集，S_-表示负样本集，|.|表示数据集中的样本数，γ表示正样本集和负样本集数量的比例。

（2）模型训练过程：利用训练样本对所述的脑肿瘤分割模型进行训练，所述方法使用BraTS 2019数据集训练得到分割模型；所述方法也可使用BraTS 2017数据集训练得到分割模型。分割模型的评价指标包括4种类型的度量：Dice系数（DC）、Hausdorff距离（HD）、敏感性（Sensitivity）、特异性（Specificity）。

BraTS 2019脑肿瘤分割挑战数据集包括259个高度恶性胶质母细胞瘤（high-grade glioblastomas，HGG）和76个低度（恶性）神经胶质瘤（low-grade gliomas，LGG）MRI数据。多模态MRI脑扫描获得四种成像图像，分别为T1、T2、T1-ce和T2-flair。所有核磁共振立方体用同一个解剖模板进行注册对齐，并插值到相同的分辨率、进行头骨剥离预处理。所有序列的体素间距（即T1，T2，T1-ce，T2-flair）经偏置校正和配准后为1.00mm×1.00mm×1.00mm，标定结果包括WT、TC、ET区域的分割掩码。

BraTS 2017数据库包括285个3D MRI扫描，其中210个HGG扫描和75个LGG扫描。每个通道的图像大小为240×240×155。该数据库的多模态输入和肿瘤分割与BraTS 2019相同。

所述方法推荐硬件配置使用Intel i7-4790 3.6 GHz CPU、32GB内存和NVIDIAGTX Titan X的图形工作站，算法性能验证推荐使用Cuda 10.0及配套的Cudnn库、PyTorch1.0，其它更高配置的硬件环境，或具有类似功能的软件环境也可以实现算法所述方案。

为了消除MRI机器缺陷和患者特异性所造成的偏场效应，在立方体分割前的预处理操作中采用N4偏场校正方法。所述方法随机将原始数据立方体裁剪成144×160×128的子立方体。由于数据集中缺少带标定的样本，所以采用了数据扩充方法，例如，水平和垂直翻转、随机旋转角度以及以一定的概率向子立方体添加噪声。多任务代价函数中，WT的权重a ₁ 为1.0，TC的权重a ₂ 为2.0，ET的权重a ₃ 为2.0。加权交叉熵WCE的权重λ为0.1，正样本集和负样本集样本比例系数γ为3.0。整个网络采用随机梯度下降（SGD）训练，Momentum为0.9，权值衰减系数为0.0005。为了避免性能曲线中的冲击，前60,000次迭代的学习速率设置为0.01，后20,000次迭代的学习速率设置为0.001，并根据评价集的性能进行调整。由于内存的限制，批处理大小设置为1。所述方法通过减去大脑区域的平均值并除以其标准差来独立地对每个患者的每种模式进行标准化（实例标准化）。

所述方法由于整合了来自不同域的环境信息，它在Dice系数度量方面相比不使用环境信息挖掘提高了大约0.8-1.2%的性能，在其它度量指标下也具有竞争力的性能。

相比于现有技术，本发明具有的有益效果为：

（1）所述方法提出了一个环境信息挖掘模块，结合远距离相关性来提高脑肿瘤分割的有效性；同时考虑了域内和域间的相互关系，这种相互关系为多模态MRI数据中模式的鉴别提供了更多的线索。

（2）所述方法设计了一种信息融合方法，从空间域和通道域中提取信息流，并学习空间域和通道域之间的关系以减少语义上的差异。语义对齐的特征得到有判别力的信息用于难例的分割。

（3）所述方法可在BraTS 2017数据集和BraTS 2019数据集上进行训练和测试，实验结果表明，本发明提出的方法与其他最先进的脑肿瘤分割方法相比更具有竞争力。

附图说明

图1是本发明实施例提供的脑肿瘤分割中低对比度、模式不清晰的MRI图像示例图。

图2是本发明实施例提供的多层次结构网络的脑肿瘤分割方法框架图。

图3是本发明实施例提供的关系学习网络的示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

图1是本发明实施例提供的低图像对比度和模糊模式脑瘤分割。左侧4列为MRI数据的输入图像，第五列为对应的真实标定结果。绿色、黄色和红色区域分别突出了WholeTumor （WT）、Tumor Core（TC）、Enhancing Tumor（ET）部分。

图2是本发明的方法框架。采用级联结构从模态中推断结果。E和D分别在3D U-Net中代表编码器和解码器，C是所述方法的环境挖掘模块。

如图2所示的是在本文中，本发明提出的一种用于分割脑肿瘤区域的多层次结构网络，将多模态MRI数据输入到多层次结构网络中，生成WT肿瘤区域的概率图，将该肿瘤概率图与原始输入的MRI数据连接并通过下一个子网络生成TC肿瘤区域的概率图，同理在下个层次子网络中生成ET肿瘤区域的概率图。在每个子网中，保留编码器和解码器框架以获得良好的语义特征。编码器利用3D U-Net中的3D CNN层提取共享特征。然后，所述方法精心设计环境挖掘模块以增强网络的分类能力，其中，采用对偶自注意力和空间交互学习的方法来解决肿瘤分割中的难例。最后，使用3D U-Net中的解码器获得3种类型肿瘤的分割掩码。

图3表示的是所述方法的域内和域间环境挖掘模块的详细信息。使用对偶自注意力学习空间域和通道域各自的域内环境信息并获得相应的环境特征；然后，空间交互学习学习空间域和通道域像素的关系得到信道-空间相似度，从而计算信道增强的空间环境特征；最后，将对偶自注意力学习到的空间环境特征和空间交互学习得到的信道增强的空间环境特征结合起来作为解码器的输入。

如图3所示，共享特征首先进入所述方法的对偶自注意力模块，使用对偶自注意力机制来学习空间域和通道域各自的域内像素关系。假设编码器得到的共享特征表示为

，其中C、H、W、D分别为共享特征的通道数、宽度、高度、深度。所述方法重塑共享特征为形状C×N的共享特征f，其中N = H×W×D为特征立方体中的体素数；

表示体素i和j中的特征，

表示通道m和n中的特征；然后利用特征矩阵中的线性核函数和softmax层来学习空间域或信道域内体素间的相似性，即体素i到体素j的信息

和信道m到信道n的信息

的公式为：

，

，

空间环境特征和信道环境特征的最终输出由环境特征和原始共享特征的线性组合得到，其公式为：

，

，

其中α和β系数用来来控制环境因素的影响，采用网格搜索获取最佳取值。

然后，将对偶自注意力模块得到的空间环境特征和信道环境特征输入空间交互学习模块进行域间关系学习，用于对空间语义信息进行增强。

假设对偶自注意力模块获得的空间环境特征和通道环境特征分别为

；然后使用线性核

表示体素i中的空间环境特征

与信道m中的通道环境特征

之间的关系，从而得到额外的空间信息

。空间环境特性和信道环境特性产生不同的分支，这些分支之间具有语义鸿沟，共享空间嵌入可以找到一个共享空间来增强空间和通道之间的关系，并采用数据驱动的方法来确定嵌入的投影矩阵。计算体素i中的空间环境融合特征g ⁱ 的公式为：

，

其中

和

分别为在空间和信道空间交互中的嵌入矩阵。该公式通过网格搜索确定合适的嵌入维数T。

最后，将对偶自注意力学习到的空间环境特征和空间交互学习得到的信道增强的空间环境特征结合起来，提取有辨别力的语义特征作为解码器的输入。

所述方案在BraTS2019数据库的实验结果表明，该方法可提高WT，TC和ET分割结果的Dice系数分别为1.2%，1.0%和0.8%。具体来说，该发明提出了学习空间域和通道域的域内相似性的对偶自注意力机制，并将通道域和空间域的关系引入到不同域间的依赖关系的学习中，从而学习到有辨别力的环境特征用于脑肿瘤分割。

Claims (4)

1.一种基于多层次结构关系学习网络的脑肿瘤分割方法，其特征在于，所述方法采用基于3D U-Net结构的多层次框架，用于从多模态MRI数据中分割脑肿瘤区域；编码器和解码器模块遵循原始设计的3D U-Net方案，由大数据库如ImageNet预训练的3D U-Net网络获取，并使用脑肿瘤训练数据集对其进行微调；

重点是：1）空间上远距离像素的语义信息对语义分割提供重要线索；2）网络高层特征中的不同通道与特定的对象或属性相关，这些对象或属性包含丰富的语义信息；

如果充分挖掘不同信道之间的关系，不同信道不仅是相邻信道，还包括相隔远距离的信道，就可以改进网络特征的辨别能力；

所述方法在编码器的基础上开发一个环境信息挖掘模块，通过对空间信息和信道知识，即单个域内、不同域之间信息的利用，进行远距离像素依赖关系的学习；

所述方法包含以下内容：同类别像素在不同区域的特征可能会因为受局部噪声的干扰而呈现不同的外观；这些差异被引入到了脑肿瘤数据内，影响了分割的鲁棒性；

为了解决这个问题，所述方法通过对偶自注意力机制来建立特征之间的关联从而探索语义信息，该机制从不同的空间学习远距离像素的依赖关系；

编码器的共享特征被输入环境信息挖掘模块以获取环境特征，其中：对偶自注意力机制分别通过通道注意力和空间注意力来获得相应的单个空间内的环境特征；然后，通过信道和空间环境特征得到信道-空间相似度用于计算信道信息对空间环境特征的影响；最后，将信道信息增强的空间环境特征和原始空间环境特征组合为最终的环境特征，并将其输入到基于反卷积的解码器中，使输出分割图的大小与输入图像的大小相同；

利用域内和域之间信息的工作主要集中在对偶自注意力网络、空间交互学习和损失函数这三部分。

2.如权利要求1所述的单个域内信息的挖掘，其实现的方式为：使用对偶自注意力机制来学习空间域和通道域像素的关系；

假设编码器得到的共享特征表示为

，其中C、H、W、D分别为共享特征的通道数、宽度、高度、深度；所述方法重塑共享特征为形状C×N的共享特征f，其中N = H×W×D为特征立方体中的体素数；

表示体素i和j中的特征，

表示通道m和n中的特征；然后利用特征矩阵中的线性核函数和softmax层来学习空间域或信道域内体素间的相似性，即体素i到体素j的信息

和信道m到信道n的信息

的公式为：

，

，

空间环境特征和信道环境特征的最终输出由环境特征和原始共享特征的线性组合得到，其公式为：

，

，

其中α和β系数用来来控制环境因素的影响，采用网格搜索获取最佳取值。

3.如权利要求1所述的不同域之间关系的学习，其实现方式为：

通道环境信息反映像素属于不同类别的置信度，使用这些语义信息为脑肿瘤分割提供额外的线索；所述方法提出一种空间交互学习方法，通过通道自注意模型和通道与空间之间的交互模型对空间语义信息进行增强，融合空间和通道-空间挖掘的语义特征，提取有辨别力的语义特征；

假设对偶自注意力模块获得的空间环境特征和通道环境特征分别为

；然后使用线性核

表示体素i中的空间环境特征

与信道m中的通道环境特征

之间的关系，从而得到额外的空间信息

；空间环境特性和信道环境特性产生不同的分支，这些分支之间具有语义鸿沟，共享空间嵌入可以找到一个共享空间来增强空间和通道之间的关系，并采用数据驱动的方法来确定嵌入的投影矩阵，计算体素i中的空间环境融合特征g ⁱ 的公式为：

，

其中

和

分别为在空间和信道空间交互中的嵌入矩阵，该公式通过网格搜索确定合适的嵌入维数T。

4.如权利要求1所述的损失函数，其构建方式为：

网络权重W是从一组训练样本

中学习获得的，其中X _i为样本的多模态MRI观测值，Y _i为对应的Whole Tumor、Tumor Core、Enhancing Tumor区域的分割掩码，N为训练集中样本的个数，这些参数采用多任务损失函数进行优化，其中，损失函数的公式为：

，

其中，M是在多任务学习中的任务分支数量，在所述方法中M = 3，a _m 是特定任务的权重，由网格搜索决定最佳权重值，l ^m 是任务m的损失值；

为了进一步解决标签不平衡问题，所述方法使用混合损失函数，包括Dice系数，以DC表示和加权交叉熵，以WCE表示，损失来训练多任务分割网络，其公式为：

，

Dice系数度量预测的分割掩码与真实分割掩码之间的重叠度；

假设P_i为样本i的预测掩模图，G_i为专家手动标注的对应的真实分割掩码，定义Dice系数的计算公式为：

，

WCE计算的公式为：

，

其中S₊表示正样本集，S_-表示负样本集，|.|表示数据集中的样本数，γ表示正样本集和负样本集数量的比例。

Images