CN112365496A - 基于深度学习和多引导的多模态mr影像脑肿瘤分割方法 - Google Patents

Abstract

本发明基于深度学习和多引导的多模态MR影像脑肿瘤分割方法属于图像处理领域，解决多模态MRI脑胶质瘤分割过程中存在的3个问题：(1)脑胶质瘤边界不清晰导致的分割不准确的问题；(2)由于多模态MRI的亮度分布存在不均匀而导致的分割结果出现一些离散的误分割点的问题；(3)在脑胶质瘤MRI分割网络中对多种引导信息进行特征融合的问题，本发明将整体脑胶质瘤分割结果和脑胶质瘤边缘预测结果通过所提出的融合机制进行特征融合，实现了多特征图引导和融合下的多模态MRI脑胶质瘤分割，该深度分割网络以较少的参数量实现了高准确度的分割，因此该方法便于嵌入到边缘设备辅助医生进行脑胶质瘤的诊断和分析。

Description

基于深度学习和多引导的多模态MR影像脑肿瘤分割方法

技术领域

本发明属于图像处理领域，特别是涉及一种基于深度学习和多引导的多模态MRI脑肿瘤分割方法。

背景技术

脑胶质瘤是一种脑部原发性肿瘤，患病率约占恶性脑肿瘤的80％。MRI辅助医生诊断脑胶质瘤，而且医生可以通过MRI对脑胶质瘤进行定位，进而对脑胶质瘤进行定量地分析来实现制定治疗计划如：放疗和手术。一般医生通过多模态的MRI来诊断脑胶质瘤，并对脑胶质瘤进行标注，但是人工逐切片地标注脑胶质瘤相当耗时。同时，不同医生的经验水平不同，这导致对同一病例标注的结果差别比较大，从而不利于脑胶质瘤的精准治疗。因此，脑胶质瘤的MR影像标注需要计算机的辅助医生来完成。

目前，基于深度神经网络的图像分割方法备受关注，因为其强大的拟合能力可以很好地学习到图像的亮度分布，从图像的特征提取到图像的分割是一个端到端的过程，因此实现了对像素的全自动且高准确度分类。典型的深度分割网络FCN通过双线性插值的上采样方式得到输入图像的分割结果。但是FCN没有很好地将位置信息和语义信息进行融合，导致分割的结果在边缘处准确度很低。在FCN的基础之上，SegNet对FCN进行了改进，将降采样的位置索引添加到FCN上采样过程中来实现位置信息和语义信息的融合，分割精度得到显著提高。但是，SegNet的上采样过程中没有将全部的位置信息融入到反卷的特征中，因此分割精度仍有待进一步提高。U-Net首次提出用于分割细胞的结构，它将逐层下采样过程中的特征与上采样的特征通过2层卷积层来融合，这种融合方式是一种学习型的融合方式，很好地将两种信息融合在一起实现了更高精度的分割。之后，U-Net这种编解码结构的深度分割网路被广泛使用，并不断被改进。

U-Net被广泛用于医学图像分割领域，很多研究者对U-Net进行改进来提高分割精度。3D U-Net提出用于学习U-Net的三维空间的亮度分布，该方法的分割精度比2D U-Net提高很多。同时，为了减少一些分割的噪声点，条件随机场用于U-Net的后处理来进一步提高分割精度。对于脑胶质瘤的MRI分割，有学者提出了多阶段的分割过程，即先分割整个脑胶质瘤区域，然后在得到的整个脑胶质瘤分割区域内得到脑胶质瘤子结构的分割。虽然该过程符合医生在标注脑胶质瘤子结构的过程，且减少了一些离散的误分割点，但是两步分割的过程增加了深度网络训练的复杂度，同时也不能实现深度网络端到端的分割过程。

发明内容

本发明旨在克服现有技术不足，解决了MRI中亮度分布不均匀和目标边界模糊导致的分割精度低的问题，提供一种基于深度学习和多引导的多模态MRI脑肿瘤分割方法，本发明将整体脑胶质瘤分割结果和脑胶质瘤边缘预测结果通过所提出的融合机制进行特征融合，实现了多特征图引导和融合下的多模态MRI脑胶质瘤分割。该深度分割网络以较少的参数量实现了高准确度的分割，因此该方法便于嵌入到边缘设备辅助医生进行脑胶质瘤的诊断和分析。

为解决上述技术问题，本发明采用的技术方案为：基于深度学习和多引导的多模态MRI脑肿瘤分割方法，具体步骤如下：

步骤1)构建用于多模态MRI脑胶质瘤分割模型训练数据集；

步骤2)构建整体脑胶质瘤分割网络模块，通过该网络模块输出最终的整个脑胶质瘤的掩膜，以此来作为引导信息来引导脑胶质瘤子结构分割网络模块的预测，具体操作如下：

将多模态MRI图像输入到该模块之后，先利用一个卷积层实现图像的特征提取，然后使用一个下采样卷积层得到一组低分辨率的特征图，接着，通过2个编码模块对这组低分辨率的特征图进行语义特征提取，之后，通过3次解码模块对包含语义信息的特征图进行上采样，每一次经过解码后的特征图与编码过程中同等分辨率下的特征图通过跳层连接级联在一起，再通过后面的解码模块对重组后的特征图进行融合和上采样，经过3次解码后得到2张特征图，最后，2张特征图通过掩膜映射模块得到最终的整个脑胶质瘤的掩膜；这里将整个网络的特征图数目设置为一个较小值，从而使得该网络模块的参数量很少，但是这种设置并不会对整个肿瘤的分割精度产生很大的影响。该网络的输出将作为一种掩膜信息来引导脑胶质瘤子结构分割网络模块的预测；

步骤3)构建脑胶质瘤边缘预测网络模块，该网络模块包含编码支路和解码支路，每次解码模块输出的特征图用于引导脑胶质瘤子结构的分割，具体操作如下：

脑胶质瘤边缘预测网络模块的拓扑结构是以U-Net为基础进行构建的，脑胶质瘤边缘预测网络模块的输入是多模态MR影像水平方向和垂直方向的梯度图，在编码支路，我们首先采用卷积单元对输入的梯度图进行特征提取，得到64张特征图，之后，经过了次下采样模块对64张特征图进行降分辨率和提取抽象的语义信息；

在解码支路，采用4次上采样模块对低分辨率特征图进行解码，其中，在上采样模块中，首先对特征图进行上采样重组，得到采样后的特征图，然后上采样模块将这些特征图与编码部分相同分辨率下的特征图通过跳层连接进行级联，最后，上采样模块将级联的特征图通过卷积单元进行融合，经过4次上采样模块后，得到与输入的特征图分辨率相同的64张特征图，最后，将解码后的特征图通过边缘映射模块得到最终的边缘预测图，在脑胶质瘤边缘预测模块中，每次解码模块输出的特征图用于引导脑胶质瘤子结构的分割；

步骤4)构建脑胶质瘤子结构分割网络模块，在该模块中将整体脑胶质瘤分割结果和脑胶质瘤边缘预测结果通过所提出的融合机制进行特征融合，脑胶质瘤子结构分割网络模块得到的分割结果为最终的分割结果，具体操作如下：

脑胶质瘤子结构分割网络模块的输入是4个模态MRI，该网络模块包括了编码支路和解码支路，在编码支路，首先通过卷积单元提取MRI的浅层特征，得到64张特征图，然后，通过4次下采样单元对64张特征图进行下采样和特征提取，每经过一个下采样单元，得到的特征图分辨率会降为原来的四分之一，同时特征图所包含的语义信息更加抽象，经过4次降采样单元后得到64张低分辨率的特征图；

在解码支路，通过4次指导融合模块对特征图进行上采样的同时，融合其他两个模块的引导信息来得到64张原分辨率下的解码特征图，其中，指导融合模块将整个脑胶质瘤分割模块得到的掩膜与特征图点乘来实现对肿瘤区域特征的增强，然后，指导融合模块将增强的特征进行上采样重组得到较高分辨率的特征图。之后，指导融合模块将3种特征图：上采样后的特征图，编码支路中与该特征图相同分辨率的特征图和边缘预测模块的解码特征图进行级联，最后，指导融合模块将级联的特征图通过残差注意力融合模块进行融合，经过4次上采样模块后得到的64张原分辨率下的解码特征图与整个脑胶质瘤分割掩膜点乘对肿瘤区域进行增强，最后，将增强后的解码特征通过分割映射模块得到子结构分割结果。

进一步的，所述步骤1)中，MRI在输入到提出的网络之前需要对图像进行预处理，将亮度的分布归一化为标准正态分布，具体归一化表达式可以写为：

其中，X表示原始图像，μ表示图像亮度的均值，σ表示图像亮度的方差，

为归一化后的图像。

进一步的，步骤2)中下采样单元结构：步长为2的填充3×3卷积层+批标准化层+线性激活单元，编码模块由2次填充的3×3卷积层+批标准化层+线性激活单元和1个池化组成，解码模块由2个填充的3×3卷积操作+批标准化层+线性激活单元和1个上采样重组组成，掩膜映射模块由1×1卷积和Sigmoid激活函数构成。

进一步的，所述步骤3)中的卷积单元包括：填充的3×3卷积+批标准化+线性激活单元，下采样模块包括：步长为2的填充3×3卷积+批标准化+线性激活单元，缘映射包括：卷积单元+1×1卷积。

进一步的，所述步骤4中)下采样单元包括：步长为2的填充3×3卷积+批标准化+线性激活单元。

进一步的，所述步骤4中)残差注意力融合模块是先通过卷积单元得到一组特征，然后，该组特征分别提高空间注意力和通道注意力得到2组权重，该组特征与空间注意力权重点乘并与通道注意力权重求和得到增强后的一组特征，将得到的增强特征与输入特征求和来对输入特征的重要通道和空间位置进行增强。

本发明致力于解决多模态MRI脑胶质瘤分割过程中存在的3个问题：(1)脑胶质瘤边界不清晰导致的分割不准确的问题；(2)由于多模态MRI的亮度分布存在不均匀而导致的分割结果出现一些离散的误分割点的问题；(3)在脑胶质瘤MRI分割网络中对多种引导信息进行特征融合的问题。本发明的网络主要有3个网络模块组成，整体脑胶质瘤分割网络模块、脑胶质瘤边缘预测网络模块以及脑胶质瘤子结构分割网络模块。在脑胶质瘤子结构分割网络模块中，它将整体脑胶质瘤分割结果和脑胶质瘤边缘预测结果通过所提出的融合机制进行特征融合，实现了多引导和融合下的多模态MRI脑胶质瘤分割。本发明多模态MRI脑胶质瘤分割方法的性能领先于很多现有的多模态图像分割方法。

本发明的优点在于所设计的深度神经网络是一种轻量化的深度模型且其参数量远远少于现有的多模态图像分割方法，因此，本发明可以嵌入到用于医学图像分割的边缘设备中。

附图说明

下面结合附图对本发明做进一步详细的说明。

图1表示基于深度神经网络多种特征图引导和融合的多模态MRI脑胶质瘤分割网络示意图。

图2表示残差注意力融合模块的示意图。

图3表示对高级别胶质瘤的不同分割方法分割结果对比图。

图4表示对低级别胶质瘤的不同分割方法分割结果对比图。

图5表示不同分割结果的Dice指标对比和参数量对比。

具体实施方式

为使本发明的目的、特征和优点能够明显易懂，下面结合附图对本发明的具体实施方式做详细说明。

如图1所示，基于深度学习和多引导的多模态MRI脑肿瘤分割方法，主要由3个网络模块组成：整体脑胶质瘤分割网络模块、脑胶质瘤边缘预测网络模块以及脑胶质瘤子结构分割网络模块，其中，整体脑胶质瘤分割网络模块和脑胶质瘤边缘预测网络模块用于生成多个引导图，这些引导信息用来引导脑胶质瘤子区域分割，脑胶质瘤子结构分割网络模块得到的分割结果为最终的分割结果，不同区域的子结构在分割结果中会使用不同的标签值进行标注。

步骤1)构建用于多模态MRI脑胶质瘤分割模型训练数据集

一般来说，图像分割网络模型往往需要通过大量人工标注的医学数据进行训练，从而得到经过优化的深度分割网络模型。由于现有的医学数据设计病人的隐私问题，因此通常很难从医院获取病人的各项数据。此外，每个医生的经验水平有所不同，将会导致同一医学数据的标注结果不尽相同。为了更加公平地对比各种分割方法的性能，本专利采用国际上公开的BRATS2015数据集来训练深度神经网络模型。BRARTS2015数据集包含274个患有脑胶质瘤的病例的多模态MRI数据。对每一种病例都包含4种模态的MRI(Flair,T1,T1c,T2)和一个对应的脑胶质瘤标注结果。在这个数据集的274个病例中，220例患有高级别的胶质瘤，54例患有低级别的胶质瘤。将这些3D病例以切片为单位分解成2D的切片数据，深度神经网络的一组输入包含4种模态的切片图像，每一组输入对应1张标注了脑胶质瘤的分割标签图。

在BRATS2015中，每个病例的大小为：240*240*155。这里将每个病例分解为155张240*240的MRI。在输入到时提出的网络之前需要对图像进行预处理，将亮度的分布归一化为标准正态分布，具体归一化表达式可以写为：

其中，X表示原始MRI，μ表示图像亮度的均值，σ表示图像亮度的方差，

为归一化后的MRI。将归一化后的MRI进行随机选择，挑选2000组MRI作为训练过程的验证集。

步骤2)构建整体脑胶质瘤分割网络模块，通过该网络模块输出最终的整个脑胶质瘤的掩膜，以此来作为引导信息来引导脑胶质瘤子结构分割网络模块的预测。具体结构如下：

如图1(c)在该网络模块中，除了最后一层卷积的大小为1×1，其他卷积核为填充的3×3卷积。在网络的第一层，先对MRI通过卷积单元进行特征提取，得到8张特征图。其中卷积单元包括：一个填充的3×3卷积+批标准化+线性激活单元。然后，8张特征图通过下采样模块得到16张低分辨率的特征图。其中，下采样模块由步长为2的填充3×3卷积，批标准化和线性激活单元组成。之后，得到的低分辨率特征图通过2个编码模块得到更低分辨率的特征图。在每一次经过编码模块，特征图的大小变为原来的四分之一，同时，所包含的语义信息更为抽象。其中，第一个编码模块输出8张降分辨率后的特征图，第二个编码块输出16张降分辨率后的特征图。编码模块包括：2次填充的3×3卷积操作+批标准化+线性激活单元和1个池化组成。在2次编码后，得到的16张低分辨率特征图输入到解码模块进行上采样。其中，解码模块包括：2个填充的3×3卷积操作+批标准化+线性激活单元和1个上采样重组。在每一次上采样后，我们将上采样后的特征图与编码部分的相同分辨率的特征进行级联，并送入到后一个解码模块。第一个解码模块输出8张上采样后的特征图，第二个几码模块输出4张特征图，第三个解码模块输出2张特征图。最后，2张特征图通过掩膜映射模块得到最后的掩膜分割结果。其中，掩膜映射模块包括：1×1卷积和Sigmoid激活函数。

步骤3)构建脑胶质瘤边缘预测网络模块，该网络模块包含编码支路和解码支路，每次解码模块输出的特征图用于引导脑胶质瘤子结构的分割，具体操作如下：

如图1(a)所示，在该网络模块中，首先分别提取每个模态水平方向和垂直方向的梯度信息，然后将得到的8张梯度图沿着通道维度级联起来作为网络输入。在梯度信息的提取过程中，采用图像中后一行减前一行，逐行相减来得到水平梯度图；用图像中后一列减前一列，逐列相减来得到垂直梯度图。

首先，采用卷积单元对输入的梯度图进行特征提取，得到64张特征图。其中，卷积单元包括：填充的3×3卷积+批标准化+线性激活单元。然后，4个下采样模块对64张特征图进行下采样和语义信息提取。其中下采样模块包括：步长为2的填充3×3卷积+批标准化+线性激活单元。4个下采样模块输出的特征图有数均为64张。我们采用4个上采样模块对64张低分辨率特征图进行解码。其中，在上采样模块中，首先对特征图进行上采样重组，得到提高分辨率后的特征图。然后上采样模块将这些特征图与编码部分相同分辨率下的特征图通过跳层连接进行级联。最后，上采样模块将级联的特征图通过卷积单元进行融合。4个上采样模块输出的特征图书均为64张。经过4次上采样后，得到与输入的特征图分辨率相同的64张特征图。最后，将解码后的特征图通过边缘映射模块得到最终的边缘预测图。其中，边缘映射包括：卷积单元+1×1卷积。

步骤4)构建脑胶质瘤子结构分割网络模块，在该模块中将整体脑胶质瘤分割结果和脑胶质瘤边缘预测结果通过所提出的融合机制进行特征融合，脑胶质瘤子结构分割网络模块得到的分割结果为最终的分割结果，具体操作如下：

如图1(b)所示，该网络将多模态MRI作为输入进行分割得到脑胶质瘤的子结构分割结果。脑胶质瘤的子结构包含4个区域：水肿区，非增强区，增强区和坏死区。在分割结果中，不同的肿瘤子区域使用不同的灰度值进行标注。首先，MRI通过卷积单元得到64张浅层特征图。然后，通过4个下采样单元对64张特征图进行降采样和特征提取。其中下采样单元包括：步长为2的填充3×3卷积+批标准化+线性激活单元。每经过一个下采样单元，得到的特征图分辨率会降为原来的四分之一，同时特征图所包含的语义信息更加抽象。每个降采样单元均输出64张特征图。经过4次降采样单元后得到64张低分辨率的特征图。这64张特征图通过4次指导融合模块进行上采样并融合其他模块的指导信息来得到64张原分辨率下的解码特征图。其中，指导融合模块首先将整个脑胶质瘤分割模块得到的掩膜以点乘的形式与特征图进行融合来实现对肿瘤区域特征的增强。然后，指导融合模块将增强的特征进行上采样重组得到提高分辨率后的特征图。最后，指导融合模块将3种特征图：上采样后的特征图，编码支路中与该特征图相同分辨率的特征图和边缘预测模块的解码特征图进行级联，并通过残差注意力融合模块将级联的特征图通过进行融合。经过4次上采样模块得到的64张原分辨率下的解码特征图与整个脑胶质瘤分割掩膜进行点乘来对肿瘤区域进行增强。最后，将增强后的解码特征通过分割映射模块得到子结构分割结果。其中分割映射模块包括：卷积单元+1×1卷积+softmax。

本发明的融合网络模块是一个基于注意力机制的融合方式，它将4种信息以不同的方式融入网络中。对于整体脑胶质瘤分割网络模块的分割结果，该网络模块将分割结果与上采样前的特征图进行点乘来去除一些不重要的区域。对于脑胶质瘤边缘预测的特征图，该网络模块将上采样后的特征，预测的边缘特征和降采样过程中的特征级联在一起，并通过基于注意力机制的残差融合模块实现特征融合。如图2所示，该融合模块先将信息通过一层3×3填充卷积+批标准化+修正线性单元激活函数实现融合，然后通过空间和通道注意力将有用的特征和区域进行筛选得到经过融合的特征图。

如图2所示，残差注意力融合模块是先通过卷积单元得到一组特征，然后，该组特征分别提高空间注意力和通道注意力得到2组权重，该组特征与空间注意力权重点乘并与通道注意力权重求和得到增强后的一组特征，将得到的增强特征与输入特征求和来对输入特征的重要通道和空间位置进行增强。

下面对本发明的方法进行验证，我们采用Pytorch框架搭建多模态MRI脑胶质瘤分割网络。在训练过程中，我们选择Adam优化器对网路参数进行优化，网络的学习率为1e-4，网络采用的初始化方式为Kaiming初始化。训练网络的总迭代次数为50000次。我们在训练数据中随机抽取了2000组多模态图像作为训练过程中的验证集，网络最终会保留在验证集上测试效果最好的网络模型。在训练过程中，每迭代300次，当前训练的最好模型要在验证集上做一次验证。在训练结束后，我们将保存在验证集上测试最好的网络模型。

另外在整个网络的训练过程中，还需要构建多模态MRI脑胶质瘤分割方法的多任务损失目标函数，多任务损失目标函数包括3个部分：二值交叉熵损失、内容回归损失和交叉熵损失。其中，整体胶质瘤分割网络模块的学习使用二值交叉熵损失，而使用L2约束下的内容回归损失来约束脑胶质瘤边缘预测网络模块的训练。因为脑胶质瘤子结构分割任务是一项多分类学习，所以脑胶质瘤子结构分割网络模块的训练使用交叉熵损失来进行有监督学习。

多个任务损失以求和方式来构建总的目标损失，其中，每个损失所占的比例有所不同，不同的比例将对分割结果产生极大的影响。我们采用的比例是：整个脑胶质瘤分割：脑胶质瘤边缘预测：脑胶质瘤子结构分割＝1:0.1:1。这里每个网络模块在计算损失时使用的标签是不同的。整个肿瘤分割网络模块的标签是一张二值图像，像素为1的区域是肿瘤区，像素为0的区域是非肿瘤区。脑胶质瘤边缘预测的标签也是也是一张二值图像，像素为255的区域表示边缘，为0表示其他区域。肿瘤子结构分割网络模块的标签是5张图，每张图是一个二值图，其中，第一张图中，像素为1的区域是正常组织，像素为0的区域表示其他区域。第二张图中，像素为1的区域是水肿区，像素为0的区域表示其他区域。第三张图中，像素为1的区域是非增强区，像素为0的区域表示其他区域。第四张图中，像素为1的区域是增强区，像素为0的区域表示其他区域。

在经过训练的多模态MRI脑胶质瘤分割网络模型的测试阶段，将BRATS2015数据集的110个测试病例输入到网络进行分割，将分割的结果输出为mha的格式。将输出的数据上传到官方网站进行在线测试来对比不同方法分割结果的精度。还将测试集的分割结果进行着色来进行结果可视化，这样就可以直观地对不同分割方法的测试结果进行对比。如图3和图4所示，分别对高级别胶质瘤和低级别胶质瘤患者的某一切片的分割结果进行对比。通过对比可以发现本专利方法的分割结果分辨率高，噪声小，而且更符合胶质瘤病理生长的模式。

为了对所提出的方法进行定量的比较，我们计算了用不同分割方法得到的分割结果的Dice指标。其中，Dice指标越大，表明分割结果越接近于真实的结果。同时，我们比较了本发明提出的分割方法与目前流行的分割方法的参数量。比较结果如图5所示，Dice指标在3个区域上：完整区域(水肿区+增强区+非增强区+坏死区)，核区域(增强区+非增强区+坏死区)，增强区都比其他分割结果的Dice指标高。同时，本专利的方法是参数量最少的方法。

上面结合附图对本发明方案的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.基于深度学习和多引导的多模态MR影像脑肿瘤分割方法，其特征在于，具体步骤如下：

步骤1)构建用于多模态MRI脑胶质瘤分割模型的训练数据集；

步骤2)构建整体脑胶质瘤分割网络模块，通过该网络模块输出最终的整个脑胶质瘤的掩膜，以此作为引导信息来引导脑胶质瘤子结构分割网络模块的预测，具体操作如下：

将多模态MRI输入到该模块之后，先利用一个卷积层实现图像的特征提取，然后使用一个下采样卷积层得到一组低分辨率的特征图，接着，通过2个编码块对这组低分辨率的特征图进行语义特征提取，之后，通过3次解码块对包含语义信息的特征图进行上采样，每一次经过解码后的特征图与编码过程中同等分辨率下的特征图通过跳层连接级联在一起，再通过后面的解码模块对重组后的特征图进行融合和上采样，经过3次解码后得到2张特征图，最后，2张特征图通过掩膜映射模块得到最终的整个脑胶质瘤的掩膜；

步骤3)构建脑胶质瘤边缘预测网络模块，该网络模块包含编码支路和解码支路，每次解码模块输出的特征图用于引导脑胶质瘤子结构的分割，具体操作如下：

脑胶质瘤边缘预测网络模块的拓扑结构是以U-Net为基础进行构建的，脑胶质瘤边缘预测网络模块的输入是多模态MRI水平方向和垂直方向的梯度图，在编码支路，我们首先采用卷积单元对输入的梯度图进行特征提取，得到64张特征图，之后，经过了次下采样模块对64张特征图进行降分辨率和提取抽象的语义信息；

在解码支路，采用4次上采样模块对低分辨率特征图进行解码，其中，在上采样模块中，首先对特征图进行上采样重组，得到采样后的特征图，然后上采样模块将这些特征图与编码部分相同分辨率下的特征图通过跳层连接进行级联，最后，上采样模块将级联的特征图通过卷积单元进行融合，经过4次上采样模块后，得到与输入的特征图分辨率相同的64张特征图，最后，将解码后的特征图通过边缘映射模块得到最终的边缘预测图，在脑胶质瘤边缘预测模块中，每次解码块输出的特征图用于引导脑胶质瘤子结构的分割；

步骤4)构建脑胶质瘤子结构分割网络模块，在该网络模块中通过所提出的融合机制将来自整体脑胶质瘤分割网络模块的分割掩膜和脑胶质瘤边缘预测网络模块的边缘特征以及脑胶质瘤子结构分割模块的编解码支路特征进行有效的特征融合，脑胶质瘤子结构分割网络模块得到的分割结果为最终的分割结果，具体操作如下：

脑胶质瘤子结构分割网络模块的输入是4个模态的MRI，该网络模块包括了编码支路和解码支路，在编码支路，首先通过卷积单元提取MRI的浅层特征，得到64张特征图，然后，通过4次下采样单元对64张特征图进行下采样和特征提取，每经过一个下采样单元，得到的特征图分辨率会降为原来的四分之一，同时特征图所包含的语义信息更加抽象，经过4次降采样单元后得到64张低分辨率的特征图；

在解码支路，通过4次指导融合模块对特征图进行上采样的同时，融合其他两个模块的引导信息来得到64张原分辨率下的解码特征图，其中，指导融合模块将整个脑胶质瘤分割模块得到的掩膜与特征图点乘来实现对肿瘤区域特征的增强，然后，指导融合模块将增强的特征进行上采样重组得到较高分辨率的特征图，之后，指导融合模块将3种特征图：上采样后的特征图，编码支路中与该特征图相同分辨率的特征图和边缘预测模块的解码特征图进行级联。最后，指导融合模块将级联的特征图通过残差注意力融合模块进行融合，经过4次上采样模块后得到的64张原分辨率下的解码特征图与整个脑胶质瘤分割掩膜进行点乘对特征图的肿瘤区域进行增强，最后，将增强后的解码特征通过分割映射模块得到子结构分割结果。

2.根据权利要求1所述的基于深度学习和多引导的多模态MRI脑肿瘤分割方法，其特征在于：所述步骤1)中，MRI在输入到提出的网络之前需要对图像进行预处理，将亮度的分布归一化为标准正态分布，具体归一化表达式可以写为：

其中，X表示原始MRI，μ表示图像亮度的均值，σ表示图像亮度的方差，

为归一化后的MRI。

3.根据权利要求1所述的基于深度学习和多引导的多模态MRI脑肿瘤分割方法，其特征在于：步骤2)中下采样单元结构：步长为2的填充3×3卷积层+批标准化层+线性激活单元，编码块由2次填充的3×3卷积层+批标准化层+线性激活单元和1个池化组成，解码块由2个填充的3×3卷积操作+批标准化层+线性激活单元和1个上采样重组组成，掩膜映射模块由1×1卷积和Sigmoid激活函数构成。

4.根据权利要求1所述的基于深度学习和多引导的多模态MRI脑肿瘤分割方法，其特征在于：所述步骤3)中的卷积单元包括：填充的3×3卷积+批标准化+线性激活单元，下采样模块包括：步长为2的填充3×3卷积+批标准化+线性激活单元，缘映射包括：卷积单元+1×1卷积。

5.根据权利要求1所述的基于深度学习和多引导的多模态MRI脑肿瘤分割方法，其特征在于：所述步骤4中)下采样单元包括：步长为2的填充3×3卷积+批标准化+线性激活单元。

6.根据权利要求1所述的基于深度学习和多引导的多模态MRI脑肿瘤分割方法，其特征在于：所述步骤4中)残差注意力融合模块残差注意力融合模块使用空间和通道注意力来进行构建，将多种引导信息进行高效地融合，该融合模块先通过卷积单元得到一组特征，然后，该组特征分别提高空间注意力和通道注意力得到2组权重，该组特征与空间注意力权重点乘并与通道注意力权重求和得到增强后的一组特征，将得到的增强特征与输入特征求和来对输入特征的重要通道和空间位置进行增强。

Images