CN112837276A - 一种基于级联深度神经网络模型的脑胶质瘤分割方法 - Google Patents

Abstract

本发明涉及一种基于级联深度神经网络模型的脑胶质瘤分割方法，属于医学图像处理领域。该模型包括WT‑Net、TC‑Net和ET‑Net编码解码子模块，并且WT‑Net编码解码子模块与TC‑Net编码解码子模块级联，TC‑Net编码解码子模块与ET‑Net编码解码子模块级联；编码解码子模块皆包括编码部分、解码部分和跳层连接。本发明将复杂的多分类问题分解成三个二分类问题，级联模型解决了样本利用程度不高、训练样本不均衡以及特征提取过程中全局信息损失问题，实现了MRI图像脑胶质瘤自动分割，对医生诊断病情具有辅助作用。

Description

一种基于级联深度神经网络模型的脑胶质瘤分割方法

技术领域

本发明属于医学图像处理领域，涉及一种基于级联深度神经网络模型的脑胶质瘤分割方法。

背景技术

脑胶质瘤是最普遍的脑肿瘤，具有极高的致死率。根据胶质瘤的病理性评估，可以分为高级胶质瘤(High-grade Gliomas，HGG)和(Low-grade Gliomas，LGG)。HGG子区域包括水肿、坏死核心、增强区域以及非增强区域，且生长快速具有较高致死率，而LGG不包含增强区域，且生长缓慢对病人有更小的侵略性。

核磁共振图像(Magnetic Resonance Imaging,MRI)对软组织有较好成像效果，能够差异呈现不同脑胶质瘤区域。脑胶质瘤核磁共振图像通常使用多种模态，例如：T1-weighted(T1)， Contrast Enhanced T1-weighted(T1ce)，T2-weighted(T2)以及FluidAttenuation Inversion Recovery(FLAIR)。四种模态对不同肿瘤组织的敏感程度不同。FlAIR模态对瘤周水肿更为敏感，更利于完整肿瘤图像分割，而T2和T1ce对肿瘤核心和增强区域更为敏感。MRI图像的脑胶质瘤分割结果能够辅助医生诊断脑胶质瘤形态，对手术治疗有指导意义。虽然MRI能够对脑胶质瘤很好地成像，但是分割肿瘤图像仍然存在困难。由于平滑的图像强度梯度、部分容积效应和场偏移效应，相邻结构之间的边界往往不明确，且不同病人的肿瘤位置、形状、大小高度异质。目前，主要依赖于专家手动分割，分割结果容易出错、受分割者主观影响、花费时间长并且花费昂贵。因此，高效准确的脑肿瘤自动分割算法的研究尤为重要。

近几年，随着以卷积神经网络为代表的深度学习方法的提出，医学图像分析与处理领域的研究取得了突破性进展。深度学习通过搭建卷积神经网络，在模型参数的不断迭代更新的过程中，学习图像的深层次且具有代表性的抽象特征，构建模型供后续分割任务使用。卷积神经网络通常由卷积模块堆叠而成。卷积模块包括卷积层、激活层和池化层，其中卷积层通过卷积核在特征图上进行卷积操作，获取图像特征，然后由激活层对特征图做非线性变化，经过池化层获取多尺度特征。

基于深度学习的脑胶质瘤分割方法可以分为：基于图像块的方法和基于全连接网络的方法。图像块的方法通过提取领域像素的特征预测中心像素标签概率。图像块方法对每一个像素都进行一次单独的卷积网络计算，导致大量冗余计算且破坏全局特征。全卷积网络，关注图像全局特征，一次性在对所有像素点分类且同时保留原始图像的全局信息，与图像块方法相比，能够减少计算量，其改进模型U-Net在脑胶质瘤分割算法中应用广泛。基于U-Net模型，Kong等人使用金字塔思想加强多尺度特征的利用，Chen等人使用空间可分离卷积提取样本3D特征。这些方法虽然针对特征提取进行了改进，但忽略了不同任务对不同数据模态的差异需求。Lachinov等人提出了改进3D U-Net方法，在模型编码阶段采用模态分离学习方法高效处理输入的多模态MRI，提高模型对多模态图像的利用程度。Wang等人和Chen等人根据脑胶质瘤组织的层次结构，提出级联模型方法，以较大区域肿瘤组织作为子区域的预分割区域，约束子区域的分割范围。这种粗暴的预分割方法虽然能有效提高复杂子区域的分割效果，但要求预分割结果容错率低，且预分割结果形变会破坏图像结构。简言之，基于深度学习的脑胶质瘤分割方法面临训练样本不均衡的挑战，同时存在对训练样本利用程度不高、提取肿瘤区域过程中破坏全局信息的问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于级联深度神经网络模型的脑胶质瘤分割方法，分解成三个简单的二分类任务，提升了对多模态样本图像的利用程度；在不破坏全局信息的前提下，解决了由于增强肿瘤和肿瘤核心样本少产生的样本不平衡问题。

为达到上述目的，本发明提供如下技术方案：

一种基于级联深度神经网络模型的脑胶质瘤分割方法，该方法包括以下步骤：

S1、将数据集预处理并打乱，划分成训练集和测试集，对训练集进行数据增强；

S2、使用训练集数据训练级联深度神经网络模型；

S3、分批次投入所有训练样本切片，训练并优化网络参数；

S4、把测试集数据分批送入训练好的模型，对模型进行分割性能评估。

可选地，步骤S1具体为：

去除不包含脑组织区域的图片并进行切片，截取剩余切片中间尺寸为176×176的图像，去除图像四周背景区域，标准化同一个样例所有的切片，即将每个像素值减去图像矩阵均值再除以图像矩阵方差，降低不同模态像素强度差异对训练效果的影响，每一张切片进行随机小于20度的旋转、随机平移、随机弹性形变、以及随机垂直和水平翻转，上述所有操作的概率设置为0.5。

可选地，步骤S2具体为：

S21、取一批次训练样本切片，同时送入三个子模块编码部分，下采样卷积模块经过两次分组卷积独立提取四种模态的浅层特征得到多模态特征，然后经过池化操作，特征图大小减少一半，并送入下一层下采样卷积模块；

S22、经过步骤S21所述的下采样模块得到多模态特征图，同时使用模态增强机制，获取增强特征，同时以特征图相加的方式融合来自前一子模块同层上采样卷积模块特征图，成为跳层部分特征图；

S23、经过5层下采样卷积模块后，执行双线性插值算法，特征图大小扩大至两倍，然后送入上采用卷积模块，同时接受步骤S22所述的跳层部分特征图，经过上采样卷积模块提取高级语义特征；

S24、经过4层上采样卷积模块后，使用1×1卷积，得到1个输出特征图，经过softmax 激活函数获取分割结果，三个子模块得到三个任务的分割结果图。

可选地，步骤S3具体为：

每次训练随机选取16张切片数据，每轮训练学习完所有切片，共完成100轮，训练过程中，若最新迭代轮次的评估优于已存最优模型评估，则更新最优模型参数；使用Adam梯度下降方法优化参数，学习率为2×10E-4，β₁＝0.9，β₂＝0.999；学习率从随机指定的学习轮数开始衰减至最后一轮；三个SoftDice损失函数带权相加构成损失函数；具体公式如下所示：

Loss_{total_dice}＝λ₁Loss_wt+λ₂Loss_ct+λ₃Loss_et

其中取λ₁＝0.3，λ₂＝0.4，λ₃＝0.3；具体为：

其中，C表示子模块个数，c代表第c个子模块，N表示每次参与损失计算的特征值个数总数，ci表示相应子模块c下的第i个特征值；g是ground truth，指真实标签值，p是prediction，表示预测值。

可选地，步骤S4为对模型进行性能评估，具体过程为：

将测试集切片样本进行随机打乱，每一批次训练抽取16个样本切片放入模型得到模型评估结果，测试完所有测试集样本，取所有批次测试结果的平均值作为模型评估结果；

所用评估标准具体包括：Dice评估、Sensitivity评估、Sensitivity评估和双向豪斯多夫距离评估。

可选地，级联深度神经网络模型包括带模态增强机制的WT-Net、TC-Net和ET-Net编码解码子模块；

WT-Net编码解码子模块与TC-Net编码解码子模块级联；

TC-Net编码解码子模块与ET-Net编码解码子模块级联；

编码解码子模块皆包括编码部分、解码部分和跳层连接；

编码部分包括5个下采样卷积模块，且该下采样卷积模块之间用最大池化操作连接；

解码部分包括4个上采样卷积模块，且该上采样卷积模块之间采用双线性插值算法连接；

跳层连接包括内部跳层连接接和外部跳层连接接；

上采样卷积模块和所述下采样卷积模块之间采用内部跳层连接，该跳层连接通过模态增强机制提取模态增强特征，与外部跳层连接传递的特征相加；

外部跳层连接传递前一个模块的解码部分同层特征，与同层模态增强特征相加后，送入当前子模块的上采样模块，将浅层特征图与高级语义特征图进行拼接。

可选地，级联的方式为：WT-Net子模块与TC-Net子模块多层连接，TC-Net子模块与ET-Net子模块多层连接；

WT-Net子模块将解码部分特征传递至TC-Net子模块的同层跳层部分；

TC-Net子模块将解码部分特征传递至ET-Net子模块的同层跳层部分。

可选地，下采样卷积模块包含2个卷积层Conv、2个标准池化层BN和2个激活层ReLU；

卷积层是卷积核大小为3×3、分组数为4的分组卷积；

池化层卷积核大小为2×2，步长为2；

下采样模块使模块输入特征图个数加倍，大小减半。

可选地，上采样卷积模块包括3个卷积层，分别是2个卷积核为3×3的Conv和1个卷积核为1×1的Conv、3个标准池化层BN和3个激活层ReLU；

特征图，大小与同层下采样模块相同，个数为同层下采样模块的1/4。

可选地，模态增强机制通过多模态特征在不同模态特征图的同一位置取得最大值，即获取该位置响应最高的模态特征；公式如下：

其中，out(x,y,z,i)表示在第四维上维度值为i、位置为(x，y，z)的特征值，其中i为第i种模态，即i＝{0，1，2，3}。

本发明的有益效果在于：本发明提出一种基于级联深度神经网络模型的脑胶质瘤分割方法，利用全卷积深度神经网络实现端到端的多目标分割，通过跨模块多层特征传递方式，形成一个实现多任务的级联网络模型。在不破坏图像全局信息的情况下，前一子模块为后一子模块提供约束分割范围的辅助特征，弥补了在分割肿瘤核心区域和肿瘤增强区域时样本不均衡的缺点，在子模块中添加模态增强机制，使得子模块能够根据自身任务的特异性自适应选择响应程度高的模态进行学习，提升了模型对样本数据的信息利用程度。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为级联深度卷积神经网络结构图；

图2为子模块结构图；

图3为子模块的下采样卷积模块结构图；

图4为子模块的上采样卷积模块结构图；

图5为单任务实验可视化结果图；

图6为多任务实验可视化结果图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1～图6，为一种基于级联深度神经网络模型的脑胶质瘤分割方法。

S1、数据集准备。

下载BraTS2018数据集，数据集包括包含210例HGG病例和75例LGG病例.每一个病例包含4种模态(T1、T1ce、T2和FLAIR)和带有5个标签数据(1-坏死、2-水肿、3-非增强肿瘤、4-增强肿瘤以及0-背景区域)的图像切片。每一个病例包含155张切片,每张切片大小为240×240。混合HGG病例和LGG病例数据，取70％的样本(200例)作为训练样例，30％(85 例)作为测试样例。

预处理训练集和测试集：截取切片中间尺寸为176×176图像，去除图像四周背景区域，减少无效信息对分割的影响。标准化同一个样例所有切片，即将每个像素值减去图像矩阵均值再除以图像矩阵方差，降低不同模态像素强度差异对训练效果的影响。

对训练集进行数据增强：每一张切片进行小于20°的随机旋转、随机平移、随机弹性形变、以及随机垂直和水平翻转,概率设置为0.5。

S2、构建级联深度神经网络模型。

S21、搭建编码解码子模块。图2显示了本发明提到的子模块，分为编码部分，解码部分和模态增强部分。

编码部分由5个下采样卷积模块和4个最大池化操作组成。下采样卷积模块内部结构如图3所示，分为6层操作：1、4层为卷积核大小为3×3，分组数为4，padding为1，步长为 1的分组卷积；2、5层为Batch Normalization(BN)操作进行数据标准化；3、6层为ReLU 激活函数非线性化特征图。下采样卷积模块通过卷积操作使特征图个数加倍。完成卷积模块的操作后，使用大小为2×2，步长为2的最大池化操作把特征图大小减半，然后送入下一个下采样卷积模块(第5层下采样卷积模块输出特征图不接池化操作)。5个层编码层从上至下特征图大小：176×176、88×88、44×44、22×22、11×11；特征图个数为：32、64、128、 256、512。

5个模态增强部分操作相同。经过下采样模块卷积后的特征图为独立的4份三维模态特征图。取4个三维特征图的相同位置最大值作为增强特征，公式如下所示：

out(x,y,z,i)表示在第四维上维度值为i、位置为(x，y，z)的特征值，其中i视为第i种模态 (i＝{0，1，2，3})。模态增强部分特征图大小为：8×176×176、16×88×88、32×44×44、 64×22×22、128×11×11。

解码部分由4个双线性插值操作和4个上采样卷积模块组成。上采样卷积模块内部结构如图4所示，分为10层操作：1、4层为卷积核大小为3×3，步长为1，padding为1的卷积操作；8层为卷积核大小为1×1，步长为1的卷积操作，目的是减半特征图个数；2、5、9 为BatchNormalization操作进行数据标准化；3、6、10层为ReLU非线性化操作；7层为拼接操作，把模态增强特征与6层操作后的特征图在第三维度的进行拼接。特征图经过双线性插值双线性插值操作，特征图大小扩大至2倍，再送入下一个上采样卷积模块。最后一层上采样卷积模块输出的特征图，使用1×1卷积把特征图个数缩减至1，使用soft max函数，对特征图中每一个像素点进行类别判定，函数值大于0.5则判定为前景区域，小于0.5则判定为背景区域。

S22、对三个相同配置的编码解码子模块进行级联。

第二个子模块的上4层模态增强特征与第一个子模块的4个上采样卷积模块输出特征相融合，融合方式为特征图对应位置相加，如图2所示“跨模态特征”部分。跨模块特征大小从上至下分别为:8×176×176、16×88×88、32×44×44、64×22×22。第三个子模块以相同方式与第二个子模块相连。

S3、把训练样本数据送入级联模型，训练并优化模型参数。

训练集切片数为18600*4(4种模态)，去除不包括脑组织图像的切片并打乱。把训练集四种模态数据按每16个切片为一个批次划分。训练开始时，取一个批次样本，数量为16*4(4 种模态)，使用1×1卷积把每一张切片扩展成8个特征图，即：16*8*4张切片。将这组切片同时送入3个子模块的第一层下采样模块。经过子模块计算后，输出三个分类结果(WT-Net：完整肿瘤区域(1+2+3+4)，TC-Net：肿瘤核心区域(1+3+4)，ET-Net：(4))，然后与对应的真实标签计算损失，再使用BP算法更新模型参数。参数损失函数为：

Loss_{total_dice}＝λ₁Loss_wt+λ₂Loss_ct+λ_sLoss_et

其中取λ1＝0.3，λ2＝0.4，λ3＝0.3。具体为：

其中，C表示子模块个数，c代表第c个子模块，N表示每次参与损失计算的特征值个数总数，ci表示相应子模块c下的第i个特征值。

将所有批次的训练样本依次送入模型，为一轮模型训练，共完成一百轮。训练过程中，若最新迭代轮次的评估优于已存最优模型评估，则更新最优模型参数。参数更新过程中，使用Adam梯度下降方法优化参数，学习率为2×10-4，β1＝0.9，β2＝0.999。学习率从随机指定的学习轮数开始衰减至最后一轮。

S4、使用训练集对模型进行评估。

去除测试集中无脑组织图像的切片，把剩下所有切片打乱，依次按照每批次16张切片，进行预处理后，放入三个子模块编码部分，经过编码解码操作后，输出三个对应任务的二分类分割结果，同时将分割结果和真实标签比对计算评估值。评估标准包括：

Dice系数计算方法：

其中，A表示分割结果，B表示真实标签。

Sensitivity系数计算方法：

Specificity系数计算方法：

其中，A表示分割结果，B表示真实标签，TP表示正确预测的正例像素数量，FN表示错误预测的负例数量，TN表示预测正确的负例，FP表示错误预测的正例数量。

双向豪斯多夫距离：

其中P表示预测正例像素集合的边界，T表示真实正例像素集合边界。公式逐一计算P 集合中像素点到T中每一个像素点的最近距离，同样逐一计算T集合中像素点到P中每一个像素点的最近距离，取所有距离的最大值。

S5、下面通过结合实验数据和实验结果附图进一步说明本发明有益效果。

实验分为两部分：以U-Net作为基础模型，对比验证我们方法的有效性。首先，改进U-Net 并加上模态增强机制，实现基于多模态MRI脑图像的单任务分割，分析数据模态对不同任务实验结果的影响；其次在多模态数据输入的基础上，进行基于级联模型的多任务分割实验，我们进行了4层级联与单层级联对比实验，验证4层级联模型的有效性模态增强机制单任务实验分析。

S51、通过3个单任务方法，对比分析模态增强机制的有效性：(1)U-Net、(2)多模态数据输入U-Net、(3)带模态增强机制U-Net。方法(1)为标准2D U-Net模型且每一个分割任务指定输入模态：WT—FLAIR、TC—T2、TC—T1ce；方法(2)的输入数据使用四种模态(FLAIR、T2、T1ce和T1)；方法(3)使用四种模态数据，且同时使用模态增强机制。我们从分割样例中选择了3张病人切片观察，可视化结果如图5所示。第1行为FLAIR模态样本切片，第2行为专家手工标记的真实标签(Ground Truth，GT)，第3-5行分别为实验(1)、(2)和(3)的可视化结果。可视化结果图中，最外层浅灰区域为水肿区域，白色区域为增强肿瘤区域，中间深灰为肿瘤坏死和非增强区域。

图5的可视化结果中，对比实验(1)、(2)和(3)结果图，实验(1)在肿瘤区域分类上存在较大误差，使用多模态数据的实验(2)(3)对像素分类更为准确。实验(3)结果显示，带模态增强机制的U-Net将ET区域(黄)从TC区域中分割出来的更为理想。

从下表可以得到：多模态的输入(2)和(3)与单模态输入(1)相比Dice评估提升较大(WT分割和TC分割提升10％，ET分割提升24％)。实验证明增加数据输入模态使得子模型不局限于单一模态的样本数据，能够提升模型评估值。其中使用模态增强机制学习的U-Net(3)比(2) 在肿瘤增强分割上的效果提升效果明显(比TC任务提升多5％)。方法(3)的Hausdorrf评估在3 个评估中表现都为最优，说明方法(3)能够更加准确的定位肿瘤区域。方法(3)的Sensitivity评估原高于(1)和(2)，说明方法(3)对非肿瘤区域更加敏感。

表1单任务不同方法的分割结论

S52、通过3个级联模型多任务方法，对比分析多层级联方法的有效性：(4)多层级联多模态输入方法、(5)带模态增强机制单层级联方法、(6)带模态增强机制多层级联方法。方法(4) 基于方法(2)将子模块进行多层级联，级联方式为前一子模块解码层与后一子模块同层的跳层连接，实现跨模块多层特征融合。方法(5)基于方法(3)将子模块进行单路级联，即仅将前一任务解码部分的最后一层特征送入后续任务编码部分第一层。方法(6)基于方法(3)实现模块多层级联，级联方式与方法(4)相同。

方法(5)的分割结果与其他方法差距较大，不能明显的分类出肿瘤区域和正常组织区域，且肿瘤子区域分割效果差。因此仅将前一任务的输出作为一任务的输入，这种粗糙的特征补充模式不能提高模型性能。方法(4)和方法(6)在可视化结果上差别不大，但是对ET分割的细节上更接近于真实标签。虽然带模态增强机制的级联网络在所有方法中能够取得最好的效果，但是模型依然欠缺对于极小区域的检测能力。

从下表中，我们可以得到方法(6)在Dice评估、Hausdorrf评估和Sensitivity评估上，都取得最优表现，Dice评估在WT、TC和ET分割任务上分别达到：0.91、0.83和0.82。方法(6)ET 任务Dice评估比方法(5)高9％，在TC任务中高4％。再次验证简单的单层特征传递不能有效提升分割性能。

表2多任务不同方法的分割结论

经过上述实验验证，本发明公开的一种基于级联深度神经网络的脑胶质瘤分割模型和分割方法结果有益。通过跨模块多层特征传递方式，形成一个实现多任务的级联网络模型。在不破坏图像全局信息的情况下，前一子模块为后一子模块提供约束分割范围的辅助特征，弥补了在分割肿瘤核心区域和肿瘤增强区域时样本不均衡的缺点。在子模块中添加模态增强机制，使得子模块能够根据自身任务的特异性自适应选择响应程度高的模态进行学习，提升了模型对样本数据的信息利用程度。本文在BraTS2018数据集上验证了该模型的性能，在WT、 TC和ET三个任务Dice评估值：0.9183、0.8337和0.8284。实验证明本文方法在脑胶质瘤分割的3个任务上都取得不错的结果，其中ET任务表现优于当前大多数方法。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于级联深度神经网络模型的脑胶质瘤分割方法，其特征在于：所述方法包括以下步骤：

S1、将数据集预处理并打乱，划分成训练集和测试集，对训练集进行数据增强；

S2、使用训练集数据训练级联深度神经网络模型；

S3、分批次投入所有训练样本切片，训练并优化网络参数；

S4、把测试集数据分批送入训练好的模型，对模型进行分割性能评估。

2.根据权利要求1所述一种基于级联深度神经网络模型的脑胶质瘤分割方法，其特征在于：所述步骤S1具体为：

去除不包含脑组织区域的图片并进行切片，截取剩余切片中间尺寸为176×176的图像，去除图像四周背景区域，标准化同一个样例所有的切片，即将每个像素值减去图像矩阵均值再除以图像矩阵方差，降低不同模态像素强度差异对训练效果的影响，每一张切片进行随机小于20度的旋转、随机平移、随机弹性形变、以及随机垂直和水平翻转，上述所有操作的概率设置为0.5。

3.根据权利要求1所述一种基于级联深度神经网络模型的脑胶质瘤分割方法，其特征在于：所述步骤S2具体为：

S21、取一批次训练样本切片，同时送入三个子模块编码部分，下采样卷积模块经过两次分组卷积独立提取四种模态的浅层特征得到多模态特征，然后经过池化操作，特征图大小减少一半，并送入下一层下采样卷积模块；

S22、经过步骤S21所述的下采样模块得到多模态特征图，同时使用模态增强机制，获取增强特征，同时以特征图相加的方式融合来自前一子模块同层上采样卷积模块特征图，成为跳层部分特征图；

S23、经过5层下采样卷积模块后，执行双线性插值算法，特征图大小扩大至两倍，然后送入上采用卷积模块，同时接受步骤S22所述的跳层部分特征图，经过上采样卷积模块提取高级语义特征；

S24、经过4层上采样卷积模块后，使用1×1卷积，得到1个输出特征图，经过softmax激活函数获取分割结果，三个子模块得到三个任务的分割结果图。

4.根据权利要求1所述一种基于级联深度神经网络模型的脑胶质瘤分割方法，其特征在于：所述步骤S3具体为：

每次训练随机选取16张切片数据，每轮训练学习完所有切片，共完成100轮，训练过程中，若最新迭代轮次的评估优于已存最优模型评估，则更新最优模型参数；使用Adam梯度下降方法优化参数，学习率为2×10E-4，β₁＝0.9，β₂＝0.999；学习率从随机指定的学习轮数开始衰减至最后一轮；三个Soft Dice损失函数带权相加构成损失函数；具体公式如下所示：

Loss_{total_dice}＝λ₁Loss_wt+λ₂Loss_ct+λ_sLoss_et

其中取λ₁＝0.3，λ₂＝0.4，λ₃＝0.3；具体为：

其中，C表示子模块个数，c代表第c个子模块，N表示每次参与损失计算的特征值个数总数，ci表示相应子模块c下的第i个特征值；g是ground truth，指真实标签值，p是prediction，表示预测值。

5.根据权利要求1所述一种基于级联深度神经网络模型的脑胶质瘤分割方法，其特征在于：所述步骤S4为对模型进行性能评估，具体过程为：

将测试集切片样本进行随机打乱，每一批次训练抽取16个样本切片放入模型得到模型评估结果，测试完所有测试集样本，取所有批次测试结果的平均值作为模型评估结果；

所用评估标准具体包括：Dice评估、Sensitivity评估、Sensitivity评估和双向豪斯多夫距离评估。

6.基于权利要求1～5任一项所述方法的级联深度神经网络模型，其特征在于：所述级联深度神经网络模型包括带模态增强机制的WT-Net、TC-Net和ET-Net编码解码子模块；

所述WT-Net编码解码子模块与TC-Net编码解码子模块级联；

所述TC-Net编码解码子模块与ET-Net编码解码子模块级联；

所述编码解码子模块皆包括编码部分、解码部分和跳层连接；

所述编码部分包括5个下采样卷积模块，且该下采样卷积模块之间用最大池化操作连接；

所述解码部分包括4个上采样卷积模块，且该上采样卷积模块之间采用双线性插值算法连接；

所述跳层连接包括内部跳层连接接和外部跳层连接接；

所述上采样卷积模块和所述下采样卷积模块之间采用内部跳层连接，该跳层连接通过模态增强机制提取模态增强特征，与外部跳层连接传递的特征相加；

所述外部跳层连接传递前一个模块的解码部分同层特征，与同层模态增强特征相加后，送入当前子模块的上采样模块，将浅层特征图与高级语义特征图进行拼接。

7.根据权利要求6所述的一种基于级联深度神经网络的脑胶质瘤分割装置，其特征在于：所述级联的方式为：WT-Net子模块与TC-Net子模块多层连接，TC-Net子模块与ET-Net子模块多层连接；

WT-Net子模块将解码部分特征传递至TC-Net子模块的同层跳层部分；

TC-Net子模块将解码部分特征传递至ET-Net子模块的同层跳层部分。

8.根据权利要求6所述的一种基于级联深度神经网络的脑胶质瘤分割装置，其特征在于：所述下采样卷积模块包含2个卷积层Conv、2个标准池化层BN和2个激活层ReLU；

所述卷积层是卷积核大小为3×3、分组数为4的分组卷积；

所述池化层卷积核大小为2×2，步长为2；

所述下采样模块使模块输入特征图个数加倍，大小减半。

9.根据权利要求6所述的一种基于级联深度神经网络的脑胶质瘤分割装置，其特征在于：所述上采样卷积模块包括3个卷积层，分别是2个卷积核为3×3的Conv和1个卷积核为1×1的Conv、3个标准池化层BN和3个激活层ReLU；

所述特征图，大小与同层下采样模块相同，个数为同层下采样模块的1/4。

10.根据权利要求6所述的一种基于级联深度神经网络的脑胶质瘤分割装置，其特征在于：所述模态增强机制通过多模态特征在不同模态特征图的同一位置取得最大值，即获取该位置响应最高的模态特征；公式如下：

其中，out(x,y,z,i)表示在第四维上维度值为i、位置为(x，y，z)的特征值，其中i为第i种模态，即i＝{0，1，2，3}。

Images