CN115809998A - 基于E2C-Transformer网络的胶质瘤MRI数据分割方法 - Google Patents

Abstract

本发明公开了基于E²C‑Transformer网络的胶质瘤MRI数据分割方法，包括采集脑部的四种模态MRI图像，然后进行标准化处理并按四种模态合并为四通道3D图像数据再进行裁剪，然后输入到E²C‑Transformer网络中进行预测，得到肿瘤分割结果；E²C‑Transformer网络包括具有跳跃连接的对称U形编码器‑解码器结构，编码器包括4组交替叠加Conformer和下采样模块，底部为8个连续卷积层，解码器包括3组交替叠加上采样层和Conformer，最后经过一个卷积和softmax函数。本发明实现了多模态MR图像中胶质瘤区域的自动分割，增强了捕获胶质瘤局部特征和全局表示的能力。

Description

基于E2C-Transformer网络的胶质瘤MRI数据分割方法

技术领域

本发明涉及数字医学影像处理与分析技术领域，具体是基于E²C-Transformer网络的胶质瘤MRI数据分割方法。

背景技术

脑肿瘤，又称颅内肿瘤，是一种异常组织肿块，其中细胞无法控制地生长和繁殖。大约33％的脑肿瘤是胶质瘤，它主要来源于围绕和支持脑神经元的胶质细胞，会影响大脑功能，甚至危及生命。因此，早期发现和诊断是脑胶质瘤治疗的关键。通常，放射科医生使用MRI生成的多模式图像来识别软组织中的不同肿瘤区域。胶质瘤可以通过多种MRI模式检测，如T2加权液体衰减反转恢复(FLAIR)、T1加权(T1)、T1-加权增强(T1ce)和T2-加权(T2)。不同的成像方式可以提供不同的肿瘤图像。在获得胶质瘤的多模态体积数据后，需要逐像素分割每个切片，直到将3D脑体积分割成有意义的区域。

为了获得有关脑肿瘤的信息，放射科医生需要结合解剖学和生理学知识手动分割MRI图像。然而，放射科医生对脑肿瘤的手动分割在像素级别上很困难。胶质瘤组织学亚区的异质性，如瘤周水肿、坏死细胞核和肿瘤细胞核增强，尤其是它们与正常组织的边界模糊，使得手动分割非常困难。因此，放射科医生手动分割胶质瘤MRI图像，Dice得分在74％到85％之间。此外，与使用图形处理单元(GPU)完成分割任务需要几秒钟的自动方法相比，手动分割非常耗时。放射科医生通常需要花费3-5个小时从MRI图像中手动提取特征并进行标记。考虑到患者数量和肿瘤组织形状、位置和结构的多样性，很明显，全自动分割方法具有更重要的临床意义和实用价值。AlexNet模型是第一个用于大型数据集的CNN架构，创新性地使用ReLu作为激活函数，并有效抑制反向传播期间的消失梯度。全卷积神经网络(FCN)的出现进一步提高了卷积神经网(CNN)在现代医学图像分割中的性能。FCN用卷积层取代了末端的完全连接层，从而实现了图像的像素级分类，解决了语义级图像分割问题。U-Net使用多尺度策略和卷积反褶积架构来提高FCN的性能，其编码器-解码器反褶析目前广泛用于图像分割邻域。然而，要实现准确可靠的脑肿瘤自动分割，自动分割方法仍面临一些挑战：(1)肿瘤形状、结构和位置的高度异质性，极大地限制了胶质瘤MRI数据自动分割的精度。因此，理想的分割模型需要捕捉胶质瘤的局部(纹理、边缘等)和全局特征(形状、位置、结构等)。但是，现有大多数CNN模型基于卷积运算并提取局部特征，难以捕获胶质瘤的一般表示形式。(2)胶质瘤MRI数据存在严重的类别不平衡，肿瘤区域仅占非常小的比例，这使得模型更加关注背景区域，并使其难以捕捉肿瘤特征。此外，除了前景和背景数据的不平衡外，每个肿瘤子区域在整个肿瘤中的比例也有显著差异，子区域之间的类别不平衡使得模型很难预测比例非常小的类别。

发明内容

本发明要解决的技术问题是提供基于E²C-Transformer网络的胶质瘤MRI数据分割方法，用以多模态MR图像中胶质瘤区域的自动分割。

为了解决上述技术问题，本发明提供基于E²C-Transformer网络的胶质瘤MRI数据分割方法，包括：采集脑部的四种模态MRI图像，将四种模态MRI图像进行标准化处理，将标准化处理后的图像按四种模态合并为四通道3D图像数据并进行裁剪，然后输入到E²C-Transformer网络中进行预测，得到坏死性和非强化肿瘤、瘤周水肿和强化肿瘤三种不同区域的分割结果；

所述E²C-Transformer网络包括具有跳跃连接的对称U形编码器-解码器结构，输入的特征图经过初始卷积层，然后经过4组交替叠加Conformer和下采样模块的编码器，网络的底部为8个连续卷积层，再经过3组交替叠加上采样层和Conformer的解码器，最后经过一个1*1的卷积以及softmax函数。

作为本发明的基于E²C-Transformer网络的胶质瘤MRI数据分割方法的改进：

所述Conformer包括CNN分支、Transformer分支和功能耦合单元FCU，功能耦合单元FCU位于CNN分支、Transformer分支之间；在功能耦合单元FCU中，位于CNN分支的特征序列流向Transformer分支的路径，下采样模块采用跨步卷积，并使用可学习一维位置嵌入来编码位置信息，并通过直接加法将位置信息与特征图融合。

作为本发明的基于E²C-Transformer网络的胶质瘤MRI数据分割方法的进一步改进：

所述E²C-Transformer网络中的下采样模块均采用跨步卷积。

作为本发明的基于E²C-Transformer网络的胶质瘤MRI数据分割方法的进一步改进：

所述CNN分支由两个重复的集成卷积模块组成，每个集成卷积模块由向下投影卷积层、空间卷积层、向上投影卷积层以及输入、输出之间的残差连接组成；所述Transformer分支包括依次连接的LayerNorm、多头自注意力模块、LayerNorm和多层感知器模块，并在将第一个LayerNorm的输入和多头自注意力模块的输出之间采用残差连接，第二个LayerNorm的输入和多层感知器模块之间采用残差连接；并将来自CNN分支的特征图下采样嵌入。

作为本发明的基于E²C-Transformer网络的胶质瘤MRI数据分割方法的进一步改进：

所述E²C-Transformer网络的训练和测试过程为：设置训练的参数，包括批大小、初始学习率、权重衰减率和训练轮次，将训练集输入E²C-Transformer网络，使用损失函数来计算模型预测值和真实值的差异，并将L2范数应用于模型正则化，达到预定训练轮次后获得训练好的E²C-Transformer网络；然后将测试集输入训练好的E²C-Transformer网络，获得的预测结果再经过后处理，并统计Dice相似系数、灵敏度、特异性和Hausdorff距离作为评测指标，获得可在线使用的所述E²C-Transformer网络。

作为本发明的基于E²C-Transformer网络的胶质瘤MRI数据分割方法的进一步改进：

所述后处理包括依次进行测试时间增强和体积约束的处理；测试时间增强为将3D图像的x、y、z轴分别对应图像的宽度、长度、深度，执行7个不同方向的翻转，分别是：(x)，(y)，(z)，(x,y)，(x,z)，(y,z)，(x,y,z)，再恢复不同推理结果对应的旋转角度，并将平均值作为最终输出；体积约束为当增强肿瘤的参考分割为空时，BraTS评估会显示0个假阳性预测，Dice得分为1。

作为本发明的基于E²C-Transformer网络的胶质瘤MRI数据分割方法的进一步改进：

所述训练集和测试集的每个样本均包括四种模态和一张对应的标签图像，每种模态的图像均进行标准化处理；

然后对训练集中的每个标准化处理后的图像均依次进行以下数据增强处理：

(1)将图像大小随机裁剪到128×128×128；

(2)在轴向、冠状面和矢状面上翻转的概率为0.5的随机镜面翻转；

(3)在[0.1,0.1]之间，标度在[0.9,1.1]之间随机强度偏移；

数据增强处理后的数据集作为模型训练的输入；

对于测试集中的每个标准化处理后的图像按四种模态合并为四通道3D图像数据并进行裁剪，并对每个测试样本的标签执行一次热编码，作为模型测试的输入。

作为本发明的基于E²C-Transformer网络的胶质瘤MRI数据分割方法的进一步改进：

所述损失函数为：

其中，

其中，g_it∈{0,1}表示像素i到类别t的地面真值标记，N表示图像中的像素总数，p_it∈{0,1}表示属于t类像素i的输出概率，W_t表示类别t的权重，ε＝1e-5。

本发明与现有技术相比，具有如下技术优势：

1、本发明提出的E²C-Transformer网络将U-Net网络中的卷积替换为Conformer结构，Conformer结构结合了CNN和Transformer的优点，最大程度地保留了局部特征和全局表示，功能耦合单元FCU消除CNN特征图和变换特征图之间的形状差距，以交互方式将卷积局部特征与基于变换器的全局表示融合；

2、本发明采用广义Dice损失作为模型的损失函数，为了缓解类别不平衡问题，根据背景、坏死性和非增强型肿瘤(NCR/NET)、肿瘤核心(TC)和增强型肿瘤(ET)发生概率分配相应的损失权重，使得模型更加关注背景区域；

3、本发明的Conformer结构中使用可学习位置嵌入来编码位置信息并在功能耦合单元中使用跨步卷积代替平均池操作，以增强捕获胶质瘤局部特征和全局表示的能力。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1是本发明的基于E²C-Transformer网络的胶质瘤MRI数据分割方法的流程示意图；

图2是图1中的E²C-Transformer网络的结构示意图；

图3是图2中的Conformer的网络结构的示意图；

图4是胶质瘤经E²C-Transformer网络的分割结果进行后处理的结果之一的示例图，分别包含T1(T1加权成像)、T1ce(T1增强成像)、T2(T2加权成像)和Flair(液体衰减反转成像)四种模态；

图5是胶质瘤MRI经E²C-Transformer网络的分割结果进行测试时间增强(TTA)处理后的结果示意图；

图6是胶质瘤MRI经E²C-Transformer网络的分割结果经体积约束(VC)处理后的结果示意图。

图7是基线模型架构(baseline)、编码路径配置(E)、解码路径配置(D)、完全嵌入模式(E+D)四个网络模型在三个肿瘤亚区(ET、WT和TC)上的Disc的散点图和箱线图(a)以及Hausdorff95距离的的散点图和箱线图(b)；

图8是本发明分别在BraTS2019、BraTS2020、ZZH数据集上统计得到的Dice和Hausdorff95距离的散点图和箱线图；

图9是本发明在ZZH数据集上的次优分割结果的示例；

图10是本发明在ZZH数据集上的分割结果之一的示例。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例1、基于E²C-Transformer网络的胶质瘤MRI数据分割方法，如图1所示，训练阶段，将数据集中的MRI图像经过数据预处理，对每个图像的大脑区域体素值进行标准化，以增强肿瘤区域和非肿瘤区域之间的对比度，将数据集打标签。通过交替叠加Conformer并向下采样模块，以在不同分辨率级别上组合局部特征和全局表示来构建E²C-Transformer网络，其中Conformer由CNN分支、Transformer分支和FCU分支三部分组成。再引入Dice得分作为模型的损失函数，通过损耗计算和参数更新训练构建的E²C-Transformer网络。推理阶段，将图片体积尺寸压缩到16×16×16，再将原始图像从左到右、从上到下裁剪为8个大小为128×128×128的推理块，导入学习模型进行测试，并使用测试时间增强(TTA)和体积约束(VC)进行后处理，后处理所得结果为最终的MRI分割结果。具体过程如下：

步骤1、建立测试数据集

步骤1.1、数据集来源及标准化处理

本实施例采用的多模态MRI图像来自于BraTS2020比赛开源数据集，由脑肿瘤分割挑战提供，包括369个训练样本的训练集以及125个验证样本的测试集，每个样本均包括T1(T1加权成像)、T1ce(T1增强成像)、T2(T2加权成像)和Flair(液体衰减反转成像)四种模态和一张对应的标签图像，标签包括4类：背景(标签0)、坏死性和非增强型肿瘤(标签1)、瘤周水肿(标签2)和增强型肿瘤(标签3)。

不同的模式产生不同的对比度，导致特征值的不同分布，最终可能导致训练冲击或拟合速度慢的问题。因此需要对BraTS 2020数据集中每种模态的所有切片图像均进行标准化处理，将每个图像的大脑区域体素值减去平均值并除以标准偏差，同时将非大脑区域的体素值设置为零，对每个图像的大脑区域体素值进行标准化。标准化后肿瘤区域和非肿瘤区域之间的对比度显著增强。其中，标准化公式如下：

其中，

表示标准化图像；X表示大脑区域的体素值；

表示大脑区域体素值的平均强度值；σ表示大脑区域的标准偏差。

步骤1.2、训练集和测试集的预处理

步骤1.2.1、训练集中的每个样本均需进行数据增强处理，这可以在一定程度上增强模型的泛化能力。数据增强处理包括依次进行以下三个步骤的处理：

(1)从240×240×155随机裁剪数据到128×128×128；

(2)随机镜面在轴向、冠状面和矢状面上翻转的概率为0.5；

(3)随机强度偏移在[0.1,0.1]之间，标度在[0.9,1.1]之间。

数据增强处理后的数据集作为模型训练的输入。

步骤1.2.2、测试集的预处理，包括首先将测试集中的样本按四种模态合并为四组大小为240×240×155的模式序列，以获得大小为240×240×155的四通道3D图像数据。每个测试示例都有一个大小为240×240×155的相应标签，对标签数据执行一次热编码，并将标签形状从240×240×155转换为240×240×155×4。如果对应于体素的通道0为非零，则像素属于背景区域。同样，通道1的非零值属于坏死和非增强肿瘤区域，通道2的非零值属于瘤周水肿区域，通道3的非零值属于增强肿瘤区域。最后，基于硬件和计算的考虑，将测试集的每个样本图像的大小裁剪为128×128×128。

预处理后的测试集作为模型测试的输入。

步骤2、构建并训练E²C-Transformer网络

步骤2.1、构建网络

E²C-Transformer网络结构，如图2所示，采用类似于U-Net网络的具有跳跃连接的U形编码器-解码器结构，以在不同分辨率级别上组合局部特征和全局表示。为防止过拟合，在网络的开始设置了初始卷积层，通过反褶积逐步恢复分辨率，网络中的所有卷积层都配备了一个批量归一化层和一个ReLU激活层。输入的128×128×128的特征图维度为16，首先经过初始卷积层，输出图像形状128×128×128，维度不变；然后采用4组交替叠加Conformer和向下采样模块作为编码器，在该过程中，图像形状由128×128×128分别变为64×64×64、32×32×32、16×16×16、16×16×16，维度分别变为32、64、128、128。网络的底部设计了8个连续卷积层，以进一步增强特征提取，此时图像形状仍为16×16×16，维度为128。然后是3组交替叠加上采样层和Conformer作为解码器，在该过程中，图像形状由16×16×16分别变为32×32×32、64×64×64、128×128×128，维度分别变为32、64、128；最后经过一个1*1的卷积以及softmax函数获得128×128×128的预测结果。

本发明的E²C-Transformer网络的核心结构是Conformer，如图3所示，由CNN分支、Transformer分支和功能耦合单元FCU组成。功能耦合单元FCU为CNN分支、Transformer分支之间的交互搭建桥梁，用以融合这两种风格的特征，不断将Transformer分支的全局上下文输入到特征图中，以增强CNN分支的全局感知能力。在Conformer结构中，CNN分支和Transformer分支通过功能耦合单元FCU完成不同特征流的传输。

为了完成空间维度对齐，需要对CNN分支的特征图进行下采样。为了减少信息的丢失，本发明的E²C-Transformer网络中的下采样模块均采用跨步卷积。跨步卷积可以实现多次下采样，并通过调整步长进一步提取特征。跨步卷积的网络结构从上到下分为4个分辨率级别(128、64、32、16)。不同分辨率级别的下采样模块设置了不同的步长，从上到下分别为8、4、2、1，使得Transformer分支中的补丁嵌入空间的大小保持在4096，从而保持计算量。

CNN分支作为一个整体由两个重复的集成卷积模块组成，每个集成卷积模块由1×1×1向下投影卷积层、3×3空间卷积层、1×1向上投影卷积层以及模块输入和输出之间的残差连接组成。在CNN分支中，卷积核在邻域图上滑动，以128×128×128的大小提取连续的局部特征，从而在很大程度上保留精细的局部特征。因此，CNN分支机构可以持续提供Transformer分支的本地详细信息。

Transformer分支包括依次连接的LayerNorm、多头自注意力模块(Mulit-headSelf-attention)、LayerNorm和多层感知器(MLP)模块，并在将第一个LayerNorm的输入和多头自注意力模块的输出之间采用残差连接，第二个LayerNorm的输入和多层感知器模块之间采用残差连接；为了综合考虑特征图的计算限制和分辨率，将来自CNN分支的特征图下采样为16×16×16的大小嵌入。

功能耦合单元FCU消除CNN分支中的特征图和Transformer分支中的补丁嵌入之间的形状间隙，以交互方式将局部特征与全局表示连续耦合。在CNN分支的特征序列流向Transformer分支之前，使用标准的可学习一维位置嵌入来编码位置信息，并通过直接加法将其与特征图融合。

步骤2.2、网络训练

构建好E²C-Transformer网络后，利用训练集，通过计算损耗和参数更新来训练该E²C-Transformer网络，具体工作流程如下：

步骤2.2.1、损失函数

在脑肿瘤分割任务中，肿瘤和非肿瘤组织之间以及肿瘤的不同亚区之间存在极端的数据不平衡，并且随着数据不平衡程度的增加，基于重叠度量的损失函数比加权交叉熵更稳健，因此，本发明使用Dice系数来关注不同的区域，公式写为：

其中，g_it∈{0,1}表示像素i到类别t的地面真值标记，N表示图像中的像素总数，相似地，p_it∈{0,1}表示属于t类像素i的输出概率，W_t表示类别t的权重。此外，ε＝1e-5的设置是为了避免被0除的数值问题，以确保损失函数的稳定性。

本发明引入GDL(广义Dice损失)作为模型的损失函数，为了缓解类别不平衡问题，根据其发生概率分配相应的损失权重，这也是构建的网络的优势之一。将背景、坏死性和非增强型肿瘤(NCR/NET)、肿瘤核心(TC)和增强型肿瘤(ET)的权重分别设置为0.1、1、2和2。GDL的公式写为：

通过权重分配，调整了类别的贡献，在一定程度上减少了类的不平衡问题，从而更好地完成模型的训练。脑肿瘤区域与背景区域相比，所占比例很小，这使得模型更加关注背景区域，捕获肿瘤特征具有挑战性。本发明提出的多类Dice损失函数，很好地解决了类的不平衡问题。

步骤2.2.2、网络训练

本发明提出的E²C-Transformer在Pytorch上实施。运行时平台处理器是Intel(R)Xeon(R)Silver 4210CPU@2.20GHz，128GB RAM和Linux上的Nvidia Titan RTX GPU。批大小设置为2，并使用Adam优化器训练模型。模型训练总共遍历数据集1000次。此外，采用多学习速率策略将初始学习速率设置为0.0002，并通过每次迭代以0.9的幂衰减初始学习速率。

使用GDL作为损失函数对网络进行训练，并将L2范数应用于权重衰减率为1e-5的模型正则化。经过上述的训练过程得到训练好的E²C-Transformer网络。

步骤3、运用训练好的E²C-Transformer网络进行推理

将测试集输入步骤2获得的训练好的E²C-Transformer网络，获得的预测结果再经过后处理(Post-precessing)，最终得到坏死性和非增强型肿瘤(NCR/NET)、瘤周水肿(ED)和增强型肿瘤(ET)三种不同区域的分割结果。采用Dice相似系数(Dice)、灵敏度(Sen)、特异性(Spec)和Hausdorff距离(Haus95)作为测试阶段的评估指标。

后处理(Post-precessing)过程包括测试时间增强(TTA)和体积约束(VC)。对于每个推理块(E²C-Transformer网络输出获得的预测结果)，将3D图像的x、y、z轴分别对应图像的width(宽度)、height(长度)、depth(深度)，执行7个不同方向的翻转，分别是：(x)，(y)，(z)，(x,y)，(x,z)，(y,z)，(x,y,z)，若是(x)则表示在width方向翻转，(y)表示在height方向的翻转，(z)表示在depth方向的翻转；若是(x,y)则表示先在width方向翻转再在height方向翻转，(x,z)(y,z)同上；(x,y,z)则表示现在width方向翻转，再在height方向翻转，最后在depth方向翻转。再恢复不同推理结果对应的旋转角度，并将平均值作为最终输出，图5是实施例中胶质瘤MRI数据分割结果经测试时间增强(TTA)处理，即执行7个不同的翻转后的结果。

对于VC，即：当增强肿瘤的参考分割为空时，BraTS评估会显示0个假阳性预测，Dice得分为1。图6是实施例中胶质瘤MRI数据分割结果经VC处理后的结果。

通过上述方法对胶质瘤MRI进行后处理后的结果之一的示例如图4所示，分别包含输入的T1(T1加权成像)、T1ce(T1增强成像)、T2(T2加权成像)和Flair(液体衰减反转成像)四种模态，以及输出的预测结果Pred和对应的3D结果。

4、在线使用

在实际生产过程中，采集脑肿瘤病人的四种模态的MRI图像，包括T1(T1加权成像)、T1ce(T1增强成像)、T2(T2加权成像)和Flair(液体衰减反转成像)，将四种模态的MRI图像按照步骤1.1均进行标准化处理，将标准化处理后的图像进行预处理，预处理为按四种模态合并为四通道3D图像数据，并将大小裁剪为128×128×128，然后再将预处理后的图像输入到步骤3测试验证好的E²C-Transformer网络中进行预测，得到坏死性和非强化肿瘤(NCR/NET)、瘤周水肿(ED)和强化肿瘤(ET)三种不同区域的分割结果。

实验：

以BraTS2019数据集、BraTS2020数据集以及ZZH数据集的作为实验数据，ZZH数据集由郑州大学第一附属医院收集，由530名患者的多模态MRI图像数据组成，格式与BraTS2020数据集相同，并由郑州大学第一附属医院的两名放射科医生手动标记了每个样本的标签。此外，由于ZZH数据集中的一些患者没有增强型肿瘤(ET)区域，在面对这些情况时，如果模型将少量肿瘤核心(TC)区域像素误分类为增强型肿瘤(ET)，则这种情况下增强型肿瘤(ET)的Dice得分为0，这会显著影响模型对增强型肿瘤(ET)的准确性。为了缓解这一问题，我们对在推断阶段获得的分割中小于预定义阈值的增强型肿瘤(ET)簇施加VC(体积约束)(附：如果属于样本的增强型肿瘤(ET)区域的体素数量小于500，则增强型肿瘤(ET)区域中的所有体素被转换为肿瘤核心(TC))。

实验采用Dice相似系数(Dice)、灵敏度(Sen)、特异性(Spec)和Hausdorff距离(Haus95)来评估模型的分割性能。根据胶质瘤的解剖外观和结构，评估了模型分割以下三个肿瘤亚区的性能：整个肿瘤(WT，即坏死和非增强型肿瘤、瘤周水肿和增强型肿瘤)、肿瘤核心(TC，即坏死与非增强型肿瘤和增强型肿瘤)和增强型肿瘤(ET，即增强型肿瘤)。对于每个肿瘤子区域，获得二进制掩码P和地面真值注释T，以计算以下评估指标：

其中，P₁和P₀分别表示预测图像中的1个体素集合和0个体素集；T₁和T₀分别表示掩码中的1个体素集和0个体素集合；||表示集合的基数。多类分割任务的输出概率图和掩码首先被转换为对应子区域的二进制掩码，然后评估性能。Dice、Sen和Spec基于掩模和预测肿瘤的重叠测量值。此外，Haus95通过计算边界距离来评估分段脑肿瘤的形状相似性：

评估系统计算的是Hausdorff距离的95％分位数，而不是最大表面距离。如果计算最大表面距离，体积的小异常值可能会对整个边界距离的评估产生更大的影响。95％最大距离是评估脑肿瘤形状相似性的更稳健的测量方法。

实验包括消融实验和对比实验二个部分。消融实验分为以下三个方面：

(1)Conformer结构的消融实验

采用无Conformer的基线模型架构(baseline)、编码路径配置(E)、解码路径配置(D)、完全嵌入模式(E+D)四个网络模型进行Conformer结构的消融实验，其中，基线模型架构表示没有Conformer的标准编码器-解码器CNN网络，E表示仅仅在基线模型架构的编码路径中包含Conformer结构的配置，D表示仅仅在基线模型架构的解码路径中包含Conformer结构的配置。在BraTS2020验证集上，四个网络模型在三个肿瘤亚区(ET、WT和TC)上的的胶质瘤分割性能的比较结果如表1所示。

基线模型架构(baseline)、编码路径配置(E)、解码路径配置(D)、完全嵌入模式(E+D)四个网络模型在三个肿瘤亚区(ET、WT和TC)上的Disc结果的散点图和箱线图如附图7(a)所示，四个网络模型在三个肿瘤亚区(ET、WT和TC)上的Hausdorff95距离的的散点图和箱线图如附图7(b)所示，图7显示了不同模型架构的定性结果，这表明完全嵌入模式(E+D)实现了最佳分割性能。

表1：Conformer结构的消融实验的定性结果比较

(2)采用跨卷积作为下采样模块的消融实验

在BraTS2020验证集上，Conformer结构中的引入可学习位置嵌入并采用跨步卷积作为FCU分支的下采样模块的消融实验结果如表2所示，Pool表示在基于本发明的E²C-Transformer网络中，Conformer结构中的FCU分支的下采样模块为平均池；Sconv表示在基于本发明的E²C-Transformer网络中，Conformer结构中的FCU分支的下采样模块为跨步卷积；PE表示采用可学习位置嵌入，Sconv+PE即为本发明的E²C-Transformer网络。

表2：Conformer结构中引入可学习位置嵌入和跨步卷积的结果

由表2可以看到，Pool模型的整个肿瘤(WT)、肿瘤核心(TC)和增强型肿瘤(ET)的平均Dice为(0.780+0.889+0.820)/3＝0.830，Sconv模型的整个肿瘤(WT)、肿瘤核心(TC)和增强型肿瘤(ET)的平均Disc为(0.781+0.892+0.830+0.781)/3＝0.834，与Pool模型的平均Dice相比提高了0.4％，而本发明的E²C-Transformer网络的整个肿瘤(WT)、肿瘤核心(TC)和增强型肿瘤(ET)的平均Dice为(0.783+0.897+0.835)/3＝0.838，比Sconv模型的平均Dice相比又提高了0.4％。由此可以看出在本发明的E²C-Transformer网络中，Conformer结构的功能耦合单元中引入可学习位置嵌入并采用跨步卷积作为下采样模块，这两种操作提高了胶质瘤分割性能。

(3)后处理策略的消融实验

将本发明的E²C-Transformer网络输出的预测结果按不进行后处理(None)、仅进行TTA处理(TTA)和进行TTA、VC的后处理(TTA+VC，即本发明)进行消融实验，在BraTS2020验证集上的后处理的消融实验结果如表3所示，TTA表示测试时间增强，VC表示体积约束。由表3可知，TTA和VC后处理策略的组合可以在不增加计算复杂度的情况下实现最佳分割性能。

表3：后处理的消融实验的定性结果比较

对比实验包括以下二个部分：

(1)不同数据集上的对比实验：

在上述3个系统消融研究之后，将本发明的E²C-Transformer网络分别在BraTS2020、BraTS2019和ZZH数据集进行训练和评估，表4中记录了在三个不同数据集的验证集上使用本发明的E²C-Transformer网络所获得的分割精度。

表4：BraTS2019、BraTS2020和ZZH验证集的定性结果比较

图8是运用BraTS2019、BraTS2020、ZZH数据集分别经过E²C-Transformer网络的分割结果再经过后处理的结果所统计得到的Dice和Hausdorff95距离的散点图和箱线图。从图8中可以看出，BraTS数据集上的三个子区域的分割结果是相似的，其中WT具有最高的精度和较少的异常值。ET和TC中的异常值数量高于WT，导致这两个子区域的精度比WT低得多。其中，ET包含一些零精度点，这表明一些示例很难与ET区分，这也是ET分割精度低的主要原因。不过，本发明通常对大多数样本具有较强的预测能力，只是ZZH数据集在ET和TC两个子区域的注释质量并不很好。

(2)不同分割方法在ZZH数据集上的对比实验

为了证明本发明即使在数据质量不理想的临床数据集上与现有分割网络相比也具有优势，将本发明和3D-Unet^【1】、Vnet^【2】、TransBTS^【3】三种不同方法在ZZH数据集上的分割性能进行比较，结果如表5所示，其中Params表示模型参数量，即模型的大小，GFLOPs是衡量GPU性能参数的指标，用于衡量计算机的计算能力；如图9所示为本发明在ZZH数据集上的次优分割结果，如图10所示为本发明在ZZH数据集上的分割结果之一的示例，直观地反映模型的分割效果，表明本发明可以有效地分割多模态MR图像中的胶质瘤。

表5：本发明和3D-Unet、Vnet^】、TransBTS在ZZH数据集上的分割性能的比较结果

上文中涉及的参考文献如下：

【1】

Abdulkaidr，A.，S.Lienkamp，S.，Brox，T.，Ronneberger，O.,2016.3DU-Net:Learning Dense Volumetric Segmentation from Sparse Annotation.arXivpreprint arXiv:1606.06650.

【2】Milletari，F.，Navab，N.，Ahmadi，S.，2016.V-Net:Fully ConvolutionalNeural Networks for Volumetric Medical Image Segmentation.arXiv preprintarXiv:1606.04797.

【3】Wang,W.,Chen,C.,Ding,M.,Li,J.,Zha,S.,2021.TransBTS:MultimodalBrain Tumor Segmentation Using Transformer.arXiv preprint arXiv:2103.04430.

最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (8)

1.基于E²C-Transformer网络的胶质瘤MRI数据分割方法，其特征在于:

采集脑部的四种模态MRI图像，将四种模态MRI图像进行标准化处理，将标准化处理后的图像按四种模态合并为四通道3D图像数据并进行裁剪，然后输入到E²C-Transformer网络中进行预测，得到坏死性和非强化肿瘤、瘤周水肿和强化肿瘤三种不同区域的分割结果；

所述E²C-Transformer网络包括具有跳跃连接的对称U形编码器-解码器结构，输入的特征图经过初始卷积层，然后经过4组交替叠加Conformer和下采样模块的编码器，网络的底部为8个连续卷积层，再经过3组交替叠加上采样层和Conformer的解码器，最后经过一个1*1的卷积以及softmax函数。

2.根据权利要求1所述的基于E²C-Transformer网络的胶质瘤MRI数据分割方法，其特征在于：

所述Conformer包括CNN分支、Transformer分支和功能耦合单元FCU，功能耦合单元FCU位于CNN分支、Transformer分支之间；在功能耦合单元FCU中，位于CNN分支的特征序列流向Transformer分支的路径，下采样模块采用跨步卷积，并使用可学习一维位置嵌入来编码位置信息，并通过直接加法将位置信息与特征图融合。

3.根据权利要求2所述的基于E²C-Transformer网络的胶质瘤MRI数据分割方法，其特征在于：

所述E²C-Transformer网络中的下采样模块均采用跨步卷积。

4.根据权利要求3所述的基于E²C-Transformer网络的胶质瘤MRI数据分割方法，其特征在于：

所述CNN分支由两个重复的集成卷积模块组成，每个集成卷积模块由向下投影卷积层、空间卷积层、向上投影卷积层以及输入、输出之间的残差连接组成；所述Transformer分支包括依次连接的LayerNorm、多头自注意力模块、LayerNorm和多层感知器模块，并在将第一个LayerNorm的输入和多头自注意力模块的输出之间采用残差连接，第二个LayerNorm的输入和多层感知器模块之间采用残差连接；并将来自CNN分支的特征图下采样嵌入。

5.根据权利要求4所述的基于E²C-Transformer网络的胶质瘤MRI数据分割方法，其特征在于：

所述E²C-Transformer网络的训练和测试过程为：设置训练的参数，包括批大小、初始学习率、权重衰减率和训练轮次，将训练集输入E²C-Transformer网络，使用损失函数来计算模型预测值和真实值的差异，并将L2范数应用于模型正则化，达到预定训练轮次后获得训练好的E²C-Transformer网络；然后将测试集输入训练好的E²C-Transformer网络，获得的预测结果再经过后处理，并统计Dice相似系数、灵敏度、特异性和Hausdorff距离作为评测指标，获得可在线使用的所述E²C-Transformer网络。

6.根据权利要求5所述的基于E²C-Transformer网络的胶质瘤MRI数据分割方法，其特征在于：

所述后处理包括依次进行测试时间增强和体积约束的处理；测试时间增强为将3D图像的x、y、z轴分别对应图像的宽度、长度、深度，执行7个不同方向的翻转，分别是：(x)，(y)，(z)，(x,y)，(x,z)，(y,z)，(x,y,z)，再恢复不同推理结果对应的旋转角度，并将平均值作为最终输出；体积约束为当增强肿瘤的参考分割为空时，BraTS评估会显示0个假阳性预测，Dice得分为1。

7.根据权利要求6所述的基于E²C-Transformer网络的胶质瘤MRI数据分割方法，其特征在于：

所述训练集和测试集的每个样本均包括四种模态和一张对应的标签图像，每种模态的图像均进行标准化处理；

然后对训练集中的每个标准化处理后的图像均依次进行以下数据增强处理：

(1)将图像大小随机裁剪到128×128×128；

(2)在轴向、冠状面和矢状面上翻转的概率为0.5的随机镜面翻转；

(3)在[0.1,0.1]之间，标度在[0.9,1.1]之间随机强度偏移；

数据增强处理后的数据集作为模型训练的输入；

对于测试集中的每个标准化处理后的图像按四种模态合并为四通道3D图像数据并进行裁剪，并对每个测试样本的标签执行一次热编码，作为模型测试的输入。

8.根据权利要求7所述的基于E²C-Transformer网络的胶质瘤MRI数据分割方法，其特征在于：

所述损失函数为：

其中，

其中，g_it∈{0,1}表示像素i到类别t的地面真值标记，N表示图像中的像素总数，p_it∈{0,1}表示属于t类像素i的输出概率，W_t表示类别t的权重，ε＝1e-5。

Images