CN114821052A - 基于自调节策略的三维脑肿瘤核磁共振图像分割方法 - Google Patents

Abstract

本发明提出了一种基于自调节策略的三维脑肿瘤核磁共振图像分割方法，实现步骤为：(1)获取训练样本集和测试样本集；(2)构建自调节策略的脑肿瘤核磁共振图像分割网络模型G；(3)定义网络模型G的损失函数L_SR；(4)对网络模型G进行迭代训练；(5)获取分割结果。本发明所构建的脑肿瘤图像分割方法，利用像素级分割网络提取浅层特征指导更深层网络的训练，促使深层网络获取更多肿瘤内部区域的细节信息；利用图像级分类网络获得的深层特征指导浅层网络的训练，以保留更多肿瘤核心区域的语义信息，并且分割和分类网络提取的特征互相监督，同时不引入额外的监督数据，进一步提高肿瘤核心区域的分割精度。

Description

基于自调节策略的三维脑肿瘤核磁共振图像分割方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于自调节策略的三维脑肿瘤核磁共振图像分割方法，可适用于医学图像的计算机辅助检测。

背景技术

图像分割是根据一定的相似性准则将图像划分为不同区域并提取出感兴趣目标的技术。传统的图像分割方法主要有阈值法、边界检测法、区域法等，都是利用图像的低级语义，包括图像像素的颜色、纹理和形状等信息，遇到复杂场景分割效果不佳。图像的高级语义分割，旨在识别每个区域块的类别，得到一副具有逐像素语义标注的分割图像。脑肿瘤图像语义分割算法的目标是从磁共振成像(Magnetic Resonance Imaging,MRI)影像中自动分割出不同类别的肿瘤区域。受脑肿瘤的特点和MRI成像原理的限制，脑肿瘤分割任务存在着诸多挑战，包括位置不确定性、形状不确定性、边界模糊、标注偏差和数据不平衡。

深度学习方法已经在脑肿瘤分割任务中广泛使用并显著提升了肿瘤区域的整体分割效果。基于深度学习的3D脑肿瘤MRI图像分割方法主要从设计有效的架构模型、利用多模态信息和处理数据不平衡问题来展开研究。在脑肿瘤影像数据处理中，数据不平衡问题尤为突出，主要表现在1)不同区域的体素数据不同，尤其是肿瘤核心区域远小于其他区域。2)高级胶质瘤(high-grade glioma,HGG)案例数远多于低级胶质瘤(low-grade glioma,LGG)案例数。3)数据集由专家人工标注，不同专家之间存在标注偏差。综上，如何解决数据不平衡问题成为最具挑战的研究方向。

Liu等人于2021年在IEEE Transactions on Medical Imaging期刊第40卷第7期的论文“CANet:Context Aware Network for Brain Glioma Segmentation”中公开了一种基于上下文感知网络的脑肿瘤MRI图像分割方法，该方法结合深度卷积和图卷积提取混合上下文感知特征，并引入了可训练的条件随机场学习最优的特征融合方式，但该方法不能有效处理数据不平衡问题，数据量最少的增强肿瘤区域提升有限。

Wang等人于2021年在Medical Image Computing and Computer AssistedIntervention会议上发表的论文“TransBTS:Multimodal Brain Tumor SegmentationUsing Transformer”中公开了一种基于视觉Transformer的脑肿瘤图像分割方法，该方法首次将视觉Transformer作为编解码结构之间的自注意力模块引入脑肿瘤图像分割任务，但其架构比较简单，仅在最深层使用了一个Transformer模块，模块与其他不同分辨率的编解码器之间没有连接，并且Transformer模块的加入大大增加了训练和推理的计算量。

上述方法仅设计有效的网络模块，没有考虑数据不平衡问题。数据不平衡会使得深度神经网络倾向于学习主导类别的特征，如学习恶性的HGG而忽视良性的LGG或学习水肿区域而忽视体积较小的肿瘤核心区域，从而导致肿瘤核心区域分割精度低。此外，肿瘤核心区域还具有边界模糊或区域不连续的特性，这也是其分割精度低的原因。因此，设计有效的架构模型解决数据不平衡问题，进而提高肿瘤核心区域分割精度非常重要。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于自调节策略的三维脑肿瘤核磁共振图像分割方法，旨在利用像素级分割网络提取浅层特征指导更深层网络的训练，促使深层网络获取更多肿瘤内部区域的细节信息，利用图像级分类网络获得的深层特征指导浅层网络的训练，以保留更多肿瘤核心区域的语义信息，并且分割和分类网络提取的特征互相监督，同时不引入额外的监督数据，进一步提高肿瘤核心区域的分割精度。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取训练样本集和测试样本集：

从脑肿瘤核磁共振图像分割数据集中随机选取维度为W×H×D×Q的L幅三维脑肿瘤核磁共振图像I^l和每幅图像的像素级分割掩膜S^l组成数据集T_a＝{(I^l,S^l)|1≤l≤L}，并对每幅三维脑肿瘤核磁共振图像I^l进行预处理，然后在预处理后的数据集T_a中，随机选择M幅图像I^m和对应的像素级分割掩膜S^m组成训练样本集T_r＝{(I^m,S^m)|1≤m≤M}，将其余的N幅图像Iⁿ和对应的像素级分割掩膜Sⁿ组成测试样本集T_e＝{(Iⁿ,Sⁿ)|1≤n≤N}，其中，L≥300，W、H、D分别表示三维脑肿瘤核磁共振图像的宽度、高度和深度，Q为数据模态数，即通道数，W≥100,H≥100，D≥100，Q＝4，

M+N＝L；

(2)构建基于自调节策略的脑肿瘤核磁共振图像分割网络模型G，包含编码器E，解码器D和预测模块Y；网络结构以经典的3D U-Net为主干网络，通过编码器逐级下采样并扩展通道数以提取高级语义特征；通过解码器逐级上采样恢复空间尺寸，并通过跳跃连接恢复特征图的结构细节；

(2a)编码器E对图像进行多尺度特征提取，包含顺次连接的K级下采样编码器子网络{E_k|1≤k≤K}，K≥2，E_k由顺次连接的3D卷积层、实例归一化层、激活函数层和池化下采样层构成；解码器D对图像进行多尺度特征恢复，包含顺次连接的K+1级上采样编码器子网络{D_k'|1≤k'≤K+1}，D_k'由顺次连接的3D卷积层、实例归一化层、激活函数层和上采样层构成，其中第k级E_k在经过3D卷积层、实例归一化层、激活函数层后的输出与第k'＝K+1-k级D_k'的输出进行通道间跳跃连接；

(2b)每一级D_k'经过3D卷积层、实例归一化层和激活函数层的输出都与一个预测子模块Y_k'连接，Y_k'首先通过3D卷积层得到像素类别概率{F_seg_k'|1≤k'≤K+1}，再通过全局池化和全连接层得到分类概率{v_cls_k'|1≤k'≤K+1}；

(2c)取最后一级的像素类别概率F_seg_K+1，通过argmax计算类别标签，得到分割结果图；

(3)定义基于自调节策略的三维脑肿瘤核磁共振图像分割模型G的损失函数L_SR：

L_SR＝L_seg+λ₁L_cls+λ₂L_{SR_F}+λ₃L_{SR_V}

(3a)分割损失函数L_seg

分割损失函数L_seg包括交叉熵损失函数L_{ce_seg}和Dice损失函数L_{dice_seg}：

其中S_k′表示由分割标签S进行下采样得到的与F_seg_k'同样尺寸的k'级分割图，P_k'表示F_seg_k'的三维空间，

表示S_k'中的第j个体素，

表示F_seg_k'中的第j个体素，softmax(·)表示softmax激活函数；

将多级输出的分割损失相加，得到总分割损失：

其中λ_{deep_i}表示深监督中对不同级输出的损失赋予不同权重，将多级输出的分割损失相加，得到总分割损失L_seg；

(3b)分割自调节损失函数L_{SR_F}

其中最高级像素类别概率F_seg_K+1进行argmax操作，再转化为one-hot编码形式，得到转化后的特征图one-hot(argmax(F_seg_K+1))，低级像素类别概率{F_seg_k'|1≤k'≤K}和one-hot(argmax(F_seg_K+1))计算交叉熵损失函数，该计算过程的分割损失函数都来自于网络本身的预测结果，被称作分割自调节损失函数；

(3c)分类损失函数L_cls

多类分类任务用于判断每一类肿瘤区域是否存在，以此作为辅助任务监督网络的训练过程，将分割标签S进行全局池化操作得到全局分类标签Pool(S)，与{v_cls_k'|1≤k'≤K+1}计算分类损失，计算L_cls采用多类别二值交叉熵损失函数L_{bce_cls}：

其中C表示总类别数，S^q表示第q类分割标签，Pool(S^q)表示将第q类分割标签进行全局池化操作，得到第q类全局分类标签，v_cls^q表示第q类的分类概率，σ(·)表示sigmoid函数；将不同类别的分类损失相加，得到多类别二值交叉熵损失函数L_{bce_cls}；

再将多级输出的分类损失相加，得到总的分类损失L_cls；

(3d)分类自调节损失函数L_SR-V

其中最低级分类概率

通过sigmoid函数得到

高级分类概率

和

计算分类损失函数，该计算过程的分类损失函数都来自于网络本身的预测结果，被称作分类自调节损失函数；

(3e)整体损失函数L_SR

整体损失函数L_SR包括多级分类损失函数、分割损失和分割、分类自调节损失，用几个超参数λ平衡不同损失的权重，L_SR表示为：

L_SR＝L_seg+λ₁L_cls+λ₂L_{SR_F}+λ₃L_{SR_V}

(4)对基于自调节策略的三维脑肿瘤核磁共振图像分割网络模型G进行迭代训练：

(4a)初始化迭代次数为r，最大迭代次数为R，当前脑肿瘤分割网络模型为G_r，G_r的权值参数为θ_r，并令r＝1，G_r＝G；

(4b)从预处理后的训练样本集T_r中无放回地随机选取B个训练样本作为网络模型G_r的输入，经过编码器E，得到K个下采样特征图{F_k ^E,1≤k≤K}；将{F_k ^E,1≤k≤K}以及编码器E的输出,通过解码器D和预测模块Y后，分别得到K+1级像素类别概率{F_seg_k'|1≤k'≤K+1}以及K+1级分类概率{v_cls_k'|1≤k'≤K+1}；其中B≥1；

(4c)将{F_seg_k'|1≤k'≤K+1}和{v_cls_k'|1≤k'≤K+1}代入L_SR，计算每个训练样本的分割损失L_seg、分割自调节损失L_{SR_F}、分类损失函数L_cls、分类自调节损失L_{SR_V}，求和作为损失值d_r，然后通过d_r计算对G_r的权值参数θ_r的偏导数g_r；再采用随机梯度下降法，通过偏导数g_r对G_r的权值参数θ_r进行更新，得到本次迭代的网络模型G_r；

(4d)判断r＝R是否成立，若是，得到训练好的基于自调节策略的脑肿瘤核磁共振图像分割网络模型G^*，否则令r＝r+1，G_r＝G，并执行步骤(4b)；

(5)获取脑肿瘤分割结果：

将预处理后的测试样本集T_e作为网络模型G_r的输入进行前向推理并后处理，得到每个测试样本的分割结果，最终得到一副具有逐像素类别概率的语义标注分割图像。

本发明与现有技术相比较，具有以下优点：

1.本发明所定义的基于自调节策略的三维脑肿瘤核磁共振图像分割模型的损失函数，包含分割自调节损失，在对网络模型进行训练的过程中，克服了现有技术只在一个分辨率下引入损失函数对模型进行训练，对结构信息利用不充分的缺点，使用网络自身的浅层输出特征监督深层特征的训练，以获取更多肿瘤内部结构的细节信息，提高了脑肿瘤的分割精度。

2.本发明所定义的基于自调节策略的三维脑肿瘤核磁共振图像分割模型的损失函数，包含分类自调节损失，在对网络模型进行训练的过程中，克服了现有技术中数据不平衡导致的网络倾向于学习大类别的特征，忽视体积较小的两种肿瘤核心区域的缺点，网络自身的深层输出分类概率监督浅层分类概率的训练，以保留更多高级语义信息，提高了脑肿瘤的分割效果，有实际的应用价值。

附图说明

图1为本发明的实现流程图。

图2为本发明构建的基于自调节策略的脑肿瘤核磁共振图像分割模型的结构示意图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步详细描述，需要说明的是，根据现有技术中的医学知识和本发明公开的内容所获得的信息只属于中间结果，不属于专利法第25条第1款第3项规定的情形。

参照图1，本发明包括如下步骤：

步骤1)获取训练样本集和测试样本集：

从脑肿瘤核磁共振图像分割数据集中随机选取的维度为W×H×D×Q的L幅三维脑肿瘤核磁共振图像I^l和每幅图像的像素级分割掩膜S^l组成数据集T_a＝{(I^l,S^l)|1≤l≤L}，并对每幅三维脑肿瘤核磁共振图像I^l进行预处理：对训练样本级和测试样本集中的每幅图像和对应的分割掩膜(I^l,S^l),首先将图像I^l的像素值按整体均值方差归一化；然后在掩膜S^l中找到肿瘤区域的最小包围框，记录包围框的坐标a^l，并以该包围框为边界同时裁剪图像和掩膜，得到预处理后的图像和分割掩膜

从而得到预处理后的数据集T_a，在T_a中随机选择M幅图像I^m和对应的像素级分割掩膜S^m组成训练样本集T_r＝{(I^m,S^m)|1≤m≤M}，将其余的N幅图像Iⁿ和对应的像素级分割掩膜Sⁿ组成测试样本集T_e＝{(Iⁿ,Sⁿ)|1≤n≤N}，其中，L≥300，W、H、D分别表示三维脑肿瘤核磁共振图像的宽度、高度和深度，Q为数据模态数，即通道数，W≥100,H≥100，D≥100，Q＝4，

M+N＝L；

本实例中，采用Brain Tumor Segmentation 2019(BraTS2019)脑肿瘤分割数据集，数据集的公开部分被划分为训练集和验证集，其中训练集包含335名患者的三维MRI扫描数据和分割标注，验证集包含125名患者的数据，分割标注不公开。W＝128,H＝128，D＝128，Q＝4，M＝335，N＝125，L＝460；

步骤2)构建基于自调节策略的脑肿瘤核磁共振图像分割网络模型G，其结构如图2所示：

(2a)构建编码器E对图像进行多尺度特征提取，E包含顺次连接的K级下采样编码器子网络{E_k|1≤k≤K}，一共有4级，即K＝4；其中每一级由顺次连接的两组3D卷积层、实例归一化层和激活函数层以及池化下采样层构成；其中，每一级E_k中的两个3D卷积层的卷积核大小均为3×3×3，步长为1，周围填充为1，最大池化尺寸为2×2×2，卷积核数量从第1级到第4级分别为64、128、256和512，激活函数层使用RELU激活函数；

解码器D对图像进行多尺度特征恢复，D包含顺次连接的K+1级上采样编码器子网络{D_k'|1≤k'≤K+1}，D_k'一共有5级，其中每一级由顺次连接的两组3D卷积层、实例归一化层和激活函数层以及上采样层构成；每一级D_k'中的两个3D卷积层的卷积核大小均为3×3×3，步长为1，周围填充为1，上采样放大尺寸为2×2×2，上采样方式为三线性过滤，卷积核数量从第1级到第5级分别为1024、512、256、128和64，激活函数层使用RELU激活函数；

第k级E_k在经过两组3D卷积层、实例归一化层和激活函数层后的输出与第k'＝K+1-k级D_k'的输出进行通道间跳跃连接；

每一级D_k'经过两组3D卷积层、实例归一化层和激活函数层的输出都与一个预测子模块Y_k'连接，一共有5级预测模块，其中每一级都包括一个3D卷积层，其卷积核大小为1×1×1，步长为1，卷积核数量为4，1×1×1卷积层处理与全连接层处理等价，卷积后得到各级像素类别概率{F_seg_k'|1≤k'≤K+1}；经过卷积核后的输出继续输入到一个全局池化层，将各通道的特征图尺寸变为1×1×1；最后通过全连接层得到各通道的分类概率{v_cls_k'|1≤k'≤K+1}；全连接层的长度为4；

(2b)定义基于自调节策略的三维脑肿瘤核磁共振图像分割网络模型G的损失函数L_SR：

L_SR＝L_seg+λ₁L_cls+λ₂L_{SR_F}+λ₃L_{SR_V}

其中λ₁,λ₂,λ₃表示加权系数，L_seg表示多级输出的分割损失函数，L_cls表示多级输出的分类损失函数，L_{SR_F}表示分割自调节损失函数，L_{SR_V}表示分类自调节损失函数；

(2b1)分割损失函数L_seg包括交叉熵损失函数L_{ce_seg}和Dice损失函数L_{dice_seg}：

其中S_k′表示由分割标签S进行下采样得到的与F_seg_k'同样尺寸的k'级分割图，P_k'表示F_seg_k'的三维空间，

表示S_k'中的第j个体素，

表示F_seg_k'中的第j个体素，softmax(·)表示softmax激活函数；

将多级输出的分割损失相加，得到总分割损失：

其中λ_{deep_i}表示深监督中对不同级输出的损失赋予不同权重，将多级输出的分割损失相加，得到总分割损失L_seg；

本章的网络中K＝4，最多下采样至原图尺寸的1/16；

(2b2)分割自调节损失函数L_{SR_F}

其中最高级像素类别概率F_seg_K+1进行argmax操作，再转化为one-hot编码形式，得到转化后的特征图one-hot(argmax(F_seg_K+1))，低级像素类别概率{F_seg_k'|1≤k'≤K}和one-hot(argmax(F_seg_K+1))计算交叉熵损失函数，该计算过程的分割损失函数都来自于网络本身的预测结果，被称为分割自调节损失函数；

(2b3)分类损失函数L_cls

多类分类任务用于判断每一类肿瘤区域是否存在，以此作为辅助任务监督网络的训练过程，将分割标签S进行全局池化操作得到全局分类标签Pool(S)，与{v_cls_k'|1≤k'≤K+1}计算分类损失，计算L_cls采用多类别二值交叉熵损失函数L_{bce_cls}：

其中C表示总类别数，S^q表示第q类分割标签，Pool(S^q)表示将第q类分割标签进行全局池化操作，以得到第q类全局分类标签，v_cls^q表示第q类的分类概率，σ(·)表示sigmoid函数；将不同类别的分类损失相加，得到多类别二值交叉熵损失函数L_{bce_cls}；

再将多级输出的分类损失相加，得到总的分类损失L_cls；

(2b4)分类自调节损失函数L_SR-V

其中最低级分类概率

通过sigmoid函数，得到

高级分类概率{v_cls_k'|2≤k'≤K+1}和

计算分类损失函数，该计算过程的分类损失函数都来自于网络本身的预测结果，称作分类自调节损失函数；

本实例中，分类损失函数L_cls权重λ₁、分割自调节损失函数L_{SR_F}权重λ₂和分类自调节损失函数L_{SR_V}权重λ₃分别设置为0.05、0.35和0.25；

步骤3)对基于自调节策略的三维脑肿瘤核磁共振图像分割网络模型G进行迭代训练：

(3a)初始化迭代次数为r，最大迭代次数为R，R＝20000，网络模型G_r的权值参数为θ_r，并令r＝1，G_r＝G；

从预处理后的训练样本集T_r中无放回地随机选取B个训练样本作为网络模型G_r的输入，经过编码器E，得到K个下采样特征图{F_k ^E,1≤k≤K}；将{F_k ^E,1≤k≤K}以及编码器E的输出通过解码器D以及预测模块Y后，分别得到K+1级像素类别概率{F_seg_k'|1≤k'≤K+1}以及K+1级分类概率{v_cls_k'|1≤k'≤K+1}；其中B≥1；

本实例中，B＝4；

(3b)在训练中对两类自调节损失的权重采取预热的动态调节策略，权重随着训练进行，从0开始线性增加到预设值，之后保持不变。

(3c)将{F_seg_k'|1≤k'≤K+1}和{v_cls_k'|1≤k'≤K+1}代入L_SR，计算每个训练样本的分割损失L_seg、分割自调节损失L_{SR_F}、分类损失函数L_cls和分类自调节损失L_{SR_V}，并求和作为损失值d_r，然后通过d_r计算对G_r的权值参数θ_r的偏导数g_r；再采用随机梯度下降法，通过偏导数g_r对G_r的权值参数θ_r进行更新，得到本次迭代的网络模型G_r；

本实例中，对当前分割模型G_r的权值参数θ_r进行更新的公式为：

其中

表示分割模型G_r更新后的权值参数，α_r表示第r次迭代的学习率；

(3d)判断r＝R是否成立，若是，得到训练好的基于自调节策略的三维脑肿瘤核磁共振图像分割网络模型G^*，否则令r＝r+1，G_r＝G，并执行步骤(3b)；

步骤4)获取脑肿瘤图像分割结果：

将预处理后的测试样本集T_e作为网络模型G_r的输入进行前向推理并后处理：对测试样本图像Iⁿ得到的分割结果Fⁿ，按预处理记录的包围框的坐标a^l在其周围补0，使分割结果的空间大小还原至与预处理前的图像I^l相同，以得到每个测试样本的分割结果。

下面结合仿真实验，对本发明的技术效果作进一步的描述：

1.实验条件：

实验的网络模型和训练过程均用pytorch框架实现，使用的显卡为GeForce RTX2080Ti，显存11GB，每次训练需要约40小时。实验采用BraTS2019脑肿瘤分割数据集。该数据集来自多模态脑肿瘤分割挑战赛，其数据包含从多个临床机构获取的胶质母细胞瘤和低级别胶质瘤的术前多模态MRI扫描数据，并带有由专家委员会认证的放射科医生提供的真实分割标注。所有数据均为NIFTI格式，扫描数据包含T1，T1ce，T2，FLAIR四个模态。三个相互包含的肿瘤区域分别为：1)整体肿瘤区域(whole tumor,WT)，包含水肿、非增强肿瘤和增强肿瘤核心三类肿瘤区域；2)肿瘤核心区域(tumor core,TC)，包含除水肿之外的两类区域；3)增强肿瘤核心(enhancing tumor,ET)。数据集经过一定的预处理，已经配准到相同的解剖模板，插值到相同的1mm³空间分辨率并去除头骨。

2.实验内容及其结果分析：

(1)评价指标：

主要计算的指标为Dice分数和豪斯多夫距离(Hausdorff Distance，HD)。Dice分数反映了两个集合的相似性，Dice分数为1时，预测和标注的两个肿瘤区域完全重合。HD距离则通过边缘间的距离衡量两个区域的形状相似性，HD为0时，两个区域完全重合，该指标一般表示为HD95。

(2)实验内容：

开始训练前，数据集按nnU-Net的方式进行裁剪，仅保留存在病灶的中心区域，并进行归一化。受GPU显存限制，网络需要以较小的图像块作为输入，本实验中设置输入块大小为128×128×128。训练过程中，将输入图像和掩膜随机裁剪为输入块大小，并采用了多种数据增强策略，包含：在0.7至1.4倍之间按比例随机缩放大小、三个维度上进行-30°至30°角度的随机旋转、三个维度上随机镜像翻转、加入高斯噪声、高斯模糊、参数在0.75至1.25之间的随机亮度和对比度调整、模拟低分辨率的下采样和参数在0.7至1.5之间的随机gamma变换。

训练时采用随机梯度下降学习网络权重，初始学习率设置为0.005，动量参数为0.9，权重衰减率0.0001。采用“poly”策略调整学习率，幂参数为0.9，即第n轮学习率降低为初始学习率的(1-n/N)^0.9倍。每个训练批次包含2个图像块，训练迭代轮次N设置为20000。

测试和推理过程中，按一定步长用滑窗方式在原图上裁剪出图像块输入网络，将多个滑窗的输出特征图做平均即得到全图的分割结果。测试阶段，程序采用了广泛应用的增强方案，将同一幅三维图像在三个维度上镜像翻转得到的八幅图像均输入网络，再将输出特征图翻转回来并做平均，得到最终的输出特征图，以生成更准确的分割结果。

(3)实验结果分析：

本发明提出的方法与其他公开的脑肿瘤分割方法进行对比，表1展示了不同方法在三类脑肿瘤区域的分割结果Dice分数和豪斯多夫距离HD。

表1

由表1的实验结果可以看出，本发明相较于现有技术具有更高的三维脑肿瘤图像分割准确率。

综上所述，本发明相较于现有技术对脑肿瘤的分割准确率更高，具有重要的实际意义。以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理和结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围内。

Claims (6)

1.一种基于自调节策略的三维脑肿瘤核磁共振图像分割方法，其特征在于，包括如下步骤：

(1)获取训练样本集和测试样本集：

从脑肿瘤核磁共振图像分割数据集中随机选取维度为W×H×D×Q的L幅三维脑肿瘤核磁共振图像I^l和每幅图像的像素级分割掩膜S^l组成数据集T_a＝{(I^l,S^l)|1≤l≤L}，并对每幅三维脑肿瘤核磁共振图像I^l进行预处理，然后在预处理后的数据集T_a中，随机选择M幅图像I^m和对应的像素级分割掩膜S^m组成训练样本集T_r＝{(I^m,S^m)|1≤m≤M}，将其余的N幅图像Iⁿ和对应的像素级分割掩膜Sⁿ组成测试样本集T_e＝{(Iⁿ,Sⁿ)|1≤n≤N}，其中，L≥300，W、H、D分别表示三维脑肿瘤核磁共振图像的宽度、高度和深度，Q为数据模态数，即通道数，W≥100,H≥100，D≥100，Q＝4，

M+N＝L；

(2)构建基于自调节策略的脑肿瘤核磁共振图像分割网络模型G，包含编码器E，解码器D和预测模块Y；网络结构以经典的3D U-Net为主干网络，通过编码器逐级下采样并扩展通道数以提取高级语义特征；通过解码器逐级上采样恢复空间尺寸，并通过跳跃连接恢复特征图的结构细节；

(2a)编码器E对图像进行多尺度特征提取，包含顺次连接的K级下采样编码器子网络{E_k|1≤k≤K}，K≥2，E_k由顺次连接的3D卷积层、实例归一化层、激活函数层和池化下采样层构成；解码器D对图像进行多尺度特征恢复，包含顺次连接的K+1级上采样编码器子网络{D_k'|1≤k'≤K+1}，D_k'由顺次连接的3D卷积层、实例归一化层、激活函数层和上采样层构成，其中第k级E_k在经过3D卷积层、实例归一化层、激活函数层后的输出与第k'＝K+1-k级D_k'的输出进行通道间跳跃连接；

(2b)每一级D_k'经过3D卷积层、实例归一化层和激活函数层的输出都与一个预测子模块Y_k'连接，Y_k'首先通过3D卷积层得到像素类别概率{F_seg_k'|1≤k'≤K+1}，再通过全局池化和全连接层得到分类概率{v_cls_k'|1≤k'≤K+1}；

(2c)取最后一级的像素类别概率F_seg_K+1，通过argmax计算类别标签，得到分割结果图；

(3)定义基于自调节策略的三维脑肿瘤核磁共振图像分割模型G的损失函数L_SR：

L_SR＝L_seg+λ₁L_cls+λ₂L_{SR_F}+λ₃L_{SR_V}

(3a)分割损失函数L_seg

分割损失函数L_seg包括交叉熵损失函数L_{ce_seg}和Dice损失函数L_{dice_seg}：

其中S_k′表示由分割标签S进行下采样得到的与F_seg_k'同样尺寸的k'级分割图，P_k'表示F_seg_k'的三维空间，

表示S_k'中的第j个体素，

表示F_seg_k'中的第j个体素，softmax(·)表示softmax激活函数；

将多级输出的分割损失相加，得到总分割损失：

其中λ_{deep_i}表示深监督中对不同级输出的损失赋予不同权重，将多级输出的分割损失相加，得到总分割损失L_seg；

(3b)分割自调节损失函数L_{SR_F}

其中最高级像素类别概率F_seg_K+1进行argmax操作，再转化为one-hot编码形式，得到转化后的特征图one-hot(argmax(F_seg_K+1))，低级像素类别概率{F_seg_k'|1≤k'≤K}和one-hot(argmax(F_seg_K+1))计算交叉熵损失函数，该计算过程的分割损失函数都来自于网络本身的预测结果，被称作分割自调节损失函数；

(3c)分类损失函数L_cls

多类分类任务用于判断每一类肿瘤区域是否存在，以此作为辅助任务监督网络的训练过程，将分割标签S进行全局池化操作得到全局分类标签Pool(S)，与{v_cls_k'|1≤k'≤K+1}计算分类损失，计算L_cls采用多类别二值交叉熵损失函数L_{bce_cls}：

其中C表示总类别数，S^q表示第q类分割标签，Pool(S^q)表示将第q类分割标签进行全局池化操作，得到第q类全局分类标签，v_cls^q表示第q类的分类概率，σ(·)表示sigmoid函数；将不同类别的分类损失相加，得到多类别二值交叉熵损失函数L_{bce_cls}；

再将多级输出的分类损失相加，得到总的分类损失L_cls；

(3d)分类自调节损失函数L_SR-V

其中最低级分类概率

通过sigmoid函数得到

高级分类概率

和

计算分类损失函数，该计算过程的分类损失函数都来自于网络本身的预测结果，被称作分类自调节损失函数；

(3e)整体损失函数L_SR

整体损失函数L_SR包括多级分类损失函数、分割损失和分割、分类自调节损失，用几个超参数λ平衡不同损失的权重，L_SR表示为：

L_SR＝L_seg+λ₁L_cls+λ₂L_{SR_F}+λ₃L_{SR_V}

(4)对基于自调节策略的三维脑肿瘤核磁共振图像分割网络模型G进行迭代训练：

(4a)初始化迭代次数为r，最大迭代次数为R，当前脑肿瘤分割网络模型为G_r，G_r的权值参数为θ_r，并令r＝1，G_r＝G；

(4b)从预处理后的训练样本集T_r中无放回地随机选取B个训练样本作为网络模型G_r的输入，经过编码器E，得到K个下采样特征图

将

以及编码器E的输出,通过解码器D和预测模块Y后，分别得到K+1级像素类别概率{F_seg_k'|1≤k'≤K+1}以及K+1级分类概率{v_cls_k'|1≤k'≤K+1}；其中B≥1；

(4c)将{F_seg_k'|1≤k'≤K+1}和{v_cls_k'|1≤k'≤K+1}代入L_SR，计算每个训练样本的分割损失L_seg、分割自调节损失L_{SR_F}、分类损失函数L_cls、分类自调节损失L_{SR_V}，求和作为损失值d_r，然后通过d_r计算对G_r的权值参数θ_r的偏导数g_r；再采用随机梯度下降法，通过偏导数g_r对G_r的权值参数θ_r进行更新，得到本次迭代的网络模型G_r；

(4d)判断r＝R是否成立，若是，得到训练好的基于自调节策略的脑肿瘤核磁共振图像分割网络模型G^*，否则令r＝r+1，G_r＝G，并执行步骤(4b)；

(5)获取脑肿瘤分割结果：

将预处理后的测试样本集T_e作为网络模型G_r的输入进行前向推理并后处理，得到每个测试样本的分割结果，最终得到一副具有逐像素类别概率的语义标注分割图像。

2.根据权利要求1所述的基于自调节策略的三维脑肿瘤核磁共振图像分割方法，其特征在于，步骤(1)中所述的对每幅脑肿瘤图像I^l进行预处理，实现步骤为：

训练样本集和测试样本集中的每幅图像和对应的分割掩膜(I^l,S^l),首先将图像I^l的像素值按整体均值方差归一化；然后在掩膜S^l中找到肿瘤区域的最小包围框，记录包围框的坐标a^l，并以该包围框为边界同时裁剪图像和掩膜，得到预处理后的图像和分割掩膜

3.根据权利要求1所述的基于自调节策略的三维脑肿瘤核磁共振图像分割方法，其特征在于，步骤(2a)中所述的基于自调节策略的三维脑肿瘤核磁共振图像分割网络模型G，其中：

K级下采样编码器子网络E_k，一共有4级，即K＝4，其中每一级由顺次连接的3D卷积层、实例归一化层和激活函数层以及池化下采样层构成；其中，每一级E_k中的两个3D卷积层的卷积核大小均为3×3×3，步长为1，周围填充为1，最大池化尺寸为2×2×2，卷积核数量从第1级到第4级分别为64、128、256和512，激活函数层使用RELU激活函数；

K+1级上采样解码器子网络D_k'，一共有5级，其中每一级由顺次连接的3D卷积层、实例归一化层和激活函数层以及上采样层构成；其中，每一级D_k'中的两个3D卷积层的卷积核大小均为3×3×3，步长为1，周围填充为1，上采样放大尺寸为2×2×2，上采样方式为三线性过滤，卷积核数量从第1级到第5级分别为1024、512、256、128和64，激活函数层使用RELU激活函数；

每一级D_k'经过3D卷积层、实例归一化层和激活函数层的输出都与一个预测子模块Y_k'连接；一共有5级预测模块，其中每一级都包括一个3D卷积层，其卷积核大小为1×1×1，步长为1，卷积核数量为4，1×1×1卷积层处理与全连接层处理等价，卷积后得到各级像素类别概率F_seg_k'；经过卷积核后的输出继续输入到一个全局池化层，将各通道的特征图尺寸变为1×1×1；最后通过全连接层得到各通道的分类概率v_cls_k'；全连接层的长度为4。

4.根据权利要求1所述的基于自调节策略的三维脑肿瘤核磁共振图像分割方法，其特征在于，步骤(3)中所述的定义基于自调节策略的脑肿瘤分割网络模型G的损失函数L_SR：

L_SR＝L_seg+λ₁L_cls+λ₂L_{SR_F}+λ₃L_{SR_V}

实际训练中会对两类自调节损失的权重采取预热的动态调节策略，权重会随着训练进行，从0开始线性增加到预设值，之后保持不变。

5.根据权利要求1所述的基于自调节策略的三维脑肿瘤核磁共振图像分割方法，其特征在于，步骤(4c)中所述的采用随机梯度下降法对当前自调节的脑肿瘤分割网络模型G_r的权值参数θ_r进行更新，公式为：

其中，

表示脑肿瘤分割网络模型G_r更新后的权值参数，α_r表示第r次迭代的学习率。

6.根据权利要求1所述的基于自调节策略的三维脑肿瘤核磁共振图像分割方法，其特征在于，步骤(5)中将测试样本集T_e作为训练好的脑肿瘤分割网络模型G_r的输入进行前向推理并后处理，后处理方式为：

对测试样本图像Iⁿ得到的分割结果Fⁿ，按预处理记录的包围框的坐标a^l在其周围补0，使分割结果的空间大小还原至与预处理前的图像I^l相同。

Images