CN114359293A - 一种基于深度学习的三维mri脑肿瘤分割方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的三维MRI脑肿瘤分割方法，包括以下步骤：S1：对三维MRI脑部数据进行预处理并划分数据集，使其满足模型的输入条件。S2：构建并训练深度卷积神经网络，网络框架采用编码器和解码器的形式，并加入了多尺度卷积联合模块和全局上下文聚合模块。S3：对得到的预测数据后处理，进一步提高分割效果。本发明提出的分割方法结合了分割对象的低级特征和高级特征，有效融合了多尺度信息和全局上下文信息并减少了学习到的冗余特征的影响，从而改善了脑肿瘤的分割结果。

Description

一种基于深度学习的三维MRI脑肿瘤分割方法

技术领域

本发明涉及医学图像分割领域，尤其涉及一种基于深度学习的三维MRI脑肿瘤分割方法。

背景技术

预测完整的3D点云是许多计算机视觉的核心任务。脑部肿瘤有着非常高的致死率和发病率，但是如果及时发现脑部肿瘤，尽早诊断尽早治疗可以增加治愈的可能性。脑肿瘤图像分割是脑肿瘤临床诊断和治疗过程中非常重要的一步，通过在MRI的图像中对肿瘤进行分割，医生可以定位肿瘤的位置并得到肿瘤的尺寸，然后制定相关的治疗和康复策略。但是，由于脑肿瘤结构复杂，形状多变以及类别极不平衡等特点，传统的图像分割算法如区域生长和阈值法等往往很难获得令人满意的分割效果。因此，开发鲁棒精确的自动分割方法，实现有效和客观的分割，是一个极富挑战性的研究领域。

近年来，基于深度学习技术，特别是基于深度卷积神经网络(DCNNs)的图像分割方法得到了飞速的发展。最流行的方法是使用一种U型架构分割医学图像，该架构包括一个编码器路径来捕获与分割相关的高级语义，以及一个从编码器中带有跳跃连接的对称解码器来生成分割结果，使得低级信息和高级信息相互融合。但是所有卷积模块都是由2个堆叠的3个卷积层组成，这导致了提取的特征规模相对单一，捕获的语义特征缺乏多尺度和全局上下文信息，使得在更具挑战性的脑肿瘤分割上效果欠佳。

发明内容

为了解决上述难题，本发明提出了一种基于深度学习的三维MRI脑肿瘤分割方法。技术方案如下：

S1、对三维MRI脑部数据进行预处理并划分数据集；

MRI图像有4个不同的模态包括T1、T1ce、T2和FLAIR，我们把4个数据拼接在一起形成4个输入通道，将原始大小为155*240*240的三维脑部MRI图像裁切至150*192*192大小，去除多余的背景像素。在输入网络前对数据进行归一化处理，降低网络的学习难度，并采取在线的方式对训练数据进行多样化操作，包括随机缩放，沿三维方向随机翻转和随机裁切，最终送入网络的三维图像大小为96*144*144。最后将大脑数据集按8：1：1的比例划分为训练集、验证集和测试集。

S2、构建并训练深度卷积神经网络模型；

利用所述训练集对所述的深度卷积神经网络进行训练并利用所述验证集随时对训练的网络进行验证。其中，所述的深度卷积神经网络有一个编码器和对应的解码器，解码器通过跳跃连接获取编码器的特征。

经过预处理的数据首先输入到包含3组下采样卷积模块和1组多尺度卷积联合模块的编码器中进行编码，之后，完成编码的特征图输入到由3个全局上下文聚合模块构成的解码器中进行解码，最终输出分割结果。

具体地，所述的下采样卷积模块包括两个3*3*3卷积，每个卷积后面跟着一个组数为8的组归一化层和一个用来增加非线性的ReLu单元，然后是一个2*2*2最大池化层，每个维度的步幅均为2。

所述的多尺度卷积联合模块包含两组不同膨胀率的卷积。这两组卷积以级联的方式组合，每组卷积由3个卷积核大小为3且空洞率不同的空洞卷积和1个1*1*1的卷积以并行的方式叠加。第一组空洞卷积的空洞率为1，2，4；第二组空洞卷积的空洞率为1，2，5。此外，每个卷积核为3*3*3的卷积后面都跟着1个组数为8的组归一化层和一个ReLu线性单元。组内每个卷积都产生相同数量的输出维数。在所述的多尺度卷积联合模块中，我们不仅融入了不同空洞率的空洞卷积，来提取不同大小的对象特征，而且每一组都额外添加了1个1*1*1的卷积，从而实现多个特征图的线性组合，实现跨通道的交互和信息整合。

所述的全局上下文聚合模块在接受到来自编码器的特征后，首先进行上采样，上采样操作由每个维度步幅为2，卷积核为2*2*2的反卷积实施，然后通过元素求和的方式对编码路径和解码路径中具有相同分辨率特征信息进行融合(通过跳跃连接实现)。融合的特征经过2个1*1*1的卷积后得到2个特征图记为特征图A和特征图B，同时也形成了两个分支，我们记为分支Z1和分支Z2。为了高效地收集每个空间位置的背景信息，我们在Z1分支首先采取全局平均池化的操作，生成全局上下文特征表示之后再与A相加。然后，得到的特征应用Sigmoid层得到特征权重图S，最后，S与经过卷积操作的特征图A进行元素相乘得到特征图D，随后，特征图D送入到卷积核大小为3*3*3的三维卷积内，并且后面跟着1个组数为8的组卷积以及1个非线性激活函数ReLu，最终得到重新校准后的特征Y1；在Z2分支，我们让特征图B经过1个各个方向步长为2，卷积核大小为3的3D卷积操作，得到特征图Y2，最后我们将两个分支的输出Y1和Y2沿着通道的方向拼接在一起形成全局上下文聚合模块输出Y。在全局上下文聚合模块中，Z1分支不仅通过对空间的上下文信息进行建模增强了位置特征，而且利用全局池化层获得了通道间的依赖关系。另外，Z1分支与Z2分支特的征进行融合建立了长距离语义依赖性。

S3、对得到的预测数据后处理；

将测试数据送入训练好的深度卷积神经网络模型进行预测，输出的特征图经过后处理后，得到最终的肿瘤。通常增强肿瘤区域较难预测，容易产生假阳性的预测结果，所以当预测的增强肿瘤区域过小时，我们将增强肿瘤区域替换为坏死/水肿区域。

进一步的，所述步骤S2中，在所述的深度卷积神经网络中，我们在解码路径的每个阶段引入了深度监督以添加来自解码层的辅助输出，来帮助模型更好地学习高级语义特征和低级位置信息。每个深度监督子网使用1*1*1卷积规范输出通道，然后使用三线性上采样操作恢复图像空间维度，最后应用sigmoid函数得到代表肿瘤区域的预测概率图。整体的损失函数为：

其中，L_g1，L_g2，L_g3分别为3个全局上下文聚合模块输出的损失函数，具体地，我们使用善于对前景区域挖掘的Dice损失作为损失函数，来缓解正负样本严重不平衡的不利影响，Dice损失的具体计算方式如下所示：

其中，T为人工标注的真实肿瘤像素，S为模型预测的肿瘤像素。

本发明的有益效果是：

本发明提出了一种联合多尺度上下文和全局上下文的深度卷积网络，能够同时捕获不同尺度的空间信息和长距离的特征依赖性。多尺度卷积联合模块和全局上下文聚合模块能够整合全局和局部的特征信息，结合分割对象的低级特征和高级特征，有效融合全局上下文信息并减少了学习到的冗余特征的影响，最终提高了网络对目标区域的分割能力。

附图说明

图1是本发明的方法实施流程图；

图2本发明的深度卷积神经网络结构示意图；

图3是本发明的多尺度卷积联合模块示意图；

图4是本发明的全局上下文聚合模块示意图；

具体实施方式

面结合附图对本发明做进一步阐述。

一种基于深度学习的三维MRI脑肿瘤分割方法，如图1所示，包括以下步骤：

S1、对三维MRI脑部数据进行预处理并划分数据集，使其满足模型的输入条件；

MRI图像有4个不同的模态包括T1、T1ce、T2和FLAIR，我们把4个数据拼接在一起形成4个输入通道。通常背景信息在整幅图像中的比例较大，肿瘤区域占比非常小，这会导致出现数据严重的不平衡，而且背景对于分割没有是任何帮助的，因此我们选择去除脑部区域周围的背景信息，将原始大小155*240*240裁切至的三维脑部MRI图像裁切至150*192*192大小。最终送入网络的三维图像大小为96*144*144。

此外，数据标准化可以减少数据的冗余信息，从而降低网络学习的难度。本实验采用z-score归一化，其定义为：

其中μ是像素级MRI序列的平均值，ρ是像素级MRI序列的标准偏差。

另外，针对医学数据集规模较小的问题，为有效防止训练阶段的过拟合，我们采用在线数据增强技术，包括随机缩放，沿三维方向随机翻转和随机裁切。最后将大脑数据集按8：1：1的比例划分为训练集、验证集和测试集。

S2、构建并训练深度卷积神经网络模型；

利用所述训练集对所述的深度卷积神经网络进行训练并利用所述验证集随时对训练的网络进行验证。其中，所述的深度卷积神经网络有一个编码器和对应的解码器，解码器通过跳跃连接获取编码器的特征。

深度卷积神经网络结构如图2所示，经过预处理的数据首先输入到包含3组下采样卷积模块和1组多尺度卷积联合模块的编码器中进行编码，之后，完成编码的特征图输入到由3个全局上下文聚合模块构成的解码器中进行解码，最终输出分割结果。

具体地，所述的下采样卷积模块包括两个3*3*3卷积，每个卷积后面跟着一个组数为8的组归一化层和一个用来增加非线性的ReLu单元，然后是一个2*2*2最大池化层，每个维度的步幅均为2。

所述的多尺度卷积联合模块包含两组不同膨胀率的卷积。在三维空间上，卷积核大小分别为I,J,K，输入信号为x(p,q,s)空洞卷积可以定义为:

其中，y(q,r,s)是三维空洞卷积的输出信号，w(i,j,k)表示卷积滤波器，r是三维空洞卷积的空洞率。空洞卷积的主要思想是在卷积核的像素之间插入孔洞(填充零)。假设I＝J＝K，那么对于原始卷积核长度为I，空洞率为r的空洞卷积，其实际卷积核长度为i’＝i+(i-1)·(r-1)。如果我们将r设置为1，那么此卷积就变成了一个普通的3D卷积。根据空洞卷积的原理，空洞卷积可以通过在核之间插入空洞的方式更改感受野的范围，也就是说，空洞卷积可以在不增加参数的情况下获得多尺度信息。

所述的两组卷积以级联的方式组合，如图3所示。每组卷积由3个卷积核大小为3且空洞率不同的空洞卷积和1个1*1*1的卷积以并行的方式叠加。第一组空洞卷积的空洞率为1，2，4；第二组空洞卷积的空洞率为1，2，5。此外，每个卷积核为3*3*3的卷积后面都跟着1个组数为8的组归一化层和一个ReLu线性单元。组内每个卷积都产生相同数量的输出维数。在所述的多尺度卷积联合模块中，我们不仅融入了不同空洞率的空洞卷积，来提取不同大小的对象特征，而且每一组都额外添加了1个1*1*1的卷积，从而实现多个特征图的线性组合，实现跨通道的交互和信息整合。

如图4所示，所述的全局上下文聚合模块在接受到来自编码器的特征后，首先进行上采样，上采样操作由每个维度步幅为2，卷积核为2*2*2的反卷积实施，然后通过元素求和的方式对编码路径和解码路径中具有相同分辨率特征信息进行融合(通过跳跃连接实现)。融合的特征图

经过2个1*1*1的卷积后得到2个特征图记为特征图

和特征图

同时也形成了两个分支，我们记为分支Z1和分支Z2。

A_l＝ω_θI_l+b_θ；

B_m＝ω_σI_m+b_σ；

其中ω_θ，ω_σ分别为2个1*1*1卷积的权重，b_θ，b_σ分别为2个1*1*1卷积的偏置。

为了高效地收集每个空间位置的背景信息，我们在Z1分支首先采取全局平均池化的操作，生成全局上下文特征表示之后再与A相加。然后，得到的特征应用Sigmoid层得到特征权重图

最后，S与经过卷积操作的特征图A进行元素相乘得到特征图

随后，特征图D送入到卷积核大小为3*3*3的三维卷积内，并且后面跟着1个组数为8的组卷积以及1个非线性激活函数ReLu，最终得到重新校准后的特征Y1；在Z2分支，我们让特征图B经过1个各个方向步长为2，卷积核大小为3的3D卷积操作，得到特征图Y2，最后我们将两个分支的输出Y1和Y2沿着通道的方向拼接在一起形成全局上下文聚合模块输出

(C_o＝C_l+C_m)。

在全局上下文聚合模块中，Z1分支不仅通过对空间的上下文信息进行建模增强了位置特征，而且利用全局池化层获得了通道间的依赖关系。另外，Z1分支与Z2分支特的征进行融合建立了长距离语义依赖性。

进一步的，所述步骤S2中，在所述的深度卷积神经网络中，我们在解码路径的每个阶段引入了深度监督以添加来自解码层的辅助输出，来帮助模型更好地学习高级语义特征和低级位置信息。每个深度监督子网使用1*1*1卷积规范输出通道，然后使用三线性上采样操作恢复图像空间维度，最后应用sigmoid函数得到代表肿瘤区域的预测概率图。整体的损失函数为：

其中，L_g1，L_g2，L_g3分别为3个全局上下文聚合模块输出的损失函数，具体地，我们使用善于对前景区域挖掘的Dice损失作为损失函数，来缓解正负样本严重不平衡的不利影响，Dice损失的具体计算方式如下所示：

其中，T为人工标注的真实肿瘤像素，S为模型预测的肿瘤像素。

进一步的，我们使用4种评价指标全面评估脑肿瘤的分割效果，包括Dice相似系数、敏感性Sensitivity、特异性Specificity。Dice相似系数测量自动分割和标签之间的空间重叠。定义为:

式中FP、FN、TP分别为假阳性、假阴性、真阳性。灵敏度，也称为真阳性率或检测概率，衡量的是正确识别的阳性的比例:

最后，特异性，也称为真阴性率，衡量正确识别的阴性的比例。定义为:

TN为真阴性。

S3、对得到的预测数据后处理；

将测试数据送入训练好的深度卷积神经网络模型进行预测，输出的特征图经过后处理后，得到最终的肿瘤。通常增强肿瘤区域较难预测，容易产生假阳性的预测结果，所以当预测的增强肿瘤区域过小时，我们将增强肿瘤区域替换为坏死/水肿区域。

综上所述，本发明一种基于深度学习的三维MRI脑肿瘤分割方法，可以采用端到端的训练方式实现脑肿瘤的分割，无需多次训练，减少了训练时长；引入多尺度卷积联合模块和全局上下文聚合模块，整合了本地局部特征和远距离全局特征，融合了高级语义特征和低级视觉特征并减少了冗余特征的影响；改善了肿瘤区域的分割效果，尤其是较难预测的增强肿瘤区域。

应该理解的是，以上实施方式并非是对本发明的限制，只要符合本发明的基本思想，均应属于本发明的保护范围。

Claims (8)

1.一种基于深度学习的三维MRI脑肿瘤分割方法，其特征在于，包括以下步骤：

S1、对三维MRI脑部数据进行预处理并划分数据集；

MRI图像有4个不同的模态包括T1、T1ce、T2和FLAIR，把4个数据拼接在一起形成4个输入通道，并做一些必要的数据预处理并划分数据集，数据集划分为训练集、验证集和测试集；

S2、构建并训练深度卷积神经网络模型；

利用所述训练集对深度卷积神经网络进行训练并利用所述验证集随时对训练的网络进行验证；其中，所述的深度卷积神经网络有一个编码器和对应的解码器，解码器通过跳跃连接获取编码器的特征；

S3、对得到的预测数据后处理；

将测试数据送入训练好的深度卷积神经网络模型进行预测，输出的特征图经过后处理后，得到最终的肿瘤，通常增强肿瘤区域较难预测，容易产生假阳性的预测结果，所以当预测的增强肿瘤区域过小时，将增强肿瘤区域替换为坏死/水肿区域。

2.根据权利要求1所述的一种基于深度学习的三维MRI脑肿瘤分割方法，其特征在于，S1所述预处理是将原始大小为155*240*240的三维脑部MRI图像裁切至150*192*192大小，去除多余的背景像素；在输入网络前对数据进行归一化处理，降低网络的学习难度，并采取在线的方式对训练数据进行多样化操作，包括随机缩放，沿三维方向随机翻转和随机裁切，最终送入网络的三维图像大小为96*144*144；最后将大脑数据集按8：1：1的比例划分为训练集、验证集和测试集。

3.根据权利要求1所述的一种基于深度学习的三维MRI脑肿瘤分割方法，其特征在于，S2所述的编码器包含3组下采样卷积模块和1组多尺度卷积联合模块，对应的解码器包含3个全局上下文聚合模块。

4.根据权利要求3所述的基于深度学习的三维MRI脑肿瘤分割方法，其特征在于，经过预处理的数据输入下采样卷积模块，然后输入到多尺度卷积联合模块完成编码过程。

5.根据权利要求4所述的基于深度学习的三维MRI脑肿瘤分割方法，其特征在于，所述的下采样卷积模块包括两个3*3*3卷积，每个卷积后面跟着一个组数为8的组归一化层和一个用来增加非线性的ReLu单元，然后是一个2*2*2最大池化层，每个维度的步幅均为2；

所述的多尺度卷积联合模块包含两组不同膨胀率的卷积；这两组卷积以级联的方式组合，每组卷积由3个卷积核大小为3且空洞率不同的空洞卷积和1个1*1*1的卷积以并行的方式叠加；第一组空洞卷积的空洞率为1，2，4；第二组空洞卷积的空洞率为1，2，5；此外，每个卷积核为3*3*3的卷积后面都跟着1个组数为8的组归一化层和一个ReLu线性单元；组内每个卷积都产生相同数量的输出维数。

6.根据权利要求3所述的基于深度学习的三维MRI脑肿瘤分割方法，其特征在于，完成编码的特征图输入到由3个全局上下文聚合模块构成的解码器中进行解码，最终输出分割结果。

7.根据权利要求6所述的基于深度学习的三维MRI脑肿瘤分割方法，其特征在于，特征图首先由每个维度步幅为2，卷积核为2*2*2的反卷积进行上采样，然后通过元素求和的方式对编码路径和解码路径中具有相同分辨率特征信息进行融合；融合的特征经过2个1*1*1的卷积后得到2个特征图记为特征图A和特征图B，同时也形成了两个分支，记为分支Z1和分支Z2；为了高效地收集每个空间位置的背景信息，在Z1分支首先采取全局平均池化的操作，生成全局上下文特征表示之后再与A相加；然后，得到的特征应用Sigmoid层得到特征权重图S，最后，S与经过卷积操作的特征图A进行元素相乘得到特征图D，随后，特征图D送入到卷积核大小为3*3*3的三维卷积内，并且后面跟着1个组数为8的组卷积以及1个非线性激活函数ReLu，最终得到重新校准后的特征Y1；在Z2分支，让特征图B经过1个各个方向步长为2，卷积核大小为3的3D卷积操作，得到特征图Y2，最后将两个分支的输出Y1和Y2沿着通道的方向拼接在一起形成全局上下文聚合模块输出Y。

8.根据权利要求6所述的基于深度学习的三维MRI脑肿瘤分割方法，其特征在于，所述步骤S2中，在所述的深度卷积神经网络中，设置损失函数为：

其中，L_g1，L_g2，L_g3分别为3个全局上下文聚合模块输出的损失函数，均为Dice损失，具体的计算方式如下所示：

其中，T为人工标注的真实肿瘤像素，S为模型预测的肿瘤像素。

Images