CN110458842A - 基于双通道三维密集连接网络的脑肿瘤分割方法 - Google Patents

Abstract

本发明提出了一种基于双通道三维密集连接网络的脑肿瘤分割方法。针对脑肿瘤形状、位置及大小等信息的不统一性，提出了一种双通道三维密集连接网络来实现MRI中脑肿瘤的自动分割，采用三维卷积核提取空间特征，双通道特征学习网络采用不同大小卷积核以提取不同尺度的特征，构建三维密集连接块加强了各级特征复用，使得用于最后分类的特征包含了更多的上下文内容，丰富了特征图细节，提升了分割的精度。

Description

基于双通道三维密集连接网络的脑肿瘤分割方法

技术领域

本发明涉及一种基于双通道三维密集连接网络的脑肿瘤分割方法，属于生物医学工程的领域。

背景技术

脑胶质瘤是神经胶质细胞不受控制地非自然生长和分裂的脑部肿瘤，其早期诊断对治疗起着至关重要的作用，而准确的肿瘤区域分割与定位是治疗的基础。核磁共振图像(Magnetic Resonance Imaging，MRI)具有良好的软组织对比度，提供了丰富的脑组织内部结构信息，且是一种非侵入性的体内检查技术，不会造成放射性损伤，因此临床上大多采用MRI作为诊断依据。不同模态的MRI成像存在差异，强调的信息不同，因此多模态的MRI信息对比对分割结果有利。临床上通常是相关专家手动分割，但手动分割是一个非常耗时费力的过程，且存在主观性认识，不同专家分割结果往往存在差异，因此人们一直在寻找自动准确分割胶质瘤的方法。传统的自动分割算法可以分为阈值法、分水岭算法、区域生长技术、基于梯度信息边缘检测算法等。这些方法通常是针对特定肿瘤形态，或某个模态的MR图像，泛化性不强，往往需要针对不同的患者图像手动调参。

脑肿瘤可以出现在脑部的任何地方，并且大小形状也是千变万化，不同患者也存在差异。MRI图像由于受到噪声、局部容积效应和偏移场效应等退化条件影响，导致其图像灰度不均匀，肿瘤与正常组织、肿瘤内部子区域之间，可能有相似的灰度值。这些特点和不确定性给脑肿瘤图像分割算法的可靠性和分割结果的准确性带来了极大困难。

有鉴于此，确有必要提出一种基于双通道三维密集连接网络的脑肿瘤分割方法，以解决上述问题。

发明内容

本发明的目的在于提供一种基于双通道三维密集连接网络的脑肿瘤分割方法，主要解决脑肿瘤图像分割问题中的特征尺度、类不均衡等问题。

为实现上述目的，本发明提供了一种基于双通道三维密集连接网络的脑肿瘤分割方法，主要包括以下步骤：

步骤1，建立一个双通道三维密集连接网络，该双通道三维密集连接网络的上通道和下通道各具有两个三维密集连接块，每个三维密集连接块均包含四个卷积层；

步骤2，获取训练图像数据，并对训练图像数据进行预处理；

步骤3，将预处理后的训练图像数据输入双通道三维密集连接网络进行训练；

步骤4，基于训练后的双通道三维密集连接网络，输入测试图像进行后处理，以得到最终的分割结果图。

可选的，步骤2中预处理包括偏置场校正、提取体素切块和归一化操作。

可选的，偏置场校正采用N4ITK算法进行。

可选的，归一化操作采用0均值，方差为1的归一化，计算公式为

式中x_i代表待归一化的值，y_i代表归一化后的值，X表示输入序列，mean表示均值，std表示标准差。

可选的，步骤3具体包括：

步骤31，将体素切块输入到每个通道进行特征学习与传递，并将不同感受野下的特征进行融合，获得多尺度的特征表征方式；

步骤32，在上通道和下通道内构造三维密集连接块，进行特征学习与传递；

步骤33，利用Adam优化算法对双通道三维密集连接网络中的参数进行训练，并将两个通道获得的特征进行结联、输入到分类层。

可选的，步骤33中采用损失函数对双通道三维密集连接网络中的参数进行优化，所述损失函数包含两部分：第一部分是真实标签与预测结果的交叉熵损失，第二部分是多类Dice损失。

可选的，步骤33中输入到分类层的特征包括待预测类别体素点周围的细节特征以及较大范围的上下文特征。

可选的，所述步骤1中上通道和下通道的卷积核尺寸不同。

可选的，所述步骤1中每个卷积层的输出为

x_l＝H_l([x₀,x₁,…x_l-1])

H_l(x)＝W*R[B(x)]，

其中，x₀为输入，[x₀,x₁,…x_l-1]代表前面l个层特征结联，B(x)代表批标准化，R表示Relu非线性激活，W表示学习到的权值矩阵，“*”代表卷积运算。

可选的，所述步骤4具体包括：

步骤41，针对边缘的体素采用零填充的方式补齐邻域，然后以滑动窗口的形式，依次获取与训练输入大小一致的体素切块输入到训练好的双通道三维密集连接网络中，以得到对应区域的概率图；

步骤42，通过概率求平均得到每个体素对应的类别概率，以获得完整的肿瘤分割结果图。

本发明的有益效果是：

(1)利用三维密集连接网络加强特征传播，重复利用各级特征，减少低级特征向高级特征传递过程中的损失。

(2)采用双通道特征提取网络，选取不同尺度的卷积核，在不同尺度感受野下获取特征结构，解决脑肿瘤区域大小不一致的问题。

(3)采用多类损失函数，降低因类不均衡问题造成的分类错误。

实验证明，本发明能够有效地分割出胶质瘤区域，比现行的方法具有更好的性能。

附图说明

图1是本发明基于双通道三维密集连接网络的脑肿瘤分割方法流程图。

图2是本发明提出的双通道三维密集连接网络结构图。

图3是图2中三维密集连接块的内部结构图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

本发明提供了一种基于双通道三维密集连接网络的脑肿瘤分割方法，主要解决脑肿瘤图像分割问题中的特征尺度、类不均衡等问题。

如图1所示，所述基于双通道三维密集连接网络的脑肿瘤分割方法，主要包括以下步骤：

步骤1，建立一个双通道三维密集连接网络，该双通道三维密集连接网络的上通道和下通道各具有两个三维密集连接块，每个三维密集连接块均包含四个卷积层。

如图2所示，MRI为三维数据，为了更好地获取体素间的空间信息，本发明提出了一种双通道三维密集连接网络，利用不同尺度的三维卷积核提取MRI中的体素特征,以提高特征的利用率，实现对每层特征的重复利用,同时可以解决肿瘤大小不一致的问题。

由于每个通道的特征学习结构类似，因此我们仅分析一个通道的结构，另一个通道的结构不再描述。

首先将输入体素切块通过一个初始化卷积层，进行特征升维操作，之后通过两个三维密集连接块进行特征学习与传递，最后将两个通道的特征结联、输入到分类层。

步骤2，获取训练图像数据，并对训练图像数据进行预处理。较佳地，预处理包括偏置场校正、提取体素切块(patch)和归一化操作。

由于MRI数据是非标准化的，归一化处理对于来自于不同设备、不同环境下通过不同协议采集到的数据进行后续的处理至关重要。

预处理的目的是确保在不同患者的图像及不同的模态之间有确定的匹配值范围以避免网络的初始偏差。由于磁场的不均匀性会导致图像灰度的偏移，在归一化操作之前会进行偏置场校正，采用的是一种N4ITK算法，它是一种改进的非参数非均匀强度归一化算法。

由于是采用基于体素切块的训练方式，提取体素切块也是预处理的一环。MRI数据中各类别所占比例差异较大，即类别不均衡问题，因此训练阶段体素切块的提取关系到网络最终的分割精度。例如：训练阶段我们对每个患者的样本数据提取400个体素切块，随机选取200个标签为0和不为0的体素点作为中心提取周边64×64×64大小的邻域。

归一化操作采用0均值，方差为1的归一化。计算公式如下：

式中x_i代表待归一化的值，y_i代表归一化后的值，X表示输入序列，mean表示均值，std表示标准差。

步骤3，将预处理后的训练图像数据输入双通道三维密集连接网络进行训练,具体包括：

步骤31，将体素切块输入到每个通道进行特征学习与传递，并将不同感受野下的特征进行融合，获得多尺度的特征表征方式；

步骤32，在上通道和下通道内构造三维密集连接块，进行特征学习与传递；

步骤33，利用Adam优化算法对双通道三维密集连接网络中的参数进行训练，并将两个通道获得的特征进行结联输入到分类层。

本发明中双通道三维密集连接网络的上通道和下通道采用的卷积核尺寸分别为3×3×3和5×5×5，步骤33中输入到分类层的特征包括待预测类别体素点周围的细节特征以及较大范围的上下文特征。

传统的卷积网络是通过特征的逐层传递从而获取局部信息，由感受野定义可以看出感受野的大小由卷积核的尺寸与步长决定，若单纯的采用较小的3×3×3的卷积核时对应的感受野区域较小且相对单一，只能获得局部固定区域大小的上下文信息。由于肿瘤区域大小不规则性，不同大小的感受野对于最后分类层的贡献不同，增加卷积核更大的特征学习通道可以利用更大范围的上下文信息，增大感受野。

如图3所示，为三维密集连接块，在每个通道构造三维密集连接块，每个三维密集连接块包含4个卷积层，其中x₀为输入，每个卷积层的输出为：

x_l＝H_l([x₀,x₁,…x_l-1])

H_l(x)=W*R[B(x)]，

式中[x₀,x₁,…x_l-1]代表前面l个层特征的结联，B(x)代表批标准化(BatchNormalization)，R表示Relu非线性激活，W表示学习到的权值矩阵，“*”代表卷积运算。三维密集连接块的输出是前面所有卷积层的并集。三维密集连接的优点在于缓解梯度消失问题，加强特征传播，鼓励特征复用，极大的减少了参数量。

数据集与预处理通过步骤1已准备完成，以体素切块的形式输入进网络。在训练之前需进行网络权重的初始化，通过随机数进行初始化，其概率分布服从均值为0，方差为0.01的正态分布。

损失函数用来衡量网络预测输出和真实标签之间的差距，可作为步骤33中优化双通道三维密集连接网络中的参数的约束条件。由于脑肿瘤图像相比于自然图像存在严重的类不均衡问题，仅仅采用简单的交叉熵损失函数不能得到最优的分割结果，因此本文通过增加损失函数种类来解决肿瘤分割任务中存在的类不均衡问题。

本方法采用的损失函数包含两部分：第一部分是真实标签与预测结果的交叉熵损失，第二部分是多类Dice损失。

算法中采用的损失函数是两者的相加：

Loss(g,p)＝C_loss(g,p)+D_loss(g,p)，

其中C_loss(g,p)为交叉熵损失，D_loss(g,p)为多类Dice损失。

交叉熵损失C_loss(g,p)的计算公式如下所示：

式中g_i是真实值，p_i是softmax输出的预测概率值，v代表待预测中心体素块的个数。

多类Dice损失D_loss(g,p)的计算公式如下所示：

式中K是待预测类别数目，是第i个体素属于第k类别的真实概率，是softmax关于第i个体素属于第k类别的输出概率。

例如：批处理大小为2，对于每个训练集样本训练4个epoch，采用Adam优化算法，初始学习率设置为5·10^-4。

步骤4，基于训练后的双通道三维密集连接网络，输入测试图像进行后处理，以得到最终的分割结果图。

获取数据的后处理属于该网络的测试阶段，通过训练好的网络得到中心待预测区域的概率图,具体步骤包括：

步骤41，针对边缘的体素采用零填充的方式补齐邻域，然后以滑动窗口的形式，采取一定的步长从补齐后的数组中提取与训练输入大小一致的体素切块数据输入到训练好的双通道三维密集连接网络中进行预测，以得到对应区域的概率图。这样能够保证原图中每个体素都会被计算相同的次数。

步骤42，通过概率求平均得到每个体素对应的类别概率图，即对最后所有的体素进行分类，以得到完整的肿瘤分割结果图。

综上，本发明提出了一种基于双通道三维密集连接网络的脑肿瘤分割方法，双通道三维密集连接网络采用三维卷积核，相比于二维网络更好的利用MRI图像中各体素周围的灰度关系。通过设置不同卷积核大小以获取多尺度特征，构建三维密集连接网络进行特征学习与传递，加强特征复用，与传统卷积网络逐层连接相比，三维密集连接网络大大提高了各级特征对分类层的贡献，分割精度方面也有了显著提升。

以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于双通道三维密集连接网络的脑肿瘤分割方法，其特征在于，主要包括以下步骤：

步骤1，建立一个双通道三维密集连接网络，该双通道三维密集连接网络的上通道和下通道各具有两个三维密集连接块，每个三维密集连接块均包含四个卷积层；

步骤2，获取训练图像数据，并对训练图像数据进行预处理；

步骤3，将预处理后的训练图像数据输入双通道三维密集连接网络进行训练；

步骤4，基于训练后的双通道三维密集连接网络，输入测试图像进行后处理，以得到最终的分割结果图。

2.根据权利要求1所述的基于双通道三维密集连接网络的脑肿瘤分割方法，其特征在于：所述步骤2中预处理包括偏置场校正、提取体素切块和归一化操作。

3.根据权利要求2所述的基于双通道三维密集连接网络的脑肿瘤分割方法，其特征在于：所述偏置场校正采用N4ITK算法进行。

4.根据权利要求2所述的基于双通道三维密集连接网络的脑肿瘤分割方法，其特征在于：所述归一化操作采用0均值，方差为1的归一化，计算公式为

式中x_i代表待归一化的值，y_i代表归一化后的值，X表示输入序列，mean表示均值，std表示标准差。

5.根据权利要求2所述的基于双通道三维密集连接网络的脑肿瘤分割方法，其特征在于：所述步骤3具体包括：

步骤31，将体素切块输入到每个通道进行特征学习与传递，并将不同感受野下的特征进行融合，获得多尺度的特征表征方式；

步骤32，在上通道和下通道内构造三维密集连接块，进行特征学习与传递；

步骤33，利用Adam优化算法对双通道三维密集连接网络中的参数进行训练，并将两个通道获得的特征进行结联、输入到分类层。

6.根据权利要求5所述的基于双通道三维密集连接网络的脑肿瘤分割方法，其特征在于：步骤33中采用损失函数对双通道三维密集连接网络中的参数进行优化，所述损失函数包含两部分：第一部分是真实标签与预测结果的交叉熵损失，第二部分是多类Dice损失。

7.根据权利要求5所述的基于双通道三维密集连接网络的脑肿瘤分割方法，其特征在于：步骤33中输入到分类层的特征包括待预测类别体素点周围的细节特征以及较大范围的上下文特征。

8.根据权利要求1所述的基于双通道三维密集连接网络的脑肿瘤分割方法，其特征在于：所述步骤1中上通道和下通道的卷积核尺寸不同。

9.根据权利要求1所述的基于双通道三维密集连接网络的脑肿瘤分割方法，其特征在于：所述步骤1中每个卷积层的输出为

x_l＝H_l([x₀,x₁,…x_l-1])

H_l(x)＝W*R[B(x)]，

其中，x₀为输入，[x₀,x₁,…x_l-1]代表前面l个层特征结联，B(x)代表批标准化，R表示Relu非线性激活，W表示学习到的权值矩阵，“*”代表卷积运算。

10.根据权利要求1所述的基于双通道三维密集连接网络的脑肿瘤分割方法，其特征在于：所述步骤4具体包括：

步骤41，针对边缘的体素采用零填充的方式补齐邻域，然后以滑动窗口的形式，依次获取与训练输入大小一致的体素切块输入到训练好的双通道三维密集连接网络中，以得到对应区域的概率图；

步骤42，通过概率求平均得到每个体素对应的类别概率，以获得完整的肿瘤分割结果图。