CN110706214B - 融合条件随机与残差的三维U-Net大脑肿瘤分割方法 - Google Patents

Abstract

本发明提供了融合条件随机与残差的三维U‑Net大脑肿瘤分割方法，包括：对训练集进行三层级联网络架构训练，获得卷积神经网络的模型；通过卷积神经网络模型，对测试集进行测试，获得对应大脑肿瘤每一个分类的概率矩阵；对概率矩阵进行后处理，更新概率，获得最终的大脑肿瘤分割结果。本发明分步简化问题并且获得更好的效果，相较传统方法更有优势，其采用的网络具有更好的学习能力，并且引入残差块来减小网络层数加深带来的梯度爆炸、梯度消失和网络性能退化的影响；在最大程度上使用了三维空间的信息。

Description

融合条件随机与残差的三维U-Net大脑肿瘤分割方法

技术领域

本发明涉及数字图像处理技术领域，涉及大脑磁共振图像的处理方法，更为具体的说，是涉及一种融合条件随机与残差的三维U-Net大脑肿瘤分割方法。

背景技术

大脑磁共振图像的肿瘤分割是国际上的每年都有的一个类似比赛的项目，称为BraTS(Brain Tumor Segmentation)，这个比赛每年都会给参赛者提供临床的数据集。例如公开的BraTS2015的数据集，数据集中的所有图片都是磁共振图像(MRI)。而在这之前，分析和处理这些庞大且繁琐的磁共振图像(MRI)数据集，是通过医生或者专业研究人员通过手动提取出肿瘤的位置和肿瘤的组成成分，这样手动的分析不仅仅会消耗大量的人力和物力，而且效率低下，此外由于医生或者专业研究学者等操作人员往往带有自己的主观判断，这就给大脑的肿瘤分割结果带来了不可避免的错误。因此，近年来，计算机辅助分割大脑肿瘤成为了研究的热点，它不仅能够避免操作人员带来的主观因素造成的误差，还能解决人工分割消耗时间和精力的问题。

大脑磁共振图像的肿瘤分割作为大脑肿瘤诊断和治疗的前期工作，是一项非常重要的任务。而在神经胶质瘤中，含有四种类别的成分，分别为坏死(Necrosis)、水肿(Edema)、非增强性肿瘤(Non-Enhancing Tumor)以及增强型肿瘤(Enhancing Tumor)，在大脑磁共振图像的肿瘤分割任务中，需要将这四种成分以及背景分割出来。总所周知，分割任务实质上就是一种分类任务，而大脑磁共振图像的肿瘤分割任务也是一个五分类的任务，五类分别为坏死、水肿、非增强性肿瘤、增强型肿瘤以及其他大脑的背景成分。

因为大脑磁共振图像的肿瘤分割相对其他的二分类的分割问题较为复杂，所以手动分割大脑肿瘤的方法进行地非常缓慢，且非常繁琐，这就会给分割的结果带来误差，而且这样的误差很难消除，因此，手动分割得到的结果很难在临床大脑肿瘤的诊断和治疗上得到认可。这也就是最近几年来，大脑肿瘤自动分割越来越被需要，越来越被重视的原因。正是因为大脑结构的复杂以及大脑肿瘤分割任务的繁琐，计算机辅助的自动分割才能带来更精确的分割结果。

在深度学习应用在医学图像分割之前，根据图像的纹理特征分割，一直是分割任务的传统处理方法。在最近五年来，深度学习被大家所熟知，并且开始广泛应用在医学图像的分割上。随着卷积神经网络的快速发展，已经有多种网络模型应用在大脑磁共振图像的肿瘤分割上。在大脑磁共振图像的肿瘤分割上，方法不断更新，特别是在深度学习开始广泛应用在医学图像的分割上之后，国际上有很多研究者不断地在探索不同的网络、不同的方案，也不断地提出不同的思路。但这些方法也存在这样或那样的缺陷，例如网络层数加深虽然能够带来更为优良的分割结果，但随之带来的梯度爆炸、梯度消失和网络性能退化问题也不容忽视。

发明内容

为解决上述问题，本发明公开了使用基于多模态的三层级联网络架构，设计了一种新的大脑肿瘤分割方法，引入三层级联的结构，使得分割问题分步，比起传统直接5分类的方法更加具有优势，同时使用U-Net作为分割网络，实现端到端的大脑肿瘤分割。

为了达到上述目的，本发明提供如下技术方案：

融合条件随机与残差的三维U-Net大脑肿瘤分割方法，包括如下步骤：

步骤1，对训练集进行三层级联网络架构训练，获得卷积神经网络的模型

步骤1-1，对Flair、T1、T1c、T2四种模态磁共振图像进行预处理，磁共振图像数据为三维矩阵形式；

将原始磁共振图像进行z-core归一化，将数据转化到[0,1]之间，计算公式如下式所示：

其中x’为归一化处理之后的结果，x为输入的矩阵，mean为矩阵的均值，std为矩阵的标准差；

步骤1-2，对三维的原始磁共振图像做取图像块操作

三层网络架构的每一层的输入图像块的大小分别为16×144×144、16×96×96、16×64×64，将Flair、T1、T1c、T2这四种模态按通道的形式堆叠起来，则输入的图像块大小为4×16×144×144、4×16×96×96、4×16×64×64；

第一层网络训练时，将大脑的图像根据边界取出，把背景的信息去除，在整个大脑图像中，分割出整个脑部肿瘤；第二层网络训练时，根据ground truth的信息将肿瘤根据边界取出，在取出的肿瘤图像中训练，在肿瘤中分割出肿瘤核；第三层网络训练时，根据ground truth的信息将肿瘤核根据边界取出，在肿瘤核的图像中训练，在肿瘤核中分割出增强型肿瘤；

步骤1-3，将图像块放入卷积神经网络训练，卷积神经网络为三维的U-Net，训练若干次之后，获得卷积神经网络模型，其中卷积计算公式如下式所示：

S(i,j,k)＝(I*K)(i,j,k)＝∑_m∑_n∑_pI(m,n,p)K(i-m,j-n,k-p) (2)

其中，I为对输入的三维图像，K为三维卷积核，S为卷积结果矩阵，i、j、k指定了结果矩阵的某具体三维位置，m、n、p指定了输入矩阵的某具体三维位置；

步骤2，通过卷积神经网络模型，对测试集进行测试，获得对应大脑肿瘤每一个分类的概率矩阵

步骤2-1，在每一层测试的时候，均获得对应轴向面、冠状面和矢状面三个维度的三个概率矩阵P₁、P₂、P₃，根据下式得到这一层的概率矩阵P_res：

步骤3，对概率矩阵进行后处理

步骤3-1，对概率矩阵使用条件随机场后处理，更新概率，获得最终的大脑肿瘤分割结果，分割结果图像数据以三维矩阵的形式保存。

进一步的，所述步骤1-2中三层网络架构分别做二分类、二分类和三分类，这样能分步简化问题并且获得更好的效果。

进一步的，所述步骤1-3中三维的U-Net使用步长为2的卷积层代替了池化层，来做下采样的操作。

进一步的，所述步骤1-3中三维的U-Net中引入残差块到卷积层之中。

进一步的，所述步骤1-3在三维磁共振图像的三个维度——轴向面、冠状面和矢状面分别训练模型。

与现有技术相比，本发明具有如下优点和有益效果：

1.本发明分别通过三层级联网络架构将五分类的大脑肿瘤分割问题简化为两个二分类问题和一个三分类问题，第一层将背景和整个肿瘤分割出来，第二层在整个肿瘤中将肿瘤核和水肿部分分割出来，第三层在肿瘤核中将坏死、增强型肿瘤和非增强型肿瘤分割出来，分步简化问题并且获得更好的效果，比起传统直接5分类的方法更加具有优势。

2.本发明使用U-Net作为分割网络，实现端到端的大脑肿瘤分割，使用步长为2的卷积层代替池化层做下采样的操作，使得网络具有更好的学习能力，并且引入残差块来减小网络层数加深带来的梯度爆炸、梯度消失和网络性能退化的影响。

3.本发明在三维磁共振图像的三个维度轴向面、冠状面和矢状面分别训练模型，在最大程度上使用三维空间的信息。

4.本发明在后处理时，使用条件随机场对预测值的概率进行更新，比较全面地去考虑像素之间的关系，得出优化后的结果，这样处理之后得到的大脑肿瘤分割效果更好，相较传统方法更有优势。

附图说明

图1为本发明提供的融合条件随机与残差的三维U-Net大脑肿瘤分割方法步骤流程图。

图2为本发明提供的融合条件随机与残差的三维U-Net大脑肿瘤分割方法的整体框架图。

图3为本发明提供的融合条件随机与残差的三维U-Net大脑肿瘤分割方法使用的多模态成像图像，其中(a)、(b)、(c)、(d)、(e)分别为Flair、T1、T1c、T2四种模态的成像图像和含有标注信息的label图像的轴向面、矢状面和冠状面。

图4为本发明提供的融合条件随机与残差的三维U-Net大脑肿瘤分割方法中使用的三维的U-Net网络结构。

图5为本发明提供的融合条件随机与残差的三维U-Net大脑肿瘤分割方法中使用的残差块的结构。

图6为本发明提供的融合条件随机与残差的三维U-Net大脑肿瘤分割方法与其他传统方法的分割结果的Dice系数对比图。

图7为本发明提供的融合条件随机与残差的三维U-Net大脑肿瘤分割方法在训练模型时使用不同的迭代次数的分割结果的Dice系数对比图。

图8为本发明提供的融合条件随机与残差的三维U-Net大脑肿瘤分割方法与其他传统方法的分割结果的可视化结果图。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明提供的一种融合条件随机与残差的三维U-Net大脑肿瘤分割方法，首先将得到的大脑磁共振图像数据集分为训练集和测试集，再基于训练集和测试集进行处理，其具体流程和框架分别如图1、图2所示，包括如下步骤：

步骤1，对训练集进行三层级联网络架构训练，获得卷积神经网络的模型

步骤1-1，对如图3所示的Flair、T1、T1c、T2四种模态磁共振图像进行预处理，其中磁共振图像数据与分割结果图像数据均以三维矩阵的形式保存

将原始磁共振图像进行z-core归一化，将数据转化到[0,1]之间，计算公式如公式(1)所示：

其中x’为归一化处理之后的结果，x为输入的矩阵，mean为矩阵的均值，std为矩阵的标准差。

步骤1-2，对三维的原始磁共振图像做取图像块操作

三层网络架构的每一层的输入图像块的大小分别为16×144×144、16×96×96、16×64×64。并且，由于每个数据集都包含Flair、T1、T1c、T2四种模态图像，为了能引入多模态的信息，让网络学习的信息更加有效，将这四种模态按通道的形式堆叠起来。则输入的图像块大小为4×16×144×144、4×16×96×96、4×16×64×64。

如图2所示，第一层训练的模型是在整个大脑图像中，分割出整个脑部肿瘤，所以在训练的时候，可以将大脑的图像根据边界取出，把背景的信息去除；第二层的训练是在肿瘤中分割出肿瘤核，所以在训练时，可以根据标注的信息将肿瘤根据边界取出，在这样取出的肿瘤图像中训练即可；同样的，第三层的训练是在肿瘤核中分割出增强型肿瘤，也可以根据标注的信息将肿瘤核根据边界取出，在肿瘤核的图像中训练即可。

本步骤中三层网络架构分别做二分类、二分类和三分类，这样能分步简化问题并且获得更好的效果。

步骤1-3，将图像块放入卷积神经网络训练，这里选取的卷积神经网络为三维的U-Net，训练一定的次数之后，获得卷积神经网络模型。其中，对三维图像I作为输入，卷积核K为三维，卷积计算公式如公式(2)所示：

S(i,j,k)＝(I*K)(i,j,k)＝∑_m∑_n∑_pI(m,n,p)K(i-m,j-n,k-p) (2)

其中S为卷积结果矩阵，i、j、k指定了结果矩阵的某具体三维位置，m、n、p指定了输入矩阵的某具体三维位置，取值范围与卷积核和输入矩阵大小有关。

本步骤所使用的卷积神经网络三维的U-Net结构如图4所示，图中卷积核的个数为产生的特征图的数量，这些特征图将全部拼接在一起，作为下一层的输入。而当卷积步长为1，填充为相同填充时，会根据卷积核的大小，对特征图的边界填充0，使得输入的特征图的尺寸与卷积之后得到的特征图的尺寸相同。而当卷积步长为2，填充为相同填充，这两层的主要作用是相当于采用窗口的大小为2×2，步长为2最大池化的池化层，经过卷积之后，输出的特征图的三维尺寸均为输入特征图的一半，和池化操作一样起到了降采样的作用，但是不同于池化操作的是，这样的卷积是需要学习参数的，而不仅仅只是简单的降维操作。上采样层1和上采样层2是上采样操作，也就是转置卷积，作用是将输入的特征图尺寸放大两倍。最后的卷积输出层实际上也是一个卷积操作，只不过卷积核的数量为需要分类类别的个数，在本文中的三层级联模型的前两层中为2个，第三层为3个。每个卷积层之后都使用ReLU激活函数作为非线性激活函数。并且卷积层之后都加入批标准化(BatchNormalization)操作，这是为了解决在深度卷积神经网络中带来的数据分布不均匀的问题，批标准化还可以提高网络的泛化能力，防止过拟合的情况。通过Softmax分类器对原图像中的每一个像素点计算出属于每一个类别的概率，最后利用dice loss作为损失函数的计算。同时，引入如图5所示残差块到卷积层之中，可以减小由于网络层次加深所带来的梯度爆炸或者是梯度消失等问题，并且不给网络模型增加任何参数。假定某个卷积神经网络的输入为x，期望输出为F(x)，那么若使用残差块，则需要学习的目前就改变为G(x)＝F(x)-x，即残差。G(x)+x和F(x)的表达效果相同，但根据残差向量编码，可以知道G(x)的优化会比F(x)简单很多。而残差块中简单的加法不会给网络带来额外的参数和计算量，但却提升了训练的效率，并且解决了退化问题，来训练更深的网络。

本发明考虑在最大程度上使用三维空间的信息，在三维磁共振图像的三个维度——轴向面、冠状面和矢状面分别训练模型。

步骤2，通过步骤1得到的卷积神经网络模型，对测试集进行测试，并且获得大脑磁共振图像中对大脑肿瘤的每一个分类的概率矩阵

步骤2-1，在每一层测试的时候，都将获得对应轴向面、冠状面和矢状面三个维度的三个概率矩阵P₁、P₂、P₃，根据公式(3)可以得到这一层的概率矩阵P_res。

步骤3，对概率矩阵进行后处理

步骤3-1，对概率矩阵使用条件随机场后处理，更新概率，根据概率矩阵获得最终的大脑肿瘤分割结果。本步骤将条件随机场中的一元潜在关系和二元成对关系结合起来，比较全面地去考虑像素之间的关系，并得出优化后的结果。

本发明提供的融合条件随机与残差的三维U-Net大脑肿瘤分割方法的整体框架流程图如图2所示，使用的多模态磁共振成像数据集样例如图3中的(a)(b)(c)(d)(e)所示，使用的三维的U-Net的结构如图4所示，使用的残差块的结构如图5所示，基于多模态的三层级联网络架构的大脑肿瘤分割方法分割结果与其他传统方法的分割结果的Dice系数的比较如图6和下表1所示：

表1在BraTS2015测试集中，各个实验的Dice系数

本方法训练模型时使用不同的迭代次数的分割结果的比较如图7所示。本方法分割结果与其他传统方法的分割结果的可视化比较如图8所示。

可见，针对各种分类方法，本发明的分割结果准确率更高，效果更好。本发明构建的融合条件随机与残差的三维U-Net大脑肿瘤分割方法，相比较其他直接进行五分类的传统方法来说拥有更好的分割效果。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (4)

1.融合条件随机与残差的三维U-Net大脑肿瘤分割方法，其特征在于，包括如下步骤：

步骤1，对训练集进行三层级联网络架构训练，获得卷积神经网络的模型

步骤1-1，对Flair、T1、T1c、T2四种模态磁共振图像进行预处理，磁共振图像数据为三维矩阵形式；

将原始磁共振图像进行z-core归一化，将数据转化到[0,1]之间，计算公式如下式所示：

其中x’为归一化处理之后的结果，x为输入的矩阵，mean为矩阵的均值，std为矩阵的标准差；

步骤1-2，对三维的原始磁共振图像做取图像块操作

三层网络架构的每一层的输入图像块的大小分别为16×144×144、16×96×96、16×64×64，将Flair、T1、T1c、T2这四种模态按通道的形式堆叠起来，则输入的图像块大小为4×16×144×144、4×16×96×96、4×16×64×64；

第一层网络训练时，将大脑的图像根据边界取出，把背景的信息去除，在整个大脑图像中，分割出整个脑部肿瘤；第二层网络训练时，根据ground truth的信息将肿瘤根据边界取出，在取出的肿瘤图像中训练，在肿瘤中分割出肿瘤核；第三层网络训练时，根据groundtruth的信息将肿瘤核根据边界取出，在肿瘤核的图像中训练，在肿瘤核中分割出增强型肿瘤；

步骤1-3，将图像块放入卷积神经网络训练，卷积神经网络为三维的U-Net，三维的U-Net中引入残差块到卷积层之中；训练若干次之后，获得卷积神经网络模型，其中卷积计算公式如下式所示：

S(i,j,k)＝(I*K)(i,j,k)＝∑_m∑_n∑_pI(m,n,p)K(i-m,j-n,k-p) (2)

其中，I为对输入的三维图像，K为三维卷积核，S为卷积结果矩阵，i、j、k指定了结果矩阵的某具体三维位置，m、n、p指定了输入矩阵的某具体三维位置；

步骤2，通过卷积神经网络模型，对测试集进行测试，获得对应大脑肿瘤每一个分类的概率矩阵

步骤2-1，在每一层测试的时候，均获得对应轴向面、冠状面和矢状面三个维度的三个概率矩阵P₁、P₂、P₃，根据下式得到这一层的概率矩阵P_res：

步骤3，对概率矩阵进行后处理

步骤3-1，对概率矩阵使用条件随机场后处理，更新概率，获得最终的大脑肿瘤分割结果，分割结果图像数据以三维矩阵的形式保存。

2.根据权利要求1所述的融合条件随机与残差的三维U-Net大脑肿瘤分割方法，其特征在于，所述步骤1-2中三层网络架构分别做二分类、二分类和三分类，这样能分步简化问题并且获得更好的效果。

3.根据权利要求1所述的融合条件随机与残差的三维U-Net大脑肿瘤分割方法，其特征在于，所述步骤1-3中三维的U-Net使用步长为2的卷积层代替了池化层，来做下采样的操作。

4.根据权利要求1所述的融合条件随机与残差的三维U-Net大脑肿瘤分割方法，其特征在于，所述步骤1-3在三维磁共振图像的三个维度——轴向面、冠状面和矢状面分别训练模型。

Images