CN112200791A

CN112200791A - 基于U-Net架构的深度残差网络的脑肿瘤分割方法

Info

Publication number: CN112200791A
Application number: CN202011113199.0A
Authority: CN
Inventors: 黄传波; 刘传领; 丁华立
Original assignee: Individual
Current assignee: Jining University
Priority date: 2020-10-17
Filing date: 2020-10-17
Publication date: 2021-01-08
Anticipated expiration: 2040-10-17
Also published as: CN112200791B

Abstract

本发明公开了一种基于U‑Net架构的深度残差网络的脑肿瘤分割方法，包括以下步骤：S1：构建深度残差网络的组合卷积块。S2：构建实施三分支结构模型的分支结构网络。S3：组合形成三分支结构模型的整体网络。本发明的优点是：可以更有效地防止网络性能下降，可以更好地提高网络性能。另外，对每个模态图像数据进行标准化，裁剪和去除无病灶图像数据，最后将其合并为多通道数据。因此，实验结果表明该算法具有先进的性能。大大提高肿瘤分割效果。

Description

基于U-Net架构的深度残差网络的脑肿瘤分割方法

技术领域

本发明涉及医学图像分割和深度学习技术领域，特别涉及一种基于U-Net架构的深度残差网络的脑肿瘤分割方法。

背景技术

大脑磁共振图像(MRI)的定量分析已成为许多神经系统疾病的常规检查方法，并且是结构性大脑分析的首选方法，因为此类图像对软组织具有高对比度和高空间分辨率，没有已知的健康风险。MRI的基本原理是，人体中的每个氢质子都可以看作是一块小磁铁，磁场中的氢原子核所产生的信号由计算机处理以重建图像。MRI信号可以准确显示中枢神经系统的解剖结构、肿瘤和其他病变的位置、区域的大小以及与其他周围组织的相对位置关系。在MRI中，正常组织主要是脑脊液，灰质和白质。患病的组织主要包括水肿，肿瘤以及肿瘤内部的囊性和坏死性部分。由于MRI的成像参数取决于所检查组织的化学环境因素，因此MRI不仅可以提供有关人体解剖结构和病理变化的信息，而且还可以提供有关器官功能和分子水平的诊断信息。对于中枢神经系统，MRI已成为临床诊断颅内肿瘤的主要方法。随着3D和4D成像变得越来越普遍，并且随着生理成像的增加，医学图像数据集的大小和复杂性也在不断增加。因此，有必要开发工具以从这些大数据集中提取辅助诊断信息。从这个角度出发，MRI是当前医学影像研究领域的重点。脑部MRI的定量分析已广泛用于表征精神分裂症，癫痫症，脑外伤，脑血管疾病，癌症和变性疾病等脑部疾病。为了量化病变组织，需要对脑组织进行分割和相应的测量。此外，脑组织分割也是区分脑区域和结构的重要前提。

脑肿瘤分割的精准度更是医生诊断患者病症信息的关键。脑肿瘤结构复杂、形状多变、灰度不均匀以及在不同的患者身上表现出相当大的差异性。人工分割MRI脑肿瘤图像耗时耗力,并且常常会受到主观差异的影响,而精确分割三维脑肿瘤MR图像对于脑肿瘤的诊断，治疗以及术后追踪都有着非常重要的意义。

文献[3]中提出的分割算法主要考虑减少网络的权数，防止过度拟合，并设计更深的体系结构以探索3×3小核的使用，采用泄漏整流线性单元(LReLU)作为激活函数。然后，在图像数据的预处理过程中研究强度归一化，在一定程度上改善了分割结果。文献[1]在U-net的基础上进行了改进，通过广义Dice损失函数(GDLF)和加权交叉熵函数(WCEF)的组合来构建损失函数，以解决脑肿瘤中类别失衡的问题。这两种方法和标准的U-net方法都没有充分考虑残差学习在深度学习网络中的重要作用。

参考文献

[1]Kermi A.,Mahmoudi I.,Khadir M.T.Deep Convolutional Neural NetworksUsing U-Net for Automatic Brain Tumor Segmentation in Multimodal MRIVolumes.BrainLes 2018.Lecture Notes in Computer Science,vol 11384.pp.37–48,2019.Springer,Cham；

[2]K.He,X.Zhang,S.Ren,and J.Sun.,Deep residual learning for imagerecognition.in Proc.CVPR,Jun.2016,pp.770–778；

[3]Sérgio Pereira*,Adriano Pinto,Victor Alves,and CarlosA.Silva.Brain Tumor Segmentation Using Convolutional Neural Networks in MRIImages.IEEE TRANSACTIONS ON MEDICAL IMAGING,VOL.35,NO.5,MAY 2016,pp:1240-1251；

[4]Olaf Ronneberger,Philipp Fischer,and Thomas Brox.U-Net:Convolutional Networks for Biomedical Image Segmentation.SpringerInternational Publishing,2015,9351:234-241。

发明内容

本发明针对现有技术的缺陷，提供了一种基于U-Net架构的深度残差网络的脑肿瘤分割方法，解决了现有技术中存在的缺陷。

为了实现以上发明目的，本发明采取的技术方案如下：

一种基于U-Net架构的深度残差网络的脑肿瘤分割方法，包括以下步骤：

S1：构建深度残差网络的组合卷积块。具体可细分为以下几步：

S11：将块的输入分成两个分支，为叙述方便我们称其为：分支A1和分支A2，对分支A1进行1×1卷积，以获取特征图数与分支A2经过处理后得到的特征图数相同，便于完成加融合，即：两组图像对应元素相加，以便维持梯度的大小，提高网络的深度。

S12：分支A2先进行批量归一化(BN)，就是对神经网络中某一层的每一批输入值进行归一化，BN步骤主要分为三步：

a)从输入x减去批平均值μ，实现零中心分布，

b)将公式(1)的结果除以批方差，并加小数ε以防止被零除。这样可以确保所有激活输入的分布方差为1。

c)对等式(2)获得的值进行线性变换。因此，尽管网络在反向传播期间发生了变化，但是仍可以确保这种归一化效果。

在此,α和δ分别是可以通过学习获得其值的向量参数。

S13：对归一化层输出的特征图进行3×3核卷积,并使用ReLU作为激活函数。卷积运算：对特征图中的每一个像素，计算以该像素为中心，与卷积核大小一致的局部窗口内的像素和卷积核的内积，将其作为该像素的新值。以此方法遍历图像中的每一个像素，就完成了一次滤波，获得一个与原图像尺寸一样的新特征图。卷积核是一个3×3的小矩阵，计算过程用公式可以表示如下：

其中，(m,n)是对应卷积核的中心像素坐标，m＝1,2,3,…height，n＝1,2,3,…width，在此height，width分别是图像的高和宽。t，f，g分别是新图像，原图像和卷积核矩阵。

在此，我们使用ReLU作为激活函数，引入非线性因素。

S14：将上一步的输出分成两个分支，我们在此称为分支A3和分支A4。首先，将A1经1×1卷积核的卷积输出与A3进行加融合，即：对它们对应的像素值进行加运算。其次，将经加融合后的输出再进行归一化(同第S12步)，然后再将其输出进行3×3卷积核的卷积，并用ReLU激活函数，引入非线性因素(同第S13步)。

S15：将第S14：步的输出与分支A4进行加融合(方法同上述)。这样我们就可以得到深度残差网络的组合卷积块。

S2：构建实施三分支结构模型的分支结构网络。具体为以下子步骤：

S21：输入四模态脑肿瘤图，沿两个分支传递，分别是分支B1与分支B2。对于分支B2采用32个3×3卷积核进行卷积运算，获取新的特征图，并使用ReLU激活函数。具体做法与S1中的步聚S13相同。对其输出再进行批归一化，具体做法与S1中的步聚S12相同。再进行32个3×3卷积核的卷积运算，将其结果与分支B1经过归一化和32个1×1卷积核的卷积运算结果进行加融合。我们将其输出分为两个通路，一个是B3，一个是B4。

S22：在此对B4进行最大池化，运用池化将信息合并减少冗余信息。最大池化的前向传播是把2×2的池化窗中最大的值传递给后一层，而其他像素的值直接被舍弃掉，在反向传播时就是把梯度直接传给前一层某一个像素，而其他像素不接受梯度，也就是为0。

S23：步骤S22的输出进入分支B5和B6。B6经64核的组合残差块处理输出的特征图与B5用64个1×1卷积核的卷积运算结果进行加融合。

S24：上步加融合的输出进入分支B7和B8。对B8进行最大池化(具体步骤同上)，其输出再经两个分支，B9和B10。B10经128核的组合残差块处理输出的特征图与B9用128个1×1卷积核的卷积运算结果进行加融合。

S25：步骤S24中的加融合的输出进入分支B11和B12。对B12进行最大池化(具体步骤同上)，其输出再经两个分支，B13和B14。B14经256核的组合残差块处理输出的特征图与B13用256个1×1卷积核的卷积运算结果进行加融合。

S26：步骤S25中的加融合的输出进入分支B15和B16。对B16进行最大池化(具体步骤同上)，其输出再经512核的组合残差块处理，输出的特征图再经256核的逆卷积。由于脑肿瘤分割需要做原始图片尺寸空间的预测，池化降低了图片大小，因而需要通过上采样的方法将特征图还原到原始图像尺寸，逆卷积充当的就是此角色。逆卷积相对于卷积在神经网络结构的正向和反向传播中做相反的运算。

S27：步骤S26的结果与原分支B15的特征图进行连接运算，即：把特征图堆到一起。

S28：步骤S27的结果再进行256核的组合残差块处理，输出的特征图再经128核的逆卷积。

S29步骤S28的结果与原分支B11的特征图进行连接运算。将其结果再进行128核的组合残差块处理，输出的特征图再经64核的逆卷积。

S210：步骤S29结果与原分支B7的特征图进行连接运算。将其结果再进行64核的组合残差块处理，输出的特征图再经32核的逆卷积。

S211：步骤S210的结果与原分支B3的特征图进行连接运算。将其结果再进行32核的组合残差块处理，输出的特征图再经1核的卷积，并使用Sigmoid激活函数。Sigmoid是常用的非线性的激活函数，它的数学形式如下：

它能够把输入的连续实值“压缩”到0和1之间。到此我们就可以得到二值分割结果。

S3：组合形成三分支结构模型的整体网络。具体可细分为以下几步：

S31：对分割后的大脑图像进行预处理对每个序列的强度进行归一化。裁剪图像，去除脑区域周围的背景区域。丢弃不包含病变的部分。将每个模态的切片相应组合为多个通道，最后保存为numpy(图像的数组表示形式)，并将其相应类别的切片直接保存为numpy。

S32：由三个S2步形成的残差网络分别作为三个分支，分别用于区分肿瘤的ET，WT和TC。它将复杂的三类分割方法分解为三个简单的二类分割。最后，将三个二类分割结果融合在一起。

S33：融合采用的规则是，如果像素的WT，TC和ET的预测值均为1，则我们认为它属于ET。如果像素的WT和TC的预测值均为1，而ET的预测值为0，则我们认为它属于TC。如果像素的ET和TC的预测值均为0，而WT的预测值为1，则认为它属于WT。这样我们就可以获得一个脑肿瘤三类分割图像。

与现有技术相比，本发明的优点在于：使用残差单元作为构建深度学习网络的基本模块，并借鉴了SVM的多分类模型的思想。使用三个两分类模型来实现MRI脑肿瘤分离的工作一方面，可以更有效地防止网络性能下降，另一方面，可以更好地提高网络性能。另外，本发明中的方法还对每个模态图像数据进行标准化，裁剪和去除无病灶图像数据，最后将其合并为多通道数据。因此，实验结果表明该算法具有先进的性能。

随着网络深度的增加，逐步增加所有基于残差单元特征图的策略可使模型获得更多类型的属性，并最终大大提高肿瘤分割效果。该模型通过三个两类分割通道完成了相应肿瘤区域的分割，并结合了每个通道的分割结果以实现最终的分割，从而有助于识别多肿瘤区域并实现有效的分割。

附图说明

图1是本发明实施例网络中的组合残差块结构图；

图2是本发明实施例分支的网络结构图，图中的数字表示相关卷积层中卷积内核的数量；

图3是本发明实施例三分支结构模型的整体组成结构图；

图4是本发明实施例HGG和LGG测试数据集中的四种算法的定性分析结果图；

图5是本发明实施例HGG测试集中的四种算法的定性分析效果图；

图6是本发明实施例LGG测试集中的四种算法的定性分析效果图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。

本发明提出的脑肿瘤分割过程是基于卷积神经网络的学习算法。该方法的框架包括以下三个主要步骤：3D MRI数据预处理，神经网络训练以及将训练后的算法模型应用于预测脑肿瘤的结构。

A.预处理

在分割之前，通常需要对分割后的大脑图像进行预处理，以消除无关信息的影响，从而提高图像分割结果的可靠性。实际上，即使同一患者的MRI都收集在同一台扫描仪上，但MRI在不同的时间或病理条件下会有所不同。因此，为了使患者和获取的图像之间的强度和对比度更加相似，我们对每个序列的强度进行归一化。对于BRATS 2018数据库中的MRI序列(https://www.med.upenn.edu/sbia/br ats2018/data.html),它可以分为两部分，大脑区域和背景。尽管背景信息通常占据整个图像的很大一部分，但它对任何分割都没有帮助。图像中的肿瘤区域所占比例较小，因此会发生严重的数据不平衡。

为了增强模型分割的能力，在此处裁剪图像，并尽可能去除脑区域周围的背景区域。由于某些切片不包含病变部分，因此为了减轻类别不平衡的问题，我们将其丢弃。由于MRI数据是多模态的，因此每个模态的切片应组合为多个通道，最后保存为numpy(图像的数组表示形式)，并将其相应类别的切片直接保存为numpy。

B.提出的神经网络训练

在图像分割的应用中，卷积层的主要活动在于将图像与核进行卷积以获得特征图。因此，每层特征图的单位特征是通过核的权重映射到下一层。神经网络主要用于实现复杂函数，而非线性激活函数的使用使它可以近似任何复杂函数。非线性激活函数可以增加神经网络的非线性，如果激活函数未引入非线性，则多层CNN等效于单层CNN。因此，通常将非线性激活函数用于神经单元输出。

图3说明了本发明提出的三分支体系结构的主要组件。该网络的三个分支分别区分了肿瘤的ET，WT和TC。它将复杂的三类分割方法分解为三个简单的二类分割。最后，将三个二类分割结果融合在一起。如果像素的WT，TC和ET的预测值均为1，则我们认为它属于ET。如果像素的WT和TC的预测值均为1，而ET的预测值为0，则我们认为它属于TC。如果像素的ET和TC的预测值均为0，而WT的预测值为1，则认为它属于WT。

随着网络层数的增加，所获取的特征变得更加抽象和详细，网络的泛化能力也越来越强。因此，可以通过增加网络层数来提高精度并进一步减少错误。但是，网络层数的增加将导致梯度消失，这可能会成为建立深层网络的障碍，从而导致无法收敛。

为此，何等人[2]提出了一种残差网络架构，以在网络层之间引入前一层的信息，以促进训练并解决降级问题。该残差网络有助于优化网络训练过程，并能够有效地增加网络模型的深度。在这里，我们还借鉴[2]中的方法，并使用残差单元构建我们的深度学习网络。图1说明了我们提出的深度残差网络中组合卷积块的结构。

利用残差神经网络和U-Net的优势，本发明针对脑肿瘤分割提出了一种新的深层残差网络架构。在图2中，显示了其结构。采用以下策略来提高网络训练的效率，同时减少过度拟合。以下概念是CNN的重要方面：

1)批量归一化:我们采用批量归一化对神经网络中每一层的输入值进行归一化，以解决训练过程中输入数据布局漂移的问题。批处理规范化是近年来人工智能算法研究的一项重要成就，并且其有效性和重要作用已经得到了证明。随着网络层数的增加，非线性转换前的深度学习网络的输入激活值将逐渐移动。通常，当整体数据分布接近非线性函数范围的边界时，神经网络的梯度将在反向传播过程中消失。批归一化是通过某种归一化方法来实现的，对于网络中的每一层，输入数据的总体布局都被强制拉回到正态分布，方差为1，平均值为0。目的是使激活函数对应于对非线性函数敏感的数值区域。这将导致输入值的微小变化，使损失函数值产生较大的变化，近而使梯度增大并防止梯度消失的问题。另外，增加梯度可以使深度学习网络提高收敛速度，从而大大减少了训练时间。

其数学解释如下：

首先，在训练过程中，我们从激活输入x，减去批平均值μ实现零中心分布。

其次，将公式(1)的结果除以批次方差和小数ε以防止被零除。这样可以确保所有激活输入的分布方差为1。

第三，我们线性变换由等式(2)获得的值。因此，尽管网络在反向传播期间发生了变化，但是仍可以确保这种标准化效果。

在此,α和δ分别是可以通过学习获得其值的向量参数。

2)池化层:池化层是在卷积层之后使用的特征提取层。运用池化技术，可将由卷积而获得的微小邻接区域的特征集成，以获得新颖的特征。池化不仅增加了特征集成的程度，而且减少了毫无价值的参数并降低了时间复杂度。滑动卷积窗口时，卷积值代表整个窗口的特征。由于滑动窗口在移动过程中可能会产生重叠区域，因此将形成一些冗余信息。运用池化将信息合并是为了减少冗余信息，合并是一种以较高抽象水平表示图像特征的有效方法。

3)激活函数:深度学习算法基于卷积神经网络。信息特征通过非线性激活函数从网络层侵入到下一层网络，直到到达输出层并被输出为止。正是由于非线性激活函数的重复叠加，神经网络才具有足够的能力来提取复杂的特征。激活函数的选择取决于对优化整个网络的参数是否有益。整流线性单位(ReLU)是取最大值的函数。尽管它并不复杂，但却非常有效。已经发现它比更经典的双曲正切或S形函数有更好的表现。ReLU不仅解决了梯度消失的问题，而且具有非常快的计算速度。因此，我们在本发明提出的框架中利用ReLU作为激活函数。

4)损失函数:神经网络采用反向传播来实现优化。该优化方法基本上通过导数完成了误差反向传播。网络算法模型计算输出层中的当前损失，然后通过导数将损失逐层传递到上层网络，并修改相关参数，以达到减少失配的目的。损失函数是一种用于机器学习的方法，用于评估模型对给定数据的拟合程度。预测值与实际结果之间的差异越大，损失函数值就越大。优化损失函数通常采用梯度下降法，以使预测值接近真实值。因此，损失函数的优缺点将对深度学习模型的能力产生重大影响。Dice损失函数适用于样本极度不平衡的情况。脑肿瘤分割中的样本恰好极度不平衡，但是，当仅使用Dice损失作为损失函数时，对于太小的肿瘤，梯度易于发生剧烈变化。因此，在本发明我们组合使用二进制交叉熵与Dice损失，构造新的损失函数来提高模型分割的准确性。Dice系数被用作度量数据相似度的度量函数。公式表示如下：

S的值范围是[0,1]。对于我们的分割任务，X代表真实分割图像，Y代表预测的分割结果。|X|和|Y|分别表示X和Y中的元素数。分子中的系数2是由于对分母X和Y之间的公共元素进行了重复计算。Dice损失函数的公式表示为：

那么，组合损失函数由以下公式表示：

BCEDL＝0.001*BCE+DL (6)

在此，BCEDL表示组合损失函数，BCE代表交叉熵损失函数，DL表示Dice损失函数。

5)微调:为了获得最优的分割效果，必须使高度非线性的损失函数最小化。我们使用Adam(自适应矩估计)，根据优化算法计算参数的自适应学习率。Adam算法对随机目标函数执行逐步优化。该方法是在自适应低阶矩估计的基础上建立的。Adam算法的优点主要体现在：易于实现，较低的内存需求和较高的计算效率。由于Adam的算法具有梯度对角缩放不变性，因此非常适合处理大数据问题。

简而言之，在本发明提出的网络模型的主要架构中，它主要包含2个3×3卷积层，8个复合卷积块，4个池化层，5个1×1卷积层和4个逆卷积，详情参考图2。

IV.实验设计

我们将通过实验评估本发明提出的脑肿瘤分割算法的能力。

A.实验数据库

为了评估脑肿瘤分割的最新技术以及比较不同算法的性能，我们利用BRATS2018数据库来确认不同的算法。BRATS 2018数据库中的训练集有285个案例，每个案例都包含四个可用的MR图像序列(flair，t1，t2，t1ce)。MRI序列包含155张图片，每张图片的大小为240×240。BRATS数据来自许多不同的机构，并使用不同的MRI扫描仪获取。BRATS数据集包含两个部分：LGG(低级神经胶质瘤)和HGG(高级神经胶质瘤)。HGG是低分化的神经胶质瘤，是恶性肿瘤，患者的预后较差。LGG是高度分化的神经胶质瘤。尽管这种类型的肿瘤在生物学上不是良性的，但患者的预后相对较好。在BRATS 2018中，人工分割可以识别肿瘤内部结构的四个部分：没有增强的肿瘤，坏死，浮肿和增强的肿瘤。但是，我们仅评估三个部分：ET，TC和WT。为了确认模型的通用性和学习效果，我们将BRATS 2018数据集组合为三个不同的数据集用于本发明中的实验。这三个数据集是：由HGG和LGG组成的混合数据集，仅由HGG组成的数据集和仅由LGG组成的数据集。

B.超参数设置

图2显示了本发明提出的网络结构中的一些参数。其余的在表I中进行了描述。n-LGG_HGG，n-LGG和n-HGG分别表示从HGG和LGG混合数据，LGG数据和HGG数据中进行训练的样本数量。

表.1本发明提出方法的超参数

C.实验评估指标

在这里，我们将模型的预测值二值化为一个掩码，并将生成的掩码与事实的掩码进行比较，以评估分割算法的能力。我们采用了三个实验评估指标：交并比(IOU)，召回率和Dice系数(DC)，这是在统计分类中用于评估结果质量的三个指标。令TN，FN，TP和FP分别代表真阴性，假阴性，真阳性和假阳性的数目。这三个评估指标可以定义如下：

在基于深度学习的图像分割研究中，IoU是衡量图像分割准确性的主要指标。只要是在输出中获得预测范围的任务，就可以将IoU用于测量。IOU用于测量实际值与预测结果之间的相关性。相关性越高，该值越大。IOU的计算公式为：

召回代表正确预测为正样本的数据占整个数据集中所有正样本的比例。召回度量的是有多少个阳性病例归为阳性病例，计算公式如下：

DC是评估医学图像分割结果的常用方法之一，并且有时被用作损失函数，权衡预测结果与实际值之间的差异。基于TP，FP，TN和FN的概念，我们在此处重写公式(4)Dice系数的计算公式：

实验与分析

在此，本发明提出的方法与相应文献中提供的两种不同的脑肿瘤分割方法进行了比较：1)文献[1]运用基于U-Net的深CNN，对多模式MRI进行自动脑肿瘤分割；2)文献[3]利用卷积神经网络在MRI图像中分割脑肿瘤。此外，我们还对比了原始的U-Net模型算法。在实验的比较算法中，所有超参数均以原始方式设置。考虑到基于BRATS 2018的上述三个数据集，我们提供了三个不同的实验来检查本发明提出的算法的性能和比较方法。

实验1:在该实验中，为了评估本发明提出的算法的能力，使用组合了HGG和LGG图像的数据集。在这里，采用5倍交叉验证方法。我们从合并的数据集中获取了8000张图像，其中80％的图像用于训练，而20％的图像用于验证，并选取了另外2,000张图像进行测试。实验的定量分析结果显示在表2中。图4显示了测试数据集中患者肿瘤分割的定性分析结果的实例。

表2四种方法的定量分析的实验结果，采用5交叉验证方法，分别进行30轮训练

图4.案例的四种模式，即T1，T1C，T2和Flair，真实分割以及每种算法在由HGG和LGG图像组成的测试数据集中的相应分割效果。在此，图4a、图4b、图4c和图4d分别代表四种模式(t1，t2，t1ce，flair)的样本图像。图4e代表真实脑肿瘤MRI结构。图4f、图4g、图4h和图4i分别显示了U-net方法、S.Pereira等的2016[3]方法、Kermi A等的2019[1]方法以及本发明提出方法等的分割效果。

实验2:在第二个实验中，由HGG数据集组成的训练数据集和测试数据集被用于训练和测试中。该实验使用了HGG数据集的6000张图像，其中80％的图像用于训练，而20％的数据用于验证。另外，使用了来自HGG数据集的1000张图像进行测试。图5显示了在测试集中获得的定性分析效果。表2显示了5倍交叉验证的定量分析结果。

图5.对于由HGG数据集组成的测试数据，案例的flair模式图，真实分割图以及每种算法的相应分割效果。在此，图5a代表flair模式的样本图像。图5b表示真实脑肿瘤MRI。图5c、图5d、图5e和图5f分别表示U-net方法、S.Pereira等2016[3]方法、Kermi A等2019[1]方法、以及本发明提出方法的分割效果。

实验3:LGG数据集中也验证了本发明提出的分割方法。我们使用5倍交叉验证方法从LGG数据集中获取4000张图像进行训练，其中80％用于训练，而20％用于验证。此外，还从LGG数据集中获取了800张图像进行测试。表2显示了LGG训练数据集中这四种方法的定量比较结果。图6说明了LGG测试集中的四种算法的定性分析效果。

图6.LGG测试数据集案例的flair模式图，真实分类图和每种算法的相应分割效果。在此，图6a代表flair模式的样本图像。图6b表示真实脑肿瘤MRI。图6c、图6d、图6e和图6f分别显示了U-net方法、S.Pereira等2016[3]方法，Kermi A等2019[1]方法，以及本发明提出方法的分割效果。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims

1.一种基于U-Net架构的深度残差网络的脑肿瘤分割方法，其特征在于，包括以下步骤：

S1：构建深度残差网络的组合卷积块；具体可细分为以下几步：

S11：将块的输入分成两个分支，为叙述方便我们称其为：分支A1和分支A2，对分支A1进行1×1卷积，以获取特征图数与分支A2经过处理后得到的特征图数相同，便于完成加融合，即：两组图像对应元素相加，以便维持梯度的大小，提高网络的深度；

S12：分支A2先进行批量归一化，对神经网络中某一层的每一批输入值进行归一化，

S13：对归一化层输出的特征图进行3×3核卷积,并使用ReLU作为激活函数；卷积运算：对特征图中的每一个像素，计算以该像素为中心，与卷积核大小一致的局部窗口内的像素和卷积核的内积，将其作为该像素的新值；以此方法遍历图像中的每一个像素，就完成了一次滤波，获得一个与原图像尺寸一样的新特征图；卷积核是一个3×3的小矩阵，计算过程用公式可以表示如下：

其中，(m,n)是对应卷积核的中心像素坐标，m＝1,2,3,…height，n＝1,2,3,…width，在此height，width分别是图像的高和宽；t，f，g分别是新图像，原图像和卷积核矩阵；

在此，使用ReLU作为激活函数，引入非线性因素；

S14：将上一步的输出分成两个分支，在此称为分支A3和分支A4；首先，将A1经1×1卷积核的卷积输出与A3进行加融合，即：对它们对应的像素值进行加运算；其次，将经加融合后的输出再进行归一化，然后再将其输出进行3×3卷积核的卷积，并用ReLU激活函数，引入非线性因素；

S15：将第S14：步的输出与分支A4进行加融合；得到深度残差网络的组合卷积块；

S2：构建实施三分支结构模型的分支结构网络；具体为以下子步骤：

S21：输入四模态脑肿瘤图，沿两个分支传递，分别是分支B1与分支B2；对于分支B2采用32个3×3卷积核进行卷积运算，获取新的特征图，并使用ReLU激活函数；具体做法与S1中的步聚S13相同；对其输出再进行批归一化，具体做法与S1中的步聚S12相同；再进行32个3×3卷积核的卷积运算，将其结果与分支B1经过归一化和32个1×1卷积核的卷积运算结果进行加融合；将其输出分为两个通路，一个是B3，一个是B4；

S22：在此对B4进行最大池化，运用池化将信息合并减少冗余信息；

S23：步骤S22的输出进入分支B5和B6；B6经64核的组合残差块处理输出的特征图与B5用64个1×1卷积核的卷积运算结果进行加融合；

S24：上步加融合的输出进入分支B7和B8；对B8进行最大池化，其输出再经两个分支，B9和B10；B10经128核的组合残差块处理输出的特征图与B9用128个1×1卷积核的卷积运算结果进行加融合；

S25：步骤S24中的加融合的输出进入分支B11和B12；对B12进行最大池化，其输出再经两个分支，B13和B14；B14经256核的组合残差块处理输出的特征图与B13用256个1×1卷积核的卷积运算结果进行加融合；

S26：步骤S25中的加融合的输出进入分支B15和B16；对B16进行最大池化，其输出再经512核的组合残差块处理，输出的特征图再经256核的逆卷积；由于脑肿瘤分割需要做原始图片尺寸空间的预测，池化降低了图片大小，因而需要通过上采样的方法将特征图还原到原始图像尺寸，逆卷积充当的就是此角色；逆卷积相对于卷积在神经网络结构的正向和反向传播中做相反的运算；

S27：步骤S26的结果与原分支B15的特征图进行连接运算，即：把特征图堆到一起；

S28：步骤S27的结果再进行256核的组合残差块处理，输出的特征图再经128核的逆卷积；

S29步骤S28的结果与原分支B11的特征图进行连接运算；将其结果再进行128核的组合残差块处理，输出的特征图再经64核的逆卷积；

S210：步骤S29结果与原分支B7的特征图进行连接运算；将其结果再进行64核的组合残差块处理，输出的特征图再经32核的逆卷积；

S211：步骤S210的结果与原分支B3的特征图进行连接运算；将其结果再进行32核的组合残差块处理，输出的特征图再经1核的卷积，并使用Sigmoid激活函数；Sigmoid是常用的非线性的激活函数，它的数学形式如下：

它能够把输入的连续实值“压缩”到0和1之间；到此就可以得到二值分割结果；

S3：组合形成三分支结构模型的整体网络；具体可细分为以下几步：

S31：对分割后的大脑图像进行预处理对每个序列的强度进行归一化；裁剪图像，去除脑区域周围的背景区域；丢弃不包含病变的部分；将每个模态的切片相应组合为多个通道，最后保存为numpy，并将其相应类别的切片直接保存为numpy；

S32：由三个S2步形成的残差网络分别作为三个分支，分别用于区分肿瘤的ET，WT和TC；它将复杂的三类分割方法分解为三个简单的二类分割；最后，将三个二类分割结果融合在一起；

S33：融合采用的规则是，如果像素的WT，TC和ET的预测值均为1，则我们认为它属于ET；如果像素的WT和TC的预测值均为1，而ET的预测值为0，则我们认为它属于TC；如果像素的ET和TC的预测值均为0，而WT的预测值为1，则认为它属于WT；这样我们就可以获得一个脑肿瘤三类分割图像。

2.根据权利要求1所述的一种基于U-Net架构的深度残差网络的脑肿瘤分割方法，其特征在于，所述批量归一化步骤分为三步：

a)从输入x减去批平均值μ，实现零中心分布，

b)将公式(1)的结果除以批方差，并加小数ε以防止被零除；这样可以确保所有激活输入的分布方差为1；

c)对等式(2)获得的值进行线性变换；因此，尽管网络在反向传播期间发生了变化，但是仍可以确保这种归一化效果；

在此,α和δ分别是可以通过学习获得其值的向量参数。

3.根据权利要求1所述的一种基于U-Net架构的深度残差网络的脑肿瘤分割方法，其特征在于：最大池化具体为：最大池化的前向传播是把2×2的池化窗中最大的值传递给后一层，而其他像素的值直接被舍弃掉，在反向传播时就是把梯度直接传给前一层某一个像素，而其他像素不接受梯度，也就是为0。