CN111192245A - 一种基于U-Net网络的脑肿瘤分割网络及分割方法 - Google Patents

Abstract

本发明公开了一种基于U‑Net网络的脑肿瘤分割网络及分割方法，分割网络的收缩路径末尾连接有空间金字塔池化结构，分割网络的网络跳跃连接部分引入不同尺度的空洞卷积，并且采用Add操作与原始输入形成一个带有空洞卷积的残差块，扩大收缩路径中的浅层特征信息的感受野，然后与对应阶段的扩张路径融合，分割方法先对训练数据集进行裁剪预处理，然后构建基于U‑Net网络的脑肿瘤分割网络DCU‑Net，然后将预处理后的二维图像输入到分割模型中进行特征学习和优化，获取分割模型的最优参数模型，最后将待分割的测试数据集图像输入分割模型中进行肿瘤区域分割；本发明能够有效解决脑肿瘤分割中的过分割与欠分割问题，提高脑肿瘤分割精度。

Description

一种基于U-Net网络的脑肿瘤分割网络及分割方法

技术领域

本发明涉及神经网络及空洞卷积技术领域，尤其涉及一种基于U-Net网络的脑肿瘤分 割网络及分割方法。

背景技术

胶质瘤是脑内最常见的原发性肿瘤之一，它们生长于胶质瘤细胞，可分为低级别胶质 瘤和高级别胶质瘤。高级别胶质瘤(HGG)对患者更具侵袭性，其预期寿命至多为两年，低级别胶质瘤(LGG)为良性或恶性，在患者体内生长较慢，预期寿命为几年。良性肿瘤 在通过手术治疗后一般能够恢复健康，恶性肿瘤则因其顽固性难以治愈，严重危害到人类 生命健康，因此如何对恶性肿瘤进行更好地诊断和治疗至关重要。

随着医学影像技术的发展，影像诊断在疾病诊断中发挥的作用越来越重要。医学影像 技术主要包括X线检查、计算机断层成像(CT)、超声(Ultrasound)和磁共振成像(MRI)等。 其中，MRI具有如下优点：(1)具有的清晰度和组织分辨率高，能够提供多种信息诊断能力，通过设置不同参数实现多个解剖部位断层成像；(2)具有非侵入性，能在患者不接受 高电离辐射的情况下提供详尽的图像形状、大小及位置等信息；(3)具有良好的软组织对 比度。因此，MRI影像在脑肿瘤的诊断、治疗和手术引导中越来越受到人们的关注。其中， 脑肿瘤分割技术在目前的诊断和治疗上效果显著，通过对脑肿瘤的分割，医生可以对脑肿 瘤的位置、大小等参数进行测量，确定肿瘤的生长状态和变化过程，还可以对脑肿瘤进行 定量分析和跟踪比较。

目前，脑肿瘤的提取一般由医生或专家根据现有的医学知识、医疗条件和临床知识进 行人工分割，这种方法耗时费力，且具有很强的主观性，分割结果因人而异。随着大规模 标记数据的出现和计算机的发展，利用深度学习算法来实现脑肿瘤的自动分割已经成为当 前研究的热点。其中，2015年，Olaf Ronneberger基于全卷积网络(FullyConvolutional Networks，FCN)模型提出了针对医学图像分割的U-Net模型。U-Net网络与FCN都拥有经典 的编码-解码拓扑结构，但是U-Net拥有对称的网络结构和跳跃连接，并且在脑肿瘤图像的 分割上U-Net的结果比FCN更加优秀。

针对脑肿瘤图像分割精度难以提升的问题，研究者在U-Net基础上进行的改进研究大致 可分为两类：基于2D U-Net构架的改进研究和基于3D U-Net构架的改进研究。

(一)基于2D U-Net构架的研究主要包括三类：

a).第一类是针对多特征尺度连接的改进。2018年，Xiao Xiao等人提出Res-Unet结构， 并用于视网膜图像的分割，Steven Guan等人将U-Net的各个子模块替换为密集连接模块， 提出Fully Dense UNet用于去除图像中的伪影，并取得了良好的效果；2019年，Nabil Ibtehaz在U-Net基础上开发了一种新颖的架构MultiRes-Unet，增加残差连接的扩展，并 提出一个残差路径(ResPath)，在ISIC、BraTS等多个数据集上验证了其良好的分割性能。

b).第二类是构建多个U-Net网路进行级联分割。2018年，Eric Caver等人提出了基于 U-Net级联结构的脑肿瘤自动分割网络，分割模型由3个U-Net级联组成，每个网络都分配 一个二分类任务，并对上一级的输出肿瘤图像进行分割，最终在BraTS 2018数据集上实验 的平均相似度系数达到0.87，同年，Zongwei Zhou等人在MICCAI中提出的UNet++，整合了 四个层的U-Net，通过深监督，抓取不同层次的特征，并在4种不同的数据集上都得到了很 好的分割效果。

c).第三类是运用多模态MRI改进U-Net进行融合分割。2018年，Longwei Fang等人提出 了一种新的运用多模态信息的三通道U-Net网络来分割网络，每个模态均在单个通路中进 行处理，最后，通过融合路径将这两个通路融合在一起，以获得最终的肿瘤分割结果。该 模型在BraTS 2018数据集上实验的平均相似度系数达到0.86。

(二)基于3D U-Net构架研究。

例如Fausto Milletari等人针对MRI图像的三维特征，提出了V-Net，它是另一种版本 的3D U-Net，设计了5×5×5的3D卷积块对MRI三维图像进行端到端的分割，并在网络中加 入残差连接，得到更加精细并且具有空间一致性的结果。2018年，Anmol Popli等人提出 的基于U-Net的3D全卷积网络脑肿瘤自动分割网络，在BraTS 2018训练和验证数据集上取 得了很好的效果；2019年，Miaofei Han等人提出了VB-Nets，采用级联的3D VNet，在2019 ISBI胸部器官分割比赛中获得冠军。

研究人员通过搭建2D网络构架将输入的三维数据进行切片化处理，将其转化为二维数 据输入，使得网络在普通的硬件设施上可以完成网络参数的快速训练，而搭建3D网络构架 可以充分利用MR图像的三维特征，获得更加精确的分割结果，但是在训练网络中由于参数 数量较大，网络很难从头训练，并且存在对GPU、内存等消耗过大的问题，对计算机硬件 设施要求较高。因此，基于2D U-Net构架的研究在脑肿瘤分割任务上更加受到研究者的青 睐。

发明内容

本发明的目的是提供一种基于U-Net网络的脑肿瘤分割网络及分割方法，能够有效解 决脑肿瘤分割中的过分割与欠分割问题，提高脑肿瘤分割精度。

本发明采用的技术方案为：

一种基于U-Net网络的脑肿瘤分割网络，包括收缩径路、扩张路径和网络跳跃连接部 分；

收缩路径包括四个下采样层，下采样层采用3×3的卷积层并且进行一次批标准化计 算，相邻两个卷积层之间进行最大池化操作，收缩路径末尾连接有空间金字塔池化结构；

扩张路径包括四个上采样层，上采样层采用3×3的卷积层并且进行放大倍数为2×2 的上采样计算，在原有图像像素的基础上在像素点之间采用双线性内插值算法插入新元素；

网络跳跃连接部分引入不同尺度的空洞卷积，并且采用Add操作与原始输入形成一个 带有空洞卷积的残差块，扩大收缩路径中的浅层特征信息的感受野，然后与对应阶段的扩 张路径融合。

进一步地，所述残差块包括四个不同尺度的空洞卷积层，每个空洞卷积层均连接对应 下采样层的输出，空洞卷积层输出结果与对应下采样层输出通过Add操作构成一个残差连 接，每个残差连接的输出结果通过Merge操作与对应低一层次的上采样数据在Z轴上进行 融合，融合后的特征图像最终用作对应上采样层的输入。

进一步地，四个空洞卷积层的采样率分别为16、8、2和4。

进一步地，所述空间金字塔池化结构包括BN模块和四个尺度的3×3的空洞卷积层， 先对输入图像进行批标准化操作并输出特征图，然后对特征图进行3×3的空洞卷积级联， 四个空洞卷积层的采样率分别为2、4、8和16。

进一步地，所述卷积层中加入了BN模块。

一种基于U-Net网络的脑肿瘤分割方法，包括以下步骤：

A、建立训练数据集并对训练数据集进行裁剪预处理，生成具有四种模态的二维图像 作为训练阶段的输入；

B、构建基于U-Net网络的脑肿瘤分割网络DCU-Net；具体过程如下：

b1：使用多尺度空间金字塔池化替换U-Net收缩路径末端的最大池化，在保持图像分 辨率的同时，扩大特征感受野；具体为：空间金字塔池化先对输入图像进行批标准化，然后分别对输入图像进行四个尺度的3×3空洞卷积级联，提取不同感受野的特征图并将特征信息进行融合，最后级联输出不同感受野抓取的特征图；

b2：在U-Net的跳跃连接部分通过Add操作引入空洞卷积残差块，然后与对应阶段的 扩张路径融合；具体为：空洞卷积层连接对应下采样层的输出，空洞卷积层输出结果与对 应下采样层输出通过Add操作构成一个残差连接，每个残差连接的输出结果通过Merge操 作与对应低一层次的上采样数据在Z轴上进行融合，融合后的特征图像最终用作对应上采 样层的输入；

C、将预处理后的二维图像输入到分割模型中进行特征学习和优化，获取分割模型的 最优参数模型；

D、将待分割的测试数据集图像输入步骤C所得分割模型中进行肿瘤区域分割，输出 分割后的图像。

进一步地，步骤C具体过程如下：

选择损失函数作为优化目标完成网络训练优化，损失函数采用交叉熵；损失函数定义 如下：

公式(1)中，y_i表示真实值，y_i ^*表示预测值；通过神经网络将真实值与预测值进行匹配，再经过损失函数就即可计算出损失；

然后，扩张路径最后使用非线性激活函数将特征转化为三个标签的概率预测值，采用 梯度下降算法进行网络权重参数优化，以达到损失最小化，完成网络参数的训练；

最后，通过Sofmax分类函数对像素点逐一进行概率映射，以得到分割好的标签概率 图输出。

进一步地，在分割测试数据集时，通过Softmax分类函数将多个神经元的原始输出值 映射为0～1的概率分布，取概率最大值作为该像素值的分类标签，最终逐像素对待分割图像进行三个肿瘤标签划分。

进一步地，步骤A具体过程如下：

a1：随机选取N位患者的MRI作为训练数据集，将大小为240×240×155的四种模态的三维MRI图像进行裁剪处理，选取中间的152层作为数据集；

a2：将152层MRI中每一层的大小由240×240裁剪为146×192，除去了部分背景像素，最终将大小为240×240×155的三维MRI图像裁剪为146×192×152的大小的三维MRI图像；

a3：对裁剪后的三维MRI图像进行强度归一化；具体为：移除每个图像序列的1％最高 强度值和1％最低强度值，采用强度归一化算法将图像中每个像素强度值减去均值除以方差， 得到强度值范围为[0，1]的标准化图像；

a4：将N张146×192×152大小的三维MRI图像以像素为中心进一步划分为8760个大 小为128×128大小的二维图像块，并进行强度归一化。

本发明具有以下有益效果：

(1)通过Add操作引入空洞卷积残差块，利用空洞卷积代替部分普通卷积操作，扩大 来自收缩路径低层次特征的感受野，更好地融合收缩路径与扩张路径的特征图像，进而实 现改进经典U-Net结构中的跳跃连接结构，在扩大感受野的同时保持图像尺寸不变，大大 减少特征信息的损失，有效提高对肿瘤细节的识别能力，以获得更加精确的脑肿瘤分割结 果；

(2)通过在收缩路径末尾引入多尺度空间金字塔池化，组合不同尺度的空洞卷积级联， 用DSPP代替最大池化，在扩大特征感受野的同时，保持特征图像的分辨率，增强对小目 标的识别检测能力，提高分割图像时细节特征的表达能力；

(3)通过在图像预处理时进行裁剪预处理，通过减少背景像素的输入，在减少计算量 的同时缓解类不平衡问题；

(4)通过在卷积层的结构中采用BN模块,通过规范化让激活函数分布在线性区间，破 坏原来的数据分布，缓解过拟合问题。

附图说明

图1为本发明中分割网络的机构示意图；

图2为空间金字塔池化的结构示意图；

图3为dilation rate为1的3×3普通卷积；

图4为dilation rate为2的空洞卷积；

图5为dilation rate为4的空洞卷积；

图6为本发明中分割方法的流程图；

图7为实施例中的实验数据集；

图8为使用训练好的DCU-Net模型对测试数据集进行脑肿瘤分割的结果；

图9为本发明中DCU-Net与DCU-Net*、DCU-Net**网络分割结果对比图；

图10为本发明中DCU-Net与DCU-Net*、DCU-Net**网络分割结果定性对比柱形图；

图11为本发明中DCU-Net与U-Net网络分割结果对比图；

图12为本发明中DCU-Net与U-Net网络分割结果定性对比柱形图。

具体实施方式

本发明公开了一种基于U-Net网络的脑肿瘤分割网络及分割方法。

分割网络包括收缩径路、扩张路径和网络跳跃连接部分；收缩路径包括四个下采样层， 下采样层采用3×3的卷积层并且进行一次批标准化计算，相邻两个卷积层之间进行最大 池化操作，收缩路径末尾连接有空间金字塔池化结构；扩张路径包括四个放大倍数为2×2 的上采样结构，在原有图像像素的基础上在像素点之间采用双线性内插值算法插入新元素； 网络跳跃连接部分引入不同尺度的空洞卷积，并且采用Add操作与原始输入形成一个带有 空洞卷积的残差块，扩大收缩路径中的浅层特征信息的感受野，然后与对应阶段的扩张路 径融合。

分割方法包括以下步骤：

A、建立训练数据集并对训练数据集进行裁剪预处理，生成具有四种模态的二维图像 作为训练阶段的输入；

B、构建基于U-Net网络的脑肿瘤分割网络DCU-Net；具体过程如下：

b1：使用多尺度空间金字塔池化替换U-Net收缩路径末端的最大池化，在保持图像分 辨率的同时，扩大特征感受野；具体为：空间金字塔池化先对输入图像进行批标准化，然后分别对输入图像进行四个尺度的3×3空洞卷积级联，提取不同感受野的特征图并将特征信息进行融合，最后级联输出不同感受野抓取的特征图；

b2：在U-Net的跳跃连接部分通过Add操作引入空洞卷积残差块，然后与对应阶段的 扩张路径融合；具体为：空洞卷积层连接对应下采样层的输出，空洞卷积层输出结果与对 应下采样层输出通过Add操作构成一个残差连接，每个残差连接的输出结果通过Merge操 作与对应低一层次上采样数据在Z轴上进行融合，融合后的特征图像最终用作对应上采样 层的输入；

C、将预处理后的二维图像输入到分割模型中进行特征学习和优化，获取分割模型的 最优参数模型；

D、将待分割的测试数据集图像输入步骤C所得分割模型中进行肿瘤区域分割，输出 分割后的图像。

为了更好地理解本发明，下面结合实施例和附图对本发明的技术方案做进一步说明。

如图1所示，本发明公开了一种基于U-Net网络的脑肿瘤分割网络DCU-Net，包括左侧的收缩径路、右侧的扩张路径、收缩路径与扩张路径之间的网络跳跃连接部分。

左侧收缩路径包括四个下采样层，下采样层采用3×3的卷积层并且进行一次批标准 化计算，相邻两个卷积层之间进行最大池化操作，为了弥补池化操作造成的局部信息丢失 问题，在收缩路径的末尾以DSPP块(空间金字塔池化结构)代替池化，扩大卷积核抓取特征的感受野，并且保持图像分辨率不变，以减少细节信息丢失。

如图1所示，收缩路径上有8个大小为3×3的普通卷积，用于对图像特征的提取，并且3次使用大小为3×3的最大池化操作，以减少参数，提高训练速度；在卷积路径上 加入批标准化，即BN模块，能够有效避免梯度消失的问题，以提高网络参数的训练速度。

批标准化(Batch Normalization,BN)是一种用于改善神经网络稳定性的技术。BN是 为了克服神经网络层数加深导致难以训练而诞生的一个算法。在神经网络中，随着输入数 据在隐含层内的逐级传递，其均值和标准差会发生改变，产生协变漂移(covariateshift) 现象。协变漂移被认为是深度网络发生梯度消失(vanishing gradient)的原因之一。BN 以引入额外学习参数为代价部分解决了此类问题，其策略是在隐含层中首先将特征标准化， 然后使用两个线性参数将标准化的特征放大作为新的输入，神经网络会在学习过程中更新 其BN参数。结合BN技术的优点，本发明在DCU-Net结构中采用BN模块,通过规范化让激 活函数分布在线性区间，破坏原来的数据分布，缓解过拟合问题。

卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每 个元素都对应一个权重系数和一个偏差量(bias vector)，类似于一个前馈神经网络的神 经元(neuron)。卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连。 卷积核在工作时，会有规律地扫过输入特征，在感受野内对输入特征做矩阵元素乘法求和 并叠加偏差量。卷积核具体工作过程如下：

公式(1)中，求和部分等价于求解一次交叉相关；其中，b为偏差量，Z^l和Z^l+1分别表示第l+1层的卷积输入和输出，也被称为特征图(feature map)，L_l+1表示Z^l+1的尺寸 大小，Z(i,j)对应特征图的像素，K为特征图的通道数，

为求解一次交叉 相关，s_0i为第i层卷积核的步长，s_0j为第j层卷积核的步长，w^l+1(x,y)为第l+1层像素点 (x,y)处对应的权重，x为输入图像像素矩阵第x行，y为输入图像像素矩阵第y列；f、s₀和p是 卷积层的参数，分别表示卷积核的大小、卷积步长(stride)和填充(padding)层数， 卷积核的大小可以被设计为3×3、5×5、11×11等任意大小。不同的尺寸，每次进行卷 积操作时覆盖的特征图区域大小是不同的，计算量也是不同的。本实施例优选采用3×3 卷积核叠加，使卷积层的参数减少，并且可以使用多个激活函数获取更丰富的特征和更强 的辨别能力。

如图2所示，空间金字塔池化结构包括BN模块和四个不同尺度的3×3的空洞卷积层， 四个空洞卷积层的采样率分别为2、4、8和16；空间金字塔池化结构先对输入图像进行批 标准化操作并输出特征图，然后对特征图进行3×3的空洞卷积级联。

经典U-Net结构的收缩路径中加入了四次最大池化操作，一方面为了减少计算量，另 一方面为了扩大感受野。但是池化操作也缩小了图像的尺寸，损失了大量的细节信息。本 发明的DCU-Net在网络收缩路径的最后用多尺度空间金字塔池化(Dilated SpatialPyramid Pooling,DSPP)取代经典U-Net中的3×3×1024卷积层，如图2所示。DSPP模 块先对输入图像进行Batch Normalization，以提高训练速度，然后分别对输入特征图进 行了四个尺度的3×3空洞卷积级联，采样率分别为2、4、8和16，提取不同感受野的特 征图并将特征信息进行融合，最后级联输出不同感受野抓取的特征图。DSPP块提高细节特 征的表达，增强对肿瘤特征的识别能力。本实施例中DSPP结构的参数如表1所示。

表1

与普通卷积相比，空洞卷积多了一个超参数dilation rate，用于规定卷积核的间隔 数量，如图3所示，普通卷积的dilation rate为1。

图3显示了经典的3×3卷积核，每次覆盖3×3大小的像素区域；图4和图5分别显示了dilation rate为2和4的空洞卷积。实际上，卷积核的大小仍然是3×3，但是卷积 每次覆盖像素区域n×n的大小可以按照以下公式计算：

n＝f+(f-1)(d-1) (2)

公式(2)中，f为卷积核大小，d为dilation rate值大小。按照公式2计算，图4 和图5中空洞卷积覆盖像素区域大小分别为5×5和9×9。对比普通卷积可以看出，空洞 卷积比普通卷积有更大特征感受野。将第l层的特征图进行卷积操作，那么，输出特征图大 小的计算公式如下：

公式(3)中，L_l和L_l+1分别表示第l、l+1层特征图的大小,s₀为空洞卷积的stride， p为padding，d为dilation rate值大小。从公式(3)中可以看出，空洞卷积可以通过 增加padding保持图像尺寸不变。在脑肿瘤分割任务上，图像输入到经典的U-Net网络中， U-Net像传统的CNN那样对图像先做卷积再进行2×2的最大池化，池化虽然可以增大感受 野，但是也会减小特征图大小，导致分辨率降低，一些信息就会丢失，此时再将上采样恢 复到原图大小时，便会影响分割精度。因此，本发明采用空洞卷积代替部分普通卷积操作， 在扩大感受野的同时保持图像尺寸不变，大大减少特征信息的损失。

右侧扩张路径包括四个放大倍数为2×2的上采样结构，在原有图像像素的基础上在 像素点之间采用双线性内插值算法插入新元素。

不同于经典U-Net的直接连接，DCU-Net在网络的跳跃连接部分，引入不同尺度的空 洞卷积，形成RD-Skip(带有空洞卷积的残差块)，以达到缩小对应收缩路径与扩张路径之 间图像分辨率差异的目的。先采用Add操作与原始输入形成一个带有空洞卷积的残差块， 扩大收缩路径中的浅层特征信息的感受野，然后与对应阶段的扩张路径融合。

残差块包括四个不同尺度的空洞卷积层，四个空洞卷积层的采样率分别为16、8、2和4，每个空洞卷积层均连接对应下采样层的输出，空洞卷积层输出结果与对应下采样层输出通过Add操作构成一个残差连接，每个残差连接的输出结果通过Merge操作与对应低一层次的上采样数据在Z轴上进行融合，即与扩张路径中对应上采样层的低一层次上采样层的上采样数据在Z轴上进行融合，融合后的特征图像最终用作对应上采样层的输入。

经典U-Net结构通过跳跃连接的connection操作，直接将高层语义信息和低层细节 信息进行联合，送入扩张路径进行分割。但是，不同阶段的特征映射分辨率不同，直接将收缩路径的特征与对应的扩张路径融合，会忽略掉浅层细节特征的表达，不利于实现肿瘤块的精细分割。本发明提出了带有空洞卷积的残差块连接(Skip Connection of Residualwith Dilated，RD-Skip)，如图1所示，其中Dilated_1至Dilated_4分别代表为采样率 为16、8、2、4的空洞卷积。将收缩路径中的浅层特征信息进一步扩大其感受野，并采用 Add操作与原始输入形成一个带有空洞卷积的残差块，然后与对应阶段的扩张路径融合， 最终得到分割好的肿瘤图像。

表2总结了DCU-Net中四个Dilated_X层的结构参数。

表2 DCU-Net中Dilated_X结构的参数

本发明还公开了一种基于上述基于U-Net网络的脑肿瘤分割网络的分割方法，分割 方法的流程如图6所示，具体包括以下步骤：

A、建立训练数据集并对训练数据集进行裁剪预处理，生成具有四种模态的二维图像作为 训练阶段的输入。

具体过程如下：

a1：随机选取20位患者的MRI作为训练数据集，将大小为240×240×155的四种模态的三维MRI图像进行裁剪处理，因为脑肿瘤大多出现在大脑的颅内区域，为了减少计算量，把大脑MRI造影的155层中的部分顶层和低层忽略不计，只选取了中间的152层作为 训练数据集；

a2：将152层MRI中每一层的大小由240×240裁剪为146×192，除去了部分背景像素，最终将大小为240×240×155的三维MRI图像裁剪为146×192×152的大小的三维MRI图像；由于脑肿瘤MRI存在严重的类不平衡问题，即肿瘤区域与健康组织区域的面积差别很大，这样的数据集参与训练，网络将很难学习到肿瘤部分的特征，因此，将152层MRI 中每一层的大小由240×240裁剪为146×192，除去了部分背景像素，在减少计算量的同 时能够缓解类不平衡问题；

a3：对裁剪后的三维MRI图像进行强度归一化；

具体为：为了使不同图像序列的强度值在一个相干范围内，移除每个图像序列的1％ 最高强度值和1％最低强度值，为了确保同一序列中不同患者MRI的最终强度分布在相似的 范围内，采用强度归一化算法将图像中每个像素强度值减去均值除以方差，得到强度值范 围为[0，1]的标准化图像；

a4：为了在有限的硬件存储环境下进行训练，将20张146×192×152大小的三维MRI 图像以像素为中心进一步划分为8760个大小为128×128大小的二维图像块，并进行强度 归一化。

B、构建基于U-Net网络的脑肿瘤分割网络DCU-Net。

DCU-Net网络架构如图1所示，DCU-Net对输入的图像块进行卷积、上采样、空洞卷积、池化、DSPP和批标准化等技术，会产生一定数量的特征映射，然后使用非线性激活 函数在网络的最后将特征转化为三个标签的概率预测值，最后通过反向传播优化算法将损 失函数最小化。

构建具体过程如下：

b1：使用多尺度空间金字塔池化替换U-Net收缩路径末端的最大池化，在保持图像分 辨率的同时，扩大特征感受野；具体为：空间金字塔池化先对输入图像进行批标准化，然后分别对输入图像进行四个尺度的3×3空洞卷积级联，提取不同感受野的特征图并将特征信息进行融合，最后级联输出不同感受野抓取的特征图；

b2：在U-Net的跳跃连接部分通过Add操作引入空洞卷积残差块，然后与对应阶段的 扩张路径融合；具体为：空洞卷积层连接对应下采样层的输出，空洞卷积层输出结果与对 应下采样层输出通过Add操作构成一个残差连接，每个残差连接的输出结果通过Merge操 作，通过四个Merge操作，将RD-Skip输出结果与对应低一层次的上采样数据在Z轴上进行融合，融合后的特征图像最终用作对应上采样层的输入。

激活函数可以得到输入特征图Z^l+1的非线性变换结果。本发明优选采用线性整流函数 (ReLU)作为激活函数。ReLU是一种人工神经网络中常用的激活函数，定义如下：

F_l+1＝max(0,Z^l+1) (4)

与经典的Tanh、Sigmoid等方法相比，Relu算法具有更好的训练效果。ReLU会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系， 缓解了过拟合问题的发生，并且加快了训练收敛速度。

C、利用标签值和预处理后大小为128×128的二维图像块对分割模型进行训练，获取分割 模型的最优参数模型。

具体过程如下：

选择损失函数作为优化目标完成网络训练优化，损失函数采用交叉熵；损失函数定义 如下：

公式(5)中，y_i表示真实值，y_i ^*表示预测值；通过神经网络将真实值与预测值进行匹配，再经过损失函数就即可计算出损失；

然后，扩张路径最后使用非线性激活函数将特征转化为三个标签的概率预测值，采用 梯度下降算法进行网络权重参数优化，以达到损失最小化，完成网络参数的训练；

最后，通过Sofmax分类函数对像素点逐一进行概率映射，以得到分割好的标签概率 图输出。

将大小240×240×155的测试数据集输入参数已经训练好的DCU-Net中进行肿瘤区域 的分割。分类任务常用的分类函数有Sigmoid和Softmax,其中,Softmax是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。

在分割测试数据集时，通过Softmax分类函数将多个神经元的原始输出值映射为0～1 的概率分布，取概率最大值作为该像素值的分类标签，最终逐像素对待分割图像进行三个 肿瘤标签划分。

D、将待分割的测试数据集图像输入步骤C所得分割模型中进行肿瘤区域分割，输出分割 后的图像。

下面通过具体实验数据对本发明的技术效果进行进一步论述。

实验数据集是由BRATS 2018提供的351名患者真实数据，其中，训练集有210例患有高级胶质瘤，另外75例患有低级胶质瘤；验证集包括有66例级别不明的脑肿瘤患者图像。实验数据中，每一个患者都有四种模态MR扫描序列图像，分别是FLAIR，T1，T1c， T2。每一个MRI图像的维度是155×240×240。所有图像都以有符号的16位整数存储，但 只使用非负值。每个数据在像素级上被标记为4类，分别是正常组织(或者背景)，坏死 和非增强肿瘤，水肿，增强肿瘤。

如图7所示，自下而上的前四个图像依次是同一切片的四个模态(FLAIR，T1，T1c，T2)，最上方一个是真值标签，由经验丰富的专家手动分割出的脑肿瘤。

根据BRATS 2018数据集中的协议，对于每一个患者的脑肿瘤区域，可进一步分为三 个子区域进行描述，并且分配不同的标签，如表3所示。

表3肿瘤分割区域

为了定量评价分割结果，通常采用三种指标：DSC评分、灵敏度(Sensitivity)和特异 度(Specificity)。其中每一项规定如下：

(1)DSC(Dice Similarity Coefficient，DSC)。DSC是衡量金标准分割和预测分割的重复率的指标，它被定义为：

(2)灵敏度(Sensitivity)。灵敏度为分割正确的肿瘤点所占真值肿瘤点的比例，它被 定义为：

(3)特异度(Specificity)。特异度为分割错误的肿瘤点所占非肿瘤点的比例，它被定 义为：

上述定义中，TP代表真阳性体素的数目，FP代表假阳性体素的数目，TN代表真阴性体素的数目，FN代表假阴性体素的数目。值得注意的是，DSC评分可以作为Specificity 和Sensitivity的综合评价标准。

随机选取BraTS 2018数据集中的50例脑肿瘤患者的MR图像作为训练集。在训练阶段，使用Keras深度学习框架对训练集进行模型参数的学习，选择的较小的初始学习率为1e-4，将批处理的大小设置为8，对预处理阶二维图像块进行训练训练集与验证集的数据量之比为4：1。实验采用5-fold cross-validation来验证模型的性能，对数据进行100 周期的训练。为了评价本发明提出的DCU-Net模型的性能，设计了两组对比实验：

在第一组实验中，分别训练DCU-Net、DCU-Net*、DCU-Net**网络，并对测试集图像的 进行分割。其中DCU-Net*表示将DCU-Net结构中的DSPP部分替换为U-Net中的3×3×1024 的卷积块；DCU-Net**表示将DCU-Net结构中的RD-Skip部分替换为经典connection操作 的跳跃连接。将分割的结果通过评价指标进行对比，证明本文提出的DSPP模块和RD-Skip 模块的优越性。

在第二组实验中，分别训练DCU-Net和U-Net网络，并对测试集图像进行分割，将分割后的结构通过评价指标进行对比，证明DCU-Net较U-Net可以对肿瘤区域实现更加精确的分割。

本实验环境采用基于TensorFlow的Keras深度学习框架，实验机器使用Intel(R)Core (TM)i7-8700CPU 3.20G Hz的处理器，以及NVIDIA GeForce GTX l060的GPU。

实验随机选取BraTS 2018测试集中的20例脑肿瘤患者的MR图像作为测试集，使用训练好的DCU-Net模型对测试图像进行脑肿瘤分割，分割结果如图8所示。

图8的第一行为患者的脑部图T2模态成像，第二行为由经验丰富的专家手动分割对 应患者的肿瘤部分，称为金标准(Ground Truth，GT)，第三行为实验使用DCU-Net网络对患者MR图像的肿瘤分割结果。通过GT图像与DCU-Net网络分割后的图像对比，可以看 出本文提出的网络结构在肿瘤分割任务上的表现还是很出色的，能够较好的将第二行图像对应的水肿区域、核心肿瘤、增强肿瘤分割出来。

实验一：DCU-Net与DCU-Net*、DCU-Net**网络分割结果对比：

实验使用相同的训练集，使用训练好的DCU-Net*、DCU-Net**网络对同样的测试数据 集进行肿瘤分割，将DCU-Net*、DCU-Net**网络和DCU-Net网络的分割结果进行对比，如图9所示。其中，GT-1至GT4表示金标准，DCU-1至DCU-4表示由本发明提出的DCU-Net 结构进行分割的结果，A-1至A-4表示由DCU-Net*网络进行分割的结果，B-1至B4表示由 DCU-Net**网络进行分割的结果。

分割结果对比的图像分为四组，包括：GT图像、DCU网络分割结果、DCU*网络分割结果和DCU**网络分割结果。对比分割结果的第2列、第3列和第4列，以GT分割图像为标 准，圈出的同样肿瘤区域中，DCU-Net的分割轮廓比其他两个网络更清晰准确，进一步说 明，DCU-Net结构中的RD-Skip连接和DSPP块，能够改善网络对脑肿瘤边界的分割效果， 减少假阳、假阴的分割结果。

实验进一步按照主要评价指标DSC对DCU-Net、DCU-Net*和DCU-Net**的分割结果进 行定性评价，如图10所示。从对比图中可以清楚看到，DCU-Net结构对整个肿瘤的分割准确度较高，尤其是对核心肿瘤和增强肿瘤区域的分割准确度提升比较多，可以证明本文设计的RD-Skip连接和DSPP块提高了肿瘤区域的分割的精确度。

实验二：DCU-Net与U-Net网络分割结果对比：

实验使用相同的训练集，选择并使用训练好的U-Net网络对同样的测试数据集进行肿 瘤分割，将U-Net网络和DCU-Net网络的分割结果同金标准进行对比，如图11所示。其中GT-1至GT4表示金标准，DCU-1至DCU-4表示由本发明提出的DCU-Net结构进行分割的 结果，U-1至U-4表示由经典U-Net网络进行分割的结果。分割结果对比的图像分为三组， 包括：GT图像、DCU网络分割结果和U网络分割结果。对比分割结果的第2列和第3列， 以GT分割图像为标准，圈出的同样肿瘤区域中，可以看出DCU-Net在对脑肿瘤细节的分 割效果比U-Net更加出色，在对肿瘤核心部分的分割更加精准，尤其是不同肿瘤间隔部分 的划分更加准确，能够保证脑肿瘤分割的完整性和准确性。

实验进一步按照主要评价指标DSC对DCU-Net和U-Net的分割结果进行定性评价，如 图12所示。从对比图中可以清楚看到，DCU-Net结构对整个肿瘤的分割准确度较高，尤其是对增强肿瘤区域的分割准确度提升比较多，可以证明本文提出的DCU-Net比U-Net分割效果更好，提高了肿瘤边缘细节的分割的精确度。

为了进一步评价本发明的性能，在使用同样的BraTS 2018训练数据集前提下，我们 将DCU-Net与近年来优秀的脑肿瘤分割算法进行了比较。表4列出了本发明提出的DCU-Net 模型和其他模型的评价结果。

表4与经典脑肿瘤分割结方法定性比较

由表4可以看出，没有一种算法可以在全部肿瘤区域的所有评价指标中排名第一，但 是DCU-Net模型在大多数指标上都有很好的性能，并且在这些算法中，有几个指标排名第 一。

具体来说，本发明提出的DCU-Net结构由于空洞卷积的加入，使得特征感受野扩大， 对整个肿瘤的分割准确度较高，并且表4中DSC指标排名第一，并且可以较准确地拟合GT 图像，完成增强肿瘤和核心肿瘤部分体素的分割。

在Sensitivity指标上，DCU-Net排名是中等的，对比第一名Xiaocuhan Li的方法，由于其设计了结合多模态信息的分割网络，对肿瘤体素的分割正确率较高，DCU-Net在对肿瘤体素的分割正确率排名中等，在核心肿瘤区域的分割上还有较大的提升空间。

在Specificity指标上，由于DCU-Net在对数据集进行了裁剪的预处理，缓解了类不 平衡问题，提高了肿瘤体素的占比，与其他方法比较，较大缓解了肿瘤区域的过分割和欠 分割问题。因此，DCU-Net分割结果的特异度指标较高，在表格中排名第一。

经过上述验证，本发明所公开的DCU-Net算法在整个肿瘤区域的分割结果成绩优异， 与经典的U-Net分割算法相比，本文的算法结构更加精细，能有效解决脑肿瘤分割的过分 割与欠分割问题，分割结果精度较高。

Claims (9)

1.一种基于U-Net网络的脑肿瘤分割网络，其特征在于：包括收缩径路、扩张路径和网络跳跃连接部分；

收缩路径包括四个下采样层，下采样层采用3×3的卷积层并且进行一次批标准化计算，相邻两个卷积层之间进行最大池化操作，收缩路径末尾连接有空间金字塔池化结构；

扩张路径包括四个上采样层，上采样层采用3×3的卷积层并且进行放大倍数为2×2的上采样计算，在原有图像像素的基础上在像素点之间采用双线性内插值算法插入新元素；

网络跳跃连接部分引入不同尺度的空洞卷积，并且采用Add操作与原始输入形成一个带有空洞卷积的残差块，扩大收缩路径中的浅层特征信息的感受野，然后与对应阶段的扩张路径融合。

2.根据权利要求1所述的基于U-Net网络的脑肿瘤分割网络，其特征在于：所述残差块包括四个不同尺度的空洞卷积层，每个空洞卷积层均连接对应下采样层的输出，空洞卷积层输出结果与对应下采样层输出通过Add操作构成一个残差连接，每个残差连接的输出结果通过Merge操作与对应低一层次的上采样数据在Z轴上进行融合，融合后的特征图像最终用作对应上采样层的输入。

3.根据权利要求2所述的基于U-Net网络的脑肿瘤分割网络，其特征在于：四个空洞卷积层的采样率分别为16、8、2和4。

4.根据权利要求2所述的基于U-Net网络的脑肿瘤分割网络，其特征在于：所述空间金字塔池化结构包括BN模块和四个尺度的3×3的空洞卷积层，先对输入图像进行批标准化操作并输出特征图，然后对特征图进行3×3的空洞卷积级联，四个空洞卷积层的采样率分别为2、4、8和16。

5.根据权利要求2所述的基于U-Net网络的脑肿瘤分割网络，其特征在于：所述卷积层中加入了BN模块。

6.一种基于权利要求2所述基于U-Net网络的脑肿瘤分割网络的分割方法，其特征在于：包括以下步骤：

A、建立训练数据集并对训练数据集进行裁剪预处理，生成具有四种模态的二维图像作为训练阶段的输入；

B、构建基于U-Net网络的脑肿瘤分割网络DCU-Net；具体过程如下：

b1：使用多尺度空间金字塔池化替换U-Net收缩路径末端的最大池化，在保持图像分辨率的同时，扩大特征感受野；具体为：空间金字塔池化先对输入图像进行批标准化，然后分别对输入图像进行四个尺度的3×3空洞卷积级联，提取不同感受野的特征图并将特征信息进行融合，最后级联输出不同感受野抓取的特征图；

b2：在U-Net的跳跃连接部分通过Add操作引入空洞卷积残差块，然后与对应阶段的扩张路径融合；具体为：空洞卷积层连接对应下采样层的输出，空洞卷积层输出结果与对应下采样层输出通过Add操作构成一个残差连接，每个残差连接的输出结果通过Merge操作与对应低一层次的上采样数据在Z轴上进行融合，融合后的特征图像最终用作对应上采样层的输入；

C、将预处理后的二维图像输入到分割模型中进行特征学习和优化，获取分割模型的最优参数模型；

D、将待分割的测试数据集图像输入步骤C所得分割模型中进行肿瘤区域分割，输出分割后的图像。

7.根据权利要求6所述的基于U-Net网络的脑肿瘤分割方法，其特征在于：步骤C具体过程如下：

选择损失函数作为优化目标完成网络训练优化，损失函数采用交叉熵；损失函数定义如下：

公式(1)中，y_i表示真实值，y_i ^*表示预测值；通过神经网络将真实值与预测值进行匹配，再经过损失函数就即可计算出损失；

然后，扩张路径最后使用非线性激活函数将特征转化为三个标签的概率预测值，采用梯度下降算法进行网络权重参数优化，以达到损失最小化，完成网络参数的训练；

最后，通过Sofmax分类函数对像素点逐一进行概率映射，以得到分割好的标签概率图输出。

8.根据权利要求7所述的基于U-Net网络的脑肿瘤分割方法，其特征在于：在分割测试数据集时，通过Softmax分类函数将多个神经元的原始输出值映射为0～1的概率分布，取概率最大值作为该像素值的分类标签，最终逐像素对待分割图像进行三个肿瘤标签划分。

9.根据权利要求6所述的基于U-Net网络的脑肿瘤分割方法，其特征在于：步骤A具体过程如下：

a1：随机选取N位患者的MRI作为训练数据集，将大小为240×240×155的四种模态的三维MRI图像进行裁剪处理，选取中间的152层作为数据集；

a2：将152层MRI中每一层的大小由240×240裁剪为146×192，除去了部分背景像素，最终将大小为240×240×155的三维MRI图像裁剪为146×192×152的大小的三维MRI图像；

a3：对裁剪后的三维MRI图像进行强度归一化；具体为：移除每个图像序列的1％最高强度值和1％最低强度值，采用强度归一化算法将图像中每个像素强度值减去均值除以方差，得到强度值范围为[0，1]的标准化图像；

a4：将N张146×192×152大小的三维MRI图像以像素为中心进一步划分为8760个大小为128×128大小的二维图像块，并进行强度归一化。

Images