CN112598656A - 一种基于UNet++优化和权值预算的脑肿瘤分割算法 - Google Patents

Abstract

针对脑肿瘤磁共振成像（MRI）多模态精准分割，3D脑肿瘤分割网络比2D脑肿瘤分割网络在学习过程中，更好保存中间层信息，分割效果更好，但是在肿瘤内部组织分割时，效果总是差强人意。引入基于UNet网络改进的UNet++网络，利用其网络结构连结紧密的特点，提高了脑肿瘤内部组织分割精度。再在其中加入残差模块解决信息损失和网络训练时退化的问题，从而构造合适的网络结构。但是构建的网络结构复杂训练时间缓慢，在此基础上利用权值预算，解决了其训练缓慢的同时也提高了分割精度。实验结果表明改进的网络对于脑肿瘤内部分割效果良好，并具有比典型脑肿瘤分割方法更优的性能。

Description

一种基于UNet++优化和权值预算的脑肿瘤分割算法

技术领域

本发明提出一种基于深度学习的脑肿瘤分割算法，采用的是一种基于UNet++优化和权值预算的脑肿瘤分割算法。改进的UNet++网络模型可用于更精确地分割脑肿瘤核磁共振图像，它可以在保证整体分割精度的同时，对脑肿瘤内部组织更精确的分割。权值预算的使用，可以解决UNet++网络结构复杂导致的训练时间缓慢问题，同时对于脑肿瘤内部组织分割，比直接训练效果更佳。

背景技术

目前，医院在制定放疗计划时普遍采用手工勾画的方式来确定放疗靶区。然而，手工勾画存在诸多弊端：一方面，医生的筛查过程非常耗时；另一方面，由于恶性肿瘤的侵入性生长在图像中边界并不明显。同时，不同医生对同一个病人的脑肿瘤图像或是同一个医生在不同时期对同一个病人的脑肿瘤图像的分割结果存在一定的差异。脑肿瘤分割由于其大小、形状和结构的变化，以及邻近组织和设备噪声的影响，准确地从MRI脑图像定位和分割肿瘤是非常具有挑战性的。研究肿瘤图像的精准分割方法，为肿瘤靶区的勾画提供快捷且重复性较高的方案，成为图像引导放疗技术领域的一个重要研究分支。

随着深度学习技术的不断突破，基于深度学习的自动图像分割方法也取得了长足的发展。特别是UNet网络结构的出现，对医疗图像的分割取得了巨大进展。同时计算机硬件设备的发展，使得3D图像分割得以实现，分割精度进一步提升。但是UNet网络存在语义信息不全面和上下文信息联系不紧密的问题，同时3D脑肿瘤分割普遍存在脑肿瘤内部结构分割精度低。

发明内容

本发明所解决的技术问题是针对UNet网络存在语义信息不全面和上下文信息联系不紧密的问题和3D脑肿瘤分割存在脑肿瘤内部结构分割精度低的问题，提出一种基于UNet++优化和权值预算的脑肿瘤分割算法，使用UNet++网络模型使得UNet网络的语义信息不全面和上下文信息联系不紧密在一定程度上由于其紧密网络结构被解决，从而使得3D脑肿瘤分割的脑肿瘤内部组织分割效果更佳。权值预算使得UNet++网络模型由于网络结构复杂导致的训练速度缓慢问题被解决，同时分割精度也会更好。

为了实现上述目的，本发明的技术方案如下：

一种基于UNet++优化和权值预算的脑肿瘤分割算法，包括以下步骤：

步骤一：数据预处理，将数据集根据需求改为网络可训练的大小；

步骤二：构建改进的3DUNet网络模型，用该模型对测试图像进行分割，获取脑肿瘤图像分割结果，保存最终的网络权值；

步骤三：建立改进的3DUNet++网络模型，保留其优秀的密集连接；

步骤四：使用保存的改进UNet网络模型的最终权重，作为改进的3DUNet++网络模型的初始权重进行训练，获取脑肿瘤图像分割结果。

所述步骤一中的具体过程如下：

（1）由于图片太大，将数据分块，分块大小为16×160×160；

（2）BraTS2018和BraTS2019数据集每个病例有四个模态(t1、t2、flair、t1ce)。因为每个模态核磁共振图片的成像方式不同，从而图像的对比度也就有差异，从而采用Z-score方法分别标准化每个模态的图像，图像减去均值除以标准差，利用Z-score标准化：

其中μ为所有样本数据的均值，σ为所有样本数据的标准差；

（3）背景在整幅图像中占的比例较大，并且背景区域也不是分割目标区域，从而对其进行剪裁，去除无效区域；

（4）在标准化和分块后，将四个模态合并成四个通道，保存后其大小为16×160×160×4。相对应的Mask在分块后，将三个标签合并成三个嵌套的子区域，最后再合并为三个通道，分别为WT、TC、ET，数值大小为0或1，最后保存大小为16×160×160×3。

所述步骤二中的具体情况如下：

（1）使用3DUNet网络加上残差模块构成脑肿瘤分割网络模型：

①搭建改进3DUNet脑肿瘤分割网络模型；

②一个残差块可以用表示为：

残差块分成两部分直接映射部分和残差部分，其中

为直接映射部分，

为残差部分；

训练采用了混合损失函数BCEDiceLoss，它是由二分类的交叉熵（binary_cross_entropy）和医学影像损失Dice Loss组合而成：

计算二分类的交叉熵的具体过程：

首先对损失输入进行判断。医生标注的分割图片已经被预处理为0或1，对应的是二分类问题，实际网络模型训练的输出（损失输入）每一个点即为一个结点，根据这个结点是否大于0.5来做二分类；

再根据损失输入和预处理后的医生分割图片对应结点计算交叉熵：

其中，p为预处理后的医生分割图片期望输出，t为实际网络模型训练的输出；

计算医学影像损失Dice Loss的具体过程：

首先了解Dice系数的定义，Dice系数是一种集合相似度度量函数，通常用于计算两个样本的相似度，取值范围在[0，1]：

其中 |X∩Y| 是X和Y之间的交集，|X|和|Y|分表表示X和Y的元素的个数；其中，分子的系数为2，是因为分母存在重复计算X和Y之间的共同元素的原因；

根据Dice系数定义的Dice Loss：

再为Dice Loss添加一个拉普拉斯平滑（Laplace smoothing） ，因为它是一个可选改动值，这里将它取值为1e-5，即将分子分母全部加 1e-5：

拉普拉斯平滑带来的好处为避免当|X|和|Y|都为0时，分子被0除的问题和减少过拟合；

最终混合损失定义为：

综上使用此混合损失函数保证了Dice系数精度，即分割结果较好，同时确保分割结果对比专家的勾勒结果误差小；

构建的网络模型使用3次下采样和3次上采样保留原始的U形对称结构，每次上采样和下采样过程中使用两次3D卷积，卷积核大小为3，每次卷积后使用一次归一化（BatchNorm，BN）和一次非线性Relu，下采样使图片大小变为原来的1/2，上采样使图片大小变为原来的2倍，并在最后一次下采样和第一次上采样之前加入一次残差模块，防止网络过深信息丢失和网络退化；

在上面的网络模型后再加入一次3D卷积，使通道数变为3，使输出与处理后的医生标注图片一致；

（2）将数据集放入网络进行训练和评估，得到最优的网络分割结果，并将该网络最优分割结果的权值保存。

所述步骤三中的具体情况如下：

（1）使用3DUNet++网络加上残差模块构成脑肿瘤分割网络模型：

①搭建改进3DUNet++脑肿瘤分割网络模型；

②构建的网络模型使用3次下采样和6次上采样，每次上采样和下采样过程中使用两次3D卷积，卷积核大小为3，每次卷积后使用一次归一化（BatchNorm，BN）和一次非线性Relu，下采样使图片大小变为原来的1/2，上采样使图片大小变为原来的2倍，并在最后一次下采样和第一次上采样之前加入一次残差模块，防止网络过深信息丢失和网络退化；

UNet++整体编码过程和解码过程与UNet加残差模块一致，不同的地方是在一次上采样模块后，原本是直接和对应前面低尺度叠加，即长连接，而UNet++在保留长连接的同时加入了一系列的短连接，直接的长连接通过将特征在通道维度拼接在一起，关联了图片的很多信息，它是必要的。但是直接的长连接，它连接的一个是浅层次的特征而另一个是深层次的特征，从而导致语义信息不全面和上下文信息联系不紧密，加入短连接可以很好地解决这一问题，从而使得分割结果更好；

（2）在上面的网络模型后再加入一次3D卷积，使通道数变为3，使输出与处理后的医生标注图片一致。

所述步骤四中的具体情况如下：

（1）改进的UNet网络模型和改进的UNet++网络模型存在完全相同的网络部分，用已训练的改进UNet分割网络的权值作为初始权重，代入改进的UNet++网络模型的相同模块，将数据集放入网络进行训练，得到最优的网络分割结果；

（2）将分割结果进行一次sigmoid，将分割结果变为0和1，进行拼接，再根据三通道定义还原成单通道，即得到分割结果图。

与现有技术相比，本发明技术方案的有益效果是：

（1）本发明基于卷积神经网络，将UNet++网络模型和残差模块进行结合，解决了脑肿瘤内部组织分割不精确的问题；

（2）本发明通过利用权值预算的方法，解决了直接使用UNet++加残差模块导致的网络复杂带来的网络训练速度缓慢问题，同时利用权值预算也会比单独使用改进的UNet++网络模型分割效果更好。

附图说明

图1为本发明的方法流程图；

图2为本发明所改进的UNet权值预算的网络模型；

图3为本发明所改进的UNet++的网络模型。

具体实施方式

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。

本发明提供了一种基于UNet++优化和权值预算的脑肿瘤分割算法，该方法实现了对脑肿瘤的整个肿瘤、肿瘤核心和增强型肿瘤核心的分割，为脑肿瘤核磁共振图像的高精度的重复性测量和评估提供更精确的肿瘤图像分割图。

图1为本发明的方法流程图，首先是图像预处理，将BraTS2018和BraTS2019变为网络所需的输入；然后是构建改进的UNet网络模型，并用它对数据训练，保存效果最好的网络权值；接下来根据UNet++和残差模块的特点构建所需的网络模型；最后是将训练好的改进的UNet网络模型权重作为初始参数代入改进的UNet++网络模型，训练改进的UNet++网络模型，实现分割任务。

具体的实现步骤为：

Step1.1 将数据分块；

Step1.2 采用Z-score方法分别标准化每个模态的图像，图像减去均值除以标准差；

利用Z-score标准化：

其中μ为所有样本数据的均值，σ为所有样本数据的标准差；

Step1.3 对图像进行剪裁，去除无效区域；

Step1.4 将四个模态合并成四个通道，保存后其大小为16×160×160×4。相对应的Mask在分块后，将三个标签合并成三个嵌套的子区域，最后合并为三个通道，分别为WT、TC、ET，数值大小为0或1，最后保存大小为16×160×160×3；

Step2.1 使用3DUNet网络加上残差模块构成脑肿瘤分割网络模型；

Step2.1.1 构建的网络模型使用3次下采样和3次上采样保留原始的U形对称结构，每次上采样和下采样过程中使用两次3D卷积，卷积核大小为3，每次卷积后使用一次归一化（BatchNorm，BN）和一次非线性Relu，下采样使图片大小变为原来的1/2。上采样使图片大小变为原来的2倍，并在最后一次下采样和第一次上采样之前加入一次残差模块，防止网络过深信息丢失和网络退化；

一个残差块可以用表示为：

残差块分成两部分直接映射部分和残差部分，其中

为直接映射部分，

为残差部分；

Step2.1.2 在上面的网络模型后再加入一次3D卷积，使通道数变为3，使输出与处理后的医生标注图片一致；

Step2.2 将数据集放入网络进行训练和测试，得到最优的网络分割结果，并将该网络最优分割结果的权值保存；

训练采用了混合损失函数BCEDiceLoss，它是由二分类的交叉熵（binary_cross_entropy）和医学影像损失Dice Loss组合而成；

计算二分类的交叉熵的具体过程：

首先对损失输入进行判断。医生标注的分割图片已经被预处理为0或1，对应的是二分类问题，实际网络模型训练的输出（损失输入）每一个点即为一个结点，根据这个结点是否大于0.5来做二分类；

再根据损失输入和预处理后的医生分割图片对应结点计算交叉熵：

其中，p为预处理后的医生分割图片期望输出，t为实际网络模型训练的输出；

计算医学影像损失Dice Loss的具体过程：

首先了解Dice系数的定义，Dice系数是一种集合相似度度量函数，通常用于计算两个样本的相似度，取值范围在[0，1]：

其中 |X∩Y| 是X和Y之间的交集，|X|和|Y|分表表示X和Y的元素的个数；其中，分子的系数为2，是因为分母存在重复计算X和Y之间的共同元素的原因；

根据Dice系数定义的Dice Loss：

再为Dice Loss添加一个拉普拉斯平滑（Laplace smoothing） ，因为它是一个可选改动值，这里将它取值为1e-5，即将分子分母全部加 1e-5：

拉普拉斯平滑带来的好处为避免当|X|和|Y|都为0时，分子被0除的问题和减少过拟合；

最终混合损失定义为：

综上使用此混合损失函数保证了Dice系数精度，即分割结果较好。同时确保分割结果对比专家的勾勒结果误差小；

Step3.1 使用3DUnet++网络加上残差模块构成脑肿瘤分割网络模型；

Step3.1.1 构建的网络模型使用3次下采样和6次上采样，每次上采样和下采样过程中使用两次3D卷积，卷积核大小为3，每次卷积后使用一次归一化（BatchNorm，BN）和一次非线性Relu，下采样使图片大小变为原来的1/2。上采样使图片大小变为原来的2倍，并在最后一次下采样和第一次上采样之前加入一次残差模块，防止网络过深信息丢失和网络退化；

Step3.1.2 UNet++整体编码过程和解码过程与UNet加残差模块一致，不同的地方是在一次上采样模块后，原本是直接和对应前面低尺度叠加，即长连接，而UNet++在保留长连接的同时加入了一系列的短连接，直接的长连接通过将特征在通道维度拼接在一起，关联了图片的很多信息，它是必要的。但是直接的长连接，它连接的一个是浅层次的特征而另一个是深层次的特征，从而导致语义信息不全面和上下文信息联系不紧密，加入短连接可以很好地解决这一问题，从而使得分割结果更好；

Step3.2 在上面的网络模型后再加入一次3D卷积，使通道数变为3，使输出与处理后的医生标注图片一致；

Step4.1 改进的Unet网络模型和改进的UNet++网络模型存在完全相同的网络部分，用已训练的改进UNet分割网络的权值作为初始权重，代入改进的UNet++网络模型的相同模块，将数据集放入网络进行训练和测试，得到最优的网络分割结果。训练仍采用了混合损失函数BCEDiceLoss；

Step4.2 将分割结果进行一次sigmoid，将分割结果变为0和1，进行拼接，再根据三通道定义还原成单通道，即得到分割结果图。

Claims (5)

1.一种基于UNet++优化和权值预算的脑肿瘤分割算法，其特征在于，包括以下步骤：

Step 1：数据预处理，将数据集根据需求改为网络可训练的大小；

Step 2：构建改进的3DUNet网络结构，用该模型对测试图像进行分割，获取脑肿瘤图像分割结果，保存最终的网络权值；

Step 3：建立改进的3DUNet++网络结构，保留其优秀的密集连接，同时删除一些不必要的结构；

Step 4：使用保存的改进的UNet网络模型的最终权重，作为改进的3DUnet++网络结构的初始权重进行训练，获取脑肿瘤图像分割结果。

2.根据权利要求1所述的一种基于UNet++优化和权值预算的脑肿瘤分割算法，其特征在于，所述Step 1中的具体过程如下：

Step1.1 将数据分块；

Step1.2 采用Z-score方法分别标准化每个模态的图像，图像减去均值除以标准差；

利用Z-score标准化：

其中μ为所有样本数据的均值，σ为所有样本数据的标准差；

Step1.3 对图像进行剪裁，去除无效区域；

Step1.4 将四个模态合并成四个通道，保存后其大小为16×160×160×4；

相对应的Mask在分块后，将三个标签合并成三个嵌套的子区域，最后合并为三个通道，分别为WT、TC、ET,数值大小为0或1，最后保存大小为16×160×160×3。

3.根据权利要求1所述的一种基于UNet++优化和权值预算的脑肿瘤分割算法，其特征在于，所述Step 2中的具体过程如下：

Step2.1 使用3DUNet网络加上残差模块构成脑肿瘤分割网络模型；

Step2.1.1 构建的网络模型使用3次下采样和3次上采样保留原始的U形对称结构，每次上采样和下采样过程中使用两次3D卷积，卷积核大小为3，每次卷积后使用一次归一化（BatchNorm，BN）和一次非线性Relu，下采样使图片大小变为原来的1/2；

上采样使图片大小变为原来的2倍，并在最后一次下采样和第一次上采样之前加入一次残差模块，防止网络过深信息丢失和网络退化；

一个残差块可以用表示为：

残差块分成两部分直接映射部分和残差部分，其中

为直接映射部分，

为残差部分；

Step2.1.2 在上面的网络模型后再加入一次3D卷积，使通道数变为3，使输出与处理后的医生标注图片一致；

Step2.2 将数据集放入网络进行训练和测试，得到最优的网络分割结果，并将该网络最优分割结果的权值保存；

训练采用了混合损失函数BCEDiceLoss，它是由二分类的交叉熵（binary_cross_entropy）和医学影像损失Dice Loss组合而成；

计算二分类的交叉熵的具体过程：

首先对损失输入进行判断；

医生标注的分割图片已经被预处理为0或1，对应的是二分类问题，实际网络模型训练的输出（损失输入）每一个点即为一个结点，根据这个结点是否大于0.5来做二分类；

再根据损失输入和预处理后的医生分割图片对应结点计算交叉熵：

其中，p为预处理后的医生分割图片期望输出，t为实际网络模型训练的输出；

计算医学影像损失Dice Loss的具体过程：

首先了解Dice系数的定义，Dice系数是一种集合相似度度量函数，通常用于计算两个样本的相似度，取值范围在[0，1]：

其中 |X∩Y| 是X和Y之间的交集，|X|和|Y|分表表示X和Y的元素的个数；其中，分子的系数为2，是因为分母存在重复计算X和Y之间的共同元素的原因；

根据Dice系数定义的Dice Loss：

再为Dice Loss添加一个拉普拉斯平滑（Laplace smoothing），因为它是一个可选改动值，这里将它取值为1e-5，即将分子分母全部加 1e-5：

拉普拉斯平滑带来的好处为避免当|X|和|Y|都为0时，分子被0除的问题和减少过拟合；

最终混合损失定义为：

综上使用此混合损失函数保证了Dice系数精度，即分割结果较好，同时确保分割结果对比专家的勾勒结果误差小。

4.根据权利要求1所述的一种基于UNet++优化和权值预算的脑肿瘤分割算法，其特征在于，所述Step 3中的具体过程如下：

Step3.1 使用3DUnet++网络加上残差模块构成脑肿瘤分割网络模型；

Step3.1.1 构建的网络模型使用3次下采样和6次上采样，每次上采样和下采样过程中使用两次3D卷积，卷积核大小为3，每次卷积后使用一次归一化（BatchNorm,BN）和一次非线性Relu，下采样使图片大小变为原来的1/2；上采样使图片大小变为原来的2倍，并在最后一次下采样和第一次上采样之前加入一次残差模块，防止网络过深信息丢失和网络退化；

Step3.1.2 UNet++整体编码过程和解码过程与UNet加残差模块一致，不同的地方是在一次上采样模块后，原本是直接和对应前面低尺度叠加，即长连接，而UNet++在保留长连接的同时加入了一系列的短连接，直接的长连接通过将特征在通道维度拼接在一起，关联了图片的很多信息，它是必要的；但是直接的长连接，它连接的一个是浅层次的特征而另一个是深层次的特征，从而导致语义信息不全面和上下文信息联系不紧密，加入短连接可以很好地解决这一问题，从而使得分割结果更好；

Step3.2 在上面的网络模型后再加入一次3D卷积，使通道数变为3，使输出与处理后的医生标注图片一致。

5.根据权利要求1所述的一种基于UNet++优化和权值预算的脑肿瘤分割算法，其特征在于，所述Step 4中的具体过程如下：

Step4.1 改进的UNet网络模型和改进的UNet++网络模型存在完全相同的网络部分，用已训练的改进UNet分割网络的权值作为初始权重，带入改进的UNet++网络模型的相同模块，将数据集放入网络进行训练，得到最优的网络分割结果，训练使用混合损失函数BCEDiceLoss；

Step4.2 将分割结果进行一次sigmoid，将分割结果变为0和1，进行拼接，再根据三通道定义还原成单通道，即得到分割结果图。

Images