CN112634192A - 一种结合小波变换的级联U-N Net脑肿瘤分割方法 - Google Patents

Abstract

本发明公开了一种结合小波变换的级联U‑N Net脑肿瘤分割方法，包括以下步骤：S1、对输入的图像序列进行预处理；图像序列包括四种模态数据FLAIR、T2、T1、T1C以及标注数据；S2、利用Pytorch深度学习框架建立级联型网络的第一层，对结合小波变换的U‑Net模型进行训练，然后将模型的训练结果与模态数据T1和T1C进行相乘处理，生成粗分割图像；S3、利用Pytorch深度学习框架建立级联型网络的第二层，对结合小波变换的N‑Net模型进行训练，生成精分割图像，即最终的脑肿瘤分割结果。本发明既能提高分割效率，又能解决脑肿瘤MRI分割中肿瘤边界模糊、分割精度低等问题。

Description

一种结合小波变换的级联U-N Net脑肿瘤分割方法

技术领域

本发明涉及医学图像分割的技术领域，尤其涉及到一种结合小波变换的级联 U-NNet脑肿瘤分割方法。

背景技术

脑肿瘤分割是医学图像处理的分支之一，其特征在于根据图像中，脑肿瘤与脑部其他健康组织之间存在如纹理和灰度差值等的特异性信息，利用算法将脑肿瘤从图像中分离或标注出来。

目前常见的脑肿瘤类型是神经胶质瘤，该类型肿瘤组成一般由肿瘤核部分、坏死部分以及水肿区域组成，这些组成部分在核磁共振成像(Magnetic Resonance Imaging,MRI)上的表现存在差异、侧重不同，FLAIR和T2模态能突出表现水肿区域，而T1和T1CE则对肿瘤核和坏死部分信息敏感。对脑肿瘤MRI精准的分割对提高肿瘤诊断、手术计划和预测患者预后有着重要的意义，然而，过去手工地从MRI中分割脑肿瘤是耗时且容易产生分割精度损失的。

脑肿瘤分割的难点在于三点：肿瘤边界容易与健康组织混淆，肿瘤核的形状、结构、位置等信息带有随机性，以及成像过程中存在的伪影难以消除。

为克服上述的困难，越来越多的深度学习技术应用到脑肿瘤分割当中，许多工作对常见的神经网络结构，如CNNs，FCN和U-Net等进行调整修改以达到更好的分割结果，但CNNs存在大量的池化层操作会丢失特征图中关键信息；FCN虽然在结构上减少了冗余的池化层操作，并在最后的全连接层生成与输入同样尺寸的结果，但因未考虑上下文信息而损失边界细节；为改进上述缺点，U-Net在FCN 的基础上增加了反卷积的解码路径，同时为保留上下文信息加入了跳跃结构，但在多输入多分类问题上，单一的U-Net对特征处理能力有限。

发明内容

本发明的目的在于克服现有技术的不足，提供一种结合小波变换的级联U-N Net脑肿瘤分割方法，旨在利用级联网络的方法实现分步分割，解决脑肿瘤MRI 分割中肿瘤边界模糊、分割精度低等问题；同时引入小波变换的轻量化设计，降低级联网络的参数量，提高分割效率。

为实现上述目的，本发明所提供的技术方案为：

一种结合小波变换的级联U-N Net脑肿瘤分割方法，包括以下步骤：

S1、对输入的图像序列进行预处理；图像序列包括四种模态数据FLAIR、T2、 T1、T1C以及标注数据；

S2、利用Pytorch深度学习框架建立级联型网络的第一层，对结合小波变换的U-Net模型进行训练，然后将模型的训练结果与模态数据T1和T1C进行相乘处理，生成粗分割图像；

S3、利用Pytorch深度学习框架建立级联型网络的第二层，对结合小波变换的N-Net模型进行训练，生成精分割图像，即最终的脑肿瘤分割结果。

进一步地，所述预处理具体包括：对图像序列的四种模态数据进行N4偏移场校正和各向异性去噪，同时将对应的标注数据分成两份，一份不作处理，另一份作二值化处理，生成粗分割标注数据。

进一步地，所述步骤S2中，以FLAIR和T2作为训练样本，处理过的标注数据作为样本的真值进行训练，然后将结合小波变换的U-Net模型的训练结果与其他两种模态数据T1和T1C进行相乘处理，生成粗分割图像。

进一步地，所述步骤S2中，结合小波变换的U-Net模型的具体结构为：

以U-Net网络的4层编码解码架构为基础架构，每一层的层卷积块由原来的 2个帧间卷积块替换成1个帧间卷积块和1个Haar小波变换模块；编码路径的层间池化层操作替换成Haar小波变换操作，以Haar小波变换后的低频分量作为下一层的输入，同时保留Haar小波变换的高频分量；在解码路径中，层间的反卷积操作由原来的1次上采样操作和1个反卷积块替换成1次Haar逆小波变换和1 个帧间卷积块，在Haar逆小波变换过程中，所述的高频分量经过跳跃结构后参与图像重构。

进一步地，所述步骤S3中，用步骤S2生成的粗分割图像作为训练样本，以步骤S1中未作处理的标注数据作为训练样本的真值，对结合小波变换的N-Net 模型进行训练，生成最终的脑肿瘤分割结果。

进一步地，所述步骤S3中，结合小波变换的N-Net模型的具体结构为：

以U-Net网络的拓扑结构为基本结构，在主体编码过程中增添旁路编码路径，使得输入图像经过数量与所述主体编码层数相同的卷积块，每个卷积块由2个帧间卷积块组成，且每个卷积块输出的特征图会通过跳跃结构，拼接到对应的编码路径层加入到运算当中。

与现有技术相比，本方案原理及优点如下：

1)通过级联结合小波变换的U-Net和N-Net，使原本的四分类问题分两步分解为两个二分类问题，减少分割难度。

2)利用Haar小波变换替代池化层操作，并通过跳跃结构，在解码路径中进行Haar逆小波变换来还原特征图，保留上下文信息，提高分割精度。

3)设计带有Haar小波变换的轻量化模块，保证级联网络分割精度的同时降低级联网络的参数量，提高训练效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种结合小波变换的级联U-N Net脑肿瘤分割方法的原理流程图；

图2为结合小波变换的级联U-N Net中U-Net的结构图；

图3为粗分割阶段结果图，其中图(a)为T1CE模态，图(b)为结合小波变换的U-Net训练结果，图(c)为粗分割结果；

图4为结合小波变换的级联U-N Net中N-Net结构图；

图5为本发明方法的数据集，以及最终分割结果对比图，其中图(a)～图(d) 分别对应是FLAIR,T2,T1,T1CE模态数据，图(e)是本发明方法的最终分割结果，图(f)是训练样本的真值。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

如图1所示，本实施例所述的一种结合小波变换的级联U-N Net脑肿瘤分割方法，包括以下步骤：

第一步，对输入的图像序列进行预处理：

1.1)本实施例使用BRATS 2018数据集，包括四种模态的MRI数据FLAIR、 T2、T1、T1C以及标注数据；每份模态数据尺寸为240*240*155；其中，高胶质肿瘤HGG序列有210例，低胶质肿瘤LGG序列有75例；按7：3的比例划分成训练集和测试集后读入，读入过程中去掉像素值全为0的切片(又称背景切片)，取其一模态数据，记作

(其中S为模态数据，是由n 张二维切片组成的三维体数据，D是Sn的定义域，映射到值域实数集R上)，由于去掉了背景切片，因此j,k∈{1,…,155}，这样读入的目的是减少GPU资源的开销；

1.2)为消除偏置场对模型训练的影响，对S进行N4偏置场校正，随后应用各向异性滤波器平滑图像，目的是保留肿瘤的边缘细节，结果记作S′；

1.3)在读入标注数据时，复制成两份数据，记作I和I′，其中 I＝{I_n：D→{0，1，2，4}，n＝j，...，k}不作处理，用于结合小波变换的N-Net的分割中，而I′经过二值化，即I′＝{I_n′：D→{0，1}，n＝j，...，k}，用于结合小波变换的U-Net中进行训练。

第二步，利用Pytorch深度学习框架建立级联型网络的第一层，对结合小波变换的U-Net模型进行训练，然后将模型的训练结果与模态数据T1和T1C进行相乘处理，生成粗分割图像；本步骤的具体过程如下：

2.1)构建带有Haar小波变换的轻量化模块，由1个卷积块和1个小波变换模块组成；

2.2)如图2所示，构建结合小波变换的U-Net模型，其中每一层的层卷积块由原来的2个帧间卷积块替换成1个帧间卷积块和步骤2.1所述的轻量化模块；同时，将层间的池化层操作替换成Haar小波变换，小波变换后的低频分量作为下一层的输入，而高频分量通过跳跃结构，从对应的编码路径拼接到对应的解码路径中，作为Haar逆小波变换的输入，并取代解码路径中的反卷积操作；

2.3)以S′作为训练样本，I′作为训练标签，对步骤2.2的结合小波变换的 U-Net进行训练，训练过程中的超参数分别是：学习率为10^-5，批大小为16，迭代次数为2000；训练过程采样Adam优化器，损失函数为Dice Loss，训练结束后获得结果S″；

2.4)对S″和I′进行相乘操作，获得脑肿瘤的粗分割结果 C＝{C_n|C_n＝S_n″×I_n′，n＝j，...，k}，如图3所示。

第三步，利用Pytorch深度学习框架建立级联型网络的第二层，对结合小波变换的N-Net模型进行训练，生成精分割图像，即最终的脑肿瘤分割结果；

本步骤的具体过程如下：

3.1)如图4所示，构建旁路编码路径，该路径包含4个层卷积块，每一层卷积块包含2个帧间卷积块；

3.2)构建步骤2.2的结合小波变换的U-Net，并将旁路编码路径按照图示，通过跳跃结构接入到结合小波变换的U-Net中；

3.3)以C作为训练样本，I作为训练标签，对步骤3.2的结合小波变换的N-Net进行训练，训练过程中的参数设置、优化器选择以及损失函数与步骤2.3 一致，训练结束后获得最终分割结果，该分割算法处理前后对比请参见图5所示。

本实施例通过级联结合小波变换的U-Net和N-Net，使原本的四分类问题分两步分解为两个二分类问题，减少分割难度；同时为提高分割精度，利用Haar 小波变换替代池化层操作，并通过跳跃结构，在解码路径中进行Haar逆小波变换来还原特征图，保留上下文信息；设计了带有Haar小波变换的轻量化模块，保证级联网络分割精度的同时降低级联网络的参数量，提高训练效率。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (6)

1.一种结合小波变换的级联U-N Net脑肿瘤分割方法，其特征在于，包括以下步骤：

S1、对输入的图像序列进行预处理；图像序列包括四种模态数据FLAIR、T2、T1、T1C以及标注数据；

S2、利用Pytorch深度学习框架建立级联型网络的第一层，对结合小波变换的U-Net模型进行训练，然后将模型的训练结果与模态数据T1和T1C进行相乘处理，生成粗分割图像；

S3、利用Pytorch深度学习框架建立级联型网络的第二层，对结合小波变换的N-Net模型进行训练，生成精分割图像，即最终的脑肿瘤分割结果。

2.根据权利要求1所述的一种结合小波变换的级联U-N Net脑肿瘤分割方法，其特征在于，所述预处理具体包括：对图像序列的四种模态数据进行N4偏移场校正和各向异性去噪，同时将对应的标注数据分成两份，一份不作处理，另一份作二值化处理，生成粗分割标注数据。

3.根据权利要求2所述的一种结合小波变换的级联U-N Net脑肿瘤分割方法，其特征在于，所述步骤S2中，以FLAIR和T2作为训练样本，处理过的标注数据作为样本的真值进行训练，然后将结合小波变换的U-Net模型的训练结果与其他两种模态数据T1和T1C进行相乘处理，生成粗分割图像。

4.根据权利要求3所述的一种结合小波变换的级联U-N Net脑肿瘤分割方法，其特征在于，所述步骤S2中，结合小波变换的U-Net模型的具体结构为：

以U-Net网络的4层编码解码架构为基础架构，每一层的层卷积块由原来的2个帧间卷积块替换成1个帧间卷积块和1个Haar小波变换模块；编码路径的层间池化层操作替换成Haar小波变换操作，以Haar小波变换后的低频分量作为下一层的输入，同时保留Haar小波变换的高频分量；在解码路径中，层间的反卷积操作由原来的1次上采样操作和1个反卷积块替换成1次Haar逆小波变换和1个帧间卷积块，在Haar逆小波变换过程中，所述的高频分量经过跳跃结构后参与图像重构。

5.根据权利要求4所述的一种结合小波变换的级联U-N Net脑肿瘤分割方法，其特征在于，所述步骤S3中，用步骤S2生成的粗分割图像作为训练样本，以步骤S1中未作处理的标注数据作为训练样本的真值，对结合小波变换的N-Net模型进行训练，生成最终的脑肿瘤分割结果。

6.根据权利要求5所述的一种结合小波变换的级联U-N Net脑肿瘤分割方法，其特征在于，所述步骤S3中，结合小波变换的N-Net模型的具体结构为：

以U-Net网络的拓扑结构为基本结构，在主体编码过程中增添旁路编码路径，使得输入图像经过数量与所述主体编码层数相同的卷积块，每个卷积块由2个帧间卷积块组成，且每个卷积块输出的特征图会通过跳跃结构，拼接到对应的编码路径层加入到运算当中。

Images