CN109949309B - 一种基于深度学习的肝脏ct图像分割方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的肝脏CT图像分割模型建立方法，包括以下步骤：1.收集腹部CT图像，并对肝脏位置进行标注，生成原始图像序列，然后将原始图像序列分为训练样本和测试样本；2.对训练样本进行预处理，同时去除干扰信息；3.搭建肝脏分割深度学习网络；4.利用搭建完成的学习网络对预处理后的训练样本进行模型训练，得到肝脏分割模型；5.对测试样本进行预处理，并作为输入参数输入到肝脏分割模型，得到初分割图像，然后对每套图像进行连通域处理，连通域处理后的分割结果反馈至原始图像序列中。基于该肝脏CT图像分割模型，可以直接对预处理后的肝脏CT图像进行准确地分割，分割结果准确率高，细节刻画效果好。

Description

一种基于深度学习的肝脏CT图像分割方法

技术领域

本发明涉及医学图像处理技术领域，尤其是一种基于深度学习的肝脏CT图 像分割模型建立方法以及基于该分割模型的肝脏CT图像分割方法。

背景技术

肝脏的准确分割是肝脏三维可视化及计算机辅助诊断的重要步骤，同时也 能为其他器官(如胰腺、脾脏、肾脏等)的分割提供指导意见。针对肝脏的分 割，专业学者提出了多种方法，例如基于区域的分割、基于边缘的分割、基于 形态的分割等，但这些分割方法对图像的特征提取能力不足，分割效果有待提 高。

近年来，随着深度学习的快速发展，深度学习在传统计算机视觉方面取得 了不少突破性进展。在定位、分类、实例分割等任务中，深度学习的方法已经 能够接近人类水平，有的甚至已经超越人类水平。这些技术的发展也在一定程 度上促进了深度学习在医学图像处理技术邻域的探究，例如疾病的诊断、器官 的分割等。

目前，在医学上应用的模型大多是FCN、U-Net结构以及它们的变形。在这 些结构中，层与层之间通过简单的堆叠进行特征传递，导致特征信息的利用率 较低，池化层的应用导致一些信息丢失，同时缺少有效的特征整合。这些问题 在边缘以及一些小目标分割中具有重要的影响。由于GPU的显存限制，以及损 失函数的梯度消失效应，很难构建较深的卷积神经网络，无法很好地利用深层 卷积带来处理效果的提升。

发明内容

针对上述问题，本发明提供一种基于深度学习的肝脏CT图像分割模型建立 方法以及基于该分割模型的肝脏CT图像分割方法。

本发明保护一种基于深度学习的肝脏CT图像分割模型建立方法，包括以下 步骤：1.收集大量患者的腹部CT图像，并对肝脏位置进行标注，生成原始图像 序列，然后将原始图像序列分为训练样本和测试样本；2.对训练样本进行预处 理，同时去除干扰信息；3.搭建基于Encoder-Decoder模型的肝脏分割深度学 习网络，其中Encoder阶段利用带残差结构的深度可分离卷积对CT图像进行特 征提取，Decoder阶段通过逐步的上采样将特征图恢复到原始图像大小并对图像 中每一个像素点进行分类；4.利用搭建完成的学习网络对预处理后的训练样本 进行模型训练，得到肝脏分割模型；5.对测试样本进行预处理，并作为输入参 数输入到肝脏分割模型，得到初分割图像，然后对每套图像进行连通域处理， 连通域处理后的分割结果反馈至原始图像序列中。

进一步的，所述Encoder阶段先将CT图像大小缩小16倍以提取其特征信 息，然后将特征信息传递到特征金字塔模块进行特征融合，再进入所述Decoder 阶段，通过4次上采样将特征图扩大16倍以恢复至原始大小；所述特征金字塔 模块内部采用3×3空洞卷积。更进一步的，所述Encoder阶段先采用步长为2 的7×7的卷积进行CT图像特征的提取，后接BN层和ReLU层；然后再利用带 有残差结构的深度可分离卷积模块对CT图像进行特征提取；同时利用步长为2 的卷积与平均池化相结合的方式进行池化操作；所述Decoder阶段上采样的过 程中，先将底层信息与高层信息进行融合，然后采用转置卷积进行上采样。

进一步的，所述步骤2和所述步骤5中的预处理操作中，首先将相邻的切 片组合到一起，形成多通道图像，然后采用重采样方法将CT图像的层间距统一 调整为1mm；所述重采样方法具体步骤为，在相邻层进行上采样插值，将图像大 小扩大2倍；对中间层进行线性变换，即以相邻两层切片与待插切片的距离权 重进行线性变换插值；对图像进行下采样，将图像缩小2倍，还原至原始大小。

进一步的，所述步骤2通过对CT图像进行调窗处理，去除不相关部位的干 扰；所述步骤4中的模型训练采用Adam优化器，Dice Similarity Coefficient 作为网络的损失函数。

本发明还保护一种基于深度学习的肝脏CT图像分割方法，使用上述肝脏CT 图像分割模型对肝脏CT图像进行分割，将待分割的肝脏CT图像预处理后，输 入肝脏CT图像分割模型，得到肝脏CT图像分割结果。

本发明的有益效果：分割结果准确率高，细节刻画效果好，在测试样本上 的肝脏分割任务的平均dice系数为0.978。

附图说明

图1为肝脏CT图像分割模型建立方法的流程图；

图2为特征金字塔模块示意图；

图3为深度可分离卷积示意图；

图4为带有残差结构的深度可分离卷积示意图；

图5为肝脏分割深度学习网络结构图；

图6为基于深度学习的肝脏CT图像分割方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实 施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所 公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。 选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的 普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实 施例。

实施例1

建立一种基于深度学习的肝脏CT图像分割模型，如图1所示，具体通过以 下步骤：

1.在患者同意的情况下，收集不同医院、不同疾病、不同年龄、不同性别 的260套临床腹部CT图像，并对肝脏位置进行标注，生成原始图像序列，然后 将原始图像序列分为训练样本和测试样本，其中用于模型训练的训练样本220 套，用于模型检验的测试样本40套。

2.对训练样本进行预处理：①首先将相邻的切片组合到一起，形成多通道 图像，本实施例中在使用5通道，即输入的CT图像大小为512*512*5，采用上 下平移、左右平移、镜像、旋转和亮度变换等操作对训练样本进行扩增处理； ②然后采用重采样方法将CT图像的层间距统一调整为1mm，所述重采样方法具 体步骤为，在相邻层进行上采样插值(三次立方插值)，将图像大小扩大2倍(512 ×512扩充至1024×1024)；对中间层进行线性变换，即以相邻两层切片与待插 切片的距离权重进行线性变换插值；对图像进行下采样，将图像缩小2倍，还 原至原始大小(1024×1024还原至512×512)，进而提高插值精度；③对CT图 像进行调窗处理，以除去不相关部分的干扰，在本实施例中窗位和窗宽分别为 75和225。

3.搭建基于Encoder-Decoder模型的肝脏分割深度学习网络，其中Encoder 阶段利用带残差结构的深度可分离卷积对CT图像进行特征提取，Decoder阶段 通过逐步的上采样将特征图恢复到原始图像大小并对图像中每一个像素点进行 分类。

4.利用搭建完成的学习网络对预处理后的训练样本进行模型训练，得到肝 脏分割模型，本实施例中具体配置如下：①硬件配置，2个GeForce GTX 1080Ti 显卡,显存总共22GB，i7-8700CPU,64GB内存；②软件配置：操作系统Ubuntu 16.04LTS 64位版，深度学习库为Tensorflow 1.9.0版本，加速工具使用了 英伟达的cuda9.0和cuDNN7.1.2。在模型的训练过程中采用Adam优化器，Dice Similarity Coefficient(dice)作为网络的损失函数。初始学习速率设置为1 ×10^-4，根据迭代次数的增大而逐渐减小，调优的迭代次数设置为150000次， 当迭代次数达到时，网络终止训练，得到肝脏分割模型。

5.对测试样本进行预处理，并作为输入参数输入到肝脏分割模型，得到初 分割图像，然后对每套图像进行连通域处理以去除分割结果中可能存在的噪声， 提高分割的准确度，连通域处理后的分割结果反馈至原始图像序列中。

Encoder-Decoder(编码-解码)是深度学习中常见的模型框架之一，它并 不是一个具体的模型，而是一类框架。所谓编码，就是将输入序列转化成一个 固定长度的向量；解码，就是将之前生成的固定向量再转化成输出序列。基于 Encoder-Decoder，我们可以设计出各种各样的应用算法。

在本实施例中，Encoder阶段先利用带残差结构的深度可分离卷积将CT图 像大小缩小16倍以提取其特征信息，然后将特征信息传递到特征金字塔模块进 行特征融合，再进入所述Decoder阶段，通过4次上采样将特征图扩大16倍以 恢复至原始大小并对图像中每一个像素点进行分类；所述特征金字塔模块内部 采用3×3空洞卷积，如图2所示。

更具体的，Encoder阶段先采用步长为2的7×7的卷积进行CT图像特征的 提取，后接BN层和ReLU层；然后再利用带有残差结构的深度可分离卷积模块 对CT图像进行特征提取；同时利用步长为2的卷积与平均池化相结合的方式进 行池化操作；所述Decoder阶段上采样的过程中，先将底层信息与高层信息进 行融合，然后采用转置卷积进行上采样，通过逐步的上采样将特征图逐渐恢复 到原始图像大小，并对其中的每一个像素进行分类；网络的最后一层为softmax 层。

深度可分离卷积是指将标准卷积分解为一个逐深度的卷积和一个1×1标准 卷积(逐点卷积)，如图3所示。逐深度卷积对应着每一个输入特征图的通道， 1×1逐点卷积负责将逐深度卷积提取的特征进行融合。深度可分离卷积能够在 不影响结果的情况下降低模型的参数，有利于在GPU资源有限的情况下进行更 深层模型的搭建；残差结构的应用能够有效解决深层网络中的梯度消散。

深度可分离卷积比普通卷积减少了所需要的参数，下面举例说明。例如某 一层输入通道是64，输出通道是128，卷积核的大小为3×3，使用正常卷积， 该层的参数计算为(64×3×3)×128＝73728，而在深度可分离卷积中为64×3 ×3+128×(64×1×1)＝8768，即先用64个3×3大小的卷积和分别于输入的64 通道的数据进行卷积操作，得到64个特征图谱，然后采用128个1×1的卷积 核在64个特征图谱上进行卷积操作，将64个通道的信息进行融合。通过深度 可分离卷积操作参数从73728个降低到8768，大大的降低了模型参数，能在一 定程度上防止模型的过拟合。

残差的核心思想是利用恒等映射来绕过参数层，将输入端信息直接通过简 单的相加添加到输出端,如图4所示。实验表明残差的使用能有效解解决增加深 度带来的退化问题，使通过增加网络的深度来提高准确率成为可能，同时具有 残差结构的网络更容易优化。残差连接表达式：X_t+1＝X_t+F(X_t,W_t),其中X_t表示t层残差块的特征输入，而X_t+1表示特征的输出，F(X_t,W_t)表示残差块 中进行残差特征学习的非线性单元，包含批量标准化层(Batch Normalization, BN)、修正线性单元(Rectified linear unit,ReLU)。

本实施例中设计的肝脏分割深度学习网络共有123层，前118层用于进行 CT图像特征信息的提取，具体结构图如图5所示。

实施例2

一种基于深度学习的肝脏CT图像分割方法，使用实施例1中所述的肝脏CT 图像分割模型对肝脏CT图像进行分割，将待分割的肝脏CT图像预处理后，输 入肝脏CT图像分割模型，得到肝脏CT图像分割结果，其流程如图6所示。

显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。 基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性 劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

Claims (6)

1.一种基于深度学习的肝脏CT图像分割模型建立方法，其特征在于，包括以下步骤，

步骤1：收集大量患者的腹部CT图像，并对肝脏位置进行标注，生成原始图像序列，然后将原始图像序列分为训练样本和测试样本；

步骤2：对训练样本进行预处理，同时去除干扰信息；

步骤3：搭建基于Encoder-Decoder模型的肝脏分割深度学习网络，先将CT图像大小缩小16倍以提取其特征信息，然后将特征信息传递到特征金字塔模块进行特征融合，采用步长为2的7×7的卷积进行CT图像特征的提取，后接BN层和ReLU层；然后再利用带有残差结构的深度可分离卷积模块对CT图像进行特征提取；同时利用步长为2的卷积与平均池化相结合的方式进行池化操作，所述特征金字塔模块内部采用3×3空洞卷积，Decoder阶段通过逐步的上采样将特征图恢复到原始图像大小并对图像中每一个像素点进行分类；

步骤4：利用搭建完成的学习网络对预处理后的训练样本进行模型训练，得到肝脏分割模型；

步骤5：对测试样本进行预处理，并作为输入参数输入到肝脏分割模型，得到初分割图像，然后对每套图像进行连通域处理，连通域处理后的分割结果反馈至原始图像序列中；其中，所述步骤2和所述步骤5中的预处理操作中，首先将相邻的切片组合到一起，形成多通道图像，采用上下平移、左右平移、镜像、旋转和亮度变换操作对训练样本进行扩增处理，然后采用重采样方法将CT图像的层间距统一调整为1mm，具体为在相邻层进行上采样插值，将图像大小扩大2倍，对中间层以相邻两层切片与待插切片的距离权重进行线性变换插值，对图像进行下采样，将图像缩小2倍，还原至原始大小，提高差值精度。

2.根据权利要求1所述的肝脏CT图像分割模型建立方法，其特征在于，所述Decoder阶段，通过4次上采样将特征图扩大16倍以恢复至原始大小。

3.根据权利要求2所述的肝脏CT图像分割模型建立方法，其特征在于，所述Decoder阶段上采样的过程中，先将底层信息与高层信息进行融合，然后采用转置卷积进行上采样。

4.根据权利要求1所述的肝脏CT图像分割模型建立方法，其特征在于，所述步骤2通过对CT图像进行调窗处理，去除不相关部位的干扰。

5.根据权利要求1所述的肝脏CT图像分割模型建立方法，其特征在于，所述步骤4中的模型训练采用Adam优化器，Dice Similarity Coefficient作为网络的损失函数。

6.一种基于深度学习的肝脏CT图像分割方法，其特征在于，使用权利要求1-5任一项所述的肝脏CT图像分割模型建立方法对肝脏CT图像进行分割，将待分割的肝脏CT图像预处理后，输入肝脏CT图像分割模型，得到肝脏CT图像分割结果。

Images