CN113822865B - 一种基于深度学习的腹部ct图像肝脏自动分割方法 - Google Patents

Abstract

一种基于深度学习的腹部CT图像肝脏自动分割方法属于医学图像分割技术领域，目的在于解决现有技术存在的整体网络复杂、训练开销大、训练过程较长、网络难收敛、无法捕获长距离依赖信息导致的分割精度低的问题。本发明提出了一种基于深度学习的腹部CT图像肝脏自动分割方法，以3D UNet为基础网络架构，并在相邻的编码器和解码器间引入残差连接来优化梯度传播和特征传递；同时，将原始UNet中的瓶颈层替换成提出的上下文收集模块(CCM)来获得具有密集上下文信息的特征；通过残差连接的引入和上下文收集模块的应用，本方法有效地提高了腹部CT图像中肝脏的自动分割精度，为肝癌的诊断和治疗提供了更有利的前提条件。

Description

一种基于深度学习的腹部CT图像肝脏自动分割方法

技术领域

本发明属于医学图像分割技术领域，具体涉及一种基于深度学习的腹部CT图像肝脏自动分割方法。

背景技术

临床上从腹部CT图像中分割肝脏主要依靠有经验医生依据先验知识手动勾画边界和轮廓，提取肝脏感兴趣区域，特点是耗时时间长，效率较低，可重复性差。随着计算机技术的发展，各种肝脏的自动化分割方法相继被提出。

目前基于深度学习的肝脏分割方法主要采用FCN或UNet作为基础网络架构，在网络中引入残差连接或密集连接，并结合注意力机制进行肝脏注意区域的校准，从而准确地从腹部CT图像中分割出肝脏感兴趣区域。

目前基于深度学习的肝脏分割方法主要关注于注意力机制的使用和级联网络结构。注意力机制的使用仅仅使网络关注于重要部分，对性能的提升有限；而级联网络结构整体网络复杂，训练开销大，训练过程较长，网络难收敛。上述的方法都忽略了肝脏分割本身属于密集预测任务，需要丰富密集的上下文信息，而受限于深度卷积神经网络自身架构，网络无法捕获长距离依赖信息，因此只能获得局部的上下文信息，导致网络分割精度提升到一定程度便遭遇性能瓶颈。

发明内容

本发明的目的在于提出一种基于深度学习的腹部CT图像肝脏自动分割方法，解决现有技术存在的整体网络复杂、训练开销大、训练过程较长、网络难收敛、无法捕获长距离依赖信息导致的分割精度低的问题。

为实现上述目的，本发明的一种基于深度学习的腹部CT图像肝脏自动分割方法包括以下步骤：

步骤一：构建改进的3D UNet神经网络模型；

步骤二：数据预处理，构建神经网络训练集和测试集；具体步骤为：

1)采集多个病人的腹部CT图像作为原始数据集，原始数据平面切片内尺寸大小为512*512，切片厚度各异；将原始数据集按照3：1比例分为训练集和测试集；

2)对步骤1)中获得的多个病人的腹部CT图像进行重采样使每个病人的数据体素空间分辨率相同；

3)对步骤2)中获得的多个重采样后的图像进行2倍的平面内下采样操作，将图像大小由512*512缩小到256*256；

4)对步骤3)缩小尺寸后的多个图像进行[-200，200]的窗口化操作来突出肝脏区域并消除不相关细节的影响；然后进行随机翻转、随机旋转以及直方图均衡化数据增强来进一步增强图像特征和扩充数据集得到增强后的病人体数据；

5)对步骤4)中得到的增强后的病人体数据进行分块操作，将增强后的病人体数据中每相邻的48张切片为一个训练数据块，每次移动3张切片进行分块，从而得到由大小为256*256*48的数据块组成的训练集和测试集；

步骤三：设置网络初始学习率、学习率衰减方式、网络迭代次数以及损失函数；此处使用的初始学习率为0.0001，学习率衰减方式为指数衰减，网络迭代次数为50次，损失函数选择focal loss焦点损失函数；

步骤四：利用训练集进行网络模型训练，待训练完成后使用测试集图像进行模型分割效果评估。

步骤一中所述的改进的3D UNet神经网络模型具体为：

网络整体架构：本网络采用3D UNet作为基本网络架构，并在UNet相邻的编码器和解码器间添加残差连接；将UNet原始瓶颈层替换为上下文收集模块。

步骤三中所述的损失函数为：

L＝αL_dice+βL_bce

其中：L为本网络损失函数；

L_dice表示Dice损失函数；

L_bce表示二元交叉熵损失函数；

α，β分别为对应的平衡因子，根据实验对比，α设置为1，β设置为0.5。

所述上下文收集模块包括通道维度衰减、十字路径的第一上下文收集块以及十字路径的第二上下文收集模块；3D UNet编码器输出的特征图E经1*1*1卷积对通道维度进行降维操作得到特征图F，后经第一上下文收集块处理后得到具备十字路径稀疏上下文信息的特征图F′，最后经第二上下文收集块处理后得到具备全图像密集上下文信息的特征图F″。

所述第一上下文收集块对于输入的特征图F∈R^C×D×H×W，进行两个1*1*1卷积进行通道降维得到特征图Q∈R^C1×D×H×W和K∈R^C1×D×H×W；然后对Q中每个像素位置向量与K中该像素位置的十字路径位置上的所有像素向量进行向量相乘；得到像素向量之间的相关度图D∈R^{(D+H+W)×D×H×W}；进一步对相关度图D进行softmax操作得到权重图W；然后对特征图F再进行一次1*1*1卷积操作，保持通道维度不变得到特征图V∈R^C×D×H×W；对相关度图D中每个像素位置向量和V中对应的空间十字路径上的像素向量相乘并与原特征图F对应位置相加；最后可以得到经过上下文信息加强的特征图F′。

本发明的有益效果为：本发明的一种基于深度学习的腹部CT图像肝脏自动分割方法采用3D UNet的基础架构，可以很好地学习三维切片深度上的特征，同时设计了丰富的上下文收集模块CCM，该模块以较小的计算量和GPU资源耗费达到和非局部网络相同的功能。通过CCM，网络可以得到有利于密集预测任务的特征,从而显著提高模型的分割精度。最后，我们将残差连接引入3D UNet中，可以帮助网络更好地收敛，有利于特征和梯度的传播，也提高了模型的分割精度。

附图说明

图1为本发明构建改进的3D UNet神经网络模型总体结构图；

图2残差连接示意图

图3为本发明中上下文收集模块CCM结构示意图；

图4为本发明中上下文收集块CCB结构示意图；

图5本发明模型在LiTS数据集上部分分割结果。

具体实施方式

下面结合附图对本发明的实施方式作进一步说明。

本发明遵循3D UNet出色的解码器和编码器结构，并在相邻的阶段中引入残差连接来帮助网络更好地收敛和加强特征重用；为了捕获具备全图像依赖的丰富上下文信息，本发明设计了上下文收集模块并作为UNet的瓶颈层。

参见附图1-附图4，本发明的一种基于深度学习的腹部CT图像肝脏自动分割方法包括以下步骤：

步骤一：构建改进的3D UNet神经网络模型；

步骤二：数据预处理，构建神经网络训练集和测试集；具体步骤为：

1)采集多个病人的腹部CT图像作为原始数据集，原始数据平面切片内尺寸大小为512*512，切片厚度各异；将原始数据集按照3：1比例分为训练集和测试集；

2)对步骤1)中获得的多个病人的腹部CT图像进行重采样使每个病人的数据体素空间分辨率相同；

3)对步骤2)中获得的多个重采样后的图像进行2倍的平面内下采样操作，将图像大小由512*512缩小到256*256；

4)对步骤3)缩小尺寸后的多个图像进行[-200，200]的窗口化操作来突出肝脏区域并消除不相关细节的影响；然后进行随机翻转、随机旋转以及直方图均衡化数据增强来进一步增强图像特征和扩充数据集得到增强后的病人体数据；

5)对步骤4)中得到的增强后的病人体数据进行分块操作，将增强后的病人体数据中每相邻的48张切片为一个训练数据块，每次移动3张切片进行分块，从而得到由大小为256*256*48的数据块组成的训练集和测试集；

步骤三：设置网络初始学习率、学习率衰减方式、网络迭代次数以及损失函数；此处使用的初始学习率为0.0001，学习率衰减方式为指数衰减，网络迭代次数为50次，损失函数选择focal loss焦点损失函数；

步骤四：利用训练集进行网络模型训练，待训练完成后使用测试集图像进行模型分割效果评估。

步骤一中所述的改进的3D UNet神经网络模型具体为：

网络整体架构：本网络采用3D UNet作为基本网络架构，并在UNet相邻的编码器和解码器间添加残差连接，改善特征和梯度传递。为了获取密集丰富的上下文信息，将UNet原始瓶颈层替换为上下文收集模块；

上下文收集模块架构；上下文收集模块主要包含通道降维部分和两个相同结构的上下文收集块。通道降维部分通过1*1*1卷积实现，上下文收集块采用典型的非局部网络的自注意结构，通过query，key,value之间的互相运算来获取像素间相似度联系，计算具备丰富上下文的特征图。

为了利用Dice损失函数对类不平衡不敏感的特性和交叉熵损失函数稳定的特性，我们将二元交叉熵损失函数和Dice损失函数结合，提出了混合损失函数：步骤三中所述的损失函数为：

L＝αL_dice+βL_bce

其中：L为本网络损失函数；

L_dice表示Dice损失函数；

L_bce表示二元交叉熵损失函数；

α，β分别为对应的平衡因子，根据实验对比，α设置为1，β设置为0.5。

所述上下文收集模块包括通道维度衰减、十字路径的第一上下文收集块以及十字路径的第二上下文收集模块；3D UNet编码器输出的特征图E经1*1*1卷积对通道维度进行降维操作得到特征图F，后经第一上下文收集块处理后得到具备十字路径稀疏上下文信息的特征图F′，最后经第二上下文收集块处理后得到具备全图像密集上下文信息的特征图F″。

所述第一上下文收集块对于输入的特征图F∈R^C×D×H×W，进行两个1*1*1卷积进行通道降维得到特征图Q∈R^C1×D×H×W和K∈R^C1×D×H×W；然后对Q中每个像素位置向量与K中该像素位置的十字路径位置上的所有像素向量进行向量相乘；得到像素向量之间的相关度图D∈R^{(D+H+W)×D×H×W}；进一步对相关度图D进行softmax操作得到权重图W；然后对特征图F再进行一次1*1*1卷积操作，保持通道维度不变得到特征图V∈R^C×D×H×W；对相关度图D中每个像素位置向量和V中对应的空间十字路径上的像素向量相乘并与原特征图F对应位置相加；最后可以得到经过上下文信息加强的特征图F′。

经过实验验证，该发明方法在MICCAI2017肝脏肿瘤分割挑战赛LiTS数据集上实现了0.961的Dice每例得分和0.963的Dice全局得分，部分分割结果实例如图5所示。

Claims (2)

1.一种基于深度学习的腹部CT图像肝脏自动分割方法，其特征在于，包括以下步骤：

步骤一：构建改进的3D UNet神经网络模型；

步骤二：数据预处理，构建神经网络训练集和测试集；具体步骤为：

1)采集多个病人的腹部CT图像作为原始数据集，原始数据平面切片内尺寸大小为512*512，切片厚度各异；将原始数据集按照3：1比例分为训练集和测试集；

2)对步骤1)中获得的多个病人的腹部CT图像进行重采样使每个病人的数据体素空间分辨率相同；

3)对步骤2)中获得的多个重采样后的图像进行2倍的平面内下采样操作，将图像大小由512*512缩小到256*256；

4)对步骤3)缩小尺寸后的多个图像进行[-200，200]的窗口化操作来突出肝脏区域并消除不相关细节的影响；然后进行随机翻转、随机旋转以及直方图均衡化数据增强来进一步增强图像特征和扩充数据集得到增强后的病人体数据；

5)对步骤4)中得到的增强后的病人体数据进行分块操作，将增强后的病人体数据中每相邻的48张切片为一个训练数据块，每次移动3张切片进行分块，从而得到由大小为256*256*48的数据块组成的训练集和测试集；

步骤三：设置网络初始学习率、学习率衰减方式、网络迭代次数以及损失函数；此处使用的初始学习率为0.0001，学习率衰减方式为指数衰减，网络迭代次数为50次，损失函数选择focal loss焦点损失函数；

步骤四：利用训练集进行网络模型训练，待训练完成后使用测试集图像进行模型分割效果评估；

步骤一中所述的改进的3D UNet神经网络模型具体为：

网络整体架构：本网络采用3D UNet作为基本网络架构，并在UNet相邻的编码器和解码器间添加残差连接；将UNet原始瓶颈层替换为上下文收集模块；

所述上下文收集模块包括通道维度衰减、十字路径的第一上下文收集块以及十字路径的第二上下文收集模块；3D UNet编码器输出的特征图E经1*1*1卷积对通道维度进行降维操作得到特征图F，后经第一上下文收集块处理后得到具备十字路径稀疏上下文信息的特征图F′，最后经第二上下文收集块处理后得到具备全图像密集上下文信息的特征图F″；

所述第一上下文收集块对于输入的特征图F∈R^C×D×H×W，进行两个1*1*1卷积进行通道降维得到特征图

和

然后对Q中每个像素位置向量与K中该像素位置的十字路径位置上的所有像素向量进行向量相乘；得到像素向量之间的相关度图D∈R^{(D+H+W)×D×H×W}；进一步对相关度图D进行softmax操作得到权重图W；然后对特征图F再进行一次1*1*1卷积操作，保持通道维度不变得到特征图V∈R^C×D×H×W；对相关度图D中每个像素位置向量和V中对应的空间十字路径上的像素向量相乘并与原特征图F对应位置相加；最后可以得到经过上下文信息加强的特征图F′。

2.根据权利要求1所述的一种基于深度学习的腹部CT图像肝脏自动分割方法，其特征在于，步骤三中所述的损失函数为：

L＝αL_dice+βL_bce

其中：L为本网络损失函数；

L_dice表示Dice损失函数；

L_bce表示二元交叉熵损失函数；

α，β分别为对应的平衡因子，根据实验对比，α设置为1，β设置为0.5。

Images