CN114723669A - 一种基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法 - Google Patents

Abstract

本发明公开了一种基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法。本发明结合二维网络和三维网络提出基于上下文感知的二点五维分割网络模型，在综合利用上下文信息的同时有效降低计算成本。一方面将多张连续切片作为网络输入，另一方面在编码器部分使用三维卷积提取深层特征和片间特征，从而利用层间连续性来优化分割结果，同时在特征提取网络顶层使用空洞空间卷积池化模块来引入全局语义信息，缓解分割目标尺度差异较大的问题。此外，在解码器部分使用二维网络降低参数量，在网络中使用深度可分离卷积代替常规卷积来降低运算成本，同时结合类别交叉熵损失函数和Dice损失函数设计的加权损失函数也能够进一步改善医学图像中的类别不均衡问题。

Description

一种基于上下文信息感知的肝脏肿瘤二点五维深度学习分割 算法

技术领域

本发明属于深度学习图像处理领域，尤其涉及利用上下文语义信息的医学图像分割算法。

背景技术

肝脏作为人体重要的新陈代谢器官，能够直接决定人体的健康状况。据统计，世界上每年大约会新增一百万左右肝癌患者，其中中国是全球肝脏恶性肿瘤发病率和肝脏手术率最高的国家。传统肝脏病变的诊断方法是放射科医生通过肉眼判断和识别，不仅费时费力，而且诊断结果准确性在很大程度上依赖医生的主观判断和临床经验是否丰富，因此推动肝脏肿瘤病变的自动化检测和分割技术的发展与落地具有重要意义。

深度学习作为机器学习领域的研究方向之一，通过非线性拟合和更深的网络层数来建立更加复杂的网络模型，更适合较复杂的问题场景。相较于传统机器学习算法，深度神经网络无需手动提取和选择特征，而是通过多层卷积的训练和学习来获取图像的深层特征和高层语义信息。目前深度学习相关算法已在医学图像分类、检测、分割及配准等领域应用广泛，将深度学习模型应用于肝脏肿瘤数据集，进行肿瘤的定位、分类以及进一步像素级别上的精细分割，能够有效辅助医生诊断、提高诊断效率。

目前图像处理领域中常用的是二维深度神经分割网络，通过跳跃连接将编码-解码结构中对应分辨率的特征图融合在一起，使图像细节特征更加丰富，更加适合存在小尺度目标的医学图像分割任务。但二维分割网络只提取了二维切片内的空间特征信息，没有利用到切片之间的相关性，因此有研究提出使用三维卷积模块的三维分割网络来处理三维医学图像，但三维网络对计算设备性能的要求较高、参数量和计算量更大。

发明内容

常见的医学图像多为三维立体影像，现有的二维分割网络只关注了输入图像的片内特征，而忽略了三维医学图像连续切片间的片间相关性。本发明则重点关注于此，为了避免三维网络引起的计算量大、参数量多等问题，结合二维网络和三维网络提出基于上下文感知的二点五维分割网络模型，在综合利用上下文信息的同时有效降低计算成本。本发明，一方面将多张连续切片作为网络输入，另一方面在编码器部分使用三维卷积提取深层特征和片间特征，从而利用层间连续性来优化分割结果，同时在特征提取网络顶层使用空洞空间卷积池化模块来引入全局语义信息，缓解分割目标尺度差异较大的问题。此外，在解码器部分使用二维网络降低参数量，在网络中使用深度可分离卷积代替常规卷积来降低运算成本，同时结合类别交叉熵损失函数和Dice损失函数设计的加权损失函数也能够进一步改善医学图像中的类别不均衡问题。

本发明提出了一种医学图像分割算法，为一种基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法，从利用上下文信息提升分割结果的角度出发，针对医学图像连续切片间信息连续性的特征，结合二维和三维网络的优势建立了二点五维分割网络模型。使用多张连续切片作为网络输入，利用三维网络提取层间特征信息并使用深度可分离卷积进一步降低运算成本，同时在网络模型编码器的深层增加了空洞空间卷积池化金字塔来引入全局语义信息。此外，在训练过程中设计了更适合医学图像分割任务的加权损失函数，帮助网络更有效地处理肝脏肿瘤和背景的像素不平衡问题。

技术方案

本发明公开了一种基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法，现有的二维分割网络忽视了三维图像的片间特征相关性，三维网络将三维图像作为输入，可以捕获切片内和切片间的上下文信息，但三维分割网络往往参数量规模较大、计算成本较高，本发明则由此构建了一种在不过度增加计算量的同时又能够充分利用连续切片间特征相关性的分割网络模型。

具体包括以下步骤：

S1，采用肝脏肿瘤CT图像数据并进行预处理；

S2，构建分割网络模型，预处理得到的连续图像作为输入，在三维编码阶段进行深层特征提取，二维解码阶段恢复到原特征分辨率并输出中间层切片的分割预测结果，中间通过降维模块相连接；

S3，考虑数据集中的样本类别问题，基于分割任务中常用的交叉熵损失函数和Dice损失函数，设计了更适合医学分割任务的加权损失函数，使用该损失函数对网络模型进行训练；

S4，训练该二点五维分割网络，利用3D全连接条件随机场来细化最终的肝脏肿瘤分割结果。使用Dice相似性系数、体素重叠误差、体素相对误差等分割任务常用评估指标对算法模型进行评估。

其中，上述数据集图像预处理过程S1中，具体包括以下步骤：

S11，读取数据集中的图片；

S12，依据该病例肿瘤最大最小HU值来计算相应的窗宽窗位(窗宽指CT图像中含有的HU值范围，窗位指窗宽上下限的平均值)，通过设置窗宽和窗位的值将HU值调整为[-200，250]的区间内，从而显示更加清晰的目标区域；

S13，使用直方图均衡化进一步增强对比度，将体素值归一化为[-1，1]；

S14，利用训练集标准差对数据集进行标准化处理；

S15，使用随机裁剪、翻转变换、亮度变换等方式对数据集进行数据增强。

上述步骤S2中，分割网络包括一个三维编码器子网络和一个二维解码器子网络，中间由降维-跳跃连接模块来连接编码阶段和解码阶段中相同分辨率的特征图。具体包括以下步骤：

S21，数据集预处理后，将每张目标图像连续相邻的t张图像拼接在一起输入网络中提取特征。对于体积V沿z轴上的第k个切片V_·,·,k，将第k-t到k+t层切片拼接在一起，其对应的连续t相邻切片V_{·,·,{k-t,…,k,…k+t}}如下所示：

V_{·，·{k-t，...，k，...k+t}}＝[V_{·，·，k-t}，…，V_·，·，k，…，V_{·，·，k+t}]

S22，在编码阶段对输入图像进行特征提取，使用三维深度可分离卷积卷积来更好地挖掘层内和层间信息。

S23，编码器子网络由四层组成，每一层的最后通过下采样操作来使分辨率递减、特征图通道数翻倍，从而充分学习图像切片层内和层间图像的特征。

S24，在编码器的第四层输出的特征图像上使用三维空洞空间卷积金字塔池化模块来增加感受野的大小，保留更多全局上下文信息。

S25，解码器子网络为四层反卷积操作，使用二维深度可分离卷积来降低网络的维度和参数量，其中上采样和卷积操作构成一个用于参数学习的反卷积结构。

S26，通过降维-跳跃连接模块连接编码器子网络和解码器子网络，将图像细节由编码器传输到解码器。

S27，在解码器末端还原图像大小并进行语义分割。

上述步骤S2中，在编码器子网络的顶层增加空洞空间卷积金字塔池化模块来增加感受野大小，保留更多全局上下文信息。

具体包括以下步骤：

S21,使用1×1×1卷积和三个空间维度上空洞率分别为2、4、6的三维深度可分离卷积卷积来对输入特征图进行采样；

S22,将各空洞率下生成的特征图拼接起来通过逐点卷积层，生成具有更多全局信息的特征图。

上述步骤S3中，基于分割任务中常用的交叉熵损失函数和Dice损失函数，在训练过程中设计并使用了更适合医学分割任务的加权损失函数。具体包括以下步骤：

S31，在逐像素交叉熵损失函数的基础上引入类别加权因子w^class，类别平衡交叉熵损失函数的定义如下所示：

其中，y_i表示由医生标注的真值图像，p_i表示由模型生成的预测图像，N表示批处理的大小，

由在整图中所占像素比例决定。

S32，Dice损失函数如下式所示：

S33,结合交叉熵损失函数和Dice损失函数设计得到加权损失函数，最终的加权损失函数如下所示：

Loss＝αL_BCE+βL_Dice

其中α和β为权重系数，在实验过程中需要根据实验结果调整权重系数的大小来获得更优的实验结果。

附图说明

图1是本发明实施例提供的基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法流程图

图2是数据集预处理前后对比图

图3是本发明的完整网络结构示意图

图4是加权损失函数效果验证

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步信息说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明针对肝脏肿瘤图像边缘模糊、对比度低、尺度差异大等分割难点，从利用上下文信息的角度出发，针对医学图像连续切片间信息连续性的特征，结合二维和三维网络的优势建立了二点五维分割网络模型。同时使用深度可分离卷积进一步降低参数量和运算成本，此外考虑到肝脏肿瘤和背景的类别不平衡问题，设计了更适合分割任务的加权损失函数来优化算法性能。

本发明实施提供的基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法包括以下步骤：

步骤一，数据预处理模块，为了更加清晰地显示目标组织器官、排除腹部其他无关器官的干扰，同时增加肝脏与其他组织之间的对比度，通过设置窗宽和窗位的值将HU值调整为[-200，250]的区间内，其中每个病例依据该病例肿瘤最大最小HU值来计算相应的窗宽窗位。在上述操作基础上通过直方图均衡化进一步增强对比度，将体素值归一化为[-1，1]，归一化后的体素值与训练集内平均体素值相减，利用训练集标准差对数据集进行标准化处理，此外进行随机裁剪、翻转变换等数据增强。预处理前后对比可参考图2。

步骤二，构建二点五维分割网络模型，由一个三维编码器子网络和一个二维解码器子网络组成，中间由降维-跳跃连接模块来连接编码阶段和解码阶段中相同分辨率的特征图。在编码阶段对输入图像进行特征提取，使用三维卷积来更好地挖掘层内和层间信息，解码器子网络使用二维卷积来降低网络的维度和参数量，在解码器末端还原图像大小并进行语义分割。网络模型可参考图3。

编码器子网络有四层，每一层的最后进行下采样操作来使分辨率递减、特征图通道数翻倍，从而充分学习CT切片层内和层间图像的特征。编码器子网络前四层的所有卷积都是在x、y和z方向进行零填充的卷积操作，解码器子网络为四层反卷积操作，其中上采样和卷积操作构成一个用于参数学习的反卷积结构。网络通过降维-跳跃连接模块将图像细节由编码器传输到解码器，从而能够提高边缘分割预测精度。此外，在编码器和解码器子网络中的每一层使用残差结构来加速网络的收敛。

步骤三，降维跳跃连接模块的设计，编码器子网络的特征图为三维结构，解码器子网络的特征图为二维结构，因此需要在跳跃连接上引入降维模块在相同层级上连接编码器和解码器。通过一个非零填充的3×3×3卷积，经过ReLU激活函数和批标准化操作将输入的三维特征转换为二维特征，构成降维-跳跃连接。相较于常规跳跃连接，本发明提出的降维-跳跃连接模块使用了在特征图z轴方向上不填充零的三维卷积，卷积核大小为3×3×3。在x和y轴的空间方向上填充零，因此空间分辨率不变，而z轴维度从3降为1。

步骤四，损失函数的设计，由于肝脏肿瘤分割任务中存在肝脏像素、肿瘤像素、背景像素的类别不平衡问题，因此结合分割任务中常用的交叉熵损失函数和Dice损失函数设计得到加权损失函数，最终的加权损失函数如下所示：

Loss＝αL_BCE+βL_Dice

其中α和β为权重系数，在加权损失函数中用于平衡交叉熵损失函数和Dice损失函数的比重。在训练过程中，需要根据实验结果调整权重系数的大小来获得更优的实验结果，以实现对样本数较少类别更加关注的目的。加权损失函数的效果可参考图4。

步骤五，模型训练和实验验证，以肝脏肿瘤LiTS2017数据集为例，可将131例病例划分为110个训练集，其余21个病例作为测试集。训练使用Adam优化器更新参数，初始学习率设置为0.002，并分别在20和40个epoch后降低为之前的0.1倍，与其他算法的比较也依照这套统一标准来训练和测试不同的模型。

Claims (6)

1.一种基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法，其特征在于，针对肝脏肿瘤图像边缘模糊、对比度低、尺度差异大等分割难点，从利用上下文信息的角度出发，针对医学图像连续切片间信息连续性的特征，结合二维和三维网络的优势建立了二点五维分割网络模型；使用深度可分离卷积进一步降低参数量和运算成本；在特征提取网络顶层通过空洞空间卷积池化模块引入全局语义信息；此外考虑到肝脏肿瘤和背景的类别不平衡问题，结合类别交叉熵损失函数和Dice损失函数设计了更适合分割任务的加权损失函数来优化算法性能。

2.根据权利要求1所述的基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法，其特征在于，具体包括以下步骤：

(1)采用肝脏肿瘤CT图像数据并进行预处理；

(2)构建二点五维分割网络模型，预处理得到的连续图像作为输入，在三维编码阶段进行深层特征提取，二维解码阶段恢复到原特征分辨率并输出中间层切片的分割预测结果，中间通过降维模块相连接；

(3)为了进一步增加感受野，在编码子网络的顶层使用空洞空间卷积金字塔池化模块引入更多全局语义信息；

(4)考虑数据集中的样本类别问题，基于分割任务中常用的交叉熵损失函数和Dice损失函数，设计了更适合医学分割任务的加权损失函数，使用该损失函数对二点五维分割网络模型进行训练；

(5)训练步骤(2)中的二点五维分割网络模型，利用3D全连接条件随机场来细化最终的肝脏肿瘤分割结果；使用Dice相似性系数、体素重叠误差、体素相对误差分割任务常用评估指标对二点五维分割网络模型及算法进行评估。

3.根据权利要求1所述的基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法，其特征在于，步骤(1)中，图像的预处理包括以下步骤：

(1.1)读取数据集中的图片；

(1.2)依据该病例肿瘤最大最小HU值来计算相应的窗宽窗位(窗宽指CT图像中含有的HU值范围，窗位指窗宽上下限的平均值)，通过设置窗宽和窗位的值将HU值调整为[-200，250]的区间内，从而显示更加清晰的目标区域；

(1.3)使用直方图均衡化进一步增强对比度，将体素值归一化为[-1，1]；

(1.4)利用训练集标准差对数据集进行标准化处理；

(1.5)使用随机裁剪、翻转变换、亮度变换等方式对数据集进行数据增强。

4.根据权利要求1所述的基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法，其特征在于：步骤(2)描述了网络整体结构设计，二点五维分割网络模型包括一个三维编码器子网络和一个二维解码器子网络，中间由降维-跳跃连接模块来连接编码阶段和解码阶段中相同分辨率的特征图；

包括以下步骤：

(2.1)将每张目标图像连续相邻的t张图像拼接在一起作为输入图像，输入网络中提取特征；对于体积V沿z轴上的第k个切片V_·,·,k，将第k-t到k+t层切片拼接在一起，其对应的连续t相邻切片V_{·,·,{k-t,…,k,…k+t}}如下所示：

V_{·，·，{k-t，…，k，…k+t}}＝[V_{·，·，k-t}，…，V_·，·，k，…，V_{·，·，k+t}}；

(2.2)在编码阶段对输入图像进行特征提取，使用三维深度可分离卷积来更好地挖掘层内和层间信息；

(2.3)编码器子网络由四层组成，每一层的最后通过下采样操作来使分辨率递减、特征图通道数翻倍，从而充分学习图像切片层内和层间图像的特征；

(2.4)在编码器的第四层输出的特征图像上使用三维空洞空间卷积金字塔池化模块来增加感受野的大小，保留更多全局上下文信息；

(2.5)解码器子网络为四层反卷积操作，使用二维深度可分离卷积来降低网络的维度和参数量，其中上采样和卷积操作构成一个用于参数学习的反卷积结构；

(2.6)通过降维-跳跃连接模块连接编码器子网络和解码器子网络，将图像细节由编码器传输到解码器；

(2.7)在解码器末端还原图像大小并进行语义分割。

5.根据权利要求1所述的基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法，其特征在于：步骤(3)描述了金字塔池化模块的具体设计，在负责特征提取的编码器子网络顶层增加空洞空间卷积金字塔池化模块来增加感受野大小，保留更多全局上下文信息；

包括以下步骤：

(3.1)使用1×1×1卷积和三个空间维度上空洞率分别为2、4、6的三维深度可分离卷积卷积来对输入特征图进行采样；

(3.2)将各空洞率下生成的特征图拼接起来通过逐点卷积层，生成具有更多全局信息的特征图。

6.根据权利要求1所述的基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法，其特征在于：步骤(4)中，基于分割任务中常用的交叉熵损失函数和Dice损失函数，在训练过程中设计并使用了更适合医学分割任务的加权损失函数；

包括以下步骤：

(4.1)在逐像素交叉熵损失函数的基础上引入类别加权因子w^class，类别平衡交叉熵损失函数的定义如下所示：

其中，y_i表示由医生标注的真值图像，p_i表示由二点五维分割网络模型生成的预测图像，N表示批处理的大小，

由在整图中所占像素比例决定；

(4.2)Dice损失函数如下式所示：

(4.3)结合交叉熵损失函数和Dice损失函数设计得到加权损失函数，最终的加权损失函数如下所示：

Loss＝αL_BCE+βL_Dice

其中α和β为权重系数，在实验过程中需要根据实验结果调整权重系数的大小来获得更优的实验结果。

Images