CN116012320A - 基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法，包括以下步骤：步骤1：对CT影像数据集进行预处理，然后划分为训练集和测试集；步骤2：构建深度分割神经网络，步骤3：使用训练集训练深度分割神经网络，筛选并保存效果最好的神经网络模型；步骤4：使用测试集验证所保存的神经网络模型的可用性；步骤5：使用步骤4中训练完成的深度分割神经网络对CT影像进行分割处理。本发明明确了胰腺肿瘤分割属于小目标的分割难题，在网络架构上引入了多尺度的特征提取，提取了更细致的空间特征和更全面的通道特征，同时，所提出的信道和空间注意模块提高了网络对网格的选择能力病变检测的响应。

Description

基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法

技术领域

本发明属于医学图像处理技术领域，特别涉及一种基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法。

背景技术

胰腺肿瘤一般指胰腺导管肿瘤(PDAC)病变，是消化道常见的恶性肿瘤，多发生于胰头部。胰腺癌恶性程度较高，进展迅速，但起病隐匿，早期症状不典型，临床就诊时大部分患者已属于中晚期。胰腺肿瘤的发病率在国内外均呈现上升趋势，胰腺癌占恶性肿瘤相关死亡率的第6位，全世界的五年生存率为7.5％，患者平均一年的存活率仅为18％。手术切除是胰腺癌患者获得治愈机会和长期生存的唯一有效方法。外科治疗前对肿瘤情况进行评估具有重要临床意义。影像学的检查是初步诊断和准确分期胰腺肿瘤的重要工具，影像学的结果指导手术和具体治疗方案。

为了解决人工分割的缺陷，目前一些学者研究胰腺肿瘤的语义分割。语义分割任务是对图像中每个像素进行分类。在医疗图像领域，图像分割能够被应用于影像引导介入、放射治疗、放射诊断等。通过基于医学图像处理、深度神经网络和计算机视觉，自动地对胰腺肿瘤的精确语义分割，不仅可以高效地辅助医生定位肿瘤进行初步病情诊断，也可以达到精准切除病灶边界提高患者生存期和预后效果的终极目标。对胰腺肿瘤的自动语义分割有良好的意义，一些被提出的针对胰腺肿瘤分割的方法可以取得不错的性能。但是目前对医学影像的胰腺肿瘤语义分割存在几点困难。

困难1：胰腺及胰腺肿瘤位于腹部深处，它的位置隐蔽，并且边缘不规律，在影像上较难辨别分明边缘的轮廓。胰腺和胰腺肿瘤具有复杂的三维结构，并且不同个体之间的形状多变，主要表现在胰颈部弯曲和胰头不规则膨胀，导致在影像的一张切片上不连续。胰腺肿瘤和周围丰富的组织血管黏连，在影像中表现为和周围肝脏、粘膜组织对比不明显，使得胰腺与周围组织器官的识别和分割是一个技术难题。

困难2：胰腺肿瘤较小，属于小目标，分割难度大，并且存在严重的正负类别不平衡。根据统计，肿瘤3D体积中位数为12.12cm³。肿瘤2D最大直径在1.7cm～6.7cm之间，中位数是3.1cm，有些肿瘤的直径小于0.5cm。在影像上表现为在一个512x512像素大小的切片上肿瘤的大小只占到约20～50个像素点。因为肿瘤的体积小，不仅造成在单个切片中正类别占比微小，而且造成在腹腔影像的大量的切片中只有个别切片中有肿瘤作为正类别。一般情况下正类别数量只占到负类别(背景类别)数量的1/4，正负类别的比例严重失调，这给深度学习带来了极大的挑战。

困难3：胰腺肿瘤的数据集收集困难，属于小样本学习。医学影像处理的通病就是数据集收集困难，大部分团队采用在医院独立收集的非公开数据集，数量在100左右，对比深度学习通用的数据集ImageNet有10k张图片，胰腺肿瘤的小样本对深度学习不友好。数据形式也有成像设备和扫描层厚零散不统一的问题。数据的标注需要专业医生手动绘制，耗时耗财，不容易形成大规模有标签数据集。

目前一些研究者针对上述问题提出了一些方法。Zhu等人提出了一种多尺度粗到细的分割，来筛选CT图像中的PDAC，PDAC囊肿分割的Dice得分为57.3％。Turecova等人提出了一种CNN方法，使用深度监督和注意门来分割肝肿瘤和胰腺肿瘤等病变，其中胰腺肿瘤分割的Dice得分为54.66％。此外，Zhang等人利用约1k例的大数据集和nnUNet网络使用多相CT图像进行PDAC分割，多数据集的Dice得分为0.709±0.159，为目前已知最高。Zhou等人提出了利用超配对网络整合了来自不同阶段的信息进行PDAC分割，多期和静脉期的Dice得分分别为63.94±22.74和53.08±27.06。这些研究的结果表明，在PDAC患者中获得更好的分割性能。Chen等人提出了一种螺旋转化的胰腺癌预处理方法，利用模型驱动的深度学习方法对胰腺肿瘤进行分割，在MSD-pancreas tumor的公开数据集上达到了66.62±16.37的Dice得分。

近年来，学者们提出了多种解决小目标分割中正负样本不均衡的问题，提升小目标分割的精度。其中多尺度的模型因其有效地提取不同尺度的特征被广泛使用。He等人提出了空间金字塔池来解决由全连接层造成的固定输入大小，提出并行SPP层多层特征提取，使不同大小的输入具有固定尺寸的输出。PSPNet将多层次特征提取应用于语义分割领域。在金字塔池模块的设计中，四种不同大小的池被融合，然后由一个线性插值和1×1卷积。谷歌提出的DeepLabV系列中引入了ASPP，它使用与不同膨胀因子的膨胀卷积来在不失去分辨率的情况下扩大接受域，来融合多尺度的上下文信息。此外，并行添加了1×1卷积和全局池。在最新的DeepLabV3提出级联不同空洞率的空洞卷积来提取多尺度上下文，减小由于池化或跨步卷积引起的细节特征丢失。同样使用膨胀卷积的还有Shao等人提出的多尺度增强器，它在主干特征金字塔网络(FPN)中使用通道和空间注意力的多尺度增强器(MSB)。MSB通过使用分层扩张卷积(HDC)来确定细粒度的尺度变化，用于提高检测不同病变大小的准确度。

发明内容

本发明针对现有技术中存在的技术问题，提供一种基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法，明确了胰腺肿瘤分割属于小目标的分割难题，在网络架构上引入了多尺度的特征提取，提取了更细致的空间特征和更全面的通道特征，同时，所提出的信道和空间注意模块提高了网络对网格的选择能力病变检测的响应。

本发明采用的技术方案是：一种基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法，包括以下步骤：

步骤1：收集胰腺肿瘤的CT影像数据集，对CT影像数据集进行预处理，然后划分为训练集和测试集；

步骤2：构建深度分割神经网络，深度分割神经网络为编码器-解码器结构，编码器部分进行下采样计算，其编码器每次计算使特征图的宽高均减半，通道数变为2倍；解码器部分进行上采样计算，其解码器每次计算使宽高均变为2倍，通道数减半，所述编码器和解码器均采用多尺度注意力模块；

步骤3：使用训练集训练深度分割神经网络，筛选并保存效果最好的神经网络模型；

步骤4：使用测试集验证所保存的神经网络模型的可用性；

步骤5：使用步骤4中训练完成的深度分割神经网络对CT影像进行分割处理。

进一步的，步骤1中，预处理过程为：将CT影像数据集中的图像进行切片化，得到二维的CT切片图像；对二维的CT切片图像进行重采样，将CT切片图像的厚度调整成一致；调整CT切片图像的Hu值：Hu值小于等于-128设置为0，将Hu值大于等于127设置为255，将-128与127之间的Hu值先归一化再映射到0-255；进行中心裁剪将CT切片图像的分辨率调整到256X256；将CT切片图像对应的标签通过二值化处理为只包含1和0，其中1表示肿瘤区域，0表示其他器官和组织区域。

进一步的，所述编码器部分和解码器部分均为多层结构，对应层数的编码器和解码器相跳连，每个解码器通过反卷积操作将输入的特征图上采样到原来的二倍，然后与跳连带来的相应编码器输出的特征图拼接，输入多尺度注意力模块。

进一步的，编码器部分包括5层编码器，每层编码器包括依次连接的一个多尺度注意力模块、两个3X3卷积层和一个2X2最大池化层，每次卷积运算后接ReLU层，2X2最大池化层将特征图下采样到原来尺寸的一半；

解码器部分包括4层解码器，每层编码器包括依次连接的一个多尺度注意力模块和两个3X3卷积层，每次卷积运算后接ReLU层，最后一层所述解码器后依次连接3x3卷积层、1x1卷积层和sigmoid函数计算层。

进一步的，多尺度注意力模块的工作过程为：

步骤2.1：将特征图使用1X1、1X1和3X3、1X1和5X5、1X1的卷积分别生成四个分支的特征图；

步骤2.2：将四个分支的特征图进行拼接，然后进行一次批量归一化，再经过3X3的卷积，而后再进行一次批量归一化，得到多尺度特征图；

步骤2.3：将多尺度特征图输入通道注意力模块，通过全局平均池化和激活操作计算各通道特征的注意力权重，对通道进行筛选。

进一步的，通道注意力模块的工作过程为：

步骤2.31：多尺度特征图使用全局平均池化压缩成1维向量；

步骤2.31：再通过公式(1)对1维向量进行非线性变换生成一组通道权重，

θ＝F_ex(T_l)＝σ(W₂φ(W₁T_l))         (1)

式中，θ代表通道权重，σ代表sigmoid函数，W₁代表线性映射1，W₂代表线性映射2，T_l代表1维向量；

步骤2.32：将通道权重与多尺度特征图相乘，实现对多尺度特征图的通道进行筛选。

进一步的，步骤3中，步骤3.1：设置训练过程中的超参数、学习率、训练轮数、衰减因子和网络优化器参数；

步骤3.2：将训练集送入深度分割神经网络模型，并进行5折交叉验证实验；

步骤3.3：训练过程中，记录每个轮次神经网络模型在验证集上的表现，将效果最好的神经网络模型进行保存。

进一步的，步骤4中，选择戴斯指数、杰卡德相似系数、召回率、精度以及豪斯多夫距离五种指标作为测试集评价指标，在测试集上进行分割测试，验证步骤3保存的神经网络模型的实际分割效果。

与现有技术相比，本发明所具有的有益效果是：

1.本发明基于胰腺肿瘤在CT成像上边界模糊、占比小的问题，我们针对性的对数据集做了特色的预处理。首先重采样统一像素代表的物理尺寸并有效扩充切片的数量，接着对重采样之后的切片调整CT值至胰腺及其肿瘤的范围，有效增强了胰腺及其肿瘤的边界。最后中心裁剪以统一尺寸和适当扩大肿瘤在整张图片的占比。我们论证了预处理的作用和必要性，用消融实验证明合适的数据预处理对最终分割效果有一个较大的提升，Dice提高了0.15。

2.本发明基于小目标分割困难的问题，设计了多尺度注意力模块，并应用于网络结构的每一层。多尺度的思想用在目标大小变化范围大的时候，本分割任务中的胰腺肿瘤大小从2-9000mm²不等，多尺度应用在编码器可以提取更多的不同尺度的信息，对于难分割的小肿瘤，本网络设计的多尺度中包含两个1x1卷积的通道，这两个通道的卷积不共享权重，只为较多的提取小目标小尺寸的特征信息。在解码器的多尺度卷积，扩展因上采样丢失的重要信息，矫正因上采样和跳连带来的特征位置偏移，起到解码信息补充，辅助定位的作用，对最后的结果有一定提升。有效地提取了图像中的特征，增加了多维的特征，特别丰富地对目标区域小肿瘤的特征提取。

3.本发明使用通道注意力机制加权小目标分割网络。使用通道注意力机制对被提取出的丰富的语义信息赋值权重。多尺度卷积不加选择的特征融合会给数据流引入冗余特征或噪声，对计算的收敛性有负面影响。通道注意力被用在多尺度卷积之后，计算这些特征信道的权值，并强调通道信息信息。我们从结果中观察到，网络更深层的通道注意有助于网络定位靶向胰腺肿瘤，更好地寻找其边界。本发明在解码器的末端添加3×3和1×1卷积层，以聚合解码的特征，并描绘更多的边界细节。在定性分析中发现明显降低了分割结果的假阳性，在定量分析中增加了分割最终评分，相对其他方法Dice提高了约4％。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例的数据预处理流程图；

图3为本发明实施例的深度分割神经网络结构图；

图4为本发明实施例的多尺度注意力模块结构图；

图5为本发明实施例的通道注意力模块结构图；

图6是本发明实施例的测试集分割效果图；

图7是本发明实施例的不同尺寸的胰腺肿瘤分割戴斯指数图。

具体实施方式

为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施例对本发明作详细说明。

本发明的实施例提供了一种基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法，如图1所示，其包括以下步骤：

步骤1：收集胰腺肿瘤CT影像数据集，胰腺肿瘤CT影像数据集来自于2018年MSD挑战赛任务07胰腺数据集，提供了281张CT图像与胰腺肿瘤分割标签。

对胰腺肿瘤CT影像数据集进行预处理：使用ITK-SNAP软件读取Dicom文件，对3D的CT图像进行切片化得到二维的CT切片图像，通过重采样将数据集CT切片图像厚度调整成一致，同时使得图像大小反映成像大小。本实施例中将512x512x44的原始CT切片图像调整为389*389*220。原始CT切片图像的Hu值范围为

[-1007,1007]，将Hu值小于等于-128设置为0，将Hu值大于等于127设置为255，将-128与127之间的Hu值先归一化再映射到0-255。接着进行中心裁剪将CT切片图像的分辨率调整到256X256，裁剪边缘无关信息，如图2所示。将CT切片图像对应的标签通过二值化处理为只包含1和0，其中1表示肿瘤区域，0表示其他器官和组织区域。

将预处理完的胰腺肿瘤CT影像数据集按照7:3的比例划分为训练集和测试集。

步骤2：构建深度分割神经网络。如图3所示，深度分割神经网络为编码器-解码器结构。编码器部分进行下采样计算，包括5层编码器，每层编码器包括依次连接的一个多尺度注意力模块、两个3X3卷积层和一个2X2最大池化层，每次卷积运算后接ReLU层。编码器部分每一层经过多尺度注意力模块计算通道数增加1倍，通过之后的两个3X3卷积层后通道数不变。2X2最大池化层将特征图下采样到原来尺寸的一半，即每次计算使特征图的宽高均减半。

解码器部分进行上采样计算，包括4层解码器，每层编码器包括依次连接的一个多尺度注意力模块和两个3X3卷积层，每次卷积运算后接ReLU层。对应层数的编码器和解码器相跳连，每个解码器通过反卷积操作将输入的特征图上采样到原来的二倍，然后与跳连带来的相应编码器输出的特征图拼接，输入多尺度注意力模块。解码器每次计算使宽高均变为2倍，通道数减半。最后一层所述解码器后依次连接3x3卷积层、1x1卷积层和sigmoid函数计算层，sigmoid函数输出预测分割结果。3x3卷积层和1x1卷积层用于细化肿瘤轮廓勾勒的细节。

如图3所示，编码器部分的第一层编码器与解码器部分的第四层解码器(最后一层解码器)相跳连，其余的编码器和解码器依次跳连。第五层编码器输出的特征图直接输入第一层解码器，通过反卷积操作上采样到原来的二倍，然后与第四层编码器输出的特征图拼接，输入第一层解码器的多尺度注意力模块。其余各层解码器的操作类似。

如图4所示，多尺度注意力模块的工作过程为：

步骤2.1：将特征图使用1X1、1X1和3X3、1X1和5X5、1X1的卷积分别生成四个分支的特征图；

步骤2.2：将四个分支的特征图进行拼接，然后进行一次批量归一化，再经过3X3的卷积，而后再进行一次批量归一化，得到多尺度特征图；

步骤2.3：将多尺度特征图输入通道注意力模块，通过全局平均池化和激活操作计算各通道特征的注意力权重，对通道进行筛选。

如图5所示，通道注意力模块的工作过程为：

步骤2.31：多尺度特征图使用全局平均池化压缩成1维向量；

步骤2.31：再通过公式(1)对1维向量进行非线性变换生成一组通道权重，

θ＝F_ex(T_l)＝σ(W₂φ(W₁T_l))         (1)

式中，θ代表通道权重，σ代表sigmoid函数，W₁代表线性映射1，W₂代表线性映射2，T_l代表1维向量；

步骤2.32：将通道权重与多尺度特征图相乘，实现对多尺度特征图的通道进行筛选。

步骤3：使用训练集训练深度分割神经网络，训练在服务器上进行，使用的显卡是NVIDIA Tesla T4一块，内存15GB。使用的环境是cuda10.9和cdnn1.0.2。程序是在tensorflow架构下编写，运行的软件是pycharm。训练实验设置400代，并且设置早停止，如果经过100代仍未更新在验证集上的最优参数则停止训练。训练使用的优化器是adam。设置学习率衰减，经历10代后模型性能不提升时，学习率衰减0.5倍将被触发，学习率的最小值为0.00005。训练数据是28608张2D图片。保存最优参数的神经网络模型。

步骤4：使用测试集验证所保存的神经网络模型的可用性；选择戴斯指数、杰卡德相似系数、召回率、精度以及豪斯多夫距离五种指标作为测试集评价指标，在测试集上进行分割测试，验证步骤3保存的神经网络模型的实际分割效果。测试集的分割效果如图6所示。

不同尺寸的胰腺肿瘤分割戴斯指数如图7所示，网络分割在CT切片上显示面积为30mm²的肿瘤的戴斯指数到达了65.22％；面积显示为170mm²的肿瘤分割戴斯指数达到了91.55％；在一张CT图像上显示两部分肿瘤，面积共849mm²，网络对其进行语义分割的戴斯指数为89.38％。

步骤5：使用步骤4中训练完成的深度分割神经网络对CT影像进行分割处理。将待分割的胰腺肿瘤图片输入到网络，运行测试程序实现分割。

以上通过实施例对本发明进行了详细说明，但所述内容仅为本发明的示例性实施例，不能被认为用于限定本发明的实施范围。本发明的保护范围由权利要求书限定。凡利用本发明所述的技术方案，或本领域的技术人员在本发明技术方案的启发下，在本发明的实质和保护范围内，设计出类似的技术方案而达到上述技术效果的，或者对申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖保护范围之内。

Claims (8)

1.基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法，其特征在于：包括以下步骤：

步骤1：收集胰腺肿瘤的CT影像数据集，对CT影像数据集进行预处理，然后划分为训练集和测试集；

步骤2：构建深度分割神经网络，深度分割神经网络为编码器-解码器结构，编码器部分进行下采样计算，其编码器每次计算使特征图的宽高均减半，通道数变为2倍；解码器部分进行上采样计算，其解码器每次计算使宽高均变为2倍，通道数减半，所述编码器和解码器均采用多尺度注意力模块；

步骤3：使用训练集训练深度分割神经网络，筛选并保存效果最好的神经网络模型；

步骤4：使用测试集验证所保存的神经网络模型的可用性；

步骤5：使用步骤4中训练完成的深度分割神经网络对CT影像进行分割处理。

2.如权利要求1所述的基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法，其特征在于：步骤1中，预处理过程为：将CT影像数据集中的图像进行切片化，得到二维的CT切片图像；对二维的CT切片图像进行重采样，将CT切片图像的厚度调整成一致；调整CT切片图像的Hu值：Hu值小于等于-128设置为0，将Hu值大于等于127设置为255，将-128与127之间的Hu值先归一化再映射到0-255；进行中心裁剪将CT切片图像的分辨率调整到256X256；将CT切片图像对应的标签通过二值化处理为只包含1和0，其中1表示肿瘤区域，0表示其他器官和组织区域。

3.如权利要求1所述的基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法，其特征在于：所述编码器部分和解码器部分均为多层结构，对应层数的编码器和解码器相跳连，每个解码器通过反卷积操作将输入的特征图上采样到原来的二倍，然后与跳连带来的相应编码器输出的特征图拼接，输入多尺度注意力模块。

4.如权利要求3所述的基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法，其特征在于：编码器部分包括5层编码器，每层编码器包括依次连接的一个多尺度注意力模块、两个3X3卷积层和一个2X2最大池化层，每次卷积运算后接ReLU层，2X2最大池化层将特征图下采样到原来尺寸的一半；

解码器部分包括4层解码器，每层编码器包括依次连接的一个多尺度注意力模块和两个3X3卷积层，每次卷积运算后接ReLU层，最后一层所述解码器后依次连接3x3卷积层、1x1卷积层和sigmoid函数计算层。

5.如权利要求1所述的基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法，其特征在于：多尺度注意力模块的工作过程为：

步骤2.1：将特征图使用1X1、1X1和3X3、1X1和5X5、1X1的卷积分别生成四个分支的特征图；

步骤2.2：将四个分支的特征图进行拼接，然后进行一次批量归一化，再经过3X3的卷积，而后再进行一次批量归一化，得到多尺度特征图；

步骤2.3：将多尺度特征图输入通道注意力模块，通过全局平均池化和激活操作计算各通道特征的注意力权重，对通道进行筛选。

6.如权利要求5所述的基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法，其特征在于：通道注意力模块的工作过程为：

步骤2.31：多尺度特征图使用全局平均池化压缩成1维向量；

步骤2.31：再通过公式(1)对1维向量进行非线性变换生成一组通道权重，

θ＝F_ex(T_l)＝σ(W₂φ(W₁T_l))         (1)

式中，θ代表通道权重，σ代表sigmoid函数，W₁代表线性映射1，W₂代表线性映射2，T_l代表1维向量；

步骤2.32：将通道权重与多尺度特征图相乘，实现对多尺度特征图的通道进行筛选。

7.如权利要求1所述的基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法，其特征在于：步骤3中，步骤3.1：设置训练过程中的超参数、学习率、训练轮数、衰减因子和网络优化器参数；

步骤3.2：将训练集送入深度分割神经网络模型，并进行5折交叉验证实验；

步骤3.3：训练过程中，记录每个轮次神经网络模型在验证集上的表现，将效果最好的神经网络模型进行保存。

8.如权利要求1所述的基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法，其特征在于：步骤4中，选择戴斯指数、杰卡德相似系数、召回率、精度以及豪斯多夫距离五种指标作为测试集评价指标，在测试集上进行分割测试，验证步骤3保存的神经网络模型的实际分割效果。

Images