CN112085741B - 一种基于深度学习的胃癌病理切片分割算法 - Google Patents

Abstract

本发明公开了一种基于深度学习的胃癌病理切片分割算法，其包括以下步骤：S1、获取胃部病理切片图像，将胃部病理切片图像划分为数据集；S2、对数据集的胃部病理切片图像进行预处理，得到图像块，对图像块进行0‑360°旋转、平移及翻转的数据增强；S3、构建FPA‑Net分割模型，FPA‑Net分割模型具有用于深度学习的特征金字塔模块及空洞空间金字塔池化模块；S4、将S2中的图像块输入FPA‑Net分割模型中，得到分割结果；本发明利用深度学习的方法实现对胃部病理切片的胃癌区域自动分割，能够准确地分割出不同形态的癌症区域。

Description

一种基于深度学习的胃癌病理切片分割算法

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于深度学习的胃癌病理切片分割算法。

背景技术

胃癌是起源于胃黏膜上皮的一种发病率和致死率都较高的肿瘤。我国每年有近30万人因胃癌死亡，是仅次于肺癌的第二大恶性肿瘤，因此，能否及时准确地诊断胃癌一直是医学研究人员的工作重点。

病理诊断是目前公认的、最可靠的胃癌诊断方法，但是传统的病理诊断方法要依靠病理医生通过显微镜去寻找癌症组织，耗时耗力；同时，对于同一张病理切片，不同的医生由于经验的差异容易会得出不同的诊断结果，主观性强，导致病理切片的诊断结果准确度较低。

发明内容

本发明的目的在于提供一种基于深度学习的胃癌病理切片分割算法，利用深度学习的方法实现对胃部病理切片的胃癌区域自动分割，能够准确地分割出不同形态的癌症区域。

为实现上述目的，本发明采用以下技术方案：

一种基于深度学习的胃癌病理切片分割算法，包括以下步骤：

S1、获取胃部病理切片图像，将胃部病理切片图像划分为数据集；

S2、对数据集的胃部病理切片图像进行预处理，得到图像块，对图像块进行0-360°旋转、平移及翻转的数据增强；

S3、构建FPA-Net分割模型，FPA-Net分割模型具有用于深度学习的特征金字塔模块及空洞空间金字塔池化模块；

S4、将S2中的图像块输入FPA-Net分割模型中，得到分割结果。

进一步地，所述步骤S2中的预处理具体为对胃部病理切片进行裁切并通过设定0.3-0.8的阈值进行筛选，得到图像块。

进一步地，所述步骤S4的具体步骤如下：

S41、输入图像块，通过特征金字塔模块自下而上的路径对图像块逐层进行卷积和池化操作，得到多尺度特征图；

S42、将多尺度特征图输入空洞空间金字塔池化模块，空洞空间金字塔池化模块，通过并行执行不同膨胀系数的空洞卷积及全局池化操作，得到具有多感受野特征图并在通道方向上进行融合，得到多尺度感受野特征图；

S43、将多尺度感受野特征图输入特征金字塔模块，通过特征金字塔模块自上而下的路径对多尺度感受野特征图进行上采样操作后，与步骤S41中多尺度特征图通过卷积压缩后进行横向连接，融合得到不同尺度的融合特征图；

S44、将不同尺度的融合特征图进行上采样操作后，得到同尺度的融合特征图，将同尺度的融合特征图相连接并进行卷积，再进行上采样操作，输出得到分割结果。

进一步地，所述特征金字塔模块具有自下而上的路径及自上而下的路径，自下而上的路径上设有卷积层及池化层，自上而下的路径上设有上采样层及1×1卷积层，通过卷积层及池化层采集图像块的多尺度特征图，上采样层对多尺度感受野特征图进行上采样操作后与多尺度特征图输入1×1卷积层压缩通道后进行横向连接。

进一步地，所述步骤S42中的空洞空间金字塔池化模块设有深度可分离卷积单元，深度可分离卷积单元包括深度卷积及逐点卷积，通过深度卷积对多尺度特征图进行卷积后输入逐点卷积进行融合。

进一步地，所述深度卷积包含1个1×1卷积层及3个3×3卷积层，3个3×3卷积层分别采用膨胀系数为12、24及36的空洞卷积。

进一步地，所述空洞卷积的具体公式如下：

其中，y表示输出特征图，x表示输入特征图，w表示卷积核，k表示卷积核的位置，r表示空洞卷积的膨胀系数。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

1、本发明构建FPA-Net分割模型，对获取的胃部病理切片图像进行预处理，得到图像块并进行数据增强，降低FPA-Net分割模型过拟合的风险，通过FPA-Net分割模型的特征金字塔模块及空洞空间金字塔池化模块分别对图像块的胃癌区域进行特征提取及深度学习，利用深度学习的方法实现对胃部病理切片的胃癌区域自动分割，能够准确地分割出不同形态的癌症区域，减轻病理医生的工作负担，提高诊断效率与准确率。

2、本发明通过特征金字塔模块提取特征，通过将空间信息较少但语义信息强的特征图不断与空间信息丰富但语义信息较弱的特征图结合，从而减小不同尺度特征图之间的语义鸿沟，该模块并无额外增加计算量的同时增强了FPA-Net分割模型对于病理切片的识别能力，提升了FPA-Net分割模型的检测性能。

3、本发明通过空洞空间金字塔池化模块并行执行不同膨胀系数的空洞卷积及全局池化操作，通过深度卷积对进行卷积后输入逐点卷积，产生并融合多尺度感受野信息，得到多尺度感受野特征图，通过全局池化操作，用于提取整张特征图对应输入图像块的感受野特征信息，使FPA-Net分割模型学习到多尺度感受野中的信息并增强网络的性能。

附图说明

图1为本发明工作流程图；

图2为本发明整体工作结构示意图；

图3为本发明特征金字塔模块工作结构示意图；

图4为本发明空洞空间金字塔池化模块工作结构示意图；

图5为本发明深度可分离卷积单元工作结构示意图；

图6为本发明FPN-Net分割模型、FCN-8S模型、SegNet模型及U-Net模型的分割结果对比图；

图7为本发明XceptionFCN模型、DeepLabv3+模型、FPN模型及FPA-Net分割模型的分割结果对比图；

图8为本发明FPA-Net分割模型与双输入InceptionV3模型的分割结果对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

配合图1至图8所示，本发明公开了一种基于深度学习的胃癌病理切片分割算法，包括以下步骤：

S1、获取胃部病理切片图像，将胃部病理切片图像划分为数据集。

S2、对数据集的胃部病理切片图像进行预处理，得到图像块，对图像块进行0-360°旋转、平移及翻转的数据增强。

S3、构建FPA-Net分割模型，FPA-Net分割模型具有用于深度学习的特征金字塔模块及空洞空间金字塔池化模块。

S4、将S2中的图像块输入FPA-Net分割模型中，得到分割结果。

配合图1至图4所示，步骤S2中的预处理具体为对胃部病理切片进行裁切并通过设定0.3-0.8的阈值进行筛选，得到图像块；选取数据集样本时，通过对数据集提取阳性图像块及阴性图像块；在选取阳性图像块时，为避免引入假阴性噪声，先通过对胃部病理切片图像进行内切割得到单位图像块，既扩充了数据量，也不会存在因整张图像作为FPA-Net分割模型输入所带来的内存溢出问题，阈值优选0.7，使得图像块中胃癌区域所占比例超过阈值时，才能选入图像块作为FPA-Net分割模型的输入，能有效减少假阴性区域，从而减少噪声数据对FPA-Net分割模型的影响，提升FPA-Net分割模型的识别效果。

步骤S4的具体步骤如下：

S41、输入图像块(Input Image)，通过特征金字塔模块自下而上的路径对图像块逐层进行卷积和池化操作，得到多尺度特征图。

S42、将多尺度特征图输入空洞空间金字塔池化模块，空洞空间金字塔池化模块，通过并行执行不同膨胀系数的空洞卷积及全局池化操作，得到具有多感受野特征图并在通道方向上进行融合，得到多尺度感受野特征图(Feature Map)。

S43、将多尺度感受野特征图输入特征金字塔模块，通过特征金字塔模块自上而下的路径对多尺度感受野特征图进行上采样(Upsampling)操作后，与步骤S41中多尺度特征图通过卷积压缩后进行横向连接(Lateral Connection)，融合得到不同尺度的融合特征图；

S44、将不同尺度的融合特征图进行上采样操作后，得到同尺度的融合特征图，将同尺度的融合特征图相连接(Concatenate)并进行卷积(Convolutions)，再进行上采样(Upsampling)操作，输出得到分割结果。

以特征金字塔模块为基础，结合空洞空间金字塔池化模块构建FPA-Net模型，通过利用特征金字塔模块结合多尺度特征图以及空洞空间金字塔池化模块产生多种感受野信息的特点，实现对胃癌病理切片的自动分割。

配合图2及图3所示，特征金字塔模块(FPN)具有自下而上的路径(Bottom-Up)及自上而下的路径，自下而上的路径上设有卷积层(Conv Layer)及池化层(Pooling Layer)，自上而下的路径(Top-Down)上设有上采样层及1×1卷积层(Conv)，通过卷积层及池化层采集图像块的多尺度特征图，上采样层对多尺度感受野特征图进行上采样(Upsampling)操作后与多尺度特征图输入1×1卷积层(Conv)压缩通道后进行横向连接(Lateral Connection)。

本实施例通过特征金字塔模块提取特征，通过将空间信息较少但语义信息强的特征图不断与空间信息丰富但语义信息较弱的特征图结合，从而减小不同尺度特征图之间的语义鸿沟，该模块并无额外增加计算量的同时增强了FPA-Net分割模型对于病理切片的识别能力，提升了FPA-Net分割模型的检测性能。

配合图2、图4及图5所示，步骤S42中的空洞空间金字塔池化模块(ASPP)设有深度可分离卷积单元，深度可分离卷积单元包括深度卷积(Depthwise conv)及逐点卷积(Pointconv)，通过深度卷积对多尺度特征图进行卷积后输入逐点卷积进行融合。

深度卷积包含1个1×1卷积层(Conv)及3个3×3卷积层(Conv)，3个3×3卷积层(Conv)分别采用膨胀系数(Rate)为12、24及36的空洞卷积(Atrous depthwise conv)；空洞卷积可以在不损失特征图空间结构的情况下，通过调整膨胀系数扩展卷积核的感受野，将空洞卷积引入FPA-Net分割模型，可以保留特征图的空间信息，提高FPA-Net分割模型的分割准确度。

深度可分离卷积单元将H×W×C的特征图进行卷积运算得到H’×W’×N的特征图，对于标准卷积(Standard Convolutions)，其需要N个DDC的卷积核，权值数量为N×D×D×C，对于深度可分离卷积单元(Depthwise Separable Convolutions)包含的深度卷积(Depthwise Convolutions)和逐点卷积(Pointwise Convolutions)，深度卷积包含C个D×D×1的卷积核，分别对对应通道中给的特征图进行卷积操作，再通过逐点卷积中的N个1×1×C的卷积和将深度卷积生成的特征图进行融合；两部分的卷积操作所需要的权值数量为(N×D×D)×C，深度可分离卷积所需要的权值数量为标准卷积的深度可分离卷积极大地降低了标准卷积所需的计算量，提高了卷积层的计算速度，减小了FPA-Net分割模型的体量；其中，H、W及C分别表示特征图的高、宽及长，N为个数，D为尺寸。

空洞卷积的具体公式如下：

其中，y表示输出特征图，x表示输入特征图，w表示卷积核，k表示卷积核的位置，r表示空洞卷积的膨胀系数。

本实施例通过空洞空间金字塔池化模块并行执行不同膨胀系数的空洞卷积及全局池化操作，通过深度卷积对进行卷积后输入逐点卷积，产生并融合多尺度感受野信息，得到多尺度感受野特征图，通过全局池化操作，用于提取整张特征图对应输入图像块的感受野特征信息，使FPA-Net分割模型学习到多尺度感受野中的信息。

本实施例构建的FPA-Net分割模型，利用了卷积神经网络本身金字塔形的特点，输入单一尺寸的图像块，便可以得到多种尺度的特征图，不存在冗余计算，节省了存储空间，而且又加入了空洞空间金字塔池化模块，结合了多种尺度感受野的信息，进一步增强了FPA-Net分割模型的性能。

实验评价

通过Dice评价指标评价FPA-Net分割模型的性能，Dice评价指标的公式为：

其中，G表示真实标签，P表示分割结果。

验证特征金字塔模块(FPN)的性能，将FPN、FCN-8S、SegNet及U-Net均以SEResNet18为基础进行对比，对比结果如下表1所示：

Method	MeanDicecoefficient(％)
		FCN-8S	75.96
SegNet	77.64
		U-Net	77.80
FPN	78.74

表1FPN-Net分割模型与FCN-8S模型、SegNet模型及U-Net模型对比表

通过表1可知特征金字塔模块(FPN)的分割指标平均Dice coefficient达到最高，通过结合自上而下路径中不同尺度的特征图信息，使得网络对于不同大小的目标物体具有更高的识别精度，更适用于像病理图像这样复杂图像的分割任务。

参考图6所示，图中从上到下分别是原始预测图像(Original Image)、标签(Label)以及FCN-8S、SegNet、U-Net及FPN的分割结果，从对比图可以看出，FPN的分割结果更接近于真实标签，进一步证明了FPA-Net分割模型选择特征金字塔模块(FPN)的有效性。

验证空洞空间金字塔池化模块(ASPP)的有效性，选取21层的Xception作为DeepLabv3+和XceptionFCN的基础网络，选取SEResNet18作为FPN和FPA-Net分割模型的基础网络，通过对比得到对比结果，对比结果如表2所示：

Method	MeanDicecoefficient(％)
		XceptionFCN	74.50
DeepLabv3+	79.09
		FPN	78.74
FPA-Net	80.15

表2空洞空间金字塔池化模块(ASPP)有效性对比表

通过表2可知，空洞空间金字塔池化模块(ASPP)有利于提高网络的分割效果，这是由于空洞空间金字塔池化模块(ASPP)能够并行执行多个空洞卷积以及全局池化操作，生成具有不同大小感受野信息的特征图，使得模型可以融合多种感受野信息，强化网络对于不同尺度、形态的目标物体的识别能力。

参考图7所示，图中从上到下分别是原始预测图像(Original Image)、标签(Label)以及XceptionFCN、DeepLabv3+、FPN、FPA-Net的分割结果。

验证FPA-Net分割模型的有效性，通过FPA-Net分割模型与双输入InceptionV3模型(Dual Input InceptionV3)进行对比，双输入InceptionV3模型以s×s大小的像素块为中心像素，并在其上选取p×p、q×q两种不同尺寸的图像块作为模型输入，并行经过卷积和池化操作后，在通道方向对生成的两个特征图进行融合，通过Inception模块对融合后的特征图进行处理，利用全连接网络输出图像块对应的大小的像素块的类别，最终将像素块拼接起来作为分割结果；其中s、p及q分别取64、80及128，双输入InceptionV3模型前端并行的卷积层数设置为5层，后接7个Inception模块对融合后的特征图进行处理；通过对比得到对比结果，结果如表3所示：

Method	Mean Dice coefficient(％)
		Dual Input InceptionV3	79.64
FPA-Net	80.15

表3 FPA-Net分割模型与双输入InceptionV3模型对比表

通过表3可知，FPA-Net得到的平均Dice coefficient相比Dual InputInceptionV3提高了0.51％，证明了FPA-Net分割模型的有效性。

参考图8所示，图中从上到下分别是原始预测图像(Original Image)、标签(Label)以及FPA-Net分割模型、双输入InceptionV3模型的分割结果对比图，与Dual InputInceptionV3模型相比，FPA-Net分割模型的分割结果更接近标签。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种基于深度学习的胃癌病理切片分割算法，其特征在于，包括以下步骤：

S1、获取胃部病理切片图像，将胃部病理切片图像划分为数据集；

S2、对数据集的胃部病理切片图像进行预处理，得到图像块，对图像块进行0-360°旋转、平移及翻转的数据增强；

S3、构建FPA-Net分割模型，FPA-Net分割模型具有用于深度学习的特征金字塔模块及空洞空间金字塔池化模块；

S4、将S2中的图像块输入FPA-Net分割模型中，得到分割结果；

所述步骤S2中的预处理具体为对胃部病理切片进行裁切并通过设定0.3-0.8的阈值进行筛选，得到图像块；

所述步骤S4的具体步骤如下：

S41、输入图像块，通过特征金字塔模块自下而上的路径对图像块逐层进行卷积和池化操作，得到多尺度特征图；

S42、将多尺度特征图输入空洞空间金字塔池化模块，空洞空间金字塔池化模块，通过并行执行不同膨胀系数的空洞卷积及全局池化操作，得到具有多感受野特征图并在通道方向上进行融合，得到多尺度感受野特征图；

S43、将多尺度感受野特征图输入特征金字塔模块，通过特征金字塔模块自上而下的路径对多尺度感受野特征图进行上采样操作后，与步骤S41中多尺度特征图通过卷积压缩后进行横向连接，融合得到不同尺度的融合特征图；

S44、将不同尺度的融合特征图进行上采样操作后，得到同尺度的融合特征图，将同尺度的融合特征图相连接并进行卷积，再进行上采样操作，输出得到分割结果。

2.如权利要求1所述的一种基于深度学习的胃癌病理切片分割算法，其特征在于：所述特征金字塔模块具有自下而上的路径及自上而下的路径，自下而上的路径上设有卷积层及池化层，自上而下的路径上设有上采样层及1×1卷积层，通过卷积层及池化层采集图像块的多尺度特征图，上采样层对多尺度感受野特征图进行上采样操作后与多尺度特征图输入1×1卷积层压缩通道后进行横向连接。

3.如权利要求1所述的一种基于深度学习的胃癌病理切片分割算法，其特征在于：所述步骤S42中的空洞空间金字塔池化模块设有深度可分离卷积单元，深度可分离卷积单元包括深度卷积及逐点卷积，通过深度卷积对多尺度特征图进行卷积后输入逐点卷积进行融合。

4.如权利要求3所述的一种基于深度学习的胃癌病理切片分割算法，其特征在于：所述深度卷积包含1个1×1卷积层及3个3×3卷积层，3个3×3卷积层分别采用膨胀系数为12、24及36的空洞卷积。

5.如权利要求4所述的一种基于深度学习的胃癌病理切片分割算法，其特征在于：所述空洞卷积的具体公式如下：，

其中，y表示输出特征图，x表示输入特征图，w表示卷积核，k表示卷积核的位置，r表示空洞卷积的膨胀系数。