CN114565761A - 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法，它包括数据的获取和预处理、分类网络SENet的搭建和训练与肿瘤区域的预测。本发明基于病理图像研究肾透明细胞癌，相较与CT、MRI图像的判断具有较高的可信度。本发明解决了之前对于肾透明细胞癌的研究仅仅局限于判断是否存在的弊端，能够直观的给出肿瘤区域的位置与大小，方便医疗人员更好的研究神透明细胞癌的发病原理与治疗动向。本发明从病理图像的整体出发，对整张病理图像的肿瘤区域进行自动分割，突破了之前对病理图像块的研究，能够给出相对完整且智能的诊断结果。

Description

一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割 方法

技术领域

本发明涉及一种医学诊断辅助方法，具体地说是一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法。

背景技术

肾脏是人体泌尿系统的重要组成器官，能够生成尿液，完成对营养物质的重吸收，维持机体内环境的相对稳定。肾癌在泌尿系统肿瘤中占第二位，约占成人肿瘤的2％～3％，其逐年增加的发病率和死亡率对人类的身体健康造成严重威胁。肾透明细胞癌是肾癌中最常见的一种肿瘤，约占肾肿瘤的60％～70％，病理图像作为检测肿瘤的金标准，为进一步研究和治疗肾透明细胞癌提供了有效的途径。

近些年来，关于肾癌的研究大部分集中在利用人工智能的方法对肾癌的影像组学进行研究。Lee H等人通过结合手工特征与机器学习的方法识别透明细胞癌与血管平滑肌脂肪瘤。同样的，Feng等人通过采用支持向量机的方法实现对上述两种类型的分类，其分类精度有了进一步的提高。此外，Erdim等人通过随机森林的方法实现对肾癌的良恶性分类。在病理图像上，关于肾癌的研究，早在2014年，Kruk M等人就通过支持向量机的方法实现对透明细胞癌的Fuhrman分级。2017年，鲁达浩等人通过深度学习的方法实现对病理图像中的细胞核的自动分割。2020年，程君等人通过四种机器学习的方法实现透明细胞癌与TFE3肾细胞癌的分类，取得了较好的结果。

虽然上述研究表明人工智能技术在肾癌中已经有了初步的研究和应用，但依旧存在以下几点不足：1、影像组学可以作为检查肾透明细胞癌的早期手段，其识别的准确性仍需要病理图像的进一步确认。2、目前的透明细胞癌的病理图像中的研究主要集中在对透明细胞癌的分级或者良恶性分类的研究，无法给出具体的肿瘤区域。3、由于病理图像尺寸大的特点，之前的研究基本上是基于大病理切片中的小块图像进行分级或者细胞核分割，无法实现对整张病理图像的自动肿瘤区域的识别。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法，该方法能对HE染色的病理图像中的透明细胞癌肿瘤区域进行自动分割，能够辅助医疗人员更直观，更精确地确定肿瘤的位置和大小信息，从而更好的帮助患者确定合适的治疗方案，减轻医疗人员的负担。

按照本发明提供的技术方案，所述基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法，该方法包括以下步骤：

a、数据的获取和预处理；

b、分类网络SENet的搭建和训练；

c、肿瘤区域的预测。

作为优选，所述数据的获取和预处理步骤具体包括：

a1、肾癌患者原始扫描的HE切片图像由kfb格式转成tiff格式；

a2、将得到的tiff格式的HE切片图像通过ASAP软件在图像上标注肿瘤区域与非肿瘤区域，然后在肿瘤区域与非肿瘤区域内随机生成采样点，并以这些采样点为中心生成512×512大小的图像块；

a3、将HE切片图像块按病人划分为训练集、验证集和测试集；

a4、将所有图像块采用随机左右翻转以及随机旋转的方式来进行图像增强，并对所有的图像块进行归一化的处理，记图像块I在x位置处的像素值为I(x)，归一化后x位置的输出为I’(x)，归一化的计算公式如公式1所示：

I'(x)＝(I(x)-128)/128公式(1)。

作为优选，所述分类网络SENet的搭建和训练步骤具体包括：

b1、首先将经过归一化处理的512×512图像块送入卷积核大小为7×7的卷积中提取初级特征；

b2、接着通过4个级联的融入SE模块的残差块来学习图像块中的高级特征；

b3、最后把得到的含有丰富语义信息的特征经过全局平均池化拉伸为一维的特征向量，通过全连接层及Sigmoid函数最终得到模型的预测值输出，其中预测值0表示该图像是非肿瘤图像，预测值1表示该图像是肿瘤图像。

作为优选，所述肿瘤区域的预测步骤具体包括：

c1、首先，通过openslide库里面的get_thumbnail函数得到指定大小的缩略图；

c2、接着，通过最大类间方差法得到病理图像缩略图中有组织的前景图像，记为mask1；

c3、然后，使用大小为3×3的结构元素对mask1进行膨胀操作，填充阈值分割遗留的一些小的孔洞，获得只有组织前景的二值图像mask，遍历mask图像中每个前景像素的坐标P_mask，乘上之前原始图像到缩放图像的缩放倍数形成原始图像中对应的点的坐标P_wsi；以P_wsi坐标为中心取原图512×512的图像块，送入之前训练好的SENet中预测得到y_pred，以y_pred作为mask中P_mask处的像素值，遍历完所有的像素形成初步的肿瘤区域结果；

c4、最后，通过约束连通域面积的方法滤除初步分割结果中出现的假阳性区域，从而得到最终的肿瘤区域的分割结果。

进一步优选，所述SE模块，先将提取到的特征通过全局平均池化得到在通道方向上的特征，接着将得到的特征通过全连接层进行压缩和激励，恢复到与输入特征通道数一致的一维向量，这个一维向量会随着神经网络的不断优化迭代更新出不同的数值，其中每个值代表了这个通道对应的原始特征图对于神经网络预测正确的重要性权重，将通道注意力得到的权重与输入特征相乘，即能得到在通道方向上增强的特征，从而更好地促进分类网络的学习与收敛。

进一步优选，训练过程中对SENet采用学习率为10^-4的Adam优化器对模型参数进行优化；损失函数是用来表现预测结果与实际标签的距离的函数，通过优化器和梯度下降的方法不断降低预测结果与实际标签之间的差距，从而使预测结果与标签越来越接近。本发明中需要对输入图像进行二分类(即判断输入的图像是不是肿瘤)，因此采用二进制交叉熵来约束整个模型。记原始的标签为y_label,模型预测的结果为y_pred,则损失函数loss的计算公式为：

loss＝-(y_labellogy_pred+(1-y_label)log(1-y_pred)) 公式(2)。

本发明相比现有技术，存在以下优点：

(1)本发明基于病理图像研究肾透明细胞癌，相较与CT、MRI图像的判断具有较高的可信度。

(2)本发明解决了之前对于肾透明细胞癌的研究仅仅局限于判断是否存在的弊端，能够直观的给出肿瘤区域的位置与大小，方便医疗人员更好的研究神透明细胞癌的发病原理与治疗动向。

(3)本发明从病理图像的整体出发，对整张病理图像的肿瘤区域进行自动分割，突破了之前对病理图像块的研究，能够给出相对完整且智能的诊断结果。

附图说明

图1是本发明中的SENet网络的结构图。

图2是本发明中融入SE模块的残差块的结构图。

图3是本发明中HE图像透明细胞癌癌肿瘤区域预测步骤图。

图4是ResNet18受试者工作特征曲线。

图5是本发明中SENet受试者工作特征曲线。

具体实施方式

下面对本发明的具体实施方式作详细的描述：

本发明的方法主要包括3个步骤：数据的获取和预处理、分类网络的搭建和训练以及肿瘤区域的预测。

数据的获取和预处理

本发明采用无锡第二人民医院2020年5月至2021年5月的69例病人的230张HE数字切片作为整个研究对象。其中每个病人有1至10张HE切片，每张HE切片中不一定包含肿瘤区域。本发明以人为单位，将整个数据集划分为训练集，验证集和测试集。由于原始扫描的数字切片是kfb格式的，计算机无法处理，因此，本发明采用江丰自带的转换软件将kfb格式的图像转为tiff格式。此外，在专业医生的指导下通过ASAP软件在每张HE切片标注肿瘤与非肿瘤区域，随后在各自的区域中随机截取大小为512×512的图像块，方便后续在分类网络中的训练，具体的图片数量如表1所示：

表1数据集图片数量分布

训练前对原始图像采用随机左右翻转，以及随机旋转(0°，90°，180°，270°)的方式来进行图像增强，避免出现过拟合的情况。并对所有的图像进行归一化的处理，加快网络的收敛。记图像I在x位置处的像素值为I(x),归一化后x位置的输出为I’(x)，归一化的计算公式如公式1所示：

I'(x)＝(I(x)-128)/128 公式(1)

分类网络的搭建和训练

将前面得到的数据集送入SENet网络中训练，具体的训练和实验参数如下面的步骤所示：

a.具体的SENet的网络结构如图1所示，首先将原始的512×512的图像送入卷积核大小为7×7的卷积层[Conv(7,7)]和池化层[Maxpool(2,2)]中提取初级特征，接着通过4个级联的融入SE模块的残差块(SE-Residual Block)来学习图像中的高级特征，最后把得到的含有丰富语义信息的特征经过全局平均池化(Global Average Pooling,GAP)拉伸为一维的特征向量，通过全连接层(Full Connected)及Sigmoid函数最终得到模型的预测输出，其中预测值0表示该图像是非肿瘤图像，预测值1表示该图像是肿瘤图像。

b.融入SE模块的残差块，是在原始的残差块中融入SE模块(如图2所示)。大量实验表明核为3×3的卷积[Conv(3,3)]、批量标准化层(BatchNormalization,BN)和ReLU函数的结合使用能够加快网络的训练速度，增加网络参数的非线性，防止过拟合。但是仅仅使用上述结构提取特征时，随着网络层数的增加以及池化层的不断去除冗余特征，能够传递到网络深层的梯度信息较少，可能会导致分类的效果差。残差块为了避免网络训练过程中出现的梯度消失的问题，将原始的特征x与卷积提取后的特征f(x)进行相加，这样既保留了原始特征中的信息，也增加了有利于图像分类的新特征。本发明将SE模块加在残差块中间，让网络提取的特征的语义信息更加丰富。SE模块(SE-Block)的具体结构如图2上方的虚线框中所示，先将提取到的特征通过全局平均池化(Global Average Pooling,GAP)得到在通道方向上的特征，接着将得到的特征通过全连接层(Full-Connected,FC)进行压缩和激励，恢复到与输入特征通道数一致的一维向量，这个一维向量会随着神经网络的不断优化迭代更新出不同的数值，其中每个值代表了这个通道对应的原始特征图对于神经网络预测正确的重要性权重，将通道注意力得到的权重与输入特征相乘，即能得到在通道方向上增强的特征，从而更好地促进分类网络的学习与收敛。

c.网络模型的优化。训练过程中对SENet采用学习率为10^-4的Adam优化器对模型参数进行优化。损失函数是用来表现预测结果与实际标签的距离的函数，通过优化器和梯度下降的方法不断降低预测结果与实际标签之间的差距，从而使预测结果与标签越来越接近。本发明中需要对输入图像进行二分类(即判断输入的图像是不是肿瘤)，因此采用二进制交叉熵来约束整个模型。记原始的标签为y_label,模型预测的结果为y_pred,则损失函数loss的计算公式为：

loss＝-(y_labellogy_pred+(1-y_label)log(1-y_pred)) 公式(2)

肿瘤区域的预测

训练完成肿瘤分类网络之后，本发明按照如下步骤完成对肿瘤区域的预测。具体的预测流程图如图3所示，

首先，通过openslide库里面的get_thumbnail函数得到指定大小的缩略图(此处指定最大边长512)，接着通过阈值分割得到病理图像缩略图中有组织的前景图像，记为mask1。这里之所以在缩略图像上做分割，原始的病理图像尺寸较大，大约10万×10万的图像，对原图预测既耗费大量的计算机资源也比较耗费时间，因此对原始病理图像的缩略图像逐像素进行预测。

然后，mask1通过形态学处理(具体指使用核大小为3×3的结构元素进行膨胀)填充阈值分割中的孔洞，得到只有组织前景的二值图像的标签mask。之后对mask图像中前景部分的像素进行坐标变换，即mask图像中每个前景像素的坐标P_mask，乘上之前原始图像到缩放图像的缩放倍数回的原始图像中对应的点的坐标P_wsi。以P_wsi坐标为中心取原图512×512的图像块，送入第二步中训练好的SENet中进行模型预测，并且以预测结果作为mask中P_mask处的像素值，遍历完所有的像素形成初步的肿瘤区域结果。

最后，通过连通域面积滤除的方法滤除肿瘤区域初步分割结果中面积小于200像素的假阳性区域，得到最终的肿瘤分割结果。

实验结果对比

本发明对比了采用基础的ResNet18分类网络与SENet对透明细胞癌与非透明细胞癌图片的识别情况，这两个网络都是在同样的训练参数和电脑硬件配置下训练的。测试时通过敏感性(Sensitivity，Sen)、特异性(Speciticity,Spe)、准确率(Accuracy,Acc)和受试者工作特征曲线(Receiver Operating Characteristic curve，ROC)下面积(AreaUnder Curve，AUC)等指标来衡量网络分类性能的好坏，敏感性Sen是衡量当前算法对肿瘤的识别情况，特异度Spe是用来表征算法对非肿瘤图像的识别情况，准确度Acc则是算法对测试集中所有图像的识别准确率。记TN表示原来是肿瘤的图片被正确预测为肿瘤的图片数量，FN表示原来是肿瘤的图片被错误预测为非肿瘤图像的数量，TN表示原来是非肿瘤的图像预测正确的图片数量，FP表示将非肿瘤预测成肿瘤的数量。则Sen、Spe、Acc的计算方法如下：

Sen＝TP/(TP+FN) 公式(3)

Spe＝TN/(TN+FP) 公式(4)

Acc＝(TP+TN)/(TN+FN+TP+FP) 公式(5)

ROC是感受性曲线，以分类器的真阳性率为纵坐标，假阳性率为横坐标形成的曲线。该曲线越靠近左上角，表明模型的准确性越高，ResNet18的ROC曲线如图4所示，SENet的ROC曲线如图5所示。由此也延伸出ROC曲线下面积AUC来衡量二分类模型的优劣。上述分类指标的具体数值如表2所示，不难看出，SENet在给模型引入了通道方向上的注意力后确实取得了更佳的分类性能。

表2 ResNet18与SeNet模型分类结果

	Sen	Spe	AUC	Acc
					ResNet18	0.8873	0.9937	0.94	0.9402
SeNet	0.9429	0.9906	0.97	0.9666

。

Claims (6)

1.一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法，其特征是该方法包括以下步骤：

a、数据的获取和预处理；

b、分类网络SENet的搭建和训练；

c、肿瘤区域的预测。

2.如权利要求1所述的基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法，其特征是：所述数据的获取和预处理步骤具体包括：

a1、肾癌患者原始扫描的HE切片图像由kfb格式转成tiff格式；

a2、将得到的tiff格式的HE切片图像通过ASAP软件在图像上标注肿瘤区域与非肿瘤区域，然后在肿瘤区域与非肿瘤区域内随机生成采样点，并以这些采样点为中心生成512×512大小的图像块；

a3、将HE切片图像块按病人划分为训练集、验证集和测试集；

a4、将所有图像块采用随机左右翻转以及随机旋转的方式来进行图像增强，并对所有的图像块进行归一化的处理，记图像块I在x位置处的像素值为I(x)，归一化后x位置的输出为I’(x)，归一化的计算公式如公式1所示：

I'(x)＝(I(x)-128)/128 公式(1)。

3.如权利要求1所述的基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法，其特征是：所述分类网络SENet的搭建和训练步骤具体包括：

b1、首先将经过归一化处理的512×512图像块送入卷积核大小为7×7的卷积中提取初级特征；

b2、接着通过4个级联的融入SE模块的残差块来学习图像块中的高级特征；

b3、最后把得到的含有丰富语义信息的特征经过全局平均池化拉伸为一维的特征向量，通过全连接层及Sigmoid函数最终得到模型的预测值输出，其中预测值0表示该图像是非肿瘤图像，预测值1表示该图像是肿瘤图像。

4.如权利要求1所述的基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法，其特征是：所述肿瘤区域的预测步骤具体包括：

c1、首先，通过openslide库里面的get_thumbnail函数得到指定大小的缩略图；

c2、接着，通过最大类间方差法得到病理图像缩略图中有组织的前景图像，记为mask1；

c3、然后，使用大小为3×3的结构元素对mask1进行膨胀操作，填充阈值分割遗留的一些小的孔洞，获得只有组织前景的二值图像mask，遍历mask图像中每个前景像素的坐标P_mask，乘上之前原始图像到缩放图像的缩放倍数形成原始图像中对应的点的坐标P_wsi；以P_wsi坐标为中心取原图512×512的图像块，送入之前训练好的SENet中预测得到y_pred，以y_pred作为mask中P_mask处的像素值，遍历完所有的像素形成初步的肿瘤区域结果；

c4、最后，通过约束连通域面积的方法滤除初步分割结果中出现的假阳性区域，从而得到最终的肿瘤区域的分割结果。

5.如权利要求3所述的基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法，其特征是：所述SE模块，先将提取到的特征通过全局平均池化得到在通道方向上的特征，接着将得到的特征通过全连接层进行压缩和激励，恢复到与输入特征通道数一致的一维向量，这个一维向量会随着神经网络的不断优化迭代更新出不同的数值，其中每个值代表了这个通道对应的原始特征图对于神经网络预测正确的重要性权重，将通道注意力得到的权重与输入特征相乘，即能得到在通道方向上增强的特征，从而更好地促进分类网络的学习与收敛。

6.如权利要求3所述的基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法，其特征是：训练过程中对SENet采用学习率为10^-4的Adam优化器对模型参数进行优化；损失函数是用来表现预测结果与实际标签的距离的函数，通过优化器和梯度下降的方法不断降低预测结果与实际标签之间的差距，从而使预测结果与标签越来越接近；需要对输入图像进行二分类(即判断输入的图像是不是肿瘤)，因此采用二进制交叉熵来约束整个模型；记原始的标签为y_label,模型预测的结果为y_pred,则损失函数loss的计算公式为：

loss＝-(y_labellogy_pred+(1-y_label)log(1-y_pred)) 公式(2)。

Images