CN112270666A

CN112270666A - 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法

Info

Publication number: CN112270666A
Application number: CN202011210676.5A
Authority: CN
Inventors: 孟祥福; 孙德伟; 张兴; 谢晶; 张峰; 杨一鸣
Original assignee: Liaoning Technical University
Current assignee: Liaoning Technical University
Priority date: 2020-11-03
Filing date: 2020-11-03
Publication date: 2021-01-26

Abstract

本发明公开了一种基于深度卷积神经网络的非小细胞肺癌病理切片识别方法，步骤为：从TCGA获取到的公开数据集非小细胞肺癌的病理切片；构建用于训练的深度学习模型；将训练数据集输入卷积神经网络训练，得到学习后的卷积神经网络模型；将训练数据集输入卷积神经网络训练，得到学习后的卷积神经网络模型。本发明通过利用Inception‑v3模型和CBAM注意力机制融合在一起，实现对非小型细胞肺癌的分类，通过注意力机制提高了网络精度；同时利用深度卷积神经网络Inception‑v3实验结果表明，本发明提出的基于深度学习的非小细胞肺癌病理切片识别方法可以有效的针对肺腺癌和肺鳞状细胞癌的分类，在一定程度上减轻了医生的负担，在医学图像识别领域实现了非常良好的性能。

Description

基于深度卷积神经网络的非小细胞肺癌病理切片识别方法

技术领域

本发明属于医学影像、图像处理和深度学习的技术领域，尤其涉及一种基于深度卷积神经网络的非小细胞肺癌病理切片识别方法。

背景技术

随着医学影像和计算机识别技术的发展，越来越多的医学检查方法可以把检查结果以数字图像的方式呈现出来。因而也产生了大量医学影像数据，如病理切片、CT(电子计算机断层扫描)、MRI(核磁共振成像)等。数字化描述微观病理学的特征是病理学的新领域。通过访问数字图像，有助于远程初级诊断工作、远程咨询和平衡医生的工作。

由于深度学习的发展，研究者已经使用大型图像数据集(例如，癌症基因组图谱或TCGA)训练了各种深度架构，并且发现了新的生物医学信息。深度学习中的图像分类方法为医学图像分析做出了重大贡献，一些研究工作应用迁移学习方法，将自然图像的识别分类方法应用的医学图像领域，最初的研究是从零开始训练网络架构，而不是使用预先训练好的网络， Menegola等人(2016)进行了实验，比较了从零开始训练和对预先训练好的网络进行微调两种情况，结果显示，在数据不充分时，使用预训练好的网络进行微调的研究方法结果更好。还有一些研究工作主要应用的是卷积神经网络(CNN)，例如Angel Cruz-Roa等人应用CNN检测浸润性乳腺癌，后来逐渐发展为使用3D神经网络。综上所述，深度学习卷积神经网络是目前图像识别分类中广泛应用的技术，特别是在自然图像的分类识别效果已经超过了人类专家的准确性，因此可以把深度学习卷积神经网络应用在医学图像方面。

非小细胞肺癌(NSCLC)又分为肺腺癌和肺鳞状细胞癌，二者的诊疗方案却截然不同。传统的确诊方法都是依靠有经验的病理学家来进行确认，这在很大程度上依赖于医生的经验和知识。在医学系统使用的算法中，支持向量机(SVM)和人工神经网络(ANN)都得到了广泛的应用，在分类问题上表现出了良好的性能。Kureshi等人利用患者数据设计了一种预测模型，用于非小细胞肺癌的个性化治疗干预，利用频发模式挖掘建立晚期非小细胞肺癌患者特征与肿瘤的关系，该模型使用SVM、J48、随机森林和分类回归树(CART)四种分类器进行预测。实验结果表明，分类准确率最高为76.56％。Puet等人证明了ANN在预测NSCLC患者生存时间方面优于多元线性回归模型。近年来，深度学习技术已经取得了很大进步，临床实践中通过计算机辅助诊断技术的应用也越来越广泛，并且数字图像处理和识别技术已经日渐成熟。

发明内容

基于以上现有技术的不足，本发明所解决的技术问题在于提供一种基于深度卷积神经网络的非小细胞肺癌病理切片识别方法，将图像识别中的 Inception-v3模型和CBAM注意力机制相结合，来对非小细胞肺癌的病理切片进行分类，从而帮助医生进行辅助诊断，进一步明确肺癌类型，尽早给患者提供治疗方案。

为了解决上述技术问题，本发明通过以下技术方案来实现：

本发明提供一种基于深度卷积神经网络的非小细胞肺癌病理切片识别方法，包括以下步骤：

步骤1：从TCGA(The Cancer Genome Atlas)获取到的公开数据集非小细胞肺癌的病理切片。

步骤2：构建用于训练的深度学习模型Inception-v3+CBAM。

步骤3：将训练数据集输入卷积神经网络训练，得到学习后的卷积神经网络模型。

步骤4：将测试集输入到训练后的模型中，输出图像分类结果。

进一步的，步骤1包括如下步骤：

步骤1.1：对所有图像放大20倍后进行切分，并进行格式转换。

步骤1.2：把所有图像按照文件说明分为正常、肺腺癌和肺鳞状细胞癌三类。

步骤1.3：按比例分为训练集和测试集。

步骤1.4：把数据处理成二进制文件TFRecord形式。TFRecord是一种常用的存储二进制数据的文件格式，用Tensorflow框架把数据处理成这种形式更容易与模型匹配。

进一步的，步骤2包括如下步骤：

步骤2.1：调用深度卷积神经网络GoogleNet的Inception-v3模型，模型通过卷积、池化、激活函数，Inception模块，BN，dropout等操作。BN 操作是为了对数据进行归一化，使激活函数的作用更明显；dropout处理是为了防止过拟合，在前向传播过程中，让某个神经元的激活值以一定的概率停止工作，这样可以使模型泛化性更强。

步骤2.2：创建CBAM模块，将其加入Inception-v3模型中，CBAM 主要是一种关注图像通道之间关系和各像素点之间关系的一种注意力机制，能强化对图像的特征学习。

进一步的，步骤3包括如下步骤：

步骤3.1：将训练集分为m批(本发明的实验参数m设置为4600)，并初始化卷积核权重和偏置值为0。

步骤3.2：随机选择一批未被训练的训练集输入到深度卷积神经网络中。

步骤3.3：将训练集数据与深度卷积神经网络中后续网格单元各个节点进行计算，实现网络的前向传播。

步骤3.4：计算预测结果与训练集数据样本的误差，计算方法为：

其中L代表训练数据及其真实标签与预测标签的误差，M代表样本数量，y代表训练样本的类别标签，a代表样本预测概率。

a＝Wx+b

步骤3.5：采用RMSProp算法分别对卷积核权重和偏置值进行更新。

S_dw＝βS_dw+(1-α)dW²

S_db＝βS_db+(1-α)db²

步骤3.6：对设定的最大迭代次数进行判断，是否所有训练数据在深度学习模型中已完成最大迭代次数，若是则完成一次迭代。

步骤3.7：输出训练完成后的深度学习模型。

由上，本发明的基于深度卷积神经网络的非小细胞肺癌病理切片识别方法的有益效果为：

本发明通过利用Inception-v3模型和CBAM注意力机制融合在一起，实现对非小型细胞肺癌的分类，通过注意力机制提高了网络精度；同时利用深度卷积神经网络Inception-v3实验结果表明，本发明提出的基于深度学习的非小细胞肺癌病理切片识别方法可以有效的针对肺腺癌和肺鳞状细胞癌的分类，在一定程度上减轻了医生的负担，在医学图像识别领域实现了非常良好的性能。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下结合优选实施例，并配合附图，详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍。

图1为本发明的基于深度卷积神经网络的非小细胞肺癌病理切片识别方法流程图。

图2为本发明实施例中的注意力机制CBAM模型图。

图2.1为本发明实施例中的通道注意力机制模型图。

图2.2为本发明实施例中的空间注意力机制模型图。

图3为本发明实施例中的深度卷积神经网络Inception-v3中模型图。

图3.1为本发明实施例中的深度卷积神经网络Inception-v3中的 Block1，Module1。

图3.2为本发明实施例中的深度卷积神经网络Inception-v3中的 Block2，module1。

图3.3为本发明实施例中的深度卷积神经网络Inception-v3中的 Block3，module1。

图4为本发明实施例提供的训练集数据损失图。

图5为本发明实施例中数据切分后的形式图。

具体实施方式

下面结合附图详细说明本发明的具体实施方式，其作为本说明书的一部分，通过实施例来说明本发明的原理，本发明的其他方面、特征及其优点通过该详细说明将会变得一目了然。在所参照的附图中，不同的图中相同或相似的部件使用相同的附图标号来表示。

如图1至图5所示，本发明提供的基于深度卷积神经网络的非小细胞肺癌病理切片识别方法，包括以下步骤：

S1：对待识别的非小细胞肺癌的病理切片数据进行预处理，得到训练集数据和测试集数据。

步骤S1包括以下分步骤：

S1.1：由于病理切片过大，不适合网络输入，因此对所有图像放大20 倍后进行切分，切分成512*512像素的图片，并把原非小细胞肺癌切片.svs 格式转化为.jpeg格式的图片，放在名字为20倍的文件夹下。

S1.2：对格式转换后的图像做进一步处理，将其按照对应的标签分为正常类、肺腺癌、肺鳞状细胞癌三类。

S1.3：按照80％和20％的比例分为训练集和测试集。

S1.4：将对应的训练集和测试集处理成TFRecord形式的二进制文件，方便训练程序读取。例：将图5处理成TFRecord形式，

features{feature{key:"image/channels"value{int64_list{value:3}}}

feature{key:"image/class/label"value{int64_list{value:1}}}

feature{key:"image/class/text"value{bytes_list{value:"High"}}}

feature{key:"image/colorspace"value{bytes_list{value:"RGB"}}}

feature{key:"image/encoded"value{bytes_list

{value: "\377\330\377\340\000\020JFIF\000\001\001\000\000\001\000\001\000\000\37 7\333...........\177\301\023\366\351\336\347\377\331"}}}

feature{key:"image/filename"value{bytes_list{value:

"test_TCGA-55-7994-01A-01-TS1.8b666cd9-9f50-4be5-a12f-df25b84934 c3_18_7.jpeg"}}}

feature{key:"image/format"value{bytes_list{value:"JPEG"}}}

feature{key:"image/height"value{int64_list{value:512}}}

feature{key:"image/width"value{int64_list{value:512}}}}

对于深度卷积神经网络，通常需要大量的实验数据，在得到训练集和验证集后，可以通过图像增强技术来增大数据量，避免出现过拟合，从而提高实验精度。本发明实施例中可以通过图像的旋转来增加实验数据，使用如尺度变换、平移变换、缩放变换等其中任意一种或通过多种组合的方式增加数据量。

S2：构建训练网络，网络模型由深度卷积神经网络Inception-v3+CBAM 注意力块组成。

S2.1：如图2所示，先构建CBAM注意力块，CBAM由两部分组成，一部分是通道注意力模块(如图2.1)，对输入的特征图进行通道上的最大池化和平局池化，即对通道进行最大池化和平局池化，将结果分别经过多层感知机(MLP)，再把全局池化和平局池化的结果相加，在和输入的特征图进行内积，得到通道注意力的结果；另一部是空间注意力模块(如图2.2)，通过对通道注意力模块的结果的特征图进行在空间的最大池化和平局池化，然后通过7*7卷积核对池化后的特征图进行卷积操作，得到一个通道的特征图，与通过对通道注意力模块的结果进行内积，从而完成一次CBAM 操作。

S2.2 Inception-v3模型是GoogleNet发明的模型，它最重要的部分是Iception块，打破了传统的深度卷积神经网络只能在深度上扩展的模式，通过多尺度融合的卷积核增加了网络的宽度，替代了人工选择卷积核大小，并且融入了Droupout以及BN(BatchNormalization)等技术，防止过拟合。本发明将CBAM模块分别加入到Inception-v3网络的第四层和第八层。

BN操作是指是数据标准化(归一化，规范化)。

S3将训练集数据输入深度卷积神经网络进行训练，得到学习后的卷积神经网络。

S3.1：将训练集分为m批(m设为4600)，并初始化卷积核权重和偏置值为0。

ΔW⁽¹⁾＝0 (1)

Δb⁽¹⁾＝0 (2)

其中ΔW⁽¹⁾表示第一层卷积层中的卷积核权重对损失函数的导数，Δb⁽¹⁾表示第一层卷积层中的卷积核偏置对损失函数的导数。

S3.2：将选择的训练集数据送入深度卷积神经网络模型中。

S3.3：通过前向传播，输出预测标签值。

S3.4：计算预测标签值和真实值之间的误差。

其中L代表训练数据及真实标签与预测标签的误差，M代表样本数量， y代表训练样本的类别标签，a代表样本预测概率。

a＝Wx+b

S3.5：采用RMSProp算法分别对卷积核权重和偏置值进行更新。

S_dw＝βS_dw+(1-α)dW²

S_db＝βS_db+(1-α)db²

RMSProp算法对权重W的梯度使用了微分平方加权平均数。其中，W_t表示t时刻即第t次迭代模型的参数，dW²表示t次迭代代价函数关于W的梯度大小，S_dw表示前t次的梯度平方的均值。β表示动力(通常设置为0.9)，α表示全局初始学习率。∈是一个取值很小的数(一般为1e-8)为了避免分母为0。

S3.6：对设定的最大迭代次数进行判断，是否所有训练数据在深度卷积神经网络模型中已完成最大迭代次数，若是则完成一次迭代。如不是返回步骤S3.2.

S3.7：输出训练完成后的深度学习模型。

S4：将测试集输入到训练后的模型中，输出图像分类结果。

如图5反映了训练集的损失变化趋势，随着迭代数的增减，训练损失不断减小，最终Normal类、LUAD类、LUSC类AUC的值分别达到了 99.86％、93.93％和95.11％。

本发明实施例中，将Python语言作为开发语言，使用Tensorflow框架，将处理成TFRecord的训练数据集输送到网络模型中，迭代训练50次，进而产生50个模型参数，在将测试集分别在50个具有不同参数的模型上测试，实验结果由两部分组成，一部分预测每个小切片的概率值，另一部分是把同一张的小切片预测的概率值求平均值作为本张病理切片的预测概率值，选取50次的最优结果作为最终结果，采用auc作为实验评价指标。因为auc通常作为二分类模型的评价，针对本次实验是多分类任务，分别针对每一类做二分类，比如针对类1，把类1和其他类归结为一类做二分类，我们保持原来的超参数不变，放入我们处理的分类数据。

表格说明：

Normal：针对Normal类做二分类。把除了Normal的其他类作为一类与Normal类形成二分类。

LUAD：针对LUAD类做二分类。把除了LUAD的其他类作为一类与 LUAD类形成二分类。

LUSC：针对LUSC类做二分类。把除了LUSC的其他类作为一类与 LUSC类形成二分类。

Macro-average：每种类别下，都可以得到m个测试样本为该类别的概率(矩阵P中的列)。所以，根据概率矩阵P和标签矩阵L中对应的每一列，可以计算出各个阈值下的假正例率(FPR)和真正例率(TPR)，从而绘制出一条ROC曲线。这样总共可以绘制出n条ROC曲线。最后对n条 ROC曲线取平均，即可得到最终的ROC曲线。

Micro-average：将标签矩阵L和概率矩阵P分别按行展开，转置后形成两列，这就得到了一个二分类的结果，进而绘制一条ROC曲线。

例：文件名：test_TCGA-37-3792-01A-01-BS1.bfaab472 -5877-4fa6-9758-8e68e51

da6e7_0001

第二项：标签true_label:[0.0，0.0，1.0]

第三项：预测为正类的数量/tiles

Percent_Selected:0.000000 0.158291 0.841709

第四项：每个图片在所有切片上的预测概率求和/tiles

Average_Probability:0.028992 0.206727 0.764281

第五项：一张图片被切分的数目tiles#:796.000000

平均概率AUC：用平均预测概率计算AUC

阳性切片百分比：预测为正类的数量/tiles计算AUC

[0.9965-0.9999]：此类数据代表auc的值有95％的概率落在此区间

以上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。

Claims

1.基于深度卷积神经网络的非小细胞肺癌病理切片识别方法，其特征在于，包括以下步骤：

步骤1：从TCGA获取到的公开数据集非小细胞肺癌的病理切片；

步骤2：构建用于训练的深度学习模型；

步骤3：将训练数据集输入卷积神经网络训练，得到学习后的卷积神经网络模型；

步骤4：将训练数据集输入卷积神经网络训练，得到学习后的卷积神经网络模型。

2.如权利要求1所述的基于深度卷积神经网络的非小细胞肺癌病理切片识别方法，其特征在于，步骤1包括如下步骤：

步骤1.1：对所有图像放大20倍后进行切分，并进行格式转换；

步骤1.2：把所有图像按照文件说明分为正常、肺腺癌和肺鳞状细胞癌三类；

步骤1.3：按比例分为训练集和测试集；

步骤1.4：把数据处理成二进制文件TFRecord形式。

3.如权利要求1所述的基于深度卷积神经网络的非小细胞肺癌病理切片识别方法，其特征在于，步骤2包括以下步骤：

步骤2.1：调用深度卷积神经网络GoogleNet的Inception-v3模型，模型通过卷积、池化、激活函数；

步骤2.2：创建CBAM模块，将其加入Inception-v3模型中。

4.如权利要求1所述的基于深度卷积神经网络的非小细胞肺癌病理切片识别方法，其特征在于，步骤3包括以下步骤：

步骤3.1：将训练集分为m批，并初始化卷积核权重和偏置值为0；

步骤3.2：随机选择一批未被训练的训练集输入到深度卷积神经网络中；

步骤3.3：将训练集数据与深度卷积神经网络中后续网格单元各个节点进行计算，实现网络的前向传播；

步骤3.4：计算预测结果与训练集数据样本的误差；

步骤3.5：采用RMSProp算法分别对卷积核权重和偏置值进行更新；

步骤3.6：对设定的最大迭代次数进行判断，是否所有训练数据在深度学习模型中已完成最大迭代次数，若是则完成一次迭代；

步骤3.7：输出训练完成后的深度学习模型。