CN112560968A - 一种基于卷积和残差网络的her2图像分类方法及系统 - Google Patents

Abstract

本发明公开了一种基于卷积和残差网络的HER2图像分类方法及系统，所述图像分类方法包括：从组织微阵列数据库中获取多张带注释的HER2图像，作为初始数据样本；采用裁剪函数对每个初始数据样本分别进行裁剪，建立扩展数据样本集；利用扩展数据样本集对卷积和残差网络进行训练，获得训练后的卷积和残差网络，作为HER2图像分类模型；将待分类的HER2图像输入HER2图像分类模型，获得待分类的HER2图像的分类结果。本发明利用裁剪函数获得更多的HER2图像，以克服HER2图像数据量上无法满足训练要求的技术缺陷，并利用卷积和残差网络实现HER2图像分类，避免了现有的神经网络模型的过拟合现象，实现了在数据量较少的情况下，实现利用神经网络模型对HER2图像进行自动准确地分类。

Description

一种基于卷积和残差网络的HER2图像分类方法及系统

技术领域

本发明涉及医学图像分类技术领域，特别是涉及一种基于卷积和残差网络的HER2图像分类方法及系统。

背景技术

随着社会生活的不断发展，人们对各类图像的分类要求也越来越高。随着高分辨率数字扫描仪的发展，全载玻片图像(Whole Slide Imaging，WSI)被广泛使用，WSI图像可以通过计算机软件进行处理，对复杂的细胞和蛋白质特征进行广泛的分析。人类表皮生长因子受体2(Human Epithelial Growth Factor Receptor-2，HER2)基因是一个重要的基因，对它正确分类是一项艰巨的任务。通常，根据细胞膜染色的程度和比例，给乳腺组织样品分配不同的HER2评分。过去它的评定完全是基于人工观察的方式，不仅工作强度大，准确率在很大程度上也依赖于主观意识。

迄今为止，深度神经网络已经形成了不同的模型，并已成功应用于许多领域。对于医学图像来说，数据量很小，无法满足深度神经网络的训练。而且对于一般的卷积神经网络，随着网络层数的增加，过拟合现象往往非常严重，无法获得准确用于医学图像分类的深度神经网络模型。如何在数据量较少的情况下，实现利用神经网络模型对HER2图像进行自动准确地分类，成为一个亟待解决的技术问题。

发明内容

本发明的目的是提供一种基于卷积和残差网络的HER2图像分类方法及系统，以实现在数据量较少的情况下，实现利用神经网络模型对HER2图像进行自动准确地分类。

为实现上述目的，本发明提供了如下方案：

一种基于卷积和残差网络的HER2图像分类方法，所述图像分类方法包括如下步骤：

从组织微阵列数据库中获取多张带注释的HER2图像，作为初始数据样本；

采用裁剪函数对每个所述初始数据样本分别进行裁剪，获得每个所述初始数据样本对应的多个扩展数据样本，建立扩展数据样本集；

利用扩展数据样本集对卷积和残差网络进行训练，获得训练后的卷积和残差网络，作为HER2图像分类模型；

将待分类的HER2图像输入HER2图像分类模型，获得待分类的HER2图像的分类结果。

可选的，所述卷积和残差网络包括从输入到输出依次包括输入层、第一模块、第二模块、第三模块、第四模块、第五模块、展平层、随机丢弃层、全连接层和输出层；

所述第一模块包括平滑滤波器，利用平滑滤波器提高图像的质量；

所述第二模块包括卷积层、批量归一化层、激活层和池化层；

所述第三模块包括卷积残差块、恒等残差块和池化层；

所述第四模块包括卷积残差块、恒等残差块和池化层；

所述第五模块包括卷积层、批量归一化层、激活层和池化层。

可选的，所述第二模块的卷积层包括11×11的卷积滤波器，所述第五模块的卷积层包括3×3的卷积滤波器，所述第二模块和所述第五模块的激活层均使用ReLu函数f(x)＝max(0,x)作为激活函数；其中，x为激活函数的输入，f(x)为激活函数的输出。

可选的，所述利用扩展数据样本集对卷积和残差网络进行训练，获得训练后的卷积和残差网络，作为HER2图像分类模型，具体包括：

将所述扩展数据样本集划分为训练集和测试集；

将所述训练集输入数据生成器，生成第n次训练的训练数据；

将第n次训练的训练数据输入卷积和残差网络，获得第n次训练的模型输出结果；

根据第n次训练的模型输出结果，计算第n次训练的交叉熵损失函数值；

判断第n次训练的交叉熵损失函数值是否小于交叉熵损失函数阈值，获得第一判断结果；

若所述第一判断结果表示否，则根据第n次训练的交叉熵损失函数值和第n-1次训练的交叉熵损失函数值的差值调整学习率，获得调整后的学习率；

利用调整后的学习率对卷积和残差网络的参数进行更新，令n的数值增加1，返回步骤“将所述训练集输入数据生成器，生成第n次训练的训练数据”；

若所述第一判断结果表示是，则将测试集输入第n-1次训练过程中参数调整后的学习率对卷积和残差网络，计算分类准确率；

判断所述分类准确率是否大于准确率阈值，获得第二判断结果；

若所述第二判断结果表示否，则调整交叉熵损失函数阈值，令n的数值增加1，返回步骤“将所述训练集输入数据生成器，生成第n次训练的训练数据”；

若所述第二判断结果表示是，则输出第n-1次训练过程中参数调整后的学习率对卷积和残差网络，作为训练后的学习率对卷积和残差网络。

可选的，所述将所述训练集输入数据生成器，生成第n次训练的训练数据，之前还包括：

利用回调函数将训练集中的扩展数据样本的索引次序进行打乱，获得次序打乱后的训练集。

一种基于卷积和残差网络的HER2图像分类系统，其特征在于，所述图像分类系统包括：

初始数据样本获取模块，用于从组织微阵列数据库中获取多张带注释的HER2图像，作为初始数据样本；

数据样本裁剪模块，用于采用裁剪函数对每个所述初始数据样本分别进行裁剪，获得每个所述初始数据样本对应的多个扩展数据样本，建立扩展数据样本集；

模型训练模块，用于利用扩展数据样本集对卷积和残差网络进行训练，获得训练后的卷积和残差网络，作为HER2图像分类模型；

分类模块，用于将待分类的HER2图像输入HER2图像分类模型，获得待分类的HER2图像的分类结果。

可选的，所述卷积和残差网络包括从输入到输出依次包括输入层、第一模块、第二模块、第三模块、第四模块、第五模块、展平层、随机丢弃层、全连接层和输出层；

所述第一模块包括平滑滤波器，利用平滑滤波器提高图像的质量；

所述第二模块包括卷积层、批量归一化层、激活层和池化层；

所述第三模块包括卷积残差块、恒等残差块和池化层；

所述第四模块包括卷积残差块、恒等残差块和池化层；

所述第五模块包括卷积层、批量归一化层、激活层和池化层。

可选的，所述第二模块的卷积层包括11×11的卷积滤波器，所述第五模块的卷积层包括3×3的卷积滤波器，所述第二模块和所述第五模块的激活层均使用ReLu函数f(x)＝max(0,x)作为激活函数；其中，x为激活函数的输入，f(x)为激活函数的输出。

可选的，所述模型训练模块，具体包括：

扩展数据样本集划分子模块，用于将所述扩展数据样本集划分为训练集和测试集；

训练数据生成子模块，用于将所述训练集输入数据生成器，生成第n次训练的训练数据；

模型输出结果获取子模块，用于将第n次训练的训练数据输入卷积和残差网络，获得第n次训练的模型输出结果；

交叉熵损失函数值计算子模块，用于根据第n次训练的模型输出结果，计算第n次训练的交叉熵损失函数值；

第一判断子模块，用于判断第n次训练的交叉熵损失函数值是否小于交叉熵损失函数阈值，获得第一判断结果；

学习率调整子模块，用于若所述第一判断结果表示否，则根据第n次训练的交叉熵损失函数值和第n-1次训练的交叉熵损失函数值的差值调整学习率，获得调整后的学习率；

第一返回子模块，用于利用调整后的学习率对卷积和残差网络的参数进行更新，令n的数值增加1，返回步骤“将所述训练集输入数据生成器，生成第n次训练的训练数据”；

分类准确率计算子模块，用于若所述第一判断结果表示是，则将测试集输入第n-1次训练过程中参数调整后的学习率对卷积和残差网络，计算分类准确率；

第二判断子模块，用于判断所述分类准确率是否大于准确率阈值，获得第二判断结果；

第二返回子模块，用于若所述第二判断结果表示否，则调整交叉熵损失函数阈值，令n的数值增加1，返回步骤“将所述训练集输入数据生成器，生成第n次训练的训练数据”；

训练后的学习率对卷积和残差网络输出子模块，用于若所述第二判断结果表示是，则输出第n-1次训练过程中参数调整后的学习率对卷积和残差网络，作为训练后的学习率对卷积和残差网络。

可选的，所述模型训练模块，还包括：

次序打乱子模块，用于利用回调函数将训练集中的扩展数据样本的索引次序进行打乱，获得次序打乱后的训练集。

与现有技术相比，本发明的有益效果是：

本发明提出了一种基于卷积和残差网络的HER2图像分类方法及系统，所述图像分类方法包括如下步骤：从组织微阵列数据库中获取多张带注释的HER2图像，作为初始数据样本；采用裁剪函数对每个所述初始数据样本分别进行裁剪，获得每个所述初始数据样本对应的多个扩展数据样本，建立扩展数据样本集；利用扩展数据样本集对卷积和残差网络进行训练，获得训练后的卷积和残差网络，作为HER2图像分类模型；将待分类的HER2图像输入HER2图像分类模型，获得待分类的HER2图像的分类结果。本发明利用裁剪函数获得更多的HER2图像，以克服HER2图像数据量上无法满足训练要求的技术缺陷，并利用卷积和残差网络实现HER2图像分类，避免了现有的神经网络模型的过拟合现象，实现了在数据量较少的情况下，实现利用神经网络模型对HER2图像进行自动准确地分类。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于卷积和残差网络的HER2图像分类方法的流程图；

图2为本发明提供的一卷积和残差网络的结构图；

图3为本发明提供的卷积残差块和恒等残差块的工作流程图；

图4为本发明提供的卷积和残差网络训练的流程图；

图5为本发明提供的学习率与损失值和准确率的关系曲线图；图5(a)为学习率与损失值的关系曲线图，图5(b)为学习率与准确率的关系曲线图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于卷积和残差网络的HER2图像分类方法及系统，以实现在数据量较少的情况下，实现利用神经网络模型对HER2图像进行自动准确地分类。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供一种基于卷积和残差网络的HER2图像分类方法，所述图像分类方法包括如下步骤：

步骤101，从组织微阵列数据库中获取多张带注释的HER2图像，作为初始数据样本。

本发明所采用的HER2图像数据来自于斯坦福大学的组织微阵列数据库(TMAD，TheStanford Tissue Microarray Database)，最初是斯坦福大学医学院生物化学系所创建的一个项目，由美国国立卫生研究院附属的国家癌症研究所和霍华德·休斯医学研究所共同资助。该组织微阵列数据库是一种用于共享带注释的组织图像和相关表达数据的公共资源，它也可以被看做是一种研究工具和存档，以供全世界的研究人员存储，注释，分析和共享由高通量基因组学技术(尤其是微阵列)生成的数据，TMAD包含了205161张图像，并且将1488个组织微阵列载玻片上的349个不同的探针存档在数据库中，此外还公开了125张幻灯片上68个探针的31306张图像。在我们的研究中，本发明使用了334个WSI，进行模型的训练和测试。

步骤102，采用裁剪函数对每个所述初始数据样本分别进行裁剪，获得每个所述初始数据样本对应的多个扩展数据样本，建立扩展数据样本集。

从步骤101中得到的334个WSI中裁剪出约3000幅图像(使用matlab中的imcrop函数)，其中400幅作为测试集，其余作为训练集。

步骤103，利用扩展数据样本集对卷积和残差网络进行训练，获得训练后的卷积和残差网络，作为HER2图像分类模型。

本发明的所述卷积和残差网络包括从输入到输出依次包括输入层、第一模块、第二模块、第三模块、第四模块、第五模块、展平层、随机丢弃层、全连接层和输出层；所述第一模块包括平滑滤波器，利用平滑滤波器提高图像的质量；所述第二模块包括卷积层、批量归一化层、激活层和池化层；所述第三模块包括卷积残差块、恒等残差块和池化层；所述第四模块包括卷积残差块、恒等残差块和池化层；所述第五模块包括卷积层、批量归一化层、激活层和池化层。其中，所述第二模块的卷积层包括11×11的卷积滤波器，所述第五模块的卷积层包括3×3的卷积滤波器，所述第二模块和所述第五模块的激活层均使用ReLu函数f(x)＝max(0,x)作为激活函数；其中，x为激活函数的输入，f(x)为激活函数的输出。

具体的，如图2所示，所述卷积和残差网络包含38层和5种不同的模块。其细节描述如下：

A.卷积层+批量归一化层+激活层+池化层

在图2所示的卷积和残差网络中，在第二模块和第五模块中使用了“卷积层+批量归一化层+激活层+池化层”。本发明在第二模块和第五模块中引入传统的卷积层来从输入中提取特征。在第二模块中，使用大小为11×11的卷积滤波器，在第五模块中使用大小为3×3的卷积滤波器。并使用ReLu函数作为激活函数，可以表示如下:

f(x)＝max(0,x)

当输入x<0时，输出为0，当x>0时，输出为x。该激活函数使网络更快速地收敛。它不会饱和，即它可以对抗梯度消失问题，至少在正区域(x>0时)可以这样，因此神经元至少在一半区域中不会把所有零进行反向传播。由于使用了简单的阈值化，ReLu计算效率很高。此外，在卷积层和激活层之间使用了批量归一化层。通过使用批量归一化层，可以在每个正向传播过程中对数据的正态分布进行归一化。

B.卷积残差块+恒等残差块+池化层

为了避免梯度消失，本发明在第三模块和第四模块中使用“卷积残差块+恒等残差块+池化层”的结构。图3给出了卷积残差块和恒等残差块的细节。

C.展平层

展平层用于展平多维输入数据，即一维，通常用于从卷积层过渡到全连通层。

D.随机丢弃层

随机丢弃层在训练过程中每次更新参数时随机断开输入神经元，以一定概率删除部分层。其作用是防止过拟合，提高模型的泛化能力。

E.全连接层

全连接层提取非线性变化后的特征之间的关联，最后映射到输出空间。最后，512个输入被转换成四种类型的输出。

本发明的卷积和残差网络的工作原理为：在卷积和残差网络中，输入一张64x64x3的图片，经过第一个模块的预处理进入第二个模块的卷积和池化，在每一层卷积后都使用了Batch Normalization(批量归一化，BN)，BN的主要思路是对每次前向传播的过程中对数据进行正态分布的归一化调整，接下来进入第三个模块的第一个残差块(卷积残差块)，输出图片为32x32x8，接下来经过第二个残差块(恒等残差块)和池化输出为16x16x8的图片，紧接着进入第四个模块(网络结构与第三个模块相同)，输出图片为8x8x16的图片，然后经过第五个模块的卷积与池化图片变为4x4x32的图片，最后经过Flatten(展平层)将输入“压平”把多维的输入一维化，从卷积层到全连接层过渡,经过Dropout(随机丢弃)层，该层在训练过程中每次更新参数时，都会随机断开输入神经元，并以一定的概率删除一些层，它的作用是防止过拟合，提高模型的泛化能力。最后把512个输入转化为4类的输出。

如图4所示，步骤103所述利用扩展数据样本集对卷积和残差网络进行训练，获得训练后的卷积和残差网络，作为HER2图像分类模型，具体包括：将所述扩展数据样本集划分为训练集和测试集。在训练之前，利用PIL库来对步骤102的扩展数据样本集进行大小的调整，并选择合适的滤波器来提升图片清晰度，提高目标图像的质量。具体的，首先引入PIL库，并确认好调整完成后扩展数据样本集的存放路径。通过resize(重设尺寸)的方法将图片缩放成64*64尺寸，一般情况下图像被缩放后容易变得模糊失真，因此在图像处理时需要使用PIL库自带的采样滤波器，将多个输入像素映射为一个输出像素从而提升图片清晰度。本发明采用的是平滑滤波，因为平滑滤波可以对所有影响输出像素的输入像素进行高质量的重采样滤波，以计算输出像素值。要获取高质量图片的第二个关键点是，在调整后的Her2数据保存时，要设置quality(质量值)，本发明设置的质量值是90。quality值越高，保存的文件越大。

将所述训练集输入数据生成器，生成第n次训练的训练数据。本发明调用了keras库的数据生成器(data generator)，利用数据生成器将清晰度提升后的扩展数据样本集的扩展数据样本来实时生成训练数据来训练模型。本发明设置数据生成器的长度为30，每30张扩展数据样数据分批次进入卷积和残差网络，避免了内存不足的问题。

将第n次训练的训练数据输入卷积和残差网络，获得第n次训练的模型输出结果。

根据第n次训练的模型输出结果，计算第n次训练的交叉熵损失函数值。

在本发明提出的卷积和残差网络中，使用以下交叉熵损失函数来训练整个网络：

其中：M——类别的数量；y_ic——指示变量(0或1)，如果该类别和样本i的类别相同就是1，否则是0；p_ic——对于观测样本i属于类别的预测概率。

判断第n次训练的交叉熵损失函数值是否小于交叉熵损失函数阈值，获得第一判断结果。

若所述第一判断结果表示否，则根据第n次训练的交叉熵损失函数值和第n-1次训练的交叉熵损失函数值的差值调整学习率，获得调整后的学习率。学习率作为网络训练中的一个重要超参数，决定了损失函数是否收敛以及何时收敛到局部最小值。适当的学习率可以使损失函数在适当的时间收敛到局部最小值。在训练过程中，在每次迭代结束时，如果损失值比上一次迭代有所降低，则学习率可以略有提高。如果与前一次迭代相比损失值增加，可能会错过最佳值。因此，应该用较小的值来重置学习速率。在图5中，显示了几种不同情况下的损失值和准确率。如果LR(learningrate，学习率)设为0.01，经过300次迭代，损失值为12.1054，准确率为0.1927。当LR＝0.001时，第一次迭代的损失值为5.7421，准确率为0.6438。第十次迭代的损失值为5.8092，准确率为0.6396。最后一次迭代的损失值为5.9100，准确率为0.6333。当LR＝0.0001时，经过300次迭代，损失值下降到0.1083，准确率上升到0.9385。本发明在卷积和残差网络训练过程中，优化器选择Adam优化器。训练批次大小设置为30。学习率和迭代次数分别设置为0.001和300。且学习率在训练过程中可调节。

利用调整后的学习率对卷积和残差网络的参数进行更新，令n的数值增加1，返回步骤“将所述训练集输入数据生成器，生成第n次训练的训练数据”。

若所述第一判断结果表示是，则将测试集输入第n-1次训练过程中参数调整后的学习率对卷积和残差网络，计算分类准确率。

判断所述分类准确率是否大于准确率阈值，获得第二判断结果。若所述第二判断结果表示否，则调整交叉熵损失函数阈值，令n的数值增加1，返回步骤“将所述训练集输入数据生成器，生成第n次训练的训练数据”。本发明的准确率阈值为0.95。在训练完成后分类准确率可达0.95。

若所述第二判断结果表示是，则输出第n-1次训练过程中参数调整后的学习率对卷积和残差网络，作为训练后的学习率对卷积和残差网络。

所述将所述训练集输入数据生成器，生成第n次训练的训练数据，之前还包括：利用回调函数将训练集中的扩展数据样本的索引次序进行打乱，获得次序打乱后的训练集。本发明在训练过程中，调用回调函数，该函数会在每一个epoch(纪元，训练)结束的时候自动执行，它的意义是随机打乱索引次序以方便下一批训练数据运行，其中shuffle(洗牌)决定是否在数据生成时要对数据进行打乱。最后返回一个指定的数组，其中数组元素为随机产生的数据。给定文件名，生成数据，并对图片进行归一化。

步骤104，将待分类的HER2图像输入HER2图像分类模型，获得待分类的HER2图像的分类结果。

本发明中所述数据生成器为keras库的数据生成器。所述裁剪函数为采用matlab中的imcrop函数。

一种基于卷积和残差网络的HER2图像分类系统，其特征在于，所述图像分类系统包括：

初始数据样本获取模块，用于从组织微阵列数据库中获取多张带注释的HER2图像，作为初始数据样本。

数据样本裁剪模块，用于采用裁剪函数对每个所述初始数据样本分别进行裁剪，获得每个所述初始数据样本对应的多个扩展数据样本，建立扩展数据样本集。

模型训练模块，用于利用扩展数据样本集对卷积和残差网络进行训练，获得训练后的卷积和残差网络，作为HER2图像分类模型。

所述模型训练模块，具体包括：扩展数据样本集划分子模块，用于将所述扩展数据样本集划分为训练集和测试集；训练数据生成子模块，用于将所述训练集输入数据生成器，生成第n次训练的训练数据；模型输出结果获取子模块，用于将第n次训练的训练数据输入卷积和残差网络，获得第n次训练的模型输出结果；交叉熵损失函数值计算子模块，用于根据第n次训练的模型输出结果，计算第n次训练的交叉熵损失函数值；第一判断子模块，用于判断第n次训练的交叉熵损失函数值是否小于交叉熵损失函数阈值，获得第一判断结果；学习率调整子模块，用于若所述第一判断结果表示否，则根据第n次训练的交叉熵损失函数值和第n-1次训练的交叉熵损失函数值的差值调整学习率，获得调整后的学习率；第一返回子模块，用于利用调整后的学习率对卷积和残差网络的参数进行更新，令n的数值增加1，返回步骤“将所述训练集输入数据生成器，生成第n次训练的训练数据”；分类准确率计算子模块，用于若所述第一判断结果表示是，则将测试集输入第n-1次训练过程中参数调整后的学习率对卷积和残差网络，计算分类准确率；第二判断子模块，用于判断所述分类准确率是否大于准确率阈值，获得第二判断结果；第二返回子模块，用于若所述第二判断结果表示否，则调整交叉熵损失函数阈值，令n的数值增加1，返回步骤“将所述训练集输入数据生成器，生成第n次训练的训练数据”；训练后的学习率对卷积和残差网络输出子模块，用于若所述第二判断结果表示是，则输出第n-1次训练过程中参数调整后的学习率对卷积和残差网络，作为训练后的学习率对卷积和残差网络。

所述模型训练模块，还包括：次序打乱子模块，用于利用回调函数将训练集中的扩展数据样本的索引次序进行打乱，获得次序打乱后的训练集。

所述卷积和残差网络包括从输入到输出依次包括输入层、第一模块、第二模块、第三模块、第四模块、第五模块、展平层、随机丢弃层、全连接层和输出层；所述第一模块包括平滑滤波器，利用平滑滤波器提高图像的质量；所述第二模块包括卷积层、批量归一化层、激活层和池化层；所述第三模块包括卷积残差块、恒等残差块和池化层；所述第四模块包括卷积残差块、恒等残差块和池化层；所述第五模块包括卷积层、批量归一化层、激活层和池化层。所述第二模块的卷积层包括11×11的卷积滤波器，所述第五模块的卷积层包括3×3的卷积滤波器，所述第二模块和所述第五模块的激活层均使用ReLu函数f(x)＝max(0,x)作为激活函数；其中，x为激活函数的输入，f(x)为激活函数的输出。

分类模块，用于将待分类的HER2图像输入HER2图像分类模型，获得待分类的HER2图像的分类结果。

为了说明本发明的基于卷积和残差网络的HER2图像分类方法及系统的效果，本发明提供如下具体实施例。

本实施例将本发明的基于卷积和残差网络的HER2图像分类方法与其他最先进的方法进行了比较，如VGG16(Visual Geometry Group-16，计算机视觉组-16)和AlexNet(Alex Krizhevsky提出的网络)。不同方法对应的分类结果见表1。表1给出了本发明所提方法与VGG16和AlexNet方法的精度比较。从表1可以看出，0+和3+分类的准确率较高。然而，分数为1+和2+的HER2的准确性较低。与其他方法相比，本发明的卷积和残差网络具有更高的精度。结果表明本发明提出的卷积和残差网络是分类HER2的可靠工具。

表一 不同方法准确率的比较表

与现有技术相比，本发明的有益效果是：

本发明提供的一种基于卷积和残差网络的HER2图像分类方法及系统，与传统的深度学习网络相比较，解决了梯度消失的问题，提高了分类的准确率。

对于一般的卷积神经网络，随着网络层数的增加，过拟合现象往往非常严重，需要设置丢包的随机丢包比例值，参数调整往往费时费力，所以这里采用残差网络。随着网络层的增加，准确率不会下降。对于训练数据，由于HER2图像属于医学图像，很难获得大批量的数据集来训练模型，本发明利用MATLAB中的imcrop函数来进行切割，然后利用PIL库中的平滑滤波器来获得高质量的数据集。最后利用数据生成器来批量的输入数据，采用了38层的深度神经网络对HER2进行分类，形成了本发明的自动分类模型，获得了较高的分类精度。

本说明书中等效实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，等效实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于卷积和残差网络的HER2图像分类方法，其特征在于，所述图像分类方法包括如下步骤：

从组织微阵列数据库中获取多张带注释的HER2图像，作为初始数据样本；

采用裁剪函数对每个所述初始数据样本分别进行裁剪，获得每个所述初始数据样本对应的多个扩展数据样本，建立扩展数据样本集；

利用扩展数据样本集对卷积和残差网络进行训练，获得训练后的卷积和残差网络，作为HER2图像分类模型；

将待分类的HER2图像输入HER2图像分类模型，获得待分类的HER2图像的分类结果。

2.根据权利要求1所述的基于卷积和残差网络的HER2图像分类方法，其特征在于，所述卷积和残差网络包括从输入到输出依次包括输入层、第一模块、第二模块、第三模块、第四模块、第五模块、展平层、随机丢弃层、全连接层和输出层；

所述第一模块包括平滑滤波器，利用平滑滤波器提高图像的质量；

所述第二模块包括卷积层、批量归一化层、激活层和池化层；

所述第三模块包括卷积残差块、恒等残差块和池化层；

所述第四模块包括卷积残差块、恒等残差块和池化层；

所述第五模块包括卷积层、批量归一化层、激活层和池化层。

3.根据权利要求2所述的基于卷积和残差网络的HER2图像分类方法，其特征在于，所述第二模块的卷积层包括11×11的卷积滤波器，所述第五模块的卷积层包括3×3的卷积滤波器，所述第二模块和所述第五模块的激活层均使用ReLu函数f(x)＝max(0,x)作为激活函数；其中，x为激活函数的输入，f(x)为激活函数的输出。

4.根据权利要求1所述的基于卷积和残差网络的HER2图像分类方法，其特征在于，所述利用扩展数据样本集对卷积和残差网络进行训练，获得训练后的卷积和残差网络，作为HER2图像分类模型，具体包括：

将所述扩展数据样本集划分为训练集和测试集；

将所述训练集输入数据生成器，生成第n次训练的训练数据；

将第n次训练的训练数据输入卷积和残差网络，获得第n次训练的模型输出结果；

根据第n次训练的模型输出结果，计算第n次训练的交叉熵损失函数值；

判断第n次训练的交叉熵损失函数值是否小于交叉熵损失函数阈值，获得第一判断结果；

若所述第一判断结果表示否，则根据第n次训练的交叉熵损失函数值和第n-1次训练的交叉熵损失函数值的差值调整学习率，获得调整后的学习率；

利用调整后的学习率对卷积和残差网络的参数进行更新，令n的数值增加1，返回步骤“将所述训练集输入数据生成器，生成第n次训练的训练数据”；

若所述第一判断结果表示是，则将测试集输入第n-1次训练过程中参数调整后的学习率对卷积和残差网络，计算分类准确率；

判断所述分类准确率是否大于准确率阈值，获得第二判断结果；

若所述第二判断结果表示否，则调整交叉熵损失函数阈值，令n的数值增加1，返回步骤“将所述训练集输入数据生成器，生成第n次训练的训练数据”；

若所述第二判断结果表示是，则输出第n-1次训练过程中参数调整后的学习率对卷积和残差网络，作为训练后的学习率对卷积和残差网络。

5.根据权利要求4所述的基于卷积和残差网络的HER2图像分类方法，其特征在于，所述将所述训练集输入数据生成器，生成第n次训练的训练数据，之前还包括：

利用回调函数将训练集中的扩展数据样本的索引次序进行打乱，获得次序打乱后的训练集。

6.一种基于卷积和残差网络的HER2图像分类系统，其特征在于，所述图像分类系统包括：

初始数据样本获取模块，用于从组织微阵列数据库中获取多张带注释的HER2图像，作为初始数据样本；

数据样本裁剪模块，用于采用裁剪函数对每个所述初始数据样本分别进行裁剪，获得每个所述初始数据样本对应的多个扩展数据样本，建立扩展数据样本集；

模型训练模块，用于利用扩展数据样本集对卷积和残差网络进行训练，获得训练后的卷积和残差网络，作为HER2图像分类模型；

分类模块，用于将待分类的HER2图像输入HER2图像分类模型，获得待分类的HER2图像的分类结果。

7.根据权利要求6所述的基于卷积和残差网络的HER2图像分类系统，其特征在于，所述卷积和残差网络包括从输入到输出依次包括输入层、第一模块、第二模块、第三模块、第四模块、第五模块、展平层、随机丢弃层、全连接层和输出层；

所述第一模块包括平滑滤波器，利用平滑滤波器提高图像的质量；

所述第二模块包括卷积层、批量归一化层、激活层和池化层；

所述第三模块包括卷积残差块、恒等残差块和池化层；

所述第四模块包括卷积残差块、恒等残差块和池化层；

所述第五模块包括卷积层、批量归一化层、激活层和池化层。

8.根据权利要求7所述的基于卷积和残差网络的HER2图像分类系统，其特征在于，所述第二模块的卷积层包括11×11的卷积滤波器，所述第五模块的卷积层包括3×3的卷积滤波器，所述第二模块和所述第五模块的激活层均使用ReLu函数f(x)＝max(0,x)作为激活函数；其中，x为激活函数的输入，f(x)为激活函数的输出。

9.根据权利要求6所述的基于卷积和残差网络的HER2图像分类系统，其特征在于，所述模型训练模块，具体包括：

扩展数据样本集划分子模块，用于将所述扩展数据样本集划分为训练集和测试集；

训练数据生成子模块，用于将所述训练集输入数据生成器，生成第n次训练的训练数据；

模型输出结果获取子模块，用于将第n次训练的训练数据输入卷积和残差网络，获得第n次训练的模型输出结果；

交叉熵损失函数值计算子模块，用于根据第n次训练的模型输出结果，计算第n次训练的交叉熵损失函数值；

第一判断子模块，用于判断第n次训练的交叉熵损失函数值是否小于交叉熵损失函数阈值，获得第一判断结果；

学习率调整子模块，用于若所述第一判断结果表示否，则根据第n次训练的交叉熵损失函数值和第n-1次训练的交叉熵损失函数值的差值调整学习率，获得调整后的学习率；

第一返回子模块，用于利用调整后的学习率对卷积和残差网络的参数进行更新，令n的数值增加1，返回步骤“将所述训练集输入数据生成器，生成第n次训练的训练数据”；

分类准确率计算子模块，用于若所述第一判断结果表示是，则将测试集输入第n-1次训练过程中参数调整后的学习率对卷积和残差网络，计算分类准确率；

第二判断子模块，用于判断所述分类准确率是否大于准确率阈值，获得第二判断结果；

第二返回子模块，用于若所述第二判断结果表示否，则调整交叉熵损失函数阈值，令n的数值增加1，返回步骤“将所述训练集输入数据生成器，生成第n次训练的训练数据”；

训练后的学习率对卷积和残差网络输出子模块，用于若所述第二判断结果表示是，则输出第n-1次训练过程中参数调整后的学习率对卷积和残差网络，作为训练后的学习率对卷积和残差网络。

10.根据权利要求9所述的基于卷积和残差网络的HER2图像分类系统，其特征在于，所述模型训练模块，还包括：

次序打乱子模块，用于利用回调函数将训练集中的扩展数据样本的索引次序进行打乱，获得次序打乱后的训练集。

Images