CN109740669B - 一种基于深度特征聚合的乳腺癌病理图像分类方法 - Google Patents

Abstract

本发明公开了一种基于深度特征聚合的乳腺癌病理图像分类方法，属于医疗图像分类领域。该方法包括：构造乳腺癌病理图像数据集，获取原始病理图像数据和标签信息，对原始病理图像进行数据增强；借助随机梯度下降法训练深度特征提取模块，优化深度特征提取模块的参数；采用深度特征提取模块获得的深度特征来训练特征聚合模块，并计算出训练集的深度特征聚合编码；使用训练集的深度特征聚合编码训练预分类模块。在方法测试上，首先将测试集样本输入串联的深度特征提取模块、特征聚合模块和预分类模块，来获得测试集预分类标签；投票模块对测试集预分类标签进行统计，来获得预测标签。本发明提升了在乳腺癌病理图像上的分类性能。

Description

一种基于深度特征聚合的乳腺癌病理图像分类方法

技术领域

本发明涉及医疗图像分类领域和深度学习领域，更具体地说，涉及一种基于深度特征聚合的乳腺癌病理图像分类方法。

背景技术

乳腺癌是造成全球女性死亡的第二大病症，并且其发病率呈逐年上升的趋势。在临床上，相较于核磁共振、X-ray、钼靶等图像，病理图像是最终确诊乳腺癌的金标准。当前基于病理医生的乳腺癌病理图像分类，不仅存在耗时、费力的问题，而且其诊断结果容易受到医生经验、情绪等主观人为因素的影响。基于计算机辅助的乳腺癌病理图像自动分类则不仅可以提高诊断效率，还能辅助提供更加客观、准确的诊断结果。

乳腺癌病理图像自动分类研究可分为基于传统机器学习算法和基于深度学习算法两类。在基于传统机器学习的算法中，局部二值模式、灰度共生矩阵等特征描述子结合支持向量机、随机森林等分类算法对乳腺癌病理图像进行自动分类，并取得了良好的分类精度。在基于深度学习的算法中，AlexNet、GoogLeNet等卷积神经网络被应用于乳腺癌病理图像分类领域，其分类准确率相较于传统机器学习算法获得了进一步提升。

发明内容

针对现有技术的局限，本发明的目的是提出一种基于深度特征聚合的乳腺癌病理图像分类方法，使用深度特征提取模块获得深度特征，将深度特征通过特征聚合模块转化为深度特征聚合编码，深度特征聚合编码输入到预分类网络后获得预分类标签，最后经投票模块对预分类标签进行统计得到预测标签，从而有效地进行乳腺癌病理图像分类。

本发明所提出的一种基于深度特征聚合的乳腺癌病理图像分类方法，包括以下步骤：

步骤S1：构造包含乳腺癌病理图像数据及良恶性标签的图像数据集，对原始乳腺癌病理图像数据集进行数据增强，并划分为训练集、测试集两部分，训练集用于本发明方法的模型训练，测试集用于本发明的模型测试；

步骤S2：使用训练集样本训练深度特征提取模块，包括特征前向传播和误差反向传播两个过程，并提取腺癌病理图像训练集样本的深度特征；

步骤S3：使用乳腺癌病理图像训练集样本的深度特征来训练特征聚合模块，获得聚合特征模块的码本，并计算乳腺癌病理图像训练集的深度特征聚合编码；

步骤S4：使用乳腺癌病理图像训练集的深度特征聚合编码训练预分类模块，以获得预分类标签；

步骤S5：在方法模型测试上，将乳腺癌病理图像测试集样本输入串联的深度特征提取模块、特征聚合模块和预分类模块，以获得测试集样本的预分类标签；

步骤S6：将乳腺癌病理图像测试集预分类标签输入投票模块，获得最终的预测标签。在乳腺癌病理图像测试集上，用图像级别分类准确率和患者级别分类准确率评判方法的整体性能。

其中步骤S1具体包括以下过程：

对原始乳腺癌病理图像进行数据增强，具体包括图像剪切和图像旋转操作，采用数据增强后的数据来构造乳腺癌病理图像数据集，数据集中包括图像数据和标签信息。以X＝[x₁,x₂,...,x_N]表示乳腺癌病理图像构成的数据集，其中每一张乳腺癌病理图像记作x_i,{i＝1,2,…N}，N表示乳腺癌病理图像样本个数；Y＝[y₁,y₂,...,y_M]表示乳腺癌病理图像对应的标签。将样本集进行划分，选取一部分作为测试集X_te，一部分作为训练集X_tr。

其中步骤S2具体包括以下过程：

深度特征提取模块由VGG-VD16网络的1-15层构成，使用随机梯度下降法训练深度特征模块，提取乳腺癌病理图像的深度特征。鉴于本发明涉及的乳腺癌病理图像分类属二分类问题，将VGG-VD16网络的最后一层全连接层的维度修改为2×1，采用乳腺癌病理图像训练集基于随机梯度下降法进行网络精调训练，来优化深度特征提取模块的参数，并基于优化后的参数来提取训练集乳腺癌病理图像的深度特征h_i，维度为w*h*c，其中w、h和c分别表示深度特征的宽、高和通道数。

其中步骤S3具体包括以下过程：

将深度特征模块模型获得的训练集深度特征h_i输入聚合模块，获得深度特征聚合编码，具体计算公式如下：

其中，a_k(h_ij)表示加权系数，c_k表示由K-means算法得到的聚类中心，h_ij表示h_i的第j个局部描述子。加权系数a_k(h_ij)计算公式如下：

其中，W为比例系数，

为w*h个W的平均值。比例系数W的计算公式如下：

其中，c₁是距离h_ij最近的聚类中心，c₂是距离h_ij第二近的聚类中心。

其中步骤S4具体包括以下过程：

使用训练集的深度特征聚合编码来训练预分类模块的分类器，发明采用支持向量机(SVM)作为分类器，以获得预分类标签。预分类模块实现了对深度特征聚合编码的分类工作，即对每一张数据增强后的乳腺癌病理图像产生一个预分类标签。

其中步骤S5具体包括以下过程：

将乳腺癌病理图像测试集样本输入串联的深度特征模块、特征聚合模块和预分类模块，依次获得测试集样本对应的深度特征、深度特征聚合编码及其相应的预分类标签。

其中步骤S6具体包括以下过程：

将乳腺癌病理图像测试集的预分类标签输入投票模块，统计对应同一张原始将乳腺癌病理图像的预分类标签个数，个数最多的预分类标签即为原始将乳腺癌病理图像的预测标签。

其中，L_pre代表预测标签,L₁代表第一类标签，L₂代表第二类标签，n₁表示归属为第一类的预分类标签个数，n₂表示归属为第二类预分类标签的个数。

本发明的有益效果是，本发明重在通过提取更有效的乳腺癌病理图像深度特征，并以新的方式将深度特征进行聚合，来获得更具判别性的深度特征聚合编码，从而提高对乳腺癌病理图像的分类准确率。

附图说明

图1是本发明所涉及的基于深度特征聚合的图像分类方法的流程示意图。

具体实施方式

下面结合图1和实施例对本发明作进一步说明，本发明采用BreakHis乳腺癌病理图像数据集作为实例数据集，该数据集包含从82例患者中采集的7909张700×460的彩色病理图像，这些病理图像使用不同的放大倍数(40×、100×、200×和400×)呈现,划分为2个类别：benign(良性)、malignant(恶性)。

参照图1流程图，本发明解决其技术问题的具体步骤如下：

步骤S1：构造并划分图像数据集

采集BreakHis乳腺癌病理图像数据集，按0.8的比例系数对病理图像长宽进行裁剪，将裁剪后的病理图像进行90度、180度和270度旋转，可将原乳腺癌病理数据集扩增16倍，获得126544张乳腺癌病理图像。为适应VGG-VD16卷积神经网络，将所有病理图像放缩为224×224。构造为乳腺癌病理图像数据集X＝[x₁,x₂,…,x₁₂₆₅₄₄]，数据集X的2个类别标签表示为Y＝[y₁,y₂]，分别表示良性和恶性，数据集中的每个样本均包含乳腺癌病理图像数据及标签。随后划分数据集，从82位患者中随机选取57位患者的样本作为训练集X_tr，剩余患者的样本测试集X_te，乳腺癌病理训练集用于发明方法的模型训练，测试集用于模型测试。

步骤S2：训练深度特征提取模块模型

(1)乳腺癌病理图像特征前向传播：将训练集X_tr中的乳腺癌病理图像按照不同放大倍率独立地输入深度特征模块，每张224×224的乳腺癌病理图像经过深度特征提取模块后可获得13×13×256大小的深度特征h_i。

(2)误差反向传播：全连接层将深度特征映射为2×1的向量x_i，即对应2个类别标签的取值，经Softmax处理为2×1的预测概率向量，计算Softmaxloss损失。网络参数初始化，设置训练的学习率为10^-4，权重下降率为0.001，设置训练批次为16，训练代数为50。

此时根据该初始误差进行反向传播，更新网络参数。在迭代过程中，错误率随着训练代数增加逐渐减小。在训练过程中，网络参数微调，直至达到收敛状态，确定最优深度特征提取模块的参数。并提取训练集的乳腺癌病理图像深度特征h_i。

步骤S3：训练特征聚合模块

按照不同放大倍率，使用训练集乳腺癌病理图像维度为13*13*256的深度特征h_i训练特征聚合模块，获得维度为16*256的码本，并计算训练集的4096维深度特征聚合编码，即B_tr。本实例将编码的聚类中心个数设置为K＝16；

步骤S4：训练预分类模块

使用训练集乳腺癌病理图像4096维的深度特征聚合编码B_tr训练支持向量机SVM分类器作为预分类模块，获得训练集图像的预分类标签。

步骤S5：获得测试集预分类标签

将乳腺癌病理图像测试集X_te输入串联的深度特征模块、特征聚合模块和预分类模块，依次获得测试集样本13*13*256维的深度特征、4096维的深度特征聚合编码及其相应的预分类标签。

步骤S6：获得预测标签，计算分类准确率

将乳腺癌病理图像测试集的预分类标签输入投票模块，获得原始图像预测标签。分别在图像层面和患者层面计算模型分类准确率。

根据测试集样本预测标签与真实标签是否一致，计算图像层面和患者层面的分类准确率。如下表1和表2分别是本发明的深度特征聚合编码方法在图像层面和患者层面的乳腺癌病理图像分类准确率，在BreakHis数据集4种放大倍率的子集上与基于CNN的方法比较，其结果更占优势。

表1 BreakHis数据集上图像层面的分类准确率

表2 BreakHis数据集上患者层面的分类准确率

综上所述，本发明提出的基于深度特征聚合的乳腺癌病理图像分类方法可有效提升分类精度。首先，经过乳腺癌病理图像微调后的深度特征模块优化了参数，能够提取更有效的病理图像深度特征。其次，模型通过聚合深度特征获得深度特征聚合编码，进一步提高了特征的区分能力；然后，使用统计预分类标签获得预测标签，进一步提高了模型的鲁棒性，从而在整体上提升了模型的乳腺癌病理图像分类性能。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

Claims (4)

1.一种基于深度特征聚合的乳腺癌病理图像分类方法，其特征在于，该方法包括以下步骤：

步骤S1：构造包含乳腺癌病理图像数据及良恶性标签的图像数据集，对原始乳腺癌病理图像数据集进行数据增强，并划分为训练集、测试集两部分，训练集用于模型训练，测试集用于模型测试；

步骤S2：使用训练集样本训练深度特征提取模块，包括特征前向传播和误差反向传播两个过程，并提取乳腺癌病理图像训练集样本的深度特征；

步骤S3：使用乳腺癌病理图像训练集样本的深度特征来训练特征聚合模块，获得特征聚合模块的码本，并计算乳腺癌病理图像训练集的深度特征聚合编码，具体计算公式如下：

其中，a_k(h_ij)表示加权系数，c_k表示由训练集特征经K-means算法获得的聚类中心，h_ij表示第i个乳腺癌病理图像的第j个局部描述子，加权系数a_k(h_ij)计算公式如下：

其中，W为比例系数，

为w*h个W的平均值，其中w、h分别表示深度特征的宽和高，比例系数W的计算公式如下：

其中，c₁是距离h_ij最近的聚类中心，c₂是距离h_ij第二近的聚类中心；

步骤S4：使用乳腺癌病理图像训练集的深度特征聚合编码训练预分类模块，以获得预分类标签；

步骤S5：在步骤S1所述的模型测试中，将乳腺癌病理图像测试集样本输入串联的深度特征提取模块、特征聚合模块和预分类模块，以获得测试集样本的预分类标签；

步骤S6：将乳腺癌病理图像测试集预分类标签输入投票模块，获得最终的预测标签，在乳腺癌病理图像测试集上，用图像级别分类准确率和患者级别分类准确率评判方法的整体性能。

2.根据权利要求1所述的一种基于深度特征聚合的乳腺癌病理图像分类方法，其特征在于，所述的步骤S1中，对原始乳腺癌病理图像进行数据增强，包括图像剪切和图像旋转操作，采用数据增强后的数据来构造乳腺癌病理图像数据集，数据集中包括图像数据和标签信息，以X＝[x₁,x₂,...,x_N]表示乳腺癌病理图像构成的数据集，其中每一张乳腺癌病理图像记作x_i，{i＝1，2，...N}，N表示乳腺癌病理图像样本个数；Y＝[y₁,y₂,...,y_M]表示乳腺癌病理图像对应的标签，将样本集进行划分，选取一部分作为测试集X_te，一部分作为训练集X_tr。

3.根据权利要求1所述的基于深度特征聚合的乳腺癌病理图像分类方法，其特征在于，所述的步骤S2中，深度特征提取模块使用VGG-VD16网络的1-15层构建，使用随机梯度下降法训练深度特征提取模块，提取乳腺癌病理图像的深度特征。

4.根据权利要求1所述的基于深度特征聚合的乳腺癌病理图像分类方法，其特征在于，所述的步骤S6中的投票模块，对应同一张原始乳腺癌病理图像的预分类标签进行统计，计算公式如下：

其中，L_pre代表预测标签，L₁代表第一类标签，L₂代表第二类标签，n₁表示归属为第一类的预分类标签个数，n₂表示归属为第二类预分类标签的个数。

Images