CN115760769A - 一种基于改进cnn的乳腺病理图像分类方法 - Google Patents
一种基于改进cnn的乳腺病理图像分类方法 Download PDFInfo
- Publication number
- CN115760769A CN115760769A CN202211450405.6A CN202211450405A CN115760769A CN 115760769 A CN115760769 A CN 115760769A CN 202211450405 A CN202211450405 A CN 202211450405A CN 115760769 A CN115760769 A CN 115760769A
- Authority
- CN
- China
- Prior art keywords
- network
- module
- image
- breast pathology
- breast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进CNN的乳腺病理图像分类方法，属于医学领域，为了解决目前已有的分类模型分类精度不高的问题，本发明提供了一种乳腺病理图像分类方法。首先对图像数据进行染色标准化、数据增强和图像标准化处理，在ResNet101网络模型基础上，结合注意力机制模块(CBAM)，包括注意通道力机制和注意空间力机制，在网络模型中加入发明的FR模块，此模块能处理空间维度和深度维度的数量，使用交叉熵作为损失函数，最终通过消融实验，得出网络最优模型，将预处理后的测试集中乳腺病理图像输入分类结果，获得图像的预测结果。本发明对乳腺图像的高精度、高准确率的分类，对乳腺疾病的分析、研究、手术方案和治疗方法具有重要意义。
Description
技术领域
本发明属于医疗领域，特别涉及了一种基于改进CNN的乳腺病理图像分类方法。
背景技术
在各种癌症中，乳腺癌一直是常见的癌症之一，并且死亡率极高，给女性的生命健康和幸福生活带来严重的威胁，要有效地防治乳腺癌，降低乳腺癌的死亡率，除了养成良好的生活和饮食习惯之外，乳腺癌的早期诊断和治疗依然是目前最主要的手段，在乳腺癌的发病原因和预防措施还不清楚时，早期的诊断和治疗是提高患者治愈率和降低患者死亡率的最有效的途径。
传统的利用机器学习的方法进行计算机辅助诊断是早期较为常用的方法之一，但过度依赖医生利用手动标注去定义和选择图像的特征，医生的主观因素会对诊断结果造成极大的影响，错选或漏选有效的特征会让分类结果失去可靠性，不仅不能辅助医生诊断，还会对后续治疗方案的提出造成误导。随着近些年计算机的处理能力和存储性能的不断提升，深度学习和大数据技术不断发展，卷积神经网络(Convolutional Neural Networks,CNN)在图像处理等领域发挥出了巨大的作用，也使得计算机辅助诊断技术有了新的突破。卷积神经网络模型可以自动提取图像的特征，自动选择图像的特征并进行图像的分类，不依赖于手工提取特征，不会受到主观因素的影响，而且还可以更好的辅助医生进行诊断，提高了性能。但是目前的网络仍存在特征提取不完整，导致分类出现偏差，造成分类结果准确率低等问题。因此，快速准确的分析乳腺癌病理图像，对乳腺疾病进行正确的分类至关重要。
发明内容
本发明目的在于针对目前存在的分类模型中对乳腺病理图像特征提取不完整，分类准确率低等问题，设计一种基于改进CNN的乳腺病理图像分类方法以解决上述背景技术中的问题。
本发明所述是一种乳腺病理图像分类方法，该方法通过如下方案进行实现：
步骤1：获取乳腺病理图像：按照6:2:2的比例将获取的数据集划分为训练集、验证集和测试集，在乳腺病理图像分类中，划分数据集是分类的首要步骤。
步骤2：对划分好的训练集和测试集进行预处理：进行染色标准化处理，由于乳腺癌病理图像各组织之间有颜色差异，图像分类方法会因为颜色差异导致分类精度降低，所以进行染色标准化是非常必要的。进行数据增强和图像标准化的处理，采用旋转(90°/180°/270°)、翻转(水平/垂直)和平移(±10)像素的方法进行数据增强。图像标准化是将数据通过去均值方法实现中心化的处理，根据凸优化理论与数据概率分布相关知识，数据中心化符合数据分布规律，更容易取得训练之后的泛化效果；
步骤3：以ResNet101网络模型为基线网络：当网络层次逐渐加深，会出现网络退化问题，而ResNet101中的残差单元就解决了网络退化的问题；
步骤4：在网络模型中结合注意力机制模块(Convolutional Block AttentionModule,CBAM)：包括空间注意力机制和通道注意力机制，让系统不产生额外负担的情况下，可以自行选择输入图像在空间和通道上的重要信息进行处理；
步骤5：在网络模型中加入设计的FR模块：FR模块是残差模块结合深度可分离卷积模块而形成的模块，能处理空间维度和深度维度的数量，在不降低准确率的前提下大大减少了模型的复杂度和计算量；
进一步的，使用交叉熵作为损失函数，交叉熵损失函数经常用于分类问题中，由于涉及到每个类别的概率，本实施方式中，交叉熵损失函数与softmax函数一起出现；
进一步的，更改网络的输出维度，使其适用于乳腺病理图像分类任务，原始基线网络的输出维度为100，为了处理凸显病理图像的二分类任务，本实施方式将网络的输出维度设置为2；
进一步的，通过消融实验，获取网络的最优模型；
进一步的，使用预处理后的数据集对搭建的网络模型进行训练、验证及测试，以识别出乳腺病变图像。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1)本发明采用的乳腺病理图像分类方法，与传统乳腺图像分类方法相比较，传统的分类模型均采用浅层网络，更多提取到的特征是线性的边缘特征，本发明采用的网络，有较强的局部特征提取能力，可进一步得出更好的分类结果；2)本发明提出的方法结合了注意力机制模块，包括通道注意力机制和空间注意力机制，让系统在不对计算资源产生额外负担的情况下，可以自行选择输入图像在空间和通道上的重要信息进行处理；3)本发明提出的方法结合了深度可分离卷积模块，可独立查看跨通道相关性和空间相关性，使卷积过程更轻松，更高效，与标准的卷积操作相比，减少了参数数量和运算成本。
附图说明
图1为基于改进CNN的乳腺病理图像分类方法流程图；
图2为基线网络中的残差模块；
图3为注意力机制模块框架；
图4为通道注意力模块框架；
图5为空间注意力模块框架；
图6为发明的FR模块；
具体实施方式
为使本发明的目的、技术方案和优点更加清晰，下面通过附图中的具体实例来描述本发明。但是应该理解，这些描述只是示例性的，并非要限制本发明的范围。本说明书附图所示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的专业人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出与本发明的方案密切相关的结构和处理步骤，而省略与本发明关系不大的其他细节。
如图1所示，本发明具体实施方案包括以下步骤：
步骤1：获取乳腺病理图像，按照6:2:2的比例将获取的数据集划分为训练集、验证集和测试集，在乳腺病理图像分类中，划分训练集和测试集是分类的首要步骤。本专利的数据集为Kaggle平台上下载的开源乳腺病理图像数据集，为BreakHis数据集(Breast CancerHistopathological Image Classification)，包含来自82位患者的7909幅乳腺组织病理图像，其中2480个良性样本和5429个恶性样本均为700×460像素、3通道RGB、通道位深度8、PNG图像格式，类别包括良性病变中的乳腺病(adenosis,A)、纤维腺瘤(fibroadenoma,F)、叶状瘤(phyllodes tumor,PT)、管状腺瘤(tubular adenoma,TA)以及恶性病变中的导管癌(ductal carcinoma,DC)、小叶癌(lobular carcinoma,LC)、黏液癌(mucinous carcinoma,MC)和乳头状癌(papillary carcinoma,PC)，分为4种放大倍数，分别为40X、100X、200X、400X，在不同的放大倍数下，分别进行相关的消融实验，本实施例为二分类任务。
表1乳腺病理图像数据集信息
| 放大倍数 | 良性/幅 | 恶性/幅 | 总计/幅 |
| 40X | 625 | 1370 | 1995 |
| 100X | 644 | 1437 | 2081 |
| 200X | 623 | 1390 | 2013 |
| 400X | 588 | 1232 | 1820 |
步骤2：图像预处理：将乳腺病理图像统一尺寸为224×224，图像预处理后的图像作为输入，可以使模型分类的准确率更高、精度更好，采用图像预处理模块，对获取的原始乳腺图像的尺寸进行增强并对图像进行标准化。
染色标准化：首先，为了防止乳腺癌病理组织图像由颜色差异导致分类方法分类精度降低的情况出现，对图像进行染色标准化，采用Vahadane等人提出的结构保留颜色归一化方法，该方法将一幅图像的颜色变换为另一幅图像颜色的同时，还保持了源图像结构信息的不变性。
数据增强：为了使数据量均衡，防止过拟合的情况出现，对乳腺图像进行旋转(90°/180°/270°)，翻转(水平/垂直)和平移(±10)像素，使数据更加均衡，使模型训练的结果更好，数据增强后的数据集被扩充了8倍。
图像标准化：图像标准化是将数据通过去均值实现中心化的处理，根据凸优化理论与数据概率分布相关知识，数据中心化符合数据分布规律，更容易取得训练之后的泛化效果，作为本发明采用的标准化方法公式如下：
式(1)中μ是图像的均值，x表示图像矩阵：
式(2)中σ表示标准方差，N表示图像的像素。
步骤3：以ResNet101网络模型为基线网络，浅层网络中对乳腺病理图像特征提取的一般都是一些浅层特征，不能很好的进行学习，但是通过增强网络层数的方法来增强网络学习能力的方法并不总是可行的，因为网络深度达到一定层数之后，再增加网络层数，那么网络就会出现随机梯度消失的问题，也会导致网络的准确率下降，而ResNet101可以有效的解决这个问题，如图2所示，ResNet101中的残差单元通过跨层连接，输入信息可以直接跨层到更深层，可以有效地缓解梯度消失问题，进而有利于提高乳腺病理图像分类的精度。
如图3所示，步骤4：在网络模型中结合注意力机制模块(CBAM)，包括空间注意力机制和通道注意力机制，让系统在不对计算资源产生额外负担的情况下，可以自行选择输入图像在空间和通道上的重要信息进行处理；
如图4所示，通道注意力机制：通过利用特征的通道间关系可以生成一个通道注意力特征图，因为一个特征图的每个通道都可以认为是一个特征检测器，通道注意力关注输入图像中有意义的部分，为了高效地计算通道注意力，压缩了输入特征图的空间维度。目前为止，通常使用平均池化来聚合空间信息，通过平均池化和最大池化操作聚合一个特征图的空间信息，生成两个不同的空间上下文描述符：
和
这两个描述符分别表示被平均池化的特征和被最大池化的特征，然后这两个描述符被前向送入一个由二者共享的网络来生成通道注意力图Mc∈Rc×1×1，这个共享网络由具有一个隐藏层的多层感知器(MLP)组成，为了减少参数开销，隐藏的激活大小设置为RC/r×1×1，其中r是缩减率，每个空间上下文描述符经过共享网络处理之后，使用按位加法融合输出特征向量，简言之，通道注意力计算方式如公式(3)所示，其中，σ为sigmoid函数，MLP的权重尺寸为W0∈RC/r×C和W1∈RC/r×C，由平均池化特征和最大池化特征这两个输入共享，并且ReLU激活函数之后是W0，即池化特征在输入到MLP之前，需要经过ReLU函数进行处理。
如图5所示，空间注意力机制：利用特征的空间相互关系可以生存一个空间注意力图，空间注意力专注于信息丰富的部分，这与通道注意力是互补的，为了计算空间注意力，首先沿着通道轴进行平均池化操作和最大池化操作，并将二者拼接起来生成一个高效的特征描述符，沿着通道轴执行池化操作已被证明可以有效地凸显信息丰富的区域，针对拼接后的特征描述符，使用一个卷积层来生成一个空间注意力图Ms(F)∈RH×W，该特征图编码了哪个区域被凸显或抑制，通过两个池化操作来聚合一个特征图的通道信息，生成两个2D图：
和
每个图分别表示沿着通道被平均池化的特征和被最大池化的特征，之后二者被拼接在一起，并被一个标准圈基层卷积，生成一个2D空间注意力图，简言之，空间注意力计算方式如公式(4)所示，其中σ表示sigmoid函数，f7×7表示一个卷积核尺寸7×7的卷积操作。
如图6所示，步骤5：加入发明的FR模块，此模块为残差模块与深度可分离卷积模块的结合，此模块采取经过多条分支提取不同的特征，再进行融合的策略；
上一层的输出作为下一层的输入，送入5条分支，第一条为残差模块框架的支路，首先经过卷积核大小为1×1的卷积，其次经过卷积核大小为3×3卷积，再经过卷积核大小为1×1的卷积；
第二条支路先经过卷积核大小为1×1的逐通道卷积，再经过卷积核大小为3×3逐点卷积，第三、四、五条支路同第二条支路，将第二、三、四、五条支路的输出进行concat操作，将其结果与第一条支路的输出结果进行相加，相加之后再通过一个ReLU函数；
不仅能处理空间维度，还能处理深度维度的数量，在不降低准确率的前提下大大减少了模型的复杂度和计算量，此外，每个卷积层后面还有一个ReLU层用来减少计算量，缓解过拟合问题，通过该模块，可以拥有残差模块的优点，能够有效的缓解梯度弥散问题，可以缓解过拟合的问题；
进一步的，使用交叉熵作为损失函数，交叉熵损失函数经常用于分类问题中，由于涉及到每个类别的概率，本实施方式中，交叉熵损失函数与softmax函数一起出现；
进一步的，更改网络的输出维度，使其适用于乳腺病理图像分类任务。原始基线网络的输出维度为100，为了处理凸显病理图像的二分类任务，本实施方式可以将网络的输出维度设置为2。
进一步的，通过消融实验，得出网络最优模型，使用发明的FR模块替代基线网络中的残差模块，将预处理后的测试集中乳腺病理图像输入分类结果，获得图像的预测结果。通过训练后保存的模型，对预处理后的乳腺病理测试集图像进行测试，进一步对网络性能进行测试。由于不同的评价指标对实验结果的估计意义不同，所以本发明使用了常用的正确率、精确率、召回率以及F1-score对测试结果进行评估。为了使实验结果更加简洁易懂，使用混淆矩阵将每一类数据的分类结果展示出来。其中正确率、精确率、召回率以及F1-score对测试结果进行评估。为了使实验结果更加简洁易懂，使用混淆矩阵将每一类数据的分类结果展示出来。其中正确率、精确率、召回率以及F1-score定义如公式8-4所示：
8-4式中TP代表把正样本预测为正样本的样本数量；TN代表把负样本预测为负样本的样本数量；FP代表把负样本预测为正样本的样本数量；FN代表把正样本预测为负样本的样本数量；TP+FP代表预测为正样本的全部样本数量；TP+FN代表正样本的全部数量。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (8)
1.基于改进CNN的乳腺病理图像分类方法，其特征在于，所述医学图像分类方法具体包括以下步骤：
步骤1：获取乳腺病理图像，按照6:2:2的比例将获取的数据集划分为训练集、验证集和测试集，为网络模型训练、验证和测试做准备；
步骤2：对划分好的数据集进行预处理，每个图像数据在作为模型的输入之前都要经过染色标准化、数据增强和图像标准化的处理；
步骤3：以ResNet101网络模型为基线网络，当网络层次逐渐加深，会出现网络退化问题，而ResNet101中的残差单元就解决了网络退化的问题；
步骤4：在网络模型中结合注意力机制模块(Convolutional Block AttentionModule，CBAM)，包括空间注意力机制和通道注意力机制；
步骤5：在网络模型中加入发明的FR模块，此模块是残差模块结合深度可分离卷积模块而形成的模块；
步骤6：使用交叉熵作为损失函数，交叉熵损失函数经常用于分类问题中，由于涉及到每个类别的概率，本实施方式中，交叉熵损失函数与softmax函数一起出现；
步骤7：更改网络的输出维度，使其适用于乳腺病理图像分类任务；
步骤8：通过消融实验，获取网络的最优模型；
步骤9：使用预处理后的数据集对搭建的网络模型进行训练及测试，以识别出乳腺病变图像。
2.根据权利要求1所述的基于改进CNN的乳腺病理图像分类方法，其特征在于，所述的步骤2中，将乳腺病理图像统一尺寸为224×224，染色标准化方法采用Vahadane方法，数据增强采用旋转(90°/180°/270°)，翻转(水平/垂直)和平移(±10)像素的方法。
3.根据权利要求1所述的基于改进CNN的乳腺病理图像分类方法，其特征在于，所述的步骤3中，以ResNet101网络模型为基线网络。
4.根据权利要求1所述的基于改进CNN的乳腺病理图像分类方法，其特征在于，所述的步骤4中，结合基于卷积块的注意力机制(CBAM)能够让网络有效的学习输入图片中的重要信息。
5.根据权利要求1所述的基于改进CNN的乳腺病理图像分类方法，其特征在于，所述的步骤5中，在网络模型中加入发明的FR模块，此模块是残差模块与深度可分离卷积模块结合所形成的多尺度模块。
6.根据权利要求1所述的基于改进CNN的乳腺病理图像分类方法，其特征在于，所述的步骤6中，使用交叉熵作为损失函数。
7.根据权利要求1所述的基于改进CNN的乳腺病理图像分类方法，其特征在于，所述的步骤7中，更改网络的输出维度，使其适用于乳腺病理图像分类任务。
8.根据权利要求1所述的基于改进CNN的乳腺病理图像分类方法，其特征在于，所述的步骤8中，通过消融实验，获取网络的最优模型，使用发明的FR模块替代基线网络中的残差模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211450405.6A CN115760769A (zh) | 2022-11-19 | 2022-11-19 | 一种基于改进cnn的乳腺病理图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211450405.6A CN115760769A (zh) | 2022-11-19 | 2022-11-19 | 一种基于改进cnn的乳腺病理图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115760769A true CN115760769A (zh) | 2023-03-07 |
Family
ID=85332930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211450405.6A Pending CN115760769A (zh) | 2022-11-19 | 2022-11-19 | 一种基于改进cnn的乳腺病理图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115760769A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116825363A (zh) * | 2023-08-29 | 2023-09-29 | 济南市人民医院 | 基于融合深度学习网络的早期肺腺癌病理类型预测系统 |
-
2022
- 2022-11-19 CN CN202211450405.6A patent/CN115760769A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116825363A (zh) * | 2023-08-29 | 2023-09-29 | 济南市人民医院 | 基于融合深度学习网络的早期肺腺癌病理类型预测系统 |
| CN116825363B (zh) * | 2023-08-29 | 2023-12-12 | 济南市人民医院 | 基于融合深度学习网络的早期肺腺癌病理类型预测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images | |
| Vu et al. | Histopathological image classification using discriminative feature-oriented dictionary learning | |
| Hameed et al. | Multiclass classification of breast cancer histopathology images using multilevel features of deep convolutional neural network | |
| CN112270666A (zh) | 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法 | |
| Bozkurt | Skin lesion classification on dermatoscopic images using effective data augmentation and pre-trained deep learning approach | |
| Karthiga et al. | Transfer learning based breast cancer classification using one-hot encoding technique | |
| Li et al. | Study on strategy of CT image sequence segmentation for liver and tumor based on U-Net and Bi-ConvLSTM | |
| Babu Vimala et al. | Detection and classification of brain tumor using hybrid deep learning models | |
| Eltoukhy et al. | Classification of multiclass histopathological breast images using residual deep learning | |
| Elayaraja et al. | An efficient approach for detection and classification of cancer regions in cervical images using optimization based CNN classification approach | |
| Haque et al. | NeuroNet19: an explainable deep neural network model for the classification of brain tumors using magnetic resonance imaging data | |
| Yildirim et al. | Detection and classification of glioma, meningioma, pituitary tumor, and normal in brain magnetic resonance imaging using deep learning-based hybrid model | |
| Tang et al. | GAM-SpCaNet: Gradient awareness minimization-based spinal convolution attention network for brain tumor classification | |
| CN115760769A (zh) | 一种基于改进cnn的乳腺病理图像分类方法 | |
| Zhu et al. | A novel multispace image reconstruction method for pathological image classification based on structural information | |
| He et al. | Skin lesion segmentation via deep RefineNet | |
| Wu et al. | Automatic liver tumor segmentation used the cascade multi-scale attention architecture method based on 3D U-Net | |
| Fooladi et al. | Segmenting the lesion area of brain tumor using convolutional neural networks and fuzzy k-means clustering | |
| Li et al. | A dual attention-guided 3D convolution network for automatic segmentation of prostate and tumor | |
| Vander Putten et al. | Deep residual neural networks for automated Basal Cell Carcinoma detection | |
| Alhudhaif et al. | A novel approach to skin lesion segmentation: Multipath fusion model with fusion loss | |
| Xiao et al. | A feature extraction method for lung nodules based on a multichannel principal component analysis network (PCANet) | |
| Sajiv et al. | Predicting Breast Cancer Risk from Histopathology Images using Hybrid Deep Learning Classifier | |
| Saumiya et al. | Unified automated deep learning framework for segmentation and classification of liver tumors | |
| Pan et al. | A review of machine learning approaches, challenges and prospects for computational tumor pathology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |