CN116524226A - 一种基于深度学习的乳腺癌病理图像分类装置及方法 - Google Patents

一种基于深度学习的乳腺癌病理图像分类装置及方法 Download PDF

Info

Publication number
CN116524226A
CN116524226A CN202310151308.5A CN202310151308A CN116524226A CN 116524226 A CN116524226 A CN 116524226A CN 202310151308 A CN202310151308 A CN 202310151308A CN 116524226 A CN116524226 A CN 116524226A
Authority
CN
China
Prior art keywords
image
layer
convolution
neural network
attention module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310151308.5A
Other languages
English (en)
Inventor
王彬
张会敏
相洁
李颖
李丹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202310151308.5A priority Critical patent/CN116524226A/zh
Publication of CN116524226A publication Critical patent/CN116524226A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明提供了一种基于深度学习的乳腺癌病理图像分类装置及方法，属于图像识别技术领域；解决了由于乳腺组织病理图像复杂、信息交织临床上对乳腺癌诊断耗时又耗力的问题；包括如下步骤：获取乳腺组织病理图像并对图像进行预处理；利用空洞卷积和并行卷积分支结构，在每个分支上添加参数可调的激活因子并结合残差连接得到感受野尺度注意力模块；基于感受野尺度注意力模块搭建第一级神经网络，基于图像块patch提取特征，训练特征提取器；通过平铺的特征融合模块对patch特征做融合；基于残差混合注意力模块搭建第二级神经网络，基于特征融合后的特征图提取全局特征实现图像级别的预测分类，训练网络并保存最终模型；本发明应用于乳腺癌病理图像的分类。

Description

一种基于深度学习的乳腺癌病理图像分类装置及方法
技术领域
本发明提供了一种基于深度学习的乳腺癌病理图像分类装置及方法，属于图像识别技术领域。
背景技术
根据世界卫生组织国际癌症研究机构(IARC)2021年发布的数据，乳腺癌已成为世界第一大癌症。临床上诊断是否癌变的最可靠的方法是通过乳腺活检，在活组织检查中，通过外科手术取出组织样本进行分析。活检样本的显微成像数据体积大，性质复杂，需要专业的病理学家进行高强度的工作，且容易出现诊断错误。另外，目前我国医疗资源分布相对不均衡，偏远地区技术和设备相对落后、医生相关经验不足。因此一种高效的针对乳腺癌病理图像的分类识别技术是必要的，临床上辅助病理学家进行诊断，提高诊断速度，降低误诊率。
许多研究人员针对乳腺癌病理图像的计算机诊断不断尝试各种算法，并进行优化改进，以求达到最理想的效果。但是，图像分类仍然具有难度和挑战，尤其是对病理图像，其本身就具有极强的挑战性。因为癌细胞通常存在大量的变异，结构和形态多样性导致其具有复杂的几何结构和纹理形状。而且病理切片因为制作过程中的染色等操作以及病理图像获取时设备差异等原因，也增大了图像诊断的难度。而且，训练深度卷积神经网络需要巨大的样本数，而医疗病理图像因标注困难且涉及患者隐私等问题使得样本规模相对有限。现有方法存在难以捕捉这些重要细节特征而导致检测性能变差的问题。同时目前用于乳腺癌病理图像分类的模型方法有着巨大的计算资源消耗，存在难以在有限硬件资源上训练和部署使用等问题。
发明内容
本发明为了解决现有技术中由于乳腺癌病理图像结构复杂、信息交织、组织类别难以区分，临床上诊断困难耗时耗力的问题，提供了一种基于深度学习的乳腺癌病理图像分类装置及方法。
为了解决上述技术问题，本发明采用的技术方案为：一种基于深度学习的乳腺癌病理图像分类装置，包括：
病理切片扫描仪，用于扫描乳腺组织切片获取乳腺病理图像；
处理器：所述处理器与病理切片扫描仪连接，所述处理器包括预处理模块、检测模块、分析模块，所述预处理模块用于将病理切片扫描仪获取的乳腺病理图像进行图像归一化和标准化预处理；
所述检测模块用于将预处理后的乳腺病理图像输入到轻量化深度学习模型，先提取图像块特征，并进行特征融合，再提取全局特征，通过提取到的乳腺癌病理图像特征实现对乳腺病理图像的分类；
所述轻量化深度学习模型基于卷积神经网络结构，由两级神经网络构成，集成感受野尺度注意力模块、平铺的特征融合、残差混合注意力模块；
所述分析模块用于根据轻量化深度学习模型提取到的乳腺癌病理图像特征对乳腺病理图像进行可视化分析，分析结果在显示屏上进行显示。
一种基于深度学习的乳腺癌病理图像分类方法，包括如下步骤：
S1：获取乳腺癌病理图像数据集，对图像进行归一化和标准化，并利用数据增强技术对数据集进行扩充和类别平衡，划分训练集和测试集；采用滑动窗口算法从图像中截取图像块patch，patch尺寸大小根据使得patch中包含完整地组织信息且不破坏细胞分布的原则来决定；
S2：构建感受野尺度注意力模块：利用并行卷积组装分支结构，在每个分支上添加具有不同膨胀率的空洞卷积，并通过网格搜索算法指定每个分支的激活因子，将三者结合得到感受野尺度注意力模块；
S3：构建残差混合注意力模块：将通道注意力和空间注意力串行实现，并结合残差连接得到残差混合注意力模块；
S4：特征融合：对来自同一张图像的patch特征进行融合，通过平铺的方法进行融合；
S5：搭建第一级神经网络：所述第一级神经网络为感受野尺度注意力网络（Receptive Field Scale Activation Module Network，RFSAM-Net）：设计主干网络，将步骤S2中的感受野尺度注意力模块嵌入到主干网络中，采用4层模块框架，将提取到的特征通过一个全局平均池化层，对整个网络从结构上做正则化处理，全局平均池化层得到的特征向量与全连接层连接，通过计算转换得到patch的预测类别概率；
S6：搭建第二级神经网络：所述第二级神经网络为残差混合注意力网络（ResidualConvolutional Block Attention Module Network，ResCBAM-Net）：设计主干网络，将步骤S3中的残差混合注意力模块嵌入到主干网络中，将提取到的特征通过一个全局平均池化层，对整个网络从结构上做正则化处理，全局平均池化层得到的特征向量与全连接层连接，通过计算转换得到整个图像的预测类别概率；
S7：将网络总体结构搭建完成后，对网络中参数进行训练更新：第一级神经网络训练完成后丢弃全连接层及之后部分，作为特征提取器辅助第二级神经网络训练，两个阶段网络训练完成后得到最终乳腺癌病理图像分类模型。
所述步骤S2中的感受野尺度注意力模块的构建步骤如下：
先使用1×1卷积降低维度，并在分支结构中添加可调比率参数的空洞卷积来扩大感受野和捕获多尺度上下文信息，并将之后的特征图与原始输入图进行通道合并，再通过网格搜索算法为不同分支指定激活因子，控制不同分支对模块输出的贡献，捕获高相关特征。
所述感受野尺度注意力模块的结构包括：
分支一：卷积层RFSAM1_conv1，采用1×1卷积核，步长为1；卷积层RFSAM1_conv2，采用3×3卷积核，步长为1；卷积层RFSAM1_conv3，采用3×3卷积核，步长为1，填充padding为2；卷积层RFSAM1_conv4，采用3×3卷积核，步长为1，填充padding为3，dilation为4；以上各层中均使用BN和ReLU；
分支二：卷积层RFSAM2_conv1，采用1×1卷积核，步长为1；卷积层RFSAM2_conv2，采用3×3卷积核，步长为1，填充padding为2；卷积层RFSAM2_conv3，采用3×3卷积核，步长为1，填充padding为2，dilation为3；以上各层中均使用BN和ReLU；
分支三：卷积层RFSAM3_conv1，采用1×1卷积核，步长为1；卷积层RFSAM3_conv2，采用3×3卷积核，步长为1；卷积层RFSAM3_conv2，采用3×3卷积核，步长为1，填充padding为3；以上各层中均使用BN和ReLU；
分支四：采用3×3卷积核，步长为1，填充padding为3，使用BN和ReLU；
分支五：残差连接；
特征融合：五个分支的输出通过concat操作进行特征融合，并在前四个分支上通过网格搜索算法确定激活因子值。
所述步骤S3中的残差混合注意力模块的结构包括：
分支一：卷积层ResCBAM1_conv1，采用1×1卷积核，步长为1，并使用BN和ReLU；
ResCBAM1_通道注意力模块，通过两个并行的最大池化层和平均池化层，对两个输出进行通道压缩和再恢复操作，将得到的两个输出进行相加，并通过sigmoid激活函数进行激活，得到与输入通道数一致的最终输出通道掩码mask，将掩码与ResCBAM1_通道注意力模块的输入通过点乘得到ResCBAM1_通道注意力模块的最终输出；
ResCBAM1_空间注意力模块，输入通过两个并行的最大池化层和平均池化层获得两个特征图，通过concat操作得到一个特征图，然后通过卷积运算降至1维，并由sigmoid激活函数进行非线性变换，得到空间区域上的掩码mask，将掩码与ResCBAM1_空间注意力模块的输入通过点乘得到ResCBAM1_空间注意力模块的最终输出；
卷积层ResCBAM1_conv2，采用3×3卷积核，步长为1，填充padding为1，并使用BN和ReLU；
分支二：残差连接；
特征融合：两个分支的输出通过concat操作进行特征融合。
所述步骤S4中的特征融合是将patch特征图按照patch生成顺序进行再复原，使得第二级神经网络能够提取图像的全局特征。
所述第一级神经网络的总体结构包括：
第一层卷积层conv1，采用3×3卷积核，步长为2，并使用BN和ReLU；
第一感受野尺度注意力模块；
第一层池化层pool1，采用最大池化，窗口大小为3，步长为2；
第二感受野尺度注意力模块；
第二层卷积层conv2，采用3×3卷积核，步长为2，并使用BN和ReLU；
第三感受野尺度注意力模块；
第三层卷积层conv3，采用3×3卷积核，步长为2，并使用BN和ReLU；
第四感受野尺度注意力模块；
然后使用全局平均池化把每个通道的特征图输出均值结果作为一个神经元，最后通过一层全连接层和Softmax函数进行分类。
所述第二级神经网络的总体结构包括：
第一层卷积层conv1，采用1×1卷积核，步长为1，并使用BN和ReLU；
第二层卷积层conv2，采用3×3卷积核，步长为1，并使用BN和ReLU；
第一残差混合注意力模块；
第三层卷积层conv3，采用3×3卷积核，步长为2，并使用BN和ReLU；
第四层卷积层conv4，采用3×3卷积核，步长为1，并使用BN和ReLU；
第二残差混合注意力模块；
然后使用全局平均池化把每个通道的特征图输出均值结果作为一个神经元，最后通过一层全连接层和Softmax函数进行分类。
所述步骤S7具体包括：
首先，训练第一级神经网络：使用网格搜索算法筛选确定最优的激活因子；将步骤S1中经过预处理的图像数据分批次输入到第一级神经网络中，使用滑动窗口策略在图像中截取图像块patch，图像块之间有重叠；根据预测值与真实标签构建损失函数并计算损失，使用优化算法进行反向传播更新网络的参数，直至损失不再下降，此时将网络参数保存为最终模型；第一级神经网络训练完成后丢弃全局平局池化及之后部分，作为特征提取器为后续第二级神经网络的训练提供局部特征；
然后，训练第二级神经网络：步骤S1中经过预处理的图像数据分批次输入到第二级神经网络中，使用滑动窗口策略在图像中截取图像块patch，图像块之间不再重叠；图像经第一级神经网络提取特征后，通过平铺的特征融合方式进行特征融合得到与原图像相对应的特征图，上述特征图作为第二级神经网络的输入，根据第二级神经网络对特征图的最终预测值与图像的真实标签构建损失函数并计算损失，使用优化算法进行反向传播更新网络的参数，直至损失不再下降，此时将网络参数保存为最终模型。
本发明相对于现有技术具备的有益效果为：本发明提供的基于深度学习的乳腺癌病理图像分类装置及方法通过两级神经卷积网络实现，减少模型计算复杂度的同时对病理图像具有更强的特征抽取能力。第一级神经网络中通过利用多并行卷积并结合不同分支对模块输出的贡献不同提出了感受野尺度注意模块，在第二级卷积神经网络中结合通道注意力、空间注意力和残差连接提出了残差混合注意力模块，该网络对特征融合后的patch特征图提取全局特征实现图像级别的分类。本发明所设计的模型不仅具有更高的准确率，而且有着很小的参数数量和计算量，相对更容易进行实际部署。
附图说明
下面结合附图对本发明做进一步说明。
图1为本发明乳腺癌病理图像分类装置的系统框图。
图2为本发明乳腺癌病理图像分类方法的流程图。
图3为本发明所构建的感受野尺度注意力模块的结构示意图。
图4为本发明所构建的残差混合注意力模块的结构结构图。
图5为本发明所设计的平铺的特征融合方式的结构示意图。
图6为本发明所设计的第一级神经网络总体结构图。
图7为本发明所设计的第二级神经网络总体结构图。
图8为本发明提出的网络模型与其他网络方法就参数量、计算量和模型分类准确率的对比图。
具体实施方式
由于乳腺癌病理图像背景复杂、细胞分布杂乱，且存在良性\恶性组织交织的情况，并且考虑到拥有巨大参数数量和计算量的模型无疑增加了实际部署的难度，乳腺癌病理图像的分类判别任务具有困难性和特殊性。因此，本发明提出了一种基于深度学习的乳腺癌病理图像分类装置，其结构如图1所示，将病理切片扫描仪通过通信线与搭载本发明基于深度学习的乳腺癌病理图像分类方法计算机程序的处理器相连，处理器与显示屏相连，将分析结果进行显示。其中病理切片扫描仪用于扫描乳腺组织切片获取乳腺病理图像；处理器包括预处理模块、检测模块、分析模块。预处理模块用于将病理切片扫描仪获取的患者乳腺病理图像进行图像归一化和标准化预处理；检测模块用于将预处理后的乳腺病理图像输入到轻量化深度学习模型，先提取图像块特征，并进行特征融合，再通过第二级神经网络提取全局特征，有效利用特征实现对图像的分类；轻量化深度学习模型基于卷积神经网络结构，由两级神经网络构成，集成感受野尺度注意力模块、平铺的特征融合、残差混合注意力模块；分析模块用于根据轻量化深度学习模型提取到的乳腺癌病理图像的特征对乳腺病理图像进行可视化分析，以热图形式展现聚焦的关键组织区域，辅助临床诊断，结果在显示屏上进行显示。
本发明提出的基于深度学习的乳腺癌病理图像分类方法的步骤如图2所示，具体包括：
步骤一、数据集准备
1.1数据采集
由于数字式的病理切片扫描仪设置不同，获取到的病理图像质量不一，本发明使用公开乳腺癌病理图像数据验证模型性能，分别是BreakHis乳腺癌病理图像数据集和ICIAR2018乳腺癌病理图像数据集，可访问以下两个网址进行下载：https://iciar2018-challenge.grand-challenge.org/Dataset/368和https://web.inf.ufpr.br/vri/databases/breast-cancer-histopathological-database-breakhis/。
1.2数据预处理
首先，使用基于染色反褶积的Macenko方法对图像进行染色标准化；其次，使用图像几何变换和颜色变换方式对图像进行数据扩充以及类别平衡，其中图像几何变换为对图像进行水平翻转、竖直翻转、镜像翻转、旋转等方式，颜色变换采用将图像转换到HSV颜色空间，对图像的颜色值进行改变增强；采用滑动窗口算法从图像中截取图像块patch，patch尺寸大小根据使得patch中包含完整地组织信息且不破坏细胞分布的原则来决定；针对不同数据集，截取图像块patch的滑动窗口大小选择不同，对BreakHis数据集和ICIAR2018数据集窗口大小设定分别为224×224和512×512。
步骤二、网络架构设计
1.1特征增强模块设计
感受野尺度注意力模块（Receptive Field Scale Attention Module，RFSAM）：如图3所示，采用四个分支卷积及残差连接组成；
分支一：卷积层RFSAM1_conv1，采用1×1卷积核，步长为1；卷积层RFSAM1_conv2，采用3×3卷积核，步长为1；卷积层RFSAM1_conv3，采用3×3卷积核，步长为1，填充padding为2；卷积层RFSAM1_conv4，采用3×3卷积核，步长为1，填充padding为3，dilation为4；以上各层中均使用BN和ReLU；
分支二：卷积层RFSAM2_conv1，采用1×1卷积核，步长为1；卷积层RFSAM2_conv2，采用3×3卷积核，步长为1，填充padding为2；卷积层RFSAM2_conv3，采用3×3卷积核，步长为1，填充padding为2，dilation为3；以上各层中均使用BN和ReLU；
分支三：卷积层RFSAM3_conv1，采用1×1卷积核，步长为1；卷积层RFSAM3_conv2，采用3×3卷积核，步长为1；卷积层RFSAM3_conv2，采用3×3卷积核，步长为1，填充padding为3；以上各层中均使用BN和ReLU；
分支四：采用3×3卷积核，步长为1，填充padding为3，使用BN和ReLU；
分支五：残差连接；
特征融合：五个分支的输出进行特征融合，通过concat操作，并在前四个分支上通过网格搜索算法最优化每个分支对输出的影响贡献，使得图像的相关特征高度集中。
残差混合注意力模块（Residual Convolutional Block Attention Module，ResCBAM）：如图4所示，采用两个分支组成；
分支一：卷积层ResCBAM1_conv1，采用1×1卷积核，步长为1，并使用BN和ReLU；ResCBAM1_通道注意力模块，通过两个并行的最大池化层（MaxPool）和平均池化层（AvgPool），对两个输出（C×1×1）进行通道压缩(C/4×1×1)和再恢复(C×1×1)操作，将得到的两个输出进行相加，并通过sigmoid激活函数进行激活，得到与输入通道数一致的最终输出通道掩码mask（C×1×1），将掩码与该模块的输入通过点乘得到模块的最终输出；ResCBAM1_空间注意力模块，输入通过两个并行的最大池化层（MaxPool）和平均池化层（AvgPool）获得两个特征图（1×H×W），通过concat操作得到一个尺寸为2×H×W的特征图，然后通过卷积运算降至1维，并由sigmoid激活函数进行非线性变换，得到空间区域上的掩码mask（1×H×W），将掩码与该模块的输入通过点乘得到模块的最终输出；卷积层ResCBAM1_conv2，采用3×3卷积核，步长为1，填充padding为1，并使用BN和ReLU；
分支二：残差连接；
特征融合：两个分支的输出进行特征融合，通过concat操作。
1.2特征融合方式设计：平铺的特征融合，如图5所示；
不同patch的边缘部分整合后包含关键信息，故本发明提出平铺的特征融合方式，将patch特征图按对应patch的位置进行重组，最大程度的将特征与原始输入图像的位置进行对应，使融合后的特征图包含更具有判别能力的特征。
1.3总体网络设计
第一级神经网络结构，如图6所示：第一层卷积层conv1，采用3×3卷积核，步长为2，并使用BN和ReLU；添加一层感受野尺度注意力模块；第一层池化层pool1，采用最大池化，窗口大小为3，步长为2；添加一层感受野尺度注意力模块；第二层卷积层conv2，采用3×3卷积核，步长为2，并使用BN和ReLU；添加一层感受野尺度注意力模块；第三层卷积层conv3，采用3×3卷积核，步长为2，并使用BN和ReLU；添加一层感受野尺度注意力模块；然后使用全局平均池化把每个通道的特征图输出均值结果作为一个神经元，最后通过一层全连接层和Softmax函数进行分类。
第二级神经网络结构，如图7所示：第一层卷积层conv1，采用1×1卷积核，步长为1，并使用BN和ReLU；第二层卷积层conv2，采用3×3卷积核，步长为1，并使用BN和ReLU；添加一层残差混合注意力模块；第三层卷积层conv3，采用3×3卷积核，步长为2，并使用BN和ReLU；第四层卷积层conv4，采用3×3卷积核，步长为1，并使用BN和ReLU；添加一层残差混合注意力模块；然后使用全局平均池化把每个通道的特征图输出均值结果作为一个神经元，最后通过一层全连接层和Softmax函数进行分类。
步骤三、网络结构参数设计
本发明通过对感受野尺度注意力模块中的不同分支上的激活因子进行网格搜索实验来确定最终网络结构中的超参数。乳腺癌病理图像分类任务中，不仅要关注细胞核的分布信息及纹理特征，还要关注细胞形态、细胞核级以及不同的间质成分等。不同的激活因子组合值对应不同的网络感受野，从而捕获到不同尺度的信息。最后本发明通过实验确定了第一级神经网络中所使用的四层感受野尺度注意力模块中激活因子最优组合值(1.0,1.0,0.1,0.2;0.7,0.9,0.1,0.9;0.4,0.6,0.4,0.8;0.6,0.6,0.3,0.3)。
步骤四、实验过程及结果分析
1.1网络训练
基于两个数据集分别单独对轻量化深度学习模型进行训练学习并验证轻量化深度学习模型的性能，轻量化深度学习模型训练学习时的初始化参数设置如下：
批训练大小batch size为16，L2正则化参数设置为4×10-4，优化器使用Adam算法优化，参数β 1 设定为0.9，β 2 为0.999。两级神经网络训练时初始学习率和迭代epoch分别为(0.002,20)和(0.001,80)，采用lambda学习策略，学习率随着训练过程逐步降低，训练结束后学习率降低到原来的0.1倍。目标损失函数使用交叉熵损失函数CrossEntropyLoss，使用L2正则化方法向损失函数中添加参数惩罚项来降低模型的复杂程度，提高模型的泛化能力，解决过拟合问题。
其中Adam优化器公式为：
；
；
；
；
；
；
上式中：θ t 是t时刻的参数向量；g t 是损失函数关于θ t 的梯度；m t 为t时刻时的一阶矩梯度；v t 为t时刻时的二阶矩梯度；β 1 是一阶矩衰减率；β 2 是二阶矩衰减率；/>是一阶矩偏差修正；/>是二阶矩偏差修正，/>是为维持数值稳定性而添加的常数，/>是学习率，/>是β 1 的t次方，/>是β 2 的t次方。
交叉熵损失函数公式为：
；
上式中：y i 是样本x i 的真实标签转化后对应的one-hot编码（0或1）；为模型预测样本x i 为某一类别的预测分数。
带L2正则化的损失函数公式为：
；
上式中：∈[0，∞)用来权衡参数惩罚项/>和损失函数之间的关系，/>取值越大代表正则化强度越大，本发明训练过程中取值为1。
L2正则化公式如下所示：
；
其中w为参数向量。
1.2实验结果
如表1所示，本发明的轻量化深度学习模型在BreakHis（40x、100x、200x、400x）数据集和ICIAR2018数据集（200x）上均具有较好的分类性能，尤其是在200x和400x放大倍率上分类效果最好（分类准确率分别为99.50%，97.03%；97.99%）。相比于Inception、Inception-ResNet和VGG网络，本发明训练好的轻量化深度学习模型在各个指标上均有着最好的表现。另外如图8所示，本发明轻量化深度学习模型的参数量和计算量较低，在有限的资源环境中更容易部署使用。
表1本发明的方法与其他方法在不同数据集上就准确率、精确率、召回率和F1值的对比结果。
本发明提出的第一级神经网络中提出的感受野尺度注意力模块主要包含两部分组成：包含空洞卷积的多并行卷积分支，负责提取多尺度信息和特征；感受野尺度注意力机制，改变有效感受野的分布，使得高度相关的特征聚集在一起。本发明在该模块中使用了不同比率（1、3和4）的空洞卷积添加到三个并行分支的结构上，使得每个并行分支的输出都包含较大范围的语义信息，并且获取图像的多尺度信息。另外，本发明通过为该模块中不同的分支分配不同的激活因子控制各分支对输出特征的影响度，即改变了输入像素对输出的影响范围和影响程度，改变了网络有效感受野的分布。一般网络的感受野区域内像素点的影响分布呈高斯分布，通常从中心迅速衰减，本发明提出的感受野尺度注意力机制可以增强图像的非中心部分对输出特征图的影响，提升网络对输入全部区域的特征提取能力。通过网格搜索确定最优的激活因子组合值以获得当前最优的信息提取能力。
由于第一级神经网络是基于patch进行训练学习并实现patch级别的预测分类，为验证第一级神经网络的性能，采用三种不同的投票策略来融合patch的预测结果获得图像的预测类别，分别是概率求和(sum)、多数投票(maj)和最大概率(max)策略。如表2所示，第一级神经网络（由四层感受野尺度注意力模块构成）投票所得的图像分类准确率与其他方法相比具有较高的优势，尤其是与同具有并行卷积结构的Inception系列网络相比，分类准确率提升了4%以上。
表2本发明提出的第一级神经网络与其他方法在不同数据集上就准确率的对比结果。
本发明提出的第二级神经网络主要由残差混合注意力模块构成。残差混合注意力模块主要包括三部分：残差连接、空间注意力和通道注意力。该网络在特征融合的基础上，通过空间注意力和通道注意力的串行连接提取图像的全局特征实现图像级别的预测分类，使得网络模型更关注有利于分类的信息，忽略无关甚至是干扰的信息。
其中特征融合为本发明提出的平铺的特征融合方式，即按照滑动窗口截取patch的顺序对patch特征图进行重组，最大程度的与原始输入图像在位置上进行对应。相比于叠加融合的方式，本发明提出的平铺方式更好的关注到了不同patch的边缘组合信息，更有利于网络提取图像全局特征，提升网络性能。
关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、相互间连接方式以及，由上述技术特征带来的常规使用方法、可预期技术效果，除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的专利、期刊论文、技术手册、技术词典、教科书中已公开内容，或属于本领域常规技术、公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种基于深度学习的乳腺癌病理图像分类装置，其特征在于：包括：
病理切片扫描仪，用于扫描乳腺组织切片获取乳腺病理图像；
处理器：所述处理器与病理切片扫描仪连接，所述处理器包括预处理模块、检测模块、分析模块，所述预处理模块用于将病理切片扫描仪获取的乳腺病理图像进行图像归一化和标准化预处理；
所述检测模块用于将预处理后的乳腺病理图像输入到轻量化深度学习模型，先提取图像块特征，并进行特征融合，再提取全局特征，通过提取到的乳腺癌病理图像特征实现对乳腺病理图像的分类；
所述轻量化深度学习模型基于卷积神经网络结构，由两级神经网络构成，集成感受野尺度注意力模块、平铺的特征融合、残差混合注意力模块；
所述分析模块用于根据轻量化深度学习模型提取到的乳腺癌病理图像特征对乳腺病理图像进行可视化分析，分析结果在显示屏上进行显示。
2.一种基于深度学习的乳腺癌病理图像分类方法，其特征在于：包括如下步骤：
S1：获取乳腺癌病理图像数据集，对图像进行归一化和标准化，并利用数据增强技术对数据集进行扩充和类别平衡，划分训练集和测试集；采用滑动窗口算法从图像中截取图像块patch，patch尺寸大小根据使得patch中包含完整地组织信息且不破坏细胞分布的原则来决定；
S2：构建感受野尺度注意力模块：利用并行卷积组装分支结构，在每个分支上添加具有不同膨胀率的空洞卷积，并通过网格搜索算法指定每个分支的激活因子，将三者结合得到感受野尺度注意力模块；
S3：构建残差混合注意力模块：将通道注意力和空间注意力串行实现，并结合残差连接得到残差混合注意力模块；
S4：特征融合：对来自同一张图像的patch特征进行融合，通过平铺的方法进行融合；
S5：搭建第一级神经网络：所述第一级神经网络为感受野尺度注意力网络（ReceptiveField Scale Activation Module Network，RFSAM-Net）：设计主干网络，将步骤S2中的感受野尺度注意力模块嵌入到主干网络中，采用4层模块框架，将提取到的特征通过一个全局平均池化层，对整个网络从结构上做正则化处理，全局平均池化层得到的特征向量与全连接层连接，通过计算转换得到patch的预测类别概率；
S6：搭建第二级神经网络：所述第二级神经网络为残差混合注意力网络（ResidualConvolutional Block Attention Module Network，ResCBAM-Net）：设计主干网络，将步骤S3中的残差混合注意力模块嵌入到主干网络中，将提取到的特征通过一个全局平均池化层，对整个网络从结构上做正则化处理，全局平均池化层得到的特征向量与全连接层连接，通过计算转换得到整个图像的预测类别概率；
S7：将网络总体结构搭建完成后，对网络中参数进行训练更新：第一级神经网络训练完成后丢弃全连接层及之后部分，作为特征提取器辅助第二级神经网络训练，两个阶段网络训练完成后得到最终乳腺癌病理图像分类模型。
3.根据权利要求2所述的一种基于深度学习的乳腺癌病理图像分类方法，其特征在于：所述步骤S2中的感受野尺度注意力模块的构建步骤如下：
先使用1×1卷积降低维度，并在分支结构中添加可调比率参数的空洞卷积来扩大感受野和捕获多尺度上下文信息，并将之后的特征图与原始输入图进行通道合并，再通过网格搜索算法为不同分支指定激活因子，控制不同分支对模块输出的贡献，捕获高相关特征。
4.根据权利要求3所述的一种基于深度学习的乳腺癌病理图像分类方法，其特征在于：所述感受野尺度注意力模块的结构包括：
分支一：卷积层RFSAM1_conv1，采用1×1卷积核，步长为1；卷积层RFSAM1_conv2，采用3×3卷积核，步长为1；卷积层RFSAM1_conv3，采用3×3卷积核，步长为1，填充padding为2；卷积层RFSAM1_conv4，采用3×3卷积核，步长为1，填充padding为3，dilation为4；以上各层中均使用BN和ReLU；
分支二：卷积层RFSAM2_conv1，采用1×1卷积核，步长为1；卷积层RFSAM2_conv2，采用3×3卷积核，步长为1，填充padding为2；卷积层RFSAM2_conv3，采用3×3卷积核，步长为1，填充padding为2，dilation为3；以上各层中均使用BN和ReLU；
分支三：卷积层RFSAM3_conv1，采用1×1卷积核，步长为1；卷积层RFSAM3_conv2，采用3×3卷积核，步长为1；卷积层RFSAM3_conv2，采用3×3卷积核，步长为1，填充padding为3；以上各层中均使用BN和ReLU；
分支四：采用3×3卷积核，步长为1，填充padding为3，使用BN和ReLU；
分支五：残差连接；
特征融合：五个分支的输出通过concat操作进行特征融合，并在前四个分支上通过网格搜索算法确定激活因子值。
5.根据权利要求2所述的一种基于深度学习的乳腺癌病理图像分类方法，其特征在于：所述步骤S3中的残差混合注意力模块的结构包括：
分支一：卷积层ResCBAM1_conv1，采用1×1卷积核，步长为1，并使用BN和ReLU；
ResCBAM1_通道注意力模块，通过两个并行的最大池化层和平均池化层，对两个输出进行通道压缩和再恢复操作，将得到的两个输出进行相加，并通过sigmoid激活函数进行激活，得到与输入通道数一致的最终输出通道掩码mask，将掩码与ResCBAM1_通道注意力模块的输入通过点乘得到ResCBAM1_通道注意力模块的最终输出；
ResCBAM1_空间注意力模块，输入通过两个并行的最大池化层和平均池化层获得两个特征图，通过concat操作得到一个特征图，然后通过卷积运算降至1维，并由sigmoid激活函数进行非线性变换，得到空间区域上的掩码mask，将掩码与ResCBAM1_空间注意力模块的输入通过点乘得到ResCBAM1_空间注意力模块的最终输出；
卷积层ResCBAM1_conv2，采用3×3卷积核，步长为1，填充padding为1，并使用BN和ReLU；
分支二：残差连接；
特征融合：两个分支的输出通过concat操作进行特征融合。
6.根据权利要求2所述的一种基于深度学习的乳腺癌病理图像分类方法，其特征在于：所述步骤S4中的特征融合是将patch特征图按照patch生成顺序进行再复原，使得第二级神经网络能够提取图像的全局特征。
7.根据权利要求4所述的一种基于深度学习的乳腺癌病理图像分类方法，其特征在于：所述第一级神经网络的总体结构包括：
第一层卷积层conv1，采用3×3卷积核，步长为2，并使用BN和ReLU；
第一感受野尺度注意力模块；
第一层池化层pool1，采用最大池化，窗口大小为3，步长为2；
第二感受野尺度注意力模块；
第二层卷积层conv2，采用3×3卷积核，步长为2，并使用BN和ReLU；
第三感受野尺度注意力模块；
第三层卷积层conv3，采用3×3卷积核，步长为2，并使用BN和ReLU；
第四感受野尺度注意力模块；
然后使用全局平均池化把每个通道的特征图输出均值结果作为一个神经元，最后通过一层全连接层和Softmax函数进行分类。
8.根据权利要求5所述的一种基于深度学习的乳腺癌病理图像分类方法，其特征在于：所述第二级神经网络的总体结构包括：
第一层卷积层conv1，采用1×1卷积核，步长为1，并使用BN和ReLU；
第二层卷积层conv2，采用3×3卷积核，步长为1，并使用BN和ReLU；
第一残差混合注意力模块；
第三层卷积层conv3，采用3×3卷积核，步长为2，并使用BN和ReLU；
第四层卷积层conv4，采用3×3卷积核，步长为1，并使用BN和ReLU；
第二残差混合注意力模块；
然后使用全局平均池化把每个通道的特征图输出均值结果作为一个神经元，最后通过一层全连接层和Softmax函数进行分类。
9.根据权利要求2所述的一种基于深度学习的乳腺癌病理图像分类方法，其特征在于：所述步骤S7具体包括：
首先，训练第一级神经网络：使用网格搜索算法筛选确定最优的激活因子；将步骤S1中经过预处理的图像数据分批次输入到第一级神经网络中，使用滑动窗口策略在图像中截取图像块patch，图像块之间有重叠；根据预测值与真实标签构建损失函数并计算损失，使用优化算法进行反向传播更新网络的参数，直至损失不再下降，此时将网络参数保存为最终模型；第一级神经网络训练完成后丢弃全局平局池化及之后部分，作为特征提取器为后续第二级神经网络的训练提供局部特征；
然后，训练第二级神经网络：步骤S1中经过预处理的图像数据分批次输入到第二级神经网络中，使用滑动窗口策略在图像中截取图像块patch，图像块之间不再重叠；图像经第一级神经网络提取特征后，通过平铺的特征融合方式进行特征融合得到与原图像相对应的特征图，上述特征图作为第二级神经网络的输入，根据第二级神经网络对特征图的最终预测值与图像的真实标签构建损失函数并计算损失，使用优化算法进行反向传播更新网络的参数，直至损失不再下降，此时将网络参数保存为最终模型。
CN202310151308.5A 2023-02-22 2023-02-22 一种基于深度学习的乳腺癌病理图像分类装置及方法 Pending CN116524226A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310151308.5A CN116524226A (zh) 2023-02-22 2023-02-22 一种基于深度学习的乳腺癌病理图像分类装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310151308.5A CN116524226A (zh) 2023-02-22 2023-02-22 一种基于深度学习的乳腺癌病理图像分类装置及方法

Publications (1)

Publication Number Publication Date
CN116524226A true CN116524226A (zh) 2023-08-01

Family

ID=87394707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310151308.5A Pending CN116524226A (zh) 2023-02-22 2023-02-22 一种基于深度学习的乳腺癌病理图像分类装置及方法

Country Status (1)

Country Link
CN (1) CN116524226A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115572A (zh) * 2023-10-25 2023-11-24 杭州医策科技有限公司 基于全局特征和局部特征的组织切片分类方法和系统
CN117392468A (zh) * 2023-12-11 2024-01-12 山东大学 基于多示例学习的癌症病理图像分类系统、介质及设备
CN117422715A (zh) * 2023-12-18 2024-01-19 华侨大学 一种基于全局信息的乳腺超声肿瘤病变区域检测方法
CN117789207A (zh) * 2024-02-28 2024-03-29 吉林大学 基于图神经网络的细胞组织病理图像智能分析方法及系统
CN117854045A (zh) * 2024-03-04 2024-04-09 东北大学 一种面向自动驾驶的车辆目标检测方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115572A (zh) * 2023-10-25 2023-11-24 杭州医策科技有限公司 基于全局特征和局部特征的组织切片分类方法和系统
CN117115572B (zh) * 2023-10-25 2024-01-30 杭州医策科技有限公司 基于全局特征和局部特征的组织切片分类方法和系统
CN117392468A (zh) * 2023-12-11 2024-01-12 山东大学 基于多示例学习的癌症病理图像分类系统、介质及设备
CN117392468B (zh) * 2023-12-11 2024-02-13 山东大学 基于多示例学习的癌症病理图像分类系统、介质及设备
CN117422715A (zh) * 2023-12-18 2024-01-19 华侨大学 一种基于全局信息的乳腺超声肿瘤病变区域检测方法
CN117422715B (zh) * 2023-12-18 2024-03-12 华侨大学 一种基于全局信息的乳腺超声肿瘤病变区域检测方法
CN117789207A (zh) * 2024-02-28 2024-03-29 吉林大学 基于图神经网络的细胞组织病理图像智能分析方法及系统
CN117789207B (zh) * 2024-02-28 2024-04-30 吉林大学 基于图神经网络的细胞组织病理图像智能分析方法及系统
CN117854045A (zh) * 2024-03-04 2024-04-09 东北大学 一种面向自动驾驶的车辆目标检测方法

Similar Documents

Publication Publication Date Title
CN116524226A (zh) 一种基于深度学习的乳腺癌病理图像分类装置及方法
CN111191660B (zh) 一种基于多通道协同胶囊网络的结肠癌病理学图像分类方法
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN109544518B (zh) 一种应用于骨骼成熟度评估的方法及其系统
CN110033032B (zh) 一种基于显微高光谱成像技术的组织切片分类方法
CN106780498A (zh) 基于逐像素点深度卷积网络上皮和基质组织自动分割方法
CN110473186A (zh) 一种基于医学图像的检测方法、模型训练的方法及装置
CN113724842B (zh) 一种基于注意力机制的宫颈组织病理辅助诊断方法
CN110189293A (zh) 细胞图像处理方法、装置、存储介质及计算机设备
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
CN111524140B (zh) 基于cnn和随机森林法的医学图像语义分割方法
Xia et al. Cervical cancer cell detection based on deep convolutional neural network
CN114972254A (zh) 一种基于卷积神经网络的宫颈细胞图像分割方法
Akkar et al. Diagnosis of lung cancer disease based on back-propagation artificial neural network algorithm
Zhang et al. Histopathological image recognition of breast cancer based on three-channel reconstructed color slice feature fusion
Chengdong et al. Establishing and validating a spotted tongue recognition and extraction model based on multiscale convolutional neural network
Ning et al. Multiscale context-cascaded ensemble framework (MsC 2 EF): application to breast histopathological image
CN116721289A (zh) 基于自监督聚类对比学习的宫颈oct图像分类方法及系统
Gurumoorthy et al. Computer aided breast cancer detection and classification using optimal deep learning
CN114708589A (zh) 一种基于深度学习的宫颈细胞分类方法
CN115035339A (zh) 一种基于人工智能的膀胱镜图像分类方法
CN113255794A (zh) 一种基于GoogLeNet网络的医学图像分类方法
Huang et al. ADDNS: An asymmetric dual deep network with sharing mechanism for medical image fusion of CT and MR-T2
Liu et al. Brain image recognition algorithm and high performance computing of internet of medical things based on convolutional neural network
CN113011436A (zh) 一种基于卷积神经网络的中医舌色苔色协同分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination