CN115601602A - 癌症组织病理图像分类方法、系统、介质、设备及终端 - Google Patents

癌症组织病理图像分类方法、系统、介质、设备及终端 Download PDF

Info

Publication number
CN115601602A
CN115601602A CN202211404398.6A CN202211404398A CN115601602A CN 115601602 A CN115601602 A CN 115601602A CN 202211404398 A CN202211404398 A CN 202211404398A CN 115601602 A CN115601602 A CN 115601602A
Authority
CN
China
Prior art keywords
image
training
attention
feature
full
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211404398.6A
Other languages
English (en)
Inventor
杨云
麦嘉成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN202211404398.6A priority Critical patent/CN115601602A/zh
Publication of CN115601602A publication Critical patent/CN115601602A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像分类技术领域，公开了一种癌症组织病理图像分类方法、系统、介质、设备及终端，基于构造正样本对策略的自监督预训练，利用基于目标数据集的自监督预训练模型提取特征；通过利用高注意力分数的样本特征构造全切片病理图像样本特征矩阵，实现基于注意力的特征混合增强多实例学习。本发明使用基于目标数据集的自监督预训练模型提取到的特征更加适合组织病理图像领域，模型学习到的特征更具有代表性。本发明提出的对比学习构造正样本方法，提高了样本多样性，模型能够学习到更好的特征表示。另外，本发明提供的通过利用高注意力分数的样本特征，构造一个增强版的全切片病理图像样本特征矩阵，使得模型更具鲁棒性，分类准确度更高。

Description

癌症组织病理图像分类方法、系统、介质、设备及终端
技术领域
本发明属于图像分类技术领域，尤其涉及一种癌症组织病理图像分类方法、系统、介质、设备及终端。
背景技术
目前，癌症一直是人类的第一杀手，根据国际癌症研究机构显示，病理诊断被认为是各种肿瘤检查中最可靠的方法，被称为“金标准”。然而，在实际的临床工作中，由于人工病理分析费时费力，如何准确、快速地对患者进行诊断一直是该领域的巨大需求。随着医学成像和人工智能技术的发展，这一瓶颈可以突破。特别是近年来，医学资源的数字化和带注释的全切片图像(WSI)的积累使得越来越多的研究人员将注意力集中在WSI的自动分析和诊断。基于人工智能的医学图像辅助诊断可以帮助病理学家克服人工诊断对专业能力、主观体验和疲劳等多种因素的敏感性，从而有效提高病理诊断的准确性和稳定性，这对疾病治疗选项具有重要意义。
与传统的医学图像分析不同，由于WSI的极高分辨率，通常超过十亿像素，在现有计算资源下很难直接处理WSI。在像素级压缩WSI将丢失高倍率下的详细信息，并导致性能显著下降。因此，大多数方法将WSI划分为数千或数万个块，然后提取特征并将其转换为可由神经网络处理的格式。尽管目前的研究已经取得了很大的成果，但由于缺乏像素级标注，很难获得切块级的强监督信息，这使得WSI分类成为弱监督学习问题。多实例学习(MIL)作为弱监督学习的一种形式，通常用于WSI分类的诊断分析。然而，为WSI分类开发深度MIL模型有两个主要挑战。首先，在将WSI划分为块之后，需要特征提取器来降低维数。通常，特征提取器在ImageNet上进行预训练，ImageNet是一个自然图像数据集。自然图像和组织病理图像之间存在显著差异。DS-MIL首次在组织病理图像上使用自监督学习预训练策略，模型采用SimCLR对比学习框架，其实验效果明显优于基于ImageNet监督预训练的方法，证明了自监督学习方法在病理图像上的有效性，充分显现出自监督学习在病理图像上可以有更进一步的探索空间。CLAM聚类约束注意力多实例学习方法，一种数据利用率高，可解释性强，领域适应性强的弱监督方法，只需要切片级标签，使用基于注意力的学习自动识别具有高诊断价值的子区域，以便对整个切片进行准确分类，同时还利用实例级聚类对识别出的代表区域进行约束和细化特征空间。CLAM在AB-MIL基于注意力的多实例分类上加入一个二分类聚类网络，来生成伪标签进行额外的监督信号，对于肿瘤亚型，可以加入领域知识(互斥性，不同类别的肿瘤组织不能出现在同一张病理图像上)，进行约束聚类，而CLAM的深度卷积网络ResNet50是在ImageNet自然图像数据集上预训练提取组织图像特征的。
现有的弱监督多实例学习组织病理图像分类缺点如下：
(1)基于预训练模型的组织病理图像分类方法
相比基于ImageNet自然图像数据集上有监督预训练方法，使用基于目标数据集的自监督预训练模型提取到的特征更加适合组织病理图像领域，模型学习到的特征更有代表性，而现有的自监督对比学习模型选择正样本对的方式，都是通过一张图像分别进行两次数据增广后得到的两张图像构成正样本对，这种构造正样本对的策略缺点在于两张图像相似度高，缺乏多样性，模型没办法学习到该图像类别更为丰富的特征表示，因此提出一种新的对比学习构造正样本方法，以此提高样本多样性，模型能够学习到更好的特征表示。
(2)基于注意力的多实例学习分类方法
基于注意力的多实例学习自动识别具有高诊断价值的子区域，以便对整个幻灯片进行准确分类，同时还利用实例级聚类对识别出的代表区域进行约束和细化特征空间。CLAM使用基于注意力的池函数将切块级特征聚合到切片级表示中进行分类。检查WSI组织区域内的所有切块并对其进行排序，为每个切块分配注意力分数，其对特定类别的WSI级表示的贡献或重要性。然而，该方法没有对重要性高的切块进一步的利用，模型判断切片是否病变往往取决于一小区域的病变组织，CLAM实验显示，注意力分数高的切片区域，就是切片病变的区域，而病理图像数据样本少，病变区域只占整张切片的一小区域，模型能够学习到的病变组织切块特征太少。
综上所述，病理图像分类领域中，传统预训练模型通常选择在ImageNet数据集上进行监督训练，然而自然图像与病理图像的差异较大，并不能学习到较好的表示特征。若选择病理图像进行预训练，需要大量的手工标注像素级的病变区域，难以实现。解决上述问题可采用自监督预训练方法，自监督对比学习不需要手工标注样本，并且精度能媲美强监督方法，但是传统对比学习方法的正样本对选择是一张图像的两次图像增广，得到的两张图像较为相似，样本多样性不足，而一张病理图像进行切分之后，每一张小的切块之间极度相似，严重缺乏样本多样性。病理图像数据集样本少，病变区域只占整张病理图像一小块面积，判别是否患癌取决于是否检测到癌变区域，现有技术没有重点学习和利用好病变区域的特征。因此，亟需设计一种新的癌症组织病理图像分类方法。
通过上述分析，现有技术存在的问题及缺陷为：
(1)传统的人工病理分析方法费时费力；由于缺乏像素级标注，很难获得切块级的强监督信息，这使得WSI分类成为弱监督学习问题。
(2)现有的基于自监督预训练模型的组织病理图像分类方法缺乏多样性，模型没办法学习到该图像类别更为丰富的特征表示。
(3)现有的基于注意力的多实例学习分类方法没有对重要性高的切块进行利用，病理图像数据样本少，模型能够学习到的病变组织切块特征太少。
发明内容
针对现有技术存在的问题，本发明提供了一种癌症组织病理图像分类方法、系统、介质、设备及终端，尤其涉及一种基于自监督预训练和注意力机制的癌症组织病理图像分类方法、系统、介质、设备及终端。
本发明是这样实现的，一种癌症组织病理图像分类方法，所述癌症组织病理图像分类方法包括：基于构造正样本对策略的自监督预训练方法进行两阶段自监督预训练，利用基于目标数据集的自监督预训练模型提取特征；通过利用高注意力分数的样本特征构造全切片病理图像样本特征矩阵，实现基于注意力的特征混合增强多实例学习。
进一步，所述癌症组织病理图像分类方法包括以下步骤：
步骤一，利用混合最近邻动量对比学习方法进行自监督预训练；
步骤二，进行基于注意力的多实例学习；
步骤三，利用多实例模型进行全切片图像分类。
步骤一：通过自监督预训练，特征提取模型能够学习到一张组织病理图像好的特征表示所需要的模型参数。
步骤二：通过该步骤，多实例学习分类模型学会如何对组织病理图像分类是正常还是病变的。
步骤三：通过步骤三，对需要预测的全切片组织病理图像进行分类，得到分类结果。
进一步，所述步骤一中的自监督预训练包括：
利用混合最近邻动量对比学习方法，使用最近邻样本与正样本混合作为新的正样本改进对比实例识别方法。使用MNMoCo框架在ImageNet数据集上训练特征提取模型，特征提取模型的主体结构为ResNet50，保存训练好的特征提取模型m1；进行全切片病理图像预处理，将全切片图像以较小的倍率读入内存，并转换为HSV文件格式；对图像S通道进行阈值分割生成二进制掩膜图像，以指定图像20倍率、切块大小224×224使用滑动窗口从组织区域中提取小切块以构建切块集合。经过图像处理方法处理训练集全部全切片图像，得到的所有小切块用作自监督训练集；再使用MNMoCo框架训练所有小切块，特征提取模型结构还是ResNet50，开始训练之前加载预先保存训练好的特征提取模型m1。
MNMoCo使用数据增强生成两个增强样本χi和
Figure BDA0003936002000000041
数据增强方法包括对输入图像进行随机裁剪、随机灰度变化、随机颜色扰动、随机高斯模糊和随机翻转。两个增强样本分别经过编码器和动量编码器之后分别得到zi和
Figure BDA0003936002000000051
根据以下公式计算
Figure BDA0003936002000000052
在内存库队列Q的余弦相似度最大的样本特征，得到最近邻样本特征矩阵；
Figure BDA0003936002000000053
根据以下公式与zi以贝塔分布进行权重相加：
Figure BDA0003936002000000054
根据损失函数公式计算损失：
Figure BDA0003936002000000055
其中，τ为温度参数，用于调节模型对困难样本的关注程度；经过对所有小切块进行自监督训练后，得到第二个特征提取模型m2。
进一步，所述步骤二中的基于注意力的多实例学习包括：
使用ResNet50卷积神经网络加载特征提取模型m2参数，提取目标数据训练集小切块的特征，作训练集特征zk，使用训练集特征zk和切片级标签训练多实例学习模型；基于在多实例学习框架，CLAM使用注意力池化代替最大池化，利用实例级聚类约束和细化特征空间，并加入基于注意力的特征混合增强。
对特征向量zk降维，如以下公式所示：
Figure BDA0003936002000000056
其中，
Figure BDA0003936002000000057
k表示当前小切块在其所属全切片图像中的序号，hk为zk经过降维后得到的特征向量。
通过以下公式计算第k个切块的注意力得分表示为ak：
Figure BDA0003936002000000058
其中，
Figure BDA0003936002000000059
和
Figure BDA00039360020000000510
均为线性变换矩阵，tanh和sigm均为激活函数。
通过注意力池化计算注意力得分分布hslide，如以下公式所示：
Figure BDA0003936002000000061
hslide通过分类器层和softmax激活函数计算类别概率预测分数Sslide，全切片图像分类使用交叉熵损失函数，计算损失表示为Lslide。
进一步，辅助聚类约束用于细化模型学习到的注意力分数两端的特征空间，切块注意力分数按降序排列，取分数最高的8个小切块作为正样本，最低的8个作为负样本，对16个切块分类，辅助聚类损失函数为平滑支持向量机损失，计算损失表示为Lpatch；注意力特征混合增强用于强化注意力分数高的特征样本，构建一个队列大小为30000的内存空间，每一轮多实例学习将注意力分数最高的150个切块样本特征存进队列；采用先进先出策略，最老的150个样本特征排出队列。取注意力分数最高的150个小切块的特征向量fa，到内存库队列找出与这欧氏距离最近的150个切块的特征向量f'a，fa与f'a按一定比例进行权重相加得到fx，与剩下的小切块特征向量重新构成一个完整的全切片特征向量z'k，将z'k进行多实例学习分类，并得到损失Lslide_mix。其中，总损失如以下公式所示：
Ltotal＝c1Lslide+c2Lpatch+c3Lslide_mix；
其中，Ltotal为总损失，Lslide和Lslide_mix为分类任务损失，Lpatch为聚类约束损失，c1，c2和c3为和为一的权重。
进一步，所述步骤三中的全切片图像分类包括：
使用全切片图像处理方法处理待测试的全切片图像，再使用特征提取切块特征，最后使用去除辅助聚类约束和特征混合增强的多实例模型聚合切块特征并对待测全切片图像分类。
本发明的另一目的在于提供一种应用所述的癌症组织病理图像分类方法的癌症组织病理图像分类系统，所述癌症组织病理图像分类系统包括：
自监督预训练模块，用于利用混合最近邻动量对比学习进行自监督预训练；
多实例学习模块，用于进行基于注意力的多实例学习；
全切片图像分类模块，用于利用多实例模型进行全切片图像分类。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的癌症组织病理图像分类方法的步骤。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述的癌症组织病理图像分类方法的步骤。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的癌症组织病理图像分类系统。
结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
相比基于ImageNet自然图像数据集上有监督预训练方法，本发明使用基于目标数据集的自监督预训练模型提取到的特征更加适合组织病理图像领域，模型学习到的特征更有代表性，现有的多实例学习基本只使用基于ImageNet的监督训练后的特征提取器，或者只使用传统对比学习模型自监督预训练特征提取器，而本发明提出两阶段自监督预训练方法，并且现有的自监督对比学习模型选择正样本对的方式，都是通过一张图像分别进行两次数据增广后得到的两张图像构成正样本对，这种构造正样本对的策略缺点在于两张图像相似度高，缺乏多样性，模型没办法学习到该图像类别更为丰富的特征表示，本发明提出的对比学习构造正样本方法，提高样本多样性，模型能够学习到更好的特征表示。
相比CLAM使用基于注意力的池函数将切块级特征聚合到切片级表示中进行分类，利用实例级聚类对识别出的代表区域进行约束和细化特征空间。但是该技术只是让模型学习辨别高注意分数或低注意力分数的样本特征，而没有进一步利用，本发明的通过利用高注意力分数的样本特征，构造一个增强版的全切片病理图像样本特征矩阵，使得模型更具鲁棒性，分类准确度更高。综合本发明上述两个优点，与不同技术相比的实验结果如表1所示，其中our是本发明仅使用两阶段自监督预训练方法的结果，our(TASM)是在此基础上增加最高注意力分数混合增强方法的结果。
表1实验结果对比
Figure BDA0003936002000000081
本发明提供了一种针对基于构造正样本对策略的自监督预训练的技术以及针对基于注意力的特征混合增强多实例学习的技术。本发明还提出了一种基于注意力的特征混合增强多实例学习分类方法，能够进一步利用高注意力切块的特征，构造一个增强的全切片病理图像特征矩阵。
本发明的技术方案转化后的预期收益和商业价值为：本发明的技术方案可以依托图像识别、图像分割和深度学习这三项技术。依据临床诊断路径，首先将图像识别和图像分割技术应用于感知环节，将非结构化影像数据进行分析处理，提取有用信息并分割出病灶部位；其次利用深度学习技术，将大量临床影像数据和诊断经验输入人工智能模型，使神经网络进行深度学习训练；最后，基于不断验证和打磨的算法模型，进行影像诊断智能推理，利用高性能云计算技术快速分析处理影像数据，在数秒内完成病理影像分析诊断，输出个性化的诊疗判断结果并推荐相关诊疗方案。该技术方案可以通过强大的AI辅助诊断能力，辅助医生在云端进行大规模的影像标注和诊疗，还可为医疗机构提供远程影像阅片支持，在区域医疗建设方面为医院、医联体和区域医疗建立创新服务模式，旨在提升一线放射科医生的效率、减轻医生诊断工作负荷、实现医学影像诊疗自动化、网络化、常态化、实时化，提高医学影像诊疗精准化与标准化水平，解决我国医疗资源不平衡等问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的癌症组织病理图像分类方法流程图；
图2是本发明实施例提供的癌症组织病理图像分类方法原理图；
图3是本发明实施例提供的对比学习方法MNMoCo示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种癌症组织病理图像分类方法、系统、介质、设备及终端，下面结合附图对本发明作详细的描述。
为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
如图1所示，本发明实施例提供的癌症组织病理图像分类方法包括以下步骤：
S101，利用混合最近邻动量对比学习方法进行自监督预训练；
S102，进行基于注意力的多实例学习；
S103，利用多实例模型进行全切片图像分类。
如图2所示，本发明实施例提供的癌症组织病理图像分类系统包括：
(1)自监督预训练模块
本发明实施例提出了一个混合最近邻动量对比学习方法(MNMoCo)，该方法使用最近邻样本与正样本混合作为新的正样本来改进对比实例识别方法，提出的对比学习方法MNMoCo如图3所示。本发明实施例首先使用MNMoCo框架在ImageNet数据集上训练特征提取模型，特征提取模型的主体结构为ResNet50，保存训练好的特征提取模型m1。然后进行全切片病理图像预处理，将全切片图像以较小的倍率读入内存，并将其转换为HSV文件格式。然后对图像S通道进行阈值分割生成二进制掩膜图像，以指定图像20倍率、切块大小224×224使用滑动窗口从组织区域中提取小切块以构建切块集合。经过上述图像处理方法处理训练集全部全切片图像，得到的所有小切块用作自监督训练集。再次使用MNMoCo框架训练所有小切块，特征提取模型结构还是ResNet50，开始训练之前加载预先保存训练好的特征提取模型m1。
MNMoCo使用数据增强生成两个增强样本χi和
Figure BDA0003936002000000101
数据增强方法包括对输入图像进行随机裁剪、随机灰度变化、随机颜色扰动、随机高斯模糊和随机翻转。两个增强样本分别经过编码器和动量编码器之后分别得到zi和
Figure BDA0003936002000000102
之后根据公式(1)计算
Figure BDA0003936002000000103
在内存库队列Q的余弦相似度最大的样本特征，得到一个最近邻样本特征矩阵，然后根据公式(2)与zi以贝塔分布进行权重相加，最后根据损失函数公式(3)计算损失，其中τ为温度参数，用于调节模型对困难样本的关注程度。经过上述对所有小切块进行自监督训练后，得到第二个特征提取模型m2。
Figure BDA0003936002000000104
Figure BDA0003936002000000105
Figure BDA0003936002000000106
(2)基于注意力的多实例学习模块
使用ResNet50卷积神经网络加载上述特征提取模型m2参数，提取目标数据训练集小切块的特征，作训练集特征zk，使用训练集特征zk和切片级标签来训练多实例学习模型。CLAM是一种弱监督组织病理全切片图像分类方法。在多实例学习框架的基础上，CLAM使用注意力池化代替了最大池化，并利用实例级聚类约束和细化特征空间，使得对全切片图像的分类更加精确。本发明实施例在此基础上加入了基于注意力的特征混合增强，使得模型学习样本特征更具鲁棒性，提高分类精确度。首先对特征向量zk降维，如公式(4)所示，其中
Figure BDA0003936002000000111
Figure BDA0003936002000000112
k表示当前小切块在其所属全切片图像中的序号，hk为zk经过降维后得到的特征向量。然后通过公式(5)计算第k个切块的注意力得分表示为ak，其中
Figure BDA0003936002000000113
和
Figure BDA0003936002000000114
均为线性变换矩阵，tanh和sigm均为激活函数。通过注意力池化计算注意力得分分布hslide，如公式(6)所示。最后hslide通过分类器层和softmax激活函数计算类别概率预测分数Sslide，全切片图像分类使用交叉熵损失函数，计算损失表示为Lslide。
Figure BDA0003936002000000115
Figure BDA0003936002000000116
Figure BDA0003936002000000117
辅助聚类约束用于细化模型学习到的注意力分数两端的特征空间，切块注意力分数按降序排列，取分数最高的8个小切块作为正样本，最低的8个作为负样本，对这16个切块分类，辅助聚类损失函数为平滑支持向量机损失，计算损失表示为Lpatch。注意力特征混合增强用于强化注意力分数高的特征样本，构建一个队列大小为30000的内存空间，每一轮多实例学习将注意力分数最高的150个切块样本特征存进队列，采用先进先出策略，最老的150个样本特征排出队列。取注意力分数最高的150个小切块的特征向量fa，到内存库队列找出与这欧氏距离最近的150个切块的特征向量f'a，fa与f'a按一定比例进行权重相加得到fx，与剩下的小切块特征向量重新构成一个完整的全切片特征向量z'k，将z'k进行上述的多实例学习分类，并得到损失Lslide_mix。总损失如公式(7)，其中Ltotal为总损失，Lslide和Lslide_mix为分类任务损失，Lpatch为聚类约束损失，c1，c2和c3为和为一的权重。
Ltotal＝c1Lslide+c2Lpatch+c3Lslide_mix (7)
(3)全切片图像分类模块
使用上述全切片图像处理方法处理需要测试的全切片图像，然后使用上述特征提取切块特征，最后使用上述去除辅助聚类约束和特征混合增强的多实例模型来聚合切块特征并对待测全切片图像分类。
本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。
本发明实施例公开了一种基于自监督对比学习预训练的组织病理图像分类方法，属于图像分类领域。病理图像分类领域中，传统预训练模型通常选择在ImageNet数据集上进行监督训练，然而自然图像与病理图像的差异较大，并不能学习到较好的表示特征。若选择病理图像进行预训练，需要大量的手工标注像素级的病变区域，难以实现。解决上述问题可采用自监督预训练方法，自监督对比学习不需要手工标注样本，并且精度能媲美强监督方法，但是传统对比学习方法的正样本对选择是一张图像的两次图像增广，得到的两张图像较为相似，样本多样性不足，而一张病理图像进行切分之后，每一张小的切块之间极度相似，严重缺乏样本多样性。除此之外，病理图像数据集样本少，病变区域只占整张病理图像一小块面积，判别是否患癌取决于是否检测到癌变区域，现有技术没有重点学习和利用好病变区域的特征。因此，本发明实施例提出了一种基于自监督预训练和注意力机制的癌症组织病理图像分类方法。
相比基于ImageNet自然图像数据集上有监督预训练方法，本发明使用基于目标数据集的自监督预训练模型提取到的特征更加适合组织病理图像领域，模型学习到的特征更有代表性，现有的多实例学习基本只使用基于ImageNet的监督训练后的特征提取器，或者只使用传统对比学习模型自监督预训练特征提取器，而本发明提出两阶段自监督预训练方法，并且现有的自监督对比学习模型选择正样本对的方式，都是通过一张图像分别进行两次数据增广后得到的两张图像构成正样本对，这种构造正样本对的策略缺点在于两张图像相似度高，缺乏多样性，模型没办法学习到该图像类别更为丰富的特征表示，本发明提出的对比学习构造正样本方法，提高样本多样性，模型能够学习到更好的特征表示。
相比CLAM使用基于注意力的池函数将切块级特征聚合到切片级表示中进行分类，利用实例级聚类对识别出的代表区域进行约束和细化特征空间。但是该技术只是让模型学习辨别高注意分数或低注意力分数的样本特征，而没有进一步利用，本发明的通过利用高注意力分数的样本特征，构造一个增强版的全切片病理图像样本特征矩阵，使得模型更具鲁棒性，分类准确度更高。综合本发明上述两个优点，与不同技术相比的实验结果如表1所示，其中our是本发明仅使用两阶段自监督预训练方法的结果，our(TASM)是在此基础上增加最高注意力分数混合增强方法的结果。
表1实验结果对比
Figure BDA0003936002000000131
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种癌症组织病理图像分类方法，其特征在于，所述癌症组织病理图像分类方法包括：基于构造正样本对策略的自监督预训练，利用基于目标数据集的自监督预训练模型提取特征；通过利用高注意力分数的样本特征构造全切片病理图像样本特征矩阵，实现基于注意力的特征混合增强多实例学习。
2.如权利要求1所述癌症组织病理图像分类方法，其特征在于，所述癌症组织病理图像分类方法包括以下步骤：
步骤一，利用混合最近邻动量对比学习方法进行自监督预训练；
步骤二，进行基于注意力的多实例学习；
步骤三，利用多实例模型进行全切片图像分类。
3.如权利要求2所述癌症组织病理图像分类方法，其特征在于，所述步骤一中的自监督预训练包括：
利用混合最近邻动量对比学习方法，使用最近邻样本与正样本混合作为新的正样本改进对比实例识别方法；使用MNMoCo框架在ImageNet数据集上训练特征提取模型，特征提取模型的主体结构为ResNet50，保存训练好的特征提取模型m1；进行全切片病理图像预处理，将全切片图像以较小的倍率读入内存，并转换为HSV文件格式；对图像S通道进行阈值分割生成二进制掩膜图像，以指定图像20倍率、切块大小224×224使用滑动窗口从组织区域中提取小切块以构建切块集合；经过图像处理方法处理训练集全部全切片图像，得到的所有小切块用作自监督训练集；再使用MNMoCo框架训练所有小切块，特征提取模型结构还是ResNet50，开始训练之前加载预先保存训练好的特征提取模型m1；
MNMoCo使用数据增强生成两个增强样本χi和
Figure FDA0003936001990000011
数据增强方法包括对输入图像进行随机裁剪、随机灰度变化、随机颜色扰动、随机高斯模糊和随机翻转；两个增强样本分别经过编码器和动量编码器之后分别得到zi和
Figure FDA0003936001990000012
根据以下公式计算
Figure FDA0003936001990000013
在内存库队列Q的余弦相似度最大的样本特征，得到最近邻样本特征矩阵；
Figure FDA0003936001990000014
根据以下公式与zi以贝塔分布进行权重相加：
Figure FDA0003936001990000021
根据损失函数公式计算损失：
Figure FDA0003936001990000022
其中，τ为温度参数，用于调节模型对困难样本的关注程度；经过对所有小切块进行自监督训练后，得到第二个特征提取模型m2。
4.如权利要求2所述癌症组织病理图像分类方法，其特征在于，所述步骤二中的基于注意力的多实例学习包括：
使用ResNet50卷积神经网络加载特征提取模型m2参数，提取目标数据训练集小切块的特征，作训练集特征zk，使用训练集特征zk和切片级标签训练多实例学习模型；基于在多实例学习框架，CLAM使用注意力池化代替最大池化，利用实例级聚类约束和细化特征空间，并加入基于注意力的特征混合增强；
对特征向量zk降维，如以下公式所示：
Figure FDA0003936001990000023
其中，
Figure FDA0003936001990000024
k表示当前小切块在其所属全切片图像中的序号，hk为zk经过降维后得到的特征向量；
通过以下公式计算第k个切块的注意力得分表示为ak：
Figure FDA0003936001990000025
其中，
Figure FDA0003936001990000026
和
Figure FDA0003936001990000027
均为线性变换矩阵，tanh和sigm均为激活函数；
通过注意力池化计算注意力得分分布hslide，如以下公式所示：
Figure FDA0003936001990000028
hslide通过分类器层和softmax激活函数计算类别概率预测分数Sslide，全切片图像分类使用交叉熵损失函数，计算损失表示为Lslide。
5.如权利要求4所述癌症组织病理图像分类方法，其特征在于，辅助聚类约束用于细化模型学习到的注意力分数两端的特征空间，切块注意力分数按降序排列，取分数最高的8个小切块作为正样本，最低的8个作为负样本，对16个切块分类，辅助聚类损失函数为平滑支持向量机损失，计算损失表示为Lpatch；注意力特征混合增强用于强化注意力分数高的特征样本，构建一个队列大小为30000的内存空间，每一轮多实例学习将注意力分数最高的150个切块样本特征存进队列；采用先进先出策略，最老的150个样本特征排出队列；取注意力分数最高的150个小切块的特征向量fa，到内存库队列找出与这欧氏距离最近的150个切块的特征向量f'a，fa与f'a按一定比例进行权重相加得到fx，与剩下的小切块特征向量重新构成一个完整的全切片特征向量z'k，将z'k进行多实例学习分类，并得到损失Lslide_mix；其中，总损失如以下公式所示：
Ltotal＝c1Lslide+c2Lpatch+c3Lslide_mix；
其中，Ltotal为总损失，Lslide和Lslide_mix为分类任务损失，Lpatch为聚类约束损失，c1，c2和c3为和为一的权重。
6.如权利要求2所述癌症组织病理图像分类方法，其特征在于，所述步骤三中的全切片图像分类包括：
使用全切片图像处理方法处理待测试的全切片图像，再使用特征提取切块特征，最后使用去除辅助聚类约束和特征混合增强的多实例模型聚合切块特征并对待测全切片图像分类。
7.一种应用如权利要求1～6任意一项所述癌症组织病理图像分类方法的癌症组织病理图像分类系统，其特征在于，所述癌症组织病理图像分类系统包括：
自监督预训练模块，用于利用混合最近邻动量对比学习进行自监督预训练；
多实例学习模块，用于进行基于注意力的多实例学习；
全切片图像分类模块，用于利用多实例模型进行全切片图像分类。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1～6任意一项所述癌症组织病理图像分类方法的步骤。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1～6任意一项所述癌症组织病理图像分类方法的步骤。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述癌症组织病理图像分类系统。
CN202211404398.6A 2022-11-10 2022-11-10 癌症组织病理图像分类方法、系统、介质、设备及终端 Pending CN115601602A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211404398.6A CN115601602A (zh) 2022-11-10 2022-11-10 癌症组织病理图像分类方法、系统、介质、设备及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211404398.6A CN115601602A (zh) 2022-11-10 2022-11-10 癌症组织病理图像分类方法、系统、介质、设备及终端

Publications (1)

Publication Number Publication Date
CN115601602A true CN115601602A (zh) 2023-01-13

Family

ID=84852759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211404398.6A Pending CN115601602A (zh) 2022-11-10 2022-11-10 癌症组织病理图像分类方法、系统、介质、设备及终端

Country Status (1)

Country Link
CN (1) CN115601602A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485792A (zh) * 2023-06-16 2023-07-25 中南大学 组织病理学亚型预测方法及成像方法
CN116564534A (zh) * 2023-04-03 2023-08-08 北京林业大学 中医临床数据的多视图聚类方法、装置及电子设备
CN116741347A (zh) * 2023-05-12 2023-09-12 中山大学附属第一医院 一种病理图像patches提取与深度学习建模方法
CN117392468A (zh) * 2023-12-11 2024-01-12 山东大学 基于多示例学习的癌症病理图像分类系统、介质及设备
CN117408997A (zh) * 2023-12-13 2024-01-16 安徽省立医院(中国科学技术大学附属第一医院) 非小细胞肺癌组织学图像egfr基因突变的辅助检测系统
CN116741347B (zh) * 2023-05-12 2024-06-04 中山大学附属第一医院 一种病理图像patches提取与深度学习建模方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116564534A (zh) * 2023-04-03 2023-08-08 北京林业大学 中医临床数据的多视图聚类方法、装置及电子设备
CN116741347A (zh) * 2023-05-12 2023-09-12 中山大学附属第一医院 一种病理图像patches提取与深度学习建模方法
CN116741347B (zh) * 2023-05-12 2024-06-04 中山大学附属第一医院 一种病理图像patches提取与深度学习建模方法
CN116485792A (zh) * 2023-06-16 2023-07-25 中南大学 组织病理学亚型预测方法及成像方法
CN116485792B (zh) * 2023-06-16 2023-09-15 中南大学 组织病理学亚型预测方法及成像方法
CN117392468A (zh) * 2023-12-11 2024-01-12 山东大学 基于多示例学习的癌症病理图像分类系统、介质及设备
CN117392468B (zh) * 2023-12-11 2024-02-13 山东大学 基于多示例学习的癌症病理图像分类系统、介质及设备
CN117408997A (zh) * 2023-12-13 2024-01-16 安徽省立医院(中国科学技术大学附属第一医院) 非小细胞肺癌组织学图像egfr基因突变的辅助检测系统
CN117408997B (zh) * 2023-12-13 2024-03-08 安徽省立医院(中国科学技术大学附属第一医院) 非小细胞肺癌组织学图像egfr基因突变的辅助检测系统

Similar Documents

Publication Publication Date Title
CN110120040B (zh) 切片图像处理方法、装置、计算机设备和存储介质
CN108364006B (zh) 基于多模式深度学习的医学图像分类装置及其构建方法
Kallenberg et al. Unsupervised deep learning applied to breast density segmentation and mammographic risk scoring
CN110490850B (zh) 一种肿块区域检测方法、装置和医学图像处理设备
CN115601602A (zh) 癌症组织病理图像分类方法、系统、介质、设备及终端
US20170249739A1 (en) Computer analysis of mammograms
Pan et al. Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks
Raza et al. Lung-EffNet: Lung cancer classification using EfficientNet from CT-scan images
Alkassar et al. Going deeper: magnification‐invariant approach for breast cancer classification using histopathological images
Sahran et al. Machine learning methods for breast cancer diagnostic
Bozorgpour et al. Multi-scale regional attention deeplab3+: Multiple myeloma plasma cells segmentation in microscopic images
CN114399634B (zh) 基于弱监督学习的三维图像分类方法、系统、设备及介质
CN113177554B (zh) 甲状腺结节识别与分割方法、系统、存储介质及设备
CN114140437A (zh) 一种基于深度学习的眼底硬渗出物分割方法
Chitnis et al. Domain-specific pre-training improves confidence in whole slide image classification
Martos et al. Optimized detection and segmentation of nuclei in gastric cancer images using stain normalization and blurred artifact removal
CN115311491A (zh) 一种基于课程学习及空间注意力的骨折假阳性筛除方法
Folorunso et al. EfficientNets transfer learning strategies for histopathological breast cancer image analysis
Shekerbek et al. APPLICATION OF MATHEMATICAL METHODS AND MACHINE LEARNING ALGORITHMS FOR CLASSIFICATION OF X-RAY IMAGES.
Al-Shouka et al. A Transfer Learning for Intelligent Prediction of Lung Cancer Detection
Kaoungku et al. Colorectal Cancer Histology Image Classification Using Stacked Ensembles
Xu et al. A Tuberculosis Detection Method Using Attention and Sparse R-CNN.
Shaila et al. CNN-LSTM-based deep learning model for early detection of breast cancer
Mohanty et al. Fracture detection from X-ray images using different Machine Learning Techniques
Akram et al. Recognizing Breast Cancer Using Edge-Weighted Texture Features of Histopathology Images.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination