CN117392468A - 基于多示例学习的癌症病理图像分类系统、介质及设备 - Google Patents
基于多示例学习的癌症病理图像分类系统、介质及设备 Download PDFInfo
- Publication number
- CN117392468A CN117392468A CN202311684064.3A CN202311684064A CN117392468A CN 117392468 A CN117392468 A CN 117392468A CN 202311684064 A CN202311684064 A CN 202311684064A CN 117392468 A CN117392468 A CN 117392468A
- Authority
- CN
- China
- Prior art keywords
- patch
- module
- feature
- learning
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 52
- 201000011510 cancer Diseases 0.000 title claims abstract description 47
- 230000007170 pathology Effects 0.000 title claims abstract description 33
- 230000001575 pathological effect Effects 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 40
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000013145 classification model Methods 0.000 claims abstract description 21
- 238000011176 pooling Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 29
- 238000010606 normalization Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004043 dyeing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 210000001519 tissue Anatomy 0.000 description 18
- 210000001165 lymph node Anatomy 0.000 description 16
- 238000000034 method Methods 0.000 description 16
- 238000001574 biopsy Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 206010006187 Breast cancer Diseases 0.000 description 4
- 208000026310 Breast neoplasm Diseases 0.000 description 4
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000013255 MILs Substances 0.000 description 2
- 206010027476 Metastases Diseases 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000009401 metastasis Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002307 prostate Anatomy 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000009607 mammography Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910052750 molybdenum Inorganic materials 0.000 description 1
- 239000011733 molybdenum Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域，提供了基于多示例学习的癌症病理图像分类系统、介质及设备，技术方案为：图像预处理模块，用于对全视野切片切割patch，并对patch进行预处理，得到一组有包分类标签的多示例包组成的训练数据集；特征提取模块，用于通过特征提取网络结构学习训练数据集中patch的深度特征以及训练数据集中多示例包中示例和多示例包的标签之间的映射关系；特征融合模块，用于将每个包中所有patch的特征融合后结合多示例学习池化网络中得到包的预测标签；特征分类模块，用于通过预测信息和对应标签信息的损失值调整分类模型中的参数，得到病理图像分类结果。通过本发明，提高病理图像分类的准确率，减轻医生负担。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及基于多示例学习的癌症病理图像分类系统、介质及设备。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
数字病理学是一个新兴的、快速发展的医学成像领域。例如淋巴结转移发生在大多数癌症类型(如乳腺癌、前列腺癌、结肠癌)。腋下的淋巴结是乳腺癌最容易扩散的部位，淋巴结转移是乳腺癌最重要的预后变量之一。然而，病理学家的诊断过程是冗长和耗时的。在过去的几年中，该领域一直朝着具有强大潜在诊断影响的宏伟目标前进：全切片图像(全自动)分析以检测或分级癌症，预测预后或识别转移。
发明人发现，目前的癌症病理图像分类存在如下技术问题：
目前，使用人工特征提取和传统的机器学习算法，基于人工设计特征的核主成分分析、颜色空间下形状特征和纹理特征、局部二值模式(local binary pattern，LBP)和灰度共生矩阵(gray-level co-occurrence matrix，GLCM)特征等，并结合支持向量机(support vector machine，SVM)和随机森林等分类算法实现癌症病理图像的分类。但是人工特征提取方法需要依赖专家经验，而该领域专家不仅需要工程人员具备丰富的专业领域知识，而且需要耗费大量的时间和精力进行培训，无法快速识别癌症病理组织的问题。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供基于多示例学习的癌症病理图像分类系统、介质及设备，其通过能够快速识别癌症病理组织，提高了病理组织分类的速度和准确性，减轻了医生的负担。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一方面提供基于多示例学习的癌症病理图像分类系统，包括：
图像预处理模块，其用于对癌症病理图像全视野切片切割patch，并对patch进行预处理，得到一组有包分类标签的多示例包组成的训练数据集；
特征提取模块，其用于通过特征提取网络结构学习训练数据集中patch的深度特征以及训练数据集中多示例包中示例和多示例包的标签之间的映射关系；
特征融合模块，其用于将每个包中所有patch的特征融合后结合多示例学习池化网络中得到包的预测标签；
特征分类模块，其用于通过预测信息和对应标签信息的损失值调整分类模型中的参数，得到癌症病理图像分类结果。
作为一种实施方式，所述图像预处理模块包括ROI区域提取模块、切块处理模块、颜色标准化处理模块及图像增强模块；
所述ROI区域提取模块用于产生可输入到分类模型的组织区域；
所述切块处理模块用于产生可直接输入到分类模型中的patch；
所述颜色标准化处理模块用于对切出的patch进行染色归一化；
所述图像增强模块用于对经过颜色标准化处理的patch通过旋转patch分别以预设的角度进行数据增强。
作为一种实施方式，所述系统还包括位置编码模块，所述位置编码模块用于对预处理之后的patch序列添加二维位置信息。
作为一种实施方式，所述系统还包括特征拼接模块和特征压缩模块，其用于将
特征提取得到的特征向量进行有序拼接得到M个特征向量；
所述特征压缩模块用于将得到的M个特征向量输入至多层感知机中，经过降维，得到降维后的特征向量。
作为一种实施方式，特征融合模块中，预测标签的计算公式为：
，/>，其中，/>、/>代表每个patch的特征向量，K表示包中所含patch的数量，/>表示每个patch的注意力权重，反映了patch对最终的包预测贡献的大小，其中，/>为可学习参数，/>表示双曲正切函数。
作为一种实施方式，特征提取模块中，所述特征提取网络结构包括多个卷积层、池化层和通道注意力层，每个通道注意力层分别连接一个卷积层和一个池化层；通过卷积层对patch进行局部感知，从高层次对局部进行综合操作，得到全局信息；通过通道注意力层建模各个特征通道的重要程度，针对性的增强或者抑制不同的特征通道，通过池化层用于对特征降维，压缩数据和参数的数量。
作为一种实施方式，特征分类模块中，采用Focal loss作为网络模型的损失函数：，其中，/>为可调节因子，/>为权重因子，/>反映了与类别的接近程度。
作为一种实施方式，所述系统还包括可视化热图生成模块，所述可视化热图生成模块用于将每个包中patch的注意权重归一化在0到1之间，基于归一化后的注意权重生成热图，其中，注意力权重在阳性区域显示的值大于阴性区域在注意力权重图中显示的值。
本发明的第二方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：
对癌症病理图像全视野切片切割patch，并对patch进行预处理，得到一组有包分类标签的多示例包组成的训练数据集；
通过特征提取网络结构学习训练数据集中patch的深度特征以及训练数据集中多示例包中示例和多示例包的标签之间的映射关系；
将每个包中所有patch的特征融合后结合多示例学习池化网络中得到包的预测标签；
通过预测信息和对应标签信息的损失值调整分类模型中的参数，得到癌症病理图像分类结果。
本发明的第三方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：
对癌症病理图像全视野切片切割patch，并对patch进行预处理，得到一组有包分类标签的多示例包组成的训练数据集；
通过特征提取网络结构学习训练数据集中patch的深度特征以及训练数据集中多示例包中示例和多示例包的标签之间的映射关系；
将每个包中所有patch的特征融合后结合多示例学习池化网络中得到包的预测标签；
通过预测信息和对应标签信息的损失值调整分类模型中的参数，得到癌症病理图像分类结果。
与现有技术相比，本发明的有益效果是：
1、本发明通过特征提取网络结构学习训练数据集中patch的深度特征以及训练数据集中多示例包中示例和多示例包的标签之间的映射关系；将每个包中所有patch的特征融合后结合多示例学习池化网络中得到包的预测标签；通过预测信息和对应标签信息的损失值调整分类模型中的参数，得到病理图像分类结果。
2、本发明能够直接输入全视野切片进行癌症分类，无需进行多步操作，数据处理模块整合到网络模型中，促进了切片识别的便捷性和发明的可实用性；相较于其他的病理识别模型，多分支的特征提取模块还能够快速识别癌症病理组织，基于注意力机制的多示例学习网络能够精准识别病灶区域，提高了病理组织分类的速度和准确性，为医护工作者带来了便利。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例提供的一种病理图像分类模型训练方法的流程示意图；
图2是本发明实施例提供的一种全视野切片预处理流程示意图；
图3是本发明实施例提供的一种病理图像分类网络的结构示意图；
图4是本发明实施例提供的一种病理图像特征提取网络的结构示意图；
图5是本发明实施例提供的一种病理图像多层感知机网络的结构示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
首先，对本公开的实施例中涉及的部分用语进行说明，以便于本领域技术人员理解。
在许多实际应用中观察到多个示例，但是只给出了该类别的一般陈述，这种场景就被称为多示例学习(multi-instance learning，MIL)。
弱注释数据的问题在医学成像中尤其明显，例如计算病理学，乳房x射线或CT肺筛查。MIL的主要目标是学习一种能够预测包标签的模型，比如病理诊断。另一个挑战是发现关键示例，即触发包标签的示例。而弱监督学习(Weakly Supervised Learning)是为了解决标注样本不足而产生的一种机器学习方法。
针对本申请背景技术中提及的是人工特征提取方法需要依赖专家经验，而该领域专家不仅需要工程人员具备丰富的专业领域知识，而且需要耗费大量的时间和精力进行培训，无法快速识别癌症病理组织的问题。
本发明实施例提供了一种基于多示例学习的癌症病理图像分类系统，如图1所示实例训练出的病理图像分类模型对病理图像进行分类，能够快速识别癌症病理组织，提高了病理组织分类的速度和准确性。
实施例一
如图1-图2所示，本实施例提供一种基于多示例学习的癌症病理图像分类系统，包括：
数据获取模块，其用于获取癌症病理图像数据；
图像预处理模块，其用于对全视野切片切割patch，并对patch进行归一化操作得到patch序列；
位置编码模块，其用于对预处理之后的patch序列添加二维位置信息，用于给patch序列添加位置信息，以可视化Whole Slide Image(WSI)热图。
特征提取模块，其用于构建patch的特征提取网络模型架构，训练特征提取网络模型，得到patch的特征向量，通过该特征提取网络模型学习训练数据集中patch的深度特征以及训练数据集中多示例包中示例和多示例包的标签之间的映射关系。
特征拼接模块，其用于将特征提取得到的特征向量进行有序拼接得到M个特征向量，拼接后以实现后续对真包的预测。
特征融合模块，其用于将特征拼接得到的特征向量输入到多示例学习池化网络中从而得到包的预测标签。
为了更清楚地说明本发明的技术方案，下面以淋巴结为例详细说明。
淋巴结转移发生在大多数癌症类型(如乳腺癌、前列腺癌、结肠癌)。腋下的淋巴结是乳腺癌最容易扩散的部位，淋巴结转移是乳腺癌最重要的预后变量之一。临床上，相对于X-ray、钼靶、核磁共振等图像，病理图像是医生最后确诊癌症的重要标准，而对病理图像进行准确地分类是医生制订最佳治疗方案的重要依据。
图像预处理模块中，从淋巴结病理图像数据中获得若干淋巴结活检数字病理图像，提取每张淋巴结活检数字病理图像的组织部分、剔除无效区域，对提取出的图像进行切块处理，对切出的patch进行颜色标准化及数据增强处理，具体包括：
ROI区域提取模块，其用于产生可输入到分类模型的组织区域。从淋巴结病理图像数据库中获得若干淋巴结活检数字病理图像后，通过大津法(Otsu)和质量控制的方法提取每张淋巴结活检数字病理图像的组织区域，并过滤存在笔迹、重叠、污痕、对焦模糊的无效组织区域。其目的是，去除与淋巴结病理图像组织和病变纹理形态无关的无效信息区域，降低模型在定位病理图像畸变区域过程中产生的误差。
具体步骤如下：首先使用自动化Slide分析平台(Automated Slide AnalysisPlatform，ASAP)来可视化注释在全切片组织病理学图像中的癌症转移，提取每张淋巴结活检数字病理图像的组织部分、剔除无效区域，将原始病理图像按照150:1的比例转化为缩略图像；其次在缩略图像上提取病理学图像的ROI区域，将缩略图像转换为色调（H）、饱和度（S）和明度（V）颜色空间，按照Otsu的方法计算每个通道的最佳阈值，最终合并通道H和S的掩码来获得ROI区域。
切块处理模块，其用于产生可直接输入到分类模型中的patch。对经过处理的淋巴结活检数字病理图像，采取同等尺寸下不重叠切块的方式，将亿级像素级别的病理图像转存为224224大小的patch，具体而言：在每张WSI中的ROI区域以20X的分辨率切割得到大约M张(实验中/>)尺寸为224/>224大小不重叠的patch。在CAMELYON16中，将270个WSI分为70%的训练集、20%的验证集以及10%的测试集。
对于含肿瘤切片，根据WSI原图以及xml的标记文件{‘_0’:255,‘_1’:255,‘_2’:0}绘制出肿瘤区域的mask图，根据肿瘤区域占比超过75%标记为tumor patch，否则为normalpatch。
颜色标准化处理模块，其用于对切出的patch进行“vahadane”染色归一化；由于病理图像是人工染色，经常造成染色后切片颜色分布不均，染色归一化作为图像预处理流程可以将颜色纠正到相同的颜色空间，增强训练模型的鲁棒性，同时，也能提升细胞核/质的染色质量。采用开源的python病理图像包pathml中的api接口"vahadane"对病理图像进行染色归一化。使用颜色标准化算法，将与有效的组织相对应的patch映射到相同的色域空间，保证相同的组织结构的patch的素值分布服从正态分布，消除不同采片仪器、染色深浅等不可控差异造成的淋巴结病理图像成像不一致所带来的潜在影响。
图像增强模块，其用于对经过颜色标准化处理的patch可通过旋转patch分别以预设的角度进行数据增强，包括：采用随机图像增强技术，在保证空间平移不变性的基础上，如果包含在一张WSI中的patch数量少于3000个，对经过颜色标准化处理的patch可通过旋转patch分别以90度、180度、270度进行数据增强，从而模仿不同视野下的淋巴结病理图像，保证patch的特征能够充分地被模型所学习提取。
获得的淋巴结活检数字病理图像经过的图像预处理过程后，得到一组有包分类标签的多示例包组成的训练数据集。
其中，每例淋巴结活检数字病理图像视为一个多示例包，每个多示例包含有若干个没有分类标签的示例；若多示例包至少含有一个正示例，则该多示例包被标记为正类多示例包，如果多示例包的所有示例都是负示例，则该多示例包被标记为负类多示例包。
从每个真包抽取patch，并且平均分成N（实验中N=4）个子包，将N个子包序列同时输入到特征提取网络中。子包的标签与真包的标签一致，称为伪包。
需要注意的是，每个真包的patch都是来自于同一个患者，而且训练集、验证集、测试集两两都不会共同存在来自同一个患者的包。
如图3所示，位置编码模块中，首先patch序列经过位置编码模块，引入一定的位置信息，用于给patch序列添加位置信息。经过数据预处理之后的伪包输入到位置编码模块，将位置信息嵌入到位置编码模块中。
对于每个维度的坐标，采用如下带有不同频率的公式表示：，其中，/>，pos表示对应维度中的位置，i表示二维位置编码维度中patch的顺序，j表示是奇数还是偶数。
特征提取模块：用于提取各个patch的深层特征。经过位置编码之后的伪包同时输入到带有SE-net（通道注意力机制）的VGG16网络(全连接之前的VGG16网络)，得到M/N个5127/>7大小的特征向量，实现维度降低并自动提取patch的深度特征。通过该方法学习训练数据集中多示例包中示例和包的标签之间的映射关系。
如图4所示，该病理图像分类模型的特征提取方法，用于提取各个patch的深层特征。具体包括以下步骤：经过数据预处理之后的伪包同时输入到带有通道注意力机制的VGG16网络。特征提取网络结构由5个卷积层、5个池化层、5个通道注意力层构成。其中，一个卷积层由卷积计算、激活函数构成。卷积层的作用是对patch的局部感知，更高层次对局部进行综合操作，从而得到全局信息。一个池化层由一个二维的最大池化组成。池化层的作用是特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。通道注意力层的作用是通过建模各个特征通道的重要程度，针对性的增强或者抑制不同的特征通道。经过特征提取网络之后得到M/N个5127/>7大小的特征向量。
特征拼接模块中，将特征提取后的特征向量有序拼接得到M个5127/>7大小的特征向量，拼接后以实现后续对真包的预测；
特征压缩模块，其用于压缩各个patch的特征以便直接输入到特征融合注意力网络中。将所得到的特征向量首先输入到多层感知机中，实现特征向量的降维，得到512维特征向量，多层感知机由3层全连接层组成。选用VGG16预训练模型作为特征提取网络，修改后面的全连接网络作为多层感知机结构，减少隐藏层个数以降低模型复杂度。
图5示出了本发明实施例提供的一种病理图像多层感知机网络的结构示意图，具体包括以下步骤：
该病理图像分类模型的多层感知机网络方法用于获取各个病理图像包的预测分数，也即注意力权重。多层感知机网络包括三个全连接层和两个层归一化。全连接层的作用是使用到“迁移学习”的思想，并且保持模型的复杂度，同时降低特征的维度以便直接输入到特征融合注意力网络中。层归一化的作用是使得每一个神经层的输入分布在训练过程要保持一致。经过多层感知机网络输出为长度为512维的特征向量，最后输入到基于注意力的多示例学习（Attention-based deep multiple instance learning，AB-MIL）网络中预测包的标签。
特征融合模块用于融合每个包中所有patch的特征，输出最终包的预测概率。
特征融合中，将所得到的特征向量首先输入到多层感知机中，实现特征向量的降维，得到512维特征向量，多层感知机由3层全连接层组成。
再将特征向量输入到基于注意力的多示例学习（AB-MIL）网络中实现特征向量的特征融合表示，假设包表示为：，其中，/>代表每个patch的特征向量，每个patch的注意力权重可以写成：
，其中，/>、/>代表每个patch的特征向量，K表示包中所含patch的数量，/>表示每个patch的注意力权重，反映了patch对最终的包预测贡献的大小，/>为可学习参数，/>表示双曲正切函数。
然后基于注意力的多示例学习网络通过融合多个patch的特征，将上式求得的注意力分数和patch的特征向量/>代入到计算包表示z的式子中进而输出包的预测标签。
由于该模型是基于embedding进行多示例学习的网络模型，准确率相比于基于patch的模型更高一些。
选用Focal loss作为网络模型的损失函数，主要解决了因数据不平衡而导致的分类不准确的现象。Focal loss 公式如下所示：，其中，/>为可调节因子，取值/>，实验表明/>效果较好。参数/>，对于类别1来说，权重因子为/>（实验中/>）。/>反映了与真实类别标签的接近程度，/>越大说明越接近于真实的类别标签，分类越准确。
patch的注意力权重公式求得的注意力分数可视化为WSI热图值。将每个包中patch的注意权重归一化在0到1之间，依次输出生成蓝到红(0到1)热图。注意力权重在阳性区域显示出更高的值，阴性区域在注意力权重图中显示低值，用于解释诊断的重要形态学。
对于所有的实验，ROC曲线下面积(AUC)是报告的主要性能指标，因为它更全面，对类别不平衡不敏感。此外，还需要考虑slide的准确率(Acc)和F1分数。
本发明实施例通过训练得到病理图像分类模型，能够快速识别癌症病理组织，并对癌症病理组织进行分类。
在本发明的一个实施例中，分类后的结果可以为良性肿瘤、恶性肿瘤等。
实施例二
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：
对癌症病理图像全视野切片切割patch，并对patch进行预处理，得到一组有包分类标签的多示例包组成的训练数据集；
通过特征提取网络结构学习训练数据集中patch的深度特征以及训练数据集中多示例包中示例和多示例包的标签之间的映射关系；
将每个包中所有patch的特征融合后结合多示例学习池化网络中得到包的预测标签；
通过预测信息和对应标签信息的损失值调整分类模型中的参数，得到癌症病理图像分类结果。
实施例三
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：
对癌症病理图像全视野切片切割patch，并对patch进行预处理，得到一组有包分类标签的多示例包组成的训练数据集；
通过特征提取网络结构学习训练数据集中patch的深度特征以及训练数据集中多示例包中示例和多示例包的标签之间的映射关系；
将每个包中所有patch的特征融合后结合多示例学习池化网络中得到包的预测标签；
通过预测信息和对应标签信息的损失值调整分类模型中的参数，得到癌症病理图像分类结果。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于多示例学习的癌症病理图像分类系统，其特征在于，包括：
图像预处理模块，用于对癌症病理图像全视野切片切割patch，并对patch进行预处理，得到一组有包分类标签的多示例包组成的训练数据集；
特征提取模块，用于通过特征提取网络结构学习训练数据集中patch的深度特征以及训练数据集中多示例包中示例和多示例包的标签之间的映射关系；
特征融合模块，用于将每个包中所有patch的特征融合后结合多示例学习池化网络中得到包的预测标签；
特征分类模块，用于通过预测信息和对应标签信息的损失值调整分类模型中的参数，得到癌症病理图像分类结果。
2.如权利要求1所述的基于多示例学习的癌症病理图像分类系统，其特征在于，所述图像预处理模块包括ROI区域提取模块、切块处理模块、颜色标准化处理模块及图像增强模块；
所述ROI区域提取模块用于产生可输入到分类模型的组织区域；
所述切块处理模块用于产生可直接输入到分类模型中的patch；
所述颜色标准化处理模块用于对切出的patch进行染色归一化；
所述图像增强模块用于对经过颜色标准化处理的patch通过旋转patch分别以预设的角度进行数据增强。
3.如权利要求1所述的基于多示例学习的癌症病理图像分类系统，其特征在于，所述系统还包括位置编码模块，所述位置编码模块用于对预处理之后的patch序列添加二维位置信息。
4.如权利要求1所述的基于多示例学习的癌症病理图像分类系统，其特征在于，所述系统还包括特征拼接模块和特征压缩模块，其用于将特征提取得到的特征向量进行有序拼接得到M个特征向量；
所述特征压缩模块用于将得到的M个特征向量输入至多层感知机中，经过降维，得到降维后的特征向量。
5.如权利要求1所述的基于多示例学习的癌症病理图像分类系统，其特征在于，特征融合模块中，预测标签的计算公式为：
，
，
其中，、/>代表每个patch的特征向量，K表示包中所含patch的数量，/>表示每个patch的注意力权重，反映了patch对最终的包预测贡献的大小，/>为可学习参数，表示双曲正切函数。
6.如权利要求1所述的基于多示例学习的癌症病理图像分类系统，其特征在于，特征提取模块中，所述特征提取网络结构包括多个卷积层、池化层和通道注意力层，每个通道注意力层分别连接一个卷积层和一个池化层；
通过卷积层对patch进行局部感知，从高层次对局部进行综合操作，得到全局信息；通过通道注意力层建模各个特征通道的重要程度，针对性的增强或者抑制不同的特征通道，通过池化层用于对特征降维，压缩数据和参数的数量。
7.如权利要求1所述的基于多示例学习的癌症病理图像分类系统，其特征在于，特征分类模块中，采用Focal loss作为网络模型的损失函数：
，
其中，为可调节因子，/>为权重因子，/>反映了与类别的接近程度。
8.如权利要求1所述的基于多示例学习的癌症病理图像分类系统，其特征在于，所述系统还包括可视化热图生成模块，所述可视化热图生成模块用于将每个包中patch的注意权重归一化在0到1之间，基于归一化后的注意权重生成热图，其中，注意力权重在阳性区域显示的值大于阴性区域在注意力权重图中显示的值。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如下步骤：
对癌症病理图像全视野切片切割patch，并对patch进行预处理，得到一组有包分类标签的多示例包组成的训练数据集；
通过特征提取网络结构学习训练数据集中patch的深度特征以及训练数据集中多示例包中示例和多示例包的标签之间的映射关系；
将每个包中所有patch的特征融合后结合多示例学习池化网络中得到包的预测标签；
通过预测信息和对应标签信息的损失值调整分类模型中的参数，得到癌症病理图像分类结果。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如下步骤：
对癌症病理图像全视野切片切割patch，并对patch进行预处理，得到一组有包分类标签的多示例包组成的训练数据集；
通过特征提取网络结构学习训练数据集中patch的深度特征以及训练数据集中多示例包中示例和多示例包的标签之间的映射关系；
将每个包中所有patch的特征融合后结合多示例学习池化网络中得到包的预测标签；
通过预测信息和对应标签信息的损失值调整分类模型中的参数，得到癌症病理图像分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311684064.3A CN117392468B (zh) | 2023-12-11 | 2023-12-11 | 基于多示例学习的癌症病理图像分类系统、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311684064.3A CN117392468B (zh) | 2023-12-11 | 2023-12-11 | 基于多示例学习的癌症病理图像分类系统、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117392468A true CN117392468A (zh) | 2024-01-12 |
| CN117392468B CN117392468B (zh) | 2024-02-13 |
Family
ID=89463445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311684064.3A Active CN117392468B (zh) | 2023-12-11 | 2023-12-11 | 基于多示例学习的癌症病理图像分类系统、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117392468B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018222755A1 (en) * | 2017-05-30 | 2018-12-06 | Arterys Inc. | Automated lesion detection, segmentation, and longitudinal identification |
| US20190122073A1 (en) * | 2017-10-23 | 2019-04-25 | The Charles Stark Draper Laboratory, Inc. | System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture |
| KR20200043297A (ko) * | 2018-10-17 | 2020-04-27 | 한양대학교 산학협력단 | 인간 만능 줄기세포로부터 제작된 3d 오가노이드를 해체하여 세포를 다량 확보하는 분화방법 |
| CA3138679A1 (en) * | 2019-04-30 | 2020-11-05 | The Trustees Of Dartmouth College | System and method for attention-based classification of high-resolution microscopy images |
| CN111985536A (zh) * | 2020-07-17 | 2020-11-24 | 万达信息股份有限公司 | 一种基于弱监督学习的胃镜病理图像分类方法 |
| US20210056287A1 (en) * | 2019-08-23 | 2021-02-25 | Memorial Sloan Kettering Cancer Center | Identifying regions of interest from whole slide images |
| CN112529042A (zh) * | 2020-11-18 | 2021-03-19 | 南京航空航天大学 | 一种基于双重注意力多示例深度学习的医学图像分类方法 |
| WO2021133954A1 (en) * | 2019-12-23 | 2021-07-01 | DeepHealth, Inc. | Systems and methods for analyzing two-dimensional and three-dimensional image data |
| WO2021179484A1 (zh) * | 2020-03-09 | 2021-09-16 | 平安科技（深圳）有限公司 | 多标签多示例的图像检测方法、装置、设备及存储介质 |
| CN115082743A (zh) * | 2022-08-16 | 2022-09-20 | 之江实验室 | 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法 |
| CN115601602A (zh) * | 2022-11-10 | 2023-01-13 | 云南大学（Cn） | 癌症组织病理图像分类方法、系统、介质、设备及终端 |
| KR20230063147A (ko) * | 2021-11-01 | 2023-05-09 | 인제대학교 산학협력단 | 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템 |
| WO2023078041A1 (zh) * | 2021-11-03 | 2023-05-11 | 浙江大学 | 基于自适应比例学习的肿瘤组织病理分类系统及方法 |
| CN116524226A (zh) * | 2023-02-22 | 2023-08-01 | 太原理工大学 | 一种基于深度学习的乳腺癌病理图像分类装置及方法 |
| CN116884597A (zh) * | 2023-06-14 | 2023-10-13 | 中国科学院计算技术研究所 | 基于自监督预训练和多示例学习的病理图像乳腺癌分子分型方法及系统 |
| CN117152554A (zh) * | 2023-08-02 | 2023-12-01 | 吾征智能技术(北京)有限公司 | 基于ViT模型的病理切片数据识别方法及系统 |
-
2023
- 2023-12-11 CN CN202311684064.3A patent/CN117392468B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018222755A1 (en) * | 2017-05-30 | 2018-12-06 | Arterys Inc. | Automated lesion detection, segmentation, and longitudinal identification |
| US20190122073A1 (en) * | 2017-10-23 | 2019-04-25 | The Charles Stark Draper Laboratory, Inc. | System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture |
| KR20200043297A (ko) * | 2018-10-17 | 2020-04-27 | 한양대학교 산학협력단 | 인간 만능 줄기세포로부터 제작된 3d 오가노이드를 해체하여 세포를 다량 확보하는 분화방법 |
| CA3138679A1 (en) * | 2019-04-30 | 2020-11-05 | The Trustees Of Dartmouth College | System and method for attention-based classification of high-resolution microscopy images |
| US20210056287A1 (en) * | 2019-08-23 | 2021-02-25 | Memorial Sloan Kettering Cancer Center | Identifying regions of interest from whole slide images |
| WO2021133954A1 (en) * | 2019-12-23 | 2021-07-01 | DeepHealth, Inc. | Systems and methods for analyzing two-dimensional and three-dimensional image data |
| WO2021179484A1 (zh) * | 2020-03-09 | 2021-09-16 | 平安科技（深圳）有限公司 | 多标签多示例的图像检测方法、装置、设备及存储介质 |
| CN111985536A (zh) * | 2020-07-17 | 2020-11-24 | 万达信息股份有限公司 | 一种基于弱监督学习的胃镜病理图像分类方法 |
| CN112529042A (zh) * | 2020-11-18 | 2021-03-19 | 南京航空航天大学 | 一种基于双重注意力多示例深度学习的医学图像分类方法 |
| KR20230063147A (ko) * | 2021-11-01 | 2023-05-09 | 인제대학교 산학협력단 | 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템 |
| WO2023078041A1 (zh) * | 2021-11-03 | 2023-05-11 | 浙江大学 | 基于自适应比例学习的肿瘤组织病理分类系统及方法 |
| CN115082743A (zh) * | 2022-08-16 | 2022-09-20 | 之江实验室 | 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法 |
| JP7312510B1 (ja) * | 2022-08-16 | 2023-07-21 | 之江実験室 | 腫瘍微小環境を考慮した全スライド病理画像分類システム及び構築方法 |
| CN115601602A (zh) * | 2022-11-10 | 2023-01-13 | 云南大学（Cn） | 癌症组织病理图像分类方法、系统、介质、设备及终端 |
| CN116524226A (zh) * | 2023-02-22 | 2023-08-01 | 太原理工大学 | 一种基于深度学习的乳腺癌病理图像分类装置及方法 |
| CN116884597A (zh) * | 2023-06-14 | 2023-10-13 | 中国科学院计算技术研究所 | 基于自监督预训练和多示例学习的病理图像乳腺癌分子分型方法及系统 |
| CN117152554A (zh) * | 2023-08-02 | 2023-12-01 | 吾征智能技术(北京)有限公司 | 基于ViT模型的病理切片数据识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 田娟秀;刘国才;谷珊珊;鞠忠建;刘劲光;顾冬冬;: "医学图像分析深度学习方法研究与挑战", 自动化学报, no. 03 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117392468B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统 | |
| Roth et al. | A new 2.5 D representation for lymph node detection using random sets of deep convolutional neural network observations | |
| CN111325739B (zh) | 肺部病灶检测的方法及装置，和图像检测模型的训练方法 | |
| Li et al. | A multi-scale u-net for semantic segmentation of histological images from radical prostatectomies | |
| US20230005140A1 (en) | Automated detection of tumors based on image processing | |
| CN106023151A (zh) | 一种开放环境下中医舌象目标检测方法 | |
| CN110570419A (zh) | 特征信息的获取方法、装置和存储介质 | |
| Santos et al. | A new approach for fundus lesions instance segmentation based on mask r-cnn x101-fpn pre-trained architecture | |
| Wang et al. | Optic disc detection based on fully convolutional neural network and structured matrix decomposition | |
| Alias et al. | Improvement method for cervical cancer detection: A comparative analysis | |
| CN117392468B (zh) | 基于多示例学习的癌症病理图像分类系统、介质及设备 | |
| CN111062909A (zh) | 乳腺肿块良恶性判断方法及设备 | |
| Hu et al. | Bleeding and tumor detection for capsule endoscopy images using improved geometric feature | |
| CN112862786B (zh) | Cta影像数据处理方法、装置及存储介质 | |
| Liu | A novel implementation of machine learning for the efficient, explainable diagnosis of COVID-19 from chest CT | |
| Zhao et al. | Data augmentation for medical image analysis | |
| CN112862787A (zh) | Cta影像数据处理方法、装置及存储介质 | |
| CN112862785A (zh) | Cta影像数据识别方法、装置及存储介质 | |
| Hage Chehade et al. | A Systematic Review: Classification of Lung Diseases from Chest X-Ray Images Using Deep Learning Algorithms | |
| Jones | Developing Novel Computer Aided Diagnosis Schemes for Improved Classification of Mammography Detected Masses | |
| Muñoz-Chavez et al. | Detection of Breast Cancer in Mammography Using Pretrained Convolutional Neural Networks with Fine-Tuning | |
| Zhang et al. | MoSID: Modality-specific information disentanglement from multi-parametric MRI for breast tumor segmentation | |
| CN117893792B (zh) | 一种基于mr信号的膀胱肿瘤分类方法及相关装置 | |
| Zhou | Data Augmentation Strategies For Cervical Histopathology Image Classification | |
| Chilukuri | Detect nuclei and segment nuclei and cytoplasm in cervical cytology images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |