CN113723573A - 基于自适应比例学习的肿瘤组织病理分类系统及方法 - Google Patents
基于自适应比例学习的肿瘤组织病理分类系统及方法 Download PDFInfo
- Publication number
- CN113723573A CN113723573A CN202111291695.XA CN202111291695A CN113723573A CN 113723573 A CN113723573 A CN 113723573A CN 202111291695 A CN202111291695 A CN 202111291695A CN 113723573 A CN113723573 A CN 113723573A
- Authority
- CN
- China
- Prior art keywords
- proportion
- image
- training
- pathological
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 88
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 98
- 230000006870 function Effects 0.000 claims abstract description 66
- 230000010354 integration Effects 0.000 claims abstract description 36
- 238000002372 labelling Methods 0.000 claims abstract description 14
- 238000009826 distribution Methods 0.000 claims abstract description 13
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000003062 neural network model Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 230000007170 pathology Effects 0.000 claims description 5
- 230000008520 organization Effects 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 230000003321 amplification Effects 0.000 abstract description 9
- 238000001514 detection method Methods 0.000 abstract description 5
- 239000002689 soil Substances 0.000 abstract description 3
- 230000004069 differentiation Effects 0.000 description 22
- 208000009956 adenocarcinoma Diseases 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 4
- 206010041823 squamous cell carcinoma Diseases 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000004185 liver Anatomy 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 206010073071 hepatocellular carcinoma Diseases 0.000 description 2
- 231100000844 hepatocellular carcinoma Toxicity 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000004881 tumor cell Anatomy 0.000 description 2
- 206010001197 Adenocarcinoma of the cervix Diseases 0.000 description 1
- 208000034246 Adenocarcinoma of the cervix uteri Diseases 0.000 description 1
- 208000036764 Adenocarcinoma of the esophagus Diseases 0.000 description 1
- 206010030137 Oesophageal adenocarcinoma Diseases 0.000 description 1
- 206010061902 Pancreatic neoplasm Diseases 0.000 description 1
- 208000037323 Rare tumor Diseases 0.000 description 1
- 206010038019 Rectal adenocarcinoma Diseases 0.000 description 1
- 206010039491 Sarcoma Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000024245 cell differentiation Effects 0.000 description 1
- 201000006662 cervical adenocarcinoma Diseases 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 201000010897 colon adenocarcinoma Diseases 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000002249 digestive system Anatomy 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000013020 embryo development Effects 0.000 description 1
- 208000028653 esophageal adenocarcinoma Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 201000006585 gastric adenocarcinoma Diseases 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 210000005229 liver cell Anatomy 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000000955 neuroendocrine Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 101150050759 outI gene Proteins 0.000 description 1
- 201000002528 pancreatic cancer Diseases 0.000 description 1
- 208000008443 pancreatic carcinoma Diseases 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 201000001281 rectum adenocarcinoma Diseases 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自适应比例学习的肿瘤组织病理分类系统及方法,本发明首先获取若干病理切片并进行数字化扫描,将扫描后的病理图像按照分类任务目标类别进行人工标注,构建数据集;然后利用RGB通道和灰度值的差值分布特征分割组织前景,构建包含多级放大倍数的图像块的训练数据组;最后进行多级放大倍数整合,组合了各级放大倍数和整合放大倍数的交叉墒函数形成损失函数,实现多放大倍数整合学习;通过自适应比例学习,对图像全局比例标签和未达到最低比例的图像块训练权重的动态调整,扩大数据利用率,实现快速收敛。本发明在日常肿瘤组织的病理检查中,在尽可能低地增加额外工作负担的基础上,最大限度地提升检出率。
Description
技术领域
本发明涉及医疗图像处理及机器学习领域,尤其涉及一种基于自适应比例学习的肿瘤组织病理分类系统及方法。
背景技术
病理检查作为癌症诊疗的第一步,提供的组织病理信息对于癌症患者病情判断至关重要。但由于病理医生缺口大,较多的病理指标无法在日常病理检查中得到完整详细的调查,一些罕见的肿瘤分化如果未被病理医生识别则仅报告为中分化或低分化。胚胎发育来源接近的消化系统中,肝脏以外的器官肿瘤也有可能出现肝样分化,没有鳞状上皮分布但也可能出现鳞状细胞癌分化,以及较为常见的神经内分泌分化等等,这些类别分化的出现可能会影响患者预后。现有的病理报告中对相关类型分化的描述缺失,不利于精准的个性化医疗的开展,因此需要额外的识别方法或工具对其进行识别,有效补充病理报告。
现有方案包括两类,一类是人工阅片,一类是机器阅片。人工阅片,即由医生对病理样本制片染色后的切片图像进行检查,根据细胞分化形态将肿瘤细胞分为高、中、低等不同分化等级,以及根据细胞间的组织形态分为腺体状、巢状、实性片状等生长模式。但在病理检查采样多、病理图像尺寸大的客观条件下,病理医生无法完成不遗漏每一区域的详尽检查,容易遗漏一些罕见但倾略性较高的分化亚型。
机器阅片即利用机器学习算法(包括深度学习模型在内)根据病理图像特征与图像标签进行模型训练,当模型测试的准确性达到一定程度时可应用于病理特征识别。模型训练多采用监督学习的方式,即每一个训练最小单位都需要有类标签,为达到较高的识别准确率则需要大量的训练数据及标签,标注成本过高。目前针对是否为癌的分类模型较为常见,利用多示例学习可以有效降低标签成本,同时大规模的弱监督学习可以提升识别准确性。比例标签学习则利用数据包内类别所占比例进行机器学习,但在病理图像领域,精确的比例标签的获取成本约等同于监督学习,失去了弱监督学习低标签成本的优势。现有技术有如下缺点:
1. 人工阅片耗时耗力,且存在个体间和个体内的差异性,难以覆盖整张病理切片,无法获取较细粒度的分化差异;
2. 由于样本制备、染色标准、扫描设备的不同,数字病理切片图像的数据质量差异较大,且易存在包括笔迹、边缘伪影在内的非实质组织区域,在去除这些质量问题前不适合模型训练与直接应用,在进行自动化识别前应进行质量控制,保证数据质量;
3. 现有机器学习方法标注成本过高:监督学习需要大量像素级别或图像块级别的标注标签;多示例学习难有绝对的完全标签,且训练约束太少,模型效果不佳;全尺寸病理图像的客观比例标签获取成本同监督学习。
4. 现有模型通常仅用单一放大倍数或不规定放大倍数进行建模,而绝大多数肿瘤分化需要综合不同放大倍数的形态特征以得到准确判断。
发明内容
本发明目的在于针对现有技术的不足,提出一种基于自适应比例学习的肿瘤组织病理分类系统及方法。
本发明的目的是通过以下技术方案来实现的:一种基于自适应比例学习的肿瘤组织病理分类系统,该系统包括比例标签标注模块、前景分割与图像块定位模块和自适应多放大倍数整合比例学习模块;
所述比例标签标注模块获取若干肿瘤组织病理切片并进行数字化扫描,将扫描后的病理图像按照分类任务目标类别进行人工标注,构建数据集;
所述前景分割与图像块定位模块将病理图像在不同的放大倍数下,根据设定的目标图像块重叠率计算病理图像的缩略图尺寸并利用缩略图的RGB通道和灰度值的差值分布特征分割肿瘤组织前景,去除肿瘤组织背景,缩略图中每个像素点对应一个图像块;
所述自适应多放大倍数整合比例学习模块通过神经网络模型计算数据集中分割后的图像块在不同放大倍数下属于各个分类任务目标类别的概率,得到病理图像含有各个分类任务目标类别的比例,作为计算比例,对于每个分类任务目标类别,分别将计算的不同放大倍数下概率最小值与不同放大倍数下概率最大值的二分之一进行比较,取其中较大值作为图像块在该分类任务目标类别下的整合概率;将所有图像块同一类别下的整合概率进行降序排列,根据标注的比例阈值,选择训练图像块,并对每个训练图像块赋值类别标签;根据标注的比例阈值与计算比例的差值,对于病理图像中处于计算比例与比例阈值之间的训练图像块给予更高的训练权重,权重与差值呈正比,进行自适应权重赋值;使用权重调整后的训练图像块训练神经网络,损失函数为各级放大倍数损失函数项、整合损失函数项及比例拟合损失函数项之和,其中比例拟合损失函数项为若分类任务目标类别的计算比例低于比例阈值,则比例阈值与计算比例的差值作为比例拟合损失函数项,若计算比例大于等于比例阈值,则损失函数中比例拟合损失函数项为零,并根据训练结果调整比例阈值对模型迭代训练,通过训练好的神经网络模型计算病理图像含有各个分类任务目标类别的比例。
进一步地,所述前景分割与图像块定位模块计算病理图像的缩略图尺寸具体过程
如下:记目标图像块尺寸为,为像素,目标图像块分辨率
为,目标图像块重叠率为,对原始尺寸为,原始分辨率
为的病理图像进行目标缩略图获取,和分别为原始病理图
像尺寸的宽和高,则目标缩略图的宽和高尺寸分别为:
进一步地,所述前景分割与图像块定位模块利用缩略图的RGB通道和灰度值的差
值分布特征分割肿瘤组织前景具体过程如下:提取缩略图红、绿、蓝通道值
以及灰度图值,计算这五种差值密度分
布的分割阈值;若缩略图上的一像素点超过上述五个分割阈值的数量大于等于3,则该像素
点对应的图像块被视为组织前景,否则,该像素点对应的图像块作为背景剔除。
进一步地,所述损失函数中各级放大倍数损失函数项如下:
其中,表示不同的放大倍数,为第k类计算比例中的训练图像块的训练权
重,为处于计算比例和比例阈值之间的训练图像块的训练权重;,为第k类
训练图像块的集合,为第k类中第j个图像块的整合概率,为第k类中第j个图像块的标
签;为图像块在各放大倍数下归类为第k类的概率;为第i个病理图像中前景图像块
的数量。
进一步地,所述损失函数中比例拟合损失函数项为根据去除背景图像块后的病理
图像中的训练图像块数量,通过随机升采样或者随机降采样,使得一个训练批次中的训练
图像块均来自同一张病理图像:比例拟合损失函数项定义为:
进一步地,所述自适应多放大倍数整合比例学习模块根据神经网络训练结果调整比例阈值具体公式如下:
进一步地,训练图像块的具体选择过程如下:根据分类任务目标类别中的第k类对
应多放大倍数整合概率进行降序排列,得,此时对应的图像块在第k类
中概率最高,对应的图像块在第k类中概率最低;对于病理图像中归类为第k类的图像
块,根据标注的比例阈值,选择在比例阈值内的图像块作为训练图像块:
本发明还提供了一种基于自适应比例学习的肿瘤组织病理分类方法,该方法包括如下步骤:
步骤1:获取若干肿瘤组织病理切片并进行数字化扫描,将扫描后的病理图像按照分类任务目标类别进行人工标注,构建数据集;
步骤2:将病理图像在不同的放大倍数下,根据设定的目标图像块重叠率计算病理图像的缩略图尺寸并利用缩略图的RGB通道和灰度值的差值分布特征分割肿瘤组织前景,去除肿瘤组织背景,对缩略图进行像素级分割,每个像素点对应一个图像块;
步骤3:通过神经网络模型计算数据集中分割后的图像块在不同放大倍数下属于各个分类任务目标类别的概率,得到病理图像含有各个分类任务目标类别的比例,作为计算比例;
步骤4:对于每个分类任务目标类别,分别将计算的不同放大倍数下概率最小值与不同放大倍数下概率最大值的二分之一进行比较,取其中较大值作为图像块在该分类任务目标类别下的整合概率;将所有图像块同一类别下的整合概率进行降序排列,根据标注的比例阈值,选择训练图像块,并对每个训练图像块赋值类别标签;
步骤5:根据标注的比例阈值与计算比例的差值,对于病理图像中处于计算比例与比例阈值之间的训练图像块给予更高的训练权重,权重与差值呈正比,进行自适应权重赋值;使用权重调整后的训练图像块训练神经网络,损失函数为各级放大倍数损失函数项、整合损失函数项及比例拟合损失函数项之和,其中比例拟合损失函数项为若分类任务目标类别的计算比例低于比例阈值,则比例阈值与计算比例的差值作为比例拟合损失函数项,若计算比例大于等于比例阈值,则损失函数中比例拟合损失函数项为零;
步骤6:根据训练结果调整比例阈值对模型迭代训练,通过训练好的神经网络模型计算病理图像含有各个分类任务目标类别的比例。
本发明的有益效果:本发明通过比例标签的标定标准,以明确最低比例为标注体系进行图像比例标签的标注,降低标注成本和对标注精度的要求,扩大数据利用率;通过有效前景组织的快速提取,完成多放大倍数图像块预分割与坐标定位;最后通过自适应比例学习,提升数据利用率和训练效率;并且通过多放大倍数整合训练,提高识别准确率。本发明在日常肿瘤组织的病理检查中,在尽可能低地增加额外工作负担的基础上,最大限度地提升检出率。
附图说明
图1为本发明基于自适应比例学习的肿瘤组织病理分类的流程示意图;
图2为本发明比例标签标定示意图;
图3为本发明图像前景分割结果示例图。
具体实施方式
以下结合附图对本发明具体实施方式作进一步详细说明。
如图1所示,本发明提供的一种基于自适应比例学习的肿瘤组织病理分类系统,该系统包括比例标签标注模块、前景分割与图像块定位模块和自适应多放大倍数整合比例学习模块;
所述比例标签标注模块获取若干肿瘤组织病理切片并进行数字化扫描,将扫描后的病理图像按照分类任务目标类别进行人工标注,构建数据集;具体过程如下
总数据集记为,共包含n张经苏木精—伊红染色法 ( hematoxylin-eosin,HE)
获得的肿瘤组织病理切片的全尺寸数字化扫描图像(Whole Slide Image, WSI),即。分类任务目标类别共计C类,针对每张病理图像,构建比例标签向
量为
其中,为第i个样本图像中第k类的比例阈值,且满足。比例阈值指
人工粗略估计时的比例范围的最低值。假设中第k类面积占比主观估计约占50%,不经过
详细勾画计算比例无法确定是48%或54%或是客观确定值,但大致在40-60%之间,则标定
为之内的任意数值均可,设定比例阈值为40%。
所述前景分割与图像块定位模块将计算病理图像的缩略图尺寸并将缩略图分割出肿瘤组织前景,去除肿瘤组织背景,缩略图中每个像素点对应一个图像块;具体过程如下:
为得到不同放大倍数(op)下的图像块坐标,以20X放大倍数为基础,进行不同放大
倍数的图像块分割。当放大倍数为20X时,目标图像块分辨率,记目标
图像块尺寸为,为像素,目标图像块重叠率为,对原始
尺寸为,原始分辨率为的病理图像进行目标缩略图获
取,和分别为原始病理图像尺寸的宽和高,则目标缩略图的宽和高尺寸分别为:
其中,mod表示取余数。目标缩略图中每一个像素点对应一个20X放大倍数下的训练图像块,图像块的尺寸为:
利用RGB通道和灰度值的差值分布特征分割组织前景,去除肿瘤组织背景,对缩略
图进行像素级分割,每个像素点对应一个图像块;具体过程如下:提取该缩略图的红(
)、绿()、蓝()通道值以及灰度图值()。依据Otsu阈值分割算法,分别计算这五种差值密度分
布的分割阈值,若该缩略图上的第m个像素点通过上述5个分割阈值的数量大于等
于3,则该像素点对应的图像块被视为组织前景,该图像块的坐标左上角为;否则,该像素点对应的图像块作为背景剔除。如图3
所示,经过前景分割后,图像上的各轮廓与无效背景得以识别,仅保留前景组织(图3中最右
侧图的非白色区域)。
所述自适应多放大倍数整合比例学习模块组合了各级放大倍数和整合放大倍数的交叉墒函数形成损失函数,实现多放大倍数整合学习;通过自适应比例学习,自适应的动态调整图像块训练权重,并对神经网络进行迭代训练;具体过程如下:
B.整合概率计算:由各级放大倍数概率可计算其在第k类上的多放大倍数整合概率为
E.整合损失函数:整合损失函数项定义为:
G.比例拟合损失函数:通过随机升采样(若中训练图像块数量小于单训练批次
训练图像块数量)或者降采样(若中训练图像块数量大于单训练批次训练图像块数量),
使得一个训练批次中的训练图像块均来自,第k的组织比例若低于比例标签,则有比例拟
合损失函数项定义为:
H.比例标签动态更新:由于人工标记的比例标签纪录的明确最低比例,并不等同
于客观比例。因此在训练迭代模型参数前的样本赋予标签步骤中,根据前一次模型计算的
各类组织比例小幅度调整比例标签,调整率根据实验选择,本发明中设置为,进行
自适应比例标签调整,以公式(8)中的更新公式(3)、(6)、(7)中的。
应用在肿瘤组织病理分类问题时,高于分类阈值(一般定为0.5)则分类至第k类
分化,若WSI中含有至少一个图像块分类为该类分化,则判断该组织具有该类分化。应用在
肿瘤组织病理分类量化问题时, WSI含有第k类分化的比例为。
本发明还提供了一种基于自适应比例学习的肿瘤组织病理分类方法,其特征在于,该方法包括如下步骤:
步骤1:获取若干肿瘤组织病理切片并进行数字化扫描,将扫描后的病理图像按照分类任务目标类别进行人工标注,构建数据集;该步骤具体参考比例标签标注模块的实现过程;
步骤2:将病理图像在不同的放大倍数下,根据设定的目标图像块重叠率计算病理图像的缩略图尺寸并利用缩略图的RGB通道和灰度值的差值分布特征分割肿瘤组织前景,去除肿瘤组织背景,对缩略图进行像素级分割,每个像素点对应一个图像块;该步骤具体参考前景分割与图像块定位模块的实现过程;
步骤3:通过神经网络模型计算数据集中分割后的图像块在不同放大倍数下属于各个分类任务目标类别的概率,得到病理图像含有各个分类任务目标类别的比例,作为计算比例;
步骤4:对于每个分类任务目标类别,分别将计算的不同放大倍数下概率最小值与不同放大倍数下概率最大值的二分之一进行比较,取其中较大值作为图像块在该分类任务目标类别下的整合概率;将所有图像块同一类别下的整合概率进行降序排列,根据标注的比例阈值,选择训练图像块,并对每个训练图像块赋值类别标签;
步骤5:根据标注的比例阈值与计算比例的差值,对于病理图像中处于计算比例与比例阈值之间的训练图像块给予更高的训练权重,权重与差值呈正比,进行自适应权重赋值;使用权重调整后的训练图像块训练神经网络,损失函数为各级放大倍数损失函数项、整合损失函数项及比例拟合损失函数项之和,其中比例拟合损失函数项为若分类任务目标类别的计算比例低于比例阈值,则比例阈值与计算比例的差值作为比例拟合损失函数项,若计算比例大于等于比例阈值,则损失函数中比例拟合损失函数项为零;
步骤6:根据训练结果调整比例阈值对模型迭代训练,通过训练好的神经网络模型计算病理图像含有各个分类任务目标类别的比例。
步骤3~步骤6具体参考自适应多放大倍数整合比例学习模块的实现过程。
本发明实施例中收集TCGA(The Cancer Genome Atlas)数据库中的肝细胞肝癌、
食管腺癌、胃腺癌、结肠腺癌、直肠腺癌、胰腺癌、宫颈腺癌、食管鳞癌、头颈鳞癌、宫颈鳞癌、
肉瘤等数据集。对所有图像进行比例标签标定,以肝样分化和普通腺癌分化的分类目标为
例,C=3,分别为非癌变组织、普通腺癌组织、肝样腺癌组织。其中仅有肝细胞肝癌中
的图像含有组织,其余数据均不含。
经过数据预处理和模型训练后,将最佳模型应用于三家三甲医院收集的胃肠道腺癌数据(分别有135、95、351例),识别其是否含有肝样分化,即肝样腺癌特征。本发明针对胃肠道肝样腺癌的识别任务,在三家三甲医院病理科的日常病理检查中,胃肠道肝样分化检出率为0%、8.5%、56%,本方法构建模型检出率可达100%、80%、93.8%,假阳性均在10%左右,在尽可能低地增加额外工作负担的基础上,最大限度地提升检出率。
上述实施例用来解释说明本发明,而不是对本发明进行限制,在本发明的精神和权利要求的保护范围内,对本发明作出的任何修改和改变,都落入本发明的保护范围。
Claims (10)
1.一种基于自适应比例学习的肿瘤组织病理分类系统,其特征在于,该系统包括比例标签标注模块、前景分割与图像块定位模块和自适应多放大倍数整合比例学习模块;
所述比例标签标注模块获取若干肿瘤组织病理切片并进行数字化扫描,将扫描后的病理图像按照分类任务目标类别进行人工标注,构建数据集;
所述前景分割与图像块定位模块将病理图像在不同的放大倍数下,根据设定的目标图像块重叠率计算病理图像的缩略图尺寸并利用缩略图的RGB通道和灰度值的差值分布特征分割肿瘤组织前景,去除肿瘤组织背景,缩略图中每个像素点对应一个图像块;
所述自适应多放大倍数整合比例学习模块通过神经网络模型计算数据集中分割后的图像块在不同放大倍数下属于各个分类任务目标类别的概率,得到病理图像含有各个分类任务目标类别的比例,作为计算比例,对于每个分类任务目标类别,分别将计算的不同放大倍数下概率最小值与不同放大倍数下概率最大值的二分之一进行比较,取其中较大值作为图像块在该分类任务目标类别下的整合概率;将所有图像块同一类别下的整合概率进行降序排列,根据标注的比例阈值,选择训练图像块,并对每个训练图像块赋值类别标签;根据标注的比例阈值与计算比例的差值,对于病理图像中处于计算比例与比例阈值之间的训练图像块给予更高的训练权重,权重与差值呈正比,进行自适应权重赋值;使用权重调整后的训练图像块训练神经网络,损失函数为各级放大倍数损失函数项、整合损失函数项及比例拟合损失函数项之和,其中比例拟合损失函数项为若分类任务目标类别的计算比例低于比例阈值,则比例阈值与计算比例的差值作为比例拟合损失函数项,若计算比例大于等于比例阈值,则损失函数中比例拟合损失函数项为零,并根据训练结果调整比例阈值对模型迭代训练,通过训练好的神经网络模型计算病理图像含有各个分类任务目标类别的比例。
10.一种基于自适应比例学习的肿瘤组织病理分类方法,其特征在于,该方法包括如下步骤:
步骤1:获取若干肿瘤组织病理切片并进行数字化扫描,将扫描后的病理图像按照分类任务目标类别进行人工标注,构建数据集;
步骤2:将病理图像在不同的放大倍数下,根据设定的目标图像块重叠率计算病理图像的缩略图尺寸并利用缩略图的RGB通道和灰度值的差值分布特征分割肿瘤组织前景,去除肿瘤组织背景,对缩略图进行像素级分割,每个像素点对应一个图像块;
步骤3:通过神经网络模型计算数据集中分割后的图像块在不同放大倍数下属于各个分类任务目标类别的概率,得到病理图像含有各个分类任务目标类别的比例,作为计算比例;
步骤4:对于每个分类任务目标类别,分别将计算的不同放大倍数下概率最小值与不同放大倍数下概率最大值的二分之一进行比较,取其中较大值作为图像块在该分类任务目标类别下的整合概率;将所有图像块同一类别下的整合概率进行降序排列,根据标注的比例阈值,选择训练图像块,并对每个训练图像块赋值类别标签;
步骤5:根据标注的比例阈值与计算比例的差值,对于病理图像中处于计算比例与比例阈值之间的训练图像块给予更高的训练权重,权重与差值呈正比,进行自适应权重赋值;使用权重调整后的训练图像块训练神经网络,损失函数为各级放大倍数损失函数项、整合损失函数项及比例拟合损失函数项之和,其中比例拟合损失函数项为若分类任务目标类别的计算比例低于比例阈值,则比例阈值与计算比例的差值作为比例拟合损失函数项,若计算比例大于等于比例阈值,则损失函数中比例拟合损失函数项为零;
步骤6:根据训练结果调整比例阈值对模型迭代训练,通过训练好的神经网络模型计算病理图像含有各个分类任务目标类别的比例。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111291695.XA CN113723573B (zh) | 2021-11-03 | 2021-11-03 | 基于自适应比例学习的肿瘤组织病理分类系统及方法 |
PCT/CN2022/124693 WO2023078041A1 (zh) | 2021-11-03 | 2022-10-11 | 基于自适应比例学习的肿瘤组织病理分类系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111291695.XA CN113723573B (zh) | 2021-11-03 | 2021-11-03 | 基于自适应比例学习的肿瘤组织病理分类系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113723573A true CN113723573A (zh) | 2021-11-30 |
CN113723573B CN113723573B (zh) | 2022-01-14 |
Family
ID=78686597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111291695.XA Active CN113723573B (zh) | 2021-11-03 | 2021-11-03 | 基于自适应比例学习的肿瘤组织病理分类系统及方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113723573B (zh) |
WO (1) | WO2023078041A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114820502A (zh) * | 2022-04-21 | 2022-07-29 | 济宁医学院附属医院 | 一种用于肠粘膜组织中蛋白激酶ck2的着色检测方法 |
WO2023078041A1 (zh) * | 2021-11-03 | 2023-05-11 | 浙江大学 | 基于自适应比例学习的肿瘤组织病理分类系统及方法 |
CN116934635A (zh) * | 2023-09-18 | 2023-10-24 | 苏州可帮基因科技有限公司 | 基于图像处理技术的病理图像质控方法及设备 |
CN117392693A (zh) * | 2023-12-11 | 2024-01-12 | 苏州可帮基因科技有限公司 | 病理图像去笔迹的方法及设备 |
CN118690289A (zh) * | 2024-08-29 | 2024-09-24 | 苏州可帮基因科技有限公司 | 基于深度学习的肿瘤组织溯源方法及设备 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117058292B (zh) * | 2023-07-28 | 2024-04-26 | 北京透彻未来科技有限公司 | 基于数字病理图像的色阶图渲染系统 |
CN117422912B (zh) * | 2023-10-20 | 2024-08-23 | 哈尔滨工业大学 | 一种基于提示学习的组织病理图像多任务分类系统 |
CN117649381B (zh) * | 2023-11-27 | 2024-06-18 | 北京透彻未来科技有限公司 | 一种基于数字病理切片自动计算缩放倍率的装置 |
CN117392468B (zh) * | 2023-12-11 | 2024-02-13 | 山东大学 | 基于多示例学习的癌症病理图像分类系统、介质及设备 |
CN117557558B (zh) * | 2024-01-10 | 2024-08-20 | 汕头大学医学院 | 一种基于半监督学习的全切片病理图像分类方法 |
CN117670895B (zh) * | 2024-02-01 | 2024-04-19 | 华南理工大学 | 基于切片重染色技术的免疫组化病理图像细胞分割方法 |
CN118448056A (zh) * | 2024-05-20 | 2024-08-06 | 暨南大学附属第一医院(广州华侨医院) | 一种基于网络搜索机器学习的颅脑肿瘤可视化模型构建系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765408A (zh) * | 2018-05-31 | 2018-11-06 | 杭州同绘科技有限公司 | 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统 |
CN111079862A (zh) * | 2019-12-31 | 2020-04-28 | 西安电子科技大学 | 基于深度学习的甲状腺乳头状癌病理图像分类方法 |
CN113221978A (zh) * | 2021-04-27 | 2021-08-06 | 浙江师范大学 | 基于弱监督学习的结直肠癌数字病理图像判别方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10748040B2 (en) * | 2017-11-20 | 2020-08-18 | Kavya Venkata Kota Sai KOPPARAPU | System and method for automatic assessment of cancer |
CN109528230B (zh) * | 2018-11-21 | 2021-08-17 | 山东浪潮科学研究院有限公司 | 一种基于多级变换网络的乳腺肿瘤分割方法及装置 |
CN113723573B (zh) * | 2021-11-03 | 2022-01-14 | 浙江大学 | 基于自适应比例学习的肿瘤组织病理分类系统及方法 |
-
2021
- 2021-11-03 CN CN202111291695.XA patent/CN113723573B/zh active Active
-
2022
- 2022-10-11 WO PCT/CN2022/124693 patent/WO2023078041A1/zh unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765408A (zh) * | 2018-05-31 | 2018-11-06 | 杭州同绘科技有限公司 | 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统 |
CN111079862A (zh) * | 2019-12-31 | 2020-04-28 | 西安电子科技大学 | 基于深度学习的甲状腺乳头状癌病理图像分类方法 |
CN113221978A (zh) * | 2021-04-27 | 2021-08-06 | 浙江师范大学 | 基于弱监督学习的结直肠癌数字病理图像判别方法及系统 |
Non-Patent Citations (2)
Title |
---|
DANYANG TONG等: "Improving prediction performance of colon cancer prognosis based on the integration of clinical and multi-omics data", 《BMC MEDICAL INFORMATICS AND DECISION MAKING》 * |
何雪英等: "基于深度学习的乳腺癌病理图像自动分类", 《计算机工程与应用》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023078041A1 (zh) * | 2021-11-03 | 2023-05-11 | 浙江大学 | 基于自适应比例学习的肿瘤组织病理分类系统及方法 |
CN114820502A (zh) * | 2022-04-21 | 2022-07-29 | 济宁医学院附属医院 | 一种用于肠粘膜组织中蛋白激酶ck2的着色检测方法 |
CN114820502B (zh) * | 2022-04-21 | 2023-10-24 | 济宁医学院附属医院 | 一种用于肠粘膜组织中蛋白激酶ck2的着色检测方法 |
CN116934635A (zh) * | 2023-09-18 | 2023-10-24 | 苏州可帮基因科技有限公司 | 基于图像处理技术的病理图像质控方法及设备 |
CN116934635B (zh) * | 2023-09-18 | 2023-12-12 | 苏州可帮基因科技有限公司 | 基于图像处理技术的病理图像质控方法及设备 |
CN117392693A (zh) * | 2023-12-11 | 2024-01-12 | 苏州可帮基因科技有限公司 | 病理图像去笔迹的方法及设备 |
CN117392693B (zh) * | 2023-12-11 | 2024-03-01 | 苏州可帮基因科技有限公司 | 病理图像去笔迹的方法及设备 |
CN118690289A (zh) * | 2024-08-29 | 2024-09-24 | 苏州可帮基因科技有限公司 | 基于深度学习的肿瘤组织溯源方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2023078041A1 (zh) | 2023-05-11 |
CN113723573B (zh) | 2022-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113723573B (zh) | 基于自适应比例学习的肿瘤组织病理分类系统及方法 | |
US20230419696A1 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
US11341648B2 (en) | Colony contrast gathering | |
CN103518224B (zh) | 用于分析微生物生长的方法 | |
CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统 | |
CN111986150B (zh) | 一种数字病理图像的交互式标注精细化方法 | |
CN110648322B (zh) | 一种子宫颈异常细胞检测方法及系统 | |
EP2973397B1 (en) | Tissue object-based machine learning system for automated scoring of digital whole slides | |
CN111931751B (zh) | 深度学习训练方法、目标物识别方法、系统和存储介质 | |
CN106780522B (zh) | 一种基于深度学习的骨髓液细胞分割方法 | |
CN106780498A (zh) | 基于逐像素点深度卷积网络上皮和基质组织自动分割方法 | |
CN112465766A (zh) | 扁平、微小息肉图像识别方法 | |
CN109147932B (zh) | 癌细胞her2基因扩增分析方法及系统 | |
US20210334514A1 (en) | System and method for monitoring bacterial growth of bacterial colonies and predicting colony biomass | |
CN103366183B (zh) | 一种局灶性病灶的非参数自动检测方法 | |
Kim et al. | Nucleus segmentation and recognition of uterine cervical pap-smears | |
Zhang et al. | Microscope based her2 scoring system | |
CN115274093A (zh) | 生成包含自动标注文件的基准病理数据集的方法及系统 | |
CN113870194A (zh) | 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置 | |
CN109658382A (zh) | 基于图像聚类和灰度投影的舌体定位方法 | |
CN113053521B (zh) | 基于深度学习的头颈鳞癌淋巴结转移癌诊断辅助识别系统 | |
CN117496276B (zh) | 肺癌细胞形态学分析、识别方法及计算机可读存储介质 | |
Land et al. | A kernelised fuzzy-Support Vector Machine CAD system for the diagnosis of lung cancer from tissue images | |
Ajemba et al. | Integrated segmentation of cellular structures | |
Shi et al. | Fluorescence in Situ Hybridization Cell Image Segmentation Method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |