CN114864075A - 一种基于病理图像的胶质瘤级别分析方法及装置 - Google Patents

一种基于病理图像的胶质瘤级别分析方法及装置 Download PDF

Info

Publication number
CN114864075A
CN114864075A CN202210425868.0A CN202210425868A CN114864075A CN 114864075 A CN114864075 A CN 114864075A CN 202210425868 A CN202210425868 A CN 202210425868A CN 114864075 A CN114864075 A CN 114864075A
Authority
CN
China
Prior art keywords
glioma
image block
deep learning
learning model
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210425868.0A
Other languages
English (en)
Inventor
马永杰
苏峰
程也
王雷明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuanwu Hospital
Original Assignee
Xuanwu Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuanwu Hospital filed Critical Xuanwu Hospital
Priority to CN202210425868.0A priority Critical patent/CN114864075A/zh
Publication of CN114864075A publication Critical patent/CN114864075A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于病理图像的胶质瘤级别分析方法，包括：基于无标注的胶质瘤病理图像得到对应患者的图像块数据集，基于每个图像块数据集建立若干深度学习模型，采用集成学习方法整合所有深度学习模型，得到机器学习模型，利用机器学习模型获得不同胶质瘤级别的概率。本发明所述的分析方法可以基于无标注病理图像准确诊断胶质瘤级别的方法，一方面大幅减少人力成本，另一方面也降低了人主观性的干预，而且还能显著提高胶质瘤分级准确性。本发明基于所述的分析方法还提供一种分析胶质瘤病理图像的装置、用户终端及计算机可读存储介质。

Description

一种基于病理图像的胶质瘤级别分析方法及装置
技术领域
本发明涉及一种病理切片的分析方法，具体涉及一种基于病理图像的神经胶质瘤级别分析方法及装置。
背景技术
胶质瘤指的是具有与正常胶质细胞相似的组织学特征的肿瘤，起源尚不清楚，但属于最常见的脑实质内原发性肿瘤，占脑实质内原发性肿瘤的绝大多数。WHO根据胶质瘤不同的生物学特性和不同的恶性程度做出了分级，不同级别的胶质瘤的预后和治疗方法有所不同。因此，胶质瘤的分级对于肿瘤的诊断和治疗方案的制订具有重要意义。
为了精准地进行胶质瘤分级，临床上常规使用非侵入式成像的方法进行初步诊断后还需要通过组织采样获得病理图像。基于病理图像的诊断是肿瘤诊断的金标准，因此，实现及时准确的病理阅片对于胶质瘤患者的诊断和治疗具有重要意义。但是在发展中国家与不发达国家中，病理医生缺口极大，病理医生阅片工作量大，任务枯燥，存在一定的主观性。因此，建立基于人工智能的病理图像阅片系统是实现精准、快速、个性化医疗的重要手段。
近些年，利用人工智能方法实现胶质瘤等级诊断在精准医疗方面起到了促进作用。然而现有常规的人工智能医疗系统都是基于完全监督的深度学习方法，存在以下问题：需要大量的标注信息，如勾画不同组织类型的区域等；医学标注的任务繁琐、工作量大，需要大量的资源投入；大部分肿瘤具有较强的异质性，临床标注也难以建立统一的标准，不同病理专家在同一个病理图像上的标注结果也可能存在较大差异。2015年，M. G. Ertosun等的研究建立了基于卷积神经网络的深度学习模型，实现了胶质瘤等级诊断。但该研究中的方法需要对病理图像中的细胞核进行分割，之后再使用卷积神经网络模型识别胶质瘤级别；流程复杂，丢弃了处细胞核之外的有效信息，影响准确率；此外针对每一个分类任务，该方法使用单一的机器学习模型进行胶质瘤识别，准确率不够高。专利文献CN113496257A中公开了用深度学习方法实现对病理图像的诊断（分类）的方法。该方法虽然在一定程度上解决了病理切片标注的问题，但是在模型的泛化能力以及方法整体的分级准确率上仍有待提高。
因此，有必要研发一种新的基于病理图像的胶质瘤分级方法，进一步降低人为因素对病理切片阅片的影响，同时提高肿瘤分级诊断中人工智能系统的准确性。
发明内容
鉴于上述背景，本发明的首要目的在于：提供一种可以基于无标注病理图像准确诊断胶质瘤级别的方法，一方面大幅减少人力成本，另一方面也降低了人主观性的干预。
本发明的另一个目的在于：提供一种利用人工智能方法分析胶质瘤病理图像的装置。
本发明的上述目的通过以下技术方案实现：
首先，提供一种基于病理图像的胶质瘤级别分析方法，包括：基于无标注的胶质瘤病理图像得到对应患者的图像块数据集，基于每个图像块数据集建立若干深度学习模型，采用集成学习方法整合所有深度学习模型，得到机器学习模型，利用机器学习模型获得不同胶质瘤级别的概率。
本发明优选的方案中，所述的基于病理图像的胶质瘤级别分析方法包括以下步骤：
1）获取病理图像块数据集
对无标注的胶质瘤全玻片病理图像进行预处理，然后从中提取包含有效区域的图像块，得到对应每位患者的图像块数据集；
2）基于图像块数据集建立深度学习模型
基于1）得到的每个所述的图像块数据集分别建立深度学习模型，作为图像块层次的深度学习模型实现对单一图像块的分级分析；重复独立地进行所述的深度学习模型的建立，建立N个图像块层次的深度学习模型，得到深度学习模型库；
3）获取患者胶质瘤级别上的特征向量
向2）所得的深度学习模型库输入1）所得的每位患者的图像块数据集中所有图像块，所述的深度学习模型库输出每张图像块分别对应K种胶质瘤级别的概率；由此得到每位患者的N×K的矩阵，其中包含每位患者在每种胶质瘤级别上的特征向量；
4）利用机器学习模型计算胶质瘤级别概率
根据3）得到的所有患者的特征向量，针对K种胶质瘤的分级分别进行机器学习建模，得到K个输出两个概率的机器学习模型，所述的两个概率分别为：是该胶质瘤级别的概率和不是该胶质瘤级别的概率；对每位患者分别计算K种胶质瘤级别的概率。
本发明所述的方案中，1）所述的预处理可以是采用现有技术对病理图像进行分辨率、缩放比例、颜色空间等方面的调整，使来源不同对病理图像具有相对统一的规格标准。本发明进一步优选的方案中，1）所述的预处理是调整所有的全玻片数字病理图像分辨率和缩放比例，其中将所述的分辨率调整为0.01-10 μm/pixel；更优选将所述的分辨率调整为0.1-1.0μm/pixel；最优选将所述的分辨率调整为0.1-0.5μm/pixel。
本发明所述的方案中，1）所述的提取包含有效区域的图像块，需要结合实际的全玻片病理图像缩放比例与分辨率，以及后续的深度学习模型，对拟提取的图像块的参数进行设置。本发明优选的方案中，1）所述的提取包含有效区域的图像块，对拟提取的图像块的参数设置包括：全玻片病理图像实际分辨率为0.5μm/pixel时，提取图像块的大小为200~2000像素。
本发明所述的方案中，1）所述的提取包含有效区域的图像块，还需要根据全玻片病理图像的实际大小、缩放比例、拟提取的图像块大小等参数，对全玻片病理图像的分割进行规划；规划对内容包括每一张图像块在原始全玻片病理图像中的位置、大小，以及相邻图像块的重叠程度等。本发明优选的方案中，1）所述的提取包含有效区域的图像块，相邻图像块重叠程度控制在0-50%范围内。
本发明所述的方案中，所述的全玻片病理图像通常只有一部分区域中存在生物样本图像，这些区域被视为有效区域；其他不存在生物样本图像的区域被视为背景区域。为了降低背景区域对分析的干扰，本发明进一步优选的方案中，1）所述的包含有效区域的图像块，是有效区域占比超过50%的图像块。
本发明进一步优选的方案中，1）还包括对提取得到的图像块的颜色标准化处理，包括：模板调整、通道取值调整等，使所有的图像块具有比较类似的颜色模式，以提升系统的准确性和泛化能力。
本发明所述的方案中，2）所述的基于1）得到的每个所述的图像块数据集分别建立深度学习模型，优选建立基于卷积神经网络（convolutional neural network）与残差神经网络（residual network）的深度学习模型；进一步优选在建立深度学习模型的过程中采用迁移学习的方式，基于预训练模型进行建模，所述的预训练模型包括但不限于：googlenet、inceptionv3、densenet、xception、inceptionresnetv2或darknet等模型中的任意一种。
本发明所述的方案中，2）所述的重复独立地进行所述的深度学习模型的建立，可以是对相同的模型进行多次重复训练，也可以是采用多个不同的模型进行训练。2）中建立的所述的深度学习模型库，可以是具有相同深度神经网络结构但不同参数的模型，也可以是具有不同神经网络结构的模型。本发明优选的方案中，2）得到的深度学习模型库中，深度学习模型数量N为大于或等于5的整数。
本发明优选的方案中，3）所述的深度学习模型库输出每张图像块分别对应K种胶质瘤级别的概率之后，进一步对每一个深度学习模型，同一个患者的所有图像块胶质瘤级别对概率用统计学的方式进行整合，采用平均值或者中位数作为最终的概率。
本发明优选的方案中，4）所述的针对K种胶质瘤的分级分别进行机器学习建模具体包括：对一种胶质瘤级别，M个患者得到N×M的特征向量矩阵，对该矩阵建立基于朴素贝叶斯（naïve bayes，NB）、支持向量机（support vector machine，SVM）、决策树（decisiontree，DT）、逻辑回归（logistic regression，LR）、k近邻聚类（k-nearest neighbor，KNN）或线性辨别（linear discriminant, LD）等模型的机器学习模型；进一步优选朴素贝叶斯、支持向量机或线性辨别模型中的任意一种。
在此基础上，本发明还提供一种利用人工智能方法分析胶质瘤病理图像的装置，包括：图像块数据集获取模块、图像块层次胶质瘤级别分析模块、胶质瘤级别特征向量获取模块和患者层次诊断模块；
所述的图像块数据集获取模块，用于从预处理后的无标注的胶质瘤全玻片病理图像中提取包含有效区域的图像块，得到对应每位患者的图像块数据集；
所述的图像块层次胶质瘤级别分析模块，用于基于每个所述的图像块数据集分别重复独立地建立深度学习模型，共建立由N个图像块层次深度学习模型组成的深度学习模型库，实现图像块层次的胶质瘤级别分析，得到每张图像块分别对应K种胶质瘤级别的概率；
所述的胶质瘤级别特征向量获取模块，用于基于所述的K种胶质瘤级别的概率获取每位患者在每种胶质瘤级别上的特征向量；
所述的患者层次诊断模块，用于根据所有患者在每种胶质瘤级别上的特征向量，针对K种胶质瘤的分级分别进行机器学习建模，得到K个输出两个概率的机器学习模型，所述的两个概率分别为是该胶质瘤级别的概率和不是该胶质瘤级别的概率；对每位患者分别计算K种胶质瘤级别的概率，以以最大概率值对应的胶质瘤级别作为最终的患者层次的诊断结果。
此外，本发明还提供一种用户终端，包括存储器以及处理器，所述存储器用于存储脑胶质瘤分级评价程序，所述处理器运行所述脑胶质瘤分级评价程序以使所述用户终端执行本发明所述的基于病理图像的胶质瘤级别分析方法。
再者，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有脑胶质瘤分级评价程序，所述脑胶质瘤分级评价程序被处理器执行时实现如本发明所述的基于病理图像的胶质瘤级别分析方法。
此外，本发明还提供存储有级联的深度学习模型库和机器学习模型的介质在制备产品中的应用；所述产品的功能为基于无标注病理图像进行胶质瘤级别分析；
所述的深度学习模型库由N个图像块层次的深度学习模型组成，通过以下方法建立：从预处理后的无标注的胶质瘤全玻片病理图像中提取包含有效区域的图像块，得到对应每位患者的图像块数据集；基于得到的每个所述的图像块数据集分别建立深度学习模型；重复独立地进行所述的深度学习模型的建立，建立N个图像块层次的深度学习模型，得到深度学习模型库；所述的N为正整数，优选N大于或等于5，更优选N大于或等于10；所述的深度学习模型库中每个图像块层次的深度学习模型用于输出每张图像块分别对应K种胶质瘤级别的概率，实现对单一图像块的分级分析；
所述的机器学习模型通过以下方法建立：向所述的深度学习模型库输入每位患者的图像块数据集中所有图像块，所述的深度学习模型库输出每张图像块分别对应K种胶质瘤级别的概率；由此得到每位患者的N×K的矩阵，其中包含每位患者在每种胶质瘤级别上的特征向量；根据得到的所有患者的特征向量，针对K种胶质瘤的分级分别进行机器学习建模，得到K个机器学习模型；每个机器学习模型用于输出以下两个概率：①是该种胶质瘤级别的概率，和②不是该种胶质瘤级别的概率。
本发明还提供一种制备用于胶质瘤分级的级联模型的方法，所述的级联模型包括深度学习模型库和机器学习模型；所述的深度学习模型库用于实现对单一图像块的分级分析；所述的机器学习模型用于针对每个患者输出属于某种胶质瘤级别的概率；所述的制备用于胶质瘤分级的级联模型的方法包括：从预处理后的无标注的胶质瘤全玻片病理图像中提取包含有效区域的图像块，得到对应每位患者的图像块数据集；基于得到的每个所述的图像块数据集分别建立深度学习模型；重复独立地进行所述的深度学习模型的建立，建立N个图像块层次的深度学习模型，得到深度学习模型库；所述的N为正整数，优选N大于或等于5，更优选N大于或等于10；向所述的深度学习模型库输入每位患者的图像块数据集中所有图像块，所述的深度学习模型库输出每张图像块分别对应K种胶质瘤级别的概率；由此得到每位患者的N×K的矩阵，其中包含每位患者在每种胶质瘤级别上的特征向量；根据得到的所有患者的特征向量，针对K种胶质瘤的分级分别进行机器学习建模，得到K个机器学习模型。
与现有技术相比，本发明有益效果主要体现在以下几方面：
1. 本发明通过对胶质瘤病理图像的特定处理，使病理图像及其图像块不需要标注即可用于后续的人工智能模型的构建。由此比现有技术显著节约了人工阅片工作量，也降低了人为因素对分析结果的干扰。特别是本发明对全玻片病理图像和图像块进行的图像颜色标准化处理，使得来自不同中心、不同专家、甚至同一专家不同时间的病理切片染色结果之间存在的颜色模式上的较大的差异被消除，能够大幅提高人工智能模型的泛化能力。
2. 本发明还建立了一种级联的深度学习和机器学习方法及系统，显著提高了从无标注病理图像中诊断胶质瘤级别的准确性。本发明的方法从整体逻辑上包含两个层次的分析，即图像块层次的分析和患者层次的分析；并基于该逻辑建立了级联的深度学习和机器学习模型，首先基于图像块数据集建立的相互独立的图像块层次的深度学习模型库，然后利用深度学习模型库提取患者层次的特征向量；再采用集成学习的方法，利用所述患者层次的特征向量训练基于患者层次的机器学习模型。该过程中，将所有的深度学习模型视为弱分类器，整合所有弱分类器的诊断结果，用于机器学习模型构建，训练强分类器，最终可实现患者层次的诊断。与现有技术中使用单一深度学习模型的分析方法相比，本发明的方法能够显著提高人工智能方法在无标注情况下对胶质瘤病理图像的分析准确性。
附图说明
图1是本发明所述分析方法的具体实施方式流程图。
图2是实施例1所述分析方法中提取图像块步骤的具体流程图。
图3是实施例1所述的提取图像块数据集的过程示意图。
图4是实施例1所述的基于图像块的深度学习模型构建示意图。
图5是实施例1所述的多个模型的图像块层次的性能测试结果。
图6是实施例1所述的患者层次的特征向量图。
图7是实施例1所述的集成学习过程示意图。
图8是实施例1所述的方法经过集成学习后不同模型在患者层次诊断的准确率比较。
具体实施方式
本发明所述的基于病理图像的胶质瘤级别分析方法，如图1所示，包括以下步骤：
S1：无标注全玻片胶质瘤病理图像；
S2：提取图像块；
S3：图像块颜色标准化；
S4：图像块层次的胶质瘤诊断深度学习模型；
S5：图像块层次的深度学习模型库；
S6：图像块层次的诊断结果；
S7：患者层次的特征向量；
S8：患者层次的机器学习模型；
S9：患者层次的诊断结果。
针对以上各步骤具体说明如下：
在步骤S1无标注全玻片病理图像中，支持多种格式的HE染色全玻片数字病理图像，包括Aperio (.svs, .tif)，Hamamatsu (.vms, .vmu, .ndpi)，Leica (.scn)，MIRAX(.mrxs)，Philips (.tiff)，Sakura (.svslide)，Trestle (.tif)，Ventana (.bif,.tif)，Generic tiled TIFF (.tif)等格式。
在步骤S2提取图像块中，如图2所示，进一步包括以下具体步骤：
S2.1 图像块缩放比例与分辨率选择；
S2.2 图像块提取参数设置；
S2.3 全玻片X轴与Y轴图像块位置规划；
S2.4 图像块有效性检查；
S2.5 患者图像块数据集生成；
针对以上步骤S2.1~S2.5进一步说明如下：
在步骤S2.1图像块缩放比例与分辨率选择中，不同的数字病理扫描仪器、不同的扫描参数设置往往会得到具有不同缩放比例和分辨率的全玻片数字病理图像。为了保证后续分析过程中图像分辨率的一致性，需要对图像块缩放比例与分辨率进行选择。较优的图像块的分辨率范围为0.01-10 μm/pixel。数字病理图像通常采用金字塔形似的存储格式，同时保存多个缩放比例与分辨率设置下的图像数据。如果所有实际保存的分辨率中不存在目标分辨率，则需要读取更高分辨率的图像，并进行进一步的缩放比例与分辨率调整。
在步骤S2.2图像块提取参数设置中，需要结合实际的图像缩放比例与分辨率，以及后续的深度学习模型，对图形块的参数进行设置。在图像目标分辨率为0.5μm/pixel的条件下，图像块大小较优的设置参数为200~2000像素。其他的图像目标分辨率条件下，图像块大小需要进行相应的调整。
在步骤S2.3全玻片X轴与Y轴图像块位置规划中，需要根据全玻片病理图像的大小、图像块缩放比例、图像块大小等参数，对图像块分割情况进行规划。规划的内容包括每一张图像块在原始全玻片病理图像中的位置、大小，以及相邻图像块的重叠程度等。相邻图像块重叠程度的较优取值范围为0-50%。
在步骤S2.4图像块有效性检查中，利用条件筛查的方法，选择有效的图像块。在全玻片病理图像中，通常只有一部分区域中存在生物样本图像，这些区域被视为有效区域。其他不存在样本图像的区域被视为背景区域。有效图像块的定义为：每一个图像块中有效区域所占的比例超过50%。
在步骤S2.5患者图像块数据集中，每一个患者对应一组图像块数据集，每一个图像块都继承患者的临床与诊断特征，如胶质瘤的级别，类型等。
在步骤S3图像块颜色标准化中，对图像块的颜色空间进行调整，使所有的图像块具有比较类似的颜色模式。在实际的临床应用中，病理图像的染色结果通常受到操作人员、染色试剂等多方面的影响，不同病理图像往往具有较大的颜色差异。通过模板调整、通道取值调整等方式，对图像块的颜色进行标准化，以提升系统的准确性和泛化能力。
在步骤S4图像块层次的胶质瘤诊断深度学习模型中，基于图像块数据集，建立基于卷积神经网络（convolutional neural network）与残差神经网络（residual network）的深度学习模型，对单张图像块进行诊断。作为优选，在建立深度学习模型的过程中，可以采用迁移学习的方式基于预训练模型进行建模，如googlenet，inceptionv3，densenet，xception，inceptionresnetv2，darknet等模型。模型处理的分类数量为K。
在步骤S5图像块层次的深度学习模型库中，重复独立地进行步骤S4中的操作，得到N个图像块层次的胶质瘤诊断深度学习模型。在进行图像块层次的胶质瘤诊断深度学习模型中，可以对相同的模型进行多次重复训练，也可以采用多个不同的模型进行训练。在该步骤中建立的深度学习模型库，可以是具有相同深度神经网络结构但不同参数的模型，也可以是具有不同神经网络结构的模型。作为优选，为了便于后续步骤的开展，深度学习模型库中模型的数量N≥5。
在步骤S6图像块层次的诊断结果中，利用步骤S5中得到的深度学习模型库，对步骤S3中得到的颜色标准化后的图像块进行处理，得到每一个患者所有图像块的诊断结果。对于胶质瘤级别诊断任务，其诊断结果为每一张图像块分别对应任何一种胶质瘤级别的概率。
在步骤S7患者层次的特征向量中，对患者所有图像块层次的诊断结果进行整合，得到患者层次的特征向量。对每一个深度学习模型，同一个患者的所有图像块诊断结果用统计学的方式进行整合，采用平均值或者中位数的方法。在步骤S5中得到N个深度学习模型，每一个模型输出K种类别的概率。因此在该过程中，每一个病人得到一个N×K的矩阵，其中每一列为一个N×1的特征向量，代表该患者在某一种特定胶质瘤级别上的特征向量。
在步骤S8患者层次的机器学习模型中，根据步骤S7中得到的所有患者的特征向量，对每一种胶质瘤级别诊断分别进行机器学习建模。对一种胶质瘤级别，M个患者得到N×M的特征向量矩阵，对该矩阵建立基于朴素贝叶斯（naïve bayes，NB），支持向量机（supportvector machine，SVM），决策树（decision tree，DT），逻辑回归（logistic regression，LR），k近邻聚类（k-nearest neighbor，KNN），线性辨别（linear discriminant, LD）等模型的机器学习模型，模型的输出为是该胶质瘤级别的概率和不是该胶质瘤级别的概率。对K类胶质瘤级别，得到K个机器学习模型。
在步骤S9患者层次的诊断结果中，根据步骤S8中的K个患者层次的机器学习模型，对每一个病人计算K种胶质瘤级别的概率，以胶质瘤级别概率最大的诊断作为最终的患者层次的诊断结果。
按照以上具体实施方式所描述的各步骤，本发明完成了以下各实施例并最终获得了很好的效果，但本发明所涵盖的范围并不局限于所列举的实施例。
实施例1.
本实施例按照上述步骤S1~S3对胶质瘤全玻片病理图像进行图像块提取，建立图像块数据集。数据集建立前后的胶质瘤全玻片病理图像和图像块数据集如图3所示。
本实施例中，患者的胶质瘤级别为Grade Ⅱ，图像块的尺寸大小为512×512像素，图像块的分辨率为0.5μm/pixel，所有的图像块的胶质瘤级别标签为Grade Ⅱ。
实施例2
本实施例按照上述步骤S4，如图4所示，基于实施例1得到的图像块数据集建立图像块层次的胶质瘤诊断深度学习模型，模型针对低级别的胶质瘤（low grade glioma,LGG）进行级别诊断，模型的分类类别为Grade Ⅱ与Grade Ⅲ。
本实施例中，输入的图像块来自于实施例1所述的以为胶质瘤级别为Grade Ⅱ的患者，深度神经网络模型为具有18层可学习参数的残差网络（ResNet-18）。模型对于输入图像块的诊断结果为：Grade Ⅱ的概率为0.7269，Grade Ⅲ的概率为0.2731。
实施例3
本实施例按照上述步骤S5，基于实施例2所得深度学习模型建立图像块层次的深度学习模型库，并对模型库中的所有模型进行性能评估。
本实施例中，模型库里具有30个不同的ResNet-18模型，所有的ResNet-18模型相互独立，具有不同的训练过程以及不同的参数。图5展示了所有的模型在测试数据集中的图像块层次的受试者工作特征曲线 (receiver operating characteristic curve, ROC曲线)，以及模型的线下面积（area under curve, AUC），以评估每个模型图像块层次的诊断性能。30个ResNet-18深度学习模型的AUC指标为0.7048±0.0258；用D'Agostino andPearson omnibus normalitytest对30个AUC值做正态分布检验，p= 0.7834，表明30个ResNet-18深度学习模型的性能是正态分布，模型之间没有显著的优劣性差异；此外，该结果表明每个ResNet-18模型都在胶质瘤级别诊断过程中得到了有效的训练，且模型之间的诊断规则和性能存在一定的细微差别，这为后续用集成学习方法联合多个深度学习模型，建立更强的机器学习模型奠定了基础。
实施例4
本实施例按照上述步骤S6~S7，利用实施例3中所述的图像块层次的深度学习模型库，建立患者层次的特征向量。
本实施例中，对每个患者所有图像块的诊断结果进行平均处理，得到平均后的Grade Ⅱ与Grade Ⅲ的概率得分。对胶质瘤级别Grade Ⅲ提取特征向量，共30个模型（N=30），测试数据集中具有104个患者（M=104），得到N×M（30×104）的特征向量矩阵（如图6所示）。
实施例5
本实施例根据上述步骤S8~S9，首先，如图7所示，基于实施例3中所述的图像块层次的深度学习模型库，以及实施例4得到的特征向量矩阵，利用集成学习技术对深度学习模型进行整合，进一步训练机器学习模型，得到K个强分类器（即患者层次的机器学习模型）；然后K个强分类器对104位患者中的每个人计算K种胶质瘤级别的概率，针对每位患者都以胶质瘤级别概率最大的诊断作为最终的患者层次的诊断结果。
本实施例中，将深度学习模型视为弱分类器，从实施例4患者层次的特征向量可以看到，不同的深度学习模型之间的诊断结果存在差异；该实施例使用集成学习的方法，将所有的深度学习模型视为弱分类器，并将深度学习模型的诊断结果整合起来，利用机器学习模型，训练强分类器，实现患者层次的诊断。所述集成学习可以基于朴素贝叶斯（naïvebayes，NB）、支持向量机（support vector machine，SVM）、决策树（decision tree，DT）、逻辑回归（logistic regression，LR）、k近邻聚类（k-nearest neighbor，KNN）或线性辨别（linear discriminant, LD）等模型。
比较例
针对上述实施例5的集成学习效果，进行了使用集成学习建立不同机器学习模型的性能比较。
根据实施例5所述的集成学习建立了基于朴素贝叶斯（naïve bayes，NB）、支持向量机（support vector machine，SVM）、决策树（decision tree，DT）、线性辨别（lineardiscriminant, LD）算法的机器学习学习模型。对于每一类模型，测试了随着集成学习使用的深度学习模型数量的增加，患者层次准确率的变化。结果如图8和表1所示，随着集成学习使用的深度学习模型数量的增加，线性辨别模型、线性辨别模型、朴素贝叶斯模型和支持向量机模型的准确率逐渐增加；当使用的深度学习模型数量超过一定的阈值之后，线性辨别模型和线性辨别模型逐渐降低，朴素贝叶斯模型和支持向量机模型随着深度学习模型数量的增加，准确率逐渐达到基本稳定的状态。表明级联的深度学习和机器学习方法能够在深度学习模型的基础上，进一步提升胶质瘤级别诊断的准确率。
表1
Figure DEST_PATH_IMAGE002AAA
在不使用集成学习方法情况下，单个ResNet-18深度学习模型的准确率为0.7106±0.0481，n=30。统计使用集成学习方法建立的四类模型中，患者层次诊断准确率最高的模型（表2），使用8个深度学习模型的集成学习-决策树模型准确率0.7333±0.0418，n=200；使用11个深度学习模型的集成学习-线性判别模型准确率0.7794±0.0319，n=200；使用15个深度学习模型的集成学习-朴素贝叶斯模型准确率0.7916±0.0214，n=200；使用19个深度学习模型的集成学习-支持向量机模型准确率0.7999±0.0183，n=200。
表2
Figure 597958DEST_PATH_IMAGE003
利用One-way ANOVA多重比较方法，比较四种集成学习模型与不使用集成学习方法的单个深度学习模型准确率（表3）。统计学指标p>0.05 (ns)；p<0.01 (*)；p<0.001(**)；p<0.0001 (***)。使用集成学习建立的四类模型准确率显著高于单个深度学习模型；集成学习-朴素贝叶斯模型与集成学习-支持向量机模型准确率显著高于集成学习-决策树模型和集成学习-线性判别模型；集成学习-朴素贝叶斯模型与集成学习-支持向量机模型准确率没有显著差异。
表3
Figure 881172DEST_PATH_IMAGE004

Claims (14)

1.一种基于病理图像的胶质瘤级别分析方法，包括：基于无标注的胶质瘤病理图像得到对应患者的图像块数据集，基于每个图像块数据集建立若干深度学习模型，采用集成学习方法整合所有深度学习模型，得到机器学习模型，利用机器学习模型获得不同胶质瘤级别的概率。
2.权利要求1所述的基于病理图像的胶质瘤级别分析方法，包括以下步骤：
1）获取病理图像块数据集
对无标注的胶质瘤全玻片病理图像进行预处理，然后从中提取包含有效区域的图像块，得到对应每位患者的图像块数据集；
2）基于图像块数据集建立深度学习模型
基于1）得到的每个所述的图像块数据集分别建立深度学习模型，作为图像块层次的深度学习模型实现对单一图像块的分级分析；重复独立地进行所述的深度学习模型的建立，建立N个图像块层次的深度学习模型，得到深度学习模型库；所述的深度学习模型数量N优选为大于或等于5的整数；更有选为大于10的整数；
3）获取患者胶质瘤级别上的特征向量
向2）所得的深度学习模型库输入1）所得的每位患者的图像块数据集中所有图像块，所述的深度学习模型库输出每张图像块分别对应K种胶质瘤级别的概率；由此得到每位患者的N×K的矩阵，其中包含每位患者在每种胶质瘤级别上的特征向量；
4）利用机器学习模型计算胶质瘤级别概率
根据3）得到的所有患者的特征向量，针对K种胶质瘤的分级分别进行机器学习建模，得到K个输出两个概率的机器学习模型，所述的两个概率分别为是该胶质瘤级别的概率和不是该胶质瘤级别的概率；对每位患者分别计算K种胶质瘤级别的概率。
3.权利要求2所述的方法，其特征在于：1）所述的预处理是调整所有的全玻片数字病理图像分辨率和缩放比例，其中将所述的分辨率调整为0.01-10 μm/pixel；更优选将所述的分辨率调整为0.1-1.0μm/pixel；最优选将所述的分辨率调整为0.1-0.5μm/pixel。
4.权利要求2所述的方法，其特征在于：1）所述的提取包含有效区域的图像块，对拟提取的图像块的参数设置包括：全玻片病理图像实际分辨率为0.5μm/pixel时，提取图像块的大小为200~2000像素。
5.权利要求2所述的方法，其特征在于：1）所述的包含有效区域的图像块，是有效区域占比超过50%的图像块。
6.权利要求2所述的方法，其特征在于：1）还包括对提取得到的图像块的颜色标准化处理，包括：模板调整、通道取值调整，使所有的图像块具有比较类似的颜色模式，以提升系统的准确性和泛化能力。
7.权利要求2所述的方法，其特征在于：2）所述的基于1）得到的每个所述的图像块数据集分别建立深度学习模型，是建立基于卷积神经网络（convolutional neural network）与残差神经网络（residual network）的深度学习模型；进一步优选在建立深度学习模型的过程中采用迁移学习的方式，基于预训练模型进行建模，所述的预训练模型包括但不限于：googlenet、inceptionv3、densenet、xception、inceptionresnetv2或darknet等模型中的任意一种。
8.权利要求2所述的方法，其特征在于：3）所述的深度学习模型库输出每张图像块分别对应K种胶质瘤级别的概率之后，进一步对每一个深度学习模型，同一个患者的所有图像块胶质瘤级别的概率用统计学的方式进行整合，采用平均值或者中位数作为最终的概率。
9.权利要求2所述的方法，其特征在于：4）所述的针对K种胶质瘤的分级分别进行机器学习建模具体包括：对一种胶质瘤级别，M个患者得到N×M的特征向量矩阵，对该矩阵建立基于朴素贝叶斯（naïve bayes，NB）、支持向量机（support vector machine，SVM）、决策树（decision tree，DT）、逻辑回归（logistic regression，LR）、k近邻聚类（k-nearestneighbor，KNN）或线性辨别（linear discriminant, LD）等模型的机器学习模型；进一步优选朴素贝叶斯、支持向量机或线性辨别模型中的任意一种。
10.一种利用人工智能方法分析胶质瘤病理图像的装置，包括：图像块数据集获取模块、图像块层次胶质瘤级别分析模块、胶质瘤级别特征向量获取模块和患者层次诊断模块；
所述的图像块数据集获取模块，用于从预处理后的无标注的胶质瘤全玻片病理图像中提取包含有效区域的图像块，得到对应每位患者的图像块数据集；
所述的图像块层次胶质瘤级别分析模块，用于基于每个所述的图像块数据集分别重复独立地建立深度学习模型，共建立由N个图像块层次深度学习模型组成的深度学习模型库，实现图像块层次的胶质瘤级别分析，得到每张图像块分别对应K种胶质瘤级别的概率；
所述的胶质瘤级别特征向量获取模块，用于基于所述的K种胶质瘤级别的概率获取每位患者在每种胶质瘤级别上的特征向量；
所述的患者层次诊断模块，用于根据所有患者在每种胶质瘤级别上的特征向量，针对K种胶质瘤的分级分别进行机器学习建模，得到K个输出两个概率的机器学习模型，所述的两个概率分别为是该胶质瘤级别的概率和不是该胶质瘤级别的概率；对每位患者分别计算K种胶质瘤级别的概率，以最大概率值对应的胶质瘤级别作为最终的患者层次的诊断结果。
11.一种用户终端，包括存储器以及处理器，所述存储器用于存储脑胶质瘤分级评价程序，所述处理器运行所述脑胶质瘤分级评价程序以使所述用户终端执行权利要求1-11任意一项所述的基于病理图像的胶质瘤级别分析方法。
12.一种计算机可读存储介质，所述计算机可读存储介质上存储有脑胶质瘤分级评价程序，所述脑胶质瘤分级评价程序被处理器执行时实现如权利要求1-11任意一项所述的基于病理图像的胶质瘤级别分析方法。
13.存储有级联的深度学习模型库和机器学习模型的介质在制备产品中的应用；所述产品的功能为基于无标注病理图像进行胶质瘤级别分析；
所述的深度学习模型库由N个图像块层次的深度学习模型组成，通过以下方法建立：从预处理后的无标注的胶质瘤全玻片病理图像中提取包含有效区域的图像块，得到对应每位患者的图像块数据集；基于得到的每个所述的图像块数据集分别建立深度学习模型；重复独立地进行所述的深度学习模型的建立，建立N个图像块层次的深度学习模型，得到深度学习模型库；所述的N为正整数，优选N大于或等于5，更优选N大于或等于10；所述的深度学习模型库中每个图像块层次的深度学习模型用于输出每张图像块分别对应K种胶质瘤级别的概率，实现对单一图像块的分级分析；
所述的机器学习模型通过以下方法建立：向所述的深度学习模型库输入每位患者的图像块数据集中所有图像块，所述的深度学习模型库输出每张图像块分别对应K种胶质瘤级别的概率；由此得到每位患者的N×K的矩阵，其中包含每位患者在每种胶质瘤级别上的特征向量；根据得到的所有患者的特征向量，针对K种胶质瘤的分级分别进行机器学习建模，得到K个机器学习模型；每个机器学习模型用于输出以下两个概率：①是该种胶质瘤级别的概率，和②不是该种胶质瘤级别的概率。
14.一种制备用于胶质瘤分级的级联模型的方法，所述的级联模型包括深度学习模型库和机器学习模型；所述的深度学习模型库用于实现对单一图像块的分级分析；所述的机器学习模型用于针对每个患者输出属于某种胶质瘤级别的概率；所述的制备用于胶质瘤分级的级联模型的方法包括：从预处理后的无标注的胶质瘤全玻片病理图像中提取包含有效区域的图像块，得到对应每位患者的图像块数据集；基于得到的每个所述的图像块数据集分别建立深度学习模型；重复独立地进行所述的深度学习模型的建立，建立N个图像块层次的深度学习模型，得到深度学习模型库；所述的N为正整数，优选N大于或等于5，更优选N大于或等于10；向所述的深度学习模型库输入每位患者的图像块数据集中所有图像块，所述的深度学习模型库输出每张图像块分别对应K种胶质瘤级别的概率；由此得到每位患者的N×K的矩阵，其中包含每位患者在每种胶质瘤级别上的特征向量；根据得到的所有患者的特征向量，针对K种胶质瘤的分级分别进行机器学习建模，得到K个机器学习模型。
CN202210425868.0A 2022-04-21 2022-04-21 一种基于病理图像的胶质瘤级别分析方法及装置 Pending CN114864075A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210425868.0A CN114864075A (zh) 2022-04-21 2022-04-21 一种基于病理图像的胶质瘤级别分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210425868.0A CN114864075A (zh) 2022-04-21 2022-04-21 一种基于病理图像的胶质瘤级别分析方法及装置

Publications (1)

Publication Number Publication Date
CN114864075A true CN114864075A (zh) 2022-08-05

Family

ID=82634092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210425868.0A Pending CN114864075A (zh) 2022-04-21 2022-04-21 一种基于病理图像的胶质瘤级别分析方法及装置

Country Status (1)

Country Link
CN (1) CN114864075A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272342A (zh) * 2022-09-29 2022-11-01 深圳大学 基于明场图像的细胞分化程度评估方法、存储介质及系统
CN117711579A (zh) * 2024-02-02 2024-03-15 首都医科大学宣武医院 基于多模态影像的脑胶质瘤病理可视化方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272342A (zh) * 2022-09-29 2022-11-01 深圳大学 基于明场图像的细胞分化程度评估方法、存储介质及系统
CN115272342B (zh) * 2022-09-29 2023-02-17 深圳大学 基于明场图像的细胞分化程度评估方法、存储介质及系统
CN117711579A (zh) * 2024-02-02 2024-03-15 首都医科大学宣武医院 基于多模态影像的脑胶质瘤病理可视化方法及装置

Similar Documents

Publication Publication Date Title
CN108364288B (zh) 用于乳腺癌病理图像的分割方法和装置
CN111986150B (zh) 一种数字病理图像的交互式标注精细化方法
CN110659692B (zh) 基于强化学习和深度神经网络的病理图像自动标注方法
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
CN106248559B (zh) 一种基于深度学习的白细胞五分类方法
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
US5828776A (en) Apparatus for identification and integration of multiple cell patterns
Mi et al. Deep learning-based multi-class classification of breast digital pathology images
CN114730463A (zh) 用于组织图像分类的多实例学习器
Wang et al. Weakly supervised learning for whole slide lung cancer image classification
Pan et al. Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review
CN114864075A (zh) 一种基于病理图像的胶质瘤级别分析方法及装置
CN110264454B (zh) 基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法
CN113221978A (zh) 基于弱监督学习的结直肠癌数字病理图像判别方法及系统
CN111860406A (zh) 基于区域混淆机制神经网络的血细胞显微图像分类方法
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
US20240054639A1 (en) Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework
Zhang et al. Histopathological image recognition of breast cancer based on three-channel reconstructed color slice feature fusion
Ning et al. Multiscale context-cascaded ensemble framework (MsC 2 EF): application to breast histopathological image
Arevalo et al. Hybrid image representation learning model with invariant features for basal cell carcinoma detection
CN107590806B (zh) 一种基于大脑医学成像的检测方法和系统
CN113420793A (zh) 一种基于改进的卷积神经网络ResNeSt50的胃印戒细胞癌分类方法
CN116884597A (zh) 基于自监督预训练和多示例学习的病理图像乳腺癌分子分型方法及系统
CN115775226B (zh) 基于Transformer的医学图像分类方法
US20230070874A1 (en) Learning representations of nuclei in histopathology images with contrastive loss

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination