CN113222933A - 一种应用于肾细胞癌全链条诊断的图像识别系统 - Google Patents

一种应用于肾细胞癌全链条诊断的图像识别系统 Download PDF

Info

Publication number
CN113222933A
CN113222933A CN202110520521.XA CN202110520521A CN113222933A CN 113222933 A CN113222933 A CN 113222933A CN 202110520521 A CN202110520521 A CN 202110520521A CN 113222933 A CN113222933 A CN 113222933A
Authority
CN
China
Prior art keywords
cancer
region
image
module
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110520521.XA
Other languages
English (en)
Other versions
CN113222933B (zh
Inventor
李辰
吴佳伦
高泽宇
张若楠
林思源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202110520521.XA priority Critical patent/CN113222933B/zh
Publication of CN113222933A publication Critical patent/CN113222933A/zh
Application granted granted Critical
Publication of CN113222933B publication Critical patent/CN113222933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种应用于肾细胞癌的全链条诊断的图像识别系统，包括图像切分模块，图像切分模块将经过癌症区域、癌症亚型以及癌症等级的标注后，对包含癌症基因组图谱TCGA和当地医院所提供的LH数据集的原病理图像进行切分，然后输入图像癌症区域检测模块对图像进行训练及预测，图像癌症区域检测模块处理后的图像由准确性提升模块进行准确度提升后，得到更为准确的癌症区域预测热力图，将预测为癌症的区域进行标记送至癌症区域分型模块进一步分型，得到癌症的细分亚型，分型后由报告输出模块输出图像识别结果报告；本发明能够利用深度学习的方法，快速准确对肾细胞癌病理图像进行分型分级识别，减轻对医生个人经验的依赖，降低诊断误差，实用高效。

Description

一种应用于肾细胞癌全链条诊断的图像识别系统
技术领域
本发明属于数字化病理图像处理与辅助诊断决策技术领域，具体涉及一种应用于肾细胞癌全链条诊断的图像识别系统。
背景技术
病理幻灯片诊断识别是一项复杂的任务，需要多年的病理学培训和积累。而经验丰富的病理医生面对幻灯片难免也会出现诊断失误。随着癌症患者的飞速增长，以及对病理医生的技术性要求高、培养周期长等因素，造成我国病理诊断面临着医疗资源分布不均、医生数量严重缺乏、水平参差不齐等难题。
人工智能作为病理学领域的一种新工具，使用智能病理辅助诊断技术进行病理信息的采集、管理和分析，可帮助病理医生减少很多工作负担，有效提高病理诊断的效率和准确性，提供更好的患者护理，而且在病理学的临床教学中能提供很好的支持。但目前的医学图像分析辅助诊断系统中使用的预测模型仍然过度依赖于基于病理学家经验的手动特征提取，它们的性能通常不足以应对临床实践中的医疗资源匮乏问题。
发明内容
为了克服上述现有技术的缺陷，本发明的目的在于提供一种应用于肾细胞癌的全链条诊断的图像识别系统，应用于数字化辅助病理诊断中肾癌的自动化辅助诊断以及自动化生成病理报告，能够利用深度学习的方法，快速准确对肾细胞癌病理图像进行分型分级识别，减轻对医生个人经验的依赖，降低诊断误差，具有客观快速、误差率低，实用高效的优点。
为了实现上述目的，本发明采取的技术方案为：
一种应用于肾细胞癌全链条诊断的图像识别系统，包括图像切分模块1，所述图像切分模块1对图像进行切分；切分后的图像在进行归一化染色后输入图像癌症区域检测模块2，并由图像癌症区域检测模块2对图像进行训练及预测，图像癌症区域检测模块2处理后的图像由准确性提升模块3进行准确度提升，得到更为准确的癌症区域预测热力图，将预测为癌症的区域进行标记送至癌症区域分型模块4进一步分型，得到癌症的细分亚型，分型后由报告输出模块5输出图像识别结果报告。
所述图像切分模块1采用数字病理学的开源平台OpenHI系统，将经过癌症区域、癌症亚型以及癌症等级三种不同粒度标注的包含癌症基因组图谱TCGA的原始病理图像，通过OpenHI系统中的图像切分功能，调用Python的OpenSlide函数接口对原始病理图像和带标注的病理图像进行图像切分操作。
所述图像切分操作具体为：将原病理图像按照边长为2000、步长为500进行分割，得到若干便于计算机处理的2000*2000的区域块，且两两区域块有重合部分，对于切分之后的病理图像，采用OpenHI系统中的染色归一化功能，根据病理图像的光密度及染色密度，将切分后的图像，进行染色归一化，所述染色归一化适用于苏木精—伊红染色法的病理图像。
所述图像癌症区域检测模块2采用数字病理学的开源平台OpenHI系统，将图像切分模块1处理后得到的若干带有癌症及非癌症标签的病理区域块输入到卷积神经网络模型中进行训练，训练中卷积神经网络会学习到癌症、非癌症区域块的特征，并将特征数据储存；将待诊断病理通过图像切分模块1切分并染色归一化后，得到若干未知标签的区域块输入到卷积神经网络中，与前面储存的特征数据对比得到该未知标签的区域块属于癌症的概率值，此过程即为“预测”；根据属于癌症的概率值大小对其区分染色，属于癌症的概率值越大，红色越深，随后使用OpenSlide函数库将所有未知标签的区域块重新拼接到一起，得到待诊断病理图像的癌症诊断概率图，即热图Heat-Map，从热图中直观地看出待诊断病理图像中各区域属于癌症的概率大小。
所述准确性提升模块3通过数字病理学的开源平台OpenHI系统对图像癌症区域检测模块2预测的概率值在0.2-0.8之间的未知标签的区域块，通过卷积神经网络模型方法进行准确性提升。
所述准确性提升方法为：
1)分别用以下三种方法对未知标签的区域块进行预测
对于概率值在0.2-0.8之间的未知标签的区域块，进行三次90度的顺时针旋转以及水平翻转、垂直翻转以及对角线翻转操作，得到七张经过数据增强的区域块，然后使用卷积神经网络对这七张区域块进行预测，得到的七个概率值取中位数，并将所得中位数与0.5的自定义阈值进行比较，所得中位数大于0.5视为癌症区域，反之则视为非癌症区域；
对于概率值在0.2-0.8之间的当前未知标签的区域块，进行放大20倍-40倍数的修改，并采用图像癌症区域检测模块2训练好的卷积神经网络对放大后的未知标签的区域块进行预测，得到其属于癌症的概率值，并与0.5的阈值进行比较，大于0.5视为癌症区域，反之则视为非癌症区域；
以概率值在0.2-0.8之间的未知标签的区域块为中心，选取其周围四个同样大小的区域块输入到卷积神经网络进行预测，得到四个概率值并取中位数，同时也将中位数与0.5的阈值进行比较，大于0.5视为癌症区域，反之则视为非癌症区域；
2)多数投票：以上三种方法结果中视为癌症区域占多数的，将其视为癌症。
所述癌症区域分型模块4包括癌症亚型分类模块6及癌症分级及分型模块7。
所述癌症亚型分类模块6通过数字病理学的开源平台OpenHI系统对准确性提升模块3处理后视为癌症的区域块进行肾细胞癌中透明细胞癌、乳头状细胞癌和嫌色细胞癌三种亚型的分类：首先将经过病理学家标注的带有三种不同亚型标签的病理区域块作为训练集，输入到卷积神经网络中进行训练，卷积神经网络学习到三种不同亚型的不同特征，然后将视为癌症的区域块输入到卷积神经网络中得到每个视为癌症的区域块属于各个亚型的概率值。
所述癌症分级及分型模块7通过数字病理学的开源平台OpenHI系统对准确性提升模块3处理后视为癌症的区域块进行准确性提升，再对视为癌症的区域块进行癌症的分级及分型。
所述癌症的分级及分型包括肾透明细胞癌分级和乳头状肾细胞癌分型，具体为：
1)所述肾透明细胞癌分级：将经过标注的含有等级标签的癌症区域块作为训练集输入到卷积神经网络中进行包含ISUP I、II、III、IV四种不同等级标签的癌症区域块的训练，具体做法如下：首先将带有IV级细胞标签和非四级细胞标签的癌症区域块输入到卷积神经网络中进行训练，训练完成之后，卷积神经网络学习到IV级细胞的特征，即可筛选出属于IV级癌症细胞的区域；之后再分别将带有I、II、III级细胞标签的癌症区域块输入到卷积神经网络中训练，卷积神经网络分别学习到这三种等级细胞的特征后，即可对非IV级癌症细胞进行三分类的预测，判断其属于哪种等级；卷积神经网络在对区域块进行预测时，输出的是该区域块属于某一种等级癌症的概率，当在视为癌症的区域块中，同时出现两种或者两种以上的癌症等级的情况，则按照如下的算法进行计算：
设第m张视为癌症区域的区域块中属于四种不同癌症等级的概率分别为G1m、G2m、G3m、G4m，那么该区域块分别属于四种不同等级的概率值为：
％G1＝∑G1m/∑G1m+∑G2m+∑G3m+∑G4m
％G2＝∑G2m/∑G1m+∑G2m+∑G3m+∑G4m
％G3＝∑G3m/∑G1m+∑G2m+∑G3m+∑G4m
％G4＝∑G4m/∑G1m+∑G2m+∑G3m+∑G4m
通过计算得到癌症等级概率，并在癌症区域位置生成属于癌症等级的概率图，通过叠加将癌症区域中分别属于不同等级以不同颜色进行表示；
2)所述乳头状肾细胞癌分型：分别采用传统机器学习的方法以及基于深度学习的方法来对不同亚型的乳头状肾细胞癌进行划分，具体流程如下：
a.传统机器学习的方法：对于带有I型和II型标签的乳头状肾细胞癌区域块，首先使用Python中的Pyradiomics函数库来提取区域块的特征，包括形态学特征、纹理特征，组成训练集，随后将组成训练集训练DT、GBDT两种传统机器学习模型，然后，使用训练好的传统机器学习模型来对未知标签的区域块进行分类；
b.深度学习的方法：将带有I型和II型标签的乳头状肾细胞癌区域块输入到VIT模型进行训练，让VIT模型学习两种亚型的特征，随后该模型即可对未知标签的区域块进行分类，即输出该区域块分别属于两种类型的概率。
所述报告输出模块5采用数字病理学的开源平台OpenHI系统，对经上述模块处理后的图像识别结果进行输出。
本发明与现有技术相比，具有以下技术优势：
本发明为深度学习算法在肾细胞癌病理学中新的应用，对于组织学数字切片中的肿瘤组织的识别与分类。我们的研究表明，卷积神经网络(例如Google的Inception v3网络)可用于组织病理学幻灯片对肾细胞癌的诊断：它正确地区分了正常组织与肿瘤组织，以高准确度区分了肾癌的亚型与分级，达到了与病理学家相当的敏感性和特异性。本发明中采用了三种不同的策略来提高肿瘤检测的准确性。这些策略需要为满足条件的区域块增加额外的计算量，但它们提升了分类准确度，这样的计算量增长是可以接受的。此外，对基于深度学习的模型进行新数据的后训练可大大提高模型的准确性，这对于模型的持续开发很重要。本发明展示了，深度学习中卷积神经网络可以帮助病理学家对肾细胞癌的全幻灯片图像进行分类并生成全病例报告。病理医生利用这些信息可以更有针对性的对病人进行治疗。
综上，本发明通过对临床得到的病理图像进行处理，利用深度学习法对处理切分后的病理图像进行训练、预测，快速准确对肾细胞癌病理图像进行分型分级结果输出，减轻对医生个人经验的依赖，降低诊断误差，具有客观快速、误差率低，实用高效的优点。
附图说明
图1为本发明癌症基因组图谱TCGA中不同等级和不同子类型的统计柱状图。
图2为本发明由病理学家标注的将癌症区域与正常区进行区分、并提供细粒度的亚型和分级标注原始数字病理全片图像，其中图2(a)为原始病理图像，图2(b)为病理学家标注区分癌症区域的病理图像。
图3为本发明三种不同亚型和四种不同癌症等级的癌症区域块的示例图。
图4为本发明肿瘤区域检测任务的网络结构框架的可视化实例。
图5为本发明对应图四的示例图。
图6为本发明癌症亚型和分级子任务的网络结构图。
图7为本发明病理诊断报告在整张幻灯片图像中包含患者的详细信息。
图8为本发明总模块信息。
图中：1、图像切分模块；2、图像癌症区域检测模块；3、准确性提升模块；4、癌症区域分型模块；5、诊断报告输出模块；6、癌症亚型分类模块；7、癌症分级及分型模块。
具体实施方式
下面参照附图对本发明做详细说明。
一种应用于肾细胞癌全链条诊断的图像识别系统，包括图像切分模块1，所述图像切分模块1对图像进行切分；切分后的图像在进行归一化染色后输入图像癌症区域检测模块2，并由图像癌症区域检测模块2对图像进行训练及预测，图像癌症区域检测模块2处理后的图像由准确性提升模块3进行准确度提升，得到更为准确的癌症区域预测热力图，将预测为癌症的区域进行标记送至癌症区域分型模块4进一步分型，得到癌症的细分亚型，分型后由报告输出模块5输出图像识别结果报告。
所述图像切分模块1采用数字病理学的开源平台OpenHI系统，将经过癌症区域、癌症亚型以及癌症等级三种不同粒度标注的包含癌症基因组图谱TCGA的原始病理图像，通过OpenHI系统中的图像切分功能，调用Python的OpenSlide函数接口对原始病理图像和带标注的病理图像进行图像切分操作。
所述图像切分操作具体为：将原病理图像按照边长为2000、步长为500进行分割，得到若干便于计算机处理的2000*2000的区域块，且两两区域块有重合部分，便于之后的模块可以进行更好的预测；对于切分之后的病理图像，采用OpenHI系统中的染色归一化功能，根据病理图像的光密度及染色密度，将切分后的图像，进行染色归一化。
所述图像癌症区域检测模块2采用数字病理学的开源平台OpenHI系统，将图像切分模块1处理后得到的若干带有癌症及非癌症标签的病理区域块输入到卷积神经网络模型中进行训练，训练中卷积神经网络会学习到癌症、非癌症区域块的特征，并将特征数据储存；将待诊断病理通过图像切分模块1切分并染色归一化后，得到若干未知标签的区域块输入到卷积神经网络中，与前面储存的特征数据对比得到该未知标签的区域块属于癌症的概率值，此过程即为“预测”；根据属于癌症的概率值大小对其区分染色，属于癌症的概率值越大，红色越深，随后使用OpenSlide函数库将所有未知标签的区域块重新拼接到一起，得到待诊断病理图像的癌症诊断概率图，即热图(Heat-Map)，从热图中直观地看出待诊断病理图像中各区域属于癌症的概率大小。
所述准确性提升模块3通过数字病理学的开源平台OpenHI系统对图像癌症区域检测模块2预测的概率值在0.2-0.8之间的未知标签的区域块，通过三种卷积神经网络模型方法进行准确性提升。
所述准确性提升方法为：
1)分别用以下三种方法对未知标签的区域块进行预测
对于概率值在0.2-0.8之间的未知标签的区域块，进行三次90度的顺时针旋转以及不同的翻转操作(水平翻转、垂直翻转以及对角线翻转)，得到七张经过数据增强的区域块，然后使用卷积神经网络对这七张区域块进行预测，得到的七个概率值取中位数，并将所得中位数与0.5的自定义阈值进行比较，所得中位数大于0.5视为癌症区域，反之则视为非癌症区域；
对于概率值在0.2-0.8之间的当前未知标签的区域块，进行放大20倍-40倍数的修改，并采用图像癌症区域检测模块2训练好的卷积神经网络对放大后的未知标签的区域块进行预测，得到其属于癌症的概率值，并与0.5的阈值进行比较，大于0.5视为癌症区域，反之则视为非癌症区域；
以概率值在0.2-0.8之间的未知标签的区域块为中心，选取其周围四个同样大小的区域块输入到卷积神经网络进行预测，得到四个概率值并取中位数，同时也将中位数与0.5的阈值进行比较，大于0.5视为癌症区域，反之则视为非癌症区域；
2)多数投票：以上三种方法结果中视为癌症区域占多数的，将其视为癌症。
所述癌症区域分型模块4包括癌症亚型分类模块6及癌症分级及分型模块7。
所述癌症亚型分类模块6通过数字病理学的开源平台OpenHI系统对准确性提升模块3处理后视为癌症的区域块进行肾细胞癌中透明细胞癌、乳头状细胞癌和嫌色细胞癌三种亚型的分类：首先将经过病理学家标注的带有三种不同亚型标签的病理区域块作为训练集，输入到卷积神经网络中进行训练，卷积神经网络学习到三种不同亚型的不同特征，然后将视为癌症的区域块输入到卷积神经网络中得到每个视为癌症的区域块属于各个亚型的概率值。
所述癌症分级及分型模块7通过数字病理学的开源平台OpenHI系统对准确性提升模块3处理后视为癌症的区域块进行准确性提升后，对视为癌症的区域块进行癌症的分级及分型。
所述癌症的分级及分型包括肾透明细胞癌分级和乳头状肾细胞癌分型：
1)所述肾透明细胞癌分级：将经过标注的含有等级标签的癌症区域块作为训练集输入到卷积神经网络中进行包含ISUP I、II、III、IV四种不同等级标签的癌症区域块的训练，具体做法如下：首先将带有IV级细胞标签和非四级细胞标签的癌症区域块输入到卷积神经网络中进行训练，训练完成之后，卷积神经网络学习到IV级细胞的特征，即可筛选出属于IV级癌症细胞的区域；之后再分别将带有I、II、III级细胞标签的癌症区域块输入到卷积神经网络中训练，卷积神经网络分别学习到这三种等级细胞的特征后，即可对非IV级癌症细胞进行三分类的预测，判断其属于哪种等级；卷积神经网络在对区域块进行预测时，输出的是该区域块属于某一种等级癌症的概率，当在视为癌症的区域块中，同时出现两种或者两种以上的癌症等级的情况，则按照如下的算法进行计算：
设第m张视为癌症区域的区域块中属于四种不同癌症等级的概率分别为G1m、G2m、G3m、G4m，那么该区域块分别属于四种不同等级的概率值为：
％G1＝∑G1m/∑G1m+∑G2m+∑G3m+∑G4m
％G2＝∑G2m/∑G1m+∑G2m+∑G3m+∑G4m
％G3＝∑G3m/∑G1m+∑G2m+∑G3m+∑G4m
％G4＝∑G4m/∑G1m+∑G2m+∑G3m+∑G4m
通过计算得到癌症等级概率，并在癌症区域位置生成属于癌症等级的概率图，通过叠加将癌症区域中分别属于不同等级以不同颜色进行表示；
2)所述乳头状肾细胞癌分型：分别采用传统机器学习的方法以及基于深度学习的方法来对不同亚型的乳头状肾细胞癌进行划分，具体流程如下：
a.传统机器学习的方法：对于带有I型和II型标签的乳头状肾细胞癌区域块，首先使用Python中的Pyradiomics函数库来提取区域块的特征，包括形态学特征、纹理特征，组成训练集，随后将组成训练集训练DT、GBDT两种传统机器学习模型，然后，使用训练好的传统机器学习模型来对未知标签的区域块进行分类；
b.深度学习的方法：将带有I型和II型标签的乳头状肾细胞癌区域块输入到VIT模型进行训练，让VIT模型学习两种亚型的特征，随后该模型即可对未知标签的区域块进行分类，即输出该区域块分别属于两种类型的概率。
所述报告输出模块5采用数字病理学的开源平台OpenHI系统，对经上述模块处理后的图像识别结果进行输出。
所述染色归一化适用于苏木精—伊红染色法的病理图像。
所述染色归一化为本领域熟知技术方法，不做赘述。
嫌色细胞癌临床不做分级。

Claims (10)

1.一种应用于肾细胞癌全链条诊断的图像识别系统，包括图像切分模块(1)，其特征在于：所述图像切分模块(1)对图像进行切分，切分后的图像在进行归一化染色后输入图像癌症区域检测模块(2)，并由图像癌症区域检测模块(2)对图像进行训练及预测，图像癌症区域检测模块(2)处理后的图像由准确性提升模块(3)进行准确度提升，得到更为准确的癌症区域预测热力图，将预测为癌症的区域进行标记并送至癌症区域分型模块(4)进一步分型，得到癌症的细分亚型，分型后由报告输出模块(5)输出图像识别结果报告。
2.根据权利要求1所述的一种应用于肾细胞癌全链条诊断的图像识别系统，其特征在于：所述图像切分模块(1)采用数字病理学的开源平台OpenHI系统，将经过癌症区域、癌症亚型以及癌症等级三种不同粒度标注的包含癌症基因组图谱TCGA的原始病理图像，通过OpenHI系统中的图像切分功能，调用Python的OpenSlide函数接口对原始病理图像和带标注的病理图像进行图像切分操作。
3.根据权利要求2所述的一种应用于肾细胞癌全链条诊断的图像识别系统，其特征在于：所述图像切分操作具体为：将原病理图像按照边长为2000、步长为500进行分割，得到若干便于计算机处理的2000*2000的区域块，且两两区域块有重合部分，对于切分之后的病理图像，采用OpenHI系统中的染色归一化功能，根据病理图像的光密度及染色密度，将切分后的图像，进行染色归一化，所述染色归一化适用于苏木精—伊红染色法的病理图像。
4.根据权利要求1所述的一种应用于肾细胞癌全链条诊断的图像识别系统，其特征在于：所述图像癌症区域检测模块(2)采用数字病理学的开源平台OpenHI系统，将图像切分模块(1)处理后得到的若干带有癌症及非癌症标签的病理区域块输入到卷积神经网络模型中进行训练，训练中卷积神经网络会学习到癌症、非癌症区域块的特征，并将特征数据储存；将待诊断病理通过图像切分模块(1)切分并染色归一化后，得到若干未知标签的区域块输入到卷积神经网络中，与前面储存的特征数据对比得到该未知标签的区域块属于癌症的概率值，此过程即为“预测”；根据属于癌症的概率值大小对其区分染色，属于癌症的概率值越大，红色越深，随后使用OpenSlide函数库将所有未知标签的区域块重新拼接到一起，就会得到待诊断病理图像的癌症诊断概率图，即热图Heat-Map，从热图中直观地看出待诊断病理图像中各区域属于癌症的概率大小。
5.根据权利要求1所述的一种应用于肾细胞癌全链条诊断的图像识别系统，其特征在于：所述准确性提升模块(3)通过数字病理学的开源平台OpenHI系统对图像癌症区域检测模块(2)预测的概率值在0.2-0.8之间的未知标签的区域块，通过卷积神经网络模型方法进行准确性提升。
6.根据权利要求5所述的一种应用于肾细胞癌全链条诊断的图像识别系统，其特征在于：所述准确性提升方法为：
1)分别用以下三种方法对未知标签的区域块进行预测
对于概率值在0.2-0.8之间的未知标签的区域块，进行三次90度的顺时针旋转以及水平翻转、垂直翻转以及对角线翻转操作，得到七张经过数据增强的区域块，然后使用卷积神经网络对这七张区域块进行预测，得到的七个概率值取中位数，并将所得中位数与0.5的自定义阈值进行比较，所得中位数大于0.5视为癌症区域，反之则视为非癌症区域；
对于概率值在0.2-0.8之间的当前未知标签的区域块，进行放大20倍-40倍数的修改，并采用图像癌症区域检测模块(2)训练好的卷积神经网络对放大后的未知标签的区域块进行预测，得到其属于癌症的概率值，并与0.5的阈值进行比较，大于0.5视为癌症区域，反之则视为非癌症区域；
以概率值在0.2-0.8之间的未知标签的区域块为中心，选取其周围四个同样大小的区域块输入到卷积神经网络进行预测，得到四个概率值并取中位数，同时也将中位数与0.5的阈值进行比较，大于0.5视为癌症区域，反之则视为非癌症区域；
2)多数投票：以上三种方法结果中视为癌症区域占多数的，将其视为癌症。
7.根据权利要求1所述的一种应用于肾细胞癌全链条诊断的图像识别系统，其特征在于：所述癌症区域分型模块(4)包括癌症亚型分类模块(6)及癌症分级及分型模块(7)。
8.根据权利要求7所述的一种应用于肾细胞癌全链条诊断的图像识别系统，其特征在于：所述癌症亚型分类模块(6)通过数字病理学的开源平台OpenHI系统对准确性提升模块(3)处理后视为癌症的区域块进行肾细胞癌中透明细胞癌、乳头状细胞癌和嫌色细胞癌三种亚型的分类：首先将经过标注的带有三种不同亚型标签的病理区域块作为训练集，输入到卷积神经网络中进行训练，卷积神经网络学习到三种不同亚型的不同特征，然后将视为癌症的区域块输入到卷积神经网络中得到每个视为癌症的区域块属于各个亚型的概率值；
所述癌症分级及分型模块(7)通过数字病理学的开源平台OpenHI系统对准确性提升模块(3)处理后视为癌症的区域块进行准确性提升后，对视为癌症的区域块进行癌症的分级及分型。
9.根据权利要求1所述的一种应用于肾细胞癌全链条诊断的图像识别系统，其特征在于：所述癌症的分级及分型包括肾透明细胞癌分级和乳头状肾细胞癌分型，具体为：
1)所述肾透明细胞癌分级：将经过标注的含有等级标签的癌症区域块作为训练集输入到卷积神经网络中进行包含ISUPI、II、III、IV四种不同等级标签的癌症区域块的训练，具体做法如下：首先将带有IV级细胞标签和非四级细胞标签的癌症区域块输入到卷积神经网络中进行训练，训练完成之后，卷积神经网络学习到IV级细胞的特征，即可筛选出属于IV级癌症细胞的区域；之后再分别将带有I、II、III级细胞标签的癌症区域块输入到卷积神经网络中训练，卷积神经网络分别学习到这三种等级细胞的特征后，即可对非IV级癌症细胞进行三分类的预测，判断其属于哪种等级；卷积神经网络在对区域块进行预测时，输出的是该区域块属于某一种等级癌症的概率，当在视为癌症的区域块中，同时出现两种或者两种以上的癌症等级的情况，则按照如下的算法进行计算：
设第m张视为癌症区域的区域块中属于四种不同癌症等级的概率分别为G1m、G2m、G3m、G4m，那么该区域块分别属于四种不同等级的概率值为：
％G1＝∑G1m/ΣG1m+∑G2m+∑G3m+∑G4m
％G2＝∑G2m/ΣG1m+∑G2m+∑G3m+∑G4m
％G3＝∑G3m/ΣG1m+∑G2m+∑G3m+∑G4m
％G4＝∑G4m/∑G1m+∑G2m+∑G3m+∑G4m
通过计算得到癌症等级概率，并在癌症区域位置生成属于癌症等级的概率图，通过叠加将癌症区域中分别属于不同等级以不同颜色进行表示；
2)所述乳头状肾细胞癌分型：分别采用传统机器学习的方法以及基于深度学习的方法来对不同亚型的乳头状肾细胞癌进行划分，具体流程如下：
a.传统机器学习的方法：对于带有I型和II型标签的乳头状肾细胞癌区域块，首先使用Python中的Pyradiomics函数库来提取区域块的特征，包括形态学特征、纹理特征，组成训练集，随后将组成训练集训练DT、GBDT两种传统机器学习模型，然后，使用训练好的传统机器学习模型来对未知标签的区域块进行分类；
b.深度学习的方法：将带有I型和II型标签的乳头状肾细胞癌区域块输入到VIT模型进行训练，让VIT模型学习两种亚型的特征，随后该模型即可对未知标签的区域块进行分类，即输出该区域块分别属于两种类型的概率。
10.根据权利要求1所述的一种应用于肾细胞癌全链条诊断的图像识别系统，其特征在于：所述报告输出模块(5)采用数字病理学的开源平台OpenHI系统，对经上述模块处理后的图像识别结果进行输出。
CN202110520521.XA 2021-05-13 2021-05-13 一种应用于肾细胞癌全链条诊断的图像识别系统 Active CN113222933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110520521.XA CN113222933B (zh) 2021-05-13 2021-05-13 一种应用于肾细胞癌全链条诊断的图像识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110520521.XA CN113222933B (zh) 2021-05-13 2021-05-13 一种应用于肾细胞癌全链条诊断的图像识别系统

Publications (2)

Publication Number Publication Date
CN113222933A true CN113222933A (zh) 2021-08-06
CN113222933B CN113222933B (zh) 2023-08-04

Family

ID=77095584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110520521.XA Active CN113222933B (zh) 2021-05-13 2021-05-13 一种应用于肾细胞癌全链条诊断的图像识别系统

Country Status (1)

Country Link
CN (1) CN113222933B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283136A (zh) * 2021-12-23 2022-04-05 西安交通大学 基于级联网络的癌症浸润检测方法
CN115063425A (zh) * 2022-08-18 2022-09-16 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于读片知识图谱的结构化检查所见生成方法及系统
CN117152509A (zh) * 2023-08-28 2023-12-01 北京透彻未来科技有限公司 基于级联深度学习的胃部病理诊断与分型系统
CN117373695A (zh) * 2023-10-12 2024-01-09 北京透彻未来科技有限公司 基于极深卷积神经网络的泛癌病理诊断系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2526509A1 (en) * 2010-01-22 2012-11-28 The Research Foundation Of The State University Of New York System and method for prostate visualization and cancer detection
US20160253466A1 (en) * 2013-10-10 2016-09-01 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes
CN109754879A (zh) * 2019-01-04 2019-05-14 湖南兰茜生物科技有限公司 一种基于深度学习的肺癌计算机辅助检测方法及系统
CN111488921A (zh) * 2020-03-30 2020-08-04 中国科学院深圳先进技术研究院 一种全景数字病理图像智能分析系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2526509A1 (en) * 2010-01-22 2012-11-28 The Research Foundation Of The State University Of New York System and method for prostate visualization and cancer detection
US20160253466A1 (en) * 2013-10-10 2016-09-01 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes
CN109754879A (zh) * 2019-01-04 2019-05-14 湖南兰茜生物科技有限公司 一种基于深度学习的肺癌计算机辅助检测方法及系统
CN111488921A (zh) * 2020-03-30 2020-08-04 中国科学院深圳先进技术研究院 一种全景数字病理图像智能分析系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
PINGFENG WANG等: "Health diagnostics using multi-attribute classification fusion", 《ENGINEERING APPLICATIONS OF ARTIFICIAL INTELLIGENCE》 *
ZIZHAO ZHANG等: "Pathologist-level interpretable whole-slide cancer diagnosis with deep learning", 《NATURE MACHINE INTELLIGENCE》 *
张瑶: "基于LIBS技术的淋巴瘤鉴别诊断与乳腺癌组织聚类分析研究", 《医药卫生科技辑》 *
闫佳伟: "基于多视图聚类的疾病分类方法研究", 《医药卫生科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283136A (zh) * 2021-12-23 2022-04-05 西安交通大学 基于级联网络的癌症浸润检测方法
CN114283136B (zh) * 2021-12-23 2023-10-27 西安交通大学 基于级联网络的癌症浸润检测方法
CN115063425A (zh) * 2022-08-18 2022-09-16 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于读片知识图谱的结构化检查所见生成方法及系统
CN115063425B (zh) * 2022-08-18 2022-11-11 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于读片知识图谱的结构化检查所见生成方法及系统
CN117152509A (zh) * 2023-08-28 2023-12-01 北京透彻未来科技有限公司 基于级联深度学习的胃部病理诊断与分型系统
CN117152509B (zh) * 2023-08-28 2024-04-30 北京透彻未来科技有限公司 基于级联深度学习的胃部病理诊断与分型系统
CN117373695A (zh) * 2023-10-12 2024-01-09 北京透彻未来科技有限公司 基于极深卷积神经网络的泛癌病理诊断系统
CN117373695B (zh) * 2023-10-12 2024-05-17 北京透彻未来科技有限公司 基于极深卷积神经网络的泛癌病理诊断系统

Also Published As

Publication number Publication date
CN113222933B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN113222933B (zh) 一种应用于肾细胞癌全链条诊断的图像识别系统
CN112288706B (zh) 一种自动化的染色体核型分析以及异常检测方法
CN109117703B (zh) 一种基于细粒度识别的混杂细胞种类鉴定方法
CN111402267A (zh) 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端
CN111784711A (zh) 一种基于深度学习的肺部病理图像分类与分割方法
CN112270317A (zh) 一种基于深度学习和帧差法的传统数字水表读数识别方法
CN112990214A (zh) 一种医学图像特征识别预测模型
CN112001939A (zh) 基于边缘知识转化的图像前景分割算法
CN113160185A (zh) 一种利用生成边界位置指导宫颈细胞分割的方法
CN113256618A (zh) 一种基于ihc染色的肿瘤识别系统及方法
CN115601330A (zh) 一种基于多尺度空间反向注意力机制的结肠息肉分割方法
CN115359264A (zh) 一种密集型分布的粘连细胞深度学习识别方法
CN113610760A (zh) 一种基于u型残差神经网络的细胞图像分割示踪方法
CN112508860A (zh) 一种免疫组化图像核阳性的人工智能判读方法及系统
CN112233085A (zh) 一种基于像素预测增强的宫颈细胞图像分割方法
CN111986802A (zh) 一种肺腺癌病理分化等级的辅助判定系统及方法
Pan et al. A review of machine learning approaches, challenges and prospects for computational tumor pathology
CN115496716A (zh) 基于深度学习的单双微核细胞图像检测方法及相关设备
Wang et al. A novel dataset and a deep learning method for mitosis nuclei segmentation and classification
Mao et al. W-net: A two-stage convolutional network for nucleus detection in histopathology image
CN111815554A (zh) 一种基于边缘搜索mrf模型的宫颈细胞图像分割方法
CN112070722A (zh) 一种荧光原位杂交细胞核分割方法及系统
CN112819042A (zh) 一种食管鳞状上皮异型增生图像的处理方法、系统及介质
Cao et al. Patch-to-Sample Reasoning for Cervical Cancer Screening of Whole Slide Image
CN116705289B (zh) 基于语义分割网络的宫颈病理诊断装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant