CN115036011B - 基于数字病理图像进行实体肿瘤预后评估的系统 - Google Patents

基于数字病理图像进行实体肿瘤预后评估的系统 Download PDF

Info

Publication number
CN115036011B
CN115036011B CN202210956524.2A CN202210956524A CN115036011B CN 115036011 B CN115036011 B CN 115036011B CN 202210956524 A CN202210956524 A CN 202210956524A CN 115036011 B CN115036011 B CN 115036011B
Authority
CN
China
Prior art keywords
image
preset magnification
images
tumor
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210956524.2A
Other languages
English (en)
Other versions
CN115036011A (zh
Inventor
毛丽君
邬晓燕
朱炜焰
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mei Ao Technology Guangzhou Co ltd
Original Assignee
Mei Ao Technology Guangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mei Ao Technology Guangzhou Co ltd filed Critical Mei Ao Technology Guangzhou Co ltd
Priority to CN202210956524.2A priority Critical patent/CN115036011B/zh
Publication of CN115036011A publication Critical patent/CN115036011A/zh
Application granted granted Critical
Publication of CN115036011B publication Critical patent/CN115036011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于数字病理图像进行肿瘤预后预测的系统，其涉及数字图像处理技术，该系统包括：数据输入模块，用于将肿瘤病理标本进行预处理，并通过数字化成像形成HE染色的WSI图像；预后智能分析模块，用于基于神经卷积网络所训练成型的智能评估系统对HE染色的WSI图像进行处理，得到预后评估结果。本发明通过神经网络进行分类识别预测，能得出肿瘤患者的预后评估分组结果，最终可以实现客观而准确的预后评估结果，使得该结果能辅助医生制定相应的治疗和随访策略。

Description

基于数字病理图像进行实体肿瘤预后评估的系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于数字病理图像进行实体肿瘤预后评估的系统。
背景技术
恶性肿瘤的预后是指肿瘤患者的临床转归情况的预估和判断，常用的临床评估指标包括早期手术患者的术后复发风险、术后无病生存时间、晚期患者用药后的无复发生存时间、疾病稳定时间，和肿瘤患者的总体生存时间等。根据肿瘤的预后评估，可以让临床医生有的放矢地对患者制定适合的治疗策略、确定适合的随访间隔，对改善个体化治疗效果、确保患者的生活质量等有重要的临床指导意义。
针对各类型恶性肿瘤，通过外科手术或穿刺活检取得的肿瘤组织的病理诊断和分析，可以了解肿瘤类型、分期、手术切缘是否干净等等情况。但目前大部分的病理诊断基于病理医生肉眼观察和主观判断，不同病理医生的主观判断偏差较大，对肿瘤预后的指导缺乏客观依据。
HE染色是组织学上常用的染色方法，也常用于癌病理组织的染色，苏木精染液呈碱性，伊红染液呈酸性。由于组织或者细胞中各组成成分对酸性或者碱性的亲和力以及染色性质不同，染色后会呈现不同层次的颜色。由于其成本低廉，操作简便，在临床病理诊断中应用最为广泛。
随着数字病理的发展，有些通过特殊的样本预处理和特殊染色，可以检测如DNA倍性、核型等，辅助病理医生对病理切片进行图像分析和预后判断。现有技术中，尚缺乏基于最常见的HE染色切片的数字病理图像可进行肿瘤患者的预后评估工具。
HE的病理切片可通过显微镜或病理扫描仪转化成数字病理图像，病理切片的全切片扫描图像（WSI）是通过病理扫描仪通过对成百甚至上千个视野连续拍摄并合并成的，在不同的设定放大倍数下图像有不同的大小尺寸和像素，但总的来说，数字病理图像都有超高像素，超大尺寸的特点，这也给图像分析带来障碍。
人工智能图像分析越来越多用于图像的处理，尤其是基于计算机神经网络的深度学习取得了迅速的发展。但是由于深度学习带有一定的随机性，在对病理组织这样的复杂图像分析中有时会带来一定概率的偏差。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于数字病理图像进行肿瘤预后评估的系统，其通过对数字病理图像的快速分析处理，能实现客观并准确预测患者术后复发风险。
为了解决上述问题，本发明提出了一种基于数字病理图像进行实体肿瘤预后评估的系统，所述系统包括：
数据输入模块，用于将肿瘤病理标本进行预处理，并通过数字化成像形成HE染色的WSI图像；
预后智能分析模块，用于基于神经卷积网络所训练成型的智能评估系统对HE染色的WSI图像进行处理，得到预后评估结果；
所述预后智能分析模块包括：
图像切分单元，用于对WSI图像按照预设放大倍数进行切分处理，获取切分小图像，所述切分小图像按照预设图像大小值进行切分处理；
特征提取单元，用于基于神经网络的编码器对所述切分小图像进行编码处理生成特征图像；
降维统一单元，用于将所述特征图像进行降维统一处理，使得输入到神经网络中的降维统一图像大小一致；
分类预测单元，用于将所述降维统一图像输入到神经网络进行分类预测，得出肿瘤预后评估结果。
所述将肿瘤病理标本进行预处理包括：
对肿瘤病理标本进行制片，并对制片后的肿瘤病理标本进行HE染色处理。
所述对WSI图像按照预设放大倍数进行切分处理包括：
对WSI图像按照第一预设放大倍数进行切分处理，得到第一预设放大倍数下的切分小图像；
对WSI图像按照第二预设放大倍数进行切分处理，得到第二预设放大倍数下的切分小图像。
所述基于神经网络的编码器对所述切分小图像进行编码处理生成特征图像包括：
基于神经网络的编码器对第一预设放大倍数下的切分小图像进行编码处理生成第一预设放大倍数下的特征图像；
基于神经网络的编码器对第二预设放大倍数下的切分小图像进行编码处理生成第二预设放大倍数下的特征图像。
所述将所述特征图像进行降维统一处理，使得输入到神经网络中的降维统一图像大小一致包括：
将第一预设放大倍数下的特征图像进行降维统一处理，使得输入到神经网络中的第一预设放大倍数下的降维统一图像大小一致；
将第二预设放大倍数下的特征图像进行降维统一处理，使得输入到神经网络中的第二预设放大倍数下的降维统一图像大小一致。
所述将所述降维统一图像输入到神经网络进行分类预测，得出肿瘤预后评估结果包括：
将所述第一预设放大倍数下的降维统一图像输入到神经网络进行分类预测，得出第一预设放大倍数下的肿瘤预后评估结果；
将所述第二预设放大倍数下的降维统一图像输入到神经网络进行分类预测，得出第二预设放大倍数下的肿瘤预后评估结果。
所述基于神经卷积网络所训练成型的智能评估系统对HE染色的WSI图像进行处理还包括：
对所述第一预设放大倍数下的肿瘤预后评估结果和所述第二预设放大倍数下的肿瘤预后评估结果进行融合处理，得到预测融合结果。
本发明通过对肿瘤患者病理图像的WSI图片按照预设放大倍数进行切分处理，然后将切分小图像进行特征提取生成特征图像，将特征图像进行统一数据形式的规范，然后通过神经网络进行分类识别预测，能得出肿瘤患者的预后评估分组结果，最终可以实现客观而准确的预后评估结果，使得该结果能辅助医生制定相应的治疗和随访策略。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于数字病理图像进行实体肿瘤预后评估的方法流程图；
图2是本发明实施例中的基于神经卷积网络所训练成型的智能评估系统对HE染色的WSI图像进行处理方法流程示意图；
图3是本发明实施例中的基于数字病理图像进行实体肿瘤预后评估的系统结构示意图；
图4是本发明实施例中的预后智能分析模块结构示意图；
图5是本发明一个实施例中的基于数字病理图像可以将患者分为预后风险高低不同的两组的示意图，包括两组患者无病生存和总生存曲线对比；
图6是本发明另一个实施例中的基于数字病理图像可以将患者分为预后风险高低不同的三组的示意图，包括三组患者无病生存和总生存曲线对比。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例中所涉及的基于数字病理图像进行实体肿瘤预后评估的方法，所述方法包括：将肿瘤病理标本进行预处理，并通过数字化成像形成HE染色的WSI图像；基于神经卷积网络所训练成型的智能评估系统对HE染色的WSI图像进行处理，得到预后评估结果。
需要说明的是，这里数字病理图像是HE染色的病理切片，实体肿瘤可包括：肝脏肿瘤（肝细胞肝癌）、胃癌、肠癌等类型的实体肿瘤或者癌症。
这里用肿瘤患者（肝癌为例）术后的病理切片的HE染色扫描图像进行作为输入，通过神经网络人工智能深度学习的算法的训练，将患者实际临床结果（回顾性样本的预后相关的数据，例如术后无病生存时间和总生存时间）为对照做自监督学习，并与病理数据进行对比，以此达到深度学习训练结果，获得算法模型。
具体的，图1示出了本发明实例中的基于数字病理图像进行实体肿瘤预后评估的方法流程图，包括以下步骤：
S101、将肿瘤病理标本进行预处理，并通过数字化成像形成HE染色的WSI图像；
需要说明的是，这里将肿瘤病理标本进行预处理包括：对肿瘤病理标本进行制片，并对制片后的肿瘤病理标本进行HE染色处理。
需要说明的是，苏木精-伊红染色法 ( hematoxylin-eosin staining ) ，简称HE染色法 ，石蜡切片技术里常用的染色法之一 。苏木精染液为碱性，主要使细胞核内的染色质与胞质内的核糖体着紫蓝色；伊红为酸性染料，主要使细胞质和细胞外基质中的成分着红色。HE染色法是组织学、胚胎学、病理学教学与科研中最基本、使用最广泛的技术方法。
S102、对WSI图像按照预设放大倍数进行切分处理，获取切分小图像，所述切分小图像按照预设图像大小值进行切分处理；
需要说明的是，全视野数字病理影像图片（whole-slide images，WSI）往往是10000×10000分辨率以上，对于过大的图像，需要对其进行切分，才能进行训练。
本发明实施例中可以将苏木精-伊红染色（HE）染色肝癌组织切片的数字病理图像作为输入（简称为：WSI图像），原WSI图像在40倍下的大小约为100000 * 100000像素。WSI图像大约是100000*100000像素非常大的图像，如果直接用原图像进行机器学习训练，造成数据处理量过大，使得机器学习训练无法实现。这里需要将WSI图像切分为小的图像，以进行机器学习模型的训练。但是由于WSI图像的尺寸不是固定的，所以切分出来的小图像数量也不是固定的，较难做到统一。还有就是切分出来的小图像数量非常多，也不可能一次性输入到模型进行训练。
具体的，这里对全视野数字病理影像图片WSI按照预设放大倍数进行切分处理包括：对WSI按照第一预设放大倍数进行切分处理，得到第一预设放大倍数下的切分小图像；对WSI按照第二预设放大倍数进行切分处理，得到第二预设放大倍数下的切分小图像。
这里对HE染色肝癌组织切片的数字病理图像分别在第一预设倍数放大的原始图像和第二预设放大倍数放大的原始图像，进行切分小图像。在第一预设放大倍数下的小图像大小为512*512像素，每个像素约为0.25*0.25微米，而在第二预设放大倍数下的小图像大小为2048*2048像素，每个像素约为1*1微米，这里需要把第二预设放大倍数下的图像经过缩放调整为512*512像素。这里通过对切分小图像使得图像要素能进行机器学习模型的训练和输出。
S103、基于神经网络的编码器对所述切分小图像进行编码处理生成特征图像；
这里所述基于神经网络的编码器对所述切分小图像进行编码处理生成特征图像包括：基于神经网络的编码器对第一预设放大倍数下的切分小图像进行编码处理生成第一预设放大倍数下的特征图像；基于神经网络的编码器对第二预设放大倍数下的切分小图像进行编码处理生成第二预设放大倍数下的特征图像。
每个WSI图像切分出来的小图像，分别按批次输入到特征提取模型中进行特征处理，然后将每个小图像得到的特征全部聚集在一起。特征提取模型是基于神经网络训练好的编码器-解码器模型进行处理，这里仅通过解码器来生成特征图像，其不涉及解码器的解码过程。
在训练编码器-解码器模型，在把切分的小图像输入到编码器-解码器模型后，这个过程就是前向传播。编码器-解码器模型输出一个与输入图像尺寸一样的图像，这样可以比较它们的相似度，然后通过梯度下降的方法反向传播来训练模型，使得模型的输入与输出的图像尽可能相同。在基于神经网络训练好编码器-解码器模型后，本发明实施例中丢弃解码器部分，得到了所需要的特征提取模型来输出特征图像。
经过S102所得到的切分小图像有非常多，不可能一次性输入到神经网络模型中，这里通过神经网络模型的编码器来生成的特征图像相当于压缩了切分小图像，该特征图像相对于S102中的切分小图像就变小了，这样就可以全部将切分的小图像输入到特征提取模型后统一聚集起来，然后再输入到后面的模型成为可能。
S104、将所述特征图像进行降维统一处理，使得输入到神经网络中的降维统一图像大小一致；
需要说明的是，所述将所述特征图像进行降维统一处理，使得输入到神经网络中的降维统一图像大小一致包括：将第一预设放大倍数下的特征图像进行降维统一处理，使得输入到神经网络中的第一预设放大倍数下的降维统一图像大小一致；将第二预设放大倍数下的特征图像进行降维统一处理，使得输入到神经网络中的第二预设放大倍数下的降维统一图像大小一致。
在每个WSI图像切分出来的小图像分别按批次输入到特征提取模型完成特征图像处理后，实现了每个小图像得到的特征全部聚集在一起，这里将提取的特征图像经过降维统一模型后，得到尺寸相同的特征特性后，输入到分类模型，就可以得到的分类结果。
由于WSI图像的尺寸不是固定的，所以切分出来的小图像数量也不是固定的，较难做到统一。还有就是切分出来的小图像数量非常多，也不可能一次性输入到模型进行训练，这里通过降维统一处理之后，使得输出到分类模型的输入大小是一致的，实现数据在数量上的统一，方便神经网络进行训练处理过程。
S105、将所述降维统一图像输入到神经网络进行分类预测，得出肿瘤预后评估结果；
所述将所述降维统一图像输入到神经网络进行分类预测，得出肿瘤预后评估结果包括：将所述第一预设放大倍数下的降维统一图像输入到神经网络进行分类预测，得出第一预设放大倍数下的肿瘤预后评估结果；将所述第二预设放大倍数下的降维统一图像输入到神经网络进行分类预测，得出第二预设放大倍数下的肿瘤预后评估结果。
S105中的分类模型是由一个简单的神经网络构成，利用提取到的特征输入到分类模型，然后输出分类的预测，此阶段的输出为预后良好或预后不好，神经网络可以参考不同倍率的切分图像来完成肿瘤预后评估结果，从而得到不同放大倍数下的结果输出。
S106、对所述第一预设放大倍数下的肿瘤预后评估结果和所述第二预设放大倍数下的肿瘤预后评估结果进行融合处理，得到预测融合结果。
这里将第一预设放大倍数下的分类模型得到的结果与第二预设放大倍数下的分类模型得到的结果进行融合，可以得到将患者预后分为3组的方法：两模型输出结果均为预后良好，则结果判定为预后良好；如果两模型输出同为预后不良，则结果判定为预后不良；如果两模型输出结果不一致则，则结果判定为预后中等。
本发明实施例所提供的方法，通过对WSI图片按照预设放大倍数进行切分处理，然后将切分小图像进行特征提取生成特征图像，将特征图像进行统一数据形式的规范，然后通过神经网络进行分类识别预测，能得出肿瘤预后评估结果，最终可以实现客观而准确的预测结果，使得该预测结果能辅助医生完成相应的治疗。
相应的，图2示出了本发明实施例中的基于神经卷积网络所训练成型的智能评估系统对HE染色的WSI图像进行处理方法流程示意图，其经过S101中所成型的WSI图像，经过S102中进入切分处理，即40倍切分WSI成小图像、10倍切分WSI成小图像后，经过S103中进入各自的特征提取模型进行数据处理，经过S104中进入各自降维统一模型进行数据处理，经过S105中进入各自分类模型进行数据处理，最终经过S106进行结果融合输出。
这里对实体瘤（如肝癌）HE病理图像进行处理，通过两个预设放大倍数的图像作为输入，分别独立地通过神经网络的模型对应临床预后结果进行深度学习，通过融合降低深度学习模型随机性带来的偏差。
相应的，图3示出了本发明实施例中的基于数字病理图像进行实体肿瘤预后评估的系统结构示意图，该系统包括：
数据输入模块，用于将肿瘤病理标本进行预处理，并通过数字化成像形成HE染色的WSI图像；
预后智能分析模块，用于基于神经卷积网络所训练成型的智能评估系统对HE染色的WSI图像进行处理，得到预后评估结果。
相应的，图4示出了本发明实施例中的预后智能分析模块结构示意图，该预后智能分析模块包括：
图像切分单元，用于对WSI图像按照预设放大倍数进行切分处理，获取切分小图像，所述切分小图像按照预设图像大小值进行切分处理；
特征提取单元，用于基于神经网络的编码器对所述切分小图像进行编码处理生成特征图像；
降维统一单元，用于将所述特征图像进行降维统一处理，使得输入到神经网络中的降维统一图像大小一致；
分类预测单元，用于将所述降维统一图像输入到神经网络进行分类预测，得出肿瘤预后评估结果；
融合输出单元，用于对所述第一预设放大倍数下的肿瘤预后评估结果和所述第二预设放大倍数下的肿瘤预后评估结果进行融合处理，得到预测融合结果。
需要说明的是，这里图3和图4所涉及的处理机制与图1和图2所示相同，即每个模块或者单元中的方法处理机制可以参考图1和图2所示的方法原理，这里不再一一赘述。
需要说明的是，预设放大倍数包括：第一预设放大倍数和第二预设放大倍数。第一预设放大倍数下的切分小图像大小为512*512像素，每个像素为0.25*0.25微米；第二预设放大倍数下的切分小图像大小为2048*2048像素，每个像素为1*1微米，并将第二预设放大倍数下的切分小图像经过缩放调整为512*512像素。以上仅为一种实施情况，其可以结合不同的预设情况进行放大倍数处理，其原理都类似，这里不再一一赘述。
由于WSI图像大约是100000*100000像素非常大的图像，如果直接用原图像进行机器学习训练，在常规条件下无法实现，这里将WSI图像切分为小的图像，以进行机器学习模型的训练。但是由于WSI图像的尺寸不是固定的，所以切分出来的小图像数量也不是固定的，较难做到统一。还有就是切分出来的小图像数量非常多，也不可能一次性输入到神经网络模型进行训练。在本发明实施例中把切分出来的小图像，利用自监督学习的方法，实现了编码器-解码器模型的训练。然后用训练好的编码器-解码器模型去掉解码器部分，作为特征提取模型，所得到的切分小图像有非常多，不可能一次性输入到神经网络模型中，这里通过神经网络模型的编码器来生成的特征图像相当于压缩了切分小图像，该特征图像相切分小图像就变小了，这样就可以全部将切分的小图像输入到特征提取模型后统一聚集起来，然后再输入到后面的模型成为可能，从而解决了切片小图像数量多的问题。这里降维统一模型，实现对小图像数量不统一的问题，这个模型将每个WSI切分出来后由于小图像数量不统一，输入到这个模型，可以实现了数据在数量上的统一。
图5示出了本发明一个实施例中的基于数字病理图像进行术后预测的风险示意图，在87例肝癌患者的预测风险预测中，该风险预测模型能把预后良好与预测不良的患者分为两组，预后良好组（good prognosis）和预后不良组（poor prognosis）的肿瘤复发风险比（Hazard Ratio，HR）达到1.74，p<0.05，具有统计学意义；两组间的总体患者死亡风险比（Hazard Ratio，HR）达到2.09，p<0.05，也具有统计学意义。这里的第一预设放大倍数为40倍率，第二预设放大倍数为10倍率。
图6示出了本发明的另一个实施例效果示意图，该实施例中，本发明可以将肝癌患者，通过其病理切片的数字图像分析，评估其术后肿瘤复发或死亡的风险；在对87例患者的预后评估中，用该模型能把患者分为3组：预后良好组（good prognosis）、预后中等组（midPrognosis）和预后不良组（poor prognosis）；预后良好组和预后不良组的术后的复发风险比（Hazard Ratio，HR）达到3.2884， p<0.01；患者的总生存死亡风险比（Hazard Ratio，HR）达到了4.4327，p<0.001; 预后良好组和预后不良组间无论复发和死亡的风险比差异都具有显著的统计学意义，预后中等组的数据也显示明显的差异趋势。这里的第一预设放大倍数为10倍率，第二预设放大倍数为10倍率。
本发明实施例所提供的系统，通过对WSI图片按照预设放大倍数进行切分处理，然后将切分小图像进行特征提取生成特征图像，将特征图像进行统一数据形式的规范，然后通过神经网络进行分类识别预测，能得出肿瘤预后评估结果，最终可以实现客观而准确的预测结果，使得该预测结果能辅助医生完成相应的治疗。
以上对本发明实施例进行了详细介绍，本文中采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于数字病理图像进行实体肿瘤预后评估的系统，其特征在于，所述系统包括：
数据输入模块，用于将肿瘤病理标本进行预处理，并通过数字化成像形成HE染色的WSI图像；
预后智能分析模块，用于基于神经卷积网络所训练成型的智能评估系统对HE染色的WSI图像进行处理，得到预后评估结果；
所述预后智能分析模块包括：
图像切分单元，用于对WSI图像按照预设放大倍数进行切分处理，获取切分小图像，所述切分小图像按照预设图像大小值进行切分处理；
特征提取单元，用于基于神经网络的编码器对所述切分小图像进行编码处理生成特征图像；
降维统一单元，用于将所述特征图像进行降维统一处理，使得输入到神经网络中的降维统一图像大小一致；
分类预测单元，用于将所述降维统一图像输入到神经网络进行分类预测，得出肿瘤预后评估结果；
所述对WSI图像按照预设放大倍数进行切分处理包括：
对WSI图像按照第一预设放大倍数进行切分处理，得到第一预设放大倍数下的切分小图像；
对WSI图像按照第二预设放大倍数进行切分处理，得到第二预设放大倍数下的切分小图像；
所述将所述降维统一图像输入到神经网络进行分类预测，得出肿瘤预后评估结果包括：
将所述第一预设放大倍数下的降维统一图像输入到神经网络进行分类预测，得出第一预设放大倍数下的肿瘤预后评估结果；
将所述第二预设放大倍数下的降维统一图像输入到神经网络进行分类预测，得出第二预设放大倍数下的肿瘤预后评估结果；
所述基于神经卷积网络所训练成型的智能评估系统对HE染色的WSI图像进行处理包括：
对所述第一预设放大倍数下的肿瘤预后评估结果和所述第二预设放大倍数下的肿瘤预后评估结果进行融合处理，得到预测融合结果。
2.如权利要求1所述的基于数字病理图像进行实体肿瘤预后评估的系统，其特征在于，所述将肿瘤病理标本进行预处理包括：
对肿瘤病理标本进行制片，并对制片后的肿瘤病理标本进行HE染色处理。
3.如权利要求1所述的基于数字病理图像进行实体肿瘤预后评估的系统，其特征在于，所述基于神经网络的编码器对所述切分小图像进行编码处理生成特征图像包括：
基于神经网络的编码器对第一预设放大倍数下的切分小图像进行编码处理生成第一预设放大倍数下的特征图像；
基于神经网络的编码器对第二预设放大倍数下的切分小图像进行编码处理生成第二预设放大倍数下的特征图像。
4.如权利要求3所述的基于数字病理图像进行实体肿瘤预后评估的系统，其特征在于，所述将所述特征图像进行降维统一处理，使得输入到神经网络中的降维统一图像大小一致包括：
将第一预设放大倍数下的特征图像进行降维统一处理，使得输入到神经网络中的第一预设放大倍数下的降维统一图像大小一致；
将第二预设放大倍数下的特征图像进行降维统一处理，使得输入到神经网络中的第二预设放大倍数下的降维统一图像大小一致。
CN202210956524.2A 2022-08-10 2022-08-10 基于数字病理图像进行实体肿瘤预后评估的系统 Active CN115036011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210956524.2A CN115036011B (zh) 2022-08-10 2022-08-10 基于数字病理图像进行实体肿瘤预后评估的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210956524.2A CN115036011B (zh) 2022-08-10 2022-08-10 基于数字病理图像进行实体肿瘤预后评估的系统

Publications (2)

Publication Number Publication Date
CN115036011A CN115036011A (zh) 2022-09-09
CN115036011B true CN115036011B (zh) 2022-12-02

Family

ID=83130236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210956524.2A Active CN115036011B (zh) 2022-08-10 2022-08-10 基于数字病理图像进行实体肿瘤预后评估的系统

Country Status (1)

Country Link
CN (1) CN115036011B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10528848B2 (en) * 2016-11-04 2020-01-07 Case Western Reserve University Histomorphometric classifier to predict cardiac failure from whole-slide hematoxylin and eosin stained images
US10846367B2 (en) * 2017-09-15 2020-11-24 Case Western Reserve University University Predicting recurrence in early stage non-small cell lung cancer (NSCLC) with integrated radiomic and pathomic features
US11107583B2 (en) * 2018-03-20 2021-08-31 Case Western Reserve University Sequential integration of adversarial networks with handcrafted features (SANwicH): identifying sites of prognostic significance for predicting cancer recurrence
CN109754879A (zh) * 2019-01-04 2019-05-14 湖南兰茜生物科技有限公司 一种基于深度学习的肺癌计算机辅助检测方法及系统
US11494900B2 (en) * 2019-07-26 2022-11-08 Case Western Reserve University Prognosis of prostate cancer with computerized histomorphometric features of tumor morphology from routine hematoxylin and eosin slides
CN112802600B (zh) * 2021-02-07 2023-01-13 山东第一医科大学附属省立医院(山东省立医院) 软组织肿瘤信息化病理辅助诊断全程监管系统及方法
CN113591919B (zh) * 2021-06-29 2023-07-21 复旦大学附属中山医院 基于ai对早期肝细胞癌术后复发预后的分析方法及系统
CN114076707A (zh) * 2021-11-17 2022-02-22 梅傲科技(广州)有限公司 用于肿瘤预后评估的石蜡包埋组织样本处理方法及试剂盒

Also Published As

Publication number Publication date
CN115036011A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN109670510B (zh) 一种基于深度学习的胃镜活检病理数据筛查系统
Das et al. Computer-aided histopathological image analysis techniques for automated nuclear atypia scoring of breast cancer: a review
US9684960B2 (en) Automated histological diagnosis of bacterial infection using image analysis
Kanwal et al. The devil is in the details: Whole slide image acquisition and processing for artifacts detection, color variation, and data augmentation: A review
CN110245657B (zh) 病理图像相似性检测方法及检测装置
CN117476112A (zh) 染色体自动化分析方法
Osman et al. A genetic algorithm-neural network approach for Mycobacterium tuberculosis detection in Ziehl-Neelsen stained tissue slide images
US20240079116A1 (en) Automated segmentation of artifacts in histopathology images
CN111863118A (zh) 基于tct制片进行tct和dna倍体分析的方法
Kanwal et al. Quantifying the effect of color processing on blood and damaged tissue detection in whole slide images
Abbasi-Sureshjani et al. Molecular subtype prediction for breast cancer using H&E specialized backbone
CN113256617B (zh) 一种病理切片虚拟免疫组化染色方法及系统
CN112420170B (zh) 一种提高计算机辅助诊断系统图片分类准确度的方法
CN115036011B (zh) 基于数字病理图像进行实体肿瘤预后评估的系统
Bhattacharjee et al. Multichannel convolution neural network classification for the detection of histological pattern in prostate biopsy images
Guerrero et al. Improvements in lymphocytes detection using deep learning with a preprocessing stage
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
Ramarolahy et al. Classification and generation of microscopy images with plasmodium falciparum via artificial neural networks using low cost settings
Liu et al. A stain normalization method for the white blood cell image
Mackay et al. Deep Learning for the Automated Feature Labelling of 3-Dimensional Imaged Placenta
US20240104730A1 (en) Systems and methods of correcting batch effect in biological images
Nofallah et al. Automated analysis of whole slide digital skin biopsy images
Grzeszczyk et al. Segmentation of the veterinary cytological images for fast neoplastic tumors diagnosis
Budginaitė Neural network based segmentation of cell nuclei and lymphocyte detection in whole slide histology images
Xu Comparison of Convolutional Neural Network and Capsule Network in Image Recognition-A Case Study of Microbiopsy Images of Breast Tumor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant