CN111462042A - 癌症预后分析方法及系统 - Google Patents

癌症预后分析方法及系统 Download PDF

Info

Publication number
CN111462042A
CN111462042A CN202010139864.7A CN202010139864A CN111462042A CN 111462042 A CN111462042 A CN 111462042A CN 202010139864 A CN202010139864 A CN 202010139864A CN 111462042 A CN111462042 A CN 111462042A
Authority
CN
China
Prior art keywords
model
patient
prognostic
image
local slice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010139864.7A
Other languages
English (en)
Other versions
CN111462042B (zh
Inventor
艾丽蓉
王晓东
董舟
刘西洋
施杰毅
高强
郑俣瑄
管泽辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010139864.7A priority Critical patent/CN111462042B/zh
Publication of CN111462042A publication Critical patent/CN111462042A/zh
Application granted granted Critical
Publication of CN111462042B publication Critical patent/CN111462042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了癌症预后分析方法及系统。涉及图像处理领域，其中，方法根据组织类别在病理图像样本采样获得局部切片样本，将局部切片样本输入至预先构建并训练好的预后分析模型中，预后分析模型通过卷积神经网络模型提取局部切片的特征向量，将特征向量输入回归模型中输出患者的预后风险值。通过分析患者的病理图像样本预测患者预后的相对风险，具有可靠的评估效果，给医生提供一定的参考，节省医生诊断的时间，减轻医生的负担，节约了时间成本和人工成本。可广泛应用于病理图像检测领域。

Description

癌症预后分析方法及系统
技术领域
本发明涉及图像处理领域，尤其是涉及一种癌症预后分析方法及系统。
背景技术
现如今癌症是一种很常见的恶性肿瘤，包括原发性癌症和转移性癌症，可发于身体各个部位，例如，原发性肝癌是临床上最常见的恶性肿瘤之一，根据最新统计，原发性肝癌全球发病率已超过62.6万/年，居于恶性肿瘤的第5位：死亡接近60万/年，位居肿瘤相关死亡的第3位。
癌症的治疗目前仍是以手术为主的综合治疗，但中晚期患者常失去手术机会，癌症的恶性程度高，发展迅速，容易复发，致使目前总体疗效仍不理想。可影响癌症预后的因素很多，例如对肝癌来说：从性别上发现女患者的生存期较长，肿瘤的大小、单个或多发、有无包膜及有无门静脉癌栓等均影响肝癌的预后。另外,根据癌症病期不同，所选择的治疗手段恰当与否、手术后复发的预防与治疗也直接影响着癌症的预后。因此患者的病理诊断结果对于癌症诊断、指导治疗、判断预后非常重要。医生对于患者预后情况的判断需要考虑许多因素，情况比较复杂，但是一张病理图像通常是千万像素级别，想要从中分析患者预后的相关信息，对于医生来说十分费时费力，并且目前没有具体的判断预后效果的指标，在实际应用中难以准确评估。
因此需要提出一种根据患者病理组织图像分析患者预后风险评估预后结果的方法。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明实施例提出一种癌症预后分析方法，能够根据患者病理组织图像分析患者预后风险评估预后结果。
第一方面，本发明实施例提出：一种癌症预后分析方法，包括：
根据组织类别在病理图像样本采样获得局部切片样本，所述组织类别包括：肿瘤细胞类别、间质细胞类别、癌旁细胞类别、坏死细胞类别；
将所述局部切片样本输入至预先构建并训练好的预后分析模型中得到预后风险值，所述预后分析模型通过卷积神经网络模型提取所述局部切片的特征向量，将所述特征向量输入回归模型中输出患者的预后风险值，所述卷积神经网络模型为ResNet模型，所述回归模型为线性COX回归模型。
进一步地，所述根据患者病理图像样本获取患者的局部切片样本具体包括：
获取不同放大倍率的所述病理图像样本对应的分类掩码图像；
选取滑动窗口在所述分类掩码图像上进行局部随机采样，得到不同放大倍率的局部切片样本。
进一步地，所述获取不同放大倍率的所述病理图像样本对应的分类掩码图像具体包括：
对所述病理图像样本根据预设缩放倍率进行缩放得到对应缩放倍率的缩略图像；
采用最大类间阈值法保留所述缩略图像的前景区域；
对所述前景区域通过分类模型进行分类识别，生成所述分类掩码图像。
进一步地，所述局部随机采样的过程为：在所述分类掩码图像上根据不同缩放比例对应的滑动窗口选择像素区域，逐一判断像素区域内每一个像素的组织类别，如果每个像素都属于相同的组织类别，则将所述像素区域的中心像素点映射到不同缩放比例对应的缩放图像中得到所述局部切片样本；
所述组织类别包括：肿瘤细胞类别、间质细胞类别、癌旁细胞类别、坏死细胞类别。
进一步地，预先构建并训练所述预后分析模型具体包括：
选取不同患者的包含一种或多种组织类别的病理图像样本得到局部切片样本作为训练数据集；
以患者的生存时间为标签，将对应患者的训练数据输入所述预后分析模型中；
所述卷积神经网络模型提取所述训练数据得到特征图；
根据所述特征图选取每个特征通道的平均值作为特征向量；
将所述特征向量输入所述回归模型中，输出所述患者的预后风险值。
进一步地，所述述卷积神经网络模型提取所述训练数据得到特征图具体包括：将不同放大倍率的所述局部切片样本分别输入对应放大倍率下卷积神经网络模型，得到所述局部切片样本的特征图。
进一步地，利用不同放大倍率、不同细胞类别的局部切片样本分别训练所述预后分析模型，得到多个风险值，对多个所述风险值取平均值作为所述预后风险值。
第二方面，本发明实施例还提供一种癌症预后分析系统，包括：
组织采样模块：用于根据组织类别在病理图像样本采样获得局部切片样本，所述组织类别包括：肿瘤细胞类别、间质细胞类别、癌旁细胞类别、坏死细胞类别；
预后分析模块：用于将所述局部切片样本输入至预先构建并训练好的预后分析模型中得到预后风险值，所述预后分析模型通过卷积神经网络模型提取所述局部切片的特征向量，将所述特征向量输入回归模型中输出患者的预后风险值，所述卷积神经网络模型为ResNet模型，所述回归模型为线性COX回归模型。
第三方面，本发明实施例提供一种癌症预后分析设备，包括：
至少一个处理器，以及与所述至少一个处理器通信连接的存储器；
其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如第一方面任一项所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。
本发明实施例的有益效果是：
本发明实施例根据组织类别在病理图像样本采样获得局部切片样本，将局部切片样本输入至预先构建并训练好的预后分析模型中，预后分析模型通过卷积神经网络模型提取局部切片的特征向量，将特征向量输入回归模型中输出患者的预后风险值。通过分析患者的病理图像样本预测患者预后的相对风险，具有可靠的评估效果，给医生提供一定的参考，节省医生诊断的时间，减轻医生的负担，节约了时间成本和人工成本。可广泛应用于病理图像检测领域。
附图说明
图1是本发明实施例中癌症预后分析方法的一具体实施例流程示意图；
图2是本发明实施例中癌症预后分析系统的一具体实施例结构框图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
实施例一：
本发明实施例一提供一种癌症预后分析方法，图1为本发明实施例提供的一种癌症预后分析方法的实现流程图，如图1所示，该方法包括以下步骤：
S1：根据组织类别在病理图像样本采样获得局部切片样本，组织类别包括：肿瘤细胞类别、间质细胞类别、癌旁细胞类别、坏死细胞类别。
首先步骤S11：获取不同放大倍率的病理图像样本对应的分类掩码图像。本实施例中获取分类掩码图像的过程包括下述子步骤：
S111：对患者的病理图像样本根据预设缩放倍率进行缩放得到对应缩放倍率的缩略图像。
获取患者的包含一种或多种组织类别的病理图像样本作为病理图像样本，其中组织类别包括：肿瘤细胞类别、间质细胞类别、癌旁细胞类别、坏死细胞类别。
一种常用的获取方式可以通过高分辨率切片扫描器，将染色的组织病理图像样本扫描到计算机中，得到数字化的组织病理tiff格式原图像，预设缩放倍率可以根据实际需求进行设置，例如设置为256倍缩放，即将原图像进行256倍缩小后，得到下采样后的缩略图像。
S112：采用最大类间阈值法保留缩略图像的前景区域，剔除不必要的背景区域。
其中，最大类间阈值法即OTSU法，基本思想是：用一个阈值将图像中的数据分为两类，一类中图像的像素点的灰度均小于这个阈值，另一类中的图像的像素点的灰度均大于或者等于该阈值，则利用该阈值可以将图像分为前景和背景两个部分。如果这两个类中像素点的灰度的方差越大，说明获取的阈值就是最佳的阈值，由于方差是灰度分布均匀性的一种度量参数，因此背景和前景之间的类间方差越大，说明构成图像的两部分的差别越大，因此，使类间方差最大的分割意味着错分概率最小。
S113：对前景区域通过分类模型进行分类识别，生成分类掩码图像，即分类掩码图像用于标识该前景区域的组织类别，主要目的是识别肿瘤细胞组织，癌旁正常组织，肿瘤间质组织以及坏死组织等区域。
在一种实施方式中，以缩放倍率为256倍缩放为例进行说明，可以通过将分类掩码图像的白色区域的每一个像素点的坐标映射到高分辨率的原图像中，并以该坐标为中心选取出256*256大小的切片图像，将根据不同像素点得到的多个局部切片样本输入到分类模型中进行细胞类别分类得到每个切片图像的分类结果，将每个切片图像的所属组织类别作为缩略图像中该像素点所属的组织类别。最终得到病理图像样本256倍缩放下的分类掩码图像。进一步地，分类模型可选的是卷积神经网络模型作为本实施例的分类模型。
在一种实施方式中，训练分类模型的过程描述如下：数据集可选的包括200个图像，其中150个用作训练模型的训练集，50个用作测试集。根据步骤排除S112每个训练样本的背景区域。然后按顺序在每张高分辨率原图像上切割256*256像素的切片图像。进一步地，为了提高分类模型，即卷积神经网络模型提取特征的能力，对图像及对应标签对应位置进行裁剪、旋转、翻转以及颜色抖动等数据增强方法。通过上述过程总共产生了2464793个切片图像，具体的1893382个是训练集，571411个是测试集。其中，训练集包括888546张癌旁细胞类别切片，588602张肿瘤细胞类别切片，403408张间质细胞类别切片，12806张坏死细胞类别切片。
进一步地，由于训练集中样本极其不均衡，为了保证分类模型分类的准确性，在训练过程中肿瘤细胞类别、间质细胞类别以及癌旁细胞类别切片使用随机抽取与坏死细胞类别切片相同数目的样本平衡方法。
分类模型可以使用ResNet-18实现，并使用ImageNet数据集预训练模型初始化卷积神经网络的参数。使用预测组织类别和实际组织类别标签之间的交叉熵作为损失随机梯度下降。
在一种具体应用场景中，分类模型的resnet-18模型结构如下表1所示
Figure BDA0002398704400000051
表1 resnet-18模型结构示意表
从上表可知，本实施例中分类模型：包括5个卷积块，其中，64、128、256、512均表示通道数，第一个卷积块conv1的输出大小为112*112，包括一个7*7的卷积核，步长为2，以及一个3*3的最大池化层，步长为2；第二个卷积块conv2输出大小为56*56，包括：3*3的卷积核；第三个卷积块conv3输出大小为28*28；第四个卷积块conv4的输出大小为14*14，第五个卷积块conv5的输出大小为7*7。
然后进行步骤S12：选取滑动窗口在所述分类掩码图像上进行局部随机采样，得到不同放大倍率的局部切片样本。
局部随机采样的过程为：在分类掩码图像上根据不同缩放比例对应的滑动窗口选择像素区域，逐一判断像素区域内每一个像素的组织类别，如果每个像素都属于相同的组织类别，则将像素区域的中心像素点映射到不同缩放比例对应的缩放图像中得到局部切片样本。
在一种实施方式中，根据不同放大倍率的分类掩码图像上选取不同尺寸的滑动窗口在不同病理组织区域进行采样。例如，在原图像(即tiff格式图像中的最大放大倍率层得到的40倍物镜缩放图像)的256倍缩放得到的分类掩码图像上，以滑动窗口：1*1、4*4和10*10三种不同尺寸的像素区域分别映射到原图像、4倍物镜缩放图像和10倍物镜缩放图像上得到采样的图像区域，即分别在这三个倍率下选取256*256大小的局部切片。进一步地，对于原图像，可以在256倍缩小倍率下的分类掩码图像上顺序选择7*7像素区域，判断这些像素点是否都是同一组织类别。如果是，选择7*7像素区域的中心像素点映射到原图像中，得到256*256的局部切片样本，并根据中心像素点的组织类别记录其标签。对于4倍物镜缩放图像，在分类掩码图像上顺序选取4*4像素区域，判断这些像素点是否都属于相同的组织类别，如果是，就将4*4像素区域映射到4倍物镜缩放图像上得到局部切片样本及其标签。对于10倍物镜缩放图像，在分类掩码图像中顺序选取10*10的像素区域，判断这些像素是否都是相同的分类，如果是相同的组织类别，则将其映射回10倍物镜缩放图像获得局部切片样本及其标签。
S2：将局部切片样本输入至预先构建并训练好的预后分析模型中得到预后风险值，预后分析模型通过卷积神经网络模型提取局部切片的特征向量，将特征向量输入回归模型中输出患者的预后风险值。
进一步地，本实施例中预后分析模型包括两个部分：卷积神经网络模型和回归模型。卷积神经网络模型可选的为ResNet模型，例如ResNet-50模型，回归模型可选的为线性COX回归模型，其中回归模型作为最后一个隐藏层，即通过ResNet模型和线性COX回归模型构建预后分析模型。其中，ResNet模型是一种残差网络，由微软研究院的Kaiming He等人提出的神经网络结构，通过在网络中引入残差的方式，在很大程度上解决当网络层数过深时，梯度消失的问题，从而可以构建更深的神经网络，优选的是ResNet-50模型，而COX回归模型，又称“比例风险回归模型”，以生存结局和生存时间为应变量，分析众多因素对生存期的影响，适用于本实施例的预后分析模型。
进一步地，预先构建并训练预后分析模型具体包括：
S211：选取不同患者的包含一种或多种组织类别的病理图像样本得到局部切片样本作为训练数据集，组织类别包括：肿瘤细胞、间质细胞、癌旁细胞。
在一种具体应用场景中，预后分析模型选取的训练数据集包括893名患者的预后信息，其中，将515名患者的预后病理数据作为训练集，将378名患者的预后病理数据作为测试集，同时，每位患者至少有一张病理图像样本，总计2106张病理图像样本，其中1313张用于训练，793张用于测试。
例如，对于包含肿瘤细胞、间质细胞、癌旁细胞的病理图像样本，随机选择获取三类组织的局部切片样本，每类局部切片不少于30张，对于不全包含这三类组织的病理图像样本，可以只提取肿瘤类别的局部切片，同样要求局部切片数量不少于30张。
S212：以患者的生存时间为标签，将对应患者的训练数据输入预后分析模型中，即输入患者的病理图像，输出为该患者的预后生存时间，例如，在一种具体应用中，以每位患者的病理图像为训练样本，以患者的生存时间为标签，从每位患者的肿瘤细胞、间质细胞和癌旁细胞中取出至少10个局部切片作为预后分析模型的输入。
S213：卷积神经网络模型提取训练数据的与预后相关特征得到特征图。
将每个患者的不同放大倍率采样得到的局部切片样本分别输入对应放大倍率下卷积神经网络模型，经过卷积神经网络(例如ResNet-50)提取相关特征向量，将最后一个卷积块输出的特征图作为局部切片样本的特征图，用于预后分析。
S214：根据每个患者的特征图选取每个类别通道的最大值，然后计算每个特征通道上的平均值作为特征向量，可以理解的是，每个类别的最大值即是最具代表性的分类特征，可根据分类标签判断具有代表性的细胞类别。
S215：将特征向量输入回归模型中，输出患者的预后风险值。回归模型即最后的全连接层，用于模拟患者一段时间内的生存概率，即输出对应患者的预后相对风险，这种预后风险是一种中值，用于标识一定的生存概率。。
S316：利用不同放大倍率、不同细胞类别的局部切片样本分别训练预后分析模型，得到多个风险值，对多个风险值取平均值作为预后风险值。
即将每个患者的不同细胞类别、不同放大倍率采样得到的局部切片样本输入预后分析模型获得的多个对应的风险值，对这些风险值取平均值作为对应患者的预后风险值。
在一种具体应用场景中，本实施例的ResNet-50模型结构如下表2所示：
Figure BDA0002398704400000081
表2 resnet-50模型结构示意表
从上表可知，本实施例中包括5个卷积块，其中，64、128、256、512、1024、2048均表示通道数，第一个卷积块conv1的输出大小为112*112，包括一个7*7的卷积核，步长为2，以及一个3*3的最大池化层，步长为2；第二个卷积块conv2输出大小为56*56，包括：1*1、3*3以及1*1的卷积核；第三个卷积块conv3输出大小为28*28；第四个卷积块conv4的输出大小为14*14，第五个卷积块conv5的输出大小为7*7。
通过线性COX模型计算负对数似然函数作为损失，表示为：
Figure BDA0002398704400000082
其中，βTfi表示患者的预后风险值，是线性COX模型的输出结果，fi表示特征向量(即本实施例的局部切片样本的特征向量)，β表示COX回归层的权重向量，该向量是通过最大化cox部分似然得到的，U表示判断数据集，是“有风险”的样本集合，Ωi＝{j|Yj≥Yi}表示对患者的预后情况的随访结果。
在一种具体应用场景中，训练过程中参数设置如下所述：首先训练过程中使用诸如旋转、裁剪、颜色扰动之类的数据增强方法来增强训练数据。同时使用动量梯度下降法，设置动量为0.9，权重衰减为1e-4，训练过程的批量大小设置为150，初始学习率为1e-4，并且在总迭代次数的25％之后，将学习率设置为5e-5，在50％之后，将学习率设置为5e-6，训练过程重复了2800次。
例如，可以使用原图(例如是40倍物镜缩放的图像)、4倍物镜缩放和10倍物镜缩放的不同放大倍率的局部切片样本输入来训练预后分析模型，然后将三个训练结果作为全连接层输入以获得最终的患者预后风险值，该值代表这名患者的预后相对风险，可以理解的是，预后风险值相对越高，代表该患者预后情况越差，预后风险值越低，则代表病人预后情况越好。
本实施例通过分析患者的病理图像样本预测患者预后的相对风险，具有可靠的评估效果，给医生提供一定的参考，节省医生诊断的时间，减轻医生的负担，节约了时间成本和人工成本。
实施例二：
本实施例提供一种癌症预后分析系统，如图2所示，为本实施例癌症预后分析系统结构框图，包括：
组织采样模块100：用于根据组织类别在病理图像样本采样获得局部切片样本，所述组织类别包括：肿瘤细胞类别、间质细胞类别、癌旁细胞类别、坏死细胞类别；
预后分析模块200：用于将局部切片样本输入至预先构建并训练好的预后分析模型中得到预后风险值，预后分析模型通过卷积神经网络模型提取局部切片的特征向量，将特征向量输入回归模型中输出患者的预后风险值，卷积神经网络模型为ResNet模型，回归模型为线性COX回归模型。
上述中癌症预后分析系统模块的具体细节已经在实施例一对应的癌症预后分析方法中进行了详细的描述，因此此处不再赘述。
另外，本发明还提供癌症预后分析设备，包括：
至少一个处理器，以及与所述至少一个处理器通信连接的存储器；
其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如实施例一所述的方法。计算机程序即程序代码，当程序代码在癌症预后分析设备上运行时，程序代码用于使癌症预后分析设备执行本说明书上述实施例一部分描述的癌症预后分析方法中的步骤。
另外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行如实施例一所述的方法。
本发明根据病理图像样本获取局部切片样本，将局部切片样本输入至预先构建并训练好的预后分析模型中，预后分析模型通过卷积神经网络模型提取局部切片的特征向量，将特征向量输入回归模型中输出患者的预后风险值。可广泛应用于病理图像检测领域。
以上各实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种癌症预后分析方法，其特征在于，包括：
根据组织类别在病理图像样本采样获得局部切片样本，所述组织类别包括：肿瘤细胞类别、间质细胞类别、癌旁细胞类别、坏死细胞类别；
将所述局部切片样本输入至预先构建并训练好的预后分析模型中得到预后风险值，所述预后分析模型通过卷积神经网络模型提取所述局部切片的特征向量，将所述特征向量输入回归模型中输出患者的预后风险值，所述卷积神经网络模型为ResNet模型，所述回归模型为线性COX回归模型。
2.根据权利要求1所述的一种癌症预后分析方法，其特征在于，所述根据患者病理图像样本获取患者的局部切片样本具体包括：
获取不同放大倍率的所述病理图像样本对应的分类掩码图像；
选取滑动窗口在所述分类掩码图像上进行局部随机采样，得到不同放大倍率的局部切片样本。
3.根据权利要求2所述的一种癌症预后分析方法，其特征在于，所述获取不同放大倍率的所述病理图像样本对应的分类掩码图像具体包括：
对所述病理图像样本根据预设缩放倍率进行缩放得到对应缩放倍率的缩略图像；
采用最大类间阈值法保留所述缩略图像的前景区域；
对所述前景区域通过分类模型进行分类识别，生成所述分类掩码图像。
4.根据权利要求3所述的一种癌症预后分析方法，其特征在于，所述局部随机采样的过程为：在所述分类掩码图像上根据不同缩放比例对应的滑动窗口选择像素区域，逐一判断像素区域内每一个像素的组织类别，如果每个像素都属于相同的组织类别，则将所述像素区域的中心像素点映射到不同缩放比例对应的缩放图像中得到所述局部切片样本；
所述组织类别包括：肿瘤细胞类别、间质细胞类别、癌旁细胞类别、坏死细胞类别。
5.根据权利要求1所述的一种癌症预后分析方法，其特征在于，预先构建并训练所述预后分析模型具体包括：
选取不同患者的包含一种或多种组织类别的病理图像样本得到局部切片样本作为训练数据集；
以患者的生存时间为标签，将对应患者的训练数据输入所述预后分析模型中；
所述卷积神经网络模型提取所述训练数据得到特征图；
根据所述特征图选取每个特征通道的平均值作为特征向量；
将所述特征向量输入所述回归模型中，输出所述患者的预后风险值。
6.根据权利要求5所述的一种癌症预后分析方法，其特征在于，所述述卷积神经网络模型提取所述训练数据得到特征图具体包括：将不同放大倍率的所述局部切片样本分别输入对应放大倍率下卷积神经网络模型，得到所述局部切片样本的特征图。
7.根据权利要求1所述的一种癌症预后分析方法，其特征在于，利用不同放大倍率、不同细胞类别的局部切片样本分别训练所述预后分析模型，得到多个风险值，对多个所述风险值取平均值作为所述预后风险值。
8.一种癌症预后分析系统，其特征在于，包括：
组织采样获取模块：用于根据组织类别在病理图像样本采样获得局部切片样本，所述组织类别包括：肿瘤细胞类别、间质细胞类别、癌旁细胞类别、坏死细胞类别；
预后分析模块：用于将所述局部切片样本输入至预先构建并训练好的预后分析模型中得到预后风险值，所述预后分析模型通过卷积神经网络模型提取所述局部切片的特征向量，将所述特征向量输入回归模型中输出患者的预后风险值，所述卷积神经网络模型为ResNet模型，所述回归模型为线性COX回归模型。
9.一种癌症预后分析设备，其特征在于，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的方法。
CN202010139864.7A 2020-03-03 2020-03-03 癌症预后分析方法及系统 Active CN111462042B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010139864.7A CN111462042B (zh) 2020-03-03 2020-03-03 癌症预后分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010139864.7A CN111462042B (zh) 2020-03-03 2020-03-03 癌症预后分析方法及系统

Publications (2)

Publication Number Publication Date
CN111462042A true CN111462042A (zh) 2020-07-28
CN111462042B CN111462042B (zh) 2023-06-13

Family

ID=71680007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010139864.7A Active CN111462042B (zh) 2020-03-03 2020-03-03 癌症预后分析方法及系统

Country Status (1)

Country Link
CN (1) CN111462042B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184658A (zh) * 2020-09-24 2021-01-05 上海健康医学院 用于非小细胞肺癌预后生存预测的方法、介质及电子设备
CN112309571A (zh) * 2020-10-30 2021-02-02 电子科技大学 数字病理图像的预后量化特征的筛选方法
CN112434172A (zh) * 2020-10-29 2021-03-02 西安交通大学 一种病理图像预后特征权重计算方法及系统
CN112561869A (zh) * 2020-12-09 2021-03-26 深圳大学 一种胰腺神经内分泌肿瘤术后复发风险预测方法
CN112562855A (zh) * 2020-12-18 2021-03-26 深圳大学 一种肝细胞癌术后早期复发风险预测方法
CN112819768A (zh) * 2021-01-26 2021-05-18 复旦大学 基于dcnn的癌症全视野数字病理切片生存分析方法
CN113239993A (zh) * 2021-04-29 2021-08-10 中国人民解放军海军军医大学第三附属医院 一种病理图像的分类方法、病理图像的分类系统、终端及计算机可读存储介质
CN114496306A (zh) * 2022-01-28 2022-05-13 北京大学口腔医学院 基于机器学习的预后生存阶段预测方法和系统
CN115083574A (zh) * 2022-08-22 2022-09-20 四川大学华西医院 癌症预后生存预测方法、系统、计算机设备及存储介质
CN116682576A (zh) * 2023-08-02 2023-09-01 浙江大学 一种基于双层图卷积神经网络的肝癌病理预后系统及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140233826A1 (en) * 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
US20170091937A1 (en) * 2014-06-10 2017-03-30 Ventana Medical Systems, Inc. Methods and systems for assessing risk of breast cancer recurrence
CN108717554A (zh) * 2018-05-22 2018-10-30 复旦大学附属肿瘤医院 一种甲状腺肿瘤病理组织切片图像分类方法及其装置
CN109243604A (zh) * 2018-09-14 2019-01-18 苏州贝斯派生物科技有限公司 一种基于神经网络算法的川崎病风险评估模型的构建方法及构建系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140233826A1 (en) * 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
US20170091937A1 (en) * 2014-06-10 2017-03-30 Ventana Medical Systems, Inc. Methods and systems for assessing risk of breast cancer recurrence
CN108717554A (zh) * 2018-05-22 2018-10-30 复旦大学附属肿瘤医院 一种甲状腺肿瘤病理组织切片图像分类方法及其装置
CN109243604A (zh) * 2018-09-14 2019-01-18 苏州贝斯派生物科技有限公司 一种基于神经网络算法的川崎病风险评估模型的构建方法及构建系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冯金周;刘发健;江华;: "颅脑损伤患者临床死亡预测:一项基于机器学习的主成分分析-逻辑回归模型" *
孟婷;刘宇航;张凯昱;: "一种基于增强卷积神经网络的病理图像诊断算法" *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184658B (zh) * 2020-09-24 2023-11-24 上海健康医学院 用于非小细胞肺癌预后生存预测的方法、介质及电子设备
WO2022063200A1 (zh) * 2020-09-24 2022-03-31 上海健康医学院 用于非小细胞肺癌预后生存预测的方法、介质及电子设备
CN112184658A (zh) * 2020-09-24 2021-01-05 上海健康医学院 用于非小细胞肺癌预后生存预测的方法、介质及电子设备
CN112434172A (zh) * 2020-10-29 2021-03-02 西安交通大学 一种病理图像预后特征权重计算方法及系统
CN112309571A (zh) * 2020-10-30 2021-02-02 电子科技大学 数字病理图像的预后量化特征的筛选方法
CN112561869B (zh) * 2020-12-09 2021-11-02 深圳大学 一种胰腺神经内分泌肿瘤术后复发风险预测方法
CN112561869A (zh) * 2020-12-09 2021-03-26 深圳大学 一种胰腺神经内分泌肿瘤术后复发风险预测方法
CN112562855B (zh) * 2020-12-18 2021-11-02 深圳大学 一种肝细胞癌术后早期复发风险预测方法、介质及终端设备
CN112562855A (zh) * 2020-12-18 2021-03-26 深圳大学 一种肝细胞癌术后早期复发风险预测方法
CN112819768A (zh) * 2021-01-26 2021-05-18 复旦大学 基于dcnn的癌症全视野数字病理切片生存分析方法
CN112819768B (zh) * 2021-01-26 2022-06-17 复旦大学 基于dcnn的癌症全视野数字病理切片生存分析方法
CN113239993A (zh) * 2021-04-29 2021-08-10 中国人民解放军海军军医大学第三附属医院 一种病理图像的分类方法、病理图像的分类系统、终端及计算机可读存储介质
CN113239993B (zh) * 2021-04-29 2022-12-16 中国人民解放军海军军医大学第三附属医院 一种病理图像的分类系统、终端及计算机可读存储介质
CN114496306A (zh) * 2022-01-28 2022-05-13 北京大学口腔医学院 基于机器学习的预后生存阶段预测方法和系统
CN115083574A (zh) * 2022-08-22 2022-09-20 四川大学华西医院 癌症预后生存预测方法、系统、计算机设备及存储介质
CN115083574B (zh) * 2022-08-22 2022-12-06 四川大学华西医院 癌症预后生存预测方法、系统、计算机设备及存储介质
CN116682576A (zh) * 2023-08-02 2023-09-01 浙江大学 一种基于双层图卷积神经网络的肝癌病理预后系统及装置
CN116682576B (zh) * 2023-08-02 2023-12-19 浙江大学 一种基于双层图卷积神经网络的肝癌病理预后系统及装置

Also Published As

Publication number Publication date
CN111462042B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN111462042B (zh) 癌症预后分析方法及系统
US20230419696A1 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
Gertych et al. Machine learning approaches to analyze histological images of tissues from radical prostatectomies
CN111798464A (zh) 基于深度学习的淋巴瘤病理图像智能识别方法
CN111784671A (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN111402267B (zh) 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端
Xu et al. Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients
Ström et al. Pathologist-level grading of prostate biopsies with artificial intelligence
WO2021073279A1 (zh) 数字病理图像染色归一化方法、系统、电子装置及存储介质
CN110689525A (zh) 基于神经网络识别淋巴结的方法及装置
CN110705565A (zh) 淋巴结肿瘤区域识别方法与装置
CN107567631B (zh) 组织样品分析技术
JP2023543044A (ja) 組織の画像を処理する方法および組織の画像を処理するためのシステム
CN111862079A (zh) 基于影像组学的高级别浆液性卵巢癌复发风险预测系统
CN112614093A (zh) 基于多尺度空间注意力网络的乳腺病理图像分类方法
CN117252893B (zh) 一种乳腺癌病理图像的分割处理方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN113160175B (zh) 一种基于级联网络的肿瘤淋巴管浸润检测方法
CN113420793A (zh) 一种基于改进的卷积神经网络ResNeSt50的胃印戒细胞癌分类方法
CN116468690B (zh) 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统
US11887355B2 (en) System and method for analysis of microscopic image data and for generating an annotated data set for classifier training
Chauhan et al. Exploring genetic-histologic relationships in breast cancer
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
Zebari et al. Enhancing Brain Tumor Classification with Data Augmentation and DenseNet121
CN113689950B (zh) 肝癌ihc染色图的血管分布模式的识别方法、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant