CN117333485B - 基于弱监督深度序数回归网络的wsi生存预测方法 - Google Patents

基于弱监督深度序数回归网络的wsi生存预测方法 Download PDF

Info

Publication number
CN117333485B
CN117333485B CN202311619000.5A CN202311619000A CN117333485B CN 117333485 B CN117333485 B CN 117333485B CN 202311619000 A CN202311619000 A CN 202311619000A CN 117333485 B CN117333485 B CN 117333485B
Authority
CN
China
Prior art keywords
wsi
network
cancer patient
feature
cox
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311619000.5A
Other languages
English (en)
Other versions
CN117333485A (zh
Inventor
余晋刚
明煜
吴梓浩
邓树乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202311619000.5A priority Critical patent/CN117333485B/zh
Publication of CN117333485A publication Critical patent/CN117333485A/zh
Application granted granted Critical
Publication of CN117333485B publication Critical patent/CN117333485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于弱监督深度序数回归网络的WSI生存预测方法，方法为：构建观察数据集；构建并训练CADOR‑Cox网络，步骤为：对癌症患者WSI进行预处理切分成图像块；使用特征提取器进行特征提取得到图像块的特征向量；输入特征融合模块中进行特征融合获取癌症患者WSI的特征向量；将癌症患者WSI的特征向量分别输入Cox回归头和CADOR回归头中构建损失函数；以多任务学习方式进行迭代训练，优化损失函数并通过反向传播更新网络参数得到训练好的CADOR‑Cox网络；将待分析癌症患者的观察数据集输入网络中进行生存预测获取预测结果。本发明能够利用完整的标注信息进行生存分析预测，性能良好且预测结果准确。

Description

基于弱监督深度序数回归网络的WSI生存预测方法
技术领域
本发明属于癌症患者生存预测的技术领域，具体涉及一种基于弱监督深度序数回归网络的WSI生存预测方法。
背景技术
生存预测是对某一感兴趣的生物学事件发生前的持续时间进行预测。目前，有许多医学数据被用于生存预测，例如CT图像、病理全切片图像（While slide image，WSI）、分子数据、基因组数据等；其中，WSI可以反应癌症的潜在分子过程和疾病进展，因此通常被认为是癌症生存预测的金标准。随着显微数字化成像技术和计算病理学的发展，许多利用WSI来对癌症进行生存预测的图像分析算法被设计出来。然而，利用WSI来进行生存预测存在着一些挑战：首先，生存预测中存在数据删失的问题；在生存预测中，癌症患者可以被分为两类，非删失患者和删失患者；非删失患者是指患者在观察过程中死亡，其生存时间就是对其进行观察的时间；删失患者指的是患者在观察过程中没有死亡，其真实生存时间要比记录的时间长；因此，删失患者的信息是不完整的，如何处理删失数据是生存预测的主要挑战之一。其次，WSI具有超高的分辨率，例如一张WSI具有105×105的分辨率，传统的生存预测模型无法直接应用于这么高分辨率的图像，因为当前的设备无法满足所需的计算资源。
面对上述的挑战，现有技术通常是将深度学习技术与传统的生存预测模型进行结合，其中著名的Cox风险比例模型（Cox模型）是使用最多的，因为Cox模型能够较好的处理删失数据。现有技术主要分为两类：基于图像块的方法和基于整个WSI的方法。基于图像块的方法需要病理专家从WSI中挑选出能够反映癌症进展的图像块并进行标注，然后利用这些图像块来进行生存预测，这样所花费的代价是十分昂贵的；而基于整个WSI的方法只需要对整个WSI赋予标注，便可以利用整个WSI进行生存预测。在Yao J等人发表的《Deep multi-instance learning for survival prediction from whole slide images》论文中，作者们将深度多示例学习和Cox模型进行结合，提出了一种名叫DeepMISL的模型框架来利用整个WSI进行生存预测，将整个WSI切分成许多小的图像块，利用CNN提取图像块特征，采用K-means算法进行聚类提取每一类的全局特征，然后将所有类的全局特征通过串联的方式进行融合，获得整个WSI的特征，最后输入到Cox模型中进行生存预测。在Yao J等人发表的《Whole slide images based cancer survival prediction usingattention guideddeep multiple instance learning networks》论文中，作者们对DeepMISL进行了改进，提出DeepAttnMISL，引入注意力机制通过一种可训练的加权融合的方式来融合特征，实现生存预测。但是上述研究在对模型进行训练的过程中，只是利用生存时间的相对大小，而没有利用生存时间的绝对大小，即上述没有利用完整的标签信息对模型进行训练；其次在采用多示例学习进行特征融合的过程，一般都采用加权融合，平均融合或串联融合等方式，没有很好的考虑到图像块之间的相关性，致使得到图像特征不能准确地反映整个WSI的特征，造成生存预测的准确性降低。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于弱监督深度序数回归网络的WSI生存预测，本发明不仅能利用生存时间的相对大小，而且能利用生存时间的绝对大小，即能够利用完整的标注信息进行生存分析预测，性能良好并且分析预测结果准确。
为了达到上述目的，本发明一方面提供一种基于弱监督深度序数回归网络的WSI生存预测方法，包括下述步骤：
获取癌症患者WSI、癌症患者随访观察时间和数据删失情况，构建观察数据集；
构建CADOR-Cox网络，包括特征提取器、特征融合模块、Cox回归头和CADOR回归头；
使用观察数据集训练CADOR-Cox网络，包括：
对癌症患者WSI进行预处理，获取组织部分并切分成图像块；
使用经过ImageNet预训练的特征提取器对图像块进行特征提取，得到图像块的特征向量并固定特征提取器的权重参数；
将图像块的特征向量输入特征融合模块中进行特征融合，获取癌症患者WSI的特征向量；
将癌症患者WSI的特征向量分别输入Cox回归头和CADOR回归头中输出风险预测值和生存时间预测值，并构建损失函数；
对CADOR-Cox网络以多任务学习的方式进行迭代训练，优化损失函数并通过反向传播更新网络参数，得到训练好的CADOR-Cox网络；
将待分析癌症患者的观察数据集输入训练好的CADOR-Cox网络中，进行生存预测获取预测结果。
作为优选的技术方案，所述构建观察数据集具体为：
获取每一癌症患者在不同观察时间τ内的WSI，得到观察数据集，表示为：
；
其中，x i 表示第i个癌症患者WSI，τ i 表示第i个癌症患者的观察时间，δ i 表示第i个癌症患者观察数据是否为删失观察数据，N为癌症患者观察数量；
当δ i = 0时，表示第i个癌症患者在观察结束前一直存活，第i个癌症患者的生存时间t i 大于观察时间τ i ，第i个癌症患者的观察数据为删失观察数据；
当δ i = 1时，表示第i个癌症患者已经死亡，第i个癌症患者的生存时间t i 等于观察时间τ i ，第i个癌症患者的观察数据为未删失观察数据；
所述第i个癌症患者的生存时间t i 表示为：
。
作为优选的技术方案，所述对癌症患者WSI进行预处理，获取组织部分并切分成图像块，具体为：
分割癌症患者WSI的组织区域，并将组织区域切分成相同大小的图像块，表示为：
；
其中，|x i |表示第i个癌症患者WSI的图像块数量；
所述特征提取器使用在ImageNet数据集上预训练好的特征提取网络；
将图像块输入特征提取器中，获取图像块的特征向量，表示为：
；
其中，g θ 为特征提取器，θ为特征提取器的参数，表示第n块图像块的特征向量。
作为优选的技术方案，所述特征融合模块基于Vision Transformer模型进行构建；
特征融合模块对获取的图像块特征向量进行随机采样，将随机采样后的图像块的特征向量与类别标注向量进行拼接并进行位置编码作为特征融合模块的输入，表示为：
；
；
；
；
其中，x class 为类别标记向量，E pos 表示位置编码，N为输入图像块的数量，D为图像块特征的维度，LN()为层级标准化，MSA()为多头自注意力模块，MLP()为多层感知机，L为多头注意力模块重复的次数，为类别标记向量对应的输出；
y为特征融合模块的输出，将其作为癌症患者WSI的特征向量h。
作为优选的技术方案，所述Cox回归头用于估计癌症患者的生存风险函数，输出风险预测值；
所述生存风险函数h(t|x)表示某一癌症患者在t时刻发生死亡的即时风险，包括仅与时间相关的基准风险函数和特征风险函数，表示为：
h(t|x) =h 0 (t)exp(r(x))，
r(x) =α T x，
其中，h 0 (t)是基准风险函数，r(x)是特征风险函数，α是回归参数，x是输入特征向量；所述特征风险函数使用全连接层构建；
将癌症患者WSI的特征向量h输入Cox回归头，输出癌症患者WSI的风险预测值R=W T h；
假设癌症患者的死亡在统计上是独立的，则所有癌症患者死亡的联合概率即为偏似然函数，表示为：
；
对应的对数似然函数为：
；
极大化对数似然函数即将对数似然函数的负数用于构建Cox回归头的损失函数，表示为：
；
其中，N为癌症患者观察数量，δ i 表示第i个癌症患者观察数据是否为删失观察数据，j:t j ≥t i 表示选取生存时间大于等于癌症患者i生存时间的癌症患者j。
作为优选的技术方案，所述CADOR回归头基于改进的有序回归模型进行构建，输出癌症患者的生存时间预测值；
所述改进的有序回归模型包含K个全连接层，每个全连接层表示一个二元分类器，记为{FC 1 ,...,FC K }；
将癌症患者的观察时间按照从小到大的顺序进行排序，然后将最长的观察时间划分为K等分，每一等分的时间节点对应一全连接层，对应K个分类任务，得到全连接层的设定观察时间T= [T 1 ,...,T k ,...,T K ]；
所述每个全连接层均有两个输出，分别为o k 和(1 -o k )，其中o k 表示第k个全连接层的输出概率，公式为：
o k =p(t>T k )，k ≤ K，
式中，K为全连接层层数；
构建删失敏感损失函数，对于某一癌症患者WSI的特征向量h，首先输入K个全连接层中获取输出概率o= [o 1 ,...,o k ,...,o K ] T ；再将该癌症患者的观察时间转化为标签向量y= [y 1 ,...,y k ,...,y K ]T；当T k <τ时，则令y k = 1，否则y k = 0；τ为该癌症患者的观察时间；
如果该癌症患者WSI特征向量h对应的观察数据是为δ i = 1的未删失观察数据，则对所有全连接层计算交叉熵损失：
；
如果该癌症患者WSI特征向量h对应的观察数据是为δ i = 0的删失观察数据，则只对{k|y k = 1}的全连接层计算交叉熵损失：
；
将所有癌症患者WSI的特征向量h输入CADOR回归头中，构建CADOR回归头的删失敏感损失函数，表示为：
；
其中，y ki 为第i个癌症患者WSI特征向量h对应的观察时间转化为的标签向量y k ，o ki 为第i个癌症患者WSI特征向量h输入第k个全连接层的输出概率o k 。
作为优选的技术方案，所述进行迭代训练过程中，将特征提取器的权重参数进行固定，针对特征融合模块、Cox回归头和CADOR回归头，采用多任务学习的方式进行迭代训练，每次迭代训练后计算CADOR-Cox网络的损失函数；所述CADOR-Cox网络的损失函数表示为：
l total =l 1+l 2；
通过反向传播更新CADOR-Cox网络的参数，直至CADOR-Cox网络的损失函数收敛。
本发明另一方面提供一种基于弱监督深度序数回归网络的WSI生存预测系统，应用于上述的基于弱监督深度序数回归网络的WSI生存预测方法，所述系统包括数据观察模块、网络构建模块、网络训练模块及生存预测模块；
所述数据观察模块用于获取癌症患者WSI、癌症患者随访观察时间和数据删失情况，构建观察数据集；
所述网络构建模块用于构建CADOR-Cox网络，包括特征提取器、特征融合模块、Cox回归头和CADOR回归头；
所述网络训练模块用于使用观察数据集训练CADOR-Cox网络，包括：
对癌症患者WSI进行预处理，获取组织部分并切分成图像块；
使用经过ImageNet预训练的特征提取器对图像块进行特征提取，得到图像块的特征向量并固定特征提取器的权重参数；
将图像块的特征向量输入特征融合模块中进行特征融合，获取癌症患者WSI的特征向量；
将癌症患者WSI的特征向量分别输入Cox回归头和CADOR回归头中输出风险预测值和生存时间预测值，并构建损失函数；
对CADOR-Cox网络以多任务学习的方式进行迭代训练，优化损失函数并通过反向传播更新网络参数，得到训练好的CADOR-Cox网络；
所述生存预测模块用于将待分析癌症患者的观察数据集输入训练好的CADOR-Cox网络中，进行生存预测获取预测结果。
本发明还一方面提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于弱监督深度序数回归网络的WSI生存预测方法。
本发明又一方面提供一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现上述的基于弱监督深度序数回归网络的WSI生存预测方法。
本发明与现有技术相比，具有如下优点和有益效果：
首先现有基于病理图像进行生存分析的方案大多采用Cox模型，旨在对患者群体的生存趋势进行生存建模，而对于单个患者只能输出生存风险分数，无法预测确切的生存时间。而本发明提出的CADOR-Cox网络结合了深度序数回归的思想，能在Cox模型的基础上输出患者的具体生存时间预测值，更具临床应用价值。
生存预测方法的观察数据集往往存在数据删失的情况，现有基于Cox模型的方法无法充分地利用删失的数据进行训练；同时这类模型只利用了数据集中两两患者之前的生存时间长短建立损失函数，而没有利用确切的时间，导致数据集的信息没有被充分利用。而本发明提出的CADOR-Cox删失敏感损失函数，兼顾了对删失数据和患者确切生存时间的使用，使得模型的训练更加充分。
由于病理图像存在异质性高的特点，而现有模型使用单一的Cox回归方法，容易造成模型的过拟合；因此本发明的深度序数回归网络将单一的回归转化为若干分类子任务，有效地缓解了异质数据训练中的过拟合。
现有方法在WSI处理阶段，大多将其划分成图像块，并相互独立地提取特征并融合，但生存预测问题往往需要关注整个WSI中的总体特征。因此本发明的CADOR-Cox网络采用VisionTransformer模型进行图像块的特征融合，建立图像块之间的关联，提取到更加有利于生存预测任务的WSI级别总体特征。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于弱监督深度序数回归网络的WSI生存预测方法的流程图。
图2为本发明实施例中特征融合模块的结构示意图。
图3为本方明实施例中Cox回归头的结构示意图。
图4为本发明实施例中CADOR回归头的结构示意图。
图5为本发明实施例中本发明与现有方法在TCGA数据集上的性能对比图。
图6为本发明实施例中本发明预测结果的相关性热力图。
图7为本发明实施例中基于弱监督深度序数回归网络的WSI生存预测系统的结构图。
图8为本发明实施例电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
生存预测是对某一感兴趣的生物学事件发生前的持续时间进行预测，能对患者的预后治疗分析提供一定的参考，具有重要的研究意义。本发明感兴趣的生物学事件是癌症患者的死亡事件，因此本发明的目标是对癌症患者的生存时间进行预测，便于医生对癌症患者后续的治疗诊断作出一定的评估。
如图1所示，在本申请的一个实施例中提供一种基于弱监督深度序数回归网络的WSI生存预测方法，包括下述步骤：
S1、获取癌症患者WSI、癌症患者随访观察时间和数据删失情况，构建观察数据集；
具体的，获取每一癌症患者在不同观察时间τ内的WSI，得到观察数据集，表示为：
；
其中，x i 表示第i个癌症患者WSI，τ i 表示第i个癌症患者的观察时间，δ i 表示第i个癌症患者观察数据是否为删失观察数据，N为癌症患者观察数量；
本发明在意的是癌症患者的生存时间t，即从观察开始到癌症患者死亡的时间，因此对癌症患者进行观察时，必然存在两种情况：患者一直存活或者患者已经死亡；
故本发明使用δ来表示这两种情况：
当δ i = 0时，表示第i个癌症患者在观察结束前一直存活，此时第i个癌症患者的生存时间t i 大于观察时间τ i ，将第i个癌症患者的观察数据称为删失观察数据；
当δ i = 1时，表示第i个癌症患者已经死亡，此时第i个癌症患者的生存时间t i 等于观察时间τ i ，将第i个癌症患者的观察数据称为未删失观察数据；
显然，对于第i个癌症患者生存时间t i 可表示为：
。
S2、构建CADOR-Cox网络，包括特征提取器、特征融合模块、Cox回归头和CADOR回归头；
S3、使用观察数据集训练CADOR-Cox网络，包括：
S31、对癌症患者WSI进行预处理，获取组织部分并切分成图像块，具体为：
首先分割癌症患者WSI的组织区域，并将组织区域切分成相同大小的图像块，表示为：
；
其中，|x i |表示第i个癌症患者WSI的图像块数量。
本实施例中，在20x倍率下将癌症患者WSI切分为2000~8000个图像块，每个图像块大小为256×256。
S32、使用特征提取器对图像块进行特征提取，得到图像块的特征向量；
由于图像块的数量过于庞大，这使得将特征提取器g θ 和网络中的其余参数一起进行训练时，在计算力上是负担不起的（因为特征提取器需要并行存储所有图像块的众多中间特征图以进行反向传播），因此特征提取器采用事先在ImageNet数据集上预训练好的特征提取网络对图像块进行特征提取，获取图像块的特征向量，表示为：
；
其中，g θ 为特征提取器，θ为特征提取器的参数，表示第n块图像块的特征向量。
本实施例中特征提取器使用ResNet34特征提取网络。
S33、将图像块的特征向量输入特征融合模块中进行特征融合，获取癌症患者WSI的特征向量；
为了能够更好地考虑图像块之间的相关性，本发明中的特征融合模块基于VisionTransformer（ViT）模型进行构建；VisionTransformer模型十分适合WSI这种分块处理任务，其独特的自注意力机制能够很好考虑到所有图像块之间的相关性，从而能够更好对图像块的特征进行融合。如图2所示，首先对图像块的特征向量进行随机采样，采样数量固定为600，将随机采样后的图像块的特征向量与类别标注向量（classtoken）进行拼接并进行位置编码作为特征融合模块的输入，表示为：
；
；
；
；
其中，x class 为类别标记向量（classtoken），E pos 表示位置编码，N为输入图像块的数量，D为图像块特征的维度，LN()为层级标准化，MSA()为多头自注意力模块，MLP()为多层感知机，L为多头注意力模块重复的次数，为类别标记向量对应的输出；
即为Vision Transformer模型的输出，是对输入WSI中所有图像块特征的自注意力加权融合，将其进行层级标准化处理后得到y，作为癌症患者WSI的特征向量h，从而实现了从图像块级别到WSI级别的特征融合；并且类别标记向量（classtoken）是属于VisionTransformer模型的一部分，只需要在模型训练前进行初始化，之后会随着反向传播进行更新，通过自注意力机制对图像块的特征进行融合。
S34、将癌症患者WSI的特征向量分别输入Cox回归头和CADOR回归头中输出风险预测值和生存时间预测值，并构建损失函数；
一方面，Cox回归头的核心是学习一个生存危险函数（hazard function）h(t|x)，输出风险预测值；生存风险函数h(t|x)表示某一癌症患者在t时刻发生死亡的即时风险，包括仅与时间相关的基准风险函数和特征风险函数，表示为：
h(t|x) =h 0 (t)exp(r(x))，
r(x) =α T x，
其中，h 0 (t)是基准风险函数，r(x)是特征风险函数（riskfunction），使用全连接层构建；α是回归参数，x是输入特征向量。本发明使用Cox回归头中的生存风险函数来预测出一个与生存时间相关的风险预测值（risk），如图3所示，Cox回归头中的特征风险函数用一个全连接层来进行表示，其参数为W；将癌症患者WSI的特征向量h输入Cox回归头，输出癌症患者WSI的风险预测值R=W T h；
假设癌症患者的死亡在统计上是独立的，则所有癌症患者死亡的联合概率即为偏似然函数，表示为：
；
对应的对数似然函数为：
；
极大化对数似然函数即将对数似然函数的负数用于构建Cox回归头的损失函数，表示为：
；
其中，N为癌症患者观察数量，δ i 表示第i个癌症患者观察数据是否为删失观察数据，j:t j ≥t i 表示选取生存时间大于等于癌症患者i生存时间的癌症患者j；值得注意的是，由于只知道删失观察数据的生存时间t大于观察时间τ，所以在该过程中只会选择确定的删失观察数据。
另一方面，为了能够利用到生存时间t的绝对大小，本发明在Cox回归头的基础上引入了基于有序回归模型的CADOR回归头，通过将生存时间t离散为K个区间，记为{T 1 ,..., T K }，T 1<T 2<...<T K 表示有序区间的边界，然后设置K个二元分类问题，其中第K个分类器则是预测生存时间t是否大于T K ；通过该模型，便能利用生存时间t的绝对大小。
然而一般的有序回归模型无法解决删失观察数据的问题，因此，本发明对有序回归模型进行了改进，提出了一种新的损失函数，称为删失敏感损失函数；通过该损失函数，有序回归模型便能处理删失观察数据了，将这种基于改进的有序回归模型称为删失敏感的深度有序回归头（CADOR回归头）。
如图4所示，改进的有序回归模型中包含有K个全连接层，每个全连接层表示一个二元分类器，记为{FC 1 ,...,FC K }；
然后，将癌症患者的观察时间按照从小到大的顺序进行排序，将最长的观察时间划分为K等分，每一等分的时间节点对应一全连接层，对应K个分类任务，得到全连接层的设定观察时间T= [T 1 ,...,T k ,...,T K ]；由于CADOR回归头需要将最长的观察时间t离散为K个区间，因此基于最小的观察时间T min 和最大的观察时间T max 将最长的观察时间划分成K个等分的区间，通常T 1=T min ，T K =T max 。
这样每个全连接层均有两个输出，分别为o k 和(1 -o k )，其中o k 表示第k个全连接层的输出概率，公式为：
o k =p(t>T k )，k ≤ K，
式中，K为全连接层层数；
接着，为了更高效的利用删失数据，构建对删失敏感的损失函数，对于某一癌症患者WSI的特征向量h，首先输入K个全连接层中获取输出概率o= [o 1 ,...,o k ,...,o K ] T ；再将该癌症患者的观察时间转化为标签向量y= [y 1 ,...,y k ,...,y K ]T；当第k层全连接层的设定观察时间小于该癌症患者WSI的特征向量h对应的观察时间时，即T k <τ，则令该癌症患者WSI的特征向量h对应的观察时间的标签向量y k = 1，否则y k = 0；
如果该癌症患者WSI的特征向量h对应的观察数据是为δ i = 1的未删失观察数据，则对所有全连接层计算交叉熵损失：
；
如果该癌症患者WSI特征向量h对应的观察数据是为δ i = 0的删失观察数据，则只对{k|y k = 1}的全连接层计算交叉熵损失：
；
这么做的原因在于：对于删失观察数据，由于只知道生存时间t大于观察时间τ，故无法确定对于索引为{k|y k = 0}的二元分类器的真实标签，所以不能将它们计算入损失中；
将所有的癌症患者WSI的特征向量h输入CADOR回归头中，构建CADOR回归头的删失敏感损失函数，表示为：
；
其中，y ki 为第i个癌症患者WSI特征向量h对应的观察时间转化为的标签向量y k ，o ki 为第i个癌症患者WSI特征向量h输入第k个全连接层的输出概率o k 。
本实施例中，全连接层处理多个子分类任务，如生存时间是否大于5天、是否大于10天、是否大于15天等子任务；经过CADOR回归头的预测，若找到两个连续子任务判定不同的全连接层，即比如根据第i个全连接层的输出概率，判定其生存时间大于20天的子任务为正，根据第i+1个全连接层的输出概率，判定其生存时间大于25天的子任务为负，则最后可确定某癌症患者的生存区间为20天。
S35、对CADOR-Cox网络以多任务学习的方式进行迭代训练，优化损失函数并通过反向传播更新网络参数，得到训练好的CADOR-Cox网络；
由于图像块的数量过于巨大，这使得将特征提取器g θ 和网络中的其余参数一起进行训练在计算力算力上是负担不起的（因为需要并行存储所有图像块的众多中间特征图以进行反向传播）；为避免计算力负担，在迭代训练过程中，将特征提取器的权重参数进行固定，针对特征融合模块、Cox回归头和CADOR回归头，采用多任务学习的方式进行迭代训练，每次迭代训练后计算CADOR-Cox网络的损失函数，表示为：
l total =l 1+l 2；
通过反向传播更新CADOR-Cox网络的参数，直至CADOR-Cox网络的损失函数收敛。
S4、将待分析癌症患者的观察数据集输入训练好的CADOR-Cox网络中，进行生存预测获取预测结果。
为验证本方法的有效性及优越性，通过在TCGA数据集中的3个子数据集上对本方法和现有方法进行验证；其中3个子数据集分别为：乳腺浸润癌数据集BRCA、胶质细胞瘤数据集GBM和肺腺癌数据集LUAD；现有方法采用没有使用CADOR回归头的Cox回归头和DeepAttnMISL模型进行测试，结果如图5所示。在图5中，Ours#1(Multi-task)是指本发明提出的CADOR-Cox网络，Ours#1(Coxonly)是指没有使用CADOR回归头的Cox回归头，Ours#1(Rank Loss)是指仅使用Cox回归头，并配合Rank损失函数；MCAT[2]、Deep Sets[3]、Attention MIL[4]、DeepAtnMISL[5]是现有的WSI生存预测方法，C-Index是生存预测中通用的性能指标，C-Index越高，则表示结果越好；从图5可知，本发明提出的CADOR-Cox网络的性能良好，预测结果真实有效。
其中，MCAT[2]参考Chen R J, Lu MY, Weng W H, et al. Multimodal co-attention transformer for survival prediction in gigapixel whole slide images[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision.2021: 4015-4025.文献；
Deep Sets[3]参考Zaheer M, KotturS, Ravanbakhsh S, et al. Deep sets[J]. Advances in neural informationprocessing systems, 2017, 30.文献；
Attention MIL[4]参考Ilse M, TomczakJ, Welling M. Attention-based deepmultiple instance learning[C]//Internationalconference on machine learning.PMLR, 2018: 2127-2136.文献；
DeepAtnMISL[5]参考Yao J, Zhu X,Jonnagaddala J, et al. Whole slideimages based cancer survival prediction using attention guided deep multipleinstance learning networks[J]. Medical Image Analysis, 2020, 65: 101789.文献。
使用训练完成的CADOR-Cox网络对WSI进行推理之后，可以根据特征提取transformer的注意力值计算出WSI图像中各个图像块对预测结果贡献的权重值，按照图像块的空间分布，将权重值归一化并绘制在原WSI缩略图上，可以形成定位关键病理特征的注意力热图。图6展示了两张WSI的注意力热图和它们对应的热点图像块，其中TCGA-DB-5276为一张生存时间大于72个月的胶质瘤患者的病理切片，切片中为注意力权重较低区域的图像块，/>、/>为两张注意力权重较高区域的图像块；TCGA-HT-7855为一张生存时间为19个月的胶质瘤患者的病理切片，切片中，/>、/>均是其注意力权重较高的区域的图像块；可以观察到，高注意力权重的热点图像块中呈现出肿瘤淋巴浸润等与癌症预后相关密切的病理特征，验证了模型的可解释性。
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的基于弱监督深度序数回归网络的WSI生存预测方法相同的思想，本发明还提供了基于弱监督深度序数回归网络的WSI生存预测系统，该系统可用于执行上述基于弱监督深度序数回归网络的WSI生存预测方法。为了便于说明，基于弱监督深度序数回归网络的WSI生存预测系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图7所示，在本申请的另一个实施例中，提供了一种基于弱监督深度序数回归网络的WSI生存预测系统，该系统包括数据观察模块、网络构建模块、网络训练模块及生存预测模块；
其中，数据观察模块用于获取癌症患者WSI、癌症患者随访观察时间和数据删失情况，构建观察数据集；
网络构建模块用于构建CADOR-Cox网络，包括特征提取器、特征融合模块、Cox回归头和CADOR回归头；
网络训练模块用于使用观察数据集训练CADOR-Cox网络，包括：
对癌症患者WSI进行预处理，获取组织部分并切分成图像块；
使用经过ImageNet预训练的特征提取器对图像块进行特征提取，得到图像块的特征向量并固定特征提取器的权重参数；
将图像块的特征向量输入特征融合模块中进行特征融合，获取癌症患者WSI的特征向量；
将癌症患者WSI的特征向量分别输入Cox回归头和CADOR回归头中输出风险预测值和生存时间预测值，并构建损失函数；
对CADOR-Cox网络以多任务学习的方式进行迭代训练，优化损失函数并通过反向传播更新网络参数，得到训练好的CADOR-Cox网络；
生存预测模块用于将待分析癌症患者的观察数据集输入训练好的CADOR-Cox网络中，进行生存预测获取预测结果。
需要说明的是，本发明的基于弱监督深度序数回归网络的WSI生存预测系统与本发明的基于弱监督深度序数回归网络的WSI生存预测方法一一对应，在上述基于弱监督深度序数回归网络的WSI生存预测方法的实施例阐述的技术特征及其有益效果均适用于基于弱监督深度序数回归网络的WSI生存预测系统的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
此外，上述实施例的基于弱监督深度序数回归网络的WSI生存预测系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于弱监督深度序数回归网络的WSI生存预测系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
如图8所示，在一个实施例中，提供了一种实现基于弱监督深度序数回归网络的WSI生存预测方法的电子设备，所述电子设备可以包括第一处理器、第一存储器和总线，还可以包括存储在所述第一存储器中并可在所述第一处理器上运行的计算机程序，如基于弱监督深度序数回归网络的WSI生存预测程序。
其中，所述第一存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述第一存储器在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述第一存储器在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述第一存储器还可以既包括电子设备的内部存储单元也包括外部存储设备。所述第一存储器不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于弱监督深度序数回归网络的WSI生存预测程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述第一处理器在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述第一处理器是所述电子设备的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述第一存储器内的程序或者模块(例如基于弱监督深度序数回归网络的WSI生存预测程序等)，以及调用存储在所述第一存储器内的数据，以执行电子设备的各种功能和处理数据。
图8仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图8示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
所述电子设备中的所述第一存储器存储的基于弱监督深度序数回归网络的WSI生存预测程序是多个指令的组合，在所述第一处理器中运行时，可以实现：
获取癌症患者WSI、癌症患者随访观察时间和数据删失情况，构建观察数据集；
构建CADOR-Cox网络，包括特征提取器、特征融合模块、Cox回归头和CADOR回归头；
使用观察数据集训练CADOR-Cox网络，包括：
对癌症患者WSI进行预处理，获取组织部分并切分成图像块；
使用经过ImageNet预训练的特征提取器对图像块进行特征提取，得到图像块的特征向量并固定特征提取器的权重参数；
将图像块的特征向量输入特征融合模块中进行特征融合，获取癌症患者WSI的特征向量；
将癌症患者WSI的特征向量分别输入Cox回归头和CADOR回归头中输出风险预测值和生存时间预测值，并构建损失函数；
对CADOR-Cox网络以多任务学习的方式进行迭代训练，优化损失函数并通过反向传播更新网络参数，得到训练好的CADOR-Cox网络；
将待分析癌症患者的观察数据集输入训练好的CADOR-Cox网络中，进行生存预测获取预测结果。
进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.基于弱监督深度序数回归网络的WSI生存预测方法，其特征在于，包括下述步骤：
获取癌症患者WSI、癌症患者随访观察时间和数据删失情况，构建观察数据集；
所述构建观察数据集具体为：
获取每一癌症患者在不同观察时间τ内的WSI，得到观察数据集，表示为：
；
其中，x i 表示第i个癌症患者WSI，τ i 表示第i个癌症患者的观察时间，δ i 表示第i个癌症患者观察数据是否为删失观察数据，N为癌症患者观察数量；
当δ i = 0时，表示第i个癌症患者在观察结束前一直存活，第i个癌症患者的生存时间t i 大于观察时间τ i ，第i个癌症患者的观察数据为删失观察数据；
当δ i = 1时，表示第i个癌症患者已经死亡，第i个癌症患者的生存时间t i 等于观察时间τ i ，第i个癌症患者的观察数据为未删失观察数据；
所述第i个癌症患者的生存时间t i 表示为：
；
构建CADOR-Cox网络，包括特征提取器、特征融合模块、Cox回归头和CADOR回归头；所述CADOR回归头称为删失敏感的深度有序回归头；
使用观察数据集训练CADOR-Cox网络，包括：
对癌症患者WSI进行预处理，获取组织部分并切分成图像块；
使用经过ImageNet预训练的特征提取器对图像块进行特征提取，得到图像块的特征向量并固定特征提取器的权重参数；
将图像块的特征向量输入特征融合模块中进行特征融合，获取癌症患者WSI的特征向量；
将癌症患者WSI的特征向量分别输入Cox回归头和CADOR回归头中输出风险预测值和生存时间预测值，并构建损失函数；
对CADOR-Cox网络以多任务学习的方式进行迭代训练，优化损失函数并通过反向传播更新网络参数，得到训练好的CADOR-Cox网络；
将待分析癌症患者的观察数据集输入训练好的CADOR-Cox网络中，进行生存预测获取预测结果。
2.根据权利要求1所述的基于弱监督深度序数回归网络的WSI生存预测方法，其特征在于，所述对癌症患者WSI进行预处理，获取组织部分并切分成图像块，具体为：
分割癌症患者WSI的组织区域，并将组织区域切分成相同大小的图像块，表示为：
；
其中，|x i |表示第i个癌症患者WSI的图像块数量；
所述特征提取器使用在ImageNet数据集上预训练好的特征提取网络；
将图像块输入特征提取器中，获取图像块的特征向量，表示为：
；
其中，g θ 为特征提取器，θ为特征提取器的参数，表示第n块图像块的特征向量。
3.根据权利要求2所述的基于弱监督深度序数回归网络的WSI生存预测方法，其特征在于，所述特征融合模块基于Vision Transformer模型进行构建；
特征融合模块对获取的图像块特征向量进行随机采样，将随机采样后的图像块的特征向量与类别标记向量进行拼接并进行位置编码作为特征融合模块的输入，表示为：
；
；
；
；
其中，x class 为类别标记向量，E pos 表示位置编码，N为输入图像块的数量，D为图像块特征的维度，LN()为层级标准化，MSA()为多头自注意力模块，MLP()为多层感知机，L为多头注意力模块重复的次数，为类别标记向量对应的输出；
y为特征融合模块的输出，将其作为癌症患者WSI的特征向量h。
4.根据权利要求3所述的基于弱监督深度序数回归网络的WSI生存预测方法，其特征在于，所述Cox回归头用于估计癌症患者的生存风险函数，输出风险预测值；
所述生存风险函数h(t|x)表示某一癌症患者在t时刻发生死亡的即时风险，包括仅与时间相关的基准风险函数和特征风险函数，表示为：
h(t|x) = h 0 (t)exp(r(x))，
r(x) = α T x，
其中，h 0 (t)是基准风险函数，r(x)是特征风险函数，α是回归参数，x是输入特征向量；所述特征风险函数使用全连接层构建；
将癌症患者WSI的特征向量h输入Cox回归头，输出癌症患者WSI的风险预测值R = W T h；其中W为构建特征风险函数的全连接层的参数；
假设癌症患者的死亡在统计上是独立的，则所有癌症患者死亡的联合概率即为偏似然函数，表示为：
；
对应的对数似然函数为：
；
极大化对数似然函数即将对数似然函数的负数用于构建Cox回归头的损失函数，表示为：
；
其中，N为癌症患者观察数量，δ i 表示第i个癌症患者观察数据是否为删失观察数据，j:t j ≥ t i 表示选取生存时间大于等于癌症患者i生存时间的癌症患者j。
5.根据权利要求4所述的基于弱监督深度序数回归网络的WSI生存预测方法，其特征在于，所述CADOR回归头基于改进的有序回归模型进行构建，输出癌症患者的生存时间预测值；
所述改进的有序回归模型包含K个全连接层，每个全连接层表示一个二元分类器，记为{FC 1 ,...,FC K }；
将癌症患者的观察时间按照从小到大的顺序进行排序，然后将最长的观察时间划分为K等分，每一等分的时间节点对应一全连接层，对应K个分类任务，得到全连接层的设定观察时间T = [T 1 ,...,T k ,...,T K ]；
所述每个全连接层均有两个输出，分别为o k 和(1 - o k )，其中o k 表示第k个全连接层的输出概率，公式为：
o k = p(t>T k )，k ≤ K，
式中，K为全连接层层数；
构建删失敏感损失函数，对于某一癌症患者WSI的特征向量h，首先输入K个全连接层中获取输出概率o = [o 1 ,...,o k ,...,o K ] T ；再将该癌症患者的观察时间转化为标签向量y =[y 1 ,...,y k ,...,y K ]T；当T k < τ时，则令y k = 1，否则y k = 0；τ为该癌症患者的观察时间；
如果该癌症患者WSI特征向量h对应的观察数据是为δ i = 1的未删失观察数据，则对所有全连接层计算交叉熵损失：
；
如果该癌症患者WSI特征向量h对应的观察数据是为δ i = 0的删失观察数据，则只对{k | y k = 1}的全连接层计算交叉熵损失：
；
将所有癌症患者WSI的特征向量h输入CADOR回归头中，构建CADOR回归头的删失敏感损失函数，表示为：
；
其中，y ki 为第i个癌症患者WSI特征向量h对应的观察时间转化为的标签向量y k ，o ki 为第i个癌症患者WSI特征向量h输入第k个全连接层的输出概率o k 。
6.根据权利要求5所述的基于弱监督深度序数回归网络的WSI生存预测方法，其特征在于，所述进行迭代训练过程中，将特征提取器的权重参数进行固定，针对特征融合模块、Cox回归头和CADOR回归头，采用多任务学习的方式进行迭代训练，每次迭代训练后计算CADOR-Cox网络的损失函数；所述CADOR-Cox网络的损失函数表示为：
l total = l 1 + l 2；
通过反向传播更新CADOR-Cox网络的参数，直至CADOR-Cox网络的损失函数收敛。
7.基于弱监督深度序数回归网络的WSI生存预测系统，其特征在于，应用于权利要求1所述的基于弱监督深度序数回归网络的WSI生存预测方法，所述系统包括数据观察模块、网络构建模块、网络训练模块及生存预测模块；
所述数据观察模块用于获取癌症患者WSI、癌症患者随访观察时间和数据删失情况，构建观察数据集；
所述构建观察数据集具体为：
获取每一癌症患者在不同观察时间τ内的WSI，得到观察数据集，表示为：
；
其中，x i 表示第i个癌症患者WSI，τ i 表示第i个癌症患者的观察时间，δ i 表示第i个癌症患者观察数据是否为删失观察数据，N为癌症患者观察数量；
当δ i = 0时，表示第i个癌症患者在观察结束前一直存活，第i个癌症患者的生存时间t i 大于观察时间τ i ，第i个癌症患者的观察数据为删失观察数据；
当δ i = 1时，表示第i个癌症患者已经死亡，第i个癌症患者的生存时间t i 等于观察时间τ i ，第i个癌症患者的观察数据为未删失观察数据；
所述第i个癌症患者的生存时间t i 表示为：
；
所述网络构建模块用于构建CADOR-Cox网络，包括特征提取器、特征融合模块、Cox回归头和CADOR回归头；所述CADOR回归头称为删失敏感的深度有序回归头；
所述网络训练模块用于使用观察数据集训练CADOR-Cox网络，包括：
对癌症患者WSI进行预处理，获取组织部分并切分成图像块；
使用经过ImageNet预训练的特征提取器对图像块进行特征提取，得到图像块的特征向量并固定特征提取器的权重参数；
将图像块的特征向量输入特征融合模块中进行特征融合，获取癌症患者WSI的特征向量；
将癌症患者WSI的特征向量分别输入Cox回归头和CADOR回归头中输出风险预测值和生存时间预测值，并构建损失函数；
对CADOR-Cox网络以多任务学习的方式进行迭代训练，优化损失函数并通过反向传播更新网络参数，得到训练好的CADOR-Cox网络；
所述生存预测模块用于将待分析癌症患者的观察数据集输入训练好的CADOR-Cox网络中，进行生存预测获取预测结果。
8.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6中任意一项所述的基于弱监督深度序数回归网络的WSI生存预测方法。
9.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-6任一项所述的基于弱监督深度序数回归网络的WSI生存预测方法。
CN202311619000.5A 2023-11-30 2023-11-30 基于弱监督深度序数回归网络的wsi生存预测方法 Active CN117333485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311619000.5A CN117333485B (zh) 2023-11-30 2023-11-30 基于弱监督深度序数回归网络的wsi生存预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311619000.5A CN117333485B (zh) 2023-11-30 2023-11-30 基于弱监督深度序数回归网络的wsi生存预测方法

Publications (2)

Publication Number Publication Date
CN117333485A CN117333485A (zh) 2024-01-02
CN117333485B true CN117333485B (zh) 2024-04-05

Family

ID=89277662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311619000.5A Active CN117333485B (zh) 2023-11-30 2023-11-30 基于弱监督深度序数回归网络的wsi生存预测方法

Country Status (1)

Country Link
CN (1) CN117333485B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021053135A1 (en) * 2019-09-20 2021-03-25 Oslo Universitetssykehus Histological image analysis
CN112819768A (zh) * 2021-01-26 2021-05-18 复旦大学 基于dcnn的癌症全视野数字病理切片生存分析方法
CN114783604A (zh) * 2022-04-21 2022-07-22 华南理工大学 一种乳腺癌前哨淋巴结转移的预测方法、系统及存储介质
CN114863149A (zh) * 2021-02-05 2022-08-05 香港科技大学 预测乳腺癌相对生存风险的方法、系统、设备及存储介质
CN115359254A (zh) * 2022-07-25 2022-11-18 华南理工大学 基于Vision Transformer网络的弱监督实例分割方法、系统及介质
EP4138091A1 (en) * 2021-08-20 2023-02-22 Dassault Systèmes Cancer prognosis

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11676703B2 (en) * 2019-10-11 2023-06-13 Case Western Reserve University Combination of radiomic and pathomic features in the prediction of prognoses for tumors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021053135A1 (en) * 2019-09-20 2021-03-25 Oslo Universitetssykehus Histological image analysis
CN112819768A (zh) * 2021-01-26 2021-05-18 复旦大学 基于dcnn的癌症全视野数字病理切片生存分析方法
CN114863149A (zh) * 2021-02-05 2022-08-05 香港科技大学 预测乳腺癌相对生存风险的方法、系统、设备及存储介质
EP4138091A1 (en) * 2021-08-20 2023-02-22 Dassault Systèmes Cancer prognosis
CN114783604A (zh) * 2022-04-21 2022-07-22 华南理工大学 一种乳腺癌前哨淋巴结转移的预测方法、系统及存储介质
CN115359254A (zh) * 2022-07-25 2022-11-18 华南理工大学 基于Vision Transformer网络的弱监督实例分割方法、系统及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于机器学习的细胞显微影像分析;邵伟;《中国博士学位论文全文数据库;A006-26 *

Also Published As

Publication number Publication date
CN117333485A (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN110148142B (zh) 图像分割模型的训练方法、装置、设备和存储介质
CN110459287B (zh) 来自医学文本报告的结构化报告数据
Azizi et al. Robust and efficient medical imaging with self-supervision
CN112949786A (zh) 数据分类识别方法、装置、设备及可读存储介质
Li et al. Attention-guided convolutional neural network for detecting pneumonia on chest x-rays
CN112364174A (zh) 基于知识图谱的病人病历相似度评估方法及系统
CN111681219A (zh) 基于深度学习的新冠肺炎ct图像分类方法、系统及设备
CN110689025A (zh) 图像识别方法、装置、系统及内窥镜图像识别方法、装置
Budak et al. Efficient COVID-19 segmentation from CT slices exploiting semantic segmentation with integrated attention mechanism
CN112907555A (zh) 一种基于影像基因组学的生存预测方法和系统
CN111325714A (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
Qi et al. Automatic lacunae localization in placental ultrasound images via layer aggregation
CN114399634B (zh) 基于弱监督学习的三维图像分类方法、系统、设备及介质
Ahmad et al. Optimized lung nodule prediction model for lung cancer using contour features extraction
Du et al. Improving the classification performance of esophageal disease on small dataset by semi-supervised efficient contrastive learning
Schmarje et al. A data-centric image classification benchmark
CN113177554B (zh) 甲状腺结节识别与分割方法、系统、存储介质及设备
Kang et al. Label-assemble: Leveraging multiple datasets with partial labels
Yang et al. Depth-inspired label mining for unsupervised RGB-D salient object detection
CN117333485B (zh) 基于弱监督深度序数回归网络的wsi生存预测方法
CN116933135A (zh) 基于跨模态融合级联的癌症分期预测模型建模系统及方法
CN111904470A (zh) 医学超声诊查过程的动态可解释推理辅助诊断方法
CN116759076A (zh) 一种基于医疗影像的无监督疾病诊断方法及系统
Liu et al. U2F-GAN: weakly supervised super-pixel segmentation in thyroid ultrasound images
Giordano et al. An AI-based framework for supporting large scale automated analysis of video capsule endoscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant