CN115294129B - 肿瘤免疫治疗预后评估方法、装置、电子设备及存储介质 - Google Patents

肿瘤免疫治疗预后评估方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115294129B
CN115294129B CN202211219861.XA CN202211219861A CN115294129B CN 115294129 B CN115294129 B CN 115294129B CN 202211219861 A CN202211219861 A CN 202211219861A CN 115294129 B CN115294129 B CN 115294129B
Authority
CN
China
Prior art keywords
tumor
model
immunotherapy
curative effect
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211219861.XA
Other languages
English (en)
Other versions
CN115294129A (zh
Inventor
沈琳
陈杨
张江东
张小田
董彬
陈梓帆
张立
孙宇
赵杰
郏科人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Beijing Cancer Hospital
Original Assignee
Beijing Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Cancer Hospital filed Critical Beijing Cancer Hospital
Priority to CN202211219861.XA priority Critical patent/CN115294129B/zh
Publication of CN115294129A publication Critical patent/CN115294129A/zh
Application granted granted Critical
Publication of CN115294129B publication Critical patent/CN115294129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明提供一种肿瘤免疫治疗预后评估方法、装置、电子设备及存储介质，属于医学检测技术领域，包括：将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型，获得免疫细胞评分模型输出的待测患者的各类细胞亚型免疫细胞的评分；将待测患者的各类细胞亚型免疫细胞的评分输入到预设回归模型，获取预设回归模型输出的待测患者的肿瘤免疫治疗预后评估结果；免疫细胞评分模型的网络参数是基于肿瘤免疫治疗疗效预测模型的网络参数确定的，肿瘤免疫治疗疗效预测模型是基于肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的。本发明可以实现对患者的肿瘤免疫治疗预后的有效评估。

Description

肿瘤免疫治疗预后评估方法、装置、电子设备及存储介质
技术领域
本发明涉及医学检测技术领域，尤其涉及一种肿瘤免疫治疗预后评估方法、装置、电子设备及存储介质。
背景技术
癌症是全球和中国仅次于心血管疾病的高死亡率疾病。免疫疗法通过解除患者的免疫细胞抑制，激活T细胞发挥功能，以对抗肿瘤细胞的生长，已成为癌症治疗的新兴手段。
目前，在许多免疫治疗策略中，针对程序性细胞死亡蛋白1（Programmed CellDeath Protein 1，PD-1）和程序性死亡配体1（Programmed Death-Ligand 1， PD-L1）的免疫检查点抑制剂（Immune Checkpoint Inhibitors，ICIs）治疗，可以解除免疫细胞抑制，激活免疫细胞杀伤肿瘤，增加抗肿瘤免疫力，已经在多种癌症（如胃癌）的治疗中显示出显著的益处。
但是，在没有选择性生物标志物的肿瘤免疫治疗中，免疫检查点抑制剂治疗的获益患者不足一半，获益患者可以获得超长预后，但是不获益患者使用免疫抑制剂以后甚至出现超进展。因此，迫切需要对肿瘤免疫治疗的预后进行评估，以更好地帮助患者在抗PD-1/ PD-L1免疫治疗中获益。
发明内容
本发明提供一种肿瘤免疫治疗预后评估方法、装置、电子设备及存储介质，用以对肿瘤免疫治疗的预后进行评估，以更好地帮助患者在抗PD-1/ PD-L1免疫治疗中获益。
本发明提供一种肿瘤免疫治疗预后评估方法，包括：
将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型，获得所述免疫细胞评分模型输出的所述待测患者的各类细胞亚型免疫细胞的评分；
将所述待测患者的各类细胞亚型免疫细胞的评分输入到预设回归模型，获取所述预设回归模型输出的所述待测患者的肿瘤免疫治疗预后评估结果；
所述免疫细胞评分模型的网络参数是基于肿瘤免疫治疗疗效预测模型的网络参数确定的，所述肿瘤免疫治疗疗效预测模型是基于肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的。
根据本发明提供的一种肿瘤免疫治疗预后评估方法，在所述将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型之前，所述方法还包括：
基于所述肿瘤微环境的图像特征信息和预设Transformer模型，建立所述肿瘤免疫治疗疗效预测模型及所述免疫细胞评分模型；所述预设Transformer模型包括多个块，每个块包括多头注意力机制层和前向反馈网络层。
根据本发明提供的一种肿瘤免疫治疗预后评估方法，所述肿瘤微环境的图像特征信息包括肿瘤细胞的位置向量、所述肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和所述各个免疫细胞的位置向量；基于所述肿瘤微环境的图像特征信息和预设Transformer模型，建立所述肿瘤免疫治疗疗效预测模型及所述免疫细胞评分模型，包括：
基于所述肿瘤细胞的位置向量、所述肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和所述各个免疫细胞的位置向量，通过所述预设Transformer模型中的第一个块和第二个块，确定第一关系模型和第一注意力图，并基于所述第一关系模型，确定所述肿瘤细胞的特征向量；
基于各个所述肿瘤细胞的位置向量及各个所述肿瘤细胞的特征向量，通过所述预设Transformer模型中的第三个块，确定第二关系模型及第二注意力图，并基于所述第二关系模型和Softmax函数，确定第三关系模型；
基于预先勾画的各个感兴趣区域的特征向量，通过所述预设Transformer模型中的第四个块，确定第四关系模型及第三注意力图，并基于所述第四关系模型和Softmax函数，确定第五关系模型；所述感兴趣区域的特征向量是基于所述第三关系模型确定的；所述感兴趣区域包括多个所述肿瘤细胞的图像区域；
基于预设的各个切片图像的特征向量，通过所述预设Transformer模型中的第五个块，确定第六关系模型及第四注意力图，并基于所述第六关系模型和Softmax函数，确定第七关系模型；所述切片图像的特征向量是基于所述第五关系模型确定的，所述切片图像包括多个所述感兴趣区域；
基于所述第七关系模型，建立所述肿瘤免疫治疗疗效预测模型；
基于所述第一注意力图、所述第二注意力图、所述第三注意力图和所述第四注意力图，建立所述免疫细胞评分模型。
根据本发明提供的一种肿瘤免疫治疗预后评估方法，在所述将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型之前，所述方法还包括：
将患者的肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签作为一组训练样本，获取多组训练样本；
利用所述多组训练样本，对所述肿瘤免疫治疗疗效预测模型进行训练。
根据本发明提供的一种肿瘤免疫治疗预后评估方法，利用所述多组训练样本，对所述肿瘤免疫治疗疗效预测模型进行训练，包括：
对于任意一组训练样本，将所述训练样本输入到所述肿瘤免疫治疗疗效预测模型，获得所述肿瘤免疫治疗疗效预测模型输出的所述训练样本对应的免疫治疗疗效预测值；
利用预设损失函数，根据所述训练样本对应的免疫治疗疗效预测值和所述训练样本对应的样本免疫治疗疗效标签计算损失值；
若所述损失值小于预设阈值，则所述肿瘤免疫治疗疗效预测模型训练完成。
根据本发明提供的一种肿瘤免疫治疗预后评估方法，在所述若所述损失值小于预设阈值，则所述肿瘤免疫治疗疗效预测模型训练完成之后，所述方法还包括：
确定训练完成后的所述肿瘤免疫治疗疗效预测模型的网络参数；所述网络参数包括网络权重和网络偏置向量；
将所述免疫细胞评分模型的网络权重和网络偏置向量分别更新为所述肿瘤免疫治疗疗效预测模型的网络权重和网络偏置向量。
根据本发明提供的一种肿瘤免疫治疗预后评估方法，在所述将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型之前，所述方法还包括：
对所述待测患者的各个肿瘤组织切片的肿瘤微环境图像进行感兴趣区域提取，得到每个所述肿瘤组织切片的多个感兴趣区域；
对每个所述肿瘤组织切片的各个感兴趣区域进行细胞表型分析，得到每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息。
本发明还提供一种肿瘤免疫治疗预后评估装置，包括：
评分模块，用于将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型，获得所述免疫细胞评分模型输出的所述待测患者的各类细胞亚型免疫细胞的评分；
评估模块，用于将所述待测患者的各类细胞亚型免疫细胞的评分输入到预设回归模型，获取所述预设回归模型输出的所述待测患者的肿瘤免疫治疗预后评估结果；
所述免疫细胞评分模型的网络参数是基于肿瘤免疫治疗疗效预测模型的网络参数确定的，所述肿瘤免疫治疗疗效预测模型是基于肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述肿瘤免疫治疗预后评估方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述肿瘤免疫治疗预后评估方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述肿瘤免疫治疗预后评估方法。
本发明提供的肿瘤免疫治疗预后评估方法、装置、电子设备及存储介质，通过对待测患者的各个肿瘤组织切片的肿瘤微环境图像进行细胞表型特征提取，获取每个肿瘤组织切片中各个肿瘤微环境的图像特征信息；同时，利用深度神经网络中的注意力机制，跨尺度多层级进行肿瘤组织的空间特征分析，构建肿瘤免疫治疗疗效预测模型和免疫细胞评分模型，通过对肿瘤免疫治疗疗效预测模型进行模型训练，得到训练好的模型网络参数，从而同步确定免疫细胞评分模型的网络参数，得到训练好的免疫细胞评分模型，以通过将各个肿瘤组织切片中肿瘤微环境的图像特征信息输入到免疫细胞评分模型，得到待测患者的各类细胞亚型免疫细胞的评分，确定各类细胞亚型免疫细胞在肿瘤微环境中的空间分布，进而通过预设回归模型对待测患者的各类细胞亚型免疫细胞的评分进行回归分析，得到患者进行肿瘤免疫治疗预后的评估结果，可以实现对患者的肿瘤免疫治疗预后的有效评估，极大地改善了肿瘤免疫治疗患者的预后。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的肿瘤免疫治疗预后评估方法的流程示意图；
图2是本发明提供的肿瘤免疫治疗预后评估方法中模型构建的流程示意图；
图3是本发明提供的肿瘤免疫治疗预后评估方法的生存曲线示意图；
图4是本发明提供的肿瘤免疫治疗预后评估装置的结构示意图；
图5是本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合图1-图5描述本发明的肿瘤免疫治疗预后评估方法、装置、电子设备及存储介质。
图1是本发明提供的肿瘤免疫治疗预后评估方法的流程示意图，如图1所示，包括：步骤110和步骤120。
步骤110，将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型，获得免疫细胞评分模型输出的待测患者的各类细胞亚型免疫细胞的评分；
免疫细胞评分模型的网络参数是基于肿瘤免疫治疗疗效预测模型的网络参数确定的，肿瘤免疫治疗疗效预测模型是基于肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的；
具体地，本发明实施例所描述的肿瘤组织切片指的是经过多标记免疫组织化学（multiplex ImmunoHistoChemistry，mIHC）染色或者免疫荧光（Immunofluorescence，IF）染色技术处理后的待测患者肿瘤组织的切片。经过上述染色处理后，在待测患者的肿瘤组织中能够染色多个靶标，获得多个靶标标志物，以实现对多个靶标标志物的检测。
需要说明的是，本发明实施例中，采用的肿瘤组织可以是胃癌肿瘤组织、肝癌肿瘤组织，以及其他可以用于进行免疫治疗预后评估的癌症肿瘤组织。
本发明实施例所描述的肿瘤微环境指的是肿瘤细胞赖以生存的复杂环境，主要是由肿瘤细胞、肿瘤细胞周围的免疫细胞以及细胞外的细胞间质等组成的。
本发明实施例所描述的肿瘤微环境图像指的是肿瘤组织切片经过多标记着色后，通过病理成像系统获得的用于表征肿瘤组织中肿瘤微环境特征的切片图像，其可以为多重免疫组化染色图像或者多重免疫染色图像。
例如，可以通过使用全自动定量病理成像系统，例如Mantra定量病理分析平台，得到肿瘤组织切片的多重免疫染色图像，即获取肿瘤微环境图像，其为多光谱图像，该多光谱图像可以在显谱图中显示。
本发明实施例所描述的肿瘤微环境的图像特征信息指的是针对肿瘤微环境图像中各个肿瘤微环境区域的细胞组织结构，提取到的图像特征信息。其具体可以包括肿瘤细胞及免疫细胞的空间位置信息等。
进一步地，在本发明的实施例中，可以通过现有病理成像系统，获取待测患者的各个肿瘤组织切片的肿瘤微环境图像，通过对各个肿瘤组织切片的肿瘤微环境图像进行图像分析及细胞表型特征提取，得到每个肿瘤组织切片中各个肿瘤微环境的图像特征信息。
基于上述实施例的内容，作为一种可选的实施例，在将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型之前，该方法还包括：
对待测患者的各个肿瘤组织切片的肿瘤微环境图像进行感兴趣区域提取，得到每个肿瘤组织切片的多个感兴趣区域；
对每个肿瘤组织切片的各个感兴趣区域进行细胞表型分析，得到每个肿瘤组织切片中各个肿瘤微环境的图像特征信息。
具体地，在本发明的实施例中，针对待测患者的各个肿瘤组织切片，通过病理成像系统，得到各个肿瘤组织切片的肿瘤微环境图像，即获得肿瘤组织的各个切片图像。进一步地，对各个肿瘤组织切片的肿瘤微环境图像提取多个感兴趣区域（Region of Interest，ROI），简单来说，可以由两位专业的病理学专家在每个切片图像中选择具有代表性的视野，从切片图像中勾画肿瘤微环境区域，由此可以根据勾画肿瘤微环境区域，在各个肿瘤组织切片的肿瘤微环境图像中提取包含多个肿瘤细胞图像信息的感兴趣区域，进而提取到每个肿瘤组织切片中的多个感兴趣区域，其中每个感兴趣区域中展示的肿瘤细胞的数量范围可以为3000至8000个。
进一步地，在本发明的实施例中，采用光谱型定量病理分析软件inForm，针对每个肿瘤组织切片的肿瘤微环境图像，对其中各个感兴趣区域中的肿瘤细胞和免疫细胞进行细胞表型分析，根据染色指标的单阳、双阳、三阳来区分细胞表型，可以得到肿瘤微环境的细胞空间特征以及细胞亚型的特征，从而获取肿瘤微环境的图像特征信息。由此，针对待测患者的各个肿瘤组织切片的肿瘤微环境图像，可以获取到每个肿瘤组织切片中各个肿瘤微环境的图像特征信息。
本发明实施例的方法，通过对待测患者的各个肿瘤组织切片的肿瘤微环境图像进行肿瘤细胞和间质区域的组织成分分割和细胞表型分析，可以有效获取到各个切片图像中肿瘤微环境的图像特征信息，为后续进行肿瘤免疫治疗预后评估提供准确的输入数据。
本发明实施例所描述的样本免疫治疗疗效标签指的是癌症患者进行肿瘤免疫治疗后可以表征患者免疫治疗疗效的标签信息，其具体可以表征患者为免疫治疗有效者或无反应者。
需要说明的是，免疫治疗有效者定义为患者免疫治疗期间最佳疗效按照实体瘤的疗效评价标准（Response Evaluation Criteria in Solid Tumors，RECIST）完全缓解（CR）或部分缓解（PR）患者；无反应者定义为患者免疫治疗期间最佳疗效为疾病进展（PD）或稳定（SD）患者。
本发明所描述的肿瘤免疫治疗疗效预测模型是根据肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的，用于对输入的肿瘤微环境的图像特征信息样本进行识别，描述不同尺度下各个对象之间的长距离关系，根据带有样本免疫治疗疗效标签的肿瘤组织中肿瘤微环境的图像特征信息样本，学习并记录跨尺度多层级下的肿瘤微环境图像中各个对象之间的相似性指标，从而准确输出待测患者的肿瘤免疫治疗疗效预测结果。
本发明所描述的免疫细胞评分模型用于对待测患者的各类细胞亚型免疫细胞进行评分，该评分可以描述为SPEC评分，可以表征待测患者的各类细胞亚型免疫细胞在肿瘤微环境中的空间分布情况。
需要说明的是，本发明实施例中，免疫细胞评分模型和肿瘤免疫治疗疗效预测模型可以是基于现有带有注意力机制的深度神经网络同步构建得到的。其中，该深度神经网络模型具体可以为主要基于自注意力机制的深度神经网络Transformer模型，也可以为深度卷积神经网络（Convolutional Neural Network，CNN）模型，还可以为其他用于肿瘤免疫治疗预后评估的深度神经网络，在本发明中不做具体限定。
在本发明的实施例中，肿瘤免疫治疗疗效预测模型输出的肿瘤免疫治疗疗效预测结果可以为0/1二分类结果，输出为1时，可以说明待测患者为免疫治疗有效者；输出为0时，说明待测患者为无反应者。
需要说明的是，免疫治疗有效者定义为患者免疫治疗期间最佳疗效按照实体瘤的疗效评价标准（Response Evaluation Criteria in Solid Tumors，RECIST）完全缓解（CR）或部分缓解（PR）患者；无反应者定义为患者免疫治疗期间最佳疗效为疾病进展（PD）或稳定（SD）患者。
其中，训练样本是由多组带有样本免疫治疗疗效标签的肿瘤微环境的图像特征信息样本集构成，其中，每组图像特征信息样本集是由同一患者的各个肿瘤组织切片中肿瘤微环境的图像特征信息样本组成的。
本发明所描述的样本免疫治疗疗效标签是根据多组图像特征信息样本集预先确定的，并与每组图像特征信息样本集是一一对应的。也就是说，训练样本中的每一组图像特征信息样本集，都预先设定好一个与之对应的样本免疫治疗疗效标签。
进一步地，在本发明的实施例中，基于各个肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签，对肿瘤免疫治疗疗效预测模型进行模型训练，得到训练好的肿瘤免疫治疗疗效预测模型，确定肿瘤免疫治疗疗效预测模型的网络参数，进而根据肿瘤免疫治疗疗效预测模型的网络参数同步确定免疫细胞评分模型的网络参数，确保免疫细胞评分模型的模型精度。
进一步地，将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型，可以获得免疫细胞评分模型输出的待测患者的各类细胞亚型免疫细胞的评分。通过利用免疫细胞评分模型中的注意力机制，进行以肿瘤微环境为最小尺度的跨尺度多层级分析，对待测患者各类细胞亚型的免疫细胞进行评分。
基于上述实施例的内容，作为一种可选的实施例，在将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型之前，该方法还包括：
基于肿瘤微环境的图像特征信息和预设Transformer模型，建立肿瘤免疫治疗疗效预测模型及免疫细胞评分模型；预设Transformer模型包括多个块，每个块包括多头注意力机制层和前向反馈网络层。
具体地，在本发明的实施例中，在将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型之前，首先需要进行免疫细胞评分模型及肿瘤免疫治疗疗效预测模型的构建。
需要说明的是，Transformer模型是一类利用注意力机制来提高模型特征提取能力的深度神经网络学习模型，其注意力机制可以同时描述不同对象之间的长距离关系，学习并记录对象之间的相似性指标，并具有从大量的信息中有选择地提取重要信息的能力。
在本发明的实施例中，可以通过使用多层注意力机制，使Transformer模型可以在肿瘤微环境、肿瘤细胞、感兴趣区域、切片图像等多个层级进行空间特征分析。
在本发明的实施例中，预设Transformer模型包括多个块，每个块指的是Transformer模型的核心模块（Transformer Block，TB），其由多头注意力机制（Multi-headattention，MHA）层和前向反馈网络（Feed forward network, FFN）构成。
在本发明的实施例中，可以基于肿瘤微环境的图像特征信息和上述预设Transformer模型，同步建立免疫细胞评分模型及肿瘤免疫治疗疗效预测模型。
本发明实施例的方法，通过利用Transformer模型的强大特征提取能力，可以实现在肿瘤微环境、肿瘤细胞、感兴趣区域、切片图像等多个层级进行空间特征分析，有利于实现从空间、细胞、细胞组分等多维视角分析预测肿瘤免疫治疗的预后。
基于上述实施例的内容，作为一种可选的实施例，肿瘤微环境的图像特征信息包括肿瘤细胞的位置向量、肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和各个免疫细胞的位置向量；基于肿瘤微环境的图像特征信息和预设Transformer模型，建立肿瘤免疫治疗疗效预测模型及免疫细胞评分模型，包括：
基于肿瘤细胞的位置向量、肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和各个免疫细胞的位置向量，通过预设Transformer模型中的第一个块和第二个块，确定第一关系模型和第一注意力图，并基于第一关系模型，确定肿瘤细胞的特征向量；
基于各个肿瘤细胞的位置向量及各个肿瘤细胞的特征向量，通过预设Transformer模型中的第三个块，确定第二关系模型及第二注意力图，并基于第二关系模型和Softmax函数，确定第三关系模型；
基于预先勾画的各个感兴趣区域的特征向量，通过预设Transformer模型中的第四个块，确定第四关系模型及第三注意力图，并基于第四关系模型和Softmax函数，确定第五关系模型；感兴趣区域的特征向量是基于第三关系模型确定的；感兴趣区域包括多个肿瘤细胞的图像区域；
基于预设的各个切片图像的特征向量，通过预设Transformer模型中的第五个块，确定第六关系模型及第四注意力图，并基于第六关系模型和Softmax函数，确定第七关系模型；切片图像的特征向量是基于第五关系模型确定的，切片图像包括多个感兴趣区域；
基于第七关系模型，建立肿瘤免疫治疗疗效预测模型；
基于第一注意力图、第二注意力图、第三注意力图和第四注意力图，建立免疫细胞评分模型。
具体地，在本发明的实施例中，可以使用Python PyTorch软件包，预设以100um为半径确定肿瘤微环境，从肿瘤大Panel层级（以下描述为肿瘤视野系Series层级）、肿瘤视野勾画层级（以下描述为肿瘤视野块Patch层级）、肿瘤视野内肿瘤细胞相互作用层级（以下描述为肿瘤视野微环境Microenvironment层级)和肿瘤视野内以单个肿瘤细胞为中心分析其100um范围内免疫细胞相互作用层级（以下描述为肿瘤视野细胞Cell层级）四个层级来同步构建肿瘤免疫治疗疗效预测模型（以下可以描述为SPEC-former模型）以及免疫细胞评分模型（以下可以描述为SPEC评分模型）。其中，肿瘤视野系Series层级可以理解为同时检测肿瘤组织病理图像的多个切片图像的宏观层级。
本发明实施例所描述的第一关系模型可以表征肿瘤视野Cell层级下的各个免疫细胞之间的关系，以及各个免疫细胞与肿瘤细胞之间的关系。
本发明实施例所描述的第二关系模型可以表征肿瘤视野Microenvironment层级下的各个肿瘤细胞之间的关联关系。
本发明实施例所描述的感兴趣区域指的是对各个切片图像进行肿瘤视野勾画的ROI区域。
可以理解的是，每个切片图像可以包括多个ROI区域，每个ROI区域可以包括多个肿瘤细胞的图像区域。
本发明实施例所描述的第四关系模型可以表征肿瘤视野Patch层级下的各个感兴趣区域之间的关联关系。
本发明实施例所描述的第六关系模型可以表征肿瘤视野Series层级下的各个切片图像之间的关联关系。
在本发明的实施例中，肿瘤微环境的图像特征信息具体可以包括肿瘤细胞的位置向量、肿瘤细胞以100um为半径范围内的各个免疫细胞的细胞亚型的特征向量和各个免疫细胞的位置向量。
假设输入的特征向量表示为
Figure 20116DEST_PATH_IMAGE001
，位置向量表示为
Figure 340239DEST_PATH_IMAGE002
，其中，N表示建 模对象的数量，d表示每个对象的特征向量维度，2表示位置向量为2维；建模对象包括免疫 细胞和肿瘤细胞，建模对象的数量指的是两种细胞的总数量，第1个细胞为肿瘤细胞，后N-1 个细胞均为免疫细胞。
需要说明的是，
Figure 583132DEST_PATH_IMAGE003
表示n维实数向量空间，
Figure 732747DEST_PATH_IMAGE004
表示
Figure 70188DEST_PATH_IMAGE005
维实数向量空间。
进一步地，Transformer模型中的TB模块可通过注意力机制对各个对象之间的关系进行建模，如下：
Figure 261129DEST_PATH_IMAGE006
其中，MHA可描述为：
Figure 658612DEST_PATH_IMAGE007
其中，
Figure 433539DEST_PATH_IMAGE008
均表示为全连接层，
Figure 184457DEST_PATH_IMAGE009
，可记为注意力 图，其用于描述每两个对象之间的关系。因此，TB模块可用来描述免疫细胞与肿瘤细胞之间 的关系、不同肿瘤细胞之间的关系、不同感兴趣区域之间的关系以及不同切片图像之间的 关系。
图2是本发明提供的肿瘤免疫治疗预后评估方法中模型构建的流程示意图，如图2所示，在本发明的实施例中，依次执行肿瘤视野Cell层级的、肿瘤视野Microenvironment层级、肿瘤视野Patch层级和肿瘤视野Series层级四个层级来同步构建SPEC-former模型及SPEC评分模型。
进一步地，如图2所示，在本实施例中，针对肿瘤视野Cell层级，基于肿瘤细胞的位 置向量、肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和各个免疫细胞的位置向 量，通过预设Transformer模型中的第一个块和第二个块，确定第一关系模型。具体来说，对 于单个肿瘤细胞为中心，分析其100um范围内免疫细胞相互作用层级，该肿瘤细胞的特征向 量可表示为
Figure 479172DEST_PATH_IMAGE010
，其空间二维位置坐标，即位置向量可以表示为
Figure 28315DEST_PATH_IMAGE011
；同时，其以该肿 瘤细胞为中心，100um为半径的范围内
Figure 306850DEST_PATH_IMAGE012
个免疫细胞的细胞亚型的特征向量可以表示为
Figure 736825DEST_PATH_IMAGE013
，各个免疫细胞的空间二维位置坐标，即位置向量可以表示为
Figure 259948DEST_PATH_IMAGE014
。其中
Figure 264814DEST_PATH_IMAGE015
可以表征可学习的参数向量，
Figure 250218DEST_PATH_IMAGE016
则根据亚型细胞类型赋予 唯一的0或1来表达。
综上，则有模型输入特征向量
Figure 467573DEST_PATH_IMAGE017
，位置向量
Figure 989078DEST_PATH_IMAGE018
，通过预 设Transformer模型中的第一个块和第二个块，确定第一关系模型，则第一关系模型可以表 示为：
Figure 899265DEST_PATH_IMAGE019
其中，W表示预设Transformer模型的网络权重参数，b表示预设Transformer模型的网络偏置向量参数。
由此，通过堆叠两个TB模块构建了不同免疫细胞之间、免疫细胞与中心肿瘤细胞 之间的关系模型。两层TB分别得到两个注意力图
Figure 496599DEST_PATH_IMAGE020
，其中，
Figure 32492DEST_PATH_IMAGE021
记为
Figure 156305DEST_PATH_IMAGE022
，
Figure 988126DEST_PATH_IMAGE023
记为
Figure 197391DEST_PATH_IMAGE024
，由此得到Cell层级下的整体注 意力图，即第一注意力图可以表示为
Figure 127520DEST_PATH_IMAGE025
。将第一注意力图
Figure 122152DEST_PATH_IMAGE026
简写为
Figure 374142DEST_PATH_IMAGE027
，其可以代表肿瘤微环境中各个免疫细胞对肿瘤免疫治疗预后评估 的重要程度。
在本实施例中，基于第一关系模型，确定肿瘤细胞的特征向量，可以取
Figure 319970DEST_PATH_IMAGE028
，其可以代表该肿瘤细胞的特征向量。
进一步地，如图2所示，在本实施例中，针对肿瘤视野Microenvironment层级，基于 各个肿瘤细胞的位置向量及各个肿瘤细胞的特征向量，通过预设Transformer模型中的第 三个块，确定第二关系模型。具体来说，假设有
Figure 682818DEST_PATH_IMAGE029
个肿瘤细胞，各个肿瘤细胞的特征向量可 以表示为
Figure 531956DEST_PATH_IMAGE030
。此外，
Figure 331679DEST_PATH_IMAGE031
个肿瘤细胞的空间二维坐标，即位置向量 可以表示为
Figure 781114DEST_PATH_IMAGE032
。基于通过预设Transformer模型中的第三个块，建立不同肿瘤细胞 之间的关系模型，得到第二关系模型，其可以表示为：
Figure 432807DEST_PATH_IMAGE033
；
同时，通过Softmax函数，可以确定Microenvironment层级下的第二注意力图，其 中，第二注意力图可以表示为
Figure 385719DEST_PATH_IMAGE034
，将其记为
Figure 494358DEST_PATH_IMAGE035
，用于描述
Figure 899932DEST_PATH_IMAGE036
个肿 瘤细胞对肿瘤免疫治疗预后评估的重要程度。
在本实施例中，不同于Cell层级中，以位于中心的肿瘤细胞为主，关注其周围免疫细胞之间及免疫细胞与该肿瘤细胞之间的关系，不同肿瘤细胞之间不具有主次关系，可以通过额外的自注意力模块，基于第二关系模型和Softmax函数，来建立Microenvironment层级最终关系的模型，得到第三关系模型，其可以表示为：
Figure 745528DEST_PATH_IMAGE037
进一步地，如图2所示，在本实施例中，针对肿瘤视野Patch层级，基于预先勾画的 各个ROI区域的特征向量，通过预设Transformer模型中的第四个块，确定第四关系模型。具 体来说，该层级的建模过程与上一层级相似。假设一共有
Figure 799285DEST_PATH_IMAGE038
个勾画区域，即ROI区域，根据 第三关系模型，则各个ROI区域的特征向量可以表示为
Figure 829558DEST_PATH_IMAGE039
。此 外，由于不同ROI区域之间的相对位置没有现实意义，因此该层级不考虑位置信息。通过预 设Transformer模型中的第四个块，建立不同ROI区域之间的关系模型，得到第四关系模型， 其可以表示为：
Figure 473160DEST_PATH_IMAGE040
；
而后通过额外的自注意力模块，通过Softmax函数，可以确定Patch层级下的第三 注意力图，第三注意力图可以表示为
Figure 715923DEST_PATH_IMAGE041
，将其记为
Figure 17329DEST_PATH_IMAGE042
，其可以 描述
Figure 969235DEST_PATH_IMAGE043
个ROI区域对肿瘤免疫治疗预后评估的重要程度。
同时，基于第四关系模型和Softmax函数，建立Patch层级最终关系的模型，得到第五关系模型，其可以表示为：
Figure 349401DEST_PATH_IMAGE044
其中，将
Figure 648052DEST_PATH_IMAGE045
记为
Figure 695642DEST_PATH_IMAGE046
，其可以描述
Figure 411925DEST_PATH_IMAGE047
个ROI区域对最终预测 结果的重要性程度。
进一步地，如图2所示，在本实施例中，针对肿瘤大Panel层级，即肿瘤视野Series 层级，基于预设的各个切片图像的特征向量，通过预设Transformer模型中的第五个块，确 定第六关系模型，具体来说，假设一共有
Figure 794234DEST_PATH_IMAGE048
个切片图像，根据第五关系模型，则各个切片图 像的特征向量可以表示为
Figure 644378DEST_PATH_IMAGE049
。同样不考虑无现实意义的相对 位置信息，通过预设Transformer模型中的第五个块，建立不同切片图像之间的关系模型， 得到第六关系模型，其可以表示为：
Figure 297208DEST_PATH_IMAGE050
；
进而，通过额外的自注意力模块，利用Softmax函数，可以确定Series层级下的第 四注意力图，其中，第四注意力图可以表示为
Figure 574605DEST_PATH_IMAGE051
，将其记为
Figure 933559DEST_PATH_IMAGE052
，其可以描述
Figure 462761DEST_PATH_IMAGE053
个切片图像对肿瘤免疫治疗预后评估的重要程度。
同样地，通过额外的自注意力模块，基于第六关系模型和Softmax函数，建立Series层级最终关系的模型，得到第七关系模型，其可以表示为
Figure 953785DEST_PATH_IMAGE054
其中，将
Figure 651352DEST_PATH_IMAGE055
记为
Figure 103193DEST_PATH_IMAGE056
，其可以描述
Figure 560719DEST_PATH_IMAGE048
个切片图像对最终预 测结果的重要性程度。
进一步地，在本实施例中，基于第七关系模型，建立肿瘤免疫治疗疗效预测模型，即SPEC-former模型，其可以表示为：
Figure 158447DEST_PATH_IMAGE057
；
在本发明的实施例中，通过对SPEC-former模型进行模型训练，训练模型时使用的监督信号为患者层级的样本免疫治疗疗效标签。
进一步地，在本发明的实施例中，基于前述得到的第一注意力图、第二注意力图、第三注意力图和第四注意力图，可以建立SPEC评分模型。具体来说，为了结合在各个层级提取到的特征信息，本发明建立了SPEC评分。基于这个分数在很大程度上描述了空间特征，将每个层级生成的注意力图里的重要性程度评分相乘，即将第一注意力图、第二注意力图、第三注意力图和第四注意力图进行相乘，可以得到单个免疫细胞细胞的SPEC评分，其可以表示为：
Figure 43226DEST_PATH_IMAGE058
；
其中，
Figure 123309DEST_PATH_IMAGE059
表示属于第
Figure 853367DEST_PATH_IMAGE060
个Series层级下的第
Figure 692885DEST_PATH_IMAGE061
个Patch层级下的第
Figure 499298DEST_PATH_IMAGE062
个 Microenvironment层级中的第
Figure 50365DEST_PATH_IMAGE063
个免疫细胞
Figure 96032DEST_PATH_IMAGE064
的SPEC评分。
进一步地，在本发明的实施例中，对所有为某一类细胞亚型的免疫细胞的SPEC评分取平均就得到这一类细胞亚型的SPEC评分。每种细胞亚型的SPEC评分为所有表达该细胞亚型的免疫细胞的SPEC评分的平均值。由此，建立的SPEC评分模型可以表示为：
Figure 681734DEST_PATH_IMAGE065
；
其中，
Figure 393469DEST_PATH_IMAGE066
表示待测患者的肿瘤组织样本中所有表达D亚型的免疫细胞数量。
在本发明的实施例中，通过构建SPEC评分模型，对每个患者构建一个多维的SPEC评分，从而可以得到每个患者的各类细胞亚型免疫细胞的SPEC评分，以基于该SPEC评分对后续待测患者的肿瘤免疫治疗预后进行有效评估。
本发明实施例的方法，通过利用Transformer模型中多头注意力机制，实现对肿瘤组织在肿瘤微环境、肿瘤细胞、感兴趣区域及切片图像多层级多尺度进行空间特征分析，提取各层级下的注意力图，提升SPEC评分模型对各层级下的图像空间特征识别能力，有利于提升肿瘤免疫治疗预后评估的有效性；同时，通过同步构建SPEC-former模型，利用对SPEC-former模型进行模型训练得到的模型网络参数，同步确定SPEC评分模型的网络参数，得到训练好的SPEC评分模型，提高SPEC评分模型的模型精度。
步骤120，将待测患者的各类细胞亚型免疫细胞的评分输入到预设回归模型，获取预设回归模型输出的待测患者的肿瘤免疫治疗预后评估结果。
具体地，本发明实施例所描述的预设回归模型指的是用于生存分析的回归模型，可以包括Cox回归模型、多层感知机（Multilayer Perceptron，MLP）模型等。
本发明实施例所描述的肿瘤免疫治疗预后评估结果指的是针对待测患者的各类细胞亚型免疫细胞的评分作出的生存时间预测结果，其可以使用免疫治疗生存时间（immune-related Overall Survival, irOS）值表示，表征待测患者的预测免疫相关生存时间。
进一步地，在本发明的实施例中，将待测患者的各类细胞亚型免疫细胞的评分输入到预设回归模型进行生存分析，获取预设回归模型输出的待测患者的肿瘤免疫治疗预后评估结果。
在本发明的实施例中，采用Cox回归模型，作为预设回归模型。基于上述描述的SPEC评分，进一步构建Cox回归模型（也可以描述为Cox比例风险模型）进行生存分析。Cox比例风险模型可以描述为：
Figure 805734DEST_PATH_IMAGE067
；
其中，
Figure 408753DEST_PATH_IMAGE068
表示待测患者的各类细胞亚型免疫细胞的SPEC评分。Cox比例风险模 型是半参数模型，
Figure 334115DEST_PATH_IMAGE069
表示预先定义的基线风险概率，其假设对于所有患者的
Figure 731598DEST_PATH_IMAGE070
是一样 的；
Figure 243876DEST_PATH_IMAGE071
表示需要学习的参数。
在本发明的实施例中，基于SPEC 评分构建的Cox比例风险模型的一致性指数（Concordance Index，CI）可以达到0.716，其95%置信区间为0.643至0.789，这表明本发明基于SPEC 评分构建的Cox比例风险模型可以用于患者肿瘤免疫治疗预后的预测评估，且预测精度高。
在本发明的另一个具体实施例中，可以采用MLP模型作为预设回归模型。基于上述描述的SPEC 评分，进一步构建MLP模型进行生存时间预测。MLP模型可以描述为：
Figure 650586DEST_PATH_IMAGE072
；
其中，
Figure 820668DEST_PATH_IMAGE073
表示待测患者的各类细胞亚型免疫细胞的SPEC评分，
Figure 372741DEST_PATH_IMAGE074
表示MLP模型输 出的irOS预测值。
训练MLP模型时，对于任意一组训练样本，先将该训练样本输入到预先训练好的SPEC评分模型，获得该训练样本对应的SPEC 评分。然后将该SPEC 评分输入到MLP模型，输出该训练样本对应的irOS预测值。利用预设损失函数，根据训练样本对应的irOS预测值和训练样本对应的irOS标签计算损失值；若该损失值小于预设阈值时，则MLP模型训练完成。
图3是本发明提供的肿瘤免疫治疗预后评估方法的生存曲线示意图，如图3所示的Kaplan-Meier曲线中，在本实施例中，收集胃癌肿瘤患者的59例样本，以模型预测的中位风险概率为切分点（cut-off），其中，中位风险概率是根据选取59位患者的irOS值中的中位数得到的，由此可以将59位患者分为高风险组（风险概率高于中位风险概率）以及低风险组（风险概率不超过中位风险概率）。从Kaplan-Meier曲线中可知，经过365天后，处于高风险组中的患者人数减少为8人，处于低风险组中的患者人数减少为20人；经过730天后，处于高风险组中的患者人数减少为2人，处于低风险组中的患者人数减少为14人；经过1095天后，处于高风险组中的患者人数减少为0人，处于低风险组中的患者人数减少为6人。由此，可以看出高风险组与低风险组组间生存时间存在明显差异。同时，在生存率为0.5的情况下，也可以直观地看出高风险组与低风险组组间生存时间存在明显差异。
本发明实施例提供的肿瘤免疫治疗预后评估方法，通过对待测患者的各个肿瘤组织切片的肿瘤微环境图像进行细胞表型特征提取，获取每个肿瘤组织切片中各个肿瘤微环境的图像特征信息；同时，利用深度神经网络中的注意力机制，跨尺度多层级进行肿瘤组织的空间特征分析，构建肿瘤免疫治疗疗效预测模型和免疫细胞评分模型，通过对肿瘤免疫治疗疗效预测模型进行模型训练，得到训练好的模型网络参数，从而同步确定免疫细胞评分模型的网络参数，得到训练好的免疫细胞评分模型，以通过将各个肿瘤组织切片中肿瘤微环境的图像特征信息输入到免疫细胞评分模型，得到待测患者的各类细胞亚型免疫细胞的评分，确定各类细胞亚型免疫细胞在肿瘤微环境中的空间分布，进而通过预设回归模型对待测患者的各类细胞亚型免疫细胞的评分进行回归分析，得到患者进行肿瘤免疫治疗预后的评估结果，可以实现对患者的肿瘤免疫治疗预后的有效评估，极大地改善了肿瘤免疫治疗患者的预后。
基于上述实施例的内容，作为一种可选的实施例，在将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型之前，该方法还包括：
将患者的肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签作为一组训练样本，获取多组训练样本；
利用多组训练样本，对肿瘤免疫治疗疗效预测模型进行训练。
具体地，在将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型之前，还需对肿瘤免疫治疗疗效预测模型进行训练，以确定免疫细胞评分模型的网络参数。具体训练过程如下：
将标识有同一样本免疫治疗疗效标签的各个肿瘤微环境的图像特征信息样本与该样本免疫治疗疗效标签作为一组训练样本，即将同一患者的肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签作为一组训练样本，因此，针对多个患者样本的肿瘤微环境的图像特征信息样本信息，即可获得多组训练样本。
在本发明的实施例中，肿瘤组织中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签是一一对应的。
然后，在获得多组训练样本之后，再将多组训练样本依次输入至肿瘤免疫治疗疗效预测模型，即将每组训练样本中的多个肿瘤组织切片中各个肿瘤微环境的图像特征信息样本和每个样本对应的样本免疫治疗疗效标签同时输入至肿瘤免疫治疗疗效预测模型，根据肿瘤免疫治疗疗效预测模型的每一次输出结果，通过计算损失函数值，对肿瘤免疫治疗疗效预测模型的网络参数进行调整，最终完成肿瘤免疫治疗疗效预测模型的训练过程，确定肿瘤免疫治疗疗效预测模型最终的网络参数，以同步确定免疫细胞评分模型的网络参数。
本发明实施例的方法，通过将同一患者的肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签作为一组训练样本，利用多组训练样本对肿瘤免疫治疗疗效预测模型进行模型训练，确保肿瘤免疫治疗疗效预测模型的预测精度，以确保同步确定免疫细胞评分模型的网络参数最优，提高免疫细胞评分模型的模型精度。
基于上述实施例的内容，作为一种可选的实施例，利用多组训练样本，对肿瘤免疫治疗疗效预测模型进行训练，包括：
对于任意一组训练样本，将训练样本输入到肿瘤免疫治疗疗效预测模型，获得肿瘤免疫治疗疗效预测模型输出的训练样本对应的免疫治疗疗效预测值；
利用预设损失函数，根据训练样本对应的免疫治疗疗效预测值和训练样本对应的样本免疫治疗疗效标签计算损失值；
若损失值小于预设阈值，则肿瘤免疫治疗疗效预测模型训练完成。
具体地，本发明实施例所描述的预设损失函数指的是预先设置在肿瘤免疫治疗疗效预测模型里的损失函数，用于模型评估。
本发明实施例所描述的预设阈值指的是模型预先设置的阈值，用于获得最小损失值，完成模型训练。
在获得多组训练样本之后，对于任意一组训练样本，将该训练样本中的每个肿瘤组织切片中的肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签同时输入至肿瘤免疫治疗疗效预测模型，输出该训练样本对应的免疫治疗疗效预测值，其中，免疫治疗疗效预测值指的是该训练样本针对不同肿瘤微环境的图像特征信息对应的免疫治疗疗效预测概率值。
在此基础上，利用预设损失函数根据训练样本对应的免疫治疗疗效预测值和训练样本中携带的样本免疫治疗疗效标签计算损失值。其中，样本免疫治疗疗效标签可以表示为one-hot向量。
在本发明的实施例中，样本免疫治疗疗效标签的表示方式和预设损失函数可以根据实际需求进行设置，此处不做具体限定。
在计算获得损失值之后，本次训练过程结束，更新肿瘤免疫治疗疗效预测模型中的模型参数之后，再进行下一次训练。在训练的过程中，若针对某个训练样本计算获得的损失值小于预设阈值或者达到预设最大迭代次数，则肿瘤免疫治疗疗效预测模型训练完成，从而可以确定肿瘤免疫治疗疗效预测模型最终的网络参数，以同步确定免疫细胞评分模型的网络参数。
本发明实施例的方法，通过对肿瘤免疫治疗疗效预测模型进行训练，将肿瘤免疫治疗疗效预测模型的损失值控制在预设范围内，从而有利于提高肿瘤免疫治疗疗效预测模型的预测精度，确定最优的模型网络参数，以进一步提高免疫细胞评分模型的模型精度。
基于上述实施例的内容，作为一种可选的实施例，在若损失值小于预设阈值，则肿瘤免疫治疗疗效预测模型训练完成之后，该方法还包括：
确定训练完成后的肿瘤免疫治疗疗效预测模型的网络参数；网络参数包括网络权重和网络偏置向量；
将免疫细胞评分模型的网络权重和网络偏置向量分别更新为肿瘤免疫治疗疗效预测模型的网络权重和网络偏置向量。
本发明实施例的方法，基于肿瘤免疫治疗疗效预测模型与免疫细胞评分模型同步构建的关系，通过将免疫细胞评分模型的网络权重和网络偏置向量分别更新为训练完成后的肿瘤免疫治疗疗效预测模型的网络权重和网络偏置向量，实现肿瘤免疫治疗疗效预测模型与免疫细胞评分模型的同步训练，得到训练好的免疫细胞评分模型，提高免疫细胞评分模型的模型精度。
下面对本发明提供的肿瘤免疫治疗预后评估装置进行描述，下文描述的肿瘤免疫治疗预后评估装置与上文描述的肿瘤免疫治疗预后评估方法可相互对应参照。
图4是本发明提供的肿瘤免疫治疗预后评估装置的结构示意图，如图4所示，包括：
评分模块410，用于将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型，获得免疫细胞评分模型输出的待测患者的各类细胞亚型免疫细胞的评分；
评估模块420，用于将待测患者的各类细胞亚型免疫细胞的评分输入到预设回归模型，获取预设回归模型输出的待测患者的肿瘤免疫治疗预后评估结果；
免疫细胞评分模型的网络参数是基于肿瘤免疫治疗疗效预测模型的网络参数确定的，肿瘤免疫治疗疗效预测模型是基于肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的。
本实施例所述的肿瘤免疫治疗预后评估装置可以用于执行上述肿瘤免疫治疗预后评估方法实施例，其原理和技术效果类似，此处不再赘述。
本发明实施例提供的肿瘤免疫治疗预后评估方法，通过对待测患者的各个肿瘤组织切片的肿瘤微环境图像进行细胞表型特征提取，获取每个肿瘤组织切片中各个肿瘤微环境的图像特征信息；同时，利用深度神经网络中的注意力机制，跨尺度多层级进行肿瘤组织的空间特征分析，构建肿瘤免疫治疗疗效预测模型和免疫细胞评分模型，通过对肿瘤免疫治疗疗效预测模型进行模型训练，得到训练好的模型网络参数，从而同步确定免疫细胞评分模型的网络参数，得到训练好的免疫细胞评分模型，以通过将各个肿瘤组织切片中肿瘤微环境的图像特征信息输入到免疫细胞评分模型，得到待测患者的各类细胞亚型免疫细胞的评分，确定各类细胞亚型免疫细胞在肿瘤微环境中的空间分布，进而通过预设回归模型对待测患者的各类细胞亚型免疫细胞的评分进行回归分析，得到患者进行肿瘤免疫治疗预后的评估结果，可以实现对患者的肿瘤免疫治疗预后的有效评估，极大地改善了肿瘤免疫治疗患者的预后。
图5是本发明提供的电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行上述各方法所提供的肿瘤免疫治疗预后评估方法，该方法包括： 将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型，获得所述免疫细胞评分模型输出的所述待测患者的各类细胞亚型免疫细胞的评分；将所述待测患者的各类细胞亚型免疫细胞的评分输入到预设回归模型，获取所述预设回归模型输出的所述待测患者的肿瘤免疫治疗预后评估结果；所述免疫细胞评分模型的网络参数是基于肿瘤免疫治疗疗效预测模型的网络参数确定的，所述肿瘤免疫治疗疗效预测模型是基于肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的肿瘤免疫治疗预后评估方法，该方法包括：将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型，获得所述免疫细胞评分模型输出的所述待测患者的各类细胞亚型免疫细胞的评分；将所述待测患者的各类细胞亚型免疫细胞的评分输入到预设回归模型，获取所述预设回归模型输出的所述待测患者的肿瘤免疫治疗预后评估结果；所述免疫细胞评分模型的网络参数是基于肿瘤免疫治疗疗效预测模型的网络参数确定的，所述肿瘤免疫治疗疗效预测模型是基于肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的肿瘤免疫治疗预后评估方法，该方法包括：将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型，获得所述免疫细胞评分模型输出的所述待测患者的各类细胞亚型免疫细胞的评分；将所述待测患者的各类细胞亚型免疫细胞的评分输入到预设回归模型，获取所述预设回归模型输出的所述待测患者的肿瘤免疫治疗预后评估结果；所述免疫细胞评分模型的网络参数是基于肿瘤免疫治疗疗效预测模型的网络参数确定的，所述肿瘤免疫治疗疗效预测模型是基于肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种肿瘤免疫治疗预后评估方法，其特征在于，包括：
将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型，获得所述免疫细胞评分模型输出的所述待测患者的各类细胞亚型免疫细胞的评分；
将所述待测患者的各类细胞亚型免疫细胞的评分输入到预设回归模型，获取所述预设回归模型输出的所述待测患者的肿瘤免疫治疗预后评估结果；
所述免疫细胞评分模型的网络参数是基于肿瘤免疫治疗疗效预测模型的网络参数确定的，所述肿瘤免疫治疗疗效预测模型是基于肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的；
在所述将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型之前，所述方法还包括：
基于所述肿瘤微环境的图像特征信息和预设Transformer模型，建立所述肿瘤免疫治疗疗效预测模型及所述免疫细胞评分模型；所述预设Transformer模型包括多个块，每个块包括多头注意力机制层和前向反馈网络层；
所述肿瘤微环境的图像特征信息包括肿瘤细胞的位置向量、所述肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和所述各个免疫细胞的位置向量；基于所述肿瘤微环境的图像特征信息和预设Transformer模型，建立所述肿瘤免疫治疗疗效预测模型及所述免疫细胞评分模型，包括：
基于所述肿瘤细胞的位置向量、所述肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和所述各个免疫细胞的位置向量，通过所述预设Transformer模型中的第一个块和第二个块，确定第一关系模型和第一注意力图，并基于所述第一关系模型，确定所述肿瘤细胞的特征向量；
基于各个所述肿瘤细胞的位置向量及各个所述肿瘤细胞的特征向量，通过所述预设Transformer模型中的第三个块，确定第二关系模型及第二注意力图，并基于所述第二关系模型和Softmax函数，确定第三关系模型；
基于预先勾画的各个感兴趣区域的特征向量，通过所述预设Transformer模型中的第四个块，确定第四关系模型及第三注意力图，并基于所述第四关系模型和Softmax函数，确定第五关系模型；所述感兴趣区域的特征向量是基于所述第三关系模型确定的；所述感兴趣区域包括多个所述肿瘤细胞的图像区域；
基于预设的各个切片图像的特征向量，通过所述预设Transformer模型中的第五个块，确定第六关系模型及第四注意力图，并基于所述第六关系模型和Softmax函数，确定第七关系模型；所述切片图像的特征向量是基于所述第五关系模型确定的，所述切片图像包括多个所述感兴趣区域；
基于所述第七关系模型，建立所述肿瘤免疫治疗疗效预测模型；
基于所述第一注意力图、所述第二注意力图、所述第三注意力图和所述第四注意力图，建立所述免疫细胞评分模型。
2.根据权利要求1所述的肿瘤免疫治疗预后评估方法，其特征在于，在所述将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型之前，所述方法还包括：
将患者的肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签作为一组训练样本，获取多组训练样本；
利用所述多组训练样本，对所述肿瘤免疫治疗疗效预测模型进行训练。
3.根据权利要求2所述的肿瘤免疫治疗预后评估方法，其特征在于，利用所述多组训练样本，对所述肿瘤免疫治疗疗效预测模型进行训练，包括：
对于任意一组训练样本，将所述训练样本输入到所述肿瘤免疫治疗疗效预测模型，获得所述肿瘤免疫治疗疗效预测模型输出的所述训练样本对应的免疫治疗疗效预测值；
利用预设损失函数，根据所述训练样本对应的免疫治疗疗效预测值和所述训练样本对应的样本免疫治疗疗效标签计算损失值；
若所述损失值小于预设阈值，则所述肿瘤免疫治疗疗效预测模型训练完成。
4.根据权利要求3所述的肿瘤免疫治疗预后评估方法，其特征在于，在所述若所述损失值小于预设阈值，则所述肿瘤免疫治疗疗效预测模型训练完成之后，所述方法还包括：
确定训练完成后的所述肿瘤免疫治疗疗效预测模型的网络参数；所述网络参数包括网络权重和网络偏置向量；
将所述免疫细胞评分模型的网络权重和网络偏置向量分别更新为所述肿瘤免疫治疗疗效预测模型的网络权重和网络偏置向量。
5.根据权利要求1所述的肿瘤免疫治疗预后评估方法，其特征在于，在所述将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型之前，所述方法还包括：
对所述待测患者的各个肿瘤组织切片的肿瘤微环境图像进行感兴趣区域提取，得到每个所述肿瘤组织切片的多个感兴趣区域；
对每个所述肿瘤组织切片的各个感兴趣区域进行细胞表型分析，得到每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息。
6.一种肿瘤免疫治疗预后评估装置，其特征在于，包括：
评分模块，用于将待测患者的每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到免疫细胞评分模型，获得所述免疫细胞评分模型输出的所述待测患者的各类细胞亚型免疫细胞的评分；
评估模块，用于将所述待测患者的各类细胞亚型免疫细胞的评分输入到预设回归模型，获取所述预设回归模型输出的所述待测患者的肿瘤免疫治疗预后评估结果；
所述免疫细胞评分模型的网络参数是基于肿瘤免疫治疗疗效预测模型的网络参数确定的，所述肿瘤免疫治疗疗效预测模型是基于肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的；
所述装置还包括建立模块；
所述建立模块用于基于所述肿瘤微环境的图像特征信息和预设Transformer模型，建立所述肿瘤免疫治疗疗效预测模型及所述免疫细胞评分模型；所述预设Transformer模型包括多个块，每个块包括多头注意力机制层和前向反馈网络层；
所述肿瘤微环境的图像特征信息包括肿瘤细胞的位置向量、所述肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和所述各个免疫细胞的位置向量；所述建立模块具体还用于：
基于所述肿瘤细胞的位置向量、所述肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和所述各个免疫细胞的位置向量，通过所述预设Transformer模型中的第一个块和第二个块，确定第一关系模型和第一注意力图，并基于所述第一关系模型，确定所述肿瘤细胞的特征向量；
基于各个所述肿瘤细胞的位置向量及各个所述肿瘤细胞的特征向量，通过所述预设Transformer模型中的第三个块，确定第二关系模型及第二注意力图，并基于所述第二关系模型和Softmax函数，确定第三关系模型；
基于预先勾画的各个感兴趣区域的特征向量，通过所述预设Transformer模型中的第四个块，确定第四关系模型及第三注意力图，并基于所述第四关系模型和Softmax函数，确定第五关系模型；所述感兴趣区域的特征向量是基于所述第三关系模型确定的；所述感兴趣区域包括多个所述肿瘤细胞的图像区域；
基于预设的各个切片图像的特征向量，通过所述预设Transformer模型中的第五个块，确定第六关系模型及第四注意力图，并基于所述第六关系模型和Softmax函数，确定第七关系模型；所述切片图像的特征向量是基于所述第五关系模型确定的，所述切片图像包括多个所述感兴趣区域；
基于所述第七关系模型，建立所述肿瘤免疫治疗疗效预测模型；
基于所述第一注意力图、所述第二注意力图、所述第三注意力图和所述第四注意力图，建立所述免疫细胞评分模型。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述肿瘤免疫治疗预后评估方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述肿瘤免疫治疗预后评估方法。
CN202211219861.XA 2022-10-08 2022-10-08 肿瘤免疫治疗预后评估方法、装置、电子设备及存储介质 Active CN115294129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211219861.XA CN115294129B (zh) 2022-10-08 2022-10-08 肿瘤免疫治疗预后评估方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211219861.XA CN115294129B (zh) 2022-10-08 2022-10-08 肿瘤免疫治疗预后评估方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115294129A CN115294129A (zh) 2022-11-04
CN115294129B true CN115294129B (zh) 2023-02-07

Family

ID=83834524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211219861.XA Active CN115294129B (zh) 2022-10-08 2022-10-08 肿瘤免疫治疗预后评估方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115294129B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116646088B (zh) * 2023-07-27 2023-12-01 广东省人民医院 一种预测方法、装置、设备及介质
CN117809858A (zh) * 2024-03-01 2024-04-02 北京肿瘤医院(北京大学肿瘤医院) 免疫治疗效果预测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470112A (zh) * 2007-12-28 2009-07-01 上海交通大学医学院附属瑞金医院 弥漫性大b细胞淋巴瘤治疗指导和预后判断的分子标志物
CN110687282A (zh) * 2019-08-26 2020-01-14 中国医学科学院肿瘤医院 PD-1和/或p53自身抗体作为肿瘤疗效预测或预后评估的标志物
CN111826447A (zh) * 2020-09-21 2020-10-27 求臻医学科技（北京）有限公司 一种检测肿瘤突变负荷的方法及预测模型
CN112116977A (zh) * 2020-08-12 2020-12-22 浙江大学 一种非小细胞肺癌患者疗效及预后预测系统
CN112133365A (zh) * 2020-09-03 2020-12-25 南方医科大学南方医院 评估肿瘤微环境的基因集、评分模型及其应用
CN112635063A (zh) * 2020-12-30 2021-04-09 华南理工大学 一种肺癌预后综合预测模型、构建方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10969392B2 (en) * 2015-12-10 2021-04-06 Vanderbilt University Methods and systems for predicting response to immunotherapies for treatment of cancer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470112A (zh) * 2007-12-28 2009-07-01 上海交通大学医学院附属瑞金医院 弥漫性大b细胞淋巴瘤治疗指导和预后判断的分子标志物
CN110687282A (zh) * 2019-08-26 2020-01-14 中国医学科学院肿瘤医院 PD-1和/或p53自身抗体作为肿瘤疗效预测或预后评估的标志物
CN112116977A (zh) * 2020-08-12 2020-12-22 浙江大学 一种非小细胞肺癌患者疗效及预后预测系统
CN112133365A (zh) * 2020-09-03 2020-12-25 南方医科大学南方医院 评估肿瘤微环境的基因集、评分模型及其应用
CN111826447A (zh) * 2020-09-21 2020-10-27 求臻医学科技（北京）有限公司 一种检测肿瘤突变负荷的方法及预测模型
CN112635063A (zh) * 2020-12-30 2021-04-09 华南理工大学 一种肺癌预后综合预测模型、构建方法及装置

Also Published As

Publication number Publication date
CN115294129A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN115294129B (zh) 肿瘤免疫治疗预后评估方法、装置、电子设备及存储介质
Butt et al. Deep learning system to screen coronavirus disease 2019 pneumonia
JP7231631B2 (ja) 腫瘍空間異質性およびインターマーカ異質性の計算方法
Gertych et al. Machine learning approaches to analyze histological images of tissues from radical prostatectomies
Zheng et al. Application of transfer learning and ensemble learning in image-level classification for breast histopathology
CN115295154B (zh) 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质
CN113454733A (zh) 用于预后组织模式识别的多实例学习器
US11593656B2 (en) Using a first stain to train a model to predict the region stained by a second stain
US11721427B2 (en) Computational pathology approach for retrospective analysis of tissue-based companion diagnostic driven clinical trial studies
US20220180518A1 (en) Improved histopathology classification through machine self-learning of "tissue fingerprints"
JP7427080B2 (ja) 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習
CN112819821B (zh) 一种细胞核图像检测方法
Xu et al. Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients
CN115668284A (zh) 基于空间特征分析的病理预测
CA3204439A1 (en) Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework
CN116721772B (zh) 肿瘤治疗预后预测方法、装置、电子设备及存储介质
CN116403701A (zh) 一种非小细胞肺癌患者tmb水平的预测方法及装置
Förster et al. Significance analysis of different types of ancillary geodata utilized in a multisource classification process for forest identification in Germany
CN116547727A (zh) 基于注意力的多示例学习
CN113035363B (zh) 一种概率密度加权的遗传代谢病筛查数据混合采样方法
US20240104948A1 (en) Tumor immunophenotyping based on spatial distribution analysis
Zhao et al. Multiplex imaging in immuno-oncology
Kristjánsson Regulatory Driven Clustering of Single-Cell Data; Clustering of single-cell RNA sequencing from glioblastoma with a novel mathematical method
Hlavcheva et al. Tumor Nuclei Detection in Histopathology Images Using
Sarmiento Vega et al. A Method for Unsupervised Semi-Quantification of Inmunohistochemical Staining with Beta Divergences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230809

Address after: 100142 Beijing Cancer Hospital, 52 Fucheng Road, Haidian District, Beijing

Patentee after: BEIJING CANCER HOSPITAL (BEIJING CANCER Hospital)

Patentee after: Peking University

Address before: 100142 Beijing Cancer Hospital, 52 Fucheng Road, Haidian District, Beijing

Patentee before: BEIJING CANCER HOSPITAL (BEIJING CANCER Hospital)