CN115295154A - 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质 - Google Patents

肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115295154A
CN115295154A CN202211223902.2A CN202211223902A CN115295154A CN 115295154 A CN115295154 A CN 115295154A CN 202211223902 A CN202211223902 A CN 202211223902A CN 115295154 A CN115295154 A CN 115295154A
Authority
CN
China
Prior art keywords
tumor
curative effect
model
immunotherapy
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211223902.2A
Other languages
English (en)
Other versions
CN115295154B (zh
Inventor
沈琳
陈杨
张江东
董彬
张小田
张立
陈梓帆
孙宇
赵杰
郏科人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Beijing Cancer Hospital
Original Assignee
Beijing Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Cancer Hospital filed Critical Beijing Cancer Hospital
Priority to CN202211223902.2A priority Critical patent/CN115295154B/zh
Publication of CN115295154A publication Critical patent/CN115295154A/zh
Application granted granted Critical
Publication of CN115295154B publication Critical patent/CN115295154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明提供一种肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质，属于医学检测技术领域，包括：基于待测患者的各个肿瘤组织切片的肿瘤微环境图像，确定每个肿瘤组织切片中各个肿瘤微环境的图像特征信息；将每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型，获得肿瘤免疫治疗疗效预测模型输出的待测患者的肿瘤免疫治疗疗效预测结果；肿瘤免疫治疗疗效预测模型是基于肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的。本发明可以实现对肿瘤抗PD‑1/PD‑L1免疫治疗疗效的精准预测，从而可以在免疫治疗前提前筛选出获益患者。

Description

肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质
技术领域
本发明涉及医学检测技术领域，尤其涉及一种肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质。
背景技术
肿瘤的进展是一个复杂的过程，依赖于肿瘤微环境中的肿瘤细胞、免疫细胞及其相互作用，能够促进或者抑制肿瘤生长。目前，程序性细胞死亡蛋白1（Programmed CellDeath Protein 1，PD-1）和程序性死亡配体1（Programmed Death-Ligand 1， PD-L1）的免疫检查点抑制剂（Immune Checkpoint Inhibitors，ICIs）在消化道肿瘤中获批晚期治疗适应症，可以促进机体免疫产生杀伤肿瘤的作用。但是，在没有选择性生物标志物的肿瘤免疫治疗中，获益患者不足一半。因此，迫切需要对肿瘤免疫治疗疗效预测，筛选抗PD-1/ PD-L1免疫治疗中的获益患者。
然而，现有生物学指标预测肿瘤免疫治疗疗效效果不佳。因此，如何实现肿瘤免疫治疗疗效的预测已经成为业界亟待解决的重要技术问题。
发明内容
本发明提供一种肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质，用以实现肿瘤免疫治疗疗效的预测。
本发明提供一种肿瘤免疫治疗疗效预测方法，包括：
基于待测患者的各个肿瘤组织切片的肿瘤微环境图像，确定每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息；
将每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型，获得所述肿瘤免疫治疗疗效预测模型输出的所述待测患者的肿瘤免疫治疗疗效预测结果；
所述肿瘤免疫治疗疗效预测模型是基于肿瘤组织中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的。
根据本发明提供的一种肿瘤免疫治疗疗效预测方法，在所述将每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型之前，还包括：
基于肿瘤微环境的图像特征信息和预设Transformer模型，建立所述肿瘤免疫治疗疗效预测模型；所述预设Transformer模型包括多个块，每个块包括多头注意力机制层和前向反馈网络层。
根据本发明提供的一种肿瘤免疫治疗疗效预测方法，所述肿瘤微环境的图像特征信息包括肿瘤细胞的位置向量、所述肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和所述各个免疫细胞的位置向量，相应地，基于肿瘤微环境的图像特征信息和预设Transformer模型，建立所述肿瘤免疫治疗疗效预测模型，包括：
基于所述肿瘤细胞的位置向量、所述肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和所述各个免疫细胞的位置向量，通过所述预设Transformer模型中的第一个块和第二个块，确定第一关系模型，并基于所述第一关系模型，确定所述肿瘤细胞的特征向量；
基于各个所述肿瘤细胞的位置向量及各个所述肿瘤细胞的特征向量，通过所述预设Transformer模型中的第三个块，确定第二关系模型，并基于所述第二关系模型和Softmax函数，确定第三关系模型；
基于预先勾画的各个感兴趣区域的特征向量，通过所述预设Transformer模型中的第四个块，确定第四关系模型，并基于所述第四关系模型和Softmax函数，确定第五关系模型；所述感兴趣区域的特征向量是基于所述第三关系模型确定的；所述感兴趣区域包括多个所述肿瘤细胞的图像区域；
基于预设的各个切片图像的特征向量，通过所述预设Transformer模型中的第五个块，确定第六关系模型，并基于所述第六关系模型和Softmax函数，确定第七关系模型；所述切片图像的特征向量是基于所述第五关系模型确定的，所述切片图像包括多个所述感兴趣区域；
基于所述第七关系模型，建立所述肿瘤免疫治疗疗效预测模型。
根据本发明提供的一种肿瘤免疫治疗疗效预测方法，在所述将每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型之前，还包括：
将同一患者的肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签作为一组训练样本，获取多组训练样本；
利用所述多组训练样本，对所述肿瘤免疫治疗疗效预测模型进行训练。
根据本发明提供的一种肿瘤免疫治疗疗效预测方法，利用所述多组训练样本，对所述肿瘤免疫治疗疗效预测模型进行训练，包括：
对于任意一组训练样本，将所述训练样本输入到所述肿瘤免疫治疗疗效预测模型，获得所述肿瘤免疫治疗疗效预测模型输出的所述训练样本对应的免疫治疗疗效预测值；
利用预设损失函数，根据所述训练样本对应的免疫治疗疗效预测值和所述训练样本对应的样本免疫治疗疗效标签计算损失值；
若所述损失值小于预设阈值，则所述肿瘤免疫治疗疗效预测模型训练完成。
根据本发明提供的一种肿瘤免疫治疗疗效预测方法，所述基于待测患者的各个肿瘤组织切片的肿瘤微环境图像，确定每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息，包括：
对所述待测患者的各个肿瘤组织切片的肿瘤微环境图像进行感兴趣区域提取，得到每个所述肿瘤组织切片的多个感兴趣区域；
对每个所述肿瘤组织切片的各个感兴趣区域进行细胞表型分析，得到每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息。
本发明还提供一种肿瘤免疫治疗疗效预测装置，包括：
处理模块，用于基于待测患者的各个肿瘤组织切片的肿瘤微环境图像，确定每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息；
预测模块，用于将每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型，获得所述肿瘤免疫治疗疗效预测模型输出的所述待测患者的肿瘤免疫治疗疗效预测结果；
所述肿瘤免疫治疗疗效预测模型是基于肿瘤组织中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的。
根据本发明提供的一种肿瘤免疫治疗疗效预测装置，所述装置，还包括：
建模模块，用于基于肿瘤微环境的图像特征信息和预设Transformer模型，建立所述肿瘤免疫治疗疗效预测模型；所述预设Transformer模型包括多个块，每个块包括多头注意力机制层和前向反馈网络层。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述肿瘤免疫治疗疗效预测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述肿瘤免疫治疗疗效预测方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述肿瘤免疫治疗疗效预测方法。
本发明提供的肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质，通过对待测患者的各个肿瘤组织切片的肿瘤微环境图像进行特征提取，获取每个肿瘤组织切片中各个肿瘤微环境的图像特征信息；同时，通过利用深度神经网络中的注意力机制，跨尺度多层级进行肿瘤组织的空间特征分析，根据不同肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签进行神经网络模型训练，得到肿瘤免疫治疗疗效预测模型；通过将每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型，可以有效预测待测患者的肿瘤免疫治疗疗效，实现对抗 PD-1/PD-L1免疫治疗疗效的精准预测，从而可以在免疫治疗前提前筛选出获益患者，有利于提高抗PD-1/ PD-L1免疫治疗的疗效及预后效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的肿瘤免疫治疗疗效预测方法的流程示意图；
图2是本发明提供的肿瘤免疫治疗疗效预测方法中模型构建的流程示意图；
图3是本发明提供的肿瘤免疫治疗疗效预测方法中模型评估的结果示意图；
图4是本发明提供的肿瘤免疫治疗疗效预测装置的结构示意图；
图5是本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合图1-图5描述本发明的肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质。
图1是本发明提供的肿瘤免疫治疗疗效预测方法的流程示意图，如图1所示，包括：步骤110和步骤120。
步骤110，基于待测患者的各个肿瘤组织切片的肿瘤微环境图像，确定每个肿瘤组织切片中各个肿瘤微环境的图像特征信息；
具体地，本发明实施例所描述的肿瘤组织切片指的是经过多标记免疫组织化学（multiplex ImmunoHistoChemistry，mIHC）染色或者免疫荧光（Immunofluorescence，IF）染色技术处理后的肿瘤组织的切片。经过上述染色处理后，在同一个肿瘤组织中能够染色多个靶标，获得多个靶标标志物，以实现对多个靶标标志物的检测。
需要说明的是，本发明实施例中，采用的肿瘤组织可以是胃癌肿瘤组织、肝癌肿瘤组织，以及其他可以用于进行免疫治疗疗效预测的癌症肿瘤组织。
本发明实施例所描述的肿瘤微环境指的是肿瘤细胞赖以生存的复杂环境，主要是由肿瘤细胞、肿瘤细胞周围的免疫细胞以及细胞外的细胞间质等组成的。
本发明实施例所描述的肿瘤微环境图像指的是肿瘤组织切片经过多标记着色后，通过病理成像系统获得的用于表征肿瘤组织中肿瘤微环境特征的切片图像，其可以为多重免疫组化染色图像或者多重免疫染色图像。
例如，可以通过使用全自动定量病理成像系统，例如Mantra定量病理分析平台，得到肿瘤组织切片的多重免疫染色图像，即获取肿瘤微环境图像，其为多光谱图像，该多光谱图像可以在显谱图中显示。
本发明实施例所描述的肿瘤微环境的图像特征信息指的是针对肿瘤微环境图像中各个肿瘤微环境区域的细胞组织结构，提取到的图像特征信息。其具体可以包括肿瘤细胞及免疫细胞的空间位置信息等。
进一步地，在本发明的实施例中，可以通过现有病理成像系统，获取待测患者的各个肿瘤组织切片的肿瘤微环境图像，通过对各个肿瘤组织切片的肿瘤微环境图像进行图像分析及特征提取，得到每个肿瘤组织切片中各个肿瘤微环境的图像特征信息。
基于上述实施例的内容，作为一种可选的实施例，基于待测患者的各个肿瘤组织切片的肿瘤微环境图像，确定每个肿瘤组织切片中各个肿瘤微环境的图像特征信息，包括：
对待测患者的各个肿瘤组织切片的肿瘤微环境图像进行感兴趣区域提取，得到每个肿瘤组织切片的多个感兴趣区域；
对每个肿瘤组织切片的各个感兴趣区域进行细胞表型分析，得到每个肿瘤组织切片中各个肿瘤微环境的图像特征信息。
具体地，在本发明的实施例中，针对待测患者的各个肿瘤组织切片，通过病理成像系统，得到各个肿瘤组织切片的肿瘤微环境图像，即获得肿瘤组织的各个切片图像。进一步地，对各个肿瘤组织切片的肿瘤微环境图像提取多个感兴趣区域（Region of Interest，ROI），简单来说，可以由两位专业的病理学专家在每个切片图像中选择具有代表性的视野，从切片图像中勾画肿瘤微环境区域，由此可以根据勾画肿瘤微环境区域，在各个肿瘤组织切片的肿瘤微环境图像中提取包含多个肿瘤细胞图像信息的感兴趣区域，进而提取到每个肿瘤组织切片中的多个感兴趣区域，其中每个感兴趣区域中展示的肿瘤细胞的数量范围可以为3000至8000个。
进一步地，在本发明的实施例中，采用光谱型定量病理分析软件inForm，针对每个肿瘤组织切片的肿瘤微环境图像，对其中各个感兴趣区域中的肿瘤细胞和免疫细胞进行细胞表型分析，根据染色指标的单阳、双阳、三阳来区分细胞表型，可以得到肿瘤微环境的细胞空间特征以及细胞亚型的特征，从而获取肿瘤微环境的图像特征信息。由此，针对待测患者的各个肿瘤组织切片的肿瘤微环境图像，可以获取到每个肿瘤组织切片中各个肿瘤微环境的图像特征信息。
本发明实施例的方法，通过对待测患者的各个肿瘤组织切片的肿瘤微环境图像进行肿瘤细胞和间质区域的组织成分分割和细胞表型分析，可以有效获取到各个切片图像中肿瘤微环境的图像特征信息，为后续进行肿瘤免疫治疗疗效预测提供准确的输入数据。
步骤120，将每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型，获得肿瘤免疫治疗疗效预测模型输出的待测患者的肿瘤免疫治疗疗效预测结果；
其中，肿瘤免疫治疗疗效预测模型是基于肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的。
具体地，本发明实施例所描述的样本免疫治疗疗效标签指的是癌症患者进行肿瘤免疫治疗后可以表征患者免疫治疗疗效的标签信息，其具体可以表征患者为免疫治疗有效者或无反应者。
需要说明的是，免疫治疗有效者定义为患者免疫治疗期间最佳疗效按照实体瘤的疗效评价标准（Response Evaluation Criteria in Solid Tumors，RECIST）完全缓解（CR）或部分缓解（PR）患者；无反应者定义为患者免疫治疗期间最佳疗效为疾病进展（PD）或稳定（SD）患者。
本发明所描述的肿瘤免疫治疗疗效预测模型是根据肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的，用于对输入的肿瘤微环境的图像特征信息样本进行识别，描述不同尺度下各个对象之间的长距离关系，根据带有样本免疫治疗疗效标签的肿瘤组织中肿瘤微环境的图像特征信息样本，学习并记录跨尺度多层级下的肿瘤微环境图像中各个对象之间的相似性指标，从而准确输出待测患者的肿瘤免疫治疗疗效预测结果。
需要说明的是，在本发明实施例中，肿瘤免疫治疗疗效预测模型可以是基于带有注意力机制的深度神经网络模型构建得到，其中，该深度神经网络模型具体可以为主要基于自注意力机制的深度神经网络Transformer模型，也可以为深度卷积神经网络（Convolutional Neural Network，CNN）模型，还可以为其他用于肿瘤免疫治疗治疗疗效预测的深度神经网络，在本发明中不做具体限定。
在本发明的实施例中，肿瘤免疫治疗疗效预测模型输出的肿瘤免疫治疗疗效预测结果可以为0/1二分类结果，输出为1时，可以说明待测患者为免疫治疗有效者；输出为0时，说明待测患者为无反应者。
其中，训练样本是由多组带有样本免疫治疗疗效标签的肿瘤微环境的图像特征信息样本集构成，其中，每组图像特征信息样本集是由同一患者的各个肿瘤组织切片中肿瘤微环境的图像特征信息样本组成的。
其中，本发明所描述的样本免疫治疗疗效标签是根据多组图像特征信息样本集预先确定的，并与每组图像特征信息样本集是一一对应的。也就是说，训练样本中的每一组图像特征信息样本集，都预先设定好一个与之对应的样本免疫治疗疗效标签。
进一步地，在本发明的实施例中，将每个待测患者的肿瘤组织切片的各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型，利用肿瘤免疫治疗疗效预测模型中的注意力机制，进行以肿瘤微环境为最小尺度的跨尺度多层级分析，可以有效预测肿瘤免疫治疗的疗效及反应。
本发明实施例的方法，通过对待测患者的各个肿瘤组织切片的肿瘤微环境图像进行特征提取，获取每个肿瘤组织切片中各个肿瘤微环境的图像特征信息；同时，通过利用深度神经网络中的注意力机制，跨尺度多层级进行肿瘤组织的空间特征分析，根据不同肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签进行神经网络模型训练，得到肿瘤免疫治疗疗效预测模型；通过将每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型，可以有效预测待测患者的肿瘤免疫治疗疗效，实现对抗 PD-1/PD-L1免疫治疗疗效的精准预测，从而可以在免疫治疗前提前筛选出获益患者，有利于提高抗PD-1/ PD-L1免疫治疗的疗效及预后效果。
基于上述实施例的内容，作为一种可选的实施例，在将每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型之前，还包括：
基于肿瘤微环境的图像特征信息和预设Transformer模型，建立肿瘤免疫治疗疗效预测模型；预设Transformer模型包括多个块，每个块包括多头注意力机制层和前向反馈网络层。
具体地，在本发明的实施例中，在应用肿瘤免疫治疗疗效预测模型，将每个待测肿瘤组织中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型之前，首先需要进行肿瘤免疫治疗疗效预测模型的构建。
需要说明的是，Transformer模型是一类利用注意力机制来提高模型特征提取能力的深度神经网络学习模型，其注意力机制可以同时描述不同对象之间的长距离关系，学习并记录对象之间的相似性指标，并具有从大量的信息中有选择地提取重要信息的能力。
在本发明的实施例中，可以通过使用多层注意力机制，使Transformer模型可以在肿瘤微环境、肿瘤细胞、感兴趣区域、切片图像等多个层级进行空间特征分析。
在本发明的实施例中，预设Transformer模型包括多个块，每个块指的是Transformer模型的核心模块（Transformer Block，TB），其由多头注意力机制（Multi-headattention，MHA）层和前向反馈网络（Feed forward network, FFN）构成。
在本发明的实施例中，可以基于肿瘤微环境的图像特征信息和上述预设Transformer模型，建立肿瘤免疫治疗疗效预测模型。
本发明实施例的方法，通过利用Transformer模型的强大特征提取能力，可以实现在肿瘤微环境、肿瘤细胞、感兴趣区域、切片图像等多个层级进行空间特征分析，有利于实现从空间、细胞、细胞组分等多维视角分析预测肿瘤免疫治疗的疗效。
基于上述实施例的内容，作为一种可选的实施例，肿瘤微环境的图像特征信息包括肿瘤细胞的位置向量、肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和各个免疫细胞的位置向量；
基于肿瘤微环境的图像特征信息和预设Transformer模型，建立肿瘤免疫治疗疗效预测模型，包括：
基于肿瘤细胞的位置向量、肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和各个免疫细胞的位置向量，通过预设Transformer模型中的第一个块和第二个块，确定第一关系模型，并基于第一关系模型，确定肿瘤细胞的特征向量；
基于各个肿瘤细胞的位置向量及各个肿瘤细胞的特征向量，通过预设Transformer模型中的第三个块，确定第二关系模型，并基于第二关系模型和Softmax函数，确定第三关系模型；
基于预先勾画的各个感兴趣区域的特征向量，通过预设Transformer模型中的第四个块，确定第四关系模型，并基于第四关系模型和Softmax函数，确定第五关系模型；感兴趣区域的特征向量是基于第三关系模型确定的；感兴趣区域包括多个肿瘤细胞的图像区域；
基于预设的各个切片图像的特征向量，通过预设Transformer模型中的第五个块，确定第六关系模型，并基于第六关系模型和Softmax函数，确定第七关系模型；切片图像的特征向量是基于第五关系模型确定的，切片图像包括多个感兴趣区域；
基于第七关系模型，建立肿瘤免疫治疗疗效预测模型。
具体地，在本发明的实施例中，可以使用Python PyTorch软件包，预设以100um为半径确定肿瘤微环境，从肿瘤大Panel层级（以下描述为肿瘤视野系Series层级）、肿瘤视野勾画层级（以下描述为肿瘤视野块Patch层级）、肿瘤视野内肿瘤细胞相互作用层级（以下描述为肿瘤视野微环境Microenvironment层级)和肿瘤视野内以单个肿瘤细胞为中心分析其100um范围内免疫细胞相互作用层级（以下描述为肿瘤视野细胞Cell层级）四个层级来构建肿瘤免疫治疗疗效预测模型（以下可以描述为多层级Transformer模型）。
其中，肿瘤大Panel层级可以理解为同时检测肿瘤组织病理图像的多个切片图像的宏观层级。
本发明实施例所描述的第一关系模型可以表征肿瘤视野Cell层级下的各个免疫细胞之间的关系，以及各个免疫细胞与肿瘤细胞之间的关系。
本发明实施例所描述的第二关系模型可以表征肿瘤视野Microenvironment层级下的各个肿瘤细胞之间的关联关系。
本发明实施例所描述的感兴趣区域指的是对各个切片图像进行肿瘤视野勾画的ROI区域。
可以理解的是，每个切片图像可以包括多个ROI区域，每个ROI区域可以包括多个肿瘤细胞的图像区域。
本发明实施例所描述的第四关系模型可以表征肿瘤视野Patch层级下的各个感兴趣区域之间的关联关系。
本发明实施例所描述的第六关系模型可以表征肿瘤视野Series层级下的各个切片图像之间的关联关系。
在本发明的实施例中，肿瘤微环境的图像特征信息具体可以包括肿瘤细胞的位置向量、肿瘤细胞以100um为半径范围内的各个免疫细胞的细胞亚型的特征向量和各个免疫细胞的位置向量。
假设输入的特征向量表示为
Figure 379939DEST_PATH_IMAGE001
，位置向量表示为
Figure 350169DEST_PATH_IMAGE002
，其中，
Figure 528560DEST_PATH_IMAGE003
表示建模对象的数量，
Figure 309565DEST_PATH_IMAGE004
表示每个对象的特征向量维度，2表示位置向量为2维；建模对象包 括免疫细胞和肿瘤细胞，建模对象的数量指的是两种细胞的总数量，第1个细胞为肿瘤细 胞，后
Figure 202435DEST_PATH_IMAGE005
个细胞均为免疫细胞。
需要说明的是，
Figure 960044DEST_PATH_IMAGE006
表示n维实数向量空间，
Figure 621970DEST_PATH_IMAGE007
表示
Figure 432931DEST_PATH_IMAGE008
维实数向量空 间。
进一步地，Transformer模型中的TB模块可通过注意力机制对各个对象之间的关系进行建模，如下：
Figure 65294DEST_PATH_IMAGE009
其中，MHA可描述为：
Figure 377326DEST_PATH_IMAGE010
其中，
Figure 910070DEST_PATH_IMAGE011
均表示为全连接层，
Figure 16566DEST_PATH_IMAGE012
，可 记为注意力图，其用于描述每两个对象之间的关系。因此，TB模块可用来描述免疫细胞与肿 瘤细胞之间的关系、不同肿瘤细胞之间的关系、不同感兴趣区域之间的关系以及不同切片 图像之间的关系。
图2是本发明提供的肿瘤免疫治疗疗效预测方法中模型构建的流程示意图，如图2所示，在本发明的实施例中，依次执行肿瘤视野Cell层级的、肿瘤视野Microenvironment层级、肿瘤视野Patch层级和肿瘤视野Series层级四个层级来构建多层级Transformer模型。
进一步地，如图2所示，在本实施例中，针对肿瘤视野Cell层级，基于肿瘤细胞的位 置向量、肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和各个免疫细胞的位置向 量，通过预设Transformer模型中的第一个块和第二个块，确定第一关系模型。具体来说，对 于单个肿瘤细胞为中心，分析其100um范围内免疫细胞相互作用层级，该肿瘤细胞的特征向 量可表示为
Figure 398875DEST_PATH_IMAGE013
，其空间二维位置坐标，即位置向量可以表示为
Figure 124386DEST_PATH_IMAGE014
；同时，其 以该肿瘤细胞为中心，100um为半径的范围内
Figure 760903DEST_PATH_IMAGE015
个免疫细胞的细胞亚型的特征向量可以 表示为
Figure 550218DEST_PATH_IMAGE016
，各个免疫细胞的空间二维位置坐标，即位置向量可以表 示为
Figure 639397DEST_PATH_IMAGE017
。其中
Figure 309544DEST_PATH_IMAGE018
可以表征可学习的参数向量，
Figure 800568DEST_PATH_IMAGE019
则根据亚型细胞 类型赋予唯一的0或1来表达。
综上，则有模型输入特征向量
Figure 622768DEST_PATH_IMAGE020
，位置向量
Figure 215555DEST_PATH_IMAGE021
，通 过预设Transformer模型中的第一个块和第二个块，确定第一关系模型，则第一关系模型可 以表示为：
Figure 407501DEST_PATH_IMAGE022
其中，
Figure 5229DEST_PATH_IMAGE023
表示预设Transformer模型的网络权重参数，
Figure 155588DEST_PATH_IMAGE024
表示预设Transformer模 型的网络偏置向量参数。
由此，通过堆叠两个TB模块构建了不同免疫细胞之间、免疫细胞与中心肿瘤细胞 之间的关系模型。在本实施例中，基于第一关系模型，确定肿瘤细胞的特征向量，可以取
Figure 94725DEST_PATH_IMAGE025
，其可以代表该肿瘤细胞的特征向量。
进一步地，如图2所示，在本实施例中，针对肿瘤视野Microenvironment层级，基于 各个肿瘤细胞的位置向量及各个肿瘤细胞的特征向量，通过预设Transformer模型中的第 三个块，确定第二关系模型。具体来说，假设有
Figure 605210DEST_PATH_IMAGE026
个肿瘤细胞，各个肿瘤细胞的特征向量 可以表示为
Figure 805247DEST_PATH_IMAGE027
。此外，
Figure 611660DEST_PATH_IMAGE028
个肿瘤细胞的空间二维坐标， 即位置向量可以表示为
Figure 162727DEST_PATH_IMAGE029
。基于通过预设Transformer模型中的第三个块，建 立不同肿瘤细胞之间的关系模型，得到第二关系模型，其可以表示为：
Figure 90886DEST_PATH_IMAGE030
在本实施例中，不同于Cell层级中，以位于中心的肿瘤细胞为主，关注其周围免疫细胞之间及免疫细胞与该肿瘤细胞之间的关系，不同肿瘤细胞之间不具有主次关系，可以通过额外的自注意力模块，基于第二关系模型和Softmax函数，来建立Microenvironment层级最终关系的模型，得到第三关系模型，其可以表示为：
Figure 427320DEST_PATH_IMAGE031
进一步地，如图2所示，在本实施例中，针对肿瘤视野Patch层级，基于预先勾画的 各个ROI区域的特征向量，通过预设Transformer模型中的第四个块，确定第四关系模型。具 体来说，该层级的建模过程与上一层级相似。假设一共有
Figure 653902DEST_PATH_IMAGE032
个勾画区域，即ROI区域，根据 第三关系模型，则各个ROI区域的特征向量可以表示为
Figure 675954DEST_PATH_IMAGE033
。此 外，由于不同ROI区域之间的相对位置没有现实意义，因此该层级不考虑位置信息。通过预 设Transformer模型中的第四个块，建立不同ROI区域之间的关系模型，得到第四关系模型， 其可以表示为：
Figure 13394DEST_PATH_IMAGE034
而后通过额外的自注意力模块，基于第四关系模型和Softmax函数，建立Patch层级最终关系的模型，得到第五关系模型，其可以表示为：
Figure 469915DEST_PATH_IMAGE035
其中，将
Figure 867398DEST_PATH_IMAGE036
记为
Figure 769888DEST_PATH_IMAGE037
，其可以描述
Figure 396173DEST_PATH_IMAGE032
个ROI 区域对最终预测结果的重要性程度。
进一步地，如图2所示，在本实施例中，针对肿瘤大Panel层级，即肿瘤视野Series 层级，基于预设的各个切片图像的特征向量，通过预设Transformer模型中的第五个块，确 定第六关系模型，具体来说，假设一共有
Figure 690888DEST_PATH_IMAGE038
个切片图像，根据第五关系模型，则各个切片图 像的特征向量可以表示为
Figure 508540DEST_PATH_IMAGE039
。同样不考虑无现实意义的 相对位置信息，通过预设Transformer模型中的第五个块，建立不同切片图像之间的关系模 型，得到第六关系模型，其可以表示为：
Figure 521495DEST_PATH_IMAGE040
同样地，通过额外的自注意力模块，基于第六关系模型和Softmax函数，建立Series层级最终关系的模型，得到第七关系模型，其可以表示为
Figure 76105DEST_PATH_IMAGE041
其中，将
Figure 471664DEST_PATH_IMAGE042
记为
Figure 476529DEST_PATH_IMAGE043
，其可以描述
Figure 461934DEST_PATH_IMAGE044
个切片 图像对最终预测结果的重要性程度。
进一步地，在本实施例中，基于第七关系模型，建立肿瘤免疫治疗疗效预测模型，即多层级Transformer模型，其可以表示为：
Figure 679289DEST_PATH_IMAGE045
在本发明的实施例中，通过对多层级Transformer模型进行模型训练，训练模型时使用的监督信号为患者层级的样本免疫治疗疗效标签。
本发明实施例的方法，通过利用Transformer模型中多头注意力机制，实现对肿瘤组织在肿瘤微环境、肿瘤细胞、感兴趣区域及切片图像多层级多尺度进行空间特征分析，有利于实现对肿瘤抗 PD-1/PD-L1免疫治疗疗效的精准预测。
基于上述实施例的内容，作为一种可选的实施例，在将每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型之前，还包括：
将同一患者的肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签作为一组训练样本，获取多组训练样本；
利用多组训练样本，对肿瘤免疫治疗疗效预测模型进行训练。
具体地，在将每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型之前，还需对肿瘤免疫治疗疗效预测模型进行训练，具体训练过程如下：
将标识有同一样本免疫治疗疗效标签的各个肿瘤微环境的图像特征信息样本与该样本免疫治疗疗效标签作为一组训练样本，即将同一患者的肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签作为一组训练样本，因此，针对多个患者样本的肿瘤微环境的图像特征信息样本信息，即可获得多组训练样本。
在本发明的实施例中，肿瘤组织中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签是一一对应的。
然后，在获得多组训练样本之后，再将多组训练样本依次输入至肿瘤免疫治疗疗效预测模型，即将每组训练样本中的多个肿瘤组织切片中各个肿瘤微环境的图像特征信息样本和每个样本对应的样本免疫治疗疗效标签同时输入至肿瘤免疫治疗疗效预测模型，根据肿瘤免疫治疗疗效预测模型的每一次输出结果，通过计算损失函数值，对肿瘤免疫治疗疗效预测模型的模型参数进行调整，最终完成肿瘤免疫治疗疗效预测模型的训练过程。
本发明实施例的方法，通过将同一患者的肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签作为一组训练样本，利用多组训练样本对肿瘤免疫治疗疗效预测模型进行模型训练，确保肿瘤免疫治疗疗效预测模型的预测精度。
基于上述实施例的内容，作为一种可选的实施例，利用多组训练样本，对肿瘤免疫治疗疗效预测模型进行训练，包括：
对于任意一组训练样本，将训练样本输入到肿瘤免疫治疗疗效预测模型，获得肿瘤免疫治疗疗效预测模型输出的训练样本对应的免疫治疗疗效预测值；
利用预设损失函数，根据训练样本对应的免疫治疗疗效预测值和训练样本对应的样本免疫治疗疗效标签计算损失值；
若损失值小于预设阈值，则肿瘤免疫治疗疗效预测模型训练完成。
具体地，本发明实施例所描述的预设损失函数指的是预先设置在肿瘤免疫治疗疗效预测模型里的损失函数，用于模型评估。
本发明实施例所描述的预设阈值指的是模型预先设置的阈值，用于获得最小损失值，完成模型训练。
在获得多组训练样本之后，对于任意一组训练样本，将该训练样本中的每个肿瘤组织切片中的肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签同时输入至肿瘤免疫治疗疗效预测模型，输出该训练样本对应的免疫治疗疗效预测值，其中，免疫治疗疗效预测值指的是该训练样本针对不同肿瘤微环境的图像特征信息对应的免疫治疗疗效预测概率值。
在此基础上，利用预设损失函数根据训练样本对应的免疫治疗疗效预测值和训练样本中携带的样本免疫治疗疗效标签计算损失值。其中，样本免疫治疗疗效标签可以表示为one-hot向量。
在本发明的实施例中，样本免疫治疗疗效标签的表示方式和预设损失函数可以根据实际需求进行设置，此处不做具体限定。
在计算获得损失值之后，本次训练过程结束，更新肿瘤免疫治疗疗效预测模型中的模型参数之后，再进行下一次训练。在训练的过程中，若针对某个训练样本计算获得的损失值小于预设阈值或者达到预设最大迭代次数，则肿瘤免疫治疗疗效预测模型训练完成。
本发明实施例的方法，通过对肿瘤免疫治疗疗效预测模型进行训练，将肿瘤免疫治疗疗效预测模型的损失值控制在预设范围内，从而有利于提高肿瘤免疫治疗疗效预测模型对肿瘤免疫治疗疗效的预测精度。
在本发明的实施例中，在肿瘤免疫治疗疗效预测模型训练完成，得到训练好的多层级Transformer模型之后，为了验证训练好的多层级Transformer模型的预测能力，可以采用接收者操作特征（Receiver Operating Characteristic Curve，ROC）曲线下方部分的面积（Area Under Curve，AUC）指标对训练好的多层级Transformer模型进行模型评估。
其中，ROC曲线是反映真阳性率和假阳性率连续变量的综合指标，其可以很好地对模型输出结果的准确性进行评估。其中，曲线下方部分的面积AUC，用来表示模型输出结果的准确性，AUC值越大，即曲线下方的面积越大，说明预测结果的准确性越高，也就是说，曲线越接近左上角，则预测结果的准确性越高。
图3是本发明提供的肿瘤免疫治疗疗效预测方法中模型评估的结果示意图，如图3所示，在本实施例中，收集胃癌肿瘤患者的59例样本，在保证训练队列和验证队列中免疫治疗有效者（Response）与无反应者（Non-response）的比例相近的条件下，所有59例接受免疫治疗的患者被按3：1的比例随机分配到训练队列（n=44）和验证队列（n=15），评估训练好的多层级Transformer模型对免疫治疗疗效的预测效果。将每个患者的肿瘤组织切片中各个肿瘤微环境的图像特征信息输入训练好的多层级Transformer模型，得到对患者的免疫治疗疗效的预测值，计算训练队列和验证队列的ROC曲线下的AUC指标，如图3中的（a）图，训练队列的ROC曲线下的AUC指标为0.8214，如图3中的（b）图，验证队列的ROC曲线下的AUC指标为0.8200，如图3中的（c）图，训练队列和验证队列整体的ROC曲线下的AUC指标为0.8092，这可以表明本发明提供的训练好的多层级Transformer模型确实可以用来预测患者肿瘤免疫治疗的反应和疗效，且预测结果很好。
下面对本发明提供的肿瘤免疫治疗疗效预测装置进行描述，下文描述的肿瘤免疫治疗疗效预测装置与上文描述的肿瘤免疫治疗疗效预测方法可相互对应参照。
图4是本发明提供的肿瘤免疫治疗疗效预测装置的结构示意图，如图4所示，包括：
处理模块410，用于基于待测患者的各个肿瘤组织切片的肿瘤微环境图像，确定每个肿瘤组织切片中各个肿瘤微环境的图像特征信息；
预测模块420，用于将每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型，获得肿瘤免疫治疗疗效预测模型输出的待测患者的肿瘤免疫治疗疗效预测结果；
肿瘤免疫治疗疗效预测模型是基于肿瘤组织中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的。
本实施例所述的肿瘤免疫治疗疗效预测装置可以用于执行上述肿瘤免疫治疗疗效预测方法实施例，其原理和技术效果类似，此处不再赘述。
本发明实施例提供的肿瘤免疫治疗疗效预测装置，通过对待测患者的各个肿瘤组织切片的肿瘤微环境图像进行特征提取，获取每个肿瘤组织切片中各个肿瘤微环境的图像特征信息；同时，通过利用深度神经网络中的注意力机制，跨尺度多层级进行肿瘤组织的空间特征分析，根据不同肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签进行神经网络模型训练，得到肿瘤免疫治疗疗效预测模型；通过将每个肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型，可以有效预测待测患者的肿瘤免疫治疗疗效，实现对抗 PD-1/PD-L1免疫治疗疗效的精准预测，从而可以在免疫治疗前提前筛选出获益患者，有利于提高抗PD-1/ PD-L1免疫治疗的疗效及预后效果。
基于上述实施例的内容，作为一种可选的实施例，该装置还包括：
建模模块，用于基于肿瘤微环境的图像特征信息和预设Transformer模型，建立所述肿瘤免疫治疗疗效预测模型；所述预设Transformer模型包括多个块，每个块包括多头注意力机制层和前向反馈网络层。
基于上述实施例的内容，作为一种可选的实施例，肿瘤微环境的图像特征信息包括肿瘤细胞的位置向量、所述肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和所述各个免疫细胞的位置向量，相应地，所述建模模块具体还用于：
基于所述肿瘤细胞的位置向量、所述肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和所述各个免疫细胞的位置向量，通过所述预设Transformer模型中的第一个块和第二个块，确定第一关系模型，并基于所述第一关系模型，确定所述肿瘤细胞的特征向量；
基于各个所述肿瘤细胞的位置向量及各个所述肿瘤细胞的特征向量，通过所述预设Transformer模型中的第三个块，确定第二关系模型，并基于所述第二关系模型和Softmax函数，确定第三关系模型；
基于预先勾画的各个感兴趣区域的特征向量，通过所述预设Transformer模型中的第四个块，确定第四关系模型，并基于所述第四关系模型和Softmax函数，确定第五关系模型；所述感兴趣区域的特征向量是基于所述第三关系模型确定的；所述感兴趣区域包括多个所述肿瘤细胞的图像区域；
基于预设的各个切片图像的特征向量，通过所述预设Transformer模型中的第五个块，确定第六关系模型，并基于所述第六关系模型和Softmax函数，确定第七关系模型；所述切片图像的特征向量是基于所述第五关系模型确定的，所述切片图像包括多个所述感兴趣区域；
基于所述第七关系模型，建立所述肿瘤免疫治疗疗效预测模型。
基于上述实施例的内容，作为一种可选的实施例，该装置还包括：
获取模型，用于将同一患者的肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签作为一组训练样本，获取多组训练样本；
训练模块，用于利用所述多组训练样本，对所述肿瘤免疫治疗疗效预测模型进行训练。
基于上述实施例的内容，作为一种可选的实施例，所述训练模块具体还用于：
对于任意一组训练样本，将所述训练样本输入到所述肿瘤免疫治疗疗效预测模型，获得所述肿瘤免疫治疗疗效预测模型输出的所述训练样本对应的免疫治疗疗效预测值；
利用预设损失函数，根据所述训练样本对应的免疫治疗疗效预测值和所述训练样本对应的样本免疫治疗疗效标签计算损失值；
若所述损失值小于预设阈值，则所述肿瘤免疫治疗疗效预测模型训练完成。
基于上述实施例的内容，作为一种可选的实施例，所述处理模块410 具体还用于：
对所述待测患者的各个肿瘤组织切片的肿瘤微环境图像进行感兴趣区域提取，得到每个所述肿瘤组织切片的多个感兴趣区域；
对每个所述肿瘤组织切片的各个感兴趣区域进行细胞表型分析，得到每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息。
图5是本发明提供的电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行上述各方法所提供的肿瘤免疫治疗疗效预测方法，该方法包括：基于待测患者的各个肿瘤组织切片的肿瘤微环境图像，确定每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息；将每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型，获得所述肿瘤免疫治疗疗效预测模型输出的所述待测患者的肿瘤免疫治疗疗效预测结果；所述肿瘤免疫治疗疗效预测模型是基于肿瘤组织中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的肿瘤免疫治疗疗效预测方法，该方法包括：基于待测患者的各个肿瘤组织切片的肿瘤微环境图像，确定每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息；将每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型，获得所述肿瘤免疫治疗疗效预测模型输出的所述待测患者的肿瘤免疫治疗疗效预测结果；所述肿瘤免疫治疗疗效预测模型是基于肿瘤组织中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的肿瘤免疫治疗疗效预测方法，该方法包括：基于待测患者的各个肿瘤组织切片的肿瘤微环境图像，确定每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息；将每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型，获得所述肿瘤免疫治疗疗效预测模型输出的所述待测患者的肿瘤免疫治疗疗效预测结果；所述肿瘤免疫治疗疗效预测模型是基于肿瘤组织中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种肿瘤免疫治疗疗效预测方法，其特征在于，包括：
基于待测患者的各个肿瘤组织切片的肿瘤微环境图像，确定每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息；
将每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型，获得所述肿瘤免疫治疗疗效预测模型输出的所述待测患者的肿瘤免疫治疗疗效预测结果；
所述肿瘤免疫治疗疗效预测模型是基于肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的。
2.根据权利要求1所述的肿瘤免疫治疗疗效预测方法，其特征在于，在所述将每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型之前，还包括：
基于肿瘤微环境的图像特征信息和预设Transformer模型，建立所述肿瘤免疫治疗疗效预测模型；所述预设Transformer模型包括多个块，每个块包括多头注意力机制层和前向反馈网络层。
3.根据权利要求2所述的肿瘤免疫治疗疗效预测方法，其特征在于，所述肿瘤微环境的图像特征信息包括肿瘤细胞的位置向量、所述肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和所述各个免疫细胞的位置向量，相应地，基于肿瘤微环境的图像特征信息和预设Transformer模型，建立所述肿瘤免疫治疗疗效预测模型，包括：
基于所述肿瘤细胞的位置向量、所述肿瘤细胞周围的各个免疫细胞的细胞亚型的特征向量和所述各个免疫细胞的位置向量，通过所述预设Transformer模型中的第一个块和第二个块，确定第一关系模型，并基于所述第一关系模型，确定所述肿瘤细胞的特征向量；
基于各个所述肿瘤细胞的位置向量及各个所述肿瘤细胞的特征向量，通过所述预设Transformer模型中的第三个块，确定第二关系模型，并基于所述第二关系模型和Softmax函数，确定第三关系模型；
基于预先勾画的各个感兴趣区域的特征向量，通过所述预设Transformer模型中的第四个块，确定第四关系模型，并基于所述第四关系模型和Softmax函数，确定第五关系模型；所述感兴趣区域的特征向量是基于所述第三关系模型确定的；所述感兴趣区域包括多个所述肿瘤细胞的图像区域；
基于预设的各个切片图像的特征向量，通过所述预设Transformer模型中的第五个块，确定第六关系模型，并基于所述第六关系模型和Softmax函数，确定第七关系模型；所述切片图像的特征向量是基于所述第五关系模型确定的，所述切片图像包括多个所述感兴趣区域；
基于所述第七关系模型，建立所述肿瘤免疫治疗疗效预测模型。
4.根据权利要求1所述的肿瘤免疫治疗疗效预测方法，其特征在于，在所述将每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型之前，还包括：
将患者的肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签作为一组训练样本，获取多组训练样本；
利用所述多组训练样本，对所述肿瘤免疫治疗疗效预测模型进行训练。
5.根据权利要求4所述的肿瘤免疫治疗疗效预测方法，其特征在于，利用所述多组训练样本，对所述肿瘤免疫治疗疗效预测模型进行训练，包括：
对于任意一组训练样本，将所述训练样本输入到所述肿瘤免疫治疗疗效预测模型，获得所述肿瘤免疫治疗疗效预测模型输出的所述训练样本对应的免疫治疗疗效预测值；
利用预设损失函数，根据所述训练样本对应的免疫治疗疗效预测值和所述训练样本对应的样本免疫治疗疗效标签计算损失值；
若所述损失值小于预设阈值，则所述肿瘤免疫治疗疗效预测模型训练完成。
6.根据权利要求1所述的肿瘤免疫治疗疗效预测方法，其特征在于，所述基于待测患者的各个肿瘤组织切片的肿瘤微环境图像，确定每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息，包括：
对所述待测患者的各个肿瘤组织切片的肿瘤微环境图像进行感兴趣区域提取，得到每个所述肿瘤组织切片的多个感兴趣区域；
对每个所述肿瘤组织切片的各个感兴趣区域进行细胞表型分析，得到每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息。
7.一种肿瘤免疫治疗疗效预测装置，其特征在于，包括：
处理模块，用于基于待测患者的各个肿瘤组织切片的肿瘤微环境图像，确定每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息；
预测模块，用于将每个所述肿瘤组织切片中各个肿瘤微环境的图像特征信息输入到肿瘤免疫治疗疗效预测模型，获得所述肿瘤免疫治疗疗效预测模型输出的所述待测患者的肿瘤免疫治疗疗效预测结果；
所述肿瘤免疫治疗疗效预测模型是基于肿瘤组织切片中肿瘤微环境的图像特征信息样本及其对应的样本免疫治疗疗效标签训练得到的。
8.根据权利要求7所述的肿瘤免疫治疗疗效预测装置，其特征在于，所述装置，还包括：
建模模块，用于基于肿瘤微环境的图像特征信息和预设Transformer模型，建立所述肿瘤免疫治疗疗效预测模型；所述预设Transformer模型包括多个块，每个块包括多头注意力机制层和前向反馈网络层。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述肿瘤免疫治疗疗效预测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述肿瘤免疫治疗疗效预测方法。
CN202211223902.2A 2022-10-08 2022-10-08 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质 Active CN115295154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211223902.2A CN115295154B (zh) 2022-10-08 2022-10-08 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211223902.2A CN115295154B (zh) 2022-10-08 2022-10-08 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115295154A true CN115295154A (zh) 2022-11-04
CN115295154B CN115295154B (zh) 2023-02-03

Family

ID=83833883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211223902.2A Active CN115295154B (zh) 2022-10-08 2022-10-08 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115295154B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274235A (zh) * 2023-11-09 2023-12-22 福建自贸试验区厦门片区Manteia数据科技有限公司 放疗疗效的确定装置、电子设备及存储介质
CN117809858A (zh) * 2024-03-01 2024-04-02 北京肿瘤医院(北京大学肿瘤医院) 免疫治疗效果预测方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106619719A (zh) * 2016-12-27 2017-05-10 中国科学院广州生物医药与健康研究院 一种检测嵌合抗原受体t细胞对肝癌细胞抑制作用的模型和方法
CN110717894A (zh) * 2019-09-20 2020-01-21 北京深睿博联科技有限责任公司 癌症靶向治疗疗效评估方法及装置、设备、存储介质
US20210233236A1 (en) * 2020-01-28 2021-07-29 PAIGE.AI, Inc. Systems and methods for processing electronic images for biomarker localization
CN114188020A (zh) * 2021-12-07 2022-03-15 厦门大学附属中山医院 一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法
US20220101998A1 (en) * 2020-09-28 2022-03-31 Taipei Medical University Tumor recurrence prediction device and method
CN114509491A (zh) * 2022-02-16 2022-05-17 中国医学科学院肿瘤医院 基于组织质谱成像的免疫治疗效果预测方法、系统和设备
CN115036002A (zh) * 2021-11-12 2022-09-09 广州医科大学附属第一医院（广州呼吸中心） 一种基于多模态融合模型的治疗效果预测方法及终端设备
US20220292670A1 (en) * 2021-03-09 2022-09-15 PAIGE.AI, Inc. Systems and methods for processing electronic images to determine testing for unstained specimens

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106619719A (zh) * 2016-12-27 2017-05-10 中国科学院广州生物医药与健康研究院 一种检测嵌合抗原受体t细胞对肝癌细胞抑制作用的模型和方法
CN110717894A (zh) * 2019-09-20 2020-01-21 北京深睿博联科技有限责任公司 癌症靶向治疗疗效评估方法及装置、设备、存储介质
US20210233236A1 (en) * 2020-01-28 2021-07-29 PAIGE.AI, Inc. Systems and methods for processing electronic images for biomarker localization
CN114981899A (zh) * 2020-01-28 2022-08-30 佩治人工智能公司 用于处理用于生物标志物定位的电子图像的系统和方法
US20220101998A1 (en) * 2020-09-28 2022-03-31 Taipei Medical University Tumor recurrence prediction device and method
TW202213382A (zh) * 2020-09-28 2022-04-01 臺北醫學大學 腫瘤復發預測裝置與方法
US20220292670A1 (en) * 2021-03-09 2022-09-15 PAIGE.AI, Inc. Systems and methods for processing electronic images to determine testing for unstained specimens
CN115036002A (zh) * 2021-11-12 2022-09-09 广州医科大学附属第一医院（广州呼吸中心） 一种基于多模态融合模型的治疗效果预测方法及终端设备
CN114188020A (zh) * 2021-12-07 2022-03-15 厦门大学附属中山医院 一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法
CN114509491A (zh) * 2022-02-16 2022-05-17 中国医学科学院肿瘤医院 基于组织质谱成像的免疫治疗效果预测方法、系统和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
秦彩朋: "肾癌免疫治疗疗效评估突变预测模型的建立", 《北京大学学报(医学版)》 *
郭晓轶等: "分子影像引导肿瘤免疫治疗新进展", 《肿瘤防治研究》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274235A (zh) * 2023-11-09 2023-12-22 福建自贸试验区厦门片区Manteia数据科技有限公司 放疗疗效的确定装置、电子设备及存储介质
CN117274235B (zh) * 2023-11-09 2024-02-27 福建自贸试验区厦门片区Manteia数据科技有限公司 放疗疗效的确定装置、电子设备及存储介质
CN117809858A (zh) * 2024-03-01 2024-04-02 北京肿瘤医院(北京大学肿瘤医院) 免疫治疗效果预测方法及装置

Also Published As

Publication number Publication date
CN115295154B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN113454733B (zh) 用于预后组织模式识别的多实例学习器
JP7231631B2 (ja) 腫瘍空間異質性およびインターマーカ異質性の計算方法
CN115295154B (zh) 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质
US11977984B2 (en) Using a first stain to train a model to predict the region stained by a second stain
CN115294129B (zh) 肿瘤免疫治疗预后评估方法、装置、电子设备及存储介质
WO2021062904A1 (zh) 基于病理图像的tmb分类方法、系统及tmb分析装置
US11721427B2 (en) Computational pathology approach for retrospective analysis of tissue-based companion diagnostic driven clinical trial studies
Zheng et al. Application of transfer learning and ensemble learning in image-level classification for breast histopathology
CN106683081A (zh) 基于影像组学的脑胶质瘤分子标记物无损预测方法和预测系统
US20220180518A1 (en) Improved histopathology classification through machine self-learning of "tissue fingerprints"
CN112819821B (zh) 一种细胞核图像检测方法
Fujita et al. Cell detection and segmentation in microscopy images with improved mask R-CNN
Wang et al. A novel approach combined transfer learning and deep learning to predict TMB from histology image
JP7427080B2 (ja) 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習
Xu et al. Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients
CN112543934A (zh) 一种确定异常程度的方法、相应的计算机可读介质和分布式癌症分析系统
CN109191434A (zh) 一种细胞分化中的图像检测系统及检测方法
CN115668284A (zh) 基于空间特征分析的病理预测
Rathore et al. Prediction of overall survival and molecular markers in gliomas via analysis of digital pathology images using deep learning
CN117015796A (zh) 处理组织图像的方法和用于处理组织图像的系统
EP4174739A1 (en) A method of classification
CN116403701A (zh) 一种非小细胞肺癌患者tmb水平的预测方法及装置
CN116547727A (zh) 基于注意力的多示例学习
US20240104948A1 (en) Tumor immunophenotyping based on spatial distribution analysis
Gan et al. Focalizing regions of biomarker relevance facilitates biomarker prediction on histopathological images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230817

Address after: 100142 Beijing Cancer Hospital, 52 Fucheng Road, Haidian District, Beijing

Patentee after: BEIJING CANCER HOSPITAL (BEIJING CANCER Hospital)

Patentee after: Peking University

Address before: 100142 Beijing Cancer Hospital, 52 Fucheng Road, Haidian District, Beijing

Patentee before: BEIJING CANCER HOSPITAL (BEIJING CANCER Hospital)

TR01 Transfer of patent right