CN115274119B - 一种融合多影像组学特征的免疫治疗预测模型的构建方法 - Google Patents

一种融合多影像组学特征的免疫治疗预测模型的构建方法 Download PDF

Info

Publication number
CN115274119B
CN115274119B CN202211204745.0A CN202211204745A CN115274119B CN 115274119 B CN115274119 B CN 115274119B CN 202211204745 A CN202211204745 A CN 202211204745A CN 115274119 B CN115274119 B CN 115274119B
Authority
CN
China
Prior art keywords
image
features
omics
feature
immunotherapy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211204745.0A
Other languages
English (en)
Other versions
CN115274119A (zh
Inventor
金征宇
宋兰
朱振宸
宋伟
雷晶
周振
谭卫雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority to CN202211204745.0A priority Critical patent/CN115274119B/zh
Publication of CN115274119A publication Critical patent/CN115274119A/zh
Application granted granted Critical
Publication of CN115274119B publication Critical patent/CN115274119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种融合多影像组学特征的免疫治疗预测模型的构建方法，具体涉及一种融合多影像组学特征的免疫治疗预测模型的构建方法、预测方法、系统、设备及计算机可读存储介质。包括：获取待测癌症患者的增强CT影像；提取影像组学特征，选择与PD‑1/PD‑L1表达状态相关的影像组学特征作为第一影像组学特征；提取影像组学特征，选择与免疫治疗反应相关的影像组学特征作为第二影像组学特征；将第一影像组学特征与第二影像组学特征进行特征融合，输入分类器，得到患者是否适合抗PD‑1/PD‑L1单抗治疗的分类结果。本申请具有很好的临床应用价值。

Description

一种融合多影像组学特征的免疫治疗预测模型的构建方法
技术领域
本发明涉及智能医疗技术领域，更具体地，涉及一种融合多影像组学特征的免疫治疗预测模型的构建方法、预测方法、系统、设备及计算机可读存储介质。
背景技术
抗肿瘤免疫应答是由众多免疫细胞和分子参与的复杂过程，在机体发挥抗肿瘤疗效时，炎症细胞浸润和肿瘤组织坏死/水肿等会造成假性进展（PsPD）、延迟反应和疾病超进展（HPD）等特殊临床表现；因此，与化疗和靶向治疗等相比，寻找免疫治疗的疗效预测标志物更具挑战性。单一维度的影像组学特征不能足够精准的反映免疫治疗效果，如何早期准确评估免疫治疗疗效一直是临床医生面对的难题并对临床治疗决策造成困扰。构建一种多维数据、无创、高效的癌症患者免疫治疗预测模型是临床中亟待解决的问题。
发明内容
申请立足临床场景，为癌症患者提供一种融合多影像组学特征的免疫治疗预测模型的构建方法，包括：
获取癌症患者的增强CT影像训练集，训练集中每个样本含有免疫治疗反应的标签和PD-1/PD-L1表达状态的标签；
基于PD-1/PD-L1表达状态标签提取癌症患者的增强CT影像组学特征，构建PD-1/PD-L1表达状态模型，基于所述PD-1/PD-L1表达状态模型中所用的影像组学特征得到与PD-1/PD-L1表达状态相关的影像组学特征，作为第一影像组学特征；
基于免疫治疗反应的标签提取癌症患者的增强CT影像组学特征，构建免疫治疗疗效结果预测模型；基于所述免疫治疗疗效结果预测模型中所用的影像组学特征得到免疫治疗反应相关的影像组学特征，作为第二影像组学特征；
将第一影像组学特征与第二影像组学特征进行特征融合，输入分类器，得到是否适合抗PD-1/PD-L1单抗治疗的预测的分类结果，将预测的分类结果与实际结果进行比对，优化分类器，得到训练好的融合多影像组学特征的免疫治疗预测模型。
进一步，所述与PD-1/PD-L1表达状态相关的影像组学特征具体为：获取癌症患者的增强CT影像训练集，通过免疫组化检测结果将训练集分为PD-1/PD-L1表达阳性组和PD-1/PD-L1表达阴性组，提取癌症患者的增强CT影像组学特征，构建PD-1/PD-L1表达状态模型，所述PD-1/PD-L1表达状态模型中所用的影像组学特征为与PD-1/PD-L1表达状态相关的影像组学特征。
本申请的目的在于提供一种融合多影像组学特征的免疫治疗预测方法，包括：
获取待测癌症患者的增强CT影像；
提取影像组学特征，选择与PD-1/PD-L1表达状态相关的影像组学特征作为第一影像组学特征；
提取影像组学特征，选择与免疫治疗反应相关的影像组学特征作为第二影像组学特征；
将第一影像组学特征与第二影像组学特征进行特征融合，输入分类器，得到患者是否适合抗PD-1/PD-L1单抗治疗的分类结果。
进一步，所述方法还包括：
获取待测癌症患者的临床数据；
提取代表性的临床特征，所述临床特征为：年龄、临床分期、骨转移、治疗线数和ICI 治疗；
将所述代表性的临床特征、第一影像组学特征、第二影像组学特征进行特征融合输入分类器，得到患者是否适合抗PD-1/PD-L1单抗治疗的分类结果。
进一步，所述提取影像组学特征，选择与免疫治疗反应相关的影像组学特征作为第二影像组学特征具体步骤为：提取患者的增强CT影像中多个病灶的影像组学特征，并将所述多个病灶的影像组学特征自适应加权求和，得到加权后的影像组学特征作为第二影像学组学特征。
优选的，所述加权求和的计算公式为：
Figure 100002_DEST_PATH_IMAGE001
，其中，
Figure 469200DEST_PATH_IMAGE002
代表加 权后的整合特征，
Figure 983358DEST_PATH_IMAGE003
为加权系数，
Figure 175305DEST_PATH_IMAGE004
为患者的单个病灶的影像学特征，K为病灶个数，优选 的，K为2-5。
进一步，加权求和中的加权系数采用多示例学习注意力模型确定；所述多示例学习注意力模型由注意力机制加权系数和多层感知机分类器构成，所述多层感知机分类器由两层神经网络构成，第一层为隐藏层和激活函数构成，第二层为激活函数获得的全连接输出层；
可选的，加权系数的公式为
Figure 645469DEST_PATH_IMAGE005
；其中K为病灶个数，w和V为 注意力模型参数，tanh为神经网络的激活函数，
Figure 202352DEST_PATH_IMAGE006
为患者的单病灶的影像学特征；多层感知 机分类器由两层神经网络构成，第一层为隐藏层和激活函数构成，第二层为激活函数获得 的全连接输出层；优选的，所述多示例学习注意力模型构建中，第一层为隐藏层和ReLU激活 函数构成，第二层为Softmax激活函数获得的全连接输出层，输出结局与免疫治疗的实际疗 效结果相关联，用来获得反馈并优化网络参数。
进一步，所述第二影像组学特征为2 个基于形状的特征，9 个一阶特征和 14 个高阶纹理特征；优选的，所述影像组学特征见表2；
可选的，所述将第一影像组学特征与第二影像组学特征进行特征融合输入分类器为将2 个基于形状的特征、9 个一阶特征和 14 个高阶纹理特征、5个代表性的临床特征、第一影像组学特征进行特征融合输入分类器中。
进一步，所述方法还包括对所述增强CT影像组学特征进行预处理，所述预处理包括保留ICC超过预定阈值的影像组学特征；和/或剔除相关系数大于规定阈值的影像组学特征；可选的，所述表达状态模型、疗效结果预测模型选自下列算法中的一种或几种：随机森林、逻辑回归、线性回归、多项式回归、逐步回归、岭回归、套索回归、弹性回归、多层感知机、极致梯度提升、支持向量机。
本申请的目的在于提供融合多影像组学特征的免疫治疗预测系统，所述系统包括：
获取单元，用于获取待测癌症患者的增强CT影像；
第一影像组学特征提取单元，用于提取影像组学特征，选择与PD-1/PD-L1表达状态相关的影像组学特征作为第一影像组学特征；
第二影像组学特征提取单元，用于提取影像组学特征，选择与免疫治疗反应相关的影像组学特征作为第二影像组学特征；
分类单元，用于将第一影像组学特征与第二影像组学特征进行特征融合，输入分类器，得到患者是否适合抗PD-1/PD-L1单抗治疗的分类结果。
本申请的目的在于提供一种融合多影像组学特征的免疫治疗预测设备，包括：存储器和处理器；
所述存储器用于存储程序指令；
所述处理器用于调用程序指令，当程序指令被执行时，实现上述的融合多影像组学特征的免疫治疗预测方法或采用上述的融合多影像组学特征的免疫治疗预测模型的构建方法构建的模型实现融合多影像组学特征的免疫治疗预测方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的融合多影像组学特征的免疫治疗预测方法或采用上述的融合多影像组学特征的免疫治疗预测模型的构建方法构建的模型实现融合多影像组学特征的免疫治疗预测方法。
本申请的优势：
1、本申请立足临床场景，免疫治疗效果与PD-1/PD-L1表达状态关系密切，基于抗PD-1/PD-L1单抗治疗原理，本申请融合与PD-1/PD-L1表达状态相关的影像组学特征、免疫治疗反应相关的影像组学特征，实现多影像组学特征的融合，优化得到一种更为精准的免疫治疗预测模型；
2、本申请还通过研究发现较小的病变的影像组学特征也可以贡献较高的权重，这表明机器学习能够更好地识别最有助于区分DCB（持久临床获益）和NDCB（非持久临床获益）的病灶，但是目前常见的影像组学特征提取方法（如最大病灶法、平均多病灶法等）在特征提取时会忽略这些特征，从而导致后期构建的模型在判断的准确度上存在不足；
3、本申请还筛选出对患者是否适合抗PD-1/PD-L1单抗治疗的的五个临床特征：年龄（≤60 或 >60岁）、临床分期（III 或 IV期）、骨转移、治疗线数（1线、2线或3线及以上）和ICI 治疗（是否使用帕博丽珠单抗，pembrolizumab）。结合影像组学特征和临床特征构建的综合模型，在预测癌症患者是否适合抗PD-1/PD-L1单抗治疗上具有更好的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1是本发明实施例提供的一种融合多影像组学特征的免疫治疗预测方法的示意流程图；
图2是本发明实施例提供的一种融合多影像组学特征的免疫治疗预测设备的示意框图；
图3是本发明实施例提供的一种融合多影像组学特征的免疫治疗预测系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S101、S102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的一种融合多影像组学特征的免疫治疗预测方法的示意流程图，具体地，所述方法包括如下步骤：
S101：获取待测癌症患者的增强CT影像；
在一个实施例中，使用各种 CT 扫描仪对患者进行了从肺尖到肺基底部的增强胸部 CT 扫描。以一定速率（2.5 毫升/秒）静脉注射80-100 ml 非离子造影剂（优维显 300，拜耳先灵医药，德国；或 碘佛醇 320，恒瑞医药，中国）后 35 秒 获得对比增强扫描。为了标准化 CT 设备的各种采集参数，将匿名化的原始医学数字成像和通信 (DICOM) 图像进行标准化，然后导入 Dr. Wise 研究平台，在该平台上通过肺部病变自动检测和自动分割算法以自动描绘病变。结果由一位具有 16 年影像诊断经验的高级胸部放射科医师在不了解治疗反应状态的情况下逐层确认和修改纵隔窗和肺窗设置的轴位图像的病变轮廓即感兴趣区域（ROI）。由具有 5 年影像诊断经验的第二位放射科医师随机选择和独立描绘病变的ROI（n=30)，以使用组内相关系数（ICC）评估提取的影像组学特征的可靠性。ROI为根据瘤肺界面绘制，尽可能排除血管、支气管、肺不张等邻近组织。
在一个实施例中，获取待测癌症患者的临床数据。在一个具体实施例中，本申请回顾性分析了2015年6月至2020年11月在我院共309例经病理证实的晚期肺癌患者，他们接受了以下PD-1/PD-L1 ICI治疗之一：纳武单抗、帕博丽珠单抗、阿特珠单抗、杜瓦鲁单抗、替雷利珠单抗、派安普利单抗和信迪利单抗。排除标准如下：（1）基线CT检查与开始免疫治疗的时间间隔> 28天；（2）治疗前基线增强胸部CT图像不可用；（3）图像质量差；（4）不能与周围组织准确区分的病灶；（5）在基线胸部 CT 扫描中，根据 RECIST 1.1 没有可测量的病灶；（6）随访时间<6个月。根据这些标准，符合调查条件的233例患者以 8：2 的比例随机分为训练组和内部测试组。通过电子病历系统收集患者的临床资料，包括以下特征：年龄、性别、吸烟史、临床分期、ICI治疗前转移部位、病理亚型、驱动基因突变、ICI治疗策略（使用的ICI药物、是否联合化疗）、治疗线数和 PD-L1 表达情况。临床分期根据美国癌症协会第八版肺癌分期指南确定，在驱动基因突变方面，包括EGFR、KRAS和 ROS1突变状态。临床特征的定义和评分规则见表1。研究的终点是基于患者对免疫治疗反应的二分类状态。无进展生存期（PFS）至少达到 6 个月的患者被定义为具有持久临床获益（DCB）的组，无进展生存期（PFS）少于 6 个月的患者被定义为非持久临床获益（NDCB）的组。 PFS 定义为从 ICI 开始到患者死亡或肺癌进展之间的时间。所有患者在每个随访点的反应评估（完全缓解 (CR)、部分缓解 (PR)、疾病稳定 (SD) 和确诊的疾病进展 (PD)）由一名高级呼吸科医师 (MC) 和一名高级放射科医师 (LS) 根据实体瘤疗效评价标准 1.1 版 (RECIST 1.1) 中的反应标准评估。通过活检或切除标本的免疫组织化学染色测量 PD-L1 表达，评估需要至少 100 个肿瘤细胞（TC）。 PD-L1 表达量采用肿瘤比例评分（TPS）方法，定义为 PD-L1 阳性 TCs 占总 TCs 的百分比，分为两个水平表达即阴性表达（TPS<1%）、阳性表达（TPS ≥1%）、阴性表达（TPS <50%）和阳性表达（TPS ≥50%）。
Figure 544DEST_PATH_IMAGE007
Figure 605969DEST_PATH_IMAGE008
S102：提取影像组学特征，选择与PD-1/PD-L1表达状态相关的影像组学特征作为第一影像组学特征；
在一个实施例中，所述与PD-1/PD-L1表达状态相关的影像组学特征具体为：获取癌症患者的增强CT影像训练集，通过免疫组化检测结果将训练集分为PD-1/PD-L1表达阳性组和PD-1/PD-L1表达阴性组，提取癌症患者的增强CT影像组学特征，构建PD-1/PD-L1表达状态模型，所述PD-1/PD-L1表达状态模型中所用的影像组学特征为与PD-1/PD-L1表达状态相关的影像组学特征。
S103：提取影像组学特征，选择与免疫治疗反应相关的影像组学特征作为第二影像组学特征；
在一个实施例中，所述与免疫治疗反应相关的影像组学特征为：基于免疫治疗反应的标签提取癌症患者的增强CT影像组学特征，构建免疫治疗疗效结果预测模型；基于所述免疫治疗疗效结果预测模型中所用的影像组学特征得到免疫治疗反应相关的影像组学特征。
在一个实施例中，所述提取影像组学特征，选择与免疫治疗反应相关的影像组学特征作为第二影像组学特征具体步骤为：提取患者的增强CT影像中多个病灶的影像组学特征，并将所述多个病灶的影像组学特征自适应加权求和，得到加权后的影像组学特征作为第二影像学组学特征；
在一个实施例中，所述第二影像组学特征为2 个基于形状的特征，9 个一阶特征和 14 个高阶纹理特征（具体见表2）；可选的，将第一影像组学特征与第二影像组学特征进行特征融合，输入分类器，得到患者是否适合抗PD-1/PD-L1单抗治疗的分类结果，具体步骤为：为将2 个基于形状的特征、9 个一阶特征和 14 个高阶纹理特征及第一影像组学特征进行特征融合，输入训练好的机器学习模型中。在一个具体实施例中，每个 ROI 共提取1454 维影像组学特征（又称放射组学特征），包括一阶特征、基于形状的特征、灰度共生矩阵（GLCM）特征、灰度依赖矩阵（GLDM）特征、灰度游程矩阵（GLRLM）、灰度大小区域矩阵（GLSZM）特征和相邻灰度色调差异矩阵（NGTDM）特征等高阶纹理特征。
在一个实施例中，所述方法还包括获取患者的增强CT影像后进行预处理，所述预处理包括保留ICC超过预定阈值的影像组学特征；和/或剔除相关系数大于规定阈值的影像组学特征。在一个具体实施例中，通过三个初步步骤保留了代表性的放射组学特征：1）保留了 ICC 超过 0.80 的特征； 2）保留组间（DCB vs. NDCB）分析中 P 值小于 0.05 的特征；3）特征两两配对过程中， Pearson 相关系数大于 0.85 的配对中，P值较大的特征被剔除。
在一个具体实施例中，为了探寻病灶特征与患者结局指标之间的关系，本申请对比了三种特征提取方法。（1）最大病灶方法（LL）：仅选择最大（三维直径）目标病灶的放射组学特征。（2）平均多病灶方法（ML）：为每个病例提取多达五个目标病灶的放射组学特征，并将其平均值作为最终的患者级特征。（3）加权多病灶方法（WL）：为每个病例选择多达五个病灶的放射组学特征，并将它们的自适应加权和用作最终的患者级特征。加权系数由多示例学习注意力模型确定，该多示例学习注意力模型在训练过程中自动学习每个病变对结果的影响。
在一个实施例中，所述加权求和的计算公式 为：
Figure 806006DEST_PATH_IMAGE009
，其中，
Figure DEST_PATH_IMAGE011
代表加权 后的整合特征，
Figure 986321DEST_PATH_IMAGE012
为加权系数，
Figure 147175DEST_PATH_IMAGE013
为患者的单个病灶的影像学特征，K为病灶个数，病灶个 数为2-5。所述模型由注意力机制加权系数和多层感知机分类器构成；可选的，加权系数的 公式为
Figure 415345DEST_PATH_IMAGE014
；其中K为病灶个数，w和V为注意力模型参数，tanh为神经 网络的激活函数，
Figure 594522DEST_PATH_IMAGE006
为患者的单病灶的影像学特征；多层感知机分类器由两层神经网络构 成，第一层为隐藏层和ReLU激活函数构成，第二层为Softmax激活函数获得的全连接输出 层。
S104：将第一影像组学特征与第二影像组学特征进行特征融合，输入分类器，得到患者是否适合抗PD-1/PD-L1单抗治疗的分类结果。
在一个实施例中，所述分类器选自下列算法中的一种或几种：随机森林、逻辑回归、线性回归、多项式回归、逐步回归、岭回归、套索回归、弹性回归、多层感知机、极致梯度提升、支持向量机等。
在一个实施例中，所述方法还包括：获取待测癌症患者的增强CT影像；提取影像组学特征，选择与PD-1/PD-L1表达状态相关的影像组学特征作为第一影像组学特征；提取影像组学特征，选择与免疫治疗反应相关的影像组学特征作为第二影像组学特征具体步骤为：提取患者的增强CT影像中多个病灶的影像组学特征，并将所述多个病灶的影像组学特征自适应加权求和，得到加权后的第二影像学组学特征；获取待测癌症患者的临床数据；提取代表性的临床特征，所述临床特征为：年龄、临床分期、骨转移、治疗线数和 ICI 治疗；将所述5个代表性的临床特征、第一影像组学特征、第二影像组学特征进行特征融合输入分类器，得到患者是否适合抗PD-1/PD-L1单抗治疗的分类结果。
在一个具体实施例中，所述临床特征为征：年龄（≤60 或 >60）、临床分期（III 或IV）、骨转移、治疗线数（1线、2线或3线及以上）和 ICI 治疗（是否使用帕博丽珠单抗），所述第二影像组学特征包括使用 LL（最大病灶）、ML（平均多个病灶）和 WL（加权多个病灶）方法分别确定了三组具有代表性的放射组学特征。 19 个（1 个基于形状的特征、10 个一阶特征和 8 个高阶纹理级特征）、21 个（1 个基于形状的特征、7 个一阶特征和 13 个高阶纹理特征）和 25 个（2 个基于形状的特征，9 个一阶特征和 14 个高阶纹理特征）特征（具体见表2）。
Figure 821104DEST_PATH_IMAGE015
Figure 203675DEST_PATH_IMAGE016
Figure 9957DEST_PATH_IMAGE017
在一个具体实施例中，采用三种不同的影像组学特征（LL、ML或WL），比较不同的特征提取方法提取的第二影像组学特征效果，结果显示，无论采用何种分类器，基于WL 的模型的判别能力几乎在所有分类器中都优于其他两种方法，具体见表3。为了探究三种方法之间的差异，分别在来自 DCB 和 NDCB 组的患者的病变上可视化了具有最大负系数和正系数的两个放射组学特征。结果显示对数 GLDM（SDHGLE）特征和小波 GLCM（相关性）特征在ICI 治疗前对代表性 DCB 和 NDCB 患者的可区分性，并且还显示了属性权重。本申请的结果发现，与 NDCB 中的病变相比，DCB 中CT 图像上的病变中存在更高的纹理模式异质性，此外，从 WL 方法获得的权重在大小病变之间非常不均匀，在大多数情况下，较大的权重归因于较小的病变。上述的结果在现有的研究中从未被发现。
表3
Figure 105958DEST_PATH_IMAGE018
Figure 847649DEST_PATH_IMAGE019
Figure 842150DEST_PATH_IMAGE020
在一个具体实施例中，在两个队列基于第二影像组学特征构建的免疫治疗疗效结果预测模型中，分别基于临床特征（WL-LR-临床模型）、影像组学特征（WL-LR-影像组学模型）和综合模型（临床+影像组学，WL-LR-综合模型）与 PFS 密切相关。三种模型的风险率在验证队列中分别为：3.06、2.5和2.95，在测试队列中分别为：2.17、2.4和2.90。即临床+影像组学的WL-LR-综合模型具有更好的效果。上述结论为精准的融合多影像组学特征的免疫治疗预测模型的构建奠定基础。
在一个具体实施例中，获取待测癌症患者的增强CT影像和临床数据，分别提取癌症患者的增强CT影像组学特征和临床数据，分别进行临床特征、第一影像组学特征和第二影像组学特征的提取；所述临床特征为年龄、临床分期、骨转移、治疗线数和 ICI 治疗特征；所述第一影像组学特征为基于PD-1/PD-L1表达状态标签提取癌症患者的增强CT影像组学特征，构建PD-1/PD-L1表达状态模型，基于所述PD-1/PD-L1表达状态模型中所用的影像组学特征得到与PD-1/PD-L1表达状态相关的影像组学特；所述第二影像组学特征为基于免疫治疗反应的标签提取癌症患者的增强CT影像组学特征，构建免疫治疗疗效结果预测模型；基于所述免疫治疗疗效结果预测模型中所用的影像组学特征得到免疫治疗反应相关的影像组学特征；将临床特征、第一影像组学特征与第二影像组学特征进行特征融合，输入分类器，得到是否适合抗PD-1/PD-L1单抗治疗的预测的分类结果，将预测的分类结果与实际结果进行比对，优化分类器，得到训练好的融合多影像组学特征的免疫治疗预测模型。
图2是本发明实施例提供的一种融合多影像组学特征的免疫治疗预测设备，包括：存储器和处理器；
所述存储器用于存储程序指令；
所述处理器用于调用程序指令，当程序指令被执行时，实现上述的融合多影像组学特征的免疫治疗预测的方法或采用上述的融合多影像组学特征的免疫治疗预测模型的构建方法构建的模型实现融合多影像组学特征的免疫治疗预测方法。
图3是本发明实施例提供的一种融合多影像组学特征的免疫治疗预测系统，所述系统包括：
获取单元，用于获取待测癌症患者的增强CT影像；
第一影像组学特征提取单元，用于提取影像组学特征，选择与PD-1/PD-L1表达状态相关的影像组学特征作为第一影像组学特征；
第二影像组学特征提取单元，用于提取影像组学特征，选择与免疫治疗反应相关的影像组学特征作为第二影像组学特征；
分类单元，用于将第一影像组学特征与第二影像组学特征进行特征融合，输入分类器，得到患者是否适合抗PD-1/PD-L1单抗治疗的分类结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的融合多影像组学特征的免疫治疗预测的方法或采用上述的融合多影像组学特征的免疫治疗预测模型的构建方法构建的模型实现融合多影像组学特征的免疫治疗预测方法。
本验证实施例的验证结果表明，为适应症分配固有权重相对于默认设置来说可以适度改善本方法的性能。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种计算机设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种融合多影像组学特征的免疫治疗预测模型的构建方法，包括：
获取癌症患者的增强CT影像训练集，训练集中每个样本含有免疫治疗反应的标签和PD-1/PD-L1表达状态的标签；
基于PD-1/PD-L1表达状态标签提取癌症患者的增强CT影像组学特征，构建PD-1/PD-L1表达状态模型，基于所述PD-1/PD-L1表达状态模型中所用的影像组学特征得到与PD-1/PD-L1表达状态相关的影像组学特征，作为第一影像组学特征；
基于免疫治疗反应的标签提取癌症患者的增强CT影像组学特征，构建免疫治疗疗效结果预测模型；基于所述免疫治疗疗效结果预测模型中所用的影像组学特征得到免疫治疗反应相关的影像组学特征，作为第二影像组学特征；
将第一影像组学特征与第二影像组学特征进行特征融合，输入分类器，得到是否适合抗PD-1/PD-L1单抗治疗的预测的分类结果，将预测的分类结果与实际结果进行比对，优化分类器，得到训练好的融合多影像组学特征的免疫治疗预测模型。
2.一种融合多影像组学特征的免疫治疗预测方法，包括：
获取待测癌症患者的增强CT影像；
提取影像组学特征，选择与PD-1/PD-L1表达状态相关的影像组学特征作为第一影像组学特征；
提取影像组学特征，选择与免疫治疗反应相关的影像组学特征作为第二影像组学特征；
将第一影像组学特征与第二影像组学特征进行特征融合，输入分类器，得到患者是否适合抗PD-1/PD-L1单抗治疗的分类结果。
3.根据权利要求2所述的融合多影像组学特征的免疫治疗预测方法，其特征在于，所述提取影像组学特征，选择与免疫治疗反应相关的影像组学特征作为第二影像组学特征具体步骤为：提取患者的增强CT影像中多个病灶的影像组学特征，并将所述多个病灶的影像组学特征自适应加权求和，得到加权后的影像组学特征作为第二影像学组学特征。
4.根据权利要求2所述的融合多影像组学特征的免疫治疗预测方法，其特征在于，所述方法还包括：
获取待测癌症患者的临床数据；
提取代表性的临床特征，所述临床特征为：年龄、临床分期、骨转移、治疗线数和 ICI治疗；
将所述代表性的临床特征、第一影像组学特征、第二影像组学特征进行特征融合输入分类器，得到患者是否适合抗PD-1/PD-L1单抗治疗的分类结果。
5.根据权利要求3所述的融合多影像组学特征的免疫治疗预测方法，其特征在于，所述加权求和中的加权系数采用多示例学习注意力模型确定，所述多示例学习注意力模型由注意力机制加权系数和多层感知机分类器构成。
6.根据权利要求5所述的融合多影像组学特征的免疫治疗预测方法，其特征在于，所述 多层感知机分类器由两层神经网络构成，第一层为隐藏层和激活函数构成，第二层为激活 函数获得的全连接输出层；加权系数的公式为
Figure DEST_PATH_IMAGE001
；其中K为病灶个 数，w和V为注意力模型参数，tanh为神经网络的激活函数，
Figure 191220DEST_PATH_IMAGE002
为患者的单病灶的影像学特 征。
7.根据权利要求2所述的融合多影像组学特征的免疫治疗预测方法，其特征在于，所述第二影像组学特征为2 个基于形状的特征，9 个一阶特征和 14 个高阶纹理特征。
8.根据权利要求7所述的融合多影像组学特征的免疫治疗预测方法，其特征在于，所述将第一影像组学特征与第二影像组学特征进行特征融合输入分类器为将2 个基于形状的特征、9 个一阶特征和 14 个高阶纹理特征、5个代表性的临床特征、第一影像组学特征进行特征融合输入分类器。
9.根据权利要求2所述的融合多影像组学特征的免疫治疗预测方法，其特征在于，所述方法还包括对所述增强CT影像组学特征进行预处理，所述预处理包括保留ICC超过预定阈值的影像组学特征；和/或剔除相关系数大于规定阈值的影像组学特征。
10.根据权利要求2所述的融合多影像组学特征的免疫治疗预测方法，其特征在于，所述分类器选自下列算法中的一种或几种：随机森林、逻辑回归、线性回归、多项式回归、逐步回归、岭回归、套索回归、弹性回归、多层感知机、极致梯度提升、支持向量机。
11.一种融合多影像组学特征的免疫治疗预测系统，其特征在于，所述系统包括：
获取单元，用于获取待测癌症患者的增强CT影像；
第一影像组学特征提取单元，用于提取影像组学特征，选择与PD-1/PD-L1表达状态相关的影像组学特征作为第一影像组学特征；
第二影像组学特征提取单元，用于提取影像组学特征，选择与免疫治疗反应相关的影像组学特征作为第二影像组学特征；
分类单元，用于将第一影像组学特征与第二影像组学特征进行特征融合，输入分类器，得到患者是否适合抗PD-1/PD-L1单抗治疗的分类结果。
12.一种融合多影像组学特征的免疫治疗预测设备，包括：存储器和处理器；
所述存储器用于存储程序指令；
所述处理器用于调用程序指令，当程序指令被执行时，实现权利要求2-10任意一项所述的融合多影像组学特征的免疫治疗预测方法或采用权利要求1所述的融合多影像组学特征的免疫治疗预测模型的构建方法构建的模型实现融合多影像组学特征的免疫治疗预测方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求2-10任意一项所述的融合多影像组学特征的免疫治疗预测方法或采用权利要求1所述的融合多影像组学特征的免疫治疗预测模型的构建方法构建的模型实现融合多影像组学特征的免疫治疗预测方法。
CN202211204745.0A 2022-09-30 2022-09-30 一种融合多影像组学特征的免疫治疗预测模型的构建方法 Active CN115274119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211204745.0A CN115274119B (zh) 2022-09-30 2022-09-30 一种融合多影像组学特征的免疫治疗预测模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211204745.0A CN115274119B (zh) 2022-09-30 2022-09-30 一种融合多影像组学特征的免疫治疗预测模型的构建方法

Publications (2)

Publication Number Publication Date
CN115274119A CN115274119A (zh) 2022-11-01
CN115274119B true CN115274119B (zh) 2022-12-23

Family

ID=83757938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211204745.0A Active CN115274119B (zh) 2022-09-30 2022-09-30 一种融合多影像组学特征的免疫治疗预测模型的构建方法

Country Status (1)

Country Link
CN (1) CN115274119B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994770B (zh) * 2023-09-27 2024-01-02 四川省医学科学院·四川省人民医院 一种基于多维度分析的免疫人群确定方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114783517A (zh) * 2022-05-13 2022-07-22 中国医科大学 基于影像组学及语义特征预测crlm患者的ras基因状态

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110391015B (zh) * 2019-06-14 2021-08-13 广东省人民医院(广东省医学科学院) 一种基于影像组学量化肿瘤免疫状态的方法
WO2021081841A1 (zh) * 2019-10-30 2021-05-06 未艾医疗技术(深圳)有限公司 基于vrds 4d医学影像的脾脏肿瘤识别方法及相关装置
WO2022020722A1 (en) * 2020-07-24 2022-01-27 Onc.Ai, Inc. Predicting response to immunotherapy treatment using deep learning analysis of imaging and clinical data
CN112801168A (zh) * 2021-01-25 2021-05-14 江苏大学 一种肿瘤影像的病灶区域预测分析方法、系统及终端设备
CN113724876A (zh) * 2021-09-10 2021-11-30 南昌大学第二附属医院 基于多模态融合和dfs-lle算法的脑卒中院内并发症预测模型
CN115036002B (zh) * 2021-11-12 2023-07-18 广州医科大学附属第一医院（广州呼吸中心） 一种基于多模态融合模型的治疗效果预测方法及终端设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114783517A (zh) * 2022-05-13 2022-07-22 中国医科大学 基于影像组学及语义特征预测crlm患者的ras基因状态

Also Published As

Publication number Publication date
CN115274119A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
Murugesan et al. A hybrid deep learning model for effective segmentation and classification of lung nodules from CT images
Lin et al. Autonomous detection of pulmonary nodules on CT images with a neural network-based fuzzy system
CN115440383B (zh) 用于预测晚期癌症患者pd-1/pd-l1单抗治疗疗效的系统
US20040101181A1 (en) Automated method and system for computerized image analysis prognosis
Ashwin et al. Efficient and reliable lung nodule detection using a neural network based computer aided diagnosis system
Wang et al. An integrated deep learning algorithm for detecting lung nodules with low-dose CT and its application in 6G-enabled internet of medical things
EP3685401B1 (en) Method and apparatus for deriving a set of training data
Dutande et al. Deep residual separable convolutional neural network for lung tumor segmentation
CN113017674B (zh) 基于胸部ct图像的egfr基因突变检测方法和系统
Li et al. A novel radiogenomics framework for genomic and image feature correlation using deep learning
CN115274119B (zh) 一种融合多影像组学特征的免疫治疗预测模型的构建方法
Han et al. Pulmonary nodules detection assistant platform: An effective computer aided system for early pulmonary nodules detection in physical examination
Li et al. A dense connection encoding–decoding convolutional neural network structure for semantic segmentation of thymoma
Li et al. Lesion-aware convolutional neural network for chest radiograph classification
US20230145034A1 (en) Method and apparatus utilizing image-based modeling in healthcare
CN115440386B (zh) 基于加权多病灶的影像组学特征预测晚期癌症患者免疫治疗效果的方法及设备
Jeeva A Computer Aided Diagnosis for detection and classification of lung nodules
Xu et al. Improved cascade R-CNN for medical images of pulmonary nodules detection combining dilated HRNet
Dickson et al. A Dual Channel Multiscale Convolution U-Net Methodfor Liver Tumor Segmentation from Abdomen CT Images
WO2022178329A1 (en) Methods and related aspects for classifying lesions in medical images
Chang et al. DARWIN: a highly flexible platform for imaging research in radiology
Ibrahim et al. Liver Multi-class Tumour Segmentation and Detection Based on Hyperion Pre-trained Models.
Sivasankaran et al. Lung Cancer Detection Using Image Processing Technique Through Deep Learning Algorithm.
Jayandhi et al. An Effective Segmentation of Breast Cancer Using Modified U-NET
Reddy et al. Different Algorithms for Lung Cancer Detection and Prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant