CN115036002A - 一种基于多模态融合模型的治疗效果预测方法及终端设备 - Google Patents

一种基于多模态融合模型的治疗效果预测方法及终端设备 Download PDF

Info

Publication number
CN115036002A
CN115036002A CN202111336943.8A CN202111336943A CN115036002A CN 115036002 A CN115036002 A CN 115036002A CN 202111336943 A CN202111336943 A CN 202111336943A CN 115036002 A CN115036002 A CN 115036002A
Authority
CN
China
Prior art keywords
treatment
fusion model
tumor
clinical
modal fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111336943.8A
Other languages
English (en)
Other versions
CN115036002B (zh
Inventor
李谨
潘家峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital of Guangzhou Medical University
Original Assignee
First Affiliated Hospital of Guangzhou Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital of Guangzhou Medical University filed Critical First Affiliated Hospital of Guangzhou Medical University
Priority to CN202111336943.8A priority Critical patent/CN115036002B/zh
Publication of CN115036002A publication Critical patent/CN115036002A/zh
Application granted granted Critical
Publication of CN115036002B publication Critical patent/CN115036002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明公开了一种基于多模态融合模型的治疗效果预测方法及终端设备，其中，方法包括步骤：获取肿瘤患者的治疗前后CT图像、治疗前后病理全切片扫描图像、临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果；对治疗前后CT图像和所述治疗前后病理全切片扫描图像进行特征提取处理，得到图像数据特征；对人临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果进行标注处理，得到表格数据特征；将图像数据特征与表格数据特征进行特征融合并构建多模态融合模型；基于多模态融合模型预测肿瘤患者的治疗效果。本发明提供的预测方法可得到更准确的肿瘤治疗预测结果，具有直接临床指导意义，给患者带来个体化精准治疗方案。

Description

一种基于多模态融合模型的治疗效果预测方法及终端设备
技术领域
本发明涉及免疫治疗效果预测技术领域，尤其涉及一种基于多模态融合模型的治疗效果预测方法及终端设备。
背景技术
人工智能的应用越来越广，与医疗结合也越来越紧密，目前大多借助基因组学、放射学图像或病理图像等单一模态信息来构建人工智能模型，用于辅助诊断，而少有用于疗效及预后预测方面。癌症的免疫治疗在2018年获得诺贝尔生物医学奖，通过阻断程序性死亡受体1(Programmed cell death receptro-1，PD-1)和程序性死亡受体-配体1(Programmed cell death ligand-1，PD-L1)信号通路的免疫治疗，彻底改变了转移性和无法手术切除的III期非小细胞型肺癌(NSCLC)的治疗模式，癌细胞表面上的PD-L1表达起重要作用，然而，PD-L1阳性肿瘤患者对该类免疫抑制剂的反应也有限，这表明PD-L1表达不是治疗有效性的绝对决定因素，目前这一机理并不清楚。相比单纯新辅助化疗，新辅助免疫治疗可以带来更明显的总生存获益，但获益人群尚无明确标准来划分。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种基于多模态融合模型的治疗效果预测方法及终端设备，旨在解决现有技术对肿瘤新辅助免疫治疗效果的预测结果不准确的问题。
本发明的技术方案如下：
一种基于多模态融合模型的治疗效果预测方法，其中，包括步骤：
获取肿瘤患者的治疗前后CT图像、治疗前后病理全切片扫描图像、临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果；
对所述治疗前后CT图像和所述治疗前后病理全切片扫描图像进行特征提取处理，得到图像数据特征；
对所述人临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果进行标注处理，得到表格数据特征；
将所述图像数据特征与所述表格数据特征进行特征融合并构建多模态融合模型；
基于所述多模态融合模型预测肿瘤患者的治疗效果。
所述基于多模态融合模型的治疗效果预测方法，其中，还包括步骤：
对肿瘤患者进行筛选，筛选纳入标准为：经组织病理学和影像学检查证实为肿瘤患者；术前接受2-3周期的PD-1/PD-L1新辅助治疗；新辅助治疗前进行经CT引导穿刺活检、基因突变检测、胸部CT扫描、肝肾功能检测；2-3周期新辅助治疗后，术前进行胸部CT扫描、肝肾功能检查；接受手术治疗。
所述基于多模态融合模型的治疗效果预测方法，其中，对所述治疗前后CT图像进行特征提取处理前还包括步骤：
将所述治疗前后CT图像导入ITK-SNAP软件中，逐层勾画肿瘤轮廓，同时进行不同组织结构、区域的标注，并通过人工定义图像特征来注释肿瘤表型。
所述基于多模态融合模型的治疗效果预测方法，其中，对所述治疗前后病理全切片扫描图像进行特征提取处理之前还包括步骤：
通过人工勾画出所述治疗前后病理全切片扫描图像的肿瘤区，并切割成小块保存。
所述基于多模态融合模型的治疗效果预测方法，其中，采用嵌套式10-fold交叉验证、Cox比例风险模型联合最小绝对收缩和选择算子算法对所述治疗前后CT图像和所述治疗前后病理全切片扫描图像进行特征提取处理，得到与新辅助免疫治疗疗效最相关的图像数据特征。
所述基于多模态融合模型的治疗效果预测方法，其中，对所述临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果进行标注处理，得到表格数据特征的步骤包括：
对临床基本特征进行标注处理包括：将女性肿瘤患者标记为0，男性肿瘤患者标记为1；吸烟量大于400支/日*年记为0，吸烟量小于或等于400支/日*年记为1，从未吸烟记为2；
对治疗前后全基因组测序信息进行标注处理包括：肿瘤患者基因表达数据中的5000多个基因适用于所有患者，在RNAseq表达方面，取前500个变异最大的基因被挑选出来作为基因组特征载体；
对治疗前后临床检验结果进行标注处理包括：肿瘤患者治疗前后的癌胚抗原，糖类抗原125及糖类抗原153为异常水平时记为0，为正常水平时记为1；肝、肾功能，电解质水平临床检验类指标为异常水平时记为0，为正常水平时记为1。
所述基于多模态融合模型的治疗效果预测方法，其中，将所述图像数据特征与所述表格数据特征进行特征融合并构建多模态融合模型的步骤中，所述多模态融合模型包括池化下采样模块、池化上采样模块以及包含多层卷积单元的U-Net模块。
一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明所述基于多模态融合模型的治疗效果预测方法的步骤。
一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述通信总线实现处理器和存储器之间的连接通信；所述处理器执行所述计算机可读程序时实现如本发明所述基于多模态融合模型的治疗效果预测方法的步骤。
有益效果：本发明结合电子计算机断层扫描图像、病理全切片扫描图像、临床基本特征、全基因组测序信息以及临床检验结果等多模态信息，构建人工智能模型(多模态融合模型)，预测新辅助免疫治疗的有效性结果；本发明基于多模态融合模型预期得到比单一模态更准确的预测结果，可以比以往单模态提高准确率3％，具有直接临床指导意义，给患者带来个体化精准治疗方案。
附图说明
图1为本发明一种基于多模态融合模型的治疗效果预测方法较佳实施例的流程图。
图2为本发明实施例中筛选的100例肿瘤患者的临床特征示意图。
图3为本发明实施例中得到的CT图像分割图。
图4为本发明实施例中得到的40X病理全切片扫描切割示意图。
图5为本发明构建多模态融合模型的原理示意图。
图6为本发明为U-Net网络构建方案示意图。
图7为本发明实施例中对多模态融合模型进行调试的示意图。
图8为本发明一种终端设备的原理框图。
具体实施方式
本发明提供一种基于多模态融合模型的治疗效果预测方法及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
目前已有的人工智能技术与医疗结合，往往采用单一病理、CT影像、基因组学数据进行机器学习，且多用于辅助诊断，而少有用于疗效及预后预测方面。
基于此，本发明提供了一种基于多模态融合模型的治疗效果预测方法，如图1所示，其包括步骤：
S10、获取肿瘤患者的治疗前后CT图像、治疗前后病理全切片扫描图像、临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果；
S20、对所述治疗前后CT图像和所述治疗前后病理全切片扫描图像进行特征提取处理，得到图像数据特征；
S30、对所述人临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果进行标注处理，得到表格数据特征；
S40、将所述图像数据特征与所述表格数据特征进行特征融合并构建多模态融合模型；
S50、基于所述多模态融合模型预测肿瘤患者的治疗效果。
本发明结合电子计算机断层扫描图像(CT图像)、病理全切片扫描图像、临床基本特征、全基因组测序信息以及临床检验结果等多模态信息，构建人工智能模型(多模态融合模型)，预测新辅助免疫治疗的有效性结果；本发明基于多模态融合模型预期得到比单一模态更准确的预测结果，具有直接临床指导意义，给患者带来个体化精准治疗方案。
本实施例提供的基于多模态融合模型的治疗效果预测方法可适用于各种肿瘤的治疗效果预测，所述肿瘤包括肺癌、胃癌、肝癌、肠道癌等，但不限于此。
下面以Ⅲ期非小细胞型肺癌(NSCLC)患者为例对本发明一种基于多模态融合模型的治疗效果预测方法作进一步的解释说明：
实施例1
本实施例构建多模态融合模型的纳入对象为2019年2月之后就诊于广州医科大学附属第一医院的IIB至IV期NSCLC患者，对上述肿瘤患者进行筛选，筛选纳入标准为：经组织病理学和影像学检查证实为肿瘤患者；术前接受2-3周期的PD-1/PD-L1新辅助治疗；新辅助治疗前进行经CT引导穿刺活检、基因突变检测、胸部CT扫描、肝肾功能检测；2-3周期新辅助治疗后，术前进行胸部CT扫描、肝肾功能检查；接受手术治疗。基于上述筛选纳入标注，最后筛选得到如图2所示的100例NSCLC患者。
本实施例中，设定肿瘤患者的CT扫描参数如下，管电压:100-140kV；管电流:149-752mACT扫描层厚:1.0-5.0mm。随后下载DICOM格式的CT图像，并导入ITK-SNAP软件中，逐层勾画肿瘤轮廓，同时进行不同组织结构、区域的标注，结果如图3所示；接着通过人工定义多个意义明确的定量图像特征来注释肿瘤表型，其中包括肿瘤形态特征、肿瘤纹理特征、肿瘤边界特征和肿瘤强度特征，对比治疗前后特征变化。
在本实施例中，根据所搜集患者信息，查询病理号，利用3D HISTECH Pannoeamic全自动数字切片扫描系统，获得对应治疗前后病理组织40X全切片扫描图像。对所述治疗前后病理全切片扫描图像进行特征提取处理之前还包括步骤：通过人工勾画出所述治疗前后病理全切片扫描图像的肿瘤区，并切割成小块保存，结果如图4所示。
本实施例依据Manderd标准，对原发肿瘤进行肿瘤退缩分级(TRG)评估，其中，TRG1表示无肿瘤细胞残留；TRG 2表示肿瘤消退明显，仅散布在单个肿瘤细胞或小巢状肿瘤中；TRG 3表示具有明显纤维坏死的肿瘤组织占50％以上；TRG 4表示肿瘤轻度消退，残余肿瘤细胞超过纤维坏死的炎症区域；TRG 5表示肿瘤没有消退，也没有任何改变，将TRG 1-2级分为新辅助治疗疗效良好组，并记为0，TRG 3-5级分为新辅助治疗抵抗组，记为1。本实施例中，NSCLC肿瘤分期中，IV期记为0，IIIB期记为1，IIIA期记为2，IIB期记为3。
在本实施例中，采用嵌套式10-fold交叉验证、Cox比例风险模型联合最小绝对收缩和选择算子算法(least absolute shrinkage and selection operator，LASSO)对所述治疗前后CT图像和所述治疗前后病理全切片扫描图像进行特征提取处理，得到与新辅助免疫治疗疗效最相关的图像数据特征。具体来讲，嵌套式10-fold交叉验证的目的是为了获得对智能图像标志物更加泛化及可靠的评估，每一轮训练时，随机选择90％的患者作为训练集，其余10％留作测试集(第一层交又验证)。为避免过度拟合，将Cox比例风险模型与LASSO算法结合筛选与TTF最相关的图像特征[特征筛选严格限于训练集(90％的患者)中]。
本实施例中，LASSO是高通量预测因素回归分析常用的一种方法，该方法对系数的绝对值而非系数的平方进行惩罚，也称之为L1惩罚。这种惩罚方式约束各参数回归系数的绝对值之和小于等于一个常数λ，使Log()达到最大从而产生一系列等于0的回归系数，最终筛选出与结局最为相关的参数。该算法的主要挑战在于如何确定最优常数，本实施例采用交叉验证法确定的最佳值(第二层交叉验证)，其标准是选择最小偏似然离差一倍标准误差(standard error，SE)以内的最大λ值。第二层交验证的过程重复100次，并计算一致性指数(concordance index，C-index)和布菜尔分数(integrated brier scores，IBS)评估模型性能。整轮嵌套式10-fold交叉验证同样运行100轮(第一层交叉验证)，通过10000(100×100)次的运算过程，最终筛选出与新辅助免疫治疗疗效最相关的图像特征。
在本实施例中，对所述临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果进行标注处理，得到表格数据特征的步骤包括：
对临床基本特征进行标注处理包括：将女性肿瘤患者标记为0，男性肿瘤患者标记为1；吸烟量大于400支/日*年记为0，吸烟量小于或等于400支/日*年记为1，从未吸烟记为2；
对治疗前后全基因组测序信息进行标注处理包括：肿瘤患者基因表达数据中的5000多个基因适用于所有患者，在RNAseq表达方面，取前500个变异最大的基因被挑选出来作为基因组特征载体；
对治疗前后临床检验结果进行标注处理包括：肿瘤患者治疗前后的癌胚抗原，糖类抗原125及糖类抗原153为异常水平时记为0，为正常水平时记为1；肝、肾功能，电解质水平临床检验类指标为异常水平时记为0，为正常水平时记为1。
在本实施例中，如图5和图6所示，本实施例使用预训练的深度神经网络提取图像数据特征，使用提升树模型提取表格数据特征，最后使用两个全连接层连接图像数据特征和表格数据特征，从而实现图像数据特征与表格数据特征的融合，形成模态融合模型，其中，所述多模态融合模型包括池化下采样模块、池化上采样模块以及包含多层卷积单元的U-Net模块。
在本实施例中，基于所述多模态融合模型预测肿瘤患者的治疗效果。具体来讲，将待预测肿瘤患者的治疗前后CT图像、治疗前后病理全切片扫描图像、临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果均输入所述多模态融合模型中，所述多模态融合模型分析后输出预测结果，预测结果包括疗效良好和治疗抵抗两种。
本实施例结合电子计算机断层扫描图像、病理全切片扫描图像、临床基本特征、全基因组测序信息以及临床检验结果等多模态信息，构建人工智能模型(多模态融合模型)，预测新辅助免疫治疗的有效性结果；本发明基于多模态融合模型预期得到比单一模态更准确的预测结果，具有直接临床指导意义，给患者带来个体化精准治疗方案。
在一些实施方式中，在构建所述多模态融合模型后，还可通过如图7所示的方法对所述多模态融合模型进行调试，提升所述多模态融合模型的预测准确性。将验证数据集(测试数据集)输入多模态融合模型中，输出预测结果(良好或抵抗)，然后通过实际疗效对预测结果进行比较判定，若结果不一致，则对所述多模态融合模型进行参数修订，提升所述多模态融合模型的测试准确率。
在一些实施方式中，还提供一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明所述基于多模态融合模型的治疗效果预测方法的步骤。
本申请还提供了一种终端设备，如图8所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中基于多模态融合模型的治疗效果预测方法的步骤。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种基于多模态融合模型的治疗效果预测方法，其特征在于，包括步骤：
获取肿瘤患者的治疗前后CT图像、治疗前后病理全切片扫描图像、临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果；
对所述治疗前后CT图像和所述治疗前后病理全切片扫描图像进行特征提取处理，得到图像数据特征；
对所述临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果进行标注处理，得到表格数据特征；
将所述图像数据特征与所述表格数据特征进行特征融合并构建多模态融合模型；
基于所述多模态融合模型预测肿瘤患者的治疗效果。
2.根据权利要求1所述基于多模态融合模型的治疗效果预测方法，其特征在于，还包括步骤：
对肿瘤患者进行筛选，筛选纳入标准为：经组织病理学和影像学检查证实为肿瘤患者；术前接受2-3周期的PD-1/PD-L1新辅助治疗；新辅助治疗前进行经CT引导穿刺活检、基因突变检测、胸部CT扫描、肝肾功能检测；2-3周期新辅助治疗后，术前进行胸部CT扫描、肝肾功能检查；接受手术治疗。
3.根据权利要求1所述基于多模态融合模型的治疗效果预测方法，其特征在于，对所述治疗前后CT图像进行特征提取处理前还包括步骤：
将所述治疗前后CT图像导入ITK-SNAP软件中，逐层勾画肿瘤轮廓，同时进行不同组织结构、区域的标注，并通过人工定义图像特征来注释肿瘤表型。
4.根据权利要求1所述基于多模态融合模型的治疗效果预测方法，其特征在于，对所述治疗前后病理全切片扫描图像进行特征提取处理之前还包括步骤：
通过人工勾画出所述治疗前后病理全切片扫描图像的肿瘤区，并切割成小块保存。
5.根据权利要求1所述基于多模态融合模型的治疗效果预测方法，其特征在于，采用嵌套式10-fold交叉验证、Cox比例风险模型联合最小绝对收缩和选择算子算法对所述治疗前后CT图像和所述治疗前后病理全切片扫描图像进行特征提取处理，得到与新辅助免疫治疗疗效最相关的图像数据特征。
6.根据权利要求1所述基于多模态融合模型的治疗效果预测方法，其特征在于，对所述临床基本特征、治疗前后全基因组测序信息以及治疗前后临床检验结果进行标注处理，得到表格数据特征的步骤包括：
对临床基本特征进行标注处理包括：将女性肿瘤患者标记为0，男性肿瘤患者标记为1；吸烟量大于400支/日*年记为0，吸烟量小于或等于400支/日*年记为1，从未吸烟记为2；
对治疗前后全基因组测序信息进行标注处理包括：肿瘤患者基因表达数据中的5000多个基因适用于所有患者，在RNAseq表达方面，取前500个变异最大的基因被挑选出来作为基因组特征载体；
对治疗前后临床检验结果进行标注处理包括：肿瘤患者治疗前后的癌胚抗原，糖类抗原125及糖类抗原153为异常水平时记为0，为正常水平时记为1；肝、肾功能，电解质水平临床检验类指标为异常水平时记为0，为正常水平时记为1。
7.根据权利要求1所述基于多模态融合模型的治疗效果预测方法，其特征在于，将所述图像数据特征与所述表格数据特征进行特征融合并构建多模态融合模型的步骤中，所述多模态融合模型包括池化下采样模块、池化上采样模块以及包含多层卷积单元的U-Net模块。
8.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任一所述基于多模态融合模型的治疗效果预测方法的步骤。
9.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述通信总线实现处理器和存储器之间的连接通信；所述处理器执行所述计算机可读程序时实现如权利要求1-7任一所述基于多模态融合模型的治疗效果预测方法的步骤。
CN202111336943.8A 2021-11-12 2021-11-12 一种基于多模态融合模型的治疗效果预测方法及终端设备 Active CN115036002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111336943.8A CN115036002B (zh) 2021-11-12 2021-11-12 一种基于多模态融合模型的治疗效果预测方法及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111336943.8A CN115036002B (zh) 2021-11-12 2021-11-12 一种基于多模态融合模型的治疗效果预测方法及终端设备

Publications (2)

Publication Number Publication Date
CN115036002A true CN115036002A (zh) 2022-09-09
CN115036002B CN115036002B (zh) 2023-07-18

Family

ID=83118120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111336943.8A Active CN115036002B (zh) 2021-11-12 2021-11-12 一种基于多模态融合模型的治疗效果预测方法及终端设备

Country Status (1)

Country Link
CN (1) CN115036002B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115274119A (zh) * 2022-09-30 2022-11-01 中国医学科学院北京协和医院 一种融合多影像组学特征的免疫治疗预测模型的构建方法
CN115295154A (zh) * 2022-10-08 2022-11-04 北京肿瘤医院(北京大学肿瘤医院) 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质
CN115541579A (zh) * 2022-10-09 2022-12-30 广州医科大学附属第一医院（广州呼吸中心） 在肿瘤切片中Ki-67阳性肿瘤细胞比例的分析方法及装置
CN116721772A (zh) * 2023-08-10 2023-09-08 北京市肿瘤防治研究所 肿瘤治疗预后预测方法、装置、电子设备及存储介质
CN117079801A (zh) * 2023-08-17 2023-11-17 中山大学附属第六医院 一种结直肠癌的预后风险预测系统
CN117524501A (zh) * 2024-01-04 2024-02-06 长春职业技术学院 基于特征挖掘的多模态医学数据分析系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915596A (zh) * 2020-08-07 2020-11-10 杭州深睿博联科技有限公司 一种肺结节良恶性预测方法及装置
CN112164448A (zh) * 2020-09-25 2021-01-01 上海市胸科医院 免疫治疗疗效预测模型训练方法、预测系统及方法和介质
CN112768072A (zh) * 2021-01-12 2021-05-07 哈尔滨医科大学 基于影像组学定性算法构建癌症临床指标评估系统
WO2021108043A1 (en) * 2019-11-27 2021-06-03 University Of Cincinnati Assessing treatment response with estimated number of tumor cells

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021108043A1 (en) * 2019-11-27 2021-06-03 University Of Cincinnati Assessing treatment response with estimated number of tumor cells
CN111915596A (zh) * 2020-08-07 2020-11-10 杭州深睿博联科技有限公司 一种肺结节良恶性预测方法及装置
CN112164448A (zh) * 2020-09-25 2021-01-01 上海市胸科医院 免疫治疗疗效预测模型训练方法、预测系统及方法和介质
CN112768072A (zh) * 2021-01-12 2021-05-07 哈尔滨医科大学 基于影像组学定性算法构建癌症临床指标评估系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙冬冬: ""基于多模态数据融合的乳腺癌生存期预测研究"", 《博士学位论文全文数据库》, 15 October 2018 (2018-10-15), pages 27 - 78 *
陆劲松，徐兵河主编, 中华医学电子音像出版社 *
陆劲松，徐兵河主编, 中华医学电子音像出版社, pages: 39 - 40 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115274119A (zh) * 2022-09-30 2022-11-01 中国医学科学院北京协和医院 一种融合多影像组学特征的免疫治疗预测模型的构建方法
CN115295154A (zh) * 2022-10-08 2022-11-04 北京肿瘤医院(北京大学肿瘤医院) 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质
CN115295154B (zh) * 2022-10-08 2023-02-03 北京肿瘤医院(北京大学肿瘤医院) 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质
CN115541579A (zh) * 2022-10-09 2022-12-30 广州医科大学附属第一医院（广州呼吸中心） 在肿瘤切片中Ki-67阳性肿瘤细胞比例的分析方法及装置
CN115541579B (zh) * 2022-10-09 2023-07-07 广州医科大学附属第一医院（广州呼吸中心） 非诊断和治疗目的的在肿瘤切片中Ki-67阳性肿瘤细胞比例的分析方法及装置
CN116721772A (zh) * 2023-08-10 2023-09-08 北京市肿瘤防治研究所 肿瘤治疗预后预测方法、装置、电子设备及存储介质
CN116721772B (zh) * 2023-08-10 2023-10-20 北京市肿瘤防治研究所 肿瘤治疗预后预测方法、装置、电子设备及存储介质
CN117079801A (zh) * 2023-08-17 2023-11-17 中山大学附属第六医院 一种结直肠癌的预后风险预测系统
CN117079801B (zh) * 2023-08-17 2024-04-19 中山大学附属第六医院 一种结直肠癌的预后风险预测系统
CN117524501A (zh) * 2024-01-04 2024-02-06 长春职业技术学院 基于特征挖掘的多模态医学数据分析系统及方法
CN117524501B (zh) * 2024-01-04 2024-03-19 长春职业技术学院 基于特征挖掘的多模态医学数据分析系统及方法

Also Published As

Publication number Publication date
CN115036002B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN115036002A (zh) 一种基于多模态融合模型的治疗效果预测方法及终端设备
US7606405B2 (en) Dynamic tumor diagnostic and treatment system
CN112768072B (zh) 基于影像组学定性算法构建癌症临床指标评估系统
CN111292839B (zh) 图像处理方法、装置、计算机设备和存储介质
Jin et al. Evaluating explainable AI on a multi-modal medical imaging task: Can existing algorithms fulfill clinical requirements?
CN108428233B (zh) 基于知识的自动图像分割
CN113610845B (zh) 肿瘤局部控制预测模型的构建方法、预测方法及电子设备
JP2023507109A (ja) 医用画像による自動化された腫瘍識別およびセグメンテーション
JP2013537445A (ja) 内科医が直接用いるのに適応したビジュアライゼーション
Wardhana et al. Toward reliable automatic liver and tumor segmentation using convolutional neural network based on 2.5 D models
EP3836157A1 (en) Method for obtaining disease-related clinical information
CN110246109A (zh) 融合ct影像和个性化信息的分析系统、方法、装置及介质
CN110175978A (zh) 一种肝癌影像组学数据处理方法、系统、装置和存储介质
WO2006119340A2 (en) Dynamic tumor diagnostic and treatment system
CN116597985A (zh) 生存率预测模型训练方法、生存期预测方法及装置、设备
Li et al. A novel radiogenomics framework for genomic and image feature correlation using deep learning
CN113077875B (zh) Ct影像的处理方法及装置
CN110049715B (zh) 用于可视化患者的内脏的设备及相关联的可视化方法
Saeed et al. MGMT promoter methylation status prediction using MRI scans? An extensive experimental evaluation of deep learning models
CN110992312B (zh) 医学图像处理方法、装置、存储介质及计算机设备
CN112447304A (zh) 判断传染疾病发展的视觉检测方法及装置
CN115274119B (zh) 一种融合多影像组学特征的免疫治疗预测模型的构建方法
WO2023232762A1 (en) Machine learning predictive models of treatment response
CN115440383B (zh) 用于预测晚期癌症患者pd-1/pd-l1单抗治疗疗效的系统
Lee et al. Neural network application for assessing thyroid-associated orbitopathy activity using orbital computed tomography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant