CN115223715A - 一种基于多模态信息融合的癌症预测方法与系统 - Google Patents

一种基于多模态信息融合的癌症预测方法与系统 Download PDF

Info

Publication number
CN115223715A
CN115223715A CN202210833903.2A CN202210833903A CN115223715A CN 115223715 A CN115223715 A CN 115223715A CN 202210833903 A CN202210833903 A CN 202210833903A CN 115223715 A CN115223715 A CN 115223715A
Authority
CN
China
Prior art keywords
modal
data
prediction
fusion
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210833903.2A
Other languages
English (en)
Inventor
许峥
王剑仲
许娟
弓孟春
史文钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digital Health China Technologies Co Ltd
Original Assignee
Digital Health China Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digital Health China Technologies Co Ltd filed Critical Digital Health China Technologies Co Ltd
Priority to CN202210833903.2A priority Critical patent/CN115223715A/zh
Publication of CN115223715A publication Critical patent/CN115223715A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Processing (AREA)

Abstract

本申请提出一种基于多模态信息融合的癌症预测方法与系统，其中方法包括：获取任意两种或两种以上的多模态信息；针对所述任意两种或两种以上的多模态信息，分别提取对应的特征；将所述特征在时间域上对齐；将对齐后的特征融合在动态的多模态图网络中，进行多模态表征交互与融合后，输出总表征向量；选择评价结果最高的对应预测算法作为最终预测算法，对应的癌症预测结果为最终的癌症预测结果。所述系统包括：数据获取模块、特征提取模块、多模态融合模块、算法预测模块、参数评价模块。本申请实现了CT影像、病理信息、临床信息以及基因数据的多模态信息融合，并且提高了术后癌症预测的准确性。

Description

一种基于多模态信息融合的癌症预测方法与系统
技术领域
本申请属于医疗信息处理领域，具体涉及一种基于多模态信息融合的癌症预测方法与系统。
背景技术
现有技术中，有关癌症术后疗效预测方法，一般需要针对癌症患者，会采集患者术后的CT影像，病理切片，基因，临床信息等多模态数据，病理切片数据一般作为金标准来判断术后治疗效果，但由于其是活体组织采集，需要侵入人体，会对病人造成比较大的创伤。若将CT影像，临床信息以及基因数据为输入，并预测术后疗效结果准确，将可以省去侵入式的病理组织采集步骤，提升病人的治疗舒适度。
发明内容
基于以上技术问题，本申请提出一种基于多模态信息融合的癌症预测方法与系统。
第一方面，本申请提出一种基于多模态信息融合的癌症预测方法，包括如下步骤：
获取任意两种或两种以上的多模态信息；
针对所述任意两种或两种以上的多模态信息，分别提取对应的特征；
将所述特征在时间域上对齐；
将对齐后的特征融合在动态的多模态图网络中，进行多模态表征交互与融合后，输出总表征向量；
将所述总表征向量输入多模态记忆状态，得到多模态记忆状态的最终输出状态；
将所述总表征向量更新长短期记忆网络中的下一个时间序列数据，得到长短记忆网络的输出；
结合所述长短记忆网络的输出与多模态记忆状态的最终输出状态，采用不同的预测算法进行分类预测，得到癌症预测结果集合；
选择评价参数，对所采用的预测算法进行评价，得到评价结果；
选择评价结果最高的对应预测算法作为最终预测算法，对应的癌症预测结果为最终的癌症预测结果。
所述多模态信息包括：影像组学数据、病理组学数据、基因组学数据、临床文本数据；
所述影像组学数据为反映病灶部位的CT影像；
所述病理组学数据为反映病灶部位的病理切片图像；
所述基因组学数据为反映病灶部位的基因测序数据；
所述临床文本数据为反映病灶的文字数据。
所述对应的特征包括：影像组学特征，提取过程如下：针对反映病灶部位的CT影像，采用基于transformer的nn-UNet模型提取影像组学特征和深度组学特征。
所述对应的特征包括：影像组学特征，为能够反映医学图像的病灶部位的信息的特征数据，包括：直方图特征、形态学特征、共生矩阵特征、游程矩阵特征、灰度连通大小矩阵特征、基于梯度图的特征。
所述对应的特征包括：所述病理组学特征，其提取过程如下：
针对病灶部位的历史病理切片图像进行数据标注；
基于数据标注的结果对病灶部位的病理切片图像中组织区域进行识别，识别结果为癌症区域以及正常组织区域；
分别从所述癌症区域以及正常组织区域提取用于训练的小图数据集；
将所述小图数据集输入到深度卷积神经网络模型，得到深度卷积神经网络输出；
针对深度卷积神经网络输出，分别对病理切片图像中的癌症区域以及正常组织区域做概率热图；
针对所述概率热图，对需要提取特征的病理切片图像进行分类，得到病理切片分类结果。
所述数据标注包括如下信息：癌区信息、肿瘤微环境、细胞核密度信息以及细胞核面积信息。
所述对应的特征包括：基因组学特征，其提取过程步骤如下：
针对基因组学数据进行基因组学分析；
根据筛选条件逐个对基因组学分析结果进行过滤；
针对过滤后的基因组学分析结果进行行列转换，同时针对过滤后的基因组学分析结果中的突变信息转换为1或0，得到转换后的基因组学分析结果；
将转换后的基因组学分析结果合并成一个文本文件，每一行代表一个病人或者一次检查，每一列代表某个基因的某个基因组学分析下存在特征值。
所述对应的特征包括：所述临床文本向量，提取过程如下：采用BERT模型对临床文本数据的每个单词进行向量化，得到临床文本向量。
所述动态的多模态图网络，包含三类节点，即单模态向量，两模态向量，三模态向量，所述单模态向量，两模态向量以及三模态向量之间具有包含和被包含的关系，所有的节点均与动态的多模态图网络的总输出相关联，将各节点连接构建动态的多模态图网络，所述动态的多模态图网络中每个边关系上隐含着一个权重参数，代表节点之间关系的强弱性。
所述不同的预测算法，包括：逻辑回归、随机森林、Xgboost、LightGBM、Adaboost、SVM、决策树、K最近邻、朴素贝叶斯、GBDT、GBDT回归、线性回归、KNN回归、随机森林回归、Xgboost回归、LASSO回归、SVM回归。
所述评价参数用于评价不同的预测算法对应模型的性能，包括：准确率、精确率、召回率、F1_score，混淆矩阵，ROC曲线。
第二方面，本申请提出一种基于多模态信息融合的癌症预测系统，包括：数据获取模块、特征提取模块、多模态融合模块、算法预测模块、参数评价模块；
所述数据获取模块、特征提取模块、多模态融合模块、算法预测模块、参数评价模块依次顺序相连接；
所述数据获取模块用于获取任意两种或两种以上的多模态信息；
所述特征提取模块用于针对所述任意两种或两种以上的多模态信息，分别提取对应的特征；
所述多模态融合模块用于将所述特征在时间域上对齐；将对齐后的特征融合在动态的多模态图网络中，进行多模态表征交互与融合后，输出总表征向量；将所述总表征向量输入多模态记忆状态，得到多模态记忆状态的最终输出状态；将所述总表征向量更新长短期记忆网络中的下一个时间序列数据，得到长短记忆网络的输出；
所述算法预测模块用于结合所述长短记忆网络的输出与多模态记忆状态的最终输出状态，采用不同的预测算法进行分类预测，得到癌症预测结果集合；
所述参数评价模块用于选择评价参数，对所采用的预测算法进行评价，得到评价结果；选择评价结果最高的对应预测算法作为最终预测算法，对应的癌症预测结果为最终的癌症预测结果。
所述特征提取模块包括：影像组学特征提取单元、病理组学特征提取单元、基因组学特征提取单元以及临床文本数据特征提取单元；
所述影像组学特征提取单元用于提取反映病灶部位的CT影像的特征；
所述病理组学特征提取单元用于提取反映病灶部位的病理切片图像的特征；
所述基因组学特征提取单元用于提取反映病灶部位的基因测序数据的特征
所述临床文本数据特征提取单元用于提取反映病灶的文字数据的临床文本向量。
所述影像组学特征提取单元包括：针对反映病灶部位的CT影像，采用基于transformer的nn-UNet模型提取影像组学特征和深度组学特征。
所述病理组学特征提取单元，包括：数据标注子单元、识别子单元、小图数据集提取子单元、神经元网络子单元、概率热图获取单元、分类结果获取单元；
所述数据标注子单元、识别子单元、小图数据集提取子单元、神经元网络子单元、概率热图获取单元、分类结果获取单元依次顺序相连接；
所述数据标注子单元用于针对病灶部位的历史病理切片图像进行数据标注；
所述识别子单元用于基于数据标注的结果对病灶部位的病理切片图像中组织区域进行识别，识别结果为癌症区域以及正常组织区域；
所述小图数据集提取子单元用于分别从所述癌症区域以及正常组织区域提取用于训练的小图数据集；
所述神经元网络子单元用于将所述小图数据集输入到深度卷积神经网络模型，得到深度卷积神经网络输出；
所述概率热图获取单元用于针对深度卷积神经网络输出，分别对病理切片图像中的癌症区域以及正常组织区域做概率热图；
所述分类结果获取单元用于针对所述概率热图，对需要提取特征的病理切片图像进行分类，得到病理切片分类结果。
所述基因组学特征提取单元，包括：分析子单元、过滤子单元、转换子单元、合并子单元；
所述分析子单元、过滤子单元、转换子单元、合并子单元依次顺序相连接；
所述分析子单元用于针对基因组学数据进行基因组学分析；
所述过滤子单元用于根据筛选条件逐个对基因组学分析结果进行过滤；
所述转换子单元用于针对过滤后的基因组学分析结果进行行列转换，同时针对过滤后的基因组学分析结果中的突变信息转换为1或0，得到转换后的基因组学分析结果；
所述合并子单元用于将转换后的基因组学分析结果合并成一个文本文件，每一行代表一个病人或者一次检查，每一列代表某个基因的某个基因组学分析下存在特征值。
第三方面，本申请提出一种计算机装置，计算机装置包括：处理器；
所述处理器用于执行存储器中存储的计算机程序时实现权利所述基于多模态信息融合的癌症预测方法的步骤。
第四方面，本申请提出一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现所述基于多模态信息融合的癌症预测方法的步骤。
有益技术效果：
本申请提出一种基于多模态信息融合的癌症预测方法与系统，本申请实现了CT影像、病理信息临床信息以及基因数据的多模态信息融合，并且提高了术后癌症预测的准确性。
附图说明
图1为本申请实施例的一种基于多模态信息融合的癌症预测方法流程图；
图2为本申请实施例的一种基于多模态信息融合的癌症预测系统原理图。
图3为本申请实施例的单模态、两模态、三模态示意图；
图4为本申请实施例的动态多模态融具体实现过程示意图。
具体实施方式
下面结合附图对本申请作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本申请的保护范围。
一般来说，模态是指事物发生或存在的方式，多模态是指两个或者两个以上的模态的各种形式的组合。对每一种信息的来源或者形式，都可以称为一种模态，目前研究领域中主要是对图像，文本，语音三种模态的处理。之所以要对模态进行融合，是因为不同模态的表现方式不一样，看待事物的角度也会不一样，如果能合理的处理多模态信息，就能得到丰富特征信息。对于本申请来说得到多模态融合的信息更加有助于提高术后癌症预测的准确性，免去了患者需要进行活体组织采集病理切片的痛苦。本申请的创造性为：与现有技术将图像，文本，语音作为输入不同，本申请将CT影像，临床信息以及基因数据作为输入，进行多模态融合，采用记忆融合网络(Memory Fusion Network),一种可以同时捕捉时序上和模态间的交互的网络结构，以得到更好的多视图融合。本申请提高了术后癌症预测的准确性。
第一方面，本申请提出一种基于多模态信息融合的癌症预测方法，如图1所示包括如下步骤：
步骤S1：获取任意两种或两种以上的多模态信息；
所述多模态信息包括：影像组学数据、病理组学数据、基因组学数据以及临床文本数据。
步骤S2：针对所述任意两种或两种以上的多模态信息，分别提取对应的特征；
步骤S3：将所述特征在时间域上对齐；
步骤S4：将对齐后的特征融合在动态的多模态图网络中，进行多模态表征交互与融合后，输出总表征向量；
步骤S5：将所述总表征向量输入多模态记忆状态，得到多模态记忆状态的最终输出状态；
步骤S6：将所述总表征向量更新长短期记忆网络中的下一个时间序列数据，得到长短记忆网络的输出；
步骤S7：结合所述长短记忆网络的输出与多模态记忆状态的最终输出状态，采用不同的预测算法进行分类预测，得到癌症预测结果集合；
步骤S8：选择评价参数，对所采用的预测算法进行评价，得到评价结果；
步骤S9：选择评价结果最高的对应预测算法作为最终预测算法，对应的癌症预测结果为最终的癌症预测结果。
在步骤S1中，所述多模态信息包括：影像组学数据、病理组学数据、基因组学数据、临床文本数据。所述影像组学数据为反映病灶部位的CT影像；所述病理组学数据为反映病灶部位的病理切片图像；所述基因组学数据为反映病灶部位的基因测序数据；所述临床文本数据为反映病灶的文字数据。
在步骤S2中，所述对应的特征包括：影像组学特征，提取过程如下：针对反映病灶部位的CT影像，采用基于transformer的nn-UNet模型(no-new-UNet，基于U-Net的医学图像分割模型)提取影像组学特征和深度组学特征。其中，深度组学特征是在特定网络结构里进行卷积的特征提取，深度网络通过神经网络提取不同阶段的深度特征。影像组学是针对影像的原始文件进行特征提取，基于模型进行病灶分割，通过影像组学提取方法进行组学提取。
所述对应的特征包括：所述影像组学特征，为能够反映医学图像的病灶部位的信息的特征数据，包括：直方图特征、形态学特征、共生矩阵特征、游程矩阵特征、灰度连通大小矩阵特征、基于梯度图的特征。
所述病理组学特征，其提取过程如下：
针对病灶部位的历史病理切片图像进行数据标注；
基于数据标注的结果对病灶部位的病理切片图像中组织区域进行识别，识别结果为癌症区域以及正常组织区域；
分别从所述癌症区域以及正常组织区域提取用于训练的小图数据集；
将所述小图数据集输入到深度卷积神经网络模型，得到深度卷积神经网络输出；
针对深度卷积神经网络输出，分别对病理切片图像中的癌症区域以及正常组织区域做概率热图；
针对所述概率热图，对需要提取特的病理切片图像进行分类，得到病理切片分类结果。
所述数据标注包括如下信息：癌区信息、肿瘤微环境、细胞核密度信息以及细胞核面积信息。
所述对应的特征包括：基因组学特征，其提取过程步骤如下：
针对基因组学数据进行基因组学分析；本实施例采用分子生物学的中心法则进行基因组学分析，属于本领域技术人员常规技术方案。
根据筛选条件逐个对基因组学分析结果进行过滤；
针对过滤后的基因组学分析结果进行行列转换，同时针对过滤后的基因组学分析结果中的突变信息转换为1或0，得到转换后的基因组学分析结果；过滤后的基因组学分析结果有时为列向量有时为行向量，采用所述行行列转换即为转换为统一的向量形式。
将转换后的基因组学分析结果合并成一个文本文件，每一行代表一个病人或者一次检查，每一列代表某个基因的某个基因组学分析下存在特征值。首先利用生信分析流程对患者的基因测序数据进行分析，采用基因组与转录组，发掘出突变位点及表达差异的基因，然后根据疾病相关的基因集过滤掉无关基因，最后将患者的各种基因组学数据进行汇总，得到该患者的基因特征数据。
所述对应的特征包括：临床文本向量，提取过程如下：采用BERT模型对临床文本数据的每个单词进行向量化，得到临床文本向量。
在步骤S4中，所述动态的多模态图网络，如图3所示，包含三类节点，即单模态向量，两模态向量，三模态向量，所述单模态向量，两模态向量以及三模态向量之间具有包含和被包含的关系，所有的节点均与动态的多模态图网络的总输出相关联，将各节点连接构建动态的多模态图网络，所述动态的多模态图网络中每个边关系上隐含着一个权重参数，代表节点之间关系的强弱性。详细过程如下：
假设多模态输入M设置为M＝{l,v,a},单模态向量分别为l、v、a，两模态向量分别为{l,v}，{v,a}，{l,a}，三模态向量为{l,v,a}。将如上所述的向量用一张图表示G＝(V，E)，其中V为如上所述的一系列的向量，E为向量之间的边。在每两个向量vi与vj之间建立定向的神经链接，如果vi包含于vj例如，{l}包含于{l,v}，它们之间的定向的神经链接为eij，Dj用于表示所有vi与vj之间建立定向的神经链接。
本申请采用记忆融合网络(Memory Fusion Network),一种可以同时捕捉时序上和模态间的交互的网络结构，以得到更好的多视图融合。用记忆模块的目的是能保存上一时刻的多模态交互信息，采用门结构进行过滤，注意力机制来分配权重。
在步骤S4～步骤S6中实现了多模态的动态融合过程，图4所示，本申请利用并行的多个长短期记忆网络分别对每个模态同时处理，获取每个时间序列上各模态的表型向量，将其输入到上述的多模态图网络中，进行多模态表征交互与融合后，输出的总表征向量存储于多模态记忆状态，用于更新长短期记忆网络中的下一个时间序列数据，与此同时记忆存储模块中的状态值也会基于新的输入进行更新。详细过程如下：取m∈{l,v,a}，用
Figure BDA0003749385860000091
表示长短期记忆网络中前一时刻与后一时刻之间m的全连接深度神经网络，Dl、Dv、Da分别为模态向量l、v、a动态融合过程的单项输出。跨模态互相作用编码的输入向量采用Tt来表示，并将存储于多视图门控存储器ut，多视图门控存储器采用一个网络Du使得Tt转变为
Figure BDA0003749385860000092
采用Dγ1、Dγ2网络进行更新与学习多视图门控存储器的残差γ1、γ2。最后，网络Dz将Tt转换为多模态表征zt。
在步骤S7中，所述不同的预测算法为机器学习算法，包括：逻辑回归、随机森林、Xgboost(优化的分布式梯度增强库)、LightGBM(Light Gradient Boosting Machine，梯度提升机)、Adaboost(自适应迭代算法)、SVM(Support Vector Machine，支持向量机)、决策树、K最近邻、朴素贝叶斯、GBDT(Gradient Boosting Decision Tree，提升树算法)、GBDT回归、线性回归、KNN回归(K-NearestNeighbor，邻近算法)、随机森林回归、Xgboost回归、LASSO回归(Least absolute shrinkage and selection operator，最小绝对收缩和选择运算操作)、SVM回归。
在步骤S8中，所述评价参数用于评价不同的预测算法对应模型的性能，包括：准确率、精确率、召回率、F1_score(F1分数)，混淆矩阵，ROC曲线。
第二方面，本申请提出一种基于多模态信息融合的癌症预测系统，如图2所示，包括：数据获取模块、特征提取模块、多模态融合模块、算法预测模块、参数评价模块；
所述数据获取模块、特征提取模块、多模态融合模块、算法预测模块、参数评价模块依次顺序相连接；
所述数据获取模块用于获取任意两种或两种以上的多模态信息；
所述特征提取模块用于针对所述任意两种或两种以上的多模态信息，分别提取对应的特征；
所述多模态融合模块用于将所述特征在时间域上对齐；将对齐后的特征融合在动态的多模态图网络中，进行多模态表征交互与融合后，输出总表征向量；将所述总表征向量输入多模态记忆状态，得到多模态记忆状态的最终输出状态；将所述总表征向量更新长短期记忆网络中的下一个时间序列数据，得到长短记忆网络的输出；
所述算法预测模块用于结合所述长短记忆网络的输出与多模态记忆状态的最终输出状态，采用不同的预测算法进行分类预测，得到癌症预测结果集合；
所述参数评价模块用于选择评价参数，对所采用的预测算法进行评价，得到评价结果；选择评价结果最高的对应预测算法作为最终预测算法，对应的癌症预测结果为最终的癌症预测结果。
所述特征提取模块包括：影像组学特征提取单元、病理组学特征提取单元、基因组学特征提取单元以及临床文本数据特征提取单元；
所述影像组学特征提取单元用于提取反映病灶部位的CT影像的特征；
所述病理组学特征提取单元用于提取反映病灶部位的病理切片图像的特征；
所述基因组学特征提取单元用于提取反映病灶部位的基因测序数据的特征
所述临床文本数据特征提取单元用于提取反映病灶的文字数据的临床文本向量。
所述影像组学特征提取单元包括：针对反映病灶部位的CT影像，采用基于transformer的nn-UNet模型提取影像组学特征和深度组学特征。
所述病理组学特征提取单元，包括：数据标注子单元、识别子单元、小图数据集提取子单元、神经元网络子单元、概率热图获取单元、分类结果获取单元；
所述数据标注子单元、识别子单元、小图数据集提取子单元、神经元网络子单元、概率热图获取单元、分类结果获取单元依次顺序相连接；
所述数据标注子单元用于针对病灶部位的历史病理切片图像进行数据标注；
所述识别子单元用于基于数据标注的结果对病灶部位的病理切片图像中组织区域进行识别，识别结果为癌症区域以及正常组织区域；
所述小图数据集提取子单元用于分别从所述癌症区域以及正常组织区域提取用于训练的小图数据集；
所述神经元网络子单元用于将所述小图数据集输入到深度卷积神经网络模型，得到深度卷积神经网络输出；
所述概率热图获取单元用于针对深度卷积神经网络输出，分别对病理切片图像中的癌症区域以及正常组织区域做概率热图；
所述分类结果获取单元用于针对所述概率热图，对需要提取特征的病理切片图像进行分类，得到病理切片分类结果。
所述基因组学特征提取单元，包括：分析子单元、过滤子单元、转换子单元、合并子单元；
所述分析子单元、过滤子单元、转换子单元、合并子单元依次顺序相连接；
所述分析子单元用于针对基因组学数据进行基因组学分析；
所述过滤子单元用于根据筛选条件逐个对基因组学分析结果进行过滤；
所述转换子单元用于针对过滤后的基因组学分析结果进行行列转换，同时针对过滤后的基因组学分析结果中的突变信息转换为1或0，得到转换后的基因组学分析结果；
所述合并子单元用于将转换后的基因组学分析结果合并成一个文本文件，每一行代表一个病人或者一次检查，每一列代表某个基因的某个基因组学分析下存在特征值。
第三方面，本申请提出一种计算机装置，计算机装置包括：处理器；
所述处理器用于执行存储器中存储的计算机程序时实现所述基于多模态信息融合的癌症预测方法的步骤。
第四方面，本申请提出一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现所述基于多模态信息融合的癌症预测方法的步骤。
本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (10)

1.一种基于多模态信息融合的癌症预测方法，其特征在于，包括如下步骤：
获取任意两种或两种以上的多模态信息；
针对所述任意两种或两种以上的多模态信息，分别提取对应的特征；
将所述特征在时间域上对齐；
将对齐后的特征融合在动态的多模态图网络中，进行多模态表征交互与融合后，输出总表征向量；
将所述总表征向量输入多模态记忆状态，得到多模态记忆状态的最终输出状态；
将所述总表征向量更新长短期记忆网络中的下一个时间序列数据，得到长短记忆网络的输出；
结合所述长短记忆网络的输出与多模态记忆状态的最终输出状态，采用不同的预测算法进行分类预测，得到癌症预测结果集合；
选择评价参数，对所采用的预测算法进行评价，得到评价结果；
选择评价结果最高的对应预测算法作为最终预测算法，对应的癌症预测结果为最终的癌症预测结果。
2.如权利要求1所述的基于多模态信息融合的癌症预测方法，其特征在于，所述多模态信息包括：影像组学数据、病理组学数据、基因组学数据、临床文本数据；
所述影像组学数据为反映病灶部位的CT影像；
所述病理组学数据为反映病灶部位的病理切片图像；
所述基因组学数据为反映病灶部位的基因测序数据；
所述临床文本数据为反映病灶的文字数据。
3.如权利要求2所述的基于多模态信息融合的癌症预测方法，其特征在于，所述对应的特征包括：影像组学特征，提取过程如下：针对反映病灶部位的CT影像，采用基于transformer的nn-UNet模型提取影像组学特征和深度组学特征。
4.如权利要求2所述的基于多模态信息融合的癌症预测方法，其特征在于，所述对应的特征包括：影像组学特征，为能够反映医学图像的病灶部位的信息的特征数据，包括：直方图特征、形态学特征、共生矩阵特征、游程矩阵特征、灰度连通大小矩阵特征、基于梯度图的特征。
5.如权利要求2所述的基于多模态信息融合的癌症预测方法，其特征在于，所述对应的特征包括：所述病理组学特征，其提取过程如下：
针对病灶部位的历史病理切片图像进行数据标注；
基于数据标注的结果对病灶部位的病理切片图像中组织区域进行识别，识别结果为癌症区域以及正常组织区域；
分别从所述癌症区域以及正常组织区域提取用于训练的小图数据集；
将所述小图数据集输入到深度卷积神经网络模型，得到深度卷积神经网络输出；
针对深度卷积神经网络输出，分别对病理切片图像中的癌症区域以及正常组织区域做概率热图；
针对所述概率热图，对需要提取特征的病理切片图像进行分类，得到病理切片分类结果。
6.如权利要求2所述的基于多模态信息融合的癌症预测方法，其特征在于，所述对应的特征包括：基因组学特征，其提取过程步骤如下：
针对基因组学数据进行基因组学分析；
根据筛选条件逐个对基因组学分析结果进行过滤；
针对过滤后的基因组学分析结果进行行列转换，同时针对过滤后的基因组学分析结果中的突变信息转换为1或0，得到转换后的基因组学分析结果；
将转换后的基因组学分析结果合并成一个文本文件，每一行代表一个病人或者一次检查，每一列代表某个基因的某个基因组学分析下存在特征值。
7.如权利要求1所述的基于多模态信息融合的癌症预测方法，其特征在于，所述动态的多模态图网络，包含三类节点，即单模态向量，两模态向量，三模态向量，所述单模态向量，两模态向量以及三模态向量之间具有包含和被包含的关系，所有的节点均与动态的多模态图网络的总输出相关联，将各节点连接构建动态的多模态图网络，所述动态的多模态图网络中每个边关系上隐含着一个权重参数，代表节点之间关系的强弱性。
8.一种基于多模态信息融合的癌症预测系统，其特征在于，包括：数据获取模块、特征提取模块、多模态融合模块、算法预测模块、参数评价模块；
所述数据获取模块、特征提取模块、多模态融合模块、算法预测模块、参数评价模块依次顺序相连接；
所述数据获取模块用于获取任意两种或两种以上的多模态信息；
所述特征提取模块用于针对所述任意两种或两种以上的多模态信息，分别提取对应的特征；
所述多模态融合模块用于将所述特征在时间域上对齐；将对齐后的特征融合在动态的多模态图网络中，进行多模态表征交互与融合后，输出总表征向量；将所述总表征向量输入多模态记忆状态，得到多模态记忆状态的最终输出状态；将所述总表征向量更新长短期记忆网络中的下一个时间序列数据，得到长短记忆网络的输出；
所述算法预测模块用于结合所述长短记忆网络的输出与多模态记忆状态的最终输出状态，采用不同的预测算法进行分类预测，得到癌症预测结果集合；
所述参数评价模块用于选择评价参数，对所采用的预测算法进行评价，得到评价结果；选择评价结果最高的对应预测算法作为最终预测算法，对应的癌症预测结果为最终的癌症预测结果。
9.一种计算机装置，其特征在于，计算机装置包括：处理器；
所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-7中任意一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现如权利要求1-7中任意一项所述方法的步骤。
CN202210833903.2A 2022-07-15 2022-07-15 一种基于多模态信息融合的癌症预测方法与系统 Pending CN115223715A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210833903.2A CN115223715A (zh) 2022-07-15 2022-07-15 一种基于多模态信息融合的癌症预测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210833903.2A CN115223715A (zh) 2022-07-15 2022-07-15 一种基于多模态信息融合的癌症预测方法与系统

Publications (1)

Publication Number Publication Date
CN115223715A true CN115223715A (zh) 2022-10-21

Family

ID=83612667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210833903.2A Pending CN115223715A (zh) 2022-07-15 2022-07-15 一种基于多模态信息融合的癌症预测方法与系统

Country Status (1)

Country Link
CN (1) CN115223715A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984193A (zh) * 2022-12-15 2023-04-18 东北林业大学 融合组织病理图像和ct影像的pdl1表达水平检测方法
CN116246774A (zh) * 2023-03-15 2023-06-09 北京医准智能科技有限公司 一种基于信息融合的分类方法、装置及设备
CN116452584A (zh) * 2023-06-14 2023-07-18 天津医科大学第二医院 一种新生儿视网膜病变预测方法及系统
CN117079801A (zh) * 2023-08-17 2023-11-17 中山大学附属第六医院 一种结直肠癌的预后风险预测系统
CN117481672A (zh) * 2023-10-25 2024-02-02 深圳医和家智慧医疗科技有限公司 一种乳腺组织硬化初期快速筛查智能方法
CN117612711A (zh) * 2024-01-22 2024-02-27 神州医疗科技股份有限公司 一种分析肝癌复发数据的多模态预测模型构建方法及系统
CN117894468A (zh) * 2024-03-18 2024-04-16 天津市肿瘤医院（天津医科大学肿瘤医院） 基于人工智能的乳腺癌复发风险预测系统
CN118135227A (zh) * 2024-04-24 2024-06-04 中南大学 放射诱导淋巴细胞减少的预测方法及成像方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984193A (zh) * 2022-12-15 2023-04-18 东北林业大学 融合组织病理图像和ct影像的pdl1表达水平检测方法
CN116246774A (zh) * 2023-03-15 2023-06-09 北京医准智能科技有限公司 一种基于信息融合的分类方法、装置及设备
CN116246774B (zh) * 2023-03-15 2023-11-24 浙江医准智能科技有限公司 一种基于信息融合的分类方法、装置及设备
CN116452584A (zh) * 2023-06-14 2023-07-18 天津医科大学第二医院 一种新生儿视网膜病变预测方法及系统
CN116452584B (zh) * 2023-06-14 2023-08-22 天津医科大学第二医院 一种新生儿视网膜病变预测方法及系统
CN117079801A (zh) * 2023-08-17 2023-11-17 中山大学附属第六医院 一种结直肠癌的预后风险预测系统
CN117079801B (zh) * 2023-08-17 2024-04-19 中山大学附属第六医院 一种结直肠癌的预后风险预测系统
CN117481672A (zh) * 2023-10-25 2024-02-02 深圳医和家智慧医疗科技有限公司 一种乳腺组织硬化初期快速筛查智能方法
CN117612711A (zh) * 2024-01-22 2024-02-27 神州医疗科技股份有限公司 一种分析肝癌复发数据的多模态预测模型构建方法及系统
CN117612711B (zh) * 2024-01-22 2024-05-03 神州医疗科技股份有限公司 一种分析肝癌复发数据的多模态预测模型构建方法及系统
CN117894468A (zh) * 2024-03-18 2024-04-16 天津市肿瘤医院（天津医科大学肿瘤医院） 基于人工智能的乳腺癌复发风险预测系统
CN118135227A (zh) * 2024-04-24 2024-06-04 中南大学 放射诱导淋巴细胞减少的预测方法及成像方法

Similar Documents

Publication Publication Date Title
CN115223715A (zh) 一种基于多模态信息融合的癌症预测方法与系统
Owais et al. Effective diagnosis and treatment through content-based medical image retrieval (CBMIR) by using artificial intelligence
KR102153920B1 (ko) 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법
CN110245685B (zh) 基因组单位点变异致病性的预测方法、系统及存储介质
WO2018176035A1 (en) Method and system of building hospital-scale chest x-ray database for entity extraction and weakly-supervised classification and localization of common thorax diseases
CN109544518B (zh) 一种应用于骨骼成熟度评估的方法及其系统
CN107851194A (zh) 用于脑肿瘤分类的视觉表示学习
CN112270666A (zh) 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
Li et al. Vispi: Automatic visual perception and interpretation of chest x-rays
CN111832644B (zh) 一种基于序列级别的脑部医疗影像报告生成方法及系统
Amin et al. Histopathological image analysis for oral squamous cell carcinoma classification using concatenated deep learning models
CN113113130A (zh) 一种肿瘤个体化诊疗方案推荐方法
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
CN111192660B (zh) 一种影像报告分析方法、设备及计算机存储介质
CN112101162A (zh) 图像识别模型的生成方法、装置、存储介质和电子设备
KR20230029004A (ko) 흉부 자동 분할 영상을 이용한 폐암 최종 병기 예측 시스템 및 방법
CN115294075A (zh) 一种基于注意力机制的octa图像视网膜血管分割方法
Sun et al. A fully deep learning paradigm for pneumoconiosis staging on chest radiographs
Al-Haija et al. Development of breast cancer detection model using transfer learning of residual neural network (resnet-50)
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
CN117352164A (zh) 基于人工智能的多模态肿瘤检测诊断平台及其处理方法
Dittimi et al. Mobile phone based ensemble classification of deep learned feature for medical image analysis
CN117079757A (zh) 一种基于多模态融合的自闭症特征数据库系统
CN116933135A (zh) 基于跨模态融合级联的癌症分期预测模型建模系统及方法
CN116719840A (zh) 一种基于病历后结构化处理的医疗信息推送方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination