CN117524501A - 基于特征挖掘的多模态医学数据分析系统及方法 - Google Patents

基于特征挖掘的多模态医学数据分析系统及方法 Download PDF

Info

Publication number
CN117524501A
CN117524501A CN202410008185.4A CN202410008185A CN117524501A CN 117524501 A CN117524501 A CN 117524501A CN 202410008185 A CN202410008185 A CN 202410008185A CN 117524501 A CN117524501 A CN 117524501A
Authority
CN
China
Prior art keywords
feature vector
state image
mapped
tumor
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410008185.4A
Other languages
English (en)
Other versions
CN117524501B (zh
Inventor
冯竞慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Vocational Institute of Technology
Original Assignee
Changchun Vocational Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Vocational Institute of Technology filed Critical Changchun Vocational Institute of Technology
Priority to CN202410008185.4A priority Critical patent/CN117524501B/zh
Publication of CN117524501A publication Critical patent/CN117524501A/zh
Application granted granted Critical
Publication of CN117524501B publication Critical patent/CN117524501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请公开了一种基于特征挖掘的多模态医学数据分析系统及方法，涉及智能化数据分析技术领域，其综合多模态医学数据，即内镜图像、直肠核磁影像、胸腹盆增强CT影像和血清肿瘤标志物水平数值，并结合智能化算法来提取各模态数据的语义特征，并借此来实现对于直肠癌患者治疗后达到病理缓解的几率评估，为临床决策和预后评估提供客观一致的支持。

Description

基于特征挖掘的多模态医学数据分析系统及方法
技术领域
本申请涉及智能化数据分析技术领域，尤其涉及一种基于特征挖掘的多模态医学数据分析系统及方法。
背景技术
直肠癌是威胁我国居民生命健康的主要癌症之一。直肠癌的主要治疗方法包括手术、放疗、化疗、靶向治疗等综合治疗手段。虽有规范的综合治疗手段，但低位直肠癌患者因肿瘤或手术造成的损伤，可能导致肛门功能受损、肛门缺失、结肠造瘘，严重影响患者生存治疗。许多局部进展期直肠癌患者因一期手术不能达到根治目的，不适合行手术治疗。目前，局部进展期直肠癌（≥cT3或N+）的标准治疗方式为新辅助放化疗联合全直肠系膜切除术及辅助化疗的综合治疗。新辅助治疗可有效实现肿瘤降期，提高切除率和保肛率。新辅助治疗也为保留低位直肠癌患者的器官功能提供了更好的选择。直肠癌新辅助治疗的疗效评估，即治疗后是否达到临床缓解、达到病理缓解的几率如何，是进行临床决策和评估患者预后的关键环节。
由于缺乏某些专业方向的专家，导致许多医疗机构不能很好地开展直肠癌新辅助治疗。对于专家经验的依赖，也导致对直肠癌新辅助治疗疗效的评估可能因人为因素造成判断误差和决策标准不一。临床急需一种能综合多模态医学数据、客观一致的评估直肠癌新辅助治疗疗效的系统和方法。
发明内容
本申请的目的是为了克服上述不足，提供一种基于特征挖掘的多模态医学数据分析系统及方法。
本申请提供了一种基于特征挖掘的多模态医学数据分析系统，其包括：
医学数据获取模块，用于获取待分析患者的多模态医学数据；
特征提取模块，用于对所述多模态医学数据进行特征提取以得到内镜肿瘤状态图像语义特征向量、直肠核磁肿瘤状态图像语义特征向量、胸腹盆增强CT肿瘤状态图像语义特征向量和血清肿瘤标志物水平时序特征向量；
交互融合模块，用于对所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量进行空间映射和基于单模态语义权重的交互融合以得到多模态肿瘤状态特征向量；以及
病理缓解的几率确定模块，用于基于所述多模态肿瘤状态特征向量，确定所述待分析患者达到病理缓解的几率；
其中，所述交互融合模块，包括：
空间映射单元，用于将所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量映射到同一个注意力空间以得到映射后内镜肿瘤状态图像语义特征向量、映射后直肠核磁肿瘤状态图像语义特征向量、映射后胸腹盆增强CT肿瘤状态图像语义特征向量和映射后血清肿瘤标志物水平时序特征向量；
语义权重值计算单元，用于分别计算所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量相对于所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量的整体的单模态语义权重值以得到多个单模态语义权重值；以及
融合单元，用于以所述多个单模态语义权重值作为权重，来融合所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量以得到所述多模态肿瘤状态特征向量。
进一步地，所述多模态医学数据包括内镜图像、直肠核磁影像和胸腹盆增强CT影像，以及，血清肿瘤标志物水平数值的时序序列。
进一步地，所述特征提取模块，包括：
语义特征提取单元，用于将所述内镜图像、所述直肠核磁影像和所述胸腹盆增强CT影像通过基于卷积神经网络模型的肿瘤状态图像语义特征提取器以得到所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量和所述胸腹盆增强CT肿瘤状态图像语义特征向量；以及
时序波动特征提取单元，用于将所述血清肿瘤标志物水平数值的时序序列按照时间维度排列为输入向量后，将所述输入向量通过基于一维卷积层的血清肿瘤标志物水平时序波动特征提取器以得到所述血清肿瘤标志物水平时序特征向量。
进一步地，所述基于卷积神经网络模型的肿瘤状态图像语义特征提取器，包括：输入层、卷积层、池化层、激活层和输出层。
进一步地，所述空间映射单元，用于：
将所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量通过基于全连接层的注意力空间映射器以得到所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量。
进一步地，所述语义权重值计算单元，用于：
以如下单模态语义权重公式计算所述映射后内镜肿瘤状态图像语义特征向量相对于所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量的整体的所述单模态语义权重值；
其中，所述单模态语义权重公式为：
；
其中，是1×/>的矩阵，/>是所述映射后内镜肿瘤状态图像语义特征向量的维度，/>是所述映射后内镜肿瘤状态图像语义特征向量，/>是所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量构成的整体序列，/>是1×/>的矩阵，/>是所述整体序列中各个特征向量的维度，/>为所述整体序列的长度，/>是Sigmoid函数，/>是所述单模态语义权重值。
进一步地，所述病理缓解的几率确定模块，用于：
将所述多模态肿瘤状态特征向量通过分类器以得到概率值，所述概率值表示所述待分析患者达到病理缓解的几率。
进一步地，还包括用于对所述基于卷积神经网络模型的肿瘤状态图像语义特征提取器、所述基于一维卷积层的血清肿瘤标志物水平时序波动特征提取器、所述基于全连接层的注意力空间映射器和所述分类器进行训练的训练模块；其中，所述训练模块，包括：
训练数据获取单元，用于获取训练数据，所述训练数据包括待分析患者的训练多模态医学数据，以及，所述待分析患者是否达到病理缓解的真实值，其中，所述训练多模态医学数据包括训练内镜图像、训练直肠核磁影像、训练胸腹盆增强CT影像和训练血清肿瘤标志物水平数值的时序序列；
训练语义特征提取单元，用于将所述训练内镜图像、所述训练直肠核磁影像和所述训练胸腹盆增强CT影像通过所述基于卷积神经网络模型的肿瘤状态图像语义特征提取器以得到训练内镜肿瘤状态图像语义特征向量、训练直肠核磁肿瘤状态图像语义特征向量和训练胸腹盆增强CT肿瘤状态图像语义特征向量；
训练时序波动特征提取单元，用于将所述训练血清肿瘤标志物水平数值的时序序列按照时间维度排列为输入向量后，将所述输入向量通过所述基于一维卷积层的血清肿瘤标志物水平时序波动特征提取器以得到训练血清肿瘤标志物水平时序特征向量；
训练注意力空间映射单元，用于将所述训练内镜肿瘤状态图像语义特征向量、所述训练直肠核磁肿瘤状态图像语义特征向量、所述训练胸腹盆增强CT肿瘤状态图像语义特征向量和所述训练血清肿瘤标志物水平时序特征向量通过所述基于全连接层的注意力空间映射器以得到训练映射后内镜肿瘤状态图像语义特征向量、训练映射后直肠核磁肿瘤状态图像语义特征向量、训练映射后胸腹盆增强CT肿瘤状态图像语义特征向量和训练映射后血清肿瘤标志物水平时序特征向量；
训练语义权重值计算单元，用于分别计算所述训练映射后内镜肿瘤状态图像语义特征向量、所述训练映射后直肠核磁肿瘤状态图像语义特征向量、所述训练映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述训练映射后血清肿瘤标志物水平时序特征向量相对于所述训练映射后内镜肿瘤状态图像语义特征向量、所述训练映射后直肠核磁肿瘤状态图像语义特征向量、所述训练映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述训练映射后血清肿瘤标志物水平时序特征向量的整体的训练单模态语义权重值以得到多个训练单模态语义权重值；
训练融合单元，用于以所述多个训练单模态语义权重值作为权重，来融合所述训练映射后内镜肿瘤状态图像语义特征向量、所述训练映射后直肠核磁肿瘤状态图像语义特征向量、所述训练映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述训练映射后血清肿瘤标志物水平时序特征向量以得到训练多模态肿瘤状态特征向量；
训练分类单元，用于将所述训练多模态肿瘤状态特征向量通过分类器以得到分类损失函数值；以及
训练单元，用于以所述分类损失函数值来对所述基于卷积神经网络模型的肿瘤状态图像语义特征提取器、所述基于一维卷积层的血清肿瘤标志物水平时序波动特征提取器、所述基于全连接层的注意力空间映射器和所述分类器进行训练，其中，在所述训练的每一轮迭代中，对所述训练多模态肿瘤状态特征向量进行优化。
本申请还提供了一种基于特征挖掘的多模态医学数据分析方法，其包括：
获取待分析患者的多模态医学数据；
对所述多模态医学数据进行特征提取以得到内镜肿瘤状态图像语义特征向量、直肠核磁肿瘤状态图像语义特征向量、胸腹盆增强CT肿瘤状态图像语义特征向量和血清肿瘤标志物水平时序特征向量；
对所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量进行空间映射和基于单模态语义权重的交互融合以得到多模态肿瘤状态特征向量；以及
基于所述多模态肿瘤状态特征向量，确定所述待分析患者达到病理缓解的几率；
其中，对所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量进行空间映射和基于单模态语义权重的交互融合以得到多模态肿瘤状态特征向量，包括：
空间映射单元，用于将所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量映射到同一个注意力空间以得到映射后内镜肿瘤状态图像语义特征向量、映射后直肠核磁肿瘤状态图像语义特征向量、映射后胸腹盆增强CT肿瘤状态图像语义特征向量和映射后血清肿瘤标志物水平时序特征向量；
语义权重值计算单元，用于分别计算所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量相对于所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量的整体的单模态语义权重值以得到多个单模态语义权重值；以及
融合单元，用于以所述多个单模态语义权重值作为权重，来融合所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量以得到所述多模态肿瘤状态特征向量。
本发明综合多模态医学数据，即内镜图像、直肠核磁影像、胸腹盆增强CT影像和血清肿瘤标志物水平数值，并结合智能化算法来提取各模态数据的语义特征，并借此来实现对于直肠癌患者治疗后达到病理缓解的几率评估，为临床决策和预后评估提供客观一致的支持。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本申请实施例中提供的一种基于特征挖掘的多模态医学数据分析系统的框图。
图2为本申请实施例中提供的一种基于特征挖掘的多模态医学数据分析方法的流程图。
图3为本申请实施例中提供的一种基于特征挖掘的多模态医学数据分析方法的系统架构的示意图。
图4为本申请实施例中提供的一种基于特征挖掘的多模态医学数据分析系统的应用场景图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本申请实施例做进一步详细说明。在此，本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅只是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
现今社会是一个高速发展的社会，科技越来越发达，人与人之间的交流也越发密切，从上世纪已经开始慢慢走向大数据时代。与此同时，大数据、机器学习、人工智能、数据挖掘等平日接触不到的字眼也逐渐被人们所认识甚至成为人们日常生活中不可或缺的一部分。通过研究这些信息可以对金融、医疗、网购等方面产生深远的影响。如何利用多种数据进行相应的科学研究，尤其是在医疗领域，对健康产业发展尤其重要。人工智能技术与医疗领域结合在一起，可以处理医疗数据，将所需特征提取出来，方便临床医生辅助诊疗。
在本申请的一个实施例中，图1为本申请实施例中提供的一种基于特征挖掘的多模态医学数据分析系统的框图。如图1所示，根据本申请实施例的基于特征挖掘的多模态医学数据分析系统100，包括：医学数据获取模块110，用于获取待分析患者的多模态医学数据；特征提取模块120，用于对所述多模态医学数据进行特征提取以得到内镜肿瘤状态图像语义特征向量、直肠核磁肿瘤状态图像语义特征向量、胸腹盆增强CT肿瘤状态图像语义特征向量和血清肿瘤标志物水平时序特征向量；交互融合模块130，用于对所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量进行空间映射和基于单模态语义权重的交互融合以得到多模态肿瘤状态特征向量；以及，病理缓解的几率确定模块140，用于基于所述多模态肿瘤状态特征向量，确定所述待分析患者达到病理缓解的几率。
针对上述技术问题，本申请的技术构思是综合多模态医学数据，即内镜图像、直肠核磁影像、胸腹盆增强CT影像和血清肿瘤标志物水平数值，并结合智能化算法来提取各模态数据的语义特征，并借此来实现对于直肠癌患者治疗后达到病理缓解的几率评估，为临床决策和预后评估提供客观一致的支持。
基于此，在本申请的技术方案中，首先获取待分析患者的多模态医学数据。其中，所述多模态医学数据包括内镜图像、直肠核磁影像和胸腹盆增强CT影像，以及，血清肿瘤标志物水平数值的时序序列。
然后，将所述内镜图像、所述直肠核磁影像和所述胸腹盆增强CT影像通过基于卷积神经网络模型的肿瘤状态图像语义特征提取器以得到内镜肿瘤状态图像语义特征向量、直肠核磁肿瘤状态图像语义特征向量和胸腹盆增强CT肿瘤状态图像语义特征向量；同时，将所述血清肿瘤标志物水平数值的时序序列按照时间维度排列为输入向量后，将所述输入向量通过基于一维卷积层的血清肿瘤标志物水平时序波动特征提取器以得到血清肿瘤标志物水平时序特征向量。也就是，利用卷积神经网络模型构建肿瘤状态图像语义特征提取器，以捕捉各个图像模态中关于肿瘤状态的图像语义特征分布；同时利用一维卷积层来捕捉所述血清肿瘤标志物水平数值的时序序列中的隐藏时序波动特征。
在本申请的一个具体实施例中，所述特征提取模块，包括：语义特征提取单元，用于将所述内镜图像、所述直肠核磁影像和所述胸腹盆增强CT影像通过基于卷积神经网络模型的肿瘤状态图像语义特征提取器以得到所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量和所述胸腹盆增强CT肿瘤状态图像语义特征向量；以及，时序波动特征提取单元，用于将所述血清肿瘤标志物水平数值的时序序列按照时间维度排列为输入向量后，将所述输入向量通过基于一维卷积层的血清肿瘤标志物水平时序波动特征提取器以得到所述血清肿瘤标志物水平时序特征向量。
其中，所述基于卷积神经网络模型的肿瘤状态图像语义特征提取器，包括：输入层、卷积层、池化层、激活层和输出层。
应可以理解，不同模态的医学数据包含了不同的信息。具体来说，内镜图像可以提供局部肿瘤形态信息，核磁影像可以提供更详细的组织结构信息，胸腹盆增强CT影像可以提供肿瘤转移情况等信息，而血清肿瘤标志物水平时序序列可以反映患者的生物标记物变化趋势。因此，在本申请的技术方案中，期待将各个模态的特征信息进行融合和交互，以利用不同模态之间的互补性，使得融合后的特征能够更好地反映肿瘤状态的全貌。
在本申请的一个实施例中，所述交互融合模块，包括：空间映射单元，用于将所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量映射到同一个注意力空间以得到映射后内镜肿瘤状态图像语义特征向量、映射后直肠核磁肿瘤状态图像语义特征向量、映射后胸腹盆增强CT肿瘤状态图像语义特征向量和映射后血清肿瘤标志物水平时序特征向量；语义权重值计算单元，用于分别计算所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量相对于所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量的整体的单模态语义权重值以得到多个单模态语义权重值；以及，融合单元，用于以所述多个单模态语义权重值作为权重，来融合所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量以得到所述多模态肿瘤状态特征向量。
具体地，在本申请的技术方案中，先将所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量通过基于全连接层的注意力空间映射器以将所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量映射到同一个注意力空间以得到映射后内镜肿瘤状态图像语义特征向量、映射后直肠核磁肿瘤状态图像语义特征向量、映射后胸腹盆增强CT肿瘤状态图像语义特征向量和映射后血清肿瘤标志物水平时序特征向量。这里，通过将各个模态的特征分布映射到同一个注意力特征空间之中，可以消除不同模态之间的数据异构特性，使得不同模态的特征可以在同一维度上进行比较和融合。
在本申请的一个具体实施例中，所述空间映射单元，用于：将所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量通过基于全连接层的注意力空间映射器以得到所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量。
接着，分别计算所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量相对于所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量的整体的单模态语义权重值以得到多个单模态语义权重值；并以所述多个单模态语义权重值作为权重，来融合所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量以得到多模态肿瘤状态特征向量。这里，单模态语义权重值可以根据不同模态特征对肿瘤状态的贡献程度来动态调整，从而实现对不同模态特征的自适应加权。也就是说，通过这样的方式实现对特征的加权融合，使得重要的特征对疗效评估起到更大的作用，减少不相关或次要特征的影响。
在本申请的一个具体示例中，分别计算所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量相对于所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量的整体的单模态语义权重值以得到多个单模态语义权重值的实现过程，包括：以如下单模态语义权重公式计算所述映射后内镜肿瘤状态图像语义特征向量相对于所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量的整体的所述单模态语义权重值；其中，所述单模态语义权重公式为：
；
其中，是1×/>的矩阵，/>是所述映射后内镜肿瘤状态图像语义特征向量的维度，/>是所述映射后内镜肿瘤状态图像语义特征向量，/>是所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量构成的整体序列，/>是1×/>的矩阵，/>是所述整体序列中各个特征向量的维度，/>为所述整体序列的长度，/>是Sigmoid函数，/>是所述单模态语义权重值。
值得一提的是，这里只展示“计算所述映射后内镜肿瘤状态图像语义特征向量相对于所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量的整体的所述单模态语义权重值”的过程，计算其余所述单模态语义权重值的过程与上述过程类似，在此并不做赘述。
继而，将所述多模态肿瘤状态特征向量通过分类器以得到概率值，所述概率值表示所述待分析患者达到病理缓解的几率。其中，病理缓解（Pathological CompleteResponse，PCR）是指在治疗后，通过病理学检查没有发现残留的肿瘤组织。在直肠癌新辅助治疗中，PCR被认为是治疗效果的重要指标之一。达到病理缓解意味着治疗期间对肿瘤的杀灭效果非常好，患者的肿瘤负荷得到了彻底清除。病理缓解在直肠癌的治疗中具有重要的临床意义，因为它与患者的预后和生存率密切相关。病理缓解的患者通常具有较低的肿瘤复发和转移风险，预后较好。
在本申请的一个具体实施例中，所述病理缓解的几率确定模块，用于：将所述多模态肿瘤状态特征向量通过分类器以得到概率值，所述概率值表示所述待分析患者达到病理缓解的几率。
在本申请的一个实施例中，所述基于特征挖掘的多模态医学数据分析系统，还包括用于对所述基于卷积神经网络模型的肿瘤状态图像语义特征提取器、所述基于一维卷积层的血清肿瘤标志物水平时序波动特征提取器、所述基于全连接层的注意力空间映射器和所述分类器进行训练的训练模块；其中，所述训练模块，包括：训练数据获取单元，用于获取训练数据，所述训练数据包括待分析患者的训练多模态医学数据，以及，所述待分析患者是否达到病理缓解的真实值，其中，所述训练多模态医学数据包括训练内镜图像、训练直肠核磁影像、训练胸腹盆增强CT影像和训练血清肿瘤标志物水平数值的时序序列；训练语义特征提取单元，用于将所述训练内镜图像、所述训练直肠核磁影像和所述训练胸腹盆增强CT影像通过所述基于卷积神经网络模型的肿瘤状态图像语义特征提取器以得到训练内镜肿瘤状态图像语义特征向量、训练直肠核磁肿瘤状态图像语义特征向量和训练胸腹盆增强CT肿瘤状态图像语义特征向量；训练时序波动特征提取单元，用于将所述训练血清肿瘤标志物水平数值的时序序列按照时间维度排列为输入向量后，将所述输入向量通过所述基于一维卷积层的血清肿瘤标志物水平时序波动特征提取器以得到训练血清肿瘤标志物水平时序特征向量；训练注意力空间映射单元，用于将所述训练内镜肿瘤状态图像语义特征向量、所述训练直肠核磁肿瘤状态图像语义特征向量、所述训练胸腹盆增强CT肿瘤状态图像语义特征向量和所述训练血清肿瘤标志物水平时序特征向量通过所述基于全连接层的注意力空间映射器以得到训练映射后内镜肿瘤状态图像语义特征向量、训练映射后直肠核磁肿瘤状态图像语义特征向量、训练映射后胸腹盆增强CT肿瘤状态图像语义特征向量和训练映射后血清肿瘤标志物水平时序特征向量；训练语义权重值计算单元，用于分别计算所述训练映射后内镜肿瘤状态图像语义特征向量、所述训练映射后直肠核磁肿瘤状态图像语义特征向量、所述训练映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述训练映射后血清肿瘤标志物水平时序特征向量相对于所述训练映射后内镜肿瘤状态图像语义特征向量、所述训练映射后直肠核磁肿瘤状态图像语义特征向量、所述训练映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述训练映射后血清肿瘤标志物水平时序特征向量的整体的训练单模态语义权重值以得到多个训练单模态语义权重值；训练融合单元，用于以所述多个训练单模态语义权重值作为权重，来融合所述训练映射后内镜肿瘤状态图像语义特征向量、所述训练映射后直肠核磁肿瘤状态图像语义特征向量、所述训练映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述训练映射后血清肿瘤标志物水平时序特征向量以得到训练多模态肿瘤状态特征向量；训练分类单元，用于将所述训练多模态肿瘤状态特征向量通过分类器以得到分类损失函数值；以及，训练单元，用于以所述分类损失函数值来对所述基于卷积神经网络模型的肿瘤状态图像语义特征提取器、所述基于一维卷积层的血清肿瘤标志物水平时序波动特征提取器、所述基于全连接层的注意力空间映射器和所述分类器进行训练，其中，在所述训练的每一轮迭代中，对所述训练多模态肿瘤状态特征向量进行优化。
在上述技术方案中，所述训练内镜肿瘤状态图像语义特征向量、所述训练直肠核磁肿瘤状态图像语义特征向量和所述训练胸腹盆增强CT肿瘤状态图像语义特征向量分别表达所述训练内镜图像、所述训练直肠核磁影像和所述训练胸腹盆增强CT影像的图像语义特征，而所述训练血清肿瘤标志物水平时序特征向量表达所述训练血清肿瘤标志物水平数值的时序关联特征，考虑到其初始源数据模态差异，尽管通过基于全连接层的注意力空间映射器映射到同一注意力空间，但仍然存在特征分布差异。此外，在计算训练单模态语义权重值，并以所述训练单模态语义权重值来融合所述训练映射后内镜肿瘤状态图像语义特征向量、所述训练映射后直肠核磁肿瘤状态图像语义特征向量、所述训练映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述训练映射后血清肿瘤标志物水平时序特征向量后，得到的所述训练多模态肿瘤状态特征向量的整体特征分布的不一致和不稳定会更为显著，从而影响所述训练多模态肿瘤状态特征向量通过分类器进行分类训练的稳定性。
基于此，本申请的申请人在将所述训练多模态肿瘤状态特征向量通过分类器进行分类训练时，在每次迭代时对所述训练多模态肿瘤状态特征向量进行优化，具体表示为：以如下优化公式在每次迭代时对所述训练多模态肿瘤状态特征向量进行优化以得到优化训练多模态肿瘤状态特征向量；其中，所述优化公式为：
；
其中，是所述训练多模态肿瘤状态特征向量/>的特征值，/>和是所述训练多模态肿瘤状态特征向量/>的1范数和2范数，/>是所述训练多模态肿瘤状态特征向量/>的向量长度，且/>是与/>相关的权重超参数，/>是所述训练多模态肿瘤状态特征向量，/>是优化训练多模态肿瘤状态特征向量的特征值，/>表示计算以数值为幂的自然指数函数值。
这里，通过所述训练多模态肿瘤状态特征向量的范数，来进行所述训练多模态肿瘤状态特征向量/>的整体特征分布分别在绝对距离的刚性结构和空间距离的非刚性结构下的一致性和稳定性表示，可以使得所述训练多模态肿瘤状态特征向量/>的全局特征分布对于向量分布方向上的局部模式变化具有一定重复性，这样，当所述训练多模态肿瘤状态特征向量/>通过分类器进行分类时，训练过程将对于所述训练多模态肿瘤状态特征向量/>的全局特征分布经由分类器的权重矩阵的尺度和旋转变化更具有鲁棒性，从而提升分类训练过程的稳定性。
应可以理解，本申请的研究内容为：将特征选择与智慧医疗相结合，共划分为三个子研究内容，分别针对高维数据预处理、多模态数据挖掘、特征选择算法开展探究。
其中，在高维数据预处理中：为了确保医疗大数据的准确性、一致性和完整性，需要在分析之前对数据进行清洗、转换和数据集划分，以消除任何缺失、错误或多余的信息，并统一数据格式。
数据清洗：高维医疗数据通常存在缺失值、异常值、噪声等问题，这些问题会影响后续的分析结果。因此，通过数据清洗技术可以去除这些无效或误差数据，提高数据质量，确保分析结果的准确性。
数据转换：高维医疗数据中可能存在着不同的数据类型，如字符型、数值型、日期型等。对于不同类型的数据，在进行分析前需要进行相应的转换操作，将其转换为统一的格式进行分析。
数据集划分：将预处理好的医疗数据随机划分为训练集、验证集和测试集，以便对模型进行训练、优化和评估。
进一步地，在多模态数据挖掘中，多模态数据挖掘是一种通过处理、整合和分析各种不同类型的医疗数据的方法，从而揭示这些数据中隐藏的有价值的信息。可以包括医学影像、生物标志物、基因型数据、临床记录等多个不同的数据源，将这些数据整合在一起，并运用计算机科学、数据挖掘、机器学习等技术进行分析，可以辅助医学研究人员和医生更好地了解患者的疾病风险、诊断和治疗方案以及监测效果。
医疗多模态数据的挖掘具有广阔的应用前景，例如：帮助早期发现癌症、即时跟踪病情、制定出个性化治疗方案等。同时，也存在着数据隐私保护、数据质量不均、模型可解释性等问题需要解决。总之，医疗多模态数据挖掘有望为未来医学研究和临床实践带来巨大的科学价值和社会经济效益。
更进一步地，在特征选择算法中，通过特征选择方法提取有效的特征来进行医疗分类预测（例如癌症预测）。可以使用多种机器学习算法，如支持向量机（SVM）、决策树、朴素贝叶斯等算法，并比较它们在不同特征提取方法下的性能。
本申请的研究目标包括：针对目前的医疗数据分析，通过探究数据的特点，总结出通用性较强的特征选择算法的设计与验证，构建基于人工智能的智慧医疗应用的研究内容，为医学研究和实践带来巨大的科学价值和社会经济效益。
本申请中拟解决的关键科学问题为：特征选择已经被证明是一个NP复杂度的问题。因此，传统的特征选择算法在解决大规模特征选择问题时效率并不高。因此，通过启发式方法解决特征选择问题是一个很好的研究方法，研究的重点就是如何平衡局部搜索与全局搜索。
在本申请的一个具体实施例中，高维数据预处理的步骤包括：首先，将原始数据导入到一个工作区进行处理。随后，通过查看每列的数据类型，确保每列的数据类型正确。对于缺失数据，可以通过使用均值或中位数来填充数值数据以及使用众数来填充分类特征等方法来实现。对于重复数据，删除重复记录以便得到准确的结果。将需要的数据类型转换为正确的类型。
在本申请的一个具体实施例中，多模态数据挖掘包括：首先，需要收集来自不同源的各种类型的医学数据，如影像学、生物标志物、病史等，并将其存储在统一的计算机系统上。从各个模态的数据中提取特征，例如，从医学影像数据中提取纹理特征、形态特征等。对于数量型数据，则可以根据相关领域知识和统计方法选择合适的变量指标。
在本申请的一个具体实施例中，特征选择算法包括：基于特征选择目前存在的问题，为了提高分类效率、降低数据维数，首先需要对特征选择问题进行建模，然后将其转化为适应度函数。最后，采用群智能算法来解决特征选择问题。
应可以理解，拟采用深度学习技术与结构化概率建模技术相结合的方法对医疗相关多模态多维度数据进行数据挖掘，探究影像学数据、多组学数据、生理指标之间的内在关联，构建细粒更细、精度更高的智慧医疗体系。可以辅助医生进行客观的风险评估，给出诊疗方案，对临床具有指导的建议。另一方面，对于手术患者可根据预测结果术后及时加强日常防护，降低患者术后损伤风险，改善患者预后。
本申请的方案提升了多模态特征融合的效率，为系统的准确性和高效性提供了最佳的平衡点，为最终完成准确、高效的多模态特征选择系统提供了可能，通过对数据分析和处理，结合生化指标参数形成特定的智慧医疗体系。
综上，基于本申请实施例的基于特征挖掘的多模态医学数据分析系统100被阐明，其综合多模态医学数据，即内镜图像、直肠核磁影像、胸腹盆增强CT影像和血清肿瘤标志物水平数值，并结合智能化算法来提取各模态数据的语义特征，并借此来实现对于直肠癌患者治疗后达到病理缓解的几率评估，为临床决策和预后评估提供客观一致的支持。
如上所述，根据本申请实施例的基于特征挖掘的多模态医学数据分析系统100可以实现在各种终端设备中，例如用于基于特征挖掘的多模态医学数据分析的服务器等。在一个示例中，根据本申请实施例的基于特征挖掘的多模态医学数据分析系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于特征挖掘的多模态医学数据分析系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于特征挖掘的多模态医学数据分析系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于特征挖掘的多模态医学数据分析系统100与该终端设备也可以是分立的设备，并且该基于特征挖掘的多模态医学数据分析系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图2为本申请实施例中提供的一种基于特征挖掘的多模态医学数据分析方法的流程图。图3为本申请实施例中提供的一种基于特征挖掘的多模态医学数据分析方法的系统架构的示意图。如图2和图3所示，一种基于特征挖掘的多模态医学数据分析方法，包括：210，获取待分析患者的多模态医学数据；220，对所述多模态医学数据进行特征提取以得到内镜肿瘤状态图像语义特征向量、直肠核磁肿瘤状态图像语义特征向量、胸腹盆增强CT肿瘤状态图像语义特征向量和血清肿瘤标志物水平时序特征向量；230，对所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量进行空间映射和基于单模态语义权重的交互融合以得到多模态肿瘤状态特征向量；以及，240，基于所述多模态肿瘤状态特征向量，确定所述待分析患者达到病理缓解的几率。
本领域技术人员可以理解，上述基于特征挖掘的多模态医学数据分析方法中的各个步骤的具体操作已经在上面参考图1的基于特征挖掘的多模态医学数据分析系统的描述中得到了详细介绍，并因此，将省略其重复描述。
图4为本申请实施例中提供的一种基于特征挖掘的多模态医学数据分析系统的应用场景图。如图4所示，在该应用场景中，首先，获取待分析患者的多模态医学数据（例如，如图4中所示意的C）；然后，将获取的多模态医学数据输入至部署有基于特征挖掘的多模态医学数据分析算法的服务器（例如，如图4中所示意的S）中，其中所述服务器能够基于特征挖掘的多模态医学数据分析算法对所述多模态医学数据进行处理，以确定所述待分析患者达到病理缓解的几率。
以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于特征挖掘的多模态医学数据分析系统，其特征在于，包括：
医学数据获取模块，用于获取待分析患者的多模态医学数据；
特征提取模块，用于对所述多模态医学数据进行特征提取以得到内镜肿瘤状态图像语义特征向量、直肠核磁肿瘤状态图像语义特征向量、胸腹盆增强CT肿瘤状态图像语义特征向量和血清肿瘤标志物水平时序特征向量；
交互融合模块，用于对所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量进行空间映射和基于单模态语义权重的交互融合以得到多模态肿瘤状态特征向量；
病理缓解的几率确定模块，用于基于所述多模态肿瘤状态特征向量，确定所述待分析患者达到病理缓解的几率；
其中，所述交互融合模块，包括：
空间映射单元，用于将所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量映射到同一个注意力空间以得到映射后内镜肿瘤状态图像语义特征向量、映射后直肠核磁肿瘤状态图像语义特征向量、映射后胸腹盆增强CT肿瘤状态图像语义特征向量和映射后血清肿瘤标志物水平时序特征向量；
语义权重值计算单元，用于分别计算所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量相对于所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量的整体的单模态语义权重值以得到多个单模态语义权重值；
融合单元，用于以所述多个单模态语义权重值作为权重，来融合所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量以得到所述多模态肿瘤状态特征向量。
2.根据权利要求1所述的基于特征挖掘的多模态医学数据分析系统，其特征在于，所述多模态医学数据包括内镜图像、直肠核磁影像和胸腹盆增强CT影像，以及，血清肿瘤标志物水平数值的时序序列。
3.根据权利要求2所述的基于特征挖掘的多模态医学数据分析系统，其特征在于，所述特征提取模块，包括：
语义特征提取单元，用于将所述内镜图像、所述直肠核磁影像和所述胸腹盆增强CT影像通过基于卷积神经网络模型的肿瘤状态图像语义特征提取器以得到所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量和所述胸腹盆增强CT肿瘤状态图像语义特征向量；
时序波动特征提取单元，用于将所述血清肿瘤标志物水平数值的时序序列按照时间维度排列为输入向量后，将所述输入向量通过基于一维卷积层的血清肿瘤标志物水平时序波动特征提取器以得到所述血清肿瘤标志物水平时序特征向量。
4.根据权利要求3所述的基于特征挖掘的多模态医学数据分析系统，其特征在于，所述基于卷积神经网络模型的肿瘤状态图像语义特征提取器，包括：输入层、卷积层、池化层、激活层和输出层。
5.根据权利要求4所述的基于特征挖掘的多模态医学数据分析系统，其特征在于，所述空间映射单元，用于：
将所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量通过基于全连接层的注意力空间映射器以得到所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量。
6.根据权利要求5所述的基于特征挖掘的多模态医学数据分析系统，其特征在于，所述语义权重值计算单元，用于：
以如下单模态语义权重公式计算所述映射后内镜肿瘤状态图像语义特征向量相对于所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量的整体的所述单模态语义权重值；
其中，所述单模态语义权重公式为：
；
其中，是1×/>的矩阵，/>是所述映射后内镜肿瘤状态图像语义特征向量的维度，/>是所述映射后内镜肿瘤状态图像语义特征向量，/>是所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量构成的整体序列，/>是1×/>的矩阵，/>是所述整体序列中各个特征向量的维度，/>为所述整体序列的长度，/>是Sigmoid函数，/>是所述单模态语义权重值。
7.根据权利要求6所述的基于特征挖掘的多模态医学数据分析系统，其特征在于，所述病理缓解的几率确定模块，用于：
将所述多模态肿瘤状态特征向量通过分类器以得到概率值，所述概率值表示所述待分析患者达到病理缓解的几率。
8.根据权利要求7所述的基于特征挖掘的多模态医学数据分析系统，其特征在于，还包括用于对所述基于卷积神经网络模型的肿瘤状态图像语义特征提取器、所述基于一维卷积层的血清肿瘤标志物水平时序波动特征提取器、所述基于全连接层的注意力空间映射器和所述分类器进行训练的训练模块；其中，所述训练模块，包括：
训练数据获取单元，用于获取训练数据，所述训练数据包括待分析患者的训练多模态医学数据，以及，所述待分析患者是否达到病理缓解的真实值，其中，所述训练多模态医学数据包括训练内镜图像、训练直肠核磁影像、训练胸腹盆增强CT影像和训练血清肿瘤标志物水平数值的时序序列；
训练语义特征提取单元，用于将所述训练内镜图像、所述训练直肠核磁影像和所述训练胸腹盆增强CT影像通过所述基于卷积神经网络模型的肿瘤状态图像语义特征提取器以得到训练内镜肿瘤状态图像语义特征向量、训练直肠核磁肿瘤状态图像语义特征向量和训练胸腹盆增强CT肿瘤状态图像语义特征向量；
训练时序波动特征提取单元，用于将所述训练血清肿瘤标志物水平数值的时序序列按照时间维度排列为输入向量后，将所述输入向量通过所述基于一维卷积层的血清肿瘤标志物水平时序波动特征提取器以得到训练血清肿瘤标志物水平时序特征向量；
训练注意力空间映射单元，用于将所述训练内镜肿瘤状态图像语义特征向量、所述训练直肠核磁肿瘤状态图像语义特征向量、所述训练胸腹盆增强CT肿瘤状态图像语义特征向量和所述训练血清肿瘤标志物水平时序特征向量通过所述基于全连接层的注意力空间映射器以得到训练映射后内镜肿瘤状态图像语义特征向量、训练映射后直肠核磁肿瘤状态图像语义特征向量、训练映射后胸腹盆增强CT肿瘤状态图像语义特征向量和训练映射后血清肿瘤标志物水平时序特征向量；
训练语义权重值计算单元，用于分别计算所述训练映射后内镜肿瘤状态图像语义特征向量、所述训练映射后直肠核磁肿瘤状态图像语义特征向量、所述训练映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述训练映射后血清肿瘤标志物水平时序特征向量相对于所述训练映射后内镜肿瘤状态图像语义特征向量、所述训练映射后直肠核磁肿瘤状态图像语义特征向量、所述训练映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述训练映射后血清肿瘤标志物水平时序特征向量的整体的训练单模态语义权重值以得到多个训练单模态语义权重值；
训练融合单元，用于以所述多个训练单模态语义权重值作为权重，来融合所述训练映射后内镜肿瘤状态图像语义特征向量、所述训练映射后直肠核磁肿瘤状态图像语义特征向量、所述训练映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述训练映射后血清肿瘤标志物水平时序特征向量以得到训练多模态肿瘤状态特征向量；
训练分类单元，用于将所述训练多模态肿瘤状态特征向量通过分类器以得到分类损失函数值；
训练单元，用于以所述分类损失函数值来对所述基于卷积神经网络模型的肿瘤状态图像语义特征提取器、所述基于一维卷积层的血清肿瘤标志物水平时序波动特征提取器、所述基于全连接层的注意力空间映射器和所述分类器进行训练，其中，在所述训练的每一轮迭代中，对所述训练多模态肿瘤状态特征向量进行优化。
9.一种基于特征挖掘的多模态医学数据分析方法，其特征在于，包括：
获取待分析患者的多模态医学数据；
对所述多模态医学数据进行特征提取以得到内镜肿瘤状态图像语义特征向量、直肠核磁肿瘤状态图像语义特征向量、胸腹盆增强CT肿瘤状态图像语义特征向量和血清肿瘤标志物水平时序特征向量；
对所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量进行空间映射和基于单模态语义权重的交互融合以得到多模态肿瘤状态特征向量；
基于所述多模态肿瘤状态特征向量，确定所述待分析患者达到病理缓解的几率；
其中，对所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量进行空间映射和基于单模态语义权重的交互融合以得到多模态肿瘤状态特征向量，包括：
空间映射单元，用于将所述内镜肿瘤状态图像语义特征向量、所述直肠核磁肿瘤状态图像语义特征向量、所述胸腹盆增强CT肿瘤状态图像语义特征向量和所述血清肿瘤标志物水平时序特征向量映射到同一个注意力空间以得到映射后内镜肿瘤状态图像语义特征向量、映射后直肠核磁肿瘤状态图像语义特征向量、映射后胸腹盆增强CT肿瘤状态图像语义特征向量和映射后血清肿瘤标志物水平时序特征向量；
语义权重值计算单元，用于分别计算所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量相对于所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量的整体的单模态语义权重值以得到多个单模态语义权重值；
融合单元，用于以所述多个单模态语义权重值作为权重，来融合所述映射后内镜肿瘤状态图像语义特征向量、所述映射后直肠核磁肿瘤状态图像语义特征向量、所述映射后胸腹盆增强CT肿瘤状态图像语义特征向量和所述映射后血清肿瘤标志物水平时序特征向量以得到所述多模态肿瘤状态特征向量。
CN202410008185.4A 2024-01-04 2024-01-04 基于特征挖掘的多模态医学数据分析系统及方法 Active CN117524501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410008185.4A CN117524501B (zh) 2024-01-04 2024-01-04 基于特征挖掘的多模态医学数据分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410008185.4A CN117524501B (zh) 2024-01-04 2024-01-04 基于特征挖掘的多模态医学数据分析系统及方法

Publications (2)

Publication Number Publication Date
CN117524501A true CN117524501A (zh) 2024-02-06
CN117524501B CN117524501B (zh) 2024-03-19

Family

ID=89744280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410008185.4A Active CN117524501B (zh) 2024-01-04 2024-01-04 基于特征挖掘的多模态医学数据分析系统及方法

Country Status (1)

Country Link
CN (1) CN117524501B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111599464A (zh) * 2020-05-13 2020-08-28 吉林大学第一医院 基于直肠癌影像组学研究的新型多模态融合辅助诊断方法
CN113870259A (zh) * 2021-12-02 2021-12-31 天津御锦人工智能医疗科技有限公司 多模态医学数据融合的评估方法、装置、设备及存储介质
CN114882282A (zh) * 2022-05-16 2022-08-09 福州大学 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法
CN114974575A (zh) * 2022-07-11 2022-08-30 中国科学院软件研究所 基于多特征融合的乳腺癌新辅助化疗疗效预测装置
CN115036002A (zh) * 2021-11-12 2022-09-09 广州医科大学附属第一医院（广州呼吸中心） 一种基于多模态融合模型的治疗效果预测方法及终端设备
CN115312198A (zh) * 2022-06-29 2022-11-08 河南省人民医院 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统
CN116994745A (zh) * 2023-09-27 2023-11-03 中山大学附属第六医院 一种基于多模态模型的癌症患者预后预测方法及装置
CN117079801A (zh) * 2023-08-17 2023-11-17 中山大学附属第六医院 一种结直肠癌的预后风险预测系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111599464A (zh) * 2020-05-13 2020-08-28 吉林大学第一医院 基于直肠癌影像组学研究的新型多模态融合辅助诊断方法
CN115036002A (zh) * 2021-11-12 2022-09-09 广州医科大学附属第一医院（广州呼吸中心） 一种基于多模态融合模型的治疗效果预测方法及终端设备
CN113870259A (zh) * 2021-12-02 2021-12-31 天津御锦人工智能医疗科技有限公司 多模态医学数据融合的评估方法、装置、设备及存储介质
CN114882282A (zh) * 2022-05-16 2022-08-09 福州大学 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法
CN115312198A (zh) * 2022-06-29 2022-11-08 河南省人民医院 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统
CN114974575A (zh) * 2022-07-11 2022-08-30 中国科学院软件研究所 基于多特征融合的乳腺癌新辅助化疗疗效预测装置
CN117079801A (zh) * 2023-08-17 2023-11-17 中山大学附属第六医院 一种结直肠癌的预后风险预测系统
CN116994745A (zh) * 2023-09-27 2023-11-03 中山大学附属第六医院 一种基于多模态模型的癌症患者预后预测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周涛;陆惠玲;陈志强;马竟先;: "多模态医学影像融合识别技术研究进展", 生物医学工程学杂志, no. 05, 25 October 2013 (2013-10-25) *
张娅楠;赵涓涓;赵鑫;张小龙;王三虎;: "多模态融合下长时程肺部病灶良恶性预测方法", 计算机工程与应用, no. 10, 3 September 2018 (2018-09-03) *
梁蒙蒙;周涛;夏勇;张飞飞;杨健;: "基于随机化融合和CNN的多模态肺部肿瘤图像识别", 南京大学学报(自然科学), no. 04, 30 July 2018 (2018-07-30) *

Also Published As

Publication number Publication date
CN117524501B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
Amin et al. Quantum machine learning architecture for COVID-19 classification based on synthetic data generation using conditional adversarial neural network
JP6522161B2 (ja) ディープラーニングに基づく医療データ分析方法及びそのインテリジェントアナライザー
Sahu et al. FINE_DENSEIGANET: Automatic medical image classification in chest CT scan using Hybrid Deep Learning Framework
He et al. Multi-label ocular disease classification with a dense correlation deep neural network
Ahmed et al. Using Machine Learning via Deep Learning Algorithms to Diagnose the Lung Disease Based on Chest Imaging: A Survey.
CN112768072A (zh) 基于影像组学定性算法构建癌症临床指标评估系统
Rajasekar et al. Lung cancer disease prediction with CT scan and histopathological images feature analysis using deep learning techniques
Lanjewar et al. Lung cancer detection from CT scans using modified DenseNet with feature selection methods and ML classifiers
Chen et al. A deep-learning based ultrasound text classifier for predicting benign and malignant thyroid nodules
Lv et al. Development and validation of a clinically applicable deep learning strategy (HONORS) for pulmonary nodule classification at CT: a retrospective multicentre study
Wang et al. Semantic-powered explainable model-free few-shot learning scheme of diagnosing COVID-19 on chest x-ray
El-Feshawy et al. IoT framework for brain tumor detection based on optimized modified ResNet 18 (OMRES)
Sun et al. Two‐view attention‐guided convolutional neural network for mammographic image classification
Guo et al. Unsupervised learning composite network to reduce training cost of deep learning model for colorectal cancer diagnosis
Mendoza et al. Application of data mining techniques in diagnosing various thyroid ailments: a review
Hu et al. Automatic detection of melanins and sebums from skin images using a generative adversarial network
Wang et al. Evaluation of malignancy of lung nodules from CT image using recurrent neural network
Gharibdousti et al. Breast cancer diagnosis using feature extraction techniques with supervised and unsupervised classification algorithms
CN117524501B (zh) 基于特征挖掘的多模态医学数据分析系统及方法
Alkhushayni et al. The application of differing machine learning algorithms and their related performance in detecting skin cancers and melanomas
Wang et al. Deep‐learning‐based renal artery stenosis diagnosis via multimodal fusion
Abbas et al. Enhanced Skin Disease Diagnosis through Convolutional Neural Networks and Data Augmentation Techniques
Gowri et al. An improved classification of MR images for cervical cancer using convolutional neural networks
Fettah et al. Deep learning model for magnetic resonance imaging brain tumor recognition
Dawood et al. Brain Tumors Detection using Computed Tomography Scans Based on Deep Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant