CN114983341A - 基于多模态特征融合的阿尔茨海默病多分类预测系统 - Google Patents

基于多模态特征融合的阿尔茨海默病多分类预测系统 Download PDF

Info

Publication number
CN114983341A
CN114983341A CN202210577602.8A CN202210577602A CN114983341A CN 114983341 A CN114983341 A CN 114983341A CN 202210577602 A CN202210577602 A CN 202210577602A CN 114983341 A CN114983341 A CN 114983341A
Authority
CN
China
Prior art keywords
data
feature
module
alzheimer
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210577602.8A
Other languages
English (en)
Inventor
潘乔
陈德华
王梅
丁可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN202210577602.8A priority Critical patent/CN114983341A/zh
Publication of CN114983341A publication Critical patent/CN114983341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Fuzzy Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Neurosurgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多模态特征融合的阿尔茨海默病多分类预测系统，多模态数据特征预处理模块，对阿尔茨海默病患者的MRI图像数据，进行配准与颅骨剥离的预处理以及灰质层特征提取处理，得到的图像数据与灰质层的指标数据两类，进一步得到指标特征数据集，最后通过多模态数据的特征提取模块获取预测模型所需的优质特征子集。疾病分类预测模块，提出了一个用于融合多模态数据的多注意力融合模块。通过考虑各模态特征的权重分配，通过使用自我注意机制来学习不同模态之间的相关性，以进行数据融合。本发明充分利用了阿尔茨海默病患者数据的类型及使用的质量，使得模型更专注于重要特征，从而提高了模型的性能。

Description

基于多模态特征融合的阿尔茨海默病多分类预测系统
技术领域
本发明涉及医疗设备技术领域，特别是涉及一种基于多模态特征融合的阿尔茨海默病多分类预测系统。
背景技术
阿尔茨海默病(Alzheimer's Disease,AD)是一种在老年群体中普遍发生的神经性疾病，俗称老年痴呆症，简称AD，它与年龄高度相关并且发病过程不可逆。据最新研究报告显示，全球AD患者数量正逐年增长，预计到2050年患者人数将由2018年的约5000万例增加到1.52亿。有研究表明AD患者可能在出现症状之前的二十多年甚至更长的时间节点内就已经患病了，并且在随后的1到6年之中，大脑的部分区域会出现一些患者无法感知的细微变化，随着病情的不断发展，患者在患病后期会伴随着不同程度的身体机能的改变与退化，导致患者逐渐丧失日常生活的自理能力。AD疾病的发生显著降低了人们的生活质量以及患者的预期寿命。
在临床上，通常将AD病情的发展分为正常受试者(Cognitively Normal,CN)、轻度认知障碍患者(Mild Cognitive Impairment,MCI)与AD患者这3个阶段。其中，MCI是介于CN和AD之间的一种中间状态，这个阶段患者的认知功能会有轻度的衰退,但日常生活能力没有受到明显干扰，同时MCI向AD的年转化率高达10％-15％。因此，能够准确区分出患者所处的不同阶段，特别是筛选出MCI阶段的患者，对于医生通过药物治疗来延缓AD患者病情的发展起着至关重要的作用。
神经影像学数据被广泛应用于各类疾病的诊断，通过对大脑相关区域的成像数据进行研究分析已经成为相关领域研究的主要方式。磁共振成像(MRI)是一种无创的成像技术，其最大优势在于能够得到较高的空间分辨率，而图像数据的细节清晰度对于疾病诊断至关重要，因此MRI也被广泛应用于AD疾病相关的研究诊断或者用于了解患者大脑的相关变化。
在实际的临床诊断过程中，医生主要是通过结合各项临床指标数据与图像数据进行综合分析，然后根据自身的临床经验做出对疾病结果的诊断。这些指标数据主要包括神经心理学评估量表(如简易智力状态检查量表(MMSE)、临床痴呆评定量表总分(CDRSB)等)、基因数据、神经影像学、生物标志物信息等。从整个诊断过程可以看出，医生需要综合分析多项检查数据才能给出诊断结果。但是医生对庞大的数据集进行分析，存在一定的主观性，且过程耗时耗力，例如一个MRI图像数据需要经过医生的目测估计与测量，包括关键区域的体积与面积，然后通过处理得到的量化数据以及图像变化信息综合分析得到结论，再结合繁杂冗余的临床指标数据进行综合分析给出诊断。随着计算机技术在医学领域的不断发展，近年来大量研究利用人工智能技术对AD患者的MRI图像和临床检测指标数据进行建模分析，预测AD的疾病类型。这在一定程度上简化了医生的复杂诊断流程，医生可以利用这些技术作为辅助工具帮助分析数据，以便更快找到患者数据中所隐含的患病信息用作诊断依据。这不仅提高了信息的利用率，还能关注到容易被忽略的细微变化，提高诊断效率和质量。随着人工智能技术在医疗诊断方向的不断发展，许多成熟的模型也不断地被用到医院的实际诊断过程中，给专家提供诊断参考。
从实际的临床诊断流程来看，利用多模态数据进行综合诊断更加贴合实际的临床诊断需求，所提供的辅助诊断信息也更具信服力。多模态技术利用目标对象不同角度的描述信息来预测目标，相较于单模态研究而言，能够充分利用不同模态数据间的互补信息提高预测性能。对AD疾病来说，现有许多研究仅通过图像数据进行研究，但也有部分学者结合多种图像数据(MRI和PET等)或图像数据加临床指标数据进行研究并取得不错的效果，这表明了应用多模态技术综合考虑与分析不同模态数据，可以有效学习到它们之间提供的互补信息提高模型性能。这对于推进建立快速精准的智能医疗体系，具有理论意义和应用价值。
发明内容
本发明所要解决的技术问题是提供一种基于阿尔茨海默病患者多模态数据的分类诊断预测系统，能够有效提高医学数据稀缺的背景下利用利用少量数据达到较高的预测精度。
本发明解决其技术问题所采用的技术方案是：提供一种利用深度学习算法与特征选择方法进行多模态数据的预处理，进而利用具有注意力机制的深度学习算法进行阿尔茨海默病的多分类预测系统，主要包括：阿尔茨海默病患者的图像与指标数据的预处理模块，以及多模态数据的融合分类预测模块，即基于注意力机制的深度学习算法模块。对于患者检查时获取的原始sMRI图像(通常所说的MRI图像一般是指sMRI)与临床检测指标数据，基于提出的多模态数据特征提取模块框架可以得到不同模态对应的具有代表性的低维特征向量，然后通过融合模块获取到的特征向量基于softmax进行分类预测。
一种基于多模态特征融合的阿尔茨海默病多分类预测系统，包括：
用于采集阿尔茨海默病患者的图像与指标数据集的多模态数据特征预处理模块；
利用多模态特征融合的阿尔茨海默病疾病分类预测模块。
优选的是，本发明的多模态数据特征预处理模块，首先对阿尔茨海默病患者的sMRI图像数据，通过开源软件Freesurfer进行配准与颅骨剥离的预处理以及灰质层特征提取处理，得到的图像数据与灰质层的两类指标数据；然后，组合患者临床指标数据与灰质层指标数据为指标数据；最后通过多模态数据的特征提取模块获取预测模型所需的优质特征子集。
优选的是，本发明的灰质层特征提取方法，是通过开源软件Freesurfer进行配准与颅骨剥离的预处理以及进一步进行分割灰质层处理，通过不同精度的ROI模板统计灰质层对应的形态学指标数据；选取患者临床指标数据中第一次记录的数值进行缺失值预处理，并与图像的形态学指标组合构成研究所需的指标特征数据集。
优选的是，本发明的多模态数据特征预处理模块包括：构建了通道注意力网络模块，将上述预处理的图像数据作为输入训练提取特征向量，作为后续融合模型的图像模态输入数据；其次构建了一种特征选择策略用于筛选高维指标数据，根据数据的特点通过低方差与高相关滤波来剔除患者特征之间冗余的部分，基于信息增益+沙普利附加解释的组合模型挑选出相对分类标签高度相关且重要性高的特征子集，作为融合模型的指标模态输入数据。
优选的是，本发明构建通道注意力网络模块，通过微调C3D模型学习图像特征，引入SE模块，将SE模块加在每一层的卷积池化层之后继续微调超参数，通过训练好的模型获取学习到的特征向量。
优选的是，本发明构建一个特征选择策略，通过预处理之后得到的指标特征数据集，从数据本身特点以及数据与预测结果之间的影响关系提出一种特征选择策略，具体步骤如下：
基于低方差滤波与高相关滤波从数据本身出发有效筛除部分冗余的指标特征；
对滤波方式处理得到的特征子集，首先从相关性角度通过信息增益计算每个特征与目标类别之间的相关性程度，然后设置阈值剔除掉不相关特征对模型性能的影响；
基于信息增益筛选得到的子集通过SHAP框架获取所有特征相对于目标类别之间的重要性程度排名，选择排名靠前的特征作为融合模型的输入。
优选的是，本发明的疾病分类预测模块包括建立多注意力融合模块，针对图像与指标数据的差异性，建立一个用于融合多模态数据的多注意力融合模块，将前面图像和指标特征数据集中提取特征向量组作为多注意力融合模块模块的输入数据，基于多头注意力模块计算不同模态对应模型的不同权值；基于softmax分类器进行阿尔茨海默病疾病的分类预测。
有益效果
由于采用了上述的技术方案，本发明与传统技术相比，具有以下的优点和积极效果：本发明针对阿尔茨海默病患者的图像检测数据(磁共振成像)与临床检测指标数据，利用深度学习算法进行预处理，得到的不同模态特征向量可以使模型获得更高的性能；本发明基于深度学习框架充分利用患者的各种检查数据，一方面更加贴近实际的临床诊断需求，更具说服力，其次对于图像的处理，降低了人工工作强度，同时有效提高识别精度减小误差；本发明结合互联网、大数据挖掘、机器学习和深度学习等计算机知识，达到了阿尔茨海默病预测的全面信息化、客观化、标准化，提高了患者的预测准确性；本发明得出的预测结果可以为临床医疗诊断提供参考，以安排后续治疗，从而降低了漏诊率和误诊率，实现了医疗资源的合理利用。
附图说明
图1为本发明基于多模态特征融合的阿尔茨海默病多分类预测系统的总体框图；
图2为本发明中多模态数据特征提取的基本框架图；
图3为本发明中通道注意力网络子模块基本框架图；
图4为本发明中特征选择策略子模块基本框架图；
图5为本发明中多模态数据的融合分类预测模块基本框架图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的一种基于多模态特征融合的阿尔茨海默病多分类预测系统，利用深度学习算法对阿尔茨海默病患者的各种检查数据进行处理与学习，构建融合模型对患者进行疾病预测，包括：1)基于阿尔茨海默病患者的图像与指标数据集的多模态数据特征预处理模块。该模块主要从患者的图像与指标数据两个角度进行数据处理。首先对阿尔茨海默病患者的sMRI图像数据，通过开源软件Freesurfer进行配准与颅骨剥离等预处理以及灰质层特征提取处理，得到的图像数据与灰质层的指标数据两类。然后，组合患者临床指标数据与灰质层统计数据构成指标特征数据集；最后通过多模态数据的特征提取模块获取预测模型所需的优质特征子集。该模块用于将不同模态的数据根据其自身数据特点进行处理得到融合模型所需要的规范化的数据类型。2)多模态特征融合的阿尔茨海默病疾病分类预测模块，该模块提出了一个多注意力融合模块MAFM(Multi-Attention-Fusion Module)用于融合多模态数据。通过考虑各模态特征的权重分配，MAFM通过使用自我注意机制来学习不同模态之间的相关性，以进行数据融合。该模块用于建立阿尔茨海默病疾病预测模型，得到预测结果。
结合图1，本发明的总体框架主要分为三大模块。首先，将患者的结构态MRI图像数据(sMRI)以及对应的临床指标数据作为原始数据集，通过处理后构建图像与指标两个模态的数据；其次，针对两种模态数据提出对应的模型方法CAN(Channel Attention Network)以及特征选择策略用于多模态的特征提取；最后，将得到的两组向量经由BN层(BatchNormalizing)处理后再通过对应的Embedding模块进行编码，使其符合MAFM模块的输入向量要求。将处理得到的特征向量作为融合模块的输入，构建多注意力融合模块MAFM；最后将融合后的向量通过softmax分类器进行分类预测。
结合图2，实现了基于患者图像与指标数据的预处理工作以及构建多模态数据特征预处理模块。图像数据处理主要可以分两步，首先将sMRI数据进行常规配准与颅骨剥离等处理后得到模型训练所需的维度，然后对处理后的图像数据进一步分割脑区灰质皮层，通过开源软件Freesurfer统计对应于灰质层的表面积、体积以及皮层厚度数据统称为形态学特征，最后将形态学特征与临床指标数据综合得到指标特征数据集。
针对预处理之后的图像与指标数据，为了使得后续融合模型能够输入相同的数据类型，本发明提出一种多模态数据特征提取模块。该模块针对图像与指标数据本身的特点提出两个子模块：对于sMRI图像构建一个基于3DCNN改进的通道注意力网络CAN，该网络直接将预处理后的sMRI图像作为输入，经过训练提取出图像模态的特征向量；对于指标特征数据集构建一个特征选择策略。
结合图3，构建通道注意力网络模块。由于sMRI图像数天然的高维信息，基于切片方式会损失图像空间维度信息，本发明为了充分利用图像中的原始信息来对疾病进行诊断，提出了CAN，其主要步骤是：首先通过微调C3D模型使得模型能够较好学习图像特征，然后在微调模型的基础上引入SE模块，将SE模块加在每一层的卷积池化层之后继续微调超参数，最后通过训练好的模型获取学习到的特征向量。对应图3中SE模块的左右给出了对通道进行加权的不同表示，基于叠加的卷积层、池化层以及SE模块的处理后再通过3层全连接层提取最终的特征向量表示。
结合图4，构建一个特征选择策略。结合上述图2的介绍，图4中的Clinical Data对应前文所提的临床指标，其包含的信息为一些临床的基本检测数据，包括基本信息、神经影像学以及神经心理学等，Indicators对应组合处理后的指标特征数据集，其包含图像的灰质层形态学特征以及筛选的临床特征。本发明从数据本身特点以及数据与预测结果之间的影响关系提出一种特征选择策略，该策略的实现的具体步骤如下：
步骤1：基于低方差滤波与高相关滤波可以从数据本身出发有效筛除部分冗余的指标特征。
步骤2：对滤波方式处理得到的特征子集，首先从相关性角度通过信息增益IG计算每个特征与目标类别之间的相关性程度，然后设置阈值剔除掉不相关特征对模型性能的影响。
步骤3：基于IG筛选得到的子集，从重要性角度考虑，通过SHAP框架获取所有特征相对于目标类别之间的重要性程度排名，选择排名靠前的特征作为融合模型的输入。
Figure BDA0003662779270000091
Figure BDA0003662779270000101
结合图5，构建多模态特征融合的阿尔茨海默病疾病分类预测模块。该模块是利用自注意力机制对来自不同模态特征进行加权分析，最后融合加权后的特征向量用于模型的训练与预测任务，以提高模型的准确率与泛化能力。首先通过前文所提出的两组子模型分别从图像和指标特征数据集中提取特征向量组，并作为MAFM模块的输入数据，然后基于softmax分类器进行分类预测。最后，将该模型与常见的融合模型进行对比表明方法的优越性，并基于完整模型结果与现有研究文献结果进行比较证明模型框架对研究具有一定的价值。
通过实验结果表明，本发明可以高效利用患者的多模态数据综合分析，有效地提高了阿尔茨海默病患者多分类预测精度，同时模型能够支持高维图像的直接输入，更加符合临床诊断实际，所得到的预测结果对于医生的辅助诊断更具信服力。

Claims (7)

1.一种基于多模态特征融合的阿尔茨海默病多分类预测系统，其特征在于包括：
用于采集阿尔茨海默病患者的图像与指标数据集的多模态数据特征预处理模块；
利用多模态特征融合的阿尔茨海默病疾病分类预测模块。
2.根据权利要求1所述的阿尔茨海默病多分类预测系统，其特征在于，多模态数据特征预处理模块，首先对阿尔茨海默病患者的MRI图像数据，通过开源软件Freesurfer进行配准与颅骨剥离的预处理以及灰质层特征提取处理，得到的图像数据与灰质层的两类指标数据；然后，组合患者临床指标数据与灰质层指标数据为指标数据；最后通过多模态数据的特征提取模块获取预测模型所需的优质特征子集。
3.根据权利要求2所述的阿尔茨海默病多分类预测系统，其特征在于，所述灰质层特征提取方法，是通过开源软件Freesurfer进行配准与颅骨剥离的预处理以及进一步进行分割灰质层处理，通过不同精度的ROI模板统计灰质层对应的形态学指标数据；选取患者临床指标数据中第一次记录的数值进行缺失值预处理，并与图像的形态学指标组合构成研究所需的指标特征数据集。
4.根据权利要求2所述的阿尔茨海默病多分类预测系统，其特征在于，所述多模态数据特征预处理模块包括：构建了通道注意力网络模块，将上述预处理的图像数据作为输入训练提取特征向量，作为后续融合模型的图像模态输入数据；其次构建了一种特征选择策略用于筛选高维指标数据，根据数据的特点通过低方差与高相关滤波来剔除患者特征之间冗余的部分，基于信息增益+沙普利附加解释的组合模型挑选出相对分类标签高度相关且重要性高的特征子集，作为融合模型的指标模态输入数据。
5.根据权利要求4所述的阿尔茨海默病多分类预测系统，其特征在于，构建通道注意力网络模块，通过微调C3D模型学习图像特征，引入SE模块，将SE模块加在每一层的卷积池化层之后继续微调超参数，通过训练好的模型获取学习到的特征向量。
6.根据权利要求1所述的阿尔茨海默病多分类预测系统，其特征在于，构建一个特征选择策略，通过预处理之后得到的指标特征数据集，从数据本身特点以及数据与预测结果之间的影响关系提出一种特征选择策略，具体步骤如下：
基于低方差滤波与高相关滤波从数据本身出发有效筛除部分冗余的指标特征；
对滤波方式处理得到的特征子集，首先从相关性角度通过信息增益计算每个特征与目标类别之间的相关性程度，然后设置阈值剔除掉不相关特征对模型性能的影响；
基于信息增益筛选得到的子集通过SHAP框架获取所有特征相对于目标类别之间的重要性程度排名，选择排名靠前的特征作为融合模型的输入。
7.根据权利要求1所述的阿尔茨海默病多分类预测系统，其特征在于，疾病分类预测模块包括建立多注意力融合模块，针对图像与指标数据的差异性，建立一个用于融合多模态数据的多注意力融合模块，将前面图像和指标特征数据集中提取特征向量组作为多注意力融合模块模块的输入数据，基于多头注意力模块计算不同模态对应模型的不同权值；基于softmax分类器进行阿尔茨海默病疾病的分类预测。
CN202210577602.8A 2022-05-25 2022-05-25 基于多模态特征融合的阿尔茨海默病多分类预测系统 Pending CN114983341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210577602.8A CN114983341A (zh) 2022-05-25 2022-05-25 基于多模态特征融合的阿尔茨海默病多分类预测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210577602.8A CN114983341A (zh) 2022-05-25 2022-05-25 基于多模态特征融合的阿尔茨海默病多分类预测系统

Publications (1)

Publication Number Publication Date
CN114983341A true CN114983341A (zh) 2022-09-02

Family

ID=83029592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210577602.8A Pending CN114983341A (zh) 2022-05-25 2022-05-25 基于多模态特征融合的阿尔茨海默病多分类预测系统

Country Status (1)

Country Link
CN (1) CN114983341A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556265A (zh) * 2024-01-11 2024-02-13 中国医学科学院医学信息研究所 一种检测指标预测方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556265A (zh) * 2024-01-11 2024-02-13 中国医学科学院医学信息研究所 一种检测指标预测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN113040715B (zh) 一种基于卷积神经网络的人脑功能网络分类方法
CN109447183B (zh) 预测模型训练方法、装置、设备以及介质
CN111488914B (zh) 一种基于多任务学习的阿尔茨海默症分类及预测系统
CN109528197B (zh) 基于脑功能图谱进行精神疾病的个体化预测方法和系统
KR101929965B1 (ko) Relm과 pca 특징을 이용한 구조적 mri 영상 기반의 치매 진단 방법 및 그 장치
Luo et al. Retinal image classification by self-supervised fuzzy clustering network
Liu et al. Voxelhop: Successive subspace learning for als disease classification using structural mri
CN108596228B (zh) 一种基于无监督模糊系统的脑功能磁共振图像分类方法
CN108520283B (zh) 一种基于脑区间接关系网络构建的医学图像分类方法
Tyagi et al. Towards artificial intelligence in mental health: a comprehensive survey on the detection of schizophrenia
CN115496953A (zh) 基于时空图卷积的脑网络分类方法
Pan et al. Multi-classification prediction of Alzheimer’s disease based on fusing multi-modal features
Xin et al. Epilepsy EEG classification based on convolution support vector machine
Zuo et al. A prior guided adversarial representation learning and hypergraph perceptual network for predicting abnormal connections of Alzheimer's disease
CN114983341A (zh) 基于多模态特征融合的阿尔茨海默病多分类预测系统
CN114300126A (zh) 一种基于早癌筛查问卷与前馈神经网络的癌症预测系统
CN114155952A (zh) 一种老年人群老年痴呆病患病辅助分析系统
Rao et al. A Review on Alzheimer’s disease through analysis of MRI images using Deep Learning Techniques
CN116597214A (zh) 基于多模态超图注意网络的阿尔茨海默症分类方法及系统
CN111652843A (zh) 一种基于核磁共振结构影像加权的决策支持方法及系统
CN113723485B (zh) 一种轻微肝性脑病脑影像超图处理方法
Pallawi et al. Study of Alzheimer’s disease brain impairment and methods for its early diagnosis: a comprehensive survey
CN114926396A (zh) 一种精神障碍类磁共振图像初步筛查模型构建方法
Alharthi et al. Do it the transformer way: A comprehensive review of brain and vision transformers for autism spectrum disorder diagnosis and classification
Qiao et al. A fusion of multi-view 2D and 3D convolution neural network based MRI for Alzheimer’s disease diagnosis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination