CN116452592A - 脑血管病ai认知功能评测模型的构建方法、装置及系统 - Google Patents
脑血管病ai认知功能评测模型的构建方法、装置及系统 Download PDFInfo
- Publication number
- CN116452592A CN116452592A CN202310718870.1A CN202310718870A CN116452592A CN 116452592 A CN116452592 A CN 116452592A CN 202310718870 A CN202310718870 A CN 202310718870A CN 116452592 A CN116452592 A CN 116452592A
- Authority
- CN
- China
- Prior art keywords
- data
- features
- model
- magnetic resonance
- resonance imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003920 cognitive function Effects 0.000 title claims abstract description 79
- 210000004556 brain Anatomy 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013210 evaluation model Methods 0.000 title claims abstract description 46
- 208000019553 vascular disease Diseases 0.000 title claims abstract description 34
- 238000002595 magnetic resonance imaging Methods 0.000 claims abstract description 55
- 208000024891 symptom Diseases 0.000 claims abstract description 49
- 208000026106 cerebrovascular disease Diseases 0.000 claims abstract description 45
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000007781 pre-processing Methods 0.000 claims abstract description 34
- 230000002490 cerebral effect Effects 0.000 claims abstract description 26
- 230000003557 neuropsychological effect Effects 0.000 claims abstract description 22
- 238000012795 verification Methods 0.000 claims abstract description 18
- 238000012216 screening Methods 0.000 claims abstract description 13
- 230000009467 reduction Effects 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 31
- 238000012360 testing method Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000000611 regression analysis Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000005481 NMR spectroscopy Methods 0.000 claims description 2
- 230000000284 resting effect Effects 0.000 claims 6
- 238000011156 evaluation Methods 0.000 abstract description 13
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000010606 normalization Methods 0.000 description 10
- 208000010877 cognitive disease Diseases 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 208000028698 Cognitive impairment Diseases 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 206010012289 Dementia Diseases 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 208000037820 vascular cognitive impairment Diseases 0.000 description 3
- 208000024827 Alzheimer disease Diseases 0.000 description 2
- 101150066038 E4 gene Proteins 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- IBOFVQJTBBUKMU-UHFFFAOYSA-N 4,4'-methylene-bis-(2-chloroaniline) Chemical compound C1=C(Cl)C(N)=CC=C1CC1=CC=C(N)C(Cl)=C1 IBOFVQJTBBUKMU-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241001112258 Moca Species 0.000 description 1
- 101100202644 Parasynechococcus marenigrum (strain WH8102) bsmB gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000007792 alzheimer disease pathology Effects 0.000 description 1
- 201000007201 aphasia Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 208000013677 cerebrovascular dementia Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 208000024714 major depressive disease Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 208000027061 mild cognitive impairment Diseases 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010855 neuropsychological testing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012030 stroop test Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 231100000216 vascular lesion Toxicity 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种脑血管病AI认知功能评测模型的构建方法、装置及其系统。首先进行数据采集，并构建数据集；然后进行数据预处理；并划分出训练集和验证集；接着对预处理后的脑血管病患者临床症候文本数据进行特征筛选；然后构建脑血管病AI认知功能评测模型，分别提取多模态脑MRI数据中的sMRI特征和rs‑fMRI特征并进行特征降维，随后将sMRI特征、rs‑fMRI特征和临床症候文本特征进行融合，并将融合后的特征输入LightGBM模型，通过对模型进行训练和验证，得到最优的脑血管病AI认知功能评测模型。本发明解决了现有神经心理量表评测技术中对于脑血管病患者认知功能评估较为主观、准确性不高和效率低下的技术问题。
Description
技术领域
本发明涉及人工智能医疗技术领域，尤其涉及脑血管病AI认知功能评测模型的构建方法、装置及系统。
背景技术
血管性认知障碍（vascular cognitive impairment, VCI）是指脑血管病变及其危险因素导致或促进认知功能损害的一组异质性疾病，涵盖了从轻度认知障碍到痴呆，也包括合并阿尔兹海默病（(Alzheimer’s disease, AD）等混合性病理所致的不同严重程度的认知障碍。流行病学数据显示，脑血管疾病是仅次于AD病理的认知障碍和痴呆第二常见原因。因此，针对血管因素的干预策略是痴呆与认知障碍防治的关键。VCI诊断的要点之一是明确脑血管病患者是否存在认知功能受损。目前，患者认知功能的评估通常采用以认知功能评测量表为主的综合神经心理学评估，但其是否可以客观准确的反映由血管性脑损伤引起的认知障碍和其严重程度是目前VCI评估的一项重要挑战。此外，人工智能技术可以通过利用大量的复杂数据来实现对疾病的评估，近年来它已被应用于痴呆的诊断和认知功能评估。
本申请发明人在实施本发明的过程中，发现现有技术至少存在如下技术问题：
最新的VICCCS指南指出，VCI的认知功能评估需要综合患者的总体认知功能和五个核心认知域。然而，这种详细的神经心理测试在某些特殊情况下可行性较差，例如面对严重抑郁症、严重痴呆、文盲或失语的患者。此外，神经心理学评测必须由训练有素的专业医生进行，否则存在因评估不当而导致误诊、漏诊的风险。另一方面，由于评估者的主观偏倚，神经心理学评估的结果存在很大差异。总而言之，目前基于量表的神经心理学评估不能适用于所有脑血管病患者，且一致性差、受主观因素影响较大，难于定量评测。另外，有研究表明，包括神经影像标志物、血液标志物等客观临床指标与痴呆患者的认知障碍严重程度密切相关。因此，目前需要一种针对脑血管病患者的多维度综合认知功能评测模型，从而实现通过客观的临床指标来反映患者的认知障碍严重程度。
发明内容
本发明的目的在于提供一种针对脑血管病患者的认知功能评测模型的构建方法及装置，用于解决现有技术中认知功能评测较为主观，影响因素多和效率低下的技术问题。
为解决上述技术问题，为本发明提供的技术方案为：
第一方面提供了一种脑血管病AI认知功能评测模型的构建方法，包括：
S1：采集脑血管病患者临床症候文本数据和多模态多模态脑磁共振成像（magnetic resonance imaging, MRI）数据，并构建数据集；
S2：分别对采集的脑血管病患者临床症候文本数据和多模态脑MRI数据进行预处理；
S3：将S1中构建的数据集划分为训练集和验证集；
S4：对预处理后的脑血管病患者临床症候文本数据进行特征筛选，得到临床症候文本特征；
S5：构建脑血管病AI认知功能评测模型，模型包括第一特征提取模块、第二特征提取模块以及特征融合与分类模块，其中，第一特征提取模块通过构建基于视觉Transformer（Vision transformer, ViT）的回归模型用于提取多模态脑MRI数据中的结构磁共振成像（structural magnetic resonance imaging, sMRI）特征，第二特征提取模块通过构建基于核扩散Transformer（Kernelized Diffusion Transformer, KD-Transformer）的回归模型用于提取多模态脑MRI数据中的静息态功能磁共振成像（resting-state functionalmagnetic resonance imaging, rs-fMRI）特征，特征融合与回归模块中将sMRI特征、rs-fMRI特征以及临床症候文本特征进行融合，并将融合后的特征输入LightGBM模型得到回归分析结果；
S6：利用已经划分的训练和验证数据集对构建的脑血管病AI认知功能评测模型进行训练和验证，根据每次训练的结果调整模型参数，最终得到最优的脑血管病AI认知功能评测模型。
在一种实施方式中，多模态脑MRI数据包括sMRI数据和rs-fMRI数据。
在一种实施方式中，第一特征提取模块为构建基于ViT的回归模型，具体处理过程包括：
通过分块模块将输入的多模态脑MRI数据中的sMRI数据拆分为图像块；
通过线性嵌入模块降低图像块的维度，获取转化后的线性特征，然后加入位置编码进行求和；
将求和得到的特征输入Transformer编码器进行特征运算，生成深层网络特征，最后通过多层感知器（Multilayer Perceptron, MLP）映射到神经心理学测试分数上，经过训练和验证后的最优模型中的深度特征作为从多模态脑MRI数据中提取的sMRI特征。
在一种实施方式中，第二特征提取模块的内容为构建基于KD-Transformer的回归模型，具体处理过程包括：
对输入的多模态脑MRI数据中的rs-fMRI数据确定出21对感兴趣区域ROI，提取每个ROI内的核磁共振平均信号作为目标特征Xraw；
对目标特征应用线性嵌入并加入位置编码进行求和；
将求和得到的特征通过KD-Transformer模块，计算核注意力，生成与大脑区域相互作用相关的深度特征，随后将特征向量通过全连接层映射到神经心理学测试分数上，经过训练和验证后的最优模型中的深度特征作为从多模态脑MRI数据中提取的rs-fMRI特征。
在一种实施方式中，特征融合与回归模块的处理过程包括：
将最优的ViT模型和KD-Transformer模型中分别形成的sMRI特征和rs-fMRI特征进行特征降维，形成相应的一维特征；
将降维后的sMRI特征和rs-fMRI特征与步骤S4中筛选后的临床症候文本特征进行拼接，形成多模态特征；
将多模态特征输入LightGBM回归模型中，利用已经划分的训练和验证数据集对模型进行训练和验证，根据每次训练的结果调整模型参数，最终得到最优的回归分析结果。
基于同样的发明构思，第二方面提供了一种脑血管病AI认知功能评测模型的构建装置，包括：
数据采集模块，用于采集脑血管病患者临床症候文本数据和多模态脑MRI数据，并构建数据集；
第一数据预处理模块，用于分别对采集脑血管病患者临床症候文本数据和多模态脑MRI数据进行预处理；
数据划分模块，用于将数据采集模块中构建的数据集划分为训练集和验证集；
特征筛选模块，用于对预处理后的脑血管病患者临床症候文本数据进行特征筛选，得到临床症候文本特征；
模型构建模块，用于构建脑血管病AI认知功能评测模型，模型包括第一特征提取模块、第二特征提取模块、特征融合与回归模块，其中，第一特征提取模块通过构建基于ViT的回归模型用于提取多模态脑MRI数据中的sMRI特征，第二特征提取模块通过构建基于KD-Transformer的回归模型用于提取多模态脑MRI数据中的rs-fMRI特征，特征融合与回归模块将sMRI特征、rs-fMRI特征以及临床症候文本特征进行融合，将融合后的特征输入LightGBM模型中得回归分析结果，利用已经划分的训练和验证数据集对构建的脑血管病AI认知功能评测模型进行训练和验证，最终得到最优的脑血管病AI认知功能评测模型。
基于同样的发明构思，第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现第一方面所述的方法。
基于同样的发明构思，第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。基于同样的发明构思，第五方面提供了一种脑血管病AI认知功能评测系统，包括第一方面中的脑血管病AI认知功能评测模型的构建方法所构建的脑血管病AI认知功能评测模型、数据获取模块和第二数据预处理模块，数据获取模块用于获取待评估患者的数据，第二数据预处理模块用于对获取的待评估患者的数据进行预处理，脑血管病AI认知功能评测模型用于将预处理后的待评估患者的数据输入训练好的脑血管病AI认知功能评测模型，得到预测的神经心理学测试分数。
相对于现有技术，本发明的优点和有益的技术效果如下：
1.目前对认知功能的评测主要专业人员通过复杂的神经心理量表，受患者的精神状态、受教育水平、语言文化背景和测量人员的熟练程度等许多主观因素的影响，耗费人力且难于定量。本发明主要基于患者病史、查体、实验室指标及脑影像等数据，采用人工智能评测认知功能，避免了上述因素的影响，更加全面、客观、便捷、可定量，提高了评测的精准性，降低评测成本。
2.本发明构建的脑血管病AI认知功能评测模型，其中通过构建ViT模型来获取sMRI特征。脑血管病患者的sMRI中通常包含多种不同类型的影像学特征，因而其图像中各部分间的相互关系不可忽视，而ViT中的自注意力模块可以很好的捕捉到图像中的长距离空间依赖关系，相较于目前常用的卷积神经网络，其具有对于图像全局信息的采集的优势。
3. 本发明构建的脑血管病AI认知功能评测模型，其中通过构建KD-Transformer模型来获取rs-fMRI特征。 KD-Transformer网络的核心为核扩散注意力模块，该模块使用了核函数来代替原来注意力模块中的点乘运算，从而形成了新的核注意力机制，减少了需要优化的参数数量，同时有效的模拟了脑区之间的复杂相互作用；此外，该模块将随机漫步整合到网络中，以模拟大脑网络中更广泛的脑区间相互作用。
4. 本发明构建的脑血管病AI认知功能评测模型，其简单、高效，系统响应快速，且有效的融合了sMRI特征、rs-fMRI特征和临床症候文本特征，能够通过多维度的客观数据实现脑血管病患者认知功能的精准评测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中脑血管病AI认知功能评测模型的构建方法的流程示意图；
图2为本发明实施例中ViT网络主干结构示意图；
图3为本发明实施例中KD-Transformer网络主干结构图；
图4为本发明实施例中多模态LightGBM模型结构图；
图5为本发明实施例中脑血管病AI认知功能评测系统的框架图。
具体实施方式
本发明公开了一种脑血管病AI认知功能评测模型的构建方法、装置及其系统。首先进行数据采集，并构建数据集；然后进行数据预处理；并划分出训练集和验证集；接着对预处理后的脑血管病患者临床症候文本数据进行特征筛选；然后构建脑血管病AI认知功能评测模型，分别提取多模态脑MRI数据中的sMRI特征和rs-fMRI特征并进行特征降维，随后将sMRI特征、rs-fMRI特征和临床症候文本特征进行融合，并将融合后的特征输入LightGBM模型，通过对模型进行训练和验证，得到最优的脑血管病AI认知功能评测模型。本发明解决了现有神经心理量表评测技术中对于脑血管病患者认知功能评估较为主观、影响因素多和效率低下的技术问题。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明提供了脑血管病AI认知功能评测模型的构建方法，包括：
S1：采集脑血管病患者临床症候文本数据和多模态MRI数据，并构建数据集；
S2：分别对采集的脑血管病患者临床症候文本数据和多模态脑MRI数据进行预处理；
S3：将S1中构建的数据集划分为训练集和验证集；
S4：对预处理后的脑血管病患者临床症候文本数据进行特征筛选，得到临床症候文本特征；
S5：构建脑血管病AI认知功能评测模型，模型包括第一特征提取模块、第二特征提取模块以及特征融合与分类模块，其中，第一特征提取模块通过构建基于ViT的回归模型用于提取多模态脑磁共振成像MRI数据中的sMRI特征，第二特征提取模块通过构建基于KD-Transformer的回归模型用于提取多模态脑MRI数据中的rs-fMRI特征，特征融合与回归模块中将sMRI特征、rs-fMRI特征以及临床症候文本特征进行融合，并将融合后的特征输入LightGBM模型得到回归分析结果；
S6：利用已经划分的训练和验证数据集对构建的脑血管病AI认知功能评测模型进行训练和验证，根据每次训练的结果调整模型参数，最终得到最优的脑血管病AI认知功能评测模型。
请参见图1，为本发明实施例中脑血管病AI认知功能评测模型的构建方法的流程示意图。
具体来说，临床症候文本信息数据包括人口学特征、脑血管病和痴呆相关危险因素、血液样本检测指标以及神经心理学评估信息等；多模态脑MRI数据包括sMRI的T1、T2-FLIAR序列以及rs-fMRI数据。并在上述数据基础上构建相关数据集，其中神经心理学评估数据作为后续回归模型的目标变量，包括总体认知功能（蒙特利尔认知评估量表（MOCA））、记忆（霍普金斯语言学习测试（HVLT））、语言（语言流畅性测验）、注意力（符号数字转换测试（SDMT））和执行功能（Stroop色词测试）。
步骤S2对多模态MRI数据和临床症候文本数据进行预处理包括对sMRI数据进行预处理和对rs-fMRI数据进行预处理。对sMRI数据的预处理包括：头动校正、配准、空间标准化、去颅骨、零值裁剪、重采样等等操作。对rs-fMRI数据的预处理包括：移除无效回声平面成像体积、时间校正、头动校正、将rs-fMRI数据与T1WI图像共同配准、空间标准化、提取种子点时间序列。临床症候文本数据约有60项相关特征，其中包括连续数据、分类数据和等级数据，其预处理包括缺失、冗余、异常数据处理。最后对多模态MRI数据和临床症候文本数据进行归一化处理。
步骤S3中，将数据集中80%的样本随机选择用于训练，其余20%用于验证，这种随机划分需要重复十次，以获得可靠的统计数据。
步骤S4中，对临床症候文本数据进行特征筛选，包括两个步骤：候选特征排序和顺序正向选择。第一步：建立LightGBM的回归模型，根据对模型性能的贡献对每个特征进行排序，并对Spearman等级关系进行了分层聚类，以解决多重共线性问题。第二步：根据特征排名顺序（由高到低），在LightGBM回归模型中依次添加特征进行回归分析，通过计算平均绝对误差（MAE）、R2值来评估模型性能，当更多的特征加入时，模型性能没有明显改善时停止添加特征，从而获得筛选后的特征。LightGBM算法是目前最流行的机器学习技术之一，是一种集成学习的方法，该方法是基于决策树为基础模型构建的。具体的，LightGBM是从一个弱基础的学习器（决策树）开始，依次训练每个新的决策树，以纠正以前训练的树的错误；通过这种方式，可以将每次预测结果相加以形成整体最终的预测模型。在验证过程中，每个受试者的预测神经心理学测试分数是通过对将每个单独的决策树应用于该受试者所获得的结果进行平均来计算的。
在一种实施方式中，多模态脑MRI数据包括sMRI数据和rs-fMRI数据。
在一种实施方式中，第一特征提取模块为构建基于ViT的回归模型，具体处理过程包括：
通过分块模块将输入的多模态脑MRI数据中的sMRI数据拆分为图像块；
通过线性嵌入模块降低图像块的维度，获取转化后的线性特征，然后加入位置编码进行求和；
将求和得到的特征输入Transformer编码器进行特征运算，生成深层网络特征，最后通过多层感知器（Multilayer Perceptron, MLP）映射到神经心理学测试分数上，经过训练和验证后的最优模型中的深度特征作为从多模态脑MRI数据中提取的sMRI特征。
具体来说，本实施方式中，Vit模型中的核心为L个堆叠的Transformer编码器，Transformer编码器包含归一化层、多头自注意力（Multi-Head Self Attention, MHSA）层和MLP。首先，将位置编码后的图像特征数据通过归一化层进行归一化处理；然后，MHSA层用于捕获所有归一化后的图像块特征之间的交互作用，MHSA由多个自注意力模块（SelfAttention, SA）组成，它们由通道连接在一起，每个SA都有自己的可学习权重矩阵（Wq、Wk、Wv），输入序列 X 通过投影到这些权重矩阵上以获得Q、K、V三个矩阵（Q = XWq、K = XWk和 V= XWv），每个SA形成的矩阵相加，经过线性处理形成特征向量；最后，MHSA中生成的特征向量再次进行归一化处理后通过MLP形成深层特征，再次通过MLP映射到神经心理学测试分数上，在模型训练和验证中通过计算MAE、R2值从而确定最优的回归模型，最优模型中的深层特征则为最终的sMRI特征。
请参见图2，为本发明实施例中ViT网络主干结构图。
Transformer编码器的作用是计算自注意力，生成与图像中的长距离空间依赖关系相关的深度特征。具体地，第一个Transformer编码器的输入为加入位置编码后的线性图像特征，最后一个Transformer编码器输出为用于回归分析的特征向量，其余Transformer编码器以前一个Transformer编码器产生的深度特征作为输入，产生进一步的特征作为输出。
归一化层作用是解决内部协变量偏移，使得每一层的输入分布在训练过程保持一致。MSHA层的作用是对sMRI图像数据中复杂的交互关系进行建模，可以更好的捕捉到大脑各区域结构变化之间的细微特征。MLP的作用是通过隐藏神经元，捕捉到输入数据之间复杂的相互作用，并将输入的多个数据集映射到单一的输出的数据集上。
在一种实施方式中，第二特征提取模块的内容为构建基于KD-Transformer的回归模型，具体处理过程包括：
对输入的多模态脑MRI数据中的rs-fMRI数据确定出21对感兴趣区域ROI，提取每个ROI内的核磁共振平均信号作为目标特征Xraw；
对目标特征应用线性嵌入并加入位置编码进行求和；
将求和得到的特征通过KD-Transformer模块，计算核注意力，生成与大脑区域相互作用相关的深度特征，随后将特征向量通过全连接层映射到神经心理学测试分数上，经过训练和验证后的最优模型中的深度特征作为从多模态脑MRI数据中提取的rs-fMRI特征。
具体来说，本实施方式中， KD-Transformer模型包括L个堆叠的KD-Transformer模块，KD-Transformer模块包含多头KD注意力层、线性层、归一化层以及前馈网络。首先，KD注意力层对输入特征进行核嵌入与线性嵌入，对核嵌入后的特征矩阵执行5次随机游走过程，进行缩放、相加、缩放后由激活函数Softmax处理，并与线性嵌入计算矩阵乘积计算注意力，形成特征向量。KD注意力层生成的特征向量通过线性层、归一化层和前馈神经网络形成深层特征，最后通过全连接层映射到神经心理学测试分数上，在模型训练和验证中通过计算MAE、R2值从而确定最优的回归模型，最优模型中的深层特征则为最终的rs-fMRI特征。
请参见图3，为本发明实施例中KD transformer网络主干结构图。
KD-Transformer模块的作用是计算核注意力，生成与大脑区域相互作用相关的深度特征。具体地，第一个KD-Transformer模块的输入为投影的影像特征与位置编码相加后的结果，最后一个KD-Transformer模块输出为用于回归分析的特征向量，其余KD-Transformer模块以前一个KD-Transformer模块产生的深度特征作为输入，产生进一步的特征作为输出。
多头KD注意力层的作用是对rs-fMRI特征数据中复杂的相互作用进行建模，可以更好地揭示大脑区域之间潜在的联系。线性层的作用是实现对前一层的线性组合或线性变换。归一化层作用是解决内部协变量偏移，使得每一层的输入分布在训练过程保持一致。前馈网络作用是以任意精度逼近任意连续函数及平方可积函数。
在一种实施方式中，特征融合与回归模块的处理过程包括：
将最优的ViT模型和KD-Transformer模型中分别形成的sMRI特征和rs-fMRI特征进行特征降维，形成相应的一维特征；
将降维后的sMRI特征和rs-fMRI特征与步骤S4中筛选后的临床症候文本特征进行拼接，形成多模态特征；
将多模态特征输入LightGBM回归模型中，利用已经划分的训练和验证数据集对模型进行训练和验证，根据每次训练的结果调整模型参数，最终得到最优的回归分析结果。
请参见图4，为本发明实施例中多模态LightGBM模型结构图。
实施例2
基于同样的发明构思，本发明公开了脑血管病AI认知功能评测模型的构建装置，包括：
数据采集模块，用于采集脑血管病患者临床症候文本数据和多模态脑MRI数据，并构建数据集；
第一数据预处理模块，用于分别对采集脑血管病患者临床症候文本数据和多模态脑MRI数据进行预处理；
数据划分模块，用于将上述数据集中的样本划分为训练集和验证集；
特征筛选模块，用于对预处理后的脑血管病患者临床症候文本数据进行特征筛选，得到临床症候文本特征；
模型构建模块，用于构建脑血管病AI认知功能评测模型，模型包括第一特征提取模块、第二特征提取模块、特征融合与回归模块，其中，第一特征提取模块通过构建基于ViT的回归模型用于提取多模态脑MRI数据中的sMRI特征，第二特征提取模块通过构建基于KD-Transformer的回归模型用于提取多模态脑MRI数据中的rs-fMRI特征，特征融合与回归模块将sMRI特征、rs-fMRI特征以及临床症候文本特征进行融合，将融合后的特征输入LightGBM模型中得回归分析结果，利用已经划分的训练和验证数据集对构建的脑血管病AI认知功能评测模型进行训练和验证，最终得到最优的脑血管病AI认知功能评测模型。
由于本发明实施例2所介绍的装置为实施本发明实施例1中脑血管病AI认知功能评测模型的构建方法所采用的装置，故而基于本发明实施例1所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例1中方法所采用的装置都属于本发明所欲保护的范围。
实施例3
基于同一发明构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现如实施例1中所述的方法。
由于本发明实施例3所介绍的计算机可读存储介质为实施本发明实施例1中脑血管病AI认知功能评测模型的构建方法所采用的计算机可读存储介质，故而基于本发明实施例1所介绍的方法，本领域所属人员能够了解该计算机可读存储介质的具体结构及变形，故而在此不再赘述。凡是本发明实施例1的方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
实施例4
基于同一发明构思，本申请还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述程序时实现实施例1中的方法。
由于本发明实施例4所介绍的计算机设备为实施本发明实施例1中脑血管病AI认知功能评测模型的构建方法所采用的计算机设备，故而基于本发明实施例1所介绍的方法，本领域所属人员能够了解该计算机设备的具体结构及变形，故而在此不再赘述。凡是本发明实施例1中方法所采用的计算机设备都属于本发明所欲保护的范围。
实施例5
基于同一发明构思，本发明还提供了脑血管病AI认知功能评测系统，包括实施例1中的脑血管病AI认知功能评测模型的构建方法所构建的脑血管病AI认知功能评测模型、数据获取模块和第二数据预处理模块，数据获取模块用于获取待评估患者的数据，第二数据预处理模块用于对获取的待评估患者的数据进行预处理，脑血管病AI认知功能评测模型用于将预处理后的待评估患者的数据输入训练好的脑血管病AI认知功能评测模型，得到预测的神经心理学测试分数。
具体来说，数据获取模块用于获取待评估患者的数据。具体的，数据获取模块包括影像数据获取模块和临床症候文本数据获取模块。影像数据获取模块与医院影像系统连接，待评估患者完成MRI检查后，将检查者相应的DICOM格式图像上传至影像数据获取模块；临床症候文本数据获取模块与录入设备连接，通过录入设备录入待评估患者的相关临床症候文本信息，录入设备将待评估患者的信息上传至临床症候文本数据获取模块。
第二数据预处理模块用于对待评估患者的数据进行预处理。具体的，第二数据预处理模块包括影像数据预处理模块和临床症候文本数据获取模块。影像数据预处理模块包括：1.将sMRI图像的DICOM格式转换为NIFTI格式；2.对sMRI图像数据进行头动校正、配准、空间标准化、去颅骨、零值裁剪、重采样等处理；3.对rs-fMRI图像数据进行移除无效回声平面成像体积、时间校正、头动校正、与T1WI图像共同配准、空间标准化、提取种子点时间序列等处理。临床症候文本数据预处理模块主要为特征数据的格式化，具体的，对待评估患者特征数据中的分类数据和等级变量给予标签，如性别特征中女性标为“0”，男性标为“1”；APOE4特征中不携带E4基因为“0”, 携带单个E4基因为“1”，=携带两个E4基因为“2”。
脑血管病AI认知功能评测模型与模型训练模块连接，用于获取训练好的机器学习模型；还与第二数据预处理模块连接，用于获取待评估患者已经完成预处理的图像数据和文本数据；还用于根据输入的预处理后的待评估患者的数据，得到待评估脑血管病患者的神经心理学测试分数。
请参见图5，为本发明实施例中脑血管病认知功能评测系统的框架图。
在一种实施方式中，系统还包括显示模块用于显示待评估脑血管病患者的神经心理学测试分数。
由于本发明实施例5所介绍的系统为基于本发明实施例1中脑血管病AI认知功能评测模型的构建方法所构建的脑血管病AI认知功能评测模型实现的系统，故而基于本发明实施例1所介绍的方法，本领域所属人员能够了解该系统的具体结构及变形，故而在此不再赘述。凡是基于本发明实施例1的方法所实现的系统都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (9)
1.脑血管病AI认知功能评测模型的构建方法，其特征在于，包括：
S1：采集脑血管病患者临床症候文本数据和多模态脑磁共振成像数据，并构建数据集；
S2：分别对采集的脑血管病患者临床症候文本数据和多模态脑MRI数据进行预处理；
S3：将S1中构建的数据集划分为训练集和验证集；
S4：对预处理后的脑血管病患者临床症候文本数据进行特征筛选，得到临床症候文本特征；
S5：构建脑血管病AI认知功能评测模型，模型包括第一特征提取模块、第二特征提取模块以及特征融合与分类模块，其中，第一特征提取模块通过构建基于ViT的回归模型用于提取多模态脑磁共振成像MRI数据中的结构磁共振成像特征，第二特征提取模块通过构建基于KD-Transformer的回归模型用于提取多模态脑磁共振成像数据中的静息态功能磁共振成像特征，特征融合与回归模块中将结构磁共振成像特征、静息态功能磁共振成像特征以及临床症候文本特征进行融合，并将融合后的特征输入LightGBM模型得到回归分析结果；
S6：利用已经划分的训练和验证数据集对构建的脑血管病AI认知功能评测模型进行训练和验证，根据每次训练的结果调整模型参数，最终得到最优的脑血管病AI认知功能评测模型。
2.如权利要求1所述的脑血管病AI认知功能评测模型的构建方法，其特征在于，多模态脑磁共振成像数据包括结构磁共振成像数据和静息态功能磁共振成像数据。
3.如权利要求2所述的脑血管病AI认知功能评测模型的构建方法，其特征在于，第一特征提取模块的处理过程包括：
通过分块模块将输入的多模态脑磁共振成像数据中的结构磁共振成像数据拆分为图像块；
通过线性嵌入模块降低图像块的维度，获取转化后的线性特征，然后加入位置编码进行求和；
将求和得到的特征输入Transformer编码器进行特征运算，生成深层网络特征，最后通过多层感知器映射到神经心理学测试分数上，经过训练和验证后的最优模型中的深度特征作为从多模态脑磁共振数据中提取的结构磁共振成像特征。
4.如权利要求2所述的脑血管病AI认知功能评测模型的构建方法，其特征在于，第二特征提取模块的处理过程包括：
对输入的多模态脑磁共振成像数据中的静息态功能磁共振成像数据确定出21对感兴趣区域，提取每个感兴趣区域内的核磁共振平均信号作为目标特征；
对目标特征应用线性嵌入并加入位置编码进行求和；
将求和得到的特征通过KD-Transformer模块，计算核注意力，生成与大脑区域相互作用相关的深度特征，随后将特征向量通过全连接层映射到神经心理学测试分数上，经过训练和验证后的最优模型中的深度特征作为从多模态脑磁共振成像数据中提取的静息态功能磁共振成像特征。
5.如权利要求1所述的脑血管病AI认知功能评测模型的构建方法，其特征在于，特征融合与分类模块的处理过程包括：
将最优的ViT模型和KD-Transformer模型中分别形成的结构磁共振成像特征和静息态功能磁共振成像特征进行特征降维，形成相应的一维特征；
将降维后的结构磁共振成像特征和静息态功能磁共振成像特征与步骤S4中筛选后的临床症候文本特征进行拼接，形成多模态特征；
将多模态特征输入LightGBM回归模型中，利用已经划分的训练和验证数据集对模型进行训练和验证，根据每次训练的结果调整模型参数，最终得到最优的回归分析结果。
6.脑血管病AI认知功能评测模型的构建装置，其特征在于，包括：
数据采集模块，用于采集脑血管病患者临床症候文本数据和多模态脑磁共振成像数据，并构建数据集；
第一数据预处理模块，用于分别对采集的脑血管病患者临床症候文本数据和多模态脑磁共振成像数据进行预处理；
数据划分模块，用于将数据采集模块中构建的数据集划分为训练集和验证集；
特征筛选模块，用于对预处理后的脑血管病患者临床症候文本数据进行特征筛选，得到临床症候文本特征；
模型构建模块，用于构建脑血管病AI认知功能评测模型，模型包括第一特征提取模块、第二特征提取模块、特征融合与回归模块，其中，第一特征提取模块通过构建基于ViT的回归模型用于提取多模态脑磁共振成像数据中的结构磁共振成像特征，第二特征提取模块通过构建基于KD-Transformer的回归模型用于提取多模态脑磁共振成像数据中的静息态功能磁共振成像特征，特征融合与回归模块将结构磁共振成像特征、静息态功能磁共振成像特征以及临床症候文本特征进行融合，将融合后的特征输入LightGBM模型中得回归分析结果；
模型训练模块，利用已经划分的训练和验证数据集对构建的脑血管病AI认知功能评测模型进行训练和验证，最终得到最优的脑血管病AI认知功能评测模型。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现如权利要求1至5中任一项权利要求所述的方法。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5中任一项权利要求所述的方法。
9.脑血管病AI认知功能评测系统，其特征在于，包括如权利要求1所述的脑血管病AI认知功能评测模型的构建方法所构建的脑血管病AI认知功能评测模型、数据获取模块和第二数据预处理模块，数据获取模块用于获取待评估患者的数据，第二数据预处理模块用于对获取的待评估患者的数据进行预处理，脑血管病AI认知功能评测模型用于将预处理后的待评估患者的数据输入训练好的脑血管病AI认知功能评测模型，得到预测的神经心理学测试分数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310718870.1A CN116452592B (zh) | 2023-06-16 | 2023-06-16 | 脑血管病ai认知功能评测模型的构建方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310718870.1A CN116452592B (zh) | 2023-06-16 | 2023-06-16 | 脑血管病ai认知功能评测模型的构建方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116452592A true CN116452592A (zh) | 2023-07-18 |
| CN116452592B CN116452592B (zh) | 2023-09-05 |
Family
ID=87132436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310718870.1A Active CN116452592B (zh) | 2023-06-16 | 2023-06-16 | 脑血管病ai认知功能评测模型的构建方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116452592B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117349714A (zh) * | 2023-12-06 | 2024-01-05 | 中南大学 | 阿尔茨海默症医学图像的分类方法、系统、设备及介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104715260A (zh) * | 2015-03-05 | 2015-06-17 | 中南大学 | 基于rls-elm的多模态融合图像分类方法 |
| WO2017190337A1 (zh) * | 2016-05-06 | 2017-11-09 | 中国科学院自动化研究所 | 有监督的多模态脑影像融合方法 |
| CN112837274A (zh) * | 2021-01-13 | 2021-05-25 | 南京工业大学 | 一种基于多模态多站点数据融合的分类识别方法 |
| CN113571195A (zh) * | 2021-07-20 | 2021-10-29 | 南京脑科医院 | 基于小脑功能连接特征的阿尔茨海默病早期的预测模型 |
| WO2021223574A1 (zh) * | 2020-05-08 | 2021-11-11 | 中国科学技术大学 | 实时功能性磁共振神经反馈调节认知控制的系统及方法 |
| US20220183621A1 (en) * | 2020-12-16 | 2022-06-16 | Washington University | Predicting core phenotyping domains of low back pain with multimodal brain imaging metrics |
| CN115049629A (zh) * | 2022-06-27 | 2022-09-13 | 太原理工大学 | 基于线图扩展的多模态脑超图注意力网络的分类方法 |
| CN115131415A (zh) * | 2022-07-19 | 2022-09-30 | 中国人民解放军陆军军医大学第一附属医院 | 血管性认知功能障碍的辅助诊断模型的构建方法及装置 |
| CN115423754A (zh) * | 2022-08-08 | 2022-12-02 | 深圳大学 | 一种图像分类方法、装置、设备及存储介质 |
| CN115937604A (zh) * | 2022-12-27 | 2023-04-07 | 西南大学 | 一种基于多模态特征融合的抗nmdar脑炎预后分类方法 |
| CN116013449A (zh) * | 2023-03-21 | 2023-04-25 | 成都信息工程大学 | 融合临床信息与磁共振图像的心肌病预后辅助预测方法 |
-
2023
- 2023-06-16 CN CN202310718870.1A patent/CN116452592B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104715260A (zh) * | 2015-03-05 | 2015-06-17 | 中南大学 | 基于rls-elm的多模态融合图像分类方法 |
| WO2017190337A1 (zh) * | 2016-05-06 | 2017-11-09 | 中国科学院自动化研究所 | 有监督的多模态脑影像融合方法 |
| WO2021223574A1 (zh) * | 2020-05-08 | 2021-11-11 | 中国科学技术大学 | 实时功能性磁共振神经反馈调节认知控制的系统及方法 |
| US20220183621A1 (en) * | 2020-12-16 | 2022-06-16 | Washington University | Predicting core phenotyping domains of low back pain with multimodal brain imaging metrics |
| CN112837274A (zh) * | 2021-01-13 | 2021-05-25 | 南京工业大学 | 一种基于多模态多站点数据融合的分类识别方法 |
| CN113571195A (zh) * | 2021-07-20 | 2021-10-29 | 南京脑科医院 | 基于小脑功能连接特征的阿尔茨海默病早期的预测模型 |
| CN115049629A (zh) * | 2022-06-27 | 2022-09-13 | 太原理工大学 | 基于线图扩展的多模态脑超图注意力网络的分类方法 |
| CN115131415A (zh) * | 2022-07-19 | 2022-09-30 | 中国人民解放军陆军军医大学第一附属医院 | 血管性认知功能障碍的辅助诊断模型的构建方法及装置 |
| CN115423754A (zh) * | 2022-08-08 | 2022-12-02 | 深圳大学 | 一种图像分类方法、装置、设备及存储介质 |
| CN115937604A (zh) * | 2022-12-27 | 2023-04-07 | 西南大学 | 一种基于多模态特征融合的抗nmdar脑炎预后分类方法 |
| CN116013449A (zh) * | 2023-03-21 | 2023-04-25 | 成都信息工程大学 | 融合临床信息与磁共振图像的心肌病预后辅助预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIANJIA ZHANG 等: "Diffusion Kernel Attention Network for Brain Disorder Classification", IEEE TRANSACTIONS ON MEDICAL IMAGING, pages 2814 - 2827 * |
| 韩晓慧 等: "血管性认知障碍Binswanger型的多模态生物标志物研究进展", 神经损伤与功能重建, pages 288 - 291 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117349714A (zh) * | 2023-12-06 | 2024-01-05 | 中南大学 | 阿尔茨海默症医学图像的分类方法、系统、设备及介质 |
| CN117349714B (zh) * | 2023-12-06 | 2024-02-13 | 中南大学 | 阿尔茨海默症医学图像的分类方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116452592B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109447183B (zh) | 预测模型训练方法、装置、设备以及介质 | |
| CN111488914B (zh) | 一种基于多任务学习的阿尔茨海默症分类及预测系统 | |
| CN111528859B (zh) | 基于多模态深度学习技术的儿童adhd筛查评估系统 | |
| Hu et al. | VGG-TSwinformer: Transformer-based deep learning model for early Alzheimer’s disease prediction | |
| JP2022507861A (ja) | 脳機能地図のサル－ヒト種間移行に基づいて精神疾患の個別的予測を行う方法およびシステム | |
| CN109949280B (zh) | 图像处理方法、装置、设备存储介质及生长发育评估系统 | |
| CN113662664B (zh) | 一种基于仪器追踪的外科手术质量客观自动化评估方法 | |
| CN116452592B (zh) | 脑血管病ai认知功能评测模型的构建方法、装置及系统 | |
| Hennessey et al. | Artificial intelligence in veterinary diagnostic imaging: A literature review | |
| CN116705300A (zh) | 基于体征数据分析的医疗决策辅助方法、系统及存储介质 | |
| Fareed et al. | ADD-Net: an effective deep learning model for early detection of Alzheimer disease in MRI scans | |
| CN116452593B (zh) | 血管性认知障碍的ai评估模型的构建方法、装置及系统 | |
| Saputra et al. | Implementation of Machine Learning and Deep Learning Models Based on Structural MRI for Identification Autism Spectrum Disorder | |
| Cheah et al. | A screening system for mild cognitive impairment based on neuropsychological drawing test and neural network | |
| CN115089112A (zh) | 卒中后认知障碍风险评估模型建立方法、装置及电子设备 | |
| CN115937129A (zh) | 基于多模态磁共振影像的左右半脑关系的处理方法及装置 | |
| CN112102285B (zh) | 一种基于多模态对抗训练的骨龄检测方法 | |
| Mahim et al. | Unlocking the Potential of XAI for Improved Alzheimer’s Disease Detection and Classification Using a ViT-GRU Model | |
| CN114581459A (zh) | 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法 | |
| Khachnaoui et al. | Enhanced Parkinson’s Disease Diagnosis Through Convolutional Neural Network Models Applied to SPECT DaTSCAN Images | |
| Raghav et al. | Autism Spectrum Disorder Detection in Children Using Transfer Learning Techniques | |
| CN116364221B (zh) | 一种用于阿尔茨海默症研究的脑影像数据处理方法和系统 | |
| Ikermane et al. | Web-based autism screening using facial images and convolutional neural network | |
| Ding et al. | AMIM: an adaptive weighted multimodal integration model for Alzheimer’s disease classification | |
| EP4198997A1 (en) | A computer implemented method, a method and a system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |