CN116452593B - 血管性认知障碍的ai评估模型的构建方法、装置及系统 - Google Patents
血管性认知障碍的ai评估模型的构建方法、装置及系统 Download PDFInfo
- Publication number
- CN116452593B CN116452593B CN202310718872.0A CN202310718872A CN116452593B CN 116452593 B CN116452593 B CN 116452593B CN 202310718872 A CN202310718872 A CN 202310718872A CN 116452593 B CN116452593 B CN 116452593B
- Authority
- CN
- China
- Prior art keywords
- magnetic resonance
- model
- resonance imaging
- mode
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000013210 evaluation model Methods 0.000 title claims abstract description 44
- 208000010877 cognitive disease Diseases 0.000 title claims description 29
- 230000002792 vascular Effects 0.000 title claims description 26
- 238000002595 magnetic resonance imaging Methods 0.000 claims abstract description 72
- 208000037820 vascular cognitive impairment Diseases 0.000 claims abstract description 67
- 210000004556 brain Anatomy 0.000 claims abstract description 55
- 208000024891 symptom Diseases 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims abstract description 42
- 238000007781 pre-processing Methods 0.000 claims abstract description 37
- 238000003745 diagnosis Methods 0.000 claims abstract description 31
- 238000010586 diagram Methods 0.000 claims abstract description 16
- 208000026106 cerebrovascular disease Diseases 0.000 claims abstract description 13
- 238000012795 verification Methods 0.000 claims abstract description 13
- 238000012216 screening Methods 0.000 claims abstract description 12
- 238000012512 characterization method Methods 0.000 claims description 52
- 238000013145 classification model Methods 0.000 claims description 50
- 238000000605 extraction Methods 0.000 claims description 37
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 14
- 230000008447 perception Effects 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 230000003920 cognitive function Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 10
- 230000000903 blocking effect Effects 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000000284 resting effect Effects 0.000 claims description 5
- 238000005481 NMR spectroscopy Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000006116 polymerization reaction Methods 0.000 claims 1
- 238000011002 quantification Methods 0.000 abstract description 4
- 238000003759 clinical diagnosis Methods 0.000 abstract description 3
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000010606 normalization Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 208000010248 Cerebrovascular Trauma Diseases 0.000 description 3
- 206010012289 Dementia Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000003557 neuropsychological effect Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 208000010926 vascular brain injury Diseases 0.000 description 3
- 208000028698 Cognitive impairment Diseases 0.000 description 2
- 101150066038 E4 gene Proteins 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 208000035850 clinical syndrome Diseases 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种血管性认知障碍的AI评估模型的构建方法、装置及系统。首先进行数据采集，并构建数据集；然后进行预处理；并划分出训练集和验证集；接着对预处理后的脑血管病患者临床症候文本数据进行特征筛选；然后构建VCI评估模型，该模型包括辅助诊断和预测两类模型，分别提取多模态脑MRI数据中的sMRI特征和rs‑fMRI特征，随后采用多模态图学习网络对sMRI特征、rs‑fMRI特征以及临床症候文本特征进行融合，并根据融合后的特征得到分类结果；通过对模型进行训练和验证，得到最优的VCI评估模型。本发明解决了现有技术中对于VCI的临床诊断与预测较为主观、难于定量、准确率不高和效率较低的技术问题。
Description
技术领域
本发明涉及人工智能医疗技术领域，尤其涉及血管性认知障碍的AI评估模型的构建方法、装置及系统。
背景技术
越来越多的临床试验证据表明，血管因素是痴呆预防和治疗的重要因素。因此，精准诊断和早期预测血管性认知障碍（vascular cognitive impairment, VCI）的发生发展是痴呆与认知障碍防治的关键。在《2019年中国血管性认知障碍诊治指南》中对于VCI制定的诊断标准的关键点包括：1.神经心理学提示认知功能受损；2.存在血管性脑损伤的证据；3.明确血管性脑损伤是认知损害的原因。
本申请发明人在实施本发明的过程中，发现现有技术至少存在如下技术问题：
1.目前主要采用多种认知功能评测量表来进行综合的神经心理学评估，但量表评估一致性差，且受主观因素影响较大；2.通常采用神经影像来评估是否存在血管性脑损伤的证据，但目前难以通过视觉定量准确识别和分析影像中与VCI相关的病变特征；3.由于VCI是一组异质性很高的临床综合征，目前缺乏特异性的生物标志物。因此，到目前为止，判断脑血管病患者是否存在认知障碍仍依赖于有经验的临床医师通过病史采集，结合临床查体、神经心理学评估、实验室检验指标以及结构影像等辅助检查结果进行综合性评估。
发明内容
本发明的目的在于提供一种VCI的AI评估模型的构建方法、装置及系统，用于解决现有技术中对于VCI的临床诊断与预测较为主观、难于定量、准确率不高和效率较低的技术问题。
为解决上述技术问题，为本发明提供的技术方案为：
第一方面提供了一种血管性认知障碍的AI评估模型的构建方法，包括：
S1：采集脑血管病患者临床症候文本数据和多模态脑磁共振成像数据，并构建原始数据集；对原始数据集中认知功能正常的受试者进行一定时间的随访，并构建随访数据集；
S2：分别对采集的脑血管病患者临床症候文本数据和多模态脑磁共振成像数据进行预处理；
S3：将S1中构建的原始数据集和随访数据集划分为训练集和验证集；
S4：对预处理后的脑血管病患者临床症候文本数据进行特征筛选，得到临床症候文本特征；
S5：构建血管性认知障碍辅助诊断模型，模型包括第一特征提取模块、第二特征提取模块以及特征融合与分类模块，其中，第一特征提取模块通过构建基于Swin-Transformer的分类模型用于提取多模态脑磁共振成像数据中的结构磁共振成像特征，第二特征提取模块通过构建基于KD-Transformer的分类模型用于提取多模态脑磁共振成像数据中的静息态功能磁共振成像特征，特征融合与分类模块采用多模态图学习网络对结构磁共振成像特征、静息态功能磁共振成像特征以及临床症候文本特征进行融合，并根据融合后的特征得到分类结果；通过对模型进行训练和验证后得到最优的第一分类模型；
S6：构建血管性认知障碍预测模型，将建立的随访数据集进行预处理后输入血管性认知障碍辅助诊断模型中，通过对模型进行训练和验证后得到最优的第二分类模型；
S7：将最优的第一分类模型和最优的第二分类模型作为血管性认知障碍的AI评估模型。
在一种实施方式中，多模态脑磁共振成像数据包括结构磁共振成像数据和静息态功能磁共振成像数据。
在一种实施方式中，第一特征提取模块包括分块模块、线性嵌入模块、Swin-Transformer网络、线性层和池化层，第一特征提取模块的处理过程包括：
通过分块模块将输入的多模态脑磁共振成像数据中的结构磁共振成像数据拆分为图像块；
通过线性嵌入模块降低图像块的维度，获取转化后的线性特征；
通过Swin-Transformer网络对转化后的线性特征进行特征运算，生成深层网络特征；
通过线性层和池化层对Swin-Transformer网络输出的特征进行降维与池化操作，最后通过全连接层实现分类运算，经过训练和验证后的最优模型中的深度特征作为从多模态脑磁共振成像数据中提取的结构磁共振成像特征。
在一种实施方式中，第二特征提取模块的处理过程包括：
对输入的多模态脑磁共振成像数据中的静息态功能磁共振成像数据确定出21对感兴趣区域，提取每个感兴趣区域内的核磁共振平均信号作为目标特征；
对目标特征应用线性嵌入并加入位置编码进行求和；
将求和得到的特征通过KD-Transformer模块，计算核注意力，生成与大脑区域相互作用相关的深度特征，随后将特征向量通过全连接层进行分类运算，经过训练和验证后的最优模型中的深度特征作为从多模态脑磁共振成像数据中提取的静息态功能磁共振成像特征。
在一种实施方式中，特征融合与分类模块包括构建基于多模态图学习网络的分类模型，具体处理过程包括：
将结构磁共振成像特征、静息态功能磁共振成像特征和临床症候文本特征进行拼接形成原始多模态特征；
通过基于注意力机制的模态感知表征学习嵌入到模态内的表征空间和模态间的表征空间，分别获得模态内信息表征和模态间信息表征，并通过对模态内信息表征和模态间信息表征进行拼接，得到模态感知嵌入；
通过基于学习节点的相似性度量的多模态图学习网络基于可学习度量函数和模态感知嵌入，学习得到邻接矩阵，其中，邻接矩阵中的元素表示模态感知嵌入中节点与节点间的连接关系；
通过图神经网络模块基于模态感知嵌入与邻接矩阵，得到分类结果；
利用构建的训练数据集对模型进行训练和验证，根据每次训练的结果调整模型参数，最终形成最优的第一分类模型。
基于同样的发明构思，第二方面提供了一种血管性认知障碍的AI评估模型的的构建装置，包括：
数据采集模块，用于采集脑血管病患者临床症候文本数据和多模态脑磁共振成像数据，并构建原始数据集；对原始数据集中认知功能正常的受试者进行一定时间的随访，并构建随访数据集；
第一数据预处理模块，用于分别对采集的脑血管病患者临床症候文本数据和多模态脑磁共振成像数据进行预处理；
数据划分模块，用于将数据采集模块中构建的原始数据集和随访数据集划分为训练集和验证集；
特征筛选模块，用于对预处理后的脑血管病患者临床症候文本数据进行特征筛选，得到临床症候文本特征；
辅助诊断模型构建模块，用于构建血管性认知障碍辅助诊断模型，模型包括第一特征提取模块、第二特征提取模块以及特征融合与分类模块，其中，第一特征提取模块通过构建基于Swin-Transformer的分类模型用于提取多模态脑磁共振成像数据中的结构磁共振成像特征，第二特征提取模块通过构建基于KD-Transformer的分类模型用于提取多模态脑磁共振成像数据中的静息态功能磁共振成像特征，特征融合与分类模块采用多模态图学习网络对结构磁共振成像特征、静息态功能磁共振成像特征以及临床症候文本特征进行融合，并根据融合后的特征得到分类结果；通过对模型进行训练和验证后得到最优的第一分类模型；
预测模型构建模块，用于构建血管性认知障碍预测模型，将建立的随访数据集进行预处理后输入血管性认知障碍辅助诊断模型中，通过对模型进行训练和验证后得到最优的第二分类模型；
AI评估模型构建模块，用于将最优的第一分类模型和最优的第二分类模型作为血管性认知障碍的AI评估模型。
基于同样的发明构思，第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现第一方面所述的方法。
基于同样的发明构思，第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
基于同样的发明构思，第五方面提供了血管性认知障碍的AI评估系统，包括由第一方面所述的血管性认知障碍的AI评估模型的构建方法所构建的血管性认知障碍的AI评估模型、数据获取模块和第二数据预处理模块，数据获取模块用于获取待评估患者的数据，第二数据预处理模块用于对获取的待评估患者的数据进行预处理，血管性认知障碍的AI评估模型用于将预处理后的待评估患者的数据输入训练好的血管性认知障碍的AI评估，得到诊断或预测结果。
相对于现有技术，本发明的优点和有益的技术效果如下：
1.本发明构建的VCI的AI评估模型，通过构建 Swin-Transformer模型来提取sMRI特征，其既保留了传统的视觉Transformer对于图像全局信息的采集的优势，同时引入了部分卷积神经网络的特点，能够扩大图像感受野，更深层次的提取图像特征。
2. 本发明构建的VCI的AI评估模型，其中通过构建KD-Transformer模型来获取rs-fMRI特征。KD-Transformer网络的核心为核扩散注意力模块，该模块使用了核函数来代替原来注意力模块中的点乘运算，从而形成了新的核注意力机制，减少了需要优化的参数数量，同时有效的模拟了脑区之间的复杂相互作用；此外，该模块将随机漫步整合到网络中，以模拟大脑网络中更广泛的脑区间相互作用。
3. 本发明构建的VCI的AI评估模型，其简单、高效，系统响应快速，且有效的融合了sMRI特征、rs-fMRI特征和临床症候文本特征，能够从多维度实现VCI的临床辅助诊断和早期预测。
4. 本发明的构建的VCI的AI评估模型，其中包含了对VCI的辅助诊断和早期预测两个部分，有效的实现了脑血管病患者和脑血管病高危人群的认知功能障碍的综合评估。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中VCI的AI评估模型的构建方法的流程示意图；
图2为本发明实施例中Swin Transformer网络主干结构示意图；
图3为本发明实施例中KD-Transformer网络主干结构图；
图4为本发明实施例中多模态图学习网络主干结构图；
图5为本发明实施例中VCI的AI评估系统的框架图。
具体实施方式
本发明公开了一种VCI的AI评估模型的构建方法、装置及系统。首先进行数据采集，并构建数据集；然后进行预处理；并划分出训练集和验证集；接着对预处理后的脑血管病患者临床症候文本数据进行特征筛选；然后构建VCI评估模型，该模型包括辅助诊断和预测两类模型，分别提取多模态脑MRI数据中的sMRI特征和rs-fMRI特征，随后采用多模态图学习网络对sMRI特征、rs-fMRI特征以及临床症候文本特征进行融合，并根据融合后的特征得到分类结果；通过对模型进行训练和验证，得到最优的VCI评估模型。本发明解决了现有技术中对于VCI的临床诊断与预测较为主观、难于定量、准确率不高和效率较低的技术问题。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明提供了VCI的AI评估模型（包括辅助诊断和预测两类模型）的构建方法，包括：
S1：采集脑血管病患者临床症候文本数据和多模态脑MRI数据，并构建原始数据集；对原始数据集中认知功能正常的受试者进行一定时间的随访，并构建随访数据集；
S2：分别对采集的脑血管病患者临床症候文本数据和多模态脑MRI数据进行预处理；
S3：将S1中构建的原始数据集和随访数据集划分为训练集和验证集；
S4：对预处理后的脑血管病患者临床症候文本数据进行特征筛选，得到临床症候文本特征；
S5：构建VCI辅助诊断模型，模型包括第一特征提取模块、第二特征提取模块以及特征融合与分类模块，其中，第一特征提取模块通过构建基于Swin-Transformer的分类模型用于提取多模态脑MRI数据中的sMRI特征，第二特征提取模块通过构建基于KD-Transformer的分类模型用于提取多模态脑MRI数据中的rs-fMRI特征，特征融合与分类模块采用多模态图学习网络对sMRI特征、rs-fMRI特征以及临床症候文本特征进行融合，并根据融合后的特征得到分类结果，通过对模型进行训练和验证后得到最优的第一分类模型；
S6：构建VCI预测模型，将建立的随访数据集进行预处理后输入VCI辅助诊断模型中，通过对模型进行训练和验证后得到最优的第二分类模型；
S7：将最优的第一分类模型和最优的第二分类模型作为血管性认知障碍的AI评估模型。
请参见图1，为本发明实施例中VCI的AI评估模型的构建方法的流程示意图。
具体来说，临床症候文本信息数据包括人口学资料、脑血管病相关危险因素、痴呆危险因素以及神经心理学评估信息等；多模态脑MRI数据，包括sMRI的T1、T2-FLIAR序列以及rs-fMRI数据，在此基础上构建原始数据集，并根据目前VCI国际诊断标准对患者进行临床VCI诊断，标注分类为正常（标签为0）、轻度VCI（标签为1）和重度VCI（标签为2）。对原始数据集中的认知功能正常的受试者进行一定时间的随访包括6个月、1年以及3年随访，再次对研究人群进行认知功能评估，并根据认知功能评估再次诊断其是否患有VCI，同时对数据进行标注，标注结果包括正常、轻度和重度，再结合原始数据集中的数据建立随访数据集。
步骤S2对多模态MRI数据和临床症候文本数据进行预处理包括对sMRI数据进行预处理和对rs-fMRI数据进行预处理。对sMRI数据的预处理包括：头动校正、配准、空间标准化、去颅骨、零值裁剪、重采样等等操作。对rs-fMRI数据的预处理包括：移除无效回声平面成像体积、时间校正、头动校正、将rs-fMRI数据与T1WI图像共同配准、空间标准化、提取种子点时间序列。临床症候文本数据约有60项相关特征，其中包括连续数据、分类数据和等级数据，其预处理包括缺失、冗余、异常数据处理。最后对多模态MRI数据和临床症候文本数据进行归一化处理。
步骤S3中，将数据集中80%的样本随机选择用于训练，其余20%用于测试，这种随机划分需要重复十次，以获得可靠的统计数据。
步骤S4中，对临床症候文本数据进行特征筛选，包括两个步骤：候选特征排序和顺序正向选择。第一步：建立XGBoost的分类模型，根据对模型性能的贡献对每个特征进行排序，并对Spearman等级关系进行了分层聚类，以解决多重共线性问题。第二步：根据特征排名顺序（由高到低），在XGBoost的分类模型中依次添加特征，通过计算AUC、ACC、敏感性、特异性来评估模型性能，当更多的特征加入时，模型性能没有明显改善时停止添加特征，并将该组特征纳入最终的深度学习模型（即VCI的AI评估模型）中。
在一种实施方式中，多模态脑MRI数据包括sMRI数据和rs-fMRI数据。
在一种实施方式中，第一特征提取模块包括分块模块、线性嵌入模块、Swin-Transformer网络、线性层和池化层，第一特征提取模块的处理过程包括：
通过分块模块将输入的多模态脑MRI数据中的sMRI数据拆分为图像块；
通过线性嵌入模块降低图像块的维度，获取转化后的线性特征；
通过Swin-Transformer网络对转化后的线性特征进行特征运算，生成深层网络特征；
通过线性层和池化层对Swin-Transformer网络输出的特征进行降维与池化操作，最后通过全连接层实现分类运算，经过训练和验证后的最优模型中的深度特征作为从多模态脑MRI数据中提取的sMRI特征。
具体来说，本实施方式中，Swin-Transformer网络为四阶Swin-Transformer网络，第一、二、四阶段由一个图像块合并模块、一个基于窗口注意力机制的Swin-Transformer模块和一个基于移位窗口注意力机制的Swin-Transformer模块构成，第三阶段由三个图像块合并模块、三个基于窗口注意力机制的Swin-Transformer模块和三个基于移位窗口注意力机制的Swin-Transformer块交替构成。对于每个阶段的Swin-Transformer网络来说，第一阶段Swin-Transformer网络输入为原始图像特征，输出为深度网络特征，第二、三、四阶段Swin-Transformer网络输入为上一阶段网络产生的特征，输出为深度网络特征。四阶Swin-Transformer网络最终输出是用于分类的sMRI特征。
请参见图2，为本发明实施例中Swin-Transformer网络主干结构示意图。
在一个阶段的Swin-Transformer网络中，图像块合并模块的主要作用是进行降采样，在Swin-Transformer中用于缩小特征张量矩阵分辨率，调整特征通道数，形成层次化的网络结构设计，同时也能一定程度上降低计算复杂度。Swin-Transformer模块的主要作用是进行特征运算，生成深层网络特征。Swin-Transformer模块包括窗口自注意力计算、滑窗自注意力计算以及位置编码计算。其中，第一阶段的合并模块以图像数据作为输入，输出为图像特征，其余合并模块以上一层网络输出的特征向量作为输入，输出为降采样后的特征张量；第一个Swin-Transformer模块的输入为图像块合并模块降采样后的特征张量，最后一个Swin-Transformer模块的输出为用于分类的特征向量，其余Swin-Transformer模块的输出为深度图像特征。
在一种实施方式中，第二特征提取模块的内容为构建基于KD-Transformer的分类模型，具体处理过程包括：
对输入的多模态脑MRI数据中的rs-fMRI数据确定出21对感兴趣区域ROI，提取每个ROI内的核磁共振平均信号作为目标特征Xraw；
对目标特征应用线性嵌入并加入位置编码进行求和；
将求和得到的特征通过KD-Transformer模块，计算核注意力，生成与大脑区域相互作用相关的深度特征，随后将特征向量通过全连接层进行分类运算，经过训练和验证后的最优模型中的深度特征作为从多模态脑MRI数据中提取的rs-fMRI特征。
具体来说，本实施方式中， KD-Transformer模型包括L个堆叠的KD-Transformer模块，KD-Transformer模块包含多头KD注意力层、线性层、归一化层以及前馈网络。首先，KD注意力层对输入特征进行核嵌入与线性嵌入，对核嵌入后的特征矩阵执行5次随机游走过程，进行缩放、相加、缩放后由激活函数Softmax处理，并与线性嵌入计算矩阵乘积计算注意力，形成特征向量。KD注意力层生成的特征向量通过线性层、归一化层和前馈神经网络形成深层特征，最后通过全连接层进行分类运算，在模型训练和验证中通过计算AUC、ACC、敏感性、特异性从而确定最优的分类模型，最优模型中的深层特征则为最终的rs-fMRI特征。
请参见图3，为本发明实施例中KD-Transformer网络主干结构图。
KD-Transformer模块的作用是计算核注意力，生成与大脑区域相互作用相关的深度特征。具体地，第一个KD-Transformer模块的输入为投影的影像特征与位置编码相加后的结果，最后一个KD-Transformer模块输出为用于回归分析的特征向量，其余KD-Transformer模块以前一个KD-Transformer模块产生的深度特征作为输入，产生进一步的特征作为输出。
多头KD注意力层的作用是对rs-fMRI特征数据中复杂的相互作用进行建模，可以更好地揭示大脑区域之间潜在的联系。线性层的作用是实现对前一层的线性组合或线性变换。归一化层作用是解决内部协变量偏移，使得每一层的输入分布在训练过程保持一致。前馈网络作用是以任意精度逼近任意连续函数及平方可积函数。
在一种实施方式中，特征融合与分类模块包括构建基于多模态图学习网络的分类模型，具体处理过程包括：
将sMRI特征、rs-fMRI特征和临床症候文本特征进行拼接形成原始多模态特征；
通过基于注意力机制的模态感知表征学习嵌入到模态内的表征空间和模态间的表征空间，分别获得模态内信息表征和模态间信息表征，并通过对模态内信息表征和模态间信息表征进行拼接，得到模态感知嵌入；
通过基于学习节点的相似性度量的多模态图学习网络基于可学习度量函数和模态感知嵌入，学习得到邻接矩阵，其中，邻接矩阵中的元素表示模态感知嵌入中节点与节点间的连接关系；
通过图神经网络模块基于模态感知嵌入与邻接矩阵，得到分类结果；
利用构建的训练数据集对模型进行训练和验证，根据每次训练的结果调整模型参数，最终形成最优的分类模型。
具体来说，基于注意力机制，原始多模态特征，通过Q、K、V加权（Wq、Wk、Wv）得到相应的Q、K、V向量，Q、K相乘得到模态间注意力矩阵，在模态间矩阵的基础上，对每个模态的V向量进行共享跨模态聚合得到/>，然后将模态间矩阵和/>分别嵌入到模态内的表征空间和模态间的表征空间获得模态内信息表征和模态间信息表征，并通过对模态内信息表征和模态间信息表征进行拼接，得到模态感知嵌入。
基于学习节点的相似性度量的多模态图学习网络基于以下可学习度量函数，其中是可学习权重矩阵，/>下标i和j表示不同病例数据，上式通过计算病例数据i的图信号和病例数据j的图信号的加权余弦相似度实现。
在图卷积网络中，邻接矩阵是表示顶点之间相邻关系的一个矩阵，由整体特征向量（模态感知嵌入H）计算获得。本实施方式中，邻接矩阵是由整体特征向量（模态感知嵌入H）计算得到的对称矩阵，邻接矩阵A中元素根据前述公式计算得到。邻接矩阵的物理含义是表示整体特征向量中节点与节点间的连接关系。
然后应用非线性激活函数ReLU将邻接矩阵A处理为非负稀疏图，并应用平滑性约束、正则化项以及Frobenius规范获得满足稀疏性、连通性和平滑性的图结构。基于模态感知嵌入和图结构，应用图神经网络（Graph Neural Network, GNN）模块进行分类运算。
采用已经划分的训练和验证数据集对模型进行训练和验证，根据每次训练的结果调整模型参数，最终得到最优的第一分类模型。
请参见图4，为本发明实施例中多模态图学习网络主干结构图。
具体实施过程中，通过前述步骤S4确定出纳入最终预测模型的临床症候文本特征，然后将sMRI数据、rs-fMRI数据以及临床症候文本数据输入已构建的VCI诊断模型，在模型训练和验证中通过计算AUC、ACC、敏感性、特异性从而确定最优的第二分类模型。
实施例二
基于同样的发明构思，本发明公开了VCI的AI评估模型的构建装置，包括：
数据采集模块，用于采集脑血管病患者临床症候文本数据和多模态脑磁共振成像数据，并构建原始数据集；对原始数据集中认知功能正常的受试者进行一定时间的随访，并构建随访数据集；
第一数据预处理模块，用于分别对采集的脑血管病患者临床症候文本数据和多模态脑磁共振成像数据进行预处理；
数据划分模块，用于将数据采集模块中构建的原始数据集和随访数据集划分为训练集和验证集；
特征筛选模块，用于对预处理后的脑血管病患者临床症候文本数据进行特征筛选，得到临床症候文本特征；
辅助诊断模型构建模块，用于构建血管性认知障碍辅助诊断模型，模型包括第一特征提取模块、第二特征提取模块以及特征融合与分类模块，其中，第一特征提取模块通过构建基于Swin-Transformer的分类模型用于提取多模态脑磁共振成像数据中的结构磁共振成像特征，第二特征提取模块通过构建基于KD-Transformer的分类模型用于提取多模态脑磁共振成像数据中的静息态功能磁共振成像特征，特征融合与分类模块采用多模态图学习网络对结构磁共振成像特征、静息态功能磁共振成像特征以及临床症候文本特征进行融合，并根据融合后的特征得到分类结果；通过对模型进行训练和验证后得到最优的第一分类模型；
预测模型构建模块，用于构建血管性认知障碍预测模型，将建立的随访数据集进行预处理后输入血管性认知障碍辅助诊断模型中，通过对模型进行训练和验证后得到最优的第二分类模型；
AI评估模型构建模块，用于将最优的第一分类模型和最优的第二分类模型作为血管性认知障碍的AI评估模型。
由于本发明实施例二所介绍的装置为实施本发明实施例一中VCI的AI评估模型的构建方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的装置都属于本发明所欲保护的范围。
实施例三
基于同一发明构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现如实施例一中所述的方法。
由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一中VCI的AI评估模型的构建方法所采用的计算机可读存储介质，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机可读存储介质的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
实施例四
基于同一发明构思，本申请还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述程序时实现实施例一中的方法。
由于本发明实施例四所介绍的计算机设备为实施本发明实施例一中VCI的AI评估模型的构建方法所采用的计算机设备，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机设备的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机设备都属于本发明所欲保护的范围。
实施例五
基于同一发明构思，本发明还提供了血管性认知障碍的AI评估系统，包括如实施例一所述的血管性认知障碍的AI评估模型的构建方法所构建的血管性认知障碍的AI评估模型、数据获取模块和第二数据预处理模块，数据获取模块用于获取待评估患者的数据，第二数据预处理模块用于对获取的待评估患者的数据进行预处理，血管性认知障碍的AI评估模型用于将预处理后的待评估患者的数据输入训练好的血管性认知障碍的AI评估，得到诊断或预测结果。
具体来说，数据获取模块用于获取待评估患者的数据。具体的，数据获取模块包括影像数据获取模块和临床症候文本数据获取模块。影像数据获取模块与医院影像系统连接，待评估患者完成MRI检查后，将检查者相应的DICOM格式图像上传至影像数据获取模块；临床症候文本数据获取模块与录入设备连接，通过录入设备录入待评估患者的相关临床症候文本信息，录入设备将待评估患者的信息上传至临床症候文本数据获取模块。
第二数据预处理模块用于对待评估患者的数据进行预处理。具体的，第二数据预处理模块包括影像数据预处理模块和临床症候文本数据获取模块。影像数据预处理模块包括：1.将sMRI图像的DICOM格式转换为NIFTI格式；2.对sMRI图像数据进行头动校正、配准、空间标准化、去颅骨、零值裁剪、重采样等处理；3.对rs-fMRI图像数据进行移除无效回声平面成像体积、时间校正、头动校正、与T1WI图像共同配准、空间标准化、提取种子点时间序列等处理。临床症候文本数据预处理模块主要为特征数据的格式化，具体的，对待评估患者特征数据中的分类数据和等级变量给予标签，如性别特征中女性标为“0”，男性标为“1”；APOE4特征中不携带E4基因为“0”, 携带单个E4基因为“1”，=携带两个E4基因为“2”。
血管性认知障碍的AI评估模型包括血管性认知障碍辅助诊断模型和血管性认知障碍预测模型，与模型训练模块连接，用于获取训练好的神经网络模型，与第二数据预处理模块连接，用于获取待评估患者已经完成预处理的图像数据和文本数据；再根据输入的预处理后的待评估患者的数据得到待评估患者的VCI辅助诊断或预测的结果。
请参见图5，为本发明实施例中VCI辅助评估系统的框架图。
在一种实施方式中，系统还包括显示模块，用于显示待评估患者的VCI辅助诊断或预测的结果。
由于本发明实施例五所介绍的系统为基于本发明实施例一中血管性认知障碍的AI评估模型构建方法所构建的模型实现的系统，故而基于本发明实施例一VCI的AI评估模型的构建方法所构建的模型，本领域所属人员能够了解该系统的具体结构及变形，故而在此不再赘述。凡是基于本发明实施例一的方法所实现的系统都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (5)
1.血管性认知障碍的AI评估模型的构建方法，其特征在于，包括：
S1：采集脑血管病患者临床症候文本数据和多模态脑磁共振成像数据，并构建原始数据集；对原始数据集中认知功能正常的受试者进行一定时间的随访，并构建随访数据集，其中，多模态脑磁共振成像数据包括结构磁共振成像数据和静息态功能磁共振成像数据；
S2：分别对采集的脑血管病患者临床症候文本数据和多模态脑磁共振成像数据进行预处理；
S3：将S1中构建的原始数据集和随访数据集划分为训练集和验证集；
S4：对预处理后的脑血管病患者临床症候文本数据进行特征筛选，得到临床症候文本特征；
S5：构建血管性认知障碍辅助诊断模型，模型包括第一特征提取模块、第二特征提取模块以及特征融合与分类模块，其中，第一特征提取模块通过构建基于Swin-Transformer的分类模型用于提取多模态脑磁共振成像数据中的结构磁共振成像特征，第二特征提取模块通过构建基于KD-Transformer的分类模型用于提取多模态脑磁共振成像数据中的静息态功能磁共振成像特征，特征融合与分类模块采用多模态图学习网络对结构磁共振成像特征、静息态功能磁共振成像特征以及临床症候文本特征进行融合，并根据融合后的特征得到分类结果；通过对模型进行训练和验证后得到最优的第一分类模型；
S6：构建血管性认知障碍预测模型，将建立的随访数据集进行预处理后输入血管性认知障碍辅助诊断模型中，通过对模型进行训练和验证后得到最优的第二分类模型；
S7：将最优的第一分类模型和最优的第二分类模型作为血管性认知障碍的AI评估模型；
第一特征提取模块包括分块模块、线性嵌入模块、Swin-Transformer网络、线性层和池化层，第一特征提取模块的处理过程包括：
通过分块模块将输入的多模态脑磁共振成像数据中的结构磁共振成像数据拆分为图像块；
通过线性嵌入模块降低图像块的维度，获取转化后的线性特征；
通过Swin-Transformer网络对转化后的线性特征进行特征运算，生成深层网络特征；
通过线性层和池化层对Swin-Transformer网络输出的特征进行降维与池化操作，最后通过全连接层实现分类运算，经过训练和验证后的最优模型中的深度特征作为从多模态脑磁共振成像数据中提取的结构磁共振成像特征；
第二特征提取模块的处理过程包括：
对输入的多模态脑磁共振成像数据中的静息态功能磁共振成像数据确定出21对感兴趣区域，提取每个感兴趣区域内的核磁共振平均信号作为目标特征；
对目标特征应用线性嵌入并加入位置编码进行求和；
将求和得到的特征通过KD-Transformer模块，计算核注意力，生成与大脑区域相互作用相关的深度特征，随后将特征向量通过全连接层进行分类运算，经过训练和验证后的最优模型中的深度特征作为从多模态脑磁共振成像数据中提取的静息态功能磁共振成像特征；
特征融合与分类模块包括构建基于多模态图学习网络的分类模型，具体处理过程包括：
将结构磁共振成像特征、静息态功能磁共振成像特征和临床症候文本特征进行拼接形成原始多模态特征；
通过基于注意力机制的模态感知表征学习嵌入到模态内的表征空间和模态间的表征空间，分别获得模态内信息表征和模态间信息表征，并通过对模态内信息表征和模态间信息表征进行拼接，得到模态感知嵌入；
通过基于学习节点的相似性度量的多模态图学习网络基于可学习度量函数和模态感知嵌入，学习得到邻接矩阵，其中，邻接矩阵中的元素表示模态感知嵌入中节点与节点间的连接关系；
通过图神经网络模块基于模态感知嵌入与邻接矩阵，得到分类结果；
利用构建的训练数据集对模型进行训练和验证，根据每次训练的结果调整模型参数，最终形成最优的第一分类模型；
其中，通过基于注意力机制的模态感知表征学习嵌入到模态内的表征空间和模态间的表征空间，分别获得模态内信息表征和模态间信息表征，包括：
基于注意力机制将原始多模态特征，通过Q、K、V加权得到相应的Q、K、V向量，Q、K相乘得到模态间注意力矩阵，在模态间注意力矩阵的基础上，对每个模态的V向量进行共享跨模态聚合得到/>，然后将模态间注意力矩阵和/>分别嵌入到模态内的表征空间和模态间的表征空间获得模态内信息表征和模态间信息表征。
2.血管性认知障碍的AI评估模型的构建装置，其特征在于，包括：
数据采集模块，用于采集脑血管病患者临床症候文本数据和多模态脑磁共振成像数据，并构建原始数据集；对原始数据集中认知功能正常的受试者进行一定时间的随访，并构建随访数据集，其中，多模态脑磁共振成像数据包括结构磁共振成像数据和静息态功能磁共振成像数据；
第一数据预处理模块，用于分别对采集的脑血管病患者临床症候文本数据和多模态脑磁共振成像数据进行预处理；
数据划分模块，用于将数据采集模块中构建的原始数据集和随访数据集划分为训练集和验证集；
特征筛选模块，用于对预处理后的脑血管病患者临床症候文本数据进行特征筛选，得到临床症候文本特征；
辅助诊断模型构建模块，用于构建血管性认知障碍辅助诊断模型，模型包括第一特征提取模块、第二特征提取模块以及特征融合与分类模块，其中，第一特征提取模块通过构建基于Swin-Transformer的分类模型用于提取多模态脑磁共振成像数据中的结构磁共振成像特征，第二特征提取模块通过构建基于KD-Transformer的分类模型用于提取多模态脑磁共振成像数据中的静息态功能磁共振成像特征，特征融合与分类模块采用多模态图学习网络对结构磁共振成像特征、静息态功能磁共振成像特征以及临床症候文本特征进行融合，并根据融合后的特征得到分类结果；通过对模型进行训练和验证后得到最优的第一分类模型；
预测模型构建模块，用于构建血管性认知障碍预测模型，将建立的随访数据集进行预处理后输入血管性认知障碍辅助诊断模型中，通过对模型进行训练和验证后得到最优的第二分类模型；
AI评估模型构建模块，用于将最优的第一分类模型和最优的第二分类模型作为血管性认知障碍的AI评估模型；
第一特征提取模块包括分块模块、线性嵌入模块、Swin-Transformer网络、线性层和池化层，第一特征提取模块的处理过程包括：
通过分块模块将输入的多模态脑磁共振成像数据中的结构磁共振成像数据拆分为图像块；
通过线性嵌入模块降低图像块的维度，获取转化后的线性特征；
通过Swin-Transformer网络对转化后的线性特征进行特征运算，生成深层网络特征；
通过线性层和池化层对Swin-Transformer网络输出的特征进行降维与池化操作，最后通过全连接层实现分类运算，经过训练和验证后的最优模型中的深度特征作为从多模态脑磁共振成像数据中提取的结构磁共振成像特征；
第二特征提取模块的处理过程包括：
对输入的多模态脑磁共振成像数据中的静息态功能磁共振成像数据确定出21对感兴趣区域，提取每个感兴趣区域内的核磁共振平均信号作为目标特征；
对目标特征应用线性嵌入并加入位置编码进行求和；
将求和得到的特征通过KD-Transformer模块，计算核注意力，生成与大脑区域相互作用相关的深度特征，随后将特征向量通过全连接层进行分类运算，经过训练和验证后的最优模型中的深度特征作为从多模态脑磁共振成像数据中提取的静息态功能磁共振成像特征；
特征融合与分类模块包括构建基于多模态图学习网络的分类模型，具体处理过程包括：
将结构磁共振成像特征、静息态功能磁共振成像特征和临床症候文本特征进行拼接形成原始多模态特征；
通过基于注意力机制的模态感知表征学习嵌入到模态内的表征空间和模态间的表征空间，分别获得模态内信息表征和模态间信息表征，并通过对模态内信息表征和模态间信息表征进行拼接，得到模态感知嵌入；
通过基于学习节点的相似性度量的多模态图学习网络基于可学习度量函数和模态感知嵌入，学习得到邻接矩阵，其中，邻接矩阵中的元素表示模态感知嵌入中节点与节点间的连接关系；
通过图神经网络模块基于模态感知嵌入与邻接矩阵，得到分类结果；
利用构建的训练数据集对模型进行训练和验证，根据每次训练的结果调整模型参数，最终形成最优的第一分类模型；
其中，通过基于注意力机制的模态感知表征学习嵌入到模态内的表征空间和模态间的表征空间，分别获得模态内信息表征和模态间信息表征，包括：
基于注意力机制将原始多模态特征，通过Q、K、V加权得到相应的Q、K、V向量，Q、K相乘得到模态间注意力矩阵，在模态间矩阵的基础上，对每个模态的V向量进行共享跨模态聚合得到/>，然后将模态间矩阵和/>分别嵌入到模态内的表征空间和模态间的表征空间获得模态内信息表征和模态间信息表征，/>表示聚合后的特征。
3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现如权利要求1所述的方法。
4.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1所述的方法。
5.血管性认知障碍的AI评估系统，其特征在于，包括如权利要求1所述的血管性认知障碍的AI评估模型的构建方法所构建的血管性认知障碍的AI评估模型、数据获取模块和第二数据预处理模块，数据获取模块用于获取待评估患者的数据，第二数据预处理模块用于对获取的待评估患者的数据进行预处理，血管性认知障碍的AI评估模型用于将预处理后的待评估患者的数据输入训练好的血管性认知障碍的AI评估，得到诊断或预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310718872.0A CN116452593B (zh) | 2023-06-16 | 2023-06-16 | 血管性认知障碍的ai评估模型的构建方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310718872.0A CN116452593B (zh) | 2023-06-16 | 2023-06-16 | 血管性认知障碍的ai评估模型的构建方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116452593A CN116452593A (zh) | 2023-07-18 |
| CN116452593B true CN116452593B (zh) | 2023-09-05 |
Family
ID=87132440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310718872.0A Active CN116452593B (zh) | 2023-06-16 | 2023-06-16 | 血管性认知障碍的ai评估模型的构建方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116452593B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117171712B (zh) * | 2023-11-03 | 2024-02-02 | 中关村科学城城市大脑股份有限公司 | 辅助信息生成方法、装置、电子设备和计算机可读介质 |
| CN118016271A (zh) * | 2024-01-12 | 2024-05-10 | 武汉大学中南医院 | 一种血管性抑郁识别模型的构建方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007018630A1 (de) * | 2007-04-19 | 2008-10-23 | Siemens Ag | Multimodales Bildakquisitions-, Bildverarbeitungs-, Bildarchivierungs- und Bildvisialisierungssystem zur Koregistrierung, Fusionierung, Archivierung und grafischen Visualisierung endoluminaler CT- bzw. MRT-Bilddaten mit eingeblendeten PET-, PET-CT-, SPECT- bzw. SPECT-CT-Bilddaten |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN113571195A (zh) * | 2021-07-20 | 2021-10-29 | 南京脑科医院 | 基于小脑功能连接特征的阿尔茨海默病早期的预测模型 |
| CN114724224A (zh) * | 2022-04-15 | 2022-07-08 | 浙江工业大学 | 一种用于医疗护理机器人的多模态情感识别方法 |
| CN114782350A (zh) * | 2022-04-14 | 2022-07-22 | 浙江工业大学 | 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法 |
| CN115131415A (zh) * | 2022-07-19 | 2022-09-30 | 中国人民解放军陆军军医大学第一附属医院 | 血管性认知功能障碍的辅助诊断模型的构建方法及装置 |
| CN115223678A (zh) * | 2022-07-27 | 2022-10-21 | 重庆师范大学 | 基于多任务多模态深度学习的x光胸片诊断报告生成方法 |
| CN115553752A (zh) * | 2022-10-24 | 2023-01-03 | 华南理工大学 | 一种基于多模态数据融合的脑功能障碍辅助评估方法 |
| CN116188410A (zh) * | 2023-02-10 | 2023-05-30 | 广东省人民医院 | 基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法、系统、设备及介质 |
| WO2023098524A1 (zh) * | 2021-12-02 | 2023-06-08 | 天津御锦人工智能医疗科技有限公司 | 多模态医学数据融合的评估方法、装置、设备及存储介质 |
| WO2023104173A1 (zh) * | 2021-12-09 | 2023-06-15 | 深圳先进技术研究院 | 基于人脑功能磁共振影像的自闭症分类器构建方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230070085A (ko) * | 2021-11-12 | 2023-05-22 | 조선대학교산학협력단 | 뇌 네트워크를 이용한 알츠하이머병에 대한 진단정보 제공방법 |
-
2023
- 2023-06-16 CN CN202310718872.0A patent/CN116452593B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007018630A1 (de) * | 2007-04-19 | 2008-10-23 | Siemens Ag | Multimodales Bildakquisitions-, Bildverarbeitungs-, Bildarchivierungs- und Bildvisialisierungssystem zur Koregistrierung, Fusionierung, Archivierung und grafischen Visualisierung endoluminaler CT- bzw. MRT-Bilddaten mit eingeblendeten PET-, PET-CT-, SPECT- bzw. SPECT-CT-Bilddaten |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN113571195A (zh) * | 2021-07-20 | 2021-10-29 | 南京脑科医院 | 基于小脑功能连接特征的阿尔茨海默病早期的预测模型 |
| WO2023098524A1 (zh) * | 2021-12-02 | 2023-06-08 | 天津御锦人工智能医疗科技有限公司 | 多模态医学数据融合的评估方法、装置、设备及存储介质 |
| WO2023104173A1 (zh) * | 2021-12-09 | 2023-06-15 | 深圳先进技术研究院 | 基于人脑功能磁共振影像的自闭症分类器构建方法及系统 |
| CN114782350A (zh) * | 2022-04-14 | 2022-07-22 | 浙江工业大学 | 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法 |
| CN114724224A (zh) * | 2022-04-15 | 2022-07-08 | 浙江工业大学 | 一种用于医疗护理机器人的多模态情感识别方法 |
| CN115131415A (zh) * | 2022-07-19 | 2022-09-30 | 中国人民解放军陆军军医大学第一附属医院 | 血管性认知功能障碍的辅助诊断模型的构建方法及装置 |
| CN115223678A (zh) * | 2022-07-27 | 2022-10-21 | 重庆师范大学 | 基于多任务多模态深度学习的x光胸片诊断报告生成方法 |
| CN115553752A (zh) * | 2022-10-24 | 2023-01-03 | 华南理工大学 | 一种基于多模态数据融合的脑功能障碍辅助评估方法 |
| CN116188410A (zh) * | 2023-02-10 | 2023-05-30 | 广东省人民医院 | 基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法、系统、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| Diffusion Kernel Attention Network for Brain Disorder Classification;Jianjia Zhang et al.;《IEEE Transactions on Medical Imaging》;第41卷;第2814-2827页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116452593A (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109447183B (zh) | 预测模型训练方法、装置、设备以及介质 | |
| KR102125127B1 (ko) | 딥러닝 기반 뇌 질환 진단 방법 | |
| CN111488914B (zh) | 一种基于多任务学习的阿尔茨海默症分类及预测系统 | |
| Bron et al. | Standardized evaluation of algorithms for computer-aided diagnosis of dementia based on structural MRI: the CADDementia challenge | |
| CN116452593B (zh) | 血管性认知障碍的ai评估模型的构建方法、装置及系统 | |
| CN108288070B (zh) | 一种神经指纹提取分类方法及系统 | |
| US9265441B2 (en) | Assessment of traumatic brain injury | |
| JP7276915B2 (ja) | 脳機能地図のサル－ヒト種間移行に基づいて精神疾患の個別的予測を行う方法およびシステム | |
| US20190246904A1 (en) | Stroke diagnosis and prognosis prediction method and system | |
| CN112674720B (zh) | 基于3d卷积神经网络的阿尔茨海默症的预判断方法 | |
| Gao | Gray level co-occurrence matrix and extreme learning machine for Alzheimer's disease diagnosis | |
| Han et al. | Multi-scale 3D convolution feature-based broad learning system for Alzheimer’s disease diagnosis via MRI images | |
| CN115147600A (zh) | 基于分类器权重转换器的gbm多模态mr图像分割方法 | |
| Yang et al. | Diagnosis of Parkinson’s disease based on 3D ResNet: The frontal lobe is crucial | |
| Ahmad et al. | Autism spectrum disorder detection using facial images: A performance comparison of pretrained convolutional neural networks | |
| Rao et al. | A Review on Alzheimer’s disease through analysis of MRI images using Deep Learning Techniques | |
| CA3186524A1 (en) | Lung ultrasound processing systems and methods | |
| CN116579975A (zh) | 一种卷积神经网络的脑龄预测方法及系统 | |
| CN116452592B (zh) | 脑血管病ai认知功能评测模型的构建方法、装置及系统 | |
| Saha | Classification of Parkinson’s disease using MRI data and deep learning convolution neural networks | |
| Khachnaoui et al. | Enhanced Parkinson’s Disease Diagnosis Through Convolutional Neural Network Models Applied to SPECT DaTSCAN Images | |
| Çelebi et al. | Leveraging Deep Learning for Enhanced Detection of Alzheimer's Disease Through Morphometric Analysis of Brain Images. | |
| Raghav et al. | Autism Spectrum Disorder Detection in Children Using Transfer Learning Techniques | |
| Huang et al. | Parkinson's severity diagnosis explainable model based on 3D multi-head attention residual network | |
| Yeboah et al. | A deep learning model to predict traumatic brain injury severity and outcome from MR images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |