CN117058514A - 基于图神经网络的多模态脑影像数据融合解码方法和装置 - Google Patents
基于图神经网络的多模态脑影像数据融合解码方法和装置 Download PDFInfo
- Publication number
- CN117058514A CN117058514A CN202311315370.XA CN202311315370A CN117058514A CN 117058514 A CN117058514 A CN 117058514A CN 202311315370 A CN202311315370 A CN 202311315370A CN 117058514 A CN117058514 A CN 117058514A
- Authority
- CN
- China
- Prior art keywords
- brain
- graph
- neural network
- resting state
- graph neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 235
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 230000000284 resting effect Effects 0.000 claims abstract description 87
- 238000002582 magnetoencephalography Methods 0.000 claims abstract description 56
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims abstract description 34
- 238000003062 neural network model Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000015654 memory Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012512 characterization method Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 230000003925 brain function Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 210000003710 cerebral cortex Anatomy 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 4
- 238000005096 rolling process Methods 0.000 claims description 3
- 230000008035 nerve activity Effects 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000007177 brain activity Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000002610 neuroimaging Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000036992 cognitive tasks Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007831 electrophysiology Effects 0.000 description 1
- 238000002001 electrophysiology Methods 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000007230 neural mechanism Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000006213 oxygenation reaction Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请涉及一种基于图神经网络的多模态脑影像数据融合解码方法和装置，其中，基于图神经网络的多模态脑影像数据融合解码方法包括：获取被试者的脑磁图功率时间序列以及静息态功能磁共振成像功能连接；基于选定的脑图谱，构建脑图；使用所述被试者的所述脑磁图功率时间序列以及所述静息态功能磁共振成像功能连接对所述脑图进行图嵌入，得到嵌入后的脑图；基于所述嵌入后的脑图对图神经网络模型进行训练，获得图神经网络解码模型；使用所述图神经网络解码模型预测目标人员大脑的任务态类别，获得预测结果。本申请对多模态脑影像数据进行融合，使用图神经网络对人脑神经活动信号进行解码，提高了对脑影像数据的解码精度。
Description
技术领域
本申请涉及神经影像数据分析和深度学习技术领域，特别是涉及一种基于图神经网络的多模态脑影像数据融合解码方法和装置。
背景技术
脑磁图（magnetoencephalography，MEG）是一种非侵入性的神经影像学技术，通过监测大脑神经元的磁场来检测和研究大脑活动。MEG技术因其出色的时间分辨率（毫秒级别）已经成为研究大脑功能的有力工具。近年来，MEG技术已经被广泛应用于神经科学和认知科学等领域的研究中。例如，MEG技术已经被用于研究大脑的注意力、语言、视觉和运动功能等。此外，MEG还被用于研究神经疾病，如癫痫、帕金森病和阿尔茨海默病等或者被用于研究认知过程，如学习、记忆和决策等。随着MEG采集设备和技术的普及，MEG在未来的应用越来越普遍。
功能性磁共振成像（functional magnetic resonance imaging，fMRI）是一种通过测量血液氧合水平来检测大脑活动的非侵入式神经影像学技术。它可以提供高空间分辨率和相对较高的时间分辨率，使得我们能够了解不同区域在特定任务或刺激下的响应模式。
两种模态的影像数据相对比，fMRI更适用于针对大脑区域或网络的空间特征的研究，而MEG的时间分辨率更佳。并且，MEG和fMRI信号本质上是不同的，分别反映了电生理学和血流动力学，从不同角度反映了大脑的活动变化。
随着功能性磁共振成像、脑电图和脑磁图等现代神经影像技术的发展，为研究人员提供了非侵入性解码大脑认知过程的机会。自研究者首次提出使用基于fMRI的大脑反应来预测呈现给受试者的视觉刺激类别的想法以来，大脑解码的研究在认知神经科学中一直是一个热门话题。在对这一领域的研究过程中，研究者们提出过各种计算模型，包括多体素模式识别、线性回归模型和机器学习模型等，这些解码研究主要集中在区分由一些实验任务调节的感兴趣区域内大脑激活的空间模式。近年来，随着深度学习技术的发展，相关神经网络的模型越来越多的应用于神经科学领域的研究当中。图神经网络（Graph NeuralNetworks，GNN）是一种用于处理图数据的深度学习模型。与传统的深度学习模型不同，GNN可以捕获节点之间的关系和图拓扑结构，并将这些信息作为输入来进行训练和预测。根据采用的技术不同和分类方法的不同，GNN又可以分为不同种类，例如从传播的方式来分，图神经网络可以分为图卷积神经网络（GraphConvolutional Networks，GCN），图注意力网络（Graph Attention Networks，GAT），图长短期记忆网络(Graph Long Short-Term Memory，Graph LSTM)等。目前关于大脑的研究中，通常把脑影像数据处理成图结构数据来研究分析，比如基于脑图谱工具，构建基于脑区的解剖或功能连接网络，在健康和患病人群中捕捉大脑结构和功能的网络差异。然而结合MEG和fMRI联合分析的研究较少，没有充分结合多种模态脑影像数据的优势，因此基于计算模型对人脑视觉神经信息进行解码存在精度不高的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种基于图神经网络的多模态脑影像数据融合解码方法和装置。
第一方面，本申请实施例提供了一种基于图神经网络的多模态脑影像数据融合解码方法，所述方法包括：
基于被试者在多种任务态下采集的脑磁图，获得所述被试者的脑磁图功率时间序列；以及基于被试者在静息态下采集的脑部功能磁共振成像，获得所述被试者的静息态功能连接；
基于选定的脑图谱，构建脑图；
使用所述被试者的所述脑磁图功率时间序列以及所述静息态功能连接对所述脑图进行图嵌入，得到嵌入后的脑图；
基于所述嵌入后的脑图对图神经网络模型进行训练，获得图神经网络解码模型；
使用所述图神经网络解码模型预测目标人员大脑的任务态类别，获得预测结果。
在其中一个实施例中，所述基于被试者在任务态下采集的脑磁图，获得所述被试者的脑磁图功率时间序列；以及基于被试者在静息态下采集的脑部功能磁共振成像，获得所述被试者的静息态功能连接包括：
对所述被试者在任务态下采集的脑磁图进行预处理，对预处理后的所述脑磁图进行传感器信号分析和溯源重建分析，得到功率时间序列；
将所述功率时间序列映射到所述选定的脑图谱上，得到脑磁图功率时间序列；
对所述被试者在静息态下采集的脑部功能磁共振成像进行预处理，基于所述选定的脑图谱，计算得到静息态功能连接。
在其中一个实施例中，所述基于选定的脑图谱，构建脑图包括：
选定脑图谱；其中，所述脑图谱具有N个脑区；
构建具有N个脑区的脑图G，所述脑图G为：
；
其中，V表示大脑皮层划分出的N个脑区，表示各脑区之间的连接，W表示各脑区之间的权重。
在其中一个实施例中，所述使用所述被试者的所述脑磁图功率时间序列以及所述静息态功能连接对所述脑图进行图嵌入包括：
将所述被试者的所述脑磁图功率时间序列作为所述脑图的节点进行图嵌入；
将所述被试者的所述静息态功能连接作为所述脑图的连接进行图嵌入；
将所述被试者的所述静息态功能连接的数值作为所述脑图的权重进行图嵌入。
在其中一个实施例中，所述将所述被试者的所述静息态功能连接作为所述脑图的连接进行图嵌入包括：
基于所述被试者的所述静息态功能连接，获得组平均静息态功能连接；
使用最近邻算法对所述组平均静息态功能连接进行稀疏化处理，以使每个脑区与其具有最高连通性的K个邻接脑区连接，得到处理后的组平均静息态功能连接；
将所述处理后的组平均静息态功能连接作为所述脑图的连接进行图嵌入。
在其中一个实施例中，所述图神经网络解码模型包括图卷积层和全连接层；所述使用所述图神经网络解码模型预测目标人员大脑的任务态类别，获得预测结果包括：
基于目标人员在任务态下采集的脑磁图，获得所述目标人员的脑磁图功率时间序列；以及基于目标人员在静息态下采集的脑部功能磁共振成像，获得所述目标人员的静息态功能连接；
将所述目标人员的所述脑磁图功率时间序列以及所述静息态功能连接进行图嵌入，输入至所述图卷积层，获得图表征结果；
将所述图表征结果进行展平操作后接入所述全连接层，经由交叉熵损失定义的损失函数后输出预测结果。
在其中一个实施例中，所述基于所述嵌入后的脑图对图神经网络模型进行训练，获得图神经网络解码模型包括：
将所述嵌入后的脑图按照所述被试者划分为训练集、验证集和测试集；
基于不同的模型超参数，使用所述训练集对所述图神经网络模型进行多次训练，直至达到预设迭代次数，得到训练完成的图神经网络模型；
将所述验证集输入至所述训练完成的图神经网络模型，保存在所述验证集上预测得分最高的图神经网络模型；
将所述预测得分最高的图神经网络模型作为图神经网络解码模型，并在所述测试集上进行模型评估。
第二方面，本申请实施例还提供了一种基于图神经网络的多模态脑影像数据融合解码装置，所述装置包括：
获得模块，用于基于被试者在多种任务态下采集的脑磁图，获得所述被试者的脑磁图功率时间序列；以及基于被试者在静息态下采集的脑部功能磁共振成像，获得所述被试者的静息态功能连接；
构建模块，用于基于选定的脑图谱，构建脑图；
嵌入模块，用于使用所述被试者的所述脑磁图功率时间序列以及所述静息态功能连接对所述脑图进行图嵌入，得到嵌入后的脑图；
训练模块，用于基于所述嵌入后的脑图对图神经网络模型进行训练，获得图神经网络解码模型；
预测模块，用于使用所述图神经网络解码模型预测目标人员大脑的任务态类别，获得预测结果。
第三方面，本申请实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如上述第一方面所述的方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。
上述基于图神经网络的多模态脑影像数据融合解码方法和装置，通过基于被试者在多种任务态下采集的脑磁图，获得所述被试者的脑磁图功率时间序列；以及基于被试者在静息态下采集的脑部功能磁共振成像，获得所述被试者的静息态功能连接；基于选定的脑图谱，构建脑图；使用所述被试者的所述脑磁图功率时间序列以及所述静息态功能连接对所述脑图进行图嵌入，得到嵌入后的脑图；基于所述嵌入后的脑图对图神经网络模型进行训练，获得图神经网络解码模型；使用所述图神经网络解码模型预测目标人员大脑的任务态类别，获得预测结果。本申请通过对多模态脑影像数据进行融合，使用图神经网络构建图神经网络解码模型实现对人脑视觉神经信息进行解码，提高了解码的精度。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是一个实施例中基于图神经网络的多模态脑影像数据融合解码方法的应用环境示意图；
图2是一个实施例中基于图神经网络的多模态脑影像数据融合解码方法的流程示意图；
图3是一个实施例中执行S203具体步骤的流程示意图；
图4是一个实施例中执行S302具体步骤的流程示意图；
图5是一个实施例中的图神经网络解码模型的结构示意图；
图6是一个实施例中基于图神经网络的多模态脑影像数据融合解码装置的结构框图；
图7是一个实施例中计算机设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是一个实施例中基于图神经网络的多模态脑影像数据融合解码方法的应用环境示意图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的基于图神经网络的多模态脑影像数据融合解码方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterfaceController，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本申请实施例提供了一种基于图神经网络的多模态脑影像数据融合解码方法，如图2所示，所述方法包括以下步骤：
步骤S201，基于被试者在多种任务态下采集的脑磁图，获得所述被试者的脑磁图功率时间序列；以及基于被试者在静息态下采集的脑部功能磁共振成像，获得所述被试者的静息态功能连接；
任务态和静息态是大脑的两种状态，任务态主要是指大脑在执行记忆、识别以及运动等具体任务时的状态，静息态则是指大脑不执行具体认知任务、保持安静、放松、清醒时的状态。
步骤S202，基于选定的脑图谱，构建脑图；
步骤S203，使用所述被试者的所述脑磁图功率时间序列以及所述静息态功能连接对所述脑图进行图嵌入，得到嵌入后的脑图；
步骤S204，基于所述嵌入后的脑图对图神经网络模型进行训练，获得图神经网络解码模型；
步骤S205，使用所述图神经网络解码模型预测目标人员大脑的任务态类别，获得预测结果。
通过上述步骤S201至步骤S205，通过基于被试者在多种任务态下采集的脑磁图，获得所述被试者的脑磁图功率时间序列；以及基于被试者在静息态下采集的脑部功能磁共振成像，获得所述被试者的静息态功能连接；基于选定的脑图谱，构建脑图；使用所述被试者的所述脑磁图功率时间序列以及所述静息态功能连接对所述脑图进行图嵌入，得到嵌入后的脑图；基于所述嵌入后的脑图对图神经网络模型进行训练，获得图神经网络解码模型；使用所述图神经网络解码模型预测目标人员大脑的任务态类别，获得预测结果。本实施例充分利用了不同模态脑影像数据的优势，融合不同模态脑影像数据进行分析，结合MEG和fMRI的数据可以充分发挥MEG时间分辨率的优势和fMRI空间分辨率的优势。其次，本实施例提供的基于图神经网络的解码模型，对于处理图结构的数据有着天然优势，这对常被处理成图数据分析的脑影像数据的处理提供了很大优势，构建的图神经网络解码模型提升了对于不同任务态的脑影像数据的解码精度，这对深入研究大脑的相关神经机制具有重要意义。
在其中一个实施例中，所述基于被试者在任务态下采集的脑磁图，获得所述被试者的脑磁图功率时间序列；以及基于被试者在静息态下采集的脑部功能磁共振成像，获得所述被试者的静息态功能连接包括以下步骤：
步骤一：对所述被试者在任务态下采集的脑磁图进行预处理，对预处理后的所述脑磁图进行传感器信号分析和溯源重建分析，得到功率时间序列；
具体的，首先对脑磁图数据预处理，包括滤除低质量信道与数据段、分离噪声伪影和提取特定条件下的单个试验数据；其次进行脑磁图源重建，包括对预处理后的数据进行传感器信号分析及溯源重建分析，溯源重建后得到的功率时间序列为V×T，其中V表示大脑皮层顶点数，T表示单次试验下的时间点数目。本实施例中采用人类连接组计划（HumanConnectome Project，HCP）提供的4K分辨率的皮层空间，该空间对应的V代表8004个顶点；本实施例中定义单次试验时间长度为4秒，采样率50Hz，共200个时间点。
步骤二：将所述功率时间序列映射到所述选定的脑图谱上，得到脑磁图功率时间序列；
具体的，将V×T的功率时间序列经过脑图谱映射可得到N×T的功率时间序列，其中N为脑图谱定义的脑区数。本实施例中选取HCP提供的脑图谱，其包含360个脑区，经过该图谱映射后，对每次试验的数据均可得到360×200的时间序列。
步骤三：对所述被试者在静息态下采集的脑部功能磁共振成像进行预处理，基于所述选定的脑图谱，计算得到静息态功能连接。
具体的，按照fMRI标准化预处理流程进行预处理，常用的fMRI标准化预处理流程包括梯度解卷、运动校正、基于场图（fieldmap）的EPI（梯度回波平面成像）失真校正、EPI到结构T1加权扫描的基于脑边界的配准、到MNI152空间的非线性（FNIRT）配准，和平均强度归一化；基于选定的脑图谱，根据预处理后的脑部功能磁共振成像计算得到基于脑图谱的脑区间静息态功能连接。
在其中一个实施例中，所述基于选定的脑图谱，构建脑图包括：
选定脑图谱；其中，所述脑图谱具有N个脑区；
构建具有N个脑区的脑图G，所述脑图G为：
；
其中，V表示大脑皮层划分出的N个脑区，表示各脑区之间的连接，W表示各脑区之间的权重。
其中，使用不同的脑图谱模板可以得到不同脑区数N的脑图，本实施例中选定的脑图谱包含360个脑区。
在其中一个实施例中，如图3所示，所述使用所述被试者的所述脑磁图功率时间序列以及所述静息态功能连接对所述脑图进行图嵌入包括以下步骤：
步骤S301，将所述被试者的所述脑磁图功率时间序列作为所述脑图的节点进行图嵌入；
步骤S302，将所述被试者的所述静息态功能连接作为所述脑图的连接进行图嵌入；
步骤S303，将所述被试者的所述静息态功能连接的数值作为所述脑图的权重进行图嵌入。
本实施例通过使用所述被试者的所述脑磁图功率时间序列以及所述静息态功能连接对所述脑图进行图嵌入，嵌入后图的节点反映了MEG数据的信息，图的连接和权重反映了fMRI数据的信息，实现了脑磁图与功能磁共振成像数据的多模态融合。
在其中一个实施例中，如图4所示，所述将所述被试者的所述静息态功能连接作为所述脑图的连接进行图嵌入包括以下步骤：
步骤S401，基于所述被试者的所述静息态功能连接，获得组平均静息态功能连接；
步骤S402，使用最近邻算法对所述组平均静息态功能连接进行稀疏化处理，以使每个脑区与其具有最高连通性的K个邻接脑区连接，得到处理后的组平均静息态功能连接；
步骤S403，将所述处理后的组平均静息态功能连接作为所述脑图的连接进行图嵌入。
具体的，本实施例使用k近邻算法对功能连接进行稀疏化，将每个大脑区域与其具有最高连通性的8个邻居脑区连接，只保留这些脑区间的功能连接，并将剩余脑区间功能连接和其值作为图的连接和权重进行图嵌入，有利于图神经网络模型训练的效率以及图神经网络解码模型的解码精度。
在其中一个实施例中，如图5所示，所述图神经网络解码模型包括图卷积层和全连接层，所述使用所述图神经网络解码模型预测目标人员大脑的任务态类别，获得预测结果包括以下步骤：
步骤S501，基于目标人员在任务态下采集的脑磁图，获得所述目标人员的脑磁图功率时间序列；以及基于目标人员在静息态下采集的脑部功能磁共振成像，获得所述目标人员的静息态功能连接；
步骤S502，将所述目标人员的所述脑磁图功率时间序列以及所述静息态功能连接进行图嵌入，输入至所述图卷积层，获得图表征结果；
本实施中的图神经网络解码模型由三个图卷积层组成，每层都是使用ChebNet图卷积实现，每层有32个滤波器。具体来说，图卷积依赖于图拉普拉斯算子，拉普拉斯算子是表征相邻节点之间信号变化幅度的平滑算子。归一化图拉普拉斯算子定义为：
其中D是节点度的对角矩阵，I是单位矩阵，W是由连通性加权图指定的权重矩阵。拉普拉斯矩阵的特征分解为，其中/>是拉普拉斯特征向量的矩阵，/>是对应特征值的对角矩阵，指定了图模式的频率。因此，特征值量化了信号在图上变化的平滑度，而特征向量表示了信号在图上的分布模式。对于定义在图上的信号x，本实施例中为每个脑区分配一个特征向量，图信号/>与基于脑图G的图滤波器/>之间的卷积被定义为它们在谱域中的元素哈达玛（Hadamard）积：
其中，和θ表示图卷积gθ的参数模型，/>是拉普拉斯特征向量矩阵，UTx是将图信号投影到图模式的全谱上。该方程通过一系列矩阵乘法运算提供了一种计算图卷积的简便方法。为了避免计算图拉普拉斯的谱分解，ChebNet卷积使用Chebychev多项式的截断展开式，其递归定义如下：
故图卷积被定义为：
其中是图拉普拉斯算子的归一化版本，其中λmax是最大特征值，θk是在Chebychev多项式的每阶上要学习的模型参数。
本实施例中的图神经网络解码模型以基于脑区的MEG功率序列和fMRI功能连接的图嵌入为输入，可以将不同频带的脑磁图数据的神经振荡映射到抽象的表征空间。
步骤S503，将所述图表征结果进行展平操作后接入所述全连接层，经由交叉熵损失定义的损失函数后输出预测结果。
经过三个图卷积层后获得图表征结果，将图表征结果进行展平操作后接入两个全连接层（全连接层包含256-64个隐藏单元），经由交叉熵损失定义的损失函数Softmax后输出预测结果。
在其中一个实施例中，所述基于所述嵌入后的脑图对图神经网络模型进行训练，获得图神经网络解码模型包括以下步骤：
步骤S601，将所述嵌入后的脑图按照所述被试者划分为训练集、验证集和测试集；
具体的，本实施例选取了人类连接组计划（Human Connectome Project，HCP）提供的83名被试者MEG数据集，83名被试者在采集脑磁图数据时经过经典的N范式视觉工作记忆任务，包含0-Back与2-Back任务，识别的图片有人脸和工具，相互组合共四种具体任务，每种任务下均有若干次试验，共计24686次试验，用于获得所述被试者每次试验后的脑磁图功率时间序列。本实施例选取了HCP提供的1080名受试者在静息态下的脑部fMRI数据，用于获得所述被试者的组平均静息态功能连接。将每次试验后的脑磁图功率时间序列和组平均静息态功能连接作为一个样本进行图嵌入，获得嵌入后的脑图数据集。
本实施例将嵌入后的脑图数据集按照训练集（70%）、验证集（20%）和测试集（10%）的比例划分数据集，并且该划分是按照被试者进行划分的，即要确保来自同一被试的所有试验被分配到三个集合中的一个。
步骤S602，基于不同的模型超参数，使用所述训练集对所述图神经网络模型进行多次训练，直至达到预设迭代次数，得到训练完成的图神经网络模型；本实施例经过1000次迭代训练。
步骤S603，将所述验证集输入至所述训练完成的图神经网络模型，保存在所述验证集上预测得分最高的图神经网络模型；
步骤S604，将所述预测得分最高的图神经网络模型作为图神经网络解码模型，并在所述测试集上进行模型评估。将测试集输入图神经网络模型，模型可以对其所属的任务状态进行预测。
本申请实施例还提供了一种基于图神经网络的多模态脑影像数据融合解码装置，如图6所示，所述装置包括：
获得模块610，用于基于被试者在多种任务态下采集的脑磁图，获得所述被试者的脑磁图功率时间序列；以及基于被试者在静息态下采集的脑部功能磁共振成像，获得所述被试者的静息态功能连接；
构建模块620，用于基于选定的脑图谱，构建脑图；
嵌入模块630，用于使用所述被试者的所述脑磁图功率时间序列以及所述静息态功能连接对所述脑图进行图嵌入，得到嵌入后的脑图；
训练模块640，用于基于所述嵌入后的脑图对图神经网络模型进行训练，获得图神经网络解码模型；
预测模块650，用于使用所述图神经网络解码模型预测目标人员大脑的任务态类别，获得预测结果。
在其中一个实施例中，获得模块610还用于：
对所述被试者在任务态下采集的脑磁图进行预处理，对预处理后的所述脑磁图进行传感器信号分析和溯源重建分析，得到功率时间序列；
将所述功率时间序列映射到所述选定的脑图谱上，得到脑磁图功率时间序列；
对所述被试者在静息态下采集的脑部功能磁共振成像进行预处理，基于所述选定的脑图谱，计算得到静息态功能连接。
在其中一个实施例中，构建模块620还用于：
选定脑图谱；其中，所述脑图谱具有N个脑区；
构建具有N个脑区的脑图G，所述脑图G为：
；
其中，V表示大脑皮层划分出的N个脑区，表示各脑区之间的连接，W表示各脑区之间的权重。
在其中一个实施例中，嵌入模块630还用于：
将所述被试者的所述脑磁图功率时间序列作为所述脑图的节点进行图嵌入；
将所述被试者的所述静息态功能连接作为所述脑图的连接进行图嵌入；
将所述被试者的所述静息态功能连接的数值作为所述脑图的权重进行图嵌入。
在其中一个实施例中，嵌入模块630还用于：
基于所述被试者的所述静息态功能连接，获得组平均静息态功能连接；
使用最近邻算法对所述组平均静息态功能连接进行稀疏化处理，以使每个脑区与其具有最高连通性的K个邻接脑区连接，得到处理后的组平均静息态功能连接；
将所述处理后的组平均静息态功能连接作为所述脑图的连接进行图嵌入。
在其中一个实施例中，所述图神经网络解码模型包括图卷积层和全连接层；预测模块650还用于：
基于目标人员在任务态下采集的脑磁图，获得所述目标人员的脑磁图功率时间序列；以及基于目标人员在静息态下采集的脑部功能磁共振成像，获得所述目标人员的静息态功能连接；
将所述目标人员的所述脑磁图功率时间序列以及所述静息态功能连接进行图嵌入，输入至所述图卷积层，获得图表征结果；
将所述图表征结果进行展平操作后接入所述全连接层，经由交叉熵损失定义的损失函数后输出预测结果。
在其中一个实施例中，训练模块640还用于：
将所述嵌入后的脑图按照所述被试者划分为训练集、验证集和测试集；
基于不同的模型超参数，使用所述训练集对所述图神经网络模型进行多次训练，直至达到预设迭代次数，得到训练完成的图神经网络模型；
将所述验证集输入至所述训练完成的图神经网络模型，保存在所述验证集上预测得分最高的图神经网络模型；
将所述预测得分最高的图神经网络模型作为图神经网络解码模型，并在所述测试集上进行模型评估。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种基于图神经网络的多模态脑影像数据融合解码方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项基于图神经网络的多模态脑影像数据融合解码方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(RandomAccess Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于图神经网络的多模态脑影像数据融合解码方法，其特征在于，所述方法包括：
基于被试者在多种任务态下采集的脑磁图，获得所述被试者的脑磁图功率时间序列；以及基于被试者在静息态下采集的脑部功能磁共振成像，获得所述被试者的静息态功能连接；
基于选定的脑图谱，构建脑图；
使用所述被试者的所述脑磁图功率时间序列以及所述静息态功能连接对所述脑图进行图嵌入，得到嵌入后的脑图；
基于所述嵌入后的脑图对图神经网络模型进行训练，获得图神经网络解码模型；
使用所述图神经网络解码模型预测目标人员大脑的任务态类别，获得预测结果。
2.根据权利要求1所述的方法，其特征在于，所述基于被试者在任务态下采集的脑磁图，获得所述被试者的脑磁图功率时间序列；以及基于被试者在静息态下采集的脑部功能磁共振成像，获得所述被试者的静息态功能连接包括：
对所述被试者在任务态下采集的脑磁图进行预处理，对预处理后的所述脑磁图进行传感器信号分析和溯源重建分析，得到功率时间序列；
将所述功率时间序列映射到所述选定的脑图谱上，得到脑磁图功率时间序列；
对所述被试者在静息态下采集的脑部功能磁共振成像进行预处理，基于所述选定的脑图谱，计算得到静息态功能连接。
3.根据权利要求1所述的方法，其特征在于，所述基于选定的脑图谱，构建脑图包括：
选定脑图谱；其中，所述脑图谱具有N个脑区；
构建具有N个脑区的脑图G，所述脑图G为：
；
其中，V表示大脑皮层划分出的N个脑区，表示各脑区之间的连接，W表示各脑区之间的权重。
4.根据权利要求3所述的方法，其特征在于，所述使用所述被试者的所述脑磁图功率时间序列以及所述静息态功能连接对所述脑图进行图嵌入包括：
将所述被试者的所述脑磁图功率时间序列作为所述脑图的节点进行图嵌入；
将所述被试者的所述静息态功能连接作为所述脑图的连接进行图嵌入；
将所述被试者的所述静息态功能连接的数值作为所述脑图的权重进行图嵌入。
5.根据权利要求4所述的方法，其特征在于，所述将所述被试者的所述静息态功能连接作为所述脑图的连接进行图嵌入包括：
基于所述被试者的所述静息态功能连接，获得组平均静息态功能连接；
使用最近邻算法对所述组平均静息态功能连接进行稀疏化处理，以使每个脑区与其具有最高连通性的K个邻接脑区连接，得到处理后的组平均静息态功能连接；
将所述处理后的组平均静息态功能连接作为所述脑图的连接进行图嵌入。
6.根据权利要求1所述的方法，其特征在于，所述图神经网络解码模型包括图卷积层和全连接层；所述使用所述图神经网络解码模型预测目标人员大脑的任务态类别，获得预测结果包括：
基于目标人员在任务态下采集的脑磁图，获得所述目标人员的脑磁图功率时间序列；以及基于目标人员在静息态下采集的脑部功能磁共振成像，获得所述目标人员的静息态功能连接；
将所述目标人员的所述脑磁图功率时间序列以及所述静息态功能连接进行图嵌入，输入至所述图卷积层，获得图表征结果；
将所述图表征结果进行展平操作后接入所述全连接层，经由交叉熵损失定义的损失函数后输出预测结果。
7.根据权利要求1所述的方法，其特征在于，所述基于所述嵌入后的脑图对图神经网络模型进行训练，获得图神经网络解码模型包括：
将所述嵌入后的脑图按照所述被试者划分为训练集、验证集和测试集；
基于不同的模型超参数，使用所述训练集对所述图神经网络模型进行多次训练，直至达到预设迭代次数，得到训练完成的图神经网络模型；
将所述验证集输入至所述训练完成的图神经网络模型，保存在所述验证集上预测得分最高的图神经网络模型；
将所述预测得分最高的图神经网络模型作为图神经网络解码模型，并在所述测试集上进行模型评估。
8.一种基于图神经网络的多模态脑影像数据融合解码装置，其特征在于，所述装置包括：
获得模块，用于基于被试者在多种任务态下采集的脑磁图，获得所述被试者的脑磁图功率时间序列；以及基于被试者在静息态下采集的脑部功能磁共振成像，获得所述被试者的静息态功能连接；
构建模块，用于基于选定的脑图谱，构建脑图；
嵌入模块，用于使用所述被试者的所述脑磁图功率时间序列以及所述静息态功能连接对所述脑图进行图嵌入，得到嵌入后的脑图；
训练模块，用于基于所述嵌入后的脑图对图神经网络模型进行训练，获得图神经网络解码模型；
预测模块，用于使用所述图神经网络解码模型预测目标人员大脑的任务态类别，获得预测结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至权利要求7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311315370.XA CN117058514B (zh) | 2023-10-12 | 2023-10-12 | 基于图神经网络的多模态脑影像数据融合解码方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311315370.XA CN117058514B (zh) | 2023-10-12 | 2023-10-12 | 基于图神经网络的多模态脑影像数据融合解码方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117058514A true CN117058514A (zh) | 2023-11-14 |
| CN117058514B CN117058514B (zh) | 2024-04-02 |
Family
ID=88659481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311315370.XA Active CN117058514B (zh) | 2023-10-12 | 2023-10-12 | 基于图神经网络的多模态脑影像数据融合解码方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117058514B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117408322A (zh) * | 2023-12-15 | 2024-01-16 | 北京邮电大学 | 脑功能与脑结构的映射模型训练方法、装置及映射方法 |
| CN117649344A (zh) * | 2024-01-29 | 2024-03-05 | 之江实验室 | 磁共振脑影像超分辨率重建方法、装置、设备和存储介质 |
| CN117808040A (zh) * | 2024-03-01 | 2024-04-02 | 南京信息工程大学 | 一种基于脑图的低遗忘热点事件预测方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563533A (zh) * | 2020-04-08 | 2020-08-21 | 华南理工大学 | 基于图卷积神经网络融合多种人脑图谱的受试者分类方法 |
| CN113539435A (zh) * | 2021-09-17 | 2021-10-22 | 之江实验室 | 一种基于图模型的脑功能配准方法 |
| CN114376558A (zh) * | 2022-03-24 | 2022-04-22 | 之江实验室 | 基于磁共振和孪生图神经网络的脑图谱个体化方法及系统 |
| CN115116607A (zh) * | 2022-08-30 | 2022-09-27 | 之江实验室 | 一种基于静息态磁共振迁移学习的脑疾病预测系统 |
| CN115359045A (zh) * | 2022-10-19 | 2022-11-18 | 之江实验室 | 基于多模态磁共振成像的图卷积神经网络疾病预测系统 |
| WO2022251472A1 (en) * | 2021-05-26 | 2022-12-01 | The Regents Of The University Of California | Methods and devices for real-time word and speech decoding from neural activity |
| CN116503680A (zh) * | 2023-06-30 | 2023-07-28 | 之江实验室 | 基于脑图谱的脑影像结构化分析和脑疾病分类系统 |
-
2023
- 2023-10-12 CN CN202311315370.XA patent/CN117058514B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563533A (zh) * | 2020-04-08 | 2020-08-21 | 华南理工大学 | 基于图卷积神经网络融合多种人脑图谱的受试者分类方法 |
| WO2022251472A1 (en) * | 2021-05-26 | 2022-12-01 | The Regents Of The University Of California | Methods and devices for real-time word and speech decoding from neural activity |
| CN113539435A (zh) * | 2021-09-17 | 2021-10-22 | 之江实验室 | 一种基于图模型的脑功能配准方法 |
| CN114376558A (zh) * | 2022-03-24 | 2022-04-22 | 之江实验室 | 基于磁共振和孪生图神经网络的脑图谱个体化方法及系统 |
| US20230301542A1 (en) * | 2022-03-24 | 2023-09-28 | Zhejiang Lab | Brain atlas individualization method and system based on magnetic resonance and twin graph neural network |
| CN115116607A (zh) * | 2022-08-30 | 2022-09-27 | 之江实验室 | 一种基于静息态磁共振迁移学习的脑疾病预测系统 |
| CN115359045A (zh) * | 2022-10-19 | 2022-11-18 | 之江实验室 | 基于多模态磁共振成像的图卷积神经网络疾病预测系统 |
| CN116503680A (zh) * | 2023-06-30 | 2023-07-28 | 之江实验室 | 基于脑图谱的脑影像结构化分析和脑疾病分类系统 |
Non-Patent Citations (4)
| Title |
|---|
| LIANG MA; YU ZHANG; HANTIAN ZHANG; LUQI CHENG; ZHENGYI YANG: "BAI-Net: Individualized Anatomical Cerebral Cartography Using Graph Neural Network", IEEE * |
| 杨春兰;吴文晓;吴水才;任洁钏;: "用于构建脑磁图网络的信号提取方法", 北京工业大学学报, no. 07 * |
| 梁夏;王金辉;贺永;: "人脑连接组研究:脑结构网络和脑功能网络", 科学通报, no. 16 * |
| 陈奇琦;吴婷;康冰;杨露;陈丽君;顾剑红;苗爱亮;吴磊;: "脑磁图观察针刺太冲穴所致脑部能量变化", 中国医学影像技术, no. 12 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117408322A (zh) * | 2023-12-15 | 2024-01-16 | 北京邮电大学 | 脑功能与脑结构的映射模型训练方法、装置及映射方法 |
| CN117408322B (zh) * | 2023-12-15 | 2024-04-16 | 北京邮电大学 | 脑功能与脑结构的映射模型训练方法、装置及映射方法 |
| CN117649344A (zh) * | 2024-01-29 | 2024-03-05 | 之江实验室 | 磁共振脑影像超分辨率重建方法、装置、设备和存储介质 |
| CN117649344B (zh) * | 2024-01-29 | 2024-05-14 | 之江实验室 | 磁共振脑影像超分辨率重建方法、装置、设备和存储介质 |
| CN117808040A (zh) * | 2024-03-01 | 2024-04-02 | 南京信息工程大学 | 一种基于脑图的低遗忘热点事件预测方法及装置 |
| CN117808040B (zh) * | 2024-03-01 | 2024-05-14 | 南京信息工程大学 | 一种基于脑图的低遗忘热点事件预测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117058514B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117058514B (zh) | 基于图神经网络的多模态脑影像数据融合解码方法和装置 | |
| Li et al. | EEG-based mild depression recognition using convolutional neural network | |
| CN110598793B (zh) | 一种大脑功能网络特征分类方法 | |
| WO2019102901A1 (ja) | 脳内ネットワークの活動推定システム、脳内ネットワークの活動推定方法、脳内ネットワークの活動推定プログラム、および、学習済み脳活動推定モデル | |
| US11333730B2 (en) | Systems and methods for mapping neuronal circuitry and clinical applications thereof | |
| CN112002428B (zh) | 以独立成分网络为参照的全脑个体化脑功能图谱构建方法 | |
| Hu et al. | A graph theoretical regression model for brain connectivity learning of Alzheimer's disease | |
| CN109344889A (zh) | 一种脑疾病分类方法、装置和用户终端 | |
| Wismüller et al. | Model-free functional MRI analysis based on unsupervised clustering | |
| CN110148145A (zh) | 一种融合边界信息的图像目标区提取方法及应用 | |
| De Martino et al. | Multimodal imaging: an evaluation of univariate and multivariate methods for simultaneous EEG/fMRI | |
| CN117172294B (zh) | 一种稀疏脑网络的构建方法、系统、设备和存储介质 | |
| Huang et al. | Coherent pattern in multi-layer brain networks: Application to epilepsy identification | |
| Gaw et al. | A clinical decision support system using multi-modality imaging data for disease diagnosis | |
| AL-Hatab et al. | Classifying various brain activities by exploiting deep learning techniques and genetic algorithm fusion method | |
| Zou et al. | An inter-subject model to reduce the calibration time for motion imagination-based brain-computer interface | |
| Kose et al. | Dynamic characterization of functional brain connectivity network for mental workload condition using an effective network identifier | |
| CN107256408B (zh) | 一种大脑功能网络的关键路径搜索方法 | |
| Lu et al. | Generate your neural signals from mine: individual-to-individual EEG converters | |
| CN117574059A (zh) | 高分辨率脑电信号深度神经网络压缩方法及脑机接口系统 | |
| Wang et al. | Functional network estimation using multigraph learning with application to brain maturation study | |
| Wang et al. | A novel model based on a 1D-ResCNN and transfer learning for processing EEG attenuation | |
| CN112842363A (zh) | 一种睡眠脑电检测方法及系统 | |
| CN115721323A (zh) | 一种脑机接口信号识别方法、系统及电子设备 | |
| KR102366534B1 (ko) | 인공지능 모델 학습을 위한 표준화된 뇌파 이미지 생성방법, 장치 및 컴퓨터프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |