CN114219068B - 一种基于时空图卷积模型的脑效应连接网络学习方法 - Google Patents
一种基于时空图卷积模型的脑效应连接网络学习方法 Download PDFInfo
- Publication number
- CN114219068B CN114219068B CN202111356945.3A CN202111356945A CN114219068B CN 114219068 B CN114219068 B CN 114219068B CN 202111356945 A CN202111356945 A CN 202111356945A CN 114219068 B CN114219068 B CN 114219068B
- Authority
- CN
- China
- Prior art keywords
- brain
- brain region
- network
- time
- activation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 300
- 230000000694 effects Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000010586 diagram Methods 0.000 title claims abstract description 25
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims abstract description 68
- 230000006870 function Effects 0.000 claims abstract description 55
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 7
- 230000004913 activation Effects 0.000 claims description 70
- 239000011159 matrix material Substances 0.000 claims description 38
- 238000005096 rolling process Methods 0.000 claims description 8
- 230000001105 regulatory effect Effects 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 230000010339 dilation Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 8
- 239000000284 extract Substances 0.000 abstract description 7
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 230000001364 causal effect Effects 0.000 description 5
- 230000007786 learning performance Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 125000002015 acyclic group Chemical group 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种基于时空图卷积模型的脑效应连接网络学习方法，属于深度学习算法、脑科学和人工智能应用领域。具体包括以下步骤：参数设置，时间卷积网络提取fMRI数据的时间特征，图卷积网络提取fMRI数据的空间特征以及在最小化联合损失函数的训练过程中学习脑效应连接网络。本发明利用时间卷积网络和图卷积网络特征学习能力强和模型泛化性好的优势，有效地提取了fMRI数据深层的时间和空间特征，使模型在对脑区时间序列预测的过程中准确地、自动地学习了效应连接网络。因此，本发明提供的方法具有特征提取能力强、准确性高，模型泛化能力好等优势，可以有效地缓解以往脑效应连接网络学习方法中出现的问题。
Description
技术领域
本发明属于脑科学研究、神经网络深度学习理论与应用研究领域，具体来说，是涉及一种基于时空图卷积模型的脑效应连接学习方法。
背景技术
人脑连接组研究试图从多层次建立刻画不同活体人脑功能、结构的脑网络组图谱；脑效应连接网络是一种由节点和有向边构成的图模型，其中节点通常被定义为脑区，有向边刻画了一个脑区施加于另一个脑区神经活动的因果效应。目前，利用计算方法从人脑功能磁共振成像(functional magnetic resonance imaging,fMRI)数据中进行脑效应连接网络的学习已成为该项研究中的一个前沿热点。
近年来，随着信息科学和神经科学的不断融合，许多传统的机器学习和数据挖掘方法被成功地用于脑效应连接网络的学习。根据所采用的计算模型和学习机理的不同，这些方法可大致分为两大类：基于模型驱动的方法和基于数据驱动的方法。
基于模型驱动的方法利用已知模型来描述脑区间神经活动的因果效应，通过模型选择从相互竞争的假设模型获得一个与数据最匹配的模型。此类方法的代表性算法是结构方程模型和动态因果模型。研究表明，此类方法通常用于学习小规模的脑效应连接网络，且在缺乏先验模型时难以获得良好的学习性能。而基于数据驱动的方法不需要先验知识和假设，能够直接从fMRI数据中学习脑效应连接网络。此类方法主要包括基于格兰杰因果的方法、基于线性非高斯无环模型的方法和Patel条件依赖性度量的方法。但这些方法仍然难以克服fMRI数据维度高、样本量小和信号非平稳等缺陷。
由此可见，虽然传统的机器学习方法在学习脑效应连接网络方面发挥了重要作用，但受到浅层模型及学习机理的制约，这些方法通常难以克服fMRI数据的固有缺陷对学习性能造成的不良影响。
伴随着深度学习的蓬勃发展及其在图像、语音等诸多领域获得的巨大成功，一些深度学习方法已被探索性地用于从fMRI数据中学习脑效应连接网络。然而，目前的这些方法未能充分提取fMRI数据的时间和空间特征，极大地制约了模型学习的准确性。
发明内容
本发明针对上述脑效应连接网络学习所面临的挑战，提出了一种基于时空图卷积模型的脑效应连接网络学习方法。该方法充分考虑了fMRI数据的时序特征和脑区之间的空间拓扑关系，能够从时间和空间两个维度提取fMRI数据中的深层特征，并在对脑区时间序列进行预测的过程中自适应地学习脑区间的效应连接网络。
为了实现上述目的，本发明采用的技术方案是一种基于时空图卷积模型的脑效应连接网络学习方法。该方法首先利用时间卷积网络学习各个脑区的fMRI数据的时序特征，然后通过图卷积网络聚合邻居脑区的信息来更新每个脑区的特征。最终，基于所学到的每个脑区的特征，在预测脑区时间序列的过程中可以学习到一个最优的脑效应连接网络。
一种基于时空图卷积模型的脑效应连接网络学习方法，其特征在于，在计算机上依次按照以下步骤实现：
(1)：参数设置：包括时间卷积网络的相关参数和图卷积网络的相关参数。其中，时间卷积网络的相关参数包括脑区个数n,时间卷积网络的层数m,每层时间卷积网络的块数B，扩张因子β,卷积核大小K，图卷积网络的相关参数包括脑效应连接参数矩阵A初始化(通过计算脑区间的皮尔逊相关系数构建初始化的脑效应连接矩阵),图卷积网络的层数e,每个脑区自身特征的调节系数ρ，调节网络结构复杂度的参数γ，预测损失函数的超参数λ1和图正则化损失函数的超参数λ2。
(2)：时间卷积网络提取fMRI数据的时间特征：首先利用扩张卷积网络学习fMRI数据的时间特征，然后通过一个门控机制提取所需要的时间特征。时间卷积网络提取fMRI时间特征的具体步骤如下：
①在扩张卷积网络中的每个卷积块中，利用一维卷积核提取每个脑区fMRI的时间特征,如下所示：
其中，Xi表示脑区i的fMRI时间序列，表示脑区i第b个卷积块在t时刻学习到的时间特征，β表示扩张卷积网络的扩张因子，取值为2，K表示卷积核的大小，取值为3；F表示一个维度为1×K的卷积核。
②通过跳连接操作将不同卷积块所提取的时间特征聚合起来，并在跳连接操作完成后，通过一个ReLU激活函数层对所得的聚合特征进行标准化，其公式如下：
其中，B表示时间卷积网络的块数，取值为4；ReLU表示激活函数。
③设计了一个由tanh激活函数层和sigmoid激活函数层构成的门控网络，并将步骤②输出的时间特征作为该门控网络的输入，通过门控网络的调节和控制作用，可以获得传递到空间卷积模块的脑区时间特征，其表达式如下：
其中，h表示经过门控网络所提取到的脑区时间特征，g表示双曲正切激活函数；σ表示Sigmoid激活函数；W1和W2是模型在进行门控卷积操作时所学习到的网络权重系数；表示进行element-wise product逐元素乘法。
步骤(3)：图卷积网络提取脑区fMRI数据的空间特征。图卷积网络通过脑区间的邻接矩阵为每个脑区聚合邻居脑区的特征，以获取每个脑区的新的特征，其具体步骤如下：
步骤(3.1)：构建一个脑区间的邻接矩阵，该邻接矩阵由一个效应连接参数矩阵和一个调节矩阵构成。它的表达式定义如下：
Ag＝A+ρ*I (4)
其中，Ag表示脑区间的邻接矩阵；A表示脑效应连接网络参数矩阵，通过计算脑区间的皮尔逊相关系数可对A进行初始化；ρ表示每个脑区自身特征的调节系数，取值为0.083；I表示n×n的单位矩阵。
步骤(3.2)：根据步骤(3.1)的邻接矩阵，采用图卷积网络为每个脑区聚合邻居脑区的特征。对于任意一个脑区i来说，聚合其邻居脑区特征的表达式如下：
其中，e表示图卷积网络的层数，表示脑区i在第e层聚合的邻居脑区的特征，fagg表示图卷积网络的聚合函数，/>表示脑区i的相邻脑区u在第e-1层的空间特征，Δ(i)表示脑区i的邻居脑区的集合。
步骤(3.3)：对于任意一个脑区i来说，将邻居脑区的特征与自身特征相加，可得到该脑区的新的特征。时空图卷积网络所学习到的脑区i的特征表示如下：
其中，表示脑区i在第e层的空间特征；fupd表示脑区i的特征更新函数，通过聚合邻居脑区的特征，脑区i获得了新的特征；ReLU表示激活函数，Ag表示脑区间的邻接矩阵；是脑区i在第e-1层时进行时空图卷积操作学习到的网络权重系数；/>是脑区u在第e-1层时进行时空图卷积操作学习到的网络权重系数。
步骤(4)：基于所得到的新的脑区特征，设计了一个包含脑区fMRI数据预测损失项和图正则化损失项的联合损失函数。以最小化该联合损失函数为目标，使模型在迭代训练的过程中自动地学习到一个脑效应连接网络。构建联合损失函数的具体步骤如下：
步骤(4.1)：构建脑区fMRI数据预测损失项。首先基于所学到的每个脑区的特征，通过一个二维卷积网络来获得每个脑区的预测值，然后利用绝对值平方误差来测量脑区fMRI预测值和实际值间的差距，具体表达式如下：
其中，表示在T+1时刻各脑区fMRI数据的预测值，/>是由步骤(3)所得到的各脑区的新的特征，Ω1是二维卷积网络在模型前向和反馈训练过程中所学习到的网络权重系数，LP表示脑区fMRI数据预测损失项，YT+1表示在T+1时刻各脑区fMRI数据的真实值。
步骤(4.2)：构建一个基于脑区激活信息的图正则化损失项。具体来说，它首先通过计算每个脑区在第c次测量时的fMRI数值是否超过激活阈值来判断该脑区的激活状态。令U表示脑区激活的指示器，R是脑区激活阈值，取值为0.5。若Xc≥R，则Uc＝1；若Xc＜R，则Uc＝0。
接下来，利用脑区联合激活概率判断每对脑区间的激活关系。具体来说，任意两个脑区i和j之间的激活关系可以包括四种：1)脑区i和j同时激活；2)脑区i激活而脑区j不激活；3)脑区j激活而脑区i不激活；4)脑区i和j同时不激活。这四种激活关系可由联合激活概率表示为：
其中，θ1表示脑区i和j同时激活的概率；θ2表示脑区i激活而脑区j不激活的概率；θ3表示脑区j激活而脑区i不激活的概率；θ4表示脑区i和j都不激活的概率。
将每个脑区的fMRI数据进行标准化处理，可将公式(9)改写为：
其中，d表示fMRI时间序列的长度，I表示1×n的单位矩阵，vi和vj表示经过min-max标准化后的脑区i和j的fMRI时间序列，即vi∈[0,1]，vj∈[0,1]。根据脑区间的联合激活概率，设计了激活参数来帮助模型学习脑区间的效应连接，其表达式如下：
其中，q表示激活参数；θ1+θ2是脑区i的边缘激活概率，表示无论脑区j是否激活，脑区i都是激活状态；θ1+θ3是脑区j的边缘激活概率,表示无论脑区i是否激活，脑区j都是激活状态。当θ1+θ2＞θ1+θ3时，脑区i占支配地位，脑区i和j之间的效应连接是i→j的概率会更大；反之，当θ1+θ3＞θ1+θ2时，脑区j占支配地位，脑区i和j之间的效应连接是i←j的概率会更大。
基于激活参数q，图正则化损失项可以定义为：
Lr＝γ·A·q (12)
其中，Lr表示图正则化损失项，γ表示调节网络结构复杂度的参数，取值为0.5；A表示脑效应连接网络参数矩阵。
因此，本发明所设计的联合损失函数的表达式为：
L＝λ1LP+λ2Lr (13)
其中，L表示联合损失函数，λ1是预测损失函数的超参数,取值为1；λ2是图正则化损失函数的超参数，取值为0.5。
本发明的有益效果是：本发明提出一种基于时空图卷积模型的脑效应连接网络学习方法，利用时间卷积网络和图卷积网络特征学习能力强和模型泛化性好的优势，有效地提取了fMRI数据深层的时间和空间特征，使模型在对脑区时间序列预测的过程中准确地、自动地学习了效应连接网络。因此，本发明提供的方法具有特征提取能力强、准确性高，模型泛化能力好等优势，可以有效缓解以往脑效应连接网络学习方法中出现的问题。
附图说明
图1是一种基于时空图卷积模型的脑效应连接网络学习方法示意图。
具体实施方式
从Smith仿真数据集中选取Sim2数据集。由于Sim2数据集包含50名被试的fMRI数据，依次将每名被试10个脑区的fMRI数据作为输入，利用时空图卷积模型学习每名被试的脑效应连接网络。该方法的基本结构如图1所示，其具体实施步骤如下：
步骤(1)：初始化参数：包括时间卷积网络的相关参数和图卷积网络的相关参数。具体来说，时间卷积网络的相关参数包括脑区个数n＝10，时间卷积网络的层数m＝3,每层时间卷积网络的块数B＝4，扩张因子大小β＝2，卷积核大小K＝3；图卷积网络的相关参数包括脑效应连接参数矩阵A(通过计算脑区间的皮尔逊相关系数构建初始化的脑效应连接矩阵),图卷积网络的层数e＝2,每个脑区自身特征的调节系数ρ＝0.083，调节网络结构复杂度的参数γ＝0.5，脑区激活阈值Θ＝0.3，预测损失函数的超参数λ1＝1和图正则化损失函数的超参数λ2＝0.5。
步骤(2)：时间卷积网络提取fMRI数据的时间特征。首先利用扩张卷积网络学习fMRI数据的时间特征，然后通过一个门控机制提取所需要的时间特征。时间卷积网络提取fMRI时间特征的具体步骤如下：
步骤(2.1)：在扩张卷积网络的每个卷积块中，利用一个维度为1×5的卷积核提取每个脑区fMRI的时间特征。
步骤(2.2)：通过跳连接操作将不同卷积块所提取的时间特征聚合起来，并在跳连接操作完成后，通过一个ReLU激活函数层对所得的聚合特征进行标准化；
步骤(2.3)：设计了一个由tanh激活函数层和sigmoid激活函数层构成的门控网络，并将步骤(2.2)输出的时间特征作为门控网络的输入，通过门控网络的调节和控制作用，可以完成对fMRI数据中时间特征的提取。
步骤(3)：图卷积网络提取脑区fMRI数据的空间特征。图卷积网络通过脑区间的邻接矩阵为每个脑区聚合邻居脑区的特征，以获取每个脑区的新的特征，其具体步骤如下：
步骤(3.1)：构建一个脑区间的邻接矩阵，该邻接矩阵由一个效应连接参数矩阵和一个调节矩阵构成。它的表达式定义如下：
Ag＝A+ρ*I (1)
其中，Ag表示脑区间的邻接矩阵；A表示脑效应连接网络参数矩阵，通过计算脑区间的皮尔逊相关系数可对A进行初始化；ρ表示每个脑区自身特征的调节系数，取值为0.083；I表示10×10的单位矩阵。
步骤(3.2)：采用图卷积网络为每个脑区聚合邻居脑区的特征。对于任意一个脑区i来说，聚合其邻居脑区特征的表达式如下：
其中，e表示图卷积网络的层数，表示脑区i在第e层聚合的邻居脑区的特征，fagg表示图卷积网络的聚合函数，/>表示脑区i的相邻脑区u在第e-1层的空间特征，Δ(i)表示脑区i的邻居脑区的集合。
步骤(3.3)：对于任意一个脑区i来说，将邻居脑区的特征与自身特征相加，可得到该脑区的新的特征。时空图卷积网络所学习到的脑区i的特征表示如下：
其中，表示脑区i在第e层的空间特征，fupd表示脑区i的特征更新函数，通过聚合邻居脑区的特征，脑区i获得了新的特征；ReLU表示激活函数，表示脑区间的邻接矩阵，/>是脑区i在第e-1层时进行时空图卷积操作学习到的网络权重系数，/>是脑区u在第e-1层时进行时空图卷积操作学习到的网络权重系数。
步骤(4)：基于所得到的新的脑区特征，设计了一个包含脑区fMRI数据预测损失项和图正则化损失项的联合损失函数。构建联合损失函数的具体步骤如下：
步骤(4.1)：构建脑区fMRI数据预测损失项。首先基于所学到的每个脑区的特征，通过一个二维卷积网络来获得每个脑区的预测值，然后利用绝对值平方误差来测量脑区fMRI预测值和实际值间的差距，具体表达式如下：
其中，表示在T+1时刻各脑区fMRI数据的预测值，/>是由步骤(3)所得到的各脑区的新的特征，Ω1是二维卷积网络在模型前向和反馈训练过程中所学习到的网络权重系数，LP表示脑区fMRI数据预测损失项，YT+1表示在T+1时刻各脑区fMRI数据的真实值。
步骤(4.2)：构建一个基于体素激活信息的图正则化损失项。具体来说，它首先通过计算每个脑区在第c次测量时的fMRI数值是否超过激活阈值来判断该脑区的激活状态。令U表示脑区激活的指示器，R是脑区激活阈值，取值为0.5。若Xc≥R，则Uc＝1；若Xc＜R，则Uc＝0。
接下来，利用体素联合激活概率判断每对脑区间的激活关系。具体来说，任意两个脑区i和j之间的激活关系可以包括四种：1)脑区i和j同时激活；2)脑区i激活而脑区j不激活；3)脑区j激活而脑区i不激活；4)脑区i和j同时不激活。这四种激活关系可由联合激活概率表示为：
其中，θ1表示脑区i和j同时激活的概率；θ2表示脑区i激活而脑区j不激活的概率；θ3表示脑区j激活而脑区i不激活的概率；θ4表示脑区i和j都不激活的概率。
将每个脑区的fMRI数据进行标准化处理，可将公式(6)改写为：
其中，d表示fMRI时间序列的长度，I表示1×10的单位矩阵，vi和vj表示经过min-max标准化后的脑区i和j的fMRI时间序列，即vi∈[0,1]，vj∈[0,1]。根据脑区间的联合激活概率，设计了激活参数来帮助模型学习脑区间的效应连接，其表达式如下：
其中，q表示激活参数；θ1+θ2是脑区i的边缘激活概率，表示无论脑区j是否激活，脑区i都是激活状态；θ1+θ3是脑区j的边缘激活概率,表示无论脑区i是否激活，脑区j都是激活状态。当θ1+θ2＞θ1+θ3时，脑区i占支配地位，脑区i和j之间的效应连接是i→j的概率会更大；反之，当θ1+θ3＞θ1+θ2时，脑区j占支配地位，脑区i和j之间的效应连接是i←j的概率会更大。
基于激活参数q，图正则化损失项可以定义为：
Lr＝γ·A·q (9)
其中，γ表示调节网络结构复杂度的参数，取值为0.5；A表示脑效应连接网络参数矩阵。
因此，本发明所设计的联合损失函数L的表达式为：
L＝λ1LP+λ2Lr (10)
其中，λ1是预测损失函数的超参数,取值为1；λ2是图正则化损失函数的超参数，取值为0.5。
以最小化该联合损失函数L为目标，模型在迭代训练的过程中能够自动学习到一个脑效应连接网络。
表1给出了基于时空图卷积模型的方法与其他几种典型算法在Sim2仿真数据集上的学习性能比较。在表1中，LsGC表示大规模格兰杰因果学习方法，RNN-GC表示循环神经网络格兰杰因果学习方法，EC-GAN表示对抗生成网络脑效应连接学习方法，STGCMEC表示本发明提出的基于时空图卷积模型的学习方法。
为了对比STGCMEC和其他算法的学习性能，采用了精度、召回率、准确率和F1值这四个评价指标，表1中提供的评价结果分别表示每个算法运行30次获得的平均值和方差。由表1可知，基于时空图卷积模型的学习方法在精度、召回率、准确率和F1值上都获得了比其他三种算法更好的性能。
表1 STGCMEC和其他对比算法在Sim2上的学习性能
| 算法 | 精度 | 召回率 | 准确率 | F1值 |
| LsGC | 0.61±0.05 | 0.57±0.02 | 0.89±0.01 | 0.59±0.04 |
| RNN-GC | 0.64±0.06 | 0.62±0.05 | 0.91±0.01 | 0.63±0.05 |
| EC-GAN | 0.65±0.07 | 0.60±0.07 | 0.90±0.02 | 0.62±0.06 |
| STGCMEC | 0.68±0.06 | 0.68±0.06 | 0.92±0.01 | 0.68±0.06 |
。
Claims (1)
1.一种基于时空图卷积模型的脑效应连接网络学习方法，其特征在于，包括以下步骤：
(1)、参数设置：包括时间卷积网络的相关参数和图卷积网络的相关参数；其中，时间卷积网络的相关参数包括脑区个数n,时间卷积网络的层数m,每层时间卷积网络的块数B，扩张因子β,卷积核大小K，图卷积网络的相关参数包括脑效应连接参数矩阵A初始化(通过计算脑区间的皮尔逊相关系数构建初始化的脑效应连接矩阵),图卷积网络的层数e,每个脑区自身特征的调节系数ρ，调节网络结构复杂度的参数γ，预测损失函数的超参数λ1和图正则化损失函数的超参数λ2；
(2)、时间卷积网络提取fMRI数据的时间特征：首先利用扩张卷积网络学习fMRI数据的时间特征，然后通过一个门控机制提取所需要的时间特征；时间卷积网络提取fMRI时间特征的具体步骤如下：
①在扩张卷积网络中的每个卷积块中，利用一维卷积核提取每个脑区fMRI的时间特征,如下所示：
其中，Xi表示脑区i的fMRI时间序列，表示脑区i第b个卷积块在t时刻学习到的时间特征，β表示扩张卷积网络的扩张因子，取值为2；K表示卷积核的大小，取值为3；F表示一个维度为1×K的卷积核；
②通过跳连接操作将不同卷积块所提取的时间特征聚合起来，并在跳连接操作完成后，通过一个ReLU激活函数层对所得的聚合特征进行标准化，其公式如下：
其中，B表示时间卷积网络的块数，取值为4；ReLU表示激活函数；
③设计了一个由tanh激活函数层和sigmoid激活函数层构成的门控网络，并将聚合特征进行标准化后输出的时间特征作为该门控网络的输入，通过门控网络的调节和控制作用，获得传递到空间卷积模块的脑区时间特征，其表达式如下：
其中，h表示经过门控网络所提取到的脑区时间特征，g表示双曲正切激活函数；σ表示Sigmoid激活函数；W1和W2是模型在进行门控卷积操作时所学习到的网络权重系数；表示进行element-wise product逐元素乘法；
(3)、图卷积网络提取脑区fMRI数据的空间特征；图卷积网络通过脑区间的邻接矩阵为每个脑区聚合邻居脑区的特征，以获取每个脑区的新的特征，其具体步骤如下：
①构建一个脑区间的邻接矩阵，该邻接矩阵由一个效应连接参数矩阵和一个调节矩阵构成；它的表达：
Ag＝A+ρ*I (4)
其中，Ag表示脑区间的邻接矩阵；A表示脑效应连接网络参数矩阵，通过计算脑区间的皮尔逊相关系数对A进行初始化；ρ表示每个脑区自身特征的调节系数，取值为0.083；I表示n×n的单位矩阵；
②采用图卷积网络为每个脑区聚合邻居脑区的特征；对于任意一个脑区i来说，聚合其邻居脑区特征的表达式如下：
其中，e表示图卷积网络的层数，表示脑区i在第e层聚合的邻居脑区的特征，fagg表示图卷积网络的聚合函数，/>表示脑区i的相邻脑区u在第e-1层的空间特征，Δ(i)表示脑区i的邻居脑区的集合；
③对于任意一个脑区i来说，将邻居脑区的特征与自身特征相加，得到该脑区的新的特征；时空图卷积网络所学习到的脑区i的特征表示如下：
其中，表示脑区i在第e层的空间特征；fupd表示脑区i的特征更新函数，通过聚合邻居脑区的特征，脑区i获得了新的特征；ReLU表示激活函数，Ag表示脑区间的邻接矩阵；Wi e-1是脑区i在第e-1层时进行时空图卷积操作学习到的网络权重系数；/>是脑区u在第e-1层时进行时空图卷积操作学习到的网络权重系数；
(4)、基于所得到的新的脑区特征，设计了一个包含脑区fMRI数据预测损失项和图正则化损失项的联合损失函数；以最小化该联合损失函数为目标，使模型在迭代训练的过程中自动地学习到一个脑效应连接网络；构建联合损失函数的具体步骤如下：
①构建脑区fMRI数据预测损失项；首先基于所学到的每个脑区的特征，通过一个二维卷积网络来获得每个脑区的预测值，然后利用绝对值平方误差来测量脑区fMRI预测值和实际值间的差距，具体表达式如下：
其中，表示在T+1时刻各脑区fMRI数据的预测值，/>是由步骤(3)所得到的各脑区的新的特征，Ω1是二维卷积网络在模型前向和反馈训练过程中所学习到的网络权重系数，LP表示脑区fMRI数据预测损失项，YT+1表示在T+1时刻各脑区fMRI数据的真实值；
②构建一个基于脑区激活信息的图正则化损失项；具体来说，它首先通过计算每个脑区在第c次测量时的fMRI数值是否超过激活阈值来判断该脑区的激活状态；令U表示脑区激活的指示器，R是脑区激活阈值，取值为0.5；若Xc≥R，则Uc＝1；若Xc＜R，则Uc＝0；
接下来，利用脑区联合激活概率判断每对脑区间的激活关系；具体来说，任意两个脑区i和j之间的激活关系包括四种：1)脑区i和j同时激活；2)脑区i激活而脑区j不激活；3)脑区j激活而脑区i不激活；4)脑区i和j同时不激活；这四种激活关系由联合激活概率表示为：
其中，θ1表示脑区i和j同时激活的概率；θ2表示脑区i激活而脑区j不激活的概率；θ3表示脑区j激活而脑区i不激活的概率；θ4表示脑区i和j都不激活的概率；
将每个脑区的fMRI数据进行标准化处理，将公式(9)改写为：
其中，d表示fMRI时间序列的长度，I表示1×n的单位矩阵，vi和vj表示经过min-max标准化后的脑区i和j的fMRI时间序列，即vi∈[0,1]，vj∈[0,1]；根据脑区间的联合激活概率，设计户了激活参数来帮助模型学习脑区间的效应连接，其表达式如下：
其中，q表示激活参数；θ1+θ2是脑区i的边缘激活概率，表示无论脑区j是否激活，脑区i都是激活状态；θ1+θ3是脑区j的边缘激活概率,表示无论脑区i是否激活，脑区j都是激活状态；当θ1+θ2＞θ1+θ3时，脑区i占支配地位，脑区i和j之间的效应连接是i→j的概率会更大；反之，当θ1+θ3＞θ1+θ2时，脑区j占支配地位，脑区i和j之间的效应连接是i←j的概率会更大；
基于激活参数q，图正则化损失项定义为：
Lr＝γ·A·q (12)
其中，Lr表示图正则化损失项，γ表示调节网络结构复杂度的参数，取值为0.5；A表示脑效应连接网络参数矩阵；
因此，所设计的联合损失函数的表达式为：
L＝λ1LP+λ2Lr (13)
其中，L表示联合损失函数，λ1是预测损失函数的超参数,取值为1；λ2是图正则化损失函数的超参数，取值为0.5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111356945.3A CN114219068B (zh) | 2021-11-16 | 2021-11-16 | 一种基于时空图卷积模型的脑效应连接网络学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111356945.3A CN114219068B (zh) | 2021-11-16 | 2021-11-16 | 一种基于时空图卷积模型的脑效应连接网络学习方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114219068A CN114219068A (zh) | 2022-03-22 |
| CN114219068B true CN114219068B (zh) | 2024-04-02 |
Family
ID=80697299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111356945.3A Active CN114219068B (zh) | 2021-11-16 | 2021-11-16 | 一种基于时空图卷积模型的脑效应连接网络学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114219068B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201808904D0 (en) * | 2018-05-31 | 2018-07-18 | Ucl Business Plc | Apparatus and method for analysing MRI data |
| CN110889501A (zh) * | 2019-12-11 | 2020-03-17 | 北京工业大学 | 一种基于非平稳动态贝叶斯网的人脑效应连接网络构建方法 |
| CN110889496A (zh) * | 2019-12-11 | 2020-03-17 | 北京工业大学 | 一种基于对抗生成网络的人脑效应连接识别方法 |
| AU2020102977A4 (en) * | 2020-10-23 | 2020-12-24 | Bhima, Ravi Teja DR | A Deep learning technique to recognise brain activity by fMRI and DTI image fusion |
| CN113040715A (zh) * | 2021-03-09 | 2021-06-29 | 北京工业大学 | 一种基于卷积神经网络的人脑功能网络分类方法 |
-
2021
- 2021-11-16 CN CN202111356945.3A patent/CN114219068B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201808904D0 (en) * | 2018-05-31 | 2018-07-18 | Ucl Business Plc | Apparatus and method for analysing MRI data |
| CN110889501A (zh) * | 2019-12-11 | 2020-03-17 | 北京工业大学 | 一种基于非平稳动态贝叶斯网的人脑效应连接网络构建方法 |
| CN110889496A (zh) * | 2019-12-11 | 2020-03-17 | 北京工业大学 | 一种基于对抗生成网络的人脑效应连接识别方法 |
| AU2020102977A4 (en) * | 2020-10-23 | 2020-12-24 | Bhima, Ravi Teja DR | A Deep learning technique to recognise brain activity by fMRI and DTI image fusion |
| CN113040715A (zh) * | 2021-03-09 | 2021-06-29 | 北京工业大学 | 一种基于卷积神经网络的人脑功能网络分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 单时序特征图卷积网络融合预测方法;李昊天;盛益强;;计算机与现代化;20200915(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114219068A (zh) | 2022-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110619342B (zh) | 一种基于深度迁移学习的旋转机械故障诊断方法 | |
| CN109741364B (zh) | 目标跟踪方法及装置 | |
| CN114022693B (zh) | 一种基于双重自监督的单细胞RNA-seq数据聚类方法 | |
| Cai et al. | Classification complexity assessment for hyper-parameter optimization | |
| CN115983494B (zh) | 一种新建小样本风电场的短期风电功率预测方法及系统 | |
| Huang et al. | An artificial ant colonies approach to medical image segmentation | |
| Xing et al. | A self-organizing incremental neural network based on local distribution learning | |
| CN112509017B (zh) | 一种基于可学习差分算法的遥感影像变化检测方法 | |
| CN109444604A (zh) | 一种基于卷积神经网络的dc/dc变换器故障诊断方法 | |
| CN113947157A (zh) | 一种基于层次聚类和结构方程模型的动态脑效应连接网络生成方法 | |
| Zhang et al. | Node features adjusted stochastic block model | |
| CN110109005B (zh) | 一种基于序贯测试的模拟电路故障测试方法 | |
| CN111160310A (zh) | 基于自权重协同表示的高光谱异常目标检测方法 | |
| CN114219068B (zh) | 一种基于时空图卷积模型的脑效应连接网络学习方法 | |
| CN116912576A (zh) | 基于脑网络高阶结构的自适应图卷积脑疾病分类方法 | |
| CN117436474A (zh) | 基于关系型图卷积神经网络快速预测基因调控网络 | |
| Tucci et al. | Adaptive FIR neural model for centroid learning in self-organizing maps | |
| Khelil et al. | Self-Organizing Maps-Based Features Selection with Deep LSTM and SVM Classification Approaches for Advanced Water Quality Monitoring. | |
| CN115294402B (zh) | 一种基于去冗余多阶混合训练的半监督车辆分类方法 | |
| US20230184222A1 (en) | Wind turbine performance determination and control | |
| CN110993121A (zh) | 一种基于双协同线性流形的药物关联预测方法 | |
| CN111178174B (zh) | 基于深度卷积神经网络的尿液有形成分图像识别方法 | |
| CN111079750B (zh) | 一种基于局部区域聚类的电力设备故障区域提取方法 | |
| CN111882045A (zh) | 基于可微神经结构搜索的大脑时-空网络分解方法及系统 | |
| Kuok et al. | Generative broad Bayesian (GBB) imputer for missing data imputation with uncertainty quantification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |