CN114299006A - 一种联合图对比学习的自适应多通道图卷积网络 - Google Patents
一种联合图对比学习的自适应多通道图卷积网络 Download PDFInfo
- Publication number
- CN114299006A CN114299006A CN202111607180.6A CN202111607180A CN114299006A CN 114299006 A CN114299006 A CN 114299006A CN 202111607180 A CN202111607180 A CN 202111607180A CN 114299006 A CN114299006 A CN 114299006A
- Authority
- CN
- China
- Prior art keywords
- graph
- brain
- network
- information
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 claims abstract description 78
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000000295 complement effect Effects 0.000 claims abstract description 12
- 230000014509 gene expression Effects 0.000 claims abstract description 6
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims description 20
- 230000003044 adaptive effect Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 238000011160 research Methods 0.000 abstract description 4
- 238000012795 verification Methods 0.000 abstract 1
- 238000002598 diffusion tensor imaging Methods 0.000 description 12
- 208000014644 Brain disease Diseases 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000003925 brain function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000284 resting effect Effects 0.000 description 3
- 230000007177 brain activity Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007321 biological mechanism Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种联合图对比学习的自适应多通道图卷积网络方法。多模态大数据往往由多种的不同结构形式的数据组成，这些数据之间往往具有互补性，相互验证性，融合性的特点。如何准确高效的提取多模态数据之间的互补信息是多模态研究的主要目标。然而，目前大多数做多模态融合的方法仅仅关注多模态之间的互补信息，但往往忽略了单一模态下的特异性信息。除此以外，如何利用图卷积网络从多模态中提取丰富且具有区分性的表达，目前还很少有人研究。为此，本发明公开了一种联合图对比学习的自适应多通道图卷积网络方法，该框架以脑网络研究为背景，不仅能够挖掘脑网络的时间和空间信息，还能够有效的融合多模态的特有和共享特征。
Description
技术领域
本发明属于机器学习领域，具体涉及基于图卷积网络以及图对比学习。
背景技术
大脑是人类生物系统中最复杂的器官，而脑网络技术是当前一种重要的研究脑疾病的方法，为人脑交互模式提供了有力表示。为了对脑功能进行非侵入性研究，人们采用了多种脑功能成像方法。在神经科学中，大脑网络通常可以由不同的结构模式(例如扩散张量成像DTI)和功能模式(例如静息状态功能磁共振成像rs-fMRI)表示。这些网络数据代表了人类大脑连接的复杂结构，例如，在rs-fMRI网络中，边缘连接代表大脑区域与功能刺激之间的相关性，而DTI可以揭示功能相关灰质区域之间的物理连接。因此，它们对于理解大脑功能的生物学机制具有重要的研究价值。先前的研究表明，大脑网络的不同模式相互传达互补信息，多种模式的融合可以导致大脑分析的持续改进，从而能够提取到更多有效的特征提高脑疾病的分类诊断。
除此以外，近年来的研究发现即使是在静息状态下，大脑的功能连接也并非是静止不动的，而是会显示出复杂的自发的时空变化。而这些脑连接的变化与神经活动有关，在一定程度上也与认知或戒备状态的改变有关。此外，研究表明这些功能连接的时变属性能够作为疾病诊断的生物靶标，在研究大脑活动随时空变化在疾病诊断中具有重要意义。因此近年来动态功能网络分析已被用于各种脑疾病的诊断，它不仅为静息大脑活动的动态时空组织提供了新的见解，而且还捕获了由疾病病理引起的功能连接组改变。
最近，随着深度学习在自然语言，自然图像上的发展，越来越多的研究也将深度学习引入到医学影像分析上。传统的卷积神经网络往往是通过在图上平移卷积核来获得样本的特征，但是这种方式仅仅适用于获得欧式空间下的特征，对于一些不规则的图结构，例如：大脑，社交网络，蛋白质结构，就不能获得有效结果。然而，图卷积网络(GCN)作为图数据的强大表示，提供了拓扑结构和节点特征的融合策略来学习节点嵌入，非常适合研究通常具有复杂非线性结构的脑网络。GCN的工作原理在于使图上的节点从每个卷积层中的拓扑邻居聚合特征信息。通过这种方式，特征信息通过网络拓扑传播到节点嵌入，然后将学习到的节点嵌入用于分类任务。GCN在多模态脑网络上研究通常是将不同模态下的大脑网络视为大脑的多个视图并提取视图之间的互补特征。然而，现有的利用GCN研究多模态脑网络还存在一些问题：
(1)大部分研究在进行多模态融合的过程中，仅仅关注于多个模态之间共有的特征，而忽略了每个模态鉴别性的特征。然而，各模态的特异性的特征和模态之间的共同特征是互补的，需要自适应融合得到更深层次的相关信息才能更好地描述大脑网络。
(2)利用GCN编码脑网络获得的嵌入表达不一定能够反映原始脑网络数据和结构的丰富程度，尤其是在编码的过程中随着网络层数的增加，容易丢失信息。
因此如何有效的获得多模态脑网络的特征并且将他们自适应结合，成为该领域的一大难点。针对以上的问题，我们提出了一种联合图对比学习的自适应多通道图卷积网络，可以用于个体脑疾病的诊断。
发明内容
发明目的：医学影像的自动识别技术对医生的工作有重要的的辅助作用，在相关领域一项好的技术的发明和应用可以极大的提高医院的诊断水平。目前大脑影像的自动识别方法并不能有效地利用功能磁共振(FMRI)和弥散张量成像(DTI)的信息，且在构建脑网络的过程中常常忽略脑网络的动态特征。除此以外，通常从脑网络中提取到的特征不能够反映原始脑网络数据和结构的丰富程度。因此，基于以上的问题，我们提出一种联合图对比学习的自适应多通道图卷积网络，目的是为了能够提取到多模态大脑网络具有鉴别性的特征和互补特征，从而更好的表示大脑，用于各类大脑疾病诊断。
技术方案：为实现上述目的，本发明提出了一种联合图对比学习的自适应多通道图卷积网络。首先我们利用滑动时间窗口划分时间序列，在每个窗口内构建对应的fMRI图和DTI 图。之后我们使用自适应的多通道图卷积网络提取每个窗口内的空间特征，最后我们利用 LSTM来探索窗口与窗口之间脑区的时间变异性作为大脑的时间特征。我们将提取到了每个被试脑网络的空间特征和时间特征并用于个体被试脑疾病的诊断。其具体的技术方法包括以下步骤：
步骤一：多模态图的构建：利用重叠的固定大小的时间窗口划分每个感兴趣脑区对应的rs-fMRI，并在每个窗口内构建基于fMRI图和DTI图，其中每张图的邻接矩阵分别为每个窗口对应的功能连接脑网络和结构连接脑网络，特征矩阵为每个窗口的时间序列信息。
步骤二：自适应的多通道的图卷积网络来提取多模态脑网络的空间信息特征：多通道的图卷积网络由三个模块的图卷积网络构成，其中两个模块GCN编码器用于提取单个模态最具有判别性的特征，另一个模块的GCN编码器用于获得多模态的共享特征，最后使用注意力机制将特征融合。
步骤三：图对比学习优化特征：为了确保能够获得多模态的共享特征和每个模态最具有鉴别性的特征，我们联合图对比学习优化提取的特征
步骤四：提取脑网络的时间特征：利用长短期记忆人工神经网络(LSTM)来探索每个窗口之间的脑区的时间变异性并将其作为脑网络的时间特征
步骤五：将输出特征用多层感知机进行分类获得最终识别结果
有益效果：本发明针对脑疾病诊断问题，提出联合图对比学习的自适应多通道图卷积网络。本发明相较于现有技术，具有以下技术效果：
1)本发明结合了多模态信息，有效挖掘了动态脑网络的时间和空间的特征，使得每个样本的特征表示具有鉴别性，从而提高分类性能
2)本发明设计的多通道的图卷积网络能够有效结合了多模态融合的互补特征以及每个模态最具有特异性的特征，因此相比于传统的多模态融合的方法，可以挖掘并利用到每个样本更多的空间特征。
3)本发明采用了图对比学习的方式，最大化经过编码器的图嵌入表达和原始脑网络的互信息，以及最小化不同任务下每个图之间包含的信息，从而使得获得的特征能够反映原始脑网络的全局与局部的特征。
附图说明
图1是一种联合图对比学习的自适应多通道图卷积网络总体框架图；
图2是一种联合图对比学习的自适应多通道图卷积网络工作流程图；
图3是构建功能连接脑网络图和结构连接脑网络图；
图4是利用注意力机制自适应融合多通道GCN提取的特征；
图5是不同模态之间的对比策略；
具体实施方式
下面结合附图，对本发明作更进一步的说明。
本发明的总体框架图如图1所示。图2展示的是方法实施的流程图。图3展示的是每个窗口构建功能性脑网络和结构连接脑网络图的流程。图4是利用注意力机制自适应融合多通道GCN提取的特征。图5展示了不同模态之间优化特征的对比策略。
下面基于图2所示的实施架构对本发明上述提供的一种联合图对比学习的自适应多通道图卷积网络方法的具体实施过程进行说明，在实际应用过程中不仅限于多模态脑网的学习。
首先我们利用固定大小的重叠滑动时间窗口分割rs-fMRI数据，再在每个窗口内构建对应的rs-fMRI图和DTI图，其中图的邻接矩阵分别为窗口对应的功能连接脑网络和结构连接网络，节点的特征矩阵为每个窗口内的时间序列。之后利用多通道GCN对每个窗口内的多模态进行特征提取，并结合注意力机制融合特征。多通道GCN是由三个模块的GCN编码器构成的，其中两个模块的GCN是为了获得fMRI模态和DTI模态下最具有鉴别性的特征 ZF和ZD，另一个模块的GCN采用共享权重的方式获得多模态互补的特征嵌入ZC。其中，每个编码器都由三层的GCN堆叠而成，并且采用分层池化的方式，获得图一阶，二阶，三阶的信息。如果将fin和fout作为GCN的输入节点特征矩阵和输出，我们可以将GCN公式化为：
其中D是度矩阵，W表示那些连接顶点的可学习加权矩阵。因此对于特异性卷积模块，他的第1层的输出可以公式化为：
其中
代表的是经过通道获得的图嵌入表达。而对于公共卷积模块，第i个窗口下的 fMRI图
第1层的嵌入可以表示为：
而第i个窗口下的DTI图
的第1层嵌入可以表示为：
其中共享权重矩阵
可以过滤出两种模态的互补信息。最后，我们将两个图嵌入
和
相结合，作为整个公共卷积模块所提取到的嵌入
除此以外，为了让所获得的特征能够尽可能的反映原始脑网络图最丰富的特征，我们引入图对比学习的策略。我们将获得的图表示和原始的图的节点结构进行对比，从而使多模态融合的特征能够反映脑网络的全局和局部的信息，实现信息融合的InfoMax。为了获得每个模态的最具有鉴别性的信息，我们将不同模块下同一个图结构进行节点到节点的对比，实现不同通道下模态的信息的InfoMin。最终我们将通过自适应融合后得到的特征视为每个窗口的空间信息。
由于这里获得的仅仅是每个窗口的空间特征，而窗口与窗口之间脑区还存在交互，因此需要通过计算脑区的时间变异性作为时间特征信息。为此，我们引入了LSTM来捕获窗口与窗口之间特征的联系。具体来说，本发明采用堆叠的LSTM层对整体功能特征表示进行编码，以学习时间步长下的脑网络时间动态，并且每个LSTM之后都要进行批处理和tanh活化。最后我们将获得的结合了空间与时间信息的嵌入作为整个被试的特征，用于个体脑疾病的分类诊断。
下面结合图3所示，对本发明中构建fMRI图和DTI图进行详细的阐述。
我们为每个时间窗口构建对应的fMRI图和DTI图，分别对应每个窗口下的功能连接脑网络图和结构连接脑网络图。其中，每张图的邻接矩阵为功能连接脑网络和结构连接脑网络，通过皮尔逊相关系数计算两两脑区之间的相似性获得。皮尔逊相关系数可以公式化为：
其中Cov(x，y)为x，y之间的协方差。Var(x)和Var(y)分别表示x的方差和y的方差。为了防止冗余连接造成模型过于复杂，我们选择使用kNN算法，选择每个节点最近邻的K个几点，并保留住他们之间的拓扑连接，并将最终得到的连接矩阵作为图的邻接矩阵。而图的特征矩阵，即图上每个节点的特征是由窗口的时间序列组成的。
下面结合图4，对本发明中利用注意力机制自适应融合多通道提取的特征进行阐释。
通过了多通道GCN，我们能够分别获得fMRI模态的嵌入ZF，DTI模态的嵌入ZD，以及多模态融合下的嵌入ZC。直接将所有获得的图表示嵌入都连接起来作为被试的脑网络的特征，不容易突出那些最重要的特征信息。为了获得最相关的嵌入Z来表示每个被试，本发明采用注意力机制来融合特征。其中注意力机制的可以表示为
(af，ad，ac)＝att(ZF，ZD，ZC)
其中af，ad，ac代表的是ZF，ZD，ZC的注意力值。具体来说以ZF为例子，我们首先通过一个非线性变换对嵌入进行变换，使用一个共享的注意向量得到如下的注意值
这里W是权矩阵b是偏置向量。同样，我们可以得到
和
的注意值。然后用softmax函数对注意值进行归一化，得到最终权重：
Z＝af*ZF+ad*ZD+ac*ZC
下面结合图5所示，对本发明中利用图对比学习对提取的特征进行优化。
为了使得提取出来的特征最具有特异性，且能够反映原始图的全局和局部的特征，我们引入图对比学习的方法来评估学习到的特征。具体来说，根据特征提取目的的不同，我们引入两种不同的图对比学习函数。
(1)多模态融合信息最大化(InfoMax)：从提取多模态的公共信息的角度来说，为了尽可能获得两个模态的共享的特征并且使得提取到的特征能够尽可能的反映原始图的全局和局部的特点，实现多模态融合的信息最大化，我们对一个视图的点表示与另外一个视图的图表达进行对比。具体来说，如图5(a)所示，我们最大化图表示ZCD和ZCF与原始图结构HCD和HCF之间的互信息。因此，多模态融合InfoMax的对比函数被设计为：
然而互信息的计算我们需要借助估计器，这里我们使用Jason-ShannonDivergence (JSD)估计器计算，因此互信息的计算可以表示为：
其中sp(x)＝log(1+ex)，d是鉴别器函数，它采用带有sigmoid激活函数的内积。
(2)不同通道之间信息最小化(InfoMin)：由于每个模态都含有自己最丰富的具有鉴别性的信息区别于多模态融合下的公共特征，因此保留住单模态的特异性信息同样重要。虽然与多模态融合任务下的原始图结构相同，但由于编码器编码的目的不同，即任务不同，因此编码后获得的图也应该有所不同。为此我们对不同任务下编码以后的图结构进行节点到节点的对比学习，我们将每个视图上的点与另外一个视图上所有的节点互相视为负样本，最小化同图不同任务下节点之间的互信息。如图5(b)所示，我们计算图视图HF上节点i 与图视图以HCF之间的互信息：
其中，k代表剩余节点，τ为温度参数，并且我们定义θ(u，v)＝s(p(u)，p(v))，s(·，·) 使用简单的余弦相似度实现，p(·)为增强批判的非线性表达。由于两个图是对称的，所以我们可以总结LSF为：
总的来说，该发明的损失函数是由三个部分组成的，包括：分类交叉熵损失损失，多模态融合信息最大化约束，不同任务之间信息最小化约束。因此，总约束Ld可以表示为：
Ld＝Lt+αLSF+βLSD
其中α和β分别为多模态融合信息最大化以及不同任务之间信息最小化的参数。在标注数据的引导下，我们可以通过反向传播来优化模型，并学习节点的嵌入来进行分类。
综上，本发明提出了一种联合图对比学习的自适应多通道图卷积网络方法用于脑疾病的诊断，并将多模态脑网络的空间信息与时间特征有效结合。所提出的多通道图卷积网络结构，能够获得多模态之间的互补特征，以及单个模态的鉴别性特征，并通过使用注意力机制有效融合。除此以外，引入了图对比学习的策略，不仅能够使得获得的图表示能够更好地反映原始图的全局和局部的结构，还可以让提取的特征具有鉴别性。因此，本发明能使得提取到的信息更好的表示被试的大脑结构以及状态，有利于个体疾病的诊断。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (5)
1.一种联合图对比学习的自适应多通道图卷积网络，其特征在于：包括以下步骤：
(一)构造基于fMRI图和基于DTI的图：利用重叠的固定大小的时间窗口划分每个感兴趣脑区对应的rs-fMRI，并在每个窗口内构建基于fMRI图和DTI图，其中每张图的邻接矩阵分别为每个窗口对应的功能连接脑网络和结构连接脑网络，特征矩阵为每个窗口的时间序列信息。
(二)自适应的多通道的图卷积网络的设计：利用多通道的图卷积网络来提取多模态脑网络的空间信息特征，其中两个图卷积神经网络(GCN)编码器用于提取单个模态最具有判别性的特征，另两个共享权重的GCN编码器用于获得多模态的共享特征，最后使用注意力机制将特征自适应融合。
(三)设计图对比学习目标函数优化特征：为了确保能够获得多模态的共享特征和每个模态最具有鉴别性的特征，我们联合图对比学习优化提取的特征
(四)LSTM提取样本时间特征：利用长短期记忆人工神经网络(LSTM)来探索每个窗口之间的脑区的时间变异性作为脑网络的时间特征
(五)将输出特征用多层感知机进行分类获得最终识别结果。
2.根据权利要求1所述的联合图对比学习的自适应多通道图卷积网络，其特征在于：所述(一)中基于fMRI图和基于DTI图的构建。具体包括：利用皮尔逊相关系数通过计算两两脑区之间的相关性，获得每个窗口下的功能连接脑网络和结构连接脑网络。每个窗口下对应的时间序列被视为特征矩阵。将特征矩阵与邻接矩阵相结合，分别构建每个窗口下的基于fMRI图和基于DTI的图。
3.根据权利要求1所述的联合图对比学习的自适应多通道图卷积网络，其特征在于：所述步骤(二)中多通道的图卷积网络的设计：多通道的图卷积网络由三块不同的GCN编码器构成，其中两块编码器用于获得基于fMRI图和基于DTI图的最具有判别性的特征，另一块编码器是为了获得fMRI和DTI的互补特征，实现多模态融合。其中，每个编码器都由三层的GCN堆叠而成，并且采用分层池化的方式，获得图一阶，二阶，三阶的信息。因此，通过多通道的图卷积网络，我们可以分别获得功能特征嵌入和结构特征嵌入，以及融合了功能特征和结构特征的嵌入。之后我们引入注意力机制，自适应的融合获得的嵌入的特征。
4.根据权利要求1所述的联合图对比学习的自适应多通道图卷积网络，其特征在于：所述步骤(三)设计两个图对比学习目标函数优化提取的特征：由于设计的多通道GCN，每个通道编码原始图不同的信息，为了确保获得多模态融合时候信息的最大化并且获得的图表示能够更好地反映原始脑网络的局部和全局的信息，以及获取每个模态最具有判别性的特征，本发明结合图对比学习的概念，设计了两个目标函数，具体包括：
(1)多模态融合信息最大化(InfoMax)：该目标函数的目的在于提取这两个模态互补特征，使得获得的图嵌入表达能够反映彼此原始脑网络图的全局和局部的信息，从而实现多模态融合的信息最大化(InfoMax)。因此将图嵌入表达与图结构节点进行对比，而InfoMax的公式被设计为：
其中HA和HB代表两个不同的模态图，ZA和ZB代表模态图A与模态图B经过编码器后的图嵌入，
为图A上的节点i，N为总的节点数，I(A；B)代表计算A与B之间的互信息。本发明中互信息采用的是Jason-Shannon Divergence(JSD)散度估计器：
其中sp(x)＝log(1+ex)，d是鉴别器函数，它采用带有sigmoid激活函数的内积。
(2)不同通道之间信息最小化(InfoMin)：由于每个通道的任务不同，其中两个通道是为了获得多模态下的鉴别性特征，另外一个通道是为了获得多模态融合的互补特征。为了使每个通道能够获得区分性的特征，我们将不同通道下的两张图进行节点到节点的信息对比，从而实现同图不同任务下的信息最小化。InfoMin函数可以设计为：
其中，k代表剩余节点，τ为温度参数，并且我们定义θ(u，v)＝s(p(u)，p(v))，s(·，·)使用简单的余弦相似度实现，p(·)为增强批判的非线性表达。因为两张图是对称的，因此我们可以总结LInfoMin为：
总而言之，我们的方法的损失函数由三部分组成：(1)分类交叉熵损失损失(2)多模态融合信息最大化约束(3)不同任务之间信息最小化约束。
5.根据权利要求1所述的联合图对比学习的自适应多通道图卷积网络，其特征在于：所述步骤(四)利用LSTM来获得脑网络的时间特征。由于大脑本质是一个动态系统，窗口与窗口之间脑区存在时间变异性，因此我们使用长短期记忆人工神经网络来获取脑区之间的动态联系作为大脑的时间特征，从而使得嵌入的特征更有效地描述一段时间的大脑状态。具体来说，本发明采用堆叠的LSTM层对整体功能特征表示进行编码，以学习时间步长下的脑网络时间动态，并且每个LSTM之后都要进行批处理和tanh活化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111607180.6A CN114299006A (zh) | 2021-12-24 | 2021-12-24 | 一种联合图对比学习的自适应多通道图卷积网络 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111607180.6A CN114299006A (zh) | 2021-12-24 | 2021-12-24 | 一种联合图对比学习的自适应多通道图卷积网络 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114299006A true CN114299006A (zh) | 2022-04-08 |
Family
ID=80969783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111607180.6A Pending CN114299006A (zh) | 2021-12-24 | 2021-12-24 | 一种联合图对比学习的自适应多通道图卷积网络 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299006A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115601960A (zh) * | 2022-09-15 | 2023-01-13 | 哈尔滨工业大学（深圳）（哈尔滨工业大学深圳科技创新研究院）（Cn） | 一种基于图对比学习的多模态交通流量预测方法及系统 |
| CN116030308A (zh) * | 2023-02-17 | 2023-04-28 | 齐鲁工业大学(山东省科学院) | 基于图卷积神经网络的多模态医学图像分类方法及系统 |
| CN116152574A (zh) * | 2023-04-17 | 2023-05-23 | 厦门大学 | 一种基于多阶段信息抽取和记忆的病理图像分类方法 |
| CN117350352A (zh) * | 2023-12-06 | 2024-01-05 | 烟台大学 | 结构脑网络到功能连通性网络的学习方法、系统和设备 |
-
2021
- 2021-12-24 CN CN202111607180.6A patent/CN114299006A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115601960A (zh) * | 2022-09-15 | 2023-01-13 | 哈尔滨工业大学（深圳）（哈尔滨工业大学深圳科技创新研究院）（Cn） | 一种基于图对比学习的多模态交通流量预测方法及系统 |
| CN116030308A (zh) * | 2023-02-17 | 2023-04-28 | 齐鲁工业大学(山东省科学院) | 基于图卷积神经网络的多模态医学图像分类方法及系统 |
| CN116152574A (zh) * | 2023-04-17 | 2023-05-23 | 厦门大学 | 一种基于多阶段信息抽取和记忆的病理图像分类方法 |
| CN117350352A (zh) * | 2023-12-06 | 2024-01-05 | 烟台大学 | 结构脑网络到功能连通性网络的学习方法、系统和设备 |
| CN117350352B (zh) * | 2023-12-06 | 2024-02-23 | 烟台大学 | 结构脑网络到功能连通性网络的学习方法、系统和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023077603A1 (zh) | 一种异常脑连接预测系统、方法、装置及可读存储介质 | |
| CN114299006A (zh) | 一种联合图对比学习的自适应多通道图卷积网络 | |
| CN113763442B (zh) | 一种可变形医学图像配准方法及系统 | |
| CN110598793B (zh) | 一种大脑功能网络特征分类方法 | |
| CN113693563B (zh) | 一种基于超图注意力网络的脑功能网络分类方法 | |
| CN113113130A (zh) | 一种肿瘤个体化诊疗方案推荐方法 | |
| CN111754532B (zh) | 图像分割模型搜索方法、装置、计算机设备及存储介质 | |
| CN113673244B (zh) | 医疗文本处理方法、装置、计算机设备和存储介质 | |
| CN115841607A (zh) | 一种基于图注意力网络的脑网络结构和相似度的联合学习方法 | |
| CN113012811A (zh) | 一种结合深度卷积网络和图神经网络的中医证候诊断和健康评价方法 | |
| CN111513717A (zh) | 一种大脑功能状态提取方法 | |
| CN110136109A (zh) | 一种基于膨胀卷积神经网络的mci分类方法 | |
| CN112633154A (zh) | 一种异源人脸特征向量之间的转换方法及系统 | |
| CN114898879A (zh) | 一种基于图表示学习的慢病风险预测方法 | |
| CN115130651A (zh) | 一种记忆环路多层异构机制启发的脉冲神经网络 | |
| CN117350352B (zh) | 结构脑网络到功能连通性网络的学习方法、系统和设备 | |
| CN117457081A (zh) | 一种基于超图的空间转录组数据处理方法及系统 | |
| CN116797817A (zh) | 基于自监督图卷积模型的自闭症疾病预测技术 | |
| CN115909438A (zh) | 基于深度时空域卷积神经网络的疼痛表情识别系统 | |
| CN115035346A (zh) | 一种基于协作学习方法增强的阿尔兹海默病的分类方法 | |
| CN115331051A (zh) | 基于近邻传播偏标签学习的脑影像数据分类模型建立方法 | |
| CN113642596A (zh) | 一种基于社区检测和双路自编码的脑网络分类方法 | |
| CN114287910A (zh) | 一种基于多阶段图卷积融合的脑功能连接分类方法 | |
| CN114610950B (zh) | 一种图网络节点表示方法 | |
| CN116130089B (zh) | 基于超图神经网络的多模态抑郁症检测系统、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |