CN113642596A - 一种基于社区检测和双路自编码的脑网络分类方法 - Google Patents

一种基于社区检测和双路自编码的脑网络分类方法 Download PDF

Info

Publication number
CN113642596A
CN113642596A CN202110616573.7A CN202110616573A CN113642596A CN 113642596 A CN113642596 A CN 113642596A CN 202110616573 A CN202110616573 A CN 202110616573A CN 113642596 A CN113642596 A CN 113642596A
Authority
CN
China
Prior art keywords
network
functional
brain network
brain
structural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110616573.7A
Other languages
English (en)
Inventor
朱旗
杨婧
徐如婷
张道强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110616573.7A priority Critical patent/CN113642596A/zh
Publication of CN113642596A publication Critical patent/CN113642596A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Discrete Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于社区检测和双路自编码的脑网络分类方法。我们引入社区检测方法，检测脑网络中潜在的社区结构，然后，根据社区检测的结果，重新调整网络中节点的排序顺序。一方面，它使得网络中的模块化结构得以保留，另一方面，经过调整之后的脑网络更加适用于深度学习方法中的矩形卷积核。由于脑网络数据有两个模态，分别是结构模态和功能模态。为了更好的融合两个模态的信息，本发明采用双路自编码技术进行脑网络分类。首先，我们采用结构模态指导功能模态网络的社区检测与网络结构调整方法。然后，采用带注意力机制的双路自编码技术，提取网络中重要的高阶信息。最后，综合利用结构模态和功能模态的互补信息完成脑网络的分类任务。

Description

一种基于社区检测和双路自编码的脑网络分类方法
技术领域
本发明属于机器学习领域，具体涉及一种基于社区检测和双路自编码的脑网络分类方法。
背景技术
近年来，神经成像技术发展迅速，为我们带来了各种形式的脑成像数据，为我们研究人脑内部组织，活动，提供了很大的支持。因此，依赖于神经成像技术的脑网络分析方法受到了越来越多的关注，并逐渐成为主流。并且，相关的研究工作都表明，脑网络分析方法可以取得很好的效果。在脑网络分析研究中，最常使用的成像技术为功能磁共振成像(fMRI)和弥散张量成像(DTI)。fMRI可以反映大脑区域BLOD信号之间的时间相关性，通过fMRI数据可以构建大脑的功能连接网络。DTI可以揭示功能相关灰质区域之间的物理连接，从而构建大脑的结构连接网络。无论是单模态网络分析，还是多模态网络分析，寻找合适的方法挖掘大脑网络的潜在内部结构，提取有效的特征，从而提高脑网络分类精度，都是关键任务。
然而，在脑网络分析任务中，却存在着以下几点困难。1)噪声：在医学影像采集的过程中，很容易收到客观环境的干扰，所以往往存在着很多的噪声。比如，同一个受试者，在一天中的不同时间段采集出来的数据可能是不一样的，这给我们的分析任务带来了困难。2)高度非线形：图结构数据往往有潜在的高度非线性的关系，而脑网络，做为一种典型的图结构数据，其内部也是存在一定的非线性关系的。如何捕捉脑网络中的非线性关系一直是一个研究的热点；3)结构保存：很多相关研究表明，脑网络内部往往存在着一些结构，比如小世界，模块，社区结构，它们在脑网络分析过程中起着很重要的作用。然而，很多传统的脑网络分析方法，都会把表示网络的矩阵拉成一个向量处理，损失了这种重要的结构信息。在学习大脑网络嵌入的同时，保持社区结构是很重要的；4)多模态网络分析：目前，结合功能和结构模态的多模态脑网络分析变得很流行。由于结构网络和功能网络的特性不同，因此，在多模态脑网络分析的时候，我们不能简单的使用同一种方法对它们分析，也不能直接融合。如何在多模态脑网络分析任务上，同时考虑结构连接和功能连接，一直是一个关键问题。
很多方法被提出用以解决这些困难。比较典型的有子图挖掘方法和图核方法。图核方法通常基于子结构计算两个网络之间的相似性，如最短路径，随机游走，或其他子图。图核方法可用于集成脑网络的局部连通性，或全局拓扑属性。但是，由于用图核方法构建的模型都是浅层模型，所以图核方法只能提取到浅层的特征，在复杂情况下的特征学习能力较弱，因而不能有效的捕获到脑网络中潜在的复杂高度非线性关系。子图挖掘方法是一种无监督方法，目的是通过采用一些特定的标准从一组图中提取出有用的子图特征。目前流行的做法是通过连通子图模式选择频繁的子结构。但是，由于脑网络数据的巨大复杂性，这种方法很难精确的捕获到脑网络的高度非线性特征。并且，无法探测出网络内部的结构信息。
近年来，深度学习方法很流行，并且在自然图像处理，自然语言处理方法取得了很好的效果。所以，有很多的学者将深度学习方法引入到了医学影像分析工作中。但是，深度学习方法并不适合直接作用于脑网络。因为在深度学习方法中，一般都会用到矩形的卷积核。这种矩形的卷积核适用于捕获欧几里德空间中的关系。自然图像满足这样一种欧几里德域，所以深度学习在自然图像研究中取得了很棒的效果。但是，与自然图像不同的是，在脑网络中，不同脑区之间的连接是位于不规则或者非欧几里德域上的。这类边是异质成对关系的一种普遍表示。因此，矩形卷积核的感受野不能很好的编码连接矩阵中的模块结构，很难识别不同样本之间的同性模式以及差异模式。为了能够使用深度学习方法研究脑网络数据，必须对矩形卷积核做出调整，或者为脑网络结构做出调整。并且，早期的脑网络研究往往使用单一模态数据构建脑网络，而近几年，综合结构网络和功能网络的多模态网络分析方法越来越流行，并取得了不错的效果。但是传统的做法，虽然能够充分的融合多个模态的信息，但是它只能考虑到脑网络的浅层特征，而无法在高阶层面进行多模态的融合。为了解决传统方法的局限性，越来越多的工作将深度学习方法引入到多模态脑网络分析任务中。
发明内容
发明目的：为了克服难以保留脑网络中模块化信息，以及深度学习方法无法直接作用在脑网络数据上的问题，本发明提供一种基于社区检测和双路自编码的脑网络分类方法。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于社区检测和双路自编码的脑网络分类方法，包括以下步骤：
(1)采集人脑的结构模态数据DTI和功能模态数据fMRI。
(2)根据DTI数据构建结构模态脑网络Ws，根据fMRI数据构建功能模态脑网络Wf。
(3)采用结构模态数据指导功能模态数据的方法，检测出脑网络中潜在社区结构。
(4)根据检测出的社区结构，重新调整结构脑网络和功能脑网络中节点的排列顺序，使其能够保留网络中的模块化信息，并适应后续的矩阵卷积核。
(5)设计一个带注意力机制的双路自编码模型，将节点重排序之后的结构网络和功能网络分别送入各自的自编码通道中，以提取出高阶的非线性重要信息，用隐层表示。
(6)综合利用结构模态和功能模态的隐层信息，来完成脑网络分类任务。
进一步的，所述步骤(2)构建结构模态网络和功能模态网络的具体方法为：
对于功能模态数据，计算两两脑区之间血液信号的皮尔逊相似度，再经过正则化，即可得到功能脑网络Wf。对于结构模态数据DTI，需要提出每两个脑区之间的物理纤维数量的多少，构建得到结构脑网络Ws。
进一步的，所述步骤(3)结构模态网络指导功能模态网络，来检测脑网络中社区结构的具体方法为：
利用谱聚类方法，找到结构脑网络上一个合适的社区划分规则，利用这个规则将结构网络划分为若干个子图，使得子图内的节点权重和高，子图间的节点权重和低。然后，再将这个子图划分的规则用到功能脑网络上，找出功能脑网络的社区结构。由于在社区检测过程中，有很多的参数，而使用不同的参数会得到不同的子图划分结构，所以，我们将步骤3和之后的双路自编码分类模型联合训练参数，以得到一个能够提高分类精度的最好的社区划分规则。同时，这个规则是综合考虑结构模态和功能模态网络信息的，而不是仅仅依赖于结构模态网络。假设利用谱聚类方法将脑网络划分为k个不相交的社区：A1，A2，...，Ak。定义其中任意两个子图A和B之间的权重为：W(A，B)＝∑i∈A，j∈Bwij。那么对于其中k个子图点的集合，有
Figure BSA0000243764420000031
其中
Figure BSA0000243764420000032
是Ai的补集。由于我们使用谱聚类划分社区的原则是使得子图内的节点权重和高，子图间的节点权重和低。因此，优化目标为：
Figure BSA0000243764420000033
其中，vol(Ai)表示Ai子图内点的权重和。通过求解这个目标函数，可以得到一组子图划分的规则，也即社区划分的规则。
进一步的，所述步骤(4)根据社区结构，调整脑网络中节点排序顺序的具体方法为：
将属于同一个社区的网络节点放置在脑网络中的相邻位置，而属于不同社区内的节点分开放置。对于结构脑网络和功能脑网络都采用同样的方法。调整之后，脑网络具有近似块对角的性质。一个对角块对应于一个社区，对角块上分布的是社区内高度密集连接的节点，而非对角块上分布的是网络中与其它节点连接性较低的节点。经过调整之后的结构脑网络表示为W′s，经过调整之后的功能脑网络表示为W′f。为方便后续的叙述，用W(s)代替W′s，用W(f)代替W′f。
进一步的，所述步骤(5)设计带注意力机制的双路自编码模型的具体方法为：
每一个自编码模型都有两个基础结构，分别是编码器和解码器。编码器的结构设计为：第一卷积层，第一最大池化层，第二卷积层，第二最大池化层，全连接层。解码器的结构设计为：全连接层，第一反卷积层，第二反卷积层，第一卷积层。以功能模态网络为例，我们将经过节点顺序调整的功能模态网络W(f)作为编码器的输入，经过训练得到中间表示层特征h(f)(即隐层特征)。然后，这个编码器的输出隐层又作为解码器的输入，送入解码器中进行训练，得到重构的功能脑网络
Figure BSA0000243764420000042
结构模态脑网络的编码-解码过程与功能模态是一样的，并且它和功能模态的编码-解码模型是同时训练的。原始的结构模态网络W(s)，经编码阶段获得隐层h(s)，又经解码阶段得到重构的结构网络
Figure BSA0000243764420000043
我们的目标是重构得到的功能网络和原始输入的功能网络尽可能的相似，重构得到的结构网络和原始输入的结构网络也尽可能的相似，这样才能够得到最具有表示能力的隐层特征。因此，我们编码-解码阶段的损失函数为：
Figure BSA0000243764420000041
其中，N为样本的个数。
一般来说，卷积核感受野中的区域是有重要性高低之分的。在感受野中，往往有部分区域对分类任务的贡献更大，即它的重要性更高，而余下的区域对分类任务的贡献越小，即重要性更低。因此，在脑网络分类任务中，更合理的做法是将注意力重要性高的区域之上。自编码模型的内部有很多的卷积核，为了希望模型在学习脑网络的过程中能够对感受野中的区域分出重要性高低，提高特征选择的效果以及最终分类器的精度，我们在模型中引入自注意力机制。使用自注意力机制具体方法为：
假设，当前feature map用矩阵X表示，经过自注意力的计算，可以得到一个attention map矩阵，attention map矩阵的每个元素的含义可以理解为“权重”，它的第i行元素，代表feature map中所有位置的像素对第i个像素的影响。然后，将这个attentionmap矩阵与输入的feature map相乘，即得到被注意力加权之后的feature map，用Y表示。需要注意的是，在这里我们并不直接将这个Y输出，而是引入残差网络的思想：Y＝γ*Y+X，这里的γ是一个参数，表示在这个式子中，整体施加了注意力之后的feature map的权重，需要通过反向传播更新。X就是输入的原始的feature map。初始阶段，γ的值为0，直接返回输入的feature map。之后，随着学习，逐渐将被注意力加权过的feature map加在原始的feature map上，从而强调了施加注意力的部分。在我们的自编码模型的设计过程中，我们引入一个自注意力层，目的是希望模型在学习过程中，能够更好的考虑感受野内区域的重要性，以期能提取出更适合的特征，提高分类模型的精度。相关实验结果表明，在我们的自编码模型中，将这个自注意力层放置在编码阶段的末尾效果最好。
进一步的，所述步骤(6)综合利用结构模态和功能模态的隐层信息，来完成脑网络分类任务的具体方法为：
自编码模型的隐层具有很好的表示学习能力，它代表了原始输入数据中重要的高阶信息。为了在分类时能够综合利用两个模态的信息，我们将功能模态和结构模态的隐层拼接起来得到h，并通过全连接层将其映射到一个低维空间，然后再去预测标签。值得注意的是，由于结构模态的隐层和功能模态的隐层可能是分布在两个不同空间中的，而我们需要综合这两个隐层的信息去预测标签，如果单纯将这两个分布在不同空间的向量拼接起来，是不太合理的。为了解决此问题，我们在模型中引入MMD loss，让这两个空间尽可能的相似。MMD(Maximum Mean Discrepancy，最大平均差异)，它可以衡量两个空间的相似度。通过MMD loss计算出的值越大，表明这两个空间的分布差异越大，而如果计算出的值足够小，就可以认为这两个空间分布相同。在我们的实验中，当然是希望结构模态隐层的分布和功能模态隐层的分布越相近越好，所以，我们希望最小化两个隐层空间的MMD loss，用公式表示为
Figure BSA0000243764420000051
在这里，我们选取高斯核作为核函数，因此，我们的MMD loss表示为
Figure BSA0000243764420000052
在分类阶段，选用交叉损失熵作为分类器的损失函数，因此，分类阶段的损失函数定义为
Figure BSA0000243764420000053
最终得到整个模型的损失函数：
Losssum＝Lossrec+αLosscls+βLossmmd
其中，α和β是权重参数。在模型的训练时，我们以最小化总的损失函数为目标，学习到最好的模型参数和隐层表示，然后综合两个隐层的特征，完成脑网络的分类任务。
附图说明
图1是基于社区检测和双路自编码的脑网络分类方法的总体框架图；
图2是基于结构模态指导功能模态网络社区检测，以及脑网络结构调整的工作流程图；
图3是自注意力机制的的工作流程图；
图4是双路自编码模型的工作流程图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图2所示为基于结构模态指导功能模态网络社区检测，以及脑网络结构调整的工作流程图。首先，将谱聚类的方法作用于结构模态网络检测结构模态网络的潜在社区结构，然后根据检测到的社区结构得到一个网络节点重排序的规则，再利用这个规则调整网络中节点的排列顺序。调整的原则为：如果两个节点属于同一个社区，那么就将它们放置在网络的相邻位置，属于不同社区的节点分开放置。经过调整之后，网络会有近似块对角的性质。每个对角块对应着一个社区，对角块内分布的是社区内的节点。经过调整之后，不仅可以保留网络中潜在的模块化结构信息，而且，可以使脑网络适用于矩形的卷积核。由于有两个模态的数据，所以，一种简单的方法是对两个模态的数据单独处理：将谱聚类作用在结构模态网络上，得到结构模态网络的社区划分规则，利用这个规则指导结构模态网络的调整；将谱聚类作用在功能模态网络上，得到功能模态网络的社区划分规则，利用这个规则指导功能模态网络的调整。但是，这种做法为同一个人的大脑找到了两个社区划分的规则，是不太合理的。其次，它不能很好的利用两个模态间的互补信息。因此，采用的是结构模态指导功能模态的方法：将谱聚类作用在结构模态网络上，得到网络的社区划分规则，然后结构模态网络和功能模态网络都根据这个规则来进行网络节点重排序的调整。一方面，结构模态是功能模态的基础，这样做是合理的。另一方面，使用这样的方法，为每一个样本的大脑只找到一个社区结构，这样也是合理的。并且，由于在社区探测过程中，参数对探测的结果有影响，使用不同的参数会得到不同的社区探测的结果。因此，我们把这个过程和后续的分类模型联合训练学习参数。这样，可以使得最终找到的社区结构是能够综合考虑到两个模态信息，并且能够真正提高分类精度的，而不是仅仅依赖于结构模态网络。
利用谱聚类检测网络中社区结构的具体实现细节介绍如下：假设利用谱聚类方法将脑网络划分为k个不相交的社区：A1，A2，...，Ak。定义其中任意两个子图A和B之间的权重为：W(A，B)＝∑i∈A，j∈Bwij。那么对于其中k个子图点的集合，有
Figure BSA0000243764420000061
Figure BSA0000243764420000062
其中
Figure BSA0000243764420000063
是Ai的补集。由于谱聚类划分社区的原则是使得子图内的节点权重和高，子图间的节点权重和低。因此，优化目标为：
Figure BSA0000243764420000071
其中，vol(Ai)表示Ai子图内点的权重和。为了简化求解，引入指示向量h
Figure BSA0000243764420000072
其中，vi表示脑网络中的第i个脑区节点。有
Figure BSA0000243764420000073
其中
Figure BSA0000243764420000074
是所有样本脑网络连接wmn的平均值。所以目标函数转化为
Figure BSA0000243764420000075
其中
Figure BSA0000243764420000076
是所有样本的脑网络连接矩阵W的平均值，D是度矩阵。经求解目标函数，可以得到脑网络的社区划分规则。得到这个规则之后，利用它对结构网络Ws和功能网络Wf节点重排序。经过调整之后的结构脑网络表示为W′s，经过调整之后的功能脑网络表示为W′f。为方便后续的叙述，用W(s)代替W′s，用W(f)代替W′f。
如图3所示为自注意力机制的的工作流程图。首先，假设当前feature map用矩阵X表示，分别用三个1x1的卷积核对其卷积，得到proj_query，proj_key，proj_value。然后将矩阵乘法作用在proj_query和proj_key上，得到energy矩阵，这个矩阵反应的就是两两像素之间的影响关系大小。再利用softmax对其进行按行归一化，即可得到attention map矩阵，attention map矩阵的每个元素的含义可以理解为“权重”，它的第i行元素，代表feature map中所有位置的像素对第i个像素的影响。然后，将这个attention map矩阵与proj_value相乘，即得到被注意力加权之后的feature map，用Y表示。需要注意的是，在这里并不直接将这个γ输出，而是引入残差网络的思想：Y＝γ*Y+X，这里的γ是一个参数，表示在这个式子中，整体施加了注意力之后的feature map的权重，需要通过反向传播更新。X就是输入的原始的feature map。初始阶段，γ的值为0，直接返回输入的feature map。之后，随着学习，逐渐将被注意力加权过的feature map加在原始的feature map上，从而强调了施加注意力的部分。相关实验结果表明，在自编码模型中，将这个自注意力层放置在编码阶段的末尾效果最好。
如图4是双路自编码模型的工作流程图。每一个自编码模型都有两个基础结构，分别是编码器和解码器。编码器的结构设计为：第一卷积层，第一激活函数，第一最大池化层，第二卷积层，第二激活函数，第二最大池化层，注意力层，全连接层。解码器的结构设计为：全连接层，第一反卷积层，第一激活函数，第二反卷积层，第二激活函数，第一卷积层，第三激活函数。上述编码器模块的第一，二激活函数都为Relu；第一，二卷积层的卷积核大小为5*5；第一，二最大池化层大小为2*2。上述解码器模块的第一，二，三激活函数都为Relu，第一，二反卷积层卷积核大小为6*6；第一卷积层卷积核大小为3*3。以功能模态网络为例，将经过节点顺序调整的功能模态网络W(f)作为编码器的输入，经过训练得到中间表示层特征h(f)(隐层特征)。然后，这个编码器的输出隐层又作为解码器的输入，送入解码器中进行训练，得到重构的功能脑网络
Figure BSA0000243764420000081
结构模态脑网络的编码-解码过程与功能模态是一样的，并且它和功能模态的编码-解码模型是同时训练的。原始的结构模态网络W(s)，经编码阶段获得隐层h(s)，又经解码阶段得到重构的结构网络
Figure BSA0000243764420000082
模型的目标是重构得到的功能网络和原始输入的功能网络尽可能的相似，重构得到的结构网络和原始输入的结构网络也尽可能的相似，以得到最具有表示能力的隐层特征。因此，模型编码-解码阶段的损失函数为：
Figure BSA0000243764420000083
其中，N为样本的个数。
由于结构模态的隐层和功能模态的隐层可能是分布在两个不同空间中的，而需要综合这两个隐层的信息去预测标签，如果单纯将这两个分布在不同空间的向量拼接起来，是不太合理的。为了解决此问题，在模型中引入MMD loss，让这两个空间尽可能的相似。MMD(Maximum Mean Discrepancy，最大平均差异)，它可以衡量两个空间的相似度。通过MMDloss计算出的值越大，表明这两个空间的分布差异越大，而如果计算出的值足够小，就可以认为这两个空间分布相同。在实验中，结构模态隐层的分布和功能模态隐层的分布越相近越好，所以，我们希望最小化两个隐层空间的MMD loss，用公式表示为
Figure BSA0000243764420000084
在这里，选取高斯核作为核函数。因此，MMD loss表示为
Figure BSA0000243764420000085
在分类阶段，选用交叉损失熵作为分类器的损失函数。因此，分类阶段的损失函数定义为
Figure BSA0000243764420000086
最终得到整个模型的损失函数：
Losssum＝Lossrec+αLosscls+βLossmmd
其中，α和β是权重参数。在模型的训练时，以最小化总的损失函数为目标，学习到最好的模型参数和隐层表示，然后综合两个隐层的特征，完成脑网络的分类任务。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于社区检测和双路自编码的脑网络分类方法，其特征在于：包括以下步骤：
(1)采集人脑的结构模态数据DTI和功能模态数据fMRI。
(2)根据DTI数据构建结构模态脑网络Ws，根据fMRI数据构建功能模态脑网络Wf。
(3)采用结构模态数据指导功能模态数据的方法，检测出脑网络中潜在社区结构。
(4)根据检测出的社区结构，重新调整结构脑网络和功能脑网络中节点的排列顺序，使其能够保留网络中的模块化信息，并适应后续的矩阵卷积核。
(5)设计一个带注意力机制的双路自编码模型，将节点重排序之后的结构网络和功能网络分别送入各自的自编码通道中，以提取出高阶的非线性重要信息，用隐层表示。
(6)综合利用结构模态和功能模态的隐层信息，来完成脑网络分类任务。
2.根据权利要求1所述的基于社区检测和双路自编码的脑网络分类方法，其特征在于：所述步骤(2)构建结构模态网络和功能模态网络的具体方法为：
对于功能模态数据，计算两两脑区之间血液信号的皮尔逊相似度，再经过正则化，即可得到功能脑网络Wf。对于结构模态数据DTI，需要提出每两个脑区之间的物理纤维数量的多少，构建得到结构脑网络Ws。
3.根据权利要求1所述的基于社区检测和双路自编码的脑网络分类方法，其特征在于：所述步骤(3)结构模态网络指导功能模态网络，来检测脑网络中社区结构的具体方法为：
利用谱聚类方法，找到结构脑网络上一个合适的社区划分规则，利用这个规则将结构网络划分为若干个子图，使得子图内的节点权重和高，子图间的节点权重和低。然后，再将这个子图划分的规则用到功能脑网络上，找出功能脑网络的社区结构。由于在社区检测过程中，有很多的参数，而使用不同的参数会得到不同的子图划分结构，所以，我们将步骤3和之后的双路自编码分类模型联合训练参数，以得到一个能够提高分类精度的最好的社区划分规则。同时，这个规则是综合考虑结构模态和功能模态网络信息的，而不是仅仅依赖于结构模态网络。假设利用谱聚类方法将脑网络划分为k个不相交的社区：A1，A2，...，Ak。定义其中任意两个子图A和B之间的权重为：W(A，B)＝∑i∈A，j∈Bwij。那么对于其中k个子图点的集合，有
Figure FSA0000243764410000011
其中
Figure FSA0000243764410000012
是Ai的补集。由于我们使用谱聚类划分社区的原则是使得子图内的节点权重和高，子图间的节点权重和低。因此，优化目标为：
Figure FSA0000243764410000013
通过求解这个目标函数，可以得到一组子图划分的规则，也即社区划分的规则。
4.根据权利要求1所述的基于社区检测和双路自编码的脑网络分类方法，其特征在于：所述步骤(4)根据社区结构，调整脑网络中节点排序顺序的具体方法为：
将属于同一个社区的网络节点放置在脑网络中的相邻位置，而属于不同社区内的节点分开放置。对于结构脑网络和功能脑网络都采用同样的方法。调整之后，脑网络具有近似块对角的性质。一个对角块对应于一个社区，对角块上分布的是社区内高度密集连接的节点，而非对角块上分布的是网络中与其它节点连接性较低的节点。经过调整之后的结构脑网络表示为W′s，经过调整之后的功能脑网络表示为W′f。为方便后续的叙述，用W(s)代替W′s，用W(f)代替W′f。
5.根据权利要求1所述的基于社区检测和双路自编码的脑网络分类方法，其特征在于：所述步骤(5)设计带注意力机制的双路自编码模型的具体方法为：
每一个自编码模型都有两个基础结构，分别是编码器和解码器。编码器的结构设计为：第一卷积层，第一最大池化层，第二卷积层，第二最大池化层，全连接层。解码器的结构设计为：全连接层，第一反卷积层，第二反卷积层，第一卷积层。以功能模态网络为例，我们将经过节点顺序调整的功能模态网络W(f)作为编码器的输入，经过训练得到中间表示层特征h(f)(即隐层特征)。然后，这个编码器的输出隐层又作为解码器的输入，送入解码器中进行训练，得到重构的功能脑网络
Figure FSA0000243764410000021
结构模态脑网络的编码-解码过程与功能模态是一样的，并且它和功能模态的编码-解码模型是同时训练的。原始的结构模态网络W(s)，经编码阶段获得隐层h(s)，又经解码阶段得到重构的结构网络
Figure FSA0000243764410000022
我们的目标是重构得到的功能网络和原始输入的功能网络尽可能的相似，重构得到的结构网络和原始输入的结构网络也尽可能的相似，这样才能够得到最具有表示能力的隐层特征。因此，我们编码-解码阶段的损失函数为：
Figure FSA0000243764410000023
其中，N为样本的个数。
一般来说，卷积核感受野中的区域是有重要性高低之分的。在感受野中，往往有部分区域对分类任务的贡献更大，即它的重要性更高，而余下的区域对分类任务的贡献越小，即重要性更低。因此，在脑网络分类任务中，更合理的做法是将注意力重要性高的区域之上。自编码模型的内部有很多的卷积核，为了希望模型在学习脑网络的过程中能够对感受野中的区域分出重要性高低，提高特征选择的效果以及最终分类器的精度，我们在模型中引入自注意力机制。使用自注意力机制具体方法为：
假设，当前feature map用矩阵X表示，经过自注意力的计算，可以得到一个attentionmap矩阵，attention map矩阵的每个元素的含义可以理解为“权重”，它的第i行元素，代表feature map中所有位置的像素对第i个像素的影响。然后，将这个attention map矩阵与输入的feature map相乘，即得到被注意力加权之后的feature map，用Y表示。需要注意的是，在这里我们并不直接将这个Y输出，而是引入残差网络的思想：Y＝γ*Y+X，这里的γ是一个参数，表示在这个式子中，整体施加了注意力之后的feature map的权重，需要通过反向传播更新。X就是输入的原始的feature map。初始阶段，γ的值为0，直接返回输入的featuremap。之后，随着学习，逐渐将被注意力加权过的feature map加在原始的feature map上，从而强调了施加注意力的部分。在我们的自编码模型的设计过程中，我们引入一个自注意力层，目的是希望模型在学习过程中，能够更好的考虑感受野内区域的重要性，以期能提取出更适合的特征，提高分类模型的精度。相关实验结果表明，在我们的自编码模型中，将这个自注意力层放置在编码阶段的末尾效果最好。
6.根据权利要求1所述的基于社区检测和双路自编码的脑网络分类方法，其特征在于：所述步骤(6)综合利用结构模态和功能模态的隐层信息，来完成脑网络分类任务的具体方法为：
自编码模型的隐层具有很好的表示学习能力，它代表了原始输入数据中重要的高阶信息。为了在分类时能够综合利用两个模态的信息，我们将功能模态和结构模态的隐层拼接起来，并通过全连接层将其映射到一个低维空间，然后再去预测标签。值得注意的是，由于结构模态的隐层和功能模态的隐层可能是分布在两个不同空间中的，而我们需要综合这两个隐层的信息去预测标签，如果单纯将这两个分布在不同空间的向量拼接起来，是不太合理的。为了解决此问题，我们在模型中引入MMD loss，让这两个空间尽可能的相似。MMD(Maximum Mean Discrepancy，最大平均差异)，它可以衡量两个空间的相似度。通过MMDloss计算出的值越大，表明这两个空间的分布差异越大，而如果计算出的值足够小，就可以认为这两个空间分布相同。在我们的实验中，当然是希望结构模态隐层的分布和功能模态隐层的分布越相近越好，所以，我们希望最小化两个隐层空间的MMD loss，用公式表示为
Figure FSA0000243764410000031
在这里，我们选取高斯核作为核函数，因此，我们的MMD loss表示为
Figure FSA0000243764410000032
在分类阶段，选用交叉损失熵作为分类器的损失函数，因此，分类阶段的损失函数定义为
Figure FSA0000243764410000041
最终得到整个模型的损失函数：
Losssum＝Lossrec+αLosscls+βLossmmd
在模型的训练时，我们以最小化总的损失函数为目标，学习到最好的模型参数和隐层表示，然后综合两个隐层的特征，完成脑网络的分类任务。
7.根据权利要求1所述的基于社区检测和双路自编码的脑网络分类方法，其特征在于：通过结构模态指导功能模态的方法，检测脑网络中的社区结构，来调整脑网络中节点的排列顺序，一方面使得网络中的潜在社区结构得以保留，另一方面，解决了传统矩形卷积核无法适用于脑网络这种非欧几里得域的问题。此外，采用带注意力机制的双路自编码模型提取出两个模态中重要的高阶信息，然后综合利用两个模态的互补高阶信息完成脑网络的分类任务，提高分类精度。
CN202110616573.7A 2021-06-02 2021-06-02 一种基于社区检测和双路自编码的脑网络分类方法 Pending CN113642596A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110616573.7A CN113642596A (zh) 2021-06-02 2021-06-02 一种基于社区检测和双路自编码的脑网络分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110616573.7A CN113642596A (zh) 2021-06-02 2021-06-02 一种基于社区检测和双路自编码的脑网络分类方法

Publications (1)

Publication Number Publication Date
CN113642596A true CN113642596A (zh) 2021-11-12

Family

ID=78415905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110616573.7A Pending CN113642596A (zh) 2021-06-02 2021-06-02 一种基于社区检测和双路自编码的脑网络分类方法

Country Status (1)

Country Link
CN (1) CN113642596A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115964626A (zh) * 2022-10-27 2023-04-14 河南大学 一种基于动态多尺度特征融合网络的社区检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115964626A (zh) * 2022-10-27 2023-04-14 河南大学 一种基于动态多尺度特征融合网络的社区检测方法

Similar Documents

Publication Publication Date Title
CN111310707B (zh) 基于骨骼的图注意力网络动作识别方法及系统
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN109871875B (zh) 一种基于深度学习的建筑物变化检测方法
CN107133496B (zh) 基于流形学习与闭环深度卷积双网络模型的基因特征提取方法
CN113486190B (zh) 一种融合实体图像信息和实体类别信息的多模态知识表示方法
Jiang et al. Hyperspectral image classification with spatial consistence using fully convolutional spatial propagation network
CN112488976B (zh) 一种基于darts网络的多模态医学图像融合方法
CN111160111B (zh) 一种基于深度学习的人体关键点检测方法
CN113693563B (zh) 一种基于超图注意力网络的脑功能网络分类方法
CN109214989A (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN110472495B (zh) 一种基于图形推理全局特征的深度学习人脸识别方法
CN112818920B (zh) 一种双时相高光谱图像空谱联合变化检测方法
CN111222847A (zh) 基于深度学习与非监督聚类的开源社区开发者推荐方法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
Duan et al. Multi-scale convolutional neural network for SAR image semantic segmentation
Liu et al. DCCAM‐MRNet: Mixed Residual Connection Network with Dilated Convolution and Coordinate Attention Mechanism for Tomato Disease Identification
Zhu et al. Super resolution reconstruction method for infrared images based on pseudo transferred features
CN114821299A (zh) 一种遥感图像变化检测方法
CN113642596A (zh) 一种基于社区检测和双路自编码的脑网络分类方法
Hu Deep learning image feature recognition algorithm for judgment on the rationality of landscape planning and design
CN116452865B (zh) 基于模糊逻辑的跳跃式注意力肺部病理图像分类方法
Luo et al. Infrared and visible image fusion based on VPDE model and VGG network
CN116129193B (zh) 一种类器官生长预测方法、系统及设备
Song et al. Simultaneous cell detection and classification with an asymmetric deep autoencoder in bone marrow histology images
CN115688234A (zh) 一种基于条件卷积的建筑布局生成方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination