CN111563533B - 基于图卷积神经网络融合多种人脑图谱的受试者分类方法 - Google Patents

Abstract

本发明公开了一种基于图卷积神经网络融合多种人脑图谱的受试者分类方法，人脑图谱是一种数据结构，表示人脑中不同脑区之间的互动信息，通过对受试者的五种人脑图谱进行识别从而对该受试者进行分类预测，属于脑科学研究以及深度学习研究领域。该分类方法步骤如下：获取人脑功能磁共振时序信号并进行预处理；根据不同的功能连接强度计算方法对每个样本构建五种类型的人脑图谱从而得到五个数据集；构建五个图卷积神经网络分类器；分别在对应的人脑图谱数据集上进行训练，从而获得对特定人脑图谱的二分类能力；综合五个图卷积神经网络分类器的预测结果，对受试者进行分类预测，即预测受试者属于哪一类人。

Description

基于图卷积神经网络融合多种人脑图谱的受试者分类方法

技术领域

本发明涉及脑科学和深度学习技术领域，具体涉及一种基于图卷积神经网络融合多种人脑图谱的受试者分类方法。

背景技术

功能磁共振成像是一种快速成像技术，当大脑内某一部位进行活动，血流量增加，导致功能磁共振信号增强，因此功能磁共振成像(fMRI)技术被广泛应用于检测大脑内的血氧活动，进而检验大脑相关区域的功能活动变化。大量实验结果表明一些个体特征如年龄等与该个体的功能连接网络存在关系，所以人脑功能连接网络与生理特性息息相关，对fMRI中提取的脑功能连通性进行分析已成为对个体特征进行分类的流行方法。

很多计算相关性的指标被用于测量脑区之间的功能连接强度，例如相关系数、稀疏表示、聚类系数、统计特性、因果特性等，其中因相关系数法具有简便性和有效性，广泛应用于功能连接强度的测量中，从而构建人脑图谱对人脑功能网络进行建模。目前，基于功能连接网络对多动症识别的研究中，主要为使用单一的功能连接方法进行研究，因为各种连接测量指标有其优点及缺点，对于某些样本数据，仅使用单一的功能连接强度测量方法容易陷入该测量方法的内在缺点而导致识别困难。例如相关系数法容易受信噪比的影响，统计特征缺乏时间维度上的联系，因果关系的参数具有敏感性，容易对因果关系的计算结果造成较大的影响。

最近，在各个领域中机器学习方法表现出对复杂数据具有优秀的拟合能力，因此很多脑科学影像的研究中引入机器学习方法进行识别，并取得了出色的效果。目前大多数基于fMRI的研究采用传统机器学习算法进行分类，但因其难以处理高维的医学成像数据，因此在输入模型之前，先对样本进行特征筛选，这也导致了模型的分类性能过度依赖于特征筛选的问题，因此传统机器学习的方法在脑科学研究中的泛化性能有限。

已有一些研究使用图卷积神经网络对人脑图谱进行分类，但该研究仍在探索过程中，提取节点特征的过程缺乏不同层次之间的联系。

由此可见，现有技术的缺点和不足有以下三点：

1、目前已有的基于人脑功能网络的分类研究中多数仅使用单一的功能连接强度指标，容易受其内在缺点的影响，限制了分类模型的分类性能。

2、已有的人脑功能网络分类方法大多需要特征筛选过程，在生理机制未清楚的情况下，模型的分类准确性与泛化性能容易受特征筛选过程的限制。

3、图卷积神经网络分类模型中，缺乏对不同层次的节点之间关系的考虑。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于图卷积神经网络融合多种人脑图谱的受试者分类方法，该分类方法使用五个图卷积神经网络分类器分别对受试者的五种人脑图谱进行分类，并将全部预测结果进行投票判决，从而获得最终预测结果，即预测该受试者属于哪一类人。本发明中的图卷积神经网络分类器可用于对人脑图谱进行成年人与儿童的分类，男性与女性的分类等，但不限于以上的分类任务。

本发明的目的可以通过采取如下技术方案达到：

一种基于图卷积神经网络融合多种人脑图谱的受试者分类方法，所述的受试者分类方法包括下列步骤：

S1、获取人脑功能磁共振时序信号的数据集，数据集中每个样本为一个受试者大脑内各个脑区的功能磁共振时序信号的集合，将其表示为x，该样本中的第i个脑区的时间序列表示为x_i，描述该脑区在一定时间范围内的活动状态，对该数据集进行预处理，其中，预处理为制作样本标签以及平衡类间样本数量；

S2、对数据集中每个样本构建五种人脑图谱，分别为低阶人脑功能网络图谱LON、高阶人脑功能网络图谱HON、混合高阶人脑功能网络图谱HHON、基于KS检验的人脑功能网络图谱KSN、基于格兰杰因果检验的人脑功能网络图谱GN，以上五种人脑图谱分别反映人脑中五种不同类型的功能连接信息，从而获得用于训练图卷积神经网络分类器的五个数据集，分别表示为D_LON、D_HON、D_HHON、D_KSN、D_GN，其中，LON用于描述脑区之间的时间相关性，HON用于描述低阶子网络之间的结构相关性，HHON用于描述低阶子网络与高阶子网络之间的结构相关性，KSN根据脑区时间序列的统计分布特性从而衡量不同脑区之间的是否建立连接，GN根据不同脑区的时间序列之间的因果关系从而衡量不同脑区是否建立连接；

S3、构建五个图卷积神经网络分类器对五种人脑图谱进行二分类，将特定的人脑图谱的功能连接矩阵输入至图卷积神经网络分类器，从而获得对该人脑图谱预测为正样本以及负样本的概率，其中，五个图卷积神经网络分类器分别表示为LON分类器、HON分类器、HHON分类器、KSN分类器、GN分类器，每个图卷积神经络分类器均由5层多尺度消息传递层MS_MP、3层跨层节点特征提取层CLN、2层全局节点特征提取层GNR、1层图特征提取层GFR以及1层全连接层FC构成，其中多尺度消息传递层MS_MP对输入的人脑功能连接矩阵进行处理，根据连接边两端节点的多尺度拓扑结构信息对该连接边权值进行更新，经过多层迭代使连接边获得更加抽象的功能信息；跨层节点特征提取层CLN将相邻两层多尺度消息传递层MS_MP输出的连接矩阵作为输入，并从中聚合出节点的特征向量作为输出，使用跨层的特征提取策略增加了节点特征信息的多样性，该向量称为跨层节点特征向量；全局节点特征提取层GNR将多个跨层节点特征进行聚合，经过两层迭代，生成各个节点的全局特征向量，称为全局节点特征向量；图特征提取层GFR对全局节点特征向量进行聚合，生成图特征向量；全连接层FC将图特征向量作为输入，输出概率向量，表示将人脑图谱预测为正样本以及负样本的概率；

S4、对步骤S3中得到的五个图卷积神经网络分类器进行训练，将LON分类器、HON分类器、HHON分类器、KSN分类器、GN分类器分别在D_LON、D_HON、D_HHON、D_KSN、D_GN五个数据集上进行训练，使用交叉熵衡量预测输出与训练标签之间的误差，并使用随机梯度下降法对交叉熵误差进行优化，从而提升各个分类器对特定人脑图谱的分类能力；

S5、根据步骤S4中五个图卷积神经网络分类器输出的概率向量进行投票，每个概率向量中含有对正样本以及负样本的预测概率，选择最大预测概率的类别进行投票，最终获得最多票数的类别作为对受试者的预测分类结果。

进一步地，所述的步骤S1中预处理过程如下：

S1.1、将人脑功能磁共振时序信号的数据集中全部样本分为两类，分别为正样本与负样本，标注样本的标签为y∈[1,0]，其中1代表正样本，0代表负样本；

S1.2、对较少样本数量的类别进行随机重复采样，增加该类别的样本数量，使得正样本与负样本数量平衡。

进一步地，所述的步骤S2过程如下：

构建低阶人脑功能网络图谱LON，其中，低阶人脑功能网络图谱表示为LON＝(V,A^L)，节点集V表示脑区的集合，A^L为LON的功能连接矩阵，矩阵中元素

表示脑区i、j之间的功能连接强度，对两者的时序信号x_i与x_j求皮尔逊相关性Pearson(x_i,y_j)作为两者的连接强度，其数学表达式如下：

构建高阶人脑功能网络图谱HON，其中，高阶人脑功能网络图谱表示为HON＝(V,A^H)，节点集V表示以特定脑区为中心的低阶子网络的集合，该子网络中的脑区均为中心脑区的低阶邻居，邻边序列表示一个子网络的邻居拓扑结构信息，因此该子网络由LON中脑区的邻边序列表示，A^H为HON的功能连接矩阵，矩阵中元素

表示以脑区i为中心的低阶子网络与以脑区j为中心的低阶子网络的功能连接强度，对两者的序列

与

求皮尔逊相关性

作为两者的功能连接强度，其数学表达式如下：

构建混合高阶人脑功能网络图谱HHON，其中，混合高阶人脑功能网络图谱表示为HHON＝(V,A^HH)，节点集V表示低阶子网络与高阶子网络的集合，低阶子网络由LON中节点的邻边序列表示，高阶子网络由HON中节点的邻边序列表示，A^HH为HHON的功能连接矩阵，矩阵中元素

表示表示以脑区i为中心的低阶子网络与以脑区j为中心的高阶子网络之间的连接强度，对两者的序列

与

求皮尔逊相关性

表示两者的功能连接强度，其数学表达式如下：

构建基于KS检验的人脑功能网络图谱KSN，其中，基于KS检验的人脑功能网图谱络表示为KSN＝(V,A^KS)，节点集V表示脑区的集合，A^KS为KSN的功能连接矩阵，矩阵中元素

表示脑区i、j之间的功能连接强度，对两者的时序信号x_i与x_j进行进行KS检验KS_test(x_i,x_j)，检验中的原假设为两个时序信号服从同一总体分布，设置P的阈值为0.05，当P≥0.05则至少有95％的置信度认为脑区i与脑区j的时序信号服从同一总体分布，即两者已进行连接，用1表示连接强度，否则认为没有连接，用0表示连接强度，该检验的数学表达式如下：

构建基于格兰杰因果性检验的人脑功能网络图谱GN，其中，基于格兰杰因果性检验的人脑功能网络图谱表示为GN＝(V,A^G),节点集V表示脑区的集合，A^G为GN的功能连接矩阵，矩阵中元素

表示脑区i、j之间的功能连接强度，对两者的时序信号x_i与x_j进行格兰杰因果性检验Granger_test(x_i,x_j)，检验中设置滞后系数为1，采用基于回归系数的F检验，原假设为两个脑区的时间序列不构成格兰杰因果关系，P的阈值设置为0.05，当P≥0.05则至少有95％的置信度认为两个脑区不具有因果关系，即两者没有进行连接，用0表示功能连接强度，否则认为两者已建立连接，用1表示功能连接强度，该检验的数学表达式如下：

进一步地，所述的步骤S3过程如下：

S3.1、构建多尺度消息传递层MS_MP，该多尺度消息传递层MS_MP具有5层，每层多尺度消息传递层MS_MP由图卷积核F、PW卷积核(PointWise卷积核，大小为1×1)、激活函数ReLU、注意力模块SE构成，使用图卷积核F对特定连接边两端节点的邻边序列进行特征提取，将该特征聚合到该连接边中，实现对连接边的更新，上述图卷积核F分为对称的图卷积核与非对称图卷积核，分别处理对称与非对称的人脑图谱，LON、HON、KSN的功能连接矩阵为对称矩阵，因此对其使用对称图卷积核进行特征提取，HHON、GN的功能连接矩阵为非对称矩阵，因此对其使用非对称图卷积核进行特征提取；使用PW卷积核对连接矩阵进行通道数量的变换；使用激活函数ReLU对连接矩阵进行运算增强该层的非线性表达能力；使用注意力模块SE对连接矩阵的多个通道计算注意力系数，表示各个通道的关键性，并乘入到连接矩阵多个通道中，突出关键通道的重要信息；

S3.2、构建跨层节点特征提取层CLN，该跨层节点特征提取层CLN具有3层，第1层跨层节点特征提取层CLN连接至第2、3层多尺度消息传递层MS_MP的输出，第2层跨层节点特征提取层CLN连接至第3、4层多尺度消息传递层MS_MP的输出，第3层跨层节点特征提取层CLN连接至第4、5层多尺度消息传递层MS_MP的输出，用A^k和A^k-1表示第k层与第k-1层MS_MP层输出的连接矩阵，用

表示两者中任意第i行的向量，即节点i的邻边序列；构建跨层节点特征提取层CLN从相邻两层多尺度消息传递层MS_MP中节点的邻边序列进行串联

使用权重参数为W的卷积核从该向量中提取出节点的特征，称为跨层节点特征向量，用

表示，表征该节点的抽象功能，使得节点特征向量具有多层次的信息；跨层节点特征提取层的计算数学表达式如下：

S3.3、构建全局节点特征提取层GNR，该全局节点特征提取层GNR对跨层节点特征进行聚合，生成节点的全局特征向量，构建2层全局节点特征提取层GNR，将第1层全局节点特征提取层GNR与第1、2层跨层节点特征提取层CLN的输出进行连接，第2层全局节点特征提取层GNR将第1层全局节点特征提取层GNR的输出以及第3层跨层节点特征提取层CLN的输出进行连接，用

与

表示第1、2层全局节点特征提取层GNR输出节点i的特征向量，其中

为全局节点特征向量；

S3.4、构建图特征提取层GFR，使用权重参数为W的卷积核对第2层全局节点特征提取层GNR输出的所有全局节点特征向量

进行聚合，获得图特征G，数学表达式如下：

S3.5、构建全连接层FC，该全连接层由输入层、隐藏层、softmax层构成，该全连接层与图特征提取层GFR的输出相连接，将图特征向量输入至全连接层的输入层，隐藏层为两个神经元，使用softmax函数将两个神经元输出的特征值映射到[0,1]的范围内，从而生成长度为2的预测概率向量，表示将输入图卷积神经网络分类器的人脑图谱预测为正样本的概率与负样本的概率。

进一步地，所述的步骤S3.1过程如下：

S3.1.1、构建图卷积核F，当输入功能连接矩阵矩阵A为对称矩阵时，卷积核F由一组参数W构成，对连接矩阵A的第i行进行卷积计算WA_i·，对连接矩阵A的第j列进行卷积计算WA_·j，并对两者进行相加，赋值给输出的连接矩阵A^o中的连接边

实现对连接边的更新；当输入功能连接矩阵矩阵A为非对称矩阵时，卷积核由两组参数W₁与W₂构成，对连接矩阵A的第i行以及第j列分别进行卷积计算W₁A_i.和W₂A_.j，并对两者进行相加，赋值给输出的连接矩阵A^o中

的连接边，实现对连接边的更新；图卷积核F的数学表达式如下：

S3.1.2、构建SE注意力模块，该SE注意力模块将输入的连接矩阵依次经过全局平均池化、PW卷积核进行通道降维、激活函数ReLU、PW卷积核进行通道增维、sigmoid激活函数，从而获得对输入连接矩阵中每个通道的注意力系数，再将输入注意力模块SE的多通道连接矩阵乘以通道注意力系数生成输出连接矩阵；

S3.1.3、使用图卷积核F、注意力模块SE、激活函数ReLU以及PW卷积核，构建多尺度消息传递层MS_MP，将多尺度消息传递层MS_MP输入的连接矩阵表示为A^k-1，将A^k-1传递到三个支路，在支路1中，对连接矩阵A^k-1进行PW卷积，即PW(A^k-1)，其中PW卷积核是一种大小为1×1的卷积核，卷积后的结果为P1，将其作为残差项，加入到支路2与支路3的输出连接矩阵串联后的支路中；在支路2中，使用PW卷积对连接矩阵A^k-1进行通道降维后再使用图卷积核F对其进行计算，实现对连接边权值进行更新，该支路的输出的结果为P2；在支路3中，进行两次如支路2的计算过程，记该支路输出的结果为P3；接着将P2与P3进行通道串联concat(P2,P3)，并加上残差项P1，再经过SE注意力模块与激活函数ReLU，获得多尺度消息传递层输出的连接矩阵E^k；

其中，多尺度消息传递层MS_MP层中计算过程的数学表达式为：

P1＝PW(A^k-1)

P2＝F(PW(A^k-1))

P3＝F(PW(F(PW(A^k-1))))

E^k＝ReLU(SE(P1+concat(P2,P3)))。

进一步地，所述的步骤S3.3过程如下：

S3.3.1、构建第1层全局节点特征提取层GNR：

第1层全局节点特征提取层GNR将第1、2层跨层节点特征提取层CLN输出的节点特征向量进行串联

并且使用权重参数为W₁的卷积核对串联的特征向量进行卷积

使用

作为残差项加入到卷积得到的特征向量中，通过激活函数ReLU，获得该第1层全局节点特征提取层GNR输出的节点特征向量

该层计算过程的数学表达式如下：

S3.3.2、构建第2层全局节点特征提取层GNR：

第2层全局节点特征提取层GNR将

与第3层跨层节点特征提取层CLN输出的跨层节点特征向量

进行串联

并使用权重参数为W₂的卷积核对串联的特征向量进行卷积

并使用

作为残差项加到卷积得到的特征向量，并通过激活函数ReLU，获得该第2层全局节点特征提取层GNR输出的全局节点特征向量

该层计算过程的数学表达式如下：

进一步地，所述的步骤S4中将人脑图谱数据集划按照7:3的样本数量划分为训练集与测试集，使用训练集对特定的图卷积神经网络分类器进行迭代训练，每次迭代从训练集中取出32个人脑图谱样本依次输入到图卷积神经网络分类器中，因此每次迭代获得对32个样本的预测概率向量，用

表示每次迭代中第i个样本预测为正确类别概率，用yⁱ表示第i个样本的标签，使用

与yⁱ计算出交叉熵误差L，交叉熵误差L衡量预测的结果与训练标签在统计分布特性上的差异，其数学表达式如下：

本发明相对于现有技术具有如下的优点及效果：

1.本发明使用的五种人脑图谱对人脑功能网络进行建模，反映了人脑中不同类型的功能连通信息，增加人脑特征的多样性，同时从多角度对人脑进行分析，使多种类型的功能连通信息互为补充，使分类的结果更加客观准确。

2.本发明使用的图卷积神经网络分类器是一种端到端的模型，对输入的人脑图谱与输出标签建立映射关系，使分类器中各个组成部分紧密联系，相比于人工特征，能使分类器模型自适应地提取出与分类任务相关性强的特征，有利于提高分类准确率。

3.本发明使用的图卷积神经网络分类器对连接矩阵的连接边进行更新时，使用多尺度消息传递的策略，使更新的连接边聚合到两端节点不同大小的拓扑结构信息，使连接边特征信息更加丰富。

4.本发明使用的图卷积神经网络分类器在提取节点特征的过程中使用跨层节点特征提取的策略，有利于丰富节点特征的信息，同时使得特征信息在多尺度消息传递层与跨层节点特征提取层中的流动更加充分，更好地发挥图卷积神经网络分类器模型的性能。

附图说明

图1是本发明实施例一种基于图卷积神经网络融合多种人脑图谱的受试者分类方法的流程图；

图2是本发明实施例构建的多尺度消息传递层(MS_MP)的结构示意图，其功能为对连接矩阵的连接边进行更新，使用多支路提取连接矩阵中不同大小的拓扑结构信息，增强了连接边信息的多样性；

图3是多尺度消息传递层中使用的注意力模块SE的结构示意图，使用该注意力模块SE对MS_MP层中串联后连接矩阵中的多个通道标定注意力系数，从而突出关键通道信息的重要性；

图4是图卷积神经网络分类器的结构示意图，该图卷积神经网络分类器用于对特定的人脑功能网络进行二分类，即将其分类为正样本或者负样本；

图5是使用多种人脑图谱对受试者进行预测分类的框架图，综合多个分类器分别对受试者的多种人脑图谱进行分析，实现不同人脑图谱的信息互补，获得客观综合的预测结果。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例公开了一种基于图卷积神经网络融合多种人脑图谱的受试者分类方法，使用五个图卷积神经网络分类器分别对五种人脑图谱进行二分类，对其结果进行投票融合，实现对受试者进行预测分类。该分类方法包括以下步骤：

S1、获取人脑功能磁共振时序信号的数据集，数据集中每个样本为一个受试者大脑内各个脑区的功能磁共振时序信号的集合，将其表示为x，该样本中的第i个脑区的时间序列表示为x_i，描述该脑区在一定时间范围内的活动状态，对该数据集进行预处理，其中，预处理为制作样本标签以及平衡类间样本数量；

本实施例中，该步骤S1中预处理过程如下：

S1.1、将人脑功能磁共振时序信号的数据集中全部样本分为两类，分别为正样本与负样本，标注样本的标签为y∈[1,0]，其中1代表正样本，0代表负样本；

S1.2、对较少样本数量的类别进行随机重复采样，增加该类别的样本数量，使得正样本与负样本数量平衡。

S2、对每个样本构建五种人脑图谱，从而得到五个数据集；

大脑内部各个脑区相互作用形成人脑功能网络，使用图论分析法将人脑功能网络建模为人脑图谱数据(Graph)，表示为Graph＝(V,A)，其中V为人脑图谱中节点的集合(节点可以表示脑区或者以特定脑区为中心的子网络)，A是大小为|V|×|V|的功能连接矩阵，功能连接矩阵中的任意元素A_i,j为人脑图谱中节点i与节点j之间的连接边值，该连接边值由两者的连接强度确定；不同类型的人脑图谱具有不同的节点和连接强度定义，本发明使用不同的功能连接强度计算方法以及不同的节点定义，对步骤S1预处理后的数据集中每个样本构建五种人脑图谱，分别为低阶人脑功能网络图谱(LON)、高阶人脑功能网络图谱(HON)、混合高阶人脑功能网络图谱(HHON)、基于KS(Kolmogorov-Smirnov)检验的人脑功能网络图谱(KSN)、基于格兰杰因果检验的人脑功能网络图谱(GN)，反映人脑中五种不同类型的功能连接信息，从而获得五个数据集(用于训练图卷积神经网络分类器)，分别表示为D_LON、D_HON、D_HHON、D_KSN、D_GN，LON用于描述脑区之间的时间相关性，HON用于描述低阶子网络之间的结构相关性，HHON用于描述低阶子网络与高阶子网络之间的结构相关性，KSN根据脑区时间序列的分布特性从而衡量不同脑区之间的是否建立连接，GN根据不同脑区的时间序列之间的因果关系从而衡量不同脑区是否建立连接。

本实施例中，步骤S2包括：

S2.1、构建低阶人脑功能网络图谱LON(Low Order Network)：

低阶人脑功能网络图谱表示为LON＝(V,A^L)，节点集V表示脑区的集合，A^L为LON的功能连接矩阵，矩阵中元素

表示脑区i、j之间的功能连接强度，对两者的时序信号x_i与x_j求皮尔逊相关性Pearson(x_i,y_j)作为两者的连接强度，其数学表达式如下：

S2.2构建高阶人脑功能网络图谱HON(High Order Network)：

高阶人脑功能网络图谱表示为HON＝(V,A^H)，节点集V表示以特定脑区为中心的低阶子网络的集合，该子网络中的脑区均为中心脑区的低阶邻居，邻边序列表示一个子网络的邻居拓扑结构信息，因此该子网络由LON中脑区的邻边序列表示，A^H为HON的功能连接矩阵，矩阵中元素

表示以脑区i为中心的低阶子网络与以脑区j为中心的低阶子网络的功能连接强度，对两者的序列

与

求皮尔逊相关性

作为两者的功能连接强度，其数学表达式如下：

S2.3构建混合高阶人脑功能网络图谱HHON(Hybrid High Order Network)：

混合高阶人脑功能网络图谱表示为HHON＝(V,A^HH)，节点集V表示低阶子网络与高阶子网络的集合，低阶子网络由LON中节点的邻边序列表示，高阶子网络由HON中节点的邻边序列表示，A^HH为HHON的功能连接矩阵，矩阵中元素

表示表示以脑区i为中心的低阶子网络与以脑区j为中心的高阶子网络之间的连接强度，对两者的序列

与

求皮尔逊相关性

表示两者的功能连接强度，其数学表达式如下：

S2.4、构建基于KS检验的人脑功能网络图谱KSN(KolmogorovSmirnov Network)：

基于KS检验的人脑功能网图谱络表示为KSN＝(V,A^KS)，节点集V表示脑区的集合，A^KS为KSN的功能连接矩阵，矩阵中元素

表示脑区i、j之间的功能连接强度，对两者的时序信号x_i与x_j进行KS检验KS_test(x_i,x_j)，检验中的原假设为两个时序信号服从同一总体分布，设置P的阈值为0.05，当P≥0.05则至少有95％的置信度认为脑区i与脑区j的时序信号服从同一总体分布，即两者已进行连接，用1表示连接强度，否则认为没有连接，用0表示连接强度，该检验的数学表达式如下：

S2.5、构建基于格兰杰因(Granger)果性检验的人脑功能网络图谱GN(GrangerNetwork)：

基于格兰杰因果性检验的人脑功能网络图谱表示为GN＝(V,A^G),节点集V表示脑区的集合，A^G为GN的功能连接矩阵，矩阵中元素

表示脑区i、j之间的功能连接强度，对两者的时序信号x_i与x_j进行格兰杰因果性检验Granger_test(x_i,x_j)，检验中设置滞后系数为1，采用基于回归系数的F检验，原假设为两个脑区的时间序列不构成格兰杰因果关系，P的阈值设置为0.05，当P≥0.05则至少有95％的置信度认为两个脑区不具有因果关系，即两者没有进行连接，用0表示功能连接强度，否则认为两者已建立连接，用1表示功能连接强度，该检验的数学表达式如下：

S3、构建五个图卷积神经网络分类器对五种人脑图谱进行二分类，将特定的人脑图谱的功能连接矩阵输入至图卷积神经网络分类器，从而获得对该人脑图谱预测为正样本以及负样本的概率，其中，五个图卷积神经网络分类器分别表示为LON分类器、HON分类器、HHON分类器、KSN分类器、GN分类器，每个图卷积神经络分类器均由5层多尺度消息传递层MS_MP、3层跨层节点特征提取层CLN、2层全局节点特征提取层GNR、1层图特征提取层GFR，以及1层全连接层FC构成，其中多尺度消息传递层MS_MP对输入的人脑功能连接矩阵进行处理，根据连接边两端节点的多尺度拓扑结构信息对该连接边权值进行更新，经过多层迭代使连接边获得更加抽象的功能信息；跨层节点特征提取层CLN将相邻两层多尺度消息传递层MS_MP输出的连接矩阵作为输入，并从中聚合出节点的特征向量作为输出，使用跨层的特征提取策略增加了节点特征信息的多样性，该向量称为跨层节点特征向量；全局节点特征提取层GNR将多个跨层节点特征进行聚合，经过两层迭代，生成各个节点的全局特征向量，称为全局节点特征向量；图特征提取层GFR对全局节点特征向量进行聚合，生成图特征向量；全连接层FC将图特征向量作为输入，输出概率向量，表示将人脑图谱预测为正样本以及负样本的概率；

本实施例中，该步骤S3过程如下：

S3.1、构建多尺度消息传递层(MS_MP，Multi-Scale Message Passing)：

如图4所示，该多尺度消息传递层MS_MP具有5层，其中每层多尺度消息传递层MS_MP的结构如图2所示，由图卷积核F、PW卷积核(PointWise卷积核，大小为1×1)、激活函数ReLU、注意力模块SE构成，使用图卷积核F对特定连接边两端节点的邻边序列进行特征提取，将该特征聚合到该连接边中，实现对连接边的更新，上述图卷积核F分为对称的图卷积核与非对称图卷积核，分别处理对称与非对称的人脑图谱，LON、HON、KSN的功能连接矩阵为对称矩阵，因此对其使用对称图卷积核进行特征提取，HHON、GN的功能连接矩阵为非对称矩阵，因此对其使用非对称图卷积核进行特征提取；使用PW卷积核对连接矩阵进行通道数量的变换；使用激活函数ReLU对连接矩阵进行运算增强该层的非线性表达能力；使用注意力模块SE对连接矩阵的多个通道计算注意力系数，表示各个通道的关键性，并乘入到连接矩阵多个通道中，突出关键通道的重要信息；

该步骤S3.1具体过程如下：

S3.1.1、构建图卷积核F，当输入功能连接矩阵矩阵A为对称矩阵时，卷积核F由一组参数W构成，对连接矩阵A的第i行进行卷积计算WA_i·，对连接矩阵A的第j列进行卷积计算WA_·j，并对两者进行相加，赋值给输出的连接矩阵A^o中的连接边

实现对连接边的更新；当输入功能连接矩阵矩阵A为非对称矩阵时，卷积核由两组参数W₁与W₂构成，对连接矩阵A的第i行以及第j列分别进行卷积计算W₁A_i·和W₂A_·j，并对两者进行相加，赋值给输出的连接矩阵A^o中

的连接边，实现对连接边的更新；图卷积核F的数学表达式如下：

S3.1.2、构建SE注意力模块，如图3所示，SE注意力模块将输入的连接矩阵依次经过全局平均池化(Global Average pooling)、PW卷积核进行通道降维、激活函数ReLU、PW卷积核进行通道增维、sigmoid激活函数，从而获得对输入连接矩阵中每个通道的注意力系数，再将输入SE注意力模块的多通道连接矩阵乘以通道注意力系数生成输出连接矩阵；

本实施例中，第一次PW卷积与第二次PW卷积的输出通道数分别设置为卷积核输入连接矩阵通道数的1/2与2倍。

S3.1.3、使用图卷积核F、注意力模块SE、激活函数ReLU以及PW卷积核，构建多尺度消息传递层MS_MP；将多尺度消息传递层MS_MP输入的连接矩阵表示为A^k-1，将A^k-1传递到三个支路，在支路1中，对连接矩阵A^k-1进行PW卷积，即PW(A^k-1)，其中PW卷积核是一种大小为1×1的卷积核，卷积后的结果为P1，将其作为残差项，加入到支路2与支路3的输出连接矩阵串联后的支路中，增大多尺度消息传递层MS_MP在训练中反向传播的梯度值，避免梯度消失的问题；在支路2中，使用PW卷积对连接矩阵A^k-1进行通道降维后再使用图卷积核F对其进行计算，实现对连接边权值进行更新，该支路2的输出的结果为P2，A^k-1通道维数的减少降低了图卷积核的参数量，减缓模型过拟合的问题；支路3则进行两次如支路2的计算过程，使连接边聚合到更大范围内的信息，记该支路输出的结果为P3；接着将P2与P3进行通道串联concat(P2,P3)，并加上残差项P1，再经过注意力模块SE与激活函数ReLU，获得多尺度消息传递层MS_MP输出的连接矩阵E^k；

多尺度消息传递层MS_MP中计算过程的数学表达式为：

P1＝PW(A^k-1)

P2＝F(PW(A^k-1))

P3＝F(PW(F(PW(A^k-1))))

E^k＝ReLU(SE(P1+concat(P2,P3)))

在本实施例中，将多尺度消息传递层MS_MP中支路2与支路3中的PW卷积核输出连接矩阵的通道数设置为1，将5层MS_MP层输出连接矩阵的通道数分别设置为8,32,32,32,32。

S3.2、构建跨层节点特征提取层(CLN，Cross Layer Node)：

如图4所示，该跨层节点特征提取层CLN具有3层，第1层跨层节点特征提取层CLN连接至第2、3层多尺度消息传递层MS_MP的输出，第2层跨层节点特征提取层CLN连接至第3、4层多尺度消息传递层MS_MP的输出，第3层跨层节点特征提取层CLN连接至第4、5层多尺度消息传递层MS_MP的输出，用A^k和A^k-1表示第k层与第k-1层MS_MP层输出的连接矩阵，用

表示两者中任意第i行的向量，即节点i的邻边序列；构建跨层节点特征提取层CLN从相邻两层多尺度消息传递层MS_MP中节点的邻边序列进行串联

使用权重参数为W的卷积核从该向量中提取出节点的特征，称为跨层节点特征向量，用

表示，表征该节点的抽象功能，使得节点特征向量具有多层次的信息；跨层节点特征提取层的计算数学表达式如下：

在本实施例中，将3层跨层节点特征提取层CLN输出跨层节点特征向量的长度均设置为32。

S3.3、构建全局节点特征提取层(GNR，Global Node Representation)：

全局节点特征提取层GNR对跨层节点特征进行聚合，生成节点的全局特征向量。构建2层全局节点特征提取层GNR，如图4所示，第1层全局节点特征提取层GNR与第1、2层跨层节点特征提取层CLN的输出进行连接，第2层全局节点特征提取层GNR将第1层全局节点特征提取层GNR的输出以及第3层跨层节点特征提取层CLN的输出进行连接，用

与

表示第1、2层全局节点特征提取层GNR输出节点i的特征向量，其中

为全局节点特征向量；

该步骤S3.3过程如下：

S3.3.1、构建第1层全局节点特征提取层GNR：

第1层全局节点特征提取层GNR将第1、2层跨层节点特征提取层CLN输出的节点特征向量进行串联

并且使用权重参数为W₁的卷积核对串联的特征向量进行卷积

使用

作为残差项加入到卷积得到的特征向量中，通过激活函数ReLU，获得该第1层全局节点特征提取层GNR输出的节点特征向量

该层计算过程的数学表达式如下：

S3.3.2、构建第2层全局节点特征提取层GNR：

第2层全局节点特征提取层GNR将

与第3层跨层节点特征提取层CLN输出的跨层节点特征向量

进行串联

并使用权重参数为W₂的卷积核对串联的特征向量进行卷积

并使用

作为残差项加到卷积得到的特征向量，并通过激活函数ReLU，获得该第2层全局节点特征提取层GNR输出的全局节点特征向量

该层计算过程的数学表达式如下：

本实施例中，将2层全局节点特征提取层GNR输出的节点特征向量

与

的长度均设置为32。

S3.4、构建图特征提取层(GFR，Graph Feature Representation)：

使用权重参数为W的卷积核对第2层全局节点特征提取层GNR输出的所有全局节点特征向量

进行聚合，获得图特征G，数学表达式如下：

使用多个卷积核对

进行聚合则能生成图特征向量，该实施例中，将图特征向量长度设置为256。

S3.5、构建全连接层(FC，Fully Connected)：

全连接层由输入层、隐藏层、softmax层构成，如图4所示，全连接层与图特征提取层的输出相连接，将图特征向量输入至全连接层的输入层，隐藏层为两个神经元，使用softmax函数将两个神经元输出的特征值映射到[0,1]的范围内，从而生成长度为2的预测概率向量，表示将输入图卷积神经网络分类器的人脑图谱预测为正样本的概率与负样本的概率。

S4、对步骤S3中得到的五个图卷积神经网络分类器进行训练，将LON分类器、HON分类器、HHON分类器、KSN分类器、GN分类器分别在D_LON、D_HON、D_HHON、D_KSN、D_GN五个数据集上进行训练，使用交叉熵衡量预测输出与训练标签之间的误差，并使用随机梯度下降法对交叉熵误差进行优化，从而提升各个分类器对特定人脑图谱的分类能力；

该步骤S4具体过程如下：

将步骤S2中得到的人脑图谱数据集划按照7:3的样本数量划分为训练集与测试集，使用训练集对特定的图卷积神经网络分类器进行多次迭代训练，每次迭代从训练集中取出32个人脑图谱样本依次输入到图卷积神经网络分类器中，因此每次迭代获得对32个样本的预测概率向量，用

表示每次迭代中第i个样本预测为正确类别概率，用yⁱ表示第i个样本的标签，使用

与yⁱ计算出交叉熵误差L，使用随机梯度下降算法(SGD)对此误差进行优化从而提升该分类器的分类准确率，直到对测试集的分类准确率不再提高则停止训练，各个分类器的训练过程相互独立。交叉熵误差衡量预测的结果与训练标签在分布特性上的差异，其数学表达式如下：

本实施例中，设置SGD优化算法的学习率为0.01，权重参数初始化方法为xavier。

S5、根据步骤S4中五个图卷积神经网络分类器输出的概率向量进行投票，每个概率向量中含有对正样本以及负样本的预测概率，选择最大预测概率的类别进行投票，最终获得最多票数的类别作为对受试者的预测分类结果。

本实施例中，该步骤S5过程如下：

根据图卷积神经网络分类器输出的概率预测向量，将获得最大预测概率的类别作为对输入人脑图谱的预测类别，并对该类别投1票，根据五个分类器的投票结果，每个类别获得一定的票数，将最大票数的类别为最终对受试者的预测类别。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于图卷积神经网络融合多种人脑图谱的受试者分类方法，其特征在于，所述的受试者分类方法包括下列步骤：

S1、获取人脑功能磁共振时序信号的数据集，数据集中每个样本为一个受试者大脑内各个脑区的功能磁共振时序信号的集合，将其表示为x，该样本中的第i个脑区的时间序列表示为x_i，描述该脑区在一定时间范围内的活动状态，对该数据集进行预处理，其中，预处理为制作样本标签以及平衡类间样本数量；

S2、对数据集中每个样本构建五种人脑图谱，分别为低阶人脑功能网络图谱LON、高阶人脑功能网络图谱HON、混合高阶人脑功能网络图谱HHON、基于KS检验的人脑功能网络图谱KSN、基于格兰杰因果检验的人脑功能网络图谱GN，以上五种人脑图谱分别反映人脑中五种不同类型的功能连接信息，从而获得用于训练图卷积神经网络分类器的五个数据集，分别表示为D_LON、D_HON、D_HHON、D_KSN、D_GN，其中，LON用于描述脑区之间的时间相关性，HON用于描述低阶子网络之间的结构相关性，HHON用于描述低阶子网络与高阶子网络之间的结构相关性，KSN根据脑区时间序列的统计分布特性从而衡量不同脑区之间的是否建立连接，GN根据不同脑区的时间序列之间的因果关系从而衡量不同脑区是否建立连接；

S3、构建五个图卷积神经网络分类器对五种人脑图谱进行二分类，将特定的人脑图谱的功能连接矩阵输入至图卷积神经网络分类器，从而获得对该人脑图谱预测为正样本以及负样本的概率，其中，五个图卷积神经网络分类器分别表示为LON分类器、HON分类器、HHON分类器、KSN分类器、GN分类器，每个图卷积神经络分类器均由5层多尺度消息传递层MS_MP、3层跨层节点特征提取层CLN、2层全局节点特征提取层GNR、1层图特征提取层GFR以及1层全连接层FC构成，其中多尺度消息传递层MS_MP对输入的人脑功能连接矩阵进行处理，根据连接边两端节点的多尺度拓扑结构信息对该连接边权值进行更新，经过多层迭代使连接边获得更加抽象的功能信息；跨层节点特征提取层CLN将相邻两层多尺度消息传递层MS_MP输出的连接矩阵作为输入，并从中聚合出节点的特征向量作为输出，使用跨层的特征提取策略增加了节点特征信息的多样性，该向量称为跨层节点特征向量；全局节点特征提取层GNR将多个跨层节点特征进行聚合，经过两层迭代，生成各个节点的全局特征向量，称为全局节点特征向量；图特征提取层GFR对全局节点特征向量进行聚合，生成图特征向量；全连接层FC将图特征向量作为输入，输出概率向量，表示将人脑图谱预测为正样本以及负样本的概率；

S4、对步骤S3中得到的五个图卷积神经网络分类器进行训练，将LON分类器、HON分类器、HHON分类器、KSN分类器、GN分类器分别在D_LON、D_HON、D_HHON、D_KSN、D_GN五个数据集上进行训练，使用交叉熵衡量预测输出与训练标签之间的误差，并使用随机梯度下降法对交叉熵误差进行优化，从而提升各个分类器对特定人脑图谱的分类能力；

S5、根据步骤S4中五个图卷积神经网络分类器输出的概率向量进行投票，每个概率向量中含有对正样本以及负样本的预测概率，选择最大预测概率的类别进行投票，最终获得最多票数的类别作为对受试者的预测分类结果。

2.根据权利要求1所述的基于图卷积神经网络融合多种人脑图谱的受试者分类方法，其特征在于，所述的步骤S1中预处理过程如下：

S1.1、将人脑功能磁共振时序信号的数据集中全部样本分为两类，分别为正样本与负样本，标注样本的标签为y∈[1,0]，其中1代表正样本，0代表负样本；

S1.2、对较少样本数量的类别进行随机重复采样，增加该类别的样本数量，使得正样本与负样本数量平衡。

3.根据权利要求1所述的基于图卷积神经网络融合多种人脑图谱的受试者分类方法，其特征在于，所述的步骤S2过程如下：

构建低阶人脑功能网络图谱LON，其中，低阶人脑功能网络图谱表示为LON＝(V,A^L)，节点集V表示脑区的集合，A^L为LON的功能连接矩阵，矩阵中元素

表示脑区i、j之间的功能连接强度，对两者的时序信号x_i与x_j求皮尔逊相关性Pearson(x_i,y_j)作为两者的连接强度，其数学表达式如下：

构建高阶人脑功能网络图谱HON，其中，高阶人脑功能网络图谱表示为HON＝(V,A^H)，节点集V表示以特定脑区为中心的低阶子网络的集合，该子网络中的脑区均为中心脑区的低阶邻居，邻边序列表示一个子网络的邻居拓扑结构信息，因此该子网络由LON中脑区的邻边序列表示，A^H为HON的功能连接矩阵，矩阵中元素

表示以脑区i为中心的低阶子网络与以脑区j为中心的低阶子网络的功能连接强度，对两者的序列

与

求皮尔逊相关性

作为两者的功能连接强度，其数学表达式如下：

构建混合高阶人脑功能网络图谱HHON，其中，混合高阶人脑功能网络图谱表示为HHON＝(V,A^HH)，节点集V表示低阶子网络与高阶子网络的集合，低阶子网络由LON中节点的邻边序列表示，高阶子网络由HON中节点的邻边序列表示，A^HH为HHON的功能连接矩阵，矩阵中元素

表示表示以脑区i为中心的低阶子网络与以脑区j为中心的高阶子网络之间的连接强度，对两者的序列

与

求皮尔逊相关性

表示两者的功能连接强度，其数学表达式如下：

构建基于KS检验的人脑功能网络图谱KSN，其中，基于KS检验的人脑功能网图谱络表示为KSN＝(V,A^KS)，节点集V表示脑区的集合，A^KS为KSN的功能连接矩阵，矩阵中元素

表示脑区i、j之间的功能连接强度，对两者的时序信号x_i与x_j进行进行KS检验KS_test(x_i,x_j)，检验中的原假设为两个时序信号服从同一总体分布，设置P的阈值为0.05，当P≥0.05则至少有95％的置信度认为脑区i与脑区j的时序信号服从同一总体分布，即两者已进行连接，用1表示连接强度，否则认为没有连接，用0表示连接强度，该检验的数学表达式如下：

构建基于格兰杰因果性检验的人脑功能网络图谱GN，其中，基于格兰杰因果性检验的人脑功能网络图谱表示为GN＝(V,A^G),节点集V表示脑区的集合，A^G为GN的功能连接矩阵，矩阵中元素

表示脑区i、j之间的功能连接强度，对两者的时序信号x_i与x_j进行格兰杰因果性检验Granger_test(x_i,x_j)，检验中设置滞后系数为1，采用基于回归系数的F检验，原假设为两个脑区的时间序列不构成格兰杰因果关系，P的阈值设置为0.05，当P≥0.05则至少有95％的置信度认为两个脑区不具有因果关系，即两者没有进行连接，用0表示功能连接强度，否则认为两者已建立连接，用1表示功能连接强度，该检验的数学表达式如下：

4.根据权利要求1所述的基于图卷积神经网络融合多种人脑图谱的受试者分类方法，其特征在于，所述的步骤S3过程如下：

S3.1、构建多尺度消息传递层MS_MP，该多尺度消息传递层MS_MP具有5层，每层多尺度消息传递层MS_MP由图卷积核F、PW卷积核、激活函数ReLU、注意力模块SE构成，使用图卷积核F对特定连接边两端节点的邻边序列进行特征提取，将该特征聚合到该连接边中，实现对连接边的更新，上述图卷积核F分为对称的图卷积核与非对称图卷积核，分别处理对称与非对称的人脑图谱，LON、HON、KSN的功能连接矩阵为对称矩阵，因此对其使用对称图卷积核进行特征提取，HHON、GN的功能连接矩阵为非对称矩阵，因此对其使用非对称图卷积核进行特征提取；使用PW卷积核对连接矩阵进行通道数量的变换；使用激活函数ReLU对连接矩阵进行运算增强该层的非线性表达能力；使用注意力模块SE对连接矩阵的多个通道计算注意力系数，表示各个通道的关键性，并乘入到连接矩阵多个通道中，突出关键通道的重要信息；

S3.2、构建跨层节点特征提取层CLN，该跨层节点特征提取层CLN具有3层，第1层跨层节点特征提取层CLN连接至第2、3层多尺度消息传递层MS_MP的输出，第2层跨层节点特征提取层CLN连接至第3、4层多尺度消息传递层MS_MP的输出，第3层跨层节点特征提取层CLN连接至第4、5层多尺度消息传递层MS_MP的输出，用A^k和A^k-1表示第k层与第k-1层MS_MP层输出的连接矩阵，用

表示两者中任意第i行的向量，即节点i的邻边序列；构建跨层节点特征提取层CLN从相邻两层多尺度消息传递层MS_MP中节点的邻边序列进行串联

使用权重参数为W的卷积核从该向量中提取出节点的特征，称为跨层节点特征向量，用

表示，表征该节点的抽象功能，使得节点特征向量具有多层次的信息；跨层节点特征提取层的计算数学表达式如下：

S3.3、构建全局节点特征提取层GNR，该全局节点特征提取层GNR对跨层节点特征进行聚合，生成节点的全局特征向量，构建2层全局节点特征提取层GNR，将第1层全局节点特征提取层GNR与第1、2层跨层节点特征提取层CLN的输出进行连接，第2层全局节点特征提取层GNR将第1层全局节点特征提取层GNR的输出以及第3层跨层节点特征提取层CLN的输出进行连接，用

与

表示第1、2层全局节点特征提取层GNR输出节点i的特征向量，其中

为全局节点特征向量；

S3.4、构建图特征提取层GFR，使用权重参数为W的卷积核对第2层全局节点特征提取层GNR输出的所有全局节点特征向量

进行聚合，获得图特征G，数学表达式如下：

S3.5、构建全连接层FC，该全连接层由输入层、隐藏层、softmax层构成，该全连接层与图特征提取层GFR的输出相连接，将图特征向量输入至全连接层的输入层，隐藏层为两个神经元，使用softmax函数将两个神经元输出的特征值映射到[0,1]的范围内，从而生成长度为2的预测概率向量，表示将输入图卷积神经网络分类器的人脑图谱预测为正样本的概率与负样本的概率。

5.根据权利要求4所述的基于图卷积神经网络融合多种人脑图谱的受试者分类方法，其特征在于，所述的步骤S3.1过程如下：

S3.1.1、构建图卷积核F，当输入功能连接矩阵矩阵A为对称矩阵时，卷积核F由一组参数W构成，对连接矩阵A的第i行进行卷积计算WA_i·，对连接矩阵A的第j列进行卷积计算WA_·j，并对两者进行相加，赋值给输出的连接矩阵A^o中的连接边

实现对连接边的更新；当输入功能连接矩阵矩阵A为非对称矩阵时，卷积核由两组参数W₁与W₂构成，对连接矩阵A的第i行以及第j列分别进行卷积计算W₁A_i·和W₂A_·j，并对两者进行相加，赋值给输出的连接矩阵A^o中

的连接边，实现对连接边的更新；图卷积核F的数学表达式如下：

S3.1.2、构建SE注意力模块，该SE注意力模块将输入的连接矩阵依次经过全局平均池化、PW卷积核进行通道降维、激活函数ReLU、PW卷积核进行通道增维、sigmoid激活函数，从而获得对输入连接矩阵中每个通道的注意力系数，再将输入注意力模块SE的多通道连接矩阵乘以通道注意力系数生成输出连接矩阵；

S3.1.3、使用图卷积核F、注意力模块SE、激活函数ReLU以及PW卷积核，构建多尺度消息传递层MS_MP，将多尺度消息传递层MS_MP输入的连接矩阵表示为A^k-1，将A^k-1传递到三个支路，在支路1中，对连接矩阵A^k-1进行PW卷积，即PW(A^k-1)，其中PW卷积核是一种大小为1×1的卷积核，卷积后的结果为P1，将其作为残差项，加入到支路2与支路3的输出连接矩阵串联后的支路中；在支路2中，使用PW卷积对连接矩阵A^k-1进行通道降维后再使用图卷积核F对其进行计算，实现对连接边权值进行更新，该支路的输出的结果为P2；在支路3中，进行两次如支路2的计算过程，记该支路输出的结果为P3；接着将P2与P3进行通道串联concat(P2,P3)，并加上残差项P1，再经过SE注意力模块与激活函数ReLU，获得多尺度消息传递层输出的连接矩阵E^k；

其中，多尺度消息传递层MS_MP层中计算过程的数学表达式为：

P1＝PW(A^k-1)

P2＝F(PW(A^k-1))

P3＝F(PW(F(PW(A^k-1))))

E^k＝ReLU(SE(P1+concat(P2,P3)))。

6.根据权利要求4所述的基于图卷积神经网络融合多种人脑图谱的受试者分类方法，其特征在于，所述的步骤S3.3过程如下：

S3.3.1、构建第1层全局节点特征提取层GNR：

第1层全局节点特征提取层GNR将第1、2层跨层节点特征提取层CLN输出的节点特征向量进行串联

并且使用权重参数为W₁的卷积核对串联的特征向量进行卷积

使用

作为残差项加入到卷积得到的特征向量中，通过激活函数ReLU，获得该第1层全局节点特征提取层GNR输出的节点特征向量

该层计算过程的数学表达式如下：

S3.3.2、构建第2层全局节点特征提取层GNR：

第2层全局节点特征提取层GNR将

与第3层跨层节点特征提取层CLN输出的跨层节点特征向量

进行串联

并使用权重参数为W₂的卷积核对串联的特征向量进行卷积

并使用

作为残差项加到卷积得到的特征向量，并通过激活函数ReLU，获得该第2层全局节点特征提取层GNR输出的全局节点特征向量

该层计算过程的数学表达式如下：

7.根据权利要求1所述的基于图卷积神经网络融合多种人脑图谱的受试者分类方法，其特征在于，所述的步骤S4中将人脑图谱数据集划按照7:3的样本数量划分为训练集与测试集，使用训练集对特定的图卷积神经网络分类器进行迭代训练，每次迭代从训练集中取出32个人脑图谱样本依次输入到图卷积神经网络分类器中，因此每次迭代获得对32个样本的预测概率向量，用

表示每次迭代中第i个样本预测为正确类别概率，用yⁱ表示第i个样本的标签，使用

与yⁱ计算出交叉熵误差L，交叉熵误差L衡量预测的结果与训练标签在统计分布特性上的差异，其数学表达式如下：

Images