CN113313232B - 一种基于预训练和图神经网络的功能脑网络分类方法 - Google Patents

Abstract

本发明公开了一种基于预训练和图神经网络的功能脑网络分类方法，包括步骤：1)获取fMRI数据，并进行预处理；2)对fMRI数据进行大脑区域划分并提取特征，以图的形式构建功能脑网络；3)将无标签的的功能脑网络输入节点编码层训练；4)通过节点信息聚合网络训练；5)将步骤3)和4)的输出通过边关系预测网络训练；6)将带标签的功能脑网络数据输入步骤3)训练后的节点编码层训练；7)在步骤4)训练后的节点信息聚合网络中进行训练；8)通过功能脑网络分类模型，进行训练和分类。本发明利用大量无标签脑网络数据，通过对图神经网络的预训练，使完成预训练的网络只需在少量标签数据上训练即可适应下游的功能脑网络分类任务。

Description

一种基于预训练和图神经网络的功能脑网络分类方法

技术领域

本发明涉及深度学习的技术领域，尤其是指一种基于预训练和图神经网络的功能脑网络分类方法。

背景技术

图神经网络在图结构数据中强大的建模能力，但它也需要高质量的标记数据来进行训练。然而，高质量的脑网络标记数据通常很昂贵且难以获得，而相对应的，却可以比较容易地获取大量的无标记数据，例如基于人类连接组项目等开放的功能磁共振成像(fMRI)数据集构建功能脑网络数据，其数量可以是标记数据的数千倍。虽然各种网络数据中网络的节点与边的生成逻辑各异，但作为图这一结构，其内含的抽象特征却有相通之处，如果可以把这些无标记数据有效利用起来，则会对训练具有较好鲁棒性和泛化能力的图神经网络有利。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于预训练和图神经网络的功能脑网络分类方法，利用大量无标签脑网络数据，通过对面向功能脑网络分类的图神经网络的预训练，使完成预训练的网络只需在少量标签数据上微调即可适应下游的功能脑网络分类任务。

为实现上述目的，本发明所提供的技术方案为：一种基于预训练和图神经网络的功能脑网络分类方法，包括以下步骤：

1)获取受试者的fMRI数据，并对fMRI数据进行预处理，同时得到对应的标签；

2)在获得预处理后的fMRI数据和对应的标签后，对fMRI数据进行大脑区域划分，提取功能连接矩阵和脑区特征，并通过功能连接矩阵和脑区特征以图的形式构建功能脑网络，其中功能脑网络的节点是划分的大脑区域，功能脑网络的节点特征由功能连接矩阵和脑区特征处理得到；

3)将无标签的fMRI数据处理得到的功能脑网络输入节点编码层训练，并对功能脑网络的所有节点进行初步编码表示，得到预训练的第一输出F；

4)将所有节点的第一输出F输入到节点信息聚合网络训练，进行信息融合，得到预训练的第二输出S；

5)将第一输出F和第二输出S输入到边关系预测网络进行融合处理，计算得到功能脑网络的节点之间是否存在边关系的概率P，并进行训练；

6)将需要进行分类训练的fMRI数据处理得到的功能脑网络输入步骤3)训练后的节点编码层，并对功能脑网络的所有节点进行初步编码表示，得到正式训练的第一输出F'；

7)将所有节点的第一输出F'输入到步骤4)训练后的节点信息聚合网络中进行信息融合，得到正式训练的第二输出S'；

8)将正式训练的第二输出S'输入到功能脑网络分类模型进行节点信息的融合，得到功能脑网络表示R，随后进行功能脑网络的训练和分类。

进一步，步骤1)中的预处理包括时间片校正、头动校正、结构图像与功能图像配准、全局归一化、空间平滑和空间标准化操作，标签是受试者的属性；

步骤2)中，对fMRI数据进行大脑区域划分时，采用脑图谱对每个体素点根据规则映射至相应区域，将大脑划分为一系列的脑区，得到每个脑区的时间序列数据，并通过脑区的时间序列计算脑区两两之间的相关关系，组成功能连接矩阵，并提取功能连接矩阵的上三角特征作为功能连接特征；同时，根据脑区的时间序列计算每个脑区的平均值和标准差特征，并拼接所有脑区的平均值和标准差特征得到脑区综合特征。

进一步，步骤3)和步骤6)中的节点编码层，使用的是图嵌入模型node2vec，嵌入对象是输入的功能脑网络的所有节点。

进一步，步骤4)和步骤7)中的节点信息聚合网络，由自注意力层和前馈神经网络构成，其中自注意力层接受预训练的第一输出F或正式训练的第一输出F'，输出初步信息融合的节点表示F1，并与预训练的第一输出F或正式训练的第一输出F'做加和与规范化处理得到中间表示F2，将中间表示F2输入前馈神经网络处理后，输出变换后的节点表示F3，并与中间表示F2进行做加和与规范化处理，得到预训练的第二输出S或正式训练的第二输出S'。

进一步，所述自注意力层由3个神经网络构成，该3个神经网络均接受预训练的第一输出F或正式训练的第一输出F'为输入，分别输出3个对应的表征向量(q,k,v)，对于功能脑网络中第i个节点x_i，其表征向量为(q_i,k_i,v_i)，其与x_i所有的邻居节点{x₁,x₂,x₃...x_j}的注意力关系计算得到预训练或正式训练初步信息融合的节点表示F1_i或F1_i'的过程由下式决定：

其中，x_j为x_i的第j个邻居节点，(q_j,k_j,v_j)为节点x_j的表征向量，F_j为节点x_j在预训练的第一输出，F_j'为节点x_j在正式训练的第一输出。

进一步，所述做加和为向量相加，且预训练或正式训练的初步信息融合的节点表示F1或F1'的向量长度等于预训练的第一输出F或正式训练的第一输出F'的向量长度，规范化处理为batch-normalization。

进一步，步骤5)中的边关系预测网络，由自注意力层、组合注意力层和前馈神经网络构成，其中自注意力层接受第i个节点x_i的预训练的第一输出F为输入，输出预训练的初步信息融合的节点表示F1，通过与节点x_i的预训练的第一输出F做加和与规范化处理后得到边关系预测初步表示S1，与节点x_i的邻居节点即第j个节点x_j的预训练的第二输出S拼接输入组合注意力层，得到输出的组合表示S2与边关系预测初步表示S1通过做加和与规范化处理得到初步节点联合表示S3，将初步节点联合表示S3输入前馈神经网络，得到的中间节点联合表示S4与初步节点联合表示S3通过做加和与规范化处理，得到最终节点联合表示S5，输入线形变换层，得到节点x_i与邻居节点x_j之间是否存在边关系的概率P_ij，并以输入功能脑网络的边关系结构作为预训练的标签。

进一步，所述自注意力层由3个神经网络构成，该3个神经网络均接受预训练的第一输出F为输入，分别输出三个对应的表征向量(q',k',v')，对于功能脑网络中第i个节点x_i，其表征向量为(q_i',k_i',v_i')，其与x_i所有的邻居节点{x₁,x₂,x₃...x_j}的注意力关系计算得到初步信息融合的节点表示F1_i的过程由下式决定：

其中，(q_j',k_j',v_j')为节点x_j的表征向量，F_j为节点x_j在预训练的第一输出。

进一步，所述线形变换层为可学习权重向量W，通过与最终节点联合表示S5相乘，得到节点之间是否存在边关系的概率P。

进一步，步骤8)中的功能脑网络分类模型，使用单层图神经网络进行进一步节点信息融合，对于第i个节点x_i对应的正式训练的第二输出S_i'，单层图神经网络进行进一步节点信息融合的过程用下式表示：

其中，N(i)为节点x_i所有邻居节点的集合，S_j'为节点x_i的邻居节点x_j的正式训练的第二输出，MLP(·)为多层感知机，ε为可学习参数，得到的进一步节点信息融合表示S1_i'与正式训练的第二输出S_i'通过做加和与规范化处理后，得到功能脑网络表示R_i，通过图分类可学习权重向量W'与功能脑网络表示R进行矩阵乘法后，输入Softmax层得到类别概率进行预测。

本发明与现有技术相比，具有如下优点与有益效果：

本发明使用预训练和图神经网络对功能脑网络数据通过抽取特征进行训练，通过预训练充分利用无标记的脑网络数据，大幅度增加了图神经网络的训练样本，降低了模型对功能脑网络结构的学习成本，提高了模型训练的稳定性同时实现了更好的分类效果，具有实际推广价值，值得推广。

附图说明

图1为本发明方法的流程示意图。

图2为节点信息聚合网络与边关系预测网络结构示意图。

图3为基于预训练的功能脑网络分类模型整体结构示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

在本实施例中，功能脑网络为节点数量固定的全连接边权图，且无标签的脑图数据量远大于标签脑图数据量。

如图1所示，本实施例所提供的基于预训练和图神经网络的功能脑网络分类方法，包括以下步骤：

1)获取受试者的fMRI数据，并对fMRI数据进行预处理，同时得到对应的标签；其中，预处理包括时间片校正、头动校正、结构图像与功能图像配准、全局归一化、空间平滑和空间标准化操作，标签是受试者的属性。

2)在获得预处理后的fMRI数据和对应的标签后，对fMRI数据进行大脑区域划分，提取功能连接矩阵和脑区特征，并通过功能连接矩阵和脑区特征以图的形式构建功能脑网络，其中功能脑网络的节点是划分的大脑区域，功能脑网络的节点特征由功能连接矩阵和脑区特征处理得到；

其中，对fMRI数据进行大脑区域划分时，采用脑图谱对每个体素点根据规则映射至相应区域，将大脑划分为一系列的脑区，得到每个脑区的时间序列数据，并通过脑区的时间序列计算脑区两两之间的相关关系，组成功能连接矩阵，并提取功能连接矩阵的上三角特征作为功能连接特征；同时，根据脑区的时间序列计算每个脑区的平均值和标准差特征，并拼接所有脑区的平均值和标准差特征得到脑区综合特征。

3)将无标签的fMRI数据预处理后得到的功能脑网络输入以node2vec为结构的节点编码层，并对功能脑网络的所有节点进行初步编码表示，得到预训练的第一输出F；控制中的节点重访问概率P_n＜0.1，以及内外向游走概率q＜1，实现随机游走嵌入，得到预训练的第一输出F。

4)将所有节点的第一输出F输入到节点信息聚合网络训练，进行信息融合，得到预训练的第二输出S。

其中，节点信息聚合网络由自注意力层和前馈神经网络构成，其中自注意力层接受预训练的第一输出F或正式训练的第一输出F'，输出初步信息融合的节点表示F1，并与预训练的第一输出F或正式训练的第一输出F'做加和与规范化处理得到中间表示F2，将中间表示F2输入前馈神经网络处理后，输出变换后的节点表示F3，并与中间表示F2进行做加和与规范化处理，得到预训练的第二输出S或正式训练的第二输出S'。

进一步，自注意力层由3个神经网络构成，该3个神经网络均接受预训练的第一输出F或正式训练的第一输出F'为输入，分别输出3个对应的表征向量(q,k,v)，对于功能脑网络中第i个节点x_i，其表征向量为(q_i,k_i,v_i)，其与x_i所有的邻居节点{x₁,x₂,x₃...x_j}的注意力关系计算得到预训练或正式训练初步信息融合的节点表示F1_i或F1_i'的过程由下式决定：

其中，x_j为x_i的第j个邻居节点，(q_j,k_j,v_j)为节点x_j的表征向量，F_j为节点x_j在预训练的第一输出，F_j'为节点x_j在正式训练的第一输出。

进一步，做加和为向量相加，且预训练或正式训练的初步信息融合的节点表示F1或F1'的向量长度等于预训练的第一输出F或正式训练的第一输出F'的向量长度，规范化处理为batch-normalization。

5)将第一输出F和第二输出S输入到边关系预测网络进行融合处理，计算得到功能脑网络的节点之间是否存在边关系的概率P，并进行训练；

其中，边关系预测网络由自注意力层、组合注意力层和前馈神经网络构成，自注意力层接受第i个节点x_i的预训练的第一输出F为输入，输出预训练的初步信息融合的节点表示F1，通过与节点x_i的预训练的第一输出F做加和与规范化处理后得到边关系预测初步表示S1，与节点x_i的邻居节点即第j个节点x_j的预训练的第二输出S拼接输入组合注意力层，得到输出的组合表示S2与边关系预测初步表示S1通过做加和与规范化处理得到初步节点联合表示S3，将初步节点联合表示S3输入前馈神经网络，得到的中间节点联合表示S4与初步节点联合表示S3通过做加和与规范化处理，得到最终节点联合表示S5，输入线形变换层，得到节点x_i与邻居节点x_j之间是否存在边关系的概率P_ij，并以输入功能脑网络的边关系结构作为预训练的标签。

进一步，自注意力层由3个神经网络构成，该3个神经网络均接受预训练的第一输出F为输入，分别输出三个对应的表征向量(q',k',v')，对于功能脑网络中第i个节点x_i，其表征向量为(q_i',k_i',v_i')，其与x_i所有的邻居节点{x₁,x₂,x₃...x_j}的注意力关系计算得到初步信息融合的节点表示F1_i的过程由下式决定：

其中，(q_j',k_j',v_j')为节点x_j的表征向量，F_j为节点x_j在预训练的第一输出。

进一步，线形变换层为可学习权重向量W，通过与最终节点联合表示S5相乘，得到节点之间是否存在边关系的概率P。

节点信息聚合网络与边关系预测网络结构如图2所示。

6)将需要进行分类训练的fMRI数据处理得到的功能脑网络输入步骤3)训练后的节点编码层，并对功能脑网络的所有节点进行初步编码表示，得到正式训练的第一输出F'。

7)将所有节点的第一输出F'输入到步骤4)训练后的节点信息聚合网络中进行信息融合，得到正式训练的第二输出S'。

8)将正式训练的第二输出S'输入到功能脑网络分类模型进行节点信息的融合，得到功能脑网络表示R，随后进行功能脑网络的训练和分类。

其中，功能脑网络分类模型结构如图3所示，其使用单层图神经网络进行进一步节点信息融合，对于第i个节点x_i对应的正式训练的第二输出S_i'，单层图神经网络进行进一步节点信息融合的过程用下式表示：

其中，N(i)为节点x_i所有邻居节点的集合，S_j'为节点x_i的邻居节点x_j的正式训练的第二输出，MLP(·)为多层感知机，ε为可学习参数，得到的进一步节点信息融合表示S1_i'与正式训练的第二输出S_i'通过做加和与规范化处理后，得到功能脑网络表示R_i，通过图分类可学习权重向量W'与功能脑网络表示R进行矩阵乘法后，输入Softmax层得到类别概率进行预测。

在本实施例中，需使用少量标签数据微调节点信息聚合网络与分类模型。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于预训练和图神经网络的功能脑网络分类方法，其特征在于，包括以下步骤：

1)获取受试者的fMRI数据，并对fMRI数据进行预处理，同时得到对应的标签；

2)在获得预处理后的fMRI数据和对应的标签后，对fMRI数据进行大脑区域划分，提取功能连接矩阵和脑区特征，并通过功能连接矩阵和脑区特征以图的形式构建功能脑网络，其中功能脑网络的节点是划分的大脑区域，功能脑网络的节点特征由功能连接矩阵和脑区特征处理得到；

3)将无标签的fMRI数据处理得到的功能脑网络输入节点编码层训练，并对功能脑网络的所有节点进行初步编码表示，得到预训练的第一输出F；

4)将所有节点的第一输出F输入到节点信息聚合网络训练，进行信息融合，得到预训练的第二输出S；

5)将第一输出F和第二输出S输入到边关系预测网络进行融合处理，计算得到功能脑网络的节点之间是否存在边关系的概率P，并进行训练；

6)将需要进行分类训练的fMRI数据处理得到的功能脑网络输入步骤3)训练后的节点编码层，并对功能脑网络的所有节点进行初步编码表示，得到正式训练的第一输出F′；

7)将所有节点的第一输出F′输入到步骤4)训练后的节点信息聚合网络中进行信息融合，得到正式训练的第二输出S′；

8)将正式训练的第二输出S′输入到功能脑网络分类模型进行节点信息的融合，得到功能脑网络表示R，随后进行功能脑网络的训练和分类；

步骤4)和步骤7)中的节点信息聚合网络，由自注意力层和前馈神经网络构成，其中自注意力层接受预训练的第一输出F或正式训练的第一输出F′，输出初步信息融合的节点表示F1，并与预训练的第一输出F或正式训练的第一输出F′做加和与规范化处理得到中间表示F2，将中间表示F2输入前馈神经网络处理后，输出变换后的节点表示F3，并与中间表示F2进行做加和与规范化处理，得到预训练的第二输出S或正式训练的第二输出S′；

所述自注意力层由3个神经网络构成，该3个神经网络均接受预训练的第一输出F或正式训练的第一输出F′为输入，分别输出3个对应的表征向量(q,k,v)，对于功能脑网络中第i个节点x_i，其表征向量为(q_i,k_i,v_i)，其与x_i所有的邻居节点{x₁,x₂,x₃...x_j}的注意力关系计算得到预训练或正式训练初步信息融合的节点表示F1_i或F1_i′的过程由下式决定：

其中，x_j为x_i的第j个邻居节点；其中，(q_j,k_j,v_j)为节点x_j的表征向量，F_j为节点x_j在预训练的第一输出，F_j′为节点x_j在正式训练的第一输出；

步骤5)中的边关系预测网络，由自注意力层、组合注意力层和前馈神经网络构成，其中自注意力层接受第i个节点x_i的预训练的第一输出F为输入，输出预训练的初步信息融合的节点表示F1，通过与节点x_i的预训练的第一输出F做加和与规范化处理后得到边关系预测初步表示S1，与节点x_i的邻居节点即第j个节点x_j的预训练的第二输出S拼接输入组合注意力层，得到输出的组合表示S2与边关系预测初步表示S1通过做加和与规范化处理得到初步节点联合表示S3，将初步节点联合表示S3输入前馈神经网络，得到的中间节点联合表示S4与初步节点联合表示S3通过做加和与规范化处理，得到最终节点联合表示S5，输入线形变换层，得到节点x_i与邻居节点x_j之间是否存在边关系的概率P_ij，并以输入功能脑网络的边关系结构作为预训练的标签；

所述自注意力层由3个神经网络构成，该3个神经网络均接受预训练的第一输出F为输入，分别输出三个对应的表征向量(q′,k′,v′)，对于功能脑网络中第i个节点x_i，其表征向量为(q_i′,k_i′,v_i′)，其与x_i所有的邻居节点{x₁,x₂,x₃...x_j}的注意力关系计算得到初步信息融合的节点表示F1_i的过程由下式决定：

其中，(q_j′,k_j′,v_j′)为节点x_j的表征向量，F_j为节点x_j在预训练的第一输出；

步骤8)中的功能脑网络分类模型，使用单层图神经网络进行进一步节点信息融合，对于第i个节点x_i对应的正式训练的第二输出S_i′，单层图神经网络进行进一步节点信息融合的过程用下式表示：

其中，N(i)为节点x_i所有邻居节点的集合，S_j′为节点x_i的邻居节点x_j的正式训练的第二输出，MLP(·)为多层感知机，ε为可学习参数，得到的进一步节点信息融合表示S1_i′与正式训练的第二输出S_i′通过做加和与规范化处理后，得到功能脑网络表示R_i，通过图分类可学习权重向量W′与功能脑网络表示R进行矩阵乘法后，输入Softmax层得到类别概率进行预测。

2.根据权利要求1所述的一种基于预训练和图神经网络的功能脑网络分类方法，其特征在于：步骤1)中的预处理包括时间片校正、头动校正、结构图像与功能图像配准、全局归一化、空间平滑和空间标准化操作，标签是受试者的属性；

步骤2)中，对fMRI数据进行大脑区域划分时，采用脑图谱对每个体素点根据规则映射至相应区域，将大脑划分为一系列的脑区，得到每个脑区的时间序列数据，并通过脑区的时间序列计算脑区两两之间的相关关系，组成功能连接矩阵，并提取功能连接矩阵的上三角特征作为功能连接特征；同时，根据脑区的时间序列计算每个脑区的平均值和标准差特征，并拼接所有脑区的平均值和标准差特征得到脑区综合特征。

3.根据权利要求1所述的一种基于预训练和图神经网络的功能脑网络分类方法，其特征在于：步骤3)和步骤6)中的节点编码层，使用的是图嵌入模型node2vec，嵌入对象是输入的功能脑网络的所有节点。

4.根据权利要求1所述的一种基于预训练和图神经网络的功能脑网络分类方法，其特征在于：所述做加和为向量相加，且预训练或正式训练的初步信息融合的节点表示F1或F1′的向量长度等于预训练的第一输出F或正式训练的第一输出F′的向量长度，规范化处理为batch-normalization。

5.根据权利要求1所述的一种基于预训练和图神经网络的功能脑网络分类方法，其特征在于：所述线形变换层为可学习权重向量W，通过与最终节点联合表示S5相乘，得到节点之间是否存在边关系的概率P。

Images