CN112508085B - 基于感知神经网络的社交网络链路预测方法 - Google Patents

Abstract

本发明公开了一种基于感知神经网络的社交网络链路预测方法，主要解决现有技术在表示节点特征时，由于缺乏对于拓扑结构和节点自身两种影响力的综合考虑，造成链路预测准确率低的问题。其实现步骤为：1)构建自注意力神经网络；2)用社交网络生成训练集，并用邻接矩阵表示；3)利用邻接矩阵计算用户节点的影响力矩阵；4)将邻接矩阵和影响力矩阵输入到自注意力神经网络，对其进行训练；5)将一个无标签待预测的社交网络输入到训练好的自注意力神经网络，得到链路预测结果。本发明增强了节点特征的表示效果，提高了社交网络链路预测的准确率，降低了模型训练过程中的训练时间和空间占用率，可用于预测大型社交媒体用户之间存在联系的可能性。

Description

基于感知神经网络的社交网络链路预测方法

技术领域

本发明属于计算机网络技术领域，更进一步涉及一种社交网络链路预测方法，可用于预测大型社交媒体用户之间存在联系的可能性。

背景技术

社交网络作为现实生活中的非欧几里得数据可以自然地以网络结构来表示，通常用于表征一组用户，即节点及其用户关系即边缘。网络中的链路预测是指如何通过已知的网络结构等信息，预测网络中尚未产生连接的两个节点之间产生连接的可能性。在常规的用户关系预测中，通常需要进行大量的人际关系分析或行动轨迹调查才能判断在未来某两个用户之间是否会产生交集。以往的研究链路预测的方法主要是基于局部信息的相似性、基于路径或基于随机游走的方法，随着计算机技术的发展，现在节点属性和网络拓扑结构的信息变得容易收集，计算机通过已有的带标签的数据进行学习并生成一个机器学习模型，将未知的社交网络结构输入进去，最终可以对两个节点之间是否存在关系进行预测。

北京工业大学在其申请的专利文献“基于路径信息和节点信息融合的社交网络好友推荐方法”(专利申请号：201810232469.6，专利公布号：108449209 A)中公开了一种基于路径信息和节点信息融合的社交网络好友推荐方法。该方法的步骤包括以下：步骤1，对网络结构中节点和链接进行表示；步骤2，将所有的链接随机划分为测试集和训练集；步骤3，获取原图中所有不存在链接的集合；步骤4，随机选取测试边集中的一条边，计算这条边两端节点相似性。该方法存在的不足之处在于对于路径信息的考虑不够全面，只考虑了节点之间单方向的链接状态，这样导致了在计算节点的拓扑结构时，忽视了相互链接的结构对节点嵌入的影响。

兰州大学在其申请的专利文献“基于有监督学习的多层网络链接预测方法”(申请号：202010122854.2，专利公布号：111310937 A)公开了一种基于有监督学习的多层网络链接预测方法。该方法的步骤包括以下：步骤1：为所有的节点对赋予类标签，节点对存在链接，类标签为1，不存在链接，类标签为0；步骤2：将链接预测问题转化为判断类标签为0或1的二分类问题。在二分类问题中，定义了一组拓扑特征，并使用这些特征构造节点对的特征向量。这一组拓扑特征包括基于共同邻居的相似性指标、基于节点度的特征、基于聚集系数的特征和基于“朋友”的特征。该方法虽然对于拓扑特征的可能性概括的较为全面，但是这四类拓扑特征的重要性应该是有区别的，该方法没有很好的为这四类拓扑特征分配权重，最终会影响预测的准确性。

发明内容

本发明的目的在于针对上述现有技术中存在的不足，提出一种基于感知神经网络的社交网络链路预测方法，以利用节点间双向链接的拓扑关系并结合节点自身的基础影响力值，生成了中间综合影响力信息矩阵，并通过自注意力机制为每个节点的影响值分配权重，提高预测准确性。

本发明的技术思路是：根据社交网络中节点间的拓扑结构和每个节点自身的影响力形成节点的属性，通过自注意力机制和图形卷积运算得到低维稠密向量空间中的节点特征表示，并将提取到的特征作为神经网络的输入进行社交网络链路预测任务。

根据上述思路，本发明实现步骤包括如下：

1.一种基于感知神经网络的社交网络链路预测方法，其特征在于，包括如下：

(1)构建注意力神经网络：

(1a)构建依次为：输入层、第一全连接层、第一正则化层、第二全连接层、第二正则化层、第三全连接层、第三正则化层、激活函数层和输出层的一个九层的注意力神经网络；

(1b)将第一至第三全连接层的维度分别设置为256,128,64，第一至第三正则化层的维度分别设置为256,128,64，激活层函数设置LeakyRELU函数，采用L2 Loss函数作为损失函数；

(2)生成训练集：

(2a)在现有的社交网络中选取至少1000个用户节点，将这些用户节点间的连接边与网络节点组成社交网络数据集；

(2b)将社交网络训练集进行建模，即生成由网络节点和连接边组成的图结构，由邻接矩阵形式表示；

(3)对训练集中的社交网络结构计算每个用户节点的影响力值：

(3a)根据社交网络的图结构的拓扑性质，将两个用户节点v_i和v_j之间的关系分为v_i对v_j的单向关注v_i→v_j、v_j对v_i的单向关注v_j→v_i和v_i与v_j的双向关注

这三种情况，针对每种不同的链接方式，用户v_j对于用户v_i具有不同的影响力值，计算出每个用户节点v_i的基于拓扑的影响力值D_i，计算公式如下：

i,j∈N且i≠j

其中I_i表示第i个节点v_i的入度，I_j表示第j个节点v_j的入度，N表示节点的总数；β表示一个常数，在v_i→v_j时，β取值为60，在v_j→v_i时，β取值为10，在

时，β取值为40；

(3b)将每个用户节点v_i的入度I_i作为该用户节点的自身基础影响力B_i，即B_i＝I_i；

(3c)将每个节点v_i计算出的基于拓扑的影响力D_i和自身基础影响力B_i利用不同的权重结合，得到一个综合影响力信息矩阵W∈R^N×N，其中第i行第j列的元素w_ij为：

w_ij表示节点v_j对节点v_i的综合影响力值，

和

分别表示基于拓扑结构的影响力D_i和自身基础影响力B_i的权重系数；

(4)训练注意力神经网络：

(4a)将训练集中的每个图结构及生成的综合影响力信息矩阵W输入到注意力神经网络中；

(4b)用梯度下降法，更新自注意力神经网络的权值直到损失函数收敛为止，得到训练好的自注意力神经网络；

(5)将一个无标签待预测的社交网络样本输入到训练好的注意力神经网络中，输出所有节点之间产生链接的概率，计算概率的公式如下：

P_ij表示节点v_i与节点v_j之间产生链接的概率，

表示节点v_i经过自注意力神经网络后的特征嵌入，

表示节点v_j的特征嵌入。

本发明与现有技术先比有以下优点：

第一，由于本发明设计了一个综合影响力信息矩阵W，对社交网络的用户节点嵌入进行表示，克服了现有的节点表示方法中由于缺少节点间拓扑结构以及节点自身影响力的综合影响，提高了链路预测的准确度。

第二，由于本发明搭建并训练了一个多头自注意力神经网络，对社交网络的链路进行预测，并通过采用多头机制极大地降低了自注意力神经网络模型训练过程中的时间复杂度，缩短了链路预测的处理时间，提升了模型的空间利用率。

附图说明

图1是本发明的实现总流程图。

图2是本发明中节点间的三种情况拓扑图。

图3是本发明训练过程中计算损失函数的子流程图。

具体实施方式

下面结合附图对本发明的实例做进一步详细描述。

参照图1，本实例的实现步骤如下：

步骤1，构建自注意力神经网络。

在进行链路预测时，采用图神经网络表示节点嵌入可以保留图的网络拓扑结构和节点的内容信息，本实例中首先构建一个九层的注意力神经网络，其包括一个输入层，三个全连接层，三个正则化层，一个激活函数层和一个输出层。

1.1)注意力神经网络的结构关系：输入层→第一全连接层→第一正则化层→第二全连接层→第二正则化层→第三全连接层→第三正则化层→激活函数层→输出层；

1.2)网络参数设置：

将三个全连接层的维度分别设置为256、128、64，每一个全连接层用于将节点特征进行加权求和，聚合节点的邻居信息；

将三个正则化层的维度分别设置为256、128、64，每一个正则化层用于减小训练过程中产生的过拟合的影响，增加模型的泛化能力；

设置激活函数层的激活函数为LeakyRELU函数；

设模型训练过程中的损失函数采用L2 Loss函数。

步骤2，生成训练集。

在现有的社交网络中选取至少1000个用户节点，由于用户之间存在着单方向的关注关系以及双向的关注关系，因而，这些关系构成了用户节点之间的边。

本实例所选的1000个用户节点至少存在50000条连接边，将用户节点和节点之间的连接关系组成该社交网络训练集的样本；

对该训练集样本进行建模，生成由节点和连接边组成的图结构，并由邻接矩阵的形式表示如下：

A∈R^N×N

其中，A中第i行第j列的元素为a_ij，a_ij＝1，表示节点v_i链接节点v_j；a_ij＝0，表示节点v_i没有连接v_j。

步骤3，对训练集中的社交网络结构，计算每个用户节点的影响力值。

3.1)根据社交网络图结构的拓扑性质，将两个用户节点v_i和v_j之间的关系分为v_i对v_j的单向关注v_i→v_j、v_j对v_i的单向关注v_j→v_i和v_i与v_j的双向关注

这三种情况，如图2所示，其中图2(a)表示v_i对v_j的单向关注v_i→v_j，图2(b)表示v_j对v_i的单向关注v_j→v_i，图2(c)表示v_i与v_j的双向关注

每种不同的链接方式，用户v_j对于用户v_i具有不同的影响力值D_i，其计算公式如下：

i,j∈N，且i≠j

其中，I_i表示第i个节点v_i的入度，I_j表示第j个节点v_j的入度，N表示节点的总数；β表示一个常数，本实例中，在v_i→v_j时，β取值为60，在v_j→v_i时，β取值为10，在

时，β取值为40；

3.2)针对于每一个用户节点，在社交网络中，将一个用户节点v_i被多次连接产生的影响力称为节点v_i的自身基础影响力B_i，并用节点v_i的入度I_i表示，即B_i＝I_i；

3.3)将每个节点v_i计算出的基于拓扑的影响力D_i和自身基础影响力B_i利用不同的权重，计算得到一个综合影响力信息矩阵W∈R^N×N，其中该矩阵的第i行第j列的元素w_ij为：

其中，w_ij表示节点v_j对节点v_i的综合影响力值，

和

分别表示基于拓扑结构的影响力D_i和自身基础影响力B_i的权重系数。

步骤4，训练注意力神经网络。

4.1)将训练集中的每个图结构及生成的综合影响力信息矩阵W输入到注意力神经网络中，计算训练的损失函数：

参照图3，本步骤的具体实现如下：

4.1.1)计算每个节点v_i的所有邻居与其自身的注意力系数：

e_ij＝a([Wh_i||Wh_j])，

式中，e_ij表示节点v_i与v_j之间的注意力系数，W表示要训练的权重矩阵，h_i表示节点v_i的特征嵌入，h_j表示节点v_j的特征嵌入，||表示对于变化后的特征Wh_i与Wh_j的拼接操作，a表示一个可学习的权重向量；

4.1.2)将4.1.1)中计算出的e_ij加入到LeakyRELU激活函数中进行归一化操作，得到归一化后的注意力系数α_ij：

LeakyRELU(e_ij)＝e_ij，e_ij≥0

LeakyRELU(e_ij)＝ae_ij，e_ij＜0,

其中，N_i表示节点v_i的所有邻居节点的总数，a取值为0.2；

4.1.3)利用4.1.2)计算的注意力系数α_ij求出特征变换后节点v_i的特征向量

其中，σ表示非线性激活函数；

4.1.4)计算引入多头注意力机制后节点v_i的特征向量

类似于卷积神经网络里的多通道，本实例中引入多头注意力机制来丰富模型的能力和稳定训练的过程，多头注意力机制采用并行的操作，以降低模型训练时间和空间占用，即每一头采用独立的可训练权重矩阵W，最后一层之前采用拼接操作求得特征向量，最后一层采用求平均的方法计算输出向量，其实现公式如下：

其中，n表示神经网络的层数，M表示设置的多头注意力机制的个数，

表示第k头自注意力机制的权重系数，W^k表示第k头自注意力机制的权重矩阵；

4.1.5)采用求平均的方式计算注意力神经网络最后一层的输出特征向量

4.1.6)根据4.1.1)-4.1.4)计算出的输出特征向量

得到训练过程中损失函数的表示公式：

4.2)对注意力神经网络的所有权重矩阵W^k进行初始化，并将其输入的特征向量通过与4.1.1)—4.1.5)相同的步骤计算出注意力神经网络的输出特征向量，再将4.1.6)计算出损失函数的梯度进行反向传播，不断重新调整权重参数W^k，直到当损失函数收敛时，模型训练结束。

步骤5，将一个无标签待预测的社交网络样本输入到训练好的注意力神经网络中，输出所有节点之间产生链接的概率，计算概率的公式如下：

P_ij表示节点v_i与节点v_j之间产生链接的概率，

表示节点v_i经过自注意力神经网络后的特征嵌入，

表示节点v_j经过自注意力神经网络后的特征嵌入。

下面结合实验对本发明的效果做进一步的说明。

1.仿真实验条件：

仿真实验硬件平台设置：处理器为Intel(R)Xeon(R)CPU E5-2650 v4，主频为2.20GHz，内存256GB。

仿真实验的软件平台为：Ubuntu 18.04操作系统和python 3.6。

仿真实验所使用的社交网络样本数据集为，Reddit和BlogCatalog。

该Reddit数据集是由来自Reddit论坛的帖子组成，一个帖子被两个人同时评论，则这两个用户在构成图结构时会有连接边。由Hamilton,William L.等人在“InductiveRepresentation Learning on Large Graphs”中生成了该数据集。

该BlogCatalog数据集由Lei Tang等人在“Relational learning via latentsocial dimensions”中生成，其是一个关系社会网络，图是由博主及好友组成的社会关系，标签是博主的兴趣爱好。

2.仿真内容及其结果分析：

仿真使用的现有分类方法有GCN、GAT、GraphSage、AGNN、DeepInf这五种，其中：

GCN指的是，Thomas Kpif等人在“Semi-supervised classification with graphconvolutional networks”中提出的图卷积神经网络进行链路预测的方法，简称GCN。

GAT指的是，Guillem Cucurull等人在“GRAPH ATTENTION NETWORKS”中提出的自注意力神经网络进行链路预测的方法，简称GAT。

GraphSage指的是，Hamilton,William L等人在“Inductive RepresentationLearning on Large Graphs”中提到的一种直接根据邻居节点特征学习节点表示的基于图神经网络的链路预测方法，简称GraphSage。

AGNN指的是，Kiran K.Thekumparampil等人在“Attention-based Graph NeuralNetwork for Semi-supervised Learning”中提到的基于attention的半监督GCN框架进行链路预测的方法，简称AGNN。

DeepInf指的是，Jiezhong Qiu等人在“DeepInf:Social Influence Predictionwith Deep Learning”中提到的一种利用影响动态和网络结构来预测用户行为的深度学习框架，简称DeepInf。

本仿真是用本发明和上述五个现有技术的分类方法GCN、GAT、GraphSage、AGNN、DeepInf分别输入社交网络数据集进行链路预测，获得链路预测概率结果，并采用评价指标链路预测准确率，对以上六种方法分别在两种数据集下的链路预测结果进行评价，其结果如表1。

表1六种方法分类结果评价一览表

从表1可以看出，本发明在两个数据集上链路预测准确率均超过了现有技术，证明本发明可以达到更高的链路预测准确率。

Claims (2)

1.一种基于感知神经网络的社交网络链路预测方法，其特征在于，包括如下：

(1)构建注意力神经网络：

(1a)构建依次为：输入层、第一全连接层、第一正则化层、第二全连接层、第二正则化层、第三全连接层、第三正则化层、激活函数层和输出层的一个九层的注意力神经网络；

(1b)将第一至第三全连接层的维度分别设置为256,128,64，第一至第三正则化层的维度分别设置为256,128,64，激活层函数设置LeakyRELU函数，采用L2 Loss函数作为损失函数；

(2)生成训练集：

(2a)在现有的社交网络中选取至少1000个用户节点，将这些用户节点间的连接边与网络节点组成社交网络数据集；

(2b)将社交网络训练集进行建模，即生成由网络节点和连接边组成的图结构，由邻接矩阵形式表示；

(3)对训练集中的社交网络结构计算每个用户节点的影响力值：

(3a)根据社交网络的图结构的拓扑性质，将两个用户节点v_i和v_j之间的关系分为v_i对v_j的单向关注v_i→v_j、v_j对v_i的单向关注v_j→v_i和v_i与v_j的双向关注

这三种情况，针对每种不同的链接方式，用户v_j对于用户v_i具有不同的影响力值，计算出每个用户节点v_i的基于拓扑的影响力值D_i，计算公式如下：

其中I_i表示第i个节点v_i的入度，I_j表示第j个节点v_j的入度，N表示节点的总数；β表示一个常数，在v_i→v_j时，β取值为60，在v_j→v_i时，β取值为10，在

时，β取值为40；

(3b)将每个用户节点v_i的入度I_i作为该用户节点的自身基础影响力B_i，即B_i＝I_i；

(3c)将每个节点v_i计算出的基于拓扑的影响力D_i和自身基础影响力B_i利用不同的权重结合，得到一个综合影响力信息矩阵W∈R^N×N，其中第i行第j列的元素w_ij为：

w_ij表示节点v_j对节点v_i的综合影响力值，

和

分别表示基于拓扑结构的影响力D_i和自身基础影响力B_i的权重系数；

(4)训练注意力神经网络：

(4a)将训练集中的每个图结构及生成的综合影响力信息矩阵W输入到注意力神经网络中；

(4b)用梯度下降法，更新自注意力神经网络的权值直到损失函数收敛为止，得到训练好的自注意力神经网络；实现如下：

3b1)计算每个节点v_i的所有邻居与其自身的注意力系数：

e_ij＝a([Wh_i||Wh_j])，

式中，e_ij表示节点v_i与v_j之间的注意力系数，W表示要训练的权重矩阵，h_i表示节点v_i的特征嵌入，h_j表示节点v_j的特征嵌入，||表示对于变化后的特征Wh_i与Wh_j的拼接操作，a表示一个可学习的权重向量；

3b2)对(3b1)中计算出的e_ij加入LeakyRELU激活函数后的值进行归一化操作：

LeakyRELU(e_ij)＝e_ij，e_ij≥0

LeakyRELU(e_ij)＝ae_ij，e_ij＜0,

其中，N_i表示节点v_i的所有邻居节点的总数，α_ij表示归一化后的注意力系数，a取值为0.2；

3b3)根据(3b2)计算好的注意力系数求出特征变换后节点v_i的特征向量

其中，σ表示非线性激活函数；

3b4)计算在自注意力神经网络中引入多头注意力机制后节点v_i的特征向量

其中，n表示神经网络的层数，M表示设置的多头注意力机制的个数，

表示第k头自注意力机制的权重系数，W^k表示第k头自注意力机制的权重矩阵；

3b5)在注意力神经网络的最后一层，采用求平均的方式计算输出的特征向量

3b6)注意力神经网络的损失函数采用L2 Loss损失函数，公式如下：

3b7)对注意力神经网络的所有权重矩阵W^k进行初始化，并将其输入的特征向量通过与3b1)—3b5)相同的步骤计算出注意力神经网络的输出特征向量，再将3b6)计算出损失函数的梯度进行反向传播，不断重新调整权重参数W^k，直到当损失函数收敛时，模型训练结束；

(5)将一个无标签待预测的社交网络样本输入到训练好的注意力神经网络中，输出所有节点之间产生链接的概率，计算概率的公式如下：

P_ij表示节点v_i与节点v_j之间产生链接的概率，

表示节点v_i经过自注意力神经网络后的特征嵌入，

表示节点v_j的特征嵌入。

2.根据权利要求1所述的方法，其特征在于，(2b)中所构建的图结构，用邻接矩阵形式表示如下：

A∈R^N×N

其中，A中第i行第j列的元素为a_ij，a_ij＝1，表示节点v_i链接节点v_j；a_ij＝0，表示节点v_i没有连接v_j。

Images