CN108256678A - 一种利用排序度量的双层注意力网络进行用户关系预测的方法 - Google Patents

Abstract

本发明公开了一种利用排序度量的双层注意力网络进行用户关系预测的方法。主要包括如下步骤：1)针对于一组用户数据集，构建用户之间相互关系的网络。并且针对于形成的用户社交网络，利用多步骤推理更新后的排序度量的双层注意力网络形成社交网路节点路径集的映射表达。2)对于得到的用户社交网络节点路径集的映射表达，产生对于用户关系的推荐。相比于一般的用户关系推荐解决方案，本发明利用了双层注意力网络并结合多步推理来获取节点集的映射，能够更好地体现用户节点之间存在联系的可能性。本发明在用户关系预测问题中所取得的效果相比于传统的方法更好。

Description

一种利用排序度量的双层注意力网络进行用户关系预测的 方法

技术领域

本发明涉及用户关系预测，尤其涉及一种利用排序度量的双层注意力网络进行用户关系预测的方法。

背景技术

对于复杂的网络分析而言，用户关系预测是一项重要的问题。该项问题的目标是基于当前网络中已经观察到的用户关系对于未知的网络关系进行预测。

随着用户社交网络的蓬勃发展，对于用户社交网络进行推理发现已经成为一种重要的在线网络服务，该服务的目标是针对于每一名用户，基于其社交关系推荐其可能产生社交关系的其他用户。

现有的技术主要是针对于当前用户的邻居状况来构建用户的用户社交网络模型，从而推荐可能产生用户联系的新的社交关系，该方法受困于对于用户社交网络分析的局部性缺陷。为了克服这种局部性缺陷，基于社交网路节点之间的路径来学习社交网路节点之间的联系可能性的方法被提出，但是该方法还是受困于对于路径特性的非有效性表达的困扰。

本发明将采用一种利用双层注意力网络来学习社交网路用户节点之间路径的有效表达，利用所学习出的节点之间相互关系的表达从而学习出关于社交网路用户节点之间有关系的概率大小。

本发明将首先利用路径列举方法将用户社交网络中的任意两个点之间的路径列举出来，之后通过双层注意力网络来获取所有节点对之间的有识别力的点及关键路径的表达，之后通过多步骤推理的方法来获取最终的节点对之间的路径集合表达。之后通过训练学习出节点对之间路径集合的映射表达，将映射表达值最高的节点对返回，作为预测得到的最有可能具有关系的用户。

发明内容

本发明的目的在于解决现有技术中的问题，为了克服现有技术中具有局部性缺陷或缺乏对于节点路径的有效表达的问题，本发明提供一种利用排序度量的双层注意力网络进行用户关系预测的方法。本发明所采用的具体技术方案是：

利用排序度量的双层注意力网络解决用户关系预测的问题，包含如下步骤：

1、针对于一组用户社交网络中的用户，如果用户之间存在已知的朋友关系，则将代表这两个用户的节点连接起来，通过这种方法构建反映用户之间相互关系的用户社交网络。

2、利用排序度量的双层注意力网络获取已构建的用户社交网络中所有节点对之间的有识别力的点及关键路径的表达，之后通过多步骤推理的方法来获取最终的节点对之间的路径集合表达，之后通过训练学习出节点对之间路径集合的映射表达。

3、利用学习得到的节点对之间的路径集合映射表达获取最有可能有联系存在的节点对并返回。

上述步骤可具体采用如下实现方式：

1、对于所给出的用户及用户间已有的社交关系集合，按照实际数据集中的用户之间已知存在的社交关系形成用户之间的用户社交网络。

2、对于用户网络中任意两节点x_s与x_t之间路径集P_(s,t)中的任意一条路径p_i，对于路径上的节点，写为如下形式：p_i＝(x_i1,x_i2,...,x_ik)。对于其中的任一节点x_ij利用预训练的LSTM网络学出其节点级别的映射表达v_ij，则得到该路经p_i的节点级别的表达为(v_i1,v_i2,...,v_ik)。则将(v_i1,v_i2,...,v_ik)作为双向 LSTM模型的输入来获取p_i路径级别的表达。

双向LSTM模型包括正向LSTM模型与反向的LSTM模型，其中，反向的LSTM 模型与正向的LSTM模型的网络结构相同，只是输入序列与正向LSTM模型的输入序列进行了颠倒。将路径p_i中第j个节点在正向LSTM模型中的隐藏层状态记为反向LSTM模型中的隐藏层状态记为则第j个节点在双向LSTM网络中的隐藏层状态记为路径p_i通过双向LSTM模型得到的表达记为 p_i＝(h_i1,h_i2,...,h_ik)。

3、利用节点x_s与x_t在预处理的LSTM网络中的映射v_s与v_t的元素积作为节点x_s与x_t的联合表达，元素积计算公式如下：

其中，向量为节点x_s与x_t的联合表达，为元素积操作。

4、给定节点x_s与x_t的联合表达与路径p_i的表达 p_i＝(h_i1,h_i2,...,h_ik)，路径p_i中的任一节点x_ij的节点级别的注意力分数为：

其中，与W_hs为参数矩阵，h⁽ⁿ⁾为参数向量，b_n为偏置向量，h_ij为第j 个节点在双向LSTM网络中的隐藏层状态。

则对于路径p_i中的任一节点x_ij，其利用softmax函数所得到的激活值为：

则路径p_i利用注意力机制得到的隐藏表达y_i由如下公式得到：

5、给定节点x_s与x_t的联合表达及x_s与x_t之间路径集P_(s,t)，对于 x_s与x_t之间路径集P_(s,t)中的任意一条路径p_i，其路径级别的注意力分数计算公式如下：

其中，与W_ys为参数矩阵，h^(p)为参数向量，b_p为偏置向量，y_i为路径p_i通过节点级别的注意力机制得到的隐藏表达。

则对于任一条路径p_i，其利用softmax函数所得到的激活值为：

其中，l_i为路径p_i的长度，γ为系数。

则对于x_s与x_t之间路径集P_(s,t)，其利用注意力机制结合节点x_s与x_t的联合表达所得到的隐藏表达计算公式如下：

其中，为路径p_i的路径级别的激活参数值，为路径p_i中的节点x_ij的节点级别的激活参数值，h_ij为节点x_ij在双向LSTM网络中的隐藏层状态。

6、随后利用多步骤推理框架来对于上述的双层注意力网络进行完善，从而提高对于x_s与x_t之间路径集P_(s,t)的表达效果，多步骤更新公式如下：

其中，v_s与v_t为节点x_s与x_t在预处理的LSTM网络中的映射，为元素积操作，为每一次迭代时所得的路径集P_(s,t)的隐藏表达。

经过K次迭代之后得到x_s与x_t之间路径集P_(s,t)的隐藏表达，记为

7、利用步骤2-6，可得到步骤1构建的用户社交网络中的所有节点对之间的路径集的隐藏表达，本发明利用所得的路径集的隐藏表达来获取用户社交网络中的节点之间的用户关系预测。

对于步骤1构建的用户社交网络中的所有边，构成边集合E＝{e₁,e₂,...,e_m}，对于边集合E中的每一条边，构建三元组。以边e＝(x_i,x_j)为例，其为社交网路中的节点x_i与x_j之间的一条边，则随机从社交网路的用户集合X＝{x₁,x₂,...,x_n} 中取出一个用户x_k∈X，且保证x_k≠x_i，x_k≠x_j，边e'＝(x_i,x_k)不在边集合E中。则可构建出三元组(i,j,k)，其含义为“用户x_i与x_j之间存在关系的可能性大于用户x_i与x_k之间存在关系的可能性”。

对于构建的所有三元组，以三元组(i,j,k)为例，按照如下公式计算路径集 P_(i,k)与P_(i,j)的映射表达：

f_w(P_(i,j))＝w^Th(P_(i,j))

f_w(P_(i,k))＝w^Th(P_(i,k))

其中w为参数向量，h(P_(i,j))与h(P_(i,k))分别为x_i与x_j之间路径集P_(i,j)与x_i与x_k之间路径集P_(i,k)的隐藏表达。

之后，按照如下公式设计排序损失函数：

L(t)＝max(0,C+f_w(P_(i,k))-f_w(P_(i,j)))

其中C用来控制损失函数中的边缘值大小，0＜C＜1，f_w(P_(i,k))与f_w(P_(i,j))为路径集P_(i,k)与P_(i,j)的映射表达。

8、利用步骤7中所得到的所有三元组及所有三元组的排序损失函数，按如下步骤进行模型的更新：

对于所构建的三元组集合T中的每一个三元组t＝(i,j,k)，按照排序损失函数公式计算其排序损失函数值L(t)，之后按照如下公式计算模型整体的目标函数值：

其中，θ为包括神经网络参数及推理函数参数在内的模型中的所有参数，λ为训练损失值与正则项之间的权衡参数。

对于步骤8中的最终的目标函数，本发明使用随机梯度下降的方法来更新参数，并且使用Adagrad的学习率更新方法进行网络中的所有参数的更新，获取最终的排序标准预测函数f_w(.)＝w^Th(.)。

9、利用步骤8所形成的排序标准预测函数f_w(.)，对于用户社交网络中所有没有用户关系的用户节点对，求得该组用户节点对的排序预测函数值，并进行排序，将预测函数值最大的用户节点对返回，作为最有可能产生用户关系的用户节点对。

附图说明

图1是本发明所使用的利用用户及用户间已有的社交关系集合构建的用户社交网络的整体示意图。

图2是本发明所使用的进行排序度量的双层注意力网络的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步阐述和说明。

如图1所示，本发明一种利用排序度量的双层注意力网络进行用户关系预测的方法包括如下步骤：

1)针对于一组用户社交网络中的用户，如果用户之间存在已知的朋友关系，则将代表这两个用户的节点连接起来，通过这种方法构建反映用户之间相互关系的用户社交网络；

2.1)对于步骤1)形成的用户社交网络，利用排序度量的双层注意力网络获取已构建的用户社交网络中所有节点对之间的有识别力的点及关键路径的表达；

2.2)利用步骤2.1)所获取的用户社交网络中所有节点对之间的有识别力的点及关键路径的表达，利用多步骤推理的方法来获取最终的节点对之间的路径集映射表达；

2.3)利用步骤2.2)找出的节点对之间的路径集表达，通过训练学习出节点对之间路径集的映射表达；

3)利用步骤2)学习得到的节点对之间的路径集映射表达获取最有可能有联系存在的节点对并返回。

所述的步骤2.1)具体为：

对于用户网络中任意两节点x_s与x_t之间路径集P_(s,t)中的任意一条路径p_i，对于路径上的节点，写为如下形式：p_i＝(x_i1,x_i2,...,x_ik)。对于其中的任一节点x_ij利用预训练的LSTM网络学出其节点级别的映射表达v_ij，则得到该路经p_i的节点级别的表达为(v_i1,v_i2,...,v_ik)。则将(v_i1,v_i2,...,v_ik)作为双向LSTM模型的输入来获取p_i路径级别的表达。

双向LSTM模型包括正向LSTM模型与反向的LSTM模型，其中，反向的LSTM 模型与正向的LSTM模型的网络结构相同，只是输入序列与正向LSTM模型的输入序列进行了颠倒。将路径p_i中第j个节点在正向LSTM模型中的隐藏层状态记为反向LSTM模型中的隐藏层状态记为则第j个节点在双向LSTM网络中的隐藏层状态记为路径p_i通过双向LSTM模型得到的表达记为 p_i＝(h_i1,h_i2,...,h_ik)。

利用节点x_s与x_t在预处理的LSTM网络中的映射v_s与v_t的元素积作为节点 x_s与x_t的联合表达，元素积计算公式如下：

其中，向量为节点x_s与x_t的联合表达，为元素积操作。

给定节点x_s与x_t的联合表达与路径p_i的表达p_i＝(h_i1,h_i2,...,h_ik)，路径p_i中的任一节点x_ij的节点级别的注意力分数为：

其中，与W_hs为参数矩阵，h⁽ⁿ⁾为参数向量，b_n为偏置向量，h_ij为第j 个节点在双向LSTM网络中的隐藏层状态。

则对于路径p_i中的任一节点x_ij，其利用softmax函数所得到的激活值为：

则路径p_i利用注意力机制得到的隐藏表达y_i由如下公式得到：

给定节点x_s与x_t的联合表达及x_s与x_t之间路径集P_(s,t)，对于x_s与 x_t之间路径集P_(s,t)中的任意一条路径p_i，其路径级别的注意力分数计算公式如下：

其中，与W_ys为参数矩阵，h^(p)为参数向量，b_p为偏置向量，y_i为路径 p_i通过节点级别的注意力机制得到的隐藏表达。

则对于任一条路径p_i，其利用softmax函数所得到的激活值为：

其中，l_i为路径p_i的长度，γ为系数。

则对于x_s与x_t之间路径集P_(s,t)，其利用注意力机制结合节点x_s与x_t的联合表达所得到的隐藏表达计算公式如下：

其中，为路径p_i的路径级别的激活参数值，为路径p_i中的节点x_ij的节点级别的激活参数值，h_ij为节点x_ij在双向LSTM网络中的隐藏层状态。

所述的步骤2.2)具体为：

针对于步骤2.1)所获得的用户社交网络中的节点对之间路径集的隐藏表达，利用多步骤推理框架来对于步骤2.1)中的双层注意力网络进行完善，从而提高对于x_s与x_t之间路径集P_(s,t)的表达效果，多步骤更新公式如下：

其中，v_s与v_t为节点x_s与x_t在预处理的LSTM网络中的映射，为元素积操作，为每一次迭代时所得的路径集P_(s,t)的隐藏表达。

经过K次迭代之后得到x_s与x_t之间路径集P_(s,t)的隐藏表达，记为

步骤2.3)具体为：

对于步骤1)构建的用户社交网络中的所有边，构成边集合E＝{e₁,e₂,...,e_m}，对于边集合E中的每一条边，构建三元组。以边e＝(x_i,x_j)为例，其为社交网路中的节点x_i与x_j之间的一条边，则随机从社交网路的用户集合X＝{x₁,x₂,...,x_n} 中取出一个用户x_k∈X，且保证x_k≠x_i，x_k≠x_j，边e'＝(x_i,x_k)不在边集合E中。则可构建出三元组(i,j,k)，其含义为“用户x_i与x_j之间存在关系的可能性大于用户x_i与x_k之间存在关系的可能性”。

对于构建的所有三元组，以三元组(i,j,k)为例，按照如下公式计算路径集 P_(i,k)与P_(i,j)的映射表达：

f_w(P_(i,j))＝w^Th(P_(i,j))

f_w(P_(i,k))＝w^Th(P_(i,k))

其中w为参数向量，h(P_(i,j))与h(P_(i,k))分别为通过步骤2.2)所获得的x_i与 x_j之间路径集P_(i,j)与x_i与x_k之间路径集P_(i,k)的隐藏表达。

之后，按照如下公式设计排序损失函数：

L(t)＝max(0,C+f_w(P_(i,k))-f_w(P_(i,j)))

其中C用来控制损失函数中的边缘值大小，0＜C＜1，f_w(P_(i,k))与f_w(P_(i,j))为路径集P_(i,k)与P_(i,j)的映射表达。

之后，利用上面所得到的所有三元组及所有三元组的排序损失函数，按如下步骤进行模型的更新：

对于所构建的三元组集合T中的每一个三元组t＝(i,j,k)，按照排序损失函数公式计算其排序损失函数值L(t)，之后按照如下公式计算模型整体的目标函数值：

其中，θ为包括神经网络参数及推理函数参数在内的模型中的所有参数，λ为训练损失值与正则项之间的权衡参数。

之后，使用随机梯度下降的方法来更新参数，并且使用Adagrad的学习率更新方法进行网络中的所有参数的更新，获取最终的用户社交网络中任意两节点之间路径集的映射表达即排序标准预测函数f_w(.)＝w^Th(.)

所述的步骤3)具体为：

利用步骤2)所形成的排序标准预测函数f_w(.)，对于用户社交网络中所有没有用户关系的用户节点对，求得该组用户节点对的排序预测函数值，并进行排序，将预测函数值最大的用户节点对返回，作为最有可能产生用户关系的用户节点对。

下面将上述方法应用于下列实施例中，以体现本发明的技术效果，实施例中具体步骤不再赘述。

实施例

本发明在DBLP数据集及Github数据集上面分别进行实验验证，针对于 DBLP数据集，本发明使用研究机构中的科室作为用户节点，拥有超过3次引用的论文作为条目节点。DBLP数据集中共包括15728个用户节点及97523个条目节点，用户与条目节点之间的已观察到的联系共有118245条，条目节点之间已观察到的联系共有247081条。针对于Github数据集，本发明使用参与超过20 个项目的开发者作为用户节点，被超过500个用户开发的项目作为条目节点。 Github数据集中共包括2407个用户节点及6490个条目节点，用户与条目节点之间的已观察到的联系共有19153条，条目节点之间已观察到的联系共有13153 条。

为了客观地评价本发明的算法的性能，本发明在所选出的测试集中，使用了 MAP@10、nDCG@10、AUC来对于本发明的效果进行评价。按照具体实施方式中描述的步骤，针对于DBLP数据集在MAP@10、nDCG@10、AUC标准上所得的实验结果如表1所示，针对于Github数据集在MAP@10、nDCG@10、AUC标准上所得的实验结果如表2所示，对于使用了一步推理的本方法记为PRML₍₁₎，对于使用了两步推理的本方法记为PRML₍₂₎。图1与图2中的测试结果表明，本发明中提供的方法可以很好地预测可能存在关系的用户，且本发明所取得的效果比目前存在的方法要更好：

表1本发明针对于Github数据集的测试结果

Method	MAP@10	nDCG@10	AUC
				PRML(1)	0.7721	0.7826	0.7804
PRML(2)	0.7802	0.7923	0.7915

表2本发明针对于DBLP数据集的测试结果。

Claims (5)

1.一种利用排序度量的双层注意力网络进行用户关系预测的方法，其特征在于包括如下步骤：

1)针对于一组用户，构建用户之间相互关系的用户社交网络；

2.1)对于步骤1)形成的用户社交网络，利用排序度量的双层注意力网络获取已构建的用户社交网络中所有节点对之间的有识别力的点及关键路径的表达；

2.2)利用步骤2.1)所获取的用户社交网络中所有节点对之间的有识别力的点及关键路径的表达，利用多步骤推理的方法来获取最终的节点对之间的路径集映射表达；

2.3)利用步骤2.2)找出的节点对之间的路径集表达，通过训练学习出节点对之间路径集的映射表达；

3)利用步骤2)学习得到的节点对之间的路径集映射表达获取最有可能有联系存在的节点对并返回。

2.根据权利要求2所述利用排序度量的双层注意力网络进行用户关系预测的方法，其特征在于所述的步骤2.1)具体为：

对于用户网络中任意两节点x_s与x_t之间路径集P_(s,t)中的任意一条路径p_i(p_i∈P_(s,t))，对于路径上的节点，写为如下形式：p_i＝(x_i1,x_i2,...,x_ik)；对于其中的任一节点x_ij利用预训练的LSTM网络学出其节点级别的映射表达v_ij，则得到该路经p_i的节点级别的表达为(v_i1,v_i2,...,v_ik)；则将(v_i1,v_i2,...,v_ik)作为双向LSTM模型的输入来获取p_i路径级别的表达；

双向LSTM模型包括正向LSTM模型与反向的LSTM模型，其中，反向的LSTM模型与正向的LSTM模型的网络结构相同，只是输入序列与正向LSTM模型的输入序列进行了颠倒；将路径p_i中第j个节点在正向LSTM模型中的隐藏层状态记为反向LSTM模型中的隐藏层状态记为则第j个节点在双向LSTM网络中的隐藏层状态记为路径p_i通过双向LSTM模型得到的表达记为p_i＝(h_i1,h_i2,...,h_ik)；

利用节点x_s与x_t在预处理的LSTM网络中的映射v_s与v_t的元素积作为节点x_s与x_t的联合表达，元素积计算公式如下：

其中，向量为节点x_s与x_t的联合表达，为元素积操作；

给定节点x_s与x_t的联合表达与路径p_i的表达p_i＝(h_i1,h_i2,...,h_ik)，路径p_i中的任一节点x_ij的节点级别的注意力分数为：

其中，与W_hs为参数矩阵，h⁽ⁿ⁾为参数向量，b_n为偏置向量，h_ij为第j个节点在双向LSTM网络中的隐藏层状态；

则对于路径p_i中的任一节点x_ij，其利用softmax函数所得到的激活值为：

则路径p_i利用注意力机制得到的隐藏表达y_i由如下公式得到：

给定节点x_s与x_t的联合表达及x_s与x_t之间路径集P_(s,t)，对于x_s与x_t之间路径集P_(s,t)中的任意一条路径p_i，其路径级别的注意力分数计算公式如下：

其中，与W_ys为参数矩阵，h^(p)为参数向量，b_p为偏置向量，y_i为路径p_i通过节点级别的注意力机制得到的隐藏表达；

则对于任一条路径p_i，其利用softmax函数所得到的激活值为：

其中，l_i为路径p_i的长度，γ为系数；

则对于x_s与x_t之间路径集P_(s,t)，其利用注意力机制结合节点x_s与x_t的联合表达所得到的隐藏表达计算公式如下：

其中，为路径p_i的路径级别的激活参数值，为路径p_i中的节点x_ij的节点级别的激活参数值，h_ij为节点x_ij在双向LSTM网络中的隐藏层状态。

3.根据权利要求2所述利用排序度量的双层注意力网络进行用户关系预测的方法，其特征在于所述的步骤2.2)具体为：

针对于步骤2.1)所获得的用户社交网络中的节点对之间路径集的隐藏表达，利用多步骤推理框架来对于步骤2.1)中的双层注意力网络进行完善，从而提高对于x_s与x_t之间路径集P_(s,t)的表达效果，多步骤更新公式如下：

其中，v_s与v_t为节点x_s与x_t在预处理的LSTM网络中的映射，为元素积操作，为每一次迭代时所得的路径集P_(s,t)的隐藏表达；

经过K次迭代之后得到x_s与x_t之间路径集P_(s,t)的隐藏表达，记为

4.根据权利要求2所述利用排序度量的双层注意力网络进行用户关系预测的方法，其特征在于所述的步骤2.3)具体为：

对于步骤1)构建的用户社交网络中的所有边，构成边集合E＝{e₁,e₂,...,e_m}，对于边集合E中的每一条边，构建三元组；以边e＝(x_i,x_j)为例，其为社交网路中的节点x_i与x_j之间的一条边，则随机从社交网路的用户集合X＝{x₁,x₂,...,x_n}中取出一个用户x_k∈X，且保证x_k≠x_i，x_k≠x_j，边e'＝(x_i,x_k)不在边集合E中；则可构建出三元组(i,j,k)，其含义为“用户x_i与x_j之间存在关系的可能性大于用户x_i与x_k之间存在关系的可能性”；

对于构建的所有三元组，以三元组(i,j,k)为例，按照如下公式计算路径集P_(i,k)与P_(i,j)的映射表达：

f_w(P_(i,j))＝w^Th(P_(i,j))

f_w(P_(i,k))＝w^Th(P_(i,k))

其中w为参数向量，h(P_(i,j))与h(P_(i,k))分别为通过步骤2.2)所获得的x_i与x_j之间路径集P_(i,j)与x_i与x_k之间路径集P_(i,k)的隐藏表达；

之后，按照如下公式设计排序损失函数：

L(t)＝max(0,C+f_w(P_(i,k))-f_w(P_(i,j)))

其中C用来控制损失函数中的边缘值大小，0＜C＜1，f_w(P_(i,k))与f_w(P_(i,j))为路径集P_(i,k)与P_(i,j)的映射表达；

之后，利用上面所得到的所有三元组及所有三元组的排序损失函数，按如下步骤进行模型的更新：

对于所构建的三元组集合T中的每一个三元组t＝(i,j,k)，按照排序损失函数公式计算其排序损失函数值L(t)，之后按照如下公式计算模型整体的目标函数值：

其中，θ为包括神经网络参数及推理函数参数在内的模型中的所有参数，λ为训练损失值与正则项之间的权衡参数；

之后，使用随机梯度下降的方法来更新参数，并且使用Adagrad的学习率更新方法进行网络中的所有参数的更新，获取最终的用户社交网络中任意两节点之间路径集的映射表达即排序标准预测函数f_w(.)＝w^Th(.)。

5.根据权利要求1所述利用排序度量的双层注意力网络进行用户关系预测的方法，其特征在于所述的步骤3)具体为：

利用步骤2)所形成的排序标准预测函数f_w(.)，对于用户社交网络中所有没有用户关系的用户节点对，求得该组用户节点对的排序预测函数值，并进行排序，将预测函数值最大的用户节点对返回，作为最有可能产生用户关系的用户节点对。