CN111091475A - 一种基于非负矩阵分解的社交网络特征提取方法 - Google Patents

Abstract

本发明公开了一种基于非负矩阵分解的社交网络特征提取方法，属于网络科学领域。本发明通过两种矩阵分解的策略，将原始的高维的稀疏的网络数据编码为低维的稠密的向量，易于存储，其中，联合矩阵分解中U^l被所有视角共享，表示所有视角的一致性信息；独立矩阵分解中

是每个视角私有的，表示各个视角的独特性信息。将原始网络的特征进一步抽象为特征向量，有利于提升后续的网络分析任务的性能。可以方便地进行并行计算，大大提升了后续任务的计算效率。多阶段的非负矩阵分解可以使得每一阶段的残差矩阵逐渐变得稀疏与低秩，从而矩阵分解的误差可以逐步降低，获得更好的网络表示学习效果。

Description

一种基于非负矩阵分解的社交网络特征提取方法

技术领域

本发明属于网络科学领域，更具体地，涉及一种基于非负矩阵分解的社交网络特征提取方法。

背景技术

现实生活中物体之间的关系通常可以由一个网络来表示，物体作为网络中的节点，物体之间的关系作为网络中的边。更广义的角度来说，这种网络可以进一步用一张图来表示。网络科学领域的研究人员依靠传统的方法例如邻接矩阵等方式从复杂网络中提取特征。近年来，图数据处理的研究者开始广泛使用基于矩阵分解的方法，例如奇异值分解、非负矩阵分解等，将网络自动编码到低纬度的向量空间中。这种网络表示学习的方法相较传统方法更为轻松，而且在基于网络的相关任务中都展示了最先进的结果。目前该领域的研究主要集中在单视角网络，也就是只考虑网络中的节点之间存在的某一种关系。例如，专利CN109902203A公开了一种基于随机游走的单视角网络表示学习方法。

但是，由于节点之间往往存在不止一种类型的关系，网络中通常包含多个视角，每个视角反映了节点之间的一种类型的关系，显然每个视角都具有重要的意义。例如，在微博网络中，一个用户可以关注、点赞、转发以及评论另一个用户的博文，这四种关系可以抽象为这个网络的四个视角，分别描述了用户之间的四种不同的关系。显然这四种关系都反映了用户之间存在交互关系，但每个种关系背后反应的用户之间的亲密程度是不一样的。如何将网络的多个视角的信息同时映射到向量空间，是目前该领域需要发展的一个方向。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于非负矩阵分解的社交网络特征提取方法，其目的在于准确地保留多视角网络的原始信息，并且得到更加鲁棒性的网络向量表示。

为实现上述目的，按照本发明的第一方面，提供了一种基于非负矩阵分解的社交网络特征提取方法，该方法包括以下步骤：

S1.计算K视角社交网络图的每个视角图的拉普拉斯矩阵X_k；

S2.对所有视角的拉普拉斯矩阵X_k进行L个阶段联合非负矩阵分解，得到基矩阵向量U＝{U¹，…，U^L}、每个视角的残差矩阵

和系数矩阵

S3.根据基矩阵U^L和系数矩阵

对每个视角的残差矩阵

进行H个阶段独立非负矩阵分解，得到各视角的基矩阵向量

S4.将基矩阵向量U＝{U¹，…，U^L}和基矩阵向量

级联，得到K视角社交网络图的特征向量，k＝1，…，K。

优选地，拉普拉斯矩阵X_k的计算公式如下：

其中，vol(G_k)表示图G_k邻接矩阵所有元素之和，b表示负采样数目，T表示窗口大小，D_k表示图G_k节点的度矩阵，A_k表示图G_k邻接矩阵。

优选地，进行L个阶段联合非负矩阵分解具体如下：

其中，

表示在第l个阶段第k个视角的残差矩阵，

表示在第l阶段第k个视角的权重，γ表示超参数，U^l表示在第l阶段第k个视角的非负矩阵分解的基矩阵，

表示在第l阶段第k个视角的非负矩阵分解的系数矩阵。

优选地，使用坐标下降法求解。

优选地，优化公式如下：

其中，

表示对应元素的乘积。

优选地，进行H个阶段独立非负矩阵分解具体如下：

其中，

表示在第h个阶段第k个视角的残差矩阵。

优选地，得到网络向量后，计算用户节点之间的相似程度，用于向用户推荐好友。

为实现上述目的，按照本发明的第二方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如第一方面的基于非负矩阵分解的社交网络特征提取方法。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

本发明通过两种矩阵分解的策略将原始的高维的稀疏的网络数据编码为低维的稠密的向量，易于存储，其中，联合矩阵分解中U^l被所有视角共享(k＝1，…，K)，表示所有视角的一致性信息；独立矩阵分解中

是每个视角私有的，表示各个视角的独特性信息。将原始网络的特征进一步抽象为特征向量，有利于提升后续的网络分析任务的性能。可以方便地进行并行计算，大大提升了后续任务的计算效率。多阶段的非负矩阵分解可以使得每一阶段的残差矩阵逐渐变得稀疏与低秩，从而矩阵分解的误差可以逐步降低，因此获得更好的网络表示学习效果。

附图说明

图1为本发明实施例提供的一种基于非负矩阵分解的社交网络特征提取方法流程图；

图2为本发明实施例提供的2视角社交网络图特征提取过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明提供了一种基于非负矩阵分解的社交网络特征提取方法，该方法包括以下步骤：

步骤S1.计算K视角社交网络图的每个视角图的拉普拉斯矩阵X_k，k＝1，…，K。

如图2所示，多视角网络图中，黑色的点表示网络中的节点，虚线表示节点在视角之间的对齐关系，节点之间的实线表示节点之间的边。可以看到，多视角网络图中，每个视角中的节点集是完全一样的，由于不同的视角反映了节点之间不同的关系，因此对应的图的拓扑结构是不同的。以社交网络为例，将用户抽象为节点，用户之间不同的关系，例如，关注、点赞、转发等任何一种关系均可以被抽象为一个视角，进而构成一个多视角网络。以学术网络为例，将学术网络中的学者抽象为节点，学者之间的学术合作关系抽象为第一视角，学者之间学术引用关系抽象为第二个视角，这样可以得到一个多视角的学术网络。

根据图谱理论，计算每个视角图的拉普拉斯矩阵，从而将原始的图表示为一个计算机可以处理的矩阵。将拥有K个视角的多视角社交网络图中每个视角抽象为一个图G，定义其邻接矩阵为A，节点的度矩阵为D，vol(G)为邻接矩阵所有元素之和。并设置窗口大小为T，负采样数目为b。对于一个给定的节点，窗口大小用于限制与当前节点交互的邻居节点的数目，窗口越大，与之产生联系的邻居数目也越多。原始模型中存在大量的负样本，也就是与当前给定的节点没有产生联系的节点，如果直接优化会造成非常大的计算开销。因此，在实际计算中，通常采用负采样的手段从所有的负样本中采样一部分进行计算。

通常而言，窗口的大小太小，模型无法优化到最优解，窗口大小太大，则会引入额外的噪声，影响模型的性能，因此需要选择一个适中的窗口大小。对于负采样来说，负采样的数目越大计算复杂度越高，因此需要在效率与性能之间进行折中。本实施例中，设置窗口大小为T＝5，负采样数目为b＝5。

此外，所得的图拉普拉斯矩阵是经过了行归一化之后的结果，从而保证了每个节点的尺度一致，每一行的元素之和为1。根据图谱理论，所得的拉普拉斯矩阵可以保存原始图G的拓扑结构信息。

根据公式(1)求得第k个视角图G_k的拉普拉斯矩阵X_k：

其中，vol(G_k)表示图G_k邻接矩阵所有元素之和，b表示负采样数目，T表示窗口大小，D_k表示图G_k节点的度矩阵，A_k表示图G_k邻接矩阵。

步骤S2.对所有视角的拉普拉斯矩阵X_k进行L个阶段联合非负矩阵分解，得到基矩阵向量U＝{U¹，…，U^L}、每个视角的残差矩阵

和系数矩阵

多阶段的非负矩阵分解，允许先保留每个视角中的一致性信息，随后保留每个视角中的独立性信息，进而充分地保留原始网络所有视角的拓扑信息。多阶段的非负矩阵分解可以使得每一阶段的残差矩阵逐渐变得稀疏与低秩，从而矩阵分解的误差可以逐步降低，因此获得更好的网络表示学习效果。

本发明包括两种矩阵分解的策略——联合矩阵分解与独立矩阵分解，分别进行多个阶段。一般来说，执行分解的阶段越多，可以更好地降低矩阵分解的误差，但是耗费的计算时间也会相应增加。经验证，4个阶段的矩阵分解已经可以取得良好的表现。两种不同的分解规则，可以同时保留多视角网络中的一致性信息与独特性信息。

对所有视角的拉普拉斯矩阵X_k，进行L＝4个阶段的联合非负矩阵分解：

其中，

表示在第l个阶段第k个视角的残差矩阵，

表示在第l阶段第k个视角的权重，γ表示超参数，通常选择一个大于5的实数，U^l表示在第l阶段第k个视角的非负矩阵分解的基矩阵，反映所有视角的一致性信息，

表示在第l阶段第k个视角的非负矩阵分解的系数矩阵，K表示视角总数。

公式(2)～(3)是一个互相迭代的过程，并且随着迭代的过程残差矩阵会变得越来越稀疏。此外，由于U^l被所有视角共享(k＝1，…，K)，因此可以表示所有视角的一致性信息。

由于公式(2)在优化过程中不是凸函数，无法找到全局最优解。因此，使用坐标下降法求解。每次只优化

中的一个变量，固定其他的所有变量，根据拉格朗日乘子法以及KKT条件(卡罗需-库恩-塔克条件，Karush-Kuhn-Tucker Conditions)，得到以下的优化公式：

其中，

表示对应元素的乘积。

在4阶联合非负矩阵分解之后，得到

步骤S3.根据基矩阵U^L和系数矩阵

对每个视角的残差矩阵

进行H个阶段独立非负矩阵分解，得到各视角的基矩阵向量

在L阶联合非负矩阵分解之后，将得到的残差矩阵进一步分解，从而可以有效的降低传统矩阵分解带来的误差。

其中，

表示在第h个阶段第k个视角的残差矩阵。

公式(5)在每一个视角中为标准的非负矩阵分解过程，可以使用scikit-learn库中的NMF函数实现。公式(4)～(5)也是一个互相迭代的过程，并且随着迭代的过程残差矩阵会变得越来越稀疏。区别的是

是每个视角私有的，因此可以表示各个视角的独特性信息。

由于随着算法的执行，残差矩阵会迅速变成一个稀疏矩阵，从而可以使用稀疏矩阵的保存方式存储在内存中。此外，算法的复杂度正比于残差矩阵中的非零元素的数目，因此算法的执行速度正比于网络中节点的数目与分解的阶数，具有比较高效的时间复杂度与空间复杂度。

步骤S4.将得到的所有的U矩阵在第二个维度级联，得到K视角社交网络图的特征向量。

将联合矩阵分解与独立矩阵分解得到的结果，最后采用级联的方式重新得到一个新的矩阵，作为网络最终的向量表示。值得注意的是，这个可以采用其他的方式，例如，深度神经网络，线性回归以及求和等方式，得到最终的向量表示，可以根据具体的场景需求灵活决定。

网络用N*d的向量Y表示，

表示级联运算。N行对应于N个节点(用户)，d远小于N，这样可以将原始的网络高效的表示，避免使用邻接矩阵这种N*N的表示，节约了存储空间同时提高了后续任务的计算效率。对于给定的图，设置每次分解之后得到的矩阵U的第二个维度为16，第一个维度取决于网络中的节点数目。

获得了网络最终的向量表示之后，该向量的利用价值在于可以适用于后续的网络分析任务。在本实施例中，可以用来预测学术网络中学者们未来的学术合作关系。具体来说，对于每一位学者，已经获得了一个低维向量用来表示他(她)，进而学者之间的亲密程度可以根据表示他们的向量的余弦距离来判断。如果两位学者的向量之间的余弦距离大于给定的某个阈值，就认为这两位学者具有强相似性，将来存在较大的学术合作概率。在社交网络中，当根据本发明提及的算法获得了用户的向量表示之后，类似于上述的实例，可以根据用户之间向量的相似程度(向量之间的余弦距离)为用户推荐新的好友。

如图2所示，本实施例中K＝2，L＝2，H＝1。存在图G₁邻接矩阵A₁、图G₂邻接矩阵A₂。

首先经过公式(1)计算拉普拉斯矩阵，然后根据公式(2)变换为最初的残差矩阵R₁、R₂。经过第一个阶段的联合矩阵分解，得到

经过公式(2)计算残差矩阵，得到

经第二个阶段的联合矩阵分解，

经过公式(4)计算残差矩阵，得到

经过一个阶段的独立矩阵分解，

最终，得到向量

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于非负矩阵分解的社交网络特征提取方法，其特征在于，该方法包括以下步骤：

S1.计算K视角社交网络图的每个视角图的拉普拉斯矩阵X_k；

S2.对所有视角的拉普拉斯矩阵X_k进行L个阶段联合非负矩阵分解，得到基矩阵向量U＝{U¹，…，U^L}、每个视角的残差矩阵

和系数矩阵

S3.根据基矩阵U^L和系数矩阵

对每个视角的残差矩阵

进行H个阶段独立非负矩阵分解，得到各视角的基矩阵向量

S4.将基矩阵向量U＝{U¹，…，U^L}和基矩阵向量

级联，得到K视角社交网络图的特征向量，k＝1，…，K。

2.如权利要求1所述的方法，其特征在于，拉普拉斯矩阵X_k的计算公式如下：

其中，vol(G_k)表示图G_k邻接矩阵所有元素之和，b表示负采样数目，T表示窗口大小，D_k表示图G_k节点的度矩阵，A_k表示图G_k邻接矩阵。

3.如权利要求1所述的方法，其特征在于，所述进行L个阶段联合非负矩阵分解具体如下：

其中，

表示在第l个阶段第k个视角的残差矩阵，

表示在第l阶段第k个视角的权重，γ表示超参数，U^l表示在第l阶段第k个视角的非负矩阵分解的基矩阵，

表示在第l阶段第k个视角的非负矩阵分解的系数矩阵。

4.如权利要求3所述的方法，其特征在于，使用坐标下降法求解。

5.如权利要求4所述的方法，其特征在于，优化公式如下：

其中，

表示对应元素的乘积。

6.如权利要求1所述的方法，其特征在于，所述进行H个阶段独立非负矩阵分解具体如下：

其中，

表示在第h个阶段第k个视角的残差矩阵。

7.如权利要求1所述的方法，其特征在于，得到网络向量后，计算用户节点之间的相似程度，用于向用户推荐好友。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～7任一项所述的基于非负矩阵分解的社交网络特征提取方法。

Images