CN109743196B - 一种基于跨双层网络随机游走的网络表征方法 - Google Patents

Abstract

本发明涉及网络表征技术领域，具体涉及一种基于跨双层网络随机游走的网络表征方法，包括以下步骤：A)建立网络拓扑结构；B)获得角色相似度矩阵；C)建立双层混合网络；D)获得随机游走序列；E)使用连续词袋模型获得网络的表征。角色相似度矩阵S的建立方法为：B1)列举所有大小小于或等于给定大小k的所有子图；B2)枚举非同构轨道，数量记为m；B3)将每个节点参与m个角色的情况使用长度为m的向量表示；B4)将每两个节点的角色表征向量的相似度作为该两个节点的相似度，角色相似度矩阵S。本发明的有益效果是：利用随机游走和连续词袋模型，不但实现同时融合网络邻接性和结构相似性的表征，还可以实现对非连通但角色相似的网络节点的有效表征。

Description

一种基于跨双层网络随机游走的网络表征方法

技术领域

本发明涉及网络表征技术领域，具体涉及一种基于跨双层网络随机游走的网络表征方法。

背景技术

在大数据时代，不但数据规模随时间呈爆发式增长、数据的形式多样化，而且数据间呈现出复杂的关联关系。分析关联大数据所需的算力与数据供给之间的不平衡，使得关联大数据的处理面临着严峻的挑战。“网络”因其强大且灵活的表征能力，成为了关联数据最自然和直接的表达方式。由于网络的高维度特性，当网络规模较大的时候，传统的基于网络拓扑的表征方式通常不可避免地存在运算复杂度高、无法有效进行并行化运算，从而导致运行时间过长等问题。因此，如何将高维稀疏网络以低维向量形式表征，成为了一个至关重要的问题和挑战。

网络嵌入旨在将网络中的节点表示成低维、实值、稠密的向量形式。目前常见的网络表征学习方法主要分为三种：基于矩阵分解的方法、基于随机游走的方法、基于深度神经网络的方法。但是通过对现有的方法进行研究之后，我们发现目前大多数网络嵌入方法主要关注保持网络的拓扑结构特性：即如果网络中两个节点的最短距离较近，则它们在表征后的低维空间中的距离也接近；反之亦然。大多数网络表征学习算法要求网络是联通的。然而，现实应用中经常遇到网络不连通但某些节点会在不同的社区扮演相同或相似的角色。例如，金融网络中不同的欺诈团队里核心人物的角色；不同学术领域里核心学者的社交关系等。这就需要一种能够针对非联通网络，且同时融合网络邻接性和节点相似性的网络嵌入方法。

Word2vec，是为一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系。

中国专利CN108427762A，公开日2018年8月21日，利用随机游走的自编码文档表示方法。其采用自编码网络，对于给定文本集，首先利用稀疏自编码网络构建文本的稀疏话题编码；然后基于文本相似性度量构建文本近邻图，通过对文本近邻图施加低秩约束生成随机游走结构，并以随机游走结构的条件访问概率计算局部近邻文本的加权系数；最后利用局部近邻文本的稀疏话题编码加权嵌入表征文本流形的内在几何结构，并作为正则约束项融合到自编码网络的训练中，建立参数化的话题编码网络对样本外文本进行话题建模。其方案具有准确率高、运行效率高、可对样本外话题建模等特点，适用于要求高精度的文本话题建模领域，对文本表示的发展具有很大的推动作用，具有很好的应用价值和推广价值。但其仅能表达文本集资料，不能适用于广泛的复杂的数据形式，不适合作为机器学习、预测和可视化等任务的数据前置处理技术。

发明内容

本发明要解决的技术问题是：目前网络表征技术不能同时表征邻接性和结构相似性，以及不能很好的处理非连通网络。提出一种利用随机游走处理非连通网络的基于跨双层网络随机游走的网络表征方法。

为解决上述技术问题，本发明所采取的技术方案为：一种基于跨双层网络随机游走的网络表征方法，包括以下步骤：A)根据真实系统中实体之间的关系建立网络拓扑结构，获得网络邻接矩阵W＝{w_ij}，i，j∈[1，n]，n为网络拓扑结构节点数量；B)获得节点在大小不超过给定值k的诱导子图中的角色序列，记为表征向量，建立节点之间的角色相似度矩阵S＝{s_ij}，i，j∈[1，n]；C)根据网络邻居矩阵W以及角色相似度矩阵中节点的一一对应关系，建立双层混合网络；D)依次从每个节点开始，进行h次跨双层混合网络的随机游走，从随机游走序列中得到截断长度为l的共h组节点序列，n个节点共获得n*h个长度为l的节点序列；E)把网络中的节点作为词，把通过随机游走得到的节点序列作为语句，使用word2vec的连续词袋模型，将每个词表示成一个定长的向量，将本步骤获得的定长向量作为对应节点的表征，从而获得网络的表征。

作为优选，角色相似度矩阵S的建立方法为：B1)列举所有大小小于或等于给定大小k的所有子图；B2)枚举所有子图中的非同构轨道，标记非同构轨道中的角色，全部非同构轨道中包含的角色数量记为m；B3)将每个节点参与所述m个角色的情况使用长度为m的向量表示，该向量作为该节点的角色表征向量；B4)将每两个节点的角色表征向量的相似度作为该两个节点的相似度，角色相似度矩阵S。

作为优选，节点之间的角色相似度矩阵S的元素

其中，GDV(i)、GDV(j)分别为节点i、j的角色表征向量，i，j∈[1，n]。

作为优选，步骤B中使用角色表征向量建立节点之间的角色相似度矩阵S前，对角色表征向量进行中心化和标准化处理，所述中心化的方法为：将角色表征向量中的每个元素减去该向量中全部元素的均值；所述标准化的方法为：计算中心化后角色表征向量全部元素的标准差，将角色表征向量中的每个元素除以标准差。

作为优选，在步骤D中跨双层混合网络的随机游走时，设定参数α(0≤α≤1·)，α为每步游走时选择邻接网络游走的概率。

作为优选，步骤A中根据真实系统中实体之间的关系建立网络拓扑结构时，若实体之间存在直接关联，则认为两个实体存在相邻关系，反之，则通过

-邻居方法或者K-邻近算法(KNN)来确定二者之间是否存在相邻关系。

作为优选，

-邻居方法确定两个实体之间是否存在相邻关系的方法为：

若两个实体之间的拓扑距离或实际距离小于人工设定值

则认为所述两个实体存在相邻关系，反之，则认为所述两个实体无相邻关系。

作为优选，K-邻近算法(KNN)确定两个实体之间是否存在相邻关系的方法为：

获取实体与其他实体的最近距离L，认为与该实体距离小于σ*L的K个实体与该实体存在相邻关系，其余实体与该实体无相邻关系，σ为容差系数，其值大于1，其值由人工设定。

本发明的实质性效果是：利用随机游走和连续词袋模型，不但实现同时融合网络邻接性和结构相似性的表征，还可以实现对非连通但角色相似的网络节点的有效表征。

附图说明

图1为实施例一网络表征方法流程框图。

图2为实施例一诱导子图非同构轨道示意图。

图3为实施例一跨双层网络示意图。

图4为实施例一跨双层网络的随机游走示意图。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的具体实施方式作进一步具体说明。

实施例一：

一种基于跨双层网络随机游走的网络表征方法，如图1所示，为实施例一网络表征方法流程框图，本实施例包括以下步骤：A)根据真实系统中实体之间的关系建立网络拓扑结构，获得网络邻接矩阵W＝{w_ij}，i，j∈[1，n]，n为网络拓扑结构节点数量；B)获得节点在大小不超过给定值k的诱导子图中的角色序列，记为表征向量，建立节点之间的角色相似度矩阵S＝{s_ij}，i，j∈[1，n]；C)根据网络邻居矩阵W以及角色相似度矩阵中节点的一一对应关系，建立双层混合网络；D)依次从每个节点开始，进行h次跨双层混合网络的随机游走，从随机游走序列中得到截断长度为l的共h组节点序列，n个节点共获得n*h个长度为l的节点序列；E)把网络中的节点作为词，把通过随机游走得到的节点序列作为语句，使用word2vec的连续词袋模型，将每个词表示成一个定长的向量，将本步骤获得的定长向量作为对应节点的表征，从而获得网络的表征。其中，网络邻接矩阵W的节点代表系统中的实体，边则表示实体之间的相互作用或者关系。若系统中实体数量为n，则网络拓扑结构可以表示为n×m的矩阵。本实施例的邻接网络也可以是带权重的网络，用w_ij表示节点i和j的关系权重。如果两个节点i和j之间仅有边没有权重，则令w_ij＝1。如果两个节点i和j之间没有边，则令w_ij＝0。

角色相似度矩阵S的建立方法为：B1)列举所有大小小于或等于给定大小k的所有子图；B2)枚举所有子图中的非同构轨道，标记非同构轨道中的角色，全部非同构轨道中包含的角色数量记为m；B3)将每个节点参与m个角色的情况使用长度为m的向量表示，该向量作为该节点的角色表征向量；B4)将每两个节点的角色表征向量的相似度作为该两个节点的相似度，角色相似度矩阵S。

节点之间的角色相似度矩阵S的元素

其中，GDV(i)、GDV(j)分别为节点i、j的角色表征向量，i，j∈[1，n]。

步骤B中使用角色表征向量建立节点之间的角色相似度矩阵S前，对角色表征向量进行中心化和标准化处理，中心化的方法为：将角色表征向量中的每个元素减去该向量中全部元素的均值；标准化的方法为：计算中心化后角色表征向量全部元素的标准差，将角色表征向量中的每个元素除以标准差。

在步骤D中跨双层混合网络的随机游走时，设定参数α(0≤α≤1)，α为每步游走时选择邻接网络游走的概率。

步骤A中根据真实系统中实体之间的关系建立网络拓扑结构时，若实体之间存在直接关联，则认为两个实体存在相邻关系，反之，则通过

-邻居方法或者K-邻近算法(KNN)来确定二者之间是否存在相邻关系。

-邻居方法确定两个实体之间是否存在相邻关系的方法为：

若两个实体之间的拓扑距离或实际距离小于人工设定值

则认为两个实体存在相邻关系，反之，则认为两个实体无相邻关系。

K-邻近算法(KNN)确定两个实体之间是否存在相邻关系的方法为：

获取实体与其他实体的最近距离L，认为与该实体距离小于σ*L的K个实体与该实体存在相邻关系，其余实体与该实体无相邻关系，σ为容差系数，其值大于1，其值由人工设定。

如图2所示，为实施例一诱导子图非同构轨道示意图，当k＝4时，共有8个诱导子图(G1-G8)，节点在诱导子图中的非同构轨道数为m＝14。图2显示了子图大小小于等于4的全部子图中的非同构轨道数的寻找方法，图2中G0显示了当子图大小为2时，非同构位置仅有1个，图2中以数字0表示，所有参与了大小为2的子图的节点，在其角色表征向量第0个位置均记为1。图2中G1、G2显示了当子图大小为3时，的网络具有两个大小为3的子图结构，共有3个非同构位置，图2中以数字1,2,3表示，节点参与了大小为3的非环形的子图时，参与两端的情况时，在其角色表征向量第1个位置记为1，参与中间的情况时，在其角色表征向量第2个位置记为1，参与了大小为3的环形子图的节点，在其角色表征向量第3个位置均记为1，依次类推。图2中G3-G8显示了当子图大小为4时，的网络具有六个子图结构，其中非同构位置共有11个，图2中以数字4-14表示，所以该网络中，子图大小小于等于4的非同构轨道共有15个，同样的方法获得该网络的全部子图的非同构位置，统计其数量记为m。给定规模为k的诱导子图，网络中的每一个节点可以扮演m个不同的角色。邻接网络中每个节点参与不同非同构轨道的次数，构成一个m维向量，称为非同构子图度向量(Graphlet Degree Vector，简称GDV)。

如图3所示，为实施例一跨双层网络示意图，邻接网络和节点相似度网络中的节点为一一对应关系。上层是基于实体关系的邻接网络，下层是基于节点角色的相似度网络，上下层之间通过一一对应的网络节点相连，虚线表示邻居网络里的节点连接关系，实线表示相似度网络里的节点连接关系。

如图4所示，为实施例一跨双层网络的随机游走示意图，从网络任一节点i出发，跨双层网络随机游走每一步的具体步骤如下：

1)确定参数α，以概率α选择在邻接网络游走；以概率1-α选择在相似度网络游走；

2)如果在邻接网络中游走，将与节点i相连的所有边的相对权重作为采样的概率，即下一步经过节点j的概率如下：

如果节点在相似度网络中游走，将与节点i相连的所有边的相似度比率作为采样概率，即下一步经过节点j的概率如下：

这里N_i表示节点i的所有邻居节点的集合。注意：这里节点j不能是节点i的上一步经过的节点。图4显示了随机游走获得的一个序列为{1,3,4,5,6,8,9}，图中的实线表示在相似度网络里的游走，虚线表示在邻居网络里的游走。

虽然从理论上而言，随机游走的采样长度越长，最后生成的表征结果越精确。但是，但当游走长度足够长时，继续增加步长所带来的精确度上的提升相对于所增加的计算开销而言，是不值得的。因此，从计算复杂度的角度，随机游走需要设定游走长度l，具体值可通过有限次试验后，由人工权衡精度和系统开销设定。按照如上步骤，从每个节点开始进行h次跨双层网络的随机游走，则对网络中的所有节点共得到n×h个长度为l的节点组合。从i点出发的采样序列记为L_i＝{i，i₁，…，i_l}.

实施例二：

本实施例对实施例步骤C获得的双层混合网络使用跳字模型，提取节点特征形成节点表征，进而形成网络表征。跳字(skip-gram)模型实现节点表征，其过程为通过给定一个中心词，经过只有一个隐藏层的简单神经网路训练，来预测可能与其共同出现的词。本实施例中使用一个中心节点，即随机游走的出发点，预测可能出现在其随机游走采样序列中的另一节点的概率。若两个节点同时出现在同一随机游走采样序列中的概率越高，则两个节点的角色相似度越高。

对任意采样序列L_i，给定中心节点i生成背景节点i_k的条件概率可以通过对向量内积做softmax运算而得到：

这里，u_k∈R^d是背景节点i_k的向量表示，v_i∈R^d是中心节点i的向量表示。对于所有采样序列L_i，跳字模型的似然函数如下：

跳字模型的参数是每个词所对应的中心节点向量和背景节点向量。通过最大化似然函数来学习模型参数训练，即最大似然估计：

为提高优化效率，本实施例采用负采样优化，即每次让一个训练样本仅仅更新一小部分权重参数，从而降低梯度下降过程中的计算量,提高训练速度考虑sigmoid函数。对于一对中心节点和背景节点，随机采样K个噪音节点，噪音节点采样概率p(j)设为j的节点频率与所有节点总频率之比的0.75次方：

综上，目标函数可以写成：

其中，D表示正例，D′表示负例，(w，c)表示所有随机游走产生的数据对，c表示中心节点，w表示背景节点。最后利用随机梯度下降方法，对目标函数进行优化，获得每个节点的随机游走序列，作为该节点的表征。全部节点的表征构成网络的表征。

以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (9)

1.一种基于跨双层网络随机游走的网络表征方法，其特征在于，

包括以下步骤：

A)根据真实系统中实体之间的关系建立网络拓扑结构，获得网络邻接矩阵W＝{w_ij}，i，j∈[1，n]，n为网络拓扑结构节点数量；

B)获得节点在大小不超过给定值k的诱导子图中的角色序列，记为表征向量，建立节点之间的角色相似度矩阵S＝{s_ij}，i，j∈[1，n]；

C)根据网络邻接矩阵W以及角色相似度矩阵中节点的一一对应关系，建立双层混合网络；

D)依次从每个节点开始，进行h次跨双层混合网络的随机游走，从随机游走序列中得到截断长度为l的共h组节点序列，n个节点共获得n*h个长度为l的节点序列；

E)使用连续词袋模型或跳字模型获得每个节点的向量表示，从而获得网络的表征；

所述使用连续词袋模型获得节点的向量表示的方法为：把网络中的节点作为词，把通过随机游走得到的节点序列作为语句，使用word2vec的连续词袋模型，将每个词表示成一个定长的向量，将本步骤获得的定长向量作为对应节点的表征，从而获得网络的表征。

2.根据权利要求1所述的一种基于跨双层网络随机游走的网络表征方法，其特征在于，

角色相似度矩阵S的建立方法为：

B1)列举所有大小小于或等于给定大小k的所有子图；

B2)枚举所有子图中的非同构轨道，标记非同构轨道中的角色，全部非同构轨道中包含的角色数量记为m；

B3)将每个节点参与所述m个角色的情况使用长度为m的向量表示，该向量作为该节点的角色表征向量；

B4)将每两个节点的角色表征向量的相似度作为该两个节点的相似度，建立角色相似度矩阵S。

3.根据权利要求1或2所述的一种基于跨双层网络随机游走的网络表征方法，其特征在于，节点之间的角色相似度矩阵S的元素

其中，GDV(i)、GDV(j)分别为节点i、j的角色表征向量，i，j∈[1，n]。

4.根据权利要求1或2所述的一种基于跨双层网络随机游走的网络表征方法，其特征在于，步骤B中使用角色表征向量建立节点之间的角色相似度矩阵S前，对角色表征向量进行中心化和标准化处理，所述中心化的方法为：将角色表征向量中的每个元素减去该向量中全部元素的均值；所述标准化的方法为：计算中心化后角色表征向量全部元素的标准差，将角色表征向量中的每个元素除以标准差。

5.根据权利要求1或2所述的一种基于跨双层网络随机游走的网络表征方法，其特征在于，在步骤D中跨双层混合网络的随机游走时，设定参数α，0≤α≤1，α为每步游走时选择邻接网络游走的概率。

6.根据权利要求1或2所述的一种基于跨双层网络随机游走的网络表征方法，步骤E中，使用跳字模型获得每个节点的向量表示的方法为：

E1)步骤D中随机游走获得的序列表示为L_i，i∈[1，n]，对于任意采样序列L_i,给定中心节点i生成背景节点i_k的条件概率P(i_k|i)的计算式为：

其中，中心节点i为本次游走序列的起始节点，背景节点i_k为采样序列L_i中除中心节点i以外的节点，u_k∈R^d是背景节点i_k的向量表示，v_i∈R^d是中心节点i的向量表示，R^d为d维实数向量，u_k以及v_i的值由以下步骤获得；

E2)对于所有采样序列L_i，跳字模型的似然函数如下：

最大似然估计为：

E3)对于一对中心节点和背景节点，随机采样K个噪音节点，噪音节点采样概率p(j)设为j的节点频率与所有节点总频率之比的0.75次方：

E4)列出目标函数：

其中，D表示正例，D′表示负例，(w，c)表示所有随机游走产生的中心节点和背景节点数据对，c表示中心节点，w表示背景节点，σ为容差系数，σ值大于1；

E5)对步骤E4列出目标函数进行优化，得到向量v_c以u_w，即每个节点的随机游走序列，作为该节点的表征向量。

7.根据权利要求1或2所述的一种基于跨双层网络随机游走的网络表征方法，其特征在于，步骤A中根据真实系统中实体之间的关系建立网络拓扑结构时，若实体之间存在直接关联，则认为两个实体存在相邻关系，反之，则通过

-邻居方法或者K-邻近算法(KNN)来确定二者之间是否存在相邻关系。

8.根据权利要求7所述的一种基于跨双层网络随机游走的网络表征方法，其特征在于，

-邻居方法确定两个实体之间是否存在相邻关系的方法为：

若两个实体之间的拓扑距离或实际距离小于人工设定值

则认为所述两个实体存在相邻关系，反之，则认为所述两个实体无相邻关系。

9.根据权利要求7所述的一种基于跨双层网络随机游走的网络表征方法，其特征在于，K-邻近算法(KNN)确定两个实体之间是否存在相邻关系的方法为：

获取实体与其他实体的最近距离L，认为与该实体距离小于σ*L的K个实体与该实体存在相邻关系，其余实体与该实体无相邻关系，σ为容差系数，其值大于1，其值由人工设定。

Images