CN109101629A - 一种基于深度网络结构和节点属性的网络表示方法 - Google Patents

Abstract

本发明公开了一种基于深度网络结构和节点属性的网络表示方法，综合考虑网络结构和节点属性信息对节点的影响，并通过神经网络学习出节点特征表示。包括：构造节点间邻接矩阵和属性关系矩阵；获得节点间结构概率转移矩阵和属性概率转移矩阵；根据结构概率转移矩阵和属性概率转移矩阵利用个性化随机游走模型获得多阶概率关系矩阵；将多阶概率关系矩阵通过衰减函数合并得到全局信息矩阵；将全局信息矩阵输入自动编码器，通过训练自动编码器得到网络节点低维特征表示。本发明解决数据稀疏性问题，通过构建深度神经网络将网络中节点的全局信息编码到低维、稠密的向量空间，保证了对网络中节点的精准表示。

Description

一种基于深度网络结构和节点属性的网络表示方法

技术领域

本发明涉及网络分析领域，具体地说是一种基于深度网络结构和节点属性的网络表示。

背景技术

网络表示学习旨在通过无监督方法，将符号化的数据编码到低维、连续、稠密的向量空间中。随着在线社交应用和媒体的迅速发展，产生了海量体现网络结构的数据，学习网络的低维网络表示在不同的应用领域中体现了很好的效率和效果，这些应用领域包括链接预测、网络节点分类、异常检测、推荐等。

网络上数据最大的特点在于样本点之间存在着链接关系，这表明网络中样本点之间并非完全独立的。2015年微软研究院提出LINE算法，该算法设计一个新的优化目标函数，可以很好地学习出图结构中的一阶信息和二阶信息。考虑到LINE算法并不能学习出图结构中的高阶信息，2015年提出的GraRep模型通过随机冲浪模型学习出每一阶的网络信息，并对每一阶信息矩阵做分解学习，最后将学习出的各阶表示向量拼接起来作为最后结果，GraRep模型较LINE模型的效果大大提升，充分证明高阶信息蕴含了丰富的网络结构信息。

除了节点之间的链接关系，网络中节点自身还包含着丰富的信息，比如互联网中网页节点对应的文本信息。但是，这些模型并没有考虑节点的属性信息。近年来，考虑到网络中的节点本身包含丰富的属性信息，结合节点属性信息和深度结构信息可以缓解网络的数据稀疏问题，因此基于图结构和属性信息的网络表示算法开始引起重视，例如2015年提出的TADW基于矩阵分解这个框架，将文本信息以一个子矩阵方式加入，学习到了更为丰富的网络节点特征向量。TADW模型实验结果证明了在网络特征学习中考虑节点属性信息可以学习出更丰富的特征向量。

节点间高阶信息和属性信息可以有效缓解数据稀疏问题，从而对节点进行更为精准、丰富的表示。但是，现有技术中的模型并不能够综合考虑节点间高阶信息和节点属性信息。

发明内容

本发明是为避免上述现有技术所存在的问题，提供一种基于深度网络结构和节点属性的网络表示方法，以期能够充分利用节点间的隐含关系以及属性信息解决数据稀疏性问题，通过复杂的深度神经网络结构学习节点的低维信息来保证很好的精度，进而实现对节点的精准表示。

本发明为解决技术问题采用如下技术方案：

本发明基于深度网络结构和节点属性的网络表示方法的特点是：综合考虑网络结构和节点属性信息对节点的影响，并通过神经网络学习出节点特征表示。

本发明基于深度网络结构和节点属性的网络表示方法是按如下步骤进行：

步骤1、构造节点与节点之间邻接矩阵S和属性关系矩阵B：

以G表示一个属性网络，G＝(V,E,X)，其中：

V表示网络节点集，V＝{v₁,v₂,...,v_N}，以v_i和v_j分别表示节点i和节点j，i＝1,2,...,N，j＝1,2,...,N，N为节点总数；

E表示网络中链接集，链接集E中的元素e_i,j表示节点v_i与节点v_j之间的链接关系，e_i,j∈E，且i≠j；

X表示属性矩阵，属性矩阵X是一个F×N的实数矩阵，包含所有节点的属性信息，X＝{x₁,x₂,...,x_N}，x_i为节点v_i的F维的属性向量；

步骤1.1、获得节点与节点之间邻接矩阵S：

对于属性网络G，其网络结构关系由N×N的实数矩阵S表示，所述实数矩阵S即为邻接矩阵S，邻接矩阵S中的第i行第j列元素S_i,j表示节点v_i与节点v_j的链接关系；

步骤1.2、获得节点与节点的属性关系矩阵B：

对于属性网络G，其网络属性关系由N×N的实数矩阵B表示，实数矩阵B即为属性关系矩阵B，由式(1)计算获得属性关系矩阵B中第i行第j列元素B_i,j，B_i,j表示节点v_i与节点v_j之间的属性相似性：

式(1)中，x_i·x_j表示对属性向量x_i和x_j进行点积运算，属性向量x_i和x_j均为独热编码表示；γ是F维的属性权重向量；

步骤2、构造节点间的结构概率转移矩阵A和属性概率转移矩阵R：

针对所述邻接矩阵S按行归一化处理，获得节点间的结构概率转移矩阵A；由式(2)计算结构概率转移矩阵A中的第i行第j列元素A_i,j，A_i,j表示节点v_i与节点v_j之间的结构转移概率关系，

S_i,k表示节点v_i与节点v_k的链接关系，其中k＝1,2,...,N，且i≠k；

针对属性关系矩阵B按行归一化处理，获得属性概率转移矩阵R，由式(3)计算获得属性概率转移矩阵R中第i行第j列元素R_i,j，R_i,j表示节点v_i与节点v_j之间的属性转移概率关系；

B_i,k表示节点v_i与节点v_k的属性相似性；

步骤3、通过个性化随机游走模型获得多阶概率关系矩阵P¹,P²,P³,...,P^T，T为随机游走步长，P¹表示一阶概率关系矩阵，P^t表示t阶概率关系矩阵，t＝2,...,T：

由式(4)获得一阶概率关系矩阵P¹：

P¹＝αA+(1-α)R (4)，

由式(5)获得t阶概率关系矩阵P^t：

P^t＝αP^t-1A+(1-α)R (5)，

式(5)中，P^t-1为t-1阶概率关系矩阵，参数α为跳转概率，且α取值范围在0.5到1；

步骤4、由式(6)合并不同阶的概率关系阵得到全局信息矩阵Q：

其中，ω(t)是指数衰减函数，并有：ω(t)＝β^-t，β为指数函数衰减系数，β的取值范围为0.9到1；

步骤5、根据节点间全局信息矩阵Q，利用自动编码器得到低维网络表示矩阵H：

5.1、设定隐含层的总层数为M，以H^m(Q)表示为第m层隐含层的输出，以W^m表示第m层隐含层的转换矩阵，以b^m表示第m层隐含层的偏置矩阵，m＝1,2,...,M；并有：W＝[W¹,W²,...W^M]，b＝[b¹,b²,...b^M]；

利用式(7)计算获得第_m层隐含层的输出H^m(Q)：

H^m(Q)＝σ(W^m×H^(m-1)(Q)+b^m)(7)，

其中，H^(m-1)(Q)为第m-1层隐含层的输出；σ(·)是Sigmoid激活函数；当m＝1时，令H^(m-1)(Q)＝Q；

步骤5.2、由式(8)获得节点与节点之间的预测关系矩阵

式(8)中，f(·)是Sigmoid激活函数；W^M为第M层隐含层的转换矩阵；b^M为第M层隐含层的偏置矩阵；H^M(Q)为第M层隐含层的输出；

步骤5.3、建立由式(9)所表达的目标函数L：

式(9)中，为预测关系矩阵中第i行j列的值，表示节点v_i与节点v_j的预测关系值；Q_i,j为节点间全局信息矩阵Q第i行j列的值，Q_i,j表示节点v_i与节点v_j的实际关系值；

步骤5.4、通过随机梯度下降法对所述目标函数式(10)进行优化求解，使得L值达到最小，当L值达到最小时，即为获得的网络节点表示矩阵，实现基于深度网络结构和节点属性的网络表示。

与已有技术相比，本发明有益效果体现在：

1、本发明通过相似度计算对节点的属性进行处理，得到节点之间基于属性的相似性。考虑属性信息不仅解决了网络的数据稀疏性问题，并为节点和节点之间的复杂关系提供了有利支持。

2、本发明引入随机游走的思想，并借助马尔科夫过程表示节点在网络中的游走过程，该处理方式不仅可以学习到网络中隐含的结构关系，同时还考虑了节点属性对网络结构的影响，从而可以实现对节点更为精确的表示。

3、本发明采用深层神经网络架构从全局信息矩阵中学习出节点的低维表示。深度神经网络实现对节点之间复杂关系进行非线性映射，更好的表示节点的信息，提高了整个算法的精度。

附图说明

图1为本发明基于深度网络结构和节点属性的网络表示的流程图；

表1为本发明方法与选用的五种对比方法在Flickr数据集上进行节点分类的实验结果；

表2为本发明方法与选用的五种对比方法在BlogCatalog数据集上进行节点分类实验结果；

表3为本发明方法与选用的五种对比方法在Flickr数据集上链接预测实验结果；

表4为本发明方法与选用的五种对比方法在Email-Eu-core数据集上链接预测实验结果。

具体实施方式

参见图1，本实施例中基于深度网络结构和节点属性的网络表示方法是按如下步骤进行：

步骤1、构造节点与节点之间邻接矩阵S和属性关系矩阵B：

以G表示一个属性网络，G＝(V,E,X)，其中：

V表示网络节点集，V＝{v₁,v₂,...,v_N}，以v_i和v_j分别表示节点i和节点j，i＝1,2,...,N，j＝1,2,...,N，N为节点总数；

E表示网络中链接集，链接集E中的元素e_i,j表示节点v_i与节点v_j之间的链接关系，e_i,j∈E，且i≠j；

X表示属性矩阵，属性矩阵X是一个F×N的实数矩阵，包含所有节点的属性信息，X＝{x₁,x₂,...,x_N}，x_i为节点v_i的F维的属性向量；

步骤1.1、获得节点与节点之间邻接矩阵S：

对于属性网络G，其网络结构关系由N×N的实数矩阵S表示，实数矩阵S即为邻接矩阵S，邻接矩阵S中的第i行第j列元素S_i,j表示节点v_i与节点v_j的链接关系；对于非权重网络如果节点v_i与节点v_j存在联系，则S_i,j＝1，否则S_i,j＝0；对于权重网络S_i,j表示节点v_i与节点v_j之间关系的强弱。

步骤1.2、获得节点与节点的属性关系矩阵B：

对于属性网络G，其网络属性关系由N×N的实数矩阵B表示，实数矩阵B即为属性关系矩阵B，由式(1)计算获得属性关系矩阵B中第i行第j列元素B_i,j，B_i,j表示节点v_i与节点v_j之间的属性相似性，节点之间属性信息越相似，则两个节点越相关，即B_i,j值越大，

式(1)中，x_i·x_j表示对属性向量x_i和x_j进行点积运算，属性向量x_i和x_j均为独热编码表示；γ是F维的属性权重向量。

步骤2、构造节点间的结构概率转移矩阵A和属性概率转移矩阵R：

针对邻接矩阵S按行归一化处理，获得节点间的结构概率转移矩阵A；由式(2)计算结构概率转移矩阵A中的第i行第j列元素A_i,j，A_i,j表示节点v_i与节点v_j之间的结构转移概率关系，

S_i,k表示节点v_i与节点v_k的链接关系，其中k＝1,2,...,N，且i≠k；

针对属性关系矩阵B按行归一化处理，获得属性概率转移矩阵R，由式(3)计算获得属性概率转移矩阵R中第i行第j列元素R_i,j，R_i,j表示节点v_i与节点v_j之间的属性转移概率关系；

B_i,k表示节点v_i与节点v_k的属性相似性；

步骤3、通过个性化随机游走模型获得多阶概率关系矩阵P¹,P²,P³,...,P^T，T为随机游走步长，P¹表示一阶概率关系矩阵，P^t表示t阶概率关系矩阵，t＝2,...,T：

由式(4)获得一阶概率关系矩阵P¹：

P¹＝αA+(1-α)R (4)，

由式(5)获得t阶概率关系矩阵P^t：

P^t＝αP^t-1A+(1-α)R (5)，

式(5)中，P^t-1为t-1阶概率关系矩阵，参数α为跳转概率，且α取值范围在0.5到1。

步骤4、由式(6)合并不同阶的概率关系阵得到全局信息矩阵Q：

其中，ω(t)是指数衰减函数，并有：ω(t)＝β^-t，β为指数函数衰减系数，β的取值范围为0.9到1，β根据不同数据集可适当调节。

步骤5、根据节点间全局信息矩阵Q，利用自动编码器得到低维网络表示矩阵H：

5.1、设定隐含层的总层数为M，以H^m(Q)表示为第m层隐含层的输出，以W^m表示第m层隐含层的转换矩阵，以b^m表示第m层隐含层的偏置矩阵，m＝1,2,...,M；并有：W＝[W¹,W²,...W^M]，b＝[b¹,b²,...b^M]；

利用式(7)计算获得第m层隐含层的输出H^m(Q)：

H^m(Q)＝σ(W^m×H^(m-1)(Q)+b^m) (7)，

其中，H^(m-1)(Q)为第m-1层隐含层的输出；σ(·)是Sigmoid激活函数；当m＝1时，令H^(m-1)(Q)＝Q；

步骤5.2、由式(8)获得节点与节点之间的预测关系矩阵

式(8)中，f(·)是Sigmoid激活函数；W^M为第M层隐含层的转换矩阵；b^M为第M层隐含层的偏置矩阵；H^M(Q)为第M层隐含层的输出；

步骤5.3、建立由式(9)所表达的目标函数L：

式(10)中，为预测关系矩阵中第i行j列的值，表示节点v_i与节点v_j的预测关系值；Q_i,j为节点间全局信息矩阵Q第i行j列的值，Q_i,j表示节点v_i与节点v_j的实际关系值；

步骤5.4、通过随机梯度下降法对目标函数式(10)进行优化求解，使得L值达到最小，当L值达到最小时所得到的即为获得的网络节点表示矩阵，由此实现基于深度网络结构和节点属性的网络表示。

为验证本发明方法的有效性，选用属性网络表示中常见的二个应用：节点分类、链接预测。实验基于三个常用的属性网络数据集：Flcikr、BlogCatalog和Email-Eu-core。

在节点分类应用中采用Macro-F1和Micro-F1作为评价标准，在链接预测应用中采用Precision@k、NDCG@k、Recall@k和AUC作为评价指标。

本实施例中选用五种方法和本发明方法进行效果对比，所选方法分别是TADW、DNGR、LINE、DeepWalk和AE+A，DANE为发明方法；根据实验结果可得出结果如表1、表2、表3和表4所示，实验结果显示本发明方法与其它五种方法相比效果都要更好。

表1

表2

表3

表4

表1所示的实验结果显示，在BlogCatalog数据集上进行节点分类任务，本发明方法在两个评价标准Macro-F1和Micro-F1上均优于其它方法；

表2所示的实验结果显示，在Flcikr数据集上进行节点分类任务，本发明方法在两个评价标准Macro-F1和Micro-F1上均优于其它方法；

表3所示的实验结果显示，在Flcikr数据集上进行链接预测任务，本发明方法在四个评价标准Precision@k、NDCG@k、Recall@k和AUC上均优于其它方法；

表4所示的实验结果显示，在Email-Eu-core数据集上进行链接预测任务，本发明方法在四个评价标准Precision@k、NDCG@k、Recall@k和AUC上均优于其它方法；

本发明方法获得的表示向量能够更好地进行节点分类，本发明方法具有可行性。

Claims (2)

1.一种基于深度网络结构和节点属性的网络表示方法，其特征是：综合考虑网络结构和节点属性信息对节点的影响，并通过神经网络学习出节点特征表示。

2.根据权利要求1所述的基于深度网络结构和节点属性的网络表示方法，其特征是按如下步骤进行：

步骤1、构造节点与节点之间邻接矩阵S和属性关系矩阵B：

以G表示一个属性网络，G＝(V,E,X)，其中：

V表示网络节点集，V＝{v₁,v₂,...,v_N}，以v_i和v_j分别表示节点i和节点j，i＝1,2,...,N，j＝1,2,...,N，N为节点总数；

E表示网络中链接集，链接集E中的元素e_i,j表示节点v_i与节点v_j之间的链接关系，e_i,j∈E，且i≠j；

X表示属性矩阵，属性矩阵X是一个F×N的实数矩阵，包含所有节点的属性信息，X＝{x₁,x₂,...,x_N}，x_i为节点v_i的F维的属性向量；

步骤1.1、获得节点与节点之间邻接矩阵S：

对于属性网络G，其网络结构关系由N×N的实数矩阵S表示，所述实数矩阵S即为邻接矩阵S，邻接矩阵S中的第i行第j列元素S_i,j表示节点v_i与节点v_j的链接关系；

步骤1.2、获得节点与节点的属性关系矩阵B：

对于属性网络G，其网络属性关系由N×N的实数矩阵B表示，实数矩阵B即为属性关系矩阵B，由式(1)计算获得属性关系矩阵B中第i行第j列元素B_i,j，B_i,j表示节点v_i与节点v_j之间的属性相似性：

式(1)中，x_i·x_j表示对属性向量x_i和x_j进行点积运算，属性向量x_i和x_j均为独热编码表示；γ是F维的属性权重向量；

步骤2、构造节点间的结构概率转移矩阵A和属性概率转移矩阵R：

针对所述邻接矩阵S按行归一化处理，获得节点间的结构概率转移矩阵A；由式(2)计算结构概率转移矩阵A中的第i行第j列元素A_i,j，A_i,j表示节点v_i与节点v_j之间的结构转移概率关系，

S_i,k表示节点v_i与节点v_k的链接关系，其中k＝1,2,...,N，且i≠k；

针对属性关系矩阵B按行归一化处理，获得属性概率转移矩阵R，由式(3)计算获得属性概率转移矩阵R中第i行第j列元素R_i,j，R_i,j表示节点v_i与节点v_j之间的属性转移概率关系；

B_i,k表示节点v_i与节点v_k的属性相似性；

步骤3、通过个性化随机游走模型获得多阶概率关系矩阵P¹,P²,P³,...,P^T，T为随机游走步长，P¹表示一阶概率关系矩阵，P^t表示t阶概率关系矩阵，t＝2,...,T：

由式(4)获得一阶概率关系矩阵P¹：

P¹＝αA+(1-α)R (4)，

由式(5)获得t阶概率关系矩阵P^t：

P^t＝αP^t-1A+(1-α)R (5)，

式(5)中，P^t-1为t-1阶概率关系矩阵，参数α为跳转概率，且α取值范围在0.5到1；

步骤4、由式(6)合并不同阶的概率关系阵得到全局信息矩阵Q：

其中，ω(t)是指数衰减函数，并有：ω(t)＝β^-t，β为指数函数衰减系数，β的取值范围为0.9到1；

步骤5、根据节点间全局信息矩阵Q，利用自动编码器得到低维网络表示矩阵H：

5.1、设定隐含层的总层数为M，以H^m(Q)表示为第m层隐含层的输出，以W^m表示第m层隐含层的转换矩阵，以b^m表示第m层隐含层的偏置矩阵，m＝1,2,...,M；并有：W＝[W¹,W²,...W^M]，b＝[b¹,b²,...b^M]；

利用式(7)计算获得第m层隐含层的输出H^m(Q)：

H^m(Q)＝σ(W^m×H^(m-1)(Q)+b^m) (7)，

其中，H^(m-1)(Q)为第m-1层隐含层的输出；σ(·)是Sigmoid激活函数；当m＝1时，令H^(m-1)(Q)＝Q；

步骤5.2、由式(8)获得节点与节点之间的预测关系矩阵

式(8)中，f(·)是Sigmoid激活函数；W^M为第M层隐含层的转换矩阵；b^M为第M层隐含层的偏置矩阵；H^M(Q)为第M层隐含层的输出；

步骤5.3、建立由式(9)所表达的目标函数L：

式(9)中，为预测关系矩阵中第i行j列的值，表示节点v_i与节点v_j的预测关系值；Q_i,j为节点间全局信息矩阵Q第i行j列的值，Q_i,j表示节点v_i与节点v_j的实际关系值；

步骤5.4、通过随机梯度下降法对所述目标函数式(10)进行优化求解，使得L值达到最小，当L值达到最小时，即为获得的网络节点表示矩阵，实现基于深度网络结构和节点属性的网络表示。