CN110879859A - 一种保存序列关联关系的属性网络表示学习方法 - Google Patents

Abstract

本发明提供了一种保存序列关联关系的属性网络表示学习方法，包括以下步骤：分别获取属性网络中各节点的节点信息，以及相应的属性信息和标签信息；使用随机游走算法得到节点序列，并将节点序列扩充为三元组序列集合；建立序列关联关系保存模型，将输入序列编码为属性序列表示向量，然后对应关系，通过解码器解码预测为新的节点序列和新的标签序列；构建以新的节点序列、标签序列和三元组序列集合为参数的目标函数，并对其进行优化，最终得到属性网络节点表示向量。该方法在网络表示学习时，有效保留了节点中的标签信息，提升了网络表示学习工作的向量质量，减轻了后续数据聚类分类、链接预测、数据可视化等应用工作的运算工作量。

Description

一种保存序列关联关系的属性网络表示学习方法

技术领域

本发明涉及网络表示学习领域，具体涉及一种属性网络表示学习方法。

背景技术

随着互联网的蓬勃发展，网络上每天都会产生大量的数据。比如社交平台上用户行为的交互；博客平台上作者发布博文、获取留言、相互点赞；学术论文之间的相互引用。这些信息数据可以建模为属性网络结构。在属性网络中存在着大量有价值的待挖掘的数据，这些数据可完善、扩充各类在线网络平台的用户信息，网络表示学习是挖掘属性网络数据的一个有力手段，其目的是将高维的属性网络表示为低维稠密的向量，为下一步数据聚类分类、链接预测、数据可视化等数据应用工作提供有效的特征表示。

网络表示学习方法主要分为两类，一类是基于结构的网络表示学习方法，这类方法仅从节点结构的角度进行数据挖掘，对于节点属性和标签信息则几乎不予保留，这对于后续的数据应用工作帮助不大；另一类是结合结构和属性的网络表示学习方法，这种方法兼顾了节点结构和各类属性信息，如文本信息、图片及标签等，例如，现有技术中常使用STNE(Self-Translation Network Embedding)模型对节点结构和节点属性进行表示。然而这种方法得到的结果却忽略了节点标签信息，节点标签信息是节点结构和属性信息的概括，相同标签的节点拥有高相似性。对于一些社交网络应用中，这类信息极为重要，例如教育网络中学生与老师、文献引用网络的数据挖掘和计算机视觉应用等。

发明内容

基于上述技术问题，本发明提供了一种保存序列关联关系的属性网络表示学习方法，该方法在网络表示学习时，有效保留了节点中的标签信息，提升了网络表示学习工作的向量质量，减轻了后续数据聚类分类、链接预测、数据可视化等应用工作的运算工作量。

解决上述问题的方案如下：

一种保存序列关联关系的属性网络表示学习方法，包括以下步骤：

S1)分别获取属性网络中各节点的节点信息，以及各节点相对应的属性信息和标签信息；

S2)使用随机游走算法对属性网络中的每个节点的节点信息进行处理，得到关于节点信息的序列集合，然后根据各个节点信息、属性信息、标签信息之间的相互对应关系，将节点信息序列的集合扩充为含有节点信息、属性信息、标签信息的三元组序列集合；

S3)通过编码器和解码器建立序列关联关系保存模型，对所述三元组序列集合进行学习：将其中输入的属性序列编码为属性序列的序列表示向量，然后根据各个节点信息、属性信息、标签信息之间的相互对应关系，通过解码器分别解码预测为新的节点信息序列和新的标签信息序列；

S4)构建以新的节点信息序列、标签信息序列和三元组序列集合为参数的目标函数，并设置优化终止条件对所述目标函数进行优化，得到包含节点信息、属性信息和标签信息的属性网络节点表示向量。

具体地，获得所述关于节点信息的序列集合的方法为：

以属性网络中的各节点作为起始点，向相邻节点进行随机游走，直至游走的序列长度达到预设值，即得到随机关于节点信息的序列集合。

具体地，所述序列关联关系保存模型的建立方法为：

S31a)将所述三元组序列集合中的属性序列作为输入序列，使用双向长期短期记忆模型(Bi-LSTM)作为编码器，对输入序列进行编码，得到属性序列的序列表示向量，所述的编码器的任意方向编码公式如下式Ia)所示：

上式Ia)中，下标t为序列中元素的序号，a_t为输入序列元素值，i_t、f_t和o_t分别为输入序列分别在输入门、遗忘门和输出门的输出值，c_t为单元状态序列元素值，h为属性序列的序列表示向量，该向量为一种双向序列表示隐层向量、h_t为经过单向编码后的序列表示隐层向量、h'_t为另一方向编码后的序列表示隐层向量、

为向量串联拼接操作符；W为权重，其第一下标中a、c和h分别对应输入序列、单元状态序列和经过单向编码后的序列隐层向量，其第二下标i、f和o分别对应输入序列分别在输入门、遗忘门和输出门，例如，W_hi即为输入序列在输入门的输出值i_t时，单向编码后的序列隐层向量h_t-1的权重，

为序列按元素相乘符号，σ和tanh均为激活函数，根据调试经验设置，

S32)分别使用两个双向长期短期记忆模型(Bi-LSTM)解码器按照属性信息和节点信息，以及属性信息和标签信息之间的对应关系，对属性序列的序列表示向量进行解码，分别预测节点信息序列和标签信息序列，从而得到保存有属性信息与网络结构信息之间对应关系的新的节点信息序列S'_node，以及保存有属性信息和标签信息之间对应关系的新的标签信息序列S'_label。

同样地，获得属性序列的序列表示向量的方法，即步骤S31a)还可以使用如下方法获得：

S31b)将所述三元组序列集合中的属性序列作为输入序列，使用卷积神经网络对输入序列，通过多角度特征提取的方式进行编码，得到输入序列的表示向量，提取公式下式Ib)所示：

上式Ib)中，fea为属性序列表示向量，该向量为卷积核，S_att为输入的属性序列，filter₁、filter₂至filter_n为多层卷积核、fea₁、fea₂至fea_n为使用不同的卷积核对输入的属性序列S_att进行卷积，提取的相应特征向量、

为向量串联拼接操作符。

具体地，得到包含节点信息、属性信息和标签信息的属性网络节点表示向量的具体方法为：

S41)分别比对新的节点信息序列S'_node与三元组中的节点信息序列、新的标签信息序列S'_label与三元组中的标签信息序列，然后构建节点信息序列预测交叉熵损失函数L₁和标签信息序列预测交叉熵损失函数L₂，构建公式为：

式II)中，S_node为三元组中的节点信息序列，S_label为三元组中的节点信息序列；

S42)对节点信息序列预测交叉熵损失函数L₁和标签信息序列预测交叉熵损失函数L₂进行线性组合，根据调试经验设置平衡系数α，并定义如下目标函数：

Loss＝αL₁+(1-α)L₂ III),

然后,根据调试经验,设置训练轮数作为训练终止条件，对式III)所示目标函数进行优化，直至训练达到训练轮数，训练结束后即从步骤S3)所述编码器的输出中得到包含节点信息、属性信息和标签信息的属性网络节点表示向量。

相较于现有技术，本发明的有益效果在于：

由于通过编码器和解码器建立序列关联关系保存模型，对所述三元组序列集合进行学习，有效保留了属性网络中，节点信息、节点属性和节点标签的关联关系，因此得到的节点网络表示向量，其质量具有较大幅度的提升，减轻了后续数据聚类分类、链接预测、数据可视化等应用工作的运算工作量，并获得较好的评估指标。

附图说明

图1为本发明所述的一种保存序列关联关系的属性网络表示学习方法的处理流程图；

图2为本发明所述的一种保存序列关联关系的属性网络表示学习方法中随机游走得到节点信息序列、并扩充为三元组序列集合方法示意图；

图3为为本发明所述的一种保存序列关联关系的属性网络表示学习方法中构建模型对输入序列进行编码-解码预测训练的方法示意图。

具体实施方式

例1、下面以维基百科网页引用网络为例，结合附图详述本发明的保存序列关联关系的属性网络表示学习方法：

本例中待处理的属性网络，包括2405篇维基百科网页，每篇网页即为一个网络节点，17981条网络引用关系，即包含17981条节点信息；网页中的文本描述共分4973维，即4973维属性信息；标签共17类，即17类标签信息。

本例中保存序列关联关系的属性网络表示学习方法如图1所示，步骤如下：

(S1)分别获取2405篇维基百科网页的节点信息，以及各维基百科网页的节点相对应的属性信息和标签信息；

(S2)参见图2，以每篇维基百科网页作为起始点，使用随机游走算法对每篇维基百科网页的节点信息进行处理，直至游走的序列长度达到预设值，得到关于节点信息的序列集合，即每篇网页之间的引用和被引关系集合，

然后根据各个节点信息、网页属性信息、网页标签信息之间的相互对应关系，将节点信息序列的集合扩充为含有节点信息S_node、属性信息S_att、标签信息S_label的三元组序列集合<S_node,S_att,S_label>，其中，S_node为节点信息序列、S_att为属性信息序列、S_label为标签信息序列；

(S3)参见图3，通过编码器和解码器建立序列关联关系保存模型，对所述三元组序列集合进行学习：

将其中输入的属性序列S_att编码为属性序列的序列表示向量，然后根据每篇基百科网页的之间的“属性-节点”和“属性-标签”对应关系，通过解码器分别解码预测为新的节点信息序列S'_node和新的标签信息序列S'_label，具体步骤为：

(S31a)使用双向长期短期记忆模型(Bi-LSTM)作为编码器，对输入的属性信息序列S_att进行编码，得到属性序列的序列表示向量，所述的编码器的任意方向编码公式如下式Ia)所示：

上式Ia)中，下标t为序列中元素的序号，a_t为输入的属性信息序列S_att中的元素值，i_t、f_t和o_t分别为输入的属性信息序列S_att分别在输入门、遗忘门和输出门的输出值，c_t为得到的单元状态序列元素值，h_t为经过前向编码后的序列表示隐层向量、h'_t为后向编码后的序列表示隐层向量、

为向量串联拼接操作符，h为属性序列的双向序列表示隐层向量；W为权重，其第一下标中a、c和h分别对应输入序列、单元状态序列和经过单向编码后的序列隐层向量，其第二下标i、f和o分别对应输入序列分别在输入门、遗忘门和输出门，例如，W_hi即为输入序列在输入门的输出值i_t时，单向编码后的序列隐层向量h_t-1的权重，

为序列按元素相乘符号，σ和tanh均为激活函数，根据调试经验设置。

编码处理时，当t到达属性信息序列S_att的最后一位时，h_t即为该属性信息序列S_att的完整的序列前向编码后的序列表示隐层向量，h'_t即为该属性信息序列S_att的完整的后向编码后的序列表示隐层向量，通过向量串联拼接操作后，即得到完整的属性序列的序列表示向量,即双向序列表示隐层向量h。

(S32)分别使用两个双向长期短期记忆模型(Bi-LSTM)解码器按照“属性-节点”和“属性-标签”对应关系，对属性序列的序列表示向量进行解码，经过一个全连接层映射full_conn，分别预测节点信息序列和标签信息序列，从而得到保存有属性信息与网络结构信息之间对应关系的新的节点信息序列S'_node，以及保存有属性信息和标签信息之间对应关系的新的标签信息序列S'_label，解码方法如下式IV)所示：

(S4)构建以新的节点信息序列S'_node、标签信息序列S'_label和三元组序列集合<S_node,S_att,S_label>为参数的目标函数，并设置优化终止条件对所述目标函数进行优化训练，得到包含节点信息、属性信息和标签信息的属性网络节点表示向量，具体方法为：

(S41)分别比对新的节点信息序列S'_node与三元组中的节点信息序列S_node、新的标签信息序列S'_label与三元组中的标签信息序列S_label，然后构建维基百科网页的节点信息序列预测交叉熵损失函数L₁和标签信息序列预测交叉熵损失函数L₂，构建公式为：

式II)中，S_node为三元组中的节点信息序列，S_label为三元组中的节点信息序列。

(S42)对构建的节点信息序列预测交叉熵损失函数L₁和标签信息序列预测交叉熵损失函数L₂进行线性组合，并定义如下目标函数：

Loss＝αL₁+(1-α)L₂ III)

式III)中，α为根据调试经验预先设置的平衡系数，以此平衡节点信息序列S_node和标签信息序列S_label对训练过程的影响；

然后,根据调试经验,设置训练轮数epoch作为训练终止条件，对式III)所示目标函数进行训练优化，直至训练达到训练轮数epoch，训练结束后即从步骤(S31a)所述编码器的输出中，即可得到包含节点信息、属性信息和标签信息的属性网络节点表示向量。

例2

对于例1中的维基百科网页引用属性网络表示学习方法，亦可使用卷积神经网络(CNN)作为模型进行学习训练，也就是将步骤(S31a)替换如下：

(S31b)将所述三元组序列集合中的属性序列S_att作为输入序列，使用卷积神经网络模型(CNN)对输入序列S_att通过多角度特征提取的方式进行编码，得到输入序列的表示向量，提取公式下式Ib)所示：

上式Ib)中，fea为属性序列表示向量，该向量为卷积核，S_att为输入的属性序列，filter₁、filter₂至filter_n为多层卷积核、fea₁、fea₂至fea_n为使用不同的卷积核对输入的属性序列S_att进行卷积，提取的相应特征向量、

为向量串联拼接操作符。

相应地，当例1所述步骤(S42)训练结束后，从上述步骤(S31b)所述编码器的输出中，即可得到包含节点信息、属性信息和标签信息的属性网络节点表示向量。

例3

对于例1或例2得到的维基百科网页引用属性网络节点表示向量，即可作为下游网络应用任务的节点特征，例如，对维基百科中打标签的百科网页做网页分类预测，预测网页之间是否有引用关系，或是，将维基百科网页可视化呈现于二维平面应用上，以直观看出网络特性。对比现有技术，本例中的属性网络表示学习的网页分类预测性能如下表1所示：

表1与现有技术的性能对比

上表1中，第一行为数据中参与训练的数据比例，第二行为现有技术中使用STNE(Self-Translation Network Embedding)模型对属性网络表示学习的方法得到指标结果，第三行为本方法得到的指标结果，上述结果出自对于各列相应的剩余比例进行标签预测的指标值，指标的测算采用现有公知的分类问题评价指标micro-F1进行测算，表中结果为重复10次训练后测算取得的平均值。

通过对比可知，本方法相较于现有技术中使用STNE(Self-Translation NetworkEmbedding)模型对属性网络进行表示学习方法，各数据训练比例条件下，评价指标平均性能提升接近2％，可见本方法得到的节点网络表示向量，其质量具有较大幅度的提升，并且评估指标提升明显。

Claims (5)

1.一种保存序列关联关系的属性网络表示学习方法，包括以下步骤：

S1)分别获取属性网络中各节点的节点信息，以及各节点相对应的属性信息和标签信息；

S2)使用随机游走算法对属性网络中的每个节点的节点信息进行处理，得到关于节点信息的序列集合，然后根据各个节点信息、属性信息、标签信息之间的相互对应关系，将节点信息序列的集合扩充为含有节点信息、属性信息、标签信息的三元组序列集合；

S3)通过编码器和解码器建立序列关联关系保存模型，对所述三元组序列集合进行学习：将其中输入的属性序列编码为属性序列的序列表示向量，然后根据各个节点信息、属性信息、标签信息之间的相互对应关系，通过解码器分别解码预测为新的节点信息序列和新的标签信息序列；

S4)构建以新的节点信息序列、标签信息序列和三元组序列集合为参数的目标函数，并设置优化终止条件对所述目标函数进行优化，得到包含节点信息、属性信息和标签信息的属性网络节点表示向量。

2.如权利要求1所述的一种保存序列关联关系的属性网络表示学习方法，其特征在于，获得所述关于节点信息的序列集合的方法为：

以属性网络中的各节点作为起始点，向相邻节点进行随机游走，直至游走的序列长度达到预设值，即得到随机关于节点信息的序列集合。

3.如权利要求1所述的一种保存序列关联关系的属性网络表示学习方法，其特征在于，所述序列关联关系保存模型的建立方法为：

S31a)将所述三元组序列集合中的属性序列作为输入序列，使用双向长期短期记忆模型(Bi-LSTM)作为编码器，对输入序列进行编码，得到属性序列的序列表示向量，所述的编码器的任意向编码公式如下式Ia)所示：

上式Ia)中，下标t为序列中元素的序号，a_t为输入序列元素值，i_t、f_t和o_t分别为输入序列分别在输入门、遗忘门和输出门的输出值，c_t为单元状态序列元素值，h为属性序列的序列表示向量，该向量为一种双向序列表示隐层向量、h_t为经过单向编码后的序列表示隐层向量、h'_t为另一方向编码后的序列表示隐层向量、

为向量串联拼接操作符；W为权重，其第一下标中a、c和h分别对应输入序列、单元状态序列和经过单向编码后的序列隐层向量，其第二下标i、f和o分别对应输入序列分别在输入门、遗忘门和输出门，

为向量按元素相乘操作符，σ和tanh均为激活函数，根据调试经验设置，

S32)分别使用两个双向长期短期记忆模型(Bi-LSTM)解码器按照属性信息和节点信息，以及属性信息和标签信息之间的对应关系，对属性序列的序列表示向量进行解码，分别预测节点信息序列和标签信息序列，从而得到保存有属性信息与网络结构信息之间对应关系的新的节点信息序列S'_node，以及保存有属性信息和标签信息之间对应关系的新的标签信息序列S'_label。

4.如权利要求3所述的一种保存序列关联关系的属性网络表示学习方法，其特征在于，所述步骤S31a)可替换为如下方法：

S31b)将所述三元组序列集合中的属性序列作为输入序列，使用卷积神经网络对输入序列进行多角度特征提取，得到输入序列的表示向量，提取公式下式Ib)所示：

上式Ib)中，fea为属性序列表示向量，该向量为卷积核，S_att为输入的属性序列，filter₁、filter₂至filter_n为多层卷积核、fea₁、fea₂至fea_n为使用不同的卷积核对输入的属性序列S_att进行卷积，提取的相应特征向量、

为向量串联拼接操作符。

5.如权利要求1所述的一种保存序列关联关系的属性网络表示学习方法，其特征在于，得到所述包含节点信息、属性信息和标签信息的属性网络节点表示向量的具体方法为：

S41)分别比对新的节点信息序列S'_node与三元组中的节点信息序列、新的标签信息序列S'_label与三元组中的标签信息序列，然后构建节点信息序列预测交叉熵损失函数L₁和标签信息序列预测交叉熵损失函数L₂，构建公式为：

式II)中，S_node为三元组中的节点信息序列，S_label为三元组中的节点信息序列；

S42)对节点信息序列预测交叉熵损失函数L₁和标签信息序列预测交叉熵损失函数L₂进行线性组合，根据调试经验设置平衡系数α，并定义如下目标函数：

Loss＝αL₁+(1-α)L₂ III),

然后,根据调试经验,设置训练轮数作为训练终止条件，对式III)所示目标函数进行优化，直至训练达到训练轮数，训练结束后即从步骤S3)所述编码器的输出中得到包含节点信息、属性信息和标签信息的属性网络节点表示向量。

Images