CN110414665A - 一种基于深度神经网络的网络表示学习方法 - Google Patents

Abstract

本发明涉及一种基于深度神经网络的网络表示学习方法，包括如下步骤：1)首先在网络中进行随机游走，得到节点序列；2)然后结合节点在节点序列中的位置信息，将节点序列中的各个节点转换成特征向量；3)基于深度双向转换编码器建立学习模型，将步骤2)经过处理的节点序列输入到学习模型中进行训练，得到网络中节点的表示向量。本发明结合节点在节点序列中的位置信息，更好地利用节点之间的关系信息。本发明将自然语言处理中的深度双向转换编码器用于网络表示学习，以更好地保留网络的局部结构和全局结构，进一步地提升了节点表示向量的准确度。

Description

一种基于深度神经网络的网络表示学习方法

技术领域

本发明涉及网络表示学习技术领域，更具体地，涉及一种基于深度神经网络的网络表示学习方法。

背景技术

事物之间相互联系可以形成网络，其中蕴含了大量信息。直接使用高维稀疏的网络数据进行分析和挖掘，需要耗费很大的计算量。使用网络表示学习将网络中节点转化为低维的向量表示，再进行信息挖掘，可以节省很多计算量。获得节点的向量表示之后，可以将其作为输入再对网络进行挖掘，比如进行链路预测，节点分类和社区发现等。

网络表示学习(Network Representation Learning)，又名网络嵌入(NetworkEmbedding)、图嵌入(Graph Embedding)，它旨在将网络中的节点表示成低维、实值、稠密的向量形式，使得得到的向量形式可以在向量空间中具有表示以及推理的能力，同时可轻松方便的作为机器学习模型的输入，进而可将得到的向量表示运用到社交网络中常见的应用中，如可视化任务、节点分类任务、链接预测以及社区发现等任务，还可以作为社交边信息应用到推荐系统等其他常见任务中。网络表示学习是一种分布式的表示学习技术。

网络表示学习将网络中的节点信息转化为低维的向量表示。很多网络的结构稀疏，且从高维的稀疏向量表示得到低维稠密的向量表示过程中会有一些信息丢失，影响了网络表示学习得到的节点表示向量的准确度。目前已有的网络表示方法考虑了节点之间的关系，却忽略了网络的局部和全局结构信息，导致获得的节点表示向量不够准确。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于深度神经网络的网络表示学习方法，利用网络的局部和全局结构信息进行网络表示学习，以获得更准确的节点表示向量。

一种基于深度神经网络的网络表示学习方法，包括如下步骤：

1)首先在网络中进行随机游走，得到节点序列；

2)然后结合节点在节点序列中的位置信息，将节点序列中的各个节点转换成特征向量；

3)基于深度双向转换编码器建立学习模型，将步骤2)经过处理的节点序列输入到学习模型中进行训练，得到网络中节点的表示向量。

优选地，所述的步骤1)具体如下：设定网络G＝(V,E)，其中V是网络中的节点，E是它的边，|V|表示网络中节点的数量；对于网络G，每次采样随机挑选一个顶点v_i作为随机游走的根节点，i的取值范围为[0,|V| -1]；一次游走从节点的邻居开始，到达最大长度t结束，从而得到由节点构成的节点序列S_j，j的取值范围为正整数；如下式所示：

S_j＝v_l，v₂，...，v_t (1)

对于每个节点，需要进行γ次长度为t的随机游走，其中i的取值范围为 [0,|V|-1]，j为正整数，γ的取值范围为[5,1000]，t的取值范围为[10,1000]。

为了更好地利用节点之间的关系信息以提升节点表示向量的准确度，将在网络中使用随机游走生成的节点序列进行处理，在节点的特征向量中结合各个节点在序列中的位置信息。优选地，所述的步骤2)具体如下：

(21)对于一个由节点构成的节点序列S_j，对序列中的每个节点根据其在节点序列中的位置进行编号，从0到t-1，并将位置信息转化为向量，得到节点的位置表示X_i；

(22)对节点的特征向量进行随机初始化，得到节点表示；

(23)定义学习模型的输入表示为X′_i，包含节点的位置表示X_i和节点表示两部分，处理后的节点序列用S′_j表示，如下式所示：

S′_j＝X′₁，X′₂，...，X′_t (2)。

为了更好地保留社交网络的局部结构和全局结构，本发明使用BERT网络表示学习方法中的深度双向转换编码器建立学习模型，将经过处理的节点序列输入到学习模型中进行训练，以得到各个节点的表示向量。优选地，所述的步骤3) 分为预训练和微调两个过程，具体如下：

(31)预训练过程

为了训练模型并得到节点的向量表示，采用BERT模型中提出的masked LM 方法，即随机隐藏一定比例的输入节点，然后预测那些隐藏的节点；

(32)微调过程

在微调阶段，使用节点的标签信息进行训练。

优选地，所述的步骤(31)具体如下：

S1.在每个节点序列中随机选取一定比例a的隐藏节点用于预测，部分或全部使用隐藏标记[MASK]替换这些节点，a的取值范围为[0.1,0.2]；经过处理的节点序列为S′_j，随机隐藏一定比例a的输入节点后的节点序列S″_j为

S″_j＝X′₁，X′₂，...，[MASK]，...，X′_t (3)

S2.与隐藏节点v_i相对应的特征向量被输入到输出的Softmax中，可以得到其概率向量为如下式所示：

其中表示用于分类的输出层中的权重，|V|表示网络中节点的数量， d是一个比较小的隐式向量的维度；

定义节点v_i对应的one－hot向量表示为损失函数定义如下：

其中i的取值范围为[0,|V|-1]，具体取值为节点序列S″_j中隐藏的节点对应的编号。

由于隐藏标记在微调期间从未出现过，基于masked LM的方法会在预训练和微调之间造成一些轻微的数据不匹配。为了缓和这种情况，故最好是部分用隐藏标记[MASK]替换实际节点。优选地，步骤S1中，先从全部隐藏节点中随机挑选出A％的部分，再从剩下的隐藏节点中随机挑选出B％的部分，最后剩下的隐藏节点为C％的部分，其中A+B+C＝100，A＞50，B＞0，C＞0；

针对A％的隐藏节点部分，使用隐藏标记[MASK]替换实际节点；针对B％的隐藏节点部分，使用随机的一个节点来替换实际节点；针对C％的隐藏节点部分，保持原节点不变。

优选地，步骤S1中，A＝80，B＝10，C＝10。

优选地，所述的步骤(32)具体如下：

定义节点v_i的标签向量为其中|T|表示分类标签的数量，节点v_i对应的特征向量为在用于分类的输出层中定义其权重为用标准softmax计算标签概率计算公式如下：

损失函数定义如下：

其中i的取值范围为[0,|V|-1]，具体取值为节点序列S′_j中的节点对应的编号。

本发明的有益效果是：

1.结合节点在节点序列中的位置信息，更好地利用节点之间的关系信息。

2.本发明将自然语言处理中的深度双向转换编码器用于网络表示学习，以更好地保留网络的局部结构和全局结构，进一步地提升了节点表示向量的准确度。

附图说明

图1为本发明的方法流程图；

图2为本发明学习模型的输入表示图；

图3为本发明学习模型的结构图；

图4为BlogCatalog数据集的实验Micro－F1结果；

图5为BlogCatalog数据集的实验Macro－F1结果。

具体实施方式

下面结合附图进一步说明本发明的技术方案。

一种基于深度神经网络的网络表示学习方法，如附图1所示，包括如下步骤：

1)随机游走

在网络中进行随机游走，以得到节点序列。设定网络G＝(V,E)，其中V是网络中的节点，E是它的边，|V|表示网络中节点的数量；对于网络G，每次采样随机挑选一个顶点vi作为随机游走的根节点，i的取值范围为 [0,|V|-1]；一次游走从节点的邻居开始，到达最大长度t结束，从而得到由节点构成的节点序列S_j，j的取值范围为正整数；如下式所示：

S_j＝v₁，v₂，...，v_t (8)

对于每个节点，需要进行γ次长度为t的随机游走，其中i的取值范围为 [0,|V|-1]，j为正整数，γ的取值范围为[5,1000]，t的取值范围为[10,1000]。

2)输入处理

为了更好地利用节点之间的关系信息以提升节点表示向量的准确度，将在网络中使用随机游走生成的节点序列进行处理，在节点的特征向量中结合各个节点在序列中的位置信息。具体步骤如下：

(21)对于一个由节点构成的节点序列S_j，对序列中的每个节点根据其在节点序列中的位置进行编号，从0到t-1。并将位置信息转化为向量，得到节点的位置表示X_i。

(22)对节点的特征向量进行随机初始化，得到节点表示。

(23)定义学习模型的输入表示为X′_i，包含节点的位置表示X_i和节点表示两部分，如附图2所示。处理后的节点序列用S′_j表示，如下所示：

S′_j＝X′₁，X′₂，...，X′_t (9)

3)模型训练

为了更好地保留社交网络的局部结构和全局结构，使用BERT网络表示学习方法中的深度双向转换编码器建立学习模型，如附图3所示。将经过处理的节点序列输入到学习模型中，并进行训练，以得到各个节点的表示向量。

学习模型的训练分为预训练和微调两个过程。具体步骤如下：

(31)预训练过程

为了训练模型并得到节点的向量表示，采用BERT模型中提出的masked LM 方法，即随机隐藏一定比例的输入节点，然后预测那些隐藏的节点。具体步骤如下：

S1.在每个节点序列中随机隐藏一定比例a的节点用于预测，部分或全部使用隐藏标记[MASK]替换这些节点。a的取值范围为[0.1,0.2]。经过处理的节点序列为S′_j，随机隐藏一定比例a的输入节点后的节点序列S″_j为

S″_j＝X′₁，X′₂，...，[MASK]，...，X′_t (10)

由于隐藏标记在微调期间从未出现过，基于masked LM的方法会在预训练和微调之间造成一些轻微的不匹配。为了缓和这种情况，推荐是用隐藏标记[MASK] 替换部分实际节点，具体是：先从全部隐藏节点中随机挑选出A％的部分，再从剩下的隐藏节点中随机挑选出B％的部分，最后剩下的隐藏节点为C％的部分，其中A+B+C＝100，A＞50，B＞0，C＞0；

针对A％的隐藏节点部分，使用隐藏标记[MASK]替换实际节点；针对B％的隐藏节点部分，使用随机的一个节点来替换实际节点；针对C％的隐藏节点部分，保持原节点不变。

再具体地举例来说，步骤S1中，A＝80，B＝10，C＝10。即：

(a)针对80％的隐藏节点，使用隐藏标记[MASK]替换实际的节点

(b)针对10％的隐藏节点，使用随机的一个节点来替换。

(c)针对10％的隐藏节点，保持原节点不变。

S2.与隐藏节点v_i相对应的特征向量被输入到输出的Softmax中，可以得到其概率向量为如下所示：

其中表示用于分类的输出层中的权重，|V|表示网络中节点的数量， d是一个比较小的隐式向量的维度。

定义节点v_i对应的one－hot向量表示为损失函数定义如下：

其中i的取值范围为[0,|V|-1]，具体取值为节点序列S″_j中隐藏的节点对应的编号。

(32)微调过程

在微调阶段，使用节点的标签信息进行训练。定义节点v_i的标签向量为其中|T|表示分类标签的数量。节点v_i对应的特征向量为在用于分类的输出层中定义其权重为用标准softmax计算标签概率计算公式如下：

损失函数定义如下：

其中i的取值范围为[0,|V|-1]，具体取值为节点序列S′_j中的节点对应的编号。

为了验证本发明方法的效果，将本发明的网络表示学习方法和其他相关网络表示学习方法进行比较，所选的网络表示学习方法分别是HOPE，GraRep， DeepWalk，Node2vec，LINE和SDNE。随机抽取一部分有标签的用户节点进行训练，其余用户节点用做测试。设用做训练数据的比率为T_R，取值范围为[0.1,0.9]。

对所有网络表示学习方法，在BlogCatalog数据集上进行实验，都使用由LibLinear实现的一对多的逻辑回归进行分类。并使用Macro－F1和Micro－F1来衡量使用节点的网络表示进行分类的准确度。

对本发明的网络表示学习方法参数设置如下：

把网络表示学习方法的节点网络表示的维度d设置为128。将每个节点的游走次数r设为10，每次游走长度t设为80。在预训练过程中，将序列长度t设为 80，批尺寸(batchsize)设为32，使用Adam优化器，并设置学习率lr为1e－4，β₁＝0.9，β₂＝0.999，L2权重衰减设置为0.01，将所有层的丢弃概率(dropout probability)设为0.1。在微调阶段，将批尺寸(batch size)设为32，并设置学习率lr为2e－5。

在实验中，将用于训练的数据比率T_R从0.1不断提高到0.9，并记录对应的实验结果。实验的Micro－F1和Macro－F1结果如图4和图5所示所示。实验结果显示本发明的方法与其他六种方法相比较，效果更好。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (8)

1.一种基于深度神经网络的网络表示学习方法，其特征在于包括如下步骤：

1)首先在网络中进行随机游走，得到节点序列；

2)然后结合节点在节点序列中的位置信息，将节点序列中的各个节点转换成特征向量；

3)基于深度双向转换编码器建立学习模型，将步骤2)经过处理的节点序列输入到学习模型中进行训练，得到网络中节点的表示向量。

2.根据权利要求1所述的基于深度神经网络的网络表示学习方法，其特征在于：所述的步骤1)具体如下：设定网络G＝(V，E)，其中V是网络中的节点，E是它的边，|V|表示网络中节点的数量；对于网络G，每次采样随机挑选一个顶点v_i作为随机游走的根节点，i的取值范围为[0，|V|-1]；一次游走从节点的邻居开始，到达最大长度t结束，从而得到由节点构成的节点序列S_j，j的取值范围为正整数；如下式所示：

S_j＝v₁，v₂，...，v_t (1)

对于每个节点，需要进行γ次长度为t的随机游走，其中i的取值范围为[0，|V|-1]，j为正整数，γ的取值范围为[5，1000]，t的取值范围为[10，1000]。

3.根据权利要求1所述的基于深度神经网络的网络表示学习方法，其特征在于：所述的步骤2)具体如下：

(21)对于一个由节点构成的节点序列S_j，对序列中的每个节点根据其在节点序列中的位置进行编号，从0到t-1，并将位置信息转化为向量，得到节点的位置表示X_i；

(22)对节点的特征向量进行随机初始化，得到节点表示

(23)定义学习模型的输入表示为X′_i，包含节点的位置表示X_i和节点表示两部分，处理后的节点序列用S′_j表示，如下式所示：

S′_j＝X′₁，X′₂，...，X′_t (2)。

4.根据权利要求1所述的基于深度神经网络的网络表示学习方法，其特征在于：所述的步骤3)分为预训练和微调两个过程，具体如下：

(31)预训练过程

为了训练模型并得到节点的向量表示，采用BERT模型中提出的masked LM方法，即随机隐藏一定比例的输入节点，然后预测那些隐藏的节点；

(32)微调过程

在微调阶段，使用节点的标签信息进行训练。

5.根据权利要求4所述的基于深度神经网络的网络表示学习方法，其特征在于：所述的步骤(31)具体如下：

S1.在每个节点序列中随机选取一定比例a的隐藏节点用于预测，部分或全部使用隐藏标记[MASK]替换这些节点，a的取值范围为[0.1，0.2]；经过处理的节点序列为S′_j，随机隐藏一定比例a的输入节点后的节点序列S″_j为

S″_j＝X′₁，X′₂，...，[MASK]，...，X′_t (3)

S2.与隐藏节点v_i相对应的特征向量被输入到输出的Softmax中，可以得到其概率向量为如下式所示：

其中表示用于分类的输出层中的权重，|V|表示网络中节点的数量，d是一个比较小的隐式向量的维度；

定义节点v_i对应的one-hot向量表示为损失函数定义如下：

其中i的取值范围为[0，|V|-1]，具体取值为节点序列S″_j中隐藏的节点对应的编号。

6.根据权利要求5所述的基于深度神经网络的网络表示学习方法，其特征在于：步骤S1中，先从全部隐藏节点中随机挑选出A％的部分，再从剩下的隐藏节点中随机挑选出B％的部分，最后剩下的隐藏节点为C％的部分，其中A+B+C＝100，A＞50，B＞0，C＞0；

针对A％的隐藏节点部分，使用隐藏标记[MASK]替换实际节点；针对B％的隐藏节点部分，使用随机的一个节点来替换实际节点；针对C％的隐藏节点部分，保持原节点不变。

7.根据权利要求6所述的基于深度神经网络的网络表示学习方法，其特征在于：步骤S1中，A＝80，B＝10，C＝10。

8.根据权利要求5所述的基于深度神经网络的网络表示学习方法，其特征在于：所述的步骤(32)具体如下：

定义节点v_i的标签向量为其中|T|表示分类标签的数量，节点v_i对应的特征向量为在用于分类的输出层中定义其权重为用标准softmax计算标签概率计算公式如下：

损失函数定义如下：

其中i的取值范围为[0，|V|-1]，具体取值为节点序列S′_j中的节点对应的编号。