CN113784414B - 一种采用图对比学习的机会网络节点嵌入方法 - Google Patents

Abstract

本发明公开了一种采用图对比学习的机会网络节点嵌入方法，包括：S1，处理机会网络源数据，构建机会网络的拓扑图表示与特征表示；S2，对机会网络进行增广操作，得到两种不同的视图，并利用节点连边次数确定机会网络中的正例节点集与负例节点集；S3，采用图注意力网络对不同视图下的机会网络进行表征，得到其相应节点嵌入向量；S4，采用多层感知机映射不同视图下的节点嵌入向量，并通过预定义的损失函数，最小化正例节点集中不同视图间节点映射向量的余弦相似性以更新图注意力网络的训练参数。本发明能够应用于多种基于机器学习的机会网络下游任务研究模型中，解决其在现实环境下由于标签质量低下导致的过拟合、泛化性差等问题，提高模型精度。

Description

一种采用图对比学习的机会网络节点嵌入方法

技术领域

本发明涉及机会网络分析技术领域，特别是涉及一种采用图对比学习的机会网络节点嵌入方法。

背景技术

在现实环境中，网络中的节点具备移动性。然而由于节点通讯范围的限制，节点间的无线链路会发生无规律的断开与连接，这严重影响了网络中节点间的通讯效率。因此，机会网络(Opportunistic Network)应运而生，机会网络是一种不需要源节点与目标节点存在完整无线链路的新型网络，其能够在无线链路断开的情况下完成节点间的通讯。

近几年来，机会网络节点嵌入已成为机会网络分析领域中重要的研究方向。网络嵌入方法旨在学习一种编码的方法，该方法可以将节点转化为保留图拓扑与特征属性的嵌入向量，并根据下游任务设计相应的模型以进行研究。然而，在现有机会网络领域的研究中，绝大部分的节点嵌入方法需要得到机会网络相应的标签并基于此进行训练，在现实环境中，机会网络下游任务标签经常由于难以获取或者获取成本较高而出现标签质量低下问题，导致相应模型出现过拟合、泛化性差等问题。

发明内容

针对上述问题，本发明的目的在于提出一种采用图对比学习的机会网络节点嵌入方法，以解决在现实环境中机会网络下游任务标签质量低下，导致相应模型出现过拟合、泛化性差等问题。

本发明采用的技术方案如下：一种采用图对比学习的机会网络节点嵌入方法，包括如下步骤：

S1，处理机会网络源数据并构建机会网络的拓扑图表示与特征表示，根据机会网络数据中的连边次数w与连边时长Δt构建机会网络邻接矩阵

与特征矩阵

S2，从拓扑与特征两方面对机会网络进行增广操作，分别得到两种不同的视图τ₁与τ₂，并根据节点连边次数w确定机会网络中的正例与负例；

S3，分别将不同视图下的邻接矩阵与特征矩阵

与

与

输入到图注意力网络(Graph Attention Network，GAT)中，得到机会网络各节点的嵌入向量

与

其中D为嵌入向量维度；

S4，采用多层感知机(Multilayer Perceptron，MLP)对节点嵌入向量

与

进行转换得到映射向量

与

计算其映射向量间的余弦相似性，其中D′为映射向量维度且D′＞D，并利用预定义的损失函数，通过最小化正例节点集中不同视图下节点映射向量的余弦相似性的方式训练GAT。

自此，训练好的GAT将具备输出具有高效表征能力的机会网络节点的嵌入向量，可用于各类下游任务中。

可选的，在步骤S1中，机会网络邻接矩阵A根据节点间是否存在连边构建，具体构建方法如公式(1)所示：

其中ω_i,j为节点v_i与v_j的连边数，A_i,j对应v_i与v_j在邻接矩阵A中的位置。

可选的，在步骤S1中，机会网络特征矩阵X由机会网络快照G^m(m∈{1,2,...,M})中各节点对应的平均活跃时长x^m拼接而成。机会网络快照G^m构建方法为：确定机会网络快照时间跨度ΔT，将机会网络均匀地分割为M个机会网络快照G^m(m∈{1,2,...,M})。x^m的计算方法如公式(2)所示：

其中，

为机会网络快照G^m中节点

的一阶邻居，K为

中节点的个数，

为节点

与

中的节点

的连边时长。机会网络快照时间跨度ΔT根据具体机会网络数据集的统计单位(天，月)确定。

可选的，在步骤S2中，利用移除拓扑图中重要度最低的U条边实现基于拓扑的机会网络增广，即在视图τ₁，机会网络的特征矩阵X不变，邻接矩阵A发生变化。拓扑图中各条连边的重要度

计算方法如公式(3)所示：

其中Γ(v_i)为节点v_i的一阶邻居个数，Γ(v_j)为节点v_j的一阶邻居个数。具体的移除方法为修改邻接矩阵A中对应边e_i,j的A_i,j为0。U的大小为机会网络拓扑图中连边数量的5％；

可选的，在步骤S2中，利用掩盖极大连通节点对数最小的V个机会网络快照所对应在特征矩阵中的V维特征实现基于特征的机会网络增广，即在视图τ₂中，机会网络的邻接矩阵A不变，特征矩阵X发生变化。机会网络快照G^m中的极大连通节点对数ONPairwise^m计算方法如公式(4)所示：

其中

为机会网络快照G^m的第i个连通分量

中所包含节点的个数，C为机会网络快照G^m包含连通分量的个数。具体掩盖方法为修改特征矩阵X中机会网络快照G^m对应的第m列向量x^m为0。V的大小为机会网络快照总数的5％。

可选的，在步骤S2中，机会网络中的正例节点集与负例节点集基于机会网络节点连边次数w确定，将w最高的前R个节点组成正例节点集

其余节点则组成负例节点集

可选的，在步骤S3中，将机会网络视图τ₁与τ₂对应的邻接矩阵与特征矩阵

与

与

分别输入到两个结构相同且参数共享的GAT模型中，得到机会网络节点嵌入向量

与

可选的，在步骤S4中，机会网络节点嵌入向量

与

输入到两个结构相同且参数共享的MLP模型中，获得节点映射向量

与

并利用其计算同一节点在不同视图下映射向量之间的余弦相似性，计算方法如公式(5)所示：

可选的，在步骤S4中，最小化正例样本

中同一节点在不同视图下映射向量之间的余弦相似性并定义损失函数loss，其计算方法如公式(6)所示：

其中

与

为来自正例节点集

的节点在视图τ₁与τ₂下的节点映射向量，

与

为所有节点在视图τ₁与τ₂下的节点映射向量。

根据本发明提供的采用图对比学习的机会网络节点嵌入方法，通过学习节点拓扑与特征的重要信息进行节点嵌入向量的优化，首先处理机会网络源数据并构建机会网络的拓扑图表示与特征表示，对机会网络进行增广操作获得其两种不同的视图，通过图注意力网络对不同机会网络视图进行表征得到节点嵌入向量，其次定义机会网络中的正例节点集与负例节点集，并采用多层感知机将不同视图中的节点进行映射，通过最小化正例节点集在不同视图中映射向量的余弦相似性对图注意力网络进行训练，最后将机会网络的拓扑表示与特征表示输入到最终的图注意力网络中进行表征，获取节点嵌入向量并运用于各类下游任务中，有效解决了在现实环境中机会网络下游任务标签质量低下导致的相应模型具有过拟合、泛化性差等问题，提高模型精度。

附图说明

图1为机会网络源数据中节点通讯格式示意图；

图2为基于拓扑的机会网络增广方法示意图；

图3为基于特征的机会网络增广方法示意图；

图4为机会网络不同视图下的节点嵌入过程示意图；

图5为不同视图下节点嵌入向量转化与余弦相似性计算过程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种采用图对比学习的机会网络节点嵌入方法，包括以下步骤：

S1，处理机会网络源数据并构建机会网络的拓扑图与特征，根据机会网络数据中的连边次数w与连边时长Δt构建机会网络邻接矩阵

与特征矩阵

S2，从拓扑与特征两方面对机会网络进行增广操作，分别得到两种不同的视图τ₁与τ₂，并根据节点连边次数w确定机会网络中的正例与负例。

S3，分别将机会网络不同视图下的邻接矩阵A与特征矩阵X输入到GAT中，得到机会网络各节点的嵌入向量

与

其中D为嵌入向量维度。

S4，采用MLP对节点嵌入向量

与

进行转换得到映射向量

与

计算其映射向量间的余弦相似性，其中D′为映射向量维度且D′＞D，并定义的损失函数，通过最小化正例节点集中不同视图下节点映射向量的余弦相似性的方式更新GAT的训练参数。

自此，训练好的GAT将具备输出具有高效表征能力的机会网络节点的嵌入向量，可用于各类下游任务中。

步骤S1具体包括：

①处理机会网络源数据。机会网络源数据中节点通讯格式如附图1所示，其中Time为发生通讯的时间戳、Action为通讯的行为、First_Node为通讯的源节点、Second_Node为通讯的目标节点、Type为通讯的类型。对以上数据进行预处理获取节点连边次数w与连边时长Δt，其中w通过统计通讯中具有相同源节点与目标节点的个数获得，Δt则为具有相同源节点与目标节点的通讯中类型为“UP”与类型为“DOWN”的通讯间时间戳的差值。

②机会网络拓扑图的构建。利用邻接矩阵

表示机会网络拓扑图结构，其根据节点间是否存在连边构建，具体构建方法如公式(1)所示：

其中ω_i,j为节点v_i与v_j的连边数，A_i,j对应v_i与v_j在邻接矩阵A中的位置。

③机会网络特征的构建。利用特征矩阵X表示机会网络特征，首先确定时间跨度ΔT将机会网络均匀分割为M个机会网络快照G^m(m∈{1,2,...,})并计算G^m中各节点的平均活跃时长

其次将各G^m中的x^m按顺序横向拼接，得到机会网络特征矩阵

节点平均活跃时长

计算方法如公式(2)所示：

其中，

为机会网络快照G^m中节点

的一阶邻居，K为

中节点的个数，

为节点

与

中节点

的连边时长。机会网络快照时间跨度ΔT根据具体机会网络数据集的统计单位(天，月)确定。

步骤S2具体包括：

①基于拓扑的机会网络增广方法。利用移除拓扑图中重要度最低的U条边实现基于拓扑的机会网络增广，得到视图τ₁。其特点为机会网络的特征矩阵X不变，邻接矩阵A发生变化。拓扑图中各条连边的重要度

计算方法如公式(3)所示：

其中Γ(v_i)为节点v_i的一阶邻居个数，Γ(v_j)为节点v_j的一阶邻居个数。具体的移除方法如附图2所示，修改邻接矩阵A中对应边e_i,j的A_i,j为0，的大小为机会网络拓扑图中连边数量的5％；

②基于特征的机会网络增广方法。利用掩盖极大连通节点对数最小的V个机会网络快照所对应在特征矩阵中的V维特征实现基于特征的机会网络增广，得到视图τ₂，其特点为机会网络的邻接矩阵A不变，特征矩阵X发生变化。机会网络快照G^m中的极大连通节点对数ONPairwise^m计算方法如公式(4)所示：

其中

为机会网络快照G^m的第i个连通分量

中所包含节点的个数，C为机会网络快照G^m包含连通分量的个数。具体掩盖方法如附图3所示，修改特征矩阵X中机会网络快照G^m对应的第m列向量x^m为0，V的大小为机会网络快照总数的5％。

③机会网络正例节点集与负例节点集的确定。利用节点连边次数w确定机会网络中的正例与负例，将w最高的前R个节点组成正例节点集

其余节点则组成负例节点集

R的大小为机会网络节点总数的5％。

步骤S3具体包括：

①利用GAT对机会网络节点进行嵌入。如附图4所示，将不同视图中的邻接矩阵与特征矩阵

与

与

分别输入到两个结构相同且参数共享的GAT模型中，得到相应视图下机会网络节点嵌入向量

与

其具体步骤为：

I，对机会网络中的节点特征X进行线性变换，并利用self-attention机制计算相邻节点v_i与v_j的注意力系数e_i,j，其计算如公式(5)所示：

e_i,j＝Attention(W₁x_i·W₁x_j)#(5)

其中x_i与x_j分别为机会网络特征矩阵X中的第i行与第j行向量，W₁为训练参数，Attention(·)为向量拼接操作。

II，通过SoftMax函数对节点与其邻居的注意力系数进行归一化操作得到节点间的注意力因子α_i,j，其计算如公式(6)所示：

其中

为节点v_i的一阶邻域。

III，利用节点v_i与其一阶邻居

中的注意力因子α_i,j进行邻域聚合操作，其计算如公式(7)所示：

其中W₁为训练参数，Relu为激活函数，Z_i为节点v_i的嵌入向量，而Z则由机会网络各个节点嵌入向量在纵向拼接而成。

步骤S4具体包括：

①计算不同视图间节点嵌入向量的余弦相似性。如附图5所示，首先利用两个结构相同且参数共享的MLP将不同视图下的节点嵌入向量

与

转化为映射向量

与

具体转化过程如公式(8)所示：

Z_proj＝Relu(W₃Relu(W₂Z+b₂)+b₃)#(8)

其中W₂与W₃为训练参数，b₂与b₃为偏置量，Relu为激活函数。其次计算同一节点在不同视图下其映射向量间的余弦相似性，其计算方法如公式(9)所示：

②损失函数的定义。通过最小化正例节点集中节点在不同视图下的映射向量设计损失函数，利用随机梯度下降方法来最小化损失函数并对GAT与MLP中训练参数W₁、W₂、W₃进行更新，直到损失函数收敛到稳定状态。损失函数loss的计算如公式(10)所示：

最后将机会网络邻接矩阵A与特征矩阵X输入到训练好的GAT中，得到相应的机会网络节点嵌入训练

通过微调的方式与各类下游任务结合，获取的机会网络节点嵌入向量可以较准确的表征机会网络。

根据上述的采用图对比学习的机会网络节点嵌入方法，通过学习节点拓扑与特征的重要信息进行节点嵌入向量的优化，首先处理机会网络源数据并构建机会网络的拓扑图表示与特征表示，对机会网络进行增广操作获得其两种不同的视图，通过图注意力网络对不同机会网络视图进行表征得到节点嵌入向量，其次定义机会网络中的正例节点集与负例节点集，并采用多层感知机将不同视图中的节点进行映射，通过最小化正例节点集在不同视图中映射向量的余弦相似性对图注意力网络进行训练，最后将机会网络的拓扑表示与特征表示输入到最终的图注意力网络中进行表征，获取节点嵌入向量并运用于各类下游任务中，有效解决了在现实环境中机会网络下游任务标签质量低下导致的相应模型具有过拟合、泛化性差等问题，提高模型精度。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (1)

1.一种图对比学习的机会网络节点嵌入方法，其特征在于，包括如下步骤：

S1，处理机会网络源数据，构建机会网络的拓扑图表示与特征表示；

S2，对机会网络进行增广操作，得到两种不同的视图，并利用节点连边次数确定机会网络中的正例节点集与负例节点集；

S3，采用图注意力网络对不同视图下的机会网络进行表征，得到其相应节点嵌入向量；

S4，采用多层感知机映射不同视图下的节点嵌入向量，并通过预定义的损失函数，最小化正例节点集中不同视图间节点映射向量的余弦相似性以更新图注意力网络的训练参数；

步骤S1中机会网络的特征由特征向量

表示，而特征向量X由机会网络快照G^m(m∈{1,2,...,M})中各节点的平均活跃时长

拼接而成，其中，N为机会网络节点个数，M为机会网络快照个数，x^m计算方法如下式所示：

其中，

为机会网络快照G^m中节点

的一阶邻居，K为

中节点的个数，

为节点

与

中节点

的连边时长；

步骤S1中，机会网络拓扑图的构建包括：利用邻接矩阵

表示机会网络拓扑图结构，其根据节点间是否存在连边构建，具体构建方法如下式所示：

其中ω_i,j为节点v_i与v_j的连边数，A_i,j对应v_i与v_j在邻接矩阵A中的位置；

步骤S2中机会网络增广操作的具体步骤为：

基于拓扑的机会网络增广方法：对于机会网络拓扑图中的任意一条连边e_i,j，计算其边重要度J_ei,，其计算方法如下式所示：

其中Γ(v_i)为节点v_i的一阶邻居个数，Γ(v_j)为节点v_j的一阶邻居个数，对每一条连边e_i,j的重要度从大到小进行排序，并将排名最低的U条连边从机会网络中删除，形成视图τ₁，U的大小为机会网络拓扑图中整体连边数量的5％；

基于特征的机会网络增广方法：计算机会网络快照G^m中的极大连通节点对数ONPairwise^m，其计算方法如下式所示：

其中

为机会网络快照G^m的第i个连通分量

中所包含节点的个数，C为该机会网络快照包含连通分量的个数，对各个机会网络快照的极大连通节点对数从大到小进行排序，并将排名最低的V个机会网络快照的特征修改为0，形成视图τ₂，V的大小为机会网络快照总数的5％；

步骤S2利用节点连边次数w确定机会网络中的正例与负例，将w最高的前R个节点组成正例节点集

其余节点则组成负例节点集

R的大小为机会网络节点总数的5％；

步骤S4中预定义的损失函数loss，其计算方法如下式所示：

其中，

为正例节点集，

为负例节点集，sim(·)为向量余弦相似性，

与

分别为在τ₁视图与τ₂视图下来自正例节点集中的节点映射向量，

与

分别为在τ₁视图与τ₂视图下所有节点映射向量；

步骤S3具体包括：

利用图注意力网络GAT对机会网络节点进行嵌入，将不同视图中的邻接矩阵与特征矩阵

与

与

分别输入到两个结构相同且参数共享的GAT模型中，得到相应视图下机会网络节点嵌入向量

与

具体步骤为：

I，对机会网络中的节点特征X进行线性变换，并利用self-attention机制计算相邻节点v_i与v_j的注意力系数e_i,j，计算如下式所示：

e_i,j＝Attention(W₁x_i·W₁x_j)#

其中x_i与x_j分别为机会网络特征矩阵X中的第i行与第j行向量，W₁为训练参数，Attention(·)为向量拼接操作；

II，通过SoftMax函数对节点与其邻居的注意力系数进行归一化操作得到节点间的注意力因子α_i,j，计算如下式所示：

其中

为节点v_i的一阶邻域；

III，利用节点v_i与其一阶邻居

中的注意力因子α_i,j进行邻域聚合操作，计算如下式所示：

其中W₁为训练参数，Relu为激活函数，Z_i为节点v_i的嵌入向量，而Z则由机会网络各个节点嵌入向量在纵向拼接而成。

Images