CN115860064A - 一种基于演化图卷积的动态网络嵌入方法 - Google Patents

Abstract

本发明提供一种基于演化图卷积的动态网络嵌入方法，涉及网络表示学习技术领域。本发明GCN学习层和演化层两个部分：首先是一个两层的GCN模型，用于学习节点的特征，随着时间的演化，节点可能会发生一些变化，原有的GCN模型参数不再适用演化后的网络。然后使用RNN和多头注意力机制对GCN模型的参数进行更新，获取最新的权重矩阵，用于下一个时间序列的训练。在这个过程中，随着时间推移，历史信息也被学习到了权重之中。最后将学习到的表示用于下游任务的应用中。

Description

一种基于演化图卷积的动态网络嵌入方法

技术领域

本发明涉及网络表示学习技术领域，尤其涉及一种基于演化图卷积的动态网络嵌入方法。

背景技术

随着深度学习的发展，基于图神经网络的网络嵌入取得了巨大成功，当前对于网络嵌入的研究更关注于静态网络，但现实世界中的网络总是不断发展演化的，对动态网络的研究更贴近现实，例如，在引文网络中，由于引用现有技术的新作品的频繁出版，科学论文的引用网络不断丰富，一篇文章的影响力，甚至有时是分类，都会随着时间的推移而发生改变，需要更新节点嵌入以体现这种改变；在金融网络中，交易自然带有时间属性，用户账户的性质可能会因所涉及交易的特点而改变，及早发现这种变化对执法的有效性和降低金融机构的损失至关重要。大量类似的例子证明了研究关系数据的时间演化过程的编码方法的重要性。

静态网络是稳定的，不随时间而改变，因此建模比较方便，而动态网络的拓扑结构会发生变化，当边和节点出现或消失时，图神经网络无法自适应地更改，因此如何捕捉网络的动态信息是动态网络研究的关键。现有方法通常通过改变节点嵌入并使用RNN来调节嵌入并学习时间动态信息。这些方法往往需要一个节点的全时间跨度的知识，不适用于节点集频繁改变的情况。此外，在一些特殊场景下，不同时间快照的节点集可能完全不同，这将直接影响到现有模型的表示能力。

发明内容

针对现有技术的不足，本发明提供一种基于演化图卷积的动态网络嵌入方法。它沿着时间维度调整GCN模型，而不去调整网络嵌入，因此节点的变化没有限制。通过RNN和自注意力机制(Self-Attention)来演化GCN参数，从而捕获图序列的动态性。大量的GNN通过递归地聚合来自单跳邻域的节点嵌入来执行信息融合，网络中大部分参数是每层GCN中节点嵌入的线性变换。值得一提的是，本方法不再训练GCN参数，而是通过时序上的RNN和自注意力机制计算出来，通过这种方式，参数的数量(模型大小)不会随着时间快照的演化而增长。本发明适用于演化图卷积动态网络嵌入学习问题，可以从历史信息中学习到一些关键信息，提高嵌入质量，适用于多种不同的下游任务。

一种基于演化图卷积的动态网络嵌入方法，包括以下步骤：

步骤1：对于给定的图

时间快照t和基本嵌入算法f(·)，对卷积图网络进行构建，构建一个两层GCN模型；

步骤1.1：当时间快照为t时，GCN的第l层以邻接矩阵A_t和节点嵌入矩阵

作为输入，并使用权重矩阵W_t ^(l)将节点嵌入矩阵更新为

并作为当前GCN层的输出，定义为函数GCONV(·)，具体形式如下：

步骤1.2：将A_t进行归一化得到

公式如下:

其中A表示邻接矩阵，I表示单位矩阵，i，j是矩阵中行列表示；

步骤1.3：使用

对A_t进行替换，对每一层GCN的参数进行演化，并且在激活函数σ中使用ReLU函数：

步骤1.4：初始嵌入矩阵来自于节点特征X_t，即

对于GCN的输出层，函数σ跟下游任务有关：若函数σ为恒等式，则

包含从初始特征转换的图节点的高级表示；若函数σ为用于节点分类的softmax，则

由各个节点的预测概率组成；

步骤2：对步骤1中两层GCN模型中每一层的参数分别使用RNN以及多头注意力进行演化，更新其权重信息；

步骤2.1：使用RNN演化第一层GCN权重W_t ⁽⁰⁾，基于当前和历史信息在时间快照t更新GCN的权重矩阵W_t ^(l)，通过搭配使用RNN和Self-Attention达到最好的效果，具体如下：

使用RNN演化第一层GCN；其中RNN包括LSTM和GRU两个版本；

对于使用LSTM演化第一层GCN，具体为，通过LSTM模拟输入-输出关系，通过本身的单元上下文来维护系统信息，在这个版本中不需要使用节点嵌入

将这个过程为如下公式：

对于使用GRU演化第一层GCN，具体为，将W_t ⁽⁰⁾视作动态系统的隐藏状态，使用门控循环单元GRU在时间t输入到系统时更新隐藏状态，输入信息是

将这个过程为如下：

步骤2.2：使用多头自注意力演化第二层GCN权重W_t ⁽¹⁾；

为了进一步捕捉动态图中的时间演化模式，设计了一个时间自注意层，该层的输入是GCN第二层的权重矩阵W_t ⁽¹⁾；多头自注意力机制对权重的演化与嵌入无关，将这个过程定义为MH-SA(·)，公式如下：

步骤3：将两层的GCN权重演化构成一个演化单元，沿着演化层执行图卷积，并随着时间推移演化权重矩阵W；

所述演化单元由两层演化网络组成，第一层演化网络定义了两个版本，分别定义为EU-O(·)和EU-H(·)：

其中具体演化步骤如下：

步骤A1：给定图

和具体的RNN实现方式，其中V₀表示节点集，E₀表示边集，RNN实现方式包括LSTM以及GRU；

步骤A2：对于LSTM来实现从向量版本直接使用到矩阵版本，只需将列向量并排放置以形成矩阵；

步骤A3：对于GRU来实现，首先将输入和隐藏状态从向量扩展到矩阵，其次是将输入的列维度与隐藏状态的列维度匹配；

步骤A4：更新当前GCN层的权重；

第二层演化网络使用了注意力的缩放点积形式，定义为Attentiion(·)，形式如下：

其中Q表示查询向量，K表示键向量，V表示值向量，softmax(·)为激活函数。

步骤B1：查询、键和值来自于通过线性投影矩阵

和

将GCN权重矩阵转换到不同的空间的矩阵。其中W_q，W_k，W_v表示权值矩阵，

为实数域；

步骤B2：使用多头注意力从不同的潜在角度捕捉动态图的演变，并使用Concat函数进行拼接，多头注意力具体公式如下，A^H表示在时间快照t的邻接矩阵：

W_t ⁽¹⁾＝Concat(A¹,A²,A^t,...,A^H)

步骤B3：将查询、键和值沿着不同潜在方面进行投影，关注不同的子空间；

步骤B4：通过不同频率的正弦、余弦函数生成快照的相对位置，具体公式如下：

其中PE表示快照的位置嵌入，pos表示位置属性，d_model表示模型的嵌入维度。

步骤B5：在快照权重的偶数位置添加sin变量，奇数位置添加cos变量，以此来填满整个位置编码矩阵，并作为最终的GCN权重表示PE^t+W_t ⁽¹⁾。

步骤4：在不同时间序列的网络上学习节点的表示，输出图

的图嵌入ε₀，将输出的图嵌入用于下游任务。具体包括将下游任务设置为链路预测、边分类以及节点分类；

所述将下游任务设置为链路预测时，对比各类图嵌入的基线算法；包括如下步骤：

步骤C1：选取实验数据集，包括SBM、bc-otc和BC alpha。

步骤C2：选取图嵌入的基线算法包括GCN-GRU、EvolveGCN-O、EvolveGCN-H、DynGEM、dyngraph2vecAE和dyngraph2vecAERNN；

步骤C3：在运行步骤C2各类图嵌入的基线算法后，将嵌入表示用于链路预测实验，即：通过已知的网络节点以及网络结构等信息预测网络中尚未产生连边的两个节点之间产生链接的可能性，并以平均精度值MAP和平均倒数排名MRR作为评价指标评估算法效果；

步骤C4：对所得到的平均精度值MAP和平均倒数排名MRR进行可视化，并对比分析。

所述将下游任务设置为边分类时，对比各类图嵌入的基线算法；包括如下步骤：

步骤D1：选取实验数据集，包括Reddit、bc-otc和BC alpha。

步骤D2：选取基线算法包括GCN、EvolveGCN-O、EvolveGCN-H、EGSAT-O和EGSAT-H；

步骤D3：在运行步骤D2各类图嵌入的基线算法后，将嵌入表示用于边分类任务，以Micro-F1作为评价指标评估算法效果；其中Miceo-F1即微观F1值；

步骤D4：对所得到Micro-F1值进行可视化，并对比分析。

所述将下游任务设置为节点分类时，对比各类图嵌入的基线算法；包括如下步骤：

步骤E1：选取实验数据集Elliptic。

步骤E2：选取基线算法包括GCN、EvolveGCN-O、EvolveGCN-H、EGSAT-O和EGSAT-H；

步骤E3：在运行步骤E2各类图嵌入的基线算法后，将嵌入表示用于边分类任务，以Micro-F1作为评价指标评估算法效果。

步骤E4：对所得到Micro-F1值进行可视化，并对比分析。

步骤5：可视化展示，完成动态网络的嵌入；

步骤5.1：收集链路预测、节点分类和边分类中所述的实验数据集，并将收集到的数据集存放到数据库中，并展示步骤4中链路预测、节点分类和边分类中基线算法在不同下游任务上的效果；

步骤5.2：对步骤4中的链路预测、节点分类和边分类进行实验并对实验结果进行可视化展示，其步骤如下：

步骤5.2.1：选定步骤4中的链路预测、节点分类和边分类中所述的实验数据集、基线算法，并选定下游任务；

步骤5.2.2：设置超参数，Elliptic数据集使用人工制作的节点特征，Reddit数据集包含计算的特征向量，对于其他数据集，本实验使用one-hot节点度作为输入特征，本方法的两个GCN层的嵌入大小设置相同；

步骤5.2.3：将5.2.1中所选择的数据集在步骤5.2.2所设置的参数条件下进行训练，训练之后得到对应数据集的嵌入表示，并将嵌入表示用于下游任务，即链路预测、边分类或者节点分类；

步骤5.2.4：对5.2.3在下游任务中取得的结果进行可视化展示。

附图说明

图1本发明一种基于演化图卷积的动态网络嵌入方法的方法模型图；

图2本发明将下游任务设置为边分类和节点分类时的Micro-F1值示意图；

图3本发明中可视化显示中动态网络数据详情模块中的节点集随时间快照的变化图。

图4本发明中可视化显示中动态网络数据详情模块中的边集随时间快照的变化图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

一种基于演化图卷积的动态网络嵌入方法，本实施例中运行环境硬件配置为Intel(R)Core(TM)i7-9700 CPU@3.00GHz 3.00GHz，内存16GB；电脑系统为MicrosoftWindows 10专业版；编程工具为Python3.8。如图1所示，包括以下步骤：

步骤1：对于给定的图

时间快照t和基本嵌入算法f(·)，对卷积图网络进行构建，构建一个两层GCN模型；

步骤1.1：当时间快照为t时，GCN的第l层以邻接矩阵A_t和节点嵌入矩阵

作为输入，并使用权重矩阵W_t ^(l)将节点嵌入矩阵更新为

并作为当前GCN层的输出，定义为函数GCONV(·)，具体形式如下：

步骤1.2：将A_t进行归一化得到

公式如下:

其中A表示邻接矩阵，I表示单位矩阵，为了表述清楚省略了时间t；i，j是矩阵中行列表示；

步骤1.3：使用

对A_t进行替换，对每一层GCN的参数进行演化，并且在激活函数σ中使用ReLU函数：

步骤1.4：初始嵌入矩阵来自于节点特征X_t，即

对于GCN的输出层，函数σ跟下游任务有关：若函数σ为恒等式，则

包含从初始特征转换的图节点的高级表示；若函数σ为用于节点分类的softmax，则

由各个节点的预测概率组成；

步骤2：对步骤1中两层GCN模型中每一层的参数分别使用RNN以及多头注意力进行演化，更新其权重信息；

步骤2.1：使用RNN演化第一层GCN权重W_t ⁽⁰⁾，基于当前和历史信息在时间快照t更新GCN的权重矩阵W_t ^(l)，通过搭配使用RNN和Self-Attention达到最好的效果，具体如下：

使用RNN演化第一层GCN；其中RNN包括LSTM和GRU两个版本；

除此之外，只要W_t ⁽⁰⁾、

和

的作用明确，这一层的演化完全可以使用其他RNN架构替代。

对于使用LSTM演化第一层GCN，具体为，通过LSTM模拟输入-输出关系，通过本身的单元上下文来维护系统信息，在这个版本中不需要使用节点嵌入

将这个过程为如下公式：

LSTM()为RNN的一种形式；

对于使用GRU演化第一层GCN，具体为，将W_t ⁽⁰⁾视作动态系统的隐藏状态，使用门控循环单元GRU在时间t输入到系统时更新隐藏状态，输入信息是

将这个过程为如下：

GRU()为RNN的一种形式；

步骤2.2：使用多头自注意力演化第二层GCN权重W_t ⁽¹⁾；

为了进一步捕捉动态图中的时间演化模式，设计了一个时间自注意层，该层的输入是GCN第二层的权重矩阵W_t ⁽¹⁾；时间自注意层的关键目标与演化第一层GCN权重的RNN类似，都是为了捕捉图结构在多个时间快照上的变化，并通过演化GCN权重给模型反映这种变化。多头自注意力机制对权重的演化与嵌入无关，类似LSTM的方式，将这个过程定义为MH-SA(·)，公式如下：

步骤3：将两层的GCN权重演化构成一个演化单元，沿着演化层执行图卷积，并随着时间推移演化权重矩阵W；

所述演化单元由两层演化网络组成，第一层演化网络定义了两个版本，分别定义为EU-O(·)和EU-H(·)：

其中具体演化步骤如下：

步骤A1：给定图

和具体的RNN实现方式，其中V₀表示节点集，E₀表示边集，RNN实现方式包括LSTM以及GRU；

步骤A2：对于LSTM来实现从向量版本直接使用到矩阵版本，只需将列向量并排放置以形成矩阵；

步骤A3：对于GRU来实现，首先将输入和隐藏状态从向量扩展到矩阵(因为此时的隐藏状态是权重矩阵)，其次是将输入的列维度与隐藏状态的列维度匹配；

步骤A4：更新当前GCN层的权重；

第二层演化网络使用了注意力的缩放点积形式，定义为Attentiion(·)，形式如下：

其中Q表示查询向量，K表示键向量，V表示值向量，softmax(·)为激活函数。

步骤B1：查询、键和值来自于通过线性投影矩阵

和

将GCN权重矩阵转换到不同的空间的矩阵。其中W_q，W_k，W_v表示权值矩阵，

为实数域；

步骤B2：使用多头注意力从不同的潜在角度捕捉动态图的演变，并使用Concat函数进行拼接，多头注意力具体公式如下，A^H表示在时间快照t的邻接矩阵：

W_t ⁽¹⁾＝Concat(A¹,A²,A^t,...,A^H)

步骤B3：将查询、键和值沿着不同潜在方面进行投影，关注不同的子空间；

步骤B4：通过不同频率的正弦、余弦函数生成快照的相对位置，具体公式如下：

其中PE表示快照的位置嵌入，pos表示位置属性，d_model表示模型的嵌入维度。

步骤B5：在快照权重的偶数位置添加sin变量，奇数位置添加cos变量，以此来填满整个位置编码矩阵，并作为最终的GCN权重表示PE^t+W_t ⁽¹⁾。

步骤4：在不同时间序列的网络上学习节点的表示，输出图

的图嵌入ε₀，将输出的图嵌入用于下游任务。具体包括将下游任务设置为链路预测、边分类以及节点分类；

所述将下游任务设置为链路预测时，对比各类图嵌入的基线算法；包括如下步骤：

步骤C1：选取实验数据集，包括SBM、bc-otc和BC alpha。

步骤C2：选取图嵌入的基线算法包括GCN-GRU、EvolveGCN-O、EvolveGCN-H、DynGEM、dyngraph2vecAE和dyngraph2vecAERNN；

步骤C3：在运行步骤C2各类图嵌入的基线算法后，将嵌入表示用于链路预测实验，即：通过已知的网络节点以及网络结构等信息预测网络中尚未产生连边的两个节点之间产生链接的可能性，并以平均精度值MAP和平均倒数排名MRR作为评价指标评估算法效果；

步骤C4：对所得到的平均精度值MAP和平均倒数排名MRR进行可视化，并对比分析。

所述将下游任务设置为边分类时，对比各类图嵌入的基线算法；包括如下步骤：

步骤D1：选取实验数据集，包括Reddit、bc-otc和BC alpha。

步骤D2：选取基线算法包括GCN、EvolveGCN-O、EvolveGCN-H、EGSAT-O和EGSAT-H；

步骤D3：在运行步骤D2各类图嵌入的基线算法后，将嵌入表示用于边分类任务，以Micro-F1作为评价指标评估算法效果；其中Miceo-F1即微观F1值；是分类问题的一个衡量指标，用于权衡精确率(Precision)和(召回率)Recall，被定义为精确率和召回率的调和平均数。

步骤D4：对所得到Micro-F1值进行可视化，并对比分析。

所述将下游任务设置为节点分类时，对比各类图嵌入的基线算法；包括如下步骤：

步骤E1：选取实验数据集Elliptic。

步骤E2：选取基线算法包括GCN、EvolveGCN-O、EvolveGCN-H、EGSAT-O和EGSAT-H；

步骤E3：在运行步骤E2各类图嵌入的基线算法后，将嵌入表示用于边分类任务，以Micro-F1作为评价指标评估算法效果。

步骤E4：对所得到Micro-F1值进行可视化，并对比分析。如图2所示，是本实施例中在各种算法下获得节点嵌入向量后，将下游任务设置为边分类和节点分类时的Micro-F1值。

步骤5：可视化展示；

步骤5.1：收集链路预测、节点分类和边分类中所述的实验数据集，并将收集到的数据集存放到数据库中，并展示步骤4中链路预测、节点分类和边分类中基线算法在不同下游任务上的效果；

步骤5.2：对步骤4中的链路预测、节点分类和边分类进行实验并对实验结果进行可视化展示，其步骤如下：

步骤5.2.1：选定步骤4中的链路预测、节点分类和边分类中所述的实验数据集、基线算法，并选定下游任务；

步骤5.2.2：设置超参数，Elliptic数据集使用人工制作的节点特征，Reddit数据集包含计算的特征向量，对于其他数据集，本实验使用one-hot节点度作为输入特征，本方法的两个GCN层的嵌入大小设置相同；在设置超参数的时候，设置输入限制和提示，避免因错误输入导致训练崩溃。

步骤5.2.3：将5.2.1中所选择的数据集在步骤5.2.2所设置的参数条件下进行训练，训练之后得到对应数据集的嵌入表示，并将嵌入表示用于下游任务，即链路预测、边分类或者节点分类；

步骤5.2.4：对5.2.3在下游任务中取得的结果进行可视化展示。本实施例中实验选取SBM数据集。选取基线算法包括GCN-GRU、EvolveGCN-O、EvolveGCN-H、DynGEM、dyngraph2vecAE和dyngraph2vecAERNN。超参数设置。所有基本嵌入方法，嵌入维度d设置为128。在运行该方法和各类图嵌入的基线算法后，得出在不同基线算法下的MAP值和MRR值。不同算法的CPU时间process_time(当前进程的系统和用户CPU时间总和的值)，这个时间值常用于代码时间的测试，并且报告的时间包括模型的所有阶段用时。对MAP值和MRR时进行可视化，并对比分析。如图3、图4所示，分别可以查看节点集和边集随时间的变化。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (7)

1.一种基于演化图卷积的动态网络嵌入方法，其特征在于，包括以下步骤：

步骤1：对于给定的图

时间快照t和基本嵌入算法f(·)，对卷积图网络进行构建，构建一个两层GCN模型；

步骤2：对步骤1中两层GCN模型中每一层的参数分别使用RNN以及多头注意力进行演化，更新其权重信息；

步骤3：将两层的GCN权重演化构成一个演化单元，沿着演化层执行图卷积，并随着时间推移演化权重矩阵W；

步骤4：在不同时间序列的网络上学习节点的表示，输出图

的图嵌入ε₀，将输出的图嵌入用于下游任务：具体包括将下游任务设置为链路预测、边分类以及节点分类；

步骤5：可视化展示，完成动态网络的嵌入。

2.根据权利要求1所述的一种基于演化图卷积的动态网络嵌入方法，其特征在于，所述步骤1具体包括以下步骤：

步骤1.1：当时间快照为t时，GCN的第l层以邻接矩阵A_t和节点嵌入矩阵

作为输入，并使用权重矩阵W_t ^(l)将节点嵌入矩阵更新为

并作为当前GCN层的输出，定义为函数GCONV(·)，具体形式如下：

步骤1.2：将A_t进行归一化得到

公式如下:

其中A表示邻接矩阵，I表示单位矩阵，i，j是矩阵中行列表示；

步骤1.3：使用

对A_t进行替换，对每一层GCN的参数进行演化，并且在激活函数σ中使用ReLU函数：

步骤1.4：初始嵌入矩阵来自于节点特征X_t，即

对于GCN的输出层，函数σ跟下游任务有关：若函数σ为恒等式，则

包含从初始特征转换的图节点的高级表示；若函数σ为用于节点分类的softmax，则

由各个节点的预测概率组成。

3.根据权利要求1所述的一种基于演化图卷积的动态网络嵌入方法，其特征在于，所述步骤2中：

步骤2.1：使用RNN演化第一层GCN权重W_t ⁽⁰⁾，基于当前和历史信息在时间快照t更新GCN的权重矩阵W_t ^(l)，通过搭配使用RNN和Self-Attention达到最好的效果，具体如下：

使用RNN演化第一层GCN；其中RNN包括LSTM和GRU两个版本；

对于使用LSTM演化第一层GCN，具体为，通过LSTM模拟输入-输出关系，通过本身的单元上下文来维护系统信息，在这个版本中不需要使用节点嵌入

将这个过程为如下公式：

对于使用GRU演化第一层GCN，具体为，将W_t ⁽⁰⁾视作动态系统的隐藏状态，使用门控循环单元GRU在时间t输入到系统时更新隐藏状态，输入信息是

将这个过程为如下：

步骤2.2：使用多头自注意力演化第二层GCN权重W_t ⁽¹⁾；

为了进一步捕捉动态图中的时间演化模式，设计了一个时间自注意层，该层的输入是GCN第二层的权重矩阵W_t ⁽¹⁾；多头自注意力机制对权重的演化与嵌入无关，将这个过程定义为MH-SA(·)，公式如下：

4.根据权利要求1所述的一种基于演化图卷积的动态网络嵌入方法，其特征在于，步骤3中，所述演化单元由两层演化网络组成，第一层演化网络定义了两个版本，分别定义为EU-O(·)和EU-H(·)：

其中具体演化步骤如下：

步骤A1：给定图

和具体的RNN实现方式，其中V₀表示节点集，E₀表示边集，RNN实现方式包括LSTM以及GRU；

步骤A2：对于LSTM来实现从向量版本直接使用到矩阵版本，只需将列向量并排放置以形成矩阵；

步骤A3：对于GRU来实现，首先将输入和隐藏状态从向量扩展到矩阵，其次是将输入的列维度与隐藏状态的列维度匹配；

步骤A4：更新当前GCN层的权重；

第二层演化网络使用了注意力的缩放点积形式，定义为Attentiion(·)，形式如下：

其中Q表示查询向量，K表示键向量，V表示值向量，softmax(·)为激活函数；

步骤B1：查询、键和值来自于通过线性投影矩阵

和

将GCN权重矩阵转换到不同的空间的矩阵，其中W_q，W_k，W_v表示权值矩阵，

为实数域；

步骤B2：使用多头注意力从不同的潜在角度捕捉动态图的演变，并使用Concat函数进行拼接，多头注意力具体公式如下，A^H表示在时间快照t的邻接矩阵：

W_t ⁽¹⁾＝Concat(A¹,A²,A^t,...,A^H)

步骤B3：将查询、键和值沿着不同潜在方面进行投影，关注不同的子空间；

步骤B4：通过不同频率的正弦、余弦函数生成快照的相对位置，具体公式如下：

其中PE表示快照的位置嵌入，pos表示位置属性，d_model表示模型的嵌入维度；

步骤B5：在快照权重的偶数位置添加sin变量，奇数位置添加cos变量，以此来填满整个位置编码矩阵，并作为最终的GCN权重表示PE^t+W_t ⁽¹⁾。

5.根据权利要求1所述的一种基于演化图卷积的动态网络嵌入方法，其特征在于，步骤4中：所述将下游任务设置为链路预测时，对比各类图嵌入的基线算法；包括如下步骤：

步骤C1：选取实验数据集，包括SBM、bc-otc和BC alpha；

步骤C2：选取图嵌入的基线算法包括GCN-GRU、EvolveGCN-O、EvolveGCN-H、DynGEM、dyngraph2vecAE和dyngraph2vecAERNN；

步骤C3：在运行步骤C2各类图嵌入的基线算法后，将嵌入表示用于链路预测实验，即：通过已知的网络节点以及网络结构等信息预测网络中尚未产生连边的两个节点之间产生链接的可能性，并以平均精度值MAP和平均倒数排名MRR作为评价指标评估算法效果；

步骤C4：对所得到的平均精度值MAP和平均倒数排名MRR进行可视化，并对比分析；

所述将下游任务设置为边分类时，对比各类图嵌入的基线算法；包括如下步骤：

步骤D1：选取实验数据集，包括Reddit、bc-otc和BC alpha；

步骤D2：选取基线算法包括GCN、EvolveGCN-O、EvolveGCN-H、EGSAT-O和EGSAT-H；

步骤D3：在运行步骤D2各类图嵌入的基线算法后，将嵌入表示用于边分类任务，以Micro-F1作为评价指标评估算法效果；其中Miceo-F1即微观F1值；

步骤D4：对所得到Micro-F1值进行可视化，并对比分析；

所述将下游任务设置为节点分类时，对比各类图嵌入的基线算法；包括如下步骤：

步骤E1：选取实验数据集Elliptic；

步骤E2：选取基线算法包括GCN、EvolveGCN-O、EvolveGCN-H、EGSAT-O和EGSAT-H；

步骤E3：在运行步骤E2各类图嵌入的基线算法后，将嵌入表示用于边分类任务，以Micro-F1作为评价指标评估算法效果；

步骤E4：对所得到Micro-F1值进行可视化，并对比分析。

6.根据权利要求1所述的一种基于演化图卷积的动态网络嵌入方法，其特征在于，所述步骤5具体包括以下步骤：

步骤5.1：收集链路预测、节点分类和边分类中所述的实验数据集，并将收集到的数据集存放到数据库中，并展示步骤4中链路预测、节点分类和边分类中基线算法在不同下游任务上的效果；

步骤5.2：对步骤4中的链路预测、节点分类和边分类进行实验并对实验结果进行可视化展示。

7.根据权利要求1所述的一种基于演化图卷积的动态网络嵌入方法，其特征在于，所述步骤5.2具体包括以下步骤：

步骤5.2.1：选定步骤4中的链路预测、节点分类和边分类中所述的实验数据集、基线算法，并选定下游任务；

步骤5.2.2：设置超参数，Elliptic数据集使用人工制作的节点特征，Reddit数据集包含计算的特征向量，对于其他数据集，本实验使用one-hot节点度作为输入特征，本方法的两个GCN层的嵌入大小设置相同；

步骤5.2.3：将5.2.1中所选择的数据集在步骤5.2.2所设置的参数条件下进行训练，训练之后得到对应数据集的嵌入表示，并将嵌入表示用于下游任务，即链路预测、边分类或者节点分类；

步骤5.2.4：对5.2.3在下游任务中取得的结果进行可视化展示。

Images