CN113537613A - 一种模体感知的时态网络预测方法 - Google Patents

Abstract

本发明公开了一种模体感知的时态网络预测方法，包括：首先，将时态网络中的交互作为样本，得到训练数据集；其次，根据预先定义的时态网络模体构建额外的边特征，显式利用包含时间信息的复杂拓扑结构；然后，根据交互发生的时间顺序，利用循环神经网络依次更新交互涉及节点的表示；接着，利用参数不同的多头注意力机制分别聚合反映历史拓扑结构和当前拓扑结构的邻居节点，获得基于邻居的节点表示，预测时态网络中可能发生的交互。

Description

一种模体感知的时态网络预测方法

技术领域

本发明涉及时态网络预测领域，具体涉及一种模体感知的时态网络预测方法。

背景技术

现实生活中的许多领域，如社交网络、知识分享社区和电子商务等都可形成随时间变化的时态网络。时态网络中，发生交互的对象视为节点，带时间戳的交互行为视为节点之间的边。随着时间的推移，时态网络的节点之间会产生新的边，同时会有新的节点出现在时态网络中。图1以社交平台为例展示了时态网络的一个实例，用户视为时态网络中的节点，用户之间发送消息的行为视为时态网络中的边，发送消息的时间视为边上时间戳。时态网络预测指基于历史数据预测时态网络中接下来可能发生的交互。由于时态网络随时间动态变化，与静态网络相比更为复杂，对其进行预测的挑战在于如何协同利用拓扑结构和时间信息建模网络的动态演化。

基于离散时间的时态网络预测方法将时态网络以预先设定的时间窗口进行切割，在切割形成的网络快照序列上进行嵌入得到节点表示用于预测。该类方法可进一步细分为基于时间平滑约束和基于深度序列模型的预测方法。基于时间平滑约束的方法对序列中相邻网络快照的节点嵌入附加平滑约束，建模时态网络的动态演化，然而时态网络在演化过程中会出现突变，因而此类方法的实际性能并不理想；基于深度序列模型的方法利用神经网络对网络快照序列进行建模，捕捉时态网络演变过程中的时间依赖关系，然而此类方法通过两个阶段分别建模拓扑结构和时间信息，无法协同建模上述两类信息，对网络演化模式的建模仍不充分。

基于连续时间的时态网络预测方法根据时间顺序流式处理每一条边(交互)，获得随时间动态变化的节点表示用于预测。该类方法可进一步分为不利用邻居信息的预测方法和利用邻居信息的预测方法。不利用邻居信息的预测方法在流式处理交互序列时只考虑当前交互涉及的两个节点，不考虑节点的拓扑结构，无法利用拓扑结构建模时态网络的动态演化；利用邻居信息的预测方法引入了时态网络的拓扑结构，结合节点的邻居信息对其进行建模，但是此类方法未显式利用包含时间信息的复杂拓扑结构，难以建模时态网络的复杂演化模式。

发明内容

鉴于上述，本发明的目的是提供了一种模体感知的时态网络预测方法，通过利用利用复杂的拓扑结构提升时态网络预测的准确性。

实施例提供的一种模体感知的时态网络预测方法，包括以下步骤：

步骤1，获取并定义时态网络为

其中，e＝(v_i,v_j,t)表示节点v_i和节点v_j在时刻t发生的交互；

步骤2，依据预先定义的时态网络模体集合

统计时态网络中各交互参与形成的时态网络模体实例数，构建交互对应的额外的边特征r(e)；

步骤3，将时态网络中的每个交互e作为样本(v_i,v_j,t)，利用循环神经网络更新样本的节点表示；

步骤4，针对每个样本(v_i,v_j,t)，分别获取反映节点v_i历史拓扑结构的邻居节点N(v_i)_his和当前拓扑结构的邻居节点N(v_i)_cur，构建包含节点v_i多跳邻居的计算子图Mapv_i和包含节点v_j多跳邻居的计算子图Mapv_j；

步骤5，在计算子图Mapv_i上，结合交互对应的额外的边特征r(e)，利用参数不同的多头注意力机制的图神经网络分别聚合邻居节点N(v_i)_his和N(v_i)_cur，获得节点v_i基于邻居的表示z_i(t)；在计算子图Mapv_j上，结合交互对应的额外的边特征r(e)，利用参数不同的多头注意力机制分别聚合邻居节点N(v_j)_his和N(v_j)_cur，获得节点v_j基于邻居的表示z_j(t)；

步骤6，将节点v_i基于邻居的表示z_i(t)和节点v_j基于邻居的表示z_j(t)串接后送入全连接神经网络，计算节点v_i和节点v_j在时刻t发生交互的概率，利用交叉熵函数计算损失

依据交叉熵函数计算损失

更新循环神经网络、图神经网络以及全连接神经网络参数；参数调优后的循环神经网络、图神经网络以及全连接神经网络参数组成时态网络预测模型；

步骤7，利用参数调优后的时态网络预测模型预测时态网络坑发生交互。

上述实施例提供的模体感知的时态网络预测方法，利用时态网络模体捕捉包含时间信息的复杂拓扑结构，同时利用基于多头注意力机制的图神经网络聚合邻居信息，获得更为准确的节点表示用于时态网络预测，具有的有益效果至少包括：

基于预先定义的时态网络模体，根据边参与形成的时态网络模体实例构建额外的边特征，显式利用时态网络中包含时间信息的复杂拓扑结构；根据交互的时间戳获取反映节点当前拓扑结构和历史拓扑结构的邻居，利用参数不同的多头注意力机制对两类邻居分别进行消息聚合，对节点在不同时期的拓扑结构分别进行建模，以提高时态网络预测的准确性，在社交网络、知识分享社区和电子商务等领域具有广阔的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是背景技术中社交平台对应的时态网络；

图2是一实施例提供的模体感知的时态网络预测方法的整体流程图；

图3是一实施例提供的模体感知的时态网络预测方法的整体框架图；

图4是一实施例提供的不同类型网络的时态网络模体集合示例；

图5是一实施例提供的基于时态网络模体的边特征构建示例；

图6是一实施例提供的节点计算子图构建示例。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

实施例提供了一种模体感知的时态网络预测方法，基于预先定义的时态网络模体构建额外的边特征，结合循环神经网络和图神经网络获得更为准确的节点表示用于时态网络预测。具体过程为：首先将时态网络中的交互作为样本，得到训练数据集；其次，根据预先定义的时态网络模体构建额外的边特征，显式利用包含时间信息的复杂拓扑结构；然后，根据交互发生的时间顺序，利用循环神经网络依次更新交互涉及节点的表示；接着，利用参数不同的多头注意力机制分别聚合反映历史拓扑结构和当前拓扑结构的邻居节点，获得基于邻居的节点表示，预测时态网络中可能发生的交互，这样可以有效利用复杂的拓扑结构提升时态网络预测的准确性。

图2和图3是一实施例提供的模体感知的时态网络预测方法的整体流程图和整体框架图。如图2和图3所示，实施例提供的模体感知的时态网络预测方法，包括以下步骤：

步骤1，获取并定义时态网络。

实施例中，时态网络定义为

该时态网络表示按照时间排序的N个交互，将每个交互e作为样本得到训练数据集，其中，以三元组形式表示的交互e＝(v_i,v_j,t)表示节点v_i和节点v_j在时刻t发生的交互。该时态网络可以为表示社交行为网络，其中，节点表示多个用户，节点之间的连边表示用户之间发送消息的行为，发送消息的时间视为边上时间戳，这样时态网络预测指基于历史社交行为预测时态网络中接下来可能发生的用户之间发送消息的行为。

步骤2，根据预先定义的时态网络模体集合

统计时态网络中各条边(即交互)参与形成的时态网络模体实例数，构建交互对应的额外的边特征r(e)。

时态网络模体表示时态网络中特定的子图结构，可将其定义为按照时间排序且发生在特定时间窗口δ内的交互序列。针对不同类型的时态网络分别定义需要统计实例数的时态网络模体集合，如图4为常见时态网络模体的示例，其中，(a)中的时态网络模体M₁代表重复交互现象，时态网络模体M₂至M₄代表共同交互现象，时态网络模体M₅至M₇代表进一步强化的共同交互现象；(b)中的时态网络模体M₁至M₃代表两个节点间的交互模式，时态网络模体M₄至M₁₂代表三个节点间的交互模式。

若由时态网络中按时间排序的L个交互构成的序列S＝{e₁,e₂,…,e_L}同时满足如下两个条件：(1)M和S可导出相同的拓扑结构且其中的边以相同的顺序连接；(2)序列S中的所有交互发生在时间窗口δ内，则称交互序列S为时态网络模体M的实例。令集合

为交互e参与构成时态网络模体M的所有实例，N_instance为集合

大小，S_i为集合中的第i个时态网络模体实例。交互e基于时态网络模体的边特征通过如下方式构建：

其中

表示交互e基于时态网络模体M的第p维特征，Ι(·)为指示函数，当时态网络模体实例S_i的第p个交互

为交互e时函数值为1，反之则为0。

针对集合

中的所有时态网络模体分别利用上述方式构建特征，将获得的向量进行串接即可得到交互e最终的边特征，具体方式如下：

其中，

为交互e基于时态网络模体M₁的特征。

如图5所示为基于时态网络模体的边特征构建的示例。时态网络模体M₁为循环连接的三角形子图结构，时态网络模体M₂为两个节点构成的循环结构，δ表示时态网络模体的时间窗口，交互时间以秒(s)为单位。以有向边e＝(v₁,v₂,2s)为例，该条边参与构成了时态网络模体M₁的实例S＝{(v₁,v₂,2s),(v₂,v₃,5s),(v₃,v₁,7s)}，且在该实例中为时间戳最小的边，即有向边e＝(v₁,v₂,2s)作为第1个交互、第2个交互和第3个交互出现在时态网络模体M₁实例中的次数分别为1次、0次和0次，故其基于时态网络模体M₁构建的边特征为[1,0,0]。同理，有向边e基于时态网络模体M₂构建的边特征为[0,1,0]。针对预先定义的所有时态网络模体分别构建特征后进行串接，即可得到最终的边特征。

步骤3，根据时间先后顺序将训练数据集按照固定的批量大小进行分批，批次总数为B。

根据人为经验设定的批量大小m，按照交互发生的时间顺序对训练数据集进行分批，批次总数为B。具体计算方式如下：

其中N_sample表示训练数据集中样本总数。

步骤4，从训练数据集中顺序选取索引为k的一批训练样本，其中k∈{0,1,…,B}，进行步骤5-9。

步骤5，根据索引为k-1的上一批次样本，利用循环神经网络更新样本涉及节点的表示。

令交互e′＝(v′_i,v′_j,t)为上一批次内的交互样本，节点v′_i、v′_j需要根据该次交互的相关信息利用循环神经网络更新其节点表示。该步骤中采用的循环神经网络为门控循环单元GRU，以更新节点v′_i表示s′_i(t)为例，具体计算方式如下：

z(t)＝σ_g(W_zm′_i(t)+U_zs′_i(t^-)+b_z) (5)

r(t)＝σ_g(W_rm′_i(t)+U_rs′_i(t^-)+b_r) (6)

其中m′_i(t)表示当前交互的相关信息，s′_i(t^-)、s′_j(t^-)分别表示节点v′_i、v′_j在交互e′发生前的向量表示，

表示节点v′_i上一次交互时刻与当前时刻t的时间差，Concat表示向量串接操作，m′_i(t)为GRU当前时刻的外部输入，s′_i(t^-)作为GRU前一时刻隐状态，z(t)、r(t)和c(t)分别表示GRU的更新门、重置门和记忆单元，s′_i(t)表示节点v′_i更新的节点表示。同理，即节点v′_j的节点表示更新过程与节点v′_i相同。

需要注意的是，当k＝0时，步骤5为将所有节点用零向量进行初始化。

步骤6，针对当前批次内的样本(v_i,v_j,t)，分别采样反映节点v_i历史拓扑结构和当前拓扑结构的邻居节点，构建节点v_i的计算子图，节点v_j同理。

为了便于理解，首先对下文所涉及的符号和概念做简要说明。时态网络中节点间可能存在重复交互行为而形成时间戳不同的多条边，故将时态网络中节点v_a的邻居以二元组(v_b,t_b)的形式表示，其中v_b表示节点，t_b表示节点v_a与v_b的交互时间。

构建目标节点v_i在当前时刻t的计算子图时，根据高阶邻居与低阶邻居时间依赖关系以不同方式逐跳向外扩展，可得到包含多跳邻居的计算子图。注意此处高阶邻居和低阶邻居为相对概念，即两跳邻居相对一跳邻居为高阶邻居，两跳邻居相对三跳邻居则为低阶邻居。从低阶邻居(v_low,t_low)向外扩展时，可将(v_low,t_low)的邻居节点分为两类，分别表示为：

其中N(v_low)_his为(v_low,t_low)在时刻t_low前的邻居节点，反映其历史拓扑结构；N(v_low)_cur为(v_low,t_low)在时刻t_low和t之间的邻居节点，反映其当前拓扑结构。以N(v_low)_his中的邻居节点为例，可将其作为低阶邻居(v′_low,t′_low)获取在时刻t′_low前的邻居节点和在时刻t′_low与t之间的邻居节点，分别反映(v′_low,t′_low)的历史拓扑结构和当前拓扑结构。将N(v_low)_his和N(v_low)_cur中所有的邻居节点作为低阶邻居重复上述过程迭代向外扩展，即可得到包含多跳邻居的计算子图。

图6所示为节点v₁在t₈时刻的计算子图示例，该计算子图包含节点v₁的两跳邻居。以低阶邻居(v₄,t₅)向外扩展获取高阶邻居为例，根据时间依赖关系可将高阶邻居分成N(v₄)_his和N(v₄)_cur两类。N(v₄)_his＝{(v₂,t₃)}中的高阶邻居与低阶邻居(v₄,t₅)发生交互的时刻小于t₅，反映低阶邻居在时刻t₅前的历史拓扑结构；N(v₄)_cur＝{(v₅,t₆),(v₆,t₇)}中的高阶邻居与低阶邻居(v₄,t₅)发生交互的时刻在t₅和t₈之间，反映低阶邻居在t₈时刻的当前拓扑结构。

步骤7，在步骤6得到的节点v_i计算子图上，结合步骤2得到的基于时态网络模体的边特征，利用参数不同的多头注意力机制分别聚合邻居节点N(v_i)_his和N(v_i)_cur，获得节点v_i基于邻居的表示z_i(t)，节点v_j同理。

为了便于说明和简化符号，下文统一用(v_n,t′)指代N(v_i)_cur和N(v_i)_his中的邻居节点。以聚合节点v_i的当前时刻邻居N(v_i)_cur为例，首先将节点v_i与邻居节点(v_n,t′)的交互时间t′映射至高维向量，计算方式如下：

其中

为映射后的高维时间向量，

为可学习的参数。相比于交互行为的绝对时间，交互时间与当前时刻的相对时间t-t′更具参考意义，故在后续计算中用φ(t-t′)代替φ(t′)。

结合基于时态网络模体构建的边特征和交互时间的高维映射向量，利用基于多头注意力机制的图神经网络聚合节点邻居，可协同建模时态网络的拓扑结构和时间信息。注意力机制中的query向量q^l(t)通过如下方式获得：

其中

表示聚合l-1跳邻居后节点v_i的向量表示，||表示向量串接操作，W_Q为权重映射矩阵。

对于邻居节点(v_n,t′)，e＝(v_i,v_n,t′)为与其对应的交互，融合拓扑结构和时间信息的邻居向量可表示为：

其中r(e)表示交互e基于时态网络模体构建的边特征，W_e为权重映射矩阵，φ(t-t′)表示交互e发生时刻与当前时刻时间差的高维映射向量。

将N(v_i)_cur中所有邻居的邻居向量进行拼接，可得到反映节点当前拓扑结构的矩阵C^l(t)。对C^l(t)进行映射，可得到注意力机制的Key矩阵K^l(t)和Value矩阵V^l(t)，具体方式如下：

K^l(t)＝C^l(t)W_K (15)

V^l(t)＝C^l(t)W_V (16)

其中N_neighbor为邻居个数，W_K、W_V为权重映射矩阵。

根据q^l(t)、K^l(t)和V^l(t)，利用多头注意力机制可得到反映当前拓扑结构的节点表示

计算方式如下：

其中d_key表示缩放因子，

和

表示第p头注意力机制的映射矩阵，W^O表示拼接多头计算结果的映射矩阵，h表示注意力机制头数。

利用参数不同的图神经网络通过相似方法得到反映历史拓扑结构的节点表示

后，可计算捕捉节点拓扑结构变化的向量表示，方式如下：

其中f_g为全连接神经网络。

通过堆叠多层图神经网络的方式可得到基于多跳邻居的节点表示，堆叠层数需与目标节点计算子图的规模保持一致。图神经网络的初始节点输入

即循环神经网络更新后的节点表示为节点原始特征。为统一表述，下文用z_i(t)表示图神经网络最后一层的输出。

步骤8，将节点v_i的表示z_i(t)和节点v_j的表示z_j(t)串接后送入全连接神经网络，计算节点v_i和节点v_j在时刻t发生交互的概率，利用交叉熵函数计算损失

节点v_i和节点v_j在时刻t发生交互的概率p_ij(t)通过如下方式计算：

p_i,j(t)＝σ_g(f_g(z_i(t)||z_j(t))) (21)

其中σ_g为非线性的sigmoid激活函数，f_g为全连接神经网络。

预测任务的损失函数定义为交叉熵损失函数，由于所有交互均为正样本，故以1:1比例采样相同数量的负样本，损失函数的计算方式如下：

其中P_n(v)为负采样分布。

步骤9，根据批次中所有样本的损失

对整个模型中的网络参数进行调整。

计算当前批次中所有样本的预测损失

具体计算方式如下所示：

其中

表示单个样本的损失，m表示批次中样本的数量。在本发明中，根据所有样本的预测损失

对整个模型中的网络参数进行调整。

步骤10，重复步骤4-9直到训练数据集中的所有批次都参与了模型训练。

步骤11，若达到指定的训练迭代次数则训练结束，否则返回步骤3。

步骤12，利用参数调优后的时态网络预测模型预测可能会发生的交互。

上述实施例提供的模体感知的时态网络预测方法，基于预先定义的时态网络模体，根据边参与形成的时态网络模体实例构建额外的边特征，显式利用时态网络中包含时间信息的复杂拓扑结构；根据交互的时间戳获取反映节点当前拓扑结构和历史拓扑结构的邻居，利用参数不同的多头注意力机制对两类邻居分别进行消息聚合，对节点在不同时期的拓扑结构分别进行建模，以提高时态网络预测的准确性。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种模体感知的时态网络预测方法，其特征在于，包括以下步骤：

步骤1，获取并定义时态网络为

其中，e＝(v_i,v_j,t)表示节点v_i和节点v_j在时刻t发生的交互；

步骤2，依据预先定义的时态网络模体集合

统计时态网络中各交互参与形成的时态网络模体实例数，构建交互对应的额外的边特征r(e)；

步骤3，将时态网络中的每个交互e作为样本(v_i,v_j,t)，利用循环神经网络更新样本的节点表示；

步骤4，针对每个样本(v_i,v_j,t)，分别获取反映节点v_i历史拓扑结构的邻居节点N(v_i)_his和当前拓扑结构的邻居节点N(v_i)_cur，构建包含节点v_i多跳邻居的计算子图Mapv_i和包含节点v_j多跳邻居的计算子图Mapv_j；

步骤5，在计算子图Mapv_i上，结合交互对应的额外的边特征r(e)，利用参数不同的多头注意力机制的图神经网络分别聚合邻居节点N(v_i)_his和N(v_i)_cur，获得节点v_i基于邻居的表示z_i(t)；在计算子图Mapv_j上，结合交互对应的额外的边特征r(e)，利用参数不同的多头注意力机制分别聚合邻居节点N(v_j)_his和N(v_j)_cur，获得节点v_j基于邻居的表示z_j(t)；

步骤6，将节点v_i基于邻居的表示z_i(t)和节点v_j基于邻居的表示z_j(t)串接后送入全连接神经网络，计算节点v_i和节点v_j在时刻t发生交互的概率，利用交叉熵函数计算损失

依据交叉熵函数计算损失

更新循环神经网络、图神经网络以及全连接神经网络参数；参数调优后的循环神经网络、图神经网络以及全连接神经网络参数组成时态网络预测模型；

步骤7，利用参数调优后的时态网络预测模型预测时态网络坑发生交互。

2.如权利要求1所述的模体感知的时态网络预测方法，其特征在于，步骤2包括：

令集合

为交互e参与构成时态网络模体M的所有实例，N_instance为集合

大小，S_i为集合中的第i个时态网络模体实例。交互e基于时态网络模体的边特征通过如下方式构建：

其中

表示交互e基于时态网络模体M的第p维特征，Ι(·)为指示函数，当时态网络模体实例S_i的第p个交互

为交互e时函数值为1，反之则为0；

针对集合

中的所有时态网络模体分别利用上述方式构建特征，将获得的向量进行串接即可得到交互e最终的边特征r(e)，具体方式如下：

其中，

为交互e基于时态网络模体M₁的特征。

3.如权利要求1所述的模体感知的时态网络预测方法，其特征在于，步骤3中，采用的循环神经网络为门控循环单元GRU。

4.如权利要求3所述的模体感知的时态网络预测方法，其特征在于，步骤3中，采用门控循环单元GRU更新样本的节点表示，包括：

z(t)＝σ_g(W_zm′_i(t)+U_zs′_i(t^-)+b_z)

r(t)＝σ_g(W_rm′_i(t)+U_rs′_i(t^-)+b_r)

其中，m′_i(t)表示当前交互的相关信息，s′_i(t^-)、s′_j(t^-)分别表示节点v′_i、v′_j在交互e′发生前的向量表示，

表示节点v′_i上一次交互时刻与当前时刻t的时间差，Concat表示向量串接操作，m′_i(t)为GRU当前时刻的外部输入，s′_i(t^-)为GRU前一时刻隐状态，z(t)、r(t)和c(t)分别表示GRU的更新门、重置门和记忆单元，s′_i(t)表示节点v′_i更新的节点表示；

同理，节点v′_j的节点表示更新过程与节点v′_i相同。

5.如权利要求1所述的模体感知的时态网络预测方法，其特征在于，步骤4中，构建目标节点v_i在当前时刻t的计算子图时，根据高阶邻居与低阶邻居时间依赖关系以不同方式逐跳向外扩展，可得到包含多跳邻居的计算子图，。从低阶邻居(v_low,t_low)向外扩展时，可将(v_low,t_low)的邻居节点分为两类，分别表示为：

N(v_low)_his＝{(v_high,t_high)|(v_low,v_high,t_high)∈E,t_high<t_low}

N(v_low)_cur＝{(v_high,t_high)|(v_low,v_high,t_high)∈E,t_low<t_high<t}

其中N(v_low)_his为(v_low,t_low)在时刻t_low前的邻居节点，反映其历史拓扑结构；N(v_low)_cur为(v_low,t_low)在时刻t_low和t之间的邻居节点，反映其当前拓扑结构；

针对N(v_low)_his中的邻居节点，将其作为低阶邻居(v′_low,t′_low)获取在时刻t′_low前的邻居节点和在时刻t′_low与t之间的邻居节点，分别反映(v′_low,t′_low)的历史拓扑结构和当前拓扑结构；将N(v_low)_his和N(v_low)_cur中所有的邻居节点作为低阶邻居重复上述过程迭代向外扩展，即可得到包含多跳邻居的计算子图。

6.如权利要求1所述的模体感知的时态网络预测方法，其特征在于，步骤5中，首先将节点v_i与邻居节点(v_n,t′)的交互时间t′映射至高维向量，其中，(v_n,t′)指代N(v_i)_cur和N(v_i)_his中的邻居节点，计算方式如下：

其中

为映射后的高维时间向量，

为可学习的参数；相比于交互行为的绝对时间，交互时间与当前时刻的相对时间t-t′更具参考意义，故在后续计算中用φ(t-t′)代替φ(t′)；

结合基于时态网络模体构建的边特征和交互时间的高维映射向量，利用基于多头注意力机制的图神经网络聚合节点邻居，可协同建模时态网络的拓扑结构和时间信息，注意力机制中的query向量q^l(t)通过如下方式获得：

其中

表示聚合l-1跳邻居后节点v_i的向量表示，||表示向量串接操作，W_Q为权重映射矩阵；

对于邻居节点(v_n,t′)，e＝(v_i,v_n,t′)为与其对应的交互，融合拓扑结构和时间信息的邻居向量可表示为：

其中r(e)表示交互e基于时态网络模体构建的边特征，W_e为权重映射矩阵，φ(t-t′)表示交互e发生时刻与当前时刻时间差的高维映射向量；

将N(v_i)_cur中所有邻居的邻居向量进行拼接，可得到反映节点当前拓扑结构的矩阵C^l(t)；对C^l(t)进行映射，可得到注意力机制的Key矩阵K^l(t)和Value矩阵V^l(t)，具体方式如下：

K^l(t)＝C^l(t)W_K

V^l(t)＝C^l(t)W_V

其中N_neighbor为邻居个数，W_K、W_V为权重映射矩阵；

根据q^l(t)、K^l(t)和V^l(t)，利用多头注意力机制可得到反映当前拓扑结构的节点表示

计算方式如下：

其中d_key表示缩放因子，

和

表示第p头注意力机制的映射矩阵，K^O表示拼接多头计算结果的映射矩阵，h表示注意力机制头数；

利用参数不同的图神经网络通过相似方法得到反映历史拓扑结构的节点表示

后，可计算捕捉节点拓扑结构变化的向量表示，方式如下：

其中f_g为全连接神经网络；

通过堆叠多层图神经网络的方式可得到基于多跳邻居的节点表示，堆叠层数需与目标节点计算子图的规模保持一致，将图神经网络最后一层的输出

表示为z_i(t)。

7.如权利要求1所述的模体感知的时态网络预测方法，其特征在于，步骤6中，节点v_i和节点v_j在时刻t发生交互的概率p_ij(t)通过如下方式计算：

p_i,j(t)＝σ_g(f_g(z_i(t)||z_j(t)))

其中σ_g为非线性的sigmoid激活函数，f_g为全连接神经网络。

Images