CN113505924B - 一种基于级联时空特征的信息传播预测方法及系统 - Google Patents

Abstract

本发明涉及一种基于级联时空特征的信息传播预测方法及系统。将给定的信息级联转换为向量形式；捕获级联的时序特征，获得级联在时间维度上的特征向量；利用社交关系图和级联图构造异质图，捕获网络节点的依赖上下文；捕获信息在网络中传播的拓扑特征；融合得到级联的时空特征；根据网络节点在时间维度上的位置关系对级联不同时刻的历史时空特征进行加权，得到级联在不同时刻加权后的特征向量；而后使用多头自注意力调整级联不同时刻节点的重要性，得到最终的级联特征表示；利用级联最终的特征表示进行信息传播预测，得到下一个时刻节点激活的概率分布，选择激活概率最大的节点作为下一时刻激活的节点。本发明能够更好地预测下一时刻激活的节点。

Description

一种基于级联时空特征的信息传播预测方法及系统

技术领域

本发明涉及面向社交媒体的信息传播预测，特别是一种基于级联时空特征的信息传播预测方法及系统。

背景技术

互联网用户在社交媒体平台上产生了海量信息，信息在网络上传播留下一系列轨迹，从而形成级联。信息传播预测就是利用这些级联学习信息传播的潜在规律和机制，从而预测下一个受影响的用户。其在市场营销、舆论监管、选举预测等领域有着广泛的应用。

信息传播预测技术近年来发展迅速。目前对信息传播的相关研究主要可以分为三类：(1)基于生成模型的方法，利用生存分析理论或时序点过程对级联进行建模。该方法可解释较强，但在复杂网络中较难取得良好的效果；(2)基于特征构造的方法，通过手工规则构造用户属性、网络结构、信息内容等的特征，再利用传统的机器学习方法进行预测。这类方法需要较大的人力成本来开展特征工程，且泛化能力较差；(3)基于深度学习的方法，通过循环神经网络或图神经网络以端到端的方式提取级联特征。

一方面，由于信息级联通常表示为以时间为顺序的序列，导致部分节点间的依赖信息丢失。另一方面，信息往往更容易在具有社交联系的用户网络上传播，从而形成级联的时空特征，现有方法通常使用序列建模的方法提取级联的上下文依赖，但尚未有一种方法能够高效地提取级联的时空特征。

发明内容

本发明的目的在于提供一种基于级联时空特征的信息传播预测方法及系统，能够利用GRU捕获级联的时序特征，并通过RGCN捕获异质图中网络节点的上下文依赖，使用GAT学习社交关系网络结构特征，利用级联的时序特征和拓扑特征构造级联的时空特征，配合时间衰减效应和多头自注意力模块为级联不同时刻的节点分配不同的重要性，最终预测下一个激活节点。

为实现上述目的，本发明的技术方案是：一种基于级联时空特征的信息传播预测方法，包括：

利用随机初始化的方式初始化网络节点表示，采用GAT模块提取社交关系网络的结构特征并更新网络节点表示，利用GAT模块的输出作为级联的初始向量表示；

采用GRU模块捕获级联在时间维度上的时序特征，获得级联在各个时刻的时序特征表示；

利用网络节点间的社交关系网络和不同时刻的级联图构建异质图，采用RGCN模块聚合网络节点特征，从而捕获各个网络节点的上下文依赖关系；

将GAT模块提取的社交关系网络的结构特征与GRU模块捕获的级联在时间维度上的时序特征和RGCN模块捕获的各个网络节点的上下文依赖关系进行融合，从而得到级联在不同时刻的时空特征；

根据级联中网络节点在时间维度上的位置关系，赋予级联不同时刻的历史时空特征不同的重要性，并对这些历史时空特征进行加权求和，得到级联在各个时刻具有时间衰减效应的历史时空特征表示；

利用多头自注意力调整具有时间衰减效应的历史时空特征的重要性，从而得到最后的级联特征表示；

利用最后的级联特征表示进行信息传播预测，得到级联在下一个时刻用户激活的概率分布。

在本发明一实施例中，所述利用随机初始化的方式初始化网络节点表示，采用GAT模块提取社交关系网络的结构特征并更新网络节点表示，利用GAT模块的输出作为级联的初始向量表示，具体为：

利用随机初始化的方式获得所有网络节点的原始表示|U|是网络节点的数量，d是节点的嵌入维度；根据网络节点间的社交关系网络G，采用GAT模块更新网络节点的原始表示并获得级联的初始向量表示/>其中/>是社交关系图的邻接矩阵，L是级联的长度。

在本发明一实施例中，所述级联在时间维度上的时序特征，采用GRU模块对GAT模块输出的级联的初始向量表示进行编码而获得，具体为：

设输入的级联c＝{(u_i，t_i)|i＝1，...，L，t_i∈[0，∞)}，对于级联中的第i个节点u_i，将节点u_i的初始向量表示作为GRU模块的输入，GRU模块计算时刻t_i的隐藏状态h_i并输出，该隐藏状态将作为下一时间步的输入；计算公式如下：

所在本发明一实施例中，述网络节点的上下文依赖关系，采用RGCN模块对不同时刻异质图进行特征学习而获得，具体为：

将数据集上的时间线划分为N个时间间隔，在第i个时间间隔T_i，i∈[1，N]，利用社交关系图和传播图构造邻接矩阵其中/>是社交关系图的邻接矩阵，是T_i时刻级联图的邻接矩阵；接着，利用RGCN模块对构造的邻接矩阵即异质图执行图卷积操作，从而获得网络节点的上下文依赖关系。

在本发明一实施例中，所述级联在不同时刻的时空特征，是将网络节点的上下文依赖关系、的级联在时间维度上的时序特征和社交关系网络的结构特征融合而获得，具体为：

采用GAT模块逐个计算社交关系图中节点与其邻居间的注意力得分，使用softmax函数对这些注意力得分进行规范化得到各个邻居节点的注意力系数，对这些邻居节点的特征向量进行加权求和，获得社交关系图中节点的特征表示；将GRU模块、RGCN模块和GAT模块输出的特征拼接，从而获得级联在时刻t的时空特征。

在本发明一实施例中，所述最后的级联特征采用时间衰减效应和多头自注意力赋予历史时空特征不同重要性而获得，具体为：

根据各个节点在时间上的位置关系赋予级联历史时空特征不同的系数，对这些历史时空特征加权求和后获得带有时间衰减效应的级联时空特征；多头自注意力调整带有时间衰减效应的级联时空特征的重要程度，赋予级联历史时空特征不同的权重，最终获得最后的级联特征表示。

在本发明一实施例中，所述利用最后的级联特征表示进行信息传播预测，得到级联在下一个时刻用户激活的概率分布，具体为：

利用softmax激活函数对最后的级联特征表示向量进行归一化处理，得到的概率最大值所对应的用户即为下一时刻激活用户。

本发明还提供了一种基于级联时空特征的信息传播预测方法，包括存储器、处理器以及存储在存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上述所述的方法步骤。

相较于现有技术，本发明具有以下有益效果：本发明通过对序列数据和图结构数据的联合建模提取级联的时空特征，从而解决级联中部分节点依赖信息丢失的问题。同时，本发明通过设计一种新的计算方法用于模拟时间衰减效应，利用级联在时间上的位置关系赋予历史时空特征不同的重要性，从而为传播预测提供了丰富的历史信息。

附图说明

图1为本发明实施例的原理框图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种基于级联时空特征的信息传播预测方法，具体包括以下步骤：

利用随机初始化的方式获得网络节点的原始表示，采用GAT模块根据网络节点的社交关系网络更新原始表示，将GAT的输出作为级联的初始特征表示；

采用GRU模块捕获级联在时间维度上的时序特征，获得级联在各个时刻的时序特征表示；

利用网络节点间的社交关系网络和不同时刻的级联图构建异质图，采用RGCN模块聚合节点特征，从而捕获网络节点的上下文依赖关系；

将GAT模块提取的社交关系网络的结构特征与级联的时序特征、网络节点的上下文依赖特征进行拼接，从而得到级联在不同时刻的时空特征；

根据级联中节点在时间维度上的位置关系，并对这些历史特征进行加权求和，得到各个时刻具有时间衰减效应的特征表示；

利用多头自注意力赋予上述具有时间衰减效应的历史时空特征不同的重要性，从而得到最后的级联特征表示；

利用最后的级联特征表示进行信息传播预测，得到级联在下一个时刻用户激活的概率分布。

在本实施例中，神经网络的输入数据一般为向量，以便模型的端到端训练，因此需要对级联进行向量化表示。为了便于数据的处理和分析，本发明首先利用随机初始化的方式将网络节点转换成向量形式。

X＝EW

其中，是服从正态分布的权重矩阵，/>是网络节点的词典，是网络节点的原始向量表示矩阵。

在本实施例中，所述利用GAT根据网络节点的社交关系网络更新节点的原始表示，并将GAT的输出作为GRU的初始输入，具体为：

将社交关系图的邻接矩阵G输入GAT，对于节点i，逐个计算i与其邻居间的注意力得分：

e_ij＝a([Wx_i||Wx_j])

其中a是一个单层前馈神经网络，W是一个权重矩阵,||表示拼接操作,x∈X是网络节点原始向量表示。接着，使用softmax函数对i在其邻居节点上的注意力得分进行规范化：

于是，节点i使用注意力系数加权后的新特征为：

上式为单头注意力GAT的节点特征表达式，使用了多头注意力的GAT节点特征表达式为：

对于节点u_i，GAT获得了具有社交网络结构特征的节点表示向量

本实施例中，所述GRU序列编码模块利用两个门来控制当前输入信息与历史信息的结合，并给出当前时刻的输出。GRU能够在记忆较长级联信息的情况下避免梯度消失的问题。设输入为级联c＝{(u_i，t_i)|i＝1，...，L，t_i∈[0，∞)}，利用GAT得到的具有社交网络结构特征的节点表示记为其中/>d是嵌入的维度。GRU将每一时刻的用户表示/>作为输入，计算其隐藏状态h_i并输出，该隐藏状态将作为下一时刻模型的输入：

具体计算公式如下：

其中r_i、z_i分别是重置门和更新门，是候选的隐藏状态，W是权重矩阵，b是偏置，σ是sigmoid函数。h_i刻画了级联在时刻t_i的时序信息，可以认为是用户{u₁，u₂，...，u_i}在t_i时刻的影响力。

在本实施例中，所述网络节点依赖上下文使用RGCN对异质图学习获得。将数据集上的时间线划分为N个时间间隔，利用社交关系图和t_i时刻的传播图构造邻接矩阵接着，利用RGCN对上述的异质图执行图卷积操作，从而获得网络节点的上下文依赖表示。其节点的更新方式如下：

其中表示节点i在第l层的特征表示，/>表示与节点i关系类型为/>的邻居节点，c_i，r是一个可学习或者提前设定(例如/>)的正则化常量，W_r、W₀是待学习的权重矩阵，σ是一个激活函数。

模型将产生N个用户表示矩阵相应地，在t_i时刻用户节点u_i将有N个候选的节点表示向量/>若t_i∈[T_i，T_i+1)，则选择作为用户的上下文依赖特征，为方便叙述，简记为/>

最后，将级联在时刻t_i的时序特征h_i、节点u_i具有社交关系图结构信息的特征以及上下文依赖信息/>拼接得到f_i，作为级联在时刻t_i的时空特征。

在本实施例中，所述使用时间衰减效应和多头自注意力为历史时空特征赋予不同重要性。

具体为：

将数据集上的观测时间窗口[0，T]划分为l个连续的时间间隔{[t₀＝0，t₁)，[t₁，t₂)，...，[t_l-1，t_l＝T)}，计算当前时刻t_i在时间维度上的相对位置m_i：

f'_i赋予了历史时空特征不同的重要性，符合用户影响力衰减的规律。

最后，我们在得到的级联时空特征F＝[f'₁，f'₂，...，f'_L]上施加一个多头自注意力，从而调整级联各个部分的重要程度：

Z＝[z₁；z₂；...；z_H]W^O

其中，是待学习的权重矩阵，d_k＝d/H，H是注意力的头数， 是最终的级联表示。

本实施例首先基于序列建模的方法提取信息传播的时序特征，使用异质图卷积网络对社交关系图和信息传播图构成的异质图进行学习，从而提取节点的依赖上下文。该方法通过对序列数据和图结构数据的联合建模提取级联的时空特征，从而解决级联中部分节点依赖信息丢失的问题。此外，设计了一种新的计算方法用于模拟时间衰减效应。通过级联在时间维度上的位置关系赋予历史时空特征不同的重要性，从而为传播预测提供了丰富的历史信息。

在本实施例中，所述利用级联特征表示进行信息传播预测，得到下一个激活用户的概率分布。具体为：

利用softmax激活函数对级联在时刻t的时空特征向量进行归一化处理，得到的概率最大值所属索引对应的用户即为下一时刻激活用户。

在训练阶段，利用交叉熵损失函数计算预测激活用户与实际激活用户的误差，具体计算公式如下：

其中y_ij∈{0，1}，y_ij＝1表示对应的节点激活，为预测的节点激活状态。对上述损失函数求导，利用随机梯度下降法和反向传播技术对整个系统的参数进行迭代更新；测试阶段，应用训练好的模型，通过前向传播技术得到下一个激活用户。

本实施例还提供了一种基于级联时空特征的信息传播预测系统，包括存储器、处理器以及存储在存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上述所述的方法步骤。

本实施例还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (5)

1.一种基于级联时空特征的信息传播预测方法，其特征在于，包括：

利用随机初始化的方式初始化网络节点表示，采用GAT模块提取社交关系网络的结构特征并更新网络节点表示，利用GAT模块的输出作为级联的初始向量表示；

采用GRU模块捕获级联在时间维度上的时序特征，获得级联在各个时刻的时序特征表示；

利用网络节点间的社交关系网络和不同时刻的级联图构建异质图，采用RGCN模块聚合网络节点特征，从而捕获各个网络节点的上下文依赖关系；

将GAT模块提取的社交关系网络的结构特征与GRU模块捕获的级联在时间维度上的时序特征和RGCN模块捕获的各个网络节点的上下文依赖关系进行融合，从而得到级联在不同时刻的时空特征；

根据级联中网络节点在时间维度上的位置关系，赋予级联不同时刻的历史时空特征不同的重要性，并对这些历史时空特征进行加权求和，得到级联在各个时刻具有时间衰减效应的历史时空特征表示；

利用多头自注意力调整具有时间衰减效应的历史时空特征的重要性，从而得到最后的级联特征表示；

利用最后的级联特征表示进行信息传播预测，得到级联在下一个时刻用户激活的概率分布；

所述利用随机初始化的方式初始化网络节点表示，采用GAT模块提取社交关系网络的结构特征并更新网络节点表示，利用GAT模块的输出作为级联的初始向量表示，具体为：

利用随机初始化的方式获得所有网络节点的原始表示|U|是网络节点的数量，d是节点的嵌入维度；根据网络节点间的社交关系网络G，采用GAT模块更新网络节点的原始表示并获得级联的初始向量表示/>其中/>是社交关系图的邻接矩阵，L是级联的长度；

所述级联在时间维度上的时序特征，采用GRU模块对GAT模块输出的级联的初始向量表示进行编码而获得，具体为：

设输入的级联c＝{(u_i,t_i)|i＝1,…,L,t_i∈[0,∞)}，对于级联中的第i个节点u_i，将节点u_i的初始向量表示作为GRU模块的输入，GRU模块计算时刻t_i的隐藏状态h_i并输出，该隐藏状态将作为下一时间步的输入；计算公式如下：

所述网络节点的上下文依赖关系，采用RGCN模块对不同时刻异质图进行特征学习而获得，具体为：

将数据集上的时间线划分为N个时间间隔，在第i个时间间隔T_i，i∈[1,N]，利用社交关系图和传播图构造邻接矩阵其中/>是社交关系图的邻接矩阵，是T_i时刻级联图的邻接矩阵；接着，利用RGCN模块对构造的邻接矩阵即异质图执行图卷积操作，从而获得网络节点的上下文依赖关系。

2.根据权利要求1所述的一种基于级联时空特征的信息传播预测方法，其特征在于，所述级联在不同时刻的时空特征，是将网络节点的上下文依赖关系、级联在时间维度上的时序特征和社交关系网络的结构特征融合而获得，具体为：

采用GAT模块逐个计算社交关系图中节点与其邻居间的注意力得分，使用softmax函数对这些注意力得分进行规范化得到各个邻居节点的注意力系数，对这些邻居节点的特征向量进行加权求和，获得社交关系图中节点的特征表示；将GRU模块、RGCN模块和GAT模块输出的特征拼接，从而获得级联在时刻t的时空特征。

3.根据权利要求1所述的一种基于级联时空特征的信息传播预测方法，其特征在于，所述最后的级联特征采用时间衰减效应和多头自注意力赋予历史时空特征不同重要性而获得，具体为：

根据各个节点在时间上的位置关系赋予级联历史时空特征不同的系数，对这些历史时空特征加权求和后获得带有时间衰减效应的级联时空特征；多头自注意力调整带有时间衰减效应的级联时空特征的重要程度，赋予级联历史时空特征不同的权重，最终获得最后的级联特征表示。

4.根据权利要求1所述的一种基于级联时空特征的信息传播预测方法，其特征在于，所述利用最后的级联特征表示进行信息传播预测，得到级联在下一个时刻用户激活的概率分布，具体为：

利用softmax激活函数对最后的级联特征表示向量进行归一化处理，得到的概率最大值所对应的用户即为下一时刻激活用户。

5.一种基于级联时空特征的信息传播预测系统，其特征在于，包括存储器、处理器以及存储在存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-4任一项所述的方法。