CN114997464A - 一种基于图时序信息学习的流行度预测方法 - Google Patents

Abstract

本发明涉及一种基于图时序信息学习的流行度预测方法，包括：对原始图进行预处理，按照一定的时间间隔将观察窗口内的传播图进行分片，获得对应的快照序列，利用时间编码器进行编码，得到时序表示；利用双向图卷积网络模型，得到每个快照中对应的节点表示；建模动态演化过程中的时间依赖，得到动态演化信息的表征向量；将循环神经网络的隐藏层状态和图卷积网络的节点表征拼接并进行平均池化操作，作为最终的图表示，利用多层感知机预测流行度增量。本发明融合了传播图中的时序信息以及不同快照间的动态演化信息，提升了传统流行度预测方法的性能；具有良好的可解释性、可迁移性和表征性能，具有重要的理论研究价值和应用价值。

Description

一种基于图时序信息学习的流行度预测方法

技术领域

本发明属于流行度预测领域，特别涉及一种基于图时序信息学习的流行度预测方法。

背景技术

社交网络去中心化的特点使得网络中的关系链庞大复杂，每个用户都能够作为信息的发起者和传播者，自由地与其他用户共享信息。用户的社会影响力、信息内容的质量、发布时间和社交网络的结构等因素都会影响信息传播的范围与速度，使得社交网络中的信息传播动态极其复杂又富有变化。某些信息一经发布可以快速地被传播并得到爆炸式转发增长，某些信息发布后在整个传播周期内均匀增长。

社交网络中传播的信息由起始用户创建并发布，当其他用户对信息进行转发或评论等操作时，其参与到该条信息的传播过程中，层级式地递进转发将会构成传播级联。针对传播级联，现有的流行度预测研究指在给定的时间范围内预测参与级联转发的用户数，利用级联增量衡量信息的流行程度。根据问题定义的形式不同，宏观级联预测任务可分为分类问题和回归问题两类。分类问题预测级联规模在未来是否会达到两倍及以上大小或超过某个阈值，回归问题则预测信息级联未来流行度的精确数值。

起初，学者们提出，传播数据中隐含着丰富的特征信息，通过人为地提取并构造特征，能够直接提升流行度预测性能。此类基于特征驱动的预测方法利用先验知识尽可能地从原始数据中提取和构造特征，并最终利用机器学习模型获得高预测性能。研究者们通常提取内容、用户、时序及结构等四类特征，得到特征表示后建立回归模型来预测流行度。当提取出高质量的特征时，此类方法可以充分地描述潜在问题，提高预测模型对于未知数据的推理能力，同时由于受未来流行度的监督，此类基于特征驱动的方法的预测性能较好。然而，此类方法的预测性能极大程度上依赖人为设计特征的质量，并且所设计的特征只适用于特定场景，不具备通用性，存在一定的局限性。同时，此类方法单纯利用机器学习技术将提取的特征和流行度联系起来，并未针对级联的传播动态进行研究，缺乏可解释性。

生成式方法将流行度的累积视为转发的到达过程，侧重于对每条信息在发生过程中的强度函数进行建模，有助于理解信息获取用户关注的方式及对传播产生影响的因素。学者们提出，利用自增强泊松过程、Hawkes自激点过程和SIR模型等生成式过程能够形象地建模传播过程，同时预测信息的流行度。此类生成式方法较好地解释了信息传播过程中的潜在机制，但由于没有在未来流行度的监督下优化参数，不能充分利用级联的流行度动态中的隐含信息，预测性能较差。

基于深度学习的方法通常以建模传播级联图为目标，自动地从数据中学习有价值的表示，并映射到最终的流行度进行预测。学者们提出，学习信息级联图的任务可转换为学习节点序列的任务，通过对序列表示向量进行聚合得到级联图的表示，从而进行流行度预测任务。现有的端到端深度学习模型将传播图结构视为静态图，不能捕捉到整个传播图的动态演化过程，挖掘出级联中潜在的传播特性。社交网络及引文网络的信息传播过程中，存在时间跨度较大，随时间推移网络不断增量式演化等特征。通过采用离散式的动态网络图模型，将整个网络图的演化过程按照时间间隔进行切片，得到一系列的网络快照，建模单个快照内的时序信息及不同快照间的动态演化信息，能够有效地建模信息传播过程并实现较好的图表征。

本发明的方法融合了图时序信息学习的思想，即利用时序编码学习单个快照形成过程中的时序信息，并建模不同快照间的动态演化过程。该方法具有良好的可解释性、可验证性和可迁移性，同时，具有重要的理论研究价值和应用价值。

发明内容

本发明提出了一种基于图时序信息学习的流行度预测方法。首先，该方法考虑时间衰减效应，对时间戳信息进行优化，得到衰减后的时间信息，利用时间编码器进行编码，得到时序信息的表示向量；其次，利用改进的图卷积网络模型，对图进行卷积时融合度矩阵与时序矩阵，得到包含时序信息与结构信息的快照表征；再次，将得到的图表征输入时序改进后的门控循环神经网络中，建模动态演化过程中的时间依赖，得到动态演化信息的表征向量；最后，将循环神经网络的隐藏层状态和图卷积网络的节点表征拼接并池化，作为该方法最终的图表征，利用多层感知机映射到将要预测的流行度增量，具体技术方案如下：

一种基于图时序信息学习的流行度预测方法，包括以下步骤：

S1、对原始图G进行预处理，按照一定的时间间隔将观察窗口内的传播图进行分片，获得对应的快照序列G_M＝{g₁,g₂,…,g_i,…,g_n}，n代表快照的数量，i表示快照的序号；

S2、利用时序编码的方法对每一个快照内部节点出现的时间戳信息进行编码，得到对应的时序表示C_i；

S3、利用双向图卷积神经网络的方法对每个快照的结构表示和时序表示进行聚合，得到每个快照中对应的节点表示

S4、利用改进的门控循环神经网络对不同快照之间的时序依赖进行建模，得到基于动态建模的时序演化表示

S5、将最终的节点表示

和最终的基于动态建模的时序演化表示

拼接并进行池化操作，得到完整的级联传播图表示M，将其输入到多层感知机网络中预测最终的流行度增量Δy。

在上述技术方案的基础上，步骤S1的具体步骤为：给定原始图G，将观察时间窗口T_o分为n个不相交的时间间隔，统计每个时间间隔内的传播图信息组成快照序列

n代表快照的数量，i表示快照的序号。g_i＝{u_i,e_i,t_i}代表每张快照中的传播图信息，其中u_i代表传播图中的用户的集合，e_i代表传播图中的边的集合，t_i代表每次转发的时间戳集合。

在上述技术方案的基础上，步骤S2的具体步骤为：给定时间戳集合t_i，考虑时间衰减效应，对其进行优化t′_i＝T_i-t_i，其中，T_i代表每个时间间隔的切片时刻。对优化后的时间序列t′_i进行时序编码，时序编码方式如式(1)所示：

其中，d代表生成的时序向量的维度，{w₁,…,w_d}均为训练过程可调节的参数，t为需要编码的时间戳信息，t2v代表时间编码函数。

将时间序列t′_i按照时序编码方式进行编码，可以得到与节点表示等维度的时序表示C_i。

在上述技术方案的基础上，步骤S3的具体步骤为：给定原始图的邻接矩阵A，快照序列

通过在原始图的邻接矩阵A的基础上计算对应的入度矩阵

和出度矩阵

将其分别与步骤S2获得的时序表示C_i进行拼接，以得到新的节点特征表示矩阵

和

利用双向图卷积神经网络方法聚合每个快照内部的结构表示和时序表示，得到对应的每张快照中的节点表示

计算方式如式(2)所示，

其中，

I_N为单位矩阵，Wⁱⁿ表示入度方向的参数矩阵，W^out表示出度方向的参数矩阵；

表示入度方向的节点特征表示矩阵，

表示出度方向的节点特征表示矩阵；σ为激活函数，能够确保每个神经元的输出在合理阈值内；

与

分别为入度方向和出度方向的节点表示。

在上述技术方案的基础上，步骤S4的具体步骤为：给定原始图的快照的节点表示序列

利用改进的门控循环神经网络对不同快照之间的时序依赖进行建模，获取级联图传播过程中的动态变化信息。

所提出的门控循环神经网络方法如下：首先，更新门z_t忽略上一个隐藏层状态h_t-1中不重要的信息，同时从输入x_t中聚合较为重要的信息，式(3)为计算方式：

z_t＝σ(W_zx_t+U_zh_t-1+b_z) (3)

其中，x_t代表对每个快照进行图卷积后的节点表示

W_z、U_z和b_z为门控循环神经网络训练过程中的可学习参数。

重置门r_t记录当前的状态并将其添加到隐藏层状态，计算方法如式(4)所示：

r_t＝σ(W_rx_t+U_rh_t-1+b_r) (4)

其中，W_r、U_r和b_r同样代表门控循环神经网络训练过程中的可学习参数。

时序门m_i针对不同快照之间的时序演化特征进行建模，将当前的时序信息进行时序编码，并通过激活函数处理后，融入到输入中，计算方式如式(5)所示：

m_i＝σ(W_mx_t+σ(U_m*t2v(T_i))+b_m) (5)

其中，m_i代表步骤S2中不同时间片的分割时刻，W_m、U_m和b_m代表门控循环神经网络训练过程中的可学习参数。

为融合重置门信息和时序信息，候选的细胞状态

的计算方式如式(6)所示：

其中，⊙代表元素乘法，W和U为可学习参数。

利用当前输入x_t和上一步隐藏层状态h_t-1，新的隐藏层状态h_t如式(7)所示：

利用上述门控循环神经网络对快照序列间的时序依赖进行建模，最终的隐藏层状态h_n即为最终的基于动态建模的时序演化表示

在上述技术方案的基础上，步骤S5的具体步骤为：将最终的节点表示

和基于动态建模的时序演化表示

进行拼接，并通过平均池化操作聚合节点表征得到图表征，得到完整的级联传播图表示M,计算方法如式(8)所示。

其中，||代表拼接操作，Pooling代表平均池化操作。

将其输入到多层感知机网络中预测最终的流行度增量Δy，计算方式如式(9)所示：

Δy＝MLP(M) (9)

本发明的有益效果：为了更高效地挖掘传播图内部的时序信息以及不同快照之间的动态演化信息，本申请拟在传播图内部及传播图动态演化过程中融合时序信息，提出了一种基于图时序信息学习的流行度预测方法，所述方法具有良好的可解释性以及较优的表征性能，具有以下优点：

(1)可解释性高：本发明对每个传播图内部的时序特征和结构特征进行建模，并学习到不同快照间的动态演化过程，丰富了级联图传播过程中的时序信息和动态演化信息，具有良好的可解释性。

(2)可迁移性强：本发明中所述的双向图卷积神经网络方法和门控循环神经网络方法能够较好地捕捉图上的时序信息，可为其它图表示学习方法提供支撑，具有较强的可迁移性。

(3)表征性能优：本发明建模快照内部的时序特征以及快照之间的动态依赖信息，经实验发现，时序信息能够增强对级联图的传播过程的刻画，大大提升了流行度预测任务的性能。

附图说明

本发明有如下附图：

图1为基于图时序信息学习的流行度预测方法框架结构示意图；

图2为基于时序信息学习的门控循环神经网络方法示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

本发明提出了一种基于图时序信息学习的流行度预测方法(以下简称方法)，如图1所示。当新浪微博社交平台中的用户在某个时刻发布一条微博后，该微博在不同的时刻被其他用户转发，转发的用户和转发时间能够构成一条转发路径，如(用户A，第8分钟)。针对一条微博，其所涉及的多条转发路径等构成该微博的传播图。给定固定长度的观察时间窗口(如3小时)和预测时间窗口(如24小时)，将某条微博在观察时间窗口内形成的传播图输入流行度预测框架中，得到3小时到24小时之间该条微博被转发的次数。

首先，对微博的转发图进行预处理，按照一定的时间间隔将观察窗口内的传播图进行分片，考虑时间衰减效应，对每个快照内部的微博转发时间戳信息进行优化，得到衰减后的时间信息，利用时间编码器进行编码，得到时序信息的表示向量。其次，利用改进的图卷积网络模型，对图进行卷积时融合度矩阵与时序矩阵，得到包含时序信息与结构信息的快照表征。再次，将得到的图表征输入基于时序改进的门控循环神经网络中，建模动态演化过程中的时间依赖，得到动态演化信息的表征向量，其原理如图2所示。最后，将循环神经网络的隐藏层状态和图卷积网络的节点表征拼接并进行池化操作，作为方法最终的图表征，利用多层感知机映射到将要预测的流行度增量，具体过程如下。

(1)时序编码器

为了更高效地挖掘传播图内部的时序特征和结构特征，本方法融合了时间编码思想，在图卷积神经网络建模图结构信息的同时融入了时序信息，以增强模型的表征性能。

级联传播是一个增量式的动态演化过程，因此，需要给定观察时间窗口T_o，并对观察时间窗口T_o内的传播过程进行建模。将观察时间窗口T_o分为n个不相交的时间间隔，统计每个时间间隔内的传播图信息组成快照序列

n代表快照的数量，i表示快照的序号。g_i＝{u_i,e_i,t_i}代表每张快照中的传播图信息，其中u_i代表传播图中的用户的集合，e_i代表传播图中的边的集合，t_i代表每次转发的时间戳的集合。

给定时间戳集合t_i，考虑时间衰减效应，对其进行优化t′_i＝T_i-t_i，其中，T_i代表每个时间间隔的切片时刻。对优化后的时间序列t′_i进行时序编码，时序编码方式如式(1)所示：

其中，d代表生成的时序向量的维度，w_i为训练过程可调节的参数，t为需要编码的时间戳信息。

将时间序列t′_i按照上述方式进行编码，可以得到与节点表示等维度的时序矩阵C_i。

(2)改进的图卷积神经网络

图卷积神经网络是一种可以高效处理图信息的深度学习方法，它可以将图信号映射到低维向量空间中。为了编码快照内部的时序信息和结构信息，提出基于时序信息学习的图卷积神经网络(如图2所示)，具体实施方案如下：

给定原始图的邻接矩阵A，快照序列

在原始图的邻接矩阵A的基础上计算对应的入度矩阵

和出度矩阵

将其分别与时序编码器模块所获得的时序矩阵C_i进行拼接，以得到新的节点属性表示矩阵

和

利用双向图卷积神经网络方法对有向传播图信息进行编码，得到对应的每张快照中的节点表示

计算方式如式(2)所示，

其中，

I_N为单位矩阵，Wⁱⁿ表示入度方向的参数矩阵，W^out表示出度方向的参数矩阵；

表示入度方向的节点特征表示矩阵，

表示出度方向的节点特征表示矩阵；σ为激活函数，能够确保每个神经元的输出在合理阈值内；

与

分别为入度方向和出度方向的节点表示。

(3)基于时序学习的门控循环神经网络

利用改进的图卷积神经网络学习到快照内部的时序特征后，得到快照的节点表示序列

为建模不同快照之间的时序依赖，获取级联图传播过程中的动态变化信息，提出基于时序学习的门控循环神经网络。具体的实施方案如下：

首先，更新门z_t忽略上一个隐藏层状态h_t-1中不重要的信息，同时从输入x_t中聚合较为重要的信息，式(3)为计算方式：

z_t＝σ(W_zx_t+U_zh_t-1+b_z) (3)

其中，x_t代表对每个快照进行图卷积后的节点表示

W_z、U_z和b_z为门控循环神经网络训练过程中的可学习参数。

重置门r_t记录当前的状态并将其添加到隐藏层状态，计算方法如式(4)所示：

r_t＝σ(W_rx_t+U_rh_t-1+b_r) (4)

其中，W_r、U_r和b_r同样代表门控循环神经网络训练过程中的可学习参数。

时序门m_i针对不同快照之间的时序演化特征进行建模，将当前的时序信息进行时序编码，并通过激活函数处理后，融入到输入中，计算方式如式(5)所示：

m_i＝σ(W_mx_t+σ(U_m*t2v(T_i))+b_m) (5)

其中，T_i代表不同时间片的分割时刻，W_m、U_m和b_m代表训练过程中的可学习参数。

为融合重置门信息和时序信息，候选的细胞状态

的计算方式如式(6)所示：

其中，⊙代表元素乘法，W和U为可学习参数。

利用当前输入x_t和上一步隐藏层状态h_t-1，新的隐藏层状态h_t如式(7)所示：

利用上述门控循环神经网络对快照序列间的时序依赖进行建模，最终的隐藏层状态h_n即为最终的基于动态建模的时序演化表示

将最终的节点表示

和基于动态建模的时序演化表示

进行拼接，并通过平均池化操作聚合节点表征得到图表征，得到完整的级联传播图表示M,计算方法如式(8)所示。

其中，||代表拼接操作，Pooling代表平均池化操作。

将其输入到多层感知机网络中预测最终的流行度增量Δy，计算方式如式(9)所示：

Δy＝MLP(M) (9)

本发明中的实施例仅仅是为清楚地说明本发明所做的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引申出的显而易见的变化或变动仍处于本发明的保护范围之列。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (6)

1.一种基于图时序信息学习的流行度预测方法，其特征在于，包括以下步骤：

S1、对原始图G进行预处理，按照一定的时间间隔将观察窗口内的传播图进行分片，获得对应的快照序列G_M＝{g₁,g₂,…,g_i,…,g_n}，n代表快照的数量，i表示快照的序号；

S2、利用时序编码的方法对每一个快照内部节点出现的时间戳信息进行编码，得到对应的时序表示C_i；

S3、利用双向图卷积神经网络的方法对每个快照的结构表示和时序表示进行聚合，得到每个快照中对应的节点表示

S4、利用改进的门控循环神经网络对不同快照之间的时序依赖进行建模，得到基于动态建模的时序演化表示

S5、将最终的节点表示

和最终的基于动态建模的时序演化表示

拼接并进行池化操作，得到完整的级联传播图表示M，将M输入到多层感知机网络中预测最终的流行度增量Δy。

2.如权利要求1所述的基于图时序信息学习的流行度预测方法，其特征在于，步骤S1的具体步骤为：给定原始图G，将观察时间窗口T_o分为n个不相交的时间间隔，统计每个时间间隔内的传播图信息组成快照序列

n代表快照的数量，i表示快照的序号；g_i＝{u_i,e_i,t_i}代表每张快照中的传播图信息，其中u_i代表传播图中的用户的集合，e_i代表传播图中的边的集合，t_i代表每次转发的时间戳集合。

3.如权利要求2所述的基于图时序信息学习的流行度预测方法，其特征在于，步骤S2的具体步骤为：给定时间戳集合t_i，考虑时间衰减效应，进行优化t′_i＝T_i-t_i，其中，T_i代表每个时间间隔的切片时刻；对优化后的时间序列t′_i进行时序编码，时序编码方式如式(1)所示：

其中，d代表生成的时序向量的维度，{w₁,…,w_d}均为训练过程可调节的参数，t为需要编码的时间戳信息，t2v代表时间编码函数；

将时间序列t′_i按照时序编码方式进行编码，得到时序表示C_i。

4.如权利要求1所述的基于图时序信息学习的流行度预测方法，其特征在于，步骤S3的具体步骤为：给定原始图的邻接矩阵A，快照序列

通过在原始图的邻接矩阵A的基础上计算对应的入度矩阵

和出度矩阵

分别与步骤S2获得的时序表示C_i进行拼接，以得到入度方向的节点特征表示矩阵

和度方向的节点特征表示矩阵

利用双向图卷积神经网络方法聚合每个快照内部的结构表示和时序表示，得到对应的每张快照中的节点表示

计算方式如式(2)所示：

其中，

I_N为单位矩阵，Wⁱⁿ表示入度方向的参数矩阵，W^out表示出度方向的参数矩阵；

表示入度方向的节点特征表示矩阵，

表示出度方向的节点特征表示矩阵；σ为激活函数，能够确保每个神经元的输出在合理阈值内；

与

分别为入度方向和出度方向的节点表示。

5.如权利要求4所述的基于图时序信息学习的流行度预测方法，其特征在于，步骤S4的具体步骤为：给定原始图的快照的节点表示序列

利用改进的门控循环神经网络对不同快照之间的时序依赖进行建模，获取级联图传播过程中的动态变化信息；

所提出的门控循环神经网络方法如下：首先，更新门z_t忽略上一个隐藏层状态h_t-1中不重要的信息，同时从输入x_t中聚合较为重要的信息，式(3)为计算方式：

z_t＝σ(W_zx_t+U_zh_t-1+b_z) (3)

其中，x_t代表对每个快照进行图卷积后的节点表示

W_z、U_z和b_z为门控循环神经网络训练过程中的可学习参数；

重置门r_t记录当前的状态并将其添加到隐藏层状态，计算方法如式(4)所示：

r_t＝σ(W_rx_t+U_rh_t-1+b_r) (4)

其中，W_r、U_r和b_r同样代表门控循环神经网络训练过程中的可学习参数；

时序门m_i针对不同快照之间的时序演化特征进行建模，将当前的时序信息进行时序编码，并通过激活函数处理后，融入到输入中，计算方式如式(5)所示：

m_i＝σ(W_mx_t+σ(U_m*t2v(T_i))+b_m) (5)

其中，m_i代表步骤S2中不同时间片的分割时刻，W_m、U_m和b_m代表门控循环神经网络训练过程中的可学习参数；

为融合重置门信息和时序信息，候选的细胞状态

的计算方式如式(6)所示：

其中，⊙代表元素乘法，W和U为可学习参数；

利用当前输入x_t和上一步隐藏层状态h_t-1，新的隐藏层状态h_t如式(7)所示：

利用改进的门控循环神经网络对快照序列间的时序依赖进行建模，最终的隐藏层状态h_n为最终的基于动态建模的时序演化表示

6.如权利要求5所述的基于图时序信息学习的流行度预测方法，其特征在于，步骤S5中，级联传播图表示M的计算方法如式(8)所示；

其中，||代表拼接操作，Pooling代表平均池化操作；

最终的流行度增量Δy的计算方式如式(9)所示：

Δy＝MLP(M) (9)。

Images