CN113850446B - 融合时空注意力和异构图卷积网络的信息扩散预测方法 - Google Patents

Abstract

本发明提出了一种融合时空注意力和异构图卷积网络的信息扩散预测方法，包括以下步骤：S1，利用多层图卷积网络学习行为图的最终用户表示或影响力图结构的最终用户表示；S2，进行实时预测信息，将时间序列嵌入到异构图；S3，用多头注意力网络机制进行信息扩散预测；S4，对步骤S3进行优化。本发明提高了对用户上下文编码、学习以及捕获上下文依赖信息的效率，以及有效提高信息扩散预测精度。

Description

融合时空注意力和异构图卷积网络的信息扩散预测方法

技术领域

本发明涉及信息传播领域，尤其涉及一种融合时空注意力和异构图卷积网络的信息扩散预测方法。

背景技术

社交网络如今成为人们日常生活中不可或缺的一部分，它的出现使人们之间的交流更加方便，人们可以更容易的发布或传递某些信息。无线通信技术和互联网的飞速发展以及通信设备的便捷化和智能化极大的促进信息传播与信息交互变得更加快速、便捷。在线社交网络预测传播在实际应用中发挥着举足轻重的作用，有效的根据现实情况预测未来趋势来采取行动，阻止了虚假信息的传播并有效的进行相关工作的实施。

信息预测即是研究信息在人们之间是如何传播的，并据此判断接下来信息的发展趋势，人们根据发展趋势采取一定措施促进传播或抑制，在最短的时间内实现最好的预测是信息预测达到的最理想的状态。信息扩散预测是一项重要而具有挑战性的任务，它旨在预测信息级联的未来属性或行为，例如预测传播范围大小或预测下一个受感染的用户。目前信息扩散预测研究的应用也很普遍，包括流行病学、病毒式营销、媒体广告和新闻的传播。对信息预测分析建模，不仅有利于发现社交网络中传播的特点和演变规律，而且有利于了解社交网络或病毒式营销中信息传播的演化趋势，从而达到对信息进行有效干预和实时控制。

对于信息扩散预测的研究，一些学者主要利用用户之间的社交关系网络，即社会影响力，进行信息扩散预测，还有一些学者主要利用用户以往的扩散行为学习用户表示，提出一些有关扩散路径的模型进行预测。从用户的扩散行为图中可以看出该用户最近的感兴趣话题以及关注对象，人们往往对自己感兴趣的事情有更大的转发可能，通过分析用户扩散行为可以分析该用户是否对该类信息感兴趣，从而大大提高预测该信息预测的准确率。以往的扩散行为路径可以反映出一定时间内消息的传播路径趋势，因此这些模型在一定程度上能够很好的预测出用户扩散序列，根据扩散序列追溯，大大提高信息扩散传播的准确率，了解信息的传播趋势之后才能更好的决定对信息进行传播或抑制。

除了根据用户以往的扩散行为进行信息的扩散预测以外，一些学者也利用用户的影响力来进行信息预测。根据用户同质性，一般情况下，相似的个体更容易有相同的兴趣爱好，同样的情况下更容易采取相似的行为。根据“物以类聚，人以群分”的原理，相同领域的研究者更容易建立社交关系，参加相同的学术报告或会议等，同理他们有更大的可能性成为朋友。根据用户的影响力，社会关系会影响个体特征，根据影响力的不同，影响范围也不一样，从而预测到的信息传播序列也不同，得到的信息传播趋势也不尽相同，根据这个假设，许多研究利用用户间的社交网络学习用户之间的同质性和影响力，来提高预测性能。除此之外，时间对信息的扩散也有影响，发生在最近的信息往往使人们记忆深刻，发生在时间久远的信息可能会使人们忽略，比如处于热搜的信息则更容易使人们关注或转发，过了这个时间段，热搜则会慢慢的淡出人们的视线，那么多年之后该消息可能会销声匿迹，到那时该消息的影响力则是微乎及微的。信息是具有时效性的，因此在考虑信息预测时，时间对提高信息传播预测准确率也很重要。

以往的大多数研究人员关注传统的关系模型，早期的研究工作假设在信息扩散过程中存在一个先验的扩散模型，如独立级联模型或线性阈值模型。虽然这些模型能够很好的拟合了用户之间的影响关系，但是不可避免的引入了噪声、部分关系特征，而且这些关系通常不能够学习复杂的、深度的关系特征。现实生活中的用户的社交网络都涉及实例之间复杂的依赖关系，这些方法的有效性依赖于先验信息扩散模型的假设，但是这些假设在实践中是很难去验证的，使得信息预测的准确性不高。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种融合时空注意力和异构图卷积网络的信息扩散预测方法。

为了实现本发明的上述目的，本发明提供了一种融合时空注意力和异构图卷积网络的信息扩散预测方法，包括以下步骤：

S1，利用多层图卷积网络学习行为图的最终用户表示或影响力图结构的最终用户表示；

S2，进行实时预测信息，将时间序列嵌入到异构图；

S3，用多头注意力网络机制进行信息扩散预测；

S4，对步骤S3进行优化。

S5，将扩散预测的信息进行展示。

进一步地，所述S1中的学习的机制包括：

其中，

是第n+1层用户关注关系的用户表示；

σ(·)为激活函数；

F_A表示影响力图中的关注关系的邻接矩阵；

X⁽ⁿ⁾表示第n层的用户表示；

是第n层用户关注关系的可学习参数；

是第n+1层用户转发关系的用户表示；

表示t_i时刻的转发关系的邻接矩阵；

t_i是用户异构网络的时间间隔；

是第n层用户转发关系的可学习参数。

进一步地，所述S1中的用户表示融合包括：

S-A，计算节点v_i影响力中的关注关系和行为图中的转发关系之间的权重大小；

S-B，采用注意力网络进行节点的特征学习，将得到的权重矩阵和用户关系表示进行哈达玛积得到最后的用户表示。

进一步地，所述S2中的时间序列嵌入的方法包括：

近似策略或注意力机制策略；

所述注意力机制策略包括：

t'＝mixTogether(t_i) (6)

其中，t'为将时间间隔转化为时间嵌入后的结果表示；

mixTogether(·)为将时间间隔嵌入的函数；

α_i为权重系数；

softmax(·)为归一化函数；

表示t_i时刻的用户表示；

k_i是一个掩码矩阵；

v'最终的用户表示；

T表示一共有T个时刻。

进一步地，所述S3中的信息扩散预测的公式为：

其中，softmax(·)为归一化函数；

V'表示扩散序列；

·^T表示矩阵的转置；

d_r＝d/G，d是用户嵌入表示的维度，G是多头注意力的头数；

C_ij是一个掩码矩阵；

M表示最终预测的用户表示；

表示对b_h进行拼接，b_h表示第h头注意力，b_h∈[b₁,b₂,...,b_G]；

是可学习参数，

表示d×d_r维的实数；

得到预测到的M之后，使用两层全连接神经网络计算信息扩散的概率为：

p＝W'σ(W″M^T+λ₁)+λ₂ (11)

其中，p表示信息扩散的概率；

W'、W″是可学习参数，

表示|V|×d维的实数；

表示d×d维的实数；

d是用户嵌入表示的维度；

|V|表示用户的个数；

λ₁是第一可学习参数，λ₂是第二可学习参数，λ₁、λ₂均为常数；

·^T表示矩阵转置。

进一步地，所述S4中进行优化的方法包括：

其中，N表示扩散时间间隔数；

|V|表示用户个数；

p_ik表示v_i和v_k之间发生转发行为的概率，v_i表示第i个用户，v_k表示第k个用户；

log(·)为对数函数；

表示p_ik的估计值；

χ表示可学习的参数即模型中需要学习的所有参数；

优化器计算公式如下所示：

θ_t+1＝θ_t+Δx (16)

其中，l_t表示梯度h(t)的二阶矩；

β₂表示引入的二阶矩衰减参数，是一个常数；

表示将参数β₂带入L无穷范式的结果；

V_t-2表示前t-2时刻的梯度平方累加和；

h(t)是t时刻的参数梯度；

|h(t)|^∞表示将参数|h(t)|带入L无穷范式的结果；

ε为滑项参数；

η表示梯度h(t)的一阶矩的偏正矫正；

θ_t+1表示t+1时刻的优化结果即最终的优化结果；

θ_t表示t时刻的优化结果。

进一步地，还包括步骤S5，将扩散预测的信息进行展示。为防止虚假信息的继续蔓延，针对虚假信息向用户发出提示。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

(1)利用GCN对异构网络中的用户关注关系和转发关系的结构特征进行学习，为了有效利用注意力机制将学习到的用户表示融合起来，提出了一种新的社交网络用户表示融合的方法。

(2)为了提高对用户上下文编码、学习以及捕获上下文依赖信息的效率，提出了带有MASK Attention的多头注意力机制。

(3)为了有效提高信息扩散预测精度，构建了一种基于时空注意力机制异构图卷积网络 ASTHGCN模型。提出的ASTHGCN模型利用注意力机制和图卷积神经网络，融合了时间因素、影响力和扩散行为等空间因素的影响。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是信息扩散过程示意图。

图2是本发明提出的ASTHGCN模型框架图。

图3是本发明t_i时刻用户的矩阵存储示意图。

图4是本发明信息扩散过程示意图。

图5是本发明图卷积学习用户关注关系示意图。

图6是本发明在Douban、Memetracker、Twitter数据集上MSLE指标示意图。

图7是本发明在异构图、行为关系、社交网络、时间注意力机制、启发式融合机制等模块的消融实验示意图。

图8是本发明在不同时间间隔数的ASTHGCN模型性能指标对比分析示意图。

图9是本发明在不同头数的ASTHGCN模型性能指标对比分析示意图。

图10是本发明不同维度性能指标对比分析示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

1相关工作

已有的社交网络信息扩散预测的研究工作目前有两种方法。一种是基于对用户行为的研究进而对信息预测，另一种是基于用户的影响力关系进行研究。

1.1基于用户行为的方法

基于用户行为的方法是根据给定用户的行为扩散序列来学习用户人际关系，从而进行信息传播预测。用户行为在一定程度上反映了用户行为对信息的感兴趣程度以及信息的传播趋势，通常用用户的发布行为，用户的关注行为，用户的转发行为进行量化。以往的研究者经常采用建立在先验模型上的传统模型，例如独立级联模型和线性阈值模型。在传统关系模型研究中，传统的传播模型更加适于均匀网络而无法有效应用于现实(非均匀无标度)社交网络中，因为它不能够学习复杂的深度的关系特征。虽然这些模型也可以拟合用户之间的关系，但是引入了一些噪音、部分关系特征，现实社交扩散网络是错综复杂的，这些方法的有效性取决于信息扩散模型的假设，其假设的真实性和有效性不易验证。需要预先为传统模型传入足够参数，例如必须预先为IC模型指定网络中每个链路的扩散概率，而现实中任何真实网络上通过链路的扩散概率都无法事先知道的，因此具有一定局限性。

近年来，随着深度学习技术在计算机视觉等领域应用越来越娴熟。一些研究采用深度学习从以往的用户扩散行为预测。例如DeepCas第一次提出通过随机游走将级联图转为节点序列，以端到端的形式提供学习级联图表示的算法进行预测。DeepHawkes忽略级联图中的结构信息，将级联图转换成描述用户之间信息传播过程的扩散路径，利用端到端的深度学习的预测力对信息级联信息预测。Topo-LSTM扩展了原有的LSTM模型，考虑扩散时间和其复杂结构的扩散过程，以动态有向无环图DAG作为输入，并为DAG中每个节点生成拓扑感知嵌入作为输出来学习信息扩散序列的链式结构。CYAN-RNN和DeepDiffuse将时间戳考虑在内，进行信息的传播预测，CYAN-RNN 将链式结构对应一个扩散树，并提出一种基于注意力的RNN模型在级联中捕获交叉依赖进行信息预测。还有一些基于注意机制的模型，如DAN、Hi-DAN、NDM。用户的扩散行为不仅有利于学习其社交关系，而且有利于了解用户对该消息的感兴趣程度，进而决定其是否对类似消息进行关注或转发等操作，因此这些模型能够很好的预测出用户扩散序列，预测信息的传播趋势。

现有基于用户行为的方法都将该问题归结为一个序列预测任务，根据已有的用户扩散行为序列，探索时间序列如何影响未来的信息扩散。但是用户之间的社交关系及其影响力也是影响信息扩散的很大的影响因素，因此，不考虑用户影响力的方法的准确率有所欠缺，不能够准确的判断出信息的扩散趋势。

1.2基于用户影响力的模型

基于用户影响力模型是通过信息传播的特征确定该模型的影响概率参数进行对信息扩散预测。根据用户同质性，相似的个体更容易有相同的兴趣爱好，对相似的信息更倾向于采取相似的行动。在社交网络模型中，不同个体之间的社交影响力是不同的，例如抖音大V和微博大V、普通用户、著名的明星的影响力，每个个体之间的影响力不同，产生的信息预测序列也就不同，一般知名度越高，影响力越大，其信息扩散概率就大，更有利于信息的扩散。因此根据用户影响力进行信息预测是有依据的。现有一些研究是基于用户影响力的信息预测方法，例如，CoupledGNN使用两个耦合图神经网络捕捉节点之间的相互作用，利用信息发起者和社交网络关系来预测信息传播。 HDGNN扩展异构GNNs结合时间演化的特性，结合节点之间的复杂关系对信息进行动态预测。 DyHGCN提出一种异构图卷积网络来考虑社交网络和扩散路径网络进行信息预测。HDD利用元路径表示学习方法对异构网络进行编码进行信息扩散，Chen等人在一种在端到端的深度学习框架下提出CasCN的半监督方法，该方法结合级联的方向性和时间衰减效应，避免复杂的特征，只学习结构特征和时序特征来预测信息扩散，使预测性能得到进一步提高，作者将其推广到其他场景应用。

日常生活中，基于用户影响力的研究工作是非常有必要的，现实生活中商家为了使商品更好的宣传，赚取更高的收益，往往会邀请有影响力的明星进行代言，其影响力可以使他的粉丝看到该商品，当商品的曝光率达到一定量，销量也会上升，即经过该明星推荐的商品的传播概率越大，商家就会得到越多的利益。但是这种只考虑用户的影响力，不考虑用户行为或信息的时效性的因素，不能捕捉到全局关系，不能很好地模拟扩散序列的复杂性，信息预测的准确率也会下降。

2初步介绍

本节主要将扩散问题形象化，提出一种基于时空注意力异构图卷积网络模型进行信息传播预测。首先，该模型采用多层图卷积神经网络学习用户的扩散行为和影响力结构图，然后将其结果融合起来作为用户表示，并将时间序列嵌入到该异构图中，最后提出用多头注意力机制进行信息传播预测。

给定一个用户集(节点集)V＝{v₁,v₂,v₃,...v_N}和一个信息集M＝{m₁,m₂,m₃,...m_K}，这里N 指用户的个数，K表示信息的个数，假设信息m_k在节点V之间传播。本发明专利将每条信息看作一个文件，信息m_k在用户之间的传播可以看做节点不断被激活的过程。信息的扩散过程可以记录为

其中

表示用户v₃在

时刻转发或发布了信息m_k，

表示用户

在

时刻转发或发布了信息m_k，N_m表示消息m_K的级联数，亦扩散序列的最大长度。

表示某用户转发信息d_k的时刻是t_c，转发集

是个元组，表示用户v_c在

时刻转发或发布了信息m_k，其中

表示用户v_c转发信息m_k，v_c表示第c个用户。为了将时间序列考虑在信息预测之中，假设某个节点只能被激活一次，信息扩散过程如图1所示。

图1中，左侧是信息m₁,m₂,m₃的传播过程，消息m₁的传播过程可以表示为

即用户v₁在

时刻转发信息m₁，用户v₂在

时刻转发信息m₁，用户 v₃在

时刻转发信息m₁。图1右侧上方是用户的社交关系影响力图，下方是用户扩散行为图，根据已有的行为图和影响力图预测某一个用户的行为或某条信息的传播趋势。黑色实线表示当t时刻时用户的行为图，红色虚线描述的是用户v₅在t时刻信息的基础上，t'时刻可能发生的转发行为和可能感染的用户节点。

信息扩散预测是根据第t时刻的扩散情况，结合其他因素对t+1时刻的信息扩散情况进行预测。本发明专利是根据已知t时刻信息在用户之间的传播行为图和用户的社交关系影响力图分布情况，对t+1时刻用户的行为进行预测，判断其将信息会沿着某条路径在何时转发给哪些用户等内容。

正如上图1所示，信息扩散过程中传递了很多信息，比如用户何时转发信息，转发了哪条信息等一系列问题。本发明专利中认真分析信息传播的因素，主要结合用户的影响力和用户扩散行为以及时间因素进行考虑，来进行信息预测问题的研究。在图1右侧中，影响力图和行为图均为信息传播提供依据，例如，假设t时刻时用户v₅接收到信息，那么t+1时刻信息会传播到哪里呢？从图中可知没有用户从v₅转发信息，所以所有用户成为下一个被激活的用户的可能性相同，但是从影响力图中可以得知，v₂，v₆对v₅有关注行为，又因为每个节点只有一次激活机会，因此信息下一时刻有更大的可能传播到v₂，v₆，使其成为下一个被激活的节点。又因为v₃转发了两次v₂的信息，从影响力图中得知v₃关注v₆，所以信息也有可能经过v₂或v₆传播到v₃。因此综合考虑影响力跟用户扩散行为可以使用户可能扩散路径考虑全面，大大提高了信息预测的准确率。

3提出的模型

S1，构建具有转发关系和关注关系的异构网络，使用GCN建模用户的行为图和影响力图得到更好的用户结构学习，并将学习到的用户表示用注意力机制进行融合。

S2，利用时间注意力机制等方法将时间嵌入到异构网络中，获得更准确的用户表示。

S3，最后采用具有MASK Attention的多头注意力机制学习上下文信息进而实现对信息扩散预测，同时解决了当前扩散路径的上下文依赖问题。

3.1模型架构

本发明专利使用基于深度学习用于信息预测的ASTHGCN框架如图2所示。该框架主要分三个部分结合用户的影响力图、行为图以及时间因素对信息进行实时预测。首先，将利用多层图卷积网络学习行为图和影响力图结构的最终用户表示融合起来，其次为了进行实时预测信息，将时间序列嵌入到异构图，使用户表示更加全面完整，最后采用多头注意力网络机制进行信息预测并解决上下文依赖问题。

3.2学习用户表示

俗话说“物以类聚，人以群分”，具有同质性的人往往具有相似的兴趣，如果说某个微博大 V或者某个著名明星转发了一个微博，那么他的粉丝将有极大的可能性去转发这条微博，由此可知，一个人的影响力将十分有利于预测用户是否转发或发布此信息。除此之外，如果一个用户曾经转发过类似的信息，说明其对此类内容或该用户感兴趣，在接下来的时间里也有可能对该类信息或该用户进行转发或发布，因此用户以往的转发或发布行为也有利于信息的预测。因此本发明专利结合用户的影响力关系以及行为关系学习用户的表示，以便达到对信息进行准确的实时预测。

本发明专利采用的网络是异构网络，如图1所示该网络具有一种节点(用户)和两种类型的关系(关注关系和转发关系)。在某一时刻t_i,i∈[1,n]时，用邻接矩阵

表示异构图各种信息，如图3所示，其中F_A∈R^|V|×|V|表示影响力图中的关注关系的邻接矩阵，

表示t_i时刻的转发关系的邻接矩阵，|V|表示用户的个数。本发明专利将用户之间的影响力关系储存为一个有向无权的影响力图，同时将每个时刻用户的转发情况存储为一个有向加权的行为图。为了更好的表示信息扩散的过程，本发明专利将每个时间间隔t_i中用户的异构扩散图表示如图4所示。

在构建信息结构之后，本发明专利采用多层图卷积神经网络对信息的影响力和扩散行为等空间因素进行结构学习，学习到用户结构特征，并将其融合到新的异构图中。对影响力和扩散行为的研究是在空间维度上的，不同用户之间的相互关系这种影响是比较复杂的，是潜移默化的，是影响信息预测准确率的一大因素，用户的影响力可以直接影响信息传播的广度，而用户的扩散行为根据扩散序列可以学习用户的社交关系，分析其影响力关系进行扩散，使消息得到尽可能转发或者推荐给影响力大的用户使其转发，从而使消息得到快速传播。如图5所示，本发明专利使用多层图卷积网络来自适应的捕捉用户之间的动态社交关系和转发关系，根据已有的社交关系情况，采用图卷积网络学习到更多用户的特征，得到更完整的用户结构表示。

将影响力图中的关注关系和行为图中的转发关系分别采用多层图卷积网络学习用户结构表示，形成具有全部特征的新的关注关系和转发关系的用户结构表示，其学习机制如下。

其中，X⁽ⁿ⁾表示第n层的用户表示，

是可学习参数，

是第n层用户关注关系的可学习参数，

是第n层用户转发关系的可学习参数。t_i∈R^d是用户异构网络的时间间隔，d是用户嵌入表示的维度，n表示GCN的层数，

是第n层用户关注关系的用户表示，

是第n层用户转发关系的用户表示，X⁽⁰⁾∈R^|V|×d是正态分布随机初始化的用户嵌入。σ(·)采用 ReLU激活函数，其效果相比其他的激活函数更好，它克服了梯度消失的问题，并且训练速度快。

3.3用户表示融合机制

从影响力图中得到关注关系

和从行为图中得到转发关系

在得到用户关注关系和转发关系这两个重要因素之后，接下来讨论如何融合这两种关系。以微博大V为例，大V转发的内容可以让更多的人看到，其影响力可以趋势更多的关注者关注或转发此事件。其次，信息如何使这些影响力大且会转发的大V看到呢？如果这名大V此前有转发过类似的文章、视频或关注此话题的用户，那么此刻再次看到则会有更大的可能性进行二次转发，因此关注关系和转发关系都是十分重要的。为了更好的融合这两种因素，产生更加准确的输出，本发明专利采用注意力与用户关系结合，对于节点v_i首先计算其影响力中的关注关系和行为图中的转发关系之间的权重大小，采用注意力网络进行节点的特征学习，将得到的权重矩阵和用户关系表示进行哈达玛积得到最后的用户表示。

e_ij＝a(Wh_i||Wh_j),j∈X_T (3)

α_ij＝softmax(e_ij) (4)

其中，a(·)表示将高维节点特征映射为实数，Wh_i||Wh_j表示对Wh_i和Wh_j进行拼接，h_i、h_j是用户关注关系和转发关系的特征矩阵，W是可学习参数，是一个常数；α_ij表示关注关系和转发关系之间的注意力权重系数，softmax(·)为归一化函数，exp(·)为以自然常数e为底的指数函数， LeakReLU(·)为泄露修正线性单元。其中，⊙为哈达玛积，

表示t_i时刻第n+1层的用户表示，α_iA表示用户v_i的关注关系权重大小，α_iT表示用户v_i的转发关系权重大小；X_T表示获取到的转发关系；

是第n+1层用户关注关系的用户表示，

是第n+1层用户转发关系的用户表示。从不同的异构动态图中学习用户表示的算法如下算法1所示。

在算法1中，先从影响力图和行为图中构建关注关系矩阵和转发关系矩阵F_A和

利用多层图卷积网络对关注关系和转发关系进行特征学习，运用注意力机制计算权重，将其融合成新的用户表示，将时间划分为若干时间间隔，接着将每个时间间隔学习到的新的用户表示用注意力机制将其融合到新的异构图中，得到所有时刻的用户表示。

3.4时间嵌入策略

融合影响力关系和行为关系得到用户表示之后，接下来要实时进行信息预测，就要将时间嵌入到信息中，本发明专利采取了两种不同的时间嵌入策略。其中行为关系即扩散行为。

3.4.1近似策略

近似策略是对于每一个处于扩散中的用户，其每个时间间隔内用户的行为关系图均不同，但是人们的关注点和兴趣不会瞬间改变，时间是持续连续的，因此预测某个时刻的扩散图时，直接指定最近的某个时刻(文中采用前一时刻)的扩散图作为用户最终的用户表示。例如，当预测 t∈[t₇,t₈)的信息传播时，可以根据t₇时刻的信息传播预测t时刻信息传播趋势。

3.4.2注意力机制策略

近似策略只是指定某一时刻的用户表示作为最终的用户表示，并不能充分利用此段时间内用户行为对第t时刻进行更加准确的用户表示学习，因此本发明专利采用注意力机制从时间序列上所有时刻的用户表示来推测第t时刻的用户表示。图注意力机制的目的是将各个时间点的节点表示特征聚合到中心顶点上学习新的节点特征表达。

从上述步骤中可知，给定一个用户v，可以得到多层图卷积网络学习到的用户所有时间间隔内某用户表示

表示第t_l时刻的第i层图卷积得到的用户表示；得到用户表示

如果用户在某一时刻t_i转发消息，转发消息的时间为 [t_i,t_i+1)，此时考虑前t_i时刻之前用户的行为影响，设计了一种基于注意力机制的时间嵌入方法如下。

t'＝mixTogether(t_i) (6)

其中，t'为将时间间隔转化为时间嵌入后的结果表示，α_i是公式7计算的权重系数，T表示一共有T个时刻。v'为最终的用户表示即时间嵌入后的用户表示；

上式中

是一个掩码矩阵，当t'＜t_i时，即k_i＝-∞，表示softmax函数是个零权重，超过时间范围即关闭注意力。mixTogether函数是将时间间隔嵌入，该嵌入是正态分布初始化的。经过各时间嵌入权重与用户相乘便得到最终用户表示v'。最终进行时间嵌入的算法如下所示。

在算法2中，先用mixTogether函数将此刻之前的用户时间嵌入进去，生成每个时刻的用户嵌入权重，通过掩码矩阵k判断是此刻的用户嵌入是否有效，通过这样计算出的权重得到的用户表示更加切合用户转发时刻的状态，有利于信息下一步预测的进行。

3.5信息传播预测

获得用户节点表示后，为了更好的进行信息预测同时捕获上下文依赖信息，可以将获得的用户表示构建为一个扩散序列V′＝{v₁',v'₂,...,v'_N}，注意力网络使用一个共享参数的线性映射对节点进行增维，执行Mask Attention操作将得到的用户节点表示与注意力机制结合，其中Mask Attention 指注意力机制的运算只在符合条件的节点上运行，并非是对所有节点进行运算。信息预测的公式为：

其中，．^T表示矩阵的转置，M表示最终预测的用户表示，b表示一个矩阵。上式中矩阵C_ij，

是一个掩码矩阵，当i>j时，即C_ij＝-∞，表示softmax函数是个零权重，超过时间范围即关闭注意力，从而达到只对符合条件的节点进行运算，其中

是可学习参数，d_r＝d/G，G是多头注意力的头数。

得到预测到的M之后，使用两层全连接神经网络计算信息扩散的概率为

p＝W'σ(W″M^T+λ₁)+λ₂ (11)

上式中，

表示信息扩散的概率，W'、W″是可学习参数，

λ₁，λ₂是可学习参数，均为常数；|V|表示用户的个数，d是用户嵌入表示的维度，σ(·)是激活函数，本发明专利采取的是ReLU激活函数。．^T表示矩阵转置。

本发明专利采用的损失函数是交叉熵损失函数作为目标函数，公式如下所示。

其中，|V|表示用户个数，p_ik表示v_i和v_k之间发生转发行为的概率，

表示p_ik的估计值。当p_ik＝0时，表示不发生信息扩散，当p_ik＝1时，表示发声扩散行为，χ表示可学习的参数即模型中需要学习的所有参数，由Adamax优化器更新，优化器计算公式如下所示。

l_t＝max(β₂*V_t-1,|h(t)|) (14)

θ_t+1＝θ_t+Δx (16)

其中，l_t表示优化器更新规则的系数，max(·，·)表示取两者中的最大值，β₂表示引入的参数， l_t的值通过公式(13)(14)均可求得，(14)是(13)的化简版，

表示L无穷范式带入得

h(t)是 t时刻的参数梯度，二阶动量V(t)是梯度平方累加和，上式中ε是为了上述分母为0的一个平滑项参数，β₂∈[0.9,0.999]，ε＝10^-9。θ_t+1表示t+1时刻的优化结果即最终的优化结果。

4实验与结果分析

在本节中，主要介绍在实验中使用的数据集，先进的DeepDiffuse基准模型，消融实验以及参数调优实验。这将作为与本发明专利提出的ASTHGCN模型进行作对比，进一步介绍了用于评估 ASTHGCN模型性能的评估指标。

4.1实验准备

本发明专利采用了Douban、Twitter、Memetracker三个公共数据集。三个数据集的数量统计数据如下表1所示，表中User表示用户数量，Link表示用户关注关系的数量，Cascades表示用户转发序列的数量，Avg.length表示信息转发序列的平均长度。

表1数据集

Database	Douban	Twitter	Memetracker
				user	23123	12627	4709
Link	348280	309631	NULL
				Cascades	10602	3442	12661
Avg.length	2714	3260	1624

Twitter是一个提供微博客服务的社交媒体网络，从Twitter数据集中提取出2010年10月的 12627个用户和带有关注关系和扩散序列的推文，其中包含消息正文的URL，每个URL都是信息的唯一标记，用户的影响力关系是推特上的关注关系。

Memetracker1包含很多个在线主流社交媒体活动，本发明专利采用的数据集是从在线网络上收集了数百万的新闻故事和博客文章，将每个网站或博客的URL都被视为一个用户，跟踪每一个常见的引用和短语在用户之间的运用，这个数据集中没有社交图。

Douban是一个可以分享书籍或电影内容的社交服务网络平台，将每本书或电影看做一个信息，当用户读到这本书，那么这个用户就会被激活，当两个或多个用户多次激活相同的书或电影超过 20次，将认为他们两个是同质性的人。

遵循以前的实验设置，随机抽样80％的数据进行训练，10％用于验证，10％用于测试。

4.2基准方法

本发明专利列举了几个最先进的基准方法，与本发明专利提出的ASTHGCN模型进行比较。

DeepDiffuse：是一个利用节点序列和注意机制并考虑用户激活时间戳的一个基于LSTM模型，该模型可根据先前的级联序列预测某个用户何时被激活。

Topo-LSTM：是一个使用有向无环图(DAG)结构基于LSTM探索信息扩散的模型，该模型将动态DAG作为LSTM模型的输入，以嵌入函数计算的概率作为每个时间的感染概率，来生成具有拓扑感知的嵌入作为输出。

NDM:是一个不需要扩散图，采用卷积网络和自我注意力机制建模进行缓解长期依赖的问题的模型。

SNIDSA:是一种具有结构注意力的新型顺序神经网络，它不仅利用递归神经网络对序列信息进行建模，而且利用了门控机制的捕获用户间的结构性依赖。

FOREST：是一种在强化学习的指导下预测信息流行度的多尺度扩散预测模型。该模型提取潜在的社交图信息，利用强化学习整合宏观预测。

DyHGCN：是一种采用GCN学习用户社交图和扩散图结构特征进行动态信息预测的一种模型，该模型时间采用硬选择策略模型(DyHGCN-H)或软选择策略模型(DyHGCN-S)进行信息预测。

本发明专利方法(ASTHGCN_A，ASTHGCN_T)：ASTHGCN_A是本发明专利提出模型采用近似策略时间嵌入策略，ASTHGCN_T是采用的时间注意力机制将时间嵌入的方法。

4.3评价指标和实验设置

根据以前的研究，可以有任意数量的潜在候选对象，信息扩散预测可以看做下一个受感染用户的检索任务。因为SNIDSA和TopoLSTM这两个模型数据集中都需要一个潜在的社会图，而 Memetracker数据集没有社交图，因此做Memetracker数据集对比实验中，没有把这两种模型考虑在内。

本发明专利采用一种直观的评估方法就是利用信息检索中的排名指标。将未被感染节点按照感染概率进行排序，使用两种广泛流行的评估方法hits@N和MAP@N以及MSLE均值平方对数误差指标来评估ASTHGCN模型的性能。实验设置N＝10，50，100进行评估。

本发明专利采用GPU(GeForceRTX3060)、PyTorch1.9.1框架进行了实验实现，使用Adamax 优化器进行小批量梯度下降更新参数，选择的参数设置如表2所示，进行对测试集进行测试评估 ASTHGCN模型的性能。

表2参数设置

Parameters	Value
		Batch Size	16
Learning Rate	0.001
		β	β∈[0.9,0.999]
Dropout Rate	0.1
		Optimizer	Adamax
Num Epoch	50
		kernel size	128
d_model	64
		time_step	8
n_heads	14

4.4实验结果与参数设置实验

在这个部分设置比较试验，将DeepDiffuse等各个模型的实验结果进行比较，并进行对参数设置的分析对比实验。

4.4.1实验结果

提出ASTHGCN模型和基准模型在Douban等三个数据集上的实验结果分别为表3、表4、表 5所示。表中显示了所有模型的评估指标，从表中看到在hits@N，map@N指标中均可以看到 ASTHGCN模型的优越性，结果表明ASTHGCN模型可以成功的进行信息传播预测。

由表3、表4、表5中可以看出，在ASTHGCN实验未提交之前，DyHGCN是最先进的模型。从结果可以看到ASTHGCN始终优于最先进的方法，得到如下结论：

表3在Douban数据集上的实验结果

表4在Memetracker数据集上的实验结果

表5在Twitter数据集上的实验结果

(1)与SNIDSA、FOREST这些基于用户影响力研究的模型比较，ASTHGCN-A模型在hits@10指标上有将近5％的提升，在Twitter和Douban数据集上，ASTHGCN模型在hits@50和hits@100指标上有11％的绝对提升。在三个数据集上map@10均有4％的绝对提升。SNIDSA、FOREST只考虑用户的影响力，根据用户的社交关系进行信息预测，而不考虑用户的扩散行为的影响，由于用户的扩散行为往往意味着用户近期的兴趣爱好以及感兴趣话题，因此本发明专利 ASTHGCN模型将这些因素考虑进去，加大信息传播中更细粒度的研究，提高了信息预测准确率。

(2)与DeepDiffuse、TopoLSTM、NDM这些基于用户扩散行为研究的模型比较，ASTHGCN 模型在hits@10指标上有10％的绝对提升，在Douban和Twitter数据集中，hit@50有17％的提高， hit@100有20％的绝对提升。在map@的评价指标上有7％的绝对提升。DeepDiffuse、TopoLSTM、 NDM模型根据用户以往的扩散行为对信息进行预测，而没有考虑用户的影响力等因素，用户影响力可以反应信息传播能力和速度，实验证明，用户影响力因素对研究信息预测是十分重要的。

(3)与最先进的DyHGCN模型比较，ASTHGCN-T模型在hits@指标上有5％的绝对提升，在map@指标上有3％的提升。DyHGCN模型和ASTHGCN模型同时都考虑了用户的转发关系和关注关系以及时间因素，然而ASTHGCN模型对用户关系结构学习融合时考虑了用户上下文的依赖关系，采用注意力机制与图卷积相结合的方法学习用户表示使信息预测性能得到进一步提升，实验证明，用户上下文依赖关系对信息预测性能的影响是十分显著的。

接下来对三个数据集的均值平方对数误差(MSLE)指标进行实验，其结果为了方便比较如下雷达图6所示。

在Douban等三个数据集上的实验结果MSLE，其分数越低越好。由于TopoLSTM模型的实验分数大于10，明显高于其他模型分数，为了更加方便观察，因此并未在图中显示出来，由于 Memetracker模型中没有社交图，SNIDSA不适用于该数据集，所以设置该MSLE值为0。通过观察ASTHGCN模型的MSLE的实验结果是最小的，说明其性能是最好的，这跟上述叙述中， ASTHGCN模型将用户的行为关系以及影响力关系等空间因素以及时间因素均考虑其中，并采用注意力机制将用户表示融合一起等模型思想的运用息息相关，表明了ASTHGCN模型的有效性和准确性。

4.4.2消融实验

为了研究ASTHGCN模型中每个因素的有效性，本发明专利在DYHGCN模型的基础上进行一些额外的消融实验，来验证每个因素的性能。本发明专利从以下各个方面进行消融实验：

·异构图：去除异构图中的编码模块，仅仅使用同构网络来研究用户表示。

·行为关系：去除异构图中的行为关系，并去除用户表示学习的卷积操作，只考虑用户的扩散行为关系。

·社交网络：去除异构图中的社交影响力关系，并去除用户表示学习的卷积操作，只考虑用户的影响力关系。

·时间注意力机制嵌入：考虑时间注意力机制时，可以考虑采用近似策略进行时间嵌入。

·用户表示融合方法：考虑用户注意力融合机制时，可以采用启发式策略融合进行。

经过在Twitter和Douban数据集上进行了ASTHGCN模型异构图等各个模块的消融实验，实验结果如图7所示。从图7中可知，ASTHGCN中各个模块的应用都是十分必要的，各个模块都在一定程度上提高了。首先，当去除异构图中的编码模块时，仅仅使用同构网络来研究用户表示进行信息预测时，性能比ASTHGCN明显下降，ASTHGCN模型在Twitter数据集上提高了7个点，在Douban数据集上提高了十个点。这表明异构网络对于信息预测有促进作用。其次，在分别缺乏行为关系、社交关系以及时间注意力机制嵌入时间因素等实验中，这三者均可以在原有基础上提高信息预测性能，然而这与ASTHGCN模型性能相比明显不足，这表明只有将这些影响因素全部组合考虑进去，才可以显著的提高信息预测的性能。最后验证了经过启发式融合机制的模型指标比采用时间注意机制显著下降6个点，充分表明了采用时间注意机制融合的优势，时间注意机制可以更加全面的进行用户表示融合，从而提高模型性能。总而言之，ASTHGCN模型的每一个模块对于整个信息预测性能均有提升，ASTHGCN模型的研究是十分有意义的。

4.4.3参数调优实验

在本节中，利用Twitter数据集进行一些参数设置的不同选择及其性能分析，主要对注意力头数以及时间划分间隔数进行实验，验证其最优的参数设置。

时间间隔数的影响：本发明专利考虑信息传播的时间因素，将扩散时间序列划分为多少个时间间隔数，或许会或多或少的直接或间接影响ASTHGCN模型性能。随着时间间隔数的增多，用户可以学习更细粒度的表示，因此学习到的用户表示更加全面，但是由于参数的设置会影响最终性能，因此进行参数调优实验。实验结果如图8所示。

从图8中可以看出，ASTHGCN模型的性能随着时间间隔划分数的增加而增加，但是当时间间隔增大到8时，ASTHGCN模型的性能开始骤降，随后随时间划分间隔数的变化其性能的变化有限。这是因为当将用户时间序列划分的间隔数越大时，用户表示的越全面，学习到的用户特征就会更加周全，当间隔数更多时，学习到的性能变化有限，从而整个信息传播过程中的性能指标变化也有限，因此本发明专利选取时间间隔数为8。

多头注意力机制头数影响：ASTHGCN模型利用多头注意力机制不同head在计算时经过不同的投影得到更多的特征，从而影响信息传播的预测性能。多头注意力机制头数的设置会影响模型的性能指标，因此本发明专利进行了参数调优实验，其实验结果如图9所示。

可以看出，随着注意力机制头数的增加，ASTHGCN模型的性能不断提升，这是因为随着头数的增大，捕获到的信息会更加全面，更加准确。当注意力头数到14时，ASTHGCN模型的性能达到最佳，随着头数的继续更大，性能开始骤降。这是因为当注意力机制头数过多时，模型训练过拟合导致了性能下降。

模型维度的影响：本发明专利研究了节点V维度的表示是如何影响模型性能的。当D∈{16,32,64,128}时，验证ASTHGCN模型方法的性能。其实验结果如图10所示，随着维度增大，性能不断增强。但是在Douban数据集上可以看出当维度为64时，ASTHGCN模型性能最佳，当维度增大时，性能明显下降，可能是数据集太大使其过拟合导致。然而在Memetracker数据集上，当维度为128时性能才达到收敛，性能增幅逐渐平缓，可能因为他们有更大的数据集，综合三个数据集上性能结果看，本发明专利将提出的ASTHGCN模型维度设置为64。

5结论

本发明专利研究了异构网络的影响力关系和扩散行为关系等空间因素，以及时间因素对信息传播扩散的影响，设计了一种基于时空注意力机制图卷积网络的信息预测模型。ASTHGCN模型综合对影响力、扩散行为和时间因素的考虑以及注意力机制融合算法的应用，使用户融合和用户表示更加全面更加准确，提高了信息预测的准确率，此外，具有MASKAttention的多头注意力机制解决了时间戳信息预测与信息上下文依赖问题。在三个数据集上的实验结果表明，与其他基准模型相比，ASTHGCN模型的性能是最佳的。主要结论如下：(1)通过对具有影响力和扩散行为的异构网络研究，学习用户特征并将其融合至异构图中，学习到的用户表示更加符合现实生活，有效的提供了信息预测研究的用户样本。(2)在用户结构学习过程中融合用户上下文的依赖关系，采用注意力机制与图卷积相结合的方法学习用户表示使信息预测性能得到进一步提升完全，达到更加准确的用户输出，以达到信息预测准确率更高的目的。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种融合时空注意力和异构图卷积网络的信息扩散预测方法，其特征在于，包括以下步骤：

S1，构建具有转发关系和关注关系的异构网络，利用多层图卷积网络学习行为图和影响力图，然后将其结果融合起来作为学习到的用户表示；将时间划分为若干时间间隔，接着将每个时间间隔学习到的新的用户表示用注意力机制将其融合到新的异构图中，得到所有时刻的用户表示；

行为图表示每个时刻用户的转发情况；

影响力图表示用户之间的影响力关系；

S2，进行实时预测信息，将时间序列嵌入到异构图，得到最终用户表示；

S3，将获得的最终用户表示构建为一个扩散序列，用多头注意力网络机制进行信息扩散预测；

S4，对步骤S3采用交叉熵损失函数进行优化。

2.根据权利要求1所述的一种融合时空注意力和异构图卷积网络的信息扩散预测方法，其特征在于，所述S1中的学习的机制包括：

其中，

是第n+1层用户关注关系的用户表示；

σ(·)为激活函数；

F_A表示影响力图中的关注关系的邻接矩阵；

X⁽ⁿ⁾表示第n层的用户表示；

是第n层用户关注关系的可学习参数；

是第n+1层用户转发关系的用户表示；

表示t_i时刻的转发关系的邻接矩阵；

t_i是用户异构网络的时间间隔；

是第n层用户转发关系的可学习参数。

3.根据权利要求1所述的一种融合时空注意力和异构图卷积网络的信息扩散预测方法，其特征在于，所述S2中的时间序列嵌入的方法包括：

近似策略或注意力机制策略；

所述注意力机制策略包括：

t'＝mixTogether(t_i) (6)

其中，t'为将时间间隔转化为时间嵌入后的结果表示；

mixTogether(·)为将时间间隔嵌入的函数；

α_i为权重系数；

softmax(·)为归一化函数；

表示t_i时刻的用户表示；

k_i是一个掩码矩阵；

v'最终的用户表示；

T表示一共有T个时刻。

4.根据权利要求1所述的一种融合时空注意力和异构图卷积网络的信息扩散预测方法，其特征在于，所述S3中的信息扩散预测的公式为：

其中，softmax(·)为归一化函数；

V'表示扩散序列；

·^T表示矩阵的转置；

d_r＝d/G，d是用户嵌入表示的维度，G是多头注意力的头数；

C_ij是一个掩码矩阵；

M表示最终预测的用户表示；

表示对b_h进行拼接，b_h表示第h头注意力，b_h∈[b₁,b₂,...,b_G]；

是可学习参数，

表示d×d_r维的实数；

得到预测到的M之后，使用两层全连接神经网络计算信息扩散的概率为：

p＝W'σ(W”M^T+λ₁)+λ₂ (11)

其中，p表示信息扩散的概率；

W'、W”是可学习参数，

表示|V|×d维的实数；

表示d×d维的实数；

d是用户嵌入表示的维度；

|V|表示用户的个数；

λ₁是第一可学习参数，λ₂是第二可学习参数，λ₁、λ₂均为常数；

·^T表示矩阵转置。

5.根据权利要求1所述的一种融合时空注意力和异构图卷积网络的信息扩散预测方法，其特征在于，所述S4中交叉熵损失函数包括：

其中，N表示扩散时间间隔数；

|V|表示用户个数；

p_ik表示v_i和v_k之间发生转发行为的概率，v_i表示第i个用户，v_k表示第k个用户；

log(·)为对数函数；

表示p_ik的估计值；

χ表示可学习的参数即模型中需要学习的所有参数；

χ由Adamax优化器更新，优化器计算公式如下所示：

θ_t+1＝θ_t+Δx (16)

其中，l_t表示梯度h(t)的二阶矩；

β₂表示引入的二阶矩衰减参数，是一个常数；

表示将参数β₂带入L无穷范式的结果；

V_t-2表示前t-2时刻的梯度平方累加和；

h(t)是t时刻的参数梯度；

|h(t)|^∞表示将参数|h(t)|带入L无穷范式的结果；

ε为滑项参数；

η表示梯度h(t)的一阶矩的偏正矫正；

θ_t+1表示t+1时刻的优化结果即最终的优化结果；

θ_t表示t时刻的优化结果。

Images