CN115660147A - 一种基于传播路径间与传播路径内影响力建模的信息传播预测方法及系统 - Google Patents
一种基于传播路径间与传播路径内影响力建模的信息传播预测方法及系统 Download PDFInfo
- Publication number
- CN115660147A CN115660147A CN202211171903.7A CN202211171903A CN115660147A CN 115660147 A CN115660147 A CN 115660147A CN 202211171903 A CN202211171903 A CN 202211171903A CN 115660147 A CN115660147 A CN 115660147A
- Authority
- CN
- China
- Prior art keywords
- cascade
- propagation
- information
- representation
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000013528 artificial neural network Methods 0.000 claims abstract description 31
- 238000005070 sampling Methods 0.000 claims abstract description 28
- 230000002776 aggregation Effects 0.000 claims abstract description 21
- 238000004220 aggregation Methods 0.000 claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 11
- 238000010586 diagram Methods 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 230000008878 coupling Effects 0.000 claims description 13
- 238000010168 coupling process Methods 0.000 claims description 13
- 238000005859 coupling reaction Methods 0.000 claims description 13
- 238000005295 random walk Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000001902 propagating effect Effects 0.000 claims description 5
- 150000001875 compounds Chemical class 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000009792 diffusion process Methods 0.000 claims description 4
- 238000003058 natural language processing Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 14
- 230000000694 effects Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 244000097202 Rathbunia alamosensis Species 0.000 description 2
- 235000009776 Rathbunia alamosensis Nutrition 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种基于传播路径间与传播路径内影响力建模的信息传播预测方法及系统,涉及信息传播预测技术领域,用以解决在一段时间之后信息在社交网络中流行度增长量的预测问题。本发明的技术要点包括:使用图神经网络对级联图进行建模,得到聚合邻居节点状态与特征的节点表示;通过深度游走算法对整体级联网络图进行采样,获得级联图的序列集合,将图形神经网络嵌入表示与Deepwalk嵌入表示进行拼接来更新序列中各个节点的信息;将附有邻居信息的节点表示序列输入双向LSTM中,同时将时序信息经过注意力机制引导对序列进行整合,增强了级联预测模型的理解能力与预测能力。本发明兼顾级联传播路径间与传播路径内影响力传递性,以及纳入时序与结构因素互补性的有效性。
Description
技术领域
本发明涉及信息传播预测技术领域,具体涉及一种基于传播路径间与传播路径内影响力 建模的信息传播预测方法及系统。
背景技术
随着互联网和移动设备功能的增强,用户日益增长,在线社会网络平台成为用户发表意 见、表达思想的重要途径,极大的促进了信息的产生和传播。面对如此鱼目混杂的信息,不 仅为平台的管理者带来管理失控的威胁,也会对广大用户造成信息过载的困扰。做好在线网 络中的信息传播预测,可以提前从海量的信息中预测并筛选出来未来的爆发式热门消息,从 而为平台管理者提供科学的管理指导,也为用户筛选信息起到很好的过滤作用。然而,网络 中用户的相互关注与转发行为,促成了信息级联现象-当前用户的信息传播行为会带动与其相 关联的其他用户的信息传播行为,这种级联效应以及平台的开放性,为信息传播预测带来一 定的挑战。
信息传播预测从研究方法上一般分为三类。(1)基于特征的方法,在观测时间窗口内, 提取一些特征,比如内容特征,用户特征,结构特征,时序特征,通过未来的流行度,直接 做监督信息来进行学习,然而特征的提取有很强的人为主观因素,且不具有普适性。(2)生 成式方法,主要把现实网络中社会现象描述成一系列连续时间域中的事件序列,将信息的传 播积累看成是一个转发行为的到达过程,主要侧重于对每条信息转发过程中的速率函数独立 建模。代表性工作主要有增强泊松过程,以及霍克斯点过程,这些模型不受未来的预测信息 监督,预测性能受到一定的影响。(3)基于深度学习的方法,近来受深度学习模型在多个领 域表现优异的启发,(3)基于深度学习的来进行级联预测的方法应运而生,旨在通过端到端 的方式对消息的传播结构,参与用户,传播的消息内容,传播事件发生的时序信息进行自动 地深度表示,进行单因素或者多因素融合来对信息级联最终的规模进行预测,特别地,对结 构因素进行建模时,他们第一步将传播级联图通过多重随机游走,得到一组传播级联路径的 集合。每条级联路径不仅可以携带消息传递者的信息,而且刻画信息流的流向路径。
然而,现有方法通过随机游走建模的每条传播路径彼此独立,相互之间毫无联系。现实 情况中,每条传播路径间的用户经过多轮传播其重要程度,影响力是不断变化的,因此,现 有方法忽略了不同传播路径之间彼此关联的事实。此外,现有的深度学习的方法中,普遍忽 略了信息传播中至关重要的时序因素,因此,如何更好地在神经网络信息传播级联预测方法 中融入时序因素也是需要关注的问题。
发明内容
鉴于以上问题,本发明提出一种基于传播路径间与传播路径内影响力建模的信息传播预 测方法及系统,旨在提供一种基于传播路径内(Intra-path)与传播路径间(Inter-path)影响力建 模的信息传播预测方法,融合传播结构因素与时序因素来进行社交网络中信息的流行度增量 预测。
根据本发明的一方面,提供一种基于传播路径间与传播路径内影响力建模的信息传播预 测方法,该方法包括以下步骤:
步骤一、获取历史信息传播数据集;
步骤二、根据历史信息传播数据集训练基于图卷积时空耦合神经网络的信息传播预测模 型;
步骤三、将待预测信息数据输入训练好的信息传播预测模型中,获取待预测信息数据的 信息传播预测结果。
进一步地,步骤二中所述基于图卷积时空耦合神经网络的信息传播预测模型构建如下:
1)深度图嵌入表示:利用图卷积神经网络模型表示信息传播级联图中的每个节点,获得 聚合邻居节点信息的节点表示即图嵌入表示Pg;
2)Deepwalk级联序列采样:利用深度游走算法对信息传播级联图进行采样,得到K条 长度为N的级联传播路径序列,经过深度游走算法的训练获得每个节点的特征表示即序列嵌 入表示Pw;将图嵌入表示Pg与序列嵌入表示Pw进行拼接以对节点的表示进行更新;
3)信息传播级联图结构因素建模:将表示更新后的节点序列分别输入双向长短时记忆模 型中,得到信息传播级联图的结构特征表示A;
4)信息传播级联图时序因素建模:使用门控循环单元模型提取时序特征表示M,通过注 意力机制,时序信息指导下赋予不同的级联序列不同的权重,获得融合时序因素与结构因素 的信息传播级联图的最终表示O。
进一步地,所述深度图嵌入表示中获得聚合邻居节点信息的节点表示即图嵌入表示Pg的 具体过程包括:
对于信息传播级联图中的任意节点v在m+1层的表示,消息传播的聚合函数表示为:
更新函数表示为:
用矩阵的方式来表示图神经网络节点间的传播与更新:
进一步地,所述Deepwalk级联序列采样中对信息传播级联图进行采样,获得每个节点的 特征表示即序列嵌入表示Pw的具体过程包括:
采样K条长度为N的级联序列的过程为:根据下述公式确定路径的起始点:
其中,degi(v)表示节点v在信息传播级联图中出度的大小;α为平滑量;degi(w)表示节 点w在信息传播级联图中出度的大小,Vc表示节点w的邻居节点集合;
确定起始节点v后,在信息传播级联图中其出度邻居结点的集合为Ni(v),则其前往下一 个出度邻居由下述公式确定:
当邻居节点的采样长度达到设定值N,或者没有下一个邻居结点时,当前采样序列结束; 当序列的数目达到设定值K时,随机游走采样结束,得到K条信息传播级联图的传播路径;
基于自然语言处理领域中的Word2Vector模型,视每个节点为单个的单词,每条传播路 径视为一个句子;级联序列中的每个节点被表示为一个独热向量其中|Ui|表示信息 传播级联图中节点的总数;通过一个嵌入矩阵将每个节点转换成一个低维稠密向量y,将向量 y输入Skip-gram模型中,经过训练学习得到节点的嵌入表示Pw。
进一步地,所述信息传播级联图结构因素建模中将表示更新后的节点序列分别输入双向 长短时记忆模型中得到信息传播级联图的结构特征表示A的具体过程包括:
进一步地,所述信息传播级联图时序因素建模中获得融合时序因素与结构因素的信息传 播级联图的最终表示O的具体过程包括:
将信息传播级联图中每次事件发生的时间点映射至时间轴中,得到相应的异步时间戳;
对传播事件提取相应的时间特征,获得时间特征序列;
将时间特征序列输入门控循环单元模型,获得事件对应的隐状态;
对每个时间步依次迭代嵌入后,得到信息传播级联图的时序嵌入表示;信息传播级联图 中K条长度为N的级联路径被表示为A,代表着信息传播级联图的结构特征,信息传播级联 图的时序特征被表示为M;
通过加权池化后得到级联图的最终表示O:
进一步地,所述基于图卷积时空耦合神经网络的信息传播预测模型构建还包括:在获得 信息传播级联图的最终表示O后,使用全连接神经网络将模型与最终要预测的级联流行度增 量ΔSi来进行映射和转化:
ΔSi=f(gi)=MLP(h(gi))=MLP(O)
其中,MLP是多层感知机;h(gi)与f(gi)均为模型中间层泛化的映射函数。
进一步地,所述历史信息传播数据集包括微博转发数据和论文发表后引用数据。
进一步地,所述信息传播级联图表示为表示目标消息i经过t时间传 播的扩散过程,分别为U,E,T的子集,U表示截止到t0时刻已经参与该级联传播的用 户的集合;T表示用户参与级联的具体时间的集合,E表示用户之间的关系。
本发明的有益技术效果是:
本发明提出一个新的端到端的模型来充分探索扩散预测中的级联结构,以解决一段时间 之后信息在社交网络中流行度增长量的预测问题,为舆情评估、网站推荐、流行病传播等应 用提供有效的决策支持。主要包括:1)使用图神经网络对级联图进行建模,得到聚合邻居节 点状态与特征的节点表示;与此同时,通过深度游走算法(Deepwalk)对整体级联网络图进 行采样,获得级联图的序列集合,将图形神经网络(GNN)嵌入表示与Deepwalk嵌入表示进行 拼接来更新序列中各个节点的信息,使得路径上的影响传递性在Inter-path与Intra-path上都 能得以兼顾;2)将附有邻居信息的节点表示序列输入双向LSTM(Bi-directional LSTM)中, 同时将时序信息经过注意力机制引导对序列进行整合,以体现级联时序因素与拓扑结构因素 的互补性,增强了级联预测模型的理解能力与预测能力。
本发明在两个真实的应用场景—微博的转发增量预测和学术论文被引次数增量预测中进 行实验,并将本发明与其他现有方法进行比较,进一步验证了兼顾级联传播路径间影响力传 递性与传播路径内影响力传递性以及纳入时序与结构因素互补性的有效性。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解,所述附图连同下 面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明 本发明的优选实施例和解释本发明的原理和优点。
图1是本发明实施例中基于图卷积时空耦合神经网络的信息传播预测模型的结构示意图;
图2是本发明实施例中微博数据集的流行度标准化表示(a)和APS数据集的流行度标 准化表示(b);
图3是本发明实施例中微博网络和APS学术网络中信息的传播规模分布图;其中,(a) 对应微博网络,(b)对应APS学术网络;
图4是本发明实施例中序列长度和数量对预测性能的影响;其中,(a)对应序列长度, (b)对应序列数量。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,在下文中将结合附图对本发明的示范 性实施方式或实施例进行描述。显然,所描述的实施方式或实施例仅仅是本发明一部分的实 施方式或实施例,而不是全部的。基于本发明中的实施方式或实施例,本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例,都应当属于本发明保护 的范围。
本发明实施例提供一种基于传播路径间与传播路径内影响力建模的信息传播预测方法, 该方法包括以下步骤:
步骤一、获取历史信息传播数据集;
步骤二、根据历史信息传播数据集训练基于图卷积时空耦合神经网络的信息传播预测模 型;
步骤三、将待预测信息数据输入训练好的信息传播预测模型中,获取待预测信息数据的 信息传播预测结果。
流行度增量预测问题定义:假设t0时刻在线社交平台中有q个信息级联C={ci} (1≤i≤Q)在传播扩散,所形成的级联图为g={(U,E,T)};U表示截止到t0时刻已经参与 该级联传播的用户的集合,这些用户可以是微博中的用户,或者学术论文的作者;T表示用户 参与级联的具体时间的集合,表示用户之间的关系(比如转发关系、引用关系、关注关系)。
对于目标消息ci在经过t时间的传播,其扩散过程用级联图表示, 分别为U,E,T的子集。在t时刻,级联的规模为经过一段时间Δt后级联 的规模达到本发明的任务是预测经过时间Δt后级联流行程度的增长量,用规 模的增长量来表示。那么级联预测问题被定义为:给定g、t、Δt和gi、ΔSi, 寻找一个最优的映射函数f来最小化目标函数L:
本发明提出一个深度学习端到端的框架,通过给定的g、t、gi来预测Δt时间后级联的增 量ΔSi。在当前观测时间点,使用图神经网络建模传播级联图,获取聚合邻居节点信息(特征、 状态)的节点表示,与此同时使用Deepwalk模型在级联图gi进行多重随机游走,将传播级联 图转化为多个传播路径序列。将经过GNN模型与Deepwalk模型嵌入后的节点,对传播序列 中的节点一一更新,得到一组节点信息更新后的新序列;随后利用Bi-LSTM模型对每条新序 列进行分别建模。其次,对时序特征进行抽取,在与时序因素的注意力机制下对不同的序列 赋予不同的权重进行加权聚合,最终得到融合时序因素与结构因素的级联图gi的最终表示, 输入多层感知机中来预测最终流行度的增量。模型的整体框架图见图1。具体分为四个部分: (1)深度图嵌入表示,(2)Deepwalk级联序列采样,(3)级联图结构因素建模,(4)级联 图时序因素建模。
(1)深度图嵌入表示:使用GCN表示信息传播级联图G中的每个节点,得到聚合邻居节点信息的节点表示Pg。
(2)Deepwalk级联序列采样:使用Deepwalk对级联图进行采样,得到K条长度为N的级联传播路径序列,经过Deepwalk的训练每个节点的特征表示为Pw;随后,将图嵌入表示Pg与序列嵌入表示Pw进行拼接来对节点的表示进行更新。
(3)级联图结构因素建模:将表示更新后的节点序列分别输入Bi-LSTM中,得到级联 图的结构特征表示A。
(4)级联图时序因素建模:使用GRU提取时序特征表示M,通过注意力机制,时序信息指导下赋予不同的级联序列不同的权重,得到融合时序因素与结构因素的信息级联图的最 终表示O。
下面对每个步骤分别进行说明。
1.深度图嵌入表示
图神经网络可以看作一种信息传递和整合的方法,在从图结构数据中提取特征方面取得 了很好的效果。有很多图神经网络的变体如Graph attention networks(GAT),Graph autoencoders(GAE),Graph generative networks(GGN)以及Graph spatial-temporal networks (GSTN)等,他们通过在节点之间传播信息,并结合可微的聚合函数和更新函数,迭代地传 递并增强节点的特征表达。本发明将级联图上用户的状态更新为聚合邻居信息后的状态,通 过这种方式动态地学习级联图的用户表示。
在图神经网络过程中,消息传播机制包括两个步骤:消息聚合(Aggregation)和节点更 新(update);消息聚合是指聚合邻居节点的状态与特征,节点更新是指学习中心节点的嵌入 表示。在本发明实施例中,使用邻接矩阵的加权求和来表示消息聚合机制,使用向量加和的 非线性变换表示得到节点向量的更新。
具体的,对于级联图gi中的任意节点v在m+1层的表示,消息传播的聚合函数表示为公 式(2),更新函数表示为公式(3):
用矩阵来表示图神经网络节点间的传播与更新如公式(4)所示:
以上,通过图神经网络对邻居节点的信息聚合,节点的影响力得到更好的刻画,从而将 每条传播路径之间的影响的传递性纳入。
2.Deepwalk级联序列采样
本模型的第二步需要将目标级联图gi表示成一组传播路径的集合,也就是一组用户序列 的集合。使用Deepwalk来获取序列,Deepwalk是一种将随机游走和word2vec两种算法相结 合的图结构数据挖掘算法。依据NLP的思想,将级联图类比为一篇文档,级联路径类比为文 档中的句子,级联结点类比为文档中单词,对级联中的每一个节点进行嵌入表示。采样K条 长度为N的级联序列的过程如下。首先,根据公式(5)确定路径的起始点:
其中,degi(v)表示节点v在级联图gi中出度的大小,α为平滑量。
其次,确定初始结点v后,在级联图gi中其出度邻居结点的集合为Ni(v),则其前往下一个 出度邻居由公式(6)确定。当邻居节点的采样长度达到设定值N,或者没有下一个邻居结点 时,当前采样序列结束,当某一序列长路小于N时,用特殊符号如“*”补齐:
最后,当序列的数目达到设定值K时,随机游走采样结束。因此得到K条级联图的传播 路径,每条包含10个节点。基于自然语言处理领域中的Word2Vector模型,视每个节点为单 个的单词,每条传播路径视为一个句子。级联序列中的每个节点被表示为一个独热向量其中|Ui|表示级联图gi中节点的总数。通过一个嵌入矩阵将每个节点转换成一个低 维稠密向量y,即Wy∈RH×n:y=Wyx,其中H是一个可调整的向量嵌入表示的维度。将向量y输入Skip-gram模型中,经过训练学习得到节点的嵌入表示Pw。为将在传播路径间与传播路径内的影响力传递性同时纳入考虑,将上节中图神经网络嵌入表示Pg与Pw进行拼接:
3.信息传播级联图结构因素建模
一般来说,每一条序列不仅携带着消息传递者的信息,而且刻画着信息流的流向路径。 Recurrent Neural Network(RNN),特别是Long Short Term Memory(LSTM)、GatedRecurrent Unite(GRU),专门用来处理和预测时序问题,它可以充分挖掘数据中的时序信息,充分分 析时序信息的深度表达。用LSTM来建模本发明中的级联序列数据。采用双向LSTM模型来 建模信息在级联路径内部(Intra-path)的传播流程。当使用前向LSTM时从左向右对节点进 行读取,来刻画前期节点对后期节点的影响,而使用后向LSTM时从右向左读取节点,来刻 画后期节点对早期节点的影响。前向LSTM输出隐状态序列后向LSTM输出隐状态序列 将前向和后向的隐状态向量进行拼接,得到第K条级联路径中第j个节点的表达。
ai=Bi-LSTM(Pi,ai-1) (8)
4.信息传播级联图时序因素建模
将级联图gi中每次事件发生的时间点映射至时间轴中,可得到相应的异步时间戳。对传 播事件提取相应的时间特征,如Neighboring Temporal Context(NTC)或者Periodic Temporal Context(PTC),本发明提取NTC,di=ti-ti-1,则可得到时间特征序列之后将时间特征序列输入GRU,则事件i相应的隐状态为:
Mi=GRU(di,Mi-1) (10)
对每个时间步依次迭代嵌入后,可得到级联gi的时序嵌入表示为级联图gi中K条长度为N的级联路径被表示为A,代表着级联图gi的结构特征,级联图gi的 时序特征被表示为M。受级联内部节点影响力,节点发生时刻、节点发生时间间隔等因素的 影响,每条级联路径对级联未来传播的深度与广度等传播力度有着不同的影响。通过结构 因素与时序因素的注意力机制融合,在时序因素的查询下,来指引每条级联路径学习各自的 权重。使用对时序特征M进行平均池化来得到时序向量:
最后通过加权池化(weighted sum pooling)后得到级联的最终表示:
5.输出层
使用全连接神经网络将模型与最终要预测的级联流行度增量ΔSi来进行映射和转化,如公 式(15)所示。
ΔSi=f(gi)=MLP(h(gi))=MLP(O) (15)
其中,MLP是多层感知机。
本发明最终的任务是预测,给定g,t,Δt,和gi,ΔSi,最小化公式(1)所示的目标函数,进一步转化得到公式(14)。
基于图卷积时空耦合神经网络信息传播预测(DeepCasPath)算法的伪代码如下所示:
进一步通过实验验证本发明的技术效果。
对于Word2Vec的训练,向量维度为50,上下文窗口大小10,训练5个epoch。关于随机游走计算方法,对于每一个级联图共产生200个最大长度为20的随机游走序列。模型使用双向双层LSTM,隐藏层维度设置为32。全连接层的维度分别为32与16。学习率设置上, 对于不同的网络模块使用不同的学习率。其中图嵌入与word2vec词嵌入,学习率为5e-5。注 意力参数的学习率为0.005,且均初始化为1。其他网络层的学习率设置为0.01。模型训练方 面,批大小设置为8,在单张NVIDIA Tesla P100显卡上训练3个epoch模型收敛。为了评估 所提方法的有效性,对所提出的算法进行实验验证。
为验证模型的通用性与有效性,本发明在两个不同的应用场景下都进行了实验,分别是 新浪微博转发数据集和American Physical Society(APS)。数据集的统计情况总结如表1所示。
表1数据集统计情况
a)Sina Weibo(https://github.com/CaoQi92/DeepHawkes):第一个数据集是来自微博平台, 此平台是一种基于用户关系信息分享、传播以及获取的通过关注机制分享简短实时信息的广 播式的社交媒体、网络平台。此数据集由DeepHawkes提供。用来验证消息在未来某一个时 间点传播流行度的增量,选取2016年6月1号的全天的全量的微博。与DeepHawkes的实验 设置类似,考虑到午夜发布的内容不太可能被浏览,以及每个用户作息时间的差异,只保留 发布时间在8:00-19:00的转发量在110-1000的微博。将70%的数据划分为训练集,15%的数 据划分为验证集,其余的划分为测试集。观测时间选取的是消息发布之后的一个小时、两个 小时以及三个小时。从图2(a)中可以看出,消息发布后的第24小时的流行度已经接近最终的 流行度,因此预测时间选取于消息发出后的第24小时。同时也利用到了微博传播的转发路径, 揭示用户在什么时间点进行了转发,以及用户从谁那边转发的当前消息。
b)APS:第二个数据集是APS,包含了发表在ACM、DBLP、MAG等数据库上的63万 论文及其引用关系,选取了其中DBLP的数据来进行文章引用量增量预测的验证。如果文章 A引用文章B,则级联图中用一条有向边从A指向B。观测时间窗口分别是分布时间之后的 3年、6年、9年,观测时间窗口分别是发布时间之后的3年、6年、9年,从图2(b)中可 以看出,文章发布后的第20年其引用量已经接近最终引用量。因此,预测时间选取文章发布 之后的第20年,本发明要预测的目标是论文发表后文章第20年的引用增量。同时,过滤观 测窗口内引用量小于10的论文。与微博数据集类似,将APS论文引用数据挑选出70%的部 分作为训练集,剩下的部分一半为测试集、一半为验证集。
图3(a)与3(b)展示了微博网络和APS学术网络中信息的传播规模分布。在图中横坐标为 信息的流行度(微博转发量或论文引用次数),纵坐标为拥有一定流行度的信息所占比例。可 以看出,在log-log尺度下(即横纵坐标的值均取对数),数据近似一条直线,表明各数据集 中相关级联的大小均服从幂律分布。
考虑到社交网络中消息流行度的分布呈幂律分布,本发明选取对数下的均方误差(Mean Square Log-transformed Error,MSLE)来作为信息流行度增量预测的评估指标。对数坐标之 下的均方误差被定义为:
此外,考虑到Baseline方法中SEISMIC模型对离群值的敏感性,本发明与DeepHawk作 同样的处理,即仅使用平方对数误差的中位数(Median of Square Log-transformedError,mSLE) 来对SEISMIC模型进行评估,度量模型预测误差的中间水平。
现有的流行度预测的方法当中,主要有三类预测方法,在三类方法中选取了如下几种代 表性的表现优异的模型来作为本发明的baselines。具体如下。
(1)基于特征的方法:近期的研究表明,结构特征和时序特征能有效预测在线内容的流 行度,而内容特征和用户特征相对表现较弱。因此本发明在特征提取的方法当中,选择提取 了时序和结构特征。具体地,结构特征:节点的总个数、叶节点的个数、节点的度的平均值、 节点的度的最大值、节点的度的第90个百分位;时间特征:两次转发(引用)之间的时间间 隔的平均值,两次转发(引用)之间的时间间隔的最大值。获取以上特征之后,使用线性回 归将这些特征映射到信息级联的流行度增量。
(2)基于生成式的方法:生成式方法本发明选择霍克斯点过程方式中具有代表性的方法: SEISMIC使用Hawkes自激励点过程刻画信息传播过程,利用用户粉丝数作为用户影响力, 建模每次转发的自激励过程,并使用幂率函数刻画信息传播过程中的时间衰减模式。
(3)基于深度学习的方法:
a)DeepCas,利用随机游走策略从级联结构中提取多条节点序列,使用注意力机制为各 条序列分配权重,得到级联的特征表示,最后映射到最终的流行度增量.自动学习每条在线 内容的级联表示并预测最终的流行度增量。
b)DeepHawke,利用端到端的深度学习刻画信息传播过程中的可解释性影响因素,包括 用户影响力、自激励机制和时间衰减效应,具备良好的可解释性和较好的预测能力。
表2在新浪微博与APS数据集上与Baseline方法比较的实验结果
表2总结了DeepCasPath和Baselines方法在新浪微博数据集、APS数据集上的性能比较。 从表中可以看出DeepCasPath的预测结果明显优于其他4种对比方法。其中,基于特征的方 法,表现得不甚理想,这是因为手工提取特征的方式很难获得传播级联结构的有效特征。考 虑到SEISMIC对极值点敏感,只展示在mSLE指标下的结果,由于SEISMIC训练时未利用 最终的流行度增量作为监督,因此预测性能也较差。此外实验结果还表明,DeepHawkes的 预测性能优于DeepCas,因DeepHawkes使用转发/引用路径序列,将时间因素纳入考虑,考 虑了各个节点之间的到达顺序。然而,与DeepHawkes相比,本发明提出的模型在MSLE与mSLE的预测性能上提升15%左右。这是因为DeepHawkes仅使用多条序列表示传播级联, 而忽略级联传播多条序列之间并非是独立的,因此预测性能上差于DeepCasPath。
为验证模型中每一个模块的有效性,设置了消融实验,对模型进行模块的删减,或者模 块的更换:
DeepCasPath w/o GCN:将图1中(1)部分GNN对节点进行邻居节点的聚合模块去掉,来 验证GNN部分对级联传播路径间影响力的建模的贡献力度。
DeepCasPath w/GRU:将图1中(3)部分中的LSTM替换成GRU,使用GRU来建模级联图中的结构因素,以此来验证选取GRU作为信息级联预测中序列建模的优越性。
DeepCasPath w/o Time:将图1中(4)部分时序因素与经过GRU建模序列后的结构因素进 行注意力机制融合的模块去掉,以此来观察级联传播中时序因素的重要程度。
表3在新浪微博与APS数据集上与变体方法比较的实验结果
在微博数据集与APS数据集上消融实验的对比结果如表3所示,从表中可以看出,DeepCasPath与其他变体相比,误差明显降低。当分别去除DeepCasPath的GNN和Time部 分后,以及当把建模结构特征的Bi-LSTM模型替换成Bi-GRU之后,方法的预测性能均有不 同程度的下降。当去除GNN嵌入模块,MSLE与mSLE增长4%-15%,表明传播路径间影响 力传递性的纳入,对预测性能带来极大的提升。此外,去除了DeepCasPath的时间因素,预 测性能也不同程度地下降,表明模型的时间因素的有效性。综上所述,GCN节点嵌入、LSTM 结构因素建模、时间因素建模是DeepCasPath中的关键组成部分,从本质上提高了信息级联 预测的性能。最后,通过表2、表3在新浪微博数据集和APS数据集上的实验结果,发现所 有方法在新浪微博数据集上的流行度预测误差更大。一种可能的解释是,因为微博是相对更 开放的系统,消息的转发或者消息最终的流行度会受到非常多的因素的影响,它是一个更难 预测的一个环境,而在论文引用的场景当中,在学术圈内是一个相对比较稳定发展的状态,所以未来的流行度也会相对比较好预测。
同时,对部分参数的选择也进行了对比实验,选取微博1小时、2小时、3小时的训练集 作为参数对比实验的数据,预测性能会随LSTM隐藏层大小变化而改变,在隐藏层大小为32 时,MSLE与mSLE值均最低,说明隐藏层大小为32时,微博转发增量预测性能最佳。
对于DeepWalk采样而得的K条长度为N的序列集合,其中K与N数值的确定,本发明进行了参数对比,如图4(a)与(b)所示,当序列长度为20,数目为200时,模型所表现 得预测性能最优。
本发明另一实施例提供一种基于传播路径间与传播路径内影响力建模的信息传播预测系 统,该系统包括:
数据获取模块,其配置成获取历史信息传播数据集;
模型训练模块,其配置成根据历史信息传播数据集训练基于图卷积时空耦合神经网络的 信息传播预测模型;所述基于图卷积时空耦合神经网络的信息传播预测模型构建如下:
1)深度图嵌入表示:利用图卷积神经网络模型表示信息传播级联图中的每个节点,获得 聚合邻居节点信息的节点表示即图嵌入表示Pg;
2)Deepwalk级联序列采样:利用深度游走算法对信息传播级联图进行采样,得到K条 长度为N的级联传播路径序列,经过深度游走算法的训练获得每个节点的特征表示即序列嵌 入表示Pw;将图嵌入表示Pg与序列嵌入表示Pw进行拼接以对节点的表示进行更新;
3)信息传播级联图结构因素建模:将表示更新后的节点序列分别输入双向长短时记忆模 型中,得到信息传播级联图的结构特征表示A;
4)信息传播级联图时序因素建模:使用门控循环单元模型提取时序特征表示M,通过注 意力机制,时序信息指导下赋予不同的级联序列不同的权重,获得融合时序因素与结构因素 的信息传播级联图的最终表示O;
信息传播预测模块,其配置成将待预测信息数据输入训练好的信息传播预测模型中,获 取待预测信息数据的信息传播预测结果。
本发明实施例一种基于传播路径间与传播路径内影响力建模的信息传播预测系统的功能 可以由前述一种基于传播路径间与传播路径内影响力建模的信息传播预测方法说明,因此系 统实施例未详述部分,可参见以上方法实施例,在此不再赘述。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技 术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。对于本发明的范围,对 本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。
Claims (10)
1.一种基于传播路径间与传播路径内影响力建模的信息传播预测方法,其特征在于,包括以下步骤:
步骤一、获取历史信息传播数据集;
步骤二、根据历史信息传播数据集训练基于图卷积时空耦合神经网络的信息传播预测模型;
步骤三、将待预测信息数据输入训练好的信息传播预测模型中,获取待预测信息数据的信息传播预测结果。
2.根据权利要求1所述的一种基于传播路径间与传播路径内影响力建模的信息传播预测方法,其特征在于,步骤二中所述基于图卷积时空耦合神经网络的信息传播预测模型构建如下:
1)深度图嵌入表示:利用图卷积神经网络模型表示信息传播级联图中的每个节点,获得聚合邻居节点信息的节点表示即图嵌入表示Pg;
2)Deepwalk级联序列采样:利用深度游走算法对信息传播级联图进行采样,得到K条长度为N的级联传播路径序列,经过深度游走算法的训练获得每个节点的特征表示即序列嵌入表示Pw;将图嵌入表示Pg与序列嵌入表示Pw进行拼接以对节点的表示进行更新;
3)信息传播级联图结构因素建模:将表示更新后的节点序列分别输入双向长短时记忆模型中,得到信息传播级联图的结构特征表示A;
4)信息传播级联图时序因素建模:使用门控循环单元模型提取时序特征表示M,通过注意力机制,时序信息指导下赋予不同的级联序列不同的权重,获得融合时序因素与结构因素的信息传播级联图的最终表示O。
3.根据权利要求2所述的一种基于传播路径间与传播路径内影响力建模的信息传播预测方法,其特征在于,所述深度图嵌入表示中获得聚合邻居节点信息的节点表示即图嵌入表示Pg的具体过程包括:
对于信息传播级联图中的任意节点v在m+1层的表示,消息传播的聚合函数表示为:
更新函数表示为:
用矩阵的方式来表示图神经网络节点间的传播与更新:
4.根据权利要求3所述的一种基于传播路径间与传播路径内影响力建模的信息传播预测方法,其特征在于,所述Deepwalk级联序列采样中对信息传播级联图进行采样,获得每个节点的特征表示即序列嵌入表示Pw的具体过程包括:
采样K条长度为N的级联序列的过程为:根据下述公式确定路径的起始点:
其中,degi(v)表示节点v在信息传播级联图中出度的大小;α为平滑量;degi(w)表示节点w在信息传播级联图中出度的大小,Vc表示节点w的邻居节点集合;
确定起始节点v后,在信息传播级联图中其出度邻居结点的集合为Ni(v),则其前往下一个出度邻居由下述公式确定:
当邻居节点的采样长度达到设定值N,或者没有下一个邻居结点时,当前采样序列结束;当序列的数目达到设定值K时,随机游走采样结束,得到K条信息传播级联图的传播路径;
6.根据权利要求5所述的一种基于传播路径间与传播路径内影响力建模的信息传播预测方法,其特征在于,所述信息传播级联图时序因素建模中获得融合时序因素与结构因素的信息传播级联图的最终表示O的具体过程包括:
将信息传播级联图中每次事件发生的时间点映射至时间轴中,得到相应的异步时间戳;
对传播事件提取相应的时间特征,获得时间特征序列;
将时间特征序列输入门控循环单元模型,获得事件对应的隐状态;
对每个时间步依次迭代嵌入后,得到信息传播级联图的时序嵌入表示;信息传播级联图中K条长度为N的级联路径被表示为A,代表着信息传播级联图的结构特征,信息传播级联图的时序特征被表示为M;
通过加权池化后得到级联图的最终表示O:
7.根据权利要求6所述的一种基于传播路径间与传播路径内影响力建模的信息传播预测方法,其特征在于,所述基于图卷积时空耦合神经网络的信息传播预测模型构建还包括:在获得信息传播级联图的最终表示O后,使用全连接神经网络将模型与最终要预测的级联流行度增量ΔSi来进行映射和转化:
ΔSi=f(gi)=MLP(h(gi))=MLP(O)
其中,MLP是多层感知机;h(gi)与f(gi)均为模型中间层泛化的映射函数。
8.根据权利要求1-7中任一项所述的一种基于传播路径间与传播路径内影响力建模的信息传播预测方法,其特征在于,所述历史信息传播数据集包括微博转发数据和论文发表后引用数据。
10.一种基于传播路径间与传播路径内影响力建模的信息传播预测系统,其特征在于,包括:
数据获取模块,其配置成获取历史信息传播数据集;
模型训练模块,其配置成根据历史信息传播数据集训练基于图卷积时空耦合神经网络的信息传播预测模型;所述基于图卷积时空耦合神经网络的信息传播预测模型构建如下:
1)深度图嵌入表示:利用图卷积神经网络模型表示信息传播级联图中的每个节点,获得聚合邻居节点信息的节点表示即图嵌入表示Pg;
2)Deepwalk级联序列采样:利用深度游走算法对信息传播级联图进行采样,得到K条长度为N的级联传播路径序列,经过深度游走算法的训练获得每个节点的特征表示即序列嵌入表示Pw;将图嵌入表示Pg与序列嵌入表示Pw进行拼接以对节点的表示进行更新;
3)信息传播级联图结构因素建模:将表示更新后的节点序列分别输入双向长短时记忆模型中,得到信息传播级联图的结构特征表示A;
4)信息传播级联图时序因素建模:使用门控循环单元模型提取时序特征表示M,通过注意力机制,时序信息指导下赋予不同的级联序列不同的权重,获得融合时序因素与结构因素的信息传播级联图的最终表示O;
信息传播预测模块,其配置成将待预测信息数据输入训练好的信息传播预测模型中,获取待预测信息数据的信息传播预测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211171903.7A CN115660147A (zh) | 2022-09-26 | 2022-09-26 | 一种基于传播路径间与传播路径内影响力建模的信息传播预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211171903.7A CN115660147A (zh) | 2022-09-26 | 2022-09-26 | 一种基于传播路径间与传播路径内影响力建模的信息传播预测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115660147A true CN115660147A (zh) | 2023-01-31 |
Family
ID=84985651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211171903.7A Pending CN115660147A (zh) | 2022-09-26 | 2022-09-26 | 一种基于传播路径间与传播路径内影响力建模的信息传播预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115660147A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116842398A (zh) * | 2023-06-27 | 2023-10-03 | 哈尔滨工业大学 | 一种基于屏蔽自注意力网络的话题感知信息转发预测方法及系统 |
CN117811992A (zh) * | 2024-02-29 | 2024-04-02 | 山东海量信息技术研究院 | 一种网络不良信息传播抑制方法、装置、设备及存储介质 |
CN118134064A (zh) * | 2024-05-10 | 2024-06-04 | 南京禄口国际机场空港科技有限公司 | 一种航站客流量的预测方法、系统、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019095570A1 (zh) * | 2017-11-17 | 2019-05-23 | 平安科技(深圳)有限公司 | 预测事件流行度方法、服务器及计算机可读存储介质 |
WO2021179838A1 (zh) * | 2020-03-10 | 2021-09-16 | 支付宝(杭州)信息技术有限公司 | 一种基于异构图神经网络模型进行预测的方法和系统 |
CN114928548A (zh) * | 2022-04-26 | 2022-08-19 | 苏州大学 | 一种社交网络信息传播规模预测方法及装置 |
CN115080870A (zh) * | 2022-07-12 | 2022-09-20 | 黑龙江大学 | 基于Skip-gram的信息传播预测模型 |
-
2022
- 2022-09-26 CN CN202211171903.7A patent/CN115660147A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019095570A1 (zh) * | 2017-11-17 | 2019-05-23 | 平安科技(深圳)有限公司 | 预测事件流行度方法、服务器及计算机可读存储介质 |
WO2021179838A1 (zh) * | 2020-03-10 | 2021-09-16 | 支付宝(杭州)信息技术有限公司 | 一种基于异构图神经网络模型进行预测的方法和系统 |
CN114928548A (zh) * | 2022-04-26 | 2022-08-19 | 苏州大学 | 一种社交网络信息传播规模预测方法及装置 |
CN115080870A (zh) * | 2022-07-12 | 2022-09-20 | 黑龙江大学 | 基于Skip-gram的信息传播预测模型 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116842398A (zh) * | 2023-06-27 | 2023-10-03 | 哈尔滨工业大学 | 一种基于屏蔽自注意力网络的话题感知信息转发预测方法及系统 |
CN117811992A (zh) * | 2024-02-29 | 2024-04-02 | 山东海量信息技术研究院 | 一种网络不良信息传播抑制方法、装置、设备及存储介质 |
CN117811992B (zh) * | 2024-02-29 | 2024-05-28 | 山东海量信息技术研究院 | 一种网络不良信息传播抑制方法、装置、设备及存储介质 |
CN118134064A (zh) * | 2024-05-10 | 2024-06-04 | 南京禄口国际机场空港科技有限公司 | 一种航站客流量的预测方法、系统、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11659050B2 (en) | Discovering signature of electronic social networks | |
CN106649659B (zh) | 一种面向社交网络的链接预测系统及方法 | |
Josang et al. | Dirichlet reputation systems | |
CN115660147A (zh) | 一种基于传播路径间与传播路径内影响力建模的信息传播预测方法及系统 | |
CN109062962B (zh) | 一种融合天气信息的门控循环神经网络兴趣点推荐方法 | |
CN112256981B (zh) | 一种基于线性和非线性传播的谣言检测方法 | |
CN111241421B (zh) | 基于社交上下文信息的用户转发行为预测方法 | |
CN108229731B (zh) | 一种热点话题下多消息互影响的用户行为预测系统及方法 | |
CN113868474A (zh) | 一种基于自注意力机制和动态图的信息级联预测方法 | |
CN112765461A (zh) | 一种基于多兴趣胶囊网络的会话推荐方法 | |
CN113536144A (zh) | 一种社交网络信息的传播规模预测方法、装置 | |
CN114928548A (zh) | 一种社交网络信息传播规模预测方法及装置 | |
CN114584406B (zh) | 一种联邦学习的工业大数据隐私保护系统及方法 | |
CN114064627A (zh) | 一种针对多重关系的知识图谱链接补全方法及系统 | |
CN111342991B (zh) | 基于跨社交网络的信息传播方法 | |
CN115270782A (zh) | 基于图神经网络的事件传播流行度预测方法 | |
CN114637911A (zh) | 一种注意力融合感知网络的下一个兴趣点推荐方法 | |
Meng et al. | POI recommendation for occasional groups Based on hybrid graph neural networks | |
CN113379536A (zh) | 一种基于引力搜索算法优化递归神经网络的违约概率预测方法 | |
Yang et al. | Gated graph convolutional network based on spatio-temporal semi-variogram for link prediction in dynamic complex network | |
CN112256918A (zh) | 一种基于多模态动态路由的短视频点击率预测方法 | |
CN116361643A (zh) | 实现对象推荐的模型训练方法及对象推荐方法及相关装置 | |
CN113688974B (zh) | 一种基于轻量化图卷积网络的移动应用推荐方法 | |
Wang et al. | Consumption prediction with privacy concern: Application and evaluation of Federated Learning | |
Lu et al. | A network traffic prediction model based on reinforced staged feature interaction and fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |