CN113962358A - 一种基于时序超图注意力神经网络的信息扩散预测方法 - Google Patents
一种基于时序超图注意力神经网络的信息扩散预测方法 Download PDFInfo
- Publication number
- CN113962358A CN113962358A CN202111153049.7A CN202111153049A CN113962358A CN 113962358 A CN113962358 A CN 113962358A CN 202111153049 A CN202111153049 A CN 202111153049A CN 113962358 A CN113962358 A CN 113962358A
- Authority
- CN
- China
- Prior art keywords
- cascade
- user
- hypergraph
- representation
- static
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009792 diffusion process Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 33
- 239000013598 vector Substances 0.000 claims abstract description 108
- 230000003068 static effect Effects 0.000 claims abstract description 54
- 230000003993 interaction Effects 0.000 claims abstract description 36
- 230000002452 interceptive effect Effects 0.000 claims abstract description 33
- 239000013604 expression vector Substances 0.000 claims description 68
- 230000004927 fusion Effects 0.000 claims description 22
- 230000007246 mechanism Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 208000015181 infectious disease Diseases 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 7
- 230000008846 dynamic interplay Effects 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 18
- 230000004913 activation Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于时序超图注意力神经网络的信息扩散预测方法，从用户的静态友谊网络和动态交互网络的两个方面共同学习用户的偏好来预测信息扩散。其中，该方法不仅利用图卷积神经网络从用户的友谊网络中捕获用户的静态依赖关系，并且还创新地设计了一个超图注意力网络，从而从序列化的信息扩散超图中动态学习用户在级联层面的交互，级联之间的联系。根据待预测的级联特征，嵌入查找模块分别从所获得的两个方面的用户表示向量中查找对应用户的向量，以便进行下一步的交互学习。最后利用两个自注意力模块分别对从上述两个方面所获得的级联表示进行内部的深度交互学习，以预测下一个被影响的用户，从而实现对网络信息扩散的逐步预测。
Description
技术领域
本发明属于信息扩散预测领域，涉及一种基于时序超图注意力神经网络的信息扩散预测方法。
背景技术
在线社交媒体的兴起加快了信息共享与传播的速度，因此迫切需要高效的信息扩散预测技术来处理新兴的任务场景，如虚假信息控制、热点检测和在线推荐。目前典型的信息扩散预测方法可被分为三类：基于特征工程的方法、基于生成的方法和基于表示学习的方法。其中，基于特征工程的方法通过提取信息扩散过程中具有代表性的特征来预测信息在宏观层面上传播的流行程度。然而，这种方法很难建模用户之间的依赖关系，也不能捕获传播结构的动态演化。此外，人工完成的特征工程需要大量的专业知识和时间，这限制了这种方法在大规模网络中的应用。概率统计生成模型将信息扩散视为时域内发生的事件序列。然而，这种方法在很大程度上依赖于预定义的扩散机制，而现实世界中的传播并不会严格遵守这个规则。最近，在表示学习技术的启发下，一系列基于深度学习的信息扩散预测方法被提出，由于传播级联是典型的序列结构，大多数方法都利用扩展的循环神经网络从级联中学习用户的表示向量并进行预测。然而针对级联的方法仅能学习到用户在级联内部的交互行为，无法捕获用户的全局依赖关系，因此用户社交网络和图神经网络技术也被引入到了预测模型中。
目前基于图神经网络的信息扩散预测方法主要利用图卷积神经网络对社交网络或信息扩散网络上的邻居关系进行学习，再将得到的用户表示向量与目标级联的序列信息结合以预测该级联下一个可能被感染的用户。尽管图卷积神经网络具有较好的图结构特征的编码能力，但基础的图卷积网络无法准确捕获社交网络中用户邻居对其影响的差异性特征，并且无法描述信息扩散过程的动态性行为。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供一种基于时序超图注意力神经网络的信息扩散预测方法，实现对网络信息扩散的逐步预测。
为达到上述目的，本发明采用以下技术方案予以实现：
一种基于时序超图注意力神经网络的信息扩散预测方法，包括以下过程：
S1，获得用户的静态表示向量；
S2，构建级联扩散超图集合；
S3，对于级联扩散超图集合中的每个子超图，在保留所有级联的根用户信息的基础上，通过计算节点与根节点之间的距离来计算级联对节点的注意力系数；
S4，根据得到的注意力系数，训练一个聚合器以聚合一条超边上所有用户的表示向量，得到超边的表示向量；
S5，得到所有超边的表示向量之后，训练另一个聚合器来聚合一个节点曾参与过的所有超边的特征，以更新节点的表示向量，在聚合时给每个超边相同的权重；
S6，按照时间顺序，分别储存每一个子超图上学习到的用户表示向量和级联表示向量，捕获交互信息；
S7，利用多个HGATs学习不同时间间隔内的交互信息，并通过门控融合机制将他们按时间顺序连接起来；
S8，从静态用户表示向量与储存的用户表示向量和级联表示向量中分别读取目标级联所有已激活的用户的表示向量，并按照级联上用户的原始顺序进行排列拼接，从而进一步表示目标级联；
S9，采用两个多头自注意模块分别学习级联内的静态和动态特征交互；
S10，通过门控机制将级联内的静态和动态特征交互进行交互融合，将交互融合后的级联表示向量经过多层感知机，并利用Softmax获得最终的用户被影响的概率分布，选取概率最大的用户作为下一个被影响的用户，从而实现传播预测。
优选的，获得用户的静态表示向量的具体过程为：利用一个图卷积神经网络对用户社交网络进行学习，获得静态用户表示向量。
优选的，在S5和S6之间，利用用户的表示向量来更新并保留级联的表示向量。
优选的，S8的具体过程为：
S8.1，从静态用户表示向量中读取级联上所有激活用户的表示向量，忽略具体的时间戳，并按照级联的原始用户顺序排列，得到的结果用来表示目标级联；
S8.2，根据给定目标级联，储存的用户表示向量和级联表示向量中查询相应时间间隔的用户和级联表示向量，并通过门控融合策略将它们合并；
S8.3，根据给定级联的时间戳和记忆模块中保存的级联表示向量，读取不同时期级联的表示向量；
S8.4，采用门控融合机制，将级联表示向量集成到用户中。
进一步，S8.2中，读取在距用户参与该级联之前最近的时间间隔的表示向量作为其相对于该级联的表示。
优选的，S9的具体过程为：
S9.1，采用多头自注意机制分别学习级联内的静态和动态特征交互，得到学习了级联内部用户序列化信息之后的级联表示向量；
S9.2，将学习到的级联表示向量输入两层全连通神经网络，最终获得静态级联表示向量经过序列化学习之后的表示向量；
S9.3，以动态级联表示向量替换静态表示向量，重复S9.1和S9.2，得到学习了级联内部序列化信息后的动态级联表示向量。
进一步，S10的具体过程为：
S10.1，采用门控融合策略结合静态级联表示向量和动态级联表示向量，获得新的级联表示向量；
S10.2，利用softmax对非激活用户在级联中的感染概率进行计算，利用具有真实标签的训练样本进行交叉熵误差最小化，从而获得整体损失函数模型；
S10.3，针对给定级联，从第2个被影响的用户开始，逐步计算在下一步所有未被影响的用户的被影响概率，并反馈给整体损失函数模型进行迭代学习，训练好的整体损失函数模型基于预测出的概率，排序选出最可能在下一步被影响的用户，最后实现对级联扩散的连续高效预测。
一种基于时序超图注意力神经网络的信息扩散预测系统，包括：
静态表示向量获取单元，用于获得用户的静态表示向量；
级联扩散超图集合构建单元，用于构建级联扩散超图集合；
注意力系数计算单元，用于对于级联扩散超图集合中的每个子超图，在保留所有级联的根用户信息的基础上，通过计算节点与根节点之间的距离来计算级联对节点的注意力系数；
超边的表示向量获取单元，用于根据得到的注意力系数，训练一个聚合器以聚合一条超边上所有用户的表示向量，得到超边的表示向量；
节点的表示向量更新单元，用于得到所有超边的表示向量之后，训练另一个聚合器来聚合一个节点曾参与过的所有超边的特征，以更新节点的表示向量，在聚合时给每个超边相同的权重；
交互信息捕获单元，用于按照时间顺序，分别储存每一个子超图上学习到的用户表示向量和级联表示向量，捕获交互信息；
交互信息学习连接单元，用于利用多个HGATs学习不同时间间隔内的交互信息，并通过门控融合机制将他们按时间顺序连接起来；
目标级联表示单元，用于从静态用户表示向量与储存的用户表示向量和级联表示向量中分别读取目标级联所有已激活的用户的表示向量，并按照级联上用户的原始顺序进行排列拼接，从而进一步表示目标级联；
特征交互单元，用于采用两个多头自注意模块分别学习级联内的静态和动态特征交互；
传播预测单元，用于通过门控机制将级联内的静态和动态特征交互进行交互融合，将交互融合后的级联表示向量经过多层感知机，并利用Softmax获得最终的用户被影响的概率分布，选取概率最大的用户作为下一个被影响的用户，从而实现传播预测。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述基于时序超图注意力神经网络的信息扩散预测系统的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述基于时序超图注意力神经网络的信息扩散预测系统的步骤。
与现有技术相比，本发明具有以下有益效果：
本发明不仅利用图卷积神经网络从用户的友谊网络中捕获用户的静态依赖关系，并且还创新地设计了一个超图注意力网络，从而从序列化的信息扩散超图中动态学习用户在级联层面的交互，以及级联之间的联系。同时，根据待预测的级联特征，嵌入查找模块分别从所获得的两个方面的用户表示向量中查找对应用户的向量，以便进行下一步的交互学习。最后，本发明利用两个自注意力模块分别对从上述两个方面所获得的级联表示进行内部的深度交互学习，以预测下一个被影响的用户，从而实现对网络信息扩散的逐步预测。
附图说明
图1为本发明的整体架构图；
图2为本发明在Twitter、Douban、Android、和Christianity四个数据集上的实验性能图(实验指标：命中率Hits@k(k＝10、50、100))；
图3为本发明在Twitter、Douban、Android、和Christianity四个数据集上的实验性能图(实验指标：平均精度MAP@k(k＝10、50、100))；
图4为本发明的不同模块在Twitter、Douban、Android、和Christianity四个数据集下的分离性能对比图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
针对目前信息传播预测任务中存在的问题，本发明从用户的静态友谊网络和动态交互网络的两个方面共同学习用户的偏好来预测信息扩散。其中，该方法不仅利用图卷积神经网络从用户的友谊网络中捕获用户的静态依赖关系，并且还创新地设计了一个超图注意力网络，从而从序列化的信息扩散超图中动态学习用户在级联层面的交互，以及级联之间的联系。同时，根据待预测的级联特征，嵌入查找模块分别从所获得的两个方面的用户表示向量中查找对应用户的向量，以便进行下一步的交互学习。最后，本方法利用两个自注意力模块分别对从上述两个方面所获得的级联表示进行内部的深度交互学习，以预测下一个被影响的用户，从而实现对网络信息扩散的逐步预测。本发明的架构图如图1所示。
模块1，用户静态依赖学习模块：根据社会同质性理论，用户特征在一定程度上可以被其邻居的特征所概括。因此，友谊网络的引入不仅可以帮助更准确地对用户建模，而且可以缓解预测中的冷启动问题，即使用户以前没有参与过任何级联，本发明也可以通过探索其邻居的特征来了解它的偏好。考虑到用户友谊网络的结构相对稳定，本发明假设它在学习过程中没有变化，并应用多层图卷积网络(GCN)来学习用户的静态表示向量。
模块2，用户动态交互学习模块：在用户友谊网络中，不同邻居对用户的影响通常是不同的，而用户之间的友谊关系并不能准确地反映出他们的交互偏好，因此，本发明基于已发生的级联构建一系列超图，提出了一种新的顺序超图注意网络来动态学习级联层面的用户交互，以及不同级联之间的相互联系，并策略性地引入一种门控融合策略将顺序超图连接起来，以保留学习到的历史特征。另外，为了充分利用各个时间间隔内学习到的特征，本发明设计了一个记忆模块，以键-值对的形式储存每个时间间隔内学习到的用户和级联表示向量。
模块3，嵌入查找模块：为了进一步强调级联上的用户序列信息，本模块从静态用户表示向量矩阵和动态内存模块中分别读取目标级联所有已激活的用户的表示向量，并按照级联上用户的原始顺序进行排列拼接，从而进一步表示目标级联。
模块4，自注意力模块：图表示学习只能捕获级联层面用户的共同参与关系和级联之间的连接，但不能进一步分析级联内部的用户交互。因此，基于自注意力策略在自然语言处理等序列任务中的出色性能，我们采用两个多头自注意模块分别学习级联内的静态和动态特征交互，并通过门控机制进行深度的交互融合。
模块5，预测模块：将经过上面过程学习到的级联表示向量经过多层感知机，并利用Softmax获得最终的用户被影响的概率分布，选取概率最大的用户作为下一个被影响的用户，从而实现传播预测。
本发明方法流程具体为：
阶段0：数据初始化
步骤0：考虑到由M条信息扩散产生的级联序列C＝{c1,c2,...,cM}，其中
表示第m条信息传播所形成的级联，
分别为用户和该用户参与级联的时间；用户集合U＝{u1,u2,...,uN}，N表示用户总数；用户友谊网络可表示为：GF＝(U,E)，其中E是表示用户友谊关系的边的合集；
阶段1：用户静态依赖学习
步骤1：为了捕获用户间的静态依赖关系，利用一个LF层的图卷积神经网络(GCN)对用户社交网络GF＝(U,E)进行学习，获得静态用户表示向量XF。
其中
是从正态分布中随机初始化而来，d是表示向量的维度，l是网络的层数，σ表示relu激活函数，WF是可学习的权重矩阵，
和
是加入自环的图GF的邻接矩阵和度矩阵。经过LF层网络迭代学习后，取
阶段2：用户动态交互学习
步骤2：为了描述信息扩散过程中的动态性，本发明根据给定级联序列C中包含的用户-级联交互信息，构建级联扩散超图集合
其中
表示在第t个时间间隔内的子超图，Ut,εt分别表示该子超图包含的用户和超边(即级联)的集合。
步骤3：对每一个子超图
本发明设计了一个LD层的超图注意力网络HGAT学习级联层面的用户交互，以及级联之间的连接。首先，由于根节点能够在一定程度反映级联的内容，因此对于每个子超图，在保留所有级联的根用户信息的基础上，通过计算节点与根节点之间的距离来计算级联对节点的注意力，用
表示用户
在超边
的注意力系数.
其中
指的是用户
的表示向量，rj是超边
的根节点的表示向量，
表示超边上其他任意用户
的表示向量，l是网络的层数，dis(·)表示欧氏距离，W1是可学习的权重矩阵。
步骤3：根据得到的注意力系数，训练一个聚合器以聚合一条超边上所有用户的表示向量xi,t，得到超边的表示向量oj,t。
其中σ表示relu激活函数，W1是可学习的权重矩阵。
步骤4：在得到所有超边的表示向量之后，本发明训练另一个聚合器来聚合一个节点曾参与过的所有超边的特征，以更新节点的表示向量xi,t。由于用户和级联之间的所有交互都发生在同一个时间间隔内，因此我们在聚合时给每个超边相同的权重。
其中
表示用户
参与的超边集合，W2是可学习的权重矩阵。
步骤5：上述步骤3和步骤4完成的两次聚合旨在在级联级别学习用户的交互特征。在这个过程中，级联只发挥了特征传递的作用，其本身的特征没有被保留。为了进一步捕获级联之间的连接，本发明设计了一个额外的聚合步骤，利用用户的表示向量来更新并保留级联的表示向量。更新方法为：
其中W3是可学习的权重矩阵。对于子超图
利用LD层HGAT网络进行迭代学习后，可以得到t时间间隔内所有用户的表示向量矩阵
取
以及所有级联的表示向量矩阵
取
步骤6：为了利用在不同时间间隔内的子超图上所学习到的特征，本发明构建一个内存模块MD，以键值对的形式，按照时间顺序，分别储存在每一个子超图上学习到的用户表示向量和级联表示向量矩阵，以完全捕获交互信息，MD＝{t′:(Xt,Ot)}，其中t′对应于在第t时间间隔内产生的用户-级联交互的时间戳的最大值。
步骤7：单个HGAT只能学习一个时间间隔内的交互信息，不能准确地描述用户偏好和级联内容随扩散演化的动态变化。因此，本发明利用多个HGATs学习不同时间间隔内的交互信息，并策略地引入门控融合机制将他们按时间顺序连接起来。
其中，
是用户
的初始表示向量，
是用户通过一个LD层的HGAT，从
中学习得到的表示向量，
是特征变换矩阵，
是用于注意力分数计算的向量，σ表示tanh激活函数。为了提高HGAT的表达能力，实现交互式学习，本发明使用从社交网络学习的用户静态表示向量作为第1个时间间隔内用户的初始化表示向量，即
阶段3：嵌入查找
步骤8：为了强调级联内部的特征交互，本发明首先通过嵌入查找模块中从静态用户表示向量矩阵XF中读取级联上所有激活用户的表示向量
忽略具体的时间戳，并按照级联的原始用户顺序排列，得到
以进一步表示目标级联。
步骤9：根据给定目标级联cm，分别从内存模块MD中查询相应时间间隔的用户和级联表示向量，并通过门控融合策略将它们合并。为了避免信息泄露，本发明读取在距用户参与该级联之前最近的时间间隔的表示向量作为其相对于该级联的表示，即，如果用户
在时间
加入了级联cm，对比
的值与记忆模块的键[t′]的大小，如果
并且
ui在Xt中的表示向量xi,就是其相对于cm的表示。因此，cm可以被表示为
步骤10：同样的，根据给定级联的时间戳和记忆模块中保存的级联表示向量，读取不同时期级联的表示向量，并排列为
步骤11：采用门控融合机制，将级联表示向量集成到用户中：
其中，
和
分别是特征变换矩阵和用于注意力分数计算的向量，σ表示tanh激活函数。
阶段4：自注意力模块
步骤12：基于级联扩散超图的表示学习只能捕获级联级别上用户的协同参与关系和级联之间的连接，不能进一步分析级联中的上下文交互。因此，本发明应用多头自注意机制分别学习级联cm内的静态和动态特征交互。对于静态级联表示向量
自注意力学习过程为：
其中，
表示学习了级联内部用户序列化信息之后的级联表示向量，
以及WO是可学习的特征变换矩阵，d′＝d/，d是表示向量的维数，H表示注意力的头数，M是一个掩码矩阵，如果i>j，则Mi,j＝-∞，否则Mi,j＝0。
步骤13：将学习到的
输入两层全连通神经网络，最终获得
经过序列化学习之后的表示向量
其中
和
是可学习的特征转移矩阵，b1和b2是偏差参数。
步骤14：以动态级联表示向量
替换静态表示向量
重复以上两个步骤，得到学习了级联内部序列化信息后的动态级联表示向量
阶段5：预测
步骤15：利用门控融合策略结合静态级联表示向量
和动态级联表示向量
获得更具有表现性的级联表示向量
其中，
和
分别是特征变换矩阵和用于注意力分数计算的向量，σ表示tanh激活函数。
步骤16：利用softmax对非激活用户在级联cm中的感染概率进行计算。设Ym为用户的真实标签，如果用户ui在第j步参与了级联cm，则
否则
利用具有真实标签的训练样本进行交叉熵误差最小化，从而获得整体损失函数：
其中，
表示模型预测出的N个用户在cm中每一步的感染概率，MASKm是一个用来屏蔽在每一步预测之前已被影响的用户的掩码矩阵，即，如果用户ui在第j步参与了级联cm，则前j步预测不会发生信息泄露，
在第j步之后，由于ui已经被影响，则不再参与预测，
Wp是将级联表示向量Zm映射到用户空间的特征变换矩阵，bp为偏置系数。针对给定级联，从第2个被影响的用户开始，逐步计算在下一步所有未被影响的用户的被影响概率，并反馈给损失函数进行迭代学习。训练好的模型基于预测出的概率，排序选出最可能在下一步被影响的用户，最后实现对级联扩散的连续高效预测。图2、图3的实验结果体现了本发明在级联扩散预测任务上的优秀性能，图4的消融实验则进一步证实了本发明设计的合理性和各个模块的有效性。
本发明所述的基于时序超图注意力神经网络的信息扩散预测系统，包括：
静态表示向量获取单元，用于获得用户的静态表示向量。
级联扩散超图集合构建单元，用于构建级联扩散超图集合。
注意力系数计算单元，用于对于级联扩散超图集合中的每个子超图，在保留所有级联的根用户信息的基础上，通过计算节点与根节点之间的距离来计算级联对节点的注意力系数。
超边的表示向量获取单元，用于根据得到的注意力系数，训练一个聚合器以聚合一条超边上所有用户的表示向量，得到超边的表示向量。
节点的表示向量更新单元，用于得到所有超边的表示向量之后，训练另一个聚合器来聚合一个节点曾参与过的所有超边的特征，以更新节点的表示向量，在聚合时给每个超边相同的权重。
交互信息捕获单元，用于按照时间顺序，分别储存每一个子超图上学习到的用户表示向量和级联表示向量，捕获交互信息。
交互信息学习连接单元，用于利用多个HGATs学习不同时间间隔内的交互信息，并通过门控融合机制将他们按时间顺序连接起来。
目标级联表示单元，用于从静态用户表示向量与储存的用户表示向量和级联表示向量中分别读取目标级联所有已激活的用户的表示向量，并按照级联上用户的原始顺序进行排列拼接，从而进一步表示目标级联。
特征交互单元，用于采用两个多头自注意模块分别学习级联内的静态和动态特征交互。
传播预测单元，用于通过门控机制将级联内的静态和动态特征交互进行交互融合，将交互融合后的级联表示向量经过多层感知机，并利用Softmax获得最终的用户被影响的概率分布，选取概率最大的用户作为下一个被影响的用户，从而实现传播预测。
本发明所述的计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述基于时序超图注意力神经网络的信息扩散预测系统的步骤。
本发明所述的计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述基于时序超图注意力神经网络的信息扩散预测系统的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
Claims (10)
1.一种基于时序超图注意力神经网络的信息扩散预测方法，其特征在于，包括以下过程：
S1，获得用户的静态表示向量；
S2，构建级联扩散超图集合；
S3，对于级联扩散超图集合中的每个子超图，在保留所有级联的根用户信息的基础上，通过计算节点与根节点之间的距离来计算级联对节点的注意力系数；
S4，根据得到的注意力系数，训练一个聚合器以聚合一条超边上所有用户的表示向量，得到超边的表示向量；
S5，得到所有超边的表示向量之后，训练另一个聚合器来聚合一个节点曾参与过的所有超边的特征，以更新节点的表示向量，在聚合时给每个超边相同的权重；
S6，按照时间顺序，分别储存每一个子超图上学习到的用户表示向量和级联表示向量，捕获交互信息；
S7，利用多个HGATs学习不同时间间隔内的交互信息，并通过门控融合机制将他们按时间顺序连接起来；
S8，从静态用户表示向量与储存的用户表示向量和级联表示向量中分别读取目标级联所有已激活的用户的表示向量，并按照级联上用户的原始顺序进行排列拼接，从而进一步表示目标级联；
S9，采用两个多头自注意模块分别学习级联内的静态和动态特征交互；
S10，通过门控机制将级联内的静态和动态特征交互进行交互融合，将交互融合后的级联表示向量经过多层感知机，并利用Softmax获得最终的用户被影响的概率分布，选取概率最大的用户作为下一个被影响的用户，从而实现传播预测。
2.根据权利要求1所述的基于时序超图注意力神经网络的信息扩散预测方法，其特征在于，获得用户的静态表示向量的具体过程为：利用一个图卷积神经网络对用户社交网络进行学习，获得静态用户表示向量。
3.根据权利要求1所述的基于时序超图注意力神经网络的信息扩散预测方法，其特征在于，在S5和S6之间，利用用户的表示向量来更新并保留级联的表示向量。
4.根据权利要求1所述的基于时序超图注意力神经网络的信息扩散预测方法，其特征在于，S8的具体过程为：
S8.1，从静态用户表示向量中读取级联上所有激活用户的表示向量，忽略具体的时间戳，并按照级联的原始用户顺序排列，得到的结果用来表示目标级联；
S8.2，根据给定目标级联，储存的用户表示向量和级联表示向量中查询相应时间间隔的用户和级联表示向量，并通过门控融合策略将它们合并；
S8.3，根据给定级联的时间戳和记忆模块中保存的级联表示向量，读取不同时期级联的表示向量；
S8.4，采用门控融合机制，将级联表示向量集成到用户中。
5.根据权利要求4所述的基于时序超图注意力神经网络的信息扩散预测方法，其特征在于，S8.2中，读取在距用户参与该级联之前最近的时间间隔的表示向量作为其相对于该级联的表示。
6.根据权利要求1所述的基于时序超图注意力神经网络的信息扩散预测方法，其特征在于，S9的具体过程为：
S9.1，采用多头自注意机制分别学习级联内的静态和动态特征交互，得到学习了级联内部用户序列化信息之后的级联表示向量；
S9.2，将学习到的级联表示向量输入两层全连通神经网络，最终获得静态级联表示向量经过序列化学习之后的表示向量；
S9.3，以动态级联表示向量替换静态表示向量，重复S9.1和S9.2，得到学习了级联内部序列化信息后的动态级联表示向量。
7.根据权利要求6所述的基于时序超图注意力神经网络的信息扩散预测方法，其特征在于，S10的具体过程为：
S10.1，采用门控融合策略结合静态级联表示向量和动态级联表示向量，获得新的级联表示向量；
S10.2，利用softmax对非激活用户在级联中的感染概率进行计算，利用具有真实标签的训练样本进行交叉熵误差最小化，从而获得整体损失函数模型；
S10.3，针对给定级联，从第2个被影响的用户开始，逐步计算在下一步所有未被影响的用户的被影响概率，并反馈给整体损失函数模型进行迭代学习，训练好的整体损失函数模型基于预测出的概率，排序选出最可能在下一步被影响的用户，最后实现对级联扩散的连续高效预测。
8.一种基于时序超图注意力神经网络的信息扩散预测系统，其特征在于，包括：
静态表示向量获取单元，用于获得用户的静态表示向量；
级联扩散超图集合构建单元，用于构建级联扩散超图集合；
注意力系数计算单元，用于对于级联扩散超图集合中的每个子超图，在保留所有级联的根用户信息的基础上，通过计算节点与根节点之间的距离来计算级联对节点的注意力系数；
超边的表示向量获取单元，用于根据得到的注意力系数，训练一个聚合器以聚合一条超边上所有用户的表示向量，得到超边的表示向量；
节点的表示向量更新单元，用于得到所有超边的表示向量之后，训练另一个聚合器来聚合一个节点曾参与过的所有超边的特征，以更新节点的表示向量，在聚合时给每个超边相同的权重；
交互信息捕获单元，用于按照时间顺序，分别储存每一个子超图上学习到的用户表示向量和级联表示向量，捕获交互信息；
交互信息学习连接单元，用于利用多个HGATs学习不同时间间隔内的交互信息，并通过门控融合机制将他们按时间顺序连接起来；
目标级联表示单元，用于从静态用户表示向量与储存的用户表示向量和级联表示向量中分别读取目标级联所有已激活的用户的表示向量，并按照级联上用户的原始顺序进行排列拼接，从而进一步表示目标级联；
特征交互单元，用于采用两个多头自注意模块分别学习级联内的静态和动态特征交互；
传播预测单元，用于通过门控机制将级联内的静态和动态特征交互进行交互融合，将交互融合后的级联表示向量经过多层感知机，并利用Softmax获得最终的用户被影响的概率分布，选取概率最大的用户作为下一个被影响的用户，从而实现传播预测。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述基于时序超图注意力神经网络的信息扩散预测系统的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述基于时序超图注意力神经网络的信息扩散预测系统的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111153049.7A CN113962358B (zh) | 2021-09-29 | 2021-09-29 | 一种基于时序超图注意力神经网络的信息扩散预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111153049.7A CN113962358B (zh) | 2021-09-29 | 2021-09-29 | 一种基于时序超图注意力神经网络的信息扩散预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113962358A true CN113962358A (zh) | 2022-01-21 |
| CN113962358B CN113962358B (zh) | 2023-12-22 |
Family
ID=79463272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111153049.7A Active CN113962358B (zh) | 2021-09-29 | 2021-09-29 | 一种基于时序超图注意力神经网络的信息扩散预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113962358B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114817568A (zh) * | 2022-04-29 | 2022-07-29 | 武汉科技大学 | 联合注意力机制与卷积神经网络的知识超图链接预测方法 |
| CN115080870A (zh) * | 2022-07-12 | 2022-09-20 | 黑龙江大学 | 基于Skip-gram的信息传播预测模型 |
| CN116248522A (zh) * | 2023-05-11 | 2023-06-09 | 中国电信股份有限公司四川分公司 | 一种业务意愿与确定性网络切片关联方法 |
| CN116955846A (zh) * | 2023-07-20 | 2023-10-27 | 重庆理工大学 | 融合主题特征和交叉注意力的级联信息传播预测方法 |
| CN117290800A (zh) * | 2023-11-24 | 2023-12-26 | 华东交通大学 | 一种基于超图注意力网络的时序异常检测方法及系统 |
| CN117408298A (zh) * | 2023-10-20 | 2024-01-16 | 重庆理工大学 | 基于原型感知双通道图神经网络的信息传播预测方法 |
| CN118467993A (zh) * | 2024-07-11 | 2024-08-09 | 山东黄海智能装备有限公司 | 一种无菌配药室的壁挂式消毒喷雾泄露风险预测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005196752A (ja) * | 2003-12-10 | 2005-07-21 | Hiroshi Sato | 社会、経済、市場における現象の可視化手段、モデル化手段、シミュレーション手段、及び分析手段。並びに社会を自律的に理解する機械或いは計算機の実現手段 |
| US20190379628A1 (en) * | 2018-06-07 | 2019-12-12 | Arizona Board Of Regents On Behalf Of Arizona State University | Method and apparatus for detecting fake news in a social media network |
| EP3769278A1 (en) * | 2018-03-22 | 2021-01-27 | Michael Bronstein | Method of news evaluation in social media networks |
| CN112348222A (zh) * | 2020-05-08 | 2021-02-09 | 东南大学 | 一种基于因果逻辑和图卷积特征提取的网络耦合时序信息流预测方法 |
| CN112508085A (zh) * | 2020-12-05 | 2021-03-16 | 西安电子科技大学 | 基于感知神经网络的社交网络链路预测方法 |
| CN113065974A (zh) * | 2021-03-16 | 2021-07-02 | 西北工业大学 | 一种基于动态网络表示学习的链路预测方法 |
| CN113139134A (zh) * | 2021-04-26 | 2021-07-20 | 中国人民解放军国防科技大学 | 一种社交网络中用户生成内容的流行度预测方法、装置 |
-
2021
- 2021-09-29 CN CN202111153049.7A patent/CN113962358B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005196752A (ja) * | 2003-12-10 | 2005-07-21 | Hiroshi Sato | 社会、経済、市場における現象の可視化手段、モデル化手段、シミュレーション手段、及び分析手段。並びに社会を自律的に理解する機械或いは計算機の実現手段 |
| EP3769278A1 (en) * | 2018-03-22 | 2021-01-27 | Michael Bronstein | Method of news evaluation in social media networks |
| US20190379628A1 (en) * | 2018-06-07 | 2019-12-12 | Arizona Board Of Regents On Behalf Of Arizona State University | Method and apparatus for detecting fake news in a social media network |
| CN112348222A (zh) * | 2020-05-08 | 2021-02-09 | 东南大学 | 一种基于因果逻辑和图卷积特征提取的网络耦合时序信息流预测方法 |
| CN112508085A (zh) * | 2020-12-05 | 2021-03-16 | 西安电子科技大学 | 基于感知神经网络的社交网络链路预测方法 |
| CN113065974A (zh) * | 2021-03-16 | 2021-07-02 | 西北工业大学 | 一种基于动态网络表示学习的链路预测方法 |
| CN113139134A (zh) * | 2021-04-26 | 2021-07-20 | 中国人民解放军国防科技大学 | 一种社交网络中用户生成内容的流行度预测方法、装置 |
Non-Patent Citations (4)
| Title |
|---|
| ARAVIND SANKAR等: "Inf-VAE: A Variational Autoencoder Framework to Integrate Homophily and Influence in Diffusion", 《WSDM \'20: PROCEEDINGS OF THE 13TH INTERNATIONAL CONFERENCE ON WEB SEARCH AND DATA MINING》 * |
| SHENG GAO等: "A Novel Embedding Method for Information Diffusion Prediction in Social Network Big Data", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》 * |
| 孟青等: "在线社交网络中群体影响力的建模与分析", 《计算机学报》 * |
| 韩锐: "基于图卷积的社交网络信息级联预测研究", 《万方数据库》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114817568A (zh) * | 2022-04-29 | 2022-07-29 | 武汉科技大学 | 联合注意力机制与卷积神经网络的知识超图链接预测方法 |
| CN114817568B (zh) * | 2022-04-29 | 2024-05-10 | 武汉科技大学 | 联合注意力机制与卷积神经网络的知识超图链接预测方法 |
| CN115080870A (zh) * | 2022-07-12 | 2022-09-20 | 黑龙江大学 | 基于Skip-gram的信息传播预测模型 |
| CN115080870B (zh) * | 2022-07-12 | 2023-04-07 | 黑龙江大学 | 基于Skip-gram的信息传播预测方法 |
| CN116248522A (zh) * | 2023-05-11 | 2023-06-09 | 中国电信股份有限公司四川分公司 | 一种业务意愿与确定性网络切片关联方法 |
| CN116248522B (zh) * | 2023-05-11 | 2023-09-22 | 中国电信股份有限公司四川分公司 | 一种业务意愿与确定性网络切片关联方法 |
| CN116955846B (zh) * | 2023-07-20 | 2024-04-16 | 重庆理工大学 | 融合主题特征和交叉注意力的级联信息传播预测方法 |
| CN116955846A (zh) * | 2023-07-20 | 2023-10-27 | 重庆理工大学 | 融合主题特征和交叉注意力的级联信息传播预测方法 |
| CN117408298A (zh) * | 2023-10-20 | 2024-01-16 | 重庆理工大学 | 基于原型感知双通道图神经网络的信息传播预测方法 |
| CN117408298B (zh) * | 2023-10-20 | 2024-08-27 | 重庆理工大学 | 基于原型感知双通道图神经网络的信息传播预测方法 |
| CN117290800B (zh) * | 2023-11-24 | 2024-01-26 | 华东交通大学 | 一种基于超图注意力网络的时序异常检测方法及系统 |
| CN117290800A (zh) * | 2023-11-24 | 2023-12-26 | 华东交通大学 | 一种基于超图注意力网络的时序异常检测方法及系统 |
| CN118467993A (zh) * | 2024-07-11 | 2024-08-09 | 山东黄海智能装备有限公司 | 一种无菌配药室的壁挂式消毒喷雾泄露风险预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113962358B (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113962358A (zh) | 一种基于时序超图注意力神经网络的信息扩散预测方法 | |
| CN111522962B (zh) | 序列推荐方法、装置及计算机可读存储介质 | |
| Tang et al. | # exploration: A study of count-based exploration for deep reinforcement learning | |
| CN112529168B (zh) | 一种基于gcn的属性多层网络表示学习方法 | |
| Lu | CNN Convolutional layer optimisation based on quantum evolutionary algorithm | |
| Guendouz et al. | A discrete modified fireworks algorithm for community detection in complex networks | |
| CN113780002A (zh) | 基于图表示学习和深度强化学习的知识推理方法及装置 | |
| CN115661550A (zh) | 基于生成对抗网络的图数据类别不平衡分类方法及装置 | |
| CN115952424A (zh) | 一种基于多视图结构的图卷积神经网络聚类方法 | |
| Chen et al. | Enhancing Artificial Bee Colony Algorithm with Self‐Adaptive Searching Strategy and Artificial Immune Network Operators for Global Optimization | |
| CN112463987A (zh) | 一种中国古典园林知识图谱补全与认知推理方法 | |
| CN112860977A (zh) | 一种基于卷积神经网络的链路预测方法 | |
| CN117272195A (zh) | 基于图卷积注意力网络的区块链异常节点检测方法及系统 | |
| Kumar et al. | Graph Convolutional Neural Networks for Link Prediction in Social Networks | |
| Liu et al. | Learning graph representation by aggregating subgraphs via mutual information maximization | |
| Zhang et al. | A Survey of Generative Techniques for Spatial-Temporal Data Mining | |
| CN116956081A (zh) | 面向异构社交网络分布外泛化的社交标签预测方法及系统 | |
| Zhou et al. | Online recommendation based on incremental-input self-organizing map | |
| CN115238075B (zh) | 一种基于超图池化的文本情感分类方法 | |
| CN109859062A (zh) | 一种结合深度稀疏编码器和拟牛顿法的社区发现分析方法 | |
| CN112052386B (zh) | 信息推荐方法、装置和存储介质 | |
| CN115048530A (zh) | 融合邻居重要度和特征学习的图卷积推荐系统 | |
| Ma et al. | Feature selection using forest optimization algorithm based on contribution degree | |
| Wang et al. | Learning dynamic user behavior based on error-driven event representation | |
| Yuan | [Retracted] Multidimensional Sensor Data Fusion Processing System Based on Big Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |