CN115270782A - 基于图神经网络的事件传播流行度预测方法 - Google Patents
基于图神经网络的事件传播流行度预测方法 Download PDFInfo
- Publication number
- CN115270782A CN115270782A CN202210973649.6A CN202210973649A CN115270782A CN 115270782 A CN115270782 A CN 115270782A CN 202210973649 A CN202210973649 A CN 202210973649A CN 115270782 A CN115270782 A CN 115270782A
- Authority
- CN
- China
- Prior art keywords
- user
- event
- propagation
- text
- popularity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 78
- 239000013598 vector Substances 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000000644 propagated effect Effects 0.000 claims abstract description 16
- 238000011176 pooling Methods 0.000 claims abstract description 11
- 230000004913 activation Effects 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000009792 diffusion process Methods 0.000 claims description 8
- 239000013604 expression vector Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000001902 propagating effect Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 26
- 238000001994 activation Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000002776 aggregation Effects 0.000 description 7
- 238000004220 aggregation Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000012733 comparative method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000007480 spreading Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- NACPYYYBTUKNNL-OIGWZEBMSA-N (-)-Interiorin B Natural products O=C(O[C@@H]1[C@@H](C)[C@@H](C)CC=2[C@]3(C(OC)=C(OC)C(=O)C=2)c2c(OC3)c3OCOc3cc12)/C(=C\C)/C NACPYYYBTUKNNL-OIGWZEBMSA-N 0.000 description 1
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 1
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 229930188315 interiorin Natural products 0.000 description 1
- NACPYYYBTUKNNL-YSKMNHBWSA-N interiorin Chemical compound C=1([C@@]2(C(OC)=C(C(C=1)=O)OC)CO1)C[C@@H](C)[C@@H](C)[C@@H](OC(=O)C(\C)=C/C)C3=C2C1=C(OCO1)C1=C3 NACPYYYBTUKNNL-YSKMNHBWSA-N 0.000 description 1
- NACPYYYBTUKNNL-UHFFFAOYSA-N interiorin B Natural products C=1C(=O)C(OC)=C(OC)C2(CO3)C=1CC(C)C(C)C(OC(=O)C(C)=CC)C1=C2C3=C(OCO2)C2=C1 NACPYYYBTUKNNL-UHFFFAOYSA-N 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于图神经网络的事件传播流行度预测方法，对于事件传播数据样本中的每个事件文本，确定社交网络中每个用户在该事件文本传播中的特征向量，并确定该事件文本对应的时序特征级联图，采用双重图神经网络根据用户特征向量和时序特征级联图得到该事件文本的时序用户特征序列，构建包括时间卷积神经网络和求和池化模块的事件传播流行度预测模型，采用事件传播数据样本中事件文本的时序用户特征序列和流行度值对事件传播流行度预测模型进行训练，对社交网络中正在传播的事件，采用事件传播流行度预测模型预测得到其流行度值。本发明结合图神经网络和时间卷积神经网络，提高事件传播流行度预测的性能。
Description
技术领域
本发明属于网络舆情监控与防御技术领域，更为具体地讲，涉及一种基于图神经网络的事件传播流行度预测方法。
背景技术
当前正处于各类数据信息大爆炸与社交平台大发展的现代信息社会，社交媒体已取代传统媒体成为人们获取、发表信息的主要渠道，如何高效地从短文本信息中获取到所需要的热点信息，监测事件的传播动向，从而更好的帮助社会大众了解当前的热点事件以及其走向，事件传播模型在其中发挥着举足轻重的作用。
随着人工智能的发展，使用深度学习进行网络舆论事件的分析已经成为了发展潮流。事件传播流行度预测，也被称为事件演化趋势预测。当一个事件在社交网络中被曝光时，网络媒体和网民在社交媒体上讨论该活动将影响该活动在现实中的受欢迎程度，此外，当社交用户彼此交换信息时，他们也会产生影响并受到他人的影响。关于事件演化趋势预测的研究，以往的工作主要分为动态模型和智能学习模型。在基于动态模型的学习模型中，其主要特点表现为：(1)通过修改的流行病模型来预测主题阅读的动态；(2)考虑到公众接触和微博参与度，提出易感阅读转发免疫(SRFI)模型来预测各个阶段的整体微博事件流行度趋势。在基于智能学习的模型中，其主要特点表现为：(1)常见使用传统的逻辑回归，贝叶斯算法等进行网络舆情流行度的预测；(2)在深度学习的带动下，也有使用BP、LSTM等神经网络预测微博事件传播的趋势，从而更为准确地把握微博事件的消息增量，有效判断事情发展态势；在这些方法上，在对时序特征的捕获和级联数据用户之间的影响，其存在一定的局限。通过自动化的方法对事件传播流行度的监控，从而对该事件信息的传递进行相应的分析和监测，将更加有助于对网络舆论导向的掌控。
然而现有的深度学习的方法也在面临着很多问题：(1)传统模型只考虑了事件的局部结构特征，捕捉事件的发展信息不足；(2)中文短文本数据特征难以表达，会导致特征丢失；(3)单一使用特征编码和时间序列的方式，难以捕获事件传播的级联效应。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于图神经网络的事件传播流行度预测方法，结合图神经网络和时间卷积神经网络，提升对社交网络用户和事件的特征提取能力，提高事件传播流行度预测的性能。
为了实现上述发明目的，本发明基于图神经网络的事件传播流行度预测方法包括以下步骤：
S1：获取社交网络中所包含的用户，记用户数量为N，根据用户的相互关注情况确定社交网络的网络拓扑结构，然后获取每个用户的用户信息，从用户信息中提取出预设的用户属性特征，构成用户属性特征向量xn,1，n＝1,2,…,N；
S2：从社交网络中提取若干事件传播数据样本，每条事件传播数据样本包括该事件在预设传播时长T内传播的事件文本和参与传播的用户；
对于每个事件文本，采用如下方法确定社交网络中每个用户在该事件文本传播中的特征向量：
对每个事件文本提取出文本特征向量，如果用户参与了该事件文本的传播，则将该事件文本的文本特征作为该用户的文本特征向量xn,2，如果用户未参与该事件文本的传播，则将其文本特征向量xn,2设为默认值，将用户的属性特征向量和文本特征向量拼接得到用户特征向量Xn＝[xn,1,xn,2]；
对于每个事件文本，采用如下方法确定该事件文本对应的时序特征级联图：
将事件的传播时长T划分为S个时间段ts，s＝1,2,…,S，S的取值根据实际需要设置；对于每个事件文本，生成在每个时间间隔内的特征级联图，具体方法如下：
记事件传播数据中传播的事件文本数量为M，获取在时间段ts内参与传播的第m个事件文本的用户集合
m＝1,2,…,M，以用户集合
中的用户作为特征级联图
的节点，对应的邻接矩阵
中元素
采用如下公式确定：
其中，
表示用户集合
中用户i到用户j是否存在有向边，i→j表示用户j转发了用户i所发布的第m个事件文本，i＝j表示用户i的自连接；
对于每个事件传播数据，根据预设的流行度评价方法确定该事件中每个事件文本在每个时间段ts内的流行度值
S3：构建状态传播图神经网络和影响传播图神经网络，每个图神经网络均包含整个社交网络中的所有用户，两个图神经网络的层数均为K；在状态传播图神经网络的第k层时，每个用户v从其邻居集合N(v)中所有用户接收的预期状态影响的聚合采用如下公式表示：
其中，k＝1,2,…,K，
表示用户v在第k层时从其邻居集合N(v)中所有用户接收的预期激活影响，
表示用户v的邻居用户u在第k层时的激活状态，pv表示预设的用户v的自激活参数，
和
分别表示用户v和用户u在第k层时的状态表示向量，StateGNN()表示预设的状态选通函数；
在影响传播图神经网络的第k层时，每个用户v从其邻居集合N(v)中所有用户接收的预期扩散影响的聚合采用如下公式表示：
其中，
表示用户v在第k层时从其邻居集合N(v)中所有用户接收的预期扩散影响，auv表示用户u到用户v的注意力权重，σ()表示预设的激活函数，
和
分别表示用户u和用户v在第k层时的影响表示向量；
经过K层传播，将用户v在第K层时从其邻居集合N(v)中所有用户接收的预期激活影响
和预期扩散影响
进行融合得到用户最终的特征表示向量hv，融合计算公式如下：
其中，W表示预设的权重，σ′()表示预设的激活函数；
S4：对于每个事件文本，将其对应的用户特征向量作为双重图神经网络中各个用户的初始特征表示向量，然后根据各个事件文本在每个时间段ts内的特征级联图
通过双重图神经网络得到社交网络中每个用户的特征表示向量，构建得到整个社交网络的用户特征表示矩阵
将每个事件文本在S个时间段的用户特征表示矩阵
构成得到该事件文本的时序用户特征序列；
S5：基于时间卷积神经网络构建事件传播流行度预测模型，包括时间卷积神经网络和求和池化模块，其中时间卷积神经网络用于对事件文本的时序用户特征序列提取时序特征，求和池化模块对时序特征进行求和池化操作得到该事件文本的流行度值；
将步骤S4得到的每个事件文本的时序用户特征序列作为事件传播流行度预测模型的输入，其流行度值
作为期望输出，对事件传播流行度预测模型进行训练；
S6：当需要对社交网络当前正在传播的某个事件进行传播流行度预测时，首先采集在预设传播时长T内传播的事件文本和参与传播的用户，对于每个事件文本采用步骤S2中的相同方法得到社交网络中每个用户在该事件文本传播中的特征向量和该事件文本对应的时序特征级联图，采用步骤S4中的方法得到每个事件文本的时序用户特征序列，将时序用户特征序列输入训练好的事件传播流行度预测模型，得到该事件文本的预测流行度值；最后将该事件所有事件文本的流行度值求和即可得到该事件的流行度值。
本发明基于图神经网络的事件传播流行度预测方法，对于事件传播数据样本中的每个事件文本，确定社交网络中每个用户在该事件文本传播中的特征向量，并确定该事件文本对应的时序特征级联图，采用双重图神经网络根据用户特征向量和时序特征级联图得到该事件文本的时序用户特征序列，构建包括时间卷积神经网络和求和池化模块的事件传播流行度预测模型，采用事件传播数据样本中事件文本的时序用户特征序列和流行度值对事件传播流行度预测模型进行训练，对社交网络中正在传播的事件，采用事件传播流行度预测模型预测得到其流行度值。
本发明具有以下有益效果：
1)本发明在对事件传播数据的处理上，采用了时序特征级联图，能够体现事件传播的级联传播特性，更加准确地表征事件传播的特征；
2)本发明中所采用的双重图神经网络，采用影响力图神经网络捕获信息传播过程中的状态和影响，采用状态图神经网络激活非活跃用户之间的级联效应，从而更为精准的捕获事件传播过程中的级联效应，提高事件传播流行度预测的准确度；
3)本发明利用时间卷积神经网络对事件级联传播过程中的时序特征进行描述，解决事件传播时序特征缺乏的问题，进一步提高事件传播流行度预测的准确度。
附图说明
图1是本发明基于图神经网络的事件传播流行度预测方法的具体实施方式流程图；
图2是特征级联图示例图；
图3是本实施例中本发明模型和对比方法模型的训练时间对比图；
图4是本实施例中本发明模型和对比方法模型的训练损失对比图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明基于图神经网络的事件传播流行度预测方法的具体实施方式流程图。如图1所示，本发明基于图神经网络的事件传播流行度预测方法的具体步骤包括：
S101：获取社交网络数据：
获取社交网络中所包含的用户，记用户数量为N，根据用户的相互关注情况确定社交网络的网络拓扑结构，然后获取每个用户的用户信息，从用户信息中提取出预设的用户属性特征，构成用户属性特征向量xn,1，n＝1,2,…,N。就用户属性特征而言，可以包括用户性别、年龄、用户等级、用户活跃度等特征，根据实际情况确定即可。在实际应用中，还可以对用户进行筛选，采用预设标准删除非正常用户，以便提高流行度预测的准确性。
S102：获取事件传播数据样本：
从社交网络中提取若干事件传播数据样本，每条事件传播数据样本包括该事件在预设传播时长T内传播的事件文本和参与传播的用户。一般来说，对于收集到的事件传播原始数据可以根据实际情况进行预处理，例如事件文本可以只保留转发次数较多的事件文本。
对于每个事件文本，采用如下方法确定社交网络中每个用户在该事件文本传播中的特征向量：
对每个事件文本提取出文本特征向量，如果用户参与了该事件文本的传播，则将该事件文本的文本特征作为该用户的文本特征向量xn,2，如果用户未参与该事件文本的传播，则将其文本特征向量xn,2设为默认值，将用户的属性特征向量和文本特征向量拼接得到用户特征向量Xn＝[xn,1,xn,2]。
事件文本的文本特征提取方法可以根据实际情况设置，本实施例中事件文本的文本特征采用如下方法提取：先对事件文本中每个语句进行分词，然后去除冗余信息，例如停用词和符号，得到该语句的特征词语集合，采用Word2Vec算法获取特征词语集合中的各个特征词语的词向量，将语句对应的各个特征词语的词向量拼接得到语句向量，将事件文本的各个语句向量拼接得到文本特征向量。
对于每个事件文本，采用如下方法确定该事件文本对应的时序特征级联图：
为了从宏观的角度观测事件传播的时间序列特征，本发明将按照事件传播数据进行时间细粒度的切分，从而可以有效地对级联增长的微观时间特征进行刻画。同时为了捕获事件传播过程中的级联效应，基于用户对事件文本的转发关系来进行特征级联图的构建。因此，本发明将事件的传播时长T划分为S个时间段ts，s＝1,2,…,S，S的取值根据实际需要设置。对于每个事件文本，生成在每个时间间隔内的特征级联图，具体方法如下：
记事件传播数据中传播的事件文本数量为M，获取在时间段ts内参与传播第m个事件文本的用户集合
m＝1,2,…,M，以用户集合
中的用户作为特征级联图
的节点，对应的邻接矩阵
中元素
采用如下公式确定：
其中，
表示用户集合
中用户i到用户j是否存在有向边，i→j表示用户j转发了用户i所发布的第m个事件文本，i＝j表示用户i的自连接。
图2是特征级联图示例图。如图2所示，采用邻接矩阵就可以表示特征级联图，从而展示事件文本的传播过程。
对于每个事件传播数据，根据预设的流行度评价方法确定该事件中每个事件文本在每个时间段ts内的流行度值
本实施例中，采用事件文本的转发量、点赞数和评论数作为其对应的流行度评价指标，将事件文本在时间段ts内的这三种评价指标按照预设权重进行加权平均，将得到的结果作为事件文本在时间段ts内的流行度值。
S103：构建图神经网络：
图网络(Graph neural networks)是一种链接主义模型，依靠图中节点之间的信息传递来捕捉图中的依赖关系。而图神经网络(Graph Neural Networks)作为图网络的重要分支，是一类基于深度学习的处理图域信息的方法，由于其较好的性能和可解释性，图神经网络最近已成为一种广泛应用的图分析方法。在图神经网络中广泛采用递归邻域聚合信息的方法，其中每一个节点利用聚合邻域的信息来改变其特征。进行K次聚集迭代之后，对每个节点的更新表示将捕获节点K-hop邻域内的结构和表示等信息。事件传播的网络流行度预测问题强调网络的作用，即早期活跃用户和潜在活跃用户之间或潜在活跃用户之间存在交互。正是由于这一特点，捕捉网络上的级联效应成为准确预测未来在线内容流行度的关键。为了有效地捕获这些用户之间的级联效应，本发明提出了双重图神经网络来对这些信息进行挖掘，包括状态传播图神经网络和影响传播图神经网络，其中状态传播图神经网络主要用来激活非活跃用户之间的级联效应，影响传播图神经网络主要用来捕获信息传播过程中的状态和影响，从而有效地捕获当前信息及用户来自其上层的信息传播和上级用户的影响。
状态传播图神经网络用于模拟级联效应期间每个用户的激活。具体而言，对于某个目标用户v，记其邻居集合为N(v)，由于用户v会受到其邻居集合N(v)中活跃用户的影响，因此本发明通过状态传播图神经网络来建模每个用户的活跃状态，进而提取用户的状态特征表示向量。
影响传播图神经网络用于模拟人际影响在社会网络中的扩散。具体而言，每个用户和影响表示特征向量相关联，激活用户的影响表示特征向量表示随着网络结构的变化，进一步扩散到其他用户，该扩散通过图神经网络的邻域聚合和状态机制实现，从而得到各个用户的影响特征表示向量。
本发明通过结合状态传播图神经网络和影响传播图神经网络，提取各个用户的特征表示向量，具体方法如下：
构建双重图神经网络，包括状态传播图神经网络和影响传播图神经网络，每个图神经网络的节点均包含整个社交网络中的所有用户，两个图神经网络的层数均为K。在状态传播图神经网络的第k层时，每个用户v从其邻居集合N(v)中所有用户接收的预期状态影响的聚合采用如下公式表示：
其中，k＝1,2,…,K，
表示用户v在第k层时从其邻居集合N(v)中所有用户接收的预期激活影响，
表示用户v的邻居用户u在第k层时的激活状态，pv表示预设的用户v的自激活参数，表示用户v的通过邻居节点以外的方式被激活的概率，
和
分别表示用户v和用户u在第k层时的状态表示向量，StateGNN()表示预设的状态选通函数，用于计算两个用户之间的影响。本实施例中状态选通函数
的计算公式如下：
其中，β(k)、W(k)分别表示预设的第k层的两个权重向量，||表示对两个向量进行拼接。
在影响传播图神经网络的第k层时，每个用户v从其邻居集合N(v)中所有用户接收的预期扩散影响的聚合采用如下公式表示：
其中，
表示用户v在第k层时从其邻居集合N(v)中所有用户接收的预期扩散影响，
表示用户v的邻居用户u在第k层时的影响表示向量，InfluGNN()表示预设的影响选通函数。
为了更为准确地得到用户的影响特征表示向量，本发明引入了自注意力机制，即影响传播图神经网络采用图注意力网络(Graph Attention Networks,GAT)。根据图注意力机制，在一个图中节点的特征表示来自与各个邻居节点的信息汇总，通过不断地学习邻域的信息，从而得到最终节点的表示，但是，在GAT的计算工程中，其所表达的注意力是非常有限的，注意力的分数排名是无条件的查询节点，这样在GAT进行模型学习的时候会一定程度上的受限于注意力的表现。为了解决这个问题，本发明对GAT模型的注意力系数进行了改进，其主要的改进之处在于，在进行注意力学习的时候，同时对用户节点的特征进行学习，从而更加有效地学习到基于邻居节点的特征信息。此时每个用户v从其邻居集合N(v)中所有用户接收的预期扩散影响的聚合采用如下公式表示：
其中，auv表示用户u到用户v的注意力权重，σ()表示预设的激活函数，
和
分别表示用户u和用户v在第k层时的影响表示向量。
经过K层传播，将用户v在第K层时从其邻居集合N(v)中所有用户接收的预期激活影响
和预期扩散影响
进行融合得到用户最终的特征表示向量hv，融合计算公式如下：
其中，W表示预设的权重，σ′()表示预设的激活函数。
经过K层传播，将用户v在第K层时从其邻居集合N(v)中所有用户接收的预期激活影响
和预期扩散影响
进行融合得到用户最终的特征表示向量。
S104：提取事件文本的时序用户特征序列：
对于每个事件文本，将其对应的用户特征向量作为双重图神经网络中各个用户的初始特征表示向量，然后根据各个事件文本在每个时间段ts内的特征级联图
通过双重图神经网络得到社交网络中每个用户的特征表示向量，构建得到整个社交网络的用户特征表示矩阵
将每个事件文本在S个时间段的用户特征表示矩阵
构成得到该事件文本的时序用户特征序列。
S105：构建并训练事件传播流行度预测模型：
为了捕获级联传播过程中的时间序列信息，本发明采用时间卷积神经网络(Temporal Convolutional Network，TCN)来对事件传播过程中的时间信息进行学习和表示，基于时间卷积神经网络来构建事件传播流行度预测模型，该模型除时间卷积神经网络(Temporal Convolutional Network，TCN)外，还包括求和池化(Sumpooling)模块，其中时间卷积神经网络用于对事件文本的时序用户特征序列提取时序特征，求和池化模块对时序特征进行求和池化操作得到该事件文本的流行度值。
将步骤S104得到的每个事件文本的时序用户特征序列作为事件传播流行度预测模型的输入，其流行度值
作为期望输出，对事件传播流行度预测模型进行训练。
在训练过程中，本实施例中采用平均相对平方误差(MRSE)损失作为训练损失，它对离群值以及光滑性和可微性都具有鲁棒性，可以得到较好的训练效果。
S106：事件传播流行度预测：
当需要对社交网络当前正在传播的某个事件进行传播流行度预测时，首先采集在预设传播时长T内传播的事件文本和参与传播的用户，对于每个事件文本采用步骤S102中的相同方法得到社交网络中每个用户在该事件文本传播中的特征向量和该事件文本对应的时序特征级联图，采用步骤S104中的方法得到每个事件文本的时序用户特征序列，将时序用户特征序列输入训练好的事件传播流行度预测模型，得到该事件文本的预测流行度值。最后将该事件所有事件文本的流行度值求和即可得到该事件的流行度值。
为了更好地说明本发明的技术效果，采用一个具体数据集对本发明进行实验验证。本次实验验证中数据集采用爬取得到的微博数据集，其中包含10814个事件信息，涉及约30万多个用户。在微博数据集中提取了1000个事件进行事件的流行度预测，其中800个事件作为训练集，200个事件作为测试集。针对每个事件，本实施例中将传播过程中对应时间段的转发量、点赞数和评论数作为其对应的流行度评价指标。本次实验验证选择了三个传播时长，分别为1小时，4小时和一天，分别进行流行度预测实验验证。
由于本发明是基于时间序列的流行度预测方法，在当前流行度预测方法中选择了如下方法作为对比方法下：
SEISMIC：SEISMIC是尝试捕捉级联效应的代表性方法。它是霍克斯自激点过程的一种实现，通过用户的平均粉丝数来估计或近似每一代级联效应的影响。
DeepCas：DeepCas是目前用于网络流行度预测的最优秀的深度表示学习方法之一，从端到端的方法捕获级联图之间的关联关系。这样，它能够使用随机游走将信息级联图表述为有序的集合，为得到每个序列的表达，DeepCas通过使节点在递归型神经网络中的进行嵌入，把attention机制使用于在序列中重新组装，来对信息级联图之间的重要相关性的表述。
DeepCas是用于网络感知流行度预测的最先进的深度表示学习方法，从端到端的方式了解级联图的表示。因此，它可以利用随机游走把信息级联图描述为有序的集合，进而通过使用节点和递归型神经网络中的嵌入来得到对每个序列的表达，注意力机制也被进一步运用于在序列中组装对信息级联图的表达。
CoupledGNN：CoupledGNN利用早期适配器和社交网络进行流行预测，为了明确地捕获级联效应，建模目标用户的激活状态和他/她的邻居的影响。提出了couplergGNN，它使用两个耦合图神经网络来捕捉节点激活状态和影响的扩散之间的相互作用。通过叠加图神经网络层，来连续捕获沿网络的级联效应。这也是利用图神经网络进行流行度的预测。
GCN-Net：GCN-Net是基于GCN图神经网络进行的实现，其主要的特征主要在于对状态传播和影响传播的影响的捕获，通过GCN的方式进行消息传递和领域信息的聚合。
GCNv2-Net：GCNv2-Net中，GCNv2是基于GCN模型的优化模型，用CNN学习特征点和描述子的提取，利用RGB-D深度信息、相机真实相对位姿，通过3D-2D投影关系进行监督学习。
GAT-Net：GAT-Net是基于GAT图注意力网络进行的实现，其对状态传播和影响传播的捕获节点之间的扩散过程和相互之间的影响。
GATv2-Net：GATv2-Net是基于GAT的优化版本GATv2，在GAT中，每个节点都会关注其邻居，并给出自己的查询表示。然而，GAT计算的注意类型非常有限：注意分数在查询节点上的排名是无条件的。由于GAT使用静态注意机制，因此存在GAT无法表达的简单图形问题：在受控问题中，静态注意阻碍了GAT对训练数据的拟合。为了消除这一限制，引入了一个简单的修复，并提出了GATv2：一种比GAT更具表现力的动态图形注意变体。
为了保证实验的准确性和公平性，本次实验验证使用平均相对平方误差(MRSE)，中位相对平方误差(mRSE)和平均绝对百分比误差(MAPE)进行实验有效性的评定和相关分析。表1是本实施例中本发明和对比方法的事件传播流行度实验结果对比表。
表1
如表1所示，总体上本发明的实验效果优于对比方法。对SEISMIC，由于它预测某些事件的无限受欢迎程度信息量，只使用mRSE作为评价公平比较的指标。从实验结果来看，可以看到SEISMIC在事件传播的微博事件流行度预测的表现不是很好，由于它只估计每一代级联效应的影响表示，按照粉丝数的平均数来进行估计，很容易偏离复杂和真实情况，因此预测能力有限。DeepCas的实验结果优于基于特征的方法，表明基于深度学习的方法能有效地自动学习级联传播过程中的传播影响，启发式地学习优于基于先验知识模型。
使用机器学习的方法SEISMIC和深度学习的方法DeepCas相对于基于图的方法GCN，GAT在总体捕获级联效果上，基于图的方法拥有更好地实验效果。从传统的图卷积算法(GCN-Net，GCNv2-Net)和基于图注意力机制的方法(GAT-Net，GATv2-Net)可以看到，单纯使用图卷积的方式捕获事件传播过程中的领域信息还是比较单一对于部分领域之间的影响捕获，注意力也能从中有效地捕获部分信息。CoupledGNN和本发明相比，虽然CoupledGNN也能很好地模拟了用户之间的影响传递和状态变化，他们之间的级联效果也得到了很好的体现，然而CoupledGNN是整理流行度的体现，并没有对时间序列信息进行有效地捕获，从而造成了实验效果没有本发明效果好。
为了对比分析本发明模型的训练损失效果和时间性能，采用对比方法中的模型结构进行对比。图3是本实施例中本发明模型和对比方法模型的训练时间对比图。如图3所示，由于本发明模型的三层网络结构，并且每层网络分别捕获状态信息，级联影响力和时间序列信息，使得模型拥有更好地拟合能力，可以得知PTG-Net网络在整体的训练时间上更低，表现更好。SEISMIC，GCN和GCNv2-Net网络其在训练时，随着数据集的划分，其对应的时间变化差异更大，这说明模型较为不稳定，会随着数据的结构变化，性能出现明显的差异。GAT-Net和GATv2-Net的总体稳定性和本发明相差不大，但其更加耗费时间和性能。
为了保证实验的公平合理性，对本发明模型和对比方法模型使用相同的损失函数、学习速率和训练批次。图4是本实施例中本发明模型和对比方法模型的训练损失对比图。如图4所示，随着模型的训练，CoupledGNN的模型损失收敛速度要明显低于其他模型，其模型刚开始训练开始到收敛。在不同的数据集上可看到loss值波动也为更大。然而，本发明在3个时间间隔下，对应的算法损失变化不大，同时收敛速度更快，因此可以推断本发明在不同的数据集上的模型鲁棒性表现得更好。
最后对本发明中影响传播图神经网络的注意力系数的改进进行实验验证。为检验本发明模型，使用了单纯使用GCN的PTG-Netv1模型、加入图注意力层的PTG-Netv2模型作为对比模型，和本发明双重图神经网络模型进行对比。表2是本实施例中本发明模型和两个对比模型的事件传播流行度实验结果对比表。
表2
如表2所示，本发明模型通过注意力系数的改进，优化了对于捕获事件传播过程中重要事件信息的能力，达到了更好的事件传播流行度预测效果。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (3)
1.一种基于图神经网络的事件传播流行度预测方法，其特征在于，包括以下步骤：
S1：获取社交网络中所包含的用户，记用户数量为N，根据用户的相互关注情况确定社交网络的网络拓扑结构，然后获取每个用户的用户信息，从用户信息中提取出预设的用户属性特征，构成用户属性特征向量xn,1，n＝1,2,…,N；
S2：从社交网络中提取若干事件传播数据样本，每条事件传播数据样本包括该事件在预设传播时长T内传播的事件文本和参与传播的用户；
对于每个事件文本，采用如下方法确定社交网络中每个用户在该事件文本传播中的特征向量：
对每个事件文本提取出文本特征向量，如果用户参与了该事件文本的传播，则将该事件文本的文本特征作为该用户的文本特征向量xn,2，如果用户未参与该事件文本的传播，则将其文本特征向量xn,2设为默认值，将用户的属性特征向量和文本特征向量拼接得到用户特征向量Xn＝[xn,1,xn,2]；
对于每个事件文本，采用如下方法确定该事件文本对应的时序特征级联图：
将事件的传播时长T划分为S个时间段ts，s＝1,2,…,S，S的取值根据实际需要设置；对于每个事件文本，生成在每个时间间隔内的特征级联图，具体方法如下：
记事件传播数据中传播的事件文本数量为M，获取在时间段ts内参与传播的第m个事件文本的用户集合Vs m，m＝1,2,…,M，以用户集合
中的用户作为特征级联图
的节点，对应的邻接矩阵
中元素
采用如下公式确定：
其中，
表示用户集合Vs m中用户i到用户j是否存在有向边，i→j表示用户j转发了用户i所发布的第m个事件文本，i＝j表示用户i的自连接；
对于每个事件传播数据，根据预设的流行度评价方法确定该事件中每个事件文本在每个时间段ts内的流行度值
S3：构建状态传播图神经网络和影响传播图神经网络，每个图神经网络均包含整个社交网络中的所有用户，两个图神经网络的层数均为K；在状态传播图神经网络的第k层时，每个用户v从其邻居集合N(v)中所有用户接收的预期状态影响的聚合采用如下公式表示：
其中，k＝1,2,…,K，
表示用户v在第k层时从其邻居集合N(v)中所有用户接收的预期激活影响，
表示用户v的邻居用户u在第k层时的激活状态，pv表示预设的用户v的自激活参数，
和
分别表示用户v和用户u在第k层时的状态表示向量，StateGNN()表示预设的状态选通函数；
在影响传播图神经网络的第k层时，每个用户v从其邻居集合N(v)中所有用户接收的预期扩散影响的聚合采用如下公式表示：
其中，auv表示用户u到用户v的注意力权重，σ()表示预设的激活函数，
和
分别表示用户u和用户v在第k层时的影响表示向量；
经过K层传播，将用户v在第K层时从其邻居集合N(v)中所有用户接收的预期激活影响
和预期扩散影响
进行融合得到用户最终的特征表示向量hv，融合计算公式如下：
其中，W表示预设的权重，σ′()表示预设的激活函数；
S4：对于每个事件文本，将其对应的用户特征向量作为双重图神经网络中各个用户的初始特征表示向量，然后根据各个事件文本在每个时间段ts内的特征级联图
通过双重图神经网络得到社交网络中每个用户的特征表示向量，构建得到整个社交网络的用户特征表示矩阵
将每个事件文本在S个时间段的用户特征表示矩阵
构成得到该事件文本的时序用户特征序列；
S5：基于时间卷积神经网络构建事件传播流行度预测模型，包括时间卷积神经网络和求和池化模块，其中时间卷积神经网络用于对事件文本的时序用户特征序列提取时序特征，求和池化模块对时序特征进行求和池化操作得到该事件文本的流行度值；
将步骤S4得到的每个事件文本的时序用户特征序列作为事件传播流行度预测模型的输入，其流行度值
作为期望输出，对事件传播流行度预测模型进行训练；
S6：当需要对社交网络当前正在传播的某个事件进行传播流行度预测时，首先采集在预设传播时长T内传播的事件文本和参与传播的用户，对于每个事件文本采用步骤S2中的相同方法得到社交网络中每个用户在该事件文本传播中的特征向量和该事件文本对应的时序特征级联图，采用步骤S4中的方法得到每个事件文本的时序用户特征序列，将时序用户特征序列输入训练好的事件传播流行度预测模型，得到该事件文本的预测流行度值；最后将该事件所有事件文本的流行度值求和即可得到该事件的流行度值。
2.根据权利要求1所述的事件传播流行度预测方法，其特征在于，所述步骤S2中事件文本流行度值的计算方法为：采用事件文本的转发量、点赞数和评论数作为其对应的流行度评价指标，将事件文本在时间段ts内的这三种评价指标按照预设权重进行加权平均，将得到的结果作为事件文本在时间段ts内的流行度值。
3.根据权利要求1所述的事件传播流行度预测方法，其特征在于，所述步骤S3中状态选通函数
的计算公式如下：
其中，β(k)、W(k)分别表示预设的第k层的两个权重向量，||表示对两个向量进行拼接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210973649.6A CN115270782A (zh) | 2022-08-15 | 2022-08-15 | 基于图神经网络的事件传播流行度预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210973649.6A CN115270782A (zh) | 2022-08-15 | 2022-08-15 | 基于图神经网络的事件传播流行度预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115270782A true CN115270782A (zh) | 2022-11-01 |
Family
ID=83751297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210973649.6A Pending CN115270782A (zh) | 2022-08-15 | 2022-08-15 | 基于图神经网络的事件传播流行度预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115270782A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116703553A (zh) * | 2023-08-07 | 2023-09-05 | 浙江鹏信信息科技股份有限公司 | 金融反欺诈风险监控方法、系统及可读存储介质 |
| CN116955846A (zh) * | 2023-07-20 | 2023-10-27 | 重庆理工大学 | 融合主题特征和交叉注意力的级联信息传播预测方法 |
-
2022
- 2022-08-15 CN CN202210973649.6A patent/CN115270782A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116955846A (zh) * | 2023-07-20 | 2023-10-27 | 重庆理工大学 | 融合主题特征和交叉注意力的级联信息传播预测方法 |
| CN116955846B (zh) * | 2023-07-20 | 2024-04-16 | 重庆理工大学 | 融合主题特征和交叉注意力的级联信息传播预测方法 |
| CN116703553A (zh) * | 2023-08-07 | 2023-09-05 | 浙江鹏信信息科技股份有限公司 | 金融反欺诈风险监控方法、系统及可读存储介质 |
| CN116703553B (zh) * | 2023-08-07 | 2023-12-05 | 浙江鹏信信息科技股份有限公司 | 金融反欺诈风险监控方法、系统及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113792937B (zh) | 一种基于图神经网络的社交网络影响力预测方法、装置 | |
| CN112199608B (zh) | 基于网络信息传播图建模的社交媒体谣言检测方法 | |
| CN106682770B (zh) | 一种基于好友圈子的动态微博转发行为预测系统及方法 | |
| CN115270782A (zh) | 基于图神经网络的事件传播流行度预测方法 | |
| US20190272553A1 (en) | Predictive Modeling with Entity Representations Computed from Neural Network Models Simultaneously Trained on Multiple Tasks | |
| Tang et al. | Knowing your fate: Friendship, action and temporal explanations for user engagement prediction on social apps | |
| CN111241421B (zh) | 基于社交上下文信息的用户转发行为预测方法 | |
| CN109523021A (zh) | 一种基于长短时记忆网络的动态网络结构预测方法 | |
| CN113962358B (zh) | 一种基于时序超图注意力神经网络的信息扩散预测方法 | |
| CN111428127A (zh) | 融合主题匹配与双向偏好的个性化事件推荐方法及系统 | |
| CN115660147A (zh) | 一种基于传播路径间与传播路径内影响力建模的信息传播预测方法及系统 | |
| CN114637911A (zh) | 一种注意力融合感知网络的下一个兴趣点推荐方法 | |
| CN110222273B (zh) | 基于地理社区的社交网络中的商业点推广方法和系统 | |
| Jin et al. | Urban hotspot forecasting via automated spatio-temporal information fusion | |
| Liu et al. | Understanding information diffusion with psychological field dynamic | |
| Ligo et al. | A controlled sensing approach to graph classification | |
| CN113946708A (zh) | 基于图像复原技术和谣言辟谣信息的话题传播预测方法 | |
| CN107644268B (zh) | 一种基于多特征的开源软件项目孵化状态预测方法 | |
| Di Massimo et al. | Applying psychology of persuasion to conversational agents through reinforcement learning: an exploratory study. | |
| Li | Predicting online invitation responses with a competing risk model using privacy-friendly social event data | |
| Shi et al. | Practical POMDP-based test mechanism for quality assurance in volunteer crowdsourcing | |
| Zhang et al. | Situational-aware multi-graph convolutional recurrent network (sa-mgcrn) for travel demand forecasting during wildfires | |
| Liu et al. | Spatiotemporal adaptive attention graph convolution network for city-level air quality prediction | |
| Tang et al. | Optimisation of sparse deep autoencoders for dynamic network embedding | |
| Liu et al. | Quantifying complex urban spillover effects via physics-based deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |