CN112182423A - 一种基于注意力机制的信息传播演化趋势预测方法 - Google Patents

Abstract

本发明属于社交网络分析传播领域，特别涉及一种基于注意力机制的网络舆情事件演化趋势预测方法，包括从基于Web的研究型推荐系统下载或者利用社交平台的公共API获取原始数据；对于获取的数据进行预处理，并去除数据中的噪声和冗余数据，提取在信息传播过程中用户之间的注意力；构建基于注意力机制的GRU模型；利用历史数据通时间反向传播算法过对模型进行训练，在训练过程中最小化损失函数，训练参数通过使用小批量的Momentum优化器来更新；将待预测的数据输入训练好的模型，即可预测信息下一阶段可能传播的用户；本发明可以对信息传播过程进行有效干预和实时控制。

Description

一种基于注意力机制的信息传播演化趋势预测方法

技术领域

本发明属于社交网络分析传播领域，涉及社交网络中信息的传播过程，特别涉及一种基于注意力机制的网络舆情事件演化趋势预测方法。

背景技术

随着移动终端设备的广泛应用，在线社交网络已经成为用户传播、交流、共享和收集信息的主要平台。社交网络中关于信息传播的研究已经成为学术界和工业界广泛关注的热点话题。在线社交网络在传播新闻、思想、观点等方面发挥着突出的作用。例如，在新冠肺炎疫情防控期间，政府机构利用官方微信、微博、网络新媒体等平台及时发布官方信息，有效的阻止了虚假、有害信息的传播。同时，社交平台也为谣言、虚假新闻、有害信息的广泛传播提供了途径。因此，通过对社交网络中的用户行为数据的分析建模，不仅可以挖掘社交网络中信息传播的特点和演化规律，还可以预测社交网络中信息传播的演化趋势，从而对信息传播过程进行有效干预和实时控制。

现阶段，在社交网络中引发的网络舆情越来越多，对网络舆情的分析也逐渐成为研究热点。其主要研究在用户影响力、信息传播、用户转发等方向有不同程度的探索。与传统媒体相比，社交网络在传播新闻、思想、观点等方面发挥着突出的作用，同时也是传播谣言、虚假新闻等负面信息的最佳途径。因此，网络舆情演化趋势的准确预测和有效控制已成为重要的研究话题。目前，大多数研究从理论建模的角度对网络舆情事件的演化特性和发展趋势进行预测，基于用户行为特征的信息传播演化趋势预测模型建模及分析有待进一步研究，考虑到信息传播和用户行为的复杂性，利用注意力机制来挖掘用户之间的依赖性来预测真实的信息传播过程，最后，综合考虑影响信息传播的驱动因素，得到一种基于注意力机制的信息传播演化趋势预测模型。

发明内容

本发明提供一种基于注意力机制的网络舆情事件演化趋势预测方法，具体包括以下步骤：

S1、从基于Web的研究型推荐系统下载或者利用社交平台的公共API获取原始数据；

S2、对于获取的数据进行预处理，并去除数据中的噪声和冗余数据，提取在信息传播过程中用户之间的注意力；

S3、通过改造GRU时间维度模型融合注意力，获取基于注意力机制的GRU模型；

S4、利用历史数据通时间反向传播算法过对基于注意力机制的GRU模型进行训练，在训练过程中最小化损失函数，训练参数通过使用小批量的Momentum优化器来更新；

S5、将待预测的数据输入训练好的基于注意力机制的GRU模型，即可输出预测信息下一阶段可能传播的用户。

进一步的，提取在信息传播过程中用户之间的注意力包括：

将用户向量化，第i个用户的向量表示表示为

其中u_i为在时间t_n输入的信息传播序列中的第i个用户的原始表示，d为向量的维度；

利用用户的嵌入向量来计算信息传播过程中用户之间的注意力得分，并根据该注意力得分获得用户的注意力权重，第j个用户的注意力权重表示为：

其中，w_kj为第k个用户的注意力得分，x_k为第k个用户的嵌入向量，ELU为激活函数。

进一步的，第i个用户的嵌入向量x_i通过将第i个用户的向量表示输入全连接层获得，表示为：

x_i＝ELU(W_xe_i+b_x)；

其中，W_x,b_x为可学习的参数。

进一步的，当前用户的注意力得分取决于在当前用户之前传播的历史用户，当前用户j的注意力得分表示为：

其中，<,>为内积符号，

为可学习的权重参数矩阵。

进一步的，基于注意力机制的GRU模型包括：

f_i＝σ(W_fx_i+v_fd_i+b_f)

r_i＝σ(W_rx_i+v_rd_i+b_r)

其中，x_i为当前时间的输入的用户的嵌入向量，tanh和σ为激活函数；W_f、W_r、W_ih为权重参数，b_f、b_r、b_h为偏差参数；r_i为更新门；f_i为重置门；h_i为隐含状态向量；

为候选隐含状态，v_f、v_r、v_c为权重参数矩阵，⊙表示按元素乘法。进一步的，在对基于注意力机制的GRU模型的训练过程中，损失函数为：

其中，

为损失函数，p(u_i|h_i)、

分别代表真实的标签和预测结果，p(u_i+1|h_i)为用户u_j+1接收传播轨迹中事件的概率。

本发明从参与信息传播的用户之间的相互作用以及其潜在用户入手，提出一种基于注意力机制的信息传播预测模型，利用GRU神经网络处理时序问题的有事，使用其来捕捉信息传播的时间序列在时间维度上的变化特性；在用户层面上，分析用户在信息传播过程的上下文信息(注意力)，将其和GRU网络相融合，对信息传播过程进行预测；利用注意力机制来挖掘用户对信息传播过程中的影响来预测真实的信息传播过程，能够综合考虑用户在信息传播过程的作用，可以根据历史信息传播过程预测把握信息传播趋势，所以可以对舆情管控、网络水军的发现提供有力证据，为相关信息决策机构提供有效的建议以及应对策略。

附图说明

图1是本发明的整体框图；

图2是本发明的总体流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于注意力机制的网络舆情事件演化趋势预测方法，具体包括以下步骤：

S1、从基于Web的研究型推荐系统下载或者利用社交平台的公共API获取原始数据；

S2、对于获取的数据进行预处理，并去除数据中的噪声和冗余数据，提取在信息传播过程中用户之间的注意力；

S3、通过改造GRU时间维度模型融合注意力，获取基于注意力机制的GRU模型；

S4、利用历史数据通时间反向传播算法过对基于注意力机制的GRU模型进行训练，在训练过程中最小化损失函数，训练参数通过使用小批量的Momentum优化器来更新；

S5、将待预测的数据输入训练好的基于注意力机制的GRU模型，即可输出预测信息下一阶段可能传播的用户。

本发明的输入是某一个信息项在社交网络中的部分传播过程，经过预测模型后的输出是潜在用户是否会参与信息传播过程的预测结果。如图2所示为本发明的总体流程图，包括:数据处理模块，构建模型模块，预测分析模块共三大模块。

上述步骤S1获取数据源。主要分以下2个步骤。

S11：获取数据。从成熟的网络社区中获取信息传播过程数据。

S12：对于获取的数据，对数据进行时间切片，对数据源重复数据、无效数据进行清洗，有利于后续的处理。根据数据特点，对某一信息项传播的时间周期进行具体划分。在每个时间周期里，从训练数据中，找出已经参与信息传播过程的用户按照时间排序。

上述步骤S2获取用户在信息传播过程中的上下文信息。主要分以下2个步骤。

S21：对预处理后的数据进行处理，将用户向量化。在时间t_n，模型的输入为信息传播序列q_i＝{u₁,u₂,…,u_n}按照时间排序。为了更好的表达用户特征，每个输入用户的原始表示为u_i∈{u₁,u₂,…,u_n}，将序列中用户用向量表示为

d为向量的维度。然后，将通过全连接层可以得到用户的嵌入向量。

x_i＝ELU(W_xe_i+b_x)；

其中，W_x,b_x为可学习的参数，ELU为激活函数。

信息在社交网络中的传播过程中可以看作一个序列，假设用户集合用U来表示，用q代表某个信息的传播过程，q＝{(u₀,t₀),…,(u_j,t_j),…,(u_|q|-1,t_|q|-1)}，其中，u_j∈U表示某个传播序列q中的第j个用户，t_j表示用户u_j接收事件的时间，|q|表示传播过程q的长度。在本实施例中，是学习给予的部分的信息传播序列{u₀,u₁,…,u_j}，传播序列在时间t_j之前按照接收信息的时间排序，模型的目标是预测下一时间接收此信息的用户u_j+1。

S22:利用用户的嵌入向量来t_j+1可能计算信息传播过程中用户之间的注意力得分，对于传播过程中用户的注意力，取决于已经在用户之前传播的历史用户u(k)＝{u₁,…,u_j-1}，当前用户u(j)∈{u₁,…,u_i}的注意力得分可表示为:

其中，<,>为内积符号，

为可学习的权重参数矩阵。

当前用户u(j)的注意力权重可以表示为:

S31:从历史信息传播过程中，获取用户的注意力d_i。鉴于循环神经网络GRU具有优秀的时间序列问题处理能力，并且计算效率高于其他传统神经网络，因此本发明利用用户的注意力来构建GRU神经网络信息传播预测模型，用于捕捉的时间特性和用户之间的相关性。详细架构如下所示：

f_i＝σ(W_fx_i+v_fd_i+b_f)

r_i＝σ(W_rx_i+v_rd_i+b_r)

其中，x_i为当前时间的输入，tanh和σ为激活函数。W_f,W_r为权重参数，b_f,b_r,b_h为偏差参数，这些参数都会在神经网络中训练。r_i为更新门可以控制隐藏状态应该如何被包含当前时间步信息的候选隐藏状态所更新，有助于捕捉时间序列里长期的依赖关系。f_i为重置门可以用来丢弃与预测无关的历史信息，有助于捕捉时间序列里短期的依赖关系。隐含状态向量h_i包含输入序列的隐含解释性因素，可以利用h_i来预测下一个可能接收信息的用户。

S32:预测信息传播过程。预测下一时间可能接收信息的用户，其传播概率也就是用户u_j+1接收传播轨迹中事件的概率。

其中，W_p,b_p为权重参数矩阵。

上述步骤S4，预测和分析过程。主要分为以下步骤。

S41:根据S3建立基于注意力机制的信息传播预测模型，需要寻找模型的最优的参数。对于给定的训练信息传播序列，使用负对数似然估计函数来定义损失函数:

在训练过程中最小化损失函数

训练参数通过使用小批量(mini-batch)的Momentum优化器来更新。从而构建最终的融合用户注意力的信息传播预测模型，动态预测下一时间信息传播的轨迹。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于注意力机制的网络舆情事件演化趋势预测方法，其特征在于，包括以下步骤：

S1、从基于Web的研究型推荐系统下载或者利用社交平台的公共API获取原始数据；

S2、对于获取的数据进行预处理，并去除数据中的噪声和冗余数据，提取在信息传播过程中用户之间的注意力；

S3、通过改造GRU时间维度模型融合注意力，获取基于注意力机制的GRU模型；

S4、利用历史数据通时间反向传播算法过对基于注意力机制的GRU模型进行训练，在训练过程中最小化损失函数，训练参数通过使用小批量的Momentum优化器来更新；

S5、将待预测的数据输入训练好的基于注意力机制的GRU模型，即可输出预测信息下一阶段可能传播的用户。

2.根据权利要求1所述的一种基于注意力机制的网络舆情事件演化趋势预测方法，其特征在于，提取在信息传播过程中用户之间的注意力包括：

将用户向量化，第i个用户的向量表示表示为

其中u_i为在时间t_n输入的信息传播序列中的第i个用户的原始表示，d为向量的维度；

利用用户的嵌入向量来计算信息传播过程中用户之间的注意力得分，并根据该注意力得分获得用户的注意力权重，第j个用户的注意力权重表示为：

其中，w_kj为第k个用户的注意力得分，x_k为第k个用户的嵌入向量，ELU为激活函数。

3.根据权利要求2所述的一种基于注意力机制的网络舆情事件演化趋势预测方法，其特征在于，第i个用户的嵌入向量x_i通过将第i个用户的向量表示输入全连接层获得，表示为：

x_i＝ELU(W_xe_i+b_x)；

其中，W_x、b_x为可学习的参数。

4.根据权利要求2所述的一种基于注意力机制的网络舆情事件演化趋势预测方法，其特征在于，当前用户的注意力得分取决于在当前用户之前传播的历史用户，当前用户j的注意力得分表示为：

其中，<,>为内积符号，

为可学习的权重参数矩阵。

5.根据权利要求1所述的一种基于注意力机制的网络舆情事件演化趋势预测方法，其特征在于，基于注意力机制的GRU模型包括：

f_i＝σ(W_fx_i+v_fd_i+b_f)；

r_i＝σ(W_rx_i+v_rd_i+b_r)；

其中，x_i为当前时间的输入的用户的嵌入向量，tanh和σ为激活函数；W_f、W_r、W_ih为权重参数，b_f、b_r、b_h为偏差参数；r_i为更新门；f_i为重置门；h_i为隐含状态向量；

为候选隐含状态，v_f、v_r、v_c为权重参数矩阵，⊙表示按元素乘法。

6.根据权利要求5所述的一种基于注意力机制的网络舆情事件演化趋势预测方法，其特征在于，在对基于注意力机制的GRU模型的训练过程中，使用交叉熵作为损失函数为：

其中，

为损失函数，p(u_i|h_i)、

分别代表真实的标签和预测结果。

7.根据权利要求6所述的一种基于注意力机制的网络舆情事件演化趋势预测方法，其特征在于，用户u_j+1接收传播轨迹中事件的概率p(u_i+1|h_i)表示为：

p(u_j+1|h_j)＝softmax(W_ph_i+b_p)

其中，W_p、b_p为权重参数矩阵，p(u_i+1|h_i)为用户u_j+1接收传播轨迹中事件的概率。

Images