CN113204641A - 一种基于用户特征的退火注意力谣言鉴别方法及装置 - Google Patents

Abstract

本发明涉及一种针对在线社交网络中谣言的检测方法，属于社交网络安全技术领域，具体涉及一种基于用户特征的退火注意力谣言鉴别方法及装置。该方法及装置采用公开的社交网络平台谣言鉴定数据集，利用谣言传播周期内社交网络用户特征，提出了一种基于参数化退火函数的方法用于社交网络用户特征的时序注意力学习，使用多层感知机进行特征间注意力学习以及高级表示提取，使用全连接神经网络进行谣言鉴别分类，并验证了本方法在真实世界数据集上的可行性。

Description

一种基于用户特征的退火注意力谣言鉴别方法及装置

技术领域

本发明涉及一种针对在线社交网络中谣言的检测方法，属于社交网络安全技术领域，具体涉及一种基于用户特征的退火注意力谣言鉴别模型。

背景技术

随着互联网和各种社交应用的普及，在线社交网络已成为日常生活中必不可少的信息来源平台。组织以及个人可以在这样的在线社交网络中自由发布信息，与他人交流、讨论。在线社交网络为人们共享信息带来了便利，也为谣言传播带来了有利的条件。恶意的个人或组织为了不同的目的散布谣言，造成各种不良后果，如政治操纵、经济损失、社会恐慌等。因此，尽早发现谣言以阻止谣言传播是至关重要的。

现有的研究主要利用内容特征、传播结构特征和用户特征，基于传统机器学习模型和基于深度学习的端到端模型来检测谣言。基于传统机器学习模型的方法常使用人工定义的统计特征，包括事件传播过程中评论及转发的内容特征，评论及转发关系构成的传播结构特征，参与评论及转发的用户自身特征。使用的传统机器学习模型包括隐马尔可夫模型、支持向量机模型、决策树模型、条件随机场模型等。此类方法在特征工程上需要花费大量人力，模型效率低下且效果不佳。基于深度学习模型的方法利用内容特征、传播结构特征、用户特征训练端到端模型。此类方法主要关注文本内容特征，将谣言数据建模为时间序列、树、图，并结合递归神经网络、卷积神经网络、图神经网络等方法鉴别谣言，但是其对于用户特征、传播结构特征信息的利用过于简单，且在谣言传播早期鉴别效果不佳。

基于深度学习的端到端模型常利用注意力机制来捕获使用的数据特征中重要程度差异。其通过学习数据的分布来训练参数，给予数据不同权重，但目前的有关方法多用于文本内容特征，且缺乏对早期特征的倾向性。而常用于启发式算法的退火函数的特性在于，随时间增加，其函数取值相对减少。利用退火函数的性质构造基于参数化退火函数的退火注意力机制，能在学习数据特征中时序重要性差异的同时，增加对早期特征的倾向性。

总而言之，当前的自动谣言鉴别方法仍面临许多挑战。第一，现有的谣言鉴别模型往往关注文本内容信息，对于用户特征、传播结构特征信息的利用过于简单，而在谣言传播早期，文本信息、传播结构信息相对匮乏，导致早期谣言鉴别效果不佳；第二，谣言传播过程中文本内容可以随意修改、操控，且往往真假参半，传播谣言的组织或个人可能通过适当修改来规避谣言鉴别，对于主要关注文本特征的模型有效性具有极大影响；第三，已有研究表明，谣言传播早期信息在谣言鉴别中价值更高，现有方法缺乏对这一点的有效利用。

发明内容

本发明主要是解决上述的传统机器学习模型人工需求高，端到端方法关注文本内容特征，对用户特征的利用过于简单，早期谣言鉴别效果不佳的问题，提供了一种基于用户特征的退火注意力谣言鉴别方法及装置。该方法及装置通过提取参与事件传播的用户自身特征，提出一种退火注意力机制提取利用数据的特征间注意力、时序注意力关系，本发明基于用户特征、利用参数化退火函数构造的退火注意力机制，能够在学习特征的时序差异的同时对于早期的特征给予相对更大权重。结合对特征间差异的权重学习，退火注意力机制能够关注更为有效的用户特征模式，从而更高效地鉴别谣言。并通过对真实世界的谣言数据集进行分类验证了其具有良好的表现。

本发明的上述技术问题主要是通过下述技术方案得以解决的：一种基于用户特征的退火注意力谣言鉴别方法，包括：

步骤1，数据预处理；

步骤2，基于退火注意力机制的特征间注意力权重学习和时序注意力权重学习；

步骤3，利用特征间注意力权重与时序注意力权重信息增强原始特征矩阵，获得注意力增强特征矩阵，然后基于多层感知机，结合注意力增强特征矩阵，获得高级表示向量；

步骤4，以高级表示向量表征事件的传播模式，使用全连接神经网络进行分类鉴别。

作为优选，上述的一种基于用户特征的退火注意力谣言鉴别方法，所述步骤1具体包括：

步骤1.1，分类文件，所获取的数据集由谣言数据集和事实数据集二类组成，按照标签将相应数据文件写入两个文件夹。

步骤1.2，读取数据集，将参与事件传播用户的特征使用归一化数值进行表示，得到特征向量，并按照参与时间与源信息发布时间差值由小到大顺序排列，存储为时间序列。

作为优选，上述的一种基于用户特征的退火注意力谣言鉴别方法，所述步骤2具体包括：

步骤2.1，读取步骤1中生成的时间序列T＝<...,(x_l,t_l),...>。其中x_l表示第l位用户的特征向量，t_l表示其参与时间与源信息发布时间差值。

步骤2.2，根据获取的时间序列T＝<...,(x_l,t_l),...>生成特征矩阵

其中n为模型设定的序列长度，对于长度大于n的序列截断长于n的部分，长度小于n的序列填充零向量至长度为n。

步骤2.3，基于多层感知机的特征间注意力权重学习。得到步骤2.2中特征矩阵后，按照式1所示计算特征间注意力权重矩阵w₁。特征间注意力权重能够使得不同时间段更有效的特征对最终结果产生更大影响。式1中W₁为可训练权重矩阵，b₁为偏置矩阵，tanh为双曲正切函数：

w₁＝tanh(XW₁+b₁) (式1)

步骤2.4，基于参数化退火函数的时序注意力权重学习。得到步骤2.2中特征矩阵后，按照式2所示使用参数化退火函数计算时序注意力权重矩阵w₂：

其中，i和j分别表示矩阵元素的行号、列号，式2中Energy(x_ij)为参数化退火函数中的能量函数，其如式3所示：

式3中w'为可训练权重矩阵，b'为偏置矩阵，β为模型设定的固定偏置，ReLU为线性修正单元。固定偏置为退火函数最终学习到的权重值提供有偏上界，使更早期信息获得相对更大权重，可训练参数使得不同特征的时序关系差异可通过训练进行学习。

式2中Temperature(x_ij)为参数化退火函数中的温度函数，其如式4所示：

采用指数降温策略，其中T₀为初始温度，α为降温率。

作为优选，上述的一种基于用户特征的退火注意力谣言鉴别方法，所述步骤3具体包括：

步骤3.1，利用特征间注意力和时序注意力信息增强原始特征矩阵，获得注意力增强特征矩阵X_a。计算过程如式5所示：

X_a＝X+γ·w₁⊙w₂⊙X (式5)

式5中γ为模型设定的折衷系数，⊙为矩阵点乘操作。折衷系数使得特征矩阵在相对保留原始信息的基础上，引入特征间注意力和时序注意力信息的影响，增强原始特征矩阵。

步骤3.2，基于多层感知机的高级表示向量提取，获得高级表示向量H。其计算过程如式6所示：

H＝flatten(ReLU(X_aW₃+b₃)) (式5)

式6中W₃为可训练权重矩阵，b₃为偏置矩阵，flatten为扁平化操作。

作为优选，上述的一种基于用户特征的退火注意力谣言鉴别方法，所述步骤4具体包括：

步骤4.1，基于全连接神经网络的分类。在获得步骤3中表征时间信息的高级表示向量H后，使用全连接神经网络与softmax函数处理高级表示向量，计算获得分类结果。

步骤4.2，使用开源数据集训练，根据分类结果优化可训练参数，学习得到最优化模型。

本发明还提供一种基于用户特征的退火注意力谣言鉴别装置，包括如下模块：

预处理模块，用于对数据进行预处理；

权重学习模块，用于基于退火注意力机制的特征间注意力权重学习和时序注意力权重学习；

高级表示向量获取模块，用于利用特征间注意力权重与时序注意力权重信息增强原始特征矩阵，获得注意力增强特征矩阵，然后基于多层感知机，结合注意力增强特征矩阵，获得高级表示向量；

鉴别模块，用于以高级表示向量表征事件的传播模式，使用全连接神经网络进行分类鉴别。

进一步的，所述预处理模块具体包括：

分类文件，所获取的开源微博数据集由谣言数据集和事实数据集二类组成，按照标签将相应数据文件写入两个文件夹；

读取数据集，将参与事件传播用户的特征提取为归一化向量，并按照参与时间与源信息发布时间差值由小到大顺序排列，存储为时间序列。

进一步的，所述权重学习模块具体包括：

读取生成的时间序列T＝<...,(x_l,t_l),...>，其中x_l表示第l位用户的特征向量，t_l表示其参与时间与源信息发布时间差值；

根据获取的时间序列T＝<...,(x_l,t_l),...>生成特征矩阵

其中n为模型设定的序列长度，对于长度大于n的序列截断长于n的部分，长度小于n的序列填充零向量至长度为n；

基于多层感知机的特征间注意力权重学习，得到特征矩阵后，按照式1所示计算特征间注意力权重矩阵w₁；

w₁＝tanh(XW₁+b₁) (式1)

式1中W₁为可训练权重矩阵，b₁为偏置矩阵：

基于参数化退火函数的时序注意力权重学习，得到特征矩阵后，按照式2所示使用参数化退火函数计算时序注意力权重矩阵w₂：

式2中Energy(x_ij)为参数化退火函数中的能量函数，其如式3所示：

式3中w'为可训练权重矩阵，b'为偏置矩阵，β为模型设定的固定偏置；

式2中Temperature(x_ij)为参数化退火函数中的温度函数，其如式4所示：

采用指数降温策略，其中T₀为初始温度，α为降温率。

进一步的，所述高级表示向量获取模块具体包括：

利用特征间注意力和时序注意力信息增强原始特征矩阵，获得注意力增强特征矩阵X_a，计算过程如式5所示：

X_a＝X+γ·w₁⊙w₂⊙X (式5)

式5中γ为模型设定的折衷系数，⊙为矩阵点乘操作；

基于多层感知机的高级表示向量提取，获得高级表示向量H，其计算过程如式6所示：

H＝flatten(ReLU(X_aW₃+b₃)) (式5)

式6中W₃为可训练权重矩阵，b₃为偏置矩阵。

进一步的，所述鉴别模块具体包括：

基于全连接神经网络的分类，在获得表征时间信息的高级表示向量H后，使用全连接神经网络与softmax函数处理高级表示向量，计算获得分类结果；

使用开源数据集训练，根据分类结果优化可训练参数，学习得到最优化模型。

与现有技术相比，本发明的优点和有益效果如下：本发明选取用户特征用于谣言鉴别，相比语言特征更具有通用性；本发明所使用的神经网络结构更为简单，计算效率更高；本发明提出的退火注意力机制，能够关注于更有效、更早期的特征，在谣言早期鉴别中准确性更高。

附图说明

图1是本发明中的谣言检测装置框架图。

图2是本发明中的谣言检测流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

本发明主要是解决上述的传统机器学习模型人工需求高，端到端方法关注文本内容特征，对用户特征的利用过于简单，早期谣言鉴别效果不佳的问题，为了方便阐述我们的发明装置的检测过程，现以图1中的模型框架为例说明谣言检测的过程。

从图1中可以看到，输入的用户特征矩阵数据通过退火注意力层和多层感知机进行注意力信息的学习提取。经过提取获得时序注意力权重矩阵和特征间注意力权重矩阵后，与原始特征矩阵信息相结合。再投入另一多层感知机提取高级表示向量。最后将高级表示向量作为全连接层和softmax层的输入，对该事件的类别进行鉴别。图2是本发明中谣言检测流程图，其详细说明过程如下：

步骤1，数据预处理；所述步骤1具体包括：

步骤1.1，分类文件，所获取的数据集由谣言数据集和事实数据集二类组成，按照标签将相应数据文件写入两个文件夹。

步骤1.2，读取数据集，将参与事件传播用户的特征(包括社交网络用户的粉丝数、关注数等特征)使用归一化数值进行表示，得到特征向量，并按照参与时间与源信息发布时间差值由小到大顺序排列，存储为时间序列。

步骤2，基于退火注意力机制的特征间注意力权重学习和时序注意力权重学习；所述步骤2具体包括：

步骤2.1，读取步骤1中生成的时间序列T＝<...,(x_l,t_l),...>。其中x_l表示第l位用户的特征向量，t_l表示其参与时间与源信息发布时间差值。

步骤2.2，根据获取的时间序列T＝<...,(x_l,t_l),...>生成特征矩阵

其中n为模型设定的序列长度，对于长度大于n的序列截断长于n的部分，长度小于n的序列填充零向量至长度为n。

步骤2.3，基于多层感知机的特征间注意力权重学习。得到步骤2.2中特征矩阵后，按照式1所示计算特征间注意力权重矩阵w₁。特征间注意力权重能够使得不同时间段更有效的特征对最终结果产生更大影响。式1中W₁为可训练权重矩阵，b₁为偏置矩阵，tanh为双曲正切函数：

w₁＝tanh(XW₁+b₁) (式1)

步骤2.4，基于参数化退火函数的时序注意力权重学习。得到步骤2.2中特征矩阵后，按照式2所示使用参数化退火函数计算时序注意力权重矩阵w₂：

其中，i和j分别表示矩阵元素的行号、列号，式2中Energy(x_ij)为参数化退火函数中的能量函数，其如式3所示：

式3中w'为可训练权重矩阵，b'为偏置矩阵，β为模型设定的固定偏置，ReLU为线性修正单元。固定偏置为退火函数最终学习到的权重值提供有偏上界，使更早期信息获得相对更大权重，可训练参数使得不同特征的时序关系差异可通过训练进行学习。

式2中Temperature(x_ij)为参数化退火函数中的温度函数，其如式4所示：

采用指数降温策略，其中T₀为初始温度，α为降温率。

步骤3，利用特征间注意力权重与时序注意力权重信息增强原始特征矩阵，获得注意力增强特征矩阵，然后基于多层感知机，结合注意力增强特征矩阵，获得高级表示向量；所述步骤3具体包括：

步骤3.1，利用特征间注意力和时序注意力信息增强原始特征矩阵，获得注意力增强特征矩阵X_a。计算过程如式5所示：

X_a＝X+γ·w₁⊙w₂⊙X (式5)

式5中γ为模型设定的折衷系数，⊙为矩阵点乘操作。折衷系数使得特征矩阵在相对保留原始信息的基础上，引入特征间注意力和时序注意力信息的影响，增强原始特征矩阵。

步骤3.2，基于多层感知机的高级表示向量提取，获得高级表示向量H。其计算过程如式6所示：

H＝flatten(ReLU(X_aW₃+b₃)) (式5)

式6中W₃为可训练权重矩阵，b₃为偏置矩阵，flatten为扁平化操作。

步骤4，以高级表示向量表征事件的传播模式，使用全连接神经网络进行分类鉴别。所述步骤4具体包括：

步骤4.1，基于全连接神经网络的分类。在获得步骤3中表征时间信息的高级表示向量H后，使用全连接神经网络与softmax函数处理高级表示向量，计算获得分类结果。

步骤4.2，使用开源数据集训练，根据分类结果优化可训练参数，学习得到最优化模型。

另外，本发明还提供一种基于用户特征的退火注意力谣言鉴别装置，包括如下模块：

预处理模块，用于对数据进行预处理；

权重学习模块，用于基于退火注意力机制的特征间注意力权重学习和时序注意力权重学习；

高级表示向量获取模块，用于利用特征间注意力权重与时序注意力权重信息增强原始特征矩阵，获得注意力增强特征矩阵，然后基于多层感知机，结合注意力增强特征矩阵，获得高级表示向量；

鉴别模块，用于以高级表示向量表征事件的传播模式，使用全连接神经网络进行分类鉴别。

各模块的具体实现方式和各步骤相应，本发明不予撰述。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种基于用户特征的退火注意力谣言鉴别方法，其特征在于，包括如下步骤：

步骤1，数据预处理；

步骤2，基于退火注意力机制的特征间注意力权重学习和时序注意力权重学习；

步骤3，用于利用特征间注意力权重与时序注意力权重信息增强原始特征矩阵，获得注意力增强特征矩阵，然后基于多层感知机，结合注意力增强特征矩阵，获得高级表示向量；

步骤4，以高级表示向量表征事件的传播模式，使用全连接神经网络进行分类鉴别。

2.根据权利要求1所述的一种基于用户特征的退火注意力谣言鉴别方法，其特征在于：所述步骤1具体包括；

步骤1.1，分类文件，所获取的数据集由谣言数据集和事实数据集二类组成，按照标签将相应数据文件写入两个文件夹；

步骤1.2，读取数据集，将参与事件传播用户的特征使用归一化数值进行表示，得到特征向量，并按照参与时间与源信息发布时间差值由小到大顺序排列，存储为时间序列。

3.根据权利要求2所述的一种基于用户特征的退火注意力谣言鉴别方法，其特征在于：所述步骤2具体包括；

步骤2.1，读取步骤1中生成的时间序列T＝<...,(x_l,t_l),...>，其中x_l表示第l位用户的特征向量，t_l表示其参与时间与源信息发布时间差值；

步骤2.2，根据获取的时间序列T＝<...,(x_l,t_l),...>生成特征矩阵

其中n为模型设定的序列长度，对于长度大于n的序列截断长于n的部分，长度小于n的序列填充零向量至长度为n；

步骤2.3，基于多层感知机的特征间注意力权重学习，得到步骤2.2中特征矩阵后，按照式1所示计算特征间注意力权重矩阵w₁：

w₁＝tanh(XW₁+b₁) (式1)

式1中W₁为可训练权重矩阵，b₁为偏置矩阵，tanh为双曲正切函数；

步骤2.4，基于参数化退火函数的时序注意力权重学习，得到步骤2.2中特征矩阵后，按照式2所示使用参数化退火函数计算时序注意力权重矩阵w₂：

其中，i和j分别表示矩阵元素的行号、列号，式2中Energy(x_ij)为参数化退火函数中的能量函数，其如式3所示：

式3中w'为可训练权重矩阵，b'为偏置矩阵，β为模型设定的固定偏置，ReLU为线性修正单元；

式2中Temperature(x_ij)为参数化退火函数中的温度函数，其如式4所示：

采用指数降温策略，其中T₀为初始温度，α为降温率。

4.根据权利要求3所述的一种基于用户特征的退火注意力谣言鉴别方法，其特征在于：所述步骤3具体包括；

步骤3.1，利用特征间注意力和时序注意力信息增强原始特征矩阵，获得注意力增强特征矩阵X_a，计算过程如式5所示：

X_a＝X+γ·w₁⊙w₂⊙X (式5)

式5中γ为模型设定的折衷系数，⊙为矩阵点乘操作；

步骤3.2，基于多层感知机的高级表示向量提取，获得高级表示向量H，其计算过程如式6所示：

H＝flatten(ReLU(X_aW₃+b₃)) (式5)

式6中W₃为可训练权重矩阵，b₃为偏置矩阵，flatten为扁平化操作。

5.根据权利要求4所述的一种基于用户特征的退火注意力谣言鉴别方法，其特征在于：所述步骤4具体包括；

步骤4.1，基于全连接神经网络的分类；在获得步骤3中表征时间信息的高级表示向量H后，使用全连接神经网络与softmax函数处理高级表示向量，计算获得分类结果；

步骤4.2，使用开源数据集训练，根据分类结果优化可训练参数，学习得到最优化模型。

6.一种基于用户特征的退火注意力谣言鉴别装置，其特征在于，包括如下模块：

预处理模块，用于对数据进行预处理；

权重学习模块，用于基于退火注意力机制的特征间注意力权重学习和时序注意力权重学习；

高级表示向量获取模块，用于利用特征间注意力权重与时序注意力权重信息增强原始特征矩阵，获得注意力增强特征矩阵，然后基于多层感知机，结合注意力增强特征矩阵，获得高级表示向量；

鉴别模块，用于以高级表示向量表征事件的传播模式，使用全连接神经网络进行分类鉴别。

7.根据权利要求6所述的一种基于用户特征的退火注意力谣言鉴别装置，其特征在于：所述预处理模块具体包括：

分类文件，所获取的开源微博数据集由谣言数据集和事实数据集二类组成，按照标签将相应数据文件写入两个文件夹；

读取数据集，将参与事件传播用户的特征提取为归一化向量，并按照参与时间与源信息发布时间差值由小到大顺序排列，存储为时间序列。

8.根据权利要求6所述的一种基于用户特征的退火注意力谣言鉴别装置，其特征在于：所述权重学习模块具体包括：

读取生成的时间序列T＝<...,(x_l,t_l),...>，其中x_l表示第l位用户的特征向量，t_l表示其参与时间与源信息发布时间差值；

根据获取的时间序列T＝<...,(x_l,t_l),...>生成特征矩阵

其中n为模型设定的序列长度，对于长度大于n的序列截断长于n的部分，长度小于n的序列填充零向量至长度为n；

基于多层感知机的特征间注意力权重学习，得到特征矩阵后，按照式1所示计算特征间注意力权重矩阵w₁；

w₁＝tanh(XW₁+b₁) (式1)

式1中W₁为可训练权重矩阵，b₁为偏置矩阵，tanh为双曲正切函数；

基于参数化退火函数的时序注意力权重学习，得到特征矩阵后，按照式2所示使用参数化退火函数计算时序注意力权重矩阵w₂：

式2中Energy(x_ij)为参数化退火函数中的能量函数，其如式3所示：

式3中w'为可训练权重矩阵，b'为偏置矩阵，β为模型设定的固定偏置，ReLU为线性修正单元；

式2中Temperature(x_ij)为参数化退火函数中的温度函数，其如式4所示：

采用指数降温策略，其中T₀为初始温度，α为降温率。

9.根据权利要求8所述的一种基于用户特征的退火注意力谣言鉴别装置，其特征在于：所述高级表示向量获取模块具体包括：

利用特征间注意力和时序注意力信息增强原始特征矩阵，获得注意力增强特征矩阵X_a，计算过程如式5所示：

X_a＝X+γ·w₁⊙w₂⊙X (式5)

式5中γ为模型设定的折衷系数，⊙为矩阵点乘操作；

基于多层感知机的高级表示向量提取，获得高级表示向量H，其计算过程如式6所示：

H＝flatten(ReLU(X_aW₃+b₃)) (式5)

式6中W₃为可训练权重矩阵，b₃为偏置矩阵，flatten为扁平化操作。

10.根据权利要求9所述的一种基于用户特征的退火注意力谣言鉴别装置，其特征在于：所述鉴别模块具体包括：

基于全连接神经网络的分类，在获得表征时间信息的高级表示向量H后，使用全连接神经网络与softmax函数处理高级表示向量，计算获得分类结果；

使用开源数据集训练，根据分类结果优化可训练参数，学习得到最优化模型。

Images