CN112069397B - 自注意力机制与生成对抗网络相结合的谣言检测方法 - Google Patents

Abstract

本发明公开了自注意力机制与生成对抗网络相结合的谣言检测方法，包括：收集谣言文本数据形成谣言数据集；基于自注意力机制，构建包含自注意力层的生成对抗网络生成器；构建判别器网络，分别对原始谣言文本和经生成器解码的文本进行谣言检测、分类；对生成对抗网络进行训练，调整生成器的模型参数和判别器的模型参数；提取生成对抗网络的判别器网络，对待检测文本进行谣言检测。本发明相比现有的谣言检测方法，检测精度更高，鲁棒性更好；生成器采用自注意力层，通过对谣言样本的语义学习，构建关键特征，生成富含表现特征的文本样例来模拟谣言传播过程的信息流失、混淆，并通过对抗训练，增强判别器的语义特征识别能力。

Description

自注意力机制与生成对抗网络相结合的谣言检测方法

技术领域

本发明属于文本识别领域，具体涉及一种自注意力机制与生成对抗网络相结合的谣言检测方法。

背景技术

谣言具有时序性和特征多样性，传播过程中信息会被不断加工，具有很强迷惑性。

基于传统机器学习的谣言检测算法需预先定义和抽取文本相关特征，对特定类型的数据集依赖性较强，因此，此类算法泛化能力差。利用神经网络结构如LSTM、GRU、CNN来提取谣言特征，避免人为构建特征工程，但是这类模型未结合谣言在网络中传播的特点，在提取语义特征上，无法让模型辨析关键特征，并且现实生活中谣言会随着时序而改变部分边缘信息，增加语义混淆度，从而降低模型对关键特征的提取能力，导致检测效果不理想。

综上所述，传统谣言检测算法存在提取文本语义和关键特征等效果不理想的问题，而一般序列模型在文本检测中无法解决特定语义下的特征提取，导致模型泛化能力差。

发明内容

本发明的目的是针对上述问题，提供一种谣言检测方法，采用自注意力机制与生成对抗网络相结合的谣言检测模型，该模型采用对抗训练方式，符合谣言在传播过程中人为增删、夸大和歪曲信息的特点，通过对抗网络生成器和判别器的相互促进作用，强化谣言指示性特征的学习，不断提高模型的学习能力；生成器采用自注意力层实现语义的提取和特征的学习；判别器采用双向LSTM，以提升对长序列谣言的判断能力。

本发明的技术方案是自注意力机制与生成对抗网络相结合的谣言检测方法，包括以下步骤：

步骤1：收集谣言文本数据形成谣言数据集；

步骤2：基于自注意力机制，构建包含自注意力层的生成对抗网络生成器；

步骤3：构建判别器网络，分别对原始谣言文本和经生成器解码的文本进行谣言检测、分类；步骤4：对生成对抗网络进行训练，调整生成器的模型参数和判别器的模型参数；

步骤5：提取生成对抗网络的判别器网络，对待检测文本进行谣言检测。

进一步地，所述谣言检测模型包括数据预处理部分、生成器、判别器网络和输出层。

优选地，所述生成器包括预处理层、多个全连接层、多个自注意力层、残差结构和分类器，跳跃连接将多个自注意力层和全连接层进行前后直连形成残差单元。

优选地，所述判别器为BiLSTM网络，包括多个正向LSTM单元和多个反向LSTM单元。

相比现有技术，本发明的有益效果：

1)本发明的采用自注意力机制与生成对抗网络相结合的谣言检测模型，相比现有的谣言检测方法，检测精度更高，鲁棒性更好；

2)本发明的生成器采用自注意力层，通过对谣言样本的语义学习，构建关键特征，生成富含表现特征的文本样例来模拟谣言传播过程的信息流失、混淆，并通过对抗训练，增强判别器的语义特征识别能力；

3)本发明的谣言检测模型采用多头自注意力结构，可以实现网络的并行计算，有效减少网络训练的时间复杂度；

4)本发明的谣言检测模型泛化能力强，对中文文本和外国语文本的谣言检测效果好；

5)本发明的谣言检测方法采用生成对抗的训练方式，少量的谣言样本即可完成谣言检测模型的训练，避免了现有的谣言检测模型的训练对谣言样本需求大、谣言样本难以收集的缺陷；

6)本发明采用GloVe算法提取文本的词向量，该算法训练词向量的时间短，训练出的词向量精准。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为本发明实施例的谣言检测模型的结构示意图。

图2为本发明实施例的生成器的结构示意图。

图3为本发明实施例的判别器的结构示意图。

具体实施方式

采用图1所示的谣言检测模型，自注意力机制与生成对抗网络相结合的谣言检测方法，包括以下依次执行的步骤：

步骤1：收集谣言文本数据形成谣言数据集；预处理文本数据，将文本数据进行特殊符号过滤、词向量化；

步骤2：构建包含自注意力层的生成对抗网络生成器，对原始文本进行编码再解码，如图2所示，使其特征分布尽可能地偏向对立类别，使原始序列和伪装序列的差别尽可能地增大，以此来健壮判别器模型的检测谣言能力；

步骤3：构建生成对抗网络判别器，如图3所示，对原始文本和经生成器解码的文本序列进行谣言检测，对同一标签文本进行分类；

步骤4：利用判别器产生的损失值进行生成对抗训练，分批次的调整生成器网络模型的参数和判别器网络模型的参数，使谣言检测的精度提高；

步骤5：提取生成对抗模型的判别器对待检测文本进行谣言检测，确定模型泛化能力。

如图1所示，谣言检测模型包括数据预处理部分、生成器网络、判别器网络以及输出层部分。

如图2所示，生成器包括预处理层、多个全连接层、自注意力层、残差结构和分类器，跳跃连接将多个自注意力层和全连接层进行前后直连形成残差单元。

如图3所示，判别器为BiLSTM网络，包括多个正向LSTM单元和反向LSTM单元。

步骤3中，对原始谣言文本和经生成器解码的文本进行谣言检测，具体包括：

1)将谣言文本的位置信息嵌入到词向量中，对于数据集中的谣言短文本序列，通过对数据特殊符号清洗、分词、词频过滤。

利用GloVe算法对词进行向量化，定义X_ij表示词汇j出现在词汇i上下文中的次数总和；X_i表示所有出现在词汇i上下文中的词汇的次数总和；P_ij＝P(j|i)＝X_ij/X_i，表示词汇j出现在词汇i上下文的概率。定义函数f(x_ij)表示X_ij在文本中的权重，计算式如下：

式中x_max设定为100，α设定为0.75；

定义目标函数J如下：

其中n表示数据集中词的数量，w_i,w_k分别代表词i,j的词向量，b_i,b_k表示引入的词偏向。GloVe算法求出目标函数J的最小值，得到词向量w_j,j＝1,2…,n，然后得到由词向量组成的序列S_i＝{w₁,…,w_n}，i代表每个词向量的具体位置；这n个词组代表了这一条序列的所有信息。将单词在序列中的位置信息标记为pos，利用三角函数对位置信息进行编码：

其中d_model为序列中词的维度，i代表词向量的位置，x_(pos,i)表示处于pos位置上的第i个单词的位置编码，再通过计算得到一组位置信息向量wp_i＝{x₁,…,x_n}，结合单词语义向量S_i，最终输入到生成器或判别器中的是单词向量M_i＝S_i+wp_i；

实施例中采用的GloVe模型和算法参照Pennington J等人2014年发表的会议论文“Glove:Global Vectors for Word Representation”。

2)将预处理得到的词向量输入到生成器网络中，其中自注意力层对其进行特征提取，首先初始化三个状态矩阵W_q、W_k、W_v，方便后续进行并行的注意力权重计算：

x_q＝M_i·W_q

x_k＝M_i·W_k

x_v＝M_i·W_v

通过计算的向量x_q、x_k、x_v来表示M_i，即M_i＝{x_q,x_k,x_v}；进入自注意力层，依次将每一个词向量的q和k分向量进行矩阵运算得到score：

score_i＝x_q·x_k

进行归一化输入到softmax函数里得到当前词向量对谣言序列输出向量c_i转换的权重，注意力attention的计算式如下：

a(score_i,x_v)_i表示单词向量M_i对输出向量c_i的贡献量，n为词的长度，取值范围为n∈[1,512]；经过自注意力层之后，进入全连接层进行特征提取。对于谣言X_r和非谣言X_n的文本，生成器类似构造了如下非线性函数，使得原始特征映射到新的特征空间中，即

3)将原始文本序列和生成器生成的文本序列输入判别器，判别器采用LSTM结构单元组成，如图3所示，首先，用a₀＝(h₀,ce₀)对正向和反向的LSTM层状态进行初始化，其中，h₀为LSTM显性状态、ce₀为LSTM单元元胞状态，隐藏状态a₀采用正态分布随机初始化。经过生成器伪装后的谣言序列数据X_i＝{x₁,...,x_n}进入判别器的LSTM单元，LSTM单元内部的输入门对序列进行信息提取:

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

C_t＝tanh(W_c·[h_t-1,x_t]+b_c)

式中h_t-1为前一个时间序列状态，x_t为当前t时刻的输入，也是经自注意力层处理的谣言序列词向量。C_t是当前时刻输入词语和上一时刻输出的语义信息，W_i，W_c，W_c，b_i是输入门对谣言序列的解析矩阵。为了滤掉一些和分类无关的特征信息，保留关键特征，将C_t，x_t输入到遗忘门，进行如下特征过滤计算：

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

式中W_f，b_f分别为遗忘门的权重矩阵。经过信息提取和过滤后，计算得到新的词信息

得到要输出的特征矩阵，LSTM控制这个状态信息和输入特征向量对当前时刻输出o_t的影响，接下来进入输出门，最终得到此时序谣言词向量ρ_t；

o_t＝σ(W_o[h_t-1,x_t]+b_o)

式中W_o，b_o分别是输出门的权重矩阵，为LSTM正向或反向得到的序列向量，/>为LSTM正向得到的序列向量，/>为LSTM反向得到的序列向量。判别器网络的最后一层得到所有时序的输出T_i＝{ρ_i|0＜i＜n}，考虑到谣言检测理应受到关键特征的影响，而不是一些边缘特征，因此，在判别器网络输出层引入注意力层。在输入序列中，构造特征矩阵/>对每一个LSTM单元的输出ρ_i分别计算出影响因子e_i：

归一化后得到每一时序的权重，然后按照权重对每一时序加权求和:

最后经过softmax层计算谣言和非谣言的类别概率。

步骤4中，生成对抗网络训练时，生成器尽可能将文本序列解码成对立的类别文本，定义映射函数f(X)，建立谣言伪装为非谣言或非谣言伪装为谣言的表示机制，但是单一的映射关系可能会导致序列被过度解码，原始语义可能会被改变为目标语义，从而降低判别器的分类能力。为此，需要将生成器的映射函数改为可逆的，即将生成器网络模型的输出作为其输入，保证得到原始输入。定义映射关系:

生成器的可逆性保证了解码之后的特征能还原原始特征，并生成混乱的特征序列来达到生成器的目的，生成器的损失函数由基于原始序列的预测分类差值f_s(X)、基于生成序列的预测分类差值以及它们的欧式距离组成:

式中D代表判别器模型的分类差值的计算函数。判别器网络使用BiLSTM模型，其损失值由原始分类差值和对生成器生成序列的判别值组成:

L_D＝D(X)+D(f_S(X))

作为分类的生成网络对抗模型，希望生成器能伪装谣言和非谣言序列，使其特征分布尽可能地偏向对立类别，使原始序列和伪装序列的差别尽可能地增大。而对于判别器而言，它需要训练其网络以判别出原始序列的类别，并尽力将伪装后的序列和原始序列归为一类，最大化它们的特征共性，这些特征就是需要判别器去学习的关键特征。对抗网络的优化模型如下:

V(G,D)＝αL_G+(1-α)L_D

式中α为权衡对抗网络中的损失系数，默认值为0.5，V表示模型关于生成器损失函数L_G和判别器损失函数L_D的关系映射，G^*表示模型优化方式。

生成对抗网络训练时，先更新判别器的参数，让生成器伪装的序列和期望目标序列之间尽可能大，接着优化生成器的网络结构和参数，使生成器生成的序列能近似符合期望目标序列语义，让对抗网络中的判别器无法分辨出谣言伪装序列和非谣言的特征差异。

实施结果表明：本发明的谣言检测方法相比现有的谣言检测方法，检测精度更高，鲁棒性更好；本发明的谣言检测模型泛化能力强，对中文文本和外国语文本均有极好的谣言检测效果；采用生成对抗的训练方式，少量的谣言样本即可完成谣言检测模型的训练；采用GloVe算法提取文本的词向量，GloVe模型训练词向量的时间短，训练出的词向量精准，词关系的上下文信息采集、词的权重控制方面均优化于CBOW模型、Skip-Gram模型。

Claims (5)

1.自注意力机制与生成对抗网络相结合的谣言检测方法，其特征在于，利用自注意力机制与生成对抗网络相结合的谣言检测模型进行谣言检测，包括以下步骤，

步骤1：收集谣言文本数据形成谣言数据集；

步骤2：基于自注意力机制，构建包含自注意力层的生成对抗网络生成器；

步骤3：构建判别器网络，分别对原始谣言文本和经生成器解码的文本进行谣言检测、分类；

步骤4：对生成对抗网络进行训练，调整生成器的模型参数和判别器的模型参数；

步骤5：提取生成对抗网络的判别器网络，对待检测文本进行谣言检测；

所述对原始谣言文本和经生成器解码的文本进行谣言检测、分类，具体包括：

1)将谣言文本的位置信息嵌入到词向量中，对于数据集中的谣言短文本序列，通过对数据特殊符号清洗、分词、词频过滤；然后利用GloVe算法对词进行向量化，得到由词向量组成的序列S_i＝{w₁,...,w_n}，其中w_j,j＝1,2…,n代表序列中的语义词向量，这n个词组代表了这一条序列的所有信息；S_i表示第i个词向量序列；

将词在序列中的位置信息标记为pos，利用三角函数对位置信息进行编码：

其中d_model为序列中词的维度，i′表示词向量的第i′个词，x_(pos,i′)表示处于pos位置上的第i′个词的位置编码，再通过计算得到一组位置信息向量wp_i，结合词语义向量S_i，最终输入到生成器或判别器中的是M_i＝S_i+wp_i；

2)将预处理得到的词向量输入到生成器网络中，其中自注意力层对其进行特征提取，首先初始化三个状态矩阵W_q、W_k、W_v，方便后续进行并行的注意力权重计算：

x_q＝M_i·W_q

x_k＝M_i·W_k

x_v＝M_i·W_v

通过计算的向量x_q、x_k、x_v来更新M_i，即M_i＝{x_q,x_k,x_v}；进入自注意力层，依次将每一个词向量的q和k分向量进行矩阵运算得到score：

score_i＝x_q·x_k

进行归一化输入到softmax函数里得到当前词向量对谣言序列输出向量c转换的权重，注意力attention的计算式为：

a(score_i,x_v)_i表示M_i对输出向量c的贡献量；

经过自注意力层之后，进入全连接层进行特征提取；对于谣言X_r和非谣言X_n的文本，生成器构造了以下非线性函数，使得原始特征映射到新的特征空间中，即

3)将原始文本序列和生成器生成的文本序列输入判别器；首先，用a₀＝(h₀,ce₀)对正向和反向的LSTM层状态进行初始化，其中h₀为LSTM显性状态、ce₀为LSTM单元元胞状态，隐藏状态a₀采用正态分布随机初始化；经过生成器伪装后的谣言序列数据X_i＝{x₁,...,x_n}进入判别器的LSTM单元，LSTM单元内部的输入门对序列进行信息提取：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

C_t＝tanh(W_c·[h_t-1,x_t]+b_c)

式中h_t-1为前一个时间序列状态，x_t为当前t时刻的输入，也是经自注意力层处理的谣言序列词向量；C_t是当前时刻输入词语和上一时刻输出的语义信息，W_i,W_c,b_i,b_c是输入门对谣言序列的解析矩阵；为了滤掉一些和分类无关的特征信息，保留关键特征，将C_t，x_t输入到遗忘门进行特征过滤，计算式为：

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

式中W_f，b_f分别为遗忘门的权重矩阵；经过信息提取和过滤后，计算得到新的词信息

得到要输出的特征矩阵，LSTM控制这个状态信息和输入特征向量对当前时刻输出o_t的影响，接下来进入输出门，最终得到此时序谣言词向量ρ_t：

o_t＝σ(W_o[h_t-1,x_t]+b_o)

式中W_o，b_o分别是输出门的权重矩阵，为LSTM正向或反向得到的序列向量，/>为LSTM正向得到的序列向量，/>为LSTM反向得到的序列向量；判别器的最后一层得到所有时序的输出/>并在判别器输出层引入注意力层；在输入序列中，构造特征矩阵对每一个LSTM单元的输出/>分别计算出影响因子/>

归一化后得到每一时序的权重，然后按照权重对每一时序加权求和:

最后经过softmax层计算谣言和非谣言的类别概率。

2.根据权利要求1所述的自注意力机制与生成对抗网络相结合的谣言检测方法，其特征在于，所述谣言检测模型包括数据预处理部分、生成器、判别器网络和输出层。

3.根据权利要求1所述的自注意力机制与生成对抗网络相结合的谣言检测方法，其特征在于，所述生成器包括预处理层、多个全连接层、多个自注意力层、残差结构和分类器，跳跃连接将多个自注意力层和全连接层进行前后直连形成残差单元。

4.根据权利要求1所述的自注意力机制与生成对抗网络相结合的谣言检测方法，其特征在于，所述判别器为BiLSTM网络，包括多个正向LSTM单元和多个反向LSTM单元。

5.根据权利要求1-4任意一项所述的自注意力机制与生成对抗网络相结合的谣言检测方法，其特征在于，步骤4中，生成对抗网络训练时，生成器尽量将文本序列解码成对立的类别文本，定义映射函数f(X)，用来表示谣言伪装为非谣言或非谣言伪装为谣言；单一的映射关系会导致序列被过度解码，原始语义会被改变为目标语义，从而降低判别器的分类能力，因此生成器采用可逆的映射函数，即将生成器网络模型的输出作为其输入，保证得到原始输入，定义映射关系:

生成器的可逆性保证了解码之后的特征能还原原始特征，生成器的损失函数由基于原始序列的预测分类差值f_s(X)、基于生成序列的预测分类差值以及它们的欧式距离组成：

式中D表示判别器模型的分类差值的计算函数；判别器的损失值由原始分类差值和对生成器生成序列的判别值组成：

L_D＝D(X)+D(f_S(X))

作为分类的生成网络对抗模型，希望生成器能伪装谣言和非谣言序列，使其特征分布尽量偏向对立类别，使原始序列和伪装序列的差别尽量增大；而对于判别器而言，它需要训练其网络以判别出原始序列的类别，并尽力将伪装后的序列和原始序列归为一类，最大化它们的特征共性，这些特征就是需要判别器去学习的关键特征；对抗网络的优化模型为：

V(G,D)＝αL_G+(1-α)L_D

式中α为权衡对抗网络中的损失系数，V表示模型关于生成器损失函数L_G和判别器损失函数L_D的关系映射，G^*表示模型优化目标；生成对抗网络训练时，先更新判别器的参数，让生成器伪装的序列和期望目标序列之间尽量大，接着优化生成器的网络结构和参数，使生成器生成的序列能符合期望目标序列语义，让对抗网络中的判别器无法分辨出谣言伪装序列和非谣言的特征差异。