CN111144131B - 一种基于预训练语言模型的网络谣言检测方法 - Google Patents

Abstract

本发明公开了一种基于预训练语言模型的网络谣言检测方法，包括：获取待检测的源文本以及多个其他用户的转发文本；对源文本以及多个其他用户的转发文本各自进行预处理，将预处理后的转发文本连接，得到转发文本的集合；将预处理后的源文本与转发文本的集合看作一对句子，构造成线性序列并输入至预训练语言模型中，通过预训练语言模型的挖掘出源文本与转发文本的语义关系，并经过全连接层与softmax函数得到源文本为谣言与非谣言的概率。该方法能自动学习并获取有帮助的高层次语义特征，不依赖特定的先验知识，因此具有很好的泛化性。该方法不需要依赖于源文本相关的大量转发/评论信息，可以做到早期检测。

Description

一种基于预训练语言模型的网络谣言检测方法

技术领域

本发明涉及谣言检测技术领域，尤其涉及一种基于预训练语言模型的网络谣言检测方法。

背景技术

随着互联网技术的发展以及智能终端设备的兴起，社交媒体平台为人们分享多种多样的消息提供便捷的通道，人们经过简单的操作便能快速上传海量的多媒体数据。然而，网络谣言也能借此广泛地传播，误导大众。恶劣的谣言能引导社会舆论，造成人民恐慌，影响政府公信力。因此，为了确保用户能获得可靠的消息，维护社会秩序，检测社交媒体上的谣言是一项重要的任务。

传统的网络谣言检测办法依赖于特征工程，如从用户发表的消息与用户的个人信息中手工地提取特征，再应用统计学习的分类策略。由于社交媒体数据量庞大，汉语的信息量丰富等特点，这类方法不仅耗费大量劳动力资源，而且不能获取到潜在的语义信息，因此检测效果较差。

为了更好地，更早地检测出谣言，基于人工神经网络或深度学习的检测模型应运而生，并取得了巨大成功。这些技术大多引入循环神经网络(RNN)，卷积神经网络(CNN)，词向量嵌入(word2vec)等模型去学习文本内容的潜在表示，获得高层次的关键特征。

然而这些方法有很大的缺点。第一，社交媒体上的文本信息短小精悍，语法不规范，书写格式复杂，语义信息很难获取；第二，网络谣言在早期传播时用户习惯不带任何文本内容的转发评论消息，并且喜欢直接在源事件上转发，而不是间接的，因此时间域上的语义特征不充分，结构特征不可用。

发明内容

本发明的目的是提供一种基于预训练语言模型的网络谣言检测方法，可以实现谣言在发布后短时间内的高正确率检测。

本发明的目的是通过以下技术方案实现的：

一种基于预训练语言模型的网络谣言检测方法，包括：

获取待检测的源文本以及多个其他用户的转发文本；

对源文本以及多个其他用户的转发文本各自进行预处理，将预处理后的转发文本连接，得到转发文本的集合；

将预处理后的源文本与转发文本的集合看作一对句子，构造成线性序列并输入至预训练语言模型中，通过预训练语言模型挖掘出源文本与转发文本的语义关系，并经过全连接层与softmax函数得到源文本为谣言与非谣言的概率。

由上述本发明提供的技术方案可以看出，对文本的预处理简单，不需要人工提取特征，需要作为输入的信息少，因此模型可被端到端的训练。该方法能自动学习并获取有帮助的高层次语义特征，不依赖特定的先验知识，因此具有很好的泛化性。该方法不需要依赖于源文本相关的大量转发/评论信息，可以做到早期检测。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于预训练语言模型的网络谣言检测方法的流程图；

图2为本发明实施例提供的双向Transformer语言模型结构示意图；

图3为本发明实施例提供的应用于谣言检测(分类任务)的BERT模型示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种基于预训练语言模型的网络谣言检测方法，如图1所示，其主要包括：

1、获取待检测的源文本以及多个其他用户的转发文本。

本发明实施例中，以微博平台中的文本为例进行介绍。即，源文本可以为源微博，转发文本可以转发微博。通常来说，源微博只有一条，转发微博需要多条，且只考虑文本信息。

由于大部分用户早期评论/转发时不带文本，只有少部分用户转发/评论时会选择带上文本，之前的方法基本上都需要大量用户转发/评论的文本信息，故做不到早期检测的高正确率。而本发明只需要少部分用户转发/评论的文本信息，就能够进行正确的检测。

2、对源文本以及其他用户的转发文本各自进行预处理，将预处理后的转发文本连接，得到转发文本的集合。

由于社交媒体信息的复杂性，有很多无用的信息会对检测产生影响，故需要对输入的初始文本进行清洗，去噪，过滤等操作。对于源文本，通常由几句话构成；对于相关的转发文本，通常是词组或短句。需要分别进行预处理，预处理包括如下处理方式中的一种或多种：繁体转换、去除统一资源定位符、删除表情符号、删除英文字符、删除特殊字符、删除空字符。

表1示出了预处理过程，以及各个预处理操作中的示例。

表1预处理操作

源文本记为S，任一转发文本记为m_i，预处理函数记为f_p(x)，则预处理后的文本记为：

S′＝f_p(S)

m_i′＝f_p(m_i)。

假设选择了K条转发文本，i＝1,2,…K。为了体现早期检测的性能，只取源文本和少量与之相关的转发信息作为输入的数据。故截取每条源文本的按时间排序的前L条转发，之后的全部舍弃，此时i＝1,2,…L(L＜K)。

因为预处理过的转发信息很短，为了更好的提取与转发相关的语义特征，需要将预处理后的L条转发文本连接，得到转发文本的集合：

其中，M′为转发文本的集合，句号为连接符号，m_i′表示预处理后的转发文本。

3、将预处理后的源文本与转发文本的集合看作一对句子，构造成线性序列并输入至预训练语言模型中，通过预训练语言模型挖掘出源文本与转发文本的语义关系，并经过全连接层与softmax函数得到源文本为谣言与非谣言的概率。

本发明实施例中，选择BERT模型(Bidirectional Encoder Representation fromTransformers，中文直译为：来自Transformer的双向编码器表示模型)作为训练语言模型，如图2所示，BERT是一个大规模的预训练语言模型，架构基于多层双向Transformer(一种基于编码器和解码器结构的模型)编码，是基于特别设计的注意力机制的全连接网络，采用随机掩盖部分输入，预测句子间联系等预训练策略，在海量语料进行参数学习，相对于RNN而言更加高效、能捕捉文本更长距离的依赖，对下游任务具有普适性。因此，基于BERT的网络谣言检测方法不仅一定程度上减轻了模型过拟合，鲁棒性差，无法提取社交媒体网络上谣言的潜在语义信息等问题，并且能通过微调从文本中获取泛化性强、辨识性高的特征表示，最终实现谣言在发布后短时间内的高正确率检测。

图2中，w表示一个句子里面的一个单词(word)，w₁表示句子的第一个单词，w₂表示这个句子的第二个单词，以此类推。在中文里一个单词对应一个字，标点符号也算一个单词；Trm表示Transformer模型；O(output)表示经过Transformer模型后句子里对应单词的输出向量，o₁表示单词w₁的输出向量，o₂表示单词w₂的输出向量，以此类推。

由于BERT模型对双句输入的分类任务表现出色，如问题匹配，自然语言推断。因此本发明实施例中，将谣言检测的输入看作一对句子TextA与Text B，分别为预处理后的源文本S′和转发文本的集合M′，而BERT模型需要挖掘两个句子之间的语义关系，寻找二者之间存在的潜在联系，最后判断源文本是否是谣言。输入可表示为：

TextA＝S′

Text B＝M′

在TextA与Text B之间加上分隔符，前后加上标识符，获得输入进预训练语言模型的线性序列：

I_s＝[CLS]TextA[SEP]Text B[SEP]

其中，TextA之前的[CLS]以及Text B之后的[SEP]均为标识符(用于标记开始与结束)，TextA与Text B之间的[SEP]为分隔符。

本发明实施例中，利用特定数据集(针对网络谣言检测任务所构建的数据集，后文的验证实验进行了相关介绍)训练、微调BERT模型后，使BERT模型顶层输出的[CLS]的特征表示，作为输入的一对句子之间的潜在联系。

为了实现二分类任务，需要在BERT顶部，即在最高隐藏层的第一维输出([CLS]字符的特征表示)，加上全连接层与softmax函数，因此最后输出的是二维向量，表示判断该谣言是正例与反例的概率(二者和为1)：

I_h＝F_BERT(I_s)

z＝f_{FC layers}(I_h)

Pr＝softmax(z)

其中，I_s表示线性序列，F_BERT()表示预训练语言模型(BERT模型)处理函数，I_h表示预训练语言模型的输出结果(即BERT模型最高隐藏层对[CLS]字符的特征表示)；f_{FC layers}()表示全连接层处理函数(全连接层可以由一层的前馈神经网络实现)，z表示全连接层的输出结果，维度为2；Pr表示通过softmax函数得到的源文本为谣言与非谣言的概率。

最后基于BERT的谣言检测模型可由图3所示。图3中，Tok1～TokN表示Text A的第一个单词(word)～第N个单词(N为单词总数)，中文里一个字表示一个单词，一个标点符号也算一个单词；E₁～E_N表示Text A的第一个单词(word)～第N个单词的词向量(WordEmbedding)表示，由模型内部提供。同理，Tok1～TokM表示Text B的第一个单词(word)～第M个单词，E₁'～E_M'表示text B的第一个单词(word)～第M个单词的词向量表示。E_[cls]、E_[SEP]表示[CLS]、[SEP]字符的词向量表示，模型内部提供。

本发明实施例中，将预训练语言模型与全连接层看作一个网络模型进行统一训练。针对谣言检测任务进行finetune(迁移学习)操作(即，将在大规模语料库预训练的语言模型迁移到网络谣言检测的分类模型)，在特定的数据集下训练，线构建二元交叉熵损失函数L_CE作为损失函数，再利用梯度反向传播算法，获得网络模型每一层参数的梯度信息，应用优化器，对网络模型进行优化，使得损失函数最小化，从而更新网络模型网络的参数。

二元交叉熵损失函数L_CE表示为：

其中，U为训练样本数目，y_i表示第i个样本的检测结果，y_i＝1表示第i个样本为谣言，y_i＝0表示第i个样本为非谣言，Pr(y_i)表示y_i对应的概率。

当网络模型训练结束后，便可以实现谣言的自动检测。本发明实施例前述步骤1～3使用的是训练好的网络模型，通过依次执行步骤1～3可以得到源文本为谣言与非谣言的概率，可取概率大的那一项作为判断结果，即：

其中，model(x)＝1表示预测x为谣言，model(x)＝0表示预测x为非谣言，Pr[model(x)＝1]、Pr[model(x)＝0]表示预测为谣言、非谣言的概率，由于两个概率的和为1，因此，直接选择概率大于0.5的那一项作为检测结果。

与现有方法相比，本发明实施例上述方案对社交媒体上的谣言的识别正确率最高，通过验证，在源微博公开发布后的5～10分钟左右，谣言识别正确率达到94％以上，因此在现实世界中有很强的利用价值。该方法对文本的预处理简单，不需要人工提取特征，需要作为输入的信息少，因此模型可被端到端的训练。该方法能自动学习并获取有帮助的高层次语义特征，不依赖特定的先验知识，因此具有很好的泛化性。该方法不需要依赖于源微博相关的大量转发/评论信息，可以做到早期检测。

为了验证本发明上述方案的效果，使用目前公开发布的微博谣言数据集Weibo(Maetal.2016)验证本发明上述方案。该数据集包含真实存在的事件(标签为假谣言，反例)和被官方证实为虚假的事件(标签为真谣言，正例)。每一个事件，对应的数据为源微博和与之相关的转发/回复信息。该数据集共有2313个正例事件和2351个反例事件，380w条转发信息，平均每个事件相关的转发数为816条。

先把数据集中给定事件的相关转发信息按时间排序，再截取前40条(L＝40)转发信息，这大概是源微博被发布后平均5～10分钟的转发数量。

分别使用BERT，RoBERTa，ALBERT的中文预训练模型进行实验，RoBERTa与ALBERT是BERT的优化版本，在模型规模、预训练方式、算力和数据等方面有少许改进提升。不失一般性，三种模型的内部网络结构设置与经典的BERT-base相同(12层Transformer，隐藏层维度768，注意力头数12只)，但训练时可学习的参数有差异。模型对输入序列的长度是固定的(经过wordpiece分词后为512token)，故所有序列长度不足将在最后补零，而长度超出的部分将被截取。不同的BERT模型训练时超参数相同，在单个2080TiGPU上进行训练，设置如下：

表2模型超参数设置

此外，还列出前几年一些典型的谣言检测模型，进行谣言早期检测性能的比较(数据来自Liuetal.2018，取源微博发布后24小时以内的转发消息作为可利用的输入信息，故以下方法对谣言判别的deadline是24小时)：

1、RFC:随机森林分类器，利用社交平台的用户，语言，结构特性。

2、SVM:支持向量机模型，利用时间序列获取不同事件文本内容的特性变化。

3、RNN:基于循环神经网络的模型，从用户转发内容中学习时间域的语义信息。

4、CNN:基于卷积神经网络的模型，从用户转发内容中学习时间域的语义信息。

5、RNN+CNN:综合利用CNN与RNN模型，学习参与事件的用户特征信息。

表3在Weibo数据集上的谣言检测结果

从实验的结果来看，孰优孰劣一目了然，本发明的方案不仅在时间上(早期检测)有优势，而且检测的准确率也是突出的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于预训练语言模型的网络谣言检测方法，其特征在于，包括：

获取待检测的源文本以及多个其他用户的转发文本；

对源文本以及多个其他用户的转发文本各自进行预处理，将预处理后的转发文本连接，得到转发文本的集合；

将预处理后的源文本与转发文本的集合看作一对句子，构造成线性序列并输入至预训练语言模型中，通过预训练语言模型挖掘出源文本与转发文本的语义关系，并经过全连接层与softmax函数得到源文本为谣言与非谣言的概率；

其中，源文本记为S，任一转发文本记为m_i，预处理函数记为f_p(x)，则预处理后的文本记为：

S′＝f_p(S)

m_i′＝f_p(m_i)

其中，m_i′表示预处理后的转发文本，截取每条源文本的按时间排序的前L条转发文本，之后的全部舍弃，i＝1，2，...，L；

将预处理后的源文本S′与转发文本的集合M′看作一对句子TextA与Text B：

TextA＝S′

Text B＝M′

在TextA与Text B之间加上分隔符，前后加上标识符，获得输入进预训练语言模型的线性序列：

I_s＝[CLS]TextA[SEP]Text B[SEP]

其中，TextA之前的[CLS]以及Text B之后的[SEP]均为标识符，TextA与Text B之间的[SEP]为分隔符。

2.根据权利要求1所述的一种基于预训练语言模型的网络谣言检测方法，其特征在于，预处理包括如下处理方式中的一种或多种：繁体转换、去除统一资源定位符、删除表情符号、删除英文字符、删除特殊字符、删除空字符。

3.根据权利要求1所述的一种基于预训练语言模型的网络谣言检测方法，其特征在于，所述将预处理后的转发文本连接的方式包括：

其中，L表示转发文本数量，M′为转发文本的集合，句号为连接符号，m_i′表示预处理后的转发文本。

4.根据权利要求1所述的一种基于预训练语言模型的网络谣言检测方法，其特征在于，通过预训练语言模型的挖掘出源文本与转发文本的语义关系，并经过全连接层与softmax函数得到源文本为谣言与非谣言的概率表示为：

I_h＝F_BERT(I_s)

z＝f_{FC layers}(I_h)

Pr＝softmax(z)

其中，I_s表示线性序列，F_BERT()表示预训练语言模型处理函数，I_h表示预训练语言模型的输出结果；f_{FC layers}()表示全连接层处理函数，z表示全连接层的输出结果；Pr表示通过softmax函数得到的源文本为谣言与非谣言的概率。

5.根据权利要求1所述的一种基于预训练语言模型的网络谣言检测方法，其特征在于，将预训练语言模型与全连接层看作一个网络模型进行统一训练；训练阶段，构建二元交叉熵损失函数L_CE作为损失函数，再利用梯度反向传播算法，获得网络模型每一层参数的梯度信息，应用优化器，对网络模型进行优化，使得损失函数最小化，从而更新网络模型网络的参数；

二元交叉熵损失函数L_CE表示为：

其中，U为训练样本数目，y_i表示第i个样本的检测结果，y_i＝1表示第i个样本为谣言，y_i＝0表示第i个样本为非谣言，Pr(y_i)表示y_i对应的概率。

6.根据权利要求1所述的一种基于预训练语言模型的网络谣言检测方法，其特征在于，所述训练语言模型包括：BERT模型。

Images