CN117669530A - 基于提示学习的虚假信息检测方法及系统 - Google Patents

Abstract

本发明提供了一种基于提示学习的虚假信息检测方法及系统，其中方法包括以下步骤：S1：针对虚假信息检测任务构造预设模板，所述预设模板包括待预测变量；S2：将所述预设模板与输入变量拼接，形成提示学习模板；S3：将待检测信息代入所述输入变量后，所述提示学习模板形成输入语句，将所述输入语句输入预设的预训练语言模型进行训练，并预测所述待预测变量的预测值；S4：将所述预测值映射到相应的标签，并根据所述预测值判断所述待检测信息为真实还是虚假。本发明基于少量样本数据即可获得较好的模型效果，并且能够减少模型微调参数量，提升模型的虚假信息检测效率，领域迁移能力强。

Description

基于提示学习的虚假信息检测方法及系统

技术领域

本发明涉及自然语言处理技术领域，更为具体地，涉及一种基于提示学习的虚假信息检测方法及系统。

背景技术

虚假信息是指制造者故意误导读者，并能够通过一些其它来源证实其结果为假的信息，通常具有故意性(intent)和可证实性（verifiability）。虚假信息检测已经成为政府、媒体和研究机构等重点关注的问题。

众多国内外大学和研究机构都对此进行深入研究，大多数现有的研究分别基于研究内容和传播过程中产生的社交上下文来进行虚假信息检测。

（1）基于内容虚假信息检测

基于内容的检测方法主要基于虚假新闻特定的语言风格建模，包括早期提取语言学特征、主题特征等特征工程的方法。近年来，得益于深度模型表征深层语义特征的能力，越来越多研究学者将深度学习技术应用到虚假新闻检测中。Ma等将新闻的每个句子输入到循环神经网络(recurrent neural network ，RNN)，利用RNN的隐层向量表示新闻信息，将隐藏层信息输入到分类器中进行分类。文献首次利用卷积神经网络（convolutionalneural network, CNN）建模新闻文章提取文本特征。有研究将对抗训练的思想应用到虚假新闻检测中，有效提升了模型的鲁棒性和分类准确率，对抗训练生成器和判别器，基于生成器将谣言转化为非谣言，将非谣言转化为谣言，并将生成器生成的新闻和原始新闻输入到判别器中进行虚假新闻检测。文献通过将新闻文章建模为以句子为节点，句子间相似度为边的图，将虚假新闻检测问题转化为图分类问题。

在社交媒体的富媒体化趋势下，虚假新闻逐渐由单一的文本形式向多模态形式转变。虚假信息的发布者利用一些极具误导性甚至经过篡改的图片来吸引读者的注意,进一步促进虚假新闻的传播。这类基于多模态内容的假新闻比纯文本的假新闻具有更强的传播力，也更具有检测挑战性。因此，多模态虚假新闻检测成为近年来的研究热点。

在虚假信息检测中文本模态和视觉模态相互补充。现有基于视觉模态的研究主要利用图片的取证特征、语义特征、分布特征和上下文特征等进行虚假信息检测。有研究学者首次利用深度神经网络将多模态信息引入到虚假信息检测，提出一种基于注意力机制的循环神经网络，将文本、视觉及上下文的信息进行融合，提高了模型在新的虚假新闻事件上的检测效果；有研究利用对抗学习的方法，引入事件检测这一辅助任务，通过辅助任务引导模型更好地理解多模态特征，帮助虚假信息检测。然而，上述方法缺乏一定的事实知识，很难理解多模态信息中蕴含的事件的深层语义。针对此问题，有研究从外部知识库中提取文本实体的概念知识融入到多模态的表示中，以获取更深层的语义信息；还有研究通过引入外部知识图谱的方式增强对新闻文本语义的理解，通过利用图神经网络建模文本、知识和图片中的物体之间的交互。

（2）基于社交网络虚假信息检测

基于社交上下文的方法主要包括基于用户行为可信度的方法以及基于传播网络的方法。有研究将新闻的传播网络和用户的社交网络建模为一张异质图，通过异质图神经网络建模图中的节点信息，最后，将新闻信息和用户信息进行拼接以检测虚假新闻；有研究利用用户的发文历史识别用户可信度，将其作为内因，进一步将新闻的传播情况作为外因，利用内因和外因共同进行虚假新闻检测；有研究将谣言的传播过程建模为树形结构，分别构建了一棵自底向上的传播树和一棵自顶向下的传播树，利用递归神经网络对树中的节点建模，对虚假新闻进行分类。有研究将新闻的传播图建模为一张动态图，考虑到新闻传播过程的动态变化，利用动态图神经网络得到动态图嵌入表示进行虚假新闻检测；有研究首次将图对比学习的思想引入到虚假新闻检测中，通过提取子图的方式对传播图进行数据增强，将原始传播图作为锚点，将数据增强的图作为正例，将其他图作为负例，利用对比学习学习传播图的高阶不变特征建模新闻的传播过程。有研究学者通过构建异质信息网络对虚假信息进行建模，异构信息网络包含更加丰富的语义信息。

由于虚假信息领域的标注数据较少，现实场景通常没有大量高质量标注的数据，部分研究学者通过引入外部知识库获取背景知识以及大量客观事实来帮助更好的理解新闻内容。有研究通过在标注充足的英文语料上训练模型，然后将其迁移到无标注的中文语料库中，可以帮助模型在小样本下取得不错的效果。然而，上述方法在迁移到新任务上时，需要大量高质量标注数据来训练模型，训练参数大且费时。

现有的虚假信息识别技术领域迁移能力差，面向不同领域虚假信息识别任务，需要重新标注领域数据。然而，人工标注数据耗费巨大，且一般模型受标注数据影响较大，需要重新训练模型，难以通过训练一个通用模型以泛化到新数据集上，亟需泛化和扩展能力强的识别算法。

发明内容

鉴于上述问题，本发明的目的是提供一种基于提示学习的虚假信息检测方法及系统，采取提示-微调方法，通过在提示学习模板中插入一段和任务相关的可微调的提示符，基于少量样本数据获得较好的模型效果，并且能够减少模型微调参数量，还采用了多种提示学习模板以及多种标签映射的设计，增强了模型在特定领域的泛化能力，增强了虚假信息检测的能力。

本发明提供的一种基于提示学习的虚假信息检测方法，包括以下步骤：

S1：针对虚假信息检测任务构造预设模板，所述预设模板包括待预测变量；

S2：将所述预设模板与输入变量拼接，形成提示学习模板；

S3：将待检测信息代入所述输入变量后，所述提示学习模板形成输入语句，将所述输入语句输入预设的预训练语言模型进行训练，并预测所述待预测变量的预测值；

S4：将所述预测值映射到相应的标签，并根据所述预测值判断所述待检测信息为真实还是虚假。

所述步骤S1中，所述预设模板为“这是一条[MASK]信息”或“大众对这条信息[MASK]”，其中[MASK]为所述待预测变量。

所述步骤S2中，所述输入变量分别与不同的预设模板拼接，形成不同的提示学习模板。

所述步骤S3中，所述预设的预训练语言模型为MLM模型，所述待检测信息代入所述输入变量后，形成不同的输入语句，所述不同的输入语句均输入所述预设的预训练语言模型。

所述步骤S4中，所述标签包括真和假，根据所述预测值的含义将所述预测值映射到相应的标签。

若所述预测值为真实、信服或true，将所述预测值映射所述真的标签，所述待检测信息为真实信息；

若所述预测值为虚假、怀疑或false，将所述预测值映射所述假的标签，

所述待检测信息为虚假信息。

另一方面本发明提供的一种基于提示学习的虚假信息检测系统，利用上述的基于提示学习的虚假信息检测方法进行虚假信息检测；所述系统包括：

预设模板设置模块，用于针对虚假信息检测任务构造预设模板，所述预设模板包括待预测变量；

提示学习模板设置模块，用于将所述预设模板与输入变量拼接，形成提示学习模板；

模型预测模块，用于将待检测信息代入所述输入变量后，所述提示学习模板形成输入语句，将所述输入语句输入预设的预训练语言模型进行训练，并预测所述待预测变量的预测值；

标签映射模块，用于将所述预测值映射到相应的标签，并根据所述预测值判断所述待检测信息为真实还是虚假。

所述预设模板为“这是一条[MASK]信息”或“大众对这条信息[MASK]”，其中[MASK]为所述待预测变量。

另一方面本发明提供的一种电子设备，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于提示学习的虚假信息检测方法中的步骤。

另一方面本发明提供的一种计算机可读存储介质，存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行时实现上述的基于提示学习的虚假信息检测方法。

利用上述根据本发明的基于提示学习的虚假信息检测方法及系统，采用了设置含有待预测变量的预设模板，将待检测信息与预设模板拼接，形成一个新的输入语句并输入预训练语言模型，通过训练用于预测文本字符出现概率的预训练语言模型，并用它完成指定任务定义的完形填空任务，以及实现预测信息的真假。本发明采用提示-微调方法，并在提示学习模板中插入一段和任务相关的可微调的提示符即预设模板，将虚假信息识别转化为预训练任务，基于少量样本数据即可获得较好的模型效果，并且能够减少模型微调参数量，提升模型识别效率，领域迁移能力强。

为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。

附图说明

通过参考以下结合附图的说明书的内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为根据本发明实施例1的基于提示学习的虚假信息检测方法的流程图；

图2为根据本发明实施例1的基于提示学习的虚假信息检测方法的示例图；

图3为根据本发明实施例2的基于提示学习的虚假信息检测系统的结构示意图；

图4为根据本发明实施例3的电子设备的示意图；

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。

本发明可施加各种变更并可具有各种实施例，将特定实施例示例于附图并进行说明。但是，本发明并非限定于该特定实施方式，涵盖落入本发明的思想及技术范围的所有变更、等同物以及替代物，应理解为都包括在内。

包括诸如第一、第二等的序数术语可用于说明各种构成要素，但是所述构成要素并非限定于所述术语。所述术语仅用于区分一个构成要素与另一个构成要素。例如，在不脱离本发明的权利要求范围下，第二构成要素可被命名为第一构成要素，类似地，第一构成要素也可被命名为第二构成要素。术语及/或包括多个被关联记载的项目的组合或多个被关联记载的项目中的某一项目。

应当理解，当提及某一构成要素与其他构成要素“连接”或“接触”时，这不仅包括与其他构成要素直接连接或接触的情况，还应理解为包括在其中间存在其他构成要素的情况。反之，当提及某一构成要素与其他构成要素“直接连接”或“直接接触”时，应理解为其中间不存在其他构成要素。

本申请中使用的术语只是为了说明特定的实施例而使用，并非指在限定本发明。除非上下文另有明确规定，否则单数的表达包括复数的表达。在本申请中，应当理解“包括”或“具有”等术语用于指定存在说明书中所记载的特征、数字、步骤、操作、构成要素、部件或其组合，并非预先排除一个或其以上的其他特征、数字、步骤、操作、构成要素、部件或其组合的存在或附加可能性。

除非另有定义，包括技术术语或科学术语，在此使用的所有术语与本领域技术人员一般所理解的拥有相同的含义。一般使用的词典中所定义的术语，应解释与相关技术的文脉上所具有的含义一致的含义，如果未在本申请中明确定义，不能被解释为理想的或过于形式的含义。

为了更加清楚的说明本发明的技术方案，以下对本发明中涉及到的部分技术术语做简单的解释说明。

提示学习（Prompt Learning），提示学习的核心是重构下游任务，例如情感分类任务。将所有下游任务统一成预训练任务；以特定的模板，将下游任务的数据转成预训练语言模型的训练形式，充分挖掘预训练模型本身的能力。本质上就是设计一个比较契合上游预训练任务的模板，通过模板的设计就是挖掘出上游预训练模型的潜力，让上游的预训练模型在尽量不需要标注数据的情况下比较好的完成下游的任务。

以下将结合附图对本发明的具体实施例进行详细描述。

实施例1

图1为根据本发明实施例1的基于提示学习的虚假信息检测方法的流程图；图2为根据本发明实施例1的基于提示学习的虚假信息检测方法的示例图；

如图1和图2所示，本实施例提出的基于提示学习的虚假信息检测方法，可用于虚假信息检测，也可用于其他信息的识别。

本基于提示学习的虚假信息检测方法方法，包括以下步骤：

S1：针对虚假信息检测任务构造预设模板，预设模板包括待预测变量。

提示学习的核心是重构下游任务，例如分类任务。基于提示学习原理，针对识别任务和实际情况，需要构造一个预设模板，预设模板的含义与任务的原输入语句的含义有关，预设模板中待预测变量的值会根据原输入语句含义预测得出。

预设模板的形式可以根据实际情况而定，本实施例中为虚假信息检测任务，则原输入语句为一条待检测的信息，预设模板可设计为多种形式，例如，“这是一条[MASK]信息！”或“大众对这条信息[MASK]！”等，[MASK]位置为待预测变量，将这个位置遮挡，便于后续预测这个位置的值。

S2：将预设模板与输入变量拼接，形成提示学习模板。

运用提示学习，构建提示学习模板，提示学习模板可为“[X]，这是一条[MASK]信息！”或“[X]，大众对这条信息[MASK]!”，其中[X]为输入变量。输入变量可采用[X]表示，在[X]位置带入原输入语句，原输入语句为一条信息，在一条信息的后面拼接预设模板形成一个新的自然语言语句。

还可将输入变量分别与不同的预设模板拼接，形成不同的提示学习模板。

可将预设模板拼接在输入变量的后方，还可将预设模板拼接在输入变量的前方，例如“这是一条[MASK]信息，[X]！”，可根据具体情况选择拼接方式。

S3：将待检测信息代入输入变量后，提示学习模板形成输入语句，将所述输入语句输入预设的预训练语言模型进行训练，并预测所述待预测变量的预测值。

待检测信息即为原输入语句代入[X]位置，形成了当前的输入语句，例如原输入语句为“喝可乐可以预防感冒”，预设模板“这是一条[MASK]信息！”，通过提示函数当前的输入语句为“喝可乐可以预防感冒，这是一条[MASK]信息！”

预设模板作为提示信息，加入到输入语句中，然后将输入语句输入预设的预训练语言模型，经过向量化与特征提取后，进行训练，预测出[MASK]位置的预测值。

预测值可为多种词语，例如输入语句为“喝可乐可以预防感冒，这是一条[MASK]信息！”，预测值可为虚假或false；输入语句为“喝可乐可以预防感冒，大众对这条信息[MASK]！”，预测值可为怀疑。

预设的预训练语言模型可为MLM模型。MLM（Masked Language Model，遮蔽语言模型），在这种模型中，输入文本的一部分会被随机遮蔽掉，模型需要通过上下文来预测被遮蔽的词或字符。

通过原输入语句和预设模板拼接设计将数据转化为特定形式的MLM任务，接着利用其来训练MLM任务。

为了增强模型在特定领域的泛化能力，根据待检测信息选择预设模板的形式，以便实现最优的拼接组合，还可将不同预设模板与一个待检测信息拼接，得到不同的拼接结果作为输入语句，将不同拼接形式的输入语句同时输入到预训练语言模型中，进而进行模型训练和预测。

S4：将预测值映射到相应的标签，并根据预测值判断待检测信息为真实还是虚假。

预训练语言模型针对不同拼接形式的输入语句，输出的预测值可能为不同的词语，针对真实的信息，预测值可能输出真实、信服或true等表示真实含义的词语；针对虚假的信息，输出的预测值可能为虚假、怀疑或false等表示虚假含义的词语。

标签包括真和假，根据预测值的含义将预测值映射到相应的标签，有效增加了预训练语言模型的鲁棒性。

若预测值为真实、信服或true等表示真实含义的词语，待检测信息为真实信息，将预测值映射真的标签类别；若预测值为虚假、怀疑或false等表示虚假含义的词语，待检测信息为虚假信息，将预测值映射假的标签类别。

实施例2

图3为根据本发明实施例2的基于提示学习的虚假信息检测系统的结构示意图；

如图3所示，本实施例提供的基于提示学习的虚假信息检测系统，与实施例1中基于提示学习的虚假信息检测方法相对应，利用实施例1中的方法进行虚假信息的检测。

具体的，作为示例，基于提示学习的虚假信息检测系统可以包括：预设模板设置模块、提示学习模板设置模块、模型预测模块和标签映射模块。

预设模板设置模块，可用于对于虚假信息检测任务构造预设模板，预设模板包括待预测变量。

预设模板的形式可以根据实际情况而定，本实施例中为虚假信息检测任务，则原输入语句为一条待检测的信息，预设模板设计为多种形式，例如，“这是一条[MASK]信息！”或“大众对这条信息[MASK]！”等，[MASK]位置为待预测变量，将这个位置遮挡，便于后续预测这个位置的值。

提示学习模板设置模块，可用于预设模板与输入变量拼接，形成提示学习模板。

提示学习模板为“[X]，这是一条[MASK]信息！”的形式，其中[X]为输入变量。可将输入变量分别与不同的预设模板拼接，形成不同的提示学习模板。

模型预测模块，可用于将待检测信息代入输入变量后，提示学习模板形成输入语句，将输入语句输入预设的预训练语言模型进行训练，并预测待预测变量的预测值。

输入语句输入预设的预训练语言模型进行训练，预测出[MASK]位置的预测值。预设的预训练语言模型可为MLM模型。通过原输入语句和预设模板放拼接设计将数据转化为特定形式的MLM任务，接着利用其来训练MLM任务。

待检测信息代入不同提示学习模板的输入变量后，形成不同的输入语句，不同的输入语句均输入预设的预训练语言模型。

标签映射模块，可用于将预测值映射到相应的标签，并根据预测值判断待检测信息为真实还是虚假。

标签包括真和假，根据预测值的含义将预测值映射到相应的标签。若预测值为真实、信服或true等，待检测信息为真实信息，将预测值映射真的标签；若预测值为虚假、怀疑或false等，待检测信息为虚假信息，将预测值映射假的标签。

实施例3

图4为根据本发明实施例3的电子设备的示意图。

如图4所示，本发明还提供一种电子设备，该电子设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，该存储器存储有可被至少一个处理器执行的计算机程序，该计算机程序被至少一个处理器执行，以使至少一个处理器能够执行实施例1的基于提示学习的虚假信息检测方法中的步骤。

本领域技术人员可以理解的是，图4示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

实施例4

本发明还提供一种计算机可读存储介质，存储有至少一个指令，所述至少一个指令被电子设备1中的处理器执行时实现实施例1中的基于提示学习的虚假信息检测方法。

实施例3的电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。

如上参照附图以示例的方式描述根据本发明的基于提示学习的虚假信息检测方法及系统。但是，本领域技术人员应当理解，对于上述本发明所提出的基于提示学习的虚假信息检测方法及系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种基于提示学习的虚假信息检测方法，其特征在于，包括以下步骤：

S1：针对虚假信息检测任务构造预设模板，所述预设模板包括待预测变量；

S2：将所述预设模板与输入变量拼接，形成提示学习模板；

S3：将待检测信息代入所述输入变量后，所述提示学习模板形成输入语句，将所述输入语句输入预设的预训练语言模型进行训练，并预测所述待预测变量的预测值；

S4：将所述预测值映射到相应的标签，并根据所述预测值判断所述待检测信息为真实还是虚假。

2.如权利要求1所述的基于提示学习的虚假信息检测方法，其特征在于，所述步骤S1中，所述预设模板为“这是一条[MASK]信息”或“大众对这条信息[MASK]”，其中[MASK]为所述待预测变量。

3.如权利要求2所述的基于提示学习的虚假信息检测方法，其特征在于，所述步骤S2中，在所述输入变量分别与不同的预设模板拼接，形成不同的提示学习模板。

4.如权利要求3所述的基于提示学习的虚假信息检测方法，其特征在于，所述步骤S3中，所述预设的预训练语言模型为MLM模型，所述待检测信息代入所述输入变量后，形成不同的输入语句，所述不同的输入语句均输入所述预设的预训练语言模型。

5.如权利要求1所述的基于提示学习的虚假信息检测方法，其特征在于，所述步骤S4中，所述标签包括真和假，根据所述预测值的含义将所述预测值映射到相应的标签。

6.如权利要求5所述的基于提示学习的虚假信息检测方法，其特征在于，

若所述预测值为真实、信服或true，将所述预测值映射所述真的标签，所述待检测信息为真实信息；

若所述预测值为虚假、怀疑或false，将所述预测值映射所述假的标签，

所述待检测信息为虚假信息。

7.一种基于提示学习的虚假信息检测系统，其特征在于，利用如权利要求1-6中任一项所述的基于提示学习的虚假信息检测方法进行虚假信息检测；所述系统包括：

预设模板设置模块，用于针对虚假信息检测任务构造预设模板，所述预设模板包括待预测变量；

提示学习模板设置模块，用于将所述预设模板与输入变量拼接，形成提示学习模板；

模型预测模块，用于将待检测信息代入所述输入变量后，所述提示学习模板形成输入语句，将所述输入语句输入预设的预训练语言模型进行训练，并预测所述待预测变量的预测值；

标签映射模块，用于将所述预测值映射到相应的标签，并根据所述预测值判断所述待检测信息为真实还是虚假。

8.如权利要求7所述的基于提示学习的虚假信息检测系统，其特征在于，

所述预设模板为“这是一条[MASK]信息”或“大众对这条信息[MASK]”，其中[MASK]为所述待预测变量。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一项所述的基于提示学习的虚假信息检测方法中的步骤。

10.一种计算机可读存储介质，存储有至少一个指令，其特征在于，所述至少一个指令被电子设备中的处理器执行时实现如权利要求1至6中任一所述的基于提示学习的虚假信息检测方法。