CN115221864A - 一种多模态假新闻检测方法及系统 - Google Patents

一种多模态假新闻检测方法及系统 Download PDF

Info

Publication number
CN115221864A
CN115221864A CN202210894889.7A CN202210894889A CN115221864A CN 115221864 A CN115221864 A CN 115221864A CN 202210894889 A CN202210894889 A CN 202210894889A CN 115221864 A CN115221864 A CN 115221864A
Authority
CN
China
Prior art keywords
news
modal
text
layer
false
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210894889.7A
Other languages
English (en)
Inventor
赵布泽
邓海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210894889.7A priority Critical patent/CN115221864A/zh
Publication of CN115221864A publication Critical patent/CN115221864A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/226—Validation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种多模态假新闻检测方法及系统，属于假新闻检测技术领域，基于抗性网络思想，训练阶段在多模态特征提取器和假新闻检测器中加入了事件归类器来预测事件辅助标签，并将相应的损失用于估计不同事件之间特征表示的差异，损失越大，差异性就越低，同时多模态特征提取器试图欺骗事件归类器来学习不同事件的共有特征，丰富了所提取的特征种类，从而通过训练好的多模态特征提取器与假新闻检测器相互配合，完成了假新闻的检测识别，提高了假新闻检测的准确率。

Description

一种多模态假新闻检测方法及系统
技术领域
本发明涉及假新闻检测技术领域，特别是涉及一种多模态假新闻检测方法及系统。
背景技术
社交媒体平台为用户提供了方便的创建、访问和共享各种信息的渠道。如今，越来越多的人通过社交媒体寻找和接收及时的新闻，社交媒体可以为世界各地正在发生的事件提供及时、全面的多媒体信息。与传统的仅包含文本的新闻相比，带有图像和视频的新闻可以使新闻本身内容更加生动，吸引更多读者的关注。然而，这些特征同样也成为假新闻的优势，从而误导读者并得到迅速传播。假新闻的广泛传播可能会造成大规模的负面影响，有时还会成为反响恶劣的公共事件。不仅如此，猖獗的“在线”假新闻也可能导致“离线”的社会事件。因此，迫切需要一种自动探测器检测与识别假新闻，减少假新闻在媒体上的传播，从而减轻假新闻造成的严重负面影响。
到目前为止，各种假新闻检测方法已经被用来识别假新闻，包括传统的学习方法和基于深度学习的模型。通过对不同事件的充分验证，现有的深度学习模型相比于传统模型，性能有所提高。然而，在社交媒体上检测假新闻仍面临着独特的挑战，即在新出现的事件上检测与识别假新闻。由于缺乏相应的先验知识，很难及时获得能够验证此类事件的帖子，导致现有的模型的性能不理想。实际上，现有的模型倾向于在训练时捕获事件的特有特性，并在预测阶段，将这些特有特性用于预测不同的事件。这些具体事件的特有特性，虽然能够准确分类已验证事件的帖子，但对新出现的事件进行检测时，得不到很好的效果。
基于此背景下，工程人员需要通过学习不同事件中的共有属性或特征或许能从未经验证的帖子中检测出假新闻。对于代表不同事件的帖子，它们通常有自己独特的或是不可分享的特定特征。这些特征可以通过比较不同事件相对应帖子的差异检测出来。因此，识别特定于事件的特征等同于测量不同事件上的特征之间的差异。然而，这是一个在技术上具有挑战性的问题。第一，由于假新闻内容存在数据不完整，且数量大等特征，数据处理起来很不方便。第二，数据处理过后，因为学习帖子的特征表示是相当复杂的，因此像平方误差等估计损失的方法，可能无法估计这些复杂特征表示的差异。第三，假新闻的特征在训练阶段会不断变化，这就需要所提出的模型能够捕获特征表示的变化，并始终提供准确的度量。因此，有效地估计从不同事件上学习到的特征之间的差异是去除事件特定特征的前提，对于假新闻的检测尤为重要。
发明内容
本发明的目的是提供一种多模态假新闻检测方法及系统，以提高假新闻检测的准确率。
为实现上述目的，本发明提供了如下方案：
一种多模态假新闻检测方法，包括：
构建用于提取新闻帖子的多模态特征的多模态特征提取器；
构建用于分类新闻帖子事件的事件归类器；
建立用于根据提取的新闻帖子的多模态特征预测新闻真假的假新闻检测器；
集成多模态特征提取器、事件归类器和假新闻检测器，获得集成模型；
训练所述集成模型；
将待检测新闻帖子输入训练好的集成模型，输出新闻的预测结果；所述预测结果为真或假。
可选的，所述多模态特征提取器包括：文本特征提取器、视觉特征提取器和输出层；
所述文本特征提取器包括依次连接的word2vec嵌入层、text-CNN卷积层、MaxPooling提取层和第一全连接层；
所述word2vec嵌入层用于利用预训练的word2vec将新闻帖子中文本的每个单词初始化为一个单词嵌入向量；
所述text-CNN卷积层用于根据单词嵌入向量，通过一维卷积获取文本的每个句子的n-gram特征向量表示；
所述Max Pooling提取层用于利用不同窗口大小的过滤器从每个句子的n-gram特征向量表示中提取具有不同粒度的文本特征；
所述第一全连接层用于将所有具有不同粒度的文本特征表示成预设维度的文本特征；
所述视觉特征提取器包括：resnet50神经网络提取层和第二全连接层；resnet50神经网络提取层与第二全连接层连接；
所述resnet50神经网络提取层用于提取新闻帖子中图片的视觉特征；
所述第二全连接层用于将提取的视觉特征表示成所述预设维度的视觉特征；
所述输出层分别与第一全连接层和第二全连接层连接，所述输出层用于将预设维度的文本特征和预设维度的视觉特征连接后形成多模态特征，并输出所述多模态特征。
可选的，所述事件归类器表示为Ge(RF；θe)；其中，RF表示多模态特征，θe表示事件归类器的参数；
事件归类器的损失函数为：
Figure BDA0003768979470000031
其中，Le(θf，θe)表示事件归类器的损失，θf表示多模态特征提取器需要学习的参数，M表示一组文本和视觉文章，
Figure BDA0003768979470000032
表示输入一组文本和图片后归类成事件标签的交叉熵损失函数，l[k＝y]表示所有k都落在Ye中的概率是1，m表示一组文本和视觉的帖子，y表示事件的标签，k表示可分为事件k的变量，K表示被分为的K个事件，Ye表示事件标签的集合，Gf(m，θf)表示多模态特征提取器。
可选的，所述假新闻检测器包括：具有softmax的完全连接层；所述完全连接层用于根据提取的新闻帖子中的多模态特征输出新闻帖子的预测结果；
所述假新闻检测器的损失函数为：
Figure BDA0003768979470000033
其中，Ld(θf，θd)表示假新闻检测器的损失，
Figure BDA0003768979470000041
表示输入一组文本和图片后归类成新闻标签的交叉熵损失函数，Yd表示新闻的标签集，Pθ(m)表示假新闻帖子的概率，θd表示假新闻检测器的参数。
可选的，所述集成多模态特征提取器、事件归类器和假新闻检测器，具体包括：
分别连接多模态特征提取器和事件归类器，多模态特征提取器和假新闻检测器；
利用公式Lsum(θf,θd,θe)＝Ld(θf,θd)-λLe(θf,θe)，将事件归类器的损失和假新闻检测器的损失集成为最终损失；其中，Lsum(θf，θd，θe)表示最终损失，λ表示事件归类器的损失函数的权值。
可选的，训练所述集成模型，具体包括：
确定集成模型的最终目标函数的鞍点为：
Figure BDA0003768979470000042
和
Figure BDA0003768979470000043
其中，
Figure BDA0003768979470000044
表示多模态特征提取器需要学习的最优参数，
Figure BDA0003768979470000045
表示假新闻检测器的最优参数，
Figure BDA0003768979470000046
表示事件归类器的最优参数，
Figure BDA0003768979470000047
表示表示事件归类器和假新闻检测器相互影响下，最优参数
Figure BDA0003768979470000048
对应的最终损失函数，
Figure BDA0003768979470000049
表示事件归类器和假新闻检测器相互影响下，最优参数
Figure BDA00037689794700000410
对应的最终损失函数；
预设衰减学习率为
Figure BDA00037689794700000411
其中，η′表示衰减学习率，η表示初始学习率，α和β分别表示第一和第二超参数；
利用新闻帖子训练集，基于所述衰减学习率，并采用随机梯度下降法进行寻优。
一种多模态假新闻检测系统，包括：
多模态特征提取器构建模块，用于构建用于提取新闻帖子的多模态特征的多模态特征提取器；
事件归类器构建模块，用于构建用于分类新闻帖子事件的事件归类器；
假新闻检测器建立模块，用于建立用于根据提取的新闻帖子的多模态特征预测新闻真假的假新闻检测器；
集成模块，用于集成多模态特征提取器、事件归类器和假新闻检测器，获得集成模型；
训练模块，用于训练所述集成模型；
预测模块，用于将待检测新闻帖子输入训练好的集成模型，输出新闻的预测结果；所述预测结果为真或假。
可选的，所述多模态特征提取器包括：文本特征提取器、视觉特征提取器和输出层；
所述文本特征提取器包括依次连接的word2vec嵌入层、text-CNN卷积层、MaxPooling提取层和第一全连接层；
所述word2vec嵌入层用于利用预训练的word2vec将新闻帖子中文本的每个单词初始化为一个单词嵌入向量；
所述text-CNN卷积层用于根据单词嵌入向量，通过一维卷积获取文本的每个句子的n-gram特征向量表示；
所述Max Pooling提取层用于利用不同窗口大小的过滤器从每个句子的n-gram特征向量表示中提取具有不同粒度的文本特征；
所述第一全连接层用于将所有具有不同粒度的文本特征表示成预设维度的文本特征；
所述视觉特征提取器包括：resnet50神经网络提取层和第二全连接层；resnet50神经网络提取层与第二全连接层连接；
所述resnet50神经网络提取层用于提取新闻帖子中图片的视觉特征；
所述第二全连接层用于将提取的视觉特征表示成所述预设维度的视觉特征；
所述输出层分别与第一全连接层和第二全连接层连接，所述输出层用于将预设维度的文本特征和预设维度的视觉特征连接后形成多模态特征，并输出所述多模态特征。
可选的，所述事件归类器表示为Ge(RF；θe)；其中，RF表示多模态特征，θe表示事件归类器的参数；
事件归类器的损失函数为：
Figure BDA0003768979470000061
其中，Le(θf，θe)表示事件归类器的损失，θf表示多模态特征提取器需要学习的参数，M表示一组文本和视觉文章，
Figure BDA0003768979470000062
表示输入一组文本和图片后归类成事件标签的交叉熵损失函数，l[k＝y]表示所有k都落在Ye中的概率是1，m表示一组文本和视觉的帖子，y表示事件的标签，k表示可分为事件k的变量，K表示被分为的K个事件，Ye表示事件标签的集合，Gf(m，θf)表示多模态特征提取器。
可选的，所述假新闻检测器包括：具有softmax的完全连接层；所述完全连接层用于根据提取的新闻帖子中的多模态特征输出新闻帖子的预测结果；
所述假新闻检测器的损失函数为：
Figure BDA0003768979470000063
其中，Ld(θf，θd)表示假新闻检测器的损失，
Figure BDA0003768979470000064
表示输入一组文本和图片后归类成新闻标签的交叉熵损失函数，Yd表示新闻的标签集，Pθ(m)表示假新闻帖子的概率，θd表示假新闻检测器的参数。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开一种多模态假新闻检测方法及系统，基于抗性网络思想，训练阶段在多模态特征提取器和假新闻检测器中加入了事件归类器来预测事件辅助标签，并将相应的损失用于估计不同事件之间特征表示的差异，损失越大，差异性就越低，同时多模态特征提取器试图欺骗事件归类器来学习不同事件的共有特征，丰富了所提取的特征种类，从而通过训练好的多模态特征提取器与假新闻检测器相互配合，完成了假新闻的检测识别，提高了假新闻检测的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种多模态假新闻检测方法的流程图；
图2为本发明实施例提供的一种多模态假新闻检测方法的简要原理图；
图3为本发明实施例提供的集成模型结构图；
图4为本发明实施例提供的假新闻检测准确率比较图；
图5为本发明实施例提供的假新闻检测F1得分比较图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种多模态假新闻检测方法及系统，以提高假新闻检测的准确率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例提供了一种多模态假新闻检测方法，如图1-2所示，包括：
步骤S1，构建用于提取新闻帖子的多模态特征的多模态特征提取器。
步骤1.1利用卷积神经网络的变体形式text-CNN作为文本提取器的核心模块，text-CNN通过一维卷积来获取句子中n-gram的特征表示。对于文本特征提取器的详细步骤，利用预训练的word2vec初始化嵌入层，对于那些在预训练的word2vec没有的单词，随机初始化。然后固定整个网络，文本中的每个单词都被表示为一个单词嵌入向量。对于句子中的第k个单词，对应的j维单词嵌入向量表示为Ak∈Rj。因此，一个带有n个单词的句子可以被表示为：
Figure BDA0003768979470000071
其中，
Figure BDA0003768979470000072
是连接操作符。窗口大小为h的卷积滤波器以句子中h个单词的连续序列作为输入，输出一个特征。以第i个单词为开头的h个字的连续序列为例，过滤器操作可以表示为：
ai＝σ(Wc·Ai:i+h-1) (2)
其中，σ(·)是ReLU激活函数，Wc表示滤波器的权重。滤波器采用不用尺寸的大小，便能够生成不同大小的特征向量，相同尺寸大小的滤波器也可以应用于其余的单词，然后得到这个句子的一个特征向量:a＝[a1,a2,···,an-h+1]。
对于每个特征向量，利用K-Max Pooling操作来取所有特征值中得分在Top-k的值，并保留这些特征值原始的先后顺序，以提取最重要的信息，得到一个特定过滤器的相应特性。这个过程会被重复，直到得到所有过滤器的特性。为了提取具有不同粒度的文本特征，应用了不同的窗口大小。对于一个特定的窗口大小，我们有nh个不同的过滤器。因此，假设有c个可能的窗口大小，我们总共有c·nh个过滤器。Max Pooling操作后的文本特性被写为
Figure BDA0003768979470000081
在MaxPooling操作之后，使用一个全连接层来确保最终的文本特征表示(表示为RA∈Rp)与视觉特征表示具有相同的维度(表示为p)：
Figure BDA0003768979470000082
其中，Waf为全连接层的权重矩阵。
步骤1.2对于新闻帖子中附加的图片信息，采取预训练的resnet50神经网络进行视觉特征的提取。p维视觉特征表示为Rv∈Rp，视觉特征提取器中最后一层的操作可以表示为：
Figure BDA0003768979470000083
其中，
Figure BDA0003768979470000084
为预先训练过的resnet50得到的视觉特征表示，Wvf为视觉特征提取器中全连接层的权重矩阵。
文本特征表示RA和视觉特征表示RA连接形成多模态特征表示
Figure BDA0003768979470000085
是多模态特征提取器的输出。我们将多模态特征提取器表示为Gf(M；θf)，其中，M通常是一组文本和视觉文章，是多模态特征提取器的输入，θf表示需要学习的参数。
步骤S2，构建用于分类新闻帖子事件的事件归类器。
将事件归类器表示为Ge(RF；θe)，其中
Figure BDA0003768979470000091
θe表示其参数。同样的利用交叉熵来定义事件归类器的损失，并使用Ye来表示事件标签的集合：
Figure BDA0003768979470000092
事件归类器最小损失Le(θf,θe)的参数写为：
Figure BDA0003768979470000093
上述损失
Figure BDA0003768979470000094
可以用来估计不同事件分布的差异性。损失越大意味着不同事件表示的分布越相似，学习到的特征是事件的一般的共性特征。因此，为了消除每个事件特征的唯一性，我们需要通过寻找最优参数θf来最大化识别损失
Figure BDA0003768979470000095
上述模型的设计思想激发了多模态特征提取器和事件归类器之间的极大极小博弈。一方面，事件归类器的目的是发现特征表示中包含的事件特定特征信息来识别并分类事件，另一方面，多模态特征提取器试图欺骗事件归类器，使识别损失最大化，来获取不同事件的共性特征。
步骤S3，建立用于根据提取的新闻帖子的多模态特征预测新闻真假的假新闻检测器。
利用具有softmax的完全连接层来预测这些帖子的真实性，softmax是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。并且我们在预测中使用drop out操作防止过拟合。该模型中的假新闻检测器建立在多模态特征提取器之上，从而以多模态特征表示RF作为输入。我们将假新闻检测器表示为Gd(RF；θd)，其中θd表示所包含的所有参数。第i篇多媒体帖子的假新闻检测器的输出，记为mi，是这篇帖子是假帖子的概率：
Pθ(mi)＝Gd(Gf(mi；θf)；θd) (7)
进而使用交叉熵来计算检测损失：
Figure BDA0003768979470000096
其中，Yd来表示新闻的标签集。
通过寻找最优参数
Figure BDA0003768979470000101
和
Figure BDA0003768979470000102
来最小化检测损失函数Ld(θf,θd)，这个过程可以表示为：
Figure BDA0003768979470000103
因此，为了捕获所有新闻事件之间的共性特征，需要模型能够学习更一般事件的特征表示。为了实现这个目标，删除了每个事件的特殊特征，同时测量了不同事件中的特征所表示的差异性，并删除它们，以获得事件不变的共性特征表示。
步骤S4，集成多模态特征提取器、事件归类器和假新闻检测器，获得集成模型。
社交媒体上的帖子或新闻内容通常包括不同种类的信息。多模态特征提取器的作用是为了处理不同类型的输入，在学习了文本、图像的潜在特征表示后，将他们串联在一起，形成多模态特征表示，以矩阵的形式呈现。事件归类器则基于多模态特征提取器的输出值识别内容所代表的是属于哪一类事件。在此基础上，假新闻检测器以及事件归类器进行假新闻的检测以及事件的分类，假新闻检测器将学习到的特征表示矩阵作为输入，给出新闻的预测结果是真或者是假。
集成模型结构如图3所示，图3中左上角框中的单词为新闻帖子中的单词，text-fc表示文本的全连接层(第一连接层)，vis-fc表示图片的全连接层(第二连接层)，reversal表示梯度反转层，adv-fc1表示事件分类器的第一层全连接层，adv-fc2表示事件分类器的第二层全连接层。
步骤S5，训练集成模型。
将多模态特征提取器、事件归类器以及假新闻检测器进行集成，进行训练，使得多模态特征提取器Gf(M；θf)需要与假新闻检测器Gd(RF；θd)配合，尽量减少检测损失Ld(θf,θd)，从而提高假新闻检测任务的性能。同时，多模态特征提取器Gf(M；θf)试图通过最大化事件鉴别损失Le(θf,θe)来欺骗事件归类器
Figure BDA0003768979470000104
来获得事件共性表示。事件归类器Ge(RF；θe)试图基于多模态特征表示，通过最小化事件分类损失来来识别每个事件。将最终损失定义为：
Lsum(θf,θd,θe)＝Ld(θf,θd)-λLe(θf,θe) (10)
其中，λ控制了假新闻检测器和事件归类器两个模块的损失函数的权值大小。为了便于设计，简单地将λ设置为1。
对于极大极小对策，所寻找的优化参数集是最终目标函数的鞍点：
Figure BDA0003768979470000111
Figure BDA0003768979470000112
接下来利用随机梯度下降法来寻找最优参数集，由于梯度反转层在前向传播过程中实现恒等变换，因此采用了梯度反转层，在反向传播过程中梯度方向自动取反，如下所示：
Figure BDA0003768979470000113
Rλ(x)＝x (14)
Figure BDA0003768979470000114
为了稳定训练过程，利用下式来衰减学习率η：
Figure BDA0003768979470000115
其中，η为初始学习率，其值为0.01，α和β属于超参数，设置值α＝10和β＝0.75，p代表迭代进程相对值，即当前迭代次数与总迭代次数的比率，从0线性变化到1。
步骤S6，将待检测新闻帖子输入训练好的集成模型，输出新闻的预测结果；预测结果为真或假。
本发明进一步验证基于事件归类器神经网络模型(Event Categorizer NeuralNetwork，ECNN)的有效性，完成假新闻检测任务，分析检测性能。给出了实验来评估基于事件归类器神经网络模型(集成模型)的有效性，利用两个大型社交媒体数据集进行了假新闻检测，通过准确性、精度、召回以及F1指标评估假新闻检测算法的性能。
本发明假新闻检测使用的数据集如表1所示：
表1真实世界数据集统计
平台 Twitter Weibo
#oftruenews 5723 4849
#offakenews 6232 4865
#ofimages 682 9714
本发明的假新闻检测性能比较图如图4和图5所示，结合上表1和结果图可以看出text-CNN+和Visual+的准确率和F1分数都远高于text-CNN和Visual。因此，在假新闻检测任务中包含一个事件分类器模块对于有效捕获不同事件之间的可转移特征是必要的。同时，本发明的事件归类器神经网络模型框架能够实现假新闻检测器的半自动化构建，可以辅助工程人员更快更准确的进行假新闻检测。
本发明假新闻检测性能比较结果如表2所示：
表2假新闻检测性能指标比较
Figure BDA0003768979470000121
Figure BDA0003768979470000131
由上表2可以看出，在准确性、精度和F1评分方面，基于事件归类器的神经网络模型的整体性能比基线要优越。在Twitter数据集上，不同事件上的推文数量分布不均，其中超过70％的推文与单一事件有关。这导致学习到的文本特性主要集中在一些特定的事件上，模型很难学习到不同事件的共性特征。与视觉模态相比，文本模态包含更明显的事件特定的特征，能够通过文本中的关键词或者主题词得到事件的特征，而仅仅靠提取图片特征很难做到这一点，这种情况严重阻碍了文本模型提取不同事件的可转移特征，不利于迁移学习。因此，仅仅包含文本模态模型的性能在所有的方法中是最低的。对比视觉的单一模态基线Visual，它的性能比文本的性能要好一些，因为仅仅靠图像信息很难分类为某一具体事件，所以模型学习到的特征往往更容易转移，有利于实现迁移学习，但是存在一个问题就是数据集中新闻附加的图像信息比较少，模型最后的效果也不是很理想。虽然视觉模态对假新闻检测的特征提取很有效，但Visual的性能仍低于多模态方法。在多模态模型中，att-RNN的性能优于NeuralTalk和TCNN-URG，说明应用注意机制可以帮助模型更有效地提取关键特征，提高预测模型的性能。
对于给出的ECNN-的变体形式，它去除了事件归类器这一模块，因此倾向于捕获事件的特定特征。这将导致无法在事件之间学习到足够的可转移特性。相比之下，在事件归类器的帮助下，完整的模型在准确率方面提高了1.4％，在精度方面提高了1.2％，而且在F1评分方面能够保持和最佳基线相近的性能，这证明了事件归类器对性能改进的有效性。
在Weibo数据集上，我们可以观察到，对于单一模态的方法，仅仅依靠文本进行假新闻检测的性能要远远高于仅依靠图像，这与之前的实验结果相反，导致此结果一方面是因为Weibo数据集相比于Twitter数据集不存在数据不平衡问题，前者拥有多样性的文本数据，可以提取有用的语言模式用于假新闻检测。另一方面，Weibo数据集中的图像在语义意义上要比Twitter数据集中的图像复杂得多。对于这样具有挑战性的图像数据集，基线Visual不能很好的学习有意义的特征。可以看出，基于事件归类器神经网络模型在数据集上优于所有的多模态方法。通过对模型的成分分析，可以得出将多模态的数据相结合有助于提高模型的假新闻检测性能；另一方面，需要对文本内容和视觉图像进行建模，因为它们包含互补的信息，也能够解决数据不平衡问题。
本发明的方法主要包含多模态特征提取器、事件归类器和假新闻检测器三个组成部分，多模态特征提取器与假新闻检测器相互配合，完成了假新闻的检测识别，与此同时，多模态特征提取器试图欺骗事件归类器来学习不同事件的共有特征，丰富了所提取的特征种类；基于抗性网络思想，在训练阶段加入了事件归类器来预测事件辅助标签，并将相应的损失用于估计不同事件之间特征表示的差异，损失越大，差异性就越低，从而提高了假新闻检测的性能；本发明提出的基于事件归类器神经网络模型建立了多模态特征提取器和事件归类器之间的极大极小博弈框架。特别地，通过多模态特征提取器欺骗事件归类器以学习能够表示不同事件的共性特征。通过这种方式，它有效的消除了数据对特定事件的紧密依赖，并对新出现的事件展现了更好的迁移能力。
与现有技术相比，本发明具有以下优点和有益效果：
1.本发明提供一种基于事件触发神经网络的多模态假新闻检测方法。该方法主要包含多模态特征提取器、事件归类器和假新闻检测器三个组成部分，多模态特征提取器与假新闻检测器相互配合，完成了假新闻的检测识别，与此同时，多模态特征提取器试图欺骗事件归类器来学习不同事件的共有特征，丰富了所提取的特征种类。
2.本发明基于抗性网络思想，在训练阶段加入了事件归类器来预测事件辅助标签，并将相应的损失用于估计不同事件之间特征表示的差异，损失越大，差异性就越低，从而提高了假新闻检测的性能。
3.本发明提出的基于事件归类器神经网络模型建立了多模态特征提取器和事件归类器之间的极大极小博弈框架。特别地，通过多模态特征提取器欺骗事件归类器以学习能够表示不同事件的共性特征。通过这种方式，它有效的消除了数据对特定事件的紧密依赖，并对新出现的事件展现了更好的迁移能力。
本发明实施例还提供了一种多模态假新闻检测系统，包括：
多模态特征提取器构建模块，用于构建用于提取新闻帖子的多模态特征的多模态特征提取器；
事件归类器构建模块，用于构建用于分类新闻帖子事件的事件归类器；
假新闻检测器建立模块，用于建立用于根据提取的新闻帖子的多模态特征预测新闻真假的假新闻检测器；
集成模块，用于集成多模态特征提取器、事件归类器和假新闻检测器，获得集成模型；
训练模块，用于训练集成模型；
预测模块，用于将待检测新闻帖子输入训练好的集成模型，输出新闻的预测结果；预测结果为真或假。
多模态特征提取器包括：文本特征提取器、视觉特征提取器和输出层；
文本特征提取器包括依次连接的word2vec嵌入层、text-CNN卷积层、Max Pooling提取层和第一全连接层；
word2vec嵌入层用于利用预训练的word2vec将新闻帖子中文本的每个单词初始化为一个单词嵌入向量；
text-CNN卷积层用于根据单词嵌入向量，通过一维卷积获取文本的每个句子的n-gram特征向量表示；
Max Pooling提取层用于利用不同窗口大小的过滤器从每个句子的n-gram特征向量表示中提取具有不同粒度的文本特征；
第一全连接层用于将所有具有不同粒度的文本特征表示成预设维度的文本特征；
视觉特征提取器包括：resnet50神经网络提取层和第二全连接层；resnet50神经网络提取层与第二全连接层连接；
resnet50神经网络提取层用于提取新闻帖子中图片的视觉特征；
第二全连接层用于将提取的视觉特征表示成预设维度的视觉特征；
输出层分别与第一全连接层和第二全连接层连接，输出层用于将预设维度的文本特征和预设维度的视觉特征连接后形成多模态特征，并输出多模态特征。
事件归类器表示为Ge(RF；θe)；其中，RF表示多模态特征，θe表示事件归类器的参数；
事件归类器的损失函数为：
Figure BDA0003768979470000161
其中，Le(θf，θe)表示事件归类器的损失，θf表示多模态特征提取器需要学习的参数，M表示一组文本和视觉文章，
Figure BDA0003768979470000162
表示输入一组文本和图片后归类成事件标签的交叉熵损失函数，l[k＝y]表示所有k都落在Ye中的概率是1，m表示一组文本和视觉的帖子，y表示事件的标签，k表示可分为事件k的变量，K表示被分为的K个事件，Ye表示事件标签的集合，Gf(m，θf)表示多模态特征提取器，Ge()表示事件归类器表示函数。
假新闻检测器包括：具有softmax的完全连接层；完全连接层用于根据提取的新闻帖子中的多模态特征输出新闻帖子的预测结果；
假新闻检测器的损失函数为：
Figure BDA0003768979470000163
其中，Ld(θf，θd)表示假新闻检测器的损失，
Figure BDA0003768979470000164
表示输入一组文本和图片后归类成新闻标签的交叉熵损失函数，Yd表示新闻的标签集，Pθ(m)表示假新闻帖子的概率，θd表示假新闻检测器的参数。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种多模态假新闻检测方法，其特征在于，包括：
构建用于提取新闻帖子的多模态特征的多模态特征提取器；
构建用于分类新闻帖子事件的事件归类器；
建立用于根据提取的新闻帖子的多模态特征预测新闻真假的假新闻检测器；
集成多模态特征提取器、事件归类器和假新闻检测器，获得集成模型；
训练所述集成模型；
将待检测新闻帖子输入训练好的集成模型，输出新闻的预测结果；所述预测结果为真或假。
2.根据权利要求1所述的多模态假新闻检测方法，其特征在于，所述多模态特征提取器包括：文本特征提取器、视觉特征提取器和输出层；
所述文本特征提取器包括依次连接的word2vec嵌入层、text-CNN卷积层、MaxPooling提取层和第一全连接层；
所述word2vec嵌入层用于利用预训练的word2vec将新闻帖子中文本的每个单词初始化为一个单词嵌入向量；
所述text-CNN卷积层用于根据单词嵌入向量，通过一维卷积获取文本的每个句子的n-gram特征向量表示；
所述Max Pooling提取层用于利用不同窗口大小的过滤器从每个句子的n-gram特征向量表示中提取具有不同粒度的文本特征；
所述第一全连接层用于将所有具有不同粒度的文本特征表示成预设维度的文本特征；
所述视觉特征提取器包括：resnet50神经网络提取层和第二全连接层；resnet50神经网络提取层与第二全连接层连接；
所述resnet50神经网络提取层用于提取新闻帖子中图片的视觉特征；
所述第二全连接层用于将提取的视觉特征表示成所述预设维度的视觉特征；
所述输出层分别与第一全连接层和第二全连接层连接，所述输出层用于将预设维度的文本特征和预设维度的视觉特征连接后形成多模态特征，并输出所述多模态特征。
3.根据权利要求2所述的多模态假新闻检测方法，其特征在于，所述事件归类器表示为Ge(RF；θe)；其中，RF表示多模态特征，θe表示事件归类器的参数；
事件归类器的损失函数为：
Figure FDA0003768979460000021
其中，Le(θf，θe)表示事件归类器的损失，θf表示多模态特征提取器需要学习的参数，M表示一组文本和视觉文章，
Figure FDA0003768979460000022
表示输入一组文本和图片后归类成事件标签的交叉熵损失函数，l[k＝y]表示所有k都落在Ye中的概率是1，m表示一组文本和视觉的帖子，y表示事件的标签，k表示可分为事件k的变量，K表示被分为的K个事件，Ye表示事件标签的集合，Gf(m，θf)表示多模态特征提取器。
4.根据权利要求3所述的多模态假新闻检测方法，其特征在于，所述假新闻检测器包括：具有softmax的完全连接层；所述完全连接层用于根据提取的新闻帖子中的多模态特征输出新闻帖子的预测结果；
所述假新闻检测器的损失函数为：
Figure FDA0003768979460000023
其中，Ld(θf，θd)表示假新闻检测器的损失，
Figure FDA0003768979460000024
表示输入一组文本和图片后归类成新闻标签的交叉熵损失函数，Yd表示新闻的标签集，Pθ(m)表示假新闻帖子的概率，θd表示假新闻检测器的参数。
5.根据权利要求4所述的多模态假新闻检测方法，其特征在于，所述集成多模态特征提取器、事件归类器和假新闻检测器，具体包括：
分别连接多模态特征提取器和事件归类器，多模态特征提取器和假新闻检测器；
利用公式Lsum(θf,θd,θe)＝Ld(θf,θd)-λLe(θf,θe)，将事件归类器的损失和假新闻检测器的损失集成为最终损失；其中，Lsum(θf，θd，θe)表示最终损失，λ表示事件归类器的损失函数的权值。
6.根据权利要求5所述的多模态假新闻检测方法，其特征在于，训练所述集成模型，具体包括：
确定集成模型的最终目标函数的鞍点为：
Figure FDA0003768979460000031
和
Figure FDA0003768979460000032
其中，
Figure FDA0003768979460000033
表示多模态特征提取器需要学习的最优参数，
Figure FDA0003768979460000034
表示假新闻检测器的最优参数，
Figure FDA0003768979460000035
表示事件归类器的最优参数，
Figure FDA0003768979460000036
表示事件归类器和假新闻检测器相互影响下，最优参数
Figure FDA0003768979460000037
对应的最终损失函数，
Figure FDA0003768979460000038
表示事件归类器和假新闻检测器相互影响下，最优参数
Figure FDA0003768979460000039
对应的最终损失函数，前者为了让这个损失最小，后者是为了让这个损失最大，进行相互博弈；
预设衰减学习率为
Figure FDA00037689794600000310
其中，η′表示衰减学习率，η表示初始学习率，α和β分别表示第一和第二超参数；
利用新闻帖子训练集，基于所述衰减学习率，并采用随机梯度下降法进行寻优。
7.一种多模态假新闻检测系统，其特征在于，包括：
多模态特征提取器构建模块，用于构建用于提取新闻帖子的多模态特征的多模态特征提取器；
事件归类器构建模块，用于构建用于分类新闻帖子事件的事件归类器；
假新闻检测器建立模块，用于建立用于根据提取的新闻帖子的多模态特征预测新闻真假的假新闻检测器；
集成模块，用于集成多模态特征提取器、事件归类器和假新闻检测器，获得集成模型；
训练模块，用于训练所述集成模型；
预测模块，用于将待检测新闻帖子输入训练好的集成模型，输出新闻的预测结果；所述预测结果为真或假。
8.根据权利要求7所述的多模态假新闻检测系统，其特征在于，所述多模态特征提取器包括：文本特征提取器、视觉特征提取器和输出层；
所述文本特征提取器包括依次连接的word2vec嵌入层、text-CNN卷积层、MaxPooling提取层和第一全连接层；
所述word2vec嵌入层用于利用预训练的word2vec将新闻帖子中文本的每个单词初始化为一个单词嵌入向量；
所述text-CNN卷积层用于根据单词嵌入向量，通过一维卷积获取文本的每个句子的n-gram特征向量表示；
所述Max Pooling提取层用于利用不同窗口大小的过滤器从每个句子的n-gram特征向量表示中提取具有不同粒度的文本特征；
所述第一全连接层用于将所有具有不同粒度的文本特征表示成预设维度的文本特征；
所述视觉特征提取器包括：resnet50神经网络提取层和第二全连接层；resnet50神经网络提取层与第二全连接层连接；
所述resnet50神经网络提取层用于提取新闻帖子中图片的视觉特征；
所述第二全连接层用于将提取的视觉特征表示成所述预设维度的视觉特征；
所述输出层分别与第一全连接层和第二全连接层连接，所述输出层用于将预设维度的文本特征和预设维度的视觉特征连接后形成多模态特征，并输出所述多模态特征。
9.根据权利要求8所述的多模态假新闻检测系统，其特征在于，所述事件归类器表示为Ge(RF；θe)；其中，RF表示多模态特征，θe表示事件归类器的参数；
事件归类器的损失函数为：
Figure FDA0003768979460000041
其中，Le(θf，θe)表示事件归类器的损失，θf表示多模态特征提取器需要学习的参数，M表示一组文本和视觉文章，
Figure FDA0003768979460000042
表示输入一组文本和图片后归类成事件标签的交叉熵损失函数，l[k＝y]表示所有k都落在Ye中的概率是1，m表示一组文本和视觉的帖子，y表示事件的标签，k表示可分为事件k的变量，K表示被分为的K个事件，Ye表示事件标签的集合，Gf(m，θf)表示多模态特征提取器。
10.根据权利要求9所述的多模态假新闻检测系统，其特征在于，所述假新闻检测器包括：具有softmax的完全连接层；所述完全连接层用于根据提取的新闻帖子中的多模态特征输出新闻帖子的预测结果；
所述假新闻检测器的损失函数为：
Figure FDA0003768979460000051
其中，Ld(θf，θd)表示假新闻检测器的损失，
Figure FDA0003768979460000052
表示输入一组文本和图片后归类成新闻标签的交叉熵损失函数，Yd表示新闻的标签集，Pθ(m)表示假新闻帖子的概率，θd表示假新闻检测器的参数。
CN202210894889.7A 2022-07-28 2022-07-28 一种多模态假新闻检测方法及系统 Pending CN115221864A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210894889.7A CN115221864A (zh) 2022-07-28 2022-07-28 一种多模态假新闻检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210894889.7A CN115221864A (zh) 2022-07-28 2022-07-28 一种多模态假新闻检测方法及系统

Publications (1)

Publication Number Publication Date
CN115221864A true CN115221864A (zh) 2022-10-21

Family

ID=83614672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210894889.7A Pending CN115221864A (zh) 2022-07-28 2022-07-28 一种多模态假新闻检测方法及系统

Country Status (1)

Country Link
CN (1) CN115221864A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542259A (zh) * 2023-07-06 2023-08-04 大白熊大数据科技(常熟)有限公司 在线服务对话大数据的欺诈分析方法、服务器及介质
CN116910275A (zh) * 2023-09-12 2023-10-20 无锡容智技术有限公司 一种基于大语言模型的表单生成方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542259A (zh) * 2023-07-06 2023-08-04 大白熊大数据科技(常熟)有限公司 在线服务对话大数据的欺诈分析方法、服务器及介质
CN116542259B (zh) * 2023-07-06 2023-09-05 大白熊大数据科技(常熟)有限公司 在线服务对话大数据的欺诈分析方法、服务器及介质
CN116910275A (zh) * 2023-09-12 2023-10-20 无锡容智技术有限公司 一种基于大语言模型的表单生成方法及系统
CN116910275B (zh) * 2023-09-12 2023-12-15 无锡容智技术有限公司 一种基于大语言模型的表单生成方法及系统

Similar Documents

Publication Publication Date Title
Wu et al. Self-critical reasoning for robust visual question answering
Deng et al. Fine-grained face verification: FGLFW database, baselines, and human-DCMN partnership
CN106570708B (zh) 一种智能客服知识库的管理方法及系统
CN110532379B (zh) 一种基于lstm的用户评论情感分析的电子资讯推荐方法
CN110598543B (zh) 基于属性挖掘和推理的模型训练方法及行人再识别方法
CN115221864A (zh) 一种多模态假新闻检测方法及系统
CN104573669A (zh) 图像物体检测方法
CN108549658A (zh) 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统
Veit et al. Separating self-expression and visual content in hashtag supervision
CN112733533A (zh) 一种基于bert模型及文本-图像关系传播的多模态命名实体识别方法
CN106649849A (zh) 文本信息库建立方法和装置、以及搜索方法、装置和系统
CN113806630A (zh) 基于注意力的多视角特征融合跨域推荐方法及装置
CN113849598B (zh) 基于深度学习的社交媒体虚假信息检测方法及检测系统
CN113469214A (zh) 虚假新闻检测方法、装置、电子设备和存储介质
CN108268470A (zh) 一种基于演化聚类的评论文本分类提取方法
CN115309860B (zh) 基于伪孪生网络的虚假新闻检测方法
CN110765285A (zh) 基于视觉特征的多媒体信息内容管控方法及系统
CN116416334A (zh) 一种基于原型的嵌入网络的场景图生成方法
CN110347825A (zh) 一种短英文影评分类方法及装置
CN115269833A (zh) 基于深度语义和多任务学习的事件信息抽取方法及系统
CN111160040A (zh) 一种基于多尺度门控均衡交互融合网络的信息可信度评估系统及方法
CN114549910A (zh) 基于干净数据集与关键特征检测的噪声识别方法
CN111242114B (zh) 文字识别方法及装置
Ahmed et al. Hateful meme prediction model using multimodal deep learning
Drishya et al. Cyberbully image and text detection using convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination