CN115423050A - 一种虚假新闻检测方法、装置、电子设备及存储介质 - Google Patents

一种虚假新闻检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115423050A
CN115423050A CN202211372839.9A CN202211372839A CN115423050A CN 115423050 A CN115423050 A CN 115423050A CN 202211372839 A CN202211372839 A CN 202211372839A CN 115423050 A CN115423050 A CN 115423050A
Authority
CN
China
Prior art keywords
text
image
feature
news
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211372839.9A
Other languages
English (en)
Inventor
林舒源
陈晓
郭榆
黄斐然
支庭荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN202211372839.9A priority Critical patent/CN115423050A/zh
Publication of CN115423050A publication Critical patent/CN115423050A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及信息检测技术领域，公开了一种虚假新闻检测方法、装置、电子设备及存储介质，一种虚假新闻检测方法，其特征在于，包括：提取新闻中的图像和文本的特征，形成图像特征序列
Figure 306236DEST_PATH_IMAGE002
和文本特征序列
Figure 60566DEST_PATH_IMAGE004
；对图像特征序列
Figure DEST_PATH_IMAGE005
进行判别，得到图像预测值
Figure DEST_PATH_IMAGE007
；对文本特征序列
Figure 420747DEST_PATH_IMAGE008
进行判别，得到文本预测值
Figure 944132DEST_PATH_IMAGE010
；融合图像特征序列
Figure 436293DEST_PATH_IMAGE002
和文本特征序列
Figure 677918DEST_PATH_IMAGE004
，得到多模态特征序列
Figure 15359DEST_PATH_IMAGE012
；对多模态特征序列
Figure 658830DEST_PATH_IMAGE012
进行判别，得到多模态预测值
Figure 993996DEST_PATH_IMAGE014
；融合图像特征预测值
Figure 286700DEST_PATH_IMAGE007
、文本特征预测值
Figure 365514DEST_PATH_IMAGE010
和多模态特征预测值
Figure 925808DEST_PATH_IMAGE014
，得到最终的预测值
Figure 697455DEST_PATH_IMAGE016
；通过对图像特征序列
Figure 648094DEST_PATH_IMAGE002
与文本特征序列
Figure 592916DEST_PATH_IMAGE004
进行计算，得到相似度
Figure 945400DEST_PATH_IMAGE018
；优化特征提取参数。本发明能检测同时含有图像与文本的虚假新闻。

Description

一种虚假新闻检测方法、装置、电子设备及存储介质
技术领域
本发明涉及信息检测技术领域，具体涉及一种虚假新闻检测方法、装置、电子设备及存储介质。
背景技术
近年来，随着网络的普及，新闻在整个社会发展进程中起着至关重要的作用。人们通过新闻媒体了解世界各地发生的事情，新闻媒体在某种程度上也在影响着人们对各种事物的看法。正是因为新闻具有引导人们对某些事物的看法，所以有很多个人或组织通过发布虚假新闻来误导人们对某些事物的看法从而谋取自身的利益。
虚假新闻是指相关人员或组织为达到自身目的发表的错误新闻，会误导群众导致错误的舆论传播，对于政治、经济发展有很大的危害。虚假新闻检测的定义是给定新闻文章的新闻内容，社交上下文内容、以及外部知识，去判断新闻文章的真假。虚假新闻检测在及时遏制谣言的传播，维护国家秩序、社会稳定方面有着举足轻重的作用。
虚假新闻的内容由多种模态的新闻信息组成，大致可以分为图像信息和文本信息。对于多模态的新闻，虚假新闻检测过程中不仅要关注单个模态信息内容的真实性，还应该关注各个模态信息的相似性。
现有的人工检测方法效率低下，而且会消耗大量的人力物力。在面对高超的伪造技巧和海量的虚假信息，人工检测方法还难以取得快速高效的判识效果。因此需要自动对虚假新闻进行检测。
发明内容
针对所述缺陷，本发明实施例公开了一种虚假新闻检测方法、装置、电子设备及存储介质，不仅可以检测仅含有图像或仅含有文本的虚假新闻，还可以检测同时含有图像与文本的虚假新闻，提高虚假新闻检测的效率与准确性。
本发明实施例第一方面公开了一种虚假新闻检测方法，包括：
步骤S1：提取新闻中的图像和文本的特征，使用自注意力机制提取全局信息，形成 图像特征序列
Figure 430658DEST_PATH_IMAGE001
和文本特征序列
Figure 354751DEST_PATH_IMAGE002
；
步骤S2：对图像特征序列
Figure 208569DEST_PATH_IMAGE001
进行判别，得到图像预测值
Figure 509100DEST_PATH_IMAGE003
；对文本特征序列
Figure 748452DEST_PATH_IMAGE002
进行 判别，得到文本预测值
Figure 92714DEST_PATH_IMAGE004
；
步骤S3：采用交叉注意力机制融合图像特征序列
Figure 417517DEST_PATH_IMAGE001
和文本特征序列
Figure 725001DEST_PATH_IMAGE002
，得到多模 态特征序列
Figure 103680DEST_PATH_IMAGE005
；对多模态特征序列
Figure 103997DEST_PATH_IMAGE006
进行判别，得到多模态预测值
Figure 181674DEST_PATH_IMAGE007
；
步骤S4：融合图像特征预测值
Figure 807696DEST_PATH_IMAGE003
、文本特征预测值
Figure 287219DEST_PATH_IMAGE008
和多模态特征预测值
Figure 724017DEST_PATH_IMAGE009
，得到 最终的预测值
Figure 554570DEST_PATH_IMAGE010
，通过最终的预测值
Figure 735015DEST_PATH_IMAGE011
判断得到真实新闻与虚假新闻；
步骤S5：通过对图像特征序列
Figure 85356DEST_PATH_IMAGE012
与文本特征序列
Figure 693055DEST_PATH_IMAGE002
进行计算，得到相似度
Figure 479745DEST_PATH_IMAGE013
；对比 真实新闻与虚假新闻的相似度
Figure 463882DEST_PATH_IMAGE014
结果，优化特征提取参数。
作为一种可选的实施方式，在本发明实施例第一方面中， 所述步骤S1包括：
步骤S1.1：通过预训练的ResNet50深度神经网络提取新闻中图像的局部信息；
步骤S1.2：通过多头注意力机制提取新闻中图像的全局信息，得到图像的特征序 列
Figure 432844DEST_PATH_IMAGE012
；
步骤S1.3：对新闻中的文本进行词嵌入；
步骤S1.4：通过LSTM长短期记忆网络提取新闻文本的信息；
步骤S1.5：利用自注意力机制提取新闻文本的信息，得到文本的特征序列
Figure 211444DEST_PATH_IMAGE002
。
作为一种可选的实施方式，在本发明实施例第一方面中，所述步骤S2包括：
步骤S2.1：将图像的特征序列
Figure 751010DEST_PATH_IMAGE012
通过全连接层得到图像预测值
Figure 273258DEST_PATH_IMAGE003
；
步骤S2.2：将文本的特征序列
Figure 581880DEST_PATH_IMAGE002
通过全连接层得到文本的预测值
Figure 544763DEST_PATH_IMAGE008
。
作为一种可选的实施方式，在本发明实施例第一方面中，所述步骤S3包括：
步骤S3.1：将图像特征序列
Figure 571625DEST_PATH_IMAGE001
和文本特征序列
Figure 897564DEST_PATH_IMAGE015
通过交叉自注意力机制进行融 合，得到包含文本信息的图像特征序列
Figure 326271DEST_PATH_IMAGE016
和包含图像信息的文本特征序列
Figure 712253DEST_PATH_IMAGE017
；
步骤S3.2：拼接包含文本信息的图像特征序列
Figure 210100DEST_PATH_IMAGE016
和包含图像信息的文本特征序 列
Figure 74150DEST_PATH_IMAGE017
，得到多模态特征序列
Figure 622943DEST_PATH_IMAGE018
；
步骤S3.3：将多模态特征序列
Figure 914247DEST_PATH_IMAGE018
通过全连接层得到多模态特征预测值
Figure 915701DEST_PATH_IMAGE019
。
作为一种可选的实施方式，在本发明实施例第一方面中，所述步骤S4包括：
步骤S4.1：计算总预测值；
设置图像预测值
Figure 334176DEST_PATH_IMAGE003
的权重参数为
Figure 471896DEST_PATH_IMAGE020
，设置文本预测值
Figure 199680DEST_PATH_IMAGE008
的权重参数为
Figure 422851DEST_PATH_IMAGE021
；计算总 预测值
Figure 894284DEST_PATH_IMAGE022
；当新闻中只有图像时，所述总预测值
Figure 135778DEST_PATH_IMAGE023
；当新闻中只有文本时，所述总预测 值
Figure 34464DEST_PATH_IMAGE024
；当输入数据同时含有图像和文本时，所述总预测值
Figure 744931DEST_PATH_IMAGE025
。
作为一种可选的实施方式，在本发明实施例第一方面中，所述步骤S4还包括：
S4.2：计算分类；
根据S4.1得到的总预测值
Figure 754476DEST_PATH_IMAGE026
以0.5为分类阈值得到最终的分类
Figure 866788DEST_PATH_IMAGE027
；当
Figure 701756DEST_PATH_IMAGE028
大于等于 0.5时，新闻分类结果
Figure 633940DEST_PATH_IMAGE029
为虚假新闻，当
Figure 712754DEST_PATH_IMAGE026
小于0.5时，新闻分类结果
Figure 413994DEST_PATH_IMAGE030
为真实新闻。
作为一种可选的实施方式，在本发明实施例第一方面中，步骤S5.1：将图像特征序 列
Figure 920062DEST_PATH_IMAGE001
通过两个共享参数的全连接层，得到图像特征
Figure 588810DEST_PATH_IMAGE031
；将文本特征序列
Figure 940156DEST_PATH_IMAGE002
，通过两个共享 参数的全连接层，得到文本特征
Figure 27061DEST_PATH_IMAGE032
；
步骤S5.2：计算图像特征
Figure 438451DEST_PATH_IMAGE031
与文本特征
Figure 610806DEST_PATH_IMAGE032
之间的余弦相似度
Figure 516577DEST_PATH_IMAGE033
。
本发明实施例第二方面公开一种虚假新闻检测预测的装置，包括：
图像特征提取与检测模块：用于提取图像特征及对图像特征序列进行判别；
文本特征提取与检测模块：用于提取文本特征及对文本特征序列进行判别；
多模态对比学习模块：用于将图像特征序列和文本特征序列进行对比学习；
多模态特征融合与检测模块：用于融合图像特征序列和文本特征序列与对多模态特征序列进行判别；
后期融合模块：用于融合图像特征预测值、文本特征预测值和多模态特征预测值，输出检测结果。
本发明实施例第三方面公开一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面公开的虚假新闻检测方法。
本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的虚假新闻检测方法。
与现有技术相比，本发明实施例具有以下有益效果：
本发明通过图像特征提取模块和文本特征提取模块分别提取图像和文本中的特征，将得到的特征序列分别通过图像检测模块和文本检测模块得到图像和文本的预测值，这一部分对于新闻中只有单模态信息尤为重要。接下来进行多模态对比学习，将图像特征和文字特征序列通过多模态对比学习模块，对于真实新闻的图像和文本之间的相似度尽可能大，而虚假新闻的相似度尽可能小，这个过程可以指导图像和文本特征的学习，优化特征提取效果。再将两个特征信息通过多模态特征融合模块，通过特征融合得到多模态特征序列，使其作为多模态特征检测模块的输入，得到多模态信息的预测值。最后将图像预测值、文本预测值与多模态预测值通过后期融合模块进行加权平均，得到最终的预测值和预测标签。本发明既解决了包含图像文本的虚假新闻的预测，也能满足仅有图像或仅有文本的情况，得到较为完备的虚假新闻检测模型，进一步提高虚假新闻检测的效率与准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的虚假新闻检测方法的流程示意图；
图2为本发明的虚假新闻检测方法的总体框架示意图；
图3是本发明的虚假新闻检测方法的步骤S1的流程示意图；
图4是本发明的虚假新闻检测方法的步骤S2的流程示意图；
图5是本发明的图像特征提取与检测模块的流程示意图；
图6是本发明的文本特征提取与检测模块的流程示意图；
图7是本发明的虚假新闻检测方法的步骤S3的流程示意图；
图8是本发明的虚假新闻检测方法的步骤S4的流程示意图；
图9是本发明的多模态特征融合与检测模块的流程示意图；
图10是本发明的虚假新闻检测方法的步骤S5的流程示意图；
图11是本发明的多模态对比学习模块的流程示意图；
图12是本发明的一种虚假新闻检测装置的结构示意图；
图13是本发明提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，示例性地，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
请参阅图1-11，图1是本发明实施例公开的一种虚假新闻检测方法的流程示意图，该方法包括，
步骤S1：提取新闻中的图像和文本的特征，使用自注意力机制提取全局信息，形成 图像特征序列
Figure 192409DEST_PATH_IMAGE001
和文本特征序列
Figure 40279DEST_PATH_IMAGE002
；
步骤S2：对图像特征序列
Figure 168772DEST_PATH_IMAGE012
进行判别，得到图像预测值
Figure 376768DEST_PATH_IMAGE003
；对文本特征序列
Figure 172686DEST_PATH_IMAGE002
进行 判别，得到文本预测值
Figure 660299DEST_PATH_IMAGE004
。
步骤S3：采用交叉注意力机制融合图像特征序列
Figure 807247DEST_PATH_IMAGE012
和文本特征序列
Figure 304087DEST_PATH_IMAGE002
，得到多模 态特征序列；对多模态特征序列进行判别，得到多模态预测值
Figure 702314DEST_PATH_IMAGE034
。
步骤S3：融合图像特征预测值
Figure 891987DEST_PATH_IMAGE003
、文本特征预测值
Figure 995072DEST_PATH_IMAGE008
和多模态特征预测值
Figure 30024DEST_PATH_IMAGE035
，得 到最终的预测值
Figure 66113DEST_PATH_IMAGE010
，通过最终的预测值
Figure 410376DEST_PATH_IMAGE036
判断得到真实新闻与虚假新闻。
步骤S5：通过对图像特征序列
Figure 266336DEST_PATH_IMAGE012
与文本特征序列
Figure 104979DEST_PATH_IMAGE002
进行计算，得到相似度
Figure 995575DEST_PATH_IMAGE033
；对比 真实新闻与虚假新闻的相似度
Figure 261471DEST_PATH_IMAGE033
结果，优化特征提取参数。
本实施例的虚假新闻检测方法，通过分别提取图像和文本中的特征，将得到的图像特征序列和文本特征序列分别通过图像检测模块和文本检测模块得到图像和文本的预测值，这一部分对于新闻中只有单模态信息（即仅有图像或仅有文字的信息）的真实性的预测起到重要作用，可以提高单模态信息检测的效率与准确度。再将图像特征序列和文本特征序列通过多模态特征融合模块，通过特征融合得到多模态特征序列，得到多模态信息的预测值。最后将图像预测值、文本预测值与多模态预测值通过后期融合模块进行加权平均，得到最终的预测值和与检测结果，实现提高多模态信息（即同时包括图像与文字的信息）检测的准确度与效率的目的。在此基础上继续进行多模态对比学习，将图像特征和文字特征序列进行对比得到相似度，对于真实新闻的图像和文本之间的相似度尽可能大，而虚假新闻的相似度尽可能小，这个过程可以指导图像和文本特征的学习对特征提取进行优化。
具体的，步骤S1包括：
步骤S1.1：通过预训练的ResNet50深度神经网络提取新闻中图像的局部信息；
将新闻中的图像作为ResNet50深度神经网络的数据输入，通过ResNet50网络提取输入图像的特征得到下采样后的特征图。
步骤S1.2：通过多头注意力机制(Multi-Head Attention)提取新闻中图像的全局信息；
如图5所示，在特征图上引入多头注意力机制(Multi-Head Attention)，使其能够 提取全局信息，对特征图进行序列化，得到图像的特征序列
Figure 89881DEST_PATH_IMAGE001
。
Figure 732215DEST_PATH_IMAGE037
其中，
Figure 211738DEST_PATH_IMAGE001
代表序列化后的图像特征，
Figure 648535DEST_PATH_IMAGE038
分别代表序列化后的L个特征 图块经过多头注意力模块之后得到的L个特征。
步骤S1.3：对新闻中的文本进行词嵌入（Embedding Layer）；
如图6所示，将新闻中的文本单词通过预训练的Word2Vec算法进行向量化得到词向量，从而得到整个文本的向量序列。
步骤S1.4：通过LSTM(Long Short-Term Memory)长短期记忆网络提取文本信息；
如图6所示，将S1.3得到的文本向量序列输入到LSTM中提取文本信息。在LSTM模型内部中，通过门控状态来控制传输状态，记住需要长时间记忆的，忘记不重要的信息。本步骤起到初步提取文本信息的作用。
步骤S1.5：利用自注意力机制(Self-attention)提取信息。
如图6所示，当文本较长时，仅仅使用LSTM，对文本特征提取效果受限，使用自注意 力能更好地提取文本的上下文信息，得到文本的特征序列
Figure 479088DEST_PATH_IMAGE002
。
Figure 908801DEST_PATH_IMAGE039
其中，
Figure 508410DEST_PATH_IMAGE002
代表文本的特征序列，
Figure 116109DEST_PATH_IMAGE040
分别代表L个词向量通过LSTM以 及多头注意力模块之后得到的L个文本特征。
具体的，步骤S2包括：
步骤S2.1：通过全连接层（FC Layer）得到图像预测值；
如图5所示，将步骤S1.2得到的图像特征序列
Figure 168378DEST_PATH_IMAGE012
通过两个全连接层（FC Layer）得 到图像特征序列
Figure 418094DEST_PATH_IMAGE041
，然后通过最后一层全连接层（FC Layer）检测头得到预测值
Figure 360292DEST_PATH_IMAGE042
并将其 通过Sigmoid函数归一化到[0,1]之间，得到图像预测值
Figure 404472DEST_PATH_IMAGE043
。
Figure 944037DEST_PATH_IMAGE044
其中
Figure 731865DEST_PATH_IMAGE045
是图像全连接层（FC Layer）的权重，
Figure 40486DEST_PATH_IMAGE041
是步骤S1.2得到图像特征序列
Figure 504835DEST_PATH_IMAGE012
通过两个全连接层（FC Layer）之后的特征序列，
Figure 531696DEST_PATH_IMAGE046
是偏置项。
步骤S2.2：通过全连接层（FC Layer）得到文本的预测值；
如图6所示，将步骤S1.5得到的文本特征序列
Figure 592056DEST_PATH_IMAGE015
通过两个全连接层（FC Layer）得 到文本特征序列
Figure 755184DEST_PATH_IMAGE047
，然后通过最后一层全连接层（FC Layer）检测头得到预测值
Figure 406746DEST_PATH_IMAGE048
并将 其通过Sigmoid函数归一化到[0,1]之间，得到文本预测值
Figure 406057DEST_PATH_IMAGE049
。
Figure 535687DEST_PATH_IMAGE050
其中
Figure 818901DEST_PATH_IMAGE051
是文本全连接层（FC Layer）的权重，
Figure 110205DEST_PATH_IMAGE052
是步骤S1.5得到的文本特征序列
Figure 111659DEST_PATH_IMAGE015
通过两个全连接层（FC Layer）之后的特征序列，
Figure 28668DEST_PATH_IMAGE053
是偏置项。
具体的，步骤S3包括：
步骤S3.1：通过交叉自注意力机制(cross attention)融合多模态特征；
如图9所示，将步骤S1.2和步骤S1.5得到的图像特征序列
Figure 431967DEST_PATH_IMAGE001
和文本特征序列
Figure 894173DEST_PATH_IMAGE015
，通 过交叉自注意力机制(cross attention)融合图像特征序列
Figure 382923DEST_PATH_IMAGE001
和文本特征序列
Figure 588776DEST_PATH_IMAGE015
，得到包 含文本信息的图像特征序列
Figure 328806DEST_PATH_IMAGE054
和包含图像信息的文本特征序列
Figure 493071DEST_PATH_IMAGE055
。
步骤S3.2：拼接包含文本信息的图像特征序列
Figure 203538DEST_PATH_IMAGE056
和包含图像信息的文本特征序 列
Figure 213082DEST_PATH_IMAGE057
，得到多模态特征序列
Figure 325395DEST_PATH_IMAGE058
。
Figure 644250DEST_PATH_IMAGE059
步骤S3.3：通过全连接层（FC Layer）得到多模态特征预测值；
将多模态特征序列
Figure 842013DEST_PATH_IMAGE058
通过两层全连接层（FC Layer）得到多模态特征序列
Figure 389669DEST_PATH_IMAGE060
，然 后通过最后一层全连接层（FC Layer）检测头得到预测值
Figure 622067DEST_PATH_IMAGE061
并将其通过Sigmoid函数归 一化到[0,1]之间，得到多模态特征预测值
Figure 862555DEST_PATH_IMAGE062
。
Figure 298347DEST_PATH_IMAGE063
其中
Figure 649694DEST_PATH_IMAGE064
是最后一层全连接层（FC Layer）的权重；
Figure 736599DEST_PATH_IMAGE060
是将多模态特征序列
Figure 147988DEST_PATH_IMAGE065
通过 两层全连接层（FC Layer）得到多模态特征序列，
Figure 54765DEST_PATH_IMAGE066
是偏置项。
具体的，步骤S4包括：
步骤S4.1：计算总预测值；
设置图像预测值
Figure 459070DEST_PATH_IMAGE003
的权重参数为
Figure 400481DEST_PATH_IMAGE067
，设置文本预测值
Figure 248351DEST_PATH_IMAGE004
的权重参数为
Figure 642424DEST_PATH_IMAGE068
。计算总 预测值
Figure 601152DEST_PATH_IMAGE069
。
Figure 873434DEST_PATH_IMAGE070
当新闻中只有图像时，预测值为上式中的(2)，即
Figure 626627DEST_PATH_IMAGE071
；当新闻中只有文本时， 预测值为上式中的(3)，即
Figure 773574DEST_PATH_IMAGE072
；当输入数据同时含有图像和文本时，预测值为上式中 的(1)，即
Figure 270415DEST_PATH_IMAGE073
。
本实施例对于新闻的真实性的总预测值
Figure 186418DEST_PATH_IMAGE069
的计算充分考虑了不同输入数据的情 况，即可应对多种形式的新闻，分别是只有文本的新闻，只有图像的新闻以及既包含图像又 包含文本的新闻。
S4.2：计算分类
根据S4.1得到的总预测值
Figure 94200DEST_PATH_IMAGE069
以0.5为分类阈值得到最终的分类
Figure 728444DEST_PATH_IMAGE074
。当
Figure 763396DEST_PATH_IMAGE069
大于等于 0.5时，将该新闻归类为虚假新闻，当
Figure 533906DEST_PATH_IMAGE069
小于0.5时，将该新闻归类为真实新闻。
具体的，步骤S5包括：
步骤S5.1：通过共享连接层得到图像特征
Figure 628901DEST_PATH_IMAGE075
与文本特征
Figure 235594DEST_PATH_IMAGE076
；
如图11所示，将步骤S1.2得到的图像特征序列
Figure 339816DEST_PATH_IMAGE077
通过两个共享参数的全连接层 （FC Layer），得到图像特征
Figure 699253DEST_PATH_IMAGE078
；
将步骤S1.5得到的文本特征序列
Figure 230729DEST_PATH_IMAGE079
，通过两个共享参数的全连接层（FC Layer）， 得到文本特征
Figure 308406DEST_PATH_IMAGE080
。
Figure 200007DEST_PATH_IMAGE081
其中，
Figure 679530DEST_PATH_IMAGE082
代表两个全连接层（FC Layer）之后得到的图像特征，
Figure 116328DEST_PATH_IMAGE083
代表通过两个全 连接层（FC Layer）之后得到的文本特征。
Figure 946881DEST_PATH_IMAGE084
是步骤S1.2得到的图像特征序列，
Figure 127326DEST_PATH_IMAGE085
是步骤 S1.5得到的文本特征序列，
Figure 209158DEST_PATH_IMAGE086
是全连接层（FC Layer）的权重，b是偏置项。
步骤S5.2：计算图像特征
Figure 82436DEST_PATH_IMAGE087
与文本特征
Figure 134706DEST_PATH_IMAGE083
之间的余弦相似度
Figure 853263DEST_PATH_IMAGE088
；
通过余弦相似度
Figure 572958DEST_PATH_IMAGE088
计算图像特征
Figure 600825DEST_PATH_IMAGE087
和文本特征
Figure 405970DEST_PATH_IMAGE083
之间的相似度，正样本对之间 相似度应尽可能大，负样本对之间相似度应尽可能小，从而提高特征提取模块的提取效果， 计算公式如下：
Figure 928219DEST_PATH_IMAGE089
其中
Figure 502419DEST_PATH_IMAGE087
和
Figure 451921DEST_PATH_IMAGE083
分别代表图像特征和文本特征。通过这种对比学习的方法进一步对 特征提取参数进行优化，不断提高特征提取的准确性与效率。
实施例二
请参阅图12，图12是本发明实施例公开的虚假新闻检测的装置的结构示意图。如图12所示，该虚假新闻检测装置包括：图像特征提取与检测模块、文本特征提取与检测模块、多模态对比学习模块、多模态特征融合与检测模块、后期融合模块。
图像特征提取与检测模块：用于提取图像特征及对图像特征序列进行判别；
文本特征提取与检测模块：用于提取文本特征及对文本特征序列进行判别；
多模态对比学习模块：用于将图像特征序列和文本特征序列进行对比学习；
多模态特征融合与检测模块：用于融合图像特征序列和文本特征序列与对多模态特征序列进行判别；
后期融合模块：用于融合图像特征预测值、文本特征预测值和多模态特征预测值，输出最终的预测值结果。
本发明实施例的虚假新闻检测装置，通过图像特征提取模块和文本特征提取模块分别提取图像和文本中的特征，将得到的特征序列分别通过图像检测模块和文本检测模块得到图像和文本的预测值，这一部分对于新闻中只有单模态信息尤为重要。接下来进行多模态对比学习，将图像特征和文字特征序列通过多模态对比学习模块，对于真实新闻的图像和文本之间的相似度尽可能大，而虚假新闻的相似度尽可能小，这个过程可以指导图像和文本特征的学习。再将图像特征和文字特征信息通过多模态特征融合模块，通过特征融合得到多模态特征序列，使其作为多模态特征检测模块的输入，得到多模态信息的预测值。最后将图像预测值、文本预测值与多模态预测值通过后期融合模块进行加权平均，得到最终的预测值和预测标签。本实施例既解决了包含图像文本的虚假新闻的预测，也能满足仅有图像或仅有文本的情况，得到较为完备的虚假新闻检测装置。
实施例三
请参阅图13，图13是本发明实施例公开的一种电子设备的结构示意图。电子设备可以是计算机以及服务器等，当然，在一定情况下，还可以是手机、平板电脑以及监控终端等智能设备，以及具有处理功能的图像采集装置。如图13所示，该电子设备可以包括：
存储有可执行程序代码的存储器；
与存储器耦合的处理器；
其中，处理器调用存储器中存储的可执行程序代码，执行实施例一中的虚假新闻检测方法中的部分或全部步骤。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行实施例一中的虚假新闻检测方法中的部分或全部步骤。
本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的虚假新闻检测方法中的部分或全部步骤。
本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的虚假新闻检测方法中的部分或全部步骤。
在本发明的各种实施例中，应理解，所述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备（可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器）执行本发明的各个实施例所述方法的部分或全部步骤。
在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。
本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器（Read-Only Memory，ROM）、随机存储器（Random Access Memory，RAM）、可编程只读存储器（Programmable Read-only Memory，PROM）、可擦除可编程只读存储器（Erasable Programmable Read-Only Memory，EPROM）、一次可编程只读存储器（One-time Programmable Read-Only Memory，OTPROM）、电子抹除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（CompactDisc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的虚假新闻检测方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种虚假新闻检测方法，其特征在于，包括：
步骤S1：提取新闻中的图像和文本的特征，使用自注意力机制提取全局信息，形成图像 特征序列
Figure 884956DEST_PATH_IMAGE001
和文本特征序列
Figure 150853DEST_PATH_IMAGE002
；
步骤S2：对图像特征序列
Figure 982192DEST_PATH_IMAGE001
进行判别，得到图像预测值
Figure 624526DEST_PATH_IMAGE003
；对文本特征序列
Figure 104049DEST_PATH_IMAGE004
进行判 别，得到文本预测值
Figure 540846DEST_PATH_IMAGE005
；
步骤S3：采用交叉注意力机制融合图像特征序列
Figure 355088DEST_PATH_IMAGE001
和文本特征序列
Figure 269954DEST_PATH_IMAGE006
，得到多模态特 征序列
Figure 869563DEST_PATH_IMAGE007
；对多模态特征序列
Figure 477261DEST_PATH_IMAGE007
进行判别，得到多模态预测值
Figure 280263DEST_PATH_IMAGE008
；
步骤S4：融合图像特征预测值
Figure 998821DEST_PATH_IMAGE003
、文本特征预测值
Figure 718515DEST_PATH_IMAGE005
和多模态特征预测值
Figure 231536DEST_PATH_IMAGE009
，得到最 终的预测值
Figure 36681DEST_PATH_IMAGE010
，通过最终的预测值
Figure 808197DEST_PATH_IMAGE011
判断得到真实新闻与虚假新闻；
步骤S5：通过对图像特征序列
Figure 116818DEST_PATH_IMAGE001
与文本特征序列
Figure 66320DEST_PATH_IMAGE006
进行计算，得到相似度
Figure 827602DEST_PATH_IMAGE012
；对比真实 新闻与虚假新闻的相似度
Figure 901344DEST_PATH_IMAGE013
结果，优化特征提取参数。
2.如权利要求1所述的虚假新闻检测方法，其特征在于，所述步骤S1包括：
步骤S1.1：通过预训练的ResNet50深度神经网络提取新闻中图像的局部信息；
步骤S1.2：通过多头注意力机制提取新闻中图像的全局信息，得到图像的特征序列
Figure 64472DEST_PATH_IMAGE001
；
步骤S1.3：对新闻中的文本进行词嵌入；
步骤S1.4：通过LSTM长短期记忆网络提取新闻文本的信息；
步骤S1.5：利用自注意力机制提取新闻文本的信息，得到文本的特征序列
Figure 450454DEST_PATH_IMAGE004
。
3.如权利要求2所述的虚假新闻检测方法，其特征在于，所述步骤S2包括：
步骤S2.1：将图像的特征序列
Figure 964612DEST_PATH_IMAGE001
通过全连接层得到图像预测值
Figure 94242DEST_PATH_IMAGE003
；
步骤S2.2：将文本的特征序列
Figure 361144DEST_PATH_IMAGE014
通过全连接层得到文本的预测值
Figure 918028DEST_PATH_IMAGE005
。
4.如权利要求3所述的虚假新闻检测方法，其特征在于，所述步骤S3包括：
步骤S3.1：将图像特征序列
Figure 653903DEST_PATH_IMAGE001
和文本特征序列
Figure 321644DEST_PATH_IMAGE006
通过交叉自注意力机制进行融合，得 到包含文本信息的图像特征序列
Figure 210097DEST_PATH_IMAGE015
和包含图像信息的文本特征序列
Figure 203461DEST_PATH_IMAGE016
；
步骤S3.2：拼接包含文本信息的图像特征序列
Figure 161053DEST_PATH_IMAGE017
和包含图像信息的文本特征序列
Figure 632485DEST_PATH_IMAGE016
， 得到多模态特征序列
Figure 624712DEST_PATH_IMAGE018
；
步骤S3.3：将多模态特征序列
Figure 772665DEST_PATH_IMAGE019
通过全连接层得到多模态特征预测值
Figure 483132DEST_PATH_IMAGE009
。
5.如权利要求4所述的虚假新闻检测方法，其特征在于，所述步骤S4包括：
步骤S4.1：计算总预测值；
设置图像预测值
Figure 758256DEST_PATH_IMAGE003
的权重参数为
Figure 604989DEST_PATH_IMAGE020
，设置文本预测值
Figure 674576DEST_PATH_IMAGE021
的权重参数为
Figure 637720DEST_PATH_IMAGE022
；计算总预测 值
Figure 450956DEST_PATH_IMAGE023
；当新闻中只有图像时，所述总预测值
Figure 683354DEST_PATH_IMAGE024
；当新闻中只有文本时，所述总预测值
Figure 658263DEST_PATH_IMAGE025
；当输入数据同时含有图像和文本时，所述总预测值
Figure 343322DEST_PATH_IMAGE026
。
6.如权利要求5所述的虚假新闻检测方法，其特征在于，所述步骤S4还包括：
S4.2：计算分类；
根据S4.1得到的总预测值
Figure 209516DEST_PATH_IMAGE027
以0.5为分类阈值得到最终的分类
Figure 30842DEST_PATH_IMAGE028
；当
Figure 176652DEST_PATH_IMAGE027
大于等于0.5时， 新闻分类结果
Figure 349007DEST_PATH_IMAGE029
为虚假新闻，当
Figure 504045DEST_PATH_IMAGE027
小于0.5时，新闻分类结果
Figure 196189DEST_PATH_IMAGE028
为真实新闻。
7.如权利要求2所述的虚假新闻检测方法，其特征在于，所述步骤S5包括：
步骤S5.1：将图像特征序列
Figure 778480DEST_PATH_IMAGE001
通过两个共享参数的全连接层，得到图像特征
Figure 438131DEST_PATH_IMAGE030
；将文 本特征序列
Figure 131281DEST_PATH_IMAGE004
，通过两个共享参数的全连接层，得到文本特征
Figure 927199DEST_PATH_IMAGE031
；
步骤S5.2：计算图像特征
Figure 195238DEST_PATH_IMAGE032
与文本特征
Figure 811027DEST_PATH_IMAGE033
之间的余弦相似度
Figure 573447DEST_PATH_IMAGE034
。
8.一种虚假新闻检测预测的装置，其特征在于，包括：
图像特征提取与检测模块：用于提取图像特征及对图像特征序列进行判别；
文本特征提取与检测模块：用于提取文本特征及对文本特征序列进行判别；
多模态对比学习模块：用于将图像特征序列和文本特征序列进行对比学习；
多模态特征融合与检测模块：用于融合图像特征序列和文本特征序列与对多模态特征序列进行判别；
后期融合模块：用于融合图像特征预测值、文本特征预测值和多模态特征预测值，输出检测结果。
9.一种电子设备，其特征在于，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至7任一项所述的虚假新闻检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至7任一项所述的虚假新闻检测方法。
CN202211372839.9A 2022-11-04 2022-11-04 一种虚假新闻检测方法、装置、电子设备及存储介质 Pending CN115423050A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211372839.9A CN115423050A (zh) 2022-11-04 2022-11-04 一种虚假新闻检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211372839.9A CN115423050A (zh) 2022-11-04 2022-11-04 一种虚假新闻检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115423050A true CN115423050A (zh) 2022-12-02

Family

ID=84207552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211372839.9A Pending CN115423050A (zh) 2022-11-04 2022-11-04 一种虚假新闻检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115423050A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377990A (zh) * 2021-06-09 2021-09-10 电子科技大学 基于元自步学习的视频/图片-文本跨模态匹配训练方法
CN113469214A (zh) * 2021-05-20 2021-10-01 中国科学院自动化研究所 虚假新闻检测方法、装置、电子设备和存储介质
CN113822340A (zh) * 2021-08-27 2021-12-21 北京工业大学 一种基于注意力机制的图文情感识别方法
US11244119B1 (en) * 2021-01-04 2022-02-08 Institute Of Automation, Chinese Academy Of Sciences Multi-modal lie detection method and apparatus, and device
CN114662497A (zh) * 2022-02-24 2022-06-24 郑州大学 一种基于协同神经网络的虚假新闻检测方法
CN114782670A (zh) * 2022-05-11 2022-07-22 中航信移动科技有限公司 一种多模态敏感信息鉴别方法、设备及介质
CN114998809A (zh) * 2022-06-29 2022-09-02 齐鲁工业大学 一种基于albert和多模态循环融合的虚假新闻检测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11244119B1 (en) * 2021-01-04 2022-02-08 Institute Of Automation, Chinese Academy Of Sciences Multi-modal lie detection method and apparatus, and device
CN113469214A (zh) * 2021-05-20 2021-10-01 中国科学院自动化研究所 虚假新闻检测方法、装置、电子设备和存储介质
CN113377990A (zh) * 2021-06-09 2021-09-10 电子科技大学 基于元自步学习的视频/图片-文本跨模态匹配训练方法
CN113822340A (zh) * 2021-08-27 2021-12-21 北京工业大学 一种基于注意力机制的图文情感识别方法
CN114662497A (zh) * 2022-02-24 2022-06-24 郑州大学 一种基于协同神经网络的虚假新闻检测方法
CN114782670A (zh) * 2022-05-11 2022-07-22 中航信移动科技有限公司 一种多模态敏感信息鉴别方法、设备及介质
CN114998809A (zh) * 2022-06-29 2022-09-02 齐鲁工业大学 一种基于albert和多模态循环融合的虚假新闻检测方法及系统

Similar Documents

Publication Publication Date Title
CN111709408B (zh) 图像真伪检测方法和装置
CN105426356B (zh) 一种目标信息识别方法和装置
Shad et al. [Retracted] Comparative Analysis of Deepfake Image Detection Method Using Convolutional Neural Network
EP3872652B1 (en) Method and apparatus for processing video, electronic device, medium and product
JP2022521038A (ja) 顔認識方法、ニューラルネットワークのトレーニング方法、装置及び電子機器
CN112699297A (zh) 基于用户画像的服务推荐方法、装置、设备及存储介质
CN112468659A (zh) 应用于电话客服的质量评价方法、装置、设备及存储介质
CN113469214A (zh) 虚假新闻检测方法、装置、电子设备和存储介质
CN113282754A (zh) 针对新闻事件的舆情检测方法、装置、设备和存储介质
CN114448664B (zh) 钓鱼网页的识别方法、装置、计算机设备及存储介质
CN114282258A (zh) 截屏数据脱敏方法、装置、计算机设备及存储介质
CN117349402A (zh) 一种基于机器阅读理解的情绪原因对识别方法及系统
CN116665093A (zh) 一种解决特征中和效应的多模态虚假新闻检测方法及装置
CN114399816B (zh) 社区火灾风险感知方法及装置
CN115525781A (zh) 多模态虚假信息检测方法、装置和设备
CN115423050A (zh) 一种虚假新闻检测方法、装置、电子设备及存储介质
CN116958615A (zh) 图片识别方法、装置、设备和介质
CN113449506A (zh) 一种数据检测方法、装置、设备及可读存储介质
CN116092094A (zh) 图像文本识别方法、装置、计算机可读介质及电子设备
CN113836297A (zh) 文本情感分析模型的训练方法及装置
CN113794624B (zh) 即时消息传输控制方法、装置、计算机设备及存储介质
CN116775980B (zh) 一种跨模态搜索方法及相关设备
CN115186775B (zh) 一种图像描述文字的匹配度检测方法、装置及电子设备
CN118133231B (zh) 一种多模态数据处理方法和处理系统
CN117112795A (zh) 标识名称识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination