CN116665093A - 一种解决特征中和效应的多模态虚假新闻检测方法及装置 - Google Patents
一种解决特征中和效应的多模态虚假新闻检测方法及装置 Download PDFInfo
- Publication number
- CN116665093A CN116665093A CN202310563249.2A CN202310563249A CN116665093A CN 116665093 A CN116665093 A CN 116665093A CN 202310563249 A CN202310563249 A CN 202310563249A CN 116665093 A CN116665093 A CN 116665093A
- Authority
- CN
- China
- Prior art keywords
- mode
- authenticity
- feature
- modal
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 230000000694 effects Effects 0.000 title claims abstract description 23
- 238000006386 neutralization reaction Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000013136 deep learning model Methods 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/43—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of news video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种解决特征中和效应的多模态虚假新闻检测方法及装置,所述方法包括:对于多模态虚假新闻检测任务,给定训练数据集;所述训练数据集包括多组图像模态和文本模态的内容;使用深度学习模型对图像模态和文本模态的内容进行特征提取,并映射到同一特征空间,得到每组中图像模态和文本模态的深层特征,形成特征对;获取两个模态对应的单模态真实性预测结果;对于每个特征对,结合单模态真实性预测结果,将特征对融合为一个多模态特征;对多模态特征的真实性进行预测。本发明能够解决多模态特征融合导致的中和效应问题,提高虚假新闻检测的准确率。
Description
技术领域
本发明涉及信息技术领域,尤其涉及一种解决特征中和效应的多模态虚假新闻检测方法及装置。
背景技术
现有的虚假新闻的检测方法大多使用新闻文本内容进行检测,利用先进的人工智能技术从训练数据中学习内容模式和传播模式。而社交平台上的新闻大多不只包含文本内容,而是存在文本、图片、视频等多模态内容。人工智能领域也开始逐渐关注于多模态的虚假新闻检测任务,对不同模态的内容分别编码并映射到相同的特征空间,再使用特定的融合模块将多个模态的特征进行融合,最终进行分类。
最新的多模态虚假新闻检测模型为CAFE[Chen Y,Li D,Zhang P,et al.Cross-modal ambiguity learning for multimodal fake news detection[C]//Proceedingsof the ACM Web Conference 2022.2022:2897-2905],它分别使用预训练的ResNet网络结构和BERT模型对图像和文本进行特征抽取,使用多层神经网络将二者的特征映射到同一空间并拼接后进行最终的真实性分类。这个模型的新颖性在于建模模态之间的不一致性来帮助上述的特征拼接操作。具体地,它使用变分编码器将每个模态的特征映射为一个高斯分布,再使用Kullback-Leibler散度计算分布之间的距离,以此建模出他们的不一致性。
将多模态新闻的特征进行融合是多模态虚假新闻检测方法的关键步骤,而现存的检测方法仅考虑单模态的特征拼接,从而导致了中和效应的问题。具体而言,中和效应是由不同模态之间的真实性的矛盾而产生的。即每个模态(如图像和文本)的真实性总是有真有假,而实际情况中,如果一条多模态的新闻中存在一个模态为假的情况,那这条新闻的真实性一定为假。正是因为这一现象,当出现一条新闻,它的两个模态一真一假时,通过像其他方法一样简单的特征拼接方法就会造成两个模态真实性的中和,从而造成错误的预测。如图1所示,为中和效应的形式描述。
发明内容
针对上述问题,本发明的目的在于提供一种解决特征中和效应的多模态虚假新闻检测方法及装置,以解决现有技术中存在的多模态特征融合导致的中和效应问题。
为解决上述技术问题,本发明提供如下技术方案:
一方面,提供了一种解决特征中和效应的多模态虚假新闻检测方法,包括以下步骤:
S1,对于多模态虚假新闻检测任务,给定训练数据集;所述训练数据集包括多组图像模态和文本模态的内容;
S2,使用深度学习模型对图像模态和文本模态的内容进行特征提取,并映射到同一特征空间,得到每组中图像模态和文本模态的深层特征,形成特征对;
S3,获取两个模态对应的单模态真实性预测结果;
S4,对于每个特征对,结合单模态真实性预测结果,将特征对融合为一个多模态特征;
S5,对多模态特征的真实性进行预测。
优选地,所述步骤S1中,训练数据集为其中/>为图像模态和文本模态的内容,yi∈{0,1}为新闻对应的真实性标签,0表示虚假,1表示真实。
优选地,所述步骤S2中,对于每张图片深层特征为/>对于每个文本深层特征为/>形成特征对为/>
其中和/>分别表示基于深度学习模型的图像编码器和文本编码器及其对齐操作。
优选地,所述步骤S3中,将单模态真实性分类的问题转化为PU学习问题;当一条新闻为真时,它的两个单模态真实性一定都为真,基于这个事实,将初始的训练数据集转化为积极的单模态数据集/>和无标注的单模态数据集其中M表示训练数据集中真实性标签为真的样本数;
在这两个数据集的基础上,将单模态真实性分类问题转化为PU学习问题,变分PU学习方法从数据集/>中随机地采样一个批次/>其中/>由积极子集/>和无标注子集/>该部分的深度学习目标函数为:
其中表示基于前向传播网络的单模态真实性分类操作,用于预测zI和zT单模态的真实性,即真实或虚假;log(·)表示以自然常数e为底的对数;
由于zI和zT来自于不同的模态数据,为了确保使用同一套框架进行计算,基于对比学习技术提出模态对齐的目标函数:
其中τ为温度系数,cos(·,·)为余弦相似度,exp(·)表示以自然常数e为底的指数;结合以上两个公式,单模态真实性分类器的训练目标函数如下:
其中γ为权衡系数,至此,获得两个模态对应的单模态真实性预测结果和/>
优选地,所述步骤S4中,将单模态真实性预测结果和/>与单模态特征/>进行整合,得到多模态特征/> 表示多模态特征融合操作。
优选地,所述步骤S5中,构建多模态真实性分类器来预测多模态特征的真实性 表示多模态真实性分类操作;多模态真实性分类器的监督学习目标函数为:
lCE(·,·)表示标准的交叉熵损失函数;结合监督学习目标函数和最终的目标函数为:
其中λ为权衡超参数。
另一方面,提供了一种解决特征中和效应的多模态虚假新闻检测装置,包括:
训练数据集设定模块,对于多模态虚假新闻检测任务,给定训练数据集;所述训练数据集包括多组图像模态和文本模态的内容;
单模态特征抽取模块,使用深度学习模型对图像模态和文本模态的内容进行特征提取,并映射到同一特征空间,得到每组中图像模态和文本模态的深层特征,形成特征对;
单模态真实性分类器,获取两个模态对应的单模态真实性预测结果;
多模态特征融合模块,对于每个特征对,结合单模态真实性预测结果,将特征对融合为一个多模态特征;
多模态真实性分类器,对多模态特征的真实性进行预测。
另一方面,提供了一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现上述多模态虚假新闻检测方法。
另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现上述多模态虚假新闻检测方法。
与现有技术相比,本发明提供的技术方案具有以下有益效果:
本发明针对现有的多模态虚假新闻检测方法中存在的中和效应问题,提出了一种新的多模态虚假新闻检测方法,通过设计单模态真实性分类器,并将其转化为PU学习问题进行训练,使用辅助的单模态真实性预测来完成多模态特征融合,从而解决中和效应问题,提高虚假新闻识别检测的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是中和效应的形式描述示意图;
图2是本发明实施例提供的多模态虚假新闻检测方法的流程图;
图3是本发明实施例提供的多模态虚假新闻检测方法的原理示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的实施例提供了一种解决特征中和效应的多模态虚假新闻检测方法,图2是所述多模态虚假新闻检测方法的流程图,图3是所述多模态虚假新闻检测方法的原理示意图。结合图2和图3,所述方法包括以下步骤:
S1,对于多模态虚假新闻检测任务,给定训练数据集;所述训练数据集包括多组图像模态和文本模态的内容。
其中,训练数据集为其中/>为图像模态和文本模态的内容,yi∈{0,1}为新闻对应的真实性标签,0表示虚假,1表示真实。给定这样一个训练数据集,虚假新闻检测器的目标是对于新的新闻给出准确的真实性预测。
S2,使用深度学习模型对图像模态和文本模态的内容进行特征提取,并映射到同一特征空间,得到每组中图像模态和文本模态的深层特征,形成特征对。
其中,对于每张图片深层特征为/>对于每个文本/>深层特征为形成特征对为/> 和/>分别表示图3所示的基于深度学习模型的图像编码器和文本编码器及其对齐操作。
S3,获取两个模态对应的单模态真实性预测结果。
对于每个特征对通常需要将他们融合为一个多模态的特征/>然而,如果像其他的工作一样直接进行特征拼接将导致上文提到的中和效应问题。因此,本发明使用两个模态对应的单模态真实性预测结果/>和/>参与融合过程,其中/>和/>表示两个模态的真实性被预测为真实的概率。
为了使这些单模态预测更加准确,本发明将单模态真实性分类的问题转化为positive and unlabeled(PU)学习问题。具体地,当一条新闻为真时,它的两个单模态真实性一定都为真,基于这个事实,将初始的训练数据集转化为积极的单模态数据集和无标注的单模态数据集/>其中M表示训练数据集中真实性标签为真的样本数;
在这两个数据集的基础上,将单模态真实性分类问题转化为PU学习问题,变分PU学习方法从数据集/>中随机地采样一个批次/>其中/>由积极子集/>和无标注子集/>该部分的深度学习目标函数为:
其中表示图3所示的基于前向传播网络的单模态真实性分类器所实现的单模态真实性分类操作,用于预测zI和zT单模态的真实性,即真实或虚假;1og(·)表示以自然常数e为底的对数。
由于zI和zT来自于不同的模态数据,为了确保它们能使用同一套框架进行计算,本发明基于对比学习技术提出模态对齐的目标函数:
其中τ为温度系数,cos(·,·)为余弦相似度,exp(·)表示以自然常数e为底的指数;结合以上两个公式,单模态真实性分类器的训练目标函数如下:
其中γ为权衡系数,至此,获得两个模态对应的单模态真实性预测结果和/>
S4,对于每个特征对,结合单模态真实性预测结果,将特征对融合为一个多模态特征。
经过上述步骤,已经获得了每个模态的单模态真实性预测结果和/>将单模态真实性预测结果/>和/>与单模态特征/>进行整合,得到多模态特征 表示图3所示的多模态特征融合模块所实现的多模态特征融合操作。
S5,对多模态特征的真实性进行预测。
最终,构建一个多模态真实性分类器来预测多模态特征的真实性 表示图3所示的多模态真实性分类器所实现的多模态真实性分类操作。
多模态真实性分类器的监督学习目标函数为:
lCE(·,·)表示标准的交叉熵损失函数。结合监督学习目标函数和最终本发明提出的目标函数为:
其中λ为权衡超参数。
本发明针对现有的多模态虚假新闻检测方法中存在的中和效应问题,提出了一种新的多模态虚假新闻检测方法,通过设计单模态真实性分类器,并将其转化为PU学习问题进行训练,使用辅助的单模态真实性预测来完成多模态特征融合,从而解决中和效应问题,提高虚假新闻识别检测的准确率。
利用本发明提出的方法在现有数据集上的虚假新闻识别准确率能达到93.4%,超过了准确率为84.0%的最新的检测模型CAFE。
相应地,本发明的实施例还提供了一种多模态虚假新闻检测装置,所述装置包括:
训练数据集设定模块,对于多模态虚假新闻检测任务,给定训练数据集;所述训练数据集包括多组图像模态和文本模态的内容;
单模态特征抽取模块,使用深度学习模型对图像模态和文本模态的内容进行特征提取,并映射到同一特征空间,得到每组中图像模态和文本模态的深层特征,形成特征对;
单模态真实性分类器,获取两个模态对应的单模态真实性预测结果;
多模态特征融合模块,对于每个特征对,结合单模态真实性预测结果,将特征对融合为一个多模态特征;
多模态真实性分类器,对多模态特征的真实性进行预测。
本实施例的装置,可以用于执行图2和图3所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本发明的实施例还提供一种电子设备,该电子设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)和一个或一个以上的存储器,其中,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现上述多模态虚假新闻检测方法的步骤。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由终端中的处理器执行以完成上述多模态虚假新闻检测方法。例如,所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
在说明书中提到“一个实施例”、“实施例”、“示例性实施例”、“一些实施例”等指示所述的实施例可以包括特定特征、结构或特性,但未必每个实施例都包括该特定特征、结构或特性。另外,在结合实施例描述特定特征、结构或特性时,结合其它实施例(无论是否明确描述)实现这种特征、结构或特性应在相关领域技术人员的知识范围内。
本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解,在以下本发明优选实施例中详细说明了具体的细节,而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。另外,为了避免对本发明的实质造成不必要的混淆,并没有详细说明众所周知的方法、过程、流程、元件和电路等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读取存储介质中,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种解决特征中和效应的多模态虚假新闻检测方法,其特征在于,包括以下步骤:
S1,对于多模态虚假新闻检测任务,给定训练数据集;所述训练数据集包括多组图像模态和文本模态的内容;
S2,使用深度学习模型对图像模态和文本模态的内容进行特征提取,并映射到同一特征空间,得到每组中图像模态和文本模态的深层特征,形成特征对;
S3,获取两个模态对应的单模态真实性预测结果;
S4,对于每个特征对,结合单模态真实性预测结果,将特征对融合为一个多模态特征;
S5,对多模态特征的真实性进行预测。
2.根据权利要求1所述的多模态虚假新闻检测方法,其特征在于,所述步骤S1中,训练数据集为其中/>为图像模态和文本模态的内容,yi∈{0,1}为新闻对应的真实性标签,0表示虚假,1表示真实。
3.根据权利要求2所述的多模态虚假新闻检测方法,其特征在于,所述步骤S2中,对于每张图片深层特征为/>对于每个文本/>深层特征为/>形成特征对为/>
其中和/>分别表示基于深度学习模型的图像编码器和文本编码器及其对齐操作。
4.根据权利要求3所述的多模态虚假新闻检测方法,其特征在于,所述步骤S3中,将单模态真实性分类的问题转化为PU学习问题;当一条新闻为真时,它的两个单模态真实性一定都为真,基于这个事实,将初始的训练数据集转化为积极的单模态数据集和无标注的单模态数据集/>其中M表示训练数据集中真实性标签为真的样本数;
在这两个数据集的基础上,将单模态真实性分类问题转化为PU学习问题,变分PU学习方法从数据集/>中随机地采样一个批次/>其中/>由积极子集/>和无标注子集该部分的深度学习目标函数为:
其中表示基于前向传播网络的单模态真实性分类操作,用于预测zI和zT单模态的真实性,即真实或虚假;log(·)表示以自然常数e为底的对数;
由于zI和zT来自于不同的模态数据,为了确保使用同一套框架进行计算,基于对比学习技术提出模态对齐的目标函数:
其中τ为温度系数,cos(·,·)为余弦相似度,exp(·)表示以自然常数e为底的指数;结合以上两个公式,单模态真实性分类器的训练目标函数如下:
其中γ为权衡系数,至此,获得两个模态对应的单模态真实性预测结果和/>
5.根据权利要求4所述的多模态虚假新闻检测方法,其特征在于,所述步骤S4中,将单模态真实性预测结果和/>与单模态特征/>进行整合,得到多模态特征/>fwM(·)表示多模态特征融合操作。
6.根据权利要求5所述的多模态虚假新闻检测方法,其特征在于,所述步骤S5中,构建多模态真实性分类器来预测多模态特征的真实性fwc(·)表示多模态真实性分类操作;多模态真实性分类器的监督学习目标函数为:
lCE(·,·)表示标准的交叉熵损失函数;结合监督学习目标函数和最终的目标函数为:
其中λ为权衡超参数。
7.一种解决特征中和效应的多模态虚假新闻检测装置,其特征在于,包括:
训练数据集设定模块,对于多模态虚假新闻检测任务,给定训练数据集;所述训练数据集包括多组图像模态和文本模态的内容;
单模态特征抽取模块,使用深度学习模型对图像模态和文本模态的内容进行特征提取,并映射到同一特征空间,得到每组中图像模态和文本模态的深层特征,形成特征对;
单模态真实性分类器,获取两个模态对应的单模态真实性预测结果;
多模态特征融合模块,对于每个特征对,结合单模态真实性预测结果,将特征对融合为一个多模态特征;
多模态真实性分类器,对多模态特征的真实性进行预测。
8.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如权利要求1-6任一项所述的多模态虚假新闻检测方法。
9.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如权利要求1-6中任一项所述的多模态虚假新闻检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310563249.2A CN116665093A (zh) | 2023-05-18 | 2023-05-18 | 一种解决特征中和效应的多模态虚假新闻检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310563249.2A CN116665093A (zh) | 2023-05-18 | 2023-05-18 | 一种解决特征中和效应的多模态虚假新闻检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116665093A true CN116665093A (zh) | 2023-08-29 |
Family
ID=87727141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310563249.2A Pending CN116665093A (zh) | 2023-05-18 | 2023-05-18 | 一种解决特征中和效应的多模态虚假新闻检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116665093A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117370679A (zh) * | 2023-12-06 | 2024-01-09 | 之江实验室 | 一种多模态双向蕴含社交网络虚假消息验证的方法及装置 |
-
2023
- 2023-05-18 CN CN202310563249.2A patent/CN116665093A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117370679A (zh) * | 2023-12-06 | 2024-01-09 | 之江实验室 | 一种多模态双向蕴含社交网络虚假消息验证的方法及装置 |
CN117370679B (zh) * | 2023-12-06 | 2024-03-26 | 之江实验室 | 一种多模态双向蕴含社交网络虚假消息验证的方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112863683B (zh) | 基于人工智能的病历质控方法、装置、计算机设备及存储介质 | |
CN110234018B (zh) | 多媒体内容描述生成方法、训练方法、装置、设备及介质 | |
CN112559800B (zh) | 用于处理视频的方法、装置、电子设备、介质和产品 | |
CN114942984B (zh) | 视觉场景文本融合模型的预训练和图文检索方法及装置 | |
CN104679818A (zh) | 一种视频关键帧提取方法及系统 | |
WO2023179429A1 (zh) | 一种视频数据的处理方法、装置、电子设备及存储介质 | |
CN114821401A (zh) | 视频审核方法、装置、设备、存储介质及程序产品 | |
CN113515669A (zh) | 基于人工智能的数据处理方法和相关设备 | |
CN116665093A (zh) | 一种解决特征中和效应的多模态虚假新闻检测方法及装置 | |
CN114299321A (zh) | 视频分类方法、装置、设备及可读存储介质 | |
CN115761839A (zh) | 人脸活体检测模型的训练方法、人脸活体检测方法及装置 | |
CN112508048A (zh) | 图像描述的生成方法和装置 | |
CN115775349A (zh) | 基于多模态融合的假新闻检测方法和装置 | |
CN113128526B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
CN110852071A (zh) | 知识点检测方法、装置、设备及可读存储介质 | |
CN113408282A (zh) | 主题模型训练和主题预测方法、装置、设备及存储介质 | |
CN116958590A (zh) | 媒体资源的处理方法和装置、存储介质及电子设备 | |
CN116450829A (zh) | 医疗文本分类方法、装置、设备及介质 | |
CN115497105A (zh) | 基于多任务学习网络的多模态仇恨模因检测方法 | |
CN112507912B (zh) | 一种识别违规图片的方法及装置 | |
CN114998809A (zh) | 一种基于albert和多模态循环融合的虚假新闻检测方法及系统 | |
CN114708429A (zh) | 图像处理方法、装置、计算机设备及计算机可读存储介质 | |
CN114579876A (zh) | 虚假信息检测方法、装置、设备及介质 | |
CN114329064A (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
CN114282049A (zh) | 一种视频检索方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |