CN114998809A - 一种基于albert和多模态循环融合的虚假新闻检测方法及系统 - Google Patents

一种基于albert和多模态循环融合的虚假新闻检测方法及系统 Download PDF

Info

Publication number
CN114998809A
CN114998809A CN202210752216.8A CN202210752216A CN114998809A CN 114998809 A CN114998809 A CN 114998809A CN 202210752216 A CN202210752216 A CN 202210752216A CN 114998809 A CN114998809 A CN 114998809A
Authority
CN
China
Prior art keywords
news
features
modal
false
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210752216.8A
Other languages
English (en)
Inventor
王新刚
李晓敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202210752216.8A priority Critical patent/CN114998809A/zh
Publication of CN114998809A publication Critical patent/CN114998809A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/43—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of news video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开属于计算机视觉和虚假新闻检测技术领域，具体涉及一种基于ALBERT和多模态循环融合的虚假新闻检测方法及系统，包括：提取待检测新闻的文本特征和图像特征，其中，在文本特征提取的过程中采用ALBERT模型；基于多模态融合技术融合所提取到的文本特征和图像特征，得到多模态特征；根据所得到的多模态特征和预设的虚假新闻检测器，识别区分新闻的真假。

Description

一种基于ALBERT和多模态循环融合的虚假新闻检测方法及 系统
技术领域
本公开属于多模态融合和虚假新闻检测技术领域，具体涉及一种基于ALBERT和多模态循环融合的虚假新闻检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
近年来以社交网络为代表的互联网技术迅猛发展，越来越多的人通过社交媒体获取新闻，社交媒体可以及时、全面地提供世界各地正在发生的事情。与此同时，虚假新闻铺天盖地，而且极具迷惑性。各种不法分子利用各种社交平台发布虚假消息，进行各种违法犯罪活动，给社会稳定带来了严重的影响。
据发明人了解，结合文本和图片的多模态虚假新闻信息比纯文本的有着更好地表述能力，所以更具有欺骗性，也更容易被恶意传播。当前的虚假新闻检测面临着以下两大挑战：
(1)传统的BERT预训练模型在提取文本特征的过程中所需参数较多且训练速度较慢，无法更好地提取新闻文本的语义信息；
(2)视觉特征与文本特征处于不同的语义特征空间，存在异构性，目前的多模态方式仅仅是将文本和图像的特征作一个简单的拼接融合操作，所得到的多模态特征不足以表达多模态数据之间的互补性，且存在着一定的冗余信息，进而影响检测性能。
发明内容
为了解决上述问题，本公开提出了一种基于ALBERT和多模态循环融合的虚假新闻检测方法及系统，采用了ALBERT预训练模型提取文本特征，同时用VGG-19模型提取视觉特征，再通过多模态循环融合(MCF)技术，将文本和视觉特征进行融合形成多模态特征，基于MCF技术有效避免了参数的增加、节约了计算成本，从整体上提升了多模态融合水平，在域分类器的作用下移除新闻事件的特定特征，保留事件之间可共享的特征，从而对新出现的事件做出有效识别；最后，将多模态特征输入到虚假新闻检测器中进行新闻真假的区分检测。
根据一些实施例，本公开的第一方案提供了一种基于ALBERT和多模态循环融合的虚假新闻检测方法，采用如下技术方案：
一种基于ALBERT和多模态循环融合的虚假新闻检测方法，包括：
提取待检测新闻的文本特征和图像特征，其中，在文本特征提取的过程中采用ALBERT模型；
基于多模态融合技术融合所提取到的文本特征和图像特征，得到多模态特征；
根据所得到的多模态特征和预设的虚假新闻检测器，识别区分新闻的真假。
作为进一步的技术限定，在提取待检测新闻的图像特征的过程中，采用VGG-19网络；通过在所述VGG-19网络的最后一层添加全连接层，以保证所提取到的图像特征与所提取到的文本特征维度相同。
作为进一步的技术限定，将待检测新闻中的单词序列嵌入到向量中，得到嵌入向量；将所得到的嵌入向量输入到所述ALBERT模型中，得到特征向量；根据所得到的特征向量、均池操作和待检测新闻中的所有单词的重要性，得到文本特征。
进一步的，采用多模态融合实现所述文本特征和图像特征的融合，将所得到的特征向量重塑为循环矩阵，通过交互操作完成多模态融合。
作为进一步的技术限定，所述虚假新闻检测器以多模态特征作为输入，输出检测概率，识别待检测新闻的真假。
作为进一步的技术限定，根据虚假新闻检测器所输入的多模态特征，识别待检测新闻的所属事件类别，在域分类器的作用下移除待检测新闻的特定特征，保留公共子空间的共享特征。
进一步的，采用交叉熵损失函数计算分类损失，通过最小化交叉熵损失函数改进虚假新闻检测。
根据一些实施例，本公开的第二方案提供了一种基于ALBERT和多模态循环融合的虚假新闻检测系统，采用如下技术方案：
一种基于ALBERT和多模态循环融合的虚假新闻检测系统，包括：
提取模块，其被配置为提取待检测新闻的文本特征和图像特征，其中，在文本特征提取的过程中采用ALBERT模型；
融合模块，其被配置为基于多模态融合技术融合所提取到的文本特征和图像特征，得到多模态特征；
检测模块，其被配置为根据所得到的多模态特征和预设的虚假新闻检测器，识别区分新闻的真假。
根据一些实施例，本公开的第三方案提供了一种计算机可读存储介质，采用如下技术方案：
一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于ALBERT和多模态循环融合的虚假新闻检测方法中的步骤。
根据一些实施例，本公开的第四方案提供了一种电子设备，采用如下技术方案：
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于ALBERT和多模态循环融合的虚假新闻检测方法中的步骤。
与现有技术相比，本公开的有益效果为：
本公开基于ALBERT模型，在减少参数的同时，能更有效地提取文本特征；在多模态融合过程中，创新性地使用多模态循环融合(MCF)方法，不需要引入新的参数，充分利用了多模态数据的交互作用，从而能够得到更佳的多模态特征。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是本公开实施例一中的基于ALBERT和多模态循环融合的虚假新闻检测方法的流程图；
图2是本公开实施例一中的不同组件的性能比较示意图；
图3是本公开实施例一中的ALB-MCF模型的整体结构示意图；
图4是本公开实施例二中的基于ALBERT和多模态循环融合的虚假新闻检测系统的结构框图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例一
本公开实施例一介绍了一种基于ALBERT和多模态循环融合的虚假新闻检测方法。
如图1所示的一种基于ALBERT和多模态循环融合的虚假新闻检测方法，包括：
提取待检测新闻的文本特征和图像特征，其中，在文本特征提取的过程中采用ALBERT模型；
基于多模态融合技术融合所提取到的文本特征和图像特征，得到多模态特征；
根据所得到的多模态特征和预设的虚假新闻检测器，识别区分新闻的真假。
本实施例在多模态虚假新闻检测任务中，首次采用ALBERT预训练模型提取文本特征，增强了文本特征提取效果；创新性地使用多模态循环融合方法进行文本与视觉特征融合，该方法几乎探索了不同模态向量之间所有可能的交互，充分发挥了多模态数据的互补性。
如图3所示的ALB-MCF模型的整体结构示意图，主要有四个模块：
(1)多模态特征：首次采用ALBERT预训练模型对文本进行建模，得到文本特征表示，采用VGG-19网络来提取图片的视觉特征表示；
(2)多模态融合：通过MCF方法，改变传统的多模态融合方式，构建出新的多模态特征；
(3)假新闻检测器：通过多模态特征表示来识别假新闻；
(4)域分类器：它将文章分类为不同的事件，并从提取的特征中删除事件的特殊特征，保留共享特征。
下面，对模型的具体内容展开详细的介绍：
(1)特征(包括文本特征和图像特征)提取
文本特征提取
将ALBERT模型应用于虚假新闻检测任务，去完成文本的特征提取。相较于传统的BERT模型，该模型通过权重共享的方式大大减少了参数量，实现了性能上的超越。
可以理解的，为了实现灵活的权重共享，将每一层都分到一个指定小组之中，一个小组包含了多个相邻的层，同一个小组里面的层是权重共享的。这个小组个数由num_hidden_groups参数决定，默认为1，即所有的层共享同一个Transformer权重。
具体的，将新闻中连续的单词序列表作为输入，首先嵌入到向量中，输入的句子i表示如下：
S＝[S0,S1,S2,...,Sn]
其中，n表示文本中的单词数，S0表示[CLS]的嵌入，它被插入到句子的顶部；文本中的每个单词Si∈Sk被表示为第i个单词的第k维单词嵌入向量。
可以理解的，[CLS]表示放在句子首位，经过ALBERT得到的的表征向量C起聚集整个序列表征信息的作用，便于后续的分类任务。
使用ALBERT-base预训练模型，该模型由12个编码器层组成。
将S送入该模型后，得到给定句子的相应特征向量，如下：
S′＝[S′0,S′1,...,S′n]＝ALBERT(S)
对于每个特征向量S′，使用均池操作，根据所有单词的重要性获得文本特征。均池操作后的文本特征记为
Figure BDA0003721366180000081
其中ds表示从ALBERT中获得的文本特征维数；最后，将Rs输入到一个全连接层，以确保文本特征的最终输出(记为Rs′∈Rp)，即
Rs′＝σ(Wsf·Rs)
其中，
Figure BDA0003721366180000082
表示文本特征提取器的全连接层的权重矩阵，σ表示文本特征提取器中的Leaky RELU激活函数。
图像特征提取
在本实施例中，采用VGG-19网络来提取图片的视觉特征向量。一些前置实验表明，对于虚假新闻检测任务的图片数据集，VGG-19比ResNet、Inception等模型的表现更为稳定。
为了保证与文本特征相同维度，在其网络最后一层基础之上添加全连接层，具体操作如下：
Rv′＝σ(Wvf·Rv)
其中，Rv′∈Rp为最终的图像特征，Rv为经过VGG-19最后一层的输出，
Figure BDA0003721366180000083
是全连接层的权重矩阵，σ表示图像特征提取器中的Leaky RELU激活函数。
(2)多模态融合
采用多模态循环融合(MCF)方法实现图像和文本特征层融合，该方式是将特征向量重塑为循环矩阵后，使用新定义的交互操作完成多模态融合。
为了减少计算成本，首先利用两个投影矩阵W1∈Rd×p和W2∈Rd×p(d≤p)将文本特征Rs′和图像特征Rv′映射到一个低维空间。
V＝Rs′W1 T
C＝Rv′W2 T
其中，W1 T和W2 T是W1和W2的转置。
利用投影向量V∈Rd和C∈Rd构造循环矩阵A∈Rdxd和B∈Rdxd。
A＝circ(V)
B＝circ(C)
其中，circ(d)表示将d转换为循环矩阵。
将投影向量和循环矩阵的每行向量做元素乘积，公式如下：
Figure BDA0003721366180000091
Figure BDA0003721366180000092
其中，ai∈Rd和bi∈Rd为循环矩阵A和循环矩阵B的行向量，⊙表示元素级乘积的运算。值得注意的是，没有在乘法运算中引入新的参数。
通过投影矩阵W3∈Rdxk，将M∈Rd和N∈Rd的元素级和向量转换为目标向量Z∈Rk，即多模态特征。
(3)虚假新闻检测器
虚假新闻检测器以多模态特征Z作为输入，最终目的是识别新闻内容的真假。使用一个具有softmax激活函数的全连接层，将多模态特征向量Z映射到真实新闻和虚假新闻两类的目标空间中，得到概率分布：
p＝softmax(θwxm+b)
其中，p＝[p0,p1]为预测的概率向量，p0和p1分别表示标签的预测概率，取值为0(真实新闻)和1(虚假新闻)，θw是权重矩阵，b是偏差项。
(4)域分类器
域分类器C(Z；θc)的主要用来根据输入的多模态特征Z，识别出每条新闻属于哪一类事件，然后移除该事件的特定特征，保留其公共子空间的共享特征；其中,θc表示域分类器的参数集，C表示域分类器的映射函数。
为了计算分类损失，采用交叉熵损失函数，公式如下：
Figure BDA0003721366180000101
其中，N表示新闻的数量，y∈{0,1}表示真/假的标签，Y代表标签集，P代表预测概率集。
为了优化参数θd，最小化分类损失，定义如下：
Figure BDA0003721366180000102
使用Ye来表示事件标签集，然后通过交叉熵定义事件鉴别器的损失，公式如下：
Figure BDA0003721366180000111
其中，M表示事件数量。
如果域分类器准确，一个较大的损失意味着网络学习事件不变的多模态特征。
在训练期间，需要最小化Ld(θd)以改进虚假新闻检测任务。为了获得不变的事件特征，需要最大化域分类器Lc(θc)的损失，同时通过最小化域分类损失从多模态特征中发现事件的特殊信息。因此，总体损失定义如下：
Lfinal(θd,θc)＝Ld-λLc
其中，λ∈R用于平衡虚假新闻检测的损失函数和域分类。
为了达到上述域分类器的对抗效果，将GRL层放置在多模态融合器和域分类器之间，因此，对模型参数的优化过程的描述如下：
Figure BDA0003721366180000112
Figure BDA0003721366180000113
如表1所示，模型ALB-MCF在两个公开的数据集(Twitter和Weibo)上都优于其他现有方法，这表明该模型能够精确地捕获更有效地多模态特征表示来检测假新闻。
表1不同方法在Twitter和Weibo数据集上的实验结果
Figure BDA0003721366180000121
为了直观地说明在所提出的模型中使用的组件的必要性，对ALB-MCF的模型的两个组件进行了消融分析，然后分别在Twitter和Weibo两个数据集上进行实验。
ALB-MCF的变体如下：
Base：用BERT提取文本特征，将图像文本数据通过简单拼接进行融合。
Base_MCF:将基本模型Base的简单拼接融合方式改为通过MCF技术进行多模态融合。
Base_ALB:将基本模型Base的文本特征提取方式BERT替换为ALBERT模型。
ALB-MCF:本文模型，包含ALBERT和MCF两个方法。
如图2所示，Base_MCF和Base_ALB都比原始模型Base效果好，并且完整模型ALB-MCF结果均高于任何一个基线模型，这表明各个组件对于整体性能提升均是必要且有效的；Base_MCF比Base_ALB在两个数据集上的检测效果都更好，这说明MCF方法对于整体性能提升起到更大影响。
本实施例采用了ALBERT预训练模型提取文本特征，同时用VGG-19模型提取视觉特征，再通过多模态循环融合(MCF)技术，将文本和视觉特征进行融合形成多模态特征，通过MCF技术有效避免了参数的增加、节约了计算成本，从整体上提升了多模态融合水平，在域分类器的作用下移除新闻事件的特定特征，保留事件之间可共享的特征，从而对新出现的事件做出有效检测；将多模态特征输入到虚假新闻检测器中，以区分新闻真假。
实施例二
本公开实施例二介绍了一种基于ALBERT和多模态循环融合的虚假新闻检测系统。
如图4所示的一种基于ALBERT和多模态循环融合的虚假新闻检测系统，包括：
提取模块，其被配置为提取待检测新闻的文本特征和图像特征，其中，在文本特征提取的过程中采用ALBERT模型；
融合模块，其被配置为基于多模态融合技术融合所提取到的文本特征和图像特征，得到多模态特征；
检测模块，其被配置为根据所得到的多模态特征和预设的虚假新闻检测器，识别区分新闻的真假。
详细步骤与实施例一提供的基于ALBERT和多模态循环融合的虚假新闻检测方法相同，在此不再赘述。
实施例三
本公开实施例三提供了一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例一所述的基于ALBERT和多模态循环融合的虚假新闻检测方法中的步骤。
详细步骤与实施例一提供的基于ALBERT和多模态循环融合的虚假新闻检测方法相同，在此不再赘述。
实施例四
本公开实施例四提供了一种电子设备。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例一所述的基于ALBERT和多模态循环融合的虚假新闻检测方法中的步骤。
详细步骤与实施例一提供的基于ALBERT和多模态循环融合的虚假新闻检测方法相同，在此不再赘述。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种基于ALBERT和多模态循环融合的虚假新闻检测方法，其特征在于，包括：
提取待检测新闻的文本特征和图像特征，其中，在文本特征提取的过程中采用ALBERT模型；
基于多模态融合技术融合所提取到的文本特征和图像特征，得到多模态特征；
根据所得到的多模态特征和预设的虚假新闻检测器，识别区分新闻的真假。
2.如权利要求1中所述的一种基于ALBERT和多模态循环融合的虚假新闻检测方法，其特征在于，在提取待检测新闻的图像特征的过程中，采用VGG-19网络；通过在所述VGG-19网络的最后一层添加全连接层，以保证所提取到的图像特征与所提取到的文本特征维度相同。
3.如权利要求1中所述的一种基于ALBERT和多模态循环融合的虚假新闻检测方法，其特征在于，将待检测新闻中的单词序列嵌入到向量中，得到嵌入向量；将所得到的嵌入向量输入到所述ALBERT模型中，得到特征向量；根据所得到的特征向量、均池操作和待检测新闻中的所有单词的重要性，得到文本特征。
4.如权利要求3中所述的一种基于ALBERT和多模态循环融合的虚假新闻检测方法，其特征在于，采用多模态融合实现所述文本特征和图像特征的融合，将所得到的特征向量重塑为循环矩阵，通过交互操作完成多模态融合。
5.如权利要求1中所述的一种基于ALBERT和多模态循环融合的虚假新闻检测方法，其特征在于，所述虚假新闻检测器以多模态特征作为输入，输出检测概率，识别待检测新闻的真假。
6.如权利要求1中所述的一种基于ALBERT和多模态循环融合的虚假新闻检测方法，其特征在于，根据虚假新闻检测器所输入的多模态特征，识别待检测新闻的所属事件类别，在域分类器的作用下移除待检测新闻的特定特征，保留公共子空间的共享特征。
7.如权利要求6中所述的一种基于ALBERT和多模态循环融合的虚假新闻检测方法，其特征在于，采用交叉熵损失函数计算分类损失，通过最小化交叉熵损失函数改进虚假新闻检测。
8.一种基于ALBERT和多模态循环融合的虚假新闻检测系统，其特征在于，包括：
提取模块，其被配置为提取待检测新闻的文本特征和图像特征，其中，在文本特征提取的过程中采用ALBERT模型；
融合模块，其被配置为基于多模态融合技术融合所提取到的文本特征和图像特征，得到多模态特征；
检测模块，其被配置为根据所得到的多模态特征和预设的虚假新闻检测器，识别区分新闻的真假。
9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于ALBERT和多模态循环融合的虚假新闻检测方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于ALBERT和多模态循环融合的虚假新闻检测方法中的步骤。
CN202210752216.8A 2022-06-29 2022-06-29 一种基于albert和多模态循环融合的虚假新闻检测方法及系统 Pending CN114998809A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210752216.8A CN114998809A (zh) 2022-06-29 2022-06-29 一种基于albert和多模态循环融合的虚假新闻检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210752216.8A CN114998809A (zh) 2022-06-29 2022-06-29 一种基于albert和多模态循环融合的虚假新闻检测方法及系统

Publications (1)

Publication Number Publication Date
CN114998809A true CN114998809A (zh) 2022-09-02

Family

ID=83020437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210752216.8A Pending CN114998809A (zh) 2022-06-29 2022-06-29 一种基于albert和多模态循环融合的虚假新闻检测方法及系统

Country Status (1)

Country Link
CN (1) CN114998809A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115423050A (zh) * 2022-11-04 2022-12-02 暨南大学 一种虚假新闻检测方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115423050A (zh) * 2022-11-04 2022-12-02 暨南大学 一种虚假新闻检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Wang et al. SaliencyGAN: Deep learning semisupervised salient object detection in the fog of IoT
Shen et al. BBAS: Towards large scale effective ensemble adversarial attacks against deep neural network learning
CN106709345B (zh) 基于深度学习方法推断恶意代码规则的方法、系统及设备
CN112685565A (zh) 基于多模态信息融合的文本分类方法、及其相关设备
CN112784929B (zh) 一种基于双元组扩充的小样本图像分类方法及装置
CN104778224A (zh) 一种基于视频语义的目标对象社交关系识别方法
CN114330966A (zh) 一种风险预测方法、装置、设备以及可读存储介质
CN110532911A (zh) 协方差度量驱动小样本gif短视频情感识别方法及系统
CN115188067A (zh) 一种视频行为识别方法、装置、电子设备及存储介质
Li et al. Deep reasoning with multi-scale context for salient object detection
CN114282059A (zh) 视频检索的方法、装置、设备及存储介质
Wang et al. Micro Expression Recognition via Dual‐Stream Spatiotemporal Attention Network
Li et al. Social context-aware person search in videos via multi-modal cues
CN114998809A (zh) 一种基于albert和多模态循环融合的虚假新闻检测方法及系统
CN113657272B (zh) 一种基于缺失数据补全的微视频分类方法及系统
CN111488813A (zh) 视频的情感标注方法、装置、电子设备及存储介质
CN113128526B (zh) 图像识别方法、装置、电子设备和计算机可读存储介质
CN113011320B (zh) 视频处理方法、装置、电子设备及存储介质
Qin et al. Application of video scene semantic recognition technology in smart video
CN115035463B (zh) 行为识别方法、装置、设备和存储介质
CN116561639A (zh) 一种面向开源情报的多模态数据情感分析方法
CN116955707A (zh) 内容标签的确定方法、装置、设备、介质及程序产品
CN110377591A (zh) 训练数据清洗方法、装置、计算机设备及存储介质
CN116128998A (zh) 一种多路并行的文本到图像生成方法和系统
CN115497105A (zh) 基于多任务学习网络的多模态仇恨模因检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination