CN110889430A - 基于多域视觉特征的新闻图像检测方法及系统、装置 - Google Patents

基于多域视觉特征的新闻图像检测方法及系统、装置 Download PDF

Info

Publication number
CN110889430A
CN110889430A CN201911018018.3A CN201911018018A CN110889430A CN 110889430 A CN110889430 A CN 110889430A CN 201911018018 A CN201911018018 A CN 201911018018A CN 110889430 A CN110889430 A CN 110889430A
Authority
CN
China
Prior art keywords
news image
frequency domain
visual
feature
news
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911018018.3A
Other languages
English (en)
Inventor
曹娟
谢添
郭俊波
刘浩远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN201911018018.3A priority Critical patent/CN110889430A/zh
Publication of CN110889430A publication Critical patent/CN110889430A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多域视觉特征的新闻图像检测方法,包括:提取新闻图像在各频域上的频域向量,获取该频域向量在对应频域上的频域特征,并将该频域特征拼接为该新闻图像的物理视觉特征;获取该新闻图像在各语义上的语义特征,将该语义特征的正向GRU特征序列和反向GRU特征序列,拼接为该新闻图像的语义视觉特征;将该物理视觉特征和该语义视觉特征进行融合及逻辑回归分类,以获取该新闻图像为虚假新闻图像类别的预测概率。本发明基于对虚假新闻图像特点的深入分析,设计了一个深度学习模型,能够充分建模并融合图像在频率域以及像素域的特点,从而实现利用视觉内容对虚假新闻的自动检测。

Description

基于多域视觉特征的新闻图像检测方法及系统、装置
技术领域
本发明涉及信息检测领域,特别涉及一种新闻可信度认证检测方法和系统。
背景技术
近年来社交媒体凭借进入门槛低、数据量大、分享自由及时等优势,已成为重要的新闻信息来源,人们逐渐习惯在社交媒体上获取最新的新闻并自由的发表自己的观点。然而,社交媒体的便利性和开放性也为虚假新闻的传播提供了极大的便利,造成了很多消极的社会影响。如,知名媒体发布的假新闻,将不可避免的对投票者产生误导,从而影响了投票的结果。能否利用技术手段对虚假新闻进行自动检测已经成为自媒体时代亟待解决的问题。
多媒体技术的发展促进了自媒体新闻从传统的基于文本的新闻形式向基于多媒体内容的新闻形式转变。与单纯的文本内容相比,多媒体内容能够更好的描述新闻事件,吸引更多读者的注意。据统计,带图像新闻的平均转发数是纯文本新闻的11倍。然而,这一趋势也给虚假新闻创造了新的契机。虚假新闻经常利用极具误导性的甚至篡改的图像去吸引和误导读者,从而促进虚假新闻的快速传播。因此,视觉内容已经变成了虚假新闻中不可忽视的一部分。
现有的虚假新闻检测方法主要关注于文本内容及社交上下文。随着多媒体内容的流行,研究人员开始结合视觉信息来检测虚假新闻。这些基于视觉信息的工作可以被分为三类:基于视觉统计特征、视觉取证特征,以及视觉语义特征的工作。
基于视觉统计特征的工作使用对新闻中图像的统计特征帮助甄别虚假新闻,如配图的数目,图像流行度,及图像类型等。但是这些统计特征过于基本,无法刻画虚假新闻复杂的视觉模式。
视觉取证特征通常被用于检测图像篡改。为了验证新闻配图的真实性,一些工作利用视觉取证特征,如块状效应等,来辅助虚假新闻的检测。如,MediaEval在2015和2016年举办的多媒体认证任务,提供了7种视觉取证特征来帮助检测多媒体内容的篡改和误用。基于这些取证特征,L.Wu等人设计了更高层的取证特征,并结合文本特征及用户特征来解决新闻认证问题。然而,大部分的取证特征都是为了检测某种特定的篡改痕迹人工设计的,不能检测虚假新闻图像中未经篡改的真实图像。另外,这些手工特征需要经过专家设计,耗费人力,而且不能捕捉到复杂的模式。这些限制导致视觉取证特征在实际的虚假新闻检测任务中表现较差。
随着卷积神经网络的流行,大部分基于多媒体内容的工作使用预训练的深度卷积神经网络获得通用的视觉表达,并和文本信息进行融合用于检测虚假新闻。Z.Jin等第一次通过深度神经网络的方法融合多模态的内容来解决虚假新闻检测问题;Y.Wang等人提出了一种事件对抗的神经网络,利用多模态的特征检测新出现的虚假新闻事件;K.Dhruv等人提出了一种基于自编码的方法来学习多模态信息的共享表达,用于进行虚假新闻检测。然而,这些工作更加专注于如何融合不同模态的信息,忽略了对视觉内容这一模态的有效建模。由于缺乏任务相关的信息,这些工作所采取的通用的视觉表达不能反映虚假新闻图像的本质特征,削弱了视觉内容在虚假新闻检测任务中的表现。
发明内容
为解决上述问题,本发明提出一种基于多域视觉特征的新闻图像检测方法,包括:提取新闻图像在各频域上的频域向量,获取该频域向量在对应频域上的频域特征,并将该频域特征拼接为该新闻图像的物理视觉特征;获取该新闻图像在各语义上的语义特征,将该语义特征的正向GRU特征序列和反向GRU特征序列,拼接为该新闻图像的语义视觉特征;将该物理视觉特征和该语义视觉特征进行融合及逻辑回归分类,以获取该新闻图像为虚假新闻图像类别的预测概率。
本发明所述的新闻图像检测方法,其中获取该物理视觉特征的过程具体包括:以卷积神经网络构建频域网络;对该新闻图像进行离散余弦变换处理,以获得该新闻图像对应64个频域上对应的DCT系数直方图;对所有该DCT系数直方图进行一维傅里叶变换并采样,获得64个250维的频域向量{h0,h1,……,h63};通过该频域网络获得频域向量{h0,h1,……,h63}对应的频域特征{w0,w1,……,w63};将频域特征{w0,w1,……,w63}拼接为该物理视觉特征{l0}。
本发明所述的新闻图像检测方法,其中获取该语义视觉特征的过程具体包括:以卷积神经网络和循环神经网络构建像素域网络;通过该像素域网络对该新闻图像进行由局部语义到全局语义表示的逐层抽象的特征提取,以获得语义特征{v1,v2,v3,v4},其中,v1为该新闻图像的线条特征,v2为该新闻图像的颜色特征,v3为该新闻图像的纹理特征,v4为该新闻图像的物体特征;以GRU网络获取语义特征{v1,v2,v3,v4}的正向GRU特征序列
Figure BDA0002246313390000031
和反向GRU特征序列
Figure BDA0002246313390000032
其中,
Figure BDA0002246313390000033
Figure BDA0002246313390000034
Figure BDA0002246313390000035
拼接为该语义视觉特征{l1,l2,l3,l4},其中,
Figure BDA0002246313390000036
l1为线条视觉特征,l2为颜色特视觉特征,l3为纹理视觉特征,l4为物体视觉特征。
本发明所述的新闻图像检测方法,其中获取该预测概率的过程具体包括:通过注意力机制对该物理视觉特征{l0}和该语义视觉特征{l1,l2,l3,l4}进行特征价值增强,并融合为该新闻图像的特征向量表示u;其中,
Figure BDA0002246313390000037
αi为li的归一化权重;通过具有Softmax激活的全连接层将特征向量表示u投影到两类目标空间,并获取该预测概率p,其中,该两类目标空间包括虚假新闻图像类别和真实新闻图像类别。
本发明还提出一种基于多域视觉特征的新闻图像检测系统,包括:频域特征提取模块,用于提取新闻图像在各频域上的频域向量,获取该频域向量在对应频域上的频域特征,并将该频域特征拼接为该新闻图像的物理视觉特征;像素域特征提取模块,用于获取该新闻图像在各语义上的语义特征,将该语义特征的正向GRU特征序列和反向GRU特征序列,拼接为该新闻图像的语义视觉特征;融合预测模块,用于将该物理视觉特征和该语义视觉特征进行融合及逻辑回归分类,以获取该新闻图像为虚假新闻图像类别的预测概率。
本发明所述的新闻图像检测系统,其中该频域特征提取模块具体包括:频域网络构建模块,用于以卷积神经网络构建频域网络;预处理模块,用于对该新闻图像进行离散余弦变换处理,以获得该新闻图像对应64个频域上对应的DCT系数直方图;采样模块,用于对所有该DCT系数直方图进行一维傅里叶变换并采样,获得64个250维的频域向量{h0,h1,……,h63};物理视觉特征获取模块,用于通过该频域网络获得频域向量{h0,h1,……,h63}对应的频域特征{w0,w1,……,w63},将频域特征{w0,w1,……,w63}拼接为该物理视觉特征{l0}。
本发明所述的新闻图像检测系统,其中该像素域特征提取模块具体包括:像素域网络构建模块,用于以卷积神经网络和循环神经网络构建像素域网络;语义特征获取模块,用于通过该像素域网络对该新闻图像进行由局部语义到全局语义表示的逐层抽象的特征提取,以获得语义特征{v1,v2,v3,v4},其中,v1为该新闻图像的线条特征,v2为该新闻图像的颜色特征,v3为该新闻图像的纹理特征,v4为该新闻图像的物体特征;语义视觉特征获取模块,用于以GRU网络获取语义特征{v1,v2,v3,v4}的正向GRU特征序列
Figure BDA0002246313390000041
和反向GRU特征序列
Figure BDA0002246313390000042
将正向GRU特征序列
Figure BDA0002246313390000043
和反向GRU特征序列
Figure BDA0002246313390000044
拼接为该语义视觉特征{l1,l2,l3,l4},其中,
Figure BDA0002246313390000045
Figure BDA0002246313390000046
l1为线条视觉特征,l2为颜色特视觉特征,l3为纹理视觉特征,l4为物体视觉特征。
本发明所述的新闻图像检测系统,其中该融合预测模块具体包括:特征融合模块,用于通过注意力机制对该物理视觉特征{l0}和该语义视觉特征{l1,l2,l3,l4}进行特征价值增强,并融合为该新闻图像的特征向量表示u;其中,
Figure BDA0002246313390000047
αi为li的归一化权重;概率预测模块,用于通过具有Softmax激活的全连接层将特征向量表示u投影到两类目标空间,并获取该预测概率p,其中,该两类目标空间包括虚假新闻图像类别和真实新闻图像类别。
本发明还提出一种可读存储介质,存储有可执行指令,该可执行指令用于执行如上所述的基于多域视觉特征的新闻图像检测方法。
本发明还提出一种数据处理装置,包括如上所述的可读存储介质,该数据处理装置调取并执行该可读存储介质中的可执行指令,以进行基于多域视觉特征的新闻图像检测。
附图说明
图1是本发明的基于多域视觉特征的新闻图像检测方法流程图。
图2是本发明的频域网络结构示意图。
图3是本发明的像素域网络结构示意图。
图4是本发明的基于多域视觉特征的新闻图像检测系统结构示意图。
图5是本发明的数据处理装置示意图
具体实施方式
为了使本发明的技术方案更加清晰明了,以下结合附图对本发明进一步详细说明,应当理解,此处所描述的具体实例仅仅用以解释本发明,并不限定于本发明。
本发明的目的是对虚假新闻进行有效的自动检测,主要解决的技术问题为如何基于新闻的视觉内容,建立有效的深度学习模型进行虚假新闻检测。
发明人在对虚假新闻的视觉模态(即虚假新闻的配图)进行研究时,发现虚假新闻图像不仅包含被恶意篡改的虚假图像,也包含被错误的用来表示不相关事件的真实图像。现有的技术只适合建模某一类型的虚假新闻图像,无法捕捉到虚假新闻图像的本质特征。发明人经过研究发现,虚假新闻图像在物理及语义层面均存在显著的特点,分别在频域及像素域(也称为空间域)上具有明显的表现。因此,本发明针对虚假新闻图像的特征设计相应的深度学习模型,深入挖掘图像在频域及像素域上潜在的视觉模式并进行高效表达和融合,提高利用视觉内容进行虚假新闻自动甄别的效果。
本发明主要的关键点在于基于对虚假新闻图像特点的深入分析,设计了一个深度学习模型,能够充分建模并融合图像在频率域以及像素域的特点,从而实现利用视觉内容对虚假新闻的自动检测。具体包括对虚假新闻图像物理特征的建模,对虚假新闻图像语义特征的建模,以及对物理特征及语义特征的融合三个关键点的设计。
1、针对虚假新闻图像在物理层面的特点,设计有效的频域子网络对其进行建模。虚假新闻图像在物理层面呈现出低质量的特点,如具有多重压缩痕迹及篡改痕迹等。经过多重压缩和篡改的图像在频域上往往呈现出周期性的特点,因此本发明设计了一个基于CNN(卷积神经网络)的网络捕捉虚假新闻图像在频域上的特征。
2、针对虚假新闻图像在语义层面的特点,设计有效的像素域子网络对其进行建模。虚假新闻图像在语义层面呈现出视觉冲击及情感煽动的风格特点,因此本发明设计了一个多分支的CNN-RNN(卷积神经网络-循环神经网络)网络来捕捉虚假新闻图像在不同语义层次上的特征。
3、为了充分考虑虚假新闻图像在物理及语义层面的特点,设计有效的融合子网络对两个子网络的特征向量进行融合。考虑到不同域的特征对最终任务的贡献是不一致且动态变化的,因此本发明基于注意力机制(attention机制)对频域和像素域的特征向量进行自适应的融合。
本发明的主要目标之一是利用视觉内容对用户发布的包含新闻图像的新闻消息进行虚假信息的自动甄别,因此可以将具体任务定义为根据视觉内容对新闻是否属于虚假新闻进行二分类。
虚假新闻图像在频域及像素域上具有明显的特点。因此,为了充分建模虚假新闻图像的视觉特征,本发明设计了一个深度学习模型,深入挖掘图像在频域及像素域上潜在的视觉模式并进行高效表达和融合,提高利用视觉内容进行虚假新闻自动甄别的效果。
基于上述,本发明提出一种基于多域视觉特征的新闻图像检测方法,包括:提取新闻图像在各频域上的频域向量,获取该频域向量在对应频域上的频域特征,并将该频域特征拼接为该新闻图像的物理视觉特征;获取该新闻图像在各语义上的语义特征,将该语义特征的正向GRU特征序列和反向GRU特征序列,拼接为该新闻图像的语义视觉特征;将该物理视觉特征和该语义视觉特征进行融合及逻辑回归分类,以获取该新闻图像为虚假新闻图像类别的预测概率。
本发明所述的新闻图像检测方法,其中获取该物理视觉特征的过程具体包括:以卷积神经网络构建频域网络;对该新闻图像进行离散余弦变换处理,以获得该新闻图像对应64个频域上对应的DCT系数直方图;对所有该DCT系数直方图进行一维傅里叶变换并采样,获得64个250维的频域向量{h0,h1,……,h63};通过该频域网络获得频域向量{h0,h1,……,h63}对应的频域特征{w0,w1,……,w63};将频域特征{w0,w1,……,w63}拼接为该物理视觉特征{l0}。
本发明所述的新闻图像检测方法,其中获取该语义视觉特征的过程具体包括:以卷积神经网络和循环神经网络构建像素域网络;通过该像素域网络对该新闻图像进行由局部语义到全局语义表示的逐层抽象的特征提取,以获得语义特征{v1,v2,v3,v4},其中,v1为该新闻图像的线条特征,v2为该新闻图像的颜色特征,v3为该新闻图像的纹理特征,v4为该新闻图像的物体特征;以GRU网络获取语义特征{v1,v2,v3,v4}的正向GRU特征序列
Figure BDA0002246313390000071
和反向GRU特征序列
Figure BDA0002246313390000072
其中,
Figure BDA0002246313390000073
Figure BDA0002246313390000074
Figure BDA0002246313390000075
拼接为该语义视觉特征{l1,l2,l3,l4},其中,
Figure BDA0002246313390000076
l1为线条视觉特征,l2为颜色特视觉特征,l3为纹理视觉特征,l4为物体视觉特征。
本发明所述的新闻图像检测方法,其中获取该预测概率的过程具体包括:通过注意力机制对该物理视觉特征{l0}和该语义视觉特征{l1,l2,l3,l4}进行特征价值增强,并融合为该新闻图像的特征向量表示u;其中,
Figure BDA0002246313390000077
αi为li的归一化权重;通过具有Softmax激活的全连接层将特征向量表示u投影到两类目标空间,并获取该预测概率p,其中,该两类目标空间包括虚假新闻图像类别和真实新闻图像类别。
图1是本发明的基于多域视觉特征的新闻图像检测方法流程图。如图1所示,本发明的基于多域视觉特征的新闻图像检测方法包括:
步骤S10,获取新闻图像的物理视觉特征,具体包括:
步骤S11,以卷积神经网络(CNN)构建频域网络;本发明通过频域网络来获取新闻图像的物理视觉特征,即首先将输入的新闻图像从像素域转换为频域,然后采用基于CNN的频域网络模型对新闻图像的频域特征进行建模;图2是本发明的频域网络结构示意图。如图2所示,于本发明的实施例中,频域网络由三个卷积层和一个全连接层组成,每个卷积层由一个一维卷积层和一个最大池化层组成;为了加速CNN网络模型的收敛,本发明将卷积层中的滤波器的数目设置为递增的;
步骤S12,对于新闻消息中的新闻图像,对其采取分块的离散余弦变换,以获得该图像在64个频率上对应的DCT系数直方图,并对这些DCT系数直方图进行一维傅立叶变换,以增强CNN的效果;考虑到CNN需要一个固定大小的输入,本发明对这些系数直方图进行采样,得到64个250维向量,可以表示为{h0,h1,……,h63};
步骤S13,经过上述处理后,将每个频率的向量h送入共享权重的频域网络,得到相应的特征表示{w0,w1,……,w63};
步骤S14,将64个频域的特征{w0,w1,……,w63}拼接起来,经过一个全连接层,得到新闻图像的频域表示,即新闻图像的物理视觉特征{l0},作为频域网络的输出;
步骤S20,获取新闻图像的语义视觉特征,具体包括:
步骤S21,以卷积神经网络-循环神经网络(CNN-RNN)构建像素域网络;CNN通过从局部到全局的逐层抽象来学习高级的语义表示,其中低层更偏向于颜色、线条和形状等低级特征,而高层更倾向于关注目标等高级特征。在抽象的过程中,底层特征不可避免地会受到一些损失,这表明CNN底层和中间层的特征可以为顶层的特征提供补充信息。一方面,许多视觉工作已经证明,将CNN中不同层的特征进行融合,可以帮助模型实现更好的性能,如显著性检测和图像情感分类。另一方面,虚假新闻图像通常会表现出视觉冲击及情感煽动的风格特性,这与从低级到高级的许多视觉因素有关。因此,为了充分捕捉虚假新闻图像的语义特征,本发明构建了一个多分支的CNN网络来分别提取多个视觉层次的语义特征,并利用双向门控循环神经网络(Bi-GRU)来建模这些不同层次的语义特征之间的时序依赖关系;图3是本发明的像素域网络结构示意图。如图3所示,像素域网络主要由4个块组成,每个块又由3×3和1×1卷积层和最大池化层组成;
步骤S22,将新闻图像送入像素域网络,从四个分支提取的特征经过1×1的卷积层和全连接层,得到相应的特征向量vt,t∈[1,4]。这些特征向量代表新闻图像的不同部分,如线条、颜色、纹理和物体,它们表示从局部视图到全局视图的不同级别的特征;受GoogeNet中Inception模块的启发,本发明使用1×1卷积层对特征向量进行降维并增加模型的表示能力,因为它增加了非线性激活,促进了不同通道的信息融合;
步骤S23,通常情况下,不同级别的语义特征之间有很强的依赖性,例如,纹理等中级特征由线条等低级特征组成,同时又构成目标等高级特征;因此,本发明利用GRU来建模低级和高级的语义特征之间的依赖关系,即,本发明从将这些不同层次的特征建模为序列v=vt,t∈[1,4],其中vt代表从像素域网络第t个分支提取的视觉特征,作为GRU第t个时间步的输入(GRU输入序列的第t个元素)。那么,在第t个时间步时,GRU中的整个信息流可以表示为:
rt=σ(Wr[vt,ht-1]+br) (1)
zt=σ(Wzt,ht-1]+bz) (2)
Figure BDA0002246313390000091
Figure BDA0002246313390000092
其中,rt,zt
Figure BDA0002246313390000093
ht分别表示重置门、更新门、候选隐层状态和隐层状态。W是权重矩阵,b是偏差。此外,σ代表sigmoid函数,⊙表示元素乘法。
考虑到不同层次特征之间的依赖性可以分为局部到全局以及全局到局部两个方面,本发明利用双向GRU从两个不同的角度对特征序列进行建模。Bi-GRU包含了从v1到v4的正向GRU,和从v4到v1的反向GRU:
Figure BDA0002246313390000094
Figure BDA0002246313390000095
步骤S24,对于每个时间步骤t,本发明将前向隐藏状态
Figure BDA00022463133900000912
和后向隐藏状态
Figure BDA0002246313390000096
拼接起来获得该时间步的隐层表示,即
Figure BDA0002246313390000097
步骤S30,将上述步骤得到的物理视觉特征和语义视觉特征进行融合及逻辑回归分类,以获取新闻图像的分类;
步骤S31,视觉特征融合;图像的物理和语义特征在检测虚假新闻时是互补的,因此本发明提出了融合子网络来融合这些特征,即利用频域子网络的输出{l0}和像素域子网络的输出{l1,l2,l3,l4}对是否虚假新闻进行预测。其中,l1、l2、l3、l4表示不同语义级别的视觉特征,l0表示物理级别的视觉特征。直观地说,并不是所有的特征都对假新闻的检测起到同样的作用,这意味着一些视觉特征在评价一个给定的图像是虚假新闻图像还是真实新闻图像中起着更重要的作用。例如,对于一些具有明显篡改痕迹的篡改图像,物理特征比语义特征在检测虚假新闻上表现得更好;对于一些没有经历过严重重压缩的误导性图像,语义特征更为有效。因此,本发明通过注意力机制来突出这些有价值的特征,增强后的图像表示u计算如下:
Figure BDA0002246313390000098
Figure BDA0002246313390000099
Figure BDA00022463133900000910
其中,Wf表示特征融合权重矩阵,bf表示偏置,vT表示转置后的权重向量,
Figure BDA00022463133900000911
是衡量每个特征向量重要性的得分函数。然后,通过一个softmax函数得到第i个特征向量的归一化权重αi,并计算不同特征向量的加权和作为图像的高级表示。向量v在训练过程中被随机初始化,并在网络训练的过程中进行优化。
步骤S32,使用具有Softmax激活的全连接层将该特征向量u投影到两类目标空间:虚假新闻图像和真实新闻图像,并获得概率分布:
p=softmax(Wcu+bc) (10)
其中,Wc是概率分布权重矩阵,bc是概率分布偏差向量。
本发明将损失函数定义为预测概率分布和真实值之间的交叉熵误差:
L=-Σ[ylogp+(1-y)log(1-p)] (11)
其中y为新闻图像的真实值,y为1代表新闻图像为虚假新闻图像,为0代表新闻图像为真实新闻图像,p代表新闻图像为虚假新闻图像的预测概率。
本发明还提出一种基于多域视觉特征的新闻图像检测系统,图4是本发明的基于多域视觉特征的新闻图像检测系统结构示意图。如图4所示,本发明的新闻图像检测系统包括频域特征提取模块、像素域特征提取模块和融合预测模块,其中频域特征提取模块的核心是CNN网络构建的频域子网络,用于提取新闻图像在各频域上的频域向量,获取该频域向量在对应频域上的频域特征,并将该频域特征拼接为该新闻图像的物理视觉特征;像素域特征提取模块的核心是,CNN-RNN网路构建的像素域子网络,用于获取该新闻图像在各语义上的语义特征,将该语义特征的正向GRU特征序列和反向GRU特征序列,拼接为该新闻图像的语义视觉特征;融合预测模块(融合子网络)用于通过注意力机制(attention机制),将频域特征提取模块获得的物理视觉特征,与像素域特征提取模块获得的语义视觉特征进行融合,并进行逻辑回归分类,以将输入的新闻图像分类为虚假新闻图像或真实新闻图像。
图5是本发明的数据处理装置示意图。如图5所示,本发明实施例还提供一种可读存储介质,以及一种数据处理装置。本发明的可读存储介质存储有计可执行指令,可执行指令被数据处理装置的处理器执行时,实现上述基于多域视觉特征的新闻图像检测方法。本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器)完成,所述程序可以存储于可读存储介质中,如只读存储器、磁盘或光盘等。上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的各模块可以采用硬件的形式实现,例如通过集成电路来实现其相应功能,也可以采用软件功能模块的形式实现,例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明实施例不限制于任何特定形式的硬件和软件的结合。
本发明主要基于新闻消息的视觉内容实现虚假新闻的有效甄别,与现有技术相比,本发明在不增加额外数据的前提下,与现有技术相比实现了性能的大幅提升。具体来说,针对利用视觉内容检测虚假新闻的任务上,本发明与现有技术相比,在业内公开的数据集上实现了至少9.2个百分点的准确度提升。
虽然本发明已以实施例揭露如上,然其并非用以限定本发明,任何所属技术领域中的普通技术人员,在不脱离本发明的精神和范围内,可以做出若干变形和改进,故本发明的保护范围当视后附的申请专利范围所界定者为准。

Claims (10)

1.一种基于多域视觉特征的新闻图像检测方法,其特征在于,包括:
提取新闻图像在各频域上的频域向量,获取该频域向量在对应频域上的频域特征,并将该频域特征拼接为该新闻图像的物理视觉特征;
获取该新闻图像在各语义上的语义特征,将该语义特征的正向GRU特征序列和反向GRU特征序列,拼接为该新闻图像的语义视觉特征;
将该物理视觉特征和该语义视觉特征进行融合及逻辑回归分类,以获取该新闻图像为虚假新闻图像类别的预测概率。
2.如权利要求1所述的新闻图像检测方法,其特征在于,获取该物理视觉特征的过程具体包括:
以卷积神经网络构建频域网络;
对该新闻图像进行离散余弦变换处理,以获得该新闻图像对应64个频域上对应的DCT系数直方图;
对所有该DCT系数直方图进行一维傅里叶变换并采样,获得64个250维的频域向量{h0,h1,……,h63};
通过该频域网络获得频域向量{h0,h1,……,h63}对应的频域特征{w0,w1,……,w63};
将频域特征{w0,w1,……,w63}拼接为该物理视觉特征{l0}。
3.如权利要求2所述的新闻图像检测方法,其特征在于,获取该语义视觉特征的过程具体包括:
以卷积神经网络和循环神经网络构建像素域网络;
通过该像素域网络对该新闻图像进行由局部语义到全局语义表示的逐层抽象的特征提取,以获得语义特征{v1,v2,v3,v4},其中,v1为该新闻图像的线条特征,v2为该新闻图像的颜色特征,v3为该新闻图像的纹理特征,v4为该新闻图像的物体特征;
以GRU网络获取语义特征{v1,v2,v3,v4}的正向GRU特征序列
Figure FDA0002246313380000011
和反向GRU特征序列
Figure FDA0002246313380000012
其中,
Figure FDA0002246313380000013
t∈[1,4];
Figure FDA0002246313380000014
Figure FDA0002246313380000015
拼接为该语义视觉特征{l1,l2,l3,l4},其中,
Figure FDA0002246313380000016
t∈[1,4],l1为线条视觉特征,l2为颜色特视觉特征,l3为纹理视觉特征,l4为物体视觉特征。
4.如权利要求3所述的新闻图像检测方法,其特征在于,获取该预测概率的过程具体包括:
通过注意力机制对该物理视觉特征{l0}和该语义视觉特征{l1,l2,l3,l4}进行特征价值增强,并融合为该新闻图像的特征向量表示u;其中,
Figure FDA0002246313380000021
i∈[0,4],αi为li的归一化权重;
通过具有Softmax激活的全连接层将特征向量表示u投影到两类目标空间,并获取该预测概率p,其中,该两类目标空间包括虚假新闻图像类别和真实新闻图像类别。
5.一种基于多域视觉特征的新闻图像检测系统,其特征在于,包括:
频域特征提取模块,用于提取新闻图像在各频域上的频域向量,获取该频域向量在对应频域上的频域特征,并将该频域特征拼接为该新闻图像的物理视觉特征;
像素域特征提取模块,用于获取该新闻图像在各语义上的语义特征,将该语义特征的正向GRU特征序列和反向GRU特征序列,拼接为该新闻图像的语义视觉特征;
融合预测模块,用于将该物理视觉特征和该语义视觉特征进行融合及逻辑回归分类,以获取该新闻图像为虚假新闻图像类别的预测概率。
6.如权利要求5所述的新闻图像检测系统,其特征在于,该频域特征提取模块具体包括:
频域网络构建模块,用于以卷积神经网络构建频域网络;
预处理模块,用于对该新闻图像进行离散余弦变换处理,以获得该新闻图像对应64个频域上对应的DCT系数直方图;
采样模块,用于对所有该DCT系数直方图进行一维傅里叶变换并采样,获得64个250维的频域向量{h0,h1,……,h63};
物理视觉特征获取模块,用于通过该频域网络获得频域向量{h0,h1,……,h63}对应的频域特征{w0,w1,……,w63},将频域特征{w0,w1,……,w63}拼接为该物理视觉特征{l0}。
7.如权利要求6所述的新闻图像检测系统,其特征在于,该像素域特征提取模块具体包括:
像素域网络构建模块,用于以卷积神经网络和循环神经网络构建像素域网络;
语义特征获取模块,用于通过该像素域网络对该新闻图像进行由局部语义到全局语义表示的逐层抽象的特征提取,以获得语义特征{v1,v2,v3,v4},其中,v1为该新闻图像的线条特征,v2为该新闻图像的颜色特征,v3为该新闻图像的纹理特征,v4为该新闻图像的物体特征;
语义视觉特征获取模块,用于以GRU网络获取语义特征{v1,v2,v3,v4}的正向GRU特征序列
Figure FDA0002246313380000031
和反向GRU特征序列
Figure FDA0002246313380000032
将正向GRU特征序列
Figure FDA0002246313380000033
和反向GRU特征序列
Figure FDA0002246313380000034
拼接为该语义视觉特征{l1,l2,l3,l4},其中,
Figure FDA0002246313380000035
t∈[1,4],l1为线条视觉特征,l2为颜色特视觉特征,l3为纹理视觉特征,l4为物体视觉特征。
8.如权利要求7所述的新闻图像检测系统,其特征在于,该融合预测模块具体包括:
特征融合模块,用于通过注意力机制对该物理视觉特征{l0}和该语义视觉特征{l1,l2,l3,l4}进行特征价值增强,并融合为该新闻图像的特征向量表示u;其中,
Figure FDA0002246313380000036
i∈[0,4],αi为li的归一化权重;
概率预测模块,用于通过具有Softmax激活的全连接层将特征向量表示u投影到两类目标空间,并获取该预测概率p,其中,该两类目标空间包括虚假新闻图像类别和真实新闻图像类别。
9.一种可读存储介质,存储有可执行指令,该可执行指令用于执行如权利要求1~4任一项所述的基于多域视觉特征的新闻图像检测方法。
10.一种数据处理装置,包括如权利要求9所述的可读存储介质,该数据处理装置调取并执行该可读存储介质中的可执行指令,以进行基于多域视觉特征的新闻图像检测。
CN201911018018.3A 2019-10-24 2019-10-24 基于多域视觉特征的新闻图像检测方法及系统、装置 Pending CN110889430A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911018018.3A CN110889430A (zh) 2019-10-24 2019-10-24 基于多域视觉特征的新闻图像检测方法及系统、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911018018.3A CN110889430A (zh) 2019-10-24 2019-10-24 基于多域视觉特征的新闻图像检测方法及系统、装置

Publications (1)

Publication Number Publication Date
CN110889430A true CN110889430A (zh) 2020-03-17

Family

ID=69746439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911018018.3A Pending CN110889430A (zh) 2019-10-24 2019-10-24 基于多域视觉特征的新闻图像检测方法及系统、装置

Country Status (1)

Country Link
CN (1) CN110889430A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611981A (zh) * 2020-06-28 2020-09-01 腾讯科技(深圳)有限公司 信息识别方法和装置及信息识别神经网络训练方法和装置
CN111754459A (zh) * 2020-04-27 2020-10-09 中国科学院信息工程研究所 基于统计深度特征的染色伪造图像检测方法及电子装置
CN111797326A (zh) * 2020-05-27 2020-10-20 中国科学院计算技术研究所 一种融合多尺度视觉信息的虚假新闻检测方法及系统
CN113239730A (zh) * 2021-04-09 2021-08-10 哈尔滨工业大学 一种基于计算机视觉的结构虚假模态参数自动剔除方法
CN113657380A (zh) * 2021-08-17 2021-11-16 福州大学 融合多模态注意力机制的图像美学质量评价方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090299999A1 (en) * 2009-03-20 2009-12-03 Loui Alexander C Semantic event detection using cross-domain knowledge
CN102521592A (zh) * 2011-11-30 2012-06-27 苏州大学 基于非清晰区域抑制的多特征融合显著区域提取方法
CN107807971A (zh) * 2017-10-18 2018-03-16 北京信息科技大学 一种自动图像语义描述方法
CN110019812A (zh) * 2018-02-27 2019-07-16 中国科学院计算技术研究所 一种用户自生产内容检测方法和系统
CN110210016A (zh) * 2019-04-25 2019-09-06 中国科学院计算技术研究所 基于风格引导的双线性神经网络虚假新闻检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090299999A1 (en) * 2009-03-20 2009-12-03 Loui Alexander C Semantic event detection using cross-domain knowledge
CN102521592A (zh) * 2011-11-30 2012-06-27 苏州大学 基于非清晰区域抑制的多特征融合显著区域提取方法
CN107807971A (zh) * 2017-10-18 2018-03-16 北京信息科技大学 一种自动图像语义描述方法
CN110019812A (zh) * 2018-02-27 2019-07-16 中国科学院计算技术研究所 一种用户自生产内容检测方法和系统
CN110210016A (zh) * 2019-04-25 2019-09-06 中国科学院计算技术研究所 基于风格引导的双线性神经网络虚假新闻检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PENG QI 等: "Exploiting Multi-domin Visual Information for Fake News Detection", 《HTTPS://ARXIV.ORG/ABS/1908.04472》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754459A (zh) * 2020-04-27 2020-10-09 中国科学院信息工程研究所 基于统计深度特征的染色伪造图像检测方法及电子装置
CN111754459B (zh) * 2020-04-27 2023-08-25 中国科学院信息工程研究所 基于统计深度特征的染色伪造图像检测方法及电子装置
CN111797326A (zh) * 2020-05-27 2020-10-20 中国科学院计算技术研究所 一种融合多尺度视觉信息的虚假新闻检测方法及系统
CN111797326B (zh) * 2020-05-27 2023-05-12 中国科学院计算技术研究所 一种融合多尺度视觉信息的虚假新闻检测方法及系统
CN111611981A (zh) * 2020-06-28 2020-09-01 腾讯科技(深圳)有限公司 信息识别方法和装置及信息识别神经网络训练方法和装置
CN113239730A (zh) * 2021-04-09 2021-08-10 哈尔滨工业大学 一种基于计算机视觉的结构虚假模态参数自动剔除方法
CN113239730B (zh) * 2021-04-09 2022-04-05 哈尔滨工业大学 一种基于计算机视觉的结构虚假模态参数自动剔除方法
CN113657380A (zh) * 2021-08-17 2021-11-16 福州大学 融合多模态注意力机制的图像美学质量评价方法
CN113657380B (zh) * 2021-08-17 2023-08-18 福州大学 融合多模态注意力机制的图像美学质量评价方法

Similar Documents

Publication Publication Date Title
CN110889430A (zh) 基于多域视觉特征的新闻图像检测方法及系统、装置
CN111079444B (zh) 一种基于多模态关系的网络谣言检测方法
Huh et al. Fighting fake news: Image splice detection via learned self-consistency
CN111797326B (zh) 一种融合多尺度视觉信息的虚假新闻检测方法及系统
CN113591902B (zh) 基于多模态预训练模型的跨模态理解与生成方法和装置
CN113094549A (zh) 一种视频分类方法、装置、电子设备和存储介质
CN115309860B (zh) 基于伪孪生网络的虚假新闻检测方法
JP2022547248A (ja) コンテンツ配信画像の自動生成のためのスケーラブルアーキテクチャ
Yang et al. Sentiment enhanced multi-modal hashtag recommendation for micro-videos
CN115470488A (zh) 目标风险网站检测方法、装置及存储介质
CN112100464A (zh) 结合动态兴趣与专业知识的问答社区专家推荐方法及系统
US8788498B2 (en) Labeling data samples using objective questions
Eldridge II Perceiving professional threats: Journalism’s discursive reaction to the rise of new media entities
CN116756576B (zh) 数据处理方法、模型训练方法、电子设备及存储介质
CN112016493A (zh) 图像描述方法、装置、电子设备及存储介质
CN116977701A (zh) 视频分类模型训练的方法、视频分类的方法和装置
CN116955707A (zh) 内容标签的确定方法、装置、设备、介质及程序产品
CN112035670B (zh) 基于图像情感倾向的多模态谣言检测方法
Arya et al. Predicting behavioural patterns in discussion forums using deep learning on hypergraphs
CN111476131B (zh) 一种视频处理方法和装置
Manna et al. IFChatbot: Convolutional Neural Network based chatbot for Image Forgery Detection and Localization
Ivezić et al. Trends and Challenges of Text-to-Image Generation: Sustainability Perspective
CN117874607A (zh) 一种虚假新闻早期检测方法、系统、设备、介质
CN116980646A (zh) 视频数据处理方法、装置、设备及可读存储介质
CN117892217A (zh) 基于因果推断的公众号推文多模态题文不符判别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200317