CN110889430A - 基于多域视觉特征的新闻图像检测方法及系统、装置 - Google Patents

Abstract

本发明涉及一种基于多域视觉特征的新闻图像检测方法，包括：提取新闻图像在各频域上的频域向量，获取该频域向量在对应频域上的频域特征，并将该频域特征拼接为该新闻图像的物理视觉特征；获取该新闻图像在各语义上的语义特征，将该语义特征的正向GRU特征序列和反向GRU特征序列，拼接为该新闻图像的语义视觉特征；将该物理视觉特征和该语义视觉特征进行融合及逻辑回归分类，以获取该新闻图像为虚假新闻图像类别的预测概率。本发明基于对虚假新闻图像特点的深入分析，设计了一个深度学习模型，能够充分建模并融合图像在频率域以及像素域的特点，从而实现利用视觉内容对虚假新闻的自动检测。

Description

基于多域视觉特征的新闻图像检测方法及系统、装置

技术领域

本发明涉及信息检测领域，特别涉及一种新闻可信度认证检测方法和系统。

背景技术

近年来社交媒体凭借进入门槛低、数据量大、分享自由及时等优势，已成为重要的新闻信息来源，人们逐渐习惯在社交媒体上获取最新的新闻并自由的发表自己的观点。然而，社交媒体的便利性和开放性也为虚假新闻的传播提供了极大的便利，造成了很多消极的社会影响。如，知名媒体发布的假新闻，将不可避免的对投票者产生误导，从而影响了投票的结果。能否利用技术手段对虚假新闻进行自动检测已经成为自媒体时代亟待解决的问题。

多媒体技术的发展促进了自媒体新闻从传统的基于文本的新闻形式向基于多媒体内容的新闻形式转变。与单纯的文本内容相比，多媒体内容能够更好的描述新闻事件，吸引更多读者的注意。据统计，带图像新闻的平均转发数是纯文本新闻的11倍。然而，这一趋势也给虚假新闻创造了新的契机。虚假新闻经常利用极具误导性的甚至篡改的图像去吸引和误导读者，从而促进虚假新闻的快速传播。因此，视觉内容已经变成了虚假新闻中不可忽视的一部分。

现有的虚假新闻检测方法主要关注于文本内容及社交上下文。随着多媒体内容的流行，研究人员开始结合视觉信息来检测虚假新闻。这些基于视觉信息的工作可以被分为三类：基于视觉统计特征、视觉取证特征，以及视觉语义特征的工作。

基于视觉统计特征的工作使用对新闻中图像的统计特征帮助甄别虚假新闻，如配图的数目，图像流行度，及图像类型等。但是这些统计特征过于基本，无法刻画虚假新闻复杂的视觉模式。

视觉取证特征通常被用于检测图像篡改。为了验证新闻配图的真实性，一些工作利用视觉取证特征，如块状效应等，来辅助虚假新闻的检测。如，MediaEval在2015和2016年举办的多媒体认证任务，提供了7种视觉取证特征来帮助检测多媒体内容的篡改和误用。基于这些取证特征，L.Wu等人设计了更高层的取证特征，并结合文本特征及用户特征来解决新闻认证问题。然而，大部分的取证特征都是为了检测某种特定的篡改痕迹人工设计的，不能检测虚假新闻图像中未经篡改的真实图像。另外，这些手工特征需要经过专家设计，耗费人力，而且不能捕捉到复杂的模式。这些限制导致视觉取证特征在实际的虚假新闻检测任务中表现较差。

随着卷积神经网络的流行，大部分基于多媒体内容的工作使用预训练的深度卷积神经网络获得通用的视觉表达，并和文本信息进行融合用于检测虚假新闻。Z.Jin等第一次通过深度神经网络的方法融合多模态的内容来解决虚假新闻检测问题；Y.Wang等人提出了一种事件对抗的神经网络，利用多模态的特征检测新出现的虚假新闻事件；K.Dhruv等人提出了一种基于自编码的方法来学习多模态信息的共享表达，用于进行虚假新闻检测。然而，这些工作更加专注于如何融合不同模态的信息，忽略了对视觉内容这一模态的有效建模。由于缺乏任务相关的信息，这些工作所采取的通用的视觉表达不能反映虚假新闻图像的本质特征，削弱了视觉内容在虚假新闻检测任务中的表现。

发明内容

为解决上述问题，本发明提出一种基于多域视觉特征的新闻图像检测方法，包括：提取新闻图像在各频域上的频域向量，获取该频域向量在对应频域上的频域特征，并将该频域特征拼接为该新闻图像的物理视觉特征；获取该新闻图像在各语义上的语义特征，将该语义特征的正向GRU特征序列和反向GRU特征序列，拼接为该新闻图像的语义视觉特征；将该物理视觉特征和该语义视觉特征进行融合及逻辑回归分类，以获取该新闻图像为虚假新闻图像类别的预测概率。

本发明所述的新闻图像检测方法，其中获取该物理视觉特征的过程具体包括：以卷积神经网络构建频域网络；对该新闻图像进行离散余弦变换处理，以获得该新闻图像对应64个频域上对应的DCT系数直方图；对所有该DCT系数直方图进行一维傅里叶变换并采样，获得64个250维的频域向量{h₀,h₁,……,h₆₃}；通过该频域网络获得频域向量{h₀,h₁,……,h₆₃}对应的频域特征{w₀,w₁,……,w₆₃}；将频域特征{w₀,w₁,……,w₆₃}拼接为该物理视觉特征{l₀}。

本发明所述的新闻图像检测方法，其中获取该语义视觉特征的过程具体包括：以卷积神经网络和循环神经网络构建像素域网络；通过该像素域网络对该新闻图像进行由局部语义到全局语义表示的逐层抽象的特征提取，以获得语义特征{v₁,v₂,v₃,v₄}，其中，v₁为该新闻图像的线条特征，v₂为该新闻图像的颜色特征，v₃为该新闻图像的纹理特征，v₄为该新闻图像的物体特征；以GRU网络获取语义特征{v₁,v₂,v₃,v₄}的正向GRU特征序列

和反向GRU特征序列

其中，

将

和

拼接为该语义视觉特征{l₁,l₂,l₃,l₄}，其中，

l₁为线条视觉特征，l₂为颜色特视觉特征，l₃为纹理视觉特征，l₄为物体视觉特征。

本发明所述的新闻图像检测方法，其中获取该预测概率的过程具体包括：通过注意力机制对该物理视觉特征{l₀}和该语义视觉特征{l₁,l₂,l₃,l₄}进行特征价值增强，并融合为该新闻图像的特征向量表示u；其中，

α_i为l_i的归一化权重；通过具有Softmax激活的全连接层将特征向量表示u投影到两类目标空间，并获取该预测概率p，其中，该两类目标空间包括虚假新闻图像类别和真实新闻图像类别。

本发明还提出一种基于多域视觉特征的新闻图像检测系统，包括：频域特征提取模块，用于提取新闻图像在各频域上的频域向量，获取该频域向量在对应频域上的频域特征，并将该频域特征拼接为该新闻图像的物理视觉特征；像素域特征提取模块，用于获取该新闻图像在各语义上的语义特征，将该语义特征的正向GRU特征序列和反向GRU特征序列，拼接为该新闻图像的语义视觉特征；融合预测模块，用于将该物理视觉特征和该语义视觉特征进行融合及逻辑回归分类，以获取该新闻图像为虚假新闻图像类别的预测概率。

本发明所述的新闻图像检测系统，其中该频域特征提取模块具体包括：频域网络构建模块，用于以卷积神经网络构建频域网络；预处理模块，用于对该新闻图像进行离散余弦变换处理，以获得该新闻图像对应64个频域上对应的DCT系数直方图；采样模块，用于对所有该DCT系数直方图进行一维傅里叶变换并采样，获得64个250维的频域向量{h₀,h₁,……,h₆₃}；物理视觉特征获取模块，用于通过该频域网络获得频域向量{h₀,h₁,……,h₆₃}对应的频域特征{w₀,w₁,……,w₆₃}，将频域特征{w₀,w₁,……,w₆₃}拼接为该物理视觉特征{l₀}。

本发明所述的新闻图像检测系统，其中该像素域特征提取模块具体包括：像素域网络构建模块，用于以卷积神经网络和循环神经网络构建像素域网络；语义特征获取模块，用于通过该像素域网络对该新闻图像进行由局部语义到全局语义表示的逐层抽象的特征提取，以获得语义特征{v₁,v₂,v₃,v₄}，其中，v₁为该新闻图像的线条特征，v₂为该新闻图像的颜色特征，v₃为该新闻图像的纹理特征，v₄为该新闻图像的物体特征；语义视觉特征获取模块，用于以GRU网络获取语义特征{v₁,v₂,v₃,v₄}的正向GRU特征序列

和反向GRU特征序列

将正向GRU特征序列

和反向GRU特征序列

拼接为该语义视觉特征{l₁,l₂,l₃,l₄}，其中，

l₁为线条视觉特征，l₂为颜色特视觉特征，l₃为纹理视觉特征，l₄为物体视觉特征。

本发明所述的新闻图像检测系统，其中该融合预测模块具体包括：特征融合模块，用于通过注意力机制对该物理视觉特征{l₀}和该语义视觉特征{l₁,l₂,l₃,l₄}进行特征价值增强，并融合为该新闻图像的特征向量表示u；其中，

α_i为l_i的归一化权重；概率预测模块，用于通过具有Softmax激活的全连接层将特征向量表示u投影到两类目标空间，并获取该预测概率p，其中，该两类目标空间包括虚假新闻图像类别和真实新闻图像类别。

本发明还提出一种可读存储介质，存储有可执行指令，该可执行指令用于执行如上所述的基于多域视觉特征的新闻图像检测方法。

本发明还提出一种数据处理装置，包括如上所述的可读存储介质，该数据处理装置调取并执行该可读存储介质中的可执行指令，以进行基于多域视觉特征的新闻图像检测。

附图说明

图1是本发明的基于多域视觉特征的新闻图像检测方法流程图。

图2是本发明的频域网络结构示意图。

图3是本发明的像素域网络结构示意图。

图4是本发明的基于多域视觉特征的新闻图像检测系统结构示意图。

图5是本发明的数据处理装置示意图

具体实施方式

为了使本发明的技术方案更加清晰明了，以下结合附图对本发明进一步详细说明，应当理解，此处所描述的具体实例仅仅用以解释本发明，并不限定于本发明。

本发明的目的是对虚假新闻进行有效的自动检测，主要解决的技术问题为如何基于新闻的视觉内容，建立有效的深度学习模型进行虚假新闻检测。

发明人在对虚假新闻的视觉模态(即虚假新闻的配图)进行研究时，发现虚假新闻图像不仅包含被恶意篡改的虚假图像，也包含被错误的用来表示不相关事件的真实图像。现有的技术只适合建模某一类型的虚假新闻图像，无法捕捉到虚假新闻图像的本质特征。发明人经过研究发现，虚假新闻图像在物理及语义层面均存在显著的特点，分别在频域及像素域(也称为空间域)上具有明显的表现。因此，本发明针对虚假新闻图像的特征设计相应的深度学习模型，深入挖掘图像在频域及像素域上潜在的视觉模式并进行高效表达和融合，提高利用视觉内容进行虚假新闻自动甄别的效果。

本发明主要的关键点在于基于对虚假新闻图像特点的深入分析，设计了一个深度学习模型，能够充分建模并融合图像在频率域以及像素域的特点，从而实现利用视觉内容对虚假新闻的自动检测。具体包括对虚假新闻图像物理特征的建模，对虚假新闻图像语义特征的建模，以及对物理特征及语义特征的融合三个关键点的设计。

1、针对虚假新闻图像在物理层面的特点，设计有效的频域子网络对其进行建模。虚假新闻图像在物理层面呈现出低质量的特点，如具有多重压缩痕迹及篡改痕迹等。经过多重压缩和篡改的图像在频域上往往呈现出周期性的特点，因此本发明设计了一个基于CNN(卷积神经网络)的网络捕捉虚假新闻图像在频域上的特征。

2、针对虚假新闻图像在语义层面的特点，设计有效的像素域子网络对其进行建模。虚假新闻图像在语义层面呈现出视觉冲击及情感煽动的风格特点，因此本发明设计了一个多分支的CNN-RNN(卷积神经网络-循环神经网络)网络来捕捉虚假新闻图像在不同语义层次上的特征。

3、为了充分考虑虚假新闻图像在物理及语义层面的特点，设计有效的融合子网络对两个子网络的特征向量进行融合。考虑到不同域的特征对最终任务的贡献是不一致且动态变化的，因此本发明基于注意力机制(attention机制)对频域和像素域的特征向量进行自适应的融合。

本发明的主要目标之一是利用视觉内容对用户发布的包含新闻图像的新闻消息进行虚假信息的自动甄别，因此可以将具体任务定义为根据视觉内容对新闻是否属于虚假新闻进行二分类。

虚假新闻图像在频域及像素域上具有明显的特点。因此，为了充分建模虚假新闻图像的视觉特征，本发明设计了一个深度学习模型，深入挖掘图像在频域及像素域上潜在的视觉模式并进行高效表达和融合，提高利用视觉内容进行虚假新闻自动甄别的效果。

基于上述，本发明提出一种基于多域视觉特征的新闻图像检测方法，包括：提取新闻图像在各频域上的频域向量，获取该频域向量在对应频域上的频域特征，并将该频域特征拼接为该新闻图像的物理视觉特征；获取该新闻图像在各语义上的语义特征，将该语义特征的正向GRU特征序列和反向GRU特征序列，拼接为该新闻图像的语义视觉特征；将该物理视觉特征和该语义视觉特征进行融合及逻辑回归分类，以获取该新闻图像为虚假新闻图像类别的预测概率。

本发明所述的新闻图像检测方法，其中获取该物理视觉特征的过程具体包括：以卷积神经网络构建频域网络；对该新闻图像进行离散余弦变换处理，以获得该新闻图像对应64个频域上对应的DCT系数直方图；对所有该DCT系数直方图进行一维傅里叶变换并采样，获得64个250维的频域向量{h₀,h₁,……,h₆₃}；通过该频域网络获得频域向量{h₀,h₁,……,h₆₃}对应的频域特征{w₀,w₁,……,w₆₃}；将频域特征{w₀,w₁,……,w₆₃}拼接为该物理视觉特征{l₀}。

本发明所述的新闻图像检测方法，其中获取该语义视觉特征的过程具体包括：以卷积神经网络和循环神经网络构建像素域网络；通过该像素域网络对该新闻图像进行由局部语义到全局语义表示的逐层抽象的特征提取，以获得语义特征{v₁,v₂,v₃,v₄}，其中，v₁为该新闻图像的线条特征，v₂为该新闻图像的颜色特征，v₃为该新闻图像的纹理特征，v₄为该新闻图像的物体特征；以GRU网络获取语义特征{v₁,v₂,v₃,v₄}的正向GRU特征序列

和反向GRU特征序列

其中，

将

和

拼接为该语义视觉特征{l₁,l₂,l₃,l₄}，其中，

l₁为线条视觉特征，l₂为颜色特视觉特征，l₃为纹理视觉特征，l₄为物体视觉特征。

本发明所述的新闻图像检测方法，其中获取该预测概率的过程具体包括：通过注意力机制对该物理视觉特征{l₀}和该语义视觉特征{l₁,l₂,l₃,l₄}进行特征价值增强，并融合为该新闻图像的特征向量表示u；其中，

α_i为l_i的归一化权重；通过具有Softmax激活的全连接层将特征向量表示u投影到两类目标空间，并获取该预测概率p，其中，该两类目标空间包括虚假新闻图像类别和真实新闻图像类别。

图1是本发明的基于多域视觉特征的新闻图像检测方法流程图。如图1所示，本发明的基于多域视觉特征的新闻图像检测方法包括：

步骤S10，获取新闻图像的物理视觉特征，具体包括：

步骤S11，以卷积神经网络(CNN)构建频域网络；本发明通过频域网络来获取新闻图像的物理视觉特征，即首先将输入的新闻图像从像素域转换为频域，然后采用基于CNN的频域网络模型对新闻图像的频域特征进行建模；图2是本发明的频域网络结构示意图。如图2所示，于本发明的实施例中，频域网络由三个卷积层和一个全连接层组成，每个卷积层由一个一维卷积层和一个最大池化层组成；为了加速CNN网络模型的收敛，本发明将卷积层中的滤波器的数目设置为递增的；

步骤S12，对于新闻消息中的新闻图像，对其采取分块的离散余弦变换，以获得该图像在64个频率上对应的DCT系数直方图，并对这些DCT系数直方图进行一维傅立叶变换，以增强CNN的效果；考虑到CNN需要一个固定大小的输入，本发明对这些系数直方图进行采样，得到64个250维向量，可以表示为{h₀,h₁,……,h₆₃}；

步骤S13，经过上述处理后，将每个频率的向量h送入共享权重的频域网络，得到相应的特征表示{w₀,w₁,……,w₆₃}；

步骤S14，将64个频域的特征{w₀,w₁,……,w₆₃}拼接起来，经过一个全连接层，得到新闻图像的频域表示，即新闻图像的物理视觉特征{l₀}，作为频域网络的输出；

步骤S20，获取新闻图像的语义视觉特征，具体包括：

步骤S21，以卷积神经网络-循环神经网络(CNN-RNN)构建像素域网络；CNN通过从局部到全局的逐层抽象来学习高级的语义表示，其中低层更偏向于颜色、线条和形状等低级特征，而高层更倾向于关注目标等高级特征。在抽象的过程中，底层特征不可避免地会受到一些损失，这表明CNN底层和中间层的特征可以为顶层的特征提供补充信息。一方面，许多视觉工作已经证明，将CNN中不同层的特征进行融合，可以帮助模型实现更好的性能，如显著性检测和图像情感分类。另一方面，虚假新闻图像通常会表现出视觉冲击及情感煽动的风格特性，这与从低级到高级的许多视觉因素有关。因此，为了充分捕捉虚假新闻图像的语义特征，本发明构建了一个多分支的CNN网络来分别提取多个视觉层次的语义特征，并利用双向门控循环神经网络(Bi-GRU)来建模这些不同层次的语义特征之间的时序依赖关系；图3是本发明的像素域网络结构示意图。如图3所示，像素域网络主要由4个块组成，每个块又由3×3和1×1卷积层和最大池化层组成；

步骤S22，将新闻图像送入像素域网络，从四个分支提取的特征经过1×1的卷积层和全连接层，得到相应的特征向量v_t,t∈[1,4]。这些特征向量代表新闻图像的不同部分，如线条、颜色、纹理和物体，它们表示从局部视图到全局视图的不同级别的特征；受GoogeNet中Inception模块的启发，本发明使用1×1卷积层对特征向量进行降维并增加模型的表示能力，因为它增加了非线性激活，促进了不同通道的信息融合；

步骤S23，通常情况下，不同级别的语义特征之间有很强的依赖性，例如，纹理等中级特征由线条等低级特征组成，同时又构成目标等高级特征；因此，本发明利用GRU来建模低级和高级的语义特征之间的依赖关系，即，本发明从将这些不同层次的特征建模为序列v＝v_t,t∈[1,4]，其中v_t代表从像素域网络第t个分支提取的视觉特征，作为GRU第t个时间步的输入(GRU输入序列的第t个元素)。那么，在第t个时间步时，GRU中的整个信息流可以表示为：

r_t＝σ(W_r[v_t，h_t-1]+b_r) (1)

z_t＝σ(W_z[υ_t，h_t-1]+b_z) (2)

其中，r_t，z_t，

h_t分别表示重置门、更新门、候选隐层状态和隐层状态。W是权重矩阵，b是偏差。此外，σ代表sigmoid函数，⊙表示元素乘法。

考虑到不同层次特征之间的依赖性可以分为局部到全局以及全局到局部两个方面，本发明利用双向GRU从两个不同的角度对特征序列进行建模。Bi-GRU包含了从v₁到v₄的正向GRU，和从v₄到v₁的反向GRU：

步骤S24，对于每个时间步骤t，本发明将前向隐藏状态

和后向隐藏状态

拼接起来获得该时间步的隐层表示，即

步骤S30，将上述步骤得到的物理视觉特征和语义视觉特征进行融合及逻辑回归分类，以获取新闻图像的分类；

步骤S31，视觉特征融合；图像的物理和语义特征在检测虚假新闻时是互补的，因此本发明提出了融合子网络来融合这些特征，即利用频域子网络的输出{l₀}和像素域子网络的输出{l₁,l₂,l₃,l₄}对是否虚假新闻进行预测。其中，l₁、l₂、l₃、l₄表示不同语义级别的视觉特征，l₀表示物理级别的视觉特征。直观地说，并不是所有的特征都对假新闻的检测起到同样的作用，这意味着一些视觉特征在评价一个给定的图像是虚假新闻图像还是真实新闻图像中起着更重要的作用。例如，对于一些具有明显篡改痕迹的篡改图像，物理特征比语义特征在检测虚假新闻上表现得更好；对于一些没有经历过严重重压缩的误导性图像，语义特征更为有效。因此，本发明通过注意力机制来突出这些有价值的特征，增强后的图像表示u计算如下：

其中，W_f表示特征融合权重矩阵，b_f表示偏置，v^T表示转置后的权重向量，

是衡量每个特征向量重要性的得分函数。然后，通过一个softmax函数得到第i个特征向量的归一化权重α_i，并计算不同特征向量的加权和作为图像的高级表示。向量v在训练过程中被随机初始化，并在网络训练的过程中进行优化。

步骤S32，使用具有Softmax激活的全连接层将该特征向量u投影到两类目标空间：虚假新闻图像和真实新闻图像，并获得概率分布：

p＝softmax(W_cu+b_c) (10)

其中，W_c是概率分布权重矩阵，b_c是概率分布偏差向量。

本发明将损失函数定义为预测概率分布和真实值之间的交叉熵误差：

L＝-Σ[ylogp+(1-y)log(1-p)] (11)

其中y为新闻图像的真实值，y为1代表新闻图像为虚假新闻图像，为0代表新闻图像为真实新闻图像，p代表新闻图像为虚假新闻图像的预测概率。

本发明还提出一种基于多域视觉特征的新闻图像检测系统，图4是本发明的基于多域视觉特征的新闻图像检测系统结构示意图。如图4所示，本发明的新闻图像检测系统包括频域特征提取模块、像素域特征提取模块和融合预测模块，其中频域特征提取模块的核心是CNN网络构建的频域子网络，用于提取新闻图像在各频域上的频域向量，获取该频域向量在对应频域上的频域特征，并将该频域特征拼接为该新闻图像的物理视觉特征；像素域特征提取模块的核心是，CNN-RNN网路构建的像素域子网络，用于获取该新闻图像在各语义上的语义特征，将该语义特征的正向GRU特征序列和反向GRU特征序列，拼接为该新闻图像的语义视觉特征；融合预测模块(融合子网络)用于通过注意力机制(attention机制)，将频域特征提取模块获得的物理视觉特征，与像素域特征提取模块获得的语义视觉特征进行融合，并进行逻辑回归分类，以将输入的新闻图像分类为虚假新闻图像或真实新闻图像。

图5是本发明的数据处理装置示意图。如图5所示，本发明实施例还提供一种可读存储介质，以及一种数据处理装置。本发明的可读存储介质存储有计可执行指令，可执行指令被数据处理装置的处理器执行时，实现上述基于多域视觉特征的新闻图像检测方法。本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器)完成，所述程序可以存储于可读存储介质中，如只读存储器、磁盘或光盘等。上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块可以采用硬件的形式实现，例如通过集成电路来实现其相应功能，也可以采用软件功能模块的形式实现，例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明实施例不限制于任何特定形式的硬件和软件的结合。

本发明主要基于新闻消息的视觉内容实现虚假新闻的有效甄别，与现有技术相比，本发明在不增加额外数据的前提下，与现有技术相比实现了性能的大幅提升。具体来说，针对利用视觉内容检测虚假新闻的任务上，本发明与现有技术相比，在业内公开的数据集上实现了至少9.2个百分点的准确度提升。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中的普通技术人员，在不脱离本发明的精神和范围内，可以做出若干变形和改进，故本发明的保护范围当视后附的申请专利范围所界定者为准。

Claims (10)

1.一种基于多域视觉特征的新闻图像检测方法，其特征在于，包括：

提取新闻图像在各频域上的频域向量，获取该频域向量在对应频域上的频域特征，并将该频域特征拼接为该新闻图像的物理视觉特征；

获取该新闻图像在各语义上的语义特征，将该语义特征的正向GRU特征序列和反向GRU特征序列，拼接为该新闻图像的语义视觉特征；

将该物理视觉特征和该语义视觉特征进行融合及逻辑回归分类，以获取该新闻图像为虚假新闻图像类别的预测概率。

2.如权利要求1所述的新闻图像检测方法，其特征在于，获取该物理视觉特征的过程具体包括：

以卷积神经网络构建频域网络；

对该新闻图像进行离散余弦变换处理，以获得该新闻图像对应64个频域上对应的DCT系数直方图；

对所有该DCT系数直方图进行一维傅里叶变换并采样，获得64个250维的频域向量{h₀,h₁,……,h₆₃}；

通过该频域网络获得频域向量{h₀,h₁,……,h₆₃}对应的频域特征{w₀,w₁,……,w₆₃}；

将频域特征{w₀,w₁,……,w₆₃}拼接为该物理视觉特征{l₀}。

3.如权利要求2所述的新闻图像检测方法，其特征在于，获取该语义视觉特征的过程具体包括：

以卷积神经网络和循环神经网络构建像素域网络；

通过该像素域网络对该新闻图像进行由局部语义到全局语义表示的逐层抽象的特征提取，以获得语义特征{v₁,v₂,v₃,v₄}，其中，v₁为该新闻图像的线条特征，v₂为该新闻图像的颜色特征，v₃为该新闻图像的纹理特征，v₄为该新闻图像的物体特征；

以GRU网络获取语义特征{v₁,v₂,v₃,v₄}的正向GRU特征序列

和反向GRU特征序列

其中，

t∈[1，4]；

将

和

拼接为该语义视觉特征{l₁,l₂,l₃,l₄}，其中，

t∈[1,4]，l₁为线条视觉特征，l₂为颜色特视觉特征，l₃为纹理视觉特征，l₄为物体视觉特征。

4.如权利要求3所述的新闻图像检测方法，其特征在于，获取该预测概率的过程具体包括：

通过注意力机制对该物理视觉特征{l₀}和该语义视觉特征{l₁,l₂,l₃,l₄}进行特征价值增强，并融合为该新闻图像的特征向量表示u；其中，

i∈[0,4]，α_i为l_i的归一化权重；

通过具有Softmax激活的全连接层将特征向量表示u投影到两类目标空间，并获取该预测概率p，其中，该两类目标空间包括虚假新闻图像类别和真实新闻图像类别。

5.一种基于多域视觉特征的新闻图像检测系统，其特征在于，包括：

频域特征提取模块，用于提取新闻图像在各频域上的频域向量，获取该频域向量在对应频域上的频域特征，并将该频域特征拼接为该新闻图像的物理视觉特征；

像素域特征提取模块，用于获取该新闻图像在各语义上的语义特征，将该语义特征的正向GRU特征序列和反向GRU特征序列，拼接为该新闻图像的语义视觉特征；

融合预测模块，用于将该物理视觉特征和该语义视觉特征进行融合及逻辑回归分类，以获取该新闻图像为虚假新闻图像类别的预测概率。

6.如权利要求5所述的新闻图像检测系统，其特征在于，该频域特征提取模块具体包括：

频域网络构建模块，用于以卷积神经网络构建频域网络；

预处理模块，用于对该新闻图像进行离散余弦变换处理，以获得该新闻图像对应64个频域上对应的DCT系数直方图；

采样模块，用于对所有该DCT系数直方图进行一维傅里叶变换并采样，获得64个250维的频域向量{h₀,h₁,……,h₆₃}；

物理视觉特征获取模块，用于通过该频域网络获得频域向量{h₀,h₁,……,h₆₃}对应的频域特征{w₀,w₁,……,w₆₃}，将频域特征{w₀,w₁,……,w₆₃}拼接为该物理视觉特征{l₀}。

7.如权利要求6所述的新闻图像检测系统，其特征在于，该像素域特征提取模块具体包括：

像素域网络构建模块，用于以卷积神经网络和循环神经网络构建像素域网络；

语义特征获取模块，用于通过该像素域网络对该新闻图像进行由局部语义到全局语义表示的逐层抽象的特征提取，以获得语义特征{v₁,v₂,v₃,v₄}，其中，v₁为该新闻图像的线条特征，v₂为该新闻图像的颜色特征，v₃为该新闻图像的纹理特征，v₄为该新闻图像的物体特征；

语义视觉特征获取模块，用于以GRU网络获取语义特征{v₁,v₂,v₃,v₄}的正向GRU特征序列

和反向GRU特征序列

将正向GRU特征序列

和反向GRU特征序列

拼接为该语义视觉特征{l₁,l₂,l₃,l₄}，其中，

t∈[1,4]，l₁为线条视觉特征，l₂为颜色特视觉特征，l₃为纹理视觉特征，l₄为物体视觉特征。

8.如权利要求7所述的新闻图像检测系统，其特征在于，该融合预测模块具体包括：

特征融合模块，用于通过注意力机制对该物理视觉特征{l₀}和该语义视觉特征{l₁,l₂,l₃,l₄}进行特征价值增强，并融合为该新闻图像的特征向量表示u；其中，

i∈[0,4]，α_i为l_i的归一化权重；

概率预测模块，用于通过具有Softmax激活的全连接层将特征向量表示u投影到两类目标空间，并获取该预测概率p，其中，该两类目标空间包括虚假新闻图像类别和真实新闻图像类别。

9.一种可读存储介质，存储有可执行指令，该可执行指令用于执行如权利要求1～4任一项所述的基于多域视觉特征的新闻图像检测方法。

10.一种数据处理装置，包括如权利要求9所述的可读存储介质，该数据处理装置调取并执行该可读存储介质中的可执行指令，以进行基于多域视觉特征的新闻图像检测。

Images