CN112257741A - 一种基于复数神经网络的生成性对抗虚假图片的检测方法 - Google Patents

Abstract

本发明公开了一种基于复数神经网络的生成性对抗虚假图片的检测方法，属于对抗性网络生成图像检测技术领域。首先利用通用对抗性网络获得生成性对抗虚假图像，将真实图像和生成性对抗虚假图片作为训练样本图像并标记标签；然后获取预处理后的训练样本图像的特征图，对复数神经网络分类器进行训练，利用训练好的复数神经网络分类器对待检测的图片进行识别，标记出检测到的虚假图片。本发明基于复数卷积神经网络来搭建分类器网络，对图片经过图像预处理操作后，再进行傅里叶变换转换为实数部分和虚数部分，因此保留了原始数据的实数部分和虚数部分的分布，实现了更快更准确地判断图像的真假。

Description

一种基于复数神经网络的生成性对抗虚假图片的检测方法

技术领域

本发明属于对抗性网络生成图像检测技术领域，涉及一种通过复数神经网络来检测对抗性网络生成的虚假图片，从而抵御对抗性图片攻击。

背景技术

卷积神经网络是深度学习进行视觉特征提取的有力工具，随着深度学习理论的发展和硬件设备的升级，卷积神经网络在这些年得到飞速发展。复数作为实数域的拓展，具有丰富的表示能力、从复数的形式可以看出复数可以拆分为实部与虚部，也就是说两个实数可以分别当作复数的实部和虚部，而且复数还可以表示为极坐标形式，包括模值和角度两个参数。复数网络越来越广泛应用在语音识别、图像识别以及自然语言处理等方面。

在图像识别领域，基于对抗网络生成的图像技术越来越成熟，生成的图像足以以假乱真，难以通过人眼来进行区分。

目前，检测生成性对抗网络的虚假图片的方法通常是收集不同GAN模型网络生成的图片，分别添加标签送入分类器网络进行训练。采用这种方式，往往需要收集不同对抗性模型生成的图像作为数据集，训练时间长，难以对特定的网络模型生成的图片进行区分，可移植性差。

此外，有研究人员根据生成性虚假图片的通用特质来设计通用网络模型，经过通用网络模型来生成通用的虚假图片作为分类器的数据集，但是其往往将图像逐像素作为输入来检测真假图像，但由于生成性图像在实数域上难以显现具体的特征，对于网络训练很难达到理想的分辨效果。

综上，针对深度神经网络受到精心设计的对抗样本攻击，现有技术的检测效果较差，往往会导致网络模型输出错误的预测结果，如何有效检测和防御对抗性攻击具有重要意义。

发明内容

本发明的目的是克服现有技术中针对生成性对抗虚假图片的识别效果较差的问题，提出一种基于复数神经网络的生成性对抗虚假图片的检测方法。本发明用来判别真假图片的分类器网络结构基于复数卷积神经网络搭建，生成的虚假图片和原真实图片分别标注标签作为分类器网络的数据集，经过图像预处理操作后，进行傅里叶变换转换为实数部分和虚数部分，因此保留了原始数据的实数部分和虚数部分的分布，实现了更快更准确地判断图像的真假。

为了实现上述目的，本发明采用如下技术方案：

一种基于复数神经网络的生成性对抗虚假图片的检测方法，包括如下步骤：

1)采集真实图像数据，利用通用对抗性网络获得生成性对抗虚假图像；将真实图像和生成性对抗虚假图片作为训练样本图像并标记标签；

2)将训练样本图像进行预处理，并对预处理后的图像经二维傅里叶变换获得幅度图和相位图，对所述幅度图和相位图进行归一化处理；

3)建立一个包含若干个复数卷积块构成的复数神经网络，将每一个训练样本图像的幅度图和相位图进行通道合并，采用幅度图作为复数神经网络的实部输入，采用相位图作为复数神经网络的虚部输入，对复数神经网络进行训练；

4)利用训练好的复数神经网络对待检测的图片进行识别，标记出检测到的虚假图片。

进一步的，在步骤1)中，将采集到的真实图像样本作为AutoGAN生成性对抗网络的输入，输出虚假图像样本；所述AutoGAN生成性对抗网络包括由下采样层组成的编码部分和由上采样层组成的解码部分。

进一步的，所述AutoGAN生成性对抗网络的损失函数为：

其中，I_i表示第i张真实图像样本，D(I_i)表示以I_i作为输入的判别器的输出结果，G(I_i)表示以I_i作为输入的生成器的输出结果，n为真实图像样本的数目，λ为模型参数，||·||是范数。

进一步的，将训练样本图像进行预处理，所述预处理包括水平方向旋转、概率为0.5的伽马变换、概率为0.9的明亮度变换和概率为0.9的图像HSV变换。

进一步的，以Xavier方式对复数神经网络中的复数权重矩阵进行初始化。

进一步的，所述复数神经网络包含三个复数卷积块，前一个复数卷积块的输出作为后一个复数卷积块的输入，最后一个复数卷积块的输出经一维展开后再通过两层全连接层输出最终结果。

进一步的，第一层全连接层的单位为128，最后一层全连接层的单位为1；以最终输出的复数的模作为最终结果，与标签值进行损失计算。

进一步的，所述的复数卷积块由一层复数二维卷积层、复数批正则化层和复数激活层构成。

进一步的，所述复数二维卷积层的运算公式为：

其中，R(W*h)表示输出的实部，I(W*h)表示输出的虚部，W为复数权重矩阵，A为复数权重中的实部，B为复数权重中的虚部，x、y分别表示复数神经网络输入的实部和虚部。

与现有技术相比，本发明的优势在于：

1)传统的分类器网络一般以图像逐像素作为输入来检测真假图像，但是基于对抗性网络生成的图像在肉眼上看很难区分，往往是一个像素或者高频信号的改变，因此对于网络训练很难达到理想的分辨效果。本发明将提取图片的频谱收据作为特征，利用生成性虚假图像在频域上的差异性提高了模型检测的准确性，并且基于频域的分类器网络能够更快更好地使网络收敛达到最优。

2)传统的深度实数域卷积神经网络在利用图像的频域信息作为特征时，只能采用图像的幅值数据作为单一输入。本发明针对这一问题，采用了复数神经网络来建立分类器，充分利用了频谱数据中的幅值和相位信息，通过复数神经网络来分别处理图像的幅值和相位，将复数域作为实数域的补充，表示空间更大，对噪声的鲁棒性更好；相对传统的残差网络，复数神经网络的层数只采用残差网络的十分之一，就能实现复杂的残差网络的识别效果，能够更快更准确地判别图像的虚假。

3)由于无法直接获得实际中的生成性对抗虚假图片的预训练模型信息，本发明采用了AutoGAN生成性对抗网络来模拟通用性网络，其中AutoGAN中解码部分的上采样层应用于图像时，在频域分析可见明显的棋盘状分布，AutoGAN正是利用这个特质来进行一般对抗性网络生成图像的模拟，得到的训练数据具备良好的泛化性能，使得分类器能够有效的检测不同对抗性网络生成的图像。

附图说明

图1为本发明检测方法的简要流程图；

图2为本发明采用的AutoGAN网络框架示意图；

图3(a)至图3(c)为真实图像和AutoGAN生成图像的频谱分析图；

图4为本发明实施例采用的复数2D卷积示意图；

图5为本发明实施例采用的基于复数卷积神经网络的分类器结构示意图。

具体实施方式

下面结合具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

本发明主要包括通用对抗性网络、复数神经网络和分类器网络三个部分，系统整体框图如图1所示，主要步骤为：

步骤1：采集真实图像数据，利用通用对抗性网络获得生成性对抗虚假图像；将真实图像和生成性对抗虚假图片作为训练样本图像并标记标签；

步骤2：将训练样本图像进行预处理，并对预处理后的图像经二维傅里叶变换获得幅度图和相位图，对所述幅度图和相位图进行归一化处理；

步骤3：建立一个包含若干个复数卷积块构成的复数神经网络，将每一个训练样本图像的幅度图和相位图进行通道合并，采用幅度图作为复数神经网络的实部输入，采用相位图作为复数神经网络的虚部输入，对复数神经网络进行训练；

步骤4：利用训练好的复数神经网络对待检测的图片进行识别，标记出检测到的虚假图片。

由于在现实世界里不能获得生成虚假图片的预训练模型信息，只能通过研究对抗模型生成机制来理解、检测和仿真虚假图片共有特质，最后利用生成的模型来生成训练数据，这样得到的数据集才具有更好的泛化性能，分类器才能更好地检测不同对抗性网络生成的图像。

在本发明的一项具体实施中，采用的通用对抗性网络结构是AutoGAN。AutoGAN不同于一般的image2image和sketch2image模型以两个相似的图像类别作为输入来学习如何从一类转换到另一类的风格变换。AutoGAN的输入仅以单一类别作为输入，输出的结果在肉眼上无法区分，更多的是在频域上进行的变换。AutoGAN网络框架如图2所示。

AutoGAN通过利用对抗性网络生成的图像频谱特性来模拟一般的通用网络，即对抗性网络在生成图像时一般分为提取高维特征由下采样层组成的编码部分和恢复原始尺寸由上采样层组成的解码部分。解码部分对于恢复边缘等细节的高分辨率信息至关重要，上采样层主要由反卷积和最近邻插值法。上采样层应用于图像时，在频域分析可见明显的棋盘状分布，AutoGAN正是利用这个特质来进行通用一般对抗性网络生成图像的模拟。真实图像和AutoGAN生成图像频谱分析图如图3所示，其中图3(a)第一行、第二行分别为真实图像和虚假图像的原始图像，图3(b)第一行、第二行分别为真实图像的幅值分布图和虚假图像的幅值分布图，图3(c)第一行、第二行分别为真实图像的相位分布图和虚假图像的相位分布图；从图中来看，仅通过肉眼难以进行区分。图3(a)至图3(c)的第三行为真实图像和虚假图像求差获得的差异图，能够看到两幅图像在幅值分布和相位分布上均存在明显差异。

AutoGAN的损失函数如式1所示，其中，n为训练集样本个数，I为输入图像数据，D为对抗性网络中的判别器，G为对抗性网络中的生成器。

复数域作为实数域的补充，表示空间更大，对噪声的鲁棒性更好，本发明主要基于复数卷积层进行网络的搭建。卷积层作为图像处理网络结构中重要的组成部分，主要是通过多个张量的卷积来对图像进行特征提取。具体是指将卷积核在图像上进行滑动，依次与图像的部分区域进行乘机并累加，这样能够将该领域内的特征整合至一个位置上，更有利于特征提取。复数卷积层是在卷积层的原理上，应用复数运算法则而得到结果。

2维复数卷积的操作主要是首先通过定义复数权重矩阵W＝A+iB，以及复数卷积层的输入h＝x+iy，不同于实数域卷积网络，复数卷积网络要求输入为复数；接着将复数权重矩阵与输入矩阵进行卷积操作，如式2所示，其中*表示卷积操作。

w*h＝(A+iB)*(x+iy)＝(A*x-B*y)+i(B*x+A*y) (2)

写成矩阵形式为如式3所示，其中R(W*h)，I(W*h)表示输出的实部和虚部：

复数2维卷积示意图如图4所示。由图可知复数卷积分为四个部分：网络输入的实数部分和卷积核的实数部分卷积、网络输入的虚数部分和卷积核的虚数部分卷积、网络输入的实数部分和卷积核的虚数部分卷积及网络输入的虚数部分和卷积核的实数部分卷积。四个部分分别按照实数域卷积运算操作进行。新的四个部分中前两个部分结果相减作为输出的实部，后两个部分结果相加作为输出的虚部，最后形成新的复数。

本发明用来判别真假图片的分类器网络结构基于复数卷积神经网络搭建，网络结构层级如图5所示。网络的输入依次经过复数2维卷积层、复数批正则化层和复数激活层，并将这3层作为一个block，网络共由3个block组成。最后，维度展开经过全连接层作为输出。

生成的虚假图片和原真实图片分别标注标签作为分类器网络的数据集，经过图像预处理操作后，进行傅里叶变换转换为实数部分和虚数部分。不同于一般分类器网络，诸如Resnet50，网络的输入只能对实数部分进行处理，或者将实数部分和虚数部分进行合并再按照实数处理，这样得到的数据在分布上存在较大的差异，网络难以收敛达到最优；而复数卷积神经网络保留了原始数据的实数部分和虚数部分的分布，分别有相对应的卷积核与之对应，再按照卷积的运算法则进行计算。在本发明中，不同于一般分类器有预训练模型，复数神经网络难以复用已经训练好的实数网络权重，因此，本发明利用复数卷积网络搭建了一个简单的模型，在任何没有预训练和少量回合学习下以此来检验复数神经网络的有效性。复数卷积神经网络的输出为复数形式，在计算损失函数时，该网络以复数的模作为最终值来与目标值进行损失计算。

本发明的具体实现过程下：

1)将AutoGAN生成的图像标签标注为0，表示虚假图片；将原始图像标签标注为1，表示真实图像；图像的预处理包括水平方向旋转、概率为0.5的伽马变换、概率为0.9的明亮度变换和概率为0.9的图像HSV变换；

2)将预处理的图像进行二维傅里叶变换，将数据分别进行取模和角度获取作为数据的幅值和相位值；接着分别对幅值进行0-255的归一化处理，对相位值进行0-π的归一化处理，最终作为网络的输入；

3)将处理好的幅值数据和相位值数据进行通道合并，即一张图片经过傅里叶变换后得到幅值数据和相位值数据，将n张图片的幅值数据和相位值数据依次排列，其中前n张为幅值图，后n张为相位图；这n个特征图均由两部分组成(幅值数据和相位数据)，训练时取m张图片作为一个batch，经傅里叶变换后得到2m张图，每个batch的前m张作为复数神经网络的实数部分，即幅值数据，对应第一层网络输入的x；后m张作为复数神经网络的虚数部分，即相位值数据，对应第一层网络输入的y；复数权重矩阵以Xavier方式进行初始化；复数权重矩阵分别对实数和虚数部分卷积，得到的复数输出再经过复数神经网络批正则化层；最后经过复数激活层，选用的激活函数为线性整流函数Relu，分别对实数部分和虚数部分应用激活函数；这一系列过程视为一个block，网络总共由3个block组成；

4)经过最后一个block后，进入Flatten层；将复数输出展开成一个一维向量供普通全连接层作为输入，第一个全连接单位为128个，激活函数为Relu，权重正则化项为L2正则化；

5)第二个全连接层单位输出为1，激活函数为sigmoid，权重正则化项为L2正则化。

相较于传统的分类器网络将图像像素作为输入，本发明将图像的频谱信息作为网络的输入，引入复数神经网络来分别处理图像的幅值和相位信息，实现了更快更准确地判别图像的虚假。

实施例

针对AutoGAN生成的虚假图片，分别对比使用复数卷积神经网络搭建的简单网络与基于Resnet34的残差网络的分类结果。Resnet34和复数卷积神经网络结构如表1所示。

表1 Resnet34和复数卷积神经网络结构

本实验数据集采用同AutoGAN相同数据集，来源于CycleGAN数据集。AutoGAN数据集每次仅仅使用一个类别来训练，用真实图像来产生具有GAN共同特质的虚假图像，这样避免了要求数据成对输入的缺点。数据集类别和数量如下所示：Horse(1067)、Zebra(1334)、Yosemite Summer(1231)、Yosemite Winter(962)、Apple(995)、Orange(1019)、VanGogh(400)、Monet(1072)。Resnet34网络模型超参数学习率为0.01，学习衰减率为1e-2，lambda为0.9，batch_size为16；复数卷积神经网络模型学习率为0.001，lambda为0.9，batch_size为16。实验是以Horse图像作为训练集，在各个不同类别下测试的分类正确率结果，如表2所示。这样以单一类别作为训练输入，在不同类别上进行训练测试，是为了更好的检验分类效果。如果训练包含的类别越多，则过拟合现象就越严重。由实验结果可知，未经过预训练的3层的复数神经网络效果已经与34层的残差网络分类效果相当。这给复数神经网络的应用研究提供了方向。

表2在各个不同类别下测试的分类正确率结果

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于复数神经网络的生成性对抗虚假图片的检测方法，其特征在于，包括如下步骤：

1)采集真实图像数据，利用通用对抗性网络获得生成性对抗虚假图像；将真实图像和生成性对抗虚假图片作为训练样本图像并标记标签；

2)将训练样本图像进行预处理，并对预处理后的图像经二维傅里叶变换获得幅度图和相位图，对所述幅度图和相位图进行归一化处理；

3)建立一个包含若干个复数卷积块构成的复数神经网络，将每一个训练样本图像的幅度图和相位图进行通道合并，采用幅度图作为复数神经网络的实部输入，采用相位图作为复数神经网络的虚部输入，对复数神经网络进行训练；

4)利用训练好的复数神经网络对待检测的图片进行识别，标记出检测到的虚假图片。

2.根据权利要求1所述的一种基于复数神经网络的生成性对抗虚假图片的检测方法，其特征在于，在步骤1)中，将采集到的真实图像样本作为AutoGAN生成性对抗网络的输入，输出虚假图像样本；所述AutoGAN生成性对抗网络包括由下采样层组成的编码部分和由上采样层组成的解码部分。

3.根据权利要求1所述的一种基于复数神经网络的生成性对抗虚假图片的检测方法，其特征在于，将训练样本图像进行预处理，所述预处理包括水平方向旋转、概率为0.5的伽马变换、概率为0.9的明亮度变换和概率为0.9的图像HSV变换。

4.根据权利要求1所述的一种基于复数神经网络的生成性对抗虚假图片的检测方法，其特征在于，以Xavier方式对复数神经网络中的复数权重矩阵进行初始化。

5.根据权利要求1所述的一种基于复数神经网络的生成性对抗虚假图片的检测方法，其特征在于，所述复数神经网络包含三个复数卷积块，前一个复数卷积块的输出作为后一个复数卷积块的输入，最后一个复数卷积块的输出经一维展开后再通过两层全连接层输出最终结果。

6.根据权利要求5所述的一种基于复数神经网络的生成性对抗虚假图片的检测方法，其特征在于，第一层全连接层的单位为128，最后一层全连接层的单位为1；以最终输出的复数的模作为最终结果，与标签值进行损失计算。

7.根据权利要求5所述的一种基于复数神经网络的生成性对抗虚假图片的检测方法，其特征在于，所述的复数卷积块由一层复数二维卷积层、复数批正则化层和复数激活层构成。

8.根据权利要求7所述的一种基于复数神经网络的生成性对抗虚假图片的检测方法，其特征在于，所述复数二维卷积层的运算公式为：

其中，R(W*h)表示输出的实部，I(W*h)表示输出的虚部，W为复数权重矩阵，A为复数权重中的实部，B为复数权重中的虚部，x、y分别表示复数神经网络输入的实部和虚部。

9.根据权利要求1所述的一种基于复数神经网络的生成性对抗虚假图片的检测方法，其特征在于，步骤2)中对所述幅度图中的幅值进行0-255的归一化处理，对相位图中的相位值进行0-π的归一化处理。

Images