CN109543674B - 一种基于生成对抗网络的图像拷贝检测方法 - Google Patents

一种基于生成对抗网络的图像拷贝检测方法 Download PDF

Info

Publication number
CN109543674B
CN109543674B CN201811218892.7A CN201811218892A CN109543674B CN 109543674 B CN109543674 B CN 109543674B CN 201811218892 A CN201811218892 A CN 201811218892A CN 109543674 B CN109543674 B CN 109543674B
Authority
CN
China
Prior art keywords
image
discriminator
generator
copy
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811218892.7A
Other languages
English (en)
Other versions
CN109543674A (zh
Inventor
李岳楠
张凯昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201811218892.7A priority Critical patent/CN109543674B/zh
Publication of CN109543674A publication Critical patent/CN109543674A/zh
Application granted granted Critical
Publication of CN109543674B publication Critical patent/CN109543674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成对抗网络的图像拷贝检测方法，所述方法包括以下步骤：对训练集中的原始图像施加失真处理生成拷贝图像，对原始图像和拷贝图像作归一化预处理，并将原始图像和对应的拷贝图像构成正样本，将不同的原始图像构成负样本；随机初始化生成器和鉴别器的网络参数，用生成器生成原始图像的篡改图像，之后固定生成器参数，用原始图像、拷贝图像和篡改图像训练鉴别器；固定鉴别器参数，训练生成器生成用于对抗鉴别器的篡改图像；交替训练鉴别器和生成器达到迭代次数后结束训练。本发明通过生成对抗样本的方式对抗鉴别器，从而提高鉴别器的鲁棒性和对拷贝图像的检测能力。

Description

一种基于生成对抗网络的图像拷贝检测方法
技术领域
本发明涉及图像拷贝检测领域，尤其涉及一种基于生成对抗网络的图像拷贝检测方法。
背景技术
随着互联网的发展以及智能手机的普及，数字图像的编辑和存储都非常便捷。内容分享网络的兴起也拓宽了数字内容传输的渠道。然而，大量未经授权的拷贝图像在网络中的流通损害了内容创作者的版权。图像拷贝检测是对网络图像进行版权管理的关键技术。
早期基于内容的图像拷贝检测算法主要以图像直方图作为特征。之后Bhat等人使用图像的空间信息，将图像分块后统计图像子块的平均灰度值，按照灰度值进行排序[1]。Kim提出利用离散余弦变换的方式来进行图像的拷贝检测[2]。上述几种方法都是基于图像的全局信息，这种方法计算简单并且效率较高，但是对于图像的裁剪和旋转这种几何变换敏感性较差。为了解决这个问题，一些研究者开始采用SIFT(Scale Invariant FeatureTransform，尺度不变换特征变换)检测器[3]。Yan等人利用SIFT特征空间的主成成分分析生成图像的描述性特征[4]。Xie等人提出了一种局部特征检测算法用于检测待查询图像上的可能的敏感区域[5]。为了增强对旋转的鲁棒性，Zhou等人在预处理图像时将切块后的图像进行不同程度的旋转作为训练样本[6]。
上述的算法通过人工方法对图像特征进行提取，这些特征表示冗余复杂，并且图像的信息表达十分复杂，尤其是一些抽象的鲁棒特征难以刻画。
发明内容
本发明提供了一种基于生成对抗网络的图像拷贝检测方法，本发明通过生成对抗样本的方式对抗鉴别器，从而提高鉴别器的鲁棒性和对拷贝图像的检测能力，详见下文描述：
一种基于生成对抗网络的图像拷贝检测方法，所述方法包括以下步骤：
对训练集中的原始图像施加失真处理生成拷贝图像，对原始图像和拷贝图像作归一化预处理，并将原始图像和对应的拷贝图像构成正样本，将不同的原始图像构成负样本；
随机初始化生成器和鉴别器的网络参数，用生成器生成原始图像的篡改图像，之后固定生成器参数，用原始图像、拷贝图像和篡改图像训练鉴别器；
固定鉴别器参数，训练生成器生成用于对抗鉴别器的篡改图像；
交替训练鉴别器和生成器达到迭代次数后结束训练。
进一步地，所述鉴别器由卷积层、池化层和全连接层构成，输入是训练集中的样本图像或者是由生成器生成的图像，鉴别器的最后一层输出图像哈希，通过比对哈希之间的距离实现拷贝检测。
其中，所述鉴别器使用卷积层对输入进行特征提取，每层的卷积核尺寸是ji×ji，步长是ni，卷积核个数是si，其中对每层卷积结果进行批归一化然后进行激活；
卷积层与池化层交替出现，所述鉴别器采用最大池化方式，池化核的大小是k1×k1，步长是f1；
卷积层的输出作为全连接层的输入，全连接层中对激活函数之前的结果作批归一化。
进一步地，所述生成器采用编码-解码的结构，编码器将图像映射为特征矢量，通过对特征矢量的扰动实现对原始输入图像的篡改，解码器将扰动后的特征矢量映射为图像。
进一步地，所述编码器每层的卷积核大小是k2×k2，步长是f2，卷积核个数ci，每次卷积之后作批归一化并用激活函数激活；
所述编码器的输出作为全连接层的输入，并对全连接层的输出进行扰动，即用随机矩阵与该输出相乘来模拟拷贝过程中的图像失真；扰动处理之后的结果输入到下一个全连接层；
所述全连接层之后连接解码器，解码器对全连接层输出进行反卷积，解码器每层的卷积核大小是k3×k3，步长是f3，反卷积核个数为ti，每次卷积之后都作批归一化并用激活函数激活。
其中，所述用原始图像、拷贝图像和篡改图像训练鉴别器具体为：
将生成器生成的篡改图像与原始图像构成对抗样本Ts＝(x,G(x))，用鉴别器生成原始图像、拷贝图像和篡改图像的哈希并计算各自样本的哈希距离；
分别统计正、负样本的哈希距离直方图，记为H(d+)和H(d-)，通过最小化两个直方图的重叠面积对鉴别器的拷贝检测性能进行优化；
在训练鉴别器时，将对抗样本Ts的哈希距离ds的直方图H(ds)与正样本T+对应的直方图H(d+)合并，鉴别器的目标是将对抗样本Ts分类为拷贝图像对(即正样本)；固定生成器，最小化损失函数。
具体实现时，所述损失函数具体为：
Figure BDA0001834239530000031
其中，
Figure BDA0001834239530000032
Figure BDA0001834239530000033
式中：m表示训练集中的样本个数，xi表示训练集中第i个原始图像，
Figure BDA0001834239530000034
示由第i个原始图像生成的失真图像，D(·)表示鉴别器，H(·)表示直方图，G(xi)表示生成器生成的篡改图像；g表示直方图中分组(Bins)的数目，minj(,)表示取两个直方图第j个分组的最小值，d+表示从正样本T+计算得到的哈希距离，d-表示从负样本T-计算得到的哈希距离，ds表示从对抗样本Ts计算得到的哈希距离。
进一步地，所述固定鉴别器参数，训练生成器生成用于对抗鉴别器的篡改图像；具体为：
将对抗样本Ts对应的哈希距离直方图H(ds)与负样本T-的直方图H(d-)合并，通过最小化两个直方图的重叠面积、以及最小化原始图像x与篡改图像G(x)之间的距离来训练生成器；
Figure BDA0001834239530000035
本发明提供的技术方案的有益效果是：
1、本发明使用卷积神经网络自动生成图像特征，避免了人工设计特征提取方法的繁杂过程和局限性；
2、本发明用对抗样本训练鉴别器网络，对图像拷贝中出现的各种失真都有较好的鲁棒性；
3、本发明程序简单，易于实现。
附图说明
图1为基于生成对抗网络的图像拷贝检测方法的流程图；
图2为鉴别器结构的示意图；
图3为生成器结构的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
为了提高图像拷贝检测算法的识别准确率，本发明实施例提出了一种基于生成对抗网络的图像拷贝检测方法，该方法由生成器和鉴别器构成。生成器的作用是在原始图像的基础上生成用于欺骗鉴别器拷贝检测的篡改图像，而鉴别器的作用是将拷贝图像对和非拷贝图像对区分开，参见图1，具体操作如下：
101：对训练集中的原始图像施加失真处理生成拷贝图像，对原始图像和拷贝图像作归一化预处理，并将原始图像和对应的拷贝图像构成正样本，将不同的原始图像构成负样本；
其中，对原始图像和拷贝图像作归一化预处理具体为：
固定图像块的大小为n×n，归一化图像像素值到零均值和标准方差，然后将像素值范围线性变换到[-1,1]。
102：随机初始化生成器和鉴别器的网络参数，用生成器生成原始图像的篡改图像，用原始图像、拷贝图像和篡改图像训练鉴别器；
其中，鉴别器的目的是实现精确的拷贝检测。为了实现这个目标，本发明实施例以视觉内容相同和不同的图像对作为训练鉴别器的样本：
1)将原始图像进行随机失真处理，得到的拷贝图像与原始图像构成正样本(拷贝图像对)
Figure BDA0001834239530000041
其中，x表示原始图像，
Figure BDA0001834239530000042
为x的拷贝图像，不同的原始图像构成负样本(非拷贝图像对)T-＝(x,y)，x和y为内容互不相同的两幅图像。
2)将训练图像缩放成固定大小。
鉴别器由卷积层、池化层和全连接层构成，其输入是训练集中的样本图像或者是由生成器生成的图像，鉴别器最后一层输出图像哈希。通过比对哈希之间的距离实现拷贝检测。鉴别器的网络结构具体是：
1)使用卷积层对输入进行特征提取，每层的卷积核尺寸是ji×ji，步长是ni，卷积核个数是si，其中对每层卷积结果进行批归一化然后进行激活；
2)卷积层与池化层交替出现，该鉴别器采用最大池化方式，池化核的大小是k1×k1，步长是f1；
3)卷积层的输出作为全连接层的输入。全连接层中对激活函数之前的结果作批归一化(Batch Normalization)；整个鉴别器的结构如图2所示。本发明实施例对鉴别器结构不作要求。
其中，生成器是为了生成与正样本中原始图像相似的篡改图像来模拟拷贝过程，并让鉴别器将原始图像和篡改图像判定为非拷贝图像对，以此对抗鉴别器。训练集正样本中的原始图像x作为生成器的输入，输出与x相同大小的篡改图像G(x)，本发明实施例中的生成器采用编码-解码的结构，编码器将图像映射为特征矢量，通过对特征矢量的扰动实现对原始输入图像的篡改，解码器将扰动后的特征矢量映射为图像，具体如下：
1)编码器每层的卷积核大小是k2×k2，步长是f2，卷积核个数ci，每次卷积之后作批归一化并用激活函数激活；
2)编码器的输出作为全连接层的输入，并对全连接层的输出进行扰动，即用随机矩阵与该输出相乘来模拟拷贝过程中的图像失真；扰动处理之后的结果输入到下一个全连接层；
3)全连接层之后连接解码器，解码器对全连接层输出进行反卷积，解码器每层的卷积核大小是k3×k3，步长是f3，反卷积核个数为ti，每次卷积之后都作批归一化并用激活函数激活。
其中，整个生成器的结构如图3所示。
其中，步骤102中用原始图像、拷贝图像和篡改图像训练鉴别器具体为：
将生成器生成的篡改图像与原始图像构成对抗样本Ts＝(x,G(x))，用鉴别器生成原始图像、拷贝图像和篡改图像的哈希并计算各自样本的哈希距离。
分别统计正、负样本的哈希距离直方图，记为H(d+)和H(d-)，通过最小化两个直方图的重叠面积对鉴别器的拷贝检测性能进行优化。
在训练鉴别器时，将对抗样本Ts的哈希距离ds的直方图H(ds)与正样本T+对应的直方图H(d+)合并，鉴别器的目标是将对抗样本Ts分类为拷贝图像对(即正样本)。固定生成器，最小化以下损失函数：
Figure BDA0001834239530000061
其中，
Figure BDA0001834239530000062
Figure BDA0001834239530000063
式中：m表示训练集中的样本个数，xi表示训练集中第i个原始图像，
Figure BDA0001834239530000064
示由第i个原始图像生成的失真图像，D(·)表示鉴别器，H(·)表示直方图，G(xi)表示生成器生成的篡改图像；g表示直方图中分组(Bins)的数目，minj(,)表示取两个直方图第j个分组的最小值，d+表示从正样本T+计算得到的哈希距离，d-表示从负样本T-计算得到的哈希距离，ds表示从对抗样本Ts计算得到的哈希距离。
103：固定鉴别器参数，训练生成器生成用于对抗鉴别器的篡改图像；
进一步地，步骤103中的固定鉴别器参数，训练生成器生成用于对抗鉴别器的篡改图像具体为：
用鉴别器为各个训练样本中图像生成哈希，重新统计正、负样本的哈希距离直方图。生成器的目标是生成能让鉴别器分类为非拷贝图像对(即负样本)的对抗样本Ts＝(x,G(x))，同时保持篡改图像G(x)和原始图像x之间的相似度。因此，在训练生成器的过程中，将对抗样本Ts对应的哈希距离直方图H(ds)与负样本T-的直方图H(d-)合并。通过最小化两个直方图的重叠面积、以及最小化原始图像x与篡改图像G(x)之间的距离来训练生成器。
Figure BDA0001834239530000065
104：交替训练鉴别器和生成器达到迭代次数后结束训练。
综上所述，本发明实施例引入深度卷积网络实现算法，实现了自动提取图像特征的目的，消除了人工标注特征的过程从而降低了成本；并且本发明实施例运用对抗的方法提高鉴别器生成图像特征的鲁棒性和鉴别性，提高了鉴别器对旋转、裁剪图像的鉴别能力。
实施例2
下面结合具体的参数和计算公式对实施例1中的方法进行详细介绍，详见下文描述：
201：图像预处理；
其中，从ImageNet数据集中随机抽取104张图像，将图像固定成256×256的标准尺寸。
202：生成拷贝图像；
对归一化后的图像施加一种随机失真，共生成104张拷贝图像。随机失真的类型包括：JPEG有损压缩、高斯噪声、旋转、中值滤波、直方图均衡化、伽马校正、添加散斑噪声、以及循环滤波。把原始图像和拷贝图像像素归一化成零均值、标准方差，然后将像素值范围线性变换到[-1,1]。
203：构造鉴别器；
本发明实施例使用的鉴别器网络是改进后的Alexnet网络，包括：五个卷积层、三个池化层和一个全连接层，其中：
第一个卷积层卷积核的大小是11×11，卷积核个数是96，步长是4；第二个卷积层卷积核的大小是5×5，卷积核个数是256，步长是1；剩下的卷积层中卷积核大小都是3×3，卷积核个数分别是384、384和256，卷积步长都为1。
为了减少卷积输出的维度，第一层、第二层和最后一层卷积结果采用最大池化方式池化，池化核大小为3×3，池化步长是2；全连接层的节点个数是50。
其中，卷积层和全连接层的输出使用BatchNorm作批归一化；卷积层的激活函数是Relu函数，而全连接层使用sigmoid函数激活。
204：构造生成器；
其中，生成器采用编码-解码结构生成篡改图像，编码器由8个卷积层构成，卷积核大小是4×4，步长是2，前三层卷积层的卷积核个数分别是64,128,256，最后五层卷积层卷积核个数是512。从第二层开始，所有的卷积结果都作批归一化。除了最后一层，每层卷积层都使用Leaky-Relu函数进行激活(斜率是0.2)；
编码器输出的特征向量作为全连接层输入。第一层全连接层的输出节点个数是100。本发明实施例采用随机矩阵与第一层全连接层的输出结果相乘来模拟篡改过程。
具体实现时，该随机矩阵中元素服从[-0.2，1.2]之间的均匀分布。篡改结果作为第二层全连接层的输入。
为了保证编码器的输出与解码器输入维度相同，第二层全连接层的节点个数是512。两个全连接层的结果都作批归一化，第一个全连接层的激活函数与编码器的一致，第二层全连接层使用Relu激活函数。解码器将全连接层的输出映射为篡改图像。解码器由8个反卷积层构成。
其中，反卷积核的大小和移动步长与卷积层中卷积核的一致，反卷积核个数分别是512、512、512、512、256、128、64和3。除最后一层外，反卷积层结果都作批归一化并使用Relu激活函数。
为了保证传输信息的完整性，通过拼接第一层卷积层输出和第七层反卷积层输出作为第八层反卷积层的输入。为使解码器结果分布在[-1,1]之间，第八层反卷积层中的激活函数采用tanh函数。
205：训练鉴别器；
本发明实施例使用直方图统计各自样本的哈希距离。该直方图组数是20。
采用批量梯度下降训练鉴别器，在每个批次中随机抽取预处理后的20对原始图像构成负样本，由其中的10张原始图像生成对应的拷贝图像和篡改图像，分别构成10对正样本和10对对抗样本。
训练鉴别器时，利用鉴别器为各个样本中的图像生成哈希，并得到相应的哈希距离d+、d-、ds，再将对抗样本Ts的哈希距离ds的直方图与正样本T+对应的直方图H(d+)合并，，最小化正负样本哈希距离直方图的重叠面积，优化以下损失函数：
Figure BDA0001834239530000081
其中，
Figure BDA0001834239530000082
Figure BDA0001834239530000083
式中，m表示训练集中的样本个数10，g表示直方图中分组(Bins)数目20。
206：训练生成器。
训练一次鉴别器后，按照205中的方法生成20对正样本，10对负样本和10对对抗样本。再将对抗样本Ts对应的哈希距离直方图H(ds)与负样本T-的直方图H(d-)合并。通过最小化两个直方图的重叠面积和最小化原始图像x与篡改图像G(x)之间的距离来训练生成器，优化以下损失函数：
Figure BDA0001834239530000091
其中，
Figure BDA0001834239530000092
式中，m表示训练集中的样本个数10，g表示直方图中分组(Bins)数目20。
207：通过交替训练生成器和鉴别器来提高鉴别器对拷贝图像对和非拷贝图像对的区分能力。
其中，本发明实施例中网络学习率设定为2×10-4，迭代次数为6×104。
综上所述，本发明实施例通过生成对抗样本的方式对抗鉴别器，从而能有效提高鉴别器对拷贝图像的区分能力，据此可以运用到图像拷贝检测领域。
实施例3
下面通过实验数据对实施例1和2中的方案进行可行性验证，详见下文描述：
在ImageNet数据库中抽取3×103张测试图像，测试图像与训练集中的原始图像不重叠。对测试图像作以下处理：
1)将测试图像归一化成256×256的标准尺寸；
2)对归一化后的测试图像施加中值滤波和高斯噪声两种失真，每种失真选取不同的程度，如表1所示。
表1失真类型及参数设置
Figure BDA0001834239530000101
每幅原始图像经过失真处理后产生19个拷贝版本，构成5.7×103幅拷贝图像。对原始图像两两组合构成
Figure BDA0001834239530000102
对非拷贝图像对。利用实施例2中训练好的鉴别器，得到拷贝图像对和非拷贝图像对的哈希距离，并进行直方图统计。若待查询的哈希距离小于阈值T则将该哈希距离对应的测试样本判定为拷贝图像对，反之判定为非拷贝图像对。
根据误拒率FAR：非拷贝样本对的哈希距离判定为拷贝样本对哈希距离的个数占非拷贝样本对哈希距离个数的比例；
拒识率FRR：拷贝图像对的哈希距离判定为非拷贝图像对哈希距离的个数占拷贝图像对哈希距离个数的比例，计算在阈值为T时的F1指标：
Figure BDA0001834239530000103
统计在不同阈值下F1指标的最大值，其结果是maxTF1(T)＝0.99。
综上所述，本发明实施例利用生成器生成的对抗样本可以提高鉴别器的识别能力，可实现准确的图像拷贝检测。
参考文献
[1]Bhat D N,Nayar S K.Ordinal measures for image correspondence[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,1998,20(4):415-423.
[2]Kim C.Content-based image copy detection[J].Signal ProcessingImage Communication,2003,18(3):169-184.
[3]Mikolajczyk K,Schmid C.A performance evaluation oflocal descriptor[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2005,27(10):1615-1630
[4]Ke Y,Sukthankar R.PCA-SIFT:a more distinctive representation forlocal image descriptors[C]IEEE International Conference on Computer Visionand Pattern Recognition,2004:506-513.
[5]Xie H,Gao K,Zhang Y,et al.Efficient feature detection andeffective post-verification for large scale near-duplicate image search[J].IEEE Transactions on Multimedia,2011,13(6):1319-1332.
[6]ZhouZ,YangC N,Chen B,et al.effective and efficient image copydetection with resistance to arbitrary rotation[J].IEICE Transactions onInformation&Systems,2016,E99.D(6):1531-1540.
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于生成对抗网络的图像拷贝检测方法，其特征在于，所述方法包括以下步骤：
对训练集中的原始图像施加失真处理生成拷贝图像，对原始图像和拷贝图像作归一化预处理，并将原始图像和对应的拷贝图像构成正样本，将不同的原始图像构成负样本；
随机初始化生成器和鉴别器的网络参数，用生成器生成原始图像的篡改图像，之后固定生成器参数，用原始图像、拷贝图像和篡改图像训练鉴别器；
固定鉴别器参数，训练生成器生成用于对抗鉴别器的篡改图像；
交替训练鉴别器和生成器达到迭代次数后结束训练；
所述用原始图像、拷贝图像和篡改图像训练鉴别器具体为：
将生成器生成的篡改图像与原始图像构成对抗样本Ts＝(x,G(x))，用鉴别器生成原始图像、拷贝图像和篡改图像的哈希并计算各自样本的哈希距离；
分别统计正、负样本的哈希距离直方图，记为H(d+)和H(d-)，通过最小化两个直方图的重叠面积对鉴别器的拷贝检测性能进行优化；
在训练鉴别器时，将对抗样本Ts的哈希距离ds的直方图H(ds)与正样本T+对应的直方图H(d+)合并，鉴别器的目标是将对抗样本Ts分类为拷贝图像对，即正样本；固定生成器，最小化损失函数；
所述损失函数具体为：
Figure FDA0004045074380000011
其中，
Figure FDA0004045074380000012
Figure FDA0004045074380000013
式中：m表示训练集中的样本个数，xi表示训练集中第i个原始图像，
Figure FDA0004045074380000014
示由第i个原始图像生成的失真图像，D(.)表示鉴别器，H(.)表示直方图，G(xi)表示生成器生成的篡改图像；g表示直方图中分组(Bins)的数目，minj(,)表示取两个直方图第j个分组的最小值，d+表示从正样本T+计算得到的哈希距离，d-表示从负样本T-计算得到的哈希距离，ds表示从对抗样本Ts计算得到的哈希距离。
2.根据权利要求1所述的一种基于生成对抗网络的图像拷贝检测方法，其特征在于，所述鉴别器由卷积层、池化层和全连接层构成，输入是训练集中的样本图像或者是由生成器生成的图像，鉴别器的最后一层输出图像哈希，通过比对哈希之间的距离实现拷贝检测。
3.根据权利要求2所述的一种基于生成对抗网络的图像拷贝检测方法，其特征在于，
所述鉴别器使用卷积层对输入进行特征提取，每层的卷积核尺寸是ji×ji，步长是ni，卷积核个数是si，其中对每层卷积结果进行批归一化然后进行激活；
卷积层与池化层交替出现，所述鉴别器采用最大池化方式，池化核的大小是k1×k1，步长是f1；
卷积层的输出作为全连接层的输入，全连接层中对激活函数之前的结果作批归一化。
4.根据权利要求1所述的一种基于生成对抗网络的图像拷贝检测方法，其特征在于，所述生成器采用编码-解码的结构，编码器将图像映射为特征矢量，通过对特征矢量的扰动实现对原始输入图像的篡改，解码器将扰动后的特征矢量映射为图像。
5.根据权利要求4所述的一种基于生成对抗网络的图像拷贝检测方法，其特征在于，
所述编码器每层的卷积核大小是k2×k2，步长是f2，卷积核个数ci，每次卷积之后作批归一化并用激活函数激活；
所述编码器的输出作为全连接层的输入，并对全连接层的输出进行扰动，即用随机矩阵与该输出相乘来模拟拷贝过程中的图像失真；扰动处理之后的结果输入到下一个全连接层；
所述全连接层之后连接解码器，解码器对全连接层输出进行反卷积，解码器每层的卷积核大小是k3×k3，步长是f3，反卷积核个数为ti，每次卷积之后都作批归一化并用激活函数激活。
6.根据权利要求1所述的一种基于生成对抗网络的图像拷贝检测方法，其特征在于，所述用原始图像、拷贝图像和新生成的篡改图像训练生成器具体为：
将对抗样本Ts对应的哈希距离直方图H(ds)与负样本T-的直方图H(d-)合并，通过最小化两个直方图的重叠面积、以及最小化原始图像x与篡改图像G(x)之间的距离来训练生成器；
Figure FDA0004045074380000031
CN201811218892.7A 2018-10-19 2018-10-19 一种基于生成对抗网络的图像拷贝检测方法 Active CN109543674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811218892.7A CN109543674B (zh) 2018-10-19 2018-10-19 一种基于生成对抗网络的图像拷贝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811218892.7A CN109543674B (zh) 2018-10-19 2018-10-19 一种基于生成对抗网络的图像拷贝检测方法

Publications (2)

Publication Number Publication Date
CN109543674A CN109543674A (zh) 2019-03-29
CN109543674B true CN109543674B (zh) 2023-04-07

Family

ID=65844235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811218892.7A Active CN109543674B (zh) 2018-10-19 2018-10-19 一种基于生成对抗网络的图像拷贝检测方法

Country Status (1)

Country Link
CN (1) CN109543674B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472663A (zh) * 2019-07-15 2019-11-19 西北工业大学 基于内省学习的遥感图像分类方法
CN110428006A (zh) * 2019-08-01 2019-11-08 中国科学院自动化研究所 计算机生成图像的检测方法、系统、装置
CN110929786B (zh) * 2019-11-22 2023-08-01 湃方科技(北京)有限责任公司 一种数据增广方法及电子设备
CN112116565B (zh) * 2020-09-03 2023-12-05 深圳大学 篡改翻拍图像的对抗样本生成方法、设备及存储介质
CN112926598B (zh) * 2021-03-08 2021-12-07 南京信息工程大学 基于残差域深度学习特征的图像拷贝检测方法
CN113537381B (zh) * 2021-07-29 2024-05-10 大连海事大学 基于对抗样本的人体康复运动数据增强方法
CN114078073B (zh) * 2022-01-20 2022-04-08 广州南方学院 一种基于光场转换的抗led再生拷贝方法及系统
KR20240132874A (ko) * 2023-02-27 2024-09-04 삼성전자주식회사 전자 장치 및 전자 장치에서 nft 표절 방지 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308567A (zh) * 2008-06-21 2008-11-19 华中科技大学 一种基于内容的鲁棒图像拷贝检测方法
CN106296692A (zh) * 2016-08-11 2017-01-04 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN108171320A (zh) * 2017-12-06 2018-06-15 西安工业大学 一种基于生成式对抗网络的图像域转换网络和转换方法
CN108334848A (zh) * 2018-02-06 2018-07-27 哈尔滨工业大学 一种基于生成对抗网络的微小人脸识别方法
CN108446334A (zh) * 2018-02-23 2018-08-24 浙江工业大学 一种无监督对抗训练的基于内容的图像检索方法
CN108510532A (zh) * 2018-03-30 2018-09-07 西安电子科技大学 基于深度卷积gan的光学和sar图像配准方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018053340A1 (en) * 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308567A (zh) * 2008-06-21 2008-11-19 华中科技大学 一种基于内容的鲁棒图像拷贝检测方法
CN106296692A (zh) * 2016-08-11 2017-01-04 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN108171320A (zh) * 2017-12-06 2018-06-15 西安工业大学 一种基于生成式对抗网络的图像域转换网络和转换方法
CN108334848A (zh) * 2018-02-06 2018-07-27 哈尔滨工业大学 一种基于生成对抗网络的微小人脸识别方法
CN108446334A (zh) * 2018-02-23 2018-08-24 浙江工业大学 一种无监督对抗训练的基于内容的图像检索方法
CN108510532A (zh) * 2018-03-30 2018-09-07 西安电子科技大学 基于深度卷积gan的光学和sar图像配准方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Image-to-Image Translation with Conditional Adversarial NetWorks;Phillip Isola et al.;《2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20171109;第1-17页 *
ketch-based Image Retrievalusing Generative Adversarial Networks;Longteng Guo et al.;《Proceedings of the 25th ACM international conference on Multimedia》;20171019;第1267-1268页 *
刘玉杰等.基于条件生成对抗网络的手绘图像检索.《计算机辅助设计与图形学学报》.2017,第29卷(第12期),第2336-2342页. *
基于条件生成对抗网络的手绘图像检索;刘玉杰等;《计算机辅助设计与图形学学报》;20171231;第29卷(第12期);正文第2节，图1-3 *

Also Published As

Publication number Publication date
CN109543674A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN109543674B (zh) 一种基于生成对抗网络的图像拷贝检测方法
Du et al. Perceptual hashing for image authentication: A survey
Guo et al. Fake colorized image detection
Yousuf et al. A novel technique based on visual words fusion analysis of sparse features for effective content‐based image retrieval
Mishra et al. Region duplication forgery detection technique based on SURF and HAC
Tokuda et al. Computer generated images vs. digital photographs: A synergetic feature and classifier combination approach
Kadam et al. [Retracted] Efficient Approach towards Detection and Identification of Copy Move and Image Splicing Forgeries Using Mask R‐CNN with MobileNet V1
Al-Qershi et al. Evaluation of copy-move forgery detection: datasets and evaluation metrics
Zhou et al. Integrating SIFT and CNN feature matching for partial-duplicate image detection
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
Ding et al. Noise-resistant network: a deep-learning method for face recognition under noise
CN102385592A (zh) 图像概念的检测方法和装置
Diwan et al. Keypoint based comprehensive copy‐move forgery detection
Thyagharajan et al. Pulse coupled neural network based near-duplicate detection of images (PCNN–NDD)
Shelke et al. Multiple forgery detection and localization technique for digital video using PCT and NBAP
Mallick et al. Copy move and splicing image forgery detection using cnn
Siddiqui et al. A robust framework for deep learning approaches to facial emotion recognition and evaluation
Tang et al. Geometrically robust video hashing based on ST-PCT for video copy detection
Fouad et al. Detection and localization enhancement for satellite images with small forgeries using modified GAN-based CNN structure
Shukla et al. A survey on digital image forensic methods based on blind forgery detection
Ernawati et al. Image Splicing Forgery Approachs: A Review and Future Direction
Patil et al. Securing Visual Integrity: Machine learning approaches for forged image detection
Isnanto et al. Determination of the optimal threshold value and number of keypoints in scale invariant feature transform-based copy-move forgery detection
Roy et al. PIH-mSCM: a modified spiking cortical model for perceptual image hashing and its application to copy detection
Du et al. Image hashing for tamper detection with multiview embedding and perceptual saliency

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant