CN111539483A - 基于gan网络的虚假图像鉴别系统及构建方法 - Google Patents

基于gan网络的虚假图像鉴别系统及构建方法 Download PDF

Info

Publication number
CN111539483A
CN111539483A CN202010353776.7A CN202010353776A CN111539483A CN 111539483 A CN111539483 A CN 111539483A CN 202010353776 A CN202010353776 A CN 202010353776A CN 111539483 A CN111539483 A CN 111539483A
Authority
CN
China
Prior art keywords
image
gan
gan network
false
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010353776.7A
Other languages
English (en)
Other versions
CN111539483B (zh
Inventor
张焕芹
王文一
黄佳伟
李晓锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Rongjun Technology Co ltd
Original Assignee
Shanghai Rongjun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Rongjun Technology Co ltd filed Critical Shanghai Rongjun Technology Co ltd
Priority to CN202010353776.7A priority Critical patent/CN111539483B/zh
Publication of CN111539483A publication Critical patent/CN111539483A/zh
Application granted granted Critical
Publication of CN111539483B publication Critical patent/CN111539483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于GAN网络的虚假图像鉴别系统及构建方法，构建多个GAN网络模型，分别在各自对应的数据集上进行训练；采用训练后的多个GAN网络模型生成虚假图像，同时从数据集中选取同等数量的真实图像，对分辨率进行统一；对虚假图像和真实图像分别进行数据增强操作，生成训练集；选择一个GAN网络模型，利用生成的训练集对该GAN网络模型进行鉴别器训练；对训练后的GAN网络模型进行泛化，构建形成基于GAN网络的虚假图像鉴别系统。本发明合成数量庞大的数据集作为训练集，用于鉴别器的训练，通过数据增强操作，提升该鉴别器的泛化能力和鲁棒性，进而推广到各种模型中去，使其具有更强鉴别虚假图像与真实图像的能力。

Description

基于GAN网络的虚假图像鉴别系统及构建方法
技术领域
本发明涉及人工智能领域的计算机视觉技术，具体地，涉及一种基于GAN网络的虚假图像鉴别系统及构建方法。
背景技术
图像识别与分类任务是计算机视觉领域非常重要的部分。现有的图像识别与分类任务技术，通常采用训练神经网络识别模型来实现：首先将大量的训练数据输入待训练网络模型，通过反向传播损失，不断优化网络，得到泛化能力强的识别模型。
因此，在现有的识别与分类任务中，通过神经网络技术合成某种与原图像质量强度相当甚至更优的虚假图像，输入鉴别器后，会使得鉴别器难以分辨该图像是虚假合成图像还是真实图像，从而产生错误分类结果。
卷积神经网络(参考Krizhevsky,Alex,Ilya Sutskever,and GeoffreyE.Hinton.″Imagenet classification with deep convolutional neural networks.″Advances in neural information processing systems.2012.)在分类任务、人脸识别、物体检测等领域应用广泛。例如，在ImageNet图像分类任务中，卷积神经网络与传统分类算法相比展现出巨大的性能优势，顺势在计算机视觉领域取得优异的表现，随之产生了一系列优秀的神经网络模型，如GoogleNet和ResNet系列等。卷积神经网络的两个特点是局部连接和共享参数，与传统的多层感知机、支持向量机等模型相比，卷积神经网络大大减少模型参数，显著提高系统效率和实用性。
GAN(Generate Adversarial Network)，又名生成对抗网络(参考David Bau,Jun-Yan Zhu,Jonas Wulff,William Peebles,Hendrik Strobelt,Bolei Zhou,and AntonioTorralba.Seeing what a gan cannot generate.In ICCV,2019.以及Han Zhang,IanGoodfellow,Dimitris Metaxas,and Augustus Odena.Self-attention generativeadversarial networks.In ICML,2019.)，是生成模型的一种。GAN网络结构主要包含生成器和鉴别器两个部分。生成器的目标是生成一张虚假的图像；与此同时，鉴别器的目标是能够正确判别图像是虚假合成的还是真实存在的。实际上，生成器与鉴别器就形成了博弈关系，即生成器先生成一些图像输入给鉴别器，鉴别器判断这些图像是否为虚假合成图像，生成器再根据鉴别器判断结果，不断调整网络结构参数，同时鉴别器根据生成器生成虚假图像不断优化自己，直到鉴别器无法鉴别生成器所生成图像是真实图像还是虚假图像，此时得到完美的生成模型。GAN网络结构如图1所示。
图像合成是综合图像的分析、提取、边缘检测及各种图像处理技术，通过一定的算法，将多个源图像融合成为新的图像，使得最后的图像能够减少冗余，呈现出高清的图像和信息，尽可能的满足图像的高清晰程度和辨识度。其主要思想是将一个数学模型把多个图像传感器获得同一个场景的多个图像，通过处理综合成一个满足特定的需求和应用的图像的过程。现阶段，合成图像的主流方法是通过GAN网络(参考Tero Karras,Samuli Laine,and Timo Aila.A style-based generator architecture for generative adversarialnetworks.In CVPR,2019.)合成，利用该技术能够有效生成高质量，高逼真度的图像数据集。
但是，上述现有技术仍然存在如下问题：
在训练泛化能力强的识别网络模型时，需要大量的数据，而大量数据的获取往往较为困难；在鉴别虚假合成图像与真实图像时，普通的识别模型往往因为样本数据不足而无法分辨。因此，如何将上述图像合成技术应用于图像识别与分类任务中，成为本领域亟待解决的问题。但是，如果将上述现有技术直接应用于图像识别与分类任务中，通常存在如下技术问题：
GAN网络与图像合成之间并无必然联系，GAN网络中的生成器并不能简单地认为通过生成器即可以生成大量有用数据。因此，简单的拼接GAN网络无法解决真实-虚假数据库不足的问题。也就是说，采用现有的GAN网络，无法直接应用于图像合成技术中。
目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
本发明针对上述现有技术中存在的不足，提供了一种基于GAN网络的虚假图像鉴别系统及构建方法。
本发明是通过以下技术方案实现的。
根据本发明的一个方面，提供了一种基于GAN网络的虚假图像鉴别系统的构建方法，包括：
构建多个GAN网络模型，针对每一个GAN网络模型，分别在各自对应的数据集上进行训练；
采用训练后的多个GAN网络模型生成虚假图像，同时从数据集中选取同等数量的真实图像，将虚假图像和真实图像的分辨率进行统一；
对虚假图像和真实图像分别进行数据增强操作，生成训练集；
选择一个GAN网络模型，利用生成的训练集对该选择的GAN网络模型进行鉴别器训练；
对训练后的GAN网络模型进行泛化，构建形成基于GAN网络的虚假图像鉴别系统。
优选地，所述多个GAN网络模型，包括：3种无条件GAN网络和3种条件GAN网络；其中：3种无条件GAN网络模型包括：ProGAN网络模型、StyleGAN网络模型和BigGAN网络模型；3种条件GAN网络模块包括：CycleGAN网络模型、StarGAN网络模型和GauGAN网络模型。
优选地，将所述虚假图像和真实图像的分辨率统一为256×256。
优选地，所述数据增强操作，包括如下任意一种或任意多种：
-高斯模糊；
-图像翻转；
-图像裁剪；
-图像旋转；
-仿射变换；
-JPEG压缩。
优选地，用于进行鉴别器训练的GAN网络模型选择为ProGAN网络模型。
优选地，进行鉴别器训练的方法为：从分辨率为4×4的生成图像开始，利用训练集，采用图像插值方法逐步提高生成图像分辨率，直至将生成图像的分辨率提升至256×256。
根据本发明的另一个方面，提供了一种基于GAN网络的虚假图像鉴别系统，包括：
图像生成模块，所述图像生成模块采用多个GAN网络模型生成训练用的虚假图像，并从各GAN网络模型对应的数据集中选取同等数量的真实图像；
数据增强模块，所述数据增强模块对虚假图像和进行变换操作，对训练集进行扩充；
鉴别器模块，所述鉴别器模块选择多个GAN网络模型中的一个，采用数据增强模块中形成的训练集进行训练，用以区分真实图像和生成的图像。
优选地，所述图像生成模块采用的多个GAN网络模型分别在各自对应的数据集上进行训练。
优选地，所述图像生成模块采用的多个GAN网络模型分别生成同等数量的虚假图像，其中每一个生成的虚假图像均进行相同的预处理操作，并形成分别率均为256×256的图像。
优选地，所述多个GAN网络模型，包括：3种无条件GAN网络和3种条件GAN网络；其中：3种无条件GAN网络模型包括：ProGAN网络模型、StyleGAN网络模型和BigGAN网络模型；3种条件GAN网络模块包括：CycleGAN网络模型、StarGAN网络模型和GauGAN网络模型。
优选地，所述数据增强模块采用如下任意一个或多个操作对图像进行变换：
-高斯模糊；
-图像翻转；
-图像裁剪；
-图像旋转；
-仿射变换；
-JPEG压缩。
优选地，所述鉴别器模块采用ProGAN网络模型。
优选地，对所述鉴别器模块进行训练的方法为：从分辨率为4×4的生成图像开始，利用训练集，采用图像插值方法逐步提高生成图像分辨率，直至将生成图像的分辨率提升至256×256。
与现有技术相比，本发明具有如下至少一种有益效果：
本发明提供的基于GAN网络的虚假图像鉴别系统及构建方法，为训练通用且泛化性能优秀的分类器，利用无条件式GAN网络模型可生成任意数量图像的特性，研究在特定模型的图像上训练一个性能优秀的鉴别器，以便推广到多个模型。
本发明提供的基于GAN网络的虚假图像鉴别系统及构建方法，为研究训练分类器检测GAN生成的图像的迁移性，收集一个由6种GAN模型合成的数据集，形成训练集。
本发明提供的基于GAN网络的虚假图像鉴别系统及构建方法，通过生成虚假图像方式，对所有数据集中的图像，都将其统一裁剪生成分辨率尺寸为256×256的图像进行真实/虚假预测；通过数据增强及数据类别多样化方式，不断提高分类器的泛化能力和鲁棒性。
本发明提供的基于GAN网络的虚假图像鉴别系统及构建方法，通过生成器合成虚假图像，将虚假合成图像与真实图像共同输入鉴别器，不断优化鉴别器与生成器，从而得到泛化性能优秀的鉴别器，使其能够分辨一幅图像是虚假合成图像还是真实图像。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为背景技术中GAN网络结构示意图；
图2为本发明一实施例中基于GAN网络的虚假图像鉴别系统的构建方法流程图；
图3为本发明一优选实施例中基于GAN网络的虚假图像鉴别系统的构建方法流程图；
图4为本发明一优选实施例中JPEG压缩原理图；
图5为本发明一优选实施例中ProGAN的结构示意图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
图2是本发明一实施例中提供的基于GAN网络的虚假图像鉴别系统的构建方法流程图；该构建方法基于GAN网络模型，合成数量庞大的数据集作为训练集，用于GAN网络模型中鉴别器的训练，通过数据增强操作，提升该鉴别器的泛化能力和鲁棒性，进而推广到各种模型中去，使其具有更强鉴别虚假图像与真实图像的能力。
如图2所示，该实施例的基于GAN网络的虚假图像鉴别系统的构建方法，包括：
S1，构建多个GAN网络模型，针对每一个GAN网络模型，分别在各自对应的数据集上进行训练；
S2，采用训练后的多个GAN网络模型生成虚假图像，同时从数据集中选取同等数量的真实图像，将虚假图像和真实图像的分辨率进行统一；
S3，对虚假图像和真实图像分别进行数据增强操作，生成训练集；
S4，选择一个GAN网络模型，利用生成的训练集对该选择的GAN网络模型进行鉴别器训练；
S5，对训练后的GAN网络模型进行泛化，构建形成基于GAN网络的虚假图像鉴别系统。
作为一优选实施例，多个GAN网络模型，包括：3种无条件GAN网络和3种条件GAN网络；其中：3种无条件GAN网络模型包括：ProGAN网络模型、StyleGAN网络模型和BigGAN网络模型；3种条件GAN网络模块包括：CycleGAN网络模型、StarGAN网络模型和GauGAN网络模型。
作为一优选实施例，将虚假图像和真实图像的分辨率统一为256×256。
作为一优选实施例，数据增强操作，包括如下任意一种或任意多种：高斯模糊；图像翻转；图像裁剪；图像旋转；仿射变换；JPEG压缩。
作为一优选实施例，用于进行鉴别器训练的GAN网络模型选择为ProGAN网络模型。
作为一优选实施例，进行鉴别器训练的方法为：从分辨率为4×4的生成图像开始，利用训练集，采用图像插值方法逐步提高生成图像分辨率，循序渐进，直至将生成图像的分辨率提升至256×256。
如图3所示，在本发明部分实施例中：分别构建ProGAN、StyleGAN、BigGAN、CycleGAN、StarGAN、GauGAN网络模型，基于GAN网络模型在各自的数据集上表现良好的特点，将GAN网络模型分别在各自对应的数据集上进行训练，同时提升样本的宽泛性。采用构建的多个GAN网络模型生成虚假图像，同时从数据集中选取同等数量的真实图像，虚假图像和真实图像的分辨率都设置为256×256。对真假图像进行数据增强操作，包括高斯模糊、裁剪、翻转、仿射变换、JPEG压缩，保证所有图像都进行同样的操作，生成训练集。采用生成的训练集对ProGAN进行训练。
图像生成中：传统的GAN网络鉴别器对于本模型的生成器生成的图像鉴别精度很高，但对于其他GAN网络生成的图像鉴别能力较弱。本发明实施例的重点就是集成大量GAN网络生成多样性图像，总计使用了6种GAN网络的模型，包括3种无条件GAN网络：ProGAN(可参考Tero Karras,Timo Aila,Samuli Laine,and Jaakko Lehtinen.Progressivegrowing of gans for improved quality,stability,and variation.In ICLR,2018.)、StyleGAN(可参考Tero Karras,Samuli Laine,and Timo Aila.A style-based generatorarchitecture for generative adversarial networks.In CVPR,2019.)、BigGAN(可参考Andrew Brock,Jeff Donahue,and Karen Simonyan.Large scale gan training forhigh fidelity natural image synthesis.In ICLR,2019.)；3种条件GAN网络：CycleGAN(可参考Jun-Yan Zhu,Taesung Park,Phillip Isola,and Alexei A Efros.Unpairedimage-to-image translation using cycleconsistent adversarial networks.InICCV,2017.)、StarGAN(可参考Yunjey Choi,Minje Choi,Munyoung Kim,Jung-Woo Ha,Sunghun Kim,and Jaegul Choo.Stargan:Unified generative adversarial networksfor multi-domain image-to-image translation.In CVPR,2018.)、GauGAN(可参考Taesung Park,Ming-Yu Liu,Ting-Chun Wang,and Jun-Yan Zhu.Semantic imagesynthesis with spatially-adaptive normalization.In CVPR,2019.)。
由于不同的模型所使用的数据集不同，为了使每个模型提供近似相等的作用，在生成训练图像的过程中保证：1)从每个模型对应的数据集中选取同等数量的真实图像；2)每个模型生成同等数量的虚假图像，并且数量和真实图像的数量相同；3)所有图像都进行相同的预处理操作，不做任何后处理操作。由于使用了不同的数据集，各个模型对应的图像分别率也有所不同。CycleGAN,StarGAN,ProGAN使用的LSUN数据集,GauGAN使用的COCO数据集等都是256×256分辨率的图像，因此本发明实施例中所有的图像都采用此分辨率。对于低分辨率的图像，采用双线性插值将其分辨率提升到256×256，对于高分辨率的图像，将其裁剪到256×256的分辨率。
数据增强中：数据增强是扩充数据样本规模的一种有效的方法。深度学习是基于大数据的一种方法，数据的规模对模型的质量有显著的影响，不仅会影响模型的精度，还会影响模型的泛化能力，然而实际在采集数据的过程中，往往很难涵盖全部的场景，比如：对于光照条件，在采集图像数据时很难控制光线的比例，因此在训练模型的时候，就需要加入光照变化方面的数据增强。再有一方面就是数据的获取也需要大量的成本，如果能够自动化的生成各种训练数据，就能做到更好的开源节流。本发明实施例采用的数据增强方法有以下几种：
(1)高斯模糊。对于现实中的图像，从拍摄到存储的过程中由于存在成像传感器噪声、相片颗粒噪声、图像传输过程中的信道噪声，这些因素会使得图像上出现一些随机的、离散的、孤立的像素点，称为图像噪声。高斯模糊，也称为高斯平滑，是用来减小图像噪声以及降低细节层次的一种方法。高斯模糊的原理可以解释为将图像中所有像素点的值设置为周围像素点的平均值，根据与中心点的距离设置不同的权重，其权重G(x,y)计算方法如公式(1)所示：
Figure BDA0002472775340000081
公式(1)中σ2表示标准差，x表示像素点的横坐标，y表示像素点的纵坐标。
(2)图像翻转。图像翻转指的是将图像沿水平或者竖直方向进行翻转。对于人眼而言，原图和翻转后的图像没有本质上的区别，是可以轻易区分的，但是对于神经网络而言，翻转后的图像的像素的空间分布信息发生了明显的变化，不一定能够正确识别，通过图像翻转可以一定程度上提高网络的泛化能力。
(3)图像裁剪。图像裁剪指的是只选取原图中的某一个区域，舍弃掉其他的部分。与图像翻转类似，对于人眼而言，在多数情况下，只看到图像的一部分也是可以识别图像内容的，比如对于一张“猫”的图像，只截取头部人眼也是可以辨认出这是一只猫，但对于神经网络则不然，因此图像裁剪也可以一定程度上提高网络的泛化能力。
(4)图像旋转。图像旋转值得是以图像的几何中心为原点旋转一定的角度，由于在旋转的过程中，图像的像素点会落在非格点的位置，然而对于数字图像而言，只有格点上的像素点才有意义，因此对于没有落在格点上的像素采用双线性插值，计算方法如公式(2)所示：
Figure BDA0002472775340000082
Figure BDA0002472775340000083
Figure BDA0002472775340000084
其中，f(x,y)表示图像中坐标为(x,y)的像素点的值，(x,y)是旋转后的像素点对应的位置，(x1,y1)、(x1,y2)、(x2,y1)、(x2,y2)分别为距离(x,y)最近的四个点。
(5)仿射变换。仿射变换是一种二维坐标到二维坐标之间的线性变换，允许图像任意倾斜并且在两个方向上任意伸缩。其变换方法如公式(3)所示：
Figure BDA0002472775340000085
其中，x和y表示变换前的坐标，x′和y′表示变换后的坐标，tx和ty表示平移量，ai(i＝1～4)反映了旋转、缩放等变换。
(6)JPEG压缩。JPEG是一种常见的图像压缩标准。GAN网络在生成图像的过程中是以矩阵的形式代表图像，其像素点的取值是连续的，可以取到小数，然而对于存储的图像而言，其像素点只能取0～255的整数值，因此，进行JPEG压缩可以一定程度上提高模型在现实场景中的实用性。JPEG的压缩原理如图4所示。
鉴别器训练中：虽然所有这些GAN网络模型的鉴别器都可用于检测真假图像，但是由于数据集大小的限制，并不是所有模型都适合训练分类器。本发明实施例利用数据集中的无条件GAN模型可以合成任意数量的图像，并选择一个特定的模型ProGAN来训练鉴别器。使用单一模型进行训练的决策最类似于现实世界中的检测问题，其中要泛化的模型的多样性或数量在训练时是未知的。通过只选择一个模型进行训练，本发明实施例可以计算任务挑战性的上限，联合训练多个模型将使泛化问题变得更容易。本发明实施例选择ProGAN是因为它可以生成高质量的图像，并且具有简单的卷积网络结构，其结构如图5所示。
对ProGAN网络模型提出了一种新的训练方式，即不要一开始就学习高清图像生成，而是从低分辨率开始，训练好了再提升分辨率，学习高分辨率下的图像生成。从4×4到8×8一直提升到256×256，循序渐进，即能有效且稳定地训练出一个高质量的高分辨率生成器模型。
模型泛化中：当ProGAN的鉴别器训练好之后，从所有的GAN网络原始的数据集(未经过数据增强)中挑选部分真实图像，并用各自对应的GAN网络生成虚假图像，用这两者构成测试集，用其他GAN网络在测试集上生成的虚假图像测试鉴别器的泛化能力。在保证输入数据都进行了相同的操作情况下，比较训练的鉴别器和其他GAN网络的鉴别器对所有虚假图像的检测能力。由于不同的预处理操作以及操作的幅度会对检测结果产生影响，因此要根据鉴别器的表现情况选择最合适的预处理操作，包括高斯模糊的方差大小、裁剪尺寸的选择、旋转角度的大小、仿射变换的幅度。
在本发明的另一个实施例中，提供了一种基于GAN网络的虚假图像鉴别系统，包括：
图像生成模块，图像生成模块采用多个GAN网络模型生成训练用的虚假图像，并从各GAN网络模型对应的数据集中选取同等数量的真实图像；
数据增强模块，数据增强模块对虚假图像和进行变换操作，对训练集进行扩充；
鉴别器模块，鉴别器模块选择多个GAN网络模型中的一个，采用数据增强模块中形成的训练集进行训练，用以区分真实图像和生成的图像。
作为一优选实施例，图像生成模块采用的多个GAN网络模型分别在各自对应的数据集上进行训练。
作为一优选实施例，图像生成模块采用的多个GAN网络模型分别生成同等数量的虚假图像，其中每一个生成的虚假图像均进行相同的预处理操作，并形成分别率均为256×256的图像。
作为一优选实施例，多个GAN网络模型，包括：3种无条件GAN网络和3种条件GAN网络；其中：3种无条件GAN网络模型包括：ProGAN网络模型、StyleGAN网络模型和BigGAN网络模型；3种条件GAN网络模块包括：CycleGAN网络模型、StarGAN网络模型和GauGAN网络模型。
作为一优选实施例，数据增强模块采用如下任意一个或多个操作对图像进行变换：高斯模糊；图像翻转；图像裁剪；图像旋转；仿射变换；JPEG压缩。
作为一优选实施例，鉴别器模块采用ProGAN网络模型。
作为一优选实施例，对鉴别器模块进行训练的方法为：从分辨率为4×4的生成图像开始，利用训练集，采用图像插值方法逐步提高生成图像分辨率，直至将生成图像的分辨率提升至256×256。
本发明上述实施例提供的基于GAN网络的虚假图像鉴别系统及构建方法，能偶生成数量庞大的图像数据集，经过训练可获得泛化性能更好，鲁棒性更强的鉴别器，使得对于虚假合成图像与真实图像做以更有效的鉴别分类。该技术应用广泛，在人脸识别系统中，通过对人脸图像进行重新合成方式欺骗人脸识别系统，有助于检验人脸识别网络的鲁棒性和安全性；在自动驾驶系统中，通过对路标图像进行再合成方式欺骗自动驾驶系统，有助于检验机器视觉中物体分类和目标检测网络的鲁棒性和安全性。随着5G技术的发展，图像视频数据将在社会生活中成为主要信息载体。合成图像将在计算机视觉领域发挥重要作用，这种通过博弈训练的鉴别器将会在语音生成、对话生成等任务上发挥巨大优势。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于GAN网络的虚假图像鉴别系统的构建方法，其特征在于，包括：
构建多个GAN网络模型，针对每一个GAN网络模型，分别在各自对应的数据集上进行训练；
采用训练后的多个GAN网络模型生成虚假图像，同时从数据集中选取同等数量的真实图像，将虚假图像和真实图像的分辨率进行统一；
对虚假图像和真实图像分别进行数据增强操作，生成训练集；
选择一个GAN网络模型，利用生成的训练集对该选择的GAN网络模型进行鉴别器训练；
对训练后的GAN网络模型进行泛化，构建形成基于GAN网络的虚假图像鉴别系统。
2.根据权利要求1所述的基于GAN网络的虚假图像鉴别系统的构建方法，其特征在于，所述多个GAN网络模型，包括：3种无条件GAN网络和3种条件GAN网络；其中：3种无条件GAN网络模型包括：ProGAN网络模型、StyleGAN网络模型和BigGAN网络模型；3种条件GAN网络模块包括：CycleGAN网络模型、StarGAN网络模型和GauGAN网络模型。
3.根据权利要求1所述的基于GAN网络的虚假图像鉴别系统的构建方法，其特征在于，将所述虚假图像和真实图像的分辨率统一为256×256。
4.根据权利要求1所述的基于GAN网络的虚假图像鉴别系统的构建方法，其特征在于，所述数据增强操作，包括如下任意一种或任意多种：
-高斯模糊；
-图像翻转；
-图像裁剪；
-图像旋转；
-仿射变换；
-JPEG压缩。
5.根据权利要求1所述的基于GAN网络的虚假图像鉴别系统的构建方法，其特征在于，用于进行鉴别器训练的GAN网络模型选择为ProGAN网络模型；和/或
进行鉴别器训练的方法为：从分辨率为4×4的生成图像开始，利用训练集，采用图像插值方法逐步提高生成图像分辨率，直至将生成图像的分辨率提升至256×256。
6.一种基于GAN网络的虚假图像鉴别系统，其特征在于，包括：
图像生成模块，所述图像生成模块采用多个GAN网络模型生成训练用的虚假图像，并从各GAN网络模型对应的数据集中选取同等数量的真实图像；
数据增强模块，所述数据增强模块对虚假图像和进行变换操作，对训练集进行扩充；
鉴别器模块，所述鉴别器模块选择多个GAN网络模型中的一个，采用数据增强模块中形成的训练集进行训练，用以区分真实图像和生成的图像。
7.根据权利要求6所述的基于GAN网络的虚假图像鉴别系统，其特征在于，所述图像生成模块采用的多个GAN网络模型分别在各自对应的数据集上进行训练；和/或
所述图像生成模块采用的多个GAN网络模型分别生成同等数量的虚假图像，其中每一个生成的虚假图像均进行相同的预处理操作，并形成分别率均为256×256的图像。
8.根据权利要求6所述的基于GAN网络的虚假图像鉴别系统，其特征在于，所述数据增强模块采用如下任意一个或多个操作对图像进行变换：
-高斯模糊；
-图像翻转；
-图像裁剪；
-图像旋转；
-仿射变换；
-JPEG压缩。
9.根据权利要求6-8任一项所述的基于GAN网络的虚假图像鉴别系统，其特征在于，所述多个GAN网络模型，包括：3种无条件GAN网络和3种条件GAN网络；其中：3种无条件GAN网络模型包括：ProGAN网络模型、StyleGAN网络模型和BigGAN网络模型；3种条件GAN网络模块包括：CycleGAN网络模型、StarGAN网络模型和GauGAN网络模型。
10.根据权利要求9所述的基于GAN网络的虚假图像鉴别系统，其特征在于，所述鉴别器模块选择ProGAN网络模型；和/或
对所述鉴别器模块进行训练的方法为：从分辨率为4×4的生成图像开始，利用训练集，采用图像插值方法逐步提高生成图像分辨率，直至生成图像的分别率提升至256×256。
CN202010353776.7A 2020-04-29 2020-04-29 基于gan网络的虚假图像鉴别系统及构建方法 Active CN111539483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010353776.7A CN111539483B (zh) 2020-04-29 2020-04-29 基于gan网络的虚假图像鉴别系统及构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010353776.7A CN111539483B (zh) 2020-04-29 2020-04-29 基于gan网络的虚假图像鉴别系统及构建方法

Publications (2)

Publication Number Publication Date
CN111539483A true CN111539483A (zh) 2020-08-14
CN111539483B CN111539483B (zh) 2023-05-12

Family

ID=71967644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010353776.7A Active CN111539483B (zh) 2020-04-29 2020-04-29 基于gan网络的虚假图像鉴别系统及构建方法

Country Status (1)

Country Link
CN (1) CN111539483B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709408A (zh) * 2020-08-18 2020-09-25 腾讯科技（深圳）有限公司 图像真伪检测方法和装置
CN112163511A (zh) * 2020-09-25 2021-01-01 天津大学 一种图像真伪鉴别方法
WO2022121213A1 (zh) * 2020-12-10 2022-06-16 深圳先进技术研究院 一种基于gan的无造影剂医学图像增强建模方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190138847A1 (en) * 2017-11-06 2019-05-09 Google Llc Computing Systems with Modularized Infrastructure for Training Generative Adversarial Networks
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
US20190295302A1 (en) * 2018-03-22 2019-09-26 Northeastern University Segmentation Guided Image Generation With Adversarial Networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190138847A1 (en) * 2017-11-06 2019-05-09 Google Llc Computing Systems with Modularized Infrastructure for Training Generative Adversarial Networks
US20190295302A1 (en) * 2018-03-22 2019-09-26 Northeastern University Segmentation Guided Image Generation With Adversarial Networks
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗佳;黄晋英;: "生成式对抗网络研究综述" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709408A (zh) * 2020-08-18 2020-09-25 腾讯科技（深圳）有限公司 图像真伪检测方法和装置
WO2022037258A1 (zh) * 2020-08-18 2022-02-24 腾讯科技（深圳）有限公司 图像真伪检测方法、装置、计算机设备和存储介质
CN112163511A (zh) * 2020-09-25 2021-01-01 天津大学 一种图像真伪鉴别方法
CN112163511B (zh) * 2020-09-25 2022-03-29 天津大学 一种图像真伪鉴别方法
WO2022121213A1 (zh) * 2020-12-10 2022-06-16 深圳先进技术研究院 一种基于gan的无造影剂医学图像增强建模方法

Also Published As

Publication number Publication date
CN111539483B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN111311563B (zh) 一种基于多域特征融合的图像篡改检测方法
CN111415316B (zh) 基于生成对抗网络的缺陷数据合成方法
CN111461134B (zh) 一种基于生成对抗网络的低分辨率车牌识别方法
CN108764085B (zh) 基于生成对抗网络的人群计数方法
CN112150493B (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN111539483A (zh) 基于gan网络的虚假图像鉴别系统及构建方法
JP4479478B2 (ja) パターン認識方法および装置
JP6797860B2 (ja) 水上侵入検知システムおよびその方法
CN107945111B (zh) 一种基于surf特征提取结合cs-lbp描述符的图像拼接方法
CN109034184B (zh) 一种基于深度学习的均压环检测识别方法
CN109635634B (zh) 一种基于随机线性插值的行人再识别数据增强方法
CN112288627B (zh) 一种面向识别的低分辨率人脸图像超分辨率方法
CN112418041B (zh) 一种基于人脸正面化的多姿态人脸识别方法
CN111368666B (zh) 一种基于新型池化及注意力机制双流网络的活体检测方法
CN113870263B (zh) 一种路面缺陷损伤实时监测方法及系统
CN111696021A (zh) 一种基于显著性检测的图像自适应隐写分析系统及方法
Nam et al. Deep convolutional neural network for identifying seam-carving forgery
CN112084952B (zh) 一种基于自监督训练的视频点位跟踪方法
CN116052212A (zh) 一种基于双重自监督学习的半监督跨模态行人重识别方法
CN112347805A (zh) 一种多目标二维码检测识别方法、系统、装置及存储介质
Wang et al. Feature-driven super-resolution for object detection
CN112884657B (zh) 一种人脸超分辨率重建方法及系统
CN110503157B (zh) 基于细粒度图像的多任务卷积神经网络的图像隐写分析方法
CN105512682B (zh) 一种基于Krawtchouk矩和KNN-SMO分类器的密级标识识别方法
CN116664867A (zh) 一种基于多证据融合选取训练样本的特征提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant