CN110930471A - 一种基于人机交互式对抗网络的图像生成方法 - Google Patents
一种基于人机交互式对抗网络的图像生成方法 Download PDFInfo
- Publication number
- CN110930471A CN110930471A CN201911144609.5A CN201911144609A CN110930471A CN 110930471 A CN110930471 A CN 110930471A CN 201911144609 A CN201911144609 A CN 201911144609A CN 110930471 A CN110930471 A CN 110930471A
- Authority
- CN
- China
- Prior art keywords
- image
- discriminator
- generator
- generated
- man
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 25
- 230000003993 interaction Effects 0.000 claims abstract description 90
- 238000012549 training Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims description 2
- 238000000844 transformation Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 9
- 241000282414 Homo sapiens Species 0.000 description 8
- 241000287107 Passer Species 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 5
- 241001156002 Anthonomus pomorum Species 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 3
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 3
- 241000283086 Equidae Species 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000675108 Citrus tangerina Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于人机交互式对抗网络的图像生成方法。本发明方法，属于图像生成技术领域，为解决现有生成对抗网络存在收敛速度慢或者根本不会收敛，并且生成器和鉴别器有很大的可能性不会同时收敛的问题，本发明主要利用基于人机交互的生成式对抗网络来判断生成图像的好坏，引入交互式生成对抗网络，作用于生成器损失函数和生成器、鉴别器网络；可以取得优于无交互的传统生成对抗网络的结果，同时，改善了生成图像的模式崩溃问题。
Description
技术领域
本发明涉及图像生成技术领域，具体而言，尤其涉及一种基于人机交互式对抗网络的图像生成方法。
背景技术
GAN(生成对抗网络)是生成器和鉴别器之间的游戏，生成器构造来自随机变量的合成数据，鉴别器将合成数据与现实世界数据分开。生成器的目标是以这样的方式构造数据，使得鉴别器不能将它们与真实世界数据区分开来。因此，鉴别器在生成器试图使该误差最大化时最小化合成实际鉴别误差。随着这种游戏的迭代，生成器构造的数据就会越发真实。生成对抗网络在生成逼真图像方面取得了显著成果。2014年第一篇GAN提出后，GAN呈现出爆发式的发展，从最早的噪声作为输入，到之后的图像域变换，再到之后可以生成1080p的超分辨率生成式对抗网络，可以说GAN的生成质量，网络完善性，图像样式多样性在不断地进步。
生成对抗网络自提出以来，一直存在生成质量不稳定的问题，但在2017年1月后有了解决的方法，例如Arjovsky M等人的(Wasserstein GAN[C]//Thirty-fourthInternational Conference on Machine Learning.2017.)在生成稳定性方面有了很大的提升，但依旧存在收敛速度慢或者根本不会收敛，并且生成器和鉴别器有很大的可能性不会同时收敛的问题，什么时候停止GAN的迭代往往是通过人类本身的经验来推断。人类作为目前最先进的智能体，先验知识和后验知识是最丰富的，因此，如果把人的主观因素加入到GAN的生成对抗的过程中，改变原本固有的神经网络训练过程，会得到更好的结果。
发明内容
根据上述提出的技术问题，而提供一种基于人机交互式对抗网络的图像生成方法。本发明主要利用基于人机交互的生成式对抗网络来判断生成图像的好坏，引入交互式生成对抗网络，作用于生成器损失函数和生成器，鉴别器网络，可以取得优于无交互的传统生成对抗网络的结果，同时，改善了生成图像的模式崩溃问题。
本发明采用的技术手段如下：
一种基于人机交互式对抗网络的图像生成方法，包括如下步骤：
S1、收集horse2zebra和
两个原始数据集，并将其作为训练样本；
S2、将不同的测试数据集分别作为输入图像，输入到CycleGAN和CGAN的生成器中；
S3、所述生成器学习输入图像的特征，并将学习的特征采用人机交互方法创造出新的图像作为生成器的输出图像；
S4、将所述生成器的输出图像输入到鉴别器中，鉴别器对原始数据集提取的图像特征和生成器生成图像的特征进行判断，判断鉴别器的输入图像是真实的图像还是生成器生成的图像，输出判断值；
S5、若鉴别器输出的判断值可以将生成器生成的图像和原始图像分开，则返回步骤S3，直到鉴别器不能将生成的图像和原始图像分开。
进一步地，所述的CycleGAN为实现两个域变换的GAN模型，包括两个生成器，所述的CGAN用于根据简图生成内容丰富的图像。
进一步地，所述生成器的模型采用人机交互原理，包括卷积，反卷积和残差块；其具体的公式如下：
上式中，Score表示分数，即0～1；GP表示梯度惩罚项，(1-λ)*Score表示交互因子，Z表示从分布P(Z)采样的噪声矢量；G表示生成器，D表示鉴别器，λ表示超参数。
进一步地，所述残差块用于将上一层的特征保留进下一层中，使多次卷积之后不会出现完全不相同的结果。
进一步地，所述鉴别器对原始数据集提取的图像特征和生成器生成图像的特征进行判断的具体过程如下：
若对生成图像和真实图像的判断概率是50％，则鉴别器不判别；
若对生成图像的判别概率大于对真实图像的判别概率，则判定鉴别器错把真实图像当作生成图像；
若对生成图像的判别概率小于真实图像的概率，则判定鉴别器可以分辨出真假，同时，生成器会继续生成更加真实的加图像。
进一步地，所述生成器的输入、输出均为图像，所述鉴别器的输入为图像，输出为值。
较现有技术相比，本发明具有以下优点：
1、本发明提供的基于人机交互式对抗网络的图像生成方法，通过引入交互式生成对抗网络，作用于生成器损失函数和生成器，鉴别器网络，可以取得优于无交互的传统生成对抗网络的结果。
2、本发明提供的基于人机交互式对抗网络的图像生成方法，可以改善生成图像的模式崩溃问题。
基于上述理由本发明可在图像生成等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明图像鉴定方法的流程图。
图2为本发明horse2zebra和
两个原始数据集的示例图像。
图3为本发明基于人机交互的生成式对抗网络CycleGAN和CGAN的生成结果对比图。
图4为本发明实施例1提供的基于原网络以及人机交互的生成式对抗网络CycleGAN和CGAN的生成结果对比图。
图5为本发明实施例1提供的基于原网络以及人机交互的生成式对抗网络CycleGAN和CGAN的生成结果对比图。
图6为本发明实施例2提供的基于原网络以及人机交互的生成式对抗网络CycleGAN和CGAN的生成结果对比图。
图7为本发明实施例3提供的基于原网络以及人机交互的生成式对抗网络CycleGAN和CGAN的生成结果对比图。
图8为本发明实施例4提供的基于原网络以及人机交互的生成式对抗网络CycleGAN和CGAN的生成结果对比图。
图9为本发明实施例5提供的基于原网络以及人机交互的生成式对抗网络CycleGAN和CGAN的生成结果对比图。
图10为本发明实施例5提供的基于原网络以及人机交互的生成式对抗网络CycleGAN和CGAN的生成结果对比图。
图11为本发明实施例6提供的基于原网络以及人机交互的生成式对抗网络CycleGAN和CGAN的生成结果对比图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，本发明提供了一种基于人机交互式对抗网络的图像生成方法，包括如下步骤：
S1、收集horse2zebra和
两个原始数据集，并将其作为训练样本；其中，horse2zebra数据集来自ImageNET，该数据集是一个用于视觉对象识别软件研究的大型可视化数据库。包括百万张图像，其中使用马和斑马的1334张图像。
为CGAN的专用数据集，有525张图像。如图2所示，为horse2zebra和
数据集的示例图像。
本实施例中，配置了Intel(R)Core i7-6700CPU 3.40GHz，在LinuxUbuntu14.04TL上进行，使用的语言为python，版本为python3.7。深度学习框架是Tensorflow1.13.0和Pytorch1.1.0，主要需要的库是Opencv2、numpy。
S2、将额外140张图像的测试数据集分别作为输入图像，输入到CycleGAN和CGAN的生成器中；其中，CycleGAN为实现两个域变换的GAN模型，比如马变成斑马，橘子变成苹果，梵高风格变成新海诚风格，包括两个生成器，CGAN用于根据简图生成内容丰富的图像。生成器的模型包括卷积，反卷积和残差块；其中，加入残差块的目的是将上一层的特征保留进下一层中，使多次卷积之后不会出现完全不相同的结果。鉴别器模型采用的是卷积，因为最后其只输出一个值，因此不必有其他结构存在。生成器的模型采用人机交互原理，其具体的公式如下：
上式中，Score表示分数，即0～1；GP表示梯度惩罚项，Z表示从分布P(Z)采样的噪声矢量；G表示生成器，D表示鉴别器，λ表示超参数，(1-λ)*Score在本实施例中表示交互因子，当生成质量很高时，不给予惩罚，使损失函数保持不变；当生成质量欠佳时，给予很大的梯度惩罚，通过增大损失函数的方式增大损失，让网络可以在惩罚处多次训练，以此达到将生成质量欠佳的图像变成生成质量颇佳的图像的目的。
S3、所述生成器学习输入图像的特征，并将学习的特征采用人机交互方法创造出新的图像作为生成器的输出图像；
S4、将所述生成器的输出图像输入到鉴别器中，鉴别器对原始数据集提取的图像特征和生成器生成图像的特征进行判断，判断鉴别器的输入图像是真实的图像还是生成器生成的图像，输出判断值；其中，生成器的输入、输出均为图像，鉴别器的输入为图像，输出为值，鉴别器对原始数据集提取的图像特征和生成器生成图像的特征进行判断的具体过程如下：
若对生成图像和真实图像的判断概率是50％，则鉴别器不判别；
若对生成图像的判别概率大于对真实图像的判别概率，则判定鉴别器错把真实图像当作生成图像；
若对生成图像的判别概率小于真实图像的概率，则判定鉴别器可以分辨出真假，同时，生成器会继续生成更加真实的加图像。
S5、若鉴别器输出的判断值可以将生成器生成的图像和原始图像分开，则返回步骤S3，直到鉴别器不能将生成的图像和原始图像分开，即鉴别器对生成的图像和原始图像的判别概率均为50％。
本实施例中，采用horse2zebra和
数据集作为训练图片，用额外140张图像作为测试图片，评价标准采用主观和客观两种方式，主观方式为人类判断生成图像的好坏，客观方法为应用最多的Inception Score(IS)值，配合SMD，Brenner，Laplacian三个值来判断生成图像的好坏。如图3所示，为基于人机交互的生成式对抗网络CycleGAN和CGAN的生成结果，实验结果如表1所示：
表1：有无人机交互结果对比
由此可见，本发明引入交互式生成对抗网络，作用于生成器损失函数和生成器，鉴别器网络，可以取得优于无交互的传统生成对抗网络的结果。
实施例1
本实施例中，使用Linux14.04TLS系统，搭配Anaconda5.2.0，使用显卡为两块GTX-1660Ti，CUDA9.0，Cudnn7.5.0，框架采用Tensorflow和Pytorch两种，其中Tensorflow使用1.12.0版本，Pytorch使用1.1.0版本，使用Python语言实现。CycleGAN和CGAN两个网络的具体参数如下表：
表1：网络环境超参数配置
本实施例分为两大部分，第一大部分为证明交互式生成对抗技巧有效果，第二部分为探索不同参数下，交互式技巧提升最明显的情况。本实施例的评定结果使用InceptionScore及三种常规图像清晰度测试方法，具体包括SMD函数，Brenner梯度函数和Laplacian梯度函数。由于Inception Score的局限性，如果数据结果相差不大，本发明会采用让测试者主观评价的方式来评定生成效果的方法。
如图4所示，(a)、(b)、(c)、(d)为原网络在200epoch时生成的结果。(e)、(f)、(g)、(h)为CycleGAN训练70个epoch的情况下，交互40次，人为占比与生成损失占比为0.99：0.01生成的结果。(i)、(j)、(k)、(l)为CycleGAN训练70个epoch的情况下，交互400次，人为占比与生成损失占比为0.99：0.01生成的结果。从图4中画框部分可以看出，(a)和(i)，(b)和(j)，(c)和(k)，(d)和(l)间的生成细节差距，无论是背景，亦或是生成边缘，色彩，本文的交互式对抗网络技巧生成图像都更加好，(a)和(e)，(b)和(f)，(c)和(g)，(d)和(h)在色彩相差结果不大的情况下，画框部分的边缘细节更加优于原网络生成的结果。
如图5所示，(a)和(d)为原网络在200epoch时生成的结果。(b)和(e)来自CGAN训练70个epoch的情况下，交互40次，其中人为占比与生成损失占比为0.99：0.01，得到的结果。(c)和(f)来自CGAN训练70个epoch的情况下，交互400次，其中人为占比与生成损失占比为0.99：0.01，得到的结果。可以看出，图中画框部分的生成精细程度远远超越原始结果。交互得到的IS值，SMD值，Brenner值和Laplacian值相差并不大，因此本文采用让路人评判生成结果的方式来评价生成质量，参与评判人数为20人，并且他们并不知道他们评判的图像属于哪一组。其中19人认为70个epoch生成的质量好，其中有10人认为400次交互生成质量好于40次生成质量，1人认为200个epoch的原始网络生成的质量好。单从这个结果来看，交互40次的结果并没有与400次的结果相差过大。
实施例2
本实施例为交互时人机占比对生成质量的影响，具体如下：
使用CycleGAN模型在70个epoch时的不同交互比例结果如下表所示：
表2：CycleGAN在不同交互比例的生成质量评价的对比。
如图6所示，(a)为70epoch下GAN比例系数：人为比例系数＝0.7:0.3，(b)为70epoch下GAN比例系数：人为比例系数＝0.3:0.7，(c)为70epoch下GAN比例系数：人为比例系数＝0.1:0.9，(d)为70epoch下GAN比例系数：人为比例系数＝0.01:0.99，(e)为70epoch下GAN正常生成结果。
结果表明，0.1:0.9时出现反常，但在其他几种情况中，人的主观评价占比越重，对结果的生成质量影响越大，且越好。
实施例3
本实施例为交互时期对生成质量的影响，具体如下：
本实施例中，交互时期分为三个阶段，分别是训练初期进行人机交互(前30％)，训练中期进行人机交互(中间40％)，以及训练后期进行人机交互(最后30％)，CycleGAN和CGAN训练的epoch数量为70个，分别在0～21epoch，22～48epoch，49～70epoch这三个阶段分三次加入交互，在不交互的阶段里仍然使用原始网络训练。两个GAN在不同交互时期下的生成质量的对比如下表所示：
表3：两个GAN在不同交互时期下的生成质量的对比。
注：这里的所有值为CycleGAN和CGAN所得结果的均值
如图7所示，(a)、(b)、(c)为0～21epoch进行人机交互，其余阶段正常生成得到的结果。(d)、(e)、(f)为22～48epoch进行人机交互，其余阶段正常生成得到的结果。(g)、(h)、(i)为49～70epoch进行人机交互，其余阶段正常生成得到的结果。由于三个阶段进行交互得到的IS值，SMD值，Brenner值和Laplacian值相差并不大，因此采用让路人评判生成结果的方式来评价生成质量，参与评判人数为20人，并且他们并不知道他们评判的图像属于哪一组。其中16人认为0～21epoch阶段进行交互生成的质量好，3人认为49～70epoch阶段进行交互生成的质量好，1人认为22～48epoch阶段进行交互生成的质量好。
结果表明，在训练初期进行人机交互的效果要好于在训练中期进行人机交互，在训练中期进行人机交互的效果要好于在训练末期进行人机交互，也就是对网络损失函数的变动越早效果越明显。
实施例4
本实施例为人机交互的频率对生成质量的影响，具体如下：
实验选取4个不同步数的交互过程，具体为：1.每一步都交互一次，2.每100步交互一次，3.每1000步交互一次。实验均在前30％的epoch中进行，CycleGAN的结果如下表所示：
表4：两个GAN在不同交互频率下的生成质量的对比。
注：这里的所有值为CycleGAN和CGAN所得结果的均值
如图8所示，(a)，(b)，(c)分别来自CycleGAN在1000步交互一次，100步交互一次，每一步都交互时得到的结果。(d)，(e)，(f)分别来自CGAN在1000步交互一次，100步交互一次，每一步都交互时得到的结果。本次实验还采用人为评判的方式，最终88％的人认为每一步交互一次的结果更加真实，12％的人认为100步交互一次的结果更加真实。
结果表明，进行人机交互的频率越高，生成的图像质量越高。
实施例5
本实施例为控制人机交互的次数对生成质量的影响，CycleGAN在不同交互次数下的生成质量的对比结果如下表所示：
表5：CycleGAN在不同交互次数下的生成质量的对比。
如图9所示，从左至右分别为CycleGAN在70个epoch中交互50次，100次，200次，400次，600次的结果。可以看出，200次和400次交互之间相差的结果很大，但是400次和600次交互的结果相差并不大。在CycleGAN和CGAN中完成实验，如图10所示，(a)和(d)为在70个epoch中每一步都交互，共400次得到的结果。(b)和(e)为在70个epoch中每隔100步交互一次，共400次得到的结果。(c)和(f)为在70个epoch中每隔500步交互一次，共400次得到的结果。本次实验结果采用人为评判的方式，最终92％的人认为每一步交互一次的结果更加真实，8％的人认为100步交互一次的结果更加真实。没有人认为500步交互一次的结果更好。从生成图片可以看出第一张图的生成细节更好，比如斑马的耳朵，背景的真实性，房屋的完整性。
结果表明，连续人机交互的效果要好于有一些固定步数的交互效果。
实施例6
本实施例为减少交互次数的实验，具体如下：
在网络中使用人机交互400次得到的结果确实优于同时期的生成质量，但是400次的交互对于人为打分的机制来说过于繁琐，因此很有必要探索新的方式来降低需要交互的次数，本实施例中，新的交互次数分别为10次交互，20次交互，30次交互，40次交互，50次交互，生成的结果如下表所示：
表6：CycleGAN在较小不同交互次数下的生成质量的对比。
如图11所示，(a)，(b)，(c)，(d)，(e)分别为CycleGAN在70个epoch的情况下，交互10次，20次，30次，40次，50次的结果，从表6中可以看出10次交互和20次交互的结果并不好，但在30次交互之后有了一个质的提升，IS值的结果提升两倍，但这种提升在40次到50的交互中就不明显了，IS值相差不大。因此本实施例中最终的交互次数选取了40次这个结果。
综上所述，通过上述实施例可以证明交互式技巧可以在生成质量和训练时间上超过无交互网络。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (6)
1.一种基于人机交互式对抗网络的图像生成方法，其特征在于，包括如下步骤：
S1、收集horse2zebra和
两个原始数据集，并将其作为训练样本；
S2、将不同的测试数据集分别作为输入图像，输入到CycleGAN和CGAN的生成器中；
S3、所述生成器学习输入图像的特征，并将学习的特征采用人机交互方法创造出新的图像作为生成器的输出图像；
S4、将所述生成器的输出图像输入到鉴别器中，鉴别器对原始数据集提取的图像特征和生成器生成图像的特征进行判断，判断鉴别器的输入图像是真实的图像还是生成器生成的图像，输出判断值；
S5、若鉴别器输出的判断值可以将生成器生成的图像和原始图像分开，则返回步骤S3，直到鉴别器不能将生成的图像和原始图像分开。
2.根据权利要求1所述的基于人机交互的生成式对抗网络的图像生成方法，其特征在于，所述的CycleGAN为实现两个域变换的GAN模型，包括两个生成器，所述的CGAN用于根据简图生成内容丰富的图像。
3.根据权利要求1或2所述的基于人机交互式对抗网络的图像生成方法，其特征在于，所述生成器其模型采用人机交互原理，包括卷积，反卷积和残差块；其具体的公式如下：
上式中，Score表示分数，即0～1；GP表示梯度惩罚项，(1-λ)*Score表示交互因子，Z表示从分布P(Z)采样的噪声矢量；G表示生成器，D表示鉴别器，λ表示超参数。
4.根据权利要求3所述的基于人机交互式对抗网络的图像生成方法，其特征在于，所述残差块用于将上一层的特征保留进下一层中，使多次卷积之后不会出现完全不相同的结果。
5.根据权利要求1所述的基于人机交互式对抗网络的图像生成方法，其特征在于，所述鉴别器对原始数据集提取的图像特征和生成器生成图像的特征进行判断的具体过程如下：
若对生成图像和真实图像的判断概率是50％，则鉴别器不判别；
若对生成图像的判别概率大于对真实图像的判别概率，则判定鉴别器错把真实图像当作生成图像；
若对生成图像的判别概率小于真实图像的概率，则判定鉴别器可以分辨出真假，同时，生成器会继续生成更加真实的加图像。
6.根据权利要求1所述的基于人机交互式对抗网络的图像生成方法，其特征在于，所述生成器的输入、输出均为图像，所述鉴别器的输入为图像，输出为值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911144609.5A CN110930471B (zh) | 2019-11-20 | 2019-11-20 | 一种基于人机交互式对抗网络的图像生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911144609.5A CN110930471B (zh) | 2019-11-20 | 2019-11-20 | 一种基于人机交互式对抗网络的图像生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110930471A true CN110930471A (zh) | 2020-03-27 |
| CN110930471B CN110930471B (zh) | 2024-05-28 |
Family
ID=69850518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911144609.5A Active CN110930471B (zh) | 2019-11-20 | 2019-11-20 | 一种基于人机交互式对抗网络的图像生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110930471B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112415514A (zh) * | 2020-11-16 | 2021-02-26 | 北京环境特性研究所 | 一种目标sar图像生成方法及装置 |
| CN113379593A (zh) * | 2021-06-25 | 2021-09-10 | 深圳市安软科技股份有限公司 | 一种图像生成方法、系统及相关设备 |
| WO2023085910A1 (ko) * | 2021-11-12 | 2023-05-19 | 프로메디우스 주식회사 | 적대적 생성 신경망을 이용한 영상 학습 방법, 장치, 프로그램 및 기록매체 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805188A (zh) * | 2018-05-29 | 2018-11-13 | 徐州工程学院 | 一种基于特征重标定生成对抗网络的图像分类方法 |
| CN109408776A (zh) * | 2018-10-09 | 2019-03-01 | 西华大学 | 一种基于生成式对抗网络的书法字体自动生成算法 |
| CN109409508A (zh) * | 2018-11-06 | 2019-03-01 | 成都信息工程大学 | 一种基于生成对抗网络使用感知损失解决模型崩塌的方法 |
| CN109902615A (zh) * | 2019-02-25 | 2019-06-18 | 中国计量大学 | 一种基于对抗网络的多个年龄段图像生成方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
-
2019
- 2019-11-20 CN CN201911144609.5A patent/CN110930471B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
| CN108805188A (zh) * | 2018-05-29 | 2018-11-13 | 徐州工程学院 | 一种基于特征重标定生成对抗网络的图像分类方法 |
| CN109408776A (zh) * | 2018-10-09 | 2019-03-01 | 西华大学 | 一种基于生成式对抗网络的书法字体自动生成算法 |
| CN109409508A (zh) * | 2018-11-06 | 2019-03-01 | 成都信息工程大学 | 一种基于生成对抗网络使用感知损失解决模型崩塌的方法 |
| CN109902615A (zh) * | 2019-02-25 | 2019-06-18 | 中国计量大学 | 一种基于对抗网络的多个年龄段图像生成方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112415514A (zh) * | 2020-11-16 | 2021-02-26 | 北京环境特性研究所 | 一种目标sar图像生成方法及装置 |
| CN112415514B (zh) * | 2020-11-16 | 2023-05-02 | 北京环境特性研究所 | 一种目标sar图像生成方法及装置 |
| CN113379593A (zh) * | 2021-06-25 | 2021-09-10 | 深圳市安软科技股份有限公司 | 一种图像生成方法、系统及相关设备 |
| CN113379593B (zh) * | 2021-06-25 | 2022-04-19 | 深圳市安软科技股份有限公司 | 一种图像生成方法、系统及相关设备 |
| WO2023085910A1 (ko) * | 2021-11-12 | 2023-05-19 | 프로메디우스 주식회사 | 적대적 생성 신경망을 이용한 영상 학습 방법, 장치, 프로그램 및 기록매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110930471B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hong et al. | Cogvideo: Large-scale pretraining for text-to-video generation via transformers | |
| Zadeh et al. | Social-iq: A question answering benchmark for artificial social intelligence | |
| CN110930471A (zh) | 一种基于人机交互式对抗网络的图像生成方法 | |
| Wang et al. | Face aging with identity-preserved conditional generative adversarial networks | |
| Palsson et al. | Generative adversarial style transfer networks for face aging | |
| CN112149459B (zh) | 一种基于交叉注意力机制的视频显著性物体检测模型及系统 | |
| Jeon et al. | T-gd: Transferable gan-generated images detection framework | |
| CN110348387A (zh) | 一种图像数据处理方法、装置以及计算机可读存储介质 | |
| CN111429340A (zh) | 一种基于自注意力机制的循环图像翻译方法 | |
| CN109800710A (zh) | 行人重识别系统及方法 | |
| CN108961220A (zh) | 一种基于多层卷积特征融合的图像协同显著性检测方法 | |
| CN112199535A (zh) | 一种基于集成知识蒸馏的图像分类方法 | |
| CN113724354B (zh) | 基于参考图颜色风格的灰度图像着色方法 | |
| CN110659573A (zh) | 一种人脸识别方法、装置、电子设备及存储介质 | |
| CN111914617B (zh) | 一种基于平衡栈式生成式对抗网络的人脸属性编辑方法 | |
| Li et al. | Image manipulation localization using attentional cross-domain CNN features | |
| CN114943894A (zh) | 一种基于ConvCRF的高分遥感影像建筑物提取优化方法 | |
| Chu et al. | BatikGAN: A Generative Adversarial Network for Batik Creation | |
| Jaymon et al. | Real time emotion detection using deep learning | |
| CN114299573A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| Watanabe et al. | Generative adversarial network including referring image segmentation for text-guided image manipulation | |
| CN117216202A (zh) | 多模态模型的生成方法、多模态处理方法及设备 | |
| CN111767949A (zh) | 一种基于特征和样本对抗共生的多任务学习方法及其系统 | |
| CN110415015A (zh) | 产品认可度分析方法、装置、终端及计算机可读存储介质 | |
| Cozzolino et al. | Synthetic Image Detection: Highlights from the IEEE Video and Image Processing Cup 2022 Student Competition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |