CN110310345A - 一种基于自动分工隐聚类生成对抗网络的图像生成方法 - Google Patents
一种基于自动分工隐聚类生成对抗网络的图像生成方法 Download PDFInfo
- Publication number
- CN110310345A CN110310345A CN201910502034.3A CN201910502034A CN110310345A CN 110310345 A CN110310345 A CN 110310345A CN 201910502034 A CN201910502034 A CN 201910502034A CN 110310345 A CN110310345 A CN 110310345A
- Authority
- CN
- China
- Prior art keywords
- generator
- noise
- discriminator
- loss function
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000009826 distribution Methods 0.000 claims abstract description 35
- 239000013598 vector Substances 0.000 claims description 53
- 230000006870 function Effects 0.000 claims description 40
- 238000005070 sampling Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000010276 construction Methods 0.000 abstract 1
- 230000007423 decrease Effects 0.000 abstract 1
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 25
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 25
- 230000000694 effects Effects 0.000 description 11
- 238000009825 accumulation Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241000282376 Panthera tigris Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于自动分工隐聚类生成对抗网络的图像生成方法，包括以下步骤：S1、构建自动分工隐聚类生成对抗网络，所述自动分工隐聚类生成对抗网络包括生成器和判别器；S2、基于训练数据集，训练自动分工隐聚类生成对抗网络；S3、输入随机噪声，由自动分工隐聚类生成对抗网络中的生成器生成图像。与现有技术相比，本发明采用多分支结构来实现可跳变的生成器，能够捕捉不同数据分布的特点，既增加了生成图像的多样性，也减少了存储空间和训练计算量；此外，通过生成器基于概率权重自动学习不同模式，能有效提高无监督数据生成图像的分布质量。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种基于自动分工隐聚类生成对抗网络的图像生成方法。
背景技术
随着人们生活的日益数字化，以及大数据相关技术的普及深化，可供用于深度学习的数据量激增，并且由于硬件水平的逐年提升，计算机的图像处理能力相较于上个世纪末已经有了质的飞跃。基于上述两点，神经网络技术的有监督的人工智能模型在图像处理领域取得了超越人类水平的成果，相较于有监督学习领域取得的巨大成果而言，深度学习在无监督学习领域的潜力还有待发掘，有监督学习的训练依赖于大量的人工标注数据，数据获取的成本高，而无监督学习则可以利用大量的无标注数据进行训练，现有的无监督学习通常采用生成对抗网络进行学习数据分布、图像生成、提取特征等任务。
生成对抗网络GAN是由Goodfellow于2014年提出的一类无监督的基于对抗训练的神经网络。生成对抗网络模型最重要的就是生成器和判别器两个组件。其中生成器负责基于输入的随机噪声生成图像，判别器负责判断输入给它的图像是真实图像的概率有多大。就像学画画的学徒和刚入门的鉴赏家一样的关系。学徒努力画出更好的画作，鉴赏家不断提高鉴赏水平。最后使得学徒能够画出和真正名画——真实数据一样的作品。目前，生成对抗网络被广泛应用于图像生成领域。
在实际的训练过程中，原始生成是对抗模型容易出现对抗崩溃的问题，表现为判别器能力强于生成器，生成器被彻底打败而停止学习。同时，还有常常有着“模式丢失”的问题，导致生成图像的结果多样性不高、质量低劣。针对这两个问题，传统解决的思路是采用具有多个子GAN的集成类GAN，即为同一个GAN模型多次随机初始化训练，这样可以得到多个生成器，有助于对复杂数据分布建模，提升生分布的多样性，克服单个GAN模型容易出现的模式丢失问题，集成类GAN虽然能简易地增加生成分布的多样性，但其存储空间、训练计算量都是单个GAN的多倍，较为笨重，此外，多个独立训练的生成器的分布混合结果还具有差样本积累效应：图1所示为集成类GAN的差样本积累效应和模式丢失效果图，图中属于圆角矩形但不属于旗帜形的点，为逐渐积累的差样本；属于旗帜形但不属于圆角矩形的点，为模式丢失的部分。
并且，混合分布中差样本的种类和数量也会随着集成的GAN组件数的增加而变多，导致最终生成的图像相较于真实图像的分布而言，存在明显的差距。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于自动分工隐聚类生成对抗网络的图像生成方法，以提高无监督数据图像生成的分布质量。
本发明的目的可以通过以下技术方案来实现：一种基于自动分工隐聚类生成对抗网络的图像生成方法，包括以下步骤：
S1、构建自动分工隐聚类生成对抗网络，所述自动分工隐聚类生成对抗网络包括生成器和判别器；
S2、基于训练数据集，训练自动分工隐聚类生成对抗网络；
S3、输入随机噪声，由训练好的自动分工隐聚类生成对抗网络中的生成器生成图像。
优选的，所述步骤S1中生成器包括模数转换器、噪声变换器、选择器和渲染器，所述噪声变换器的数量为N，其中，N＞1。
优选的，所述步骤S1具体包括以下步骤：
S11、输入多元高斯噪声向量给生成器；
S12、将多元高斯噪声向量划分为第一噪声向量和第二噪声向量；
S13、第一噪声向量输入给噪声变换器，得到随机变量，所述随机变量的数量与噪声变换器的数量一致；
S14、第二噪声向量输入给模数转换器，得到one-hot向量；
S15、随机变量与one-hot向量共同输入给选择器，由选择器从随机变量中选择输出与one-hot向量中元素1位置对应的一个随机变量，作为生成变量；
S16、生成变量输入给渲染器，基于第一损失函数，建立生成器，以生成图像样本；
S17、基于第二损失函数，建立判别器，以对生成图像样本进行判别。
优选的，所述步骤S13中噪声变换器为：
Tj(z)＝σj+μj
其中，Tj(z)表示第j个噪声变换器，σj表示权重，μj表示偏差，z表示输入的噪声向量。
优选的，所述步骤S14和S15中one-hot变量为：
其中，c表示one-hot向量，k表示元素1在one-hot向量中的位置，pi表示第i个生成路径被选择器选中的概率，z″i表示第i个第二噪声向量，qi和qk均表示学习参数，e为自然数。
优选的，所述步骤S16中第一损失函数为生成器的损失函数，具体为：
其中，Ex～p(x)[f(x)]＝∫f(x)p(x)dx表示x服从概率分布p(x)时f(x)的期望，Bj表示一个批量中第j个生成路径被选中的次数，pz表示生成噪声的高斯分布，z～pz表示z是服从pz的噪声，G(x)表示输入x后生成器输出的结果，D(x)表示输入x后判别器输出的结果，Tj(x)表示输入x后噪声生成器输出的结果，qj和qh均表示学习参数，e为自然数。
优选的，所述步骤S17中第二损失函数为判别器的损失函数，具体为：
其中，pR(x)表示真实图像的分布，λ表示可训练参数，表示由真实样本和生成样本线性插值随机合成的数据，xR表示真实图像数据，xF表示生成图像数据。
优选的，所述步骤S2具体包括以下步骤：
S21、采用迷你批随机梯度下降算法轮流交替训练生成器和判别器：
S211、训练生成器时，固定判别器参数，采样m个噪声向量输入生成器，得到m个生成样本，将生成样本输入判别器，计算生成器损失函数对生成器参数的梯度，以更新生成器参数；
S212、训练判别器时，固定生成器参数，采样m个噪声向量输入生成器得到m个生成样本，基于训练数据集采样m个真实样本，将生成样本与真实样本一起输入判别器，计算判别器损失函数对判别器参数的梯度，以更新判别器参数；
S22、迭代步骤S21的过程，直到达到预设的迭代次数，结束训练。
优选的，所述步骤S211中计算生成器损失函数对生成器参数的梯度具体为：
其中，θG表示生成器参数，α表示学习率，LG表示生成器损失函数；
所述步骤S212中计算判别器损失函数对判别器参数的梯度具体为：
其中，θD表示判别器参数，α表示学习率，LD表示判别器损失函数。
与现有技术相比，本发明具有以下优点：
一、本发明提出的自动分工隐聚类生成对抗网络，采用生成器多分支结构，即生成器中包含N个噪声变换器的网络结构，减少了存储空间和训练计算量，同时增加了生成图像的多样性。
二、本发明构建的自动分工隐聚类生成对抗网络中，生成器中的模数变换器产生了跳变，使生成器不是处处连续的，有利于生成器学习数据分布中的不连通部分，能更好地捕捉数据分布的不同，使生成的图像更接近于真实图像。
三、本发明通过同时训练生成器和判别器，避免了异步训练多个独立生成器存在的差样本积累效应，支持生成器基于概率权重进行自动学习，实现生成器学习真实分布中不同模式的目的，从而解决模式丢失的问题、提高生成图像的分布质量。
附图说明
图1为集成类GAN的差样本积累效应和模式丢失效果图；
图2为本发明的方法流程图；
图3为本发明自动分工隐聚类生成对抗网络中生成器的结构图；
图4为本发明自动分工隐聚类生成对抗网络的结构示意图；
图5a为实施例的训练集随机真实图像；
图5b为实施例的生成图像。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
如图2所示，一种基于自动分工隐聚类生成对抗网络的图像生成方法，包括以下步骤：
S1、构建自动分工隐聚类生成对抗网络，自动分工隐聚类生成对抗网络由生成器G和判别器D组成，图3所示为生成器G的结构图，生成器G包括模数转换器ADC、N个噪声变换器T1，T2，...，TN、选择器MUX和渲染器R，且N＞1；
S2、基于训练数据集，训练自动分工隐聚类生成对抗网络；
S3、输入随机噪声，由训练好的自动分工隐聚类生成对抗网络中的生成器生成图像。
本实施例中，步骤S1的具体过程为：
S11、输入多元高斯噪声向量z给生成器，其中，多元高斯噪声向量z的总维度为M；
S12、将多元高斯噪声向量划分为维度为L的第一噪声向量z′和维度为N的第二噪声向量z″，其中，L＝M-N；
S13、第一噪声向量z′输入给N个噪声变换器T1，T2，...，TN，得到N个不同的随机变量z1，z2，...，zN，其中，噪声变换器为：
Tj(z)＝σj+μj
式中，Tj(z)表示第j个噪声变换器，σj表示权重，μj表示偏差，z表示输入的噪声向量；
S14、第二噪声向量z″输入给模数转换器ADC，得到one-hot向量c：
式中，c表示one-hot向量，k表示元素1在one-hot向量中的位置，pi表示第i个生成路径被选择器选中的概率，z″i表示第i个第二噪声向量，qi和qk均表示学习参数，e为自然数，
p1，p2，p3，...，pN作为每一个生成路径被选择器选中的概率，应当满足0＜pi＜1和∑ipi＝1这两个条件。如果直接使用pi进行训练，则有很可能出现不符合条件的情况，故改用N个实数变量q1，q2，q3，...，qN作为可学习参数，并使用SoftMax将pi用qi来表示，通过qi来保证pi得到有效的训练，以学习到训练集中各簇样本的比例，
其中，模数转换器的实现方案如下：模数转换器既作为将多元高斯噪声转化为One-hot向量的桥梁，又是自动分工隐聚类生成对抗网络生成函数跳变的来源，模数转换器将输入的高斯噪声转换为向量c的各个状态的概率，应能根据生成器损失函数学习，这样才能促使各生成路径(子生成器)合理的分工，使得每个子生成器被选择器选中的概率与训练集中各簇样本的比例趋于一致；
S15、随机变量z1，z2，...，zN与one-hot向量共同输入给选择器MUX，由选择器MUX从随机变量z1，z2，...，zN中选择输出与one-hot向量中元素1位置对应的一个随机变量zk，作为生成变量；
S16、zk输入给渲染器R，基于生成器损失函数，建立生成器，以生成图像样本，其中，生成器损失函数为：
式中，Ex～p(x)[f(x)]＝∫f(x)p(x)dx表示x服从概率分布p(x)时f(x)的期望，Bj表示一个批量中第j个生成路径被选中的次数，pz表示生成噪声的高斯分布，z～pz表示z是服从pz的噪声，G(x)表示输入x后生成器输出的结果，D(x)表示输入x后判别器输出的结果，Tj(x)表示输入x后噪声生成器输出的结果，qj和qh均表示学习参数，e为自然数，
在计算生成器损失函数时，将多个生成路径看作一个整体生成器，生成器的参数包括模数转换器的参数q1，q2，...，qN、噪声变换器Tj可训练的参数和渲染器R中可训练的参数，可以使p1，p2，...，pN或q1，q2，...，qN出现在生成器的损失函数中，能够利用梯度下降类算法学习；
S17、基于判别器损失函数，建立判别器，以对生成图像样本进行判别，其中，判别器损失函数为：
式中，pR(x)表示真实图像的分布，λ表示可训练参数，表示由真实样本和生成样本线性插值随机合成的数据，xR表示真实图像数据，xF表示生成图像数据，
采用WGAN-GP相似的判别器训练方式，在原始GAN的判别器训练方式上增加梯度范数的惩罚项，引导判别器的梯度模长向1靠拢。
本实施例中的渲染器R为单个神经网络时，该自动分工隐聚类生成对抗网络可以看作是有各高斯分量混合比例学习功能的DeLi GAN的升级版；
当噪声变换器为神经网络或者恒等映射，则该自动分工隐聚类生成对抗网络就成为了混合多个生成器输出的集成类GAN，是有支持各子生成器混合比例学习的MGAN的升级版。
此外，噪声变换器、选择器、渲染器的输入都是连续函数，而模数变换器产生了跳变，所以宏观上讲，自动分工隐聚类生成对抗网络的生成器不是处处连续的，是有跳变的，这是与其他传统GAN的生成器的一大区别；
虽然连续可微的生成器有利于使用梯度下降训练，但这样使得它们学习到的分布的支撑集是连通的，而实际应用中的数据分布不见得是连通的，就导致它们无法很好的学习这类数据，生成出画猫又似虎的图片，而本发明提出的自动分工隐聚类生成对抗网络能够更好捕捉这种数据分布的不同，生成图像效果更好；
同时，尽管在宏观上看，自动分工隐聚类生成对抗网络存在跳变不可导的情形，但是由于模数转换器之后的部分是连续可导的，而之前的部分不存在可学习的参数，故依然可以使用梯度下降的方法进行反向传播，生成器中多分支结构可以看作是多个生成器的集成模型，其生成样本的多样性也优于单一生成器。
本实施例中，步骤S2的具体过程为：
S21、采用迷你批随机梯度下降算法轮流交替训练生成器和判别器：
S211、训练生成器时，固定判别器参数，采样m个噪声向量输入生成器，得到m个生成样本，将生成样本输入判别器，计算生成器损失函数对生成器参数的梯度，以更新生成器参数，其中，生成器损失函数对生成器参数的梯度具体为：
式中，θG表示生成器参数，α表示学习率，LG表示生成器损失函数；
S212、训练判别器时，固定生成器参数，采样m个噪声向量输入生成器得到m个生成样本，基于训练数据集采样m个真实样本，将生成样本与真实样本一起输入判别器，计算判别器损失函数对判别器参数的梯度，以更新判别器参数，其中，判别器器损失函数对判别器参数的梯度具体为：
式中，θD表示判别器参数，α表示学习率，LD表示判别器损失函数；
S22、迭代步骤S21的过程，直到达到预设的迭代次数，结束训练。
如图4所示，输入噪声z给生成器G，由生成器G生成样本xF，生成样本xF的分布为Pg，生成样本xF输入给判别器D；
之后，输入真实样本x给判别器D，真实样本x的分布为Pr，由判别器D输出生成样本xF为真的概率值。
本实施例在训练自动分工隐聚类生成对抗网络时，使用了两种训练数据集：
MNIST数据集：该数据集包含60000张28×28×1的手写数字图像，由于计算FID需要彩色的生成样本，把MNIST的样本图像补2圈0，再复制成3通道构成彩色32×32分辨率的图像；
Ce7Co3数据集：该数据集由人脸数据集CelebA和动漫人脸数据集Comic按照0.7∶0.3的比例不均匀混合而成，即从CelebA和Comic数据集抽取样本的概率分别为0.7和0.3，以构造类别不均衡的图像数据集，其中，CelebA提供了对齐并缩放到218×178像素的202599张名人的人脸照片，对其进一步剪裁和缩放原始图像至64×64的大小，Comic为爬虫爬取的动漫人物头像图片并公开的数据集，尺寸为64×64，共计五万一千余张。
图5a为随机抽取的一批64张训练集真实图像，图5b为本发明自动分工隐聚类对抗生成网络生成器的生成图像，对比图5a和图5b，可知生成图像与训练集真实图像的差异十分小。
此外，实施例还对传统集成类GAN基准模型与本发明自动分工隐聚类生成对抗网络模型的实验效果进行了对比，结果分别如表1和表2所示：
表1
表2
其中，N表示模型中生成器个数，G_params表示生成器的参数量，D_params表示判别器的参数量，WGAN-GP、MGAN、DeLiGAN均为传统集成类GAN基准模型，MGAN+P与DeLiGAN+P均为基于本发明自动分工隐聚类生成对抗网络对集成类GAN框架的改进模型，也就是自动分工隐聚类MGAN和自动分工隐聚类DeLiGAN。
从表1和表2可知，本发明提出的模型在多个数据集上的结果都优于传统集成类GAN基准模型。下面对两组具体实验的效果进行分析：
在MNIST数据集上训练WGAN-GP、DeLiGAN和DeLiGAN+P模型，迭代200000次后生成分布的FID值如表1所示，可见WGAN-GP的FID均值为5.36，是所有实验组中最高的，DeLiGAN系列实验(实验组2～5)的FID均值都低于模型WGAN-GP，对于具有相同数量生成路径的DeLiGAN和DeLiGAN+P模型，后者取得了更低的FID值，表明DeLiGAN+P模型的生成分布质量比DeLiGAN更佳，意味着可学习的概率权重比固定的概率权重更有利于忠实地生成数据分布；
在Ce7Co3数据集上训练WGAN-GP、MGAN和MGAN+P模型，迭代200000次后生成分布的FID值如表2所示，表中生成器参数量是指模型包含的所有生成器网络参数的总和，在实验组2、3中，每个生成器网络的规模约为实验组1中WGAN-GP基线生成器网络的一半，在实验组5、6中，每个生成器网络的规模和实验组1中WGAN-GP生成器网络相同，而实验组4中WGAN-GP的生成器网络则通过等比例增大每一个卷积层滤波器的数目，以扩大网络规模为实验组1的两倍左右，这样，实验组1～3和实验组4～6的模型参数量大致相同，可以相对公平地比较WGAN-GP、MGAN和MGAN+P模型在Ce7Co3数据集上的生成质量；
比较表2中实验组(1，4)、(2，5)、(3，6)可以看出，对于同一类模型，生成器规模越大，FID值就越小，意味着增加模型尺寸可以增大其建模能力，提升生成分布的质量，比较表2中实验组(1，2，3)和实验组(4，5，6)的FID值可知，在相同网络规模的GAN中，生成分布质量均有MGAN+P优于MGAN优于WGAN-GP的次序关系，表明集成模型在相同参数数量的情况下，生成效果好于单个模型，且支持概率权重学习的MGAN+P模型比概率权重固定的MGAN模型的生成效果更好，能更好地适应类别不平衡数据集。
本发明提出的自动分工隐聚类生成对抗网络框架同时训练多个子生成器和一个判别器网络，避免了标准集成GAN、级联集成GAN和AdaGAN异步训练多各GAN存在的差样本积累效应，可将MAD-GAN、MGAN和DeLiGAN囊括其中，支持各子生成器概率权重的学习；且无需MAD-GAN中的样本相似度计算或MGAN中的分类器目标项，便能让不同生成器负责学习真实分布中不同的模式，因为没有对训练集显式地划分，因此称为自动分工隐聚类。
本发明提出的自动分工隐聚类生成对抗网络可以无监督地让集成GAN模型中不同的生成器学习训练集中的不同模式，并自动学习出与训练集中各类别样本数量比例一致的生成器概率权重，适用于不均衡数据集。定量结果显示，自动分工隐聚类DeLiGAN和自动分工隐聚类MGAN的生成分布质量均高于它们原本的均匀分配概率权重的版本。
综上所述，基于本发明的方法进行图像生成，可以自动学习各子生成器的概率权重，适用于类别不均衡数据集的建模，克服了现有的集成类GAN的缺陷，提高无监督数据生成的分布质量，各子生成器会自发地分工学习训练集中不同模式的样本，体现了“隐聚类”的特点。
Claims (9)
1.一种基于自动分工隐聚类生成对抗网络的图像生成方法，其特征在于，包括以下步骤：
S1、构建自动分工隐聚类生成对抗网络，所述自动分工隐聚类生成对抗网络包括生成器和判别器；
S2、基于训练数据集，训练自动分工隐聚类生成对抗网络；
S3、输入随机噪声，由训练好的自动分工隐聚类生成对抗网络中的生成器生成图像。
2.根据权利要求1所述的一种基于自动分工隐聚类生成对抗网络的图像生成方法，其特征在于，所述步骤S1中生成器包括模数转换器、噪声变换器、选择器和渲染器，所述噪声变换器的数量为N，其中，N＞1。
3.根据权利要求2所述的一种基于自动分工隐聚类生成对抗网络的图像生成方法，其特征在于，所述步骤S1具体包括以下步骤：
S11、输入多元高斯噪声向量给生成器；
S12、将多元高斯噪声向量划分为第一噪声向量和第二噪声向量；
S13、第一噪声向量输入给噪声变换器，得到随机变量，所述随机变量的数量与噪声变换器的数量一致；
S14、第二噪声向量输入给模数转换器，得到one-hot向量；
S15、随机变量与one-hot向量共同输入给选择器，由选择器从随机变量中选择输出与one-hot向量中元素1位置对应的一个随机变量，作为生成变量；
S16、生成变量输入给渲染器，基于第一损失函数，建立生成器；
S17、基于第二损失函数，建立判别器。
4.根据权利要求3所述的一种基于自动分工隐聚类生成对抗网络的图像生成方法，其特征在于，所述步骤S13中噪声变换器为：
Tj(z)＝σj+μj
其中，Tj(z)表示第j个噪声变换器，σj表示权重，μj表示偏差，z表示输入的噪声向量。
5.根据权利要求3所述的一种基于自动分工隐聚类生成对抗网络的图像生成方法，其特征在于，所述步骤S14和S15中one-hot变量为：
其中，c表示one-hot向量，k表示元素1在one-hot向量中的位置，pi表示第i个生成路径被选择器选中的概率，z″i表示第i个第二噪声向量，qi和qk均表示学习参数，e为自然数。
6.根据权利要求3所述的一种基于自动分工隐聚类生成对抗网络的图像生成方法，其特征在于，所述步骤S16中第一损失函数为生成器损失函数，具体为：
其中，Ex～p(x)[f(x)]＝∫f(x)p(x)dx表示x服从概率分布p(x)时f(x)的期望，Bj表示一个批量中第j个生成路径被选中的次数，pz表示生成噪声的高斯分布，z～pz表示z是服从pz的噪声，G(x)表示输入x后生成器输出的结果，D(x)表示输入x后判别器输出的结果，Tj(x)表示输入x后噪声生成器输出的结果，qj和qh均表示学习参数，e为自然数。
7.根据权利要求6所述的一种基于自动分工隐聚类生成对抗网络的图像生成方法，其特征在于，所述步骤S17中第二损失函数为判别器损失函数，具体为：
其中，pR(x)表示真实图像的分布，λ表示可训练参数，表示由真实样本和生成样本线性插值随机合成的数据，xR表示真实图像数据，xF表示生成图像数据。
8.根据权利要求7所述的一种基于自动分工隐聚类生成对抗网络的图像生成方法，其特征在于，所述步骤S2具体包括以下步骤：
S21、采用迷你批随机梯度下降算法轮流交替训练生成器和判别器：
S211、训练生成器时，固定判别器参数，采样m个噪声向量输入生成器，得到m个生成样本，将生成样本输入判别器，计算生成器损失函数对生成器参数的梯度，以更新生成器参数；
S212、训练判别器时，固定生成器参数，采样m个噪声向量输入生成器得到m个生成样本，基于训练数据集采样m个真实样本，将生成样本与真实样本一起输入判别器，计算判别器损失函数对判别器参数的梯度，以更新判别器参数；
S22、迭代步骤S21的过程，直到达到预设的迭代次数，结束训练。
9.根据权利要求8所述的一种基于自动分工隐聚类生成对抗网络的图像生成方法，其特征在于，所述步骤S211中计算生成器损失函数对生成器参数的梯度具体为：
其中，θG表示生成器参数，α表示学习率，LG表示生成器损失函数；
所述步骤S212中计算判别器损失函数对判别器参数的梯度具体为：
其中，θD表示判别器参数，α表示学习率，LD表示判别器损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910502034.3A CN110310345A (zh) | 2019-06-11 | 2019-06-11 | 一种基于自动分工隐聚类生成对抗网络的图像生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910502034.3A CN110310345A (zh) | 2019-06-11 | 2019-06-11 | 一种基于自动分工隐聚类生成对抗网络的图像生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110310345A true CN110310345A (zh) | 2019-10-08 |
Family
ID=68077106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910502034.3A Pending CN110310345A (zh) | 2019-06-11 | 2019-06-11 | 一种基于自动分工隐聚类生成对抗网络的图像生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110310345A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766072A (zh) * | 2019-10-22 | 2020-02-07 | 探智立方(北京)科技有限公司 | 一种基于结构相似性的计算图进化ai模型自动生成方法 |
| CN111460422A (zh) * | 2020-02-11 | 2020-07-28 | 北京京东尚科信息技术有限公司 | 生成验证码的方法和装置 |
| CN111861924A (zh) * | 2020-07-23 | 2020-10-30 | 成都信息工程大学 | 一种基于进化gan的心脏磁共振图像数据增强方法 |
| CN112545532A (zh) * | 2020-11-26 | 2021-03-26 | 中国人民解放军战略支援部队信息工程大学 | 用于脑电信号分类识别的数据增强方法及系统 |
| CN112837338A (zh) * | 2021-01-12 | 2021-05-25 | 浙江大学 | 一种基于生成对抗网络的半监督医学图像分割方法 |
| CN113361659A (zh) * | 2021-07-16 | 2021-09-07 | 广东工业大学 | 一种基于隐空间主成分分析的图像可控生成方法及系统 |
| CN113870373A (zh) * | 2021-09-23 | 2021-12-31 | 北京理工大学 | 通过输入多个力学性能生成钛合金微观组织图像的方法 |
| CN113947706A (zh) * | 2021-12-20 | 2022-01-18 | 四川师范大学 | 一种基于生成对抗网络的图像多样性增强方法与系统 |
| CN114004948A (zh) * | 2021-07-30 | 2022-02-01 | 华东师范大学 | 基于生成网络的创意生成物求解器及其应用 |
| CN116127345A (zh) * | 2022-12-23 | 2023-05-16 | 北京科技大学 | 基于深度聚类生成对抗网络的转炉炼钢工艺模式设计方法 |
| CN117853695A (zh) * | 2024-03-07 | 2024-04-09 | 成都信息工程大学 | 基于局部空间自注意力的3d感知图像合成方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN109002686A (zh) * | 2018-04-26 | 2018-12-14 | 浙江工业大学 | 一种自动生成样本的多牌号化工过程软测量建模方法 |
| CN109190665A (zh) * | 2018-07-30 | 2019-01-11 | 国网上海市电力公司 | 一种基于半监督生成对抗网络的通用图像分类方法和装置 |
-
2019
- 2019-06-11 CN CN201910502034.3A patent/CN110310345A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN109002686A (zh) * | 2018-04-26 | 2018-12-14 | 浙江工业大学 | 一种自动生成样本的多牌号化工过程软测量建模方法 |
| CN109190665A (zh) * | 2018-07-30 | 2019-01-11 | 国网上海市电力公司 | 一种基于半监督生成对抗网络的通用图像分类方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| HAIFENG SHI: "Virtual Conditional Generative Adversarial Networks", 《RESEARCHGATE》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766072A (zh) * | 2019-10-22 | 2020-02-07 | 探智立方(北京)科技有限公司 | 一种基于结构相似性的计算图进化ai模型自动生成方法 |
| CN111460422A (zh) * | 2020-02-11 | 2020-07-28 | 北京京东尚科信息技术有限公司 | 生成验证码的方法和装置 |
| CN111861924A (zh) * | 2020-07-23 | 2020-10-30 | 成都信息工程大学 | 一种基于进化gan的心脏磁共振图像数据增强方法 |
| CN111861924B (zh) * | 2020-07-23 | 2023-09-22 | 成都信息工程大学 | 一种基于进化gan的心脏磁共振图像数据增强方法 |
| CN112545532B (zh) * | 2020-11-26 | 2023-05-16 | 中国人民解放军战略支援部队信息工程大学 | 用于脑电信号分类识别的数据增强方法及系统 |
| CN112545532A (zh) * | 2020-11-26 | 2021-03-26 | 中国人民解放军战略支援部队信息工程大学 | 用于脑电信号分类识别的数据增强方法及系统 |
| CN112837338A (zh) * | 2021-01-12 | 2021-05-25 | 浙江大学 | 一种基于生成对抗网络的半监督医学图像分割方法 |
| CN112837338B (zh) * | 2021-01-12 | 2022-06-21 | 浙江大学 | 一种基于生成对抗网络的半监督医学图像分割方法 |
| CN113361659B (zh) * | 2021-07-16 | 2023-08-22 | 广东工业大学 | 一种基于隐空间主成分分析的图像可控生成方法及系统 |
| CN113361659A (zh) * | 2021-07-16 | 2021-09-07 | 广东工业大学 | 一种基于隐空间主成分分析的图像可控生成方法及系统 |
| CN114004948A (zh) * | 2021-07-30 | 2022-02-01 | 华东师范大学 | 基于生成网络的创意生成物求解器及其应用 |
| CN113870373A (zh) * | 2021-09-23 | 2021-12-31 | 北京理工大学 | 通过输入多个力学性能生成钛合金微观组织图像的方法 |
| CN113870373B (zh) * | 2021-09-23 | 2024-09-20 | 北京理工大学 | 通过输入多个力学性能生成钛合金微观组织图像的方法 |
| CN113947706A (zh) * | 2021-12-20 | 2022-01-18 | 四川师范大学 | 一种基于生成对抗网络的图像多样性增强方法与系统 |
| CN113947706B (zh) * | 2021-12-20 | 2022-06-28 | 四川师范大学 | 一种基于生成对抗网络的图像多样性增强方法与系统 |
| CN116127345A (zh) * | 2022-12-23 | 2023-05-16 | 北京科技大学 | 基于深度聚类生成对抗网络的转炉炼钢工艺模式设计方法 |
| CN116127345B (zh) * | 2022-12-23 | 2023-11-14 | 北京科技大学 | 基于深度聚类生成对抗网络的转炉炼钢工艺模式设计方法 |
| CN117853695A (zh) * | 2024-03-07 | 2024-04-09 | 成都信息工程大学 | 基于局部空间自注意力的3d感知图像合成方法和装置 |
| CN117853695B (zh) * | 2024-03-07 | 2024-05-03 | 成都信息工程大学 | 基于局部空间自注意力的3d感知图像合成方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110310345A (zh) | 一种基于自动分工隐聚类生成对抗网络的图像生成方法 | |
| CN109584337B (zh) | 一种基于条件胶囊生成对抗网络的图像生成方法 | |
| CN106845529B (zh) | 基于多视野卷积神经网络的影像特征识别方法 | |
| CN112215280B (zh) | 一种基于元骨干网络的小样本图像分类方法 | |
| CN109948029A (zh) | 基于神经网络自适应的深度哈希图像搜索方法 | |
| CN108960059A (zh) | 一种视频动作识别方法及装置 | |
| CN112465120A (zh) | 一种基于进化方法的快速注意力神经网络架构搜索方法 | |
| CN114841257B (zh) | 一种基于自监督对比约束下的小样本目标检测方法 | |
| CN110264407B (zh) | 图像超分辨模型训练及重建方法、装置、设备及存储介质 | |
| CN109242097B (zh) | 无监督学习的视觉表示学习系统及方法 | |
| CN116503676B (zh) | 一种基于知识蒸馏小样本增量学习的图片分类方法及系统 | |
| CN113569895A (zh) | 图像处理模型训练方法、处理方法、装置、设备及介质 | |
| CN110110845B (zh) | 一种基于并行多级宽度神经网络的学习方法 | |
| CN109344898A (zh) | 基于稀疏编码预训练的卷积神经网络图像分类方法 | |
| CN113569881A (zh) | 一种基于链式残差与注意力机制的自适应语义分割方法 | |
| CN114004333A (zh) | 一种基于多假类生成对抗网络的过采样方法 | |
| CN116524183A (zh) | 一种基于多任务适配器微调的伪装目标检测方法 | |
| CN115620068A (zh) | 一种深度学习模式下的岩石岩性自动识别分类方法 | |
| CN113065520A (zh) | 一种面向多模态数据的遥感图像分类方法 | |
| CN113554653A (zh) | 基于互信息校准点云数据长尾分布的语义分割方法 | |
| CN116563683A (zh) | 一种基于卷积神经网络和多层感知机的遥感影像场景分类方法 | |
| CN113989405A (zh) | 一种基于小样本持续学习的图像生成方法 | |
| CN111723864A (zh) | 基于主动学习使用互联网图片进行对抗训练的方法及装置 | |
| ZiWen et al. | Multi-objective Neural Architecture Search for Efficient and Fast Semantic Segmentation on Edge | |
| CN114581470B (zh) | 一种基于植物群落行为的图像边缘检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191008 |