CN108665058A - 一种基于分段损失的生成对抗网络方法 - Google Patents
一种基于分段损失的生成对抗网络方法 Download PDFInfo
- Publication number
- CN108665058A CN108665058A CN201810321286.1A CN201810321286A CN108665058A CN 108665058 A CN108665058 A CN 108665058A CN 201810321286 A CN201810321286 A CN 201810321286A CN 108665058 A CN108665058 A CN 108665058A
- Authority
- CN
- China
- Prior art keywords
- loss
- parameter
- training
- generator
- epoch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000011218 segmentation Effects 0.000 title abstract 2
- 238000012549 training Methods 0.000 claims abstract description 46
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 4
- 238000009826 distribution Methods 0.000 claims description 33
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 13
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 230000006870 function Effects 0.000 abstract description 18
- 230000007812 deficiency Effects 0.000 abstract 1
- 239000000284 extract Substances 0.000 abstract 1
- 238000002474 experimental method Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000000137 annealing Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 206010008909 Chronic Hepatitis Diseases 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 208000006454 hepatitis Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/50—Maintenance of biometric data or enrolment thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种基于分段损失的生成对抗网络方法,步骤如下:1、参数初始化:设批大小m=100,超参数k=1,用Xavier方法进行参数初始化,确定最大迭代次数和损失切换迭代次数参数T,令迭代次数epoch=0;2、训练判别器参数:令i=1,i为循环变量;3、训练生成器参数;epoch=epoch+1,判断epoch是否大于最大迭代次数,如小于最大迭代次数,则重复步骤2和3,如满足,则训练结束。该方法能实现生成器在不同的训练阶段采用不同形式的损失函数,一定程度上弥补了单一损失形式下GAN理论的不足,使网络训练更加稳定;通过引入真实样本与生成样本之间特征级损失,使判别器提取的特征更加鲁棒。
Description
技术领域
本发明属于深度学习神经网络技术领域,具体是一种基于分段损失的生成对抗网络方法。
背景技术
生成对抗网络(Generative Adversarial Network,简称GAN)是由Goodfellow在2014年提出的无监督深度学习框架,借鉴“博弈论”的思想,构造了两个玩家:生成器(generator)和判别器(discriminator),前者通过输入参数为(0,1)的均匀噪声或高斯随机噪声来生成图像,后者对输入的图像进行判别,判断输入是来自数据集的图像还是由生成器生成的图像。判别器将判断的结果反馈给生成器,使其朝着真实数据的分布进行优化。
近几年,生成对抗网络在图像生成和半监督学习上应用广泛。但理论上依然存在不足,原始GAN模型难以把握生成器与判别器的同步更新,导致模型训练不稳定以及模式崩溃的现象,从而导致判别器提取的特征鲁棒性较差。
发明内容
针对上述现有技术存在的问题,本发明提供一种基于分段损失的生成对抗网络方法,该方法能避免常规生成对抗网络在单一形式损失下出现的训练不稳定以及模式崩溃现象,从而解决判别器提取的特征较差的问题;该方法能实现生成器在不同的训练时期采用不同形式的损失函数,通过使生成器引入真实样本与生成样本之间特征级损失,使网络训练更加稳定,判别器提取的特征更加鲁棒。
为了实现上述目的,算法主要分为以下几个步骤:
步骤1:参数初始化:批大小m=100,即每一次参数更新时所需的样本数;设超参数k=1,即训练判别器k次才训练生成器1次;对数损失和特征损失权重分别为α=β=0.5;用Xavier方法进行参数初始化;根据数据集确定最大迭代次数和损失切换迭代次数参数T;令迭代次数epoch=0;
步骤2:训练判别器参数:令i=1,变量i是一个循环变量;
(1)抽取m个来自噪声分布Pnoise(z)的随机样本{z(1),z(2)……z(m)},抽取m个来自真实样本分布的无标签样本{x(1),x(2)……x(m)},抽取m个来自真实样本分布的带标签的样本{(xl (1),y(1)),(xl (2),y(2))……(xl (m),y(m))};
(2)计算判别器的无监督损失Cunsup:
(3)计算判别器的监督损失Csup:
(4)通过Adam优化算法更新判别器的参数:
(5)判断循环变量是否等于参数k,若小于k则重复步骤2,直至满足条件为止;若等于k,则转至下一步;
步骤3:训练生成器参数:
(1)抽取m个来自噪声分布Pnoise(z)的随机样本{z(1),z(2)……z(m)},抽取m个来自真实样本分布的无标签样本{x(1),x(2)……x(m)};
(2)计算生成器的特征级损失Vfeature(x,z):
(3)计算时间参数w(t):w(t)=exp[-10*(1-t)2],t等于当前epoch与转换切换次数参数T的比值;
(4)计算生成器的对数损失Vlog(z):
(5)通过Adam优化算法更新生成器的参数:
步骤4:epoch=epoch+1;判断epoch是否大于最大迭代次数,如小于最大迭代次数,则重复步骤2和步骤3,如满足,则训练结束。
本发明针对生成对抗网络模型训练不稳定以及模式崩溃的问题,提出了基于分段损失的生成对抗网络。通过引入时间参数来改变生成器与判别器的训练过程,使衡量生成分布与真实分布之间差异的JS散度能够更好发挥良性作用;对生成器引入真实样本与生成样本之间的特征级损失,使训练过程更加稳定,一定程度上能够改善模型的模式崩溃现象,同时判别器提取到的特征更加鲁棒。模型在半监督图像分类上有较好的表现,其分类精度与其他算法相比有一定的优势。
附图说明
图1是PL-GAN的计算流程;
图2是GAN半监督分类的示意流程;
图3是输入的真实样本的示意图;
图4是feature-wise GAN下的生成样本;
图5是是regular GAN的生成样本;
图6是PL-GAN生成的样本;
图7是PL-GAN与regular GAN以及feature-wise GAN在训练过程中的损失变化趋势对比图;
图8是PL-GAN在mnist数据集测试对比结果;
图9是PL-GAN在cifar10数据集测试对比结果。
具体实施方式
机器学习算法以训练样本有无标签,可以分为带标签的监督学习和不带标签的无监督学习。由于监督学习的标签数据获取的成本很高,无监督学习算法表现不足,因此半监督学习(semi-supervised learning,SSL)成为研究学者重要的一个研究方向。SSL利用海量的无标签样本和少量标签样本能够学习具有鲁棒性的特征,在图像分类方面有着较好的表现。Lee等提出了一种对无标签数据的伪标签来帮助模型训练的高效方法。Rasmus等人提出了基于自动编码器的阶梯网络,编码器用于监督学习,解码器的每一层与编码器一一对应,形成阶梯,用于无监督学习训练。
近年来,深度生成模型(Deep generative models,DGMs)与生成对抗网络(GAN)在半监督学习上有着良好的表现。Springenberg等提出的Cat-GAN在判别器中引进适当的目标函数来权衡输入样本与对应预测类别的互信息,通过最大化生成数据类别的条件交叉熵来训练分类器。Odena和Salimans等将判别器的二分类的概率输出扩展到N+1类别概率输出,真实样本对应的N个类加上生成样本类别。Li等提出了triple GAN,通过引入额外的分类器,改善了GAN在半监督学习上的生成器和判别器在训练时无法同时达到最优的问题且生成器能够学习到样本的语义特征。文献中提到可以利用无标签数据对GAN的判别器进行预训练,用少量有标签数据对判别器进行微调,再用于分类任务。
GAN在训练过程中会出现不稳定以及模式崩溃的问题,Arjovsky等从理论分析了其原因,当生成样本分布与真实样本分布之间的支撑集没有重叠或可忽略的重叠部分为0时,生成器的损失梯度近似常数。常规GAN采用衡量两者分布差异的JS散度受限于分布之间支撑集没有重叠。于是作者提出了Wesserstein-GAN(W-GAN),通过满足一定约束条件下神经网络逼近函数来近似度量两者分布的距离。Che等提出了模态正则化的GAN,通过设计一系列的相似度量方法对判别器进行约束,提供更加稳定的梯度来训练生成器。Metz等针对模式崩溃的问题,提出了基于梯度损失的Unrolled GAN,通过计算二阶梯度来指示生成器一阶梯度变化的方向。
针对上述问题,本申请提出一种基于分段损失的生成对抗网络(Piecewise-LossGenerative Adversarial Networks,PL-GAN),通过引入时间参数,使生成器在不同的训练阶段采用不同的损失函数,JS散度就可以发挥良性作用。为了给生成器提供足够的梯度,本申请额外引入了生成样本和真实样本在特征空间的均方差损失,从而PL-GAN不仅有效改善了生成器梯度消失的问题,而且在半监督学习方面有着不俗的表现。
GAN可以理解为两个玩家相互博弈的二人游戏,即生成器(Generator,G)和判别器(Discriminator,D)之间的“零和游戏”。G的输入是噪声变量z,目的是拟合真实样本的数据分布,输出生成样本G(z)。D来判断输入的样本是来自真实样本还是生成样本,输出输入的样本来自真实样本的概率D(x)。因此判别器D的优化目标对输入为真实样本的概率尽可能为1,输入为生成样本的概率尽可能为0。生成器G的优化目的是最大化判别器D给出错误判断的概率,最终的优化目的是寻找两者之间的一个纳什均衡。其优化过程是一个极大极小的一个对抗过程,其目标函数为V(D,G):
其中,pdata(x)表示的是真实样本的分布,pnoise(z)表示的是输入噪声分布。
GAN的优化目标是通过双玩家游戏策略隐式地训练一个逼近真实样本的生成器pg(z)=Gθ(z),常规GAN判别器D的目的是尽可能判别出真实样本与生成样本的真伪,其损失函数为:
生成器G的损失函数有以下两种形式:
当pdata(x)=pg(x)时,最优判别器表示为:
最优判别器下,式(5)代入式(1)得生成器第一种损失函数形式为:
式(6)代入D*(x)后,引入衡量相似度的两个指标KL散度和JS散度。
则最优判别器下G第一种损失函数形式最终为:
即在最优判别器下,最小化生成器的损失等价为最小化生成样本与真实样本之间的JS散度。但Arjovsky等证明了在第一种损失函数形式下,JS散度衡量分布差异的前提是两者的分布要有所重叠或有不可忽略的重叠,否则JS散度将会是一个常数。但网络初始化后的生成样本分布很难与真实样本分布有不可忽略的重叠。
同样,由式(6)和式(7)可得G的第二种形式的损失函数如下:
由于后两项不依赖于G,最终最小化式(4)等价于最小化
该目标形式一方面要求最小化生成分布与真实分布的KL散度,另一方面又要求最大化两者的JS散度,优化目标相互矛盾。且KL(pg||pdata)不是一个对称的度量,KL(pg||pdata)不等于KL(pdata||pg),当pdata与pg的取值相对改变时,KL散度也会变化,这就迫使生成器生成大量重复且置信度较高的样本,导致了模式崩溃。
WGAN作者针对生成器第一种损失函数存在的缺点,提出了对生成样本和真实样本加噪声的方法,使得原本的两个低维流形弥散到整个高维的空间,迫使它们产生不可忽略的重叠,而一旦存在重叠,JS散度就能真正发挥作用,梯度消失的问题便得到了解决,随着训练的进行,再进行噪声退火,JS散度照样能发挥作用,继续产生有意义的梯度把两个低维流形拉近,直到完全重合。
本文借鉴了噪声退火的思想,通过引入时间参数w(t)=exp[-10*(1-t)2],来控制GAN在不同的训练阶段采用不同形式的损失。训练的前期以第二种损失函数方式为主,随着训练的进行,真实样本和生成样本就能够有所重叠,训练进行到某一阶段,再切换到以第一种损失方式为主,此时JS散度就可以发挥良性作用,从而避免生成器梯度消失和模式崩溃。同时为了给生成器提供足够的梯度,本文引入生成样本和真实样本之间特征级的均方差损失。最终生成器的损失函数如下:
其中Df(*)表示判别器特征层的输出。
有关PL-GAN的计算流程如图1所示,考虑到GAN的监督损失,假设标准的分类器输出是N维向量logits={l1,l2,…,lN},N为样本的类别数。则用softmax计算输出的概率为:
将生成样本所属的类别定义为第N+1类,则来自生成样本的概率可表示为Pmodel(y=N+1|x),对应常规GAN的1-D(x)。假设判别器的训练样本一半来自真实样本,另一半来自生成样本,则D的损失函数可表示为:
其中,真实样本由带标签样本和不带标签样本组成。由带标签样本参与的监督损失为:
由不带标签的真实样本和生成样本参与的无监督对抗损失为:
令D(x)=1-Pmodel(y=N+1|x),则
如何计算监督损失和无监督对抗损失成为问题的关键。从最终的优化目标的角度分析,存在一个未知的映射函数f(x),使p(y=j,x)=f(x)·exp[lj(x)],且pG(x)=f(x)·exp[lN+1(x)]成立。由于判别器输出维度为N+1的概率向量是过参数化的,假设lN+1(x)=0,则不会改变判别器softmax概率值。此时,GAN监督损失变为标准的分类器的监督损失,输出为其中,有关GAN半监督图像分类示意流程如图2所示,其中,标签样本为D贡献监督损失,无标签样本为D贡献无监督损失。
本发明提供了一种基于分段损失的生成对抗网络方法,包括以下步骤:
步骤1:参数初始化:批大小m=100,即每一次参数更新时所需的样本数;设超参数k=1,即训练判别器k次才训练生成器1次;对数损失和特征损失权重分别为α=β=0.5;用Xavier方法进行参数初始化;根据数据集确定最大迭代次数和损失切换迭代次数参数T;令迭代次数epoch=0;
步骤2:训练判别器参数:令i=1,变量i是一个循环变量;
(1)抽取m个来自噪声分布Pnoise(z)的随机样本{z(1),z(2)……z(m)},抽取m个来自真实样本分布的无标签样本{x(1),x(2)……x(m)},抽取m个来自真实样本分布的带标签的样本{(xl (1),y(1)),(xl (2),y(2))……(xl (m),y(m))};
(2)计算判别器的无监督损失Cunsup:
(3)计算判别器的监督损失Csup:
(4)通过Adam优化算法更新判别器的参数:
(5)判断循环变量是否等于参数k,若小于k则重复步骤2,直至满足条件为止;若等于k,则转至下一步;
步骤3:训练生成器参数:
(1)抽取m个来自噪声分布Pnoise(z)的随机样本{z(1),z(2)……z(m)},抽取m个来自真实样本分布的无标签样本{x(1),x(2)……x(m)};
(2)计算生成器的特征级损失Vfeature(x,z):
(3)计算时间参数w(t):w(t)=exp[-10*(1-t)2],t等于当前epoch与转换切换次数参数T的比值;
(4)计算生成器的对数损失Vlog(z):
(5)通过Adam优化算法更新生成器的参数:
步骤4:epoch=epoch+1;判断epoch是否大于最大迭代次数,如小于最大迭代次数,则重复步骤2和步骤3,如满足,则训练结束。
基于分段损失的生成对抗网络半监督分类算法步骤如表1所示。设超参数k=1,即训练判别器k次才训练生成器1次;对数损失和特征级均方差损失权重分别为:α=β=0.5;用Xavier方法进行参数初始化。
表1 PL-GAN的参数设置及算法步骤
实验结果与分析
1实验数据集
为了验证本文方法的表现,采用两个数据集MNIST、CIFAR-10进行相关的实验。MNIST是深度学习领域常见的手写字体数据集,共十类(数字0~9),每类包含单通道的6000个训练样本和1000个测试样本。CIFAR-10包含着6万张包括10类的三通道样本,每类有5000个训练样本和1000个测试样本。
2网络参数分析
基于theano深度学习框架上进行实验对比,在单块GPU型号为GTX980上运行,对于生成器的损失函数来说,损失切换迭代次数参数switch epoch以及学习率衰减策略非常重要,直接影响着生成图像的质量以及稳定性,从而影响判别器的好坏。关于每个数据集中对应的switch epoch与learning rate参数的设置如下表2所示。
表2参数设置
3实验对比分析
1)MNIST数据集
本实验的模型框架主要是由多层感知机组成,实验的评价标准一方面是生成样本的质量,另一方面是半监督分类的精度。对比的算法主要是常规GAN(regular GAN),其生成器的损失为对数损失特征级损失GAN(feature-wise GAN),其生成器的损失仅仅是特征级均方差损失PL-GAN在常规GAN的基础上改变了对数损失的形式且引入了特征级损失,然后经过加权,作为PL-GAN的生成器损失。
如图3至6所示,其中图3表示的是真实样本的输入,图4表示的是feature-wiseGAN下的生成样本,图5表示的是regularGAN的生成样本,图6表示的是PL-GAN生成的样本;与feature-wise GAN相比,PL-GAN生成的样本质量较好,与regular GAN相比,PL-GAN生成的样本虽然质量上稍差,但多样性明显好于前者。即改善了常规的GAN模式崩溃的问题。
如图7所示是PL-GAN与regular GAN以及feature-wise GAN在训练过程中的损失变化趋势对比图。其中对生成器的损失而言,PL-GAN相比feature-wise GAN损失下降得更加稳定;与regular GAN相比,PL-GAN损失的变化呈现逐渐下降的趋势,而不是趋近于一个常数。对判别器的损失而言,PL-GAN的变化趋势相比regular GAN较好,与feature-wiseGAN相当。在保证模型的结构框架相同的情况下,当标签样本为100时,比较半监督分类性能。分类对比结果如图8所示,PL-GAN相比regular GAN分类错误率较低,相比feature-wiseGAN,分类性能虽基本接近,但收敛性更好。
表3 MNIST测试错误率对比(labels=100)
同样设标签样本为100,与传统的半监督学习算法,如基于深度生成模型算法的ADGM、M1+M2、基于虚拟对抗网络VAT、CatGAN等方法比较,PL-GAN有较好的表现。比较结果如表3所示。
为了加速模型的训练速度,在判别器结构中,加入了weightNormalization正则化,有关PL-GAN模型的参数配置如表4所示。
表4 MNIST数据集网络参数配置
2)c i far 10数据集
本实验的模型框架主要是以DCGAN的框架为基准,训练之前采用ZCA白化对数据集进行预处理,初始基准学习率设为0.0003,为了加速模型的训练和防止模型的过拟合,模型中加入weight normalization和dropout策略。关于网络模型参数的配置如表5所示。
表5 CIFAR10网络参数配置
在保证模型的结构框架相同的情况下,当标签样本为4000时,半监督分类对比结果如图9所示,PL-GAN相比regular GAN分类错误率较低,相比feature-wise GAN,分类性能虽基本接近,但收敛性更好。
表6不同模型生成样本的IS值
与其他传统的半监督分类算法相比,设同样设带标签的训练样本为4000,对比结果如表7所示,PL-GAN有较好的表现,优于大部分传统算法。
表7 CIFAR10测试错误率对比结果(labels=4000)
Claims (1)
1.一种基于分段损失的生成对抗网络方法,其特征在于,包括以下步骤:
步骤1:参数初始化:批大小m=100,即每一次参数更新时所需的样本数;设超参数k=1,即训练判别器k次才训练生成器1次;对数损失和特征损失权重分别为α=β=0.5;用Xavier方法进行参数初始化;根据数据集确定最大迭代次数和损失切换迭代次数参数T;令迭代次数epoch=0;
步骤2:训练判别器参数:令i=1,变量i是一个循环变量;
(1)抽取m个来自噪声分布Pnoise(z)的随机样本{z(1),z(2)……z(m)},抽取m个来自真实样本分布的无标签样本{x(1),x(2)……x(m)},抽取m个来自真实样本分布的带标签的样本{(xl (1),y(1)),(xl (2),y(2))……(xl (m),y(m))};
(2)计算判别器的无监督损失Cunsup:
(3)计算判别器的监督损失Csup:
(4)通过Adam优化算法更新判别器的参数:
(5)判断循环变量是否等于参数k,若小于k则重复步骤2,直至满足条件为止;若等于k,则转至下一步;
步骤3:训练生成器参数:
(1)抽取m个来自噪声分布Pnoise(z)的随机样本{z(1),z(2)……z(m)},抽取m个来自真实样本分布的无标签样本{x(1),x(2)……x(m)};
(2)计算生成器的特征级损失Vfeature(x,z):
(3)计算时间参数w(t):w(t)=exp[-10*(1-t)2],t等于当前epoch与转换切换次数参数T的比值;
(4)计算生成器的对数损失Vlog(z):
(5)通过Adam优化算法更新生成器的参数:
步骤4:epoch=epoch+1;判断epoch是否大于最大迭代次数,如小于最大迭代次数,则重复步骤2和步骤3,如满足,则训练结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810321286.1A CN108665058B (zh) | 2018-04-11 | 2018-04-11 | 一种基于分段损失的生成对抗网络方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810321286.1A CN108665058B (zh) | 2018-04-11 | 2018-04-11 | 一种基于分段损失的生成对抗网络方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108665058A true CN108665058A (zh) | 2018-10-16 |
CN108665058B CN108665058B (zh) | 2021-01-05 |
Family
ID=63783310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810321286.1A Active CN108665058B (zh) | 2018-04-11 | 2018-04-11 | 一种基于分段损失的生成对抗网络方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108665058B (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109360069A (zh) * | 2018-10-29 | 2019-02-19 | 郑州大学 | 一种基于成对对抗训练的推荐模型 |
CN109544475A (zh) * | 2018-11-21 | 2019-03-29 | 北京大学深圳研究生院 | 用于图像去模糊的Bi-Level优化方法 |
CN109620223A (zh) * | 2018-12-07 | 2019-04-16 | 北京工业大学 | 一种脑卒中康复系统脑机接口关键技术方法 |
CN109871898A (zh) * | 2019-02-27 | 2019-06-11 | 南京中设航空科技发展有限公司 | 一种利用生成对抗网络生成堆积物训练样本的方法 |
CN109902823A (zh) * | 2018-12-29 | 2019-06-18 | 华为技术有限公司 | 一种基于生成对抗网络的模型训练方法及设备 |
CN109949905A (zh) * | 2019-02-28 | 2019-06-28 | 福建自贸区试验区厦门片区Manteia数据科技有限公司 | 一种基于靶区的三维剂量分布预测方法 |
CN110033034A (zh) * | 2019-04-01 | 2019-07-19 | 深圳大学 | 一种非均匀纹理的图片处理方法、装置和计算机设备 |
CN110084221A (zh) * | 2019-05-08 | 2019-08-02 | 南京云智控产业技术研究院有限公司 | 一种基于深度学习的带中继监督的序列化人脸关键点检测方法 |
CN110175571A (zh) * | 2019-05-28 | 2019-08-27 | 华翔翔能电气股份有限公司 | 变电站设备状态的智能监测与识别方法 |
CN110289004A (zh) * | 2019-06-18 | 2019-09-27 | 暨南大学 | 一种基于深度学习的人工合成声纹检测系统及方法 |
CN110288079A (zh) * | 2019-05-20 | 2019-09-27 | 阿里巴巴集团控股有限公司 | 特征数据获取方法、装置和设备 |
CN110598843A (zh) * | 2019-07-23 | 2019-12-20 | 中国人民解放军63880部队 | 一种基于判别器共享的生成对抗网络组织结构及其训练方法 |
CN110705694A (zh) * | 2019-09-30 | 2020-01-17 | 国网山东省电力公司电力科学研究院 | 基于特征提取的面向边缘数据中心的窃电监测方法 |
CN110826688A (zh) * | 2019-09-23 | 2020-02-21 | 江苏艾佳家居用品有限公司 | 一种保障gan模型最大最小损失函数平稳收敛的训练方法 |
CN111028941A (zh) * | 2019-12-10 | 2020-04-17 | 南京医科大学 | 基于生成对抗网络的tka术前临床分期智能评估方法 |
CN111325232A (zh) * | 2018-12-13 | 2020-06-23 | 财团法人工业技术研究院 | 相位图像生成器的训练方法及相位图像分类器的训练方法 |
CN111355675A (zh) * | 2020-03-11 | 2020-06-30 | 南京航空航天大学 | 一种基于生成对抗网络的信道估计增强方法、装置和系统 |
CN111597946A (zh) * | 2020-05-11 | 2020-08-28 | 腾讯科技(深圳)有限公司 | 图像生成器的处理方法、图像生成方法及装置 |
CN111783980A (zh) * | 2020-06-28 | 2020-10-16 | 大连理工大学 | 基于双重协作生成式对抗网络的排序学习方法 |
CN111814591A (zh) * | 2020-03-31 | 2020-10-23 | 同济大学 | 基于生成式对抗网络模型和ios平台的植物叶片识别系统 |
CN111950579A (zh) * | 2019-05-17 | 2020-11-17 | 北京京东尚科信息技术有限公司 | 分类模型的训练方法和训练装置 |
WO2021159815A1 (zh) * | 2020-09-04 | 2021-08-19 | 平安科技(深圳)有限公司 | 人脸识别模型的训练方法、装置和计算机设备 |
TWI769820B (zh) * | 2021-05-19 | 2022-07-01 | 鴻海精密工業股份有限公司 | 生成對抗網路優化方法及電子設備 |
CN117933320A (zh) * | 2024-03-25 | 2024-04-26 | 中国科学技术大学 | 一种带辅助分类器的置信度引导条件生成对抗网络的训练方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106355191A (zh) * | 2016-08-12 | 2017-01-25 | 清华大学 | 一种深度生成网络随机训练算法及装置 |
CN107220600A (zh) * | 2017-05-17 | 2017-09-29 | 清华大学深圳研究生院 | 一种基于深度学习的图片生成方法及生成对抗网络 |
CN107392312A (zh) * | 2017-06-01 | 2017-11-24 | 华南理工大学 | 一种基于dcgan性能的动态调整算法 |
CN107577651A (zh) * | 2017-08-25 | 2018-01-12 | 上海交通大学 | 基于对抗网络的汉字字体迁移系统 |
CN107590532A (zh) * | 2017-08-14 | 2018-01-16 | 华南理工大学 | 一种基于wgan的超参数动态调整方法 |
-
2018
- 2018-04-11 CN CN201810321286.1A patent/CN108665058B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106355191A (zh) * | 2016-08-12 | 2017-01-25 | 清华大学 | 一种深度生成网络随机训练算法及装置 |
CN107220600A (zh) * | 2017-05-17 | 2017-09-29 | 清华大学深圳研究生院 | 一种基于深度学习的图片生成方法及生成对抗网络 |
CN107392312A (zh) * | 2017-06-01 | 2017-11-24 | 华南理工大学 | 一种基于dcgan性能的动态调整算法 |
CN107590532A (zh) * | 2017-08-14 | 2018-01-16 | 华南理工大学 | 一种基于wgan的超参数动态调整方法 |
CN107577651A (zh) * | 2017-08-25 | 2018-01-12 | 上海交通大学 | 基于对抗网络的汉字字体迁移系统 |
Non-Patent Citations (3)
Title |
---|
IAN J. GOODFELLOW等: "Generative Adversarial Nets", 《ARXIV》 * |
ISHAAN GULRAJANI等: "Improved Training of Wasserstein GANs", 《ARXIV》 * |
XI CHEN等: "InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets", 《ARXIV》 * |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109360069A (zh) * | 2018-10-29 | 2019-02-19 | 郑州大学 | 一种基于成对对抗训练的推荐模型 |
CN109544475A (zh) * | 2018-11-21 | 2019-03-29 | 北京大学深圳研究生院 | 用于图像去模糊的Bi-Level优化方法 |
CN109620223A (zh) * | 2018-12-07 | 2019-04-16 | 北京工业大学 | 一种脑卒中康复系统脑机接口关键技术方法 |
CN111325232A (zh) * | 2018-12-13 | 2020-06-23 | 财团法人工业技术研究院 | 相位图像生成器的训练方法及相位图像分类器的训练方法 |
CN111325232B (zh) * | 2018-12-13 | 2024-01-02 | 财团法人工业技术研究院 | 相位图像生成器的训练方法及相位图像分类器的训练方法 |
CN109902823A (zh) * | 2018-12-29 | 2019-06-18 | 华为技术有限公司 | 一种基于生成对抗网络的模型训练方法及设备 |
CN109902823B (zh) * | 2018-12-29 | 2024-06-07 | 华为技术有限公司 | 一种基于生成对抗网络的模型训练方法及设备 |
CN109871898A (zh) * | 2019-02-27 | 2019-06-11 | 南京中设航空科技发展有限公司 | 一种利用生成对抗网络生成堆积物训练样本的方法 |
CN109949905A (zh) * | 2019-02-28 | 2019-06-28 | 福建自贸区试验区厦门片区Manteia数据科技有限公司 | 一种基于靶区的三维剂量分布预测方法 |
CN110033034A (zh) * | 2019-04-01 | 2019-07-19 | 深圳大学 | 一种非均匀纹理的图片处理方法、装置和计算机设备 |
CN110033034B (zh) * | 2019-04-01 | 2023-09-12 | 深圳大学 | 一种非均匀纹理的图片处理方法、装置和计算机设备 |
CN110084221A (zh) * | 2019-05-08 | 2019-08-02 | 南京云智控产业技术研究院有限公司 | 一种基于深度学习的带中继监督的序列化人脸关键点检测方法 |
CN111950579A (zh) * | 2019-05-17 | 2020-11-17 | 北京京东尚科信息技术有限公司 | 分类模型的训练方法和训练装置 |
CN110288079A (zh) * | 2019-05-20 | 2019-09-27 | 阿里巴巴集团控股有限公司 | 特征数据获取方法、装置和设备 |
CN110288079B (zh) * | 2019-05-20 | 2023-06-09 | 创新先进技术有限公司 | 特征数据获取方法、装置和设备 |
CN110175571A (zh) * | 2019-05-28 | 2019-08-27 | 华翔翔能电气股份有限公司 | 变电站设备状态的智能监测与识别方法 |
CN110289004B (zh) * | 2019-06-18 | 2021-09-07 | 暨南大学 | 一种基于深度学习的人工合成声纹检测系统及方法 |
CN110289004A (zh) * | 2019-06-18 | 2019-09-27 | 暨南大学 | 一种基于深度学习的人工合成声纹检测系统及方法 |
CN110598843B (zh) * | 2019-07-23 | 2023-12-22 | 中国人民解放军63880部队 | 一种基于判别器共享的生成对抗网络组织结构的训练方法 |
CN110598843A (zh) * | 2019-07-23 | 2019-12-20 | 中国人民解放军63880部队 | 一种基于判别器共享的生成对抗网络组织结构及其训练方法 |
CN110826688B (zh) * | 2019-09-23 | 2022-07-29 | 江苏艾佳家居用品有限公司 | 一种保障gan模型最大最小损失函数平稳收敛的训练方法 |
CN110826688A (zh) * | 2019-09-23 | 2020-02-21 | 江苏艾佳家居用品有限公司 | 一种保障gan模型最大最小损失函数平稳收敛的训练方法 |
CN110705694A (zh) * | 2019-09-30 | 2020-01-17 | 国网山东省电力公司电力科学研究院 | 基于特征提取的面向边缘数据中心的窃电监测方法 |
CN111028941A (zh) * | 2019-12-10 | 2020-04-17 | 南京医科大学 | 基于生成对抗网络的tka术前临床分期智能评估方法 |
CN111355675A (zh) * | 2020-03-11 | 2020-06-30 | 南京航空航天大学 | 一种基于生成对抗网络的信道估计增强方法、装置和系统 |
CN111355675B (zh) * | 2020-03-11 | 2021-05-18 | 南京航空航天大学 | 一种基于生成对抗网络的信道估计增强方法、装置和系统 |
CN111814591A (zh) * | 2020-03-31 | 2020-10-23 | 同济大学 | 基于生成式对抗网络模型和ios平台的植物叶片识别系统 |
CN111597946A (zh) * | 2020-05-11 | 2020-08-28 | 腾讯科技(深圳)有限公司 | 图像生成器的处理方法、图像生成方法及装置 |
CN111783980B (zh) * | 2020-06-28 | 2023-04-07 | 大连理工大学 | 基于双重协作生成式对抗网络的排序学习方法 |
CN111783980A (zh) * | 2020-06-28 | 2020-10-16 | 大连理工大学 | 基于双重协作生成式对抗网络的排序学习方法 |
WO2021159815A1 (zh) * | 2020-09-04 | 2021-08-19 | 平安科技(深圳)有限公司 | 人脸识别模型的训练方法、装置和计算机设备 |
TWI769820B (zh) * | 2021-05-19 | 2022-07-01 | 鴻海精密工業股份有限公司 | 生成對抗網路優化方法及電子設備 |
CN117933320A (zh) * | 2024-03-25 | 2024-04-26 | 中国科学技术大学 | 一种带辅助分类器的置信度引导条件生成对抗网络的训练方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108665058B (zh) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108665058B (zh) | 一种基于分段损失的生成对抗网络方法 | |
CN110084610B (zh) | 一种基于孪生神经网络的网络交易欺诈检测系统 | |
CN109086658B (zh) | 一种基于生成对抗网络的传感器数据生成方法与系统 | |
CN111191835B (zh) | 基于c-gan迁移学习的ies不完备数据负荷预测方法及系统 | |
Liang et al. | Multi-scale dynamic adaptive residual network for fault diagnosis | |
CN114841257B (zh) | 一种基于自监督对比约束下的小样本目标检测方法 | |
Yi et al. | An improved initialization center algorithm for K-means clustering | |
CN111368920A (zh) | 基于量子孪生神经网络的二分类方法及其人脸识别方法 | |
CN108596327A (zh) | 一种基于深度学习的地震速度谱人工智能拾取方法 | |
CN113723083B (zh) | 基于bert模型的带权消极监督文本情感分析方法 | |
CN111505705B (zh) | 基于胶囊神经网络的微地震p波初至拾取方法及系统 | |
Li et al. | CGAN-MBL for reliability assessment with imbalanced transmission gear data | |
CN109145685B (zh) | 基于集成学习的果蔬高光谱品质检测方法 | |
CN113011487B (zh) | 一种基于联合学习与知识迁移的开放集图像分类方法 | |
Feng et al. | Shot-vae: semi-supervised deep generative models with label-aware elbo approximations | |
CN113780420B (zh) | 基于gru-gcn的变压器油中溶解气体浓度预测方法 | |
CN113743474A (zh) | 基于协同半监督卷积神经网络的数字图片分类方法与系统 | |
CN109948589B (zh) | 基于量子深度信念网络的人脸表情识别方法 | |
Korde et al. | Training of generative adversarial networks with hybrid evolutionary optimization technique | |
CN116824237A (zh) | 一种基于两阶段主动学习的图像识别分类方法 | |
Roder et al. | Energy-based dropout in restricted Boltzmann machines: why not go random | |
Liu et al. | Effective open intent classification with K-center contrastive learning and adjustable decision boundary | |
CN114139937A (zh) | 一种室内热舒适数据生成方法、系统、设备及介质 | |
Yang et al. | Rice Pest Recognition Method Based on Improved YOLOv8 | |
Yan et al. | An improved imbalanced data classification algorithm based on SVM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder | ||
CP02 | Change in the address of a patent holder |
Address after: 221018 Lishui Road, Yunlong District, Xuzhou, Jiangsu 2 Patentee after: XUZHOU University OF TECHNOLOGY Address before: 221111 University Science Park of Xuzhou Institute of technology, No.18, South Third Ring Road, Quanshan District, Xuzhou City, Jiangsu Province (Xuzhou 2.5 Industrial Park) Patentee before: XUZHOU University OF TECHNOLOGY |