CN107590532A - 一种基于wgan的超参数动态调整方法 - Google Patents

一种基于wgan的超参数动态调整方法 Download PDF

Info

Publication number
CN107590532A
CN107590532A CN201710690207.XA CN201710690207A CN107590532A CN 107590532 A CN107590532 A CN 107590532A CN 201710690207 A CN201710690207 A CN 201710690207A CN 107590532 A CN107590532 A CN 107590532A
Authority
CN
China
Prior art keywords
arbiter
hyper parameter
mrow
wgan
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710690207.XA
Other languages
English (en)
Other versions
CN107590532B (zh
Inventor
周智恒
李立军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710690207.XA priority Critical patent/CN107590532B/zh
Publication of CN107590532A publication Critical patent/CN107590532A/zh
Application granted granted Critical
Publication of CN107590532B publication Critical patent/CN107590532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于WGAN的超参数动态调整方法,属于深度学习神经网络领域,该超参数动态调整方法包括以下步骤:S1、构造沃瑟斯坦生成式对抗网络WGAN模型;S2、输入图像数据集,设置默认的超参数λ,对网络进行训练;S3、在第i次迭代的过程中,记录判别器的损失函数Xi;S4、在第i+1次的迭代过程中,记录判别器的损失函数为Xi+1;S5、计算Xi‑Xi+1的差值,动态调整超参数λ的数值。本方法能够解决在网络训练的过程中,由超参数引起的网络震荡问题,动态调整超参数λ,能够使判别器灵活地学习数据集中的特征,增强自身损失函数递减的稳定性,从而使整个生成对抗网络的训练效果更好。

Description

一种基于WGAN的超参数动态调整方法
技术领域
本发明涉及深度学习神经网络技术领域,具体涉及一种基于WGAN的超参数动态调整方法。
背景技术
生成式对抗网络(Generative Adversarial Network,简称GAN)是由Goodfellow在2014年提出的框架,它基于“博奕论”的思想,构造生成器(generator)和判别器(discriminator)两种模型,前者通过输入(0,1)的均匀噪声或高斯随机噪声生成图像,后者对输入的图像进行判别,确定是来自数据集的图像还是由生成器产生的图像。判别器每完成一次判断,将结果误差返回给生成器。
然而,原始的GAN模型存在着网络训练不稳定、判别器损失函数无法指示网络训练效果等问题。为此,有学者利用Wasserstein距离的思想,提出了WGAN。它与原始GAN的最大不同之处在于,将Wasserstein距离作为判别器的损失函数。这种做法的好处是,网络训练的效果能够根据判别器损失函数的大小来确定。
在标准的WGAN模型中,超参数的设置是默认不变的。它产生的缺点是判别器训练不能保持稳定,损失函数递减不具有平滑性。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷,提出一种基于WGAN的超参数动态调整方法,通过让判别器的损失函数以更加稳定的形式递减,从而增强整个生成式对抗网络在训练过程当中的稳定性。
本发明的目的可以通过采取如下技术方案达到:
一种基于WGAN的超参数动态调整方法,所述动态调整算法包括下列步骤:
S1、构造沃瑟斯坦生成式对抗网络WGAN模型,模型包含生成器和判别器,采用交叉熵函数与梯度惩罚结合作为判别器的损失函数;
S2、输入图像数据集,设置默认的超参数λ=10,对DCGAN模型进行训练;
S3、在第i次迭代的过程中,记录判别器的损失函数Xi
S4、在第i+1次的迭代过程中,记录判别器的损失函数为Xi+1
S5、计算Xi-Xi+1的差值,动态调整λ的数值。
进一步地,所述的步骤S2具体如下:
准备好图像数据集,随机初始化生成器、判别器的卷积神经网络中所有的参数和权重,然后利用随机梯度下降的方法对参数不断进行训练、调整与更新。
进一步地,所述的步骤S3中在第i次迭代的过程中,记录判别器的损失函数Xi,具体如下:
S31、将数据集中的图像输入判别器中进行训练;
S32、记录判别器的损失函数Xi
进一步地,所述的步骤S4中在第i+1次的迭代过程中,记录判别器的损失函数为Xi+1,过程如下:
S41、将数据集中的图像输入判别器中进行训练;
S42、记录判别器的损失函数Xi+1
进一步地,所述的步骤S5中,计算Xi-Xi+1的差值,动态调整超参数λ的数值。具体如下
S51、计算Xi-Xi+1的差值;
S52、若差值为正,则减小λ的数值;
S53、若差值为负,则增大λ的数值。
本发明相对于现有技术具有如下的优点及效果:
1.动态性:本发明根据WGAN中判别器损失函数的构成形式,根据判别器损失函数的变化情况,动态地调整损失函数中的超参数λ,使得整个网络的训练更加灵活,具有动态性;
2.稳定性:本发明所构建的基于WGAN超参数的动态调整算法,结合了判别器损失函数的构成特点,在损失函数震荡时能够及时灵活地调整超参数λ,使得整个网络在训练的过程中能够保持更加稳定。
附图说明
图1是WGAN网络的整体结构示意图;
图2是将动态调整WGAN超参数λ的算法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
本实施例公开了一种基于WGAN的超参数动态调整方法,具体包括下列步骤:
步骤S1、构造沃瑟斯坦生成式对抗网络WGAN模型,模型包含生成器和判别器,采用交叉熵函数与梯度惩罚结合作为判别器的损失函数;
步骤S2、输入图像数据集,设置默认的超参数λ,对DCGAN模型进行训练;
在WGAN中,判别器的损失函数为:
其中,D(x)表示判别器对图像的判别,pr表示数据集图像的分布,pg表示生成图像的分布,λ为超参数,为梯度。
对于判别器的损失函数而言,若超参数λ越大,则从历史数据集中的获取特征的内容越多;反之则越少。因此,根据判别器损失函数的变化情况,可以动态地调整λ的数值,从而增强整个网络在训练过程中的稳定性。
本实施例中,超参数λ示例性地设置为10。
步骤S3、在第i次迭代的过程中,记录判别器的损失函数Xi
在WGAN中,判别器的损失函数能够反映网络训练的效果。具体而言,若判别器的损失函数越小,则说明整个网络训练的效果越好,即生成图像的质量越好;反之,若判别器的损失函数越大,则说明整个网络训练的效果越差,即生成图像的质量越差。
步骤S4、在第i+1次的迭代过程中,记录判别器的损失函数为Xi+1
具体方法如下:
S41、将数据集中的图像输入判别器中进行训练;
S42、记录判别器的损失函数Xi+1
步骤S5、计算Xi-Xi+1的差值,动态调整λ的数值。具体如下:
S51、计算Xi-Xi+1的差值;
S52、若差值为正,则减小λ的数值;
S53、若差值为负,则增大λ的数值。
综上所述,本实施例公开了一种基于WGAN的超参数动态调整方法,该算法在WGAN网络训练的过程中,能够根据判别器损失函数的变化情况,动态地对网络超参数λ的数值进行调整,从而能够保证判别器损失函数递减的稳定性,能够减小整个网络在训练过程当中的震荡。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (7)

1.一种基于WGAN的超参数动态调整方法,其特征在于,所述的动态调整方法法包括下列步骤:
S1、构造沃瑟斯坦生成式对抗网络WGAN模型,模型包含生成器和判别器,采用交叉熵函数与梯度惩罚结合作为判别器的损失函数;
S2、输入图像数据集,设置默认的超参数λ,对DCGAN模型进行训练;
S3、在第i次迭代的过程中,记录判别器的损失函数为Xi
S4、在第i+1次的迭代过程中,记录判别器的损失函数为Xi+1;
S5、计算Xi-Xi+1的差值,动态调整超参数λ的数值,若差值为正,则减小λ的数值;若差值为负,则增大λ的数值。
2.根据权利要求1所述的一种基于WGAN的超参数动态调整方法,其特征在于,所述的步骤S1中判别器的损失函数为:
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mi>D</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>p</mi> <mi>r</mi> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>p</mi> <mi>g</mi> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>&amp;lambda;E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>X</mi> </mrow> </msub> <msub> <mo>&amp;dtri;</mo> <mi>x</mi> </msub> </mrow>
其中,D(x)表示判别器对图像的判别,pr表示数据集图像的分布,pg表示生成图像的分布,λ为超参数,为梯度。
3.根据权利要求1所述的一种基于WGAN的超参数动态调整方法,其特征在于,所述的步骤S2具体如下:
准备好图像数据集,随机初始化生成器、判别器的卷积神经网络中所有的参数和权重,设置超参数λ,然后利用随机梯度下降的方法对参数进行训练。
4.根据权利要求1所述的一种基于WGAN的超参数动态调整方法,其特征在于,所述的步骤S3具体如下:
S31、将数据集中的图像输入判别器中进行训练;
S32、记录判别器的损失函数Xi
5.根据权利要求1所述的一种基于WGAN的超参数动态调整方法,其特征在于,所述的步骤S4具体如下:
S41、将数据集中的图像输入判别器中进行训练;
S42、记录判别器的损失函数Xi+1
6.根据权利要求1所述的一种基于WGAN的超参数动态调整方法,其特征在于,所述的步骤S5具体如下:
S51、计算Xi-Xi+1的差值;
S52、若差值为正,则减小λ的数值;
S53、若差值为负,则增大λ的数值。
7.根据权利要求3所述的一种基于WGAN的超参数动态调整方法,其特征在于,所述的超参数λ设置为10。
CN201710690207.XA 2017-08-14 2017-08-14 一种基于wgan的超参数动态调整方法 Active CN107590532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710690207.XA CN107590532B (zh) 2017-08-14 2017-08-14 一种基于wgan的超参数动态调整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710690207.XA CN107590532B (zh) 2017-08-14 2017-08-14 一种基于wgan的超参数动态调整方法

Publications (2)

Publication Number Publication Date
CN107590532A true CN107590532A (zh) 2018-01-16
CN107590532B CN107590532B (zh) 2020-09-22

Family

ID=61042244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710690207.XA Active CN107590532B (zh) 2017-08-14 2017-08-14 一种基于wgan的超参数动态调整方法

Country Status (1)

Country Link
CN (1) CN107590532B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596343A (zh) * 2018-03-29 2018-09-28 杭州电子科技大学 一种基于反馈调节提高生成对抗网络稳定性的方法
CN108615073A (zh) * 2018-04-28 2018-10-02 北京京东金融科技控股有限公司 图像处理方法及装置、计算机可读存储介质、电子设备
CN108665058A (zh) * 2018-04-11 2018-10-16 徐州工程学院 一种基于分段损失的生成对抗网络方法
CN109840501A (zh) * 2019-01-31 2019-06-04 深圳市商汤科技有限公司 一种图像处理方法及装置、电子设备、存储介质
CN111192221A (zh) * 2020-01-07 2020-05-22 中南大学 基于深度卷积生成对抗网络的铝电解火眼图像修补方法
CN111310791A (zh) * 2020-01-17 2020-06-19 电子科技大学 一种基于小样本数目集的动态渐进式自动目标识别方法
CN112132092A (zh) * 2020-09-30 2020-12-25 四川弘和通讯有限公司 一种基于卷积神经网络的灭火器和灭火毯的识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170031920A1 (en) * 2015-07-31 2017-02-02 RCRDCLUB Corporation Evaluating performance of recommender system
CN106951919A (zh) * 2017-03-02 2017-07-14 浙江工业大学 一种基于对抗生成网络的流速监测实现方法
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170031920A1 (en) * 2015-07-31 2017-02-02 RCRDCLUB Corporation Evaluating performance of recommender system
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN106951919A (zh) * 2017-03-02 2017-07-14 浙江工业大学 一种基于对抗生成网络的流速监测实现方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALEC RADFORD 等: "UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS", 《ARXIV》 *
IAN J. GOODFELLOW 等: "Generative Adversarial Nets", 《ARXIV》 *
ISHAAN GULRAJANI 等: "Improved Training of Wasserstein GANs", 《ARXIV》 *
赖学方 等: "一种带有自适应惩罚权重的惩罚最小一乘估计", 《纺织高校基础科学学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596343A (zh) * 2018-03-29 2018-09-28 杭州电子科技大学 一种基于反馈调节提高生成对抗网络稳定性的方法
CN108665058A (zh) * 2018-04-11 2018-10-16 徐州工程学院 一种基于分段损失的生成对抗网络方法
CN108665058B (zh) * 2018-04-11 2021-01-05 徐州工程学院 一种基于分段损失的生成对抗网络方法
CN108615073A (zh) * 2018-04-28 2018-10-02 北京京东金融科技控股有限公司 图像处理方法及装置、计算机可读存储介质、电子设备
CN109840501A (zh) * 2019-01-31 2019-06-04 深圳市商汤科技有限公司 一种图像处理方法及装置、电子设备、存储介质
CN109840501B (zh) * 2019-01-31 2021-06-01 深圳市商汤科技有限公司 一种图像处理方法及装置、电子设备、存储介质
CN111192221A (zh) * 2020-01-07 2020-05-22 中南大学 基于深度卷积生成对抗网络的铝电解火眼图像修补方法
CN111192221B (zh) * 2020-01-07 2024-04-16 中南大学 基于深度卷积生成对抗网络的铝电解火眼图像修补方法
CN111310791A (zh) * 2020-01-17 2020-06-19 电子科技大学 一种基于小样本数目集的动态渐进式自动目标识别方法
CN112132092A (zh) * 2020-09-30 2020-12-25 四川弘和通讯有限公司 一种基于卷积神经网络的灭火器和灭火毯的识别方法

Also Published As

Publication number Publication date
CN107590532B (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN107590532A (zh) 一种基于wgan的超参数动态调整方法
CN107862377A (zh) 一种基于文本‑图像生成对抗网络模型的分组卷积方法
CN107563509A (zh) 一种基于特征返回的条件dcgan模型的动态调整算法
CN107563510A (zh) 一种基于深度卷积神经网络的wgan模型方法
CN107590518A (zh) 一种多特征学习的对抗网络训练方法
KR102346691B1 (ko) 비디오 회의에서의 배경 수정
CN113762530B (zh) 面向隐私保护的精度反馈联邦学习方法
CN107871142A (zh) 一种基于深度卷积对抗网络模型的空洞卷积方法
CN107291232A (zh) 一种基于深度学习与大数据的体感游戏交互方法及系统
CN107944358A (zh) 一种基于深度卷积对抗网络模型的人脸生成方法
CN107944546A (zh) 一种基于原始生成对抗网络模型的残差网络方法
CN107391784A (zh) 一种基于拓扑优化技术的松质骨多孔结构建模方法
CN108229508A (zh) 用于训练图像处理装置的训练装置和训练方法
CN108470196A (zh) 一种基于深度卷积对抗网络模型生成手写数字的方法
CN114019795B (zh) 一种基于强化学习的盾构掘进纠偏智能决策方法
CN108460720A (zh) 一种基于生成对抗网络模型改变图像风格的方法
CN109731291A (zh) 一种康复游戏的动态调整方法及系统
CN107992944A (zh) 一种基于原始生成对抗网络模型的多尺度卷积方法
US20220351044A1 (en) Method, apparatus and device for dynamically adjusting neural network channel
CN103403762A (zh) 图像处理装置及图像处理程序
CN102426709B (zh) 一种基于快速逆向运动学的实时运动合成方法
CN117829317A (zh) 一种基于本地模型差异的个性化联邦学习方法
CN117572772A (zh) 基于参考模型的弓网系统的自适应控制方法、装置及介质
CN104606886B (zh) 一种分布式无碰撞移动规划的方法
CN102722901B (zh) 处理图像的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant