CN107943750A - 一种基于wgan模型的分解卷积方法 - Google Patents

一种基于wgan模型的分解卷积方法 Download PDF

Info

Publication number
CN107943750A
CN107943750A CN201711122538.XA CN201711122538A CN107943750A CN 107943750 A CN107943750 A CN 107943750A CN 201711122538 A CN201711122538 A CN 201711122538A CN 107943750 A CN107943750 A CN 107943750A
Authority
CN
China
Prior art keywords
convolution
mrow
decomposition
msub
maker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711122538.XA
Other languages
English (en)
Inventor
周智恒
李立军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201711122538.XA priority Critical patent/CN107943750A/zh
Publication of CN107943750A publication Critical patent/CN107943750A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于WGAN模型的分解卷积方法，属于深度学习神经网络领域，包括以下步骤：S1、构造原始生成对抗网络模型；S2、构造沃瑟斯坦距离，作为对抗网络模型的评判指标；S3、初始化随机噪声，输入生成器中；S4、将WGAN中的卷积核分解成多个更小的卷积核进行操作；S5、将分解卷积操作得到的损失函数输入生成器进行后续训练。本方法构建的基于WGAN模型的分解卷积方法，通过分解卷积过程中所使用的卷积核，能够减小参数的规模，减小计算量，同时也能够使网络在训练的过程中学习到更多细腻的图像特征。

Description

一种基于WGAN模型的分解卷积方法
技术领域
本发明涉及深度学习神经网络技术领域，具体涉及一种基于WGAN模型的分解卷积方法。
背景技术
生成式对抗网络(Generative Adversarial Network,简称GAN)是由Goodfellow在2014年提出的深度学习框架，它基于“博奕论”的思想，构造生成器(generator)和判别器(discriminator)两种模型，前者通过输入(0，1)的均匀噪声或高斯随机噪声生成图像，后者对输入的图像进行判别，确定是来自数据集的图像还是由生成器产生的图像。
在传统的对抗网络模型中，生成器、判别器对图像的特征进行提取时，往往采用的是较大的卷积核进行提取，在这种情况下产生的参数量较多，计算量也较大。针对上述现有技术中存在的技术问题，目前亟待提出一种基于WGAN模型的分解卷积方法，将卷积过程中所使用的卷积核分解成多个较小的卷积层，减少了参数和计算量，同时能够在训练的过程中学习到图像的更多细节特征。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于WGAN模型的分解卷积方法。
本发明的目的可以通过采取如下技术方案达到：
一种基于WGAN模型的分解卷积方法，所述的分解卷积方法包括下列步骤：
S1、构造原始生成对抗网络模型，通过生成器生成图像输入至判别器进行网络训练；
S2、构造沃瑟斯坦距离，作为对抗网络模型的评判指标；
S3、初始化随机噪声，输入生成器中；
S4、将WGAN中的卷积核分解成多个更小的卷积核进行操作；
S5、将分解卷积操作得到的损失函数输入生成器进行后续训练。
进一步地，所述的步骤S4具体过程如下：
S41、将卷积层中较大的卷积核分解成多个较小的卷积核；
S42、采用已构造的卷积核，分别对生成器生成的多张图像进行卷积，从而得到多张特征图。
进一步地，所述的步骤S5具体过程如下：
S51、将多个分解的卷积层结果进行融合；
S52、将分解卷积操作得到的损失函数输入生成器进行后续训练。
进一步地，所述的损失函数的表达式为：
其中，D(x)表示判别器对图像的判别，pr表示数据集图像的分布，pg表示生成图像的分布，λ为超参数，为梯度，E为取均值的操作符号。
本发明相对于现有技术具有如下的优点及效果：
高效性：在本发明中，将卷积过程中所使用的卷积核分解成多个较小的卷积层，减少了参数和计算量，同时能够在训练的过程中学习到图像的更多细节特征。同时利用沃瑟斯坦距离作为生成对抗网络的评判指标，从而使整个模型的训练能够往正确的方向进行。
附图说明
图1是本发明中基于WGAN模型的分解卷积训练流程图；
图2是本发明中对卷积核进行分解操作的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如附图1和附图2所示，本实施例公开了一种基于WGAN模型的分解卷积方法，具体包括下列步骤：
步骤S1、构造原始生成对抗网络模型，通过生成器生成图像输入至判别器进行网络训练。
步骤S2、构造沃瑟斯坦距离，作为对抗网络模型的评判指标；
不同的卷积核，体现在矩阵数值的不同、行列数的不同。
构造多个卷积核，在处理图像的过程中，不同的卷积核意味着能够在网络训练的过程中学习到生成图像的不同特征。
在本发明所涉及到的网络模型中，利用沃瑟斯坦距离作为生成对抗网络的评判指标，从而使整个模型的训练能够往正确的方向进行。
在传统的对抗网络模型中，生成器、判别器对图像的特征进行提取时，往往采用的是较大的卷积核进行提取，在这种情况下产生的参数量较多，计算量也较大。在本发明中，将卷积过程中所使用的卷积核分解成多个较小的卷积层，减少了参数和计算量，同时能够在训练的过程中学习到图像的更多细节特征。
在实际应用中，应该根据数据集图像特征的复杂程度，设置卷积核的个数。
步骤S3、初始化随机噪声，输入生成器中。
步骤S4、将WGAN模型中的卷积核分解成多个更小的卷积核进行操作。
具体方法如下：
S41、将卷积层中较大的卷积核分解成多个较小的卷积核；
S42、采用已构造的卷积核，分别对生成器生成的多张图像进行卷积，从而得到多张特征图。
在实际应用中，应该根据数据集图像的复杂程度，分解合理数量的卷积核。
步骤S5、将分解卷积操作得到的损失函数输入生成器进行后续训练。具体过程如下：
S51、将多个分解的卷积层结果进行融合；
S52、将分解卷积操作得到的损失函数输入生成器进行后续训练。
损失函数的作用是衡量判别器对生成图像判断的能力。损失函数的值越小，说明在当前迭代中，判别器能够有较好的性能辨别生成器的生成图像；反之则说明判别器的性能较差。
损失函数的表达式为：
其中，D(x)表示判别器对图像的判别，pr表示数据集图像的分布，pg表示生成图像的分布，λ为超参数，为梯度，E为取均值的操作符号。
综上所述，本实施例公开了一种基于WGAN模型的分解卷积方法，相比于传统的原始对抗网络模型，改变了判别器接收图片后的对图像特征进行学习的方式。在传统的对抗网络模型中，生成器、判别器对图像的特征进行提取时，往往采用的是较大的卷积核进行提取，在这种情况下产生的参数量较多，计算量也较大。在本发明中，将卷积过程中所使用的卷积核分解成多个较小的卷积层，减少了参数和计算量，同时能够在训练的过程中学习到图像的更多细节特征。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于WGAN模型的分解卷积方法，其特征在于，所述的分解卷积方法包括下列步骤：
S1、构造原始生成对抗网络模型，通过生成器生成图像输入至判别器进行网络训练；
S2、构造沃瑟斯坦距离，作为对抗网络模型的评判指标；
S3、初始化随机噪声，输入生成器中；
S4、将WGAN中的卷积核分解成多个更小的卷积核进行操作；
S5、将分解卷积操作得到的损失函数输入生成器进行后续训练。
2.根据权利要求1所述的一种基于WGAN模型的分解卷积方法，其特征在于，所述的步骤S4具体过程如下：
S41、将卷积层中较大的卷积核分解成多个较小的卷积核；
S42、采用已构造的卷积核，分别对生成器生成的多张图像进行卷积，从而得到多张特征图。
3.根据权利要求1所述的一种基于WGAN模型的分解卷积方法，其特征在于，所述的步骤S5具体过程如下：
S51、将多个分解的卷积层结果进行融合；
S52、将分解卷积操作得到的损失函数输入生成器进行后续训练。
4.根据权利要求1所述的一种基于WGAN模型的分解卷积方法，其特征在于，所述的损失函数的表达式为：
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mi>D</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>p</mi> <mi>r</mi> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>p</mi> <mi>g</mi> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>&amp;lambda;E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>X</mi> </mrow> </msub> <msub> <mo>&amp;dtri;</mo> <mi>x</mi> </msub> </mrow>
其中，D(x)表示判别器对图像的判别，pr表示数据集图像的分布，pg表示生成图像的分布，λ为超参数，为梯度，E为取均值的操作符号。
CN201711122538.XA 2017-11-14 2017-11-14 一种基于wgan模型的分解卷积方法 Pending CN107943750A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711122538.XA CN107943750A (zh) 2017-11-14 2017-11-14 一种基于wgan模型的分解卷积方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711122538.XA CN107943750A (zh) 2017-11-14 2017-11-14 一种基于wgan模型的分解卷积方法

Publications (1)

Publication Number Publication Date
CN107943750A true CN107943750A (zh) 2018-04-20

Family

ID=61934067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711122538.XA Pending CN107943750A (zh) 2017-11-14 2017-11-14 一种基于wgan模型的分解卷积方法

Country Status (1)

Country Link
CN (1) CN107943750A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344879A (zh) * 2018-09-07 2019-02-15 华南理工大学 一种基于文本-图像对抗网络模型的分解卷积方法
CN109359667A (zh) * 2018-09-07 2019-02-19 华南理工大学 一种基于wgan模型的特征重标定卷积方法
WO2021022850A1 (en) * 2019-08-07 2021-02-11 Huawei Technologies Co., Ltd. Neural-network-based distance metric for use in a communication system
CN114239814A (zh) * 2022-02-25 2022-03-25 杭州研极微电子有限公司 用于图像处理的卷积神经网络模型的训练方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682736A (zh) * 2017-01-18 2017-05-17 北京小米移动软件有限公司 图像识别方法及装置
CN106778550A (zh) * 2016-11-30 2017-05-31 北京小米移动软件有限公司 一种人脸检测的方法和装置
CN106997380A (zh) * 2017-03-21 2017-08-01 北京工业大学 基于dcgan深度网络的成像光谱图像安全检索方法
CN107103590A (zh) * 2017-03-22 2017-08-29 华南理工大学 一种基于深度卷积对抗生成网络的图像反射去除方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778550A (zh) * 2016-11-30 2017-05-31 北京小米移动软件有限公司 一种人脸检测的方法和装置
CN106682736A (zh) * 2017-01-18 2017-05-17 北京小米移动软件有限公司 图像识别方法及装置
CN106997380A (zh) * 2017-03-21 2017-08-01 北京工业大学 基于dcgan深度网络的成像光谱图像安全检索方法
CN107103590A (zh) * 2017-03-22 2017-08-29 华南理工大学 一种基于深度卷积对抗生成网络的图像反射去除方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN SZEGEDY: "Rethinking the Inception Architecture for Computer Vision", 《CHRISTIAN SZEGEDY》 *
ISHAAN GULRAJANI ET AL: "Improved Training of Wasserstein GANs", 《MARCHINE LEARNING》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344879A (zh) * 2018-09-07 2019-02-15 华南理工大学 一种基于文本-图像对抗网络模型的分解卷积方法
CN109359667A (zh) * 2018-09-07 2019-02-19 华南理工大学 一种基于wgan模型的特征重标定卷积方法
WO2021022850A1 (en) * 2019-08-07 2021-02-11 Huawei Technologies Co., Ltd. Neural-network-based distance metric for use in a communication system
US10979202B2 (en) 2019-08-07 2021-04-13 Huawei Technologies Co. Ltd. Neural-network-based distance metric for use in a communication system
CN114239814A (zh) * 2022-02-25 2022-03-25 杭州研极微电子有限公司 用于图像处理的卷积神经网络模型的训练方法

Similar Documents

Publication Publication Date Title
CN107066583B (zh) 一种基于紧凑双线性融合的图文跨模态情感分类方法
CN107862377A (zh) 一种基于文本‑图像生成对抗网络模型的分组卷积方法
CN107944358A (zh) 一种基于深度卷积对抗网络模型的人脸生成方法
CN107943750A (zh) 一种基于wgan模型的分解卷积方法
CN109544442B (zh) 基于双重对抗的生成式对抗网络的图像局部风格迁移方法
CN107871142A (zh) 一种基于深度卷积对抗网络模型的空洞卷积方法
CN107886169A (zh) 一种基于文本‑图像生成对抗网络模型的多尺度卷积核方法
CN107590518A (zh) 一种多特征学习的对抗网络训练方法
Kurin et al. The atari grand challenge dataset
CN108921123A (zh) 一种基于双重数据增强的人脸识别方法
CN107689034A (zh) 一种神经网络的训练方法、去噪方法及装置
CN108009568A (zh) 一种基于wgan模型的行人检测方法
CN107944546A (zh) 一种基于原始生成对抗网络模型的残差网络方法
CN107993238A (zh) 一种基于注意力模型的头肩部分图像分割方法及装置
CN108073876A (zh) 面部解析设备和面部解析方法
CN107886162A (zh) 一种基于wgan模型的可变形卷积核方法
CN109191409A (zh) 图像处理、网络训练方法、装置、电子设备和存储介质
Zhang et al. Bionic face sketch generator
CN107169527A (zh) 基于协同深度学习的医学图像分类方法
CN108021979A (zh) 一种基于原始生成对抗网络模型的特征重标定卷积方法
CN109344879A (zh) 一种基于文本-图像对抗网络模型的分解卷积方法
CN106203628A (zh) 一种增强深度学习算法鲁棒性的优化方法和系统
CN107992944A (zh) 一种基于原始生成对抗网络模型的多尺度卷积方法
CN107967497A (zh) 基于卷积神经网络和极限学习机的手写体识别方法
CN106339984A (zh) 基于k均值驱动卷积神经网络的分布式图像超分辨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420

RJ01 Rejection of invention patent application after publication