CN107862377A - 一种基于文本‑图像生成对抗网络模型的分组卷积方法 - Google Patents

一种基于文本‑图像生成对抗网络模型的分组卷积方法 Download PDF

Info

Publication number
CN107862377A
CN107862377A CN201711122564.2A CN201711122564A CN107862377A CN 107862377 A CN107862377 A CN 107862377A CN 201711122564 A CN201711122564 A CN 201711122564A CN 107862377 A CN107862377 A CN 107862377A
Authority
CN
China
Prior art keywords
mrow
convolution
network model
text
confrontation network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711122564.2A
Other languages
English (en)
Inventor
周智恒
李立军
黄俊楚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201711122564.2A priority Critical patent/CN107862377A/zh
Publication of CN107862377A publication Critical patent/CN107862377A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于文本‑图像生成对抗网络模型的分组卷积方法，属于深度学习神经网络领域，包括以下步骤：S1、构造文本‑图像生成对抗网络模型；S2、利用深度卷积神经网络充当生成器、判别器的功能；S3、对文本进行编码之后与随机噪声结合，输入至生成器中；S4、将卷积层分组，使卷积操作在多个GPU上同时进行；S5、将各个分组得到的特征图进行融合，更新损失函数，进行后续训练。本方法构建的文本‑图像生成对抗网络模型，改变了判别器、生成器接收图片后的卷积方式，对卷积进行了分组，使其在多个GPU中同时进行，最后将卷积的结果进行融合，从而大大地减少了参数量，提高了整个网络训练的效率。

Description

一种基于文本-图像生成对抗网络模型的分组卷积方法
技术领域
本发明涉及深度学习神经网络技术领域，具体涉及一种基于文本-图像生成对抗网络模型的分组卷积方法。
背景技术
生成式对抗网络(Generative Adversarial Network,简称GAN)是由Goodfellow在2014年提出的深度学习框架，它基于“博奕论”的思想，构造生成器(generator)和判别器(discriminator)两种模型，前者通过输入(0，1)的均匀噪声或高斯随机噪声生成图像，后者对输入的图像进行判别，确定是来自数据集的图像还是由生成器产生的图像。
在传统的对抗网络模型中，判别器和生成器对图像进行卷积的操作，都是在同一个GPU上进行的。在这种情况下，整个网络训练所需要的参数规模是巨大的，每次更新参数需要耗费大量的时间，训练的效率较为低下，而本方法采用分组卷积的方式，将卷积的操作在多个GPU上同时进行，最终将各个分组卷积的结果进行融合，从而提高了整个网络训练的效率。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，构建了一种基于文本-图像生成对抗网络模型的分组卷积方法。
本发明的目的可以通过采取如下技术方案达到：
一种基于文本-图像生成对抗网络模型的分组卷积方法，所述的分组卷积方法包括下列步骤：
S1、构造文本-图像生成对抗网络模型，生成器通过生成图像输入至判别器进行网络训练；
S2、利用深度卷积神经网络充当生成器、判别器的功能；
在本发明所涉及到的网络模型中，相对于传统的生成对抗网络模型，多了对于文本内容的编码操作，从而使整个网络能够生成符合文本描述内容的图像。
S3、对文本进行编码之后与随机噪声结合，输入至生成器中；
S4、将卷积层分组，使卷积操作在多个GPU上同时进行；
S5、将各个分组得到的特征图进行融合，更新损失函数，进行后续训练。
进一步地，所述的步骤S2具体如下：
构造多个卷积核，不同的卷积核，代表着在学习的过程中，能够学习到不同的图像特征。
进一步地，所述的步骤S4中将卷积层分组，使卷积操作在多个GPU上同时进行，具体过程如下：
S41、设定卷积的分组数量为N；
S42、将卷积操作分配到N个GPU上同时进行。
进一步地，所述的步骤S5中，将各个分组得到的特征图进行融合，更新损失函数，进行后续训练。具体过程如下：
S51、对S4中卷积之后的特征图，输入判别器进行判别；
S52、将各个分组得到的特征图进行融合，更新损失函数，进行后续训练；
S53、将所有损失函数的均值输入至生成器中继续进行训练。
进一步地，所述的损失函数的表达式为：
其中，D(x)表示判别器对图像的判别，pr表示数据集图像的分布，pg表示生成图像的分布，λ为超参数，为梯度，E为取均值的操作符号。
本发明相对于现有技术具有如下的优点及效果：
高效性：本发明根据分组卷积的操作过程，采用分组卷积的方式，将卷积的操作在多个GPU上同时进行，大大减少了网络训练所需要的参数量，最终将各个分组卷积的结果进行融合，从而提高了整个网络训练的效率。
附图说明
图1是本发明中公开的一种基于文本-图像生成对抗网络模型的分组卷积方法的训练流程图；
图2是本发明中将卷积层分组进行卷积的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
本实施例公开了一种基于文本-图像生成对抗网络模型的分组卷积方法，具体包括下列步骤：
步骤S1、构造文本-图像生成对抗网络模型，生成器通过生成图像输入至判别器进行网络训练。
步骤S2、利用深度卷积神经网络充当生成器、判别器的功能；
不同的卷积核，体现在矩阵数值的不同、行列数的不同。
构造多个卷积核，在处理图像的过程中，不同的卷积核意味着能够在网络训练的过程中学习到生成图像的不同特征。
在本发明所涉及到的网络模型中，相对于传统的生成对抗网络模型，多了对于文本内容的编码操作，从而使整个网络能够生成符合文本描述内容的图像。
在传统的对抗网络模型中，判别器和生成器对图像进行卷积的操作，都是在同一个GPU上进行的。在这种情况下，整个网络训练所需要的参数规模是巨大的，每次更新参数需要耗费大量的时间，训练的效率较为低下，而本方法采用分组卷积的方式，将卷积的操作在多个GPU上同时进行，最终将各个分组卷积的结果进行融合，从而提高了整个网络训练的效率。
在实际应用中，应该根据数据集图像特征的复杂程度，设置卷积核的个数。
步骤S3、对文本进行编码之后与随机噪声结合，输入至生成器中。
步骤S4、将卷积层分组，使卷积操作在多个GPU上同时进行。
具体方法如下：
S41、设定卷积的分组数量为N；
S42、采用已构造的卷积核，分别对生成器生成的多张图像进行卷积，从而得到多张特征图。
在实际应用中，应该根据数据集图像的复杂程度，合理地设定GPU的分组数量。
步骤S5、将各个分组得到的特征图进行融合，更新损失函数，进行后续训练。具体过程如下：
S51、将步骤S4中卷积之后的特征图，输入判别器进行判别；
S52、将各个分组得到的特征图进行融合，更新损失函数，进行后续训练。
S53、将所有损失函数的均值输入至生成器中继续进行训练。
损失函数的作用是衡量判别器对生成图像判断的能力。损失函数的值越小，说明在当前迭代中，判别器能够有较好的性能辨别生成器的生成图像；反之则说明判别器的性能较差。
损失函数的表达式为：
其中，D(x)表示判别器对图像的判别，pr表示数据集图像的分布，pg表示生成图像的分布，λ为超参数，为梯度。
综上所述，本实施例公开了一种基于文本-图像生成对抗网络模型的分组卷积方法，相比于传统的原始对抗网络模型，改变了判别器接收图片后的对图像特征进行学习的方式。在传统的对抗网络模型中，判别器和生成器对图像进行卷积的操作，都是在同一个GPU上进行的。在这种情况下，整个网络训练所需要的参数规模是巨大的，每次更新参数需要耗费大量的时间，训练的效率较为低下，而本方法采用分组卷积的方式，将卷积的操作在多个GPU上同时进行，最终将各个分组卷积的结果进行融合，从而提高了整个网络训练的效率。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于文本-图像生成对抗网络模型的分组卷积方法，其特征在于，所述的分组卷积方法包括下列步骤：
S1、构造文本-图像生成对抗网络模型，生成器通过生成图像输入至判别器进行网络训练；
S2、利用深度卷积神经网络充当生成器、判别器的功能；
S3、对文本进行编码之后与随机噪声结合，输入至生成器中；
S4、将卷积层分组，使卷积操作在多个GPU上同时进行；
S5、将各个分组得到的特征图进行融合，更新损失函数，进行后续训练。
2.根据权利要求1所述的一种基于文本-图像生成对抗网络模型的分组卷积方法，其特征在于，所述的步骤S4具体过程如下：
S41、设定卷积的分组数量为N；
S42、将卷积操作分配到N个GPU上同时进行。
3.根据权利要求1所述的一种基于文本-图像生成对抗网络模型的分组卷积方法，其特征在于，所述的步骤S5具体过程如下：
S51、收集N个GPU卷积之后所得到的特征图；
S52、将各个分组得到的特征图进行融合，更新损失函数，进行后续训练；
S53、将所有损失函数的均值输入至生成器中继续进行训练。
4.根据权利要求1所述的一种基于文本-图像生成对抗网络模型的分组卷积方法，其特征在于，
所述的损失函数的表达式为：
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mi>D</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>p</mi> <mi>r</mi> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>p</mi> <mi>g</mi> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>&amp;lambda;E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>X</mi> </mrow> </msub> <msub> <mo>&amp;dtri;</mo> <mi>x</mi> </msub> </mrow>
其中，D(x)表示判别器对图像的判别，pr表示数据集图像的分布，pg表示生成图像的分布，λ为超参数，为梯度，E为取均值的操作符号。
CN201711122564.2A 2017-11-14 2017-11-14 一种基于文本‑图像生成对抗网络模型的分组卷积方法 Pending CN107862377A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711122564.2A CN107862377A (zh) 2017-11-14 2017-11-14 一种基于文本‑图像生成对抗网络模型的分组卷积方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711122564.2A CN107862377A (zh) 2017-11-14 2017-11-14 一种基于文本‑图像生成对抗网络模型的分组卷积方法

Publications (1)

Publication Number Publication Date
CN107862377A true CN107862377A (zh) 2018-03-30

Family

ID=61700328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711122564.2A Pending CN107862377A (zh) 2017-11-14 2017-11-14 一种基于文本‑图像生成对抗网络模型的分组卷积方法

Country Status (1)

Country Link
CN (1) CN107862377A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470208A (zh) * 2018-02-01 2018-08-31 华南理工大学 一种基于原始生成对抗网络模型的分组卷积方法
CN109146989A (zh) * 2018-07-10 2019-01-04 华南理工大学 一种通过搭建神经网络生成花鸟艺术字图像的方法
CN109344879A (zh) * 2018-09-07 2019-02-15 华南理工大学 一种基于文本-图像对抗网络模型的分解卷积方法
CN109658369A (zh) * 2018-11-22 2019-04-19 中国科学院计算技术研究所 视频智能生成方法及装置
CN109671125A (zh) * 2018-12-17 2019-04-23 电子科技大学 一种高度融合的gan网络模型及实现文本生成图像的方法
CN109902723A (zh) * 2019-01-31 2019-06-18 北京市商汤科技开发有限公司 图像处理方法及装置
CN110211069A (zh) * 2019-06-03 2019-09-06 广东工业大学 一种图像去噪模型及训练方法、系统、设备、计算机介质
CN110751698A (zh) * 2019-09-27 2020-02-04 太原理工大学 一种基于混和网络模型的文本到图像的生成方法
CN112070145A (zh) * 2020-09-04 2020-12-11 北京工商大学 基于对抗网络的水果图像的新鲜度属性迁移方法
CN112364946A (zh) * 2021-01-13 2021-02-12 长沙海信智能系统研究院有限公司 图像确定模型的训练方法、图像确定的方法、装置和设备
CN112733835A (zh) * 2021-03-31 2021-04-30 杭州科技职业技术学院 基于原图像和动态信息融合的息屏画面生成方法
CN112818646A (zh) * 2021-02-26 2021-05-18 南京邮电大学 基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法
CN112966760A (zh) * 2021-03-15 2021-06-15 清华大学 融合文本和图像数据的神经网络及其建筑结构的设计方法
CN113140019A (zh) * 2021-05-13 2021-07-20 电子科技大学 一种基于融合弥补生成对抗网络的文本生成图像的方法
CN113674383A (zh) * 2020-05-15 2021-11-19 华为技术有限公司 生成文本图像的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997380A (zh) * 2017-03-21 2017-08-01 北京工业大学 基于dcgan深度网络的成像光谱图像安全检索方法
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
WO2017155602A1 (en) * 2016-03-11 2017-09-14 Qualcomm Incorporated Systems and methods for normalizing an image
CN107330364A (zh) * 2017-05-27 2017-11-07 上海交通大学 一种基于cGAN网络的人群计数方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017155602A1 (en) * 2016-03-11 2017-09-14 Qualcomm Incorporated Systems and methods for normalizing an image
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN106997380A (zh) * 2017-03-21 2017-08-01 北京工业大学 基于dcgan深度网络的成像光谱图像安全检索方法
CN107330364A (zh) * 2017-05-27 2017-11-07 上海交通大学 一种基于cGAN网络的人群计数方法及系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
ALEC RADFORD ET AL.: "UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS", 《MARCHINE LEARNING》 *
ANDREW BROCK ET AL.: "NEURAL PHOTO EDITING WITH INTROSPECTIVE ADVERSARIAL NETWORKS", 《MARCHINE LEARNING》 *
ISHAAN GULRAJANI ET AL.: "Improved Training of Wasserstein GANs", 《MARCHINE LEARNING》 *
SCOTT REED等: "Generative Adversarial Text to Image Synthesis", 《PROCEEDINGS OF THE 33 RD INTERNATIONAL CONFERENCE ON MACHINE LEARNING》 *
徐一峰: "生成对抗网络理论模型和应用综述", 《金华职业技术学院学报》 *
王坤峰等: "生成式对抗网络GAN的研究进展与展望", 《自动化学报》 *
王裕民: "多GPU环境下的卷积神经网络并行算法", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470208A (zh) * 2018-02-01 2018-08-31 华南理工大学 一种基于原始生成对抗网络模型的分组卷积方法
CN109146989A (zh) * 2018-07-10 2019-01-04 华南理工大学 一种通过搭建神经网络生成花鸟艺术字图像的方法
CN109146989B (zh) * 2018-07-10 2023-02-14 华南理工大学 一种通过搭建神经网络生成花鸟艺术字图像的方法
CN109344879A (zh) * 2018-09-07 2019-02-15 华南理工大学 一种基于文本-图像对抗网络模型的分解卷积方法
CN109658369A (zh) * 2018-11-22 2019-04-19 中国科学院计算技术研究所 视频智能生成方法及装置
CN109671125A (zh) * 2018-12-17 2019-04-23 电子科技大学 一种高度融合的gan网络模型及实现文本生成图像的方法
CN109902723A (zh) * 2019-01-31 2019-06-18 北京市商汤科技开发有限公司 图像处理方法及装置
CN110211069B (zh) * 2019-06-03 2021-09-03 广东工业大学 一种图像去噪模型训练方法、系统、设备、计算机介质
CN110211069A (zh) * 2019-06-03 2019-09-06 广东工业大学 一种图像去噪模型及训练方法、系统、设备、计算机介质
CN110751698A (zh) * 2019-09-27 2020-02-04 太原理工大学 一种基于混和网络模型的文本到图像的生成方法
CN110751698B (zh) * 2019-09-27 2022-05-17 太原理工大学 一种基于混和网络模型的文本到图像的生成方法
CN113674383A (zh) * 2020-05-15 2021-11-19 华为技术有限公司 生成文本图像的方法及装置
CN112070145A (zh) * 2020-09-04 2020-12-11 北京工商大学 基于对抗网络的水果图像的新鲜度属性迁移方法
CN112070145B (zh) * 2020-09-04 2024-05-28 世纪易联(北京)科技有限公司 基于对抗网络的水果图像的新鲜度属性迁移方法
CN112364946B (zh) * 2021-01-13 2021-05-28 长沙海信智能系统研究院有限公司 图像确定模型的训练方法、图像确定的方法、装置和设备
CN112364946A (zh) * 2021-01-13 2021-02-12 长沙海信智能系统研究院有限公司 图像确定模型的训练方法、图像确定的方法、装置和设备
CN112818646B (zh) * 2021-02-26 2023-07-14 南京邮电大学 基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法
CN112818646A (zh) * 2021-02-26 2021-05-18 南京邮电大学 基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法
CN112966760A (zh) * 2021-03-15 2021-06-15 清华大学 融合文本和图像数据的神经网络及其建筑结构的设计方法
CN112733835A (zh) * 2021-03-31 2021-04-30 杭州科技职业技术学院 基于原图像和动态信息融合的息屏画面生成方法
CN112733835B (zh) * 2021-03-31 2021-06-22 杭州科技职业技术学院 基于原图像和动态信息融合的息屏画面生成方法
CN113140019B (zh) * 2021-05-13 2022-05-31 电子科技大学 一种基于融合弥补生成对抗网络的文本生成图像的方法
CN113140019A (zh) * 2021-05-13 2021-07-20 电子科技大学 一种基于融合弥补生成对抗网络的文本生成图像的方法

Similar Documents

Publication Publication Date Title
CN107862377A (zh) 一种基于文本‑图像生成对抗网络模型的分组卷积方法
CN107886169A (zh) 一种基于文本‑图像生成对抗网络模型的多尺度卷积核方法
CN107590518A (zh) 一种多特征学习的对抗网络训练方法
CN107871142A (zh) 一种基于深度卷积对抗网络模型的空洞卷积方法
CN107590531A (zh) 一种基于文本生成的wgan方法
CN107944358A (zh) 一种基于深度卷积对抗网络模型的人脸生成方法
CN107563493A (zh) 一种多生成器卷积合成图像的对抗网络算法
CN113469356B (zh) 一种基于迁移学习的改进vgg16网络猪的身份识别方法
CN108961245A (zh) 基于双通道深度并行卷积网络的图像质量分类方法
CN107506722A (zh) 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN108021979A (zh) 一种基于原始生成对抗网络模型的特征重标定卷积方法
CN107944546A (zh) 一种基于原始生成对抗网络模型的残差网络方法
CN106686472A (zh) 一种基于深度学习的高帧率视频生成方法及系统
CN107092960A (zh) 一种改进的并行通道卷积神经网络训练方法
CN108460720A (zh) 一种基于生成对抗网络模型改变图像风格的方法
CN110363716A (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN107705242A (zh) 一种结合深度学习与深度感知的图像风格化迁移方法
CN106485324A (zh) 一种卷积神经网络优化方法
CN107679522A (zh) 基于多流lstm的动作识别方法
CN107689034A (zh) 一种神经网络的训练方法、去噪方法及装置
CN107992944A (zh) 一种基于原始生成对抗网络模型的多尺度卷积方法
CN107016406A (zh) 基于生成式对抗网络的病虫害图像生成方法
CN102902847B (zh) 基于组合图元的输电网单线图自动设计方法
CN109360159A (zh) 一种基于生成对抗网络模型的图像补全方法
CN107909206A (zh) 一种基于深层结构循环神经网络的pm2.5预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180330

RJ01 Rejection of invention patent application after publication