CN108038818A - 一种基于多重循环一致性的生成对抗式网络图像风格转移方法 - Google Patents

一种基于多重循环一致性的生成对抗式网络图像风格转移方法 Download PDF

Info

Publication number
CN108038818A
CN108038818A CN201711274984.2A CN201711274984A CN108038818A CN 108038818 A CN108038818 A CN 108038818A CN 201711274984 A CN201711274984 A CN 201711274984A CN 108038818 A CN108038818 A CN 108038818A
Authority
CN
China
Prior art keywords
image
wave filter
length
style
convolution kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711274984.2A
Other languages
English (en)
Inventor
漆进
张通
胡顺达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201711274984.2A priority Critical patent/CN108038818A/zh
Publication of CN108038818A publication Critical patent/CN108038818A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理、计算机视觉、深度学习领域,具体为一种基于多重循环一致性的生成对抗式网络图像风格转移方法。该方法包括:基于卷积神经网络和残差连接的生成器、判别器,基于多重循环一致性和生成对抗式网络的损失函数训练,实现了照片等内容图像到工笔画等风格图像的映射。本发明能够有效地解决涵盖几何变化的图像风格转移任务,另外,该方法不仅不需要一一对应的配对数据集,而且可以同时学习内容图片到风格图片的映射和风格图片到内容图片的映射。

Description

一种基于多重循环一致性的生成对抗式网络图像风格转移 方法
技术领域
本发明属于图像处理,计算机视觉,深度学习领域,具体为一种基于多重循环一致性的生成对抗式网络图像风格转移方法。
背景技术
近年来,随着深度学习的进步,图像风格转移技术也有了重要的发展。2016年,Leon A.Gatys发表了论文“Image Style Transfer Using Convolutional NeuralNetworks”,利用深度学习算法来进行图像风格转移,其背后的原理是利用卷积神经网络对不同尺度下的内容特征和风格特征进行分离,从而使图像风格转移变得简单可行。2017年,Jun-Yan Zhu发表了论文“Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks”,利用循环一致性和生成对抗式网络进行图像到图像的映射学习,该方法不仅不需要一一对应的配对数据集,而且可以同时学习内容图片到风格图片的映射和风格图片到内容图片的映射。在涉及颜色和纹理变化的风格转移任务中,这些方法通常能取得较好的效果,但是面对涵盖几何变化的任务时,这些方法往往结果很差,比如将照片转化成国画、山水画、工笔画等风格的图片。当前亟待解决的问题是找到一种图像风格转移的普适性方法。
发明内容
针对上述存在问题或不足,本发明将CycleGAN中的循环一致性扩展为多重循环一致性,在内容图片和风格图片的映射路径上加入素描图片的中间映射,能够有效地解决涵盖几何变化的图像风格转移任务。
本发明采用的技术方案是:
(1)基于残差块的生成器。
(2)基于卷积神经网络的判别器。
(3)基于多重循环一致性和生成对抗式网络的损失函数训练。
(4)使用(3)训练的深度神经网络,由照片图像生成风格图像,或者由风格图像生成照片图像。
所述步骤(1)中的生成器网络具体包括:
(11)生成器的输入图像依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层,InstanceNorm层,ReLu激活层。
(12)将(11)的输出特征依次通过卷积核大小为3、步长为2、滤波器数量为64的卷积层,InstanceNorm层,ReLu激活层。
(13)将(12)的输出特征依次通过卷积核大小为3、步长为2、滤波器数量为128的卷积层,InstanceNorm层,ReLu激活层。
(14)将(13)的输出特征依次通过6个卷积核大小为3、步长为1、滤波器数量为128的残差块。
(15)将(14)的输出特征依次通过卷积核大小为3、步长为1/2、滤波器数量为64的卷积层,InstanceNorm层,ReLu激活层。
(16)将(15)的输出特征依次通过卷积核大小为3、步长为1/2、滤波器数量为32的卷积层,InstanceNorm层,ReLu激活层。
(17)将(16)的输出特征依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层,InstanceNorm层,ReLu激活层。
所述步骤(2)中的判别器网络具体包括:
(21)判别器的输入特征依次通过卷积核大小为4、步长为2、滤波器数量为64的卷积层,LeakyReLu激活层。
(22)将(21)的输出特征依次通过卷积核大小为4、步长为2、滤波器数量为128的卷积层,InstanceNorm层,LeakyReLu激活层。
(23)将(22)的输出特征依次通过卷积核大小为4、步长为2、滤波器数量为256的卷积层,InstanceNorm层,LeakyReLu激活层。
(24)将(23)的输出特征依次通过卷积核大小为4、步长为2、滤波器数量为512的卷积层,InstanceNorm层,LeakyReLu激活层。
(25)将(24)的输出特征展平,通过softmax函数将网络输出归一化。
所述步骤(3)中的基于多重循环一致性和生成对抗式网络的损失函数训练具体包括:
(31)输入图像包括三个集合其中X为照片图像集合,Z为素描图像集合,Y为风格图像集合。网络包括四个生成器G1:X→Z,G2:Z→Y,F1:Z→X,F2:Y→Z和三个判别器DX,DY,DZ
(32)使用随机梯度下降法进行训练,采用对抗损失和循环一致性损失构成的复合损失函数,计算公式如下:
L(G1,F1,G2,F2,X,Y,Z)=LGAN(G1,DZ,X,Z)
+LGAN(G2,DY,Z,Y)
+LGAN(F2,DZ,Y,Z)
+LGAN(F1,DX,Z,X)
1Lcyc(G1,F1)
1Lcyc(G2,F2)
2Lcyc(G1,F1,G2,F2)
所述步骤(4)中的风格转移具体包括:
(41)由照片图像生成风格图像:X→Z→Y,即先由照片图像生成素描图像,再由素描图像生成风格图像。
(42)由风格图像生成照片图像:Y→Z→X,即先由风格图像生成素描图像,再由素描图像生成照片图像。
本发明的有益效果是:
本发明将CycleGAN中的循环一致性扩展为多重循环一致性,在内容图片和风格图片的映射路径上加入素描图片的中间映射,能够有效地解决涵盖几何变化的图像风格转移任务。另外,该方法不仅不需要一一对应的配对数据集,而且可以同时学习内容图片到风格图片的映射和风格图片到内容图片的映射。
附图说明
图1是多重循环一致性的生成对抗式网络的结构图
图2是实施例的照片图像
图3是实施例的工笔画风格转移图像
具体实施方式
以下将结合附图对本发明进行详细描述。
本发明公开了一种基于多重循环一致性的生成对抗式网络图像风格转移方法,具体实施步骤包括:
(1)基于残差块的生成器。
(2)基于卷积神经网络的判别器。
(3)基于多重循环一致性和生成对抗式网络的损失函数训练,其结构如图1所示。
(4)使用(3)训练的深度神经网络,由照片图像生成风格图像,或者由风格图像生成照片图像。
所述步骤(1)中的生成器网络具体包括:
(11)生成器的输入图像依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层,InstanceNorm层,ReLu激活层。
(12)将(11)的输出特征依次通过卷积核大小为3、步长为2、滤波器数量为64的卷积层,InstanceNorm层,ReLu激活层。
(13)将(12)的输出特征依次通过卷积核大小为3、步长为2、滤波器数量为128的卷积层,InstanceNorm层,ReLu激活层。
(14)将(13)的输出特征依次通过6个卷积核大小为3、步长为1、滤波器数量为128的残差块。
(15)将(14)的输出特征依次通过卷积核大小为3、步长为1/2、滤波器数量为64的卷积层,InstanceNorm层,ReLu激活层。
(16)将(15)的输出特征依次通过卷积核大小为3、步长为1/2、滤波器数量为32的卷积层,InstanceNorm层,ReLu激活层。
(17)将(16)的输出特征依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层,InstanceNorm层,ReLu激活层。
所述步骤(2)中的判别器网络具体包括:
(21)判别器的输入特征依次通过卷积核大小为4、步长为2、滤波器数量为64的卷积层,LeakyReLu激活层。
(22)将(21)的输出特征依次通过卷积核大小为4、步长为2、滤波器数量为128的卷积层,InstanceNorm层,LeakyReLu激活层。
(23)将(22)的输出特征依次通过卷积核大小为4、步长为2、滤波器数量为256的卷积层,InstanceNorm层,LeakyReLu激活层。
(24)将(23)的输出特征依次通过卷积核大小为4、步长为2、滤波器数量为512的卷积层,InstanceNorm层,LeakyReLu激活层。
(25)将(24)的输出特征展平,通过softmax函数将网络输出归一化。
所述步骤(3)中的基于多重循环一致性和生成对抗式网络的损失函数训练具体包括:
(31)输入图像包括三个集合其中X为照片图像集合,Z为素描图像集合,Y为风格图像集合。网络包括四个生成器G1:X→Z,G2:Z→Y,F1:Z→X,F2:Y→Z和三个判别器DX,DY,DZ
(32)使用随机梯度下降法进行训练,采用对抗损失和循环一致性损失构成的复合损失函数,计算公式如下:
L(G1,F1,G2,F2,X,Y,Z)=LGAN(G1,DZ,X,Z)
+LGAN(G2,DY,Z,Y)
+LGAN(F2,DZ,Y,Z)
+LGAN(F1,DX,Z,X)
1Lcyc(G1,F1)
1Lcyc(G2,F2)
2Lcyc(G1,F1,G2,F2)
所述步骤(4)中的风格转移具体包括:
(41)由照片图像生成风格图像:X→Z→Y,即先由照片图像生成素描图像,再由素描图像生成风格图像。
(42)由风格图像生成照片图像:Y→Z→X,即先由风格图像生成素描图像,再由素描图像生成照片图像。
照片图像如图2所示,产生的工笔画风格转移图像如图3所示。实验结果表明,本发明能够有效地实现图像风格转移,尤其是解决了涵盖几何变化的图像风格转移任务。

Claims (5)

1.一种基于多重循环一致性的生成对抗式网络图像风格转移方法,其特征在于,所述方法包括:
(1)基于残差块的生成器;
(2)基于卷积神经网络的判别器;
(3)基于多重循环一致性和生成对抗式网络的损失函数训练;
(4)使用(3)训练的深度神经网络,由照片图像生成风格图像,或者由风格图像生成照片图像。
2.根据权利要求1所述的方法,其特征在于,所述步骤(1)中具体包括:
(11)生成器的输入图像依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层,InstanceNorm层,ReLu激活层;
(12)将(11)的输出特征依次通过卷积核大小为3、步长为2、滤波器数量为64的卷积层,InstanceNorm层,ReLu激活层;
(13)将(12)的输出特征依次通过卷积核大小为3、步长为2、滤波器数量为128的卷积层,InstanceNorm层,ReLu激活层;
(14)将(13)的输出特征依次通过6个卷积核大小为3、步长为1、滤波器数量为128的残差块;
(15)将(14)的输出特征依次通过卷积核大小为3、步长为1/2、滤波器数量为64的卷积层,InstanceNorm层,ReLu激活层;
(16)将(15)的输出特征依次通过卷积核大小为3、步长为1/2、滤波器数量为32的卷积层,InstanceNorm层,ReLu激活层;
(17)将(16)的输出特征依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层,InstanceNorm层,ReLu激活层。
3.根据权利要求1所述的方法,其特征在于,所述步骤(2)中具体包括:
(21)判别器的输入特征依次通过卷积核大小为4、步长为2、滤波器数量为64的卷积层,LeakyReLu激活层;
(22)将(21)的输出特征依次通过卷积核大小为4、步长为2、滤波器数量为128的卷积层,InstanceNorm层,LeakyReLu激活层;
(23)将(22)的输出特征依次通过卷积核大小为4、步长为2、滤波器数量为256的卷积层,InstanceNorm层,LeakyReLu激活层;
(24)将(23)的输出特征依次通过卷积核大小为4、步长为2、滤波器数量为512的卷积层,InstanceNorm层,LeakyReLu激活层;
(25)将(24)的输出特征展平,通过softmax函数将网络输出归一化。
4.根据权利要求1所述的方法,其特征在于,所述步骤(3)中具体包括:
(31)输入图像包括三个集合其中X为照片图像集合,Z为素描图像集合,Y为风格图像集合,网络包括四个生成器G1:X→Z,G2:Z→Y,F1:Z→X,F2:Y→Z和三个判别器DX,DY,DZ
(32)使用随机梯度下降法进行训练,采用对抗损失和循环一致性损失构成的复合损失函数,计算公式如下:
L(G1,F1,G2,F2,X,Y,Z)=LGAN(G1,DZ,X,Z)
+LGAN(G2,DY,Z,Y)
+LGAN(F2,DZ,Y,Z)
+LGAN(F1,DX,Z,X)
1Lcyc(G1,F1)
1Lcyc(G2,F2)
2Lcyc(G1,F1,G2,F2)。
5.根据权利要求1所述的方法,其特征在于,所述步骤(4)中具体包括:
(41)由照片图像生成风格图像:X→Z→Y,即先由照片图像生成素描图像,再由素描图像生成风格图像;
(42)由风格图像生成照片图像:Y→Z→X,即先由风格图像生成素描图像,再由素描图像生成照片图像。
CN201711274984.2A 2017-12-06 2017-12-06 一种基于多重循环一致性的生成对抗式网络图像风格转移方法 Pending CN108038818A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711274984.2A CN108038818A (zh) 2017-12-06 2017-12-06 一种基于多重循环一致性的生成对抗式网络图像风格转移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711274984.2A CN108038818A (zh) 2017-12-06 2017-12-06 一种基于多重循环一致性的生成对抗式网络图像风格转移方法

Publications (1)

Publication Number Publication Date
CN108038818A true CN108038818A (zh) 2018-05-15

Family

ID=62095409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711274984.2A Pending CN108038818A (zh) 2017-12-06 2017-12-06 一种基于多重循环一致性的生成对抗式网络图像风格转移方法

Country Status (1)

Country Link
CN (1) CN108038818A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108711137A (zh) * 2018-05-18 2018-10-26 西安交通大学 一种基于深度卷积神经网络的图像色彩表达模式迁移方法
CN109190620A (zh) * 2018-09-03 2019-01-11 苏州科达科技股份有限公司 车牌样本生成方法、系统、设备及存储介质
CN109410148A (zh) * 2018-11-06 2019-03-01 电子科技大学 一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法
CN109408776A (zh) * 2018-10-09 2019-03-01 西华大学 一种基于生成式对抗网络的书法字体自动生成算法
CN109584325A (zh) * 2018-10-30 2019-04-05 河北科技大学 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法
CN110097604A (zh) * 2019-05-09 2019-08-06 杭州筑象数字科技有限公司 图像颜色风格转移方法
CN110197517A (zh) * 2019-06-11 2019-09-03 常熟理工学院 基于多域循环一致性对抗生成网络的sar图像上色方法
CN110428476A (zh) * 2019-07-05 2019-11-08 广东省人民医院(广东省医学科学院) 一种基于多循环生成式对抗网络的图像转换方法及装置
CN110533580A (zh) * 2019-08-08 2019-12-03 西安交通大学 一种基于对抗生成神经网络的图像风格迁移方法
CN111144361A (zh) * 2019-12-31 2020-05-12 合肥湛达智能科技有限公司 一种基于二值化cgan网络的公路车道检测方法
CN111161137A (zh) * 2019-12-31 2020-05-15 四川大学 一种基于神经网络的多风格国画花生成方法
CN112288622A (zh) * 2020-10-29 2021-01-29 中山大学 一种基于多尺度生成对抗网络的伪装图像生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220929A (zh) * 2017-06-23 2017-09-29 深圳市唯特视科技有限公司 一种使用循环一致对抗网络的非成对图像转化方法
CN107392316A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 网络训练方法、装置、计算设备及计算机存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220929A (zh) * 2017-06-23 2017-09-29 深圳市唯特视科技有限公司 一种使用循环一致对抗网络的非成对图像转化方法
CN107392316A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 网络训练方法、装置、计算设备及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QUAN HOANG等: "Training generative adversarialnets with multiple generators", 《ARXIV.ORG》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108711137A (zh) * 2018-05-18 2018-10-26 西安交通大学 一种基于深度卷积神经网络的图像色彩表达模式迁移方法
CN108711137B (zh) * 2018-05-18 2020-08-18 西安交通大学 一种基于深度卷积神经网络的图像色彩表达模式迁移方法
CN109190620A (zh) * 2018-09-03 2019-01-11 苏州科达科技股份有限公司 车牌样本生成方法、系统、设备及存储介质
CN109408776A (zh) * 2018-10-09 2019-03-01 西华大学 一种基于生成式对抗网络的书法字体自动生成算法
CN109584325B (zh) * 2018-10-30 2020-01-07 河北科技大学 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法
CN109584325A (zh) * 2018-10-30 2019-04-05 河北科技大学 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法
CN109410148A (zh) * 2018-11-06 2019-03-01 电子科技大学 一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法
CN110097604A (zh) * 2019-05-09 2019-08-06 杭州筑象数字科技有限公司 图像颜色风格转移方法
CN110197517A (zh) * 2019-06-11 2019-09-03 常熟理工学院 基于多域循环一致性对抗生成网络的sar图像上色方法
CN110197517B (zh) * 2019-06-11 2023-01-31 常熟理工学院 基于多域循环一致性对抗生成网络的sar图像上色方法
CN110428476A (zh) * 2019-07-05 2019-11-08 广东省人民医院(广东省医学科学院) 一种基于多循环生成式对抗网络的图像转换方法及装置
CN110533580A (zh) * 2019-08-08 2019-12-03 西安交通大学 一种基于对抗生成神经网络的图像风格迁移方法
CN111144361A (zh) * 2019-12-31 2020-05-12 合肥湛达智能科技有限公司 一种基于二值化cgan网络的公路车道检测方法
CN111161137A (zh) * 2019-12-31 2020-05-15 四川大学 一种基于神经网络的多风格国画花生成方法
CN112288622A (zh) * 2020-10-29 2021-01-29 中山大学 一种基于多尺度生成对抗网络的伪装图像生成方法

Similar Documents

Publication Publication Date Title
CN108038818A (zh) 一种基于多重循环一致性的生成对抗式网络图像风格转移方法
Dolhansky et al. Eye in-painting with exemplar generative adversarial networks
Xia et al. Gan inversion: A survey
Laffont et al. Coherent intrinsic images from photo collections
Svoboda et al. Two-stage peer-regularized feature recombination for arbitrary image style transfer
Luan et al. Deep photo style transfer
CN108764024A (zh) 人脸识别模型的生成装置、方法及计算机可读存储介质
Jacobson et al. Fast automatic skinning transformations
Ju et al. Recovering surface normal and arbitrary images: A dual regression network for photometric stereo
CN109919869A (zh) 一种图像增强方法、装置及存储介质
WO2022205760A1 (zh) 三维人体重建方法、装置、设备及存储介质
CN110660037A (zh) 图像间脸部交换的方法、装置、系统和计算机程序产品
WO2022205762A1 (zh) 三维人体重建方法、装置、设备及存储介质
CN107767380A (zh) 一种基于全局空洞卷积的高分辨率复合视野皮肤镜图像分割方法
Singh et al. Neural style transfer: A critical review
CN110223370A (zh) 一种从单视点图片生成完整人体纹理贴图的方法
CN108961220A (zh) 一种基于多层卷积特征融合的图像协同显著性检测方法
CN112232106A (zh) 一种二维到三维人体姿态估计方法
Ji et al. Geometry-aware single-image full-body human relighting
Karakottas et al. 360 surface regression with a hyper-sphere loss
Meka et al. Real-time global illumination decomposition of videos
Lin et al. Layerbuilder: Layer decomposition for interactive image and video color editing
Li et al. High-resolution network for photorealistic style transfer
Ke et al. Neural preset for color style transfer
CN109410148A (zh) 一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180515