CN109410148A - 一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法 - Google Patents

一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法 Download PDF

Info

Publication number
CN109410148A
CN109410148A CN201811311305.9A CN201811311305A CN109410148A CN 109410148 A CN109410148 A CN 109410148A CN 201811311305 A CN201811311305 A CN 201811311305A CN 109410148 A CN109410148 A CN 109410148A
Authority
CN
China
Prior art keywords
traditional chinese
layers
image
chinese painting
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811311305.9A
Other languages
English (en)
Inventor
漆进
丁朱正奇
史鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201811311305.9A priority Critical patent/CN109410148A/zh
Publication of CN109410148A publication Critical patent/CN109410148A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理、计算机视觉、深度学习领域，具体为一种基于循环一致性的生成对抗式网络的照片与工笔画之间的图像风格转移方法。该方法包括：基于卷积神经网络和Resnet的生成器、判别器，基于循环一致性和生成对抗式网络的损失函数训练，实现了照片图像到工笔图像的风格映射。本发明能够有效地解决照片与工笔画之间的图像风格转移任务，另外，该方法不仅不需要一一对应的配对数据集，而且可以同时学习照片图片到工笔画图片的映射和工笔画图片到照片图片的映射。

Description

一种基于循环一致性的生成对抗式网络的照片与工笔画之间 图像风格转移方法
技术领域
本发明属于图像处理，计算机视觉，深度学习领域，具体为一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法。
背景技术
近年来，随着深度学习的进步，图像风格转移技术也有了重要的发展。2016年，Leon A. Gatys发表了论文“Image Style Transfer Using Convolutional NeuralNetworks”，利用深度学习算法来进行图像风格转移，其背后的原理是利用卷积神经网络对不同尺度下的内容特征和风格特征进行分离，从而使图像风格转移变得简单可行。2017年，Jun-Yan Zhu发表了论文“Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks”，利用循环一致性和生成对抗式网络进行图像到图像的映射学习，该方法不仅不需要一一对应的配对数据集，而且可以同时学习内容图片到风格图片的映射和风格图片到内容图片的映射。该方法被运用于实现照片与油画之间的图像风格转换并取得良好效果。当前亟待解决的问题是这种方法是否具有普适性并能完成照片与工笔画之间的风格转移。
发明内容
针对上述存在问题，本发明将CycleGAN中的循环一致性应用到照片与工笔画数据集的分析当中，对照片图片和工笔画图片数据集进行训练并找到之间的映射路径，能够有效地解决照片与工笔画之间的图像风格转移任务。
本发明采用的技术方案是：
(1)基于Resnet的生成器。
(2)基于卷积神经网络的鉴别器。
(3)基于循环一致性和生成对抗式网络的损失函数训练。
(4)使用(3)训练的深度神经网络，由照片图像生成工笔画图像，或者由工笔画图像生成照片图像。
所述步骤(1)中的生成器网络具体包括：
(11)生成器的输入图像依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层，InstanceNorm层，tanh层。
(12)将(11)的输出特征依次通过卷积核大小为2、步长为2、滤波器数量为64的卷积层，InstanceNorm层，tanh层。
(13)将(12)的输出特征依次通过卷积核大小为4、步长为4、滤波器数量为128的卷积层，InstanceNorm层，tanh层。
(14)将(13)的输出特征依次通过6个卷积核大小为4、步长为4、滤波器数量为128的Resnet模块。
(15)将(14)的输出特征依次通过卷积核大小为2、步长为2、滤波器数量为64的卷积层，InstanceNorm层，tanh层。
(16)将(15)的输出特征依次通过卷积核大小为3、步长为1/2、滤波器数量为32的卷积层，InstanceNorm层，tanh层。
(17)将(16)的输出特征依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层，InstanceNorm层，tanh层。
所述步骤(2)中的鉴别器网络具体包括：
(21)鉴别器的输入特征依次通过卷积核大小为2、步长为2、滤波器数量为64的卷积层，reuse激活层。
(22)将(21)的输出特征依次通过卷积核大小为4、步长为4、滤波器数量为128的卷积层，InstanceNorm层，reuse激活层。
(23)将(22)的输出特征依次通过卷积核大小为8、步长为8、滤波器数量为256的卷积层，InstanceNorm层，reuse激活层。
(24)将(23)的输出特征依次通过卷积核大小为16、步长为16、滤波器数量为512的卷积层，InstanceNorm层，reuse激活层。
(25)将(24)的输出特征展平，通过sigmoid函数将网络输出归一化。
所述步骤(3)中的基于多重循环一致性和生成对抗式网络的损失函数训练具体包括：
(31)输入图像包括两个集合其中X为照片图像集合，Y为工笔画图像集合。网络包括两个生成器G:X→Y，F:Y→X和两个判别器DX，DY。
(32)使用随机梯度下降法进行训练，采用对抗损失和循环一致性损失构成的复合损失函数，计算公式如下：
所述步骤(4)中的照片与工笔画之间的风格转移具体包括：
(41)由照片图像生成工笔画图像：X→Y，即套用训练得出的照片风格转移成为工笔画的映射关系，生成对应的工笔画风格图像。
(42)由工笔画图像生成照片图像：Y→X，套用训练得出的工笔画风格转移成为照片的映射关系，生成对应的照片风格图像。
本发明的有益效果是：
本发明将CycleGAN中的循环一致性应用到工笔画与照片之间的风格转换，通过循环一致性训练得出两者之间的对应映射，能够有效地解决照片与工笔画之间的风格转移任务。另外，该方法不仅不需要一一对应的配对数据集，而且可以同时学习照片图片到工笔画图片的映射和照片图片到工笔画图片的映射并分别实现对应的转换要求。
附图说明
图1是循环一致性的生成对抗式网络的结构图
图2是实施例的照片图像
图3是实施例的工笔画风格转移图像
图4是实施例的工笔画图像
图5是实施例的照片风格转移图像
具体实施方式
以下将结合附图对本发明进行详细描述。
本发明公开了一种基于循环一致性的生成对抗式网络的照片与工笔画之间的图像风格转移方法，具体实施步骤包括：
(1)基于Resnet的生成器。
(2)基于卷积神经网络的鉴别器。
(3)基于循环一致性和生成对抗式网络的损失函数训练。
(4)使用(3)训练的深度神经网络，由照片图像生成工笔画图像，或者由工笔画图像生成照片图像。
所述步骤(1)中的生成器网络具体包括：编码器，转换器和解码器
(11)生成器的输入图像依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层，InstanceNorm层，tanh层。
(12)将(11)的输出特征依次通过卷积核大小为2、步长为2、滤波器数量为64的卷积层，InstanceNorm层，tanh层。
(13)将(12)的输出特征依次通过卷积核大小为4、步长为4、滤波器数量为128的卷积层，InstanceNorm层，tanh层。
(14)将(13)的输出特征依次通过6个卷积核大小为4、步长为4、滤波器数量为128的Resnet模块。
(15)将(14)的输出特征依次通过卷积核大小为2、步长为2、滤波器数量为64的卷积层，InstanceNorm层，tanh层。
(16)将(15)的输出特征依次通过卷积核大小为3、步长为1/2、滤波器数量为32的卷积层，InstanceNorm层，tanh层。
(17)将(16)的输出特征依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层，InstanceNorm层，tanh层。
所述步骤(2)中的鉴别器网络具体包括：
(21)鉴别器的输入特征依次通过卷积核大小为2、步长为2、滤波器数量为64的卷积层，reuse激活层。
(22)将(21)的输出特征依次通过卷积核大小为4、步长为4、滤波器数量为128的卷积层，InstanceNorm层，reuse激活层。
(23)将(22)的输出特征依次通过卷积核大小为8、步长为8、滤波器数量为256的卷积层，InstanceNorm层，reuse激活层。
(24)将(23)的输出特征依次通过卷积核大小为16、步长为16、滤波器数量为512的卷积层，InstanceNorm层，reuse激活层。
(25)将(24)的输出特征展平，通过sigmoid函数将网络输出归一化。
所述步骤(3)中的基于多重循环一致性和生成对抗式网络的损失函数训练具体包括：
(31)输入图像包括两个集合其中X为照片图像集合，Y为工笔画图像集合。网络包括两个生成器G:X→Y，F:Y→X和两个判别器DX，DY。
(32)使用随机梯度下降法进行训练，采用对抗损失和循环一致性损失构成的复合损失函数，计算公式如下：
所述步骤(4)中的照片与工笔画之间的风格转移具体包括：
(41)由照片图像生成工笔画图像：X→Y，即套用训练得出的照片风格转移成为工笔画的映射关系，生成对应的工笔画风格图像。
(42)由工笔画图像生成照片图像：Y→X，套用训练得出的工笔画风格转移成为照片的映射关系，生成对应的照片风格图像。
实例照片图像如图2所示，产生的工笔画风格转移图像如图3所示。实例工笔画图像如图4所示，产生的照片风格转移图像如图5所示。实验结果表明，本发明能够有效地实现照片与工笔画之间的图像风格转移任务。

Claims (4)

1.一种基于循环一致性的生成对抗式网络实现工笔画与照片之间风格转移的方法，其特征在于，所述方法包括：
(1)基于Resnet的生成器；
(2)基于卷积神经网络的鉴别器；
(3)基于循环一致性和生成对抗式网络的损失函数训练；
(4)使用(3)训练的深度神经网络，由照片图像生成工笔画图像，或者由工笔画图像生成照片图像。
2.根据权利要求1所述的方法，其特征在于，所述步骤(1)中具体包括：
((11)生成器的输入图像依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层，InstanceNorm层，tanh层；
(12)将(11)的输出特征依次通过卷积核大小为2、步长为2、滤波器数量为64的卷积层，InstanceNorm层，tanh层；
(13)将(12)的输出特征依次通过卷积核大小为4、步长为4、滤波器数量为128的卷积层，InstanceNorm层，tanh层；
(14)将(13)的输出特征依次通过6个卷积核大小为4、步长为4、滤波器数量为128的Resnet模块；
(15)将(14)的输出特征依次通过卷积核大小为2、步长为2、滤波器数量为64的卷积层，InstanceNorm层，tanh层；
(16)将(15)的输出特征依次通过卷积核大小为3、步长为1/2、滤波器数量为32的卷积层，InstanceNorm层，tanh层；
(17)将(16)的输出特征依次通过卷积核大小为7、步长为1、滤波器数量为32的卷积层，InstanceNorm层，tanh层。
3.根据权利要求1所述的方法，其特征在于，所述步骤(2)中具体包括：
((21)鉴别器的输入特征依次通过卷积核大小为2、步长为2、滤波器数量为64的卷积层，reuse激活层；
(22)将(21)的输出特征依次通过卷积核大小为4、步长为4、滤波器数量为128的卷积层，InstanceNorm层，reuse激活层；
(23)将(22)的输出特征依次通过卷积核大小为8、步长为8、滤波器数量为256的卷积层，InstanceNorm层，reuse激活层；
(24)将(23)的输出特征依次通过卷积核大小为16、步长为16、滤波器数量为512的卷积层，InstanceNorm层，reuse激活层；
(25)将(24)的输出特征展平，通过sigmoid函数将网络输出归一化；
所述步骤(3)中的基于多重循环一致性和生成对抗式网络的损失函数训练具体包括：
(31)输入图像包括两个集合其中X为照片图像集合，Y为工笔画图像集合，网络包括两个生成器G:X→Y，F:Y→X和两个判别器DX，DY；
(32)使用随机梯度下降法进行训练，采用对抗损失和循环一致性损失构成的复合损失函数，计算公式如下：
4.根据权利要求1所述的方法，其特征在于，所述步骤(4)中具体包括：
(41)由照片图像生成工笔画图像：X→Y，即套用训练得出的照片风格转移成为工笔画的映射关系，生成对应的工笔画风格图像；
(42)由工笔画图像生成照片图像：Y→X，套用训练得出的工笔画风格转移成为照片的映射关系，生成对应的照片风格图像。
CN201811311305.9A 2018-11-06 2018-11-06 一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法 Pending CN109410148A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811311305.9A CN109410148A (zh) 2018-11-06 2018-11-06 一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811311305.9A CN109410148A (zh) 2018-11-06 2018-11-06 一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法

Publications (1)

Publication Number Publication Date
CN109410148A true CN109410148A (zh) 2019-03-01

Family

ID=65471725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811311305.9A Pending CN109410148A (zh) 2018-11-06 2018-11-06 一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法

Country Status (1)

Country Link
CN (1) CN109410148A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097604A (zh) * 2019-05-09 2019-08-06 杭州筑象数字科技有限公司 图像颜色风格转移方法
CN111161137A (zh) * 2019-12-31 2020-05-15 四川大学 一种基于神经网络的多风格国画花生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220929A (zh) * 2017-06-23 2017-09-29 深圳市唯特视科技有限公司 一种使用循环一致对抗网络的非成对图像转化方法
CN107563510A (zh) * 2017-08-14 2018-01-09 华南理工大学 一种基于深度卷积神经网络的wgan模型方法
CN108038818A (zh) * 2017-12-06 2018-05-15 电子科技大学 一种基于多重循环一致性的生成对抗式网络图像风格转移方法
CN108038821A (zh) * 2017-11-20 2018-05-15 河海大学 一种基于生成式对抗网络的图像风格迁移方法
US20180136912A1 (en) * 2016-11-17 2018-05-17 The Mathworks, Inc. Systems and methods for automatically generating code for deep learning systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180136912A1 (en) * 2016-11-17 2018-05-17 The Mathworks, Inc. Systems and methods for automatically generating code for deep learning systems
CN107220929A (zh) * 2017-06-23 2017-09-29 深圳市唯特视科技有限公司 一种使用循环一致对抗网络的非成对图像转化方法
CN107563510A (zh) * 2017-08-14 2018-01-09 华南理工大学 一种基于深度卷积神经网络的wgan模型方法
CN108038821A (zh) * 2017-11-20 2018-05-15 河海大学 一种基于生成式对抗网络的图像风格迁移方法
CN108038818A (zh) * 2017-12-06 2018-05-15 电子科技大学 一种基于多重循环一致性的生成对抗式网络图像风格转移方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097604A (zh) * 2019-05-09 2019-08-06 杭州筑象数字科技有限公司 图像颜色风格转移方法
CN111161137A (zh) * 2019-12-31 2020-05-15 四川大学 一种基于神经网络的多风格国画花生成方法

Similar Documents

Publication Publication Date Title
CN108038818A (zh) 一种基于多重循环一致性的生成对抗式网络图像风格转移方法
US20200097806A1 (en) Processing method and accelerating device
CN109544442B (zh) 基于双重对抗的生成式对抗网络的图像局部风格迁移方法
Jin et al. Deep image aesthetics classification using inception modules and fine-tuning connected layer
CN110263913A (zh) 一种深度神经网络压缩方法及相关设备
CN107993238A (zh) 一种基于注意力模型的头肩部分图像分割方法及装置
CN107749052A (zh) 基于深度学习神经网络的图像去雾方法及系统
Wang et al. Distilled dual-encoder model for vision-language understanding
CN109410148A (zh) 一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法
US12056841B2 (en) Method for image shape transformation based on generative adversarial network
Delbrouck et al. Multimodal compact bilinear pooling for multimodal neural machine translation
CN113205468B (zh) 一种基于自注意力机制和gan的水下图像实时复原模型方法
CN107066979A (zh) 一种基于深度信息和多维度卷积神经网络的人体动作识别方法
CN109740529A (zh) 一种基于神经网络绘图的虚拟试衣方法
CN113554653A (zh) 基于互信息校准点云数据长尾分布的语义分割方法
CN109598270A (zh) 扭曲文字的识别方法及装置、存储介质及处理器
CN109472838A (zh) 一种素描生成方法及装置
CN110166759A (zh) 图像的处理方法和装置、存储介质、电子装置
CN117237190A (zh) 用于边缘移动设备的轻量化图像超分辨率重建系统及方法
CN116778527A (zh) 人体模型构建方法、装置、设备及存储介质
CN111340173A (zh) 一种针对高维数据的生成对抗网络训练方法、系统及电子设备
CN108510444A (zh) 一种高分辨率陶瓷花纸图案的生成方法及装置
Pu et al. Adaptive feature abstraction for translating video to language
Peng et al. Attention-guided fusion network of point cloud and multiple views for 3D shape recognition
CN106920208A (zh) 一种基于图像处理的人脸风格化方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190301