CN106952224B - 一种基于卷积神经网络的图像风格转移方法 - Google Patents

一种基于卷积神经网络的图像风格转移方法 Download PDF

Info

Publication number
CN106952224B
CN106952224B CN201710199688.4A CN201710199688A CN106952224B CN 106952224 B CN106952224 B CN 106952224B CN 201710199688 A CN201710199688 A CN 201710199688A CN 106952224 B CN106952224 B CN 106952224B
Authority
CN
China
Prior art keywords
image
style
layer
convolutional neural
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710199688.4A
Other languages
English (en)
Other versions
CN106952224A (zh
Inventor
朱策
夏志强
向俊曌
文宏雕
虢齐
王征韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201710199688.4A priority Critical patent/CN106952224B/zh
Publication of CN106952224A publication Critical patent/CN106952224A/zh
Application granted granted Critical
Publication of CN106952224B publication Critical patent/CN106952224B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理和计算机视觉领域，具体为一种基于卷积神经网络的图像风格转移方法。基于卷积神级网络中的高级语义表示建立图像内容模型和图像风格模型，然后优化一张初始图像使其在同一个卷积神经网络中具有与内容图像相似的内容表示、与风格图像相似的风格表示，从而生成融合内容图像的内容和风格图像的风格的图像，实现风格转移功能。本发明对任何风格图像均能实现风格转移。

Description

一种基于卷积神经网络的图像风格转移方法
技术领域
本发明属于图像处理和计算机视觉领域，涉及深度学习、图像生成等相关技术，具体为一种基于卷积神经网络的图像风格转移方法。
背景技术
日常生活，无论是拍照还是绘画，人们往往希望通过后期编辑使其具有某种特定的风格。然而图像编辑、绘画需要较高的技巧和丰富的经验，普通人不经学习难以实现风格转移的功能。
目前的已有的图像风格转移方法主要是通过非参数算法来实现。这些方法能够有效地将风格图像的颜色、细小边缘等纹理基元结构转移到内容图像中。但是这些方法也只能够提取图像的低级语义特性，实现图像的初级风格转移，对于图像的高级风格特性转移效果较差，生成的图像不自然。这是因为之前的方法所建立的图像风格模型只涉及到图像的低级语义特征。除此之外，之前的方法大多数只适用于对具有明显重复性图像结构的风格图像进行风格转移，对于任意的风格图像不具有普适性。因此，一种简单、高效、适用于任意风格图像的图像风格转移方法就成为了亟待解决的焦点。
发明内容
针对上述存在问题或不足，为解决对任意风格图像都高效地进行风格转移的问题，本发明提供了一种基于卷积神经网络的图像风格转移方法。
本发明采用的技术方案是：
步骤1、选定一个卷积神级网络Φ、一张目标内容图像以及一张目标风格图像选定卷积神经网络Φ中至少一层(标记为i)为内容约束层，选定卷积神经网络Φ中至少一层(标记为j)为风格约束层，设置阈值ε、最高迭代次数th；
步骤2、计算目标内容图像XC在卷积神经网络Φ内容约束层中的滤波响应为建立目标内容图像在卷积神经网络第i层的内容表示为Φ(XC)i；
步骤3、计算目标风格图像XS在卷积神经网络Φ中风格约束层的滤波响应为建立目标风格图像在卷积神经网络Φ第j层的风格表示为其中
步骤4、选定新图像X*，初始化为高斯白噪声；
步骤5、采用步骤2和步骤3相同的方法计算新图像X*在选定的卷积神经网络Φ中内容约束层i的内容表示Φ(X*)i和风格约束层j的风格表示
步骤6、计算新图像X*和目标内容图像XC在卷积神经网络Φ在内容约束层i的内容特征的损失函数并求解其关于新图像X*在该层的滤波响应的梯度
步骤7、计算新图像X*和目标风格图像XS在卷积神经网络Φ在风格约束层j的风格特征的损失函数，并求解其关于新图像X*在该层的滤波响应的梯度为
步骤8、将步骤6和步骤7中的梯度在卷积神经网络Φ中进行反向传播到输入层，更新图像X*；
步骤9、若第t次后更新的图像满足或t≥th，此时收敛的图像X*是融合了目标内容图像XC的内容和目标风格图像XS风格的图像；否则，重复步骤5-8继续迭代更新图像X*直到收敛。
进一步的，由于卷积神经网络不同层滤波响应表达语义能力的不同，风格转移的效果非常依赖于内容约束层和风格约束层的选择。内容约束层选择低层用来保持目标内容图像的低级语义信息；风格约束层在低层、中层和高层中都选择至少一层用以学习目标风格图像的多层次风格信息。
本发明基于卷积神级网络中的高级语义表示建立图像内容模型和图像风格模型，然后优化一张初始图像(例如噪声图像)使其在同一个卷积神经网络中具有与内容图像相似的内容表示、与风格图像相似的风格表示，从而生成融合内容图像的内容和风格图像的风格的图像，实现风格转移功能。
卷积神经网络通过多层、多组滤波器能够学习到物体的多层语义特征。关于图像的风格信息，卷积神经网络中的每一个滤波器都从输入图像中提取到某一种特殊的纹理基元。越低层的滤波器提取到的纹理基元颜色就越单一，纹理基元的重复性结构就简单；越高层的滤波器提取到的纹理基元的颜色就越丰富，纹理基元的重复性结构就越复杂。
卷积神经网络中的每一个滤波器都提取了一种特定的纹理基元。因此，每个滤波响应的响应程度可以用来表征输入图像所含有的该滤波器所对应的纹理基元的成分多少，输入图像的风格特征就可以用某一层的滤波响应的和向量来表征。通过约束新图像使其在该层具有与目标风格图像相同的滤波响应和向量，就可以使生成图像与目标风格图像具有相同的纹理基元组合方式，生成与目标风格图像相似的风格。
图像的内容信息可以直接用卷积神经网络中的滤波响应表征。通过优化初始图像使其在卷积神经网络中的内容表示与目标内容图像的相同、其风格表示与目标风格图像的相同，就可以生成与内容图像相同内容、与风格图像相同风格的图像，从而实现图像风格转移功能。
综上所述，本发明具有对任何风格图像实现风格转移的技术效果。
附图说明
图1为本发明的图像风格转移流程图；
图2为实施例的目标内容图像；
图3为实施例的目标风格图像；
图4为实施例最终完成的风格转移效果图。
具体实施方式
下面结合附图和实施例对本发明做进一步的详细说明。
图2为目标内容图像，图3为目标风格图像。我们的目标是生成图像4，使其融合图2的内容和图3的风格。
步骤1、选取2014年在ImageNet图像分类比赛中获得优异成绩的深度卷积神经网络VGG-19作为我们的图像高级语义特征提取模型Φ，选取图2为目标内容图像XC、图3为目标风格图像XS，选定ReLU2_2为内容约束层，选定ReLU1_1、ReLU2_1、ReLU3_1、ReLU4_1和ReLU5_1为风格约束层，选定设置阈值ε＝5e-3和最高迭代次数th＝200；
步骤2、将目标内容图像XC输入到卷积神经网络VGG-19中，计算内容图像在内容约束层ReLU2_2上的滤波响应Φ(XC)ReLU2_2，计算内容表示Φ(XC)ReLU2_2；
步骤3、将目标风格图像XS输入到卷积神经网络VGG-19中，计算风格图像在风格约束层ReLU1_1,ReLU2_1,ReLU3_1,ReLU4_1和ReLU5_1上的响应Φ(XS)ReLUh_1，计算图3在VGG-19中的多层风格表示h＝1,2,3,4,5；
步骤4、随机生成高斯噪声图像为初始化新图像X*，大小与内容图像XC相同；
步骤5、将新图像X*输入到卷积神经网络VGG-19中，得到其在内容约束层ReLU2_2上的滤波响应Φ(X*)ReLU2_2，计算内容表示Φ(X*)ReLU2_2。计算X*在风格约束层ReLU1_1,ReLU2_1，ReLU3_1，ReLU4_1和ReLU5_1上的响应Φ(X*)ReLUh_1，计算图3在VGG-19中的风格表示Υ(Φ(X*)ReLUh_1)，其中h＝1,2,3,4,5；
步骤6、计算新图像X*和内容图像XC在卷积神经网络Φ的层ReLU2_2内容特征的损失函数并求解其关于图像X*在该层的滤波响应的梯度其中i为ReLU2_2；
步骤7、计算新图像X*和风格图像XS在卷积神经网络Φ层ReLU1_1,ReLU2_1,ReLU3_1，ReLU4_1和ReLU5_1上的风格特征的损失函数：并求解其关于图像X*在该层的滤波响应的梯度为其中j为ReLUh_1,h＝1,2,3,4,5；
步骤8、将步骤6和步骤7中的内容梯度与风格梯度分别乘以5和1，然后反向运算到输入图像上，更新输入图像X*；
步骤9、重复步骤5-8，迭代104次后发现新生成图像X*满足图像风格转移结束。
生成的风格转移效果图像如图4。实验结果表面，本发明能够有效地实现图像的风格转移功能。

Claims (2)

1.一种基于卷积神经网络的图像风格转移方法，包括以下步骤：
步骤1、选定一个卷积神经网络Φ、一张目标内容图像以及一张目标风格图像选定卷积神经网络Φ中至少一层(标记为i)为内容约束层，选定卷积神经网络Φ中至少一层(标记为j)为风格约束层，设置阈值ε、最高迭代次数th；
步骤2、计算目标内容图像XC在卷积神经网络Φ内容约束层中的滤波响应为建立目标内容图像在卷积神经网络第i层的内容表示为Φ(XC)i；
步骤3、计算目标风格图像XS在卷积神经网络Φ中风格约束层的滤波响应为建立目标风格图像在卷积神经网络Φ第j层的风格表示为其中
步骤4、选定新图像X*，初始化为高斯白噪声；
步骤5、采用步骤2和步骤3相同的方法计算新图像X*在选定的卷积神经网络Φ中内容约束层i的内容表示Φ(X*)i和风格约束层j的风格表示γ(Φ(X*)j)；
步骤6、计算新图像X*和目标内容图像XC在卷积神经网络Φ在内容约束层i的内容特征的损失函数并求解其关于新图像X*在该层的滤波响应的梯度
步骤7、计算新图像X*和目标风格图像XS在卷积神经网络Φ在风格约束层j的风格特征的损失函数，并求解其关于新图像X*在该层的滤波响应的梯度为
步骤8、将步骤6和步骤7中的梯度在卷积神经网络Φ中进行反向传播到输入层，更新图像X*；
步骤9、若第t次后更新的图像满足或t≥th，此时收敛的图像X*是融合了目标内容图像XC的内容和目标风格图像XS风格的图像；否则，重复步骤5-8继续迭代更新图像X*直到收敛。
2.如权利要求1所述基于卷积神经网络的图像风格转移方法，其特征在于：
所述步骤1中，内容约束层选择低层用来保持目标内容图像的低级语义信息；风格约束层在低层、中层和高层中都选择至少一层用以学习目标风格图像的多层次风格信息。
CN201710199688.4A 2017-03-30 2017-03-30 一种基于卷积神经网络的图像风格转移方法 Expired - Fee Related CN106952224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710199688.4A CN106952224B (zh) 2017-03-30 2017-03-30 一种基于卷积神经网络的图像风格转移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710199688.4A CN106952224B (zh) 2017-03-30 2017-03-30 一种基于卷积神经网络的图像风格转移方法

Publications (2)

Publication Number Publication Date
CN106952224A CN106952224A (zh) 2017-07-14
CN106952224B true CN106952224B (zh) 2019-08-13

Family

ID=59475709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710199688.4A Expired - Fee Related CN106952224B (zh) 2017-03-30 2017-03-30 一种基于卷积神经网络的图像风格转移方法

Country Status (1)

Country Link
CN (1) CN106952224B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107705242B (zh) * 2017-07-20 2021-12-17 广东工业大学 一种结合深度学习与深度感知的图像风格化迁移方法
CN109426858B (zh) * 2017-08-29 2021-04-06 京东方科技集团股份有限公司 神经网络、训练方法、图像处理方法及图像处理装置
CN107729931A (zh) * 2017-10-09 2018-02-23 北京京东尚科信息技术有限公司 图片评分方法和装置
CN107767328B (zh) * 2017-10-13 2021-12-17 上海媒智科技有限公司 基于少量样本生成的任意风格和内容的迁移方法和系统
CN109711136A (zh) * 2017-10-26 2019-05-03 武汉极意网络科技有限公司 存储设备、验证码图片生成方法和装置
CN107832845A (zh) 2017-10-30 2018-03-23 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品
CN107767408B (zh) * 2017-11-09 2021-03-12 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN108171649B (zh) * 2017-12-08 2021-08-17 广东工业大学 一种保持焦点信息的图像风格化方法
CN108470320B (zh) * 2018-02-24 2022-05-20 中山大学 一种基于cnn的图像风格化方法及系统
CN108537776A (zh) * 2018-03-12 2018-09-14 维沃移动通信有限公司 一种图像风格迁移模型生成方法及移动终端
CN108711137B (zh) * 2018-05-18 2020-08-18 西安交通大学 一种基于深度卷积神经网络的图像色彩表达模式迁移方法
CN108764143B (zh) * 2018-05-29 2020-11-24 北京字节跳动网络技术有限公司 图像处理方法、装置、计算机设备和存储介质
CN108805803B (zh) * 2018-06-13 2020-03-13 衡阳师范学院 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法
CN109035318B (zh) * 2018-06-14 2021-11-30 西安电子科技大学 一种图像风格的转换方法
CN109165376B (zh) * 2018-06-28 2023-07-18 西交利物浦大学 基于少量样本的风格字符生成方法
CN109064428B (zh) * 2018-08-01 2021-04-13 Oppo广东移动通信有限公司 一种图像去噪处理方法、终端设备及计算机可读存储介质
US10789769B2 (en) 2018-09-05 2020-09-29 Cyberlink Corp. Systems and methods for image style transfer utilizing image mask pre-processing
US12094456B2 (en) 2018-09-13 2024-09-17 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and system
CN109345446B (zh) * 2018-09-18 2022-12-02 西华大学 一种基于对偶学习的图像风格转移算法
CN109257168A (zh) * 2018-09-21 2019-01-22 深圳市元征科技股份有限公司 一种图片验证码的生成方法、装置、设备及介质
CN109272568B (zh) * 2018-10-10 2020-07-17 南京大学 一种采用基元发现的人脸风格图像处理方法
CN109300170B (zh) * 2018-10-18 2022-10-28 云南大学 肖像照片光影传递方法
CN109712068A (zh) * 2018-12-21 2019-05-03 云南大学 用于葫芦烙画的图像风格迁移与模拟方法
CN110084741B (zh) * 2019-04-26 2024-06-14 衡阳师范学院 基于显著性检测和深度卷积神经网络的图像风络迁移方法
CN110097604B (zh) * 2019-05-09 2021-05-11 杭州筑象数字科技有限公司 图像颜色风格转移方法
CN110210549B (zh) * 2019-05-28 2022-03-29 北方民族大学 一种跨域变分对抗自编码方法
WO2020238120A1 (en) * 2019-05-30 2020-12-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. System and method for single-modal or multi-modal style transfer and system for random stylization using the same
CN111179215B (zh) * 2019-11-29 2022-09-13 北京航空航天大学合肥创新研究院 一种基于细胞明场图片对细胞内部结构的分析方法及系统
US20240153259A1 (en) * 2022-11-08 2024-05-09 Adobe Inc. Single image concept encoder for personalization using a pretrained diffusion model

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989584A (zh) * 2015-01-29 2016-10-05 北京大学 图像风格化重建的方法和装置
CN106296567A (zh) * 2015-05-25 2017-01-04 北京大学 一种基于稀疏表示的多层次图像风格的转换方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989584A (zh) * 2015-01-29 2016-10-05 北京大学 图像风格化重建的方法和装置
CN106296567A (zh) * 2015-05-25 2017-01-04 北京大学 一种基于稀疏表示的多层次图像风格的转换方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Every Filter Extracts A Specific Texture In Convolutional Neural Networks;Zhiqiang Xia 等;《arXiv preprint》;20160816;第1-5节 *

Also Published As

Publication number Publication date
CN106952224A (zh) 2017-07-14

Similar Documents

Publication Publication Date Title
CN106952224B (zh) 一种基于卷积神经网络的图像风格转移方法
Luan et al. Deep photo style transfer
CN112614077B (zh) 一种基于生成对抗网络的非监督低照度图像增强方法
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN105374007B (zh) 融合骨架笔画和纹理特征的铅笔画生成方法和装置
Hwang et al. Image colorization with deep convolutional neural networks
CN110222722A (zh) 交互式图像风格化处理方法、系统、计算设备及存储介质
CN109712165A (zh) 一种基于卷积神经网络的同类前景图像集分割方法
CN110111291A (zh) 基于局部和全局优化融合图像卷积神经网络风格迁移方法
CN102449664A (zh) 一种渐变动画的生成方法和装置
CN113255813A (zh) 一种基于特征融合的多风格图像生成方法
CN104851133B (zh) 一种图像自适应网格生成变分方法
CA3137297C (en) Adaptive convolutions in neural networks
JP7294788B2 (ja) ３ｄ配置のタイプに応じた２ｄ画像の分類
CN108537720A (zh) 一种图像处理方法和装置
CN109049716A (zh) 三维打印模型图的生成方法、装置、电子设备及存储介质
Gao et al. Learning to Incorporate Texture Saliency Adaptive Attention to Image Cartoonization.
Yang et al. Dreamspace: Dreaming your room space with text-driven panoramic texture propagation
CN117726718A (zh) 基于人工智能的图像生成工具的电商产品海报生成方法
Zhang et al. Jointnet: Extending text-to-image diffusion for dense distribution modeling
Kasao et al. Algorithmic Painter: a NPR method to generate various styles of painting
CN108122271A (zh) 一种写真照片自动生成方法及装置
CN109636711A (zh) 漫画册生成方法、装置及计算机可读存储介质
CN112906814B (zh) 基于nas网络的目标检测方法及系统
Wan et al. Evolving mazes from images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190813