CN113344771A - 基于深度学习的多功能图像风格迁移方法 - Google Patents

基于深度学习的多功能图像风格迁移方法 Download PDF

Info

Publication number
CN113344771A
CN113344771A CN202110552692.0A CN202110552692A CN113344771A CN 113344771 A CN113344771 A CN 113344771A CN 202110552692 A CN202110552692 A CN 202110552692A CN 113344771 A CN113344771 A CN 113344771A
Authority
CN
China
Prior art keywords
image
style
hfm
loss function
style migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110552692.0A
Other languages
English (en)
Other versions
CN113344771B (zh
Inventor
肖春霞
丁红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110552692.0A priority Critical patent/CN113344771B/zh
Publication of CN113344771A publication Critical patent/CN113344771A/zh
Application granted granted Critical
Publication of CN113344771B publication Critical patent/CN113344771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度学习的多功能图像风格迁移方法包括图像的语义分割；图像的小波特征提取；图像风格迁移的损失函数的表示。图像的特征提取和损失函数的表示。本发明的有益效果一个算法具有艺术风格与逼真风格迁移的图像编辑效果，从而实现质量更高且更加丰富多彩的图像风格迁移效果。

Description

基于深度学习的多功能图像风格迁移方法
技术领域
本发明属于计算机图像处理技术领域，涉及基于深度学习的多功能图像风格迁移方法。
背景技术
现有的图像风格迁移技术，是指利用各类算法，将参考图像的风格(如果颜色等)迁移到输入图像的技术。图像风格迁移技术是根据参考图像的风格及输入图像的内容重新生成一张新的图像。现有图像风格迁移技术，多是对图像进行艺术风格迁移，或是逼真风格迁移，而不能同时实现艺术和逼真的风格迁移。如此限制了其应用范围。因此现有图像风格迁移方法不能满足用户对输入图像进行任意风格迁移的要求。
发明内容
本发明的目的在于提供艺术风格及逼真风格的多功能图像风格编辑方法，本发明的有益效果是根据用户需求，通过修改参数即可实现艺术与逼真风格的图像编辑。本发明基于深度学习的图像风格迁移系统，在进行逼真风格迁移前采用特征提取模块来去除输入图像原风格对最后风格迁移结果的影响，从而实现质量更高且更加丰富多彩的图像风格迁移效果。
本发明所采用的技术方案是包括以下步骤：
步骤1，将图像进行语义分割；
步骤2，对图像进行小波特征提取，如图2所示；
步骤3，设计损失函数，基于深度神经网络对步骤2的图像进行风格迁移编辑；
步骤1具体如下：图像的语义分割方法如下：采用DeepLab语义分割算法进行图像的语义分割。识别150个基础分类，采用合并简化的分类结果即合并了相似的分类，如，湖泊、江河、海洋和水流归为一类等，由此生成一组精简的分类，以产生更清晰，更简单的分割，最终生成更稳定的输出。
步骤2具体如下：
图像的小波分解过程如下
Figure BDA0003075773690000021
n和m分别为行下标和列下标；{hk}k∈Z满足小波尺度公式，
Figure BDA0003075773690000022
h，g是标准滤波器，
Figure BDA0003075773690000023
是h的共轭，c是低频系数，k是小波分解尺度。
图像小波系数处理如下
Figure BDA0003075773690000024
称序列
Figure BDA0003075773690000025
为ck+1的一级二维小波变换，对于1000*1000像素的图像，小波变换尺度为8，当像素更大或更小时，小波变换尺度相应地调大或调小。将小波变换的高频部分(High frequency map,HFM)作为图像特征的初步提取结果，如图2所示。
设小波分解后的系数用w表示，低频系数用c表示，高频系数用d表示，对于输入图像的初步特征提取结果为：
wHFM＝d
对于部分图像的小波特征提取结果HFM可能会有部分特征丢失，可进行特征修复。即，将原始输入图像作为输入，HFM作为参考风格图像，以及它们的语义分割进行风格迁移，可得到更完整特征的FHFM。
进一步，基于深度神经网络的图像风格迁移算法如下：
一般基于深度神经网络的图像风格迁移的损失函数主要由内容损失函数LC、风格损失函数LS和输入正则化λLp三部分组成：
L＝LC+LS+λLp
本发明提出的损失函数：L＝L'C+LHFM+LS+λLp
即增加了基于图像特征提取的损失函数：LHFM
特征提取损失函数作用为去掉输入图像content的原始风格而最大程度保留其纹理特征，从而使风格迁移图像具有更多参考风格并保留其细节纹理。当使用图像特征提取模块，输入图像为真实图像，且参考图像为艺术图像时，风格迁移结果为逼真风格的图像；当忽略图像特征提取模块时，输入图像为真实图像，且参考图像为艺术图像时，风格迁移结果为艺术风格的图像。结果如图3所示。
具体的，损失函数是系统的总损失函数L为：
L＝L'C+LHFM+LS+λLp
其中
Figure BDA0003075773690000031
Figure BDA0003075773690000032
Figure BDA0003075773690000033
Figure BDA0003075773690000034
其中N为总的卷积层数，
Figure BDA0003075773690000035
是深度神经网络第l个卷积层的内容损失函数，
Figure BDA0003075773690000036
是深度神经网络第l个卷积层的风格损失函数，Lp是对输入进行逼真化处理表达式，BC是控制内容损失的权值，BHFM是控制风格损失的权值，BS是控制风格损失的权值，al,cl和bl是配置层选项的权值，λ是控制逼真正则化的权值；
内容损失函数如下：
Figure BDA0003075773690000037
Pl,c[O]＝Pl,c[O]Hl,c[I]
Pl,c[I]＝Pl,c[I]Hl,c[I]
其中Pl,c[·]是第l层c通道的特征矩阵，Ml,c[·]是与Pl,c[·]对应的Gram矩阵，Hl,c[·]是第l层的语义分割区域的通道c，WC是语义分割的第cth通道的权值，Nl,c表示第l层第cth通道的滤波器总数；
特征提取损失函数如下：
Figure BDA0003075773690000041
Pl,c[O]＝Pl,c[O]Hl,c[HFM]
Pl,c[HFM]＝Pl,c[HFM]Hl,c[HFM]
其中HFM是指输入图像的特征提取结果,WC_HFM是特征提取的语义分割的第cth通道的权值。
风格损失函数如下：
Figure BDA0003075773690000042
Pl,c[O]＝Pl,c[O]Hl,c[S]
Pl,c[S]＝Pl,c[S]Hl,c[S]
其中S是指参考风格图像。
本发明的优点在于：现有图像风格算法仅具有艺术风格迁移或者逼真风格迁移的一种功能，而本发明提出的算法先对图像进行小波变化，再增加特征提取模块，使得编辑后的图像同时拥有艺术风格迁移以及逼真风格迁移的功能，且在实现风格迁移的同时能更多保持输入图像原有的纹理信息。从而该方法能输出更加丰富且高质量的图像风格效果。
附图说明
图1是图像特征提取示意图。
图2是本发明的图像艺术与逼真风格迁移功能的算法示意图。
图3是本发明的输入为真实图像，参考图像为艺术风格图像的艺术与逼真风格迁移效果展示。
图4是本发明的结果与近三年顶会顶刊方法比较迁移图。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
如图2所示的多功能图像风格迁移。Input是输入图像，Style是参考图像，SeI是输入图像的语义分割结果，SeS是参考图像的语义分割结果，Attention target是注意力机制关注的区域(可在1-6之间进行选择)。在编码过程，输入图像、参考图像进行语义分割，并将这4张图像及关注区域输入模型，由VGG19进行特征提取及风格迁移。解码过程将输出风格迁移结果，如图中第一行所示。
步骤1，图像的语义分割。语义分割是计算机视觉中十分重要的领域，是指像素级地识别图像，即标注出图像中每个像素所属的对象类别。其目标是预测出图像中每一个像素的类标签。本发明的语义分割采用扩张卷积的方法进行输入图像与参考风格图像的语义分割，能识别150个基础分类，采用的是合并简化的分类结果，以产生更清晰，更简单的分割，最终生成更稳定的输出。
步骤2，图像的特征提取。图像的小波特征提取方法如下：图像的小波分解过程如下
Figure BDA0003075773690000051
n和m分别为行下标和列下标；{hk}k∈Z满足小波尺度公式，
Figure BDA0003075773690000052
h，g是标准滤波器，
Figure BDA0003075773690000053
是h的共轭，c是低频系数，k是小波分解尺度。
图像小波系数处理如下
Figure BDA0003075773690000054
称序列
Figure BDA0003075773690000055
为ck+1的一级二维小波变换，对于1000*1000像素的图像，小波变换尺度为8，当像素更大或更小时，小波变换尺度相应地调大或调小。将小波变换的高频部分(High frequency map,HFM)作为图像特征的初步提取结果。
步骤3，损失函数的表示。损失函数(loss function)或代价函数(cost function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。在深度学习中，损失函数扮演着至关重要的角色。通过对最小化损失函数，使模型达到收敛状态，减少模型预测值的误差。
损失函数是系统的总损失函数L为：
L＝L'C+LHFM+LS+λLp
其中
Figure BDA0003075773690000061
Figure BDA0003075773690000062
Figure BDA0003075773690000063
Figure BDA0003075773690000064
其中N为总的卷积层数，
Figure BDA0003075773690000065
是深度神经网络第l个卷积层的内容损失函数，
Figure BDA0003075773690000066
是深度神经网络第l个卷积层的风格损失函数，Lp是对输入进行逼真化处理表达式，BC是控制内容损失的权值，BHFM是控制风格损失的权值，BS是控制风格损失的权值，al,cl和bl是配置层选项的权值，λ是控制逼真正则化的权值；
内容损失函数如下：
Figure BDA0003075773690000067
Pl,c[O]＝Pl,c[O]Hl,c[I]
Pl,c[I]＝Pl,c[I]Hl,c[I]
其中Pl,c[·]是第l层c通道的特征矩阵，Ml,c[·]是与Pl,c[·]对应的Gram矩阵，I是指输入图像，Hl,c[I]是输入图像第l层的语义分割区域的通道c，WC是语义分割的第cth通道的权值，Nl,c表示第l层第cth通道的滤波器总数；
特征提取损失函数如下：
Figure BDA0003075773690000071
Pl,c[O]＝Pl,c[O]Hl,c[HFM]
Pl,c[HFM]＝Pl,c[HFM]Hl,c[HFM]
其中HFM是指输入图像的特征提取结果,Hl,c[HFM]是特征提取图第l层的语义分割区域的通道c，WC_HFM是特征提取的语义分割的第cth通道的权值。
风格损失函数如下：
Figure BDA0003075773690000072
Pl,c[O]＝Pl,c[O]Hl,c[S]
Pl,c[S]＝Pl,c[S]Hl,c[S]
其中S是指参考风格图像。
执行细节：采用预先训练的VGG-19作为特征提取器。选择conv1_1,conv2_1，conv3_1，conv4_1，conv5_1(这些层βl＝1/5，所有其他层βl＝0)作为风格、内容以及特征提取的表示。在艺术风格迁移过程中，Bc＝9,Bs＝102,λ＝104。在逼真风格迁移过程中，Bc＝9,Bs＝102,BHFM＝102,λ＝104。
图4是与近三年顶会顶刊方法比较结果。第1至2行，左起第1列至第7列分别为：输入图像(上)和参考图像(下)；方法1的结果，方法2的结果，方法3的结果，方法4的结果，本发明的结果。第3至4行，左起第1列至第6列分别为：输入图像(上)和参考图像(下)；方法1的结果，方法2的结果，方法3的结果，方法4的结果，方法5的结果，本发明的结果。
以上所述仅是对本发明的较佳实施方式而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (6)

1.一种基于深度学习的多功能图像风格迁移方法，其特征在于，主要包括以下步骤：
步骤1，将图像进行语义分割；
步骤2，对语义分割后的图像进行小波特征提取，并将小波变换的高频部分(Highfrequency map,HFM)作为图像特征的初步提取结果，对部分图像的小波特征提取结果出现部分特征丢失的，进行特征修复；
步骤3，设计损失函数，基于深度神经网络对步骤2的图像进行风格迁移编辑；
其中，损失函数包括内容损失函数、基于图像特征提取的损失函数、风格损失函数和输入正则化。
2.根据权利要求1所述的基于深度学习的多功能图像风格迁移方法，其特征在于：
所述基于图像特征提取的损失函数
Figure FDA0003075773680000011
Pl,c[O]＝Pl,c[O]Hl,c[HFM]
Pl,c[HFM]＝Pl,c[HFM]Hl,c[HFM]
其中，若N为总的卷积层数，l表示第l个卷积层，HFM是指输入图像的特征提取结果,中Pl,c[·]是第l层c通道的特征矩阵，Ml,c[·]是与Pl,c[·]对应的Gram矩阵，Hl,c[HFM]是特征提取图第l层的语义分割区域的通道c，WC_HFM是特征提取的语义分割的第cth通道的权值。
3.根据权利要求1所述的基于深度学习的多功能图像风格迁移方法，其特征在于：采用DeepLab语义分割算法进行图像的语义分割，并按图像的类别合并简化分类结果。
4.根据权利要求1所述的基于深度学习的多功能图像风格迁移方法，其特征在于：图像特征采用小波特征提取。
5.根据权利要求2所述的基于深度学习的多功能图像风格迁移方法，其特征在于：内容损失函数如下：
Figure FDA0003075773680000021
Pl,c[O]＝Pl,c[O]Hl,c[I]
Pl,c[I]＝Pl,c[I]Hl,c[I]
其中Ml,c[·]是与Pl,c[·]对应的Gram矩阵，I表述输入图像，Hl,c[I]是输入图像第l层的语义分割区域的通道c，WC是语义分割的第cth通道的权值，Nl,c表示第l层第cth通道的滤波器总数；
风格损失函数如下：
Figure FDA0003075773680000022
Pl,c[O]＝Pl,c[O]Hl,c[S]
Pl,c[S]＝Pl,c[S]Hl,c[S]
其中S是指参考风格图像。
6.根据权利要求1所述的基于深度学习的多功能图像风格迁移方法，其特征在于：采用VGG19进行特征提取及风格迁移。
CN202110552692.0A 2021-05-20 2021-05-20 基于深度学习的多功能图像风格迁移方法 Active CN113344771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110552692.0A CN113344771B (zh) 2021-05-20 2021-05-20 基于深度学习的多功能图像风格迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110552692.0A CN113344771B (zh) 2021-05-20 2021-05-20 基于深度学习的多功能图像风格迁移方法

Publications (2)

Publication Number Publication Date
CN113344771A true CN113344771A (zh) 2021-09-03
CN113344771B CN113344771B (zh) 2023-07-25

Family

ID=77470056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110552692.0A Active CN113344771B (zh) 2021-05-20 2021-05-20 基于深度学习的多功能图像风格迁移方法

Country Status (1)

Country Link
CN (1) CN113344771B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114255161A (zh) * 2022-02-28 2022-03-29 武汉大学 一种双尺度解耦的逼真图像颜色迁移方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357800A1 (en) * 2017-06-09 2018-12-13 Adobe Systems Incorporated Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
CN109766895A (zh) * 2019-01-03 2019-05-17 京东方科技集团股份有限公司 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法
CN111242841A (zh) * 2020-01-15 2020-06-05 杭州电子科技大学 一种基于语义分割和深度学习的图片背景风格迁移方法
CN111429342A (zh) * 2020-03-31 2020-07-17 河南理工大学 一种基于风格语料库约束的照片风格迁移方法
CN111626918A (zh) * 2020-04-29 2020-09-04 杭州火烧云科技有限公司 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357800A1 (en) * 2017-06-09 2018-12-13 Adobe Systems Incorporated Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
CN109766895A (zh) * 2019-01-03 2019-05-17 京东方科技集团股份有限公司 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法
CN111242841A (zh) * 2020-01-15 2020-06-05 杭州电子科技大学 一种基于语义分割和深度学习的图片背景风格迁移方法
CN111429342A (zh) * 2020-03-31 2020-07-17 河南理工大学 一种基于风格语料库约束的照片风格迁移方法
CN111626918A (zh) * 2020-04-29 2020-09-04 杭州火烧云科技有限公司 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FUJUN LUAN 等: "Deep Photo Style Transfer", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
FUJUN LUAN 等: "Deep Photo Style Transfer", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, 31 December 2017 (2017-12-31), pages 4990 - 4998 *
JAEJUN YOO, YOUNGJUNG UH, SANGHYUK CHUN: "Photorealistic Style Transfer via Wavelet Transforms", HTTPS://ARXIV.ORG/ABS/1903.09760, pages 1 - 17 *
黄俊健 等: "基于高频小波损失的生成对抗人脸补全方法研究", 《计算机应用与软件》 *
黄俊健 等: "基于高频小波损失的生成对抗人脸补全方法研究", 《计算机应用与软件》, 12 February 2021 (2021-02-12), pages 233 - 238 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114255161A (zh) * 2022-02-28 2022-03-29 武汉大学 一种双尺度解耦的逼真图像颜色迁移方法及设备

Also Published As

Publication number Publication date
CN113344771B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN109671023B (zh) 一种人脸图像超分辨率二次重建方法
CN110458750B (zh) 一种基于对偶学习的无监督图像风格迁移方法
CN108804397B (zh) 一种基于少量目标字体的汉字字体转换生成的方法
CN111242841B (zh) 一种基于语义分割和深度学习的图片背景风格迁移方法
CN111275618A (zh) 一种基于双支感知的深度图超分辨率重建网络构建方法
CN106780367B (zh) 基于字典学习的hdr照片风格转移方法
CN111242844B (zh) 图像处理方法、装置、服务器和存储介质
CN111986075B (zh) 一种目标边缘清晰化的风格迁移方法
CN110570377A (zh) 一种基于组归一化的快速图像风格迁移方法
Li et al. Globally and locally semantic colorization via exemplar-based broad-GAN
CN113837946B (zh) 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
CN112767283A (zh) 一种基于多图像块划分的非均匀图像去雾方法
CN110276753A (zh) 基于特征空间统计信息映射的目标自适应隐藏方法
CN111160138A (zh) 一种基于卷积神经网络的快速人脸交换方法
CN113392711A (zh) 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统
CN112837212B (zh) 一种基于流形对齐的图像任意风格迁移方法
CN113344771A (zh) 基于深度学习的多功能图像风格迁移方法
CN113011438B (zh) 基于节点分类和稀疏图学习的双模态图像显著性检测方法
CN112541856B (zh) 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法
Ye et al. Multi-style transfer and fusion of image’s regions based on attention mechanism and instance segmentation
CN113436101A (zh) 基于高效通道注意力机制的龙格库塔模块去雨的方法
CN117351340A (zh) 基于双颜色空间的水下图像增强算法
CN115601744B (zh) 一种车身与车牌颜色相近的车牌检测方法
CN112435237A (zh) 一种基于数据增强与深度网络的皮肤病变分割方法
CN117078551A (zh) 结合双分支核自适应和多尺度融合的水下图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant