CN110097604A - 图像颜色风格转移方法 - Google Patents

图像颜色风格转移方法 Download PDF

Info

Publication number
CN110097604A
CN110097604A CN201910386187.6A CN201910386187A CN110097604A CN 110097604 A CN110097604 A CN 110097604A CN 201910386187 A CN201910386187 A CN 201910386187A CN 110097604 A CN110097604 A CN 110097604A
Authority
CN
China
Prior art keywords
color
source images
image
reference picture
characteristic pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910386187.6A
Other languages
English (en)
Other versions
CN110097604B (zh
Inventor
冯斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Jingcai Digital Technology Co.,Ltd.
Original Assignee
Hangzhou Zhuxiang Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhuxiang Digital Technology Co Ltd filed Critical Hangzhou Zhuxiang Digital Technology Co Ltd
Priority to CN201910386187.6A priority Critical patent/CN110097604B/zh
Publication of CN110097604A publication Critical patent/CN110097604A/zh
Application granted granted Critical
Publication of CN110097604B publication Critical patent/CN110097604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明公开了一种图像颜色风格转移方法，包括以下步骤：对参考图像和源图像预处理；通过卷积神经网络得到预处理后的参考图像和源图像的特征图；获取参考图像的特征图和源图像的特征图的相互映射函数；根据相互映射函数获取颜色转移导向图；获取缩小分辨率后的源图像到颜色转移导向图的颜色转移函数；根据颜色转移函数对缩小分辨率后的源图像进行颜色转移得到第一目标图像，调节第一目标图像的分辨率得到第二目标图像；将第二目标图像作为新的源图像，重复执行上述步骤一定次数得到最终图像。图像颜色风格转移方法利用卷积神经网络进行深度匹配建立两个图像之间的对应关系用于指导精确的颜色转换，并且通过重复迭代的方式提高颜色转换的准确性。

Description

图像颜色风格转移方法
技术领域
本发明涉及一种图像颜色风格转移方法。
背景技术
目前颜色转移是一个长期存在的问题，我们试图转移参考照片的颜色风格到另一个图像上，通过选取适当的参考照片，可以使输入图像看起来像是在不同的时间、天气条件、照明下拍摄的。该方法可用于艺术颜色修饰的效果。到目前为止，现有技术不可避免地面临一些挑战。
发明内容
本发明提供了一种图像颜色风格转移方法，采用如下的技术方案：
一种图像颜色风格转移方法，用于将参考图像的颜色风格转移至源图像，图像颜色风格转移方法包括以下步骤：
S1：对参考图像进行预处理；
S2：对源图像进行预处理；
S3：将经过步骤S1和步骤S2得到的预处理后的参考图像和源图像分别输入到预先训练好的卷积神经网络得到预处理后的参考图像的特征图和预处理后的源图像的特征图；
S4：获取参考图像的特征图到源图像的特征图的第一映射函数以及源图像的特征图到参考图像的特征图的第二映射函数；
S5：根据第一映射函数和第二映射函数获取颜色转移导向图；
S6：将源图像的分辨率缩小以与颜色转移导向图的分辨率相同；
S7：获取缩小分辨率后的源图像到颜色转移导向图的颜色转移函数；
S8：根据颜色转移函数对缩小分辨率后的源图像进行颜色转移得到第一目标图像，根据源图像的分辨率调节第一目标图像的分辨率得到第二目标图像。
S9：将第二目标图像作为新的源图像，重复执行步骤S3到步骤S8一定次数，得到最终图像。
进一步地，步骤S8进一步为：根据颜色转移函数通过局部颜色转移法对缩小分辨率后的源图像进行颜色转移得到第一目标图像，根据源图像的分辨率调节第一目标图像的分辨率得到第二目标图像。
进一步地，步骤S8进一步为：根据颜色转移函数通过局部颜色转移法对缩小分辨率后的源图像进行颜色转移得到第一目标图像，在进行颜色转移的过程中强制执行局部平滑和非局部约束，根据源图像的分辨率调节第一目标图像的分辨率得到第二目标图像。
进一步地，步骤S9进一步为：将第二目标图像作为新的源图像，重复执行步骤S3到S8大于等于3次且小于等于6次，得到最终图像。
进一步地，步骤S9进一步为：将第二目标图像作为新的源图像，重复执行步骤S3到S8达到6次，得到最终图像。
进一步地，步骤S1和步骤S2中，对参考图像和源图像进行预处理的具体方法为：
对参考图像和源图像进行高通滤波。
进一步地，对参考图像进行预处理的具体方法还包括：
对参考图像进行裁剪。
进一步地，步骤S4进一步为：通过最近邻域滤波算法获取参考图像的特征图到源图像的特征图的第一映射函数以及源图像的特征图到参考图像的特征图的第二映射函数。
进一步地，步骤S5进一步为：通过双向相似度投票法根据第一映射函数和第二映射函数获取颜色转移导向图。
进一步地，卷积神经网络为vgg-19神经网络。
本发明的有益之处在于提供的图像颜色风格转移方法，利用卷积神经网络进行深度匹配，建立起两个图像之间的对应关系，以此用于指导精确的颜色转换，并且通过重复迭代的方式提高颜色转换的准确性。
本发明的有益之处还在于提供的图像颜色风格转移方法，在图像颜色转移的过程中，采用局部颜色转移法，可以避免边缘或详细图案出现不需要的变形。
附图说明
图1是本发明的图像颜色风格转移方法的示意图；
图2是本发明的图像颜色风格转移方法的具体流程图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
如图1所示为本发明的一种图像颜色风格转移方法，用于将参考图像的颜色风格转移至源图像，图像颜色风格转移方法包括以下步骤：S1：对参考图像进行预处理。S2：对源图像进行预处理。S3：将经过步骤S1和步骤S2得到的预处理后的参考图像和源图像分别输入到预先训练好的卷积神经网络得到预处理后的参考图像的特征图和预处理后的源图像的特征图。S4：获取参考图像的特征图到源图像的特征图的第一映射函数以及源图像的特征图到参考图像的特征图的第二映射函数。S5：根据第一映射函数和第二映射函数获取颜色转移导向图。S6：将源图像的分辨率缩小以与颜色转移导向图的分辨率相同。S7：获取缩小分辨率后的源图像到颜色转移导向图的颜色转移函数。步骤S8：根据颜色转移函数对缩小分辨率后的源图像进行颜色转移得到第一目标图像，根据源图像的分辨率调节第一目标图像的分辨率得到第二目标图像。步骤S9：将第二目标图像作为新的源图像，重复执行步骤S3到S8一定次数，得到最终图像。
如图2所示为本发明的具体的流程图，现结合图2对图1中的图像颜色风格转移方法做进一步说明。
对于步骤S1：对参考图像进行预处理和步骤S2：对源图像进行预处理。
具体而言，参考图像和源图像通常会存在一些噪点，首先需要对参考图像和源图像进行滤波去噪，在本实施例中采用高通滤波的方式对图像进行去燥。
进一步地，参考图像可能包含多种不同的颜色风格，而实际情况是我们需要将其中的某一个颜色风格转移至源图像，因此还需要对参考图像进行裁剪，将具有目标颜色风格的部分单独裁剪出来。
对于步骤S3：将经过步骤S1和步骤S2得到的预处理后的参考图像和源图像分别输入到预先训练好的卷积神经网络得到预处理后的参考图像的特征图和预处理后的源图像的特征图。
具体而言，当卷积神经网络接收到预处理后的参考图像和源图像后，卷积神经网络通过其内部对应的网络层提取出预处理后的参考图像的特征图和预处理后的源图像的特征图。在本实施例中，卷积神经网络为VGG-19神经网络。
对于步骤S4：获取参考图像的特征图到源图像的特征图的第一映射函数以及源图像的特征图到参考图像的特征图的第二映射函数。
当获取到参考图像和源图像的特征图后，通过算法获取参考图像的特征图和源图像的特征图之间的映射关系。在本实施例中，通过最近邻域滤波(Nearest neighborfiltering，NNF)算法获取参考图像的特征图到源图像的特征图的第一映射函数以及源图像的特征图到参考图像的特征图的第二映射函数。
对于步骤S5：根据第一映射函数和第二映射函数获取颜色转移导向图。
通过步骤S4得到参考图像的特征图到源图像的特征图的第一映射函数以及源图像的特征图到参考图像的特征图的第二映射函数后，在第一映射函数和第二映射函数的基础上得到颜色转移导向图。在本实施例中，采用双向相似度投票法平衡第一映射函数和第二映射函数，得到颜色转移导向图。
对于步骤S6：将源图像的分辨率缩小以与颜色转移导向图的分辨率相同。
由于源图像和颜色转移导向图的分辨率不同，无法直接建立两者之间的通信，因此需要首先缩小源图像的分辨率以匹配颜色转移导向图。
对于步骤S7：获取缩小分辨率后的源图像到颜色转移导向图的颜色转移函数。
当源图像的分辨率和颜色转移导向图的分辨率相同时，获取从缩小分辨率后的源图像到颜色转移导向图的颜色转换函数。
对于步骤S8：根据颜色转移函数对缩小分辨率后的源图像进行颜色转移得到第一目标图像，根据源图像的分辨率调节第一目标图像的分辨率得到第二目标图像。
具体而言，当得到颜色转换函数后，根据该颜色转换函数，对缩小分辨率后的源图像进行颜色转移得到第一目标图像，再将第一目标图像的分辨率调节成与源图像相同以得到第二目标图像。
在本实施例中，通过局部颜色转移法对缩小分辨率后的源图像进行颜色转移，这样可以避免边缘或详细图案出现不需要的变形。局部颜色传递考虑每个像素的线性变换，因此强制执行局部平滑度和非局部约束，以避免不一致。
对于步骤S9：将第二目标图像作为新的源图像，重复执行步骤S3到步骤S8一定次数，得到最终图像。
经过颜色转移后的第二目标图像在颜色风格上更加趋近于参考图像，将第二目标图像作为新的源图像重复执行步骤S3到步骤S8，可以使输出的第二目标图像的颜色风格更加接近参考图像，如此重复一定次数，可以获得较好的转移效果。
可以理解的是，重复的次数越多，需要的分析的时间越长，影响处理效率，因此，一般重复执行的次数设为大于等于3次且小于等于6次。在本实施例中，重复执行的次数设为4次，此时，经过S8得到的第二目标图像为最终图像。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种图像颜色风格转移方法，用于将参考图像的颜色风格转移至源图像，其特征在于，所述图像颜色风格转移方法包括以下步骤：
S1：对所述参考图像进行预处理；
S2：对所述源图像进行预处理；
S3：将经过步骤S1和步骤S2得到的预处理后的所述参考图像和所述源图像分别输入到预先训练好的卷积神经网络得到预处理后的所述参考图像的特征图和预处理后的所述源图像的特征图；
S4：获取所述参考图像的特征图到所述源图像的特征图的第一映射函数以及所述源图像的特征图到所述参考图像的特征图的第二映射函数；
S5：根据第一映射函数和所述第二映射函数获取颜色转移导向图；
S6：将所述源图像的分辨率缩小以与所述颜色转移导向图的分辨率相同；
S7：获取缩小分辨率后的所述源图像到所述颜色转移导向图的颜色转移函数；
S8：根据所述颜色转移函数对缩小分辨率后的所述源图像进行颜色转移得到第一目标图像，根据所述源图像的分辨率调节所述第一目标图像的分辨率得到第二目标图像；
S9：将所述第二目标图像作为新的所述源图像，重复执行步骤S3到步骤S8一定次数，得到最终图像。
2.根据权利要求1所述的图像颜色风格转移方法，其特征在于，
步骤S8进一步为：根据所述颜色转移函数通过局部颜色转移法对缩小分辨率后的所述源图像进行颜色转移得到第一目标图像，根据所述源图像的分辨率调节所述第一目标图像的分辨率得到第二目标图像。
3.根据权利要求2所述的图像颜色风格转移方法，其特征在于，
步骤S8进一步为：根据所述颜色转移函数通过局部颜色转移法对缩小分辨率后的所述源图像进行颜色转移得到第一目标图像，在进行颜色转移的过程中强制执行局部平滑和非局部约束，根据所述源图像的分辨率调节所述第一目标图像的分辨率得到第二目标图像。
4.根据权利要求1所述的图像颜色风格转移方法，其特征在于，
步骤S9进一步为：将所述第二目标图像作为新的所述源图像，重复执行步骤S3到S8大于等于3次且小于等于6次，得到最终图像。
5.根据权利要求4所述的图像颜色风格转移方法，其特征在于，
步骤S9进一步为：将所述第二目标图像作为新的所述源图像，重复执行步骤S3到S8达到6次，得到最终图像。
6.根据权利要求1所述的图像颜色风格转移方法，其特征在于，
步骤S1和步骤S2中，对所述参考图像和所述源图像进行预处理的具体方法为：
对所述参考图像和所述源图像进行高通滤波。
7.根据权利要求6所述的图像颜色风格转移方法，其特征在于，
步骤S1中，对所述参考图像进行预处理的具体方法还包括：对所述参考图像进行裁剪。
8.根据权利要求1所述的图像颜色风格转移方法，其特征在于，
步骤S4进一步为：通过最近邻域滤波算法获取所述参考图像的特征图到所述源图像的特征图的第一映射函数以及所述源图像的特征图到所述参考图像的特征图的第二映射函数。
9.根据权利要求1所述的图像颜色风格转移方法，其特征在于，
步骤S5进一步为：通过双向相似度投票法根据所述第一映射函数和所述第二映射函数获取颜色转移导向图。
10.根据权利要求1所述的图像颜色风格转移方法，其特征在于，
所述卷积神经网络为vgg-19神经网络。
CN201910386187.6A 2019-05-09 2019-05-09 图像颜色风格转移方法 Active CN110097604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910386187.6A CN110097604B (zh) 2019-05-09 2019-05-09 图像颜色风格转移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910386187.6A CN110097604B (zh) 2019-05-09 2019-05-09 图像颜色风格转移方法

Publications (2)

Publication Number Publication Date
CN110097604A true CN110097604A (zh) 2019-08-06
CN110097604B CN110097604B (zh) 2021-05-11

Family

ID=67447579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910386187.6A Active CN110097604B (zh) 2019-05-09 2019-05-09 图像颜色风格转移方法

Country Status (1)

Country Link
CN (1) CN110097604B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411550A (zh) * 2020-10-29 2021-09-17 腾讯科技（深圳）有限公司 视频上色方法、装置、设备及存储介质
WO2022052669A1 (zh) * 2020-09-14 2022-03-17 Oppo广东移动通信有限公司 背景图像生成方法、装置、存储介质与电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709532A (zh) * 2017-01-25 2017-05-24 京东方科技集团股份有限公司 图像处理方法和装置
CN106952224A (zh) * 2017-03-30 2017-07-14 电子科技大学 一种基于卷积神经网络的图像风格转移方法
CN106960457A (zh) * 2017-03-02 2017-07-18 华侨大学 一种基于图像语义提取和涂鸦的彩绘画创作方法
CN108038818A (zh) * 2017-12-06 2018-05-15 电子科技大学 一种基于多重循环一致性的生成对抗式网络图像风格转移方法
US20180247201A1 (en) * 2017-02-28 2018-08-30 Nvidia Corporation Systems and methods for image-to-image translation using variational autoencoders
CN108596830A (zh) * 2018-04-28 2018-09-28 国信优易数据有限公司 一种图像风格迁移模型训练方法以及图像风格迁移方法
CN108961350A (zh) * 2018-07-17 2018-12-07 北京工业大学 一种基于显著度匹配的画风迁移方法
CN109410148A (zh) * 2018-11-06 2019-03-01 电子科技大学 一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709532A (zh) * 2017-01-25 2017-05-24 京东方科技集团股份有限公司 图像处理方法和装置
US20180247201A1 (en) * 2017-02-28 2018-08-30 Nvidia Corporation Systems and methods for image-to-image translation using variational autoencoders
CN106960457A (zh) * 2017-03-02 2017-07-18 华侨大学 一种基于图像语义提取和涂鸦的彩绘画创作方法
CN106952224A (zh) * 2017-03-30 2017-07-14 电子科技大学 一种基于卷积神经网络的图像风格转移方法
CN108038818A (zh) * 2017-12-06 2018-05-15 电子科技大学 一种基于多重循环一致性的生成对抗式网络图像风格转移方法
CN108596830A (zh) * 2018-04-28 2018-09-28 国信优易数据有限公司 一种图像风格迁移模型训练方法以及图像风格迁移方法
CN108961350A (zh) * 2018-07-17 2018-12-07 北京工业大学 一种基于显著度匹配的画风迁移方法
CN109410148A (zh) * 2018-11-06 2019-03-01 电子科技大学 一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JING LIAO等: "Visual attribute transfer through deep image analogy", 《ACM TRANSACTIONS ON GRAPHICS》 *
JUN-YAN ZHU等: "Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks", 《ICCV》 *
邓盈盈 等: "图像艺术风格化的研究现状", 《南京信息工程大学学报》 *
陈淑環等: "基于深度学习的图像风格迁移研究综述", 《计算机应用研究》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022052669A1 (zh) * 2020-09-14 2022-03-17 Oppo广东移动通信有限公司 背景图像生成方法、装置、存储介质与电子设备
CN113411550A (zh) * 2020-10-29 2021-09-17 腾讯科技（深圳）有限公司 视频上色方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110097604B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN109191382B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108876735B (zh) 一种基于深度残差网络的真实图像盲去噪方法
Brifman et al. Turning a denoiser into a super-resolver using plug and play priors
CN109064396A (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN108564549B (zh) 一种基于多尺度稠密连接网络的图像去雾方法
Wu et al. Demosaicing based on directional difference regression and efficient regression priors
US7536064B2 (en) Image comparison by metric embeddings
CN112435191B (zh) 一种基于多个神经网络结构融合的低照度图像增强方法
CN103279936B (zh) 基于画像的人脸伪照片自动合成及修正方法
CN107169535A (zh) 生物多光谱图像的深度学习分类方法及装置
CN110458831A (zh) 一种基于深度学习的脊柱侧弯图像处理方法
CN105528485B (zh) 一种从位图自动轮廓提取及路径生成的方法
CN110276726A (zh) 一种基于多通道网络先验信息引导的图像去模糊方法
CN109410135B (zh) 一种对抗学习型图像去雾、加雾方法
CN103295010B (zh) 一种处理人脸图像的光照归一化方法
CN110097604A (zh) 图像颜色风格转移方法
CN105631807A (zh) 基于稀疏域选取的单帧图像超分辨重建方法
CN110472495B (zh) 一种基于图形推理全局特征的深度学习人脸识别方法
CN111861906A (zh) 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法
CN110969631A (zh) 一种精细化照片染发方法及系统
CN111008936A (zh) 一种多光谱图像全色锐化方法
WO2021106853A1 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、撮像装置、及びプログラム
WO2020233368A1 (zh) 表情识别模型训练方法、装置、设备和存储介质
CN112767271A (zh) 一种基于三维变分网络的高光谱图像深度降噪的方法
CN105426847A (zh) 低质量自然光虹膜图像非线性增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220331

Address after: 310012 room 306, No. 3-8 and 3-9, Macheng Road, Xixi street, Xihu District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Jingcai Digital Technology Co.,Ltd.

Address before: 310000 room 6124, 6th floor, No. 92, Huancheng North Road, Xiacheng District, Hangzhou City, Zhejiang Province

Patentee before: Hangzhou Zhuxiang Digital Technology Co.,Ltd.