CN110097604B - 图像颜色风格转移方法 - Google Patents

图像颜色风格转移方法 Download PDF

Info

Publication number
CN110097604B
CN110097604B CN201910386187.6A CN201910386187A CN110097604B CN 110097604 B CN110097604 B CN 110097604B CN 201910386187 A CN201910386187 A CN 201910386187A CN 110097604 B CN110097604 B CN 110097604B
Authority
CN
China
Prior art keywords
image
color
source image
resolution
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910386187.6A
Other languages
English (en)
Other versions
CN110097604A (zh
Inventor
冯斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Jingcai Digital Technology Co.,Ltd.
Original Assignee
Hangzhou Zhuxiang Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhuxiang Digital Technology Co ltd filed Critical Hangzhou Zhuxiang Digital Technology Co ltd
Priority to CN201910386187.6A priority Critical patent/CN110097604B/zh
Publication of CN110097604A publication Critical patent/CN110097604A/zh
Application granted granted Critical
Publication of CN110097604B publication Critical patent/CN110097604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本发明公开了一种图像颜色风格转移方法，包括以下步骤：对参考图像和源图像预处理；通过卷积神经网络得到预处理后的参考图像和源图像的特征图；获取参考图像的特征图和源图像的特征图的相互映射函数；根据相互映射函数获取颜色转移导向图；获取缩小分辨率后的源图像到颜色转移导向图的颜色转移函数；根据颜色转移函数对缩小分辨率后的源图像进行颜色转移得到第一目标图像，调节第一目标图像的分辨率得到第二目标图像；将第二目标图像作为新的源图像，重复执行上述步骤一定次数得到最终图像。图像颜色风格转移方法利用卷积神经网络进行深度匹配建立两个图像之间的对应关系用于指导精确的颜色转换，并且通过重复迭代的方式提高颜色转换的准确性。

Description

图像颜色风格转移方法
技术领域
本发明涉及一种图像颜色风格转移方法。
背景技术
目前颜色转移是一个长期存在的问题，我们试图转移参考照片的颜色风格到另一个图像上，通过选取适当的参考照片，可以使输入图像看起来像是在不同的时间、天气条件、照明下拍摄的。该方法可用于艺术颜色修饰的效果。到目前为止，现有技术不可避免地面临一些挑战。
发明内容
本发明提供了一种图像颜色风格转移方法，采用如下的技术方案：
一种图像颜色风格转移方法，用于将参考图像的颜色风格转移至源图像，图像颜色风格转移方法包括以下步骤：
S1：对参考图像进行预处理；
S2：对源图像进行预处理；
S3：将经过步骤S1和步骤S2得到的预处理后的参考图像和源图像分别输入到预先训练好的卷积神经网络得到预处理后的参考图像的特征图和预处理后的源图像的特征图；
S4：获取参考图像的特征图到源图像的特征图的第一映射函数以及源图像的特征图到参考图像的特征图的第二映射函数；
S5：根据第一映射函数和第二映射函数获取颜色转移导向图；
S6：将源图像的分辨率缩小以与颜色转移导向图的分辨率相同；
S7：获取缩小分辨率后的源图像到颜色转移导向图的颜色转移函数；
S8：根据颜色转移函数对缩小分辨率后的源图像进行颜色转移得到第一目标图像，根据源图像的分辨率调节第一目标图像的分辨率得到第二目标图像。
S9：将第二目标图像作为新的源图像，重复执行步骤S2到步骤S8一定次数，得到最终图像。
进一步地，步骤S8进一步为：根据颜色转移函数通过局部颜色转移法对缩小分辨率后的源图像进行颜色转移得到第一目标图像，根据源图像的分辨率调节第一目标图像的分辨率得到第二目标图像。
进一步地，步骤S8进一步为：根据颜色转移函数通过局部颜色转移法对缩小分辨率后的源图像进行颜色转移得到第一目标图像，在进行颜色转移的过程中强制执行局部平滑和非局部约束，根据源图像的分辨率调节第一目标图像的分辨率得到第二目标图像。
进一步地，步骤S9进一步为：将第二目标图像作为新的源图像，重复执行步骤S2到S8大于等于3次且小于等于6次，得到最终图像。
进一步地，步骤S9进一步为：将第二目标图像作为新的源图像，重复执行步骤S2到S8达到6次，得到最终图像。
进一步地，步骤S1和步骤S2中，对参考图像和源图像进行预处理的具体方法为：
对参考图像和源图像进行高通滤波。
进一步地，对参考图像进行预处理的具体方法还包括：
对参考图像进行裁剪。
进一步地，步骤S4进一步为：通过最近邻域滤波算法获取参考图像的特征图到源图像的特征图的第一映射函数以及源图像的特征图到参考图像的特征图的第二映射函数。
进一步地，步骤S5进一步为：通过双向相似度投票法根据第一映射函数和第二映射函数获取颜色转移导向图。
进一步地，卷积神经网络为vgg-19神经网络。
本发明的有益之处在于提供的图像颜色风格转移方法，利用卷积神经网络进行深度匹配，建立起两个图像之间的对应关系，以此用于指导精确的颜色转换，并且通过重复迭代的方式提高颜色转换的准确性。
本发明的有益之处还在于提供的图像颜色风格转移方法，在图像颜色转移的过程中，采用局部颜色转移法，可以避免边缘或详细图案出现不需要的变形。
附图说明
图1是本发明的图像颜色风格转移方法的示意图；
图2是本发明的图像颜色风格转移方法的具体流程图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
如图1所示为本发明的一种图像颜色风格转移方法，用于将参考图像的颜色风格转移至源图像，图像颜色风格转移方法包括以下步骤：S1：对参考图像进行预处理。S2：对源图像进行预处理。S3：将经过步骤S1和步骤S2得到的预处理后的参考图像和源图像分别输入到预先训练好的卷积神经网络得到预处理后的参考图像的特征图和预处理后的源图像的特征图。S4：获取参考图像的特征图到源图像的特征图的第一映射函数以及源图像的特征图到参考图像的特征图的第二映射函数。S5：根据第一映射函数和第二映射函数获取颜色转移导向图。S6：将源图像的分辨率缩小以与颜色转移导向图的分辨率相同。S7：获取缩小分辨率后的源图像到颜色转移导向图的颜色转移函数。步骤S8：根据颜色转移函数对缩小分辨率后的源图像进行颜色转移得到第一目标图像，根据源图像的分辨率调节第一目标图像的分辨率得到第二目标图像。步骤S9：将第二目标图像作为新的源图像，重复执行步骤S3到S8一定次数，得到最终图像。
如图2所示为本发明的具体的流程图，现结合图2对图1中的图像颜色风格转移方法做进一步说明。
对于步骤S1：对参考图像进行预处理和步骤S2：对源图像进行预处理。
具体而言，参考图像和源图像通常会存在一些噪点，首先需要对参考图像和源图像进行滤波去噪，在本实施例中采用高通滤波的方式对图像进行去燥。
进一步地，参考图像可能包含多种不同的颜色风格，而实际情况是我们需要将其中的某一个颜色风格转移至源图像，因此还需要对参考图像进行裁剪，将具有目标颜色风格的部分单独裁剪出来。
对于步骤S3：将经过步骤S1和步骤S2得到的预处理后的参考图像和源图像分别输入到预先训练好的卷积神经网络得到预处理后的参考图像的特征图和预处理后的源图像的特征图。
具体而言，当卷积神经网络接收到预处理后的参考图像和源图像后，卷积神经网络通过其内部对应的网络层提取出预处理后的参考图像的特征图和预处理后的源图像的特征图。在本实施例中，卷积神经网络为VGG-19神经网络。
对于步骤S4：获取参考图像的特征图到源图像的特征图的第一映射函数以及源图像的特征图到参考图像的特征图的第二映射函数。
当获取到参考图像和源图像的特征图后，通过算法获取参考图像的特征图和源图像的特征图之间的映射关系。在本实施例中，通过最近邻域滤波(Nearest neighborfiltering，NNF)算法获取参考图像的特征图到源图像的特征图的第一映射函数以及源图像的特征图到参考图像的特征图的第二映射函数。
对于步骤S5：根据第一映射函数和第二映射函数获取颜色转移导向图。
通过步骤S4得到参考图像的特征图到源图像的特征图的第一映射函数以及源图像的特征图到参考图像的特征图的第二映射函数后，在第一映射函数和第二映射函数的基础上得到颜色转移导向图。在本实施例中，采用双向相似度投票法平衡第一映射函数和第二映射函数，得到颜色转移导向图。
对于步骤S6：将源图像的分辨率缩小以与颜色转移导向图的分辨率相同。
由于源图像和颜色转移导向图的分辨率不同，无法直接建立两者之间的通信，因此需要首先缩小源图像的分辨率以匹配颜色转移导向图。
对于步骤S7：获取缩小分辨率后的源图像到颜色转移导向图的颜色转移函数。
当源图像的分辨率和颜色转移导向图的分辨率相同时，获取从缩小分辨率后的源图像到颜色转移导向图的颜色转换函数。
对于步骤S8：根据颜色转移函数对缩小分辨率后的源图像进行颜色转移得到第一目标图像，根据源图像的分辨率调节第一目标图像的分辨率得到第二目标图像。
具体而言，当得到颜色转换函数后，根据该颜色转换函数，对缩小分辨率后的源图像进行颜色转移得到第一目标图像，再将第一目标图像的分辨率调节成与源图像相同以得到第二目标图像。
在本实施例中，通过局部颜色转移法对缩小分辨率后的源图像进行颜色转移，这样可以避免边缘或详细图案出现不需要的变形。局部颜色传递考虑每个像素的线性变换，因此强制执行局部平滑度和非局部约束，以避免不一致。
对于步骤S9：将第二目标图像作为新的源图像，重复执行步骤S2到步骤S8一定次数，得到最终图像。
经过颜色转移后的第二目标图像在颜色风格上更加趋近于参考图像，将第二目标图像作为新的源图像重复执行步骤S2到步骤S8，可以使输出的第二目标图像的颜色风格更加接近参考图像，如此重复一定次数，可以获得较好的转移效果。
可以理解的是，重复的次数越多，需要的分析的时间越长，影响处理效率，因此，一般重复执行的次数设为大于等于3次且小于等于6次。在本实施例中，重复执行的次数设为4次，此时，经过S8得到的第二目标图像为最终图像。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种图像颜色风格转移方法，用于将参考图像的颜色风格转移至源图像，其特征在于，所述图像颜色风格转移方法包括以下步骤：
S1：对所述参考图像进行预处理；
S2：对所述源图像进行预处理；
S3：将经过步骤S1和步骤S2得到的预处理后的所述参考图像和所述源图像分别输入到预先训练好的卷积神经网络得到预处理后的所述参考图像的特征图和预处理后的所述源图像的特征图；
S4：获取所述参考图像的特征图到所述源图像的特征图的第一映射函数以及所述源图像的特征图到所述参考图像的特征图的第二映射函数；
S5：根据第一映射函数和所述第二映射函数获取颜色转移导向图；
S6：将所述源图像的分辨率缩小以与所述颜色转移导向图的分辨率相同；
S7：获取缩小分辨率后的所述源图像到所述颜色转移导向图的颜色转移函数；
S8：根据所述颜色转移函数对缩小分辨率后的所述源图像进行颜色转移得到第一目标图像，根据所述源图像的分辨率调节所述第一目标图像的分辨率得到第二目标图像；
S9：将所述第二目标图像作为新的所述源图像，重复执行步骤S2到步骤S8一定次数，得到最终图像。
2.根据权利要求1所述的图像颜色风格转移方法，其特征在于，
步骤S8进一步为：根据所述颜色转移函数通过局部颜色转移法对缩小分辨率后的所述源图像进行颜色转移得到第一目标图像，根据所述源图像的分辨率调节所述第一目标图像的分辨率得到第二目标图像。
3.根据权利要求2所述的图像颜色风格转移方法，其特征在于，
步骤S8进一步为：根据所述颜色转移函数通过局部颜色转移法对缩小分辨率后的所述源图像进行颜色转移得到第一目标图像，在进行颜色转移的过程中强制执行局部平滑和非局部约束，根据所述源图像的分辨率调节所述第一目标图像的分辨率得到第二目标图像。
4.根据权利要求1所述的图像颜色风格转移方法，其特征在于，
步骤S9进一步为：将所述第二目标图像作为新的所述源图像，重复执行步骤S2到S8大于等于3次且小于等于6次，得到最终图像。
5.根据权利要求4所述的图像颜色风格转移方法，其特征在于，
步骤S9进一步为：将所述第二目标图像作为新的所述源图像，重复执行步骤S2到S8达到6次，得到最终图像。
6.根据权利要求1所述的图像颜色风格转移方法，其特征在于，
步骤S1和步骤S2中，对所述参考图像和所述源图像进行预处理的具体方法为：
对所述参考图像和所述源图像进行高通滤波。
7.根据权利要求6所述的图像颜色风格转移方法，其特征在于，
步骤S1中，对所述参考图像进行预处理的具体方法还包括：对所述参考图像进行裁剪。
8.根据权利要求1所述的图像颜色风格转移方法，其特征在于，
步骤S4进一步为：通过最近邻域滤波算法获取所述参考图像的特征图到所述源图像的特征图的第一映射函数以及所述源图像的特征图到所述参考图像的特征图的第二映射函数。
9.根据权利要求1所述的图像颜色风格转移方法，其特征在于，
步骤S5进一步为：通过双向相似度投票法根据所述第一映射函数和所述第二映射函数获取颜色转移导向图。
10.根据权利要求1所述的图像颜色风格转移方法，其特征在于，
所述卷积神经网络为vgg-19神经网络。
CN201910386187.6A 2019-05-09 2019-05-09 图像颜色风格转移方法 Active CN110097604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910386187.6A CN110097604B (zh) 2019-05-09 2019-05-09 图像颜色风格转移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910386187.6A CN110097604B (zh) 2019-05-09 2019-05-09 图像颜色风格转移方法

Publications (2)

Publication Number Publication Date
CN110097604A CN110097604A (zh) 2019-08-06
CN110097604B true CN110097604B (zh) 2021-05-11

Family

ID=67447579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910386187.6A Active CN110097604B (zh) 2019-05-09 2019-05-09 图像颜色风格转移方法

Country Status (1)

Country Link
CN (1) CN110097604B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187371A (zh) * 2020-09-14 2022-03-15 Oppo广东移动通信有限公司 背景图像生成方法、装置、存储介质与电子设备
CN113411550B (zh) * 2020-10-29 2022-07-19 腾讯科技（深圳）有限公司 视频上色方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709532A (zh) * 2017-01-25 2017-05-24 京东方科技集团股份有限公司 图像处理方法和装置
CN106960457A (zh) * 2017-03-02 2017-07-18 华侨大学 一种基于图像语义提取和涂鸦的彩绘画创作方法
CN108596830A (zh) * 2018-04-28 2018-09-28 国信优易数据有限公司 一种图像风格迁移模型训练方法以及图像风格迁移方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180247201A1 (en) * 2017-02-28 2018-08-30 Nvidia Corporation Systems and methods for image-to-image translation using variational autoencoders
CN106952224B (zh) * 2017-03-30 2019-08-13 电子科技大学 一种基于卷积神经网络的图像风格转移方法
CN108038818A (zh) * 2017-12-06 2018-05-15 电子科技大学 一种基于多重循环一致性的生成对抗式网络图像风格转移方法
CN108961350B (zh) * 2018-07-17 2023-09-19 北京工业大学 一种基于显著度匹配的画风迁移方法
CN109410148A (zh) * 2018-11-06 2019-03-01 电子科技大学 一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709532A (zh) * 2017-01-25 2017-05-24 京东方科技集团股份有限公司 图像处理方法和装置
CN106960457A (zh) * 2017-03-02 2017-07-18 华侨大学 一种基于图像语义提取和涂鸦的彩绘画创作方法
CN108596830A (zh) * 2018-04-28 2018-09-28 国信优易数据有限公司 一种图像风格迁移模型训练方法以及图像风格迁移方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
图像艺术风格化的研究现状;邓盈盈 等;《南京信息工程大学学报》;20171231;第9卷(第6期);第593-598页 *

Also Published As

Publication number Publication date
CN110097604A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN108537746B (zh) 一种基于深度卷积网络的模糊可变图像盲复原方法
JP6752855B2 (ja) 映像イメージをセグメンテーションする方法及びこれを利用した装置
CN106778928B (zh) 图像处理方法及装置
CN110598692B (zh) 一种基于深度学习的椭圆识别方法
CN105868797A (zh) 网络参数训练方法、景物类型识别方法及装置
CN103514459A (zh) 一种基于Android手机平台的识别农作物病虫害的方法及系统
CN110097604B (zh) 图像颜色风格转移方法
JP6857369B2 (ja) Ｃｎｎを学習する方法及び学習装置、それを利用したテスト方法及びテスト装置
CN104732546B (zh) 区域相似性和局部空间约束的非刚性sar图像配准方法
CN110334605A (zh) 基于神经网络的手势识别方法、装置、存储介质及设备
CN111932645B (zh) 基于生成对抗网络gan自动生成水墨画的方法
CN110929762B (zh) 一种基于深度学习的肢体语言检测与行为分析方法及系统
CN110674824A (zh) 基于R2U-Net的手指静脉分割方法、装置和存储介质
CN110992374A (zh) 一种基于深度学习的头发精细化分割方法及系统
CN111340745A (zh) 一种图像生成方法、装置、存储介质及电子设备
CN114549555A (zh) 一种基于语义分割网络的人耳图像解刨学分割方法
CN109920021A (zh) 一种基于正则化宽度学习网络的人脸素描合成方法
CN110969631A (zh) 一种精细化照片染发方法及系统
CN113903028A (zh) 一种目标检测方法及电子设备
CN112598587A (zh) 一种联合人脸去口罩和超分辨率的图像处理系统和方法
CN110826565A (zh) 基于跨连接的卷积神经网络齿痕舌象分类方法及系统
CN113096023A (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
CN110826534A (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
CN112070686B (zh) 一种基于深度学习的逆光图像协同增强方法
KR102416202B1 (ko) 정확도가 향상된 콘볼루션 신경망 기반 분류 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220331

Address after: 310012 room 306, No. 3-8 and 3-9, Macheng Road, Xixi street, Xihu District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Jingcai Digital Technology Co.,Ltd.

Address before: 310000 room 6124, 6th floor, No. 92, Huancheng North Road, Xiacheng District, Hangzhou City, Zhejiang Province

Patentee before: Hangzhou Zhuxiang Digital Technology Co.,Ltd.