CN108876870A - 一种考虑纹理复杂性的域映射GANs图像着色方法 - Google Patents

一种考虑纹理复杂性的域映射GANs图像着色方法 Download PDF

Info

Publication number
CN108876870A
CN108876870A CN201810538118.8A CN201810538118A CN108876870A CN 108876870 A CN108876870 A CN 108876870A CN 201810538118 A CN201810538118 A CN 201810538118A CN 108876870 A CN108876870 A CN 108876870A
Authority
CN
China
Prior art keywords
image
complexity
gans
model
loss coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810538118.8A
Other languages
English (en)
Other versions
CN108876870B (zh
Inventor
钟尚平
徐强
陈开志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201810538118.8A priority Critical patent/CN108876870B/zh
Publication of CN108876870A publication Critical patent/CN108876870A/zh
Application granted granted Critical
Publication of CN108876870B publication Critical patent/CN108876870B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种考虑纹理复杂性的域映射GANs图像着色方法,收集图像,并建立图像训练集;对图像训练集进行预处理,包括:图像深度检测、图像裁剪和图像归一化;通过模型选择、图像集的复杂性计算以及循环一致损失系数选择,利用反向传播和Adam优化算法更新模型网络参数,进行模型训练;输入待着色的图像,采用步骤S3计算待着色图像集的图像集合复杂性,选择与其复杂性相同且已训练的模型,进行图像着色,输出相应的着色图像。本发明提出的方法能根据图像集纹理复杂度,选取大小合适的循环一致损失系数,使得模型能够对不同纹理复杂性的图像进行着色,具有很好的通用性;同时将深度学习引入图像着色领域,为图像着色提供了一种新的思路。

Description

一种考虑纹理复杂性的域映射GANs图像着色方法
技术领域
本发明涉及图像着色领域,特别是一种考虑纹理复杂性的域映射GANs图像着色方法。
背景技术
随着社会的发展,科学的进步,如何给黑白图,素描图等颜色单一的图像着色,对图像处理提出了新的要求。建立在非合作博弈基础上的GANs(GenerativeAdversarialNetworks生成对抗网络)为许多图像处理等计算机视觉任务提供了强有力的支持。目前业界提出了众多的GANs改进算法致力于解决不同场景的任务。将深度学习引入图像着色,相比与传统的人工方式以及传统的机器学习方式,对于提高着色效率,效果具有重要意义。但是现有的着色技术总并未考虑到图像纹理复杂性对图像着色的影响,对着色效果存在巨大影响。
发明内容
本发明的目的在于提供一种考虑纹理复杂性的域映射GANs图像着色方法,以克服现有技术中存在的缺陷。
为实现上述目的,本发明的技术方案是:一种考虑纹理复杂性的域映射GANs图像着色方法,按照如下步骤实现:
步骤1:收集图像,并建立图像训练集;
步骤2:对图像训练集进行预处理,包括:图像深度检测、图像裁剪和图像归一化;
步骤3:通过模型选择、图像集的复杂性计算以及循环一致损失系数选择,利用反向传播和Adam优化算法更新模型网络参数,进行模型训练;
步骤4:输入待着色的图像,采用所述步骤S3计算待着色图像集的图像集合复杂性,选择与其复杂性相同且已训练的模型,进行图像着色,输出相应的着色图像。
在本发明一实施例中,在所述步骤S1中,所述图像训练集包括:未着色的图像数据集以及对应的已着色图像数据集。
在本发明一实施例中,在所述步骤S2中,
所述图像深度检测包括对所述图像训练集进行图像深度的检测,为了保证训练过程中图像通道的一致性,仅取RGB,24bit深度的JPG格式图像;
所述图像裁剪包括将所述图像训练集进行图像裁剪,统一裁剪成256*256像素大小;
所述图像归一化包括对所述图像训练集进行归一化处理,使得所有图像的输入归一化之后像素值都在[0,1]区间内。
在本发明一实施例中,在所述步骤S3中,
所述模型选择包括:选择CycleGAN模型,在原始GANs的基础上,增加循环一致损失函数,学习双边映射,控制着色的轮廓和风格,在像素级别控制图像着色,减少映射空间的大小,保留输入待着色图像的轮廓;
所述图像集合复杂性计算包括:利用模糊数学融合图像的空间维度和时间维度,度量图像纹理复杂性,根据所得复杂性的值,将纹理复杂程度分为三个层次:L、M、H;
所述循环一致损失系数选择包括:根据所计算的图像集复杂性以及预设优化选择策略,选择循环一致损失系数;
将域映射GANs模型中默认的循环一致损失系数替换为通过所述循环一致损失系数选择确定循环一致损失系数;利用图像训练集,通过采用反向传播和Adam优化算法更新模型网络参数,进行模型训练。
在本发明一实施例中,所述损失函数为:
其中,映射函数G:X→Y,映射函数F:Y→X,对抗鉴别器DY激励G将X映射成与Y域不可区分的输出,对抗鉴别器DX激励F将Y映射成与X域不可区分的输出,λ为循环一致损失系数;表示整个着色模型的损失函数;表示原始GANs中X的对抗损失;表示原始GANs中Y的对抗损失;表示循环一致损失。
在本发明一实施例中,所述图像集合复杂性计算通过如下方式实现:
G(X)=(G0+G1+G2)/3
其中,hi∈[0,1]是像素i的缩放灰度值,作为像素i对大小为N的矢量化图像O的归属程度,也即全白图像的归属程度;k为一个图像集中图像的张数;根据C(S)的值,将图像集的纹理复杂程度划分为L、M、H三个层次。
在本发明一实施例中,所述预设优化选择策略如下:
若纹理复杂程度L,则循环一致损失系数取值范围为5~10;
若纹理复杂程度M,则循环一致损失系数取值范围为10~15;
若纹理复杂程度H,则循环一致损失系数取值范围为15~20。
在本发明一实施例中,在所述步骤S4中,根据待着色图像集的复杂性,获取待着色图像集的复杂层次,根据所述预设优化选择策略选择对应的循环一致损失系数,通过已训练的模型进行着色。
相较于现有技术,本发明具有以下有益效果:一种考虑纹理复杂性的域映射GANs图像着色方法,对CycleGAN模型进行改进,将图像的纹理复杂性融入到图像的着色过程中。利用模糊方法融合图像的空间维度和时间维度特征,度量图像集的纹理复杂性。根据循环一致损失系数大小与不同纹理复杂度图像着色质量之间存在关联性,给出循环一致损失系数的优化选择策略,根据图像集纹理复杂性,参考给出的优化策略,选择大小合适的循环一致损失系数,针对不同纹理复杂性的图像集得到不同的着色模型,提高图像着色效果。
附图说明
图1为本发明一实施例中损失函数模型结构图。
图2为本发明一实施例中图像集复杂度层次划分图。
图3为本发明一实施例中考虑纹理复杂性的域映射GANs图像着色方法的着色模型训练流程图。
图4为本发明一实施例中图像着色流程图。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
本发明一种考虑纹理复杂性的域映射GANs图像着色方法,包括以下步骤:
步骤S1:收集图像训练集。
在本实施例中,需要收集复杂度不同的纹理图像训练集。每种不同纹理复杂度数据集包括两部分:
未着色的图像集:这类图像集为未着色的图像训练集,主要为轮廓图,素描图。
已着色的图像集:这类图像为已着色的图像训练集。
步骤S2:对收集的图像集进行预处理,包括图像的深度检测,裁剪和归一化。
在本实施中,在图像深度检测过程中:
由于图像数据类型的多样性,对收集的图像训练集进行图像深度的检测,为了确保训练过程中,图像通道的一致性,只取RGB,24bit深度的JPG图像。
在本实施中,在图像裁剪过程中:
由于图像数据大小的差别性,对收集的图像训练集进行图像裁剪,统一裁剪成256*256像素大小。
在本实施中,在图像归一化过程中:
为了加快模型网络的学习速度,对收集的图像训练集进行归一化处理,使得所有图像的输入归一化之后像素值都在[0,1]区间内。图像归一化是指对图像进行了一系列标准的处理变换,使之变换为一固定标准形式的过程,主要包括坐标中心化,缩放归一化。
步骤S3:如图3所示,通过模型选择、计算图像集的复杂性、选择大小合适的循环一致损失系数,利用反向传播和Adam优化算法更新模型网络参数。
在本实施中,在模型选择过程中:
众多的GANs变种用于解决不同场景的问题,面对不同纹理复杂性的图像着色问题,考虑使用CycleGAN。这是一种域映射GANs变种,主要是在集合层面进行无监督的域映射,并且取得了良好的效果。
模型主要结构如图1所示。在原始GANs的基础上,增加循环一致损失函数,学习双边映射,控制着色的轮廓和风格,在像素级别控制图像着色,减少映射空间的大小,更好地保留输入待着色图像的轮廓。兼顾到待着色图像的轮廓和着色风格。模型损失函数由三部分组成:
对公式部分的解释如下:
其中:
表示整个着色模型的损失函数,训练模型的阶段,主要是在优化这个函数;
表示原始GANs中的对抗损失(说明书附图1中X的对抗损失);
表示原始GANs中的对抗损失(说明书附图1中Y的对抗损失);
表示循环一致损失(说明书附图1c中的cycle-consistency loss)。
其中,图1(a)模型包含两个映射函数G:X→Y和F:Y→X以及相关的对抗鉴别器DY和DX。DY激励G将X映射成与Y域不可区分的输出,DX和F反之亦然。为了进一步正则化映射,引入了两个循环一致性损失,这些损失直接反映了如果从一个领域映射到另一个领域,并且再进行一次相反的映射,应该还原到最初的状态。(b)前向循环一致性损失:x→G(x)→F(G(x))≈x,(c)反向循环一致性损失:y→F(y)→G(F(y))≈y。λ为循环一致损失系数。
在本实施中,在图像集合复杂性计算过程中:
利用模糊数学融合图像的空间维度和时间维度度量图像纹理复杂性,主要计算公式如下:
G(X)=(G0+G1+G2)/3 (4)
对上述公式的说明:
G0(X),G1(X),G2(X):用于通过利用模糊数学的原理评估图像在空间维度和时间维度的复杂性。
G(X):将上述三个公式做平均,取平均值作为单张图像复杂度。
C(S):对于集合来说,度量集合中每张图像的复杂度,取平均值,作为整个集合的复杂度。
式中,hi∈[0,1]是像素i的缩放灰度值,它被视为像素i对大小为N的矢量化图像O(即全白图像)的归属程度。k为一个图像集中图像的张数。根据C(S)的值,将图像集的复杂程度划分为L、M、H三个层次,如图2所示。
在本实施中,在循环一致损失系数选择过程中:
根据所计算的图像集的复杂度,参照以下表1给出的优化选择策略,选择大小合适的循环一致损失系数。
表1图像集纹理复杂性对应λ取值的优化选择策略
在本实施中,在域映射GANs模型训练过程中:
将域映射GANs中默认的循环一致损失系数(默认为10),替换成在循环一致损失系数选择过程中确定的大小。利用训练数据集,反向传播和Adam优化算法更新模型网络参数,进行模型的训练。
步骤S4:如图4所示,输入待着色的图像,计算待着色图像集的复杂性,选择与其复杂性相同且已训练的模型,进行图像的着色,输出相应的着色图像。也即,根据输入待着色图像所处的复杂度层次,并且利用提供的选择策略确定λ取值,获取对应的已训练好的着色模型进行图像的着色。
在本实施例中,计算待着色图像集的复杂度,选择相应的着色模型。根据图像集合复杂性计算过程中的图像纹理复杂性度量,得到待着色图像集的复杂层次,选择复杂性相同且已训练的模,进行图像的着色。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。

Claims (8)

1.一种考虑纹理复杂性的域映射GANs图像着色方法,其特征在于,按照如下步骤实现:
步骤1:收集图像,并建立图像训练集;
步骤2:对图像训练集进行预处理,包括:图像深度检测、图像裁剪和图像归一化;
步骤3:通过模型选择、图像集的复杂性计算以及循环一致损失系数选择,利用反向传播和Adam优化算法更新模型网络参数,进行模型训练;
步骤4:输入待着色的图像,采用所述步骤S3计算待着色图像集的图像集合复杂性,选择与其复杂性相同且已训练的模型,进行图像着色,输出相应的着色图像。
2.根据权利要求1所述的一种考虑纹理复杂性的域映射GANs图像着色方法,其特征在于,在所述步骤S1中,所述图像训练集包括:未着色的图像数据集以及对应的已着色图像数据集。
3.根据权利要求1所述的一种考虑纹理复杂性的域映射GANs图像着色方法,其特征在于,在所述步骤S2中,
所述图像深度检测包括对所述图像训练集进行图像深度的检测,为了保证训练过程中图像通道的一致性,仅取RGB,24bit深度的JPG格式图像;
所述图像裁剪包括将所述图像训练集进行图像裁剪,统一裁剪成256*256像素大小;
所述图像归一化包括对所述图像训练集进行归一化处理,使得所有图像的输入归一化之后像素值都在[0,1]区间内。
4.根据权利要求1所述的一种考虑纹理复杂性的域映射GANs图像着色方法,其特征在于,在所述步骤S3中,
所述模型选择包括:选择CycleGAN模型,在原始GANs的基础上,增加循环一致损失函数,学习双边映射,控制着色的轮廓和风格,在像素级别控制图像着色,减少映射空间的大小,保留输入待着色图像的轮廓;
所述图像集合复杂性计算包括:利用模糊数学融合图像的空间维度和时间维度,度量图像纹理复杂性,根据所得复杂性的值,将纹理复杂程度分为三个层次:L、M、H;
所述循环一致损失系数选择包括:根据所计算的图像集复杂性以及预设优化选择策略,选择循环一致损失系数;
将域映射GANs模型中默认的循环一致损失系数替换为通过所述循环一致损失系数选择确定循环一致损失系数;利用图像训练集,通过采用反向传播和Adam优化算法更新模型网络参数,进行模型训练。
5.根据权利要求4所述的一种考虑纹理复杂性的域映射GANs图像着色方法,其特征在于,所述损失函数为:
其中,映射函数G:X→Y,映射函数F:Y→X,对抗鉴别器DY激励G将X映射成与Y域不可区分的输出,对抗鉴别器DX激励F将Y映射成与X域不可区分的输出,λ为循环一致损失系数;表示整个着色模型的损失函数;表示原始GANs中X的对抗损失;表示原始GANs中Y的对抗损失;表示循环一致损失。
6.根据权利要求4所述的一种考虑纹理复杂性的域映射GANs图像着色方法,其特征在于,所述图像集合复杂性计算通过如下方式实现:
G(X)=(G0+G1+G2)/3
其中,hi∈[0,1]是像素i的缩放灰度值,作为像素i对大小为N的矢量化图像O的归属程度,也即全白图像的归属程度;k为一个图像集中图像的张数;根据C(S)的值,将图像集的纹理复杂程度划分为L、M、H三个层次。
7.根据权利要求4所述的一种考虑纹理复杂性的域映射GANs图像着色方法,其特征在于,
所述预设优化选择策略如下:
若纹理复杂程度L,则循环一致损失系数取值范围为5~10;
若纹理复杂程度M,则循环一致损失系数取值范围为10~15;
若纹理复杂程度H,则循环一致损失系数取值范围为15~20。
8.根据权利要求4所述的一种考虑纹理复杂性的域映射GANs图像着色方法,其特征在于,在所述步骤S4中,根据待着色图像集的复杂性,获取待着色图像集的复杂层次,根据所述预设优化选择策略选择对应的循环一致损失系数,通过已训练的模型进行着色。
CN201810538118.8A 2018-05-30 2018-05-30 一种考虑纹理复杂性的域映射GANs图像着色方法 Expired - Fee Related CN108876870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810538118.8A CN108876870B (zh) 2018-05-30 2018-05-30 一种考虑纹理复杂性的域映射GANs图像着色方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810538118.8A CN108876870B (zh) 2018-05-30 2018-05-30 一种考虑纹理复杂性的域映射GANs图像着色方法

Publications (2)

Publication Number Publication Date
CN108876870A true CN108876870A (zh) 2018-11-23
CN108876870B CN108876870B (zh) 2022-12-13

Family

ID=64335600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810538118.8A Expired - Fee Related CN108876870B (zh) 2018-05-30 2018-05-30 一种考虑纹理复杂性的域映射GANs图像着色方法

Country Status (1)

Country Link
CN (1) CN108876870B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651459A (zh) * 2020-12-31 2021-04-13 厦门易仕特仪器有限公司 深度学习图像对抗样本防御方法、装置、设备及存储介质
CN114049420A (zh) * 2021-10-29 2022-02-15 马上消费金融股份有限公司 一种模型训练方法、图像渲染方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979244A (zh) * 2016-05-31 2016-09-28 十二维度(北京)科技有限公司 一种基于深度学习的2d图像转3d图像的方法及系统
US20160358592A1 (en) * 2015-06-05 2016-12-08 Apple Inc. Text legibility over images
CN107194872A (zh) * 2017-05-02 2017-09-22 武汉大学 基于内容感知深度学习网络的遥感图像超分辨率重建方法
CN107833183A (zh) * 2017-11-29 2018-03-23 安徽工业大学 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法
CN107862668A (zh) * 2017-11-24 2018-03-30 河海大学 一种基于gnn的文物图像复原方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358592A1 (en) * 2015-06-05 2016-12-08 Apple Inc. Text legibility over images
CN105979244A (zh) * 2016-05-31 2016-09-28 十二维度(北京)科技有限公司 一种基于深度学习的2d图像转3d图像的方法及系统
CN107194872A (zh) * 2017-05-02 2017-09-22 武汉大学 基于内容感知深度学习网络的遥感图像超分辨率重建方法
CN107862668A (zh) * 2017-11-24 2018-03-30 河海大学 一种基于gnn的文物图像复原方法
CN107833183A (zh) * 2017-11-29 2018-03-23 安徽工业大学 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUN-YAN ZHU等: "Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION 》 *
MARIO IGNACIO CHACON MURGUIA等: "A Fuzzy Approach on Image Complexity Measure", 《COMPUTACIÓN Y SISTEMAS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651459A (zh) * 2020-12-31 2021-04-13 厦门易仕特仪器有限公司 深度学习图像对抗样本防御方法、装置、设备及存储介质
CN114049420A (zh) * 2021-10-29 2022-02-15 马上消费金融股份有限公司 一种模型训练方法、图像渲染方法、装置和电子设备

Also Published As

Publication number Publication date
CN108876870B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
DE69327506T2 (de) Farbbildanzeigesystem für ein Ausgabemedium aus symbolischen Bilddaten
KR102234609B1 (ko) 이미지 데이터베이스 분석 기반 상품 추천 장치
Mellado et al. Constrained palette-space exploration
CN103489224B (zh) 一种交互式三维点云颜色编辑方法
US5619434A (en) Method and apparatus for simulating colored material
CN101866497A (zh) 基于双目立体视觉的智能三维人脸重建方法及系统
CN108876870A (zh) 一种考虑纹理复杂性的域映射GANs图像着色方法
CN108846869B (zh) 一种基于自然图像色彩的服装自动配色方法
JP6060061B2 (ja) 方法、コンピュータ、プログラム、コンピュータ読み取り可能な記録媒体、およびシステム
US20070127783A1 (en) Image processing apparatus, method and program for controlling flesh color of image
CN102855656A (zh) 用于借助光线投影有效地编辑三维体积的方法和装置
CN102024270A (zh) 对借助体绘制显示的对象的描绘的交互地修改
CN100583145C (zh) 基于内容相关图像尺寸调整的保真度评测方法
Chen et al. An efficient direct volume rendering approach for dichromats
CN107492130A (zh) 一种基于层面渲染的非连续等值云图生成方法
CN106530383A (zh) 基于Hermite插值神经网络回归模型的人脸面部渲染方法
US20200161004A1 (en) Unified anisotropic volume and surface mesh storage
US11155041B2 (en) Methods of generating energy transmission properties in voxel data structures using texture maps
CN115564667A (zh) 一种专题地图风格自动迁移的方法
CN115018729A (zh) 一种面向内容的白盒图像增强方法
CN115439366A (zh) 一种矢量地图风格自动迁移的方法
US11573538B2 (en) Layer configuration prediction method and layer configuration prediction apparatus
CN106651930A (zh) 一种多层次流形学习医学图像颜色感知方法
JP6880336B2 (ja) 加工面性状評価装置および加工面性状評価方法
CN118097085B (zh) 一种地形图风格自动迁移的方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221213