CN108876870B - 一种考虑纹理复杂性的域映射GANs图像着色方法 - Google Patents

Abstract

本发明涉及一种考虑纹理复杂性的域映射GANs图像着色方法，收集图像，并建立图像训练集；对图像训练集进行预处理，包括：图像深度检测、图像裁剪和图像归一化；通过模型选择、图像集的复杂性计算以及循环一致损失系数选择，利用反向传播和Adam优化算法更新模型网络参数，进行模型训练；输入待着色的图像，采用步骤S3计算待着色图像集的图像集合复杂性，选择与其复杂性相同且已训练的模型，进行图像着色，输出相应的着色图像。本发明提出的方法能根据图像集纹理复杂度，选取大小合适的循环一致损失系数，使得模型能够对不同纹理复杂性的图像进行着色，具有很好的通用性；同时将深度学习引入图像着色领域，为图像着色提供了一种新的思路。

Description

一种考虑纹理复杂性的域映射GANs图像着色方法

技术领域

本发明涉及图像着色领域，特别是一种考虑纹理复杂性的域映射GANs图像着色方法。

背景技术

随着社会的发展，科学的进步，如何给黑白图，素描图等颜色单一的图像着色，对图像处理提出了新的要求。建立在非合作博弈基础上的GANs(GenerativeAdversarialNetworks生成对抗网络)为许多图像处理等计算机视觉任务提供了强有力的支持。目前业界提出了众多的GANs改进算法致力于解决不同场景的任务。将深度学习引入图像着色，相比与传统的人工方式以及传统的机器学习方式，对于提高着色效率，效果具有重要意义。但是现有的着色技术总并未考虑到图像纹理复杂性对图像着色的影响，对着色效果存在巨大影响。

发明内容

本发明的目的在于提供一种考虑纹理复杂性的域映射GANs图像着色方法，以克服现有技术中存在的缺陷。

为实现上述目的，本发明的技术方案是：一种考虑纹理复杂性的域映射 GANs图像着色方法，按照如下步骤实现：

步骤1：收集图像，并建立图像训练集；

步骤2：对图像训练集进行预处理，包括：图像深度检测、图像裁剪和图像归一化；

步骤3：通过模型选择、图像集的复杂性计算以及循环一致损失系数选择，利用反向传播和Adam优化算法更新模型网络参数，进行模型训练；

步骤4：输入待着色的图像，采用所述步骤S3计算待着色图像集的图像集合复杂性，选择与其复杂性相同且已训练的模型，进行图像着色，输出相应的着色图像。

在本发明一实施例中，在所述步骤S1中，所述图像训练集包括：未着色的图像数据集以及对应的已着色图像数据集。

在本发明一实施例中，在所述步骤S2中，

所述图像深度检测包括对所述图像训练集进行图像深度的检测，为了保证训练过程中图像通道的一致性，仅取RGB，24bit深度的JPG格式图像；

所述图像裁剪包括将所述图像训练集进行图像裁剪，统一裁剪成256*256像素大小；

所述图像归一化包括对所述图像训练集进行归一化处理，使得所有图像的输入归一化之后像素值都在[0，1]区间内。

在本发明一实施例中，在所述步骤S3中，

所述模型选择包括：选择CycleGAN模型，在原始GANs的基础上，增加循环一致损失函数，学习双边映射，控制着色的轮廓和风格，在像素级别控制图像着色，减少映射空间的大小，保留输入待着色图像的轮廓；

所述图像集合复杂性计算包括：利用模糊数学融合图像的空间维度和时间维度，度量图像纹理复杂性，根据所得复杂性的值，将纹理复杂程度分为三个层次： L、M、H；

所述循环一致损失系数选择包括：根据所计算的图像集复杂性以及预设优化选择策略，选择循环一致损失系数；

将域映射GANs模型中默认的循环一致损失系数替换为通过所述循环一致损失系数选择确定循环一致损失系数；利用图像训练集，通过采用反向传播和Adam 优化算法更新模型网络参数，进行模型训练。

在本发明一实施例中，所述损失函数为：

其中，映射函数G:X→Y，映射函数F:Y→X，对抗鉴别器D_Y激励G 将X映射成与Y域不可区分的输出，对抗鉴别器D_X激励F将Y映射成与X域不可区分的输出，λ为循环一致损失系数；

表示整个着色模型的损失函数；

表示原始GANs中X的对抗损失；

表示原始GANs中Y的对抗损失；

表示循环一致损失。

在本发明一实施例中，所述图像集合复杂性计算通过如下方式实现：

G(X)＝(G₀+G₁+G₂)/3

其中，h_i∈[0,1]是像素i的缩放灰度值，作为像素i对大小为N的矢量化图像O的归属程度，也即全白图像的归属程度；k为一个图像集中图像的张数；根据C(S)的值，将图像集的纹理复杂程度划分为L、M、H三个层次。

在本发明一实施例中，所述预设优化选择策略如下：

若纹理复杂程度L，则循环一致损失系数取值范围为5～10；

若纹理复杂程度M，则循环一致损失系数取值范围为10～15；

若纹理复杂程度H，则循环一致损失系数取值范围为15～20。

在本发明一实施例中，在所述步骤S4中，根据待着色图像集的复杂性，获取待着色图像集的复杂层次，根据所述预设优化选择策略选择对应的循环一致损失系数，通过已训练的模型进行着色。

相较于现有技术，本发明具有以下有益效果：一种考虑纹理复杂性的域映射 GANs图像着色方法，对CycleGAN模型进行改进，将图像的纹理复杂性融入到图像的着色过程中。利用模糊方法融合图像的空间维度和时间维度特征，度量图像集的纹理复杂性。根据循环一致损失系数大小与不同纹理复杂度图像着色质量之间存在关联性，给出循环一致损失系数的优化选择策略，根据图像集纹理复杂性，参考给出的优化策略，选择大小合适的循环一致损失系数，针对不同纹理复杂性的图像集得到不同的着色模型，提高图像着色效果。

附图说明

图1为本发明一实施例中损失函数模型结构图。

图2为本发明一实施例中图像集复杂度层次划分图。

图3为本发明一实施例中考虑纹理复杂性的域映射GANs图像着色方法的着色模型训练流程图。

图4为本发明一实施例中图像着色流程图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明一种考虑纹理复杂性的域映射GANs图像着色方法，包括以下步骤：

步骤S1：收集图像训练集。

在本实施例中，需要收集复杂度不同的纹理图像训练集。每种不同纹理复杂度数据集包括两部分：

未着色的图像集：这类图像集为未着色的图像训练集，主要为轮廓图，素描图。

已着色的图像集：这类图像为已着色的图像训练集。

步骤S2：对收集的图像集进行预处理，包括图像的深度检测，裁剪和归一化。

在本实施中，在图像深度检测过程中：

由于图像数据类型的多样性，对收集的图像训练集进行图像深度的检测，为了确保训练过程中，图像通道的一致性，只取RGB，24bit深度的JPG图像。

在本实施中，在图像裁剪过程中：

由于图像数据大小的差别性，对收集的图像训练集进行图像裁剪，统一裁剪成256*256像素大小。

在本实施中，在图像归一化过程中：

为了加快模型网络的学习速度，对收集的图像训练集进行归一化处理，使得所有图像的输入归一化之后像素值都在[0，1]区间内。图像归一化是指对图像进行了一系列标准的处理变换，使之变换为一固定标准形式的过程，主要包括坐标中心化，缩放归一化。

步骤S3：如图3所示，通过模型选择、计算图像集的复杂性、选择大小合适的循环一致损失系数，利用反向传播和Adam优化算法更新模型网络参数。

在本实施中，在模型选择过程中：

众多的GANs变种用于解决不同场景的问题，面对不同纹理复杂性的图像着色问题，考虑使用CycleGAN。这是一种域映射GANs变种，主要是在集合层面进行无监督的域映射，并且取得了良好的效果。

模型主要结构如图1所示。在原始GANs的基础上，增加循环一致损失函数，学习双边映射，控制着色的轮廓和风格，在像素级别控制图像着色，减少映射空间的大小，更好地保留输入待着色图像的轮廓。兼顾到待着色图像的轮廓和着色风格。模型损失函数由三部分组成：

对公式部分的解释如下：

其中：

表示整个着色模型的损失函数，训练模型的阶段，主要是在优化这个函数；

表示原始GANs中的对抗损失(说明书附图1中X的对抗损失)；

表示原始GANs中的对抗损失(说明书附图1中Y的对抗损失)；

表示循环一致损失(说明书附图1(c) 中的cycle-consistency loss)。

其中，图1(a)模型包含两个映射函数G:X→Y和F:Y→X以及相关的对抗鉴别器D_Y和D_X。D_Y激励G将X映射成与Y域不可区分的输出，D_X和F 反之亦然。为了进一步正则化映射，引入了两个循环一致性损失，这些损失直接反映了如果从一个领域映射到另一个领域，并且再进行一次相反的映射，应该还原到最初的状态。(b)前向循环一致性损失：x→G(x)→F(G(x))≈x，(c) 反向循环一致性损失：y→F(y)→G(F(y))≈y。λ为循环一致损失系数。

在本实施中，在图像集合复杂性计算过程中：

利用模糊数学融合图像的空间维度和时间维度度量图像纹理复杂性，主要计算公式如下：

G(X)＝(G₀+G₁+G₂)/3 (4)

对上述公式的说明：

G₀(X)，G₁(X)，G₂(X)：用于通过利用模糊数学的原理评估图像在空间维度和时间维度的复杂性。

G(X)：将上述三个公式做平均，取平均值作为单张图像复杂度。

C(S)：对于集合来说，度量集合中每张图像的复杂度，取平均值，作为整个集合的复杂度。

式中，h_i∈[0,1]是像素i的缩放灰度值，它被视为像素i对大小为N的矢量化图像O(即全白图像)的归属程度。k为一个图像集中图像的张数。根据C(S) 的值，将图像集的复杂程度划分为L、M、H三个层次，如图2所示。

在本实施中，在循环一致损失系数选择过程中：

根据所计算的图像集的复杂度，参照以下表1给出的优化选择策略，选择大小合适的循环一致损失系数。

表1图像集纹理复杂性对应λ取值的优化选择策略

在本实施中，在域映射GANs模型训练过程中：

将域映射GANs中默认的循环一致损失系数(默认为10)，替换成在循环一致损失系数选择过程中确定的大小。利用训练数据集，反向传播和Adam优化算法更新模型网络参数，进行模型的训练。

步骤S4：如图4所示，输入待着色的图像，计算待着色图像集的复杂性，选择与其复杂性相同且已训练的模型，进行图像的着色，输出相应的着色图像。也即，根据输入待着色图像所处的复杂度层次，并且利用提供的选择策略确定λ取值，获取对应的已训练好的着色模型进行图像的着色。

在本实施例中，计算待着色图像集的复杂度，选择相应的着色模型。根据图像集合复杂性计算过程中的图像纹理复杂性度量，得到待着色图像集的复杂层次，选择复杂性相同且已训练的模，进行图像的着色。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (7)

1.一种考虑纹理复杂性的域映射GANs图像着色方法，其特征在于，按照如下步骤实现：

步骤S1：收集图像，并建立图像训练集；

步骤S2：对图像训练集进行预处理，包括：图像深度检测、图像裁剪和图像归一化；

步骤S3：通过模型选择、图像集的复杂性计算以及循环一致损失系数选择，利用反向传播和Adam优化算法更新模型网络参数，进行模型训练；所述模型选择包括：选择CycleGAN模型，在原始GANs的基础上，增加循环一致损失函数；

所述图像集合复杂性计算通过如下方式实现：

其中

G(X)＝(G₀+G₁+G₂)/3

其中，G₀(X)，G₁(X)，G₂(X)：用于通过利用模糊数学的原理评估图像在空间维度和时间维度的复杂性；

G(X)：将上述三个公式做平均，取平均值作为单张图像复杂度；

C(S)：对于集合来说，度量集合中每张图像的复杂度，取平均值，作为整个集合的复杂度；

其中，h_i∈[0,1]是像素i的缩放灰度值，作为像素i对大小为N的矢量化图像O的归属程度，也即全白图像的归属程度；K为一个图像集中图像的张数；根据C(S)的值，将图像集的纹理复杂程度划分为L、M、H三个层次；

步骤S4：输入待着色的图像，采用所述步骤S3计算待着色图像集的图像集合复杂性，选择与其复杂性相同且已训练的模型，进行图像着色，输出相应的着色图像。

2.根据权利要求1所述的一种考虑纹理复杂性的域映射GANs图像着色方法，其特征在于，在所述步骤S1中，所述图像训练集包括：未着色的图像数据集以及对应的已着色图像数据集。

3.根据权利要求1所述的一种考虑纹理复杂性的域映射GANs图像着色方法，其特征在于，在所述步骤S2中，

所述图像深度检测包括对所述图像训练集进行图像深度的检测，为了保证训练过程中图像通道的一致性，仅取RGB，24bit深度的JPG格式图像；

所述图像裁剪包括将所述图像训练集进行图像裁剪，统一裁剪成256*256像素大小；

所述图像归一化包括对所述图像训练集进行归一化处理，使得所有图像的输入归一化之后像素值都在[0，1]区间内。

4.根据权利要求1所述的一种考虑纹理复杂性的域映射GANs图像着色方法，其特征在于，在所述步骤S3中，

所述模型选择包括：学习双边映射，控制着色的轮廓和风格，在像素级别控制图像着色，减少映射空间的大小，保留输入待着色图像的轮廓；

所述图像集合复杂性计算包括：利用模糊数学融合图像的空间维度和时间维度，度量图像纹理复杂性，根据所得复杂性的值，将纹理复杂程度分为三个层次：L、M、H；

所述循环一致损失系数选择包括：根据所计算的图像集复杂性以及预设优化选择策略，选择循环一致损失系数；

将域映射GANs模型中默认的循环一致损失系数替换为通过所述循环一致损失系数选择确定循环一致损失系数。

5.根据权利要求4所述的一种考虑纹理复杂性的域映射GANs图像着色方法，其特征在于，所述损失函数为：

其中，映射函数G:X→Y，映射函数F:Y→X，对抗鉴别器D_Y激励G将X映射成与Y域不可区分的输出，对抗鉴别器D_X激励F将Y映射成与X域不可区分的输出，λ为循环一致损失系数；

表示整个着色模型的损失函数；

表示原始GANs中X的对抗损失；

表示原始GANs中Y的对抗损失；

表示循环一致损失。

6.根据权利要求4所述的一种考虑纹理复杂性的域映射GANs图像着色方法，其特征在于，

所述预设优化选择策略如下：

若纹理复杂程度L，则循环一致损失系数取值范围为5～10；

若纹理复杂程度M，则循环一致损失系数取值范围为10～15；

若纹理复杂程度H，则循环一致损失系数取值范围为15～20。

7.根据权利要求4所述的一种考虑纹理复杂性的域映射GANs图像着色方法，其特征在于，在所述步骤S4中，根据待着色图像集的复杂性，获取待着色图像集的复杂层次，根据所述预设优化选择策略选择对应的循环一致损失系数，通过已训练的模型进行着色。

Images