CN109584325A - 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法 - Google Patents

Abstract

本发明公开了一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，属于图像处理领域，本发明通过采集数据、统一动漫插画图像的像素、构建训练数据集和测试数据集，最终采用U型周期一致的循环训练的方法提高生成器G、生成器F、判别网络D_X和判别网络D_Y的能力，找到图像和彩色图像的函数映射关系，实现了黑白草图和全彩图像的双向转换。本发明无需手工提取特征，无需对训练集进行标记，显著减少了动漫创作者的工作量，提高了图像彩色化与黑白化处理的效率，对动漫创作者有很大的帮助。

Description

一种基于U型周期一致对抗网络的动漫图像的双向色彩化 方法

技术领域

本发明涉及一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，属于图像处理领域。

背景技术

目前利用人工智能进行艺术创作仍处于测试阶段，研究邻域存在以下两种模型：

(1)神经样式转换是一种图像到图像的转换方法，它使内容图像在匹配预训练特征的Gram矩阵统计的基础上具有样式图像的样式。重点是在卷积神经网络(CNN)中内容和风格的表达是可以分开的，这两种特征可以独立操作以产生新的可感知的图像。但是，神经类型的转移不能胜任这种任务。

(2)生成对抗性网络(GANs)是一种新型的生成模型，并在图像生成方面取得了一定成果。它们都使用成对的图像数据集。但是，对于动画素描着色问题，获取成对的图像数据十分困难。循环一致对抗性网络(CycleGAN)是一种使用非成对图像到图像数据集的新模型，但仍然存在图像质量损失和构成失调的问题。

发明内容

本发明所要解决的技术问题是提供了一种无需手工提取特征、无需对训练集进行标注即可找到黑白线稿图像和彩色图像的函数映射关系，从而实现黑白线稿和全彩图像双向转换的基于U型周期一致对抗网络的动漫图像的双向色彩化方法。

本发明采用如下技术方案：

一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，其包括如下步骤：

步骤1、采集数据：利用爬虫获取高清全彩色的动漫插画图像和黑白线稿图像；

步骤2、将所述动漫插画图像的像素设置为统一大小，并将其放入数据库，构建训练数据集和测试数据集；

步骤3、构建U型周期一致深度学习对抗网络，利用步骤2得到的训练数据集循环训练U型周期一致深度学习对抗网络，使用测试数据集验证所述U型周期一致深度学习对抗网络的性能；

所述U型周期一致深度学习对抗网络包括生成器G、生成器F、判别网络D_X和判别网络D_Y；其中，生成器G将输入黑白线稿图像生成为全彩色图像，生成器F将全彩色图像生成为黑白线稿图像，判别网络D_X判断输入的黑白线稿图像是否符合真实的黑白线稿图像的分布，判别网络D_Y判断输入的全彩色图像是否符合真实的全彩色图像的分布；

通过U型周期一致的循环训练的方法提高生成器G、生成器F、判别网络D_X和判别网络D_Y的能力；笼统讲，所述步骤3中循环训练的方法，即通过构造生成器G、生成器F和判别网络D_Y的子循环网络，训练生成器G和判别网络D_Y的能力；通过构造生成器F、生成器G和判别网络D_X的子循环网络，训练生成器F和判别网络D_X的能力。

详细讲，所述步骤3中循环训练的方法具体步骤如下：

步骤3.1：将图像X输入生成器G，生成一张对应的彩色化图像G(x)，图像大小为256×256像素；

步骤3.2：通过判别器D_Y，得到最小二乘函数D_Y(G(x))的结果；

步骤3.3：优化器Adam循环迭代，进行效果优化；

步骤3.4：直至迭代结束，训练结束。

步骤3.2中的计算公式，即生成器网络的损失函数和判别网络的损失函数的公式如下，计算出来的损失值在步骤3.3用于优化：

公式(1)中，L_D(G,D,X,Y)表示判别器D的损失函数；

G(x)表示图像X输入生成器G后生成的一张对应的彩色化图像；

D(y)表示符合y分布的数据经过判别器D产生映射关系；

表示f(x)关于y服从P_data(y)分布的期望；

表示f(x)关于x服从P_data(x)分布的期望；

公式(2)中，L_G(G,D,X)表示生成器G的损失函数；

损失函数由最小二乘函数构成；

生成器G生成的彩色化图像应服从真实的彩色图像的分布，将彩色化图像输入生成器F得到的图像应与输入图像X相似，所以L_G(G,D,X)为的生成图像与输入图像的L2范数期望之和；

公式(3)中，L_cyc表示周期一致性的损失函数；

F(x)表示符合x分布的数据经过生成器F产生的映射关系。

步骤4、将测试图像输入训练好的生成器G，生成器G将测试图像进行彩色化处理，得到一个彩色化图像；或者将测试图像输入训练好的生成器F，生成器F将测试图像进行逆向彩色化处理，得到一个黑白线稿图像。

进一步阐述，所述U型周期一致对抗网络即生成器G和生成器F构成的U型且权值共享的卷积网络，生成器G与生成器F结果互逆。

进一步阐述，所述生成器G融合了两种结构，即残差网络和自编码器。所述生成器G的内部结构通过下面举例说明：

例如，生成器G中的卷积网络提取输入图像的特征，复制特征后将输入图像的特征向下一层卷积网络进行提取，将卷积网络提取的特征进行三层下采样，将卷积网络提取的特征与每一层复制的特征合并成新的特征，对合并成的新特征逐层上采样，上采样也是三层。

残差网络和自编码器作为卷积网络的一种网络结构，通过上述描述其内部的计算过程可知，残差网络能够单纯地增加网络深度，提高网络性能，自编码器进行无监督学习过程，输出图像即为结果图。

进一步阐述，所述判别网络D_Y由卷积网络构成，用于对输入的全彩色图像进行卷积操作，输出对应效果图。

进一步阐述，所述判别网络D_X由卷积网络构成，用于对输入的黑白线稿图像进行卷积操作，输出一张特征图，而后用最小二乘损失函数计算输入的黑白线稿图像是否符合真实黑白线稿图像的分布。

本发明的有益效果：

本发明无需手工提取特征，无需对训练集进行标记，即可找到图像和彩色图像的函数映射关系，实现了黑白草图和全彩图像的双向转换，显著减少了动漫创作者的工作量，提高了图像彩色化与黑白化处理的效率，对动漫创作者有很大的帮助。

就颜色而言，本发明提出的神经网络模型可以为草图添加更舒适的颜色，与其他神经网络模型的主要区别之一是本发明的神经网络模型生成的图像淡化了原始草图，而其他神经网络模型处理的图像保留了原始粗线；就细节处理方面，本发明提出的神经网络模型可以生成更平滑的线条图像，并自动修复草图中的一些缺陷，其他神经网络模型在比较中依赖输入图像，进一步放大了输入图像的缺陷；就结构而言，本发明提出的神经网络模型，即U-net网络结构有助于提取图像中的细小的结构特征。神经网络模型也就是生成器G、F和判别器D_X、D_Y。

本发明提出的方法不仅具有很强的泛化能力，而且大幅降低了对于图像的依赖性。

附图说明

图1为U型周期一致对抗网络的结构示意图。

图2为循环训练U型周期一致深度学习对抗网络的方法示意图。

图3为实施例中训练模型的逻辑图。

图4为实施例中测试模型的逻辑图。

其中，G、F为生成器，X、Y两类数据的集合，D_X、D_Y为判别器。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图1-4和具体实施例对发明进行清楚、完整的描述。

实施例一

参照图1-图4，本发明实施例一涉及一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，具体如下：

步骤1、采集数据：利用爬虫获取高清全彩色的动漫插画图像和黑白线稿图像；

步骤2、将所述动漫插画图像的像素设置为统一大小，例如将像素统一调整为256×256，并将其放入数据库，构建训练数据集和测试数据集；

步骤3、构建U型周期一致深度学习对抗网络，利用步骤2得到的训练数据集循环训练U型周期一致深度学习对抗网络，使用测试数据集验证所述U型周期一致深度学习对抗网络的性能；

步骤4、将测试图像输入训练好的生成器G，生成器G将测试图像进行彩色化处理，得到一个彩色化图像；或者将测试图像输入训练好的生成器F，生成器F将测试图像进行逆向彩色化处理，得到一个黑白线稿图像。

实施例二

参照图1-图4，本发明实施例二涉及一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，在上述实施例一的基础上，本发明实施例二详述如下：

所述U型周期一致深度学习对抗网络包括生成器G、生成器F、判别网络D_X和判别网络D_Y；其中，生成器G将输入黑白线稿图像生成为全彩色图像，生成器F将全彩色图像生成为黑白线稿图像，判别网络D_X判断输入的黑白线稿图像是否符合真实的黑白线稿图像的分布，判别网络D_Y判断输入的全彩色图像是否符合真实的全彩色图像的分布。

实施例三

参照图1-图4，本发明实施例三涉及一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，在上述实施例一和/或实施例二的基础上，本发明实施例三详述如下：

通过U型周期一致的循环训练的方法提高生成器G、生成器F、判别网络D_X和判别网络D_Y的能力；笼统讲，所述步骤3中循环训练的方法，即通过构造生成器G、生成器F和判别网络D_Y的子循环网络，训练生成器G和判别网络D_Y的能力；通过构造生成器F、生成器G和判别网络D_X的子循环网络，训练生成器F和判别网络D_X的能力。

详细讲，所述步骤3中循环训练的方法具体步骤如下：

步骤3.1：将图像X输入生成器G，生成一张对应的彩色化图像G(x)，图像大小为256×256像素；

步骤3.2：通过判别器D_Y，得到最小二乘函数D_Y(G(x))的结果；

步骤3.3：优化器Adam循环迭代，进行效果优化；

步骤3.4：直至迭代结束，训练结束。

步骤3.2中的计算公式，即生成器网络的损失函数和判别网络的损失函数的公式如下，计算出来的损失值在步骤3.3用于优化：

公式(1)中，L_D(G,D,X,Y)表示判别器D的损失函数；

G(x)表示图像X输入生成器G后生成的一张对应的彩色化图像；

D(y)表示符合y分布的数据经过判别器D产生映射关系；

表示f(x)关于y服从P_data(y)分布的期望；

表示f(x)关于x服从P_data(x)分布的期望；

公式(2)中，L_G(G,D,X)表示生成器G的损失函数；

损失函数由最小二乘函数构成；

生成器G生成的彩色化图像应服从真实的彩色图像的分布，将彩色化图像输入生成器F得到的图像应与输入图像X相似，所以L_G(G,D,X)为的生成图像与输入图像的L2范数期望之和；

公式(3)中，L_cyc表示周期一致性的损失函数；

F(x)表示符合x分布的数据经过生成器F产生的映射关系。

实施例四

参照图1-图4，本发明实施例四涉及一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，在上述实施例的基础上，本发明实施例四详述如下：

所述U型周期一致对抗网络即生成器G和生成器F构成的U型且权值共享的卷积网络，生成器G与生成器F结果互逆。

进一步阐述，所述生成器G融合了两种结构，即残差网络和自编码器。所述生成器G的内部结构通过下面举例说明：

例如，生成器G中的卷积网络提取输入图像的特征，复制特征后将输入图像的特征向下一层卷积网络进行提取，将卷积网络提取的特征进行三层下采样，将卷积网络提取的特征与每一层复制的特征合并成新的特征，对合并成的新特征逐层上采样，上采样也是三层。

残差网络和自编码器作为卷积网络的一种网络结构，通过上述描述其内部的计算过程可知，残差网络能够单纯地增加网络深度，提高网络性能，自编码器进行无监督学习过程，输出图像即为结果图。

实施例五

参照图1-图4，本发明实施例五涉及一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，在上述实施例的基础上，本发明实施例五详述如下：

所述判别网络D_Y由卷积网络构成，用于对输入的全彩色图像进行卷积操作，输出对应效果图。

所述判别网络D_X由卷积网络构成，用于对输入的黑白线稿图像进行卷积操作，输出一张特征图，而后用最小二乘损失函数计算输入的黑白线稿图像是否符合真实黑白线稿图像的分布。

参照图3，在训练过程中，首先将数据读入内存中，之后经过神经网络模型的特征提取，损失函数计算出神经网络模型的误差，优化器进行参数调整，整个循环达到迭代次数后导出新的神经网络模型，以便测试使用。

参照图4，在测试过程中，首先程序需要读取之前导出的神经网络模型，然后读取黑白线稿的测试数据，经过神经网络模型计算生成彩色图像；同理，对于动漫图像亦如此。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的步骤和网络结构，能够以算法、公式或者二者的结合来实现，为了清楚地说明可行性，在上述说明中已经按照运行机理一般性地描述了各示例的组成及步骤。这些运行机理中涉及的公式究竟以何种参数值来计算，取决于技术方案特定应用和设计约束条件。专业技术人员可以对每个特定应用来使用不同参数值来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，其特征在于：其包括如下步骤：

步骤1、采集数据：利用爬虫获取高清全彩色的动漫插画图像和黑白线稿图像；

步骤2、将所述动漫插画图像的像素设置为统一大小，并将其放入数据库，构建训练数据集和测试数据集；

步骤3、构建U型周期一致深度学习对抗网络，利用步骤2得到的训练数据集循环训练U型周期一致深度学习对抗网络，使用测试数据集验证所述U型周期一致深度学习对抗网络的性能；

所述U型周期一致深度学习对抗网络包括生成器G、生成器F、判别网络D_X和判别网络D_Y；所述生成器G和生成器F构成的U型且权值共享的卷积网络，生成器G与生成器F结果互逆；

步骤4、将测试图像输入训练好的生成器G，生成器G将测试图像进行彩色化处理，得到一个彩色化图像；或者将测试图像输入训练好的生成器F，生成器F将测试图像进行逆向彩色化处理，得到一个黑白线稿图像。

2.根据权利要求1所述的一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，其特征在于：所述步骤3中循环训练U型周期一致深度学习对抗网络的方法如下：通过构造生成器G、生成器F和判别网络D_Y的子循环网络，训练生成器G和判别网络D_Y的能力；通过构造生成器F、生成器G和判别网络D_X的子循环网络，训练生成器F和判别网络D_X的能力。

3.根据权利要求1所述的一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，其特征在于：所述步骤3中循环训练U型周期一致深度学习对抗网络的方法如下：

步骤3.1：将图像X输入生成器G，生成一张对应的彩色化图像G(x)；

步骤3.2：通过判别器D_Y，得到最小二乘函数D_Y(G(x))的结果；

步骤3.3：优化器Adam循环迭代，进行效果优化；

步骤3.4：直至迭代结束，训练结束。

4.根据权利要求3所述的一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，其特征在于：所述步骤3.2中的计算公式，即生成网络的损失函数和判别网络的损失函数的公式如下，计算出来的损失值在步骤3.3用于优化：

公式(1)中，L_D(G,D,X,Y)表示判别器D的损失函数；

G(x)表示图像X输入生成器G后生成的一张对应的彩色化图像；

D(y)表示符合y分布的数据经过判别器D产生映射关系；

表示f(x)关于y服从P_data(y)分布的期望；

表示f(x)关于x服从P_data(x)分布的期望；

公式(2)中，L_G(G,D,X)表示生成器G的损失函数；

损失函数由最小二乘函数构成；

生成器G生成的彩色化图像应服从真实的彩色图像的分布，将彩色化图像输入生成器F得到的图像应与输入图像X相似，所以L_G(G,D,X)为的生成图像与输入图像的L2范数期望之和；

公式(3)中，L_cyc表示周期一致性的损失函数；

F(x)表示符合x分布的数据经过生成器F产生的映射关系。

5.根据权利要求1-3任一所述的一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，其特征在于：所述U型周期一致深度学习对抗网络的运行机理如下：所述生成器G将输入黑白线稿图像生成为全彩色图像，生成器F将全彩色图像生成为黑白线稿图像，判别网络D_X判断输入的黑白线稿图像是否符合真实的黑白线稿图像的分布，判别网络D_Y判断输入的全彩色图像是否符合真实的全彩色图像的分布。

6.根据权利要求1-3任一所述的一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，其特征在于：所述生成器G融合了两种结构，即残差网络和自编码器。

7.根据权利要求6所述的一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，其特征在于：所述生成器G的内部运行方式如下：生成器G中的卷积网络提取输入图像的特征，复制特征后将输入图像的特征向下一层卷积网络进行提取，将卷积网络提取的特征进行三层下采样，将卷积网络提取的特征与每一层复制的特征合并成新的特征，对合并成的新特征逐层上采样，上采样也是三层。

8.根据权利要求1-3任一所述的一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，其特征在于：所述判别网络D_Y由卷积网络构成，用于对输入的全彩色图像进行卷积操作，输出对应效果图。

9.根据权利要求1-3任一所述的一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，其特征在于：所述判别网络D_X由卷积网络构成，用于对输入的黑白线稿图像进行卷积操作，输出一张特征图，而后用最小二乘损失函数计算输入的黑白线稿图像是否符合真实黑白线稿图像的分布。

10.根据权利要求6所述的一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，其特征在于：所述判别网络D_Y由卷积网络构成，用于对输入的全彩色图像进行卷积操作，输出对应效果图；

所述判别网络D_X由卷积网络构成，用于对输入的黑白线稿图像进行卷积操作，输出一张特征图，而后用最小二乘损失函数计算输入的黑白线稿图像是否符合真实黑白线稿图像的分布。