CN113724354A

CN113724354A - 基于参考图颜色风格的灰度图像着色方法

Info

Publication number: CN113724354A
Application number: CN202111037335.7A
Authority: CN
Inventors: 丁勇; 阮翊婷; 夏靖雯; 汤峻
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2021-09-06
Filing date: 2021-09-06
Publication date: 2021-11-30
Anticipated expiration: 2041-09-06
Also published as: CN113724354B

Abstract

本发明公开了一种基于参考图颜色风格的灰度图像着色方法，可以作为线稿及黑白图像上色这一类问题的解决方案。本发明具体实施包括如下步骤：1.拟定上色图像类别库，根据类别收集彩色图像数据集，并对其进行线稿提取或灰度化，以及提取其颜色直方图信息。2.将彩色图像、线稿或灰度图像、颜色直方图信息作为训练集，输入网络中训练，得到对应该类别的着色模型。3.将待上色图像重新输入网络，使用步骤2中得到的模型进行图像着色。4.评估着色结果。本发明所提出的基于参考图颜色风格的灰度图像着色方法可以解决各种类别的线稿、黑白图像着色问题，并且在实践中证明着色效果良好。

Description

基于参考图颜色风格的灰度图像着色方法

技术领域

本发明属于计算机技术及图像处理领域，尤其涉及一种基于参考图颜色风格的灰度图像着色方法。

背景技术

图像上色是为了还原、增强原图像的表达效果，提高其视觉感受，还能丰富图像的语义，提高其应用价值。最早在19世纪，就流行以手工上色的方法来还原黑白照片等，随着技术发展，图像上色在影视处理、动漫艺术等领域得到了广泛的应用。如漫画行业，利用图像上色技术，能够解决大量黑白线稿上色费时费力等问题，节约绘制成本，且不影响购买者的阅读体验；在电影行业，早期黑白电影的观看体验较差，利用图像上色将黑白电影转为彩色电影，观众能在欣赏经典的同时获得视觉享受；对医学影像进行着色，也有助于医生对病人的病变部位有一个更加直观的观察和分析。

图像上色技术是图像处理领域一个活跃且具有挑战性的课题，传统着色方法分为两种，一类是基于颜色扩展的着色方法，另一类是基于颜色传递的着色方法。而机器学习的发展与在该课题上的应用，例如使用卷积神经网络学习从灰度图像到彩色图像的映射等，减轻了传统方法下人为工作量，并增加了上色效果的丰富性与真实性。尽管卷积神经网络的应用仍是一种较为主流的方法，它还是存在着损失函数设计复杂等的问题，面对多样化的图像上色需求，需要人为设计不同的损失函数，否则极易产生结果模糊等的问题。

生成对抗网络(Generative Adversarial Networks，GANs)，是近年来复杂分布上无监督学习最具前景的方法之一。生成对抗网络的模型通过框架中两个模块，生成模型和判别模型的互相博弈，产生相当好的输出。而它在图像生成这一领域的应用也取得了很大的成功，特别是在图像上色问题上，利用生成对抗网络可以使一个通用的网络结构与损失函数解决不同类型的图像上色问题。

本发明提出了一种基于参考图颜色风格的灰度图像着色方法，利用生成对抗网络进行图像生成，并且通过在图像上色任务中引入注意力机制，可以作为多类图像上色问题的解决方案。

发明内容

本发明公开了一种基于参考图颜色风格的灰度图像着色方法。其目的是利用生成对抗网络训练模型，得到关于线稿、灰度图像上色这一类问题的解决方法，生成具有指定颜色风格的彩色图像。

本发明解决其技术问题所采用的技术方案如下：

步骤1：按照希望进行着色的图像类别收集彩色图像，构建彩色图像数据库，并进行预处理，采用双线性插值法调整图像大小至统一尺寸；

步骤2：对步骤1中得到的彩色图像数据库进行线稿提取或图像灰度化，获得线稿图像或灰度图像数据集，并提取彩色图像的颜色直方图信息制作成颜色提示信息；

所述的线稿提取采用XDoG算子，计算公式如下：

d(i,j)＝img1(i,j)-γ*img2(i,j)

其中，(i,j)为像素点坐标；d为初始线稿图像；img1和img2为将彩色图像经过两个不同尺度的高斯差分滤波后得到图像，γ是用于调整高斯差分滤波的截止效果强度的参数；

通过设定阈值ε，对提取的初始线稿图像进行阈值操作，得到最终线稿图像：

其中，d′为经过阈值操作后的最终线稿图像，Ψ为用于平衡线稿图像亮度的软阈值参数；

所述的图像灰度化采用加权平均灰度处理法；

步骤3：构建条件生成对抗网络，包括生成器和鉴别器；将步骤2中得到的线稿图像与颜色直方图信息输入到生成器中进行卷积处理，然后将真实彩色图像、生成器生成的彩色图像、以及标签图像一起作为鉴别器的输入，对彩色图像的真假进行鉴别，完成对条件生成对抗网络的训练，将训练结束后的生成器作为对应类别图像的着色模型；所述的标签图像为步骤2中得到的线稿图像或灰度图像；

步骤4：使用步骤3得到的着色模型对同类别的线稿图像或灰度图像进行着色，生成着色后的彩色图像。

本发明的有益效果：

第一，本发明利用生成对抗网络，为图像上色一类的问题提出了一个通用的解决方案。生成对抗网络和传统神经网络如CNN等网络结构相比，免去了面对不同上色问题要设计不同损失函数的复杂，对于各种类型的图像，如服饰、自然风景、漫画等都可以用同一种网络进行训练与上色，生成的图像真实且具有美感。第二，本发明将自注意力机制加入网络结构，可以更好的关注到图像色彩的全局信息，使得上色结果更好的学习到了原图的颜色风格，并且结果图像的色彩更加的均衡。

附图说明

图1为本发明中采用的生成对抗网络的生成器网络结构。

图2为本发明中采用的生成对抗网络的鉴别器网络结构。

图3为本发明基于生成对抗网络的图像上色方法的流程图。

图4为本发明实施过程中采用的彩色图像数据集示例。

图5为本发明实施过程中对彩色图像经过线稿提取得到的线稿图像示例。

图6为本发明实施过程中采用的参考图像数据集示例。

图7为本发明实施过程中得到的上色结果示例。

具体实施方式

下面结合附图对本发明方法作进一步说明。

如图3所示，一种基于参考图颜色风格的灰度图像着色方法，其具体实施步骤如下：

步骤(1)：按照图像类别收集动漫人物图像，构建数据库。在本实施例中，采用了Danbooru2017动漫人物数据集，其中包含了14224张训练图像与3454张测试图像。进而利用双线性插值算法对图像进行预处理，调整Danbooru2017数据集中图像大小至统一尺寸512*512。图4为彩色图像数据集实例。

步骤(2)：对步骤(1)中得到的彩色图像数据集，利用XDoG算子(eXtendedDifference of Gaussian)进行线稿提取，获得鞋类图像线稿。

其中，利用XDoG算子进行线稿提取的计算公式如下：

d(i,j)＝img1(i,j)-γ*img2(i,j)

其中，(i,j)为像素点坐标；d为初始线稿图像；img1和img2为经过两个不同尺度的高斯滤波后得到图像(尺度分别为σ和σ*k，其中σ为高斯分布的标准差；k是一个大于零的常数)；γ为常数，用于调整高斯差分滤波的截止效果的强度。

进一步，通过设定阈值ε，对上述中的初始线稿图像进行阈值操作得到最终的线稿图：

其中，d′为经过阈值操作后的最终线稿图像，Ψ为用于平衡线稿图像亮度的软阈值参数。

在本实施例中，设定参数为γ＝0.78，Ψ＝180，ε＝0.3，k＝4.5，σ＝0.6，从而得到步骤(1)所对应的线稿数据集，如图5所示。

另外，应用colorgram.py(python库)对参考图像信息提取其前n项r，g，b颜色分量值来作为图像颜色直方图信息，并以json格式保存。其中n为调整参考彩色图像颜色数量的常数，在本实施例中，设定n＝8。

步骤(3)：构建条件生成对抗网络，该网络结构包括一个生成器与一个鉴别器。其中，生成器采用U-Net结构，输入512*512*3的线稿图像和颜色直方图信息，经过下采样层与上采样层，输出512*512*3的彩色图像。鉴别器的输入为生成的彩色图像或真实彩色图像，同时将原始线稿作为条件输入，如图2所示，经过5个卷积层，输出为表示输入图像是否为真实图像的判断，即真为1，假为0。

该网络损失函数如下：

其中，x为真实样本图像，z为随机噪声，y为标签图像，E(*)表示分布函数的期望值，G(*)为生成器的输出，D(*)为鉴别器的输出。

由cGANs的训练目标，生成器G试图将该损失函数最小化，以对抗使其最大化的鉴别器D；与此同时，损失函数使用L1距离，得到最终的目标函数：

其中：

L_L1(G)＝E_x,y,z[||x-G(z|y)||₁]

步骤(4)：将步骤(1)和(2)中的得到彩色图像训练集以及其线稿数据集一起送入步骤(3)构建的网络中，对该网络进行训练，其中，线稿是作为标签输入网络中。设定单次训练样本数量(batch_size)为2，最大迭代轮数(max_epochs)为30轮，开始训练。直到鉴别器的损失曲线在0附近震荡，表明鉴别器已经无法鉴别输入图像来自生成器生成的图像还是真实图像，则训练完成。训练结束得到对应类别图像的上色模型。

步骤(5)：使用步骤(4)训练完成的模型对新的线稿进行上色。将待上色的线稿和参考图像输入训练后的生成网络，得到对应生成的彩色图像。

在本发明的一项具体实施中，步骤(2)中还可以对彩色图像数据库进行图像灰度化，获得灰度图像数据集，同时在步骤(3)中将灰度图像作为作为条件输入。

所述的图像灰度化采用加权平均灰度处理方法，其计算公式如下：

gray(i,j)＝0.30×R(i,j)+0.59×G(i,j)+0.11×B(i,j)

其中，(i,j)为像素点坐标，R、G、B分别为图像三通道分量，gray(i,j)为将彩色图像进行灰度化处理后的结果。

如图1所示，本实施例采用的生成器有6层上采样层和6层下采样层，前两层上采样层之后分别引入一层自注意力层；最后一层上采样层的输出结果再经过Relu激活层、卷积层、Tanh激活层最终生成处理后的彩色图像。

利用鉴别器在对输入的生成图像或原始彩色图像进行鉴别时，采用分块预测的方式，将图像分成M*K块，经过多层卷积，最终生成M*K*1大小的预测结果。再综合M*K块的预测结果，得到整体图像为真或假的判别结果，即鉴别器的输出，真为1，假为0。

图6为本发明实施过程中采用的参考图像数据集示例，将参考图像的颜色直方图信息与待上色的线稿或灰度图像作为训练好的图1所示的生成器的输入，得到与参考图像颜色风格相符的上色效果，图7为本发明所述的基于生成对抗网络的图像上色方法的在彩色图像数据集示例图上的上色效果。

以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims

1.基于参考图颜色风格的灰度图像着色方法，其特征在于，包括以下步骤：

步骤1：构建特定类别的彩色图像数据库并进行预处理，采用双线性插值法调整图像大小至统一尺寸；

步骤2：对步骤1中得到的彩色图像数据库进行线稿提取或图像灰度化，获得线稿图像或灰度图像数据集，并提取彩色图像的颜色直方图信息；

所述的线稿提取采用XDoG算子，计算公式如下：

d(i,j)＝img1(i,j)-γ*img2(i,j)

2.如权利要求1所述的基于参考图颜色风格的灰度图像着色方法，其特征在于，所述步骤3中的生成器为一个包含下采样和上采样的U-Net结构，首先将输入m*n*3统一大小的线稿图像和颜色直方图信息经过1个卷积层和N个下采样层进行下采样操作；其中m和n分别为图像的长和宽，N为生成器网络结构的下采样层数；

然后再采用N个上采样层进行上采样操作，并在前两层上采样层之后分别引入一层自注意力层；最后一层上采样层的输出结果再经过Relu激活层、卷积层、Tanh激活层最终生成处理后的彩色图像。

3.如权利要求2所述的基于参考图颜色风格的灰度图像着色方法，其特征在于，所述的下采样和上采样层各取6层，输入图像大小为512*512*3。

4.如权利要求1所述的基于参考图颜色风格的灰度图像着色方法，其特征在于，所述步骤3中的鉴别器对输入的图片进行分块预测，其输入为生成器生成的彩色图像、真实彩色图像，并以线稿图像或灰度图像作为标签图像一同输入；经过多层卷积，最终生成M*K*1大小的预测结果，其中M*K为最终分块的个数；再综合M*K块的预测结果，得到整体图像为真或假的判别结果，即鉴别器的输出，真为1，假为0。

5.如权利要求1所述的基于参考图颜色风格的灰度图像着色方法，其特征在于，所述条件生成对抗网络的目标函数包括对抗损失和L1损失，表示为：

L_L1(G)＝E_x,y,z[||x-G(z|y)||₁]

其中，L_cGAN为对抗损失，L_L1为L1损失，x为真实彩色图像，z为随机噪声，y为标签图像，E(*)表示分布函数的期望值，G(*)为生成器的输出，D(*)为鉴别器的输出，D(x|y)为以真实彩色图像和标签图像作为输入时的鉴别器的输出，p_data(x)为相同类别下的彩色图像数据库，p_z(z)为输入噪声分布，G(z|y)为以随机噪声和标签图像作为输入时的生成器的输出,D(x,G(*))为以真实彩色图像和生成器的输出图像作为输入时鉴别器的输出；λ为权重参数，||*||₁为l1范数。

6.如权利要求1所述的基于参考图颜色风格的灰度图像着色方法，其特征在于，步骤2中所述的图像灰度化采用加权平均灰度处理方法，其计算公式如下：

gray(i,j)＝0.30×R(i,j)+0.59×G(i,j)+0.11×B(i,j)

7.如权利要求1所述的基于参考图颜色风格的灰度图像着色方法，其特征在于，步骤2中所述的两个不同尺度分别为σ和σ*k，其中σ为高斯分布的标准差，k是一个大于零的常数。

8.如权利要求1所述的基于参考图颜色风格的灰度图像着色方法，其特征在于，所述的步骤4中，将待上色的线稿图像或灰度图像作为训练好的生成器的输入，同时输入参考图像的颜色直方图信息，生成参考图颜色风格的着色后的彩色图像。