CN114387315A - 图像处理模型训练、图像处理方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种图像处理模型训练、图像处理方法、装置、设备及介质。具体包括：获取待处理线稿图像和与待处理线稿图像匹配的待处理像素点图像；将待处理线稿图像和待处理像素点图像输入图像生成模块，通过图像生成模块生成待验证线稿着色图像；获取待处理线稿图像的原始样本图像，将原始样本图像和待验证线稿着色图像输入图像判别模块，通过图像判别模块生成图像真实性数据；根据图像真实性数据和图像真实性数据匹配的标记数据确定图像处理模型的损失值，根据损失值对图像处理模型进行训练。本发明实施例的技术方案能够消除自动生成的线稿着色图像的棋盘效应，从而提高自动生成的线稿着色图像的图像质量。

Description

图像处理模型训练、图像处理方法、装置、设备及介质

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理模型训练、图像处理方法、装置、设备及介质。

背景技术

随着科技的发展，图像处理变成了一个广泛又基础的问题。现有的图像处理主要采用基于深度学习的图像处理方法。基于深度学习的图像处理方法是通过大量的图像集对图像处理模型进行训练，并通过调整图像处理模型和模型参数，以达到生成高质量图像的目的。

但是现有的基于深度学习的图像处理方法容易导致生成的图像中某个部位的颜色比其他部位的颜色深，也即容易导致生成的图像出现棋盘效应。

发明内容

本发明实施例提供一种图像处理模型训练、图像处理方法、装置、设备及介质，能够消除自动生成的线稿着色图像的棋盘效应，从而提高自动生成的线稿着色图像的图像质量。

根据本发明的一方面，提供了一种图像处理模型训练方法，包括：

获取待处理线稿图像和与所述待处理线稿图像匹配的待处理像素点图像；

将所述待处理线稿图像和所述待处理像素点图像输入至图像处理模型的图像生成模块，以通过所述图像生成模块生成待验证线稿着色图像；其中，所述图像生成模块包括全卷积结构，且所述全卷积结构的目标反卷积层包括上采样层和卷积层；

获取所述待处理线稿图像的原始样本图像，并将所述原始样本图像和所述待验证线稿着色图像输入至所述图像处理模型的图像判别模块，以通过所述图像判别模块生成图像真实性数据；

根据所述图像真实性数据和所述图像真实性数据匹配的标记数据确定所述图像处理模型的损失值，以根据所述损失值对所述图像处理模型进行训练。

根据本发明的另一方面，提供了一种图像处理方法，包括：

获取待处理线稿图像；

对所述待处理线稿图像进行笔触处理，以得到待处理笔触图像；所述待处理笔触图像为待处理线稿图像和待处理像素点图像的融合图像；

将所述待处理笔触图像输入至训练完成的图像处理模型的图像生成模块，以通过所述图像生成模块对所述待处理笔触图像进行图像处理，得到目标线稿着色图像；

通过联合双边滤波器对所述目标线稿着色图像进行噪声过滤处理，以得到目标图像。

根据本发明的另一方面，提供了一种图像处理模型训练装置，包括：

图像获取模块，用于获取待处理线稿图像和与所述待处理线稿图像匹配的待处理像素点图像；

待验证线稿着色图像生成模块，用于将所述待处理线稿图像和所述待处理像素点图像输入至图像处理模型的图像生成模块，以通过所述图像生成模块生成待验证线稿着色图像；其中，所述图像生成模块包括全卷积结构，且所述全卷积结构的目标反卷积层包括上采样层和卷积层；

图像真实性数据生成模块，用于获取所述待处理线稿图像的原始样本图像，并将所述原始样本图像和所述待验证线稿着色图像输入至所述图像处理模型的图像判别模块，以通过所述图像判别模块生成图像真实性数据；

图像处理模型训练模块，用于根据所述图像真实性数据和所述图像真实性数据匹配的标记数据确定所述图像处理模型的损失值，以根据所述损失值对所述图像处理模型进行训练。

根据本发明的另一方面，提供了一种图像处理装置，包括：

待处理线稿图像获取模块，用于获取待处理线稿图像；

待处理笔触图像获取模块，用于对所述待处理线稿图像进行笔触处理，以得到待处理笔触图像；所述待处理笔触图像为待处理线稿图像和待处理像素点图像的融合图像；

目标线稿着色图像生成模块，用于将所述待处理笔触图像输入至训练完成的图像处理模型的图像生成模块，以通过所述图像生成模块对所述待处理笔触图像进行图像处理，得到目标线稿着色图像；

目标图像生成模块，用于通过联合双边滤波器对所述目标线稿着色图像进行噪声过滤处理，以得到目标图像。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现一方面所提供的图像处理模型训练方法，或者另一方面所提供的图像处理方法。

根据本发明的另一方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现一方面所提供的图像处理模型训练方法，或者另一方面所提供的图像处理方法。

本发明实施例通过获取待处理线稿图像和与待处理线稿图像匹配的待处理像素点图像，将待处理线稿图像和待处理像素点图像输入至图像处理模型的图像生成模块，以通过图像生成模块生成待验证线稿着色图像，并获取待处理线稿图像的原始样本图像，将原始样本图像和待验证线稿着色图像输入至图像处理模型的图像判别模块，以通过图像判别模块生成图像真实性数据，从而根据图像真实性数据和图像真实性数据匹配的标记数据确定图像处理模型的损失值，进而根据损失值对图像处理模型进行训练，以利用训练成功的图像处理模型的图像生成模块对待处理线稿图像进行图像处理，解决现有的图像处理方法导致生成的图像出现棋盘效应的问题，能够消除自动生成的线稿着色图像的棋盘效应，从而提高自动生成的线稿着色图像的图像质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种图像处理模型训练方法的流程图；

图2是本发明实施例一提供的一种图像处理模型训练方法的示例流程图；

图3是本发明实施例二提供的一种图像处理方法的流程图；

图4是本发明实施例二提供的一种图像处理方法的示例流程图；

图5是本发明实施例三提供的一种图像处理模型训练装置的示意图；

图6是本发明实施例四提供的一种图像处理装置的示意图；

图7是本发明实施例五提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。

另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1是本发明实施例一提供的一种图像处理模型训练方法的流程图，本实施例可适用于消除自动生成的线稿着色图像的棋盘效应的情况，该方法可以由图像处理模型训练装置执行，该装置可以通过软件和/或硬件的方式实现，并一般可以直接集成在执行本方法的电子设备中，该电子设备可以是终端设备，也可以是服务器设备，本发明实施例并不对执行图像处理模型训练方法的电子设备的类型进行限定。具体的，如图1所示，该图像处理模型训练方法具体可以包括如下步骤：

S110、获取待处理线稿图像和与所述待处理线稿图像匹配的待处理像素点图像。

其中，待处理线稿图像可以是任意需要进行图像处理的通过线条和阴影勾勒而成的二进制灰度图像。待处理像素点图像可以是与待处理线稿图像对应的彩色图像中的像素点组成的图像。

在本发明实施例中，获取待处理线稿图像和与待处理线稿图像匹配的待处理像素点图像，以将待处理线稿图像和待处理像素点图像输入至图像处理模型的图像生成模块。需要说明的是，本发明实施例对获取待处理线稿图像和待处理像素点图像的具体实现方式并不进行限制，只要能够实现待处理线稿图像和待处理像素点图像的获取即可。可以理解的是，可以根据待处理像素点图像对待处理线稿图像进行着色处理得到与待处理线稿图像对应的彩色图像，从而有效提升动画的视觉观感，增强画面的表现力。

可选的，在获取待处理线稿图像和与待处理线稿图像匹配的待处理像素点图像之前，还可以包括：获取原始样本图像；通过边缘提取模型对原始样本图像进行边缘提取，以得到待处理线稿图像；通过像素点提取模型对原始样本图像进行像素点提取，以得到待处理像素点图像。

其中，原始样本图像可以是带有各种颜色的、能够用作样本图像的彩色图像。边缘提取模型可以是提取图像边缘的模型，例如可以是Canny(边缘检测算法)模型，也可以是XDoG(eXtended difference-of-Gaussians，生成边缘图片的算法)模型等，本发明实施例对此并不进行限制。像素点提取模型可以是提取图像像素点的模型，例如可以是ORB(Oriented Fast and Rotated Brief，特征点提取算法)模型，也可以是SIFT(Scale-invariant feature transform，尺度不变特征变换算法)模型等，本发明实施例对此并不进行限制。

具体的，在获取待处理线稿图像和与待处理线稿图像匹配的待处理像素点图像之前，可以获取原始样本图像，并通过边缘提取模型对原始样本图像进行边缘提取得到待处理线稿图像，通过像素点提取模型对原始样本图像进行像素点提取得到待处理像素点图像。

S120、将所述待处理线稿图像和所述待处理像素点图像输入至图像处理模型的图像生成模块，以通过所述图像生成模块生成待验证线稿着色图像；其中，所述图像生成模块包括全卷积结构，且所述全卷积结构的目标反卷积层包括上采样层和卷积层。

其中，图像处理模型可以是对图像进行处理的模型，例如可以是GAN(生成式对抗网络)网络模型等，本发明实施例对此并不进行限制。图像生成模块可以是对图像进行处理的模型中能够生成图像的模块，例如可以是GAN网络模型中的生成器等，本发明实施例对此并不进行限制。待验证线稿着色图像可以是通过图像生成模块生成的需要进行验证的对线稿图像进行着色处理后的图像。目标反卷积层可以是全卷积结构中反卷积层的目标层，例如可以是反卷积层的第一反卷积层和第二反卷积层等，本发明实施例对此并不进行限制。

在本发明实施例中，在获取待处理线稿图像和与待处理线稿图像匹配的待处理像素点图像之后，可以进一步将待处理线稿图像和待处理像素点图像输入至图像处理模型的图像生成模块，以通过图像生成模块生成待验证线稿着色图像。具体的，图像处理模型的图像生成模块可以包括全卷积结构，而且全卷积结构的目标反卷积层可以包括上采样层和卷积层。可以理解的是，全卷积结构可以包括卷积层和反卷积层。示例性的，全卷积结构可以包括5层卷积层和4层反卷积层。

在现有技术中，图像处理模型的图像生成模块的反卷积的卷积核尺寸无法总是做到被步长整除，导致反卷积过程出现不均匀的重叠现象，也即棋盘效应。

上述技术方案，通过目标反卷积层采用上采样加卷积的结构代替反卷积，能够从卷积中分理出上采样部分，使用差值方法来改变图像大小，再进行卷积处理，从而抑制了高频假象的产生，进而消除了图像的棋盘效应。

可选的，在通过图像生成模块生成待验证线稿着色图像之前，还可以包括：通过Sketch-a-Net(多通道的深度神经网络)模型对待处理线稿图像进行特征提取，以得到待处理线稿图像的待处理线稿图像特征；通过图像生成模块获取图像生成模块生成的生成图像特征，并将待处理线稿图像特征输入至图像生成模块，通过图像生成模块将待处理线稿图像特征与生成图像特征进行特征拼接。

其中，Sketch-a-Net模型可以是预先训练成功的特征提取模型，可以用于提取待处理线稿图像中的特征。待处理线稿图像特征可以是通过Sketch-a-Net模型提取的待处理线稿图像中的特征。生成图像特征可以是通过图像生成模块获取的待处理线稿图像中的特征。

具体的，在通过图像生成模块生成待验证线稿着色图像之前，可以通过Sketch-a-Net模型对待处理线稿图像进行特征提取，得到待处理线稿图像的待处理线稿图像特征，通过图像生成模块获取图像生成模块生成的生成图像特征，并将待处理线稿图像特征输入至图像生成模块，以通过图像生成模块将待处理线稿图像特征与生成图像特征进行特征拼接。

上述技术方案，通过使用Sketch-a-Net模型提取待处理线稿图像的待处理线稿图像特征，并通过图像生成模块将待处理线稿图像特征与生成图像特征进行特征拼接，能够解决图像处理模型网络层数太浅，且数据量太少对图像处理模型网络训练不充分的问题，从而改善颜色溢出和图像模糊现象。

可选的，在通过图像生成模块生成待验证线稿着色图像之前，还可以包括：通过长连接的连接方式将图像生成模块的全卷积结构的预设卷积层与预设反卷积层进行连接。

其中，预设卷积层可以是预先设定的全卷积结构中的卷积层，例如可以是第一卷积层，也可以是第二卷积层等，本发明实施例对此并不进行限制。预设反卷积层可以是预先设定的全卷积结构中的反卷积层，例如可以是第一反卷积层，也可以是第二反卷积层等，本发明实施例对此并不进行限制。

具体的，在通过图像生成模块生成待验证线稿着色图像之前，可以通过长连接的连接方式将图像生成模块的全卷积结构的预设卷积层与预设反卷积层进行连接。示例性的，可以通过长连接的连接方式将图像生成模块的全卷积结构中对称的卷积层与反卷积层进行连接。

S130、获取所述待处理线稿图像的原始样本图像，并将所述原始样本图像和所述待验证线稿着色图像输入至所述图像处理模型的图像判别模块，以通过所述图像判别模块生成图像真实性数据。

其中，图像判别模块可以是对图像进行处理的模型中能够对输入图像进行判别的模块，例如可以是GAN网络模型中的判别器等，本发明实施例对此并不进行限制。图像真实性数据可以是输入图像为真实图像的概率数据。可以理解的是，如果输入图像判别模块的图像越真实，则图像真实性数据越接近1。

在本发明实施例中，在将待处理线稿图像和待处理像素点图像输入至图像处理模型的图像生成模块，通过图像生成模块生成待验证线稿着色图像之后，可以进一步获取待处理线稿图像的原始样本图像，并将原始样本图像和待验证线稿着色图像输入至图像处理模型的图像判别模块，以通过图像判别模块生成图像真实性数据。示例性的，图像处理模型的图像判别模块可以包括全连接层和图像生成模块的全卷积结构中卷积层的1/2。

S140、根据所述图像真实性数据、所述图像真实性数据匹配的标记数据、所述原始样本图像和所述待验证线稿着色图像确定所述图像处理模型的损失值，以根据所述损失值对所述图像处理模型进行训练。

其中，标记数据可以是在将图像输入至图像判别模块之前，对图像进行标记的数据。示例性的，原始样本图像为真实的图像，则原始样本图像的标记数据可以是1。待验证线稿着色图像为生成的图像，则待验证线稿着色图像的标记数据可以是0。损失值可以是在图像处理模型对图像进行处理过程中的损失数据。

在本发明实施例中，在将原始样本图像和待验证线稿着色图像输入至图像处理模型的图像判别模块，通过图像判别模块生成图像真实性数据之后，可以进一步根据图像真实性数据、图像真实性数据匹配的标记数据、原始样本图像和待验证线稿着色图像确定图像处理模型的损失值，以根据损失值对图像处理模型进行训练。可以理解的是，图像处理模型的损失值越小，图像处理模型的图像生成模块生成的图像越接近真实图像，也即图像处理模型的图像生成模块生成的图像的着色效果越好。

可选的，根据图像真实性数据、图像真实性数据匹配的标记数据、原始样本图像和待验证线稿着色图像确定图像处理模型的损失值，包括：根据图像真实性数据和图像真实性数据匹配的标记数据确定图像处理模型的对抗损失值；根据原始样本图像和待验证线稿着色图像确定图像处理模型的L1损失值和感知损失值；根据待验证线稿着色图像确定图像处理模型的总变差损失值；通过对抗损失值、L1损失值、感知损失值和总变差损失值确定损失值。

其中，对抗损失值可以是图像真实性数据匹配的标记数据与图像真实性数据之间的差值。L1损失值可以是原始样本图像和待验证线稿着色图像的每个像素点的差值。总变差损失值可以是待验证线稿着色图像的某个像素点的像素值与其周围像素点的像素值之间的差值。感知损失值可以是原始样本图像和待验证线稿着色图像的多维特征值之间的差值。

具体的，在将原始样本图像和待验证线稿着色图像输入至图像处理模型的图像判别模块，通过图像判别模块生成图像真实性数据之后，可以进一步根据图像真实性数据和图像真实性数据匹配的标记数据确定图像处理模型的对抗损失值、L1损失值、总变差损失值和感知损失值，以通过对抗损失值、L1损失值、总变差损失值和感知损失值确定损失值，从而根据损失值对图像处理模型进行训练。可选的，通过对抗损失值、L1损失值、总变差损失值和感知损失值确定损失值，可以是通过对抗损失值、L1损失值、总变差损失值和感知损失值的加权平均值确定损失值，也可以是通过对抗损失值、L1损失值、总变差损失值和感知损失值的算术平均值确定损失值等，本发明实施例对此并不进行限制。

在现有技术中，图像着色方面有两个公认的基本假设：一、相邻像素点，如果它们的亮度相似，则颜色也会相似；二、相邻像素点，如果它们的特征(如纹理、形状)相似，则颜色也会相似。目前几乎所有的着色算法都是基于这两个假设进行的。

现有的图像着色方法主要分为以下几类：基于手工笔触的颜色扩散、基于参考图像的颜色传递以及基于深度学习的方法。基于手工笔触的颜色扩散算法是通过在灰度图像的各个区域添加颜色笔触，使笔触进行扩散，并在边界处停止，最终得到一幅着色完全的图像。该方法对笔触的输入形式要求很高，但无需参考图像，且能进行着色调整。基于参考图像的颜色传递方法首先需要找到一张与待着色图像内容相近的图像，着色时，在参考图像中寻找到与当前待着色像素特征最相似的像素，将其颜色作为当前像素的颜色。该方法时间复杂度较高，且由于采用逐像素颜色传递，容易造成邻域空间颜色不一致问题，另外需要一幅参考图像，适合视频序列着色。基于深度学习的方法是通过大量的图像集对模型进行训练，通过调整网络模型和参数达到生成高质量的着色图像的目的。该方法需要大量数据集作为训练数据，但目前不存在一个既包含彩色图像，又包含其对应线稿图像的数据集。同时，网络的架构及损失函数的设计是着色好坏的关键，需要反复进行调整。但是，训练完成的网络在使用时几乎可以实现即时着色，且目前很多工作表明，采用深度学习的方法可以得到比传统方法更好的着色效果。

目前基于深度学习的方法如deepColor算法，是基于GAN网络模型构建的。它将着色分为两个阶段，一个是彩色预测阶段，一个是着色渲染阶段。彩色预测阶段接收线稿图像作为输入，输出预测的颜色信息；着色渲染阶段接收线稿图像和阶段一输出的颜色图像作为输入，输出最后的着色图像。但是该方法输出的着色后的图像质量较差，着色后的图像色彩有可能存在偏差。

在一个具体示例中，基于深度学习的方法中的图像处理模型可以是GAN网络模型，其中，GAN网络模型采用生成器和判别器两个网络相互博弈的方式共同训练；生成器负责生成假样本，判别器负责区分真样本和假样本；训练完成的生成器生成的假样本能够达到以假乱真的目的。图2是本发明实施例一提供的一种图像处理模型训练方法的示例流程图，如图2所示，该方法具体可以包括以下内容：

采用边缘提取算法对彩色图像(也即原始样本图像)进行边缘检测生成边缘图，将边缘图作为待处理线稿图像对GAN网络模型进行训练；其中，边缘提取算法可以是Canny、DoG(difference-of-Gaussians，生成边缘图片算法)或XDoG等。采用像素点提取算法对彩色图像进行像素点提取，得到待处理像素点图像。

将提取的待处理线稿图像和待处理像素点图像输入至GAN网络模型的生成器G(也即图像生成模块)，以通过生成器G生成待验证线稿着色图像。GAN网络模型的生成器G为全卷积结构，除输入输出外共有九层，并且仿照U-Net(图像分割网络模型)网络模型在对称的层与层之间通过长连接相连；且反卷积阶段的前两层采用上采样加卷积的结构，消除了着色图像中的棋盘效应。

通过预训练模型Sketch-a-Net特征提取器提取待处理线稿图像的特征，并将待处理线稿图像的特征输入到GAN网络模型的生成器G并与生成器G的第三层特征进行拼接。

将彩色图像和生成器G生成的待验证线稿着色图像输入至GAN网络模型的判别器D(也即图像判别模块)，以通过判别器D确定输入图像是否为真实图像。判别器D采用了生成器G卷积层的一半，并在最后添加了一个全连接层用于输出分数，以表示输入图像为真实图像的概率。

通过GAN网络模型的对抗损失、L1损失、总变差损失和感知损失指导训练GAN网络模型，以改善GAN网络模型生成器G对图像的着色处理。

可选的，对抗损失函数可以为：

其中，x表示真实图片，z表示输入G网络的噪声，G(z)表示G网络生成的图片，D(·)表示D网络判断图片是否真实的概率。

可选的，感知损失可以是将彩色图像和生成器G生成的待验证线稿着色图像输入至VGG19(Visual Geometry Group 19，19个隐藏层的神经网络结构)网络得到的两者的多维特征值之间的差值。

上述技术方案，基于GAN网络模型，结合笔触信息，通过引入预训练模型Sketcha-a-Net，并且修改传统U-Net网络，改善了生成网络的网络结构，实现了对线稿图像的自动着色。

本实施例的技术方案，通过获取待处理线稿图像和与待处理线稿图像匹配的待处理像素点图像，将待处理线稿图像和待处理像素点图像输入至图像处理模型的图像生成模块，以通过图像生成模块生成待验证线稿着色图像，并获取待处理线稿图像的原始样本图像，将原始样本图像和待验证线稿着色图像输入至图像处理模型的图像判别模块，以通过图像判别模块生成图像真实性数据，从而根据图像真实性数据和图像真实性数据匹配的标记数据确定图像处理模型的损失值，进而根据损失值对图像处理模型进行训练，解决现有的图像处理方法导致生成的图像出现棋盘效应的问题，能够消除自动生成的线稿着色图像的棋盘效应，从而提高自动生成的线稿着色图像的图像质量。

实施例二

图3是本发明实施例二提供的一种图像处理方法的流程图，本实施例可适用于消除自动生成的线稿着色图像的棋盘效应的情况，该方法可以由图像处理装置执行，该装置可以通过软件和/或硬件的方式实现，并一般可以直接集成在执行本方法的电子设备中，该电子设备可以是终端设备，也可以是服务器设备，本发明实施例并不对执行图像处理方法的电子设备的类型进行限定。具体的，如图3所示，该图像处理方法具体可以包括如下步骤：

S310、获取待处理线稿图像。

S320、对所述待处理线稿图像进行笔触处理，以得到待处理笔触图像；其中，所述待处理笔触图像为待处理线稿图像和待处理像素点图像的融合图像。

其中，待处理笔触图像可以是在待处理线稿图像的基础上，对待处理线稿进行笔触处理得到的图像。具体的，待处理笔触图像可以是待处理线稿图像和待处理像素点图像的融合图像。

在本发明实施例中，在获取待处理线稿图像之后，可以进一步对待处理线稿图像进行笔触处理，以得到待处理笔触图像。可选的，对待处理线稿图像进行笔触处理，可以是手工对待处理线稿图像进行笔触处理，也可以是自动对待处理线稿图像进行笔触处理，本发明实施例对此并不进行限制。

S330、将所述待处理笔触图像输入至训练完成的图像处理模型的图像生成模块，以通过所述图像生成模块对所述待处理笔触图像进行图像处理，得到目标线稿着色图像。

其中，目标线稿着色图像可以是对待处理笔触图像进行图像处理之后得到的彩色图像。

在本发明实施例中，在对待处理线稿图像进行笔触处理，得到待处理笔触图像之后，可以进一步将待处理笔触图像输入至训练完成的图像处理模型的图像生成模块，以通过图像生成模块对待处理笔触图像进行图像处理，从而得到目标线稿着色图像。

S340、通过联合双边滤波器对所述目标线稿着色图像进行噪声过滤处理，以得到目标图像。

其中，联合双边滤波器可以用于对目标线稿着色图像的残余噪声进行滤除。目标图像可以是对目标线稿着色图像进行噪声过滤处理得到的图像。

在本发明实施例中，在通过图像生成模块对待处理笔触图像进行图像处理，得到目标线稿着色图像之后，可以进一步通过联合双边滤波器对目标线稿着色图像进行噪声过滤处理，以得到目标图像。

上述技术方案，通过使用联合双边滤波器对目标线稿着色图像进行噪声过滤处理，能够使得目标图像更加生动。

在一个具体示例中，图4是本发明实施例二提供的一种图像处理方法的示例流程图，如图4所示，图像处理方法具体可以包括以下内容：

将线稿图像进行笔触处理得到的图像(也即待处理笔触图像)输入至训练成功的GAN网络模型的生成器G中；GAN网络模型的生成器G自动利用待处理笔触图像中的颜色提示，对线稿图像在其对应位置处进行着色，并将颜色扩散到边缘处停止；通过联合双边滤波器对着色后图像(也即目标线稿着色图像)中的残余噪声进行滤除，从而得到最终的图像(也即目标图像)。

上述技术方案，通过采用能够联合双边滤波器对着色后图像进行噪声滤除，能够使生成的线稿着色图像看起来更加生动。

本实施例的技术方案，通过获取待处理线稿图像，对待处理线稿图像进行笔触处理得到待处理笔触图像，并将待处理笔触图像输入至训练完成的图像处理模型的图像生成模块，通过图像生成模块对待处理笔触图像进行图像处理得到目标线稿着色图像，并通过联合双边滤波器对目标线稿着色图像进行噪声过滤处理，以得到目标图像，解决现有的图像处理方法导致生成的图像出现棋盘效应的问题，能够消除自动生成的线稿着色图像的棋盘效应，从而提高自动生成的线稿着色图像的图像质量。

实施例三

图5是本发明实施例三提供的一种图像处理模型训练装置的示意图，如图5所示，所述装置包括：图像获取模块510、待验证线稿着色图像生成模块520、图像真实性数据生成模块530以及图像处理模型训练模块540，其中：

图像获取模块510，用于获取待处理线稿图像和与所述待处理线稿图像匹配的待处理像素点图像；

待验证线稿着色图像生成模块520，用于将所述待处理线稿图像和所述待处理像素点图像输入至图像处理模型的图像生成模块，以通过所述图像生成模块生成待验证线稿着色图像；其中，所述图像生成模块包括全卷积结构，且所述全卷积结构的目标反卷积层包括上采样层和卷积层；

图像真实性数据生成模块530，用于获取所述待处理线稿图像的原始样本图像，并将所述原始样本图像和所述待验证线稿着色图像输入至所述图像处理模型的图像判别模块，以通过所述图像判别模块生成图像真实性数据；

图像处理模型训练模块540，用于根据所述图像真实性数据和所述图像真实性数据匹配的标记数据确定所述图像处理模型的损失值，以根据所述损失值对所述图像处理模型进行训练。

本实施例的技术方案，通过获取待处理线稿图像和与待处理线稿图像匹配的待处理像素点图像，将待处理线稿图像和待处理像素点图像输入至图像处理模型的图像生成模块，以通过图像生成模块生成待验证线稿着色图像，并获取待处理线稿图像的原始样本图像，将原始样本图像和待验证线稿着色图像输入至图像处理模型的图像判别模块，以通过图像判别模块生成图像真实性数据，从而根据图像真实性数据和图像真实性数据匹配的标记数据确定图像处理模型的损失值，进而根据损失值对图像处理模型进行训练，解决现有的图像处理方法导致生成的图像出现棋盘效应的问题，能够消除自动生成的线稿着色图像的棋盘效应，从而提高自动生成的线稿着色图像的图像质量。

可选的，待验证线稿着色图像生成模块520，可以具体用于：通过Sketch-a-Net模型对待处理线稿图像进行特征提取，以得到待处理线稿图像的待处理线稿图像特征；通过图像生成模块获取图像生成模块生成的生成图像特征，并将待处理线稿图像特征输入至图像生成模块；通过图像生成模块将待处理线稿图像特征与生成图像特征进行特征拼接。

可选的，待验证线稿着色图像生成模块520，还可以具体用于：通过长连接的连接方式将图像生成模块的全卷积结构的预设卷积层与预设反卷积层进行连接。

可选的，图像获取模块510，可以具体用于：获取原始样本图像；通过边缘提取模型对原始样本图像进行边缘提取，以得到待处理线稿图像；通过像素点提取模型对原始样本图像进行像素点提取，以得到待处理像素点图像。

可选的，图像处理模型训练模块540，可以具体用于：根据图像真实性数据和图像真实性数据匹配的标记数据确定图像处理模型的对抗损失值、L1损失值、总变差损失值和感知损失值；通过对抗损失值、L1损失值、总变差损失值和感知损失值确定损失值。

上述图像处理模型训练装置可执行本发明任意实施例所提供的图像处理模型训练方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的图像处理模型训练方法。

由于上述所介绍的图像处理模型训练装置为可以执行本发明实施例中的图像处理模型训练方法的装置，故而基于本发明实施例中所介绍的图像处理模型训练方法，本领域所属技术人员能够了解本实施例的图像处理模型训练装置的具体实施方式以及其各种变化形式，所以在此对于该图像处理模型训练装置如何实现本发明实施例中的图像处理模型训练方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中图像处理模型训练方法所采用的装置，都属于本申请所欲保护的范围。

实施例四

图6是本发明实施例四提供的一种图像处理装置的示意图，如图6所示，所述装置包括：待处理线稿图像获取模块610、待处理笔触图像获取模块620、目标线稿着色图像生成模块630以及目标图像生成模块640，其中：

待处理线稿图像获取模块610，用于获取待处理线稿图像；

待处理笔触图像获取模块620，用于对所述待处理线稿图像进行笔触处理，以得到待处理笔触图像；所述待处理笔触图像为待处理线稿图像和待处理像素点图像的融合图像；

目标线稿着色图像生成模块630，用于将所述待处理笔触图像输入至训练完成的图像处理模型的图像生成模块，以通过所述图像生成模块对所述待处理笔触图像进行图像处理，得到目标线稿着色图像；

目标图像生成模块，用于通过联合双边滤波器对所述目标线稿着色图像进行噪声过滤处理，以得到目标图像。

本实施例的技术方案，通过获取待处理线稿图像，对待处理线稿图像进行笔触处理得到待处理笔触图像，并将待处理笔触图像输入至训练完成的图像处理模型的图像生成模块，通过图像生成模块对待处理笔触图像进行图像处理得到目标线稿着色图像，并通过联合双边滤波器对目标线稿着色图像进行噪声过滤处理，以得到目标图像，解决现有的图像处理方法导致生成的图像出现棋盘效应的问题，能够消除自动生成的线稿着色图像的棋盘效应，从而提高自动生成的线稿着色图像的图像质量。

上述图像处理装置可执行本发明任意实施例所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的图像处理方法。

由于上述所介绍的图像处理装置为可以执行本发明实施例中的图像处理方法的装置，故而基于本发明实施例中所介绍的图像处理方法，本领域所属技术人员能够了解本实施例的图像处理装置的具体实施方式以及其各种变化形式，所以在此对于该图像处理装置如何实现本发明实施例中的图像处理方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中图像处理方法所采用的装置，都属于本申请所欲保护的范围。

实施例五

图7是本发明实施例五提供的一种电子设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图7显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器16，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图7中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。

处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，实现本发明实施例一所提供的图像处理模型训练方法：获取待处理线稿图像和与待处理线稿图像匹配的待处理像素点图像；将待处理线稿图像和待处理像素点图像输入至图像处理模型的图像生成模块，以通过图像生成模块生成待验证线稿着色图像；其中，图像生成模块包括全卷积结构，且全卷积结构的目标反卷积层包括上采样层和卷积层；获取待处理线稿图像的原始样本图像，并将原始样本图像和待验证线稿着色图像输入至图像处理模型的图像判别模块，以通过图像判别模块生成图像真实性数据；根据图像真实性数据和图像真实性数据匹配的标记数据确定图像处理模型的损失值，以根据损失值对图像处理模型进行训练。

或处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，实现本发明实施例二所提供的图像处理方法：获取待处理线稿图像；对待处理线稿图像进行笔触处理，以得到待处理笔触图像；其中，待处理笔触图像为待处理线稿图像和待处理像素点图像的融合图像；将待处理笔触图像输入至训练完成的图像处理模型的图像生成模块，以通过图像生成模块对待处理笔触图像进行图像处理，得到目标线稿着色图像；通过联合双边滤波器对目标线稿着色图像进行噪声过滤处理，以得到目标图像。

实施例六

本发明实施例六还提供一种存储计算机程序的计算机存储介质，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例一所述的图像处理模型训练方法：获取待处理线稿图像和与待处理线稿图像匹配的待处理像素点图像；将待处理线稿图像和待处理像素点图像输入至图像处理模型的图像生成模块，以通过图像生成模块生成待验证线稿着色图像；其中，图像生成模块包括全卷积结构，且全卷积结构的目标反卷积层包括上采样层和卷积层；获取待处理线稿图像的原始样本图像，并将原始样本图像和待验证线稿着色图像输入至图像处理模型的图像判别模块，以通过图像判别模块生成图像真实性数据；根据图像真实性数据和图像真实性数据匹配的标记数据确定图像处理模型的损失值，以根据损失值对图像处理模型进行训练。

或所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例二所述的图像处理方法：获取待处理线稿图像；对待处理线稿图像进行笔触处理，以得到待处理笔触图像；其中，待处理笔触图像为待处理线稿图像和待处理像素点图像的融合图像；将待处理笔触图像输入至训练完成的图像处理模型的图像生成模块，以通过图像生成模块对待处理笔触图像进行图像处理，得到目标线稿着色图像；通过联合双边滤波器对目标线稿着色图像进行噪声过滤处理，以得到目标图像。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ReadOnly Memory，ROM)、可擦式可编程只读存储器((Erasable Programmable Read OnlyMemory，EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种图像处理模型训练方法，其特征在于，包括：

获取待处理线稿图像和与所述待处理线稿图像匹配的待处理像素点图像；

将所述待处理线稿图像和所述待处理像素点图像输入至图像处理模型的图像生成模块，以通过所述图像生成模块生成待验证线稿着色图像；其中，所述图像生成模块包括全卷积结构，且所述全卷积结构的目标反卷积层包括上采样层和卷积层；

获取所述待处理线稿图像的原始样本图像，并将所述原始样本图像和所述待验证线稿着色图像输入至所述图像处理模型的图像判别模块，以通过所述图像判别模块生成图像真实性数据；

根据所述图像真实性数据、所述图像真实性数据匹配的标记数据、所述原始样本图像和所述待验证线稿着色图像确定所述图像处理模型的损失值，以根据所述损失值对所述图像处理模型进行训练。

2.根据权利要求1所述的方法，其特征在于，在所述通过所述图像生成模块生成待验证线稿着色图像之前，还包括：

通过Sketch-a-Net模型对所述待处理线稿图像进行特征提取，以得到所述待处理线稿图像的待处理线稿图像特征；

通过所述图像生成模块获取所述图像生成模块生成的生成图像特征，并将所述待处理线稿图像特征输入至所述图像生成模块；

通过所述图像生成模块将所述待处理线稿图像特征与所述生成图像特征进行特征拼接。

3.根据权利要求1所述的方法，其特征在于，在所述通过所述图像生成模块生成待验证线稿着色图像之前，还包括：

通过长连接的连接方式将所述图像生成模块的所述全卷积结构的预设卷积层与预设反卷积层进行连接。

4.根据权利要求1所述的方法，其特征在于，在所述获取待处理线稿图像和与所述待处理线稿图像匹配的待处理像素点图像之前，还包括：

获取原始样本图像；

通过边缘提取模型对所述原始样本图像进行边缘提取，以得到所述待处理线稿图像；

通过像素点提取模型对所述原始样本图像进行像素点提取，以得到所述待处理像素点图像。

5.根据权利要求1-4任一所述的方法，其特征在于，所述根据所述图像真实性数据、所述图像真实性数据匹配的标记数据、所述原始样本图像和所述待验证线稿着色图像确定所述图像处理模型的损失值，包括：

根据所述图像真实性数据和所述图像真实性数据匹配的标记数据确定所述图像处理模型的对抗损失值；

根据所述原始样本图像和所述待验证线稿着色图像确定所述图像处理模型的L1损失值和感知损失值；

根据所述待验证线稿着色图像确定所述图像处理模型的总变差损失值；

通过所述对抗损失值、所述L1损失值、所述感知损失值和所述总变差损失值确定所述损失值。

6.一种图像处理方法，其特征在于，包括：

获取待处理线稿图像；

对所述待处理线稿图像进行笔触处理，以得到待处理笔触图像；其中，所述待处理笔触图像为待处理线稿图像和待处理像素点图像的融合图像；

将所述待处理笔触图像输入至训练完成的图像处理模型的图像生成模块，以通过所述图像生成模块对所述待处理笔触图像进行图像处理，得到目标线稿着色图像；

通过联合双边滤波器对所述目标线稿着色图像进行噪声过滤处理，以得到目标图像。

7.一种图像处理模型训练装置，其特征在于，包括：

图像获取模块，用于获取待处理线稿图像和与所述待处理线稿图像匹配的待处理像素点图像；

待验证线稿着色图像生成模块，用于将所述待处理线稿图像和所述待处理像素点图像输入至图像处理模型的图像生成模块，以通过所述图像生成模块生成待验证线稿着色图像；其中，所述图像生成模块包括全卷积结构，且所述全卷积结构的目标反卷积层包括上采样层和卷积层；

图像真实性数据生成模块，用于获取所述待处理线稿图像的原始样本图像，并将所述原始样本图像和所述待验证线稿着色图像输入至所述图像处理模型的图像判别模块，以通过所述图像判别模块生成图像真实性数据；

图像处理模型训练模块，用于根据所述图像真实性数据和所述图像真实性数据匹配的标记数据确定所述图像处理模型的损失值，以根据所述损失值对所述图像处理模型进行训练。

8.一种图像处理装置，其特征在于，包括：

待处理线稿图像获取模块，用于获取待处理线稿图像；

待处理笔触图像获取模块，用于对所述待处理线稿图像进行笔触处理，以得到待处理笔触图像；所述待处理笔触图像为待处理线稿图像和待处理像素点图像的融合图像；

目标线稿着色图像生成模块，用于将所述待处理笔触图像输入至训练完成的图像处理模型的图像生成模块，以通过所述图像生成模块对所述待处理笔触图像进行图像处理，得到目标线稿着色图像；

目标图像生成模块，用于通过联合双边滤波器对所述目标线稿着色图像进行噪声过滤处理，以得到目标图像。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的图像处理模型训练方法，或者实现如权利要求6中所述的图像处理方法。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的图像处理模型训练方法，或者实现如权利要求6中所述的图像处理方法。

Images