CN109859288A - 基于生成对抗网络的图像上色方法及装置 - Google Patents

Abstract

本发明实施例提供一种基于生成对抗网络的图像上色方法及装置，所述方法包括：将待上色图像输入至基于生成对抗网络的图像上色模型中，获取所述基于生成对抗网络的图像上色模型输出的彩色图像；其中，所述基于生成对抗网络的图像上色模型是基于待上色图像样本和对应的彩色图像样本进行训练后获得的。本发明实施例提供的基于生成对抗网络的图像上色方法及装置，通过利用一般性足够强的训练数据，能够用端到端的学习方法，快速得到能适用于所有类型的图像的修复上色模型，更加通用，适用范围更广。

Description

基于生成对抗网络的图像上色方法及装置

技术领域

本发明实施例涉及图像处理技术领域，更具体地，涉及一种基于生成对抗网络的图像上色方法及装置。

背景技术

现如今的图像上色方法几乎都是传统的数字图像处理方法，即获取图片的数字图像数据，将所述数字图像数据中具有相同特征的数字序列提取出来，将这些数字序列及其各自对应的全部图像元素组成映射集合，提取当前待上色的图像元素的数字序列，找到对应的色彩，然后上色。

传统的上色方法都是需要提取构建映射集合的特征，在不同域的图像上迁移能力较差，适应性较差。

发明内容

本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的基于生成对抗网络的图像上色方法及装置。

第一方面，本发明实施例提供一种基于生成对抗网络的图像上色方法，包括：

将待上色图像输入至基于生成对抗网络的图像上色模型中，获取所述基于生成对抗网络的图像上色模型输出的彩色图像；

其中，所述基于生成对抗网络的图像上色模型是基于待上色图像样本和对应的彩色图像样本进行训练后获得的。

第二方面，本发明实施例提供一种基于生成对抗网络的图像上色装置，包括：

图像上色模块，用于将待上色图像输入至基于生成对抗网络的图像上色模型中，获取所述基于生成对抗网络的图像上色模型输出的彩色图像；

其中，所述基于生成对抗网络的图像上色模型是基于待上色图像样本和对应的彩色图像样本进行训练后获得的。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的基于生成对抗网络的图像上色方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的基于生成对抗网络的图像上色方法的步骤。

本发明实施例提供的基于生成对抗网络的图像上色方法及装置，通过利用一般性足够强的训练数据，能够用端到端的学习方法，快速得到能适用于所有类型的图像的修复上色模型，更加通用，适用范围更广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例提供训练得到基于生成对抗网络的图像上色模型的流程示意图；

图2为本发明实施例提供的带注意力机制的生成对抗网络模型的结构示意图；

图3为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种基于生成对抗网络的图像上色方法，包括：

将待上色图像输入至基于生成对抗网络的图像上色模型中，获取所述基于生成对抗网络的图像上色模型输出的彩色图像；

其中，所述基于生成对抗网络的图像上色模型是基于待上色图像样本和对应的彩色图像样本进行训练后获得的。

具体地，本发明实施例的目的是利用深度学习技术，实现对黑白图像、旧照片以及线稿进行合理的上色并将其修复。

生成对抗网络(GAN，Generative Adversarial Networks)通过观测数据样本，学习样本的潜在分布，从而可以生成与训练样本相似的数据。生成对抗网络由生成器和判别器构成，其核心思想是博弈论的二人零和博弈。对于参与博弈的双方：生成器和判别器，生成器的目的是尽量学习训练图像的数据分布，生成相似的图像；而判别器的目的是尽量正确判别输入数据是来自真实数据还是来自生成器生成的数据，为了达到二者的最终目标，博弈双方需要不断优化，各自提高自己的生成能力和判别能力，最终使得生成网络学习到样本数据的分布，可以生成相类似的图像。训练过程中，固定一方，更新另一个网络的参数，如此交替迭代，使得对方的错误最大化，最终，生成对抗网络能学习到原始数据集的分布。

在本发明实施例中，利用预先训练好的基于生成对抗网络的图像上色模型对待上色的图像进行处理，最终可以获得所述基于生成对抗网络的图像上色模型输出的彩色图像。

在本发明实施例中，使用ImageNet数据集来构建训练样本集，所述训练样本集包括待上色图像样本和对应的彩色图像样本，可以通过对ImageNet数据集中的彩色图像进行灰度处理，获得待上色图像样本。

如图1所示，采用如下方法训练得到所述基于生成对抗网络的图像上色模型：

步骤100、构建带注意力机制的生成对抗网络模型；

本发明实施例构建的带注意力机制的生成对抗网络模型的结构如图2所示，包括一个生成器和一个判别器，其中，生成器包括：用于提取输入图像特征的卷积神经网络层，注意力特征层，若干个卷积层，加法器和乘法器等。

判别器接收生成器输出的结果，并将生成器输出的结果与真实的彩色图片进行判别。在一个实施例中，判别器采用卷积神经网络模型。

训练生成器的过程如下：

步骤101、将待上色图像样本输入至所述带注意力机制的生成对抗网络模型的生成器进行训练，得到所述待上色图像样本的彩色图像，并将高斯白噪声输入至所述带注意力机制的生成对抗网络模型的生成器进行训练，得到所述待上色图像样本的虚拟图像；

步骤102、计算所述待上色图像样本的虚拟图像与所述待上色图像样本对应的彩色图像样本之间的损失，获得生成器的损失结果，基于所述生成器的损失结果利用反向传播算法更新所述生成器的参数；

具体地，所述待上色图像样本对应的彩色图像样本是真实的彩色图片，将高斯白噪声输入生成器中，获得一个虚拟图像，计算该虚拟图像与真实的彩色图像之间的损失，方向传播该损失从而更新生成器的参数。

训练完一次生成器后，利用生成器输出的所述待上色图像样本的彩色图像训练一次判别器：

步骤103、将所述待上色图像样本的彩色图像和所述待上色图像样本对应的彩色图像样本输入至所述带注意力机制的生成对抗网络模型的判别器进行判别，得到所述判别器的判别损失，并基于所述判别损失利用反向传播算法更新所述判别器的参数；

具体地，所述待上色图像样本对应的彩色图像样本是真实的彩色图片，所述带注意力机制的生成对抗网络模型的判别器接收生成器输出的所述待上色图像样本的彩色图像，将该彩色图像与所述待上色图像样本对应的彩色图像样本进行判别，获得所述待上色图像样本的彩色图像对应的判别损失，对所述判别损失进行反向传播更新所述判别器的参数，通过上述步骤即实现了对判别器的训练。

在本发明实施例中，交替训练生成器和判别器，即可训练一次生成器然后训练一次判别器。本发明实施例根据两个时间尺度上的更新规则，不断地交替训练生成器和判别器，最后得到被训练好的基于生成对抗网络的图像上色模型。

在一个实施例中，使判别器的学习率比生成器的学习率大2至5倍。这样交替训练能够使得整个方法的鲁棒性更高，网络收敛速度更快，训练起来也更简单稳定。

步骤104、当所述生成器的损失结果和所述判别损失均维持在预设阈值范围内并保持一段时间时，获得训练完成的基于生成对抗网络的图像上色模型，所述基于生成对抗网络的图像上色模型包括训练完成的生成器和判别器。

交替训练所述带注意力机制的生成对抗网络模型的生成器和判别器，当所述生成器的损失结果和所述判别损失均维持在预设阈值范围内并保持一段时间时，说明判别器已经分辨不出生成器输出的图像是真实的彩色图像还是生成器输出的彩色图像，训练结束，保存此时所述带注意力机制的生成对抗网络模型的参数，获得训练完成的基于生成对抗网络的图像上色模型。该基于生成对抗网络的图像上色模型包括训练完成的生成器和判别器。

本发明实施例提供的基于生成对抗网络的图像上色方法，通过利用一般性足够强的训练数据，能够用端到端的学习方法，快速得到能适用于所有类型的图像的修复上色模型，更加通用，适用范围更广。

基于上述实施例的内容，所述将待上色图像样本输入至所述带注意力机制的生成对抗网络模型的生成器进行学习，得到所述待上色图像样本的彩色图像的步骤，具体为：

将待上色图像样本输入至所述生成器的卷积神经网络层进行训练，获得所述待上色图像样本的特征图；

将所述特征图输入至所述生成器的注意力特征层进行线性变换和通道压缩，获得两个张量，然后重新将所述两个张量整理成矩阵形式并进行转置相乘，获得所述待上色图像样本的注意力图；

将所述特征图输入所述生成器的1*1的卷积核进行卷积，将卷积得到的输出结果与所述注意力图相乘，获得所述待上色图像样本的自注意力特征图；

将所述待上色图像样本的自注意力特征图和所述待上色图像样本的特征图进行加权求和，得到所述待上色图像样本的彩色图像。

具体地，所述带注意力机制的生成对抗网络模型的生成器包括用于提取输入图像特征的卷积神经网络层，注意力特征层，若干个卷积层，加法器和乘法器等。

将待上色图像样本输入至生成器的卷积神经网络层进行训练，获得所述待上色图像样本的特征图。

然后，将特征图输入至生成器的注意力特征层进行线性变换和通道压缩，获得两个张量，然后重新将所述两个张量整理成矩阵形式并进行转置相乘，获得所述待上色图像样本的注意力图。

其中，所述注意力特征层包括两个并列的卷积核为1*1的卷积层。

同时，将特征图输入生成器的卷积层进行卷积但不改变通道数，该卷积层的卷积核为1*1，将卷积后得到的图像与前面得到的注意力图相乘，得到自注意力特征图。

将自注意力特征图和原始的特征图进行加权求和，作为生成器最后的输出。

基于上述各实施例的内容，所述将待上色图像输入至基于生成对抗网络的图像上色模型中，获取所述基于生成对抗网络的图像上色模型输出的彩色图像的步骤，具体为：

将待上色图像输入至所述基于生成对抗网络的图像上色模型的生成器的卷积神经网络层，获得所述待上色图像的特征图；

将所述待上色图像的特征图输入至所述基于生成对抗网络的图像上色模型的生成器的注意力特征层进行线性变换和通道压缩，获得两个张量，然后重新将所述两个张量整理成矩阵形式并进行转置相乘，获得所述待上色图像的注意力图；

将所述待上色图像的特征图输入至所述基于生成对抗网络的图像上色模型的生成器的1*1的卷积核进行卷积，将卷积得到的输出结果与所述待上色图像的注意力图相乘，获得所述待上色图像的自注意力特征图；

将所述待上色图像的自注意力特征图和所述待上色图像的特征图进行加权求和，得到所述待上色图像对应的彩色图像。

具体地，在训练好基于生成对抗网络的图像上色模型后，只需要将待上色图像输入该训练好的基于生成对抗网络的图像上色模型的生成器，即可以获得彩色图像。

训练好的基于生成对抗网络的图像上色模型的生成器包括卷积神经网络层、注意力特征层、卷积核为1*1的卷积层、加法器和乘法器等。

具体生成彩色图像的步骤为：

将待上色图像输入至所述基于生成对抗网络的图像上色模型的生成器的卷积神经网络层，获得所述待上色图像的特征图；

将所述待上色图像的特征图输入至所述基于生成对抗网络的图像上色模型的生成器的注意力特征层进行线性变换和通道压缩，获得两个张量，然后重新将所述两个张量整理成矩阵形式并进行转置相乘，获得所述待上色图像的注意力图；

将所述待上色图像的特征图输入至所述基于生成对抗网络的图像上色模型的生成器的1*1的卷积核进行卷积并且不改变通道数，将卷积得到的输出结果与所述待上色图像的注意力图相乘，获得所述待上色图像的自注意力特征图；

将所述待上色图像的自注意力特征图和所述待上色图像的特征图进行加权求和，得到所述待上色图像对应的彩色图像。

本发明另一实施例，提供一种基于生成对抗网络的图像上色装置，包括：

图像上色模块，用于将待上色图像输入至基于生成对抗网络的图像上色模型中，获取所述基于生成对抗网络的图像上色模型输出的彩色图像；

其中，所述基于生成对抗网络的图像上色模型是基于待上色图像样本和对应的彩色图像样本进行训练后获得的。

具体地，本发明实施例的目的是利用深度学习技术，实现对黑白图像、旧照片以及线稿进行合理的上色并将其修复。

生成对抗网络通过观测数据样本，学习样本的潜在分布，从而可以生成与训练样本相似的数据。生成对抗网络由生成器和判别器构成，其核心思想是博弈论的二人零和博弈。对于参与博弈的双方：生成器和判别器，生成器的目的是尽量学习训练图像的数据分布，生成相似的图像；而判别器的目的是尽量正确判别输入数据是来自真实数据还是来自生成器生成的数据，为了达到二者的最终目标，博弈双方需要不断优化，各自提高自己的生成能力和判别能力，最终使得生成网络学习到样本数据的分布，可以生成相类似的图像。训练过程中，固定一方，更新另一个网络的参数，如此交替迭代，使得对方的错误最大化，最终，生成对抗网络能学习到原始数据集的分布。

在本发明实施例中，图像上色模块利用预先训练好的基于生成对抗网络的图像上色模型对待上色的图像进行处理，最终可以获得所述基于生成对抗网络的图像上色模型输出的彩色图像。

在本发明实施例中，使用ImageNet数据集来构建训练样本集，所述训练样本集包括待上色图像样本和对应的彩色图像样本，可以通过对ImageNet数据集中的彩色图像进行灰度处理，获得待上色图像样本。

本发明实施例提供的基于生成对抗网络的图像上色装置，通过利用一般性足够强的训练数据，能够用端到端的学习方法，快速得到能适用于所有类型的图像的修复上色模型，更加通用，适用范围更广。

图3为本发明实施例提供的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储在存储器330上并可在处理器310上运行的计算机程序，以执行上述各实施例提供的基于生成对抗网络的图像上色方法，例如包括：将待上色图像输入至基于生成对抗网络的图像上色模型中，获取所述基于生成对抗网络的图像上色模型输出的彩色图像；其中，所述基于生成对抗网络的图像上色模型是基于待上色图像样本和对应的彩色图像样本进行训练后获得的。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例提供的基于生成对抗网络的图像上色方法，例如包括：将待上色图像输入至基于生成对抗网络的图像上色模型中，获取所述基于生成对抗网络的图像上色模型输出的彩色图像；其中，所述基于生成对抗网络的图像上色模型是基于待上色图像样本和对应的彩色图像样本进行训练后获得的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于生成对抗网络的图像上色方法，其特征在于，包括：

将待上色图像输入至基于生成对抗网络的图像上色模型中，获取所述基于生成对抗网络的图像上色模型输出的彩色图像；

其中，所述基于生成对抗网络的图像上色模型是基于待上色图像样本和对应的彩色图像样本进行训练后获得的。

2.根据权利要求1所述的方法，其特征在于，采用如下方法训练得到所述基于生成对抗网络的图像上色模型：

构建带注意力机制的生成对抗网络模型；

将待上色图像样本输入至所述带注意力机制的生成对抗网络模型的生成器进行训练，得到所述待上色图像样本的彩色图像，并将高斯白噪声输入至所述带注意力机制的生成对抗网络模型的生成器进行训练，得到所述待上色图像样本的虚拟图像；

计算所述待上色图像样本的虚拟图像与所述待上色图像样本对应的彩色图像样本之间的损失，获得生成器的损失结果，基于所述生成器的损失结果利用反向传播算法更新所述生成器的参数；

将所述待上色图像样本的彩色图像和所述待上色图像样本对应的彩色图像样本输入至所述带注意力机制的生成对抗网络模型的判别器进行判别，得到所述判别器的判别损失，并基于所述判别损失利用反向传播算法更新所述判别器的参数；

当所述生成器的损失结果和所述判别损失均维持在预设阈值范围内并保持一段时间时，获得训练完成的基于生成对抗网络的图像上色模型，所述基于生成对抗网络的图像上色模型包括训练完成的生成器和判别器。

3.根据权利要求2所述的方法，其特征在于，所述将待上色图像样本输入至所述带注意力机制的生成对抗网络模型的生成器进行训练，得到所述待上色图像样本的彩色图像的步骤，具体为：

将待上色图像样本输入至所述生成器的卷积神经网络层进行训练，获得所述待上色图像样本的特征图；

将所述特征图输入至所述生成器的注意力特征层进行线性变换和通道压缩，获得两个张量，然后重新将所述两个张量整理成矩阵形式并进行转置相乘，获得所述待上色图像样本的注意力图；

将所述特征图输入所述生成器的1*1的卷积核进行卷积，将卷积得到的输出结果与所述注意力图相乘，获得所述待上色图像样本的自注意力特征图；

将所述待上色图像样本的自注意力特征图和所述待上色图像样本的特征图进行加权求和，得到所述待上色图像样本的彩色图像。

4.根据权利要求3所述的方法，其特征在于，所述注意力特征层包括两个并列的卷积核为1*1的卷积层。

5.根据权利要求2所述的方法，其特征在于，所述判别器的学习率比生成器的学习率大2至5倍。

6.根据权利要求2所述的方法，其特征在于，所述判别器采用卷积神经网络模型。

7.根据权利要求1所述的方法，其特征在于，所述将待上色图像输入至基于生成对抗网络的图像上色模型中，获取所述基于生成对抗网络的图像上色模型输出的彩色图像的步骤，具体为：

将待上色图像输入至所述基于生成对抗网络的图像上色模型的生成器的卷积神经网络层，获得所述待上色图像的特征图；

将所述待上色图像的特征图输入至所述基于生成对抗网络的图像上色模型的生成器的注意力特征层进行线性变换和通道压缩，获得两个张量，然后重新将所述两个张量整理成矩阵形式并进行转置相乘，获得所述待上色图像的注意力图；

将所述待上色图像的特征图输入至所述基于生成对抗网络的图像上色模型的生成器的1*1的卷积核进行卷积，将卷积得到的输出结果与所述待上色图像的注意力图相乘，获得所述待上色图像的自注意力特征图；

将所述待上色图像的自注意力特征图和所述待上色图像的特征图进行加权求和，得到所述待上色图像对应的彩色图像。

8.一种基于生成对抗网络的图像上色装置，其特征在于，包括：

图像上色模块，用于将待上色图像输入至基于生成对抗网络的图像上色模型中，获取所述基于生成对抗网络的图像上色模型输出的彩色图像；

其中，所述基于生成对抗网络的图像上色模型是基于待上色图像样本和对应的彩色图像样本进行训练后获得的。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。