CN109345448B - 一种轮廓图上色方法及装置 - Google Patents

Abstract

本发明公开了一种轮廓图上色方法及装置，方法包括：获取待上色的轮廓图以及需要的颜色元素；基于轮廓图以及颜色元素，由预先建立的生成网络对轮廓图上色而生成彩色图；由预先建立的判别网络对生成的彩色图和真实彩色图匹配特征，计算彩色图相对于真实彩色图的特征匹配损失；若计算得到的特征匹配损失满足第一预设条件，则将生成的彩色图作为上色得到的彩色图；若计算得到的特征匹配损失不满足第一预设条件，则更新生成网络，并由更新后的生成网络，利用轮廓图以及颜色元素重新生成彩色图，并进行后续步骤，直到计算得到的特征匹配损失满足第一预设条件。本发明轮廓图上色方法及装置，与现有技术相比能够达到较好的上色效果。

Description

一种轮廓图上色方法及装置

技术领域

本发明涉及图像处理领域，特别是涉及一种轮廓图上色方法及装置。

背景技术

随着经济发展，人们的生活需求不再停留在衣食住行层面，而越来越注重精神文化需求。近年来，我国漫画产业发展迅速，但是相对于作为漫画输出大国的日本和美国，对国产漫画的改革创新还需要付出更大的努力。

现有技术中，对黑白素描的漫画轮廓图进行上色，在专利公布号为CN107578367A、专利名称为“一种风格化图像的生成方法及装置”的专利文献中，公开利用生成式对抗网络(Generative adversarial networks，GAN)，根据用户绘制的图像生成彩色图，以便进一步对生成图像进行风格转换。但是该方法中对绘制图通过生成式对抗网络生成彩色图，并不能达到良好的上色效果。

发明内容

本发明的目的是提供一种轮廓图上色方法及装置，与现有技术相比能够达到较好的上色效果。

为实现上述目的，本发明提供如下技术方案：

一种轮廓图上色方法，包括：

获取待上色的轮廓图以及需要的颜色元素；

基于所述轮廓图以及所述颜色元素，由预先建立的生成网络对所述轮廓图上色而生成彩色图；

由预先建立的判别网络对生成的所述彩色图和真实彩色图匹配特征，计算所述彩色图相对于所述真实彩色图的特征匹配损失；

若计算得到的所述特征匹配损失满足第一预设条件，则将生成的所述彩色图作为上色得到的彩色图；

若计算得到的所述特征匹配损失不满足所述第一预设条件，则更新所述生成网络，并由更新后的所述生成网络，利用所述轮廓图以及所述颜色元素重新生成彩色图，并进行后续步骤，直到计算得到的特征匹配损失满足所述第一预设条件。

优选的，由预先建立的判别网络对生成的所述彩色图和真实彩色图匹配特征，计算所述彩色图相对于所述真实彩色图的特征匹配损失包括：

根据以下公式计算所述生成网络与所述判别网络的损失函数：

其中，G表示生成网络，D表示判别网络，L_CGAN(G,D)表示生成网络与判别网络的损失函数，D(s,x|y)表示判断生成的彩色图是否来自真实彩色图，D(s,G(s|y))表示判断生成的彩色图是否来自生成网络生成的彩色图，E表示求取期望；

根据以下公式计算特征匹配损失函数：

其中，L_FM(G,D_k)表示特征匹配损失函数，E_(s,x)表示特征匹配函数的期望，N_i表示第i层的元素个数，

表示判别网络D_k提取的真实彩色图的第i层特征，

表示判别网络D_k提取的生成彩色图的第i层特征，E表示求取期望；

根据以下公式，结合所述损失函数和所述特征匹配损失函数计算所述彩色图相对于所述真实彩色图的特征匹配损失：

其中，K表示判别网络的数量，λ表示特征匹配损失函数的权重。

优选的，所述生成网络包括依次级联的卷积网络、残差网络和反卷积网络；

所述由预先建立的生成网络对所述轮廓图上色而生成彩色图包括：所述轮廓图以及所述颜色元素依次经过所述生成网络的卷积网络、残差网络和反卷积网络处理，由所述生成网络生成与所述轮廓图分辨率相同的上色后的彩色图。

优选的，所述生成网络包括第一生成网络和n个第二生成网络，所述第一生成网络包括依次级联的卷积网络、残差网络和反卷积网络，所述第二生成网络包括依次级联的卷积网络、残差网络和反卷积网络，n为大于零的正整数；

所述由预先建立的生成网络对所述轮廓图上色而生成彩色图包括：

所述轮廓图以及所述颜色元素依次经过所述第一生成网络的卷积网络、残差网络和反卷积网络处理，由所述第一生成网络生成与所述轮廓图分辨率相同的上色后的彩色图；

所述轮廓图分别经过各所述第二生成网络的卷积网络处理，生成n个用于描述所述轮廓图特征的特征图；

将由所述第一生成网络输出的彩色图与由各所述第二生成网络的卷积网络输出的特征图逐一相乘，相乘所得结果依次经过每一所述第二生成网络的残差网络、反卷积网络处理，最终输出分辨率为所述轮廓图分辨率的k×n倍的彩色图，k为大于零的正整数。

优选的，包括至少两个分别在不同尺寸层次对图像提取特征的判别网络。

优选的，还包括：

基于风格图、随机噪声图以及得到的所述彩色图，由预先建立的卷积神经网络生成风格化后的彩色图；

计算风格化后的彩色图的损失，所述损失是指风格化后的彩色图相对于所述风格图的风格损失与风格化后的彩色图相对于原始的彩色图的内容损失的和；

若计算得到的损失满足第二预设条件，则输出风格化后的彩色图；

若计算得到的损失不满足第二预设条件，则更新所述卷积神经网络，并将更新后的卷积神经网络作为建立的卷积神经网络，由更新后的卷积神经网络利用所述风格图、随机噪声图以及得到的彩色图重新生成风格化后的彩色图，并进行后续步骤，直到计算得到的损失满足所述第二预设条件。

优选的，计算风格化后的彩色图的损失包括：

根据以下公式计算风格化后的彩色图相对于原始的彩色图的内容损失：

其中，l表示卷积神经网络的层数，i、j分别表示第i个神经元在第l层的第j个激活，X、F分别表示x和z在第l层的特征表示，x表示原始的彩色图，z表示随机噪声图；

根据以下公式计算卷积神经网络的不同层之间的风格特征的关系：

根据以下公式计算风格化后的彩色图相对于风格图的风格损失：

其中，s表示风格图，E_l表示彩色图的Gram矩阵的均方误差，L_style(z,s)表示风格化后的彩色图相对于风格图的风格损失，N_l表示第l层的元素个数，M_l表示第l层的特征图大小，w_l表示第l层对风格损失的权重；

根据以下公式计算总的损失：

L_total(z,x,s)＝αL_content(z,x)+βL_style(z,s)。

一种轮廓图上色装置，用于执行如上所述的轮廓图上色方法。

由上述技术方案可知，本发明所提供的轮廓图上色方法，获取待上色的轮廓图以及需要的颜色元素，然后基于轮廓图以及颜色元素，由预先建立的生成网络对轮廓图上色而生成彩色图，再由预先建立的判别网络对生成的彩色图和真实彩色图匹配特征，计算彩色图相对于真实彩色图的特征匹配损失，若计算得到的特征匹配损失满足第一预设条件，则将生成的彩色图作为上色得到的彩色图；若计算得到的特征匹配损失不满足第一预设条件，则更新生成网络，并由更新后的生成网络，利用轮廓图以及颜色元素重新生成彩色图，并进行后续步骤，直到计算得到的特征匹配损失满足第一预设条件，从而得到上色后的彩色图。

本发明轮廓图上色方法，使用条件生成对抗网络实现对轮廓图自动上色，以真实彩色图为标准计算生成的彩色图与真实彩色图的特征匹配损失，以引导生成网络对轮廓图进行上色，上色得到的图像能够达到良好的上色效果。

本发明提供的一种轮廓图上色装置，能够达到上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种轮廓图上色方法的流程图；

图2为本发明一种具体实施方式提供的轮廓图上色方法的示意图；

图3为本发明又一种具体实施方式提供的轮廓图上色方法的示意图；

图4为本发明实施例提供的一种轮廓图上色方法中对上色得到的彩色图进行风格化的方法流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

请参考图1，图1为本发明实施例提供的一种轮廓图上色方法的流程图，本实施例方法包括以下步骤：

S10：获取待上色的轮廓图以及需要的颜色元素。

待上色的轮廓图为没有色彩的黑白轮廓图。若本方法应用于漫画上色，待上色的轮廓图为黑白素描的漫画轮廓图。需要的颜色元素表示对轮廓图上色所需要的颜色。

S11：基于所述轮廓图以及所述颜色元素，由预先建立的生成网络对所述轮廓图上色而生成彩色图。

预先建立的生成网络用于基于轮廓图和颜色元素对轮廓图上色而生成彩色图。

可选的在一种实施方式中，所述生成网络G包括依次级联的卷积网络G_F、残差网络G_R和反卷积网络G_B。生成网络对所述轮廓图上色而生成彩色图包括：所述轮廓图以及所述颜色元素依次经过所述生成网络的卷积网络、残差网络和反卷积网络处理，由所述生成网络生成与所述轮廓图分辨率相同的上色后的彩色图。本实施方式中，通过生成网络能够生成与轮廓图分辨率相同的上色后的彩色图。

示例性的，可参考图2，生成网络G包括依次级联的卷积网络G_F、残差网络G_R和反卷积网络G_B。轮廓图x₀以及颜色元素s依次经过生成网络的卷积网络G_F、残差网络G_R和反卷积网络G_B处理，由生成网络G生成与轮廓图x₀分辨率相同的上色后的彩色图x₁。

可选的，在又一种实施方式中，所述生成网络G包括第一生成网络G₁和n个第二生成网络G₂，所述第一生成网络G₁包括依次级联的卷积网络G_1F、残差网络G_1R和反卷积网络G_1B，所述第二生成网络包括依次级联的卷积网络G_2F、残差网络G_2R和反卷积网络G_2B。第一生成网络G₁用于捕捉图片的全局信息，第二生成网络G₂用于捕捉图片的局部信息，n为大于零的正整数。

具体本实施方式中，由所述生成网络G对轮廓图上色而生成彩色图的过程包括：

S110：所述轮廓图以及所述颜色元素依次经过所述第一生成网络的卷积网络、残差网络和反卷积网络处理，由所述第一生成网络生成与所述轮廓图分辨率相同的上色后的彩色图；

S111：所述轮廓图分别经过各所述第二生成网络的卷积网络处理，生成n个用于描述所述轮廓图特征的特征图；

S112：将由所述第一生成网络输出的彩色图与由各所述第二生成网络的卷积网络输出的特征图逐一相乘，相乘所得结果依次经过每一所述第二生成网络的残差网络、反卷积网络处理，最终输出分辨率为所述轮廓图分辨率的k×n倍的彩色图，k为大于零的正整数。

若生成网络G包括一个第二生成网络G₂，则将第一生成网络G₁输出的彩色图与该第二生成网络的卷积网络G_2F输出的特征图相乘。相乘所得结果依次经过第二生成网络G₂的残差网络G_2R、反卷积网络G_2B处理，由第二生成网络G₂输出分辨率为轮廓图分辨率的k倍的彩色图。

若生成网络G包括多个第二生成网络，则将第一生成网络G₁输出的彩色图与所有第二生成网络的卷积网络G_2F生成的特征图逐一相乘，相乘所得结果依次经过每一个第二生成网络的残差网络、反卷积网络处理，具体的，上一个第二生成网络的反卷积网络输出结果为下一个第二生成网络的残差网络的输入，由最后一个第二生成网络输出的结果为最终生成的彩色图，最终生成的彩色图的分辨率为轮廓图分辨率的k×n倍，其中n表示生成网络包括的第二生成网络的数量。本实施方式中每增加一个第二生成网络，能够将生成的彩色图的分辨率增加k倍。

示例性的，请参考图3，图3所示处理过程中生成网络包括一个第一生成网络和一个第二生成网络，输入的轮廓图x₀以及颜色元素s依次经过第一生成网络的积网络G_1F、残差网络G_1R和反卷积网络G_1B处理，由第一生成网络生成与轮廓图分辨率相同的上色后的彩色图x₁，轮廓图x₀经过第二生成网络的卷积网络G_2F处理，生成用于描述所述轮廓图特征的特征图，彩色图x₁和特征图相乘所得的结果依次经过第二生成网络的残差网络G_2R、反卷积网络G_2B处理，由第二生成网络输出分辨率为轮廓图分辨率的k倍的彩色图x₂。

因此，本实施例提供的轮廓图上色方法通过设置第二生成网络的数量，能够灵活选择所生成彩色图的分辨率，能够生成多种不同分辨率的彩色图。对于现有技术中使用简单的生成式对抗网络对轮廓图上色的方法，只能实现对特定分辨率的图片上色，对其它分辨率的图片上色得到的上色效果不好，也只能得到与原图相同分辨率的图片，不能满足日常的设计需求，而本方法相比具有更高的实际应用价值。

S12：由预先建立的判别网络对生成的所述彩色图和真实彩色图匹配特征，计算所述彩色图相对于所述真实彩色图的特征匹配损失。

本方法中，优选的可包括至少两个分别在不同尺寸层次对图像提取特征的判别网络D，各所述判别网络具有相同的网络结构。当生成的彩色图相对于轮廓图的分辨率增大时，通过使用多个运行在不同尺寸的判别网络，对生成图像在不同尺寸层次提取特征，得到不同尺寸的图像，然后判别不同尺寸图像相对于真实彩色图的损失，能够提高判别精度。示例性的，请参考图3，在图3所示的轮廓图上色方法中，使用了三个分别在不同尺寸层次对图像提取特征的判别网络D₁、D₂和D₃。

本方法中，基于判别网络引入了特征匹配损失函数，用于计算特征匹配损失。具体的，计算生成的彩色图相对于真实彩色图的特征匹配损失的过程，包括以下步骤：

S120：根据以下公式计算所述生成网络与所述判别网络的损失函数：

其中，G表示生成网络，D表示判别网络，L_CGAN(G,D)表示生成网络与判别网络的损失函数，D(s,x|y)表示判断生成的彩色图是否来自真实彩色图，D(s,G(s|y))表示判断生成的彩色图是否来自生成网络生成的彩色图，E表示求取期望。

S121：根据以下公式计算特征匹配损失函数：

其中，L_FM(G,D_k)表示特征匹配损失函数，E_(s,x)表示特征匹配函数的期望，N_i表示第i层的元素个数，

表示判别网络D_k提取的真实彩色图的第i层特征，

表示判别网络D_k提取的生成彩色图的第i层特征，E表示求取期望。

S122：根据以下公式，结合所述损失函数和所述特征匹配损失函数计算所述彩色图相对于所述真实彩色图的特征匹配损失：

其中，K表示判别网络的数量，λ表示特征匹配损失函数的权重。

S13：若计算得到的所述特征匹配损失满足第一预设条件，则将生成的所述彩色图作为上色得到的彩色图。

若计算的特征匹配损失满足第一预设条件，表明生成的彩色图的上色效果满足了要求，则将该彩色图作为上色得到的彩色图。

S14：若计算得到的所述特征匹配损失不满足所述第一预设条件，则更新所述生成网络。

若计算的特征匹配损失不满足第一预设条件，表明由当前生成网络生成的彩色图还不能符合要求，则更新生成网络，根据计算的特征匹配损失更新生成网络中卷积网络、残差网络、反卷积网络的权重。

然后，将更新后的生成网络作为建立的生成网络，循环进入步骤S11，由更新后的生成网络利用轮廓图以及颜色元素重新生成彩色图。直到计算得到的特征匹配损失满足所述第一预设条件。

由上述内容可知，本实施例提供的轮廓图上色方法，使用条件生成对抗网络实现对轮廓图自动上色，以真实彩色图为标准计算生成的彩色图与真实彩色图的特征匹配损失，以引导生成网络对轮廓图进行上色，上色得到的图像能够达到良好的上色效果。

进一步的，本实施例提供的轮廓图上色方法还能够实现对得到的彩色图进行风格转换。请参考图4，本实施例提供的轮廓图上色方法还包括以下步骤：

S20：基于风格图、随机噪声图以及得到的所述彩色图，由预先建立的卷积神经网络生成风格化后的彩色图。

具体的，本实施例方法中建立的卷积神经网络包括16个卷积层和5个池化层。优选的，使用的卷积神经网络可以是基于VGG19的基础改进得到，将VGG19包括的3个全连接层删除，并用均值池化代替最大值池化。

将风格图和彩色图在卷积神经网络中分别前向传播一次，得到风格特征图和内容特征图。风格特征图表示一幅图片的风格信息，包括图片中的纹理、颜色信息，内容特征图表示一幅图片的内容信息，即图片中的语义信息，由风格特征图和内容特征图合成得到风格转换后的彩色图。

本方法中，将建立的卷积神经网络中某些卷积层输出的特征图作为风格特征图，将其它某些卷积层输出的特征图作为内容特征图，在实际应用中，可以通过多次实验确定出由哪些卷积层输出的特征图作为风格特征图，由哪些卷积层输出的特征图作为内容特征图，以使得到的风格化后的彩色图效果最好。

S21：计算风格化后的彩色图的损失，所述损失是指风格化后的彩色图相对于所述风格图的风格损失与风格化后的彩色图相对于原始的彩色图的内容损失的和。

计算过程具体包括以下步骤：

S210：计算风格化后的彩色图相对于原始的彩色图的内容损失。

内容损失函数可以利用均方误差定义的生成的彩色图x和随机噪声图z的距离来计算，计算公式如下：

其中，l表示卷积神经网络的层数，i、j分别表示第i个神经元在第l层的第j个激活，X、F分别表示x和z在第l层的特征表示。

S211：计算卷积神经网络的不同层之间的风格特征的关系，计算公式如下：

具体的，本方法中使用Gram矩阵进行计算。

S212：计算风格化后的彩色图相对于风格图的风格损失。

具体的，本方法通过计算每一层中彩色图的Gram矩阵和合成图(即风格化后的彩色图)的Gram矩阵间的均方误差来计算风格损失函数，然后再将每一层进行加权，计算公式如下：

其中，s表示风格图，E_l表示彩色图的Gram矩阵的均方误差，L_style(z,s)表示风格化后的彩色图的Gram矩阵间的均方误差，即表示风格化后的彩色图相对于风格图的风格损失，N_l表示第l层的元素个数，M_l表示第l层的特征图大小，w_l表示第l层对风格损失的权重；

S213：计算总的损失，令以上风格损失和内容损失都达到最少，计算公式如下：

L_total(z,x,s)＝αL_content(z,x)+βL_style(z,s)。

其中α/β的比值越大合成图保存内容图的内容更多，更加平滑。

S22：若计算得到的损失满足第二预设条件，则输出风格化后的彩色图。

S23：若计算得到的损失不满足第二预设条件，则更新所述卷积神经网络，并将更新后的卷积神经网络作为建立的卷积神经网络。然后循环进入步骤S20，由更新后的卷积神经网络利用所述风格图、随机噪声图以及得到的彩色图重新生成风格化后的彩色图，并进行后续步骤，直到计算得到的损失满足第二预设条件。

由上述内容可知，本实施例提供的轮廓图上色方法，用户可以自己选择风格图对彩色图进行风格化，与现有的需训练网络模型进行风格化的方法相比，更加灵活并且具有多样性。

相应的，本发明实施例还提供一种轮廓图上色装置，用于执行以上所述的轮廓图上色方法。

本实施例提供的轮廓图上色装置，使用条件生成对抗网络实现对轮廓图自动上色，以真实彩色图为标准计算生成的彩色图与真实彩色图的特征匹配损失，以引导生成网络对轮廓图进行上色，上色得到的图像能够达到良好的上色效果。

以上对本发明所提供的一种轮廓图上色方法及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (7)

1.一种轮廓图上色方法，其特征在于，包括：

获取待上色的轮廓图以及需要的颜色元素；

基于所述轮廓图以及所述颜色元素，由预先建立的生成网络对所述轮廓图上色而生成彩色图；

由预先建立的判别网络对生成的所述彩色图和真实彩色图匹配特征，计算所述彩色图相对于所述真实彩色图的特征匹配损失；

若计算得到的所述特征匹配损失满足第一预设条件，则将生成的所述彩色图作为上色得到的彩色图；

若计算得到的所述特征匹配损失不满足所述第一预设条件，则更新所述生成网络，并由更新后的所述生成网络，利用所述轮廓图以及所述颜色元素重新生成彩色图，并进行后续步骤，直到计算得到的特征匹配损失满足所述第一预设条件；

还包括：

基于风格图、随机噪声图以及得到的所述彩色图，由预先建立的卷积神经网络生成风格化后的彩色图；

计算风格化后的彩色图的损失，所述损失是指风格化后的彩色图相对于所述风格图的风格损失与风格化后的彩色图相对于原始的彩色图的内容损失的和；

若计算得到的损失满足第二预设条件，则输出风格化后的彩色图；

若计算得到的损失不满足第二预设条件，则更新所述卷积神经网络，并将更新后的卷积神经网络作为建立的卷积神经网络，由更新后的卷积神经网络利用所述风格图、随机噪声图以及得到的彩色图重新生成风格化后的彩色图，并进行后续步骤，直到计算得到的损失满足所述第二预设条件。

2.根据权利要求1所述的轮廓图上色方法，其特征在于，由预先建立的判别网络对生成的所述彩色图和真实彩色图匹配特征，计算所述彩色图相对于所述真实彩色图的特征匹配损失包括：

根据以下公式计算所述生成网络与所述判别网络的损失函数：

其中，G表示生成网络，D表示判别网络，L_CGAN(G,D)表示生成网络与判别网络的损失函数，D(s,x|y)表示判断生成的彩色图是否来自真实彩色图，D(s,G(s|y))表示判断生成的彩色图是否来自生成网络生成的彩色图，E表示求取期望；

根据以下公式计算特征匹配损失函数：

其中，L_FM(G,D_k)表示特征匹配损失函数，E_(s,x)表示特征匹配函数的期望，N_i表示第i层的元素个数，

表示判别网络D_k提取的真实彩色图的第i层特征，

表示判别网络D_k提取的生成彩色图的第i层特征，E表示求取期望；

根据以下公式，结合所述损失函数和所述特征匹配损失函数计算所述彩色图相对于所述真实彩色图的特征匹配损失：

其中，K表示判别网络的数量，λ表示特征匹配损失函数的权重。

3.根据权利要求1所述的轮廓图上色方法，其特征在于，所述生成网络包括依次级联的卷积网络、残差网络和反卷积网络；

所述由预先建立的生成网络对所述轮廓图上色而生成彩色图包括：所述轮廓图以及所述颜色元素依次经过所述生成网络的卷积网络、残差网络和反卷积网络处理，由所述生成网络生成与所述轮廓图分辨率相同的上色后的彩色图。

4.根据权利要求1所述的轮廓图上色方法，其特征在于，所述生成网络包括第一生成网络和n个第二生成网络，所述第一生成网络包括依次级联的卷积网络、残差网络和反卷积网络，所述第二生成网络包括依次级联的卷积网络、残差网络和反卷积网络，n为大于零的正整数；

所述由预先建立的生成网络对所述轮廓图上色而生成彩色图包括：

所述轮廓图以及所述颜色元素依次经过所述第一生成网络的卷积网络、残差网络和反卷积网络处理，由所述第一生成网络生成与所述轮廓图分辨率相同的上色后的彩色图；

所述轮廓图分别经过各所述第二生成网络的卷积网络处理，生成n个用于描述所述轮廓图特征的特征图；

将由所述第一生成网络输出的彩色图与由各所述第二生成网络的卷积网络输出的特征图逐一相乘，相乘所得结果依次经过每一所述第二生成网络的残差网络、反卷积网络处理，最终输出分辨率为所述轮廓图分辨率的k×n倍的彩色图，k为大于零的正整数。

5.根据权利要求4所述的轮廓图上色方法，其特征在于，包括至少两个分别在不同尺寸层次对图像提取特征的判别网络。

6.根据权利要求1所述的轮廓图上色方法，其特征在于，计算风格化后的彩色图的损失包括：

根据以下公式计算风格化后的彩色图相对于原始的彩色图的内容损失：

其中，l表示卷积神经网络的层数，i、j分别表示第i个神经元在第l层的第j个激活，X、F分别表示x和z在第l层的特征表示，x表示原始的彩色图，z表示随机噪声图；

根据以下公式计算卷积神经网络的不同层之间的风格特征的关系：

根据以下公式计算风格化后的彩色图相对于风格图的风格损失：

其中，s表示风格图，E_l表示彩色图的Gram矩阵的均方误差，L_style(z,s)表示风格化后的彩色图相对于风格图的风格损失，N_l表示第l层的元素个数，M_l表示第l层的特征图大小，w_l表示第l层对风格损失的权重；

根据以下公式计算总的损失：

L_total(z,x,s)＝αL_content(z,x)+βL_style(z,s)。

7.一种轮廓图上色装置，其特征在于，用于执行权利要求1-6任一项所述的轮廓图上色方法。

Images