CN115689871A - 一种基于生成对抗网络的无监督肖像图颜色迁移方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于生成对抗网络的无监督肖像图颜色迁移方法，通过先肖像图的前景与背景内容分离，并对前景部分进行人脸对齐；再构造深度颜色迁移网络，用于对源图像的人脸部分进行局部的颜色迁移，并构造用于扩散局部颜色迁移方案至整体前景图的卷积神经网络；在网络训练时采用生成对抗网络架构，并利用多任务损失函数进行梯度下降；最后进行肖像图背景部分后处理，将参考图像的统计数据匹配到源图像上，以实现背景部分的颜色迁移，并针对源图像中背景部分进行光照优化处理，消除图像中可能存在的过曝光、过饱和等情况，实现了在肖像图的其他特征不变的情况下对其颜色风格进行迁移。

Description

一种基于生成对抗网络的无监督肖像图颜色迁移方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于生成对抗网络的无监督肖像图颜色迁移方法。

背景技术

肖像图在网络交流中扮演者无比重要的角色，人们利用肖像图表示自己当前的状态，然而肖像图的拍摄的质量取决于人脸姿态和光照条件，这使得拍摄出的肖像图的颜色单薄、风格单一，颜色迁移技术能够将参考肖像图的颜色风格迁移至目标肖像图，从而改善和迁移目标肖像图的颜色风格和视觉效果。

在图像颜色迁移领域，当前的算法主要包括统计颜色迁移和基于语义特征的颜色迁移两种方法，统计颜色迁移主要通过统计全局颜色的分布规律进而将这一规律迁移至目标图像，基于语义特征的颜色迁移方法主要通过获取图像的各个语义特征和对应语义的颜色特征并将这些语义对应至目标图像进而完成颜色迁移。

基于全局统计的颜色迁移方法只能迁移整体的颜色分布，使得迁移结果通常看起来非常不自然，对于不同的语义要素的颜色迁移结果非常不真实；而传统的基于语义对应的颜色迁移方面主要依赖于人工标注的特征进行颜色迁移，可以对强相关的图像产生较好的迁移结果，但鲁棒性和适应性较差，迁移的颜色也不够真实，基于深度特征的颜色转移方法产生的结果容易出现过度曝光、过饱和度、颜色分布不自然、颜色不一致等问题，并且在训练过程中由于数据集的不适合可能会导致网络无法被充分训练。

发明内容

本发明的目的在于提供一种基于生成对抗网络的无监督肖像图颜色迁移方法，旨在解决现有的图像颜色迁移方法的不足，在肖像图的其他特征不变的情况下对其颜色风格进行迁移。

为实现上述目的，本发明提供了一种基于生成对抗网络的无监督肖像图颜色迁移方法，包括下列步骤：

分离肖像图的前景与背景，并进行人脸对齐；

构建并训练局部颜色迁移网络，对人脸部分进行颜色迁移；

构建并训练颜色广播网络，将人脸部分颜色扩散至整个前景；

肖像图背景进行统计学颜色迁移，并进行光照优化处理。

其中，分离肖像图的前景与背景，并进行人脸对齐的过程，包括下列步骤：

使用包含有两个独立编码器和一个共享解码器的GFMN抠图网络对肖像图中的前景和背景进行分离处理，为后续对前景背景采用不同的迁移策略提供条件；

使用基于热图回归的人体姿态估计算法构建面部对齐网络，所述面部对齐网络能识别前景图中人脸信息的稀疏对应并对人脸进行标记和对齐，为后续对前景部分的颜色传输提供依据。

将肖像图的前景和背景进行分离的原因是，使得前景和背景能够根据不同的策略来进行颜色迁移，以适应背景虚化、人像与背景距离较远、人像与背景所受光照条件不同等各种拍摄时的环境。

对前景部分进行人脸对齐的原因是，这样能够统一人像的大小、人像的比例、五官位置姿态等不需要改变的位置特征，使图像在进入颜色迁移网络时具有更强的约束性，使得网络能够利用人像信息的稀疏对应，进而更准确地获取参考图像中人物肤色、头发颜色、衣服颜色等信息，并将其准确迁移至源图像中，解决了当人脸位于图像中不同位置时颜色传输网络产生不稳定结果的问题。

其中，所述局部颜色迁移网络包括色彩编码器、生成器以及辨别器，基于人脸对齐的源图像和参考图像输出局部颜色传输结果。

其中，所述色彩编码器由6层预激活残差块构成，输出64维的颜色编码向量，能够依据不同的图像输入生成不同且唯一的颜色风格编码。

其中，所述生成器是一个U型的图像生成网络，在下采样部分使用残差模块进行编码处理，在上采样部分使用AdaIN残差模块进行解码处理，在直连部分使用高通滤波器提取源图像的边缘信息，能够依据色彩编码结果将参考图像的颜色风格迁移至源图像。

其中，所述辨别器由6层预激活残差块和全连接层构成，输出1维的二分类标签，鉴别器只在训练时被使用，用于鉴别图像是否为生成器生成。

其中，所述辨别器由6层预激活残差块和全连接层构成，输出1维的二分类标签，鉴别器只在训练时被使用，用于鉴别图像是否为生成器生成。

其中，在训练局部颜色迁移网络的过程中，使用三种训练分支对局部颜色迁移网络进行训练，三种训练分支分别为对抗分支、颜色多样化分支和循环一致性分支。

其中，所述颜色广播网络为一个U型的卷积网络，由4个下采样块和4个上采样块组成，其中下采样块由一个最大池化层和两个卷积层构成，上采样块由一个双线性上采样层和两个卷积层构成。

其中，构建并训练颜色广播网络，将人脸部分颜色扩散至整个前景的过程，具体为将颜色迁移网络的输入和输出作为数据对，在颜色广播网络中进行端到端的训练，并使用颜色广播网络将人脸颜色迁移广播至整个前景人像。

其中，对背景进行颜色迁移转换，使用全局统计颜色转移方法对背景的颜色的整体分布规律进行转换；

对背景进行光照优化，首先使用ADB算法对背景进行局部的光增强和减弱以平衡背景的光照条件，然后使用对比度受限的适应性直方图均衡算法增强图片对比度和抑制图片噪声。

本发明提供了一种基于生成对抗网络的无监督肖像图颜色迁移方法，通过先将肖像图预处理，将肖像图的前景与背景内容分离，并对前景部分进行人脸对齐；然后构造深度颜色迁移网络，用于对源图像的人脸部分进行局部的颜色迁移，其颜色迁移方案来自于参考图像的人脸部分，并构造用于扩散局部颜色迁移方案至整体前景图的卷积神经网络；在网络训练时采用生成对抗网络架构，并利用多任务损失函数进行梯度下降；最后进行肖像图背景部分后处理，将参考图像的统计数据匹配到源图像上，以实现背景部分的颜色迁移，并针对源图像中背景部分进行光照优化处理，消除图像中可能存在的过曝光、过饱和等情况，实现了在肖像图的其他特征不变的情况下对其颜色风格进行迁移。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种基于生成对抗网络的无监督肖像图颜色迁移方法的流程示意图。

图2是本发明的具体实施例的肖像图预处理效果图。

图3是本发明的具体实施例的实施流程示意图。

图4是本发明的具体实施例的局部颜色迁移网络示意图。

图5是本发明的具体实施例的颜色广播网络示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1，本发明提供了一种基于生成对抗网络的无监督肖像图颜色迁移方法，包括下列步骤：

S1：分离肖像图的前景与背景，并进行人脸对齐；

S2：构建并训练局部颜色迁移网络，对人脸部分进行颜色迁移；

S3：构建并训练颜色广播网络，将人脸部分颜色扩散至整个前景；

S4：肖像图背景进行统计学颜色迁移，并进行光照优化处理。

进一步的，本发明提出了一个具体实施例结合实施步骤进行说明，具体请查阅图2至图5：

在步骤S1中，肖像图预处理，将肖像图的前景与背景内容分离，并对前景部分进行人脸对齐。

统一肖像图大小为800*600，颜色通道格式为8位RGB；

使用两个独立的解码器和一个共享的编码器构建GFMN抠图网络(GlanceandFocus Matting Net，GFMN)，其中，使用PaddleSeg开源工具库完成对GFMN抠图网络的构建。

得到前景图像和背景图像，完成端到端的前景背景分离任务。

进一步的，在进行人脸对齐的过程中，使用开源face-alignment组件构建人像面部对齐网络，使用此前获得的前景图像作为人像面部对齐网络的输入，利用训练好的参数获得人像的五官位置信息，并进行人像对齐。

步骤S1的输出结果如图2所示。

步骤S2中，构建并训练局部颜色迁移网络，其主要组成部分为：颜色生成器、色彩编码器以及判别器，具体步骤如下：

首先对局部颜色迁移网络的输入进行调整，以满足以下两个条件：

(1)输入图像的颜色需保持正态分布；

(2)源图像和参考图像需具有一致的结构信息；

使用StarGAN v2作为骨干网构建局部颜色迁移网络，所构建的局部颜色迁移网络结构如图4所示。

S21、局部颜色迁移网络中颜色编码器部分由6个残差预激活模块和连接在后面的1*1卷积层构成。

颜色编码器的输出为8*8的矩阵，将其拉伸为64维向量得到颜色风格编码。

得到的颜色代码c＝E(y)，其中c表示颜色风格编码，y表示编码器的图像输入，E(·)可以依据不同的图像输入生成不同并唯一的颜色风格编码。

S22、局部颜色迁移网络中生成器部分主体结构为U-Net网络，包括下采样部分、中间部分和上采样部分，其均由预激活残差块构成，并且上采样和下采样之间使用高通滤波器进行直连。

在下采样部分，使用5个包含池化操作和实例规范化操作的残差块构成

其中，实例规范化具体计算方式如下：

其中x为输入，μ(x)和σ(x)分别为输入数据的均值和标准差，其分别在每个通道和每个样本空间维度上独立计算，γ和β为训练时学习到的仿射参数。

在上采样部分，使用5个经过最近邻差值操作和自适应示例归一化操作的残差块构成

其中，自适应实例规范化的计算方式如下：

其中x为上采样部分的输入，c为图像颜色编码，μ(x)和σ(x)表示源图像特征的均值和方差，μ(c)和σ(c)表示颜色编码特征的均值和方差。

中间部分使用2个包含实例规范化的残差块和2个包含自适应实例规范化的残差块构成。

在直连操作中，使用拉普拉斯高斯核(LoG)构建高通滤波器，用于提取图像边缘信息，并保持结构信息不变。

将输入图像依次经过下采样部分、中间部分、上采样部分后得到输出图像G(x,c)，即为局部颜色迁移结果。

S23、鉴别器由6个预激活残差块并连接一个全连接层构成，输出为1维二分类结果D(x)，输出1表示图像为数据集图像，输出0表示图像由生成器生成。

鉴别器是一个多任务网络，包含三个线性分支：对抗分支、颜色多样化分支、循环一致性分支。

S24、对使用三种训练分支对局部颜色迁移网络进行训练，具体训练方式如下：

对抗分支部分，采用损失函数如下：

L_adv＝E_x,d[logD(x)]+E_x,d[log(1-D(G(x,c)))]

颜色多样化分支部分，采用损失函数如下：

L_ds＝E_x,d[||G(x,c₁)_ab-G(x,c₂)_ab||₁]

循环一致性分支部分，采用损失函数如下：

L_cyc＝E_x,d[‖x-G(G(x,c),c)‖₁]

局部颜色迁移网络总损失函数如下：

此处λ_ds为2，λ_cyc为1。

采用Matting Human Datasets数据集，Adam优化器(β₁为0，β₂为0.99)，训练次数1e5，训练批量大小为5，学习率10e-4。

进一步的，如图5所示，步骤S3的具体步骤如下：

S31、利用U-Net生成网络构建颜色广播网络，由四个下采样块和四个上采样块组成，每个下采样块由一个最大池化层和一个双卷积层的组合组成，每个上采样块由一个双线性上采样层和一个双卷积层组成。

颜色广播网络的输入是源图像经过对齐后的人像面部S_A，输出是将颜色迁移结果广播至整个前景的图像。

S32、将局部颜色迁移网络的输入S_A和输出G(S_A)作为数据对，在颜色广播网络P(·)中进行端到端的训练，由于需要让广播网络的输出尽可能拟合局部颜色迁移的结果，因此使用如下损失函数：

L_prop＝∑||G(S_A)-P(S_A)||₁

学习率为10e-4,使用优化器为Adam(β₁为0，β₂为0.99)。

在不改变卷积参数的情况下扩大颜色广播网络的输入，并将整个前景图像S_FG放入训练后的颜色广播网络中，得到广播后的颜色转移结果S′_FG＝P(S_FG)。

在这之后，在每一次改变前景图像时，只需要在预训练的基础上，使用数据对S_A和G(S_A)对颜色广播网络进行一次迭代微调，即可再次利用颜色广播网络重新获得针对新前景图像的颜色广播结果。

所述步骤S4具体步骤如下：

S41、对背景进行颜色迁移转换，使用全局统计颜色转移方法对背景的颜色的整体分布规律进行转换；

首先计算Lab颜色空间中图像各通道的均值和标准差，然后调整源图像的统计分布，使得与参考图像的Lab颜色空间相互匹配。

S42、对背景进行光照优化，首先使用ADB算法(Automatic Dodging and Burning，ADB)对背景进行局部的光增强和减弱以平衡背景的光照条件，消除图像中可能存在的过曝光、过饱和等情况，然后使用对比度受限的适应性直方图均衡算法(Contrast LimitedAdaptive Histogram Equalization，CLAHE)增强图片对比度和抑制图片噪声。

ADB算法流程为：CLAHE算法流程主要有以下几个步骤：首先，利用图像分块、填充等图像预处理技术。并利用对比极限进行各块处理、映射关系计算和映射关系计算。利用插值法得到最终的图像增强结果。

CLAHE算法流程为：利用图像分块、填充等对图像进行预处理。然后利用对比极限进行各块处理、映射关系计算和映射关系计算，最后利用插值法得到最终的图像增强结果。

具体做法如下：

计算输出图像的色调范围，将场景的亮度近似为对数平均亮度如下：

其中L_w(x,y)为像素(x,y)在Lab颜色空间中的亮度，N为图片中像素的总数，δ为一个极小值。

得到相对亮度：

其中，a是一个0至1的参数，这里设置为0.18

使用以下计算方法对高亮度部分进行调整：

其中L_white是映射到纯白色所需的最小亮度。

采用圆对称高斯剖面图构造函数:

其中s表示亮度比例，(x,y)表示图像不同位置的像素。

定义响应V_i为图像位置、尺度和亮度分布的函数，通过将图像与这些高斯轮廓进行卷积:

计算中心环绕函数为：

得到局部亮度调整算子：

以此调整背景图中每个像素的亮度比例。

然后使用OpenCV工具箱对图像实现CLAHE算法：利用图像分块、填充等对图像进行预处理，利用对比极限进行各块处理、映射关系计算和映射关系计算，利用插值法得到最终的图像增强结果。

最后将处理完成的前景图像和背景图像拼接在一起即得到完整的肖像图颜色风格迁移结果。

综上所述，本发明相比于现有的技术，其优点在于：

1、本发明提出了一种鲁棒无监督的肖像深度特征颜色传输方法，解决了当前基于深度特征的颜色传输中难以获取成对数据集的问题，并采用自适应的颜色特征编码使得网络能更准确的学习和提取肖像图的颜色特征。

2、本发明设计了一种分离前景和背景的颜色转移策略，能够根据前景和背景的不同特征使用不同的方法来迁移颜色，这使得整体的颜色看起来更加自然和谐。

3、本发明利用了人像背景部分的特点，对背景进行光照优化，使得颜色迁移的结果更加符合环境光照条件，消除了可能存在的过曝光、过饱和现象。

4、本发明鲁棒性较强、适应性较广，能够处理各种表情、姿态、年龄、性别不同的肖像图，并且输出的结果看起来更加自然。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种基于生成对抗网络的无监督肖像图颜色迁移方法，其特征在于，包括下列步骤：

分离肖像图的前景与背景，并进行人脸对齐；

构建并训练局部颜色迁移网络，对人脸部分进行颜色迁移；

构建并训练颜色广播网络，将人脸部分颜色扩散至整个前景；

肖像图背景进行统计学颜色迁移，并进行光照优化处理。

2.如权利要求1所述的基于生成对抗网络的无监督肖像图颜色迁移方法，其特征在于，

分离肖像图的前景与背景，并进行人脸对齐的过程，包括下列步骤：

使用包含有两个独立编码器和一个共享解码器的GFMN抠图网络对肖像图中的前景和背景进行分离处理，为后续对前景背景采用不同的迁移策略提供条件；

使用基于热图回归的人体姿态估计算法构建面部对齐网络，所述面部对齐网络能识别前景图中人脸信息的稀疏对应并对人脸进行标记和对齐，为后续对前景部分的颜色传输提供依据。

3.如权利要求1所述的基于生成对抗网络的无监督肖像图颜色迁移方法，其特征在于，

所述局部颜色迁移网络包括色彩编码器、生成器以及辨别器，基于人脸对齐的源图像和参考图像输出局部颜色传输结果。

4.如权利要求3所述的基于生成对抗网络的无监督肖像图颜色迁移方法，其特征在于，

所述色彩编码器由6层预激活残差块构成，输出64维的颜色编码向量，能够依据不同的图像输入生成不同且唯一的颜色风格编码。

5.如权利要求3所述的基于生成对抗网络的无监督肖像图颜色迁移方法，其特征在于，

所述生成器是一个U型的图像生成网络，在下采样部分使用残差模块进行编码处理，在上采样部分使用AdaIN残差模块进行解码处理，在直连部分使用高通滤波器提取源图像的边缘信息，能够依据色彩编码结果将参考图像的颜色风格迁移至源图像。

6.如权利要求3所述的基于生成对抗网络的无监督肖像图颜色迁移方法，其特征在于，

所述辨别器由6层预激活残差块和全连接层构成，输出1维的二分类标签，鉴别器只在训练时被使用，用于鉴别图像是否为生成器生成。

7.如权利要求1所述的基于生成对抗网络的无监督肖像图颜色迁移方法，其特征在于，

在训练局部颜色迁移网络的过程中，使用三种训练分支对局部颜色迁移网络进行训练，三种训练分支分别为对抗分支、颜色多样化分支和循环一致性分支。

8.如权利要求1所述的基于生成对抗网络的无监督肖像图颜色迁移方法，其特征在于，

所述颜色广播网络为一个U型的卷积网络，由4个下采样块和4个上采样块组成，其中下采样块由一个最大池化层和两个卷积层构成，上采样块由一个双线性上采样层和两个卷积层构成。

9.如权利要求1所述的基于生成对抗网络的无监督肖像图颜色迁移方法，其特征在于，

构建并训练颜色广播网络，将人脸部分颜色扩散至整个前景的过程，具体为将颜色迁移网络的输入和输出作为数据对，在颜色广播网络中进行端到端的训练，并使用颜色广播网络将人脸颜色迁移广播至整个前景人像。

10.如权利要求1所述的基于生成对抗网络的无监督肖像图颜色迁移方法，其特征在于，

肖像图背景进行统计学颜色迁移，并进行光照优化处理的过程，包括下列步骤：

对背景进行颜色迁移转换，使用全局统计颜色转移方法对背景的颜色的整体分布规律进行转换；

对背景进行光照优化，首先使用ADB算法对背景进行局部的光增强和减弱以平衡背景的光照条件，然后使用对比度受限的适应性直方图均衡算法增强图片对比度和抑制图片噪声。

Images