CN110853119A - 一种鲁棒的基于参考图片的妆容迁移方法 - Google Patents

Abstract

本发明公开了一种鲁棒的基于参考图片的妆容迁移方法，通过使用妆容提取网络以带妆的参考图片作为输入，从中提取妆容矩阵，并使用带注意力机制的妆容变形模块将妆容矩阵变形成为适应于待换装图片的适应后妆容矩阵。最后使用一个卸妆‑再换妆网络以待换妆图片为输入，将图片编码到隐空间后使用适应后妆容矩阵将待换妆图片的视觉特征图进行缩放和平移进行换妆，随后将改变后的视觉特征图上采样得到最终的换妆图片。

Description

一种鲁棒的基于参考图片的妆容迁移方法

技术领域

本发明涉及计算机视觉领域，更具体的说是使用生成对抗网络进行图像的生成。

背景技术

基于参考图片的妆容迁移指的是给定待化妆图片和参考图片，算法需要将参考图片上的妆容迁移到待化妆图片上。通过这种方法可以让用户不必耗费时间和金钱购买化妆品和化妆就能看到自己上妆后的效果，其可以广泛应用于互联网行业中。

而在现有的技术中，基于参考图片的妆容迁移方法比较受限，难以在应用时迁移参考图片的部分妆容，提供部分上妆，混合妆容等功能。当待化妆图片和参考图片的头部姿势、表情差异大时表现不好，不够鲁棒。

因此，如何提供一种鲁棒的，用户可定制的妆容迁移方法是一个亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种鲁棒的基于参考图片的妆容迁移方法，通过使用妆容提取网络以带妆的参考图片作为输入，从中提取妆容矩阵，并使用带注意力机制的妆容变形模块将妆容矩阵变形成为适应于待换装图片的适应后妆容矩阵。最后使用一个卸妆-再换妆网络以待换妆图片为输入，将图片编码到隐空间后使用适应后妆容矩阵将待换妆图片的视觉特征图进行缩放和平移进行换妆，随后将改变后的视觉特征图上采样得到最终的换妆图片。

为了实现上述目的，本发明提供如下技术方案：

一种鲁棒的基于参考图片的妆容迁移方法，包括如下具体步骤：

步骤一：定义换妆问题为：

其中，x是待换妆图片，y为参考图片，映射G以x，y为输入，输出换妆后的图片

与x为同一个人，同时具有参考图片y的妆容；

步骤二：提取参考图片y的妆容矩阵；

步骤三：计算待换妆图片中每个像素与参考图片中每个像素的相似性；

步骤四：对步骤二中提取的所述妆容矩阵利用像素的相似性进行变形处理，得到自适应妆容矩阵；

步骤五：将待换妆图片使用自适应妆容矩阵将视觉特征的特征图进行换妆：

步骤六：将视觉特征图进行上采样得到换妆图片。

优选的，在上述的一种鲁棒的基于参考图片的妆容迁移方法中，所述步骤二中，利用妆容提取网络参考图片进行提取得到第一妆容矩阵γ和第二妆容矩阵β。

优选的，在上述的一种鲁棒的基于参考图片的妆容迁移方法中，所述步骤三中，具体步骤包括：

p_i＝[f(x_i)-f(l_i)，...，f(x_i)-f(l_n)，g(x_i)-g(l_i)，...，g(x_i)-g(l_n)]；

其中x_i是待化妆图片的第i个像素，l_i是参考图片的第i个人脸关键点；f是计算该像素的横坐标的函数，g是计算其纵坐标的函数，p_i是用于计算相似性的2n维的相对位置特征向量；待换妆图片与参考图片的相似性矩阵A为：

其中A_i，j代表待化妆图片的第i个像素与参考图片第j个像素的相似性，v_i代表待化妆图片的第i个像素的视觉特征向量，v_j代表第j个像素的视觉特征向量；[·，·]代表向量的拼接操作，T代表矩阵的转置操作。

优选的，在上述的一种鲁棒的基于参考图片的妆容迁移方法中，所述步骤四中，具体步骤包括：根据像素的相似性得到自适应妆容矩阵公式如下：

其中γ′_i与β′_i为自适应妆容矩阵γ′和β′的第i个元素，γ_i与β_i为第一妆容矩阵γ和第二妆容矩阵β的第j个元素。

优选的，在上述的一种鲁棒的基于参考图片的妆容迁移方法中，所述步骤五中，具体步骤包括：使用卸妆-再换妆网络以待换妆图片为输入，将图片编码到隐空间后使用自适应妆容矩阵γ′_i和β′_i将视觉特征图进行缩放和平移进行换妆：

v′_x＝γ′v_x+β′；

其中v_x是以待换妆图片为输入得到的视觉特征图，v′_x为进行换妆之后的视觉特征图。

优选的，在上述的一种鲁棒的基于参考图片的妆容迁移方法中，所述换妆包括：部分换妆、混合换妆、更改上妆浓度；

部分换妆：将待换妆图片x，参考图片y输入妆容提取网络，提取得到各自的妆容矩阵γ′_x，β′_x，γ′_y，β′_y，将待换妆图片x输入现有的人脸部件分割网络得到其分割掩码；待换妆图片x仅迁移参考图片y的脸部某部分妆容，则从分割掩码中得到该部位的掩码m_x；基于掩码对两图片的妆容矩阵进行加权求和，并与待换妆图片x的特征图v_x做逐像素乘法和加法则得到换妆后的特征图v_x′：

v_x′＝((1-m_x)γ′_x+m_xγ′_y)v_x+((1-m_x)β′_x+m_xβ′_y)；

混合换妆：将参考图片y₁，y₂输入妆容提取网络，提取得到各自的妆容矩阵γ′_y1，β′_y1，γ′_y2，β′_y2；令参考图片y₂的混合权重为α，则参考图片y₂的混合权重为(1-α)；对两参考图片的妆容矩阵进行加权求和，并与待换妆图片x的特征图v_x做逐像素乘法和加法则得到换妆后的特征图v_x′：

v_x′＝((1-α)γ′_y1+αγ′_y2)v_x+((1-α)β′_y1+αβ′_y2)；

更改上妆浓度：将待换妆图片x，参考图片y输入妆容提取网络，提取得到各自的妆容矩阵γ′_x，β′_x，γ′_y，β′_y；令参考图片y的浓度权重为α，则待换妆图片x的浓度权重为(1-α)，当α越大，则换妆浓度越浓；对两图片的妆容矩阵进行加权求和，并与待换妆图片x的特征图v_x做逐像素乘法和加法则得到换妆后的特征图v_x′：

v_x′＝((1-α)γ′_x+αγ′_y)v_x+((1-α)β′_x+αβ′_y)。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种鲁棒的基于参考图片的妆容迁移方法，该方法通过对换妆图片为输入得到的视觉特征图进行平移和缩放进行换妆。因为该方法已经将参考图片的妆容提取为妆容矩阵，通过妆容提取网络可以将不同参考图片作为输入得到的不同的妆容矩阵。若将待换妆图片当做参考图片得到的妆容矩阵与参考图片的妆容矩阵进行部分混合，则可以实现对待换妆图片的部分换妆；若将不同参考图片的妆容矩阵进行加权混合，则可以实现对待换妆图片的混合换妆；若使用权重调节妆容矩阵则可以实现调节换妆过程的浓淡。

本发明与现有技术相比，技术效果在于：

1、能够稳健地处理不同的姿态，也就是在待换妆图片和参考图片的姿态不同时也能生成高质量的结果，比如将侧脸图案上的妆容迁移到正脸图像上；

2、能够实现逐部分迁移的迁移过程，即可以分开迁移人脸不同区域的妆容；

3、能够控制妆容的浓浅程度，即可以增强或减弱被迁移妆容的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明的流程图；

图2附图为本发明的PSGAN框架示意图；

图3附图为AMM模块示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种鲁棒的基于参考图片的妆容迁移方法，通过使用妆容提取网络以带妆的参考图片作为输入，从中提取妆容矩阵，并使用带注意力机制的妆容变形模块将妆容矩阵变形成为适应于待换装图片的适应后妆容矩阵。最后使用一个卸妆-再换妆网络以待换妆图片为输入，将图片编码到隐空间后使用适应后妆容矩阵将待换妆图片的视觉特征图进行缩放和平移进行换妆，随后将改变后的视觉特征图上采样得到最终的换妆图片。

本发明主要分为三部分：妆容提取网络(MDNet)、带注意力机制的妆容变形(AMM)模块和卸妆-再换妆网络(DRNet)。得益于当前风格迁移方法的发展，使用妆容矩阵，模型仅需对特征图(feature map)执行一次缩放和位移就能实现妆容迁移。但是，妆容迁移比风格迁移问题更复杂一些，这既需要考虑得到结果，也需要考虑妆容样式的细微细节。

AMM模块可以解决因为姿态差异而导致的不对齐问题，从而使PSGAN能稳健地处理不同姿态。DRNet会首先对待换妆图片进行卸妆，然后再在卸妆后的结果上通过逐像素加权的乘法和加法来应用自适应妆容矩阵γ′和β′，执行再化妆。因为妆容风格是以可感知空间的方式提炼出来的，所以可以根据人脸解析的结果，通过设置逐像素运算中的权重来实现逐部分的迁移。

一种鲁棒的基于参考图片的妆容迁移方法，如图1所示，包括如下具体步骤：

步骤一：定义换妆问题为：

其中，x是待换妆图片，y为参考图片，映射G以x，y为输入，输出换妆后的图片

保持x身份信息，同时具有参考图片y的妆容；

步骤二：提取参考图片y的妆容矩阵；

步骤三：计算待换妆图片中每个像素与参考图片中每个像素的相似性；

步骤四：对步骤二中提取的所述妆容矩阵利用像素的相似性进行变形处理，得到自适应妆容矩阵；

步骤五：将待换妆图片使用自适应妆容矩阵将视觉特征特征图进行换妆；

步骤六：对视觉特征图进行上采样得到换妆图片。

优选的，在上述的一种鲁棒的基于参考图片的妆容迁移方法中，所述步骤二中，利用妆容提取网络参考图片进行提取得到第一妆容矩阵γ和第二妆容矩阵β。

优选的，在上述的一种鲁棒的基于参考图片的妆容迁移方法中，所述步骤三中，具体步骤包括：

p_i＝[f(x_i)-f(l_i)，...，f(x_i)-f(l_n)，g(x_i)-g(l_i)，...，g(x_i)-g(l_n)]；

其中x_i是待化妆图片的第i个像素，l_i是参考图片的第i个人脸关键点；f是计算该像素的横坐标的函数，g是计算其纵坐标的函数，p_i是用于计算相似性的2n维的相对位置特征向量；待换妆图片与参考图片的相似性矩阵A为：

其中A_i，j代表待化妆图片的第i个像素与参考图片第j个像素的相似性，v_i代表待化妆图片的第i个像素的视觉特征向量，v_j代表第j个像素的视觉特征向量；[·，·]代表向量的拼接操作，T代表矩阵的转置操作。

优选的，在上述的一种鲁棒的基于参考图片的妆容迁移方法中，所述步骤四中，具体步骤包括：根据像素的相似性得到自适应妆容矩阵公式如下：

其中γ′_i与β′_i为自适应妆容矩阵γ′和β′的第i个元素，γ_i与β_i为第一妆容矩阵γ和第二妆容矩阵β的第j个元素。

优选的，在上述的一种鲁棒的基于参考图片的妆容迁移方法中，所述步骤五中，具体步骤包括：使用卸妆-再换妆网络以待换妆图片为输入，将图片编码到隐空间后使用自适应妆容矩阵γ′_i和β′_i将视觉特征图进行缩放和平移进行换妆：

v′_x＝γ′v_x+β′；

其中v_x是以待换妆图片为输入得到的视觉特征图，v′_x为进行换妆之后的视觉特征图。

优选的，在上述的一种鲁棒的基于参考图片的妆容迁移方法中，所述换妆包括：部分换妆、混合换妆、更改上妆浓度；

将待换妆图片做参考图片得到的妆容矩阵与参考图片的妆容矩阵进行部分换妆；

将不同参考图片的妆容矩阵进行加权混合进行混合换妆；

使用权重调节妆容矩阵调节换妆过程的浓淡更改上妆浓度。

对于整体框架，如图2所示，DRNet对待换妆图片执行卸妆操作，MDNet则从参考图片提取妆容矩阵。AMM模块将提炼出来的矩阵应用于DRNet的第三个瓶颈的输出特征图，以实现妆容迁移；如图3所示，对于AMM模块，具有136(68×2)个通道的绿色模块表示像素的相对位置向量，然后再与C通道视觉特征相连接。由此，可通过相对位置与视觉特征的相似度为源图像中的每个像素计算出注意图(attentive map)。AMM模块得到自适应妆容矩阵γ′和β′，然后再逐元素地乘和加为DRNet的特征图。

MDNet采用了简单的编码器架构，没有解码器部分。从内在的面部特征(如人脸形状、眼睛大小)解离出与妆容有关的特征(如唇彩、眼影)。与妆容相关的特征被表示为两个妆容矩阵γ和β，再被用于通过像素级的操作实现妆容迁移。如图3所示，参考图片的特征图被输入进两个1×1卷积层，得到γ和β。

由于待换妆图片和参考图片之间可能存在姿态和表情的差异，所以得到的感知空间型γ和β无法直接应用于待换妆图片。AMM模块会计算出一个注意矩阵A，指示了待换妆图片中像素相对于参考图片中像素的变形情况。

DRNet使用了常见的自编码器架构。如图2所示，DRNet的编码器部分与MDNet一样，但参数并不一样。编码器部分使用了没有仿射(affine)参数的实例归一化，从而使特征图呈正态分布，这可被视为卸妆过程。

PSGAN使用了多种目标函数：

判别器的对抗损失(adversarial loss)和生成器的对抗损失，即判别生成的图片是真是假。；

循环一致性损失(cycle consistency loss)，即换妆再卸妆的结果需要一致，这里使用了L1损失来约束重建的图像和定义循环一致性损失；

感知损失(perceptual loss)，使用L2损失来衡量迁移后的图像与源图像的个人身份差异。本方法使用了一个在ImageNet上预训练的VGG-16模型来比较源图像和生成图像在隐藏层中的特征图的差异；

妆容损失(makeup loss)，使用直方图匹配的方法将参考图片的颜色匹配到待换妆图片上，得到一个粗略的换装结果，该结果能为妆容迁移提供粗略的引导；

总损失(total loss)，以上各个损失的加权和。

本实施例使用了MT(Makeup Transfer)数据集和MT-wild数据集来训练和测试网络，其包含1115张待换妆图片和2719张参考图片。本方法在Amazon Mechanical Turk(AMT)的众包平台上进行了用户研究，并定量地比较了PSGAN与BeautyGAN、CycleGAN、DIA的结果，如表1所示，表格中的数字为被用户选为生成图片质量最好的方法的概率，可以看到在两个数据集上本方法都取得了最好的用户评价。

表1

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种鲁棒的基于参考图片的妆容迁移方法，其特征在于，包括如下具体步骤：

步骤一：定义换妆问题为：

其中，x是待换妆图片，y为参考图片，映射G以x，y为输入，输出换妆后的图片

保证

与x为同一个人，且同时具有参考图片y的妆容；

步骤二：提取参考图片y的妆容矩阵；

步骤三：计算待换妆图片中每个像素与参考图片中每个像素的相似性；

步骤四：对步骤二中提取的所述妆容矩阵利用像素的相似性进行变形处理，得到自适应妆容矩阵；

步骤五：将待换妆图片使用自适应妆容矩阵将视觉特征的特征图进行换妆；

步骤六：将视觉特征图进行上采样得到换妆图片。

2.根据权利要求1所述的一种鲁棒的基于参考图片的妆容迁移方法，其特征在于，所述步骤二中，利用妆容提取网络参考图片进行提取得到第一妆容矩阵γ和第二妆容矩阵β。

3.根据权利要求1所述的一种鲁棒的基于参考图片的妆容迁移方法，其特征在于，所述步骤三中，具体步骤包括：

p_i＝[f(x_i)-f(l_i)，...，f(x_i)-f(l_n)，g(x_i)-g(l_i)，...，g(x_i)-g(l_n)]；

其中x_i是待化妆图片的第i个像素，l_i是参考图片的第i个人脸关键点；f是计算该像素的横坐标的函数，g是计算其纵坐标的函数，p_i是用于计算相似性的2n维的相对位置特征向量；待换妆图片与参考图片的相似性矩阵A为：

其中A_i，j代表待化妆图片的第i个像素与参考图片第j个像素的相似性，v_i代表待化妆图片的第i个像素的视觉特征向量，v_j代表第j个像素的视觉特征向量；[·，·]代表向量的拼接操作，T代表矩阵的转置操作。

4.根据权利要求2所述的一种鲁棒的基于参考图片的妆容迁移方法，其特征在于，所述步骤四中，具体步骤包括：根据像素的相似性得到自适应妆容矩阵公式如下：

其中γ′_i与β′_i为自适应妆容矩阵γ′和β′的第i个元素，γ_i与β_i为第一妆容矩阵γ和第二妆容矩阵β的第j个元素。

5.根据权利要求4所述的一种鲁棒的基于参考图片的妆容迁移方法，其特征在于，所述步骤五中，具体步骤包括：使用卸妆-再换妆网络以待换妆图片为输入，将图片编码到隐空间后使用自适应妆容矩阵γ′_i和β′_i将视觉特征图进行缩放和平移进行换妆：

v′_x＝γ′v_x+β′；

其中v_x是以待换妆图片为输入得到的视觉特征图，v′_x为进行换妆之后的视觉特征图。

6.根据权利要求5所述的一种鲁棒的基于参考图片的妆容迁移方法，其特征在于，所述换妆包括：部分换妆、混合换妆、更改上妆浓度；

部分换妆：将待换妆图片x，参考图片y输入妆容提取网络，提取得到各自的妆容矩阵γ′_x，β′_x，γ′_y，β′_y，将待换妆图片x输入现有的人脸部件分割网络得到其分割掩码；待换妆图片x仅迁移参考图片y的脸部某部分妆容，则从分割掩码中得到该部位的掩码m_x；基于掩码对两图片的妆容矩阵进行加权求和，并与待换妆图片x的特征图v_x做逐像素乘法和加法则得到换妆后的特征图v_x′：

v_x′＝((1-m_x)γ′_x+m_xγ′_y)v_x+((1-m_x)β′_x+m_xβ′_y)；

混合换妆：将参考图片y1，y2输入妆容提取网络，提取得到各自的妆容矩阵

令参考图片y₂的混合权重为α，则参考图片y₂的混合权重为(1-α)；对两参考图片的妆容矩阵进行加权求和，并与待换妆图片x的特征图v_x做逐像素乘法和加法则得到换妆后的特征图v_x′：

更改上妆浓度：将待换妆图片x，参考图片y输入妆容提取网络，提取得到各自的妆容矩阵γ′_x，β′_x，γ′_y，β′_y；令参考图片y的浓度权重为α，则待换妆图片x的浓度权重为(1-α)，当α越大，则换妆浓度越浓；对两图片的妆容矩阵进行加权求和，并与待换妆图片x的特征图v_x做逐像素乘法和加法则得到换妆后的特征图v_x′：

v_x′＝((1-α)γ′_x+αγ′_y)v_x+((1-α)β′_x+αβ′_y)。

Images