CN114998970B - 一种基于多尺度密集特征融合的妆容迁移方法 - Google Patents

Abstract

本发明公开了一种基于多尺度密集特征融合的妆容迁移方法，首先借用多尺度金字塔结构思想，对原图像和目标图像进行下采样，得到不同尺寸的输入图像；然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取，将提取到的风格特征从原图像迁移到目标图像中，通过与判别器不断的博弈对抗，生成所需要的翻译图像；最后，通过渐进式增长生成器训练的方式，在训练的每个阶段中不断增加密集特征模块，实现原图像的妆容迁移，生成所需要的目标图像妆容风格的图像；与现有最先进的方法相比，本发明的方法训练时长减少3/4，并且生成图像的细节特征较好，可以更好地捕获源域和目标域之间分布的差异，提高妆容迁移的质量。

Description

一种基于多尺度密集特征融合的妆容迁移方法

技术领域

本发明属于计算机图形学处理领域，具体涉及一种基于多尺度密集特征融合的妆容迁移方法。

背景技术

秦腔又称乱弹，源于古代陕西、甘肃一带的民间歌舞，是在中国古代政治、经济、文化中心长安生长壮大起来的，经历代代人民的创造而逐渐形成，因周代以来，关中地区就被称为“秦”，秦腔由此而得名，是相当古老的剧种。因其以枣木梆子为击节乐器，所以又叫“梆子腔”，俗称“桄桄子”(因以梆击节时发出“恍恍”声)。

秦腔艺术作为中华优秀传统文化之一，积淀着中华民族最深沉的精神追求，代表着中华民族独特的精神标识，为延续和发展中华文明发挥着重要的作用。将互联网技术应用于传统秦腔戏曲，为传统戏曲增添现代色彩，阐发秦腔艺术精髓，扩大秦腔的影响力，使其走出“小众化”的圈子，让更多的现代人看到它的魅力，看到中国传统文化的魅力，是当代年轻人应为秦腔戏曲艺术传承所做的事。同时，随着化妆的流行，试妆成为一个重要的应用。在试妆技巧中，妆容转移是最方便有效的方法。

妆容迁移是指将化妆风格从一个参考面迁移到另一个参考面中。它需要从合成的参考图像中提取化妆成分。它还需要分析人脸结构，以正确地传递未对齐的人脸之间的化妆成分，有很多因素需要考虑，包括头部姿势、光照、面部表情和遮挡。基于深度学习的生成模型是解决这一问题的领先方法。本发明致力于将这种妆容迁移的方法应用到秦腔妆容迁移上。

BeautyGAN和BeautyGlow可以为简单风格的正面脸提供逼真的妆后图像。PSGAN能够处理各种头部姿势和表情，而CA-GAN则专注于精细的化妆颜色匹配。但这些方法仅适用于基于化妆区域颜色分布的简单化妆风格，如粉底、口红、眼影等。在依赖形状、质地和位置的复杂化妆上，比如腮红、脸部彩绘和化妆珠宝，它们会惨败。只有LADN考虑了这些极端的构成，但其结果远远不能令人满意。

发明内容

现有的方法的结果不能令人满意，且需要大量的数据集，这在秦腔妆容迁移上是很难搜集的。本发明的目的在于提供一种基于多尺度密集特征融合的妆容迁移方法，其系统工作高效，不需要大量的数据集，单张图像即可实现，且适用的妆容范围广，对简单风格和极端风格的妆容都适用，对秦腔妆容迁移的效果较好。

为了实现上述目的，本发明采用以下技术方案予以实现：

一种基于多尺度密集特征融合的妆容迁移方法，包括以下步骤：

步骤1：对输入的未化妆图像I′_A和具有参考妆容的图像I′_B使用MTCNN人脸检测算法进行人脸检测，定位并裁剪出需要进行妆容迁移的人脸图像I_A和I_B；

步骤2：将I_A和I_B下采样到N个不同的尺度，对每一个尺度的图像进行一次训练，即整个训练过程分为N个阶段；

第n个阶段和/>的尺度计算如式(1)所示：

其中，n∈{1,2,…,N}，和/>是模型设置的图像最小尺度，/>和/>是模型设置的最大尺度图像，N是训练的总阶段数；

步骤3：整体网络结构由两个对称的金字塔结构及一个金字塔结构判别器/>组成；将步骤2中下采样得到的N个尺度图像/>作为输入图像，采用金字塔结构进行训练，然后在生成器/>中将不同尺寸的图像输入到密集特征模块进行风格特征提取与融合，通过生成器/>与判别器/>不断的博弈对抗，生成所需要的妆容迁移图像I_AB；

步骤4：生成器通过密集特征模块来进行图像特征的提取和融合，其过程为：首先，采用三个3×3卷积从每个阶段的输入图像提取风格特征；其次，将各个阶段提取到的图像特征进行拼接融合，并利用这些特征将原图像的特征向量转换为目标图像的特征向量；最后通过一个3×3卷积输出每个阶段妆容迁移后的图像/>

密集特征模块的第L个密集特征卷积的输入来自于前面所有密集卷积阶段的特征映射，其表达式如式(2)所示：

x_L＝H_L([x₁,x₂,…,x_L-1]) (2)

其中，H_L代表特征融合，表示将第x_L阶段到第x_L-1阶段的所有输出特征按通道组合在一起；

步骤5：为缓解网络的模式崩溃问题，将步骤4中得到的妆容迁移图像作为输入图像，通过生成器/>生成重建图像/>然后使用循环一致性损失来约束/>与/>具有相似的结构特征；循环一致性损失表达式如式(3)所示：

其中，

步骤6：以作为判别器/>的输入，输出结果为/>是/>对应域的自然图像的概率，通过与生成器/>的不断博弈对抗，最终判别器将达到纳什平衡状态，即判别器判别生成器生成的图像/>为真或假的概率都为50％；

步骤7：完成第二个阶段到第N个阶段的训练，训练过程与第一个阶段的过程类似，不同之处在于生成器大小是逐步递增的；在进行妆容迁移时，每次都从图像最小的尺度和最小的生成器开始；在训练过程中，每个阶段都从前一阶段获取原始特征作为输入，且前一阶段参数值不是固定的；一旦任意阶段模型收敛，则在生成器的最后一个密集特征模块后添加一个与其相同的密集特征模块来增加生成器的大小；重复这个过程N次，直到达到训练设置的图像最大尺度；

对于任意阶段n，网络结构由两个生成器及一个判别器/> 保证妆容迁移图像属于正确的图像域，/>使A图像域映射到B图像域得到妆容迁移图像/> 则使反向映射得到重建图像/>即/>

进一步，密集特征模块仅由三个卷积块及一个转换层组成。

进一步，将每一层输出的特征数设置为16。

本发明具有以下有益效果：

本发明公开了一种基于多尺度密集特征融合的妆容迁移方法。首先借用多尺度金字塔结构思想，对原图像和目标图像进行下采样，得到不同尺寸的输入图像。然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取，将提取到的风格特征从原图像迁移到目标图像中，通过与判别器不断的博弈对抗，生成所需要的翻译图像；最后，通过渐进式增长生成器训练的方式，在训练的每个阶段中不断增加密集特征模块，实现生成图像的妆容迁移，生成所需要的具有参考妆容的图像。

本发明的数据集为单张图像，借用多尺度金字塔结构思想，对原图像和目标图像进行下采样，得到不同尺寸的输入图像。然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取，加强了图像特征的复用，能够保留更多的图像细节特征，进而不断优化妆容迁移图像的细节特征。同时为了避免拼接操作造成输出特征维度过大的问题，采用1×1卷积降低输出特征维度。将提取到的风格特征从原图像迁移到目标图像中，通过与判别器不断的博弈对抗，生成所需要的翻译图像；而现有的妆容迁移方法都需要大量的数据集，这在秦腔妆容迁移上是很难搜集的。在各种无监督图像到图像翻译任务上进行的实验结果表明，与现有的方法相比，本发明的方法训练时长缩短了3/4，且由于训练方法为整体的妆容风格迁移，因此对于极端风格和简单风格都适用，对秦腔妆容迁移的效果较好。

密集特征模块仅由三个卷积块及一个转换层组成，以防止网络的卷积层数过多导致训练过拟合。

附图说明

图1是未化妆图像；

图2是秦腔妆容的源图像；

图3是对图1进行人脸检测的结果图像I_A；

图4是对图2进行人脸检测的结果图像I_B；

图5是A图像域转换到B图像域的网络结构图；

图6是特征提取及融合示意图；

图7是将I_B图像人脸的妆容迁移到图像I_A人脸后的结果图像I_AB；

图8是将I_AB作为生成器G_B生成的重建图像I_ABA；

具体实施方式

以下结合实施例对本发明的具体内容做进一步详细解释说明。

本发明提供了一种基于多尺度密集特征融合的妆容迁移方法，具体包括以下步骤：

步骤1：对输入的未化妆图像和具有秦腔妆容的图像/>使用MTCNN人脸检测算法进行人脸检测，定位并裁剪出需要进行妆容迁移的人脸图像I_A和I_B，如图1-图4所示；

步骤2：将I_A和I_B下采样到N个不同的尺度，对每一个尺度的图像进行一次训练，即整个训练过程分为N个阶段。第n个阶段和/>的尺度计算如式(1)所示：

其中，n∈{1,2,…,N}，和/>是模型设置的图像最小尺度，/>和/>是模型设置的图像最大尺度，N是训练的总阶段数；

步骤3：如图5，整体网络结构由两个对称的金字塔结构及一个金字塔结构判别器/>组成。将步骤2中下采样得到的N个尺度图像/>作为输入图像，采用金字塔结构进行训练，然后在生成器/>中将不同尺寸的图像输入到密集特征模块进行风格特征提取与融合，通过生成器/>与判别器/>不断的博弈对抗，生成所需要的妆容迁移图像I_AB，如图7所示；

判别器使用马尔科夫判别器，其具有与生成器相同的感受野；生成器/>的网络结构由一个输入层、n个密集特征模块、一个输出层组成。其中，n∈{1,2,…,N}；输入层由三个3×3卷积构成；密集特征模块由批量归一化层、ReLU激活函数以及一个3×3卷积构成；输出层由一个3×3卷积和Tanh激活函数构成。

步骤4：生成器通过密集特征模块来进行图像特征的提取和融合，其过程为：首先，采用三个3×3卷积从每个阶段的输入图像提取风格特征。其次，如图6所示，将各个阶段提取到的图像特征进行拼接融合，并利用这些特征将原图像的特征向量转换为目标图像的特征向量，加强了图像特征的复用，能够保留更多的图像细节特征，进而不断优化妆容迁移图像的细节特征。同时为了避免拼接操作造成输出特征维度过大的问题，采用1×1卷积降低输出特征维度。最后通过一个3×3卷积输出每个阶段妆容迁移后的图像/>

密集特征模块的第L个密集特征卷积的输入来自于前面所有密集卷积阶段的特征映射，其表达式如式(2)所示：

x_L＝H_L([x₁,x₂,…,x_L-1]) (2)

其中，H_L代表特征融合，表示将第x_L阶段到第x_L-1阶段的所有输出特征按通道组合在一起。

步骤5：为缓解网络的模式崩溃问题，将步骤4中得到的妆容迁移图像作为输入图像，通过生成器/>生成重建图像/>如图8所示，然后使用循环一致性损失来约束/>与/>具有相似的结构特征。循环一致性损失表达式如式(3)所示：

其中，

步骤6：以作为判别器/>的输入，输出结果为/>是/>对应域的自然图像的概率，通过与生成器/>的不断博弈对抗，最终判别器将达到纳什平衡状态，即判别器判别生成器生成的图像/>为真或假的概率都为50％。

步骤7：完成第二个阶段到第N个阶段的训练，训练过程与第一个阶段的过程类似，不同之处在于生成器大小是逐步递增的。在进行妆容迁移时，每次都从图像最小的尺度和最小的生成器开始。在训练过程中，每个阶段都从前一阶段获取原始特征作为输入，且前一阶段参数值不是固定的。一旦任意阶段模型收敛，则在生成器的最后一个密集特征模块后添加一个与其相同的密集特征模块来增加生成器的大小。重复这个过程N次，直到达到训练设置的图像最大尺度。

对于任意阶段n，本发明的网络结构有两个生成器及一个判别器/> 可以保证妆容迁移图像属于正确的图像域，/>使A图像域映射到B图像域得到妆容迁移图像/>则使反向映射得到重建图像/>即/>

Claims (3)

1.一种基于多尺度密集特征融合的妆容迁移方法，其特征在于包括以下步骤：

步骤1：对输入的未化妆图像I′_A和具有参考妆容的图像I′_B使用MTCNN人脸检测算法进行人脸检测，定位并裁剪出需要进行妆容迁移的人脸图像I_A和I_B；

步骤2：将I_A和I_B下采样到N个不同的尺度，对每一个尺度的图像进行一次训练，即整个训练过程分为N个阶段；

第n个阶段和/>的尺度计算如式(1)所示：

其中，n∈{1，2，…，N}，和/>是模型设置的图像最小尺度，/>和/>是模型设置的最大尺度图像，N是训练的总阶段数；

步骤3：整体网络结构由两个对称的金字塔结构及一个金字塔结构判别器组成；将步骤2中下采样得到的N个尺度图像/>作为输入图像，采用金字塔结构进行训练，然后在生成器/>中将不同尺寸的图像输入到密集特征模块进行风格特征提取与融合，通过生成器/>与判别器/>不断的博弈对抗，生成所需要的妆容迁移图像I_AB；

步骤4：生成器通过密集特征模块来进行图像特征的提取和融合，其过程为：首先，采用三个3×3卷积从每个阶段的输入图像提取风格特征；其次，将各个阶段提取到的图像特征进行拼接融合，并利用这些特征将原图像的特征向量转换为目标图像的特征向量；最后通过一个3×3卷积输出每个阶段妆容迁移后的图像/>

密集特征模块的第L个密集特征卷积的输入来自于前面所有密集卷积阶段的特征映射，其表达式如式(2)所示：

x_L＝H_L([x₁，x₂，...，x_L-1]) (2)

其中，H_L代表特征融合，表示将第x_L阶段到第x_L-1阶段的所有输出特征按通道组合在一起；

步骤5：为缓解网络的模式崩溃问题，将步骤4中得到的妆容迁移图像作为输入图像，通过生成器/>生成重建图像/>然后使用循环一致性损失来约束/>与/>具有相似的结构特征；循环一致性损失表达式如式(3)所示：

其中，

步骤6：以作为判别器/>的输入，输出结果为/>是/>对应域的自然图像的概率，通过与生成器/>的不断博弈对抗，最终判别器将达到纳什平衡状态，即判别器判别生成器生成的图像/>为真或假的概率都为50％；

步骤7：完成第二个阶段到第N个阶段的训练，训练过程与第一个阶段的过程类似，不同之处在于生成器大小是逐步递增的；在进行妆容迁移时，每次都从图像最小的尺度和最小的生成器开始；在训练过程中，每个阶段都从前一阶段获取原始特征作为输入，且前一阶段参数值不是固定的；一旦任意阶段模型收敛，则在生成器的最后一个密集特征模块后添加一个与其相同的密集特征模块来增加生成器的大小；重复这个过程N次，直到达到训练设置的图像最大尺度；

对于任意阶段n，网络结构由两个生成器及一个判别器/>保证妆容迁移图像属于正确的图像域，/>使A图像域映射到B图像域得到妆容迁移图像/> 则使反向映射得到重建图像/>即/>

2.根据权利要求1所述的一种基于多尺度密集特征融合的妆容迁移方法，其特征在于：密集特征模块仅由三个卷积块及一个转换层组成。

3.根据权利要求1所述的一种基于多尺度密集特征融合的妆容迁移方法，其特征在于：将每一层输出的特征数设置为16。