CN113538214A - 一种妆容迁移的控制方法、系统和存储介质 - Google Patents
一种妆容迁移的控制方法、系统和存储介质 Download PDFInfo
- Publication number
- CN113538214A CN113538214A CN202110644864.7A CN202110644864A CN113538214A CN 113538214 A CN113538214 A CN 113538214A CN 202110644864 A CN202110644864 A CN 202110644864A CN 113538214 A CN113538214 A CN 113538214A
- Authority
- CN
- China
- Prior art keywords
- makeup
- image
- generated image
- feature vector
- splicing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013508 migration Methods 0.000 title claims abstract description 30
- 230000005012 migration Effects 0.000 title claims abstract description 29
- 239000013598 vector Substances 0.000 claims abstract description 115
- 238000012546 transfer Methods 0.000 claims abstract description 28
- 239000002537 cosmetic Substances 0.000 claims description 31
- 230000008447 perception Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 8
- 125000004122 cyclic group Chemical group 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 208000032538 Depersonalisation Diseases 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000008485 antagonism Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 12
- 230000000694 effects Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 12
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
- G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种妆容迁移的控制方法、系统和存储介质，可应用于深度学习技术领域。本发明方法通过特征编码网络对无妆容图像和两张有妆容图像进行部位特征编码，并对得到的若干个部位特征向量进行拼接，得到第一拼接特征向量和第二拼接特征向量，然后将第一拼接特征向量和无妆容图像输入生成器，得到第一生成图像，同时通过第一局部判别器判断第一生成图像的真假信息，紧接着将第一生成图像和第二拼接特征向量输入生成器，得到第二生成图像，并通过第二局部判别器判断第二生成图像的真假信息，最后在真假信息符合预设要求，确定完成妆容迁移。本实施例通过特征编码网络来编码得到部位特征向量，以提高眼妆迁移过程的完整度的效果。
Description
技术领域
本发明涉及深度学习技术领域，尤其是一种妆容迁移的控制方法、系统和存储介质。
背景技术
化妆是一种艺术形式，它能提升个人的魅力和颜值。如今，不管是工作还是出门约会，化妆都是人们社交日常必不可少的部分，自动化妆和妆容美化的应用范围也越来越广泛，逐渐深入到了每个拍照，直播，甚至购物等软件中。妆容迁移技术可以在你没有化妆的情况下，将一张人像的妆容迁移到你的照片上，让你知道每种妆容上脸的外观，就可以高效的找出适合自己的妆容。目前的妆容迁移方式，难以确保眼妆迁移过程中的完整性。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种妆容迁移的控制方法、系统和存储介质，能够提高眼妆迁移过程的完整度。
第一方面，本发明实施例提供了一种妆容迁移的控制方法，包括以下步骤：
获取无妆容图像、第一有妆容参考图像和第二有妆容参考图像；
将所述无妆容图像、所述第一有妆容参考图像和所述第二有妆容参考图像输入特征编码网络，得到若干个部位特征向量；
对所述若干个部位特征向量进行拼接，得到第一拼接特征向量和第二拼接特征向量；
将所述第一拼接特征向量和所述无妆容图像输入生成器，得到第一生成图像，并通过第一局部判别器判断所述第一生成图像的真假信息以及所述第一生成图像是否满足所述第一拼接特征向量的条件；
将所述第一生成图像和所述第二拼接特征向量输入生成器，得到第二生成图像，并通过第二局部判别器判断所述第二生成图像的真假信息以及所述第二生成图像是否满足所述第二拼接特征向量的条件；
当所述真假信息符合预设要求、所述第一生成图像满足所述第一拼接特征向量的条件且所述第二生成图像满足所述第二拼接特征向量的条件，确定完成妆容迁移。
本发明实施例提供的一种妆容迁移的控制方法，具有如下有益效果：
本实施例通过特征编码网络对无妆容图像和两张有妆容图像进行部位特征编码，得到若干个部位特征向量，并对若干个部位特征向量进行拼接，得到第一拼接特征向量和第二拼接特征向量，然后将第一拼接特征向量和无妆容图像输入生成器，得到第一生成图像，同时通过第一局部判别器判断第一生成图像的真假信息以及第一生成图像是否满足第一拼接特征向量的条件，紧接着将第一生成图像和第二拼接特征向量输入生成器，得到第二生成图像，同时通过第二局部判别器判断第二生成图像的真假信息以及第二生成图像是否满足第二拼接特征向量的条件，并在真假信息符合预设要求、第一生成图像满足第一拼接特征向量的条件且第二生成图像满足第二拼接特征向量的条件后，确定完成妆容迁移。本实施例通过特征编码网络来编码得到部位特征向量，并通过多个局部判别器将注意力集中在感兴趣区域，从而实现迁移多张有妆图拼接而成的妆容到一张无状图像上，并达到提高眼妆迁移过程的完整度的效果。
可选地，所述局部判别器包括六个卷积层、谱归一化层和ReLU层，所述第一局部判别器和第二局部判别器的处理过程包括以下步骤：
接收有妆容图像裁剪图、无妆容图像裁剪图和生成图像裁剪图；
对所述无妆容图像裁剪图和所述生成图像裁剪图沿着颜色通道连接，得到消极对图像；
对所述有妆容图像裁剪图和所述生成图像裁剪图沿着颜色通道连接，得到积极对图像；
根据所述消极对图像和所述积极对图像对局部判别器进行对抗性性学习。
可选地，在执行所述将所述第一拼接特征向量和所述无妆容图像输入生成器，得到第一生成图像这一步骤时，计算所述第一拼接特征向量和所述无妆容图像的身份感知损失，所述身份感知损失计算公式如下：
其中，Lper表示身份感知损失，Cl表示生成器网络的第l层的特征图通道数，Hl表示生成器网络的第l层的特征图高度，Wl表示生成器网络的第l层的特征图宽度，El表示特征的欧式距离。
可选地，在执行所述将所述第一拼接特征向量和所述无妆容图像输入生成器，得到第一生成图像这一步骤时，通过语义分割网络对所述第一拼接特征向量、所述第一有妆容参考图像和所述第二有妆容参考图像进行语义分割，得到组合掩膜图像。
可选地，所述方法还包括以下步骤：
计算所述组合掩膜图像的妆容损失，所述妆容损失计算公式如下：
Lmakeup＝λlLlips+λsLshadow+λfLface
其中，Lmakeup表示妆容损失，λl表示嘴部的损失权重，λs表示眼部的损失权重，λf表示脸部的损失权重，Llips表示嘴部的妆容损失，Lshadow表示眼部的妆容损失，Lface表示脸部的妆容损失。
可选地，在执行所述将所述第一生成图像和所述第二拼接特征向量输入生成器，得到第二生成图像，计算所述第二生成图像和所述无妆容图像的循环一致性损失，所述循环一致性损失通过以下公式计算：
Lcyc＝Ex,L1,L2[||x-G(G(x,L1),L2)||1]
其中，Lcyc表示循环一致性损失，E表示特征编码网络，G表示生成器，L1表示第一拼接特征向量，L2表示第二拼接特征向量，x表示无妆容图像。
可选地，六个所述卷积层均为3*3卷积层；所述谱归一化层用于将所述卷积层的信息处理成2*2*1的特征向量；所述ReLU层通过sigmoid模块对特征向量进行计算后求均值，输出单标量值。
第二方面，本发明实施例提供了一种妆容迁移的控制系统，包括：
获取模块，用于获取无妆容图像、第一有妆容参考图像和第二有妆容参考图像；
获取模块，用于将所述无妆容图像、所述第一有妆容参考图像和所述第二有妆容参考图像输入特征编码网络，得到若干个部位特征向量；
拼接模块，用于对所述若干个部位特征向量进行拼接，得到第一拼接特征向量和第二拼接特征向量；
第一输入模块，用于将所述第一拼接特征向量和所述无妆容图像输入生成器，得到第一生成图像，并通过第一局部判别器判断所述第一生成图像的真假信息以及所述第一生成图像是否满足所述第一拼接特征向量的条件；
第二输入模块，用于将所述第一生成图像和所述第二拼接特征向量输入生成器，得到第二生成图像，并通过第二局部判别器判断所述第二生成图像的真假信息以及所述第二生成图像是否满足所述第二拼接特征向量的条件；
判断模块，用于当所述真假信息符合预设要求、所述第一生成图像满足所述第一拼接特征向量的条件且所述第二生成图像满足所述第二拼接特征向量的条件，确定完成妆容迁移。
第三方面，本发明实施例提供了一种妆容迁移的控制系统，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行第一方面实施例提供的妆容迁移的控制方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行第一方面实施例提供的妆容迁移的控制方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
下面结合附图和实施例对本发明做进一步的说明，其中：
图1为本发明实施例的一种妆容迁移的控制方法的流程图；
图2为一种实施例的BeautyGAN网络流程图；
图3为本发明实施例的妆容迁移流程图；
图4为本发明实施例的局部判别器的结构示意图；
图5为本发明实施例的盲法评价等级结果示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
参照图1，本发明实施例提供了一种妆容迁移的控制方法。本实施在实施过程的基本原理为BeautyGAN妆容迁移算法。其中，BeautyGAN妆容迁移算法经典的图像翻译结构，生成器G包括两个输入，分别是无妆容图像Isrc和有妆容图像Iref，通过编码器、若干个残差模块、解码器组成的生成器G后，得到两个输出图像，分别为上妆图像
和卸妆图像
如图2所示，Isrc表示无妆容图像A，Iref表示有妆容图像B，
表示无妆容图像A迁移有妆容图像B的妆容后的生成图像，
表示有妆容图像B卸妆后的生成图像，
表示有生成图像
卸妆后的生成图像，
表示有生成图像
迁移妆容后的生成图像，G表示生成器，Da和Ds表示判别器。
在图2中，BeautyGAN网络使用了两个判别器Da和Ds，其中Da用于区分真假无妆容图像，Ds用于区分真假有妆容图像。此外，在BeautyGAN网络中，出了基本的损失外，还包括3个总要的损失，分别是循环一致性损失、感知损失和妆造损失。基本的GAN损失可以使用均方差损失(Mean-square Error，MSE)，也可以使用分类用的二进制交叉熵损失(Binary CrossEntropy，BCE)，本实施例使用MSE损失。为了消除迁移细节的瑕疵，将上妆图像
和卸妆图像
再次输入给G,重新执行一次卸妆和上妆，得到两张重建图
和卸妆图像
此时通过循环损失约束一张图经过两次G变换后与对应的原始图相同。上妆和卸妆不能改变原始的人物身份信息，可以通过基于VGG(Oxford Visual Geometry Group)模型的感知损失进行约束，感知损失函数定义如下公式所示：
公式1中，Lper表示身份感知损失，Cl表示生成器网络的第l层的特征图通道数，Hl表示生成器网络的第l层的特征图高度，Wl表示生成器网络的第l层的特征图宽度，El表示特征的欧式距离，其中，El包括两个部分，如下公式所示：
公式中，Fl表示第l层的特征图像。
为了更加精确地控制局部区域的妆造效果，BeautyGAN模型训练了一个语义分割网络提取人脸不同区域的掩膜，使无妆图和有妆图在脸部、眼部、嘴部等3个区域满足妆造损失，妆造损失通过直方图匹配实现，其中一个区域的妆造损失定义如下公式所示：
公式中，
表示
对应的区域掩膜，
表示Iref对应的区域掩膜，item可以分别表示脸部、眼部和嘴部等3个区域，HM表示直方图匹配操作。
因此，整个妆容损失定义如下公式所示：
Lmakeup＝λlLlips+λsLshadow+λfLface
公式中，Lmakeup表示妆容损失，λl表示嘴部的损失权重，λs表示眼部的损失权重，λf表示脸部的损失权重，Llips表示嘴部的妆容损失，Lshadow表示眼部的妆容损失，Lface表示脸部的妆容损失。
在上述BeautyGAN网络模型中，生成器是一个解编码结构，输入两张图，输出两张图。其输入是无妆容图像和有妆容图像在通道上的拼接，所以输入通道维度为6，然后经过7×7的卷积核，步长为1，填充边界像素宽为3的卷积层，后接IN层和ReLU层，输出的维度为64。然后经过两层上采样编码器模块，每一层输出通道是输入通道的2倍，如左图所示，经过两层该模块后，输出维度为256。之后经过6层瓶颈模块，编码就是将传入的数据压缩成瓶颈，解码就是从瓶颈中还原原始的数据。该瓶颈模块一开始使用两层卷积网络来处理输入的图像数据并使用IN层和ReLU激活函数，输出数据再与输入数据相加，有利于保持原始数据，从而得到了瓶颈向量，输出维度还是256。使用两层转置卷积网络来实现图像数据的解码，每一层输出通道是输入通道数的一半，所以经过两层之后输出维度为64。输出是两个分支，包含一个7×7的卷积层和一个tanh激活函数层。当输入为原图和妆容图时，分支1输出原图的妆容图，分支2输出为妆容图的卸妆图；当输入为原图化妆后的图和妆容卸妆后的图时，分支1输出卸妆图，分支2输出妆容图。
判别器使用了pix2pix模型中提出的马尔科夫性的判别器(PatchGAN)，与一般分类模型不同之处在于，它输入一张图，输出一张图，最后的概率取输出图所有元素的平均值。激活函数用的是LeakyReLU,LeakyReLU与ReLU的不同在于，负半轴加上固定的斜率，从而让负半轴不恒为0，解决了ReLU函数负半轴饱和的问题。
然而上述的BeautyGAN网络模型能够有效实现妆容迁移，但是，不能实现部分妆容迁移且眼妆的迁移并不完整。
基于此，本实施例提出的一种妆容迁移的控制方法，能够改善眼妆的迁移，保证高保真色彩转移，同事支持高分辨率图像生成。
如图1所示，本实施例在实施例过程包括以下步骤：
S11、获取无妆容图像、第一有妆容参考图像和第二有妆容参考图像。
S12、将无妆容图像、第一有妆容参考图像和第二有妆容参考图像输入特征编码网络，得到若干个部位特征向量；
S13、对若干个部位特征向量进行拼接，得到第一拼接特征向量和第二拼接特征向量；
S14、将第一拼接特征向量和无妆容图像输入生成器，得到第一生成图像，并通过第一局部判别器判断第一生成图像的真假信息以及第一生成图像是否满足所述第一拼接特征向量的条件；
S15、将第一生成图像和第二拼接特征向量输入生成器，得到第二生成图像，并通过第二局部判别器判断第二生成图像的真假信息以及第二生成图像是否满足第二拼接特征向量的条件；
S16、当真假信息符合预设要求、第一生成图像满足第一拼接特征向量的条件且第二生成图像满足第二拼接特征向量的条件，确定完成妆容迁移。
具体地，将本实施例应用于图3所述的妆容迁移过程，本实施例先将无妆容图像Isrc、第一有妆容参考图像Iref1和第二有妆容参考图像Iref2经过特征编码网络E后，得到若干个部位特征向量，然后将部位特征向量拼接后，分别得到第一拼接特征向量L1和第二拼接特征向量L2，例如，L1＝Iref2lip+Iref1eyes+Iref1face，即转移有妆容图像Iref2的唇色、转移有妆图像Iref1的眼影和脸部妆容。然后将无妆容图像Isrc和第一拼接特征向量L1送入生成器中，生成第一生成图像I’src，为了迁移后人物信息不变，第一生成图像I’src与无妆容图像Isrc有个身份感知损失；再将第一生成图像I’src和第一拼接特征向量L1送入判别器Da判断第一生成图像I’src在第一拼接特征向量L1上是否真假。将第一生成图像I’src和第二拼接特征向量L2送入生成器G得到第二生成图像I”src，此时，L2＝Isrclip+Isrceyes+Isrcface。将第二生成图像I”src送入判别器Db判断第二生成图像I”src在第二拼接特征向量L2特征上是否真假，此时，第二生成图像I”src和Isrc有个循环一致性损失。该循环一致性损失计算如下：
Lcyc＝Ex,L1,L2[||x-G(G(x,L1),L2)||1]
其中，Lcyc表示循环一致性损失，E表示特征编码网络，G表示生成器，L1表示第一拼接特征向量，L2表示第二拼接特征向量，x表示输入图像。
在本实施例中，在进行部分特征编码时，还会计算部分特征编码损失，其计算公式如下：
Lsty＝Ex,L[||L-EL(G(x,L))||l]
Lsty表示部分特征编码损失，L表示特征向量，x表示输入图像，G表示生成器，E表示特征编码网络。
在本实施例中，局部判别器的结构如图4所示。其中，
表示有妆图像裁剪图，
表示无妆容图像裁剪图，
表示生成图像裁剪图，三者大小均为102*102*3。对无妆容图像裁剪图
和生成图像裁剪图
沿着颜色通道连接，作为局部判别器的反面例子，即消极对图像。每个局部判别器由6个3*3的卷积层(padding＝1,stride＝2)以及谱归一化层和ReLU层组成。如图4所示，最后一层谱归一化后，将2*2*1的特征向量传递到一个sigmoid模块，然后求均值得到一个单标量值，即表示输入对具有相同化妆风格的概率的输出。
假设图像分辨率为256*256，每个局部判别器考虑一个大小为102*102的局部图像patch。注意局部判别器是重叠的，只训练一个判别器。给定一组K个局部判别器K＝1，2，...，K为每个人脸地标位置，取一个化妆品参考图
的局部patch和无妆图从生成器生成面部图像Pk ～Y，一起送入判别器做为积极对。有妆图的裁剪
和生成图的裁剪
作为积极对(相同的化妆风格)，和无妆图的裁剪
和生成图的裁剪
作为消极对(不同的化妆风格)，构成损失函数。与此同时，判别器的目标是让生成结果的化妆风格与参考图的化妆风格相同，从而与局部判别器形成对抗性学习过程。通过这种设置，以合成结果为指导，鼓励局部判别器从化妆品参考中获取化妆品细节。
其中，在对抗训练过程中，对抗损失计算公式如下：
Ladv＝Ex,L[logDL(x)]+Ex,L[log(1-DL(G(x,L)))]
X表示输入图像，L表示特征向量，D表示判别器，G表示生成器。
此外，还会计算局部判别器的损失，其计算公式如下：
其中，
定义为：
在本实施例中，在执行将所述第一拼接特征向量和所述无妆容图像输入生成器，得到第一生成图像这一步骤时，通过语义分割网络对第一拼接特征向量、第一有妆容参考图像和第二有妆容参考图像进行语义分割，得到组合掩膜图像。其中，语义分割是指为图像上每个像素分配标签。本实施例BiSeNet对人脸进行语义分割和人脸解析。其具体是通过用两个路径来保留空间信息和感受野大小，分别是空间提取路径(SP)和上下文提取路径(CP),对于SP堆积3个卷积层，得到的是输入图像的1/8的特征图大小，对于CP是以Xception作为主网络的，尾部添加一个全局平均池化保留最大的感受野。BiSeNet还设置了特征融合FFM模块和注意力机制ARM模块来进一步提高精度。注意力机制就是生成一个被激活的特征向量，然后重新给特征图分配权重，来达到集中注意力，把注意力放到感兴趣的区域上。
在本实施例中，在得到组合掩膜图像后，计算组合掩膜图像的妆容损失，其中，妆容损失计算公式如下：
Lmakeup＝λlLlips+λsLshadow+λfLface
其中，Lmakeup表示妆容损失，λl表示嘴部的损失权重，λs表示眼部的损失权重，λf表示脸部的损失权重，Llips表示嘴部的妆容损失，Lshadow表示眼部的妆容损失，Lface表示脸部的妆容损失。每个区域的掩膜定义如下公式：
公式中，
表示
对应的区域掩膜，
表示Iref对应的区域掩膜，item可以分别表示脸部、眼部和嘴部等3个区域，HM表示直方图匹配操作，
表示哈达马积运算符。
在执行所述将所述第一拼接特征向量和所述无妆容图像输入生成器，得到第一生成图像这一步骤时，计算第一拼接特征向量和所述无妆容图像的身份感知损失，其中，身份感知损失计算公式如下：
其中，Lper表示身份感知损失，Cl表示生成器网络的第l层的特征图通道数，Hl表示生成器网络的第l层的特征图高度，Wl表示生成器网络的第l层的特征图宽度，El表示特征的欧式距离。
通过上述单独计算的损失可知，妆容迁移过程的总损失为：
L＝λ1Ladv+λ2Lsty+λ3Lcyc+λ4Lmakeup+λ5Llocal
在本实施例中，λ取1。
在本实施例中，为了实现高保真的色彩迁移，生成高分辨率的人脸图像，本改进算法对数据集采用SRGAN来提高图片的分辨率，SRGAN将生成对抗网络用于图像超分辨，利用感知损失和对抗损失来提升恢复出的图片的真实感。该网络将超分辨图像和原始图像计算差值，并不断进行训练。另外还使用了一个内容损失，即除了注重在像素空间上的相似性，还注重视觉上的相似性。
本实施例利用Laplacian梯度函数对原图像和预处理后的图像进行模板卷积得到高频分量，然后对高频分量进行求和，使用高频分量来对图像清晰度的计算，计算公式如下：
D(f)＝∑y∑x|G(x,y)|
其中，G(x,y)表示高频分量。
对于一个M×N像素的图像，每个像素的亮度为g(x,y)，经过Laplacian算子的滤波模板卷积后每个像素点值为z(x,y)，即通过如下公式计算出z(x,y):
z(x,y)＝g(x-1,y)+g(x+1,y)+g(x,y+1)-4g(x,y)
因此，图像清晰度的评价函数通过如下公式计算：
Laplacian算子对应的卷积模板如下所示：
通过实际计算原图像清晰度为1708.86903，通过计算预处理后的图像清晰度为3223.22398，可以看出经过预处理后，图像具有较高的清晰度。
将本实施例的妆容迁移方法与目前的妆容迁移算法进行定量的比较，其处理过程如下：
采用盲法评估，对LADN、BeautyGAN、本实施例的方法这三种方法进行比较，使用MT数据集中的测试集作为公平比较的图片，从测试集中随机抽取无妆图和有妆图，不进行替换，得到200对源-参考图像对。将这些图像对作为三种方法的输入，收集结果，并邀请10名志愿者作为测试者对生成的图像进行评估。
对每一对图像，将生成结果随机打乱，并要求测试人员根据两个标准对结果进行独立排序，标准如下：
(1)生成人脸逼真程度如何，是否与真实人脸极为相似，难以区分；
(2)妆容迁移准确度如何，妆容是否与参考图一样，图像是否清晰；
然后让测试人员主观地从最好到最差的图像进行排名。
最后得到的等级分布图如图5所示。由图5可hi在，第一名为本实施例的方法，第二名为BeautyGAN算法，第三名为LADN算法。
由此可知，本实施例能够有效实现部分妆容迁移，高分辨率shengc2和精准妆容迁移。从而达到提高眼妆迁移过程的完整度的效果。此外，还能实现卸妆的功能。
本发明实施例提供了一种妆容迁移的控制系统，包括：
获取模块，用于获取无妆容图像、第一有妆容参考图像和第二有妆容参考图像；
获取模块，用于将无妆容图像、第一有妆容参考图像和第二有妆容参考图像输入特征编码网络，得到若干个部位特征向量；
拼接模块，用于对若干个部位特征向量进行拼接，得到第一拼接特征向量和第二拼接特征向量；
第一输入模块，用于将第一拼接特征向量和无妆容图像输入生成器，得到第一生成图像，并通过第一局部判别器判断第一生成图像的真假信息以及第一生成图像是否满足第一拼接特征向量的条件；
第二输入模块，用于将第一生成图像和第二拼接特征向量输入生成器，得到第二生成图像，并通过第二局部判别器判断第二生成图像的真假信息以及第二生成图像是否满足所述第二拼接特征向量的条件；
判断模块，用于当真假信息符合预设要求、第一生成图像满足第一拼接特征向量的条件且第二生成图像满足第二拼接特征向量的条件，确定完成妆容迁移。
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种妆容迁移的控制系统，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行图1的妆容迁移的控制方法。
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于执行图1的妆容迁移的控制方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
Claims (10)
1.一种妆容迁移的控制方法，其特征在于，包括以下步骤：
获取无妆容图像、第一有妆容参考图像和第二有妆容参考图像；
将所述无妆容图像、所述第一有妆容参考图像和所述第二有妆容参考图像输入特征编码网络，得到若干个部位特征向量；
对所述若干个部位特征向量进行拼接，得到第一拼接特征向量和第二拼接特征向量；
将所述第一拼接特征向量和所述无妆容图像输入生成器，得到第一生成图像，并通过第一局部判别器判断所述第一生成图像的真假信息以及所述第一生成图像是否满足所述第一拼接特征向量的条件；
将所述第一生成图像和所述第二拼接特征向量输入生成器，得到第二生成图像，并通过第二局部判别器判断所述第二生成图像的真假信息以及所述第二生成图像是否满足所述第二拼接特征向量的条件；
当所述真假信息符合预设要求、所述第一生成图像满足所述第一拼接特征向量的条件且所述第二生成图像满足所述第二拼接特征向量的条件，确定完成妆容迁移。
2.根据权利要求1所述的一种妆容迁移的控制方法，其特征在于，所述局部判别器包括六个卷积层、谱归一化层和ReLU层，所述第一局部判别器和第二局部判别器的处理过程包括以下步骤：
接收有妆容图像裁剪图、无妆容图像裁剪图和生成图像裁剪图；
对所述无妆容图像裁剪图和所述生成图像裁剪图沿着颜色通道连接，得到消极对图像；
对所述有妆容图像裁剪图和所述生成图像裁剪图沿着颜色通道连接，得到积极对图像；
根据所述消极对图像和所述积极对图像对局部判别器进行对抗性性学习。
3.根据权利要求1所述的一种妆容迁移的控制方法，其特征在于，在执行所述将所述第一拼接特征向量和所述无妆容图像输入生成器，得到第一生成图像这一步骤时，计算所述第一拼接特征向量和所述无妆容图像的身份感知损失，所述身份感知损失计算公式如下：
其中，Lper表示身份感知损失，Cl表示生成器网络的第l层的特征图通道数，Hl表示生成器网络的第l层的特征图高度，Wl表示生成器网络的第l层的特征图宽度，El表示特征的欧式距离。
4.根据权利要求1所述的一种妆容迁移的控制方法，其特征在于，在执行所述将所述第一拼接特征向量和所述无妆容图像输入生成器，得到第一生成图像这一步骤时，通过语义分割网络对所述第一拼接特征向量、所述第一有妆容参考图像和所述第二有妆容参考图像进行语义分割，得到组合掩膜图像。
5.根据权利要求4所述的一种妆容迁移的控制方法，其特征在于，所述方法还包括以下步骤：
计算所述组合掩膜图像的妆容损失，所述妆容损失计算公式如下：
Lmakeup＝λlLlips+λsLshadow+λfLface
其中，Lmakeup表示妆容损失，λl表示嘴部的损失权重，λs表示眼部的损失权重，λf表示脸部的损失权重，Llips表示嘴部的妆容损失，Lshadow表示眼部的妆容损失，Lface表示脸部的妆容损失。
6.根据权利要求1所述的一种妆容迁移的控制方法，其特征在于，在执行所述将所述第一生成图像和所述第二拼接特征向量输入生成器，得到第二生成图像，计算所述第二生成图像和所述无妆容图像的循环一致性损失，所述循环一致性损失通过以下公式计算：
Lcyc＝Ex,L1,L2[||x-G(G(x,L1),L2)||1]
其中，Lcyc表示循环一致性损失，E表示特征编码网络，G表示生成器，L1表示第一拼接特征向量，L2表示第二拼接特征向量，x表示无妆容图像。
7.根据权利要求2所述的一种妆容迁移的控制方法，其特征在于，六个所述卷积层均为3*3卷积层；所述谱归一化层用于将所述卷积层的信息处理成2*2*1的特征向量；所述ReLU层通过sigmoid模块对特征向量进行计算后求均值，输出单标量值。
8.一种妆容迁移的控制系统，其特征在于，包括：
获取模块，用于获取无妆容图像、第一有妆容参考图像和第二有妆容参考图像；
获取模块，用于将所述无妆容图像、所述第一有妆容参考图像和所述第二有妆容参考图像输入特征编码网络，得到若干个部位特征向量；
拼接模块，用于对所述若干个部位特征向量进行拼接，得到第一拼接特征向量和第二拼接特征向量；
第一输入模块，用于将所述第一拼接特征向量和所述无妆容图像输入生成器，得到第一生成图像，并通过第一局部判别器判断所述第一生成图像的真假信息以及所述第一生成图像是否满足所述第一拼接特征向量的条件；
第二输入模块，用于将所述第一生成图像和所述第二拼接特征向量输入生成器，得到第二生成图像，并通过第二局部判别器判断所述第二生成图像的真假信息以及所述第二生成图像是否满足所述第二拼接特征向量的条件；
判断模块，用于当所述真假信息符合预设要求、所述第一生成图像满足所述第一拼接特征向量的条件且所述第二生成图像满足所述第二拼接特征向量的条件，确定完成妆容迁移。
9.一种妆容迁移的控制系统，其特征在于，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行如权利要求1-7任一项所述的妆容迁移的控制方法。
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述的妆容迁移的控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110644864.7A CN113538214B (zh) | 2021-06-09 | 2021-06-09 | 一种妆容迁移的控制方法、系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110644864.7A CN113538214B (zh) | 2021-06-09 | 2021-06-09 | 一种妆容迁移的控制方法、系统和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113538214A true CN113538214A (zh) | 2021-10-22 |
| CN113538214B CN113538214B (zh) | 2023-12-01 |
Family
ID=78095753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110644864.7A Active CN113538214B (zh) | 2021-06-09 | 2021-06-09 | 一种妆容迁移的控制方法、系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538214B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114742693A (zh) * | 2022-03-15 | 2022-07-12 | 西北大学 | 基于自适应实例归一化的妆容迁移方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150067471A1 (en) * | 2013-09-05 | 2015-03-05 | Anurag Bhardwaj | Correlating image annotations with foreground features |
-
2021
- 2021-06-09 CN CN202110644864.7A patent/CN113538214B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150067471A1 (en) * | 2013-09-05 | 2015-03-05 | Anurag Bhardwaj | Correlating image annotations with foreground features |
Non-Patent Citations (3)
| Title |
|---|
| QIAO GU等: "LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup", 2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), pages 10480 - 10489 * |
| TINGTING LI 等: "BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network", MM \'18: PROCEEDINGS OF THE 26TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA, pages 645 - 653 * |
| 帅珍彬等: "深浅交错式特征融合的人体图像分割方法", 光学技术, vol. 46, no. 05, pages 613 - 618 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114742693A (zh) * | 2022-03-15 | 2022-07-12 | 西北大学 | 基于自适应实例归一化的妆容迁移方法 |
| CN114742693B (zh) * | 2022-03-15 | 2024-02-27 | 西北大学 | 基于自适应实例归一化的妆容迁移方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113538214B (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113569791B (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
| CN109410239B (zh) | 一种基于条件生成对抗网络的文本图像超分辨率重建方法 | |
| CN110807757B (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
| CN111696028A (zh) | 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质 | |
| CN111192201B (zh) | 一种生成人脸图像及其模型训练的方法、装置及电子设备 | |
| CN111275784B (zh) | 生成图像的方法和装置 | |
| Singh et al. | Neural style transfer: A critical review | |
| CN112419174B (zh) | 基于门循环单元的图像文字去除方法、系统及装置 | |
| CN113066034A (zh) | 人脸图像的修复方法与装置、修复模型、介质和设备 | |
| CN110874575A (zh) | 一种脸部图像处理方法及相关设备 | |
| CN112597824A (zh) | 行为识别方法、装置、电子设备和存储介质 | |
| CN112668638A (zh) | 一种图像美学质量评估和语义识别联合分类方法及系统 | |
| CN111461211A (zh) | 一种用于轻量级目标检测的特征提取方法及相应检测方法 | |
| CN109241930B (zh) | 用于处理眉部图像的方法和装置 | |
| CN114049290A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113538214A (zh) | 一种妆容迁移的控制方法、系统和存储介质 | |
| CN110414593B (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
| CN113538254A (zh) | 图像恢复方法、装置、电子设备及计算机可读存储介质 | |
| CN116798041A (zh) | 图像识别方法、装置和电子设备 | |
| CN108665455B (zh) | 图像显著性预测结果的评价方法和装置 | |
| CN108460768B (zh) | 层次化时域切分的视频关注对象分割方法和装置 | |
| Andersson et al. | Generative Adversarial Networks for photo to Hayao Miyazaki style cartoons | |
| CN110956599A (zh) | 图片处理方法和装置、存储介质及电子装置 | |
| Li et al. | A review of image colourisation | |
| CN114360015A (zh) | 活体检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |