CN115936796A - 一种虚拟换妆方法、系统、设备和存储介质 - Google Patents

Abstract

本发明公开了一种虚拟换妆方法，包括：1)用户上传待换妆图片；2)用户选定或者上传目标妆容图片；3)拆解和提取所述待换妆图片和目标妆容图片的模型特征；4)所述模型特征包括所述待换妆图片的面部结构信息和所述目标妆容图片的面部妆容信息；5)将处理后的妆容图片和用户图面部结构信息提取的特征作为条件输入GAN神经网络；6)GAN神经网络根据所述条件输出合成后的换妆图片。本发明采用面部结构信息和妆容信息分别作为GAN神经网络的输入条件，获得了更真实的换妆效果。同时，采用了改进的神经网络的训练方法，使用一张单独的图片拆取两种所需要的条件进行训练的过程，使得之前获取神经网络训练所需大规模一一配对数据的不可能成为可能，并且相比较传统的贴素材的方法，图像生成时的真实性和融合度都获得了大幅提升。

Description

一种虚拟换妆方法、系统、设备和存储介质

技术领域

本发明属于虚拟换妆领域，具体涉及一种利用神经网络进行的虚拟换妆方法、系统、设备和存储介质，尤其是一种经过单张图片拆解处理得到模型特征进行训练的GAN神经网络模型生成的虚拟换妆图片的方法。

背景技术

随着互联网技术的发展，网上购物、网上直播互动、在线互动娱乐和网上交友互动等新模式越来越普及。相比于实体店购物或者线下店铺体验，在线购物具有可选择余地大、商品种类多、省时省力等优势，在线互动娱乐或交友展示则有方便快捷、受众多等优势。但是，在网上购买商品，也存在一些不易解决的问题，最主要是无法直观地查看想要购买商品的真实效果。在所有的商品种类中，尤其是一些美妆类产品，比如眼影、眼线、腮红、口红、粉底等，这个问题最为突出。相比于实体店购物中可以实时地换妆查看商品效果，在线美妆购物无法提供针对消费者本身的效果图，只能提供模特试用的图片，有的甚至根本没有试用图片，消费者无法实时直观地获取化妆品和自身脸型和皮肤的匹配程度，造成了较大的困扰。

此外，在一些互动娱乐场合，用户也有体验不一样妆容带来效果的需求。因为对普通用户来讲，自己在网络上看到心仪的妆容，就会想这些妆容能够在自己的脸上真实再现出来，以便观察这些妆容是否适合自己。现有技术针对此类需求已经研发出了一些换妆技术。虚拟换妆，通常是将目标图片的妆容迁移原始图片上的过程。在给定待换妆图片和目标妆容图片后，算法程序需要将目标妆容图片上的妆容迁移到待换妆图片上。通过这种方法可以让用户不必耗费时间和金钱实际购买化妆品或者实际化妆就能看到自己上妆后的效果，其可以广泛应用于互联网行业中。

现有技术一公开了一种鲁棒的基于参考图片的妆容迁移方法，包括如下具体步骤：步骤一：定义换妆问题为：其中，x是待换妆图片，y为参考图片，映射G以x，y为输入，输出换妆后的图片与x为同一个人，同时具有参考图片y的妆容；步骤二：提取参考图片y的妆容矩阵，利用妆容提取网络参考图片进行提取得到第一妆容矩阵γ和第二妆容矩阵β；步骤三：计算待换妆图片中每个像素与参考图片中每个像素的相似性；步骤四：对步骤二中提取的所述妆容矩阵利用像素的相似性进行变形处理，得到自适应妆容矩阵；步骤五：将待换妆图片使用自适应妆容矩阵将视觉特征的特征图进行换妆：步骤六：将视觉特征图进行上采样得到换妆图片。但是，这种换妆方式虽然利用简单的处理就能完成相应的换妆操作，但主要是在关键点定位后靠渲染素材贴合的方式完成，主要操作为效果融合，比较依赖关键点定位，依赖素材运营，不能实现随意换妆并且对于图片上已有的妆容没有去除效果，在某些用户本身就是浓妆的情况下叠加效果不能满足用户的高要求。

在目前的虚拟换妆领域，使用目标妆容遮盖用户原有妆容由于计算量小、实现简单等特点，基本占据了主流。但是，随着神经网络模型技术在近些年的飞速发展，利用神经网络模型完成虚拟换妆的方法，也逐渐登上了换妆领域的舞台。因此，神经网络模型最终输出图片的质量，也就是原始图片和目标图片的吻合度成为了最关键的因素，尤其对深度学习的神经网络而言，如何对其进行训练并达到最优的训练效果和训练效能，成为亟需要解决的问题。

发明内容

为了配合互联网行业的发展趋势，在虚拟换妆领域满足用户浏览到喜欢的妆容时可以随意换妆看效果以及千人千面的要求，需要我们提供一种可以做到简单输入，计算量不超过终端设备承受力，效果接近线下真实化妆效果的虚拟换妆方法。为了解决上述问题，本发明提供了一种克服上述问题的换妆方法，同时也包括了一种神经网络训练方法。

本发明提供一种虚拟换妆方法，所述方法包括：1)用户上传待换妆图片；2)用户选定或者上传目标妆容图片；3)拆解和提取待换妆图片和目标妆容图片的模型特征；4)模型特征包括待换妆图片的面部结构信息和目标妆容图片的面部妆容信息；5)将处理后的妆容图片和用户图面部结构信息提取的特征作为条件输入GAN神经网络；6)GAN神经网络根据条件输出合成后的换妆图片。

进一步的，步骤2)中，用户可以选定系统提供的目标妆容图片或者上传目标妆容的局部图片。

进一步的，步骤3)中，终端将图片信息上传到服务端完成模型特征的拆解和提取，或者直接在终端完成模型特征的拆解和提取然后将特征信息上传到服务端。

进一步的，拆解和提取待换妆图片模型特征的步骤还包括，1)根据用户二维图像处理获得人体头部轮廓图像；2)将二维人体头部轮廓图像输入经过深度学习的第一神经网络进行关键点的回归；3)获得用户头部的关键点信息；4)获取头部各部分语义分割图；5)对图片进行颜色扰动，采用lab、亮度、对比度、光影扰动的方式去除面部妆容信息；6)扰动处理后的图片经过编码器提取特征，获取可表征的用户图面部结构信息。

进一步的，拆解和提取目标妆容图片模型特征的步骤还包括，1)将脸部立体图片转化为平面图片；2)按照一定的预设规则对图片进行WARP拉伸变形处理；3)根据预设的关键点信息将图片固定展开成一个指定部位在固定位置的图；4)这个WARP到固定位置的图片携带有目标妆容图片的面部妆容信息，可以直接输入GAN神经网络。

进一步的，该步骤还包括，1)预设关键点设置为5个点，指定部位包括眼角、鼻尖和嘴角；2)除预设关键点外，对其他点采用增加颜色、加减RGB值、改变对比度、亮度和光影的方式进行扰动；3)保留妆容信息包括5个关键点及其周围一定范围内的口红、眼影、色号信息。

进一步的，在模型特征作为条件输入GAN神经网络模型之前，还包括训练GAN神经网络的过程，训练过程采用单张带妆容的图片通过自拆解的方法完成。

进一步的，训练过程包括：1)对图片面部妆容信息进行扰动去除，对图片进行面部结构信息的提取；2)对图片面部结构信息进行扰动去除，对图片进行面部妆容信息的提取；3)将提取到的图片面部结构信息输入编码器中提取特征；4)将获得的特征与面部妆容信息作为输入条件输入GAN神经网络模型；5)使用图片本身作为模型的真值进行训练。

进一步的，在对原始图片面部妆容信息进行去除时，在随机扰动之外还进行如下扰动操作，将提取到的其他人脸图片中指定部位的颜色，通过直方图匹配的方法覆盖到原始图片的指定部位上，以使得原始图片中指定位置的妆容信息完全被剥离。

此外，本发明还提供了一种系统，用于虚拟换妆方法的实现，包括：1)图片获取模块，用于获取用户上传的待换妆图片，用户选定或者上传目标妆容图片；2)拆解和提取模块，用于获取所述待换妆图片和目标妆容图片的模型特征；所述模型特征包括所述待换妆图片的面部结构信息和所述目标妆容图片的面部妆容信息；3)图片合成输出模块，包括GAN神经网络，用于将处理后的妆容图片和用户图面部结构信息提取的特征作为条件输入GAN神经网络并输出合成后的换妆图片。

一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现前面任一所述的方法步骤。

一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现前面任一所述的方法步骤。

本发明的有益效果是：

1、真实度高。本发明利用GAN网络直接生成合成图片，区别于已有的GAN网络，我们创造性地提出了用户面部结构信息和目标面部妆容信息两个完全独立不干扰的模型输入条件，在这种模式下，条件生成对抗网络的输入条件简单化为两个互不相干的条件，一是用户自身的面部结构信息，二是期望换妆的目标面部妆容信息。相当于在比素颜还彻底的面部信息基础上进行妆容信息的重构，相比于遮盖式虚拟换妆方式，虽然处理过程增加了一些步骤，但是，避免了在关键点定位后仅靠渲染素材贴合方式完成融合操作，克服了原始图片本身就是浓妆的情况下叠加效果不能满足用户要求的缺陷。同时，我们的方案对用户图的要求更低，换妆效果更好，可以任选目标妆容图，不依赖预制运营素材，实现了千人千面。

2、训练素材获取简单，训练效果好。按照一般的模型设计思路，训练完成虚拟换妆任务的GAN，应该提供用户素颜照片、目标妆容照片和用户参照目标妆容的上妆照片，以上妆照片作为模型真值进行训练。但实践中，由于很难收集成套的照片素材，导致能够用于训练的妆容种类更少，很难满足互联网娱乐互动的要求。因此，我们创造性地利用特定信息扰动方式，将照片中的脸部结构信息和面部妆容信息分别拆解和提取出来，用这两个信息代替用户素颜图片和目标妆容图片作为输入条件，把该妆后图片本身作为模型输出真值进行训练。这种情况下，可以把各种渠道采集到的任意一张妆后照片作为训练的素材，大大降低了对训练素材的要求。在保证了海量数据训练的前提下，GAN神经网络可以得到没有违和感的合成图片。本发明提供的虚拟换妆方法，采用了改进的神经网络训练方法，仅使用一张单独的图片就可以完成比较精确的训练，使得深度学习神经网络的参数精度大大提高，收敛速度明显加快，可以大大提高合成图像生成时的一致性和还原度。

3、辅助使用深度学习神经网络。本发明充分利用了深度学习网络的优势，能够在各种复杂的场景中，高精度还原面部结构信息和妆容信息。针对不同的目的分别使用不同的神经网络，利用不同输入条件和训练方式的神经网络模型，实现了在复杂的背景下的精准轮廓分离，人体各部分的语义分割，关键点和关节点的确定，排除了头部姿势、发型等的影响，做到最大程度上逼近头部或者面部的真实面貌。现有技术中也会使用神经网络模型，但是由于输入条件、输入参数、训练方式的不同，导致神经网络模型发挥的功能和作用有较大差异。

4、用户操作简单。本发明提供了通过GAN神经网络来生成原始面部信息与目标妆容信息合成图片的方法，仅需两张照片就能迅速实现虚拟换妆，非常好地适应了互联网时代的特点和趋势，一是简单，二是快捷。用户无需任何准备，上传一张照片选定一种妆容就相当于完成了所有工作。如果将本发明应用于娱乐小程序或者网络购物等场景，将会极大的增强用户的体验和粘性。不需要测绘人体和面部的真实形态，为各个行业，比如互动娱乐、网购等提供了广阔的应用场景。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例的处理流程图；

图2为一个实施例的处理流程图；

图3为一个实施例的神经网络模型条件A结构信息示意图；

图4为一个实施例的神经网络模型条件B妆容信息示意图；

图5为一个实施例的神经网络模型训练方法示意图；

图6为本发明的系统示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。

另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

如图1-2所示，本发明提供一种虚拟换妆方法，所述方法包括：1)用户上传待换妆图片；2)用户选定或者上传目标妆容图片；3)拆解和提取所述待换妆图片和目标妆容图片的模型特征；4)所述模型特征包括所述待换妆图片的面部结构信息和所述目标妆容图片的面部妆容信息；5)将处理后的妆容图片和用户图面部结构信息提取的特征作为条件输入GAN神经网络；6)GAN神经网络根据所述条件输出合成后的换妆图片。

在这里，用户在上传图片后，实际上看不到后面发生的步骤，直到合成后的换妆图片回传给用户的终端。在获取了待换妆图片和目标妆容图片后，需要分别采用子神经网络对这两张图片进行处理，用户图片仅保留脸部结构信息作为输入条件A，妆容图片仅保留妆容信息作为输入条件B，将条件A和B输入GAN网络中。参照附图3和4，条件A和B可以理解为失去了妆容信息(尤其是色彩信息)的图片和失去了结构信息的图片，相当于在用户待换妆图片里面还可以看出来人脸的轮廓，也就是能基本确定这个人是谁，但是完全体现不出来原来的色彩信息；在目标妆容图片里面还可以看出来脸部的妆容信息，但是完全分辨不出来用户的脸部轮廓特征，也就是辨别不出这张图片的主人是谁。经过训练的主GAN网络，在得到这两个输入条件信息后，会自主将两个分别独立的条件A(结构信息)和条件B(妆容信息)进行叠加融合，生成一张换妆后的合成图片。由于是在完全没有妆容信息的面部结构图上，重新叠加新的妆容信息，完全没有原有妆容的干扰，换妆效果大幅提升，更换的妆容更自然更真实。

进一步的，步骤2)中，用户可以选定系统提供的目标妆容图片或者上传目标妆容的局部图片。这里体现出用户的选择过程，如果对系统提供的备选妆容照片满意，则可以直接选用系统提供图片作为目标妆容图片，省却了用户自己上传妆容图片的麻烦，并且由于系统提供的模板照片都是经过后期精修处理的图片，在融合性和真实性上都有较好的表现。

进一步的，步骤3)中，终端将图片信息上传到服务端完成模型特征的拆解和提取，或者直接在终端完成模型特征的拆解和提取然后将特征信息上传到服务端。在隐私保护越来越受到用户和监管层重视的情况下，如何保护收集到的客户信息是一个必须妥善解决的问题。除了在服务器端执行严格的数据合规措施外，还可以利用用户终端的算力和存储空间，完成部分模型计算和原始数据存储功能，这种运行模式下，服务器端将不用再对用户上传的图片进行拆解处理，并且由于收到的图像信息都是按照规定格式和大小进行处理的，节省了部分网络资源和服务器带宽资源；同时，用户的原始数据直接存储于本地，上传的仅有经过扰动处理的图像信息，减少了隐私泄露的风险。

进一步的，所述拆解和提取所述待换妆图片模型特征的步骤还包括，1)根据用户二维图像处理获得人体头部轮廓图像；2)将二维人体头部轮廓图像输入经过深度学习的第一神经网络进行关键点的回归；3)获得用户头部的关键点信息；4)获取头部各部分语义分割图；5)对图片进行颜色扰动，采用lab、亮度、对比度、光影扰动的方式去除面部妆容信息；6)扰动处理后的图片经过编码器提取特征，获取可表征的用户图面部结构信息。

在这一部分，主要是对获取的用户原始图片进行处理，获得生成换妆图片所需要的结构参数信息，如图2所示。以前，这些关键点的选取通常是通过人工进行，但是这种方式效率很低，不适应互联网时代快节奏的要求，因此，在神经网络大行其道的今天，利用经过深度学习的神经网络代替人工进行关键点的选取，成为了潮流。但是，如何高效地利用神经网络则是一个需要进一步研究的问题。

二维人脸轮廓图像的获取利用目标检测算法，所述目标检测算法是基于卷积神经网络的目标区域快速生成网络。在将二维人脸图像输入第一神经网络模型之前，还包括训练神经网络的过程，训练样本包括标注原始关键点位置的标准图像，所述原始关键点位置由人工在二维图像上进行高准确度地标注。在这里，首先获取目标图像，并利用目标检测算法对目标图像进行人体结构信息检测。人体检测并不是使用测量仪器对真实人体进行检测，本发明中实际是指对于任意一幅给定的图像，通常是包含足够信息的二维照片，比如包括人脸、头部等信息的图片。然后，采用一定的策略对给定的图像进行搜索，以确定给定的图像中是否包含人脸，如果给定的图像中包含人脸，则给出人脸的器官位置、大小等结构参数。在本实施例中，在获取目标图像中的脸部结构关键点之前，需要对目标图像进行人脸检测，以获取目标图像中标注人脸位置的框，因为我们输入的图片可以是任何图片，所以不可避免的存在一些非人体图像的背景，比如桌子椅子、大树汽车楼房等，要通过一些成熟的算法把这些无用的背景去除。

同时，我们还要进行关键点检测和边缘检测，使用神经网络生成人脸的关键点图，可选地，目标检测算法可以为基于卷积神经网络的目标区域快速生成网络。该第一神经网络需要进行大量的数据训练，由人工对收集来的照片进行关键点标注，然后输入神经网络进行训练，经过深度学习的神经网络，基本可以做到输入照片后就能立即获得和人工标注关键点一样准确率和效果的关键点，同时效率是人工标注的数十倍甚至数百倍。本发明中，获得照片中人脸关键点位置，只是完成了第一步，获得了1D的点信息，还要根据这些1D的点信息生成2D的面信息，比如通过关键点获取眉毛的位置，眼角的位置、眼部的轮廓、嘴唇的轮廓等，这些工作都可以通过神经网络模型以及现有技术中的成熟算法来完成。

进一步的，所述拆解和提取目标妆容图片模型特征的步骤还包括，1)将脸部立体图片转化为平面图片；2)按照一定的预设规则对图片进行WARP拉伸变形处理；3)根据预设的关键点信息将图片固定展开成一个指定部位在固定位置的图；4)这个WARP到固定位置的图片携带有目标妆容图片的面部妆容信息，可以直接输入GAN神经网络。

这一步骤主要完成去除结构信息的工作，但是需要完全保留妆容信息。包括采用传统的WARP图像仿射变换的方式，将本来立体的脸型拉伸变形，最终效果参见附图3，已经看不出原来人脸的形状。在拉伸变形中，根据前一步骤获取的关键点信息，预设几个关键点作为固定点，这样可以准确地匹配不同原始图片中相同部位的位置，比如不同的原始图片，处理后眼角的位置都会固定在某一个坐标点位上，这样，眼角的妆容信息就可以准确地迁移到目标图片的眼角位置。

进一步的，该步骤还包括，1)所述预设关键点设置为5个点，指定部位包括眼角、鼻尖和嘴角；2)除预设关键点外，对其他点采用增加颜色、加减RGB值、改变对比度、亮度和光影的方式进行扰动；3)保留妆容信息包括5个关键点及其周围一定范围内的口红、眼影、色号信息。

该步骤针对的是GAN模型输出中可能遇到的特殊情况。因为本发明中的合成输出任务，可以采用常见的GAN生成对抗网络模型来完成，但是经过一定数量的样本处理后，我们发现还是会出现不同部位的或者不同区域之间妆容信息(颜色、亮度等)的互相干扰，导致出现合成后颜色不均匀或者不协调的问题。我们初步判断是结构(ID)信息扰动过程中，对不同区域之间妆容信息产生了微妙的影响，导致妆容信息过渡不自然。为此，我们尝试将妆容信息固定在若干指定的关键点及其附近区域，给这个区域设置面积或者像素点阈值，进一步对其他非重点区域的妆容信息进行一定扰动，整个扰动过程和方法与拆解条件A中的类似，当然，根据需要也会适当增加一些方式。经过此种处理，妆容信息在迁移过程中色彩准确度更高，过渡也更加自然。

进一步的，在模型特征作为条件输入GAN神经网络模型之前，还包括训练所述GAN神经网络的过程，参考图5，所述训练过程采用单张带妆容的图片通过自拆解的方法完成。所述训练过程包括：1)对图片面部妆容信息进行扰动去除，对图片进行面部结构信息的提取；2)对图片面部结构信息进行扰动去除，对图片进行面部妆容信息的提取；3)将提取到的图片面部结构信息输入编码器中提取特征；4)将获得的特征与面部妆容信息作为输入条件输入GAN神经网络模型；5)使用所述图片本身作为模型的真值进行训练。

本发明的训练方法，核心在于整个训练过程只需要采用单张带妆容的图片就可以完成。众所周知，神经网络的各种算法繁多，各种参数也非常多，各种损失函数(LOSS)会因为项目需求的不同而多种多样，只有通过不断的训练、迭代，才能更好地趋近于产出最正确的“答案”。按照最标准的设计思路，完成虚拟换妆任务GAN的训练应该提供用户素颜照片、目标妆容照片和用户参照目标妆容的上妆照片，以用户上妆后真实照片对模型进行训练会取得比较好的效果，并且样本数量越多模型输出越准确。但在实际测试中，我们发现使用这种训练策略对于训练素材的要求太高，寻找素颜、妆容和妆后照片对于一般公司来讲非常困难，这就导致训练素材的数量较少，并且可换妆容数量少，各种模型参数和LOSS函数不好调整，结果的真实度和融合度并不是很高，尤其是一些复杂的变换会出现明显的不和谐状态。

为了克服这种缺陷，我们的做法是，把采集到的任意一张妆后照片作为训练的素材，将照片中的脸部结构信息和面部妆容信息分别拆解和提取出来，用这两个信息代替用户素颜图片和目标妆容图片作为输入条件，把该妆后图片作为模型输出真值对模型进行训练。由于我们是用最正确的答案去训练神经网络，并且训练的素材从难以获得变成容易获得，大大减小了模型对训练素材的依赖。在海量数据训练下，可以大幅提高参数的准确性和LOSS的合理性，GAN神经网络模型收敛速度非常理想，并且训练完成后，再使用模型进行合成图片直出，可以得到与真实度和融合性非常好的合成图片，图片中人脸的结构信息与输入原图一致，妆容信息的叠加由于没有原有妆容的干扰，更加自然和真实。本发明采用了改进的自拆解方法进行神经网络的训练，仅使用一张单独的图片就可以完成比较精确的训练，大大的降低了训练集的收集难度，使得我们用较低的成本获得大量的数据，也提升了网络的泛化能力，使得GAN神经网络收敛速度明显加快，可以大大提高合成图像生成时的精确度和真实性。

我们在GAN模型训练中采用的方法，与GAN模型的实际计算过程是一致的，相比于实际换妆过程采用两张图片作为A和B条件的采集来源，本发明的训练方法只是为了方便和准确，仅采用一张原图作为训练素材去拆解出条件A和B。巧妙地利用了素材图片实际上已经包含条件A和条件B的信息的情况，对其进行了拆解和提取。同时，模型训练方法和模型真实处理过程采用的拆解方法是一致的，都是在拆解和提取条件A时，对妆容信息进行去除；在拆解和提取条件B时，对结构信息进行去除。采用的具体处理手段也是一致的，包括各种扰动方法，没有增加系统执行这些操作的难度，同一套操作既可以训练模型，也可以在主干流程中完成合成图片的输出。很好地保证了训练的针对性和延续性，模型的迭代也会越来越趋近于用户的需求。

进一步的，在对原始图片面部妆容信息进行去除时，在随机扰动之外还进行如下扰动操作，将提取到的其他人脸图片中指定部位的颜色，通过直方图匹配的方法覆盖到原始图片的指定部位上，以使得原始图片中指定位置的妆容信息完全被剥离。在模型的训练中，各种条件都会对最终训练结果产生或大或小的影响，我们发现，在条件A的拆解过程中，如果只是进行各个参数的随机扰动，很多时候妆容信息的剥离效果不完整，不能完全去除，比如嘴唇颜色和眼影颜色等，进一步还可能导致合成覆盖后的妆容不自然。我们希望完全隐去原始图片中的嘴唇颜色等，尤其是在妆容颜色较深和面积较大的情况下。为此，我们设计了一种简单但是效果明显的办法，就是将原始图片的指定部位妆容，完全用我们预制的图片的指定部位妆容来替换，因为从其他图片复制过来的妆容图像与本身图片的妆容状况反差很大，在扰动中很容易形成完全去除的效果，会对指定部位或者指定范围内的扰动效果有极大的提升，可以让最后形成的图片更加自然，受到原图片干扰更小。

我们把原始上妆图片作为真值结果重新输入神经网络对其进行训练，以便神经网络能够知道输入的条件和输出的模型最准确的匹配结果是什么。神经网络的训练方法有很多种，但是基本的流程和思路是差不多的，简单讲就是让神经网络知道什么是对的什么是错的。其中一种常用深度学习神经网络训练方法通常包括：(1)数据预处理；(2)将数据输入神经网络(每个神经元先输入值加权累加再输入激活函数作为该神经元的输出值)正向传播，得到得分或者结果；(3)将“得分”或者“结果”输入误差函数loss function(正则化惩罚，防止过度拟合)，与期待值比较得到误差，多个则为和，通过误差判断识别程度(损失值越小越好)；(4)通过反向传播(反向求导，误差函数和神经网络中每个激活函数都要求，最终目的是使误差最小)来确定梯度向量；(5)最后通过梯度向量来调整每一个权值，向“得分”或者“结果”使误差趋于0或收敛的趋势调节；(6)重复上述过程直到设定次数或损误差失的平均值不再下降(最低点)；(7)训练完成。

可以看出，大部分神经网络训练的过程，本来就是基于大量的数据的，最开始训练时，神经网络模型对于很多场景效果都不好，所以需要大量标注各种badcase，然后我们把标注完的badcase都加入到训练集里，让神经网络知道这些badcase的真实值应该是什么样，等网络学会了以后再碰到类似的图像，他就能准确的对这种场景进行预测了。但是，这种训练实际上效率并不是非常高，所以训练的过程其实是一个反复迭代的过程，如果能用几乎和标准答案一致的结果来训练模型什么是对的和好的，则越往后出现的badcase越少，并且收敛速度提升很快，模型表现也越好。

此外，结合图1至图5描述的根据本发明实施例的简历筛选是方法可以由相应的电子设备来实现。图6是示出根据本发明实施例的硬件结构300示意图。

本发明还公开了一种系统，用于虚拟换妆方法的实现，包括：1)图片获取模块，用于获取用户上传的待换妆图片，用户选定或者上传目标妆容图片；2)拆解和提取模块，用于获取所述待换妆图片和目标妆容图片的模型特征；所述模型特征包括所述待换妆图片的面部结构信息和所述目标妆容图片的面部妆容信息；3)图片合成输出模块，包括GAN神经网络，用于将处理后的妆容图片和用户图面部结构信息提取的特征作为条件输入GAN神经网络并输出合成后的换妆图片。

以及，一种设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器完成前面任一项所述的简历筛选方法。

以及，一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时完成如前面任一项所述的简历筛选方法。

本实施例中的实现本发明的设备300包括：处理器301、存储器302、通信接口303和总线310，其中，处理器301、存储器302、通信接口303通过总线310连接并完成相互间的通信。

具体地，上述处理器301可以包括中央处理器(CPU)，或者特定集成电路(ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

也就是说，设备300可以被实现为包括：处理器301、存储器302、通信接口303和总线310。处理器301、存储器302和通信接口303通过总线310连接并完成相互间的通信。存储器302用于存储程序代码；处理器301通过读取存储器302中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行本发明任一实施例中的方法，从而实现结合附图描述的方法和装置。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (12)

1.一种虚拟换妆方法，所述方法包括：

1)用户上传待换妆图片；

2)用户选定或者上传目标妆容图片；

3)拆解和提取所述待换妆图片和目标妆容图片的模型特征；

4)所述模型特征包括所述待换妆图片的面部结构信息和所述目标妆容图片的面部妆容信息；

5)将处理后的妆容图片和用户图面部结构信息提取的特征作为条件输入GAN神经网络；

6)GAN神经网络根据所述条件输出合成后的换妆图片。

2.根据权利要求1所述的方法，其特征在于，步骤2)中，用户可以选定系统提供的目标妆容图片或者上传目标妆容的局部图片。

3.根据权利要求1所述的方法，其特征在于，步骤3)中，终端将图片信息上传到服务端完成模型特征的拆解和提取，或者直接在终端完成模型特征的拆解和提取然后将特征信息上传到服务端。

4.根据权利要求1所述的方法，其特征在于，所述拆解和提取所述待换妆图片模型特征的步骤还包括，1)根据用户二维图像处理获得人体头部轮廓图像；2)将二维人体头部轮廓图像输入经过深度学习的第一神经网络进行关键点的回归；3)获得用户头部的关键点信息；4)获取头部各部分语义分割图；5)对图片进行颜色扰动，采用lab、亮度、对比度、光影扰动的方式去除面部妆容信息；6)扰动处理后的图片经过编码器提取特征，获取可表征的用户图面部结构信息。

5.根据权利要求1所述的方法，其特征在于，所述拆解和提取目标妆容图片模型特征的步骤还包括，1)将脸部立体图片转化为平面图片；2)按照一定的预设规则对图片进行WARP拉伸变形处理；3)根据预设的关键点信息将图片固定展开成一个指定部位在固定位置的图；4)这个WARP到固定位置的图片携带有目标妆容图片的面部妆容信息，可以直接输入GAN神经网络。

6.根据权利要求5所述的方法，其特征在于，该步骤还包括，1)所述预设关键点设置为5个点，指定部位包括眼角、鼻尖和嘴角；2)除预设关键点外，对其他点采用增加颜色、加减RGB值、改变对比度、亮度和光影的方式进行扰动；3)保留妆容信息包括5个关键点及其周围一定范围内的口红、眼影、色号信息。

7.根据权利要求1所述的方法，其特征在于，在模型特征作为条件输入GAN神经网络模型之前，还包括训练所述GAN神经网络的过程，所述训练过程采用单张带妆容的图片通过自拆解的方法完成。

8.根据权利要求7所述的方法，其特征在于，所述训练过程包括：1)对图片面部妆容信息进行扰动去除，对图片进行面部结构信息的提取；2)对图片面部结构信息进行扰动去除，对图片进行面部妆容信息的提取；3)将提取到的图片面部结构信息输入编码器中提取特征；4)将获得的特征与面部妆容信息作为输入条件输入GAN神经网络模型；5)使用所述图片本身作为模型的真值进行训练。

9.根据权利要求8所述的方法，其特征在于，在对原始图片面部妆容信息进行去除时，在随机扰动之外还进行如下扰动操作，将提取到的其他人脸图片中指定部位的颜色，通过直方图匹配的方法覆盖到原始图片的指定部位上，以使得原始图片中指定位置的妆容信息完全被剥离。

10.一种系统，用于虚拟换妆方法的实现，包括：1)图片获取模块，用于获取用户上传的待换妆图片，用户选定或者上传目标妆容图片；2)拆解和提取模块，用于获取所述待换妆图片和目标妆容图片的模型特征；所述模型特征包括所述待换妆图片的面部结构信息和所述目标妆容图片的面部妆容信息；3)图片合成输出模块，包括GAN神经网络，用于将处理后的妆容图片和用户图面部结构信息提取的特征作为条件输入GAN神经网络并输出合成后的换妆图片。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法步骤。

12.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法步骤。

Images