CN108257084A - 一种基于移动端的轻量级人脸自动化妆方法 - Google Patents

Abstract

本发明提供一种基于移动端的轻量级人脸自动化妆方法，包括：预建立离线的样本库；获取包含人脸的源图像；将交互模式分为两种交互模式，第一种交互模式：以源图像为背景图，实现模板图像到源图像的第一种交互模式；第二种交互模式：以模板图像为背景图，实现源图像到模板图像的第二种交互模式；第一种交互模式通过妆容融合实现。第二种交互模式通过妆容融合和人脸替换实现。本发明提供的一种基于移动端的轻量级人脸自动化妆方法具有以下优点：(1)自动上妆算法简单且效果自然；(2)操作简单，功能齐全；尤其通过简单的控制带参泊松融合的参数就可以实现妆容浓淡程度的调整。

Description

一种基于移动端的轻量级人脸自动化妆方法

技术领域

本发明属于人脸图像处理技术领域，具体涉及一种基于移动端的轻量级人脸自动化妆方法。

背景技术

近两年随着人工智能的崛起，人们的生活方式也在悄然变化，基于人工智能的图像算法给人们带来了很多生活上的便利，例如人脸识别、身份验证、指纹识别等。人脸图像作为一种携带大量信息的载体，通过对人脸的特征分析，可以获得年纪、表情、种族等特征。同时，基于人工智能的图像算法也在丰富着人们的娱乐生活，为了让照片看起来更美观、更好玩，近年来诞生了很多图像处理的软件，其中以人脸处理最多，例如人脸化妆、人脸替换、人脸融合等，虚拟化妆的方法开始进入人们的视野，成为人们生活中有趣的信息分享途径。

人脸的妆容主要包括眼妆(眼线、眼影等)、唇色、眉形和皮肤遮瑕等。目前的虚拟化妆技术主要是对皮肤一键美化，在眼部和嘴部贴上相应的妆容，外加一些装饰。操作方法一般是人工参与调整一些美容等级，有些是一键式化妆，但是多数方法化妆后的结果过度美颜，造成脸部信息虚化严重，细节丢失，达不到自然上妆的效果。

申请号为：201510204631.X，名称为一种基于仿射变换的人脸贴图方法和系统的发明专利，公开了一种基于仿射变换的人脸贴图方法和系统，其通过对标准人脸图进行特征点定位和特征点提取，并利用拉格朗日插值法对提取的标准人脸图的特征点进行曲线拟合，得到标准纹理坐标，然后对待处理人脸图进行特征点定位，并根据所述待处理人脸图的实际特征点，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标，最后利用所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位置，得到效果人脸图；从而能够自适应各种形状的人脸部位，使得处理后的效果人脸图更自然，解决了自动装饰的鲁棒性问题。

然而，上述专利申请具有以下问题：(1)人脸采用贴图方式进行化妆，前期工作量大。对妆容复杂的模板图像来说，不能直接贴图实现。例如，戏曲中的人物，一般妆都比较浓，简单的贴图不能反映戏曲的人物特征。(2)妆容浓淡无法调节。一键式贴妆直接将妆容自适应到人脸上，用户不能对上妆后的人脸进行妆容浓淡的调节，贴妆模式单一，无法满足人们灵活上妆的使用需求。

因此，现有技术主要存在操作繁琐、妆容过度不自然、妆容浓淡无法调节、贴妆模式单一等问题。

发明内容

针对现有技术存在的缺陷，本发明提供一种基于移动端的轻量级人脸自动化妆方法，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种基于移动端的轻量级人脸自动化妆方法，包括以下步骤：

步骤1，预建立离线的样本库；所述样本库存储多个模板图像；所述模板图像是指带妆样本图像，每个所述模板图像已被标注人脸特征点；其中，所述人脸特征点包括脸部轮廓特征点、眉毛特征点、鼻子特征点、眼部特征点和嘴部特征点；

步骤2，获取包含人脸的源图像；

步骤3，对所述源图像进行图像预处理后，对预处理后的图像进行人脸特征点检测和标注，得到标注人脸特征点的源特征图像SrcImg；

步骤4，将交互模式分为两种交互模式，第一种交互模式：以源图像为背景图，实现模板图像到源图像的第一种交互模式；第二种交互模式：以模板图像为背景图，实现源图像到模板图像的第二种交互模式；

步骤5，根据目标妆容，从样本库中选择并下载模板图像D；

如果模板图像到源图像的第一种交互模式被触发，则执行步骤6；如果源图像到模板图像的第二种交互模式被触发，则执行步骤6和步骤7；

步骤6，将源特征图像SrcImg和模板图像D传输到妆容融合模块，所述妆容融合模块对源特征图像SrcImg和模板图像D进行妆容融合，输出上妆后的效果图R；具体包括：

步骤6.1，采用三角剖分的移动最小二乘法方法，对模板图像D进行人脸变形，得到人脸变形后的模板人脸图像WarpImg；其中，人脸变形后的模板人脸图像WarpImg的人脸特征点与源特征图像SrcImg的对应人脸特征点重合；

步骤6.2，根据源特征图像SrcImg的脸部轮廓特征点，生成脸部轮廓图；对脸部轮廓图的内部进行白色填充，生成二值掩模图像M，对二值掩模图像M进行膨胀模糊处理，消除掩模边缘锯齿，形成新的掩模图Mask；

步骤6.3，根据源特征图像SrcImg的眼部特征点，判断是否为睁眼，如果是睁眼，则根据眼部特征点，在新的掩模图Mask的相应位置画出眼部轮廓，并在眼部轮廓内填充黑色，然后执行步骤6.4；如果是闭眼，则直接执行步骤6.4；

步骤6.4，根据源特征图像SrcImg的嘴部特征点，在新的掩模图Mask的相应位置画出嘴部轮廓，并在嘴部轮廓内填充黑色，由此生成最终的掩模图Mask_Final；然后执行步骤6.5；

步骤6.5，将步骤6.1得到的人脸变形后的模板人脸图像WarpImg、源特征图像SrcImg和最终的掩模图Mask_Final作为加权泊松融合的输入，进行妆容融合，输出上妆后的效果图R；

步骤7，对效果图R的肤色和妆容进行替换处理，再将颜色替换后的特征图像FaceWarp的人脸替换区域faceROI和模板图像D进行加权融合，得到人脸替换后的结果图Result，具体包括：

步骤7.1，对效果图R进行五官美化处理，具体为：对效果图R进行人脸旋转校正处理，得到旋转后人脸正面图像rotateSrc；然后，对人脸正面图像rotateSrc进行眼睛放大处理，得到眼睛放大后的特征图像eyeSrc；

步骤7.2，在眼睛放大后的特征图像eyeSrc中，确定需要进行人脸替换的人脸替换区域faceROI；

步骤7.3，对人脸替换区域faceROI进行仿射变换处理，将人脸替换区域faceROI仿射到与模板图像D的对应区域相同的位置和方向，得到变换后的人脸替换区域warpFaceROI；

步骤7.4，通过颜色查找法将特征图像eyeSrc中的人脸替换区域warpFaceROI的人脸肤色和妆容转换为模板图像D的对应区域的肤色和妆容，得到颜色替换后的特征图像FaceWarp；

步骤7.5，生成颜色替换后的特征图像FaceWarp的人脸区域掩模图像BinaryMask；

步骤7.6，以人脸区域掩模图像BinaryMask作为加权值，采用下式对颜色替换后的特征图像FaceWarp和模板图像D进行加权融合，得到人脸替换后的结果图Result：

其中：R_uv代表人脸替换后的结果图Result的第u行第v列的像素点的像素值；

M_uv代表人脸区域掩模图像BinaryMask的第u行第v列的像素点的像素值；

D_uv代表模板图像D的第u行第v列的像素点的像素值；

F_uv代表颜色替换后的特征图像FaceWarp的第u行第v列的像素点的像素值。

优选的，步骤6.5具体为：

步骤6.5.1，假设待重建图像共有x_n*y_m个像素点，即：有x_n行、y_m列像素点；

计算模板人脸图像WarpImg在x方向的梯度场dstDx和在y方向的梯度场dstDy；

步骤6.5.2，根据最终的掩模图Mask_Final，在源特征图像SrcImg中定位到背景区域，具体定位方法为：最终的掩模图Mask_Final和源特征图像SrcImg的长和宽分别相等，将最终的掩模图Mask_Final置于源特征图像SrcImg的上层，最终的掩模图Mask_Final的黑色区域所对应的源特征图像SrcImg的区域，即为源特征图像SrcImg的背景区域；

计算源特征图像SrcImg的背景区域在x方向的梯度场srcDx和在y方向的梯度场srcDy；

步骤6.5.3，采用下式对梯度场加权求和，得到整幅待重建图像在x方向的梯度场Fx和在y方向的梯度场Fy；

Fx＝α·dstDx+(1-α)srcDx

Fy＝α·dstDy+(1-α)srcDy

步骤6.5.4，对Fx和Fy分别求偏导，求和得到散度矩阵b

散度矩阵b为x_n行、y_m列的矩阵；

步骤6.5.5，对于待重建图像中的每一个像素点(x_i,y_j)，i∈(1，2…n),j∈(1，2…m)，均构造一个系数矩阵A_ij，系数矩阵A_ij为x_n行、y_m列的满足四领域规则的系数矩阵，并且，系数矩阵A_ij在x_i行、y_j列的元素为加权系数；

采用下式计算待重建图像中的像素点(x_i,y_j)的像素值P_ij

A*P_ij＝b

由此计算得到待重建图像中每一个像素点的像素值，进而得到重建图像。

优选的，步骤7.4具体为：

步骤7.4.1，在模板图像D中，定位到与特征图像eyeSrc的人脸替换区域faceROI对应的模板人脸替换区域maskROI；

步骤7.4.2，建立模板人脸替换区域maskROI在R通道的模板R通道颜色直方图，并对模板R通道颜色直方图进行积分，得到模板R通道积分直方图；所述模板R通道积分直方图为：横坐标为0到255的色度值；纵坐标为在模板人脸替换区域maskROI中，每种色度值占的比例；

建立特征图像eyeSrc的人脸替换区域faceROI在R通道的特征图像R通道颜色直方图，并对特征图像R通道颜色直方图进行积分，得到特征图像R通道积分直方图；所述特征图像R通道积分直方图为：横坐标为0到255的色度值；纵坐标为在人脸替换区域faceROI中，每种色度值占的比例；

步骤7.4.3，遍历模板R通道积分直方图，统计得到模板R通道颜色分布；遍历特征图像R通道积分直方图，统计得到特征图像R通道颜色分布；

然后，遍历人脸替换区域faceROI中的每个像素点，对于每个像素点，按照特征图像R通道颜色分布，查找到模板R通道颜色分布中的对应的颜色分布；再将模板人脸替换区域maskROI对应的颜色分布的像素色度值，赋值给faceROI的对应像素点；

对于G通道和B通道，进行同样的颜色替换处理，最后，faceROI的每一个像素点，均被赋与RGB三通道色度值，形成了每一个像素点的像素值。

优选的，步骤7.5具体为：

对于颜色替换后的特征图像FaceWarp，生成脸部轮廓图；对脸部轮廓图的内部进行白色填充，并进行膨胀模糊处理，消除掩模边缘锯齿，形成人脸区域掩模图像BinaryMask。

本发明提供的一种基于移动端的轻量级人脸自动化妆方法具有以下优点：

(1)自动上妆算法简单且效果自然；

(2)操作简单，功能齐全；尤其通过简单的控制带参泊松融合的参数就可以实现妆容浓淡程度的调整。

附图说明

图1为本发明提供的一种基于移动端的轻量级人脸自动化妆方法的流程示意图；

图2为特征点分布结构图；

图3为模板到源交互模式的流程示意图；

图4为源特征图像SrcImg三角剖分结果图；

图5为模板图像D三角剖分结果图；

图6为新的掩模图Mask的示意图；

图7为最终的掩模图Mask_Final的示意图；

图8为旋转角度示意图；

图9为仿射变换前人脸图像；

图10为仿射变换后人脸图像；

图11为模板人脸替换区域maskROI一种具体示意图；

图12为颜色替换后的特征图像FaceWarp的一种具体示意图；

图13为人脸区域掩模图像BinaryMask的示意图；

图14为模板图像D的示意图；

图15为人脸替换后的结果图Result。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于移动端的轻量级人脸自动化妆方法，是一种应用范围广，方便用户体验、用户操作简单的自动上妆方法，可以实现人脸自动上妆、妆容互换。考虑到算法的可迁移性，本发明既可以在服务器端又可以在移动端使用。大致步骤如下：首先，提示用户打开摄像头拍摄一张人脸图像或从相册导入人脸图像；然后，对人脸图像进行定位和特征点检测，获得人脸特征点；其次，用户选择交互模式，下载相应的模板图像；最后，将人脸图像和模板图像传送到自动化妆模块，输出上妆的结果；其中，如果为以源图像为背景图，实现模板图像到源图像的交互，则实现自动上妆；如果为以模板图像为背景图，实现源图像到模板图像的交互，则实现自动变脸。同时，用户可根据喜好进行妆容浓淡的选择，避免了贴图带来的繁琐性和单一性。因此，是一种妆容适应能力强、用户操作简单的自动化妆方法。

缩略语和关键术语定义:

人脸图像：包含人脸画面的图像。

人脸部件：指人脸的五官，包括鼻子、嘴巴、眉毛、眼睛等。

人脸替换：将两张图像中的人脸进行互换。

模板图像：提前建立好的带妆样本图像，是妆容的载体。

源图像：用户自己拍摄的包含人脸的图像。

人脸的特征点：指的是人脸五官的具体位置，不同的方法特征点的个数不同。

本发明主要特点如下：

(1)妆容自动融合。无需提前设计人脸每个部件的妆容，直接将整幅模板图像作为输入。用户可根据喜好选择需要上妆的部件，系统就能自动单独融合这一个部件的妆容。

(2)妆容浓淡及妆容区域可以调节。用户可根据喜好选择上妆的浓淡程度以及上妆的区域。

(3)两种交互模式。可以实现源图像人脸到模板图像人脸的迁移，也可以实现模板图像到人脸图像的迁移。

具体的，参考图1，本发明提供的基于移动端的轻量级人脸自动化妆方法，包括以下步骤：

步骤1，预建立离线的样本库；所述样本库存储多个模板图像；所述模板图像是指带妆样本图像，每个所述模板图像已被标注人脸特征点；其中，所述人脸特征点包括脸部轮廓特征点、眉毛特征点、鼻子特征点、眼部特征点和嘴部特征点；

具本的，人为对模板图像进行特征点标注，样本库建立需要多次校验，保证用最优的特征点代替模板信息。本发明着重标注了戏曲人物的图片，此类模板图像能生动形象的传递人物的性格信息，不同的动作、眼神反映了不同的人物特征。

对人脸进行精确定位，判断脸部轮廓和五官的位置，人脸的特征点越多，脸部信息标注的越多，通过实验发现68个特征点能够得到较好的用户体验，特征点分布结构图如图2所示，顺序编号为0～16代表了人脸轮廓的17个特征点，17～26代表了左右眉毛特征点，27～30点是鼻梁上的四个特征点，31～35代表鼻翼的五个特征点，36～47代表了左右眼睛的轮廓特征点，48～59代表了嘴巴的外部轮廓特征点，60～67代表了嘴巴内侧和牙齿的轮廓边界特征点。因此，标注的，人脸特征点共包括68个特征点，用来代表人脸的五官位置信息。其中眉毛10个点、眼睛12个、鼻子9个点、轮廓17个点和嘴巴20个点。

步骤2，获取包含人脸的源图像；

本步骤具体实现方式为：用户在移动端有两种传入源图像模式：一是开启移动端摄像头拍照，捕获一张包含人脸的源图像；二是通过相册导入图像。因移动端型号、摄像头分辨率具有多样性，图像清晰度、大小均不同，所以在进入后面的化妆步骤之前先进行一些预处理。

当移动端开启摄像头进行拍照时，为了保证人脸的美观性，对摄像头捕获的图像做一些实时处理，包括人脸美化和光照均衡化。人脸美化：先对人脸进行定位，对人脸框内的人脸进行滤波达到磨皮的效果。通过色彩平衡法，对人脸图像进行色阶调整，实现皮肤的美白，最终实现安卓和ios端的人脸实时磨皮和皮肤美白功能；光照均衡化：消除人脸光照不均匀的现象。通过RGB通道值计算亮度值，当亮度值大于设定阈值时，视为高亮；小于设定阈值时，视为低亮。根据不同的亮度分布选择不同的双边滤波核，进行双边滤波，实现光照的均衡化。另外，移动端摄像头拍摄的图像大小已根据样本库做了最佳的调整。

当用户从相册中导入图像时，需要调整图像大小。将图像放缩到模板图像大小，放缩的原则是将人脸图像高度变为模板图像高度，宽度进行等比例缩放，得到的图像为作为后续步骤输入的源图像。

步骤3，对所述源图像进行图像预处理后，对预处理后的图像进行人脸特征点检测和标注，得到标注人脸特征点的源特征图像SrcImg；

步骤4，因用户的兴趣和爱好不同，用户可以选择输出图像的穿戴服饰是保留源图像还是替换为模板图像，因此，将交互模式分为两种交互模式，第一种交互模式：以源图像为背景图，实现模板图像到源图像的第一种交互模式；第二种交互模式：以模板图像为背景图，实现源图像到模板图像的第二种交互模式；两者交互的区别在于是否要进入人脸替换步骤。

步骤5，根据目标妆容，从样本库中选择并下载模板图像D；

如果模板图像到源图像的第一种交互模式被触发，则执行步骤6；如果源图像到模板图像的第二种交互模式被触发，则执行步骤6和步骤7；

步骤6，妆容融合步骤：将源特征图像SrcImg和模板图像D传输到妆容融合模块，所述妆容融合模块对源特征图像SrcImg和模板图像D进行妆容融合，输出上妆后的效果图R；

具体的，模板图像到源图像的交互模式是以源图像为背景，对源图像人脸进行自动上妆，且用户可以根据喜好进行妆容浓淡的调整。当用户输入源图像时，根据用户的选择，进入此交互模式，然后提供需要上妆的妆容的模板图像，根据选择的模板图像下载相应的模板图像，然后将模板图像和源图像同时送入妆容融合模块，进行妆容融合，输出自动上妆的效果图，用户可以根据喜好选择妆容浓淡，对上妆的效果图进行更改。如图3所示，为模板到源交互模式的流程示意图。

妆容融合步骤的目的主要是为了对人脸进行化妆，设计思路是先对模板图像人脸变形至源图像人脸方向，利用了基于三角剖分的移动最小二乘法；其次，根据变形的图像计算出用于妆容融合的掩模图像，根据掩模图像和用户选择的融合妆容融合等级，对源图像和变形的模板图像进行加权融合，得到上妆的效果图。

具体包括：

步骤6.1，模板图像人脸变形步骤：采用三角剖分的移动最小二乘法方法，对模板图像D进行人脸变形，得到人脸变形后的模板人脸图像WarpImg；其中，人脸变形后的模板人脸图像WarpImg的人脸特征点与源特征图像SrcImg的对应人脸特征点重合；

具体实现方式为：将模板图像贴到源图像前面，首先需要将模板图像人脸旋转至源图像人脸方向，同时将模板图像人脸五官变形为源图像人脸五官的方向和位置。

本步骤具体实现方式为：

(1)对源特征图像SrcImg进行三角剖分。如图4所示，为源特征图像SrcImg三角剖分结果图。根据特征点检测的结果，利用n个人脸特征点对源图像进行三角剖分，记录每个三角形顶点的索引，得到一个带索引三角形集合SrcTriangles[i]，i＝0,1,…n。

(2)对模板图像D进行三角剖分。如图5所示，为模板图像D三角剖分结果图。根据源图像记录的索引三角形集合的顺序和模板图像人脸的n个特征点，对模板图像取对应的三角形DstTriangles[i]，i＝0,1,…n。

(3)计算模板图像D到源特征图像SrcImg的三角区域之间的变形矩阵。以第一个三角形为例，确定DstTriangles[0]到SrcTriangles[0]的变形矩阵，三角形的顶点分别为{dstP0，dstP1，dstP2}、{srcP0，srcP1，srcP2}。根据仿射变换的原理，可以由两点确定一个变换矩阵M。这样可以求出一系列的仿射矩阵集合WarpM[i]，i＝0,1,…n。

(4)模板图像D人脸变形。先创建一副和人脸大小一样的白色图像，对模板图像D的每个小区域使用移动最小二乘法进行变形，且变形后的区域包含相应的位置信息，直接拷贝到白色图像中，即可以得到模板图像D的人脸变形后的与源特征图像SrcImg人脸大小和方向一致的模板人脸图像WarpImg。

步骤6.2，生成新的掩模图Mask：根据源特征图像SrcImg的脸部轮廓特征点，生成脸部轮廓图；对脸部轮廓图的内部进行白色填充，生成二值掩模图像M，对二值掩模图像M进行膨胀模糊处理，消除掩模边缘锯齿，形成新的掩模图Mask；如图6所示，为新的掩模图Mask的示意图。

本步骤主要作用为：为了使妆容融合效果更加自然，同时保证源特征图像SrcImg人脸的细节特征，在妆容融合前首先生成用于妆容融合的掩模图像，基于掩模图像以及用户选择的妆容等级进行妆容融合。

步骤6.3，根据源特征图像SrcImg的眼部特征点，判断是否为睁眼，如果是睁眼，则根据眼部特征点，在新的掩模图Mask的相应位置画出眼部轮廓，并在眼部轮廓内填充黑色，然后执行步骤6.4；如果是闭眼，则直接执行步骤6.4；

步骤6.4，根据源特征图像SrcImg的嘴部特征点，在新的掩模图Mask的相应位置画出嘴部轮廓，并在嘴部轮廓内填充黑色，由此生成最终的掩模图Mask_Final；然后执行步骤6.5；如图7所示，为最终的掩模图Mask_Final的示意图。

步骤6.3和步骤6.4可描述为：在新的掩模图Mask中扣除眼睛和嘴巴。为了保持源特征图像SrcImg中人脸睁眼和微笑时，眼睛和嘴巴里的特征，对源特征图像SrcImg中进行睁眼判断，若判断为睁眼，则根据人眼的轮廓点在新的掩模图Mask的相应位置填充黑色，对嘴巴做相应的处理，生成最终的掩模图Mask_Final。

步骤6.5，将步骤6.1得到的人脸变形后的模板人脸图像WarpImg、源特征图像SrcImg和最终的掩模图Mask_Final作为加权泊松融合的输入，进行妆容融合，输出上妆后的效果图R；

步骤6.5具体为：

步骤6.5.1，假设待重建图像共有x_n*y_m个像素点，即：有x_n行、y_m列像素点；

计算模板人脸图像WarpImg在x方向的梯度场dstDx和在y方向的梯度场dstDy；

步骤6.5.2，根据最终的掩模图Mask_Final，在源特征图像SrcImg中定位到背景区域，具体定位方法为：最终的掩模图Mask_Final和源特征图像SrcImg的长和宽分别相等，将最终的掩模图Mask_Final置于源特征图像SrcImg的上层，最终的掩模图Mask_Final的黑色区域所对应的源特征图像SrcImg的区域，即为源特征图像SrcImg的背景区域；

计算源特征图像SrcImg的背景区域在x方向的梯度场srcDx和在y方向的梯度场srcDy；

步骤6.5.3，采用下式对梯度场加权求和，得到整幅待重建图像在x方向的梯度场Fx和在y方向的梯度场Fy；

Fx＝α·dstDx+(1-α)srcDx

Fy＝α·dstDy+(1-α)srcDy

步骤6.5.4，对Fx和F_y分别求偏导，求和得到散度矩阵b

散度矩阵b为x_n行、y_m列的矩阵；

步骤6.5.5，对于待重建图像中的每一个像素点(x_i,y_j)，i∈(1，2…n),j∈(1，2…m)，均构造一个系数矩阵A_ij，系数矩阵A_ij为x_n行、y_m列的满足四领域规则的系数矩阵，并且，系数矩阵A_ij在x_i行、y_j列的元素为加权系数；

采用下式计算待重建图像中的像素点(x_i,y_j)的像素值P_ij

A*P_ij＝b

由此计算得到待重建图像中每一个像素点的像素值，进而得到重建图像。

本步骤的泊松融合算法采用的是带参泊松融合。

步骤6为妆容融合步骤，本步骤通过妆容融合模块实现。妆容融合模块主要是通过对模板图像做一些处理，再和源图像加权融合，在加权融合的过程中，提供了一个可以控制两图像融合程度的参数α，可供用户选择，此参数主要控制上妆的浓淡程度，根据用户选择的参数不同，进行不同程度的妆容融合，用户可根据喜好选择。同时为了防止融合过程中模板图像的眼睛和牙齿对人脸有干扰，也做相应的预处理。

步骤7，人脸替换步骤：对效果图R的肤色和妆容进行替换处理，再将颜色替换后的特征图像FaceWarp的人脸替换区域faceROI和模板图像D进行加权融合，得到人脸替换后的结果图Result。

人脸替换的目的主要是为了对人脸进行迁移，输入是妆容融合后的效果图R和模板图像D，输出是人脸替换后的图像。

设计思路是：通过仿射变换对效果图R的人脸和模板图像D的人脸进行互换，同时为了保证肤色一致，对互换后的人脸进行颜色替换，使效果图R人脸保持模板图像人脸的肤色和妆容；其次，根据人脸区域确定二值掩模图像，通过掩模图像对人脸进行加权替换；最后，输出交互模式相应的结果图。

具体包括：

步骤7.1，五官美化步骤：对效果图R进行五官美化处理，具体为：对效果图R进行人脸旋转校正处理，得到旋转后人脸正面图像rotateSrc；然后，对人脸正面图像rotateSrc进行眼睛放大处理，得到眼睛放大后的特征图像eyeSrc；

具体的，因效果图R中人脸有歪头、侧头等现象，首先对效果图R人脸进行旋转校正，基于矫正后的正面人脸图像，对人眼进行变形，达到眼睛放大的效果，根据效果图R眼睛放大的比例，修改模板图像人脸特征点，使人脸替换效果更加自然。

(1)人脸校正。旋转的角度由两只眼睛特征点face[36]和face[45]计算。如图8所示，为旋转角度示意图。

得出图像的旋转角度θ为：

其中：face[45].x代表脸部第45个特征点的横坐标；face[45].y代表脸部第45个特征点的纵坐标；face[36].x代表脸部第36个特征点的横坐标；face[36].y代表脸部第36个特征点的纵坐标；

计算图像的旋转中心点center：

center.x＝(face[45].x+face[36].x)×0.5

center.y＝(face[45].y+face[36].y)×0.5

其中：center.x代表旋转中心点的横坐标；center.y代表旋转中心点的纵坐标；

(2)眼睛放大步骤

因为效果图中的人脸已放缩为模板图像人脸的大小，所以眼部放大的比例已知，改变rotateSrc眼睛周围特征点位置，然后通过三角剖分和仿射变换就可以实现眼睛放大。

例如原始眼睛特征点为eyeSrc[i]，i＝0,1…11。然后对eyeSrc的特征点做一定的数值变换，就可以得到eyeDst，如下式所示：

eyeDst[i].x＝eyeSrc[i].x+Δx_i

eyeDst[i].y＝eyeSrc[i].y+Δy_i

其中：eyeDst[i].x代表眼睛放大后图像的眼部特征点横坐标；

eyeDst[i].y代表眼睛放大后图像的眼部特征点纵坐标；

eyeSrc[i].x代表眼睛放大前图像的眼部特征点横坐标；

eyeSrc[i].y代表眼睛放大前图像的眼部特征点横坐标；

Δx_i、Δy_i为经验值，数值越大眼睛增大的效果越明显，将图像按eyeSrc进行三角剖分，计算eyeSrc到eyeDst的每个三角区域的仿射变换矩阵，区域进行仿射变换，得到眼睛放大之后图像。

步骤7.2，在眼睛放大后的特征图像eyeSrc中，确定需要进行人脸替换的人脸替换区域faceROI；其中，因交换模式或替换的区域不同，因此所选特征点集不同，根据不同的特征点集，可以选择替换整体人脸或仅替换局部五官。

例如，以人脸区域整体替换为例，定义eyeDst源图像人脸区域边界点的数组points_src[n]，(n＝0、1…8，α＝0～2，t＝0～67)：

points_src[n]＝src[t]+β*nose_length

nose_length＝src[27]-src[30]β

为了使源图像人脸眼睛以上区域保持原貌，故将源图像眉毛的特征点加上合适的高度，具体为鼻翼长度nose_length的β倍数，β为经验值，此长度因交互模式或模板不同而变化。

利用center和θ可以计算出旋转矩阵matrix_rotate，然后进行人脸旋转，得到旋转后源图像人脸正面rotateSrc，旋转前后图像大小保持一致。

步骤7.3，仿射变换步骤：对人脸替换区域faceROI进行仿射变换处理，将人脸替换区域faceROI仿射到与模板图像D的对应区域相同的位置和方向，得到变换后的人脸替换区域warpFaceROI；如图9所示，为仿射变换前人脸图像；如图10所示，为仿射变换后人脸图像。

步骤7.4，通过颜色查找法将特征图像eyeSrc中的人脸替换区域warpFaceROI的人脸肤色和妆容转换为模板图像D的对应区域的肤色和妆容，得到颜色替换后的特征图像FaceWarp；

通过颜色查找法将源图像人脸的肤色变成模板图像人脸的肤色和妆容，目的是使源图像人脸的肤色、妆容与模板图像更接近，效果更自然。

步骤7.4具体为：

步骤7.4.1，在模板图像D中，定位到与特征图像eyeSrc的人脸替换区域faceROI对应的模板人脸替换区域maskROI；如图11所示，为模板人脸替换区域maskROI一种具体示意图；如图12所示，为颜色替换后的特征图像FaceWarp的一种具体示意图。

步骤7.4.2，建立模板人脸替换区域maskROI在R通道的模板R通道颜色直方图，并对模板R通道颜色直方图进行积分，得到模板R通道积分直方图；所述模板R通道积分直方图为：横坐标为0到255的色度值；纵坐标为在模板人脸替换区域maskROI中，每种色度值占的比例；

建立特征图像eyeSrc的人脸替换区域faceROI在R通道的特征图像R通道颜色直方图，并对特征图像R通道颜色直方图进行积分，得到特征图像R通道积分直方图；所述特征图像R通道积分直方图为：横坐标为0到255的色度值；纵坐标为在人脸替换区域faceROI中，每种色度值占的比例；

步骤7.4.3，遍历模板R通道积分直方图，统计得到模板R通道颜色分布；遍历特征图像R通道积分直方图，统计得到特征图像R通道颜色分布；

然后，遍历人脸替换区域faceROI中的每个像素点，对于每个像素点，按照特征图像R通道颜色分布，查找到模板R通道颜色分布中的对应的颜色分布；再将模板人脸替换区域maskROI对应的颜色分布的像素色度值，赋值给faceROI的对应像素点；

对于G通道和B通道，进行同样的颜色替换处理，最后，faceROI的每一个像素点，均被赋与RGB三通道色度值，形成了每一个像素点的像素值。

步骤7.5，生成颜色替换后的特征图像FaceWarp的人脸区域掩模图像BinaryMask；

步骤7.5具体为：对于颜色替换后的特征图像FaceWarp，生成脸部轮廓图；对脸部轮廓图的内部进行白色填充，并进行膨胀模糊处理，消除掩模边缘锯齿，形成人脸区域掩模图像BinaryMask。如图13所示，为人脸区域掩模图像BinaryMask的示意图。

步骤7.6，以人脸区域掩模图像BinaryMask作为加权值，采用下式对颜色替换后的特征图像FaceWarp和模板图像D进行加权融合，得到人脸替换后的结果图Result：如图14所示，为模板图像D的示意图；如图15所示，为人脸替换后的结果图Result。

其中：R_uv代表人脸替换后的结果图Result的第u行第v列的像素点的像素值；

M_uv代表人脸区域掩模图像BinaryMask的第u行第v列的像素点的像素值；

D_uv代表模板图像D的第u行第v列的像素点的像素值；

F_uv代表颜色替换后的特征图像FaceWarp的第u行第v列的像素点的像素值。

人脸替换步骤主要创新为：①人脸替换区域的可控性，可以实现任意五官的人脸替换。②二值掩模图像的滤波核可控性。滤波主要实现人脸加权时从中心往外依次递减，使得人脸融合的更加融洽。滤波核的大小可以后续控制人脸融合程度的大小：滤波核越大，替换后图像的人脸外部轮廓更像模板图像；滤波核越小，替换后的图像的轮廓更像源图像的人脸。模板不同，此滤波核的大小不同。

本发明提供的一种基于移动端的轻量级人脸自动化妆方法，可通过基于移动端的轻量级人脸自动化妆系统实现，主要包括四个模块：预处理模块、特征点检测模块、交互模块和自动化妆模块。

预处理模块包括离线建立样本库和用户选择的人脸图像的预处理。样本库用于存储模板图像，当用户选择某一模板图像时，需要下载相应模板图像，样本库的建立需要人为完成，且多次校验；移动端给用户提供了两种载入源图像形式：摄像头拍摄和相册导入。在用户提供源图像后，根据系统需要对源图像进行预处理，包括图像的美颜和图像尺寸的变化。

特征点检测模块主要用于对模板图像和用户载入的源图像进行人脸特征点检测。

交互模块提供两种交互模式，用户可选择模板到源交互模式和源到模板交互模式。模板到源交互模式，是以源图像为背景图，将模板图像的妆容迁移到源图像人脸上；源到模板的交互模式，是以模板图像为背景图，将源图像人脸迁移到模板图像上。

自动化妆模块主要有两个模块组成：妆容融合模块和人脸替换模块。妆容融合模块用来给用户输入的图像自动上妆；人脸替换模块用来对人脸迁移，或部分五官迁移。同时，此模块提供了可以控制妆容浓淡的接口，用户通过选择不同参数，可以得到不同的妆容程度。

本部分的创新点：(1)掩模图像的可控性，可保持源图像人脸的主要信息特征，同时掩模图像作为加权值，其腐蚀和膨胀能够使得模板图像的妆容和源图像人脸在融合时能更加贴合。(2)加权融合采用的是带参的泊松融合算法，其参数具有可控性，可以实现上妆的浓淡程度。(3)通过交互模块提供两种交互模块，用户使用更加灵活方便。(4)通过自动上妆模块，实现妆容浓淡可以调节，以及上妆的区域也可以自适应变换。

本发明提供的一种基于移动端的轻量级人脸自动化妆方法，具有以下优点：

(1)自动上妆算法简单且效果自然。常规的贴图模式，一般会对人脸进行一键美化，这样容易丢失人脸的细节信息。本发明的妆容融合模块实现了初步的上妆，为后续人脸替换中颜色融合模块奠定了基础，使得后续的颜色融合更加自然贴合。尤其是针对复杂妆容的戏曲脸谱图像时，能够在保持戏曲妆容的情况下，将源图像人脸特征迁移过去，迁移后的人脸和戏曲图像能够实现无缝、过渡自然的融合。

(2)操作简单，功能齐全。将人脸部件替换和自动上妆放在一个模块中，即可以实现部件替换又可以实现妆容迁移。通过简单的控制带参泊松融合的参数就可以实现妆容浓淡程度的调整；人脸区域可控性，可以实现不同五官替换模式。

(3)提升用户体验。本发明处理的妆容自然，能够保持戏曲等传统文化的主要妆容精髓，且用户通过简单的操作就能实现体验传统文化的感受。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (4)

1.一种基于移动端的轻量级人脸自动化妆方法，其特征在于，包括以下步骤：

步骤1，预建立离线的样本库；所述样本库存储多个模板图像；所述模板图像是指带妆样本图像，每个所述模板图像已被标注人脸特征点；其中，所述人脸特征点包括脸部轮廓特征点、眉毛特征点、鼻子特征点、眼部特征点和嘴部特征点；

步骤2，获取包含人脸的源图像；

步骤3，对所述源图像进行图像预处理后，对预处理后的图像进行人脸特征点检测和标注，得到标注人脸特征点的源特征图像SrcImg；

步骤4，将交互模式分为两种交互模式，第一种交互模式：以源图像为背景图，实现模板图像到源图像的第一种交互模式；第二种交互模式：以模板图像为背景图，实现源图像到模板图像的第二种交互模式；

步骤5，根据目标妆容，从样本库中选择并下载模板图像D；

如果模板图像到源图像的第一种交互模式被触发，则执行步骤6；如果源图像到模板图像的第二种交互模式被触发，则执行步骤6和步骤7；

步骤6，将源特征图像SrcImg和模板图像D传输到妆容融合模块，所述妆容融合模块对源特征图像SrcImg和模板图像D进行妆容融合，输出上妆后的效果图R；具体包括：

步骤6.1，采用三角剖分的移动最小二乘法方法，对模板图像D进行人脸变形，得到人脸变形后的模板人脸图像WarpImg；其中，人脸变形后的模板人脸图像WarpImg的人脸特征点与源特征图像SrcImg的对应人脸特征点重合；

步骤6.2，根据源特征图像SrcImg的脸部轮廓特征点，生成脸部轮廓图；对脸部轮廓图的内部进行白色填充，生成二值掩模图像M，对二值掩模图像M进行膨胀模糊处理，消除掩模边缘锯齿，形成新的掩模图Mask；

步骤6.3，根据源特征图像SrcImg的眼部特征点，判断是否为睁眼，如果是睁眼，则根据眼部特征点，在新的掩模图Mask的相应位置画出眼部轮廓，并在眼部轮廓内填充黑色，然后执行步骤6.4；如果是闭眼，则直接执行步骤6.4；

步骤6.4，根据源特征图像SrcImg的嘴部特征点，在新的掩模图Mask的相应位置画出嘴部轮廓，并在嘴部轮廓内填充黑色，由此生成最终的掩模图Mask_Final；然后执行步骤6.5；

步骤6.5，将步骤6.1得到的人脸变形后的模板人脸图像WarpImg、源特征图像SrcImg和最终的掩模图Mask_Final作为加权泊松融合的输入，进行妆容融合，输出上妆后的效果图R；

步骤7，对效果图R的肤色和妆容进行替换处理，再将颜色替换后的特征图像FaceWarp的人脸替换区域faceROI和模板图像D进行加权融合，得到人脸替换后的结果图Result，具体包括：

步骤7.1，对效果图R进行五官美化处理，具体为：对效果图R进行人脸旋转校正处理，得到旋转后人脸正面图像rotateSrc；然后，对人脸正面图像rotateSrc进行眼睛放大处理，得到眼睛放大后的特征图像eyeSrc；

步骤7.2，在眼睛放大后的特征图像eyeSrc中，确定需要进行人脸替换的人脸替换区域faceROI；

步骤7.3，对人脸替换区域faceROI进行仿射变换处理，将人脸替换区域faceROI仿射到与模板图像D的对应区域相同的位置和方向，得到变换后的人脸替换区域warpFaceROI；

步骤7.4，通过颜色查找法将特征图像eyeSrc中的人脸替换区域warpFaceROI的人脸肤色和妆容转换为模板图像D的对应区域的肤色和妆容，得到颜色替换后的特征图像FaceWarp；

步骤7.5，生成颜色替换后的特征图像FaceWarp的人脸区域掩模图像BinaryMask；

步骤7.6，以人脸区域掩模图像BinaryMask作为加权值，采用下式对颜色替换后的特征图像FaceWarp和模板图像D进行加权融合，得到人脸替换后的结果图Result：

其中：R_uv代表人脸替换后的结果图Result的第u行第v列的像素点的像素值；

M_uv代表人脸区域掩模图像BinaryMask的第u行第v列的像素点的像素值；

D_uv代表模板图像D的第u行第v列的像素点的像素值；

F_uv代表颜色替换后的特征图像FaceWarp的第u行第v列的像素点的像素值。

2.根据权利要求1所述的一种基于移动端的轻量级人脸自动化妆方法，其特征在于，步骤6.5具体为：

步骤6.5.1，假设待重建图像共有x_n*y_m个像素点，即：有x_n行、y_m列像素点；

计算模板人脸图像WarpImg在x方向的梯度场dstDx和在y方向的梯度场dstDy；

步骤6.5.2，根据最终的掩模图Mask_Final，在源特征图像SrcImg中定位到背景区域，具体定位方法为：最终的掩模图Mask_Final和源特征图像SrcImg的长和宽分别相等，将最终的掩模图Mask_Final置于源特征图像SrcImg的上层，最终的掩模图Mask_Final的黑色区域所对应的源特征图像SrcImg的区域，即为源特征图像SrcImg的背景区域；

计算源特征图像SrcImg的背景区域在x方向的梯度场srcDx和在y方向的梯度场srcDy；

步骤6.5.3，采用下式对梯度场加权求和，得到整幅待重建图像在x方向的梯度场Fx和在y方向的梯度场Fy；

Fx＝α·dstDx+(1-α)srcDx

Fy＝α·dstDy+(1-α)srcDy

步骤6.5.4，对Fx和Fy分别求偏导，求和得到散度矩阵b

散度矩阵b为x_n行、y_m列的矩阵；

步骤6.5.5，对于待重建图像中的每一个像素点(x_i,y_j)，i∈(1，2…n),j∈(1，2…m)，均构造一个系数矩阵A_ij，系数矩阵A_ij为x_n行、y_m列的满足四领域规则的系数矩阵，并且，系数矩阵A_ij在x_i行、y_j列的元素为加权系数；

采用下式计算待重建图像中的像素点(x_i,y_j)的像素值P_ij

A*P_ij＝b

由此计算得到待重建图像中每一个像素点的像素值，进而得到重建图像。

3.根据权利要求1所述的一种基于移动端的轻量级人脸自动化妆方法，其特征在于，步骤7.4具体为：

步骤7.4.1，在模板图像D中，定位到与特征图像eyeSrc的人脸替换区域faceROI对应的模板人脸替换区域maskROI；

步骤7.4.2，建立模板人脸替换区域maskROI在R通道的模板R通道颜色直方图，并对模板R通道颜色直方图进行积分，得到模板R通道积分直方图；所述模板R通道积分直方图为：横坐标为0到255的色度值；纵坐标为在模板人脸替换区域maskROI中，每种色度值占的比例；

建立特征图像eyeSrc的人脸替换区域faceROI在R通道的特征图像R通道颜色直方图，并对特征图像R通道颜色直方图进行积分，得到特征图像R通道积分直方图；所述特征图像R通道积分直方图为：横坐标为0到255的色度值；纵坐标为在人脸替换区域faceROI中，每种色度值占的比例；

步骤7.4.3，遍历模板R通道积分直方图，统计得到模板R通道颜色分布；遍历特征图像R通道积分直方图，统计得到特征图像R通道颜色分布；

然后，遍历人脸替换区域faceROI中的每个像素点，对于每个像素点，按照特征图像R通道颜色分布，查找到模板R通道颜色分布中的对应的颜色分布；再将模板人脸替换区域maskROI对应的颜色分布的像素色度值，赋值给faceROI的对应像素点；

对于G通道和B通道，进行同样的颜色替换处理，最后，faceROI的每一个像素点，均被赋与RGB三通道色度值，形成了每一个像素点的像素值。

4.根据权利要求1所述的一种基于移动端的轻量级人脸自动化妆方法，其特征在于，步骤7.5具体为：

对于颜色替换后的特征图像FaceWarp，生成脸部轮廓图；对脸部轮廓图的内部进行白色填充，并进行膨胀模糊处理，消除掩模边缘锯齿，形成人脸区域掩模图像BinaryMask。