CN107273837A

CN107273837A - 虚拟化妆的方法和系统

Info

Publication number: CN107273837A
Application number: CN201710423890.0A
Authority: CN
Inventors: 赖振奇
Original assignee: Guangzhou Rui Xin Electronic Technology Co Ltd; Guangzhou Shiyuan Electronics Thecnology Co Ltd
Current assignee: Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date: 2017-06-07
Filing date: 2017-06-07
Publication date: 2017-10-20
Anticipated expiration: 2037-06-07
Also published as: CN107273837B; WO2018223561A1

Abstract

本发明涉及一种虚拟化妆的方法和系统，获取化妆对象的实时图像，对实时图像中的人脸特征进行识别，确定实时图像中的人脸特征区域，通过实时图像中除人脸特征区域外的其他区域的色彩数据获取色差范围，对化妆的着色值进行调整，利用调整后的着色值对人脸特征区域进行渲染，得到化妆对象的虚拟妆容图像。在本发明中，不仅对实时图像中的人脸特征区域进行识别和渲染，还考虑了实时图像中除人脸特征区域外的其他区域的色彩数据对应的色差范围，最终的渲染结果可以适应化妆对象所处的环境光照等因素的影响，使得生成的虚拟妆容图像更加真实自然，渲染是针对化妆对象的实时图像进行的，可以多角度地展示化妆对象的面部妆容，提高虚拟化妆的显示效果。

Description

虚拟化妆的方法和系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种虚拟化妆的方法和系统。

背景技术

化妆是生活中的一个重要部分。对于消费者而言，如何在众多产品中有效地选择适合自己的化妆品成为最为关注的问题，传统上消费者会选择到实体店铺进行试妆，通过反复试妆以选择自己满意的产品，为方便用户进行化妆，出现了虚拟化妆这一技术。

目前虚拟化妆技术主要是对获取的静态图像进行分析，从静态图像中提取人脸特征，并将化妆特征与人脸特征进行组合，从而合成妆容，为用户提供化妆的虚拟效果。

但是，传统的虚拟化妆只能实现静态图像中的人脸特征处理，使虚拟化妆的整体妆容生硬，效果较差。

发明内容

基于此，有必要针对传统的虚拟化妆的整体妆容生硬，效果较差的问题，提供一种虚拟化妆的方法和系统。

一种虚拟化妆的方法，包括以下步骤：

获取化妆对象的实时图像；

对实时图像中的人脸特征进行识别，获取实时图像中的人脸特征区域；

获取实时图像中除人脸特征区域外的其他区域的色彩数据，根据色彩数据获取其他区域的色差范围；

接收着色指令，根据着色指令获取初始着色值，根据初始着色值和色差范围计算目标着色值；

利用目标着色值对实时图像中的人脸特征区域进行渲染，得到化妆对象的虚拟妆容图像。

一种虚拟化妆的系统，包括：

图像获取单元，用于获取化妆对象的实时图像；

人脸识别单元，用于对实时图像中的人脸特征进行识别，获取人脸特征区域；

色差获取单元，用于获取实时图像中除人脸特征区域外的其他区域的色彩数据，根据色彩数据获取其他区域的色差范围；

着色处理单元，用于接收着色指令，根据着色指令获取初始着色值，根据初始着色值和色差范围计算目标着色值；

图像渲染单元，用于利用目标着色值对实时图像中的人脸特征区域进行渲染，得到化妆对象的虚拟妆容图像。

根据上述本发明的虚拟化妆的方法和系统，其是先获取化妆对象的实时图像，对实时图像中的人脸特征进行识别，确定实时图像中的人脸特征区域，再通过实时图像中除人脸特征区域外的其他区域的色彩数据获取色差范围，对化妆的着色值进行调整，利用调整后的着色值对人脸特征区域进行渲染，得到化妆对象的虚拟妆容图像。在本发明中，不仅仅对实时图像中的人脸特征区域进行识别和渲染，同时还考虑了实时图像中除人脸特征区域外的其他区域的色彩数据对应的色差范围，最终的渲染结果可以适应化妆对象所处的环境光照等因素的影响，使得生成的虚拟妆容图像更加真实自然，而且渲染是针对化妆对象的实时图像进行的，可以多角度地展示化妆对象的面部妆容，提高虚拟化妆的显示效果。

附图说明

图1是其中一个实施例中虚拟化妆的方法的流程示意图；

图2是其中一个实施例中虚拟化妆的系统的结构示意图；

图3是其中一个实施例中虚拟化妆的系统的结构示意图；

图4是其中一个实施例中虚拟化妆的系统的结构示意图；

图5是其中一个实施例中虚拟化妆的系统的结构示意图；

图6是其中一个实施例中人脸特征点的分布示意图；

图7是其中一个实施例中封闭曲线的扫描示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

参见图1所示，为本发明一个实施例的虚拟化妆的方法的流程示意图。该实施例中的虚拟化妆的方法包括以下步骤：

步骤S101：获取化妆对象的实时图像；

步骤S102：对实时图像中的人脸特征进行识别，获取实时图像中的人脸特征区域；

步骤S103：获取实时图像中除人脸特征区域外的其他区域的色彩数据，根据色彩数据获取其他区域的色差范围；

在本步骤中，实时图像中除人脸特征区域外的其他区域属于化妆对象所处的环境，其他区域的色差范围反映了环境中光照等因素对人脸特征区域的影响；

步骤S104：接收着色指令，根据着色指令获取初始着色值，根据初始着色值和色差范围计算目标着色值；

步骤S105：利用目标着色值对实时图像中的人脸特征区域进行渲染，得到化妆对象的虚拟妆容图像。

在本实施例中，先获取化妆对象的实时图像，对实时图像中的人脸特征进行识别，确定实时图像中的人脸特征区域，再通过实时图像中除人脸特征区域外的其他区域的色彩数据获取色差范围，对化妆的着色值进行调整，利用调整后的着色值对人脸特征区域进行渲染，得到化妆对象的虚拟妆容图像。在本发明中，不仅仅对实时图像中的人脸特征区域进行识别和渲染，同时还考虑了实时图像中除人脸特征区域外的其他区域的色彩数据对应的色差范围，最终的渲染结果可以适应化妆对象所处的环境光照等因素的影响，使得生成的虚拟妆容图像更加真实自然，而且渲染是针对化妆对象的实时图像进行的，可以多角度地展示化妆对象的面部妆容，提高虚拟化妆的显示效果。

可选的，对实时图像中的人脸特征进行识别，可以使用dlib人脸检测库，dlib人脸检测库检测效率良好，能够有效获取人脸特征点。

可选的，根据着色指令获取初始着色值C₀后，可以根据预设的调节范围区间A和其他区域的色差范围区间B对初始着色值C₀进行调节，得到目标着色值C，目标着色值C、初始着色值C₀、调节范围区间A和色差范围区间B满意以下关系：C＝(1-t)*C₀+t*k，t∈A，k∈B

在其中一个实施例中，获取实时图像中的人脸特征区域的步骤包括以下步骤：

获取实时图像中的人脸特征部位的点集，对人脸特征部位的点集进行拟合，获得拟合曲线，根据拟合曲线确定人脸特征区域。

在本实施例中，人脸特征有多种，每一种都有特定的形状和位置，可以利用多个特征点可以表征人脸特征，这些特征点组成人脸特征部位的点集；人脸特征部位的点集中的特征点的数量有限，属于离散点，人脸特征部位一般为封闭的区域，需要对点集进行拟合扩展，得到拟合曲线，利用拟合曲线便于确定封闭的人脸特征区域。

在其中一个实施例中，人脸特征部位的点集包括左眉特征点集、右眉特征点集、左眼特征点集、右眼特征点集、鼻梁特征点集、鼻子特征点集、上嘴唇特征点集、下嘴唇特征点集和脸部轮廓特征点集；

对人脸特征部位的点集进行拟合，获得拟合曲线的步骤包括以下步骤：

将左眉特征点集、右眉特征点集、左眼特征点集、右眼特征点集、鼻梁特征点集、鼻子特征点集、上嘴唇特征点集、下嘴唇特征点集和脸部轮廓特征点集分别拟合成对应的封闭曲线。

在本实施例中，人脸特征部位包括左眉、右眉、左眼、右眼、鼻梁、鼻子、上嘴唇、下嘴唇和脸部轮廓，这些特征部位各不相同，将人脸特征分割为多个不同部位，获取对应的特征点集，将其分别拟合成不同的封闭曲线，通过封闭曲线可以得到不同的人脸特征区域，便于分别进行渲染，使得渲染操作更有针对性，从而提高渲染效果。

可选的，脸部轮廓特征点集对应的人脸特征区域不包括左眉、右眉、左眼、右眼、鼻梁、鼻子、上嘴唇、下嘴唇等特征点集对应的人脸特征区域，避免在对脸部轮廓特征区域进行渲染的同时对左眉、右眉、左眼、右眼、鼻梁、鼻子、上嘴唇、下嘴唇等特征区域进行渲染，从而影响整体渲染效果。

可选的，利用目标着色值对实时图像中的人脸特征区域进行渲染的步骤之前还包括以下步骤：根据着色指令确定待渲染的人脸特征区域。由于特征区域有多个，在渲染时可以从中选择一个或多个人脸特征区域进行渲染。

在其中一个实施例中，将左眉特征点集、右眉特征点集、左眼特征点集、右眼特征点集、鼻梁特征点集、鼻子特征点集、上嘴唇特征点集、下嘴唇特征点集和脸部轮廓特征点集分别拟合成对应的封闭曲线的步骤包括以下步骤：

对任意一个特征点集中的特征点排序，在排序后的各特征点中选择任意一个特征点为目标特征点，确定目标特征点与上一特征点的连线的第一中点，以及目标特征点与下一特征点的连线的第二中点，将第一中点和第二中点的连线平移到目标特征点上，其中，平移后的连线的中点位于目标特征点的位置；

将平移后的第一中点作为目标特征点与上一特征点的控制点，根据目标特征点、上一特征点和控制点绘制二次贝塞尔曲线；其中，排序最前的特征点的上一特征点为排序最后的特征点；

与当前特征点集对应的封闭曲线包括所有排序相邻的特征点之间的二次贝塞尔曲线。

在本实施例中，二次贝塞尔曲线包括三个节点，三个节点为曲线两端的端点和中间的控制点，特征点集中排序相邻的两个特征点作为二次贝塞尔曲线两端的端点，中间的控制点通过特征点连线的中点来确定，根据目标特征点、上一特征点和控制点就可以绘制二次贝塞尔曲线；所有排序相邻的特征点之间的二次贝塞尔曲线构成封闭曲线，围成一个人脸特征区域。二次贝塞尔曲线是一条圆滑的弧线，利用它构成封闭曲线，可以使封闭曲线围成的人脸特征区域边缘显得自然平滑，进一步提升渲染效果。

可选的，当确定目标特征点、上一特征点和控制点后，可以根据以下公式来绘制二次贝塞尔曲线：

B(t)＝(1-t)²P₀+2t(l-t)P₁+t²P₂，t∈[0，1]

将平移后的第二中点作为目标特征点与下一特征点的控制点，根据目标特征点、下一特征点和控制点绘制二次贝塞尔曲线；其中，排序最后的特征点的下一特征点为排序最前的特征点；

在本实施例中，封闭曲线主要是由二次贝塞尔曲线构成，二次贝塞尔曲线是由线段与三个节点组成，三个节点为两端的端点和中间的控制点，特征点集中排序相邻的两个特征点作为二次贝塞尔曲线两端的端点，中间的控制点通过特征点连线的中点来确定，根据目标特征点、下一特征点和控制点就可以绘制二次贝塞尔曲线；所有排序相邻的特征点之间的二次贝塞尔曲线构成封闭曲线，围成一个人脸特征区域。二次贝塞尔曲线是一条圆滑的弧线，利用它构成封闭曲线，可以使封闭曲线围成的人脸特征区域边缘显得自然平滑，进一步提升渲染效果。

在其中一个实施例中，根据拟合曲线确定人脸特征区域的步骤包括以下步骤：

对当前特征点集拟合的封闭曲线围成的区域进行扫描，获得扫描线；

获取当前特征点集中各排序相邻特征点之间的连线，根据扫描线与各连线的相交状态生成活动边表；其中，活动边表为与当前扫描线相交的连线的集合；

根据活动边表中的连线确定与当前扫描线相交的二次贝塞尔曲线，根据当前扫描线与该二次贝塞尔曲线的交点在当前扫描线上选取扫描线段；

当前特征点集所确定的人脸特征区域包括所有扫描线段。

在本实施例中，对特征点集拟合的封闭曲线围成的区域进行扫描，活动边表确定与扫描线相交的二次贝塞尔曲线，再利用扫描线与二次贝塞尔曲线的交点在扫描线上选取扫描线段，所有的扫描线段特征点集所确定的人脸特征区域。扫描线段由多个扫描像素点构成，通过此种方式，可以准确获得人脸特征区域中的每一个像素点，便于统一对人脸特征区域进行渲染。

活动边表实时记录与当前扫描线相交的连线的集合，相比于二次贝塞尔曲线，呈现为直的线段的连线与扫描线的相交状态更容易获取。利用活动边表可以动态获取当前扫描线与各连线的相交状态。由于扫描线存在步进关系，在扫描过程中，当一条连线出现在活动边表中，且到某一条扫描线时该连线不再出现，则在后续扫描时该连线也不会在出现，例如，扫描线1与连线1、2、3相交，扫描线2与连线1、3相交，则扫描线2以后的任意扫描线均不与连线2相交，即把线段2移出活动边表，如此在生成活动边表时，无需计算扫描线与已移除的连线的相交状态，简化活动边表的动态更新过程，提高处理效率。

连线是各排序相邻特征点之间的线段，二次贝塞尔曲线的两端是排序相邻的特征点，因此连线与二次贝塞尔曲线是一一对应的，根据活动边表中的连线可以确定与当前扫描线相交的二次贝塞尔曲线。根据当前扫描线与该二次贝塞尔曲线的交点在当前扫描线上选取扫描线段，由于扫描线经过一个封闭区域一般有两个交点，扫描线段是以两个交点为端点的线段。

可选的，当活动变表中原有的连线并未移除，且新增两条有共同端点的连线时，将当前扫描线与新增两条连线对应的二次贝塞尔曲线的交点之间的线段作为多余线段，从当前扫描线与原有连线的二次贝塞尔曲线的交点之间的扫描线段中剔除多余线段。在人脸特征部位的点集拟合而成的封闭曲线围成的可能是凹多边形区域，此时形成凹口部位中的扫描线不属于人脸特征区域，因此可以将其剔除，使人脸特征区域更加准确。

在其中一个实施例中，根据色彩数据获取其他区域的色差范围的步骤包括以下步骤：

对色彩数据进行傅里叶变换，再对傅里叶变换结果进行滤波，获取其他区域的色差范围。

在本实施例中，对色彩数据进行傅里叶变换和滤波操作，可以将色彩数据从空间域转到频域，从而可以非常便捷地获取色差范围。

在其中一个实施例中，根据色彩数据获取其他区域的色差范围的步骤之后还包括以下步骤：

对各特征点集对应的人脸特征区域进行颜色统计，根据统计结果确定亮度高于第一预设值且对比度低于第二预设值的目标调整区域；

在利用目标着色值对实时图像中的人脸特征区域进行渲染的步骤之后还包括以下步骤：对目标调整区域进行色彩均衡操作。

在本实施例中，进行渲染后可以对目标调整区域进行色彩均衡操作，目标调整区域是人脸特征区域中亮度高于第一预设值且对比度低于第二预设值的区域，对该区域进行色彩均衡操作可以改善虚拟妆容图像中人的面部色彩，加强虚拟妆容的显示效果。其中第一预设值和第二预设值可以根据需要进行修改。

可选的，目标调整区域可以是脸部轮廓特征点集、鼻梁特征点集、鼻子特征点集各自对应的人脸特征区域，不包括左眉、右眉、左眼、右眼、上嘴唇、下嘴唇等特征点集对应的人脸特征区域。

在其中一个实施例中，虚拟化妆的方法还包括以下步骤：

接收第一修改指令，根据第一修改指令选择目标特征点集，从第一修改指令中提取矫正参数，根据矫正参数对目标特征点集中的特征点进行修正，返回至将目标特征点集拟合成封闭曲线的步骤。

在本实施例中，特征点集可以通过第一修改指令进行修正，以适应各种不同的场景，如用户自主修改，或人脸识别错误等，加强本方案在实际中的适用性。

在其中一个实施例中，虚拟化妆的方法还包括以下步骤：

接收第二修改指令，根据第二修改指令选择目标人脸特征区域，从第二修改指令中提取调整参数，根据调整参数对目标着色值进行调整，利用调整后的目标着色值对实时图像中的目标人脸特征区域进行渲染。

在本实施例中，利用目标着色值进行渲染之后，可以通过第二修改指令对目标着色值进行调整，并重新进行渲染，便于化妆对象选择不同的妆容，而且只需调整目标着色值，加快换妆的过程。

在其中一个实施例中，获取化妆对象的实时图像的步骤包括以下步骤：

对化妆对象进行拍摄，获取拍摄的预览图像，对拍摄预览图像进行去噪预处理，获得实时图像。

在本实施例中，使用的是拍摄时的预览图像，预览图像可以实时变化，通过预览图像进行虚拟化妆可以实时显示虚拟化妆的效果，而且对其进行去噪预处理，可以提高后续对图像中人脸识别的准确度。

根据上述虚拟化妆的方法，本发明实施例还提供一种虚拟化妆的系统，以下就本发明的虚拟化妆的系统的实施例进行详细说明。

参见图2所示，为本发明一个实施例的虚拟化妆的系统的结构示意图。该实施例中的虚拟化妆的系统包括：

图像获取单元210，用于获取化妆对象的实时图像；

人脸识别单元220，用于对实时图像中的人脸特征进行识别，获取人脸特征区域；

色差获取单元230，用于获取实时图像中除人脸特征区域外的其他区域的色彩数据，根据色彩数据获取其他区域的色差范围；

着色处理单元240，用于接收着色指令，根据着色指令获取初始着色值，根据初始着色值和色差范围计算目标着色值；

图像渲染单元250，用于利用目标着色值对实时图像中的人脸特征区域进行渲染，得到化妆对象的虚拟妆容图像。

在其中一个实施例中，人脸识别单元220获取实时图像中的人脸特征部位的点集，对人脸特征部位的点集进行拟合，获得拟合曲线，根据拟合曲线确定人脸特征区域。

人脸识别单元220将左眉特征点集、右眉特征点集、左眼特征点集、右眼特征点集、鼻梁特征点集、鼻子特征点集、上嘴唇特征点集、下嘴唇特征点集和脸部轮廓特征点集分别拟合成对应的封闭曲线。

在其中一个实施例中，人脸识别单元220对任意一个特征点集中的特征点排序，在排序后的各特征点中选择任意一个特征点为目标特征点，确定目标特征点与上一特征点的连线的第一中点，以及目标特征点与下一特征点的连线的第二中点，将第一中点和第二中点的连线平移到目标特征点上，其中，平移后的连线的中点位于目标特征点的位置；

在其中一个实施例中，人脸识别单元220对当前特征点集拟合的封闭曲线围成的区域进行扫描，获得扫描线；获取当前特征点集中各排序相邻特征点之间的连线，根据扫描线与各连线的相交状态生成活动边表；其中，活动边表为与当前扫描线相交的连线的集合；根据活动边表中的连线确定与当前扫描线相交的二次贝塞尔曲线，根据当前扫描线与该二次贝塞尔曲线的交点在当前扫描线上选取扫描线段；当前特征点集所确定的人脸特征区域包括所有扫描线段。

在其中一个实施例中，色差获取单元230对色彩数据进行傅里叶变换，再对傅里叶变换结果进行滤波，获取其他区域的色差范围。

在其中一个实施例中，如图3所示，虚拟化妆的系统还包括色彩均衡单元260；

色差获取单元230对各特征点集对应的人脸特征区域进行颜色统计，根据统计结果确定亮度高于第一预设值且对比度低于第二预设值的目标调整区域；

色彩均衡单元260在图像渲染单元250执行渲染操作之后，对目标调整区域进行色彩均衡操作。

在其中一个实施例中，如图4所示，虚拟化妆的系统还包括第一修改单元270，用于接收第一修改指令，根据第一修改指令选择目标特征点集，从第一修改指令中提取矫正参数，根据矫正参数对目标特征点集中的特征点进行修正，人脸识别单元220重新将目标特征点集拟合成封闭曲线。

在其中一个实施例中，如图5所示，虚拟化妆的系统还包括第二修改单元280，用于接收第二修改指令，根据第二修改指令选择目标人脸特征区域，从第二修改指令中提取调整参数，根据调整参数对目标着色值进行调整；

图像渲染单元250利用调整后的目标着色值对实时图像中的目标人脸特征区域进行渲染。

在其中一个实施例中，图像获取单元210对化妆对象进行拍摄，获取拍摄的预览图像，对拍摄预览图像进行去噪预处理，获得实时图像。

本发明的虚拟化妆的系统与本发明的虚拟化妆的方法一一对应，在上述虚拟化妆的方法的实施例中阐述的技术特征及其有益效果均适用于虚拟化妆的系统的实施例中。

在一个具体的实施例中，本发明的虚拟化妆的方法可以应用在虚拟化妆软件中。例如，个人用户在家中网购时想要尝试妆容效果，可先安装应用本发明的虚拟化妆的方法的软件，之后进行虚拟试妆，再确认是否有购买必要；或者，化妆品厂商可在卖场安装一个智能平板设备，厂商预先安装好应用本发明的虚拟化妆的方法的软件，并将预设妆容参数(供用户选取着色、材质、区域模板)输入软件系统中，顾客可通过该软件进行虚拟试妆，而不用真实上妆。

在实际应用时，可以通过智能终端设备上的摄像头拍摄化妆对象，得到拍摄的预览图像，目前主流摄像头的预览格式为YUV420图像，分辨率不等，在得到预览图像以后，可以对其进行预处理。此预览图像主要是用于人脸识别，无需过高的分辨率，分辨率大小设置为640*480即可，因此预处理时可以将其预览图像的分辨率缩放至640*480级别，再进行灰度化处理，然后对灰度化图像进行去噪，从而完成预处理操作。在预处理之前，还可以保留一份原始预览图像备份，用于后续渲染操作，也可以在原始预览图像上进行渲染操作。

对预处理后的图像中的人脸特征进行识别，在识别时可以使用dlib人脸检测库，dlib人脸检测库检测效率良好，能够有效获取人脸特征点。

如图6所示，在获取人脸特征部位的点集后，可将其分割为左眉特征点集合LEB(18-22)，右眉特征点集合REB(23-27)，左眼特征点集合LE(37-42)，右眼特征点集合RE(43-48)，鼻梁特征点集合NB(28-31)，鼻子特征点集合N(32-36)，上嘴唇特征点集合UM(49-55、61-65)，下嘴唇特征点集合DM(49、55-61、65-68)，脸部轮廓特征点集合F(1-17)，一共9个集合。

以上嘴唇特征点集合UM渲染为例，传统方法是连接特征点即可，然而这样渲染出的嘴唇形状不自然平滑，因此本发明用近似曲线把点集UM扩充为一个封闭的集合记为UM-EXT，此处使用二次贝塞尔曲线连接，下式为二次贝塞尔曲线公式：

B(t)＝(1-t)²P₀+2t(1-t)P₁+t²P₂，t∈[0，1]

根据离散点集UM生成二次贝塞尔曲线控制点集合UM-C后，对t做积分，之后进行去重和补全后得到集合UM-EXT。具体做法为，对有序集合UM进行排序，遍历UM，生成同样元素个数的点集UM’，其中每个点均为UM中相邻两点连线的中点；对于UM集合中一点P₀，其与上一点P₁连线的中点为P′₁，与下一点P₂连线的中点为P′₂，连接P′₁和P′₂，将该线段P′₁P′₂平移至点P₀处，平移后的线段P′₁P′₂的中点位于点P₀的位置，平移后的线段P′₁P′₂的两端端点为C₁和C₂，其可以作为P₀和P₁、P₀和P₂之间的控制点。按照此方法对离散点集UM中所有特征点进行处理后，相邻两点之间会有两个控制点，选择其中一个控制点即可，即上述实施例中将平移后的第一中点作为目标特征点与上一特征点的控制点，将平移后的第二中点作为目标特征点与下一特征点的控制点这两种情形。将两个特征点和控制点通过二次贝塞尔曲线公式生成二次贝塞尔曲线，离散点集UM中各特征点对应的二次贝塞尔曲线可以围成封闭凹多边形；去重和补全操作后必须满足其中UM记为UM-EXT的索引集合。

对封闭凹多边形进行形态学处理，步骤如下：

对封闭凹多边形围成的区域从y轴顺序开始建立扫描线，根据扫描线与集合UM中的有序点练成的线段的相交状态生成活动边表ATE，活动边表ATE中的每一条活动边为集合UM中的有序点练成的线段；

每条扫描线存在步进关系，即加入扫描线scan-1与线段1、2、3相交，scan-2与1、3相交，则scan-2后的任意扫描线均不与线段2相交，即把线段2移除活动边表AET；

如图7所示，与任意一条扫描线相交的活动边会有多条，一般在有两条活动边时，选取扫描线与两条活动边对应的二次贝塞尔曲线的两个交点之间的线段，当活动变表中原有的活动边并未移除，且新增两条有共同端点的活动边时，将当前扫描线与新增两条活动边对应的二次贝塞尔曲线的交点之间的线段作为多余线段，从当前扫描线与原有活动边对应的二次贝塞尔曲线的交点之间的扫描线段中剔除多余线段，如图7中的凹口部分，形成凹口部位中的扫描线不属于人脸特征区域，因此可以将其剔除。

扫描线段由多个扫描像素点构成，通过此种方式，可以准确获得人脸特征区域中的每一个像素点，进而确定人脸特征区域。

对人脸特征区域以外的图像域进行傅里叶变换，进行滤波操作，可以将图像域中的色彩数据从空间域转到频域，从而获取当前色差范围；对各分割区域进行颜色直方图统计，获取亮度高且对比度低的区域。

对于用户给定输入的着色值C₀，结合色差范围区间B，预设的可调节的区间A，目标着色值C满足以下公式：C＝(1-t)*C₀+t*k，t∈A，k∈B。利用目标着色值对人脸特征区域进行渲染。

根据上述得到亮度高且对比度低的区域进行色彩均衡操作，主要用于改善面部色彩，使之更加白皙，脸部特征为亮度高且对比度低的区域，对于眼睛、眉毛、嘴唇部分则是亮度低且对比度高的区域，对该区域不做色彩均衡操作，保留上一步的渲染效果。

用户还可以通过手动选取成像后渲染不理想的地方，设备收集到矫正参数后存储其对应区域，并将该区域通过点集进行重新拟合，实现对人脸特征区域的修正，在后续的渲染过程中也可以调整渲染后的像素值。此处仍以上嘴唇进行说明，对于特征点集合UM，用户可修正UM中的特征点，重新计算渲染区域，对于渲染结果不理想的区域，调整目标着色值，并将8×8通域的色彩和梯度值进行记录，用于后续修正。

通过以上步骤，即可实现实时渲染的虚拟试妆的整个过程，该过程能够实时预览虚拟化妆的效果，能够通过适应环境光照等要素来渲染图像，使生成的妆容图像更真实自然，而且用户还可以手动矫正渲染后图像不准确的颜色部分，达到理想的效果。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成。所述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，包括上述方法所述的步骤。所述的存储介质，包括：ROM/RAM、磁碟、光盘等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种虚拟化妆的方法，其特征在于，包括以下步骤：

获取化妆对象的实时图像；

对所述实时图像中的人脸特征进行识别，获取所述实时图像中的人脸特征区域；

获取所述实时图像中除所述人脸特征区域外的其他区域的色彩数据，根据所述色彩数据获取所述其他区域的色差范围；

接收着色指令，根据所述着色指令获取初始着色值，根据所述初始着色值和所述色差范围计算目标着色值；

利用所述目标着色值对所述实时图像中的人脸特征区域进行渲染，得到所述化妆对象的虚拟妆容图像。

2.根据权利要求1所述的虚拟化妆的方法，其特征在于，所述获取所述实时图像中的人脸特征区域的步骤包括以下步骤：

获取所述实时图像中的人脸特征部位的点集，对所述人脸特征部位的点集进行拟合，获得拟合曲线，根据所述拟合曲线确定所述人脸特征区域。

3.根据权利要求2所述的虚拟化妆的方法，其特征在于，所述人脸特征部位的点集包括左眉特征点集、右眉特征点集、左眼特征点集、右眼特征点集、鼻梁特征点集、鼻子特征点集、上嘴唇特征点集、下嘴唇特征点集和脸部轮廓特征点集；

所述对所述人脸特征部位的点集进行拟合，获得拟合曲线的步骤包括以下步骤：

将所述左眉特征点集、所述右眉特征点集、所述左眼特征点集、所述右眼特征点集、所述鼻梁特征点集、所述鼻子特征点集、所述上嘴唇特征点集、所述下嘴唇特征点集和所述脸部轮廓特征点集分别拟合成对应的封闭曲线。

4.根据权利要求3所述的虚拟化妆的方法，其特征在于，所述将所述左眉特征点集、所述右眉特征点集、所述左眼特征点集、所述右眼特征点集、所述鼻梁特征点集、所述鼻子特征点集、所述上嘴唇特征点集、所述下嘴唇特征点集和所述脸部轮廓特征点集分别拟合成对应的封闭曲线的步骤包括以下步骤：

对任意一个特征点集中的特征点排序，在排序后的各特征点中选择任意一个特征点为目标特征点，确定所述目标特征点与上一特征点的连线的第一中点，以及所述目标特征点与下一特征点的连线的第二中点，将所述第一中点和所述第二中点的连线平移到所述目标特征点上，其中，平移后的连线的中点位于所述目标特征点的位置；

将平移后的第一中点作为所述目标特征点与所述上一特征点的控制点，根据所述目标特征点、所述上一特征点和所述控制点绘制二次贝塞尔曲线；其中，排序最前的特征点的上一特征点为排序最后的特征点；

5.根据权利要求3所述的虚拟化妆的方法，其特征在于，所述将所述左眉特征点集、所述右眉特征点集、所述左眼特征点集、所述右眼特征点集、所述鼻梁特征点集、所述鼻子特征点集、所述上嘴唇特征点集、所述下嘴唇特征点集和所述脸部轮廓特征点集分别拟合成对应的封闭曲线的步骤包括以下步骤：

将平移后的第二中点作为所述目标特征点与所述下一特征点的控制点，根据所述目标特征点、所述下一特征点和所述控制点绘制二次贝塞尔曲线；其中，排序最后的特征点的下一特征点为排序最前的特征点；

6.根据权利要求4或5所述的虚拟化妆的方法，其特征在于，所述根据所述拟合曲线确定所述人脸特征区域的步骤包括以下步骤：

获取当前特征点集中各排序相邻特征点之间的连线，根据所述扫描线与各所述连线的相交状态生成活动边表；其中，所述活动边表为与当前扫描线相交的连线的集合；

根据所述活动边表中的连线确定与当前扫描线相交的二次贝塞尔曲线，根据当前扫描线与该二次贝塞尔曲线的交点在当前扫描线上选取扫描线段；

当前特征点集所确定的人脸特征区域包括所有扫描线段。

7.根据权利要求6所述的虚拟化妆的方法，其特征在于，所述根据所述色彩数据获取所述其他区域的色差范围的步骤包括以下步骤：

对所述色彩数据进行傅里叶变换，再对傅里叶变换结果进行滤波，获取所述其他区域的色差范围。

8.根据权利要求6所述的虚拟化妆的方法，其特征在于，所述根据所述色彩数据获取所述其他区域的色差范围的步骤之后还包括以下步骤：

对各所述特征点集对应的人脸特征区域进行颜色统计，根据统计结果确定亮度高于第一预设值且对比度低于第二预设值的目标调整区域；

在所述利用所述目标着色值对所述实时图像中的人脸特征区域进行渲染的步骤之后还包括以下步骤：对所述目标调整区域进行色彩均衡操作。

9.根据权利要求6所述的虚拟化妆的方法，其特征在于，还包括以下步骤：

接收第一修改指令，根据所述第一修改指令选择目标特征点集，从所述第一修改指令中提取矫正参数，根据矫正参数对所述目标特征点集中的特征点进行修正，执行将所述目标特征点集拟合成封闭曲线的步骤。

10.根据权利要求6所述的虚拟化妆的方法，其特征在于，还包括以下步骤：

接收第二修改指令，根据所述第二修改指令选择目标人脸特征区域，从所述第二修改指令中提取调整参数，根据调整参数对所述目标着色值进行调整，利用调整后的目标着色值对所述实时图像中的目标人脸特征区域进行渲染。

11.根据权利要求6所述的虚拟化妆的方法，其特征在于，所述获取化妆对象的实时图像的步骤包括以下步骤：

对所述化妆对象进行拍摄，获取拍摄的预览图像，对所述拍摄预览图像进行去噪预处理，获得所述实时图像。

12.一种虚拟化妆的系统，其特征在于，包括：

图像获取单元，用于获取化妆对象的实时图像；

人脸识别单元，用于对所述实时图像中的人脸特征进行识别，获取人脸特征区域；

色差获取单元，用于获取所述实时图像中除所述人脸特征区域外的其他区域的色彩数据，根据所述色彩数据获取所述其他区域的色差范围；

着色处理单元，用于接收着色指令，根据所述着色指令获取初始着色值，根据所述初始着色值和所述色差范围计算目标着色值；

图像渲染单元，用于利用所述目标着色值对所述实时图像中的人脸特征区域进行渲染，得到所述化妆对象的虚拟妆容图像。