CN108682050A - 基于三维模型的美颜方法和装置 - Google Patents

Abstract

本申请提出了一种基于三维模型的美颜方法和装置，其中，方法包括：检测采集的二维人脸图像获取二维面部特征点，并将二维面部特征点与预存的三维面部特征点进行匹配；若获知存在与二维面部特征点匹配成功的目标三维面部特征点，则获取用户预先设置的与目标三维面部特征点对应的目标美颜参数；根据目标美颜参数对与目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。由此，提高了美颜效率，优化了美颜的效果。

Description

基于三维模型的美颜方法和装置

技术领域

本申请涉及人像处理技术领域，尤其涉及一种基于三维模型的美颜方法和装置。

背景技术

随着终端设备的普及，越来越多的用户习惯使用终端设备进行拍照，因此，终端设备的拍照功能也越发的多元化，比如，相关拍照应用程序为用户提供美颜功能等。

相关技术中，基于二维的人脸图像进行美颜处理，处理效果不佳，处理后的图像真实感不强，且在基于二维的人脸图像进行美颜处理时，基于统一的默认美颜参数进行美颜，美颜效果千篇一律。

申请内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

本申请第一方面实施例提出了一种基于三维模型的美颜方法，包括以下步骤：检测采集的二维人脸图像获取二维面部特征点，并将所述二维面部特征点与预存的三维面部特征点进行匹配；若获知存在与所述二维面部特征点匹配成功的目标三维面部特征点，则获取用户预先设置的与所述目标三维面部特征点对应的目标美颜参数；根据所述目标美颜参数对与所述目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

本申请第二方面实施例提出了一种基于三维模型的美颜装置，包括：匹配模块，用于检测采集的二维人脸图像获取二维面部特征点，并将所述二维面部特征点与预存的三维面部特征点进行匹配；第一获取模块，用于若获知存在与所述二维面部特征点匹配成功的目标三维面部特征点，则获取用户预先设置的与所述目标三维面部特征点对应的目标美颜参数；美颜模块，用于根据所述目标美颜参数对与所述目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

本申请第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如前述第一方面实施例所述的基于三维模型的美颜方法。

本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述第一方面实施例所述的基于三维模型的美颜方法。

本申请提供的技术方案，至少包括如下有益效果：

检测采集的二维人脸图像获取二维面部特征点，并将二维面部特征点与预存的三维面部特征点进行匹配，若获知存在与二维面部特征点匹配成功的目标三维面部特征点，则获取用户预先设置的与目标三维面部特征点对应的目标美颜参数，根据目标美颜参数对与目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。由此，使得对各用户的美颜处理更符合用户的审美，且美颜处理效果和效率得到了提升，尤其是多人合照时可实现差异化处理，增加了用户和产品的粘性。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本申请一个实施例基于三维模型的美颜方法的流程图；

图2为本申请一个实施例所提供的基于三维模型的美颜方法的技术流程示意图；

图3是根据本申请另一个实施例基于三维模型的美颜方法的流程图；

图4是根据本申请又一个实施例基于三维模型的美颜方法的流程图；

图5为本申请一个实施例所提供的深度图像采集组件的结构示意图；

图6是根据本申请还一个实施例基于三维模型的美颜方法的流程图；

图7是根据本申请再一个实施例的基于三维模型的美颜方法的流程图；

图8是根据本申请一个实施例的基于三维模型的美颜装置的结构示意图；

图9是根据本申请另一个实施例的基于三维模型的美颜装置的结构示意图；

图10是根据本申请又一个实施例的基于三维模型的美颜装置的结构示意图；

图11为本申请实施例所提供的电子设备的结构示意图；

图12为一个实施例中图像处理电路的示意图；以及

图13为作为一种可能的实现方式的图像处理电路的示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

针对现有技术中基于二维的人脸图像进行美颜处理，处理效果不佳，处理后的图像真实感不强的技术问题，本申请实施例中，通过获取二维的人脸图像，得到对应的人脸的三维模型，基于人脸的三维模型进行美颜，相较于二维美颜，考量了人脸的深度信息，实现了人脸不同部位的区分化美颜，提高了美颜的真实感，比如，基于人脸的三维模型进行美颜，在对鼻子部位进行磨皮时，由于深度信息有助清晰的区分出鼻子与其他部位，因而，避免对其他部位误磨皮导致人脸模糊等。

另外，考虑到在进行人脸的三维模型重建时，计算量较大，本申请中，预先存储用户的三维模型，在下次使用时，匹配之前已建立的三维模型进行基于三维模型的美颜，提高了美颜的效率，且在可预先存储三维模型的基础上，还可以预先存储与该三维模型匹配的美颜参数，由此，基于适合的美颜参数进行美颜，大大提高了美颜效果，避免美颜处理统一导致的千人一面的技术问题。

下面参考附图描述本申请实施例的基于三维模型的美颜方法和装置。本申请实施例的基于三维模型的美颜方法可以应用于具有深度信息和彩色信息获取装置的计算机设备，其中，具有深度信息和彩色信息(二维信息)获取装置功能的装置可以是双摄系统等，该计算机设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。

图1是根据本申请一个实施例的基于三维模型的美颜方法的流程图，如图1所示，该方法包括以下步骤：

步骤101，检测采集的二维人脸图像获取二维面部特征点，并将二维面部特征点与预存的三维面部特征点进行匹配。

其中，本申请实施例中的二维人脸图像可以表现为照片等。作为一种可能的实现方式，获取二维人脸信息的硬件装置为可见光RGB图像传感器，可以基于计算机设备中的RGB可见光图像传感器获取二维人脸图像。具体地，可见光RGB图像传感器可以包括可见光摄像头，可见光摄像头可以捕获由成像对象反射的可见光进行成像，得到成像对象对应的二维人脸图像。

应当理解的是，人脸的三维模型实际上是由关键点以及关键点连接形成的三角网络搭建的，其中，对整个三维模型的模型形状具有主要影响的部位对应的关键点可以理解为本申请实施例中的面部特征点，该面部特征点可以区分出不同的三维模型，因而，可以对应于人脸差异化体现的鼻尖、鼻翼、眼角、嘴角、眉峰等关键部位的关键点。

在本申请的实施例中，可以通过图像识别的技术检测二维人脸图像获取二维面部特征点，比如检测鼻尖、鼻翼、眼角、嘴角、眉峰等二维面部特征点，进而，基于二维面部特征点之间的距离和位置关系与预存的三维面部特征点进行匹配，当二维面部特征点之间的距离和位置关系与预存的三维面部特征点之间的距离和位置关系较为匹配时，则认为该三维面部特征点是与当前二维面部特征点来源于同一个用户。

步骤102，若获知存在与二维面部特征点匹配成功的目标三维面部特征点，则获取用户预先设置的与目标三维面部特征点对应的目标美颜参数。

应当理解的是，在本申请的实施例中，为了提高美颜效率和美颜效果，以满足用户的个性化美颜需求以及用户和产品之间的粘性，预先存储使用过或者注册过美颜的用户(通常为机主用户以及机主用户的亲人能较常使用该美颜功能的用户)的三维模型，以及适合于该三维模型的美颜参数，该适合于该三维模型的美颜参数可以是记录的用户初次或者前几次使用美颜功能时，根据个人喜好设置的美颜参数学习得到的，也可以是基于三维模型按照大众审美标准进行主动匹配生成后，用户调整设置后，比如，针对塌鼻梁的三维模型生成的美颜参数包括鼻梁提高对应值，用户根据该拔高的鼻梁，按照个人喜好调整后，记录该最终的美颜参数。

为了使得本领域的技术人员对上述用户预先设置的与目标三维面部特征点对应的目标美颜参数的过程更加清楚，下面结合其在具体场景中的应用进行举例，说明如下：

在本示例中，标定，是指对摄像头进行标定，确定人脸图像中的关键点在三维空间中对应的关键点。

在注册或者初次使用阶段，如图2所示，可以通过摄像头模组预览扫描人脸，获取用户多个角度的二维人脸图像，比如，采集将近20张不同角度的二维人脸图像和深度图用于后续三维人脸重建，其中，在扫描时可提示缺失角度和扫描进度，以及与每个二维人脸图像对应的深度信息，根据深度信息和二维人脸图像进行三维重构，获取人脸的三维模型。对3D人脸模型进行五官分析，如脸型、鼻宽、鼻高、眼睛大小、嘴唇厚度等，给出美颜建议信息，若用户确认美颜建议信息或者调整该美颜信息，根据最后的美言建议信息确定美颜参数。

具体地，若获知存在与二维面部特征点匹配成功的目标三维面部特征点，则获取用户预先设置的与该目标三维面部特征点对应的目标美颜参数，该目标美颜参数通常较为符合用户美颜需求的个人喜好。

步骤103，根据目标美颜参数对与目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

具体地，根据上述获得的目标美颜参数对与目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像，以实现基于三维的美颜处理效果较为真实，且符合用户的个人喜好。

在本申请的一个实施例中，当获取美颜处理后的三维人脸图像后，还可以根据用户的个人需求将该三维人脸图像映射到二维，以实现用户二维图像处理的获取需求。

在实际应用中，可能由于用户为首次使用该美颜功能等从而当前二维面部特征点没有匹配成功的目标三维面部特征点，则为了实现基于三维模型的美颜，需要根据当前人脸的二维图像进行实时三维模型的构建。

具体而言，如图3所示，在上述步骤将二维面部特征点与预存的三维面部特征点进行匹配之后，该方法还包括：

步骤201，若获知不存在与二维面部特征点匹配成功的目标三维面部特征点，则获取与二维人脸图像对应的深度信息。

步骤202，根据深度信息和二维人脸图像，对人脸进行三维重构，获取与人脸对应的三维模型。

步骤203，根据预设的默认美颜参数对与人脸对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

具体地，如果获知不存在与二维面部特征点匹配成功的目标三维面部特征点，则获取与二维人脸图像对应的深度信息，以便于基于该深度信息和二维图像信息对人脸进行三维重构，获取与人脸对应的三维模型。

作为一种可能的实现方式，获取深度信息的方式为通过结构光传感器获取，具体地，如图4所示，获取二维人脸图像对应的深度信息的方式包括如下步骤:

步骤301，向当前用户人脸投射结构光。

步骤302，拍摄经当前用户人脸调制的结构光图像。

步骤303，解调结构光图像的各个像素对应的相位信息以得到二维人脸图像对应的深度信息。

在本示例中，参见图5计算机设备为智能手机1000时，深度图像采集组件12包括结构光投射器121和结构光摄像头122。步骤301可以由结构光投射器121实现，步骤302和步骤303可以由结构光摄像头122实现。

也即是说，结构光投射器121可用于向当前用户人脸投射结构光；结构光摄像头122可用于拍摄经当前用户人脸调制的结构光图像，以及解调结构光图像的各个像素对应的相位信息以得到深度信息。

具体地，结构光投射器121将一定模式的结构光投射到当前用户的人脸上后，在当前用户的人脸的表面会形成由当前用户人脸调制后的结构光图像。结构光摄像头122拍摄经调制后的结构光图像，再对结构光图像进行解调以得到深度信息。其中，结构光的模式可以是激光条纹、格雷码、正弦条纹、非均匀散斑等。

其中，结构光摄像头122可进一步用于解调结构光图像中各个像素对应的相位信息，将相位信息转化为深度信息，以及根据深度信息生成深度图像。

具体地，与未经调制的结构光相比，调制后的结构光的相位信息发生了变化，在结构光图像中呈现出的结构光是产生了畸变之后的结构光，其中，变化的相位信息即可表征物体的深度信息。因此，结构光摄像头122首先解调出结构光图像中各个像素对应的相位信息，再根据相位信息计算出深度信息。

从而，根据深度信息和二维人脸图像进行三维重构，赋予相关点深度信息和二维信息，重构获取人脸的三维模型，该人脸的三维模型为三维立体模型可以充分还原出人脸，相对二维人脸模型，还包括了人脸的五官的立体角度等信息。

根据应用场景的不同，根据深度信息和二维人脸图像进行三维重构获取人脸三维模型的方式包括但是不限于以下方式：

作为一种可能的实现方式，对每一张二维人脸图像进行关键点识别，得到定位关键点，对二维人脸图像，根据定位关键点的深度信息和定位关键点在二维人脸图像上的距离，包括二维空间上的x轴距离和y轴距离，确定定位关键点在三维空间中的相对位置，根据定位关键点在三维空间中的相对位置，连接相邻的定位关键点，生成人脸三维模型。其中，关键点为人脸上的面部特征点，可包括眼角、鼻尖、嘴角上的点等。

作为另一种可能的实现方式，获取多个角度二维人脸图像，并筛选出清晰度较高的人脸图像作为原始数据，进行特征点定位，利用特征定位结果粗略估计人脸角度，根据人脸的角度和轮廓建立粗糙的人脸三维形变模型，并将人脸特征点通过平移、缩放操作调整到与人脸三维形变模型在同一尺度上，并抽取出与人脸特征点对应点的坐标信息形成稀疏人脸三维形变模型。

进而，根据人脸角度粗略估计值和稀疏人脸三维形变模型，进行微粒群算法迭代人脸三维重构，得到人脸三维几何模型，在得到人脸三维几何模型后，采用纹理张贴的方法将输入二维图像中的人脸纹理信息映射到人脸三维几何模型，得到完整的人脸三维模型。

进一步地，在人脸的三维模型构建完成后，根据预设的默认美颜参数对与人脸对应的三维模型进行美颜，获取美颜处理后的三维人脸头像，该预设的默认美颜参数可以是根据大众审美设定的。

在本申请的一个实施例中，为了进一步提升美颜效果，提高当前二维人脸图像和美颜处理后的三维模型的连接紧密性，还可以在三维模型中体现当前反映在二维人脸图像上的环境参数，比如环境亮度等。

在本申请的一个实施例中，如图6所示，在上述步骤103之后，该方法还包括：

步骤401，检测二维面部特征点的亮度信息。

步骤402，根据亮度信息调整美颜处理后的三维人脸头像的亮度。

由于二维面部特征点中的亮度信息反映了环境亮度对在人脸上的分布效果，基于该亮度信息处理三维人脸头像，一方面，使得当前二维人脸图像与三维人脸图像连接紧密，使得当前三维人脸图像处理后与当前的环境更加匹配，真实感更强，另一方面，基于亮度信息的分布可以进一步强调出人脸的三维效果，美颜处理效果更优。

具体而言，可以基于人脸面部特征点的像素值检测出二维面部特征点的亮度信息，进而，基于该亮度信息调整美颜处理后的三维人脸头像的亮度，以使得美颜处理后的人像反映了当前环境亮度在人脸上的真实分布。

综上，本申请实施例的基于三维模型的美颜方法，检测采集的二维人脸图像获取二维面部特征点，并将二维面部特征点与预存的三维面部特征点进行匹配，若获知存在与二维面部特征点匹配成功的目标三维面部特征点，则获取用户预先设置的与目标三维面部特征点对应的目标美颜参数，根据目标美颜参数对与目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。由此，使得对各用户的美颜处理更符合用户的审美，且美颜处理效果和效率得到了提升，尤其是多人合照时可实现差异化处理，增加了用户和产品的粘性。

基于以上实施例，应当理解的是，预先建立的三维模型可能仅仅对应于用户的一种面部表情或者有限的几种面部表情，因而，仅仅基于预先存储的与当前用户匹配的三维模型进行美颜，可能反映不出当前人脸三维图像的真实面部表情信息等，导致美颜处理与原始的二维人脸图像分离，为了使得美颜处理后的三维人脸图像与二维人脸图像联系紧密，在本申请的实施例中，还可对预存的美颜参数进行适应性的调整。

图7是根据本申请再一个实施例的基于三维模型的美颜方法的流程图，如图7所示，在获取用户预先设置的与目标三维面部特征点对应的目标美颜参数之后，该方法还包括：

步骤501，计算二维面部特征点与匹配成功的目标三维面部特征点的位置差异值。

应当理解的是，该差异情况反映了当前二维人脸图像和预先构建的三维模型之间的表情差异。

步骤502，将位置差异值与预设的第一阈值和第二阈值进行比较，若获知位置差异值大于第一阈值且小于等于第二阈值，则生成与目标美颜参数对应的调整控件。

其中，第一阈值和第二阈值是根据大量实验数据标定的，当位置差异值在该第一阈值和第二阈值之间时，可以基于对预存的美颜参数的调整实现美颜处理效果与当前二维人脸图像的适配。

在本实施例中，将位置差异值与预设的第一阈值和第二阈值进行比较，若获知位置差异值大于第一阈值且小于等于第二阈值，则表明该基于预存的美颜参数进行处理，可能导致美颜处理效果与当前二维人脸图像不适配，比如，当前二维人脸图像是大笑的表情，而匹配成功的人脸的三维模型是微笑的表情，则显然相对于之前设置的美颜参数，当前三维人脸图像需要的是眼睛缩小，嘴巴弯度提高以适配二维人脸图像中的表情，生成与目标美颜参数对应的调整控件，比如，生成与眼睛大小调整、嘴巴弯度调整等美颜参数对应的调整控件。

步骤503，接收用户对调整控件的触发操作，获取调整后的目标美颜参数。

具体地，接收用户对调整控件的触发操作，获取调整后的目标美颜参数，当该调整控件对进度条时，进度条的不同进度位置可对应于对美颜参数的不同美颜力度，比如，对于鼻子部位，进度条的不同进度位置可对应于鼻子增高方向的不同移动距离等。

步骤504，根据调整后的目标美颜参数对与目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

具体地，根据调整后的目标美颜参数对与目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像，从而使得美颜处理后的三维人脸图像更加适配当前二维人脸图像，处理效果更加贴近当前用户表情，真实感更强。

当然，美颜参数调整的范围是有限的，在当前二维人脸图像的表情和匹配出的三维模型的表情差距较大时，即若获知位置差异值大于第二阈值，则根据深度信息和二维人脸图像，对人脸进行三维重构，获取与人脸对应的三维模型，根据预设的默认美颜参数对与人脸对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

综上，本申请实施例的基于三维模型的美颜方法，能够根据二维人脸图像对匹配出的美颜参数进行调整，使得美颜处理后的三维人脸图像与二维人脸图像联系紧密，提高了美颜处理的真实性。

为了实现上述实施例，本申请还提出一种基于三维模型的美颜装置，图8是根据本申请一个实施例的基于三维模型的美颜装置的结构示意图，如图8所示，该装置包括：匹配模块10、第一获取模块20和美颜模块30。

其中，匹配模块10，用于检测采集的二维人脸图像获取二维面部特征点，并将二维面部特征点与预存的三维面部特征点进行匹配。

第一获取模块20，用于若获知存在与二维面部特征点匹配成功的目标三维面部特征点，则获取用户预先设置的与目标三维面部特征点对应的目标美颜参数。

美颜模块30，用于根据目标美颜参数对与目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

在本申请的一个实施例中，如图9所示，在如图8所示的基础上，该装置还包括模型建立模块40。

在本实施例中，第一获取模块20，还用于若获知不存在与二维面部特征点匹配成功的目标三维面部特征点，则获取与二维人脸图像对应的深度信息。

模型建立模块40，用于根据深度信息和二维人脸图像，对人脸进行三维重构，获取与人脸对应的三维模型；

美颜模块30，还用于根据预设的默认美颜参数对与人脸对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

需要说明的是，前述对基于三维模型的美颜方法实施例的解释说明也适用于该实施例的基于三维模型的美颜装置，此处不再赘述。

综上，本申请实施例的基于三维模型的美颜装置，检测采集的二维人脸图像获取二维面部特征点，并将二维面部特征点与预存的三维面部特征点进行匹配，若获知存在与二维面部特征点匹配成功的目标三维面部特征点，则获取用户预先设置的与目标三维面部特征点对应的目标美颜参数，根据目标美颜参数对与目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。由此，使得对各用户的美颜处理更符合用户的审美，且美颜处理效果和效率得到了提升，尤其是多人合照时可实现差异化处理，增加了用户和产品的粘性。

在本申请的一个实施例中，如图10所示，在如图8所示的基础上，该装置还包括计算模块50、比较生成模块60、第二获取模块70。

其中，计算模块50，用于计算二维面部特征点与匹配成功的目标三维面部特征点的位置差异值。

比较生成模块60，用于将位置差异值与预设的第一阈值和第二阈值进行比较，若获知位置差异值大于第一阈值且小于等于第二阈值，则生成与目标美颜参数对应的调整控件。

第二获取模块70，用于接收用户对调整控件的触发操作，获取调整后的目标美颜参数；

美颜模块30，还用于根据调整后的目标美颜参数对与目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

需要说明的是，前述对基于三维模型的美颜方法实施例的解释说明也适用于该实施例的基于三维模型的美颜装置，此处不再赘述。

综上，本申请实施例的基于三维模型的美颜装置，能够根据二维人脸图像对匹配出的美颜参数进行调整，使得美颜处理后的三维人脸图像与二维人脸图像联系紧密，提高了美颜处理的真实性。

为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被移动终端的处理器执行时实现如前述实施例中所述的基于三维模型的美颜方法。

为了实现上述实施例，本申请还提出一种电子设备。

图11为一个实施例中电子设备200的内部结构示意图。该电子设备200包括通过系统总线210连接的处理器220、存储器230、显示器240和输入装置250。其中，电子设备200的存储器230存储有操作系统和计算机可读指令。该计算机可读指令可被处理器220执行，以实现本申请实施方式的基于三维模型的美颜方法。该处理器220用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的显示器240可以是液晶显示屏或者电子墨水显示屏等，输入装置250可以是显示器240上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

为了实现上述实施例，本申请还提出了一种图像处理电路，该图像处理电路包括如图12所示的图像单元310、深度信息单元320和处理单元330。其中，

图像单元310，用于输出用户当前的二维人脸图像。

深度信息单元320，用于输出与原始二维人脸图像对应的深度信息。

处理单元330，分别与图像单元和深度信息单元电性连接，用于根据深度信息和二维人脸图像进行三维重构，获取人脸三维模型，根据目标美颜参数对与目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

本申请实施例中，图像单元310具体可以包括：电性连接的图像传感器311和图像信号处理(Image Signal Processing，简称ISP)处理器312。其中，

图像传感器311，用于输出二维图像数据。

ISP处理器312，用于根据所述原二维图像数据，输出所述原始二维人脸图像。

本申请实施例中，图像传感器311捕捉的原始图像数据首先由ISP处理器312处理，ISP处理器312对原始图像数据进行分析以捕捉可用于确定图像传感器311的一个或多个控制参数的图像统计信息，包括YUV格式或者RGB格式的人脸图像。其中，图像传感器311可包括色彩滤镜阵列(如Bayer滤镜)，以及对应的感光单元，图像传感器311可获取每个感光单元捕捉的光强度和波长信息，并提供可由ISP处理器312处理的一组原始图像数据。ISP处理器312对原始图像数据进行处理后，得到YUV格式或者RGB格式的人脸图像，并发送至处理单元330。

其中，ISP处理器312在对原始图像数据进行处理时，可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器312可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

作为一种可能的实现方式，深度信息单元320，包括电性连接的结构光传感器321和深度图生成芯片322。其中，

结构光传感器321，用于生成红外散斑图。

深度图生成芯片322，用于根据红外散斑图，输出与二维人脸图像对应的深度信息。

本申请实施例中，结构光传感器321向被摄物投射散斑结构光，并获取被摄物反射的结构光，根据反射的结构光成像，得到红外散斑图。结构光传感器321将该红外散斑图发送至深度图生成芯片322，以便深度图生成芯片322根据红外散斑图确定结构光的形态变化情况，进而据此确定被摄物的深度，得到深度图(Depth Map)，该深度图指示了红外散斑图中各像素点的深度。深度图生成芯片322将深度图发送至处理单元330。

作为一种可能的实现方式，处理单元330，包括：电性连接的CPU331和GPU(Graphics Processing Unit，图形处理器)332。其中，

CPU331，用于根据标定数据，对齐人脸图像与深度图，根据对齐后的人脸图像与深度图，输出人脸三维模型。

GPU332，用于若获知所述用户已经注册或者已经使用过的，则获取与所述用户对应的人脸三维模型美颜参数，根据目标美颜参数对与目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

本申请实施例中，CPU331从ISP处理器312获取到人脸图像，从深度图生成芯片322获取到深度图，结合预先得到的标定数据，可以将人脸图像与深度图对齐，从而确定出人脸图像中各像素点对应的深度信息。进而，CPU331根据深度信息和人脸图像，进行三维重构，得到人脸三维模型。

CPU331将人脸三维模型发送至GPU332，以便GPU332根据人脸三维模型执行如前述实施例中描述的基于三维模型的美颜方法，得到美颜处理后的三维人脸头像。

进一步地，图像处理电路还可以包括：第一显示单元341。

第一显示单元341，与所述处理单元330电性连接，用于显示对调整的美颜参数对应的调整控件。

进一步地，图像处理电路还可以包括：第二显示单元342。

第二显示单元342，与所述处理单元340电性连接，用于显示美颜处理后的三维人脸头像。

可选地，图像处理电路还可以包括：编码器350和存储器360。

本申请实施例中，GPU332处理得到的美化后的人脸图，还可以由编码器350编码后存储至存储器360，其中，编码器350可由协处理器实现。

在一个实施例中，存储器360可以为多个，或者划分为多个存储空间，存储GPU312处理后的图像数据可存储至专用存储器，或者专用存储空间，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。存储器360可被配置为实现一个或多个帧缓冲器。

下面结合图13，对上述过程进行详细说明。

需要说明的是，图13为作为一种可能的实现方式的图像处理电路的示意图。为便于说明，仅示出与本申请实施例相关的各个方面。

如图13所示，图像传感器311捕捉的原始图像数据首先由ISP处理器312处理，ISP处理器312对原始图像数据进行分析以捕捉可用于确定图像传感器311的一个或多个控制参数的图像统计信息，包括YUV格式或者RGB格式的人脸图像。其中，图像传感器311可包括色彩滤镜阵列(如Bayer滤镜)，以及对应的感光单元，图像传感器311可获取每个感光单元捕捉的光强度和波长信息，并提供可由ISP处理器312处理的一组原始图像数据。ISP处理器312对原始图像数据进行处理后得到YUV格式或者RGB格式的人脸图像，并发送至CPU331。

其中，ISP处理器312在对原始图像数据进行处理时，可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器312可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

如图13所示，结构光传感器321向被摄物投射散斑结构光，并获取被摄物反射的结构光，根据反射的结构光成像，得到红外散斑图。结构光传感器321将该红外散斑图发送至深度图生成芯片322，以便深度图生成芯片322根据红外散斑图确定结构光的形态变化情况，进而据此确定被摄物的深度，得到深度图(Depth Map)，该深度图指示了红外散斑图中各像素点的深度。深度图生成芯片322将深度图发送至CPU331。

CPU331从ISP处理器312获取到人脸图像，从深度图生成芯片322获取到深度图，结合预先得到的标定数据，可以将人脸图像与深度图对齐，从而确定出人脸图像中各像素点对应的深度信息。进而，CPU331根据深度信息和人脸图像，进行三维重构，得到人脸三维模型。

CPU331将人脸三维模型发送至GPU332，以便GPU332根据人脸三维模型执行如前述实施例中描述的方法，实现人脸虚拟整容，得到美颜后的人脸图像。GPU332处理得到的美颜后的人脸图像，可以由显示器340(包括上述第一显示单元341和第二显示单元351)显示，和/或，由编码器350编码后存储至存储器360，其中，编码器350可由协处理器实现。

在一个实施例中，存储器360可以为多个，或者划分为多个存储空间，存储GPU332处理后的图像数据可存储至专用存储器，或者专用存储空间，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。存储器360可被配置为实现一个或多个帧缓冲器。

例如，以下为运用图13中的处理器220或运用图9中的图像处理电路(具体为CPU331和GPU332)实现控制方法的步骤：

CPU331获取二维的人脸图像，以及所述人脸图像对应的深度信息；CPU331根据所述深度信息和所述人脸图像，进行三维重构，得到人脸三维模型；GPU332获取与所述用户对应的人脸三维模型美颜参数，根据目标美颜参数对与所述目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像；GPU332将取美颜处理后的三维人脸头像可以映射到二维图像中等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于三维模型的美颜方法，其特征在于，包括以下步骤：

检测采集的二维人脸图像获取二维面部特征点，并将所述二维面部特征点与预存的三维面部特征点进行匹配；

若获知存在与所述二维面部特征点匹配成功的目标三维面部特征点，则获取用户预先设置的与所述目标三维面部特征点对应的目标美颜参数；

根据所述目标美颜参数对与所述目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

2.如权利要求1所述的方法，其特征在于，在将所述二维面部特征点与预存的三维面部特征点进行匹配之后，还包括：

若获知不存在与所述二维面部特征点匹配成功的目标三维面部特征点，则获取与所述二维人脸图像对应的深度信息；

根据所述深度信息和所述二维人脸图像，对人脸进行三维重构，获取与所述人脸对应的三维模型；

根据预设的默认美颜参数对与所述人脸对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

3.如权利要求1所述的方法，其特征在于，在所述获取用户预先设置的与所述目标三维面部特征点对应的目标美颜参数之后，还包括：

计算所述二维面部特征点与所述匹配成功的目标三维面部特征点的位置差异值；

将所述位置差异值与预设的第一阈值和第二阈值进行比较，若获知所述位置差异值大于所述第一阈值且小于等于所述第二阈值，则生成与所述目标美颜参数对应的调整控件；

接收用户对所述调整控件的触发操作，获取调整后的目标美颜参数；

根据所述调整后的目标美颜参数对与所述目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

4.如权利要求3所述的方法，其特征在于，在将所述位置差异值与预设的第一阈值和第二阈值进行比较之后，还包括：

若获知所述位置差异值大于所述第二阈值，则根据所述深度信息和所述二维人脸图像，对人脸进行三维重构，获取与所述人脸对应的三维模型；

根据预设的默认美颜参数对与所述人脸对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

5.如权利要求1-4任一所述的方法，其特征在于，还包括：

检测所述二维面部特征点的亮度信息；

根据所述亮度信息调整所述美颜处理后的三维人脸头像的亮度。

6.一种基于三维模型的美颜装置，其特征在于，包括：

匹配模块，用于检测采集的二维人脸图像获取二维面部特征点，并将所述二维面部特征点与预存的三维面部特征点进行匹配；

第一获取模块，用于若获知存在与所述二维面部特征点匹配成功的目标三维面部特征点，则获取用户预先设置的与所述目标三维面部特征点对应的目标美颜参数；

美颜模块，用于根据所述目标美颜参数对与所述目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

7.如权利要求6所述的装置，其特征在于，

所述第一获取模块，还用于若获知不存在与所述二维面部特征点匹配成功的目标三维面部特征点，则获取与所述二维人脸图像对应的深度信息；

模型建立模块，用于根据所述深度信息和所述二维人脸图像，对人脸进行三维重构，获取与所述人脸对应的三维模型；

所述美颜模块，还用于根据预设的默认美颜参数对与所述人脸对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

8.如权利要求6所述的装置，其特征在于，还包括：

计算模块，用于计算所述二维面部特征点与所述匹配成功的目标三维面部特征点的位置差异值；

比较生成模块，用于将所述位置差异值与预设的第一阈值和第二阈值进行比较，若获知所述位置差异值大于所述第一阈值且小于等于所述第二阈值，则生成与所述目标美颜参数对应的调整控件；

第二获取模块，用于接收用户对所述调整控件的触发操作，获取调整后的目标美颜参数；

所述美颜模块，还用于根据所述调整后的目标美颜参数对与所述目标三维面部特征点对应的三维模型进行美颜，获取美颜处理后的三维人脸头像。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5中任一所述的基于三维模型的美颜方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的基于三维模型的美颜方法。