CN108447017B - 人脸虚拟整容方法和装置 - Google Patents

Abstract

本申请提出一种人脸虚拟整容方法和装置，其中，方法包括：获取多个角度二维人脸图像，以及与每张二维人脸图像对应的深度信息；根据深度信息和二维人脸图像进行三维重构获取原始人脸三维模型；对原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型。由此，基于人脸三维模型模拟整容的效果，实现了可实时、多角度查看整容的效果，不但使得最终的整容效果会更符合用户的心理预期效果，而且降低了整容成本。

Description

人脸虚拟整容方法和装置

技术领域

本申请涉及人像处理技术领域，尤其涉及一种人脸虚拟整容方法和装置。

背景技术

随着社会的进步，人们对于美的追求也越来越多元化，其中，整容作为一种通过医疗手段改变人体外貌的方式也逐渐走进人们的视野。相关应用中，基于相对较为统一的审美标准为用户进行整容，比如，高鼻梁、大眼睛等。

然而，由于用户个人脸型以及五官位置等的不同，基于统一的审美标准进行整容后的效果，可能并不符合用户的预期，从而，导致整容后的用户对整容结果并不满意，可能需要进行多次调整等，整容成本较大。

申请内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请提出一种人脸虚拟整容方法和装置。

为达上述目的，本申请第一方面实施例提出了一种人脸虚拟整容方法，所述方法包括以下步骤：获取多个角度的多张二维人脸图像，以及与每张二维人脸图像对应的深度信息；根据所述深度信息和所述二维人脸图像进行三维重构获取原始人脸三维模型；对所述原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型。

为达上述目的，本申请第二方面实施例提出了一种人脸虚拟整容装置，包括：获取模块，用于获取多个角度的多张二维人脸图像，以及与每张二维人脸图像对应的深度信息；重构模块，用于根据所述深度信息和所述二维人脸图像进行三维重构获取原始人脸三维模型；整容模块，用于对所述原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型。

为达上述目的，本申请第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如前述第一方面实施例所述的人脸虚拟整容方法。

为达上述目的，本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述第一方面实施例所述的人脸虚拟整容方法。

本申请提供的技术方案，至少包括如下有益效果：

基于人脸三维模型模拟整容的效果，实现了可实时、多角度查看整容的效果，不但使得最终的整容效果会更符合用户的心理预期效果，而且降低了整容成本。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请一个实施例所提供的人脸虚拟整容方法的流程示意图；

图2为本申请另一个实施例所提供的人脸虚拟整容方法的流程示意图；

图3为本申请一个实施例所提供的深度图像采集组件的结构示意图；

图4为本申请一个实施例所提供的原始人脸三维模型示意图；

图5(a)为本申请一个实施例所提供的调整控件的示意图；

图5(b)为本申请另一个实施例所提供的调整控件的示意图；

图6为本申请一个实施例所提供的人脸虚拟整容方法的场景示意图；

图7为本申请一个实施例所提供的人脸虚拟整容装置的结构示意图；

图8为本申请另一个实施例所提供的人脸虚拟整容装置的结构示意图；

图9为本申请实施例所提供的计算机设备的结构示意图；以及

图10为一个实施例中图像处理电路的示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

正如以上分析的，整容基于统一的审美标准进行，用户难以获知整容效果，在整容完成后，如果不满意，只能通过再次整容或者调整才能达到预期效果，甚至，无法达到预期效果，因而，整容成本较大。

为了解决上述技术问题，本申请提出了一种人脸虚拟整容方法，基于人脸三维模型模拟整容的效果，实现了可实时、各角度查看整容的效果，不但使得最终的整容效果会更符合用户的心理预期效果，而且降低了整容成本。

下面参考附图描述本申请实施例的人脸虚拟整容方法和装置。

图1为本申请一个实施例所提供的人脸虚拟整容方法的流程示意图。

本申请实施例的人脸虚拟整容方法可以应用于具有深度信息和彩色信息获取装置的计算机设备，其中，具有深度信息和彩色信息(二维信息)获取装置功能的装置可以是双摄系统等，该计算机设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。

步骤101，获取多个角度的多张二维人脸图像，以及与每张二维人脸图像对应的深度信息。

具体地，获取多个角度的二维人脸图像以及以每个二维人脸图像对应的深度信息，以便与基于多个角度的二维人脸图像信息和深度信息融合为与真实二维人脸图像较为一致的人脸三维模型。

需要说明的是，根据应用场景的不同，本申请的实施例中，获取深度信息和二维的二维人脸图像信息的硬件装置不同：

作为一种可能的实现方式，获取二维人脸图像信息的硬件装置为可见光RGB图像传感器，可以基于计算机设备中的RGB可见光图像传感器获取二维的二维人脸图像。具体地，可见光RGB图像传感器可以包括可见光摄像头，可见光摄像头可以捕获由成像对象反射的可见光进行成像，得到成像对象对应的二维人脸图像。

作为一种可能的实现方式，获取深度信息的方式为通过结构光传感器获取，具体地，如图2所示，获取每个二维人脸图像对应的深度信息的方式包括如下步骤:

步骤201，向当前用户人脸投射结构光。

步骤202，拍摄经当前用户人脸调制的结构光图像。

步骤203，解调结构光图像的各个像素对应的相位信息以得到二维人脸图像对应的深度信息。

在本示例中，参见图3计算机设备为智能手机1000时，深度图像采集组件12包括结构光投射器121和结构光摄像头122。步骤201可以由结构光投射器121实现，步骤202和步骤203可以由结构光摄像头122实现。

也即是说，结构光投射器121可用于向当前用户人脸投射结构光；结构光摄像头122可用于拍摄经当前用户人脸调制的结构光图像，以及解调结构光图像的各个像素对应的相位信息以得到深度信息。

具体地，结构光投射器121将一定模式的结构光投射到当前用户的人脸上后，在当前用户的人脸的表面会形成由当前用户人脸调制后的结构光图像。结构光摄像头122拍摄经调制后的结构光图像，再对结构光图像进行解调以得到深度信息。其中，结构光的模式可以是激光条纹、格雷码、正弦条纹、非均匀散斑等。

其中，结构光摄像头122可进一步用于解调结构光图像中各个像素对应的相位信息，将相位信息转化为深度信息，以及根据深度信息生成深度图像。

具体地，与未经调制的结构光相比，调制后的结构光的相位信息发生了变化，在结构光图像中呈现出的结构光是产生了畸变之后的结构光，其中，变化的相位信息即可表征物体的深度信息。因此，结构光摄像头122首先解调出结构光图像中各个像素对应的相位信息，再根据相位信息计算出深度信息。

步骤102，根据深度信息和二维人脸图像进行三维重构获取原始人脸三维模型。

具体地，根据深度信息和二维人脸图像进行三维重构，赋予相关点深度信息和二维信息，重构获取原始人脸三维模型，该原始人脸三维模型为三维立体模型可以充分还原出人脸，相对二维人脸模型，还包括了人脸的五官的立体角度等信息。

根据应用场景的不同，根据深度信息和二维人脸图像进行三维重构获取原始人脸三维模型的方式包括但是不限于以下方式：

作为一种可能的实现方式，对每一张二维人脸图像进行关键点识别，对每一张二维人脸图像，根据像素点匹配等技术，根据定位关键点的深度信息和定位关键点在二维人脸图像上的平面距离，包括二维空间上的x轴距离和y轴距离，确定定位关键点在三维空间中的相对位置，根据定位关键点在三维空间中的相对位置，连接相邻的定位关键点，生成原始人脸三维框架。其中，关键点为人脸上的特征点，可包括眼睛、鼻尖、额头、嘴角上、脸颊上的点等，定位关键点包括与用户人脸轮廓较相关的点，该定位关键点对应于人脸上深度信息明显发生变化的部位点，比如，鼻尖上的点、鼻翼上面的点、眼角上的点、嘴角上的点等，从而，基于该定位关键点可以构建出原始人脸三维框架。

作为另一种可能的实现方式，获取多个角度二维的二维人脸图像，并筛选出清晰度较高的二维人脸图像作为原始数据，进行特征点定位，利用特征定位结果粗略估计人脸角度，根据人脸的角度和轮廓建立粗糙的人脸三维形变模型，并将人脸特征点通过平移、缩放操作调整到与人脸三维形变模型在同一尺度上，并抽取出与人脸特征点对应点的坐标信息形成稀疏人脸三维形变模型。

进而，根据人脸角度粗略估计值和稀疏人脸三维形变模型，进行微粒群算法迭代人脸三维重构，得到人脸三维几何模型，在得到人脸三维几何模型后，采用纹理张贴的方法将输入二维图像中的人脸纹理信息映射到人脸三维几何模型，得到完整的原始人脸三维模型。

步骤103，对原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型。

可以理解的是，如图4所示，原始人脸三维模型实际上是由关键点以及关键点连接形成的三角网络搭建的，因而，在对原始人脸三维模型上待整容部位的关键点进行调整时，对应的人脸三维模型变化，从而，得到虚拟整容后的目标人脸模型，由此，用户可以基于调整后的目标人脸三维模型直观的看到整容后的效果，可实时、各角度查看整容的效果，直到用户对整容效果满意后，可以基于达到满意过程的调整参数进行整容，不但使得最终的整容效果会更符合用户的心理预期效果，而且降低了整容成本。

当然，为了更加方便对人脸三维模型的调整，在本申请的一个实施例中，继续参照图4，在所原始人脸三维模型上显示每个整容部位的关键点，比如，以高亮显示的方式显示每个整容部位的关键点，检测用户对待整容部位的关键点进行的移位操作，比如检测用户对选中的关键点的拖动操作等，根据移位操作对关键点进行调整，根据调整后的关键点以及其他相邻关键点的连接，得到虚拟整容后的目标人脸三维模型。

在实际执行过程中，可以基于不同的实现方式接收对原始人脸三维模型上待整容部位的关键点进行调整，示例说明如下：

第一种示例:

在本示例中，为了便于用户的操作，可以为用户提供整容操作控件，通过用户对控件的操作实时进行关键点位置的变化计算，并将整容效果实时展现给用户，以便于用户可以直观的了解到当前调整后的整容效果。

具体而言，在本实施例中，生成与每个整容部位的关键点对应的调整控件，检测用户对待整容部位的关键点对应的调整控件进行的触控操作，获取相应的调整参数，根据调整参数对原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型。其中，调整参数包括关键点的移动方向和移动距离等。

在本实施例中，根据应用场景的不同，调整控件的实现方式不同，作为一种可能的实现方式，调整控件为调整进度条，从而，如图5(a)所示，生成与每个整容部位的关键点对应的调整进度条，检测用户对待整容部位的关键点对应的调整进度条进行的移动操作，获取相应的调整参数，其中，进度条的不同进度位置可对应于对整容部位关键点向某一个方向的不同移动距离等，比如，对于鼻子部位，进度条的不同进度位置可对应于鼻子增高方向的不同移动距离等。

作为另一种可能的实现方式，调整控件为调整方向控件，从而，如图5(b)所示，生成与每个整容部位的关键点对应的调整方向控件,检测用户对待整容部位的关键点对应的调整方向按钮进行的点击操作，获取相应的调整参数，其中，待整容部位的关键点对应的调整方向按钮的点击操作可以包括点击次数等，点击次数越高，则对整容部位关键点向某一个方向的移动距离越大等。

为了进一步提高整容后的目标人脸三维模型的获取效率，在本申请中一些可能的实施例中，还可以基于用户的整容需求自动生成整容后的目标人脸三维模型。

第一种示例:

获取用户输入的虚拟整容意图，根据虚拟整容意图分析原始人脸三维模型，确定待整容部位的关键点，以及与虚拟整容意图匹配的调整参数，根据调整参数对原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型。

在本示例中，虚拟整容意图可以为文字形式、语音形式等，在不同的应用场景下，可包括不同的内容：

在一些可能的实施例中，虚拟整容意图为用户输入的缺陷部位的整形信息，比如输入的语音信息“把我的塌鼻子整高一点”，进而根据缺陷部位的整形信息确定待整容部位的关键点，分析原始人脸三维模型中其余部位的关键点生成第一面部参数信息，其中，第一面部参数信息包括其余部位的关键点的坐标位置和相互连接关系等，查询预设的第一面部信息数据库，获取待整容部位的关键点与第一面部参数信息匹配的位置信息，根据位置信息生成与待整容部位的关键点匹配的调整参数。

也就是说，在本实施例中，在对待整容部位的关键点进行调整时，对与对待整容部位的关键点相关联的其他关键点也进行适应性的、不同程度的调整，其中，调整的程度根据与待整容部位的关键点的联系紧密程度确定，由此，保证了调整后目标人脸三维模型的自然，避免了仅仅调整关键点的坐标导致其他部位与对应调整部位的连接突兀，效果较差的问题。

举例而言，如图6所示，在对待整容鼻的关键点1进行调整时，对与鼻尖部位的关键点1较为关联的鼻翼处关键点2进行相对较大程度的调整，对与鼻尖部位的关键点1较不关联的眉心处关键点3进行相对较小程度的调整。

需要说明的是，预设的第一面部信息数据库中可包括人脸三维模型中关键点之间的位置关系以及联系紧密程度等，或者，包含可以计算关键点与关键点之间的位置关系和联系紧密程度的深度计算模型等。

在另一些可能的实施例中，虚拟整容意图为用户输入的目标人物整形需求，其中，目标人物可以包括明星人物以及用户选择的其他人物等，查询预设的第二面部信息数据库，获取目标人物的第二面部参数信息，其中，第二面部参数信息中包括目标人物的三维人脸模型中包含的所有关键点位置信息等，分析原始人脸三维模型中所有部位的关键点生成第三面部参数信息，其中，第三面部参数信息中包括原始三维人脸模型中包含的所有关键点位置信息等，根据第二面部参数信息和第三面部参数信息生成与待整容部位的关键点匹配的调整参数，比如，根据相同部位对应的关键点坐标差异生成对应的坐标差值信息等。

基于以上实施例，为了进一步提高整容的效果的美感，在对原始人脸三维模型上待整容部位的关键点进行调整之前，还可对覆盖在原始人脸三维模型表面的皮肤纹理图进行美化，得到美化后的原始人脸三维模型。

可以理解的是，当二维人脸图像中有痘痘时，皮肤纹理图中痘痘对应的部位的颜色可以为红色，或者，当二维人脸图像中有雀斑时，皮肤纹理图中雀斑对应的部位的颜色可以为咖啡色或黑色，或者，当二维人脸图像中有黑痣时，皮肤纹理图中黑痣对应的部位的颜色可以为黑色。

因此，可以根据原始人脸三维模型的皮肤纹理图的颜色，确定是否存在异常范围，当未存在异常范围时，可以不做任何处理，而当存在异常范围时，可以进一步根据异常范围内的各点在三维空间中的相对位置关系，以及异常范围的颜色信息，采用对应的美化策略，对异常范围进行美化。

一般情况下，痘痘是突出皮肤表面的，黑痣也可以是突出皮肤表面的，而雀斑是未突出皮肤表面的，因此，本申请实施例中，可以根据异常范围的中心点与边缘点之间的高度差，确定异常范围所属的异常类型，例如，异常类型可以为凸起或者未凸起。在确定异常类型后，可以根据异常类型和颜色信息，确定对应的美化策略，而后根据异常范围对应的匹配肤色，采用美化策略指示的滤波范围和滤波强度对异常范围进行磨皮处理。

举例而言，当异常类型为凸起，颜色信息为红色时，此时，该异常范围内可以为痘痘，痘痘对应的磨皮程度较强，当异常类型为未凸起，颜色为青色时，此时，该异常范围内可以为纹身，纹身对应的磨皮程度较弱。

或者，还可以根据异常范围对应的匹配肤色，填充异常范围内的肤色。

例如，当异常类型为凸起，颜色信息为红色时，此时，该异常范围内可以为痘痘，则祛痘的美化策略可以为：对痘痘进行磨皮处理，以及可以根据痘痘附近的正常肤色，本申请实施例中记为匹配肤色，填充痘痘对应的异常范围内的肤色，或者，当异常类型为未凸起，颜色为咖啡色时，此时，该异常范围内可以为雀斑，则祛斑的美化策略可以为：根据雀斑附近的正常肤色，本申请实施例中记为匹配肤色，填充雀斑对应的异常范围内的肤色。

本申请中，由于原始人脸三维模型的框架中，以各关键点为顶点得到的封闭区域的深度信息是一致的，当对覆盖在人脸三维模型表面的皮肤纹理图进行美化时，可以分别对各个封闭区域进行美化，由此，可以增加美化后的封闭区域中像素值的可信度，提升美化效果。

作为本申请实施例的另一种可能的实现方式，可以预先设置局部人脸对应的美化策略，其中，局部人脸可以包括鼻部、唇部、眼部、脸颊等脸部部位。例如，对于鼻部而言，其对应的美化策略可以为鼻尖提亮处理，鼻翼阴影处理，从而增加鼻部的立体感，或者，对于脸颊而言，其对应的美化策略可以为添加腮红和/或磨皮处理。

因此，本申请实施例中，可以根据颜色信息和在原始人脸三维模型中的相对位置，从皮肤纹理图中识别出局部人脸，而后根据局部人脸对应的美化策略，对局部人脸进行美化。

可选地，在局部人脸为眉毛时，可以根据眉毛对应的美化策略指示的滤波强度，对局部人脸进行磨皮处理。

在局部人脸为脸颊时，可以根据脸颊对应的美化策略指示的滤波强度，对局部人脸进行磨皮处理。需要说明的是，为了使得美化后的效果更加自然，美化效果更加突出，脸颊对应的美化策略指示的滤波强度可以大于眉毛对应的美化策略指示的滤波强度。

在局部人脸属于鼻部时，可以根据鼻部对应的美化策略指示的阴影强度，增加局部人脸的阴影。

本申请中，基于局部人脸在原始人脸三维模型中的相对位置，对其进行美化处理，可以使得美化后的皮肤纹理图更加自然，美化效果更加突出。并且，可以实现有针对性地对局部人脸进行美化处理，从而提升成像效果，提升用户的拍摄体验。

本申请实施例中，在对原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型之后，可以将虚拟整容后的目标人脸三维模型映射到二维平面，得到目标二维人脸图像，并对目标二维二维人脸图像进行美颜处理。

本申请中，由于皮肤纹理图是三维的，对皮肤纹理图进行美化，可以使得美化后的皮肤纹理图更加自然，从而将根据美化后的人脸三维模虚拟整容后生成的目标人脸三维模型映射到二维平面，得到美化后的目标二维二维人脸图像，对目标二维二维人脸图像进行美颜处理，可以使得美颜后的目标二维二维人脸图像更加真实，美化效果更加突出，为用户提供了整容后美颜效果展示，进一步提升用户的整容体验。

综上所述，本申请实施例的人脸虚拟整容方法，获取多个角度二维的二维人脸图像，以及与每张二维人脸图像对应的深度信息，根据深度信息和二维人脸图像进行三维重构获取原始人脸三维模型，进而，对原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型。由此，基于人脸三维模型模拟整容的效果，实现了可实时、各角度查看整容的效果，不但使得最终的整容效果会更符合用户的心理预期效果，而且降低了整容成本。

为了实现上述实施例，本申请还提出一种人脸虚拟整容装置，图7为本申请一个实施例所提供的人脸虚拟整容装置的结构示意图。如图7所示，该人脸虚拟整容装置包括获取模块10、重构模块20和整容模块30。

其中，获取模块10，用于获取多个角度的多张二维人脸图像，以及与每张二维人脸图像对应的深度信息。

重构模块20，用于根据深度信息和二维人脸图像进行三维重构获取原始人脸三维模型。

在本申请的一个实施例中，如图8所示，在如图7所示的基础上，重构模块20包括识别单元21、确定单元22和生成单元23。

其中，识别单元21，用于对每一张二维人脸图像进行关键点识别，得到定位关键点。

确定单元22，用于对每一张二维人脸图像，根据定位关键点的深度信息和定位关键点在二维人脸图像上的距离，确定定位关键点在三维空间中的相对位置。

生成单元23，用于根据定位关键点在三维空间中的相对位置，连接相邻的定位关键点，生成原始人脸三维框架。

整容模块30，用于对原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型。

需要说明的是，前述对人脸虚拟整容方法实施例的解释说明也适用于该实施例的人脸虚拟整容装置，此处不再赘述。

综上所述，本申请实施例的人脸虚拟整容装置，获取多个角度二维的二维人脸图像，以及与每个二维人脸图像对应的深度信息，根据深度信息和二维人脸图像进行三维重构获取原始人脸三维模型，进而，对原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型。由此，基于人脸三维模型模拟整容的效果，实现了可实时、各角度查看整容的效果，不但使得最终的整容效果会更符合用户的心理预期效果，而且降低了整容成本。

为了实现上述实施例，本申请还提出一种计算机设备。

图9为本申请实施例所提供的计算机设备的结构示意图。

如图9所示，该计算机设备包括：存储器201、处理器202及存储在存储器201上并可在处理器202上运行的计算机程序，处理器202执行程序时，实现如本申请前述实施例提出的人脸虚拟整容方法。

为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被移动终端的处理器执行时实现如前述实施例中所述的人脸虚拟整容方法。

上述计算机设备中还包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图10所示，图像处理电路包括ISP处理器940和控制逻辑器950。成像设备910捕捉的图像数据首先由ISP处理器940处理，ISP处理器940对图像数据进行分析以捕捉可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。成像设备910具体可以包括两个摄像头，每一个摄像头可包括具有一个或多个透镜912和图像传感器914。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器940处理的一组原始图像数据。传感器920可基于传感器920接口类型把原始图像数据提供给ISP处理器940。传感器920接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

ISP处理器940按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器940还可从图像存储器930接收像素数据。例如，从传感器920接口将原始像素数据发送给图像存储器930，图像存储器930中的原始像素数据再提供给ISP处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自传感器920接口或来自图像存储器930的原始图像数据时，ISP处理器940可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器930，以便在被显示之前进行另外的处理。ISP处理器940从图像存储器930接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器970，以供用户观看和/或由图形引擎或GPU(Graphics ProcessingUnit，图形处理器)进一步处理。此外，ISP处理器940的输出还可发送给图像存储器930，且显示器970可从图像存储器930读取图像数据。在一个实施例中，图像存储器930可被配置为实现一个或多个帧缓冲器。此外，ISP处理器940的输出可发送给编码器/解码器960，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器970设备上之前解压缩。编码器/解码器960可由CPU或GPU或协处理器实现。

ISP处理器940确定的统计数据可发送给控制逻辑器950单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备910的控制参数以及的控制参数。例如，控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜912阴影校正参数。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种人脸虚拟整容方法，其特征在于，所述方法包括以下步骤：

获取多个角度的多张二维人脸图像，以及与每张二维人脸图像对应的深度信息；

根据所述深度信息和所述二维人脸图像进行三维重构获取原始人脸三维模型；

对所述原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型；

其中，所述对所述原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型，包括：

获取用户输入的虚拟整容意图，其中，所述虚拟整容意图为所述用户输入的缺陷部位的整形信息；

根据所述虚拟整容意图分析所述原始人脸三维模型，确定待整容部位的关键点，以及与所述虚拟整容意图匹配的调整参数；

根据所述调整参数对所述原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型；

所述对所述原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型还包括：

在所述原始人脸三维模型上显示每个整容部位的关键点；

生成与每个整容部位的关键点对应的调整控件；

检测用户对待整容部位的关键点对应的调整控件进行的触控操作，获取相应的调整参数；

根据所述调整参数对所述原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型；

其中，所述调整参数包括关键点的移动方向和移动距离。

2.根据权利要求1所述的方法，其特征在于，所述根据所述深度信息和所述二维人脸图像进行三维重构获取原始人脸三维模型，包括：

对每一张二维人脸图像进行关键点识别，得到定位关键点；

对每一张二维人脸图像，根据定位关键点的深度信息和定位关键点在所述二维人脸图像上的平面距离，确定所述定位关键点在三维空间中的相对位置；

根据所述定位关键点在三维空间中的相对位置，连接相邻的定位关键点，生成原始人脸三维框架。

3.根据权利要求1所述的方法，其特征在于，所述生成与每个整容部位的关键点对应的调整控件，包括:

生成与每个整容部位的关键点对应的调整进度条；

所述检测用户对待整容部位的关键点对应的调整控件进行的触控操作，获取相应的调整参数，包括：

检测用户对待整容部位的关键点对应的调整进度条进行的移动操作，获取相应的调整参数。

4.根据权利要求1所述的方法，其特征在于，所述生成与每个整容部位的关键点对应的调整控件，包括:

生成与每个整容部位的关键点对应的调整方向控件；

所述检测用户对待整容部位的关键点对应的调整控件进行的触控操作，获取相应的调整参数，包括：

检测用户对待整容部位的关键点对应的调整方向控件进行的点击操作，获取相应的调整参数。

5.根据权利要求1所述的方法，其特征在于，所述对所述原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型，包括：

在所述原始人脸三维模型上显示每个整容部位的关键点；

检测用户对待整容部位的关键点进行的移位操作，根据所述移位操作对所述关键点进行调整，得到虚拟整容后的目标人脸三维模型。

6.根据权利要求1所述的方法，其特征在于，所述获取用户输入的虚拟整容意图，包括：

获取用户输入的缺陷部位的整形信息；

所述根据所述虚拟整容意图分析所述原始人脸三维模型，确定待整容部位的关键点，以及与所述虚拟整容意图匹配的调整参数，包括：

根据所述缺陷部位的整形信息确定待整容部位的关键点；

分析所述原始人脸三维模型中其余部位的关键点生成第一面部参数信息；

查询预设的第一面部信息数据库，获取待整容部位的关键点与所述第一面部参数信息匹配的位置信息；

根据所述位置信息生成与所述待整容部位的关键点匹配的调整参数。

7.根据权利要求1所述的方法，其特征在于，所述获取用户输入的虚拟整容意图，包括：

获取用户输入的目标人物整形需求；

所述根据所述虚拟整容意图分析所述原始人脸三维模型，确定待整容部位的关键点，以及与所述虚拟整容意图匹配的调整参数，包括：

查询预设的第二面部信息数据库，获取目标人物的第二面部参数信息；

分析所述原始人脸三维模型中所有部位的关键点生成第三面部参数信息；

根据所述第二面部参数信息和所述第三面部参数信息生成与所述待整容部位的关键点匹配的调整参数。

8.根据权利要求1所述的方法，其特征在于，在所述对所述原始人脸三维模型上待整容部位的关键点进行调整之前，还包括：

对覆盖在所述原始人脸三维模型表面的皮肤纹理图进行美化，得到美化后的原始人脸三维模型。

9.根据权利要求1-8任一所述的方法，其特征在于，在对所述原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型之后，还包括：

将所述虚拟整容后的目标人脸三维模型映射到二维平面，得到目标二维人脸图像；

对所述目标二维人脸图像进行美颜处理。

10.一种人脸虚拟整容装置，其特征在于，包括：

获取模块，用于获取多个角度二维的多张二维人脸图像，以及与每张二维人脸图像对应的深度信息；

重构模块，用于根据所述深度信息和所述二维人脸图像进行三维重构获取原始人脸三维模型；

整容模块，用于对所述原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型；

其中，所述整容模块还用于：

获取用户输入的虚拟整容意图，其中，所述虚拟整容意图为所述用户输入的缺陷部位的整形信息；

根据所述虚拟整容意图分析所述原始人脸三维模型，确定待整容部位的关键点，以及与所述虚拟整容意图匹配的调整参数；

根据所述调整参数对所述原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型；

所述整容模块还用于：

在所述原始人脸三维模型上显示每个整容部位的关键点；

生成与每个整容部位的关键点对应的调整控件；

检测用户对待整容部位的关键点对应的调整控件进行的触控操作，获取相应的调整参数；

根据所述调整参数对所述原始人脸三维模型上待整容部位的关键点进行调整，得到虚拟整容后的目标人脸三维模型；

其中，所述调整参数包括关键点的移动方向和移动距离。

11.如权利要求10所述的装置，其特征在于，所述重构模块包括：

识别单元，用于对每一张二维人脸图像进行关键点识别，得到定位关键点；

确定单元，用于对每一张二维人脸图像，根据定位关键点的深度信息和定位关键点在所述二维人脸图像上的平面距离，确定所述定位关键点在三维空间中的相对位置；

生成单元，用于根据所述定位关键点在三维空间中的相对位置，连接相邻的定位关键点，生成原始人脸三维框架。

12.一种计算机设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-9中任一所述的人脸虚拟整容方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的人脸虚拟整容方法。

Images