CN107481317A - 人脸3d模型的面部调整方法及其装置 - Google Patents

Abstract

本发明提出一种人脸3D模型的面部调整方法及其装置，其中，方法包括：基于结构光获取用户的人脸3D模型；从人脸3D模型中提取至少一个特征点的第一3D特征；将第一3D特征与预存的参考人脸3D模型中的特征点的第二3D特征进行匹配；当第一3D特征与第二3D特征的匹配度超过阈值时，则在人脸3D模型中利用第二3D特征替换第一3D特征，形成用户的目标人脸3D模型。该方法，基于结构光获取人脸的3D模型，从而可以实现对3D图像的美化，由于人脸3D模型中可以携带各个特征点的深度信息，从而可以根据深度信息替换人脸中的特征点，使得美化效果更加突出，而且能够使得参考人脸3D模型中的特征点与人脸3D模型中的特征点替换的更加自然，提升用户体验。

Description

人脸3D模型的面部调整方法及其装置

技术领域

本发明涉及终端设备领域，尤其涉及一种人脸3D模型的面部调整方法及其装置。

背景技术

随着终端设备的普及，越来越多的用户喜欢利用终端设备进行拍照。而且为了使得图像更加迷人，开发了各种用于对图像进行美化的应用程序。

用户在自拍时，可以根据自己的需求，从应用程序自带的所有素材中选择自己喜欢的素材来处理图像，例如，用户觉得自己的眼睛长得不好看，可以从素材库中选择一双好看的眼睛来替换图像中自己的眼睛，使得自拍图像更加迷人。但是，目前所有应用程序对图像的美化都是在二维图像上进行的，使得素材无法与图像完美贴合或者匹配，导致图像处理效果较差。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种人脸3D模型的面部调整方法，以实现对三维图像的美化，使得美化的部分与实际场景更加贴合，使得图像处理效果更好，以及解决现有的对图像的美化或者增强特效都是在二维图像上进行的，使得素材无法与图像完美贴合或者匹配，导致图像处理效果较差问题。

本发明的第二个目的在于提出一种人脸3D模型的面部调整装置。

本发明的第三个目的在于提出一种终端设备。

本发明的第四个目的在于提出一种计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种人脸3D模型的面部调整方法，包括：

基于结构光获取用户的人脸3D模型；

从所述人脸3D模型中提取至少一个特征点的第一3D特征；

将所述第一3D特征与预存的参考人脸3D模型中的所述特征点的第二3D特征进行匹配；

当所述第一3D特征与所述第二3D特征的匹配度超过阈值时，则在所述人脸3D模型中利用所述第二3D特征替换所述第一3D特征，形成所述用户的目标人脸3D模型。

本发明实施例的人脸3D模型的面部调整方法，通过基于结构光获取用户的人脸3D模型，从人脸3D模型中提取至少一个特征点的第一3D特征，将第一3D特征与预存的参考人脸3D模型中的特征点的第二3D特征进行匹配，当第一3D特征与第二3D特征的匹配度超过阈值时，则在人脸3D模型中利用第二3D特征替换第一3D特征，形成用户的目标人脸3D模型。本实施例中，基于结构光获取人脸的3D模型，从而可以实现对3D图像的美化，由于人脸3D模型中可以携带各个特征点的深度信息，从而可以根据深度信息替换人脸中的特征点，使得美化效果更加突出，而且能够使得参考人脸3D模型中的特征点与人脸3D模型中的特征点替换的更加自然，提升用户体验。

为达上述目的，本发明第二方面实施例提出了一种人脸3D模型的面部调整装置，包括：

第一获取模块，用于基于结构光获取用户的人脸3D模型；

提取模块，用于从所述人脸3D模型中提取至少一个特征点的第一3D特征；

匹配模块，用于将所述第一3D特征与预存的参考人脸3D模型中的所述特征点的第二3D特征进行匹配；

替换模块，用于当所述第一3D特征与所述第二3D特征的匹配度超过阈值时，则在所述人脸3D模型中利用所述第二3D特征替换所述第一3D特征，形成所述用户的目标人脸3D模型。

本发明实施例的人脸3D模型的面部调整装置，通过基于结构光获取用户的人脸3D模型，从人脸3D模型中提取至少一个特征点的第一3D特征，将第一3D特征与预存的参考人脸3D模型中的特征点的第二3D特征进行匹配，当第一3D特征与第二3D特征的匹配度超过阈值时，则在人脸3D模型中利用第二3D特征替换第一3D特征，形成用户的目标人脸3D模型。本实施例中，基于结构光获取人脸的3D模型，从而可以实现对3D图像的美化，由于人脸3D模型中可以携带各个特征点的深度信息，从而可以根据深度信息替换人脸中的特征点，使得美化效果更加突出，而且能够使得参考人脸3D模型中的特征点与人脸3D模型中的特征点替换的更加自然，提升用户体验。

为达上述目的，本发明第三方面实施例提出了一种终端设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如第一方面实施例所述的人脸3D模型的面部调整方法。

为达上述目的，本发明第四方面实施例提出了一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行如第一方面实施例所述的人脸3D模型的面部调整方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种人脸3D模型的面部调整方法的流程示意图；

图2为本发明实施例提供的不同形式的结构光的示意图；

图3为本发明实施例中一个投射结构光的装置组合示意图；

图4为本发明实施例提供的另一种人脸3D模型的面部调整方法的流程示意图；

图5为本发明实施例提供的另一种人脸3D模型的面部调整方法的流程示意图；

图6为本发明实施例中非均匀的结构光的投影集合示意图；

图7为本发明实施例提供的一种人脸3D模型的面部调整装置的结构示意图；

图8为本发明实施例提供的另一种人脸3D模型的面部调整装置的结构示意图；

图9为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面参考附图描述本发明实施例的人脸3D模型的面部调整方法及其装置。

图1为本发明实施例提供的一种人脸3D模型的面部调整方法的流程示意图。

如图1所示，该人脸3D模型的面部调整方法包括以下步骤：

步骤101，基于结构光获取用户的人脸3D模型。

结构光(Structured Light)为投射特定的光到物体表面，由于物体表面是凹凸不平的，物体表面的变化以及可能的间隙会对照射来的光进行调制，再将发射出去。摄像头采集该物体表面所反射的光，采集的发射光在摄像头中成像，所成图像上会携带光的畸变信息。一般情况下光的畸变程度与物体上各特征点的深度呈正比。进一步地，可以根据图像中携带的畸变信息计算出物体上各个特征点深度信息等，进而结合摄像头采集的颜色信息，能够完成对物体的三维空间的复原。

作为一种示例，生成结构光的设备可以是将光点、线、光栅、格网或斑纹投影到被测的物体表面上的投影设备或仪器，也可以是生成激光束的激光器。如图2所示，不同结构光的设备可以形成不同形式的结构光。

本发明实施例的人脸3D模型的面部调整方法，可以应用于终端设备上，该终端设备可以为智能手机、平板电脑、ipad等。终端设备上可以安装有应用程序，通过应用程序可以调用生成结构光的设备，即投射装置，然后由投射装置向用户的人脸发出结构光。当结构光照射到用户的人脸上之后，由于用户的人脸表面并不是平整的，所以人脸在对结构光进行反射时，会造成结构光的畸变。进一步地，由终端设备上的摄像头采集反射的结构光，进而在摄像头中的图像传感器上形成携带有畸变信息的二维图像。由于所形成的图像中包括人脸上各特征点的深度信息，进而可以根据深度信息形成人脸的深度图像，根据该深度图像重新建立人脸的3D模型。

优选地，本发明实施例中的摄像头可以为终端的前置摄像头。由此，当用户拿起终端并面对终端的显示屏方向时，可调用终端的投射装置和前置摄像头完成对该用户的人脸3D模型的获取。

作为一种示例，图3为本发明实施例中一个投射结构光的装置组合示意图。图3中仅以结构光的投影集合为线的集合进行示例，对于投影集合为散斑图案的结构光的原理类似。如图3所示，该装置中可以包括光学投射器和摄像机，其中，光学投射器将一定模式的结构光投射于被测物体(用户的头部)所处的空间内，在用户的头部表面上形成由头部表面的形状所调制的光条的三维图像。该三维图像由处于另一位置的摄像机探测，从而获得畸变的光条二维图像。光条的畸变程度取决于光学投射器与摄像机之间的相对位置和用户头部表面的轮廓，直观上，沿光条显示出的位移(或偏移)与用户头部表面的高度成比例，扭曲表示了平面的变化，不连续显示了用户头部表面的物理间隙，当光学投射器与摄像机之间的相对位置一定时，由畸变的光条二维图像坐标即可重现用户的头部表面的三维轮廓，即获得人脸3D模型。

作为一种示例，可以采用公式(1)计算获得人脸3D模型，其中，公式(1)如下所示：

其中，(x,y,z)为获取的人脸3D模型的坐标，b为投射装置与摄像头之间的基线间距，F为摄像头的焦距，θ为投射装置向用户头部所处的空间投射预设的结构光时的投影角度，(x',y')为带有结构光的用户的二维畸变图像的坐标。

步骤102，从人脸3D模型中提取至少一个特征点的第一3D特征。

本实施例中，特征点为人脸上显眼的点，或者为关键位置上的点，特征点例如可以为眼角、鼻尖、嘴角等。

具体实现时，可以由用户从人脸3D模型中指定特征点，而后，终端上的应用程序可以提取该特征点的第一3D特征。或者，可以由终端上的应用程序自动选择特征点，而后提取该特征点的第一3D特征，对此不作限制。

例如，用户可以通过点击操作或者移动等方式来指定一个位置，该位置可以一个点也可以为一区域。例如用户可以点击一下屏幕，然后根据预先设定一个半径形成一个圆形区域，该圆形区域就是用户指定的位置。再例如，用户可以通过手指在屏幕上进行连续移动，比方画一个方形、圆形、椭圆形等，根据手指移动的轨迹得到用户指定的位置。

当确定了指定的位置后，该位置在三维图像中对应的区域中的特征点即为用户选定的特征点，而后，终端上的应用程序可以提取特征点的第一3D特征。

步骤103，将第一3D特征与预存的参考人脸3D模型中的特征点的第二3D特征进行匹配。

本实施例中，终端上的应用程序中可以存储有参考人脸3D模型，参考人脸3D模型例如可以为模特的人脸、明星的人脸、动漫中人物的人脸等。

可以理解的是，由于参考人脸3D模型中的人脸为多个，本发明实施例中标记参考人脸3D模型中有N个参考人脸。因此，与第一3D特征对应的第二3D特征可以为N个。具体实现时，可以逐次从参考人脸3D模型中选取与第一3D特征对应的第二3D特征，将第一3D特征与每个第二3D特征进行匹配，得到第一3D特征与每个第二3D特征的匹配度。因此，针对每个第一3D特征，最终可以获取N个匹配度。

需要说明的是，第一3D特征与每个第二3D特征的匹配度，可以指第一3D特征与每个第二3D特征的总体匹配度，例如，该匹配度可以包括形状、大小等特征的总体匹配度。具体实现时，对于某个第二3D特征，可以将第一3D特征的形状、大小等特征，分别与该第二3D特征对应的形状、大小等特征进行匹配，可以获得形状特征的匹配度、大小状特征的匹配度等。而后可以将获取的匹配度累加，求取均值，将均值作为第一3D特征与该第二3D特征的匹配度。

或者，第一3D特征与每个第二3D特征的匹配度，可以指第一3D特征与每个第二3D特征的部分匹配度，例如，该匹配度可以包括形状特征的匹配度，和/或大小特征的匹配度等。具体实现时，对于某个第二3D特征，可以将第一3D特征的形状与该第二3D特征的形状进行匹配，获取形状特征的匹配度，和/或，将第一3D特征的大小与该第二3D特征的大小进行匹配，获取大小特征的匹配度。而后，可以将形状特征的匹配度，和/或大小特征的匹配度作为第一3D特征与该第二3D特征的匹配度，对此不作限制。

举例而言，将用户的第一3D特征与预存的每个参考人脸3D模型中的第二3D特征进行匹配，可以得到用户的第一3D特征与每个参考人脸3D模型的第二3D特征的匹配度。例如用户的第一3D特征与参考人脸3D模型中明星Beyonce的第二3D特征的匹配度为85％，与模特刘雯的第二3D特征的匹配度为65％，与动漫中白雪公主的第二3D特征的匹配度为75％。

步骤104，当第一3D特征与第二3D特征的匹配度超过阈值时，则在人脸3D模型中利用第二3D特征替换第一3D特征，形成用户的目标人脸3D模型。

在本发明的实施例中，阈值可以由终端设备的内置程序预先设定，或者，阈值也可以由用户进行设置，对此不作限制，例如阈值可以为80％。

可选地，当第一3D特征与第二3D特征的匹配度超过阈值时，例如匹配度为85％时，在人脸3D模型中利用第二3D特征替换第一3D特征，形成用户的目标人脸3D模型。

可以理解的是，由于与第一3D特征对应的第二3D特征可以为N个，大于阈值的匹配度可以不止一个。因此，可以在人脸3D模型中利用与第一3D特征的匹配度最高的第二3D特征，来替换第一3D特征，形成用户的目标人脸3D模型，能够提高图像美化效果。由于每一特征点均具有深度信息，根据深度信息进行匹配，从而能够使得第二3D特征替换第一3D特征之后，与用户的脸部更加贴合，处理效果更高。

举例说明，用户可以根据自己的美化需求，选择某一特征点，例如为用户的眼角。将用户的眼角对应的第一3D特征与预存的参考人脸3D模型中的所有的眼角对应的第二3D特征进行匹配，在用户的眼角对应的第一3D特征与参考人脸3D模型中的某一人脸的眼角对应的第二3D特征的匹配度超过阈值，且该匹配度最高时，例如，用户的眼角与明星Beyonce的眼角的匹配度为85％时，可以将Beyonce的眼角替换用户的眼角，这样就可以实现特征的替换。

本实施例的人脸3D模型的面部调整方法，通过基于结构光获取用户的人脸3D模型，从人脸3D模型中提取至少一个特征点的第一3D特征，将第一3D特征与预存的参考人脸3D模型中的特征点的第二3D特征进行匹配，当第一3D特征与第二3D特征的匹配度超过阈值时，则在人脸3D模型中利用第二3D特征替换第一3D特征，形成用户的目标人脸3D模型。本实施例中，基于结构光获取人脸的3D模型，从而可以实现对3D图像的美化，由于人脸3D模型中可以携带各个特征点的深度信息，从而可以根据深度信息替换人脸中的特征点，使得美化效果更加突出，而且能够使得参考人脸3D模型中的特征点与人脸3D模型中的特征点替换的更加自然，提升用户体验。

为了更加清楚地说明本发明实施例中利用结构光获取用户的人脸3D模型的具体实现过程，本发明实施例提出了另一种人脸3D模型的面部调整方法的流程示意图，图4为本发明实施例提供的另一种人脸3D模型的面部调整方法的流程示意图。

如图4所示，该人脸3D模型的面部调整方法包括以下步骤：

步骤401，向用户的人脸发射结构光。

终端设备上可以安装有应用程序，通过应用程序可以调用生成结构光的设备即投射装置，然后由投射装置向用户的人脸发出结构光。

步骤402，采集结构光在人脸上的发射光，并形成人脸的深度图像。

当向人脸发射的结构光到达人脸之后，由于人脸上各个面部器官会对结构光造成阻碍，结构光会在人脸处发生反射，此时，可以通过终端中设置的摄像头对结构光在人脸上的反射光进行采集，通过采集到的反射光可以形成人脸的深度图像。

步骤403，基于深度图像重构人脸3D模型。

具体的，人脸的深度图像中可能包括人脸和背景，首先对深度图像进行去噪处理及平滑处理，来获取人脸所在区域的图像，进而通过前后景分割等处理，将人脸与背景图分割。

在将人脸从深度图像中提取出来后，即可从人脸的深度图像中提取密集点数据，进而根据提取的密集点数据，将这些密集点连接成网络。比如根据各个点在空间上的距离关系，将相同平面的点，或者距离在阈值范围内的点连接成三角形网络，进而将这些网络进行拼接，就可以生成人脸3D模型。

步骤404，从人脸3D模型中提取脸部特征，并根据脸部特征确定用户的脸型。

可选地，终端设备中的应用程序可以从人脸3D模型中提取脸部特征，并根据脸部特征确定用户的脸型，例如为圆脸、方脸、瓜子脸等。

步骤405，从所有预存的人脸3D模型中，获取与脸型匹配的至少一个参考人脸3D模型。

具体实现时，可以逐次从预存的人脸3D模型中选取一个脸型，与用户的脸型进行匹配，获得每个预存的脸型与用户的脸型的匹配值。而后，可以将匹配值超过预设阈值的预存的脸型，作为目标脸型。从而可以将目标脸型对应的人脸3D模型作为参考人脸3D模型，即参考人脸3D模型中的脸型与用户的脸型匹配。

其中，预设的阈值可以由终端设备的内置程序预先设定，或者，预设的阈值也可以由用户进行设置，对此不作限制，例如预设的阈值可以为90％。

步骤406，从人脸3D模型中提取至少一个特征点的第一3D特征。

步骤407，将第一3D特征与预存的参考人脸3D模型中的特征点的第二3D特征进行匹配。

步骤406～407的执行过程可以参见上述实施例，在此不再赘述。

步骤408，获取人脸3D模型的每个特征点与参考人脸3D模型对应的特征点之间的匹配度。

可选地，可以根据人脸3D模型中各特征点的第一3D特征和每个参考人脸3D模型中对应特征点的第二3D特征，获取人脸3D模型中各特征点与每个参考人脸3D模型中对应特征点的匹配度。

具体实现时，由于人脸3D模型的每个特征点，均需与每个参考人脸3D模型中对应特征点进行匹配，那么对于人脸3D模型中的每个特征点，将得到N个匹配度。

可以逐次从人脸3D模型中提取一个特征点，对于该特征点，可以将其与参考人脸3D模型对应的N个特征点进行匹配，从而可以得到N个匹配度。

步骤409，将匹配度在终端设备上进行显示。

可选地，对于人脸3D模型中的每个特征点，可以将N各匹配度在终端设备上进行显示，便于用户查看，使得用户更加直观地了解每个特征点和参考人脸3D模型的匹配度，提升用户体验。

具体实现时，对于人脸3D模型中的每个特征点，可以在终端上同时显示参考人脸3D模型中对应的特征点，以及两者之间的匹配度，便于用户查看。

步骤410，对用户的选择操作进行探测；其中，选择操作用于从所有特征点中选择出目标特征点，目标特征点用于替换人脸3D模型中对应的特征点。

本实施例中，用户可以根据自己的美化需求，选择目标特征点，以利用该目标特征点替换人脸3D模型中对应的特征点。

可选地，用户可以通过点击操作或者移动等方式来选择目标特征点。例如，可以在终端设备上设置监听器，当监听器监听到用户可以点击屏幕中某个特征点时，该特征点即为目标特征点。

或者，用户可以通过手指在屏幕上进行连续移动，比方画一个方形、圆形、椭圆形等，手指移动的轨迹所圈中的特征点即为目标特征点。

通过用户自己选择目标特征点，以在人脸3D模型中利用该目标特征点替换对应的特征点，根据能够提升该方法的灵活性及适用性。

本实施例的人脸3D模型的面部调整方法，通过基于结构光获取用户的人脸3D模型，从人脸3D模型中提取至少一个特征点的第一3D特征，将第一3D特征与预存的参考人脸3D模型中的特征点的第二3D特征进行匹配，当第一3D特征与第二3D特征的匹配度超过阈值时，则在人脸3D模型中利用第二3D特征替换第一3D特征，形成用户的目标人脸3D模型。本实施例中，基于结构光获取人脸的3D模型，从而可以实现对3D图像的美化，由于人脸3D模型中可以携带各个特征点的深度信息，从而可以根据深度信息替换人脸中的特征点，使得美化效果更加突出，而且能够使得参考人脸3D模型中的特征点与人脸3D模型中的特征点替换的更加自然，提升用户体验。

可选地，还可以由终端设备上的应用程序自动匹配目标特征点，参见图5，在步骤409之后，该方法还可以包括以下步骤：

步骤501，针对每个特征点，将匹配度最高的参考人脸3D模型中对应特征点作为目标特征点。

步骤502，在人脸3D模型中利用所有目标特征点的第二3D特征替换对应的第一3D特征，形成目标人脸3D模型。

可选地，终端设备中的应用程序可以自动匹配目标特征点，即针对每个特征点，将匹配度最高的参考人脸3D模型中对应特征点作为目标特征点，在人脸3D模型中利用所有目标特征点的第二3D特征替换对应的第一3D特征，形成目标人脸3D模型，能够进一步提高图像美化效果。

本实施例的人脸3D模型的面部调整方法，通过针对每个特征点，将匹配度最高的参考人脸3D模型中对应特征点作为目标特征点，在人脸3D模型中利用所有目标特征点的第二3D特征替换对应的第一3D特征，形成目标人脸3D模型，能够进一步提高图像美化效果。

此处需要说明的是，作为一种示例，上述实施例中采用的结构光可以为非均匀的结构光，非均匀的结构光为多个光斑的集合构成的散斑图案或乱点图案。

图6为本发明实施例中非均匀的结构光的投影集合示意图。如图6所示，本发明实施例中采用的是非均匀的结构光，其中，非均匀的结构光为随机排列非均匀的散斑图案，也就是说，该非均匀的结构光为多个光斑的集合，且多个光斑之间采用不均匀的分散方式排布，进而构成一个散斑图案。由于散斑图案所占的存储空间较小，因而，投射装置运行时不会对终端的运行效率造成太大影响，能够节约终端的存储空间。

此外，本发明实施例中采用的散斑图案，相较于其他现有的结构光类型而言，散列排布能够降低能量消耗，节省电量，提高终端的续航能力。

在本发明实施例中，可以在电脑、手机、掌上电脑等终端中设置投射装置和摄像头。投射装置向用户发射非均匀的结构光即散斑图案。具体地，可以利用投射装置中的衍射光学元件形成散斑图案，其中，该衍射光学元件上设置有一定数量的浮雕，不规则的散斑图案就由衍射光学元件上不规则的浮雕产生。本发明实施例中，浮雕凹槽深度和数量可以通过算法设置。

其中，投射装置可以用于向被测对象所处的空间投射一个预设的散斑图案。摄像头可以用于对已投射散斑图案的被测对象进行采集，以得到带有散斑图案的被测对象的二维畸变图像。

本发明实施例中，当终端的摄像头对准用户的头部时，终端中的投射装置可以向用户头部所处的空间投射预设的散斑图案，该散斑图案中具有多个散斑点，当该散斑图案被投射到用户人脸表面上时，该散斑图案中的好多散斑点会由于人脸表面包含的各个器官的原因而发生偏移。通过终端的摄像头对用户的人脸进行采集，得到带有散斑图案的用户人脸的二维畸变图像。

进一步地，将采集到的人脸的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取人脸的散斑图像的各个散斑点相对于参考散斑点的移动距离。最后根据该移动距离、参考散斑图像与终端上摄像头的距离以及投射装置与摄像头之间的相对间隔值，利用三角法得到散斑红外图像的各个散斑点的深度值，并根据该深度值得到人脸的深度图像，进而根据深度图像可获得人脸3D模型。

图7为本发明实施例所提供的一种人脸3D模型的面部调整装置的结构示意图。

参见图7，该人脸3D模型的面部调整装置包括：第一获取模块701、提取模块702、匹配模块703，以及替换模块704。其中，

第一获取模块701，用于基于结构光获取用户的人脸3D模型。

提取模块702，用于从人脸3D模型中提取至少一个特征点的第一3D特征。

匹配模块703，用于将第一3D特征与预存的参考人脸3D模型中的特征点的第二3D特征进行匹配。

替换模块704，用于当第一3D特征与第二3D特征的匹配度超过阈值时，则在人脸3D模型中利用第二3D特征替换第一3D特征，形成用户的目标人脸3D模型。

进一步地，在本发明实施例的一种可能的实现方式中，在图7的基础上，参见图8，该人脸3D模型的面部调整装置还进一步包括：

第二获取模块705，用于在将第一3D特征与预存的参考人脸3D模型中的特征点的第二3D特征进行匹配之后，获取人脸3D模型的每个特征点与参考人脸3D模型对应的特征点之间的匹配度。

显示模块706，用于将匹配度在终端设备上进行显示。

探测模块707，用于对用户的选择操作进行探测；其中，选择操作用于从所有特征点中选择出目标特征点，目标特征点用于替换人脸3D模型中对应的特征点。

处理模块708，用于针对每个特征点，将匹配度最高的参考人脸3D模型中对应特征点作为目标特征点。

可选地，替换模块704，具体用于在人脸3D模型中利用所有目标特征点的第二3D特征替换对应的第一3D特征，形成目标人脸3D模型。

确定模块709，用于在从人脸3D模型中提取至少一个特征点的第一3D特征之前，从人脸3D模型中提取脸部特征，并根据脸部特征确定用户的脸型。

第四获取模块710，用于从所有预存的人脸3D模型中，获取与脸型匹配的至少一个参考人脸3D模型。

作为本发明实施例的一种可能的实现方式，第一获取模块701，包括：

发射单元7011，用于向用户的人脸发射结构光。

采集单元7012，用于采集结构光在人脸上的发射光，并形成人脸的深度图像。

重构单元7013，用于基于深度图像重构人脸3D模型。

在本发明实施例一种可能的实现方式中，结构光可以为非均匀的结构光，非均匀的结构光为多个光斑的集合构成的散斑图案或乱点图案，是由设置在终端上的投射装置中的衍射光学元件形成的，其中，衍射光学元件上设置有一定数量的浮雕，浮雕的凹槽深度不同。

需要说明的是，前述图1-图6实施例对人脸3D模型的面部调整方法实施例的解释说明也适用于该实施例的人脸3D模型的面部调整装置，此处不再赘述。

本实施例的人脸3D模型的面部调整装置，通过基于结构光获取用户的人脸3D模型，从人脸3D模型中提取至少一个特征点的第一3D特征，将第一3D特征与预存的参考人脸3D模型中的特征点的第二3D特征进行匹配，当第一3D特征与第二3D特征的匹配度超过阈值时，则在人脸3D模型中利用第二3D特征替换第一3D特征，形成用户的目标人脸3D模型。本实施例中，基于结构光获取人脸的3D模型，从而可以实现对3D图像的美化，由于人脸3D模型中可以携带各个特征点的深度信息，从而可以根据深度信息替换人脸中的特征点，使得美化效果更加突出，而且能够使得参考人脸3D模型中的特征点与人脸3D模型中的特征点替换的更加自然，提升用户体验。

上述人脸3D模型的面部调整装置中各个模块的划分仅用于举例说明，在其他实施例中，可将人脸3D模型的面部调整装置按照需要划分为不同的模块，以完成上述人脸3D模型的面部调整装置的全部或部分功能。

本发明实施例还提供了一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行以下步骤：

基于结构光获取用户的人脸3D模型；

从所述人脸3D模型中提取至少一个特征点的第一3D特征；

将所述第一3D特征与预存的参考人脸3D模型中的所述特征点的第二3D特征进行匹配；

当所述第一3D特征与所述第二3D特征的匹配度超过阈值时，则在所述人脸3D模型中利用所述第二3D特征替换所述第一3D特征，形成所述用户的目标人脸3D模型。

本发明实施例还提供一种终端设备。上述终端设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

如图9所示，图像处理电路900包括成像设备910、ISP处理器930和控制逻辑器940。成像设备910可包括具有一个或多个透镜912、图像传感器914的照相机和结构光投射器916。结构光投射器916将结构光投影至被测物。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器914捕捉投影至被测物形成的结构光图像，并将结构光图像发送至ISP处理器930，由ISP处理器930对结构光图像进行解调获取被测物的深度信息。同时，图像传感器914也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器914分别捕捉被测物的结构光图像和色彩信息。

其中，以散斑结构光为例，ISP处理器930对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。

当然，还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。

在ISP处理器930接收到图像传感器914捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。ISP处理器930对图像数据进行分析以获取可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器930处理的一组原始图像数据。

ISP处理器930按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器930可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器930还可从图像存储器920接收像素数据。图像存储器920可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。

当接收到原始图像数据时，ISP处理器930可进行一个或多个图像处理操作。

在ISP处理器930获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。

三维图像的图像数据可发送给图像存储器920，以便在被显示之前进行另外的处理。ISP处理器930从图像存储器920接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器960，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器930的输出还可发送给图像存储器920，且显示器960可从图像存储器920读取图像数据。在一个实施例中，图像存储器920可被配置为实现一个或多个帧缓冲器。此外，ISP处理器930的输出可发送给编码器/解码器950，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器960设备上之前解压缩。编码器/解码器950可由CPU或GPU或协处理器实现。

ISP处理器930确定的图像统计信息可发送给控制逻辑器940单元。控制逻辑器940可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备910的控制参数。

以下为运用图9中图像处理技术实现人脸3D模型的面部调整方法的步骤：

基于结构光获取用户的人脸3D模型；

从所述人脸3D模型中提取至少一个特征点的第一3D特征；

将所述第一3D特征与预存的参考人脸3D模型中的所述特征点的第二3D特征进行匹配；

当所述第一3D特征与所述第二3D特征的匹配度超过阈值时，则在所述人脸3D模型中利用所述第二3D特征替换所述第一3D特征，形成所述用户的目标人脸3D模型。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种人脸3D模型的面部调整方法，其特征在于，包括：

基于结构光获取用户的人脸3D模型；

从所述人脸3D模型中提取至少一个特征点的第一3D特征；

将所述第一3D特征与预存的参考人脸3D模型中的所述特征点的第二3D特征进行匹配；

当所述第一3D特征与所述第二3D特征的匹配度超过阈值时，则在所述人脸3D模型中利用所述第二3D特征替换所述第一3D特征，形成所述用户的目标人脸3D模型。

2.根据权利要求1所述的人脸3D模型的面部调整方法，其特征在于，所述将所述第一3D特征与预存的参考人脸3D模型中的所述特征点的第二3D特征进行匹配之后，还包括：

获取所述人脸3D模型的每个特征点与所述参考人脸3D模型对应的所述特征点之间的匹配度；

将所述匹配度在所述终端设备上进行显示；

对所述用户的选择操作进行探测；其中，所述选择操作用于从所有特征点中选择出目标特征点，所述目标特征点用于替换所述人脸3D模型中对应的特征点。

3.根据权利要求2所述的人脸3D模型的面部调整方法，其特征在于，还包括：

针对每个特征点，将匹配度最高的所述参考人脸3D模型中对应特征点作为所述目标特征点；

所述在所述人脸3D模型中利用所述第二3D特征替换所述第一3D特征，形成所述用户的目标人脸3D模型，包括：

在所述人脸3D模型中利用所有目标特征点的第二3D特征替换对应的所述第一3D特征，形成所述目标人脸3D模型。

4.根据权利要求1-3任一项所述的人脸3D模型的面部调整方法，其特征在于，所述从所述人脸3D模型中提取至少一个特征点的第一3D特征之前，还包括：

从所述人脸3D模型中提取脸部特征，并根据所述脸部特征确定所述用户的脸型；

从所有预存的人脸3D模型中，获取与所述脸型匹配的至少一个所述参考人脸3D模型。

5.根据权利要求1-3任一项所述的人脸3D模型的面部调整方法，其特征在于，所述基于结构光获取所述户的人脸3D模型，包括：

向所述用户的人脸发射结构光；

采集所述结构光在所述人脸上的发射光，并形成人脸的深度图像；

基于所述深度图像重构所述人脸3D模型。

6.根据权利要求5所述的人脸3D模型的面部调整方法，其特征在于，所述结构光为非均匀的结构光，所述非均匀的结构光为多个光斑的集合构成的散斑图案或乱点图案，是由设置在终端上的投射装置中的衍射光学元件形成的，其中，所述衍射光学元件上设置有一定数量的浮雕，所述浮雕的凹槽深度不同。

7.一种人脸3D模型的面部调整装置，其特征在于，包括：

第一获取模块，用于基于结构光获取用户的人脸3D模型；

提取模块，用于从所述人脸3D模型中提取至少一个特征点的第一3D特征；

匹配模块，用于将所述第一3D特征与预存的参考人脸3D模型中的所述特征点的第二3D特征进行匹配；

替换模块，用于当所述第一3D特征与所述第二3D特征的匹配度超过阈值时，则在所述人脸3D模型中利用所述第二3D特征替换所述第一3D特征，形成所述用户的目标人脸3D模型。

8.根据权利要求1所述的人脸3D模型的面部调整装置，其特征在于，还包括：

第二获取模块，用于在所述将所述第一3D特征与预存的参考人脸3D模型中的所述特征点的第二3D特征进行匹配之后，获取所述人脸3D模型的每个特征点与所述参考人脸3D模型对应的所述特征点之间的匹配度；

显示模块，用于将所述匹配度在所述终端设备上进行显示；

探测模块，用于对所述用户的选择操作进行探测；其中，所述选择操作用于从所有特征点中选择出目标特征点，所述目标特征点用于替换所述人脸3D模型中对应的特征点。

9.一种终端设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一所述的人脸3D模型的面部调整方法。

10.一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的人脸3D模型的面部调整方法。