CN108898068B - 一种人脸图像的处理方法和装置以及计算机可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种本发明实施例提供了一种人脸图像的处理方法和装置以及计算机可读存储介质，用于提高贴图和人脸图像的贴合度。本发明实施例提供一种人脸图像的处理方法，包括：对待处理的第一人脸图像进行人脸追踪，以得到人脸信息，所述人脸信息包括：人脸位置、人脸方向和人脸拓扑结构；根据所述人脸信息对标准三维人脸模型进行更新，以得到与所述第一人脸图像匹配的专用三维人脸模型；使用纹理贴图对所述专用三维人脸模型进行人脸贴合处理，以得到贴合后的第二人脸图像；使用光源对所述贴合后的第二人脸图像进行虚拟光照，以得到补光后的第三人脸图像。

Description

一种人脸图像的处理方法和装置以及计算机可读存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种人脸图像的处理方法和装置以及计算机可读存储介质。

背景技术

增强现实(Augmented Reality,AR)技术是一种在摄像机捕捉到的真实世界中加入计算机程序创造的虚拟世界的技术。AR技术可以通过计算机系统提供的信息增加用户对真实世界的感知，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的“增强”。

现有技术提供一种基于增强现实的二维贴脸方案，主要是利用光学传感器即普通光学摄像头采集二维平面图像，并在这个二维平面图像上叠加二维的脸谱贴图，从而实现将虚拟脸谱与真实的用户人脸想叠加。现有技术虽然能够实现二维脸谱的叠加功能，但是叠加的二维脸谱无法与使用者的脸部实现紧密贴合，降低了贴图和人脸图像的贴合度。

发明内容

本发明实施例提供了一种人脸图像的处理方法和装置以及计算机可读存储介质，用于提高贴图和人脸图像的贴合度。

本发明实施例提供以下技术方案：

一方面，本发明实施例提供一种人脸图像的处理方法，包括：

对待处理的第一人脸图像进行人脸追踪，以得到人脸信息，所述人脸信息包括：人脸位置、人脸方向和人脸拓扑结构；

根据所述人脸信息对标准三维人脸模型进行更新，以得到与所述第一人脸图像匹配的专用三维人脸模型；

使用纹理贴图对所述专用三维人脸模型进行人脸贴合处理，以得到贴合后的第二人脸图像；

使用光源对所述贴合后的第二人脸图像进行虚拟光照，以得到补光后的第三人脸图像。

另一方面，本发明实施例还提供一种人脸图像的处理装置，包括：

人脸追踪模块，用于对待处理的第一人脸图像进行人脸追踪，以得到人脸信息，所述人脸信息包括：人脸位置、人脸方向和人脸拓扑结构；

模型更新模块，用于根据所述人脸信息对标准三维人脸模型进行更新，以得到与所述第一人脸图像匹配的专用三维人脸模型；

人脸贴合模块，用于使用纹理贴图对所述专用三维人脸模型进行人脸贴合处理，以得到贴合后的第二人脸图像；

光照处理模块，用于使用光源对所述贴合后的第二人脸图像进行虚拟光照，以得到补光后的第三人脸图像。

在前述方面中，人脸图像的处理装置的组成模块还可以执行前述一方面以及各种可能的实现方式中所描述的步骤，详见前述对前述一方面以及各种可能的实现方式中的说明。

另一方面，本发明实施例提供一种人脸图像的处理装置，该人脸图像的处理装置包括：处理器、存储器；存储器用于存储指令；处理器用于执行存储器中的指令，使得人脸图像的处理装置执行如前述一方面中任一项的方法。

另一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

在本发明实施例中，首先对待处理的第一人脸图像进行人脸追踪，以得到人脸信息，该人脸信息包括：人脸位置、人脸方向和人脸拓扑结构。然后根据人脸信息对标准三维人脸模型进行更新，以得到与第一人脸图像匹配的专用三维人脸模型。接下来使用纹理贴图对专用三维人脸模型进行人脸贴合处理，以得到贴合后的第二人脸图像。最后使用光源对贴合后的第二人脸图像进行虚拟光照，以得到补光后的第三人脸图像。由于本发明实施例中可以对第一人脸图像进行人脸追踪，通过人脸追踪得到的人脸位置、人脸方向和人脸拓扑结构可以对标准三维人脸模型进行更新，获取到了与第一人脸图像匹配的专用三维人脸模型，通过专用三维人脸模型可以实现纹理贴图和人脸贴合更紧密的贴合，提高了贴图和人脸图像的贴合度。通过虚拟光照可以对贴合后的第二人脸图像进行补光，使得第二人脸图像在光照下的质感也更为真实，进一步提升了人脸的真实度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例中用户和终端之间交互场景示意图；

图2为本发明实施例提供的一种人脸图像的处理方法的流程方框示意图；

图3为本发明实施例提供的另一种人脸图像的处理方法的流程方框示意图；

图4为本发明实施例提供的另一种人脸图像的处理方法的流程方框示意图；

图5为本发明实施例提供的对人脸图像进行变脸前后的图像对比示意图；

图6为本发明实施例提供的人脸图像的处理方法所应用的流程示意图；

图7为本发明实施例提供的3D人脸定位的示意图；

图8为本发明实施例提供的脸谱效果随表情变化的示意图；

图9为本发明实施例中脸谱贴图和3D人脸模型的贴合过程示意图；

图10为本发明实施例提供的面部表情系数和纹理贴图的对应关系示意图；

图11-a为本发明实施例提供的一种人脸图像的处理装置的组成结构示意图；

图11-b为本发明实施例提供的另一种人脸图像的处理装置的组成结构示意图；

图11-c为本发明实施例提供的另一种人脸图像的处理装置的组成结构示意图；

图11-d为本发明实施例提供的另一种人脸图像的处理装置的组成结构示意图；

图11-e为本发明实施例提供的一种模型更新模块的组成结构示意图；

图11-f为本发明实施例提供的一种人脸贴合模块的组成结构示意图；

图12为本发明实施例提供的人脸图像的处理方法应用于终端的组成结构示意图。

具体实施方式

本发明实施例提供了一种人脸图像的处理方法和装置以及计算机可读存储介质，用于提高贴图和人脸图像的贴合度。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

请参考图1，其示出了本申请实施例提供的用户和终端之间交互场景示意图。终端与用户之间可以进行交互。终端可以是手机、平板电脑、电子书阅读器、MP3播放器(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

终端上配置有摄像头，该摄像头具体可以是前置摄像头。摄像头可以采集用户的人脸图像，该终端中运行有人脸图像的处理装置，该人脸图像的处理装置执行本发明实施例提供的人脸图像的处理方法，通过专用三维人脸模型可以实现纹理贴图和人脸贴合更紧密的贴合，提高了贴图和人脸图像的贴合度。通过虚拟光照可以对贴合后的第二人脸图像进行补光，使得第二人脸图像在光照下的质感也更为真实，进一步提升了人脸的真实度。

以下从终端的角度进行详细说明。本发明人脸图像的处理方法的一个实施例，具体可以应用于对人脸图像的处理中，请参阅图2所示，本发明一个实施例提供的人脸图像的处理方法，可以包括如下步骤：

201、对待处理的第一人脸图像进行人脸追踪，以得到人脸信息，人脸信息包括：人脸位置、人脸方向和人脸拓扑结构。

在本发明实施例中，终端首先获取到待处理的第一人脸图像，该第一人脸图像可以是通过摄像头对用户的人脸进行拍摄后生成的人脸图像，本发明实施例中人脸图像也可以称为面部图像或者头部图像等。

在获取到第一人脸图像之后，终端可以对第一人脸图像进行人脸追踪(FaceTracking)，即从第一人脸图像上追踪到人脸信息。本发明实施例中人脸追踪得到的人脸信息可以包括如下信息：人脸位置、人脸方向和人脸拓扑结构。其中，人脸位置和人脸方向是指人脸轮廓在第一人脸图像中的位置和方向，人脸拓扑结构可以包括人脸的顶点坐标、三角索引、纹理坐标等信息。人脸位置、人脸方向和人脸拓扑结构可以用来完成人脸区域的三维(3D)建模。

在本发明实施例中，对第一人脸图像的人脸追踪可以由终端中设置的人脸追踪模块来实现。例如该人脸追踪模块可以通过ARKit来实现，ARKit使开发者能为终端开发增强现实应用。ARKit中的人脸追踪模块可对人的面部进行3D建模，以实现在人脸及附近区域添加虚拟物件以实现AR效果。

202、根据人脸信息对标准三维人脸模型进行更新，以得到与第一人脸图像匹配的专用三维人脸模型。

在本发明实施例中，终端可以预先设置标准三维人脸模型，在标准三维模型定义了顶点数量，顺序等信息。通过对第一人脸图像的人脸追踪可以获取到上述人脸信息，基于获取到的人脸信息可以更新标准三维人脸模型，将更新后的标准三维人脸模型称为“专用三维人脸模型”，该专用三维人脸模型与第一人脸图像匹配，即在专用三维人脸模型中已经融合有第一人脸图像中包括的人脸信息，该专用三维人脸模型可用于人脸与纹理贴图的贴合。

在本发明实施例中，标准三维人脸模型是通用的3D人脸模型，针对追踪到的不同人脸，可以进行通过人脸信息进行模型更新，从而可以获取到专用三维人脸模型，本发明实施例中使用3D人脸模型可以让纹理贴图和人脸贴合的更紧密。

在本发明的一些实施例中，步骤202根据人脸信息对标准三维人脸模型进行更新，以得到与第一人脸图像匹配的专用三维人脸模型，包括：

获取标准三维人脸模型的顶点位置；

根据人脸信息中的人脸拓扑结构对标准三维人脸模型的顶点位置进行更新，以及根据人脸信息中的人脸位置和人脸方向对标准人脸模型进行空间位置映射，以得到专用三维人脸模型。

其中，终端中可以设置3D人脸检测模块，首先生成一个标准三维人脸模型，该模型定义了顶点位置信息，例如可以包括顶点数量，顺序等信息。进行人脸识别之后，会返回当前人脸的所有顶点坐标，可以根据这些顶点坐标去更新标准模型的顶点位置，使其与当前用户的面部(或头部)信息更为接近。另外，3D人脸检测模块会返回当前人脸的位置、方向等信息，可以根据这些信息把三维人脸模型放在虚拟空间中的指定位置，使其与第一人脸图像中的人脸区域重合，完成对人脸区域的3D建模，3D建模完成后得到的三维人脸模型可以即为与第一人脸图像匹配的专用三维人脸模型。

203、使用纹理贴图对专用三维人脸模型进行人脸贴合处理，以得到贴合后的第二人脸图像。

在本发明实施例中，在获取到专用三维人脸模型之后，使用纹理贴图对专用三维人脸模型进行人脸贴合处理，即可以在专用三维人脸模型上贴合纹理贴图，从而可以生成贴合后的第二人脸图像。在第二人脸图像上包括有与人脸轮廓贴合的纹理贴图，从而呈现纹理贴图的显示效果。例如该纹理贴图可以预先配置的多种脸谱贴图，例如纹理贴图可以包括：戏剧脸谱贴图、小丑脸谱贴图和万圣节脸谱贴图等。

需要说明的是，在本发明实施例中，在不同场景下所加载的纹理贴图可以不相同，例如根据用户的面部表情来加载不同的纹理贴图，又如在不同的自拍场景下可以加载不同的纹理贴图。举例说明，根据用户的面部表情为微笑或者哭泣来加载不同的纹理贴图，使得纹理贴图能够跟随用户的表情变化而更换。

在本发明的一些实施例中，步骤203使用纹理贴图对专用三维人脸模型进行人脸贴合处理，包括：

获取专用三维人脸模型的纹理坐标；

按照纹理坐标将纹理贴图贴合在三维人脸模型上。

其中，终端生成专用三维人脸模型之后，首先确定出该模型的纹理坐标，该纹理坐标是纹理贴图需要贴合的位置，基于该纹理坐标再将纹理贴图贴合在三维人脸模型上。举例说明如下，人脸贴合过程就是在专用三维人脸模型的纹理坐标贴上对应的纹理贴图，其中纹理贴图可以包括多个三角网格(mesh)，根据面部的3D节点的纹理坐标将各个三角网格逐个的贴合到专用三维人脸模型的纹理坐标上。

204、使用光源对贴合后的第二人脸图像进行虚拟光照，以得到补光后的第三人脸图像。

在本发明实施例中，终端生成第二人脸图像之后，可以使用光源对第二人脸图像进行虚拟光照，使得在光照下第二人脸图像上贴合的纹理贴图更为真实。其中，终端所使用的光源可以是环境光，即对整个第二人脸图像进行全范围内的均匀补光。不限定的是，终端所使用的光源也可以是方向光，即可以根据人脸位置和人脸方向将光源调到合适的位置使其面向人脸打光。

通过前述实施例对本发明的举例说明可知，首先对待处理的第一人脸图像进行人脸追踪，以得到人脸信息，该人脸信息包括：人脸位置、人脸方向和人脸拓扑结构。然后根据人脸信息对标准三维人脸模型进行更新，以得到与第一人脸图像匹配的专用三维人脸模型。接下来使用纹理贴图对专用三维人脸模型进行人脸贴合处理，以得到贴合后的第二人脸图像。最后使用光源对贴合后的第二人脸图像进行虚拟光照，以得到补光后的第三人脸图像。由于本发明实施例中可以对第一人脸图像进行人脸追踪，通过人脸追踪得到的人脸位置、人脸方向和人脸拓扑结构可以对标准三维人脸模型进行更新，获取到了与第一人脸图像匹配的专用三维人脸模型，通过专用三维人脸模型可以实现纹理贴图和人脸贴合更紧密的贴合，提高了贴图和人脸图像的贴合度。通过虚拟光照可以对贴合后的第二人脸图像进行补光，使得第二人脸图像在光照下的质感也更为真实，进一步提升了人脸的真实度。

请参阅图3所示，为本发明实施例提供的另一种人脸图像的处理方法的流程方框示意图。主要包括如下流程：

301、对待处理的第一人脸图像进行人脸追踪，以得到人脸信息，人脸信息包括：人脸位置、人脸方向、人脸拓扑结构和从第一人脸图像中检测到的面部表情系数。

在本发明实施例中，终端首先获取到待处理的第一人脸图像，该第一人脸图像可以是通过摄像头对用户的人脸进行拍摄后生成的人脸图像，本发明实施例中人脸图像也可以称为面部图像或者头部图像等。

在获取到第一人脸图像之后，终端可以对第一人脸图像进行人脸追踪(FaceTracking)，即从第一人脸图像上追踪到人脸信息。本发明实施例中人脸追踪得到的人脸信息可以包括如下信息：人脸位置、人脸方向、人脸拓扑结构和面部表情系数。其中，人脸位置和人脸方向是指人脸轮廓在第一人脸图像中的位置和方向，人脸拓扑结构可以包括人脸的顶点坐标、三角索引、纹理坐标等信息。人脸位置、人脸方向和人脸拓扑结构可以用来完成人脸区域的三维建模。

面部表情系数是指通过人脸追踪来检测第一人脸图像，从而识别出用户的喜、怒、哀、乐等表情，用户的不同表情可以通过面部表情系数来指示，例如该面部表情系数可以通过ARkit对第一人脸图像进行人脸追踪后得到。例如面部表情系数可以指的是人脸微笑的程度，通过0.0到1.0之间的浮点数来表示，以及通过眼睛张开的程度等来表示。

302、根据面部表情系数进行表情映射，获取与面部表情系数匹配的纹理贴图。

在本发明实施例中，终端获取到面部表情系数之后，根据该面部表情系数进行表情映射，即通过不同的面部表情系数匹配不同的纹理贴图，获取与面部表情系数匹配的纹理贴图。举例说明，终端预先存储多种纹理贴图，建立面部表情系数与纹理贴图的映射关系，对第一人脸图像进行人脸追踪确定出面部表情系数之后，通过该映射关系可以获取到相应的纹理贴图。

303、根据人脸信息对标准三维人脸模型进行更新，以得到与第一人脸图像匹配的专用三维人脸模型。

在本发明实施例中，终端可以预先设置标准三维人脸模型，在标准三维模型定义了顶点数量，顺序等信息。通过对第一人脸图像的人脸追踪可以获取到上述人脸信息，基于获取到的人脸信息可以更新标准三维人脸模型，得到专用三维人脸模型，该专用三维人脸模型与第一人脸图像匹配，在专用三维人脸模型中已经融合有第一人脸图像中包括的人脸信息，该专用三维人脸模型可用于人脸与纹理贴图的贴合。

304、使用纹理贴图对专用三维人脸模型进行人脸贴合处理，以得到贴合后的第二人脸图像。

在本发明实施例中，在不同场景下所加载的纹理贴图可以不相同，例如根据用户的面部表情来加载不同的纹理贴图，又如在不同的自拍场景下可以加载不同的纹理贴图。举例说明，根据用户的面部表情为微笑或者哭泣来加载不同的纹理贴图，使得纹理贴图能够跟随用户的表情变化而更换。

305、使用光源对贴合后的第二人脸图像进行虚拟光照，以得到补光后的第三人脸图像。

在本发明实施例中，终端生成第二人脸图像之后，可以使用光源对第二人脸图像进行虚拟光照，使得在光照下第二人脸图像上贴合的纹理贴图更为真实。其中，终端所使用的光源可以是环境光，即对整个第二人脸图像进行全范围内的均匀补光。不限定的是，终端所使用的光源也可以是方向光，即可以根据人脸位置和人脸方向将光源调到合适的位置使其面向人脸打光。

306、对第三人脸图像进行渲染处理，得到渲染后的第四人脸图像。

在本发明实施例中，获取到补光之后的第三人脸图像之后，再对该第三人脸图像进行渲染处理，例如在终端中配置sceneKit模块，通过sceneKit模块对第三人脸图像进行渲染，渲染后可以得到第四人脸图像，该第四人脸图像可用于显示给用户。

307、输出第四人脸图像。

在本发明实施例中，终端在获取到第四人脸图像之后，可以输出该第四人脸图像，例如通过终端的显示屏幕显示该第四人脸图像，由于第四人脸图像是通过渲染第三人脸图像得到，而第三人脸图像是由第二人脸图像进行虚拟光照之后得到，第二人脸图像上融合有纹理贴图的效果，因此在输出的第四人脸图像中也可以显示纹理贴图的效果，由于本发明实施例中是将纹理贴图与专用三维人脸模型进行贴合，因此可以让纹理贴图和人脸贴合更紧密。

在本发明的一些实施例中，步骤307输出第四人脸图像，包括：

获取与第四人脸图像匹配的音乐文件；

显示第四人脸图像，并播放音乐文件。

其中，终端中还可以预先存储音乐文件，在渲染出第四人脸图像之后，通过该第四人脸图像匹配出音乐文件，在显示第四人脸图像的同时播放音乐文件，从而可以提升在显示纹理贴图的效果同时叠加播放音乐效果，提高在人脸图像上显示纹理贴图时的画面效果。举例说明，本发明实施例中，终端的相机可以识别3D人脸，并将纹理贴图精准贴合在人脸上。在显示人脸上的纹理贴图效果时，还可以配有戏曲音乐效果，将整个纹理贴图的效果渲染地更加真实有趣。

通过前述实施例对本发明的举例说明可知，由于本发明实施例中可以对第一人脸图像进行人脸追踪，通过人脸追踪得到的人脸位置、人脸方向和人脸拓扑结构可以对标准三维人脸模型进行更新，获取到了与第一人脸图像匹配的专用三维人脸模型，通过对第一人脸图像的人脸追踪可以获取到面部表情系数，通过面部表情系数匹配出纹理贴图，通过专用三维人脸模型可以实现纹理贴图和人脸贴合更紧密的贴合，提高了贴图和人脸图像的贴合度。通过虚拟光照可以对贴合后的第二人脸图像进行补光，使得第二人脸图像在光照下的质感也更为真实，进一步提升了人脸的真实度。

请参阅图4所示，为本发明实施例提供的另一种人脸图像的处理方法的流程方框示意图。主要包括如下流程：

401、对待处理的第一人脸图像进行人脸追踪，以得到人脸信息，人脸信息包括：人脸位置、人脸方向、人脸拓扑结构和从第一人脸图像中检测到的面部表情系数。

在本发明实施例中，终端首先获取到待处理的第一人脸图像，该第一人脸图像可以是通过摄像头对用户的人脸进行拍摄后生成的人脸图像，本发明实施例中人脸图像也可以称为面部图像或者头部图像等。

在获取到第一人脸图像之后，终端可以对第一人脸图像进行人脸追踪，即从第一人脸图像上追踪到人脸信息。本发明实施例中人脸追踪得到的人脸信息可以包括如下信息：人脸位置、人脸方向、人脸拓扑结构和面部表情系数。其中，人脸位置和人脸方向是指人脸轮廓在第一人脸图像中的位置和方向，人脸拓扑结构可以包括人脸的顶点坐标、三角索引、纹理坐标等信息。人脸位置、人脸方向和人脸拓扑结构可以用来完成人脸区域的三维建模。

402、检测人脸追踪时是否存在人脸丢失。

在本发明实施例中，终端在第一人脸图像中进行人脸追踪时还需要实时的判断是否存在人脸丢失，即无法检测到人脸的情况。对于人脸丢失，可能有多种场景，例如用户遮挡面部，或者用户扭头，或者用户调整相机的拍摄角度等。举例说明，终端可以通过相机采样回调的方式来检测人脸是否丢失。

403、当存在人脸丢失时，继续进行人脸追踪。

在无法检测到人脸时，终端还需要再次对第一人脸图像进行人脸追踪，直至重新追踪到人脸时执行后续步骤404。

404、在下一次重新追踪到人脸时，更换纹理贴图，并使用更换后的纹理贴图对专用三维人脸模型重新进行人脸贴合处理。

在本发明实施例中，终端通过多次进行人脸追踪，在下一次重新追踪到人脸时，更换在人脸丢失之前进行人脸贴合所使用的纹理贴图，并使用更换后的纹理贴图对专用三维人脸模型重新进行人脸贴合处理。举例说明如下，不同的素材有不同的纹理切换规则。比如变脸素材，终端在每一帧session update frame里检测人脸追踪是否丢失，如果丢失，再下一次重新追踪到人脸的时候将原有的纹理贴图替换掉，以实现戏剧变脸的效果。

通过前述实施例对本发明的举例说明可知，由于本发明实施例中可以对第一人脸图像进行人脸追踪，通过人脸追踪得到的人脸位置、人脸方向和人脸拓扑结构可以对标准三维人脸模型进行更新，获取到了与第一人脸图像匹配的专用三维人脸模型，在人脸丢失时多次进行人脸追踪，直至重新检测到人脸，此时可以更换原有的纹理贴图，通过专用三维人脸模型可以实现更换后的纹理贴图和人脸贴合更紧密的贴合，提高了贴图和人脸图像的贴合度。

为便于更好的理解和实施本发明实施例的上述方案，下面举例相应的应用场景来进行具体说明。

请参阅图5所示，为本发明实施例提供的对人脸图像进行变脸前后的图像对比示意图。终端通过前置摄像头拍摄到原始人脸之后，可以在显示屏幕上显示脸谱切换提示消息，用户可以选择需要贴合的脸谱，然后触发变脸按钮，终端将用户选择的脸谱贴合到原始人脸上，从而显示自动变脸的效果。

图6为本发明实施例提供的人脸图像的处理方法所应用的流程示意图，主要包括如下流程：

S01、对人脸图像进行人脸追踪。

S02、获取到人脸位置、人脸方向和人脸拓扑结构。

S03、获取到面部表情系数。

其中，终端可以采用ARKit进行3D人脸追踪，实时获取用户人脸位置和方向、人脸拓扑结构、以及面部表情系数等信息。

如图7所示，为本发明实施例提供的3D人脸定位的示意图。通过对人脸图像的人脸追踪，可以从人脸上检测到人脸定位点，通过这些人脸定位点确定出人脸位置、人脸方向和人脸拓扑结构。

S04、获取与人脸图像匹配的专用三维人脸模型。

在实时获取用户人脸位置和方向、人脸拓扑结构、以及面部表情系数等信息之后，基于这些信息，可以创建专用3D人脸模型。

3D人脸检测模块基于一个标准三维人脸模型，该模型定义了顶点数量，顺序等信息。进行人脸识别之后，该模块会返回当前人脸的所有顶点坐标，可以根据这些顶点坐标去更新标准三维人脸模型的顶点位置，使其与当前用户的面部信息更为接近。另外，人脸检测模块会返回当前人脸的位置、方向等信息，这样以根据这些信息把人脸模型放在虚拟空间中的指定位置，使其与图像中的人脸区域重合，完成对人脸区域的3D建模。

S05、进行表情映射。

在步骤S03获取到面部表情系数之后，终端根据面部表情系数进行表情映射，从而获取到与面部表情系数匹配的纹理贴图。

S11、相机采样回调。

S12、进行人脸追踪检测(例如戏剧变脸检测)。

对于不同的素材有不同的纹理切换规则。比如变脸素材，会在每一帧sessionupdate frame里检测人脸追踪是否丢失，如果丢失，再下一次重新追踪到人脸的时候将原有的纹理贴图替换掉，以实现戏剧变脸的效果。

如图8所示，为本发明实施例提供的脸谱效果随表情变化的示意图。对戏剧换脸素材，如果发现当前人脸追踪丢失，会用一个参数去记录下来，在下一次人脸出现的时候，将其面部纹理进行更换，达到变脸效果。举例说明，在脸谱切换之前显示第一脸谱，当用户的人脸丢失后，重新进行人脸追踪，当再次追踪到人脸时，更换第二脸谱，实现了戏剧变脸的效果。

S06、通过专用三维人脸模型进行纹理映射。

在完成表情映射和人脸追踪检测之后，终端可以通过专用三维人脸模型进行纹理映射。在完成对人脸的3D建模之后，专用三维人脸模型的每一个顶点对应到2D纹理贴图上的一个坐标点，这样就可以将纹理贴图上的每一个三角形按照预设的混合模式贴到3D人脸模型上，完成纹理映射。

如图9所示，为本发明实施例中脸谱贴图和3D人脸模型的贴合过程示意图。图9中左边为3D人脸模型，图9中右边为预设的脸谱贴图，例如脸谱贴图为png格式。在人脸区域进行3D建模之后，根据3D人脸模型的纹理坐标将纹理贴图贴合上去，因此可以实现面部妆容和人脸贴合更紧密。

需要说明的是，人脸识别模块返回的面部表情系数，比如微笑的程度(0.0到1.0之间的浮点数)，眼睛张开的程度等，ARKit人脸追踪支持该功能。获取到面部表情系数之后，根据面部表情系数(比如微笑的程度)去对应一组面部纹理序列(对应不同的png图片)。举例说明如下，如图10所示，为本发明实施例提供的面部表情系数和纹理贴图的对应关系示意图。对于表情映射的素材，比如小丑，当用户微笑的时候脸上的妆容会变得更夸张一些，妆容和微笑的程度强关联。这里用ARKit返回的面部表情系数将其映射到小丑序列帧，例如该面部表情系数可以是smileLeft和smileRight取平均值得到的结果。该面部表情系数的取值可以是从0.0、0.1至1.0，对于不同的面部表情系数可以设置不同的纹理贴图(Texture)，例如多张纹理贴图为xiaochou0.png、xiaochou1.png…xiaochou23.png。

S07、对人脸图像进行光源调整。

再加上适当的光照以完成3D蒙皮与人脸贴合的效果。

S08、对人脸图像进行渲染。

在本申请实施例中，当用户切换到3D脸谱素材的时候，首先需要进行预处理：根据配置信息初始化3D蒙皮节点，初始化3D挂件(3D眼镜、帽子等)，初始化光源。其中，每一个素材会有对应的配置文件，包括说明该素材是否为脸谱类型素材，是否需要支持换脸，是否需要支持表情映射等等。之后在每一帧ARSCNViewDelegate回调里，根据ARFaceAnchor的几何(geometry)信息去更新3D蒙皮节点的拓扑结构，使其与人脸贴合。其中，ARSCNViewDelegate可以基于ARKit的人脸追踪模块的回调功能来实现，会返回当前用户的面部几何信息(包括顶点坐标，三角索引，纹理坐标)、用户面部的位置信息，以及面部朝向。然后需要将3D蒙皮节点贴上对应的纹理贴图，原理是根据面部3D点的纹理坐标将三角网格(mesh)逐个贴合上去，其中，移动端3D模型的渲染本质上是一个个小三角形的渲染。然后根据人脸的位置、角度，将光源调到合适的位置使其面向人脸打光。将以上节点设置好以后，sceneKit会完成剩余的渲染工作，用户就可以在屏幕上看到3D脸谱的效果。

由前述的举例说明可知，本发明实施例可以实现3D人脸精准定位。通过AR Kit 3D人脸识别技术，解决了很多自拍效果不贴合的问题。尽管现在越来越多软件也拥有类似的功能，但是在技术上，因为镜头晃动和突然的遮挡，对于面部追踪的影响是很大的。比如多人合照时，一个用户在遮挡面部后，很难再次精准识别同一张脸，这样的AR自拍效果显然让爱玩的用户们感到无法玩得尽兴。本发明实施例基于高精细度的AR Kit 3D人脸识别以及sceneKit光照系统和底层Metal2渲染，可以让面部妆容和人脸贴合更紧密，3D装饰在光照下的质感也更为真实，实现更有趣、真实的AR自拍体验。

本发明实施例还可以实现微表情识别，终端上显示脸谱特效贴纸和人脸实现了立体的融合，将每一个细节都真实展现。其追踪也相当迅速，用户的喜、怒、哀、乐表情都可以被迅速捕捉，实时地进行反应，极大地提升了用户体验。

本发明实施例中面部表情系数可以捕捉到人脸80多种细微表情，包括：眨眼、挑眉、微笑、嘟嘴、斜眼等等，根据用户表情的细微变化，触发对应的脸谱效果变化。

本发明实施例可以实现光照渲染。除了微表情、精准的贴面效果，依托真实的光线明暗、投影效果变化，自拍相机最大程度地还原了面部细节。在此基础上，无论是极具中华特色的川剧变脸，令人忍俊不禁的经典小丑角色，还是让人毛骨悚然的万圣节妆容，呈现效果都非常出彩。用户既可以感受到AR，AI带来的革命性人脸3D科技，也能从中体验到各种好玩有趣的脸谱效果，比如：极具中华特色的川剧变脸，相机识别3D人脸，并将脸谱精准贴合在人脸上。用户遮挡人脸，则会随机切换脸谱的样式，达到川剧变脸的效果。同时，配有戏曲音乐效果，将整个川剧变脸效果渲染地更加真实有趣。又如令人忍俊不禁的经典小丑角色、让人毛骨悚然的万圣节妆容，相机识别3D人脸，并将小丑面具或万圣节妆容精准贴合在人脸上。同时，捕捉用户的表情，如：张嘴、微笑、眨眼、嘟嘴、挑眉等80多种细微表情，使得小丑面具或万圣节妆容会随着用户表情的变化而变化。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置。

请参阅图11-a所示，本发明实施例提供的一种人脸图像的处理装置1100，可以包括：人脸追踪模块1101、模型更新模块1102、人脸贴合模块1103、光照处理模块1104，其中，

人脸追踪模块1101，用于对待处理的第一人脸图像进行人脸追踪，以得到人脸信息，所述人脸信息包括：人脸位置、人脸方向和人脸拓扑结构；

模型更新模块1102，用于根据所述人脸信息对标准三维人脸模型进行更新，以得到与所述第一人脸图像匹配的专用三维人脸模型；

人脸贴合模块1103，用于使用纹理贴图对所述专用三维人脸模型进行人脸贴合处理，以得到贴合后的第二人脸图像；

光照处理模块1104，用于使用光源对所述贴合后的第二人脸图像进行虚拟光照，以得到补光后的第三人脸图像。

在本申请的一些实施例中，所述人脸信息还包括：从所述第一人脸图像中检测到的面部表情系数。

在本申请的一些实施例中，请参阅图11-b所示，所述人脸图像的处理装置1100还包括：表情映射模块1105，其中，

所述表情映射模块1105，用于所述人脸追踪模块1101对待处理的第一人脸图像进行人脸追踪，以得到人脸信息之后，根据所述面部表情系数进行表情映射，获取与所述面部表情系数匹配的纹理贴图。

在本申请的一些实施例中，请参阅图11-c所示，相对于图11-a所示，所述人脸图像的处理装置1100还包括：渲染模块1106和输出模块1107，其中，

所述渲染模块1106，用于所述光照处理模块1104使用光源对所述贴合后的第二人脸图像进行虚拟光照，以得到补光后的第三人脸图像之后，对所述第三人脸图像进行渲染处理，得到渲染后的第四人脸图像；

所述输出模块1107，用于输出所述第四人脸图像。

进一步的，在本申请的一些实施例中，所述输出模块1107，用于获取与所述第四人脸图像匹配的音乐文件；显示所述第四人脸图像，并播放所述音乐文件。

在本申请的一些实施例中，请参阅图11-d所示，相对于图11-a所示，所述人脸图像的处理装置100还包括：人脸检测模块1108，其中，

人脸检测模块1108，用于所述人脸追踪模块1101对待处理的第一人脸图像进行人脸追踪之后，检测所述人脸追踪时是否存在人脸丢失；

所述人脸追踪模块1101，还用于当存在人脸丢失时，继续进行人脸追踪；

所述人脸贴合模块1103，还用于在下一次重新追踪到人脸时，更换所述纹理贴图，并使用更换后的纹理贴图对所述专用三维人脸模型重新进行人脸贴合处理。

在本申请的一些实施例中，请参阅图11-e所示，所述模型更新模块1102，包括：

顶点位置获取单元11021，用于获取所述标准三维人脸模型的顶点位置；

模型更新单元11022，用于根据所述人脸信息中的人脸拓扑结构对所述标准三维人脸模型的顶点位置进行更新，以及根据所述人脸信息中的人脸位置和人脸方向对所述标准人脸模型进行空间位置映射，以得到所述专用三维人脸模型。

在本申请的一些实施例中，请参阅图11-f所示，所述人脸贴合模块1103，包括：

纹理坐标获取单元11031，用于获取所述专用三维人脸模型的纹理坐标；

贴合单元11032，用于按照所述纹理坐标将所述纹理贴图贴合在所述专用三维人脸模型上。

通过以上对本发明实施例的描述可知，首先对待处理的第一人脸图像进行人脸追踪，以得到人脸信息，该人脸信息包括：人脸位置、人脸方向和人脸拓扑结构。然后根据人脸信息对标准三维人脸模型进行更新，以得到与第一人脸图像匹配的专用三维人脸模型。接下来使用纹理贴图对专用三维人脸模型进行人脸贴合处理，以得到贴合后的第二人脸图像。最后使用光源对贴合后的第二人脸图像进行虚拟光照，以得到补光后的第三人脸图像。由于本发明实施例中可以对第一人脸图像进行人脸追踪，通过人脸追踪得到的人脸位置、人脸方向和人脸拓扑结构可以对标准三维人脸模型进行更新，获取到了与第一人脸图像匹配的专用三维人脸模型，通过专用三维人脸模型可以实现纹理贴图和人脸贴合更紧密的贴合，提高了贴图和人脸图像的贴合度。通过虚拟光照可以对贴合后的第二人脸图像进行补光，使得第二人脸图像在光照下的质感也更为真实，进一步提升了人脸的真实度。

本发明实施例还提供了另一种终端，如图12所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point ofSales，销售终端)、车载电脑等任意终端设备，以终端为手机为例：

图12示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图12，手机包括：射频(Radio Frequency，RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity，WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图12中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图12对手机的各个构成部件进行具体的介绍：

RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图12中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图12示出了WiFi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；优选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。

手机还包括给各个部件供电的电源1090(比如电池)，优选的，电源可以通过电源管理系统与处理器1080逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

手机还可以包括摄像头1011，该摄像头1011可以是手机的前置摄像头，摄像头1011在采集到第一人脸图像之后，由处理器1080对该第一人脸图像进行处理，在本发明实施例中，该终端所包括的处理器1080还具有控制执行以上由终端执行的人脸图像的处理方法流程。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种人脸图像的处理方法，其特征在于，包括：

对待处理的第一人脸图像进行人脸追踪，以得到人脸信息，所述人脸信息包括：人脸位置、人脸方向和人脸拓扑结构；

根据所述人脸信息对标准三维人脸模型进行更新，以得到与所述第一人脸图像匹配的专用三维人脸模型，包括：获取所述标准三维人脸模型的顶点位置；根据所述人脸信息中的人脸拓扑结构中人脸的顶点坐标对所述标准三维人脸模型的顶点位置进行更新，以及根据所述人脸信息中的人脸位置和人脸方向对所述标准三维人脸模型进行空间位置映射，以得到所述专用三维人脸模型；所述专用三维人脸模型融合有所述第一人脸图像中包括的人脸信息；所述专用三维人脸模型与所述第一人脸图像中的人脸区域重合；

获取所述专用三维人脸模型的纹理坐标，基于所述纹理坐标将纹理贴图中的三角网格逐个贴合到所述专用三维人脸模型的纹理坐标上，以得到贴合后的第二人脸图像；所述纹理坐标是所述纹理贴图要贴合的位置；所述纹理贴图中包括多个三角网格；

根据所述人脸位置和所述人脸方向确定光源的位置，使用光源对所述贴合后的第二人脸图像进行虚拟光照，以得到补光后的第三人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述人脸信息还包括：从所述第一人脸图像中检测到的面部表情系数。

3.根据权利要求2所述的方法，其特征在于，所述对待处理的第一人脸图像进行人脸追踪，以得到人脸信息之后，所述方法还包括：

根据所述面部表情系数进行表情映射，获取与所述面部表情系数匹配的纹理贴图。

4.根据权利要求1所述的方法，其特征在于，所述使用光源对所述贴合后的第二人脸图像进行虚拟光照，以得到补光后的第三人脸图像之后，所述方法还包括：

对所述第三人脸图像进行渲染处理，得到渲染后的第四人脸图像；

输出所述第四人脸图像。

5.根据权利要求4所述的方法，其特征在于，所述输出所述第四人脸图像，包括：

获取与所述第四人脸图像匹配的音乐文件；

显示所述第四人脸图像，并播放所述音乐文件。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述对待处理的第一人脸图像进行人脸追踪之后，所述方法还包括：

检测所述人脸追踪时是否存在人脸丢失；

当存在人脸丢失时，继续进行人脸追踪；

在下一次重新追踪到人脸时，更换所述纹理贴图，并使用更换后的纹理贴图对所述专用三维人脸模型重新进行人脸贴合处理。

7.一种人脸图像的处理装置，其特征在于，包括：

人脸追踪模块，用于对待处理的第一人脸图像进行人脸追踪，以得到人脸信息，所述人脸信息包括：人脸位置、人脸方向和人脸拓扑结构；

模型更新模块，用于根据所述人脸信息对标准三维人脸模型进行更新，以得到与所述第一人脸图像匹配的专用三维人脸模型，所述模型更新模块包括：顶点位置获取单元，用于获取所述标准三维人脸模型的顶点位置；模型更新单元，用于根据所述人脸信息中的人脸拓扑结构中人脸的顶点坐标对所述标准三维人脸模型的顶点位置进行更新，以及根据所述人脸信息中的人脸位置和人脸方向对所述标准三维人脸模型进行空间位置映射，以得到所述专用三维人脸模型；所述专用三维人脸模型融合有所述第一人脸图像中包括的人脸信息；所述专用三维人脸模型与所述第一人脸图像中的人脸区域重合；

人脸贴合模块，用于获取所述专用三维人脸模型的纹理坐标，基于所述纹理坐标将纹理贴图中的三角网格逐个贴合到所述专用三维人脸模型的纹理坐标上，以得到贴合后的第二人脸图像；所述纹理坐标是所述纹理贴图要贴合的位置；所述纹理贴图中包括多个三角网格；

光照处理模块，用于根据所述人脸位置和所述人脸方向确定光源的位置，使用光源对所述贴合后的第二人脸图像进行虚拟光照，以得到补光后的第三人脸图像。

8.根据权利要求7所述的装置，其特征在于，所述人脸信息还包括：从所述第一人脸图像中检测到的面部表情系数。

9.根据权利要求8所述的装置，其特征在于，所述人脸图像的处理装置还包括：表情映射模块，其中，

所述表情映射模块，用于所述人脸追踪模块对待处理的第一人脸图像进行人脸追踪，以得到人脸信息之后，根据所述面部表情系数进行表情映射，获取与所述面部表情系数匹配的纹理贴图。

10.根据权利要求7至9中任一项所述的装置，其特征在于，所述人脸图像的处理装置还包括：人脸检测模块，其中，

人脸检测模块，用于所述人脸追踪模块对待处理的第一人脸图像进行人脸追踪之后，检测所述人脸追踪时是否存在人脸丢失；

所述人脸追踪模块，还用于当存在人脸丢失时，继续进行人脸追踪；

所述人脸贴合模块，还用于在下一次重新追踪到人脸时，更换所述纹理贴图，并使用更换后的纹理贴图对所述专用三维人脸模型重新进行人脸贴合处理。

11.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至6任意一项所述的方法。

Images