CN107993216A - 一种图像融合方法及其设备、存储介质、终端 - Google Patents

Abstract

本发明实施例公开一种图像融合方法及其设备、存储介质、终端，其中方法包括如下步骤：获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，对源人脸图像数据进行图像识别处理，获取源人脸图像数据对应的源人脸特征点，并根据源人脸特征点生成源人脸图像数据的源人脸三维网格，采用素材人脸三维网格和源人脸三维网格进行网格融合生成目标人脸三维网格，采用源人脸图像数据的源肤色数据和素材人脸图像数据的素材肤色数据对目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。采用本发明，通过分析图像数据在三维模型的基础上进行图像融合生成目标人脸图像数据的过程，可以提高最终获得的目标人脸图像数据的真实性。

Description

一种图像融合方法及其设备、存储介质、终端

技术领域

本发明涉及计算机技术领域，尤其涉及一种图像融合方法及其设备、存储介质、终端。

背景技术

随着计算机技术的快速发展，智能手机、掌上电脑以及平板电脑等终端设备中都可以安装对图片进行加工处理的终端应用，例如，照相机、P图软件、社交APP等，基于上述终端应用用户可以对原有图片(例如，人物、风景或者建筑物等)或者视频进行添加特效、装饰美化、美容美妆、改变人物造型等处理。通常处于爱美或者好玩的心里，人们在社交网站或者直播网站中公开自己的照片时都会选择对自己的人脸照片进行适当的美化或者修改。

现有技术中，修图类终端应用对人脸图像数据的处理过程通常是根据用户的2D图像人脸信息素材的2D人脸信息，通过一定的融合算法，生成一个既像用户又像素材中的人脸的结果图像。然而，在2D模型的基础上对用户图像和素材图像进行融合生成目标结果图像时，由于融合的用户图像和素材图像作为平面图像所能提取的图像信息反映真实人脸的效果欠佳，将导致最终的融合效果较差，从而影响最终获得的目标结果图像的真实性。

发明内容

本发明实施例提供一种图像融合方法及其设备、存储介质、终端，通过分析图像数据在三维模型的基础上进行图像融合生成目标人脸图像数据的过程，可以提高最终获得的目标人脸图像数据的真实性。

本发明实施例第一方面提供了一种图像融合方法，可包括：

获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，所述素材配置信息包括素材人脸图像数据、素材肤色数据和素材人脸三维网格；

对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格；

采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格；

采用所述源人脸图像数据的源肤色数据和所述素材人脸图像数据的素材肤色数据对所述目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。

在一种可能的设计中，对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格，包括：

对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据的基准特征点；

对所述基准特征点进行三维深度信息提取，获取所述基准特征点对应的源人脸特征点，根据所述源人脸特征点生成源人脸三维网格。

在一种可能的设计中，所述采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格，包括：

当检测到所述源人脸三维网格与所述素材人脸三维网格的类型不一致时，根据所述源人脸图像数据的对称性对所述源人脸三维网格进行网格补充，生成与所述素材人脸网格类型一致的候选人脸三维网格，并采用所述候选人脸三维网格和所述素材人脸三维网格进行网格融合生成目标人脸三维网格。

在一种可能的设计中，所述采用所述源人脸图像数据的源肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据，包括：

对所述源人脸图像数据进行肤色均衡化处理，获取所述源人脸图像数据的平均肤色数据；

基于所述源人脸图像数据的源肤色数据和所述平均肤色数据对所述候选人脸三维网格进行肤色填充，生成候选人脸图像数据；

采用所述候选人脸图像数据的候选肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据；

所述候选肤色数据包括所述源肤色数据和所述平均肤色数据。

在一种可能的设计中，所述采用所述候选人脸图像数据的候选肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据，包括：

获取所述候选肤色数据中的候选像素点和所述素材肤色数据中的素材像素点；

基于所述候选像素点和所述素材像素点，并采用融合程度计算目标像素点，根据所述目标像素点生成目标人脸图像数据。

在一种可能的设计中，还包括：

根据所述源人脸图像数据的源肤色数据获取所述源人脸图像数据对应的光源类型，并采用所述光源类型对应的光照效果对所述目标人脸图像数据进行效果添加处理。

在一种可能的设计中，还包括：

基于所述素材人脸图像数据所指示的坐标信息调整所述目标人脸图像数据当前的显示位置。

在一种可能的设计中，还包括：

当所述目标人脸图像数据的第一显示区域小于所述源人脸图像数据的第二显示区域时，对所述第二显示区域中除所述第一显示区域的部分进行人脸边缘填充处理。

本发明实施例第二方面提供了一种图像融合设备，可包括：

数据获取模块，用于获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，所述素材配置信息包括素材人脸图像数据、素材肤色数据、素材人脸特征点和素材人脸三维网格；

源网格生成模块，用于对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格；

目标网格生成模块，用于采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格；

目标数据生成模块，用于采用所述源人脸图像数据的源肤色数据和所述素材人脸图像数据的素材肤色数据对所述目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。

在一种可能的设计中，所述源网格生成模块包括：

特征点获取单元，用于对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据的基准特征点；

源网格生成单元，用于对所述基准特征点进行三维深度信息提取，获取所述基准特征点对应的源人脸特征点，根据所述源人脸特征点生成源人脸三维网格。

在一种可能的设计中，所述目标网格生成模块具体用于：

当检测到所述源人脸三维网格与所述素材人脸三维网格的类型不一致时，根据所述源人脸图像数据的对称性对所述源人脸三维网格进行网格补充，生成与所述素材人脸三维网格类型一致的候选人脸三维网格，并采用所述候选人脸三维网格和所述素材人脸三维网格进行网格融合生成目标人脸三维网格。

在一种可能的设计中，所述目标数据生成模块包括：

肤色数据获取单元，用于对所述源人脸图像数据进行肤色均衡化处理，获取所述源人脸图像数据的平均肤色数据；

候选数据生成单元，用于基于所述源人脸图像数据的源肤色数据和所述平均肤色数据对所述候选人脸三维网格进行肤色填充，生成候选人脸图像数据；

目标数据生成单元，用于采用所述候选人脸图像数据的候选肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据；

所述候选肤色数据包括所述源肤色数据和所述平均肤色数据。

在一种可能的设计中，所述目标数据生成单元包括：

像素点获取子单元，用于获取所述候选肤色数据中的候选像素点和所述素材肤色数据中的素材像素点；

目标数据生成子单元，用于基于所述候选像素点和所述素材像素点，并采用融合程度计算目标像素点，根据所述目标像素点生成目标人脸图像数据。

在一种可能的设计中，还包括：

效果添加模块，用于根据所述源人脸图像数据的源肤色数据获取所述源人脸图像数据对应的光源类型，并采用所述光源类型对应的光照效果对所述目标人脸图像数据进行效果添加处理。

在一种可能的设计中，还包括：

位置调整模块，用于基于所述素材人脸图像数据所指示的坐标信息调整所述目标人脸图像数据当前的显示位置。

在一种可能的设计中，还包括：

边缘填充模块，用于当所述目标人脸图像数据的第一显示区域小于所述源人脸图像数据的第二显示区域时，对所述第二显示区域中除所述第一显示区域的部分进行人脸边缘填充处理。

本发明实施例第三方面提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行以下步骤：

获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，所述素材配置信息包括素材人脸图像数据、素材肤色数据和素材人脸三维网格；

对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格；

采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格；

采用所述源人脸图像数据的源肤色数据和所述素材人脸图像数据的素材肤色数据对所述目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。

本发明实施例第四方面提供了一种终端，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行以下步骤：

获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，所述素材配置信息包括素材人脸图像数据、素材肤色数据和素材人脸三维网格；

对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格；

采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格；

采用所述源人脸图像数据的源肤色数据和所述素材人脸图像数据的素材肤色数据对所述目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。

在本发明实施例中，通过获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，其中素材配置信息包括素材人脸图像数据、素材肤色数据和素材人脸三维网格，再对源人脸图像数据进行图像识别处理，获取源人脸图像数据对应的源人脸特征点，并根据源人脸特征点生成源人脸图像数据的源人脸三维网格，然后采用素材人脸三维网格和源人脸三维网格进行网格融合生成目标人脸三维网格，最后采用源人脸图像数据的源肤色数据和素材人脸图像数据的素材肤色数据对目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。通过分析素材人脸三维网格和源人脸三维网格在三维模型的基础上融合为目标人脸三维网格，以及对目标人脸三维网格进行肤色融合生成目标人脸图像数据的过程，提高了最终获得的目标人脸图像数据的真实性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像融合方法的流程示意图；

图2是本发明实施例提供的一种人脸基准点位置示意图；

图3是本发明实施例提供的一种人脸三维网格模型示意图；

图4a和图4b是本发明实施例提供的人脸类型示意图；

图5是本发明实施例提供的另一种图像融合方法的流程示意图；

图6是本发明实施例提供的另一种图像融合方法的流程示意图；

图7是本发明实施例提供的另一种图像融合方法的流程示意图；

图8是本发明实施例提供的一种图像融合方法系统结构示意图；

图9是本发明实施例提供的一种图像融合设备的结构示意图；

图10是本发明实施例提供的另一种图像融合设备的结构示意图；

图11是本发明实施例提供的源网格生成模块的结构示意图；

图12是本发明实施例提供目标数据生成模块的结构示意图；

图13是本发明实施例提供目标数据生成单元的结构示意图；

图14是本发明实施例提供的一种终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的图像融合方法可以应用于各类P图软件在修图时获得更接近真实图片的场景中，例如：图像融合设备通过获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，其中，所述素材配置信息包括素材人脸图像数据、素材肤色数据和素材人脸三维网格，再对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格，然后采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格，最后采用所述源人脸图像数据的源肤色数据和所述素材人脸图像数据的素材肤色数据对所述目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。通过分析素材人脸三维网格和源人脸三维网格在三维模型的基础上融合为目标人脸三维网格，以及对目标人脸三维网格进行肤色融合生成目标人脸图像数据的过程，提高了最终获得的目标人脸图像数据的真实性。

本发明实施例涉及的图像融合设备可以是平板电脑、智能手机、掌上电脑以及移动互联网设备(MID)等其他具备图像处理功能的终端设备，还可以是修图类终端应用在进行人脸融合处理时所采用的具备计算机处理能力的应用服务器。

下面将结合附图1-附图8，对本发明实施例提供的图像融合方法进行详细介绍。

请参见图1，为本发明实施例提供了一种图像融合方法的流程示意图。如图1所示，本发明实施例的所述方法可以包括以下步骤S101-步骤S104。

S101，获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息；

具体的，图像融合设备可以获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，可以理解的是，所述源人脸图像数据可以是用户当前所拍的或者从相册中选择的照片或者视频中的人脸图像数据，所述当前待融合素材可以是修图类终端应用(例如，某图秀秀、某某P图、某某相机等)中当前被用户选中的修图所用到的素材模型，例如，动漫人物形象、明星照片等。所述素材配置信息可以包含所述当前待融合素材的3D头像信息(例如，可以是一个obj文件，该文件可以包括素材人脸图像数据、素材肤色数据和素材人脸三维网格等表示素材人脸相关数据的信息)、指示最终所得结果图像中人头效果的信息(该信息可以包括素材3D头像在世界坐标系下的朝向(欧拉角pitch，yaw，roll)，中心位置(最终结果图像的指定位置)，大小(Scale)信息以及与之相匹配的相机信息(例如用透视矩阵来刻画这个信息)等)、2D的贴纸和3D的贴纸以及用户人脸和素材人脸的融合程度alpha(该融合程度可以是每一帧都相同也可以是每帧都不同)。

可以理解的是，用于生成目标人脸图像数据的所述素材人脸图像数据和所述源人脸图像数据的大小需要对应相同的尺度，但二者的脸部凹度、胖瘦等情况可以不完全一致，因此，在获取到所述源人脸图像数据和所述素材人脸图像数据后，可以根据所述素材人脸图像数据的大小调整所述源人脸图像数据的大小，使二者大小对应相同的尺度。

S102，对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格；

具体的，所述图像融合设备可以对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，可以理解的是，所述图像识别处理可以是采用人脸检测技术(例如，跨平台计算机视觉库OpenCV提供的人脸检测、新型视觉服务平台Face++、优图人脸检测等)对照片中的用户人脸进行识别和五官定位的过程，所述源人脸特征点可以是能够表征所述源人脸图像数据的面部特征(例如，脸部轮廓、眼睛轮廓、鼻子、嘴唇等)的数据点。

在可选实施例中，所述图像融合设备可以对所述源人脸图像数据进行图像识别处理(例如，可以对照片中的用户人脸进行识别和五官定位，从而得到一定数量的基准特征点)，获取所述源人脸图像数据的基准特征点，再对所述基准特征点进行三维深度信息提取，获取所述基准特征点对应的源人脸特征点。可以理解的是，所述三维深度信息提取可以是以上述基准特征点为基础，通过匹配标准三维模型的脸部特征点推算出能够反映源人脸图像数据在三维模型中的特征点的过程。所述基准特征点可以是指示面部特征的基准点，例如，脸部轮廓、眼睛轮廓、鼻子、嘴唇等点，可以是83个基准点，也可以是如图2所示的68个基准点，具体的点数可以有开发人员根据需求而定。所述源人脸特征点可以是在所述基准特征点的基础上进一步深化后能够对应源人脸图像数据三维模型的特征点，例如，通过对上述68个或83个基准点的三维深度信息提取可以获得1000个深化后的源人脸特征点，可以是图3所示的各三角面片的顶点。

进一步的，所述图像融合设备可以根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格，可以理解的是，所述源人脸三维网格可以是所述源人脸图像数据中的人脸对应的3D脸部网格模型，例如图3所示的3D人脸网格或者类似于图3的只有半边脸的3D人脸网格。

S103，采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格；

可以理解的是，由于所述源人脸图像数据和所述素材人脸图像数据的大小位于同一尺度下，所述源人脸三维网格和所述素材人脸三维网络的尺度也位于同一尺度下。

具体的，所述图像融合设备可以采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格，可以理解的是，所述素材人脸三维网格可以类似于上述源人脸三维网格可以是所述素材人脸图像数据中人脸对应的3D脸部网格模型，可以是图3所示的3D人脸网格或者是基于图3所示的3D人脸网格在世界坐标系中根据欧拉角改变朝向后的3D人脸网格。所述目标人脸三维网格可以是目标人脸图像数据的3D人脸网格。可以理解的是，当素材人脸三维网格是图3所示的3D人脸网格时，最终投影到2D图像上可以呈现正脸的效果，当素材人脸三维网格是基于图3所示的3D人脸网格在世界坐标系中根据欧拉角改变朝向后的3D人脸网格时，最终投影到2D图像上可以呈现侧脸的效果。

在可选实施例中，所述图像融合设备可以根据所述源人脸三维网格和所述素材人脸三维网格中的人脸特征点计算目标人脸的目标人脸特征点，再根据计算所得的目标人脸特征点生成目标人脸三维网格，例如，3D源人脸三维网格(即用户的3D人脸网格)上有1000个带深度信息的源人脸特征点标记为绿色，3D素材人脸三维网格上有1000个带深度信息的素材人脸特征点标记为蓝色，用户和素材的1000人脸特征点每个相对应点的平均点(相同位置的对应点取平均，一共1000个点对)标记为红色，最终生成的1000个红色的人脸特征点即为目标人脸特征点，通过上述1000个红色人脸特征点可以组成1900多个三角形，对应的1900多个三角面片所描绘的人脸三维网格即为目标人脸三维网格。可以理解的是，所述图像融合设备可以采用移动最小二乘的图像变形(Image Deformation Using Moving LeastSquares，MLS)法、仿射变换、图像扭曲等算法将源人脸图像数据和素材人脸图像数据的五官位置趋于上述红色的人脸特征点即目标人脸特征点所指示的五官位置，实现人脸融合的目的。

S104，采用所述源人脸图像数据的源肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据；

可以理解的是，生成所述目标人脸三维网格后，所述图像融合设备需要填充所述目标人脸三维网格中不同三角面片上的肤色才能得到最终的目标人脸图像数据。

具体的，所述图像融合设备可以采用所述源人脸图像数据的源肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据，可以理解的是，所述源肤色数据可以是组成所述源人脸图像数据的源像素点的集合，所述素材肤色数据可以是组成所述素材人脸图像数据的素材像素点的集合。

可以理解的是，若上述源人脸三维网格与素材人脸三维网格的类型不一致时，需要对所述源人脸三维网格进行网络补充，生成候选人脸三维网格，所述类型可以是所述源人脸三维网格和所述素材人脸三维网格中的网络要素。所述候选人脸三维网格的候选肤色数据可以是对称后的源人脸图像数据，即可以认为所述候选人脸三维网格的候选肤色数据就是所述源肤色数据。所述图像融合设备可以根据上述源像素点、素材像素点和所述素材配置信息中的融合程度(可以是根据经验值进行设置的融合度值，通常取值在0-1之间)计算目标人脸图像数据的目标像素点，进而根据所述目标像素点填充所述目标人脸三维网格生成目标人脸图像数据。例如，设置源人脸三维网格中某三角面片上一个特征点的像素为：UserB、UserG和UserR，素材人脸三维网格中相应的三角面片上相应位置处的脸特征点的像素为：ResourceB、ResourceG和ResourceR，目标人脸三维网格中相应的三角面片上相应位置处的特征点的像素为：TargetB、TargetG和TargetR，素材配置信息中的融合程度为：alpha，则有：

TargetB＝(1.0–alpha)*UserB+alpha*ResourceB

TargetG＝(1.0–alpha)*UserG+alpha*ResourceG

TargetR＝(1.0–alpha)*UserR+alpha*ResourceR

从而可以得到目标人脸图像数据的每一个像素值，获得目标人脸图像数据。

可以理解的是，最终生成的所述目标人脸图像数据可以是三维人脸图像数据，也可以是二维人脸图像数据。当所述目标人脸图像数据是二维人脸图像数据时，由于生成所述目标图像数据的过程是在三维模型的基础上实现的，考虑到真实光线、阴影等问题，最终成线的目标人脸图像数据效果更逼真。

在可选实施例中，上述候选人脸三维网格的候选肤色数据可以包括两部分，即与所述源人脸三维网格相匹配部分的候选人脸三维网格的肤色数据为所述源肤色数据，与所述源人脸三维网格不匹配部分的候选人脸三维网格的肤色数据为平均肤色数据，所述平均肤色数据可以是所述源肤色数据经肤色均衡化处理后的肤色数据。可以理解的是，所述肤色均衡化处理可以是去掉所述源人脸图像数据中由于光线等原因造成的阴影等效果获得肤色平均值的过程。所述图像融合设备可以根据上述候选肤色数据的候选像素点、素材像素点和所述素材配置信息中的融合程度计算目标人脸图像数据的目标像素点，进而根据所述目标像素点填充所述目标人脸三维网格生成目标人脸图像数据，具体的计算过程与上述计算过程一致此处不再赘述。

在本发明实施例中，通过获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，其中素材配置信息包括素材人脸图像数据、素材肤色数据和素材人脸三维网格，再对源人脸图像数据进行图像识别处理，获取源人脸图像数据对应的源人脸特征点，并根据源人脸特征点生成源人脸图像数据的源人脸三维网格，然后采用素材人脸三维网格和源人脸三维网格进行网格融合生成目标人脸三维网格，最后采用源人脸图像数据的源肤色数据和素材人脸图像数据的素材肤色数据对目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。通过分析素材人脸三维网格和源人脸三维网格在三维模型的基础上融合为目标人脸三维网格，以及对目标人脸三维网格进行肤色融合生成目标人脸图像数据的过程，提高了最终获得的目标人脸图像数据的真实性。

请参见图5，为本发明实施例提供了另一种图像融合方法的流程示意图。如图5所示，本发明实施例的所述方法可以包括以下步骤S201-步骤S210。

S201，获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息；

具体的，图像融合设备可以获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，可以理解的是，所述源人脸图像数据可以是用户当前所拍的或者从相册中选择的照片或者视频中的人脸图像数据，所述当前待融合素材可以是修图类终端应用(例如，某图秀秀、某某P图、某某相机等)中当前被用户选中的修图所用到的素材模型，例如，动漫人物形象、明星照片等。所述素材配置信息可以包含所述当前待融合素材的3D头像信息(例如，可以是一个obj文件，该文件可以包括素材人脸图像数据、素材肤色数据和素材人脸三维网格等表示素材人脸相关数据的信息)、指示最终所得结果图像中人头效果的信息(该信息可以包括素材3D头像在世界坐标系下的朝向(欧拉角pitch，yaw，roll)，中心位置(最终结果图像的指定位置)，大小(Scale)信息以及与之相匹配的相机信息(例如用透视矩阵来刻画这个信息)等)、2D的贴纸和3D的贴纸以及用户人脸和素材人脸的融合程度alpha(该融合程度可以是每一帧都相同也可以是每帧都不同)。

可以理解的是，用于生成目标人脸图像数据的所述素材人脸图像数据和所述源人脸图像数据的大小需要对应相同的尺度，但二者的脸部凹度、胖瘦等情况可以不完全一致，因此，在获取到所述源人脸图像数据和所述素材人脸图像数据后，可以根据所述素材人脸图像数据的大小调整所述源人脸图像数据的大小，使二者大小对应相同的尺度。

S202，对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据的基准特征点；

具体的，所述图像融合设备可以对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据的基准特征点，可以理解的是，所述图像识别处理可以是采用人脸检测技术(例如，跨平台计算机视觉库OpenCV提供的人脸检测、新型视觉服务平台Face++、优图人脸检测等)对照片中的用户人脸进行识别和五官定位的过程。所述基准特征点可以是指示面部特征的基准点，例如，脸部轮廓、眼睛轮廓、鼻子、嘴唇等点，可以是83个基准点，也可以是如图2所示的68个基准点，具体的点数可以有开发人员根据需求而定。

S203，对所述基准特征点进行三维深度信息提取，获取所述基准特征点对应的源人脸特征点，根据所述源人脸特征点生成源人脸三维网格；

具体的，所述图像融合设备可以对所述基准特征点进行三维深度信息提取，获取所述基准特征点对应的源人脸特征点，根据所述源人脸特征点生成源人脸三维网格，可以理解的是，所述三维深度信息提取可以以上述基准特征点为基础，通过匹配标准三维模型的脸部特征点推算出能够反映源人脸图像数据在三维模型中的特征点的过程。所述源人脸特征点可以是在所述基准特征点的基础上进一步深化的点，例如，通过对上述68个或83个基准点的三维深度信息提取可以获得1000个深化后的源人脸特征点，可以是图3中各三角面片的顶点。所述源人脸三维网格可以是所述源人脸图像数据中的人脸对应的3D脸部网格模型，可以是所述源人脸特征点连接而成的用户人脸的3D网格模型，例如图3所示的3D人脸网格或者类似于图3的只有半边脸的3D人脸网格。

S204，采用所述源人脸三维网格和所述素材人脸三维网格进行网格融合生成目标人脸三维网格；

可以理解的是，由于所述源人脸图像数据和所述素材人脸图像数据的大小位于同一尺度下，所述源人脸三维网格和所述素材人脸三维网络的尺度也位于同一尺度下。

具体的，所述图像融合设备可以采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格，可以理解的是，所述素材人脸三维网格可以类似于上述源人脸三维网格可以是所述素材人脸图像数据中人脸对应的3D脸部网格模型，可以是图3所示的3D人脸网格或者是基于图3所示的3D人脸网格在世界坐标系中根据欧拉角改变朝向后的3D人脸网格。所述目标人脸三维网格可以是目标人脸图像数据的3D人脸网格。可以理解的是，当素材人脸三维网格是图3所示的3D人脸网格时，最终投影到2D图像上可以呈现正脸的效果，当素材人脸三维网格是基于图3所示的3D人脸网格在世界坐标系中根据欧拉角改变朝向后的3D人脸网格时，最终投影到2D图像上可以呈现侧脸的效果。

在可选实施例中，所述图像融合设备可以根据所述源人脸三维网格和所述素材人脸三维网格中的人脸特征点计算目标人脸的目标人脸特征点，再根据计算所得的目标人脸特征点生成目标人脸三维网格，例如，3D源人脸三维网格(即用户的3D人脸网格)上有1000个带深度信息的源人脸特征点标记为绿色，3D素材人脸三维网格上有1000个带深度信息的素材人脸特征点标记为蓝色，用户和素材的1000人脸特征点每个相对应点的平均点(相同位置的对应点取平均，一共1000个点对)标记为红色，最终生成的1000个红色的人脸特征点即为目标人脸特征点，通过上述1000个红色人脸特征点可以组成1900多个三角形，对应的1900多个三角面片所描绘的人脸三维网格即为目标人脸三维网格。可以理解的是，所述图像融合设备可以采用MLS法、仿射变换、图像扭曲等算法将源人脸图像数据和素材人脸图像数据的五官位置趋于上述红色的人脸特征点即目标人脸特征点所指示的五官位置，实现人脸融合的目的。

S205，对所述源人脸图像数据进行肤色均衡化处理，获取所述源人脸图像数据的平均肤色数据；

可以理解的是，若上述源人脸三维网格与素材人脸三维网格的类型不一致时，需要对所述源人脸三维网格进行网络补充，生成候选人脸三维网格，所述类型可以是所述源人脸三维网格和所述素材人脸三维网格中的网络要素。所述候选人脸三维网格的候选肤色数据可以是对称后的源人脸图像数据，即可以认为所述候选人脸三维网格的候选肤色数据就是所述源肤色数据。例如，最后生成的候选人脸图像数据为图4a中的人脸图像，则图4a中人脸的肤色与图4b中人脸的肤色一致。

在本发明实施例中，上述候选人脸三维网格的候选肤色数据可以包括两部分，即与所述源人脸三维网格相匹配部分的候选人脸三维网格的肤色数据为所述源肤色数据，与所述源人脸三维网格不匹配部分的候选人脸三维网格的肤色数据为平均肤色数据。具体的，所述图像融合设备可以对所述源人脸图像数据进行肤色均衡化处理，获取所述源人脸图像数据的平均肤色数据，可以理解的是，所述肤色均衡化处理可以是去掉所述源人脸图像数据中由于光线等原因造成的阴影等效果获得肤色平均值的过程。所述平均肤色数据可以是所述源肤色数据去掉阴影后的像素点数据的平均值组成的像素点集合。

S206，基于所述源人脸图像数据的源肤色数据和所述平均肤色数据对所述候选人脸三维网格进行肤色填充，生成候选人脸图像数据；

具体的，所述图像融合设备可以基于所述源人脸图像数据的源肤色数据和所述平均肤色数据对所述候选人脸三维网格进行肤色填充，生成候选人脸图像数据，可以理解的是，所述候选人脸三维网格中与所述源人脸三维网格相匹配部分的肤色数据可以用所述源人脸图像数据的源肤色数据进行填充，所述候选人脸三维网格中与所述源人脸三维网格不匹配部分的肤色数据可以用所述平均肤色数据进行填充。所述候选人脸图像数据的候选肤色数据可以包括所述源肤色数据和所述平均肤色数据，例如，最后生成的候选人脸图像数据为图4a中的人脸图像，则图4a中右边脸的肤色为图4b中人脸的肤色，图4a中左边脸的肤色为图4b中人脸肤色平均化后的肤色。

S207，采用所述候选人脸图像数据的候选肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据；

可以理解的是，生成所述目标人脸三维网格后，所述图像融合设备需要填充所述目标人脸三维网格中不同三角面片上的肤色才能得到最终的目标人脸图像数据。

具体的，所述图像融合设备可以采用所述候选人脸图像数据的候选肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据，可以理解的是，所述候选肤色数据可以是组成所述候选人脸图像数据的候选像素点的集合，所述素材肤色数据可以是组成所述素材人脸图像数据的素材像素点的集合。

在可选实施例中，所述图像融合设备可以基于所述候选像素点和所述素材像素点，并采用融合程度计算目标像素点，根据所述目标像素点生成目标人脸图像数据，可以理解的是，所述融合程度(可以是根据经验值进行设置的融合度值，通常取值在0-1之间。

在本发明实施例的具体实现方式中，可以设置候选人脸三维网格中某三角面片上一个特征点的像素为：CandidateB、CandidateG和CandidateR，素材人脸三维网格中相应的三角面片上相应位置处的脸特征点的像素为：ResourceB、ResourceG和ResourceR，目标人脸三维网格中相应的三角面片上相应位置处的特征点的像素为：TargetB、TargetG和TargetR，素材配置信息中的融合程度为：alpha，则有：

TargetB＝(1.0–alpha)*CandidateB+alpha*ResourceB

TargetG＝(1.0–alpha)*CandidateG+alpha*ResourceG

TargetR＝(1.0–alpha)*CandidateR+alpha*ResourceR

从而可以得到目标人脸图像数据的每一个像素值，获得目标人脸图像数据。

在本发明实施例中，通过分析平均肤色数据在目标人图像数据肤色融合错过中的作用，增加了最终获得的目标人脸图像数据的真实性。

S208，根据所述源人脸图像数据的源肤色数据获取所述源人脸图像数据对应的光源类型，并采用所述光源类型对应的光照效果对所述目标人脸图像数据进行效果添加处理；

可以理解的是，所述目标人脸图像数据生成后，所述图像融合设备可以根据所述源人脸图像数据的源肤色数据获取所述源人脸图像数据对应的光源类型，可选的，所述图像融合设备可以通过比较所述平均肤色和所述源人脸图像数据中各个区域的肤色，获取亮与平均肤色的区域和暗与平均肤色的区域，进而推算出光源类型，例如是多个点光源或者面光源。可选的，所述图像融合设备也可以通过深度学习搜集源人脸图像数据在不同指定光照情况下的结果图，然后将结果图和对应的光照情况作为深度神经((Deep NeuralNetworks，DNN)的训练数据，训练出一个给定图片就能输出光源类型和光源位置的DNN模型。

进一步的，所述图像融合设备可以采用所述光源类型对应的光照效果对所述目标人脸图像数据进行效果添加处理，例如，所述源人脸图像数据的对应的光源类型是来自左侧脸方向的点光源，则所述图像融合设备可以在最终获得的目标人脸图像数据中添加左脸方向点光源的光照效果。

在可选实施例中，所述图像融合设备还可以将上述素材配置信息中的2D和3D贴纸按照其对应的位置和层级(zOrder)粘贴在所述目标人脸图像数据上，例如，将3D眼镜贴纸佩戴在生成的目标人脸图像数据的人脸上。

S209，基于所述素材人脸图像数据所指示的坐标信息调整所述目标人脸图像数据当前的显示位置；

可以理解的是，所述目标人脸图像数据生成后，所述图像融合设备还可以基于所述素材人脸图像数据所指示的坐标信息调整所述目标人脸图像数据当前的显示位置，例如，根据上述素材配置信息中的素材人脸图像数据所指示的坐标信息(包括，欧拉方向和中心点)和素材大小将所得的目标人脸图像数据放在指定的位置上。

S210，当所述目标人脸图像数据的第一显示区域小于所述源人脸图像数据的第二显示区域时，对所述第二显示区域中除所述第一显示区域的部分进行人脸边缘填充处理；

可以理解的是，当最终生成的目标人脸图像数据的第一显示区域小于所述源人脸图像数据的第二显示区域时，所述图像融合设备可以对所述第二显示区域中除所述第一显示区域的部分进行人脸边缘填充处理，所述第一显示区域可以是所述目标人脸图像数据映射在2D屏幕上的范围，所述第二显示区域可以是所述源人脸图像数据映射在2D屏幕上的范围，所述第一显示区域小于所述第二显示区域可以表述为所述目标人脸图像数据的人脸比所述源人脸图像数据的人脸小。所述人脸边缘填充处理可以是采用填充算法(例如，OpenCV提供的图像修复算法Inpainting)将所述第二显示区域中除所述第一显示区域的部分填充满。

进一步的，所述图像融合设备对所述目标人脸图像数据的附加技术效果处理完之后，可以对最终获得的目标人脸图像数据进行输出显示。

可以理解的是，执行步骤S208-步骤S210后最终生成的所述目标人脸图像数据可以是三维人脸图像数据，也可以是二维人脸图像数据。当所述目标人脸图像数据是二维人脸图像数据时，由于生成所述目标图像数据的过程是在三维模型的基础上实现的，考虑到真实光线、阴影等问题，最终成线的目标人脸图像数据效果更逼真。

需要说明的是，在执行步骤S208-步骤S210时，可以选在其中的一个或多步骤同时执行。

在本发明实施例中，通过对生成的目标人脸图像数据的添加真实的光照效果、调整人脸图像数据的显示位置以及填充人脸边缘区域，进一步增加了最终输出的目标人脸图像数据的真实效果。

在本发明实施例一种具体实现方式中，所述采用所述候选人脸图像数据的候选肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据可以包括以下几个步骤，如图6所示：

S301，获取所述候选肤色数据中的候选像素点和所述素材肤色数据中的素材像素点；

可以理解的是，所述候选肤色数据可以是组成上述候选人脸图像数据的候选像素点的集合，所述素材肤色数据可以是组成上述素材人脸图像数据的素材像素点的集合。所述图像融合设备可以获取所述候选肤色数据中的候选像素点和所述素材肤色数据中的素材像素点。

S302，基于所述候选像素点和所述素材像素点，并采用融合程度计算目标像素点，根据所述目标像素点生成目标人脸图像数据；

具体的，所述图像融合设备基于所述候选像素点和所述素材像素点，并采用融合程度获取目标人脸图像数据的具体过程可以参见步骤S207中的描述，此处不再赘述。

在本发明实施例中，通过采用精确到像素点的肤色融合过程，提高了目标人脸图像数据肤色融合的准确性。

在本发明实施例中，通过获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，其中素材配置信息包括素材人脸图像数据、素材肤色数据和素材人脸三维网格，再对源人脸图像数据进行图像识别处理，获取源人脸图像数据对应的源人脸特征点，并根据源人脸特征点生成源人脸图像数据的源人脸三维网格，然后采用素材人脸三维网格和源人脸三维网格进行网格融合生成目标人脸三维网格，最后采用源人脸图像数据的源肤色数据和素材人脸图像数据的素材肤色数据对目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。通过分析素材人脸三维网格和源人脸三维网格在三维模型的基础上融合为目标人脸三维网格，以及对目标人脸三维网格进行肤色融合生成目标人脸图像数据的过程，提高了最终获得的目标人脸图像数据的真实性；通过分析平均肤色数据在目标人图像数据肤色融合错过中的作用，增加了最终获得的目标人脸图像数据的真实性；通过对生成的目标人脸图像数据的添加真实的光照效果、调整人脸图像数据的显示位置以及填充人脸边缘区域，进一步增加了最终输出的目标人脸图像数据的真实效果；通过采用精确到像素点的肤色融合过程，提高了目标人脸图像数据肤色融合的准确性。

需要说明的是，在2D模型的基础上进行人脸融合时，通常存在用户图像数据的人脸角度与素材图像数据的人脸角度不完全匹配的情况，例如，用户图像是半边脸，素材图像是正脸或者用户人头向左转，素材人头向右转等。当存在上述情况时，现有技术中的人脸融合算法所能获取到的用户人脸的信息较少，在进行人脸融合时较少的用户人脸信息将影响最终的匹配结果，导致生成的目标结果图像的真实性较差。

为了解决上述问题，本发明实施例提供了另一种图像融合方法的流程示意图。如图7所示，本发明实施例的所述方法可以包括以下步骤S401-步骤S404。

S401，获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息；

具体的，图像融合设备可以获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，详细的获取过程可以参见步骤S201中的相关描述此处不再赘述。

S402，对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格；

具体的，所述图像融合设备生成所述源人脸三维网格的过程可以参见上述步骤S202-步骤S203中的相关描述，此处不再赘述。

S403，当检测到所述源人脸三维网格与所述素材人脸三维网格的类型不一致时，根据所述源人脸图像数据的对称性对所述源人脸三维网格进行网格补充，生成与所述素材人脸三维网格类型一致的候选人脸三维网格，并采用所述候选人脸三维网格和所述素材人脸三维网格进行网格融合生成目标人脸三维网格；

可以理解的是，由于所述源人脸图像数据和所述素材人脸图像数据的大小位于同一尺度下，所述源人脸三维网格和所述素材人脸三维网络的尺度也位于同一尺度下。

可以理解的是，所述素材人脸三维网格可以类似于上述源人脸三维网格可以是所述素材人脸图像数据中人脸对应的3D脸部网格模型，可以是图3所示的3D人脸网格或者是基于图3所示的3D人脸网格在世界坐标系中根据欧拉角改变朝向后的3D人脸网格。所述目标人脸三维网格可以是目标人脸图像数据的3D人脸网格。可以理解的是，当素材人脸三维网格是图3所示的3D人脸网格时，最终投影到2D图像上可以呈现正脸的效果，当素材人脸三维网格是基于图3所示的3D人脸网格在世界坐标系中根据欧拉角改变朝向后的3D人脸网格时，最终投影到2D图像上可以呈现侧脸的效果。

可以理解的是，所述源人脸三维网格和所述素材人脸三维网格只有在类型一致时，才能根据融合算法生成与二者脸部显示区域一样且真实性较好的目标人脸三维网格。可以理解的是，所述类型一致可以是所述源人脸三维网格和所述素材人脸三维网格中的网络要素一致，所述网格要素可以是所述源人脸三维网格和所述素材人脸三维网格的网格朝向或者网格显示区域。例如，所述源人脸三维网格指示的脸部显示区域和所述素材人脸三维网格指示的脸部显示区域一致，二者都是类似于图4a所示的标准正脸或者类似于图4b所示的侧脸时，可以认为所述源人脸三维网格和所述素材人脸三维网格类型一致。当所述源人脸网格和所述素材人脸网格的类型不一致时(例如，源人脸三维网格为类似于图4b所示的侧脸，素材人脸三维网格为类似于图4a所示的标准正脸)，所述图像融合设备可以先对所述源人脸网格进行网格补充。

具体的，当所述源人脸三维网格与所述素材人脸三维网格的类型不一致时，所述图像融合设备可以根据所述源人脸图像数据的对称性对所述源人脸三维网格进行网格补充，生成与所述素材人脸三维网格类型一致的候选人脸三维网格，可以理解的是，正常情况下人的脸部都是对称的(忽略细微的差别)，当所述源人脸图像数据为侧脸图像数据时(例如，图4b中的图像)，所述图像融合设备提取所述源人脸特征点后生成的源人脸三维网格也是针对侧脸的，此时，所述图像融合设备可以根据脸部对称的原则将该源人脸图像数据补充为标准正脸(例如，由图4b的图像补充后得到图4a的图像)，然后再根据补充后的源人脸图像数据生成与所述素材人脸三维网格类型一致的候选人脸三维网格(图4a对应的人脸三维网格即是候选人脸三维网格)。

可以理解的是，所述图像融合设备根据脸部对称原则对源人脸图像数据(侧脸图像数据)补充后得到的标准正脸图像数据的左右脸部表情一致，进一步得到的候选人脸三维网格的左右脸部表情也是一致的。

在可选实施例中，当所述素材人脸三维网格为左右脸部表情不一致的标准正脸，而源人脸图像数据为侧脸图像数据时，根据源人脸图像数据的对称性对源人脸三维网格进行网格补充后得到的候选人脸三维网格的左右脸部表情，与素材人脸三维网格的左右脸部表情是不一致的(例如，素材人脸图像数据所指示素材人脸的左眼是张开的，右眼是闭着的，而只包含左侧脸的源人脸图像数据指示的用户只人脸的左眼是张开的，此时，根据源人脸图像数据的对称性补充后的源人脸三维网格的右眼也是张开的，与素材人脸三维网格的右眼不一致)，此时，所述图像融合设备将无法采用该候选人脸三维网格和上述素材人脸三维网格进行网格融合生成目标人脸三维网格。对上述种情况，所述图像融合设备可以通过表情迁移算法将候选人脸三维网格的左右脸部表情调整至与素材人脸三维网格的表情一致，使最终得到的候选人脸三维网格与上述素材人脸三维网格的面部表情一致。

进一步的，所述图像融合设备可以采用所述候选人脸三维网格和所述素材人脸三维网格进行网格融合生成目标人脸三维网格，可以理解的是，所述候选人脸三维网格与所述素材人脸三维网格的类型是一致的，即在相同脸部位置上所述素材人脸三维网格和所述候选人脸三维网格都有相应的特征点，例如，候选人脸三维网格中包含两只眼睛眼角的特征点，素材人脸三维网格也包含两只眼睛眼角的特征点。所述目标人脸三维网格可以是目标人脸图像数据的3D人脸网格。

在可选实施例中，所述图像融合设备可以根据所述候选人脸三维网格和所述素材人脸三维网格中的人脸特征点计算目标人脸的目标人脸特征点，再根据计算所得的目标人脸特征点生成目标人脸三维网格，例如，3D候选人脸三维网格(即用户的3D人脸网格)上有1000个带深度信息的源人脸特征点标记为绿色，3D素材人脸三维网格上有1000个带深度信息的素材人脸特征点标记为蓝色，用户和素材的1000人脸特征点每个相对应点的平均点(相同位置的对应点取平均，一共1000个点对)标记为红色，最终生成的1000个红色的人脸特征点即为目标人脸特征点，通过上述1000个红色人脸特征点可以组成1900多个三角形，对应的1900多个三角面片所描绘的人脸三维网格即为目标人脸三维网格。可以理解的是，所述图像融合设备可以采用移动最小二乘的图像变形法MLS、仿射变换、图像扭曲等算法将源人脸图像数据和素材人脸图像数据的五官位置趋于上述红色的人脸特征点即目标人脸特征点所指示的五官位置，实现人脸融合的目的。

S404，采用所述源人脸图像数据的源肤色数据和所述素材人脸图像数据的素材肤色数据对所述目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据；

具体的，所述图像融合设备生成所述目标人脸图像数据的过程可以参见上述步骤S205-步骤S210中的相关描述，此处不再赘述。

在本发明实施例中，通过获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，其中素材配置信息包括素材人脸图像数据、素材肤色数据和素材人脸三维网格，再对源人脸图像数据进行图像识别处理，获取源人脸图像数据对应的源人脸特征点，并根据源人脸特征点生成源人脸图像数据的源人脸三维网格，然后采用素材人脸三维网格和源人脸三维网格进行网格融合生成目标人脸三维网格，最后采用源人脸图像数据的源肤色数据和素材人脸图像数据的素材肤色数据对目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。通过分析素材人脸三维网格和源人脸三维网格在三维模型的基础上融合为目标人脸三维网格，以及对目标人脸三维网格进行肤色融合生成目标人脸图像数据的过程，提高了最终获得的目标人脸图像数据的真实性；通过分析平均肤色数据在目标人图像数据肤色融合错过中的作用，增加了最终获得的目标人脸图像数据的真实性。

可以理解的是，上述方法实施例中的素材人脸图像数据是相关终端应用中的一帧素材数据，整个人脸融合过程适用于单帧的实时处理，例如可以用于相机实时预览用户融合变成别的素材形象后的样子。当素材需要处理多帧时，也是一帧一帧的循环处理视频中的多帧图片得到最终人脸融合后的视频。

下面将举例说明一个具体的人脸融合系统的实现过程，如图8所示：

S500，进入系统；

S501，获取第N帧素材人脸图像数据和当前源人脸图像数据；

具体的，图像融合设备在进行人脸融合之前可以获取修图类终端应用(例如，某图秀秀、某某P图、某某相机等)中某一帧(例如第N帧)素材的素材配置信息，所述素材配置信息中可以包含所述当前待融合素材的3D头像信息(例如，可以是一个obj文件，该文件可以包括素材人脸图像数据、素材肤色数据和素材人脸三维网格等表示素材人脸相关数据的信息)、指示最终所得结果图像中人头效果的信息(该信息可以包括素材3D头像在世界坐标系下的朝向(欧拉角pitch，yaw，roll)，中心位置(最终结果图像的指定位置)，大小(Scale)信息以及与之相匹配的相机信息(例如用透视矩阵来刻画这个信息)等)、2D的贴纸和3D的贴纸以及用户人脸和素材人脸的融合程度alpha(该融合程度可以是每一帧都相同也可以是每帧都不同)。可以理解的是，所述图像融合设备可以获取用户当前所拍的或者从相册中选择的照片或者视频中的源人脸图像数据。

可以理解的是，用于生成目标人脸图像数据的所述素材人脸图像数据和所述源人脸图像数据的大小需要对应相同的尺度，但二者的脸部凹度、胖瘦等情况可以不完全一致，因此，在获取到所述源人脸图像数据和所述素材人脸图像数据后，可以根据所述素材人脸图像数据的大小调整所述源人脸图像数据的大小，使二者大小对应相同的尺度。

S502，生成目标人脸三维网格；

具体的，所述图像融合设备获取所述素材人脸图像数据和所述源人脸图像数据后，可以对二者进行进一步分析处理生成目标人脸三维网格，可以理解的是，所述目标人脸三维网格可以是最终人脸融合所生成的目标人脸图像数据中人脸对应的脸部三维网格模型，具体的实现过程可以步骤S5021-S5025实现：

S5021，获取源人脸特征点；

具体的，所述图像融合设备可以对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据的基准特征点，然后对所述基准特征点进行深度信息提取，获取所述基准特征点对应的源人脸特征点。具体的实现过程可以参见步骤S202和步骤S203的详细描述，此处不再赘述。

S5022，生成源人脸三维网格；

具体的，所述图像融合设备可以将上述源人脸特征点连接成由许多三角面片组成的源人脸网格，具体的实现过程可以参见步骤S203的描述，此处不再赘述。

S5023，读取素材配置信息；

可以理解的是，所述图像融合设备在进行人脸融合之前，已经获取了第N帧素材的素材配置信息，此时，所述图像融合设备可以读取所述素材配置信息中的相关数据。

S5024，补全源人脸三维网格；

可以理解的是，当所述源人脸三维网格和所述素材人脸三维网格类型不一致，(例如，源人脸三维网格为类似于图4b所示的侧脸，素材人脸三维网格为类似于图4a所示的标准正脸)，所述图像融合设备可以先对所述源人脸三维网格进行网格补充，具体的实现过程可以参见步骤S204所述的根据人脸对称性进行的网格补充，此处不再赘述。

S5025，融合源人脸三维网格和素材人脸三维网格；

可以理解的是，步骤S5023中获取的素材配置信息中，包括素材人脸三维网格，所述图像融合设备可以将所述源人脸三维网格和所述素材人脸三维网格进行网格融合生成目标人脸三维网格，具体的融合过程可以参见步骤S204所处的详细过程，此处不再赘述。

S503，目标人脸图像数据肤色融合；

可以理解的是，生成所述目标人脸三维网格后，所述图像融合设备需要填充所述目标人脸三维网格中不同三角面片上的肤色才能得到最终的目标人脸图像数据。目标人脸图像数据肤色融合的具体过程可以通过步骤S5031-S5033实现：

S5031，获取平均肤色数据；

具体的，所述图像融合设备可以对所述源人脸图像数据进行肤色均衡化处理，获取所述源人脸图像数据的平均肤色数据，具体过程可以参见步骤S205的描述，此处不再赘述。

S5032，肤色融合；

具体的，所述图像融合设备可以基于所述源人脸图像数据的源肤色数据和所述平均肤色数据对所述候选人脸三维网格进行肤色填充，生成候选人脸图像数据，再采用所述候选人脸图像数据的候选肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据，具体的实现过程可以参见步骤S206和步骤S207的详细描述，此处不再赘述。

S504，后期处理；

可以理解的是，所述后期处理可以是对生成的目标人脸图像数据的后期调整，使最终输出的目标人脸图像数据效果更逼真。具体的，可以包括步骤S5041和步骤S5042所描述的处理过程。

S5041，灯光渲染，位置调整；

具体的，所述图像融合设备可以采用所述候选人脸图像数据的候选肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据。同时，所述图像融合设备可以基于所述素材人脸图像数据所指示的坐标信息调整所述目标人脸图像数据当前的显示位置。具体的实现过程可以参见步骤S208和步骤S209的详细描述，此处不再赘述。

S5042，人脸边缘填充；

具体的，当所述目标人脸图像数据的第一显示区域小于所述源人脸图像数据的第二显示区域时，所述图像融合设备可以对所述第二显示区域中除所述第一显示区域的部分进行人脸边缘填充处理。具体的实现过程可以参见步骤S210的详细描述，此处不再赘述。

S505，结果输出；

可以理解的是，所述图像融合设备对所述目标人脸图像数据的附加技术效果处理完之后，可以对最终获得的目标人脸图像数据进行输出显示。

S506，若针对视频的人脸融合，检测是否所有帧都已处理完；

S507，当所有帧都已处理完，则退出系统。

在本发明实施例中，获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，其中素材配置信息包括素材人脸图像数据、素材肤色数据和素材人脸三维网格，再对源人脸图像数据进行图像识别处理，获取源人脸图像数据对应的源人脸特征点，并根据源人脸特征点生成源人脸图像数据的源人脸三维网格，然后采用素材人脸三维网格和源人脸三维网格进行网格融合生成目标人脸三维网格，最后采用源人脸图像数据的源肤色数据和素材人脸图像数据的素材肤色数据对目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。通过分析素材人脸三维网格和源人脸三维网格在三维模型的基础上融合为目标人脸三维网格，以及对目标人脸三维网格进行肤色融合生成目标人脸图像数据的过程，提高了最终获得的目标人脸图像数据的真实性；通过分析平均肤色数据在目标人图像数据肤色融合错过中的作用，增加了最终获得的目标人脸图像数据的真实性；通过对生成的目标人脸图像数据的添加真实的光照效果、调整人脸图像数据的显示位置以及填充人脸边缘区域，进一步增加了最终输出的目标人脸图像数据的真实效果；通过采用精确到像素点的肤色融合过程，提高了目标人脸图像数据肤色融合的准确性。

下面将结合附图9-附图13，对本发明实施例提供的图像融合设备进行详细介绍。需要说明的是，附图9-附图13所示的设备，用于执行本发明图1-图8所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明图1-图8所示的实施例。

请参见图9，为本发明实施例提供了一种图像融合设备的结构示意图。如图9所示，本发明实施例的所述图像融合设备1可以包括：数据获取模块11、源网格生成模块12、目标网格生成模块13和目标数据生成模块14。

数据获取模块11，用于获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息；

具体实现中，图像融合设备1可以获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，可以理解的是，所述源人脸图像数据可以是用户当前所拍的或者从相册中选择的照片或者视频中的人脸图像数据，所述当前待融合素材可以是修图类终端应用(例如，某图秀秀、某某P图、某某相机等)中当前被用户选中的修图所用到的素材模型，例如，动漫人物形象、明星照片等。所述素材配置信息可以包含所述当前待融合素材的3D头像信息(例如，可以是一个obj文件，该文件可以包括素材人脸图像数据、素材肤色数据和素材人脸三维网格等表示素材人脸相关数据的信息)、指示最终所得结果图像中人头效果的信息(该信息可以包括素材3D头像在世界坐标系下的朝向(欧拉角pitch，yaw，roll)，中心位置(最终结果图像的指定位置)，大小(Scale)信息以及与之相匹配的相机信息(例如用透视矩阵来刻画这个信息)等)、2D的贴纸和3D的贴纸以及用户人脸和素材人脸的融合程度alpha(该融合程度可以是每一帧都相同也可以是每帧都不同)。

可以理解的是，用于生成目标人脸图像数据的所述素材人脸图像数据和所述源人脸图像数据的大小需要对应相同的尺度，但二者的脸部凹度、胖瘦等情况可以不完全一致，因此，在获取到所述源人脸图像数据和所述素材人脸图像数据后，可以根据所述素材人脸图像数据的大小调整所述源人脸图像数据的大小，使二者大小对应相同的尺度。

源网格生成模块12，用于对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格；

具体实现中，源网格生成模块12可以对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，可以理解的是，所述图像识别处理可以是采用人脸检测技术(例如，跨平台计算机视觉库OpenCV提供的人脸检测、新型视觉服务平台Face++、优图人脸检测等)对照片中的用户人脸进行识别和五官定位的过程，所述源人脸特征点可以是能够表征所述源人脸图像数据的面部特征(例如，脸部轮廓、眼睛轮廓、鼻子、嘴唇等)的数据点。

在可选实施例中，所述源网格生成模块12可以对所述源人脸图像数据进行图像识别处理(例如，可以对照片中的用户人脸进行识别和五官定位，从而得到一定数量的基准特征点)，获取所述源人脸图像数据的基准特征点，再对所述基准特征点进行三维深度信息提取，获取所述基准特征点对应的源人脸特征点。可以理解的是，所述三维深度信息提取可以是以上述基准特征点为基础，通过匹配标准三维模型的脸部特征点推算出能够反映源人脸图像数据在三维模型中的特征点的过程。所述基准特征点可以是指示面部特征的基准点，例如，脸部轮廓、眼睛轮廓、鼻子、嘴唇等点，可以是83个基准点，也可以是如图2所示的68个基准点，具体的点数可以有开发人员根据需求而定。所述源人脸特征点可以是在所述基准特征点的基础上进一步深化后能够对应源人脸图像数据三维模型的特征点，例如，通过对上述68个或83个基准点的三维深度信息提取可以获得1000个深化后的源人脸特征点，可以是图3所示的各三角面片的顶点。

进一步的，所述源网格生成模块12可以根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格，可以理解的是，所述源人脸三维网格可以是所述源人脸图像数据中的人脸对应的3D脸部网格模型，例如图3所示的3D人脸网格或者类似于图3的只有半边脸的3D人脸网格。

目标网格生成模块13，用于采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格；

可以理解的是，由于所述源人脸图像数据和所述素材人脸图像数据的大小位于同一尺度下，所述源人脸三维网格和所述素材人脸三维网络的尺度也位于同一尺度下。

具体实现中，目标网格生成模块13可以采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格，可以理解的是，所述素材人脸三维网格可以类似于上述源人脸三维网格可以是所述素材人脸图像数据中人脸对应的3D脸部网格模型，可以是图3所示的3D人脸网格或者是基于图3所示的3D人脸网格在世界坐标系中根据欧拉角改变朝向后的3D人脸网格。所述目标人脸三维网格可以是目标人脸图像数据的3D人脸网格。可以理解的是，当素材人脸三维网格是图3所示的3D人脸网格时，最终投影到2D图像上可以呈现正脸的效果，当素材人脸三维网格是基于图3所示的3D人脸网格在世界坐标系中根据欧拉角改变朝向后的3D人脸网格时，最终投影到2D图像上可以呈现侧脸的效果。

在可选实施例中，所述目标网格生成模块13可以根据所述源人脸三维网格和所述素材人脸三维网格中的人脸特征点计算目标人脸的目标人脸特征点，再根据计算所得的目标人脸特征点生成目标人脸三维网格，例如，3D源人脸三维网格(即用户的3D人脸网格)上有1000个带深度信息的源人脸特征点标记为绿色，3D素材人脸三维网格上有1000个带深度信息的素材人脸特征点标记为蓝色，用户和素材的1000人脸特征点每个相对应点的平均点(相同位置的对应点取平均，一共1000个点对)标记为红色，最终生成的1000个红色的人脸特征点即为目标人脸特征点，通过上述1000个红色人脸特征点可以组成1900多个三角形，对应的1900多个三角面片所描绘的人脸三维网格即为目标人脸三维网格。可以理解的是，所述图像融合设备1可以采用MLS法、仿射变换、图像扭曲等算法将源人脸图像数据和素材人脸图像数据的五官位置趋于上述红色的人脸特征点即目标人脸特征点所指示的五官位置，实现人脸融合的目的。

目标数据生成模块14，用于采用所述源人脸图像数据的源肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据；

可以理解的是，生成所述目标人脸三维网格后，所述图像融合设备1需要填充所述目标人脸三维网格中不同三角面片上的肤色才能得到最终的目标人脸图像数据。

具体实现中，目标数据生成模块14可以采用所述源人脸图像数据的源肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据，可以理解的是，所述源肤色数据可以是组成所述源人脸图像数据的源像素点的集合，所述素材肤色数据可以是组成所述素材人脸图像数据的素材像素点的集合。

可以理解的是，若上述源人脸三维网格与素材人脸三维网格的类型不一致时，需要对所述源人脸三维网格进行网络补充，生成候选人脸三维网格，所述类型可以是所述源人脸三维网格和所述素材人脸三维网格中的网络要素。所述候选人脸三维网格的候选肤色数据可以是对称后的源人脸图像数据，即可以认为所述候选人脸三维网格的候选肤色数据就是所述源肤色数据。所述目标数据生成模块14可以根据上述源像素点、素材像素点和所述素材配置信息中的融合程度(可以是根据经验值进行设置的融合度值，通常取值在0-1之间)计算目标人脸图像数据的目标像素点，进而根据所述目标像素点填充所述目标人脸三维网格生成目标人脸图像数据。例如，设置源人脸三维网格中某三角面片上一个特征点的像素为：UserB、UserG和UserR，素材人脸网格中相应的三角面片上相应位置处的脸特征点的像素为：ResourceB、ResourceG和ResourceR，目标人脸三维网格中相应的三角面片上相应位置处的特征点的像素为：TargetB、TargetG和TargetR，素材配置信息中的融合程度为：alpha，则有：

TargetB＝(1.0–alpha)*UserB+alpha*ResourceB

TargetG＝(1.0–alpha)*UserG+alpha*ResourceG

TargetR＝(1.0–alpha)*UserR+alpha*ResourceR

从而可以得到目标人脸图像数据的每一个像素值，获得目标人脸图像数据。

可以理解的是，最终生成的所述目标人脸图像数据可以是三维人脸图像数据，也可以是二维人脸图像数据。当所述目标人脸图像数据是二维人脸图像数据时，由于生成所述目标图像数据的过程是在三维模型的基础上实现的，考虑到真实光线、阴影等问题，最终成线的目标人脸图像数据效果更逼真。

在可选实施例中，上述候选人脸三维网格的候选肤色数据可以包括两部分，即与所述源人脸三维网格相匹配部分的候选人脸三维网格的肤色数据为所述源肤色数据，与所述源人脸三维网格不匹配部分的候选人脸三维网格的肤色数据为平均肤色数据，所述平均肤色数据可以是所述源肤色数据经肤色均衡化处理后的肤色数据。可以理解的是，所述肤色均衡化处理可以是去掉所述源人脸图像数据中由于光线等原因造成的阴影等效果获得肤色平均值的过程。所述目标数据生成模块14可以根据上述候选肤色数据的候选像素点、素材像素点和所述素材配置信息中的融合程度计算目标人脸图像数据的目标像素点，进而根据所述目标像素点填充所述目标人脸三维网格生成目标人脸图像数据，具体的计算过程与上述计算过程一致此处不再赘述。

在本发明实施例中，通过获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，其中素材配置信息包括素材人脸图像数据、素材肤色数据和素材人脸三维网格，再对源人脸图像数据进行图像识别处理，获取源人脸图像数据对应的源人脸特征点，并根据源人脸特征点生成源人脸图像数据的源人脸三维网格，然后采用素材人脸三维网格和源人脸三维网格进行网格融合生成目标人脸三维网格，最后采用源人脸图像数据的源肤色数据和素材人脸图像数据的素材肤色数据对目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。通过分析素材人脸三维网格和源人脸三维网格在三维模型的基础上融合为目标人脸三维网格，以及对目标人脸三维网格进行肤色融合生成目标人脸图像数据的过程，提高了最终获得的目标人脸图像数据的真实性。

请参见图10，为本发明实施例提供了另一种图像融合设备的结构示意图。如图10所示，本发明实施例的所述图像融合设备1可以包括：数据获取模块11、源网格生成模块12、目标网格生成模块13、目标数据生成模块14、效果添加模块15、位置调整模块16和边缘填充模块17。

数据获取模块11，用于获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息；

具体实现中，数据获取单元11可以获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，可以理解的是，所述源人脸图像数据可以是用户当前所拍的或者从相册中选择的照片或者视频中的人脸图像数据，所述当前待融合素材可以是修图类终端应用(例如，某图秀秀、某某P图、某某相机等)中当前被用户选中的修图所用到的素材模型，例如，动漫人物形象、明星照片等。所述素材配置信息可以包含所述当前待融合素材的3D头像信息(例如，可以是一个obj文件，该文件可以包括素材人脸图像数据、素材肤色数据和素材人脸三维网格等表示素材人脸相关数据的信息)、指示最终所得结果图像中人头效果的信息(该信息可以包括素材3D头像在世界坐标系下的朝向(欧拉角pitch，yaw，roll)，中心位置(最终结果图像的指定位置)，大小(Scale)信息以及与之相匹配的相机信息(例如用透视矩阵来刻画这个信息)等)、2D的贴纸和3D的贴纸以及用户人脸和素材人脸的融合程度alpha(该融合程度可以是每一帧都相同也可以是每帧都不同)。

可以理解的是，用于生成目标人脸图像数据的所述素材人脸图像数据和所述源人脸图像数据的大小需要对应相同的尺度，但二者的脸部凹度、胖瘦等情况可以不完全一致，因此，在获取到所述源人脸图像数据和所述素材人脸图像数据后，可以根据所述素材人脸图像数据的大小调整所述源人脸图像数据的大小，使二者大小对应相同的尺度。

源网格生成模块12，用于对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格；

具体实现中，源网格生成模块12可以对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格。

请一并参考图11为本发明实施例提供了源网格生成模块的结构示意图。如图11所示，所述源网格生成模块12可以包括：

特征点获取单元121，用于对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据的基准特征点；

具体实现中，特征点获取单元121可以对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据的基准特征点，可以理解的是，所述图像识别处理可以是采用人脸检测技术(例如，跨平台计算机视觉库OpenCV提供的人脸检测、新型视觉服务平台Face++、优图人脸检测等)对照片中的用户人脸进行识别和五官定位的过程。所述基准特征点可以是指示面部特征的基准点，例如，脸部轮廓、眼睛轮廓、鼻子、嘴唇等点，可以是83个基准点，也可以是如图2所示的68个基准点，具体的点数可以有开发人员根据需求而定。

源网格生成单元122，用于对所述基准特征点进行三维深度信息提取，获取所述基准特征点对应的源人脸特征点，根据所述源人脸特征点生成源人脸三维网格；

具体实现中，源网格生成单元122可以对所述基准特征点进行三维深度信息提取，获取所述基准特征点对应的源人脸特征点，根据所述源人脸特征点生成源人脸三维网格，可以理解的是，所述三维深度信息提取可以以上述基准特征点为基础，通过匹配标准三维模型的脸部特征点推算出能够反映源人脸图像数据在三维模型中的特征点的过程。所述源人脸特征点可以是在所述基准特征点的基础上进一步深化的点，例如，通过对上述68个或83个基准点的三维深度信息提取可以获得1000个深化后的源人脸特征点，可以是图3中各三角面片的顶点。所述源人脸三维网格可以是所述源人脸图像数据中的人脸对应的3D脸部网格模型，可以是所述源人脸特征点连接而成的用户人脸的3D网格模型，例如图3所示的3D人脸网格或者类似于图3的只有半边脸的3D人脸网格。

目标网格生成模块13，用于采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格；

可以理解的是，由于所述源人脸图像数据和所述素材人脸图像数据的大小位于同一尺度下，所述源人脸三维网格和所述素材人脸三维网络的尺度也位于同一尺度下。

具体实现中，目标网格生成模块13可以采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格，可以理解的是，所述素材人脸三维网格可以类似于上述源人脸三维网格可以是所述素材人脸图像数据中人脸对应的3D脸部网格模型，可以是图3所示的3D人脸网格或者是基于图3所示的3D人脸网格在世界坐标系中根据欧拉角改变朝向后的3D人脸网格。所述目标人脸三维网格可以是目标人脸图像数据的3D人脸网格。可以理解的是，当素材人脸三维网格是图3所示的3D人脸网格时，最终投影到2D图像上可以呈现正脸的效果，当素材人脸三维网格是基于图3所示的3D人脸网格在世界坐标系中根据欧拉角改变朝向后的3D人脸网格时，最终投影到2D图像上可以呈现侧脸的效果。

在可选实施例中，所述目标网格生成模块13可以根据所述源人脸三维网格和所述素材人脸三维网格中的人脸特征点计算目标人脸的目标人脸特征点，再根据计算所得的目标人脸特征点生成目标人脸三维网格，例如，3D源人脸三维网格(即用户的3D人脸网格)上有1000个带深度信息的源人脸特征点标记为绿色，3D素材人脸三维网格上有1000个带深度信息的素材人脸特征点标记为蓝色，用户和素材的1000人脸特征点每个相对应点的平均点(相同位置的对应点取平均，一共1000个点对)标记为红色，最终生成的1000个红色的人脸特征点即为目标人脸特征点，通过上述1000个红色人脸特征点可以组成1900多个三角形，对应的1900多个三角面片所描绘的人脸三维网格即为目标人脸三维网格。可以理解的是，所述图像融合设备1可以采用MLS法、仿射变换、图像扭曲等算法将源人脸图像数据和素材人脸图像数据的五官位置趋于上述红色的人脸特征点即目标人脸特征点所指示的五官位置，实现人脸融合的目的。

目标数据生成模块14，用于采用所述源人脸图像数据的源肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据；

具体实现中，目标数据生成模块14可以采用所述源人脸图像数据的源肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据。

请一并参考图12，为本发明实施例提供了目标数据生成模块的结构示意图。如图12所示，所述目标数据生成模块14可以包括：

肤色数据获取单元141，用于对所述源人脸图像数据进行肤色均衡化处理，获取所述源人脸图像数据的平均肤色数据；

可以理解的是，若上述源人脸三维网格与素材人脸三维网格的类型不一致时，需要对所述源人脸三维网格进行网络补充，生成候选人脸三维网格，所述类型可以是所述源人脸三维网格和所述素材人脸三维网格中的网络要素。所述候选人脸三维网格的候选肤色数据可以是对称后的源人脸图像数据，即可以认为所述候选人脸三维网格的候选肤色数据就是所述源肤色数据。例如，最后生成的候选人脸图像数据为图4a中的人脸图像，则图4a中人脸的肤色与图4b中人脸的肤色一致。

在本发明实施例中，上述候选人脸三维网格的候选肤色数据可以包括两部分，即与所述源人脸三维网格相匹配部分的候选人脸三维网格的肤色数据为所述源肤色数据，与所述源人脸三维网格不匹配部分的候选人脸三维网格的肤色数据为平均肤色数据。具体实现中，肤色数据获取单元141可以对所述源人脸图像数据进行肤色均衡化处理，获取所述源人脸图像数据的平均肤色数据，可以理解的是，所述肤色均衡化处理可以是去掉所述源人脸图像数据中由于光线等原因造成的阴影等效果获得肤色平均值的过程。所述平均肤色数据可以是所述源肤色数据去掉阴影后的像素点数据的平均值组成的像素点集合。

候选数据生成单元142，用于基于所述源人脸图像数据的源肤色数据和所述平均肤色数据对所述候选人脸三维网格进行肤色填充，生成候选人脸图像数据；

具体实现中，候选数据生成单元142可以基于所述源人脸图像数据的源肤色数据和所述平均肤色数据对所述候选人脸三维网格进行肤色填充，生成候选人脸图像数据，可以理解的是，所述候选人脸三维网格中与所述源人脸三维网格相匹配部分的肤色数据可以用所述源人脸图像数据的源肤色数据进行填充，所述候选人脸三维网格中与所述源人脸三维网格不匹配部分的肤色数据可以用所述平均肤色数据进行填充。所述候选人脸图像数据的候选肤色数据可以包括所述源肤色数据和所述平均肤色数据，例如，最后生成的候选人脸图像数据为图4a中的人脸图像，则图4a中右边脸的肤色为图4b中人脸的肤色，图4a中左边脸的肤色为图4b中人脸肤色平均化后的肤色。

目标数据生成单元143，用于采用所述候选人脸图像数据的候选肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据；

可以理解的是，生成所述目标人脸三维网格后，所述图像融合设备1需要填充所述目标人脸三维网格中不同三角面片上的肤色才能得到最终的目标人脸图像数据。

具体实现中，目标数据生成单元143可以采用所述候选人脸图像数据的候选肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据，可以理解的是，所述候选肤色数据可以是组成所述候选人脸图像数据的候选像素点的集合，所述素材肤色数据可以是组成所述素材人脸图像数据的素材像素点的集合。

在可选实施例中，所述目标数据生成单元143可以基于所述候选像素点和所述素材像素点，并采用融合程度计算目标像素点，根据所述目标像素点生成目标人脸图像数据，可以理解的是，所述融合程度(可以是根据经验值进行设置的融合度值，通常取值在0-1之间。

在本发明实施例的具体实现方式中，可以设置候选人脸三维网格中某三角面片上一个特征点的像素为：CandidateB、CandidateG和CandidateR，素材人脸三维网格中相应的三角面片上相应位置处的脸特征点的像素为：ResourceB、ResourceG和ResourceR，目标人脸三维网格中相应的三角面片上相应位置处的特征点的像素为：TargetB、TargetG和TargetR，素材配置信息中的融合程度为：alpha，则有：

TargetB＝(1.0–alpha)*CandidateB+alpha*ResourceB

TargetG＝(1.0–alpha)*CandidateG+alpha*ResourceG

TargetR＝(1.0–alpha)*CandidateR+alpha*ResourceR

从而可以得到目标人脸图像数据的每一个像素值，获得目标人脸图像数据。

在本发明实施例中，通过分析平均肤色数据在目标人图像数据肤色融合错过中的作用，增加了最终获得的目标人脸图像数据的真实性。

效果添加模块15，用于根据所述源人脸图像数据的源肤色数据获取所述源人脸图像数据对应的光源类型，并采用所述光源类型对应的光照效果对所述目标人脸图像数据进行效果添加处理；

可以理解的是，所述目标人脸图像数据生成后，效果添加模块15可以根据所述源人脸图像数据的源肤色数据获取所述源人脸图像数据对应的光源类型，可选的，所述效果添加模块15可以通过比较所述平均肤色和所述源人脸图像数据中各个区域的肤色，获取亮与平均肤色的区域和暗与平均肤色的区域，进而推算出光源类型，例如是多个点光源或者面光源。可选的，所述效果添加模块15也可以通过深度学习搜集源人脸图像数据在不同指定光照情况下的结果图，然后将结果图和对应的光照情况作为深度神经网络((DeepNeural Networks，DNN)的训练数据，训练出一个给定图片就能输出光源类型和光源位置的DNN模型。

进一步的，所述效果添加模块15可以采用所述光源类型对应的光照效果对所述目标人脸图像数据进行效果添加处理，例如，所述源人脸图像数据的对应的光源类型是来自左侧脸方向的点光源，则所述图像融合设备可以在最终获得的目标人脸图像数据中添加左脸方向点光源的光照效果。

在可选实施例中，所述效果添加模块15还可以将上述素材配置信息中的2D和3D贴纸按照其对应的位置和层级(zOrder)粘贴在所述目标人脸图像数据上，例如，将3D眼镜贴纸佩戴在生成的目标人脸图像数据的人脸上。

位置调整模块16，用于基于所述素材人脸图像数据所指示的坐标信息调整所述目标人脸图像数据当前的显示位置；

可以理解的是，所述目标人脸图像数据生成后，位置调整模块16可以基于所述素材人脸图像数据所指示的坐标信息调整所述目标人脸图像数据当前的显示位置，例如，根据上述素材配置信息中的素材人脸图像数据所指示的坐标信息(包括，欧拉方向和中心点)和素材大小将所得的目标人脸图像数据放在指定的位置上。

边缘填充模块17，用于当所述目标人脸图像数据的第一显示区域小于所述源人脸图像数据的第二显示区域时，对所述第二显示区域中除所述第一显示区域的部分进行人脸边缘填充处理；

可以理解的是，当最终生成的目标人脸图像数据的第一显示区域小于所述源人脸图像数据的第二显示区域时，边缘填充模块17可以对所述第二显示区域中除所述第一显示区域的部分进行人脸边缘填充处理，所述第一显示区域可以是所述目标人脸图像数据映射在2D屏幕上的范围，所述第二显示区域可以是所述源人脸图像数据映射在2D屏幕上的范围，所述第一显示区域小于所述第二显示区域可以表述为所述目标人脸图像数据的人脸比所述源人脸图像数据的人脸小。所述人脸边缘填充处理可以是采用填充算法(例如，OpenCV提供的图像修复算法Inpainting)将所述第二显示区域中除所述第一显示区域的部分填充满。

进一步的，所述图像融合设备1对所述目标人脸图像数据的附加技术效果处理完之后，可以对最终获得的目标人脸图像数据进行输出显示。

可以理解的是，在执行效果添加模块15、位置调整模块16和边缘填充模块17后最终生成的所述目标人脸图像数据可以是三维人脸图像数据，也可以是二维人脸图像数据。当所述目标人脸图像数据是二维人脸图像数据时，由于生成所述目标图像数据的过程是在三维模型的基础上实现的，考虑到真实光线、阴影等问题，最终成线的目标人脸图像数据效果更逼真。

需要说明的是，在执行效果添加模块15、位置调整模块16和边缘填充模块17时，可以选在其中的一个或多模块同时执行。

在本发明实施例中，通过对生成的目标人脸图像数据的添加真实的光照效果、调整人脸图像数据的显示位置以及填充人脸边缘区域，进一步增加了最终输出的目标人脸图像数据的真实效果。

在本发明实施例一种具体实现方式中，如图13所示所述目标数据生成单元可以包括：

像素点获取子单元1431，用于获取所述候选肤色数据中的候选像素点和所述素材肤色数据中的素材像素点；

可以理解的是，所述候选肤色数据可以是组成上述候选人脸图像数据的候选像素点的集合，所述素材肤色数据可以是组成上述素材人脸图像数据的素材像素点的集合。像素点获取子单元1431可以获取所述候选肤色数据中的候选像素点和所述素材肤色数据中的素材像素点。

目标数据生成子单元1432，用于基于所述候选像素点和所述素材像素点，并采用融合程度计算目标像素点，根据所述目标像素点生成目标人脸图像数据；

具体实现中，目标数据生成子单元1432基于所述候选像素点和所述素材像素点，并采用融合程度获取目标人脸图像数据的具体过程可以参见方法实施例中的描述，此处不再赘述。

在本发明实施例中，通过采用精确到像素点的肤色融合过程，提高了目标人脸图像数据肤色融合的准确性。

在本发明实施例中，通过获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，其中素材配置信息包括素材人脸图像数据、素材肤色数据和素材人脸三维网格，再对源人脸图像数据进行图像识别处理，获取源人脸图像数据对应的源人脸特征点，并根据源人脸特征点生成源人脸图像数据的源人脸三维网格，然后采用素材人脸三维网格和源人脸三维网格进行网格融合生成目标人脸三维网格，最后采用源人脸图像数据的源肤色数据和素材人脸图像数据的素材肤色数据对目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。通过分析素材人脸三维网格和源人脸三维网格在三维模型的基础上融合为目标人脸三维网格，以及对目标人脸三维网格进行肤色融合生成目标人脸图像数据的过程，提高了最终获得的目标人脸图像数据的真实性；通过分析平均肤色数据在目标人图像数据肤色融合错过中的作用，增加了最终获得的目标人脸图像数据的真实性；通过对生成的目标人脸图像数据的添加真实的光照效果、调整人脸图像数据的显示位置以及填充人脸边缘区域，进一步增加了最终输出的目标人脸图像数据的真实效果；通过采用精确到像素点的肤色融合过程，提高了目标人脸图像数据肤色融合的准确性。

需要说明的是，在2D模型的基础上进行人脸融合时，通常存在用户图像数据的人脸角度与素材图像数据的人脸角度不完全匹配的情况，例如，用户图像是半边脸，素材图像是正脸或者用户人头向左转，素材人头向右转等。当存在上述情况时，现有技术中的人脸融合算法所能获取到的用户人脸的信息较少，在进行人脸融合时较少的用户人脸信息将影响最终的匹配结果，导致生成的目标结果图像的真实性较差。

为了解决上述问题，本发明实施例提供了另一种图像融合设备的结构示意图，具体可以参见图9所示的结构示意图可以包括：数据获取模块11、源网格生成模块12、目标网格生成模块13和目标数据生成模块14。

数据获取模块11，用于获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息；

具体实现中，数据获取模块11获取所述源人脸图像数据和所述素材配置信息的过程可以参见上述方法实施例的具体描述，此处不再赘述。

源网格生成模块12，用于对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格；

具体实现中，源网格生成模块12生成所述源人脸三维网格的过程可以参见上述方法实施例的具体描述，此处不再赘述。

目标网格生成模块13，用于当检测到所述源人脸三维网格与所述素材人脸三维网格的类型不一致时，根据所述源人脸图像数据的对称性对所述源人脸三维网格进行网格补充，生成与所述素材人脸三维网格类型一致的候选人脸三维网格，并采用所述候选人脸三维网格和所述素材人脸三维网格进行网格融合生成目标人脸三维网格；

具体实现中，当检测到所述源人脸三维网格与所述素材人脸三维网格的类型不一致时，所述目标网格生成模块13可以根据所述源人脸图像数据的对称性对所述源人脸三维网格进行网格补充，生成与所述素材人脸三维网格类型一致的候选人脸三维网格，并采用所述候选人脸三维网格和所述素材人脸三维网格进行网格融合生成目标人脸三维网格。

可以理解的是，由于所述源人脸图像数据和所述素材人脸图像数据的大小位于同一尺度下，所述源人脸三维网格和所述素材人脸三维网络的尺度也位于同一尺度下。

可以理解的是，所述素材人脸三维网格可以类似于上述源人脸三维网格可以是所述素材人脸图像数据中人脸对应的3D脸部网格模型，可以是图3所示的3D人脸网格或者是基于图3所示的3D人脸网格在世界坐标系中根据欧拉角改变朝向后的3D人脸网格。所述目标人脸三维网格可以是目标人脸图像数据的3D人脸网格。可以理解的是，当素材人脸三维网格是图3所示的3D人脸网格时，最终投影到2D图像上可以呈现正脸的效果，当素材人脸三维网格是基于图3所示的3D人脸网格在世界坐标系中根据欧拉角改变朝向后的3D人脸网格时，最终投影到2D图像上可以呈现侧脸的效果。

可以理解的是，所述源人脸三维网格和所述素材人脸三维网格只有在类型一致时，才能根据融合算法生成与二者脸部显示区域一样且真实性较好的目标人脸三维网格。可以理解的是，所述类型一致可以是所述源人脸三维网格和所述素材人脸三维网格中的网络要素一致，所述网格要素可以是所述源人脸三维网格和所述素材人脸三维网格的网格朝向或者网格显示区域。例如，所述源人脸三维网格指示的脸部显示区域和所述素材人脸三维网格指示的脸部显示区域一致，二者都是类似于图4a所示的标准正脸或者类似于图4b所示的侧脸时，可以认为所述源人脸三维网格和所述素材人脸三维网格类型一致。当所述源人脸网格和所述素材人脸网格的类型不一致时(例如，源人脸三维网格为类似于图4b所示的侧脸，素材人脸三维网格为类似于图4a所示的标准正脸)，所述图像融合设备1可以先对所述源人脸网格进行网格补充。

具体实现中，当所述源人脸三维网格与所述素材人脸三维网格的类型不一致时，所述目标网格生成模块13可以根据所述源人脸图像数据的对称性对所述源人脸三维网格进行网格补充，生成与所述素材人脸三维网格类型一致的候选人脸三维网格，可以理解的是，正常情况下人的脸部都是对称的(忽略细微的差别)，当所述源人脸图像数据为侧脸图像数据时(例如，图4b中的图像)，所述图像融合设备提取所述源人脸特征点后生成的源人脸三维网格也是针对侧脸的，此时，所述目标网格生成模块13可以根据脸部对称的原则将该源人脸图像数据补充为标准正脸(例如，由图4b的图像补充后得到图4a的图像)，然后再根据补充后的源人脸图像数据生成与所述素材人脸三维网格类型一致的候选人脸三维网格(图4a对应的人脸三维网格即是候选人脸三维网格)。

可以理解的是，所述目标网格生成模块13根据脸部对称原则对源人脸图像数据(侧脸图像数据)补充后得到的标准正脸图像数据的左右脸部表情一致，进一步得到的候选人脸三维网格的左右脸部表情也是一致的。

在可选是实施例中，当所述素材人脸三维网格为左右脸部表情不一致的标准正脸，而源人脸图像数据为侧脸图像数据时，根据源人脸图像数据的对称性对源人脸三维网格进行网格补充后得到的候选人脸三维网格的左右脸部表情，与素材人脸三维网格的左右脸部表情是不一致的(例如，素材人脸图像数据所指示素材人脸的左眼是张开的，右眼是闭着的，而只包含左侧脸的源人脸图像数据指示的用户只人脸的左眼是张开的，此时，根据源人脸图像数据的对称性补充后的源人脸三维网格的右眼也是张开的，与素材人脸三维网格的右眼不一致)，此时，所述目标网格生成模块13将无法采用该候选人脸三维网格和上述素材人脸三维网格进行网格融合生成目标人脸三维网格。对上述种情况，所述目标网格生成模块13可以通过表情迁移算法将候选人脸三维网格的左右脸部表情调整至与素材人脸三维网格的表情一致，使最终得到的候选人脸三维网格与上述素材人脸三维网格的面部表情一致。

进一步的，所述目标网格生成模块13可以采用所述候选人脸三维网格和所述素材人脸三维网格进行网格融合生成目标人脸三维网格，可以理解的是，所述候选人脸三维网格与所述素材人脸三维网格的类型是一致的，即在相同脸部位置上所述素材人脸三维网格和所述候选人脸三维网格都有相应的特征点，例如，候选人脸三维网格中包含两只眼睛眼角的特征点，素材人脸三维网格也包含两只眼睛眼角的特征点。所述目标人脸三维网格可以是目标人脸图像数据的3D人脸网格。

在可选实施例中，所述目标网格生成模块13可以根据所述候选人脸三维网格和所述素材人脸三维网格中的人脸特征点计算目标人脸的目标人脸特征点，再根据计算所得的目标人脸特征点生成目标人脸三维网格，例如，3D候选人脸三维网格(即用户的3D人脸网格)上有1000个带深度信息的源人脸特征点标记为绿色，3D素材人脸三维网格上有1000个带深度信息的素材人脸特征点标记为蓝色，用户和素材的1000人脸特征点每个相对应点的平均点(相同位置的对应点取平均，一共1000个点对)标记为红色，最终生成的1000个红色的人脸特征点即为目标人脸特征点，通过上述1000个红色人脸特征点可以组成1900多个三角形，对应的1900多个三角面片所描绘的人脸三维网格即为目标人脸三维网格。可以理解的是，所述图像融合设备1可以采用移动最小二乘的图像变形法MLS、仿射变换、图像扭曲等算法将源人脸图像数据和素材人脸图像数据的五官位置趋于上述红色的人脸特征点即目标人脸特征点所指示的五官位置，实现人脸融合的目的。

目标数据生成模块14，用于采用所述源人脸图像数据的源肤色数据和所述素材人脸图像数据的素材肤色数据对所述目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据；

具体实现中，目标数据生成模块14生成所述目标人脸图像数据的过程可以参见上述方法实施例的具体描述，此处不再赘述。

本发明实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1-图8所示实施例的方法步骤，具体执行过程可以参见图1-图8所示实施例的具体说明，在此不进行赘述。

请参见图14，为本发明实施例提供了一种终端的结构示意图。如图14所示，所述终端1000可以包括：至少一个处理器1001，例如CPU，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图14所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及人脸融合应用程序。

在图14所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；网络接口1004用于与用户终端进行数据通信；而处理器1001可以用于调用存储器1005中存储的人脸融合应用程序，并具体执行以下操作：

获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，所述素材配置信息包括素材人脸图像数据、素材肤色数据和素材人脸三维网格；

对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格；

采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格；

采用所述源人脸图像数据的源肤色数据和所述素材人脸图像数据的素材肤色数据对所述目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。

在一个实施例中，所述处理器1001在执行对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格时，具体执行以下操作：

对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据的基准特征点；

对所述基准特征点进行三维深度信息提取，获取所述基准特征点对应的源人脸特征点，根据所述源人脸特征点生成源人脸三维网格。

在一个实施例中，所述处理器1001在执行采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格时，具体执行以下操作：

当检测所述源人脸三维网格与所述素材人脸三维网格的类型不一致时，根据所述源人脸图像数据的对称性对所述源人脸三维网格进行网格补充，生成与所述素材人脸网格类型一致的候选人脸三维网格，并采用所述候选人脸三维网格和所述素材人脸三维网格进行网格融合生成目标人脸三维网格。

在一个实施例中，所述处理器1001在执行采用所述源人脸图像数据的源肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据时，具体执行以下操作：

对所述源人脸图像数据进行肤色均衡化处理，获取所述源人脸图像数据的平均肤色数据；

基于所述源人脸图像数据的源肤色数据和所述平均肤色数据对所述候选人脸三维网格进行肤色填充，生成候选人脸图像数据；

采用所述候选人脸图像数据的候选肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据；

所述候选肤色数据包括所述源肤色数据和所述平均肤色数据。

在一个实施例中，所述处理器1001在执行采用所述候选人脸图像数据的候选肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据时，具体执行以下操作：

获取所述候选肤色数据中的候选像素点和所述素材肤色数据中的素材像素点；

基于所述候选像素点和所述素材像素点，并采用融合程度计算目标像素点，根据所述目标像素点生成目标人脸图像数据。

在一个实施例中，所述处理器1001，还用于执行以下操作：

根据所述源人脸图像数据的源肤色数据获取所述源人脸图像数据对应的光源类型，并采用所述光源类型对应的光照效果对所述目标人脸图像数据进行效果添加处理。

在一个实施例中，所述处理器1001，还用于执行以下操作：

基于所述素材人脸图像数据所指示的坐标信息调整所述目标人脸图像数据当前的显示位置。

在一个实施例中，所述处理器1001，还用于执行以下操作：

当所述目标人脸图像数据的第一显示区域小于所述源人脸图像数据的第二显示区域时，对所述第二显示区域中除所述第一显示区域的部分进行人脸边缘填充处理。

在本发明实施例中，通过获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，其中素材配置信息包括素材人脸图像数据、素材肤色数据和素材人脸三维网格，再对源人脸图像数据进行图像识别处理，获取源人脸图像数据对应的源人脸特征点，并根据源人脸特征点生成源人脸图像数据的源人脸三维网格，然后采用素材人脸三维网格和源人脸三维网格进行网格融合生成目标人脸三维网格，最后采用源人脸图像数据的源肤色数据和素材人脸图像数据的素材肤色数据对目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。通过分析素材人脸三维网格和源人脸三维网格在三维模型的基础上融合为目标人脸三维网格，以及对目标人脸三维网格进行肤色融合生成目标人脸图像数据的过程，提高了最终获得的目标人脸图像数据的真实性；通过分析平均肤色数据在目标人图像数据肤色融合错过中的作用，增加了最终获得的目标人脸图像数据的真实性；通过对生成的目标人脸图像数据的添加真实的光照效果、调整人脸图像数据的显示位置以及填充人脸边缘区域，进一步增加了最终输出的目标人脸图像数据的真实效果；通过采用精确到像素点的肤色融合过程，提高了目标人脸图像数据肤色融合的准确性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (15)

1.一种图像融合方法，其特征在于，包括：

获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，所述素材配置信息包括素材人脸图像数据、素材肤色数据和素材人脸三维网格；

对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格；

采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格；

采用所述源人脸图像数据的源肤色数据和所述素材人脸图像数据的素材肤色数据对所述目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。

2.如权利要求1所述的方法，其特征在于，所述对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格，包括：

对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据的基准特征点；

对所述基准特征点进行三维深度信息提取，获取所述基准特征点对应的源人脸特征点，根据所述源人脸特征点生成源人脸三维网格。

3.如权利要求1所述的方法，其特征在于，所述采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格，包括：

当检测到所述源人脸三维网格与所述素材人脸三维网格的类型不一致时，根据所述源人脸图像数据的对称性对所述源人脸三维网格进行网格补充，生成与所述素材人脸网格类型一致的候选人脸三维网格，并采用所述候选人脸三维网格和所述素材人脸三维网格进行网格融合生成目标人脸三维网格。

4.如权利要求3所述的方法，其特征在于，所述采用所述源人脸图像数据的源肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据，包括：

对所述源人脸图像数据进行肤色均衡化处理，获取所述源人脸图像数据的平均肤色数据；

基于所述源人脸图像数据的源肤色数据和所述平均肤色数据对所述候选人脸三维网格进行肤色填充，生成候选人脸图像数据；

采用所述候选人脸图像数据的候选肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据；

所述候选肤色数据包括所述源肤色数据和所述平均肤色数据。

5.如权利要求4所述的方法，其特征在于，所述采用所述候选人脸图像数据的候选肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据，包括：

获取所述候选肤色数据中的候选像素点和所述素材肤色数据中的素材像素点；

基于所述候选像素点和所述素材像素点，并采用融合程度计算目标像素点，根据所述目标像素点生成目标人脸图像数据。

6.如权利要求1所述的方法，其特征在于，还包括：

根据所述源人脸图像数据的源肤色数据获取所述源人脸图像数据对应的光源类型，并采用所述光源类型对应的光照效果对所述目标人脸图像数据进行效果添加处理。

7.如权利要求1所述的方法，其特征在于，还包括：

基于所述素材人脸图像数据所指示的坐标信息调整所述目标人脸图像数据当前的显示位置。

8.如权利要求1所述的方法，其特征在于，还包括：

当所述目标人脸图像数据的第一显示区域小于所述源人脸图像数据的第二显示区域时，对所述第二显示区域中除所述第一显示区域的部分进行人脸边缘填充处理。

9.一种图像融合设备，其特征在于，包括：

数据获取模块，用于获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，所述素材配置信息包括素材人脸图像数据、素材肤色数据、素材人脸特征点和素材人脸三维网格；

源网格生成模块，用于对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格；

目标网格生成模块，用于采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格；

目标数据生成模块，用于采用所述源人脸图像数据的源肤色数据和所述素材人脸图像数据的素材肤色数据对所述目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。

10.如权利要求9所述的设备，其特征在于，所述源网格生成模块包括：

特征点获取单元，用于对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据的基准特征点；

源网格生成单元，用于对所述基准特征点进行三维深度信息提取，获取所述基准特征点对应的源人脸特征点，根据所述源人脸特征点生成源人脸三维网格。

11.如权利要求9所述的设备，其特征在于，所述目标网格生成模块具体用于当检测到所述源人脸三维网格与所述素材人脸三维网格的类型不一致时，根据所述源人脸图像数据的对称性对所述源人脸三维网格进行网格补充，生成与所述素材人脸三维网格类型一致的候选人脸三维网格，并采用所述候选人脸三维网格和所述素材人脸三维网格进行网格融合生成目标人脸三维网格。

12.如权利要求11所述的设备，其特征在于，所述目标数据生成模块包括：

肤色数据获取单元，用于对所述源人脸图像数据进行肤色均衡化处理，获取所述源人脸图像数据的平均肤色数据；

候选数据生成单元，用于基于所述源人脸图像数据的源肤色数据和所述平均肤色数据对所述候选人脸三维网格进行肤色填充，生成候选人脸图像数据；

目标数据生成单元，用于采用所述候选人脸图像数据的候选肤色数据和所述素材图像数据的素材肤色数据对所述目标人脸三维网格进行人脸肤色融合，生成融合后的目标人脸图像数据；

所述候选肤色数据包括所述源肤色数据和所述平均肤色数据。

13.如权利要求12所述的设备，其特征在于，所述目标数据生成单元包括：

像素点获取子单元，用于获取所述候选肤色数据中的候选像素点和所述素材肤色数据中的素材像素点；

目标数据生成子单元，用于基于所述候选像素点和所述素材像素点，并采用融合程度计算目标像素点，根据所述目标像素点生成目标人脸图像数据。

14.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～8任意一项的方法步骤。

15.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行以下步骤：

获取当前待融合图像的源人脸图像数据和当前待融合素材的素材配置信息，所述素材配置信息包括素材人脸图像数据、素材肤色数据和素材人脸三维网格；

对所述源人脸图像数据进行图像识别处理，获取所述源人脸图像数据对应的源人脸特征点，并根据所述源人脸特征点生成所述源人脸图像数据的源人脸三维网格；

采用所述素材人脸三维网格和所述源人脸三维网格进行网格融合生成目标人脸三维网格；

采用所述源人脸图像数据的源肤色数据和所述素材人脸图像数据的素材肤色数据对所述目标人脸网格进行人脸肤色融合，生成融合后的目标人脸图像数据。