CN114612291A - 一种人脸图像处理方法和装置 - Google Patents

Abstract

本申请公开了一种人脸图像处理方法和装置，该方法包括：获取包含人脸的用户图像和模板图像；对用户人脸的五官信息进行特征提取得到第一人脸特征，对模板人脸的人脸效果信息进行特征提取得到第二人脸特征；对第一人脸特征和第二人脸特征进行融合得到目标人脸；对目标人脸进行配准处理，并将模板图像中的模板人脸替换为配准处理后的目标人脸，得到第一图像，配准处理后的目标人脸和模板人脸的角度、方向和坐标位置一致；提取第一图像中的人脸模糊特征和边界痕迹特征，基于人脸模糊特征和边界痕迹特征对第一图像进行修复处理，得到目标图像。本申请实施例可以对任意人脸进行换脸，且换脸效果真实自然，无曝光、变形等问题，图像清晰且无边界痕迹。

Description

一种人脸图像处理方法和装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种人脸图像处理方法和装置。

背景技术

换脸技术是图像处理技术中的一种，通常可以将一张图像中的人脸替换为其他图像中的人脸。在一些典型的应用场景中，用户可以使用换脸软件进行换脸操作。具体地，换脸软件可以向用户提供多个包含人脸的模板图像，用户在进行换脸操作时，可以根据自己的喜好选择其中某个模板图像，然后由换脸软件将模板图像中的人脸替换为用户的人脸。

然而，在将模板图像中的人脸替换为用户的人脸时，现有的方法通常局限于对特定人脸的替换，无法实现对任意人脸的替换，导致泛化能力较差，此外，换脸得到的图像通常存在变形或曝光等问题，导致换脸效果较差。

发明内容

本申请实施例提供一种人脸图像处理方法和装置，用于解决目前的换脸方法泛化能力较差、换脸得到的图像效果不佳的问题。

为解决上述技术问题，本申请实施例是这样实现的：

第一方面，提出一种人脸图像处理方法，包括：

获取用户图像和模板图像，所述用户图像中包含用户人脸，所述模板图像中包含模板人脸；

对所述用户人脸的五官信息进行特征提取得到第一人脸特征，以及对所述模板人脸的人脸效果信息进行特征提取得到第二人脸特征；

对所述第一人脸特征和所述第二人脸特征进行融合，得到目标人脸；

对所述目标人脸进行配准处理，并将所述模板图像中的所述模板人脸替换为配准处理后的所述目标人脸，得到第一图像，配准处理后的所述目标人脸的角度、方向和坐标位置与所述模板人脸的角度、方向和坐标位置一致；

提取所述第一图像中的人脸模糊特征和边界痕迹特征，基于所述人脸模糊特征和所述边界痕迹特征对所述第一图像的人脸模糊区域和融合边界区域进行修复处理，得到目标图像。

第二方面，提出一种人脸图像处理装置，包括：

获取模块，获取用户图像和模板图像，所述用户图像中包含用户人脸，所述模板图像中包含模板人脸；

特征提取模块，对所述用户人脸的五官信息进行特征提取得到第一人脸特征，以及对所述模板人脸的人脸效果信息进行特征提取得到第二人脸特征；

特征融合模块，对所述第一人脸特征和所述第二人脸特征进行融合，得到目标人脸；

人脸替换模块，对所述目标人脸进行配准处理，并将所述模板图像中的所述模板人脸替换为配准处理后的所述目标人脸，得到第一图像，配准处理后的所述目标人脸的角度、方向和坐标位置与所述模板人脸的角度、方向和坐标位置一致；

修复模块，提取所述第一图像中的人脸模糊特征和边界痕迹特征，基于所述人脸模糊特征和所述边界痕迹特征对所述第一图像的人脸模糊区域和融合边界区域进行修复处理，得到目标图像。

第三方面，提出一种电子设备，该电子设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，该可执行指令在被执行时使该处理器执行以下操作：

获取用户图像和模板图像，所述用户图像中包含用户人脸，所述模板图像中包含模板人脸；

对所述用户人脸的五官信息进行特征提取得到第一人脸特征，以及对所述模板人脸的人脸效果信息进行特征提取得到第二人脸特征；

对所述第一人脸特征和所述第二人脸特征进行融合，得到目标人脸；

对所述目标人脸进行配准处理，并将所述模板图像中的所述模板人脸替换为配准处理后的所述目标人脸，得到第一图像，配准处理后的所述目标人脸的角度、方向和坐标位置与所述模板人脸的角度、方向和坐标位置一致；

提取所述第一图像中的人脸模糊特征和边界痕迹特征，基于所述人脸模糊特征和所述边界痕迹特征对所述第一图像的人脸模糊区域和融合边界区域进行修复处理，得到目标图像。

第四方面，提出一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下方法：

获取用户图像和模板图像，所述用户图像中包含用户人脸，所述模板图像中包含模板人脸；

对所述用户人脸的五官信息进行特征提取得到第一人脸特征，以及对所述模板人脸的人脸效果信息进行特征提取得到第二人脸特征；

对所述第一人脸特征和所述第二人脸特征进行融合，得到目标人脸；

对所述目标人脸进行配准处理，并将所述模板图像中的所述模板人脸替换为配准处理后的所述目标人脸，得到第一图像，配准处理后的所述目标人脸的角度、方向和坐标位置与所述模板人脸的角度、方向和坐标位置一致；

提取所述第一图像中的人脸模糊特征和边界痕迹特征，基于所述人脸模糊特征和所述边界痕迹特征对所述第一图像的人脸模糊区域和融合边界区域进行修复处理，得到目标图像。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本申请实施例在将模板图像中的模板人脸替换为用户人脸时，分为人脸特征提取和融合、人脸修复两部分，在人脸特征提取和融合部分，由于可以对模板人脸中的人脸效果信息进行特征提取，并将提取到的特征与用户人脸的五官特征进行融合，因此，融合后的目标人脸能够保留模板人脸的效果信息，使得融合效果更加真实自然，避免效果突兀、曝光、变形等问题，此外，在得到融合后的目标人脸后，由于可以对目标人脸进行配准处理，使得目标人脸的角度、方向和坐标位置与模板人脸的角度、方向和坐标位置一致，因此，针对角度、方向和坐标位置与模板人脸不同的用户人脸，都可以与模板图像完美地融合，从而实现对任意用户人脸进行替换的目的；在人脸修复部分，由于可以基于融合后的图像中的人脸模糊特征和边界痕迹特征对融合后的图像中的人脸模糊区域以及融合边界痕迹明显的区域进行修复，因此，可以使得修复后的人脸足够清晰且无边界痕迹，最终得到效果较佳的换脸结果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的一个实施例人脸图像处理方法的流程示意图；

图2是本申请的一个实施例人脸特征提取和融合方法的流程示意图；

图3是本申请的一个实施例人脸修复方法的流程示意图；

图4是本申请的一个实施例人脸图像处理方法的流程示意图；

图5是本申请的一个实施例电子设备的结构示意图；

图6是本申请的一个实施例人脸图像处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请实施例提供的技术方案在对人脸图像进行处理时，包括人脸特征提取和融合、人脸修复两部分，这两部分都可以基于GAN(Generative adversarial network，对抗式神经网络)网络实现。其中，本申请实施例在基于GAN网络进行人脸特征提取和融合时，与传统方法不同的是，本申请实施例是对用户人脸的五官信息进行特征提取，同时对模板人脸的人脸效果信息进行特征提取，可以使得在特征融合时，融合后的人脸不仅可以保留用户人脸的五官信息，还能够保留模板人脸的效果信息，融合效果更加真实自然，无效果突兀、曝光、变形等问题。此外，在进行人脸融合时，由于可以对融合后的人脸进行配准处理，使得融合后的人脸的角度、方向和坐标位置与模板人脸的角度、方向和坐标位置一致，因此，针对角度、方向和坐标位置与模板人脸不同的用户人脸，都可以与模板图像完美地融合，从而实现对任意两张单脸或者多脸的融合。本申请实施例在基于GAN网络进行人脸修复时，与传统方法不同的是，本申请可以提取融合后的图像中的人脸模糊特征和边界痕迹特征，基于人脸模糊特征和边界痕迹特征对融合后的图像进行修复，从而可以使得修复后的人脸足够清晰且无融合痕迹，最终得到效果较佳的换脸结果。

需要说明的是，本申请实施例提供的技术方案的执行主体可以是安装在终端中的具有换脸功能的换脸软件，或者，也可以是提供换脸服务的服务器等，以下可以以换脸软件为例进行说明。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1是本申请的一个实施例人脸图像处理方法的流程示意图。所述方法如下所述。

S102：获取用户图像和模板图像，用户图像中包含用户人脸，模板图像中包含模板人脸。

在S102中，在进行人脸替换时，可以获取包含用户人脸的用户图像以及包含模板人脸的模板图像。

在一种可能的实现方式中，获取用户图像和模板图像的操作可以由用户触发。具体地，当用户使用换脸软件进行换脸时，换脸软件可以提供多个换脸模板，每个换脸模板可以对应一个模板图像，每个模板图像中均包含模板人脸，用户可以根据自己的实际需求选择其中一个模板图像。同时，用户也可以在换脸软件中上传一张包含用户人脸的用户图像或使用换脸软件提供的拍摄功能实时拍摄一张包含用户人脸的用户图像。用户在上传用户图像并选择某个模板图像的情况下，可以触发换脸软件执行换脸操作，此时换脸软件可以获取用户上传的用户图像以及用户选择的模板图像。

S104：对用户人脸的五官信息进行特征提取得到第一人脸特征，以及对模板人脸的人脸效果信息进行特征提取得到第二人脸特征。

在S104中，可以对用户图像中的用户人脸进行特征提取，以及对模板图像中的模板人脸进行特征提取。

本申请实施例中，在对用户人脸进行特征提取时，可以对用户人脸的五官信息进行特征提取，这样的好处是后续在进行特征融合时，可以使得融合后的人脸中保留用户人脸的五官信息，满足用户的换脸需求。在对模板人脸进行特征提取时，可以对模板人脸中的人脸效果信息进行特征提取，这样的好处是后续在进行特征融合时，可以使得融合后的人脸中保留模板人脸的效果信息，使得融合效果更加真实自然，避免效果突兀、曝光、变形等问题。在对用户人脸的五官信息和模板人脸的人脸效果信息分别进行特征提取后，为了便于区分提取得到的人脸特征，可以由第一人脸特征表示对用户人脸的特征提取结果，由第二人脸特征表示对模板人脸的特征提取结果。

上述模板人脸中的人脸效果信息可以是能够体现模板图像中人脸效果的信息，也即为了实现更好的融合效果，需要在融合后的人脸中保留的模板人脸的信息。可选地，人脸效果信息可以包括模板人脸的肤色信息和模板人脸的表情信息中的至少一项，这样，可以使得融合后的人脸能够保留模板人脸中的肤色和/或表情。当然，人脸效果信息也可以是其他信息，具体可以根据实际场景或用户需求确定，这里不做具体限定。

第一人脸特征具体可以是人脸矩阵特征信息。可选地，在对用户人脸的五官信息进行特征提取时，可以使用多层Upsample+conv2d+BatchNorm2d(上采样+2d卷积+2d批量归一化)网络实现，该网络具有轮廓线条保留能力强，不失真等优势，具有良好的五官形状、线条提取能力。

第二人脸特征具体也可以是人脸矩阵特征信息。可选地，在对模板人脸的人脸效果信息进行特征提取时，可以使用ResnetBlock_Adain(残差模块自适应实例归一化)网络实现，该网络具有特征提取能力强，图像细节丢失少等优势，可完好的保留模板人脸中的人脸效果信息。

可选地，作为一个实施例，在获取到用户图像和模板图像之后，在对人脸图像和目标图像进行特征提取之前，还可以分别对用户图像和目标图像进行预处理，具体可以包括以下步骤：

对用户图像进行人脸识别，得到第一矩形框和用户人脸关键点；基于第一矩形框对用户图像进行裁剪，得到用户人脸；基于用户人脸关键点对用户人脸进行配准处理；

对模板图像进行人脸识别，得到第二矩形框和模板人脸关键点；基于第二矩形框对模板图像进行裁剪，得到模板人脸；基于模板人脸关键点对模板人脸进行配准处理。

在对人脸图像进行人脸识别时，可以将人脸图像作为输入，传入到人脸识别网络进行人脸识别，人脸识别网络可以输出人脸矩形框(即第一矩形框)和用户人脸关键点。第一矩形框可以表征用户图像中用户人脸所在的矩阵区域，第一矩形框可以包括坐标信息。用户人脸关键点可以包括用户人脸的眼睛、鼻子、嘴角等关键点。

在得到第一矩形框后，可以基于第一矩形框对用户图像进行裁剪，得到用户图像中的人脸图像，即将用户人脸从用户图像中提取出来(用户图像中包括用户人脸和背景图像)，这样，在对用户人脸的五官信息进行特征提取时，可以基于裁剪得到的用户人脸进行特征提取，无需基于用户图像进行特征提取，从而避免用户图像中的背景图像对五官信息的特征提取产生干扰。

在得到用户人脸关键点后，可以基于用户人脸关键点对用户人脸进行配准处理。这里的配准处理可以是对用户人脸的角度、方向和坐标位置进行调整。其中，用户人脸的角度比如可以是用户人脸在用户图像中的倾斜角度，具体可以是用户图像中用户人脸的中心线与用户图像的垂直方向之间的角度。用户人脸的方向可以是用户人脸面部朝向的方向，比如可以是用户人脸是低头、仰头、向左侧脸或向右侧脸等方向。用户人脸的坐标位置可以是用户人脸的关键点在人脸图像中的坐标位置。

在对用户人脸进行配准时，可以将标准人脸作为基准进行配准处理，该标准人脸的角度为指定角度(比如可以是0度，即标准人脸的倾斜角度为0)，标准人脸的方向为指定方向(比如可以是人脸面部朝向正前方)，标准人脸的坐标位置可以是指定坐标位置(比如人脸关键点中的鼻子的位置位于图像正中心)。在对用户人脸进行配准处理后，配准处理后的用户人脸的角度、方向和坐标位置分别为指定角度、指定方向和指定坐标位置。

在对模板图像进行人脸识别时，可以将模板图像作为输入，传入到人脸识别网络进行人脸识别，人脸识别网络可以输出人脸矩形框(即第二矩形框)和模板人脸关键点。第二矩形框可以表征模板图像中模板人脸所在的矩阵区域，第二矩形框可以包括坐标信息。模板人脸关键点可以包括模板人脸的眼睛、鼻子、嘴角等关键点。

在得到第二矩形框后，可以基于第二矩形框对模板图像进行裁剪，得到模板图像中的人脸图像，即将模板人脸从模板图像中提取出来(模板图像中可以包括模板人脸和背景图像)，这样，在对模板人脸的人脸效果信息进行特征提取时，可以基于裁剪得到的模板人脸进行特征提取，无需基于模板图像进行特征提取，从而避免模板图像中的背景图像对人脸效果信息的特征提取产生干扰。

在得到模板人脸关键点后，可以基于模板人脸关键点对模板人脸进行配准处理。其中，在对模板人脸进行配准处理时，也可以基于上述标准人脸实现，具体可以参见上述对用户人脸进行配准处理的相关内容，这里不再详细说明。在对模板人脸进行配准处理后，配准处理后的模板人脸的角度、方向和坐标位置可以分别是上述指定角度、指定方向和指定坐标位置。

可选地，上述对用户图像进行人脸识别时使用的人脸识别网络可以与对模板图像进行人脸识别时使用的人脸识别网络相同。这样，在进行人脸识别时，可以将用户图像和模板图像同时输入人脸识别网络，人脸识别网络可以同时输出对用户图像和模板图像的识别结果。其中，人脸识别网络可以是insightface网络，或retinaFace网络，这些网络具有识别准确率高、召回率高等优势，并且处理速度达到毫秒级。

需要说明的是，在上述对用户人脸和模板人脸进行裁剪时，需要保证裁剪得到的用户人脸的尺寸和裁剪得到的模板人脸的尺寸一致。这样的好处是，在后续进行特征融合时，可以在用户人脸的尺寸和模板人脸的尺寸一致的基础上进行特征融合，避免在尺寸不一致的情况下进行特征融合时导致的不匹配、融合效果不佳的问题。

可选地，作为一个实施例，在上述基于模板人脸关键点对模板人脸进行配准处理后，还可以确定与配准处理后的模板人脸对应的仿射变换矩阵，该仿射变换矩阵可以用于在后续的S108中对融合得到的目标人脸进行配准处理，具体可以参见S108中的相应内容，这里不再详细说明。

在对用户图像和模板图像进行裁剪得到用户人脸和模板人脸，并对用户人脸和模板人脸分别进行配准处理后，可以基于配准处理后的用户人脸和模板人脸进行特征提取。具体地，可以对配准处理后的用户人脸的五官信息进行特征提取得到第一人脸特征，对配准处理后的模板人脸的人脸效果信息进行特征提取得到第二人脸特征。

需要说明的是，在对用户人脸和模板人脸进行配准处理时，由于可以基于相同的标准人脸进行配准处理，因此，配准处理后的用户人脸的角度、方向和坐标位置与配准处理后的模板人脸的角度、方向和坐标位置一致，这样，在后续在对用户人脸的第一人脸特征和模板人脸的第二人脸特征进行融合时，可以基于相同的角度、方向和坐标位置进行特征融合，使得融合后的目标人脸的融合效果较好，不会出现由于用户人脸和模板人脸的角度、方向或坐标位置不同导致的融合不匹配、融合效果不佳的问题。

可选地，在一些可能的实现方式中，考虑到配准处理后的用户人脸或模板人脸可能无法直接用于特征提取，因此，在对配准后的用户人脸或模板人脸进行特征提取之前，可以先对用户人脸或模板人脸进行隐藏空间转换，这样，在进行特征提取时，可以基于隐藏空间转换后的用户人脸或模板人脸进行特征提取，从而实现特征提取的目的。

在基于S104中的内容对用户人脸和模板人脸进行特征提取并得到第一人脸特征和第二人脸特征后，可以执行S106。

S106：对第一人脸特征和第二人脸特征进行融合，得到目标人脸。

第一人脸特征和第二人脸特征可以均为人脸矩阵特征信息，将第一人脸特征和第二人脸特征进行融合，可以是将第一人脸特征和第二人脸特征各自对应的人脸矩阵特征信息进行匹配生成，得到包含第一人脸特征和第二人脸特征的人脸，即目标人脸。

可选地，作为一个实施例，第一人脸特征和第二人脸特征可以是上述S104中分别对配准处理后的用户人脸和模板人脸进行特征提取后得到的人脸特征，这样，在对第一人脸特征和第二人脸特征进行融合后，得到目标人脸的融合效果较好，不会出现由于用户人脸和模板人脸的角度、方向和坐标位置不同导致的融合不匹配、融合效果不佳的问题。

可选地，作为一个实施例，在对第一人脸特征和第二人脸特征进行融合时，可以通过Generator网络实现，Generator网络的融合结果具有效果自然、泛化性强等优势。

S108：对目标人脸进行配准处理，并将模板图像中的模板人脸替换为配准处理后的目标人脸，得到第一图像，配准处理后的目标人脸的角度、方向和坐标位置与模板人脸的角度、方向和坐标位置一致。

在S108中，在得到融合后的目标人脸后，可以对目标人脸进行配准处理。这里的配准处理是为了使得配准处理后的目标人脸的角度、方向和坐标位置与模板人脸的角度、方向和坐标位置一致，从而能够使得目标人脸与模板图像中的背景图像更加匹配，人脸替换效果更好。其中，目标人脸的角度、方向和坐标位置的含义可以与上述S104中记载的用户人脸的角度、方向和坐标位置的含义相同，这里不再重复解释说明。

可选地，作为一个实施例，对目标人脸进行配准处理，可以包括：

获取与模板人脸对应的仿射变换矩阵；

确定与仿射变换矩阵对应的逆矩阵；

基于逆矩阵，通过二值归一化的方式将目标人脸回配准到模板图像的背景图像中。

与模板人脸对应的放射变换矩阵可以是上述S104中记载的与配准处理后的模板人脸对应的仿射变换矩阵。

考虑到目标人脸是由用户人脸的第一人脸特征和模板人脸的第二人脸特征融合得到，而用户人脸和模板人脸均为配准处理后的人脸，因此，目标人脸的角度、方向和坐标位置与配准处理后的用户人脸/模板人脸的角度、方向和坐标位置一致，即目标人脸的角度、方向和坐标位置分别为指定角度、指定方向和指定作为坐标位置。因此，为了是使得配准处理后的目标人脸的角度、方向和坐标位置能够与模板图像中的模板人脸的角度、方向和坐标位置一致，需要获取上述S104中记载的与配准处理后的模板人脸对应的仿射变换矩阵，并基于该仿射变换矩阵对目标人脸进行配准处理。

在获取到该仿射变换矩阵后，在基于仿射变换矩阵对目标人脸进行配准处理时，可以确定仿射变换矩阵对应的逆矩阵，然后再基于逆矩阵，通过二值归一化的方式对目标人脸进行配准处理。这样，通过模板人脸对应的仿射变换矩阵对目标人脸进行配准处理，可以使得配准处理的目标人脸的角度、方向和坐标位置能够与模板人脸的角度、方向和坐标位置一致。

在对目标人脸进行配准处理后，可以将模板图像中的模板人脸替换为配准处理后的目标人脸，得到第一图像。第一图像中包括模板图像中的背景图像以及配准处理后的目标人脸。其中，对目标人脸进行配准处理并将模板图像中的模板人脸替换为配准处理后的所述目标人脸的步骤，可以是将目标人脸回对齐到模板图像并与模板图像中的背景图像进行融合的步骤。

为了便于理解本申请实施例提供的人脸特征提取和融合的具体实现方式，可以参见图2。图2是本申请的一个实施例人脸特征提取和融合方法的流程示意图，图2所示的实施例包括以下步骤。

S21：获取包含用户人脸的用户图像以及包含模板人脸的模板图像。

S22：对用户图像进行人脸识别，得到第一矩形框和用户人脸关键点。

S23：基于第一矩形框对用户图像进行裁剪，得到用户人脸。

S24：基于用户人脸关键点对用户人脸进行配准处理。

S25：对模板图像进行人脸识别，得到第二矩形框和模板人脸关键点。

S26：基于第二矩形框对模板图像进行裁剪，得到模板人脸。

S27：基于模板人脸关键点对模板人脸进行配准处理，并确定与配准处理后的模板人脸对应的仿射变换矩阵。

配准处理后的用户人脸的角度、方向和坐标位置与配准处理后的模板人脸的角度、方向和坐标位置一致。

需要说明的是，上述S22-S24与S25-S27可以同步执行，即可以同时对用户图像和模板图像进行人脸识别、裁剪和配准处理。

S28：对用户人脸的五官信息进行特征提取得到第一人脸特征，以及对模板人脸的人脸效果信息进行特征提取得到第二人脸特征。

S29：对第一人脸特征和第二人脸特征进行融合，得到目标人脸。

S210：根据与配准处理后的模板人脸对应的仿射变换矩阵，对目标人脸进行配准处理。

配准处理后的目标人脸的角度、方向和坐标位置与模板图像中的模板人脸的角度、方向和坐标位置一致。

S211：将模板图像中的模板人脸替换为配准处理后的目标人脸，得到第一图像。

上述S21-S211的具体实现可以参见上述S102-S108中相应步骤的具体实现，这里不再详细说明。

本申请实施例提供的人脸图像处理方法中的人脸特征和融合部分，由于可以对模板人脸中的人脸效果信息进行特征提取，并将提取到的特征与用户人脸的五官特征进行融合，因此，融合后的目标人脸能够保留模板人脸的效果信息，使得融合效果更加真实自然，避免效果突兀、曝光、变形等问题，此外，在得到融合后的目标人脸后，由于可以对目标人脸进行配准处理，使得目标人脸的角度、方向和坐标位置与模板人脸的角度、方向和坐标位置一致，因此，针对角度、方向和坐标位置与模板人脸不同的用户人脸，都可以与模板图像完美地融合，从而实现对任意用户人脸进行替换的目的。

S110：提取第一图像中的人脸模糊特征和边界痕迹特征，基于人脸模糊特征和边界痕迹特征对第一图像的人脸模糊区域和融合边界区域进行修复处理，得到目标图像。

在得到第一图像后，考虑到第一图像中可能具有人脸模糊、融合边界(即目标人脸与背景图像的交界)痕迹明显等问题，因此，为了得到更好的人脸替换结果，可以提取第一图像中的人脸模糊特征和边界痕迹特征，基于人脸模糊特征对第一图像的人脸模糊区域(即人脸模糊的区域)进行修复处理，基于边界痕迹特征对第一图像中的融合边界区域(即目标人脸与背景图像之间的边界区域)进行修复处理。

可选地，作为一个实施例，提取所述第一图像中的人脸模糊特征和边界痕迹特征，可以包括：

获取第一图像中指定区域内的第二图像，指定区域包括人脸模糊区域和融合边界区域；

对第二图像中的人脸模糊区域进行特征提取得到人脸模糊特征，以及对第二图像中的融合边界区域进行特征提取得到边界痕迹特征。

在对第一图像进行修复处理时，为了避免对第一图像中的背景图像进行误修复，可以将第一图像中的人脸模糊区域和融合边界区域这两个区域对应的图像(及第二图像)提取出来，然后针对第二图像进行特征提取和修复处理。在对第二图像进行特征提取时，具体可以是对第二图像中的人脸模糊区域进行特征提取得到人脸模糊特征，对第二图像中的融合边界区域进行特征提取得到边界痕迹特征。这样，在进行修复处理时，可以基于人脸模糊特征对人脸模糊区域进行修复处理，使得修复后的第二图像更加清晰，以及基于边界痕迹特征对融合边界区域进行修复处理，以消除融合边界区域的融合痕迹，使得修复后的第二图像中没有边界痕迹。

可选地，在对第二图像进行特征提取时，可以通过9层conv2d特征提取网络进行特征提取，准确度较高。在进行修复处理时，可以通过conv2d生成网络进行修复处理，使得修复后的人脸清晰、逼真、美观。

可选地，作为一个实施例，考虑到人脸模糊区域和融合边界区域一般位于人脸区域内或人脸区域周围，因此，上述获取第一图像中指定区域内的第二图像，可以包括：

对第一图像进行人脸识别，得到第三矩形框；

对第三矩形框的坐标进行放大，得到第四矩阵框；

基于第四矩形框对第一图像进行裁剪，得到第二图像。

在对第一图像进行人脸识别时，可以将第一图像作为输入，传入到人脸识别网络进行人脸识别，人脸识别网络可以输出人脸矩形框(即第三矩形框)。第三矩形框可以表征第一图像中用户人脸所在的矩阵区域，第三矩形框可以包括坐标信息。

考虑到人脸模糊区域和融合边界区域中可能会有一部分区域位于第三矩形框外，因此，为了将人脸模糊区域和融合边界区域的图像全部获取到，在得到第三矩形框后，可以对第三矩形框的坐标进行放大得到第四矩阵框，然后基于第四矩形框对第一图像进行裁剪，得到第二图像。这样，可以将第一图像中的人脸模糊的全部区域和融合边界的全部区域均包含在裁剪得到的第二图像中，避免遗漏。其中，对第三矩形框的坐标进行放大的程度可以根据实际的场景或需求确定，这里不做具体限定。

可选地，作为一个实施例，为了便于对第二图像进行特征提取和修复修理，上述在裁剪得到第二图像后，还可以对第二图像中的人脸进行配准处理。具体地，在得到第二图像后，还可以包括：

获取第二图像中的第一人脸的人脸关键点；

基于人脸关键点对第一人脸进行配准处理，并确定与配准处理后的第一人脸对应的仿射变换矩阵，配准处理后的第一人脸的角度、方向和坐标位置为指定角度、指定方向和指定坐标位置。

第一人脸可以是上述目标人脸。第一人脸的人脸关键点可以在基于人脸识别网络对第一图像进行人脸识别时确定得到。第一人脸的人脸关键点可以包括第一人脸的眼睛、鼻子、嘴角等关键点。

在对第一人脸进行配准处理时，可以基于标准人脸进行配准处理，具体可以参见上述S104中对用户人脸进行配准处理的相应内容，这里不再重复说明。在对第一人脸进行配准处理后，配准处理后的第一人脸的角度、方向和坐标位置可以是指定角度、指定方向和指定坐标位置。

在对第一人脸进行配准处理后，可以对包含配准处理后的第一人脸的第二图像进行特征提取，得到人脸模糊特征和边界痕迹特征，并基于人脸模糊特征对第二图像中的人脸模糊区域进行修复处理，基于边界痕迹特征对第二图像中的融合边界区域进行修复处理。

在对第二图像中的人脸模糊区域以及融合边界区域进行修复处理后，还可以对第二图像中的第一人脸再次进行配准处理，使得再次配准处理后的第一人脸的角度、方向和坐标位置与第一人脸原来的角度、方向和坐标位置(即未对第一人脸进行配准处理时第一人脸的角度、方向和坐标位置)一致，然后将再次配准处理后的第一人脸还原到第一图像中，从而可以得到修复后的第一图像，该修复后的第一图像即为目标图像。

在对第一人脸再次进行配准处理时，可以获取对第一人脸进行第一次配准时与配准处理后的第一人脸对应的仿射变换矩阵，确定与该仿射变换矩阵对应的逆矩阵，基于逆矩阵，通过二值归一化的方式对第一人脸再次进行配准处理，再次配准处理后的第一人脸的角度、方向和坐标位置与第一人脸原来的角度、方向和坐标位置一致。

为了便于理解本申请实施例提供的人脸修复的具体实现方式，可以参见图3。图3是本申请的一个实施例人脸修复方法的流程示意图，图3所示的实施例包括以下步骤。

S31：对第一图像进行人脸识别，得到第三矩形框和第一图像中的第一人脸的人脸关键点。

这里的第一图像即基于上述S102-S108对用户图像和模板图像进行特征提取和融合后得到的第一图像。

S32：基于第一人脸的人脸关键点对第一人脸进行配准处理，并确定与配准处理后的第一人脸对应的仿射变换矩阵。

S33：对第三矩形框的坐标进行放大，得到第四矩阵框。

S34：基于第四矩形框对第一图像进行裁剪，得到第二图像。

第二图像中包含第一人脸，且该第一人脸是S32中进行配准处理后的第一人脸。

S35：对第二图像进行特征提取，得到人脸模糊特征以及边界痕迹特征。

S36：基人脸模糊特征对人脸模糊区域进行修复处理，以及基于边界痕迹特征对融合边界区域进行修复处理。

S37：根据与配准处理后的第一人脸对应的仿射变换矩阵对第一人脸再次进行配准处理。

S38：将再次配准处理后的第一人脸还原到第一图像中，得到目标图像。

上述S31-S38的具体实现可以参见上述S110中相应步骤的具体实现，这里不再详细说明。

本申请实施例提供的人脸图像处理方法中的人脸修复部分，由于可以基于融合后的图像中的人脸模糊特征和边界痕迹特征对融合后的图像中的人脸模糊区域以及融合边界痕迹明显的区域进行修复，因此，可以使得修复后的人脸足够清晰且无边界痕迹，最终得到效果较佳的换脸结果。

可选地，作为一个实施例，本申请实施例提供的特征提取和融合、人脸修复的具体实现还可以图4。图4是本申请的一个实施例人脸图像处理方法的流程示意图。

图4中各个步骤的具体实现可以参见图2和图3所示实施例中相应步骤的具体实现，这里不再重复说明。

需要说明的是，在对用户图像/模板图像进行裁剪和配准处理后得到的用户人脸/模板人脸的形状可以是矩形，图4采用圆形表示是为了便于描述裁剪和配准处理后得到的是人脸图。此外，在对第一图像进行裁剪时，由于是对第一图像进行人脸识别后，对识别得到人脸矩形框进行坐标放大，然后基于放大后的矩形框对第一图像进行裁剪，因此，裁剪得到的第二图像的尺寸(即图4所示的第二图像中由虚线圆形框表示的尺寸)会大于第一图像中第一人脸的尺寸(即图4所示的第二图像中由实线圆形框表示的第一人脸的尺寸)。另，图4中的第一人脸可以理解为目标人脸，目标图像中的人脸可以理解为对目标人脸进行修复后得到的人脸。

下面以一个更为具体的实施例详细说明本申请实施例提供的技术方案。

步骤1：用户通过手机自拍一张肖像图片(user_img)并且在换脸软件中选择一张需要进行换脸的模板图片(temp_img)。换脸软件可以将用户图和模板图的尺寸进行统一调整(resize)，比如，可以统一调整为800*1000大小的图片，图片的数据格式为jpg，数据表现形式为800*1000*3维的矩阵，每个数据点为0-255的像素数值，800表示图像宽度，1000表示图像高度，3表示图像通道数。

步骤2：换脸软件将用户图和模板图分别输入到人脸识别网络中进行人脸识别，得到以x1(左上角横坐标)、y1(左上角纵坐标)、x2(右下角横坐标)、y2(右下角纵坐标)组成的人脸坐标框，通过人脸坐标框可以在原图中截取用户人脸和模板人脸，并将截取的用户人脸和模板人脸统一调整为224*224*3的图像，数据表现形式为224*224*3维的矩阵，每个数据点为0-255的像素数值。此外，还可以对用户人脸和模板人脸进行配准处理，并输出模板脸的仿射变换矩阵，数据表现形式为4*5维矩阵，矩阵中存储的是人物面部的方向、角度和坐标位置，该仿射变换矩阵用于后续将人脸的方向、角度和坐标位置还原到原图中。

步骤3：将处理后的用户头像图、模板头像图输入到人脸融合网络中进行融合，人脸融合网络会提取用户脸的五官信息，数据表现形式为1*3*224*224维度的五官信息表达矩阵，1表示数量，3表示通道，224表示宽和高，人脸融合网络还会提取模板脸的表情、肤色信息，数据表现形式为1*3*224*224维度的表情、肤色信息表达矩阵，1表示数量，3表示通道，224表示宽和高。然后，将两个1*3*224*224的矩阵通过生成算法进行融合，即将用户量的五官和模板脸的表情、肤色进行融合，形成融合后的人脸，融合后的人脸的数据表现形式为3*224*224维度的人脸图像。

步骤4：提取融合后的人脸图，模板图片的背景图(temp_img中不带人脸的图片)，模板图人脸的仿射变换矩阵，通过放射变换矩阵计算逆矩阵求出模板人脸在原图(即模板图片)中的方向矩阵，数据表达形式为4*5维矩阵，矩阵中存储的是人物面部的方向及位置信息，通过方向及位置数据将融合后的人脸图与模板背景图贴合，形成人脸融合后的完整图像，该完整图像的数据表现形式为800*1000*3维的矩阵。

步骤5：将上一步融合后的完整图片输入到人脸识别网络中进行识别，可以得到以x1(左上角横坐标)、y1(左上角纵坐标)、x2(右下角横坐标)、y2(右下角纵坐标)组成的人脸坐标框。然后，通过x1、y1、x2、y2向四个方向进行扩充，使得截取人脸的范围放大，再通过人脸坐标框在原图中截取人脸，并将截图的图像调整为512*512*3的图像，数据表现形式为512*512*3维的矩阵，每个数据点为0-255的像素数值。同时还可以对人脸进行配准处理，并输出人脸的仿射变换矩阵，数据表现形式为4*5维矩阵，矩阵中存储的是人脸面部的方向、角度和坐标位置，用于后续将人脸的方向、角度和坐标位置还原到融合后的完整图片中。

步骤6：将512*512*3维的人脸图像输入到人像修复网络中进行修复，修复内容包括人脸清晰度和突兀的融合边界，输出为修复后的512*512*3维的人脸图像。每个数据点为0-255的像素数值。

步骤7：将修复后的人脸图，融合后完整图片的背景图(完整图片中不带人脸的图片)，融合后人脸的仿射变换矩阵，通过仿射变换矩阵计算逆矩阵求出人脸在融合后完整图片中的方向矩阵，数据表达形式为4*5维矩阵，矩阵中存储的是人物面部的方向及位置信息。通过方向及位置数据将修复后的人脸图与融合后完整图片中的背景图贴合，形成最终的目标图像(result_img)，目标图像的数据表现形式为800*1000*3维的矩阵。

步骤8：将结果返回给用户。

本申请实施例提供的技术方案，在将模板图像中的模板人脸替换为用户人脸时，分为人脸特征提取和融合、人脸修复两部分，在人脸特征提取和融合部分，由于可以对模板人脸中的人脸效果信息进行特征提取，并将提取到的特征与用户人脸的五官特征进行融合，因此，融合后的目标人脸能够保留模板人脸的效果信息，使得融合效果更加真实自然，避免效果突兀、曝光、变形等问题，此外，在得到融合后的目标人脸后，由于可以对目标人脸进行配准处理，使得目标人脸的角度、方向和坐标位置与模板人脸的角度、方向和坐标位置一致，因此，针对角度、方向和坐标位置与模板人脸不同的用户人脸，都可以与模板图像完美地融合，从而实现对任意用户人脸进行替换的目的；在人脸修复部分，由于可以基于融合后的图像中的人脸模糊特征和边界痕迹特征对融合后的对融合后的图像中的人脸模糊区域以及融合边界痕迹明显的区域进行修复，因此，可以使得修复后的人脸足够清晰且无边界痕迹，最终得到效果较佳的换脸结果。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

图5是本申请的一个实施例电子设备的结构示意图。请参考图5，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成人脸图像处理装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取用户图像和模板图像，所述用户图像中包含用户人脸，所述模板图像中包含模板人脸；

对所述用户人脸的五官信息进行特征提取得到第一人脸特征，以及对所述模板人脸的人脸效果信息进行特征提取得到第二人脸特征；

对所述第一人脸特征和所述第二人脸特征进行融合，得到目标人脸；

对所述目标人脸进行配准处理，并将所述模板图像中的所述模板人脸替换为配准处理后的所述目标人脸，得到第一图像，配准处理后的所述目标人脸的角度、方向和坐标位置与所述模板人脸的角度、方向和坐标位置一致；

提取所述第一图像中的人脸模糊特征和边界痕迹特征，基于所述人脸模糊特征和所述边界痕迹特征对所述第一图像的人脸模糊区域和融合边界区域进行修复处理，得到目标图像。

上述如本申请图5所示实施例揭示的人脸图像处理装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1至图4的方法，并实现人脸图像处理装置在图1至图4所示实施例中的功能，本申请实施例在此不再赘述。

当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1至图4所示实施例的方法，并具体用于执行以下操作：

获取用户图像和模板图像，所述用户图像中包含用户人脸，所述模板图像中包含模板人脸；

对所述用户人脸的五官信息进行特征提取得到第一人脸特征，以及对所述模板人脸的人脸效果信息进行特征提取得到第二人脸特征；

对所述第一人脸特征和所述第二人脸特征进行融合，得到目标人脸；

对所述目标人脸进行配准处理，并将所述模板图像中的所述模板人脸替换为配准处理后的所述目标人脸，得到第一图像，配准处理后的所述目标人脸的角度、方向和坐标位置与所述模板人脸的角度、方向和坐标位置一致；

提取所述第一图像中的人脸模糊特征和边界痕迹特征，基于所述人脸模糊特征和所述边界痕迹特征对所述第一图像的人脸模糊区域和融合边界区域进行修复处理，得到目标图像。

图6是本申请的一个实施例人脸图像处理装置60的结构示意图。请参考图6，在一种软件实施方式中，所述人脸图像处理装置60可包括：获取模块61、特征提取模块62、特征融合模块63、人脸替换模块64和修复模块65，其中：

获取模块61，获取用户图像和模板图像，所述用户图像中包含用户人脸，所述模板图像中包含模板人脸；

特征提取模块62，对所述用户人脸的五官信息进行特征提取得到第一人脸特征，以及对所述模板人脸的人脸效果信息进行特征提取得到第二人脸特征；

特征融合模块63，对所述第一人脸特征和所述第二人脸特征进行融合，得到目标人脸；

人脸替换模块64，对所述目标人脸进行配准处理，并将所述模板图像中的所述模板人脸替换为配准处理后的所述目标人脸，得到第一图像，配准处理后的所述目标人脸的角度、方向和坐标位置与所述模板人脸的角度、方向和坐标位置一致；

修复模块65，提取所述第一图像中的人脸模糊特征和边界痕迹特征，基于所述人脸模糊特征和所述边界痕迹特征对所述第一图像的人脸模糊区域和融合边界区域进行修复处理，得到目标图像。

可选地，作为一个实施例，在所述获取模块61获取用户图像和模板图像后，所述特征提取模块62在对所述用户人脸的五官信息以及所述模板人脸的人脸效果信息分别进行特征提取之前，还包括：

对所述用户图像进行人脸识别，得到第一矩形框和用户人脸关键点；基于所述第一矩形框对所述用户图像进行裁剪，得到所述用户人脸；基于所述用户人脸关键点对所述用户人脸进行配准处理；

对所述模板图像进行人脸识别，得到第二矩形框和模板人脸关键点；基于所述第二矩形框对所述模板图像进行裁剪，得到所述模板人脸；基于所述模板人脸关键点对所述模板人脸进行配准处理；

其中，配准处理后的所述用户人脸的角度、方向和坐标位置与配准处理后的所述模板人脸的角度、方向和坐标位置一致。

可选地，作为一个实施例，所述特征提取模块62在基于所述模板人脸关键点对所述模板人脸进行配准处理后，确定与配准处理后的所述模板人脸对应的仿射变换矩阵，所述仿射变换矩阵用于对所述目标人脸进行配准处理。

可选地，作为一个实施例，所述人脸效果信息包括以下至少一项：

所述模板人脸的肤色信息；

所述模板人脸的表情信息。

可选地，作为一个实施例，所述人脸替换模块64，对所述目标人脸进行配准处理，包括：

获取与所述模板人脸对应的仿射变换矩阵；

确定与所述仿射变换矩阵对应的逆矩阵；

基于所述逆矩阵，通过二值归一化的方式对所述目标人脸进行配准处理。

可选地，作为一个实施例，所述修复模块65，提取所述第一图像中的人脸模糊特征和边界痕迹特征，包括：

获取所述第一图像中指定区域内的第二图像，所述指定区域包括所述人脸模糊区域和融合边界区域；

对所述第二图像中的所述人脸模糊区域进行特征提取得到所述人脸模糊特征，以及对所述第二图像中的所述融合边界区域进行特征提取得到所述边界痕迹特征。

可选地，作为一个实施例，所述修复模块65，获取所述第一图像中指定区域内的第二图像，包括：

对所述第一图像进行人脸识别，得到第三矩形框；

对所述第三矩形框的坐标进行放大，得到第四矩阵框；

基于所述第四矩形框对所述第一图像进行裁剪，得到所述第二图像。

可选地，作为一个实施例，所述修复模块65，在得到所述第二图像后，还包括：

获取所述第二图像中的第一人脸的人脸关键点；

基于所述人脸关键点对所述第一人脸进行配准处理，并确定与配准处理后的所述第一人脸对应的仿射变换矩阵，配准处理后的所述第一人脸的角度、方向和坐标位置为指定角度、指定方向和指定坐标位置；

其中，述修复模块65，在对所述第二图像中的所述人脸模糊区域以及所述融合边界区域进行修复处理后，还包括：

基于与配准处理后的所述第一人脸对应的仿射变换矩阵对所述第一人脸再次进行配准处理，将再次配准处理后的所述第一人脸还原到所述第一图像中，得到所述目标图像。

本申请实施例提供的人脸图像处理装置60还可执行图1至图4的方法，并实现人脸图像处理装置在图1至图4所示实施例的功能，本申请实施例在此不再赘述。

总之，以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (11)

1.一种人脸图像处理方法，其特征在于，包括：

获取用户图像和模板图像，所述用户图像中包含用户人脸，所述模板图像中包含模板人脸；

对所述用户人脸的五官信息进行特征提取得到第一人脸特征，以及对所述模板人脸的人脸效果信息进行特征提取得到第二人脸特征；

对所述第一人脸特征和所述第二人脸特征进行融合，得到目标人脸；

对所述目标人脸进行配准处理，并将所述模板图像中的所述模板人脸替换为配准处理后的所述目标人脸，得到第一图像，配准处理后的所述目标人脸的角度、方向和坐标位置与所述模板人脸的角度、方向和坐标位置一致；

提取所述第一图像中的人脸模糊特征和边界痕迹特征，基于所述人脸模糊特征和所述边界痕迹特征对所述第一图像的人脸模糊区域和融合边界区域进行修复处理，得到目标图像。

2.如权利要求1所述的方法，其特征在于，在获取用户图像和模板图像后，在对所述用户人脸的五官信息以及所述模板人脸的人脸效果信息分别进行特征提取之前，所述方法还包括：

对所述用户图像进行人脸识别，得到第一矩形框和用户人脸关键点；基于所述第一矩形框对所述用户图像进行裁剪，得到所述用户人脸；基于所述用户人脸关键点对所述用户人脸进行配准处理；

对所述模板图像进行人脸识别，得到第二矩形框和模板人脸关键点；基于所述第二矩形框对所述模板图像进行裁剪，得到所述模板人脸；基于所述模板人脸关键点对所述模板人脸进行配准处理；

其中，配准处理后的所述用户人脸的角度、方向和坐标位置与配准处理后的所述模板人脸的角度、方向和坐标位置一致。

3.如权利要求2所述的方法，其特征在于，在基于所述模板人脸关键点对所述模板人脸进行配准处理后，所述方法还包括：

确定与配准处理后的所述模板人脸对应的仿射变换矩阵，所述仿射变换矩阵用于对所述目标人脸进行配准处理。

4.如权利要求1所述的方法，其特征在于，所述人脸效果信息包括以下至少一项：

所述模板人脸的肤色信息；

所述模板人脸的表情信息。

5.如权利要求1所述的方法，其特征在于，对所述目标人脸进行配准处理，包括：

获取与所述模板人脸对应的仿射变换矩阵；

确定与所述仿射变换矩阵对应的逆矩阵；

基于所述逆矩阵，通过二值归一化的方式对所述目标人脸进行配准处理。

6.如权利要求1所述的方法，其特征在于，提取所述第一图像中的人脸模糊特征和边界痕迹特征，包括：

获取所述第一图像中指定区域内的第二图像，所述指定区域包括人脸模糊区域和融合边界区域；

对所述第二图像中的所述人脸模糊区域进行特征提取得到所述人脸模糊特征，以及对所述第二图像中的所述融合边界区域进行特征提取得到所述边界痕迹特征。

7.如权利要求6所述的方法，其特征在于，获取所述第一图像中指定区域内的第二图像，包括：

对所述第一图像进行人脸识别，得到第三矩形框；

对所述第三矩形框的坐标进行放大，得到第四矩阵框；

基于所述第四矩形框对所述第一图像进行裁剪，得到所述第二图像。

8.如权利要求7所述的方法，其特征在于，在得到所述第二图像后，所述方法还包括：

获取所述第二图像中的第一人脸的人脸关键点；

基于所述人脸关键点对所述第一人脸进行配准处理，并确定与配准处理后的所述第一人脸对应的仿射变换矩阵，配准处理后的所述第一人脸的角度、方向和坐标位置为指定角度、指定方向和指定坐标位置；

其中，在对所述第二图像中的所述人脸模糊区域以及所述融合边界区域进行修复处理后，所述方法还包括：

基于与配准处理后的所述第一人脸对应的仿射变换矩阵对所述第一人脸再次进行配准处理，将再次配准处理后的所述第一人脸还原到所述第一图像中，得到所述目标图像。

9.一种人脸图像处理装置，其特征在于，包括：

获取模块，获取用户图像和模板图像，所述用户图像中包含用户人脸，所述模板图像中包含模板人脸；

特征提取模块，对所述用户人脸的五官信息进行特征提取得到第一人脸特征，以及对所述模板人脸的人脸效果信息进行特征提取得到第二人脸特征；

特征融合模块，对所述第一人脸特征和所述第二人脸特征进行融合，得到目标人脸；

人脸替换模块，对所述目标人脸进行配准处理，并将所述模板图像中的所述模板人脸替换为配准处理后的所述目标人脸，得到第一图像，配准处理后的所述目标人脸的角度、方向和坐标位置与所述模板人脸的角度、方向和坐标位置一致；

修复模块，提取所述第一图像中的人脸模糊特征和边界痕迹特征，基于所述人脸模糊特征和所述边界痕迹特征对所述第一图像的人脸模糊区域和融合边界区域进行修复处理，得到目标图像。

10.一种电子设备，其特征在于，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，该可执行指令在被执行时使该处理器执行以下操作：

获取用户图像和模板图像，所述用户图像中包含用户人脸，所述模板图像中包含模板人脸；

对所述用户人脸的五官信息进行特征提取得到第一人脸特征，以及对所述模板人脸的人脸效果信息进行特征提取得到第二人脸特征；

对所述第一人脸特征和所述第二人脸特征进行融合，得到目标人脸；

对所述目标人脸进行配准处理，并将所述模板图像中的所述模板人脸替换为配准处理后的所述目标人脸，得到第一图像，配准处理后的所述目标人脸的角度、方向和坐标位置与所述模板人脸的角度、方向和坐标位置一致；

提取所述第一图像中的人脸模糊特征和边界痕迹特征，基于所述人脸模糊特征和所述边界痕迹特征对所述第一图像的人脸模糊区域和融合边界区域进行修复处理，得到目标图像。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下方法：

获取用户图像和模板图像，所述用户图像中包含用户人脸，所述模板图像中包含模板人脸；

对所述用户人脸的五官信息进行特征提取得到第一人脸特征，以及对所述模板人脸的人脸效果信息进行特征提取得到第二人脸特征；

对所述第一人脸特征和所述第二人脸特征进行融合，得到目标人脸；

对所述目标人脸进行配准处理，并将所述模板图像中的所述模板人脸替换为配准处理后的所述目标人脸，得到第一图像，配准处理后的所述目标人脸的角度、方向和坐标位置与所述模板人脸的角度、方向和坐标位置一致；

提取所述第一图像中的人脸模糊特征和边界痕迹特征，基于所述人脸模糊特征和所述边界痕迹特征对所述第一图像的人脸模糊区域和融合边界区域进行修复处理，得到目标图像。

Images