CN112967261B - 图像融合方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像融合方法、装置、设备及存储介质，属于图像处理技术领域。所述方法包括：确定第一人脸图像中的第一人脸关键点以及第二人脸图像中的第二人脸关键点；根据第一人脸关键点确定第一人脸图像中的第一五官区域以及根据第二人脸关键点确定第二人脸图像中的第二五官区域；在第一人脸图像中，将第一五官区域中的第一融合区域与第二五官区域中的第二融合区域进行图像融合，得到第三人脸图像，第一融合区域包括第一五官区域中至少一种人脸五官对应的区域，第二融合区域为第一融合区域在第二五官区域中对应的区域。本申请能够实现仅对人脸图像中部分人脸五官的区域进行融合，提供了一种灵活自由的融合人脸图像的方式。

Description

图像融合方法、装置、设备及存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像融合方法、装置、设备及存储介质。

背景技术

在一些客户端中提供有人脸图像融合的功能。人脸图像融合，是指将第一人脸图像与第二人脸图像进行图像融合，得到第三人脸图像。该第三人脸图像中的人脸同时具有第一人脸图像中的第一人脸特征以及第二人脸图像中的第二人脸特征。

在进行人脸图像融合的过程中，客户端会确定第一人脸图像中人脸所在的第一区域以及第二人脸图像中的人脸所在的第二区域，并在第一人脸图像中将第一区域与第二区域进行图像融合，从而得到第三人脸图像。

在通过上述方式对人脸图像进行融合时，只能得到两张人脸融合的结果，无法满足用户的其他需求，融合人脸图像的融合粒度较粗略，导致具有局限性。

发明内容

本申请提供了一种图像融合方法、装置、设备及存储介质，提供了一种灵活自由的融合人脸图像的方式。所述技术方案如下：

根据本申请的一方面，提供了一种图像融合方法，所述方法包括：

确定第一人脸图像中的第一人脸关键点以及第二人脸图像中的第二人脸关键点；

根据所述第一人脸关键点确定所述第一人脸图像中的第一五官区域以及根据所述第二人脸关键点确定所述第二人脸图像中的第二五官区域；

在所述第一人脸图像中，将所述第一五官区域中的第一融合区域与所述第二五官区域中的第二融合区域进行图像融合，得到第三人脸图像，所述第一融合区域包括所述第一五官区域中至少一种人脸五官对应的区域，所述第二融合区域为所述第一融合区域在所述第二五官区域中对应的区域。

根据本申请的另一方面，提供了一种图像融合装置，所述装置包括：

第一确定模块，用于确定第一人脸图像中的第一人脸关键点以及第二人脸图像中的第二人脸关键点；

第二确定模块，用于根据所述第一人脸关键点确定所述第一人脸图像中的第一五官区域以及根据所述第二人脸关键点确定所述第二人脸图像中的第二五官区域；

融合模块，用于在所述第一人脸图像中，将所述第一五官区域中的第一融合区域与所述第二五官区域中的第二融合区域进行图像融合，得到第三人脸图像，所述第一融合区域包括所述第一五官区域中至少一种人脸五官对应的区域，所述第二融合区域为所述第一融合区域在所述第二五官区域中对应的区域。

在一个可选的设计中，所述第二确定模块，用于：

基于所述第一人脸关键点对所述第一人脸图像进行三角剖分，得到第一三角区域；根据所述第一三角区域与人脸五官的对应关系，确定所述第一五官区域；

基于所述第二人脸关键点对所述第二人脸图像进行三角剖分，得到第二三角区域；根据所述第二三角区域与人脸五官的对应关系，确定所述第二五官区域。

在一个可选的设计中，所述第二确定模块，用于：

将所述第一人脸关键点与人脸五官的对应关系，确定为由所述第一人脸关键点构成的第一三角区域与人脸五官的对应关系，得到所述第一五官区域；

将所述第二人脸关键点与人脸五官的对应关系，确定为由所述第二人脸关键点构成的第二三角区域与人脸五官的对应关系，得到所述第二五官区域。

在一个可选的设计中，所述第一确定模块，用于：

将所述第一人脸图像输入机器学习模型，得到所述第一人脸关键点以及所述第一人脸关键点与人脸五官的对应关系；

将所述第二人脸图像输入所述机器学习模型，得到所述第二人脸关键点以及所述第二人脸关键点与人脸五官的对应关系；

其中，所述机器学习模型是通过样本人脸图像、样本人脸关键点以及所述样本人脸关键点与人脸五官的对应关系训练得到。

在一个可选的设计中，所述第一融合区域对应有第一权重，所述第二融合区域对应有第二权重，所述第一权重用于反映所述第一融合区域在图像融合时的融合程度，所述第二权重用于反映所述第二融合区域在图像融合时的融合程度，所述第一权重与所述第二权重负相关；所述融合模块，用于：

在所述第一人脸图像中，根据所述第一权重和所述第二权重将所述第一融合区域与所述第二融合区域进行图像融合，得到所述第三人脸图像。

在一个可选的设计中，所述融合模块，用于：

将所述第一融合区域中的第一像素点的像素值与所述第一权重的第一乘积确定为所述第一像素点的第一融合像素值；

将所述第二融合区域中的第二像素点的像素值与所述第二权重的第二乘积确定为所述第二像素点的第二融合像素值；

在所述第一人脸图像中，基于所述第一融合像素值以及所述第二融合像素值，对所述第一像素点以及所述第二像素点进行图像融合，得到所述第三人脸图像。

在一个可选的设计中，所述融合模块，用于：

将所述第一融合区域与所述第二融合区域进行图像融合，得到区域融合图像；

基于泊松融合，将所述区域融合图像融入所述第一人脸图像中，得到所述第三人脸图像。

在一个可选的设计中，所述装置还包括：

第一处理模块，用于根据所述第一人脸关键点与所述第二人脸关键点之间的映射关系，对所述第二人脸图像中的像素点的坐标进行旋转变换处理，得到与所述第一人脸图像中的人脸对齐的第二人脸图像。

在一个可选的设计中，所述装置还包括：

第二处理模块，用于基于所述第一融合区域的大小和形状，对所述第二融合区域进行仿射变换，得到与所述第一融合区域在大小和形状上匹配的第二融合区域。

根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的图像融合方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的图像融合方法。

根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的图像融合方法。

本申请提供的技术方案带来的有益效果至少包括：

通过将第二人脸图像中的第二融合区域与第一人脸图像中的第一融合区域进行图像融合，能够实现仅对人脸图像中部分人脸五官的区域进行融合，细化了融合人脸图像的融合粒度，提供了一种灵活自由的融合人脸图像的方式。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施例提供的融合人脸图像的过程的示意图；

图2是本申请一个示例性实施例提供的图像融合方法的流程示意图；

图3是本申请另一个示例性实施例提供的图像融合方法的流程示意图；

图4是本申请一个示例性实施例提供的人脸图像融合界面的示意图；

图5是本申请一个示例性实施例提供的五官区域的示意图；

图6是本申请一个示例性实施例提供的在不同权重下的全脸的融合效果的示意图；

图7是本申请一个示例性实施例提供的在不同权重下的眼睛区域的融合效果的示意图；

图8是本申请一个示例性实施例提供的在相同权重下的不同五官区域的融合效果的示意图；

图9是本申请一个示例性实施例提供的图像融合装置的结构示意图；

图10是本申请另一个示例性实施例提供的图像融合装置的结构示意图；

图11是本申请又一个示例性实施例提供的图像融合装置的结构示意图；

图12是本申请一个示例性实施例提供的终端的结构示意图。

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

图1是本申请一个示例性实施例提供的融合人脸图像的过程的示意图。如图1所示，客户端确定第一人脸图像101中的第一人脸关键点103以及第二人脸图像102中的第二人脸关键点104。该第一人脸关键点103用于反映第一人脸图像101中的人脸五官的位置，该第二人脸关键点104用于反映第二人脸图像102中的人脸五官的位置。之后，客户端根据第一人脸关键点103与第二人脸关键点104之间的映射关系，对第二人脸图像102进行人脸对齐处理，得到对齐的第二人脸图像105。并在对齐的第二人脸图像105中再次确定出更新的第二人脸关键点106。之后，客户端对第一人脸图像101基于第一人脸关键点103进行三角剖分，并基于第一人脸关键点103与人脸五官的对应关系，得到第一五官区域107。客户端对对齐的第二人脸图像105基于更新的第二人脸关键点106进行三角剖分，并基于更新的第二人脸关键点106与人脸五官的对应关系，得到第二五官区域108。其中，该第一五官区域107为第一人脸图像101中的人脸五官所在的区域，第二五官区域108为对齐的第二人脸图像105中的人脸五官所在的区域。之后，客户端将第一五官区域107中的第一融合区域与第二五官区域108中的第二融合区域进行图像融合，从而得到区域融合图像109。并将区域融合图像109叠加在与第一人脸图像大小相同的黑色图像上。其中，第一融合区域是使用客户端的用户在第一五官区域107中确定的(例如为全脸、眼睛区域或鼻子区域)，第二融合区域为第一融合区域在第二五官区域108中对应的区域。区域融合图像109叠加在黑色图像中的位置与第一融合区域在第一人脸图像101中的位置相同。之后客户端识别叠加了区域融合图像109的黑色图像中的目标人脸区域，并基于目标人脸区域的像素点的像素值为1，目标人脸区域外的像素点的像素值为0，确定出图像掩模110。之后客户端基于泊松融合以及该图像掩模110，将区域融合图像109融入第一人脸图像101，从而得到第三人脸图像111。此时，在叠加了区域融合图像109的黑色图像中，区域融合图像109以外的区域不会融入第一人脸图像101。并且，在进行第一融合区域与第二融合区域的图像融合时，客户端还能够根据第一融合区域对应的第一权重与第二融合区域对应的第二权重，调整图像融合的融合程度。该第一权重与第二权重负相关。该融合程度能够反映第三人脸图像111中的人脸的特征与第一人脸图像101中的人脸的特征的相似程度。第一权重越高，则第三人脸图像111中的人脸的特征与第一人脸图像101中的人脸的特征相似程度越高，第三人脸图像111中的人脸的特征与第二人脸图像102中的人脸的特征相似程度越低。第一权重越低，则第三人脸图像111中的人脸的特征与第一人脸图像101中的人脸的特征相似程度越低，第三人脸图像111中的人脸的特征与第二人脸图像102中的人脸的特征相似程度越高。

在基于上述方式进行人脸图像融合时，不仅能够实现融合人脸图像得到两张人脸融合的结果，还能够实现仅对人脸图像中部分人脸五官的区域进行融合(例如只融合眼睛区域)，并且还能够根据权重调整人脸图像之间的融合程度。细化了融合人脸图像的融合粒度，提供了一种灵活自由的融合人脸图像的方式。

图2是本申请一个示例性实施例提供的图像融合方法的流程示意图。该方法可以用于计算机设备或计算机设备上的客户端。如图2所示，该方法包括：

步骤201：确定第一人脸图像中的第一人脸关键点以及第二人脸图像中的第二人脸关键点。

该第一人脸图像为包括人脸的任一图像，第一人脸图像包括至少一张人脸图像。第二人脸图像为包括人脸的任一图像，第二人脸图像包括至少一张人脸图像。第一人脸图像和第二人脸图像能够为视频中的视频帧。第一人脸关键点用于反映第一人脸图像中的人脸五官的位置，第二人脸关键点用于反映第二人脸图像中的人脸五官的位置。

可选地，客户端通过机器学习模型识别第一人脸图像，得到第一人脸关键点。根据机器学习模型识别第二人脸图像，得到第二人脸关键点。该机器学习模型基于卷积神经网络(Convolutional Neural Networks，CNN)，该机器学习模型是通过样本人脸图像以及样本人脸关键点训练得到。该样本人脸关键点是人工在样本人脸图像上标记的。

该第一人脸图像以及第二人脸图像是用户上传至客户端的，还能够是客户端从客户端对应的服务器中获取的，还能够是客户端通过其他服务器获取的。

步骤202：根据第一人脸关键点确定第一人脸图像中的第一五官区域以及根据第二人脸关键点确定第二人脸图像中的第二五官区域。

该第一五官区域为第一人脸图像中的人脸五官所在的区域，第二五官区域为第二人脸图像中的人脸五官所在的区域。第一五官区域中的每个区域与人脸五官存在对应关系，第二五官区域中的每个区域与人脸五官存在对应关系。人脸五官包括眼睛、鼻子、嘴巴、眉毛、耳朵，还能够包括脸型等。

可选地，客户端根据第一人脸关键点所围成的区域，以及第一人脸关键点与人脸五官的对应关系，确定第一五官区域。客户端根据第二人脸关键点所围成的区域，以及第二人脸关键点与人脸五官的对应关系，确定第二五官区域。客户端还能够基于第一人脸关键点对第一人脸图像进行三角剖分，得到第一三角区域，并基于构成第一三角区域的第一人脸关键点与人脸五官的对应关系，确定第一五官区域。客户端基于第二人脸关键点对第二人脸图像进行三角剖分，得到第二三角区域，并基于构成第二三角区域的第二人脸关键点与人脸五官的对应关系，确定第二五官区域。第一人脸关键点与人脸五官的对应关系以及第二人脸关键点与人脸五官的对应关系，是通过上述机器学习模型确定的。此时，训练该机器学习模型时还会使用到样本关键点与人脸五官的对应关系，该样本关键点与人脸五官的对应关系是人工确定的。

步骤203：在第一人脸图像中，将第一五官区域中的第一融合区域与第二五官区域中的第二融合区域进行图像融合，得到第三人脸图像。

该第一融合区域包括第一五官区域中至少一个人脸五官对应的区域，第二融合区域为第一融合区域在第二五官区域中对应的区域。该第一融合区域是由客户端确定的，还能够由使用客户端的用户从第一五官区域中确定。例如用户选择的第一融合区域为第一五官区域中的眼睛区域，则客户端确定的第二融合区域也为第二五官区域中的眼睛区域。该第三人脸图像基于第一人脸图像，同时具有第一融合区域中的人脸五官的特征以及第二融合区域中的人脸五官的特征。

综上所述，本实施例提供的方法，将第二人脸图像中的第二融合区域与第一人脸图像中的第一融合区域进行图像融合，能够实现仅对人脸图像中部分人脸五官的区域进行融合，细化了融合人脸图像的融合粒度，提供了一种灵活自由的融合人脸图像的方式。

图3是本申请另一个示例性实施例提供的图像融合方法的流程示意图。该方法可以用于计算机设备或计算机设备上的客户端。如图3所示，该方法包括：

步骤301：确定第一人脸图像中的第一人脸关键点以及第二人脸图像中的第二人脸关键点。

该第一人脸关键点用于反映第一人脸图像中的人脸五官的位置，该第二人脸关键点用于反映第二人脸图像中的人脸五官的位置。

可选地，客户端将第一人脸图像输入机器学习模型，得到第一人脸关键点以及第一人脸关键点与人脸五官的对应关系。并将第二人脸图像输入机器学习模型，得到第二人脸关键点以及第二人脸关键点与人脸五官的对应关系。其中，该机器学习模型基于CNN，是通过样本人脸图像、样本人脸关键点以及样本人脸关键点与人脸五官的对应关系训练得到。该样本人脸关键以及样本人脸关键点与人脸五官的对应关系是人工确定的。

该第一人脸图像以及第二人脸图像是用户上传至客户端的，还能够是客户端从客户端对应的服务器中获取的，还能够是客户端通过其他服务器获取的。客户端通过显示人脸图像融合界面，实现获取第一人脸图像以及第二人脸图像。该人脸图像融合界面用于提供人脸图像融合功能。

示例地，图4是本申请一个示例性实施例提供的人脸图像融合界面的示意图。如图4所示，人脸图像融合界面401包括第一上传控件402以及第二上传控件403。当客户端接收到用户针对第一上传控件402的触发操作时，会根据用户对客户端所在终端中存储的图像的第一选择操作，获取到第一人脸图像。当客户端接收到用户针对第二上传控件402的触发操作时，会根据用户对客户端所在终端中存储的图像的第二选择操作，获取到第二人脸图像。可选地，客户端还能够根据用户的第一输入操作输入的第一存储地址，从该第一存储地址指向的第一服务器中获取第一人脸图像。以及，根据用户的第二输入操作输入的第二存储地址，从该第二存储地址指向的第二服务器中获取第二人脸图像。

步骤302：根据第一人脸关键点与第二人脸关键点之间的映射关系，对第二人脸图像中的像素点的坐标进行旋转变换处理，得到与第一人脸图像中的人脸对齐的第二人脸图像。

对第二人脸图像中的像素点的坐标进行旋转变换处理，即基于第一人脸图像对第二人脸图像进行人脸对齐处理。避免第一人脸图像与第二人脸图像中的人脸相差角度较大，导致最终的融合结果不自然。

第一人脸关键点与第二人脸关键点之间的映射关系，指第一人脸关键点与第二人脸关键点对应的人脸五官相同，且在人脸五官中的位置对应。例如第一关键点为第一人脸图像中人脸眉毛左端上的像素点，则与该第一关键点存在映射关系的第二关键点为第二人脸图像中人脸眉毛左端区域内的像素点。客户端根据第一人脸关键点与第二人脸关键点中对应相同人脸五官的像素点的相对坐标，对第二人脸图像中的像素点的坐标进行旋转变换处理，从而实现对第二人脸图像进行人脸对齐处理。可选地，客户端基于仿射变换，实现对第二人脸图像中的像素点的坐标进行旋转变换处理。

上述仿射变换的目的在于调整第二人脸图像的角度与位置，使第二人脸图像与第一人脸图像对齐，进行仿射变换后的第二人脸图像中的人脸五官与人脸的比例与未进行仿射变换的第二人脸图像中的人脸五官与人脸的比例是一致的。

步骤303：对旋转变换处理后的第二人脸图像再次执行确定人脸关键点的步骤。

客户端通过步骤302中的机器学习模型，识别进行人脸对齐处理后的第二人脸图像，从而更新第二人脸关键点。可选地，此时客户端还能够通过该机器学习模型，识别第一人脸图像，从而更新第一人脸关键点。

步骤304：根据第一人脸关键点确定第一人脸图像中的第一五官区域以及根据第二人脸关键点确定第二人脸图像中的第二五官区域。

该第一五官区域为第一人脸图像中的人脸五官所在的区域，第二五官区域为第二人脸图像中的人脸五官所在的区域。第一五官区域中的每个区域与人脸五官存在对应关系，第二五官区域中的每个区域与人脸五官存在对应关系。

可选地，客户端基于第一人脸关键点对第一人脸图像进行三角剖分，得到第一三角区域。并根据第一三角区域与人脸五官的对应关系，从而确定第一五官区域。客户端基于第二人脸关键点对第二人脸图像进行三角剖分，得到第二三角区域。并根据第二三角区域与人脸五官的对应关系，从而确定第二五官区域。例如第一三角区域在人脸五官中的眼睛区域，则该第一三角区域属于对应于眼睛的第一五官区域。客户端基于三角剖分算法(Delaunay Triangulation Algorithm)实现基于第一人脸关键点和第二人脸关键点的三角剖分。

可选地，客户端将第一人脸关键点与人脸五官的对应关系，确定为由第一人脸关键点构成的第一三角区域与人脸五官的对应关系，得到第一五官区域。客户端将第二人脸关键点与人脸五官的对应关系，确定为由第二人脸关键点构成的第二三角区域与人脸五官的对应关系，得到第二五官区域。其中，第一人脸关键点与人脸五官的对应关系以及第二人脸关键点与人脸五官的对应关系，是通过上述机器学习模型确定的。

示例地，图5是本申请一个示例性实施例提供的五官区域的示意图。如图5所示，客户端基于人脸图像501中的人脸关键点，对人脸图像501进行三角剖分，从而得到人脸图像501中的三角区域。之后根据构成各三角区域的人脸关键点与人脸五官的对应关系，确定出对应眉毛的三角区域，得到五官区域中的眉毛区域502。确定出对应眼睛的三角区域，得到五官区域中的眼睛区域503。确定出对应鼻子的三角区域，得到五官区域中的鼻子区域504。以及，确定出对应嘴巴的三角区域，得到五官区域中的嘴巴区域505。

步骤305：基于第一融合区域的大小和形状，对第二融合区域进行仿射变换，得到与第一融合区域在大小和形状上匹配的第二融合区域。

该第一融合区域包括第一五官区域中至少一种人脸五官对应的区域，第二融合区域为第一融合区域在第二五官区域中对应的区域。例如第一融合区域包括第一五官区域中眼睛以及鼻子对应的区域，则第二融合区域也包括第二五官区域中眼睛以及鼻子对应的区域。该第一融合区域是由客户端确定的，还能够由使用客户端的用户从第一五官区域中确定的。

在不同的人脸图像中，人脸五官的大小以及形状可能存在较大的差异，对第二融合区域进行仿射变换，能够使第二融合区域与第一融合区域在形状以及大小上尽可能保持一致，从而使得最终图像融合的效果自然。可选地，客户端基于第一融合区域中的人脸关键点以及第二融合区域中的人脸关键点之间的相对坐标，确定出仿射变换的变换矩阵。并基于该变换矩阵实现对第二融合区域进行仿射变换。

步骤306：在第一人脸图像中，将第一融合区域与第二融合区域进行图像融合，得到第三人脸图像。

可选地，该第一融合区域对应有第一权重，第二融合区域对应有第二权重，第一权重用于反映第一融合区域在图像融合时的融合程度，第二权重用于反映第二融合区域在图像融合时的融合程度，第一权重与第二权重负相关。该一权重以及第二权重是客户端确定的，还能够是使用客户端的用户确定的。可选地，第一权重与第二权重的和为1。该融合程度能够反映第三人脸图像中的人脸的特征与第一人脸图像中的人脸的特征的相似程度。第一权重越高，则第三人脸图像中的人脸的特征与第一人脸图像中的人脸的特征相似程度越高，第三人脸图像中的人脸的特征与第二人脸图像中的人脸的特征相似程度越低。第一权重越低，则第三人脸图像中的人脸的特征与第一人脸图像中的人脸的特征相似程度越低，第三人脸图像中的人脸的特征与第二人脸图像中的人脸的特征相似程度越高。

在第一人脸图像中，客户端根据第一权重和第二权重将第一融合区域与第二融合区域进行图像融合，从而得到第三人脸图像。可选地，客户端将第一融合区域中的第一像素点的像素值与第一权重的第一乘积确定为第一像素点的第一融合像素值。将第二融合区域中的第二像素点的像素值与第二权重的第二乘积确定为第二像素点的第二融合像素值。在第一人脸图像中，客户端基于第一融合像素值以及第二融合像素值，对第一像素点以及第二像素点进行图像融合，从而得到第三人脸图像。

示例地，该第三人脸图像face满足：

其中，alpha表示第一权重，1-alpha表示第二权重。region_Ai表示第一融合区域中的第i个五官区域，例如眼睛区域或鼻子区域。region_Bi表示第二融合区域中的第i个五官区域。+表示图像融合。可选地，客户端基于第一融合像素值以及第二融合像素值，对第一像素点以及第二像素点进行图像融合，指客户端将第一融合像素值与对应的第二融合像素值相加，从而实现图像融合。

在进行图像融合时，为保证融合得到的图像自然，应当保证第一融合区域与第二融合区域融合后得到的区域与第一人脸图像中的其他区域自然过渡。当第二融合区域与第一融合区域存在不同的纹理特征时，可能导致融合结果不自然。可选地，客户端首先在第一人脸图像中将第一融合区域进行抠图，以及在第二人脸图像中将第二融合区域进行抠图，之后基于上述实现图像融合的方式，将第一融合区域与第二融合区域进行图像融合，从而得到区域融合图像。并将区域融合图像叠加在与第一人脸图像大小相同的黑色图像上。其中，区域融合图像叠加在黑色图像中的位置与第一融合区域在第一人脸图像中的位置相同。之后客户端识别叠加了区域融合图像的黑色图像中的目标人脸区域(即区域融合图像所在区域)，并基于目标人脸区域的像素点的像素值取值为1，目标人脸区域外的像素点的像素值取值为0，确定出图像掩模。之后客户端基于泊松融合以及该图像掩模，将区域融合图像融入第一人脸图像中，从而得到第三人脸图像。此时，图像掩模用于“包裹”区域融合图像，避免区域融合图像所在区域外的图像融入第一人脸图像。将区域融合图像融入第一人脸图像，可视为通过区域融合图像替换第一人脸图像中区域融合图像对应的位置的图像。基于泊松融合即客户端会求解区域融合图像和第一人脸图像中区域融合图像对应的位置的图像的像素点的像素最优值，之后再进行融合。能够实现在保留区域融合图像的像素点的像素值的梯度信息的同时，融合区域融合图像和第一人脸图像中区域融合图像对应的位置的图像，实现了像素值在梯度域上的连续，从而实现融合区域的边界与其他区域自然过渡。

示例地，继续参照图4，当客户端获取到用户上传的第一人脸图像和第二人脸图像后，会自动对第一人脸图像与第二人脸图像进行全脸的图像融合，得到融合结果404(第三人脸图像)并显示在人脸图像融合界面401中。并且，人脸图像融合界面401还包括权重调整控件405以及融合部位调整控件406。该权重调整控件405为滑动条，当客户端接收到针对该滑动条的拖动操作时，会改变第一权重(默认为0.5)，并显示改变后的第一权重，以及根据第一权重实时调整融合结果404。该融合部位调整控件包括不同人脸五官的选择框，当客户端接收到针对该选择框的触控操作时，会改变第一融合区域以及第二融合区域对应的人脸五官(默认为全脸)，并基于改变的第一融合区域以及第二融合区域实时调整融合结果404。可选地，不同人脸五官的选择框支持多选。

示例地，图6是本申请一个示例性实施例提供的在不同权重下的全脸的融合效果的示意图。如图6所示，客户端将人脸图像一601与人脸图像二602进行融合。其中，融合区域为全脸。根据在不同的第二权重下的融合结果603可知，当第二权重越大时，人脸图像一601与人脸图像二602进行融合的融合结果603与人脸图像二602的相似度越大，与人脸图像一601的相似度越小。

示例地，图7是本申请一个示例性实施例提供的在不同权重下的眼睛区域的融合效果的示意图。如图7所示，客户端将人脸图像三701与人脸图像四702进行融合。其中，融合区域为眼睛区域。根据在不同的第二权重下的融合结果703可知，当融合区域为眼睛区域时，融合结果703相较于人脸图像三701仅眼睛区域发生变化。且当第二权重越大时，人脸图像三701与人脸图像四702进行融合的融合结果703的眼睛区域与人脸图像四702的眼睛区域相似度越大，与人脸图像三701的眼睛区域相似度越小。

示例地，图8是本申请一个示例性实施例提供的在相同权重下的不同五官区域的融合效果的示意图。如图8所示，客户端将人脸图像五801与人脸图像六802进行融合。其中，融合区域分别包括眼睛区域、鼻子区域以及嘴巴区域。根据在不同融合区域下的融合结果803可知，当融合区域为眼睛区域时，人脸图像五801与人脸图像六802进行融合的结果803为人脸图像五801中的眼睛区域融入了人脸图像六802中的眼睛区域的特征。当融合区域为鼻子区域时，人脸图像五801与人脸图像六802进行融合的结果803为人脸图像五801中的鼻子区域融入了人脸图像六802中的鼻子区域的特征。当融合区域为嘴巴区域时，人脸图像五801与人脸图像六802进行融合的结果803为人脸图像五801中的嘴巴区域融入了人脸图像六802中的嘴巴区域的特征。

需要说明的是，本申请实施例提供的方法，能够由客户端执行，具体为任一支持图像融合功能的客户端。本申请实施例提供的方法，还能够由服务器执行，此时由客户端获取用户上传或选择的第一人脸图像和第二人脸图像，以及选择的需要进行融合的五官区域(例如融合全脸、眼睛区域、嘴巴区域等)，由服务器执行上述步骤确定出第三人脸图像，并发送至客户端进行显示。

综上所述，本实施例提供的方法，将第二人脸图像中的第二融合区域与第一人脸图像中的第一融合区域进行图像融合，能够实现仅对人脸图像中部分人脸五官的区域进行融合，细化了融合人脸图像的融合粒度，提供了一种灵活自由的融合人脸图像的方式。

另外，基于人脸关键点对人脸图像进行三角剖分，再基于人脸关键点与人脸五官的对应关系确定出五官区域，提供了一种快速且准确的划分人脸区域的方式。通过机器学习模型确定人脸关键点与人脸五官的对应关系，提升了确定效率。基于第一权重以及第二权重融合人脸图像，能够使用户自由调整人脸图像之间的融合程度，提升了用户体验。基于泊松融合来融合人脸图像，能够使融合结果自然。对第二人脸图像进行旋转变换处理以及仿射变换，能够使第一人脸图像和第二人脸图像之间对齐，以及第一融合区域和第二融合区域之间对齐，同样能够使融合结果自然，提升用户体验。

需要说明的是，本申请实施例提供的方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。

图9是本申请一个示例性实施例提供的图像融合装置的结构示意图。该装置可以用于计算机设备或计算机设备上的客户端。如图9所示，该装置90包括：

第一确定模块901，用于确定第一人脸图像中的第一人脸关键点以及第二人脸图像中的第二人脸关键点。

第二确定模块902，用于根据第一人脸关键点确定第一人脸图像中的第一五官区域以及根据第二人脸关键点确定第二人脸图像中的第二五官区域。

融合模块903，用于在第一人脸图像中，将第一五官区域中的第一融合区域与第二五官区域中的第二融合区域进行图像融合，得到第三人脸图像，第一融合区域包括第一五官区域中至少一种人脸五官对应的区域，第二融合区域为第一融合区域在第二五官区域中对应的区域。

在一个可选的设计中，第二确定模块902，用于：

基于第一人脸关键点对第一人脸图像进行三角剖分，得到第一三角区域。根据第一三角区域与人脸五官的对应关系，确定第一五官区域。基于第二人脸关键点对第二人脸图像进行三角剖分，得到第二三角区域。根据第二三角区域与人脸五官的对应关系，确定第二五官区域。

在一个可选的设计中，第二确定模块902，用于：

将第一人脸关键点与人脸五官的对应关系，确定为由第一人脸关键点构成的第一三角区域与人脸五官的对应关系，得到第一五官区域。将第二人脸关键点与人脸五官的对应关系，确定为由第二人脸关键点构成的第二三角区域与人脸五官的对应关系，得到第二五官区域。

在一个可选的设计中，第一确定模块901，用于：

将第一人脸图像输入机器学习模型，得到第一人脸关键点以及第一人脸关键点与人脸五官的对应关系。将第二人脸图像输入机器学习模型，得到第二人脸关键点以及第二人脸关键点与人脸五官的对应关系。其中，机器学习模型是通过样本人脸图像、样本人脸关键点以及样本人脸关键点与人脸五官的对应关系训练得到。

在一个可选的设计中，第一融合区域对应有第一权重，第二融合区域对应有第二权重，第一权重用于反映第一融合区域在图像融合时的融合程度，第二权重用于反映第二融合区域在图像融合时的融合程度，第一权重与第二权重负相关。融合模块903，用于：

在第一人脸图像中，根据第一权重和第二权重将第一融合区域与第二融合区域进行图像融合，得到第三人脸图像。

在一个可选的设计中，融合模块903，用于：

将第一融合区域中的第一像素点的像素值与第一权重的第一乘积确定为第一像素点的第一融合像素值。将第二融合区域中的第二像素点的像素值与第二权重的第二乘积确定为第二像素点的第二融合像素值。在第一人脸图像中，基于第一融合像素值以及第二融合像素值，对第一像素点以及第二像素点进行图像融合，得到第三人脸图像。

在一个可选的设计中，融合模块903，用于：

将第一融合区域与第二融合区域进行图像融合，得到区域融合图像。基于泊松融合，将区域融合图像融入第一人脸图像中，得到第三人脸图像。

在一个可选的设计中，如图10所示，装置90还包括：

第一处理模块904，用于根据第一人脸关键点与第二人脸关键点之间的映射关系，对第二人脸图像中的像素点的坐标进行旋转变换处理，得到与第一人脸图像中的人脸对齐的第二人脸图像。

在一个可选的设计中，如图11所示，装置90还包括：

第二处理模块905，用于基于第一融合区域的大小和形状，对第二融合区域进行仿射变换，得到与第一融合区域在大小和形状上匹配的第二融合区域。

需要说明的是：上述实施例提供的图像融合装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像融合装置与图像融合方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请的实施例还提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的图像融合方法。

可选地，该计算机设备为终端。示例地，图12是本申请一个示例性实施例提供的终端的结构示意图。

通常，终端1200包括有：处理器1201和存储器1202。

处理器1201可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1201所执行以实现本申请中方法实施例提供的图像融合方法。

在一些实施例中，终端1200还可选包括有：外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地，外围设备包括：射频电路1204、显示屏1205、摄像头组件1206、音频电路1207、定位组件1208和电源1209中的至少一种。

外围设备接口1203可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中，处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上；在一些其他实施例中，处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现，本申请实施例对此不加以限定。

射频电路1204用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1204包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1204还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1205用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时，显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时，显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1205可以为一个，设置终端1200的前面板；在另一些实施例中，显示屏1205可以为至少两个，分别设置在终端1200的不同表面或呈折叠设计；在再一些实施例中，显示屏1205可以是柔性显示屏，设置在终端1200的弯曲表面上或折叠面上。甚至，显示屏1205还可以设置成非矩形的不规则图形，也即异形屏。显示屏1205可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件1206用于采集图像或视频。可选地，摄像头组件1206包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端1200的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1201进行处理，或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1207还可以包括耳机插孔。

定位组件1208用于定位终端1200的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1208可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源1209用于为终端1200中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。当电源1209包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端1200还包括有一个或多个传感器1210。该一个或多个传感器1210包括但不限于：加速度传感器1211、陀螺仪传感器1212、压力传感器1213、指纹传感器1214、光学传感器1215以及接近传感器1216。

加速度传感器1211可以检测以终端1200建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1211可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器1211采集的重力加速度信号，控制触摸显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器1211还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1212可以检测终端1200的机体方向及转动角度，陀螺仪传感器1212可以与加速度传感器1211协同采集用户对终端1200的3D动作。处理器1201根据陀螺仪传感器1212采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1213可以设置在终端1200的侧边框和/或触摸显示屏1205的下层。当压力传感器1213设置在终端1200的侧边框时，可以检测用户对终端1200的握持信号，由处理器1201根据压力传感器1213采集的握持信号进行左右手识别或快捷操作。当压力传感器1213设置在触摸显示屏1205的下层时，由处理器1201根据用户对触摸显示屏1205的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1214用于采集用户的指纹，由处理器1201根据指纹传感器1214采集到的指纹识别用户的身份，或者，由指纹传感器1214根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1201授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1214可以被设置终端1200的正面、背面或侧面。当终端1200上设置有物理按键或厂商Logo时，指纹传感器1214可以与物理按键或厂商Logo集成在一起。

光学传感器1215用于采集环境光强度。在一个实施例中，处理器1201可以根据光学传感器1215采集的环境光强度，控制触摸显示屏1205的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1205的显示亮度；当环境光强度较低时，调低触摸显示屏1205的显示亮度。在另一个实施例中，处理器1201还可以根据光学传感器1215采集的环境光强度，动态调整摄像头组件1206的拍摄参数。

接近传感器1216，也称距离传感器，通常设置在终端1200的前面板。接近传感器1216用于采集用户与终端1200的正面之间的距离。在一个实施例中，当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变小时，由处理器1201控制触摸显示屏1205从亮屏状态切换为息屏状态；当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变大时，由处理器1201控制触摸显示屏1205从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图12中示出的结构并不构成对终端1200的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本申请实施例中还提供了一种计算机可读存储介质，该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，当该至少一条指令、至少一段程序、代码集或指令集由计算机设备的处理器加载并执行时，实现上述各方法实施例提供的图像融合方法。

本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例提供的图像融合方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的可读存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同切换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种图像融合方法，其特征在于，所述方法包括：

确定第一人脸图像中的第一人脸关键点以及第二人脸图像中的第二人脸关键点，所述第一人脸图像和所述第二人脸图像是不同人脸的图像；

根据所述第一人脸关键点确定所述第一人脸图像中的第一五官区域以及根据所述第二人脸关键点确定所述第二人脸图像中的第二五官区域；

在第一人脸图像中将所述第一五官区域中的第一融合区域进行抠图，以及在第二人脸图像中将所述第二五官区域中的第二融合区域进行抠图，所述第一融合区域包括所述第一五官区域中所有五官区域中的一部分，所述第一融合区域是根据用户的第一确定操作在所述第一五官区域中确定的，所述第二融合区域为所述第一融合区域对应的人脸五官在所述第二五官区域中对应的区域；

根据第一权重和第二权重将所述第一融合区域与所述第二融合区域进行图像融合，得到区域融合图像，所述第一权重是所述第一融合区域对应的权重，所述第二权重是所述第二融合区域对应的权重，所述第一权重用于反映所述第一融合区域在图像融合时的融合程度，所述第二权重用于反映所述第二融合区域在图像融合时的融合程度，所述第一权重与所述第二权重负相关，所述第一权重以及所述第二权重是根据所述用户的第二确定操作确定的；

将所述区域融合图像融入所述第一人脸图像中所述第一融合区域所在的位置，得到第三人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一人脸关键点确定所述第一人脸图像中的第一五官区域，包括：

基于所述第一人脸关键点对所述第一人脸图像进行三角剖分，得到第一三角区域；根据所述第一三角区域与人脸五官的对应关系，确定所述第一五官区域；

所述根据所述第二人脸关键点确定所述第二人脸图像中的第二五官区域，包括：

基于所述第二人脸关键点对所述第二人脸图像进行三角剖分，得到第二三角区域；根据所述第二三角区域与人脸五官的对应关系，确定所述第二五官区域。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一三角区域与人脸五官的对应关系，确定所述第一五官区域，包括：

将所述第一人脸关键点与人脸五官的对应关系，确定为由所述第一人脸关键点构成的第一三角区域与人脸五官的对应关系，得到所述第一五官区域；

所述根据所述第二三角区域与人脸五官的对应关系，确定所述第二五官区域，包括：

将所述第二人脸关键点与人脸五官的对应关系，确定为由所述第二人脸关键点构成的第二三角区域与人脸五官的对应关系，得到所述第二五官区域。

4.根据权利要求3所述的方法，其特征在于，所述确定第一人脸图像中的第一人脸关键点以及第二人脸图像中的第二人脸关键点，包括：

将所述第一人脸图像输入机器学习模型，得到所述第一人脸关键点以及所述第一人脸关键点与人脸五官的对应关系；

将所述第二人脸图像输入所述机器学习模型，得到所述第二人脸关键点以及所述第二人脸关键点与人脸五官的对应关系；

其中，所述机器学习模型是通过样本人脸图像、样本人脸关键点以及所述样本人脸关键点与人脸五官的对应关系训练得到。

5.根据权利要求1至4任一所述的方法，其特征在于，所述根据第一权重和第二权重将所述第一融合区域与所述第二融合区域进行图像融合，得到区域融合图像，包括：

将所述第一融合区域中的第一像素点的像素值与所述第一权重的第一乘积确定为所述第一像素点的第一融合像素值；

将所述第二融合区域中的第二像素点的像素值与所述第二权重的第二乘积确定为所述第二像素点的第二融合像素值；

基于所述第一融合像素值以及所述第二融合像素值，对所述第一像素点以及所述第二像素点进行图像融合，得到所述区域融合图像。

6.根据权利要求1至4任一所述的方法，其特征在于，所述将所述区域融合图像融入所述第一人脸图像中所述第一融合区域所在的位置，得到第三人脸图像，包括：

基于泊松融合，将所述区域融合图像融入所述第一人脸图像中所述第一融合区域所在的位置，得到所述第三人脸图像。

7.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：

根据所述第一人脸关键点与所述第二人脸关键点之间的映射关系，对所述第二人脸图像中的像素点的坐标进行旋转变换处理，得到与所述第一人脸图像中的人脸对齐的第二人脸图像。

8.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：

基于所述第一融合区域的大小和形状，对所述第二融合区域进行仿射变换，得到与所述第一融合区域在大小和形状上匹配的第二融合区域。

9.一种图像融合装置，其特征在于，所述装置包括：

第一确定模块，用于确定第一人脸图像中的第一人脸关键点以及第二人脸图像中的第二人脸关键点，所述第一人脸图像和所述第二人脸图像是不同人脸的图像；

第二确定模块，用于根据所述第一人脸关键点确定所述第一人脸图像中的第一五官区域以及根据所述第二人脸关键点确定所述第二人脸图像中的第二五官区域；

融合模块，用于在第一人脸图像中将所述第一五官区域中的第一融合区域进行抠图，以及在第二人脸图像中将所述第二五官区域中的第二融合区域进行抠图，所述第一融合区域包括所述第一五官区域中所有五官区域中的一部分，所述第一融合区域是根据用户的第一确定操作在所述第一五官区域中确定的，所述第二融合区域为所述第一融合区域对应的人脸五官在所述第二五官区域中对应的区域；以及根据第一权重和第二权重将所述第一融合区域与所述第二融合区域进行图像融合，得到区域融合图像，所述第一权重是所述第一融合区域对应的权重，所述第二权重是所述第二融合区域对应的权重，所述第一权重用于反映所述第一融合区域在图像融合时的融合程度，所述第二权重用于反映所述第二融合区域在图像融合时的融合程度，所述第一权重与所述第二权重负相关，所述第一权重以及所述第二权重是根据所述用户的第二确定操作确定的；以及将所述区域融合图像融入所述第一人脸图像中所述第一融合区域所在的位置，得到第三人脸图像。

10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至8任一所述的图像融合方法。

11.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至8任一所述的图像融合方法。

Images