CN110619670A - 人脸互换方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了人脸互换方法、装置、计算机设备及存储介质，其中方法可包括：针对包含M张人脸的待处理图像中每两张需要进行人脸互换的第一人脸和第二人脸，M为大于一的正整数，分别进行以下处理：分别提取出第一人脸和第二人脸中的人脸关键点；根据提取出的人脸关键点分别对第一人脸和第二人脸进行三角剖分；基于三角剖分结果对第一人脸和第二人脸进行人脸互换。本发明所述方案的实现方式更为灵活，并提升了换脸效果，增强了互动性和趣味性，且具有很高的准确性等。

Description

人脸互换方法、装置、计算机设备及存储介质

【技术领域】

本发明涉及计算机应用技术，特别涉及人脸互换方法、装置、计算机设备及存储介质。

【背景技术】

在实际应用中，很多场景下会需要进行换脸操作，如在短视频、视频直播或影视特效等场景，换脸操作都有着广泛应用。

现有的换脸操作主要采用将某一用户的人脸替换为预定的模板脸的方式，所述预定模板脸可为明星脸或卡通人物脸等。

但这种方式只能将用户的人脸替换为预定的模板脸，不能实现同一图像中的不同人脸的人脸互换，灵活性及换脸效果等均较差。

【发明内容】

有鉴于此，本发明提供了人脸互换方法、装置、计算机设备及存储介质。

具体技术方案如下：

一种人脸互换方法，包括：

针对包含M张人脸的待处理图像中每两张需要进行人脸互换的第一人脸和第二人脸，M为大于一的正整数，分别进行以下处理：

分别提取出所述第一人脸和所述第二人脸中的人脸关键点；

根据提取出的人脸关键点分别对所述第一人脸和所述第二人脸进行三角剖分；

基于三角剖分结果对所述第一人脸和所述第二人脸进行人脸互换。

根据本发明一优选实施例，所述待处理图像包括：单独的一张图像，或者，视频中的一帧图像；

当所述待处理图像为视频中的一帧图像时，该方法进一步包括：结合从所述视频中与所述待处理图像相邻的前N帧图像中提取出的人脸关键点，对从所述待处理图像中提取出的人脸关键点进行帧间平滑，N为正整数；

所述根据提取出的人脸关键点分别对所述第一人脸和所述第二人脸进行三角剖分包括：根据帧间平滑后的人脸关键点分别对所述第一人脸和所述第二人脸进行三角剖分。

根据本发明一优选实施例，从所述第一人脸中提取出的人脸关键点数与从所述第二人脸中提取出的人脸关键点数相同；

以及，从所述第一人脸中提取出的每个人脸关键点均与从所述第二人脸中提取出的一个人脸关键点构成一组相互对应的人脸关键点，每组相互对应的人脸关键点对应于相同的脸部部位。

根据本发明一优选实施例，对所述第一人脸进行三角剖分得到的三角形数与对所述第二人脸进行三角剖分得到的三角形数相同；每个三角形的三个顶点均为提取出的人脸关键点；

以及，对所述第一人脸进行三角剖分得到的每个三角形均与对所述第二人脸进行三角剖分得到的一个三角形构成一组相互对应的三角形，每组相互对应的三角形中，其中一个三角形的任一顶点与另一个三角形的对应顶点均为一组相互对应的人脸关键点。

根据本发明一优选实施例，所述基于三角剖分结果对所述第一人脸和所述第二人脸进行人脸互换包括：

针对每组相互对应的三角形，分别将其中的两个三角形的顶点的纹理坐标缓存入图形处理器GPU；

将两个三角形的对应顶点的纹理坐标相互交换，根据交换后的纹理坐标完成两个三角形中的人脸互换。

根据本发明一优选实施例，所述基于三角剖分结果对所述第一人脸和所述第二人脸进行人脸互换之后，进一步包括：对互换后的所述第一人脸及所述第二人脸执行以下操作之一或任意组合：图像边缘融合、人脸美白、人脸磨皮。

一种人脸互换装置，包括：关键点获取单元、三角剖分单元以及人脸互换单元；

所述关键点获取单元，用于针对包含M张人脸的待处理图像中每两张需要进行人脸互换的第一人脸和第二人脸，M为大于一的正整数，分别提取出所述第一人脸和所述第二人脸中的人脸关键点；

所述三角剖分单元，用于根据提取出的人脸关键点分别对所述第一人脸和所述第二人脸进行三角剖分；

所述人脸互换单元，用于基于三角剖分结果对所述第一人脸和所述第二人脸进行人脸互换。

根据本发明一优选实施例，所述待处理图像包括：单独的一张图像，或者，视频中的一帧图像；

所述关键点获取单元进一步用于，当所述待处理图像为视频中的一帧图像时，结合从所述视频中与所述待处理图像相邻的前N帧图像中提取出的人脸关键点，对从所述待处理图像中提取出的人脸关键点进行帧间平滑，N为正整数；

所述三角剖分单元根据帧间平滑后的人脸关键点分别对所述第一人脸和所述第二人脸进行三角剖分。

根据本发明一优选实施例，从所述第一人脸中提取出的人脸关键点数与从所述第二人脸中提取出的人脸关键点数相同；

以及，从所述第一人脸中提取出的每个人脸关键点均与从所述第二人脸中提取出的一个人脸关键点构成一组相互对应的人脸关键点，每组相互对应的人脸关键点对应于相同的脸部部位。

根据本发明一优选实施例，对所述第一人脸进行三角剖分得到的三角形数与对所述第二人脸进行三角剖分得到的三角形数相同；每个三角形的三个顶点均为提取出的人脸关键点；

以及，对所述第一人脸进行三角剖分得到的每个三角形均与对所述第二人脸进行三角剖分得到的一个三角形构成一组相互对应的三角形，每组相互对应的三角形中，其中一个三角形的任一顶点与另一个三角形的对应顶点均为一组相互对应的人脸关键点。

根据本发明一优选实施例，所述人脸互换单元针对每组相互对应的三角形，分别将其中的两个三角形的顶点的纹理坐标缓存入图形处理器GPU，并将两个三角形的对应顶点的纹理坐标相互交换，根据交换后的纹理坐标完成两个三角形中的人脸互换。

根据本发明一优选实施例，所述人脸互换单元进一步用于，对互换后的所述第一人脸及所述第二人脸执行以下操作之一或任意组合：图像边缘融合、人脸美白、人脸磨皮。

一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。

基于上述介绍可以看出，采用本发明所述方案，可实现对于待处理图像中的多张人脸的人脸互换，相比于现有将用户的人脸替换为预定的模板脸的方式，实现方式更为灵活，并提升了换脸效果，增强了互动性和趣味性，且具有很高的准确性等。

【附图说明】

图1为本发明所述人脸互换方法第一实施例的流程图。

图2为本发明所述人脸互换方法第二实施例的流程图。

图3为本发明所述待处理图像第一示意图。

图4为从图3中所示的两张人脸中提取出的人脸关键点的示意图。

图5为基于图4所示人脸关键点对图3中所示的两张人脸进行三角剖分的结果示意图。

图6为基于图5所示三角剖分结果对图3中所示的两张人脸进行互换后的效果示意图。

图7为对图6所示互换后的人脸进行图像边缘融合和人脸美白之后的效果示意图。

图8为本发明所述待处理图像第二示意图。

图9为对图8中所示的两张人脸进行互换后的效果示意图。

图10为本发明所述人脸互换装置实施例的组成结构示意图。

图11示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。

【具体实施方式】

为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案进行进一步说明。

显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1为本发明所述人脸互换方法第一实施例的流程图。如图1所示，包括以下具体实现方式。

在101中，针对包含M张人脸的待处理图像中每两张需要进行人脸互换的第一人脸和第二人脸，M为大于一的正整数，分别按照102-104所示方式进行处理。

在102中，分别提取出第一人脸和第二人脸中的人脸关键点。

在103中，根据提取出的人脸关键点分别对第一人脸和第二人脸进行三角剖分。

在104中，基于三角剖分结果对第一人脸和第二人脸进行人脸互换。

待处理图像可以是单独的一张图像，也可以是视频中的一帧图像。如可以是通过摄像头等图像采集设备采集到的一张图像，也可以是采集到的视频中的一帧图像，可逐帧处理视频中的图像，或对其中的部分帧图像进行处理。

本实施例所述方法可应用于实时处理场景，也可应用于离线处理场景，即采集到的图像或视频可以是实时采集到的，也可以是采集后存储到存储设备中的。

待处理图像中至少包含两张人脸，可对其中的全部人脸或部分人脸进行两两互换，其中，针对每两张需要进行人脸互换的人脸，可分别按照102-104所示方式进行处理。为便于表述，将每两张需要进行人脸互换的人脸分别称为第一人脸和第二人脸。

可分别提取出第一人脸和第二人脸中的人脸关键点。如何提取人脸关键点不作限制，比如，可利用深度学习方法提取人脸关键点，关键点数目同样不作限制。

从第一人脸中提取出的人脸关键点数与从第二人脸中提取出的人脸关键点数相同。并且，从第一人脸中提取出的每个人脸关键点均与从第二人脸中提取出的一个人脸关键点构成一组相互对应的人脸关键点，每组相互对应的人脸关键点对应于相同的脸部部位。

比如，可分别从每张人脸中提取出150个人脸关键点，那么共可构成150组相互对应的人脸关键点，分别来自于两张人脸的对应于相同的脸部部位的两个人脸关键点构成一组相互对应的人脸关键点。

当待处理图像为视频中的一帧图像时(如逐帧处理视频中的图像)，为了保持视频的连续性，人脸关键点应尽量不存在抖动和不连续等突兀的效果，相应地，可对提取出的人脸关键点进行帧间平滑。

具体地，可结合从视频中与待处理图像相邻的前N帧图像中提取出的人脸关键点，对从待处理图像中提取出的人脸关键点进行帧间平滑，N为正整数，可以为一，也可以大于一，具体取值可根据实际需要而定。

假设N的取值为二，待处理图像为视频中的第i帧图像，那么可结合从第i-2帧图像及第i-1帧图像中提取出的人脸关键点，对从第i帧图像中提取出的人脸关键点进行帧间平滑。具体方式/算法不限，如可采用卡尔曼滤波、拉普拉斯平滑等算法。

通过上述处理方式，可使得得到的人脸关键点比较平滑，进而可使得后续根据人脸关键点进行人脸的三角剖分的结果平滑连续，最终使得人脸互换的效果更为真实连贯。

进一步地，根据提取出的人脸关键点或帧间平滑后的人脸关键点，可分别对第一人脸和第二人脸进行三角剖分。具体采用何种三角剖分算法不作限制，如可为Delaunay三角剖分算法等。在进行三角剖分时，可以用到提取出的全部人脸关键点，也可以只用到其中的部分人脸关键点，视实际需要而定。

通过对第一人脸和第二人脸进行三角剖分，可分别得到多个三角形。对第一人脸进行三角剖分得到的三角形数与对第二人脸进行三角剖分得到的三角形数相同。每个三角形的三个顶点均为提取出的人脸关键点。另外，对第一人脸进行三角剖分得到的每个三角形均与对第二人脸进行三角剖分得到的一个三角形构成一组相互对应的三角形，每组相互对应的三角形中，其中一个三角形的任一顶点与另一个三角形的对应顶点均为一组相互对应的人脸关键点。也就是说，第一人脸与第二人脸中需要保持同样的三角剖分连接关系。

假设三角形a来自于第一人脸，三角形a的三个顶点分别为从第一人脸中提取出的人脸关键点A、人脸关键点B和人脸关键点C，三角形b来自于第二人脸，与三角形a构成一组相互对应的三角形，三角形b的三个顶点分别为从第二人脸中提取出的人脸关键点A’、人脸关键点B’和人脸关键点C’，假设人脸关键点A对应的顶点与人脸关键点A’对应的顶点为对应顶点，那么人脸关键点A和人脸关键点A’需要为一组相互对应的人脸关键点，假设人脸关键点B对应的顶点与人脸关键点B’对应的顶点为对应顶点，那么人脸关键点B和人脸关键点B’需要为一组相互对应的人脸关键点，假设人脸关键点C对应的顶点与人脸关键点C’对应的顶点为对应顶点，那么人脸关键点C和人脸关键点C’需要为一组相互对应的人脸关键点。

可基于三角剖分结果对第一人脸和第二人脸进行人脸互换。

具体地，针对每组相互对应的三角形，可分别将其中的两个三角形的顶点的纹理坐标缓存入图形处理器(GPU，Graphics Processing Unit)，并可将两个三角形的对应顶点的纹理坐标相互交换，根据交换后的纹理坐标完成两个三角形中的人脸互换。

图像纹理实际上是一个二维数组，它的元素是一些颜色值，单个的颜色值被称为纹理元素或纹理像素，每个纹理像素在纹理中都有一个唯一的地址，这个地址可以被认为是一个由列和行定义的值，可分别用U和V来表示。

以上述构成一组相互对应的三角形的三角形a和三角形b为例，可分别将三角形a的三个顶点的纹理坐标及三角形b的三个顶点的纹理坐标缓存入GPU，当需要进行人脸互换时，可将三角形a中的人脸关键点A对应的顶点的纹理坐标与三角形b中的人脸关键点A’对应的顶点的纹理坐标相互交换，将三角形a中的人脸关键点B对应的顶点的纹理坐标与三角形b中的人脸关键点B’对应的顶点的纹理坐标相互交换，并将三角形a中的人脸关键点C对应的顶点的纹理坐标与三角形b中的人脸关键点C’对应的顶点的纹理坐标相互交换，之后，可根据交换后的纹理坐标完成三角形a和三角形b中的人脸互换。比如，对于三角形a，可基于交换后的三个顶点的纹理坐标，通过双线性插值的方式，分别确定出三角形a中的各个点的颜色值，并可按照同样的方式分别确定出三角形b中的各个点的颜色值，从而实现三角形a和三角形b中的人脸互换，具体实现为现有技术。

现有的换脸方式中，主要采用OpenCV对剖分后的三角形进行仿射变换，对应一致后，在三角形内部逐像素替换，计算主要集中在中央处理单元(CPU，Central ProcessingUnit)，由于需要对所有三角形进行遍历，计算量较大，因此在移动端难以实现对于视频中的图像的实时处理。而本实施例中采用GPU来实现，无需进行仿射变换的遍历等，减少了计算量，并可进行并行处理和计算等，从而克服了上述问题，能够在移动端实现对于视频中的图像的实时处理等。

按照上述方式完成人脸互换后，还可对互换后的第一人脸及第二人脸执行以下操作之一或任意组合：图像边缘融合、人脸美白、人脸磨皮。

在实际处理时，可能出现换脸后的边缘处不太平滑连续的情况，针对这种情况，可对互换后的第一人脸和第二人脸进行图像边缘融合。具体融合算法不限，比如，可对互换后的人脸的边缘与原图像中的边缘进行alpha融合。

另外，若互换的两张人脸肤色或光照条件差异较大，会出现互换后比较突兀的情况。针对这种情况，可对互换后的第一人脸和第二人脸进行人脸美白和/或人脸磨皮。

除上述图像边缘融合、人脸美白及人脸磨皮等图像处理方式外，还可采用其它图像处理方式，以保证人脸互换后的图像的连续性等。

基于上述介绍，图2为本发明所述人脸互换方法第二实施例的流程图。如图2所示，包括以下具体实现方式。

在201中，获取待处理图像。

本实施例中，假设待处理图像为采集到的视频中的一帧图像。

在202中，分别对待处理图像中的第一人脸和第二人脸进行人脸关键点提取。

本实施例中，假设待处理图像中仅包含两张人脸，为便于表述，分为称为第一人脸和第二人脸。

图3为本发明所述待处理图像第一示意图，如图3所示，假设左侧的人脸为第一人脸，右侧的人脸为第二人脸。

可分别提取出第一人脸和第二人脸中的人脸关键点。如何提取人脸关键点不作限制，比如，可利用深度学习方法提取人脸关键点，关键点数目同样不作限制。

图4为从图3中所示的两张人脸中提取出的人脸关键点的示意图。

从第一人脸中提取出的人脸关键点数与从第二人脸中提取出的人脸关键点数相同。并且，从第一人脸中提取出的每个人脸关键点均与从第二人脸中提取出的一个人脸关键点构成一组相互对应的人脸关键点，每组相互对应的人脸关键点对应于相同的脸部部位。

优选地，还可结合从视频中与待处理图像相邻的前N帧图像中提取出的人脸关键点，对从待处理图像中提取出的人脸关键点进行帧间平滑，N为正整数。

在203中，根据提取出的人脸关键点分别对第一人脸和第二人脸进行三角剖分。

若202中进行了帧间平滑处理，那么本步骤中，可根据帧间平滑后的人脸关键点分别对第一人脸和第二人脸进行三角剖分。

具体采用何种三角剖分算法不作限制，比如，可为Delaunay三角剖分算法等。图5为基于图4所示人脸关键点对图3中所示的两张人脸进行三角剖分的结果示意图。

通过对第一人脸和第二人脸进行三角剖分，可分别得到多个三角形。其中，对第一人脸进行三角剖分得到的三角形数与对第二人脸进行三角剖分得到的三角形数相同，每个三角形的三个顶点均为提取出的人脸关键点。并且，对第一人脸进行三角剖分得到的每个三角形均与对第二人脸进行三角剖分得到的一个三角形构成一组相互对应的三角形，每组相互对应的三角形中，其中一个三角形的任一顶点与另一个三角形的对应顶点均为一组相互对应的人脸关键点。

在204中，基于三角剖分结果对第一人脸和第二人脸进行人脸互换。

针对每组相互对应的三角形，可分别将其中的两个三角形的顶点的纹理坐标缓存入GPU，并可将两个三角形的对应顶点的纹理坐标相互交换，进而可根据交换后的纹理坐标完成两个三角形中的人脸互换。

图6为基于图5所示三角剖分结果对图3中所示的两张人脸进行互换后的效果示意图。

在205中，对互换后的第一人脸及第二人脸执行以下操作之一或任意组合：图像边缘融合、人脸美白、人脸磨皮。

在实际处理时，可能出现换脸后的边缘处不太平滑连续的情况，针对这种情况，可对互换后的第一人脸和第二人脸进行图像边缘融合。

另外，若互换的两张人脸肤色或光照条件差异较大，会出现互换后比较突兀的情况。针对这种情况，可对互换后的第一人脸和第二人脸进行人脸美白和/或人脸磨皮。

图7为对图6所示互换后的人脸进行图像边缘融合和人脸美白之后的效果示意图。

需要说明的是，对于前述的各方法实施例，为了简单描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

总之，采用本发明所述方案，可实现对于待处理图像中的多张人脸的人脸互换，相比于现有将用户的人脸替换为预定的模板脸的方式，实现方式更为灵活，并提升了换脸效果，增强了互动性和趣味性，且具有很高的准确性。

本发明所述方案可同时适用于单独的图像以及视频中的图像中的人脸互换，并且可通过GPU有效地加速计算，从而可确保在电脑及移动端(如手机、平板)等设备上对于图像和视频的实时处理。

本发明所述方案可应用于短视频、视频直播及影视特效等各种场景，并可应用于实时处理场景以及离线处理场景，具有广泛适用性。

本发明所述方案不仅适用于正脸的情况，在人脸有不同俯仰角的情况下仍可适用，图8为本发明所述待处理图像第二示意图，如图8所示，图像中的两张人脸均为侧脸，图9为对图8中所示的两张人脸进行互换后的效果示意图，可以看出，仍可得到满意的互换效果。

以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。

图10为本发明所述人脸互换装置实施例的组成结构示意图。如图10所示，包括：关键点获取单元1001、三角剖分单元1002以及人脸互换单元1003。

关键点获取单元1001，用于针对包含M张人脸的待处理图像中每两张需要进行人脸互换的第一人脸和第二人脸，M为大于一的正整数，分别提取出第一人脸和第二人脸中的人脸关键点。

三角剖分单元1002，用于根据提取出的人脸关键点分别对第一人脸和第二人脸进行三角剖分。

人脸互换单元1003，用于基于三角剖分结果对第一人脸和第二人脸进行人脸互换。

待处理图像可为单独的一张图像，也可为视频中的一帧图像。

待处理图像中至少包含两张人脸，可对其中的全部人脸或部分人脸进行两两互换，其中，针对每两张需要进行人脸互换的第一人脸和第二人脸，首先可由关键点获取单元1001分别提取出其中的人脸关键点。比如，可利用深度学习方法提取出人脸关键点，关键点数目不作限制。

从第一人脸中提取出的人脸关键点数与从第二人脸中提取出的人脸关键点数相同。并且，从第一人脸中提取出的每个人脸关键点均与从第二人脸中提取出的一个人脸关键点构成一组相互对应的人脸关键点，每组相互对应的人脸关键点对应于相同的脸部部位。

比如，可分别从每张人脸中提取出150个人脸关键点，那么共可构成150组相互对应的人脸关键点，分别来自于两张人脸的对应于相同的脸部部位的两个人脸关键点构成一组相互对应的人脸关键点。

当待处理图像为视频中的一帧图像时(如逐帧处理视频中的图像)，为了保持视频的连续性，人脸关键点应尽量不存在抖动和不连续等突兀的效果，相应地，可对提取出的人脸关键点进行帧间平滑。具体地，关键点获取单元1001可结合从视频中与待处理图像相邻的前N帧图像中提取出的人脸关键点，对从待处理图像中提取出的人脸关键点进行帧间平滑，N为正整数。相应地，三角剖分单元1002可根据帧间平滑后的人脸关键点分别对第一人脸和第二人脸进行三角剖分。

三角剖分单元1002具体采用何种三角剖分算法不作限制，如可为Delaunay三角剖分算法等。

对第一人脸进行三角剖分得到的三角形数与对第二人脸进行三角剖分得到的三角形数相同。每个三角形的三个顶点均为提取出的人脸关键点。并且，对第一人脸进行三角剖分得到的每个三角形均与对第二人脸进行三角剖分得到的一个三角形构成一组相互对应的三角形，每组相互对应的三角形中，其中一个三角形的任一顶点与另一个三角形的对应顶点均为一组相互对应的人脸关键点。也就是说，第一人脸与第二人脸中需要保持同样的三角剖分连接关系。

人脸互换单元1003可针对每组相互对应的三角形，分别将其中的两个三角形的顶点的纹理坐标缓存入GPU，并可将两个三角形的对应顶点的纹理坐标相互交换，根据交换后的纹理坐标完成两个三角形中的人脸互换。

完成人脸互换后，人脸互换单元1003还可对互换后的第一人脸及第二人脸执行以下操作之一或任意组合：图像边缘融合、人脸美白、人脸磨皮。

在实际处理时，可能出现换脸后的边缘处不太平滑连续的情况，针对这种情况，可对互换后的第一人脸和第二人脸进行图像边缘融合。另外，若互换的两张人脸肤色或光照条件差异较大，会出现互换后比较突兀的情况，针对这种情况，可对互换后的第一人脸和第二人脸进行人脸美白和/或人脸磨皮等。

图10所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明，不再赘述。

图11示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。图11显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图11所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器(处理单元)16，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图11未显示，通常称为“硬盘驱动器”)。尽管图11中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图11所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1或图2所示实施例中的方法。

本发明同时公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时将实现如图1或图2所示实施例中的方法。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种人脸互换方法，其特征在于，包括：

针对包含M张人脸的待处理图像中每两张需要进行人脸互换的第一人脸和第二人脸，M为大于一的正整数，分别进行以下处理：

分别提取出所述第一人脸和所述第二人脸中的人脸关键点；

根据提取出的人脸关键点分别对所述第一人脸和所述第二人脸进行三角剖分；

基于三角剖分结果对所述第一人脸和所述第二人脸进行人脸互换。

2.根据权利要求1所述的方法，其特征在于，

所述待处理图像包括：单独的一张图像，或者，视频中的一帧图像；

当所述待处理图像为视频中的一帧图像时，该方法进一步包括：结合从所述视频中与所述待处理图像相邻的前N帧图像中提取出的人脸关键点，对从所述待处理图像中提取出的人脸关键点进行帧间平滑，N为正整数；

所述根据提取出的人脸关键点分别对所述第一人脸和所述第二人脸进行三角剖分包括：根据帧间平滑后的人脸关键点分别对所述第一人脸和所述第二人脸进行三角剖分。

3.根据权利要求1所述的方法，其特征在于，

从所述第一人脸中提取出的人脸关键点数与从所述第二人脸中提取出的人脸关键点数相同；

以及，从所述第一人脸中提取出的每个人脸关键点均与从所述第二人脸中提取出的一个人脸关键点构成一组相互对应的人脸关键点，每组相互对应的人脸关键点对应于相同的脸部部位。

4.根据权利要求3所述的方法，其特征在于，

对所述第一人脸进行三角剖分得到的三角形数与对所述第二人脸进行三角剖分得到的三角形数相同；每个三角形的三个顶点均为提取出的人脸关键点；

以及，对所述第一人脸进行三角剖分得到的每个三角形均与对所述第二人脸进行三角剖分得到的一个三角形构成一组相互对应的三角形，每组相互对应的三角形中，其中一个三角形的任一顶点与另一个三角形的对应顶点均为一组相互对应的人脸关键点。

5.根据权利要求4所述的方法，其特征在于，

所述基于三角剖分结果对所述第一人脸和所述第二人脸进行人脸互换包括：

针对每组相互对应的三角形，分别将其中的两个三角形的顶点的纹理坐标缓存入图形处理器GPU；

将两个三角形的对应顶点的纹理坐标相互交换，根据交换后的纹理坐标完成两个三角形中的人脸互换。

6.根据权利要求1所述的方法，其特征在于，

所述基于三角剖分结果对所述第一人脸和所述第二人脸进行人脸互换之后，进一步包括：对互换后的所述第一人脸及所述第二人脸执行以下操作之一或任意组合：图像边缘融合、人脸美白、人脸磨皮。

7.一种人脸互换装置，其特征在于，包括：关键点获取单元、三角剖分单元以及人脸互换单元；

所述关键点获取单元，用于针对包含M张人脸的待处理图像中每两张需要进行人脸互换的第一人脸和第二人脸，M为大于一的正整数，分别提取出所述第一人脸和所述第二人脸中的人脸关键点；

所述三角剖分单元，用于根据提取出的人脸关键点分别对所述第一人脸和所述第二人脸进行三角剖分；

所述人脸互换单元，用于基于三角剖分结果对所述第一人脸和所述第二人脸进行人脸互换。

8.根据权利要求7所述的装置，其特征在于，

所述待处理图像包括：单独的一张图像，或者，视频中的一帧图像；

所述关键点获取单元进一步用于，当所述待处理图像为视频中的一帧图像时，结合从所述视频中与所述待处理图像相邻的前N帧图像中提取出的人脸关键点，对从所述待处理图像中提取出的人脸关键点进行帧间平滑，N为正整数；

所述三角剖分单元根据帧间平滑后的人脸关键点分别对所述第一人脸和所述第二人脸进行三角剖分。

9.根据权利要求7所述的装置，其特征在于，

从所述第一人脸中提取出的人脸关键点数与从所述第二人脸中提取出的人脸关键点数相同；

以及，从所述第一人脸中提取出的每个人脸关键点均与从所述第二人脸中提取出的一个人脸关键点构成一组相互对应的人脸关键点，每组相互对应的人脸关键点对应于相同的脸部部位。

10.根据权利要求9所述的装置，其特征在于，

对所述第一人脸进行三角剖分得到的三角形数与对所述第二人脸进行三角剖分得到的三角形数相同；每个三角形的三个顶点均为提取出的人脸关键点；

以及，对所述第一人脸进行三角剖分得到的每个三角形均与对所述第二人脸进行三角剖分得到的一个三角形构成一组相互对应的三角形，每组相互对应的三角形中，其中一个三角形的任一顶点与另一个三角形的对应顶点均为一组相互对应的人脸关键点。

11.根据权利要求10所述的装置，其特征在于，

所述人脸互换单元针对每组相互对应的三角形，分别将其中的两个三角形的顶点的纹理坐标缓存入图形处理器GPU，并将两个三角形的对应顶点的纹理坐标相互交换，根据交换后的纹理坐标完成两个三角形中的人脸互换。

12.根据权利要求7所述的装置，其特征在于，

所述人脸互换单元进一步用于，对互换后的所述第一人脸及所述第二人脸执行以下操作之一或任意组合：图像边缘融合、人脸美白、人脸磨皮。

13.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～6中任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～6中任一项所述的方法。