CN115937931A - 人脸姿态判断方法及换脸方法 - Google Patents

Abstract

本发明涉及一种人脸姿态判断方法及换脸方法。本发明的技术方案为一种人脸姿态判断方法，其特征在于：获取包含人脸的待判断视频；对待判断视频中的每一帧图像进行人脸关键点检测，得到每一帧图像的人脸关键点位置；将当前帧图像中人脸的人脸关键点位置与参考人脸模板的人脸关键点位置进行仿射变换计算，得到当前帧和参考人脸模板图像之间的仿射变换矩阵；其中参考人脸模板的欧拉角中的俯仰角、偏航角、翻滚角均为0。后面所有姿态判断均以参考人脸模板的欧拉角为参考标准。本发明适用于计算机视觉技术领域。

Description

人脸姿态判断方法及换脸方法

技术领域

本发明涉及一种人脸姿态判断方法及换脸方法。适用于计算机视觉技术领域。

背景技术

随着5G时代的到来，各种短视频、直播等如雨后春笋般，层出不穷。各种美颜滤镜、瘦身滤镜充斥在各个应用平台上，尤其是换脸(将人物A的脸部区域换到人物B的脸部区域)功能，受到了广大用户的追捧。

现有换脸技术方案中，主要分为两大类，人脸贴合和人脸重现。其中人脸贴合是指将人物A中的脸部全部区域或者部分区域如嘴巴、鼻子、眼睛等贴合到人物B中的脸部区域；人脸重现是指人物A的表情动作驱动人物B，使得人物A和人物B的头部表情动作完全一致。

人脸重现换脸方案对人物A的表情驱动要求较高，比如视频要求人脸无遮挡，以及不能出现人脸大姿态的转动，否则会导致重现的人物B出现变形、弯曲等问题。人脸处于小姿态时，由于视频中每一帧人脸关键点检测得到的相同关键点坐标，在前后两帧中都存在较大偏差，导致人脸贴合会存在抖动。

发明内容

本发明要解决的技术问题是：针对上述存在的问题，提供一种人脸姿态判断方法及换脸方法。

本发明所采用的技术方案是：一种人脸姿态判断方法，其特征在于：

获取包含人脸的待判断视频；

对待判断视频中的每一帧图像进行人脸关键点检测，得到每一帧图像的人脸关键点位置；

将当前帧图像中人脸的人脸关键点位置与参考人脸模板的人脸关键点位置进行仿射变换计算，得到当前帧和参考人脸模板图像之间的仿射变换矩阵；

其中参考人脸模板的欧拉角中的俯仰角、偏航角、翻滚角均为0。后面所有姿态判断均以参考人脸模板的欧拉角为参考标准。

基于当前帧和参考人脸模板图像之间的仿射变换矩阵，得到当前帧图像的欧拉角；

基于当前帧的欧拉角判断当前帧图像中的人脸姿态为大姿态或小姿态。

所述基于当前帧的欧拉角判断当前帧图像中的人脸姿态为大姿态或小姿态，包括：

当欧拉角满足小姿态条件时，判断人脸姿态为小姿态；当欧拉角不满足小姿态条件时，判断人脸姿态为大姿态；

其中，小姿态条件为欧拉角中人脸俯仰角处于[-15，15]区间、偏航角处于[-30，30]区间且翻滚角处于[-15，15]区间。

一种换脸方法，其特征在于：

获取包含人脸的视频A和包含人脸的视频B；

利用所述人脸姿态判断方法判断视频A和视频B各自当前帧图像中人脸的人脸姿态；

基于当前帧图像中人脸处于的人脸姿态，分别计算得到当前帧图像的最终人脸关键点坐标；

基于视频A和视频B中各自当前帧图像的最终人脸关键点坐标进行人脸贴合换脸。

所述基于当前帧图像中人脸处于的人脸姿态，分别计算得到当前帧图像的最终人脸关键点坐标，包括：

A、当当前帧图像中人脸处于大姿态时，计算当前帧和上一帧图像上同一关键点之间的欧氏距离；

若欧氏距离大于设定阈值(该阈值的选择根据经验确定，如果人脸检测框中最长边像素点个数小于100，则设定阈值固定为4个像素点，否则，该设定阈值设为人脸检测框中最长边像素点个数的4％，举例说明人脸检测框长为120，宽为100，该设定阈值则为120*4％＝4.8,四舍五入，则该设定阈值为5)，则当前帧图像上该关键点的最终人脸关键点坐标为当前帧图像上对应关键点坐标；

若欧氏距离小于等于设定阈值，则当前帧图像上该关键点的最终人脸关键点坐标为上一帧图像上对应关键点坐标；

B、当当前帧图像中人脸处于小姿态时，当前帧图像上各关键点的最终人脸关键点坐标为当前帧和上一帧图像上各对应关键点坐标的平均值。

所述基于视频A和视频B中各自当前帧图像的最终人脸关键点坐标进行人脸贴合换脸，包括：

基于视频B中当前帧图像的最终人脸关键点坐标，结合视频A中当前帧与参考人脸模板图像之间的仿射变换矩阵，进行仿射逆变换，得到视频B当前帧的人脸区域掩膜；

将视频B当前帧的人脸区域掩膜根据视频A中当前帧图像的最终人脸关键点坐标贴合到视频A的当前帧图像；

通过高斯滤波对图像贴合边缘进行平滑处理，完成视频A当前帧图像的人脸贴合换脸。

一种换脸装置，其特征在于，包括：

视频获取模块，用于获取包含人脸的视频A和包含人脸的视频B；

姿态判断模块，用于利用所述人脸姿态判断方法判断视频A和视频B各自当前帧图像中人脸的人脸姿态；

坐标变换模块，用于基于当前帧图像中人脸处于的人脸姿态，分别计算得到当前帧图像的最终人脸关键点坐标；

人脸贴合模块，用于基于视频A和视频B中各自当前帧图像的最终人脸关键点坐标进行人脸贴合换脸。

一种存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述换脸方法的步骤。

一种计算机设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述换脸方法的步骤。

本发明的有益效果是：本发明通过对人脸姿态进行二分类，当处于大姿态或小姿态时分别进行相应的计算处理，从而有针对性的克服大姿态或小姿态时各自面临的问题。

本发明当人脸处于大姿态时，基于同一关键点在相邻两帧上的坐标位置计算欧氏距离，并基于欧氏距离确定最终人脸关键点坐标，从而提升大姿态下人脸关键点定位的准确性，提升了人脸贴合的准确性。

本发明当人脸处于小姿态时，将同一关键点在相邻两帧上坐标位置的平均值作为最终人脸关键点坐标，起到平滑前后两帧相同人脸关键点坐标的作用，能有效解决抖动问题。

附图说明

图1为实施例的流程图。

具体实施方式

本实施例为一种由视频B中人脸贴合到视频A中人脸的换脸方法，具体包括以下步骤：

S1、获取仅包含一个人人脸的视频A和包含仅包含一个人人脸的视频B，视频A和视频B中包含的人可以是同一个人也可以是不同的人。

S2、利用人脸姿态判断方法判断视频A当前帧图像中人脸的人脸姿态，利用人脸姿态判断方法判断视频B当前帧图像中人脸的人脸姿态。

本实施例中人脸姿态判断方法，包括以下步骤：

S21、获取待判断的视频A和视频B；

S22、分别获取视频A的每一帧图像和视频B的每一帧图像；

S23、视频A和视频B的每一帧图像进行人脸检测，检测到每一帧图像上人脸的位置坐标和大小；

S24、根据视频A和视频B每一帧图像上人脸的位置坐标和大小，将人脸区域裁剪下来，进行人脸关键点检测，得到人脸的脸部轮廓、眼睛、鼻子、嘴巴和眉毛等位置坐标；

S25、将视频A和视频B各自当前帧图像中人脸的人脸关键点位置与参考人脸模板图像中人脸的人脸关键点位置进行仿射变换计算，得到当前帧和参考人脸模板图像之间的仿射变换矩阵；

其中参考人脸模板的欧拉角中的俯仰角、偏航角、翻滚角均为0。后面所有姿态判断均以参考人脸模板的欧拉角为参考标准；在一些实施例中参考人脸模板可以采用同一视频中当前帧图像的上一帧图像；

S26、基于视频A和视频B各自当前帧和参考人脸模板图像之间的仿射变换矩阵，得到视频A和视频B各自当前帧相对于参考人脸模板图像的欧拉角；

S27、基于视频A和视频B各自当前帧相对于参考人脸模板图像的欧拉角，判断视频A和视频B各自当前帧图像中的人脸姿态为大姿态或小姿态。

当欧拉角满足小姿态条件时，判断人脸姿态为小姿态；当欧拉角不满足小姿态条件时，判断人脸姿态为大姿态；其中，小姿态条件为欧拉角中人脸俯仰角处于[-15，15]区间且偏航角处于[-30，30]区间且翻滚角处于[-15，15]区间。

S3、基于视频A和视频B各自当前帧图像中人脸处于的人脸姿态，分别计算得到视频A和视频B各自当前帧图像的最终人脸关键点坐标。

A、当当前帧图像中人脸处于大姿态时，计算当前帧和上一帧图像上同一关键点之间的欧氏距离。

假设当前帧人脸上第i个关键点的坐标为(x_i，y_i)，上一帧人脸该第i个关键点的坐标为(x_i'，y_i')，采用如下公式计算欧式距离：

其中，l_i表示当前帧第i个关键点和上一帧第i个关键点间的欧式距离。

根据l_i与设定阈值l_threshold比较，l_i小于等于设定的阈值l_threshold，当前帧人脸上该第i个关键点的最终人脸关键点坐标为上一帧人脸上第i个关键点的原坐标(x_i，y_i)；l_i大于设定阈值l_threshold，当前帧人脸上该第i个关键点的最终人脸关键点坐标为当前帧图像上第i个关键点的坐标(x_i'，y_i')。

B、当当前帧图像中人脸处于小姿态时，当前帧图像上各关键点的最终人脸关键点坐标为当前帧和上一帧图像上各对应关键点坐标的平均值。当前帧人脸上该第i个关键点的最终人脸关键点(X_i，Y_i)等于当前帧人脸关键点坐标(x_i，y_i)与上一帧人脸关键点坐标(x_i'，y_i')求平均值，如下式，

S4、基于视频A和视频B中各自当前帧图像的最终人脸关键点坐标进行人脸贴合换脸。

S41、基于视频B中当前帧图像的最终人脸关键点坐标，结合视频A中当前帧与参考人脸模板图像之间的仿射变换矩阵，进行仿射逆变换运算，得到视频B当前帧符合视频A原始姿态的人脸区域掩膜B1；

S42、将视频B当前帧的人脸区域掩膜B1根据视频A中当前帧图像的最终人脸关键点坐标贴合到视频A的当前帧图像上；

S43、通过高斯滤波对图像贴合边缘进行平滑处理，将得到的每一帧图像都保存至指定文件夹内，对保存至指定文件夹内的图片进行视频转换，生成最终换脸后的视频。

本实施例还提供一种换脸装置，包括：视频获取模块、姿态判断模块、坐标变换模块和人脸贴合模块，其中视频获取模块用于获取包含人脸的视频A和包含人脸的视频B；姿态判断模块用于利用本例中人脸姿态判断方法判断视频A和视频B各自当前帧图像中人脸的人脸姿态；坐标变换模块用于基于当前帧图像中人脸处于的人脸姿态，分别计算得到当前帧图像的最终人脸关键点坐标；人脸贴合模块用于基于视频A和视频B中各自当前帧图像的最终人脸关键点坐标进行人脸贴合换脸。

本实施例还提供一种存储介质，其上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现本例中换脸方法的步骤。

本实施例还提供一种计算机设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现本例中换脸方法的步骤。

Claims (8)

1.一种人脸姿态判断方法，其特征在于：

获取包含人脸的待判断视频；

对待判断视频中的每一帧图像进行人脸关键点检测，得到每一帧图像的人脸关键点位置；

将当前帧图像中人脸的人脸关键点位置与参考人脸模板图像的人脸关键点位置进行仿射变换计算，得到当前帧和参考人脸模板图像之间的仿射变换矩阵；

基于当前帧和参考人脸模板图像之间的仿射变换矩阵，得到当前帧图像的欧拉角；

基于当前帧的欧拉角判断当前帧图像中的人脸姿态为大姿态或小姿态。

2.根据权利要求1所述的人脸姿态判断方法，其特征在于，所述基于当前帧的欧拉角判断当前帧图像中的人脸姿态为大姿态或小姿态，包括：

当欧拉角满足小姿态条件时，判断人脸姿态为小姿态；当欧拉角不满足小姿态条件时，判断人脸姿态为大姿态；

其中，小姿态条件为欧拉角中人脸俯仰角处于[-15，15]区间、偏航角处于[-30，30]区间且翻滚角处于[-15，15]区间。

3.一种换脸方法，其特征在于：

获取包含人脸的视频A和包含人脸的视频B；

利用权利要求1或2所述人脸姿态判断方法判断视频A和视频B各自当前帧图像中人脸的人脸姿态；

基于当前帧图像中人脸处于的人脸姿态，分别计算得到当前帧图像的最终人脸关键点坐标；

基于视频A和视频B中各自当前帧图像的最终人脸关键点坐标进行人脸贴合换脸。

4.根据权利要求3所述的换脸方法，其特征在于，所述基于当前帧图像中人脸处于的人脸姿态，分别计算得到当前帧图像的最终人脸关键点坐标，包括：

A、当当前帧图像中人脸处于大姿态时，计算当前帧和上一帧图像上同一关键点之间的欧氏距离；

若欧氏距离大于设定阈值，则当前帧图像上该关键点的最终人脸关键点坐标为当前帧图像上对应关键点坐标；

若欧氏距离小于等于设定阈值，则当前帧图像上该关键点的最终人脸关键点坐标为上一帧图像上对应关键点坐标；

B、当当前帧图像中人脸处于小姿态时，当前帧图像上各关键点的最终人脸关键点坐标为当前帧和上一帧图像上各对应关键点坐标的平均值。

5.根据权利要求3所述的换脸方法，其特征在于，所述基于视频A和视频B中各自当前帧图像的最终人脸关键点坐标进行人脸贴合换脸，包括：

基于视频B中当前帧图像的最终人脸关键点坐标，结合视频A中当前帧与参考人脸模板图像之间的仿射变换矩阵，进行仿射逆变换，得到视频B当前帧的人脸区域掩膜；

将视频B当前帧的人脸区域掩膜根据视频A中当前帧图像的最终人脸关键点坐标贴合到视频A的当前帧图像；

通过高斯滤波对图像贴合边缘进行平滑处理，完成视频A当前帧图像的人脸重现换脸。

6.一种换脸装置，其特征在于，包括：

视频获取模块，用于获取包含人脸的视频A和包含人脸的视频B；

姿态判断模块，用于利用权利要求1或2所述人脸姿态判断方法判断视频A和视频B各自当前帧图像中人脸的人脸姿态；

坐标变换模块，用于基于当前帧图像中人脸处于的人脸姿态，分别计算得到当前帧图像的最终人脸关键点坐标；

人脸贴合模块，用于基于视频A和视频B中各自当前帧图像的最终人脸关键点坐标进行人脸贴合换脸。

7.一种存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现权利要求3～5任意一项所述换脸方法的步骤。

8.一种计算机设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现权利要求3～5任意一项所述换脸方法的步骤。

Images