CN106997450A - 一种表情迁移中的下巴运动拟合方法和电子设备 - Google Patents

Abstract

本发明实施例提供了一种表情迁移中的下巴运动拟合方法和电子设备，属于视频领域，包括：获取当前视频帧中人脸下巴的多个特征点；获取多个特征点中预设特征点的位移；根据预设特征点的位移，估计多个特征点中其他特征点的位移；根据多个特征点的位移，进行下巴运动拟合。通过根据预设特征点的位移，估计多个特征点中其他特征点的位移，避免了对所有用于描述下巴的特征点的位移进行计算，减少了计算量，从而减少处理资源的占用，提高表情迁移的效率。

Description

一种表情迁移中的下巴运动拟合方法和电子设备

技术领域

本发明涉及视频领域，特别涉及一种表情迁移中的下巴运动拟合方法和电子设备。

背景技术

在表情迁移过程中，需要将下巴在内面部特征迁移至其他人脸或迁移模型上，从而需要一种表情迁移中的下巴运动拟合方法。

现有技术所提供的拟合方法是通过计算所有用于描述下巴的特征点的位移，实现下巴运动拟合。

但是在采用现有技术所提供的方法时，由于需要对所有用于描述下巴的特征点的位移进行计算，计算量较大，不仅需要占用较多的处理资源，还降低了表情迁移的效率。

发明内容

为了减少处理资源的占用，提高表情迁移的效率，本发明实施例提供了一种表情迁移中的下巴运动拟合方法和电子设备。所述技术方案如下：

第一方面，提供了一种表情迁移中的下巴运动拟合方法，所述方法包括：

获取当前视频帧中人脸下巴的多个特征点；

获取所述多个特征点中预设特征点的位移；

根据所述预设特征点的位移，估计所述多个特征点中其他特征点的位移；

根据所述多个特征点的位移，进行下巴运动拟合。

结合第一方面，在第一种可能的实现方式中，所述根据人脸的其他特征点，获取所述多个特征点中预设特征点的位移包括：

获取上下嘴唇之间的距离的变化在y轴上的分量；

根据所述上下嘴唇之间的距离的变化在y轴上的分量，获取所述预设特征点的位移。

结合第一方面或第一方面的第一种的实现方式，在第二种可能的实现方式中，以与所述预设特征点距离最远的特征点和所述预设特征点之间的距离在x轴上的分量为标准参数，所述根据所述预设特征点的位移，估计所述多个特征点中其他特征点的位移之前，所述方法还包括：

获取所述其他特征点与所述预设特征点之间的距离在x轴上的分量；

根据所述分量与所述标准参数，获取所述其他特征点与所述预设特征点之间的距离参数。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述根据所述预设特征点的位移，估计所述多个特征点中其他特征点的位移包括：

根据所述预设特征点的位移与所述距离参数所满足的预设条件，估计所述多个特征点中其他特征点的位移。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述根据所述预设特征点的位移与所述距离参数所满足的预设条件，估计所述多个特征点中其他特征点的位移包括：

如果所述距离参数在0和预设值之间，则根据所述预设特征点的位移，通过第一预设公式，计算所述距离参数对应的特征点的位移；

如果所述距离参数在所述预设值和所述标准参数之间，则根据所述预设特征点的位移，通过第二预设公式，计算所述距离参数对应的特征点的位移。

第二方面，提供了一种电子设备，所述电子设备包括：

特征点获取模块，用于获取当前视频帧中人脸下巴的多个特征点；

第一位移获取模块，用于获取所述多个特征点中预设特征点的位移；

第二位移获取模块，用于根据所述预设特征点的位移，估计所述多个特征点中其他特征点的位移；

下巴运动拟合模块，用于根据所述多个特征点的位移，进行下巴运动拟合。

结合第二方面，在第一种可能的实现方式中，所述第一位移获取模块具体用于：

获取上下嘴唇之间的距离的变化在y轴上的分量；

根据所述上下嘴唇之间的距离的变化在y轴上的分量，获取所述预设特征点的位移。

结合第二方面或第二方面的第一种可能的实现方式，在第二种可能的实现方式中，以与所述预设特征点距离最远的特征点和所述预设特征点之间的距离在x轴上的分量为标准参数，所述设备还包括：

距离获取模块，用于获取所述其他特征点与所述预设特征点之间的距离在x轴上的分量；

距离参数获取模块，用于根据所述分量与所述标准参数，获取所述其他特征点与所述预设特征点之间的距离参数。

结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述第二位移获取模块具体用于：

根据所述预设特征点的位移与所述距离参数所满足的预设条件，估计所述多个特征点中其他特征点的位移。

结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述第二位移获取模块具体用于：

如果所述距离参数在0和预设值之间，则根据所述预设特征点的位移，通过第一预设公式，计算所述距离参数对应的特征点的位移；

如果所述距离参数在所述预设值和所述标准参数之间，则根据所述预设特征点的位移，通过第二预设公式，计算所述距离参数对应的特征点的位移。

第三方面，提供了一种电子设备，所述电子设备包括存储器以及与所述存储器连接的处理器，其中，所述存储器用于存储一组程序代码，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：

获取当前视频帧中人脸下巴的多个特征点；

获取所述多个特征点中预设特征点的位移；

根据所述预设特征点的位移，估计所述多个特征点中其他特征点的位移；

根据所述多个特征点的位移，进行下巴运动拟合。

结合第三方面，在第一种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码具体用于执行以下操作：

获取上下嘴唇之间的距离的变化在y轴上的分量；

根据所述上下嘴唇之间的距离的变化在y轴上的分量，获取所述预设特征点的位移。

结合第三方面或第三方面的第一种可能的实现方式，在第二种可能的实现方式中，以与所述预设特征点距离最远的特征点和所述预设特征点之间的距离在x轴上的分量为标准参数，所述处理器调用所述存储器所存储的程序代码还用于执行以下操作：

获取所述其他特征点与所述预设特征点之间的距离在x轴上的分量；

根据所述分量与所述标准参数，获取所述其他特征点与所述预设特征点之间的距离参数。

结合第三方面的第二种可能的实现方式，在第三种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码具体用于执行以下操作：

根据所述预设特征点的位移与所述距离参数所满足的预设条件，估计所述多个特征点中其他特征点的位移。

结合第三方面的第三种可能的实现方式，在第四种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码具体用于执行以下操作：

如果所述距离参数在0和预设值之间，则根据所述预设特征点的位移，通过第一预设公式，计算所述距离参数对应的特征点的位移；

如果所述距离参数在所述预设值和所述标准参数之间，则根据所述预设特征点的位移，通过第二预设公式，计算所述距离参数对应的特征点的位移。

本发明实施例提供了一种表情迁移中的下巴运动拟合方法和电子设备，包括：获取当前视频帧中人脸下巴的多个特征点；获取多个特征点中预设特征点的位移；根据预设特征点的位移，估计多个特征点中其他特征点的位移；根据多个特征点的位移，进行下巴运动拟合。通过根据预设特征点的位移，估计多个特征点中其他特征点的位移，避免了对所有用于描述下巴的特征点的位移进行计算，减少了计算量，从而减少处理资源的占用，提高表情迁移的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种表情迁移中的下巴运动拟合方法流程图；

图2是本发明实施例提供的一种表情迁移中的下巴运动拟合方法流程图；

图3是本发明实施例提供的一种坐标示意图；

图4是本发明实施例提供的一种电子设备结构示意图；

图5是本发明实施例提供的一种电子设备结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一为本发明实施例提供的一种表情迁移中的下巴拟合运动方法，参照图1所示，该方法包括：

101、获取当前视频帧中人脸下巴的多个特征点。

102、获取多个特征点中预设特征点的位移。

具体的，获取上下嘴唇之间的距离的变化在y轴上的分量；

根据上下嘴唇之间的距离的变化在y轴上的分量，获取预设特征点的位移。

在步骤103之前，以与预设特征点距离最远的特征点和预设特征点之间的距离在x轴上的分量为标准参数，该方法还包括：

获取其他特征点与预设特征点之间的距离在x轴上的分量；

根据分量与标准参数，获取其他特征点与预设特征点之间的距离参数。

103、根据预设特征点的位移，估计多个特征点中其他特征点的位移。

根据预设特征点的位移与距离参数所满足的预设条件，估计多个特征点中其他特征点的位移；该过程可以具体为：

如果距离参数在0和预设值之间，则根据预设特征点的位移，通过第一预设公式，计算距离参数对应的特征点的位移；

如果距离参数在预设值和标准参数之间，则根据预设特征点的位移，通过第二预设公式，计算距离参数对应的特征点的位移。

104、根据多个特征点的位移，进行下巴运动拟合。

本发明实施例提供了一种表情迁移中的下巴运动拟合方法。通过根据预设特征点的位移，估计多个特征点中其他特征点的位移，避免了对所有用于描述下巴的特征点的位移进行计算，减少了计算量，从而减少处理资源的占用，提高表情迁移的效率。

实施例二为本发明实施例提供的一种表情迁移中的下巴拟合运动方法，参照图2所示，该方法包括：

201、获取当前视频帧中人脸下巴的多个特征点。

具体的，本发明实施例所述的特征点为S I FT特征点。

通过滤波的方式从当前视频帧中获取人脸，并获取用于描述人脸的多个特征点，从该多个特征点中获取下巴的多个特征点。或者

通过滤波的方式从当前视频帧中获取人脸的下巴，并获取用于描述下巴的特征点。

202、获取上下嘴唇之间的距离的变化在y轴上的分量。

具体的，分别获取上嘴唇的特征点和下嘴唇的特征点；

通过以下两种方式中的任意一种，获取上下嘴唇之间的距离的变化：

分别获取多个上嘴唇的特征点与对应的下嘴唇的特征点之间的多个距离的变化；

计算多个距离的变化之间的平均值，该平均值即为上下嘴唇之间的距离的变化。或者，

获取上嘴唇中间的特征点与下嘴唇中间的特征点之间的距离的变化，该距离即为上下嘴唇之间的距离的变化。

获取该距离的变化在y轴上的分量。

示例性的，本发明实施例所述的x轴是视频帧中人脸正面的水平方向，本发明实施例所述的y轴是视频帧中人脸正面的竖直方向，参照图3所示。

另外，本发明实施例所述的距离的变化可以为该视频帧的距离与该视频帧的上一帧视频帧中对应的距离之间的变化量。

203、根据上下嘴唇之间的距离的变化在y轴上的分量，获取预设特征点的位移。

具体的，该预设特征点可以为下巴最下部的中点，由于上下嘴唇的运动会引起下巴的运动，所以可以通过根据上下嘴唇之间的距离的变化在y轴上的分量，获取下巴最下部的中点的位移。

所述下巴最下部的中点的位移为上下嘴唇之间的距离的变化在y轴上的分量的一半，所以，上述过程可以为：

计算上下嘴唇之间的距离的变化在y轴上的分量，该上下嘴唇之间的距离的变化在y轴上的分量的1/2即为下巴最下部的中点的位移。

值得注意的是，步骤202至步骤203是实现根据人脸的其他特征点，获取多个特征点中预设特征点的位移的过程，所述过程是通过将上下嘴唇的特征点作为人脸的其他特征点实现的，除此之外，还可以通过人脸中除上下嘴唇的特征点之外的其他特征点实现该过程，本发明实施例对具体的人脸的其他特征点以及实现方式不加以限定。

204、获取其他特征点与预设特征点之间的距离在x轴上的分量。

其中，以与预设特征点距离最远的特征点和预设特征点之间的距离在x轴上的分量为标准参数。

具体的，以其他特征点中的任意一个为例，上述过程可以为：

计算该特征点与预设特征点之间的空间距离；

获取该空间距离在x轴上的分量。

同理，获取其他特征点中除该特征点之外剩余的特征点与预设特征点之间的距离在x轴上的分量。

205、根据分量与标准参数，获取其他特征点与预设特征点之间的距离参数。

具体的，获取该分量所占标准参数的比例，该比例即为该分量对应的特征点与预设特征点之间的距离参数。

206、判断所述距离参数所在的区间，如果距离参数在0和预设值之间，则执行步骤207；如果距离参数在预设值和标准参数之间，则执行步骤208。

具体的，在实际应用中，该预设值可以为0.3。

本发明实施例对具体的判断方式不加以限定。

207、根据预设特征点的位移，通过第一预设公式，计算距离参数对应的特征点的位移。在步骤207之后，执行步骤209。

具体的，该第一预设公式可以为：

b＝a/c

c＝e₁*d⁵-e₂*d⁴+e₃*d³-e₄*d²+e₅*d+e₆

其中，a为下巴最下部的中点的位移，d为特征点与预设特征点之间的距离参数，b为特征点的位移，e₁、e₂、e₃、e₄、e₅和e₆分别为预设值，在实际应用中，可以对该预设值进行调整。

优选的，e₁的取值可以为188，e₂的取值可以为370，e₃的取值可以为260，e₄的取值可以为72，e₅的取值可以为8，e₆的取值可以为2。

208、根据预设特征点的位移，通过第二预设公式，计算距离参数对应的特征点的位移。在步骤208之后，执行步骤209。

具体的，该第二预设公式可以为：

b＝(-0.9*d+1)*a

其中，a为下巴最下部的中点的位移，d为特征点与预设特征点之间的距离参数，b为特征点的位移。

209、根据多个特征点的位移，进行下巴运动拟合。

具体的，由于多个特征点的位移描述了下巴的运动过程，所以，可以根据多个特征点的位移，进行下巴运动拟合，生成用于描述下巴运动的数据或者将下巴的运动迁移至其他人脸或迁移模型上。

本发明实施例对具体的下巴运动拟合不加以限定。

值得注意的是，步骤206至步骤209是实现根据预设特征点的位移，估计多个特征点中其他特征点的位移的过程，除了所述方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。另外，所述过程是通过根据预设特征点的位移与距离参数所满足的预设条件，估计多个特征点中其他特征点的位移的方式实现的，除了所述方式之外，还可以通过其他方式实现所述过程，本发明实施例对具体的方式不加以限定。

本发明实施例提供了一种表情迁移中的下巴运动拟合方法。通过根据预设特征点的位移，估计多个特征点中其他特征点的位移，避免了对所有用于描述下巴的特征点的位移进行计算，减少了计算量，从而减少处理资源的占用，提高表情迁移的效率。

实施例三为本发明实施例提供的一种电子设备，参照图4所示，该电子设备包括：

特征点获取模块41，用于获取当前视频帧中人脸下巴的多个特征点；

第一位移获取模块42，用于获取多个特征点中预设特征点的位移；

第二位移获取模块43，用于根据预设特征点的位移，估计多个特征点中其他特征点的位移；

下巴运动拟合模块44，用于根据多个特征点的位移，进行下巴运动拟合。

可选的，第一位移获取模块42具体用于：

获取上下嘴唇之间的距离的变化在y轴上的分量；

根据上下嘴唇之间的距离的变化在y轴上的分量，获取预设特征点的位移。

可选的，以与预设特征点距离最远的特征点和预设特征点之间的距离在x轴上的分量为标准参数，设备还包括：

距离获取模块45，用于获取其他特征点与预设特征点之间的距离在x轴上的分量；

距离参数获取模块46，用于根据分量与标准参数，获取其他特征点与预设特征点之间的距离参数。

可选的，第二位移获取模块43具体用于：

根据预设特征点的位移与距离参数所满足的预设条件，估计多个特征点中其他特征点的位移。

可选的，第二位移获取模块43具体用于：

如果距离参数在0和预设值之间，则根据预设特征点的位移，通过第一预设公式，计算距离参数对应的特征点的位移；

如果距离参数在预设值和标准参数之间，则根据预设特征点的位移，通过第二预设公式，计算距离参数对应的特征点的位移。

本发明实施例提供了一种电子设备，该电子设备通过根据预设特征点的位移，估计多个特征点中其他特征点的位移，避免了对所有用于描述下巴的特征点的位移进行计算，减少了计算量，从而减少处理资源的占用，提高表情迁移的效率。

实施例四为本发明实施例提供的一种电子设备，参照图5所示，该电子设备包括存储器51以及与存储器51连接的处理器52，其中，存储器51用于存储一组程序代码，处理器52调用存储器51所存储的程序代码用于执行以下操作：

获取当前视频帧中人脸下巴的多个特征点；

获取多个特征点中预设特征点的位移；

根据预设特征点的位移，估计多个特征点中其他特征点的位移；

根据多个特征点的位移，进行下巴运动拟合。

可选的，处理器52调用存储器51所存储的程序代码具体用于执行以下操作：

获取上下嘴唇之间的距离的变化在y轴上的分量；

根据上下嘴唇之间的距离的变化在y轴上的分量，获取预设特征点的位移。

可选的，以与预设特征点距离最远的特征点和预设特征点之间的距离在x轴上的分量为标准参数，处理器52调用存储器51所存储的程序代码还用于执行以下操作：

获取其他特征点与预设特征点之间的距离在x轴上的分量；

根据分量与标准参数，获取其他特征点与预设特征点之间的距离参数。

可选的，处理器52调用存储器51所存储的程序代码具体用于执行以下操作：

根据预设特征点的位移与距离参数所满足的预设条件，估计多个特征点中其他特征点的位移。

可选的，处理器52调用存储器51所存储的程序代码具体用于执行以下操作：

如果距离参数在0和预设值之间，则根据预设特征点的位移，通过第一预设公式，计算距离参数对应的特征点的位移；

如果距离参数在预设值和标准参数之间，则根据预设特征点的位移，通过第二预设公式，计算距离参数对应的特征点的位移。

本发明实施例提供了一种电子设备，该电子设备通过根据预设特征点的位移，估计多个特征点中其他特征点的位移，避免了对所有用于描述下巴的特征点的位移进行计算，减少了计算量，从而减少处理资源的占用，提高表情迁移的效率。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

需要说明的是：上述实施例提供的电子设备在执行表情迁移中的下巴拟合运动方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的表情迁移中的下巴拟合运动方法与电子设备实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种表情迁移中的下巴运动拟合方法，其特征在于，所述方法包括：

获取当前视频帧中人脸下巴的多个特征点；

获取所述多个特征点中预设特征点的位移；

根据所述预设特征点的位移，.估计所述多个特征点中其他特征点的位移；

根据所述多个特征点的位移，进行下巴运动拟合。

2.根据权利要求1所述的方法，其特征在于，所述预设特征点位于下巴最下部的中间，所述获取所述多个特征点中预设特征点的位移包括：

获取上下嘴唇之间的距离的变化在y轴上的分量；

根据所述上下嘴唇之间的距离的变化在y轴上的分量，获取所述预设特征点的位移。

3.根据权利要求1或2所述的方法，其特征在于，以与所述预设特征点距离最远的特征点和所述预设特征点之间的距离在x轴上的分量为标准参数，所述根据所述预设特征点的位移，估计所述多个特征点中其他特征点的位移之前，所述方法还包括：

获取所述其他特征点与所述预设特征点之间的距离在x轴上的分量；

根据所述分量与所述标准参数，获取所述其他特征点与所述预设特征点之间的距离参数。

4.根据权利要求3所述的方法，其特征在于，所述根据所述预设特征点的位移，估计所述多个特征点中其他特征点的位移包括：

根据所述预设特征点的位移与所述距离参数所满足的预设条件，估计所述多个特征点中其他特征点的位移。

5.根据权利要求4所述的方法，其特征在于，所述根据所述预设特征点的位移与所述距离参数所满足的预设条件，估计所述多个特征点中其他特征点的位移包括：

如果所述距离参数在0和预设值之间，则根据所述预设特征点的位移，通过第一预设公式，计算所述距离参数对应的特征点的位移；

如果所述距离参数在所述预设值和所述标准参数之间，则根据所述预设特征点的位移，通过第二预设公式，计算所述距离参数对应的特征点的位移。

6.一种电子设备，其特征在于，所述设备包括：

特征点获取模块，用于获取当前视频帧中人脸下巴的多个特征点；

第一位移获取模块，用于获取所述多个特征点中预设特征点的位移；

第二位移获取模块，用于根据所述预设特征点的位移，估计所述多个特征点中其他特征点的位移；

下巴运动拟合模块，用于根据所述多个特征点的位移，进行下巴运动拟合。

7.根据权利要求6所述的设备，其特征在于，所述第一位移获取模块具体用于：

获取上下嘴唇之间的距离的变化在y轴上的分量；

根据所述上下嘴唇之间的距离的变化在y轴上的分量，获取所述预设特征点的位移。

8.根据权利要求6或7所述的设备，其特征在于，以与所述预设特征点距离最远的特征点和所述预设特征点之间的距离在x轴上的分量为标准参数，所述设备还包括：

距离获取模块，用于获取所述其他特征点与所述预设特征点之间的距离在x轴上的分量；

距离参数获取模块，用于根据所述分量与所述标准参数，获取所述其他特征点与所述预设特征点之间的距离参数。

9.根据权利要求8所述的设备，其特征在于，所述第二位移获取模块具体用于：

根据所述预设特征点的位移与所述距离参数所满足的预设条件，估计所述多个特征点中其他特征点的位移。

10.根据权利要求9所述的设备，其特征在于，所述第二位移获取模块具体用于：

如果所述距离参数在0和预设值之间，则根据所述预设特征点的位移，通过第一预设公式，计算所述距离参数对应的特征点的位移；

如果所述距离参数在所述预设值和所述标准参数之间，则根据所述预设特征点的位移，通过第二预设公式，计算所述距离参数对应的特征点的位移。