CN109961496B

CN109961496B - 表情驱动方法及表情驱动装置

Info

Publication number: CN109961496B
Application number: CN201910136815.5A
Authority: CN
Inventors: 唐德; 胡伟伦; 吕仰铭; 张伟; 李志阳
Original assignee: Xiamen Meitu Yifu Technology Co ltd
Current assignee: Xiamen Meitu Yifu Technology Co ltd
Priority date: 2019-02-22
Filing date: 2019-02-22
Publication date: 2022-10-28
Anticipated expiration: 2039-02-22
Also published as: CN109961496A

Abstract

本发明提供一种表情驱动方法及表情驱动装置，涉及软件技术领域。该表情驱动方法包括：捕获用户的表情图像；根据无表情人脸模型和有表情人脸模型的映射关系，确定表情图像中用户的表情变化；根据用户的表情变化，驱动目标动画模型生成动画表情。实现了表情复制与驱动，得到一种实用性好且鲁棒性强的表情驱动方案。

Description

表情驱动方法及表情驱动装置

技术领域

本发明涉及软件技术领域，具体而言，涉及一种表情驱动方法及表情驱动装置。

背景技术

表情驱动是时下一种流行的应用，该技术通过摄像头来捕获用户当前的表情，再将这个表情通过算法映射到被驱动的模型，使得被驱动模型具有与用户一样的表情，并生成一系列有表情的卡通动画。

现有技术中，表情映射是要找到当前用户无表情脸到有表情脸的一个映射关系，再将这个映射关系应用到目标模型。但是现有技术还不能很好的复制呈现表情中一些细微变化。

发明内容

本发明的目的在于，针对上述现有技术中的不足，提供一种表情驱动方法及表情驱动装置，以解决现有技术中，将五官表情复制出来的方法实用性差，鲁棒性不强的问题。

为实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种表情驱动方法，表情驱动方法的步骤包括：

捕获用户的表情图像；

根据无表情人脸模型和有表情人脸模型的映射关系，确定表情图像中用户的表情变化；

根据用户的表情变化，驱动目标动画模型生成动画表情。

进一步地，该方法还包括：

根据表情图像，建立无表情人脸模型、以及有表情人脸模型。

进一步地，根据表情图像，建立无表情人脸模型、以及有表情人脸模型，包括：

在基础人脸模型上绑定预设个数的骨架；

对每个绑定的骨架设置预设的权重，得到更新的基础人脸模型；

根据更新的基础人脸模型、脸型参数、表情参数、用户的表情图像，并采用预设算法计算获取无表情人脸模型、以及有表情人脸模型。

进一步地，根据表情图像，建立无表情人脸模型、以及有表情人脸模型之后，还包括：

根据每个骨架的变换矩阵，建立无表情人脸模型和有表情人脸模型之间的映射关系，其中，变换矩阵用于指示骨架的运动状态。

进一步地，该方法还包括：

为目标动画模型绑定预设个数的骨架；

根据骨架的变换矩阵，为目标动画模型绑定的骨架赋予相同的变换矩阵。

进一步地，根据每个骨架的变换矩阵，建立无表情人脸模型和有表情人脸模型之间的映射关系之前，还包括：

根据无表情人脸模型中的顶点、有表情人脸模型中的顶点、每个骨架将顶点变换到局部坐标的坐标矩阵、以及每个骨架的权重，对每个骨架的变换矩阵进行优化，得到每个骨架的优化后变换矩阵。

第二方面，本发明实施例还提供了一种表情驱动装置，包括：

图像捕捉模块，用于捕捉用户的表情图像；

计算模块，用于根据无表情人脸模型和有表情人脸模型的映射关系，确定表情图像中用户的表情变化；

驱动模块，用于根据用户的表情变化，驱动目标动画模型生成动画表情。

进一步地，该装置还包括：模型生成模块；

模型生成模块，用于根据表情图像，建立无表情人脸模型、以及有表情人脸模型。

进一步地，模型生成模块具体用于在基础人脸上绑定预设个数的骨架，并对每个绑定的骨架设置预设的权重，得到更新的基础人脸模型；根据更新的基础人脸模型、脸型参数、表情参数生成无表情人脸模型、以及无表情人脸模型。

进一步地，计算模块还用于根据每个骨架的变换矩阵，建立无表情人脸模型和有表情人脸模型之间的映射关系，其中，变换矩阵用于指示骨架的运动状态。

进一步地，该装置还包括：动画模块；

动画模块用于为目标动画模型绑定预设个数的骨架；根据骨架的变换矩阵，为目标动画模型绑定的骨架赋予相同的变换矩阵。

进一步地，计算模块还用于根据无表情人脸模型中的顶点、有表情人脸模型中的顶点、每个骨架将顶点变换到局部坐标的坐标矩阵、以及每个骨架的权重，对每个骨架的变换矩阵进行优化，得到每个骨架的优化后变换矩阵。

本发明的有益效果是：捕获用户的表情图像；根据无表情人脸模型和有表情人脸模型的映射关系，确定所述表情图像中用户的表情变化；根据所述用户的表情变化，驱动目标动画模型生成动画表情。实现了采用无表情人脸模型和有表情人脸模型来比对确定用户的表情变化，进而生成动画，完成表情复制与驱动，可以获取更细微的表情变化，且实用性和鲁棒性都得到提升。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请一实施例提供的表情驱动方法流程示意图；

图2为本申请另一实施例提供的表情驱动方法流程示意图；

图3为本申请另一实施例提供的表情动画驱动方法流程示意图；

图4为本申请一实施例中提供的表情驱动方法流程示意图；

图5为本申请一实施例提供的表情驱动装置模块示意图；

图6为本申请另一实施例提供的表情驱动装置模块示意图；

图7为本申请另一实施例提供的表情驱动装置模块示意图；

图8为本申请一实施例提供的表情驱动装置结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

本申请为了可以更细微的捕获表情变化，以驱动动画的表情更接近的复制用户的表情变化，提出一种表情驱动方法。该方法的执行主体可以是终端，例如手机、平板电脑、笔记本、穿戴设备等，也可以是服务器侧，本申请不作限制。

图1为本申请一实施例提供的表情驱动方法流程示意图。

如图1所示，该方法包括：

S101、捕获用户的表情图像。

其中，捕获的用户表情图像可以是静态图像。例如，使用手机摄像头获取用户的表情帧图像，或者使用已有的照片作为表情图像等。同时，捕获的用户表情图像也可以是动态图像。例如，使用一段包括用户表情的视频，或者使用摄像头实时捕获动态图像等。

S102、根据无表情人脸模型和有表情人脸模型的映射关系，确定表情图像中用户的表情变化。

在本申请实施例中，可以通过在无表情人脸模型和有表情人脸模型算得无表情人脸模型变换到有表情人脸模型时，两个模型之间对应的变换关系，从而确定映射关系。该映射关系用来表征从无表情人脸模型变换到有表情人脸模型时人脸模型变换的参数。

S103、根据用户的表情变化，驱动目标动画模型生成动画表情。

在本申请实施例中，将所得到的映射关系赋予目标动画模型，生成可以根据用户表情变化同步驱动变化的动画表情，该动画表情的存在形式有多种。例如，可以是生成一段视频或者一张动态图片，也可以是实时展示等，其存在形式不做具体限制。

本实施例中，捕获用户的表情图像并根据无表情人脸模型和有表情人脸模型的映射关系，确定所述表情图像中用户的表情变化；根据所述用户的表情变化，驱动目标动画模型生成动画表情。实现了采用无表情人脸模型和有表情人脸模型来比对确定用户的表情变化，进而生成动画，完成表情复制与驱动，可以获取更细微的表情变化，且实用性和鲁棒性都得到提升。

另外，本申请实施例中，还需要根据捕获的用户表情图像，建立无表情人脸模型、以及有表情人脸模型。

在本申请实施例中，可以使用3DMM(3 Dimensions Morphable Model，三维形变模型)作为捕获用户表情图像和建立人脸模型的方法，3DMM的基本公式为：

其中，M为建立的人脸模型，meanEF为3D平均脸，平均脸也称中性脸，是对大量的3D人脸数据求平均值得到的；f_i(i＝1，...，n)是n个3D脸型基，3D脸型基为3D脸型数据线性空间中的基本组件，使用脸型基的线性组合可以表征3D脸型数据线性空间中的任何一个3D脸型；e_i(i＝1，...，m)是m个3D表情基，3D表情基为3D表情数据线性空间中的基本组件，使用表情基的线性组合可以表征3D表情数据线性空间中的任何一个表情；a_i、b_i则是对应的拟合系数，通过最小二乘法求得。

图2为本申请另一实施例提供的表情驱动方法流程示意图。本实施例中示出上述无表情人脸模型、有表情人脸模型的建立过程。

如图2所示，该方法包括：

S201、在基础人脸模型上绑定预设个数的骨架。

基础人脸模型指的是上述3DMM中的meanEF，在一种实现方式中，预设个数为33个，即为3D平均脸绑定33个骨架。

可选的，上述33个骨架的分布为：

眼睛：上眼皮下眼皮以及左右眼角各1个，左右眼睛加起来共8个骨架。

眼球：左右眼球中心各1个，共2个骨架。

眉毛：左右眉毛各均匀分布3个，共6个骨架。

鼻子：鼻尖和鼻梁各一个，共2个骨架。

嘴巴：上嘴唇下嘴唇以及左右嘴角各1个，共4个骨架。

牙齿：上下牙各1个，共2个骨架。

脸颊：左右脸颊各均匀分布两个，共4个骨架。

头部：根节点一个(脖子以下)，脖子上一个，头顶一个，下额一个，下巴一个，共5个骨架。

可选的，在本申请实施例中，设置了33个骨架，但是骨架的个数可以根据设计的实际情况增加或者减少。例如，设置为20个、30个、40个等，在此不做具体限制，以设计时所需的骨架个数为准。

S202、对每个绑定的骨架设置预设的权重，得到更新的基础人脸模型。

在本申请实施例中，在骨架绑定好后，对每个绑定好的骨架刷入预设的权重，并将绑定好骨架、刷好权重的更新的基础人脸模型作为meanEF使用。

S203、根据更新的基础人脸模型、脸型参数、表情参数、用户的表情图像，并采用预设算法计算获取无表情人脸模型、以及有表情人脸模型。

在本申请实施例中，预设算法可以是3DMM。其中，针对捕获的表情图像，根据3DMM基本公式算得无表情人脸模型和有表情人脸模型，更新的基础人脸模型为meanEF、脸型参数为

表情参数为

算得的无表情人脸模型、以及有表情人脸模型通过多个点云来进行定义，点云在人脸模型建立之后作为骨架的顶点，每个顶点受多个骨架影响，每个骨架对顶的影响的权重不同。

图3为本申请另一实施例提供的表情动画驱动方法流程示意图。

如图3所示，该方法还包括：

S301、为目标动画模型绑定预设个数的骨架。

在本申请实施例中，为了驱动目标动画模型，在目标动画模型上，绑定与更新的基础人脸相同的骨架，刷入相同的权重。

S302、根据骨架的变换矩阵，为目标动画模型绑定的骨架赋予相同的变换矩阵。

在本申请实施例中，将上述得到的变换矩阵赋予为目标动画模型绑定的骨架，这样当捕获的用户表情发生变化时，目标动画模型也能随之变化，完成表情复制与驱动。

可选的，根据每个骨架的变换矩阵，建立无表情人脸模型和有表情人脸模型之间的映射关系之前，还包括：

其中，使用如下算法优化变换矩阵：

该式中，E为优化后的变化矩阵，T_i为需要优化的变换矩阵，T为变换矩阵，i表示第i个变换矩阵，在本申请实施例中，i的区间为[1，33]，E为T_i的最小化损失函数，通过计算E的最小值得到优化后的变换矩阵。

可选的，在本申请实施例中，使用LM(Levenberg-Marquard，列文伯格-马夸尔特法)算法求解，求解所使用的算法不做具体限制。

其中，n是模型顶点个数，n的值根据实际建立模型时设置的顶点数量决定；w_ij是权重系数，在本申请实施例中，权重系数为预设数值，计算过程中为常量；H_i是第i个骨架将顶点变换到局部坐标的坐标矩阵，计算过程中是常量；v_j是无表情人脸模型中的顶点；v′_j是该顶点在有表情人脸模型中对应的顶点。

通过上述公式可以算得优化后的变换矩阵，将优化后的变换矩阵绑定给被驱动的动画表情，可以得到更好的驱动性能，复制的效果更好。

图4为本申请一实施例中提供的表情驱动方法流程示意图。

如图4所示，表情驱动的流程包括两个阶段，第一阶段为S401～S408，这一阶段的用于建立当前用户无表情人脸模型与有表情人脸模型，并将目标动画模型与无表情人脸模型、有表情人脸模型关联起来。

第二阶段为S409，这一阶段用于使用捕捉到的用户表情驱动目标动画模型。

当用户第一次使用时，该流程执行第一阶段和第二阶段，若用户非第一次使用，第一阶段得到的映射关系为已知的，只需要执行第二阶段即可。或者，也可能预先就建立好模型，并建立当前用户无表情人脸模型与有表情人脸模型之间的映射关系，后续需要驱动表情时，可以直接使用，即两个阶段并不连续执行。

该流程具体为：

S401、捕获用户的表情图像。

S402、在基础人脸模型上绑定预设个数的骨架。

S403、对每个绑定的骨架设置预设的权重，得到更新的基础人脸模型。

S404、根据更新的基础人脸模型、脸型参数、表情参数、用户的表情图像，并采用预设算法计算获取无表情人脸模型、以及有表情人脸模型。

S405、根据每个所述骨架的变换矩阵，建立所述无表情人脸模型和所述有表情人脸模型之间的映射关系。

S406、根据无表情人脸模型中的顶点、有表情人脸模型中的顶点、每个骨架将顶点变换到局部坐标的坐标矩阵、以及每个骨架的权重，对每个骨架的变换矩阵进行优化，得到每个骨架的优化后变换矩阵。

S407、为目标动画模型绑定预设个数的骨架。

S408、根据骨架的优化后变换矩阵，为目标动画模型绑定的骨架赋予相同的变换矩阵。

S409、再次捕获用户的表情图像，根据S406中得到的优化后的变换矩阵，驱动目标动画模型。

图5为本申请一实施例提供的表情驱动装置模块示意图。

如图5所示，申请一实施例提供的表情驱动装置包括：图像捕捉模块501、计算模块502以及驱动模块503。其中：

图像捕捉模块501，用于捕捉用户的表情图像。

计算模块502，用于根据无表情人脸模型和有表情人脸模型的映射关系，确定表情图像中用户的表情变化。

驱动模块503，用于根据用户的表情变化，驱动目标动画模型生成动画表情。

其中，图像捕捉模块501可以通过摄像头捕捉用户的表情图像，也可以捕捉静态图像中用户的表情图像以及捕捉动态图像、视频图像中用户的表情图像等，具体如何捕捉以及从何种介质中捕捉用户的表情图像不做限制，以用户使用的实际情况为准。

在本实施例中，计算模块502用于通过在无表情人脸模型和有表情人脸模型算得无表情人脸模型变换到有表情人脸模型时，两个模型之间对应的变换关系，从而确定映射关系。该映射关系用来表征从无表情人脸模型变换到有表情人脸模型时人脸模型变换的参数。

在本实施例中，驱动模块503用于将所得到的映射关系赋予目标动画模型，根据用户表情变化同步驱动变化的动画表情，该动画表情的存在形式有多种。例如，可以是生成一段视频或者一张动态图片，也可以是实时展示等，其存在形式不做具体限制。

图6为本申请另一实施例提供的表情驱动装置模块示意图。

如图6所示，该装置还包括：模型生成模块504。

模型生成模块504用于根据表情图像，建立无表情人脸模型、以及有表情人脸模型。

模型生成模块504根据采集到的图像，使用预设算法建立无表情人脸模型、以及有表情人脸模型。

在本实施例中，模型生成模块504将图像捕捉模块501捕捉到用户的表情图像，使用3DMM，建立无表情人脸模型、以及有表情人脸模型。

模型生成模块504具体还用于在基础人脸上绑定预设个数的骨架，并对每个绑定的骨架设置预设的权重，得到更新的基础人脸模型。

所述模型生成模块504还用于根据更新的基础人脸模型、脸型参数、表情参数生成无表情人脸模型、以及无表情人脸模型。

一种实现方式中，在建立无表情人脸模型、以及有表情人脸模型之前，模型生成模块504在基础人脸上绑定33个骨架，并对每个绑定的骨架刷入预设的权重，获得更新的基础人脸模型。

在本实施例中，骨架的设置方式以及个数与上述方法中相同，在此不再赘述。

计算模块502用于根据每个骨架的变换矩阵，建立无表情人脸模型和有表情人脸模型之间的映射关系，其中，变换矩阵用于指示骨架的运动状态。

其中，计算模块502根据无表情人脸模型和有表情人脸模型算得的映射关系为一变换矩阵，该变换矩阵表征了从无表情人脸模型到有表情人脸模型时，骨架的运动状态，其中骨架的运动状态的参数包括平移变换参数和旋转变换参数。

图7为本申请另一实施例提供的表情驱动装置模块示意图。

如图7所示，该装置还包括：动画模块505。

动画模块505具体用于为目标动画模型绑定预设个数的骨架；根据骨架的变换矩阵，为目标动画模型绑定的骨架赋予相同的变换矩阵。

在本实施例中，动画模块505将所得到的变换矩阵赋予目标动画模型，生成可以根据用户表情变化同步驱动变化的动画表情，并将动画表情通过如显示屏等显示设备展示。

计算模块502还用于根据无表情人脸模型中的顶点、有表情人脸模型中的顶点、每个骨架将顶点变换到局部坐标的坐标矩阵、以及每个骨架的权重，对每个骨架的变换矩阵进行优化，得到每个骨架的优化后变换矩阵。

可选的，计算模块502使用LM算法对优化公式求解，得到优化后的变换矩阵。

上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

图8为本申请一实施例提供的表情驱动装置结构示意图。

如图8所示，该装置可以集成于终端设备或者终端设备的芯片，该终端可以是具备图像处理功能的计算设备。

该装置包括：处理器601、存储器602。

存储器602用于存储程序，处理器601调用存储器602存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。

可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是个人计算机，服务器，智能手机，平板电脑或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：RandomAccess Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims

1.一种表情驱动方法，其特征在于，所述表情驱动方法的步骤包括：

捕获用户的表情图像；

根据无表情人脸模型和有表情人脸模型的映射关系，确定所述表情图像中用户的表情变化；

根据所述用户的表情变化，驱动目标动画模型生成动画表情；

还包括：

在基础人脸模型上绑定预设个数的骨架；

对每个绑定的所述骨架设置预设的权重，得到更新的基础人脸模型；

根据更新的基础人脸模型、脸型参数、表情参数、用户的表情图像，并采用预设算法计算获取所述无表情人脸模型、以及所述有表情人脸模型；

根据每个所述骨架的变换矩阵，建立所述无表情人脸模型和所述有表情人脸模型之间的映射关系，其中，所述变换矩阵用于指示骨架的运动状态；

为所述目标动画模型绑定所述预设个数的骨架；

根据所述骨架的变换矩阵，为所述目标动画模型绑定的骨架赋予相同的变换矩阵。

2.如权利要求1所述的表情驱动方法，其特征在于，所述根据每个所述骨架的变换矩阵，建立所述无表情人脸模型和所述有表情人脸模型之间的映射关系之后，还包括：

根据所述无表情人脸模型中的顶点、所述有表情人脸模型中的顶点、每个所述骨架将顶点变换到局部坐标的坐标矩阵、以及每个所述骨架的权重，对每个所述骨架的变换矩阵进行优化，得到每个所述骨架的优化后变换矩阵。

3.一种表情驱动装置，其特征在于，包括：

图像捕捉模块，用于捕捉用户的表情图像；

计算模块，用于根据无表情人脸模型和有表情人脸模型的映射关系，确定所述表情图像中用户的表情变化；

驱动模块，用于根据所述用户的表情变化，驱动目标动画模型生成动画表情；

模型生成模块，用于在基础人脸上绑定预设个数的骨架，并对每个绑定的所述骨架设置预设的权重，得到更新的基础人脸模型；根据更新的基础人脸模型、脸型参数、表情参数生成所述无表情人脸模型、以及所述无表情人脸模型；

所述计算模块，还用于根据每个所述骨架的变换矩阵，建立所述无表情人脸模型和所述有表情人脸模型之间的映射关系，其中，所述变换矩阵用于指示骨架的运动状态；

所述表情驱动装置，还包括:

动画模块，用于为所述目标动画模型绑定所述预设个数的骨架；根据所述骨架的变换矩阵，为所述目标动画模型绑定的骨架赋予相同的变换矩阵。

4.如权利要求3所述的表情驱动装置，其特征在于，所述计算模块，还用于根据所述无表情人脸模型中的顶点、所述有表情人脸模型中的顶点、每个所述骨架将顶点变换到局部坐标的坐标矩阵、以及每个所述骨架的权重，对每个所述骨架的变换矩阵进行优化，得到每个所述骨架的优化后变换矩阵。