CN113744374B - 一种基于表情驱动的3d虚拟形象生成方法 - Google Patents

Abstract

本发明公开了一种基于表情驱动的3D虚拟形象生成方法，包括：(1)使用单目摄像头实时采集人脸视频；(2)将单目摄像头捕捉的人脸模型与虚拟形象模型进行比例对齐，建立人物的源网格和目标虚拟形象网格的映射；(3)对人脸面部进行区域划分，将人脸模型每个区域的三角面映射在对应虚拟形象模型的面上，生成关键形状；(4)对关键形状进行形变转移优化，获得与源人物模型相对应的虚拟形象融合模型；(5)通过线性组合拟合出虚拟形象的表情形状；(6)在虚拟形象驱动模块中基于映射关系驱动虚拟形象融合模型产生动态表情，产生与原视频中人脸相同的表情动作。利用本发明，能够实时将人脸表情映射到虚拟角色上，生成具有真实感的角色动画。

Description

一种基于表情驱动的3D虚拟形象生成方法

技术领域

本发明属于3D虚拟形象生成领域，尤其是涉及一种基于表情驱动的3D虚拟形象生成方法。

背景技术

3D虚拟形象生成涵盖了人脸识别、表情识别和表情动画、虚拟模型生成等方面。其中，3D虚拟形象生成利用3D人脸重建技术恢复出人脸的3D结构，同时和2D信息做有机融合，并基于此进行人脸属性分析，从各个维度分析出人脸特征，生成个性化的虚拟形象。同时，也会实时进行人脸的表情分析，用于驱动生成的虚拟形象。在此之上，还会借助人体姿势进行相关分析，通过真实渲染引擎与现实场景相融合，将匹配用户表情与动作的个性化3D虚拟形象实时呈现给用户。

公开号为CN106204698A的中国专利文献公开了一种为自由组合创作的虚拟形象生成及使用表情的实现方法，包括：从一虚拟形象器官集合中选择脸部器官或局部脸孔作为部件形成基础虚拟形象；选择特定表情；然后以符合条件的器官部件替代所述基础虚拟形象中的器官部件，使虚拟形象符合所选择的特定表情。公开号为CN111612876A的中国专利文献公开了一种表情生成方法包括：获取目标用户图像；根据所述目标用户的体貌特征元素，生成与所述目标用户图像关联的虚拟人物形象；基于所述虚拟人物形象，生成所述虚拟人物形象的表情图像。但是上述两种方法制作的表情均无法与用户真实的实时表情相对应。

基于真实人物的三维虚拟形象制作往往需要操作者具有计算机图形学技术背景以及能够使用专业的三维建模软件，消耗了大量的时间和精力。而依赖专业扫描设备来获取三维人脸模型的方法成本较高，且常常带有复杂噪声，依赖专业人员进行后期手动处理，致使生产周期过长。

脸部动画技术在电影虚拟人物表情制作以及面部动画驱动方面有着广泛的应用，其对面部真实表情的捕捉在泛娱乐领域有较好的发展前景。但是，使用昂贵的专业捕捉设备来实现的面部动画技术不具有实际应用性，基于骨骼和关节点的动画技术主要用于身体姿态的动画，在面部表情动画中不能很好复现褶皱等面部表情细节。

发明内容

本发明提供了一种基于表情驱动的3D虚拟形象生成方法，可以通过人的面部运动来控制虚拟模型，使之产生的虚拟形象可以有人脸相似的表情效果。

一种基于表情驱动的3D虚拟形象生成方法，包括以下步骤：

(1)使用单目摄像头实时采集人脸视频；

(2)将单目摄像头捕捉的人脸模型与虚拟形象模型进行比例对齐，；建立人物的源网格S中的三角形面和目标虚拟形象网格T中三角形面的映射；

(3)将脸部划分为六个区域，对人物模型与虚拟形象模型中面部区域网格结构差异较大的部分进行区域标记并优化，将人脸模型每个区域的三角面通过仿射变换映射在对应虚拟形象模型的面上，而后平移顶点，基于模型间映射变换共享顶点生成关键形状；

(4)对关键形状进行形变转移优化，获得与源人物模型相对应的虚拟形象融合模型；

(5)将形变传递算法应用到对应人脸网格模型的表情融合模型中，基于FACS编码面部动作单元，通过线性组合拟合出虚拟形象的表情形状；

(6)在虚拟形象驱动模块中基于映射关系驱动虚拟形象融合模型产生动态表情、渲染动画效果，使之产生与原视频中人脸相同的表情动作。

进一步地，

步骤(2)中，建立人物的源网格S和目标虚拟形象网格T的映射时，将人脸用三维网格M(V，F)表示，V＝{v₁，...v_n}为三维顶点集合，F＝{f₁，...，f_m}为连接所有顶点的三角形面集合，发生形变后，相邻两个三角网格满足如下关系：

T_jv_i+d_j＝T_kv_i+d_kj，k∈p(v_i)

其中，j和k表示两个相邻的三角网格，v_i表示两个三角形网格的共同顶点，p表示所有的三角形网格集合。

进一步地，人物的源网格S中的三角形和目标虚拟形象网格T中三角形的映射变换共享顶点，人物的源网格S与虚拟形象网格T具有对应关系，即：

M＝{(s₁，t₁)，(s₂，t₂)，...，(s_M，t_M)}

其中，s_M为源网格中面的索引，t_M为虚拟形象网格中面的索引。

步骤(3)中，将脸部划分为六个区域，分别为左眉毛、右眉毛、鼻子、右眼、左眼和嘴巴。

所述的仿射变换包括但不限于旋转、缩放和剪切。

基于模型间映射变换共享顶点生成关键形状时，损失函数为：

其中：

v_i和v′_i(i∈1，2，3)分别代表三角形面形变前后的三个顶点，L_k是源网格的坐标集合，R(i)表示虚拟形象上的网格坐标索引，u_i和u′_i分别代表源网格与虚拟形象网格上的位移向量，(v_i)_s0为源人物网格上的点，(v_i)_sn为中间过程中源网格融合模型上的点，(v′_R(i))_tn为中间过程中虚拟形象网格融合模型上的点。

步骤(4)中，对关键形状进行形变转移优化时，重复最小化过程计算形变头像网格的新顶点坐标，迭代系数为ω，直至获得与源人物模型相对应的虚拟形象融合模型，最优化函数为：

其中，I为3×3变换矩阵，adj(i)是第i个面相邻面的集合，c_i为源网格与虚拟形象网格的最邻近点。

步骤(5)中，虚拟形象的表情形状F表示为：

其中，表情融合模型表示为B＝B₀，B₁，...，B_n，其中B₀表示自然表情形状，B_i为其他表情形状，以α_i表示第i个表情系数。

与现有技术相比，本发明具有以下有益效果：

本发明的方法，使得普通用户仅需要通过单目视频相机，就能够实时的将人的脸部表情映射到虚拟角色上，生成具有真实感的角色动画，具有较高易用性和可扩展性，满足动漫、影视、直播、虚拟现实等诸多领域的需求。

附图说明

图1为本发明实施例中基于表情驱动的3D虚拟形象生成方法的框架图；

图2为本发明实施例中基于表情驱动的3D虚拟形象生成方法的流程图；

图3为本发明实施例中源网格和目标虚拟形象网格中三角形的映射示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，一种基于表情驱动的3D虚拟形象生成方法，实现过程分为三个模块，分别是人脸重建模块、表情融合模块和虚拟形象驱动模块。

使用三维人脸模型重建技术可以在三维空间中重建出与真实人脸特征相似的三维模型，基于单目摄像头采集人脸进行人脸重建的主要问题在于人脸对齐、人脸姿态估计和模型参数估计。本发明提出一种基于面部区域位置的人脸重建模块，将人脸划分为左眉毛、右眉毛、鼻子、右眼、左眼和嘴巴6个部分进行测量，对源人物模型的所有关键形状重复最小化过程，得到与源模型相对应的虚拟形象融合模型，对于普通用户而言无需使用专业软件创建三维Blandshape模型即可驱动虚拟形象。

本发明在表情融合上分为头部和表情两个部分进行参数化，头部变化是指人物头部的平移、旋转等刚性变化；表情变化则基于FACS编码面部动作单元，通过线性组合拟合出人脸的常见表情，而后在虚拟形象驱动模块中基于上述映射关系驱动可形变虚拟模型产生动态表情、渲染动画效果，使之产生与原视频中人脸相同的表情动作。

为适配包含卡通3D形象、游戏怪兽形象等五官与人类差异较大的虚拟形象，本发明提出一种基于表情驱动的3D虚拟形象生成方法，流程如图2所示。

在模型表示上，本发明将人脸用三维网格M(V，F)表示，V＝{v₁，...v_n}为三维顶点集合，F＝{f₁，...，f_m}为连接所有顶点的三角形面集合。由于形变建立在三角形网格上，人物的源网格S中的三角形需要和目标虚拟形象网格T中的三角形建立映射，如图3所示，发生形变后，相邻两个三角网格满足如下关系：

T_jv_i+d_j＝T_kv_i+d_kj，k∈p(v_i)

j和k表示两个相邻的三角网格，v_i v_i表示两个三角形网格的共同顶点，p表示所有的三角形网格集合。

基于S与T之间映射变换共享顶点，人物的源网格与虚拟形象网格具有对应关系，即：

M＝{(s₁，t₁)，(s₂，t₂)，...，(s_M，t_M)}

人脸模型对虚拟模型的匹配即为人物的源网格与虚拟形象网格具有对应关系的求解。本发明提出基于面部区域重定位的虚拟模型映射方法，首先将虚拟形象模型与单目摄像头捕捉的人脸模型进行比例对齐，将脸部划分为左眉毛、右眉毛、鼻子、右眼、左眼和嘴巴6个区域，将人脸模型每个区域的三角面通过旋转、缩放和剪切等仿射变换映射在对应虚拟形象模型的面上，而后平移顶点，基于模型间映射变换共享顶点生成关键形状。区域坐标位置定向过程的公式表达如下：

以v_i和v′_i(i∈1，2，3)分别代表三角形面形变前后的三个顶点，损失函数为：

其中：

L_k是源网格的坐标集合，R(i)表示虚拟形象上的网格坐标索引，u_i和u′_i分别代表源网格与虚拟形象网格上的位移向量，(v_i)_s0为源人物网格上的点，(v_i)_sn为中间过程中源网格融合模型上的点，(v′_R(i))_tn为中间过程中虚拟形象网格融合模型上的点。

而后对关键形状进行形变转移优化，重复最小化过程计算形变头像网格的新顶点坐标，迭代系数为ω，直至获得与源人物模型相对应的虚拟形象融合模型。最优化函数为：

其中，I为3×3变换矩阵，adj(i)是第i个面相邻面的集合，c_i为源网格与虚拟形象网格的最邻近点。

当完成源人物模型与虚拟形象模型的关键形状映射后，进入表情融合阶段。对于符合FACS标准的表情融合模型，每一个基表情对应于FACS的一个动作单元，具有相应的语义特征。基于此，应用形变传递算法到特定的人脸网格模型的表情融合模型制作中，将表情融合模型表示为B＝B₀，B₁，...，B_n，其中B₀表示自然表情形状，B_i为其他表情形状，以α_i表示第i个表情系数，则虚拟形象的表情形状F可以表示为：

基于此，自然表情形状和其他表情形状以一定系数按公式进行线性组合，即可生成新的表情形状。

通过上述步骤，普通用户仅需要通过单目视频相机，就能够实时的将人的脸部表情映射到虚拟角色上，生成具有真实感的角色动画，具有较高易用性和可扩展性，满足泛娱乐产业发展需求。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于表情驱动的3D虚拟形象生成方法，其特征在于，包括以下步骤：

(1)使用单目摄像头实时采集人脸视频；

(2)将单目摄像头捕捉的人脸模型与虚拟形象模型进行比例对齐；建立人物的源网格S中的三角形面和目标虚拟形象网格T中三角形面的映射；

(3)将脸部划分为六个区域，对人物模型与虚拟形象模型中面部区域网格结构差异较大的部分进行区域标记并优化，将人脸模型每个区域的三角面通过仿射变换映射在对应虚拟形象模型的面上，而后平移顶点，基于模型间映射变换共享顶点生成关键形状；

基于模型间映射变换共享顶点生成关键形状时，损失函数为：

其中：

v_i和v′_i′(i∈1,2,3)分别代表三角形面形变前后的三个顶点，L_k是源网格的坐标集合，R(i)表示虚拟形象上的网格坐标索引，u_i和u′_C(i)分别代表源网格与虚拟形象网格上的位移向量，(v_i)_s0为源人物网格上的点，(v_i)_sn为中间过程中源网格融合模型上的点，(v′_R(i))_tn为中间过程中虚拟形象网格融合模型上的点；

(4)对关键形状进行形变转移优化，获得与源人物模型相对应的虚拟形象融合模型；

对关键形状进行形变转移优化时，重复最小化过程计算形变头像网格的新顶点坐标，迭代系数为ω，直至获得与源人物模型相对应的虚拟形象融合模型，最优化函数为：

其中，I为3×3变换矩阵，adj(i)是第i个面相邻面的集合，c_i为源网格与虚拟形象网格的最邻近点；F＝{f₁，...，f_m}为连接所有顶点的三角形面集合；

(5)将形变传递算法应用到对应人脸网格模型的表情融合模型中，基于FACS编码面部动作单元，通过线性组合拟合出虚拟形象的表情形状；

(6)在虚拟形象驱动模块中基于映射关系驱动虚拟形象融合模型产生动态表情、渲染动画效果，使之产生与原视频中人脸相同的表情动作。

2.根据权利要求1所述的基于表情驱动的3D虚拟形象生成方法，其特征在于，步骤(2)中，建立人物的源网格S和目标虚拟形象网格T的映射时，将人脸用三维网格M(V，F)表示，V＝{v₁，...v_n}为三维顶点集合，F＝{f₁，...，f_m}为连接所有顶点的三角形面集合，发生形变后，相邻两个三角网格满足如下关系：

T_jv_i+d_j＝T_kv_i+d_kj，k∈p(v_i)

其中，j和k表示两个相邻的三角网格，v_i表示两个三角形网格的共同顶点，p表示所有的三角形网格集合。

3.根据权利要求1所述的基于表情驱动的3D虚拟形象生成方法，其特征在于，人物的源网格S中的三角形和目标虚拟形象网格T中三角形的映射变换共享顶点，以M表示面部网格，人物的源网格S与虚拟形象网格T具有对应关系，即：

M＝{(s₁，t₁)(s₂，t₂)，…，(s_M，t_M)}

其中，s_M为源网格中面的索引，t_M为虚拟形象网格中面的索引。

4.根据权利要求1所述的基于表情驱动的3D虚拟形象生成方法，其特征在于，步骤(3)中，将脸部划分为六个区域，分别为左眉毛、右眉毛、鼻子、右眼、左眼和嘴巴。

5.根据权利要求1所述的基于表情驱动的3D虚拟形象生成方法，其特征在于，步骤(3)中，所述的仿射变换包括但不限于旋转、缩放和剪切。

6.根据权利要求1所述的基于表情驱动的3D虚拟形象生成方法，其特征在于，步骤(5)中，虚拟形象的表情形状G表示为：

其中，表情融合模型表示为B＝B₀,B₁,…,B_n,其中B₀表示自然表情形状，B_i为其他表情形状，以α_i表示第i个表情系数。