CN102855652B - 基于测地距的径向基函数人脸表情重定向与动画方法 - Google Patents

Abstract

本发明公开了一种基于运动捕捉数据的人脸表情重定向和动画算法。通过建立一个基于测地距的径向基函数人脸表情的重定向模型，实现了从运动捕捉数据空间到目标人脸模型运动空间的转换，在转换的过程中考虑了人脸网格的结构，着重解决了使用径向基函数进行空间转换过程中全局性问题。在人脸表情动画阶段，利用了空间转换的结果，使用基于测地距径向基函数的人脸变形模型，对运动数据进行插值，获取整个模型的变形结果。本发明可将同一个捕捉序列应用到不同的人脸模型，模型转换比较容易，同时针对不同的捕捉序列也可用于同一个目标模型，实现了运动捕捉数据的重用，同时也具有较强的动画真实感。

Description

基于测地距的径向基函数人脸表情重定向与动画方法

技术领域

本发明涉及基于测地距的径向基函数人脸表情重定向与动画方法，属于图像处理技术领域。

背景技术

近年来，随着动漫产业、三维游戏及三维影视制作等领域的发展，计算机人脸表情动画技术得到了广泛的关注。人脸表情动画主要研究如何在计算机中真实地模拟人脸表情变化。面部表情是人们之间信息交流的一种方式，通过表情的变化也可以判断出人们的感情状态。在数字娱乐领域，特别是在影视和游戏制作中，人脸表情动画发挥着举足轻重的作用。此外，在视频会议、计算机辅助教学、虚拟现实、人机交互界面设计及心理学等领域，人脸表情动画的相关研究和应用也越来越吸引人们的注意。因此，提高人脸表情动画制作的效率，增强动画的真实感，降低动画制作的成本，对于推动整个数字娱乐产业的发展，促进国家文化产业的进步和国民经济增长具有现实意义。

人脸是一个生理结构及其精细的组织，复杂的肌肉收缩可以产生细微的表情变化。同时，人们很容易感知到不自然的表情。这样，要制作真实感的人脸表情动画常常需要技术娴熟的专业动画制作人员花费大量的时间。运动捕捉技术通过粘贴在表演者体表或面部的标记点来记录其相应位置的运动信息，这些运动信息可以被用于驱动其他的计算机合成的虚拟模型产生类似的动作或者表情变化。基于运动捕捉的人脸表情动画通过重用表演者的表情运动数据，使其他的虚拟模型产生真实感的表情。数据的重用节约了动画制作的成本，而且数据是来自真实的表情运动，也增加了动画的真实感。

为了使计算机合成的虚拟模型利用捕捉的表情运动数据产生表情，需要解决两个方面的问题：

首先，由于捕捉模型和最终的目标动画模型不是同一个模型，相应的表情运动也不属于同一个坐标空间，为了使目标模型产生相似的表情，需要对原始的运动空间进行转换，即将原始表情重定向到目标模型，实现从原始人脸模型的运动空间到目标人脸模型的运动空间的转换。很多学者就该问题也提出了许多解决办法，其中比较常用的是径向基函数(Radical basis functions,径向基函数)方法。径向基函数方法是一种全局的插值方法，但是人脸是一个具有开放区域的特殊结构，特别是在眼睛和嘴部区域，运动存在不连续的情况。这样，在使用全局的径向基函数方法将原始模型的运动重定向到目标模型时，忽略了人脸特殊的网格结构，使得求解出的目标模型的运动产生错误，利用这样的运动信息驱动目标人脸必然使模型的运动失真，产生不自然的表情。

其次，使用运动捕捉技术得到的只是原始人脸模型上稀疏的标记点的运动信息，通过重定向方法得到是目标人脸模型上相应标记点的运动情况，而计算机合成的目标人脸模型上至少有上千个顶点，如何利用少量的标记点运动变形整个人脸模型产生表情动画是一个重要的问题。不少学者也提出了各种动画方案，其中，基于物理模型的方法，通过建立一个人脸的仿生模型，利用动力学方程使得人脸模型产生动画，但是由于人脸结构的复杂性，该方法的建模难度比较大，并且很难实现表情的重定向。形状融合方法，将人脸表情看作是关键表情的加权和，只要找到关键表情和表情融合的权重就可使目标模型产生表情动画。这种方法可以产生真实的人脸动画，但是需要大量的表情来构建关键表情，而且动画的质量依赖于融合权重的求解。此外,使用径向基函数方法对标记点进行插值求解其余顶点的运动也比较常见，径向基函数方法的优点是运算量比较小，能够满足实时动画的效率要求。径向基函数方法通过标记点和顶点之间的关联求解顶点运动，这种关联是通过它们之间的欧式距离来反应的，一般距离越小，顶点受到标记点的影响就越大。但是，在实际的人脸表情运动中，并不是所有顶点都是这样，特别是在嘴唇张开时，上下嘴唇上的运动是没有关联的。这样，仅仅根据欧式距建立的这种关联是不正确的，最终得到的动画质量也难以保证。

发明内容

为了克服上述的不足，本发明的目的在于提供Equation Chapter 1Section 1基于测地距的径向基函数人脸表情重定向与动画方法，该方法通过使用基于测地距的径向基函数方法，着重解决人脸表情重定向过程中的空间转换问题和动画过程中的变形问题，从而有效避免了动画过程中的失真情况，并且该方法相对简单，计算量较小，可以有效地保证动画的效率。

本发明采取的技术方案如下：

第一步：首帧运动捕捉数据的预处理，其包括以下3个步骤：

步骤1：导入一个表情运动捕捉序列，提取首帧运动捕捉序列，对首帧序列中的标记点位置进行三角剖分，形成一个首帧序列的三角网格；

步骤2：根据人脸的语义特征，在首帧序列的三角网格中，去除眼睛及嘴部区域的伪关联；

步骤3：依据去除伪关联后的首帧序列的三角网格中标记点之间的关联，求解标记点之间的测地距；

第二步：构建表情运动重定向模型;

建立首帧运动捕捉数据与目标人脸模型标记点之间的映射关系，其可以表示如下

所述是首帧运动捕捉序列中的标记点的空间坐标(x_i,y_i,z_i)；所述x_i，y_i和z_i的单位均为毫米；是首帧序列中两个标记点之间的测地距，所述测地距单位是毫米；w_j是待求的权值系数；n是标记点的个数，所述n是一个整数，根据初始设置的标记点个数其值为60；是目标人脸模型上第i个标记点的空间坐标(x_i,y_i,z_i)；所述x_i，y_i和z_i的单位均为毫米，1≤i,j≤n；是一个多项式，其是一个仿射变换，在求解公式组成的线性系统时，同时计算该多项式项：

若将上述线性系统写成如下矩阵形式：

M=Φ·W,

所述M∈R^n+3，3是目标人脸模型上标记点的空间位置矩阵，Φ是基于首帧序列的标记点间测地距的径向基函数组成的矩阵，所述权值矩阵W通过公式下式求出,

W=Φ^-1M,

通过上述权值矩阵的求解公式，得到了首帧序列标记点与目标人脸模型上标记点之间的映射关系,对于第k帧捕捉序列,将公式M＝Φ·W中的Φ换成关于当前帧标记点位置的所述k是表情运动序列的长度，即帧长度；从而可以求得当前帧目标人脸模型上标记点的位置矩阵M；

第三步：基于测地距的径向基函数目标人脸表情动画模型，其有以下几个步骤：

步骤1：在目标人脸模型上搜索与每个标记点空间上最匹配的顶点，由于目标模型上的标记点是依据原始人脸模型上标记点的位置手动设定的，它与目标人脸模型上的顶点没有直接的关联，在求解目标人脸模型上标记点与顶点之间的测地距之前，要保证所有标记点与顶点在同一个网格上,并且顶点与面片之间的关系已经建立；

步骤2：预计算目标人脸模型上顶点和标记点之间的测地距是目标人脸模型上第i个顶点的空间坐标(x_i,y_i,z_i)，所述x_i，y_i和z_i的单位均为毫米；m′_j是目标人脸模型上与第j个标记点最匹配的顶点的空间坐标(x_j,y_j,z_j),所述x_j,y_j和z_j的单位均为毫米；为了保证动画的效率,可以进一步预计算目标人脸模型上标记点和顶点之间的径向函数信息

并且所述r为经验值,r=0.375；

所述目标人脸模型上标记点之间的径向基函数信息 可先行计算，以便于实时求解每一帧的径向基权值矩阵,这里标记点之间的距离是欧式距离；

步骤3：针对每一帧的运动数据,在目标人脸模型标记点和当前帧标记点的位移之间构建一个径向基函数训练模型,求解出每一帧的径向基权值矩阵W=Φ^-1M,Φ使用步骤2中预计算标记点之间的径向基函数以减少实时运算的消耗,M为每一帧目标人脸模型上标记点的位移矩阵，这里的位移是第二步求解出的当前帧标记点的空间位置与目标人脸模型标记点的空间位置的差值；

步骤4：利用下面的公式建立一个变形模型

所述是第k帧运动序列中第i个顶点的位移,该位移用一个三维坐标表示,其中和的单位都是毫米，是步骤2中预计算的目标人脸模型标记点和顶点之间的径向函数信息,是根据步骤3求得的第k帧运动序列的径向基权值矩阵W中提取的权值系数；

步骤5：利用下面的公式求出每一帧目标人脸模型上每个顶点的位置

$v_i=v_i^k+v_i^0,$

所述是目标人脸模型上第i个顶点在初始状态,即静止时的空间位置；是步骤4求得的第k帧运动序列中第i个顶点的位移,v_i就是第k帧运动序列中第i个顶点的空间位置；对于一个运动捕捉序列,重复步骤3到步骤5,即可求出目标人脸模型上每一帧每个顶点的位置,实时更新每个顶点的空间坐标位置就可产生人脸表情动画。

本发明原理：对于人脸表情重定向过程，使用基于测地距的径向基函数方法，建立首帧运动捕捉标记点和目标人脸模型标记点之间的运动关联，并将这种运动关联运用到其他帧的捕捉数据，从而得到目标人脸模型所有帧的标记点运动情况。对于人脸表情动画过程，再建立一个基于测地距的径向基函数插值模型，通过目标模型上标记点的位移求解出所有顶点的位移，实现对整个人脸网格的变形。

本发明与现有技术相比具有以下优点：

1.使用基于测地距的径向基函数方法实现人脸表情的重定向和动画，可以将一个源表情应用到多个不同的人脸模型，实现了运动捕捉数据的重用，节约了动画制作的成本。

2.采用基于测地距的径向基函数方法，考虑了人脸网格结构，避免了一般的径向基函数方法出现的动画失真情况，也不需要形状融合方法那样需要构建大量的表情库。在解决径向基函数方法的失真问题中，常见的措施是将人脸进行手工分区，这种策略在一定程度上解决了径向基函数方法的全局性问题，但是在分区边界处容易出现运动不连续的情况，并且人脸表情运动的机理本来就十分复杂，分区策略并不能真正考虑到人脸表情运动的机理。使用基于测地距的径向基函数方法，则是从人脸网格的实际结构出发实现表情动画，结果更具有真实感。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1本发明算法流程图。

图2标记点的设定方式示意图。

图3首帧序列三角剖分的结果示意图。

图4首帧序列去除伪关联的结果示意图。

图5系统实现结果。

具体实施方式

图1所示为本发明的算法流程图，其具体包括以下技术环节：

第一步：首帧运动捕捉数据的预处理，其包括以下3个步骤：

步骤1：导入一个表情运动捕捉序列，提取首帧运动捕捉序列，对首帧序列中的标记点位置进行三角剖分，形成一个首帧序列的三角网格；

步骤2：根据人脸的语义特征，在首帧序列的三角网格中，去除眼睛及嘴部区域的伪关联；

步骤3：依据去除伪关联后的首帧序列的三角网格中标记点之间的关联，求解标记点之间的测地距；

第二步：构建表情运动重定向模型

建立首帧运动捕捉数据与目标人脸模型标记点之间的映射关系，其可以表示如下

所述是首帧运动捕捉序列中的标记点的空间坐标(x_i,y_i,z_i)；所述x_i，y_i和z_i的单位均为毫米；是首帧序列中两个标记点之间的测地距，所述测地距单位是毫米；w_j是待求的权值系数；n是标记点的个数，所述n是一个整数，根据初始设置的标记点个数其值为60；是目标人脸模型上第i个标记点的空间坐标(x_i,y_i,z_i)；所述x_i，y_i和z_i的单位均为毫米，1≤i,j≤n；是一个多项式，其是一个仿射变换，在求解公式组成的线性系统时，同时计算该多项式项：

若将上述线性系统写成如下矩阵形式：

M=Φ·W，

所述M∈R^n+3，3是目标人脸模型上标记点的空间位置矩阵，Φ是基于首帧序列的标记点间测地距的径向基函数组成的矩阵，

所述权值矩阵W通过公式下式求出，

W=Φ^-1M，

通过上述权值矩阵的求解公式，得到了首帧序列标记点与目标人脸模型上标记点之间的映射关系，对于第k帧捕捉序列，将公式M＝Φ·W中的Φ换成关于当前帧标记点位置的所述k是表情运动序列的长度，即帧长度；从而可以求得当前帧目标人脸模型上标记点的位置矩阵M；

第三步：基于测地距的径向基函数目标人脸表情动画模型，其有以下几个步骤：

步骤1：在目标人脸模型上搜索与每个标记点空间上最匹配的顶点，由于目标模型上的标记点是依据原始人脸模型上标记点的位置手动设定的，它与目标人脸模型上的顶点没有直接的关联，在求解目标人脸模型上标记点与顶点之间的测地距之前，要保证所有标记点与顶点在同一个网格上，并且顶点与面片之间的关系已经建立；

步骤2：预计算目标人脸模型上顶点和标记点之间的测地距 是目标人脸模型上第i个顶点的空间坐标(x_i,y_i,z_i)，所述x_i，y_i和z_i的单位均为毫米；m′_j是目标人脸模型上与第j个标记点最匹配的顶点的空间坐标(x_j,y_j,z_j)，所述x_j，y_j和z_j的单位均为毫米；为了保证动画的效率，可以进一步预计算目标人脸模型上标记点和顶点之间的径向函数信息并且

所述r为经验值，r=0.375；

此外，所述目标人脸模型上标记点之间的径向基函数信息 也可先行计算，以便于实时求解每一帧的径向基权值矩阵,这里标记点之间的距离是欧式距离；

步骤3：针对每一帧的运动数据，在目标人脸模型标记点和当前帧标记点的位移之间构建一个径向基函数训练模型，求解出每一帧的径向基权值矩阵W＝Φ^-1M，Φ使用步骤2中预计算标记点之间的径向基函数以减少实时运算的消耗，M为每一帧目标人脸模型上标记点的位移矩阵，这里的位移是第二步求解出的当前帧标记点的空间位置与目标人脸模型标记点的空间位置的差值；

步骤4：利用下面的公式建立一个变形模型

所述是第k帧运动序列中第i个顶点的位移，该位移用一个三维坐标表示，其中和的单位都是毫米，是步骤2中预计算的目标人脸模型标记点和顶点之间的径向函数信息，是根据步骤3求得的第k帧运动序列的径向基权值矩阵W中提取的权值系数；

步骤5：利用下面的公式求出每一帧目标人脸模型上每个顶点的位置

$v_i=v_i^k+v_i^0,$

其中，是目标人脸模型上第i个顶点在初始状态，即静止时的空间位置；是步骤4求得的第k帧运动序列中第i个顶点的位移，v_i就是第k帧运动序列中第i个顶点的空间位置。

对于一个运动捕捉序列，重复步骤3到步骤5，即可求出目标人脸模型上每一帧每个顶点的位置，实时更新每个顶点的空间坐标位置，这样就可产生人脸表情动画。

本发明的实施例是在以本发明技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。实例选取一个表情序列进行验证，人脸标记点的设定方式如图2所示，标记点个数为60，采样频率60fps。

具体实施步骤为：

步骤1：采集原始数据并对数据进行简单的去噪处理。数据存储格式如下：

FRAME1

MARKER1-116.271363-114.849685162.238128

MARKER1-109.013663-94.76932393.733788

MARKER2-110.722049-72.05035187.020620

MARKER3-129.460634-133.89104781.189525

……

FRAME2

……

……

其中FRAMEn表示为第n帧数据

MARKERm表示第m个特征标记点，随后的三个数分别表示其x，y，z坐标，单位毫米。

步骤2：载入目标人脸模型。该模型是利用两张人脸照片从FaceGen软件中导出的一个中性表情的人脸模型，经过适当剪裁，保留面部主要区域。裁剪后的3D模型保存为*.head格式的文件，文件格式为：

mtllib ll.mtl

o ll

g eyeL_hi

s 1

v 30.190384 50.882282 37.276485

v 32.68677946.67993933.907310

v 33.70285446.26087231.455612

v 33.85691147.09272430.076042

……

vt 0.2943200.382841

vt 0.1400060.281843

vt 0.1216410.190688

……

usemtl Texture0

f 47 44 45

f 47 45 1

f 52 48 49

……

g eyeR_hi

s 2

……

其中，“o”代表该文件内所有的几何对象的名称，“g”是各个具体对象的名称，“s”是具体对象的索引，“v”代表顶点的三维坐标，“vt”是纹理坐标，“usemtlTexture0”代表所使用的纹理图片的名称，“f”是面片的顶点索引。

步骤3：载入一个运动捕捉序列。

步骤4：对首帧运动捕捉序列进行三角剖分，并去除伪关联。图3和图4分别给出了首帧序列的三角剖分示意图和去除伪关联后的示意图。对去除伪关联后的人脸拓扑结构文件进行保存，方便以后的调用，该文件的格式是*.drlt。

DataRelation

0 1 3 4 8 end

1 0 2 4 5 end

21 56 11 end

……

End

Faces

59 36 52

59 52 58

58 52 57

……

End

该文件主要有两部分，前一部分是每个标记点的一阶相邻标记点索引，每一行的第一个数字是标记点索引，后面为该标记点的一阶相邻标记点。后一部分是Faces，每一行表示一个三角面片的标记点索引。

步骤5：载入目标人脸模型的标记点配置文件。目标人脸模型上的标记点配置方式是参照原始人脸模型上标记点的配置方式设置的，可以通过交互方法进行修改和保存，文件存储的格式是*.map格式：

MK0 56.623833-24.88099977.266708

MK1 33.4297226.81026686.113258

MK2 7.50189329.73040883.989113

……

其中，“MKn”表示第n个标记点，随后的三个数分别表示其x，y，z坐标，单位毫米。

图2给出了标记点的配置方式示意图。

步骤6：载入人脸拓扑结构文件。

步骤7：对首帧序列中标记点之间的测地距，目标模型上标记点和顶点之间的测地距，以及其他的径向基函数信息进行预计算，并且实现从原始运动捕捉空间到目标模型运动空间的转换，具体的转换算法在本发明专利的技术环节2中已经给出。

步骤8：对每一帧捕捉数据，调用基于测地距径向基函数的变形算法实现人脸表情动画，该算法在本发明专利的技术环节3已经详细叙述过了。

图5给出了使用本文所提出的算法针对一个运动捕捉序列驱动一个个性目标人脸模型产生的表情动画结果。利用基于测地距的径向基函数方法实现了从运动捕捉空间到目标人脸模型运动空间的转化，可以将同一个捕捉序列应用到不同的目标模型产生真实、自然的人脸表情变化。

Claims (1)

1.基于测地距的径向基函数人脸表情重定向与动画方法，其特征在于：

第一步：首帧运动捕捉数据的预处理，其包括以下3个步骤：

步骤1：导入一个表情运动捕捉序列，提取首帧运动捕捉序列，对首帧序列中的标记点位置进行三角剖分，形成一个首帧序列的三角网格；

步骤2：根据人脸的语义特征，在首帧序列的三角网格中，去除眼睛及嘴部区域的伪关联；

步骤3：依据去除伪关联后的首帧序列的三角网格中标记点之间的关联，求解标记点之间的测地距；

第二步：构建表情运动重定向模型；

建立首帧运动捕捉数据与目标人脸模型标记点之间的映射关系，其可以表示如下

所述是首帧运动捕捉序列中的标记点的空间坐标(x_i,y_i,z_i)；所述x_i，y_i和z_i的单位均为毫米；是首帧序列中两个标记点之间的测地距，所述测地距单位是毫米；w_j是待求的权值系数；n是标记点的个数，所述n是一个整数，根据初始设置的标记点个数其值为60；是目标人脸模型上第i个标记点的空间坐标(x_i,y_i,z_i)；所述x_i，y_i和z_i的单位均为毫米，1≤i,j≤n；是一个多项式，其是一个仿射变换，在求解公式组成的线性系统时，同时计算该多项式项：

若将上述线性系统写成如下矩阵形式：

M＝Φ·W,

所述M∈R^n+3,3是目标人脸模型上标记点的空间位置矩阵，Φ是基于首帧序列的标记点间测地距的径向基函数组成的矩阵，所述权值矩阵W通过公式下式求出,

W＝Φ^-1M,

通过上述权值矩阵的求解公式，得到了首帧序列标记点与目标人脸模型上标记点之间的映射关系,对于第k帧捕捉序列,将公式M＝Φ·W中的Φ换成关于当前帧标记点位置的所述k是表情运动序列的长度，即帧长度；从而可以求得当前帧目标人脸模型上标记点的位置矩阵M；

第三步：建立并优化基于测地距的径向基函数目标人脸表情的动画模型，其有以下几个步骤：

步骤1：在目标人脸模型上搜索与每个标记点空间上最匹配的顶点，由于目标模型上的标记点是依据原始人脸模型上标记点的位置手动设定的，它与目标人脸模型上的顶点没有直接的关联，在求解目标人脸模型上标记点与顶点之间的测地距之前，要保证所有标记点与顶点在同一个网格上,并且顶点与面片之间的关系已经建立；

步骤2：预计算目标人脸模型上顶点和标记点之间的测地距 是目标人脸模型上第i个顶点的空间坐标(x_i,y_i,z_i)，所述x_i，y_i和z_i的单位均为毫米；m'_j是目标人脸模型上与第j个标记点最匹配的顶点的空间坐标(x_j,y_j,z_j),所述x_j,y_j和z_j的单位均为毫米；为了保证动画的效率,可以进一步预计算目标人脸模型上标记点和顶点之间的径向函数信息

并且所述r为经验值,r＝0.375；

所述目标人脸模型上标记点之间的径向基函数信息 $r_i={\min }_{i\≠j}\left(\right||m_i^0-m_j^0|\left|\right),$ 可先行计算，以便于实时求解每一帧的径向基权值矩阵,这里标记点之间的距离是欧式距离；

步骤3：针对每一帧的运动数据,在目标人脸模型标记点和当前帧标记点的位移之间构建一个径向基函数训练模型,求解出每一帧的径向基权值矩阵W＝Φ^-1M₁,Φ使用步骤2中预计算标记点之间的径向基函数以减少实时运算的消耗,M₁为每一帧目标人脸模型上标记点的位移矩阵，这里的位移是将第二步求得的当前帧目标人脸模型上标记点的位置矩阵减去目标人脸模型上标记点的空间位置即得到位移矩阵M₁；

步骤4：利用下面的公式建立一个变形模型

所述是第k帧运动序列中第i个顶点的位移,该位移用一个三维坐标表示,其中和的单位都是毫米，是步骤2中预计算的目标人脸模型标记点和顶点之间的径向函数信息,是根据步骤3求得的第k帧运动序列的径向基权值矩阵W中提取的权值系数；

步骤5：利用下面的公式求出每一帧目标人脸模型上每个顶点的位置

$v_i=v_i^k+v_i^0,$

所述是目标人脸模型上第i个顶点在初始状态,即静止时的空间位置；是步骤4求得的第k帧运动序列中第i个顶点的位移,v_i就是第k帧运动序列中第i个顶点的空间位置；对于一个运动捕捉序列,重复步骤3到步骤5,即可求出目标人脸模型上每一帧每个顶点的位置,实时更新每个顶点的空间坐标位置就可产生人脸表情动画。