CN111768476A - 一种基于网格变形的表情动画重定向方法及系统 - Google Patents

Abstract

本发明公开了一种基于网格变形的表情动画重定向方法及系统，其中方法包括：获取正面人脸彩色和深度图像信息；对正面人脸彩色图像进行特征点定位，确定人脸标准模型低层级顶点对应的图像坐标信息；建立彩色图像坐标系与标准人脸模型坐标系之间的对应关系，并根据低层级顶点与中间层级顶点间的Sibson局部坐标对应关系求得标准人脸模型的中间层级顶点对应的二维图像坐标；获得中间层级顶点在模型坐标系下的三维位置信息；以中间层级顶点作为网格变形的控制顶点对标准人脸模型进行变形，生成特征化的三维人脸模型；通过纹理映射，完成三维人脸模型的构建。本发明在提高建模效率的同时通过创新提出的网格变形方法确保了所模拟的人脸的真实感。

Description

一种基于网格变形的表情动画重定向方法及系统

技术领域

本发明涉及表情仿真技术领域，具体涉及一种基于网格变形的表情动画重定向方法及系统。

背景技术

三维人脸建模技术一直是计算机图形学与计算机视觉领域的热门研究课题，被广泛应用于游戏娱乐、影视动画、公安安全、医疗技术等多个领域，因此如何合成具有高度真实感的三维人脸是研究者不断追求的目标。近些年，Kinect深度相机由于建模成本低廉被广泛应用于三维人脸建模领域，但正是因为Kinect深度相机受限于自身廉价的深度成像原理，通常分辨率较低，建模误差较大。

为了解决这个问题，有学者提出了基于Kinect相机的建模改进方法，通过快速地整合多帧图像完成三维人脸的重建，但该改进方法需要比较强大的显卡支持，对计算量的要求过大。

也有学者提出还是使用单个Kinect相机对正面人脸进行图像采集，并通过脸部特征点的位置将标准的人脸模型与相应的深度图像对齐，然后采用非刚性配准和改进的高斯牛顿算法对标准人脸进行优化变形，使其与深度图像最佳匹配以完成人脸建模工作。但该方法由于点云数据量较大，优化变形过程计算复杂，在建模效率上无法得到有效保证。

发明内容

本发明的目的在于提供一种基于网格变形的表情动画重定向方法及系统，以解决上述技术问题。

为达此目的，本发明采用以下技术方案：

提供一种基于网格变形的表情动画重定向方法，包括：

获取正面人脸彩色和深度图像信息；

对正面人脸彩色图像进行特征点定位，确定人脸标准模型低层级顶点对应的图像坐标信息；

建立彩色图像坐标系与标准人脸模型坐标系之间的对应关系，并根据所述低层级顶点与中间层级顶点间的Sibson局部坐标对应关系求得所述标准人脸模型的所述中间层级顶点对应的二维图像坐标；

通过正面人脸的深度图像信息以及彩色图像坐标系与标准人脸模型坐标系间的对应关系，获得所述中间层级顶点在模型坐标系下的三维位置信息；

以所述中间层级顶点作为网格变形的控制顶点对所述标准人脸模型进行变形，生成特征化的三维人脸模型；

通过纹理映射，最终完成真实感的三维人脸模型的构建。

作为本发明的一种优选方案，通过Kinect深度相机获取正面人脸彩色和深度图像信息。

作为本发明的一种优选方案，通过STASM特征点定位算法对正面人脸彩色图像进行特征点定位。

作为本发明的一种优选方案，所述标准人脸模型由347个顶点和630个三角面组成。

作为本发明的一种优选方案，对所述标准人脸模型进行网格变形的方法为：

将所述三角面视为一三角网格模型，将所述三角网格模型表示为M＝(E,V)，

E为所述三角面的边的集合；

V＝(v₁,…,v_n)为所述三角网格模型中所有顶点的三维位置信息；

n为所述三角网格模型中的顶点的数量；

根据下式(1)计算所述三角网格模型中的所有顶点的变形坐标：

公式(1)中，δ_i表示所述三角网格模型中的顶点i经网格变形后的变形坐标；

表示所述三角网格模型中的顶点v_i经网格变形后的在X轴向上的变形坐标；

表示所述三角网格模型中的顶点v_i经网格变形后的在Y轴向上的变形坐标；

表示所述三角网格模型中的顶点v_i经网格变形后的在Z轴向上的变形坐标；

v表示顶点v_i在未变形前的原始三维位置信息；

d_i＝|N(i)|为顶点v_i的度，即v_i的邻接顶点的数量；

N(i)＝{j|(i,j)∈E}为顶点v_i的所有邻接顶点的集合；

设有矩阵L，使得LV＝Δ，Δ表示所述三角网格模型中的所有顶点的变形坐标组合的矩阵；

用网格的邻接矩阵A表示所述三角网格模型中的各顶点的连接关系，所述三角网格模型中各顶点的连接关系通过下式(2)表达：

当顶点v_i和v_j之间有边直接相连时，A_ij＝1；

当顶点v_i和v_j之间不直接相连时，A_ij＝0；

用对角矩阵D＝diag(d₁,…,d_n)表示所述三角网格模型的度矩阵，d_i为D对角线上的元素D_ij，所有非对角线上的元素D_ij＝0(i≠j)；

通过邻接矩阵A和对角矩阵D计算变形转换矩阵L，变形转换矩阵L通过下式(3)计算而得：

L＝I-D^-1A 公式(3)

公式(3)中，I为单位矩阵；

L满足：

确定网格变形的约束顶点，并以所述三角网格模型中的各所述约束顶点的位置为约束条件，在各所述约束顶点的位置发生变化时，通过公式LV＝Δ求得所述三角网格模型的所有顶点经网格变形后的变形坐标。

本发明还提供了一种基于网格变形的表情动画重定向系统，可实现所述的表情动画重定向方法，该系统包括：

人脸图像信息获取模块，用于获取正面人脸彩色和深度图像信息；

标准人脸模型低层级顶点确定模块，连接所述人脸图像信息获取模块，用于对正面人脸彩色图像进行特征点定位，确定标准人脸模型的低层级顶点对应的图像坐标信息；

坐标系对应关系建立模块，用于建立人脸彩色图像坐标系与标准人脸模型坐标系之间的对应关系；

中间层级顶点二维图像坐标确定模块，连接所述坐标系对应关系建立模块，用于基于所建立的彩色图像坐标系与标准人脸模型坐标系之间的对应关系，并根据所述低层级顶点与中间层级顶点间的Sibson局部坐标对应关系求得所述标准人脸模型的所述中间层级顶点对应的二维图像坐标；

中间层级顶点三维位置信息计算模块，分别连接所述人脸图像信息获取模块和所述坐标系对应关系建立模块，用于通过正面人脸的深度图像信息以及所确定的彩色图像坐标系与标准人脸模型坐标系间的对应关系，获得中间层级顶点在模型坐标系下的三维位置信息；

标准人脸模型变形模块，连接所述中间层级顶点三维位置信息计算模块，用于以所述中间层级顶点作为网格变形的控制顶点对所述标准人脸模型进行变形，生成特征化的三维人脸模型；

三维人脸模型构建模块，连接所述标准人脸模型变形模块，用于通过纹理映射，完成对所述三维人脸模型的构建。

作为本发明的一种优选方案，通过Kinect深度相机获取正面人脸彩色和深度图像信息。

作为本发明的一种优选方案，通过STASM特征点定位算法对正面人脸彩色图像进行特征点定位。

作为本发明的一种优选方案，所述标准人脸模型由347个顶点和630个三角面组成。

作为本发明的一种优选方案，对所述标准人脸模型进行网格变形的方法为：

将所述三角面视为一三角网格模型，将所述三角网格模型表示为M＝(E,V)，

E为所述三角面的边的集合；

V＝(v₁,…,v_n)为所述三角网格模型中所有顶点的三维位置信息；

n为所述三角网格模型中的顶点的数量；

根据下式(1)计算所述三角网格模型中的所有顶点的变形坐标：

公式(1)中，δ_i表示所述三角网格模型中的顶点i经网格变形后的变形坐标；

表示所述三角网格模型中的顶点v_i经网格变形后的在X轴向上的变形坐标；

表示所述三角网格模型中的顶点v_i经网格变形后的在Y轴向上的变形坐标；

表示所述三角网格模型中的顶点v_i经网格变形后的在Z轴向上的变形坐标；

v表示顶点v_i在未变形前的原始三维位置信息；

d_i＝|N(i)|为顶点v_i的度，即v_i的邻接顶点的数量；

N(i)＝{j|(i,j)∈E}为顶点v_i的所有邻接顶点的集合；

设有矩阵L，使得LV＝Δ，Δ表示所述三角网格模型中的所有顶点的变形坐标组合的矩阵；

用网格的邻接矩阵A表示所述三角网格模型中的各顶点的连接关系，所述三角网格模型中各顶点的连接关系通过下式(2)表达：

当顶点v_i和v_j之间有边直接相连时，A_ij＝1；

当顶点v_i和v_j之间不直接相连时，A_ij＝0；

用对角矩阵D＝diag(d₁,…,d_n)表示所述三角网格模型的度矩阵，d_i为D对角线上的元素D_ij，所有非对角线上的元素D_ij＝0(i≠j)；

通过邻接矩阵A和对角矩阵D计算变形转换矩阵L，变形转换矩阵L通过下式(3)计算而得：

L＝I-D^-1A 公式(3)

公式(3)中，I为单位矩阵；

L满足：

确定网格变形的约束顶点，并以所述三角网格模型中的各所述约束顶点的位置为约束条件，在各所述约束顶点的位置发生变化时，通过公式LV＝Δ求得所述三角网格模型的所有顶点经网格变形后的变形坐标。

本发明通过结合深度相机采集到的彩色和深度图像信息获取脸部离散的顶点位置信息，并以此作为约束对一个标准的三维人脸模型按照预先确定的网格变形方法进行网格变形，变形得到的人脸网格模型通过纹理贴图可获得较好真实感的三维人脸模型，本发明在提高建模效率的同时通过创新提出的网格变形方法确保了所模拟的人脸的真实感。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例所述的基于网格变形的表情动画重定向方法的步骤图；

图2是本发明一实施例所述的基于网格变形的表情动画重定向系统的结构图；

图3是低层级顶点在标准人脸模型上的分布图；

图4是中间层级顶点在标准人脸模型上的分布图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明一实施例提供的基于网格变形的表情动画重定向方法，请参照图1，包括：

步骤S1，获取正面人脸彩色和深度图像信息；本实施例优选通过Kinect深度相机获取正面人脸的彩色和深度图像信息。由于Kinect相机采集到的深度图像存在跳变现象，如果只对一幅深度图进行滤波处理，仍会出现跳变现象，所以在本实施例中通过采集多帧深度图像并对多帧(优选为7帧)深度图像作加权平均处理，以减小跳变现象。

步骤S2，对正面人脸彩色图像进行特征点定位，确定人脸标准模型低层级顶点对应的图像坐标信息；本实施例优选采用基于改进主动形状模型(active shape model，ASM)算法的堆叠修剪活动形状模型(stacked trimmed active shape model，STASM)算法对Kinect相机采集到的正面人脸彩色图像进行特征点定位构建局部特征模型，所确定的二维人人脸特征点为低层级顶点(由STASM算法中定义的除去两个眼睛中心点剩余的75个特征点对应的顶点组合)。请参照图3，本实施例定义眼睛两侧的两个顶点M₁和M₂，该两个顶点作为约束人脸模型整体大小的参考点；定义鼻尖处的顶点M₃，该点作为图像深度信息与标准人脸模型坐标对齐的参考点。

步骤S3，建立彩色图像坐标系与标准人脸模型坐标系之间的对应关系，并根据低层级顶点与中间层级顶点间的Sibson局部坐标对应关系求得标准人脸模型的中间层级顶点对应的二维图像坐标。Kinect受限于自身的低分辨率和误差性，深度图像经过相应的平滑处理后，对于一些细节部位(鼻尖、眼睛等)，深度图仍难以有效反映出形状的细节信息。然而根据观察，在深度变化不明显的“大表面”区域(额头、眼睛外轮廓等)，表面较为平滑、细节较少，深度信息较为平滑且稳定，可以获得较为可信的深度数据。同时这些部位的顶点能够勾勒出人脸的外轮廓信息，可以很好地反映人脸的形状特征。因此对于中间层级中顶点的选取，主要集中在深度信息可信的“大表面”区域。图4示出了中间层级顶点的分布图。本实施例选取“大表面”区域的163个顶点作为标准人脸模型的中间层级顶点。通过低层级顶点与中间层级顶点间的Sibson局部坐标对应关系求得中间层级顶点对应的二维图像坐标的方法为现有技术，所以具体求解过程在此不做阐述。

步骤S4，通过正面人脸的深度图像信息以及彩色图像坐标系与标准人脸模型坐标系间的对应关系，获得中间层级顶点在模型坐标系下的三维位置信息；根据深度图像信息及彩色图像坐标系与标准人脸模型坐标系间的对应关系求解中间层级顶点在标准人脸模型坐标系下的三维位置信息的方法为现有技术，所以具体求解过程在此不做阐述。

步骤S5，以中间层级顶点作为网格变形的控制顶点对标准人脸模型进行变形，生成特征化的三维人脸模型。经变形后的顶点作为标准人脸模型的高层级顶点。最后形成由347个顶点和630个三角面组成的标准人脸模型。

步骤S6，通过纹理映射，最终完成真实感的三维人脸模型构建。

步骤S5中，对标准人脸模型进行网格变形的方法为：

将三角面视为一三角网格模型，将三角网格模型表示为M＝(E,V)，

E为三角面的边的集合；

V＝(v₁,…,v_n)为三角网格模型中所有顶点的三维位置信息；

n为三角网格模型中的顶点的数量；

根据下式(1)计算三角网格模型中的所有顶点的变形坐标：

公式(1)中，δ_i表示三角网格模型中的顶点i经网格变形后的变形坐标；

表示三角网格模型中的顶点v_i经网格变形后的在X轴向上的变形坐标；

表示三角网格模型中的顶点v_i经网格变形后的在Y轴向上的变形坐标；

表示三角网格模型中的顶点v_i经网格变形后的在Z轴向上的变形坐标；

v表示顶点v_i在未变形前的原始三维位置信息；

d_i＝|N(i)|为顶点v_i的度，即v_i的邻接顶点的数量；

N(i)＝{j|(i,j)∈E}为顶点v_i的所有邻接顶点的集合；

设有矩阵L，使得LV＝Δ，Δ表示三角网格模型中的所有顶点的变形坐标组合的矩阵；

用网格的邻接矩阵A表示三角网格模型中的各顶点的连接关系，三角网格模型中各顶点的连接关系通过下式(2)表达：

当顶点v_i和v_j之间有边直接相连时，A_ij＝1；

当顶点v_i和v_j之间不直接相连时，A_ij＝0；

用对角矩阵D＝diag(d₁,…,d_n)表示三角网格模型的度矩阵，d_i为D对角线上的元素D_ij，所有非对角线上的元素D_ij＝0(i≠j)；

通过邻接矩阵A和对角矩阵D计算变形转换矩阵L，变形转换矩阵L通过下式(3)计算而得：

L＝I-D^-1A 公式(3)

公式(3)中，I为单位矩阵；

L满足：

确定网格变形的约束顶点，并以三角网格模型中的各约束顶点的位置为约束条件，在各约束顶点的位置发生变化时，通过公式LV＝Δ求得三角网格模型的所有顶点经网格变形后的变形坐标。

综上，本发明通过结合深度相机采集到的彩色和深度图像信息获取脸部离散的顶点位置信息，并以此作为约束对一个标准的三维人脸模型按照预先确定的网格变形方法进行网格变形，变形得到的人脸网格模型通过纹理贴图可获得较好真实感的三维人脸模型，本发明在提高建模效率的同时通过创新提出的网格变形方法确保了所模拟的人脸的真实感。

请参照图2，本发明还提供了一种基于网格变形的表情动画重定向系统，可实现上述的表情动画重定向方法，该系统包括：

人脸图像信息获取模块1，用于获取正面人脸彩色和深度图像信息；

标准人脸模型低层级顶点确定模块2，连接人脸图像信息获取模块1，用于对正面人脸彩色图像进行特征点定位，确定标准人脸模型的低层级顶点对应的图像坐标信息；

坐标系对应关系建立模块3，用于建立人脸彩色图像坐标系与标准人脸模型坐标系之间的对应关系；

中间层级顶点二维图像坐标确定模块4，连接坐标系对应关系建立模块3，用于基于所建立的彩色图像坐标系与标准人脸模型坐标系之间的对应关系，并根据低层级顶点与中间层级顶点间的Sibson局部坐标对应关系求得标准人脸模型的中间层级顶点对应的二维图像坐标；

中间层级顶点三维位置信息计算模块5，分别连接人脸图像信息获取模块1和坐标系对应关系建立模块3，用于通过正面人脸的深度图像信息以及所确定的彩色图像坐标系与标准人脸模型坐标系间的对应关系，获得中间层级顶点在模型坐标系下的三维位置信息；

标准人脸模型变形模块6，连接中间层级顶点三维位置信息计算模块5，用于以中间层级顶点作为网格变形的控制顶点对标准人脸模型进行变形，生成特征化的三维人脸模型；

三维人脸模型构建模块7，连接标准人脸模型变形模块6，用于通过纹理映射，完成对三维人脸模型的构建。

上述表情动画重定向系统优选通过Kinect深度相机获取正面人脸彩色和深度图像信息；通过STASM特征点定位算法对正面人脸彩色图像进行特征点定位。

上述的表情动画重定向系统对标准人脸模型进行网格变形的方法为：

将三角面视为一三角网格模型，将三角网格模型表示为M＝(E,V)，

E为三角面的边的集合；

V＝(v₁,…,v_n)为三角网格模型中所有顶点的三维位置信息；

n为三角网格模型中的顶点的数量；

根据下式(1)计算三角网格模型中的所有顶点的变形坐标：

公式(1)中，δ_i表示三角网格模型中的顶点i经网格变形后的变形坐标；

表示三角网格模型中的顶点v_i经网格变形后的在X轴向上的变形坐标；

表示三角网格模型中的顶点v_i经网格变形后的在Y轴向上的变形坐标；

表示三角网格模型中的顶点v_i经网格变形后的在Z轴向上的变形坐标；

v表示顶点v_i在未变形前的原始三维位置信息；

d_i＝|N(i)|为顶点v_i的度，即v_i的邻接顶点的数量；

N(i)＝{j|(i,j)∈E}为顶点v_i的所有邻接顶点的集合；

设有矩阵L，使得LV＝Δ，Δ表示三角网格模型中的所有顶点的变形坐标组合的矩阵；

用网格的邻接矩阵A表示三角网格模型中的各顶点的连接关系，三角网格模型中各顶点的连接关系通过下式(2)表达：

当顶点v_i和v_j之间有边直接相连时，A_ij＝1；

当顶点v_i和v_j之间不直接相连时，A_ij＝0；

用对角矩阵D＝diag(d₁,…,d_n)表示三角网格模型的度矩阵，d_i为D对角线上的元素D_ij，所有非对角线上的元素D_ij＝0(i≠j)；

通过邻接矩阵A和对角矩阵D计算变形转换矩阵L，变形转换矩阵L通过下式(3)计算而得：

L＝I-D^-1A 公式(3)

公式(3)中，I为单位矩阵；

L满足：

确定网格变形的约束顶点，并以三角网格模型中的各约束顶点的位置为约束条件，在各约束顶点的位置发生变化时，通过公式LV＝Δ求得三角网格模型的所有顶点经网格变形后的变形坐标。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (10)

1.一种基于网格变形的表情动画重定向方法，其特征在于，包括：

获取正面人脸彩色和深度图像信息；

对正面人脸彩色图像进行特征点定位，确定人脸标准模型低层级顶点对应的图像坐标信息；

建立彩色图像坐标系与标准人脸模型坐标系之间的对应关系，并根据所述低层级顶点与中间层级顶点间的Sibson局部坐标对应关系求得所述标准人脸模型的所述中间层级顶点对应的二维图像坐标；

通过正面人脸的深度图像信息以及彩色图像坐标系与标准人脸模型坐标系间的对应关系，获得所述中间层级顶点在模型坐标系下的三维位置信息；

以所述中间层级顶点作为网格变形的控制顶点对所述标准人脸模型进行变形，生成特征化的三维人脸模型；

通过纹理映射，最终完成真实感的三维人脸模型的构建。

2.根据权利要求1所述的基于网格变形的表情动画重定向方法，其特征在于，通过Kinect深度相机获取正面人脸彩色和深度图像信息。

3.根据权利要求1所述的基于网格变形的表情动画重定向方法，其特征在于，通过STASM特征点定位算法对正面人脸彩色图像进行特征点定位。

4.根据权利要求1所述的基于网格变形的表情动画重定向方法，其特征在于，所述标准人脸模型由347个顶点和630个三角面组成。

5.根据权利要求4所述的基于网格变形的表情动画重定向方法，其特征在于，对所述标准人脸模型进行网格变形的方法为：

将所述三角面视为一三角网格模型，将所述三角网格模型表示为M＝(E，V)，

E为所述三角面的边的集合；

V＝(v₁，…，v_n)为所述三角网格模型中所有顶点的三维位置信息；

n为所述三角网格模型中的顶点的数量；

根据下式(1)计算所述三角网格模型中的所有顶点的变形坐标：

公式(1)中，δ_i表示所述三角网格模型中的顶点i经网格变形后的变形坐标；

表示所述三角网格模型中的顶点v_i经网格变形后的在X轴向上的变形坐标；

表示所述三角网格模型中的顶点v_i经网格变形后的在Y轴向上的变形坐标；

表示所述三角网格模型中的顶点v_i经网格变形后的在Z轴向上的变形坐标；

v表示顶点v_i在未变形前的原始三维位置信息；

d_i＝|N(i)|为顶点v_i的度，即v_i的邻接顶点的数量；

N(i)＝{j|(i，j)∈E}为顶点v_i的所有邻接顶点的集合；

设有矩阵L，使得LV＝Δ，Δ表示所述三角网格模型中的所有顶点的变形坐标组合的矩阵；

用网格的邻接矩阵A表示所述三角网格模型中的各顶点的连接关系，所述三角网格模型中各顶点的连接关系通过下式(2)表达：

当顶点v_i和v_j之间有边直接相连时，A_ij＝1；

当顶点v_i和v_j之间不直接相连时，A_ij＝0；

用对角矩阵D＝diag(d₁，…，d_n)表示所述三角网格模型的度矩阵，d_i为D对角线上的元素D_ij，所有非对角线上的元素D_ij＝0(i≠j)；

通过邻接矩阵A和对角矩阵D计算变形转换矩阵L，变形转换矩阵L通过下式(3)计算而得：

L＝I-D^-1A 公式(3)

公式(3)中，I为单位矩阵；

L满足：

确定网格变形的约束顶点，并以所述三角网格模型中的各所述约束顶点的位置为约束条件，在各所述约束顶点的位置发生变化时，通过公式LV＝Δ求得所述三角网格模型的所有顶点经网格变形后的变形坐标。

6.一种基于网格变形的表情动画重定向系统，可实现如权1～5任意一项所述的表情动画重定向方法，其特征在于，包括：

人脸图像信息获取模块，用于获取正面人脸彩色和深度图像信息；

标准人脸模型低层级顶点确定模块，连接所述人脸图像信息获取模块，用于对正面人脸彩色图像进行特征点定位，确定标准人脸模型的低层级顶点对应的图像坐标信息；

坐标系对应关系建立模块，用于建立人脸彩色图像坐标系与标准人脸模型坐标系之间的对应关系；

中间层级顶点二维图像坐标确定模块，连接所述坐标系对应关系建立模块，用于基于所建立的彩色图像坐标系与标准人脸模型坐标系之间的对应关系，并根据所述低层级顶点与中间层级顶点间的Sibson局部坐标对应关系求得所述标准人脸模型的所述中间层级顶点对应的二维图像坐标；

中间层级顶点三维位置信息计算模块，分别连接所述人脸图像信息获取模块和所述坐标系对应关系建立模块，用于通过正面人脸的深度图像信息以及所确定的彩色图像坐标系与标准人脸模型坐标系间的对应关系，获得中间层级顶点在模型坐标系下的三维位置信息；

标准人脸模型变形模块，连接所述中间层级顶点三维位置信息计算模块，用于以所述中间层级顶点作为网格变形的控制顶点对所述标准人脸模型进行变形，生成特征化的三维人脸模型；

三维人脸模型构建模块，连接所述标准人脸模型变形模块，用于通过纹理映射，完成对所述三维人脸模型的构建。

7.根据权利要求6所述的基于网格变形的表情动画重定向系统，其特征在于，通过Kinect深度相机获取正面人脸彩色和深度图像信息。

8.根据权利要求6所述的基于网格变形的表情动画重定向系统，其特征在于，通过STASM特征点定位算法对正面人脸彩色图像进行特征点定位。

9.根据权利要求6所述的基于网格变形的表情动画重定向系统，其特征在于，所述标准人脸模型由347个顶点和630个三角面组成。

10.根据权利要求6所述的基于网格变形的表情动画重定向系统，其特征在于，对所述标准人脸模型进行网格变形的方法为：

将所述三角面视为一三角网格模型，将所述三角网格模型表示为M＝(E，V)，

E为所述三角面的边的集合；

V＝(v₁，…，v_n)为所述三角网格模型中所有顶点的三维位置信息；

n为所述三角网格模型中的顶点的数量；

根据下式(1)计算所述三角网格模型中的所有顶点的变形坐标：

公式(1)中，δ_i表示所述三角网格模型中的顶点i经网格变形后的变形坐标；

表示所述三角网格模型中的顶点v_i经网格变形后的在X轴向上的变形坐标；

表示所述三角网格模型中的顶点v_i经网格变形后的在Y轴向上的变形坐标；

表示所述三角网格模型中的顶点v_i经网格变形后的在Z轴向上的变形坐标；

v表示顶点v_i在未变形前的原始三维位置信息；

d_i＝|N(i)|为顶点v_i的度，即v_i的邻接顶点的数量；

N(i)＝{j|(i，j)∈E}为顶点v_i的所有邻接顶点的集合；

设有矩阵L，使得LV＝Δ，Δ表示所述三角网格模型中的所有顶点的变形坐标组合的矩阵；

用网格的邻接矩阵A表示所述三角网格模型中的各项点的连接关系，所述三角网格模型中各顶点的连接关系通过下式(2)表达：

当顶点v_i和v_j之间有边直接相连时，A_ij＝1；

当顶点v_i和v_j之间不直接相连时，A_ij＝0；

用对角矩阵D＝diag(d₁，…，d_n)表示所述三角网格模型的度矩阵，d_i为D对角线上的元素D_ij，所有非对角线上的元素D_ij＝0(i≠j)；

通过邻接矩阵A和对角矩阵D计算变形转换矩阵L，变形转换矩阵L通过下式(3)计算而得：

L＝I-D^-1A 公式(3)

公式(3)中，I为单位矩阵；

L满足：

确定网格变形的约束顶点，并以所述三角网格模型中的各所述约束顶点的位置为约束条件，在各所述约束顶点的位置发生变化时，通过公式LV＝Δ求得所述三角网格模型的所有顶点经网格变形后的变形坐标。

Images