CN105374063A - 基于半监督局部小块排列的人脸动画生成方法 - Google Patents

Abstract

本发明公开了一种基于半监督局部小块排列的人脸动画生成方法。本发明将人脸模型看成一个满足流形约束的三维数据顶点集，并假设待驱动的人脸小块的流形坐标和驱动后的人脸小块间相差一个局部线性变换。首先根据待驱动人脸模型的拓扑结构为每个顶点选择合适的邻域，进而构造该顶点相关的小块；然后把待驱动人脸的小块投影到流形子空间中，得到小块的流形坐标；最后利用一系列局部线性变换，根据待驱动的人脸小块的局部坐标求解驱动后的人脸小块，在此过程中利用一组已有的运动数据作为待驱动人脸相应顶点的标注数据来约束求解过程，使得待求的人脸小块能以半监督的方式求解。本方法提高了人脸驱动的准确性，改善了人脸驱动结果的视觉效果。

Description

基于半监督局部小块排列的人脸动画生成方法

技术领域

本发明涉及计算机人脸动画和视觉领域，尤其涉及半监督局部小块排列的人脸动画的生成方法。

背景技术

半监督局部小块排列的人脸动画生成方法是把人脸模型看成一个满足流形约束的三维数据顶点集，并假设待驱动的人脸小块的流形坐标和驱动后的人脸小块间相差一个局部线性变换。

使用数据驱动人脸动画有很多方法，例如融合形变的方法，表情编码技术等。融合形变方法是根据给定的运动数据将多个形变的目标人脸进行线性合并从而产生目标人脸。这种方法对所选择的关键形变有很大的依赖性，而且会耗费很大的人力，而且不能很好的保存人脸表情的细节问题。表情编码技术允许通过预定的参数创建面部表情，最受欢迎的表情编码技术有面部行为编码系统(FACS)和MPEG-4面部动画方法。表情编码方法只能处理明显的面部动画的改变，而忽略一些细微的改变。对于一些高分辨率的复杂的模型，运动数据和适当的参数很难对应起来。

人脸动画生成最适当的方法是使用运动数据直接驱动人脸模型，不仅可以记录全局的运动，而且可以记录面部的局部形变，同时也不需要繁琐的手动操作。Pighin等通过离散数据的插入，利用一组已知的面部特征值对人脸模型进行形变，从而产生较好的人脸动画，然而数据的插入依赖于特征值和人脸模型上的其他向量的欧氏距离矩阵，可能会产生不自然的人脸动画。拉普拉斯(Laplacian)方法是通过半监督方法将原始脸转换成目标脸，将一组已知的运动数据作为标签，约束条件是二者在每一点处都具有相似的拓扑结构。

基于半监督局部小块排列的人脸动画生成方法提高了人脸驱动的准确性，改善了人脸驱动结果的视觉效果，为影视制作与人机交互领域提供了新的技术与方法。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于半监督局部小块排列的人脸动画生成方法。本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1、给定待驱动的三维人脸模型，根据三维人脸模型的拓扑结构为模型中的每个顶点选择邻域，并根据邻域为每个顶点构造相应的局部小块；

步骤2、利用现有流形学习方法，把局部小块投影到流形子空间，得到各个局部小块在流形子空间中的流形坐标；

步骤3、为每个局部小块的流形坐标计算一个局部的线性变换，并将所有局部线性变换整合成一个排列矩阵，利用排列矩阵对待驱动的三维人脸模型的局部小块的流形坐标进行变换，使三维人脸模型的流形坐标转换为全局坐标；

步骤4、选择一组运动数据作为待驱动三维人脸模型的部分顶点的标注数据，构造人脸驱动的形状约束条件；

步骤5、将步骤4中的形状约束条件和步骤3中的局部小块计算线性变化的过程相结合，并通过求解最小二乘问题得到驱动后的人脸。

步骤1所述的根据待驱动的三维人脸模型，根据三维人脸模型的拓扑结构为模型中的每个顶点选择邻域，该邻域为三维人脸模型上所有边与当前顶点相连的顶点集合，同时每个顶点相应的局部小块包括该顶点本身以及该顶点的邻域。根据模型拓扑结构构造的局部小块能够有效捕捉模型的局部集合特征。

步骤2所述的流形学习方法为局部线性嵌入方法(LLE)或局部切空间排列方法(LTSA)，具体的局部线性嵌入方法(LLE)如下：

设为当前顶点，为的邻域顶点集，设和分别是和的流形坐标。当采用LLE时，LLE假设当前顶点可由它的邻域顶点线性重构得到，重构系数能够通过求解如下目标函数获得：

$\underset{w_i}{\arg \min }\left|\right|x_i^s-\underset{j=1}{\overset{k_i}{\Σ}}{x}_{i_j}^s{w}_{i_j}|{|}^2,$ (公式1)

其中是线性重构系数；指代邻域顶点的权重；k_i表示当前顶点领域中顶点的个数，符号||□||²表示向量的二范数，即向量所有元素平方和的平方根。在约束下，重构系数表示为： $w_{i_j}=\frac{{\mathrm{\Σ}}_{t=1}^{k_i}{M}_{jt}^{-1}}{{\mathrm{\Σ}}_{p=1}^{k_i}{\mathrm{\Σ}}_{q=1}^{k_i}{M}_{pq}^{-1}},$ 其中 $M_{jt}={(x_i^s-x_{i_j}^s)}^T(x_i^s-x_{i_t}^s).$ LLE认为可通过优化如下目标函数，从而用同样的重构系数来求解

$\begin{array}{c}\underset{{\hat{X}}_i^s}{\arg \min }\left|\right|{\hat{x}}_i^s-\underset{j=1}{\overset{k_i}{\Σ}}{\hat{x}}_{i_j}^s{w}_{i_j}|{|}^2\\ =\underset{{\hat{X}}_i^s}{\arg \min }trace\left({\hat{X}}_i^s\left[\begin{array}{c}-1\\ w_i\end{array}\right]\left[\begin{array}{cc}-1& w_i^T\end{array}\right]{\hat{X}}_i^{sT}\right)\\ =\underset{{\hat{X}}_i^s}{\arg \min }trace\left({\hat{X}}_i^s{L}_i{\hat{X}}_i^{sT}\right)\end{array},$ (公式2)

其中 $L_i=\left[\begin{array}{c}-1\\ w_i\end{array}\right]\left[\begin{array}{cc}-1& {w_i}^T\end{array}\right].$

局部切空间排列方法(LTSA)如下：

用局部切空间来估计局部小块流形坐标的近似值。每个局部小块的目标函数为：

$\underset{Q_i,{\mathrm{\Θ}}_i}{\arg \min }\left|\right|X_i^s{H}_{k_i+1}-Q_i{\mathrm{\Θ}}_i|{|}^2,$ (公式3)

其中 $H_{k_i+1}=I_{k_i+1}-e_{k_i+1}{e_{k_i+1}}^T/(k_i+1),e_{k_i+1}={\[1,\mathrm{...},1\]}^T,$ 是单位阵，Q_i是构成局部切空间的正交基，是局部小块中的顶点在这组正交基下的局部坐标。的作用是将局部小块中的所有顶点减去这些顶点的均值，相当于以均值为中心将小块坐标中心化。是矩阵的左奇异向量。因此，最优的Θ_i可表示为LTSA假设在Q_i和之间存在一个仿射变换，故有其中A_i是仿射变换矩阵，E_i是误差。

LTSA通过求解如下优化问题来计算 由于A_i可表示为上式可改写为:假设U_i是与的d个最大的奇异值对应的右奇异向量，原优化问题可表示为：

(公式4)

其中线性变化 $L_i=H_{k_i+1}(I_{k_i+1}-U_i{U_i}^T){(I_{k_i+1}-U_i{U_i}^T)}^T{H}_{k_i+1}.$

步骤3是将每个局部小块的流形坐标对应的局部线性变换表示为R_i和c_i，局部小块流形坐标转换为全局坐标通过如下优化问题来求解：

$\begin{array}{c}\underset{R_i,c_i}{\min }\left|\right|x_i^t-(c_i+R_i{\hat{x}}_i^s)|{|}^2+||x_{i_j}^t-(c_i+R_i{\hat{x}}_{i_j}^s)|{|}^2\\ =\underset{R_i,c_i}{\min }\left|\right|X_i^t-(c_i+R_i{\hat{X}}_i^s)\left|{|}_F^2\underset{R_i,c_i}{\min }\right|\left|X_i^t{\mathrm{\Φ}}_i\right|{|}_F^2\end{array}$ (公式5)

其中Φ_i是零空间为的正交投影，且Φ_i≈L_i，是局部小块转换后的全局坐标，符号表示矩阵的F范数，即矩阵所有元素平方和的平方根。

。因此优化问题的目标函数表示为：其中是排列矩阵，n是模型上顶点的总数。L可通过迭代公式L(b_i)＝L(b_i)+L_i,(i＝1,...,n)来计算，其中迭代前L的初始值设为0，b_i是第i个顶点处的局部小块所包含的顶点在整个人脸模型中的序号构成的集合。所以利用排列矩阵对待驱动模型的局部小块的流形坐标进行变换，小块流形坐标转换为全局坐标的过程表示为如下优化问题： $\underset{X^t}{\min }trace\left(X^t{\mathrm{LX}}^{tT}\right).$

步骤4是将在待驱动人脸上随机选择部分顶点作为有标注的数据，根据这些顶点的位置在演员面部标记特征点，利用运动捕捉设备跟踪演员面部产生运动时这些特征点的运动轨迹，把每一帧中特征点的位置作为一组运动数据，把运动数据看作标注数据，构造人脸驱动的形状约束条件。设X_l为标注数据，是待求的驱动后的人脸上的相应顶点，形状约束可表示为

$min\left|\right|X_l^t-X_l|{|}_F^2$ (公式6)，

其中符号表示矩阵的范数，即矩阵所有元素平方和的平方根。

步骤5用形状约束对局部小块流形坐标转换为全局坐标的过程进行正则化，对应优化问题如下：

$\underset{X^t}{\min }trace\left(X^t{\mathrm{LX}}^{tT}\right)+\mathrm{\β}\left|\right|X_l^t-X_l|{|}_F^2.$ (公式7)

其中β是正则化因子。

优化问题通过如下方法求解：对X^t中顶点的位置进行调整，使得有标注数据的待求顶点排在前面，而无标注数据的顶点排在后面，得到因此优化问题改写为：

$\underset{X^t}{\min }trace\left(\left[\begin{array}{cc}{X}_l^t& X_u^t\end{array}\right]\left[\begin{array}{cc}{L}_{ll}& L_{lu}\\ {L_{lu}}^T& L_{uu}\end{array}\right]\left[\begin{array}{c}{X}_l^t\\ X_u^t\end{array}\right]\right)+\mathrm{\β}\left|\right|X_l^t-X_l|{|}_F^2.$ (公式8)

易知上述问题实际上是一个最小二乘问题，具体如下：

$\left[\begin{array}{cc}{L}_{ll}& L_{lu}\\ {L_{lu}}^T& L_{uu}\end{array}\right]\left[\begin{array}{c}{X}_l^{tT}\\ X_u^{tT}\end{array}\right]=\left[\begin{array}{c}\mathrm{\β}{X_l}^T\\ 0\end{array}\right],$ (公式9)

其闭式解为 $X^t=\left[\begin{array}{cc}{\mathrm{\βX}}_l& 0\end{array}\right]{\left[\begin{array}{cc}{L}_{ll}& L_{lu}\\ {L_{lu}}^T& L_{uu}\end{array}\right]}^{-1}.$

本发明具有的有益的效果如下：

通过学习半监督局部小块排列的框架和流形方法以及局部小块的流形坐标对应的局部线性变换，指导人脸动画的生成过程，不仅提高了人脸驱动的准确性，而且改善了人脸驱动结果的视觉效果，为影视制作与人机交互领域提供了新的技术与方法。

附图说明

图1是本发明流程图；

图2是半监督局部小块排列的框架示意图；

具体实施方式

下面结合附图对本发明坐进一步说明。

如图1所示，基于半监督局部小块排列的人脸动画生成方法，具体包括如下步骤：

步骤1、给定待驱动的三维人脸模型，根据三维人脸模型的拓扑结构为模型中的每个顶点选择邻域，并根据邻域为每个顶点构造相应的局部小块；

步骤2、利用现有流形学习方法，把局部小块投影到流形子空间，得到各个局部小块在流形子空间中的流形坐标；

步骤3、为每个局部小块的流形坐标计算一个局部的线性变换，并将所有局部线性变换整合成一个排列矩阵，利用排列矩阵对待驱动的三维人脸模型的局部小块的流形坐标进行变换，使三维人脸模型的流形坐标转换为全局坐标；

步骤4、选择一组运动数据作为待驱动三维人脸模型的部分顶点的标注数据，构造人脸驱动的形状约束条件；

步骤5、将步骤4中的形状约束条件和步骤3中的局部小块计算线性变化的过程相结合，并通过求解最小二乘问题得到驱动后的人脸。

步骤1所述的根据待驱动的三维人脸模型，根据三维人脸模型的拓扑结构为模型中的每个顶点选择邻域，该邻域为三维人脸模型上所有边与当前顶点相连的顶点集合，同时每个顶点相应的局部小块包括该顶点本身以及该顶点的邻域。根据模型拓扑结构构造的局部小块能够有效捕捉模型的局部集合特征。

如图2所示，步骤2所述的流形学习方法为局部线性嵌入方法(LLE)或局部切空间排列方法(LTSA)，具体的局部线性嵌入方法(LLE)如下：

设为当前顶点，为的邻域顶点集，设和分别是和的流形坐标。当采用LLE时，LLE假设当前顶点可由它的邻域顶点线性重构得到，重构系数能够通过求解如下目标函数获得：

$\underset{w_i}{\arg \min }\left|\right|x_i^s-\underset{j=1}{\overset{k_i}{\Σ}}{x}_{i_j}^s{w}_{i_j}|{|}^2,$ (公式1)

其中是线性重构系数；指代邻域顶点的权重；k_i表示当前顶点领域中顶点的个数，符号表示向量的二范数，即向量所有元素平方和的平方根。在约束下，重构系数表示为： $w_{i_j}=\frac{{\mathrm{\Σ}}_{t=1}^{k_i}{M}_{jt}^{-1}}{{\mathrm{\Σ}}_{p=1}^{k_i}{\mathrm{\Σ}}_{q=1}^{k_i}{M}_{pq}^{-1}},$ 其中 $M_{jt}={(x_i^s-x_{i_j}^s)}^T(x_i^s-x_{i_t}^s).$ LLE认为可通过优化如下目标函数，从而用同样的重构系数来求解

$\begin{array}{c}\underset{{\hat{X}}_i^s}{\arg \min }\left|\right|{\hat{x}}_i^s-\underset{j=1}{\overset{k_i}{\Σ}}{\hat{x}}_{i_j}^s{w}_{i_j}|{|}^2\\ =\underset{{\hat{X}}_i^s}{\arg \min }trace\left({\hat{X}}_i^s\left[\begin{array}{c}-1\\ w_i\end{array}\right]\left[\begin{array}{cc}-1& w_i^T\end{array}\right]{\hat{X}}_i^{sT}\right)\\ =\underset{{\hat{X}}_i^s}{\arg \min }trace\left({\hat{X}}_i^s{L}_i{\hat{X}}_i^{sT}\right)\end{array},$ (公式2)

其中 $L_i=\left[\begin{array}{c}-1\\ w_i\end{array}\right]\left[\begin{array}{cc}-1& w_i^T\end{array}\right].$

局部切空间排列方法(LTSA)如下：

用局部切空间来估计局部小块流形坐标的近似值。每个局部小块的目标函数为：

$\underset{Q_i,{\mathrm{\Θ}}_i}{\arg \min }\left|\right|X_i^s{H}_{k_i+1}-Q_i{\mathrm{\Θ}}_i|{|}^2,$ (公式3)

其中 $H_{k_i+1}=I_{k_i+1}-e_{k_i+1}{e_{k_i+1}}^T/(k_i+1),e_{k_i+1}={\[1,\mathrm{...},1\]}^T,$ 是单位阵，Q_i是构成局部切空间的正交基，是局部小块中的顶点在这组正交基下的局部坐标。的作用是将局部小块中的所有顶点减去这些顶点的均值，相当于以均值为中心将小块坐标中心化。是矩阵的左奇异向量。因此，最优的Θ_i可表示为LTSA假设在Q_i和之间存在一个仿射变换，故有其中A_i是仿射变换矩阵，E_i是误差。

LTSA通过求解如下优化问题来计算 $\underset{{\hat{X}}_i^s,A_i}{\arg \min }\left|\right|{\hat{X}}_i^s{H}_{k_i+1}-A_i{\mathrm{\Θ}}_i|{|}^2.$ 由于A_i可表示为上式可改写为:假设U_i是与的d个最大的奇异值对应的右奇异向量，原优化问题可表示为：

(公式4)

其中线性变化 $L_i=H_{k_i+1}(I_{k_i+1}-U_i{U_i}^T){(I_{k_i+1}-U_i{U_i}^T)}^T{H}_{k_i+1}.$

步骤3是将每个局部小块的流形坐标对应的局部线性变换表示为R_i和c_i，局部小块流形坐标转换为全局坐标通过如下优化问题来求解：

$\begin{array}{c}\underset{R_i,c_i}{\min }\left|\right|x_i^t-(c_i+R_i{\hat{x}}_i^s)|{|}^2+||x_{i_j}^t-(c_i+R_i{\hat{x}}_{i_j}^s)|{|}^2\\ =\underset{R_i,c_i}{\min }\left|\right|X_i^t-(c_i+R_i{\hat{X}}_i^s)\left|{|}_F^2\underset{R_i,c_i}{\min }\right|\left|X_i^t{\mathrm{\Φ}}_i\right|{|}_F^2\end{array}$ (公式5)

其中Φ_i是零空间为的正交投影，且Φ_i≈L_i，是局部小块转换后的全局坐标，符号表示矩阵的F范数，即矩阵所有元素平方和的平方根。

。因此优化问题的目标函数表示为：其中是排列矩阵，n是模型上顶点的总数。L可通过迭代公式L(b_i)＝L(b_i)+L_i,(i＝1,...,n)来计算，其中迭代前L的初始值设为0，b_i是第i个顶点处的局部小块所包含的顶点在整个人脸模型中的序号构成的集合。所以利用排列矩阵对待驱动模型的局部小块的流形坐标进行变换，小块流形坐标转换为全局坐标的过程表示为如下优化问题： $\underset{X^t}{\min }trace\left(X^t{\mathrm{LX}}^{tT}\right).$

步骤4是将在待驱动人脸上随机选择部分顶点作为有标注的数据，根据这些顶点的位置在演员面部标记特征点，利用运动捕捉设备跟踪演员面部产生运动时这些特征点的运动轨迹，把每一帧中特征点的位置作为一组运动数据，把运动数据看作标注数据，构造人脸驱动的形状约束条件。设X_l为标注数据，是待求的驱动后的人脸上的相应顶点，形状约束可表示为

$min\left|\right|X_l^t-X_l|{|}_F^2$ (公式6)，

其中符号表示矩阵的范数，即矩阵所有元素平方和的平方根。

步骤5用形状约束对局部小块流形坐标转换为全局坐标的过程进行正则化，对应优化问题如下：

$\underset{X^t}{\min }trace\left(X^t{\mathrm{LX}}^{tT}\right)+\mathrm{\β}\left|\right|X_l^t-X_l|{|}_F^2.$ (公式7)

其中β是正则化因子。

优化问题通过如下方法求解：对X^t中顶点的位置进行调整，使得有标注数据的待求顶点排在前面，而无标注数据的顶点排在后面，得到因此优化问题改写为：

$\underset{X^t}{\min }trace\left(\left[\begin{array}{cc}{X}_l^t& X_u^t\end{array}\right]\left[\begin{array}{cc}{L}_{ll}& L_{lu}\\ {L_{lu}}^T& L_{uu}\end{array}\right]\left[\begin{array}{c}{X}_l^t\\ X_u^t\end{array}\right]\right)+\mathrm{\β}\left|\right|X_l^t-X_l|{|}_F^2.$ (公式8)

易知上述问题实际上是一个最小二乘问题，具体如下：

$\left[\begin{array}{cc}{L}_{ll}& L_{lu}\\ {L_{lu}}^T& L_{uu}\end{array}\right]\left[\begin{array}{c}{X}_l^{tT}\\ X_u^{tT}\end{array}\right]=\left[\begin{array}{c}\mathrm{\β}{X_l}^T\\ 0\end{array}\right],$ (公式9)

其闭式解为 $X^t=\left[\begin{array}{cc}{\mathrm{\βX}}_l& 0\end{array}\right]{\left[\begin{array}{cc}{L}_{ll}& L_{lu}\\ {L_{lu}}^T& L_{uu}\end{array}\right]}^{-1}.$

Claims (7)

1.基于半监督局部小块排列的人脸动画生成方法，其特征在于包括以下步骤：

步骤1、给定待驱动的三维人脸模型，根据三维人脸模型的拓扑结构为模型中的每个顶点选择邻域，并根据邻域为每个顶点构造相应的局部小块；

步骤2、利用现有流形学习方法，把局部小块投影到流形子空间，得到各个局部小块在流形子空间中的流形坐标；

步骤3、为每个局部小块的流形坐标计算一个局部的线性变换，并将所有局部线性变换整合成一个排列矩阵，利用排列矩阵对待驱动的三维人脸模型的局部小块的流形坐标进行变换，使三维人脸模型的流形坐标转换为全局坐标；

步骤4、选择一组运动数据作为待驱动三维人脸模型的部分顶点的标注数据，构造人脸驱动的形状约束条件；

步骤5、将步骤4中的形状约束条件和步骤3中的局部小块计算线性变化的过程相结合，并通过求解最小二乘问题得到驱动后的人脸。

2.如权利要求1所述的基于半监督局部小块排列的人脸动画生成方法，其特征在于步骤1所述的根据待驱动的三维人脸模型，根据三维人脸模型的拓扑结构为模型中的每个顶点选择邻域，该邻域为三维人脸模型上所有边与当前顶点相连的顶点集合，同时每个顶点相应的局部小块包括该顶点本身以及该顶点的邻域；根据模型拓扑结构构造的局部小块能够有效捕捉模型的局部集合特征。

3.如权利要求1所述的基于半监督局部小块排列的人脸动画生成方法，其特征在于步骤2所述的流形学习方法为局部线性嵌入方法或局部切空间排列方法，具体的局部线性嵌入方法(LLE)如下：

设为当前顶点，为的邻域顶点集，设和分别是和的流形坐标；当采用LLE时，LLE假设当前顶点可由它的邻域顶点线性重构得到，重构系数能够通过求解如下目标函数获得：

$\underset{w_i}{\mathrm{argmin}}\left|\right|x_i^s-\underset{j=1}{\overset{k_i}{\Σ}}{x}_{i_j}^s{w}_{i_j}|{|}^2,$ (公式1)

其中是线性重构系数；指代邻域顶点的权重；k_i表示当前顶点领域中顶点的个数，符号||□||²表示向量的二范数，即向量所有元素平方和的平方根；在约束下，重构系数表示为： $w_{i_j}=\frac{{\mathrm{\Σ}}_{t=1}^{k_i}{M}_{jt}^{-1}}{{\mathrm{\Σ}}_{p=1}^{k_i}{\mathrm{\Σ}}_{q=1}^{k_i}{M}_{pq}^{-1}},$ 其中 $M_{jt}={(x_i^s-x_{i_j}^s)}^T(x_i^s-x_{i_t}^s);$ LLE认为可通过优化如下目标函数，从而用同样的重构系数来求解

$\begin{array}{c}\underset{{\hat{X}}_i^s}{\arg \min }\left|\right|{\hat{x}}_i^s-\underset{j=1}{\overset{k_i}{\Σ}}{\hat{x}}_{i_j}^s{w}_{i_j}|{|}^2\\ =\underset{{\hat{X}}_i^s}{\arg \min }trace\left({\hat{X}}_i^s\left[\begin{array}{c}-1\\ w_i\end{array}\right]\left[\begin{array}{cc}-1& {w_i}^T\end{array}\right]{\hat{X}}_i^{sT}\right)\\ =\underset{{\hat{X}}_i^s}{\arg \min }trace\left({\hat{X}}_i^s{L}_i{\hat{X}}_i^{sT}\right)\end{array},$ (公式2)

其中 $L_i=\left[\begin{array}{c}-1\\ w_i\end{array}\right]\left[\begin{array}{cc}-1& {w_i}^T\end{array}\right].$

4.如权利要求3所述的基于半监督局部小块排列的人脸动画生成方法，其特征在于局部切空间排列方法如下：

用局部切空间来估计局部小块流形坐标的近似值；每个局部小块的目标函数为：

$\underset{Q_i,{\mathrm{\Θ}}_i}{\mathrm{argmin}}\left|\right|X_i^s{H}_{k_i+1}-Q_i{\mathrm{\Θ}}_i|{|}^2,$ (公式3)

其中 $H_{k_i+1}=I_{k_i+1}-e_{k_i+1}{e_{k_i+1}}^T/(k_i+1),e_{k_i+1}={\[1,\mathrm{...},1\]}^T,$ 是单位阵，Q_i是构成局部切空间的正交基，是局部小块中的顶点在这组正交基下的局部坐标；的作用是将局部小块中的所有顶点减去这些顶点的均值，相当于以均值为中心将小块坐标中心化；是矩阵的左奇异向量；因此，最优的Θ_i可表示为LTSA假设在Q_i和之间存在一个仿射变换，故有其中A_i是仿射变换矩阵，E_i是误差；

LTSA通过求解如下优化问题来计算由于A_i可表示为上式可改写为:假设U_i是与的d个最大的奇异值对应的右奇异向量，原优化问题可表示为：

$\begin{array}{c}\underset{{\hat{X}}_i^s}{\arg \min }\left|\right|{\hat{X}}_i^s{H}_{k_i+1}(I_{k_i+1}-U_i{U_i}^T)|{|}^2\\ =\underset{{\hat{X}}_i^s}{\arg \min }trace\left({\hat{X}}_i^s{H}_{k_i+1}\right(I_{k_i+1}-U_i{U_i}^T\left){\left(I_{k_i+1}-U_i{U_i}^T\right)}^T{H}_{k_i+1}{\hat{X}}_i^{sT}\right)\\ =\underset{{\hat{X}}_i^s}{\arg \min }trace\left({\hat{X}}_i^s{L}_i{\hat{X}}_i^{sT}\right)\end{array},$ (公式4)

其中线性变化 $L_i=H_{k_i+1}(I_{k_i+1}-U_i{U_i}^T){(I_{k_i+1}-U_i{U_i}^T)}^T{H}_{k_i+1}.$

5.如权利要求1所述的基于半监督局部小块排列的人脸动画生成方法，其特征在于步骤3是将每个局部小块的流形坐标对应的局部线性变换表示为R_i和c_i，局部小块流形坐标转换为全局坐标通过如下优化问题来求解：

$\begin{array}{c}\underset{R_i,c_i}{\min }\left|\right|x_i^t-(c_i+R_i{\hat{x}}_i^s)|{|}^2+||x_{i_j}^t-(c_i+R_i{\hat{x}}_{i_j}^s)|{|}^2\\ =\underset{R_i,c_i}{\min }\left|\right|X_i^t-(c_i+R_i{\hat{X}}_i^s)|{|}_F^2=\underset{R_i,c_i}{\min }|\left|X_i^t{\mathrm{\Φ}}_i\right|{|}_F^2\end{array}$ (公式5)

其中Φ_i是零空间为的正交投影，且Φ_i≈L_i，是局部小块转换后的全局坐标，符号表示矩阵的F范数，即矩阵所有元素平方和的平方根；因此优化问题的目标函数表示为：其中是排列矩阵，n是模型上顶点的总数；L可通过迭代公式L(b_i)＝L(b_i)+L_i,(i＝1,...,n)来计算，其中迭代前L的初始值设为0，b_i是第i个顶点处的局部小块所包含的顶点在整个人脸模型中的序号构成的集合；所以利用排列矩阵对待驱动模型的局部小块的流形坐标进行变换，小块流形坐标转换为全局坐标的过程表示为如下优化问题：

6.如权利要求1所述的基于半监督局部小块排列的人脸动画生成方法，其特征在于步骤4是将在待驱动人脸上随机选择部分顶点作为有标注的数据，根据这些顶点的位置在演员面部标记特征点，利用运动捕捉设备跟踪演员面部产生运动时这些特征点的运动轨迹，把每一帧中特征点的位置作为一组运动数据，把运动数据看作标注数据，构造人脸驱动的形状约束条件；设X_l为标注数据，是待求的驱动后的人脸上的相应顶点，形状约束可表示为

$min\left|\right|X_l^t-X_l|{|}_F^2$ (公式6)，

其中符号表示矩阵的范数，即矩阵所有元素平方和的平方根。

7.如权利要求1所述的基于半监督局部小块排列的人脸动画生成方法，其特征在于步骤5用形状约束对局部小块流形坐标转换为全局坐标的过程进行正则化，对应优化问题如下：

$\underset{X^t}{min}trace\left(X^t{\mathrm{LX}}^{tT}\right)+\mathrm{\β}\left|\right|X_l^t-X_l|{|}_F^2;$ (公式7)

其中β是正则化因子；

优化问题通过如下方法求解：对X^t中顶点的位置进行调整，使得有标注数据的待求顶点排在前面，而无标注数据的顶点排在后面，得到因此优化问题改写为：

$\underset{X^t}{min}trace(\[\begin{array}{cc}{X}_l^t& X_u^t\end{array}\]\left[\begin{array}{cc}{L}_{ll}& L_{lu}\\ {L_{lu}}^T& L_{uu}\end{array}\right]\left[\begin{array}{c}{X}_l^t\\ X_u^t\end{array}\right])+\mathrm{\β}\left|\right|X_l^t-X_l|{|}_F^2;$ (公式8)

易知上述问题实际上是一个最小二乘问题，具体如下：

$\left[\begin{array}{cc}{L}_{ll}& L_{lu}\\ {L_{lu}}^T& L_{uu}\end{array}\right]\left[\begin{array}{c}{X}_l^{tT}\\ X_u^{tT}\end{array}\right]=\left[\begin{array}{c}{{\mathrm{\βX}}_l}^T\\ 0\end{array}\right],$ (公式9)

其闭式解为 $X^t=\left[\begin{array}{cc}{\mathrm{\βX}}_l& 0\end{array}\right]{\left[\begin{array}{cc}{L}_{ll}& L_{lu}\\ {L_{lu}}^T& L_{uu}\end{array}\right]}^{-1}.$