CN101131730A - 一种弱化表情形变影响的三维人脸识别方法 - Google Patents

Abstract

本发明公开了一种弱化表情形变影响的三维人脸识别方法，步骤如下：(1)三维人脸模型姿态定位；(2)刚性约束的计算；(3)基于向导的约束变形；(4)匹配变形后的中间模型和gallery库中的已知模型完成三维人脸识别。本发明可弱化表情变化的影响、提高三维人脸识别的性能。

Description

一种弱化表情形变影响的三维人脸识别方法

技术领域

本发明涉及一种三维人脸识别方法，尤其涉及一种以导向变形和变形刚性约束为基础的弱化表情形变影响、提高识别性能的三维人脸识别方法。

背景技术

自动人脸识别技术在国家安全、军事安全、公共安全和家庭娱乐等领域具有广泛的应用前景，过去几十年中，人脸识别得到深入广泛的研究。然而，基于图像的二维人脸识别技术仍然面临巨大的挑战，在光线、姿态和表情变化的情况下，二维人脸识别的准确性还远远不能让人满意。

三维人脸识别技术有望从根本上解决基于图像的人脸识别方法所面临的“受姿态、光线和表情影响”的难题。基于三维数据已经获取的前提，三维人脸识别受光线的影响很小。由于三维数据具有显式的几何形状，三维人脸识别更具克服姿态变化的潜力。然而，表情变化改变了三维人脸模型的形状，造成人脸局部区域的塑性变形，从而极大地降低三维人脸识别的性能，因此，如何克服或降低表情的影响是三维人脸识别中一个关键的问题和挑战。现有的技术尚无法做到在各种表情变化情况下达到较好的识别性能。

发明内容

本发明提供一种基于导向变形和变形刚性约束的弱化表情变化影响、提高识别性能的三维人脸识别方法。

一种弱化表情形变影响的三维人脸识别方法，其步骤如下：

(1)三维人脸模型姿态定位：通过检测三维模型的对称面和两个特征点(鼻尖点和鼻基点)确定人脸姿态，将三维模型置于统一的坐标框架中，方便导向变形时三角形对应关系的建立；

步骤(1)采用的定位人脸模型的6个自由度的元素是对称面和两个特征点(鼻尖点和鼻基点)。

对称面检测采用的是基于ICP对齐原始模型和其镜像模型，再求对应点的中轴面的方法。

鼻尖点和鼻基点的检测采用下述方法：

p_nt＝argmax_p∈C(dist(p，l_e))            (1)

p_nb＝arg min_p∈L(y_p)                    (2)

L＝{p|p∈C，y_p＞y_pnt，dist′(p，l_e)＝0} (3)

其中，p_nt为鼻尖点和p_nb为鼻基点，C为侧影线，连接侧影线C头尾两点的线段为l_e，dist(·，)表示点到直线段的距离，y_p表示点p的y轴坐标，dist′(·，)表示点到直线段距离的一阶微分。

(2)、刚性约束的计算：选取包含不同表情的同类模型样本和异类模型样本各若干组，在参数域分别计算同类差异和异类差异，将同类差异二值化为刚性约束模板，用于描述人脸曲面不同区域的不同变形能力；

步骤(2)采用的刚性约束的计算是基于多组同类模型，每组中一个是中性模型，其余为带表情模型。

采用的模型间对应关系的计算在参数域建立。

采用的二值刚性约束的约束率为50％。

(3)基于向导的约束变形：给定待变形模型和中性表情的向导模型，以向导模型的梯度场为目标对待变形模型的所有三角形面片进行变换，然后建立变换后的梯度场及其散度场，结合二值刚性约束模板，利用泊松方程求解变形结果，得到弱化表情变形的中间模型；

步骤(3)中采用变形技术是基于泊松方程的变形技术，其线性系统的建立如下式：

AU＝b         (4)

其中U是变形后网格中任一待求解顶点的坐标分量，b是修改后的梯度向量场的散度，矩阵A是拉普拉斯算子在网格M上构建的一个稀疏矩阵，相应角度见附图7。

采用的变形技术是用gallery中的模型作为变形向导。

对应三角面片的建立采用的是平均最近距离。

基于向导的梯度场计算是对每个三角面片建立局部坐标系，然后用下式进行变换：

X′_ij＝H_i·X_ij，j＝0，1，2(6)

其中H_i保证下式成立：

$<\stackrel{\&RightArrow;}{n_{T_i^{p\&prime;}}},\stackrel{\&RightArrow;}{n_{T_i^g}}>=0---\left(7\right)$

其中

是三角面片T的法向量。

刚性约束与变形技术的融合采用的是分块矩阵计算法，如下：

$\left[\begin{array}{cc}{A}_1& A_2\\ A_3& A_4\end{array}\right]\left[\begin{array}{c}{U}_1\\ U_2\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right]---\left(8\right)$

其中落入二值约束模板中刚性区域的顶点元素个数为k，稀疏矩阵A的前k行的方程系数对应这k个顶点，A₁，A₂，A₃，A₄分别为k×k，k×(n-k)，(n-k)×k，(n-k)×(n-k)的块矩阵，U₁对应于刚性区域中顶点的x，y，z分量之一，U₂是待变形顶点的坐标分量，b₁，b₂是对应的散度。保持U₁不变，泊松方程简化为求解如下线性系统：

A₄U₂＝b₂-A₃U₁             (9)

采用的线性系统的计算方法是矩阵分解和回代。

(4)匹配：匹配变形后的中间模型和当前从gallery库中取得的向导模型，计算相似度。

步骤(4)采用的匹配相似度量如下式：

$\mathrm{Dis}(M_p,M_g)=\mathrm{RMS}(D_c^g\left(M_p\right),M_g)---\left(10\right)$

其中D_c ^g(·)表示基于向导模型的一次约束变形过程，RMS(·，·)表示最近点平均距离。

(5)识别：对gallery中的每一个模型施加(3)、(4)两步的计算，选取其中平均距离最小的一个作为识别结果，以完成系统功能。

表情变化下的三维人脸识别问题可以简单定义为：已知库(gallery)中登记了多个身份人每人一个的中性表情模型，对输入的一个带表情的模型(probe)，如何实现正确的分类。

假设带表情的模型为M_p，其对应未知的中性表情模型为M_pn，则存在一个变形函数F，使得M_p＝F(M_pn)，如果可以求出F的逆函数F^-1，则可以对M_p施以变换F^-1，得到中性的模型M_pn，然后用M_pn与gallery库中模型匹配则可以实现弱化表情的影响的目的。

由于M_pn未知，F和F^-1无法求解，但可以用已有的条件求近似解，首先，F^-1函数与模型本身的属性有关系，例如：人脸模型有些区域变形能力强，有些区域则更刚性一些。其次，尽管M_pn未知，但gallery中有大量的中性表情模型，可以借用这些模型的信息。

首先计算模型M_p的表情变形属性λ，为模型的每个区域赋以一定的变形能力，然后以gallery中的每一个中性模型为假想M_pn′，计算F^-1，再用模型的变形属性λ约束F^-1，改进F^-1为F_λ ^-1，采用F_λ ^-1对M_p进行变换，再与gallery中当前模型匹配。此时，当且仅当M_pn′与M_pn是同一个中性表情模型时，F_λ ^-1才可以将M_p变为M_pn，否则表情变形属性约束M_p，确保M_p不会变成M_pn′。这样的变换F_λ ^-1可以提高类内相似度，而保持类间的差别度，以弱化表情变化的影响。按以上的思路，提出了一个带约束的导向变形模型(GCD模型)。其中表情变形属性对应模型中的刚性约束，导向变形对应于F^-1。

本发明方法在三维人脸识别中可以弱化表情变化的影响、提高三维人脸识别的性能。

附图说明

图1是本发明的带约束的导向变形模型用于三维人脸识别的流程图；

图2是本发明的人脸模型对称面检测和侧影线提取示意图；

图3是本发明的侧影线上鼻尖点和鼻基点检测示意图；

图4是本发明的三维人脸模型的类内差异(第一行)和类间差异(第二行)示意图；

图5是本发明的三维人脸模型匹配差异度量亮度图；

图6是本发明的刚性约束模板建立过程示意图；

图7是本发明的简单一环网格示意图；

图8是本发明的三维人脸网格之间的三角面片局部坐标系的生成和变换示意图；

图9是本发明的基于向导模型的梯度场导引和基于泊松方程的变形结果重建示意图；

图10是本发明的约束前后的变形结果对比示意图；

图11是本发明的基于GCD模型的三维人脸识别与PCA、ICP识别率的比较图；

具体实施方式

三维人脸模型姿态定位

姿态定位通过三步完成，首先检测对称面并提取侧影线，然后确定鼻尖点和鼻基点，最后应用一个刚性变换将三维人脸模型置于统一的坐标框架中以完成姿态定位。

(1)对称面检测和侧影线提取

我们首先提出一个鲁棒的三维人脸对称面检测的方法。给定人脸网格M的顶点集合V_M＝{p_i∈R³|1≤i≤N}，对任意一个平面，可以找到V_M关于该平面的镜像顶点集 $V_M^m=\{p_i^m\&Element;R^3|1\&le;i\&le;N\},$ V_M中任意一点p_i的对应镜像点是V_M ^m中的p_i ^m，原人脸网格的拓扑结构与镜像网格一致，严格意义上说，如果考虑曲面片的方向，镜像网格的三角面片的顶点序应该与原网格M相反，此时可以取得统一的曲面方向，由于这里我们主要对点集进行分析，因此可以忽略拓扑结构变化的影响。

将镜像点集V_M ^m向原网格点集V_M配准，使两者最终对齐，假设得到的点集为 $V_M^{m^{\&prime;}}=\{p_i^{m^{\&prime;}}\&Element;R^3|1\&le;i\&le;N\},$ 其中点的对应次序依然不变。此时，V_M和V_M ^m′组成一个新的顶点集合

$\stackrel{\&OverBar;}{V}=V_M+V_M^{m^{\&prime;}}---\left(1\right)$

由于三维人脸本身大致对称，

是一个自对称的集合，人脸网格的对称面必过V_M和V_M ^m′中对应点的平分线，因此人脸的对称面A内蕴的点集可以用下式表示：

$A=\left\{x\right|<x-(p_i+p_i^{m^{\&prime;}})/2,p_i-p_i^{m^{\&prime;}}>=\mathrm{0,1}\&le;i\&le;N\}---\left(2\right)$

其中<·，·>表示两向量的点积。

我们采用ICP方法对齐V_M和V_M ^m，ICP能有效地对齐三维模型，但保证其收敛要求两个待对齐的模型具有粗略对齐的初始位置。因此，计算原人脸网格M的镜像网格时，需小心地选择对称平面。如果初始选择的对称平面本身就在人脸网格的对称面附近，则用该平面镜像得到的镜像点集V_M ^m和V_M就会有较好的初始对齐位置。

观察人脸网格的基本形状，我们发现人脸网格是一张上下方向较长，左右跨度居中，前后厚度较小的曲面，近似于半椭球的形状。因此，我们对人脸网格的点集V_M分布做主元分析(PCA)，可以得到一个平均点

和三个主方向(特征向量)

这三个特征向量分别对应从大到小排序的三个特征值，按PCA的特征值与特征向量的关系，

方向是点集散度最大的方向，

其次，最小，其方差即为三个对应特征值。由此，我们可以选择初始对称平面如下：

$\mathrm{Mirror}=\left\{x\right|<x-\stackrel{\&OverBar;}{p},\stackrel{\&OverBar;}{v_2}>=0\}---\left(3\right)$

这个初始镜像对称平面满足在原始人脸的对称面附近的要求。

由于V_M和V_M ^m′有N对对称点，每一对都可以确定一个人脸网格的对称平面，我们用最小二乘法拟合各个平面，最后得到优化的对称平面A，侧影线的求取只需计算对称平面A与原始网格M的交，如图2。

(2)鼻尖点和鼻基点的确定

鼻尖点p_nt和鼻基点p_nb都在侧影线C上，假设连接侧影线C头尾两点的线段为l_e，如图3所示，对大量人脸特征的观察可以得出下面两条假设：

a)鼻尖点p_nt是位于侧影线C上，距离线段l_e最远的点；

b)鼻基点p_nb是位于侧影线C上，沿p_nt向上的侧影线上所有点中与线段l_e的第一个距离极小值点。

基于上面的两条假设，可以列出如下的鼻尖与鼻基检测方法：

p_nt＝argmax_p∈C(dist(p，l_e))            (4)

p_nb＝arg min_p∈L(y_p)                    (5)

L＝{p|p∈C，y_p＞y_pnt，dist′(p，l_e)＝0} (6)

其中，dist(·，)表示点到直线段的距离，y_p表示点p的y轴坐标，dist′(·，)表示点到直线段距离的一阶微分。

(3)统一坐标框架

我们已得到人脸网格的对称面方向d_s和两个特征点p_nt和p_nb，通过这三个特征可以把人脸网格放置到一个统一的坐标系中以完成姿态确定。令：

v_x＝d_s        (7)

$v_y=\frac{p_{\mathrm{nb}}-p_{\mathrm{nt}}}{\left|\right|p_{\mathrm{nb}}-p_{\mathrm{nt}}\left|\right|}---\left(8\right)$

v_z＝v_x×v_y    (9)

以p_nt为原点，v_x，v_y，v_z分别为x，y，z三个坐标轴，可以确定一个新的坐标框架，所有的三维人脸模型可以变换到这个坐标框架中。把坐标框架沿x轴逆时针转20度，得到最终的统一坐标框架。

刚性约束的计算

三维人脸模型因表情产生的塑性变形在人脸各个部分是不同的，表明人脸各部分的变形能力是不同的，我们要将塑性变形恢复回来，其实是一种逆向的变形，也应该考虑人脸各部分的变形能力。刚性约束正是表达人脸模型各部分不同变形能力的一种度量。

经过大量的观察和实验，我们发现三维模型匹配时类间差异和类内差异分布情况有较大差别。如图4，类内的差异(第1行)多发生于嘴巴区域、双眉和两颊的下侧，而类间的差异非常不稳定(第2行)，在人脸的任何区域都可能出现差异。图5是类间差异(第1列)和类内差异(第2列)的一个统计分析亮度图。类内差异的亮度较大的区域恰恰是表情影响较小的区域，我们称之为近似刚性区域，当我们对带表情模型施以逆向变形的时候，近似刚性区域应该具有更大的弹性系数。相反，其它区域的弹性系数小一些。

随机选择一个模型集合S_t，其中每个个体包含至少一个中性模型和尽可能多的带表情模型，统一的刚性约束模板可以通过训练的方法得到，如图6。

首先建立中性模型与同类模型之间的顶点对应关系，我们在模型的参数域求解对应关系。将所有模型姿态确定后固定于统一坐标系中，然后以一个单位圆盘作为参数域对每个模型进行参数化，在参数域内按最近点原则建立顶点的对应关系；对参数域圆盘建立极坐标系，对极坐标r和θ进行均匀分割，建立多个cell，模型参数化后落于同一个cell的人脸区域认为是同一个区域。

采用ICP算法对S_t中任意一个非中性模型M_i与其同类的中性模型M_iN进行匹配，并计算每个顶点在中性模型上的最近点的距离，设V_i是M_i中所有落入第i个cell的顶点集，V_i中第j个顶点到M_iN的最近的顶点距离为d_ij，那么第i个cell对应区域的平均类内差异DT_i为：

${\mathrm{DT}}_i=\frac{1}{\left|V_i\right|}\underset{1\&le;j\&le;\left|V_i\right|}{\mathrm{\&Sigma;}}{d}_{\mathrm{ij}}---\left(10\right)$

其中|·|表示集合中元素的个数，在圆盘参数域对所有的cell计算类内平均差异，采样后的亮度图像如图6。

我们的约束条件是要确定参数域某个区域内保持固定的顶点，对参数域平均差异图设定一个比例后，可以得到一个二值的刚性模板(binarymask)。这个二值刚性模板即是GCD模型的约束条件，白色区域内的顶点保持不变，黑色区域内的顶点用GCD模型进行变形。为参数域平均差异图设定的比例，即不变区域在整个参数域中的比例，我们称之为约束比率，图6的约束比率为50％。

基于向导的约束变形

带约束的导向变形模型就是要将带表情的模型M_p，在约束条件下向向导中性表情模型M_q变形以弱化表情的影响，主要内容包括基于泊松方程的梯度域变形技术、基于向导的梯度的计算和刚性约束的融合。

(1)基于泊松方程的梯度域网格变形技术

给定的网格M_p，其所有顶点的坐标分量x，y，z分别表示三个标量场，采用梯度算子，可以得到相应的梯度场，梯度域变形技术的关键是通过改变梯度场，得到修改后的网格微分属性，然后对其重建标量场，重建结果对应原来的x，y，z分量，从而得到变形后的模型。重建过程通过Poisson方程完成，而梯度场的改变通过向导模型完成。

1)离散网格上的微分操作算子

(a)离散标量场和离散矢量场

网格M上定义的离散标量场u，可以表示为：

$u\left(v\right)=\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&phi;}}_i\left(v\right)u_i---\left(11\right)$

其中φ_i是一个分段线性基函数，在M上的v_i点值为1，其它顶点位置值为0，因此，标量场u在v_i处的值为u_i。网格M上点的坐标的x，y，z三个分量都满足标量场的定义，可以看作是定义在网格上的三个标量场。

M上离散矢量场ξ的定义类似于标量场，如下：

$\mathrm{\&xi;}\left(v\right)=\underset{T_k\&Element;\mathrm{NT}\left(v\right)}{\mathrm{\&Sigma;}}{\mathrm{\&psi;}}_k\left(v\right){\mathrm{\&xi;}}_k---\left(12\right)$

其中ψ_k是分段常基函数，在三角形片T_k内部为1，T_k外部为0；NT(v)表示与顶点v邻接的所有三角面片集。标量场的梯度场是网格上的一个矢量场。

(b)离散梯度算子

网格上离散标量场u的梯度运算子定义如下：

$\&dtri;u\left(v\right)=\underset{i\&Element;T_v}{\mathrm{\&Sigma;}}{u}_i\&dtri;{\mathrm{\&phi;}}_i\left(v\right)---\left(13\right)$

其中T_v是顶点v依附的三角形，它的三个顶点为v₀，v₁，v₂，按逆时针排序。

$\&dtri;{\mathrm{\&phi;}}_i=\frac{1}{2A_T}{(v_{(i+2)\%3}-v_{(i+1)\%3})}^{\&perp;}---\left(14\right)$

其中A_T表示三角形T_v的面积，％是求模运算符，(·)^⊥表示将向量沿T_v的法向逆时针旋转90度。标量场经梯度运算，可以得到一个梯度向量场，在T_v内部，梯度是一个常量。

(c)离散散度算子

给定网格M上的向量场ξ，散度运算子定义为：

$\mathrm{Div}\left(\mathrm{\&xi;}\right)\left(v_i\right)=\underset{T_k\&Element;N_T\left(i\right)}{\mathrm{\&Sigma;}}<\&dtri;{\mathrm{\&phi;}}_i,{\mathrm{\&xi;}}_k>A_k---\left(15\right)$

其中<·，·>表示向量点乘运算。

(d)离散拉普拉斯算子

标量场u上的拉普拉斯算子在1环网格上可以表示为下式，参考图7中角度的符号。

$\mathrm{\&Delta;u}\left(v_i\right)=\underset{j\&Element;N\left(i\right)}{\mathrm{\&Sigma;}}\frac{1}{2}({\cot \mathrm{\&alpha;}}_j+\cot {\mathrm{\&beta;}}_j)(u_i-u_j)---\left(16\right)$

其中N(i)表示顶点v_i的邻接顶点。

2)基于泊松方程的曲面重建

连续曲面上的Poisson方程描述如下：

²f＝Div(ξ)，f|Ω＝f^*|Ω(17)

其中，f是未知标量函数，Div(·)是向量场ξ的散度，f^*是Dirichlet边界条件， ${\&dtri;}^2=\frac{{\&PartialD;}^2}{{\&PartialD;x}^2}+\frac{{\&PartialD;}^2}{{\&PartialD;y}^2}+\frac{{\&PartialD;}^2}{{\&PartialD;z}^2}$ 表示连续条件下的拉普拉斯算子。

考虑离散标量场u，可以是网格M的x，y，z分量中的任意一个，其梯度场(u)是一个向量场ξ，此时离散条件下的Poisson方程可以写为：

A(u)≡Div((u))＝Div(ξ)(18)

其中离散梯度算子、散度算子和拉普拉斯算子的计算如(13)(15)(16)式，可以得到如下的一个稀疏线性系统：

AU＝b   ( 19)

其中U是变形后网格中任一待求解的坐标分量，b是修改后的梯度向量场的散度，矩阵A是拉普拉斯算子在网格M上构建的一个稀疏矩阵：

待变形网格M_p，可以看作是拓扑结构已知，而几何信息未知的数据集，变形就是通过未知几何信息(x，y，z)的梯度场ξ，结合M_p的拓扑信息，求解其散度，然后用公式(19)求解几何信息(x，y，z)坐标，即得到变形结果。梯度场ξ要求运算前给定，如何给定ξ我们将在下一节描述。

3)基于向导的梯度场计算

变形过程中，如何计算M_p修改后的梯度场是一个核心的问题。假设M_g是M_p的变形方向(即向导)，先把M_p和M_g的三角面片建立对应关系，将M_p的每一个三角面片在欧氏空间直接向M_g中的对应三角面片作变换。由于每个三角面片的对应面片一般不是同一个，三角面片之间的变换并不相同，因此，变换会把分段光滑的M_p的三角面片分离破碎，然后我们基于破碎的面片集合用梯度算子计算改变后的梯度场，作为目标梯度场，整个过程M_p的拓扑连接关系始终保持不变。

首先，我们将M_p和M_g置于一个统一的坐标系中。此时，两个模型之间的三角面片有近似的对应关系。

然后，通过变换M_p的三角面片方向变换其面上的梯度值，我们对一个三角面片的三个坐标x，y，z(对应三个标量场)施以相同的变换，这样变形后的结果比较一致。设T_i ^p是M_p上的任意一个三角面片，T_i ^g是M_g上距T_i ^p平均距离最近的三角面片，引入局部变换H_i，将T_i ^p变换为T_i ^p′，设T_i ^p中某顶点v_j的坐标为X_ij，T_i ^p′中对应顶点坐标为X′_ij：

X′_ij＝H_i·X_ij，j＝0，1，2(21)

其中H_i保证下式成立：

$<\stackrel{\&RightArrow;}{n_{T_i^{p\&prime;}}},\stackrel{\&RightArrow;}{n_{T_i^g}}>=0---\left(22\right)$

其中

是三角面片T的法向量。

对每一对T_i ^p和T_i ^g，按最近点原则建立顶点的对应关系后，可以在各自三角面片内建立两个局部的坐标框架F_i ^g和F_i ^p，如图8。由于梯度向量与平移变换无关，我们只考虑旋转变换，H_i可以通过下式计算：

$H_i=F_i^g\&CenterDot;{\left(F_i^p\right)}^{-1}---\left(23\right)$

变换完成后，采用梯度算子即可计算出改变后的梯度场，至此，我们实现了以M_g作为向导变换M_p的微分梯度场的任务。代入Poisson方程完成破碎三角形的粘合和变形模型的重建。如图9，结果与M_g非常相似。

4)刚性约束与泊松方程的融合

采用二值刚性约束，可以确定GCD变形技术处理M_p时保持不变的顶点，只需将M_p参数化到同样的单位圆盘参数域中即可参照模板约束确定固定的顶点。现在我们将约束模板融合到泊松方程中，使得求解过程更为连贯。

设V_c是M_p中落入二值约束模板中刚性区域的顶点集合，其元素个数为k，回忆泊松方程，假设稀疏矩阵A的前k行的方程系数对应这k个顶点，否则，我们总可以通交换矩阵的行和列，使得A满足这个假设，将A分割成分块矩阵，泊松方程可以改写为：

$\left[\begin{array}{cc}{A}_1& A_2\\ A_3& A_4\end{array}\right]\left[\begin{array}{c}{U}_1\\ U_2\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right]---\left(24\right)$

其中A₁，A₂，A₃，A₄分别为k×k，k×(n-k)，(n-k)×k，(n-k)×(n-k)的块矩阵，U₁是对应于V_c中顶点的x，y，z分量之一，U₂是待变形顶点的坐标分量，b₁，b₂是对应的散度。保持U₁不变，泊松方程简化为求解如下线性系统：

A₄U₂＝b₂-A₃U₁                     (25)

在GCD变形中，由于二值刚性模板固定，输入网格的约束顶点是固定的，因此，我们可以分解矩阵A₄，然后用回代的方法解这个线性方程组，因此，可以实现非常快的计算速度。图10是约束前后的变形结果比较。

三维模型匹配

给定三维模型的M_p和M_g，两者的相似度计算如下：

$\mathrm{Dis}(M_p,M_g)=\mathrm{RMS}(D_c^g\left(M_p\right),M_g)---\left(26\right)$

其中D_c ^g(·)表明GCD模型变换，RMS(·，·)表示最近点平均距离。

实验结果

我们在FRGC v2.0库上测试了带约束的导向变形模型(GCD)用于三维人脸识别的性能。由于gallery中应存放中性表情脸，因此选择FRGC ver2.0中有对应中性模型的带表情模型作为测试模型，这样的模型共有1538个，对应353个人。选择353人最早采集的中性表情模型组成gallery。1538个非中性模型对应不同的表情(smile，frowning，surprise，disgust，sadness，puffy cheeks)，由于采集时间与表情有良好的对应关系，我们按采集时间将非中性表情模型分成9个测试库，Probe1至Probe9，如表1。

表1 FRGC ver2.0带表情模型的测试集分割

采集时间	表情	模型数量	Probe
				10/07/2003-10/09/2003	Smiling(笑)	224	1
10/14/2003-10/16/2003	Frowning(皱眉)	161	2
				10/28/2003-10/30/2003	Surprise(惊讶)	171	3
11/04/2003-11/06/2003	Disgust(厌恶)	188	4
				11/11/2003-11/13/2003	Sadness(悲伤)	165	5
02/10/2004-02/12/2004	Smiling(笑)	115	6
				02/17/2004-02/19/2004	Surprise(惊讶)	156	7
02/24/2004-02/26/2004	Puffy cheeks(鼓腮帮)	190	8
				03/02/2004-03/04/2004	Frowning(皱眉)	168	9

人脸认证模式下，GCD模型与PCA、ICP的等错误率比较如表2，人脸识别的Rank-1图如图10。

表2等错误率：GCD vs ICP，PCA

FRGCVer2.0Database	Probe	#1	#2	#3	#4	#5	#6	#7	#8	#9
											GCD	3.57	4.34	5.26	8.51	4.84	7.82	6.39	8.51	7.22
	PCA	12.50	9.32	12.28	10.60	7.84	13.04	13.46	22.18	12.50
											ICP	13.04	8.70	12.28	10.08	5.45	15.85	18.59	15.74	13.10

GCD模型与PCA技术和ICP技术进行比较的实验表明，GCD模型在处理表情变化的库上有很大的优势，这主要归功于GCD模型实现了变形与约束之间的一个平衡，对应于类内相似度与类间差别之间的一个平衡，因此，GCD模型能弱化表情变化的影响、显著地提高表情变化下的三维人脸识别的性能。

Claims (10)

1.一种弱化表情形变影响的三维人脸识别方法，步骤如下：

(1)三维人脸模型姿态定位：

通过检测三维模型的对称面和鼻尖点、鼻基点两个特征点确定人脸姿态，将三维模型置于统一的坐标框架中，方便步骤，(3)中导向变形时三角形对应关系的建立；

(2)刚性约束的计算：

选取包含不同表情的同类模型样本和异类模型样本各若干组，每组同类模型至少包括一个中性模型，在参数域分别计算同类差异和异类差异，同类差异基于中性模型计算，将同类差异二值化为刚性约束模板，用于描述人脸曲面不同区域的不同变形能力：

(3)基于向导的约束变形：

每次匹配测试模型和gallery中的中性模型时，将中性模型作为向导模型，以向导模型的梯度场为目标对测试模型的所有三角形面片进行变换，然后建立变换后的梯度场及其散度场，结合步骤(2)得到的二值刚性约束模板，利用泊松方程求解变形结果，得到弱化表情变形的中间模型；

(4)匹配：

匹配变形后的中间模型和向导模型，计算两个模型间最近点对的平均距离作为两者的相似度；

(5)识别：

对gallery中的每一个模型实施步骤(3)、步骤(4)两步的计算，选取其中平均距离最小的一个作为识别结果，以完成系统功能。

2.根据权利要求1所述的弱化表情形变影响的三维人脸识别方法，其特征是：步骤(1)的对称面检测采用的是基于ICP对齐原始模型和其镜像模型，然后求对应点的中轴面的方法。

3.根据权利要求1所述的弱化表情形变影响的三维人脸识别方法，其特征是：步骤(1)鼻尖点和鼻基点的检测采用下述方法：

p_nt＝argmax_p∈C(dist(p，l_e))    (1)

p_nb＝argmin_p∈L(y_p)             (2)

$L=\left\{p\right|p\&Element;C,y_p>y_{p_m},{\mathrm{dist}}^{\&prime;}(p,l_e)=0\}---\left(3\right)$

其中，p_nt为鼻尖点，p_nb为鼻基点，C为侧影线，连接侧影线C头尾两点的线段为l_e，dist(·，)表示点到直线段的距离，y_p表示点p的y轴坐标，dist′(·，)表示点到直线段距离的一阶微分。

4.根据权利要求1所述的弱化表情形变影响的三维人脸识别方法，其特征是：步骤(2)采用的刚性约束的计算是基于多组同类模型，每组一个中性模型，其余为带表情模型；步骤(2)刚性约束计算采用的模型间对应关系在参数域建立；采用的二值刚性约束的约束率为50％。

5.根据权利要求1所述的弱化表情形变影响的三维人脸识别方法，其特征是：步骤(3)中采用变形技术是基本泊松方程的变形技术，其线性系统如下式：

AU＝b                 (4)

其中U是变形后网格中任一顶点的坐标分量，b是修改后梯度向量场的散度，矩阵A是拉普拉斯算子在网格M上构建的一个稀疏矩阵，α_ij是边e_i，(j+1)与e_j，(j+1)的夹角，β_ij是边e_i，(j-1)与e_(j-1)，j的夹角。

6.根据权利要求1所述的弱化表情形变影响的三维人脸识别方法，其特征是：步骤(3)采用的变形技术是用gallery中的模型作为变形向导；步骤(3)中模型间对应三角面片的建立采用的是平均最近距离。

7.根据权利要求1所述的弱化表情形变影响的三维人脸识别方法，其特征是：步骤(3)中基于向导的梯度场计算是对每个三角面片建立局部坐标系，然后用下式进行变换：

X_ij′＝H_i·X_ij，j＝0，1，2    (6)

其中X_ij是三角面片i的第j个坐标，H_i保证下式成立：

$<\stackrel{\&RightArrow;}{n_{T_i^{p,}}},\stackrel{\&RightArrow;}{n_{T_i^g}}>=0---\left(7\right)$

其中

是三角面片T的法向量。

8.根据权利要求1所述的弱化表情形变影响的三维人脸识别方法，

其特征是：步骤(3)刚性约束与变形技术的融合采用的是分块矩阵计算法，如下：

$\left[\begin{array}{cc}{A}_1& A_2\\ A_3& A_4\end{array}\right]\left[\begin{array}{c}{U}_1\\ U_2\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right]---\left(8\right)$

其中落入二值约束模板中刚性区域的顶点元素个数为k，稀疏矩阵A的前k行的方程系数对应这k个顶点，A₁，A₂，A₃，A₄分别为k×k，k×(n-k)，(n-k)×k，(n-k)×(n-k)的块矩阵，U₁是对应于刚性区域中顶点的x，y，z分量之一，U₂是待变形顶点的坐标分量，b₁，b₂是对应的散度。保持U₁不变，泊松方程简化为求解如下线性系统：

A₄U₂＝b₂-A₃U₁                 (9)

9.根据权利要求1所述的弱化表情形变影响的三维人脸识别方法，其特征是：步骤(3)采用的线性系统的计算方法是矩阵分解和回代。

10.根据权利要求1所述的弱化表情形变影响的三维人脸识别方法，其特征是：步骤(4)采用的匹配相似度量如下式：

$\mathrm{Dis}(M_p,M_g)=\mathrm{RMS}(D_c^g\left(M_p\right),M_g)---\left(10\right)$

其中D_c ^g(·)表示基于向导模型的一次约束变形过程，RMS(·，·)表示最近点平均距离。

Images