CN103246875A - 一种基于面部曲线弹性匹配的三维人脸识别方法 - Google Patents

Abstract

一种基于面部径向曲线弹性匹配的三维人脸识别方法，步骤如下：首先，对三维人脸进行预处理，提取从鼻尖点发射的多条面部径向曲线，并对径向曲线进行重采样后提取有用点；然后，对测试人脸的每条径向曲线与库集人脸的对应曲线进行分层弹性匹配，再根据测试人脸与库集人脸建立的点对应关系，利用对应点到鼻尖点的距离对曲线进行点距匹配；最后，将人脸上径向曲线的分层弹性匹配相似度和点距匹配相似度进行加权融合作为总相似度用于识别，本发明提出的三维人脸识别方法具有很好的识别性能，并且对表情、遮挡和噪声具有较好的鲁棒性。

Description

一种基于面部曲线弹性匹配的三维人脸识别方法

技术领域

本发明属于三维人脸识别领域，涉及一种基于面部曲线弹性匹配的三维人脸识别方法。 

背景技术

生物特征识别在安全领域有着重要的应用，特别是与指纹识别、虹膜识别等生物特征识别技术相比，人脸识别具有非接触、隐蔽性好等特性，而成为当前模式识别和计算机视觉领域的研究热点。传统的基于二维灰度或彩色图像的二维人脸识别已获得较好的识别性能，但仍易受光照、姿态、化妆等因素的影响，三维人脸数据包含比二维人脸更多的信息，且不会受姿势和光照的影响，所以基于三维人脸数据的三维人脸识别具有更好的识别效果，近些年受到越来越多的关注。 

三维人脸模型具有比二维图像更丰富的信息，它是对人脸的空间真实形态更准确的描述，但是，三维人脸模型数据量较大，干扰区域较多，计算量极大，且人脸表情带来的非刚性形变影响了基于几何信息的三维人脸识别方法的性能。因此，如何减小运算量、降低人脸表情影响、提高人脸识别率成为三维人脸识别技术的瓶颈，也是研究的关键问题。 

发明内容

发明目的：针对三维人脸识别运算量过大和对表情、遮挡、噪声等影响敏感的问题，本发明提供了一种具有很好的识别性能，同时对表情、遮挡和噪声具有较好的鲁棒性的基于面部曲线弹性匹配的三维人脸识别方法。 

技术方案：一种基于面部曲线弹性匹配的三维人脸识别方法，该方法包括以下步骤： 

步骤1），分别对测试人脸模型和N个库人脸集模型进行预处理，所述预处理步骤如下： 

步骤1.1），对原始人脸模型进行切割得到人脸模型： 

根据人脸点云的形状指数Shape Index特征和几何约束确定鼻尖点位置，以该点为球心，90mm为半径做球体，舍弃落在所述球体以外的点，保留所述球体内的点作为后续处理的人脸区域； 

步骤1.2），人脸表面平滑处理及姿态校正： 

对切割后的人脸点云三角化，得到空间三角网格，然后用基于网格的平滑算法对人脸区域进行平滑去噪，经过10次迭代处理，得到表面平滑的三维人脸网格，然后将表 面平滑的三维人脸网格恢复成人脸点云； 

对平滑后的人脸点云用主成分分析法PCA进行姿态校正，经主成分分析PCA得到3个互相垂直的主轴方向，以鼻尖点为原点，选取最大的特征值对应的特征向量作为Y轴，最小的特征值对应的特征向量作为Z轴，建立右手坐标系，并以所述右手坐标系为姿势坐标系PCS，将人脸点云转换到所述姿势坐标系PCS中，人脸点云中每个点由所述姿势坐标系PCS中x、y、z坐标唯一表示； 

步骤2），分别对所述步骤1）预处理后的测试人脸模型和库集人脸模型提取人脸径向曲线并对径向曲线进行重采样： 

步骤2.1），在所述步骤1）姿势坐标系PCS中，记具有正面姿态的三维人脸曲面为S，平面YOZ的上半平面为p₁，计算人脸点云上每个点到所述平面p₁的距离，选择距离小于径向阈值δ＝0.3的点的集合作为径向曲线c₁；将平面p₁绕Z轴以角度α=10°为间隔逆时针旋转，得到平面p₂，按所述求取径向曲线c₁的方法得到径向曲线c₂；继续以角度α逆时针旋转平面p₁，得到平面p_k(k＝1,2,...,36)，按所述求取径向曲线c₁的方法最终得到径向曲线c_k(k＝1,2,...,36)； 

步骤2.2），以所述步骤2.1）中的平面p₁与步骤1.2）中姿势坐标系PCS中的XOY平面相交得到的曲线作为参考曲线，在参考曲线上每隔1mm采样一个点，选择径向曲线c₁上与该点在参考曲线方向上的距离最近且小于重采样阈值ζ＝0.3的点作为径向曲线c₁的采样点，得到重采样径向曲线rc₁；按所述径向曲线c₁的重采样方法，依次对所述步骤2.1）得到的36条径向曲线进行重采样，得到重采样径向曲线rc_k(k＝1,2,...,36)； 

步骤3），建立库集人脸模型重采样径向曲线的形状树： 

步骤3.1），记重采样后的径向曲线rc₁上的采样点为(a₁,a₂,...,a_n)，n表示曲线上点的个数，选取一点a_i作为中间采样点，取

记L(a_i|a₁,a_n)表示a_i相对于a₁和a_n的Bookstein坐标；所述Bookstein坐标计算方法如下：首先将a₁映射至Bookstein坐标系下(-0.5,0)处、a_n映射至Bookstein坐标系下(0.5,0)处，则a_i相对于a₁和a_n的位置L(a_i|a₁,a_n)＝(a⁽¹⁾,a⁽²⁾)由式（1）求得： 

$\left\{\begin{array}{c}{a}^{\left(1\right)}=\frac{[(a_n^{\left(1\right)}-a_1^{\left(1\right)})(a_i^{\left(1\right)}-a_1^{\left(1\right)})+(a_n^{\left(2\right)}-a_1^{\left(2\right)})(a_i^{\left(2\right)}-a_1^{\left(2\right)})]}{D_{12}^2}-\frac{1}{2}\\ a^{\left(2\right)}=\frac{[(a_n^{\left(1\right)}-a_1^{\left(1\right)})(a_i^{\left(2\right)}-a_1^{\left(2\right)})-(a_n^{\left(2\right)}-a_1^{\left(2\right)})(a_i^{\left(1\right)}-a_1^{\left(1\right)})]}{D_{12}^2}\end{array}\right.---\left(1\right)$ 式 

其中， $D_{12}=\sqrt{{(a_n^{\left(1\right)}-a_1^{\left(1\right)})}^2+{(a_n^{\left(2\right)}-a_1^{\left(2\right)})}^2},$

为a_q(q＝1,2,...,n)的平面二维坐标； 

步骤3.2），建立一个二叉树，每个二叉树结点存放当前首、尾和中间采样点的序号及中间采样点相对于首、尾采样点的Bookstein坐标；将L(a_i|a₁,a_n)及a_i、a₁和a_n的采样点序号存入二叉树的根结点，选取

作为a₁和a_i的中间采样点，按照所述步骤3.1）中a_i相对于a₁和a_n的Bookstein坐标计算方法求出

相对于a₁和a_i的Bookstein坐标 

并将

及

a₁和a_i的序号存入二叉树的根结点的左子结点；选取

作为a_i和a_n的中间采样点，按照所述步骤3.1）中a_i相对于a₁和a_n的Bookstein坐标计算方法求出相对于a_i和a_n的Bookstein坐标

并将

及

a_i和a_n的序号存入二叉树的根结点的右子结点； 

步骤3.3），按照所述步骤3.1）和步骤3.2），继续求取所述左子结点的子结点和右子结点的子结点，直到二叉树结点的首、尾采样点序号之差为1时，不再求取该结点的子结点；当二叉树的所有底层结点不可再求取子结点时，二叉树建立完毕，建立的二叉树称为形状树； 

步骤3.4），重复所述步骤3.1）至步骤3.3)，建立库集人脸模型的36条重采样径向曲线的形状树； 

步骤4），将所述步骤2）得到的测试人脸模型重采样径向曲线与所述步骤3）建立的库集人脸模型重采样径向曲线的形状树进行比较： 

步骤4.1），选取测试人脸模型上的一条重采样径向曲线B，记重采样径向曲线B上的采样点为(b₁,b₂,...,b_m)，重采样径向曲线B与库集人脸模型对应的重采样径向曲线的形状树A进行分层匹配，比较步骤如下： 

选取重采样径向曲线B上一点b_j，选取规则为

计算b_j相对于b₁和b_m的Bookstein坐标L(b_j|b₁,b_m)；将所述Bookstein坐标L(b_j|b₁,b_m)与库集形状树的根结点存储的Bookstein坐标L(a_i|a₁,a_n)进行比较，Bookstein坐标比较方式如下： 

对于Bookstein坐标分别为(x₁,y₁)和(w₁,z₁)的两点，首先根据式（2）： 

(u₁,v₁)＝(w₁cosθ-z₁sinθ,w₁sinθ+z₁cosθ)                    （2）式 

将(w₁,z₁)映射为(u₁,v₁)，其中

然后计算普式距离dif为： 

$\mathrm{dif}=\sqrt{{(u_1-x_1)}^2+{(v_1-y_1)}^2}$

普式距离dif即为两个Bookstein坐标的相似度； 

记A₁、A₂分别为库集形状树的左、右子树，B₁＝(b₁,b₂,...,b_j)和B₂＝(b_j,b_j+1,...,b_m)分别为中间点b_j将重采样径向曲线B分成的左子曲线和右子曲线；重采样径向曲线B与库集形状树A之间的相似度为： 

其中，λ_A为权重因子，

为A₁和B₁的相似度，

为A₂和B₂的相似度，dif为两个Bookstein坐标的相似度； 

如果b_j使得A₁和B₁的相似度

A₂和B₂的相似度

及两个Bookstein坐标的相似度dif加权之和S₁最小，则S₁作为径向曲线B与库集形状树A之间的相似度 

其中

和

分别按所述

计算方式计算； 

步骤4.2），按照所述步骤4.1），求取测试人脸模型所有的重采样径向曲线与库集人脸模型的重采样径向曲线的对应形状树之间的相似度对所有

进行加权融合作为最后测试人脸模型与库集人脸模型的分层匹配相似度

其中，曲线权重因子 ${\mathrm{\ω}}_k=\left\{\begin{array}{c}{e}^{-k/36},k=1,\·\·\·,18\\ e^{-(38-k)/36},k=19,\·\·\·,36\end{array}\right.;$

步骤4.3），按照所述步骤4.1）和步骤4.2），计算测试人脸模型与N个库集人脸模型的分层匹配相似度，得到分层匹配相似度向量

为测试模型第l个库集模型的分层匹配相似度，其中m＝1,2,...,N； 

步骤5），建立测试人脸模型重采样径向曲线与库集人脸模型重采样径向曲线的有用点对，然后利用重采样径向曲线上有用点对中的有用点到人脸模型鼻尖点的距离对测试人脸模型重采样径向曲线与库集人脸模型重采样径向曲线进行点距匹配： 

步骤5.1），对所述步骤2.2）得到的重采样参考曲线上的任一点pt，使用采样标志 flag_pt标志该点位置是否包含采样点；重采样时参考曲线上每隔1mm的对应位置上若存在采样点，则参考曲线该点位置处的采样标志flag_pt设为1，否则设为0； 

求出参考曲线上每隔1mm的对应位置处采样点是否可用的有用点标志pflag： 

pflag＝flag_a·flag_b

当测试人脸采样参考曲线上一点采样标志flag_a和库集人脸采样参考曲线上该点采样标志flag_b均为1时，有用点标志pflag为1，则采样参考曲线上对应的重采样径向曲线上的采样点a和采样点b为有用点，该对采样点才能参与比较； 

按照所述有用点判断方法，对所有重采样径向曲线上的点进行有用点判断； 

步骤5.2），比较测试人脸模型重采样径向曲线和库集人脸模型重采样径向曲线的点距相似度： 

求取库集人脸模型第k条重采样径向曲线上第t个采样点与鼻尖点的欧式距离为 

测试人脸模型第k条重采样径向曲线上第t个采样点与鼻尖点的欧式距离为则第k条重采样径向曲线的特征相似度φ_k定义如式（3）： 

${\mathrm{\φ}}_k=\frac{\underset{t=1}{\overset{n_k}{\mathrm{\Σ}}}{\mathrm{pflag}}_t\·\left|(d_{P_t}-d_{G_t})\right|}{N_k}---\left(3\right)$ 式 

其中n_k为第k条重采样径向曲线总共采样点数，有用的采样点对数记为N_k，pflag_t为采样点有用点标志； 

计算出所有的重采样径向曲线的特征相似度φ_k(k＝1,2,...,36)并进行加权求和，得到测试人脸模型与库集人脸模型的点距匹配相似度φ： 

$\mathrm{\φ}=\underset{k=1}{\overset{36}{\mathrm{\Σ}}}{\mathrm{\ω}}_k\·{\mathrm{\φ}}_k$

其中ω_k为步骤4.2）所述的曲线权重因子； 

步骤5.3），按照所述步骤5.1）和步骤5.2），计算测试人脸模型与N个库集人脸模型的点距匹配相似度，得到点距匹配相似度向量

为测试模型第m个库集模型的点距相似度，其中m＝1,2,...,N； 

步骤6），将所述步骤4）得到的分层匹配相似度向量S_h和步骤5）得到的点距匹配相似度向量S_p加权融合得到测试人脸模型和库集人脸模型的最终相似度向量S，加权融 合方法如下： 

分别对分层匹配相似度向量S_h和点距匹配相似度向量S_p进行归一化： 

其中，

为测试模型第l个库集模型的分层匹配相似度，φ_pm为测试模型第m个库集模型的点距相似度；得到归一化后的分层匹配相似度

和归一化后的点距匹配相似度φ_pm'，从而得到归一化后的分层匹配相似度向量S_h'和归一化后的点距匹配相似度向量S_p'； 

对所述归一化后的分层匹配相似度向量S_h'和归一化后的点距匹配相似度向量S_p'进行加权求和，S＝w_hS_h'+w_pS_p'，得到最终相似度向量S，其中w_h＝0.6，w_p＝0.4，所述最终相似度向量S中最小的相似度值对应的库集人脸模型为最终的识别结果。 

有益效果：本发明与现有技术相比，具有以下优点： 

1.曲线分层弹性匹配算法很好地利用了曲线的整体和局部几何信息，对形变图形的匹配具有很好的效果；本发明方法对曲线的平移、旋转和尺度变化具有不变性，很好地克服了人脸的曲面形变；对分层匹配算法的中间点搜索进行优化，大大减少了曲线匹配的时间代价。 

2.对每条径向曲线根据其受表情影响的严重程度给予不同的权重，对处在额头等刚性区域的曲线给予较大权重，对处在嘴巴区域的曲线给予较低权重，这样就能够有效克服表情变化带来的影响。 

3.通过建立了曲线采样点之间的对应关系，对径向曲线进行有用点的提取，有效地减少了数据丢失和头发遮挡等因素对人脸识别效果的影响。 

综上，本发明通过分层匹配算法利用径向曲线的整体和局部特征及对受表情影响程度不同的曲线分配权重克服了人脸表情带来的形变，同时对径向曲线进行有用点提取有效地较少了遮挡等因素的影响。本发明有效地提高了人脸识别率和识别性能。 

附图说明

图1是本发明提供的基于面部曲线弹性匹配的三维人脸识别方法的整体流程图； 

图2是原始人脸模型； 

图3是切割及平滑去噪后的人脸模型； 

图4是姿态校正后的人脸模型； 

图5是径向曲线提取方式示意图。 

具体实施方式

下面结合附图和具体实施例对本发明作进一步描述。 

本发明的基于面部曲线弹性匹配的三维人脸识别方法，在Windows操作系统中通过VC++6.0平台用C++编程语言实现三维人脸识别流程。实验数据来自FRGC v2.0三维人脸数据库，由美国圣母大学采集，主要在2003年秋季和2004年春季采集。图1是本发明方法整体流程图，具体步骤如下： 

步骤1），分别对测试人脸模型和N个库人脸集模型进行预处理，所述预处理步骤如下： 

步骤1.1），对原始人脸模型进行切割得到人脸模型： 

原始人脸模型如附图2所示，根据人脸点云的形状指数Shape Index特征和几何约束确定鼻尖点位置，以该点为球心，90mm为半径做球体，舍弃落在所述球体以外的点，保留所述球体内的点作为后续处理的人脸区域； 

步骤1.2），人脸表面平滑处理及姿态校正： 

对切割后的人脸点云三角化，得到空间三角网格，然后用基于网格的平滑算法对人脸区域进行平滑去噪，经过10次迭代处理，得到表面平滑的三维人脸网格，然后将表面平滑的三维人脸网格恢复成人脸点云； 

对平滑后的人脸点云用主成分分析法PCA进行姿态校正，经主成分分析PCA得到3个互相垂直的主轴方向，以鼻尖点为原点，选取最大的特征值对应的特征向量作为Y轴，最小的特征值对应的特征向量作为Z轴，建立右手坐标系，并以所述右手坐标系为姿势坐标系PCS，将人脸点云转换到所述姿势坐标系PCS中，人脸点云中每个点由所述姿势坐标系PCS中x、y、z坐标唯一表示，校正后的人脸模型如附图4所示； 

步骤2），分别对所述步骤1）预处理后的测试人脸模型和库集人脸模型提取人脸径向曲线并对径向曲线进行重采样： 

步骤2.1），在所述步骤1）姿势坐标系PCS中，记具有正面姿态的三维人脸曲面为S，平面YOZ的上半平面为p₁，计算人脸点云上每个点到所述平面p₁的距离，选择距离小于径向阈值δ＝0.3的点的集合作为径向曲线c₁；将平面p₁绕Z轴以角度α=10°为间隔逆 时针旋转，得到平面p₂，按所述求取径向曲线c₁的方法得到径向曲线c₂；继续以角度α逆时针旋转平面p₁，得到平面p_k(k＝1,2,...,36)，按所述求取径向曲线c₁的方法最终得到径向曲线c_k(k＝1,2,...,36)，径向曲线提取过程如附图5所示； 

步骤2.2），以所述步骤2.1）中的平面p₁与步骤1.2）中姿势坐标系PCS中的XOY平面相交得到的曲线作为参考曲线，在参考曲线上每隔1mm采样一个点，选择径向曲线c₁上与该点在参考曲线方向上的距离最近且小于重采样阈值ζ＝0.3的点作为径向曲线c₁的采样点，得到重采样径向曲线rc₁；按所述径向曲线c₁的重采样方法，依次对所述步骤2.1）得到的36条径向曲线进行重采样，得到重采样径向曲线rc_k(k＝1,2,...,36)； 

步骤3），建立库集人脸模型重采样径向曲线的形状树： 

步骤3.1），记重采样后的径向曲线rc₁上的采样点为(a₁,a₂,...,a_n)，n表示曲线上点的个数，选取一点a_i作为中间采样点，取

记L(a_i|a₁,a_n)表示a_i相对于a₁和a_n的Bookstein坐标；所述Bookstein坐标计算方法如下：首先将a₁映射至Bookstein坐标系下(-0.5,0)处、a_n映射至Bookstein坐标系下(0.5,0)处，则a_i相对于a₁和a_n的位置L(a_i|a₁,a_n)＝(a⁽¹⁾,a⁽²⁾)由式（1）求得： 

$\left\{\begin{array}{c}{a}^{\left(1\right)}=\frac{[(a_n^{\left(1\right)}-a_1^{\left(1\right)})(a_i^{\left(1\right)}-a_1^{\left(1\right)})+(a_n^{\left(2\right)}-a_1^{\left(2\right)})(a_i^{\left(2\right)}-a_1^{\left(2\right)})]}{D_{12}^2}-\frac{1}{2}\\ a^{\left(2\right)}=\frac{[(a_n^{\left(1\right)}-a_1^{\left(1\right)})(a_i^{\left(2\right)}-a_1^{\left(2\right)})-(a_n^{\left(2\right)}-a_1^{\left(2\right)})(a_i^{\left(1\right)}-a_1^{\left(1\right)})]}{D_{12}^2}\end{array}\right.---\left(1\right)$ 式 

其中， $D_{12}=\sqrt{{(a_n^{\left(1\right)}-a_1^{\left(1\right)})}^2+{(a_n^{\left(2\right)}-a_1^{\left(2\right)})}^2},$

为a_q(q＝1,2,...,n)的平面二维坐标； 

步骤3.2），建立一个二叉树，每个二叉树结点存放当前首、尾和中间采样点的序号及中间采样点相对于首、尾采样点的Bookstein坐标；将L(a_i|a₁,a_n)及a_i、a₁和a_n的采样点序号存入二叉树的根结点，选取

作为a₁和a_i的中间采样点，按照所述步骤3.1）中a_i相对于a₁和a_n的Bookstein坐标计算方法求出

相对于a₁和a_i的Bookstein坐标 

并将

及

a₁和a_i的序号存入二叉树的根结点的左子结点；选取

作为a_i和a_n的中间采样点，按照所述步骤3.1）中a_i相对于a₁和a_n的Bookstein坐标计算方法求出

相对于a_i和a_n的Bookstein坐标并将

及

a_i和a_n的序号存入二叉树的根结点的右子结点； 

步骤3.3），按照所述步骤3.1）和步骤3.2），继续求取所述左子结点的子结点和右子结点的子结点，直到二叉树结点的首、尾采样点序号之差为1时，不再求取该结点的子结点；当二叉树的所有底层结点不可再求取子结点时，二叉树建立完毕，建立的二叉树称为形状树； 

步骤3.4），重复所述步骤3.1）至步骤3.3)，建立库集人脸模型的36条重采样径向曲线的形状树； 

步骤4），将所述步骤2）得到的测试人脸模型重采样径向曲线与所述步骤3）建立的库集人脸模型重采样径向曲线的形状树进行比较： 

步骤4.1），选取测试人脸模型上的一条重采样径向曲线B，记重采样径向曲线B上的采样点为(b₁,b₂,...,b_m)，重采样径向曲线B与库集人脸模型对应的重采样径向曲线的形状树A进行分层匹配，比较步骤如下： 

选取重采样径向曲线B上一点b_j，选取规则为

计算b_j相对于b₁和b_m的Bookstein坐标L(b_j|b₁,b_m)；将所述Bookstein坐标L(b_j|b₁,b_m)与库集形状树的根结点存储的Bookstein坐标L(a_i|a₁,a_n)进行比较，Bookstein坐标比较方式如下： 

对于Bookstein坐标分别为(x₁,y₁)和(w₁,z₁)的两点，首先根据式（2）： 

(u₁,v₁)＝(w₁cosθ-z₁sinθ,w₁sinθ+z₁cosθ)                 （2）式 

将(w₁,z₁)映射为(u₁,v₁)，其中

然后计算普式距离dif为： 

$\mathrm{dif}=\sqrt{{(u_1-x_1)}^2+{(v_1-y_1)}^2}$

普式距离dif即为两个Bookstein坐标的相似度； 

记A₁、A₂分别为库集形状树的左、右子树，B₁＝(b₁,b₂,...,b_j)和B₂＝(b_j,b_j+1,...,b_m)分别为中间点b_j将重采样径向曲线B分成的左子曲线和右子曲线；重采样径向曲线B与库集形状树A之间的相似度

为： 

其中，λ_A为权重因子，

为A₁和B₁的相似度，

为A₂和B₂的相似度，dif为两个Bookstein坐标的相似度； 

如果b_j使得A₁和B₁的相似度

A₂和B₂的相似度

及两个Bookstein坐标的相似度dif加权之和S₁最小，则S₁作为径向曲线B与库集形状树A之间的相似度 

其中和

分别按所述

计算方式计算； 

步骤4.2），按照所述步骤4.1），求取测试人脸模型所有的重采样径向曲线与库集人脸模型的重采样径向曲线的对应形状树之间的相似度

对所有

进行加权融合作为最后测试人脸模型与库集人脸模型的分层匹配相似度

其中，曲线权重因子 ${\mathrm{\ω}}_k=\left\{\begin{array}{c}{e}^{-k/36},k=1,\·\·\·,18\\ e^{-(38-k)/36},k=19,\·\·\·,36\end{array}\right.;$

步骤4.3），按照所述步骤4.1）和步骤4.2），计算测试人脸模型与N个库集人脸模型的分层匹配相似度，得到分层匹配相似度向量

为测试模型第l个库集模型的分层匹配相似度，其中m＝1,2,...,N； 

步骤5），建立测试人脸模型重采样径向曲线与库集人脸模型重采样径向曲线的有用点对，然后利用重采样径向曲线上有用点对中的有用点到人脸模型鼻尖点的距离对测试人脸模型重采样径向曲线与库集人脸模型重采样径向曲线进行点距匹配： 

步骤5.1），对所述步骤2.2）得到的重采样参考曲线上的任一点pt，使用采样标志flag_pt标志该点位置是否包含采样点；重采样时参考曲线上每隔1mm的对应位置上若存在采样点，则参考曲线该点位置处的采样标志flag_pt设为1，否则设为0； 

求出参考曲线上每隔1mm的对应位置处采样点是否可用的有用点标志pflag： 

pflag＝flag_a·flag_b

当测试人脸采样参考曲线上一点采样标志flag_a和库集人脸采样参考曲线上该点采样标志flag_b均为1时，有用点标志pflag为1，则采样参考曲线上对应的重采样径向曲线上的采样点a和采样点b为有用点，该对采样点才能参与比较； 

按照所述有用点判断方法，对所有重采样径向曲线上的点进行有用点判断； 

步骤5.2），比较测试人脸模型重采样径向曲线和库集人脸模型重采样径向曲线的点距相似度： 

求取库集人脸模型第k条重采样径向曲线上第t个采样点与鼻尖点的欧式距离为 

测试人脸模型第k条重采样径向曲线上第t个采样点与鼻尖点的欧式距离为

则第k条重采样径向曲线的特征相似度φ_k定义如式（3）： 

${\mathrm{\φ}}_k=\frac{\underset{t=1}{\overset{n_k}{\mathrm{\Σ}}}{\mathrm{pflag}}_t\·\left|(d_{P_t}-d_{G_t})\right|}{N_k}---\left(3\right)$ 式 

其中n_k为第k条重采样径向曲线总共采样点数，有用的采样点对数记为N_k，pflag_t为采样点有用点标志； 

计算出所有的重采样径向曲线的特征相似度φ_k(k＝1,2,...,36)并进行加权求和，得到测试人脸模型与库集人脸模型的点距匹配相似度φ： 

$\mathrm{\φ}=\underset{k=1}{\overset{36}{\mathrm{\Σ}}}{\mathrm{\ω}}_k\·{\mathrm{\φ}}_k$

其中ω_k为步骤4.2）所述的曲线权重因子； 

步骤5.3），按照所述步骤5.1）和步骤5.2），计算测试人脸模型与N个库集人脸模型的点距匹配相似度，得到点距匹配相似度向量

为测试模型第m个库集模型的点距相似度，其中m＝1,2,...,N； 

步骤6），将所述步骤4）得到的分层匹配相似度向量S_h和步骤5）得到的点距匹配相似度向量S_p加权融合得到测试人脸模型和库集人脸模型的最终相似度向量S，加权融合方法如下： 

分别对分层匹配相似度向量S_h和点距匹配相似度向量S_p进行归一化： 

其中，

为测试模型第l个库集模型的分层匹配相似度，φ_pm为测试模型第m个库集模型的点距相似度；得到归一化后的分层匹配相似度

和归一化后的点距匹配相似度φ_pm'，从而得到归一化后的分层匹配相似度向量S_h'和归一化后的点距匹配相似度向量S_p'； 

对所述归一化后的分层匹配相似度向量S_h'和归一化后的点距匹配相似度向量S_p'进行加权求和，S＝w_hS_h'+w_pS_p'，得到最终相似度向量S，其中w_h＝0.6，w_p＝0.4，所述最终相似度向量S中最小的相似度值对应的库集人脸模型为最终的识别结果。 

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。 

Claims (1)

1.一种基于面部曲线弹性匹配的三维人脸识别方法，其特征在于：该方法包括以下步骤：

步骤1)，分别对测试人脸模型和N个库人脸集模型进行预处理，所述预处理步骤如下：

步骤1.1)，对原始人脸模型进行切割得到人脸模型：

根据人脸点云的形状指数Shape Index特征和几何约束确定鼻尖点位置，以该点为球心，90mm为半径做球体，舍弃落在所述球体以外的点，保留所述球体内的点作为后续处理的人脸区域；

步骤1.2)，人脸表面平滑处理及姿态校正：

对切割后的人脸点云三角化，得到空间三角网格，然后用基于网格的平滑算法对人脸区域进行平滑去噪，经过10次迭代处理，得到表面平滑的三维人脸网格，然后将表面平滑的三维人脸网格恢复成人脸点云；

对平滑后的人脸点云用主成分分析法PCA进行姿态校正，经主成分分析PCA得到3个互相垂直的主轴方向，以鼻尖点为原点，选取最大的特征值对应的特征向量作为Y轴，最小的特征值对应的特征向量作为Z轴，建立右手坐标系，并以所述右手坐标系为姿势坐标系PCS，将人脸点云转换到所述姿势坐标系PCS中，人脸点云中每个点由所述姿势坐标系PCS中x、y、z坐标唯一表示；

步骤2)，分别对所述步骤1)预处理后的测试人脸模型和库集人脸模型提取人脸径向曲线并对径向曲线进行重采样：

步骤2.1)，在所述步骤1)姿势坐标系PCS中，记具有正面姿态的三维人脸曲面为S，平面YOZ的上半平面为p₁，计算人脸点云上每个点到所述平面p₁的距离，选择距离小于径向阈值δ＝0.3的点的集合作为径向曲线c₁；将平面p₁绕Z轴以角度α＝10为间隔逆时针旋转，得到平面p₂，按所述求取径向曲线c₁的方法得到径向曲线c₂；继续以角度α逆时针旋转平面p₁，得到平面p_k(k＝1，2，...，36)，按所述求取径向曲线c₁的方法最终得到径向曲线c_k(k＝1，2，..，36)；

步骤2.2)，以所述步骤2.1)中的平面p₁与步骤1.2)中姿势坐标系PCS中的XOY平面相交得到的曲线作为参考曲线，在参考曲线上每隔1mm采样一个点，选择径向曲线c₁上与该点在参考曲线方向上的距离最近且小于重采样阈值ζ＝0.3的点作为径向曲线c₁的采样点，得到重采样径向曲线rc₁；按所述径向曲线c₁的重采样方法，依次对所述步骤2.1)得到的36条径向曲线进行重采样，得到重采样径向曲线rc_k(k＝1，2，...，36)；

步骤3)，建立库集人脸模型重采样径向曲线的形状树：

步骤3.1)，记重采样后的径向曲线rc₁上的采样点为(a₁，a₂，...，a_n)，n表示曲线上点的个数，选取一点a_i作为中间采样点，取

记L(a_i|a₁，a_n)表示a_i相对于a₁和a_n的Bookstein坐标；所述Bookstein坐标计算方法如下：首先将a₁映射至Bookstein坐标系下(-0.5，0)处、a_n映射至Bookstein坐标系下(0.5，0)处，则a_i相对于a₁和a_n的位置L(a_i|a₁，a_n)＝(a⁽¹⁾，a⁽²⁾)由式(1)求得：

$\left\{\begin{array}{c}{a}^{\left(1\right)}=\frac{[(a_n^{\left(1\right)}-a_1^{\left(1\right)})(a_i^{\left(1\right)}-a_1^{\left(1\right)})+(a_n^{\left(2\right)}-a_1^{\left(2\right)})(a_i^{\left(2\right)}-a_1^{\left(2\right)})]}{D_{12}^2}-\frac{1}{2}\\ a^{\left(2\right)}=\frac{[(a_n^{\left(1\right)}-a_1^{\left(1\right)})(a_i^{\left(2\right)}-a_1^{\left(2\right)})-(a_n^{\left(2\right)}-a_1^{\left(2\right)})(a_i^{\left(1\right)}-a_1^{\left(1\right)})]}{D_{12}^2}\end{array}\right.$                       (1)式

其中， $D_{12}=\sqrt{{(a_n^{\left(1\right)}-a_1^{\left(1\right)})}^2+{(a_n^{\left(2\right)}-a_1^{\left(2\right)})}^2},$

为a_q(q＝1，2，...，n)的平面二维坐标；

步骤3.2)，建立一个二叉树，每个二叉树结点存放当前首、尾和中间采样点的序号及中间采样点相对于首、尾采样点的Bookstein坐标；将L(a_i|a₁，a_n)及a_i、a₁和a_n的采样点序号存入二叉树的根结点，选取作为a₁和a_i的中间采样点，按照所述步骤3.1)中a_i相对于a₁和a_n的Bookstein坐标计算方法求出相对于a₁和a_i的Bookstein坐标

并将

及

a₁和a_i的序号存入二叉树的根结点的左子结点；选取作为a_i和a_n的中间采样点，按照所述步骤3.1)中a_i相对于a₁和a_n的Bookstein坐标计算方法求出

相对于a_i和a_n的Bookstein坐标

并将

及

a_i和a_n的序号存入二叉树的根结点的右子结点；

步骤3.3)，按照所述步骤3.1)和步骤3.2)，继续求取所述左子结点的子结点和右子结点的子结点，直到二叉树结点的首、尾采样点序号之差为1时，不再求取该结点的子结点；当二叉树的所有底层结点不可再求取子结点时，二叉树建立完毕，建立的二叉树称为形状树；

步骤3.4)，重复所述步骤3.1)至步骤3.3)，建立库集人脸模型的36条重采样径向曲线的形状树；

步骤4)，将所述步骤2)得到的测试人脸模型重采样径向曲线与所述步骤3)建立的库集人脸模型重采样径向曲线的形状树进行分层匹配：

步骤4.1)，选取测试人脸模型上的一条重采样径向曲线B，记重采样径向曲线B上的采样点为(b₁，b₂，...，b_m)，重采样径向曲线B与库集人脸模型对应的重采样径向曲线的形状树A进行比较，比较步骤如下：

选取重采样径向曲线B上一点b_j，选取规则为

计算b_j相对于b₁和b_m的Bookstein坐标L(b_j|b₁，b_m)；将所述Bookstein坐标L(b_j|b₁，b_m)与库集形状树的根结点存储的Bookstein坐标L(a_i|a₁，a_n)进行比较，Bookstein坐标比较方式如下：

对于Bookstein坐标分别为(x₁，y₁)和(w₁，z₁)的两点，首先根据式(2)：

(u₁，v₁)＝(w₁cosθ-z₁sinθ，w₁sinθ+z₁cosθ)                         (2)式

将(w₁，z₁)映射为(u₁，v₁)，其中然后计算普式距离dif为：

$\mathrm{dif}=\sqrt{{(u_1-x_1)}^2+{(v_1-y_1)}^2}$

普式距离dif即为两个Bookstein坐标的相似度；

记A₁、A₂分别为库集形状树的左、右子树，B₁＝(b₁，b₂，...b_j)和B₂＝(b_j，b_j+1，...，b_m)分别为中间点b_j将重采样径向曲线B分成的左子曲线和右子曲线；重采样径向曲线B与库集形状树A之间的相似度

为：

其中，λ_A为权重因子，

为A₁和B₁的相似度，为A₂和B₂的相似度，dif为两个Bookstein坐标的相似度；

如果b_j使得A₁和B₁的相似度

A₂和B₂的相似度

及两个Bookstein坐标的相似度dif加权之和S₁最小，则S₁作为径向曲线B与库集形状树A之间的相似度

其中

和

分别按所述

计算方式计算；

步骤4.2)，按照所述步骤4.1)，求取测试人脸模型所有的重采样径向曲线与库集人脸模型的重采样径向曲线的对应形状树之间的相似度

对所有

进行加权融合作为最后测试人脸模型与库集人脸模型的分层匹配相似度

其中，曲线权重因子 ${\mathrm{\ω}}_k=\left\{\begin{array}{c}{e}^{-k/36},k=1,...,18\\ e^{-(38-k)/36},k=19,...,36\end{array}\right.;$

步骤4.3)，按照所述步骤4.1)和步骤4.2)，计算测试人脸模型与N个库集人脸模型的分层匹配相似度，得到分层匹配相似度向量

为测试模型第l个库集模型的分层匹配相似度，其中m＝1，2，...，N；

步骤5)，建立测试人脸模型重采样径向曲线与库集人脸模型重采样径向曲线的有用点对，然后利用重采样径向曲线上有用点对中的有用点到人脸模型鼻尖点的距离对测试人脸模型重采样径向曲线与库集人脸模型重采样径向曲线进行点距匹配：

步骤5.1)，对所述步骤2.2)得到的重采样参考曲线上的任一点pt，使用采样标志flag_pt标志该点位置是否包含采样点；重采样时参考曲线上每隔1mm的对应位置上若存在采样点，则参考曲线该点位置处的采样标志flag_pt设为1，否则设为0；

求出参考曲线上每隔1mm的对应位置处采样点是否可用的有用点标志pflag：

pflag＝flag_a·flag_b

当测试人脸采样参考曲线上一点采样标志flag_b和库集人脸采样参考曲线上该点采样标志flag_b均为1时，有用点标志pflag为1，则采样参考曲线上对应的重采样径向曲线上的采样点a和采样点b为有用点，该对采样点才能参与比较；

按照所述有用点判断方法，对所有重采样径向曲线上的点进行有用点判断；

步骤5.2)，比较测试人脸模型重采样径向曲线和库集人脸模型重采样径向曲线的点距相似度：

求取库集人脸模型第k条重采样径向曲线上第t个采样点与鼻尖点的欧式距离为

测试人脸模型第k条重采样径向曲线上第t个采样点与鼻尖点的欧式距离为

则第k条重采样径向曲线的特征相似度φ_k定义如式(3)：

${\mathrm{\φ}}_k=\frac{\underset{t=1}{\overset{n_k}{\mathrm{\Σ}}}{\mathrm{pflag}}_t\·\left|(d_{P_t}-d_{G_t})\right|}{N_k}$                                        (3)式

其中n_k为第k条重采样径向曲线总共采样点数，有用的采样点对数记为N_k，pflag_t为采样点有用点标志；

计算出所有的重采样径向曲线的特征相似度φ_k(k＝1，2，...，36)并进行加权求和，得到测试人脸模型与库集人脸模型的点距匹配相似度φ：

$\mathrm{\φ}=\underset{k=1}{\overset{36}{\mathrm{\Σ}}}{\mathrm{\ω}}_k\·{\mathrm{\φ}}_k$

其中ω_k为步骤4.2)所述的曲线权重因子；

步骤5.3)，按照所述步骤5.1)和步骤5.2)，计算测试人脸模型与N个库集人脸模型的点距匹配相似度，得到点距匹配相似度向量

为测试模型第m个库集模型的点距相似度，其中m＝1，2，...，N；

步骤6)，将所述步骤4)得到的分层匹配相似度向量S_h和步骤5)得到的点距匹配相似度向量S_p加权融合得到测试人脸模型和库集人脸模型的最终相似度向量S，加权融合方法如下：

分别对分层匹配相似度向量S_h和点距匹配相似度向量S_p进行归一化：

其中，

为测试模型第l个库集模型的分层匹配相似度，φ_pm为测试模型第m个库集模型的点距相似度；得到归一化后的分层匹配相似度

和归一化后的点距匹配相似度φ′_pm，从而得到归一化后的分层匹配相似度向量S′_h和归一化后的点距匹配相似度向量S′_p；

对所述归一化后的分层匹配相似度向量S′_h和归一化后的点距匹配相似度向量S′_p进行加权求和，S＝w_hS′_h+w_pS′_p，得到最终相似度向量S，其中w_h＝0.6，w_p＝0.4，所述最终相似度向量S中最小的相似度值对应的库集人脸模型为最终的识别结果。

Images