CN104091162A - 基于特征点的三维人脸识别方法 - Google Patents

Abstract

一种基于特征点的三维人脸识别方法，步骤如下：首先，对三维人脸模型进行预处理，通过线性插值将点云数据映射为深度图像；然后，在深度图上应用Gabor滤波粗略定位出人脸特征点，再根据ShapeIndex特征在人脸点云上精确定位出特征点；其次，提取以鼻中为中心的一系列等测地轮廓线来表征人脸形状，提取具有姿态不变性的Procrustean向量特征（距离和角度）作为识别特征；最后，对各条等测地轮廓线特征进行加权融合用于最后的识别。本发明提出的三维人脸识别方法具有很好的定位和识别性能，并且对表情、姿态具有较好的鲁棒性。

Description

基于特征点的三维人脸识别方法

技术领域

本发明涉及一种基于特征点的三维人脸识别方法，涉及数字图像处理和模式识别领域。

背景技术

生物特征识别如人脸识别、指纹识别、虹膜识别在安全领域有着广泛的应用前景，特别人脸识别技术，由于人脸识别的对用户干扰小、隐蔽性好等特性，而成为目前模式识别领域的研究热点。传统的基于二维图像的人脸识别已经取得了较大的发展，但是识别的效果依然受光照、姿态和表情等因素的限制，而三维人脸模型受光照、姿态影响较小，且三维人脸模型中包含更多的几何信息，因而三维人脸识别受到越来越多的关注。

三维人脸模型与二维图像相比具有更丰富的信息，它包含了人脸的几何和空间信息。但是，三维人脸模型多以点云形式保存，数据量大，加长了计算时间，且人脸表情变化引起的非刚性形变造成了三维人脸识别性能的下降。因此，如何减小计算量、减弱表情变化对人脸识别的影响成为三维人脸识别技术的关键问题，也是研究的难点。

发明内容

技术问题：本发明提出了一种基于特征点提取人脸局部区域特征的三维人脸识别方法。

技术方案：一种基于特征点的三维人脸识别方法，该方法包括以下步骤：

步骤1)、分别对测试人脸模型、N个库集人脸模型和M个训练集人脸模型进行平滑去噪：将三维人脸点云数据转化为三维网格，采用基于网格的平滑算法对三维人脸模型进行平滑去噪处理，然后将经过10次迭代处理得到的平滑的三维人脸网格恢复成人脸点云；

步骤2)、分别将经过步骤1)处理过的测试人脸模型、库集人脸模型和训练集人脸模型人脸的点云坐标信息映射到平面上，分别形成测试人脸模型、库集人脸模型和训练集人脸模型的深度图像，获取深度图像的方法如下：

步骤2.1)、计算平滑去噪后的三维人脸点云在空间坐标系下三个坐标轴x，y，z方向上的最大、最小值，根据x，y方向上的最大、最小值将x，y坐标值归一化后将点云投影到大小为640*480的图像上，根据z方向上的最大、最小值将z坐标值归一化到0-255之间作为相应位置的灰度值，这样得到的图像称为深度图像；归一化的公式如下：

$\left\{\begin{array}{c}{x}^{\′}=\frac{640(x-\min \left(x\right))}{\max \left(x\right)-\min \left(x\right)}\\ y^{\′}=\frac{480(y-\min \left(y\right))}{\max \left(y\right)-\min \left(y\right)}\\ z^{\′}=\frac{255(z-\min \left(z\right))}{\max \left(z\right)-\min \left(z\right)}\end{array}\right.,$ 其中x′，y′，z′为归一化后的坐标值；

步骤3)、分别对测试集人脸模型和库集人脸模型的深度图像进行Gabor滤波特征点粗定位以及形状指数Shape Index特征点精定位：

步骤3.1)、Gabor滤波粗定位，具体步骤如下：

步骤3.1.1)、Gabor滤波器定义为：

其中p为给定点坐标(g,h)，k_u,v＝[k_v cosφ_u,k_v sinφ_u]^T，u,v分别为Gabor滤波器的方向与尺度。其中参数σ＝2π，k_v＝2^-(v+1)，v＝{0,1,2,3,4}， ${\mathrm{\φ}}_u=\frac{\mathrm{\πu}}{8},$ $u=\{\mathrm{0,1,2}...,7\};$

步骤3.1.2)、对M张训练集中的每张深度图像进行7个特征点(鼻尖点、左右内眼角点、左右外眼角点和左右嘴角点)的手动标定，对于训练集中所有深度图像中第j个(j＝1,2,...,7)特征点的Gabor系数，构建Gabor系数向量G_j＝(G_1,j,G_2,j,...,G_M,j)，G_i,j为训练集中第i幅图像中第j个特征点的Gabor系数，计算如下：其中I_i是第i幅图像像素点坐标矩阵，q为第j个特征点的坐标(s,t)，*是卷积运算符，将计算所得的Gabor系数表示成这种形式，其中a_i,j为其幅值，φ_i,j为其相位；

步骤3.1.3)、待测深度图像(包括测试集和库集)上第j个候选特征点由Gabor系数的相似度S(J_m,G_j)由下式确定：

其中 $S(J_{m,n},G_{i,j})=\frac{\underset{i=1}{\overset{40}{\mathrm{\Σ}}}{a}_{i,j}{a}_{m,n}\cos ({\mathrm{\φ}}_{i,j}-{\mathrm{\φ}}_{m,n})}{\sqrt{\underset{i=1}{\overset{40}{\mathrm{\Σ}}}{a_{i,j}}^2\underset{i=1}{\overset{40}{\mathrm{\Σ}}}{a_{m,n}}^2}},$ J_m,n为第m幅待测图像第n点的Gabor系数；根据相似度S(J_m,G_j)确定粗定位的第m幅第j个特征点：即相似度最大所对应的坐标为第m幅待测图像上粗定位的第j个特征点所在位置，粗定位的第j个特征点称为第j个候选特征点；

步骤3.2)、人脸特征点精定位：

步骤3.2.1)、对第j个候选特征点选取邻域，以其为圆心，r＝90mm为半径做圆，圆内包含的区域即为第j个候选特征点的邻域，求取第j个特征点邻域内每个像素点的一阶和二阶梯度，计算方式如下：

$\left\{\begin{array}{c}{f}_{\mathrm{\α}}(\mathrm{\α},\mathrm{\β})=f(\mathrm{\α}+1,\mathrm{\β})-f(\mathrm{\α},\mathrm{\β})\\ f_{\mathrm{\β}}(\mathrm{\α},\mathrm{\β})=f(\mathrm{\α},\mathrm{\β}+1)-f(\mathrm{\α},\mathrm{\β})\\ f_{\mathrm{\α\α}}(\mathrm{\α},\mathrm{\β})=f(\mathrm{\α}+1,\mathrm{\β})-2f(\mathrm{\α},\mathrm{\β})+f(\mathrm{\α}-1,\mathrm{\β})\\ f_{\mathrm{\β\β}}(\mathrm{\α},\mathrm{\β})=f(\mathrm{\α},\mathrm{\β}+1)-2f(\mathrm{\α},\mathrm{\β})+f(\mathrm{\α},\mathrm{\β}-1)\\ f_{\mathrm{\α\β}}(\mathrm{\α},\mathrm{\β})=f(\mathrm{\α}+1,\mathrm{\β}+1)+f(\mathrm{\α},\mathrm{\β})-f(\mathrm{\α},\mathrm{\β}+1)-f(\mathrm{\α}+1,\mathrm{\β})\end{array}\right.$

利用公式 $\left\{\begin{array}{c}K=\frac{f_{\mathrm{\α\α}}{f}_{\mathrm{\β\β}}-{f_{\mathrm{\α\β}}}^2}{{(1+{f_{\mathrm{\α}}}^2+{f_{\mathrm{\β}}}^2)}^2}\\ H=\frac{f_{\mathrm{\α\α}}(1+{f_{\mathrm{\β}}}^2)+f_{\mathrm{\β\β}}(1+{f_{\mathrm{\α}}}^2)-2f_{\mathrm{\α}}{f}_{\mathrm{\β}}{f}_{\mathrm{\α\β}}}{{(1+{f_{\mathrm{\α}}}^2+{f_{\mathrm{\β}}}^2)}^{3/2}}\end{array}\right.$ 求得邻域内每个像素点的高斯曲率K和平均曲率H，由高斯曲率K和平均曲率H得到每个像素点的最大主曲率k₁和最小主曲率k₂：

$\left\{\begin{array}{c}{k}_1=H+\sqrt{H^2-K}\\ k_2=H-\sqrt{H^2-K}\end{array}\right.$

计算第j个候选特征点邻域内每个像素点的形状索引值(Shape Index)：

$\mathrm{ShapeIndex}\left(e\right)=\frac{1}{2}-\frac{1}{\mathrm{\π}}{\tan }^{-1}\frac{k_1\left(e\right)+k_2\left(e\right)}{k_1\left(e\right)-k_2\left(e\right)}$

其中e为第j个候选特征点邻域内一点；

步骤3.2.2)、根据步骤3.2.1)得到的形状索引值精确定位出特征点位置：其中候选鼻尖点邻域内形状索引值最大的则为精确定位鼻尖点所在位置，左右内眼角点、左右外眼角点、左右嘴角点邻域内形状索引值最小的则为精确定位左右内眼角点、左右外眼角点、左右嘴角点所在位置；

步骤4)、按步骤3)所述对所有库集和测试集人脸模型的深度图像进行鼻尖点、左右外眼角点、左右内眼角点和左右嘴角点的精定位，根据左右内眼角和鼻尖点确定鼻中点：先确定位于左右内眼角中心的点，再取位于该点与鼻尖中心的点作为鼻中点；根据深度图像与点云数据的对应关系，找到点云数据上的鼻中点，对应关系如下：

$\left\{\begin{array}{c}x=\frac{x^{\′}(\max \left(x\right)-\min \left(x\right))}{640}+\min \left(x\right)\\ y=\frac{y^{\′}(\max \left(y\right)-\min \left(y\right))}{480}+\min \left(y\right)\\ z=\frac{z^{\′}(\max \left(z\right)-\min \left(z\right))}{255}+\min \left(z\right)\end{array}\right.$

步骤5)、分别对测试集和库集人脸模型提取以鼻中点为中心的8条等测地轮廓线并对等测地轮廓线进行重采样：

步骤5.1)、计算点云数据上每点到鼻中点的测地距离，测地距离定义为：曲面上两点之间最短的距离称为测地距离；将距离值归一化到[0,1]之间，分别取到鼻中点距离为[δ_l-λ,δ_l+λ]的点组成等测地轮廓线P_l,l＝1,2,...,8，其中δ₁＝0.06，δ₂＝0.12，δ₃＝0.18，δ₄＝0.24，δ₅＝0.30，δ₆＝0.36，δ₇＝0.42，δ₈＝0.50，λ＝0.005；

步骤5.2)、以鼻中点为中心在平面坐标系XOY中构造一个椭圆，方程如下：

$\left\{\begin{array}{c}X=\frac{A}{2}\cos T\\ Y=\frac{B}{2}\sin T\end{array}\right.,$ 其中A为P_l在横轴X方向的投影差值，B为P_l在纵轴Y方向的投影差值，选择离散采样T，在椭圆上采样60个点，对于椭圆上这60个采样点，在等测地轮廓线P_l上选取欧式距离最短的点作为等测地轮廓线P_l的采样点p_o,o＝1,2,...,60；

步骤6)、建立库集人脸模型与测试集人脸模型特征向量：

步骤6.1)、构造一个单位圆C，在单位圆上等距采样60个点，然后用Procrustes分析将单位圆经过旋转、平移、伸缩等保形变换，使得单位圆上各点与等测地轮廓线P_l对应点之间的距离总和最小，这样得到Procrustean拟合圆提取等测地轮廓线P_l上的采样点p_o(o＝1,2...,60)与Procrustean拟合圆上对应点之间的距离特征d_o和角度特征θ_o:

$\left\{\begin{array}{c}{d}_o=\sqrt{{(x_{p_o}-x_{{\stackrel{\‾}{c}}_o})}^2+{(y_{p_o}-y_{{\stackrel{\‾}{c}}_o})}^2+{(z_{p_o}-z_{{\stackrel{\‾}{c}}_o})}^2}\\ {\mathrm{\θ}}_o=\frac{x_{p_o}{x}_{{\stackrel{\‾}{c}}_o}+y_{p_o}{y}_{{\stackrel{\‾}{c}}_o}+z_{p_o}{z}_{{\stackrel{\‾}{c}}_o}}{\sqrt{x_{p_o}^2+y_{p_o}^2+z_{p_o}^2}\sqrt{x_{{\stackrel{\‾}{c}}_o}^2+y_{{\stackrel{\‾}{c}}_o}^2+z_{{\stackrel{\‾}{c}}_o}^2}}\end{array}\right.$

构造Procrustean距离特征向量d＝{d_o},o＝1,2...,60，Procrustean角度特征向量θ＝{θ_o},o＝1,2...,60；

步骤6.2)、将Procrustean距离特征d和Procrustean角度特征θ进行特征融合：

利用最大最小原则将Procrustean距离特征d，Procrustean角度特征θ归一化为d′,θ′，即：

$\left\{\begin{array}{c}{d}^{\′}=\frac{d-\min \left(d\right)}{\max \left(d\right)-\min \left(d\right)}\\ {\mathrm{\θ}}^{\′}=\frac{\mathrm{\θ}-\min \left(\mathrm{\θ}\right)}{\max \left(\mathrm{\θ}\right)-\min \left(\mathrm{\θ}\right)}\end{array}\right.$

得到最后的识别特征Q＝{d′,θ′}，其中d′＝{d′₁,d′₂,...,d′₆₀}，θ′＝{θ′₁,θ′₂,...,θ′₆₀}；

步骤7)、计算测试集人脸模型与库集人脸模型的相似度：

步骤7.1)、选取测试人脸模型上的一条等测地轮廓线P_l，记等测地轮廓线P_l的识别特征为{d₁′,d₂′,...,d′₆₀,θ′₁,θ′₂,...,θ′₆₀}，计算等测地轮廓线P_l与库集人脸模型对应的等测地轮廓线的识别特征之间的欧式距离D_l；

步骤7.2)、按照所述步骤7.1)，求取测试人脸模型所有的等测地轮廓线的识别特征与库集人脸模型对应的等测地轮廓线的识别特征的欧式距离D_l，l＝1,2,...,8，对所有D_l进行加权融合作为最后测试人脸模型与库集人脸模型的距离D：

$D=\underset{l=1}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\ω}}_l*D_l$

其中权重因子ω₁＝0.08，ω₂＝0.126，ω₃＝0.134，ω₄＝0.132，ω₅＝0.128，ω₆＝0.132，ω₇＝0.135，ω₈＝0.133；

步骤8)、三维人脸模型的身份验证:

重复步骤1)-步骤7)，得到测试人脸模型与各个库集人脸模型的距离度量D，比较测试人脸模型与各个库集人脸模型的距离度量D，将距离度量最小的库集人脸模型与测试集人脸模型判定为同一个人；

本发明首先定位人脸区域的特征点，根据特征点提取一系列等测地轮廓线来表征人脸形状，避免了受表情变化影响较大的嘴部区域，进一步提取具有姿态不变性的Procrustean向量特征作为识别特征。该方法主要有一下几个优点：

1.提出一种自动定位特征点的方法，该方法将应用于二维图像的Gabor滤波运用到三维人脸识别中，能够快速准确地定位出鼻尖，眼角和嘴角等关键点。

2.预处理部分无须进行姿态矫正操作以及区域切割，这是因为等测地轮廓线的提取以及Procrustean特征的匹配不依赖于统一的坐标系，从而减少了预处理时间。

3.采用的等测地轮廓线与Procrustean拟合圆之间的特征具有姿态不变性，同时提取的特征位于人脸近似刚性区域，因而在一定程度上克服了姿态、表情变化对识别的影响。

附图说明

图1是本发明提供的基于特征点的三维人脸识别方法的整体流程图；

图2是在深度图像上定位的特征点；

图3是原始人脸模型；

图4是经切割后的人脸区域模型；

图5是鼻中点；

图6是人脸其余点到鼻中点的测地距离颜色分布显示图；

图7是以鼻中为中心的一条等测地轮廓线与Procrustean拟合圆之间对应点的向量表示图。

具体实施方式

参考说明书附图，下面对本发明的具体实施方式进一步描述。

本发明的基于特征点的三维人脸识别方法，在Windows操作系统中通过Matlab R2010b编程工具实现三维人脸识别流程。实验数据来自FRGC V2.0三维人脸数据库，该数据库中包含用于测试的466个人的4007张人脸模型。图1是本发明方法整体流程图，具体步骤如下：

步骤1)、分别对测试人脸模型、N个库集人脸模型和M个训练集人脸模型进行平滑去噪；

步骤1.1)、将人脸点云数据投影到XOY平面，用2.5维网格算法对投影的点云数据进行曲面重构，这样得到人脸点云的三角网格W，其顶点为人脸点云数据中的点w_κ，κ＝1,2,...,μ，其中μ为三角网格的顶点个数；构造实数域矩阵V∈R^μ×μ，且

其中υ_κγ是w_κ和w_γ组成的边的余割系数υ_κγ＝cot(ξ_κγ)+cot(ζ_κγ)，ξ_κγ和ζ_κγ是w_κ和w_γ组成的边所在的两个三角形中，与边相对的两个角。将平滑算子作用于三角网格W上对网格进行平滑去噪处理，平滑算子定义为：其中D＝diag(d_κ)，E是有边点的集合，对网格进行10次迭代平滑处理得到平滑的三角网格

步骤2)、分别将经过步骤1)处理过的测试人脸模型、库集人脸模型和训练集人脸模型人脸的点云坐标信息映射到平面上，分别形成测试人脸模型、库集人脸模型和训练集人脸模型的深度图像，获取深度图像的方法如下：

步骤2.1)、计算平滑去噪后的三维人脸点云在空间坐标系下三个坐标轴x，y，z方向上的最大、最小值，根据x，y方向上的最大、最小值将x，y坐标值归一化后将点云投影到大小为640*480的图像上，根据z方向上的最大、最小值将z坐标值归一化到0-255之间作为相应位置的灰度值，这样得到的图像称为深度图像；归一化的公式如下：

$\left\{\begin{array}{c}{x}^{\′}=\frac{640(x-\min \left(x\right))}{\max \left(x\right)-\min \left(x\right)}\\ y^{\′}=\frac{480(y-\min \left(y\right))}{\max \left(y\right)-\min \left(y\right)}\\ z^{\′}=\frac{255(z-\min \left(z\right))}{\max \left(z\right)-\min \left(z\right)}\end{array}\right.,$ 其中x′，y′，z′为归一化后的坐标值；

步骤3)、分别对测试集人脸模型和库集人脸模型的深度图像进行Gabor滤波特征点粗定位以及形状指数Shape Index特征点精定位：

步骤3.1)、Gabor滤波粗定位，具体步骤如下：

步骤3.1.1)、Gabor滤波器定义为：

其中p为给定点坐标(g,h)，k_u,v＝[k_v cosφ_u,k_v sinφ_u]^T，u,v分别为Gabor滤波器的方向与尺度。其中参数σ＝2π，k_v＝2^-(v+1)，v＝{0,1,2,3,4}， ${\mathrm{\φ}}_u=\frac{\mathrm{\πu}}{8},$ $u=\{\mathrm{0,1,2}...,7\};$

步骤3.1.2)、对M张训练集中的每张深度图像进行7个特征点(鼻尖点、左右内眼角点、左右外眼角点和左右嘴角点)的手动标定，对于训练集中所有深度图像中第j个(j＝1,2,...,7)特征点的Gabor系数，构建Gabor系数向量G_j＝(G_1,j,G_2,j,...,G_M,j)，G_i,j为训练集中第i幅图像中第j个特征点的Gabor系数，计算如下：其中I_i是第i幅图像像素点坐标矩阵，q为第j个特征点的坐标(s,t)，*是卷积运算符，将计算所得的Gabor系数表示成这种形式，其中a_i,j为其幅值，φ_i,j为其相位；

步骤3.1.3)、待测深度图像(包括测试集和库集)上第j个候选特征点由Gabor系数的相似度S(J_m,G_j)由下式确定：

其中 $S(J_{m,n},G_{i,j})=\frac{\underset{i=1}{\overset{40}{\mathrm{\Σ}}}{a}_{i,j}{a}_{m,n}\cos ({\mathrm{\φ}}_{i,j}-{\mathrm{\φ}}_{m,n})}{\sqrt{\underset{i=1}{\overset{40}{\mathrm{\Σ}}}{a_{i,j}}^2\underset{i=1}{\overset{40}{\mathrm{\Σ}}}{a_{m,n}}^2}},$ J_m,n为第m幅待测图像第n点的Gabor系数；根据相似度S(J_m,G_j)确定粗定位的第m幅第j个特征点：即相似度最大所对应的坐标为第m幅待测图像上粗定位的第j个特征点所在位置，粗定位的第j个特征点称为第j个候选特征点；

步骤3.2)、人脸特征点精定位：

步骤3.2.1)、对第j个候选特征点选取邻域，以其为圆心，r＝90mm为半径做圆，圆内包含的区域即为第j个候选特征点的邻域，求取第j个特征点邻域内每个像素点的一阶和二阶梯度，计算方式如下：

$\left\{\begin{array}{c}{f}_{\mathrm{\α}}(\mathrm{\α},\mathrm{\β})=f(\mathrm{\α}+1,\mathrm{\β})-f(\mathrm{\α},\mathrm{\β})\\ f_{\mathrm{\β}}(\mathrm{\α},\mathrm{\β})=f(\mathrm{\α},\mathrm{\β}+1)-f(\mathrm{\α},\mathrm{\β})\\ f_{\mathrm{\α\α}}(\mathrm{\α},\mathrm{\β})=f(\mathrm{\α}+1,\mathrm{\β})-2f(\mathrm{\α},\mathrm{\β})+f(\mathrm{\α}-1,\mathrm{\β})\\ f_{\mathrm{\β\β}}(\mathrm{\α},\mathrm{\β})=f(\mathrm{\α},\mathrm{\β}+1)-2f(\mathrm{\α},\mathrm{\β})+f(\mathrm{\α},\mathrm{\β}-1)\\ f_{\mathrm{\α\β}}(\mathrm{\α},\mathrm{\β})=f(\mathrm{\α}+1,\mathrm{\β}+1)+f(\mathrm{\α},\mathrm{\β})-f(\mathrm{\α},\mathrm{\β}+1)-f(\mathrm{\α}+1,\mathrm{\β})\end{array}\right.$

利用公式 $\left\{\begin{array}{c}K=\frac{f_{\mathrm{\α\α}}{f}_{\mathrm{\β\β}}-{f_{\mathrm{\α\β}}}^2}{{(1+{f_{\mathrm{\α}}}^2+{f_{\mathrm{\β}}}^2)}^2}\\ H=\frac{f_{\mathrm{\α\α}}(1+{f_{\mathrm{\β}}}^2)+f_{\mathrm{\β\β}}(1+{f_{\mathrm{\α}}}^2)-2f_{\mathrm{\α}}{f}_{\mathrm{\β}}{f}_{\mathrm{\α\β}}}{{(1+{f_{\mathrm{\α}}}^2+{f_{\mathrm{\β}}}^2)}^{3/2}}\end{array}\right.$ 求得邻域内每个像素点的高斯曲率K和平均曲率H，由高斯曲率K和平均曲率H得到每个像素点的最大主曲率k₁和最小主曲率k₂：

$\left\{\begin{array}{c}{k}_1=H+\sqrt{H^2-K}\\ k_2=H-\sqrt{H^2-K}\end{array}\right.$

计算第j个候选特征点邻域内每个像素点的形状索引值(Shape Index)：

$\mathrm{ShapeIndex}\left(e\right)=\frac{1}{2}-\frac{1}{\mathrm{\π}}{\tan }^{-1}\frac{k_1\left(e\right)+k_2\left(e\right)}{k_1\left(e\right)-k_2\left(e\right)}$

其中e为第j个候选特征点邻域内一点；

步骤3.2.2)、根据步骤3.2.1)得到的形状索引值精确定位出特征点位置：其中候选鼻尖点邻域内形状索引值最大的则为精确定位鼻尖点所在位置，左右内眼角点、左右外眼角点、左右嘴角点邻域内形状索引值最小的则为精确定位左右内眼角点、左右外眼角点、左右嘴角点所在位置；

步骤4)、按步骤3)所述对所有库集和测试集人脸模型的深度图像进行鼻尖点、左右外眼角点、左右内眼角点和左右嘴角点的精定位，根据左右内眼角和鼻尖点确定鼻中点：先确定位于左右内眼角中心的点，再取位于该点与鼻尖中心的点作为鼻中点；根据深度图像与点云数据的对应关系，找到点云数据上的鼻中点，对应关系如下：

$\left\{\begin{array}{c}x=\frac{x^{\′}(\max \left(x\right)-\min \left(x\right))}{640}+\min \left(x\right)\\ y=\frac{y^{\′}(\max \left(y\right)-\min \left(y\right))}{480}+\min \left(y\right)\\ z=\frac{z^{\′}(\max \left(z\right)-\min \left(z\right))}{255}+\min \left(z\right)\end{array}\right.$

步骤5)、分别对测试集和库集人脸模型提取以鼻中点为中心的8条等测地轮廓线并对等测地轮廓线进行重采样：

步骤5.1)、计算点云数据上每点到鼻中点的测地距离，测地距离定义为：曲面上两点之间最短的距离称为测地距离；将距离值归一化到[0,1]之间，分别取到鼻中点距离为[δ_l-λ,δ_l+λ]的点组成等测地轮廓线P_l,l＝1,2,...,8，其中δ₁＝0.06，δ₂＝0.12，δ₃＝0.18，δ₄＝0.24，δ₅＝0.30，δ₆＝0.36，δ₇＝0.42，δ₈＝0.50，λ＝0.005；

步骤5.2)、以鼻中点为中心在平面坐标系XOY中构造一个椭圆，方程如下：

$\left\{\begin{array}{c}X=\frac{A}{2}\cos T\\ Y=\frac{B}{2}\sin T\end{array}\right.,$ 其中A为P_l在横轴X方向的投影差值，B为P_l在纵轴Y方向的投影差值，选择离散采样T，在椭圆上采样60个点，对于椭圆上这60个采样点，在等测地轮廓线P_l上选取欧式距离最短的点作为等测地轮廓线P_l的采样点p_o,o＝1,2,...,60；

步骤6)、建立库集人脸模型与测试集人脸模型特征向量：

步骤6.1)、构造一个单位圆C，在单位圆上等距采样60个点，然后用Procrustes分析将单位圆经过旋转、平移、伸缩等保形变换，使得单位圆上各点与等测地轮廓线P_l对应点之间的距离总和最小，这样得到Procrustean拟合圆提取等测地轮廓线P_l上的采样点p_o(o＝1,2...,60)与Procrustean拟合圆上对应点之间的距离特征d_o和角度特征θ_o:

$\left\{\begin{array}{c}{d}_o=\sqrt{{(x_{p_o}-x_{{\stackrel{\‾}{c}}_o})}^2+{(y_{p_o}-y_{{\stackrel{\‾}{c}}_o})}^2+{(z_{p_o}-z_{{\stackrel{\‾}{c}}_o})}^2}\\ {\mathrm{\θ}}_o=\frac{x_{p_o}{x}_{{\stackrel{\‾}{c}}_o}+y_{p_o}{y}_{{\stackrel{\‾}{c}}_o}+z_{p_o}{z}_{{\stackrel{\‾}{c}}_o}}{\sqrt{x_{p_o}^2+y_{p_o}^2+z_{p_o}^2}\sqrt{x_{{\stackrel{\‾}{c}}_o}^2+y_{{\stackrel{\‾}{c}}_o}^2+z_{{\stackrel{\‾}{c}}_o}^2}}\end{array}\right.$

构造Procrustean距离特征向量d＝{d_o},o＝1,2...,60，Procrustean角度特征向量θ＝{θ_o},o＝1,2...,60；

步骤6.2)、将Procrustean距离特征d和Procrustean角度特征θ进行特征融合：

利用最大最小原则将Procrustean距离特征d，Procrustean角度特征θ归一化为d′,θ′，即：

$\left\{\begin{array}{c}{d}^{\′}=\frac{d-\min \left(d\right)}{\max \left(d\right)-\min \left(d\right)}\\ {\mathrm{\θ}}^{\′}=\frac{\mathrm{\θ}-\min \left(\mathrm{\θ}\right)}{\max \left(\mathrm{\θ}\right)-\min \left(\mathrm{\θ}\right)}\end{array}\right.$

得到最后的识别特征Q＝{d′,θ′}，其中d′＝{d′₁,d′₂,...,d′₆₀}，θ′＝{θ′₁,θ′₂,...,θ′₆₀}；

步骤7)、计算测试集人脸模型与库集人脸模型的相似度：

步骤7.1)、选取测试人脸模型上的一条等测地轮廓线P_l，记等测地轮廓线P_l的识别特征为{d′₁,d′₂,...,d′₆₀,θ′₁,θ′₂,...,θ′₆₀}，计算等测地轮廓线P_l与库集人脸模型对应的等测地轮廓线的识别特征之间的欧式距离D_l；

步骤7.2)、按照所述步骤7.1)，求取测试人脸模型所有的等测地轮廓线的识别特征与库集人脸模型对应的等测地轮廓线的识别特征的欧式距离D_l，l＝1,2,...,8，对所有D_l进行加权融合作为最后测试人脸模型与库集人脸模型的距离D：

$D=\underset{l=1}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\ω}}_l*D_l$

其中权重因子ω₁＝0.08，ω₂＝0.126，ω₃＝0.134，ω₄＝0.132，ω₅＝0.128，ω₆＝0.132，ω₇＝0.135，ω₈＝0.133；

步骤8)、三维人脸模型的身份验证:

重复步骤1)-步骤7)，得到测试人脸模型与各个库集人脸模型的距离度量D，比较测试人脸模型与各个库集人脸模型的距离度量D，将距离度量最小的库集人脸模型与测试集人脸模型判定为同一个人。

Claims (7)

1.一种基于特征点的三维人脸识别方法，其特征在于，该方法包括以下步骤：

步骤1)、分别对测试人脸模型、N个库集人脸模型和M个训练集人脸模型进行平滑去噪：将三维人脸点云数据转化为三维网格，采用基于网格的平滑算法对三维人脸模型进行平滑去噪处理，然后将经过10次迭代处理得到的平滑的三维人脸网格恢复成人脸点云；

步骤2)、分别将经过步骤1)处理过的测试人脸模型、库集人脸模型和训练集人脸模型人脸的点云坐标信息映射到平面上，分别形成测试人脸模型、库集人脸模型和训练集人脸模型的深度图像；

步骤3)、分别对测试集人脸模型和库集人脸模型的深度图像进行Gabor滤波特征点粗定位以及形状指数Shape Index特征点精定位；

步骤4)、按步骤3)所述对所有库集和测试集人脸模型的深度图像进行鼻尖点、左右外眼角点、左右内眼角点和左右嘴角点的精定位，根据左右内眼角和鼻尖点确定鼻中点：先确定位于左右内眼角中心的点，再取位于该点与鼻尖中心的点作为鼻中点；根据深度图像与点云数据的对应关系，找到点云数据上的鼻中点，对应关系如下：

$\left\{\begin{array}{c}x=\frac{x^{\′}(\max \left(x\right)-\min \left(x\right))}{640}+\min \left(x\right)\\ y=\frac{y^{\′}(\max \left(y\right)-\min \left(y\right))}{480}+\min \left(y\right)\\ z=\frac{z^{\′}(\max \left(z\right)-\min \left(z\right))}{255}+\min \left(z\right)\end{array}\right.;$

步骤5)、分别对测试集和库集人脸模型提取以鼻中点为中心的8条等测地轮廓线并对等测地轮廓线进行重采样；

步骤6)、建立库集人脸模型与测试集人脸模型特征向量；

步骤7)、计算测试集人脸模型与库集人脸模型的相似度；

步骤8)、三维人脸模型的身份验证。

2.如权利要求1所述基于特征点的三维人脸识别方法，其中步骤2)所述获取深度图像的方法如下：

计算平滑去噪后的三维人脸点云在空间坐标系下三个坐标轴x，y，z方向上的最大、最小值，根据x，y方向上的最大、最小值将x，y坐标值归一化后将点云投影到大小为640*480的图像上，根据z方向上的最大、最小值将z坐标值归一化到0-255之间作为相应位置的灰度值，这样得到的图像称为深度图像；其中，归一化的公式如下：

$\left\{\begin{array}{c}{x}^{\′}=\frac{640(x-\min \left(x\right))}{\max \left(x\right)-\min \left(x\right)}\\ y^{\′}=\frac{480(y-\min \left(y\right))}{\max \left(y\right)-\min \left(y\right)}\\ z^{\′}=\frac{255(z-\min \left(z\right))}{\max \left(z\right)-\min \left(z\right)}\end{array}\right.,$ 其中x′，y′，z′为归一化后的坐标值。

3.如权利要求1所述基于特征点的三维人脸识别方法，其中步骤3)包括以下步骤：

步骤3.1)、Gabor滤波粗定位，具体步骤如下：

步骤3.1.1)、Gabor滤波器定义为：

其中p为给定点坐标(g,h)，k_u,v＝[k_v cosφ_u,k_v sinφ_u]^T，u,v分别为Gabor滤波器的方向与尺度。其中参数σ＝2π，k_v＝2^-(v+1)，v＝{0,1,2,3,4}， ${\mathrm{\φ}}_u=\frac{\mathrm{\πu}}{8},$ $u=\{\mathrm{0,1,2}...,7\};$

步骤3.1.2)、对M张训练集中的每张深度图像进行7个特征点(鼻尖点、左右内眼角点、左右外眼角点和左右嘴角点)的手动标定，对于训练集中所有深度图像中第j个(j＝1,2,...,7)特征点的Gabor系数，构建Gabor系数向量G_j＝(G_1,j,G_2,j,...,G_M,j)，G_i,j为训练集中第i幅图像中第j个特征点的Gabor系数，计算如下：其中I_i是第i幅图像像素点坐标矩阵，q为第j个特征点的坐标(s,t)，*是卷积运算符，将计算所得的Gabor系数表示成这种形式，其中a_i,j为其幅值，φ_i,j为其相位；

步骤3.1.3)、待测深度图像(包括测试集和库集)上第j个候选特征点由Gabor系数的相似度S(J_m,G_j)由下式确定：

其中 $S(J_{m,n},G_{i,j})=\frac{\underset{i=1}{\overset{40}{\mathrm{\Σ}}}{a}_{i,j}{a}_{m,n}\cos ({\mathrm{\φ}}_{i,j}-{\mathrm{\φ}}_{m,n})}{\sqrt{\underset{i=1}{\overset{40}{\mathrm{\Σ}}}{a_{i,j}}^2\underset{i=1}{\overset{40}{\mathrm{\Σ}}}{a_{m,n}}^2}},$ J_m,n为第m幅待测图像第n点的Gabor系数；根据相似度S(J_m,G_j)确定粗定位的第m幅第j个特征点：即相似度最大所对应的坐标为第m幅待测图像上粗定位的第j个特征点所在位置，粗定位的第j个特征点称为第j个候选特征点；

步骤3.2)、人脸特征点精定位：

步骤3.2.1)、对第j个候选特征点选取邻域，以其为圆心，r＝90mm为半径做圆，圆内包含的区域即为第j个候选特征点的邻域，求取第j个特征点邻域内每个像素点的一阶和二阶梯度，计算方式如下：

$\left\{\begin{array}{c}{f}_{\mathrm{\α}}(\mathrm{\α},\mathrm{\β})=f(\mathrm{\α}+1,\mathrm{\β})-f(\mathrm{\α},\mathrm{\β})\\ f_{\mathrm{\β}}(\mathrm{\α},\mathrm{\β})=f(\mathrm{\α},\mathrm{\β}+1)-f(\mathrm{\α},\mathrm{\β})\\ f_{\mathrm{\α\α}}(\mathrm{\α},\mathrm{\β})=f(\mathrm{\α}+1,\mathrm{\β})-2f(\mathrm{\α},\mathrm{\β})+f(\mathrm{\α}-1,\mathrm{\β})\\ f_{\mathrm{\β\β}}(\mathrm{\α},\mathrm{\β})=f(\mathrm{\α},\mathrm{\β}+1)-2f(\mathrm{\α},\mathrm{\β})+f(\mathrm{\α},\mathrm{\β}-1)\\ f_{\mathrm{\α\β}}(\mathrm{\α},\mathrm{\β})=f(\mathrm{\α}+1,\mathrm{\β}+1)+f(\mathrm{\α},\mathrm{\β})-f(\mathrm{\α},\mathrm{\β}+1)-f(\mathrm{\α}+1,\mathrm{\β})\end{array}\right.$

利用公式 $\left\{\begin{array}{c}K=\frac{f_{\mathrm{\α\α}}{f}_{\mathrm{\β\β}}-{f_{\mathrm{\α\β}}}^2}{{(1+{f_{\mathrm{\α}}}^2+{f_{\mathrm{\β}}}^2)}^2}\\ H=\frac{f_{\mathrm{\α\α}}(1+{f_{\mathrm{\β}}}^2)+f_{\mathrm{\β\β}}(1+{f_{\mathrm{\α}}}^2)-2f_{\mathrm{\α}}{f}_{\mathrm{\β}}{f}_{\mathrm{\α\β}}}{{(1+{f_{\mathrm{\α}}}^2+{f_{\mathrm{\β}}}^2)}^{3/2}}\end{array}\right.$ 求得邻域内每个像素点的高斯曲率K和平均曲率H，由高斯曲率K和平均曲率H得到每个像素点的最大主曲率k₁和最小主曲率k₂：

$\left\{\begin{array}{c}{k}_1=H+\sqrt{H^2-K}\\ k_2=H-\sqrt{H^2-K}\end{array}\right.$

计算第j个候选特征点邻域内每个像素点的形状索引值(Shape Index)：

$\mathrm{ShapeIndex}\left(e\right)=\frac{1}{2}-\frac{1}{\mathrm{\π}}{\tan }^{-1}\frac{k_1\left(e\right)+k_2\left(e\right)}{k_1\left(e\right)-k_2\left(e\right)}$

其中e为第j个候选特征点邻域内一点；

步骤3.2.2)、根据步骤3.2.1)得到的形状索引值精确定位出特征点位置：其中候选鼻尖点邻域内形状索引值最大的则为精确定位鼻尖点所在位置，左右内眼角点、左右外眼角点、左右嘴角点邻域内形状索引值最小的则为精确定位左右内眼角点、左右外眼角点、左右嘴角点所在位置。

4.如权利要求1所述基于特征点的三维人脸识别方法，其中步骤5)包括以下步骤：

步骤5.1)、计算点云数据上每点到鼻中点的测地距离，测地距离定义为：曲面上两点之间最短的距离称为测地距离；将距离值归一化到[0,1]之间，分别取到鼻中点距离为[δ_l-λ,δ_l+λ]的点组成等测地轮廓线P_l,l＝1,2,...,8，其中δ₁＝0.06，δ₂＝0.12，δ₃＝0.18，δ₄＝0.24，δ₅＝0.30，δ₆＝0.36，δ₇＝0.42，δ₈＝0.50，λ＝0.005；

步骤5.2)、以鼻中点为中心在平面坐标系XOY中构造一个椭圆，方程如下：

$\left\{\begin{array}{c}X=\frac{A}{2}\cos T\\ Y=\frac{B}{2}\sin T\end{array}\right.,$ 其中A为P_l在横轴X方向的投影差值，B为P_l在纵轴Y方向的投影差值，选择离散采样T，在椭圆上采样60个点，对于椭圆上这60个采样点，在等测地轮廓线P_l上选取欧式距离最短的点作为等测地轮廓线P_l的采样点p_o,o＝1,2,...,60。

5.如权利要求1所述基于特征点的三维人脸识别方法，其中步骤6)包括以下步骤：

步骤6.1)、构造一个单位圆C，在单位圆上等距采样60个点，然后用Procrustes分析将单位圆经过旋转、平移、伸缩等保形变换，使得单位圆上各点与等测地轮廓线P_l对应点之间的距离总和最小，这样得到Procrustean拟合圆提取等测地轮廓线P_l上的采样点p_o(o＝1,2...,60)与Procrustean拟合圆上对应点之间的距离特征d_o和角度特征θ_o:

$\left\{\begin{array}{c}{d}_o=\sqrt{{(x_{p_o}-x_{{\stackrel{\‾}{c}}_o})}^2+{(y_{p_o}-y_{{\stackrel{\‾}{c}}_o})}^2+{(z_{p_o}-z_{{\stackrel{\‾}{c}}_o})}^2}\\ {\mathrm{\θ}}_o=\frac{x_{p_o}{x}_{{\stackrel{\‾}{c}}_o}+y_{p_o}{y}_{{\stackrel{\‾}{c}}_o}+z_{p_o}{z}_{{\stackrel{\‾}{c}}_o}}{\sqrt{x_{p_o}^2+y_{p_o}^2+z_{p_o}^2}\sqrt{x_{{\stackrel{\‾}{c}}_o}^2+y_{{\stackrel{\‾}{c}}_o}^2+z_{{\stackrel{\‾}{c}}_o}^2}}\end{array}\right.$

构造Procrustean距离特征向量d＝{d_o},o＝1,2...,60，Procrustean角度特征向量θ＝{θ_o},o＝1,2...,60；

步骤6.2)、将Procrustean距离特征d和Procrustean角度特征θ进行特征融合：

利用最大最小原则将Procrustean距离特征d，Procrustean角度特征θ归一化为d′,θ′，即：

$\left\{\begin{array}{c}{d}^{\′}=\frac{d-\min \left(d\right)}{\max \left(d\right)-\min \left(d\right)}\\ {\mathrm{\θ}}^{\′}=\frac{\mathrm{\θ}-\min \left(\mathrm{\θ}\right)}{\max \left(\mathrm{\θ}\right)-\min \left(\mathrm{\θ}\right)}\end{array}\right.$

得到最后的识别特征Q＝{d′,θ′}，其中d′＝{d′₁,d′₂,...,d′₆₀}，θ′＝{θ′₁,θ′₂,...,θ′₆₀}。

6.如权利要求1所述基于特征点的三维人脸识别方法，其中步骤7)包括以下步骤：

步骤7.1)、选取测试人脸模型上的一条等测地轮廓线P_l，记等测地轮廓线P_l的识别特征为{d′₁,d′₂,...,d′₆₀,θ′₁,θ′₂,...,θ′₆₀}，计算等测地轮廓线P_l与库集人脸模型对应的等测地轮廓线的识别特征之间的欧式距离D_l；

步骤7.2)、按照所述步骤7.1)，求取测试人脸模型所有的等测地轮廓线的识别特征与库集人脸模型对应的等测地轮廓线的识别特征的欧式距离D_l，l＝1,2,...,8，对所有D_l进行加权融合作为最后测试人脸模型与库集人脸模型的距离D：

$D=\underset{l=1}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\ω}}_l*D_l$

其中权重因子ω₁＝0.08，ω₂＝0.126，ω₃＝0.134，ω₄＝0.132，ω₅＝0.128，ω₆＝0.132，ω₇＝0.135，ω₈＝0.133。

7.如权利要求1所述基于特征点的三维人脸识别方法，其中步骤8)：

重复步骤1)-步骤7)，得到测试人脸模型与各个库集人脸模型的距离度量D，比较测试人脸模型与各个库集人脸模型的距离度量D，将距离度量最小的库集人脸模型与测试集人脸模型判定为同一个人。