CN105354555A - 一种基于概率图模型的三维人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于概率图模型的三维人脸识别方法，该方法利用三维测地线确定特征点模型并对待测三维人脸的特征点进行定位；利用Gabor小波提取特征点邻域特征；构建“弹性的”三维人脸概率图模型，利用概率图模型对三维人脸进行分类识别。本方法具有较高的识别精度，尤其对于人脸的表情变化具有较强的鲁棒性，并具有较低的计算复杂度。这对人脸识别的研究与实际应用的开发都具有重要的理论与实际意义。

Description

一种基于概率图模型的三维人脸识别方法

技术领域

本发明涉及一种基于概率图模型的三维人脸识别方法，具体涉及一种通过对三维人脸进行概率图建模从而对三维人脸进行有效识别的方法，属于计算机图形学、数字图像处理以及人工智能技术领域。

背景技术

人脸识别不管是在国家安全、军事安全和公共安全领域，还是在民事和经济领域、家庭娱乐等领域，都有着重要的应用前景和实用价值。相比于二维人脸而言，三维人脸更能适应光照、视角与遮挡等因素的影响，使得人脸信息更为丰富准确。

目前，大多数主流的三维人脸识别算法从几何特征、局部特征以及整体特征出发，对三维人脸进行识别。其中，表情变化造成人脸肌肉的伸展收缩对三维人脸识别造成了不小的困难，表情的变化在一定程度上增大了类内间距，影响了识别率。已有部分学者针对表情不变的三维人脸展开研究，文献(BerrettiS,BimboAD,PalaP.3Dfacerecognitionusingisogeodesicstripes[J].IEEETPAMI2010,32(12):2162-2177)提出了一种基于测地线的特征提取，以鼻尖点为中心，建立等距的测地线模型，通过测地线的稳健性，在一定程度上克服表情变化的干扰。文献(NazariS,MoinMS.FacerecognitionusingglobalandlocalGaborfeatures[C].ICEE2013:1-4)提出采用Gabor提取特征点的方法，由于Gabor变换对光照变化不敏感，且能容忍一定程度的图像旋转和变形，在丰富了特征点信息的同时，数据信息更加完备，致使提取更为鲁棒的人脸描述。不过，人脸器官间的相对联系，也是影响人脸表情的主要因素。文献(KollerD,FriedmanN.Probabilisticgraphicalmodels:principlesandtechniques[M].MITpress,2009)提出了概率图模型，概率图模型能简洁有效地表示变量间的相互关系，为不确定性推理体系提供强有力的工具，近年来已成为人工智能和机器学习的热门研究领域。目前，概率图模型已在图像分析、生物医学和计算机科学等多个领域成功应用，其结合图论与概率论来紧凑地描述多元统计关系，对于图像分类尤其是三维人脸识别有着广泛的应用前景。

发明内容

本发明所要解决的技术问题是：提供一种基于概率图模型的三维人脸识别方法，对人脸各个器官之间的联系作出有效分析，从而对人脸进行识别，具有较高的识别精度和较小的计算复杂度。

本发明为解决上述技术问题采用以下技术方案：

一种基于概率图模型的三维人脸识别方法，包括如下步骤：

步骤1，获取待测三维人脸图像以及样本库中所有三维人脸样本图像，并对待测三维人脸图像进行归一化预处理；

步骤2，求取样本库中所有三维人脸样本图像的三维平均脸图像，在三维平均脸图像上选择多个特征点和一个基准点，计算各特征点到基准点的测地线距离，并根据测地线距离建立特征点模型，利用特征点模型定位待测三维人脸图像上的特征点；

步骤3，利用Gabor滤波器提取各三维人脸样本图像和待测三维人脸图像上特征点的邻域特征；

步骤4，根据步骤3得到的邻域特征对样本库中各三维人脸样本图像和待测三维人脸图像分别建立概率图模型；

步骤5，根据步骤4得到的概率图模型计算待测三维人脸图像与样本库中各三维人脸样本图像之间的相似度，根据相似度对待测三维人脸图像进行识别。

优选的，步骤1所述归一化预处理包括：姿态矫正、点云去噪以及平滑处理。

优选的，步骤2所述基准点为鼻尖点。

优选的，步骤4所述建立概率图模型的方法为：利用无向图G＝(X,E)表示概率图模型，其中，X表示邻域特征，E表示邻域特征之间的变换矩阵。

优选的，步骤5所述待测三维人脸图像与样本库中各三维人脸样本图像之间的相似度的计算公式为：S_sum＝S_X(X_I,X_B)+wS_E(E_I,E_B)，其中，S_sum表示相似度，S_X表示X_I与X_B之间的相似度，X_I表示待测三维人脸图像的邻域特征，X_B表示样本库中任意三维人脸样本图像的邻域特征；S_E表示E_I与E_B之间的相似度，E_I表示邻域特征X_I之间的变换矩阵，E_B表示邻域特征X_B之间的变换矩阵，w表示权重。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明基于概率图模型的三维人脸识别方法，利用三维测地线模型来确定特征点，在一定程度上克服了表情的影响，并可以在短时间内确定三维人脸的特征点模型，为后续人脸建模做好准备。

2、本发明基于概率图模型的三维人脸识别方法，采用Gabor滤波提取特征点的邻域特征，丰富特征点的信息，可产生鲁棒的人脸描述；Gabor小波变换核函数具有与人类大脑皮层简单细胞的二维反射区相同的特性，即能够捕捉到对应于空间频率(尺度)、空间位置及方向选择性的局部结构信息，广泛地应用于图像分析和理解领域。Gabor小波函数具有空间局部性、频率选择性以及方向选择性等特点，可以有效表述人脸局部区域的频率方向信息的Gabor特征，是人脸图像分析和描述中的一个有效工具。

3、本发明基于概率图模型的三维人脸识别方法，利用概率图模型对人脸进行描述和识别，不是孤立地利用各个器官的数值特征，而是把这些特征和特征之间的影响联系起来，提高了对于表情变化的鲁棒性，同时在匹配上减小计算复杂度。

附图说明

图1是本发明三维人脸的概率图模型的结构示意图。

图2是本发明基于概率图模型的三维人脸识别方法的流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图2所示，本发明主要涉及三维人脸概率图模型的建模及模型匹配这两个阶段，主要实施过程如下：

1、原始三维人脸数据包含头发、耳朵等一系列无关器官，姿态各异，且含有部分噪点。因此，首先以鼻尖点为基准切割出人脸大致轮廓；接着，基于轴角描述的方法调整姿态将三维人脸进行配准；然后，针对三维人脸表面形状特性，通过Delaunay三角剖分法实现人脸的网格化处理。最后，对人脸表面的噪点采用基于人脸网格的平滑方法对面部数据进行平滑处理，从而完成对所有三维人脸数据的归一化处理。

2、样本库中的人脸表情各异，由于性别、年龄等因素造成的固有差异也很大，如果直接对每一副人脸提取特征，计算代价太大。因此，我们将样本库中所有的三维人脸训练样本构成“图束”，对“图束”求取三维平均脸，这样一来，每一个器官也是由各类变化构成的一个“综合性”器官。例如，对一个眼睛构成的“图束”而言，包括了睁眼闭眼等各类条件下的眼睛状态。

3、在“平均脸”模型上选择一些较为刚性的特征点，本发明选取内外眼角点、鼻尖点、鼻基点、左右鼻翼点、嘴角点以及额头和下巴附近的点作为特征点。计算各特征点到基准点(鼻尖点)的测地线距离，建立三维人脸的特征点模型。鼻尖点是人脸三维模型中容易确定且对表情变化鲁棒的点，测地线距离对于表情变化具有较强的鲁棒性。因此，利用此特征点模型可以快速定位测试三维人脸上的特征点，并且产生的模型在形状特征上具有一致性，便于后续处理。测地线具有良好的几何不变性，特别是对表情变化等表面变形，具有测地线距离不变的特性。

4、使用Gabor滤波器提取特征点的邻域特征。二维Gabor小波变换能够捕捉对应于空间位置、空间频率以及方向选择性的局部结构信息,适合用于表示人脸图像。二维Gabor小波的核函数定义如下：

$g(a,b;k,\mathrm{\θ},\mathrm{\ψ},\mathrm{\σ},\mathrm{\γ})=\exp (-\frac{a^{\′2}+{\mathrm{\γ}}^2{b}^{\′2}}{2{\mathrm{\σ}}^2})\exp \left(i\right(2\mathrm{\π}\frac{a^{\′}}{k}+\mathrm{\ψ}\left)\right)---\left(1\right)$

其中，a'＝acosθ+bsinθ；b'＝-asinθ+bcosθ；a和b表示滤波窗的尺度，k表示波长；θ指定了Gabor函数并行条纹的方向，取值为0-180度；ψ表示相位偏移，本发明将其置为0；γ表示长宽的横纵比，它决定了Gabor小波的形状，本发明选择γ＝1，使其横纵平衡，方便后续邻域特征匹配；σ表示Gabor函数的高斯因子的标准差，一般默认为1。

k和θ决定滤波器的尺度和方向，不同的k和θ构成不同的滤波器。本发明对k和θ的选择从两个方面考虑：第一，特征信息的完整性；第二，系统的计算效率。选择合适的尺度与方向构成相应的滤波器，对上述确定的特征点邻域进行滤波，并提取相应系数矩阵。Gabor小波变换通过不同尺度和方向提取每个特征点邻域的信息，与其他方法相比，更能反映图像深度上的细微变化，所以它对光照和表情变化都不敏感，体现出很好的鲁棒性。

5、选用上述Gabor滤波后产生的系数向量作为人脸的特征点信息，建立三维人脸的概率图模型，用无向图G＝(X,E)来表示，其中X表示节点集，E代表边的集合。利用人脸先验知识将各相邻节点相连，如果两节点存在边，记为X_i～X_j，如果不存在边，则表示条件独立。对一个节点而言，给定其邻域节点后，变量X_i的概率分布只依赖于和它相邻的节点，条件独立于其他节点。因此，得到关于人脸的概率图模型结构，如图1所示，其中，X1-X10代表邻域特征，边X1～X2、X1～X3、X2～X3等代表变换矩阵。

令测试三维人脸的节点集为X_I，训练样本库中某个三维人脸的节点集为X_B，定义两个人脸第i个节点之间的相似性函数为：

$S_i(X_I,X_B)=\frac{{\left(x_I^i\right)}^T{x}_B^i}{{||x_I^i||}_2^2{||x_B^i||}_2^2}---\left(2\right)$

其中，xⁱ表示第i个节点的Gabor特征向量。两个人脸的所有节点的相似度，用所有节点的平均相似度来衡量：

$S_X(X_I,X_B)=\exp (-\frac{\underset{n}{\Σ}{S}_i(X_I,X_B)}{n})---\left(3\right)$

其中，n表示节点数量。

对于三维人脸概率图模型的每条边而言，采用节点之间的转移矩阵来表述节点(器官)之间的联系，令：

x^j＝E_ijxⁱ(4)

其中，E_ij表示转移矩阵，对其做主成分分析(PCA)，可以得到线性变换矩阵φ以及特征值λ。假设特征点之间的变化近似服从高斯正态分布，则两个特征点之间的转移概率表示为：

$P\left(E^i\right|\mathrm{\Ω})=\frac{\exp (-\frac{1}{2}\underset{i=1}{\overset{q}{\Σ}}\frac{y_i^T{y}_i}{{\mathrm{\λ}}_i})}{{\left(2\mathrm{\π}\right)}^{q/2}{\Π}_{i=1}^q{\mathrm{\λ}}_i^{1/2}}---\left(5\right)$

其中，y_i是E_ij在特征向量上的投影，q表示矩阵维度，Ω表示类内差异。两个人脸之间第i条边之间的相似度用KL距离衡量，可表示为：

$S_{E_i}=D_{KL}(E_I^i,E_B^i)---\left(6\right)$

因此，两张人脸模型所有边的总相似度为：

$S_E(E_I,E_B)=\underset{m}{\Σ}{D}_{KL}---\left(7\right)$

综上所述，将点与边的相似度结合在一起，得到两个人脸的整体相似性度：

S_sum＝S_X(X_I,X_B)+wS_E(E_I,E_B)(8)

其中，w决定特征相似度与空间位置相似度两者的重要性，即调节两项的权重。由此，将测试三维人脸与样本库中的全部人脸进行相似性比对，即可识别测试三维人脸。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种基于概率图模型的三维人脸识别方法，其特征在于，包括如下步骤：

步骤1，获取待测三维人脸图像以及样本库中所有三维人脸样本图像，并对待测三维人脸图像进行归一化预处理；

步骤2，求取样本库中所有三维人脸样本图像的三维平均脸图像，在三维平均脸图像上选择多个特征点和一个基准点，计算各特征点到基准点的测地线距离，并根据测地线距离建立特征点模型，利用特征点模型定位待测三维人脸图像上的特征点；

步骤3，利用Gabor滤波器提取各三维人脸样本图像和待测三维人脸图像上特征点的邻域特征；

步骤4，根据步骤3得到的邻域特征对样本库中各三维人脸样本图像和待测三维人脸图像分别建立概率图模型；

步骤5，根据步骤4得到的概率图模型计算待测三维人脸图像与样本库中各三维人脸样本图像之间的相似度，根据相似度对待测三维人脸图像进行识别。

2.如权利要求1所述基于概率图模型的三维人脸识别方法，其特征在于，步骤1所述归一化预处理包括：姿态矫正、点云去噪以及平滑处理。

3.如权利要求1所述基于概率图模型的三维人脸识别方法，其特征在于，步骤2所述基准点为鼻尖点。

4.如权利要求1所述基于概率图模型的三维人脸识别方法，其特征在于，步骤4所述建立概率图模型的方法为：利用无向图G＝(X,E)表示概率图模型，其中，X表示邻域特征，E表示邻域特征之间的变换矩阵。

5.如权利要求1所述基于概率图模型的三维人脸识别方法，其特征在于，步骤5所述待测三维人脸图像与样本库中各三维人脸样本图像之间的相似度的计算公式为：S_sum＝S_X(X_I,X_B)+wS_E(E_I,E_B)，其中，S_sum表示相似度，S_X表示X_I与X_B之间的相似度，X_I表示待测三维人脸图像的邻域特征，X_B表示样本库中任意三维人脸样本图像的邻域特征；S_E表示E_I与E_B之间的相似度，E_I表示邻域特征X_I之间的变换矩阵，E_B表示邻域特征X_B之间的变换矩阵，w表示权重。