CN100414562C - 人脸识别系统中的人脸特征点定位方法 - Google Patents

Abstract

本发明涉及一种定位方法，是人脸识别系统中的人脸特征点定位方法，利用图像梯度方向信息的统计模型，通过统计推理的方法确定人脸特征点，包括以下步骤：(1)定义及定位人脸特征点，即利用图像梯度的方向定义和定位候选人的人脸特征点；(2)提取步骤(1)中人脸特征点的特征向量(3)利用一个考虑了人脸特征点的特征及相对关系的统计模型，采用统计推理的方法，标注人脸特征点，从而确定需要的人脸特征点的位置。本发明可降低对光照的敏感性，考虑了各个人脸特征点之间几何位置上的相互关系，并可以获得全局最优解，从而获得更准确的人脸特征点定位效果。

Description

人脸识别系统中的人脸特征点定位方法

技术领域

本发明涉及一种定位方法，具体的说是人脸识别系统中的人脸特征点定位方法。

背景技术

人脸识别系统中，人脸特征点定位是一个重要的步骤。人脸特征区域的例子包括人脸五官，如眼，鼻等。人脸特征点包括但不限于这些区域的中心点。几何投影定位方法是人脸特征点定位的一类经典方法。它利用脸部特征灰度值与皮肤灰度值的差异性，统计出水平或垂直方向上的灰度值和/或灰度函数值和(投影)，找出特定的变化点，而后根据先验知识将不同方向上的变化点位置相结合，从而得到脸部特征点的位置。但用几何投影定位方法定位人脸特征点的一个缺陷是它直接利用图像的灰度值，因而容易受光照的影响。另外，各个脸部特征点(如眼、嘴)等的判断是相互独立的，这样没有利用各个脸部特征点的相对关系信息。另一种人脸特征点定位方法为主动形状模型(ASM)方法，其是由Cootes提出的。主动形状模型(ASM)是一种参数化形状描述模型，它用一组离散的控制点来描述对象的形状，并用PCA(主分量分析)方法建立起各个控制点的变化模型，对控制点的基准位置和变化模式作约束，从而保证模型的整体形变始终在可接受的范围之内。主动形状模型需用叠代的方式求得优化解，所以算法的复杂性会比较高。另外，它只能获得局部最优解，但无法保证全局最优解。

发明内容

本发明的目的在于提出一种可降低对光照的敏感性，考虑了各个人脸特征点之间几何位置上的相互关系，并可以获得全局最优解，从而提高定位精度的人脸识别系统中的人脸特征点定位方法。

本发明的目的可以通过以下技术方案来实现：

人脸识别系统中的人脸特征点定位方法，利用图像梯度方向信息的统计模型，通过统计推理的方法确定人脸特征点，包括以下步骤：

(1)定义及定位人脸特征点，即利用图像梯度的方向定义和定位候选的人脸特征点；

(2)提取步骤(1)中人脸特征点的特征向量；

(3)利用一个考虑了人脸特征点的特征及相对关系的统计模型，采用统计推理的方法，标注人脸特征点，从而确定需要的人脸特征点的位置。

本发明的目的还可以通过以下技术措施来进一步实现：

前述的人脸识别系统中的人脸特征点定位方法，其中所述人脸特征点包括人脸五官的中心点及边缘点，或者其他人脸特征部位的中心点及边缘点。

前述的人脸识别系统中的人脸特征点定位方法，其中所述步骤(1)利用梯度图像的方向信息定义人脸特征点，人脸特征点定义通过查找特定梯度方向信息在特定方向的投影最大或最小值的方式实现，包括以下步骤：

①对输入图象I，计算它在X以及Y方向的梯度Ix及Iy；

②对Ix及Iy进行平滑滤波；

③根据平滑后的Ix及Iy，计算梯度的方向图像Ang；

④对梯度的方向图像Ang进行二值化得到Angmap，即如果Ang(j，i)在某一范围内，则Angmap(j，i)＝1，否则Angmap(j，i)＝0；

⑤提取Angmap中0与1像素点的分布信息，该信息反映了人脸特征点的位置信息。

前述的人脸识别系统中的人脸特征点定位方法，定位人脸特征点包括以下步骤：

①在图像中确定若干根不同角度的扫描线；

②对每根扫描线中的每个像素点，取一根与该扫描线垂直的扫描线，在Angmap中计算此扫描线中该像素点附近的连续0值或1值点的数目，从而对每根扫描线，得到两个一维向量，每个向量值表示连续0值或1值点的数目；

③对该一维向量进行平滑滤波；

④在平滑后的一维向量中提取局部最大和最小值点，这些最大和最小值点即代表了候选的人脸特征点的位置。

前述的人脸识别系统中的人脸特征点定位方法，其中所述统计模型为隐马可夫统计模型或条件随机场统计模型。

前述的人脸识别系统中的人脸特征点定位方法，利用隐马可夫统计模型对人脸特征点进行标注包括以下步骤：

①建立一个二维稳马可夫统计模型，包括前述的人脸特征点作为观测到的特征点，在这个模型中，用X表示一个观测值的序列，用L表示一个标注序列，X和L的联合概率为：

$P(X,L)=P\left(L_{Z1}\right)P\left(X_{Z1}\right|L_{Z1})P\left(L_{L1}\right|L_{Z1})P\left(L_{R1}\right|L_{Z1})\underset{i}{\mathrm{\Π}}P\left(X_{\mathrm{Li}}\right|L_{\mathrm{Li}})P\left(L_{\mathrm{Li}}\right|L_{\mathrm{Li}-1})\×$

$\underset{i}{\mathrm{\Π}}P\left(X_{\mathrm{Zi}}\right|L_{\mathrm{Zi}})P\left(L_{\mathrm{Zi}}\right|L_{\mathrm{Zi}-1})\underset{i}{\mathrm{\Π}}P\left(X_{\mathrm{Ri}}\right|L_{\mathrm{Ri}})P\left(L_{\mathrm{Ri}}\right|L_{\mathrm{Ri}-1}),$

式中：X_Li表示Li时刻的观测值，L_Li表示相对应的状态，下标中的L，Z，R分别表示左，中，右扫描线，P(L_Zi|L_Zi-1)表示由状态L_Zi-1到状态L_Li的转移概率，P(X_Zi|L_Zi)表示输出概率，即在状态L_Zi发现X_Zi的概率，X_Zi为在该候选特征点提取的特征向量；

②寻找标注序列L使P(X|L)最大，即找到arg max_L P(X，L)。其中所述步骤②可通过动态规划或穷举的方法实现。

二维隐马可夫统计模型包括各个特征点的图像特征信息以及特征点状态转移信息。

前述的人脸识别系统中的人脸特征点定位方法，利用条件随机场统计模型对人脸特征点进行标注包括以下步骤：

①建立一个条件随机场统计模型，前述的人脸特征点作为观测到的特征点，在这个模型中，以X表示观测到的随机变量，L_Li等表示相对应的状态，在给定x的条件下y的概率 $P\left(y\right|x)=\frac{e^{\mathrm{\Ψ}(y,x)}}{{\mathrm{\Σ}}_{y^{\′}}{e}^{\mathrm{\Ψ}(y^{\′},x)}},$ 其中Ψ(y，x)是潜能函数，

$\mathrm{\Ψ}(y,x)=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\underset{l}{\mathrm{\Σ}}{f}_l^1(j,y_j,x){\mathrm{\θ}}_l^1+\underset{(j,k)\∈E}{\mathrm{\Σ}}\underset{l}{\mathrm{\Σ}}{f}_l^2(j,k,y_j,y_k,x){\mathrm{\θ}}_l^2,$ 其中f_l ¹和f_l ²是特征函数，θ_l ¹和θ_l ²是参数，E表示一个包含节点集和弧集的图，(j，k)∈E表示图中有弧连接节点y_j和y_k；

②求出最优的标注序列y*使P(y|x)最大化，即y*＝arg max_yp(y|x)。其中步骤②可通过动态规划的方法实现。

二维条件随机场统计模型包括各个特征点的图像特征信息以及特征点状态转移信息。

本发明的优点为：本发明利用图像梯度的方向来定义及定位人脸特征点，光照等外部变化可以影响图像的绝对灰度值，但是梯度考虑的是象素间的相对灰度值的变化，梯度图像的方向信息受光照的影响就很小，从而降低了对光照的敏感性。另外，本发明考虑了各个人脸特征点之间几何位置上的相互关系，通过统计推理的方法，可以获得全局最优解。本发明亦引入了条件随机场(Conditional Random Field)到人脸特征点定位中，克服了标注偏见问题，因而具有更好的性能。综合以上各点，本发明可以获得更准确的人脸特征点定位效果。

附图说明

图1为本发明的流程图。

图2为人脸特征点扫描线示意图。

图3为二维隐马可夫统计模型图。

图4为条件随机场统计模型图。

具体实施方式

本发明提出了一种人脸识别系统中的人脸特征点的定位方法，人脸特征点包括人脸五官的中心点及边缘点，或者其他人脸特征部位的中心点及边缘点。本发明利用图像梯度方向信息的统计模型，通过统计推理的方法确定人脸特征点，其流程如图1所示，包括以下步骤：

(1)定义及定位人脸特征点，即利用图像梯度的方向定义和定位候选的人脸特征点；

(2)提取步骤(1)中人脸特征点的特征向量；

(3)利用一个考虑了人脸特征点的特征及相对关系的统计模型，采用统计推理的方法，标注人脸特征点，从而确定需要的人脸特征点的位置。

本方法假定人脸检测已经完成，人脸位置信息已经获得。在检测到的人脸区域，首先扫描图像，获得可能的人脸特征点的位置。对于比较明显的入脸特征点如眼，鼻，利用一个分类器在不同的位置及尺度扫描图像并判断当前区域是否包含待检测的人脸特征点。分类器的实现例包括AdaBoost算法，支持向量机(SVM)等。但是对其余不太明显的人脸特征点前述方法有效性会降低许多。另外，前述方法对每个人脸特征点都需要单独的且比较繁琐的训练过程。本发明利用梯度图像的方向信息定义了一些新的人脸特征点。这些特征点可以通过查找梯度方向信息在特定方向的投影最大或最小值的方式实现。利用梯度图像的方向信息的一个明显好处是受光照等外部变化的影响小。光照等外部变化可以影响图像的绝对灰度值，但是梯度考虑的是象素间的相对灰度值的变化，梯度图像的角度信息受光照的影响就很小。另外亦可以采用平滑滤波，二值化等方法进一步降低受光照等外部变化的影响。

定义及定位人脸特征点包括以下步骤：

①对输入图象I，计算它在X以及Y方向的梯度Ix及Iy；

②对Ix及Iy进行平滑滤波；

③根据平滑后的Ix及Iy，计算梯度的方向图像Ang；

④对梯度的方向图像Ang进行二值化得到Angmap，即如果Ang(j，i)在某一范围内，则Angmap(j，i)＝1，否则Angmap(j，i)＝0；

⑤提取Angmap中0与1像素点的分布信息，该信息反映了人脸特征点的位置信息。

可在人脸特征点部位确定几条扫描线，如图2所示，则定义及定位人脸特征点可按如下步骤来具体实现：

①在图像中确定若干根不同角度的扫描线；

②对每根扫描线中的每个像素点，取一根与该扫描线垂直的扫描线，在Angmap中计算此扫描线中该像素点附近的连续0值或1值点的数目，从而对每根扫描线，得到两个一维向量，每个向量值表示连续0值或1值点的数目；

③对该一维向量进行平滑滤波；

④在平滑后的一维向量中提取局部最大和最小值点，这些最大和最小值点即代表了候选的人脸特征点的位置。

获得候选的人脸特征点以后，则可以通过统计推理的方法对这些人脸特征点进行标注，可通过以下两种实施方式实现：

实施例一

本实施例利用隐马可夫统计模型对人脸特征点进行标注。先建立一个有以下特征点的人脸模型：

沿扫描线1：眼中，眼与鼻中间，鼻中，鼻与嘴中间，脸颊；

沿扫描线2：两眼中，鼻上部，鼻中，嘴上部，嘴中，嘴下部，下巴；

沿扫描线3：眼中，眼与鼻中间，鼻中，鼻与嘴中间，脸颊；

除此之外，还有一个空状态表示不属于以上任何特征点。把上述特征点作为马可夫模型的状态，我们建立一个二维隐马可夫模型，如图3所示，其中X_Li表示Li时刻的观测值，L_Li表示相对应的状态，下标中的L、Z、R分别表示左、中、右扫描线。

用X表示一个观测值的序列，用L表示一个标注的序列，那么X和L的联合概率为：

P(X，L)＝P(X_L1...X_LMX_Z1...X_ZNX_R1...X_RML_L1...L_LML_Z1...L_ZNL_R1...L_RM)

考虑图3的隐马可夫模型，X和L的联合概率近似简化为

$P(X,L)=P\left(L_{Z1}\right)P\left(X_{Z1}\right|L_{Z1})P\left(L_{L1}\right|L_{Z1})P\left(L_{R1}\right|L_{Z1})\underset{i}{\mathrm{\Π}}P\left(X_{\mathrm{Li}}\right|L_{\mathrm{Li}})P\left(L_{\mathrm{Li}}\right|L_{\mathrm{Li}-1})\×$

$\underset{i}{\mathrm{\Π}}P\left(X_{\mathrm{Zi}}\right|L_{\mathrm{Zi}})P\left(L_{\mathrm{Zi}}\right|L_{\mathrm{Zi}-1})\underset{i}{\mathrm{\Π}}P\left(X_{\mathrm{Ri}}\right|L_{\mathrm{Ri}})P\left(L_{\mathrm{Ri}}\right|L_{\mathrm{Ri}-1})$

其中P(L_Zi|L_Zi-1)表示由状态L_Zi-1到状态L_Zi的转移概率，P(X_Zi|L_Zi)表示输出概率，即在状态L_Zi发现X_Zi的概率。X_Zi为在该候选特征点提取的特征向量。特征向量包括在周围KxK区域内提取灰度值并进行主分量分析(PCA)，也包括候选特征点的几何位置。

如果已知候选人脸特征点，识别特征点的任务就是对这些点进行标注。方法为寻找标注序列L使P(X|L)最大，即找到arg max_L P(X，L)。这可以通过动态规划(Dynamic Programming)的方法求解。常用的对隐马可夫模型的动态规划求解方法亦称为维特比方法，我们采用的是Li，Najmi和Gray的文章Image Classification by aTwo-dimensional Hidden Markov Model.IEEE Trans on SignalProcessing，Vol.48，No.2，2000中的维特比方法。该方法在文章中有详细描述，在此不再赘述。最优L也可以通过穷举的方法求解。

实施例二

本实施例利用条件随机场(Conditional Random Field)统计模型对人脸特征点进行标注，建立一个有以下特征点的人脸模型：

沿扫描线1：眼中，眼与鼻中间，鼻中，鼻与嘴中间，脸颊；

沿扫描线2：两眼中，鼻上部，鼻中，嘴上部，嘴中，嘴下部，下巴；

沿扫描线3：眼中，眼与鼻中间，鼻中，鼻与嘴中间，脸颊；

除此之外，还有一个空状态表示不属于以上任何特征点。

沿三个扫描线方向，各选取最可能的7个候选特征点，建立一个如图4所示的条件随机场(Conditional Random Field)统计模型。在这个模型中，以X表示观测到的随机变量，L_Li等表示相对应的状态。在给定x的条件下y的概率为P(y|x)，而最优的标注序列y*使P(y|x)最大化，即y*＝arg max_yp(y|x)。

基于条件随机场(Conditional Random Field)模型，可以这样表示 $P\left(y\right|x)=\frac{e^{\mathrm{\Ψ}(y,x)}}{{\mathrm{\Σ}}_{y^{\′}}{e}^{\mathrm{\Ψ}(y^{\′},x)}},$ 其中Ψ(y，x)是潜能函数(Potential Function)

其定义如下： $\mathrm{\Ψ}(y,x)=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\underset{l}{\mathrm{\Σ}}{f}_l^1(j,y_j,x){\mathrm{\θ}}_l^1+\underset{(j,k)\∈E}{\mathrm{\Σ}}\underset{l}{\mathrm{\Σ}}{f}_l^2(j,k,y_j,y_k,x){\mathrm{\θ}}_l^2,$

其中f_l ¹和f_l ²是特征函数，θ_l ¹和θ_l ²是参数，表示一个包含节点集和弧集的图，而(j，k)∈E表示图中有弧连接节点y_j和y_k。f_l ¹和f_l ²包括图像特征点的几何位置信息及图像特征点周围的图像特征信息。图像特征信息可以包括灰度，颜色及梯度等。最优y*的求解可以运用动态规划(Dynamic Programming)的方法。常用的动态规划求解方法亦称为维特比方法，我们采用的是Li，Najmi和Gray的文章ImageClassification by a Two-dimensional Hidden Markov Model.IEEETrans on Signal Processing，Vol.48，No.2，2000中的维特比方法。该方法在文章中有详细描述，在此不再赘述。

在根据以上步骤获得人脸特征点后，更精细的人脸特征点可以通过在这些点附近局部搜索的方法获得，或者通过预定网格采样的方法来获得。

本发明还可以有其它实施方式，凡采用同等替换或等效变换形成的技术方案，均落在本实用新型要求保护的范围之内。

Claims (7)

1. 人脸识别系统中的人脸特征点定位方法，利用图像梯度方向信息的统计模型，通过统计推理的方法确定人脸特征点，包括以下步骤：

(1)定义及定位人脸特征点，即利用图像梯度的方向定义和定位候选的人脸特征点；

(2)提取步骤(1)中人脸特征点的特征向量；

(3)利用一个考虑人脸特征点的特征及相对关系的隐马可夫统计模型或条件随机场统计模型，采用统计推理的方法，标注人脸特征点，从而确定需要的人脸特征点的位置；

其特征在于：

所述步骤(1)中，定义人脸特征点包括以下步骤：

①对输入图象，计算它在水平以及垂直方向的梯度；

②对水平以及垂直方向的梯度进行平滑滤波；

③根据平滑后的梯度图像，计算梯度的方向图像；

④对梯度的方向图像进行二值化；

⑤提取二值化后的梯度方向图像中二值像素点在空间域的分布信息，该信息反映了人脸特征点的位置信息；

所述步骤(1)中，定位人脸特征点包括以下步骤：

①在图像中确定若干根不同角度的扫描线；

②对每根扫描线中的每个像素点，取一根与该扫描线垂直的扫描线，在二值化后的梯度方向图像中计算此扫描线中该像素点附近的连续0值或1值点的数目，从而对每根扫描线，得到两个一维向量，每个向量值表示连续0值或1值点的数目；

③对两个一维向量进行平滑滤波；

④在平滑后的一维向量中提取局部最大和最小值点，这些最大和最小值点即代表了候选的人脸特征点的位置。

2. 如权利要求1所述的人脸识别系统中的人脸特征点定位方法，其特征在于：利用隐马可夫统计模型对人脸特征点进行标注包括以下步骤：

①建立一个二维隐马可夫统计模型，包括前述的人脸特征点作为观测到的特征点，在这个模型中，用X表示一个观测值的序列，用L表示一个标注序列，X和L的联合概率为：

$P(X,L)=P\left(L_{Z1}\right)P\left(X_{Z1}\right|L_{Z1})P(L_{L1}/L_{Z1})P(L_{R1}/L_{Z1})\underset{i}{\mathrm{\Π}}P\left(X_{\mathrm{Li}}\right|L_{\mathrm{Li}})P\left(L_{\mathrm{Li}}\right|L_{\mathrm{Li}-1})\×$

$\underset{i}{\mathrm{\Π}}P\left(X_{\mathrm{Zi}}\right|L_{\mathrm{Zi}})P\left(L_{\mathrm{Zi}}\right|L_{\mathrm{Zi}-1})\underset{i}{\mathrm{\Π}}P\left(X_{\mathrm{Ri}}\right|L_{\mathrm{Ri}})P\left(L_{\mathrm{Ri}}\right|L_{\mathrm{Ri}-1}),$

式中：X_li表示Li时刻的观测值，L_li表示相对应的状态，下标中的L，Z，R分别表示左，中，右扫描线，P(L_Zi|L_Zi-1)表示由状态L_Zi-1到状态L_Zi的转移概率，P(X_Zi|L_Zi)表示输出概率，即在状态L_Zi发现X_Zi的概率，X_Zi为在该候选特征点提取的特征向量；

②寻找标注序列L使P(X|L)最大，即找到argmax_LP(X，L)。

3. 如权利要求2所述的人脸识别系统中的人脸特征点定位方法，其特征在于：所述步骤②可通过动态规划或穷举的方法实现。

4. 如权利要求2所述的人脸识别系统中的人脸特征点定位方法，其特征在于：所述二维隐马可夫统计模型包括各个特征点的图像特征信息以及特征点状态转移信息。

5. 如权利要求1所述的人脸识别系统中的人脸特征点定位方法，其特征在于：利用条件随机场统计模型对人脸特征点进行标注包括以下步骤：

①建立一个条件随机场统计模型，前述的人脸特征点作为观测到的特征点，在这个模型中，以X表示观测到的随机变量，L_Li等表示相对应的状态，在给定x的条件下y的概率 $P\left(y\right|x)=\frac{e^{\mathrm{\Ψ}(y,x)}}{{\mathrm{\Σ}}_{y^{\′}}{e}^{\mathrm{\Ψ}(y^{\′},x)}},$ 其中Ψ(y，x)是潜能函数，

$\mathrm{\Ψ}(y,x)=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\underset{l}{\mathrm{\Σ}}{f}_l^1(j,y_j,x){\mathrm{\θ}}_l^1+\underset{(j,k)\∈E}{\mathrm{\Σ}}\underset{l}{\mathrm{\Σ}}{f}_l^2(j,k,y_j,y_k,x){\mathrm{\θ}}_l^2,$ 其中f_l ¹和f_l ²是特征函数，θ_l ¹和θ_l ²是参数，E表示一个包含节点集和弧集的图，(j，k)∈E表示图中有弧连接节点y_j和y_k；

②求出最优的标注序列y^*使P(y|x)最大化，即y^*＝arg max_yp(y|x)。

6. 如权利要求5所述的人脸识别系统中的人脸特征点定位方法，其特征在于：所述步骤②可通过动态规划的方法实现。

7. 如权利要求5所述的人脸识别系统中的人脸特征点定位方法，其特征在于：所述二维条件随机场统计模型包括各个特征点的图像特征信息以及特征点状态转移信息。

Images