CN101567045A

CN101567045A - 一种人脸特征点精确定位方法

Info

Publication number: CN101567045A
Application number: CNA2009100854345A
Authority: CN
Inventors: 祝世虎; 封举富
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2009-05-22
Filing date: 2009-05-22
Publication date: 2009-10-28
Anticipated expiration: 2029-05-22
Also published as: CN101567045B

Abstract

本发明公开了一种人脸特征点精确定位方法，属于数字图像处理技术领域。本方法包括：从已有的人脸图像截取分析窗口；再将分析窗口以特征点为中心等分得到分析区；对每个分析区进行R次LBP处理(每次处理的中心点和周围点间距分别为1，2，…R像素)得到R个LBP图，进而得到各个直方图；以R个直方图的总和作为分析区的直方图；并以各个分析区直方图的均值作为分析区特征直方图；对取待分析图基于每个像素同样截取分析窗口和划分分析区；对分析区进行LineLBP处理，得到LBP图，进而得到直方图，计算该直方图和分析区特征直方图之间的卡方距离；对卡方距离求和；以和最小时的像素点作为特征点。本发明可用于人脸图像处理时精确定位人脸特征点。

Description

一种人脸特征点精确定位方法

技术领域

本发明涉及人脸识别，尤其涉及一种人脸特征点的精确定位方法。属于数字图像处理技术领域。

背景技术

在目前已有自动人脸识别系统中，特征点定位技术相对比较薄弱。人脸检测领域的研究人员往往不关心特征点定位的准确度，仅仅给出人脸的大概位置信息。而绝大多数做识别算法的研究人员在做识别实验时都假定特征点的位置是给定的，例如给定两只眼睛的位置。然而，特征点的精确定位远不是现有技术可以解决的问题，尤其是在成像条件比较恶劣、表情变化比较大的情况下，关键点定位显得更困难。特征点定位准确与否对整个自动人脸识别系统的性能影响非常大。如果特征点定位偏差比较大，就会导致识别率的急剧降低。

传统的人脸特征点定位方法多采用的是基于灰度图像的灰度投影方法，其受光照变化、姿态、遮挡、闭眼、眼镜等的变化都很敏感。

发明内容

本发明的目的在于克服现有技术中存在的特征点定位不够精确的问题，提出一种人脸特征点精确定位方法。

本发明方法通过对图像进行LBP处理，然后使用模板匹配方法进行特征点的精确定位，对于人脸图像的姿态、遮挡、闭眼、眼镜等的变化非常鲁棒(Robust)，并且定位准确。

本发明方法处理的原始图像可以是未经初步定位的图像，比如未经处理的整个人脸图像，也可以是经过现有技术初步定位的图像，比如整个人脸图像中包括了目标特征点的局部图像。可以理解，本发明方法处理经过现有技术初步定位的图像时效率更高。

关于初步定位技术，目前采用比较多的是Adaboost和Haar-Like特征的方法，这种方法已经比较成熟，识别率较高，识别速度较快，并且鲁棒性也较好。本发明另外推荐Adaboost和uniform-LBP的方法，uniform-LBP的特征的识别率比Haar-Like特征更高，鲁棒性更好，不过识别速度稍慢。

本发明所称的人脸的“面部特征点”(或简称“特征点”)指人脸的一些特定位置，是人为定义的。一般来说，面部特征点位于人脸五官轮廓的尖端或突出处，比如内外眼角、嘴角和鼻尖等位置。本申请发明人发现，组成嘴角、眼角等特征点的基本特征单元是“线条交点”。以嘴角为例，如图1所示：

这些“线条交点”的微观模式特征如图2所示，可见，这些点大致构成一条直线，而本申请关注的特征点正好位于两条这样的直线构成的交点处。

针对这一发现，本申请发明人对常规的LBP算子作了一些改进，提出了Line-LBP这一概念。

Line-LBP

常规的LBP算子通常只考虑和中心点相隔特定距离(比如，1个像素点)的周围像素，如图3所示，对灰度为6的中心点进行P＝8的LBP处理(即，通过LBP算子进行计算)得到的LBP值为241。

本申请所述的Line-LBP算子除了考虑周围点的个数P的选取外，还考虑周围点和中心点之间的距离R，该距离也可理解为周围点所在的圆的半径(该圆的圆心为中心点)，如图4所示(P＝8)。当R＝1时，即为常规的LBP算子所考虑的情况，如图4a所示；当R＝2时，选取和中心点间距2像素的8个周围点进行LBP处理，其中，当某个周围点并非严格意义上的某个像素点时(比如图4b右上角的周围点)，可选取和该周围点最接近的像素点作近似处理，或根据和该周围点相邻的像素点取平均值作近似处理；当R＝3时，选取和中心点间距3像素的8个周围点进行LBP处理，如图4c所示。

除此之外，本发明提出将多个R值连续或不连续的LBP直方图(比如三个，如图5c所示)对应相加得到的直方图(如图5d所示)作为人脸特征点的特征。这一点与现有技术中惯常采用的方法大不相同，现有技术方法多是将3个直方图级联形成新的直方图。但由于这3个直方图的维数相同，并且直方图的相加也具有很直观的物理意义，因此本发明作此处理。采用这样的方法可以有效地反映直线的趋势，体现特征点不同于非特征点的区别特征。

本申请方法包括模板建立和模板匹配两个过程。

就模板建立而言，包括下列步骤：

a.选取m个人脸图像的灰度图，以图像中的目标特征点为中心，截取形状相同(圆形，正方形，长方形等)的m个分析窗口；在实际操作中，经常对同一人脸图像同时提取多个目标特征点，比如6个，则从m个人脸图像的灰度图可以得到6m个分析窗口；

b.以相同的中心角将每一个分析窗口以所述特征点为中心等分成n(4)个分析区，每个小区均包含所述特征点；即以特征点为中心作发散状等分；

c.对于每个分析窗口上的每个分析区，均作如下处理：

对分析区进行R次LBP处理得到R个LBP图，在各次LBP处理中，中心点和周围点之间的距离分别为1，2，…R个像素；R为自然数；

由所述R个LBP图得到各自的直方图；

将所述R个直方图相加，以得到的直方图总和作为所述分析区的直方图；

d.以各个分析区在所述m个分析窗口中的直方图的平均直方图作为所述分析区的特征直方图；

就模板匹配而言，包括下列步骤：

e.对于取待分析的灰度图，以图中各个像素点为中心，截取和步骤a所述形状相同的分析窗口，并按步骤b所述方式将分析窗口分成n个分析区；

f.对每个分析区进行R＝1的LBP处理，得到LBP图，进而得到直方图，计算该直方图和该分析区的所述特征直方图之间的卡方距离；对n个小区的卡方距离求和；

g.遍历各个像素点后，以所述卡方距离和最小时的像素点作为所述待分析的灰度图的特征点。

在上述方法中，

优选地，m值越大越好，比如m≥20。

优选地，所述分析窗口为圆形或正方形。

优选地，n＝4。

优选地，所述分析窗口为圆形，且n＝4。

优选地，R≥3。

和现有技术相比，本发明的优势在于：

1.定位精确。本发明方法可在现有技术初步定位的基础上进一步定位，大大提高定位精度；

2.不受光照影响。现有技术基于灰度投影的方法受光照影响很大；

3.适用于成像条件恶劣，人脸表情姿态变化较大的情况；对于人脸的各种变化鲁棒。

附图说明

图1是嘴角“线条交点”的示意图；

图2是嘴角“线条交点”的微观模式示意图；

图3是常规的LBP算法(P＝8)示意图；

图4是本发明提出的Line-LBP算法(P＝8)示意图，图4a-c中的R分别为1-3；

图5是三个LBP直方图相加得到特征直方图的示意图，图5a-d分别表示灰度图，LBP图，直方图和特征直方图；

图6是圆形分析窗口示意图。

具体实施方式

下面通过具体实施例结合附图对本发明作进一步描述。

本发明实施例包括下列步骤：

a.选取9个人脸图像的灰度图，以图像中的右嘴角作为特征点，以该特征点为中心，截取大小相同的圆形分析窗口，如图6所示；

b.将每个分析窗口等分成4份，得到4个分析区，每个分析区均包含特征点；

c.对于每个分析窗口上的每个分析区，均作如下处理：

对分析区进行3次LBP处理得到3个LBP图，在各次LBP处理中，中心点和周围点之间的距离分别为1，2，3个像素；

由所述3个LBP图得到各自的直方图；

将所述3个直方图相加，以得到的直方图总和作为所述分析区的直方图；

d.以各个分析区在所述9个分析窗口中的直方图的平均直方图作为所述分析区的特征直方图；

e.对于取待分析的灰度图，以图中各个像素点为中心，截取和步骤a所述形状相同的分析窗口，并按步骤b所述方式将分析窗口分成4个分析区；

f.对每个分析区进行R＝1的LBP处理，得到LBP图，进而得到直方图，计算该直方图和该分析区的所述特征直方图之间的卡方距离；

卡方距离按照下式计算：

D^{j} (S^{j}, M^{j}) = \underset{i}{Σ} \frac{{(S_{i}^{j} - M_{i}^{j})}^{2}}{(S_{i}^{j} + M_{i}^{j})};

然后对4个小区的卡方距离按照下式求和：

D = Σ_{j = 1}^{4} D^{j};

g.遍历所述待分析的灰度图中的各个像素点后，以所述卡方距离和D最小时的像素点作为所述待分析的灰度图的特征点。

Claims

1.一种人脸特征点精确定位方法，包括下列步骤：

a.选取m个人脸图像的灰度图，以图像中的目标特征点为中心，截取形状相同的m个分析窗口；

b.以相同的中心角将每一个分析窗口以所述特征点为中心等分成n个分析区，每个小区均包含所述特征点；

c.对于每个分析窗口上的每个分析区，均作如下处理：

对分析区进行R次LBP处理得到R个LBP图，在各次LBP处理中，中心点和周围点之间的距离分别为1，2，…R个像素；

由所述R个LBP图得到各自的直方图；

f.对每个分析区进行R＝1的LBP处理，得到LBP图，进而得到直方图，计算该直方图和该分析区的特征直方图之间的卡方距离；对n个小区的卡方距离求和；

2.如权利要求1所述的方法，其特征在于，m≥20。

3.如权利要求1所述的方法，其特征在于，所述分析窗口为圆形或正方形。

4.如权利要求1所述的方法，其特征在于，n＝4。

5.如权利要求1所述的方法，其特征在于，所述分析窗口为圆形，且n＝4。

6.如权利要求1所述的方法，其特征在于，R≥3。