CN100412884C - 基于局部描述子的人脸快速检测方法 - Google Patents

Abstract

本发明涉及计算机视觉与模式识别领域，具体地涉及基于局部描述子的人脸快速检测方法，包括：基于灰度图像，基于局部区域的二进制编码特征，通过学习训练得到人脸检测子来检测灰度图像中人脸的位置及其尺度大小。本发明基于二进制局部特征的方法，对光照条件较差的图像检测也能获得较好效果，计算简便，训练代价小，可实现性好，因此可以很方便的应用到个人计算机以及移植到嵌入式系统中去。本发明应用于计算机视觉与模式识别比如：生物特征认证、信息安全、人机交互、以及视觉监控。

Description

基于局部描述子的人脸快速检测方法

技术领域

本发明涉及计算机视觉与模式识别领域，具体地涉及基于局部描述子的人脸快速检测方法。

背景技术

基于图像与视频的人脸分析是近年来计算机视觉与模式识别领域中的研究热点之一，因为它有广泛的前景，比如：生物特征认证、信息安全、人机交互、以及视觉监控等等。人脸检测是一个自动人脸分析系统中的关键步骤之一，其目的就是从摄像机捕捉来的图像中找到人脸及其存在的位置，为进一步分析作初始准备。因此人脸检测的效果直接影响人脸分析系统的性能。近年来，人们已提出了大量的人脸检测方法。大体上可分两大类：一、早期的方法是利用肤色特征，以及结合简单的几何特征。它的缺点是对和肤色相近的背景很不鲁棒，另外，几何特征的抽取对光照等环境因素很敏感。二、基于统计学习的方法。利用统计学习的方法找到人脸模式和非人脸模式的差别。由于它具有良好的性能，现已成为人脸检测的主流方法。

目前，正常光照下的人脸检测问题已经比较成熟，但是在光照条件较差的情况下，大多数算法的检测效果会急剧下降。如果能够提出光照不变的人脸表示特征，将会对不同光照条件下的人脸检测有很大帮助。另外，人脸检测的效率，实现的简便程度，可移植性都是需要考虑的问题。

图像检测是一个自动图像分析系统中的关键步骤之一。它的目的就是从摄像机捕捉来的图像中找到图像及其存在的位置，为进一步分析作初始准备。因此，图像检测的效果直接影响图像分析系统的性能。

发明内容

为了解决上述技术的不足，本发明的目的在于在摄像机捕捉来的图像中快速找到人脸其存在的位置，为此，本发明将要为自动图像分析系统提供一种检测效果真实、基于局部描述子的人脸快速检测方法。

根据本发明的方案，提出了基于局部描述子的图像快速检测方法，包括以下步骤：

提取灰度图像步骤：基于获得的图像，将图像变成灰度图像；

生成描述子步骤：基于局部区域进行二进制编码，生成具有描述人脸特征的二进制编码描述子；

生成人脸检测子步骤：基于训练样本进行学习，生成基于二进制特征描述的人脸检测子；

检测灰度图像步骤：基于人脸检测子检测灰度图像，在灰度图像中获得人脸的位置及尺度大小；

人脸整合步骤：基于同一位置附近的多个检测结果，进行人脸整合，获得最终的人脸检测结果。

本发明提出的方法是用来表征图像的特征和检测图像的算法。是基于灰度图像的正面检测方法，为了进一步提高图像检测算法的效率，我们还采用了层次结构来加速运算，给定训练数据，采用统计学习的方法学习获得层次结构中需要的特征数目和参数，解决了Voila方法中训练耗时的缺点。

本发明中提出的一种基于二进制局部描述子特征的图像检测算法，它的出发点就是用人脸的局部区域特征来描述人脸，然后采用AdaBoost算法将各个局部区域有机的结合起来综合判断是否人脸。称之为改进的局部二进制模式(Improved Local Binary Patterns-ILBP)，提取这种特征的优点在于：

(1)本发明基于二进制局部特征的方法，将图像的不同局部区域编码变成多个二进制数，这种表征方法本质上对光照变化和局部遮挡具有一定的鲁棒性，由于本发明提出的这种方法具有一定的光照鲁棒性的特征，对光照不敏感，因此，本发明不需要进行其它光照校正处理，对光照条件较差的图像检测，也能获得较好的效果。它计算简便，可实现性好，因此可以很方便的应用到个人计算机以及移植到嵌入式系统中去。

(2)使用基于二进制特征的局部描述子进行图像检测算法，在检测过程中，为了获得不同尺度和位置的图像区域，需要对不同尺度的图像进行检测。采用AdaBoost算法是为了从众多二进制特征中抽取对分类有益的特征子集，去掉大量不必要的冗余。实验结果证明了本发明提出的方法具有良好的效果。二进制特征具有尺度不便特性，因此本发明仅仅需要对二进制进行缩放，并且缩放二进制特征并没有引入新的计算代价，这样也提高了图像检测算法的效率。它在光照条件较差的情况下仍然可以获得较好的检测效果，由于它实现方便，计算简单，迅速，能够以很小的计算代价获得很好的检测性能，因此完全可以进行满足实时图像检测系统的要求。

本发明基于图像与视频的分析被应用于计算机视觉与模式识别领域，它可广泛用于，比如：生物特征认证、信息安全、人机交互、以及视觉监控等等。

附图说明

图1是本发明给出一个局部区域编码成为二进制特征示意图

图2是本发明算法中采用七种二进制特征编码的权值局部结构示意

图3和图4是利用本发明对测试数据库的多人的人脸图片数据实施的效果显示。

图5是利用本发明对PIE测试库上的人脸检测效果图

具体实施方式

下面结合附图对本发明作具体说明。应该指出，所描述的实施例仅是为了说明的目的，而不是对本发明范围的限制。

图1是本发明灰度图像中一个局部区域编码成为二进制特征示意图

本发明提出的基于局部描述子的人脸快速检测方法，用来表征人脸的特征和检测人脸的算法，其算法称之为改进的局部二进制模式(ImprovedLocal Binary Patterns-ILBP)，即称ILBP为二进制局部描述子，是一种光照鲁棒的人脸表示特征，采用它来表征人脸。其特点是将人脸图像的不同局部区域编码成为多个二进制数，这种表征方法本质上对光照变化具有一定的鲁棒性。

具体地，提取灰度图像的步骤包括：将彩色图像转换成为灰度图像的预处理操作。

本发明将拍摄得到的图像变成灰度图像，其次用学习得到的基于局部二进制特征值描述的人脸描述子，来检测灰度图像中每个点附近是否有人脸，最后对由于尺度等因素得到的多个检测结果进行整合，输出最终的检测结果。本发明采用的人脸描述子，是通过计算局部图像中的改进的二进制特征，然后通过Boost学习来自动选择一些局部灰度图像中不同位置和尺度的二进制特征，用它们的加权组合形成人脸描述子。

具体地，其生成局部二进制值的步骤如下：

1)将原始灰度图像以半径R分成多个局部区域；

2)对局部区域生成二进制编码；

3)局部二进制特征生成局部区域二进制值的步骤：

a.确定灰度图象的局部区域的半径；

b.确定灰度图象局部区域象素点数；

c.确定灰度图象局部区域中心点，确定其值；

d.确定灰度图象局部区域周围点；

e.局部二进制特征模式ILBP如下：

${\mathrm{ILBP}}_{P,R}=\underset{i=0}{\overset{P-1}{\mathrm{\Σ}}}s{(g_i-m)2}^i+s(g_c-m)2^P.$

$s\left(x\right)=\left\{\begin{array}{c}1,x>0\\ 0,x\≤0\end{array}\right.$

$m=\frac{1}{P+1}(\underset{i=0}{\overset{P-1}{\mathrm{\Σ}}}{g}_i+g_c)$

ILBP_PR表示半径为R，象素点数P的局部二进制特征值。

具体地，在灰度图象中，假设以点C为中心，它的值(在实验中采用的是灰度值)为g_c；以半径为R，找到它的局部区域周围的存在象素点数，假设为P个点；取点C和周围象素点数P的平均值m，那么局部二进制特征就是，把这些点的值分别和m做比较，如果大于m就编码成1，否则就编码成0，这样以C点为中心，在灰度图像中取以半径R组成局部区域，在所述局部区域内的象素点数P为二进制特征的特征值，即以R为半径的局部二进制特征ILBP_PR生成了二进制值。

具体地，生成描述子步骤包括：在灰度图像中取以半径R组成局部区域，在所述局部区域内的象素点数P为二进制编码的描述子。

具体地，生成检测子步骤包括：基于Boost算法，从大量的二进制特征中学习一些有效的二进制特征，学习得到用于人脸检测的二进制特征的数目、参数及其加权组合方式的人脸检测子。

具体地，检测灰度图像步骤包括：对不同尺度的灰度图像进行检测，得到不同尺度和位置的灰度图像区域并在灰度图像中自动检测生成人脸的位置及尺度大小。

具体地，对二进制特征进行缩放，就是对灰度图象局部区域半径R进行缩放，获得不同尺度和位置的图像区域。在编码局部区域是以半径R对人脸二进制特征进行缩放，从而获得不同尺度和不同位置的局部区域人脸特征。

图2给出了算法中采用的七种二进制特征编码的权值示意图，

为了反映人脸中不同尺度的局部特征，我们采用了七种不同的二进制特征来对人脸模式的局部区域进行编码，给出了这七种模式的编码方式。

由于二进制局部描述子的数量很多，本发明采用AdaBoost方法从这些局部描述子中选择出具有代表意义的人脸描述特征，使人脸表示更加有效快捷。

在一幅24*24个像素大小的训练图像中，总共包含2,656个这样的二进制特征，其中半径为1的有484(22*22)个，半径为2的有1200(20*20*3)个，半径为3的有972(18*18*3)个。

人脸图像中获得的上千个二进制特征包含着大量的冗余信息，为了获得其中有效的部分，根据本发明实施例的图1可以看出，每个局部二进制特征ILBP特征的取值范围为[0，511]共512个值(其中511个有效)。

根据本发明二进制特征，具体地，给出了弱分类器和误差的计算流程如下：

1.在第t次循环中样本权值为ω_i，i＝1，...，n，n是样本数目。

2.分别为正负样本建立加权直方图

$\left\{\begin{array}{c}{\mathrm{PH}}_p\left(v\right)={\mathrm{\Σ}}_{x\left(p\right)=v}^{{\mathrm{yi}}_i=1}{\mathrm{\ω}}_i\\ {\mathrm{NH}}_p\left(v\right)={\mathrm{\Σ}}_{x\left(p\right)=v}^{\mathrm{yi}=1}{\mathrm{\ω}}_i\end{array}\right.$

3.计算弱分类器的误差：

${\mathrm{\ϵ}}_P={\mathrm{\Σ}}_{v=0}^{511}\min \{{\mathrm{PH}}_P\left(v\right),{\mathrm{NH}}_P\left(v\right)\}$

4.最终弱分类器的形式：

这里PH，NH是正负样本的加权直方图，p＝{(a，b)，k}包含局部结构信息，(a，b)是人脸图像的二进制特征的坐标，k是人脸图像的二进制特征的种类，v∈{0，1，...，511}是人脸图像的二进制特征p的编码值。

具体地，将所述训练样本的权值可以构造正负样本对应的两个加权直方图，每个直方图包含512个灰度级；把AdaBoost算法中的样本权值根据其编码值分别累加到直方图对应的灰度级中；最后再进行分类的时候，根据两个加权直方图对应灰度级的大小构造一个512级的查询表，当正样本的权值和大于负样本的权值和，则设查询表的对应灰度级为1，反之则为0。本发明采用AdaBoost算法进行基于弱分类器的抽取和融合，将各个局部区域有机的结合起来综合判断是否人脸。

具体地，人脸整合步骤包括：基于同一位置附近可能有多个冗余的检测结果将有效部分各个局部区域及各个尺度的坐标取平均来综合判断，生成最终的检测结果。

为了进一步的提高人脸检测算法的效率，根据本发明，具体地给出了AdaBoost算法的基本原理：

1.给定样本(x₁，y₁)，...，(x_n，y_n)，这里y_i＝0，1分别对应负样本和正样本

2.初始化样本权值(x_i，y_i)， $w_{t,i}=\frac{1}{2m},\frac{1}{2l},.$ y＝0，1，m是负样本数目，l是正样本数目。

3.设定当前层特征数目初始值t＝0，并循环

●t＝t+1

●在权值分布w_i下计算所有弱分类器的加权误差(见图1)

●选择误差最小的弱分类器p_t，误差是ε_t，并令 ${\mathrm{\β}}_t=\frac{{\mathrm{\ϵ}}_t}{1-{\mathrm{\ϵ}}_t},$ ${\mathrm{\α}}_t=-\frac{1}{2}\ln {\mathrm{\β}}_t$

●更新权值 $w_{t+1,i}=w_{t,i}{\mathrm{\β}}_t^{1-e_i},$ 正确分类时e＝0，反之e＝1

●归一化样本权值w

●获得t个特征后，调整当前阈值，如果性能达到要求则令T＝t，退出循环。

4.当前层最终的强分类器的形式： $h\left(I\right)={\mathrm{\Σ}}_{t=1}^T{\mathrm{\α}}_t{h}_{\mathrm{pt}}\≥\frac{1}{2}{\mathrm{\Σ}}_{t=1}^T{\mathrm{\α}}_t,$ 其中I是未知样本。

5.使用Bootstrap算法更新负样本集合，跳转到步骤2，继续学习。

本发明采用AdaBoost算法将各个局部区域有机的结合起来综合判断是否人脸。为了进一步提高检测效率，采用了层次结构来加速运算。给定训练数据，采用统计学习的方法学习获得层次结构中需要的特征数目和参数。采用AdaBoost算法是为了从众多二进制特征中抽取对分类有益的特征子集，去掉大量不必要的冗余。

由于多尺度特征的选择，通常在真实人脸附近会检测到多个相近尺度的人脸，所述描述子对灰度图像中不同位置、不同尺度自动检测生成多个人脸特征。最后我们采用将各个尺度下的人脸坐标取平均来获得唯一的整合人脸检测的结果。

图3至图4是利用本发明对测试数据库的图片数据实施效果显示。

图5是利用本发明对著名的MIT-CMU人脸测试数据库。

图3至图5显示了利用本发明得到整合人脸检测的效果，实验结果证明了本发明提出的方法具有良好的效果。

最后说明：上面描述是用于实现本发明及其实施例，本发明的范围不应由该描述来限定。本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均属于本发明权利要求来限定的范围。

Claims (8)

1. 一种基于局部描述子的人脸快速检测方法，其特征在于步骤包括：

提取灰度图像步骤：基于获得的图像，将图像变成灰度图像；

生成描述子步骤：基于局部区域进行二进制编码，生成具有描述人脸特征的二进制编码描述子；

生成人脸检测子步骤：基于训练样本进行学习，生成基于二进制特征描述的人脸检测子；

检测灰度图像步骤：基于人脸检测子检测灰度图像，在灰度图像中获得人脸的位置及尺度大小；

人脸整合步骤：基于同一位置附近的多个检测结果，进行人脸整合，获得最终的人脸检测结果。

2. 根据权利要求1所述基于局部描述子的人脸快速检测方法，其特征在于，所述提取灰度图像的步骤包括：将彩色图像转换成为灰度图像的预处理操作。

3. 根据权利要求1所述基于局部描述子的人脸快速检测方法，其特征在于，所述生成描述子步骤包括：在灰度图像中取以半径R组成局部区域，在所述局部区域内的象素点数P为二进制编码的描述子。

4. 根据权利要求1所述基于局部描述子的人脸快速检测方法，其特征在于，所述生成检测子步骤包括：基于Boost算法，从大量的二进制特征中学习一些有效的二进制特征，学习得到用于人脸检测的二进制特征的数目、参数及其加权组合方式的人脸检测子。

5. 根据权利要求1所述基于局部描述子的人脸快速检测方法，其特征在于，所述检测灰度图像步骤包括：基于二进制编码检测子对不同尺度的灰度图像检测，得到不同尺度和位置的灰度图像局部区域并在灰度图像中自动检测生成人脸的位置及尺度大小。

6. 根据权利要求1或5所述基于局部描述子的人脸快速检测方法，其特征在于，所述人脸整合步骤包括：基于同一位置附近可能有多个冗余的检测结果将有效部分各个局部区域及各个尺度的坐标取平均来综合判断，生成最终的检测结果。

7. 根据权利要求3所述基于局部描述子的人脸快速检测方法，其特征在于，所述二进制编码的描述子是：在灰度图像以点C为中心，点C值为g_c，以半径为R找到它的局部区域周围的存在象素点数P，将点C和象素点数P值平均得到平均值m，局部二进制特征的特征值是把点C和象素点数P的值分别与平均值m比较，如果大于m编码成为1，否则编码成为0，则以C点为中心，以R为半径局部区域的二进制特征生成了二进制值。

8. 根据权利要求4所还基于局部描述子的人脸快速检测方法，其特征在于：所述人脸检测子，是在编码局部区域以半径R对人脸二进制特征进行缩放，从而获得不同尺度和不同位置的局部区域人脸特征。

Images