CN106778683A - 基于改进lbp特征的快速多角度人脸检测方法 - Google Patents

Abstract

本发明提出了一种基于改进LBP特征的快速多角度人脸检测方法，用于解决现有多角度人脸检测技术中存在的检测速度慢的技术问题，实现步骤为：对LBP特征进行改进；使用改进LBP特征构造弱分类器；使用Adaboost算法训练弱分类器的强分类器，将强分类器级联成cascade分类器；将各种角度的cascade分类器按照由粗到精的方式构成三层“金字塔”型多角度人脸检测器；检测阶段使用局部方差检测缩小检测区。本发明减少了检测过程中的计算量，在保证检测率的前提下提高了多角度人脸检测的检测速度。

Description

基于改进LBP特征的快速多角度人脸检测方法

技术领域

本发明属于模式识别技术领域，涉及一种人脸检测方法，具体涉及一种基于改进LBP特征的快速多角度人脸检测方法，可用于人脸识别技术中人脸的位置确定及数码相机等设备中的人脸检测。

背景技术

人脸检测是指搜索图像中是否存在人脸，如果存在人脸，标定出图像中的人脸位置和大小。实际环境中图像中的人脸不只是正面人脸，多角度人脸检测是指将图像中的正面人脸和侧面角度人脸都检测出来。人脸检测技术广泛应用于人脸识别中的人脸位置确定、数码相机、智能手机等设备中。

人脸检测经过多年的研究与发展形成了多种检测方法，主要分为基于知识的方法和基于统计的方法两类。基于知识的检测方法常采用模版匹配法和人脸特征法，将人脸看作眼睛、眉毛、嘴巴等器官的组合，利用各器官的特征以及相互之间的位置关系等先验知识来检测人脸。模版匹配法指先确定人脸的标准模版图像，目标图像特定位置的像素灰度值或颜色值与模版图像的相同位置进行比较，计算灰度差或颜色差，通过差值判定相关度确定是否为人脸；人脸特征法首先提取出人脸的局部不变结构特征，然后根据特征的几何关系来确定人脸是否存在。基于知识的检测方法需要先验知识，不能检测不规则、姿态多样的人脸，鲁棒性差。

基于统计的检测方法把人脸当作一个整体模式，通过对大量人脸样本来进行统计分析，利用统计分析和机器学习构造出人脸模式空间，根据目标与人脸模式的相似度来判断人脸是否存在，常采用神经网络算法、支持向量机或Adaboost算法训练出一个感知人脸复杂模式的分类器来检测人脸。

P.Viola&M.Jones使用Adaboost算法训练基于Haar-like特征的强分类器，将强分类器级联构成cascade型检测器，提高了人脸检测的速度和检测率使得人脸检测具备实用意义。为解决多角度人脸的检测的问题，M.Jones后来提出一种两阶段检测方法，先使用神经网络决策树对人脸做姿态预测，然后使用Adaboost算法训练分类器对各种姿态的人脸进一步检测，这种检测方法检测率高，但是使用仍然存在训练分类器时间长、训练需要大量样本、检测速度慢的不足。之后研究人员又提出了基于LBP特征的多角度人脸检测方法，例如授权公告号为CN 102799901 B，名称为“一种多角度人脸检测方法”的发明专利，公开了一种使用LBP特征的多角度人脸检测方法，包括人脸姿态分类、计算每种姿态下的人脸特征、各姿态下的人脸检测，其中人脸姿态分类将人脸分为：左侧[-90°,90°]，正面[-30°,30°]，右侧[30°,90°]三种姿态，人脸姿态分类器使用LBP特征构造神经网络RBF分类器得到，使用Adaboost算法对每种姿态的人脸进行检测，并对检测结果进行融合处理。该发明提高了多角度人脸的检测速度，但是仍然存在检测速度不够高和分类器训练时间长的缺点。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于改进LBP特征的快速多角度人脸检测方法，用于解决现有多角度人脸检测技术中存在的检测速度慢的技术问题。

本发明的技术思路是，通过对LBP特征的改进，并使用改进的LBP特征构造弱分类器提高弱分类器的分类准确率，减少组成强分类器需要的弱分类器数量来减少检测过程的计算量，实现人脸的快速检测。通过Adaboost算法训练弱分类器得到强分类器，将强分类器级联成检测不同角度人脸的cascade分类器，并按照检测角度由粗到精的方式将cascade分类器组成“金字塔”型检测器，实现人脸的多角度检测。在检测过程中先通过方差检测的方法得到检测候选窗口缩小检测范围，实现检测速度的进一步提高。

根据上述技术思路，实现本发明目的采取的技术方案，包括训练阶段和检测阶段，实现步骤为：

训练阶段：

(1)对LBP特征进行改进，得到改进LBP特征，并利用改进LBP特征构造弱分类器，得到弱分类器h(x)，实现步骤为：

(1a)将LBP特征的特征窗口划分为K×K个大小相等的矩形子块，其中K＝3或5，选取K×K个子块中的四个顶点的子块、四个边界的中间子块和中心子块，构造新的LBP特征，得到改进LBP特征；

(1b)计算改进LBP特征中各子块内的像素灰度平均值，并将中心子块与其他8个子块的像素灰度平均值分别进行比较，将像素灰度平均值大于中心子块像素灰度平均值的子块编码为1，其余的子块编码为0，得到8个二进制数；再从这8个二进制数左上角开始，按照顺时针顺序串联，得到二进制编码；最后将二进制编码转换为十进制数，得到改进LBP特征的特征值，该特征值的取值范围为[0,255]，数量为256个；

(1c)利用改进LBP特征构造包含256个分支的多叉树，并将这些多叉树各分支的取值与改进LBP特征的每一个特征值依次对应，得到弱分类器h(x)，其实现步骤如下：

其中表示判别系数，l(x_i)表示改进LBP特征的特征值；

(2)在大小为W×H的图像窗口中提取P个改进LBP特征，并根据步骤(1c)中所述的弱分类器的构造方法，将每个改进LBP特征构造为一个弱分类器，得到P个弱分类器h_j(x),j＝1,...,P，其中W表示图像窗口横向像素数，H表示图像口纵向像素数；

(3)收集训练样本集S＝{(x₁,y₁),(x₂,y₂),...(x_i,y_i),...(x_N,y_N)},i＝1,...N，N表示样本数量，x_i表示第i个样本，y_i表示样本x_i的标签，y_i∈{-1,1}，1表示正样本，-1表示负样本，每个样本大小为W×H；

(4)采用Adaboost算法，对P个弱分类器h_j(x)进行训练，得到强分类器，实现步骤为：

(4a)给训练样本集S中的每一个样本分配权值，并对各样本权值进行初始化，得到正样本权值w_1,i＝1/2M,i＝1,2,…,M和负样本权值w_1,i＝1/2L,i＝1,2,…,L，其中M和L分别表示正样本数和负样本数；

(4b)利用P个弱分类器h_j(x)分别对训练样本集S中的所有样本进行分类：计算改进LBP特征在每个样本上的特征值，利用该改进LBP特征的特征值查找弱分类器的256个分支，得到弱分类器的判别系数a_m；根据判别系数a_m对所有样本进行分类，若a_m>0，则分类为正，否则分类为负；根据判别系数a_m和样本标签y_i，判断分类是否正确，若y_ia_m>0，则分类正确，否则分类错误；利用正样本权值w_1,i和负样本权值w_1,i，计算各弱分类器的加权分类误差，计算公式如下：并选取加权分类误差J_j最小的弱分类器h_t(x)；

(4c)利用权分类误差J_j最小的弱分类器h_t(x)的分类结果对所有样本权值进行更新，得到新的样本权值，并新的样本权值进行标准化，得到训练样本集S的新样本分布，实现步骤如下：

(4c1)利用弱分类器h_t(x)的分类结果对所有样本权值的分布进行更新，得到新的样本权值，更新公式为：

(4c2)并对新的样本权值进行标准化，得到训练样本集S的新样本分布，权重标准化公式为：

(4d)重复执行步骤(4b)和步骤(4c)T次，得到T个弱分类器，并对T个弱分类器进行集合，得到强分类器：

(5)重复执行步骤(4)n次，得n个强分类器，并对n个强分类器进行级联，得到cascade分类器；

(6)对不同角度的人脸执行步骤(3)、步骤(4)及步骤(5)，得到多个不同检测角度的cascade分类器，并保存；

检测阶段：

(7)按照检测角度由大到小的顺序，将多个不同角度的cascade分类器自上而下排列成三层“金字塔”型结构，得到多角度人脸检测器；

(8)对输入图像进行灰度变换和直方图均衡，得到待检测灰度图像，计算并存储待检测灰度图像的积分图，并利用积分图计算待检测图像检测窗口的局部方差，再利用该检测窗口的局部方差对待检测灰度图像进行筛选，得到局部方差值满足条件的候选窗口；

(9)多角度人脸检测器计算候选窗口中改进LBP特征的特征值，并利用改进LBP特征的特征值对候选窗口进行判别，将特征值满足条件的候选窗口判定为人脸，得到人脸的位置坐标和大小。

本发明与现有技术相比，具有如下优点：

1、本发明由于对LBP特征进行了改进，基于改进的LBP特征构造弱分类器，在不同角度的人脸样本集上使用Adaboost算法训练弱分类器得强分类器，将强分类器级联成cascade分类器，并将不同检测角度的cascade分类器按照检测角度由粗到精的方式组成“金字塔”型检测器，采用这种方式构成的多角度人脸检测器使用了数量更少但是分类效果更好的弱分类器，减少了检测过程的计算量，与现有技术相比，在保证检测率高的前提下提高了检测速度。

2、本发明由于使用改进LBP特征构造弱分类器，减少了弱分类器的总数同时提高弱分类器的分类能力，避免在训练分类器阶段耗费大量时间对效果差的弱分类器进行训练，与现有技术相比，缩短了训练时间。

3、本发明由于在对人脸检测时先使用方差检测的方法提取检测候选区，能够缩小检测范围，与现有技术相比，进一步提高检测速度。

附图说明

附图1是本发明的实现流程框图；

附图2是本发明K＝3时改进LBP的构造示意图；

附图3是本发明K＝3,w＝3,h＝2时改进LBP特征特征值值计算流程图；

附图4是本发明3层“金字塔”型检测器的结构示意图。

具体实施方式

以下结合附图与实施例，对本发明进行进一步详细说明。

参照图1，基于改进LBP特征的快速多角度人脸检测方法，主要包括训练阶段和检测阶段，具体包括如下步骤：

训练阶段：

步骤1：如图2所示，对LBP特征进行改进，得到改进LBP特征，并利用改进LBP特征构造弱分类器，得到弱分类器h(x)，实现步骤为：

步骤1a：LBP特征使用特征窗口内的单个像素点来构造，这种构造方法只能表达孤立像素的信息，容易受都噪声的影响，为了表述更大结构的图像结构，将LBP特征中的一个像素点扩展为一个像素块，把特征窗口划分为K×K个大小相等的矩形子块，每个特征窗口要有一个作为比较的子块，因此K应取奇数，特征要表述图像的局部纹理结构，因此K值不能太大，使用3或5两种取值，本实施例取K值为3，将LBP特征的特征窗口划分为个大小相等的9个矩形子块，选取9个子块中的四个顶点的子块g₀,g₂,g₄,g₆、四个边界的中间子块g₁,g₃,g₅,g₇和中心子块g_c，构造改进LBP特征，改进的LBP特征能够表述大范围内的图像结构，受噪声影响小，而且特征的总数也更少；

步骤1b：如图3所示，计算改进LBP特征中各子块内的像素灰度平均值，并将中心子块与其他8个子块的像素灰度平均值分别进行比较，将像素灰度平均值大于中心子块像素灰度平均值的子块编码为1，其余的子块编码为0，得到8个二进制数；再从这8个二进制数左上角开始，按照顺时针顺序串联，得到二进制编码；最后将二进制编码转换为十进制数，得到改进LBP特征的特征值，该特征值的取值范围为[0,255]，数量为256个；

步骤1c：由于改进LBP的特征值是非度量值，因此本方案采用多杈树结构构造弱分类器，利用改进LBP特征构造包含256个分支的多叉树，并将多叉树各分支的取值与改进LBP特征的每一个特征值依次对应，得到弱分类器h(x)，其实现步骤如下：

其中表示判别系数，a_m的值越大样本分类为正样本的可能性越大，l(x_i)表示改进LBP特征的特征值。

步骤2：参考图2，在一个W×H大小的窗口内确定特征窗口的左上角顶点A和每一个子块大小w×h，即可得到一个改进LBP特征窗口，其中3w≤W且3h≤H，改变顶点A的位置和w×h的取值，并根据步骤1a中所述改进LBP特征的构造方法构造得P个改进LBP特征，根据步骤1c中所述的弱分类器的构造方法，将每个改进LBP特征都构造为弱分类器，得到P个弱分类器h_j(x),j＝1,...,P；

步骤3：收集训练样本集S＝{(x₁,y₁),(x₂,y₂),...(x_i,y_i),...(x_N,y_N)},i＝1,...N，N表示样本数量，x_i表示第i个样本，y_i表示样本x_i的标签，y_i∈{-1,1}，1表示正样本，-1表示负样本，每个样本大小为W×H，正样本通过收集灰度人脸图片，并将大小标准化为W×H得到，样本的数量和质量会影响分类器检测效果，因此正样本数量要足够多，负样本可以截取检测条件下的背景图像获得，而且负样本数量要远多于正本样本；

步骤4：采用Adaboost算法，对P个弱分类器h_j(x)进行训练，得到强分类器，实现步骤为：

步骤4a：给训练样本集S中的每一个样本分配权值，并对各样本权值进行初始化，得到正样本权值w_1,i＝1/2M,i＝1,2,…,M和负样本权值w_1,i＝1/2L,i＝1,2,…,L，其中M和L分别表示正样本数和负样本数；

步骤4b：利用P个弱分类器h_j(x)分别对训练样本集S中的所有样本进行分类：计算改进LBP特征在每个样本上的特征值，利用该改进LBP特征的特征值查找弱分类器的256个分支，得到弱分类器的判别系数a_m；根据判别系数a_m对所有样本进行分类，若a_m>0，则分类为正，否则分类为负；根据判别系数a_m和样本标签y_i，判断分类是否正确，若y_ia_m>0，则分类正确，否则分类错误；利用正样本权值w_1,i和负样本权值w_1,i，计算各弱分类器的加权分类误差，计算公式如下：并选取加权分类误差J_j最小的弱分类器h_t(x)；

步骤4c：利用权分类误差J_j最小的弱分类器h_t(x)的分类结果对所有样本权值进行更新，得到新的样本权值，并新的样本权值进行标准化，得到训练样本集S的新样本分布，这样使被分类错误的样本的权值增加，被分类正确的样本的权值减小，这样下次分类更关注难分类的样本；

步骤4c1：利用弱分类器h_t(x)的分类结果对所有样本权值的分布进行更新，得到新的样本权值，为防止某个异常样本的权值一直增大，导致过拟合，要限制样本权值的大小，只增加被分类错误且权值小于设定值的样本权值，更新公式为：

步骤4c2：并对新的样本权值进行标准化，得到训练样本集S的新样本分布，权重标准化公式为：

步骤4d：重复执行步骤(3b)和步骤(3c)T次，得到T个弱分类器，并对T个弱分类器进行集合，得到强分类器：

步骤5：重复执行步骤3n次，得n个强分类器，并对n个强分类器进行级联，得到cascade分类器；

步骤6：对不同角度的人脸执行步骤2、步骤3及步骤4，得到11个不同检测角度的cascade分类器，并保存；

检测阶段：

步骤7：如图4所示，把11个cascade分类器从上到下按照由粗到精、由简单到复杂的方式组合，得到多角度人脸检测器，其中第一层使用一个cascade分类器，检测全部人脸，第二层包含3个cascade分类器分别覆盖[-90°,-30°]，[-30°,30°]，[30°,90°]，，第三层包含7个cascade分类器进一步把检测角度细分为[-90°,-65°]，[-65°,-40°]，[-40°,-15°]，[-15°,15°]，[15°,40°]，[40°,65°]，[65°,90°]。

步骤8：对输入图像进行灰度变换和直方图均衡，得到待检测灰度图像，计算并存储待检测灰度图像的积分图，并利用积分图计算待检测灰度图像检测窗口的局部方差，计算公式为：其中Z表示检测窗口内的像素总数，pix_i表示一个像素的灰度值，μ表示检测窗口内所有像素灰度值的平均值，μ可以利用积分图快速计算出来，选择满足条件的检测窗口得到候选窗口，将候选窗口输入“金字塔”型检测器进行进一步检测；

步骤9：如图4所示，“金字塔”型检测器计算候选窗口中改进LBP特征的特征值，并利用该特征值对候选窗口进行判别，如果第一层cascade分类器将候选窗口判定该窗口为非人脸，那么检测器不再对该窗口继续检测，否则候选窗口接着会被“金字塔”型检测器的第二层cascade分类器进行后续检测，在后续检测过程中；如果候选窗口被第二层cascade分类器的任何一个判定为人脸，该候选窗口将被送入到第三层cascade分类器，否则该候选窗口被判定为非人脸；如果第三层cascade分类器的任意一个将候选窗口判定为人脸，可以确定该候选窗口为人脸，根据候选窗口的坐标和大小，即可得到人脸的位置坐标和大小。

由于图像中会出现不同尺度的人脸，为检测各种尺度的人脸，检测器窗口在W×H大小的基础上按照一定的倍数逐步扩大，本实施例按1.2倍数扩大，并在各种不同尺度下对图像进行检测，得到图像中各种尺度的人脸位置坐标和大小。

Claims (2)

1.一种基于改进LBP特征的快速多角度人脸检测方法，其特征在于，包括训练阶段和检测阶段，实现步骤为：

训练阶段：

(1)对LBP特征进行改进，得到改进LBP特征，并利用改进LBP特征构造弱分类器，得到弱分类器h(x)，实现步骤为：

(1a)将LBP特征的特征窗口划分为K×K个大小相等的矩形子块，其中K＝3或5，选取K×K个子块中的四个顶点的子块、四个边界的中间子块和中心子块，构造新的LBP特征，得到改进LBP特征；

(1b)计算改进LBP特征中各子块内的像素灰度平均值，并将中心子块与其他8个子块的像素灰度平均值分别进行比较，将像素灰度平均值大于中心子块像素灰度平均值的子块编码为1，其余的子块编码为0，得到8个二进制数；再从这8个二进制数左上角开始，按照顺时针顺序串联，得到二进制编码；最后将二进制编码转换为十进制数，得到改进LBP特征的特征值，该特征值的取值范围为[0,255]，数量为256个；

(1c)利用改进LBP特征构造包含256个分支的多叉树，并将这些多叉树各分支的取值与改进LBP特征的每一个特征值依次对应，得到弱分类器h(x)，其实现步骤如下：

$h\left(x\right)=\left\{\begin{array}{cc}{a}_{0,}& l\left(x_i\right)=0\\ \mathrm{...}& \\ a_{m,}& l\left(x_i\right)=m\\ a_{255,}& l\left(x_i\right)=255\end{array}\right.,m=\mathrm{0...255}$

其中表示判别系数，l(x_i)表示改进LBP特征的特征值；

(2)在大小为W×H的图像窗口中提取P个改进LBP特征，并根据步骤(1c)中所述的弱分类器的构造方法，将每个改进LBP特征构造为一个弱分类器，得到P个弱分类器h_j(x),j＝1,...,P，其中W表示图像窗口横向像素数，H表示图像口纵向像素数；

(3)收集训练样本集S＝{(x₁,y₁),(x₂,y₂),...(x_i,y_i),...(x_N,y_N)},i＝1,...N，N表示样本数量，x_i表示第i个样本，y_i表示样本x_i的标签，y_i∈{-1,1}，1表示正样本，-1表示负样本，每个样本大小为W×H；

(4)采用Adaboost算法，对P个弱分类器h_j(x)进行训练，得到强分类器，实现步骤为：

(4a)给训练样本集S中的每一个样本分配权值，并对各样本权值进行初始化，得到正样本权值w_1,i＝1/2M,i＝1,2,…,M和负样本权值w_1,i＝1/2L,i＝1,2,…,L，其中M和L分别表示正样本数和负样本数；

(4b)利用P个弱分类器h_j(x)分别对训练样本集S中的所有样本进行分类：计算改进LBP特征在每个样本上的特征值，利用该改进LBP特征的特征值查找弱分类器的256个分支，得到弱分类器的判别系数a_m；根据判别系数a_m对所有样本进行分类，若a_m>0，则分类为正，否则分类为负；根据判别系数a_m和样本标签y_i，判断分类是否正确，若y_ia_m>0，则分类正确，否则分类错误；利用正样本权值w_1,i和负样本权值w_1,i，计算各弱分类器的加权分类误差，计算公式如下：并选取加权分类误差J_j最小的弱分类器h_t(x)；

(4c)利用权分类误差J_j最小的弱分类器h_t(x)的分类结果对所有样本权值进行更新，得到新的样本权值，并新的样本权值进行标准化，得到训练样本集S的新样本分布；

(4d)重复执行步骤(4b)和步骤(4c)T次，得到T个弱分类器，并对T个弱分类器进行集合，得到强分类器：

(5)重复执行步骤(4)n次，得n个强分类器，并对n个强分类器进行级联，得到cascade分类器；

(6)对不同角度的人脸执行步骤(3)、步骤(4)及步骤(5)，得到多个不同检测角度的cascade分类器，并保存；

检测阶段：

(7)按照检测角度由大到小的顺序，将多个不同角度的cascade分类器自上而下排列成三层“金字塔”型结构，得到多角度人脸检测器；

(8)对输入图像进行灰度变换和直方图均衡，得到待检测灰度图像，计算并存储待检测灰度图像的积分图，并利用积分图计算待检测图像检测窗口的局部方差，再利用该检测窗口的局部方差对待检测灰度图像进行筛选，得到局部方差值满足条件的候选窗口；

(9)多角度人脸检测器计算候选窗口中改进LBP特征的特征值，并利用改进LBP特征的特征值对候选窗口进行判别，将特征值满足条件的候选窗口判定为人脸，得到人脸的位置坐标和大小。

2.根据权利要求1所述的基于改进LBP特征的快速多角度人脸检测方法，其特征在于：步骤(2d)中所述的训练样本集S的新样本分布，其获取步骤为：

(2d1)利用弱分类器h_t(x)的分类结果对所有样本权值的分布进行更新，得到新的样本权值，更新公式为：

(2d2)并对新的样本权值进行标准化，得到训练样本集S的新样本分布，权重标准化公式为：