CN104850818A - 人脸检测器训练方法、人脸检测方法及装置 - Google Patents

Abstract

本发明实施例提供一种人脸检测器训练方法、人脸检测方法及装置。该方法中，在训练阶段构造出弹性的块状局部二值模式特征及相应的第二分类器，寻找合适的第二分类器生成多个第一分类器，通过级联的方法得到多层的第一分类器构成最终的人脸检测器；在检测阶段通过训练过程中学习到的第一分类器或人脸检测器对待检测图像中进行人脸检测，区分出人脸与非人脸，将人脸检测结果合并并输出。该过程中，每个FBLBP特征包括一个基准框与至少一个邻域框，基准框与邻域框的大小相等，各邻域框与基准框的位置无严格的限制，灵活性高，提高鲁棒性的同时降低误检率。

Description

人脸检测器训练方法、人脸检测方法及装置

技术领域

本发明实施例涉及图像模式识别技术，尤其涉及一种人脸检测器训练方法、人脸检测方法及装置。

背景技术

人脸检测技术是指从一幅图像或一段视频中确定其是否含有人脸，并对人脸位置与尺度进行定位的过程。实现人脸检测的前提是构建人脸检测器。一般来说，现有技术通过如下几种方式构建人脸检测器：

技术一、通过Haar-Like特征与Adaboost算法实现人脸检测。该方法中，采用Haar-Like特征表示人脸，对各Haar-Like特征进行训练得到弱分类器，通过Adaboost算法选择多个最能代表人脸的弱分类器构造成强分类器，将若干个强分类器串联组成一个级联结构的层叠分类器，即人脸检测器。该技术中，每个Haar-Like特征仅考虑了基准框与一个邻域框的人脸图像信息，导致Haar-Like特征数目多、判别能力弱、通常需要训练的弱分类器数目比较多且整体判别能力弱、最终人脸检测率低。

技术二、通过多尺度块状局部二值模式（Multi-scale Block based LocalBinary Patterns，MBLBP）特征与Adaboost算法实现人脸检测。该方法在技术一的基础上，采用可表示基准框与8个邻域框的人脸图像信息的MBLBP特征表示人脸，通过比较基准框的平均灰度同周围8个邻域框各自的平均灰度计算MBLBP特征，具体如图1所示，图1为现有技术中MBLBP特征示意图。该技术中，要求8个邻域框必须均匀的环绕在基准框周围，且基准框与各邻域框必须相邻，训练样本的灰度均值计算时比较的值固定为0，使得MBLBP特征对噪声的鲁棒性差，人脸检测的误检率高，人脸检测的用户体验效果差。

技术三、通过多尺度的结构化定序测量特征（Multi-scale StructuredOrdinal Features，MSOF）与Adaboost算法实现人脸检测。该方法在技术二的基础上，采用可表示基准框与8个邻域框的人脸图像信息的MSOF特征表示人脸，8个邻域框相对于基准框的距离可调，且基准框与8个邻域框可以不相连，具体如图2所示，图2为现有技术中MSOF特征示意图。该技术中，要求8个邻域框相对于基准框的空间位置均匀分布，灵活性差，同样在某种程度上制约了鲁棒性，人脸检测器的误检率高。

发明内容

本发明实施例提供一种人脸检测器训练方法、人脸检测方法及装置，通过弹性的块状局部二值模式特征与GentleBoost算法构建出高精度的人脸检测器，以提高人脸检测的精度。

第一个方面，本发明实施例提供一种人脸检测方法，包括：

步骤1、采集人脸和非人脸图像作为训练样本集，提取所述人脸和非人脸图像的弹性的块状局部二值模式FBLBP特征构成FBLBP特征集；

步骤2、利用所述FBLBP特征和GentleBoost算法进行训练，得到第一分类器，所述第一分类器包括若干个最优第二分类器，每个最优第二分类器通过GentleBoost算法训练所得；

步骤3、重复步骤1到步骤2的训练过程，得到多层第一分类器，将多层第一分类器级联成人脸检测器。

在第一个方面的第一种可能的实现方式中，所述步骤1包括如下子步骤：

步骤1.1、构造所述FBLBP特征，用于表示图像局部灰度相对变化的共生信息，所述FBLBP特征包括若干个全等的矩形框、阈值和符号位sign，其中，所述若干个全等的矩形框包括一个基准框和至少一个邻域框，所述符号位sign为-1时，所述阈值为θ₀，所述符号位sign为1时，所述阈值为θ₁，所述θ₀与所述θ₁为实数；

步骤1.2、计算所述FBLBP特征中所述基准框的特征值AvgInt_pivotblock和各所述邻域框的特征值其中，所述基准框的特征值AvgInt_pivotblock由所述基准框所在区域的平均灰度表示，各所述邻域框的特征值由各所述邻域框各自所在区域的平均灰度表示，k为第k个邻域框的序号；对每一所述邻域框，根据所述符号位sign计算差分结果，将所述差分结果与所述阈值进行比较并量化；将每一所述邻域框的量化结果组成的二进制数转换为十进制数并保存从而得到所述FBLBP特征的特征值。

结合第一个方面或第一个方面的第一种可能的实现方式，在第一个方面的第二种可能的实现方式中，所述步骤2中利用所述FBLBP特征和GentleBoost算法进行训练，得到第一分类器，所述第一分类器由若干个最优第二分类器组成，每个最优第二分类器通过GentleBoost算法训练所得，其中，第二分类器的计算公式（1）如下：

$f_m\left(x\right)=\left\{\begin{array}{cc}{a}_0,& x=0\\ a_1,& x=1\\ ...& \\ a_{2^K-1},& x=2^K-1\end{array}\right.;$

其中，f_m(x)为第m个第二分类器，x为该第二分类器的FBLBP特征值，K为该FBLBP特征的邻域框的数目，a_j为第二分类器的输出，所述a_j根据公式（2）计算得出：

$a_j=\frac{{\mathrm{\Σ}}_i{w}_i{y}_i\mathrm{\δ}(x_i=j)}{{\mathrm{\Σ}}_i{w}_i\mathrm{\δ}(x_i=j)};$

其中，0≤j≤2^K-1且j为整数，y_i为第i个训练样本的类别，当训练样本为人脸图像时，所述y_i的值为1，否则为-1，δ()为克罗内克函数，若x_i=j为真，则输出为1，否则，若x_i=j为假，则输出为0，i为第i个训练图像样本，ω_i为第i个训练图像样本的权重。

结合第一个方面的第二种可能的实现方式，在第一个方面的第三种可能的实现方式中，该方法还包括：根据公式（3）及归一化公式（4）计算得出所述第i个训练图像样本的权重ω_i，其中，

所述公式（3）为

所述公式（4）为

结合第一个方面的第二种可能的实现方式，在第一个方面的第四种可能的实现方式中，该方法还包括：根据公式（5）计算得出所述公式（1）中每一个第二分类器的FBLBP特征值x，其中，

所述公式（5）为：

K为邻域框的个数；

若sign=1，则 ${\mathrm{FBLBP}}_{\mathrm{sign},k}=\mathrm{\δ}((\mathrm{AvgIn}{t}_{\mathrm{pivoblock}}-\mathrm{AvgIn}{t}_{\mathrm{neighborbloc}{k}_k})\≥{\mathrm{\θ}}_1);$

若sign=-1，则 ${\mathrm{FBLBP}}_{\mathrm{sign},k}=\mathrm{\δ}((\mathrm{AvgIn}{t}_{\mathrm{pivoblock}}-\mathrm{AvgIn}{t}_{\mathrm{neighborbloc}{k}_k})\≤{\mathrm{\θ}}_0);$

其中，δ（）为克罗内克函数，当输入为真时，输出为1；否则，当输入为假时，输出为0。

结合第一个方面或第一个方面的第一种可能的实现方式，在第一个方面的第五种可能的实现方式中，所述步骤2中利用所述FBLBP特征和GentleBoost算法进行训练，得到第一分类器，所述第一分类器由若干个最优第二分类器组成，所述最优第二分类器的计算过程包括如下子步骤：

步骤2.1、初始时，所述FBLBP特征仅包括一个基准框与一个邻域框，由该两个矩形框组成的FBLBP特征集可以通过穷举遍历得到，对FBLBP特征集中的每个FBLBP特征，计算其特征值及相应的第二分类器的输出值，将得到的第二分类器的输出值代入公式（6）得到所述第二分类器的误差J，将使得所述误差J的值最小的第二分类器选作为所述最优第二分类器，所述公式（6）为：

$J=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{(y_i-f_m\left(x_i\right))}^2;$

其中，J为优化目标函数即加权的分类误差，N为总的训练样本数；

步骤2.2，在根据步骤2.1确定出仅包括一个基准框与一个邻域框的FBLBP特征后，对该FBLBP特征，通过遍历图像中和基准框同尺寸的矩形框，增加邻域框的个数，代入公式（5）重新计算x的值，并代入公式（6）中计算所述误差J，若J进一步减小，则将其并入当前最优第二分类器；否则，停止且直接输出当前特征，同时更新权重并进入GentleBoost的下一轮循环；

所述步骤2中将各所述GentleBoost每一轮循环最优第二分类器组合成第一分类器的计算公式（7）如下：

F(x)=F(x)+f_m(x)；

其中，F（x）为第一分类器，F(x)初始化为0。

结合第一个方面的第五种可能的实现方式，在第一个方面的第六种可能的实现方式中，所述步骤2还还包括：

根据公式（8）确定所述第一分类器的阈值，所述公式（8）为：

其中，i₁为第i₁个包括人脸的训练图像样本，i₂为第i₂个包括非人脸的训练图像样本；th为所述第一分类器的阈值。

结合第一个方面的第一种可能的实现方式，在第一个方面的第七种可能的实现方式中，所述步骤1.2中对每一所述邻域框，根据所述符号位sign计算差分结果，将所述差分结果与所述阈值进行比较并量化，最后，将每一所述邻域框的量化结果组成的二进制数转换为十进制数并保存得到所述FBLBP特征的特征值，包括：

对于每一邻域框，当所述符号位为1时，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差不小于所述阈值θ₁，则将所述邻域框的位置标记为1；否则，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差小于所述阈值θ₁，则将所述邻域框的位置标记为0；或者，对于每一所述邻域框，当所述符号位为-1时，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差的相反数不小于阈值θ₀，则将所述邻域框的位置标记1；否则，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差的相反数小于阈值θ₀，则将所述邻域框的位置标记为0。

第二个方面，本发明实施例提供一种采用如上第一个方面或第一个方面的第一种至第七种中任一种可能的方式得到的人脸检测器进行人脸检测的方法，包括：

步骤4、遍历待检测图像，得到待检测子图像集；

步骤5、将所述待检测子图像集中的每一待检测子图像带入所述人脸检测器，逐层计算所述人脸检测器中每层第一分类器的输出；

步骤6、对于一待检测子图像，若人脸检测器的任意一层第一分类器的输出低于训练所得的该第一分类器的阈值，则认为该待检测子图像为非人脸，只有通过所有层分类器判断的待检测子图像被认为是人脸；

步骤7、合并步骤6中所有的检测结果，输出所述待检测图像中的人脸位置。

在第二个方面的第一种可能的实现方式中，所述步骤4包括：

步骤4.1、以预设的长宽比例为检测窗口遍历待检测图像；

步骤4.2、以所述预设的长宽比例，按照预设的步长扩大所述检测窗口遍历待检测图像，重复执行，在不同检测窗口下遍历待检测图像，直至所述检测窗口的长大于或等于所述待检测图像的长，或者，直至所述检测窗口的宽大于或等于所述待检测图像的宽；

步骤4.3、对步骤4.1与步骤4.2中遍历待检测图像得到的子图像进行归一化处理，使各子图像的长宽比符合所述预设的长宽比例，将各归一化的子图像组成的集合作为待检测子图像集。

第三个方面，本发明实施例提供一种人脸检测器训练装置，包括：

FBLBP特征集模块，用于采集人脸和非人脸图像作为训练样本集，提取所述人脸和非人脸图像的弹性的块状局部二值模式FBLBP特征构成FBLBP特征集；

第一分类器模块，用于对所述FBLBP特征集模块采集得到的所述FBLBP特征和GentleBoost算法进行训练，得到第一分类器，所述第一分类器包括若干个最优第二分类器，每个最优第二分类器通过GentleBoost算法训练所得；

人脸检测器模块，用于重复所述FBLBP特征模块和所述第一分类器模块的训练过程，得到多层第一分类器，将多层第一分类器级联成人脸检测器。

在第三个方面的第一种可能的实现方式中，所述FBLBP特征集模块包括：

构造单元，用于构造所述FBLBP特征，用于表示图像局部灰度相对变化的共生信息，所述FBLBP特征包括若干个全等的矩形框、阈值和符号位sign，其中，所述若干个全等的矩形框包括一个基准框和至少一个邻域框，所述符号位sign为-1时，所述阈值为θ₀，所述符号位sign为1时，所述阈值为θ₁，所述θ₀与所述θ₁为实数；

计算单元，用于计算所述构造单元构造的所述FBLBP特征中所述基准框的特征值AvgInt_pivotblock和各所述邻域框的特征值其中，所述基准框的特征值AvgInt_pivotblock由所述基准框所在区域的平均灰度表示，各所述邻域框的特征值由各所述邻域框各自所在区域的平均灰度表示，k为第k个邻域框的序号；对每一所述邻域框，根据所述符号位sign计算差分结果，将所述差分结果与所述阈值进行比较并量化；将每一所述邻域框的量化结果组成的二进制数转换为十进制数并保存从而得到所述FBLBP特征的特征值。

结合第三个方面或第三个方面的第一种可能的实现方式，在第三个方面的第二种可能的实现方式中所述第一分类器模块，具体用于利用所述FBLBP特征和GentleBoost算法进行训练，得到第一分类器，所述第一分类器由若干个最优第二分类器组成，每个最优第二分类器通过GentleBoost算法训练所得，其中，第二分类器的计算公式（1）如下：

$f_m\left(x\right)=\left\{\begin{array}{cc}{a}_0,& x=0\\ a_1,& x=1\\ ...& \\ a_{2^K-1},& x=2^K-1\end{array}\right.;$

其中，f_m(x)为第m个第二分类器，x为该第二分类器的FBLBP特征值，K为该FBLBP特征的邻域框的数目，a_j为第二分类器的输出，所述a_j根据公式（2）计算得出：

$a_j=\frac{{\mathrm{\Σ}}_i{w}_i{y}_i\mathrm{\δ}(x_i=j)}{{\mathrm{\Σ}}_i{w}_i\mathrm{\δ}(x_i=j)};$

其中，0≤j≤2^K-1且j为整数，y_i为第i个训练样本的类别，当训练样本为人脸图像时，所述y_i的值为1，否则为-1，δ()为克罗内克函数，若x_i=j为真，则输出为1，否则，若x_i=j为假，则输出为0，i为第i个训练图像样本，ω_i为第i个训练图像样本的权重。

结合第三个方面的第二种可能的实现方式，在第三个方面的第三种可能的实现方式中，所述第一分类器模块，具体用于根据据公式（3）及归一化公式（4）计算得出所述第i个训练图像样本的权重ω_i，其中，

所述公式（3）为

所述公式（4）为

结合第三个方面的第二种可能的实现方式，在第三个方面的第四种可能的实现方式中，所述第一分类器模块，具体用于根据公式（5）计算得出所述公式（1）中每一个第二分类器的FBLBP特征值x，其中，

所述公式（5）为：

K为邻域框的个数；

若sign=1，则 ${\mathrm{FBLBP}}_{\mathrm{sign},k}=\mathrm{\δ}((\mathrm{AvgIn}{t}_{\mathrm{pivoblock}}-\mathrm{AvgIn}{t}_{\mathrm{neighborbloc}{k}_k})\≥{\mathrm{\θ}}_1);$

若sign=-1，则 ${\mathrm{FBLBP}}_{\mathrm{sign},k}=\mathrm{\δ}((\mathrm{AvgIn}{t}_{\mathrm{pivoblock}}-\mathrm{AvgIn}{t}_{\mathrm{neighborbloc}{k}_k})\≤{\mathrm{\θ}}_0);$

其中，δ（）为克罗内克函数，当输入为真时，输出为1；否则，当输入为假时，输出为0。

结合第三个方面或第三个方面的第一种可能的实现方式，在第三个方面的第五种可能的实现方式中，所述第一分类器包括：

初始计算单元，用于初始时，所述FBLBP特征仅包括一个基准框与一个邻域框，由该两个矩形框组成的FBLBP特征集可以通过穷举遍历得到，对FBLBP特征集中的每个FBLBP特征，计算其特征值及相应的第二分类器的输出值，将得到的第二分类器的输出值代入公式（6）得到所述第二分类器的误差J，将使得所述误差J的值最小的第二分类器选作为所述最优第二分类器，所述公式（6）为：

$J=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{(y_i-f_m\left(x_i\right))}^2;$

其中，J为优化目标函数即加权的分类误差，N为总的训练样本数；

循环计算模块，用于在所述初始计算模块确定出仅包括一个基准框与一个邻域框的FBLBP特征后，对该FBLBP特征，通过遍历图像中和基准框同尺寸的矩形框，增加邻域框的个数，代入公式（5）重新计算x的值，并代入公式（6）中计算所述误差J，若J进一步减小，则将其并入当前最优第二分类器；否则，停止且直接输出当前特征，同时更新权重并进入GentleBoost的下一轮循环；

组合模块，用于根据公式（7）将所述循环计算模块每一轮循环得出的最优第二分类器组合成第一分类器，所述（7）如下：

F(x)=F(x)+f_m(x)；

其中，F（x）为第一分类器，F(x)初始化为0。

结合第三个方面的第五种可能的实现方式，在第三个方面的第六种可能的实现方式中，所述装置还包括：

阈值确定模块，用于根据公式（8）确定所述第一分类器的阈值，所述公式（8）为：

其中，i₁为第i₁个包括人脸的训练图像样本，i₂为第i₂个包括非人脸的训练图像样本；th为所述第一分类器的阈值。

结合第三个方面的第一种可能的实现方式，在第三个方面的第七种可能的实现方式中，所述计算单元，具体用于对于每一邻域框，当所述符号位为1时，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差不小于所述阈值θ₁，则将所述邻域框的位置标记为1；否则，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差小于所述阈值θ₁，则将所述邻域框的位置标记为0；或者，对于每一所述邻域框，当所述符号位为-1时，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差的相反数不小于阈值θ₀，则将所述邻域框的位置标记1；否则，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差的相反数小于阈值θ₀，则将所述邻域框的位置标记为0。

第四个方面，本发明实施例提供一种人脸检测装置，包括：

遍历模块，用于遍历待检测图像，得到待检测子图像集；

计算模块，用于将所述遍历模块遍历得到的所述待检测子图像集中的每一待检测子图像带入所述人脸检测器，逐层计算所述人脸检测器中每层第一分类器的输出；

判断模块，用于对于一待检测子图像，判断所述计算模块的每层分类器的输出，若人脸检测器的任意一层第一分类器的输出低于训练所得的该第一分类器的阈值，则认为该待检测子图像为非人脸，只有通过所有层分类器判断的待检测子图像被认为是人脸；

合并模块，用于合并所述判断模块得出的所有检测结果，并输出所述待检测图像中的人脸位置。

在第四个方面的第一种可能的实现方式中，所述遍历模块，具体用于以预设的长宽比例为检测窗口遍历待检测图像；以所述预设的长宽比例，按照预设的步长扩大所述检测窗口遍历待检测图像，重复执行，在不同检测窗口下遍历待检测图像，直至所述检测窗口的长大于或等于所述待检测图像的长，或者，直至所述检测窗口的宽大于或等于所述待检测图像的宽；对上述遍历待检测图像得到的子图像进行归一化处理，使各子图像的长宽比符合所述预设的长宽比例，将各归一化的子图像组成的集合作为待检测子图像集。

本发明实施例提供的人脸检测器训练方法、人脸检测方法及装置，在训练阶段构造出弹性的块状局部二值模式特征及相应的弱分类器，寻找合适的弱分类器生成多个强分类器，通过级联的方法得到多层的强分类器构成最终的人脸检测器；在检测阶段通过训练过程中学习到的强分类器或人脸检测器对待检测图像中进行人脸检测，区分出人脸与非人脸，将人脸检测结果合并并输出。该过程中，每个FBLBP特征包括一个基准框与至少一个邻域框，基准框与邻域框的大小相等，各邻域框与基准框的位置无严格的限制，灵活性高，提高鲁棒性的同时降低误检率。

附图说明

图1为现有技术中MBLBP特征示意图；

图2为现有技术中MSOF特征示意图；

图3为本发明人脸检测器训练方法实施例一的流程图；

图4为本发明实施例中FBLBP特征的示意图；

图5A为本发明实施例中基准框与邻域框分离的FBLBP特征的示意图；

图5B为本发明实施例中基准框与邻域框相邻的FBLBP特征的示意图；

图5C为本发明实施例中基准框与邻域框相交的FBLBP特征的示意图；

图6为本发明实施例提供的又一个FBLBP特征的示意图；

图7A为图6中当符号位sign为1时各邻域框的标记图；

图7B为图6中当符号位sign为-1时各邻域框的标记图；

图8为本发明采用人脸检测器对人脸进行检测的流程图；

图9为本发明实施例中人脸检测器的结构示意图

图10A为本发明实施例提供的人脸检测方法与现有技术中人脸检测方法的检测性能在FDDB上的离散分数示意图；

图10B为本发明实施例提供的人脸检测方法与现有技术中人脸检测方法的检测性能在FDDB上的连续分数示意图；

图11为本发明人脸检测器训练装置实施例一的结构示意图；

图12为本发明人脸检测器训练装置实施例二的结构示意图；

图13为本发明人脸检测装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图3为本发明人脸检测器训练方法实施例一的流程图。本实施例中，人脸检测器训练过程主要是通过对训练样本集中的图像样本进行训练，寻找合适的弱分类器集组合成若干个强分类器，然后，通过级联的方法，将多层的强分类器构成最终的人脸检测器的过程。具体的，训练阶段包括：

步骤1、采集人脸和非人脸图像作为训练样本集，提取所述人脸和非人脸图像的弹性的块状局部二值模式FBLBP特征构成FBLBP特征集。

本步骤中，通过互联网或摄像头等采集包括人脸的图像和不包括人脸的图像作为训练样本集，其中，包括人脸的图像样本可称之为正样本，不包括人脸的图像样本可称之为负样本，正样本和负样本均可以为多个，具体数量可根据具体要求确定。在采集到训练样本集后，提取人脸和非人脸图像的FBLBP特征并构成FBLBP特征集，对FBLBP特征集中的每一FBLBP特征，构造能区分人脸和非人脸图像的FBLBP弱分类器。

步骤2、利用所述FBLBP特征和GentleBoost算法进行训练，得到第一分类器，所述第一分类器包括若干个最优第二分类器，每个最优第二分类器通过GentleBoost算法训练所得。

一般来说，GentleBoost算法对特征进行训练的过程为先得出第二分类器，第二分类器为精度较低的分类器，从多个第二分类器中选出精度相对较高的若干个最优分类器，将若干个最优分类器继续训练得到精度相对更高的第二分类器，即强分类器。以下若未做特殊说明，第一分类器为强分类器，第二分类器为弱分类器。

本步骤中，对于步骤1中枚举出的所有FBLBP特征，利用GentleBoost算法进行特征选择，先得出若干最优弱分类器，然后将弱分类器累加得到强分类器。

步骤3、重复步骤1到步骤2的训练过程，得到多层第一分类器，将多层第一分类器级联成人脸检测器。

需要说明的是，对于每一级第一分类器，即强分类器，都可以设置弱分类器的最大个数和强分类器的分类精度，若不满足弱分类器的个数的要求且精度未到达设定要求，则返回步骤1重新进行样本训练；否则，若每层弱分类器的数量达到最大值或精度满足要求后，则进行下一级训练（若为最后一级，则训练完成），以防止训练到最后几层时，弱分类器数目过于庞大，影响效率。另外，对于每一级强分类器中的每一个FBLBP弱分类器学习过程，在邻域框的添加过程，都可设置邻域框的最大数目，若单个FBLBP弱分类器的邻域框数未达到设定的最大值且添加最优邻域框后分类精度上升，则添加该邻域框，否则停止并下一轮GentleBoost循环。

本发明实施例提供的人脸检测器训练方法，构造出弹性的块状局部二值模式特征及相应的弱分类器，寻找合适的弱分类器生成多个强分类器，通过级联的方法得到多层的强分类器构成最终的人脸检测器。该过程中，每个FBLBP特征包括一个基准框与至少一个邻域框，基准框与邻域框的大小相等，各邻域框与基准框的位置无严格的限制，灵活性高，提高鲁棒性的同时降低误检率。

可选的，上述图3所示实施例一中，步骤1具体包括如下子步骤：

步骤1.1、构造所述FBLBP特征，用于表示图像局部灰度相对变化的共生信息，所述FBLBP特征包括若干个全等的矩形框、阈值和符号位sign，其中，所述若干个全等的矩形框包括一个基准框和至少一个邻域框，所述符号位sign为-1时，所述阈值为θ₀，所述符号位sign为1时，所述阈值为θ₁，所述θ₀与所述θ₁为实数。

该子步骤中，构造用于表示图像局部灰度相对变化的共生信息的FBLBP特征，即弹性的块状局部二值模式（Flexible Block Based Local Binary Patterns，FBLBP）。每一FBLBP特征包括若干个全等的矩形框、符号位以及符号位对应的阈值，例如，符号位sign为-1时，阈值为θ₀，符号位sign为1时，阈值为θ₁，θ₀与θ₁为实数。其中，若干个矩形框包括一个基准框和至少一个邻域框，具体的，请参照图4，图4为本发明实施例中FBLBP特征的示意图。

如图4所示，浅灰色填充的矩形框表示基准框，未填充的矩形框表示邻域框，每个FBLBP特征包括一个基准框与至少一个邻域框，基准框的长与宽分别和邻域框的长与宽相等，各邻域框与基准框的位置无严格的限制。具体的，本步骤中，可以从包括人物脸部和其他景物的图像中抠出人脸作为正样本，并根据要求将该正样本缩放到指定的尺寸，如24×24；此外，也可直接将不包括人物脸部的图像缩放到指定的尺寸作为负样本。在准备好符合要求的图像样本后，可按照预设的FBLBP特征的参数要求，枚举该参数要求下的所有FBLBP特征。其中，FBLBP的参数要求包括：基准框的位置、基准框的尺寸、邻域框的最大数量、邻域框与基准框的相对位置、符号位以及符号位对应的阈值等。

步骤1.2、计算所述FBLBP特征中所述基准框的特征值AvgInt_pivotblock和各所述邻域框的特征值其中，所述基准框的特征值AvgInt_pivotblock由所述基准框所在区域的平均灰度表示，各所述邻域框的特征值由各所述邻域框各自所在区域的平均灰度表示，k为第k个邻域框的序号；对每一所述邻域框，根据所述符号位sign计算差分结果，将所述差分结果与所述阈值进行比较并量化；将每一所述邻域框的量化结果组成的二进制数转换为十进制数并保存从而得到所述FBLBP特征的特征值。

积分图技术是一种能够描述全局信息的矩阵表示方法，本步骤中，在构建出FBLBP特征后，对每一个FBLBP特征，利用积分图技术计算其特征值。具体的，首先，计算FBLBP特征中每一个矩形框的平均灰度值，用平均灰度值表示对应矩形框的特征值。例如，基准框的特征值AvgInt_pivotblock由基准框所在区域的平均灰度表示，邻域框的特征值AvgInt_{neighborblock}由邻域框所在区域的平均灰度表示。在计算出每个矩形框的特征值后，对于每一个邻域框，计算基准框的特征值AvgInt_pivotblock与该邻域框的特征AvgInt_{neighborblock}的差值并根据符号位得到差分结果，将差分结果与该符号位对应的阈值做比对，根据比对结果量化。对于一个FBLBP特征，在得出该FBLBP特征的所有邻域框的量化结果后，将所有量化结果组成的二进制数转换为十进制数，将该十进制数作为该FBLBP特征的特征值。

可选的，上述图3所示实施例一中，所述步骤2中利用所述FBLBP特征和GentleBoost算法进行训练，得到第一分类器，所述第一分类器由若干个最优第二分类器组成，每个最优第二分类器通过GentleBoost算法训练所得，其中，第二分类器的计算公式（1）如下：

$f_m\left(x\right)=\left\{\begin{array}{cc}{a}_0,& x=0\\ a_1,& x=1\\ ...& \\ a_{2^K-1},& x=2^K-1\end{array}\right.;$

其中，f_m(x)为第m个第二分类器，即第m个弱分类器，x为该弱分类器的FBLBP特征值，K为该FBLBP特征的邻域框的数目，a_j为弱分类器的输出，a_j可根据公式（2）计算得出：

$a_j=\frac{{\mathrm{\Σ}}_i{w}_i{y}_i\mathrm{\δ}(x_i=j)}{{\mathrm{\Σ}}_i{w}_i\mathrm{\δ}(x_i=j)};$

其中，0≤j≤2^k-1且j为整数，y_i为第i个训练样本的类别，当训练样本为人脸图像时，所述y_i的值为1，否则为-1，δ()为克罗内克函数，若x_i=j为真，则输出为1，否则，若x_i=j为假，则输出为0，i为第i个训练图像样本，ω_i为第i个训练图像样本的权重。

进一步的，上述实施例中，第i个训练图像样本的权重ω_i根据公式（3）及归一化公式（4）计算得出：

公式（3）为

所述公式（4）为

进一步的，上述实施例中，所述公式（1）中每一个第二分类器的特征值x根据公式（5）计算得出，公式（5）如下所示：

K为邻域框的个数；

若sign=1，则 ${\mathrm{FBLBP}}_{\mathrm{sign},k}=\mathrm{\δ}((\mathrm{AvgIn}{t}_{\mathrm{pivoblock}}-\mathrm{AvgIn}{t}_{\mathrm{neighborbloc}{k}_k})\≥{\mathrm{\θ}}_1);$

若sign=-1，则 ${\mathrm{FBLBP}}_{\mathrm{sign},k}=\mathrm{\δ}((\mathrm{AvgIn}{t}_{\mathrm{pivoblock}}-\mathrm{AvgIn}{t}_{\mathrm{neighborbloc}{k}_k})\≤{\mathrm{\θ}}_0);$

其中，δ（）为克罗内克函数，当输入为真时，输出为1；否则，当输入为假时，输出为0。

可选的，上述实施例一中，所述步骤2中利用所述FBLBP特征和GentleBoost算法进行训练，得到第一分类器，所述第一分类器由若干个最优第二分类器组成，所述最优第二分类器的计算过程包括如下子步骤：

步骤2.1、初始时，所述FBLBP特征仅包括一个基准框与一个邻域框，由该两个矩形框组成的FBLBP特征集可以通过穷举遍历得到，对FBLBP特征集中的每个FBLBP特征，计算其特征值及相应的第二分类器的输出值，将得到的第二分类器的输出值代入公式（6）得到所述第二分类器的误差J，将使得所述误差J的值最小的第二分类器选作为所述最优第二分类器，所述公式（6）为：

$J=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{(y_i-f_m\left(x_i\right))}^2;$

其中，J为优化目标函数即分类误差，N为总的训练样本数。

本步骤中，仅包括一个基准框与一个邻域框的FBLBP特征如图5A、图5B和图5C所示。图5A为本发明实施例中基准框与邻域框分离的FBLBP特征的示意图；图5B为本发明实施例中基准框与邻域框相邻的FBLBP特征的示意图；图5C为本发明实施例中基准框与邻域框相交的FBLBP特征的示意图。由图5B可知，当邻域框的数量与基准框的数量均为1，且邻域框与基准框相邻时，本发明实施例中的FBLBP特征即为Haar-Like特征中的边缘特征。

步骤2.2，在根据步骤2.1确定出仅包括一个基准框与一个邻域框的FBLBP特征后，对该FBLBP特征，通过遍历图像中和基准框同尺寸的矩形框，增加邻域框的个数，代入公式（5）重新计算x的值，并代入公式（6）中计算所述误差J，若J进一步减小，则将其并入当前最优第二分类器；否则，停止且直接输出当前特征，同时更新权重并进入GentleBoost的下一轮循环；

所述步骤2中将各所述GentleBoost每一轮循环最优第二分类器组合成第一分类器的计算公式（7）如下：

F(x)=F(x)+f_m(x)；

其中，F（x）为第一分类器，即强分类器，F(x)初始化为0。

进一步的，可根据公式（8）确定所述第一分类器的阈值，所述公式（8）为：

其中，i₁为第i₁个包括人脸的训练图像样本，i₂为第i₂个包括非人脸的训练图像样本；th为所述强分类器的阈值。

可选的，上述实施例一中，所述步骤1.2中对每一所述邻域框，根据所述符号位sign计算差分结果，将所述差分结果与所述阈值进行比较并量化，最后，将每一所述邻域框的量化结果组成的二进制数转换为十进制数并保存得到所述FBLBP特征的特征值，包括：

对于每一邻域框，当所述符号位为1时，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差不小于所述阈值θ₁，则将所述邻域框的位置标记为1；否则，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差小于所述阈值θ₁，则将所述邻域框的位置标记为0；或者，对于每一所述邻域框，当所述符号位为-1时，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差的相反数不小于阈值θ₀，则将所述邻域框的位置标记1；否则，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差的相反数小于阈值θ₀，则将所述邻域框的位置标记为0。

下面，以图6为例对本发明实施例中如何计算一个FBLBP特征的特征值进行详细说明。具体的，请参照图6。

图6为本发明实施例提供的又一个FBLBP特征的示意图。如图6所示，该FBLBP特征包括8个邻域框与一个基准框，当符号位为-1时，阈值θ₀为2，当符号位为1时，阈值^θ ₁为-3。

请参照图6，基准框所在区域的平均灰度为9，即基准框的特征值AvgInt_pivotblock为9，邻域框1～邻域框8各自所在区域的平均灰度分别为7、8、12、11、19、20、6、8，即邻域框1～邻域框8各自的特征值分别为7、8、12、11、19、20、6、8。

当所述符号位为1时，基准框的特征值AvgInt_pivotblock与邻域框1～邻域框8的特征值AvgInt_{neighborblock}之差依次为：2、1、-3、-2、-10、-11、3、1。其中，基准框的特征值AvgInt_pivotblock与邻域框1、邻域框2、邻域框3、邻域框4、邻域框7、邻域框8的特征值 ${\mathrm{AvgInt}}_{{\mathrm{neighborblock}}_1},\mathrm{AvgIn}{t}_{\mathrm{neighborbloc}{k}_2},{\mathrm{AvgIng}}_{{\mathrm{neighborblock}}_3},{\mathrm{AvgIng}}_{{\mathrm{neighborblock}}_4},{\mathrm{AvgIng}}_{{\mathrm{neighborblock}}_7},{\mathrm{AvgInt}}_{{\mathrm{neighborblock}}_8}$ 之差不小于阈值θ₁（θ₁=-3），因此，将邻域框1、邻域框2、邻域框3、邻域框4、邻域框7、邻域框8标记为1；而基准框的特征值AvgInt_pivotblock与邻域框5、邻域框6的特征值之差小于阈值θ₁（θ₁=-3），因此，将邻域框5、邻域框6标记为0。具体的，请参见图7A，图7A为图6中当符号位sign为1时各邻域框的标记图。按照邻域框1～邻域框8的顺序，得到的二进制序列为11110011。

当所述符号位为0时，基准框的特征值AvgInt_pivotblock与邻域框1～邻域框8的特征值之差依次为：2、1、-3、-2、-10、-11、3、1，即基准框的特征值AvgInt_pivotblock与邻域框1～邻域框8的特征值之差的相反数依次为：-2、-1、3、2、10、11、-3、-1。其中，基准框的特征值AvgInt_pivotblock与邻域框3、邻域框4、邻域框5、邻域框6的特征值 ${\mathrm{AvgIng}}_{{\mathrm{neighborblock}}_3},{\mathrm{AvgIng}}_{{\mathrm{neighborblock}}_4},{\mathrm{AvgIng}}_{{\mathrm{neighborblock}}_5},{\mathrm{AvgInt}}_{{\mathrm{neighborblock}}_6}$ 之差的相反数不小于阈值θ₀（θ₀=2），因此，将邻域框3、邻域框4、邻域框5、邻域框6标记为1；而基准框的特征值AvgInt_pivotblock与邻域框1、邻域框2、邻域框7、邻域框8的特征值 ${\mathrm{AvgInt}}_{{\mathrm{neighborblock}}_1},\mathrm{AvgIn}{t}_{\mathrm{neighborbloc}{k}_2},{\mathrm{AvgIng}}_{{\mathrm{neighborblock}}_7},{\mathrm{AvgInt}}_{{\mathrm{neighborblock}}_8}$ 之差小于阈值θ₀（θ₀=2），因此，将邻域框1、邻域框2、邻域框7、邻域框8标记为0。具体的，请参见图7B，图7B为图6中当符号位sign为-1时各邻域框的标记图。按照邻域框1～邻域框8的顺序，得到的二进制序列为00111100。

另外，在上述人脸检测器训练方法的基础上，本发明实施例还提供一种采用该人脸检测器训练方法训练得到的人脸检测器进行人脸检测的方法，该方法中，通过训练过程中学习到的第一分类器或人脸检测器对待检测图像中进行人脸检测，区分出人脸与非人脸的过程。具体的，可参见图8，图8为本发明采用人脸检测器对人脸进行检测的流程图，其包括如下步骤：

步骤4、遍历待检测图像，得到待检测子图像集。

该步骤中，预设的比例可根据不同的场景设置，不同场景下的预设比例可以不同。例如，假设待检测图像为一个100×200的图像，则可以24x24像素为基准按照1.1的比例连续扩大检测窗口（最大为100x100，和被测图像的长和宽的较小值等大），并用得到的检测窗口按步长为2对待测图像进行遍历，将得到的待测图像子窗口（24x24，26x26，……，100x100）均缩放到长、宽均为24像素点的正方形，得到待检测图像子集。本发明并不以此为限制，在其他可能的实施方式中，预设比例也可以是其他值，如1.2等。

步骤5、将所述待检测子图像集中的每一待检测子图像带入所述人脸检测器，逐层计算所述人脸检测器中每层第一分类器的输出。

步骤6、对于一待检测子图像，若人脸检测器的任意一层第一分类器的输出低于训练所得的该第一分类器的阈值，则认为该待检测子图像为非人脸，只有通过所有层分类器判断的待检测子图像被认为是人脸。

本步骤中，只有通过了前一级强分类器，才能进入后面一级。如此一来，大量非目标的待检测子图像，如不包括人脸的待检测子图像等，可以在前几级被快速排除，从而节约出时间用于对目标的待检测子图像进行检测。具体的，可参见图9。图9为本发明实施例中人脸检测器的结构示意图。请参照图9，人脸检测器的每一级对应一个由GentleBoost算法训练的强分类器，检测时待检测子图像只有通过所有层，即待检测子图像在每一级强分类器的输出，都大于该级强分类器的阈值，才能被判断为是人脸图像；否则，若在任意层强分类器的输出，小于该级强分类器的阈值，则被认为是非人脸图像，立即被舍弃。

步骤7、合并步骤6中所有的检测结果，输出所述待检测图像中的人脸的位置。

具体的，可采用“非极大值抑制”的方法实现对步骤6中的所有检测结果的合并。

本发明实施例提供的人脸检测方法，通过训练过程中学习到的强分类器或人脸检测器对待检测图像中进行人脸检测，区分出人脸与非人脸，将人脸检测结果合并并输出。该过程中，每个FBLBP特征包括一个基准框与至少一个邻域框，基准框与邻域框的大小相等，各邻域框与基准框的位置无严格的限制，灵活性高，提高鲁棒性的同时降低误检率。

可选的，上述图8所示实施例中，步骤4具体包括如下子步骤：

步骤4.1、以预设的长宽比例为检测窗口遍历待检测图像；

步骤4.2、以所述预设的长宽比例，按照预设的步长扩大所述检测窗口遍历待检测图像，重复执行，在不同检测窗口下遍历待检测图像，直至所述检测窗口的长大于或等于所述待检测图像的长，或者，直至所述检测窗口的宽大于或等于所述待检测图像的宽；

步骤4.3、对步骤4.1与步骤4.2中遍历待检测图像得到的子图像进行归一化处理，使各子图像的长宽比符合所述预设的长宽比例，将各归一化的子图像组成的集合作为待检测子图像集。

为了清楚对比本发明的人脸检测方法与现有技术中人脸检测方法的有益效果，下面，用表1来做详细对比，表1为本发明实施例提供的人脸检测方法与现有技术中人脸检测方法的效果对比表。

表1

由表1可知，本发明实施例中基于FBLBP特征的人脸检测方法，检测的正确率高于其他国际同行与国内同行检测的正确率，而误检率低于其他国际同行与国内同行检测的误检率。

另外，为了进一步清楚对比本发明的人脸检测方法与现有技术中人脸检测方法的有益效果，下面在一个国际公开的人脸检测数据集（FaceDetection Data Base，FDDB）进行测试，具体的结果，请参见图10A与图10B。

图10A为本发明实施例提供的人脸检测方法与现有技术中人脸检测方法的检测性能在FDDB上的离散分数示意图，图10B为本发明实施例提供的人脸检测方法与现有技术中人脸检测方法的检测性能在FDDB上的连续分数示意图。如图10A与图10B所示，横坐标为数据集中被人脸检测器误检（False Negative，FN）成人脸的个数，纵坐标为正确检测率（True PositiveRate，TPR），曲线①代表本发明实施例提供的人脸检测方法（图中所示为ours）的检测结果在FDDB上的分数，曲线②代表jain模型的检测结果在FDDB上的分数，曲线③代表LiIntel模型的检测结果在FDDB上的分数，曲线④代表subburaman模型的检测结果在FDDB上的分数，曲线⑤代表ViolaJones模型的检测结果在FDDB上的分数，曲线⑥代表Mikolajczyk模型的检测结果在FDDB上的分数，其中，在图10A中，分数为离散分数，在图10B中，分数为连续分数。由图10A与图10B可知，在一定条件下，例如当被人脸检测器预测为负的正样本的个数超过10后，同样的错误接收个数下，本发明实施例提供的人脸检测方法的正确检测率最高。

图11为本发明人脸检测器训练装置实施例一的结构示意图。本发明实施例提供的人脸检测器训练装置，用于实现本发明实施例一提供的人脸检测器训练方法，其实现原理与效果可参见上述图3实施例一，此处不再赘述。具体的，本发明实施例提供的人脸检测器训练装置100包括：

FBLBP特征集模块11，用于采集人脸和非人脸图像作为训练样本集，提取所述人脸和非人脸图像的弹性的块状局部二值模式FBLBP特征构成FBLBP特征集；

第一分类器模块12，用于对所述FBLBP特征集模块11采集得到的所述FBLBP特征和GentleBoost算法进行训练，得到第一分类器，所述第一分类器包括若干个最优第二分类器，每个最优第二分类器通过GentleBoost算法训练所得；

人脸检测器模块13，用于重复所述FBLBP特征模块和所述第一分类器模块12的训练过程，得到多层第一分类器，将多层第一分类器级联成人脸检测器。

本发明实施例提供的人脸检测器训练装置，构造出弹性的块状局部二值模式特征及相应的弱分类器，寻找合适的弱分类器生成多个强分类器，通过级联的方法得到多层的强分类器构成最终的人脸检测器。该过程中，每个FBLBP特征包括一个基准框与至少一个邻域框，基准框与邻域框的大小相等，各邻域框与基准框的位置无严格的限制，灵活性高，提高鲁棒性的同时降低误检率。

图12为本发明人脸检测器训练装置实施例二的结构示意图。如图12所示，本实施例的人脸检测器训练装置200在图11所示装置结构的基础上，所述FBLBP特征集模块11包括：

构造单元111，用于构造所述FBLBP特征，用于表示图像局部灰度相对变化的共生信息，所述FBLBP特征包括若干个全等的矩形框、阈值和符号位sign，其中，所述若干个全等的矩形框包括一个基准框和至少一个邻域框，所述符号位sign为-1时，所述阈值为θ₀，所述符号位sign为1时，所述阈值为θ₁，所述θ₀与所述θ₁为实数；

计算单元112，用于计算所述构造单元111构造的所述FBLBP特征中所述基准框的特征值AvgInt_pivotblock和各所述邻域框的特征值其中，所述基准框的特征值AvgInt_pivotblock由所述基准框所在区域的平均灰度表示，各所述邻域框的特征值由各所述邻域框各自所在区域的平均灰度表示，k为第k个邻域框的序号；对每一所述邻域框，根据所述符号位sign计算差分结果，将所述差分结果与所述阈值进行比较并量化；将每一所述邻域框的量化结果组成的二进制数转换为十进制数并保存从而得到所述FBLBP特征的特征值。

可选的，在本发明一实施例中，所述第一分类器模块12，具体用于利用所述FBLBP特征和GentleBoost算法进行训练，得到第一分类器，所述第一分类器由若干个最优第二分类器组成，每个最优第二分类器通过GentleBoost算法训练所得，其中，第二分类器的计算公式（1）如下：

$f_m\left(x\right)=\left\{\begin{array}{cc}{a}_0,& x=0\\ a_1,& x=1\\ ...& \\ a_{2^K-1},& x=2^K-1\end{array}\right.;$

其中，f_m(x)为第m个第二分类器，x为该第二分类器的FBLBP特征值，K为该FBLBP特征的邻域框的数目，a_j为第二分类器的输出，所述a_j根据公式（2）计算得出：

$a_j=\frac{{\mathrm{\Σ}}_i{w}_i{y}_i\mathrm{\δ}(x_i=j)}{{\mathrm{\Σ}}_i{w}_i\mathrm{\δ}(x_i=j)};$

其中，0≤j≤2^K-1且j为整数，y_i为第i个训练样本的类别，当训练样本为人脸图像时，所述y_i的值为1，否则为-1，δ()为克罗内克函数，若x_i=j为真，则输出为1，否则，若x_i=j为假，则输出为0，i为第i个训练图像样本，ω_i为第i个训练图像样本的权重。

可选的，在本发明一实施例中，所述第一分类器模块12，具体用于根据据公式（3）及归一化公式（4）计算得出所述第i个训练图像样本的权重ω_i，其中，

所述公式（3）为

所述公式（4）为

可选的，在本发明一实施例中，所述第一分类器模块12，具体用于根据公式（5）计算得出所述公式（1）中每一个第二分类器的FBLBP特征值x，其中，

所述公式（5）为：

K为邻域框的个数；

若sign=1，则 ${\mathrm{FBLBP}}_{\mathrm{sign},k}=\mathrm{\δ}((\mathrm{AvgIn}{t}_{\mathrm{pivoblock}}-\mathrm{AvgIn}{t}_{\mathrm{neighborbloc}{k}_k})\≥{\mathrm{\θ}}_1);$

若sign=-1，则 ${\mathrm{FBLBP}}_{\mathrm{sign},k}=\mathrm{\δ}((\mathrm{AvgIn}{t}_{\mathrm{pivoblock}}-\mathrm{AvgIn}{t}_{\mathrm{neighborbloc}{k}_k})\≤{\mathrm{\θ}}_0);$

其中，δ（）为克罗内克函数，当输入为真时，输出为1；否则，当输入为假时，输出为0。

再请参照图12，可选的，在本发明一实施例中，所述第一分类器模块12包括：

初始计算单元121，用于初始时，所述FBLBP特征仅包括一个基准框与一个邻域框，由该两个矩形框组成的FBLBP特征集可以通过穷举遍历得到，对FBLBP特征集中的每个FBLBP特征，计算其特征值及相应的第二分类器的输出值，将得到的第二分类器的输出值代入公式（6）得到所述第二分类器的误差J，将使得所述误差J的值最小的第二分类器选作为所述最优第二分类器，所述公式（6）为：

$J=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{(y_i-f_m\left(x_i\right))}^2;$

其中，J为优化目标函数即加权的分类误差，N为总的训练样本数；

循环计算单元122，用于在所述初始计算单元121确定出仅包括一个基准框与一个邻域框的FBLBP特征后，对该FBLBP特征，通过遍历图像中和基准框同尺寸的矩形框，增加邻域框的个数，代入公式（5）重新计算x的值，并代入公式（6）中计算所述误差J，若J进一步减小，则将其并入当前最优第二分类器；否则，停止且直接输出当前特征，同时更新权重并进入GentleBoost的下一轮循环；

组合单元123，用于根据公式（7）将所述循环计算单元122每一轮循环得出的最优第二分类器组合成第一分类器，所述（7）如下：

F(x)=F(x)+f_m(x)；

其中，F（x）为第一分类器，F(x)初始化为0。

可选的，在请参照图12，在本发明一实施例中，所述第一分类器12还包括：

阈值确定单元124，用于根据公式（8）确定所述第一分类器的阈值，所述公式（8）为：

其中，i₁为第i₁个包括人脸的训练图像样本，i₂为第i₂个包括非人脸的训练图像样本；th为所述第一分类器的阈值。

可选的，在本发明一实施例中，所述计算单元112，具体用于对于每一邻域框，当所述符号位为1时，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差不小于所述阈值θ₁，则将所述邻域框的位置标记为1；否则，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差小于所述阈值θ₁，则将所述邻域框的位置标记为0；或者，对于每一所述邻域框，当所述符号位为-1时，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差的相反数不小于阈值θ₀，则将所述邻域框的位置标记1；否则，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差的相反数小于阈值θ₀，则将所述邻域框的位置标记为0。

图13为本发明人脸检测装置的结构示意图。本发明实施例提供的人脸检测装置，用于实现本发明图8所示实施例提供的人脸检测方法，其实现原理与效果可参见上述图8，此处不再赘述。具体的，本发明实施例提供的人脸检测装置300包括：

遍历模块31，用于遍历待检测图像，得到待检测子图像集；

计算模块32，用于将所述遍历模块31遍历得到的所述待检测子图像集中的每一待检测子图像带入所述人脸检测器，逐层计算所述人脸检测器中每层第一分类器的输出；

判断模块33，用于对于一待检测子图像，判断所述计算模块32的每层分类器的输出，若人脸检测器的任意一层第一分类器的输出低于训练所得的该第一分类器的阈值，则认为该待检测子图像为非人脸，只有通过所有层分类器判断的待检测子图像被认为是人脸；

合并模块34，用于合并所述判断模块33得出的所有检测结果，并输出所述待检测图像中的人脸位置。

本发明实施例提供的人脸检测装置，通过训练过程中学习到的强分类器或人脸检测器对待检测图像中进行人脸检测，区分出人脸与非人脸，将人脸检测结果合并并输出。该过程中，每个FBLBP特征包括一个基准框与至少一个邻域框，基准框与邻域框的大小相等，各邻域框与基准框的位置无严格的限制，灵活性高，提高鲁棒性的同时降低误检率。

可选的，上述实施例中，所述遍历模块31，具体用于以预设的长宽比例为检测窗口遍历待检测图像；以所述预设的长宽比例，按照预设的步长扩大所述检测窗口遍历待检测图像，重复执行，在不同检测窗口下遍历待检测图像，直至所述检测窗口的长大于或等于所述待检测图像的长，或者，直至所述检测窗口的宽大于或等于所述待检测图像的宽；对上述遍历待检测图像得到的子图像进行归一化处理，使各子图像的长宽比符合所述预设的长宽比例，将各归一化的子图像组成的集合作为待检测子图像集。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (20)

1.一种人脸检测器训练方法，其特征在于，包括：

步骤1、采集人脸和非人脸图像作为训练样本集，提取所述人脸和非人脸图像的弹性的块状局部二值模式FBLBP特征构成FBLBP特征集；

步骤2、利用所述FBLBP特征和GentleBoost算法进行训练，得到第一分类器，所述第一分类器包括若干个最优第二分类器，每个最优第二分类器通过GentleBoost算法训练所得；

步骤3、重复步骤1到步骤2的训练过程，得到多层第一分类器，将多层第一分类器级联成人脸检测器。

2.根据权利要求1所述的方法，其特征在于，所述步骤1包括如下子步骤：

步骤1.1、构造所述FBLBP特征，用于表示图像局部灰度相对变化的共生信息，所述FBLBP特征包括若干个全等的矩形框、阈值和符号位sign，其中，所述若干个全等的矩形框包括一个基准框和至少一个邻域框，所述符号位sign为-1时，所述阈值为θ₀，所述符号位sign为1时，所述阈值为θ₁，所述θ₀与所述θ₁为实数；

步骤1.2、计算所述FBLBP特征中所述基准框的特征值AvgInt_pivotblock和各所述邻域框的特征值其中，所述基准框的特征值AvgInt_pivotblock由所述基准框所在区域的平均灰度表示，各所述邻域框的特征值由各所述邻域框各自所在区域的平均灰度表示，k为第k个邻域框的序号；对每一所述邻域框，根据所述符号位sign计算差分结果，将所述差分结果与所述阈值进行比较并量化；将每一所述邻域框的量化结果组成的二进制数转换为十进制数并保存从而得到所述FBLBP特征的特征值。

3.根据权利要求1或2所述的方法，其特征在于，所述步骤2中利用所述FBLBP特征和GentleBoost算法进行训练，得到第一分类器，所述第一分类器由若干个最优第二分类器组成，每个最优第二分类器通过GentleBoost算法训练所得，其中，第二分类器的计算公式（1）如下：

$f_m\left(x\right)=\left\{\begin{array}{cc}{a}_0,& x=0\\ a_1,& x=1\\ ...& \\ a_{2^K-1},& x=2^K-1\end{array}\right.;$

其中，f_m(x)为第m个第二分类器，x为该第二分类器的FBLBP特征值，K为该FBLBP特征的邻域框的数目，a_j为第二分类器的输出，所述a_j根据公式（2）计算得出：

$a_j=\frac{{\mathrm{\Σ}}_i{w}_i{y}_i\mathrm{\δ}(x_i=j)}{{\mathrm{\Σ}}_i{w}_i\mathrm{\δ}(x_i=j)};$

其中，0≤j≤2^K-1且j为整数，y_i为第i个训练样本的类别，当训练样本为人脸图像时，所述y_i的值为1，否则为-1，δ()为克罗内克函数，若x_i=j为真，则输出为1，否则，若x_i=j为假，则输出为0，i为第i个训练图像样本，ω_i为第i个训练图像样本的权重。

4.根据权利要求3所述的方法，其特征在于，还包括：根据公式（3）及归一化公式（4）计算得出所述第i个训练图像样本的权重ω_i，其中，

所述公式（3）为

所述公式（4）为

5.根据权利要求3所述的方法，其特征在于，还包括：根据公式（5）计算得出所述公式（1）中每一个第二分类器的FBLBP特征值x，其中，

所述公式（5）为：

K为邻域框的个数；

若sign=1，则 ${\mathrm{FBLBP}}_{\mathrm{sign},k}=\mathrm{\δ}((\mathrm{AvgIn}{t}_{\mathrm{pivoblock}}-\mathrm{AvgIn}{t}_{\mathrm{neighborbloc}{k}_k})\≥{\mathrm{\θ}}_1);$

若sign=-1，则 ${\mathrm{FBLBP}}_{\mathrm{sign},k}=\mathrm{\δ}((\mathrm{AvgIn}{t}_{\mathrm{pivoblock}}-\mathrm{AvgIn}{t}_{\mathrm{neighborbloc}{k}_k})\≤{\mathrm{\θ}}_0);$

其中，δ（）为克罗内克函数，当输入为真时，输出为1；否则，当输入为假时，输出为0。

6.根据权利要求1或2所述的方法，其特征在于，所述步骤2中利用所述FBLBP特征和GentleBoost算法进行训练，得到第一分类器，所述第一分类器由若干个最优第二分类器组成，所述最优第二分类器的计算过程包括如下子步骤：

步骤2.1、初始时，所述FBLBP特征仅包括一个基准框与一个邻域框，由该两个矩形框组成的FBLBP特征集可以通过穷举遍历得到，对FBLBP特征集中的每个FBLBP特征，计算其特征值及相应的第二分类器的输出值，将得到的第二分类器的输出值代入公式（6）得到所述第二分类器的误差J，将使得所述误差J的值最小的第二分类器选作为所述最优第二分类器，所述公式（6）为：

$J=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{(y_i-f_m\left(x_i\right))}^2;$

其中，J为优化目标函数即加权的分类误差，N为总的训练样本数；

步骤2.2，在根据步骤2.1确定出仅包括一个基准框与一个邻域框的FBLBP特征后，对该FBLBP特征，通过遍历图像中和基准框同尺寸的矩形框，增加邻域框的个数，代入公式（5）重新计算x的值，并代入公式（6）中计算所述误差J，若J进一步减小，则将其并入当前最优第二分类器；否则，停止且直接输出当前特征，同时更新权重并进入GentleBoost的下一轮循环；

所述步骤2中将各所述GentleBoost每一轮循环最优第二分类器组合成第一分类器的计算公式（7）如下：

F(x)=F(x)+f_m(x)；

其中，F（x）为第一分类器，F(x)初始化为0。

7.根据权利要求6所述的方法，其特征在于，所述步骤2还包括：

根据公式（8）确定所述第一分类器的阈值，所述公式（8）为：

其中，i₁为第i₁个包括人脸的训练图像样本，i₂为第i₂个包括非人脸的训练图像样本；th为所述第一分类器的阈值。

8.根据权利要求2所述的方法，其特征在于，所述步骤1.2中对每一所述邻域框，根据所述符号位sign计算差分结果，将所述差分结果与所述阈值进行比较并量化，最后，将每一所述邻域框的量化结果组成的二进制数转换为十进制数并保存得到所述FBLBP特征的特征值，包括：

对于每一邻域框，当所述符号位为1时，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差不小于所述阈值θ₁，则将所述邻域框的位置标记为1；否则，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差小于所述阈值θ₁，则将所述邻域框的位置标记为0；或者，对于每一所述邻域框，当所述符号位为-1时，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差的相反数不小于阈值θ₀，则将所述邻域框的位置标记1；否则，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差的相反数小于阈值θ₀，则将所述邻域框的位置标记为0。

9.一种采用如权利要求1所述的人脸检测器进行人脸检测的方法，其特征在于，包括：

步骤4、遍历待检测图像，得到待检测子图像集；

步骤5、将所述待检测子图像集中的每一待检测子图像带入所述人脸检测器，逐层计算所述人脸检测器中每层第一分类器的输出；

步骤6、对于一待检测子图像，若人脸检测器的任意一层第一分类器的输出低于训练所得的该第一分类器的阈值，则认为该待检测子图像为非人脸，只有通过所有层分类器判断的待检测子图像被认为是人脸；

步骤7、合并步骤6中所有的检测结果，输出所述待检测图像中的人脸位置。

10.根据权利要求9所述的方法，其特征在于，所述步骤4包括：

步骤4.1、以预设的长宽比例为检测窗口遍历待检测图像；

步骤4.2、以所述预设的长宽比例，按照预设的步长扩大所述检测窗口遍历待检测图像，重复执行，在不同检测窗口下遍历待检测图像，直至所述检测窗口的长大于或等于所述待检测图像的长，或者，直至所述检测窗口的宽大于或等于所述待检测图像的宽；

步骤4.3、对步骤4.1与步骤4.2中遍历待检测图像得到的子图像进行归一化处理，使各子图像的长宽比符合所述预设的长宽比例，将各归一化的子图像组成的集合作为待检测子图像集。

11.一种人脸检测器训练装置，其特征在于，包括：

FBLBP特征集模块，用于采集人脸和非人脸图像作为训练样本集，提取所述人脸和非人脸图像的弹性的块状局部二值模式FBLBP特征构成FBLBP特征集；

第一分类器模块，用于对所述FBLBP特征集模块采集得到的所述FBLBP特征和GentleBoost算法进行训练，得到第一分类器，所述第一分类器包括若干个最优第二分类器，每个最优第二分类器通过GentleBoost算法训练所得；

人脸检测器模块，用于重复所述FBLBP特征模块和所述第一分类器模块的训练过程，得到多层第一分类器，将多层第一分类器级联成人脸检测器。

12.根据权利要求11所述的装置，其特征在于，所述FBLBP特征集模块包括：

构造单元，用于构造所述FBLBP特征，用于表示图像局部灰度相对变化的共生信息，所述FBLBP特征包括若干个全等的矩形框、阈值和符号位sign，其中，所述若干个全等的矩形框包括一个基准框和至少一个邻域框，所述符号位sign为-1时，所述阈值为θ₀，所述符号位sign为1时，所述阈值为θ₁，所述θ₀与所述θ₁为实数；

计算单元，用于计算所述构造单元构造的所述FBLBP特征中所述基准框的特征值AvgInt_pivotblock和各所述邻域框的特征值其中，所述基准框的特征值AvgInt_pivotblock由所述基准框所在区域的平均灰度表示，各所述邻域框的特征值由各所述邻域框各自所在区域的平均灰度表示，k为第k个邻域框的序号；对每一所述邻域框，根据所述符号位sign计算差分结果，将所述差分结果与所述阈值进行比较并量化；将每一所述邻域框的量化结果组成的二进制数转换为十进制数并保存从而得到所述FBLBP特征的特征值。

13.根据权利要求11或12所述的装置，其特征在于，

所述第一分类器模块，具体用于利用所述FBLBP特征和GentleBoost算法进行训练，得到第一分类器，所述第一分类器由若干个最优第二分类器组成，每个最优第二分类器通过GentleBoost算法训练所得，其中，第二分类器的计算公式（1）如下：

$f_m\left(x\right)=\left\{\begin{array}{cc}{a}_0,& x=0\\ a_1,& x=1\\ ...& \\ a_{2^K-1},& x=2^K-1\end{array}\right.;$

其中，f_m(x)为第m个第二分类器，x为该第二分类器的FBLBP特征值，K为该FBLBP特征的邻域框的数目，a_j为第二分类器的输出，所述a_j根据公式（2）计算得出：

$a_j=\frac{{\mathrm{\Σ}}_i{w}_i{y}_i\mathrm{\δ}(x_i=j)}{{\mathrm{\Σ}}_i{w}_i\mathrm{\δ}(x_i=j)};$

其中，0≤j≤2^K-1且j为整数，y_i为第i个训练样本的类别，当训练样本为人脸图像时，所述y_i的值为1，否则为-1，δ()为克罗内克函数，若x_i=j为真，则输出为1，否则，若x_i=j为假，则输出为0，i为第i个训练图像样本，ω_i为第i个训练图像样本的权重。

14.根据权利要求13所述的装置，其特征在于，

所述第一分类器模块，具体用于根据据公式（3）及归一化公式（4）计算得出所述第i个训练图像样本的权重ω_i，其中，

所述公式（3）为

所述公式（4）为

15.根据权利要求13所述的装置，其特征在于，

所述第一分类器模块，具体用于根据公式（5）计算得出所述公式（1）中每一个第二分类器的FBLBP特征值x，其中，

所述公式（5）为：

K为邻域框的个数；

若sign=1，则 ${\mathrm{FBLBP}}_{\mathrm{sign},k}=\mathrm{\δ}((\mathrm{AvgIn}{t}_{\mathrm{pivoblock}}-\mathrm{AvgIn}{t}_{\mathrm{neighborbloc}{k}_k})\≥{\mathrm{\θ}}_1);$

若sign=-1，则 ${\mathrm{FBLBP}}_{\mathrm{sign},k}=\mathrm{\δ}((\mathrm{AvgIn}{t}_{\mathrm{pivoblock}}-\mathrm{AvgIn}{t}_{\mathrm{neighborbloc}{k}_k})\≤{\mathrm{\θ}}_0);$

其中，δ（）为克罗内克函数，当输入为真时，输出为1；否则，当输入为假时，输出为0。

16.根据权利要求11或12所述的装置，其特征在于，所述第一分类器包括：

初始计算单元，用于初始时，所述FBLBP特征仅包括一个基准框与一个邻域框，由该两个矩形框组成的FBLBP特征集可以通过穷举遍历得到，对FBLBP特征集中的每个FBLBP特征，计算其特征值及相应的第二分类器的输出值，将得到的第二分类器的输出值代入公式（6）得到所述第二分类器的误差J，将使得所述误差J的值最小的第二分类器选作为所述最优第二分类器，所述公式（6）为：

$J=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{(y_i-f_m\left(x_i\right))}^2;$

其中，J为优化目标函数即加权的分类误差，N为总的训练样本数；

循环计算模块，用于在所述初始计算模块确定出仅包括一个基准框与一个邻域框的FBLBP特征后，对该FBLBP特征，通过遍历图像中和基准框同尺寸的矩形框，增加邻域框的个数，代入公式（5）重新计算x的值，并代入公式（6）中计算所述误差J，若J进一步减小，则将其并入当前最优第二分类器；否则，停止且直接输出当前特征，同时更新权重并进入GentleBoost的下一轮循环；

组合模块，用于根据公式（7）将所述循环计算模块每一轮循环得出的最优第二分类器组合成第一分类器，所述（7）如下：

F(x)=F(x)+f_m(x)；

其中，F（x）为第一分类器，F(x)初始化为0。

17.根据权利要求16所述的装置，其特征在于，所述装置还包括：

阈值确定模块，用于根据公式（8）确定所述第一分类器的阈值，所述公式（8）为：

其中，i₁为第i₁个包括人脸的训练图像样本，i₂为第i₂个包括非人脸的训练图像样本；th为所述第一分类器的阈值。

18.根据权利要求12所述的装置，其特征在于，

所述计算单元，具体用于对于每一邻域框，当所述符号位为1时，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差不小于所述阈值θ₁，则将所述邻域框的位置标记为1；否则，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差小于所述阈值θ₁，则将所述邻域框的位置标记为0；或者，对于每一所述邻域框，当所述符号位为-1时，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差的相反数不小于阈值θ₀，则将所述邻域框的位置标记1；否则，若所述基准框的特征值AvgInt_pivotblock与所述第k个邻域框的特征值之差的相反数小于阈值θ₀，则将所述邻域框的位置标记为0。

19.一种人脸检测装置，其特征在于，包括：

遍历模块，用于遍历待检测图像，得到待检测子图像集；

计算模块，用于将所述遍历模块遍历得到的所述待检测子图像集中的每一待检测子图像带入所述人脸检测器，逐层计算所述人脸检测器中每层第一分类器的输出；

判断模块，用于对于一待检测子图像，判断所述计算模块的每层分类器的输出，若人脸检测器的任意一层第一分类器的输出低于训练所得的该第一分类器的阈值，则认为该待检测子图像为非人脸，只有通过所有层分类器判断的待检测子图像被认为是人脸；

合并模块，用于合并所述判断模块得出的所有检测结果，并输出所述待检测图像中的人脸位置。

20.根据权利要求19所述的装置，其特征在于，

所述遍历模块，具体用于以预设的长宽比例为检测窗口遍历待检测图像；以所述预设的长宽比例，按照预设的步长扩大所述检测窗口遍历待检测图像，重复执行，在不同检测窗口下遍历待检测图像，直至所述检测窗口的长大于或等于所述待检测图像的长，或者，直至所述检测窗口的宽大于或等于所述待检测图像的宽；对上述遍历待检测图像得到的子图像进行归一化处理，使各子图像的长宽比符合所述预设的长宽比例，将各归一化的子图像组成的集合作为待检测子图像集。