CN102622604A - 一种基于可变形部件加权的多角度人脸检测方法 - Google Patents

Abstract

本发明公开了一种基于可变形部件加权的多角度人脸检测方法，该方法包括模型构建过程和人脸检测过程；根据人脸不同部件对检测效果的不同贡献，对不同的部件设置了不同的权重，保证了对重要部件作用的充分利用。该方法采用多模型融合的方法解决大角度人脸检测问题，在检测过程中采用了降低阈值的方法来降低漏检率，并且在模型结果融合过程中采用了肤色确认的方式降低误检率。该发明有效地解决了基于部件的人脸检测过程中的漏检和误检问题。可以广泛应用在安全检测，身份认证，智能交通等领域。

Description

一种基于可变形部件加权的多角度人脸检测方法

技术领域

本发明属于模式识别与机器智能技术领域，具体是一种基于可变形部件加权的多角度人脸检测方法，可用于复杂场景下的安全检测、身份认证、智能交通等领域。

背景技术

人脸检测是人脸分析的第一步，涉及确认输入图片或者视频中是否存在人脸，以及在确认有人脸后如何对人脸的位置进行定位的问题。由于人脸内在的丰富变化以及外在条件的变化，人脸检测技术领域存在着许多的困难和挑战，例如不同的年龄，外貌，表情等人脸的内在变化以及成像角度，光照，遮挡等外在因素都严重干扰人脸检测的正常施行。

基于部件的检测起源于上个世纪70年代(所谓部件，即人脸的局部区域)，自从本世纪以来越来越受到重视，它不仅考虑了目标的局部纹理特征，还考虑了目标的结构特征，因而对复杂环境下的人脸检测具有更强的鲁棒性。对于经典的基于部件的模型：P.Felzenszwalb提出了树形结构模型，D.Crandall提出了k-fan结构模型(文献请分别参考“P.Felzenszwalb and D.Huttenlocher.Pictorial structures for objectrecognition.Internation Journal of Computer Vision，61(1)：55-79，2005.”，“D.Crandall，P.Felzenszwalb，and D.Huttenlocher.Spatial priors forpart-based recognition using statistical models.In CVPR，10-17，2005.”)，两种模型均属于生成模型，对人脸和非人脸的界限是模糊的，同时，k-fan结构模型(k＞1)计算复杂度太高，并且k-fan模型和树形模型针对大角度人脸检测无能为力。于是P.Felzenszwalb提出了基于判别方法的部件模型(文献请分别参考“P.F.Felzenszwalb，R.B.Girshick，D.McAllester，and D.Ramanan.Object detectionwith discriminatively trained part based models.PAMI，2009.”)，该模型使用星形结构表征目标的结构，利用部件的局部纹理特征和部件之间的结构特征的结合来训练隐支持矢量机，具有很强的区分能力，并且采用多模型融合方法解决大角度人脸检测问题。这些模型都是图模型，每个节点代表一个部件，节点之间通过有向边来连接，模型构建后均采用动态规划的方法来进行目标检测。但是，这些模型都是平等地对待每个部件，检测过程中不能更好地发挥重要部件的作用，并且，多模型融合方法过于简单以致于出现大量的错检、漏检。

发明内容

本发明提供一种基于可变形部件加权的多角度人脸检测方法，着重解决基于判别方法的部件模型的如下两个问题：1.模型部件被平等对待引起的错检、漏检问题；2.多角度模型融合过于简单引起的错检、漏检问题。

整个过程分为模型构建、人脸检测两个过程。模型构建过程包括如下步骤：

A1，收集人脸训练样本集和负样本集F_n，将人脸训练样本集中的训练图片进行标记，得到人脸在每个训练图片中的位置和大小；然后将人脸训练样本集分为正式训练集和辅助训练集，为了训练多个模型来实现多角度人脸检测，本发明将正式训练集分为M个子集{oset₁，......，oset_M}，用来训练M个原始部件模型，辅助训练集也分成M个子集{aset₁，......，aset_M}，用来训练部件权重并且和正式训练集的子集一一对应，每两个对应的子集包含特定偏转角度的人脸；

A2，对于m＝1:M循环执行下面的步骤：

A21，利用oset_m、oset_m的标记以及负样本集F_n训练得到第m个基于判别方法的部件模型(采用星形结构)的参数β_m。假设第m个模型包括n个部件

A22，根据每个部件定位性能的好坏给其赋予适当的权重；具体实施步骤为：

A221，对于j＝1:n-1循环执行步骤：保留部件

以及中心部件

使用此原始残余部件模型(只包含两个部件)对aset_i中的图片进行检测，记录正确检测的图片个数

A222，对于j＝1:n-1循环执行步骤：将权重

赋予部件

人脸检测过程包括如下步骤：

B1，对于m＝1:M循环执行下面的步骤：

B11，使用第m个模型来检测图片，对于每一个假设得到与部件

相关的分数

(j＝0......n-1)，进而求得此假设的得分：

${\mathrm{score}}_m\left(L_m\right)={\mathrm{score}}_m^0\left(L_m\right)+\underset{j=1}{\overset{n-1}{\mathrm{\Σ}}}{\mathrm{\λ}}_m^j.{\mathrm{score}}_m^j\left(L_m\right)+b_m---\left(1\right)$

如果score_m(L_m)＞db_m(db_m＝C-T，b_m为常数、C为原始阈值，T为下调幅度)，则认为此假设覆盖人脸区域(称为候选假设)，反之没有覆盖人脸区域。模型m扫描所有可能的假设，将得到候选假设集合

B12，对于k＝1:Tm，循环执行步骤：读取集合

中的候选假设

采用肤色验证(采用YCbCr表色系统)的方法对候选假设

进行肤色验证，如果不能通过验证则将其从集合中剔除；

B2，将步骤B1中M个模型得到的结果合并；

步骤B12中采用肤色验证的方法对候选假设

进行肤色验证，具体步骤为：

B121，对于

所覆盖区域中的每个像素计算Y、Cb、Cr值；

B122，统计区域中同时满足Cb∈[p，q]、Cr∈[w，r]条件的像素比例num，如果num＞ct，则认为候选假设为有效假设，否则被剔除；

本发明提供的方法对参数限定如下：步骤B122中参数p限定在[70，80]范围内，参数q限定在[120，130]范围内，参数w限定在[130，140]范围内，参数r限定在[170，180]范围内，参数ct限定在[0.25，0.35]范围内，步骤B11中参数T限定在[0，1]范围内。

与现有技术相比较，本发明的特点和优势即有益效果在于：

采用多模型融合的方法解决多角度人脸检测问题，并且在融合过程中采用了减小阈值的方法来减小漏检率，然后采用肤色验证的方法剔除误检的候选区域，这样可以显著减小漏检率和误检率；

对于模型中的部件进行了加权处理，充分发挥了重要部件的作用，遏制了非重要部件的作用，另外对于非重要部件的遮挡具有非常强的鲁棒性。

该方法采用多模型融合的方法解决大角度人脸检测问题，在检测过程中采用了降低阈值的方法来降低漏检率，并且在模型结果融合过程中采用了肤色确认的方式降低误检率。该发明有效地解决了基于部件的人脸检测过程中的漏检和误检问题。可以广泛应用在安全检测，身份认证，智能交通等领域。

附图说明

图1本发明方法中模型构建过程流程图；

图2本发明方法中基于判别方法的部件模型训练流程图；

图3本发明方法中星形模型结构示意图；

图4本发明方法中人脸检测过程流程图；

图5利用本发明方法随机抽取的检测图片的检测结果，分别用红色框或绿色框标出人脸，蓝色框为检测到的边缘部件，其中5-1为复杂背景前景较亮人脸检测；5-2复杂背景前景较暗人脸检测5-3为漫画人脸检测5-4为多角度人脸检测。

具体实施方式

以下结合具体实施例，对本发明进行详细说明。

文中涉及字母含义如下：

β_m：利用第m个正式训练集子集以及它的标记训练得到的第m个部件模型的参数；

第m个部件模型的第j个部件；

第m个部件模型的第j个部件的位置；

第m个部件模型的第j个部件的权重；

使用第m个模型检测到的第k个候选假设；

db_m：第m个部件模型降低之后的阈值；

ct：肤色验证的阈值；

部件位置假设为L_m时提取的特征向量；

$L_m:\{l_m^0,...,l_m^{n-1}\};$

L_m(l)：中心部件放置在l时所得到的最优部件位置向量；

R^m：第m个部件模型检测到的候选假设集合；

图1为模型构建过程流程图，包括如下具体步骤：

步骤100：开始；

步骤101：收集训练图像，本实施例采用FERET数据库作为训练样本集，随机从网络上搜集负训练样本集F_n；

步骤102：对训练图像进行标记并分类，首先将训练样本集中的人脸样本进行标记，得到人脸在每个图片中的位置和大小。然后将训练样本集分为正式训练集和辅助训练集，本实施例将正式训练集分为3个子集{oset₁，oset₂，oset₃}，辅助训练集也分成3个子集{aset₁，aset₂，aset₃}，其中，oset₁和aset₁中都包含偏转0°和22.5°的人脸样本(用来训练正面人脸模型)，oset₂和aset₂中都包含偏转45°的人脸样本(用来训练半侧面人脸模型)，oset₃和aset₃中都包含偏转67.5°和90°的人脸样本(用来训练侧面人脸模型)；

步骤103m(m＝1，2，3)(步骤1031、步骤1032、步骤1033为并行执行步骤)：利用oset_m、boset_m(oset_m的标记)和负训练样本集F_n训练第m个单个基于判别方法的部件模型，本实施例采用文献“P.F.Felzenszwalb，R.B.Girshick，D.McAllester，and D.Ramanan.Object detection with discriminatively trained part based models.PAMI，2009.”中的基于判别方法的部件模型，模型采用隐支持矢量机作为分类器，隐变量为人脸部件的位置，模型部件使用HOG算子(请参照文献“N.Dalal and B.Triggs.Hi stograms oforiented gradients for human detection.In IEEE Conference on Computer Visionand Pattern Recognition，2005.”)来表示，部件之间采用星形结构进行连接(如图3所示)(部件个数n＝7)，中心部件捕捉人脸的整体信息，其他边缘部件捕捉人脸的局部信息，另外中心部件跟边缘部件之间的关系采用二次函数来表示。特征为部件的HOG特征跟部件之间关系特征的级联，下式为隐支持矢量机的参数β_m和模型特征

(2)

${\mathrm{\β}}_m=\{F_m^0,...,F_m^6,d_m^1,...,d_m^6,b_m\}$

其中

表示部件

放置在位置

时的HOG特征向量，

表示部件

和

之间相对位置关系特征向量，β_m跟

一一对应。最后将β_m跟

的点积作为此时的得分(部件位置向量为

)。

图2为单个基于判别方法的部件模型训练流程图，输出隐支持矢量机的参数向量β_m，具体步骤为：

首先执行步骤201：初始化参数向量β_m；

然后循环执行步骤202、步骤203直到满足一定的循环次数：

步骤202：利用当前的分类器(参数向量为β_m)采用动态规划的方法(详见文献“P.F.Felzenszwalb，R.B.Girshick，D.McAllester，and D.Ramanan.Object detectionwith discriminatively trained part based models.PAMI，2009.”3.2节)对训练集oset_m和负训练样本集F_n的每张图片进行扫描检测，找到每张图片上得分最高的部件位置假设，在oset_m上的图片上如果得分最高的中心部件位置没有足够地覆盖标记，则将此样本剔除；

步骤203：输入oset_m、F_n以及它们得分最高的部件位置向量，采用梯度下降算法最小化目标函数得到当前最优参数向量β_m：

其中

为第i个样本根据得分最高的部件位置向量得到的特征向量，N为样本集oset_m和F_n剩余的样本数总和，y_i∈{1，-1}为样本正负标记。

步骤104m(m＝1，2，3)：将第m个模型中的部件赋予适当的权重，具体步骤如下：

对于j＝1:6循环执行步骤：保留部件

和中心部件(如图3所示)

使用此原始残余部件模型对aset_m中的图片进行检测，记录正确检测的图片个数

对于j＝1:6循环执行步骤：将权重

赋予部件

步骤105：结束；

图4为人脸检测过程流程图，包括如下具体步骤：

步骤400：开始；

步骤401m(m＝1，2，3)(步骤4011、步骤4012、步骤4013为并行执行步骤)：原始模型的比较阈值为0(C＝0)，即只要

说明此部件位置向量所指示的地方存在人脸，否则不存在人脸，本实施例适当地减小阈值(T在本实施例中取0.75)以达到减小漏检率的目的。

步骤402m(m＝1，2，3)：采用动态规划的方法在中心部件的每个可能的位置

求得满足下式的边缘部件位置向量

$\{l_m^{1t*},...,l_m^{6t*}\}=\underset{\{l_m^{1t},...,l_m^{5t}\}}{\arg \max }(F_m^0.\mathrm{\φ}\left(l_m^{0t*}\right)+\underset{j=1}{\overset{6}{\mathrm{\Σ}}}[F_m^j.\mathrm{\φ}\left(l_m^{\mathrm{jt}}\right)-d_m^j.{\mathrm{\φ}}_d(l_m^{\mathrm{jt}}-l_m^{0t*})]+b_m)---\left(4\right)$

于是 $L_m\left(l_m^{0t*}\right)=\{l_m^{0t*},l_m^{1t*},...,l_m^{6t*}\},$ 然后求得此时的分数

${\mathrm{score}}_m\left(L_m\left(l_m^{0t*}\right)\right)={\mathrm{score}}_m^0\left(L_m\left(l_m^{0t*}\right)\right)+\underset{j=1}{\overset{6}{\mathrm{\Σ}}}{\mathrm{\λ}}_m^j.{\mathrm{score}}_m^j\left(L_m\left(l_m^{0t*}\right)\right)+b_m$

(5)

$=F_m^0.\mathrm{\φ}\left(l_m^{0t*}\right)+\underset{j=1}{\overset{6}{\mathrm{\Σ}}}{\mathrm{\λ}}_m^j[F_m^j.\mathrm{\φ}\left(l_m^{\mathrm{jt}*}\right)-d_m^j.{\mathrm{\φ}}_d(l_m^{\mathrm{jt}*}-l_m^{0t*})]+b_m$

其中，与部件

相关的分数

在此实施例中为

与部件

(j＝1......n-1)相关的分数在此实施例中为

如果则

所指示的区域存在人脸，将

存入候选假设存储区R^m，否则不做处理。

步骤403m(m＝1，2，3)：采用肤色验证的方法对候选结果存储区R^m中的每个元素

进行肤色验证，并把通过验证的元素存入结构FR^m，肤色验证的具体步骤为：

对于

所指示的长方形区域(位置向量为的7个部件的长方形凸包)中的每个像素计算Y、Cb、Cr值；

统计区域中满足Cb＝[77，127]、Cr＝[133，173](p、q、w、r在本实施例中分别取77、127、133、173)这些条件的像素比例num，如果num＞0.3(ct在本实施例中取0.3)，则判定候选结果

所对应的长方形区域中存在人脸，否则不存在人脸；

步骤404：将M个模型的最终检测结果FR^m合并在一起；

步骤405：结束；

实验结果：图5给出了随机抽取的检测图片的检测结果，分别用红色框或绿色框标出人脸，蓝色框为检测到的边缘部件，其中5-1为复杂背景前景较亮人脸检测；5-2复杂背景前景较暗人脸检测；5-3为漫画人脸检测；5-4为多角度人脸检测。

本发明所述的这种基于部件的人脸检测系统并不仅限于说明书和实施例中的描述。凡在本发明的精神和原则之内，所做的任何修改、同等替换、改进等，均包含在本发明的权利要求范围之内。

Claims (5)

1.一种基于可变形部件加权的多角度人脸检测方法，其特征在于，包括模型构建过程和人脸检测过程；所述模型构建过程包括如下步骤：

A1，收集人脸训练样本集和负样本集F_n，将人脸训练样本集中的训练图片进行标记，得到人脸在每个训练图片中的位置和大小；然后将人脸训练样本集分为正式训练集和辅助训练集，为了训练多个模型来实现多角度人脸检测，将正式训练集分为M个子集{oset₁，......，oset_M}，用来训练M个原始部件模型，辅助训练集也分成M个子集{aset₁，......，aset_M}，用来训练部件权重并且和正式训练集的子集一一对应，每两个对应的子集包含特定的偏转角度的人脸；

A2，对于m＝1:M循环执行下面的步骤：

A21，利用oset_m、oset_m的标记以及负样本集F_n训练得到第m个基于判别方法的部件模型(采用星形结构)的参数β_m。假设第m个模型包括n个部件

A22，根据每个部件定位性能的好坏给其赋予适当的权重

所述人脸检测过程包括如下步骤：

B1，对于m＝1:M循环执行下面的步骤：

B11，使用第m个模型来检测图片，对于每一个假设得到与部件

相关的分数

(j＝0......n-1)，进而求得此假设的得分：

${\mathrm{score}}_m\left(L_m\right)={\mathrm{score}}_m^0\left(L_m\right)+\underset{j=1}{\overset{n-1}{\mathrm{\Σ}}}{\mathrm{\λ}}_m^j.{\mathrm{score}}_m^j\left(L_m\right)+b_m---\left(1\right)$

如果score_m(L_m)＞db_m(db_m＝C-T，b_m为常数、C为原始阈值，T为下调幅度)，则认为此假设覆盖人脸区域(称为候选假设)，反之没有覆盖人脸区域。模型m扫描所有可能的假设，将得到候选假设集合

B12，对于k＝1:Tm，循环执行步骤：读取集合

中的候选假设

采用肤色验证(采用YCbCr表色系统)的方法对候选假设

进行肤色验证，如果不能通过验证则将其从集合中剔除；

B2，将步骤B1中M个模型得到的结果合并；

2.根据权利要求1所述的基于可变形部件加权的多角度人脸检测方法，其特征在于，所述步骤B11中参数T限定在[0，1]范围内。

3.根据权利要求1所述的基于可变形部件加权的多角度人脸检测方法，其特征在于，所述步骤A22具体实施步骤为：

A221，对于j＝1:n-1循环执行步骤：保留部件

以及中心部件使用此原始残余部件模型(只包含两个部件)对aset_i中的图片进行检测，记录正确检测的图片个数

A222，对于j＝1:n-1循环执行步骤：将权重

赋予部件

4.根据权利要求1所述的基于可变形部件加权的多角度人脸检测方法，其特征在于，所述步骤B12中采用肤色验证的方法对候选假设

进行肤色验证，具体步骤为：

B121，对于

所覆盖区域中的每个像素计算Y、Cb、Cr值；

B122，统计区域中同时满足Cb∈[p，q]、Cr∈[w，r]条件的像素比例num，如果num＞ct，则认为候选假设

为有效假设，否则被剔除。

5.根据权利要求4所述的基于可变形部件加权的多角度人脸检测方法，其特征在于，所述步骤B122中参数p限定在[70，80]范围内，参数q限定在[120，130]范围内，参数w限定在[130，140]范围内，参数r限定在[170，180]范围内，参数ct限定在[0.25，0.35]范围内。

Images