CN101236608A - 基于图片几何结构的人脸检测方法 - Google Patents

Abstract

本发明公开了一种基于图片几何结构的人脸检测方法，包括人脸模型的训练过程和人脸图像的检测过程该方法包括以下步骤：人脸模型的训练过程步骤：训练样本归一化步骤；特征提取步骤；采用合适大小的块对样本进行划分的分块步骤；将计算获得所有差分值拉成特征列向量步骤，提交分类器学习；瀑布型支持向量机的学习过程；采用级联分类器针对每个窗口中的样本图片进行分类，人脸图像的检测步骤：对检测到的人脸进行标记；本发明改变了目前在本领域普遍存在的着眼于图片的局部结构，但并不能完备和精确的表达图片的全局信息的问题，使其可以快速精确的检测出人脸。

Description

基于图片几何结构的人脸检测方法

技术领域

本发明涉及一种基于图片几何结构的人脸检测方法，属于计算机视觉和视频智能监控领域中的关键技术之一。

背景技术

在计算机视觉领域和视频智能监控领域中，人脸检测已经变成了一个非常重要和前沿的研究课题。精确定位人脸可以提供身份验证、人的捕捉和跟踪等等，是智能监控中的基础算法之一。新一代的数码相机中已经带有实时人脸检测，用以脸部优先对焦。人脸检测的研究和开发主要侧重在两方面的改进上：检测精度和检测速度。

人脸检测是目标检测领域最为实用的一个成果，其核心算法一般采用基于监督学习的模式识别方法，首先采用大量的正反样本学习得到分类器，然后进行分类，目前的分类器理论对于高维特征的处理尚得不到很好的性能，因此需要好的特征提取方法。

绝大多数研究工作利用图片的局部结构来描述特征，并且采用降维的方法来选择一个有效的特征子集。有代表性的是哈尔(Haar)小波特征、哈尔扩展(Haar-like)特征以及梯度直方图特征等等，他们都可以看作描述图像纹理的一种方法。这些方法采用的特征都着眼于图片的局部结构，但并不能完备和精确的表达图片的全局信息。

由于多数基于图像结构的特征提取方法都产生海量特征，因而简化分类器设计与快速计算是算法实时性的关键之处。

哈尔(Haar)小波特征善于在多分辨率下提取图像的边缘信息，Papageorgiou等人率先采用哈尔(Haar)小波提取特征作为人脸描述子。利用哈尔(Haar)小波算子提取原图像中水平、垂直以及对角的差分信息作为特征，采用支持向量机方法(SVM)训练分类器。哈尔(Haar)小波特征集合没有表现出人脸的远距离器官之间的关系。并且该方法的分类器计算复杂度很高，无法获得实时计算能力。

Viola等人把哈尔(Haar)小波做了推广。在特征提取方面，采用任意位置和任意大小的邻域间差分信息作为特征，于是一幅图像得以提取出海量特征，它们中间具有极高的冗余度，特征描述子如图1所示，称为哈尔扩展(Haar-like)算子，采用的分类器设计是一种称为瀑布型自适应激励过程(Cascade of AdaBoost)的级联分类器。

然而，即使哈尔扩展(Haar-1ike)特征的边缘描述范围更广，但是他们仍旧不能反映远距离宏块间的对比度，因此仍旧是一种局部特征。并且采用的弱分类器是一种最简单的决策树，性能比较差，影响了最终级联分类器的性能。

发明内容

本发明的目的在于，通过提供一种基于图片几何结构的人脸检测方法，以改变目前在本领域普遍存在的着眼于图片的局部结构，但并不能完备和精确的表达图片的全局信息，使其可以快速精确的检测出人脸。

本发明是采用以下技术手段实现的：

一种基于图片几何结构的人脸检测方法，包括人脸模型的训练过程和人脸图像的检测过程，其特征在于，该方法包括以下步骤：

其中所述的人脸模型的训练过程包括：训练条件有标定好的人脸样本集、背景样本集和海量背景图片，其训练过程分为如下步骤：

训练样本归一化步骤；

特征提取步骤；

所述的特征步骤进一步包括：

根据训练样本的大小，采用合适大小的块对样本进行划分的分块步骤；

定义分块后的宏块序列为B₁，B₂，B₃，...，B_n；

计算任意两个宏块的块间差分步骤；该步骤的公式定义为：

$r_{i,j}=\frac{1}{l}(\underset{b_s\∈B_i}{\mathrm{\Σ}}{b}_s-\underset{b_t\∈B_j}{\mathrm{\Σ}}{b}_t)$

其中，i和j分别代表第i和第j个宏块，b_s、b_t是宏块的像素值，l是宏块的像素数；该公式的物理意义是两个宏块的像素平均值之差，反映了两个宏块的亮度差信息；

将计算获得所有差分值拉成特征列向量步骤，提交分类器学习；

瀑布型支持向量机的学习过程；

训练样本集为上述特征提取步骤输出的特征，其中；

向量；假定训练集样本大小是M₀×M₀，设定第一级分类器到最终分类器的最大可接受错检率f_s、每级分类器最小可接受检测率d_s、全局错检率F_g，

设定SVM的维数n₀＝10

初始化F₀＝1，D₀＝1，i＝0

将正样本集放入P，负样本集放入N，

记每轮迭代中的错检率为F_i，检测率为D_i，则训练流程的步骤如下：

首先训练第一个阶段的自适应激励分类器，然后采用该弱分类器进行分类，根据错误率重新设定样本权重，进行下一次弱分类器挑选，直到错检率达到f_s，调整该自适应激励分类器的阈值，使得检测率达到d_s×D_i-1，该阶段训练结束，进入下一阶段训练；直到总错检率小于全局错检率F_g后，训练过程结束；

其中所述的人脸图像的检测过程包括：

训练样本归一化；

采用级联分类器针对每个窗口中的样本图片进行分类，该过程是一个全图的多分辨率搜索的过程；

样本依次经过输出分类器的串行过程，任一阶段中的支持向量机判决为负样本，则结论为负样本，跳出判决过程；否则继续进行下一个支持向量机的判决，直到所有支持向量机输出均为正样本，判决才为正样本；这样的分类过程对于绝大多数背景窗口来说都能在前几个支持向量机判决即被正确分类成负样本，只有真正的人脸才会进入最后一级，需要更多的计算量；

对检测到的人脸进行标记；

采用训练集反馈技术，对分类器进行稳定性处理，将学习所得的分类器对大量背景样本进行检测，将错检的样本放入负样本集，重新做以上所有步骤，直到分类器的错检率保持在稳定状态；将最终的级联分类器的参数记录下来，作为在线检测。

前述的最终分类器形式总共分为n个阶段，每个阶段包含m_i个支持向量机，每个阶段对应上述学习过程中的自适应激励分类器，每个支持向量机是该自适应激励分类器的弱分类器；

根据样本大小，调节支持向量机的训练维数和增加维数；输出是一个级联分类器，包括参数集和选用特征对应的块的位置、颜色通道等等。

前述的块间差分的计算在RGB三个通道分别进行。

前述的块间差分计算采用积分图方法。

本发明与现有技术相比，具有以下明显的优势和有益修改：

本发明能够快速精确的检测人脸，在错检率是10^-6左右时，漏检率低于10％。给出ROC曲线如图7所示，其中横轴代表每窗口错检率，纵轴代表漏检率，曲线越靠近横坐标轴越好。

由于本发明适合采用积分图快速计算特征，并且采用级联分类器快速排除背景窗口，因此具有计算量低的特点，采用主流PC机均可达到实时。在相当于Intel PIII700MHz的处理器下，对于CIF的灰度图片(352x288)达到15fps的速度。另外，本发明尤其适合数字信号处理器(DSP)移植。

根据样本大小，调节支持向量机(SVM)的训练维数和增加维数。输出是一个级联分类器，每一级是以支持向量机(SVM)为弱分类器的自适应激励(AdaBoost)，其中的2)过程中的权重更新是一个标准的自适应激励(AdaBoost)训练过程。线性支持向量机(SVM)的输出分类器形式是点积，自适应激励(AdaBoost)级联分类器的形式也是点积，因此，最终的输出分类器形式是点积，经过定点化之后非常适合数字信号处理器(DSP)计算。

附图说明

图1为哈尔扩展(Haar-like)特征示意图；

图2为图片的几何结构示意图；

图3为训练过程示意图；

图4为瀑布自适应激励型支持向量机的训练过程流程图；

图5为输出分类器结构示意图；

图6为级联分类器检测过程流程图；

图7为ROC曲线。

具体实施方式

下面结合附图对本发明的具体实施例加以说明：

基于图片几何结构的人脸检测思路：人识别物体时，常常会很自然的用一种基于部件结构的方法来描述。例如人脸就是一个鼻子、两个眼睛、一张嘴巴规则排列而成。而人脸的五官总是要比其他部分的皮肤颜色深一些。采用宏块间的差分关系来描述部件之间的对比度关系，所得的特征称为图片的几何结构。

本发明第一步对人脸样本进行归一化，第二步提取图片的几何结构作为特征，第三步采用特征训练瀑布型级联分类器，其内核弱分类器采用支持向量机(SVM)分类器。最终的分类器是一个点积形式的计算，该计算经过定点化之后，非常适合数字信号处理器件(DSP)的优化。

下面简要解释本发明所采用的关键技术：

(1)图片的几何结构：

图片的几何结构(Geometrical Picture Structure)是定义在宏块图上的差分。定义宏块序列B₁，B₂，B₃，...，B_n，把每个宏块看作是图的一个顶点，则可以定义图的边E_i，j。

E_i，j＝E(B_i，B_j)，i，j∈1，2，...，N，i≠j

宏块图就是边的集合{E_i，j}，i，j∈1，2，...，N，i≠j，如图2所示。它的物理意义是各个宏块之间的位置关系的总合。因为人脸有着位置分散的、固定的五官，而皮肤的颜色也非常固定，因此采用块对的颜色差分定义几何关系特征是很合适的，也可以看作在宏块图上拓展哈尔(Haar)小波算子，定义特征如下：

$r_{i,j}=\frac{1}{l}(\underset{b_s\∈B_i}{\mathrm{\Σ}}{b}_s-\underset{b_t\∈B_j}{\mathrm{\Σ}}{b}_t)$

其中，i和j分别代表第i和第j个宏块，b_s、b_t是宏块的像素值，l是两个宏块的像素个数。差分特征的集合称为图片的几何结构。

回顾哈尔扩展(Haar-like)特征背后的几何结构，他们反映的都是相邻宏块之间的关系，这是由哈尔(Haar)小波算子的相邻差分性质决定的。假如哈尔扩展(Haar-like)特征需要表达相隔较远的宏块之间的关系，则其必须用降低分辨率的代价来换取大的尺度。因此，本专利所提出的几何结构，是既包含相邻关系，又包含远距关系的一种全面的结构。

(2)瀑布自适应激励型支持向量机：

将上述特征提取方法获得的特征排列成向量，训练瀑布分类器。其中每个自适应激励(AdaBoost)的弱分类器采用支持向量机(SVM)分类器。该分类器拥有一种类似于瀑布的级联结构，可以在前几级排除绝大多数的背景窗口，只在遇到极少数难分样本时才采用后续级数的分类器，因此实际检测人脸时计算复杂度低，具有很好的实时性。

整个瀑布分类器的输出采用如图3所示的结构：分类过程按照输出分类器模型，样本依次经过输出分类器的串行过程，任一阶段中的支持向量机(SVM)判决为负样本，则结论为负样本，跳出判决过程；否则继续进行下一个支持向量机(SVM)的判决，直到所有支持向量机(SVM)输出均为正样本，判决才为正样本。

输出分类器采用特殊的训练方法，最终形成特殊的瀑布结构。绝大多数背景样本将会在前几个支持向量机(SVM)的判决时被正确分类成负样本，因此只需要很少的计算量；只有真正的人脸才会进入最后一级，需要更多的计算量。

具体实施步骤包括训练过程和检测过程，其中训练过程是离线的，因此时间复杂度并不重要，训练过程的输出是分类器模型。检测过程是在线的，因此时间复杂度很重要，必须具有实时性。检测过程的输入是测试样本和分类器模型，输出检测结果。下面按照训练过程和检测过程分别叙述实施步骤。

1、训练过程

训练过程如图3所示。以下分别叙述各步骤实施办法。

步骤11(训练样本归一化)：

该步骤用于图片的光照影响去除，方差归一化、对比度拉伸、直方图均衡化等等都可以采用。本发明推荐方差归一化方法，具有计算复杂度低。

$I^{\′}=\frac{I}{\sqrt{\mathrm{Var}\left(P\right)}}$

其中，I是像素值，I是归一化之后的像素值，Var(P)是样本图片的方差。该步骤在RGB三通道分别进行。

步骤12(特征提取)：

该过程所提取的特征称为图片的几何结构特征。可以细分为三个步骤：分块121、块间差分122和向量化123，如图3所示，以下分别叙述各个步骤。

步骤121(分块)：

根据样本的大小，采用合适大小的块对样本进行划分，如图4所示。根据不同情况，分块是可以交叠的。

步骤122(块间差分)：

计算块间差分。

$r_{i,j}=\frac{1}{l}(\underset{b_s\∈B_i}{\mathrm{\Σ}}{b}_s-\underset{b_t\∈B_j}{\mathrm{\Σ}}{b}_t)$

其中，i和j分别代表第i和第j个宏块，b_s是宏块的像素值，l是宏块的像素数。公式的物理意义是两个宏块的像素平均值之差，反映了两个宏块的亮度差信息。人脸有一个相对稳定的亮度空间分布，即五官的较暗，脸颊等等皮肤部位较深。因此宏块的亮度差信息比较适合表达这种空间分布。块间差分计算可以采用积分图方法快速计算。值得一提的是在RGB三个通道分别计算特征可以获得更好的性能。

步骤123(向量化)：

将计算获得各通道所有块间差分值拉成特征列向量，提交分类器学习。

步骤13(训练分类器)：

该步骤是瀑布型支持向量机的学习过程，训练样本集为步骤1-2输出的特征向量。假定训练集样本大小是M₀×M₀，设定

●每级分类器最大可接受错检率f_s和每级分类器最小可接受检测率d_s

●全局错检率F_g

●设定SVM的维数n₀＝10

●初始化F₀＝1，D₀＝1，i＝0

●将正样本集放入P，负样本集放入N

记每轮迭代中的错检率为F_i，检测率为D_i，则训练过程如图4所示。整个流程是标准的瀑布型自适应激励(AdaBoost)流程，而其中每个自适应激励分类器(AdaBoost)采用的弱分类器训练方法是基于支持向量机(SVM)的随机子空间思想。即随机挑选n_i≥N₀/100个样本训练支持向量机(SVM)，总共训练大约是S/100次，其中N₀是总样本数，S是样本的维数。得到一组支持向量机(SVM)弱分类器，然后分别计算其错误率，选择错误率最小的作为该轮迭代产生的弱分类器。可以证明，这样学习所得的弱分类器构建瀑布型自适应激励(AdaBoost)是收敛的。

学习所得的最终分类器形式如图5所示，总共分为n个阶段，每个阶段包含m_i个支持向量机(SVM)分类器，每个阶段对应上述学习过程中的自适应激励(AdaBoost)，每个支持向量机(SVM)是该自适应激励(AdaBoost)的弱分类器。

根据样本大小，调节支持向量机(SVM)的训练维数和增加维数。输出是一个级联分类器，包括参数集和选用特征对应的块的位置、颜色通道等等。

训练集反馈步骤：

采用训练集反馈技术，对分类器进行稳定性处理，提高负样本集的遍历性。即将学习所得的分类器对大量背景样本进行检测，将错检的样本放入负样本集，重新做以上所有步骤，直到分类器的错检率保持在稳定状态。将最终的级联分类器的参数记录下来，作为在线检测。

2、检测过程

检测过程的输入是测试图片和分类器模型，是逐像素多分辨率搜索过程。检测对象为窗口。对每个窗口的样本判决过程，包括以下步骤：

步骤2-1(样本归一化)：

窗口归一化，方法同样本归一化相同；

分类判决步骤：

采用级联分类器进行分类，如图6所示。分类步骤如下：样本依次经过输出分类器的串行过程，任一阶段中的支持向量机判决为负样本，则结论为负样本，跳出判决过程；否则继续进行下一个支持向量机的判决，直到所有支持向量机输出均为正样本，判决才为正样本。这样的分类过程对于绝大多数背景窗口来说都能在前几个支持向量机判决即被正确分类成负样本，只有真正的人脸才会进入最后一级，需要更多的计算量。

其中的特征计算只需要计算该级所对应维数的特征即可，不需要计算全图的所有维数得特征。在计算特征时，推荐使用积分图算法，其计算复杂度远低于其他算法。对检测到的人脸进行标记：采用画框、染色等等方法对检测到的人脸进行标记。

本发明能够快速精确的检测人脸，在错检率是10^-6左右时，漏检率低于10％。给出ROC曲线如图7所示，其中横轴代表每窗口错检率，纵轴代表漏检率，曲线越靠近横坐标轴越好。

最后应说明的是：以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1、一种基于图片几何结构的人脸检测方法，包括人脸模型的训练过程和人脸图像的检测过程，其特征在于，该方法包括以下步骤：

其中所述的人脸模型的训练过程包括：训练条件有标定好的人脸样本集、背景样本集和海量背景图片，其训练过程分为如下步骤：

训练样本归一化步骤；

特征提取步骤；

所述的特征提取步骤进一步包括：

根据训练样本的大小，采用合适大小的块对样本进行划分的分块步骤；

定义分块后的宏块序列为B₁，B₂，B₃，...，B_n；

计算任意两个宏块的块间差分步骤；该步骤的公式定义为：

$r_{i,j}=\frac{1}{l}(\underset{b_s\∈B_i}{\mathrm{\Σ}}{b}_s-\underset{b_t\∈B_j}{\mathrm{\Σ}}{b}_t)$

其中，i和j分别代表第i和第j个宏块，b_s、b_t是宏块的像素值，l是宏块的像素数；该公式的物理意义是两个宏块的像素平均值之差，反映了两个宏块的亮度差信息；

将计算获得所有差分值拉成特征列向量步骤，提交分类器学习；

瀑布型支持向量机的学习过程；

训练样本集为上述特征提取步骤输出的特征，其中；

向量；假定训练集样本大小是M₀×M₀，设定第一级分类器到最终分类器的最大可接受错检率f_s、每级分类器最小可接受检测率d_s、全局错检率F_g，

设定SVM的维数n₀＝10

初始化F₀＝1，D₀＝1，i＝0

将正样本集放入P，负样本集放入N，

记每轮迭代中的错检率为F_i，检测率为D_i，则训练流程的步骤如下：

首先训练第一个阶段的自适应激励分类器，然后采用该弱分类器进行分类，根据错误率重新设定样本权重，进行下一次弱分类器挑选，直到错检率达到f_s，调整该自适应激励分类器的阈值，使得检测率达到d_s×D_i-1，该阶段训练结束，进入下一阶段训练；直到总错检率小于全局错检率F_g后，训练过程结束；

其中所述的人脸图像的检测过程包括：

训练样本归一化；

采用级联分类器针对每个窗口中的样本图片进行分类，该过程是一个全图的多分辨率搜索的过程；

样本依次经过输出分类器的串行过程，任一阶段中的支持向量机判决为负样本，则结论为负样本，跳出判决过程；否则继续进行下一个支持向量机的判决，直到所有支持向量机输出均为正样本，判决才为正样本；这样的分类过程对于绝大多数背景窗口来说都能在前几个支持向量机判决即被正确分类成负样本，只有真正的人脸才会进入最后一级，需要更多的计算量；

对检测到的人脸进行标记；

采用训练集反馈技术，对分类器进行稳定性处理，将学习所得的分类器对大量背景样本进行检测，将错检的样本放入负样本集，重新做以上所有步骤，直到分类器的错检率保持在稳定状态；将最终的级联分类器的参数记录下来，作为在线检测。

2、根据权利要求1所述的基于图片几何结构的人脸检测方法，其特征在于：所述的

最终分类器形式总共分为n个阶段，每个阶段包含m_i个支持向量机，每个阶段对应上述学习过程中的自适应激励分类器，每个支持向量机是该自适应激励分类器的弱分类器；

根据样本大小，调节支持向量机的训练维数和增加维数；输出是一个级联分类器，包括参数集和选用特征对应的块的位置、颜色通道等等。

3、根据权利要求1所述的基于图片几何结构的人脸检测方法，其特征在于：所述的块间差分的计算在RGB三个通道分别进行。

4、根据权利要求1所述的基于图片几何结构的人脸检测方法，其特征在于：所述的块间差分计算采用积分图方法。

Images