CN106529448A - 利用聚合通道特征进行多视角人脸检测的方法 - Google Patents

Abstract

本发明公开了一种利用聚合通道特征进行多视角人脸检测的方法，主要是对10个ACF通道里的LUV颜色三通道改进为一个灰度单通道，形成8通道特征，这样就会更快速地进行特征提取，对提取的特征进行一个4级的Adaboost级联分类器的训练，形成一个包含4096个弱分类器的级联强分类器，利用级联分类器以及快速特征金字塔方法进行图像检测，最终快速、准确地检测出人脸。本发明利用滑动窗口在特征金字塔上按步长依次滑动得到检测块，利用训练好的Adaboost分类器对检测块分类，含有人脸的检测块再通过非极大值抑制法去除重叠的窗口，保留最终的人脸检测窗口，提高了检测的精度。

Description

利用聚合通道特征进行多视角人脸检测的方法

技术领域

本发明涉及计算机视觉的人脸检测技术领域，尤其涉及一种利用聚合通道特征进行多视角人脸检测的方法。

背景技术

人脸是一个常见而复杂的视觉模式，所反映的视觉信息在人与人的交流与交往中有着重要的作用和意义。人脸检测是人脸识别系统中的关键的第一步，也是计算机视觉和模式识别研究领域的热点。近年来，随着计算机视觉、模式识别和人工智能等技术的发展，以及智能交通、智能监控和安全领域的迫切需求，行人检测技术受到越来越多的关注，但是遮挡、重叠的行人难以检测，所以需要人脸检测来更有效的、更精确的代替行人检测。因此，人脸检测在视频监控、出入口控制、人流量监测以及人机交互等领域有着广泛的应用前景。

过去的几年中，最有效的人脸检测方法是Viola和Jones提出的利用Haar-like特征与Adaboost分类器结合，Haar特征是各种不同大小的矩形框通过积分图快速计算得到。VJ检测具有很好的实时性，但是还无法满足在检测速度、形态各异的多视角人脸检测精度上的要求。

HOG与SVM结合的检测算法中的HOG是梯度直方图特征，根据各个像素点的梯度方向组成细胞，并进行直方图归一化，再由多个细胞组成block块进行归一化，最终求得HOG特征，但是HOG特征单一，容易造成误检和漏检，无法满足多视角人脸检测的精度。

最近几年，ICF与Adaboost结合的算法是对之前算法的有效补充和改进，ICF即积分通道特征，是在HOG特征基础上，采用Haar特征的方式在梯度直方图上随机取其矩形框特征，并且加入了LUV颜色通道和梯度幅值通道，但是这种通过随机产生大小不同、位置不同的矩形区域的积分值的方法还是太繁琐，无法满足检测速度的要求。

后来，Piotr Dollar又提出了ACF与Adaboost结合的算法，ACF就是聚合通道特征，与ICF特征很相似，也是包括LUV颜色通道、梯度幅值通道、HOG通道，由于LUV空间在表征目标表面颜色特征时，能提高目标模型对颜色变化的鲁棒性，对外界光照变化影响很小，梯度幅值具有大量的边缘强度信息，HOG富含目标特征信息最为全面，侧重于目标形状和轮廓信息，对光照和人脸形变影响较小，所以对视角各异的人脸具有很好的检测效果。与ICF相比较，ACF计算大小固定、位置固定区域内单个像素的特征，并融合在一起，不再进行积分图计算，所以会加快检测速度。

发明内容

本发明的目的在于克服现有技术对多视角人脸检测的精度不高、速度不快等不足，提供一种利用聚合通道特征进行多视角人脸检测的方法，通过把Piotr Dollar提出的10个ACF通道改进为8个通道，即把其中的LUV颜色三通道改为单一的灰度通道，改进的新的ACF特征在人脸检测速度上会有很大提升，检测速度快且准确。

本发明的目的通过下述技术方案实现：

一种利用聚合通道特征进行多视角人脸检测的方法，其方法步骤如下：

A、获取检测人脸图像，在人脸图像上构造出图像金字塔；

B、从图像金字塔中提取各层的聚合通道特征；计算第1、9、17层的真实尺寸，然后根据这些尺寸估计他们之间的其他图像尺寸，这样会加快计算速度，快速形成特征金字塔；具体如下：

B1、将步骤A中人脸图像的原RGB图像转换为灰度图像，这是一个颜色通道特征提取；

B2、计算步骤B1每个像素的梯度幅度值，这是一个梯度幅度特征提取；

B3、计算每个像素在6个梯度方向上的梯度方向直方图，这是6个方向直方图特征提取；

B4、把每个像素点的1个灰度特征、1个梯度幅度特征和6个梯度方向直方图特征聚合到一起形成一个含有8个通道特征的聚合通道特征；步骤B中的特征金字塔就是通过计算图像金字塔中的每个图像的聚合通道特征而形成的；

C、利用滑动窗口按照一定的步长在图像金字塔上滑动，获取一系列滑动窗口大小的检测块；所述步骤C中的滑动检测窗口在特征通道金字塔上按照设定好的步长，从左到右、从上到下不断滑动，滑动窗口设置为24X24，步长小于24；

D、使用训练好的级联分类器将步骤C中得到的检测块分别分类，分类结果为人脸和非人脸的检测块；期训练过程如下：

首先，获取训练样本集，样本集包括正样本集和负样本集，所述的正样本集使用10000个包含人脸且像素大小大于24X24的图像区域，并且对每个正样本图像中的人脸区域标注出坐标和宽高，所述的负样本集是有不包含人脸的10000张图片组成；

然后，训练第一阶段，获取正负样本训练的窗口，根据标注数据提取正样本窗口，根据每个负样本图片里取25个窗口，分别对提取到的正负窗口进行聚合通道特征提取，用二叉决策树进行特征判断，训练出包含64个弱分类器的一个强分类器；

最后，训练第二阶段，使用第一阶段训练好的分类器对负样本集进行检测，检测到为正的窗口作为负样本，与正样本继续用二叉决策树进行特征判断，训练出包含256个弱分类器的一个强分类器；第三、四阶段同理，直到某一层弱分类器分出的loss小于阈值，训练结束，最后得到一个包含4096个弱分类器的一个多级强分类器；

E、分类为人脸的检测块标记为人脸候选窗口，并记录每个候选窗口的得分；

F、根据缩放比例，恢复到原始图像的窗口大小；所述步骤F的缩放比例是图像金字塔中各幅图像与原始图像之间的比例，检测到的窗口大小都为24X24，因此需要按照比例恢复到原图像上形成许多重叠的矩形框；

H、利用非极大值抑制法去除重叠的人脸候选窗口，得到最终人脸检测窗口，并且显示窗口的大小、坐标和得分。

为了更好地实现本发明，所述步骤H的非极大值抑制法步骤如下：

首先，将初始检测窗口按分数从高到低排列；

然后，将第一个初始检测窗口作为当前抑制窗口；

最后，将所有检测分数比当前抑制窗口低的初始窗口作为被抑制窗口，计算当前抑制窗口面积s1、被抑制窗口面积s2及其两者的重合面积a，如果比值大于0.55，则剔除得分较小的被抑制窗口，最终得到人脸检测窗口。

本发明为了解决现有技术对多视角人脸检测的精度不高、速度不快等不足，所采用的技术方案是，一种利用聚合通道特征进行多视角人脸检测的方法，所述新方法主要是对10个ACF通道里的LUV颜色三通道改进为一个灰度单通道，形成8通道特征，这样就会更快速地进行特征提取，对提取的特征进行一个4级的Adaboost级联分类器的训练，形成一个包含4096个弱分类器的级联强分类器，利用级联分类器以及快速特征金字塔方法进行图像检测，最终快速、准确地检测出人脸，所述方法包括以下步骤，整个流程见图1。

本发明较现有技术相比，具有以下优点及有益效果：

本发明通过把Piotr Dollar提出的10个ACF通道改进为8个通道，即把其中的LUV颜色三通道改为单一的灰度通道，改进的新的ACF特征在人脸检测速度上会有很大提升。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明：

实施例

如图1所示，一种利用聚合通道特征进行多视角人脸检测的方法，其方法步骤如下：

A、获取检测人脸图像，在人脸图像上构造出图像金字塔；

B、从图像金字塔中提取各层的聚合通道特征；计算第1、9、17层的真实尺寸，然后根据这些尺寸估计他们之间的其他图像尺寸，这样会加快计算速度，快速形成特征金字塔；具体如下：

B1、将步骤A中人脸图像的原RGB图像转换为灰度图像，这是一个颜色通道特征提取；

B2、计算步骤B1每个像素的梯度幅度值，这是一个梯度幅度特征提取；

B3、计算每个像素在6个梯度方向上的梯度方向直方图，这是6个方向直方图特征提取；

B4、把每个像素点的1个灰度特征、1个梯度幅度特征和6个梯度方向直方图特征聚合到一起形成一个含有8个通道特征的聚合通道特征；步骤B中的特征金字塔就是通过计算图像金字塔中的每个图像的聚合通道特征而形成的；

C、利用滑动窗口按照一定的步长在图像金字塔上滑动，获取一系列滑动窗口大小的检测块；所述步骤C中的滑动检测窗口在特征通道金字塔上按照设定好的步长，从左到右、从上到下不断滑动，滑动窗口设置为24X24，步长小于24；

D、使用训练好的级联分类器将步骤C中得到的检测块分别分类，分类结果为人脸和非人脸的检测块；期训练过程如下：

首先，获取训练样本集，样本集包括正样本集和负样本集，所述的正样本集使用10000个包含人脸且像素大小大于24X24的图像区域，并且对每个正样本图像中的人脸区域标注出坐标和宽高，所述的负样本集是有不包含人脸的10000张图片组成；

然后，训练第一阶段，获取正负样本训练的窗口，根据标注数据提取正样本窗口，根据每个负样本图片里取25个窗口，分别对提取到的正负窗口进行聚合通道特征提取，用二叉决策树进行特征判断，训练出包含64个弱分类器的一个强分类器；

最后，训练第二阶段，使用第一阶段训练好的分类器对负样本集进行检测，检测到为正的窗口作为负样本，与正样本继续用二叉决策树进行特征判断，训练出包含256个弱分类器的一个强分类器；第三、四阶段同理，直到某一层弱分类器分出的loss小于阈值，训练结束，最后得到一个包含4096个弱分类器的一个多级强分类器；

E、分类为人脸的检测块标记为人脸候选窗口，并记录每个候选窗口的得分；

F、根据缩放比例，恢复到原始图像的窗口大小；所述步骤F的缩放比例是图像金字塔中各幅图像与原始图像之间的比例，检测到的窗口大小都为24X24，因此需要按照比例恢复到原图像上形成许多重叠的矩形框；

H、利用非极大值抑制法去除重叠的人脸候选窗口，得到最终人脸检测窗口，并且显示窗口的大小、坐标和得分。

本发明步骤H的非极大值抑制法步骤如下：

首先，将初始检测窗口按分数从高到低排列；

然后，将第一个初始检测窗口作为当前抑制窗口；

最后，将所有检测分数比当前抑制窗口低的初始窗口作为被抑制窗口，计算当前抑制窗口面积s1、被抑制窗口面积s2及其两者的重合面积a，如果比值大于0.55，则剔除得分较小的被抑制窗口，最终得到人脸检测窗口。

本发明为了解决现有技术对多视角人脸检测的精度不高、速度不快等不足，所采用的技术方案是，一种利用聚合通道特征进行多视角人脸检测的方法，所述新方法主要是对10个ACF通道里的LUV颜色三通道改进为一个灰度单通道，形成8通道特征，这样就会更快速地进行特征提取，对提取的特征进行一个4级的Adaboost级联分类器的训练，形成一个包含4096个弱分类器的级联强分类器，利用级联分类器以及快速特征金字塔方法进行图像检测，最终快速、准确地检测出人脸，所述方法包括以下步骤，整个流程见图1。

步骤1：训练分类器。

步骤1.1：准备训练样本、初始化训练参数，对10000张形态各异的人脸图像进行标注，每个人脸对应相应的标注数据，包括人脸窗口坐标及大小，负样本是由10000张非人脸图像组成。训练使用的四层强分类器级联得到，此四层分类器分别包括64,256,1024,4096个弱分类器，每个弱分类器是由一个二叉决策树组成，决策树深度越大节点越多，分类能力越强，本发明决策树深度设置为5。通过全部四层强分类器的检测目标为候选目标，且最后一层的强分类器作为最终模型分类器。

步骤1.2：特征提取，训练第一阶段，计算正样本集人脸窗口的特征向量，调用采样函数从负样本图片集中随机裁剪生成负样本，每幅负样本图片剪出负样本窗口25幅，总数25000，然后计算这25000个负样本窗口特征向量。

首先，将样本图像转化为灰度图像，

Gray＝(R*0.299+G*0.587+B*0.114) (1)

然后，计算灰度图像的梯度方向以及梯度幅值，梯度计算有多种方法，比如最常用的Sobel算子和在这里采用的是最简单的算子[-1 0 1]和进行滤波，得到的效果更好。

最后，梯度方向离散化，选择6个方向并利用梯度幅值给各个方向通道进行投票。梯度直方图即HOG，在求得梯度幅值和梯度方向图后，利用梯度方向图将每个4×4细胞的像素点的梯度根据最近邻域线性插值分配到6个方向上，然后在每一个方向上一句是否采用三线性插值将所有梯度累加到6个梯度方向上，并在2×2的块上精心归一化，一次来得到6个梯度方向直方图。

正样本的特征向量记为X1，每个窗口的特征个数为负样本特征向量记为X2，每个负样本窗口的特征个数跟正样本特征数一样，也是1152个。

步骤1.3：Adaboost训练分类器，把步骤1.2里提取的正负样本的特征X1、X2通过多个决策树的判断训练出一个弱分类器，开始时，每个样本对应的权重是相同的，针对每个特征j训练一个分类器h_j，分类器的错误率ε_j定义为：

其中w_i为各样本的权重，x_i为第i个样本，y_i为x_i对应的正负样本标号。选择使得分类器h_t(表示第t个弱分类器)具有最小错误率ε_t的特征，根据选择的特征对分类正确的样本更新权重。

其中最后对权重进行归一化。

w_t,i表示归一化后的权重。至此，一棵决策树训练完毕，再重复训练多个决策树，进行级联得到一个Adaboost分类器。在训练第2、3、4级分类器时，负样本通过上一个分类器错误分类的样本投入到样本集中，然后从此负样本集中采样获得，最终训练得到一个含有4096棵决策树的Adaboost强分类器模型。

步骤2：人脸检测。

步骤2.1：计算图像特征金字塔，计算图像精密采样特征金字塔耗费时间过长，本发明中根据图像特征金字塔的层间幂指定律，用稀疏采样特征金字塔的邻近层，近似估计计算精密采样特征金字塔的方法，这是一种快速特征金字塔计算方法，使用这种方法就不需要先将输入图像缩放到所有尺度层，再计算每一层的特征，只需要在每一组内计算一个尺度层的特征，再使用这些层的特征估计中间层的特征。

C_s≈R(C_s',s/s')(s/s')^-λ (5)

式(5)为特征估计的计算公式。其中，C_s为待估计的特征层，其缩放因子为s。s'为事先计算好的层与s距离最近的层的缩放因子。R(C_s',s/s')表示将C_s的尺寸缩放为原来的s/s'倍。λ是取决于具体特征的常系数，需要事先通过训练样本估计，本发明中的得到的灰度、梯度幅值、梯度方向直方图的特征系数分别为0、0.1448,、0.1448。使用快速特征金字塔后可以显著提高计算特征的速度。

步骤2.2：滑动窗口在图像特征金字塔上按照步长滑动获取一系列检测块，滑动检测窗口在特征通道金字塔上按照设定好的步长，从左到右、从上到下不断滑动，滑动窗口设置为24X24，步长小于24。

步骤2.3：利用训练好的分类器判断步骤2.2里得到的检测块是否人脸，分类为人脸的检测块标记为人脸候选窗口，并记录每个候选窗口的得分，分类得分由以下公式计算：

其中，α_p是第p个软级联分类器H_p的权值，H_p[1]是第p个软级联分类器H_p将软级联分类器H_p的输出值按照设定的阈值输出0或1；H_p[2]是第p个软级联分类器的输出值。所有软级联分类器构成检测器H(x)，当检测器H(x)的第一个输出为‘1’时，检测器选择的当前窗口作为人脸候选窗口，当检测器H(x)的第一个输出为‘0’时，则放弃当前窗口；检测器H(x)的第二个输出作为当前窗口的分类得分，作为去除重叠人脸候选窗口的依据。

步骤2.4：使用非极大值抑制法去除重叠窗口，得到最终人脸窗口，其步骤如下：

步骤2.4.1：将初始检测窗口按分数从高到低排列；

步骤2.4.2：将第一个初始检测窗口作为当前抑制窗口；

步骤2.4.3：将所有检测分数比当前抑制窗口低的初始窗口作为被抑制窗口，计算当前抑制窗口面积s1、被抑制窗口面积s2及其两者的重合面积a，如果比值大于0.55，则剔除得分较小的被抑制窗口，最终得到人脸检测窗口。

本发明通过把LUV三颜色通道改进为灰度的单通道特征，然后与梯度幅值、梯度方向直方图等信息融合到一起形成新的聚合通道特征，这种新方法不仅在原方法上保持对多视角、不同环境、不同光照、不同分辨率下人脸检测的准确性、稳定性和鲁棒性，更是提高了检测的速度(PC上对640*480图像检测时间由60ms/frame下降到50ms/frame)。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种利用聚合通道特征进行多视角人脸检测的方法，其特征在于：其方法步骤如下：

A、获取检测人脸图像，在人脸图像上构造出图像金字塔；

B、从图像金字塔中提取各层的聚合通道特征；计算第1、9、17层的真实尺寸，然后根据这些尺寸估计他们之间的其他图像尺寸，这样会加快计算速度，快速形成特征金字塔；具体如下：

B1、将步骤A中人脸图像的原RGB图像转换为灰度图像，这是一个颜色通道特征提取；

B2、计算步骤B1每个像素的梯度幅度值，这是一个梯度幅度特征提取；

B3、计算每个像素在6个梯度方向上的梯度方向直方图，这是6个方向直方图特征提取；

B4、把每个像素点的1个灰度特征、1个梯度幅度特征和6个梯度方向直方图特征聚合到一起形成一个含有8个通道特征的聚合通道特征；步骤B中的特征金字塔就是通过计算图像金字塔中的每个图像的聚合通道特征而形成的；

C、利用滑动窗口按照一定的步长在图像金字塔上滑动，获取一系列滑动窗口大小的检测块；所述步骤C中的滑动检测窗口在特征通道金字塔上按照设定好的步长，从左到右、从上到下不断滑动，滑动窗口设置为24X24，步长小于24；

D、使用训练好的级联分类器将步骤C中得到的检测块分别分类，分类结果为人脸和非人脸的检测块；期训练过程如下：

首先，获取训练样本集，样本集包括正样本集和负样本集，所述的正样本集使用10000个包含人脸且像素大小大于24X24的图像区域，并且对每个正样本图像中的人脸区域标注出坐标和宽高，所述的负样本集是有不包含人脸的10000张图片组成；

然后，训练第一阶段，获取正负样本训练的窗口，根据标注数据提取正样本窗口，根据每个负样本图片里取25个窗口，分别对提取到的正负窗口进行聚合通道特征提取，用二叉决策树进行特征判断，训练出包含64个弱分类器的一个强分类器；

最后，训练第二阶段，使用第一阶段训练好的分类器对负样本集进行检测，检测到为正的窗口作为负样本，与正样本继续用二叉决策树进行特征判断，训练出包含256个弱分类器的一个强分类器；第三、四阶段同理，直到某一层弱分类器分出的loss小于阈值，训练结束，最后得到一个包含4096个弱分类器的一个多级强分类器；

E、分类为人脸的检测块标记为人脸候选窗口，并记录每个候选窗口的得分；

F、根据缩放比例，恢复到原始图像的窗口大小；所述步骤F的缩放比例是图像金字塔中各幅图像与原始图像之间的比例，检测到的窗口大小都为24X24，因此需要按照比例恢复到原图像上形成许多重叠的矩形框；

H、利用非极大值抑制法去除重叠的人脸候选窗口，得到最终人脸检测窗口，并且显示窗口的大小、坐标和得分。

2.按照权利要求1所述的利用聚合通道特征进行多视角人脸检测的方法，其特征在于：所述步骤H的非极大值抑制法步骤如下：

首先，将初始检测窗口按分数从高到低排列；

然后，将第一个初始检测窗口作为当前抑制窗口；

最后，将所有检测分数比当前抑制窗口低的初始窗口作为被抑制窗口，计算当前抑制窗口面积s1、被抑制窗口面积s2及其两者的重合面积a，如果比值大于0.55，则剔除得分较小的被抑制窗口，最终得到人脸检测窗口。