CN102169544A - 基于多特征融合的人脸遮挡检测方法 - Google Patents

Abstract

本发明公开了基于多特征融合的人脸遮挡检测方法，它是在数字摄像机和数字信号处理芯片的支持下实现的，其特征在于：其包括以下步骤：利用所述数字摄像机采集数字视频并转换成数字图像；应用人脸检测算法从中获得人脸图像；将所述人脸图像进行转正和缩放处理，并规定化到固定分辩率；后将其分成多个单元格；计算所有单元格特征向量；循环判断是否遮挡；遮挡判别原则包含：遮挡单元格总数超过设定的阈值,或者相邻遮挡单元格的个数超过设定的阈值。本发明采用多种纹理特征融合的方法，采用SVM方法训练得到分类器。本发明具有较好的分类性能和鲁棒形。本发明可以广泛应用于各种监控场合，判断是否有故意遮挡行为，从而筛选出可疑人员。

Description

基于多特征融合的人脸遮挡检测方法

技术领域

本发明属于视频检测方法，尤其是应用于人脸遮挡检测的视频检测方法。

背景技术

ATM自动柜员机在全国金融界的不断普及，许多原来要在银行网点办理的业务现在都可以在自助银行的ATM上自助进行。储户可通过手中的银行卡在ATM上进行存、取款，转帐，自助交费等服务。ATM给我们的生活带来了许多方便，成为我们生活中密不可分的助手，已经完全融入百姓的日常生活当中。但是自助银行作为无人值守、24小时提供金融服务的营业场所，其相关设备和客户交易过程的安全性一直是银行安全保卫部门的重要工作之一。而随着金融业ATM自动柜员机的大量使用也逐渐暴露出了一些问题，严重制约了ATM向更深层次更高要求发展。同时也产生了日益增多的ATM帐务纠纷及ATM金融犯罪案件。如何保护銀行ATM的安全使用、防范各种针对ATM的犯罪行为是一个亟待解決的问题。

目前，针对ATM自动柜员机的视频监控录像设备大都仅仅实现了通过摄像头捕捉视频，并保存到硬盘上的基本视频监控功能。随着通过ATM实现经济诈骗等刑事案件的频繁发生，如何有效、实时地监控ATM用户，判别ATM用户的不寻常行为举动并及时发出警报非常重要。而很多犯罪分子都有一定的反侦查意识，在ATM机上办理取款或转 账时，会有意识的遮挡自己，比如带帽子遮住上脸、带口罩遮住下脸，以及用墨镜来遮掩。针对这些由于遮挡而难以取证的问题，现有技术在这方面还做的不够充足，不能实时发现故意遮挡的现象，从而给不法分子找到犯罪的漏洞。

发明内容

本发明的基于多特征融合的人脸遮挡检测方法提供了一种解决上述问题的方案，提供一种性能更好、鲁棒性更强的基于视频分析技术的人脸遮挡检测技术。

本发明的技术方案是提供基于多特征融合的人脸遮挡检测方法，该方法是在以数字摄像机作为传感器以及数字信号处理芯片的支持下实现的，其特征在于：该方法包括以下步骤：

1)利用所述数字摄像机采集监控区域的数字视频并将其转换成数字图像；

2)应用人脸检测算法检测1)中所述数字图像获取其中的人脸图像；

3)将2)中所述人脸图像进行转正和缩放处理，并调整到固定分辩率，获得规定化人脸图像；

4)将3)中所述规定化人脸图像分成多个固定分辩率的单元格；

5)计算4)中所述单元格的多种特征组成其单元格特征向量；

6)应用SVM分类器分析5)中所述单元格特征向量，判断单元格是否遮挡；

7)循环5)和6)步骤，遍历分析3)中所有所述单元格是否遮 挡；

8)对7)中得到的单元格遮挡分析结果进行统计分析，依据遮挡判别原则确定是否发出遮挡警报信号。

优选的，步骤3)中所述规定化固定分辩率为120x140。

优选的，步骤4)中所述单元格分辩率为24x20。

优选的，步骤5)中所述多种特征包括Haa r特征、LBP特征和HOG特征。

优选的，步骤8)中所述遮挡判别原则包含以下两条：

①遮挡单元格总数超过设定的阈值；

②相邻遮挡单元格的个数超过设定的阈值。

本发明的基于多特征融合的人脸遮挡检测方法采用了Haar、LBP和HOG等多特征融合模式，应用SVM方法训练得到分类器。此外，为了增强对姿态的鲁棒性，采用图像分块检测的方法，用投票机制进行遮挡判断。实验结果表明对人脸图像中的饰物遮挡问题，包括帽子遮挡、墨镜遮挡、围巾遮挡、手遮挡以及其他物品遮挡等具有较好的分类性能。本发明可以广泛应用于各种监控场合，如ATM监控系统，判断取款人员是否有故意遮挡行为，从而筛选出可疑人员并进行异常报警。

附图说明

图1是本发明的算法原理框图；

图2是Haar扩展特征集原理图；

图3是LBP算子原理图。

具体实施方式

下面对本发明的具体实施方式作进一步详细的描述。

如图1所示，本发明基于多特征融合的人脸遮挡检测方法，首先进行视频采集，采集到的视频信息依次经过人脸检测、人脸图像处理、人脸图像划分单元格、计算单元格特征向量、支持向量机SVM(Support Vector Machine)分类器遮挡判断、遍历所有单元格，最后进行综合统计，判断人脸是否遮挡。

本发明的基于多特征融合的人脸遮挡检测方法是在数字摄像机作为传感器的支持下实现的，人脸遮挡检测原理主要是基于人脸分块纹理特征的统计机器学习。以下结合附图1所示的算法原理图，详细说明本发明的具体实施方式：

①采用数字摄像机作为传感器连续采集定点区域图像形成数字视频并转换成多帧连续的数字图像。数字摄像机采用CCD或者CMOS等A/D芯片；视频图像采集装置安装在被监控人的正前方。

②应用人脸检测算法检测①所述数字图像获取人脸图像；

③将②中所述人脸图像进行转正和缩放处理，并规定化到分辩率120x140；

④将③中所述规定化人脸图像分成35个分辩率为24x20的单元格，即分成7行5列。

⑤计算④中所述单元格的多种特征组成单元格特征向量，所述单元格特征优选Haar特征、LBP(局部二值模式LocalBinaryPattern)特征和HOG特征。

Haar特征和LBP特征是灰度纹理特征，HOG是梯度方向直方图。下面简述一下这三种特征：

Haar特征也称为Haar小波算子，提取的图像Haar特征是一种灰度纹理特征。Haar特征包括：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板。特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。在确定了特征形式后类Harr特征的数量就取决于训练样本图像矩阵的大小，特征模板在子窗口内任意放置，一种形态称为一种特征，找出所有子窗口的特征是进行弱分类训练的基础。Haar特征对图像的结构纹理(也称为粗纹理)特征描述能力较强，但由于对光线比较敏感，因此对图像的细节纹理(也称为细纹理)特征描述能力不稳定，因此Haar特征比较适合于作为前置分类器，快速排除背景区域，为后续筛选保留了较小的候选集。Haar扩展特征集原理如图2所示。

LBP特征叫做局部二元模式特征，是一种二进制编码特征。LBP算子如图3所示，选取某一个像素为中心，将中心点像素的灰度值作为阈值并与3x3临域的像素灰度值进行数值大小比较，并把大于阈值的点置为1，反之置为0，然后逆时针方向得到一个8位的二进制编码10000011，这就是该像素的LBP特征值。扩展的LBP算子有MB-LBP等。MB-LBP叫宏块局部二元模式，以宏块为最小单元进行计算，宏块直径是可调的，当宏块直径为1时就是经典的基于像素的LBP，因此，MB-LBP能很好的描述细纹理又能很好的描述粗纹理。LBP抗光照不均能力很强，对图像细节纹理特征描述稳定，非常适合于对模式进行精确分类， 一般训练LBP分类器作为后置分类器，起到分类把关的作用。

HOG特征称为梯度方向直方图特征，HOG提出的思想基于一个基本观点：物体的局部外观和形状能够用局部像素的梯度值的分布或边缘信息来描述，即使不知道对应的梯度值或者边缘位置的精确信息。方向梯度直方图HOG描述子有很多优点：首先，由于HOG方法是在图像的局部细胞单元上操作，所以它对图像几何的和光学的形变都能保持很好的不变性，这两种形变只会出现在更大的空间领域上；其次，在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下，物体的细微形变可以被忽略而不影响检测效果。方向梯度直方图方法特别适合于做图像中的行人检测的。

HOG特征的提取过程为：首先将样本按照4x4大小的单元进行划分，每个单元称为一个子块，再将田字结构相邻的4个子块划分为1个宏块，宏块按照每个子块进行滑动生成；接着，计算每个子块的梯度直方图，方向bins的数量被设定为9，即每20度一个bin，0-180与180-360的方向采用对等角相等的方法进行归类划分；然后，再将每个宏块中的4个子块的梯度直方图连接起来形成一个36维的向量， 这就是HOG特征描述子。为了提高精确度，把这些宏块梯度方向直方图在图像更大的区域中进行对比度归一化，此方法通过先计算各宏块梯度方向直方图在这个区域中的密度，然后根据这个密度值对区域中的各个宏块做归一化。归一化处理能对光照变化和阴影获得更好的稳定性。

⑥应用SVM分类器分析⑤中所述单元格特征向量，判断单元格是否遮挡；SVM分类器是事先训练好的，采用了⑤中所述的Haar特征、LBP特征和HOG特征的多特征融合模式进行训练。

以下简述支持向量机SVM及其训练过程：

支持向量机SVM方法建立在统计学习理论的VC维理论和结构风险最小原理的基础上，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳的折衷，以期获得最好的推广能力(或称泛化能力)。SVM的解是全局唯一的最优解。SVM在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其它机器学习问题中。支持向量机SVM应用方向有支持向量分类SVC和支持向量回归SVR等。

SVM主要思想概括为以下两点：

(一)针对线性可分情况进行分析，对于线性不可分情况则通过非线性映射算法将低维输入空间线性不可分样本转化为高维特征空间使其线性可分；

(二)基于结构风险最小原理，在高维特征空间中构建最优化分割超平面，使得学习器获得全局最优化，并且使其期望风险满足可控上界。

SVM用于分类的一般特征：

(一)SVM学习过程是一个凸二次规划问题，可利用已知的有效算法发现目标函数的全局最小值；而如人工神经网络等其它分类方法都是基于贪心学习策略来搜索假设空间，这种方法一般只能获得局部最优解；

(二)SVM通过最大化决策边界的边缘来控制模型的能力；

(三)SVM对数据中每个分类属性引入一个哑变量；

(四)SVM可处理多类问题；

(五)SVM应用核函数巧妙的解决了从低维样本空间向高维特征空间映射带来的“维数灾难”问题；常用的核函数有下面几种：

(1)线性核函数K(x，y)＝x·y；

(2)多项式核函数K(x，y)＝[(x·y)+1]d；

(3)径向基函数K(x，y)＝exp(-|x-y |^2/d^2)

(4)二层神经网络核函数K(x，y)＝tanh(a(x·y)+b).

SVM训练过程：

给定一个n组关系未知样本的数据集H＝{(xi，yi)}i＝1，...n，其中xi是输入向量，yi是期望值，n是数据点的总数。SVM可以利用一个非线性映射，将数据x映射到高维特征空间H，并在这个空间中进行线性逼近。由统计学习理论可知，该函数具有以下形式：

最优的分类函数是通过在一定的约束条件下最小化结构风险：

${\left|\right|\mathrm{\ω}\left|\right|}^2+C_l^1\underset{i=1}{\overset{l}{\mathrm{\Σ}}}_2^1{L}_{\mathrm{\ϵ}}(y_i,f\left(x_i\right))---\left(2\right)$

其中 

使得函数更为平坦，称为规则化项；第二项为经验风险泛函，可由不同的损失函数确定，常数C＞0，惩罚函数，控制对超出误差的样本的惩罚程度。本文采用的ε-不敏感损失函数，

L_ε(y_i，f(x_i))＝max(|y_i-f(x_i)-ε，0)

对于L_ε(y_i，f(x_i))，若估计输出f(xi)与期望输出yi的偏差的绝对值小于时候，它等于0；否则，它等于偏差的绝对值减去ε，通过引入非负的松弛变量ξ_i，ξ_i ^*，则上面的等式可转换为：

$\min {\left|\right|\mathrm{\ω}\left|\right|}^2+C_l^1\underset{i=1}{\overset{l}{\mathrm{\Σ}}}_2^1({\mathrm{\ξ}}_i+{{\mathrm{\ξ}}_i}^{*})$

$s.t.$

${{\mathrm{\ξ}}_i}^{*}\≥0$

引入拉格朗日函数，我们最终可以得到：

$\mathrm{\ω}-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(a_i-a_i^{*})x_i=0$

$f\left(x\right)=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(a_i-a_i^{*})j\left(x_i\right)\mathrm{gj}\left(x\right)+b$

$f\left(x\right)=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(a_i-a_i^{*})K(x_i,x)+b$

由此可得，

引入核函数K(xi，xj)，上面式子可以变为：

K(xi，xj)是向量xi，xj在特征空间(xi)和(xj)上的内积，即K(xi，xj)＝(xi)(xj)。通过核函数所有的运算都可以直接在输入空间上计算，核函数的选择对支持向量机非常重要。

⑦循环⑤和⑥步骤，遍历分析③中所述所有单元格是否遮挡；

⑧对⑦中得到的单元格遮挡分析结果进行统计分析，依据遮挡判别原则确定是否发出遮挡警报信号；优选遮挡判别原则包含以下两条：

(一)遮挡单元格总数超过设定的阈值；

(二)相临遮挡单元格的个数超过设定的阈值；

到此，一个人脸遮挡检测器已经实现。本发明融合了包括Haar特征、LBP特征和HOG特征等多特征融合，采用SVM方法训练得到分类器。

以上实施例仅为本发明其中的一种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.基于多特征融合的人脸遮挡检测方法，该方法是在以数字摄像机作为传感器以及数字信号处理芯片的支持下实现的，其特征在于：该方法包括以下步骤：

1）利用所述数字摄像机采集监控区域的数字视频并将其转换成数字图像；

2）应用人脸检测算法检测1）中所述数字图像获取其中的人脸图像；

3）将2）中所述人脸图像进行转正和缩放处理，并调整到固定分辩率，获得规定化人脸图像；

4）将3）中所述规定化人脸图像分成多个固定分辩率的单元格；

5）计算4）中所述单元格的多种特征组成其单元格特征向量；

6）应用SVM分类器分析5）中所述单元格特征向量，判断单元格是否遮挡；

7）循环5）和6）步骤，遍历分析3）中所有所述单元格是否遮挡；

8）对7）中得到的单元格遮挡分析结果进行统计分析，依据遮挡判别原则确定是否发出遮挡警报信号。

2.根据权利要求1所述的基于多特征融合的人脸遮挡检测方法，其特征在于：步骤3）中所述规定化固定分辩率为120x140。

3.根据权利要求1所述的基于多特征融合的人脸遮挡检测方法，其特征在于：步骤4）中所述单元格分辩率为24x20。

4.根据权利要求1所述的基于多特征融合的人脸遮挡检测方法，其特征在于：步骤5）中所述多种特征包括Haar特征、LBP特征和HOG特征。

5.根据权利要求1所述的基于多特征融合的人脸遮挡检测方法，其特征在于：步骤8）中所述遮挡判别原则包含以下两条：

1 ）遮挡单元格总数超过设定的阈值；

2 ）相邻遮挡单元格的个数超过设定的阈值。

Images