CN103400110A - Atm取款机前的异常人脸检测方法 - Google Patents

Abstract

本发明提供一种ATM取款机前的异常人脸检测方法，分三步：对场景的背景进行建模，得到粗略的运动前景，使用前景块所占整幅图像的比率以及目标的位置定位ATM前的取款人，再结合连通域分析实现前景块的精定位，接着再进行预处理；通过自下而上地统计前景身体宽度的变化快速估计取款人的肩部在水平方向上的位置；使用基于高斯能量函数的生长算法找出紧密包裹头部区域的方框，利用方框边缘的脸部外轮廓，通过随机Hough变换和最小二乘法拟合头部的椭圆来确定下巴的位置，修订得到头部目标最终的准确位置；获得初始头部目标位置后，基于L1跟踪算子对它进行实时跟踪；进行异常人脸的识别。本发明可应用于实时ATM视频监控和视频检索中。

Description

ATM取款机前的异常人脸检测方法

技术领域

本发明涉及的是一种视频图像处理和模式识别技术领域的方法，具体是一种应用于视频监控系统的异常人脸检测方法。

背景技术

ATM取款机前的异常人脸检测的主要任务是对处于监控下的ATM取款机前是否出现蒙面或者脸部遮挡的情况，判断运动目标行为是否异常，从而达到异常检测的目的。异常人脸检测则是在行人目标检测的基础之上进一步识别出特定的异常人脸，例如在给定视频中检测戴口罩，戴墨镜，带鸭舌帽等遮蔽人脸的行为。异常人脸的检测技术可应用于视频监控、视频检索等领域，从而减少海量的监控视频数据给操作人员带来的负担。

典型的行人目标检测方法是基于背景建模的，根据当前序列帧图片信息与背景模型进行对比，并将提取出的多个前景块都当作独立的物体，然后直接利用前景块的特征进行物体分类检测，例如J.Renno等人在”Object Classification in VisualSurveillance Using Adaboost”中提到的方法，该论文收录在2007年的《ComputerVision and Pattern Recognition》会议集第1到8页。这种方法的优点在于根据背景模型能快速的找到前景块，可以达到良好的实时性，而且识别原理比较简单。然而，很多时候在一个前景块中可能出现多个物体，由于运动目标可能出现相互遮挡，在前景的提取处理中他们会被当成一个前景块，该方法就可能将整个前景块判定为一个物体。

对于静态图片中的目标检测问题，Navneet Dalal等人在2005年的《ComputerVision and Pattern Recognition》会议上提出了利用方向梯度直方图特征HoG对行人的形状进行学习并训练SVM分类器，通过分类器去判别和检测行人目标的方法。该论文收录在2005年《Computer Vision and Pattern Recognition》会议集的第886到893页。由于不同行人的形状都比较相似，而且这种方法容许行人有一些细微的肢体动作，这些细微的肢体动作可以被忽略而不影响检测效果，这种方法在静态图片的行人检测中得到了广泛的应用和发展。但这种方法在特征提取和分类过程中将消耗很长时间，使其难以单独应用于视频监控领域。

对于视频目标的跟踪问题，Comaniciu D等人在2000年的《Computer Visionand Pattern Recognition》会议上提出了对基于Mean-shift和颜色特征的实时视频目标跟踪算法，事先给定或者在起始帧中人工确定目标窗口，给目标模板区域的像素设置权值，计算加权核函数下该目标的特征直方图分布，建立目标模型，再用同样的方法计算当前帧图像中搜索窗口的特征分布，提高了跟踪算法的鲁棒和准确性，降低了运算的复杂度。该论文收录在2000年《Computer Vision and PatternRecognition》会议集的第142到149页。但是当出现严重的局部遮挡、背景和目标相似时，Mean-shift算法会失效。

异常人脸检测的主要任务是识别出戴口罩，戴墨镜，带鸭舌帽等遮蔽人脸的行为，由于遮挡会掩盖脸部的大部分信息，这个技术的难点是头部的定位问题，例如Wei Zou等人在《Real-time elliptical head contour detection under arbitrary poseand wide distance range》中提到了基于四分之一圆弧检测头部的方法，该论文收录在2009年的《JOURNAL OF VISUAL COMMUNICATION AND IMAGEREPRESENTATION》期刊第2卷的第217到第228页。Min Li等人在《Rapid androbust human detection and tracking based on omega-shape features》中提到的一种基于ω形状的头部检测方法，该论文收录在2009年的《International Conference onImage Processing》会议集的第2545到2548页。但是他们的缺点：当头部的轮廓形状变化大时，便不能很好的进行头部的定位。

发明内容

本发明针对现有异常人脸检测技术存在的缺陷，提供了一种新的基于运动前景分析和视频序列图片检测技术的异常人脸检测方法，既提升了目标检测的速度和准确度，又能在前景检测的基础上有效地定位出人的头部，然后实时的对头部进行跟踪和遮挡异常的判断，提高了实用性。

为实现上述目的，本发明所采取的技术方案为：本发明分三步，首先检测出视频中的取款人目标，然后对其脸部进行定位以及实时跟踪，最后对脸部区域遮挡的情况进行异常判断。具体为：

第一步，采用高斯混合模型对场景的背景进行建模，在得到背景模型后通过与当前处理图像的比对得到粗略的运动前景，使用前景块所占整幅图像的比率以及目标的位置定位ATM前的取款人，然后再结合连通域分析实现取款人的精定位，接着再进行区域填充和形态学处理等预处理；

第二步，通过自下而上地统计前景身体宽度的变化快速估计取款人的肩部在水平方向上的位置；使用基于高斯能量函数的生长算法找出紧密包裹头部区域的方框，然后利用方框边缘的脸部外轮廓，通过随机Hough变换和最小二乘法拟合头部的椭圆来确定下巴的位置，修订得到头部目标最终的准确位置；获得初始头部目标位置后，基于L1跟踪算子对它进行实时跟踪；

第三步，通过对跟踪到的脸部的肤色面积比例和能否找到眼睛、嘴巴进行判断，进行异常人脸的识别，即检测出戴口罩、戴墨镜、带鸭舌帽这些遮蔽人脸的行为。

优选地，所述的取款人的精定位，具体为：基于高斯混合模型提取出粗略的运动前景块，然后计算前景块所占整幅图像的比率的大小以及前景块所在的位置是否满足设置的阈值，如果满足，那么再结合连通域分析对前面用高斯混合模型得到的轮廓进行修正，从而达到前景块的精定位。反之，则放弃后期的跟踪和识别。

优选地，所述的通过自下而上地统计前景身体宽度的变化快速估计取款人的肩部在水平方向上的位置，具体为：在得到的前景的基础上，对其进行填充和形态学修正得到填充后的头肩部区域；在人体头肩部的形状中，肩部与头部处宽度比躯干部要小很多，根据这一特点，自下而上地扫描前景水平方向的宽度，统计落在各个水平位置上的前景点个数并生成直方图，得出新一行的宽度后比较与上一行宽度的距离，计算差值diff，当diff大于一阈值（一般为上一行宽度乘以某个系数，本专利中取0.1）时则认为找到肩部并停止向上扫描。这样，可以快速找到肩部的位置并得出肩部的左右端位置和宽度。

当进入场景的前景面积在一定范围内时停止更新高斯背景模型，只是利用已有的模型提取初步前景，这样得到的前景时相对充实的前景块。对于干扰的杂点来说，它们的区块相对较小，故提取初步前景图中最大的连通前景区即是目标取款人的前景。这些前景也并不完全是充实的，内部可能有些空洞，使用填充算法进行调整后得到最终的目标前景。然后从前景的下方向上扫描，统计落在各个水平位置上的前景点个数并生成直方图，为克服干扰减小误差，统计上下一定高度的前景区的平均宽度，若某一区域的平均宽度比其下方区域的宽度减小很多则这个区域就是肩部，最后对这个区域进行逐行扫描，找出宽度最大的一行作为肩部。

前景点在x方向的投影直方图计算公式如下

$\mathrm{Histogram}\left(x\right)=\underset{y=0}{\overset{\mathrm{height}}{\mathrm{\Σ}}}I(x,y)$

其中Histogram(x)表示直方图的第x个通道的值，x对应于图像的横坐标，即有直方图的通道数等于图像的宽度，height对应于图像的高度，I(x,y)对应于二值前景图像在坐标(x,y)的值。

优选地，所述的头部目标最终的准确位置，具体为：根据上一步得到的头肩部区域来确定初始的矩形生长框所在位置，然后定义一个所谓的高斯能量函数，人头区域内部设为正值，外部设为负值，并确定初始的矩形生长框所在位置，它对应于扫描线的初始列或者行，如此让每条扫描线上的点的值乘以该点分配到的系数，累加起来就是这条边界的高斯能量，当它的值稳定在一定范围时，就停止迭代，通过这种基于高斯能量函数的生长算法，能准确地找出紧密包裹头部区域的方框，当这种生长算法得到的头部区域高和宽满足一定条件时，然后利用canny算子提取头部区域的线条，之后基于随机Hough变换并利用最小二乘法进行椭圆拟合来确定下巴的位置，获取椭圆线条的上下左右边界并进行边界校正，从而得到头部目标最终的准确位置。

高斯能量函数为

其中μ和σ分别为指定的分布均值和标准方差（本专利中对于每一条边界，取其中间行或者列作为其均值，取边界长度的1/6作为标准差），x和y分别为图像中的横坐标和纵坐标值，m和n分别对应图像中扫描线所在的行和列，生长方向不一样，它们的变化也不同，例如：向左进行一次生长后，m=m-1，向右生长时，m=m+1，向上生长时，n=n-1。f(x,m)表示在点(x,m)处的灰度值，f(n,y)表示在点(n,y)处的灰度值。

那么总的能量函数为

$G=\underset{x=l1}{\overset{l2}{\mathrm{\Σ}}}g\left(x\right)$ 或者 $G=\underset{y=l3}{\overset{l4}{\mathrm{\Σ}}}g\left(y\right)$

其中l1，l2，l3，l4分别是指定的扫描线的变量的范围，它们是通过前期前景块的分析得到的。通过对总能量G的进行分析，就确定了3条外切线的位置，为了分别得到切线上的外切点的坐标，然后对每条切线上的点做加权求和后再取平均，公式如下：

左切点的纵坐标 $\mathrm{Tleft}=\frac{\underset{x=l1}{\overset{l2}{\mathrm{\Σ}}}h\left(x\right)f(x,m)x}{\underset{x=l1}{\overset{l2}{\mathrm{\Σ}}}h\left(x\right)f(x,m)}$

右切点的纵坐标 $\mathrm{Tright}=\frac{\underset{x=l1}{\overset{l2}{\mathrm{\Σ}}}h\left(x\right)f(x,m)x}{\underset{x=l1}{\overset{l2}{\mathrm{\Σ}}}h\left(x\right)f(x,m)}$

左切点的纵坐标 $\mathrm{Ttop}=\frac{\underset{x=l3}{\overset{l4}{\mathrm{\Σ}}}h\left(y\right)f(n,y)x}{\underset{x=l3}{\overset{l4}{\mathrm{\Σ}}}h\left(y\right)f(n,y)}$

其中h(x)是指定的某个加权函数，本发明中使用标准正态函数。

这样，就找到头部半椭圆轮廓的3个外切点。接下来就要进行头部椭圆拟合操作。基于随机Hough变换的椭圆拟合方法是分别以上述三个切点为中心选取相同大小的窗口，利用最小二乘法对这三个窗口中的所有边缘点进行椭圆拟合，然后在图像中随机选取第四个边缘点，以判断图像中是否存在一个可能的椭圆。给定在图像坐标系(u,v)中的三个边缘点(u_i,v_i)，i=1,…,n。椭圆的参数方程可以表示为：au²+buv+cv²+du+eu+f=0。那么通过坐标变换，可以得到上面椭圆方程的五个特征参数，例如中心点坐标(u_c,v_c)，长轴长度M，短轴长度N以及椭圆的旋转角θ可以由如下公式计算：

椭圆的旋转角中心点坐标u_c=-n₁/2m₁,v_c=-n₂/2m₂，长轴长度 $M=\sqrt{\frac{m_2{n_1}^2+m_1{n_2}^2-{4m}_1{m}_{2}f}{{{4m}_1}^2{m}_2}},$ 短轴长度 $N=\sqrt{\frac{m_2{n_1}^2+m_1{n_2}^2-{4m}_1{m}_{2}f}{{4m}_1{m_2}^2}}.$

其中m₁=acos²θ+bsinθcosθ+csin²θ，m₂=asin²θ-bsinθcosθ+ccos²θ，n₁=dcosθ+esinθ，n₂=-dsinθ+ecosθ。下面随机选取第四个边缘点(u₄,v₄)，那么它到椭圆边缘的距离dist可以由下式计算

dist=|au₄ ²+bu₄v₄+cv₄ ²+du₄+eu₄+f|

如果第四个点位于椭圆上，那么dist的理想值为零。经过上述的流程，就可以得到一个对头部的精确的拟合的椭圆。

得到头部上、左、右边界的切线后，下一步是寻找下边界。由于人身高、脖子长度、面部大小的差异性，从摄像机中拍到的下巴很少会与定位到的肩部位置重合，大多情况下是在肩部上下方浮动。人的面部是一个近似的椭圆，利用脸部的外轮廓拟合椭圆可以估计出下巴的位置。由于取款人在ATM前移动幅度很小，很难通过帧差法得到清晰的轮廓，故利用canny算子提取头部区域的线条，然而并不是所有线条都是有用的，头顶部的线条因为取款人发型和肯能戴帽子的关系并不可靠，人脸内部的线条过于凌乱同样没有使用价值，头部左右下角往往有领子也会干扰拟合过程，故消除掉这些区域的线段，只保留中下部靠近方框边界的外轮廓，之后基于最小二乘法的手段进行拟合得到椭圆，取椭圆的最下方作为下巴和人脸的下届，从而得到精确的人脸区域。

优选地，所述的基于L1跟踪算子对它进行实时跟踪，具体为：根据上述拟合椭圆的位置作为当前的目标位置X_t-1，设定目标模板为T，粒子数量为O，首先用以X_t-1为均值，ψ为方差的高斯分布随机生成个O粒子{Xⁱ _t:i=1,2…,n}，并设置各粒子的权值为wⁱ _t=1/n，获取每个候选目标位置Xⁱ _t对应的候选区域，归一化并拉伸为向量，记作yⁱ _t，对每个候选特征yⁱ _t，使用过完备基D（包括目标模板T和小模板）构造最小化问题，得到稀疏编码系数cⁱ _t，计算使用过完备基D对于每个候选特征yⁱ _t的匹配效果dⁱ _t=||yⁱ _t-Dcⁱ _t||₂，根据dⁱ _t更新粒子权值wⁱ _t，使得∑iwⁱ _t=1，获取当前帧目标位置X_t=∑iwⁱ _tXⁱ _t,i=1,…,n，获取X_t对应的目标物特征y_t，并计算其在过完备基D上的稀疏系数c_t，最后更新目标模板T。这样便实现了对遮挡人脸的实时跟踪。

优选地，所述异常人脸的识别，具体为：采用在YCbCr颜色空间下的肤色检测算法实现ATM机前人脸肤色的检测，用L1跟踪算子对区域中目标人脸进行跟踪；其次进行人脸确认和基于预先定义语义的识别，判断的依据为检测的蒙面或者脸部有遮挡人脸面积、正常取款即脸部无遮挡的人脸面积的比值和持续时间、能否找到眼睛和嘴巴。

更进一步的，所述的异常人脸的识别，具体通过以下方式实现：一旦头部被准确的定位后，在定位后的椭圆区域内进行人脸遮挡的判断；肤色面积比scar=s1/s2(s1,s2分别代表人脸区域的肤色像素的个数和椭圆内的总的像素的个数)，如果scar大于预先设定的阈值（k=0.6），那么表示脸部未被遮挡，反之，如果scar小于这个阈值且持续的时间大于设定的阈值T_caution，那么就认定这时存在故意遮挡；眼睛、嘴巴器官的检测，人脸图像中，眼睛部位的灰度值通常比周围区域的灰度值更小，利用该特征可以采用数学形态学的方法进行特征点的提取，而且在肤色提取后，眼睛和嘴巴区域被分割成小块状区域，利用最小外接矩形描述眼睛区域的轮廓，并依据长宽比例及位置可以准确的检测出眼睛和嘴巴，如果在当前图像中能够快速的找到眼睛和嘴巴等器官，那么就认定当前是正常人脸，反之，则回到上一步肤色面积比的判定中，由于这个算法简单快速，它可以大大节省异常人脸识别的时间。

本发明的原理如下：结合高斯混合模型和连通域分析提取运动前景，使用前景点所占前景块比率以及目标的位置定位ATM前的取款人，利用一种自下而上扫描统计填充后的前景点宽度变化的方法来快速估计取款人的肩部在水平方向上的位置；使用基于高斯能量函数的生长算法找出紧密包裹头部区域的方框，然后利用canny算子提取头部区域的线条，之后基于随机Hough变换并利用最小二乘法进行椭圆拟合来确定下巴的位置，获取椭圆线条的上下左右边界并进行边界校正，从而得到头部目标最终的准确位置；获得初始头部目标位置后，基于L1跟踪算子对它进行实时跟踪；在YCbCr颜色空间下进行肤色检测，通过对跟踪到的脸部的肤色面积比例和能否找到眼睛、嘴巴等重要器官进行判断，识别出戴口罩，戴墨镜，带鸭舌帽等遮蔽人脸的行为。

与现有技术相比，本发明具有以下有益效果：

本发明不仅能够准确快速的实现有遮挡人脸的定位和跟踪，还可以方便的对异常人脸进行判别，本发明不仅可以应用于传统的视频监控系统中，实现人头的定位以及跟踪，而且还能在ATM视频检索中检索出有遮挡的可疑人员。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明的整体框架示意图。

图2是基于高斯混合模型和连通域分析的前景提取图。

图3是基于高斯能量函数的生长算法的效果说明图，其中（a）肩部定位；(b)生长法定位外轮廓，红线为初始位置，绿色为中间迭代过程，黄线为最后结果；(c)椭圆拟合结果；(d)最终头部定位结果。

图4是基于L1跟踪算子的实时跟踪结果示意图。

图5是实现异常人脸检测的结果示意图。

图6是测试视频检测人脸遮挡的效果图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

实施例

本实施例提供一种ATM取款机前的异常人脸检测方法，该方法主要在matlab2010a平台下进行开发完成，核心程序用matlab编写，目标跟踪时用到了混合编程（malab调用c++），基于高斯能量函数的生长算法程序用Matlab编写。测试所用到的是一个关于模拟真实场景中ATM取款机前的视频（432×240像素，30fps），场景中有大量的遮挡人脸的情况。

本实施例的具体实现步骤如下：

第一步，基于高斯混合模型和帧差法提取准确的前景轮廓，过程如下：

(1)建模采用RGB彩色模型，对每个像素分别建模。每个像素都可以用最多N个高斯模型来描述它们在不同“状态”下的颜色（根据经验N对于室内一般选择2～3即可）。也就是说每个像素的历史信息，被这最多N个高斯模型所描述。假设当前帧某个像素位置p的颜色表示为I(p)，那么根据混合高斯模型的定义，这个像素呈现这一颜色的概率为

$P(I\left(p\right),t)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_k\left(t\right)g(I\left(p\right),{\mathrm{\μ}}_k\left(t\right),{\mathrm{\σ}}_k^2\left(t\right))$

其中K（K<N）是当前模型的数目，w_k(t)是对应像素p的第k个高斯模型的权重

μ_k(t)是第k个高斯模型的中心，(t)是第k个高斯模型的方差，g是一个高斯概率密度函数。虽然采用3通道的RGB彩色模型，但是使用协方差矩阵会造成额外的计算负担。对于每个模型，就只保存一个方差值，所对应的是要为I(p)-μ定义一个标量的距离，如

$|I\left(p\right)-\mathrm{\&mu;}|=\underset{c=R,G,B}{\max }\left(\right|I_c\left(p\right)-{\mathrm{\&mu;}}_c\left|\right)$

或者各个通道上独立分析。基于定义的混合高斯模型，一般需要通过一定帧数的训练过程来保证其准确性，之后依然会更新模型。实际上，运用混合高斯模型来做前景检测和对模型的更新几乎是同步完成的。

(2)保持所有这K个模型都按照各自的权重w_k(t)由大到小排序，并设置一个阈值δ_w，表示仅认可所有模型中权重最大的、总和占比例δ_w的若干模型为稳定模型。针对满足如下条件

的模型，当模型和当前像素值匹配时，即

|I(p)-μ_k(t)|<2.5σ_k(t)时，认为像素p属于背景，否则像素p属于前景（或者阴影）区域。同时，根据I(p)与所有模型比较的结果进行模型更新。

当像素的当前值与第k个模型匹时，执行如下更新

μ_k(t+1)=(1-α)μ_k(t)+αI(p)

${\mathrm{\&sigma;}}_k^2(t+1)=(1-\mathrm{\&alpha;}){\mathrm{\&sigma;}}_k^2\left(t\right)+\mathrm{\&alpha;}({\mathrm{\&mu;}}_k\left(t\right)-I\left(p\right){)}^2$

一般会对

(t)设置一定的下限值，避免稳定的背景图像使得高斯模型变得过于“陡峭”。当I(p)和所有模型均不匹配时，如果K<N，就新加入一个高斯模型到像素p的混合高斯模型中，并设置K=K+1，μ_K(t+1)=I(p)，(t+1)初始为一个很大的方差值，w_K(t+1)初始为一个很小的权重值。如果K=N，就丢弃现有N个模型中

最小的一个模型，并按上述同样方法加入一个新的模型。通过多个高斯模型的综合描述和更新的作用，一般场景中的缓慢变化都能被适应，对于突然发生的背景变化所造成的噪声，也会在一定帧数之后消除。

(3)通过背景减除得到的运动目标区域，是包含大量噪声的结果，所以要进行阴影消除。首先，计算背景颜色B(p)和当前帧颜色I(p)之间的夹角φ，I(p)与白色(1,1,1)之间的夹角φ_B。然后计算当前颜色向量在B(p)上的投影h，这就描述了亮度的变化

h=|I(p)|cosφ

此时满足如下条件的像素，就是可能属于阴影的像素：

$\left\{\begin{array}{c}{r}_l<h/B\left(p\right)<r_h\\ \mathrm{\&phi;}<\min ({\mathrm{\&phi;}}_B,{\mathrm{\&delta;}}_{\mathrm{\&phi;}})\end{array}\right.$

其中r_h、r_l为光照变化比例的上下界，δ_φ是预先设定的色调角度差上界，同时色调变化也不应该越过灰色边界。针对每一个非背景点的权重较大的背景模型进行判断，如果判断结果为可能是阴影，则标记为阴影区域，否则标记为前景区域。这样得到的检测结果对于每个像素都有三种状态：前景、背景、阴影。

(4)由于混合高斯模型建模法只能针对运动目标，而取款人在操作ATM时会有相当长的时间移动很少，这样取款人易被当做背景而吸收入模型中，提取出的前景空洞很多也不准确。为了克服这个问题，本发明如此改进混合高斯模型：统计新入帧的前景点的数目，当数目在一定范围内时不再更新模型，而只是使用已有模型来提取前景，从而有效避免了上述问题，可以获得准确而充实的前景。

(5)接下来，处理光照突变问题，假设光照突变使所有背景像素增加或减少一定亮度△V。当△V大于一定值时，它将会使大量背景超出其对应的高斯模型的允许范围，所以要做的就是将实际的全局光照变化限制在一定范围内。首先计算每一帧图像的平均灰度

然后需要设置一个参数，即每两帧之间（在某些追求效率的情况下，不是每帧都参与背景模型更新，这时与当前帧比较的对象应该是最近参与背景更新的帧）允许发生的最大全局（平均）灰度变化绝对值δ_△V。接下来按照如下规则，将每两帧之间的光照变化“钳制”在一定范围内，并允许其按照原本的变化趋势，缓慢变化，并带动背景模型的更新。

(6)接下来，统计寻找最大的连通域作为前景，排除小的连通域。最后计算前景块所占整幅图像的比率的大小以及前景块所在的位置是否满足本发明设置的阈值，如果满足，那么继续后期第二步的操作，反之，不做任何处理。

第二步，利用高斯混合模型对场景的背景进行建模。

第三步，通过当前处理视频图像与背景模型比对得到初步的前景图像，对前景图像进行滤波和形态学处理以去除噪声点和填补小的孔洞。将处理后得到的前景用轮廓块提取函数将运动目标以前景方块的形式提取出。

第四步，计算前景块所占整幅图像的比率的大小以及前景块所在的位置是否满足设置的阈值，如果满足，那么再结合帧差图像所得到的轮廓对前面用高斯混合模型得到的轮廓进行修正，从而达到前景块的精定位。反之，则放弃后面的操作。

第五步，对目标轮廓内部进行填充，然后计算前景点在X方向的投影直方图

$\mathrm{Histogram}\left(x\right)=\underset{y=0}{\overset{\mathrm{height}}{\mathrm{\&Sigma;}}}I(x,y)$

统计落在各个水平位置上的前景点个数并生成直方图，从前景的下方向上扫描，为克服干扰减小误差，统计上下一定高度的前景区的平均宽度，若某一区域的平均宽度比其下方区域的宽度减小很多则这个区域就是肩部，最后对这个区域进行逐行扫描，找出宽度最大的一行作为肩部。

第六步，根据上一步得到的肩部中间区域来确定初始的矩形生长框所在位置。由前景块判定得到目标的高度base_height、左边界base_left、右边界base_right、目标肩部最底部所在行base_row、目标头部所在最小行r_min。

第七步，初始化矩形框中的左扫描线的初始列为seed.base_left+(seed.base_right-seed.base_left)/3，上扫描线的初始行为（seed.base_row+r_min)/2，右扫描线的初始列为seed.base_right-(seed.base_right-seed.base_left)/3。

第八步，计算高斯总能量函数G

向左或者向右生长时

$G=\underset{x=l1}{\overset{l2}{\mathrm{\&Sigma;}}}\exp (-\frac{{(x-\mathrm{\&mu;})}^2}{{2\mathrm{\&sigma;}}^2})(2f(x,m)-1)$

向上生长时

$G=\underset{y=l3}{\overset{l4}{\mathrm{\&Sigma;}}}\exp (-\frac{{(y-\mathrm{\&mu;})}^2}{{2\mathrm{\&sigma;}}^2})(2f(n,y)-1)$

其中，μ和σ分别为指定的分布均值和标准方差，m和n分别对应图像中扫描线初始所在的行和列，f(x,m)和f(n,y)分别表示在点(x,m)和(n,y)处的灰度值，l1，l2，l3，l4分别是指定的扫描线的上边界、下边界、左边界、右边界。

第九步，不断的生长，当某条扫描线上的能量G的值的不再增加时，停止迭代，这条扫描线则就是所要得到的头部椭圆轮廓的外切线，这样便得到了3条外切线。

对3条切线上的点分别进行加权求和后再取平均，公式如下：

左切点的纵坐标 $\mathrm{Tleft}=\frac{\underset{x=l1}{\overset{l2}{\mathrm{\&Sigma;}}}h\left(x\right)f(x,m)x}{\underset{x=l1}{\overset{l2}{\mathrm{\&Sigma;}}}h\left(x\right)f(x,m)},$

右切点的纵坐标 $\mathrm{Tright}=\frac{\underset{x=l1}{\overset{l2}{\mathrm{\&Sigma;}}}h\left(x\right)f(x,m)x}{\underset{x=l1}{\overset{l2}{\mathrm{\&Sigma;}}}h\left(x\right)f(x,m)}$

左切点的纵坐标 $\mathrm{Ttop}=\frac{\underset{x=l3}{\overset{l4}{\mathrm{\&Sigma;}}}h\left(y\right)f(n,y)x}{\underset{x=l3}{\overset{l4}{\mathrm{\&Sigma;}}}h\left(y\right)f(n,y)}$

其中h(x)是指定的标准正态函数。这样，就求得了头部半椭圆轮廓的3个外切点。

第十步，根据这三个点进行椭圆拟合操作，过程如下：

根据上述得到的3个外切点，先估计椭圆的中心点坐标值。然后再根据坐标的位置关系，确定椭圆的旋转角度。

提取出外切线框住的头部区域，对其使用canny算子提取边界线条。将这个区域中上方四分之一、中部（行列植均从1/6至5/6）、左右下角（行高0.1倍总高度，宽度0.2总宽度）三个区域中的线条去除掉，只保留中下部边缘处的轮廓。

基于随机Hough变换并利用最小二乘法进行椭圆拟合，获取椭圆线条的上下左右边界并进行边界校正。

在图像中随机选取第四个边缘点，以判断图像中是否存在一个可能的椭圆。经过上述的流程，就可以得到一个对头部的精确的拟合的椭圆。

第十一步，基于L1跟踪算子对已经定位到的头部进行实时跟踪。

跟踪的方法如下：

根据上述拟合椭圆的位置作为当前的目标位置X_t-1，设定目标模板为T，粒子数量为O。

以X_t-1为均值，ψ为方差的高斯分布随机生成个O粒子{Xⁱ _t:i=1,2…,n}，并设置各粒子的权值为wⁱ _t=1/n。

获取每个候选目标位置Xⁱ _t对应的候选区域，归一化并拉伸为向量，记作yⁱ _t，对每个候选特征yⁱ _t，使用过完备基D（包括目标模板T和小模板）构造最小化问题，得到稀疏编码系数cⁱ _t。

计算使用过完备基D对于每个候选特征yⁱ _t的匹配效果dⁱ _t=||yⁱ _t-Dcⁱ _t||₂，根据dⁱ _t更新粒子权值wⁱ _t，使得∑iwⁱ _t=1。

获取当前帧目标位置X_t=∑iwⁱ _tXⁱ _t,i=1,…,n，获取X_t对应的目标物特征y_t，并计算其在过完备基D上的稀疏系数c_t，最后更新目标模板T。

第十二步，进行异常人脸的判断，识别方法如下：

计算肤色面积比scar

$\mathrm{scar}=\frac{S1}{S2}$

其中s1,s2分别代表人脸区域的肤色像素的个数和椭圆内的总的像素的个数。

如果scar>0.6，那么表示脸部未被遮挡。反之，如果scar<0.6且持续的帧数大于设定的阈值T_caution，那么就认定这时存在故意遮挡。

进行眼睛、嘴巴器官的检测。

肤色提取后，眼睛和嘴巴区域被分割成小块状区域，利用最小外接矩形描述眼睛区域的轮廓，并依据长宽比例及位置检测眼睛和嘴巴。

如果在当前图像中能够快速的找到眼睛和嘴巴等器官，那么就认定当前是正常人脸，反之，则回到上面的肤色面积比的判定中。

实施效果和说明：

根据上面的方法，本发明对采集的视频序列作了测试。图2给出了基于高斯混合模型和连通域分析的前景提取图的过程。第一行的图是当前处理的视频原图像，第二行的图是由高斯混合模型得到的运动前景图像，第三行的图是结合连通域分析得到的效果图。从给出的效果可以看出这种方法能够更好的提取目标的轮廓。

图3是基于高斯能量函数的生长算法的说明图，由于本发明的头部半椭圆轮廓的快速估计是基于每一行的前景像素点个数检测的，所以必须对上述得到的轮廓进行填充。本发明应用于监控场景，一般摄像头都是向下倾斜放置的，在这种情况下，取款人的头部和肩部就成为了前景块，如图3中，所以发明中用到的基于高斯能量函数的生长算法在监控场景中基本可以准确的找到取款人的头部。

图4是基于L1跟踪算子的实时跟踪结果。

图5是进行异常性人脸判别的示意图。

图6是测试视频检测人脸遮挡的效果图，可以看出虽然场景中取款人的姿势和动作变化很复杂，但实施例的程序基本能把所有异常情况检测到，并且准确定位到脸部。

所有实验均在PC计算机上实现，计算机的参数为Intel(R)Core(TM)i3CPUM3502.27GHZ,内存1.92GB。视频处理速度基本能够达到实时，针对实施例中用到的较复杂视频场景，平均处理一帧432×240尺度的图像所用时间约为90ms。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.一种ATM取款机前的异常人脸检测方法，其特征在于，所述方法分三步，首先检测出视频中的取款人目标，然后对其脸部进行定位以及实时跟踪，最后对脸部区域遮挡的情况进行异常判断；具体为：

第一步，采用高斯混合模型对场景的背景进行建模，在得到背景模型后通过与当前处理图像的比对得到粗略的运动前景，使用前景块所占整幅图像的比率以及目标的位置定位ATM前的取款人，然后再结合连通域分析实现取款人的精定位，接着再进行区域填充和形态学处理；

第二步，通过自下而上地统计前景身体宽度的变化快速估计取款人的肩部在水平方向上的位置；使用基于高斯能量函数的生长算法找出紧密包裹头部区域的方框，然后利用方框边缘的脸部外轮廓，通过随机Hough变换和最小二乘法拟合头部的椭圆来确定下巴的位置，修订得到头部目标最终的准确位置；获得初始头部目标位置后，基于L1跟踪算子对它进行实时跟踪；

第三步，通过对跟踪到的脸部的肤色面积比例和能否找到眼睛、嘴巴进行判断，进行异常人脸的识别，即检测出戴口罩、戴墨镜、带鸭舌帽这些遮蔽人脸的行为。

2.根据权利要求1所述的ATM取款机前的异常人脸检测方法，其特征在于，所述的取款人的精定位，具体为：基于高斯混合模型提取出粗略的运动前景块，然后计算前景块所占整幅图像的比率的大小以及前景块所在的位置是否满足设置的阈值，如果满足，那么再结合连通域分析对前面用高斯混合模型得到的轮廓进行修正，从而达到前景块的精定位；反之，则放弃后期的跟踪和识别。

3.根据权利要求1所述的ATM取款机前的异常人脸检测方法，其特征在于，所述通过自下而上地统计前景身体宽度的变化快速估计取款人的肩部在水平方向上的位置，具体为：在得到的前景的基础上，对其进行填充和形态学修正得到填充后的头肩部区域；在人体头肩部的形状中，肩部与头部处宽度比躯干部要小很多，根据这一特点，自下而上地扫描前景水平方向的宽度，统计落在各个水平位置上的前景点个数并生成直方图，得出新一行的宽度后比较与上一行宽度的距离，计算差值diff，当diff大于一阈值时则认为找到肩部并停止向上扫描，所述阈值为上一行宽度乘以某个系数，取0.1，这样能快速找到肩部的位置并得出肩部的左右端位置和宽度。

4.根据权利要求1所述的ATM取款机前的异常人脸检测方法，其特征是，所述使用基于高斯能量函数的生长算法找出紧密包裹头部区域的方框，具体为：根据上一步得到的肩部区域来确定初始的矩形生长框所在位置，然后定义一个一维的高斯能量函数，它的变量是以不断更新的坐标值作为输入，这种能量函数有正负之分，对于扫描线，在这条线上属于头肩区域内部的点，定义为正能量，反之则定义为负能量，如果在这条线上的所有能量值的和不断增加，那么就按照定义的规则向某个方向继续生长，反之，这条扫描线则就是所要得到的头部椭圆轮廓的外切线，同理做三个方向的矩形生长，那么就找到了3个外切线。

5.根据权利要求1所述的ATM取款机前的异常人脸检测方法，其特征是：所述头部目标最终的准确位置，具体为：当基于高斯能量函数的生长算法得到的头部区域高和宽满足一定条件时再去进一步利用边缘信息拟合寻找头部的椭圆，利用canny算子提取头部区域的线条，消除掉头顶部的线条、人脸内部的线条以及头部左右下角的线段，只保留中下部靠近方框边界的外轮廓，之后基于随机Hough变换并利用最小二乘法进行椭圆拟合，获取椭圆线条的上下左右边界并进行边界校正，从而精确的得到包裹住人脸部的方框区域。

6.根据权利要求1所述的ATM取款机前的异常人脸检测方法，其特征是，所述基于L1跟踪算子，是指：基于稀疏编码的目标跟踪算法，将目标图像块内的所有像素使用小模板处理，小模板的数量等于目标模板向量的维数，在稀疏编码中融入遮挡、噪声对目标物的影响的参数，从而使跟踪子能感知目标物出现的各种变化，因而能够更为鲁棒地更新目标模板。

7.根据权利要求1所述的ATM取款机前的异常人脸检测方法，其特征是，所述异常人脸的识别，具体为：采用在YCbCr颜色空间下的肤色检测算法实现ATM机前人脸肤色的检测，用L1跟踪算子对区域中目标人脸进行跟踪；其次进行人脸确认和基于预先定义语义的识别，判断的依据为检测的蒙面或者脸部有遮挡人脸面积、正常取款即脸部无遮挡的人脸面积的比值和持续时间、能否找到眼睛和嘴巴。

Images