CN103971100A - 基于视频并针对自动提款机的伪装与偷窥行为的检测方法 - Google Patents

Abstract

一种基于视频并针对自动提款机的伪装与偷窥行为的检测方法。其包括采集视频图像；获取图像的ROI：检测人脸信息；跟踪人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息；验证人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息；判断伪装与偷窥行为等步骤。本发明提供的基于视频并针对自动提款机的伪装与偷窥行为的检测方法通过肤色和运动信息获得感兴趣区域，然后使用AdaBoost方法在感兴趣区域图像上进行检测，然后根据检测返回结果，使用综合判断模块，确定最终的伪装和偷窥行为是否发生，同时根据各帧之间的相关性进行跟踪，获得更为稳健的结果。

Description

基于视频并针对自动提款机的伪装与偷窥行为的检测方法

技术领域

本发明属于图像处理和视频智能监控技术领域，特别是涉及一种基于视频并针对自动提款机的伪装与偷窥行为的检测方法。

背景技术

为了方便储户快捷存取款和进行其他金融业务，各大银行、邮政储蓄所等处都安装了自助银行与自动柜员机(自动提款机，Automatic Teller Machine)。然而这些自动提款机在为人们的生活带来便利的同时，也带来了日益增多的自动提款机案件纠纷及自动提款机金融犯罪。而目前，在自动提款机的安全措施上，最多只是在自动提款机的上方安装一个摄像头，用于记录自动提款机前发生的情况。但这样仍无法防止各类安全问题的发生，而只能在安全问题发生后，为寻找线索提供一点帮助，因此不能从根本上提高存/取款人利用自动提款机存/取款的安全。因此，自动提款机的智能监控技术得到了极大的关注。

公开号为CN101303785A的中国专利申请公开了一种存/取款机的安全监控系统及方法，该系统可以根据当前时间段的视频图像，检测当前进入所述监控区域的人员数目。但是该方法并不能检测出伪装与偷窥行为。公开号为CN101276499A的中国专利申请公开了一种基于全方位计算机视觉的自动提款机设备的智能监控装置，增加了预防使用者在取款过程中被窥视的监控手段。但是该智能监控装置并不能检测自动提款机前的伪装行为。

传统的人脸检测方法包括如下步骤：首先通过目标的一些简单特征(比如颜色，亮度，运动等)快速获得当前目标的可能区域；然后，通过可能区域的一些复杂特征(比如灰度分布，纹理特征等)验证当前感兴趣区域(ROI)是否为目标。目前，人脸检测方法中的主流方法是使用统计学习的方法从大量目标样本中获得其灰度分布的统计特征，然后再使用这些特征进行目标检测。这两种方法各有特点，前者速度快，能够快速提取与目标在某个特征维度上相似的区域，但是无法在复杂场景下同时保证检测率和误检率。后者计算量大，对硬件系统要求较高，但是由于所采用的机制比较复杂，能够获得比前者更高的检测率和更低的误检率。

综上所述，目前迫切需要提供一种能够检测自动提款机的伪装和偷窥行为的方法和系统。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于视频并针对自动提款机的伪装与偷窥行为的检测方法。

为了达到上述目的，本发明提供的基于视频并针对自动提款机的伪装与偷窥行为的检测方法包括：所述检测方法包括按顺序执行的下列步骤：

步骤01：采集视频图像，即采集监控场景的视频图像，本步骤有两种情况，即采集彩色图像或采集灰度图像；

步骤02：获取图像的ROI，本步骤有两种情况，1)如果步骤01采集的为彩色图像，则本步骤获取彩色图像的ROI，即建立肤色模型，并根据该肤色模型从采集的彩色视频图像中获取ROI；2)如果步骤01采集的为灰度图像，则本步骤获取灰度图像的ROI，即从灰度图像中获取ROI；

步骤03：检测人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息；

步骤04：跟踪上述人脸信息；

步骤05：验证上述人脸信息；

步骤06：判断伪装与偷窥行为。

在步骤02的情况1)中，所述建立肤色模型的方法包括以下步骤：

步骤201：肤色样本提取和分类，根据事前收集的与实际应用场景相似的人脸样本提取其肤色样本，并将所述肤色样本按照光照的高低分为高亮度样本集合H、中亮度样本集合M和低亮度样本集合L；

步骤202：YUV空间特征统计，分别将所述高亮度样本集合H、中亮度样本集合M和低亮度样本集合L转换到YUV空间，分别统计所述高亮度样本集合H、中亮度样本集合M和低亮度样本集合L内所有像素的YUV空间特征，所述YUV空间特征包括Y分布、U/V分布和UV的二维直方图；

步骤203：肤色模型构成和存储，分别将所述YUV空间特征构成相应的高亮度样本集合H、中亮度样本集合M或低亮度样本集合L的肤色模型，并进行存储。

在步骤02的情况1)中，所述根据肤色模型从采集的彩色视频图像中获取ROI的方法包括以下步骤：

选择和更新当前帧的肤色模型S；

计算子块的YUV空间特征；

提取肤色区域；

提取候选人脸区域。

所述选择和更新当前帧的肤色模型S的方法包括以下步骤：

1)使用AdaBoost方法对连续N帧的彩色图像进行全图检测，提取每帧图像的人脸区域，其中将当前帧作为最后一帧；

2)分别提取出每帧图像中人脸区域的YUV空间特征，计算所述YUV空间特征的平均值，以获得N帧图像中人脸区域的平均YUV空间特征；

3)将所述平均YUV空间特征分别与存储的高亮度样本集合H、中亮度样本集合M和低亮度样本集合L的肤色模型对应的YUV空间特征进行比较，从中选择与所述平均YUV空间特征最相似的特征对应的肤色模型作为调节模型△S；和

4)计算当前帧的肤色模型S并进行更新，其计算公式如下：

S＝wS′+(1-w)S

其中，S′表示前一帧的肤色模型，S为当前帧的肤色模型，w为权重。

所述计算子块的YUV空间特征的方法是：将当前帧的图像进行分块，统计每个子块的YUV空间特征，所述YUV空间特征包括Y分布、U/V分布以及UV的二维直方图。

所述提取肤色区域的方法是计算每个子块的YUV空间特征与当前帧的肤色模型中的特征的相似度，并将高相似度的子块分类为肤色；其中，计算每个子块的YUV空间分布特征与肤色模型中的特征的相似度是：计算每个子块与肤色模型中的Y分布的相似度；计算子块与肤色模型中的U/V分布的相似度；计算子块与肤色模型中的UV的二维直方图的相似度。

所述提取候选人脸区域的方法中将分类为肤色的子块进行阈值分割、连通区域分析，获取符合人脸条件的区域。

在步骤02的情况2)中，所述的从灰度图像中获取ROI的方法是：设定背景建模的时间，统计该时间内各帧图像的平均值作为背景图像，随后采用滑动平均方法更新背景图像，紧接着对当前帧图像和背景图像的灰度作差值，对该差值图像进行二值化，然后对二值化后的区域进行分割、归并和滤除，最后获得的区域为当前帧灰度的ROI。

在步骤04中，所述的跟踪人脸信息的方法是：如果当前帧没有检测到目标且当前帧距离最近一次检测到人脸的帧数的差距的小于给定阈值时，则跟踪模板；如果当前帧检测到目标，则只是更新跟踪模板；如果当前帧和最近一次检测到人脸的帧数的差距不小于给定阈值时，则清空模型，不再启动步骤04，直至下一次检测到人脸再启动步骤04。

在步骤05中，所述的验证人脸信息的方法是：首先离线统计人脸的各个部位的灰度分布特征和平均模板，所述部位包括眼睛、嘴巴、鼻子，然后使用所述灰度分布特征的统计值和平均模板方法验证所述步骤03获取的人脸检测区域目标内是否具有部位属性，如果具有部位属性则对于验证的目标执行步骤05，否则认为该目标是背景；

在步骤06中，所述的判断伪装与偷窥行为的方法是：通过在检测序列上加入时间窗，判断时间窗内的检测结果，当检测结果一致时，则认为发生伪装行为；使用最大人脸面积来判断操作者的存在，如果所述最大人脸面积大于阈值5，则认为有操作者存在，然后计算偷窥者的脸部面积和操作者的脸部面积的比值，如果所述比值在设定的最小阈值和最大阈值之间，则认为存在偷窥行为。

本发明提供的基于视频并针对自动提款机的伪装与偷窥行为的检测方法通过肤色和运动信息获得感兴趣区域，然后使用AdaBoost方法在感兴趣区域图像上进行检测，然后根据检测返回结果，使用综合判断模块，确定最终的伪装和偷窥行为是否发生，同时根据各帧之间的相关性进行跟踪，获得更为稳健的结果。

附图说明

图1为本发明提供的基于视频并针对自动提款机的伪装与偷窥行为的检测方法流程图。

图2为本发明提供的检测方法中建立肤色模型的流程图；

图3为本发明提供的检测方法中根据肤色模型从采集的彩色视频图像中获取ROI的流程图；

具体实施方式

下面结合附图和具体实施例对本发明提供的基于视频并针对自动提款机的伪装与偷窥行为的检测方法进行详细说明。

为使审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。

图1示出了本发明提供的基于自动提款机的伪装与偷窥行为的检测方法的流程图。如图1所示，本发明的自动提款机的伪装与偷窥行为的检测方法包括按顺序执行的下列步骤：

步骤01：采集视频图像，即采集监控场景的视频图像，本步骤包含两种情况的采集，即采集彩色图像或采集灰度图像；

步骤02：获取图像的ROI，本步骤有两种情况，1)如果步骤01采集的为彩色图像，则本步骤获取彩色图像的ROI，即建立肤色模型，并根据该肤色模型从采集的彩色视频图像中获取ROI；2)如果步骤01采集的为灰度图像，则本步骤获取灰度图像的ROI，即从灰度图像中获取ROI；

步骤03：检测人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息；

步骤04：跟踪上述人脸信息；

步骤05：验证上述人脸信息；

步骤06：判断伪装与偷窥行为。

其中，步骤01中采集视频图像可以通过视频采集设备直接采集监控现场的视频图像，也可以通过网络等媒体间接地获取视频图像。由于采集的视频图像可能是彩色图像，也可能是灰度图像。为了获取更好的检测效果，本发明对彩色图像和灰度图像分别做不同的处理。

在步骤02中对于情况1)，所述的建立肤色模型属于离线计算部分，是一个根据样本进行训练的过程，因此可以在实施视频监控前完成。图2示出了本发明提供的检测方法中建立肤色模型的流程图。如图2所示，通过以下步骤建立肤色模型：

步骤201：提取肤色样本并分类，即根据事前收集的与实际应用场景相似的人脸样本提取其肤色样本，并将该肤色样本按照光照的高低分为高亮度样本集合H、中亮度样本集合M和低亮度样本集合L三类。其中，本步骤中按照光照的高低将肤色样本分为H、M、L的方法为：将肤色样本按照亮度值的高到低进行排序，将排序后的肤色样本均分为三类，第一类即为高亮度样本集合H，第二类即为中亮度样本集合M，第三类即为低亮度样本集合L。

步骤202：统计肤色样本的YUV空间特征，即分别将提取的高亮度样本集合H、中亮度样本集合M和低亮度样本集合L(H/M/L三类肤色样本)转换到YUV空间，分别统计高亮度样本集合H、中亮度样本集合M和低亮度样本集合L这三类肤色样本内所有像素的YUV空间特征(即这三类肤色样本内所有像素在YUV空间中分布的特征)。其中，本步骤中所述YUV空间特征包括Y分布、U/V(单个像素的U分量和V分量的比值)分布和UV的二维直方图。

步骤203：建立肤色模型并存储，即分别根据上述YUV空间特征建立相应的高亮度样本集合H、中亮度样本集合M或低亮度样本集合L的肤色模型，并进行存储。

在步骤02中，根据该肤色模型从采集的彩色视频图像中获取ROI属于在线计算部分。图3示出了本发明提供的检测方法中根据肤色模型从采集的彩色视频图像中获取ROI的流程图。如图3所示，通过以下步骤根据肤色模型从采集的彩色视频图像中获取ROI：

步骤204：选择和更新当前帧图像的肤色模型S；

步骤205：对当前帧图像进行分块，并计算每个子块的YUV空间特征；

步骤206：提取肤色区域，分别计算每个子块与肤色模型S的YUV空间特征的相似度，将相似度高的子块分类为肤色子块；

步骤207：提取候选人脸区域，采用人脸检测算法从肤色子块中提取ROI。

其中，步骤204中，选择和更新当前帧图像的肤色模型S包括以下步骤：

(1)使用AdaBoost方法对连续N帧的彩色图像进行全图检测，提取每帧图像的人脸区域，其中将当前帧作为最后一帧；

(2)分别提取出每帧图像中人脸区域的YUV空间特征，计算这些YUV空间特征的平均值，以获得N帧图像中人脸区域的平均YUV空间特征；

(3)将该平均YUV空间特征分别与存储的高亮度样本集合H、中亮度样本集合M和低亮度样本集合L的肤色模型对应的YUV空间特征进行比较，从中选择与该平均YUV空间特征最相似的特征对应的肤色模型作为调节模型△S；

(4)计算当前帧的肤色模型S并进行更新，其计算公式如下：

S＝wS′+(1-w)S

其中，S′表示前一帧的肤色模型，S表示当前帧的肤色模型，w为权重。

其中，在步骤204的(1)中，采用Adaboost方法，使用离线训练好的分类器，对每帧图像内的像素点进行分类，以提取出人脸区域，其具体步骤如下：

设有n个训练样本(x₁,y₁),L,(x_n,y_n)构成的训练集S∈R^d×{0,1}，这里y取值0，1分别代表样本的假和真，第j个特征的弱分类器h_j(x)定义如下：

$h_j\left(x\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& p_i{f}_i\left(x\right)<p_j{\mathrm{\&theta;}}_j\\ 0& & \mathrm{otherwise}\end{array}\right.$

其中θ_j为分类器阈值，p_j为偏置变量，控制不等式的方向，只能取±1，x为检测器窗口，可以设置为20×10。

针对负样本和正样本，初始化样本分布为然后对t＝1,L,T进行以下循环，T决定最终分类器中弱分类器的数目：

①加权系数归一化，使得从而w_t构成一个训练样本分布；

②在训练样本分布w_t下，计算各个弱分类器的误差ε_j＝∑_iw_i|h_j(x_i)-y_i|；

③选择h_t(x)＝h_k(x)，其中 $k=\underset{j}{\arg \min }\left({\mathrm{\&epsiv;}}_j\right),$ 令 ${\mathrm{\&alpha;}}_t=\frac{1}{2}\ln \left(\frac{1-{\mathrm{\&epsiv;}}_k}{{\mathrm{\&epsiv;}}_k}\right);$

④更新权值，其中，并且，如果分类正确，e_i＝0，否则e_i＝1。

在进行T次迭代后，最终的分类器为：

$h\left(x\right)=\left\{\begin{array}{cc}1& {\mathrm{\&Sigma;}}_{t=1}^T{\mathrm{\&alpha;}}_t{h}_t\left(x\right)\&GreaterEqual;\frac{1}{2}{\mathrm{\&Sigma;}}_{t=1}^T{\mathrm{\&alpha;}}_t\\ 0& \mathrm{else}\end{array}\right.,$ 其中， ${\mathrm{\&alpha;}}_t=\log \frac{1}{{\mathrm{\&beta;}}_t}$

通过以上的迭代，获得包含一系列矩形位置和权值的分类器，这些分类器是对训练样本集合中正样本分布的描述。使用这些分类器在图像的不同尺度和位置遍历，如果当前检测窗口内的灰度分布和目标分布类似，也就是说如果使用分类器包含的Haar特征计算检测窗口内的特征值，并且和分类器中的权值进行比较，如果特征值比权值大，则认为该检测窗口是人脸区域。

步骤205中，计算子块的YUV空间特征方法：将当前帧的图像进行分块，统计每个子块的YUV空间特征，所述YUV空间特征包括Y分布、U/V分布以及UV的二维直方图。其中，按照固定分块方法均匀分块，图像分为32行，32列的子块，数量为，图像宽度*图像高度/(32*32)，对于CIF图像，为11*9分块矩阵。

步骤206中，计算子块的YUV空间特征与肤色模型S中的YUV空间特征的相似度方法：计算子块的Y分布与肤色模型S中的Y分布的相似度；计算子块的U/V分布与肤色模型S中的U/V分布的相似度；计算子块的UV的二维直方图与肤色模型S中的UV的二维直方图的相似度。

在本实施例中，假设子块Xⁱ(i表示第i个子块)的Y分布为(j＝1，…，n)，肤色模型S的Y分布为则计算子块Xⁱ的Y分布与肤色模型S中的Y分布的相似度S^Y的公式为：

$S^Y=\frac{\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{X}_j^{\mathrm{iY}}-\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{M}_j^Y}{\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{M}_j^Y}.$

假设子块Xⁱ(i表示第i个子块)的U/V分布为(j＝1，…，n)，肤色模型S的U/V分布为则计算子块Xⁱ的U/V分布与肤色模型S中的U/V分布的相似度S^U/V的公式为：

$S^{U/V}=\frac{\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{X}_j^{\mathrm{iU}/V}-\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{M}_j^{U/V}}{\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{M}_j^{U/V}}.$

假设子块Xⁱ(i表示第i个子块)的UV的二维直方图为(j＝1，…，n)，肤色模型S的UV的二维直方图为则计算子块Xⁱ的UV的二维直方图与肤色模型S中的UV的二维直方图的相似度S^UV的公式为：

$S^{\mathrm{UV}}=\frac{1}{n}\underset{u=0}{\overset{255}{\mathrm{\&Sigma;}}}\underset{v=0}{\overset{255}{\mathrm{\&Sigma;}}}(X_{u,v}^{\mathrm{iUV}}\&CenterDot;M_{u,v}^{\mathrm{UV}}).$

当满足条件S^Y<α₁且S^U/V<α₂时，或者当满足条件S^UV>α₃时，则认为该子块与肤色模型S的YUV空间特征的相似度高，将该子块分类为肤色子块。其中α₁∈[60,75]，α₂∈[120，130]，α₃∈[150,170]。优选地，α₁取67，α₂取125，α₃取160。

步骤207中，提取候选人脸区域包括将分类为肤色的子块进行阈值分割、连通区域分析，获取符合人脸条件的区域。提取候选人脸区域的方法可以通过现有的人脸检测算法实现。

提取候选人脸区域的方法也可以根据以下步骤实现：①对肤色子块进行阈值分割，提取前景点；②对前景点进行连通区域分析，获取前景团块；③计算前景团块的矩形区域的面积、高度和宽度，若区域的面积大于阈值1，且区域的高度与宽度的比值处于阈值2范围内，则将该前景团块认为是彩色图像的ROI。其中，阈值1∈[300,500],阈值2为[0.5,2]，优选阈值1为400。

这里，阈值分割方法和连通区域分析方法是图像处理领域中常见的处理方法，不需要特别注明。

在步骤02中，对于情况2)，所述的获取灰度图像的ROI，即从灰度图像中获取ROI，包括以下步骤：①统计时间t内视频灰度图像的平均值作为背景图像；②采用滑动平均方法更新背景图像；③计算当前帧图像与背景图像的差值图像，并对差值图像进行阈值分割、连通区域分析以获取前景区域；④对前景区域进行归并和滤除处理，将获得的区域作为当前帧灰度图像的ROI。其中，滑动平均方法是指当获得背景图像后，根据视频图像各帧，按照一定的滑动更新比率更新背景图像，以适应视频场景的变化。假设背景图像为I_b，当前帧的图像为I_c，滑动更新比率为α(α用于调整更新的比率，可以控制模型对当前场景变化的适应程度，α∈[0.01,0.1])，则具体公式如下：

I_b＝αI_c+(1-α)I_b。

在步骤03中，检测人脸信息是检测人脸区域内的各个部位的信息，包括：眼睛、嘴巴、鼻子。首先收集与实际应用场景类似的人脸样本，将人脸部分标定出来，然后使用离散型Adaboost方法离线训练Haar型分离器，针对Adaboost方法训练时可能发生对部分样本过学习的情况，加入了对训练全职的限制；在线计算部分首先解析Haar模型，并以步骤02的情况1)中提取的彩色图像的ROI或情况2)中提取的灰度图像的ROI作为候选ROI，然后按照上述的候选ROI提取当前图像中与ROI位置相对应的子图像，在子图像上进行各个尺度和位置的遍历，计算遍历矩形内的灰度分布和Haar模型的匹配程度，从而获得子图像内的人脸区域的位置、大小和类型，即人脸检测信息。为了能够识别出伪装行为和正常取款行为，将人脸分为不同的部位，分别进行检测，然后根据不同部位的检测结果，判断是否发生伪装行为。为了加快检测速度，避免每帧在全图像范围内检测不同部件，检测时使用奇偶帧不同的检测方法。

其中，奇数帧首先在子图像范围内进行眼睛对的检测，在通过Haar模型检测的眼睛对的矩形区域的邻域内进行嘴巴和鼻子的检测。

偶数帧首先在子图像范围内检测嘴巴和鼻子，然后在通过Haar模型检测的矩形区域(即检测到嘴巴和鼻子的区域)的邻域内检测眼睛。

其中，使用Adaboost方法对眼睛对、嘴巴和鼻子进行检测，具体步骤请参考文献“P.Viola，M.Jones.Rapid object detectionusing a boosted cascade of simple features.IEEE Conf onComputer Vision and Pattern Recognition，2001,Kauai，Hawaii，USA:IEEE Computer Society”。

在步骤04中，跟踪人脸信息方法：如果当前帧没有检测到目标且当前帧距离最近一次检测到人脸的帧数的差距小于给定阈值时，则跟踪模板；如果当前帧检测到目标，则只是更新跟踪模板；如果当前帧和最近一次检测到人脸的帧数的差距不小于给定阈值时，则清空模型，不再启动步骤04，直至下一次检测到人脸再启动步骤04。

在步骤04中使用两种特征：水平积分投影和垂直积分投影。水平积分投影是指将给定m*n图像块的每一行相加，获得一个m维向量；垂直积分投影是将m*n图像块的每一列相加，获得一个n维向量。使用这两种特征，可以将二维搜索简化为2个一维搜索。对前K帧连续地检测或者跟踪目标，将其填入一个跟踪目标队列，队列中维护着一个目标历史位置数组，首先根据位置数组中已有的数据个数r，采用r阶线性预测来获得当前帧的目标预测位置，然后以预测位置为中心，将预测目标的大小扩大至阈值3以获得搜索区域。其中，阈值3∈[1.8,2.2]，例如可以选择阈值3为2，即将原来区域由中心位置扩大2倍进行搜索。在搜索区域内采用水平积分投影和垂直积分投影方法，获得搜索区域的特征，再将该搜索区域的特征和目标的特征模板进行匹配(特征模板指的是上一帧检测到目标的水平和积分投影)，以获得最小误差匹配位置x0和y0，作为最终的目标位置。

在步骤05中，验证人脸信息方法：首先离线统计人脸的各个部位的灰度分布特征和平均模板，所述部位包括眼睛、嘴巴、鼻子，然后使用所述灰度分布特征的统计值和平均模板方法验证所述步骤03获取的人脸检测区域目标内是否具有部位属性，如果具有部位属性则对于验证的目标执行步骤06，否则认为该目标是背景。其中，平均模板方法是指：首先收集在与自动提款机设备类似的拍摄条件下的人脸样本，然后统计所有人脸样本的平均图像Avr，对于检测出来的人脸部位Com，求其均方误差，将所述均方误差与阈值4(该阈值4∈[0.05,0.15]，例如可以选为0.1)相比较，如果均方误差小于阈值4，则认为该人脸部位是目标，否则认为是背景。

在步骤06中，判断伪装与偷窥行为方法：通过在检测序列上加入时间窗，判断时间窗内的检测结果，当检测结果一致时，则认为发生伪装行为；使用最大人脸面积来判断操作者的存在，如果所述最大人脸面积大于阈值5，则认为有操作者存在，然后计算偷窥者的脸部面积和操作者的脸部面积的比值，如果所述比值在设定的最小阈值和最大阈值之间，则认为存在偷窥行为。其中，阈值5∈[1000,1400]，最小阈值∈[0.2,0.3]，最大阈值∈[0.76,0.86]。例如可以选择阈值5为1200，最小阈值为0.25，最大阈值为0.81。

其中，检测结果的一致性由以下原则表示：首先时间窗内的最大帧数和最小帧数的差值不能大于阈值6(阈值6∈[25,35]，例如可以选择阈值6为30)，其根据是取款者在短时间内不可能存在正常状态和伪装状态的转换，或者在不同伪装状态下的转换；其次检测状态应该为戴口罩，即能够检测到眼睛对，但是在下部邻域内检测不到鼻子和嘴巴，或者戴墨镜，即能够检测到鼻子和嘴巴，但是在上部邻域内不能检测到眼睛对，而不应该发生遮挡区域的频繁变更，因此两种遮挡状态的绝对值应该较大；最后采用正常人脸回溯机制，即当检测到正常人脸(指能够检测到眼睛对、鼻子和嘴巴，同时不同部位的位置关系符合其正常位置分布)时，考虑到正常人脸的检测准确率较高，因此如果检测到正常人脸的邻近帧有遮挡情况，则对判断时间窗口内的记录进行回溯，并清除程序给定范围内的历史时间窗口的遮挡检测结果。满足上述的检测结果一致性的情况下，则认为伪装行为发生。

本发明所提供的检测方法和检测系统能够快速地、准确地检测出自动提款机的伪装和偷窥行为。

需要声明的是，上述发明内容及具体实施方式意在证明本发明所提供技术方案的实际应用，不应解释为对本发明保护范围的限定。本领域技术人员在本发明的精神和原理内，当可作各种修改、等同替换、或改进。本发明的保护范围以所附权利要求书为准。

Claims (10)

1.一种基于视频并针对自动提款机的伪装与偷窥行为的检测方法，其特征在于，所述检测方法包括按顺序执行的下列步骤：

步骤01：采集视频图像，即采集监控场景的视频图像，本步骤有两种情况，即采集彩色图像或采集灰度图像；

步骤02：获取图像的ROI，本步骤有两种情况，1)如果步骤01采集的为彩色图像，则本步骤获取彩色图像的ROI，即建立肤色模型，并根据该肤色模型从采集的彩色视频图像中获取ROI；2)如果步骤01采集的为灰度图像，则本步骤获取灰度图像的ROI，即从灰度图像中获取ROI；

步骤03：检测人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息；

步骤04：跟踪上述人脸信息；

步骤05：验证上述人脸信息；

步骤06：判断伪装与偷窥行为。

2.根据权利要求1所述的检测方法，其特征在于，在步骤02的情况1)中，所述建立肤色模型的方法包括以下步骤：

步骤201：肤色样本提取和分类，根据事前收集的与实际应用场景相似的人脸样本提取其肤色样本，并将所述肤色样本按照光照的高低分为高亮度样本集合H、中亮度样本集合M和低亮度样本集合L；

步骤202：YUV空间特征统计，分别将所述高亮度样本集合H、中亮度样本集合M和低亮度样本集合L转换到YUV空间，分别统计所述高亮度样本集合H、中亮度样本集合M和低亮度样本集合L内所有像素的YUV空间特征，所述YUV空间特征包括Y分布、U/V分布和UV的二维直方图；

步骤203：肤色模型构成和存储，分别将所述YUV空间特征构成相应的高亮度样本集合H、中亮度样本集合M或低亮度样本集合L的肤色模型，并进行存储。

3.根据权利要求1所述的检测方法，其特征在于，在步骤02的情况1)中，所述根据肤色模型从采集的彩色视频图像中获取ROI的方法包括以下步骤：

选择和更新当前帧的肤色模型S；

计算子块的YUV空间特征；

提取肤色区域；和

提取候选人脸区域。

4.根据权利要求3所述的检测方法，其特征在于，所述选择和更新当前帧的肤色模型S的方法包括以下步骤：

1)使用AdaBoost方法对连续N帧的彩色图像进行全图检测，提取每帧图像的人脸区域，其中将当前帧作为最后一帧；

2)分别提取出每帧图像中人脸区域的YUV空间特征，计算所述YUV空间特征的平均值，以获得N帧图像中人脸区域的平均YUV空间特征；

3)将所述平均YUV空间特征分别与存储的高亮度样本集合H、中亮度样本集合M和低亮度样本集合L的肤色模型对应的YUV空间特征进行比较，从中选择与所述平均YUV空间特征最相似的特征对应的肤色模型作为调节模型△S；和

4)计算当前帧的肤色模型S并进行更新，其计算公式如下：

S＝wS′+(1-w)S

其中，S′表示前一帧的肤色模型，S为当前帧的肤色模型，w为权重。

5.根据权利要求3所述的检测方法，其特征在于，所述计算子块的YUV空间特征的方法是：将当前帧的图像进行分块，统计每个子块的YUV空间特征，所述YUV空间特征包括Y分布、U/V分布以及UV的二维直方图。

6.根据权利要求3所述的检测方法，其特征在于，所述提取肤色区域的方法是计算每个子块的YUV空间特征与当前帧的肤色模型中的特征的相似度，并将高相似度的子块分类为肤色；其中，计算每个子块的YUV空间分布特征与肤色模型中的特征的相似度是：计算每个子块与肤色模型中的Y分布的相似度；计算子块与肤色模型中的U/V分布的相似度；计算子块与肤色模型中的UV的二维直方图的相似度。

7.根据权利要求3所述的检测方法，其特征在于，所述提取候选人脸区域的方法中将分类为肤色的子块进行阈值分割、连通区域分析，获取符合人脸条件的区域。

8.根据权利要求1所述的检测方法，其特征在于，在步骤02的情况2)中，所述的从灰度图像中获取ROI的方法是：设定背景建模的时间，统计该时间内各帧图像的平均值作为背景图像，随后采用滑动平均方法更新背景图像，紧接着对当前帧图像和背景图像的灰度作差值，对该差值图像进行二值化，然后对二值化后的区域进行分割、归并和滤除，最后获得的区域为当前帧灰度的ROI。

9.根据权利要求1所述的检测方法，其特征在于，在步骤04中，所述的跟踪人脸信息的方法是：如果当前帧没有检测到目标且当前帧距离最近一次检测到人脸的帧数的差距的小于给定阈值时，则跟踪模板；如果当前帧检测到目标，则只是更新跟踪模板；如果当前帧和最近一次检测到人脸的帧数的差距不小于给定阈值时，则清空模型，不再启动步骤04，直至下一次检测到人脸再启动步骤04。

10.根据权利要求1所述的检测方法，其特征在于，在步骤05中，所述的验证人脸信息的方法是：首先离线统计人脸的各个部位的灰度分布特征和平均模板，所述部位包括眼睛、嘴巴、鼻子，然后使用所述灰度分布特征的统计值和平均模板方法验证所述步骤03获取的人脸检测区域目标内是否具有部位属性，如果具有部位属性则对于验证的目标执行步骤05，否则认为该目标是背景；

在步骤06中，所述的判断伪装与偷窥行为的方法是：通过在检测序列上加入时间窗，判断时间窗内的检测结果，当检测结果一致时，则认为发生伪装行为；使用最大人脸面积来判断操作者的存在，如果所述最大人脸面积大于阈值5，则认为有操作者存在，然后计算偷窥者的脸部面积和操作者的脸部面积的比值，如果所述比值在设定的最小阈值和最大阈值之间，则认为存在偷窥行为。