CN101950448B - Atm的伪装与偷窥行为检测的方法和系统 - Google Patents

Abstract

本发明提供了一种ATM的伪装与偷窥行为的检测方法及其监测系统，所述检测方法包括：采集视频图像；获取彩色图像的ROI；获取灰度图像的ROI；检测人脸信息；跟踪人脸信息；验证人脸信息；判断伪装与偷窥行为。本发明所提供的检测方法和检测系统能够快速地、准确地检测出ATM的伪装和偷窥行为。

Description

ATM的伪装与偷窥行为检测的方法和系统

技术领域

本发明涉及图像处理和视频智能监控领域，尤其涉及中一种ATM的伪装与偷窥行为检测的方法和系统。 

背景技术

为了方便储户快捷存取款和进行其他金融业务，各大银行、邮政储蓄都安装了自助银行与自动柜员机(ATM，Automatic TellerMachine)。然而这些ATM在为人们的生活带来便利的同时，也带来了日益增多的ATM案件纠纷及ATM金融犯罪。而目前，在ATM的安全上，最多只是在ATM的上方安装一个摄像头，用于记录ATM前发生的情况。但这无法防止各类安全问题的发生，而只能在安全问题发生后，为寻找线索提供一点帮助，因此无法从根本上提高存/取款人利用ATM存/取款的安全。因此，ATM的智能监控技术得到了极大的关注。 

公开号为CN 101303785A的中国专利申请公开了一种存/取款机；；的安全监控系统及方法，可以根据当前时间段的视频图像，检测当前进入所述监控区域的人员数目。但是该方法并不能检测出伪装与偷窥行为。公开号为CN 101276499A的中国专利申请公开了一种基于全方位计算机视觉的ATM设备的智能监控装置，增加了预防使用者在取款过程中被窥视的监控手段。但是该智能监控装置并不能检测ATM前的伪装行为。 

传统的人脸检测方法包括如下步骤：首先通过目标的一些简单特 征(比如颜色，亮度，运动等)快速获得当前目标的可能区域；然后，通过可能区域的一些复杂特征(比如灰度分布，纹理特征等)验证当前ROI是否是目标。目前，人脸检测方法中的主流方法是使用统计学习的方法从大量目标样本中获得其灰度分布的统计特征，然后在使用这些特征进行目标检测。这两种方法各有特点，前者速度快，能够快速提取与目标在某个特征维度上相似的区域，但是无法在复杂场景下同时保证检测率和误检率。后者计算量大，对硬件系统要求较高，但是由于所采用的机制比较复杂，能够获得比前者更高的检测率和更低的误检率。基于以上思路，本申请将以上两种方法结合起来，通过肤色和运动信息获得感兴趣区域，然后使用AdaBoost方法，在感兴趣区域图像上进行检测，然后根据检测返回结果，使用综合判断模块，获得最终的伪装和偷窥行为的发生与否，同时根据各帧之间的相关性进行跟踪，获得更为稳健的结果。 

综上所述，目前迫切需要提供一种能够检测ATM的伪装和偷窥行为的方法和系统。 

发明内容

本发明的目的在于提供一种ATM的伪装与偷窥行为的检测方法，所述检测方法包括以下步骤： 

步骤101：采集监控场景的视频图像，若采集的是彩色图像则执行步骤102，若采集的是灰度图像则执行步骤103； 

步骤102：获取彩色图像的ROI，包括建立肤色模型，和根据该肤色模型从采集的彩色视频图像中获取ROI； 

步骤103：获取灰度图像的ROI，即从灰度化图像中获取ROI； 

步骤104：检测人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息； 

步骤105：跟踪人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息； 

步骤106：验证人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息；和 

步骤107：判断伪装与偷窥行为。 

优选地，在步骤102中，所述建立肤色模型包括以下步骤： 

步骤1021：肤色样本提取和分类，根据事前收集的与实际应用场景相似的人脸样本提取其肤色样本，并将所述肤色样本按照光照的高低分为高亮度样本集合H、中亮度样本集合M和低亮度样本集合L； 

步骤1022：YUV空间特征统计，分别将所述高亮度样本集合H、中亮度样本集合M和低亮度样本集合L转换到YUV空间，分别统计所述高亮度样本集合H、中亮度样本集合M和低亮度样本集合L内所有像素的YUV空间特征，所述YUV空间特征包括Y分布、U/V分布和UV的二维直方图； 

步骤1023：肤色模型构成和存储，分别将所述YUV空间特征构成相应的高亮度样本集合H、中亮度样本集合M或低亮度样本集合L的肤色模型，并进行存储。 

优选地，在步骤102中，所述根据该肤色模型从采集的彩色视频图像中获取ROI包括以下步骤： 

步骤1024：选择和更新当前帧的肤色模型S； 

步骤1025：计算子块的YUV空间特征； 

步骤1026：提取肤色区域；和 

步骤1027：提取候选人脸区域。 

优选地，步骤1024中，选择和更新当前帧的肤色模型S包括： 

1)使用AdaBoost方法对连续N帧的彩色图像进行全图检测， 提取每帧图像的人脸区域，其中将当前帧作为最后一帧； 

2)分别提取出每帧图像中人脸区域的YUV空间特征，计算所述YUV空间特征的平均值，以获得N帧图像中人脸区域的平均YUV空间特征； 

3)将所述平均YUV空间特征分别与存储的高亮度样本集合H、中亮度样本集合M和低亮度样本集合L的肤色模型对应的YUV空间特征进行比较，从中选择与所述平均YUV空间特征最相似的特征对应的肤色模型作为调节模型ΔS；和 

4)计算当前帧的肤色模型S并进行更新，其计算公式如下： 

S＝wS′+(l-w)S 

其中，S′表示前一帧的肤色模型，S为当前帧的肤色模型，w为权重。 

优选地，步骤1025中，计算子块的YUV空间特征包括：将当前帧的图像进行分块，统计每个子块的YUV空间特征，所述YUV空间特征包括Y分布、U/V分布以及UV的二维直方图。 

优选地，步骤1026，提取肤色区域包括计算每个子块的YUV空间特征与当前帧的肤色模型中的特征的相似度，并将高相似度的子块分类为肤色；其中，计算每个子块的YUV空间分布特征与肤色模型中的特征的相似度包括：计算每个子块与肤色模型中的Y分布的相似度；计算子块与肤色模型中的U/V分布的相似度；计算子块与肤色模型中的UV的二维直方图的相似度。 

优选地，步骤1027中，提取候选人脸区域包括将分类为肤色的子块进行阈值分割、连通区域分析，获取符合人脸条件的区域。 

其中，阈值分割和连通区域分析是图像处理领域成熟的技术，不是发明点，可以采用现有的技术。 

优选地，在步骤103中，从灰度化图像中获取ROI包括：设定背景建模的时间，统计该时间内各帧图像的平均值作为背景图像，随后采用滑动平均方法更新背景图像，紧接着对当前帧图像和背景图像的灰度作差值，对该差值图像进行二值化，然后对二值化后的区域进行分割、归并和滤除，最后获得的区域为当前帧灰度的ROI。 

优选地，在步骤105中，跟踪人脸信息包括：如果当前帧没有检测到目标且当前帧距离最近一次检测到人脸的帧数的差距的小于给定阈值时，则保留跟踪模板；如果当前帧检测到目标，则只是更新跟踪模板；如果当前帧和最近一次检测到人脸的帧数的差距不小于给定阈值时，则清空跟踪模板，不再启动步骤105，直至下一次检测到人脸再启动步骤105。 

优选地，在步骤106中，验证人脸信息包括：首先离线统计人脸的各个部位的灰度分布特征和平均模板，所述部位包括眼睛、嘴巴、鼻子，然后使用所述灰度分布特征的统计值和平均模板方法验证所述步骤104获取的人脸检测区域目标内是否具有部位属性，如果具有部位属性则对于验证的目标执行步骤107，否则认为该目标是背景。 

优选地，在步骤107中，判断伪装与偷窥行为包括：通过在检测序列上加入时间窗，判断时间窗内的检测结果，当检测结果一致时，则认为发生伪装行为；使用最大人脸面积来判断操作者的存在，如果所述最大人脸面积大于阈值5，则认为有操作者存在，然后计算偷窥者的脸部面积和操作者的脸部面积的比值，如果所述比值在设定的最小阈值和最大阈值之间，则认为存在偷窥行为。其中，阙值5∈[1000，1400]，最小阈值∈[0.2，0.3]，最大阈值∈[0.76，0.86]。 

本发明的另一个目的是提供一种ATM的伪装与偷窥行为的检测系统，所述检测系统包括： 

视频图像采集模块，用于采集监控场景的视频图像，若采集的是彩色图像则执行彩色ROI获取模块，若采集的是灰度图像则执行灰度ROI获取模块； 

彩色ROI获取模块，用于建立肤色模型，并根据该肤色模型从采集的彩色视频图像中获取ROI； 

灰度ROI获取模块，用于从灰度化图像中获取ROI； 

人脸信息检测模块，用于检测人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息； 

人脸信息跟踪模块，用于跟踪人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息； 

人脸信息验证模块，用于验证人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息；和 

伪装与偷窥行为判断模块，用于判断伪装与偷窥行为。 

优选地，所述建立肤色模型模块包括： 

肤色样本提取和分类模块，用于根据事前收集的与实际应用场景相似的人脸样本提取其肤色样本，并将所述肤色样本按照光照的高低分为高亮度样本集合H、中亮度样本集合M和低亮度样本集合L； 

YUV空间特征统计模块，用于分别将所述高亮度样本集合H、中亮度样本集合M和低亮度样本集合L转换到YUV空间，分别统计所述高亮度样本集合H、中亮度样本集合M和低亮度样本集合L内所有像素的YUV空间特征，所述YUV空间特征包括Y分布、U/V分布和UV的二维直方图；和 

肤色模型构成和存储模块，用于分别将所述YUV空间特征构成相应的高亮度样本集合H、中亮度样本集合M或低亮度样本集合L的肤色模型，并进行存储。 

优选地，所述根据该肤色模型从采集的彩色视频图像中获取ROI模块包括： 

肤色模型选择模块，用于选择当前帧的肤色模型S； 

子块的YUV空间特征计算模块，用于对当前帧的图像进行分块，统计每个子块的YUV空间特征，所述YUV空间特征包括Y分布、U/V分布以及UV的二维直方图； 

肤色区域提取模块，用于计算子块的YUV空间特征与当前帧的肤色模型S中的YUV空间特征的相似度，并将高相似度的子块分类为肤色；和 

候选人脸区域提取模块，用于将分类为肤色的子块进行阈值分割、连通区域分析，以提取符合人脸条件的区域作为候选人脸区域。 

本发明所提供的检测方法和检测系统能够快速地、准确地检测出ATM的伪装和偷窥行为。 

附图说明

图1示出了按照本发明的ATM的伪装与偷窥行为的检测方法的流程图； 

图2示出了按照本发明的检测方法的建立肤色模型的流程图； 

图3示出了按照本发明的检测方法的根据肤色模型从采集的彩色视频图像中获取ROI的流程图； 

图4示出了按照本发明的ATM的伪装与偷窥行为的检测系统的结构图； 

图5示出了按照本发明的检测系统的肤色模型建立模块的结构图； 

图6示出了按照本发明的检测系统的根据该肤色模型从采集的彩色视频图像中获取ROI模块的结构图。 

具体实施方式

为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。 

发明中所述ROI(Region of Interesting)表示感兴趣区域。 

图1示出了按照本发明的ATM的伪装与偷窥行为的检测方法的流程图。如图1所示，本发明的ATM的伪装与偷窥行为的检测方法包括： 

步骤101：采集视频图像，即采集监控场景的视频图像，若采集的是彩色图像则执行步骤102，若采集的是灰度图像则执行步骤103； 

步骤102：获取彩色图像的ROI，即建立肤色模型，并根据该肤色模型从采集的彩色视频图像中获取ROI； 

步骤103：获取灰度图像的ROI，即从灰度图像中获取ROI； 

步骤104：检测人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息； 

步骤105：跟踪人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息； 

步骤106：验证人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息；和 

步骤107：判断伪装与偷窥行为。 

其中，步骤101中采集视频图像可以通过视频采集设备直接采集监控现场的视频图像，也可以通过网络等媒体间接的获取视频图像。由于采集的视频图像可能是彩色图像，也可能是灰度图像。为了获取更好的检测效果，本发明对彩色图像和灰度图像分别做不同的处理，即彩色图像执行步骤102，灰度图像执行步骤103。 

在步骤102中建立肤色模型属于离线计算部分，是一个根据样本进行训练的过程，因此可以在实施视频监控前完成。图2示出了按照 本发明的检测方法的建立肤色模型的流程图。如图2所示，通过以下步骤建立肤色模型： 

步骤1021：提取肤色样本并分类，即根据事前收集的与实际应用场景相似的人脸样本提取其肤色样本，并将该肤色样本按照光照的高低分为高亮度样本集合H、中亮度样本集合M和低亮度样本集合L三类。其中，步骤1021中按照光照的高低将肤色样本分为H、M、L的方法为：将肤色样本按照亮度值的高到低进行排序，将排序后的肤色样本均分为三类，第一类即为高亮度样本集合H，第二类即为中亮度样本集合M，第三类即为低亮度样本集合L。 

步骤1022：统计肤色样本的YUV空间特征，即分别将提取的高亮度样本集合H、中亮度样本集合M和低亮度样本集合L(H/M/L三类肤色样本)转换到YUV空间，分别统计高亮度样本集合H、中亮度样本集合M和低亮度样本集合L这三类肤色样本内所有像素的YUV空间特征(即这三类肤色样本内所有像素在YUV空间中分布的特征)。其中，步骤1022中所述YUV空间特征包括Y分布、U/V(单个像素的U分量和V分量的比值)分布和UV的二维直方图。 

步骤1023：建立肤色模型并存储，即分别根据上述YUV空间特征建立相应的高亮度样本集合H、中亮度样本集合M或低亮度样本集合L的肤色模型，并进行存储。 

在步骤102中，根据该肤色模型从采集的彩色视频图像中获取ROI属于在线计算部分。图3示出了按照本发明的检测方法的根据肤色模型从采集的彩色视频图像中获取ROI的流程图。如图3所示，通过以下步骤根据肤色模型从采集的彩色视频图像中获取ROI： 

步骤1024：选择和更新当前帧图像的肤色模型S； 

步骤1025：对当前帧图像进行分块，并计算每个子块的YUV空间特征； 

步骤1026：提取肤色区域，分别计算每个子块与肤色模型S的YUV空间特征的相似度，将相似度高的子块分类为肤色子块； 

步骤1027：提取候选人脸区域，采用人脸检测算法从肤色子块中提取ROI。 

其中，步骤1024中，选择和更新当前帧图像的肤色模型S包括以下步骤： 

(1)使用AdaBoost方法对连续N帧的彩色图像进行全图检测，提取每帧图像的人脸区域，其中将当前帧作为最后一帧； 

(2)分别提取出每帧图像中人脸区域的YUV空间特征，计算这些YUV空间特征的平均值，以获得N帧图像中人脸区域的平均YUV空间特征； 

(3)将该平均YUV空间特征分别与存储的高亮度样本集合H、中亮度样本集合M和低亮度样本集合L的肤色模型对应的YUV空间特征进行比较，从中选择与该平均YUV空间特征最相似的特征对应的肤色模型作为调节模型ΔS；和 

(4)计算当前帧的肤色模型S并进行更新，其计算公式如下： 

S＝wS′+(l-w)S 

其中，S′表示前一帧的肤色模型，S表示当前帧的肤色模型，w为权重。 

其中，在步骤1024的(1)中，采用Adaboost方法，使用离线训练好的分类器，对每帧图像内的像素点进行分类，以提取出人脸区域，其具体步骤如下： 

设有n个训练样本(x₁，y₁)，L，(x_n，y_n)构成的训练集S∈R^d×{0，1}，这里y取值0，1分别代表样本的假和真，第j个特征的弱分类器h_j(x)定义如下： 

$h_j\left(x\right)=\left\{\begin{array}{cc}1& \mathrm{if}{p}_j{f}_j\left(x\right)<p_j{\mathrm{\&theta;}}_j\\ 0& \mathrm{otherwise}\end{array}\right.$

其中θ_j为分类器阈值，p_j为偏置变量，控制不等式的方向，只能取±1，x为检测器窗口，可以设置为20×10。 

针对负样本和正样本，初始化样本分布为 

然后对t＝1，L，T进行以下循环，T决定最终分类器中弱分类器的数目： 

①加权系数归一化，使得 

从而w_t构成一个训练样本分布； 

②在训练样本分布w_t下，计算各个弱分类器的误差ε_j＝∑_iw_i|h_j(x_i)-y_i|； 

③选择h_t(x)＝h_k(x)，其中 

令 

④更新权值， 

其中， 

并且，如果分类正确，e_i＝0，否则e_i＝1。 

在进行T次迭代后，最终的分类器为： 

$h\left(x\right)=\left\{\begin{array}{cc}1& {\mathrm{\&Sigma;}}_{t=1}^T{\mathrm{\&alpha;}}_t{h}_t\left(x\right)\&GreaterEqual;\frac{1}{2}{\mathrm{\&Sigma;}}_{t=1}^T{\mathrm{\&alpha;}}_t\\ 0& \mathrm{else}\end{array}\right.,$ 其中， ${\mathrm{\&alpha;}}_t=\log \frac{1}{{\mathrm{\&beta;}}_t}$

通过以上的迭代，获得包含一系列矩形位置和权值的分类器，这些分类器是对训练样本集合中正样本分布的描述。使用这些分类器在图像的不同尺度和位置遍历，如果当前检测窗口内的灰度分布和目标分布类似，也就是说如果使用分类器包含的Haar特征计算检测窗口内的特征值，并且和分类器中的权值进行比较，如果特征值比权值大，则认为该检测窗口是人脸区域。 

步骤1025中，计算子块的YUV空间特征包括：将当前帧的图像 进行分块，统计每个子块的YUV空间特征，所述YUV空间特征包括Y分布、U/V分布以及UV的二维直方图。其中，按照固定分块方法，均匀分块，图像分为32行，32列的子块，数量为，图像宽度*图像高度/(32*32)，对于CIF图像，为11*9分块矩阵。 

步骤1026中，计算子块的YUV空间特征与肤色模型S中的YUV空间特征的相似度包括：计算子块的Y分布与肤色模型S中的Y分布的相似度；计算子块的U/V分布与肤色模型S中的U/V分布的相似度；计算子块的UV的二维直方图与肤色模型S中的UV的二维直方图的相似度。 

实施例中，假设子块Xⁱ(i表示第i个子块)的Y分布为 

(j＝1，…，n)，肤色模型S的Y分布为 

，则计算子块Xⁱ的Y分布与肤色模型S中的Y分布的相似度S^Y的公式为： 

$S^Y=\frac{\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{X}_j^{\mathrm{iY}}-\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{M}_j^Y}{\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{M}_j^Y}.$

假设子块Xⁱ(i表示第i个子块)的U/V分布为 

(j＝1，…，n)，肤色模型S的U/V分布为 

则计算子块Xⁱ的U/V分布与肤色模型S中的U/V分布的相似度S^U/V的公式为： 

$S^{U/V}=\frac{\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{X}_j^{\mathrm{iU}/V}-\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{M}_j^{U/V}}{\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{M}_j^{U/V}}.$

假设子块Xⁱ(i表示第i个子块)的UV的二维直方图为 (j＝1，…，n)，肤色模型S的UV的二维直方图为 

，则计算子块Xⁱ的UV的二维直方图与肤色模型S中的UV的二维直方图的相似度S^UV的公式为： 

$S^{\mathrm{UV}}=\frac{1}{n}\underset{u=0}{\overset{255}{\mathrm{\&Sigma;}}}\underset{v=0}{\overset{255}{\mathrm{\&Sigma;}}}(X_{u,v}^{\mathrm{iUV}}\&CenterDot;M_{u,v}^{\mathrm{UV}}).$

当满足条件S^Y＜α₁且S^U/V＜α₂时，或者当满足条件S^UV＞α₃时，则认为该子块与肤色模型S的YUV空间特征的相似度高，将该子块分类为肤色子块。其中α₁∈[60，75]，α₂∈[120，130]，α₃∈[150，170]。优选地，α₁取67，α₂取125，α₃取160。 

步骤1027中，提取候选人脸区域包括将分类为肤色的子块进行阈值分割、连通区域分析，获取符合人脸条件的区域。提取候选人脸区域的方法可以通过现有的人脸检测算法实现，也可以参考专利申请号为CN 200910077430.2的中国专利。 

提取候选人脸区域的方法也可以根据以下步骤实现：①对肤色子块进行阈值分割，提取前景点；②对前景点进行连通区域分析，获取前景团块；③计算前景团块的矩形区域的面积、高度和宽度，若区域的面积大于阈值1，且区域的高度与宽度的比值处于阈值2范围内，则将该前景团块认为是彩色图像的ROI。其中，阈值1∈[300，500]，阈值2为[0.5，2]，优选阈值1为400。 

这里，阈值分割方法和连通区域分析方法是图像处理领域中常见的处理方法，不需要特别注明。 

在步骤103中获取灰度图像的ROI从灰度图像中获取ROI，包括以下步骤：①统计时间t内视频灰度图像的平均值作为背景图像；②采用滑动平均方法更新背景图像；③计算当前帧图像与背景图像的差值图像，并对差值图像进行阈值分割、连通区域分析以获取前景区域；④对前景区域进行归并和滤除处理，将获得的区域作为当前帧灰度图像的ROI。其中，滑动平均方法是指当获得背景图像后，根据视频图像各帧，按照一定的滑动更新比率更新背景图像，以适应视频场景的变化。假设背景图像为I_b，当前帧的图像为I_c，滑动更新比率为 α(α用于调整更新的比率，可以控制模型对当前场景变化的适应程度，α∈[0.01，0.1])，则具体公式如下： 

I_b＝αI_c+(1-α)I_b。 

在步骤104中，检测人脸信息是检测人脸区域内的各个部位的信息，包括：眼睛、嘴巴、鼻子。首先收集与实际应用场景类似的人脸样本，将人脸部分标定出来，然后使用离散型Adaboost方法离线训练Haar型分离器，针对Adaboost方法训练时可能发生对部分样本过学习的情况，加入了对训练全职的限制。在线计算部分首先解析Haar模型，并以步骤102中提取的彩色图像的ROI或步骤103中提取的灰度图像的ROI作为候选ROI，然后按照上述的候选ROI提取当前图像中与ROI位置相对应的子图像，在子图像上进行各个尺度和位置的遍历，计算遍历矩形内的灰度分布和Haar模型的匹配程度，从而获得子图像内的人脸区域的位置、大小和类型，即人脸检测信息。为了能够识别出伪装行为和正常取款行为，将人脸分为不同的部位，分别进行检测，然后根据不同部位的检测结果，判断是否发生伪装行为。为了加快检测速度，避免每帧在全图像范围内检测不同部件，检测模块使用奇偶帧不同的检测方法。 

其中，奇数帧首先在子图像范围内进行眼睛对的检测，在通过Haar模型检测的眼睛对的矩形区域的邻域内进行嘴巴和鼻子的检测。 

偶数帧首先在子图像范围内检测嘴巴和鼻子，然后在通过Haar模型检测的矩形区域(即检测到嘴巴和鼻子的区域)的邻域内检测眼睛。 

其中，使用Adaboost方法对眼睛对、嘴巴和鼻子进行检测，具体步骤请参考文献“P.Viola，M.Jones.Rapid object detection using aboosted cascade of simple features.IEEE Conf on Computer Vision andPattern Recognition，2001，Kauai，Hawaii，USA：IEEE Computer Society”。 

在步骤105中，跟踪人脸信息包括：如果当前帧没有检测到目标且当前帧距离最近一次检测到人脸的帧数的差距的小于给定阈值时，则保留跟踪模板；如果当前帧检测到目标，则只是更新跟踪模板；如果当前帧和最近一次检测到人脸的帧数的差距不小于给定阈值时，则跟踪模板，不再启动步骤105，直至下一次检测到人脸再启动步骤105。 

在步骤105中使用两种特征：水平积分投影和垂直积分投影。水平积分投影是指将给定m*n图像块的每一行相加，获得一个m维向量；垂直积分投影是将m*n图像块的每一列相加，获得一个n维向量。使用这两种特征，可以将二维搜索简化为2个一维搜索。对前K帧连续地检测或者跟踪目标，将其填入一个跟踪目标队列，队列中维护着一个目标历史位置数组，首先根据位置数组中已有的数据个数r，采用r阶线性预测来获得当前帧的目标预测位置，然后以预测位置为中心，将预测目标的大小扩大至阈值3以获得搜索区域。其中，阈值3∈[1.8，2.2]，例如可以选择阈值3为2，即将原来区域由中心位置扩大2倍进行搜索。在搜索区域内采用水平积分投影和垂直积分投影方法，获得搜索区域的特征，再将该搜索区域的特征和目标的特征模板进行匹配(特征模板指的是上一帧检测到目标的水平和积分投影)，以获得最小误差匹配位置x0和y0，作为最终的目标位置。 

在步骤106中，验证人脸信息包括：首先离线统计人脸的各个部位的灰度分布特征和平均模板，所述部位包括眼睛、嘴巴、鼻子，然后使用所述灰度分布特征的统计值和平均模板方法验证所述步骤104获取的人脸检测区域目标内是否具有部位属性，如果具有部位属性则对于验证的目标执行步骤107，否则认为该目标是背景。其中，平均模板方法是指：首先收集在与ATM设备类似的拍摄条件下的人脸样本，然后统计所有人脸样本的平均图像Avr，对于检测出来的人脸部 位Com，求其均方误差，将所述均方误差与阈值4(该阙值4∈[0.05，0.15]，例如可以选为0.1)相比较，如果均方误差小于阈值4，则认为该人脸部位是目标，否则认为是背景。 

在步骤107中，判断伪装与偷窥行为包括：通过在检测序列上加入时间窗，判断时间窗内的检测结果，当检测结果一致时，则认为发生伪装行为；使用最大人脸面积来判断操作者的存在，如果所述最大人脸面积大于阈值5，则认为有操作者存在，然后计算偷窥者的脸部面积和操作者的脸部面积的比值，如果所述比值在设定的最小阈值和最大阈值之间，则认为存在偷窥行为。其中，阙值5∈[1000，1400]，最小阈值∈[0.2，0.3]，最大阈值∈[0.76，0.86]。例如可以选择阙值5为1200，最小阈值为0.25，最大阈值为0.81。 

其中，检测结果的一致性由以下原则表示：首先时间窗内的最大帧数和最小帧数的差值不能大于阈值6(阙值6∈[25，35]，例如可以选择阙值6为30)，其根据是取款者在短时间内不可能存在正常状态和伪装状态的转换，或者在不同伪装状态下的转换；其次检测检测状态应该为戴口罩，即能够检测到眼睛对，但是在下部邻域内检测不到鼻子和嘴巴，或者戴墨镜，即能够检测到鼻子和嘴巴，但是在上部邻域内不能检测到眼睛对，而不应该发生遮挡区域的频繁变更，因此两种遮挡状态的绝对值应该较大；最后采用正常人脸回溯机制，即当检测到正常人脸(指能够检测到眼睛对、鼻子和嘴巴，同时不同部位的位置关系符合其正常位置分布)时，考虑到正常人脸的检测准确率较高，因此如果检测到正常人脸的邻近帧有遮挡情况，则对判断时间窗口内的记录进行回溯，并清除程序给定范围内的历史时间窗口的遮挡检测结果。满足上述的检测结果一致性的情况下，则认为伪装行为发生。 

本发明还提供了ATM的伪装与偷窥行为的检测系统。图4示出 了按照本发明的ATM的伪装与偷窥行为的检测系统的结构图，由图4可以看出，本发明的检测系统包括： 

视频图像采集模块1，用于采集监控场景的视频图像，若采集的是彩色图像则执行彩色ROI获取模块2，若采集的是灰度图像则执行灰度ROI获取模块3； 

彩色ROI获取模块2，用于建立肤色模型，并根据该肤色模型从采集的彩色视频图像中获取ROI； 

灰度ROI获取模块3，用于从灰度化图像中获取ROI； 

人脸信息检测模块4，用于检测人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息； 

人脸信息跟踪模块5，用于跟踪人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息； 

人脸信息验证模块6，用于验证人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息；和 

伪装与偷窥行为判断模块7，用于判断伪装与偷窥行为。 

其中，所述彩色感兴趣区域获取模块2包括：肤色模型建立模块21、和根据该肤色模型从采集的彩色视频图像中获取ROI模块22。其中，肤色模型建立模块21属于离线计算部分，是一个根据样本进行训练的过程，因此可以在实施视频监控前完成。根据该肤色模型从采集的彩色视频图像中获取ROI模块22属于在线计算部分。 

图5示出了按照本发明的检测系统的肤色模型建立模块21的结构图。由图5可以看出，所述肤色模型建立模块21包括： 

肤色样本提取和分类模块211，用于根据事前收集的与实际应用场景相似的人脸样本提取其肤色样本，并将所述肤色样本按照光照的高低分为高亮度样本集合H、中亮度样本集合M和低亮度样本集合L； 

肤色样本的YUV空间特征统计模块212，用于分别将所述高亮度样本集合H、中亮度样本集合M和低亮度样本集合L转换到YUV空间，分别统计所述高亮度样本集合H、中亮度样本集合M和低亮度样本集合L内所有像素的YUV空间特征，所述YUV空间特征包括Y分布、U/V分布和UV的二维直方图；和 

肤色模型建立和存储模块213，用于分别根据上述YUV空间特征建立相应的高亮度样本集合H、中亮度样本集合M或低亮度样本集合L的肤色模型，并进行存储。 

图6示出了按照本发明的检测系统的根据该肤色模型从采集的彩色视频图像中获取ROI模块22的结构图。由图6可以看出，所述检测并获取符合肤色模型的感兴趣区域模块22包括： 

肤色模型选择模块221，用于选择当前帧的肤色模型S； 

子块的YUV空间特征计算模块222，用于对当前帧的图像进行分块，并计算每个子块的YUV空间特征，所述YUV空间特征包括Y分布、U/V分布以及UV的二维直方图； 

肤色子块提取模块223，用于分别计算每个子块与肤色模型S的YUV空间特征的相似度，将相似度高的子块分类为肤色子块；和 

ROI提取模块224，用于采用人脸检测算法从肤色子块中提取ROI。 

本发明所提供的检测方法和检测系统能够快速地、准确地检测出ATM的伪装和偷窥行为。 

需要声明的是，上述发明内容及具体实施方式意在证明本发明所提供技术方案的实际应用，不应解释为对本发明保护范围的限定。本领域技术人员在本发明的精神和原理内，当可作各种修改、等同替换、或改进。本发明的保护范围以所附权利要求书为准。 

Claims (12)

1.一种ATM的伪装与偷窥行为的检测方法，其特征在于，所述检测方法包括以下步骤：

步骤101：采集监控场景的视频图像，若采集的是彩色图像则执行步骤102，若采集的是灰度图像则执行步骤103；

步骤102：获取彩色图像的ROI，包括建立肤色模型，和根据该肤色模型从采集的彩色视频图像中获取ROI；

步骤103：从灰度图像中获取ROI；

步骤104：检测人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息；

步骤105：跟踪人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息；

步骤106：验证人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息；和

步骤107：判断伪装与偷窥行为；

其中，步骤102中所述建立肤色模型包括以下步骤：

步骤1021：肤色样本提取和分类，根据事前收集的与实际应用场景相似的人脸样本提取其肤色样本，并将所述肤色样本按照光照的高低分为高亮度样本集合H、中亮度样本集合M和低亮度样本集合L；

步骤1022：YUV空间特征统计，分别将所述高亮度样本集合H、中亮度样本集合M和低亮度样本集合L转换到YUV空间，分别统计所述高亮度样本集合H、中亮度样本集合M和低亮度样本集合L内所有像素的YUV空间特征，所述YUV空间特征包括Y分布、U/V分布和UV的二维直方图；

步骤1023：肤色模型构成和存储，分别将所述YUV空间特征构成相应的高亮度样本集合H、中亮度样本集合M或低亮度样本集合L的肤色模型，并进行存储。

2.根据权利要求1所述的检测方法，其特征在于，在步骤102中，所述根据该肤色模型从采集的彩色视频图像中获取ROI包括以下步骤：

选择和更新当前帧的肤色模型S；

计算子块的YUV空间特征；

提取肤色区域；和

提取候选人脸区域。

3.根据权利要求2所述的检测方法，其特征在于，所述选择和更新当前帧的肤色模型S包括：

1)使用AdaBoost方法对连续N帧的彩色图像进行全图检测，提取每帧图像的人脸区域，其中将当前帧作为最后一帧；

2)分别提取出每帧图像中人脸区域的YUV空间特征，计算所述YUV空间特征的平均值，以获得N帧图像中人脸区域的平均YUV空间特征；

3)将所述平均YUV空间特征分别与存储的高亮度样本集合H、中亮度样本集合M和低亮度样本集合L的肤色模型对应的YUV空间特征进行比较，从中选择与所述平均YUV空间特征最相似的特征对应的肤色模型作为调节模型ΔS；和

4)计算当前帧的肤色模型S并进行更新，其计算公式如下：

S＝wS′+(1-w)S

其中，S′表示前一帧的肤色模型，S为当前帧的肤色模型，w为权重。

4.根据权利要求2所述的检测方法，其特征在于，所述计算子块的YUV空间特征包括：将当前帧的图像进行分块，统计每个子块的YUV空间特征，所述YUV空间特征包括Y分布、U/V分布以及UV的二维直方图。

5.根据权利要求2所述的检测方法，其特征在于，所述提取肤色区域包括计算每个子块的YUV空间特征与当前帧的肤色模型中的特征的相似度，并将高相似度的子块分类为肤色；其中，计算每个子块的YUV空间分布特征与肤色模型中的特征的相似度包括：计算每个子块与肤色模型中的Y分布的相似度；计算子块与肤色模型中的U/V分布的相似度；计算子块与肤色模型中的UV的二维直方图的相似度。

6.根据权利要求2所述的检测方法，其特征在于，提取候选人脸区域包括将分类为肤色的子块进行阈值分割、连通区域分析，获取符合人脸条件的区域。

7.根据权利要求1所述的检测方法，其特征在于，在步骤103中，从灰度图像中获取ROI包括：设定背景建模的时间，统计该时间内各帧图像的平均值作为背景图像，随后采用滑动平均方法更新背景图像，紧接着对当前帧图像和背景图像的灰度作差值，对该差值图像进行二值化，然后对二值化后的区域进行分割、归并和滤除，最后获得的区域为当前帧灰度的ROI。

8.根据权利要求1所述的检测方法，其特征在于，在步骤105中，跟踪人脸信息包括：如果当前帧没有检测到目标且当前帧距离最近一次检测到人脸的帧数的差距的小于给定阈值时，则保留跟踪模板；如果当前帧检测到目标，则只是更新跟踪模板；如果当前帧和最近一次检测到人脸的帧数的差距不小于给定阈值时，则清空跟踪模板，不再启动步骤105，直至下一次检测到人脸再启动步骤105。

9.根据权利要求1所述的检测方法，其特征在于，在步骤106中，验证人脸信息包括：首先离线统计人脸的各个部位的灰度分布特征和平均模板，所述部位包括眼睛、嘴巴、鼻子，然后使用所述灰度分布特征的统计值和平均模板方法验证所述步骤104获取的人脸检测区域目标内是否具有部位属性，如果具有部位属性则对于验证的目标执行步骤107，否则认为该目标是背景。

10.根据权利要求1所述的检测方法，其特征在于，在步骤107中，判断伪装与偷窥行为包括：通过在检测序列上加入时间窗，判断时间窗内的检测结果，当检测结果一致时，则认为发生伪装行为；使用最大人脸面积来判断操作者的存在，如果所述最大人脸面积大于阈值5，则认为有操作者存在，然后计算偷窥者的脸部面积和操作者的脸部面积的比值，如果所述比值在设定的最小阈值和最大阈值之间，则认为存在偷窥行为。

11.一种ATM的伪装与偷窥行为的检测系统，其特征在于，所述检测系统包括：

视频图像采集模块，用于采集监控场景的视频图像，若采集的是彩色图像则执行彩色ROI获取模块，若采集的是灰度图像则执行灰度ROI获取模块；

彩色ROI获取模块，用于建立肤色模型，并根据该肤色模型从采集的彩色视频图像中获取ROI；

灰度ROI获取模块，用于从灰度图像中获取ROI；

人脸信息检测模块，用于检测人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息；

人脸信息跟踪模块，用于跟踪人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息；

人脸信息验证模块，用于验证人脸信息，所述人脸信息包括人脸区域内眼睛、嘴巴和鼻子的信息；和

伪装与偷窥行为判断模块，用于判断伪装与偷窥行为；

其中，所述彩色ROI获取模块包括：建立肤色模型模块、和检测并获取符合肤色模型的感兴趣区域模块；

所述建立肤色模型模块包括：

肤色样本提取和分类模块，用于根据事前收集的与实际应用场景相似的人脸样本提取其肤色样本，并将所述肤色样本按照光照的高低分为高亮度样本集合H、中亮度样本集合M和低亮度样本集合L；

YUV空间特征统计模块，用于分别将所述高亮度样本集合H、中亮度样本集合M和低亮度样本集合L转换到YUV空间，分别统计所述高亮度样本集合H、中亮度样本集合M和低亮度样本集合L内所有像素的YUV空间特征，所述YUV空间特征包括Y分布、U/V分布和UV的二维直方图；和

肤色模型构成和存储模块，用于分别将所述YUV空间特征构成相应的高亮度样本集合H、中亮度样本集合M或低亮度样本集合L的肤色模型，并进行存储。

12.根据权利要求11所述的检测系统，其特征在于，所述根据该肤色模型从采集的彩色视频图像中获取ROI模块包括：

肤色模型选择模块，用于选择当前帧的肤色模型S；

子块的YUV空间特征计算模块，用于对当前帧的图像进行分块，统计每个子块的YUV空间特征，所述YUV空间特征包括Y分布、U/V分布以及UV的二维直方图；

肤色区域提取模块，用于计算子块的YUV空间特征与当前帧的肤色模型S中的YUV空间特征的相似度，并将高相似度的子块分类为肤色；和

候选人脸区域提取模块，用于将分类为肤色的子块进行阈值分割、连通区域分析，以提取符合人脸条件的区域作为候选人脸区域。

Images