CN104424721A - 一种结合atm机的脸部遮挡识别方法 - Google Patents

Abstract

本发明涉及一种对ATM机前人脸的人脸遮挡识别方法。当ATM使用者插入银行卡之后，ATM机发出一个触发信号，启动实时视频的获取以及识别功能；在识别的过程中，首先通过背景建模技术对运动的区域进行提取，并对四种脸部特征遮挡情况进行准确的鲁棒分析判断。如果通过了以上检测，可进一步进行可靠性验证，保证检测的精度；检测的结果通过网络通信返回给ATM机，ATM机决定是否允许ATM使用者进行取款操作。本发明保证所有在发生取款操作时，ATM使用者的脸部信息都已清晰记录，避免在视频追溯过程中由于脸部信息不全而无法识别，可防止银行卡的盗用，保障银行卡的安全，进一步提升传统ATM机的安全保护能力。

Description

一种结合ATM机的脸部遮挡识别方法

技术领域

本发明涉及银行部门的视频监控系统，尤其是指用于银行ATM取现的视频监控系统中的脸部遮挡识别方法。

背景技术

随着计算机视觉技术的发展和金融交易的日益频繁，随着ATM机布放数量和使用频率的不断增加，针对和利用ATM机的犯罪案件也在不断增加。ATM机作为快捷的银行自助交易系统，正在被越来越多的人使用，保护ATM机不受破坏以及ATM使用者的财产安全对减少银行的金融损失和增加银行服务的安全可靠性显得至关重要。

近年来，我国针对和利用ATM机的犯罪案件不断增加，且犯罪性质越来越恶劣，不利于维护经济、社会稳定，对ATM使用者使用ATM机的热情也有负面影响，而ATM机作为普遍使用的银行自助服务系统在ATM使用者的日常生活中扮演着越来越重要的角色，因此保护ATM使用者的财产安全尤为迫切。

目前ATM机采用的安全防范措施是在ATM机上安装摄像机，通过用户插入银行卡触发录像模块启动，一旦发生犯罪案件，可通过查看存储在ATM机内部的案发时间段的录像来追查犯罪分子。但犯罪分子盗用他人银行卡取款时，通常会对面部进行遮挡，因此从录像视频中查看犯罪分子很难获得可利用的信息，造成现有的录像手段对追查犯罪分子意义不大。同时，犯罪分子可能会在取款人身后探头窥视密码，此时，需要对取款人进行提醒，防范危险。

发明内容

针对上述问题，本发明提供一种结合ATM的脸部遮挡识别方法，利用视觉分析技术，判断取款人身后是否有人探头窥视，继而解决脸部遮挡进行ATM操作的方法，并与已有的ATM取现系统进行无缝集成。

本发明为实现上述目的所采用的技术方案是：一种结合ATM机的脸部遮挡识别方法，包括以下步骤：

在ATM机检测到有银行卡插入时，读取ATM机对应摄像头拍摄到的视频数据；

提取该视频数据在一段时间内的连续图像，对脸部进行定位跟踪；

依次判断每张图像中的脸部部件是否有遮挡；

如果没有脸部部件被遮挡的图像达到总图像数的规定比例时，确定已经获得ATM使用者的完整脸部图像，ATM机发出输入密码提示；否则，ATM机触发提示音频，要求ATM使用者配合脸部遮挡识别。

在所述依次判断每张图像中的脸部部件是否有遮挡步骤前，判断定位跟踪的脸部是否仅为一个，如果出现两个或两个以上的脸部区域，则ATM机触发提示信息用于询问ATM操作者是否继续操作；如果仅有一个脸部区域或者出现两个或两个以上的脸部区域情况下ATM操作者选择继续操作，则进行依次判断每张图像中的脸部部件是否有遮挡步骤。

所述在ATM机检测到有银行卡插入时，读取ATM机对应摄像头拍摄到的视频数据，具体包括以下步骤：

ATM机接收到插入银行卡的触发信号后，发送询问指令以打开摄像通道，确定视频存储路径所在的磁盘未满，在所述通道进行录像并读取视频数据，同时向ATM机回复执行状态。

所述脸部进行定位跟踪，包括以下步骤：

图像预处理：对所述连续图像进行颜色变换，即将彩色图像变换为灰度图像，然后对灰度图像进行高斯滤波，以去除高斯噪声，最后对完成高斯滤波的图像进行使图像阴暗部分变清晰的白平衡处理；

运动前景图像提取：将经过图像预处理后的图像做背景差分处理，得到运动前景图像，然后对运动前景图像进行形态学处理，以去除运动前景图像中的噪声斑点；

ROI提取：在运动前景图像中提取出ATM使用者的图像作为感兴趣区域；

中轴线计算：计算人体的中轴线位置；

脸部定位：在运动前景图像中，根据人体的中轴线位置，确定脸部位置。

所述ROI提取包括以下步骤：

对运动前景图像在水平方向上做前景像素点统计，得到水平方向上的峰值；

从该峰值起向左右方向延展，当某列的前景像素点为峰值的20%时认为该列即为所要提取的运动前景图像的垂直边界；

对运动前景图像在垂直方向上做前景像素点统计，在垂直方向上从上往下，第一个非零的前景像素点即为ATM使用者身体的头顶位置；

从此处到图像底部即为所要提取的运动前景图像的水平边界；水平边界和垂直边界定义的矩形区域即为最有可能的人体在运动前景图像中出现的位置，也即所要提取的ROI。

所述计算人体的中轴线位置，包括以下步骤：计算ROI矩形区域在水平方向上的中点，矩形区域上下边的中点连线即为人体的中轴线。

所述如果无法确定ROI的具体坐标位置，默认ROI为整幅图像；此时，ROI区域水平方向上的前景像素点统计峰值所在的列即为运动前景图像中人身体的中轴线。

所述判断图像中的脸部部件是否有遮挡，包括以下步骤：

利用基于Haar特征的人脸检测和LBP特征的侧脸检测技术，判断是否有脸部出现在所采集的图像中；如果检测到正脸，则利用基于Haar特征的鼻子检测技术在已检测到的正脸上检测鼻子；否则如果只检测到侧脸，没有见到到正脸，则触发提示，提醒ATM使用者正视屏幕；当正脸和鼻子都被检测到时，则判定所检测的脸部没有被遮挡；否则判定所检测的脸部存在遮挡。

还包括采用OpenCV库所带的肤色检测器对检测到的脸部进行肤色检测，并通过脸部各部件的肤色检测结果辅助确定该部件是否为真实的脸部部件。

所述检测为使用已经训练好的分类器对其定义的特征进行检测；所述分类器为利用支持向量机的方法，将判定为脸部没有被遮挡的图像的样本作为正样本，确认为遮挡脸部的样本作为负样本，输入到向量机中进行学习而获得的。

所述ATM机发出输入密码提示后继续录像，退卡时ATM机发送停止录像的指令；如果脸部遮挡检测次数达到规定次数，则ATM机执行退卡操作并发送停止录像的指令。

本发明的优点及有益效果为：

1.本发明利用视觉信息对ATM使用者的可信度进行验证，保证所有在发生取款操作时，ATM使用者的脸部信息都已清晰记录，避免在视频追溯过程中由于脸部信息不全而无法识别，可防止银行卡的盗用，保障银行卡的安全，进一步提升传统ATM机的安全保护能力。

2.本发明在自动取款机（ATM）中进行运用，使用增加了脸部遮挡识别系统的ATM机更为安全，只有通过脸部信息验证的ATM使用者才能使用银行卡进行取款等操作，倘若犯罪分子使用盗取的银行卡到ATM机上进行交易，如果其仍然采用遮挡脸部的方式将得不到ATM机自助服务，无法取款，从而保护了被盗银行卡储户的财产安全；如果犯罪不遮挡脸部直接进行操作，则其脸部信息将被记录在案，公安部门完全可以凭借存储的头像信息对其通缉，不仅能为公安部门提供破案线索、降低破案难度，同时还能降低银行的金融损失，最终保护了被盗银行卡储户的财产安全。

3.本发明能够自动判断取款人身后是否有可疑人探头窥视，并及时对取款人进行提示，防范危险，使取款人用的更加放心，并保障银行卡的安全。

附图说明

图1是应用本发明进行ATM操作的整理流程图；

图2是人脸定位以及跟踪的算法流程图；

图3是人脸遮挡分析的流程图；

图4是基于分类器的人脸验证算法框图；

图5是脸部遮挡识别系统与ATM取现系统的通信逻辑框图；

图6是通信报文格式。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示，本发明包括ATM插卡触发、图像采集、脸部检测。ATM插卡触发是由ATM使用者在ATM机上插入银行卡后触发脸部遮挡识别系统运行，脸部遮挡识别系统通过视频采集卡从ATM机内置摄像头处读取视频帧，然后利用脸部部件检测器对视频帧图像进行检测。检测完成后将检测结果发送给ATM机，ATM机根据检测结果决定是否允许ATM使用者进行取款操作，若检测结果通过，则继续提供服务，否则退卡。

如图2所示，脸部定位及跟踪包括输入图像预处理、ROI提取、中轴线计算、定位脸部。输入图像预处理是对输入图像进行颜色变换、去噪及白平衡处理，使其便于后续进一步处理；ROI提取是将输入图像与背景图像做背景差分并利用形态学原理去噪，提取运动前景，由于ATM机内置摄像头视野较窄，而脸部遮挡识别系统仅在ATM使用者使用ATM机时触发启动，因此提取的运动前景基本为ATM使用者的身体；基于前述分析，根据人身体的对称性特点，对运动前景图像在水平方向上做前景像素点统计，得到水平方向上的峰值，从该峰值起向左右方向延展，当某列的前景像素点为峰值的20%时认为该列即为所要提取的ROI区域的垂直边界，然后对运动前景图像在垂直方向上做前景像素点统计，在垂直方向上从上往下，第一个非零的前景像素点统计值即认为其为ATM使用者身体的头顶位置，从此处到图像底部即为所要提取的ROI区域的水平边界，由此确定了ROI的具体坐标位置，如果不满足上述条件，无法确定具体坐标位置时，默认ROI为整幅图像；并认为水平方向上的前景像素点统计峰值所在的列即为运动前景图像中人身体的中轴线；由此确定的ROI区域中，根据人身体的特征，以及ATM机内置摄像头在垂直方向的视野大小，进一步确定脸部位于ROI区域的上三分之二区域内。

如图3所示，脸部遮挡分析包括脸部定位、侧脸检测、正脸检测、鼻子检测、肤色检测、结果判定。脸部定位系统的处理见图2说明部分。完成侧脸检测后，若侧脸被检测到，则提醒ATM使用者正视屏幕，进而进行正脸检测；否则直接进行正脸检测。完成正脸检测后，若能够检测到正脸，则进一步利用鼻子检测器在已检测到的正脸上检测鼻子，进一步确定所检测到的正脸是真实的脸部；否则认为此次没有检测到脸部或脸部被遮挡。当正脸和鼻子被同时检测到后，进一步进行肤色检测，确定检测到的是正常的脸部部件，若肤色检测通过，则认为所检测的脸部没有被遮挡，否则认为检测到的正脸或鼻子为误检测结果，判定此次没有检测到脸部或脸部被遮挡。在ATM机向脸部遮挡识别系统询问结果前，不断采集图像进行遮挡检测，并统计所有被检测图像中通过脸部检测的比例，当ATM机向脸部遮挡识别系统询问结果时，若检测通过率超过20%则认为此ATM使用者通过脸部遮挡识别，否则认为不通过。ATM机进一步根据结果做出相应操作。

图4是本发明基于分类器的脸部验证算法框图。基于分类器的脸部验证算法框图详细说明了脸部验证算法的流程。输入为摄像头采集到的ATM使用者的实时图像，由于实际环境中存在噪声干扰，会影响脸部检测的准确性。因此首先对实时图像进行预处理，包括平滑去噪、直方图均衡，以提高图像的质量。然后通过背景差分和ROI提取等算法找到图像脸部所在的区域，保证检测的快速性和准确性。经过前面的步骤后，便进入了检测模块。系统采用基于分类器的特征检测方法，即使用已经训练好的分类器对定义的特征进行检测，通过分类器的输出值判定是否检测到了特征。系统采用三种分类器：基于肤色的分类器、基于脸部全局特征的分类器和基于鼻子特征的分类器。依次对预处理后的图像进行处理，若通过一个分类器的检测，则进行下一级的分类器检测；若没有通过则直接判定为不是脸部。系统采用了基于图像序列的判决分析技术，当图像序列满足判决条件时，进行最终的判决；若不满足则继续采集图像序列进行检测。

图5是本发明脸部遮挡识别系统与ATM机的通信逻辑框图。脸部遮挡识别系统与ATM机之间的通信方式为Socket TCP异步非阻塞通信方式，并利用select模式实现客户端的管理。根据ATM使用流程，ATM使用者在插入银行卡之后、输入银行卡密码之前会有一段等待时间，脸部遮挡识别系统在此期间完成识别，ATM机根据识别结果决定是否继续提供服务。ATM机与脸部遮挡识别系统间的交互系统通过四次握手通信来实现，四次握手通信详细介绍如下：

（1）ATM使用者插入银行卡后触发ATM机，ATM机给脸部遮挡识别系统发送一个询问是否进行摄像机通道打开操作、相应通道是否进行录像以及询问视频存储路径所在的磁盘是否已满的指令，脸部遮挡识别系统完成指令中要求的操作后给ATM机回复相应操作完成情况；

（2）ATM机给脸部遮挡识别系统发送开始检测和开始录像的指令，脸部遮挡识别系统接收指令并执行检测和录像操作，同时向ATM机回复相应操作执行状态并继续执行相应操作；

（3）等待3-5秒钟后，ATM机给脸部遮挡识别系统发送返回检测结果的指令，脸部遮挡识别系统在接受到指令后给ATM机回复最终的检测结果；

（4）ATM机根据最终检测结果决定是否允许ATM使用者进行取款操作，若已通过脸部遮挡识别系统的检测，则ATM机在ATM使用者完成所有取款操作退卡时给脸部遮挡识别系统发送停止录像的指令，脸部遮挡识别系统接收指令后执行相关操作并回复执行情况。若没有通过脸部遮挡识别系统的检测，则ATM机直接退卡并给脸部遮挡识别系统发送停止录像的指令，脸部遮挡识别系统接收指令后执行相关操作并回复执行情况。

图6是本发明通信报文格式。通信报文格式采用了联合体数据类型，以方便对收发的数据进行解析和设置。

发送报文格式具体定义如下：

其中，变量head为发送报文的数据头；变量sFlag包含了需要发送的控制指令，通过位操作实现；变量RecAddr为录制视频的存储路径；ResvSend为保留字。针对head变量和sFlag变量的具体取值见表1。

表1发送数据报文中head变量和sFlag变量取值

接受报文格式具体定义如下：

其中，变量head为发送报文的数据头；变量rFlag包含了接受到的报文数据，通过位操作实现读取判断；变量conf为检测结果的置信度；ResvReceive为保留字。针对head变量和rFlag变量的具体取值见表2。

表2接受数据报文中head变量和rFlag变量取值

Claims (11)

1.一种结合ATM机的脸部遮挡识别方法，其特征在于，包括以下步骤：

在ATM机检测到有银行卡插入时，读取ATM机对应摄像头拍摄到的视频数据；

提取该视频数据在一段时间内的连续图像，对脸部进行定位跟踪；

依次判断每张图像中的脸部部件是否有遮挡；

如果没有脸部部件被遮挡的图像达到总图像数的规定比例时，确定已经获得ATM使用者的完整脸部图像，ATM机发出输入密码提示；否则，ATM机触发提示音频，要求ATM使用者配合脸部遮挡识别。

2.根据权利要求1所述的一种结合ATM机的脸部遮挡识别方法，其特征在于，在所述依次判断每张图像中的脸部部件是否有遮挡步骤前，判断定位跟踪的脸部是否仅为一个，如果出现两个或两个以上的脸部区域，则ATM机触发提示信息用于询问ATM操作者是否继续操作；如果仅有一个脸部区域或者出现两个或两个以上的脸部区域情况下ATM操作者选择继续操作，则进行依次判断每张图像中的脸部部件是否有遮挡步骤。

3.根据权利要求1所述的一种结合ATM机的脸部遮挡识别方法，其特征在于，所述在ATM机检测到有银行卡插入时，读取ATM机对应摄像头拍摄到的视频数据，具体包括以下步骤：

ATM机接收到插入银行卡的触发信号后，发送询问指令以打开摄像通道，确定视频存储路径所在的磁盘未满，在所述通道进行录像并读取视频数据，同时向ATM机回复执行状态。

4.根据权利要求1所述的一种结合ATM机的脸部遮挡识别方法，其特征在于，所述脸部进行定位跟踪，包括以下步骤：

图像预处理：对所述连续图像进行颜色变换，即将彩色图像变换为灰度图像，然后对灰度图像进行高斯滤波，以去除高斯噪声，最后对完成高斯滤波的图像进行使图像阴暗部分变清晰的白平衡处理；

运动前景图像提取：将经过图像预处理后的图像做背景差分处理，得到运动前景图像，然后对运动前景图像进行形态学处理，以去除运动前景图像中的噪声斑点；

ROI提取：在运动前景图像中提取出ATM使用者的图像作为感兴趣区域；

中轴线计算：计算人体的中轴线位置；

脸部定位：在运动前景图像中，根据人体的中轴线位置，确定脸部位置。

5.根据权利要求4所述的一种结合ATM机的脸部遮挡识别方法，其特征在于，所述ROI提取包括以下步骤：

对运动前景图像在水平方向上做前景像素点统计，得到水平方向上的峰值；

从该峰值起向左右方向延展，当某列的前景像素点为峰值的20%时认为该列即为所要提取的运动前景图像的垂直边界；

对运动前景图像在垂直方向上做前景像素点统计，在垂直方向上从上往下，第一个非零的前景像素点即为ATM使用者身体的头顶位置；

从此处到图像底部即为所要提取的运动前景图像的水平边界；水平边界和垂直边界定义的矩形区域即为最有可能的人体在运动前景图像中出现的位置，也即所要提取的ROI。

6.根据权利要求4所述的一种结合ATM机的脸部遮挡识别方法，其特征在于，所述计算人体的中轴线位置，包括以下步骤：计算ROI矩形区域在水平方向上的中点，矩形区域上下边的中点连线即为人体的中轴线。

7.根据权利要求5所述的一种结合ATM机的脸部遮挡识别方法，其特征在于，所述如果无法确定ROI的具体坐标位置，默认ROI为整幅图像；此时，ROI区域水平方向上的前景像素点统计峰值所在的列即为运动前景图像中人身体的中轴线。

8.根据权利要求1所述的一种结合ATM机的脸部遮挡识别方法，其特征在于，所述判断图像中的脸部部件是否有遮挡，包括以下步骤：

利用基于Haar特征的人脸检测和LBP特征的侧脸检测技术，判断是否有脸部出现在所采集的图像中；如果检测到正脸，则利用基于Haar特征的鼻子检测技术在已检测到的正脸上检测鼻子；否则如果只检测到侧脸，没有见到到正脸，则触发提示，提醒ATM使用者正视屏幕；当正脸和鼻子都被检测到时，则判定所检测的脸部没有被遮挡；否则判定所检测的脸部存在遮挡。

9.根据权利要求8所述的一种结合ATM机的脸部遮挡识别方法，其特征在于，还包括采用OpenCV库所带的肤色检测器对检测到的脸部进行肤色检测，并通过脸部各部件的肤色检测结果辅助确定该部件是否为真实的脸部部件。

10.根据权利要求8或9所述的一种结合ATM机的脸部遮挡识别方法，其特征在于，所述检测为使用已经训练好的分类器对其定义的特征进行检测；所述分类器为利用支持向量机的方法，将判定为脸部没有被遮挡的图像的样本作为正样本，确认为遮挡脸部的样本作为负样本，输入到向量机中进行学习而获得的。

11.根据权利要求1所述的一种结合ATM机的脸部遮挡识别方法，其特征在于，所述ATM机发出输入密码提示后继续录像，退卡时ATM机发送停止录像的指令；如果脸部遮挡检测次数达到规定次数，则ATM机执行退卡操作并发送停止录像的指令。