CN109583339A - 一种基于图像处理的atm视频智能监控方法 - Google Patents

Abstract

本发明提供了一种基于图像处理的ATM视频智能监控方法，利用人脸检测技术和图像处理算法对视频进行人脸遮挡的行为检测，利用动态目标检测和相似度跟踪算法实现监控视频中的遗留物检测，把深度学习、目标检测和跟踪算法相结合来实现监控视频的人员徘徊行为检测，由此得到视频的智能监控效果。与现有单纯基于人力资源的视频监控方法相比，本发明提出的方法能够降低视频监控的人力物力资源，对异常行为报警、误报、漏报、录像数据分析困难等监控问题起到了积极作用。

Description

一种基于图像处理的ATM视频智能监控方法

技术领域

本发明涉及一种基于图像处理的ATM室内视频智能监控方法，涵盖了深度学习技术领域、目标检测技术领域、图像处理领域以及特征工程等相关领域。

背景技术

近年来，国内外在智能视频监控方面展开了很多研究，也取得了丰富的进展。但是仍然受到了一些固有因素的限制：1)耗费大量的人力物力，不能保证监控效率；2)事后查看监控录像时，犯罪行为已经发生，错过阻止犯罪的最佳时期；3)报警滞后、误报、漏报、录像数据分析困难等。因此智能视频处理方法对解决传统视频监控问题起到了积极作用。

ATM智能视频处理技术模块主要包括人脸遮挡检测模块、遗留物检测模块、异常行为检测模块等。在人脸识别领域，随着最近几年深度学习大潮的出现，也相应地带动了人脸识别技术这一领域的突飞猛进，人脸识别技术已经广泛应用于智能安检系统、智能安防门禁系统等领域。SeetaFace是中科院山世光老师及他的团队所研发并于2016年开源的人脸识别引擎。包括了搭建一套全自动人脸识别系统所需的三个核心模块，即：人脸检测模块SeetaFace Detection、面部特征点定位模块SeetaFace Alignment以及人脸特征提取与比对模块SeetaFace Identification。本文利用SeetaFace结合Adaboost级联分类器进行脸部的眼睛和嘴巴遮挡检测来判断是否发生了脸部遮挡行为。

在前景遗留物检测方面，目前遗留物检测系统大多是通过视频监控得到数据，利用图像处理技术、计算机视觉、模式识别、人工智能等技术识别不同的对象。算法研究主要是基于目标跟踪和目标检测两种思路。混合高斯背景建模法(GMM)与三帧差法都能对视频中的前景运动目标进行很好的检测，混合高斯模型要不断更新每个像素点的参数，当前景目标静止时间达到一定阈值，该前景像素点会被融入背景当中，那么可以利用混合高斯背景建模的这一特点，结合三帧差法，检测出视频中的运动目标和暂时静止目标，通过对暂时静止目标进行提取并持续跟踪，统计该目标是否达到遗留物的静止时间阈值T，若达到即被认定为是遗留物。

本文中异常行为检测模块主要是针对ATM房间内的人员徘徊行为进行检测，涉及深度学习，目标检测和跟踪算法技术的实现。徘徊行为具有路径S>>位移L的特征，所以本文在caffe深度框架下，利用SSD目标检测算法，增加其中raspect ratio参数以适应行人高>>宽的特征，再利用训练好的改进型SSD模型检测监控区域内的行人，然后利用灰度平均值、矩形框长宽比结合基于HSV通道下H通道的直方图特征来跟踪检测到的目标，统计该目标行走的路径S，并计算该目标行走的位移，判断S>>L是否成立，利用满足这一条件与否来实现徘徊这一异常行为的检测。

发明内容

本发明要解决的技术问题是传统视频监控需要耗费巨大的人力和物力，用于提高视频监控效率。

本发明的基本算法为：人脸遮挡检测模块中利用SeetaFace对人脸进行活体检测，再利用adaboost眼睛和嘴部的检测器在人脸标记窗口内进行检测判断人员是否发生脸部遮挡行为；遗留物检测模块中利用GMM和三帧差算法相结合提取暂时静止的物体，然后利用该物体的颜色相似度，灰度直方图匹配等方法对目标进行跟踪，统计目标静止的帧数t，并和阈值帧数T进行比较来判断该目标是否为遗留物；徘徊行为检测模块在Caffe深度框架下，利用改进型SSD算法对监控区域内的人体进行检测，然后利用相似度跟踪算法对人体进行跟踪，计算目标的路径和位移，来判断该目标是否发生了徘徊行为。

其中人脸遮挡检测模块算法设计：SeetaFace Detection采用了一种结合传统人造特征与多层感知机(MLP)的级联结构，在FDDB上达到了84.4％的召回率(100个误检时)，并可在单个i7CPU上实时处理VGA分辨率的图像。其人脸验证模块在使用对齐好的LFW图片上能做到98.6％。在人脸存在较为严重遮挡现象时仍能有效进行人脸的活体检测，为后续利用AdaBoost级联分类器进行脸部的眼睛、嘴巴遮挡检测提供了初始化的判断区域。

遗留物检测模块算法设计：运用混合高斯背景建模(GMM)和三帧差法[检测出前景和暂时静止目标，利用基于YCrCb颜色空间中的Y通道的阴影消除算法准确提取出暂时静止目标，然后利用灰度平均值和质心判距离法对暂时静止目标进行跟踪并统计其持续静止时间t，若t>阈值T,则被认定为遗留物，对其进行标记。

徘徊行为检测模块算法设计：在C++语言平台下搭建Caffe深度网络框架，SSD算法是近年来经典的目标检测深度模型，利用SSD算法对监控视频每帧实现人体检测，然后将检测到的目标转换为HSV颜色模型，利用视频前后两帧的颜色特征和H通道的灰度直方图特征，计算两帧目标的欧式距离，来实现目标跟踪，计算目标行走的路径S和位移L，若S/L>1.5，则在该监控区域内，有目标发生了徘徊行为并实施报警响应。

与现有技术相比，本算法具有以下创新和有点：

1)、将SeetaFace与AdaBoost分类器结合；

2)、利用质心判距法和灰度平均值对暂时静止物进行跟踪；

3)、针对行为识别，利用深度网络结合姿态估计构建一个简易模型判断人体的行为是否异常；

4)、应用了图像处理，深度网络、神经网络多学科领域的算法，具有算法应用的创新性。

附图说明

图1为本发明算法设计流程图

图2为算法系统搭建界面图

图3为人脸遮挡检测效果图

图4为遗留物检测效果图

图5为徘徊检测效果图

具体实施方式

本发明的三个模块是并列运行，可以单独运行任何一个模块，也可以同时运行三个模块，只需要将三个模块合并到一个系统当中即可。下面结合附图对本发明做进一步说明：

一、人脸遮挡检测模块：

步骤1：对SeetaFace进行编译，并配置VS2013和OpenCV；

步骤2：在线收集眼睛和嘴部的数据集并做好xml类型文件的标签；

步骤3：用Adaboost级联分类器训练眼睛和嘴部的检测器，并调用SeetaFace人脸检测引擎中的人脸检测器对监控视频的每帧进行人脸检测；

步骤4：在检测到的人脸区域利用Adaboost训练好的eyes和mouth检测器进行检测，若在检测到人脸的情况下没有检测到眼睛或者嘴部的时候，则认为人员发生了脸部遮挡行为。

二、遗留物检测模块：

步骤1：利用GMM混合高斯背景建模对视频进行处理提取监控区域内的前景目标fore_gmm；

步骤2：利用三帧差法对视频进行处理提取监控区域内的前景目标fore_diff；

步骤3：将上边两步得到的前景相减fore_gmm–fore_diff得到暂时静止物体的前景frame_static；

步骤4：将frame_static前景区域的原图区域转换为YCrCb颜色通道，Y通道为图像的亮度通道，而前景物体容易受到灯光等因素影响产生阴影，通常认为Y通道值在50以下为前景阴影，所以将Y通道值小于50的区域丢弃，取剩下有效前景区域，命名为static_thing；

步骤5：计算视频的前后帧中static_thing区域的质心，和该区域的最小矩形框的长宽比，以及灰度平均值，若前后两帧的static_thing区域的长宽比、灰度平均值以及质心坐标的欧式距离小于5时，认为该处的物体持续静止了一帧，依次累计跟踪帧数，若持续帧数t>阈值帧数T＝80，则认为ATM区域有遗留物。

三、徘徊行为检测模块

步骤1：对视频的每帧图片利用编译好的Caffe和改进型SSD模型检测ATM监控区域内的人员目标，并标记矩形框；

步骤2：对视频的任意前后两帧中的矩形框目标进行HSV通道的颜色转换，并计算它们的H通道的直方图；利用直方图匹配算法，若前后两帧两个矩形框的匹配度match_value>0.6，则认为该两个框所代表的目标是同一目标，即跟踪成功，否则跟踪失败；

步骤3：计算跟踪成功的目标的移动路径S和位移L，若S/L>1.5，则认为该监控区域内发生了徘徊行为，则发生报警。

Claims (6)

1.一种基于图像处理的ATM视频智能监控方法，其特征在于：

人脸遮挡检测模块、遗留物检测模块和徘徊行为检测模块三个模块是并列运行，单独运行任何一个模块，合作同时运行三个模块，人脸遮挡检测模块中利用SeetaFace对人脸进行活体检测，再利用adaboost眼睛和嘴部的检测器在人脸标记窗口内进行检测判断人员是否发生脸部遮挡行为；遗留物检测模块中利用混合高斯背景建模GMM和三帧差算法相结合提取暂时静止的物体，然后利用该物体的颜色相似度，灰度直方图匹配等方法对目标进行跟踪，统计目标静止的帧数t，并和阈值帧数T进行比较来判断该目标是否为遗留物；徘徊行为检测模块在Caffe深度框架下，利用SSD算法对监控区域内的人体进行检测，然后利用相似度跟踪算法对人体进行跟踪，计算目标的路径和位移，来判断该目标是否发生了徘徊行为。

2.根据权利要求1所述的监控方法，其特征在于：

遗留物检测模块算法设计：运用混合高斯背景建模GMM和三帧差法检测出前景和暂时静止目标，利用基于YCrCb颜色空间中的Y通道的阴影消除算法准确提取出暂时静止目标，然后利用灰度平均值和质心判距离法对暂时静止目标进行跟踪并统计其持续静止时间t，若t>阈值T,则被认定为遗留物，对其进行标记。

3.根据权利要求1所述的监控方法，其特征在于：

徘徊行为检测模块算法设计：在C++语言平台下搭建Caffe深度网络框架，利用SSD算法对监控视频每帧实现人体检测，然后将检测到的目标转换为HSV颜色模型，利用视频前后两帧的颜色特征和H通道的灰度直方图特征，计算两帧目标的欧式距离，来实现目标跟踪，计算目标行走的路径S和位移L，若S/L>1.5，则在该监控区域内，有目标发生了徘徊行为并实施报警响应。

4.根据权利要求1所述的监控方法，其特征在于，人脸遮挡检测模块实现步骤：

步骤1：对SeetaFace进行编译，并配置VS2013和OpenCV；

步骤2：在线收集眼睛和嘴部的数据集并做好xml类型文件的标签；

步骤3：用Adaboost级联分类器训练眼睛和嘴部的检测器，并调用SeetaFace人脸检测引擎中的人脸检测器对监控视频的每帧进行人脸检测；

步骤4：在检测到的人脸区域利用Adaboost训练好的eyes和mouth检测器进行检测，若在检测到人脸的情况下没有检测到眼睛或者嘴部的时候，则认为人员发生了脸部遮挡行为。

5.根据权利要求1所述的监控方法，其特征在于，遗留物检测模块实现步骤：

步骤1：利用GMM混合高斯背景建模对视频进行处理提取监控区域内的前景目标fore_gmm；

步骤2：利用三帧差法对视频进行处理提取监控区域内的前景目标fore_diff；

步骤3：将上边两步得到的前景相减fore_gmm–fore_diff得到暂时静止物体的前景frame_static；

步骤4：将frame_static前景区域的原图区域转换为YCrCb颜色通道，Y通道为图像的亮度通道，而前景物体容易受到灯光等因素影响产生阴影，通常认为Y通道值在50以下为前景阴影，所以将Y通道值小于50的区域丢弃，取剩下有效前景区域，命名为static_thing；

步骤5：计算视频的前后帧中static_thing区域的质心，和该区域的最小矩形框的长宽比，以及灰度平均值，若前后两帧的static_thing区域的长宽比、灰度平均值以及质心坐标的欧式距离小于5时，认为该处的物体持续静止了一帧，依次累计跟踪帧数，若持续帧数t>阈值帧数T＝80，则认为ATM区域有遗留物。

6.根据权利要求1所述的监控方法，其特征在于，遗留物检测模块实现步骤：

步骤1：对视频的每帧图片利用编译好的Caffe和改进型SSD模型检测ATM监控区域内的人员目标，并标记矩形框；

步骤2：对视频的任意前后两帧中的矩形框目标进行HSV通道的颜色转换，并计算它们的H通道的直方图；利用直方图匹配算法，若前后两帧两个矩形框的匹配度match_value>0.6，则认为该两个框所代表的目标是同一目标，即跟踪成功，否则跟踪失败；

步骤3：计算跟踪成功的目标的移动路径S和位移L，若S/L>1.5，则认为该监控区域内发生了徘徊行为，则发生报警。