CN105913559A - 一种基于体感技术的银行atm机智能监控方法 - Google Patents

Abstract

本发明涉及一种基于体感技术的银行ATM机智能监控方法，它包括在ATM机操作区域安装3D体感设备，实时捕捉操作者的人体3D骨架图像，提取关键关节点特征向量，将特征向量输入到动作分类器中进行分类，确定是否为需要监控的危险暴力动作，其中将动作分类通过机器学习方法提前训练。本发明通过三维视觉感知技术，能够实现对人体动作姿态和人物运动轨迹的检测、分析和跟踪，动态、实时地捕捉ATM机操作者的动作，进而预测出倒地、扭打、破坏ATM机等危险暴力行为动作并提前发出告警，以防止ATM机操作区域内非正常行为的发生。

Description

一种基于体感技术的银行ATM机智能监控方法

技术领域

本发明属于体感监控技术领域，特别是是涉及一种基于体感技术的银行ATM机监控方法。

背景技术

3D体感技术是新一代人机交互技术革命，通过体感技术来实现对人物运动轨迹的精确检测和跟踪，并对动作进行分析，这将根本性地促进智能安防的发展。

银行的ATM设备是需要重点监控的场所，但由于ATM机网点繁多，且都是24小时不间断服务，银行显然没有足够的人力为每个ATM机配备24小时保卫，特别是在深夜，针对ATM机的犯罪活动数量较大，目前通用的方式是设置监控系统，且基于此技术人员研发了种类多样的监控系统。

中国专利申请201110028063.4公开了“一种全方位智能监控方法”，通过设置4路视频，以及震动传感器、微波探测器、声音传感器等多种辅助设备，当某一设备探测的数据达到报警限值时，便启动报警。此种监控手段为常规手段，犯罪分子很容易进行规避，且4路视频更多的作用在于事后取证，对进行过程中的犯罪行为起不到制止作用。

中国专利申请201520163615.6公开了“一种智能ATM防护舱”，包括设有舱门的舱体、人体感应器、能与监控中心服务器通讯的控制器，人体感应器安装在舱体的内侧壁，人体感应器与控制器电连接，其中所述控制器包括主控模块和统计器模块，统计器模块和人体感应器分别与主控模块电连接。虽然人体感应器可作为预设报警人数的传感器而启动报警，但人体感应器的作用极其有限，无法对涉案过程中的涉案人员动作进行监测、预警直至告警防范，在这方面没有任何实质性的作用。

综上所述，如何克服现有技术所存在的不足已成为当今体感监控技术领域中亟待解决的重点难题之一。

发明内容

本发明的目的是为克服现有技术所存在的不足而提供一种基于体感技术的银行ATM机智能监控方法，本发明通过三维视觉感知技术，能够实现对人体动作姿态和人物运动轨迹的检测、分析和跟踪，动态、实时地捕捉ATM机操作者的动作，进而预测出倒地、扭打、破坏ATM机等危险暴力行为动作并提前发出告警，以防止ATM机操作区域内非正常行为的发生。

根据本发明提出的一种基于体感技术的银行ATM机智能监控方法，包括如下基本步骤：

步骤一，体感设备实时输出空间三维测量数据，得到含深度图信息的RGB图像；

步骤二，针对每帧RGB图像的深度图信息，同时提取及跟踪1人或多人RGB图像中的人体3D骨架的动作特征向量，所述人体3D骨架为人体主要关节点的坐标数据；

步骤三，根据人体3D骨架的动作特征向量，进行包括对肢体尺寸、参考零点以及方向的作案人犯罪暴力动作监控目标的归一化处理；

步骤四，筛选主要关节点的坐标数据；

步骤五，从筛选后的坐标数据中提取动作特征向量值，并构建动作特征向量序列；

步骤六，对动作特征向量序列进行归一化处理，形成当前帧的n维多个人体动作特征向量；

步骤七，危险动作识别是将得到的n维多个人体动作特征向量输入危险动作识别模块，进行动作分类识别；如果识别出作案人犯罪暴力动作，则进入步骤八，否则重复步骤一至六；其中，所述的危险动作识别模块是指一个危险暴力动作分类器，由危险暴力动作训练模块训练生成，训练方法为，在ATM机使用的活动中，通过步骤一至六采集大量动作特征向量的样本，并进行人工标定分类，采用监督学习方法训练动作分类器；包括针对ATM机可能发生的危险暴力行为特点而训练的扭打、倒地、破坏ATM机的需要告警的典型动作并形成危险暴力行为动作序列；

步骤八，启动视频录制，通过RGB摄像头录制录像；

步骤九，生成告警信息，上报至预警模块；

步骤十，预警模块在预定场所播放预设的对应不同的人体危险动作的告警声，以警示危险暴力动作的继续发生；

步骤十一，通过网络将信息报送至对应管理人员随身的其他智能设备，以便由相关人员采取恰当的措施来阻止危险暴力行为的发生。

本发明的实现原理是：在ATM机操作区域安装3D体感设备，实时捕捉操作者的人体3D骨架图像，提取关键关节点特征向量，将特征向量输入到动作分类器中进行分类，确定是否为需要监控的危险暴力动作，从而进一步对危险暴力行为动作进行告警，其中将动作分类通过机器学习方法提前训练。

本发明与现有技术相比其显著优点在于：

一是更加智能化，传统的视频监控方法，需要人员实时查看，而本发明利用体感技术，通过计算机来识别出危险行为动作。

二是更具有扩展性，传统的监控方法，只能对人员的位置进行监控，而不能实时分析人员的动作行为，而本发明能够定制采集不同的警告动作，以满足不同情况的需求。

三是更好的实用性，本发明的智能设别手段具有较强的预警和告警功能，便于防范于未然，广泛适用于银行ATM机室、以及与银行ATM机室具有同类安全要求的如博物院展品区、机要保密室、贵重商品展销区等场所的智能监控。

附图说明

图1为本发明提出的一种基于体感技术的银行ATM机智能监控方法的流程方框示意图；

图2为本发明提出的一种基于体感技术的银行ATM机智能监控系统的原理方框示意图；

图3为本发明提出的一种基于体感技术的银行ATM机智能监控方法的危险暴力行为动作之扭打动作时空序列示意图；

图4为本发明提出的一种基于体感技术的银行ATM机智能监控方法的危险暴力行为动作之破坏ATM机动作时空序列示意图；

图5为本发明提出的一种基于体感技术的银行ATM机智能监控方法的危险暴力行为动作之倒地动作时空序列示意图。

具体实施方式

下面结合附图和实施例对本发明的具体实施方式作进一步的详细描述。

如图2所示，本发明提供一种基于体感技术的银行ATM机智能监控系统，包括：

体感设备，包含有红外发射器、红外接收器、RGB摄像头和3D体感芯片，用于实现空间的三维数据测量；

危险动作识别模块，包含动作识别模块和告警生成模块，其中，动作识别模块用于进行动作分类识别，当识别出作案人犯罪暴力动作时，告警生成模块生成告警信息；

动作库训练模块，包含动作学习模块和动作数据库，动作数据库用于存储大量动作特征向量的样本，并进行人工标定分类，而动作学习模块则用于进行学习训练，为危险动作识别模块提供识别依据；

预警模块，包含有预警推送模块和网络模块，通过网络模块连接互联网，对接各类即时通应用，可将危险动作识别模块发出的告警信息进行播放，并通过网络推送照片或短视频到相关管理人员的智能设备。

基于以上监控系统，本发明还提供一种基于体感技术的银行ATM机智能监控方法，配合图1所示，所述监控方法包括如下具体步骤：

步骤一，体感设备实时输出空间三维测量数据，得到含深度图信息的RGB图像；

步骤二，针对每帧RGB图像的深度图信息，同时提取及跟踪1人或多人RGB图像中的人体3D骨架的动作特征向量，所述人体3D骨架为人体主要关节点的坐标数据；

步骤三，根据人体3D骨架的动作特征向量，进行包括对肢体尺寸、参考零点以及方向的作案人犯罪暴力动作监控目标的归一化处理；

步骤四，筛选主要关节点的坐标数据，具体是指针对ATM作案人犯罪暴力行为的特点，选取作案人犯罪暴力动作中权重最高的关节点：左脚、右脚、左膝、右膝、右手、左手、左肘、右肘、头、肩中心、脊柱、臀关节的关节点坐标的数据作为特征向量的原始输入值，记为V＝[v¹,v²,v³,v⁴,v⁵,v⁶,v⁷,v⁸,v⁹,v1⁰,v¹¹,v¹²]；

步骤五，从筛选后的坐标数据中提取动作特征向量值，并构建动作特征向量序列；其中，所述动作特征向量序列为二维的空间及时间的序列，J＝{j₁，...，j_t，...，j_T}，其中T为样本序列的长度，而为时刻t关节点原始特征向量，其中表示关节点归一化后的三维坐标，包括朝向、身高、三维空间位置的归一化，所述w为取样关节点的个数，其数值为12；鉴于作案人犯罪暴力行为的动作相对较快，样本序列的长度T设置为100ms，取10帧骨架数据；最终根据关节点动作特征包括速度、位置、角度的空间关系进行特征提取，得到行为序列二维W×T特征矩阵O＝{o₁，...，o_t，...，o_T}，为时刻t的特征向量；

步骤六，对动作特征向量序列进行归一化处理，形成当前帧的n维多个人体动作特征向量；

步骤七，危险动作识别是将得到的n维多个人体动作特征向量输入危险动作识别模块，进行动作分类识别；如果识别出作案人犯罪暴力动作，则进入步骤八，否则重复步骤一至六；所述危险动作识别模块是指一个危险暴力动作分类器，由危险暴力动作训练模块训练生成，训练方法为，在ATM机使用的活动中，通过步骤一至六采集大量动作特征向量的样本，并进行人工标定分类，采用监督学习方法训练动作分类器，包括针对ATM机可能发生的危险暴力行为特点而训练的扭打、倒地、破坏ATM机的需要告警的典型动作并形成危险暴力行为动作序列；其中：

所述危险动作识别模块是指一个危险暴力动作分类器，输入待分类的动作特征向量，输出是否为危险动作类别，该分类器由动作训练模块提前训练完成；

所述危险动作识别模块是指一个多层的动作分类器，第一层包括对危险动作、正常动作进行分类的两类分类器；第二层包括对倒地、破坏ATM机、扭打危险动作进行具体分类的多类分类器。

所述的危险暴力动作分类器为基于二维的空间时序隐马尔科夫模型训练完成，模型通过寻找连续人体运动来自动学习构成动作的序列，并对序列分类，进而实现对动作的识别，所述隐马尔科夫模型用5元组表示；λ＝{S,V,H,B,π}，S^w为状态集合，V^w为空间维度上状态转移矩阵，H^w为时间维度上状态转移矩阵，B^w为输出概率密度，π^w为各状态集初始分布概率；或者采用K近邻算法、支持向量机的多种分类、回归和数据聚类机器学习算法来训练的作案人犯罪暴力动作分类器。

所述危险动作识别模块是指一个多层的动作分类器，第一层包括对危险动作、正常动作进行分类的两类分类器；第二层包括对倒地、破坏ATM机、扭打危险动作进行具体分类的多类分类器。

所述作案人犯罪暴力动作是指人员扭打动作时空序列，包括跟踪两个以上人员骨架，并且骨架坐标在空间上有交集；左右手关节或左右脚关节周期内朝相同方向快速变化，如图3所示。

所述作案人犯罪暴力动作是指破坏ATM机的危险暴力动作时空序列，包括特征人员骨架空间在ATM机附近，左右手关节或左右脚关节周期内朝相同方向快速变化，如图4所示。

所述作案人犯罪暴力动作是指倒地动作时空序列，包括肩中心关节、臀关节垂直坐标在序列周期内快速下降，肩中心相对角度快速变化，如图5所示。

步骤八，启动视频录制，通过RGB摄像头录制录像，拍摄当时小段视频推送至相关管理人员手机或其他能够及时收到信息的智能设备；所述小段视频是指既能够保证管理人员能准确判断当时情况，又能够保证及时传输的1秒钟或几秒钟以内的视频。

步骤九，生成告警信息，上报至预警模块；

步骤十，预警模块在预定场所播放预设的对应不同的人体危险动作的告警声，以警示危险暴力动作的继续发生；

步骤十一，通过网络将信息报送至对应管理人员随身的其他智能设备，以便由相关人员采取恰当的措施来阻止危险暴力行为的发生。

本发明的具体实施方式中凡未涉到的说明属于本领域的公知技术，可参考公知技术加以实施。

本发明经反复试验验证，取得了满意的试用效果。

以上具体实施方式及实施例是对本发明提出的一种基于体感技术的银行ATM机智能监控方法技术思想的具体支持，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在本技术方案基础上所做的任何等同变化或等效的改动，均仍属于本发明技术方案保护的范围。

Claims (11)

1.一种基于体感技术的银行ATM机智能监控方法，其特征在于，包括如下基本步骤：

步骤一，体感设备实时输出空间三维测量数据，得到含深度图信息的RGB图像；

步骤二，针对每帧RGB图像的深度图信息，同时提取及跟踪1人或多人RGB图像中的人体3D骨架的动作特征向量，所述人体3D骨架为人体主要关节点的坐标数据；

步骤三，根据人体3D骨架的动作特征向量，进行包括对肢体尺寸、参考零点以及方向的作案人犯罪暴力动作监控目标的归一化处理；

步骤四，筛选主要关节点的坐标数据；

步骤五，从筛选后的坐标数据中提取动作特征向量值，并构建动作特征向量序列；

步骤六，对动作特征向量序列进行归一化处理，形成当前帧的n维多个人体动作特征向量；

步骤七，危险动作识别是将得到的n维多个人体动作特征向量输入危险动作识别模块，进行动作分类识别；如果识别出作案人犯罪暴力动作，则进入步骤八，否则重复步骤一至六；其中，所述的危险动作识别模块是指一个危险暴力动作分类器，由危险暴力动作训练模块训练生成，训练方法为，在ATM机使用的活动中，通过步骤一至六采集大量动作特征向量的样本，并进行人工标定分类，采用监督学习方法训练动作分类器；包括针对ATM机可能发生的危险暴力行为特点而训练的扭打、倒地、破坏ATM机的需要告警的典型动作并形成危险暴力行为动作序列；

步骤八，启动视频录制，通过RGB摄像头录制录像；

步骤九，生成告警信息，上报至预警模块；

步骤十，预警模块在预定场所播放预设的对应不同的人体危险动作的告警声，以警示危险暴力动作的继续发生；

步骤十一，通过网络将信息报送至对应管理人员随身的其他智能设备，以便由相关人员采取恰当的措施来阻止危险暴力行为的发生。

2.根据权利要求1所述的一种基于体感技术的银行ATM机智能监控方法，其特征在于，步骤四所述筛选主要关节点的坐标数据是指针对ATM作案人犯罪暴力行为的特点，选取作案人犯罪暴力动作中权重最高的关节点：左脚、右脚、左膝、右膝、右手、左手、左肘、右肘、头、肩中心、脊柱、臀关节的关节点坐标的数据作为特征向量的原始输入值并记为V,该V＝[v¹,v²,v³,v⁴,v⁵,v⁶,v⁷,v⁸,v⁹,v¹⁰,v¹¹,v¹²]。

3.根据权利要求1所述的一种基于体感技术的银行ATM机智能监控方法，其特征在于，步骤五所述动作特征向量序列为二维的时空序列并记为J，该J＝{j₁,...,j_t,...，j_T}，其中T为样本序列的长度，而为时刻t各关节点的原始特征向量输入值v，而表示关节点归一化后的三维坐标，包括朝向、身高、三维空间位置的归一化。

4.根据权利要求3所述的一种基于体感技术的银行ATM机智能监控方法，其特征在于，所述w为取样关节点的个数，其数值为12；鉴于作案人犯罪暴力行为的动作相对较快，样本序列的长度T设置为100ms，取10帧骨架数据；最终根据关节点动作特征包括速度、位置、角度的空间关系进行特征提取，得到行为序列二维W×T特征矩阵O＝{o₁,...,o_t,...,o_T}，为时刻t的特征向量。

5.根据权利要求1所述的一种基于体感技术的银行ATM机智能监控方法，其特征在于，步骤七所述危险动作识别模块是指一个危险暴力动作分类器，输入待分类的动作特征向量，输出是否为危险动作类别，该分类器由动作训练模块提前训练完成。

6.根据权利要求1所述的一种基于体感技术的银行ATM机智能监控方法，其特征在于，步骤七所述危险动作识别模块是指一个多层的动作分类器，第一层包括对危险动作、正常动作进行分类的两类分类器；第二层包括对倒地、破坏ATM机、扭打危险动作进行具体分类的多类分类器。

7.根据权利要求1所述的一种基于体感技术的银行ATM机智能监控方法，其特征在于，步骤七所述的危险暴力动作分类器为基于二维的空间时序隐马尔科夫模型训练完成，模型通过寻找连续人体运动来自动学习构成动作的序列，并对序列分类，进而实现对动作的识别，所述隐马尔科夫模型用5元组表示：λ＝{S,V,H,B,π}，S^w为状态集合，V^w为空间维度上状态转移矩阵，H^w为时间维度上状态转移矩阵，B^w为输出概率密度，π^w为各状态集初始分布概率，w为12；或者采用K近邻算法、支持向量机的多种分类、回归和数据聚类机器学习算法来训练的作案人犯罪暴力动作分类器。

8.根据权利要求1所述的一种基于体感技术的银行ATM机智能监控方法，其特征在于步骤七所述作案人犯罪暴力动作是指人员扭打动作时空序列，包括跟踪两个以上人员骨架，并且骨架坐标在空间上有交集；左右手关节或左右脚关节周期内朝相同方向快速变化。

9.根据权利要求1所述的一种基于体感技术的银行ATM机智能监控方法，其特征在于步骤七所述作案人犯罪暴力动作是指破坏ATM机的危险暴力动作时空序列，包括特征人员骨架空间在ATM机附近，左右手关节或左右脚关节周期内朝相同方向快速变化。

10.根据权利要求1所述的一种基于体感技术的银行ATM机智能监控方法，其特征在于步骤七所述作案人犯罪暴力动作是指倒地动作时空序列，包括肩中心关节、臀关节垂直坐标在序列周期内快速下降，肩中心相对角度快速变化。

11.根据权利要求1所述的一种基于体感技术的银行ATM机智能监控方法，其特征在于步骤八所述RGB摄像头录制录像是指拍摄当时小段视频推送至相关管理人员手机或其他能够及时收到信息的智能设备；所述小段视频是指既能够保证管理人员能准确判断当时情况，又能够保证及时传输的1秒钟或几秒钟以内的视频。