CN109711334A - 一种基于时空光流场的atm尾随事件检测方法 - Google Patents
一种基于时空光流场的atm尾随事件检测方法 Download PDFInfo
- Publication number
- CN109711334A CN109711334A CN201811598249.1A CN201811598249A CN109711334A CN 109711334 A CN109711334 A CN 109711334A CN 201811598249 A CN201811598249 A CN 201811598249A CN 109711334 A CN109711334 A CN 109711334A
- Authority
- CN
- China
- Prior art keywords
- optical flow
- flow field
- space
- atm
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 13
- 230000001681 protective effect Effects 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 238000013136 deep learning model Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013145 classification model Methods 0.000 abstract description 2
- 238000010276 construction Methods 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于时空光流场的ATM尾随事件检测方法。本发明利用ATM防护舱垂直的相机，首先基于帧间光流场来获得时空光流场，然后采用深度学习的技术对单人正常取款、以及尾随时的时空光流场进行分类建模。与现有技术相比，本发明提供的基于光流和深度学习的ATM尾随检测方法，对相机的参数、拍摄角度、行人体型、以及行人着装等因素有更强的鲁棒性，人数统计准确率更高。本发明可以根据人数统计来实时的检测是否存在人员尾随问题。
Description
技术领域
本发明属于计算机视觉技术领域，涉及一种基于时空光流场的ATM尾随事件检测方法。
背景技术
当前，ATM机尾随犯罪事件越来越多，给银行客户带来巨大的损失，同时也造成了恶劣的社会影响。虽然所有银行都装有实时的监控系统，但大多只能用于事后取证，无法对尾随行为做到实时报警。而ATM人员尾随检测可以通过统计ATM内人数来一定程度上完成，一般大于2人时，认为出现尾随情况。因此，产生了一些基于视频监控的人数统计方法研究，能对监控范围的人数进行实时统计和报警。
但目前大多基于光流的人数统计算法准确率受众多因素的影响，在实际操作中准确率不高。例如专利《基于深度信息聚类的复杂场景人数统计方法》CN201110356312.2，基于光流和行人面积特征，根据相机参数、视角等信息，利用分割算法来进行人数统计。但在实际行人体型过大，行人背包、相机参数视角多变等情况下其准确率急速下降。因此，有必要提供新的方法，来解决以上问题。
发明内容
针对现有技术的不足，本发明的目的在于提供一种基于光流和深度学习的ATM尾随事件检测方法，采用深度学习的技术，对时空光流图进行建模，从而达到高精度的尾随检测效果。
为了实现上述目的，本发明所采用的技术方案是：利用ATM防护舱垂直的相机，首先基于帧间光流场来获得时空光流场，然后采用深度学习的技术对单人正常取款、以及尾随时的时空光流场进行分类建模，具体包括如下步骤：
步骤1、对垂直拍摄的ATM场景进行拌线标注：
将防护舱底部位于地面的区域看做一个矩形框，把矩形框的左下角与右下角相连，形成一条拌线(即矩形框的下边)。
步骤2、由于不同情况下标注的拌线长度均不同，为达到建模对象成像大小一致的目的，需要将图像缩放，并保证缩放后的拌线在X方向上的长度是一致的，从而也就保证了防护舱以及取款人的成像大小是一致的。
步骤3、根据拌线估计光流的计算范围，以左上角(A1,B1)和右下角(A2,B2)表示，具体计算方式如下：
A1＝X1-0.3*(X2-X1)
A2＝X2+0.3*(X2-X1)
B1＝Y1-0.3*(X2-X1)
B2＝Y2+0.3*(X2-X1)
步骤4、在原始图中将光流的计算范围裁剪出来，并按缩放比例R进行缩放后，计算每帧的Y方向光流场。
步骤5、将每帧的Y方向光流场，分别按大于0和小于0形成两张时空光流场，并拼接在一起，加入X和Y方向的平移扰动后，作为深度学习模型的输入。
步骤6、拍摄大量单人和多人在不同型号、架设高度相机下进入防护舱的视频，按步骤1-5形成大量时空光流图来训练深度学习模型，模型的输出为一个二类分类结果，即单人进入或多人进入。
本发明的有益效果：与现有技术相比，本发明提供的基于光流和深度学习的ATM尾随检测方法，对相机的参数、拍摄角度、行人体型、以及行人着装等因素有更强的鲁棒性，人数统计准确率更高。本发明可以根据人数统计来实时的检测是否存在人员尾随问题。
附图说明
图1.本发明流程图；
图2.ATM场景下拌线标注示意图；
图3.两张时空光流场拼接图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。
以下结合附图1对本发明的做进一步说明。
本发明的具体步骤包括：
步骤1、对垂直拍摄的ATM场景进行拌线标注，见图2：
将防护舱底部位于地面的区域看做一个矩形框，把矩形框的左下角与右下角相连，形成一条拌线(即矩形框的下边)。这样标注主要有两个目的：
1)确定防护舱门所处的位置，算法将只对门附近的区域进行光流计算，这样一方面可以过滤取款人进入之后防护舱后的无意义运动，另一方面也可以降低计算量。
2)估计出防护舱的大小；因为不同相机在不同的安装高度，防护舱的成像大小是不一样的，而对于深度学习来说，需要保证建模对象的成像大小一致。
步骤2、由于不同情况下标注的拌线长度均不同，为达到建模对象成像大小一致的目的，需要将图像缩放，并保证缩放后的拌线在X方向上的长度是一致的，从而也就保证了防护舱以及取款人的成像大小是一致的，具体如下：
假设标注的拌线左端点的坐标为(97,157)，右端点的坐标为(221,169)，计算图像的缩放比例：
即缩小为0.97倍，此时拌线在X方向上的长度被统一到120个像素。
步骤3、根据拌线估计光流的计算范围，以左上角(A1,B1)和右下角(A2,B2)表示，具体计算方式如下：
A1＝97-(221-97)＝60
A2＝221+(221-97)＝258
B1＝157-0.3*(221-97)＝120
B2＝169+0.3*(221-97)＝206
步骤4、在原始图中将光流的计算范围裁剪出来，并按缩放比例0.97进行缩放后，计算每帧的Y方向光流场。
步骤5、将每帧的Y方向光流场，分别按大于0和小于0形成两张时空光流场，并拼接在一起，加入X和Y方向的平移扰动，例如在+-10的范围内随机平移，作为深度学习模型的输入，如图3所示。
步骤6、拍摄大量单人和多人在不同型号、架设高度相机下进入防护舱的视频，按步骤1-5形成大量时空光流图来训练深度学习模型，模型的输出为一个二类分类结果，即单人进入或多人进入。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。
Claims (3)
1.一种基于时空光流场的ATM尾随事件检测方法，其特征在于该方法包括以下步骤：
步骤1、对垂直拍摄的ATM场景进行拌线标注：
将防护舱底部位于地面的区域看做一个矩形框，把矩形框的左下角与右下角相连，形成一条拌线；
步骤2、将图像缩放，保证缩放后的拌线在X方向上的长度是一致的；
步骤3、根据拌线估计光流的计算范围；
步骤4、在原始图中将光流的计算范围裁剪出来，并按缩放比例进行缩放后，计算每帧的Y方向光流场；
步骤5、将每帧的Y方向光流场，分别按大于0和小于0形成两张时空光流场，并拼接在一起，加入X和Y方向的平移扰动后，作为深度学习模型的输入；
步骤6、拍摄大量单人和多人在不同型号、架设高度相机下进入防护舱的视频，按步骤1-5形成大量时空光流图来训练深度学习模型，模型的输出为一个二类分类结果，即单人进入或多人进入，从而完成尾随事件的检测。
2.根据权利要求1所述的一种基于时空光流场的ATM尾随事件检测方法，其特征在于：步骤2具体是：假设标注的拌线左端点的坐标为(X1,Y1)，右端点的坐标为(X2,Y2)，计算图像的缩放比例：
在此缩放比例下，所有拌线在X方向上的长度均被统一到120个像素。
3.根据权利要求1所述的一种基于时空光流场的ATM尾随事件检测方法，其特征在于：步骤3的光流计算范围以左上角(A1,B1)和右下角(A2,B2)表示，具体计算方式如下：
A1＝X1-0.3*(X2-X1)
A2＝X2+0.3*(X2-X1)
B1＝Y1-0.3*(X2-X1)
B2＝Y2+0.3*(X2-X1)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811598249.1A CN109711334B (zh) | 2018-12-26 | 2018-12-26 | 一种基于时空光流场的atm尾随事件检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811598249.1A CN109711334B (zh) | 2018-12-26 | 2018-12-26 | 一种基于时空光流场的atm尾随事件检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109711334A true CN109711334A (zh) | 2019-05-03 |
| CN109711334B CN109711334B (zh) | 2021-02-05 |
Family
ID=66258281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811598249.1A Active CN109711334B (zh) | 2018-12-26 | 2018-12-26 | 一种基于时空光流场的atm尾随事件检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109711334B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101268478B (zh) * | 2005-03-29 | 2012-08-15 | 斯达普力特有限公司 | 采用视频分析检测可疑活动的方法及装置 |
| CN103413324A (zh) * | 2013-07-29 | 2013-11-27 | 西北工业大学 | 航拍视频自动目标跟踪方法 |
| CN104268851A (zh) * | 2014-09-05 | 2015-01-07 | 浙江捷尚视觉科技股份有限公司 | 一种基于深度信息的atm自助营业厅行为分析方法 |
| CN105005771A (zh) * | 2015-07-13 | 2015-10-28 | 西安理工大学 | 一种基于光流点轨迹统计的车道线实线的检测方法 |
| WO2017206005A1 (zh) * | 2016-05-30 | 2017-12-07 | 中国石油大学(华东) | 一种基于光流检测和身体部分模型的多人姿态识别系统 |
| CN108898042A (zh) * | 2017-12-27 | 2018-11-27 | 浩云科技股份有限公司 | 一种应用于atm机舱内用户异常行为的检测方法 |
| CN109064686A (zh) * | 2018-08-17 | 2018-12-21 | 浙江捷尚视觉科技股份有限公司 | 一种基于人体分割的atm尾随检测方法 |
-
2018
- 2018-12-26 CN CN201811598249.1A patent/CN109711334B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101268478B (zh) * | 2005-03-29 | 2012-08-15 | 斯达普力特有限公司 | 采用视频分析检测可疑活动的方法及装置 |
| CN103413324A (zh) * | 2013-07-29 | 2013-11-27 | 西北工业大学 | 航拍视频自动目标跟踪方法 |
| CN104268851A (zh) * | 2014-09-05 | 2015-01-07 | 浙江捷尚视觉科技股份有限公司 | 一种基于深度信息的atm自助营业厅行为分析方法 |
| CN105005771A (zh) * | 2015-07-13 | 2015-10-28 | 西安理工大学 | 一种基于光流点轨迹统计的车道线实线的检测方法 |
| WO2017206005A1 (zh) * | 2016-05-30 | 2017-12-07 | 中国石油大学(华东) | 一种基于光流检测和身体部分模型的多人姿态识别系统 |
| CN108898042A (zh) * | 2017-12-27 | 2018-11-27 | 浩云科技股份有限公司 | 一种应用于atm机舱内用户异常行为的检测方法 |
| CN109064686A (zh) * | 2018-08-17 | 2018-12-21 | 浙江捷尚视觉科技股份有限公司 | 一种基于人体分割的atm尾随检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 周智 等: "基于光流的ATM机异常行为实时检测", 《计算机系统应用》 * |
| 李忠禹 等: "基于Kalman滤波与光流法的智能闯入报警系统", 《2015中国计算机应用大会暨2015年大数据与物联网在工业中的应用会议》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109711334B (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103164706B (zh) | 基于视频信号分析的对象计数方法与装置 | |
| CN105574894B (zh) | 一种运动物体特征点跟踪结果的筛选方法和系统 | |
| CN109086724B (zh) | 一种加速的人脸检测方法及存储介质 | |
| CN103167270B (zh) | 人员头部拍摄方法、系统及服务器 | |
| TW201120807A (en) | Apparatus and method for moving object detection | |
| CN106033614B (zh) | 一种强视差下的移动相机运动目标检测方法 | |
| CN105160297A (zh) | 基于肤色特征的蒙面人事件自动检测方法 | |
| CN104966062A (zh) | 视频监视方法和装置 | |
| KR101602471B1 (ko) | 하천 수위 측정 및 경고시스템 | |
| CN103279791A (zh) | 基于多特征的行人计算方法 | |
| CN104732236B (zh) | 一种基于分层处理的人群异常行为智能检测方法 | |
| Xu et al. | Dynamic obstacle detection based on panoramic vision in the moving state of agricultural machineries | |
| CN107509059A (zh) | 摄像机镜头遮挡检测方法 | |
| CN109598706A (zh) | 一种摄像机镜头遮挡检测方法及系统 | |
| CN103700106A (zh) | 一种基于分布式摄像机的多视角运动目标统计与定位方法 | |
| Li et al. | Intelligent transportation video tracking technology based on computer and image processing technology | |
| CN103456123A (zh) | 一种基于流动和扩散特征的视频烟气探测方法 | |
| CN109241977A (zh) | 一种摄像机镜头遮挡检测方法 | |
| CN114511592A (zh) | 一种基于rgbd相机和bim系统的人员轨迹追踪方法及系统 | |
| US12008801B1 (en) | Tracking and identification method, device, electronic device, and storage medium for multiple vessel targets | |
| CN102930554B (zh) | 一种监控场景下目标精确抓取的方法及系统 | |
| CN109977796A (zh) | 尾随通行检测方法及装置 | |
| JP4020982B2 (ja) | 動画像処理装置 | |
| CN103884332B (zh) | 一种障碍物判定方法、装置及移动电子设备 | |
| CN105138979A (zh) | 基于立体视觉的运动人体头部检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231103 Address after: Room 319-2, 3rd Floor, Building 2, No. 262 Wantang Road, Xihu District, Hangzhou City, Zhejiang Province, 310012 Patentee after: Zhejiang Jiehuixin Digital Technology Co.,Ltd. Address before: 311121 East Building, building 7, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province Patentee before: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd. |