CN111291735A - 基于轨迹分析的井下人员奔跑异常行为检测方法 - Google Patents
基于轨迹分析的井下人员奔跑异常行为检测方法 Download PDFInfo
- Publication number
- CN111291735A CN111291735A CN202010360336.4A CN202010360336A CN111291735A CN 111291735 A CN111291735 A CN 111291735A CN 202010360336 A CN202010360336 A CN 202010360336A CN 111291735 A CN111291735 A CN 111291735A
- Authority
- CN
- China
- Prior art keywords
- track
- frame
- target
- trajectory
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 title claims description 13
- 206010000117 Abnormal behaviour Diseases 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000006399 behavior Effects 0.000 claims abstract description 26
- 230000002159 abnormal effect Effects 0.000 claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 6
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000007619 statistical method Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000010223 real-time analysis Methods 0.000 abstract 1
- 239000000284 extract Substances 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于轨迹分析的井下人员奔跑异常行为检测方法,通过采用计算机视觉技术对监控摄像头进行实时分析,检测井下人员奔跑异常行为,本发明通过ORB图像关键点检测及Lucas‑Kanade光流跟踪技术提取运动目标并进行实时跟踪,通过对目标运动轨迹进行统计分析,提取运动目标速度和轨迹波动特征,能够有效判别人员奔跑行为。本发明无需对视频进行逐帧标注,只需少量包含正常行车或行人的视频数据运行本算法以确定正则化系数,部署快速、方便。
Description
技术领域
本发明涉及一种人体行为检测方法,尤其是涉及一种基于轨迹分析的井下人员奔跑异常行为检测方法。
背景技术
井下人员在行车行人通道、等候通道等人流和车流密集处奔跑可能导致交通事故,具有较大的安全隐患。目前井下奔跑违章行为的发现和监控均通过人工实现,尚无通过人工智能技术解决的应用案例。现有通过计算机视觉技术识别违章行为的技术多采用有监督的姿态识别技术、行为识别技术等,依赖于大量的视频标注数据,且对计算机性能要求较高。
发明内容
本发明提供了一种基于轨迹分析的井下人员奔跑异常行为检测方法,通过采用计算机视觉技术对监控摄像头进行实时分析,解决检测井下人员奔跑异常行为的问题。其技术方案如下所述:
一种基于轨迹分析的井下人员奔跑异常行为检测方法,包括以下步骤:
S1:对摄像头的视频流数据进行解码处理,每隔固定帧数k提取单帧图像,当满足跟踪目标添加条件时从当前单帧图像中提取跟踪目标;
S2:对跟踪目标选取具有代表性的像素点或区域作为关键点,采用稀疏光流法对关键点进行跟踪,实现跟踪目标的目标轨迹更新;
S3:对跟踪目标的运动轨迹进行统计分析,计算每条轨迹坐标移动绝对差之和,计算每条轨迹的速度统计量S和波动统计量V;
进一步的,步骤S1中,监控摄像头的帧率为m帧每秒,间隔的固定帧数k为m的1/3-1/2之间。
步骤S1中,所述跟踪目标采用人体模型或人体模型的部分组成特征。
进一步的,步骤S2中,关键点检测采用ORB特征提取算法。
步骤S2中,所述轨迹更新包括下列步骤:
S24:缓存当前图像。
进一步的,步骤S3中,所述运动轨迹T的公式为:
所述运动轨迹T表示一组带时间信息的坐标点的集合,其中为当前帧的
一个跟踪关键点坐标,也是轨迹T的终点坐标,为当前帧的时间戳;为当前帧的前第帧的一个跟踪关键点坐标,也是轨迹T
的起点坐标;和分别对应当前帧的前第帧的一个跟踪点坐
标和时间戳,n为轨迹长度。
所述n的取值取决于视频帧率及跟踪目标在相邻图像上的相对移动速度。
步骤S3中,速度统计量S和波动统计量V如下:
其中,arccos为反余弦函数。
S41:录制设定时长包含车辆或行人匀速通过摄像头监控区域的视频;
S42:采用上述方法提取行人或车辆运动轨迹;
本发明通过计算机视觉技术对运动目标进行跟踪,对目标运动轨迹进行统计分析,能够有效判别人员奔跑行为,只需少量包含正常行车或行人的视频数据运行本算法以确定正则化系数,部署快速、方便。
附图说明
图1是本发明对人员奔跑异常行为识别流程图。
具体实施方式
下面结合附图给出本发明实施例,以详细说明本发明的技术实施方案。
如图1所示,本发明基于单目视觉(基于一个摄像头的视频数据),从摄像头解码视频流数据,逐帧读取视频的单帧图像,当满足跟踪目标添加条件时从当前图像中提取跟踪目标,否则在当前图像上进行目标运动轨迹更新,对目标运动轨迹进行统计分析,根据轨迹的统计特征判定是否有人员奔跑行为。其过程主要涉及跟踪目标添加条件、提取跟踪目标、目标轨迹更新和轨迹奔跑行为判定四个主要步骤。
一、跟踪目标添加条件。由于视频流相邻两帧图像的像素变化较小,逐帧提取关键点会导致存在大量冗余信息且计算量激增,因此本发明对视频流每隔固定帧数k进行提取,通过提取的帧图像中的关键点作为跟踪目标的添加条件,以减少信息冗余和计算量。
k的取值取决于视频帧率及跟踪目标在相邻图像上的相对移动速度。视频帧率即每秒显示帧数,当相对移动速度快时k设置过高会导致跟踪目标丢失,而当相对移动速度慢时k设置过小会导致冗余信息增加。
一般地,监控摄像头的帧率为25帧每秒,某实施例中,本发明以间隔k=10帧提取关键点作为跟踪目标添加条件进行说明。
二、提取跟踪目标。人作为需要进行跟踪的主体,可以设定跟踪目标为人体模型或人体模型的部分组成特征,包括手臂、脚部、腿部区域等。跟踪目标在图像上表现为一个区域像素点的集合,需要从这些区域像素点的集合中选取具有代表性的像素点或区域作为关键点。
本发明采用关键点检测技术选取跟踪目标。关键点检测(Key-Point Detection)是计算机视觉中常用的特征检测技术,是图像匹配、物体识别等视觉任务的重要基础,常用的关键点检测技术有SIFT、SURF、ORB等。本发明采用ORB提取图像关键点作为跟踪目标。ORB( oriented BRIEF )在SIFT、SURF的基础上改进,可以达到与SIFT接近的检测性能,但检测速度快两个数量级,是一种性能和精度兼顾的关键点检测算法,在图像匹配和立体视觉中有广泛的应用。ORB的常用输入参数包括:关键点数目、图像金字塔缩放尺度、图像金字塔数目。其中,图像金字塔数目和图像金字塔缩放尺度是一种改善尺度不变性问题的参数。本发明实例中分别设置关键点数目为50,图像金字塔数目为8,图像金字塔缩放尺度为1.2。
这样,某实施例可以采用腿部区域作为跟踪目标,对读取的某帧图像识别出该帧图像中腿部区域,并以腿部区域代表性的像素点或区域作为关键点,从而进行下一步骤。
三、目标轨迹更新。本发明采用稀疏光流法对关键点进行跟踪。稀疏光流是一种估计特征点在不同图片间的对应关系方法,常用方法如Lucas-Kanade稀疏光流法,可快速、准确追踪给定特征点在当前图像上的位置。其输入包括:前一帧图像、前一帧图像的关键点坐标、当前帧图像,一条运动轨迹T的公式表示为:
它表示一组带时间信息的坐标点的集合。其中为当前帧的一个跟踪关
键点坐标,为当前帧的时间戳,为当前帧的前第帧的一个跟踪关
键点坐标,为当前帧的前第帧的时间戳,n为轨迹长度。类似的,n的取值取决于
视频帧率及跟踪目标在相邻图像上的相对移动速度,通常使n=2k,本实施例中则以n=20进
行说明。
则轨迹更新的步骤为:1)取所有跟踪目标(关键点)的最新坐标及前一帧图像;
2)前一帧图像、关键点坐标及当前图像,根据使用稀疏光流法计算所有 的在当前图
像上的对应坐标,记录当前时刻;3)若目标未找到的对应点,则取消该目标的跟踪
并删除其轨迹,否则在目标轨迹T末端插入,当其长度大于n时,剔除轨迹的首元素;4)缓存当前图像。
四、轨迹奔跑行为判定。对运动轨迹进行统计分析判定奔跑行为,其步骤为:
2)计算每条轨迹的速度统计量S和波动统计量V,统计量S和V的定义如下:
其中,arccos为反余弦函数。
本发明对距离正则化系数和的计算过程予以说明。1)录制设定时长包含
车辆或行人匀速通过摄像头监控区域的视频;2)采用上述方法提取行人或车辆运动轨迹;
3)分别求位移和在纵坐标方向上的分布函数和,其表
达式为:
本发明通过计算机视觉技术对运动目标进行跟踪,对目标运动轨迹进行统计分析,能够有效判别人员奔跑行为。本发明无需对视频进行逐帧标注,只需少量包含正常行车或行人的视频数据运行本算法以确定正则化系数,部署快速、方便。
Claims (10)
2.根据权利要求1所述的基于轨迹分析的井下人员奔跑异常行为检测方法,其特征在于:步骤S1中,监控摄像头的帧率为m帧每秒,间隔的固定帧数k为m的1/3-1/2之间。
3.根据权利要求1所述的基于轨迹分析的井下人员奔跑异常行为检测方法,其特征在于:步骤S1中,所述跟踪目标采用人体模型或人体模型的部分组成特征。
4.根据权利要求1所述的基于轨迹分析的井下人员奔跑异常行为检测方法,其特征在于:步骤S2中,关键点检测采用ORB特征提取算法。
7.根据权利要求6所述的基于轨迹分析的井下人员奔跑异常行为检测方法,其特征在于:所述n的取值取决于视频帧率及跟踪目标在相邻图像上的相对移动速度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010360336.4A CN111291735B (zh) | 2020-04-30 | 2020-04-30 | 基于轨迹分析的井下人员奔跑异常行为检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010360336.4A CN111291735B (zh) | 2020-04-30 | 2020-04-30 | 基于轨迹分析的井下人员奔跑异常行为检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111291735A true CN111291735A (zh) | 2020-06-16 |
CN111291735B CN111291735B (zh) | 2020-08-18 |
Family
ID=71027414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010360336.4A Active CN111291735B (zh) | 2020-04-30 | 2020-04-30 | 基于轨迹分析的井下人员奔跑异常行为检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111291735B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232124A (zh) * | 2020-09-11 | 2021-01-15 | 浙江大华技术股份有限公司 | 人群态势分析方法、视频处理装置及具有存储功能的装置 |
CN112329671A (zh) * | 2020-11-11 | 2021-02-05 | 润联软件系统(深圳)有限公司 | 一种基于深度学习的行人奔跑行为检测方法及相关组件 |
CN112766638A (zh) * | 2020-12-28 | 2021-05-07 | 惠州学院 | 基于视频图像分析流水线操作人员工作效率的方法及系统 |
CN113960590A (zh) * | 2021-10-12 | 2022-01-21 | 浙江六季信息科技有限公司 | 雷视融合系统、终端 |
CN114187666A (zh) * | 2021-12-23 | 2022-03-15 | 中海油信息科技有限公司 | 边走路边看手机的识别方法及其系统 |
CN114581847A (zh) * | 2022-03-04 | 2022-06-03 | 山东科技大学 | 一种基于gam跟踪器的社区行人异常行为检测方法和装置 |
CN114782675A (zh) * | 2022-03-31 | 2022-07-22 | 江苏预立新能源科技有限公司 | 一种安全技术服务领域项目动态定价方法和系统 |
CN114821795A (zh) * | 2022-05-05 | 2022-07-29 | 北京容联易通信息技术有限公司 | 一种基于ReID技术的人员跑动检测和预警方法及系统 |
CN117351405A (zh) * | 2023-12-06 | 2024-01-05 | 江西珉轩智能科技有限公司 | 一种人群行为分析系统及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105975956A (zh) * | 2016-05-30 | 2016-09-28 | 重庆大学 | 一种基于红外全景摄像头的独居老人异常行为识别方法 |
CN107506333A (zh) * | 2017-08-11 | 2017-12-22 | 深圳市唯特视科技有限公司 | 一种基于自运动估计的视觉测距算法 |
US20190066473A1 (en) * | 2014-07-07 | 2019-02-28 | Google Llc | Methods and devices for presenting video information |
CN110555397A (zh) * | 2019-08-21 | 2019-12-10 | 武汉大千信息技术有限公司 | 一种人群态势分析方法 |
CN110751678A (zh) * | 2018-12-12 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 运动目标的检测方法、装置和电子设备 |
CN110781853A (zh) * | 2019-11-01 | 2020-02-11 | 浙江大华技术股份有限公司 | 人群异常检测方法以及相关装置 |
-
2020
- 2020-04-30 CN CN202010360336.4A patent/CN111291735B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190066473A1 (en) * | 2014-07-07 | 2019-02-28 | Google Llc | Methods and devices for presenting video information |
CN105975956A (zh) * | 2016-05-30 | 2016-09-28 | 重庆大学 | 一种基于红外全景摄像头的独居老人异常行为识别方法 |
CN107506333A (zh) * | 2017-08-11 | 2017-12-22 | 深圳市唯特视科技有限公司 | 一种基于自运动估计的视觉测距算法 |
CN110751678A (zh) * | 2018-12-12 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 运动目标的检测方法、装置和电子设备 |
CN110555397A (zh) * | 2019-08-21 | 2019-12-10 | 武汉大千信息技术有限公司 | 一种人群态势分析方法 |
CN110781853A (zh) * | 2019-11-01 | 2020-02-11 | 浙江大华技术股份有限公司 | 人群异常检测方法以及相关装置 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232124A (zh) * | 2020-09-11 | 2021-01-15 | 浙江大华技术股份有限公司 | 人群态势分析方法、视频处理装置及具有存储功能的装置 |
CN112329671A (zh) * | 2020-11-11 | 2021-02-05 | 润联软件系统(深圳)有限公司 | 一种基于深度学习的行人奔跑行为检测方法及相关组件 |
CN112766638A (zh) * | 2020-12-28 | 2021-05-07 | 惠州学院 | 基于视频图像分析流水线操作人员工作效率的方法及系统 |
CN113960590A (zh) * | 2021-10-12 | 2022-01-21 | 浙江六季信息科技有限公司 | 雷视融合系统、终端 |
CN114187666B (zh) * | 2021-12-23 | 2022-09-02 | 中海油信息科技有限公司 | 边走路边看手机的识别方法及其系统 |
CN114187666A (zh) * | 2021-12-23 | 2022-03-15 | 中海油信息科技有限公司 | 边走路边看手机的识别方法及其系统 |
CN114581847A (zh) * | 2022-03-04 | 2022-06-03 | 山东科技大学 | 一种基于gam跟踪器的社区行人异常行为检测方法和装置 |
CN114581847B (zh) * | 2022-03-04 | 2024-04-19 | 山东科技大学 | 一种基于gam跟踪器的社区行人异常行为检测方法和装置 |
CN114782675A (zh) * | 2022-03-31 | 2022-07-22 | 江苏预立新能源科技有限公司 | 一种安全技术服务领域项目动态定价方法和系统 |
CN114782675B (zh) * | 2022-03-31 | 2022-11-25 | 江苏预立新能源科技有限公司 | 一种安全技术服务领域项目动态定价方法和系统 |
CN114821795B (zh) * | 2022-05-05 | 2022-10-28 | 北京容联易通信息技术有限公司 | 一种基于ReID技术的人员跑动检测和预警方法及系统 |
CN114821795A (zh) * | 2022-05-05 | 2022-07-29 | 北京容联易通信息技术有限公司 | 一种基于ReID技术的人员跑动检测和预警方法及系统 |
CN117351405A (zh) * | 2023-12-06 | 2024-01-05 | 江西珉轩智能科技有限公司 | 一种人群行为分析系统及方法 |
CN117351405B (zh) * | 2023-12-06 | 2024-02-13 | 江西珉轩智能科技有限公司 | 一种人群行为分析系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111291735B (zh) | 2020-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111291735B (zh) | 基于轨迹分析的井下人员奔跑异常行为检测方法 | |
Sun et al. | Benchmark data and method for real-time people counting in cluttered scenes using depth sensors | |
Min et al. | A new approach to track multiple vehicles with the combination of robust detection and two classifiers | |
Gawande et al. | Pedestrian detection and tracking in video surveillance system: issues, comprehensive review, and challenges | |
Zhu et al. | Object tracking in structured environments for video surveillance applications | |
Huang et al. | Feature-Based Vehicle Flow Analysis and Measurement for a Real-Time Traffic Surveillance System. | |
CN102034355A (zh) | 一种基于特征点匹配的车辆检测及跟踪方法 | |
Conte et al. | Performance evaluation of a people tracking system on pets2009 database | |
Gong et al. | Local distinguishability aggrandizing network for human anomaly detection | |
Liu et al. | Moving object detection and tracking based on background subtraction | |
Tyagi et al. | A review of deep learning techniques for crowd behavior analysis | |
Luo et al. | Traffic analytics with low-frame-rate videos | |
Jeyabharathi et al. | Vehicle Tracking and Speed Measurement system (VTSM) based on novel feature descriptor: Diagonal Hexadecimal Pattern (DHP) | |
Huang et al. | A real-time and color-based computer vision for traffic monitoring system | |
CN112381132A (zh) | 一种基于多个摄像头融合的目标物跟踪方法和系统 | |
WO2024093209A1 (zh) | 一种足式机器人动态目标跟踪方法 | |
CN113168520A (zh) | 跟踪场景中的对象的方法 | |
KR20140132140A (ko) | 군중 궤적 추출을 이용한 비정상 행동 검출에 기초한 영상 감시 방법 및 영상 감시 장치 | |
CN114926859A (zh) | 一种结合头部跟踪的密集场景下行人多目标跟踪方法 | |
Lou et al. | Detecting and counting the moving vehicles using mask R-CNN | |
CN115019241A (zh) | 一种行人识别与追踪方法、装置、可读存储介质及设备 | |
Farooq et al. | Unsupervised video surveillance for anomaly detection of street traffic | |
Seidenari et al. | Dense spatio-temporal features for non-parametric anomaly detection and localization | |
Ashraf et al. | HVD-net: a hybrid vehicle detection network for vision-based vehicle tracking and speed estimation | |
Sri Jamiya et al. | A survey on vehicle detection and tracking algorithms in real time video surveillance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: 100000 room 1703, 7 / F, building 3, No. 203, zone 2, Lize Zhongyuan, Wangjing, Chaoyang District, Beijing Patentee after: Huaxia Tianxin IOT Technology Co.,Ltd. Address before: 100000 room 1703, 7 / F, building 3, No. 203, zone 2, Lize Zhongyuan, Wangjing, Chaoyang District, Beijing Patentee before: HUAXIA TIANXIN (BEIJING) INTELLIGENT LOW CARBON TECHNOLOGY RESEARCH INSTITUTE CO.,LTD. |