CN104866841A - 一种人体目标奔跑行为检测方法 - Google Patents

一种人体目标奔跑行为检测方法 Download PDF

Info

Publication number
CN104866841A
CN104866841A CN201510300834.9A CN201510300834A CN104866841A CN 104866841 A CN104866841 A CN 104866841A CN 201510300834 A CN201510300834 A CN 201510300834A CN 104866841 A CN104866841 A CN 104866841A
Authority
CN
China
Prior art keywords
human body
target
motion
motion vector
running
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510300834.9A
Other languages
English (en)
Other versions
CN104866841B (zh
Inventor
谢剑斌
刘通
闫玮
李沛秦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201510300834.9A priority Critical patent/CN104866841B/zh
Publication of CN104866841A publication Critical patent/CN104866841A/zh
Application granted granted Critical
Publication of CN104866841B publication Critical patent/CN104866841B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种人体目标奔跑行为检测方法。首先检测视频中的运动目标，然后判别运动目标是否为人体，对于人体目标，提取运动矢量特征，采用支持向量机（SVM）方法进行特征分类，判断人体是否处于奔跑状态。提出基于人体分析和运动分析的人体奔跑行为检测方法，智能检测监控视频中是否存在人体奔跑行为，可以降低依靠人工辨别人体奔跑行为易出现的漏警现象，以及仅基于运动矢量等特征检测人体奔跑行为易出现的虚警现象，提高智能监控系统的安全性和智能化水平。

Description

一种人体目标奔跑行为检测方法
技术领域
本发明涉及一种人体目标奔跑行为检测方法，属于行为识别技术领域。
背景技术
人体奔跑行为常伴随着打架、抢劫、偷窃等犯罪行为，及时发现人体奔跑行为有助于降低行为危害，对维护他人生命财产安全及社会稳定有积极意义。
随着视频监控技术的飞速发展，基于视频检测监控场景中的人体奔跑行为成为主流。然而目前视频监控技术的智能化水平较低，主要依靠人工辨别来检测监控视频中的奔跑行为。由于大多监控室内都有许多监控屏幕，值班人员很难兼顾所有待监控场所，再加上值班人员疲劳或者疏忽，经常会遗漏许多可疑目标，给监控场所带来重大损失。值我国大力推进 “智慧城市”建设之际，人体奔跑行为智能检测系统需求非常旺盛。采用视频分析技术智能检测监控视频中的奔跑行为是解决奔跑行为智能检测的有效途径之一，文献“基于改进Hu矩的异常行为识别（计算机技术与发展，2009）”提出一种基于改进Hu矩的异常行为识别算法，可以识别蹦跳、奔跑、摔倒、下蹲、挥手和手拿异物六种可疑行为，但该方法需要提取较为精细的人体轮廓，在实际监控场景中难以实现。
发明内容
本发明所要解决的技术问题在于提出一种基于人体分析和运动分析的人体奔跑行为检测方法，首先检测视频中的运动目标，然后判别运动目标是否为人体，对于人体目标，提取运动矢量特征，采用支持向量机（SVM）方法进行特征分类，判断人体是否处于奔跑状态。
为实现上述的发明目的，本发明采用下述的技术方案，流程图如图1所示：
1、融合运动侦测和人体分析的运动人体目标检测方法
奔跑行为的主体是运动的人体目标，因此，在行为识别前检测运动人体目标区域，可以减少复杂环境对行为识别的干扰，从而降低虚警率。
人体检测方面目前误检率较低的是基于HOG特征和Adaboost分类的人体检测方法，详见“Histograms of oriented gradients for human detection（CVPR，2005）”。但在复杂环境下该方法的虚警率也较高，而且处理速度较慢。为此，本发明提出融合运动侦测和人体分析的运动人体目标检测方法，首先采用改进的帧差分快速检测运动目标，然后在运动目标区域进行人体分析，具体是先基于目标的形状特征快速筛选出疑似人体目标，然后仅针对疑似人体目标区域提取HOG特征，采用Adaboost方法进行分类，确定疑似人体目标区域是否包含人体。为提高处理速度，还对HOG特征提取部分进行改进，在固定的尺度上提取特征，降低多尺度计算耗时。具体步骤如下：
Step1 取相邻三帧图像Ik、Ik-1、Ik-2，分别计算帧差数据E1、E2：
其中，为任一像素点坐标；
Step2 采用OTSU法分别求取帧差数据E1、E2的自适应阈值T1、T2；
Sep3 采用“与”操作获取二值图像MR，任一像素点处的值为：
Step4 采用数学形态学的“顶帽变换”方法对二值图像MR进行滤波，然后采用8-邻接连通方法搜索和标记各个目标区域；
Step5 遍历任一目标区域，提取运动目标的形状特征、：
其中，W、H分别表示目标区域的宽度和高度，N表示目标区域中值不为零的像素点总数，遍历结束后退出当前帧检测；
Step6 如果、不满足条件，则判定当前运动目标区域不包含人体，转到Step5，否则进行下一步；
Step7 采用最近邻法将当前运动区域的灰度图像缩放到5个固定尺度上，提取HOG特征，采用Adaboost方法进行分类（详见“Histograms of oriented gradients for human detection”，CVPR2005），检测人体目标。如果没有检测到人体目标，转到Step5，否则进行下一步；
Step8 对于包含人体目标的区域，继续进行行为分析，检测是否存在奔跑行为。
2、基于运动矢量和SVM分类的人体奔跑行为检测方法
包含人体目标的运动区域可能存在人体奔跑行为。考虑到奔跑时人体各部位运动速度和方向基本一致，本发明提出基于运动矢量和SVM分类的人体奔跑行为检测方法，提取运动矢量的方向和模值特征，用其区分奔跑行为和行走、打斗等其他行为。与文献“A Fast and Robust Algorithm for Fighting Behavior Detection Based on Motion Vectors（KSII Transactions on Internet and Information Systems，2011）”、“面向监视场景的斗殴行为检测技术研究（国防科技大学硕士学位论文，2010）”相比，本发明要检测的是奔跑行为，故提取的运动矢量特征与文献中的斗殴行为不同，主要用于反映运动速度和方向一致性，增强奔跑行为与其他行为之间的区分能力，另外本发明采用SVM分类方法进行特征训练和分类，自适应性较隶属度函数强。具体步骤如下：
Step1 运动矢量计算。采用块匹配算法计算运动人体区域的运动矢量，其中，运动区域被划分为4×4的宏块，块匹配的搜索策略采用三步搜索法（TSS），最佳匹配准则采用均方误差（MSE）准则：
Step2 运动特征提取。首先提取运动方向特征、：
其中，表示运动矢量的方向，表示运动目标区域内运动矢量方向的直方图统计。假设第i个宏块的运动矢量为，对应的角度为：
取值范围为0度~360度，这里将360度等分为16个区间，得到运动方向，为整数，取值范围为[0，15]。
然后提取运动模值特征、：
Step3 特征分类。对行为特征~，采用SVM方法进行分类，SVM的核函数选用径向基函数：
在特征训练阶段，依据上述特征提取方法，人工提取不同姿态下人体奔跑的行为特征和真实监控场景中的非奔跑行为特征，采用SVM算法进行训练，得到奔跑行为检测分类器。在特征分类阶段，依据上述方法提取当前帧特征，输入分类器进行分类。如果分类结果为正，表明当前帧存在人体奔跑行为，此时自动发出声光等警示信息，提醒值班人员及时处理；否则，继续检测。
本发明的优点在于：提出基于人体分析和运动分析的人体奔跑行为检测方法，智能检测监控视频中是否存在人体奔跑行为，可以降低依靠人工辨别人体奔跑行为易出现的漏警现象，以及仅基于运动矢量等特征检测人体奔跑行为易出现的虚警现象，提高智能监控系统的安全性和智能化水平。
附图说明
图1人体奔跑行为检测流程图。
具体实施方式
本发明提出一种基于人体分析和运动分析的人体奔跑行为检测方法，首先采用帧差法和OTSU方法检测视频每一帧的运动目标；然后提出融合运动目标形状特征和HOG特征的运动人体目标检测方法，快速可靠辨别运动目标中是否包含人体；对于包含人体的运动目标，采用块匹配法计算目标区域的运动矢量，提取运动矢量的方向和模值特征，采用支持向量机（SVM）方法进行特征训练和分类，实现人体奔跑行为的检测。
本发明通过运动矢量特征和SVM分类器检测奔跑行为，再结合人体检测降低虚警，最终实现监控场景中人体奔跑行为的智能可靠检测。该方法漏警率和虚警率低，可广泛应用于智能视频监控系统。

Claims (3)

1. 一种人体目标奔跑行为检测方法，基于人体分析和运动分析的人体奔跑行为检测方法，其特征在于，首先检测视频中的运动目标，然后判别运动目标是否为人体，对于人体目标，提取运动矢量特征，采用支持向量机SVM方法进行特征分类，判断人体是否处于奔跑状态，具体步骤如下：
（1）、融合运动侦测和人体分析的运动人体目标检测方法
首先采用改进的帧差分快速检测运动目标，然后在运动目标区域进行人体分析，具体是先基于目标的形状特征快速筛选出疑似人体目标，然后仅针对疑似人体目标区域提取HOG特征，采用Adaboost方法进行分类，确定疑似人体目标区域是否包含人体，为提高处理速度，还对HOG特征提取部分进行改进，在固定的尺度上提取特征，降低多尺度计算耗时；
（2）、基于运动矢量和SVM分类的人体奔跑行为检测方法
基于运动矢量和SVM分类的人体奔跑行为检测方法，提取运动矢量的方向和模值特征，用其区分奔跑行为和行走、打斗其他行为，要检测的是奔跑行为，故提取的运动矢量特征与文献中的斗殴行为不同，用于反映运动速度和方向一致性，增强奔跑行为与其他行为之间的区分能力，采用SVM分类方法进行特征训练和分类。
2.根据权利要求1所述的一种人体目标奔跑行为检测方法，其特征在于，所述融合运动侦测和人体分析的运动人体目标检测方法具体步骤如下：
Step1 取相邻三帧图像Ik、Ik-1、Ik-2，分别计算帧差数据E1、E2：
其中，为任一像素点坐标；
Step2 采用OTSU法分别求取帧差数据E1、E2的自适应阈值T1、T2；
Sep3 采用“与”操作获取二值图像MR，任一像素点处的值为：
Step4 采用数学形态学的“顶帽变换”方法对二值图像MR进行滤波，然后采用8-邻接连通方法搜索和标记各个目标区域；
Step5 遍历任一目标区域，提取运动目标的形状特征、：
其中，W、H分别表示目标区域的宽度和高度，N表示目标区域中值不为零的像素点总数，遍历结束后退出当前帧检测；
Step6 如果、不满足条件，则判定当前运动目标区域不包含人体，转到Step5，否则进行下一步；
Step7 采用最近邻法将当前运动区域的灰度图像缩放到5个固定尺度上，提取HOG特征，采用Adaboost方法进行分类，检测人体目标，如果没有检测到人体目标，转到Step5，否则进行下一步；
Step8 对于包含人体目标的区域，继续进行行为分析，检测是否存在奔跑行为。
3.根据权利要求1所述的一种人体目标奔跑行为检测方法，其特征在于，所述基于运动矢量和SVM分类的人体奔跑行为检测方法具体步骤如下：
Step1 运动矢量计算，采用块匹配算法计算运动人体区域的运动矢量，其中，运动区域被划分为4×4的宏块，块匹配的搜索策略采用三步搜索法TSS，最佳匹配准则采用均方误差准则：
Step2 运动特征提取，首先提取运动方向特征、：
其中，表示运动矢量的方向，表示运动目标区域内运动矢量方向的直方图统计，假设第i个宏块的运动矢量为，对应的角度为：
取值范围为0度~360度，这里将360度等分为16个区间，得到运动方向，为整数，取值范围为[0，15]；
然后提取运动模值特征、：
Step3 特征分类，对行为特征~，采用SVM方法进行分类，SVM的核函数选用径向基函数：
在特征训练阶段，依据上述特征提取方法，人工提取不同姿态下人体奔跑的行为特征和真实监控场景中的非奔跑行为特征，采用SVM算法进行训练，得到奔跑行为检测分类器，在特征分类阶段，依据上述方法提取当前帧特征，输入分类器进行分类，如果分类结果为正，表明当前帧存在人体奔跑行为，此时自动发出声光等警示信息，提醒值班人员及时处理；否则，继续检测。
CN201510300834.9A 2015-06-05 2015-06-05 一种人体目标奔跑行为检测方法 Expired - Fee Related CN104866841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510300834.9A CN104866841B (zh) 2015-06-05 2015-06-05 一种人体目标奔跑行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510300834.9A CN104866841B (zh) 2015-06-05 2015-06-05 一种人体目标奔跑行为检测方法

Publications (2)

Publication Number Publication Date
CN104866841A true CN104866841A (zh) 2015-08-26
CN104866841B CN104866841B (zh) 2018-03-09

Family

ID=53912662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510300834.9A Expired - Fee Related CN104866841B (zh) 2015-06-05 2015-06-05 一种人体目标奔跑行为检测方法

Country Status (1)

Country Link
CN (1) CN104866841B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678276A (zh) * 2016-01-19 2016-06-15 武汉大学 一种人体动作特征提取方法
CN106210636A (zh) * 2016-07-18 2016-12-07 四川君逸数码科技股份有限公司 基于智能视频技术的智慧金睛人和物行为识别仪
CN106295524A (zh) * 2016-08-01 2017-01-04 马平 一种基于视觉词袋的人体动作识别方法
CN106384089A (zh) * 2016-09-07 2017-02-08 中国人民解放军国防科学技术大学 基于终生学习的人体可靠检测方法
CN109145807A (zh) * 2018-08-16 2019-01-04 大连民族大学 判断道路行人为无磁力关系的方法及系统
CN109218667A (zh) * 2018-09-08 2019-01-15 合刃科技（武汉）有限公司 一种用公共场所安全预警系统和方法
CN109543598A (zh) * 2018-11-20 2019-03-29 哈尔滨工程大学 一种基于图像识别的公路事故响应与警示系统及方法
CN109993031A (zh) * 2017-12-29 2019-07-09 杭州海康威视数字技术股份有限公司 一种畜力车目标违章行驶行为检测方法、装置及相机
CN110070001A (zh) * 2019-03-28 2019-07-30 上海拍拍贷金融信息服务有限公司 行为检测方法及装置、计算机可读存储介质
CN110379130A (zh) * 2019-06-28 2019-10-25 浙江大学 一种基于多路高清sdi视频的医疗看护防摔倒系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120027263A1 (en) * 2010-08-02 2012-02-02 Sony Corporation Hand gesture detection
CN102663452A (zh) * 2012-04-14 2012-09-12 中国人民解放军国防科学技术大学 基于视频分析的可疑行为检测方法
CN103136511A (zh) * 2013-01-21 2013-06-05 信帧电子技术（北京）有限公司 行为检测方法及装置
CN103400160A (zh) * 2013-08-20 2013-11-20 中国科学院自动化研究所 一种零训练样本行为识别方法
CN104323780A (zh) * 2014-10-30 2015-02-04 上海交通大学 基于支持向量机的行人步态分类系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120027263A1 (en) * 2010-08-02 2012-02-02 Sony Corporation Hand gesture detection
CN102663452A (zh) * 2012-04-14 2012-09-12 中国人民解放军国防科学技术大学 基于视频分析的可疑行为检测方法
CN103136511A (zh) * 2013-01-21 2013-06-05 信帧电子技术（北京）有限公司 行为检测方法及装置
CN103400160A (zh) * 2013-08-20 2013-11-20 中国科学院自动化研究所 一种零训练样本行为识别方法
CN104323780A (zh) * 2014-10-30 2015-02-04 上海交通大学 基于支持向量机的行人步态分类系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄茜等: ""基于梯度向量直方图的行人检测"", 《科学技术与工程》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678276A (zh) * 2016-01-19 2016-06-15 武汉大学 一种人体动作特征提取方法
CN106210636A (zh) * 2016-07-18 2016-12-07 四川君逸数码科技股份有限公司 基于智能视频技术的智慧金睛人和物行为识别仪
CN106295524A (zh) * 2016-08-01 2017-01-04 马平 一种基于视觉词袋的人体动作识别方法
CN106384089A (zh) * 2016-09-07 2017-02-08 中国人民解放军国防科学技术大学 基于终生学习的人体可靠检测方法
CN109993031A (zh) * 2017-12-29 2019-07-09 杭州海康威视数字技术股份有限公司 一种畜力车目标违章行驶行为检测方法、装置及相机
CN109993031B (zh) * 2017-12-29 2021-07-20 杭州海康威视数字技术股份有限公司 一种畜力车目标违章行驶行为检测方法、装置及相机
CN109145807B (zh) * 2018-08-16 2020-10-27 大连民族大学 判断道路行人为无磁力关系的方法及系统
CN109145807A (zh) * 2018-08-16 2019-01-04 大连民族大学 判断道路行人为无磁力关系的方法及系统
CN109218667A (zh) * 2018-09-08 2019-01-15 合刃科技（武汉）有限公司 一种用公共场所安全预警系统和方法
CN109543598A (zh) * 2018-11-20 2019-03-29 哈尔滨工程大学 一种基于图像识别的公路事故响应与警示系统及方法
CN110070001A (zh) * 2019-03-28 2019-07-30 上海拍拍贷金融信息服务有限公司 行为检测方法及装置、计算机可读存储介质
CN110379130A (zh) * 2019-06-28 2019-10-25 浙江大学 一种基于多路高清sdi视频的医疗看护防摔倒系统
CN110379130B (zh) * 2019-06-28 2021-04-16 浙江大学 一种基于多路高清sdi视频的医疗看护防摔倒系统

Also Published As

Publication number Publication date
CN104866841B (zh) 2018-03-09

Similar Documents

Publication Publication Date Title
CN104866841A (zh) 一种人体目标奔跑行为检测方法
CN107330920B (zh) 一种基于深度学习的监控视频多目标追踪方法
CN102663452B (zh) 基于视频分析的可疑行为检测方法
Zangenehpour et al. Automated classification based on video data at intersections with heavy pedestrian and bicycle traffic: Methodology and application
CN103246896B (zh) 一种鲁棒性车辆实时检测与跟踪方法
KR101731461B1 (ko) 객체에 대한 행동 탐지 장치 및 이를 이용한 행동 탐지 방법
CN113011367B (zh) 一种基于目标轨迹的异常行为分析方法
KR101653278B1 (ko) 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
US9317765B2 (en) Human image tracking system, and human image detection and human image tracking methods thereof
KR101472674B1 (ko) 군중 궤적 추출을 이용한 비정상 행동 검출에 기초한 영상 감시 방법 및 영상 감시 장치
Cui et al. Abnormal event detection in traffic video surveillance based on local features
CN104616006A (zh) 一种面向监控视频的胡须人脸检测方法
Ling et al. A background modeling and foreground segmentation approach based on the feedback of moving objects in traffic surveillance systems
Garg et al. Real-time road traffic density estimation using block variance
Shirazi et al. Contextual combination of appearance and motion for intersection videos with vehicles and pedestrians
KR101646000B1 (ko) 지정된 사물 및 영역에 대한 감시시스템 및 감시방법
Malhi et al. Vision based intelligent traffic management system
CN104090658A (zh) 基于hog特征的人体图像检测方法
CN110688969A (zh) 视频帧人体行为识别方法
Zhang et al. Anomaly detection and localization in crowded scenes by motion-field shape description and similarity-based statistical learning
Hamdi et al. Hybrid deep learning and HOF for Anomaly Detection
Li et al. A novel framework for anomaly detection in video surveillance using multi-feature extraction
Sarker et al. Illegal trash thrower detection based on HOGSVM for a real-time monitoring system
Vinicius et al. Blob motion statistics for pedestrian detection
Yan et al. An adaptive bicycle detection algorithm based on multi-Gaussian models

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180309

CF01 Termination of patent right due to non-payment of annual fee