CN107016358A - 中等密度场景小群体实时检测方法 - Google Patents
中等密度场景小群体实时检测方法 Download PDFInfo
- Publication number
- CN107016358A CN107016358A CN201710182324.5A CN201710182324A CN107016358A CN 107016358 A CN107016358 A CN 107016358A CN 201710182324 A CN201710182324 A CN 201710182324A CN 107016358 A CN107016358 A CN 107016358A
- Authority
- CN
- China
- Prior art keywords
- individual
- microcommunity
- target
- motion unit
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种中等密度场景小群体实时检测方法,输入视频及个体运动轨迹检测数据;根据个体运动轨迹数据得到每个个体在每一帧的检测坐标位置及运动速度;为每个运动个体建立目标预测模型,计算每个运动个体的目标方向η i ;将η i 带入相关性滤波算法进行小群体检测,得到相关性小群体。此方法适用于各类型中等密集度密集场景;本方法运算速度快,能够实现实时运算;在各种场景中均具有较高的精确率和召回率;此方法为在线算法,不需要离线学习。
Description
技术领域
本发明涉及一种小群体检测技术,特别涉及一种中等密度场景小群体实时检测方法。
背景技术
密集场景分析是计算机视觉领域的一个研究热点,是智能视频监控研究的一个重要且具有挑战性的课题。密集场景在日常生活中随处可见,如公共集会、大型超市、商场、公共交通站点等。随着社会发展,人口增多和环境拥挤问题的加剧,捕获密集群体动态特性,挖掘群体运动信息不仅具有科学研究价值,还对社会公共安全具有重大意义。
面向密集场景的传统研究通常只将运动个体作为对象,进行检测、跟踪和行为分析。近年来,有研究表明,小群体往往超过单一个体成为密集场景中的运动主体。了解小群体的运动特性,能够更准确的分析场景中的人群活动状态,从而实现人工智能更高层次的行为理解、预判,以及引导。小群体指具有一定社会关系的,具有相同目标的共同行动的人组成的小团体。小群体检测指在获得场景中个体运动轨迹的基础上,实现小群体的判别、划分的研究。
传统研究中大多只针对群体进行基于运动一致性的划分,得到当前具有相同运动状态的团块。例如通过计算特征点距离和速度相关性,建立个体的局部一致性关系,实现密集群体的分割。与之相比,小群体检测算法需要更高的检测精度,实现难度更大。目前已有算法大多只提供了低密度场景的检测结果,而少量针对中密度场景的方法耗时较长,每帧的运行速度为几秒到几十秒,尚缺乏实用性。
发明内容
本发明是针对现在面向密集场景行人群体检测算法存在的问题,提出了一种中等密度场景小群体实时检测方法,输入视频及个体运动轨迹数据;为每个运动个体建立目标预测模型、计算每个运动个体的目标方向、计算个体的目标相关性;基于目标相关性得到小群体检测结果。实现快速实时检测,克服现有传统研究存在的问题。
本发明的技术方案为:一种中等密度场景小群体实时检测方法,具体包括如下步骤:
1)输入视频及个体运动轨迹检测数据;根据个体运动轨迹数据得到每个个体在每一帧的检测坐标位置及运动速度;
2)为每个运动个体建立目标预测模型:设定场景中有n个运动个体,Fd表示运动个体自己产生的驱动力,∑Fr表示用于躲避障碍物的躲避力集合,∑Fe表示针对其他个体的排斥力集合,三种力的总和确定运动个体自己的加速度方向,用于不断修正其速度矢量;
计算每个运动个体的目标方向ηi;
3)将ηi带入相关性滤波算法进行小群体检测:设当前位置为oi,具有目标方向ηi的运动个体pi表示为pi(oi,ηi),采用K最近邻分类法取pi最近邻K个个体,得到其初始邻域,表示为Ni(p1,...,pj,…pK),对领域中的各个个体与目标运动个体pi求目标相关值,取λ为两个体相关性阈值,若两个体相关性大于λ,则与目标运动个体pi属于同一小群体。
所述步骤3)中对领域中的各个个体与目标运动个体pi求目标相关值具体方法如下:
以圆A模拟运动个体pi,圆A中心及其周围同一目标方向的运动个体分别进行圆命名,所有最近邻K个个体构成A的初始邻域;设定阈值Thrg用于限制小群体成员间距离,以被命名的圆中心为圆心,以Thrg为半径对每个圆心作二次划分邻域分界线;为了使结果具有时间持续性,算法连续记录T帧内的命名个体的二次划分邻域,并仅保留在T帧内始终存在的个体,由此得到以pi为中心的个体群组被称为Gi(t),最后,计算Gi(t)中所有个体pj分别在T帧中与pi的目标相关性,并取T帧平均值作为pi和pj的目标相关值Ci,j(pi,pj),
本发明的有益效果在于:本发明中等密度场景小群体实时检测方法,适用于各类型中等密集度密集场景;本方法运算速度快,能够实现实时运算;在各种场景中均具有较高的精确率和召回率;此方法为在线算法,不需要离线学习。
附图说明
图1为本发明目标预测模型示意图;
图2为本发明基于目标相关性的滤波算法示意图。
具体实施方式
中等密度场景小群体实时检测方法的具体步骤如下:
一、输入视频及个体运动轨迹检测数据;根据个体运动轨迹数据可以得到每个个体在每一帧的检测坐标位置和运动速度。
二、为每个运动个体建立目标预测模型、计算每个运动个体的目标方向:
如图1所示本发明目标预测模型的示意图。图中原点代表行人,身后虚线表示其行动轨迹。黑色实心粗线模拟障碍物。如图可知,行人A的目标在障碍物后,采用虚线箭头标注其目标方向。因此,A产生反方向躲避障碍物的躲避力,同时B在A近邻且速度方向朝向A,则A受到B的排斥力。此外,A为了到达其目标,自身产生驱动力。三种力的总和确定了行人的加速度方向,用于不断修正其速度矢量。从图中可知,目标的当前速度方向与目标方向存在一定差值。
设场景中有n个运动个体P={p1,...,pi,…,pn},采用Fd、Fr和Fe分别表示pi自己产生的驱动力、用于躲避障碍物的躲避力和针对其他个体的排斥力。首先,参考传统社会力模型的定义,假设个体均具有相同质量,则可将Fd改进并定义为以下形式:
式中,为pi为了到达其目标点gi的期望速度矢量,vi为其当前速度。假设pi从vi到期望速度预计花费时间为τ。定义pi的运动目标方向ηi为其当前位置oi到目标点gi的单位方向矢量:
公式(2)给出了pi的目标方向预测公式。可以看出,pi的目标方向由pi的期望速度决定。根据公式(1),的计算与驱动力相关。下面给出驱动力的计算方法。根据社会力模型,pi所受三种力的合力决定了其运动的加速度,即:所以,若忽略质量的影响,则可以定义:
vi(t+1)=vi(t)+(Fd+∑Fr+∑Fe)Δt (3)
vi(t+1)为t+1帧pi的速度,vi(t)=vi表示当前速度。因此,若∑Fr和∑Fe已知,便可求得pi的驱动力Fd,再带入(1)和(2)式得到目标方向ηi。下面分别给出Fr和Fe的定义:
式(4)中,niw为个体与障碍物间指向个体的最短距离方向矢量值。dsafe是个体与障碍物间安全距离,为预定义值。diw表示当前个体与障碍物间最短距离。κ是预定义比例参数。本文实验中定义为1。由公式(4)可以看出,本模型将躲避力的大小简化为仅由个体与障碍物间的距离决定。
个体pi与他人pj间的排斥力Fr受到两方面因素影响:pi到pj间的距离矢量oi-oj、两者的速度vi和vj。以pi为中心,以半径Thrn邻域内所有pj为后选项。计算pi与pj间距离矢量和vi的夹角若满足条件:Thrangle为预定义角度阈值,则说明两个体有相遇的可能。解下列方程,求pi与pj可能碰撞时间tc。
Thrw为碰撞预警阈值。设式(5)求得的解为t1,t2。取:
tc时间后,可计算得到pi和pj所在位置,这里分别用oi'和oj'表示。则pi预判可用于采取行动躲避pj的距离为Dj=|oi'-oi|+|oi'-oj'|。将pj施加给pi的力定义为距离Dj的分段线性函数f(Dj)。最终定义pi所受排斥力为来自M个人的力的加权和:
通过上述计算可以得到目标方向ηi,将ηi带入相关性滤波算法进行小群体检测。
三、基于目标相关性滤波的小群体检测
将当前位置为oi,具有目标方向ηi的运动个体pi表示为pi(oi,ηi)。采用K最近邻分类法取pi最近邻K个个体,得到其初始邻域,表示为Ni(p1,...,pj,…pK)。如图2所示,以黑色圆点模拟运动个体,中心黑点及其上下同一目标方向的两个黑点分别命名A、B和C。示意图中所有点构成A的初始邻域。由于小群体成员间的距离较小且通常情况下小于其与陌生人间的距离,因此设定阈值Thrg用于限制小群体成员间距离。图2中的虚线圈表示半径为Thrg的二次划分邻域分界线。此时,A的二次划分邻域中除包含B、C外,还有两个黄色的点。同样,B的二次划分邻域中包含A及两个黄色点,C的二次划分邻域包含A及另一个黄色的点。为了使结果具有时间持续性,算法连续记录T帧内的所有个体二次划分邻域,并仅保留在T帧内始终存在的个体,由此得到以pi为中心的个体群组被称为Gi(t)。最后,计算Gi(t)中所有个体pj分别在T帧中与pi的目标相关性,并取T帧平均值作为pi和pj的目标相关值Ci,j(pi,pj)。
取λ为Ci,j(pi,pj)的阈值,若两个体相关性大于λ,则pj与pi属于同一小群体。由于图2中A、B和C邻域中黄色个体与其目标相关性小于λ,因此黄色个体与A、B和C均不属于同一小群体。最终将所有个体的目标相关个体融合,得到最后的小群体结果。如图2中的A,B,C为一个小群体。
Claims (2)
1.一种中等密度场景小群体实时检测方法,其特征在于,具体包括如下步骤:
1)输入视频及个体运动轨迹检测数据;根据个体运动轨迹数据得到每个个体在每一帧的检测坐标位置及运动速度;
2)为每个运动个体建立目标预测模型:设定场景中有n个运动个体,Fd表示运动个体自己产生的驱动力,ΣFr表示用于躲避障碍物的躲避力集合,ΣFe表示针对其他个体的排斥力集合,三种力的总和确定运动个体自己的加速度方向,用于不断修正其速度矢量;
计算每个运动个体的目标方向ηi;
3)将ηi带入相关性滤波算法进行小群体检测:设当前位置为oi,具有目标方向ηi的运动个体pi表示为pi(oi,ηi),采用K最近邻分类法取pi最近邻K个个体,得到其初始邻域,表示为Ni(p1,...,pj,...pK),对领域中的各个个体与目标运动个体pi求目标相关值,取λ为两个体相关性阈值,若两个体相关性大于λ,则与目标运动个体pi属于同一小群体。
2.根据权利要求1所述中等密度场景小群体实时检测方法,其特征在于,所述步骤3)中对领域中的各个个体与目标运动个体pi求目标相关值具体方法如下:以圆A模拟运动个体pi,圆A中心及其周围同一目标方向的运动个体分别进行圆命名,所有最近邻K个个体构成A的初始邻域;设定阈值Thrg用于限制小群体成员间距离,以被命名的圆中心为圆心,以Thrg为半径对每个圆心作二次划分邻域分界线;为了使结果具有时间持续性,算法连续记录T帧内的命名个体的二次划分邻域,并仅保留在T帧内始终存在的个体,由此得到以pi为中心的个体群组被称为Gi(t),最后,计算Gi(t)中所有个体pj分别在T帧中与pi的目标相关性,并取T帧平均值作为pi和pj的目标相关值Ci,j(pi,pj),
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710182324.5A CN107016358B (zh) | 2017-03-24 | 2017-03-24 | 中等密度场景小群体实时检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710182324.5A CN107016358B (zh) | 2017-03-24 | 2017-03-24 | 中等密度场景小群体实时检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107016358A true CN107016358A (zh) | 2017-08-04 |
CN107016358B CN107016358B (zh) | 2020-03-20 |
Family
ID=59444873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710182324.5A Active CN107016358B (zh) | 2017-03-24 | 2017-03-24 | 中等密度场景小群体实时检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107016358B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107704667A (zh) * | 2017-09-20 | 2018-02-16 | 山东师范大学 | 模拟集群性的人群运动仿真方法、装置和系统 |
CN108133185A (zh) * | 2017-12-21 | 2018-06-08 | 山东师范大学 | 基于轨迹数据判断行人关系的方法和系统 |
CN111739651A (zh) * | 2020-06-16 | 2020-10-02 | 南京众智未来人工智能研究院有限公司 | 一种基于群体识别的多个体间距检测系统和方法 |
CN111885490A (zh) * | 2020-07-24 | 2020-11-03 | 深圳市元征科技股份有限公司 | 一种社交距离提醒的方法、系统、设备及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090306946A1 (en) * | 2008-04-08 | 2009-12-10 | Norman I Badler | Methods and systems for simulation and representation of agents in a high-density autonomous crowd |
CN105955797A (zh) * | 2016-04-28 | 2016-09-21 | 中山大学 | 一种基于gpu的社会力模型人群实时仿真方法 |
CN106203360A (zh) * | 2016-07-15 | 2016-12-07 | 上海电力学院 | 基于多级过滤模型的密集场景人群分群检测算法 |
CN106355605A (zh) * | 2016-08-25 | 2017-01-25 | 深圳先进技术研究院 | 群体运动一致性过滤方法 |
CN106446960A (zh) * | 2016-10-10 | 2017-02-22 | 太原理工大学 | 一种密度聚类划分时间段的动态热度路网构建方法 |
-
2017
- 2017-03-24 CN CN201710182324.5A patent/CN107016358B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090306946A1 (en) * | 2008-04-08 | 2009-12-10 | Norman I Badler | Methods and systems for simulation and representation of agents in a high-density autonomous crowd |
CN105955797A (zh) * | 2016-04-28 | 2016-09-21 | 中山大学 | 一种基于gpu的社会力模型人群实时仿真方法 |
CN106203360A (zh) * | 2016-07-15 | 2016-12-07 | 上海电力学院 | 基于多级过滤模型的密集场景人群分群检测算法 |
CN106355605A (zh) * | 2016-08-25 | 2017-01-25 | 深圳先进技术研究院 | 群体运动一致性过滤方法 |
CN106446960A (zh) * | 2016-10-10 | 2017-02-22 | 太原理工大学 | 一种密度聚类划分时间段的动态热度路网构建方法 |
Non-Patent Citations (5)
Title |
---|
BOLEI ZHOU 等: "Coherent Filtering:Detecting Coherent Motions from Crowd Clutters", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 * |
EIJI HARADA 等: "A switching action model for DEM-based multi-agent crowded behavior simulator", 《SAFETY SCIENCE》 * |
IOANNIS KARAMOUZAS 等: "A Predictive Collision Avoidance Model for Pedestrian Simulation", 《INTERNATIONAL WORKSHOP ON MOTION IN GAMES》 * |
JAN SOCHMAN 等: "Who Knows Who-Inverting the Social Force Model for Finding Groups", 《2011 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS》 * |
MINGBI ZHAO 等: "Evaluation of Crowd Models in Low Density Scenarios Using Real-world Crowd Data", 《2015 IEEE/ACM 19TH INTERNATIONAL SYMPOSIUM ON DISTRIBUTED SIMULATION AND REAL TIME APPLICATIONS》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107704667A (zh) * | 2017-09-20 | 2018-02-16 | 山东师范大学 | 模拟集群性的人群运动仿真方法、装置和系统 |
CN107704667B (zh) * | 2017-09-20 | 2021-01-08 | 山东师范大学 | 模拟集群性的人群运动仿真方法、装置和系统 |
CN108133185A (zh) * | 2017-12-21 | 2018-06-08 | 山东师范大学 | 基于轨迹数据判断行人关系的方法和系统 |
CN108133185B (zh) * | 2017-12-21 | 2021-02-23 | 山东师范大学 | 基于轨迹数据判断行人关系的方法和系统 |
CN111739651A (zh) * | 2020-06-16 | 2020-10-02 | 南京众智未来人工智能研究院有限公司 | 一种基于群体识别的多个体间距检测系统和方法 |
CN111885490A (zh) * | 2020-07-24 | 2020-11-03 | 深圳市元征科技股份有限公司 | 一种社交距离提醒的方法、系统、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107016358B (zh) | 2020-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Varshneya et al. | Human trajectory prediction using spatially aware deep attention models | |
Marsden et al. | Resnetcrowd: A residual deep learning architecture for crowd counting, violent behaviour detection and crowd density level classification | |
CN107967451B (zh) | 一种对静止图像进行人群计数的方法 | |
Duman et al. | Anomaly detection in videos using optical flow and convolutional autoencoder | |
Al-Dhamari et al. | Transfer deep learning along with binary support vector machine for abnormal behavior detection | |
CN109740419A (zh) | 一种基于Attention-LSTM网络的视频行为识别方法 | |
CN107016358A (zh) | 中等密度场景小群体实时检测方法 | |
Chen et al. | Visual reasoning using graph convolutional networks for predicting pedestrian crossing intention | |
CN108108688B (zh) | 一种基于低维时空特征提取与主题建模的肢体冲突行为检测方法 | |
Wang et al. | Dense point prediction: A simple baseline for crowd counting and localization | |
Natarajan et al. | Creating alert messages based on wild animal activity detection using hybrid deep neural networks | |
CN111738218A (zh) | 人体异常行为识别系统及方法 | |
Putra et al. | Markerless human activity recognition method based on deep neural network model using multiple cameras | |
Ma et al. | Scene invariant crowd counting using multi‐scales head detection in video surveillance | |
Usmani et al. | Particle swarm optimization with deep learning for human action recognition | |
Patwardhan | Edge based grid super-imposition for crowd emotion recognition | |
Bakour et al. | Soft-CSRNet: real-time dilated convolutional neural networks for crowd counting with drones | |
Xia et al. | Anomaly detection in traffic surveillance with sparse topic model | |
Shao et al. | A real-time algorithm for small group detection in medium density crowds | |
Gao et al. | Beyond group: Multiple person tracking via minimal topology-energy-variation | |
Shehata et al. | Does my gait look nice? human perception-based gait relative attribute estimation using dense trajectory analysis | |
Saif et al. | Aggressive action estimation: a comprehensive review on neural network based human segmentation and action recognition | |
Azorin-Lopez et al. | Constrained self-organizing feature map to preserve feature extraction topology | |
Hao et al. | Group abnormal behaviour detection algorithm based on global optical flow | |
CN112487920B (zh) | 一种基于卷积神经网络的翻越行为识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |