CN106022234A - 基于光流计算的异常拥挤行为检测算法 - Google Patents
基于光流计算的异常拥挤行为检测算法 Download PDFInfo
- Publication number
- CN106022234A CN106022234A CN201610314229.1A CN201610314229A CN106022234A CN 106022234 A CN106022234 A CN 106022234A CN 201610314229 A CN201610314229 A CN 201610314229A CN 106022234 A CN106022234 A CN 106022234A
- Authority
- CN
- China
- Prior art keywords
- force
- interaction
- interaction force
- microgranule
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 14
- 230000003287 optical effect Effects 0.000 title claims abstract description 9
- 238000001514 detection method Methods 0.000 title abstract description 8
- 230000003993 interaction Effects 0.000 claims abstract description 27
- 239000004531 microgranule Substances 0.000 claims description 14
- 230000003542 behavioural effect Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 claims description 7
- 230000001427 coherent effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000004069 differentiation Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 239000002245 particle Substances 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000013459 approach Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005381 potential energy Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于光流计算的异常拥挤行为检测算法，首先采用光流微粒矢量场提取人群运动特征；然后基于社会力模型计算光流微粒之间的相互作用力；最后对相互作用力采用直方图熵值分析实现行为判别。本发明可以对异常拥挤行为进行有效判别和定位。通过求取场景视频对应社会力模型中的相互作用力，结合直方图熵值分析，实现快速可靠的异常拥挤行为检测，可广泛用于视频监控领域。
Description
技术领域
本发明涉及一种基于光流计算的异常拥挤行为检测算法，属于视频监控技术领域。
背景技术
这些年，多次发生因为人群过度拥挤而造成的人身伤亡事故，引起了社会的强烈关注。为了防范此类事故，除了加强巡逻监管和安全宣传外，还需要从技术上提高异常拥挤行为的发现和预警能力。
目前面向视频监控的人群拥挤检测主要通过人体计数或人群密度估算来实现。专利CN200710041086使用背景差法提取前景目标，使用特征匹配判断前景人体目标，通过统计前景人体目标的个数实现聚集检测；专利CN201110329227首先提取前景，然后通过计算前景势能与单个人体平均势能之比来估算局部人体聚集情况，这两种方法仅适用于无遮挡的低密度人体场景检测。专利201210064543通过提取前景区域的SURF特征点，再对特征点进行聚类来判断人体数量；文献“利用归一化前景和二维联合熵的人群聚集检测方法（武汉大学学报信息科学版，2013.09）”通过计算前景区域二维联合熵来统计场景中的人群密度，这两种方法一定程度解决了遮挡问题，但是不能消除非人体前景目标干扰。文献“多种人群密度场景下的人群计数（中国图象图形学报，2013.04）”采用回归模型估计场景中的人数，可以估计特定场景下的人群密度，但是训练过程较为复杂，场景适应性差。文献“Abnormalcrowd behavior detection using social force model（CVPR2009）”将社会力模型用于人群的异常行为判别，但仅利用了社会力模型中相互作用力的模值，对人群异常行为判别不够全面。
发明内容
为解决上述问题，本发明特提出一种基于光流计算的异常拥挤行为检测算法，首先采用光流微粒矢量场提取人群运动特征；然后基于社会力模型计算光流微粒之间的相互作用力；最后对相互作用力采用直方图熵值分析实现行为判别。本发明可以对异常拥挤行为进行有效判别和定位。通过求取场景视频对应社会力模型中的相互作用力，结合直方图熵值分析，实现快速可靠的异常拥挤行为检测，可广泛用于视频监控领域。
为实现上述发明目的，本发明采用下述的技术方案，流程图如图1所示：
1、求取光流失量
针对当前输入的视频帧，本发明首先使用Lucas-Kanade方法求取其对应的致密光流场；然后将致密光流场分成若干个的子区域（这里为区域大小，单位为像素），每个子区域等效为1个运动微粒；对每个子区域内部的所有光流值进行高斯加权平均；所有子区域的高斯加权平均结果组成一个平均光流场。
2、求取相互作用力
通用的社会力模型如式（1）所示，其中为目标序号，为其对应质量，为其实际运动速度，为其期望运动速度，为其与周围环境/物体的相互作用力，为松弛参数，为时间。
（1）
则相互作用力为：
（2）
设对应坐标为的微粒的原始光流，对应坐标为的微粒的有效光流平均值，则微粒的实际运动速度和期望速率如下式所示，其中是恐慌权重参数。
（3）
为了方便计算，对于给定场景或已确定的具有一贯相似尺寸目标的人群类型，假设，因此对于每个微粒，从式（2、3）可计算出相互作用力：
（4）
3、异常拥挤行为判别
相互作用力决定了图像帧中宏块粒子间的相互作用，就其中的某一单独帧而言，相互作用力是瞬时的，无法对视频中的异常行为进行判定，需要使用持续一段时间的相互作用力来进行异常行为的判定。本发明将连续帧社会力组合为社会力流。
对于一个位于的相互作用力，可以得出其方位角和大小，其中和是在和方向上的分量。
（5）
（6）
在视频帧中，对于每一个计算宏块，其都有一个对应的相互作用力，因此在一帧图像中我们可以设立处理单元集合。对此，对于连续帧的计算宏块，我们将每一帧中相对应计算宏块的相互作用力矢量进行叠加，创建出类似于作用力流的力流矢量。对力流矢量的大小及方位角分别进行词袋均值分类：对于方位角进行分类，以从0°开始，以每隔45°为一个类别，可以分为8个词袋类别，对于强度大小分为11个区间。因此，对于一个计算宏块的力流矢量都有一个对应的大小和方位角词。在图像帧中的处理单元集合中，对单个计算宏块的力流矢量的大小词和方位角词进行数量统计，可以分别获取新的特征词矩阵，将其分别进行直方图统计，通过直方图，依下式计算相对作用力大小与方向角的熵值。
（7）
（8）
其中为作用力大小的熵值，分别为方向角的熵值，为作用力在区间出现次数的概率，为作用力的在方位角区间出现的概率。当、均超出预设的阈值时，即表明检测到异常拥挤行为。
本发明的优点在于：使用大小直方图和角度直方图对社会力模型中的相互作用力进行熵值分析，可以对异常拥挤行为进行有效判别和定位。
附图说明
图1 异常拥挤行为检测流程图。
具体实施方式
一种基于光流计算的异常拥挤行为检测算法，首先采用光流微粒矢量场提取人群运动特征；然后基于社会力模型计算光流微粒之间的相互作用力；最后对相互作用力采用直方图熵值分析实现行为判别。本发明可以对异常拥挤行为进行有效判别和定位。通过求取场景视频对应社会力模型中的相互作用力，结合直方图熵值分析，实现快速可靠的异常拥挤行为检测，可广泛用于视频监控领域。
Claims (1)
1.基于光流计算的异常拥挤行为检测算法，其特征在于，首先采用光流微粒矢量场提取人群运动特征；然后基于社会力模型计算光流微粒之间的相互作用力；最后对相互作用力采用直方图熵值分析实现行为判别，
流程如下：
（1）、求取光流失量
针对当前输入的视频帧，首先使用Lucas-Kanade方法求取其对应的致密光流场；然后将致密光流场分成若干个的子区域，这里为区域大小，单位为像素，每个子区域等效为1个运动微粒；对每个子区域内部的所有光流值进行高斯加权平均；所有子区域的高斯加权平均结果组成一个平均光流场；
（2）、求取相互作用力
社会力模型如式1所示，其中为目标序号，为其对应质量，为其实际运动速度，为其期望运动速度，为其与周围环境/物体的相互作用力，为松弛参数，为时间，
（1）
则相互作用力为：
（2）
设对应坐标为的微粒的原始光流，对应坐标为的微粒的有效光流平均值，则微粒的实际运动速度和期望速率如下式所示，其中是恐慌权重参数，
（3）
对于给定场景或已确定的具有一贯相似尺寸目标的人群类型，假设，因此对于每个微粒，从式（2、3）计算出相互作用力：
（4）
（3）、异常拥挤行为判别
相互作用力决定了图像帧中宏块粒子间的相互作用，就其中的某一单独帧而言，相互作用力是瞬时的，无法对视频中的异常行为进行判定，需要使用持续一段时间的相互作用力来进行异常行为的判定，本发明将连续帧社会力组合为社会力流；
对于一个位于的相互作用力，得出其方位角和大小，其中和是在和方向上的分量，
（5）
（6）
在视频帧中，对于每一个计算宏块，其都有一个对应的相互作用力，因此在一帧图像中我们设立处理单元集合，对此，对于连续帧的计算宏块，将每一帧中相对应计算宏块的相互作用力矢量进行叠加，创建出力流矢量，对力流矢量的大小及方位角分别进行词袋均值分类：对于方位角进行分类，以从0°开始，以每隔45°为一个类别，分为8个词袋类别，对于强度大小分为11个区间，对于一个计算宏块的力流矢量都有一个对应的大小和方位角词，在图像帧中的处理单元集合中，对单个计算宏块的力流矢量的大小词和方位角词进行数量统计，分别获取新的特征词矩阵，将其分别进行直方图统计，通过直方图，依下式计算相对作用力大小与方向角的熵值，
（7）
（8）
其中为作用力大小的熵值，分别为方向角的熵值，为作用力在区间出现次数的概率，为作用力的在方位角区间出现的概率，当、均超出预设的阈值时，即表明检测到异常拥挤行为。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610314229.1A CN106022234B (zh) | 2016-05-13 | 2016-05-13 | 基于光流计算的异常拥挤行为检测算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610314229.1A CN106022234B (zh) | 2016-05-13 | 2016-05-13 | 基于光流计算的异常拥挤行为检测算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106022234A true CN106022234A (zh) | 2016-10-12 |
| CN106022234B CN106022234B (zh) | 2021-06-22 |
Family
ID=57100634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610314229.1A Expired - Fee Related CN106022234B (zh) | 2016-05-13 | 2016-05-13 | 基于光流计算的异常拥挤行为检测算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106022234B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106991686A (zh) * | 2017-03-13 | 2017-07-28 | 电子科技大学 | 一种基于超像素光流场的水平集轮廓跟踪方法 |
| CN109408889A (zh) * | 2018-09-21 | 2019-03-01 | 同济大学 | 基于信息熵的宏观人群恐慌度量方法及其应用 |
| CN110378233A (zh) * | 2019-06-20 | 2019-10-25 | 上海交通大学 | 一种基于人群行为先验知识的双分支异常检测方法 |
| CN110472458A (zh) * | 2018-05-11 | 2019-11-19 | 深眸科技(深圳)有限公司 | 一种无人店铺秩序管理方法及系统 |
| CN110688749A (zh) * | 2019-09-19 | 2020-01-14 | 山东师范大学 | 一种人群疏散仿真方法及系统 |
| CN111539301A (zh) * | 2020-04-20 | 2020-08-14 | 贵州安防工程技术研究中心有限公司 | 一种基于视频分析技术的场景混乱程度判别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156880A (zh) * | 2011-04-11 | 2011-08-17 | 上海交通大学 | 基于改进的社会力模型的异常集群行为检测方法 |
| KR20120048156A (ko) * | 2010-11-05 | 2012-05-15 | 성균관대학교산학협력단 | 신경망을 이용한 이동 물체의 혼잡도 측정 시스템 및 방법 |
| CN104123544A (zh) * | 2014-07-23 | 2014-10-29 | 通号通信信息集团有限公司 | 基于视频分析的异常行为检测方法及系统 |
| CN105389567A (zh) * | 2015-11-16 | 2016-03-09 | 上海交通大学 | 基于稠密光流直方图的群体异常检测方法 |
-
2016
- 2016-05-13 CN CN201610314229.1A patent/CN106022234B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120048156A (ko) * | 2010-11-05 | 2012-05-15 | 성균관대학교산학협력단 | 신경망을 이용한 이동 물체의 혼잡도 측정 시스템 및 방법 |
| CN102156880A (zh) * | 2011-04-11 | 2011-08-17 | 上海交通大学 | 基于改进的社会力模型的异常集群行为检测方法 |
| CN104123544A (zh) * | 2014-07-23 | 2014-10-29 | 通号通信信息集团有限公司 | 基于视频分析的异常行为检测方法及系统 |
| CN105389567A (zh) * | 2015-11-16 | 2016-03-09 | 上海交通大学 | 基于稠密光流直方图的群体异常检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| G. XIONG 等: "Abnormal crowd behavior detection based on the energy model", 《2011 IEEE INTERNATIONAL CONFERENCE ON INFORMATION AND AUTOMATION》 * |
| 尚进 等: "基于社会力的多人异常行为检测", 《工业控制计算》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106991686A (zh) * | 2017-03-13 | 2017-07-28 | 电子科技大学 | 一种基于超像素光流场的水平集轮廓跟踪方法 |
| CN106991686B (zh) * | 2017-03-13 | 2019-05-28 | 电子科技大学 | 一种基于超像素光流场的水平集轮廓跟踪方法 |
| CN110472458A (zh) * | 2018-05-11 | 2019-11-19 | 深眸科技(深圳)有限公司 | 一种无人店铺秩序管理方法及系统 |
| CN109408889A (zh) * | 2018-09-21 | 2019-03-01 | 同济大学 | 基于信息熵的宏观人群恐慌度量方法及其应用 |
| CN109408889B (zh) * | 2018-09-21 | 2022-08-12 | 同济大学 | 基于信息熵的宏观人群恐慌度量方法及其应用 |
| CN110378233A (zh) * | 2019-06-20 | 2019-10-25 | 上海交通大学 | 一种基于人群行为先验知识的双分支异常检测方法 |
| CN110688749A (zh) * | 2019-09-19 | 2020-01-14 | 山东师范大学 | 一种人群疏散仿真方法及系统 |
| CN110688749B (zh) * | 2019-09-19 | 2023-04-11 | 山东师范大学 | 一种人群疏散仿真方法及系统 |
| CN111539301A (zh) * | 2020-04-20 | 2020-08-14 | 贵州安防工程技术研究中心有限公司 | 一种基于视频分析技术的场景混乱程度判别方法 |
| CN111539301B (zh) * | 2020-04-20 | 2023-04-18 | 贵州安防工程技术研究中心有限公司 | 一种基于视频分析技术的场景混乱程度判别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106022234B (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106022234A (zh) | 基于光流计算的异常拥挤行为检测算法 | |
| CN102156880B (zh) | 基于改进的社会力模型的异常集群行为检测方法 | |
| CN107330372B (zh) | 一种基于视频的人群密度与异常行为检测系统的分析方法 | |
| Mancas et al. | Abnormal motion selection in crowds using bottom-up saliency | |
| Kaltsa et al. | Swarm intelligence for detecting interesting events in crowded environments | |
| CN103745230B (zh) | 一种自适应群体异常行为分析方法 | |
| CN102324016B (zh) | 一种高密度人群流量统计方法 | |
| Zhang et al. | Abnormal crowd behavior detection based on social attribute-aware force model | |
| CN107506734A (zh) | 一种群体突发异常事件检测与定位方法 | |
| CN106446922B (zh) | 一种人群异常行为分析方法 | |
| CN105303191A (zh) | 一种前视监视场景下的行人计数方法和装置 | |
| CN105678803A (zh) | 基于w4算法和帧间差分的视频监控目标检测方法 | |
| Tan et al. | Fast anomaly detection in traffic surveillance video based on robust sparse optical flow | |
| CN104732236B (zh) | 一种基于分层处理的人群异常行为智能检测方法 | |
| Zhao et al. | Crowd instability analysis using velocity-field based social force model | |
| CN102034267A (zh) | 基于关注度的目标物三维重建方法 | |
| CN104683765B (zh) | 一种基于移动物体侦测的视频浓缩方法 | |
| CN103400142A (zh) | 一种行人计数方法 | |
| Yang et al. | Abnormal crowd behavior detection based on local pressure model | |
| Wang et al. | Early smoke detection in video using swaying and diffusion feature | |
| CN110020618A (zh) | 一种可用于多拍摄角度的人群异常行为监测方法 | |
| CN104866844B (zh) | 一种面向监控视频的人群聚集检测方法 | |
| Li et al. | Abnormal crowd behavior detection using topological methods | |
| Wang et al. | Real time abnormal crowd behavior detection based on adjacent flow location estimation | |
| CN104063879A (zh) | 一种基于通量和遮挡系数的行人流估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210622 |