CN106022234B - 基于光流计算的异常拥挤行为检测算法 - Google Patents

基于光流计算的异常拥挤行为检测算法 Download PDF

Info

Publication number
CN106022234B
CN106022234B CN201610314229.1A CN201610314229A CN106022234B CN 106022234 B CN106022234 B CN 106022234B CN 201610314229 A CN201610314229 A CN 201610314229A CN 106022234 B CN106022234 B CN 106022234B
Authority
CN
China
Prior art keywords
force
optical flow
abnormal
interaction force
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610314229.1A
Other languages
English (en)
Other versions
CN106022234A (zh
Inventor
谢剑斌
闫玮
刘通
李沛秦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201610314229.1A priority Critical patent/CN106022234B/zh
Publication of CN106022234A publication Critical patent/CN106022234A/zh
Application granted granted Critical
Publication of CN106022234B publication Critical patent/CN106022234B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于光流计算的异常拥挤行为检测算法，首先采用光流微粒矢量场提取人群运动特征；然后基于社会力模型计算光流微粒之间的相互作用力；最后对相互作用力采用直方图熵值分析实现行为判别。本发明可以对异常拥挤行为进行有效判别和定位。通过求取场景视频对应社会力模型中的相互作用力，结合直方图熵值分析，实现快速可靠的异常拥挤行为检测，可广泛用于视频监控领域。

Description

基于光流计算的异常拥挤行为检测算法
技术领域
本发明涉及一种基于光流计算的异常拥挤行为检测算法，属于视频监控技术领域。
背景技术
这些年，多次发生因为人群过度拥挤而造成的人身伤亡事故，引起了社会的强烈关注。为了防范此类事故，除了加强巡逻监管和安全宣传外，还需要从技术上提高异常拥挤行为的发现和预警能力。
目前面向视频监控的人群拥挤检测主要通过人体计数或人群密度估算来实现。专利CN200710041086使用背景差法提取前景目标，使用特征匹配判断前景人体目标，通过统计前景人体目标的个数实现聚集检测；专利CN201110329227首先提取前景，然后通过计算前景势能与单个人体平均势能之比来估算局部人体聚集情况，这两种方法仅适用于无遮挡的低密度人体场景检测。专利201210064543通过提取前景区域的SURF特征点，再对特征点进行聚类来判断人体数量；文献“利用归一化前景和二维联合熵的人群聚集检测方法（武汉大学学报信息科学版，2013.09）”通过计算前景区域二维联合熵来统计场景中的人群密度，这两种方法一定程度解决了遮挡问题，但是不能消除非人体前景目标干扰。文献“多种人群密度场景下的人群计数（中国图象图形学报，2013.04）”采用回归模型估计场景中的人数，可以估计特定场景下的人群密度，但是训练过程较为复杂，场景适应性差。文献“Abnormalcrowd behavior detection using social force model（CVPR2009）”将社会力模型用于人群的异常行为判别，但仅利用了社会力模型中相互作用力的模值，对人群异常行为判别不够全面。
发明内容
为解决上述问题，本发明特提出一种基于光流计算的异常拥挤行为检测算法，首先采用光流微粒矢量场提取人群运动特征；然后基于社会力模型计算光流微粒之间的相互作用力；最后对相互作用力采用直方图熵值分析实现行为判别。本发明可以对异常拥挤行为进行有效判别和定位。通过求取场景视频对应社会力模型中的相互作用力，结合直方图熵值分析，实现快速可靠的异常拥挤行为检测，可广泛用于视频监控领域。
为实现上述发明目的，本发明采用下述的技术方案，流程图如图1所示：
1、求取光流失量
针对当前输入的视频帧，本发明首先使用Lucas-Kanade方法求取其对应的致密光流场
Figure DEST_PATH_IMAGE002
；然后将致密光流场分成若干个
Figure DEST_PATH_IMAGE004
的子区域（这里
Figure DEST_PATH_IMAGE006
为区域大小，单位为像素），每个子区域等效为1个运动微粒；对每个子区域内部的所有光流值进行高斯加权平均；所有子区域的高斯加权平均结果组成一个平均光流场
Figure DEST_PATH_IMAGE008
。
2、求取相互作用力
通用的社会力模型如式（1）所示，其中
Figure DEST_PATH_IMAGE010
为目标序号，
Figure DEST_PATH_IMAGE012
为其对应质量，
Figure DEST_PATH_IMAGE014
为其实际运动速度，
Figure DEST_PATH_IMAGE016
为其期望运动速度，
Figure DEST_PATH_IMAGE018
为其与周围环境/物体的相互作用力，
Figure DEST_PATH_IMAGE020
为松弛参数，
Figure DEST_PATH_IMAGE022
为时间。
Figure DEST_PATH_IMAGE024
（1）
则相互作用力为：
Figure DEST_PATH_IMAGE026
（2）
设
Figure DEST_PATH_IMAGE028
对应坐标为
Figure DEST_PATH_IMAGE030
的微粒
Figure 234915DEST_PATH_IMAGE010
的原始光流，
Figure DEST_PATH_IMAGE032
对应坐标为
Figure 706216DEST_PATH_IMAGE030
的微粒
Figure 368011DEST_PATH_IMAGE010
的有效光流平均值，则微粒
Figure 645277DEST_PATH_IMAGE010
的实际运动速度
Figure 138444DEST_PATH_IMAGE014
和期望速率
Figure DEST_PATH_IMAGE034
如下式所示，其中
Figure DEST_PATH_IMAGE036
是恐慌权重参数。
Figure DEST_PATH_IMAGE038
（3）
为了方便计算，对于给定场景或已确定的具有一贯相似尺寸目标的人群类型，假设
Figure DEST_PATH_IMAGE040
，因此对于每个微粒，从式（2、3）可计算出相互作用力：
Figure DEST_PATH_IMAGE042
（4）
3、异常拥挤行为判别
相互作用力
Figure DEST_PATH_IMAGE044
决定了图像帧中宏块粒子间的相互作用，就其中的某一单独帧而言，相互作用力是瞬时的，无法对视频中的异常行为进行判定，需要使用持续一段时间的相互作用力来进行异常行为的判定。本发明将连续
Figure DEST_PATH_IMAGE046
帧社会力组合为社会力流
Figure DEST_PATH_IMAGE048
。
对于一个位于
Figure 535576DEST_PATH_IMAGE030
的相互作用力，可以得出其方位角
Figure DEST_PATH_IMAGE050
和大小
Figure DEST_PATH_IMAGE052
，其中
Figure DEST_PATH_IMAGE054
和
Figure DEST_PATH_IMAGE056
是
Figure 183201DEST_PATH_IMAGE018
在
Figure DEST_PATH_IMAGE058
和
Figure DEST_PATH_IMAGE060
方向上的分量。
Figure DEST_PATH_IMAGE062
（5）
Figure DEST_PATH_IMAGE064
（6）
在视频帧中，对于每一个计算宏块
Figure DEST_PATH_IMAGE066
，其都有一个对应的相互作用力，因此在一帧图像中我们可以设立处理单元集合
Figure DEST_PATH_IMAGE068
。对此，对于连续
Figure 497115DEST_PATH_IMAGE046
帧的计算宏块
Figure DEST_PATH_IMAGE070
，我们将每一帧中相对应计算宏块的相互作用力矢量进行叠加，创建出类似于作用力流的力流矢量
Figure 110367DEST_PATH_IMAGE048
。对力流矢量
Figure 346308DEST_PATH_IMAGE048
的大小及方位角分别进行词袋均值分类：对于方位角
Figure 107328DEST_PATH_IMAGE050
进行分类，以从0°开始，以每隔45°为一个类别，可以分为8个词袋类别，对于强度大小分为11个区间。因此，对于一个计算宏块
Figure 352496DEST_PATH_IMAGE066
的力流矢量
Figure 616993DEST_PATH_IMAGE048
都有一个对应的大小和方位角词。在图像帧中的处理单元集合
Figure DEST_PATH_IMAGE072
中，对单个计算宏块
Figure 663315DEST_PATH_IMAGE066
的力流矢量
Figure 209834DEST_PATH_IMAGE048
的大小词和方位角词进行数量统计，可以分别获取新的特征词矩阵，将其分别进行直方图统计，通过直方图，依下式计算相对作用力大小
Figure 757228DEST_PATH_IMAGE052
与方向角
Figure DEST_PATH_IMAGE074
的熵值。
Figure DEST_PATH_IMAGE076
（7）
Figure DEST_PATH_IMAGE078
（8）
其中
Figure DEST_PATH_IMAGE080
为作用力大小
Figure 227565DEST_PATH_IMAGE052
的熵值，
Figure DEST_PATH_IMAGE082
分别为方向角
Figure 444789DEST_PATH_IMAGE074
的熵值，
Figure DEST_PATH_IMAGE084
为作用力在
Figure 790188DEST_PATH_IMAGE010
区间出现次数的概率，
Figure DEST_PATH_IMAGE086
为作用力的在
Figure 751060DEST_PATH_IMAGE010
方位角区间出现的概率。当
Figure 491614DEST_PATH_IMAGE080
、
Figure 4372DEST_PATH_IMAGE082
均超出预设的阈值时，即表明检测到异常拥挤行为。
本发明的优点在于：使用大小直方图和角度直方图对社会力模型中的相互作用力进行熵值分析，可以对异常拥挤行为进行有效判别和定位。
附图说明
图1 异常拥挤行为检测流程图。
具体实施方式
一种基于光流计算的异常拥挤行为检测算法，首先采用光流微粒矢量场提取人群运动特征；然后基于社会力模型计算光流微粒之间的相互作用力；最后对相互作用力采用直方图熵值分析实现行为判别。本发明可以对异常拥挤行为进行有效判别和定位。通过求取场景视频对应社会力模型中的相互作用力，结合直方图熵值分析，实现快速可靠的异常拥挤行为检测，可广泛用于视频监控领域。

Claims (1)

1.基于光流计算的异常拥挤行为检测方法，其特征在于，首先采用光流微粒矢量场提取人群运动特征；然后基于社会力模型计算光流微粒之间的相互作用力；最后对相互作用力采用直方图熵值分析实现行为判别，
流程如下：
(1)、求取光流矢量
针对当前输入的视频帧，首先使用Lucas-Kanade方法求取其对应的致密光流场O；然后将致密光流场分成若干个n×n的子区域，这里n为区域大小，单位为像素，每个子区域等效为1个运动微粒；对每个子区域内部的所有光流值进行高斯加权平均；所有子区域的高斯加权平均结果组成一个平均光流场Oave；
(2)、求取相互作用力
社会力模型如式1所示，其中i为目标序号，mi为其对应质量，vi为其实际运动速度，
Figure FDA0003023385380000011
为其期望运动速度，Finti为其与周围环境/物体的相互作用力，τ为松弛参数，t为时间，
Figure FDA0003023385380000012
则相互作用力为：
Figure FDA0003023385380000013
设O(xi,yi)对应坐标为(xi,yi)的微粒i的原始光流，Oave(xi,yi)对应坐标为(xi,yi)的微粒i的有效光流平均值，则微粒i的实际运动速度vi和期望运动速度
Figure FDA0003023385380000014
如下式所示，其中pi是恐慌权重参数，
vi＝O(xi,yi)
Figure FDA0003023385380000015
对于给定场景或已确定的具有一贯相似尺寸目标的人群类型，假设mi＝1，因此对于每个微粒，从式(2、3)计算出相互作用力：
Figure FDA0003023385380000016
(3)、异常拥挤行为判别
相互作用力Finti决定了图像帧中宏块粒子间的相互作用，就其中的某一单独帧而言，相互作用力是瞬时的，无法对视频中的异常行为进行判定，需要使用持续一段时间的相互作用力来进行异常行为的判定，将连续T帧社会力组合为社会力流Sf(t)；
对于一个位于(xi,yi)的相互作用力，得出其方位角θ(xi,yi)和大小|Fθ|，其中Finti_x和Finti_y是Finti在x和y方向上的分量，
Figure FDA0003023385380000021
Figure FDA0003023385380000022
在视频帧中，对于每一个计算宏块Dj，其都有一个对应的相互作用力，因此在一帧图像中我们设立处理单元集合D＝{D1,D2,D3,...,DM}，对此，对于连续T帧的计算宏块I(t)，将每一帧中相对应计算宏块的相互作用力矢量进行叠加，创建出力流矢量Sf(t)，对力流矢量Sf(t)的大小及方位角分别进行词袋均值分类：对于方位角θ(xi,yi)进行分类，以从0°开始，以每隔45°为一个类别，分为8个词袋类别，对于强度大小分为11个区间，对于一个计算宏块Dj的力流矢量Sf(t)都有一个对应的大小和方位角词，在图像帧中的处理单元集合D中，对单个计算宏块Dj的力流矢量Sf(t)的大小词和方位角词进行数量统计，分别获取新的特征词矩阵，将其分别进行直方图统计，通过直方图，依下式计算相对作用力大小|Fθ|与方向角θ的熵值，
Figure FDA0003023385380000023
Figure FDA0003023385380000024
其中Ef为作用力大小|Fθ|的熵值，Eθ分别为方向角θ的熵值，pfi为作用力在i区间出现次数的概率，pθi为作用力的在i方位角区间出现的概率，当Ef、Eθ均超出预设的阈值时，即表明检测到异常拥挤行为。
CN201610314229.1A 2016-05-13 2016-05-13 基于光流计算的异常拥挤行为检测算法 Expired - Fee Related CN106022234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610314229.1A CN106022234B (zh) 2016-05-13 2016-05-13 基于光流计算的异常拥挤行为检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610314229.1A CN106022234B (zh) 2016-05-13 2016-05-13 基于光流计算的异常拥挤行为检测算法

Publications (2)

Publication Number Publication Date
CN106022234A CN106022234A (zh) 2016-10-12
CN106022234B true CN106022234B (zh) 2021-06-22

Family

ID=57100634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610314229.1A Expired - Fee Related CN106022234B (zh) 2016-05-13 2016-05-13 基于光流计算的异常拥挤行为检测算法

Country Status (1)

Country Link
CN (1) CN106022234B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991686B (zh) * 2017-03-13 2019-05-28 电子科技大学 一种基于超像素光流场的水平集轮廓跟踪方法
CN110472458A (zh) * 2018-05-11 2019-11-19 深眸科技(深圳)有限公司 一种无人店铺秩序管理方法及系统
CN109408889B (zh) * 2018-09-21 2022-08-12 同济大学 基于信息熵的宏观人群恐慌度量方法及其应用
CN110378233B (zh) * 2019-06-20 2021-03-09 上海交通大学 一种基于人群行为先验知识的双分支异常检测方法
CN110688749B (zh) * 2019-09-19 2023-04-11 山东师范大学 一种人群疏散仿真方法及系统
CN111539301B (zh) * 2020-04-20 2023-04-18 贵州安防工程技术研究中心有限公司 一种基于视频分析技术的场景混乱程度判别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156880A (zh) * 2011-04-11 2011-08-17 上海交通大学 基于改进的社会力模型的异常集群行为检测方法
KR20120048156A (ko) * 2010-11-05 2012-05-15 성균관대학교산학협력단 신경망을 이용한 이동 물체의 혼잡도 측정 시스템 및 방법
CN104123544A (zh) * 2014-07-23 2014-10-29 通号通信信息集团有限公司 基于视频分析的异常行为检测方法及系统
CN105389567A (zh) * 2015-11-16 2016-03-09 上海交通大学 基于稠密光流直方图的群体异常检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120048156A (ko) * 2010-11-05 2012-05-15 성균관대학교산학협력단 신경망을 이용한 이동 물체의 혼잡도 측정 시스템 및 방법
CN102156880A (zh) * 2011-04-11 2011-08-17 上海交通大学 基于改进的社会力模型的异常集群行为检测方法
CN104123544A (zh) * 2014-07-23 2014-10-29 通号通信信息集团有限公司 基于视频分析的异常行为检测方法及系统
CN105389567A (zh) * 2015-11-16 2016-03-09 上海交通大学 基于稠密光流直方图的群体异常检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Abnormal crowd behavior detection based on the energy model;G. Xiong 等;《2011 IEEE International Conference on Information and Automation》;20110608;第495-500页 *
基于社会力的多人异常行为检测;尚进 等;《工业控制计算》;20150603;第28卷(第5期);第95-96页 *

Also Published As

Publication number Publication date
CN106022234A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
CN106022234B (zh) 基于光流计算的异常拥挤行为检测算法
CN104123544B (zh) 基于视频分析的异常行为检测方法及系统
Mousavi et al. Analyzing tracklets for the detection of abnormal crowd behavior
CN103745230B (zh) 一种自适应群体异常行为分析方法
WO2015131734A1 (zh) 一种前视监视场景下的行人计数方法、装置和存储介质
WO2019114145A1 (zh) 监控视频中人数检测方法及装置
Tan et al. Fast anomaly detection in traffic surveillance video based on robust sparse optical flow
KR101484263B1 (ko) 폭력 감지 시스템 및 폭력 감지 방법
CN105023019B (zh) 一种用于视频监控自动探测人群异常行为的特征描述方法
Janku et al. Fire detection in video stream by using simple artificial neural network
Khondaker et al. Computer vision-based early fire detection using enhanced chromatic segmentation and optical flow analysis technique.
Forczmański et al. Surveillance video stream analysis using adaptive background model and object recognition
KR102332229B1 (ko) 딥러닝 기반 보행자 영상 데이터 증강방법
Saif et al. Real time vision based object detection from UAV aerial images: a conceptual framework
CN111274864A (zh) 人群聚集的判断方法及人群聚集的判断装置
CN104866844B (zh) 一种面向监控视频的人群聚集检测方法
CN106951827A (zh) 一种基于目标运动特性的全局异常行为检测方法
Chen et al. Head-shoulder detection using joint HOG features for people counting and video surveillance in library
Kim et al. Background subtraction using generalised Gaussian family model
Lee et al. Hostile intent and behaviour detection in elevators
Piérard et al. A probabilistic pixel-based approach to detect humans in video streams
Xu et al. Unusual scene detection using distributed behaviour model and sparse representation
Lee et al. Modeling crowd motions for abnormal activity detection
Sikdar et al. An adaptive training-less system for anomaly detection in crowd scenes
Hu et al. Anomaly detection in crowded scenes via sa-mhof and sparse combination

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210622