CN107506734A - 一种群体突发异常事件检测与定位方法 - Google Patents
一种群体突发异常事件检测与定位方法 Download PDFInfo
- Publication number
- CN107506734A CN107506734A CN201710750457.8A CN201710750457A CN107506734A CN 107506734 A CN107506734 A CN 107506734A CN 201710750457 A CN201710750457 A CN 201710750457A CN 107506734 A CN107506734 A CN 107506734A
- Authority
- CN
- China
- Prior art keywords
- msub
- sequence
- training sample
- light stream
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 230000005856 abnormality Effects 0.000 title claims abstract description 43
- 230000004807 localization Effects 0.000 title claims abstract description 20
- 230000002547 anomalous effect Effects 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 84
- 238000012360 testing method Methods 0.000 claims description 70
- 239000013598 vector Substances 0.000 claims description 50
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 24
- 230000003542 behavioural effect Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 3
- 238000012795 verification Methods 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 description 41
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Abstract
一种群体突发异常事件检测与定位方法。该方法分为两个阶段：1)群体异常事件检测；2)异常事件中心实时定位。本发明优点：①针对公共场所(如机场航站楼)的常见突发事件(如由于火灾、暴乱、斗殴等而引起的恐慌、逃逸、聚集等)进行检测，克服了传统检测算法中人群行为特征不明显以及检测过程中对环境噪声干扰敏感性较大等问题，对上述异常事件类型的检测率高、实时性高。②所设计的突发异常事件的危险源位置定位方法，解决了现有方法中只对异常事件类型检测，并没有对事件中心定位以及后续处理的问题，该方法可适用于多种环境，可对场景中多危险源位置同时检测，准确性高，鲁棒性强。
Description
技术领域
本发明属于计算机视觉技术领域，特别是涉及一种群体突发异常事件检测与定位方法。
背景技术
公共场所群体突发异常事件检测是近年来计算机视觉领域研究的热点问题之一。随着计算机视觉、模式识别、数据挖掘、人工智能等领域的发展，对群体异常行为检测的研究也取得了较大的进步，然而，目前的检测方法中仍存在群体特征适用性不强，人群特征受现实环境因素干扰严重，噪声对人群特征产生干扰而影响后续检测结果的准确性问题，并且目前方法中往往只关注对视频图像场景中群体异常行为的检测与识别，而忽略了对危险事件中心的定位与跟踪问题，公共场所由于人群密度较大，人流高度集中，一旦发生群体突发事件，事态往往表现为不易控制，持续危害性强，因此对事件危险源准确定位，并且实时跟踪危险源的位置信息，对掌握事态发展，突发事件危害程度的估计具有实际意义。
近年来，国内外学者已经在群体异常行为检测方面取得了一定的成果，根据检测方法，可分为基于单目标的行为分析和群体行为分析两大类。基于传统的单目标的行为分析方法将群体视为多个单目标的个体组成，对群体进行分割，通过对每个单独的个体进行检测、跟踪、识别，对每个单目标的行为分析来反应群体的行为特征，在简单的场景下该类方法可以取得较好的检测效果，但是在复杂、人群密集、环境噪声较大的场景下该类方法很难准确高效地检测识别群体异常行为。另一类是基于群体整体的行为分析方法，该方法将场景中人群视作一个整体，受遮挡，阴影等环境影响的因素相对较小，因此得到了广泛的研究。Ramin Mehran采用社会力模型来反映场景中人群间的相互作用力，构建局部时空立方体并建立词袋模型对群体异常行为进行检测；Cho将突发事件分类，并建立混合事件模型，可检测不同类型的异常行为；Hu采用能量模型来描述场景中人群分布情况，从而反映人群的行为特征；R.Raghavendra采用社会力模型，通过粒子群优化算法最小化相互作用力来检测群体异常行为，该方法可对典型的群体异常行为，如扩散，定向移动进行检测，然而，由于对图像整体计算粒子间的相互作用力，因此该方法针对局部异常行为检测并不理想；ChanM使用HMM模型对异常行为进行检测，该方法需要事先定义一个异常行为样本，然后利用预定义的原始空间语义表达来描述定义的异常行为模式，该方法可以避免定义大量的正常行为模型，然而针对一些复杂未知的异常行为，检测效果受到限制；Chen提出利用人群加速度特征在异常情况下产生突变的特点来检测人群的异常行为，首先通过训练集得到人群发生异常时的加速度阈值，最后通过阈值来判断人群是否发生异常行为，然而该方法对于人群运动剧烈但加速度特征并不明显的突发事件，检测结果易受到干扰；Duan采用混合动态纹理模型对异常行为进行检测，首先对混合动态纹理模型的参数进行估计，然后分别从时域和空域两种因素对异常行为进行检测，计算出异常行为在相应的时域与空域下的异常指数，最后综合考虑时域与空域因素来进行异常行为的判断，该方法综合了时域与空域的影响，达到了较高的检测率，也可以对异常行为发生的区域范围做出粗略估计，然而，该方法并不能精确地判断出危险源的具体方位，亦不能实时地跟踪危险源位置的变化。上述方法虽然可对场景中群体突发的异常行为进行检测，并取得一定的进展，然而对于人群特征提取仍然存在环境适应性、场景应用性，行为类型适用性等问题，而且目前方法中并没有对更具有实际应用价值意义的事件危险源位置进行定位、跟踪。对于公共场所，如机场航站楼，候车室，商场，由于上述场所人群密度大，空间相对较为封闭，一旦突发异常事件往往会产生严重的后果，对场景中群体突发事件及时检测的同时，更需要持续关注事件中心的实时状态，危险源的位置变化，上述信息对突发异常事件的后续紧急处理有着极高的参考价值，因此对事件中心实时定位是群体突发异常事件检测问题的重要部分。
发明内容
为了解决上述问题，本发明的目的在于提供一种能够对公共场所常见的群体突发异常事件准确检测的同时，对场景中危险源位置快速、准确进行定位的群体突发异常事件检测与定位方法。
为了达到上述目的，本发明提供的群体突发异常事件检测与定位方法包括按顺序进行的下列步骤：
(1)从待检测的公共场所原始视频图像中选取多帧视频图像，每一帧视频图像作为一个训练样本，然后提取出每个训练样本的前景图像并计算出前景图像光流矢量的幅值和方向信息；
(2)利用步骤(1)中获得的前景图像光流矢量的幅值和方向信息提取每个训练样本的光流幅值直方图特征；
(3)将步骤(2)中提取出的训练样本的光流幅值直方图特征利用支持向量机分类器进行训练，得到支持向量机模型，然后，将训练样本截成多段训练样本视频图像序列，并对每段训练样本视频图像序列进行转化而生成群体行为特征序列，最后，利用隐马尔可夫模型对训练样本的群体行为特征序列进行训练，得到对应的隐马尔可夫模型；
(4)采用与步骤(1)相同的方法，从原始视频图像中选取多帧视频图像，每一帧视频图像作为一个测试样本，然后提取出每个测试样本的前景图像并计算出前景图像光流矢量的幅值和方向信息；
(5)采用与步骤(2)相同的方法，利用步骤(4)中获得的前景图像光流矢量的幅值和方向信息提取每个测试样本的光流幅值直方图特征；
(6)将上述测试样本截成多段测试样本视频图像序列，利用步骤(3)中训练得到的支持向量机模型对多段测试样本视频图像序列进行分类，并根据分类结果对应生成测试样本的群体行为特征序列，最后用步骤(3)中已经过训练的隐马尔可夫模型进行群体行为检测，以得到测试样本的群体行为检测结果；
(7)若步骤(6)中测试样本的检测结果为具有异常行为，则采用随机采样一致性算法对该帧视频图像中的危险源位置进行定位，否则输出检测结果为正常行为；
(8)由步骤4)得到的优化估计交点q'即为突发事件的危险源位置，继续将其余外点重复步骤1)—3)再次计算，如果获得的最多内点集数目大于某一内点集数目阈值Ti，则认为存在多个危险源，重复步骤4)，由此计算出危险源位置。
在步骤(1)中，所述的提取出每个训练样本的前景图像并计算出前景图像光流矢量的幅值和方向信息的具体方法是：首先，利用基于混合高斯背景模型的背景差分法提取出每个训练样本的前景图像，然后使用Lucas-Kanade光流法计算出前景图像光流矢量的幅值和方向信息。
在步骤(2)中，所述的利用步骤(1)中获得的前景图像光流矢量的幅值和方向信息提取每个训练样本的光流幅值直方图特征的具体方法是：首先，将前景图像的360度方向平均分成N个方向子区间，然后，通过步骤(1)中获取的前景图像光流矢量的幅值和方向信息，统计落在每个方向子区间中的前景图像光流点的个数，并将每个方向子区间内光流点的幅值进行累加并归一化处理，最后得到训练样本的光流幅值直方图特征H：
其中，hj，θj分别表示前景图像光流矢量的幅值和方向，θr表示第r个方向子区间，nr表示方向子区间r中前景图像光流点的个数。
在步骤(3)中，所述的将步骤(2)中提取出的训练样本的光流幅值直方图特征利用支持向量机分类器进行训练，得到支持向量机模型，然后，将训练样本截成多段训练样本视频图像序列，并对每段训练样本视频图像序列进行转化而生成群体行为特征序列，最后，利用隐马尔可夫模型对训练样本的群体行为特征序列进行训练，得到对应的隐马尔可夫模型的具体方法是：首先，将步骤(2)中提取出的训练样本的光流幅值直方图特征H利用支持向量机分类器进行训练，得到支持向量机模型，然后取视频图像帧序列长度为L，将训练样本截成n段训练样本视频图像序列，然后根据每帧训练样本视频图像的光流幅值直方图特征的分类结果将n段训练样本视频图像序列转化成相应的训练样本的群体行为特征序列，即：作为隐马尔可夫模型的观测序列O，根据训练样本的标定结果生成隐状态序列S，最后利用隐马尔可夫模型对训练样本的群体行为特征序列进行训练，得到其行为特征的隐马尔可夫模型。
所述的视频图像帧序列长度L为经验值，取值为10帧。
在步骤(6)中，所述的将测试样本截成多段测试样本视频图像序列，利用步骤(3)中训练得到的支持向量机模型对多段测试样本视频图像序列进行分类，并根据分类结果对应生成测试样本的群体行为特征序列，最后用步骤(3)中已经过训练的隐马尔可夫模型进行群体行为检测，以得到测试样本的群体行为检测结果的具体方法是：首先，取相同视频图像帧长度L，将测试样本截成m段测试样本视频图像序列，利用步骤(3)中训练得到的支持向量机模型对多段测试样本视频图像序列进行分类，然后，根据分类结果生成相应的测试样本的群体行为特征序列，即： 作为隐马尔可夫模型测试样本的观测序列O，其次，按照前向算法分别计算隐马尔可夫模型与m个观测序列的似然函数的值，即，P(ol|λ),l＝1,2,...,m，最后，对似然函数取对数，当logP(ol|λ),l＝1,2,...,m大于预设的阈值Tp时，认为第l帧视频图像出现异常事件。
在步骤(7)中，所述的若步骤(6)中测试样本的检测结果为具有异常行为，则采用随机采样一致性算法对该帧视频图像中的危险源位置进行定位的具体方法是：
1)将具有异常行为的视频图像等分成m×n个子块，并计算出每个子块i中像素点光流的矢量和Qi；
2)从步骤1)中得到的矢量和Qi的集合中随机选择两个向量Qa，Qb，计算其对应所在直线的交点q，如果两条直线平行，则重新随机选取两个向量并计算交点；向量Qa，Qb所在的直线方程为：
y＝kax+ba
y＝kbx+bb (1)
其中，ka,、kb为对应直线斜率，ba、bb为对应直线截距；
3)计算交点q到其余向量Qi所在直线的欧式距离di，如果欧式距离di小于某一距离阈值Td，则将该交点视为内点，否则视为外点；最后选择获得内点数目最多的交点q作为真实值；由内点构成内点集；
4)利用上一步骤得到的内点集重新优化估计交点q，得到优化估计交点q'，并使优化估计交点q'到所有内点所在直线的距离Φ最小，所采用公式如下：
其中Z为最后获得的内点总个数，kj、bj分别为内点j所在直线的斜率、截距。
所述的距离阈值Td为经验值，取值为20～30个像素值。
在步骤(8)中，所述的内点集数目阈值Ti为经验值，取值范围为800≤Ti≤900。
本发明提供的群体突发异常事件检测与定位方法的优点：①针对公共场所(如，机场航站楼)的常见突发事件(如由于火灾、暴乱、斗殴等而引起的恐慌、逃逸、聚集等)进行检测，克服了传统检测算法中人群行为特征不明显以及检测过程中对环境噪声干扰敏感性较大等问题，对上述异常事件类型的检测率高、实时性高。②所设计的突发异常事件的危险源位置定位方法，解决了现有方法中只对异常事件类型检测，并没有对事件中心定位以及后续处理的问题，该方法可适用于多种环境，可对场景中多危险源位置同时检测，准确性高，鲁棒性强。
附图说明
图1是本发明提供的群体突发异常事件检测与定位方法流程图；
图2(a)是草坪场景群体突发异常事件危险源定位的ROC曲线图；
图2(b)是大厅场景群体突发异常事件危险源定位的ROC曲线图；
图2(c)是广场场景群体突发异常事件危险源定位的ROC曲线图；
图3(a)是草坪场景群体突发异常事件危险源定位的实验结果；
图3(b)是大厅场景群体突发异常事件危险源定位的实验结果；
图3(c)是广场场景群体突发异常事件危险源定位的实验结果；
具体实施方式
下面结合附图和具体实施例对本发明提供的群体突发异常事件检测与定位方法进行详细说明。
如图1所示，本发明提供的群体突发异常事件检测与定位方法包括按顺序进行的下列步骤：
(1)从待检测的公共场所原始视频图像中选取多帧视频图像，每一帧视频图像作为一个训练样本，然后提取出每个训练样本的前景图像并计算出前景图像光流矢量的幅值和方向信息；
首先，利用基于混合高斯背景模型的背景差分法提取出每个训练样本的前景图像，然后使用Lucas-Kanade光流法计算出前景图像光流矢量的幅值和方向信息。
(2)利用步骤(1)中获得的前景图像光流矢量的幅值和方向信息提取每个训练样本的光流幅值直方图特征；
首先，将上述前景图像的360度方向平均分成N个方向子区间，本发明分成6个方向子区间，即每60度为一个方向子区间，然后，通过步骤(1)中获取的前景图像光流矢量的幅值和方向信息，统计落在每个方向子区间中的前景图像光流点的个数，并将每个方向子区间内光流点的幅值进行累加并归一化处理，最后得到训练样本的光流幅值直方图特征H：
其中，hj，θj分别表示前景图像光流矢量的幅值和方向，θr表示第r个方向子区间，nr表示方向子区间r中前景图像光流点的个数。
(3)首先将步骤(2)中提取出的训练样本的光流幅值直方图特征利用支持向量机分类器进行训练，得到支持向量机模型，然后，将训练样本截成多段训练样本视频图像序列，并对每段训练样本视频图像序列进行转化而生成群体行为特征序列，最后，利用隐马尔可夫模型对训练样本的群体行为特征序列进行训练，得到对应的隐马尔可夫模型；
公共场所中群体异常事件的发生是一个随机事件，发生的形式多变，异常事件的发生往往突然，迅速，不确定性很大并且仅与时间上临近的人群状态有关，考虑以上特点，选取隐马尔可夫模型来检测异常事件的发生具有实际意义。隐马尔可夫模型(HiddenMarkov Model，HMM)是一种统计模型，用来描述一个含有隐含未知参数的马尔可夫过程，因此训练HMM即优化模型参数λ＝{A，B，Π}，其中A为状态转移矩阵，B为混淆矩阵，Π为初始状态矩阵。训练HMM模型需要定义观测序列O和隐状态序列S，通过每帧视频图像的行为特征来表示观测序列中每一个元素的值Ol，从而得到观测序列，即O＝(o1,o2,...ol...,oL),l＝1,2...,L,隐状态序列S＝{sl},l＝1,2...,L，其中设初始的模型参数为λ0＝{A0，B0，Π0}，使用Baum-Welch算法计算得到隐马尔可夫模型的一个最大似然估计。
首先，将步骤(2)中提取出的训练样本的光流幅值直方图特征H利用支持向量机分类器进行训练，得到支持向量机模型，然后取视频图像帧序列长度为L，将训练样本截成n段训练样本视频图像序列，然后根据每帧训练样本视频图像的光流幅值直方图特征的分类结果将n段训练样本视频图像序列转化成相应的训练样本的群体行为特征序列，即： 作为隐马尔可夫模型的观测序列O，根据训练样本的标定结果生成隐状态序列S，最后利用隐马尔可夫模型对训练样本的群体行为特征序列进行训练，得到其行为特征的隐马尔可夫模型。
(4)采用与步骤(1)相同的方法，从原始视频图像中选取多帧视频图像，每一帧视频图像作为一个测试样本，然后提取出每个测试样本的前景图像并计算出前景图像光流矢量的幅值和方向信息；
(5)采用与步骤(2)相同的方法，利用步骤(4)中获得的前景图像光流矢量的幅值和方向信息提取每个测试样本的光流幅值直方图特征；
(6)将上述测试样本截成多段测试样本视频图像序列，利用步骤(3)中训练得到的支持向量机模型对多段测试样本视频图像序列进行分类，并根据分类结果对应生成测试样本的群体行为特征序列，最后用步骤(3)中已经过训练的隐马尔可夫模型进行群体行为检测，以得到测试样本的群体行为检测结果；
首先，取相同视频图像帧长度L，将测试样本截成m段测试样本视频图像序列，利用步骤(3)中训练得到的支持向量机模型对多段测试样本视频图像序列进行分类，然后，根据分类结果生成相应的测试样本的群体行为特征序列，即：作为隐马尔可夫模型测试样本的观测序列O，其次，按照前向算法分别计算隐马尔可夫模型与m个观测序列的似然函数的值，即，P(ol|λ),l＝1,2,...,m，最后，对似然函数取对数，当logP(ol|λ),l＝1,2,...,m大于预设的阈值Tp时，认为第l帧视频图像出现异常事件。
(7)若步骤(6)中测试样本的检测结果为具有异常行为，则采用随机采样一致性算法对该帧视频图像中的危险源位置进行定位，否则输出检测结果为正常行为。
若步骤(6)中通过隐马尔可夫模型对群体行为检测结果为异常，则采用随机采样一致性算法对该帧视频图像中的危险源位置进行定位，步骤如下：
1)将具有异常行为的视频图像等分成m×n个子块，并计算出每个子块i中像素点光流的矢量和Qi；
2)从步骤1)中得到的矢量和Qi的集合中随机选择两个向量Qa，Qb，计算其对应所在直线的交点q，如果两条直线平行，则重新随机选取两个向量并计算交点；向量Qa，Qb所在的直线方程为：
y＝kax+ba
y＝kbx+bb (1)
其中，ka,、kb为对应直线斜率，ba、bb为对应直线截距。
3)计算交点q到其余向量Qi所在直线的欧式距离di，如果欧式距离di小于某一距离阈值Td，则将该交点视为内点，否则视为外点；最后选择获得内点数目最多的交点q作为真实值；由内点构成内点集；
4)利用上一步骤得到的内点集重新优化估计交点q，得到优化估计交点q'，并使优化估计交点q'到所有内点所在直线的距离Φ最小，所采用公式如下：
其中Z为最后获得的内点总个数，kj、bj分别为内点j所在直线的斜率、截距。
(8)由步骤4)得到的优化估计交点q'即为突发事件的危险源位置，继续将其余外点重复步骤1)—3)再次计算，如果获得的最多内点集数目大于某一内点集数目阈值Ti，则认为存在多个危险源，重复步骤4)，由此计算出危险源位置。
所述的视频图像帧序列长度L、距离阈值Td、内点集数目阈值Ti的确定方法为：视频图像帧序列长度L为经验值，取值为10帧；距离阈值Td为经验值，取值为20～30个像素值；内点集数目阈值Ti为经验值，取值范围为800≤Ti≤900。
本发明提供的群体突发异常事件检测与定位方法的效果可以通过以下实验结果进一步说明。
选取由美国明尼苏达大学提供的标准公共数据集UMN作为实验数据集进行实验，该实验数据集包含室内，室外两种环境，草坪，大厅，广场三种不同场景下的群体正常行为和奔跑逃散行为，图像分辨率为320*240，帧率为30fps。实验中所需参数的取值为：N＝12,L＝10,Td＝30，Ti＝900，Tp＝-0.2。
选取每种场景中人群正常行为视频图像序列与群体异常行为视频图像序列的前10％作为训练样本，其余作为测试样本。
本发明采用ROC曲线(Receiver Operating Characteristic，ROC)对实验结果进行描述，并用计算AUC(Area Under roc Curve)作为评价群体突发异常行为的评价指标。其中假正率(FPR)为ROC曲线的x轴，真正率(TPR)为ROC曲线的y轴。本发明中，真正类(TP)定义为正确识别的异常事件，假正类(FP)定义为被误检测为异常事件的正常事件，真负类(TN)定义为正确识别的正常事件，假负类(FN)定义为被误检测为正常事件的异常事件。计算公式如下：
真正率(TPR)即识别率：
假正率(FPR)即误检率：
本发明在三个场景下的ROC曲线如图2所示。
将本发明方法与以下几种方法进行对比，对比结果如表1所示：
表1本发明方法与其他方法在UMN数据集上AUC对比结果
1)光流法(Optical flow)与社会力模型法(Social Force)，参考文献见：MehranR,Oyama A,Shah M.Abnormal crowd behavior detection using social force model[C]//Computer Vision and Pattern Recognition,2009.CVPR 2009.IEEE Conferenceon.IEEE,2009:935-942.
2)SIFT点检测法，参考文献见：Zhang D,Xu K,Peng H,et al.Abnormal CrowdMotion Behaviour Detection based on SIFT Flow[J].International Journal ofSignal Processing,Image Processing and Pattern Recognition,2016,9(1):289-302.
3)最近邻法(1-NN)，参考文献见：Yang C,Yuan J,Liu J.Abnormal eventdetection in crowded scenes using sparse representation[J].PatternRecognition,2013,46(7):1851-1864.
通过上述实验对比结果可以得出，本发明方法优于传统光流法、社会力模型法、SIFT点检测法以及最近邻法。
异常事件危险源定位结果如图3所示。图中实心圆点表示危险源相对位置。由实验结果明显可以看出，在人群突发异常行为的场景中，人群快速逃离现场，远离图中定位的异常事件危险源，因此可认为该点即为事件中心的最优近似估计位置。
通过实验对比，本发明方法能够快速准确地检测出场景中人群的异常行为，对场景的适应性较强，对不同环境下的常见异常行为有着较好的检测效果，并且能够准确、鲁棒地对场景中多危险源位置进行快速定位。
Claims (9)
1.一种群体突发异常事件检测与定位方法，其特征在于：所述的群体突发异常事件检测与定位方法包括按顺序进行的下列步骤：
(1)从待检测的公共场所原始视频图像中选取多帧视频图像，每一帧视频图像作为一个训练样本，然后提取出每个训练样本的前景图像并计算出前景图像光流矢量的幅值和方向信息；
(2)利用步骤(1)中获得的前景图像光流矢量的幅值和方向信息提取每个训练样本的光流幅值直方图特征；
(3)将步骤(2)中提取出的训练样本的光流幅值直方图特征利用支持向量机分类器进行训练，得到支持向量机模型，然后，将训练样本截成多段训练样本视频图像序列，并对每段训练样本视频图像序列进行转化而生成群体行为特征序列，最后，利用隐马尔可夫模型对训练样本的群体行为特征序列进行训练，得到对应的隐马尔可夫模型；
(4)采用与步骤(1)相同的方法，从原始视频图像中选取多帧视频图像，每一帧视频图像作为一个测试样本，然后提取出每个测试样本的前景图像并计算出前景图像光流矢量的幅值和方向信息；
(5)采用与步骤(2)相同的方法，利用步骤(4)中获得的前景图像光流矢量的幅值和方向信息提取每个测试样本的光流幅值直方图特征；
(6)将上述测试样本截成多段测试样本视频图像序列，利用步骤(3)中训练得到的支持向量机模型对多段测试样本视频图像序列进行分类，并根据分类结果对应生成测试样本的群体行为特征序列，最后用步骤(3)中已经过训练的隐马尔可夫模型进行群体行为检测，以得到测试样本的群体行为检测结果；
(7)若步骤(6)中测试样本的检测结果为具有异常行为，则采用随机采样一致性算法对该帧视频图像中的危险源位置进行定位，否则输出检测结果为正常行为；
(8)由步骤4)得到的优化估计交点q'即为突发事件的危险源位置，继续将其余外点重复步骤1)—3)再次计算，如果获得的最多内点集数目大于某一内点集数目阈值Ti，则认为存在多个危险源，重复步骤4)，由此计算出危险源位置。
2.根据权利要求1所述的群体突发异常事件检测与定位方法，其特征在于：在步骤(1)中，所述的提取出每个训练样本的前景图像并计算出前景图像光流矢量的幅值和方向信息的具体方法是：首先，利用基于混合高斯背景模型的背景差分法提取出每个训练样本的前景图像，然后使用Lucas-Kanade光流法计算出前景图像光流矢量的幅值和方向信息。
3.根据权利要求1所述的群体突发异常事件检测与定位方法，其特征在于：在步骤(2)中，所述的利用步骤(1)中获得的前景图像光流矢量的幅值和方向信息提取每个训练样本的光流幅值直方图特征的具体方法是：首先，将前景图像的360度方向平均分成N个方向子区间，然后，通过步骤(1)中获取的前景图像光流矢量的幅值和方向信息，统计落在每个方向子区间中的前景图像光流点的个数，并将每个方向子区间内光流点的幅值进行累加并归一化处理，最后得到训练样本的光流幅值直方图特征H：
<mrow>
<mi>H</mi>
<mo>=</mo>
<mo>&lsqb;</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mn>1</mn>
</msub>
</munderover>
<msub>
<mi>h</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mn>2</mn>
</msub>
</munderover>
<msub>
<mi>h</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<mo>...</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mi>r</mi>
</msub>
</munderover>
<msub>
<mi>h</mi>
<mi>j</mi>
</msub>
<mo>...</mo>
<mo>,</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mn>6</mn>
</msub>
</munderover>
<msub>
<mi>h</mi>
<mi>j</mi>
</msub>
<mo>&rsqb;</mo>
<mo>,</mo>
<msub>
<mi>&theta;</mi>
<mi>j</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>&theta;</mi>
<mi>r</mi>
</msub>
<mo>,</mo>
<mi>r</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>...</mo>
<mo>,</mo>
<mn>6</mn>
</mrow>
其中，hj，θj分别表示前景图像光流矢量的幅值和方向，θr表示第r个方向子区间，nr表示方向子区间r中前景图像光流点的个数。
4.根据权利要求1所述的群体突发异常事件检测与定位方法，其特征在于：在步骤(3)中，所述的将步骤(2)中提取出的训练样本的光流幅值直方图特征利用支持向量机分类器进行训练，得到支持向量机模型，然后，将训练样本截成多段训练样本视频图像序列，并对每段训练样本视频图像序列进行转化而生成群体行为特征序列，最后，利用隐马尔可夫模型对训练样本的群体行为特征序列进行训练，得到对应的隐马尔可夫模型的具体方法是：首先，将步骤(2)中提取出的训练样本的光流幅值直方图特征H利用支持向量机分类器进行训练，得到支持向量机模型，然后取视频图像帧序列长度为L，将训练样本截成n段训练样本视频图像序列，然后根据每帧训练样本视频图像的光流幅值直方图特征的分类结果将n段训练样本视频图像序列转化成相应的训练样本的群体行为特征序列，即：作为隐马尔可夫模型的观测序列O，根据训练样本的标定结果生成隐状态序列S，最后利用隐马尔可夫模型对训练样本的群体行为特征序列进行训练，得到其行为特征的隐马尔可夫模型。
5.根据权利要求4所述的群体突发异常事件检测与定位方法，其特征在于：所述的视频图像帧序列长度L为经验值，取值为10帧。
6.根据权利要求1所述的群体突发异常事件检测与定位方法，其特征在于：在步骤(6)中，所述的将测试样本截成多段测试样本视频图像序列，利用步骤(3)中训练得到的支持向量机模型对多段测试样本视频图像序列进行分类，并根据分类结果对应生成测试样本的群体行为特征序列，最后用步骤(3)中已经过训练的隐马尔可夫模型进行群体行为检测，以得到测试样本的群体行为检测结果的具体方法是：首先，取相同视频图像帧长度L，将测试样本截成m段测试样本视频图像序列，利用步骤(3)中训练得到的支持向量机模型对多段测试样本视频图像序列进行分类，然后，根据分类结果生成相应的测试样本的群体行为特征序列，即： 作为隐马尔可夫模型测试样本的观测序列O，其次，按照前向算法分别计算隐马尔可夫模型与m个观测序列的似然函数的值，即，P(ol|λ),l＝1,2,...,m，最后，对似然函数取对数，当logP(ol|λ),l＝1,2,...,m大于预设的阈值Tp时，认为第l帧视频图像出现异常事件。
7.根据权利要求1所述的群体突发异常事件检测与定位方法，其特征在于：在步骤(7)中，所述的若步骤(6)中测试样本的检测结果为具有异常行为，则采用随机采样一致性算法对该帧视频图像中的危险源位置进行定位的具体方法是：
1)将具有异常行为的视频图像等分成m×n个子块，并计算出每个子块i中像素点光流的矢量和Qi；
2)从步骤1)中得到的矢量和Qi的集合中随机选择两个向量Qa，Qb，计算其对应所在直线的交点q，如果两条直线平行，则重新随机选取两个向量并计算交点；向量Qa，Qb所在的直线方程为：
y＝kax+ba
y＝kbx+bb (1)
其中，ka,、kb为对应直线斜率，ba、bb为对应直线截距；
3)计算交点q到其余向量Qi所在直线的欧式距离di，如果欧式距离di小于某一距离阈值Td，则将该交点视为内点，否则视为外点；最后选择获得内点数目最多的交点q作为真实值；由内点构成内点集；
4)利用上一步骤得到的内点集重新优化估计交点q，得到优化估计交点q'，并使优化估计交点q'到所有内点所在直线的距离Φ最小，所采用公式如下：
<mrow>
<mi>&Phi;</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>Z</mi>
</munderover>
<mfrac>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>k</mi>
<mi>j</mi>
</msub>
<mi>x</mi>
<mo>-</mo>
<mi>y</mi>
<mo>+</mo>
<msub>
<mi>b</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mrow>
<msup>
<msub>
<mi>k</mi>
<mi>j</mi>
</msub>
<mn>2</mn>
</msup>
<mo>+</mo>
<mn>1</mn>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中Z为最后获得的内点总个数，kj、bj分别为内点j所在直线的斜率、截距。
8.根据权利要求7所述的群体突发异常事件检测与定位方法，其特征在于：所述的距离阈值Td为经验值，取值为20～30个像素值。
9.根据权利要求7所述的群体突发异常事件检测与定位方法，其特征在于：在步骤(8)中，所述的内点集数目阈值Ti为经验值，取值范围为800≤Ti≤900。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710750457.8A CN107506734B (zh) | 2017-08-28 | 2017-08-28 | 一种群体突发异常事件检测与定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710750457.8A CN107506734B (zh) | 2017-08-28 | 2017-08-28 | 一种群体突发异常事件检测与定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107506734A true CN107506734A (zh) | 2017-12-22 |
| CN107506734B CN107506734B (zh) | 2020-07-24 |
Family
ID=60693955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710750457.8A Active CN107506734B (zh) | 2017-08-28 | 2017-08-28 | 一种群体突发异常事件检测与定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107506734B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108427928A (zh) * | 2018-03-16 | 2018-08-21 | 华鼎世纪（北京）国际科技有限公司 | 监控视频中异常事件的检测方法及装置 |
| CN108596157A (zh) * | 2018-05-14 | 2018-09-28 | 三峡大学 | 一种基于运动检测的人群惊扰场景检测方法及系统 |
| CN108596045A (zh) * | 2018-04-02 | 2018-09-28 | 四川大学 | 一种基于空中监控平台的群体异常行为检测方法 |
| CN108881952A (zh) * | 2018-07-02 | 2018-11-23 | 上海商汤智能科技有限公司 | 视频生成方法及装置、电子设备和存储介质 |
| CN108875712A (zh) * | 2018-08-01 | 2018-11-23 | 四川电科维云信息技术有限公司 | 一种基于ViF描述符的暴力行为检测系统及方法 |
| CN109284705A (zh) * | 2018-09-07 | 2019-01-29 | 电子科技大学 | 一种交通监控视频的异常检测方法 |
| CN110287870A (zh) * | 2019-06-25 | 2019-09-27 | 大连大学 | 基于综合光流特征描述符及轨迹的人群异常行为检测方法 |
| CN110309313A (zh) * | 2018-03-09 | 2019-10-08 | 北京国双科技有限公司 | 生成事件转移图谱的方法及装置 |
| CN110781723A (zh) * | 2019-09-05 | 2020-02-11 | 杭州视鑫科技有限公司 | 一种群体异常行为识别方法 |
| CN112329614A (zh) * | 2020-11-04 | 2021-02-05 | 湖北工业大学 | 一种异常事件检测方法及系统 |
| CN113051971A (zh) * | 2019-12-27 | 2021-06-29 | 沈阳新松机器人自动化股份有限公司 | 群体异常突发事件中人群人数估计方法及系统 |
| CN113299068A (zh) * | 2021-05-28 | 2021-08-24 | 银江股份有限公司 | 一种融合社会力模型与粒子群算法的交通路网拥堵状态预测方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105389567A (zh) * | 2015-11-16 | 2016-03-09 | 上海交通大学 | 基于稠密光流直方图的群体异常检测方法 |
| KR101750094B1 (ko) * | 2015-12-29 | 2017-06-26 | 건국대학교 산학협력단 | 영상의 실시간 모니터링을 통한 비정상 집단행동 분류 방법 |
-
2017
- 2017-08-28 CN CN201710750457.8A patent/CN107506734B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105389567A (zh) * | 2015-11-16 | 2016-03-09 | 上海交通大学 | 基于稠密光流直方图的群体异常检测方法 |
| KR101750094B1 (ko) * | 2015-12-29 | 2017-06-26 | 건국대학교 산학협력단 | 영상의 실시간 모니터링을 통한 비정상 집단행동 분류 방법 |
Non-Patent Citations (2)
| Title |
|---|
| SHISHI DUAN ET AL.: "Crowded Abnormal Detection Based on Mixture of", 《2014 INTERNATIONAL CONFERENCE ON AUDIO, LANGUAGE AND IMAGE PROCESSING》 * |
| 李娟等: "基于隐马尔可夫模型的视频异常场景检测", 《计算机工程与科学》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309313A (zh) * | 2018-03-09 | 2019-10-08 | 北京国双科技有限公司 | 生成事件转移图谱的方法及装置 |
| CN110309313B (zh) * | 2018-03-09 | 2022-04-22 | 北京国双科技有限公司 | 生成事件转移图谱的方法及装置 |
| CN108427928A (zh) * | 2018-03-16 | 2018-08-21 | 华鼎世纪（北京）国际科技有限公司 | 监控视频中异常事件的检测方法及装置 |
| CN108596045A (zh) * | 2018-04-02 | 2018-09-28 | 四川大学 | 一种基于空中监控平台的群体异常行为检测方法 |
| CN108596157A (zh) * | 2018-05-14 | 2018-09-28 | 三峡大学 | 一种基于运动检测的人群惊扰场景检测方法及系统 |
| CN108596157B (zh) * | 2018-05-14 | 2020-08-07 | 三峡大学 | 一种基于运动检测的人群惊扰场景检测方法及系统 |
| CN108881952A (zh) * | 2018-07-02 | 2018-11-23 | 上海商汤智能科技有限公司 | 视频生成方法及装置、电子设备和存储介质 |
| CN108875712A (zh) * | 2018-08-01 | 2018-11-23 | 四川电科维云信息技术有限公司 | 一种基于ViF描述符的暴力行为检测系统及方法 |
| CN109284705A (zh) * | 2018-09-07 | 2019-01-29 | 电子科技大学 | 一种交通监控视频的异常检测方法 |
| CN110287870A (zh) * | 2019-06-25 | 2019-09-27 | 大连大学 | 基于综合光流特征描述符及轨迹的人群异常行为检测方法 |
| CN110781723A (zh) * | 2019-09-05 | 2020-02-11 | 杭州视鑫科技有限公司 | 一种群体异常行为识别方法 |
| CN110781723B (zh) * | 2019-09-05 | 2022-09-02 | 杭州视鑫科技有限公司 | 一种群体异常行为识别方法 |
| CN113051971A (zh) * | 2019-12-27 | 2021-06-29 | 沈阳新松机器人自动化股份有限公司 | 群体异常突发事件中人群人数估计方法及系统 |
| CN112329614A (zh) * | 2020-11-04 | 2021-02-05 | 湖北工业大学 | 一种异常事件检测方法及系统 |
| CN113299068A (zh) * | 2021-05-28 | 2021-08-24 | 银江股份有限公司 | 一种融合社会力模型与粒子群算法的交通路网拥堵状态预测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107506734B (zh) | 2020-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107506734A (zh) | 一种群体突发异常事件检测与定位方法 | |
| Prema et al. | A novel efficient video smoke detection algorithm using co-occurrence of local binary pattern variants | |
| CN105787472B (zh) | 一种基于时空拉普拉斯特征映射学习的异常行为检测方法 | |
| Ko et al. | Spatiotemporal bag-of-features for early wildfire smoke detection | |
| CN103258193B (zh) | 一种基于kod能量特征的群体异常行为识别方法 | |
| Huang et al. | Automatic moving object extraction through a real-world variable-bandwidth network for traffic monitoring systems | |
| CN113011367A (zh) | 一种基于目标轨迹的异常行为分析方法 | |
| CN110334602B (zh) | 一种基于卷积神经网络的人流量统计方法 | |
| Zin et al. | Unattended object intelligent analyzer for consumer video surveillance | |
| CN113313037A (zh) | 一种基于自注意力机制的生成对抗网络视频异常检测方法 | |
| Gong et al. | Local distinguishability aggrandizing network for human anomaly detection | |
| CN107657244A (zh) | 一种基于多摄像机的人体跌倒行为检测系统及其检测方法 | |
| CN110781723A (zh) | 一种群体异常行为识别方法 | |
| CN112163572A (zh) | 识别对象的方法和装置 | |
| Li et al. | Spatiotemporal representation learning for video anomaly detection | |
| CN104077571B (zh) | 一种采用单类序列化模型的人群异常行为检测方法 | |
| Yang et al. | Bird's-eye view social distancing analysis system | |
| Zhang et al. | Anomaly detection and localization in crowded scenes by motion-field shape description and similarity-based statistical learning | |
| Spampinato et al. | Hidden Markov models for detecting anomalous fish trajectories in underwater footage | |
| CN106874885B (zh) | 一种基于能级分布变化的人群异常检测方法 | |
| Liu et al. | A Sports Video Behavior Recognition Using Local Spatiotemporal Patterns | |
| Mukherjee et al. | Omega model for human detection and counting for application in smart surveillance system | |
| CN108960013A (zh) | 一种行人再识别方法及装置 | |
| Fan et al. | Rich convolutional features fusion for crowd counting | |
| Gao et al. | Anomaly detection for videos of crowded scenes based on optical flow information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20171222 Assignee: TIANDY TECHNOLOGIES Co.,Ltd. Assignor: CIVIL AVIATION University OF CHINA Contract record no.: X2024980002702 Denomination of invention: A method for detecting and locating sudden abnormal events in a group Granted publication date: 20200724 License type: Common License Record date: 20240312 |
|
| EE01 | Entry into force of recordation of patent licensing contract |