CN106845389B - 一种基于方向-集群性模型的人群逃散事件检测方法及系统 - Google Patents

一种基于方向-集群性模型的人群逃散事件检测方法及系统 Download PDF

Info

Publication number
CN106845389B
CN106845389B CN201710034903.5A CN201710034903A CN106845389B CN 106845389 B CN106845389 B CN 106845389B CN 201710034903 A CN201710034903 A CN 201710034903A CN 106845389 B CN106845389 B CN 106845389B
Authority
CN
China
Prior art keywords
sociability
crowd
cluster
threshold value
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710034903.5A
Other languages
English (en)
Other versions
CN106845389A (zh
Inventor
常发亮
王梦迪
张友梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201710034903.5A priority Critical patent/CN106845389B/zh
Publication of CN106845389A publication Critical patent/CN106845389A/zh
Application granted granted Critical
Publication of CN106845389B publication Critical patent/CN106845389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于方向‑集群性模型的人群逃散事件检测方法及系统。为解决人群逃散事件检测方法存在检测的准确率低的问题，其技术方案为从人群监控视频中提取运动轨迹从而得到轨迹坐标矩阵，进而通过轨迹坐标矩阵计算出运动轨迹上运动粒子的速度和方向；基于运动粒子的速度以及方向的无序性，建立表征人群的运动状态的方向‑集群性模型；根据方向‑集群性模型来计算每帧人群监控视频的方向‑集群性指数；从得到的所有方向‑集群性指数中自适应提取事件检测阈值，再通过事件检测阈值与每一帧人群监控视频的方向‑集群性指数相比较，最终检测出人群监控视频的人群逃散事件。该方法广泛应用到中高密度人群中且检测准确率高。

Description

一种基于方向-集群性模型的人群逃散事件检测方法及系统
技术领域
本发明属于视频检测领域，尤其涉及一种基于方向-集群性模型的人群逃散事件检测方法及系统。
背景技术
近年来，为了预防聚众斗殴、拥挤踩踏和人群逃散等异常事件的发生，越来越多的视频监控设备遍布在街道、地铁站、机场等公共区域，随之而来的是视频传输量的剧增。传统的视频监控系统需要人为地进行异常检测，这种方法不仅效率低下、人工成本过高，而且监控人员经过长时间的工作后会产生视觉疲劳从而导致注意力下降，造成误报漏报率的增加。因此，用计算机代替人进行智能化地异常事件检测作为智能视频监控点主要任务之一，成为了近年来国内外的研究热点，逐步受到研究者的广泛关注。
目前，异常检测主要分为两类：基于单目标的异常检测，如行人昏倒检测和行人逆行检测；基于多目标的异常检测即群体异常行为检测。在一般情况下，当人群行走在拥挤的街道上时，他们会本能地趋向于跟随身边和他们具有相似行走方向的行人的脚步，通常会与其保持大致相同的速度。但当异常事件发生时，行人会因惊慌导致以最快的速度四散逃开来远离危险区域。新闻报道称因逃散造成的异常事件通常会导致踩踏死亡，如2014年在上海发生的外滩踩踏事件。
针对基于多目标的异常检测，目前的研究方法大致可以分为局部法和全局法。局部法倾向于通过分析其各个分量并提取每个对象的轨迹来实现群体事件检测，然而这类方法会因人群遮挡和图像的低分辨率等问题导致检测性能的下降。全局法将人群视作一个整体或一个运动粒子集，通过计算相邻运动粒子间的相互作用力和提取全局能量来表征异常行为。这类方法对于高密度人群有更好的检测性能，但对于稀疏人群，其检测性能不及局部法。
综上所述，现有的人群逃散事件检测方法存在检测的准确率低而且不能适用各种密度人群的逃散事件。
发明内容
为了解决现有技术中的缺点，本发明的第一目的是提供一种基于方向-集群性模型的人群逃散事件检测方法。该方法能够广泛应用到各种密度人群中，而且检测准确率高以及鲁棒性强。
本发明的基于方向-集群性模型的人群逃散事件检测方法，包括：
步骤(1)：从人群监控视频中提取运动轨迹从而得到轨迹坐标矩阵，进而通过轨迹坐标矩阵计算出运动轨迹上运动粒子的速度和方向；
步骤(2)：基于运动粒子的速度以及方向的无序性，建立表征人群的运动状态的方向-集群性模型；
步骤(3)：根据方向-集群性模型来计算每帧人群监控视频的方向-集群性指数，方向-集群性指数越大表示人群集群度越低，人群运动方向越混乱；
步骤(4)：从得到的所有方向-集群性指数中自适应提取事件检测阈值，再通过事件检测阈值与每一帧人群监控视频的方向-集群性指数相比较，最终检测出人群监控视频的人群逃散事件。
进一步的，在所述步骤(2)建立表征人群的运动状态的方向-集群性模型的过程中：
首先，将人群中的运动粒子与其相邻运动粒子间的行为相似性定义为集群性，并利用运动粒子的路径拓扑结构来估计行为相似性，得到集群性特征；
然后，在集群性特征的基础上，利用运动粒子的方向信息来表征人群逃散事件发生时人群运动方向的无序性；
最后，将集群性特征以及方向信息两者进行特征融合得到方向-集群性特征，得到表征人群的运动状态的方向-集群性模型。
在一般情况下，个体的运动会影响相邻个体的运动，并最终导致整个群体的运动变化。因此，群体集群性由其包含的每个个体的个体集群性组成。本发明利用“集群性”特征来表征行为一致性的程度，选取方向混乱度来表征群体运动的无序度。集群性特征仅仅考虑的相邻运动粒子间的影响，当两个运动粒子间具有一定的距离时，则无法精确地估计其行为相似性。为了解决这一问题，本发明运用路径拓扑结构来估计行为相似性。
群体集群度特征对于行人数量大于500的超高密度人群具有优越的性能。然而，对于行人数量在50-100的中高密度人群，其检测性能有所下降。为了解决这一问题，本发明在群体集群度特征的基础上，利用方向信息来表征群体逃散事件发生时人群运动方向的无序性，并将两者进行特征融合得到方向-集群性特征。
进一步的，所述步骤(4)中从得到的所有方向-集群性指数中自适应提取阈值的过程包括：
步骤(4.1)：初始化阈值，设定初始阈值为包含每帧人群监控视频方向-集群性指数的矩阵中最大值与最小值的平均数；
步骤(4.2)：对人群监控视频帧进行分类，将大于初始阈值的帧数归为异常帧，小于或等于初始阈值的帧数归为正常帧；
步骤(4.3)：分别计算归类后的正常帧与异常帧方向-集群性指数的平均值和
步骤(4.4)：更新阈值，使得更新后的阈值为和的平均值；
步骤(4.5)：重复以上步骤直至阈值不再变化，得到事件检测阈值。
寻找适当的分割阈值对于检测性能和准确率的提升至关重要。手动选择阈值的方法将导致检测效率低下、检测方法缺乏普适性。因此，本发明采用自适应阈值的方法通过迭代来寻找最合适的阈值，本发明避免了手动地进行阈值选取，使检测方法更具有泛化性。
本发明的第二目的是提供一种基于方向-集群性模型的人群逃散事件检测系统。
本发明的一种基于方向-集群性模型的人群逃散事件检测系统，包括：
运动粒子状态计算模块，其用于从人群监控视频中提取运动轨迹从而得到轨迹坐标矩阵，进而通过轨迹坐标矩阵计算出运动轨迹上运动粒子的速度和方向；
方向-集群性模型建立模块，其用于基于运动粒子的速度以及方向的无序性，建立表征人群的运动状态的方向-集群性模型；
方向-集群性指数计算模块，其用于根据方向-集群性模型来计算每帧人群监控视频的方向-集群性指数，方向-集群性指数越大表示人群集群度越低，人群运动方向越混乱；
方向-集群性指数比较模块，其用于从得到的所有方向-集群性指数中自适应提取事件检测阈值，再通过事件检测阈值与每一帧人群监控视频的方向-集群性指数相比较，最终检测出人群监控视频的人群逃散事件。
进一步的，所述方向-集群性模型建立模块包括：
集群性特征获取模块，其用于将人群中的运动粒子与其相邻运动粒子间的行为相似性定义为集群性，并利用运动粒子的路径拓扑结构来估计行为相似性，得到集群性特征；
人群运动方向的无序性表征模块，其用于在集群性特征的基础上，利用运动粒子的方向信息来表征人群逃散事件发生时人群运动方向的无序性；
特征融合模块，其用于将集群性特征以及方向信息两者进行特征融合得到方向-集群性特征，得到表征人群的运动状态的方向-集群性模型。
在一般情况下，个体的运动会影响相邻个体的运动，并最终导致整个群体的运动变化。因此，群体集群性由其包含的每个个体的个体集群性组成。本发明利用“集群性”特征来表征行为一致性的程度，选取方向混乱度来表征群体运动的无序度。集群性特征仅仅考虑的相邻运动粒子间的影响，当两个运动粒子间具有一定的距离时，则无法精确地估计其行为相似性。为了解决这一问题，本发明运用路径拓扑结构来估计行为相似性。
进一步的，所述方向-集群性指数比较模块包括事件检测阈值自适应提取模块，所述事件检测阈值自适应提取模块包括：
初始化阈值模块，其用于初始化阈值，设定初始阈值为包含每帧人群监控视频方向-集群性指数的矩阵中最大值与最小值的平均数；
人群监控视频帧分类模块，其用于对人群监控视频帧进行分类，将大于初始阈值的帧数归为异常帧，小于或等于初始阈值的帧数归为正常帧；
方向-集群性指数平均值计算模块，其用于分别计算归类后的正常帧与异常帧方向-集群性指数的平均值和
阈值更新模块，其用于更新阈值，使得更新后的阈值为和的平均值，直至阈值不再变化，得到事件检测阈值。寻找适当的分割阈值对于检测性能和准确率的提升至关重要。手动选择阈值的方法将导致检测效率低下、检测方法缺乏普适性。因此，本发明采用自适应阈值的方法通过迭代来寻找最合适的阈值，本发明避免了手动地进行阈值选取，使检测方法更具有泛化性。
本发明还提供另一种基于方向-集群性模型的人群逃散事件检测系统。
该基于方向-集群性模型的人群逃散事件检测系统，包括：
人群监控视频采集装置，其被配置采集人群运动的视频信息，并传送至服务器；
所述服务器，其被配置为：
从人群监控视频中提取运动轨迹从而得到轨迹坐标矩阵，进而通过轨迹坐标矩阵计算出运动轨迹上运动粒子的速度和方向；
基于运动粒子的速度以及方向的无序性，建立表征人群的运动状态的方向-集群性模型；
根据方向-集群性模型来计算每帧人群监控视频的方向-集群性指数，方向-集群性指数越大表示人群集群度越低，人群运动方向越混乱；
从得到的所有方向-集群性指数中自适应提取事件检测阈值，再通过事件检测阈值与每一帧人群监控视频的方向-集群性指数相比较，最终检测出人群监控视频的人群逃散事件。
进一步的，所述服务器，还被配置为：
将人群中的运动粒子与其相邻运动粒子间的行为相似性定义为集群性，并利用运动粒子的路径拓扑结构来估计行为相似性，得到集群性特征；
在集群性特征的基础上，利用运动粒子的方向信息来表征人群逃散事件发生时人群运动方向的无序性；
将集群性特征以及方向信息两者进行特征融合得到方向-集群性特征，得到表征人群的运动状态的方向-集群性模型。
在一般情况下，个体的运动会影响相邻个体的运动，并最终导致整个群体的运动变化。因此，群体集群性由其包含的每个个体的个体集群性组成。本发明利用“集群性”特征来表征行为一致性的程度，选取方向混乱度来表征群体运动的无序度。集群性特征仅仅考虑的相邻运动粒子间的影响，当两个运动粒子间具有一定的距离时，则无法精确地估计其行为相似性。为了解决这一问题，本发明运用路径拓扑结构来估计行为相似性。
进一步的，所述服务器，还被配置为：
初始化阈值，设定初始阈值为包含每帧人群监控视频方向-集群性指数的矩阵中最大值与最小值的平均数；
对人群监控视频帧进行分类，将大于初始阈值的帧数归为异常帧，小于或等于初始阈值的帧数归为正常帧；
分别计算归类后的正常帧与异常帧方向-集群性指数的平均值和
更新阈值，使得更新后的阈值为和的平均值；
重复以上步骤直至阈值不再变化，得到事件检测阈值。
寻找适当的分割阈值对于检测性能和准确率的提升至关重要。手动选择阈值的方法将导致检测效率低下、检测方法缺乏普适性。因此，本发明采用自适应阈值的方法通过迭代来寻找最合适的阈值，本发明避免了手动地进行阈值选取，使检测方法更具有泛化性。
进一步的，该系统还包括预警装置，其与服务器相连，用来对人群监控视频中出现人群逃散事件进行预警。
本发明的有益效果为：
本发明应用集群性特征区分人群自组织和无组织行为，提出一种方向-集群性模型用来检测异常群体逃散事件，运用自适应阈值选取法，避免手动地进行阈值选取，使检测方法更具有泛化性；与传统方法相比，本模型在检测准确率和鲁棒性上均有提升，且具有广泛的性能裕度。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明的基于方向-集群性模型的人群逃散事件检测方法流程图；
图2是从所有方向-集群性指数中自适应提取阈值的过程示意图；
图3是本发明的一种基于方向-集群性模型的人群逃散事件检测系统结构示意图；
图4是方向-集群性模型建立模块结构示意图；
图5是事件检测阈值自适应提取模块结构示意图；
图6是本发明的另一种基于方向-集群性模型的人群逃散事件检测系统结构示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明将“群体行为”定义为在一定空间区域内超过50个目标具有连贯均匀运动的行为，并将“异常事件”定义为在极短的时间段内发生的区别于预期的、偏离正常行为的事件。
在正常的群体运动中，行人在自组织运动与相邻个体保持大致相同的运动方向。而逃散事件发生时，行人将快速偏离预期轨迹从而导致运动方向混乱，人群系统性降低。本发明选取“集群性”特征来表征行为一致性的程度，选取方向混乱度来表征群体运动的无序度。
图1是本发明的基于方向-集群性模型的人群逃散事件检测方法流程图。如图1所示，基于方向-集群性模型的人群逃散事件检测方法的流程为：
步骤(1)：从人群监控视频中提取运动轨迹从而得到轨迹坐标矩阵，进而通过轨迹坐标矩阵计算出运动轨迹上运动粒子的速度和方向。
具体地，可以采用gKLT跟踪算法从人群监控视频中提取运动轨迹。
其中，gKLT跟踪算法，是指的泛化Kanade-Lucas-Tomasi跟踪算法，英文全称为：generalized Kanade-Lucas-Tomasi跟踪算法。
将通过gKLT跟踪算法得到的关键点集合Kt表示如下：
其中为第t帧的第i个运动粒子，和分别为第i个运动粒子的横纵坐标、速度和方向，N为第t帧的运动粒子数目。
也可以采用其他现有的跟踪算法从人群监控视频中提取运动轨迹，此处将不再累述。
步骤(2)：基于运动粒子的速度以及方向的无序性，建立表征人群的运动状态的方向-集群性模型。
在一般情况下，个体的运动会影响相邻个体的运动，并最终导致整个群体的运动变化。因此，群体集群性由其包含的每个个体的个体集群性组成。本发明将集群性定义为群体运动中的运动粒子与其相邻运动粒子间的行为相似性。
设为相邻运动粒子，其行为相似性的计算方式可表示为：
当时，运动粒子i，j被视作具有相似的方向性，运动粒子间的作用力为吸引力，夹角越大则行为相似性越低。当时，运动粒子i，j被视作具有不同的方向性，运动粒子间的作用力为排斥力，此时行为相似性为0；φ为两运动粒子间速度方向的夹角。
上述方法仅仅考虑的相邻运动粒子间的影响，当两个运动粒子间具有一定的距离时，则无法精确地估计其行为相似性。为了解决这一问题，本发明运用路径拓扑结构来估计行为相似性。设代表从到途径k1,k2,…,kL-1各点的长度为L的路径。则从到的所有长度为L的路径的行为相似性可表示为：
其中：为γL这一特定路径上的路径的行为相似性；P为从到的所有长度为L的路径的集合。
因此，单个运动粒子的集群性指数可表示为：
其中ω为实值正则化因子，用来削弱因集群性指数随L增加呈指数型增长所带来的影响。基于以上数学分析，t时刻的群体集群性指数Collectiveness(t)∈[0,1]可定义为：
群体集群度特征对于行人数量大于500的超高密度人群具有优越的性能。然而，对于行人数量在50-100的中高密度人群，其检测性能有所下降。为了解决这一问题，本发明在群体集群度特征的基础上，利用方向信息来表征群体逃散事件发生时人群运动方向的无序性，并将两者进行特征融合得到方向-集群性特征。
步骤(3)：根据方向-集群性模型来计算每帧人群监控视频的方向-集群性指数，方向-集群性指数越大表示人群集群度越低，人群运动方向越混乱。
方向-集群性特征在t时刻的表达式为：
其中N为t时刻的运动粒子数，Direction(i,t)∈[0,1]为t时刻运动粒子i的方向无序度，其计算方式如下：
其中，θmean(i,t)为t时刻运动粒子i的速度方向与平均速度方向的角度差，θmax(i,t)为t时刻运动粒子i的速度方向与最大速度方向的角度差，ρ为调节模型大小的权重，此处设使Direction(i,t)的值域在0到1之间。具体计算方法如下：
经过上述操作，得到了每一帧图像的方向-集群性指数，其值域为[0,1]。方向-集群性指数越大代表群体集群度越低，群体运动方向越混乱。
步骤(4)：从得到的所有方向-集群性指数中自适应提取事件检测阈值，再通过事件检测阈值与每一帧人群监控视频的方向-集群性指数相比较，最终检测出人群监控视频的人群逃散事件。
在得到方向-集群性指数后，本发明通过阈值法判断是否发生人群逃散事件。考虑到异常行为的连续性，当方向-集群性指数短时间内突然陡增时将其视为噪声，系统不会发出警报；而当这种上升趋势保持超过连续10帧时，系统认定异常事件发生。
具体算法如下：
在获得方向-集群性曲线后，寻找适当的分割阈值对于检测性能和准确率的提升至关重要。手动选择阈值的方法将导致检测效率低下、检测方法缺乏普适性。因此，本发明采用自适应阈值的方法通过迭代来寻找最合适的阈值。
如图2所示，从得到的所有方向-集群性指数中自适应提取阈值的过程，具体包括：
设Φ为包含每帧图像方向-集群性指数的矩阵，令初始阈值Th0为矩阵Φ中最大值与最小值的平均数；
根据Th0将大于初始阈值的帧数归为异常帧，小于初始阈值的帧数归为正常帧；
然后分别计算归类后的正常帧与异常帧方向-集群性指数的平均值和
更新阈值Th使新阈值为和的平均值并重复以上步骤直至阈值不再变化。
具体算法如下：
实验结果
本发明将所提出的模型在PETS2009数据集和网络数据集上进行验证，并与社会力模型、贝叶斯模型和能量模型进行对比。为了更直观的评估检测性能，手动标注了所有测试视频序列的样本标签(groundtruth)，相当于参考标准；将异常帧标注为正样本，将正常帧标注为负样本。采用准确率(ACC)和感受形曲线(ROC)下方的面积(AUC)两个指标作为评价标准。ACC的值越高，则方法的检测性能越好；AUC的值越高，则方法的分类性能越好。
表1四种方法在PETS2009数据集上的ACC值对比
表2四种方法在PETS2009数据集上的AUC值对比
表3四种方法在网络数据集上的ACC值对比
表4四种方法在网络数据集上的AUC值对比
本发明应用集群性特征区分人群自组织和无组织行为，提出一种方向-集群性模型用来检测异常群体逃散事件，运用自适应阈值选取法，避免手动地进行阈值选取，使检测方法更具有泛化性；与传统方法相比，本模型在检测准确率和鲁棒性上均有提升，且具有广泛的性能裕度。
图3是本发明的一种基于方向-集群性模型的人群逃散事件检测系统结构示意图。如图所示的基于方向-集群性模型的人群逃散事件检测系统，包括：
运动粒子状态计算模块，其用于通过gKLT跟踪算法提取人群监控视频中的运动轨迹从而得到轨迹坐标矩阵，进而通过轨迹坐标矩阵计算出运动粒子的速度和方向；其中，运动粒子是人群中运动的个体。
将通过gKLT跟踪算法得到的关键点集合Kt表示如下：
其中为第t帧的第i个运动粒子，和分别为该运动粒子的横纵坐标、速度和方向，N为第t帧的运动粒子数目。
方向-集群性模型建立模块，其用于基于运动粒子的速度以及方向的无序性，建立表征人群的运动状态的方向-集群性模型。
如图4所示，方向-集群性模型建立模块包括：
运动粒子状态计算模块，其用于从人群监控视频中提取运动轨迹从而得到轨迹坐标矩阵，进而通过轨迹坐标矩阵计算出运动轨迹上运动粒子的速度和方向；
方向-集群性模型建立模块，其用于基于运动粒子的速度以及方向的无序性，建立表征人群的运动状态的方向-集群性模型；
方向-集群性指数计算模块，其用于根据方向-集群性模型来计算每帧人群监控视频的方向-集群性指数，方向-集群性指数越大表示人群集群度越低，人群运动方向越混乱；
方向-集群性指数比较模块，其用于从得到的所有方向-集群性指数中自适应提取事件检测阈值，再通过事件检测阈值与每一帧人群监控视频的方向-集群性指数相比较，最终检测出人群监控视频的人群逃散事件。
在一般情况下，个体的运动会影响相邻个体的运动，并最终导致整个群体的运动变化。因此，群体集群性由其包含的每个个体的个体集群性组成。本发明利用“集群性”特征来表征行为一致性的程度，选取方向混乱度来表征群体运动的无序度。集群性特征仅仅考虑的相邻运动粒子间的影响，当两个运动粒子间具有一定的距离时，则无法精确地估计其行为相似性。为了解决这一问题，本发明运用路径拓扑结构来估计行为相似性。
在一般情况下，个体的运动会影响相邻个体的运动，并最终导致整个群体的运动变化。因此，群体集群性由其包含的每个个体的个体集群性组成。本发明将集群性定义为群体运动中的运动粒子与其相邻运动粒子间的行为相似性。
设为相邻运动粒子，其行为相似性的计算方式可表示为：
当时，运动粒子i，j被视作具有相似的方向性，运动粒子间的作用力为吸引力，夹角越大则行为相似性越低。当时，运动粒子i，j被视作具有不同的方向性，运动粒子间的作用力为排斥力，此时行为相似性为0。
上述方法仅仅考虑的相邻运动粒子间的影响，当两个运动粒子间具有一定的距离时，则无法精确地估计其行为相似性。为了解决这一问题，本发明运用路径拓扑结构来估计行为相似性。设代表从到途径k1,k2,…,kL-1各点的长度为L的路径。则从到的所有长度为L的路径的行为相似性可表示为：
其中P为从到的所有长度为L的路径的集合。因此，单个运动粒子的集群性指数可表示为：
其中ω为实值正则化因子，用来削弱因集群性指数随L增加呈指数型增长所带来的影响。基于以上数学分析，t时刻的群体集群性指数Collectiveness(t)∈[0,1]可定义为：
方向-集群性特征在t时刻的表达式为：
其中N为t时刻的运动粒子数，Direction(i,t)∈[0,1]为t时刻运动粒子i的方向无序度，其计算方式如下：
其中，θmean(i,t)为t时刻运动粒子i的速度方向与平均速度方向的角度差，θmax(i,t)为t时刻运动粒子i的速度方向与最大速度方向的角度差，ρ为调节模型大小的权重，此处设使Direction(i,t)的值域在0到1之间。具体计算方法如下：
经过上述操作，得到了每一帧图像的方向-集群性指数，其值域为[0,1]。方向-集群性指数越大代表群体集群度越低，群体运动方向越混乱。
其中，方向-集群性指数比较模块包括事件检测阈值自适应提取模块，如图5所示，事件检测阈值自适应提取模块包括：
初始化阈值模块，其用于初始化阈值，设定初始阈值为包含每帧人群监控视频方向-集群性指数的矩阵中最大值与最小值的平均数；
人群监控视频帧分类模块，其用于对人群监控视频帧进行分类，将大于初始阈值的帧数归为异常帧，小于或等于初始阈值的帧数归为正常帧；
方向-集群性指数平均值计算模块，其用于分别计算归类后的正常帧与异常帧方向-集群性指数的平均值和
阈值更新模块，其用于更新阈值，使得更新后的阈值为和的平均值，直至阈值不再变化，得到事件检测阈值。寻找适当的分割阈值对于检测性能和准确率的提升至关重要。手动选择阈值的方法将导致检测效率低下、检测方法缺乏普适性。因此，本发明采用自适应阈值的方法通过迭代来寻找最合适的阈值，本发明避免了手动地进行阈值选取，使检测方法更具有泛化性。
图6是本发明的另一种基于方向-集群性模型的人群逃散事件检测系统结构示意图。
如图所示的该基于方向-集群性模型的人群逃散事件检测系统，包括人群监控视频采集装置和服务器。
其中，人群监控视频采集装置，其被配置采集人群运动的视频信息，并传送至服务器。
人群监控视频采集装置可采用摄像机来实现。
所述服务器，其被配置为：
从人群监控视频中提取运动轨迹从而得到轨迹坐标矩阵，进而通过轨迹坐标矩阵计算出运动轨迹上运动粒子的速度和方向；
基于运动粒子的速度以及方向的无序性，建立表征人群的运动状态的方向-集群性模型；
根据方向-集群性模型来计算每帧人群监控视频的方向-集群性指数，方向-集群性指数越大表示人群集群度越低，人群运动方向越混乱；
从得到的所有方向-集群性指数中自适应提取事件检测阈值，再通过事件检测阈值与每一帧人群监控视频的方向-集群性指数相比较，最终检测出人群监控视频的人群逃散事件。
进一步的，所述服务器，还被配置为：
将人群中的运动粒子与其相邻运动粒子间的行为相似性定义为集群性，并利用运动粒子的路径拓扑结构来估计行为相似性，得到集群性特征；
在集群性特征的基础上，利用运动粒子的方向信息来表征人群逃散事件发生时人群运动方向的无序性；
将集群性特征以及方向信息两者进行特征融合得到方向-集群性特征，得到表征人群的运动状态的方向-集群性模型。
在一般情况下，个体的运动会影响相邻个体的运动，并最终导致整个群体的运动变化。因此，群体集群性由其包含的每个个体的个体集群性组成。本发明利用“集群性”特征来表征行为一致性的程度，选取方向混乱度来表征群体运动的无序度。集群性特征仅仅考虑的相邻运动粒子间的影响，当两个运动粒子间具有一定的距离时，则无法精确地估计其行为相似性。为了解决这一问题，本发明运用路径拓扑结构来估计行为相似性。
进一步的，所述服务器，还被配置为：
初始化阈值，设定初始阈值为包含每帧人群监控视频方向-集群性指数的矩阵中最大值与最小值的平均数；
对人群监控视频帧进行分类，将大于初始阈值的帧数归为异常帧，小于或等于初始阈值的帧数归为正常帧；
分别计算归类后的正常帧与异常帧方向-集群性指数的平均值和
更新阈值，使得更新后的阈值为和的平均值；
重复以上步骤直至阈值不再变化，得到事件检测阈值。
寻找适当的分割阈值对于检测性能和准确率的提升至关重要。手动选择阈值的方法将导致检测效率低下、检测方法缺乏普适性。因此，本发明采用自适应阈值的方法通过迭代来寻找最合适的阈值，本发明避免了手动地进行阈值选取，使检测方法更具有泛化性。
进一步的，该系统还包括预警装置，其与服务器相连，用来对人群监控视频中出现人群逃散事件进行预警。
本发明应用集群性特征区分人群自组织和无组织行为，提出一种方向-集群性模型用来检测异常群体逃散事件，运用自适应阈值选取法，避免手动地进行阈值选取，使检测方法更具有泛化性；与传统方法相比，本模型在检测准确率和鲁棒性上均有提升，且具有广泛的性能裕度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种基于方向-集群性模型的人群逃散事件检测方法，其特征在于，包括：
步骤(1)：从人群监控视频中提取运动轨迹从而得到轨迹坐标矩阵，进而通过轨迹坐标矩阵计算出运动轨迹上运动粒子的速度和方向；
步骤(2)：基于运动粒子的速度以及方向的无序性，建立表征人群的运动状态的方向-集群性模型；
步骤(3)：根据方向-集群性模型来计算每帧人群监控视频的方向-集群性指数，方向-集群性指数越大表示人群集群度越低，人群运动方向越混乱；
步骤(4)：从得到的所有方向-集群性指数中自适应提取事件检测阈值，再通过事件检测阈值与每一帧人群监控视频的方向-集群性指数相比较，最终检测出人群监控视频的人群逃散事件；
所述步骤(4)中从得到的所有方向-集群性指数中自适应提取阈值的过程包括：
步骤(4.1)：初始化阈值，设定初始阈值为包含每帧人群监控视频方向-集群性指数的矩阵中最大值与最小值的平均数；
步骤(4.2)：对人群监控视频帧进行分类，将大于初始阈值的帧数归为异常帧，小于或等于初始阈值的帧数归为正常帧；
步骤(4.3)：分别计算归类后的正常帧与异常帧方向-集群性指数的平均值和
步骤(4.4)：更新阈值，使得更新后的阈值为和的平均值；
步骤(4.5)：重复以上步骤直至阈值不再变化，得到事件检测阈值。
2.如权利要求1所述的一种基于方向-集群性模型的人群逃散事件检测方法，其特征在于，在所述步骤(2)建立表征人群的运动状态的方向-集群性模型的过程中：
首先，将人群中的运动粒子与其相邻运动粒子间的行为相似性定义为集群性，并利用运动粒子的路径拓扑结构来估计行为相似性，得到集群性特征；
然后，在集群性特征的基础上，利用运动粒子的方向信息来表征人群逃散事件发生时人群运动方向的无序性；
最后，将集群性特征以及方向信息两者进行特征融合得到方向-集群性特征，得到表征人群的运动状态的方向-集群性模型。
3.一种基于方向-集群性模型的人群逃散事件检测系统，其特征在于，包括：
运动粒子状态计算模块，其用于从人群监控视频中提取运动轨迹从而得到轨迹坐标矩阵，进而通过轨迹坐标矩阵计算出运动轨迹上运动粒子的速度和方向；
方向-集群性模型建立模块，其用于基于运动粒子的速度以及方向的无序性，建立表征人群的运动状态的方向-集群性模型；
方向-集群性指数计算模块，其用于根据方向-集群性模型来计算每帧人群监控视频的方向-集群性指数，方向-集群性指数越大表示人群集群度越低，人群运动方向越混乱；
方向-集群性指数比较模块，其用于从得到的所有方向-集群性指数中自适应提取事件检测阈值，再通过事件检测阈值与每一帧人群监控视频的方向-集群性指数相比较，最终检测出人群监控视频的人群逃散事件；
所述方向-集群性指数比较模块包括事件检测阈值自适应提取模块，所述事件检测阈值自适应提取模块包括：
初始化阈值模块，其用于初始化阈值，设定初始阈值为包含每帧人群监控视频方向-集群性指数的矩阵中最大值与最小值的平均数；
人群监控视频帧分类模块，其用于对人群监控视频帧进行分类，将大于初始阈值的帧数归为异常帧，小于或等于初始阈值的帧数归为正常帧；
方向-集群性指数平均值计算模块，其用于分别计算归类后的正常帧与异常帧方向-集群性指数的平均值和
阈值更新模块，其用于更新阈值，使得更新后的阈值为和的平均值，直至阈值不再变化，得到事件检测阈值。
4.如权利要求3所述的一种基于方向-集群性模型的人群逃散事件检测系统，其特征在于，所述方向-集群性模型建立模块包括：
集群性特征获取模块，其用于将人群中的运动粒子与其相邻运动粒子间的行为相似性定义为集群性，并利用运动粒子的路径拓扑结构来估计行为相似性，得到集群性特征；
人群运动方向的无序性表征模块，其用于在集群性特征的基础上，利用运动粒子的方向信息来表征人群逃散事件发生时人群运动方向的无序性；
特征融合模块，其用于将集群性特征以及方向信息两者进行特征融合得到方向-集群性特征，得到表征人群的运动状态的方向-集群性模型。
5.一种基于方向-集群性模型的人群逃散事件检测系统，其特征在于，包括：
人群监控视频采集装置，其被配置采集人群运动的视频信息，并传送至服务器；
所述服务器，其被配置为：
从人群监控视频中提取运动轨迹从而得到轨迹坐标矩阵，进而通过轨迹坐标矩阵计算出运动轨迹上运动粒子的速度和方向；
基于运动粒子的速度以及方向的无序性，建立表征人群的运动状态的方向-集群性模型；
根据方向-集群性模型来计算每帧人群监控视频的方向-集群性指数，方向-集群性指数越大表示人群集群度越低，人群运动方向越混乱；
从得到的所有方向-集群性指数中自适应提取事件检测阈值，再通过事件检测阈值与每一帧人群监控视频的方向-集群性指数相比较，最终检测出人群监控视频的人群逃散事件；
所述服务器，还被配置为：
初始化阈值，设定初始阈值为包含每帧人群监控视频方向-集群性指数的矩阵中最大值与最小值的平均数；
对人群监控视频帧进行分类，将大于初始阈值的帧数归为异常帧，小于或等于初始阈值的帧数归为正常帧；
分别计算归类后的正常帧与异常帧方向-集群性指数的平均值和
更新阈值，使得更新后的阈值为和的平均值；
重复以上步骤直至阈值不再变化，得到事件检测阈值。
6.如权利要求5所述的一种基于方向-集群性模型的人群逃散事件检测系统，其特征在于，所述服务器，还被配置为：
将人群中的运动粒子与其相邻运动粒子间的行为相似性定义为集群性，并利用运动粒子的路径拓扑结构来估计行为相似性，得到集群性特征；
在集群性特征的基础上，利用运动粒子的方向信息来表征人群逃散事件发生时人群运动方向的无序性；
将集群性特征以及方向信息两者进行特征融合得到方向-集群性特征，得到表征人群的运动状态的方向-集群性模型。
7.如权利要求5所述的一种基于方向-集群性模型的人群逃散事件检测系统，其特征在于，该系统还包括预警装置，其与服务器相连，用来对人群监控视频中出现人群逃散事件进行预警。
CN201710034903.5A 2017-01-18 2017-01-18 一种基于方向-集群性模型的人群逃散事件检测方法及系统 Active CN106845389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710034903.5A CN106845389B (zh) 2017-01-18 2017-01-18 一种基于方向-集群性模型的人群逃散事件检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710034903.5A CN106845389B (zh) 2017-01-18 2017-01-18 一种基于方向-集群性模型的人群逃散事件检测方法及系统

Publications (2)

Publication Number Publication Date
CN106845389A CN106845389A (zh) 2017-06-13
CN106845389B true CN106845389B (zh) 2019-09-06

Family

ID=59124402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710034903.5A Active CN106845389B (zh) 2017-01-18 2017-01-18 一种基于方向-集群性模型的人群逃散事件检测方法及系统

Country Status (1)

Country Link
CN (1) CN106845389B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280408B (zh) * 2018-01-08 2021-11-02 北京联合大学 一种基于混合跟踪和广义线性模型的人群异常事件检测方法
CN108537818B (zh) * 2018-03-07 2020-08-14 上海交通大学 基于集群压力lstm的人群轨迹预测方法
CN110020618A (zh) * 2019-03-27 2019-07-16 江南大学 一种可用于多拍摄角度的人群异常行为监测方法
CN111401220B (zh) * 2020-03-12 2021-03-19 重庆特斯联智慧科技股份有限公司 一种用于智慧安防的人群聚合特征分析方法和系统
CN114999099B (zh) * 2022-07-18 2022-12-30 中国地质大学（武汉） 基于大数据的协同预警方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156880A (zh) * 2011-04-11 2011-08-17 上海交通大学 基于改进的社会力模型的异常集群行为检测方法
CN103530601A (zh) * 2013-07-16 2014-01-22 南京师范大学 一种基于贝叶斯网络的监控盲区人群状态推演方法
CN104717468A (zh) * 2015-03-06 2015-06-17 中国科学院大学 基于集群轨迹分类的集群场景智能监控方法及系统
CN104933726A (zh) * 2015-07-02 2015-09-23 中国科学院上海高等研究院 一种基于时空信息约束的密集群体分割方法
CN105138982A (zh) * 2015-08-21 2015-12-09 中南大学 一种基于多特征聚类及分类的人群异常检测与评估方法
CN105447458A (zh) * 2015-11-17 2016-03-30 深圳市商汤科技有限公司 一种大规模人群视频分析系统和方法
CN106096567A (zh) * 2016-06-20 2016-11-09 深圳市深网视界科技有限公司 基于图像识别技术的人群安全指数计算方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156880A (zh) * 2011-04-11 2011-08-17 上海交通大学 基于改进的社会力模型的异常集群行为检测方法
CN103530601A (zh) * 2013-07-16 2014-01-22 南京师范大学 一种基于贝叶斯网络的监控盲区人群状态推演方法
CN104717468A (zh) * 2015-03-06 2015-06-17 中国科学院大学 基于集群轨迹分类的集群场景智能监控方法及系统
CN104933726A (zh) * 2015-07-02 2015-09-23 中国科学院上海高等研究院 一种基于时空信息约束的密集群体分割方法
CN105138982A (zh) * 2015-08-21 2015-12-09 中南大学 一种基于多特征聚类及分类的人群异常检测与评估方法
CN105447458A (zh) * 2015-11-17 2016-03-30 深圳市商汤科技有限公司 一种大规模人群视频分析系统和方法
CN106096567A (zh) * 2016-06-20 2016-11-09 深圳市深网视界科技有限公司 基于图像识别技术的人群安全指数计算方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Measuring Crowd Collectiveness》;Bolei Zhou等;《2013 IEEE Conference on Computer Vision and Pattern Recognition》;20131231;第6.1节第2段，第2.1节第1段，第2.2节，第2.3节第1段，第2.4节第4段
《Measuring Crowd Collectiveness》;Bolei Zhou等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20140831;第36卷(第8期);第1586-1599页
《高速电视下基于自适应阈值的实时图像跟踪》;刘刚等;《光子学报》;20050831;第34卷(第8期);第1节第2段

Also Published As

Publication number Publication date
CN106845389A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
CN106845389B (zh) 一种基于方向-集群性模型的人群逃散事件检测方法及系统
CN103839065B (zh) 人群动态聚集特征提取方法
CN104933412B (zh) 中高密度人群的异常状态检测方法
CN103440645B (zh) 一种基于自适应粒子滤波和稀疏表示的目标跟踪算法
Xu et al. Hierarchical activity discovery within spatio-temporal context for video anomaly detection
CN105138982A (zh) 一种基于多特征聚类及分类的人群异常检测与评估方法
CN105095908B (zh) 视频图像中群体行为特征处理方法和装置
CN107958260B (zh) 一种基于多特征融合的群体行为分析方法
Wang et al. Evaluation of a laying-hen tracking algorithm based on a hybrid support vector machine
CN104239896A (zh) 一种视频图像中人群密度等级分类方法
Dutta et al. Image analysis-based automatic detection of transmission towers using aerial imagery
Zhang et al. A thermodynamics-inspired feature for anomaly detection on crowd motions in surveillance videos
Cancela et al. Unsupervised trajectory modelling using temporal information via minimal paths
Zhang et al. Beyond particle flow: Bag of trajectory graphs for dense crowd event recognition
Panchanathan et al. Smart stadium for smarter living: Enriching the fan experience
Li et al. An efficient anomaly detection approach in surveillance video based on oriented GMM
Leyva et al. Video anomaly detection based on wake motion descriptors and perspective grids
Zhu et al. Real-time anomaly detection with HMOF feature
Zhao et al. Pedestrian motion tracking and crowd abnormal behavior detection based on intelligent video surveillance
ElMenshawy et al. A clustering based approach for contextual anomaly detection in internet of things
Kaviani et al. A new method for traffic density estimation based on topic model
Hamadi et al. Image-based Automated Framework for Detecting and Classifying Unmanned Aerial Vehicles
Jin et al. Sparse representation and weighted clustering based abnormal behavior detection
Xu et al. Towards intelligent crowd behavior understanding through the STFD descriptor exploration
CN109753854A (zh) 一种通过视频监控进行骚乱检测的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant