CN111339945B - 基于视频的人群聚散检查方法与系统 - Google Patents

基于视频的人群聚散检查方法与系统 Download PDF

Info

Publication number
CN111339945B
CN111339945B CN202010119695.0A CN202010119695A CN111339945B CN 111339945 B CN111339945 B CN 111339945B CN 202010119695 A CN202010119695 A CN 202010119695A CN 111339945 B CN111339945 B CN 111339945B
Authority
CN
China
Prior art keywords
crowd
frame
video
pixel point
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010119695.0A
Other languages
English (en)
Other versions
CN111339945A (zh
Inventor
犹津
徐勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Security Engineering Technology Research Center Co ltd
Guizhou Siso Electronics Co ltd
Original Assignee
Guizhou Siso Electronics Co ltd
Guizhou Security Engineering Technology Research Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Siso Electronics Co ltd, Guizhou Security Engineering Technology Research Center Co ltd filed Critical Guizhou Siso Electronics Co ltd
Priority to CN202010119695.0A priority Critical patent/CN111339945B/zh
Publication of CN111339945A publication Critical patent/CN111339945A/zh
Application granted granted Critical
Publication of CN111339945B publication Critical patent/CN111339945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了基于视频的人群聚散检查方法与系统，通过提出的基于视频序列的人群聚集和人群分散检测方法建立在视频帧中关键位置点的基础上，具有不需要背景建模，不用考虑可能存在的阴影问题，不需要进行行人检测和目标跟踪的优点，涉及人群聚散检测技术领域。该基于视频的人群聚散检查方法与系统，系统运行速度快，利用物理量指代视频帧具有十分高的计算效率，从而系统会具有很好的实时性，同时通过设计了基于角点面积的人群聚散检测技术方案，可实现通过基于角点面积的事件检测算法能够适用于各种公共场合，尤其是广场等视野较开阔的地段，系统部署简单，不需对特定场合进行训练。

Description

基于视频的人群聚散检查方法与系统
技术领域
本发明涉及人群聚散检测技术领域，具体为基于视频的人群聚散检查方法与系统。
背景技术
人群聚集检测是我们要研发的面向公共安全的人群聚集与暴力事件检测的重要内容。公共场合的人群聚集行为有可能出现后续的游行示威等事件。群聚集事件出现之后的人群分散则意味着相关活动已经散场。因此，判别是否存在人群聚集或人群分散对公共安全和生命财产安全均具有重要作用。现今，广泛部署的摄像头为人群聚集判别提供了很好的数据基础。
本发明提出了一种基于视频序列的人群聚集检测方法与系统，系统运行速度快，提出的基于视频序列的人群聚集和人群分散（简称人群聚散）检测方法建立在视频帧中关键位置点（简称为关键点）的基础上，方法具有不需要背景建模，不用考虑可能存在的阴影问题，不需要进行行人检测和目标跟踪的优点，关键位置点往往对应着图像中的重要信息，基于视频帧的若干关键位置点抽取出的物理量可以作为视频帧的有效描述特征。而且，相比于直接使用原始视频帧，利用物理量指代视频帧具有十分高的计算效率，从而系统会具有很好的实时性。
本发明专利提出的人群聚散事件检测方法的核心为设计了基于角点面积的人群聚散检测技术方案。方案的优点如下：基于角点面积的事件检测算法适用于各种公共场合，尤其是广场等视野较开阔的地段，系统部署简单，不需对特定场合进行训练。
发明内容
（一）解决的技术问题
针对现有技术的不足，本发明提供了基于视频的人群聚散检查方法与系统，通过利用基于角点面积的事件检测算法能够适用于各种公共场合，尤其是广场等视野较开阔的地段，系统部署简单，不需对特定场合进行训练。
（二）技术方案
为实现以上目的，本发明通过以下技术方案予以实现：基于视频的人群聚散检查方法，具体包括以下步骤：
S1、角点检测，角点检测的具体步骤陈述如下：
a1、对一个视频帧，计算每个像素点在水平方向的变化值
Figure DEST_PATH_IMAGE002
和垂直方向的变化值/>
Figure DEST_PATH_IMAGE004
，在视频帧中建立直角坐标系后，在水平方向上相邻的两点像素值的差值，称为像素点在水平方向的变化值，像素点在垂直方向的变化值也相同定义；
a2、对一个视频帧，计算每个像素点的变化幅度值
Figure DEST_PATH_IMAGE006
；
a3、用下式估计对一个视频帧中每个像素点的协方差矩阵：
Figure DEST_PATH_IMAGE008
,/>
Figure DEST_PATH_IMAGE010
,
Figure DEST_PATH_IMAGE012
,/>
Figure DEST_PATH_IMAGE014
，协方差矩阵定义为/>
Figure DEST_PATH_IMAGE016
，令求出的/>
Figure DEST_PATH_IMAGE018
的两个特征值分别为/>
Figure DEST_PATH_IMAGE020
，定义像素点显著性因子/>
Figure DEST_PATH_IMAGE022
，其中
Figure DEST_PATH_IMAGE024
为系数，/>
Figure DEST_PATH_IMAGE024A
的取值满足条件/>
Figure DEST_PATH_IMAGE026
；
a4、如果
Figure DEST_PATH_IMAGE028
，则将当前像素点为显著像素点，将视频帧的所有像素点划分为若干个不重叠的/>
Figure DEST_PATH_IMAGE030
大小的矩形区域，即每个矩形区域均包括/>
Figure DEST_PATH_IMAGE032
行和/>
Figure DEST_PATH_IMAGE034
列个像素点一共/>
Figure DEST_PATH_IMAGE030A
个像素点，找出每一个矩形区域内具有最大显著性因子的像素点，并将其判定为该区域的角点，若一个矩形区域内具有最大显著性因子的像素点的显著性因子小于/>
Figure DEST_PATH_IMAGE036
，则认为该矩形区域不包含任何显著像素点；
S2、显著区域的面积计算，利用所有角点的坐标集的协方差矩阵来计算显著区域的面积，令所有
Figure DEST_PATH_IMAGE038
个角点的坐标的集合为/>
Figure DEST_PATH_IMAGE040
，则/>
Figure DEST_PATH_IMAGE040A
为一个/>
Figure DEST_PATH_IMAGE042
的矩阵，显然，/>
Figure DEST_PATH_IMAGE040AA
中的任意一行的两个元素为一个角点的横、纵坐标，也称/>
Figure DEST_PATH_IMAGE040AAA
中的一行为一个样本，根据/>
Figure DEST_PATH_IMAGE040AAAA
中的/>
Figure DEST_PATH_IMAGE038A
个样本计算得出其协方差矩阵/>
Figure DEST_PATH_IMAGE044
Figure DEST_PATH_IMAGE046
，显著区域的面积定义为/>
Figure DEST_PATH_IMAGE048
，/>
Figure DEST_PATH_IMAGE050
表示取绝对值，系数/>
Figure DEST_PATH_IMAGE052
满足的条件为/>
Figure DEST_PATH_IMAGE054
；
S3、聚散事件识别的阈值确定，首先，将已采集好的若干视频帧序列分为三组，即人群聚集事件组、人群分散事件组、普通组，分别对每一组中的每一个视频帧序列执行步骤S1和步骤S2，并计算出显著区域的面积
Figure DEST_PATH_IMAGE056
，具体地，对每一个视频帧序列进行等间隔的抽样，假设从一个视频帧序列抽样得到/>
Figure DEST_PATH_IMAGE058
帧，则分别对这/>
Figure DEST_PATH_IMAGE058A
帧计算出/>
Figure DEST_PATH_IMAGE058AA
个显著区域面积/>
Figure DEST_PATH_IMAGE060
。
Figure DEST_PATH_IMAGE062
称为第/>
Figure DEST_PATH_IMAGE064
个抽样帧的显著区域面积变化量，根据三组视频帧序列，需要确定两个最优阈值/>
Figure DEST_PATH_IMAGE066
（/>
Figure DEST_PATH_IMAGE068
）；
S4、人群聚集与分散事件判定，对一个新的视频帧序列，按步骤S3中的方式对其进行帧抽样和计算，对其中的一个抽样帧，若
Figure DEST_PATH_IMAGE070
且/>
Figure DEST_PATH_IMAGE072
<0，则判定该帧出现了人群聚集事件，若在该帧之前已出现了人群聚集事件，且有/>
Figure DEST_PATH_IMAGE074
和/>
Figure DEST_PATH_IMAGE072A
>0，时判定该帧出现了人群分散事件，各变量的定义同步骤S3。
优选的，所述步骤S1中角点检测同时适用于灰度图像和二值图像，角点能够看做是在水平和竖直两个方向上像素值均变化大的点。
优选的，所述步骤a2中参数
Figure DEST_PATH_IMAGE076
的取值范围为0.2到0.85之间。
优选的，所述步骤S2中显著区域为所有角点“围成”的区域，并利用其面积来判断人群聚集和人群分散。
优选的，所述步骤S3中根据已知的所有视频帧序列抽样得出的视频帧确定阈值的规则如下：
b1、对一个视频帧序列，假设当前帧的显著区域面积为
Figure 100002_DEST_PATH_IMAGE056A
，起始帧到当前帧之间的显著区域面积变化量之和为/>
Figure DEST_PATH_IMAGE072AA
，若/>
Figure DEST_PATH_IMAGE070A
且/>
Figure DEST_PATH_IMAGE072AAA
<0，则判定当前帧出现了人群聚集事件；
b2、若在当前帧之前已出现了人群聚集事件，且有
Figure DEST_PATH_IMAGE074A
和/>
Figure DEST_PATH_IMAGE072AAAA
>0，时判定当前帧出现了人群分散事件；
b3、根据已知的所有视频帧序列，统计
Figure 100002_DEST_PATH_IMAGE066A
取不同值的情况下，人群聚集事件与人群分散事件判定的错误率，将对应最小错误率的/>
Figure DEST_PATH_IMAGE066AA
作为最优的阈值。
优选的，所述步骤a3在应用中，利用步骤S3中人群聚集事件与人群分散事件判定的错误率来辅助进行
Figure DEST_PATH_IMAGE024AA
的设定，即较优的位于取值区间/>
Figure DEST_PATH_IMAGE078
内的/>
Figure DEST_PATH_IMAGE024AAA
应该对应较小的错误率。
优选的，所述步骤a4中矩形区域的大小根据视频帧中总像素的多少确定，一个视频帧至少划分为20个矩形区域。
本发明还公开了基于视频的人群聚散检查系统，包括实时获取视频的摄像头及本发明相应算法与程序组成的系统。
（三）有益效果
本发明提供了基于视频的人群聚散检查方法与系统。具备以下有益效果：该基于视频的人群聚散检查方法与系统，系统运行速度快，提出的基于视频序列的人群聚集和人群分散检测方法建立在视频帧中关键位置点的基础上，具有不需要背景建模，不用考虑可能存在的阴影问题，不需要进行行人检测和目标跟踪的优点，关键位置点往往对应着图像中的重要信息，基于视频帧的若干关键位置点抽取出的物理量可以作为视频帧的有效描述特征，而且，相比于直接使用原始视频帧，利用物理量指代视频帧具有十分高的计算效率，从而系统会具有很好的实时性，同时通过设计了基于角点面积的人群聚散检测技术方案，可实现通过基于角点面积的事件检测算法能够适用于各种公共场合，尤其是广场等视野较开阔的地段，系统部署简单，不需对特定场合进行训练。
附图说明
图1为本发明系统的示意图；
图2为本发明人群聚散事件检测方法主要步骤的示意图；
图3为本发明人群聚集判定主要过程的示意图；
图4为本发明人群分散判定主要过程的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4，本发明实施例提供一种技术方案：基于视频的人群聚散检查方法，具体包括以下步骤：
S1、角点检测，角点检测同时适用于灰度图像和二值图像，角点能够看做是在水平和竖直两个方向上像素值均变化大的点，角点检测的具体步骤陈述如下：
a1、对一个视频帧，计算每个像素点在水平方向的变化值
Figure DEST_PATH_IMAGE002A
和垂直方向的变化值/>
Figure DEST_PATH_IMAGE004A
，在视频帧中建立直角坐标系后，在水平方向上相邻的两点像素值的差值（坐标值大的像素值与坐标值小的像素值的差）,称为像素点在水平方向的变化值，像素点在垂直方向的变化值也相同定义；
a2、对一个视频帧，计算每个像素点的变化幅度值
Figure DEST_PATH_IMAGE006A
；/>
a3、用下式估计对一个视频帧中每个像素点的协方差矩阵：
Figure DEST_PATH_IMAGE008A
,/>
Figure DEST_PATH_IMAGE010A
,
Figure DEST_PATH_IMAGE012A
,/>
Figure DEST_PATH_IMAGE014A
，协方差矩阵定义为/>
Figure DEST_PATH_IMAGE016A
，令求出的/>
Figure DEST_PATH_IMAGE018A
的两个特征值分别为/>
Figure DEST_PATH_IMAGE020A
，定义像素点显著性因子/>
Figure DEST_PATH_IMAGE022A
，其中
Figure DEST_PATH_IMAGE024AAAA
为系数，/>
Figure DEST_PATH_IMAGE024_5A
的取值满足条件/>
Figure DEST_PATH_IMAGE026A
，参数/>
Figure DEST_PATH_IMAGE076A
的取值范围为0.2到0.85之间，在应用中，利用步骤S3中人群聚集事件与人群分散事件判定的错误率来辅助进行/>
Figure DEST_PATH_IMAGE024_6A
的具体设定，即较优的位于取值区间/>
Figure DEST_PATH_IMAGE078A
内的/>
Figure DEST_PATH_IMAGE024_7A
应该对应较小的错误率；
a4、如果
Figure DEST_PATH_IMAGE028A
（/>
Figure DEST_PATH_IMAGE036A
为一相对大的正数，/>
Figure DEST_PATH_IMAGE036AA
的建议值为0.12），则将当前像素点为显著像素点，将视频帧的所有像素点划分为若干个不重叠的/>
Figure DEST_PATH_IMAGE030AA
大小的矩形区域，即每个矩形区域均包括/>
Figure DEST_PATH_IMAGE032A
行和/>
Figure DEST_PATH_IMAGE034A
列个像素点一共/>
Figure DEST_PATH_IMAGE030AAA
个像素点，找出每一个矩形区域内具有最大显著性因子的像素点，并将其判定为该区域的角点，若一个矩形区域内具有最大显著性因子的像素点的显著性因子小于/>
Figure DEST_PATH_IMAGE036AAA
，则认为该矩形区域不包含任何显著像素点，矩形区域的大小根据视频帧中总像素的多少确定，一个视频帧至少划分为20个矩形区域；
S2、显著区域的面积计算，步骤S1判定出的角点散布在视频帧的不同位置，人群聚集过程的一个特点是视频帧中角点散布的范围逐渐变小，相应地，视频帧中所有角点“围成”的区域逐渐变小，与此相反，在人群分散过程频帧中所有角点“围成”的区域会逐渐变大，利用所有角点的坐标集的协方差矩阵来计算显著区域的面积，令所有
Figure DEST_PATH_IMAGE038AA
个角点的坐标的集合为/>
Figure DEST_PATH_IMAGE040_5A
，则/>
Figure DEST_PATH_IMAGE040_6A
为一个/>
Figure 100002_DEST_PATH_IMAGE042A
的矩阵，显然，/>
Figure DEST_PATH_IMAGE040_7A
中的任意一行的两个元素为一个角点的横、纵坐标，也称/>
Figure DEST_PATH_IMAGE040_8A
中的一行为一个样本，根据/>
Figure DEST_PATH_IMAGE040_9A
中的/>
Figure DEST_PATH_IMAGE038AAA
个样本计算得出其协方差矩阵/>
Figure 100002_DEST_PATH_IMAGE044A
Figure 100002_DEST_PATH_IMAGE046A
，显著区域的面积定义为/>
Figure DEST_PATH_IMAGE048A
，/>
Figure DEST_PATH_IMAGE050A
表示取绝对值，系数
Figure DEST_PATH_IMAGE052A
满足的条件为/>
Figure 100002_DEST_PATH_IMAGE054A
，显著区域为所有角点“围成”的区域，并利用其面积来判断人群聚集和人群分散；
S3、聚散事件识别的阈值确定，首先，将已采集好的若干视频帧序列分为三组，即人群聚集事件组、人群分散事件组、普通组，分别对每一组中的每一个视频帧序列（即视频帧片段）执行步骤S1和步骤S2，并计算出显著区域的面积
Figure DEST_PATH_IMAGE056AA
，具体地，对每一个视频帧序列进行等间隔的抽样（比如对一个视频帧序列每隔/>
Figure DEST_PATH_IMAGE080
帧抽取出一帧），假设从一个视频帧序列抽样得到/>
Figure DEST_PATH_IMAGE058AAA
帧（应用中应控制抽样间隔使得/>
Figure DEST_PATH_IMAGE058AAAA
>3），则分别对这/>
Figure DEST_PATH_IMAGE058_5A
帧计算出/>
Figure DEST_PATH_IMAGE058_6A
个显著区域面积
Figure DEST_PATH_IMAGE060A
。/>
Figure DEST_PATH_IMAGE062A
称为第/>
Figure DEST_PATH_IMAGE064A
个抽样帧的显著区域面积变化量，根据三组视频帧序列，需要确定两个最优阈值/>
Figure DEST_PATH_IMAGE066AAA
（/>
Figure DEST_PATH_IMAGE068A
），根据已知的所有视频帧序列抽样得出的视频帧确定阈值的规则如下：
b1、对一个视频帧序列，假设当前帧的显著区域面积为
Figure DEST_PATH_IMAGE056AAA
，起始帧到当前帧之间的显著区域面积变化量之和为/>
Figure DEST_PATH_IMAGE072_5A
，若/>
Figure DEST_PATH_IMAGE070AA
且/>
Figure DEST_PATH_IMAGE072_6A
<0，则判定当前帧出现了人群聚集事件；
b2、若在当前帧之前已出现了人群聚集事件，且有
Figure DEST_PATH_IMAGE074AA
和/>
Figure DEST_PATH_IMAGE072_7A
>0，时判定当前帧出现了人群分散事件；
b3、根据已知的所有视频帧序列，统计
Figure DEST_PATH_IMAGE066AAAA
取不同值的情况下，人群聚集事件与人群分散事件判定的错误率，将对应最小错误率的/>
Figure DEST_PATH_IMAGE066_5A
作为最优的阈值；/>
S4、人群聚集与分散事件判定，对一个新的视频帧序列，按步骤S3中的方式对其进行帧抽样和计算，对其中的一个抽样帧，若
Figure DEST_PATH_IMAGE070AAA
且/>
Figure DEST_PATH_IMAGE072_8A
<0，则判定该帧出现了人群聚集事件，若在该帧之前已出现了人群聚集事件，且有/>
Figure DEST_PATH_IMAGE074AAA
和/>
Figure DEST_PATH_IMAGE072_9A
>0，时判定该帧出现了人群分散事件，各变量的定义同步骤S3。
本发明还公开了基于视频的人群聚散检查系统，包括实时获取视频的摄像头及本发明相应算法与程序组成的系统。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.基于视频的人群聚散检查方法，其特征在于：具体包括以下步骤：
S1、角点检测，角点检测的具体步骤陈述如下：
a1、对一个视频帧，计算每个像素点在水平方向的变化值
Figure 253246DEST_PATH_IMAGE001
和垂直方向的变化值/>
Figure 452278DEST_PATH_IMAGE002
，在视频帧中建立直角坐标系后，在水平方向上相邻的两点像素值的差值，称为像素点在水平方向的变化值，像素点在垂直方向的变化值也相同定义；
a2、对一个视频帧，计算每个像素点的变化幅度值
Figure 871496DEST_PATH_IMAGE003
；
a3、用下式估计对一个视频帧中每个像素点的协方差矩阵：
Figure 142071DEST_PATH_IMAGE004
，
Figure 926750DEST_PATH_IMAGE005
，
Figure 827841DEST_PATH_IMAGE006
,/>
Figure 812983DEST_PATH_IMAGE007
，协方差矩阵定义为/>
Figure DEST_PATH_IMAGE009A
，令求出的/>
Figure DEST_PATH_IMAGE011A
的两个特征值分别为/>
Figure DEST_PATH_IMAGE013A
，定义像素点显著性因子/>
Figure DEST_PATH_IMAGE015A
，其中/>
Figure DEST_PATH_IMAGE017AAAA
为系数，/>
Figure DEST_PATH_IMAGE017_5A
的取值满足条件/>
Figure DEST_PATH_IMAGE019AA
；
a4、如果
Figure DEST_PATH_IMAGE021A
，则将当前像素点称为显著像素点，将视频帧的所有像素点划分为若干个不重叠的/>
Figure DEST_PATH_IMAGE023AA
大小的矩形区域，矩形区域的多少根据视频帧中总像素的多少确定，一个视频帧至少划分为20个矩形区域，即每个矩形区域均包括/>
Figure DEST_PATH_IMAGE025A
行和/>
Figure DEST_PATH_IMAGE027A
列个像素点一共/>
Figure DEST_PATH_IMAGE023AAA
个像素点，找出每一个矩形区域内具有最大显著性因子的像素点，并将其判定为该区域的角点，若一个矩形区域内具有最大显著性因子的像素点的显著性因子小于/>
Figure DEST_PATH_IMAGE029A
，则认为该矩形区域不包含任何显著像素点；
S2、显著区域的面积计算，利用所有角点的坐标集的协方差矩阵来计算显著区域的面积，令所有
Figure DEST_PATH_IMAGE031AA
个角点的坐标的集合为/>
Figure DEST_PATH_IMAGE033_5A
，则/>
Figure DEST_PATH_IMAGE033_6A
为一个/>
Figure DEST_PATH_IMAGE035A
的矩阵，显然，/>
Figure DEST_PATH_IMAGE033_7A
中的任意一行的两个元素为一个角点的横、纵坐标，也称/>
Figure DEST_PATH_IMAGE033_8A
中的一行为一个样本，根据/>
Figure DEST_PATH_IMAGE033_9A
中的/>
Figure DEST_PATH_IMAGE031AAA
个样本计算得出其协方差矩阵/>
Figure DEST_PATH_IMAGE037A
Figure DEST_PATH_IMAGE039A
，显著区域的面积定义为/>
Figure 715664DEST_PATH_IMAGE040
，/>
Figure DEST_PATH_IMAGE042A
表示取绝对值，系数/>
Figure DEST_PATH_IMAGE044A
满足的条件为/>
Figure DEST_PATH_IMAGE046A
；
S3、聚散事件识别的阈值确定，首先，将已采集好的若干视频帧序列分为三组，即人群聚集事件组、人群分散事件组、普通组，分别对每一组中的每一个视频帧序列执行步骤S1和步骤S2，并计算出显著区域的面积
Figure DEST_PATH_IMAGE048AA
，具体地，对每一个视频帧序列进行等间隔的抽样，假设从一个视频帧序列抽样得到/>
Figure DEST_PATH_IMAGE050AAA
帧，则分别对这/>
Figure DEST_PATH_IMAGE050AAAA
帧计算出/>
Figure DEST_PATH_IMAGE050_5A
个显著区域面积
Figure 908179DEST_PATH_IMAGE051
，/>
Figure 839226DEST_PATH_IMAGE052
（/>
Figure DEST_PATH_IMAGE054A
）称为第/>
Figure DEST_PATH_IMAGE056A
个抽样帧的显著区域面积变化量；
S4、最优阈值
Figure DEST_PATH_IMAGE058_7A
，/>
Figure DEST_PATH_IMAGE060AA
的确定与人群聚集与分散事件判定，依据阈值/>
Figure DEST_PATH_IMAGE058_8A
进行人群聚集与分散事件判定的方式如下：对一个新的视频帧序列，按步骤S3中的方式对其进行帧抽样和计算，对其中的一个抽样帧，若/>
Figure DEST_PATH_IMAGE062AA
且/>
Figure DEST_PATH_IMAGE064_6A
＜0，/>
Figure DEST_PATH_IMAGE064_7A
为视频帧序列中起始帧到当前帧之间的所有显著区域面积变化量/>
Figure DEST_PATH_IMAGE066A
之和，则判定该帧出现了人群聚集事件，若在该帧之前已出现了人群聚集事件，且有/>
Figure DEST_PATH_IMAGE068AA
和/>
Figure DEST_PATH_IMAGE064_8A
＞0，时判定该帧出现了人群分散事件，各变量的定义同步骤S3；两个最优阈值/>
Figure DEST_PATH_IMAGE058_9A
，/>
Figure DEST_PATH_IMAGE060AAA
根据人群聚集事件组、人群分散事件组、普通组这三组视频帧序列确定；其确定方案如下：根据已知的所有视频帧序列，统计/>
Figure DEST_PATH_IMAGE058_10A
取不同值的情况下，人群聚集事件与人群分散事件判定的错误率，将对应最小错误率的/>
Figure DEST_PATH_IMAGE058_11A
作为最优的阈值；
所述步骤S3中根据已知的所有视频帧序列抽样得出的视频帧确定阈值的规则如下：
b1、对一个视频帧序列，假设当前帧的显著区域面积为
Figure DEST_PATH_IMAGE048AAA
，起始帧到当前帧之间的显著区域面积变化量之和为/>
Figure DEST_PATH_IMAGE064_9A
，若/>
Figure DEST_PATH_IMAGE062AAA
且/>
Figure DEST_PATH_IMAGE064_10A
＜0，则判定当前帧出现了人群聚集事件；
b2、若在当前帧之前已出现了人群聚集事件，且有
Figure DEST_PATH_IMAGE068AAA
和/>
Figure DEST_PATH_IMAGE064_11A
＞0，时判定当前帧出现了人群分散事件；
b3、根据已知的所有视频帧序列，统计
Figure DEST_PATH_IMAGE058_12A
取不同值的情况下，人群聚集事件与人群分散事件判定的错误率，将对应最小错误率的/>
Figure DEST_PATH_IMAGE058_13A
作为最优的阈值；
所述步骤a3在应用中，利用步骤S3中人群聚集事件与人群分散事件判定的错误率来辅助进行
Figure DEST_PATH_IMAGE017_6A
的设定，即较优的位于取值区间/>
Figure DEST_PATH_IMAGE019AAA
内的/>
Figure DEST_PATH_IMAGE017_7A
应该对应较小的错误率。
2.根据权利要求1所述的基于视频的人群聚散检查方法，其特征在于：所述步骤S1中角点检测同时适用于灰度图像和二值图像，角点能够看做是在水平和竖直两个方向上像素值均变化大的点。
3.根据权利要求1所述的基于视频的人群聚散检查方法，其特征在于：所述步骤S2中显著区域为所有角点“围成”的区域，并利用其面积来判断人群聚集和人群分散。
4.基于视频的人群聚散检查系统，其特征在于：根据权利要求1-3任意一项所述的基于视频的人群聚散检查方法组成的系统。
CN202010119695.0A 2020-02-26 2020-02-26 基于视频的人群聚散检查方法与系统 Active CN111339945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010119695.0A CN111339945B (zh) 2020-02-26 2020-02-26 基于视频的人群聚散检查方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010119695.0A CN111339945B (zh) 2020-02-26 2020-02-26 基于视频的人群聚散检查方法与系统

Publications (2)

Publication Number Publication Date
CN111339945A CN111339945A (zh) 2020-06-26
CN111339945B true CN111339945B (zh) 2023-03-31

Family

ID=71185681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010119695.0A Active CN111339945B (zh) 2020-02-26 2020-02-26 基于视频的人群聚散检查方法与系统

Country Status (1)

Country Link
CN (1) CN111339945B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673360A (zh) * 2021-07-28 2021-11-19 浙江大华技术股份有限公司 人体分布检测方法、航拍设备、电子装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
CN103488993A (zh) * 2013-09-22 2014-01-01 北京联合大学 一种基于fast的人群异常行为识别方法
CN103839065A (zh) * 2014-02-14 2014-06-04 南京航空航天大学 人群动态聚集特征提取方法
CN104658008A (zh) * 2015-01-09 2015-05-27 北京环境特性研究所 一种基于视频图像的人员聚集检测方法
CN104933661A (zh) * 2015-04-27 2015-09-23 山东科技大学 一种公共建筑物非均称安全通道的人群均衡撤离方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5555512A (en) * 1993-08-19 1996-09-10 Matsushita Electric Industrial Co., Ltd. Picture processing apparatus for processing infrared pictures obtained with an infrared ray sensor and applied apparatus utilizing the picture processing apparatus
US5729786A (en) * 1994-09-13 1998-03-17 Fuji Xerox Co., Ltd. Image forming control apparatus which retreives control rules via control cases stored in control clusters
CN101557506B (zh) * 2009-05-19 2011-02-09 浙江工业大学 基于计算机视觉的电梯轿厢内暴力行为智能检测装置
WO2011065177A1 (ja) * 2009-11-26 2011-06-03 コニカミノルタオプト株式会社 血球軌跡表示装置
CN102324016B (zh) * 2011-05-27 2013-06-05 北京东方奔腾信息技术有限公司 一种高密度人群流量统计方法
CN102855462A (zh) * 2011-07-01 2013-01-02 富士通株式会社 确定人体动作周期及识别人体动作的方法和装置
CN103310183B (zh) * 2012-03-16 2016-12-14 日电（中国）有限公司 人群聚集检测的方法与装置
CN102722982B (zh) * 2012-03-30 2016-01-06 上海市金山区青少年活动中心 基于背景与帧间差分算法的车流及其运动状态检测方法
CN103413114A (zh) * 2013-05-17 2013-11-27 浙江大学 一种基于支持向量机的溺水行为检测方法
CN103679148B (zh) * 2013-12-11 2017-04-26 哈尔滨工业大学深圳研究生院 一种基于聚类角点加权面积的群体聚散检测的方法与装置
CN105930814A (zh) * 2016-04-28 2016-09-07 天津大学 基于视频监控平台的人员异常聚集行为的检测方法
US10706289B2 (en) * 2017-03-03 2020-07-07 International Business Machines Corporation Crowd detection, analysis, and categorization
US10839257B2 (en) * 2017-08-30 2020-11-17 Qualcomm Incorporated Prioritizing objects for object recognition
CN110278383B (zh) * 2019-07-25 2021-06-15 浙江大华技术股份有限公司 聚焦方法、装置以及电子设备、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
CN103488993A (zh) * 2013-09-22 2014-01-01 北京联合大学 一种基于fast的人群异常行为识别方法
CN103839065A (zh) * 2014-02-14 2014-06-04 南京航空航天大学 人群动态聚集特征提取方法
CN104658008A (zh) * 2015-01-09 2015-05-27 北京环境特性研究所 一种基于视频图像的人员聚集检测方法
CN104933661A (zh) * 2015-04-27 2015-09-23 山东科技大学 一种公共建筑物非均称安全通道的人群均衡撤离方法

Also Published As

Publication number Publication date
CN111339945A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN107330372B (zh) 一种基于视频的人群密度与异常行为检测系统的分析方法
US20210248378A1 (en) Spatiotemporal action detection method
CN108647649B (zh) 一种视频中异常行为的检测方法
CN106056079B (zh) 一种图像采集设备及人脸五官的遮挡检测方法
CN111723644A (zh) 一种监控视频遮挡检测方法及系统
CN113011367A (zh) 一种基于目标轨迹的异常行为分析方法
Li et al. Decoupled appearance and motion learning for efficient anomaly detection in surveillance video
CN112417955B (zh) 巡检视频流处理方法及装置
CN110610150A (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
CN112561951B (zh) 一种基于帧差绝对误差和sad的运动和亮度检测方法
CN115908154B (zh) 基于图像处理的视频后期颗粒噪声去除方法
CN111339945B (zh) 基于视频的人群聚散检查方法与系统
CN112614109A (zh) 图像质量评估方法、装置以及计算机可读存储介质
CN108830204A (zh) 面对目标的监控视频中异常检测方法
CN115049954A (zh) 目标识别方法、装置、电子设备和介质
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
CN107729811B (zh) 一种基于场景建模的夜间火焰检测方法
CN115083008A (zh) 运动目标检测方法、装置、设备及存储介质
KR101681282B1 (ko) 대상체 검출 장치 및 방법
Ye et al. Moving object detection with background subtraction and shadow removal
CN108009480A (zh) 一种基于特征识别的图像人体行为检测方法
CN108241837B (zh) 一种遗留物检测方法和装置
CN116152758A (zh) 一种智能实时事故检测及车辆跟踪方法
CN107067411B (zh) 一种结合密集特征的Mean-shift跟踪方法
Zhu et al. Detection and recognition of abnormal running behavior in surveillance video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230222

Address after: Floor 12, Building 5, Science City, No. 3491, Baijin Avenue, Shawen Science Park, Guiyang National High-tech Industrial Development Zone, Guiyang City, Guizhou Province, 550000

Applicant after: GUIZHOU SECURITY ENGINEERING TECHNOLOGY RESEARCH CENTER Co.,Ltd.

Applicant after: GUIZHOU SISO ELECTRONICS Co.,Ltd.

Address before: Room B612, standard workshop auxiliary room, Jinyang Science and Technology Industrial Park, Guiyang National High-tech Industrial Development Zone, Guiyang City, Guizhou Province, 550000

Applicant before: GUIZHOU SECURITY ENGINEERING TECHNOLOGY RESEARCH CENTER Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant