CN103235944A - 人群流分割及人群流异常行为识别方法 - Google Patents

人群流分割及人群流异常行为识别方法 Download PDF

Info

Publication number
CN103235944A
CN103235944A CN2013101780805A CN201310178080A CN103235944A CN 103235944 A CN103235944 A CN 103235944A CN 2013101780805 A CN2013101780805 A CN 2013101780805A CN 201310178080 A CN201310178080 A CN 201310178080A CN 103235944 A CN103235944 A CN 103235944A
Authority
CN
China
Prior art keywords
crowd
arteries
stream
video
veins
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013101780805A
Other languages
English (en)
Inventor
刘云
王传旭
闫春娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Science and Technology
Original Assignee
Qingdao University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Science and Technology filed Critical Qingdao University of Science and Technology
Priority to CN2013101780805A priority Critical patent/CN103235944A/zh
Publication of CN103235944A publication Critical patent/CN103235944A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种人群流分割方法及人群流异常行为识别方法，所述人群流分割方法包括下述步骤：获取视频流，计算视频流中每一视频帧内运动粒子的二维速度场；根据二维速度场及流体力学中的脉线计算方法获得视频帧中的所有脉线及每条脉线的倾向流，将脉线及倾向流作为所述视频帧中人群流的底层特征；采用聚类算法对脉线及倾向流进行聚类，形成若干子人群流，实现人群流的分割。基于人群流分割方法对人群流分割之后，可以对分割后的子人群流进行异常行为识别。本发明在对人群流进行分割时，将人群流作为特殊的流体，采用脉线和倾向流作为人群流的底层特征作为聚类基础，实现人群流的分割，提高了人群流分割的精确度。

Description

人群流分割及人群流异常行为识别方法
技术领域
本发明属于视频图像处理技术领域，具体地说，是涉及对视频中的人群流进行处理的技术，更具体地说，是涉及人群流分割及人群流异常行为识别方法。
背景技术
视频监控场景一类是针对远距离的、人流密度比较大的场所，如城市广场、车站、繁华步行街等；另一类监控重点区域是较为偏僻的街道、已发生打架、抢劫等刑事案件的人流稀少的区域，可以较近距离监控。针对第一种低分辨率视频监控环境下的群体异常行为识别较为复杂，主要原因是人群往往不是单一的，而是自发结成的多组人群流区域，它们的行为属性各不相同。因此，要将视频监控中的异常行为识别出来，首先需要将不同的人群流定位分割出来，以便跟踪每个人群流，实现异常行为的检测和识别。
目前，针对复杂视频监控场景中不同运动行为的人群分割，有人提出了下述方法：将高密度性的群体目标运动认作流体，用混沌动力学的方法处理，即基于视频粒子流和有限时间李亚普诺夫指数场（FTLE 场），实现人群运动分割。有限时间李亚普诺夫指数表示相近粒子间的混合和分离性，反映运动粒子间的分离程度，计算所有粒子的有限时间李亚普诺夫指数，则形成有限时间李亚普诺夫指数图像，根据拉格朗日相干结构（LCS），设定阈值将该FTLE 场图像进行二值化处理，实现人群流的分割。但是，该方法存在两方面的缺陷：一方面，该方法应用范围有限，更适合于求解诸如“围绕麦加克尔白天房朝圣的环流人群”，而对于非涡流的“直行道路”人群流，其分割时在FTLE 场图像进行二值化处理中会出现多个“空洞”，使得分割结果“支离破碎”，导致分割结果过于零碎；另一方面，计算每个粒子的FTLE和LCS拉格朗日相干结构的运算量大，分割过程复杂，耗时长。
发明内容
本发明的目的之一是提供一种人群流分割方法，该方法将人群流作为特殊的流体，采用脉线和倾向流作为人群流的底层特征作为聚类基础，实现人群流的分割，提高了人群流分割的精确度。
为实现上述发明目的，本发明的人群流分割采用下述技术方案予以实现：
一种人群流分割方法，所述方法包括下述步骤：
a1、获取视频流，采用Lucas-Kanade算法获得所述视频流中每一视频帧内运动粒子的二维速度场；
a2、根据所述二维速度场及流体力学中的脉线计算方法获得所述视频帧中的所有脉线及每条脉线的倾向流，将所述脉线及所述倾向流作为所述视频帧中人群流的底层特征；
a3、采用聚类算法对所述脉线及所述倾向流进行聚类，形成若干子人群流，实现人群流的分割。
如上所述的人群流分割方法，为进一步提高分割速度，所述步骤a3包括下述子步骤：
a31、按照下述算法计算所有相邻的                                                
Figure 2013101780805100002DEST_PATH_IMAGE001
、
Figure 972521DEST_PATH_IMAGE002
两条脉线
Figure 152836DEST_PATH_IMAGE003
和
Figure 907165DEST_PATH_IMAGE004
的相似度：
，
按照下述算法计算
Figure 370825DEST_PATH_IMAGE003
的倾向流和
Figure 220576DEST_PATH_IMAGE004
的倾向流的相似度：
Figure 462201DEST_PATH_IMAGE006
，
其中，
Figure 940587DEST_PATH_IMAGE007
为脉线
Figure 318479DEST_PATH_IMAGE003
的起始点与经过该起始点的第
Figure 106175DEST_PATH_IMAGE008
个运动粒子所形成的向量，
Figure 569517DEST_PATH_IMAGE009
为脉线
Figure 851594DEST_PATH_IMAGE004
的起始点与经过该起始点的第
Figure 83992DEST_PATH_IMAGE008
个运动粒子所形成的向量， 
Figure 544055DEST_PATH_IMAGE010
为
Figure 494693DEST_PATH_IMAGE007
和的夹角；
Figure 667366DEST_PATH_IMAGE011
是脉线
Figure 796865DEST_PATH_IMAGE003
在第
Figure 234799DEST_PATH_IMAGE008
个运动粒子处的倾向流角度，
Figure 858679DEST_PATH_IMAGE012
是脉线在第
Figure 864604DEST_PATH_IMAGE008
个运动粒子处的倾向流角度，
Figure 789835DEST_PATH_IMAGE013
，为脉线中的运动粒子数；
  a32、计算上述步骤获得的脉线相似度
Figure 2013101780805100002DEST_PATH_IMAGE015
和倾向流相似度加权求和值
Figure 484625DEST_PATH_IMAGE017
，作为相邻两条脉线
Figure 834834DEST_PATH_IMAGE003
和
Figure 862833DEST_PATH_IMAGE004
的总相似度，和
Figure 188084DEST_PATH_IMAGE019
为权值， 
Figure 760010DEST_PATH_IMAGE020
是第
Figure 326121DEST_PATH_IMAGE021
条脉线所有相邻脉线的集合；
a33、根据所述总相似度进行聚类，相似度大于设定阈值的脉线聚为一类，形成若干子人群流，实现人群流的分割。
优选的，所述
Figure 814740DEST_PATH_IMAGE018
取值为0.8，所述
Figure 440893DEST_PATH_IMAGE019
取值为0.2。
如上所述的人群流分割方法，所述聚类算法优选为分水岭分割算法。
本发明的目的之二是提供一种人群流异常行为识别方法，该方法基于上述人群流分割方法，对分割后的子人群流提取特征向量，利用SVM分类器进行异常行为识别，提高了识别准确性。
为实现上述技术目的，本发明的人群流异常行为识别采用下述技术方案予以实现：
一种人群流异常行为识别方法，所述方法包括下述步骤：
b1、获取待识别的视频流，根据上述权利要求1至4中任一项所述的人群流分割方法对所述视频流中的每一视频帧内的人群流进行分割，获得若干子人群流；
b2、针对每个子人群流，根据Helmholtz分解算法计算其所含的每条脉线的势函数中的速度势及流函数；
b3、对所述速度势和所述流函数分别进行奇异值分解，获得两个奇异值特征向量，将所述两个奇异值特征向量合并为一个向量，作为相对应的子人群流在当前帧中的势函数特征向量，该子人群流在所述视频流所有视频帧中的势函数特征向量构成识别样本特征向量； 
b4、采用训练好的人群流异常行为分类器识别所述识别样本特征向量，实现子人群流异常行为的识别，进而实现人群流异常行为的识别。
如上所述的人群流异常行为识别方法，为简化识别过程，先对所述步骤b3获得的识别样本特征向量降维，再执行所述步骤b4，采用训练好的人群流异常行为分类器识别降维后的识别样本特征向量。
如上所述的人群流异常行为识别方法，所述人群流异常行为分类器采用下述步骤训练：
c1、获取正常行为若干视频流和包含异常行为的若干视频流，分别作为正样本集和负样本集；
c2、根据流体力学中的脉线计算方法计算所述正样本集中每个正样本所包含的每一视频帧及所述负样本集中每个负样本所包含的每一视频帧的脉线；
c3、根据Helmholtz分解算法计算每条脉线的势函数中的速度势及流函数；
c4、对所述速度势和所述流函数分别进行奇异值分解，获得两个奇异值特征向量，将所述两个奇异值特征向量合并为一个向量，作为当前帧中的势函数特征向量，每个正样本或负样本所有视频帧中的势函数特征向量构成训练样本特征向量；
c5、多个所述训练样本特征向量及其对应的正常行为或异常行为构成训练样本特征向量集，训练分类器参数，生成人群流异常行为SVM分类器。
如上的人群流异常行为识别方法，先对所述步骤c4获得的训练样本特征向量降维，再执行所述步骤c5，将降维后的训练样本特征向量及其对应的正常行为或异常行为构成训练样本特征向量集，训练分类器参数，获得人群流异常行为分类器。
优选的，所述人群流异常行为分类器为SVM分类器。
与现有技术相比，本发明的优点和积极效果是：
1、在进行人群流分割时，将人群流作为特殊的流体，采用人群流的脉线和倾向流作为人群流的底层特征，采用聚类算法对脉线及倾向流进行聚类来实现人群流的分割，分割准确性高，分割速度快，能够适应各种复杂监控视频的分割需求。
2、将脉线和倾向流作为底层特征，计算脉线及倾向流在时空邻域内的相似度，利用两者相似度的加权求和值作为总相似度进行聚类，使得不同人群的特征更浓缩、更明显，进一步提高了人群流分割的准确性。
3、对于每个分割出的子人群流，通过计算其速度势和流函数，并进行奇异值提取后构成子人群流的特征向量，利用SVM分类器进行异常行为识别，不仅可以准确、快速识别出视频帧中是否存在异常行为，还可以实现对异常行为在视频监控范围内的局部定位和跟踪。
结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得更加清楚。
附图说明
图1是本发明人群流分割第一个实施例的流程图；
图2是本发明人群流分割第二个实施例的流程图；
图3和图4是图2实施例中计算脉线相似度的示意图；
图5是本发明人群流异常行为识别方法一个实施例的流程图；
图6是图5中获得SVM分类器的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明的技术方案作进一步详细的说明。
首先，简要介绍本发明的设计思路：为了对低分辨率视频监控环境中的人群流进行有效、准确地分割，可以将人群流作为一种特殊的流体，利用流体的处理方法对人群流进行分割。而且，在进行人群流分割时，考虑将人群流的脉线及其倾向流作为表征人群流的底层特征，可以获得明显、浓缩的人群特征，有利于对人群流的分割。在完成人群流分割之后，可以通过对每个子人群流进行识别来判断人群流是否发生异常行为，并能对特定子人群流进行定位和跟踪，提高了异常行为识别的速度和精确度。
请参考图1，该图所示为本发明人群流分割第一个实施例的流程图。
如图1所示，该实施例分割人群流的具体步骤如下：
步骤11：流程开始。
步骤12：获取视频流，采用Lucas-Kanade算法获得视频流中每一视频帧内运动粒子的二维速度场。
获取需要处理的视频流，对视频流采用Lucas-Kanade算法（金字塔光流算法）计算光流，并根据光流计算出每一视频帧内运动粒子的二维速度场（即运动光流场）。该计算过程为现有技术，在此不作详述。
步骤13：计算视频帧中的所有脉线及每条脉线的倾向流，将脉线及倾向流作为视频帧中人群流的底层特征。
获得运动粒子的二维速度场就得到了运动粒子的位置和速度，这些运动粒子构成脉线的基本组成单元，即延伸粒子。一定时间内流经同一像素空间位置的所有运动粒子的连线构成了以该像素空间位置为起始点的一条脉线，所以，利用这些运动粒子即可计算出视频帧中的所有脉线。
脉线的具体计算过程如下：
假设点
Figure 500116DEST_PATH_IMAGE022
为运动粒子（
Figure 2013101780805100002DEST_PATH_IMAGE023
，）在时间
Figure 711578DEST_PATH_IMAGE025
、初始位置在
Figure 508633DEST_PATH_IMAGE026
点、在第
Figure 55152DEST_PATH_IMAGE027
视频帧中的位置。在
Figure 963065DEST_PATH_IMAGE026
点重复的初始化就意味着：
Figure 160697DEST_PATH_IMAGE028
            
粒子平移可以通过下述公式完成：
Figure 128653DEST_PATH_IMAGE029
         
Figure 162468DEST_PATH_IMAGE030
         
其中，是从光流中得到的速度场。
运动粒子的定义如下：
Figure 427676DEST_PATH_IMAGE032
           
式中，
Figure 566533DEST_PATH_IMAGE033
，
Figure 87644DEST_PATH_IMAGE034
。
而脉线则是一定时间内流经同一空间点的所有扩展粒子的集合，即
Figure 509584DEST_PATH_IMAGE036
。其中，，为
Figure 881157DEST_PATH_IMAGE035
内视频帧的数量。为了捕捉场景内容和群体动态在一个长的范围内变化，不能太短，但太长也会使脉线失真，该实施例优选取
Figure 887082DEST_PATH_IMAGE039
为20视频帧的时间间隔，也即
Figure 382786DEST_PATH_IMAGE040
。
倾向流是脉线中每个粒子
Figure 974304DEST_PATH_IMAGE041
的速度场在时间上的积分，定义为
Figure 855541DEST_PATH_IMAGE042
，其中， 
Figure 710365DEST_PATH_IMAGE043
，
Figure 490102DEST_PATH_IMAGE044
，其中
Figure 573727DEST_PATH_IMAGE045
，
Figure 325782DEST_PATH_IMAGE046
是两帧之间的时间间隔，即
Figure 148245DEST_PATH_IMAGE047
是该脉线时间段中的第
Figure 801129DEST_PATH_IMAGE027
视频帧中粒子的时间点。
倾向流封装的信息近似为观察窗口内的光流速度的均值信息，由于
Figure 401055DEST_PATH_IMAGE039
时间较短，它也反映了这群粒子的局部信息，为分割提供基础数据。
获得脉线及脉线的倾向流之后，将其作为视频帧中人群流的底层特征。由于脉线表征了群体运动在时间和空间上的变化，而倾向流更清晰地表征了群体运动在时间上的变化，所以，脉线和倾向流反映了不同人群流的特性，可以作为人群流聚类分割的基础数据。
步骤14：采用聚类算法对脉线及倾向流进行聚类，形成若干子人群流，从而实现对人群流的分割。
获得表征不同人群流特性的脉线和倾向流之后，采用聚类算法进行聚类，可以将具有相同脉线及倾向流的人群聚为一类，形成一个子人群流，不同脉线及倾向流的组合即可获得若干子人群流，进而实现对视频范围内以运动行为为分割依据的人群流分割。聚类时，可以采用现有技术中常用的聚类方法，在此不作繁述。
步骤15：分割流程结束。
直接采用脉线及倾向流虽然能够实现人群流的分割，但是，聚类过程比较复杂，计算量大，聚类速度慢。为克服这些缺点，可以采用图2实施例的方法来执行。
请参考图2，该图示出了本发明人群流分割第二个实施例的流程图。
如图2所示，该实施例分割人群流的具体步骤如下：
步骤21：流程开始。
步骤22：获取视频流，采用Lucas-Kanade算法获得视频流中每一视频帧内运动粒子的二维速度场。
步骤23：计算视频帧中的所有脉线及每条脉线的倾向流，将脉线及倾向流作为视频帧中人群流的底层特征。
上述步骤22及步骤23的具体处理过程与图1实施例相同，可参考上面对图1实施例的描述。
步骤24：计算所有相邻的两条脉线的相似度及其倾向流的相似度。
为简化聚类过程，该实施例采用脉线的相似度将相似的脉线进行聚类。在步骤23获得脉线及倾向流之后，计算所有相邻的两条脉线的相似度以及两条脉线所对应的倾向流的相似度。具体过程如下：
参考图3和图4的脉线相似度计算示意图所示意，设
Figure 840870DEST_PATH_IMAGE049
和是相邻的第条和第
Figure 468794DEST_PATH_IMAGE002
条脉线，每个附图中的圆圈代表运动粒子，长方形代表起始点，这些运动粒子的连线构成了该起始点处的脉线。以图3的脉线
Figure 897370DEST_PATH_IMAGE049
为例，起始点为
Figure 172494DEST_PATH_IMAGE051
，在一定时间内经过起始点的运动粒子分别为
Figure 753648DEST_PATH_IMAGE052
，…，
Figure 88814DEST_PATH_IMAGE053
，
Figure 506151DEST_PATH_IMAGE054
，
Figure 522649DEST_PATH_IMAGE055
，
Figure 207577DEST_PATH_IMAGE056
（与起始点
Figure 979224DEST_PATH_IMAGE051
重合）。而如图4所示，脉线
Figure 867546DEST_PATH_IMAGE050
的起始点为
Figure 750051DEST_PATH_IMAGE057
，在一定时间内经过该起始点的运动粒子分别为
Figure 811458DEST_PATH_IMAGE058
，…，
Figure 754007DEST_PATH_IMAGE059
，
Figure 129624DEST_PATH_IMAGE060
，，
Figure 209762DEST_PATH_IMAGE062
（与起始点
Figure 260894DEST_PATH_IMAGE057
重合）。
每个经过起始点的运动粒子都会与起始点形成一个向量，两条相邻脉线
Figure 186125DEST_PATH_IMAGE049
和
Figure 98848DEST_PATH_IMAGE050
的相似度定义为
Figure 160345DEST_PATH_IMAGE015
，该相似度是通过计算两条脉线中处于同一视频帧中的运动粒子与起始点形成的向量投影再求和得到。计算公式如下：
Figure 382379DEST_PATH_IMAGE005
式中，
Figure 794906DEST_PATH_IMAGE007
为脉线的起始点
Figure 129121DEST_PATH_IMAGE051
与经过该起始点的第
Figure 4280DEST_PATH_IMAGE008
个运动粒子所形成的向量，
Figure 904103DEST_PATH_IMAGE009
为脉线
Figure 407897DEST_PATH_IMAGE004
的起始点与经过该起始点的第
Figure 257090DEST_PATH_IMAGE008
个运动粒子所形成的向量，
Figure 581892DEST_PATH_IMAGE013
，
Figure 951693DEST_PATH_IMAGE014
为脉线中的运动粒子数，
Figure 530704DEST_PATH_IMAGE010
为
Figure 327759DEST_PATH_IMAGE007
和
Figure 874278DEST_PATH_IMAGE009
的夹角。
脉线
Figure 47771DEST_PATH_IMAGE003
的倾向流和脉线
Figure 245403DEST_PATH_IMAGE004
的倾向流的相似度定义为
Figure 151042DEST_PATH_IMAGE016
，该相似度用角度来表示，计算公式为：
Figure 247174DEST_PATH_IMAGE063
。
上式中，
Figure 644264DEST_PATH_IMAGE011
是脉线
Figure 509451DEST_PATH_IMAGE003
在第
Figure 585992DEST_PATH_IMAGE008
个运动粒子处的倾向流角度，是脉线
Figure 606086DEST_PATH_IMAGE004
在第
Figure 591360DEST_PATH_IMAGE008
个运动粒子处的倾向流角度。
步骤25：将步骤24所获得的脉线相似度
Figure 838802DEST_PATH_IMAGE015
和倾向流相似度
Figure 597941DEST_PATH_IMAGE016
加权求和：，将该加权求和值作为相邻两条脉线
Figure 428811DEST_PATH_IMAGE003
和
Figure 909471DEST_PATH_IMAGE004
的总相似度，
Figure 388863DEST_PATH_IMAGE018
和
Figure 245960DEST_PATH_IMAGE019
为权值，为预先设定的值。在该实施例中，
Figure 877930DEST_PATH_IMAGE018
取值为0.8，
Figure 214977DEST_PATH_IMAGE019
取值为0.2。
在该实施例中，相邻两条脉线的含义为：脉线
Figure 260293DEST_PATH_IMAGE003
的相邻脉线是指以该脉线
Figure 593186DEST_PATH_IMAGE003
的起始点
Figure 141979DEST_PATH_IMAGE051
为中心的8个邻域位置为起始点所形成的8条脉线。应该理解，这里的8条脉线可能是实际各不相同的8条脉线；也可能会存在相互重合的脉线；也可能是少于8条脉线，也即起始点
Figure 416971DEST_PATH_IMAGE051
的个别邻域位置未构成脉线。
步骤26：根据总相似度进行聚类，将相似度大于设定阈值的脉线聚为一类，构成一个子人群流，最终形成若干子人群流，实现人群流的分割。
聚类时可以采用现有技术中的聚类算法，该实施例优选采用分水岭分割算法来聚类。采用分水岭分割算法进行聚类的过程为现有技术，在此不作复述。
步骤27：流程结束。
对视频监控范围内的人群流根据运动特征划分为若干个子人群流之后，可以对特定子人群流进行定位、跟踪、监控异常行为等。
请参考图5，该图示出了本发明人群流异常行为识别方法一个实施例的流程图。该实施例在对人群流异常行为识别时，基于图1或图2人群流分割的实施例，也即是对应用图1或图2方法进行分割后的子人群流进行异常行为识别。
如图5所示，该实施例对人群流异常行为进行识别的过程如下：
步骤51：流程开始。
步骤52：获取待识别的视频流，对视频流中的每一视频帧进行人群流分割，获得若干子人群流。
对于待识别的视频流，确切来说是一段视频流分解为长度一般为2-3秒（约为80帧）的子视频段，将子视频段作为待识别的视频流识别单元分别识别，目的是确定其在哪个具体时间点上出现群体异常行为。而且，为了防止漏检，前后两个子段视频可以有30帧的重叠。
该步骤的具体实现过程可参考图1或图2及上述相应附图的描述。
步骤53：针对每个子人群流，根据Helmholtz分解算法计算其所含的每条脉线的势函数中的速度势及流函数。
由于对人群流进行分割的依据是人群流的脉线，所以，每个子人群流分割后，其所含有的脉线也是已知的。
与倾向流类似，势函数也是脉线的一个属性，是表征群体运动在空间上变化的一个特征描述。势函数及其速度势和流函数的计算过程如下：
根据Helmholtz分解理论（霍尔姆兹分解理论），势函数
Figure 621687DEST_PATH_IMAGE064
可以分解为不可压缩部分
Figure 820588DEST_PATH_IMAGE065
和不可旋转部分
Figure 912303DEST_PATH_IMAGE066
，即
Figure 171246DEST_PATH_IMAGE067
。其中，
Figure 863258DEST_PATH_IMAGE068
，
Figure 787221DEST_PATH_IMAGE069
。
对
Figure 248289DEST_PATH_IMAGE070
、
Figure 363619DEST_PATH_IMAGE071
、
Figure 277349DEST_PATH_IMAGE072
及
Figure 818051DEST_PATH_IMAGE073
分别沿着该脉线做空间积分，可以获得该势函数的速度势
Figure 648473DEST_PATH_IMAGE074
和流函数
Figure 983639DEST_PATH_IMAGE075
：
Figure 650244DEST_PATH_IMAGE076
，
Figure 729059DEST_PATH_IMAGE077
上式中，
Figure 915451DEST_PATH_IMAGE078
和
Figure 421519DEST_PATH_IMAGE079
分别为速度势和流函数的初始值，在该实施例中，初始值均定为零。
步骤54：对上述速度势和流函数分别进行奇异值分解，获得两个奇异值特征向量。然后，将分解后的两个奇异值特征向量合并为一个向量，作为相对应的子人群流在当前视频帧中的势函数特征向量，该子人群流在当前视频流所有视频帧中的势函数特征向量构成识别样本特征向量。
由于奇异值代表了运动视频中的主要特征，该实施例用速度势和流函数的奇异值分解提取了群体运动的主要运动特征，忽略微小的运动变化，可以大大简化群体运动的计算和分析。
步骤55：采用SVM分类器对识别样本特征向量进行识别，实现子人群流异常行为的识别，进而实现对视频帧人群流异常行为的识别。
SVM分类器是预先已经训练好的一个分类器，具体训练过程可以参考图6所示及下面对图6的描述。在对识别样本特征向量进行识别之前，为简化识别过程，可以采用降维方法、如PCA算法（主成分分析算法）先对识别样本特征向量进行降维，将至与SVM分类器所要求的维数相同，然后再输入至SVM分类器中进行识别。
识别出每个子人群流是否有异常行为，在存在有异常行为的子人群流时，则整个视频帧中的人群流存在异常行为。而且，由于是针对每个子人群流进行了识别，因此，可以准确地获知发生异常行为的子人群流位置，便于进行定位和跟踪。
步骤56：流程结束。
为方便监控者及时获知异常行为的发生，可以在识别出异常行为之后，还可以通过声光报警等方式通知监控者。
在该实施例中，SVM分类器是预先根据训练样本已经训练好的一个分类器。图6示出了获得这样一个SVM分类器的流程图。
如图6所示，训练SVM分类器的具体过程如下：
步骤61：流程开始。
步骤62：获取正样本集和负样本集。
正样本集是指正常异常行为、也即不包含异常行为的若干视频流的集合，负样本集是指包含异常行为的若干视频流的集合。
步骤63：计算正样本集中每个正样本所包含的每一视频帧及负样本集中每个负样本所包含的每一视频帧的脉线，并根据Helmholtz分解算法计算每条脉线的势函数中的速度势及流函数。
正样本集中的每个样本作为正样本，负样本集中的每个样本作为负样本，将每个正样本和每个负样本看作一个整体，计算其脉线，并根据脉线计算势函数及势函数中的速度势和流函数。具体计算过程参考上述对图1及图5的描述。
步骤64：对速度势和流函数分别进行奇异值分解，获得两个奇异值特征向量，将两个奇异值特征向量合并为一个向量，作为当前帧中的势函数特征向量，每个正样本或负样本所有视频帧中的势函数特征向量构成训练样本特征向量。
例如，可以将速度势和流函数分别分解为80维的奇异值特征向量来近似一帧视频帧，则该视频帧的势函数特征向量是80维的速度势奇异值特征向量级联80维的流函数奇异值特征向量，即获得一个160维的特征向量。样本内所有视频帧的势函数特征向量构成一个训练样本特征向量作为该样本的描述符。
步骤65：利用训练样本特征向量集训练SVM，获得人群流异常行为SVM分类器。
每个样本具有一个训练样本特征向量，所有样本的训练样本特征向量及该样本多表示的正常行为或异常行为构成训练样本特征向量集。用训练样本特征向量集训练SVM参数，从而获得人群流异常行为SVM分类器。SVM训练过程为现有技术，在此不作详细阐述。
在训练SVM时，由于步骤64中所获得的训练样本特征向量维数较高，不利于训练速度的提升，因此，优选先将训练样本特征向量进行降维，获得精简描述符。例如，对于上述160维的训练样本特征向量，采用PCA将至100维。然后，利用降维后的训练样本特征向量所构成的特征向量集来训练SVM。
图5和图6实施例采用SVM分类器作为识别用分类器，但不局限于此，也可以采用现有技术中的其他分类器，各分类器的训练和识别过程也是现有技术，在此不作具体阐述。
以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。

Claims (9)

1.一种人群流分割方法，其特征在于，所述方法包括下述步骤：
a1、获取视频流，采用Lucas-Kanade算法获得所述视频流中每一视频帧内运动粒子的二维速度场；
a2、根据所述二维速度场及流体力学中的脉线计算方法获得所述视频帧中的所有脉线及每条脉线的倾向流，将所述脉线及所述倾向流作为所述视频帧中人群流的底层特征；
a3、采用聚类算法对所述脉线及所述倾向流进行聚类，形成若干子人群流，实现人群流的分割。
2.根据权利要求1所述的人群流分割方法，其特征在于，所述步骤a3包括下述子步骤：
a31、按照下述算法计算所有相邻的                                                
Figure 427408DEST_PATH_IMAGE001
、
Figure 69610DEST_PATH_IMAGE002
两条脉线
Figure 907116DEST_PATH_IMAGE003
和的相似度：
Figure 509316DEST_PATH_IMAGE005
，
按照下述算法计算
Figure 820955DEST_PATH_IMAGE003
的倾向流和
Figure 880178DEST_PATH_IMAGE004
的倾向流的相似度：
Figure 249980DEST_PATH_IMAGE006
，
其中，
Figure 593105DEST_PATH_IMAGE007
为脉线
Figure 390160DEST_PATH_IMAGE003
的起始点与经过该起始点的第
Figure 936679DEST_PATH_IMAGE008
个运动粒子所形成的向量，为脉线
Figure 543689DEST_PATH_IMAGE004
的起始点与经过该起始点的第个运动粒子所形成的向量， 
Figure 545460DEST_PATH_IMAGE010
为和
Figure 574782DEST_PATH_IMAGE009
的夹角；
Figure 713639DEST_PATH_IMAGE011
是脉线
Figure 969171DEST_PATH_IMAGE003
在第
Figure 484466DEST_PATH_IMAGE008
个运动粒子处的倾向流角度，
Figure 155225DEST_PATH_IMAGE012
是脉线
Figure 464984DEST_PATH_IMAGE004
在第
Figure 207812DEST_PATH_IMAGE008
个运动粒子处的倾向流角度，
Figure 261219DEST_PATH_IMAGE013
，
Figure 287950DEST_PATH_IMAGE014
为脉线中的运动粒子数；
a32、计算上述步骤获得的脉线相似度
Figure 768609DEST_PATH_IMAGE015
和倾向流相似度
Figure 952728DEST_PATH_IMAGE016
加权求和值
Figure 544247DEST_PATH_IMAGE017
，作为相邻两条脉线和的总相似度，和
Figure 455254DEST_PATH_IMAGE019
为权值， 是第
Figure 29772DEST_PATH_IMAGE021
条脉线所有相邻脉线的集合；
a33、根据所述总相似度进行聚类，相似度大于设定阈值的脉线聚为一类，形成若干子人群流，实现人群流的分割。
3.根据权利要求2所述的人群流分割方法，其特征在于，所述取值为0.8，所述
Figure 181191DEST_PATH_IMAGE019
取值为0.2。
4.根据权利要求1至3中任一项所述的人群流分割方法，其特征在于，所述聚类算法为分水岭分割算法。
5.一种人群流异常行为识别方法，其特征在于，所述方法包括下述步骤：
b1、获取待识别的视频流，根据上述权利要求1至4中任一项所述的人群流分割方法对所述视频流中的每一视频帧内的人群流进行分割，获得若干子人群流；
b2、针对每个子人群流，根据Helmholtz分解算法计算其所含的每条脉线的势函数中的速度势及流函数；
b3、对所述速度势和所述流函数分别进行奇异值分解，获得两个奇异值特征向量，将所述两个奇异值特征向量合并为一个向量，作为相对应的子人群流在当前帧中的势函数特征向量，该子人群流在所述视频流所有视频帧中的势函数特征向量构成识别样本特征向量； 
b4、采用训练好的人群流异常行为分类器识别所述识别样本特征向量，实现子人群流异常行为的识别，进而实现人群流异常行为的识别。
6.根据权利要求5所述的人群流异常行为识别方法，其特征在于，先对所述步骤b3获得的识别样本特征向量降维，再执行所述步骤b4，采用训练好的人群流异常行为分类器识别降维后的识别样本特征向量。
7.根据权利要求5所述的人群流异常行为识别方法，其特征在于，所述人群流异常行为分类器采用下述步骤训练：
c1、获取正常行为若干视频流和包含异常行为的若干视频流，分别作为正样本集和负样本集；
c2、根据流体力学中的脉线计算方法计算所述正样本集中每个正样本所包含的每一视频帧及所述负样本集中每个负样本所包含的每一视频帧的脉线；
c3、根据Helmholtz分解算法计算每条脉线的势函数中的速度势及流函数；
c4、对所述速度势和所述流函数分别进行奇异值分解，获得两个奇异值特征向量，将所述两个奇异值特征向量合并为一个向量，作为当前帧中的势函数特征向量，每个正样本或负样本所有视频帧中的势函数特征向量构成训练样本特征向量；
c5、多个所述训练样本特征向量及其对应的正常行为或异常行为构成训练样本特征向量集，训练分类器参数，生成人群流异常行为SVM分类器。
8.根据权利要求7所述的人群流异常行为识别方法，其特征在于，先对所述步骤c4获得的训练样本特征向量降维，再执行所述步骤c5，将降维后的训练样本特征向量及其对应的正常行为或异常行为构成训练样本特征向量集，训练分类器参数，获得人群流异常行为分类器。
9.根据权利要求5至8中任一项所述的人群流异常行为识别方法，其特征在于，所述人群流异常行为分类器为SVM分类器。
CN2013101780805A 2013-05-15 2013-05-15 人群流分割及人群流异常行为识别方法 Pending CN103235944A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013101780805A CN103235944A (zh) 2013-05-15 2013-05-15 人群流分割及人群流异常行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013101780805A CN103235944A (zh) 2013-05-15 2013-05-15 人群流分割及人群流异常行为识别方法

Publications (1)

Publication Number Publication Date
CN103235944A true CN103235944A (zh) 2013-08-07

Family

ID=48883983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013101780805A Pending CN103235944A (zh) 2013-05-15 2013-05-15 人群流分割及人群流异常行为识别方法

Country Status (1)

Country Link
CN (1) CN103235944A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473533A (zh) * 2013-09-10 2013-12-25 上海大学 视频运动对象异常行为自动检测方法
CN104933726A (zh) * 2015-07-02 2015-09-23 中国科学院上海高等研究院 一种基于时空信息约束的密集群体分割方法
CN106066993A (zh) * 2016-05-23 2016-11-02 上海交通大学 一种人群语义分割方法及系统
US9600896B1 (en) 2015-11-04 2017-03-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting pedestrian flows in videos
CN106813677A (zh) * 2016-12-28 2017-06-09 华中科技大学 一种可多台并行工作的多维运动学数据测量装置
CN107016387A (zh) * 2016-01-28 2017-08-04 苏宁云商集团股份有限公司 一种识别标签的方法及装置
CN108537118A (zh) * 2018-03-07 2018-09-14 上海交通大学 基于流体力学三种描述子的行为识别方法
CN108596003A (zh) * 2018-04-11 2018-09-28 中山大学 一种基于机器学习的污损二维码修复方法及系统
CN108764011A (zh) * 2018-03-26 2018-11-06 青岛科技大学 基于图形化交互关系建模的组群识别方法
US10210398B2 (en) 2017-01-12 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for predicting flow of crowds from limited observations
CN109658554A (zh) * 2018-11-19 2019-04-19 合肥未来计算机技术开发有限公司 一种基于大数据的智能小区安防系统
CN109766834A (zh) * 2019-01-10 2019-05-17 成都师范学院 一种基于粒子流的人群疏散方法
CN109829378A (zh) * 2018-12-28 2019-05-31 歌尔股份有限公司 道路抛撒行为的识别方法、装置及电子设备
CN110837774A (zh) * 2019-09-27 2020-02-25 中科九度(北京)空间信息技术有限责任公司 一种肩扛棒状物组合目标的高精度识别方法
CN110852247A (zh) * 2019-11-07 2020-02-28 北京云迹科技有限公司 异常检测方法、装置、电子设备及计算机可读存储介质
CN111160150A (zh) * 2019-12-16 2020-05-15 盐城吉大智能终端产业研究院有限公司 基于深度残差神经网络卷积的视频监控人群行为的识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
CN102004920A (zh) * 2010-11-12 2011-04-06 浙江工商大学 一种监控视频分割及索引方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
CN102004920A (zh) * 2010-11-12 2011-04-06 浙江工商大学 一种监控视频分割及索引方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RAMIN MEHRAN等: "A Streakline Representation of Flow in Crowded Scenes", 《COMPUTER VISION-ECCV 2010》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473533A (zh) * 2013-09-10 2013-12-25 上海大学 视频运动对象异常行为自动检测方法
CN103473533B (zh) * 2013-09-10 2017-03-15 上海大学 视频运动对象异常行为自动检测方法
CN104933726B (zh) * 2015-07-02 2018-06-26 中国科学院上海高等研究院 一种基于时空信息约束的密集群体分割方法
CN104933726A (zh) * 2015-07-02 2015-09-23 中国科学院上海高等研究院 一种基于时空信息约束的密集群体分割方法
US9600896B1 (en) 2015-11-04 2017-03-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting pedestrian flows in videos
CN107016387B (zh) * 2016-01-28 2020-02-28 苏宁云计算有限公司 一种识别标签的方法及装置
CN107016387A (zh) * 2016-01-28 2017-08-04 苏宁云商集团股份有限公司 一种识别标签的方法及装置
CN106066993B (zh) * 2016-05-23 2019-08-09 上海交通大学 一种人群语义分割方法及系统
CN106066993A (zh) * 2016-05-23 2016-11-02 上海交通大学 一种人群语义分割方法及系统
CN106813677A (zh) * 2016-12-28 2017-06-09 华中科技大学 一种可多台并行工作的多维运动学数据测量装置
CN106813677B (zh) * 2016-12-28 2018-06-29 华中科技大学 一种可多台并行工作的多维运动学数据测量装置
US10210398B2 (en) 2017-01-12 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for predicting flow of crowds from limited observations
CN108537118A (zh) * 2018-03-07 2018-09-14 上海交通大学 基于流体力学三种描述子的行为识别方法
CN108537118B (zh) * 2018-03-07 2021-03-09 上海交通大学 基于流体力学三种描述子的行为识别方法
CN108764011A (zh) * 2018-03-26 2018-11-06 青岛科技大学 基于图形化交互关系建模的组群识别方法
CN108764011B (zh) * 2018-03-26 2021-05-18 青岛科技大学 基于图形化交互关系建模的组群识别方法
CN108596003A (zh) * 2018-04-11 2018-09-28 中山大学 一种基于机器学习的污损二维码修复方法及系统
CN108596003B (zh) * 2018-04-11 2021-07-16 中山大学 一种基于机器学习的污损二维码修复方法及系统
CN109658554A (zh) * 2018-11-19 2019-04-19 合肥未来计算机技术开发有限公司 一种基于大数据的智能小区安防系统
CN109658554B (zh) * 2018-11-19 2020-11-24 合肥未来计算机技术开发有限公司 一种基于大数据的智能小区安防系统
CN109829378A (zh) * 2018-12-28 2019-05-31 歌尔股份有限公司 道路抛撒行为的识别方法、装置及电子设备
CN109766834A (zh) * 2019-01-10 2019-05-17 成都师范学院 一种基于粒子流的人群疏散方法
CN109766834B (zh) * 2019-01-10 2021-07-27 成都师范学院 一种基于粒子流的人群疏散方法
CN110837774A (zh) * 2019-09-27 2020-02-25 中科九度(北京)空间信息技术有限责任公司 一种肩扛棒状物组合目标的高精度识别方法
CN110852247A (zh) * 2019-11-07 2020-02-28 北京云迹科技有限公司 异常检测方法、装置、电子设备及计算机可读存储介质
CN111160150A (zh) * 2019-12-16 2020-05-15 盐城吉大智能终端产业研究院有限公司 基于深度残差神经网络卷积的视频监控人群行为的识别方法

Similar Documents

Publication Publication Date Title
CN103235944A (zh) 人群流分割及人群流异常行为识别方法
Wang et al. A self-training approach for point-supervised object detection and counting in crowds
Singh et al. Deep spatio-temporal representation for detection of road accidents using stacked autoencoder
Xu et al. Segment as points for efficient online multi-object tracking and segmentation
Ge et al. An attention mechanism based convolutional LSTM network for video action recognition
Gawande et al. Pedestrian detection and tracking in video surveillance system: issues, comprehensive review, and challenges
Castellano et al. Crowd detection in aerial images using spatial graphs and fully-convolutional neural networks
Hakeem et al. Video analytics for business intelligence
Olatunji et al. Video analytics for visual surveillance and applications: An overview and survey
Ullah et al. A comprehensive review on vision-based violence detection in surveillance videos
Tomar et al. Crowd analysis in video surveillance: A review
Chai et al. CrowdGAN: Identity-free interactive crowd video generation and beyond
Xu et al. Ground plane context aggregation network for day-and-night on vehicular pedestrian detection
Zhou et al. Efficient traffic accident warning based on unsupervised prediction framework
Huo et al. 3DVSD: An end-to-end 3D convolutional object detection network for video smoke detection
Chauhan et al. Study of moving object detection and tracking for video surveillance
Rishika et al. Real-time vehicle detection and tracking using YOLO-based deep sort model: A computer vision application for traffic surveillance
Dong et al. Fast segmentation-based object tracking model for autonomous vehicles
Huang et al. A detection method of individual fare evasion behaviours on metros based on skeleton sequence and time series
Foszner et al. Development of a realistic crowd simulation environment for fine-grained validation of people tracking methods
Agarwal et al. isgan: An improved sgan for crowd trajectory prediction from surveillance videos
Hu et al. DMFFNet: Dual-mode multi-scale feature fusion-based pedestrian detection method
Alzahrani et al. Anomaly detection in crowds by fusion of novel feature descriptors
Modi et al. A survey on crowd anomaly detection
Zhang et al. Lightweight mobile network for real-time violence recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Liu Yun

Inventor after: Wang Chuanxu

Inventor after: Yan Chunjuan

Inventor after: Niu Qiuna

Inventor after: Wen Weijun

Inventor after: Hu Qiang

Inventor before: Liu Yun

Inventor before: Wang Chuanxu

Inventor before: Yan Chunjuan

CB03 Change of inventor or designer information
COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: LIU YUN WANG CHUANXU YAN CHUNJUAN TO: LIU YUN WANG CHUANXU YAN CHUNJUAN NIU QIUNA WEN WEIJUN HU QIANG

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130807