CN104392445A - 一种监控视频中人群小群体分割方法 - Google Patents

Abstract

本发明公开了一种在监控视频中的小群体分割方法，包括的步骤如下：（一）对监控视频中每帧图像进行行人检测及跟踪，获得行人运动特征；（二）获取视频图像中每个行人原子行为；（三）构建每对行人的运动特征关联度能量函数；（四）根据行人交互关联度计算行人隶属度值寻找人群集合，完成小群体分割。为研究监控视频场景中小群体交互行为，解决如何把人群分割为一个个小群体提出了有效方法。

Description

一种监控视频中人群小群体分割方法

技术领域

本发明属于视频监控中的视频行为检测与监控方向，具体涉及一种监控视频中人群小群体分割方法，对人群交互行为的深入分析具有重要意义。

背景技术

随着城市人口的快速增长和城市环境的日益复杂，群体性事件如骚乱、恐怖袭击等城市突发社会安全事件严重影响着城市公共安全。而人们对安全需求的提高，使得建设平安城市已经成为当今国际社会的一个重要主题。研究表明，参加活动的人至少有89%的人与其他人结伴而来，离开活动时 94％的人与他人结伴离去。先前的大多数工作都集中于单人行为分析、两人的行为交互识别和单个群体行为分析。国外已有一些大学与研究机构开始关注小群体级别的交互行为识别技术，包括宾西法尼亚州立大学、哈佛大学、马里兰大学、康奈尔大学、俄勒冈州立大学、通用电气全球研究中心计算机视觉实验室与日本先进科技研究所等在小群体交互行为识别方面取得了一定的成就。相对于外国学者及研究机构，我国对交互行为识别的研究存在一定的滞后，但近几年国家对此项课题的投入也逐渐增多。例如，北京理工大学、上海交通大学、中国科学院自动化研究所、中国科学院电子学研究所、吉林大学、东南大学，他们均推动了智能视频监控技术在国内的发展。不过对视频监控中小群体交互行为识别的研究方面国内还很少。因此，监控视频场景中的人群小群体分割仍是一个值得研究的关键技术。

发明内容

为研究监控视频场景中小群体交互行为，解决如何把人群分割为一个个小群体的问题。本发明提出一种在监控视频中的小群体分割方法，包括的步骤如下：

（一）对监控视频中每帧图像进行行人检测及跟踪，获得行人运动特征；

（二）获取视频图像中每个行人原子行为特征；

（三）构建每对行人的运动特征关联度能量函数；

   （四）根据行人交互关联度计算行人隶属度值寻找人群集合，完成小群体分割。

 进一步的，步骤一包括如下步骤：（1）行人检测：对视频的每一帧采用基于梯度方向直方图特征(HOG)的行人检测算法进行行人检测，该方法使用人体对称性检测筛选出行人候选区域，再结合HOG特征和SVM分类器对候选区域进行验证；

（2）行人跟踪及轨迹提取：采用多目标跟踪方法，定义一个能量函数来奖励合理的轨迹，惩罚不合理的轨迹，由轨迹的观察一致性、速度守恒性、位置互斥性、轨迹连续性等一系列的特征，使用一个合理的优化方法来找到能量函数的最小值，从而得到行人运动的轨迹，然后，运用帧差法求得行人的速度大小和方向特征。

进一步的，步骤（二）包括如下步骤：

（1）计算优化后行人行为特征

     通过一个行人特征优化矩阵                                                来提高行人特征的鲁棒性，令，计算得到的为经过优化后的行人行为特征，通过行人检测及跟踪获得的行人速度大小、方向、轨迹特征、描述行人姿势的梯度直方图特征作为行人行为描述子，即单一行人行为时空特征；

（2）训练行人特征优化转换矩阵

    行人特征优化矩阵的行人行为特征函数为：

     其中，代表四个摄像头参数，是视角参数、是分辨率参数、可视距离，表示光照参数；使行人行为特征函数最大的矩阵即为我们所求的优化矩阵；为相似度函数，是通过优化后行人行为特征计算两种行为、的相似度，表示在摄像头参数下，具有相同的参数值并且与是同类行为的集合，表示在摄像头参数下，具有不同的参数值且与是同类行为的集合，表示在摄像头参数下，与是不同类行为的集合；、为权值。

（3）获取单人原子行为特征

将优化后的行人行为特征采用分层狄利克雷混合模型获取行人单人原子行为类别数，然后根据潜在狄利克雷分布模型，计算行人单人原子行为直方图，来表征行人单人原子行为特征。

进一步的，步骤（三）包括如下步骤：

（1）令相似的关联度因子中可以是关于的减函数；

（2）计算每对行人轨迹关联度能量函数

（3）计算每对行人速度大小关联度能量函数

（4）计算每对行人速度方向关联度能量函数

（5）计算每对行人单人原子行为关联度能量函数为

进一步的，步骤（四）包括如下步骤：

（1）定义隶属度

如果用一个平面图形来反映人与人之间的关系，图形中的点代表人，边代表人与人之间的关联度；那么，图像中行人的关联度可以用一个对称矩阵来表示，行人隶属于人群集合的平均隶属度值为,为人群集合成员数量；令，则；

（2）计算行人隶属于人群集合的隶属度值

     首先人群集合成员人数的初始值1，然后计算其他非此人群集合行人隶属于这个人群集合的隶属度值

     其中，如果,,表示在一个除去成员的人群集合中的隶属度值，这里的隶属度值有四个； 

（3）确定人群集合成员

对于所有的人群集合里成员的四个隶属度值都满足,若有一个隶属度值，则不是此人群集合的成员，因此得到人群集合成员及其总人数，对所有的非主集成员重复步骤（四），直到只剩下一个人为止，最终将整个人群分成多个人群集合即小群体。

附图说明

    图1本发明总流程示意图。

    图2行人原子行为特征提取流程示意图。

具体实施方式

    下面结合附图对本发明作进一步说明。

如图1和2所示，本发明的监控视频中人群小群体分割方法，包括的步骤如下：

1、对监控视频中每帧图像进行行人检测及跟踪，获得行人运动特征：

（1）行人检测：对视频的每一帧采用基于梯度方向直方图特征(HOG)的行人检测算法进行行人检测，该方法使用人体对称性检测筛选出行人候选区域，再结合HOG特征和SVM分类器对候选区域进行验证。可以加快检测速度，同时减少误检率，从而获取每帧图像上行人的位置信息。

（2）行人跟踪及轨迹提取：这里用一种多目标跟踪方法，定义一个能量函数来奖励合理的轨迹，惩罚不合理的轨迹。由轨迹的观察一致性、速度守恒性、位置互斥性、轨迹连续性等一系列的特征，使用一个合理的优化方法来找到能量函数的最小值，从而得到行人运动的轨迹。然后，运用帧差法求得行人的速度大小和方向特征。

2、获取视频图像中每个行人原子行为

（1）计算优化后行人行为特征

     考虑到视角、分辨率、可视距离等摄像头参数以及光照条件对同一行为的行人特征产生的影响，本发明通过一个行人特征优化矩阵来提高行人特征的鲁棒性。令，计算得到的为经过优化后的行人行为特征。本说明将通过行人检测及跟踪获得的行人速度大小、方向、轨迹特征、描述行人姿势的梯度直方图特征作为行人行为描述子，即单一行人行为时空特征。   

（2）训练行人特征优化转换矩阵

     行人特征优化矩阵的行人行为特征函数为：

     其中，代表四个摄像头参数，是视角参数、是分辨率参数、可视距离，表示光照参数。使行人行为特征函数最大的矩阵即为我们所求的优化矩阵。、为权值。为相似度函数，是通过优化后行人行为特征计算两种行为、的相似度，表示在摄像头参数下，具有相同的参数值并且与是同类行为的集合，表示在摄像头参数下，具有不同的参数值且与是同类行为的集合，表示在摄像头参数下，与是不同类行为的集合。这样既考虑了同一类行为在不同参数下的相似度最大化也考虑了类间行为相似度的最小化，提高了行人行为特征对于摄像头参数及环境变化的鲁棒性。

（3）获取单人原子行为特征

    将优化后的行人行为特征采用分层狄利克雷混合模型获取行人单人原子行为类别数，然后根据潜在狄利克雷分布模型，计算行人单人原子行为直方图，来表征行人单人原子行为特征。

3、构建每对行人的运动特征关联度能量函数

（1）令相似的关联度因子其中，表示第个行人在时刻的轨迹、运动方向、速度大小、原子行为四个行人特征，表示第个行人在时刻的轨迹、运动方向、速度大小、原子行为四个行人特征，是一个关于四个变量的函数。可以是关于的减函数（负指数函数或者反比例函数等）。

（2）计算每对行人轨迹关联度能量函数

其中，，表示第个行人和第个行人一帧的运动轨迹长度。、、和指的是在时刻第个行人和第个行人在、轴方向的坐标。

（2）计算每对行人速度大小关联度能量函数

其中，和表示在时刻两人的速度大小、表示两人的帧间速度相关度。表示两人帧内速度关联度。

（4）计算每对行人速度方向关联度能量函数

其中，和表示在时刻两人的位置连线与他们速度方向的夹角，指的是两人帧间速度方向关联度。

（4）计算每对行人单人原子行为关联度能量函数为

   其中，和表示在时刻两人的原子行为直方图，指的是两人原子行为关联度。

4、根据行人交互关联度计算行人隶属度值 寻找人群集合，完成小群体分割。

   （1）定义隶属度

如果用一个平面图形来反映人与人之间的关系，图形中的点代表人，边代表人与人之间的关联度（即行人轨迹关联度、运动方向关联度、速度关联度，原子行为关联度）。那么，图像中行人的关联度可以用一个对称矩阵来表示，行人隶属于人群集合的平均隶属度值为,为人群集合成员数量。令 ，则；

（2）计算行人隶属于人群集合的隶属度值

     首先人群集合成员人数的初始值1，然后计算其他非此人群集合行人隶属于这个人群集合的隶属度值

     其中，如果,,表示在一个除去成员的人群集合中的隶属度值。这里的隶属度值有四个。 

（3）确定人群集合成员

    对于所有的人群集合里成员的四个隶属度值都满足,若有一个隶属度值，则不是此人群集合的成员，因此得到人群集合成员及其总人数，对所有的非主集成员重复步骤（四），直到只剩下一个人为止，最终将整个人群分成多个人群集合即小群体。

Claims (5)

1.一种监控视频中人群小群体分割方法，包括如下步骤：

（一）对监控视频中每帧图像进行行人检测及跟踪，获得行人运动特征；

（二）获取视频图像中每个行人原子行为特征；

（三）构建每对行人的运动特征关联度能量函数；

（四）根据行人交互关联度计算行人隶属度值寻找人群集合，完成小群体分割。

2.如权利要求1所述的监控视频中人群小群体分割方法，其特征在于：步骤一包括如下步骤：（1）行人检测：对视频的每一帧采用基于梯度方向直方图特征(HOG)的行人检测算法进行行人检测，该方法使用人体对称性检测筛选出行人候选区域，再结合HOG特征和SVM分类器对候选区域进行验证；

（2）行人跟踪及轨迹提取：采用多目标跟踪方法，定义一个能量函数来奖励合理的轨迹，惩罚不合理的轨迹，由轨迹的观察一致性、速度守恒性、位置互斥性、轨迹连续性等一系列的特征，使用一个合理的优化方法来找到能量函数的最小值，从而得到行人运动的轨迹，然后，运用帧差法求得行人的速度大小和方向特征。

3.如权利要求1所述的监控视频中人群小群体分割方法，其特征在于：步骤（二）包括如下步骤：

（1）计算优化后行人行为特征

     通过一个行人特征优化矩阵                                                来提高行人特征的鲁棒性，令，计算得到的为经过优化后的行人行为特征，通过行人检测及跟踪获得的行人速度大小、方向、轨迹特征、描述行人姿势的梯度直方图特征作为行人行为描述子，即单一行人行为时空特征；

（2）训练行人特征优化转换矩阵

     行人特征优化矩阵的行人行为特征函数为：

     其中，代表四个摄像头参数，是视角参数、是分辨率参数、可视距离，表示光照参数；使行人行为特征函数最大的矩阵即为我们所求的优化矩阵；为相似度函数，是通过优化后行人行为特征计算两种行为、的相似度，表示在摄像头参数下，具有相同的参数值并且与是同类行为的集合，表示在摄像头参数下，具有不同的参数值且与是同类行为的集合，表示在摄像头参数下，与是不同类行为的集合；

（3）获取单人原子行为特征

将优化后的行人行为特征采用分层狄利克雷混合模型获取行人单人原子行为类别数，然后根据潜在狄利克雷分布模型，计算行人单人原子行为直方图，来表征行人单人原子行为特征。

4.如权利要求1所述的监控视频中人群小群体分割方法，其特征在于：步骤（三）包括如下步骤：

（1）令相似的关联度因子中可以是关于的减函数；

（2）计算每对行人轨迹关联度能量函数

（3）计算每对行人速度大小关联度能量函数

（4）计算每对行人速度方向关联度能量函数

（5）计算每对行人单人原子行为关联度能量函数为

             。

5.如权利要求1所述的监控视频中人群小群体分割方法，其特征在于：步骤（四）包括如下步骤：

（1）定义隶属度

如果用一个平面图形来反映人与人之间的关系，图形中的点代表人，边代表人与人之间的关联度；那么，图像中行人的关联度可以用一个对称矩阵来表示，行人隶属于人群集合的平均隶属度值为,为人群集合成员数量；令 ，则；

（2）计算行人隶属于人群集合的隶属度值

     首先人群集合成员人数的初始值1，然后计算其他非此人群集合行人隶属于这个人群集合的隶属度值

     其中，如果,,表示在一个除去成员的人群集合中的隶属度值，这里的隶属度值有四个，包括行人轨迹、速度大小、速度方向、单人原子行为隶属度； 

（3）确定人群集合成员

对于所有的人群集合里成员的四个隶属度值都满足,若有一个隶属度值，则不是此人群集合的成员，因此得到人群集合成员及其总人数，对所有的非主集成员重复步骤（四），直到只剩下一个人为止，最终将整个人群分成多个人群集合即小群体。