CN107958260B - 一种基于多特征融合的群体行为分析方法 - Google Patents

Abstract

本发明公开了一种基于多特征融合的群体行为分析方法，属于机器视觉与智能信息处理领域。该方法一方面研究了群组级别的群体行为特性，提取出一系列表征局部运动信息的特征描述符，包括群集性、稳定性、一致性和冲突性。另一方面，该方法引入了一种新的多维光流直方图特征，以表征全局运动信息，并采用多层字典学习方法进行进一步优化。最后，通过融合局部和全局运动特征描述符，构成可全面描述群体行为的特征集合，可应用于群体行为分析与行为识别等方面。通过真实视频库上进行的实验，本发明的合理性和有效性得到证明。

Description

一种基于多特征融合的群体行为分析方法

技术领域

本发明涉及一种群体运动研究方法，尤其涉及一种基于多特征融合的群体行为分析方法，属于机器视觉与智能信息处理领域。

背景技术

群体运动是自然界中普遍存在的，种类繁多且规模各异。群体运动广泛存在于各类群体系统中，例如，天体聚集形成的星系运动，蚁群等生物体的活动以及公共场所中人群的群体行为。在实际生活中，群体运动的分析和研究在视觉监控、人群管理等相关领域带来了一系列关键应用，具体包括人群流量统计和拥塞分析、异常检测和报警、开发人群管理战略等多个方面。

基于多特征融合的群体行为分析方法在技术上提取主要包括多特征提取和群体行为识别两大部分。首先，在对群体行为进行分析之前，需要先提取多个特征，如群集性、流体特征、局部时空特征等。群集性取决于多个因素，如个体决定，人群密度和场景结构等。Zhou等首次提出了群集性的概念，用以描述群体行为中个体作为一个整体的协作程度。Shao等用马尔科夫过程描述群体行为，在群组级别计算群集性描述子，且提取了群组的稳定性、一致性、冲突性特征。光流计算连续两帧之间像素的瞬间运动，被广泛用于异常行为识别，群体运动检测和分割等。粒子流提供了从粒子的初始位置到一段时间后粒子位置的轨迹信息，解决了光流无法获取长时轨迹的问题，在群体分割和人群异常行为检测方面取得了一定成果。此外，典型的群体运动一般具有规律性和重复性，故可以根据从轨迹中提取的运动特征来分析群体运动，如目标之间的相对距离，加速度或能量等。考虑到复杂场景中获取完整轨迹的困难，一种新的运动特征轨段被提出，即短时间内跟踪方法所获得的轨迹片段，在轨迹聚类、行为识别等方面得到了广泛应用。

为了分析群体场景中的运动模式，多种聚类方法被提出。第一类是基于流体力学模型的运动模式聚类方法，即把运动群体看作由不同动态区域组成的流体。Ali等采用拉格朗日拟序结构来进行运动模式分割，揭示了速度场潜在的流体结构特性，但是这种方法的缺点在于不能很好区分缓慢运动的群体，且可能会过度分割低密度的群体。Wang等利用高精度的变分模型改进了经典的纹线流方法，从而实现更准确的运动模式分割。第二类方法是利用轨迹/轨段相似性实现群体运动模式聚类。Zhao等在轨段的基础上，通过流形学习推断场景的几何结构及视频中的运动模式。Zhou等利用KLT关键点跟踪方法获得的轨段，检测群体场景中的相干运动模式。此外，第三类运动模式聚类方法是基于统计概率模型的，如高斯混合模型，隐含狄利克雷分布模型，随机场主题模型等等。

发明内容

本发明提出了一种基于多特征融合的群体行为分析方法，充分提取并利用视频图像中的局部和全局运动信息，用于对视频图像中的群体行为进行分析。

本发明通过以下技术方案来实现上述目的：

(1)群组级别特征提取

组是构成群体的主要实体，研究表明一个群组不仅是空间上相邻个体的集合，是表现各种基本的组内和组间特性的动态单元，这里把一系列有着共同目标和群体行为的成员归入同一个群组。对于τ帧的视频短片，利用群集转变(Collective transition,CT)方法检测到一系列群组

每组包含由KLT特征点跟踪方法获取的轨段集合{z}。对每个被检测到的群组，要提取一组视觉描述符来表示其特性。

为了便于说明，假定某个检测到的群组一帧中有n个成员，形成一个K-NN图G(V，E)，其顶点V代表成员，成员对由边缘E连接。边缘的计算通过关联矩阵W，矩阵元素为

其中w_ij为两个成员的空间距离。在所给视频片段的每一帧，记一个成员z的近邻为

A.群集性特征

群集性反映群体行为中个体作为一个整体的协作程度。这里在群组检测的基础上量化群集性，群组

的群集性表示为

其中|.|表示输入集合的基数,∈(z,A)定义为

的值高就表明群组成员向着共同目的地一致运动。此描述符可有效用于从马拉松、自动扶梯等场景观测到的高群集性群组中区分出低群集性的群组。

B.稳定性特征

稳定性表征群组随着时间的推移内部拓扑结构的不变性,类似于化学中的分子稳定性。特别地，稳定成员往往维持一组相似的近邻；与邻居保持一定的拓扑距离；离开当邻域可能性较小。根据这些特性提出了以下3个稳定性描述。

第一个稳定性描述符，通过计算单位时间内各成员在K-NN图中的不变邻居数并取均值得到：

其中

第二个稳定描述符是用来检查成员与其近邻是否保持一定的拓扑距离，揭示 了群组的成员之间拓扑结构的变化信息。首先根据两两成员间的亲和力，对一个成员(z)的近邻进行排序，随后利用the Levenshtein string metric distance

^[42]来比较每连续两帧的排名。若二者是相同的，则

若是成员的排名有所改变，则

通过收集τ帧的

对每个成员(z)构建了有K个小区间的直方图h(z)。第二个稳定描述符则作为平均直方图得到

第三个稳定性描述符测量成员离开其当前邻域的可能性。假设所有群组成员随机游走，即允许成员在组内自由游走及与其他成员形成新的邻域集合。于是测量成员初始和最终转移概率之间的差别作为其稳定性。初始化转移概率矩阵P∈R^n×n为

P＝D^-1W (5)

D是对角矩阵，其元素D_ii＝∑_jw_ij。第i个成员“游走”并“加入”其他成员的概率分布定义如下

其中q∈R^1×n，I是单位矩阵，e_i＝(e₁；…；e_n)^T是指标向量，e_i＝1及e_\i＝0。参数α的范围为0<α<1/(ρ)，其中ρ(P)表示P的谱半径.设α＝0.9/K。第i个成员的稳定性通过测量第一帧和最后一帧间q_i的KL散度来计算。KL散度s^kl的值越低表示稳定性越高。最后通过取所有成员的s^kl的平均值来计算第三个稳定性描述符：

结合上述三个稳定描述符，得到稳定性特征为

C.一致性特征

一致性是表征群组空间分布均匀性的重要性质。如果一个群组的成员相互靠近且空间上是均匀分布的，则其空间分布的同源性较高。非均匀的群组有进一步被分成子集合的倾向。

一致性通过推断K-NN中图割的最佳数量(C*)来量化。较高的C*表示更高程度的不均匀性。通过凝聚聚类和模块化函数Q生成了分层集群(H)，用于寻找C*。具体地，给定一个聚类数c，由H得到图形分割{V₁,…,V_c}，对于c∈{1,…,C}计算Qc，它的最大值表明分割的最佳数量：

其中A(V′,V″)＝∑_{i∈V′,j∈V″}w(i,j)。

由于群组的一致性可能随着群组的变化而变化，利用一段时间内最佳数量的均值和方差来表征一致性：

D.冲突性特征

冲突性表征了群组之间彼此接近时的互动、摩擦等。内部成员的外边界组成群组的轮廓，而冲突点被定义为K-NN序列中包含其他组成员的成员。此处定义的K-NN集合允许包含来自其他群组的成员。要计算冲突形状上下文描述符，第一步是引入以每个冲突点为中心的极坐标系^[43]，计算轮廓特征点的频率并绘制相对坐标的直方图，从而获取每个冲突点的空间分布。第二步是训练视频片段进行K均值聚类，在直方图上构建词汇表，并生成BoW(Bag of Words)表示。使用局部约束线性编码，第i个冲突点有词汇分布U_i。于是进一步计算得到冲突性描述子：

∈(z,A)定义于公式(2)中，A是冲突点所在群组的CT因子。直观地说，如果冲突点的近邻大多是不符合A的其他组成员，∈^conf值会较高。最终群组的冲突性是通过

加权的最大汇总来计算。

(2)多维光流直方图特征提取

在研究拥挤场景的群体行为时，跟踪个人或物体总是困难的，甚至是不可行的。提取流体特征避免了宏观水平的跟踪，有效解决了复杂场景中运动信息的获取问题。光流特征能有效地表示视频中的目标运动信息，已被广泛应用于各类行为识别方法，但是由于其特征维度相对较低，在处理较复杂的视频时难以取得好的效果。为解决这一问题，Cong等提出了一种新颖的多维光流直方图(Multi-scale Histogram of Optical Flow,MHOF)特征，不仅提供了图像中的运动信息，也包含着空间情景信息，使特征向量蕴含的信息更加丰富。

多维光流直方图方法是通过对光流信息的多维编码实现特征维度的提升。为了使提取到的特征能更好得表征场景中的运动模式信息，首先要对输入图像进行优化分块处理，对图片进行2×2分块后再进行MHOF特征提取。MHOF将提取到的光流特征分为内外两层，即K＝16位。向量中开始的8位是方向信息以及运动能量r＜τ的内层部分，后8位对应r＞τ的外层部分，具体计算公式如下：

(3)多层字典学习

采用分层光流方法对每一段视频处理之后，得到维数为16*16的多维光流直方图特征。采用一种多层字典学习的方法对多维光流直方图进行处理，在降低原始特征维度的同时获得更高层的视频描述特征。

第一步，采用K-SVD对原始多维光流直方图特征处理，学习得到字典D₁。K-SVD方法用于训练得到完备字典，其计算公式如(14)所示，T表示稀疏度。

α方式更新方式如下：

其中，d_i为字典D的第i列，K为字典的原子总数，d_k和

求解公式如下：

E_k通过SVD方法进行分解，所有原子进行上述运算。

第二步，将D₁作为样本数据，再次进行K-SVD训练，得到维度更低的字典D₂，从而得到最终的多维光流直方图特征，亦即全局特征描述符。

(4)群体行为识别

根据步骤(1)，计算出群组级别的群集性、稳定性、一致性、冲突性特征描述符{Φ^coll,Φ^stab,Φ^unif,Φ^conf}，是表征局部信息的局部特征。

根据步骤(2)(3)，计算出通过多层字典学习后的多维光流直方图特征Φ^MHOF，是表征整体信息的全局特征。

在此，融合群体行为的局部特征和全局特征，构成表征群体行为的特征集合，可表示为{Φ^coll,Φ^stab,Φ^unif,Φ^conf,Φ^MHOF}。最后，选用SVM分类器做训练识别， 对群体行为进行识别分类，检测出视频中不同的群体行为。

附图说明

图1是本发明所述群体行为分析方法的整体流程图。

图2是本方法的混淆矩阵(平均准确率为72.5％)。

具体实施方式

下面结合附图对本发明作进一步说明：

如图1所示，采用以下步骤对视频中的群体行为进行分析。

(1)群组级别特征提取

a.输入一段τ帧的视频序列图像，利用群集转变方法进行群组检测与分割，得到一系列群组

每组包含由KLT特征点跟踪方法获取的轨段集合{z}。

b.对每个被检测到的群组，要提取一组视觉描述符来表征其局部运动信息，即依次计算群集性、稳定性、一致性、冲突性特征描述符。

(2)多维光流特征提取

输入一段τ帧的视频序列图像，先进行优化分块处理，进行2×2分块后再进行多维光流直方图特征的计算，通过对光流信息的多维编码实现特征维度的提升，以充分表征视频图像中的全局运动信息和空间情景信息。

(3)多层字典学习

根据步骤(2)，得到维数为16*16的多维光流直方图特征。采用一种多层字典学习的方法对多维光流直方图进行处理，降低原始特征维度，同时获得更高层的视频描述特征，使多维光流直方图特征表征更加丰富的全局运动信息。

(4)群体行为识别

根据前面所述的三个步骤，得到了表征局部运动信息的局部特征描述符集合{Φ^coll,Φ^stab,Φ^unif,Φ^conf}，和表征全局运动特征的多维光流特征Φ^MHOF，进行融合后，构成表征群体行为的特征集合，可表示为{Φ^coll,Φ^stab,Φ^unif,Φ^conf,Φ^MHOF}。最后，选用SVM分类器进行训练识别。

为了验证本发明提出的基于多特征融合的群体行为分析方法的准确性和有效性，下面通过实验进行详细的分析比较：

实验所用的CUHK Crowd Dataset由474个视频片段组成，收集自215个不同的拍摄场景，如商场、街道、机场、公园和广场等等。场景中的视角、人群密度变化范围很大。此外，所有474个视频片段由人工标注为8类，如表1所示。这8类是群体视频中的常见场景，有些是人群管理和交通控制领域特别感兴趣的，例如，人群合并和交叉可能造成交通拥堵以及踩踏等群体灾难。在入口和出口区域保持扶梯顺畅也很重要，以避免阻塞，碰撞，潜在的危险等。在第1类视频中，场景中的行人走向多个方向，行为高度混乱。在第2，3类中，大部分行人跟随人群总体走向。第2类中行人的相对位置是稳定的，且很少有超车事件，然而在 第3类视频中，行人处于无组织状态。大部分群体视频可以粗略分为以上三类。另外，还划分了几个人群管理特别感兴趣的类别(4～8)，并希望与其他类别的视频区分开来。因此，1～3类视频已经排除4～8类中的视频。

实验采用留1交叉验证方法，每类视频根据不同的场景分为多组，每次实验选中一个场景(其可以包括多个视频片段)作为测试集，其他的作为训练集。按此方式循环，直至每一组都做过测试数据集。如果视频有多个群组，这里取这些群组描述符的平均值作为该视频的描述符。实验选用支持向量机SVM分类器，RBF基函数，其他设为默认值。

表1群体行为分类

图2为本发明识别不同类场景的混淆矩阵。从上图中可以看到，本发明提出的群体行为分析方法平均准确率为72.5％，且对3～8类识别效果较好，对不同种类群体行为的区分度较高。可以看出，采用本发明所述方法能得到较好的结果，实验结果也验证了本发明所述分析方法的有效性和可行性。

Claims (4)

1.一种基于多特征融合的群体行为分析方法，包括以下步骤：

步骤一：计算群组级别运动特征；对输入的τ帧视频序列图像，首先利用群集转变方法进行群组检测与分割，进而计算群组级别的特征描述符，包括群集性、稳定性、一致性、冲突性特征描述符，以表征视频中的局部运动信息；

步骤二：引入多维光流直方图特征；对输入的τ帧视频序列图像，先进行优化分块处理，做2×2分块后进行光流特征提取，并且通过对光流信息的多维编码实现特征维度的提升，得到多维光流直方图特征，以充分表征视频图像中的全局运动信息和空间情景信息；

步骤三：对步骤二中得到的多维光流直方图特征，采用一种多层字典学习的方法进行处理，降低原始特征维度，同时获得更高层的视频描述特征，使多维光流直方图特征能够表征更丰富的全局运动信息；

步骤四：将表征局部与全局运动信息的特征描述符进行融合后，构成群体行为的特征集合，可表示为{Φ^coll，Φ^stab，Φ^unif，Φ^conf，Φ^MHOF}；其中Φ^coll，Φ^stab，Φ^unif，Φ^conf，Φ^MHOF分别代表群集性特征描述符、稳定性特征描述符、一致性特征描述符、冲突性特征描述符、多维光流直方图特征描述符；最后，选用选用SVM分类器进行训练识别。

2.根据权利要求1所述的一种基于多特征融合的群体行为分析方法，其特征在于多维光流直方图，以充分表征视频序列中的全局运动信息和空间情景信息；多维光流直方图方法是通过对光流信息的多维编码实现特征维度的提升；为了使提取到的特征能更好得表征场景中的运动模式信息，首先要对输入图像进行优化分块处理，对图片做2×2分块后再进行多维光流直方图特征提取；多维光流直方图特征将提取到的光流特征分为内外两层，即K＝16位；向量中开始的8位是方向信息以及运动能量r＜τ的内层部分，后8位对应r＞τ的外层部分，具体计算公式如下：

3.根据权利要求2所述的一种基于多特征融合的群体行为分析方法，其特征在于采用一种多层字典学习的方法对多维光流直方图特征进行处理，降低原始特征维度，同时获得更高层的视频描述特征；

第一步，采用K-SVD对原始多维光流直方图特征处理，学习得到字典D₁；K-SVD方法用于训练得到完备字典，其计算公式如(2)所示，T表示稀疏度；

其中，α方式更新方式如下：

其中，d_i为字典D的第i列，K为字典的原子总数，d_k和X_T ^k求解公式如下：

E_k通过SVD方法进行分解，所有原子进行上述运算；

第二步，将D₁作为样本数据，再次进行K-SVD训练，得到维度更低的字典D₂，从而得到最终的多维光流直方图特征，亦即全局特征描述符，能够表征更丰富的全局运动信息。

4.根据权利要求3所述的一种基于多特征融合的群体行为分析方法，其特征在于融合表征局部与全局运动信息的特征描述符，即级联群集性、稳定性、一致性、冲突性以及多维光流直方图特征，得到可表征群体行为的特征集合{Φ^coll，Φ^stab，Φ^unif，Φ^conf，Φ^MHOF}，其中Φ^coll，Φ^stab，Φ^unif，Φ^conf，Φ^MHOF分别代表群集性特征描述符、稳定性特征描述符、一致性特征描述符、冲突性特征描述符，多维光流直方图特征描述符，从而充分利用视频信息，丰富全面地描述群体行为，有效提升群体行为识别方法的准确率。

Images