CN104331700B - 基于轨迹能量扩散图的组行为识别方法 - Google Patents

Abstract

本发明公开一种基于轨迹能量扩散图的组行为识别方法，该方法包括以下步骤：一、对原始视频进行多目标检测，多目标跟踪，提取多目标轨迹；二、把多目标轨迹转换为轨迹能量块图；三、利用能量扩散过程由轨迹能量块图生成轨迹能量扩散图；四、由轨迹能量扩散图生成轨迹能量等势线图；五、对轨迹能量等势线图进行特征提取，利用基于典型相关分析的特征融合算法得到融合特征向量；六、对融合特征向量进行分类识别。本发明提出的轨迹能量块图可以很好的表现并保存组行为轨迹的时间信息；轨迹能量扩散图可以平滑因运动随机性产生的噪声；利用基于典型相关分析的特征融合算法实现多特征融合，从而提高识别精度。

Description

基于轨迹能量扩散图的组行为识别方法

技术领域

本发明涉及图像特征提取及模式识别

背景技术

组行为识别主要是对组行为轨迹进行分析,并在此基础上判断运动目标的行为。近年来由于目标检测与跟踪技术取得了显著的进展,为基于轨迹的多目标组行为识别与理解技术提供支持。由于组行为识别在智能视频监控、虚拟现实、视频检索等方面有着广泛的应用前景，因此越来越受到计算机视觉领域研究者的广泛关注。

目前主要的行为识别算法有基于模板匹配的行为识别算法和基于状态空间的行为识别算法。基于模板匹配的算法可以分为帧对帧匹配算法和融合匹配算法。帧对帧匹配算法是指先将待识别视频中图像序列逐帧进行特征提取,然后与已建立的模板的特征序列逐帧进行匹配。融合匹配算法是指整个行为过程融合为一个或者若干个固定数目的模板,通过特征提取建立行为的模板,然后再利用这些模板进行匹配。基于模板匹配的行为识别算法计算虽然相对简单,但是对行为的时间间隔敏感,提取的特征不能有效的包含行为的时间信息，因此在处理复杂的组行为时有很大的局限性。HMM(隐马尔可夫模型)在基于状态空间的识别算法中应用最为广泛，它是一种有效的时变信号的处理算法,隐含了对时间的校正,并提供了学习机制和识别能力，虽然能够保留轨迹的时间信息，却不利于获取大量的训练数据。因此，我们将组行为轨迹转换为轨迹能量块，通过轨迹能量块的灰度变化反映组行为轨迹的时间信息，如图6所示，轨迹能量块的灰度沿着轨迹的方向由白色渐变到黑色。

虽然轨迹能量块可以通过灰度变化反映组行为轨迹的时间信息，但是由于人体运动属于非刚体运动具有随机性,直接使用轨迹能量块图作为特征，识别效果会受运动随机性产生的噪声影响。虽然有些算法利用高斯过程估计或滤波算法来处理这种不确定性，但在处理过程中，并没有考虑轨迹的时间信息问题。因此，我们利用热扩散过程对轨迹能量块图进行扩散处理得到轨迹能量扩散图，如图7所示，由于运动随机性产生的噪声可以被轨迹能量扩散图平滑掉，使得行为识别可获取更高的精度。

综上所述，轨迹能量扩散图不仅可以很好表现并保存组行为轨迹的时间信息，还可以平滑运动随机性产生的噪声，提高识别精度。因此，我们设计了基于轨迹能量扩散图的组行为识别方法。

发明内容：

为解决现有行为识别算法存在的问题，如提取的特征不能很好地保留轨迹的时间信息，运动随机性产生的噪声对识别结果的影响等。本发明提出了一种基于轨迹能量扩散图的组行为识别方法，发明内容主要包括：本识别方法的流程框架，轨迹能量块图，轨迹能量扩散图，轨迹能量等势线图，使用基于典型相关分析的特征融合算法对分别使用AHDH算法和BSM算法提取的能量等势线图特征向量进行特征融合。

一种基于轨迹能量扩散图的组行为识别方法，其特征在于：至少包括以下步骤：

步骤一、对原始视频进行多目标检测，多目标跟踪，提取多目标轨迹；

步骤二、将多目标轨迹转换为轨迹能量块图：把图形窗口分成大小相同且互不重叠的区域块，轨迹经过的区域块定义为轨迹能量块，一组组行为轨迹转换为轨迹能量块图，同时我们为轨迹附加一个衰减系数，轨迹的能量值会随轨迹延伸的方向不断减小，轨迹能量块的灰度也由白色渐变到黑色(如图6所示)，通过与灰度条的对比，时间信息可以很好的通过轨迹能量块的灰度信息表现出来；

步骤三、利用能量扩散过程由轨迹能量块图生成轨迹能量扩散图：由于人的运动行为具有随机性，直接使用轨迹能量块图作为特征，识别效果会受运动随机性产生的噪声影响，由能量扩散过程生成的轨迹能量扩散图可以平滑这种噪声，并且保存轨迹的时间信息；

步骤四、由轨迹能量扩散图生成轨迹能量等势线图：

(1)使用追踪法把轨迹能量扩散图转换为轨迹能量等势线图，

(2)使用曲线平滑算法(二次B样条曲线拟合算法等)对轨迹能量等势线做平滑处理；

步骤五、对轨迹能量等势线图进行特征提取：

(1)用形状描述子AHDH算法描述轨迹能量等势线图得到AHDH特征向量,

(2)用形状描述子BSM算法描述轨迹能量等势线图得到BSM特征向量，

(3)用基于典型相关分析的特征融合算法对AHDH特征向量和BSM特征向量进行融合，得到融合特征向量，该算法将两组特征矢量之间的相关性特征作为有效判别信息,既达到了信息融合的目的,又消除了特征之间的信息冗余,为两组特征融合用于分类识别提供了新的途径；

步骤六、对融合特征向量进行分类识别。融合特征向量作为输入，利用支持向量机实现组行为分类识别。

有益效果：

与现有技术相比，采用本发明所述的设计方案，可以达到以下技术效果：

1、提取的特征由于很好的保存了组行为轨迹的时间信息，能够更为准确地反映组行为的时间特性，使得识别精度大幅度提高；

2、利用能量扩散过程生成轨迹能量扩散图，可以平滑由于运动随机性而产生的噪声，减小噪声对识别结果的影响。

3、分别使用AHDH算法和BSM算法对轨迹能量等势线图进行特征提取与描述，可以更准确的获取组行为的轨迹特征，并且完整的保存了组行为轨迹的时间信息，因此可以取得更好的识别效果。

4、使用基于典型相关分析的特征融合算法对特征向量进行融合，保证了组行为轨迹特征信息的多样性，提高识别精度。

附图说明：

图1.方法框架流程图；

图2.图像进行两次迭代分割；

图3.空间区域关键点；

图4.描述物体形状的特征直方图；

图5.相聚行为的原始轨迹图；

图6.相聚行为的能量块图；

图7.相聚行为的轨迹能量扩散图；

图8.相聚行为的轨迹能量等势线图；

图9.分离行为的原始轨迹图；

图10.分离行为的能量块图；

图11.分离行为的轨迹能量扩散图；

图12.分离行为的轨迹能量等势线图。

具体实施方式：

步骤一、对原始视频进行多目标检测，多目标跟踪，提取多目标轨迹

(1)利用帧差法进行多目标检测；

(2)利用粒子滤波算法进行多目标跟踪；

(3)提取多目标轨迹。

步骤二、把多目标轨迹转换为轨迹能量块图

假设在当前组行为中一共有j条轨迹，则某条轨迹经过轨迹能量块i时，该轨迹能量块的能量值E_i为：

其中Q为衰减系数且为某一常数，Q值确定视实际情况而定。E为常数，设置为1，E_(f,j)为第j条轨迹初始时的图像帧数，E_(l,j)为第j条轨迹离开能量i块时的图像帧数，Judge()用来判断两帧数的差值为几位整数，例如，他们的差值为99，为两位整数。由公式(1)可以看出，沿着轨迹延伸的方向，E_i值越来越小。

步骤三、利用能量扩散过程由轨迹能量块图生成轨迹能量扩散图

得到轨迹能量块的能量值之后，利用能量扩散过程获得轨迹能量扩散图。轨迹能量块i经过能量扩散过程后，能量值为：

其中，N为能量块的总个数，E_k为k处能量块的能量值，P为空间扩散系数，d(i,k)为能量块i和k之间的距离。

步骤四、由轨迹能量扩散图生成轨迹能量等势线图

本文中生成轨迹能量等势线图就是把轨迹能量扩散图中有相同能量值的点用线连接起来。轨迹能量等势线可分为从边界出发到边界结束的轨迹能量等势线和内部封闭的轨迹能量等势线，此处生成轨迹能量等势线我们使用追踪法。追踪法的原理：首先在区域边界或内部网格的边上求得一个等值点,然后由该点出发,判断下一个等值点的坐标,直到下一个等值点落在区域边界上或与起点重合,则完成对该条轨迹能量等势线的追踪。

具体算法描述如下：

(1)依据追踪法的原理,生成轨迹能量等势线图

步骤五、对轨迹能量等势线图进行特征提取。

(1)用形状描述子AHDH算法描述轨迹能量等势线图得到AHDH特征向量

AHDH算法把轨迹能量等势线图看成是黑色像素在白色区域中的分布，在每次迭代中根据像素分布的质心将图像划分为若干个区域(如图2，图像进行两次迭代分割)，并计算每阶段子区域与其父区域的密度比例,最终连接所有迭代下的不同子区域的密度值构成整幅图的密度分布特征。

设FV为新的特征向量。经过下列公式：

第L次划分的特征向量：

把换成

最后量化可得新的特征向量：

其中，和为第L次划分区域产生的子区域的密度和相对密度，是的第j个子区域中黑色像素的个数，是的第j个子区域的面积。

(2)用形状描述子BSM算法描述轨迹能量等势线图得到BSM特征向量

BSM算法使用一个网格将待识别的目标划分为一系列的空间区域，进而获得这些空间区域的关键点,如图3所示，并计算这些关键点与相邻区域的关系，从而得到一组描述物体形状的特征向量(特征直方图表示，如图4所示)，简称BSM算子。具体算法步骤如下：

Step 1:对于给定的图I，获得形状点集合S；

Step 2:将I划分为n×n个子区域，记为R＝{r₁,r₂,...,r_n×n}，且c_i是每个区域r_i的中心点，i∈[1,...,n²]；

Step 3:设N(r_i)是区域r_i的邻居区域，定义为：

N(r_i)＝{r_k|r_k∈R,||c_k-c_i||＜2|g|}，其中g是元胞的大小；

Step 4:设r_i ^x为包含点x的区域；

Step 5:初始化特征向量v为v(i)＝0,

Step 6:For each x∈S，D＝0；

For each

d_i＝d(x,r_i)＝||x-c_i||²

End For

更新特征向量v：

End for

Step 7:标准化特征向量v：

(3)用基于典型相关分析的特征融合算法对AHDH特征向量和BSM特征向量融合，得到融合特征向量

首先，抽取同一模式的两组特征矢量,建立描述两组特征矢量之间相关性的判据准则函数；然后，依此准则求取两组典型投影矢量集,通过给定的特征融合策略抽取组合的融合特征向量。

步骤六：将融合特征向量作为输入，利用支持向量机对组行为进行分类识别。

(1)利用训练样本对支持向量机分类器进行训练；

(2)对待分类组行为进行分类识别。

Claims (5)

1.一种基于轨迹能量扩散图的组行为识别方法，其特征在于：至少包括以下步骤：

步骤一、对原始视频进行多目标检测，多目标跟踪，提取多目标轨迹；

步骤二、将多目标轨迹转换为轨迹能量块图：把图形窗口分成大小相同且互不重叠的区域块，轨迹经过的区域块定义为轨迹能量块，一组组行为轨迹转换为轨迹能量块图，同时我们为轨迹附加一个衰减系数，轨迹的能量值会随轨迹延伸的方向不断减小，轨迹能量块的灰度也由白色渐变到黑色，通过与灰度条的对比，时间信息可以很好的通过轨迹能量块的灰度信息表现出来；

步骤三、利用能量扩散过程由轨迹能量块图生成轨迹能量扩散图：由于人的运动行为具有随机性，直接使用轨迹能量块图作为特征，识别效果会受运动随机性产生的噪声影响，由能量扩散过程生成的轨迹能量扩散图可以平滑这种噪声，并且保存轨迹的时间信息；

步骤四、由轨迹能量扩散图生成轨迹能量等势线图：

(1)使用追踪法把轨迹能量扩散图转换为轨迹能量等势线图，

(2)使用二次B样条曲线拟合算法对轨迹能量等势线做平滑处理；

步骤五、对轨迹能量等势线图进行特征提取：

(1)用形状描述子AHDH算法描述轨迹能量等势线图得到AHDH特征向量,

(2)用形状描述子BSM算法描述轨迹能量等势线图得到BSM特征向量，

(3)用基于典型相关分析的特征融合算法对AHDH特征向量和BSM特征向量进行融合，得到融合特征向量，该算法将两组特征矢量之间的相关性特征作为有效判别信息,既达到了信息融合的目的,又消除了特征之间的信息冗余,为两组特征融合用于分类识别提供了新的途径；

步骤六、对融合特征向量进行分类识别；融合特征向量作为输入，利用支持向量机实现组行为分类识别。

2.根据权利要求1所述的一种基于轨迹能量扩散图的组行为识别方法，其特征在于：所述的步骤二中我们把组行为轨迹转换为轨迹能量块图，轨迹能量块通过灰度的变化，可以很好的把时间信息表现出来。

3.根据权利要求1所述的一种基于轨迹能量扩散图的组行为识别方法，其特征在于：所述的步骤三中利用能量扩散过程生成轨迹能量扩散图,用于平滑运动随机性产生的轨迹噪声，并且保存轨迹的时间信息。

4.根据权利要求1所述的一种基于轨迹能量扩散图的组行为识别方法，其特征在于：所述的步骤四中我们提出使用轨迹能量等势线图来获取轨迹信息。

5.根据权利要求1所述的一种基于轨迹能量扩散图的组行为识别方法，其特征在于：所述的步骤五中我们首先独立使用AHDA算法和BSM算法分别描述轨迹能量等势线图的形状特征，然 后使用典型相关分析算法对上述两种形状特征进行特征融合。