CN106529477A - 基于显著轨迹和时空演化信息的视频人体行为识别方法 - Google Patents

Abstract

本发明提供一种基于显著轨迹和时空演化信息的视频人体行为识别方法，该方法充分利用视频中的光流信息，在改进密集轨迹的基础上，通过定义轨迹的静态显著性和动态显著性，并以线性融合方式，计算得到轨迹的组合显著性，从而有效移除背景运动轨迹，提取前景运动轨迹；针对传统基于底层视觉特征表示方法忽略了行为视频中丰富的中高层语义信息问题，提出中层视觉特征表示即轨迹束，从中提取人体行为时空演化信息作为视频特征表示，有效去除背景轨迹，提取前景运动轨迹并显著提高算法的识别效果。

Description

基于显著轨迹和时空演化信息的视频人体行为识别方法

技术领域

本发明涉及计算机视觉技术领域，更具体地，涉及一种基于显著轨迹和时空演化信息的视频人体行为识别方法。

背景技术

随着互联网以及多媒体的发展，视频成为人们获取信息的主要途径，基于视频的人体行为识别技术已广泛应用于智能视频监控、视频检索、虚拟现实和人际交互等系列场景。近年来涌现出大量从监控场景到自然场景的人体行为识别方法，各个公开数据集的识别准确率也在不断地提高。但自然场景下视频运动的复杂性(如摄像机运动)导致严重的光流偏差，人体定位算法不准确导致前景背景运动混杂，且人体运动存在多变性、多义性，因此人体行为识别仍是计算机视觉领域的难点问题。

目前基于密集轨迹方法，包含大量混杂的前景和背景运动，因此需要一种方法来分离前景和背景运动，从而进行后续分类过程。此外，基于底层视觉特征的表示方法在监控场景人体行为识别问题上取得了不错的效果，但是这类方法通常忽略行为视频中丰富的中高层语义信息。在自然场景中，人体运动行为有着丰富的时空演化信息。为缩短底层的特征描述与高层行为模式间的语义鸿沟，目前亟需一种能充分利用时空演化信息进行视频特征表示的方法。

发明内容

本发明提供一种基于显著轨迹和时空演化信息的视频人体行为识别方法，该方法可以有效去除背景轨迹，提取前景运动轨迹。

为了达到上述技术效果，本发明的技术方案如下：

一种基于显著轨迹和时空演化信息的视频人体行为识别方法，包括以下步骤：

S1：对每一帧视频图像进行人体检测并构建多尺度时空金字塔，再对视频帧中的时空兴趣点密集采样，并判断时空兴趣点所在后续帧的位置，将其加入到轨迹序列中，采用中心点-外围显著性方法计算视频帧的静态显著性和动态显著性，并通过线性融合方式得到视频帧的组合显著性；

S2：将轨迹显著性定义为轨迹每点在组合显著性图像中显著性的均值，计算显著性阈值，当轨迹显著性小于阈值时，则认为是背景轨迹而予以删除，从而有效提取前景运动轨迹；

S3：采用最大似然估计算法建立高斯混合模型，对于每一视频帧序列，利用提取到的前景运动轨迹，生成中层视觉特征表示即轨迹束；

S4：根据视频中所有的特征表示轨迹束，利用大数据线性分类模型，求解分类超平面，提取其中的运动时空演化信息作为视频特征表示。

进一步地，所述步骤S1的具体过程如下：

S11：对给定视频帧，计算梯度矩阵，初始化密集采样时空兴趣点作为轨迹起始点；

S12：将第j帧上每个特征点p_j＝(x_j,y_j)，通过中值滤波后的密集光流场f＝(u_t,v_t)跟踪至第j+1帧，公式计算如下：

S13：采用中心点-外围区域的灰度差异计算单帧的静态显著性C_A，公式计算如下：

C_A(x_li)＝|g(x_li)-g(A(x_li))|

其中g为经过高斯滤波处理的灰度图像，g(A(x_li))是点x_li的外围区域的灰度平均值；

记C_M为单帧的运动显著性，计算中心点和外围区域光流直方图的卡方距离，得到轨迹单帧的运动显著性，公式计算如下：

其中h_j(x_li)为点x_li处，HOF描述符第j个bin的值，而h_j(A(x_li))为外围区域的光流平均值；

记C_C为单帧的组合显著性，通过线性组合的方式来计算C_C：

进一步地，所述步骤S2的具体过程如下：

S21：给定一个轨迹，记作表示以第j帧为起始帧，第i个点，形成的长度为L的轨迹；记C(x_li)为单帧的显著性，取轨迹在各帧的均值作为轨迹的显著性，公式计算如下：

S22：阈值的确定过程为：计算每一帧的平均显著性E(C_C(x_l))，取各帧平均显著性的平均值的μ倍作为显著性阈值，并根据轨迹显著性筛选轨迹；记T₀为初始改进轨迹集，公式如下：

进一步地，所述步骤S3中，利用高斯混合模型表示视频帧序列，包括生成字典模型和表示视频帧序列；

生成字典模型的过程如下：

S311：随机选取25.6万条前景轨迹，利用原始视频特征串联为轨迹特征；

S312：采用主成分分析对轨迹特征进行降维，设置高斯混合模型参数K＝256，通过最大似然估计方法训练得到高斯混合模型；

视频帧序列表示的过程如下：

利用费舍尔向量编码和高斯混合模型，得到中层视觉特征表示—轨迹束，即视频帧表示。

进一步地，所述步骤S4的具体过程如下：

S41：利用线性函数F(TS)＝w^TTS+b，定义如果轨迹束TS_i发生在轨迹束TS_i+1之前，那么定义这种时序关系为TS_i+1>TS_i，公式如下：

S42：通过结构风险最小化和最大化边缘计算框架，得到如下目标函数：

其中C是惩罚因子，ξ_ij是松弛变量，w为视频特征表示，P＝{(TS_i，TS_j)：TS_i>TS_j}，m＝|P|。

与现有技术相比，本发明技术方案的有益效果是：

本发明方法充分利用视频中的光流信息，在改进密集轨迹的基础上，计算轨迹的静态显著性和动态显著性，并通过线性融合方式得到轨迹的组合显著性，从而有效移除背景运动轨迹，提取前景运动轨迹；针对传统基于底层视觉特征表示方法忽略了行为视频中丰富的中高层语义信息问题，提出中层视觉特征表示即轨迹束，从中提取人体行为时空演化信息作为视频特征表示，有效去除背景轨迹，提取前景运动轨迹并显著提高算法的识别效果。

附图说明

图1为本发明的基于显著轨迹和时空演化信息的视频人体行为识别框架；

图2为基于显著轨迹特征提取前景运动轨迹示意图；

图3为基于显著轨迹特征提取前景运动轨迹效果图；

图4为基于时空显著信息得到视频特征表示示意图；

图5为本发明人体行为识别方法在Hollywood2数据集分类效果示意图；

图6为本发明人体行为识别方法在HMDB51数据集分类效果示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，本发明基于显著轨迹和时空演化信息的视频人体行为识别方法首先在改进密集轨迹的基础上提取密集轨迹，通过显著性检测定义帧和轨迹的显著性；其次通过自适应筛选去除背景轨迹，得到显著前景轨迹；然后利用高斯混合模型和费舍尔向量，得到视频帧表示即轨迹束；利用大数据线性分类器挖掘轨迹束之间的时间结构信息，作为视频表示，最后进行特征训练和识别。

如图1，图2所示，基于显著轨迹特征提取前景运动轨迹的步骤中，设定轨迹长度最长连续帧数L为15，通过定义帧的静态显著性和动态显著性得到帧的组合显著性，通过显著性阈值筛选，得到显著轨迹。

本发明基于显著轨迹和时空演化信息的视频人体行为识别方法的具体步骤如下：

1、如图1所示，首先对视频提取改进密集轨迹，之后计算视频帧的静态显著性和动态显著性，具体包括：

A1：使用OPENCV采集视频序列中的每一帧图像并构建时空金字塔；对视频帧中的时空兴趣点密集采样作为轨迹起始点；

A2：将第j帧上每个特征点p_j＝(x_j,y_j)，通过中值滤波后的密集光流场f＝(u_t,v_t)跟踪至第j+1帧；

A3：采用中心点-外围区域的灰度差异计算单帧的静态显著性；计算中心点和外围区域光流直方图的卡方距离，得到单帧的动态显著性；通过线性组合的方式计算单帧的组合显著性；

2、如图1、图2所示，将轨迹显著性定义为轨迹每点在组合显著性图像中显著性的均值；计算轨迹的静态显著性和动态显著性，及其组合显著性，当轨迹显著性小于阈值时，则认为是背景轨迹而予以删除，从而有效提取前景运动轨迹；从图3可以看出，显著轨迹大部分集中于前景运动区域：

B1：给定一个轨迹，记作表示以第j帧为起始帧，第i个点，形成的长度为L的轨迹；记C(x_li)为单帧的显著性，取轨迹在各帧的均值作为轨迹的显著性，公式计算如下：

B2：阈值的确定过程为：计算每一帧的平均显著性E(C_C(x_li))，取各帧平均显著性的平均值的μ倍作为显著性阈值，并根据轨迹显著性筛选轨迹；记T₀为初始改进轨迹集，公式如下：

3、如图1、图4所示，建立高斯混合模型生成视觉词典，对于每一视频帧序列，生成中层视觉特征表示即轨迹束：

生成视觉字典模型步骤如下：

C1：首先随机选取25.6万条前景轨迹，利用原始视频特征(如HOG/HOF/MBH)串联为轨迹特征；

C2：采用主成分分析对轨迹特征进行降维，设置高斯混合模型参数K＝256，通过最大似然估计方法训练得到高斯混合模型；

视频帧序列表示方法步骤如下：

C3：利用费舍尔向量编码和高斯混合模型，得到中层视觉特征表示即轨迹束，其维度为2DK，D是主成分分析降维后的维度，K为高斯混合模型参数。

4、提取轨迹束中的运动时空演化信息作为视频特征表示，方法步骤如下：

D1：利用线性函数F(TS)＝w^TTS+b，定义TS_i发生在TS_i+1之前的这种时序关系为TS_i+1>TS_i，公式如下：

D2：通过结构风险最小化和最大化边缘计算框架，得到如下目标函数：

其中C是惩罚因子，ξ_ij是松弛变量，w为视频特征表示，P＝{(TS_i，TS_j)：TS_i>TS_j}，m＝|P|。

采用本发明方法的识别效果实验：

1、实验数据集：包括Hollywood2电影数据集(共12个运动类别)和HMDB51数据集(共51个运动类别)；

2、实验环境：Matlab 2010a平台和C++11；

3、实验工具集：改进密集轨迹开源代码、VLFeat开源库和Liblinear工具箱；

4、实验方法：对于Hollywood2电影数据集，823个视频用来训练，884个视频用来测试分类效果，采用二类SVM分类器；对HMDB51，6766个视频分为三组分别进行训练和测试，采用多类分类SVM分类器。

5、评价标准：

(1)平均识别率：其公式如下所示：

其中V_k为视频序列，C_i为属于类别i的视频序列集，h(V_k)为序列V_k的预测类别，|V|为视频序列的总数，N_C为运动类别的数量。

(2)平均识别精度：其公式如下所示：

其中Q是训练视频的个数，AveP为识别精度。

6、实验结果：如图5所示，图中表示使用本发明识别方法在Hollywood2电影数据集上的平均识别精度直方图，平均识别精度为68.1％。如图6所示，图中表示使用本发明识别方法在HMDB51数据集上的平均识别率折线图，平均识别率为62.4％。实验结果表明，本发明识别方法取得较好的识别效果，与现有的方法比较，具有显著性的进步。相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于显著轨迹和时空演化信息的视频人体行为识别方法，其特征在于，包括以下步骤：

S1：对每一帧视频图像进行人体检测并构建多尺度时空金字塔，再对视频帧中的时空兴趣点密集采样，并判断时空兴趣点所在后续帧的位置，将其加入到轨迹序列中，采用中心点-外围显著性方法计算视频帧的静态显著性和动态显著性，并通过线性融合方式得到视频帧的组合显著性；

S2：将轨迹显著性定义为轨迹每点在组合显著性图像中显著性的均值，计算显著性阈值，当轨迹显著性小于该阈值时，则认为是背景轨迹而予以删除，从而有效提取前景运动轨迹；

S3：采用最大似然估计算法建立高斯混合模型，对于每一视频帧序列，利用提取到的前景运动轨迹，生成中层视觉特征表示即轨迹束；

S4：根据视频中所有的特征表示轨迹束，利用大数据线性分类模型，求解分类超平面，提取其中的运动时空演化信息作为视频特征表示。

2.根据权利要求1所述的基于显著轨迹和时空演化信息的视频人体行为识别方法，其特征在于，所述步骤S1的具体过程如下：

S11：对给定视频帧，计算梯度矩阵，初始化密集采样时空兴趣点作为轨迹起始点；

S12：将第j帧上每个特征点p_j＝(x_j,y_j)，通过中值滤波后的密集光流场f＝(u_t,v_t)跟踪至第j+1帧，公式计算如下：

$p_{j+1}=(x_{j+1},y_{j+1})=(x_j,y_j)+M\·f{|}_{(\stackrel{\‾}{x_j},\stackrel{\‾}{y_j})};$

S13：采用中心点-外围区域的灰度差异计算单帧的静态显著性C_A，公式计算如下：

C_A(x_li)＝|g(x_li)-g(A(x_li))|

其中g为经过高斯滤波处理的灰度图像，g(A(x_li))是点x_li的外围区域的灰度平均值；

记C_M为单帧的运动显著性，计算中心点和外围区域光流直方图的卡方距离，得到单帧的运动显著性，公式计算如下：

$C_M\left(x_{li}\right)={\mathrm{\χ}}^2\left(h\right(x_{li}),h(A\left(x_{li}\right)\left)\right)=\frac{1}{2}\underset{j}{\Σ}\frac{{\left(h_j\right(x_{li})-h_j(A\left(x_{li}\right)\left)\right)}^2}{h_j\left(x_{li}\right)+h_j\left(A\right(x_{li}\left)\right)},$

其中h_j(x_li)为点x_li处，HOF描述符第j个bin的值，而h_j(A(x_li))为外围区域的光流平均值；

记C_C为单帧的组合显著性，通过线性组合的方式来计算C_C：

$C_C\left(x_{li}\right)=\mathrm{\β}\stackrel{\‾}{C_A}\left(x_{li}\right)+(1-\mathrm{\β})\stackrel{\‾}{C_C}\left(x_{li}\right),\mathrm{\β}\∈\[0,1\].$

3.根据权利要求2所述的基于显著轨迹和时空演化信息的视频人体行为识别方法，其特征在于，所述步骤S2的具体过程如下：

S21：给定一个轨迹，记作表示以第j帧为起始帧，第i个点，形成长度为L的轨迹；记C(x_li)为单帧的显著性，取轨迹在各帧轨迹点组合显著性的均值作为轨迹的显著性，公式计算如下：

$S\left(t_i\right)=\frac{1}{\left|L\right|}\underset{l=1}{\overset{\left|L\right|}{\Σ}}C\left(x_{li}\right);$

S22：阈值的确定过程为：计算每一帧的平均显著性E(C_C(x_l))，取各帧平均显著性的平均值的μ倍作为显著性阈值，并根据轨迹显著性筛选轨迹；记T₀为初始改进轨迹集，公式如下：

$T=\left\{t_i\right|t_i\∈T_0,S_C\left(t_i\right)>\mathrm{\μ}\frac{1}{\left|L\right|}\underset{l=1}{\overset{\left|L\right|}{\Σ}}E\left(C_C\right(x_l\left)\right)\}.$

4.根据权利要求3所述的基于显著轨迹和时空演化信息的视频人体行为识别方法，其特征在于，所述步骤S3中，利用高斯混合模型表示视频帧序列，包括生成字典模型和表示视频帧序列；

生成字典模型的过程如下：

S311：随机选取25.6万条前景轨迹，利用原始视频特征串联为轨迹特征；

S312：采用主成分分析对轨迹特征进行降维，设置高斯混合模型参数K＝256，通过最大似然估计方法训练得到高斯混合模型；

表示视频帧序列的过程如下：

利用费舍尔向量编码和高斯混合模型，得到中层视觉特征表示—轨迹束，即视频帧表示。

5.根据权利要求4所述的基于显著轨迹和时空演化信息的视频人体行为识别方法，其特征在于，所述步骤S4的具体过程如下：

S41：利用线性函数F(TS)＝w^TTS+b，定义如果轨迹束TS_i发生在轨迹束TS_i+1之前，那么定义这种时序关系为TS_i+1>TS_i，公式如下：

S42：通过结构风险最小化和最大化边缘计算框架，得到如下目标函数：

$\underset{w,{\mathrm{\ξ}}_{ij}\≥0}{min}\frac{1}{2}{w}^{T}w+\frac{C}{m}\underset{(i,j)\∈P}{\Σ}{\mathrm{\ξ}}_{ij},s.t.\∀(i,j)\∈P:\left(w^T{\mathrm{TS}}_i\right)\≥\left(w^T{\mathrm{TS}}_j\right)+1-{\mathrm{\ξ}}_{ij}$

其中C是惩罚因子，ξ_ij是松弛变量，w为视频特征表示，P＝{(TS_i，TS_j)：TS_i>TS_j}，m＝|P|。