CN104200235A - 一种基于线性动态系统的时空局部特征的提取方法 - Google Patents

Abstract

本发明公开了一种基于线性动态系统的时空局部特征提取方法，该方法包括以下步骤：步骤1：收集待处理的视频数据文件；步骤2：对于待处理的视频数据文件，提取三维时空局部特征；步骤3：对于每一个三维时空局部特征，沿空间维度展开得到二维时空局部特征；步骤4：将二维时空局部特征Y作为线性动态系统的输出，学习得到线性动态系统的模型参数，作为所述二维时空局部特征Y的描述子。本发明提取的描述子能够同时表达时空局部特征的静态表观信息和运动信息，可以广泛应用在视频内容检索，敏感视频检测与过滤以及智能视频监控等业务中。

Description

一种基于线性动态系统的时空局部特征的提取方法

技术领域

本发明涉及图像处理及计算机应用技术领域，特别涉及一种基于线性动态系统的时空局部特征的提取方法。

背景技术

随着社会经济和科学技术的飞速发展，视频已被广泛地应用于各种场所，例如，在银行、机场、居民生活区等地区安装用于安防的监控系统，每天产生大量的监控视频数据；再例如，在互联网上存储着海量的视频节目，而且每时每刻还在不断地高速增长。如何在如此海量的视频数据中快速准确地检索到我们所期望的内容，是一个具有重要研究价值和巨大应用价值的实际问题，这一问题的有效解决将对相关产业的深入发展起到重要的促进和推动作用。

视频内容分析技术的首要环节是提取视频的特征，然后对这些特征进行描述，将其表示为一个向量。在视频特征提取上，时空局部特征因为具有旋转、尺度、光照以及遮挡等不变性的优点而得到广泛的应用。在视频特征描述上，目前常用的方法包括梯度方向直方图(HOG)、光流直方图(HOF)和运动边界直方图(MBH)等。梯度方向直方图通过计算时空局部特征中每帧图像的梯度方向信息来描述局部特征。这种方法注重特征的静态表观信息，但忽略了特征中帧与帧之间的运动信息。光流直方图着重考虑了特征中帧与帧之间的运动信息，但这种方法很难处理镜头自身运动的情况。运动边界直方图在光流直方图的基础上，通过计算光流场的梯度信息，能有效过滤镜头自身运动的信息，因此能更好地描述视频中感兴趣目标的运动信息。

在实际的视频内容分析系统中，一个具有共识的观点是：特征的静态表观信息和运动信息在描述视频特征方面，具有同等重要的地位。为此目的，一部分研究工作通过融合上述的特征描述方法(HOG、HOF和MBH)来实现。研究结果也表明融合方法在大多数情况下要优于单个特征描述方法。本发明公开的方法与已有方法不同，本发明方法通过将时空局部特征看作线性动态系统的输出，反求出线性动态系统的模型参数，并将该模型参数作为时空局部特征的描述子。这种全新的描述子能够同时表达时空局部特征的静态表观信息和运动信息，因此不需要进行复杂的融合操作。在计算结果上，这种描述子的区分判别能力也优于上述单个方法、甚至多种方法的融合。

发明内容

有鉴于此，本发明的主要目的是提供一种基于线性动态系统的时空局部特征的提取方法，该方法将时空局部特征看作线性动态系统的输出，反求出线性动态系统的模型参数，并将该模型参数作为时空局部特征的描述子来同时刻画特征的静态表观信息和动态信息。

为达到上述目的，本发明提出一种基于线性动态系统的时空局部特征提取方法，该方法包括以下步骤：

步骤1：收集待处理的视频数据文件；

步骤2：对于所述待处理的视频数据文件，提取大小为N×N×L的三维时空局部特征；

步骤3：对于每一个三维时空局部特征，沿空间维度展开得到二维时空局部特征Y；

步骤4：将所述二维时空局部特征Y作为线性动态系统的输出，学习得到所述线性动态系统的模型参数，作为所述二维时空局部特征Y的描述子。

根据上述技术方案，本发明具有以下有益效果：

1、在本发明提供的基于线性动态系统的时空局部特征提取方法中，将时空局部特征看作线性动态系统的输出，用模型参数作为时空局部特征的描述子。这种全新的描述子能够同时表达时空局部特征的静态表观信息和运动信息，从一个全新的角度解决了如何同时捕捉视频表观信息和运动信息的难题。

2、本发明所采用的稳态最小二乘的模型参数学习方法，能够以非常小的计算代价学习得到模型参数的次优闭合解。

因此，本发明可以广泛应用在视频内容检索，敏感视频检测与过滤以及智能视频监控等业务中。

附图说明

图1为本发明提供的一种基于线性动态系统的时空局部特征提取方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1为本发明提供的一种基于线性动态系统的时空局部特征提取方法的流程图，如图1所示，所述方法包括以下步骤：

步骤1：收集待处理的视频数据文件；

步骤2：对于所述待处理的视频数据文件，提取大小为N×N×L的三维时空局部特征；

所述步骤2进一步包括以下步骤：

步骤21，计算每帧视频图像的兴趣点和光流场；

其中，所述兴趣点可以是SIFT，MSER等局部稀疏兴趣点，也可以是根据等间隔采样得到的稠密兴趣点。

步骤22，在时间尺度上对得到的兴趣点进行匹配跟踪，得到兴趣点轨迹；

步骤23，将以兴趣点轨迹为中心的三维立方体作为时空局部特征，所述时空局部特征为大小为N×N×L的三维时空局部特征，其中，N×N是每帧视频图像上以兴趣点为中心的局部像素块大小，L是时间方向上的帧数，所有这样的时空局部特征构成了所述视频数据文件的时空局部特征集。

步骤3：对于每一个三维时空局部特征，沿空间维度展开得到二维时空局部特征Y；

所述步骤3具体为：将所述三维时空局部特征中的局部像素块沿空间维度展开成向量，这样每帧视频图像的二维局部像素块就变换为一个长度为S＝N×N的向量，结合时间维度后，三维时空局部特征就变换为以大小为S×L的二维矩阵表示的二维时空局部特征Y；

其中，在所述三维时空局部特征大小的选取上，N一般选取为32或16，过大则表观变化剧烈，过小则不足以刻画局部表观信息；L一般选取为15-20之间，轨迹过长容易造成跟踪失败，并且可能不满足线性系统条件；轨迹过短则动态特性不明显，同时也造成轨迹过多，计算量急剧增加。

步骤4：将所述二维时空局部特征Y作为线性动态系统的输出，学习得到所述线性动态系统的模型参数，作为所述二维时空局部特征Y的描述子；

所述步骤4进一步包括以下步骤：

步骤41，令二维时空局部特征Y满足线性动态系统模型，如下式所示：

$\left\{\begin{array}{c}{x}_{t+1}=A{x}_t+v_t\\ y_t=C{x}_t+w_t\end{array}\right.,$

其中，Y＝{y₁,…,y_i,…,y_L}，其中y_i是第i帧像素块变换得到的列向量，下标t表示离散的视频帧，x_t表示线性动态系统的状态变量，其维数称为线性动态系统的阶数，通常这个阶数远远小于观测变量y_t的维度S，其取值范围为3-10之间；y_t表示线性动态系统的观测变量；v_t,w_t表示系统的噪音变量；A,C表示线性动态系统的模型参数，其中A表示系统状态之间的转移关系，它反映的是系统的动态特性；C表示系统观测与状态之间的映射关系，它反映的是系统的表观特征，因此模型参数A,C可以用来作为时空局部特征Y的描述子。

步骤42，求解所述线性动态系统模型中的模型参数A,C，作为所述二维时空局部特征Y的描述子。

所述步骤42进一步包括以下步骤：

步骤421，对于所述二维时空局部特征Y进行SVD分解，得到：

Y＝UΣV^T，

其中，Y表示二维时空局部特征；U和V表示正交特征向量；Σ表示特征值矩阵。

步骤422，根据所述SVD分解结果，得到模型参数C和系统状态变量X_1:L：

C＝U,X_1:L＝ΣV^T。

步骤423，为了估计得到稳态最小二乘意义下的模型参数A，建立目标函数：

$A=\arg \underset{A}{\min }\left|\right|A{X}_{1:L-1}-X_{2:L}\left|\right|=\arg \underset{a}{\min }\{a^T\mathrm{Pa}-2q^{T}a+r\},$

其中， $a=\mathrm{vec}\left(A\right),q=\mathrm{vec}\left(X_{1:L-1}{X}_{2:L}^T\right),p=I_n\⊗\left(X_{1:L-1}{X}_{1:L-1}^T\right),r=\mathrm{tr}\left(X_{2:L}^T{X}_{2:L}\right),$ vec(.)表示将矩阵沿列变换为向量，In表示n阶单位矩阵，表示卷积操作，tr表示求迹操作。

步骤424，建立稳态线性动态系统约束；

该步骤中，对于一个稳态的线性动态系统，需要满足如下约束：模型参数A的最大特征值λ₁≤1，于是得到如下不等式：

${\mathrm{\λ}}_1=u_1^T{\mathrm{Av}}_1=\mathrm{tr}\left(v_1{u}_1^{T}A\right)=g^{T}a\≤1,$

其中，u₁和v₁表示特征值λ₁对应的特征向量，。

步骤425，将所述稳态线性动态系统约束与所述目标函数相结合，得到二次优化函数：

目标函数a^TPa-2q^Ta+r

约束条件g^Ta≤1。

步骤426，通过对于所述二次优化函数进行求解，即可得到模型参数A，将所述模型参数A,C作为所述二维时空局部特征Y的描述子。

步骤5：对于得到的所述二维时空局部特征Y的描述子进行存储，从而实现基于线性动态系统的、能够同时描述时空局部特征的静态表观信息和动态信息的时空局部特征的提取。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于线性动态系统的时空局部特征提取方法，其特征在于，该方法包括以下步骤：

步骤1：收集待处理的视频数据文件；

步骤2：对于所述待处理的视频数据文件，提取大小为N×N×L的三维时空局部特征；

步骤3：对于每一个三维时空局部特征，沿空间维度展开得到二维时空局部特征Y；

步骤4：将所述二维时空局部特征Y作为线性动态系统的输出，学习得到所述线性动态系统的模型参数，作为所述二维时空局部特征Y的描述子。

2.根据权利要求1所述的方法，其特征在于，所述步骤2进一步包括以下步骤：

步骤21，计算每帧视频图像的兴趣点和光流场；

步骤22，在时间尺度上对得到的兴趣点进行匹配跟踪，得到兴趣点轨迹；

步骤23，将以兴趣点轨迹为中心的三维立方体作为时空局部特征，所述时空局部特征的大小为N×N×L，其中，N×N是每帧视频图像上以兴趣点为中心的局部像素块大小，L是时间方向上的帧数，所有这样的时空局部特征构成了所述视频数据文件的时空局部特征集。

3.根据权利要求2所述的方法，其特征在于，所述兴趣点为SIFT或MSER局部稀疏兴趣点，或者根据等间隔采样得到的稠密兴趣点。

4.根据权利要求1所述的方法，其特征在于，所述步骤3具体为：将所述三维时空局部特征中的局部像素块沿空间维度展开成向量，这样每帧视频图像的二维局部像素块就变换为一个长度为S＝N×N的向量，结合时间维度后，三维时空局部特征就变换为以大小为S×L的二维矩阵表示的二维时空局部特征Y。

5.根据权利要求4所述的方法，其特征在于，N取值为32或16；L的值取为15-20之间。

6.根据权利要求1所述的方法，其特征在于，所述步骤4进一步包括以下步骤：

步骤41，令二维时空局部特征Y满足线性动态系统模型；

步骤42，求解所述线性动态系统模型中的模型参数A,C，作为所述二维时空局部特征Y的描述子。

7.根据权利要求6所述的方法，其特征在于，所述线性动态系统模型表示为：

$\left\{\begin{array}{c}{x}_{t+1}=A{x}_t+v_t\\ y_t=C{x}_t+w_t\end{array}\right.,$

其中，下标t表示离散的视频帧；x_t表示线性动态系统的状态变量；y_t表示线性动态系统的观测变量；v_t,w_t表示系统的噪音变量；A,C表示线性动态系统的模型参数。

8.根据权利要求6所述的方法，其特征在于，所述步骤42进一步包括以下步骤：

步骤421，对于所述二维时空局部特征Y进行SVD分解，得到：

Y＝UΣV^T，

其中，Y表示二维时空局部特征；U和V表示正交特征向量；Σ表示特征值矩阵；

步骤422，根据所述SVD分解结果，得到模型参数C和系统状态变量X₁:_L：

C＝U,X_1:L＝ΣV^T；

步骤423，为了估计得到稳态最小二乘意义下的模型参数A，建立目标函数：

$A=\arg \underset{A}{\min }\left|\right|A{X}_{1:L-1}-X_{2:L}\left|\right|=\arg \underset{a}{\min }\{a^T\mathrm{Pa}-2q^{T}a+r\},$

其中， $a=\mathrm{vec}\left(A\right),q=\mathrm{vec}\left(X_{1:L-1}{X}_{2:L}^T\right),p=I_n\⊗\left(X_{1:L-1}{X}_{1:L-1}^T\right),r=\mathrm{tr}\left(X_{2:L}^T{X}_{2:L}\right),$ vec(.)表示将矩阵沿列变换为向量，In表示n阶单位矩阵，表示卷积操作，tr表示求迹操作；

步骤424，建立稳态线性动态系统约束；

步骤425，将所述稳态线性动态系统约束与所述目标函数相结合，得到二次优化函数：

目标函数a^TPa-2q^Ta+r

约束条件g^Ta≤1；

步骤426，通过对于所述二次优化函数进行求解，即可得到模型参数A，将所述模型参数A,C作为所述二维时空局部特征Y的描述子。

9.根据权利要求8所述的方法，其特征在于，所述稳态线性动态系统约束为：模型参数A的最大特征值λ₁≤1。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

步骤5：对于得到的所述二维时空局部特征Y的描述子进行存储。