CN103577841A - 一种无监督多视图特征选择的人体行为识别方法 - Google Patents

Abstract

本发明公开了一种无监督多视图特征选择的人体行为识别方法。该方法首先对预先采集包含不同人体行为类型的视频数据集提取多种类型的视觉特征表达，得到多视图特征数据矩阵；接着对各个视图构建视图相关的视觉相似图和几何拉普拉斯矩阵，以此构建求解多视图特征选择矩阵与数据聚类类别矩阵的目标函数；然后采用迭代梯度下降法优化计算多视图特征选择矩阵，并依据的行排序结果得到二值特征选择矩阵

Description

一种无监督多视图特征选择的人体行为识别方法

技术领域

本发明涉及机器学习与计算机视觉研究中的无监督学习、多视图学习、特征选择和人体行为识别这几个主题，尤其涉及一种无监督多视图特征选择的人体行为识别方法。

背景技术

随着现代计算机计算性能的飞速提升和计算机视觉技术，尤其是特征提取技术的发展，人们对视频和图像处理对象会提取不同类型的视觉特征表达。例如对图像而言，常会提取包括全局特征，如颜色直方图、纹理特征和轮廓外形特征，以及局部特征，如SIFT、LBP和GLOH等。而对于视频对象，除了外观特征（如颜色、纹理、边缘）和运动特征（如运动历史图和运动能量图特征），还会提取局部时刻特征（如STIP特征）。这种对同一对象提取多种异构类型的特征所构成的数据被称为多视图数据。

由于传统的机器学习方法都是针对处理单一类型特征数据进行设计的，因此在处理多视图数据的时候无法充分挖掘发挥多视图数据中不同模特数据之间的关联性，因此无法取得最佳的方法效果。虽然一种简单的处理办法是将这些不同类型的特征拼接起来，构成新的单类型特征，但是这种方式忽略了不同类型特征本身所存在的鉴别能力强弱上的差异性，因此也不是一种理想的处理办法。为了解决这个问题，多视图学习方法在最近得到兴起，并成功应用到数据聚类，分类和数据降维等应用中，显著地提高了学习方法的性能。

具体到特征选择应用中，传统的方法，无论是有监督学习的Fisher Scores方法和SparseMulti‐output regression方法，还是无监督的Laplacian Score方法、Feature Ranking和Multi‐Cluster Feature Selection方法，都是面向传统的单类型特征设计的，并不是针对多视图数据。因此在进行特征选择的时候，传统的特征选择方法无法充分发挥多视图特征优势。

另外一方面，在基于视频的人体行为识别研究中，虽然各种不同类型的视觉特征被不断提出来，多特征之间如何进行组合和应用，在一些文献中也有关的研究和讨论，但是对于多特征之间如何进行快速有效的特征选择，这方面的研究相对比较少。

针对上述问题，本发明提出一种无监督多视图特性选择的人体行为识别方法。与上面提到的传统方法不同，本方法充分利用多视图数据中不同视图之间的内在关联性，通过对不同类型的特征赋予不同的视图权重，从而将多种异构类型的特征最优地组织在一起。于此同时，本方法还将不同类型特征数据内存在的数据空间结构关系考虑进来，对不同视图分别构建表征该类型数据之间空间结构关系的图，采用几何拉普拉斯图，将数据之间的几何结构关系引入到目标函数中。通过对目标函数中特征选择矩阵添加l_2,1范数约束，利用l_2,1范数的行稀疏特性，实现对特征分量的排序，进而实现特征选择的功能。最后，本方法在进行识别的时候，采用特征选择后的结果，在低维特征空间上比较待视频数据与预先采集的视频数据之间的相似性，可以有效地减少计算复杂性，增强方法的抗噪声干扰能力。将该方法应用到基于视频的人体行为识别应用中，可以快速准确地对视频中的人体行为进行识别。

发明内容

本发明的目的是克服现有技术的不足，提供一种无监督多视图特征选择的人体行为识别方法。

无监督多视图特征选择的人体行为识别方法包括如下步骤：

1)选用公共人体行为数据集KTH作为预先采集的包含不同人体行为类型的视频数据集，选用通过视频采集设备录取的人体行为视频作为待识别的人体行为视频；

2)对预先采集的包含不同人体行为类型的视频数据集提取m种类型的视觉特征表达，得到该视频数据集所对应的多视图特征数据矩阵X＝[X⁽¹⁾,X⁽²⁾,...,X^(m)]^T，其中

是第v个视图下的特征数据矩阵，

是从第i个视频数据中提取的第v种类型的视觉特征表达，n是该视频数据集中所包含的视频数目；

3)对任意第v个视图，构建该视图相关的视觉相似图A^(v)，定义如下：

其中，

表征第i个视频数据与第j个视频数据在第v个视图下的视觉相似性；

4)对任意第v个视图，依据A^(v)计算该视图下的几何拉普拉斯矩阵L^(v)，计算方法如下:

L^(v)＝D^(v)-A^(v)    2

其中，D^(v)是对角矩阵，其对角位置i上的元素

5)根据X和L^(v)，构建求解多视图特征选择矩阵与数据聚类类别矩阵的目标函数如下：

$\begin{array}{c}\underset{F,{\mathrm{\λ}}_v{|}_{v=1}^m,W}{\min }\mathrm{tr}\left(F^T{\mathrm{\Σ}}_{v=1}^m{\mathrm{\λ}}_v^r{L}^{\left(v\right)}F\right)+{\mathrm{\α}\left|\right|X^{T}W-F\left|\right|}_{\mathrm{2,1}}+{\mathrm{\β}\left|\right|W\left|\right|}_{\mathrm{2,1}}\\ s.t.F^{T}F=I_c,F\≥0,{\mathrm{\Σ}}_{v=1}^m{\mathrm{\λ}}_v=1,{\mathrm{\λ}}_v\≥0\end{array}---3$

在目标函数3中，F∈R^n×c是非负的数据聚类类别矩阵，c为数据聚类类别数目，r是开方次数常数，λ_v是第v个视图的权重系数，I_c∈R^c×c是单位矩阵，α和β为正则化系数，tr(·)为矩阵求迹函数，||·||_2,1是矩阵的l_2,1范数，对于任意矩阵B∈R^p×q，其l_2,1范数 ${\left|\right|B\left|\right|}_{\mathrm{2,1}}={\mathrm{\Σ}}_{i=1}^p\sqrt{{\mathrm{\Σ}}_{j=1}^q{B}_{\mathrm{ij}}^2};$

6)采用迭代梯度下降求解方法优化求解上面的目标函数3，得到目标函数的局部最优解F，

和W；

7)对多视图特征选择矩阵W，先按照行计算||W_i,:||，i∈{1,...,d}，d为多视图特征数据矩阵X的行数，接着对所有行的计算结果进行降序排序，根据排序结果设置二值特征选择矩阵S如下：

S＝[s₁,s₂,...,s_p]∈{0,1}^d×p     4

其中，s_i＝[0,...,1,...,0]^T∈R^d中值为1的位置对应于排序值为第i的W中的行号数，p为期望选择出的特征维数；

8)对待识别的人体行为视频提取m种类型的视觉特征表达得到对应的多视图特征数据x＝[(x⁽¹⁾)^T,(x⁽²⁾)^T,...,(x^(m))^T]^T，接着计算特征选择后的与

中各列数据的最小距离所对应的预先采集视频编号：

$j=\arg \min \left|\right|\tilde{x}-{\tilde{X}}_{:,j}\left|\right|---5$

将待识别的人体行为视频识别为预采集的第j个视频数据中的人体行为类型，从而实现无监督多视图特征选择的人体行为识别。

本发明与现有技术相比具有的有益效果是，在预先采集的训练数据的基础上，通过迭代梯度下降方法，可以快速地求解出二值特征选择矩阵；利用该二值特征选择矩阵可以快速地对训练数据集中的多视图特征矩阵以及待测试的多视图特征数据进行快速地特征选择，从而得到低维紧凑的特征表达；在得到的低维特征表达基础上进行相似性度量，可以有效地提高方法的识别准确率和抗噪声干扰能力。

附图说明

图1为KTH人体行为视频数据集样例；

图2为使用最近邻识别方法时，KTH数据集上不同方法识别性能随特征选择维数变化对比结果；

图3为使用SVM识别方法时，KTH数据集上不同方法识别性能随特征选择维数变化对比结果；

图4为方法性能不同参数在KTH数据集下的敏感性；

图5为方法迭代收敛曲线。

具体实施方式

无监督多视图特征选择的人体行为识别方法包括如下步骤：

1)选用公共人体行为数据集KTH作为预先采集的包含不同人体行为类型的视频数据集，选用通过视频采集设备录取的人体行为视频作为待识别的人体行为视频；

2)对预先采集的包含不同人体行为类型的视频数据集提取m种类型的视觉特征表达，得到该视频数据集所对应的多视图特征数据矩阵X＝[X⁽¹⁾,X⁽²⁾,...,X^(m)]^T，其中

是第v个视图下的特征数据矩阵，是从第i个视频数据中提取的第v种类型的视觉特征表达，n是该视频数据集中所包含的视频数目；

3)对任意第v个视图，构建该视图相关的视觉相似图A^(v)，定义如下：

其中，

表征第i个视频数据与第j个视频数据在第v个视图下的视觉相似性；

4)对任意第v个视图，依据A^(v)计算该视图下的几何拉普拉斯矩阵L^(v)，计算方法如下:

L^(v)＝D^(v)-A^(v)    2

其中，D^(v)是对角矩阵，其对角位置i上的元素

5)根据X和L^(v)，构建求解多视图特征选择矩阵与数据聚类类别矩阵的目标函数如下：

$\begin{array}{c}\underset{F,{\mathrm{\λ}}_v{|}_{v=1}^m,W}{\min }\mathrm{tr}\left(F^T{\mathrm{\Σ}}_{v=1}^m{\mathrm{\λ}}_v^r{L}^{\left(v\right)}F\right)+{\mathrm{\α}\left|\right|X^{T}W-F\left|\right|}_{\mathrm{2,1}}+\mathrm{\β}{\left|\right|W\left|\right|}_{\mathrm{2,1}}\\ s.t.F^{T}F=I_c,F\≥0,{\mathrm{\Σ}}_{v=1}^m{\mathrm{\λ}}_v=1,{\mathrm{\λ}}_v\≥0\end{array}---3$

在目标函数3中，F∈R^n×c是非负的数据聚类类别矩阵，c为数据聚类类别数目，r是开方次数常数，λ_v是第v个视图的权重系数，I_c∈R^c×c是单位矩阵，α和β为正则化系数，tr(·)为矩阵求迹函数，||·||_2,1是矩阵的l_2,1范数，对于任意矩阵B∈R^p×q，其l_2,1范数 ${\left|\right|B\left|\right|}_{\mathrm{2,1}}={\mathrm{\Σ}}_{i=1}^p\sqrt{{\mathrm{\Σ}}_{j=1}^q{B}_{\mathrm{ij}}^2};$

6)采用迭代梯度下降求解方法优化求解上面的目标函数3，得到目标函数的局部最优解F，

和W；

7)对多视图特征选择矩阵W，先按照行计算||W_i,:||，i∈{1,...,d}，d为多视图特征数据矩阵X的行数，接着对所有行的计算结果进行降序排序，根据排序结果设置二值特征选择矩阵S如下：

S＝[s₁,s₂,...,s_p]∈{0,1}^d×p      4

其中，s_i＝[0,...,1,...,0]^T∈R^d中值为1的位置对应于排序值为第i的W中的行号数，p为期望选择出的特征维数；

8)对待识别的人体行为视频提取m种类型的视觉特征表达得到对应的多视图特征数据x＝[(x⁽¹⁾)^T，(x⁽²⁾)^T，...，（x^(m))^T]^T，接着计算特征选择后的与

中各列数据的最小距离所对应的预先采集视频编号：

$j=\arg \min \left|\right|\tilde{x}-{\tilde{X}}_{:,j}\left|\right|---5$

将待识别的人体行为视频识别为预采集的第j个视频数据中的人体行为类型，从而实现无监督多视图特征选择的人体行为识别。

实施例1

使用公共人体行为数据集KTH测试本方法的人体行为识别能力。KTH数据集包含总共600段人体行为视频，分为6种不同运动类型。图1展示了部分KTH行为视频数据样例，图2和图3分别显示了使用最近邻识别方法和SVM识别方法时KTH数据集上，本方法（记为AUMFS）与现有的其他方法（Max Vairance,Laplacian Score,Feature Ranking,Multi-Cluster FeatureSelection(MCFS)和Nonnegative Discriminative Feature Selection(NDFS)）比较方法识别性能随特征选择维数变化对比结果，图4为方法性能不同参数在KTH数据集下的敏感性，图5展示了方法迭代收敛曲线。下面结合前面所述的具体技术方案说明该实例实施的步骤，如下：

1)首先将KTH数据集中的80%用来做预采集的训练数据集，将剩余的20%视频数据作为测试视频数据。对预先采集的包含不同人体行为类型的视频数据集提取6种类型的视觉特征表达，包括从帧差图像与运动能量图像上分别提取得到的两种全局视觉特征Zernike矩特征和Hu矩特征和从局部时空兴趣点上提取得到的STIP特征与Mosift特征构成的两种视觉单词特征，从而得到该视频数据集所对应的多视图特征数据矩阵X＝[X⁽¹⁾,X⁽²⁾,...,X⁽⁶⁾]^T，其中

是第v个视图下的特征数据矩阵，

是从第i个视频数据中提取的第v种类型的视觉特征表达，n是该视频数据集中所包含的视频数目。

2)对任意第v个视图，构建该视图相关的视觉相似图A^(v)，定义如下：

其中，表征第i个视频数据与第j个视频数据在第v个视图下的视觉相似性，这里固定设置k近邻数目为5。

3)对任意第v个视图，依据A^(v)计算该视图下的几何拉普拉斯矩阵L^(v)，计算方法如下:

L^(v)＝D^(v)-A^(v)       2

其中，D^(v)是对角矩阵，其对角位置i上的元素

4)根据X和L^(v)，构建求解多视图特征选择矩阵与数据聚类类别矩阵的目标函数如下：

$\begin{array}{c}\underset{F,{\mathrm{\λ}}_v{|}_{v=1}^m,W}{\min }\mathrm{tr}\left(F^T{\mathrm{\Σ}}_{v=1}^m{\mathrm{\λ}}_v^r{L}^{\left(v\right)}F\right)+{\mathrm{\α}\left|\right|X^{T}W-F\left|\right|}_{\mathrm{2,1}}+\mathrm{\β}{\left|\right|W\left|\right|}_{\mathrm{2,1}}\\ s.t.F^{T}F=I_c,F\≥0,{\mathrm{\Σ}}_{v=1}^m{\mathrm{\λ}}_v=1,{\mathrm{\λ}}_v\≥0\end{array}---3$

在目标函数3中，c为设置为数据聚类类别数目，即人体行为类别数6，r是开方次数常数（设置为r＝4），λ_v是待求的第v个视图的权重系数，α和β为正则化系数采用遍历可选的参数设置集合{10^-5,10^-3,10^-1,1,10,10³,10⁵}。

5)采用迭代梯度下降求解方法求解目标函数3，得到目标函数的局部最优解F，

和W；

6)对多视图特征选择矩阵W，先按照行计算||W_i,:||，i∈{1,...,d}，d为多视图特征数据矩阵X的行数，在本实施实例中d＝50×4+500×2＝1200，接着对所有行的计算结果进行降序排序，根据排序结果设置二值特征选择矩阵S如下：

S＝[s₁,s₂,...,s_p]∈{0,1}^d×p     4

其中，s_i＝[0,...,1,...,0]^T∈R^d中值为1的位置对应于排序值为第i的W中的行号数，p为期望选择出的特征维数，设置范围为{20:20:600}；

7)对于任意一段待识别的测试人体行为视频，同样提取6种类型的视觉特征表达得到对应的多视图特征数据x＝[(x⁽¹⁾)^T,(x⁽²⁾)^T,...,(x^(m))^T]^T，接着计算特征选择后的

与

中各列数据的最小距离所对应的预先采集视频编号：

$j=\arg \min \left|\right|\tilde{x}-{\tilde{X}}_{:,j}\left|\right|---5$

将待识别的人体行为视频识别为预采集的第j个视频数据中的人体行为类型，从而实现无监督多视图特征选择的人体行为识别。

为了克服不同分类器对于识别准确率的影响，在实施实例中同时引入SVM分类器，对比本方法在使用SVM分类器时与其他特征选择方法在识别性能上的差异。实施结果参见图1～5。图2～3显示，本发明方法有着更高准确率，说明本发明方法的识别效果优于其他方法。图4表明本发明方法对参数α和β的不敏感性。图5表明本发明方法收敛速度很快，能够在100次迭代内收敛，保证了本发明方法使用较少的时间。

Claims (1)

1.一种无监督多视图特征选择的人体行为识别方法，其特征在于包括如下步骤：

1)选用公共人体行为数据集KTH作为预先采集的包含不同人体行为类型的视频数据集，选用通过视频采集设备录取的人体行为视频作为待识别的人体行为视频；

2)对预先采集的包含不同人体行为类型的视频数据集提取m种类型的视觉特征表达，得到该视频数据集所对应的多视图特征数据矩阵X＝[X⁽¹⁾,X⁽²⁾,...,X^(m)]^T，其中

是第v个视图下的特征数据矩阵，

是从第i个视频数据中提取的第v种类型的视觉特征表达，n是该视频数据集中所包含的视频数目；

3)对任意第v个视图，构建该视图相关的视觉相似图A^(v)，定义如下：

其中，

表征第i个视频数据与第j个视频数据在第v个视图下的视觉相似性；

4)对任意第v个视图，依据A^(v)计算该视图下的几何拉普拉斯矩阵L^(v)，计算方法如下:

L^(v)＝D^(v)-A^(v)     2

其中，D^(v)是对角矩阵，其对角位置i上的元素

5)根据X和L^(v)，构建求解多视图特征选择矩阵与数据聚类类别矩阵的目标函数如下：

$\begin{array}{c}\underset{F,{\mathrm{\λ}}_v{|}_{v=1}^m,W}{\min }\mathrm{tr}\left(F^T{\mathrm{\Σ}}_{v=1}^m{\mathrm{\λ}}_v^r{L}^{\left(v\right)}F\right)+{\mathrm{\α}\left|\right|X^{T}W-F\left|\right|}_{\mathrm{2,1}}+{\mathrm{\β}\left|\right|W\left|\right|}_{\mathrm{2,1}}\\ s.t.F^{T}F=I_c,F\≥0,{\mathrm{\Σ}}_{v=1}^m{\mathrm{\λ}}_v=1,{\mathrm{\λ}}_v\≥0\end{array}---3$

在目标函数3中，F∈R^n×c是非负的数据聚类类别矩阵，c为数据聚类类别数目，r是开方次数常数，λ_v是第v个视图的权重系数，I_c∈R^c×c是单位矩阵，α和β为正则化系数，tr(·)为矩阵求迹函数，||·||_2,1是矩阵的l_2,1范数，对于任意矩阵B∈R^p×q，其l_2,1范数 ${\left|\right|B\left|\right|}_{\mathrm{2,1}}={\mathrm{\Σ}}_{i=1}^p\sqrt{{\mathrm{\Σ}}_{j=1}^q{B}_{\mathrm{ij}}^2};$

6)采用迭代梯度下降求解方法优化求解上面的目标函数3，得到目标函数的局部最优解F，

和W；

7)对多视图特征选择矩阵W，先按照行计算||W_i,:||，i∈{1,...,d}，d为多视图特征数据矩阵X的行数，接着对所有行的计算结果进行降序排序，根据排序结果设置二值特征选择矩阵S如下：

S＝[s₁,s₂,...,s_p]∈{0,1}^d×p      4

其中，s_i＝[0,...,1,...,0]^T∈R^d中值为1的位置对应于排序值为第i的W中的行号数，p为期望选择出的特征维数；

8)对待识别的人体行为视频提取m种类型的视觉特征表达得到对应的多视图特征数据x＝[(x⁽¹⁾)^T,(x⁽²⁾)^T,...,(x^(m))^T]^T，接着计算特征选择后的

与

X中各列数据的最小距离所对应的预先采集视频编号：

$j=\arg \min \left|\right|\tilde{x}-{\tilde{X}}_{:,j}\left|\right|---5$

将待识别的人体行为视频识别为预采集的第j个视频数据中的人体行为类型，从而实现无监督多视图特征选择的人体行为识别。

Images