CN103400154A - 一种基于有监督等距映射的人体动作识别方法 - Google Patents

Abstract

本发明公开了一种基于有监督等距映射的人体动作识别方法，其属于模式识别与计算机视觉领域，包括以下步骤：S1.对视频通过码书codebook方法进行前景提取，得到二值化人体前景图像；S2.对人体前景图像进行形态学处理并归一化，得到人体剪影图像；S3.对人体剪影图像序列进行周期化分析，对每个视频，通过包含一个完整动作周期的关键帧来表示该视频；S4.对人体剪影图像的关键帧进行向量化，通过有监督的等距映射进行特征降维；S5.将降维后的特征通过基于Hausdorff距离的最近邻分类器进行识别。本发明突破了现有算法的局限性，在提高分类精度的同时降低了算法复杂度，使得在实际的工程应用中更容易实现。

Description

一种基于有监督等距映射的人体动作识别方法

技术领域

本发明涉及模式识别与计算机视觉领域，尤其涉及一种基于有监督等距映射的人体动作识别方法。

背景技术

人体运动分析的目的是对人的动作进行认识和理解，以此为导向的研究被称为动作识别。在科学技术飞速发展的今天，动作识别应用于智能监控、身份确认、运动分析、人机交互等诸多领域，并且在这些领域都具有比较高的学术理论价值和广泛的市场实用价值。

近年来，人类动作识别逐步成为了计算机视觉中的一个极具挑战性的研究方向，并且已经取得了非常大的进展，但是还存在很多问题有待解决，而且现有的方法离满足实际应用的需求还有很大差距。目前存在的主要问题有：

（1）人体动作的特征表示。目前对人体动作的描述一般分为基于底层图像信息和基于高层人体建模两种方法。怎样表征动作才可以对动作描述更加合理并体现出动作的本质特性，如何解决这个问题在该研究发展中遇到了很多困难。因此，如何提取有代表性和区分性的特征，是该方向研究工作中所面临的重大挑战。

（2）类内变化与类间变化的影响。对于绝大多数人体动作，多样化的表现形式会出现在同一动作中。相同的动作，不同的人来完成也会有很大差异性。即使是同一个人在面对不同的情境及拥有不同的心态时，也会表现出很大差异，因此算法必须可以对类内的差异性有一定的容忍度。而且，生活中存在的人体动作本来就多种多样，种类繁多的动作也为动作识别增加了难度。

（3）算法的实时性要求。实际应用中要求动作识别判断所需的时间应尽可能的缩短，以期达到实时检测的效果。现存的一些方法，为了使用尽可能多的信息来表征动作，采用多种特征融合的方法，但是，这在一定程度上对计算速度提出了更高要求，各种特征之间互相影响，也会给识别带来难度，起到了混淆的反作用。

通过对高维人体特征进行有效的特征降维可以提取人体动作的本征特征，能显著提高特征的鉴别能力。针对人体运动的时空可变性和高时空复杂性问题，以流形学习理论为基础的人体动作高维特征空间的非线性降维方法开始蓬勃发展。

基于有监督等距映射的人体动作识别的核心思想是对人体动作的高维特征空间通过有监督等距映射算法进行非线性降维，从而获得人体动作的低维流形表示，然后在低维流形上进行人体动作识别。

发明内容

本发明的目在于如何提供一种基于有监督等距映射的人体动作识别方法，其旨在突破现有算法的局限性，在提高分类精度的同时降低算法复杂度，使得在实际的工程应用中更容易实现。

为达到上述目的，本发明采用如下技术方案：

一种基于有监督等距映射的人体动作识别方法，其特征在于，包括以下步骤：

S1、对视频通过码书方法进行前景提取，得到二值化人体前景图像；

S2、对人体前景图像进行形态学处理并归一化，得到人体剪影图像；

S3、对人体剪影图像序列进行周期化分析，对每个视频，通过包含一个完整动作周期的关键帧来表示该视频；

S4、对人体剪影图像的关键帧进行向量化，通过有监督的等距映射进行特征降维；

S5、将降维后的特征通过基于Hausdorff距离的最近邻分类器进行识别。

上述基于有监督等距映射的人体动作识别方法，更进一步地描述为：

S1、对输入视频使用中值滤波进行去噪处理，通过码本codebook法进行背景建模，构建一个随时间和空间变化而自适应变化的背景模型，之后将当前帧与背景模型进行差分，根据预设定的阈值，分割图像后得到人体动作前景图像I；

S2、将人体动作二值剪影图像I经过4次开运算，之后根据预设定的阈值合并小区域并进行空洞填充，得到最大连通区域I’，根据I’确定人体动作剪影轮廓图像的中心，将图像进行归一化；

S3、每个视频中提取出的人体剪影图像序列进行周期化分析，根据长宽比时变曲线上的极值点确定一个完整周期动作的始末帧作为表示视频动作的关键帧；

S4、将上述关键帧图像进行向量化，通过有监督的等距映射进行特征降维，构成样本特征数据库；

S5、对新加入的测试视频，通过S1-S4步骤进行处理后，将降维后的特征序列经过基于均值Hausdorff距离的最近邻分类器与特征数据库中的样本序列进行比对，得到识别结果。

所述步骤S4中有监督的等距映射包括如下步骤：

S41、求解差异度矩阵；

S42、构建近邻图；

S43、更新差异度矩阵；

S44、计算测地距离矩阵

S45、计算测试样本帧的线性表出系数；

S46、通过测试样本帧的近邻点及其线性表出系数，更新差异度矩阵，再更新测地距离矩阵；

S47、通过多维标度算法MDS求解动作数据的低维嵌入。

上述步骤S42中构建近邻图具体包括如下四步：

S421、确定初始邻域值，计算欧氏距离矩阵；

S422、对每个局部邻域集，计算其中任意两点的测地距离；

S423、对每个局部邻域集，计算局部流形结构的弯曲度比例因子；

S424、对于整个局部邻域集，计算其中的均值比例因子，更新每一个样本点的邻域数大小。

本发明的核心思想是对人体动作的高维特征空间通过有监督等距映射算法进行非线性降维，从而获得人体动作的低维流形表示，然后在低维流形上进行人体动作识别。

与现有技术相比，本发明具有以下有益效果：

本发突破现有算法的局限性，在提高分类精度的同时降低了算法复杂度，使得在实际的工程应用中更容易实现。

附图说明

图1是人体动作识别方法的整体框架流程图；

图2是特征提取与表示方法的流程图；

图3是人体动作识别训练与识别具体实现步骤的流程图；

图4是周期性分析提取关键帧的示意图；

图5是对前景图像进行向量化的示意图；

图6是动态邻域有监督映射进行动作数据降维识别的流程图。

具体实施方式

下面将结合附图及具体实施方式对本发明作进一步的描述。

一种基于有监督等距映射的人体动作识别方法，包括如下步骤：

S1、对视频通过码书（codebook）方法进行前景提取，得到二值化人体前景图像；

S2、对人体前景图像进行形态学处理并归一化，得到人体剪影图像；

S3、对人体剪影图像序列进行周期化分析，对每个视频，通过包含一个完整动作周期的关键帧来表示该视频；

S4、对人体剪影图像的关键帧进行向量化，通过有监督的等距映射（S-ISOMAP）进行特征降维；

S5、将降维后的特征通过基于Hausdorff距离的最近邻分类器进行识别。

上述方案中，所述S1步骤具体为：对输入视频使用中值滤波进行去噪处理，通过码书法进行背景建模，构建一个随时间和空间变化而自适应变化的背景模型，之后将当前帧与背景模型进行差分，根据预设定的阈值，分割图像后得到人体动作前景图像I；

上述方案中，所述S2步骤具体为：将人体动作二值剪影图像I经过4次开运算，之后根据预设定的阈值合并小区域并进行空洞填充，得到最大连通区域I’，根据I’确定人体动作剪影轮廓图像的中心，将图像进行归一化；

上述方案中，所述S3步骤具体为：对提取的运动人体轮廓，分析其宽高比，统计其随时间变化所呈现出的周期特性，人体静止站立的姿态一般对应宽高比时变曲线中的波谷，选择第二个波谷位置与第三个波谷位置之间的图像序列作为表征该动作的关键帧，如图4所示。

上述方案中，所述S4步骤具体包括：

对提取出的关键帧图像序列里的每一帧，通过图5的方式按列串成向量x_i。

其中训练样本库为[x₁,x₂,…x_i,…x_N]，y_i是x_i的类别标签，x_l为待测样本序列中的某一帧。有监督等距映射降维主要包括以下步骤：

S41、求解差异度矩阵。通过欧氏距离来衡量各点之间的差异度，求得训练样本库数据点对之间的差异度d_e(x_i,x_j)，得到d_e＝[d_ij]_n×n，d_ij＝d_e(x_i,x_j)。

S42、构建近邻图。动态确定邻域数k_i，算法步骤如下所示：

S421、确定初始邻域值k，计算欧氏距离矩阵。根据k值确定每个样本点x_i的初始邻域X_i，形成局部邻域集X＝{X₁,X₂,…X_N}，其中N为总样本数。

S422、对每个局部邻域集X_i，计算其中任意两点的测地距离。计算方法如下：局部邻域X_i内，求取每个点的最近邻点，从而构建权重图G＝(V,E)，其中V是X_i中所有样本点，在目标点x_m及其最近邻点x_n之间连上一条边，组成边的集合E，权值为其欧氏距离d_e(x_m,x_n)。在X_i内求解测地距离，对所有(x_m,x_n)∈E，初始化d_g(x_m,x_n)＝d_e(x_m,x_n)，对

令d_g(x_m,x_n)＝+∞，通过公式（1）更新其测地距离。

d_g(x_m,x_n)＝min{d_e(x_m,x_n),d_e(x_m,x_o)+d_e(x_o,x_n)}      （1）

S423、对每一个局部邻域X_i，通过公式（2）计算局部流形结构的弯曲度比例因子λ_i。

${\mathrm{\λ}}_i=\frac{\underset{x_m,x_n\∈X_i}{\mathrm{\Σ}}{d}_g(x_m,x_n)}{\underset{x_m,x_n\∈X_i}{\mathrm{\Σ}}{d}_e(x_m,x_n)}---\left(2\right)$

S424、对于整个局部邻域集X＝{X₁,X₂,…X_N}，通过公式（3）计算其中的均值比例因子，每一个样本点x_i的邻域大小k_i通过公式（4）进行更新。

${\mathrm{\λ}}_{\mathrm{mean}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\λ}}_i---\left(3\right)$

$k_i=\frac{{\mathrm{\λ}}_i}{{\mathrm{\λ}}_{\mathrm{mean}}}\×k---\left(4\right)$

S43、更新差异度矩阵。对x_i，i＝1,2,…,N，通过公式（5）更新差异度度量。

$D(x_i,x_j)=\left\{\begin{array}{cc}\sqrt{1-e^{-\frac{d_e^2(x_i,x_j)}{\mathrm{\β}}}}& x_j\∈X_i,y_i=y_j\\ \sqrt{e^{\frac{d_e^2(x_i,x_j)}{\mathrm{\β}}}}-\mathrm{\α}& x_j\∈X_i,y_i\≠y_j\\ +\∞& x_j\∉X_i\end{array}\right.---\left(5\right)$

其中β表示所有数据点对之间的平均欧式距离，α取值范围在0到1之间，X_i为通过步骤2）中更新邻域数k_i后得到x_i的邻域。

S44、计算测地距离矩阵。使用弗洛伊德算法更新其测地距离矩阵：

$G(x_i,x_j)=\left\{\begin{array}{cc}D(x_i,x_m)+D(x_m,x_j)& D(x_i,x_m)+D(x_m,x_j)<D(x_i,x_j)\\ D(x_i,x_j)& \mathrm{otherwise}\end{array}\right.---\left(6\right)$

S45、计算测试样本帧的线性表出系数。将测试样本帧x_l加入训练样本矩阵得到[x₁,x₂,…x_i,…x_N,x_l]，通过动态确定邻域的方法求得x_l的近邻点(x_1l,...,x_kl)，并根据公式(7)和公式(8)求得其线性表出系数w₁,w₂…w_k，k表示线性表出近邻点的个数。

$\underset{j}{\mathrm{\&Sigma;}}{W}_{\mathrm{ij}}=1---\left(7\right)$

$W_j=\underset{k}{\mathrm{\&Sigma;}}{C}_{\mathrm{jk}}^{-1}(x_l\&CenterDot;x_{\mathrm{kl}}+\mathrm{\&lambda;})---\left(8\right)$

其中，C_jk＝x_jl·x_kl，λ＝α/β，

x_l＝w₁x_1l+w₂x_2l+…w_kx_kl                   （9）

S46、通过测试样本帧近邻点x_1l,x_2l,…x_kl及其线性表出系数w₁,w₂…w_k，更新差异度矩阵，之后更新测地距离矩阵。

D(x_l,x_i)＝w₁D(x_1l,x_i)+w₂D(x_2l,x_i)+…w_kD(x_kl,x_i)        （10）

$F(x_l,x_i)=\left\{\begin{array}{cc}D(x_l,x_k)+D(x_k,x_i)& \mathrm{ifD}(x_l,x_k)+D(x_k,x_i)<D(x_l,x_i)\\ D(x_l,x_i)& \mathrm{otherwise}\end{array}\right.---\left(11\right)$

S47、得到矩阵G′，并通过多维标度算法（MDS）求解G′的低维嵌入矩阵Y。

$G^{\&prime;}=\left[\begin{array}{cc}G& F\\ F^T& 0\end{array}\right]---\left(12\right)$

其中，所述S5步骤具体为：训练样本和测试样本序列里的每一帧通过S4中步骤降维得到低维嵌入之后，通过均值Hausdorff距离衡量两个序列之间的相似度。设A和B为两个动作序列，A＝{a₁,a₂,…,a_n}，B＝{b₁,b₂,…,b_n}，两序列间的均值Hausdorff距离定义如公式（15）所示：

$s(A,B)=\underset{a_i\&Element;A}{\mathrm{mean}}\left(\underset{b_j\&Element;B}{\min }\right\{d_e(a_i,b_j)\left\}\right)---\left(13\right)$

$s(B,A)=\underset{b_j\&Element;B}{\mathrm{mean}}\left(\underset{a_i\&Element;A}{\min }\right\{d_e(a_i,b_j)\left\}\right)---\left(14\right)$

S(A,B)＝S(B,A)＝s(A,B)+s(B,A)        （15）

其中d_e(a_i,b_j)表示两点之间的欧氏距离。

通过均值Hausdorff距离选取训练样本库中最接近待测样本序列的动作序列的类别作为识别结果。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于有监督等距映射的人体动作识别方法，其特征在于，包括以下步骤：

S1、对视频通过码书方法进行前景提取，得到二值化人体前景图像；

S2、对人体前景图像进行形态学处理并归一化，得到人体剪影图像；

S3、对人体剪影图像序列进行周期化分析，对每个视频，通过包含一个完整动作周期的关键帧来表示该视频；

S4、对人体剪影图像的关键帧进行向量化，通过有监督的等距映射进行特征降维；

S5、将降维后的特征通过基于Hausdorff距离的最近邻分类器进行识别。

2.根据权利要求1所述的基于有监督等距映射的人体动作识别方法，其特征在于，所述步骤S1-S5更进一步地描述为：

S1、对输入视频使用中值滤波进行去噪处理，通过码本codebook法进行背景建模，构建一个随时间和空间变化而自适应变化的背景模型，之后将当前帧与背景模型进行差分，根据预设定的阈值，分割图像后得到人体动作前景图像I；

S2、将人体动作二值剪影图像I经过4次开运算，之后根据预设定的阈值合并小区域并进行空洞填充，得到最大连通区域I’，根据I’确定人体动作剪影轮廓图像的中心，将图像进行归一化；

S3、每个视频中提取出的人体剪影图像序列进行周期化分析，根据长宽比时变曲线上的极值点确定一个完整周期动作的始末帧作为表示视频动作的关键帧；

S4、将上述关键帧图像进行向量化，通过有监督的等距映射进行特征降维，构成样本特征数据库； 

S5、对新加入的测试视频，通过S1-S4步骤进行处理后，将降维后的特征序列经过基于均值Hausdorff距离的最近邻分类器与特征数据库中的样本序列进行比对，得到识别结果。

3.根据权利要求1所述的基于有监督等距映射的人体动作识别方法，其特征在于，所述步骤S4中有监督的等距映射包括如下步骤：

S41、求解差异度矩阵；

S42、构建近邻图；

S43、更新差异度矩阵；

S44、计算测地距离矩阵

S45、计算测试样本帧的线性表出系数；

S46、通过测试样本帧的近邻点及其线性表出系数，更新差异度矩阵，再更新测地距离矩阵；

S47、通过多维标度算法MDS求解动作数据的低维嵌入。

4.根据权利要求3所述的基于有监督等距映射的人体动作识别方法，其特征在于，上述步骤S42中构建近邻图具体包括如下四步：

S421、确定初始邻域值，计算欧氏距离矩阵；

S422、对每个局部邻域集，计算其中任意两点的测地距离；

S423、对每个局部邻域集，计算局部流形结构的弯曲度比例因子；

S424、对于整个局部邻域集，计算其中的均值比例因子，更新每一个样本点的邻域数大小。

Images