CN103020614A - 基于时空兴趣点检测的人体运动识别方法 - Google Patents

Abstract

本发明提出了一种基于时空兴趣点检测的人体运动识别方法，主要解决现有技术中特征提取复杂、表征能力弱的问题。其实现步骤是：(1)取一个样本视频I，检测视频中的时空兴趣点；(2)检测视频中人体重心G(x₀,y₀)；(3)计算各个时空兴趣点到人体重心的角度θ和距离r；(4)在极坐标系中将计算得到的角度θ和距离r进行区域划分，统计并计算每个区域内角度θ和距离r分布的百分比d_θ(i)和d_r(j)；(5)将百分比d_θ(i)和d_r(j)级联，得到该运动视频的特征；(6)按上述步骤分别对训练样本集X和测试样本集T中的所有运动视频进行提取特征，获得训练样本特征集X'和测试样本特征集T'，并对其进行学习训练，获得分类结果。本发明能准确识别人体运动，可用于视频监控、目标识别和运动识别的视频处理。

Description

基于时空兴趣点检测的人体运动识别方法

技术领域

本发明属于图像处理技术领域，涉及人体运动识别方法，可用于虚拟视频、智能监控和姿态估计。

背景技术

人体运动识别是近几年来计算机视觉领域的重大热点之一，人体运动识别在运动捕获，人机交互，视频监控等多领域获得了初步的应用，并具重大的应用前景。由于人体运动的多变性和多样性，背景的嘈杂以及光照条件，衣服纹理和自身遮挡等多方面的因素严重影响人体运动的识别效果，故从视频图像中准确估计人体姿态，实现人体运动识别是计算机视觉领域长期存在的问题。

目前，人体运动识别的方法主要分为三大类：基于学习的人体运动识别、基于模型的人体运动识别和基于表现的人体运动识别。

第一种，基于学习的人体运动识别方法：该方法首先在训练的视频图像和目标视频图像数据库里提取精确的图像特征，通过机器学习从一系列训练数据中学习得到一个分类器，用该分类器来表示人体运动，然后利用该分类器对输入窗口进行分类及识别。如Ivan Laptev等人采用的基于HOG和HOF的特征提取方法和基于KNN和SVM的识别方法；Somayeh Danafar和Niloofar Cheissari在其论文中采用了基于光流的特征提取方法和基于SVM的运动识别方法，其中基于光流的特征是从图像序列的相邻帧中提取，另外还有Laptev and Lindeberg采用的将Harris角点检测拓展到3D进行时空兴趣点检测实现运动识别的方法。该识别方法的优点与人体模型的方法和模板匹配的方法相比是比较鲁棒，检测结果较优，但是缺点是运动信息的计算过程缺乏对行为的全局分析，且计算特征的复杂度较高，需要很多训练数据，通常需要上万的数据。

第二种基于模型的方法，利用人体结构的先验知识建立人体模型，然后提取图像底层特征匹配到模型中，并以运动规律加以约束。当前比较典型的方法如：Ju Sun采用了基于SIFT描述子和基于Markov模型的识别方法；Hsuan-Sheng Chen等人采用了基于星形骨架描述轮廓信息的特征表述方法和基于HMM的动作识别方法。这种方法简单，容易实现，但是特征表征能力较弱，信息包含较少，识别性能低，准确率不高，且容易受遮挡和人体服装差异的影响，常作为一种辅助方法。

第三种基于表现的方法，无须对人体建模，直接提取图像中感兴趣区域的底层二维表观特征，然后找出区域特征与人体动作的对应关系进行匹配。如Bobick和Davis采用了基于轮廓表征的特征表示方法和基于MHI和MEI模板的识别方法。这种方法与基于模型的方法相比计算比较简单，缺点是提出的特征对环境的动态变化敏感，易受背景变化的影响，对纹理变化不够敏感，不能最优的表征图像边缘，同时由于人体姿态的复杂性，很难构造出足够的模板以处理不同的姿态，故正确率也不高。

发明内容

本发明目的是针对上述第一种方法的不足，从人体的结构特性出发，提出的一种基于时空兴趣点检测的人体运动识别方法，以降低图像特征提取的复杂度，提高特征的表征能力，有效地提高人体识别的正确率。

为实现上述目的，本发明的技术方案包括如下步骤：

(1)取一个视频样本I，检测视频中的时空兴趣点；

(2)检测视频中人体的重心G(x₀,y₀)，其中，x₀,y₀为人体重心的坐标；

(3)以人体重心为基准中心，计算各个时空兴趣点到人体重心的角度θ和距离r；

(4)将计算得到的角度θ和距离r在极坐标系中进行区域划分，分别统计每个区域内角度θ和距离r的个数n_θ(i)和n_r(j)，并计算每个区域内角度θ和距离r分布个数的百分比d_θ(i)和d_r(j)，其中，i,j分别表示角度θ和距离r中的第i和第j区域，i=1,...,12；j=1,...,5；

(5)将所得的角度θ和距离r的百分比d_θ(i)和d_r(j)级联，作为该运动视频的特征；

(6)将Weizmann数据库按照8:1的比例划分为训练样本集X和测试样本集T；按照上述步骤(1)~(5)分别提取训练样本集X和测试样本集T中的所有视频特征，获得训练样本特征集X'和测试样本特征集T'；

(7)利用SVM算法对训练样本特征集X'进行训练学习得到分类器；将测试样本特征集T'输入分类器得到各类运动的分类结果。

本发明与现有的技术相比具有以下优点：

1)本发明利用检测人体运动区域的方式，通过计算该区域对人体重心的角度和距离进行人体运动识别的方法，有效地提高了人体运动识别的正确率。

2)本发明利用检测人体运动区域的方式对视频进行提取特征，不需要对图像序列中的人体运动区域提取边缘特征，从而降低了图像特征提取的复杂度，比传统的特征提取方法能更加节省计算资源和时间复杂度。

3)本发明利用检测人体运动区域的方式，计算该区域对人体重心的角度和距离，通过划分一定区域的角度和距离的方式来最优的表示运动的特征，较传统的图像描述方法维度低，特征的表征能力强，在学习训练阶段能有效缩减时间和数据计算量。

附图说明

图1是本发明的流程示意图；

图2是本发明仿真使用的数据库的部分序列图像；

图3是本发明对图2数据库中的bend视频进行时空兴趣点检测后的结果图；

图4是本发明对图3中的时空兴趣点的角度θ和距离r在极坐标内显示的分布图；

图5是本发明对图2数据库进行仿真后的混淆矩阵图。

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤一，获取整个人体运动识别训练样本集X和测试样本集T。

(1a)从WEIZMANN人体数据库提取本发明试验所需的样本集，下载地址为http://www.wisdom.weizmann.ac.il/~vision/SpaceTimeActions.html；图2给出了数据库中的部分序列图像；

(1b)将WEIZMANN数据库中的视频按照8：1的比例构建训练样本集X和测试样本集T。

步骤二，对训练样本集X中视频，检测视频中的时空兴趣点。

(2a)对原始视频采用二维Gauss滤波器进行降噪，得到滤波后的视频数据L：

L＝I*g，

其中，I表示原始视频数据，L表示滤波后的视频数据，g为高斯平滑核，g的计算公式为：

$g(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-\frac{x^2+x^2}{2{\mathrm{\σ}}^2}},$

其中，x,y为像素坐标，σ为空间维度的尺度参数；

(2b)在时间维度上进行一维Gabor滤波，得到视频数据L在时间维度上的响应数据R：

$R=L*{h_{\mathrm{ev}}}^2+L*h_{\mathrm{od}}^2,$

其中，h_ev和h_od是Gabor滤波器的一组正交对，其定义公式如下：

$h_{\mathrm{ev}}=-\cos \left(2\mathrm{\πt\ω}\right)e^{-t^2/{\mathrm{\τ}}^2},$

$h_{\mathrm{od}}=-\sin \left(2\mathrm{\πt\ω}\right)e^{-t^2/{\mathrm{\τ}}^2},$

其中，ω＝4/τ，t＝2τ，τ为时间维度的尺度参数；

(2c)设定响应数据R的阈值

将响应数据R大于阈值

的点记为时空兴趣点。

步骤三，计算视频中人体的重心G＝(x₀,y₀)。

(3a)背景剪除：将视频的图像序列和背景图片进行差分处理，使用阈值法得到前景图像区域和背景图像区域，将前景图像区域的像素设为0，背景图像区域的像素设为1，获得原图像序列的前景二值图像v；

(3b)使用形态学中膨胀腐蚀的方法，对原图像序列的前景二值图像v填补坑洞，修补缺失部分，获得理想的前景二值图像v'；

(3c)对前景二值图像v'利用光栅扫描法获得人体的边界像素点坐标(x_i,y_i)；

(3d)利用人体边界像素点坐标(x_i,y_i)，计算人体重心坐标G(x₀,y₀)，计算公式为：

$\left\{\begin{array}{c}{x}_0=\frac{1}{N_b}\underset{i=1}{\overset{N_b}{\mathrm{\Σ}}}{x}_i\\ y_0=\frac{1}{N_b}\underset{i=1}{\overset{N_b}{\mathrm{\Σ}}}{y}_i\end{array}\right.,$

其中，N_b为构成人体边缘的所有像素的个数，(x_i,y_i)为人体边界像素点坐标。

步骤四，以人体重心为基准中心，计算各个时空兴趣点到人体重心的角度θ和距离r，并在极坐标内显示，角度θ和距离r的计算公式为：

$\mathrm{\θ}=\arctan \left(\frac{y^{\′}-y_0}{x^{\′}-x_0}\right),$

$r=\sqrt{{(x^{\′}-x_0)}^2+{(y^{\′}-y_0)}^2},$

其中，(x',y')为时空兴趣点的坐标，(x₀,y₀)为人体重心的坐标。

步骤五，将计算得到的角度θ和距离r在极坐标系中进行区域划分，分别统计每个区域内角度θ和距离r的个数n_θ(i)和n_r(j)，并计算每个区域内角度θ和距离r分布个数的百分比d_θ(i)和d_r(j)。

(5a)对于角度θ，选择每30度作为一个区域，总共划分12个区域；分别统计每个区域内角度θ的个数n_θ(i)；

(5b)对于距离r，按照距离r值的大小划分为5个直方图区域；分别统计每个区域中距离r的个数n_r(j)；

(5c)计算每个区域内角度θ和距离r分布个数的百分比d_θ(i)和d_r(j)：

d_θ(i)＝n_θ(i)/n_θ，

d_r(j)＝n_r(j)/n_r，

其中，i表示角度θ的第i区域，i＝1,...,12,

n_θ(i)为第i区域内角度θ的个数，

n_θ为全部角度θ的个数，

j表示距离r的第j区域，j＝1,...,5，

n_r(j)为第j区域中距离r的个数，

n_r为全部距离r的个数；

步骤六，将所得的角度θ和距离r的百分比d_θ(i)和d_r(j)级联，作为该运动视频的特征。

步骤七，按照上述步骤二至步骤六，分别将训练样本集X和测试样本集T中的所有运动视频提取特征，获得训练样本特征集X'和测试样本特征集T'。

步骤八，利用SVM算法对训练样本特征集X'进行训练学习得到分类器，并输入测试样本特征集T'进行分类。

(8a)将训练数据先采用“leave-one-out”的方法进行交叉验证，选取交叉验证实验中分类准确率最高的参数作为最优参数；

(8b)将最优参数和训练样本特征集X'用于SVM训练分类器；

(8c)将测试样本特征集T'输入已经训练好的分类器，得到各类运动的预测标签L'；

(8d)根据测试样本特征集T'的预测标签L'和真实标签L得出每一类的分类准确率，并画出混淆矩阵，该真实标签L表示WEIZMANN数据库中十类运动的名字及其对应的编号：1,2,3,4,5,6,7,8,9,10。

1.实验条件

实验所需的样本集来源于WEIZMANN数据库，包括bend，jack，jump，pjump，side，wave1，wave2，run，walk，skip十类运动视频，对原始数据库按周期分割后，整个人体运动识别的样本有242个，其中各类运动样本分别有9，26，34，33，15，28，32，20，23，22个，样本的大小均为144×180像素。

硬件平台为：Intel Core2Duo CPU E65502.33GHZ、2GB RAM。软件平台为MATLAB R2010a。

2.对比实验

本发明使用的对比实验方法是J.C.Niebles和李飞飞博士在文章“J.C.Nieblesand L.Fei-Fei,“A hierarchical model of shape and appearance for human actionclassification,”IEEE Conference on Computer Vision and Pattern Recognition,2007.”中提出的基于形状和表观模型的人体运动识别方法。首先提取训练样本基于形状的特征，然后训练一个判别性分类器，最后通过计算测试样本特征和分类器中模型的相似性来实现分类。

3.实验内容与结果分析

仿真一，使用本发明对WEIZMANN数据库中动作bend的第一个视频样本进行时空兴趣点的检测，检测结果如图3所示，图3中白点即为检测出的时空兴趣点。

从图3可以看出，本发明的方法能将人体运动时的时空兴趣点精确地检测出，且具备良好的表征能力。

仿真二，使用本发明计算仿真一检测出的时空兴趣点到人体重心的距离和角度，并将距离和角度在极坐标系中显示，结果如图4所示。

从图4中可以看出，本发明的方法能将检测出的时空兴趣点分布清晰的表示出来，具备表征人体运动的能力。

仿真三，使用本发明对WEIZMANN数据库进行人体运动识别的仿真实验，步骤如下：

1)对WEIZMANN数据库在上述实验条件中进行训练样本和测试样本的划分；

2)对训练样本集X和测试样本集T进行特征提取，得到训练样本特征集X'和测试样本特征集T'；

3)利用SVM算法对训练样本特征集X'训练，之后将测试样本特征集T'输入分类器得到各类运动的预测标签L'；

4)根据测试样本特征集T'的预测标签L'和真实标签L，得出总的分类准确率为100%，并画出混淆矩阵，如图5所示。

从图5的混淆矩阵可以看出，经过调整参数，所有运动都能得到有效地识别，且分类准确率100%，高于对比实验中李飞飞博士的72.8%。

综上，本发明提出的人体运动识别方法有效可行，且提出的特征提取方法能准确的表征人体运动，降低了特征提取的计算复杂度。

Claims (7)

1.一种基于时空兴趣点检测的人体运动识别方法，包括步骤如下：

(1)取一个视频样本I，检测视频中的时空兴趣点；

(2)检测视频中人体的重心G(x₀,y₀)，其中，x₀,y₀为人体重心的坐标；

(3)以人体重心为基准中心，计算各个时空兴趣点到人体重心的角度θ和距离r；

(4)将计算得到的角度θ和距离r在极坐标系中进行区域划分，分别统计每个区域内角度θ和距离r的个数n_θ(i)和n_r(j)，并计算每个区域内角度θ和距离r分布个数的百分比d_θ(i)和d_r(j)，其中，i,j分别表示角度θ和距离r中的第i和第j区域，i＝1,...,12；j＝1,...,5；

(5)将所得的角度θ和距离r的百分比d_θ(i)和d_r(j)级联，作为该运动视频的特征；

(6)将Weizmann数据库按照8:1的比例划分为训练样本集X和测试样本集T；按照上述步骤(1)~(5)分别提取训练样本集X和测试样本集T中的所有视频特征，获得训练样本特征集X'和测试样本特征集T'；

(7)利用SVM算法对训练样本特征集X'进行训练学习得到分类器；将测试样本特征集T'输入分类器得到各类运动的分类结果。

2.根据权利要求1所述的人体运动识别方法，其中步骤(1)所述的检测视频中的时空兴趣点，是按如下步骤进行：

(1a)对原始视频采用二维Gauss滤波器进行降噪，得到滤波后的视频数据L：

L＝I*g，

其中，I表示原始视频数据，L表示滤波后的视频数据，g为高斯平滑核，g的计算公式为：

$g(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-\frac{x^2+x^2}{2{\mathrm{\σ}}^2}},$

其中，x,y为像素坐标，σ为空间维度的尺度参数；

(1b)在时间维度上进行一维Gabor滤波，得到视频数据L在时间维度上的响应数据R：

$R=L*{h_{\mathrm{ev}}}^2+L*h_{\mathrm{od}}^2,$

其中，h_ev和h_od是Gabor滤波器的一组正交对，其定义公式如下：

$h_{\mathrm{ev}}=-\cos \left(2\mathrm{\πt\ω}\right)e^{-t^2/{\mathrm{\τ}}^2},$

$h_{\mathrm{od}}=-\sin \left(2\mathrm{\πt\ω}\right)e^{-t^2/{\mathrm{\τ}}^2},$

其中，ω＝4/τ，t=2τ，τ为时间维度的尺度参数；

(1c)设定响应数据R的阈值

将响应数据R大于阈值的点记为时空兴趣点。

3.根据权利要求1所述的人体运动识别方法，其中步骤(2)所述的检测视频中人体的重心G(x₀,y₀)，按如下步骤进行：

(2a)背景剪除：将视频的图像序列和背景图片进行差分处理，使用阈值法得到前景图像区域和背景图像区域，将前景图像区域的像素设为0，背景图像区域的像素设为1，获得原图像序列的前景二值图像v；

(2b)使用形态学中膨胀腐蚀的方法，对原图像序列的前景二值图像v填补坑洞，修补缺失部分，获得理想的前景二值图像v'；

(2c)对前景二值图像v'利用光栅扫描法获得人体的边界像素点坐标(x_i,y_i)；

(2d)利用人体边界像素点坐标(x_i,y_i)，计算人体重心坐标G(x₀,y₀)，计算公式为：

$\left\{\begin{array}{c}{x}_0=\frac{1}{N_b}\underset{i=1}{\overset{N_b}{\mathrm{\Σ}}}{x}_i\\ y_0=\frac{1}{N_b}\underset{i=1}{\overset{N_b}{\mathrm{\Σ}}}{y}_i\end{array}\right.,$

其中N_b为构成人体边缘的所有像素的个数，(x_i,y_i)为人体边界像素点坐标。

4.根据权利要求1所述的人体运动识别方法，其中步骤(3)所述的计算各个时空兴趣点到人体重心的角度θ和距离r，分别按如下公式进行：

$\mathrm{\θ}=\arctan \left(\frac{y^{\′}-y_0}{x^{\′}-x_0}\right),$

$r=\sqrt{{(x^{\′}-x_0)}^2+{(y^{\′}-y_0)}^2},$

其中，(x',y')为时空兴趣点的坐标，(x₀,y₀)为人体重心的坐标。

5.根据权利要求1所述的人体运动识别方法，其中所述步骤(4)中的对角度θ在极坐标系中进行区域划分，是选择每30度作为一个区域，总共划分12个区域。

6.根据权利要求1所述的人体运动识别方法，其中所述步骤(4)中的对距离r在极坐标系中进行区域划分，是将距离r按r值的大小划分为5个直方图区域。

7.根据权利要求1所述的人体运动识别方法，其中步骤(4)所述的计算每个区域内角度θ和距离r分布个数的百分比d_θ(i)和d_r(j)，分别按如下公式进行：

d_θ(i)＝n_θ(i)/n_θ，

d_r(j)＝n_r(j)/n_r，

其中，i表示角度θ的第i区域，i＝1,...,12；

n_θ(i)为第i区域内角度θ的个数；n_θ为全部角度θ的个数；

j表示距离r的第j区域，j＝1,...,5；

n_r(j)为第j区域中距离r的个数；n_r为全部距离r的个数。

Images