CN102902950A - 基于第二代Curvelet变换的人体运动识别方法 - Google Patents

Abstract

本发明提出了一种基于第二代Curvelet变换的人体运动识别方法，主要解决现有技术中特征提取复杂、表征能力弱的问题。其实现步骤是：(1)将WEIZMANN数据库中的每段视频转换为连续的单幅序列图像，并按8:1比例构建训练样本集X和测试样本集T；(2)利用第二代Curvelet工具包对训练样本集X中的单幅序列图像进行第二代Curvelet变换，得到的各个尺度的系数矩阵，并提取图像的边缘特征V_b和纹理特征V_t；(3)将两类特征级联,作为单幅序列图像的最终特征：V＝{V_b,V_t}；(4)按上述步骤分别对训练样本集X和测试样本集T中的所有序列图像进行提取特征，获得训练样本特征集X'和测试样本特征集T'，并对其进行学习训练，获得分类结果。本发明能准确识别人体运动，可用于视频监控、目标识别和运动识别的视频处理。

Description

基于第二代Curvelet变换的人体运动识别方法

技术领域

本发明属于图像处理技术领域，涉及人体运动识别方法，可用于虚拟视频、智能监控和姿态估计。

背景技术

人体运动识别是近几年来计算机视觉领域的重大热点之一，人体运动识别在运动捕获，人机交互，视频监控等多领域获得了初步的应用，并具重大的应用前景。由于人体运动的多变性和多样性，背景的嘈杂以及光照条件，衣服纹理和自身遮挡等多方面的因素严重影响人体运动的识别效果,故从视频图像中准确估计人体姿态，实现人体运动识别是计算机视觉领域长期存在的问题。

目前，人体运动识别的方法主要分为三大类：基于学习的人体运动识别、基于模型的人体运动识别和基于表现的人体运动识别。

第一种，基于学习的人体运动识别方法:该方法首先在训练的视频图像和目标视频图像数据库里提取精确的图像特征，通过机器学习从一系列训练数据中学习得到一个分类器，用该分类器来表示人体运动，然后利用该分类器对输入窗口进行分类及识别。如Ivan Laptev等人采用的基于HOG和HOF的特征提取方法和基于KNN和SVM的识别方法。另外还有Somayeh Danafar和Niloo far Cheissari在其论文中采用了基于光流的特征提取方法和基于svm的运动识别方法，其中基于光流的特征是从图像序列的相邻帧中提取。该识别方法的优点与人体模型的方法和模板匹配的方法相比是比较鲁棒，检测结果较优，但是缺点是运动信息的计算过程缺乏对行为的全局分析，且计算特征的复杂度较高，需要很多训练数据，通常需要上万的数据。

第二种基于模型的方法，利用人体结构的先验知识建立人体模型，然后提取图像底层特征匹配到模型中，并以运动规律加以约束。当前比较典型的方法如：Ju Sun采用了基于SIFT描述子和基于Markov模型的识别方法；Hsuan-Sheng Chen等人采用了基于星形骨架描述轮廓信息的特征表述方法和基于HMM的动作识别方法。这种方法简单，容易实现，但是特征表征能力较弱，信息包含较少，识别性能低，准确率不高，且容易受遮挡和人体服装差异的影响，常作为一种辅助方法。

第三种基于表现的方法，无须对人体建模，直接提取图像中感兴趣区域的底层二维表观特征，然后找出区域特征与人体动作的对应关系进行匹配。如Bobick和Davis采用了基于轮廓表征的特征表示方法和基于MHI和MEI模板的识别方法。这种方法与基于模型的方法相比计算比较简单，缺点是提出的特征对环境的动态变化敏感，易受背景变化的影响，对纹理变化不够敏感，不能最优的表征图像边缘，同时由于人体姿态的复杂性，很难构造出足够的模板以处理不同的姿态，故正确率也不高。

发明内容

本发明目的是针对上述已有技术的不足，提出的一种基于第二代Curvelet的人体识别方法，以降低图像特征提取的复杂度，提高特征的表征能力，在训练数据5000个的情况下，有效地提高人体识别的正确率。

为实现上述目的，本发明的技术方案包括如下步骤：

(1)将WEIZMANN数据库中的每段视频转换为连续的单幅序列图像，并按照8：1的比例构建训练样本集X和测试样本集T；

(2)对训练样本集X中的单幅序列图像，利用第二代Curvelet工具包进行Curvelet变换，得到5个尺度的系数矩阵C，C＝{C_i},i＝1,2,3,4,5；

(3)将每个尺度的系数矩阵C_i的每个子带，采用非重叠的方式按照4*4或8*8的大小进行二进剖分，计算每个剖分子块的边缘特征向量v_b，将所有剖分子块的边缘特征向量v_b归一化后级联，得到单幅序列图像的边缘特征V_b；

(4)将第一尺度的系数矩阵C₁按照4*4的大小采用1/2重叠的方式进行二进剖分，计算每个剖分子块上的共生矩阵特征向量v_t，将所有剖分子块的共生矩阵特征向量归一化后级联，得到单幅序列图像的纹理特征V_t；

(5)将上述边缘特征V_b和纹理特征V_t级联,得到单幅序列图像的最终特征V＝{V_b,V_t}；

(6)按照上述步骤(2)～(5)分别将训练样本集X和测试样本集T中的所有序列图像提取特征，获得训练样本特征集X'和测试样本特征集T'；

(7)利用SVM算法对训练样本特征集X'进行训练学习得到分类器；将测试样本特征集T'输入分类器得到各类运动的分类结果。

本发明与现有的技术相比具有以下优点：

（1）本发明是利用第二代Curvelet变换通过计算系数的统计量得到特征向量进行人体运动识别的方法，有效地提高了人体运动识别的正确率。

（2）本发明是利用第二代Curvelet变换提取特征向量，由于背景比较简单，而且Curvelet本身只对人体边缘敏感，因此，不需要对图像序列中的人体运动区域进行背景剪除，从而降低了图像特征提取的复杂度,比传统的特征提取方法能更加节省计算资源和时间复杂度。

（3）本发明是利用第二代Curvelet系数稀疏表示的特性，通过计算系数的局部能量，对比度等信息来最优的表示纹理和边缘,较传统的图像描述方法维度低，特征的表征能力强,在学习训练阶段能有效缩减时间和数据计算量。

附图说明

图1是本发明的流程示意图；

图2是本发明仿真使用的数据库的部分序列图像；

图3是本发明对图2数据库进行仿真后的混淆矩阵图；

图4是本发明对图2数据库进行仿真后的部分roc曲线图。

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤一，获取整个人体运动识别训练样本集X和测试样本集T。

(1a)本发明试验所需的样本集来自WEIZMANN人体数据库，下载地址为http://www.wisdom.weizmann.ac.il/～vision/SpaceTimeActions.html；图2给出了数据库中的部分序列图像。

(1b)将WEIZMANN数据库中的每段视频转换为连续的单幅序列图像，并按照8：1的比例构建训练样本集X和测试样本集T。

步骤二，对训练样本集X中的单幅序列图像，利用第二代Curvelet工具包进行Curvelet变换，得到5个尺度的系数矩阵C，C＝{C_i},i＝1,2,3,4,5。

步骤三，计算单幅序列图像的边缘特征V_b。

(3a)将每个尺度的系数矩阵C_i的每个子带，采用非重叠的方式按照4*4或8*8的大小进行二进剖分，即对第一尺度的系数矩阵C₁的每个子带，按4*4的大小进行二进剖分，其他尺度的系数矩阵C₂~C₅的每个子带，按照8*8的大小进行二进剖分，计算每个剖分子块的边缘特征向量v_b，公式为：v_b＝{ENG,CON}。

其中，ENG表示每个剖分子块的能量，CON表示每个剖分子块的对比度，它们的计算公式如下：

$\mathrm{ENG}=\stackrel{n}{\mathrm{\Σ}}{c}_{i,j}^2,$

$\mathrm{CON}=\stackrel{n}{\mathrm{\Σ}}{(i-j)}^2{c}_{i,j},$

其中，c_i，j为剖分子块中坐标为(i,j)的系数，n为剖分子块中所含的元素个数；

(3b)对每一个尺度系数提取的所有边缘特征向量中的能量和对比度分别进行归一化，公式分别为： $v_{\mathrm{en}}=\frac{v_e-{\min v}_e}{{\max v}_e-{\min v}_e}$ 和 $v_{\mathrm{cn}}=\frac{v_c}{\max \left({\mathrm{absv}}_c\right)};$

其中，v_e为一个尺度内的能量组成的特征向量，minv_e和maxv_e分别表示v_e的最大值和最小值，v_en表示归一化后的能量特征向量；v_c为一个尺度内的对比度组成的特征向量，absv_c是v_c的绝对值向量，max(absv_c)是v_c的绝对值特征向量的最大值，v_cn是归一化后的对比度特征向量；

(3c)将归一化后的剖分子块的边缘特征向量表示为：v_b'＝{v_en(i)v_cn(i)},i∈k，其中k是剖分子块的个数；

(3d)将所有剖分子块的边缘特征向量v_b'级联，得到单幅序列图像的边缘特征向量： $V_b={\∪}_{i=1}^k{v_b}^{\′}.$

步骤四，计算单幅序列图像的纹理特征V_t。

(4a)将第一尺度的系数矩阵C₁按照4*4的大小采用1/2重叠的方式进行二进剖分，通过计算每个剖分子块在0°,45°,90°,135°四个方向上的共生矩阵的六个统计量获得剖分子块上的共生矩阵特征向量v_t，公式为:

v_t＝{ASM,EMP,CON,COR,SOA,SOV}，

其中：ASM表示角二阶矩， $\mathrm{ASM}={\mathrm{\Σ}}_{i=0}^{G-1}{\mathrm{\Σ}}_{j=0}^{G-1}\hat{p}{(i,j)}^2;$

ENP表示熵， $\mathrm{ENP}=-{\mathrm{\Σ}}_{i=0}^{G-1}{\mathrm{\Σ}}_{j=0}^{G-1}\hat{p}(i,j)\log \hat{p}(i,j);$

CON表示对比度， $\mathrm{CON}={\mathrm{\Σ}}_{n=0}^{G-1}{n}^2\left\{{\mathrm{\Σ}}_{i=0}^{G-1}{\mathrm{\Σ}}_{j=0}^{G-1}\hat{p}(i,j)\right\};$

COR表示相关性， $\mathrm{COR}=\frac{{\mathrm{\Σ}}_{i=0}^{G-1}{\mathrm{\Σ}}_{j=0}^{G-1}\left(\mathrm{ij}\right)\hat{p}(i,j)-{\mathrm{\μ}}_x{\mathrm{\μ}}_y}{{\mathrm{\σ}}_x^2{\mathrm{\σ}}_y^2};$

SOA表示均值和， $\mathrm{SOA}={\mathrm{\Σ}}_{m=2}^{2G}m{\hat{p}}_{x+y}\left(m\right);$

SOV表示和方差， $\mathrm{SOV}={\mathrm{\Σ}}_{m=2}^{2G}{(m-\mathrm{SOA})}^2{\hat{p}}_{x+y}\left(m\right);$

式中，

表示共生矩阵中第i行、第j列的元素，G是共生矩阵的量化级数;|i-j|＝n；μ_x、μ_y、σ_x ²、σ_y ²和

均为中间变量，分别定义为：

${\mathrm{\μ}}_x={\mathrm{\Σ}}_{i=0}^{G-1}i{\mathrm{\Σ}}_{j=0}^{G-1}\hat{p}(i,j);$

${\mathrm{\μ}}_y={\mathrm{\Σ}}_{i=0}^{G-1}j{\mathrm{\Σ}}_{j=0}^{G-1}\hat{p}(i,j);$

${\mathrm{\σ}}_x^2={\mathrm{\Σ}}_{i=0}^{G-1}{(i-{\mathrm{\μ}}_x)}^2{\mathrm{\Σ}}_{j=0}^{G-1}\hat{p}(i,j);$

${\mathrm{\σ}}_y^2={\mathrm{\Σ}}_{j=0}^{G-1}{(j-{\mathrm{\μ}}_y)}^2{\mathrm{\Σ}}_{i=0}^{G-1}\hat{p}(i,j);$

${\hat{p}}_{x+y}\left(m\right)={\mathrm{\Σ}}_{i=1}^G{\mathrm{\Σ}}_{\begin{array}{c}j=1\\ i+j=m\end{array}}^G\hat{p}(i,j),$ m＝2,3,...,2G。

(4b)对于每个剖分子块中提取的共生矩阵特征向量v_t，采用下面的公式进行归一化：

$v_{\mathrm{tn}}=\frac{v_t-{\min v}_t}{{\max v}_t-{\min v}_t},$

其中，minv_t是v_t的最小值，maxv_t是v_t的最大值，v_tn是v_t归一化后的特征向量；

(4c)将归一化后的共生矩阵特征向量v_tn级联，得到单幅序列图像的纹理特征向量：

其中k是剖分子块的个数。

步骤五，将步骤三获得的边缘特征V_b和步骤四获得的纹理特征V_t级联,得到单幅序列图像的最终特征：V＝{V_b,V_t}。

步骤六，按照上述步骤二至步骤五，分别将训练样本集X和测试样本集T中的所有序列图像提取特征，获得训练样本特征集X'和测试样本特征集T'。

步骤七，利用SVM算法对训练样本特征集X'进行训练学习得到分类器，并输入测试样本特征集T'进行分类。

(7a)将训练数据先采用“leave-one-out”的方法进行交叉验证，得到训练分类器时应采用的最优参数；

(7b)将筛选的参数和训练样本特征集X'用于SVM训练分类器；

(7c)将测试样本特征集T'输入已经训练好的分类器，得到各类运动的预测标签L'和决策值D；

(7d)对得到的分类结果进行处理：

(7d1)根据测试样本特征集T'的预测标签L'和真实标签L得出每一类的分类准确率，并画出混淆矩阵；

(7d2)根据决策值D，画出各类运动的接受者操作曲线，即roc曲线。

本发明的实验结果可以通过以下仿真实验进一步说明：

1.实验条件：

实验所需的样本集来源于WEIZMANN数据库，包括bend，jack，jump，pjump，side，wave1，wave2，run，walk，skip十类运动图像，整个人体运动识别的训练样本有5161个，测试样本有526个，其中训练样本中各类运动样本分别有576，678，415，489，398，599，567，374，639，426个，测试样本中各类运动样本分别有63，51，43，49，46，54，57，31，72，60个，样本的大小均为180×144像素。

硬件平台为：IntelCore2 Duo CPU E65502.33GHZ、2GB RAM。软件平台为MATLAB R2009a。

2.对比实验

本发明使用的对比实验方法是J.C.Niebles和李飞飞博士在文章“J.C.Nieblesand L.Fei-Fei，“A hierarchical model of shape and appearance for human actionclassification，”IEEE Conference on Computer Vision and Pattern Recognition,2007.”中提出的基于形状和表观模型的人体运动识别方法。首先提取训练样本基于形状的特征，然后训练一个判别性分类器，最后通过计算测试样本特征和分类器中模型的相似性来实现分类。

3.实验内容与结果分析

使用本发明的方法对WEIZMANN数据库进行人体运动识别仿真，图2给出了该数据库中的部分序列图像。

仿真过程如下：

1）对WEIZMANN数据库在上述实验条件中进行训练样本和测试样本的划分；

2）对训练样本集X和测试样本集T进行特征提取，得到训练样本特征集X'和测试样本特征集T'；

3)利用SVM算法对训练样本特征集X'训练，之后将测试样本特征集T'输入分类器得到各类运动的预测标签L'和决策值D；

4)根据测试样本特征集T'的预测标签L'和真实标签L,得出总的分类准确率为83.08%，并画出混淆矩阵，如图3所示；

5)根据决策值D，画出各类运动的接受者操作曲线，即roc曲线，如图4所示，其中，图4(a)为bend运动的roc曲线，图4(b)为side运动的roc曲线，图4(c)为pjump运动的roc曲线，图4(d)为skip运动的roc曲线。

从图3的混淆矩阵可以看出，大部分运动都能得到有效的识别，尤其是两类wave运动和bend运动识别率都达到了95%以上；

从图4中各roc曲线的横纵坐标可以看出，本发明的方法具有较高的识别率和较低的假阳率。

本发明进行人体运动识别的总准确率83.08%，高于对比实验中李飞飞博士的72.8%。

综上，本发明提出的人体运动识别方法有效可行，且提出的特征提取方法能准确的表征人体运动姿态的边缘和纹理特征，降低了特征提取的计算复杂度。

Claims (6)

1.一种基于第二代Curvelet变换的人体运动识别方法，包括步骤如下：

(1)将WEIZMANN数据库中的每段视频转换为连续的单幅序列图像，并按照8：1的比例构建训练样本集X和测试样本集T；

(2)对训练样本集X中的单幅序列图像，利用第二代Curvelet工具包进行Curvelet变换，得到5个尺度的系数矩阵C，C＝{C_i},i＝1,2,3,4,5；

(3)将每个尺度的系数矩阵C_i的每个子带，采用非重叠的方式按照4*4或8*8的大小进行二进剖分，计算每个剖分子块的边缘特征向量v_b，将所有剖分子块的边缘特征向量v_b归一化后级联，得到单幅序列图像的边缘特征V_b；

(4)将第一尺度的系数矩阵C₁按照4*4的大小采用1/2重叠的方式进行二进剖分，计算每个剖分子块上的共生矩阵特征向量v_t，将所有剖分子块的共生矩阵特征向量归一化后级联，得到单幅序列图像的纹理特征V_t；

(5)将上述边缘特征V_b和纹理特征V_t级联,得到单幅序列图像的最终特征V＝{V_b,V_t}；

(6)按照上述步骤(2)~(5)分别将训练样本集X和测试样本集T中的所有序列图像提取特征，获得训练样本特征集X′和测试样本特征集T′；

(7)利用SVM算法对训练样本特征集X′进行训练学习得到分类器；将测试样本特征集T′输入分类器得到各类运动的分类结果。

2.根据权利要求1所述的人体运动识别方法，其中步骤(3)所述的将每个尺度的系数矩阵C_i的每个子带，采用非重叠的方式按照4*4或8*8的大小进行二进剖分，是指对第一尺度的系数矩阵C₁的每个子带，按4*4的大小进行二进剖分，其他尺度的系数矩阵C₂~C₅的每个子带，按照8*8的大小进行二进剖分。

3.根据权利要求1所述的人体运动识别方法，其中步骤(3)所述的计算每个剖分子块的边缘特征向量v_b，是通过公式：v_b＝{ENG,CON}得到，

其中，ENG表示每个剖分子块的能量，CON表示每个剖分子块的对比度，它们的计算公式如下：

$\mathrm{ENG}=\stackrel{n}{\mathrm{\Σ}}{c}_{i,j}^2,$

$\mathrm{CON}=\stackrel{n}{\mathrm{\Σ}}{(i-j)}^2{c}_{i,j},$

其中，c_i，j为剖分子块中坐标为(i,j)的系数，n为剖分子块中所含的元素个数。

4.根据权利要求1所述的人体运动识别方法，其中步骤(3)所述的将所有剖分子块的边缘特征向量v_b归一化后级联，按如下步骤进行：

(3a)对每一个尺度系数提取的所有边缘特征向量中的能量和对比度分别进行归一化，公式分别为： $v_{\mathrm{en}}=\frac{v_e-\min v_e}{\max v_e-\min v_e}$ 和 $v_{\mathrm{cn}}=\frac{v_c}{\max \left(\mathrm{abs}{v}_c\right)};$

其中，v_e为一个尺度内的能量组成的特征向量，minv_e和maxv_e分别表示v_e的最大值和最小值，v_en表示归一化后的能量特征向量；v_c为一个尺度内的对比度组成的特征向量，absv_c是v_c的绝对值向量，max(absv_c)是v_c的绝对值特征向量的最大值，v_cn是归一化后的对比度特征向量；

(3b)将归一化后的剖分子块的边缘特征向量表示为：v_b′＝{v_en(i),v_cn(i)},i∈k，其中k是剖分子块的个数；

(3c)将所有剖分子块的边缘特征向量v_b′级联，得到单幅序列图像的边缘特征向量： $V_b={\∪}_{i=1}^k{v_b}^{\′}.$

5.根据权利要求1所述的人体运动识别方法，其中步骤(4)所述的计算每个剖分子块上的共生矩阵特征向量v_t，是通过计算每个剖分子块在0°,45°,90°,135°四个方向上的共生矩阵的六个统计量获得，公式为:

v_t＝{ASM,ENP,CON,COR,SOA,SOV}，

其中：ASM表示角二阶矩， $\mathrm{ASM}={\mathrm{\Σ}}_{i=0}^{G-1}{\mathrm{\Σ}}_{j=0}^{G-1}\hat{p}{(i,j)}^2;$

ENP表示熵， $\mathrm{ENP}=-{\mathrm{\Σ}}_{i=0}^{G-1}{\mathrm{\Σ}}_{j=0}^{G-1}\hat{p}(i,j)\log \hat{p}(i,j);$

CON表示对比度， $\mathrm{CON}={\mathrm{\Σ}}_{n=0}^{G-1}{n}^2\left\{{\mathrm{\Σ}}_{i=0}^{G-1}{\mathrm{\Σ}}_{j=0}^{G-1}\hat{p}(i,j)\right\};$

COR表示相关性， $\mathrm{COR}=\frac{{\mathrm{\Σ}}_{i=0}^{G-1}{\mathrm{\Σ}}_{j=0}^{G-1}\left(\mathrm{ij}\right)\hat{p}(i,j)-{\mathrm{\μ}}_x{\mathrm{\μ}}_y}{{\mathrm{\σ}}_x^2{\mathrm{\σ}}_y^2};$

SOA表示均值和， $\mathrm{SOA}={\mathrm{\Σ}}_{m=2}^{2G}m{\hat{p}}_{x+y}\left(m\right);$

SOV表示和方差， $\mathrm{SOV}={\mathrm{\Σ}}_{m=2}^{2G}{(m-\mathrm{SOA})}^2{\hat{p}}_{x+y}\left(m\right);$

式中，

表示共生矩阵中第i行、第j列的元素，G是共生矩阵的量化级数;|i-j|＝n；μ_x、μ_y、σ_x ²、σ_y ²和

均为中间变量，分别定义为：

${\mathrm{\μ}}_x={\mathrm{\Σ}}_{i=0}^{G-1}i{\mathrm{\Σ}}_{j=0}^{G-1}\hat{p}(i,j);$

${\mathrm{\μ}}_y={\mathrm{\Σ}}_{j=0}^{G-1}j{\mathrm{\Σ}}_{i=0}^{G-1}\hat{p}(i,j);$

${\mathrm{\σ}}_x^2={\mathrm{\Σ}}_{i=0}^{G-1}{(i-{\mathrm{\μ}}_x)}^2{\mathrm{\Σ}}_{j=0}^{G-1}\hat{p}(i,j);$

${\mathrm{\σ}}_y^2={\mathrm{\Σ}}_{j=0}^{G-1}{(j-{\mathrm{\μ}}_y)}^2{\mathrm{\Σ}}_{i=0}^{G-1}\hat{p}(i,j);$

${\hat{p}}_{x+y}\left(m\right)={\mathrm{\Σ}}_{i=1}^G{\mathrm{\Σ}}_{\stackrel{j=1}{i+j=m}}^G\hat{p}(i,j),m=\mathrm{2,3},...,2G.$

6.根据权利要求1所述的人体运动识别方法，其中步骤(4)所述的将所有剖分子块的共生矩阵特征向量v_t归一化后级联，按如下步骤：

(4a)对于剖分子块中提取的共生矩阵特征向量v_t采用下面的公式进行归一化：

$v_{\mathrm{tn}}=\frac{v_t-\min v_t}{\max v_t-\min v_t},$

其中，minv_t是v_t的最小值，max v_t是v_t的最大值，v_tn是v_t归一化后的特征向量。

(4b)利用下式将归一化后的所有剖分子块的共生矩阵特征向量v_tn级联，即，

其中k是剖分子块的个数。

Images