CN103268500A - 一种对行走状态变化具有鲁棒性的步态识别方法 - Google Patents

Abstract

本发明公开了一种对行走状态变化具有鲁棒性的步态识别方法，建立不同行走状态的步态特征矩阵之间的距离度量表达式，通过机器学习手段，在训练阶段将同一个体的不同行走状态的样本构成联系并耦合到同一像空间中，训练完成后可得到不同行走状态样本各自的投影矩阵；在识别阶段，当测试样本与注册集样本库的行走状态不一致时，在训练得到的不同行走状态的投影轴上分别投影，采用最近邻分类器进行分类。本发明不需要从一种行走状态到另外一种行走状态进行预测估计，可直接采用机器学习解决行走状态变化的步态识别问题。

Description

一种对行走状态变化具有鲁棒性的步态识别方法

技术领域

本发明属于模式识别、机器学习领域，具体地说是一种对行走状态变化具有鲁棒性的步态识别方法。

背景技术

“9·11”的悲剧事件引起了全世界对增强国防、恐怖袭击安全以及恐怖袭击之后的自动防护能力的格外重视。生物特征识别技术已被成功地应用在身份确认、门禁系统中，还有可能被应用在机场以及其他的安全敏感场所的恐怖分子的确认上。美国国防高级研究项目署在2000年资助的HID(human identification at a distance)研究项目，就是开发并提高当前远距离下大规模身份识别系统的性能，以具有高可靠性、鲁棒性的身份识别能力。2003年，世界民航组织公布了护照中加入生物特征信息便于进入其他国家边境时确认个体身份的应用规划，这一规划已经在美国、欧盟、南非、日本、澳大利亚、韩国等国家投入运行。生物特征身份证在不久的将来会深入到人们的社会生活中，例如，好多款笔记本都需要人脸识别、指纹识别认证，自动提款机也可以通过生物特征来确认身份。现有的生物特征包括生理特征和行为特征。生理特征包括人脸、指纹、静脉(手指静脉、手背静脉)、虹膜、人耳、手形、掌纹、视网膜、唇形、DNA、体味等；行为特征包括步态、语音、击键、签名笔迹等，这些特征都具有可采集性、普遍性、唯一性和稳定性。步态识别是远距离下唯一可用的生物特征识别技术，它具有低分辨率、受环境影响小、易采集等优点，而且是在个体没有觉察的情况下采集到身份信息的，个体行走姿势也不易模仿和伪装，这些都使得步态识别越来越受到研究人员的关注。

鞋子、背包、衣着变化、受伤、年龄、行走速度、拍摄视角变化等联合因素是严重影响步态识别的，Bouchrika等人^[1]分析了这些因素单独影响识别性能的程度。贲晛烨等人^[2]提出一种线性插值方法对速度不等的步态识别具有鲁棒性。Enokida等人^[3]提出3种预测模型用于将鞋的影响从时间和鞋的共同影响中分离出来，使用正常鞋步态来估计拖鞋步态的预测模型，结果使得带预测的一段时间以后的拖鞋步态比不带预测模型的具有更好的识别性能。Lee等人^[4]通过双线性模型解决步速变化的步态识别。彭彰等人^[5]利用脚间距的计算方法和动态身体分割方法，用曲线拟合方法得到场景的转换参数，将头的高度、躯干的高度、两腿的长度(取最大值为h_l)、人的图像高度H_I和一个周期内的脚间距之和这5个参数估算出各部分的实际参数，实现了与视角无关的步态识别算法。解决视角变化的步态识别的方法还有三维步态识别^[6]、全景摄像机方法^[7]。解决衣着变化的步态识别问题可以采用模型法，如：腿部的钟摆模型^[8]、骨架模型^[9]、恢复静态身体参数模型^[10]、椭圆模型^[11]、5棒模型^[12]和三维模型^[13]。模型法受外界干扰小、特征短、能够描述身体各部位的变化情况，在建模准确时，识别效果好，但是，建模复杂程度大，匹配过程复杂。本专利从机器学习角度来解决行走状态变化（衣着变化、背包）的步态识别问题，大大降低了计算复杂度。

与本发明相关的公开报道包括：

[1]Imed Bouchrika,Mark S Nixion.Exploratory factor analysis of gait recognition.Proc.ofthe8th IEEE International Conference on Automatic Face and Gesture Recognition.2008:1-6P

[2]王科俊，贲晛烨.基于线性插值的步态识别算法，华中科技大学学报(自然科学版)，2010,38(2):41-44页。

[3]Enokida Shuichi,Shimomoto Ryo,Wada Tomohito,et al.A Predictive Model for GaitRecognition.Proc.of2006Biometrics Symposium:Special Session on Research at the BiometricConsortium Conference.2006:1-6P。

[4]Chan Su Lee,Ahmed Elgammal.Gait style and gait content:bilinear models for gaitrecognition using gait re-sampling.Proc.of the sixth IEEE International Conference on AutomaticFace and Gesture Recognition(FGR’04).2004:147-152P。

[5]彭彰，吴晓娟，杨军.基于肢体长度参数的多视角步态识别算法.自动化学报.2007，33(2):210-213页。

[6]Guoying Zhao,Guoyi Liu,Hua Li,et al.3D gait recognition using multiple cameras.Proc.of the7th International Conference on Automatic Face and Gesture Recognition(FGR'06).2006:529-534P。

[7]Sugiura K,Makihara Y,Yagi Y.Gait recognition based on multi-view observation usingomnidirectional camera.International Comference on Computer Vision(ACCV).2007:452-461P

[8]Cunado D,Nixon M S,Carter J N.Using Gait as a Biometric via Phase weightedMagnitude Pectual.Lecture Notes in Computer Science Proc.of AVBPA97.1997:95-102P。

[9]Nash J M,Carter J N,Nixon M S.Extraction of Moving Articulated Objects by EvidenceGathering.Proc.of the Ninth British Machine Vision Conference(BMVC’98).1998:609-618P。

[10]Bobick A F,Johnson A Y.Gait recognition using static,activity specific parameters.Proc.of2001IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2001:423-430P。

[11]Lee L,Grimson W E L.Gait analysis for recognition and classification.Proc.of IEEE Int.Conf.Automatic Face and Gesture Recognition.2002:148-155P。

[12]Zhang Rong,Christian V,Dimitris M.Human gait recognition.Proc.of2004IEEEComputer society Conference on Computer Vision and Pattern Recognition Workshops(CVPRW'04).2004:1-8P。

[13]Urtasun R,Fua P.3D Tracking for Gait Characterization and Recognition.Proc.of theSixth IEEE International Conference on Automatic Face and Gesture Recognition.2004:17-22P。

发明内容

本发明的目的在于提供一种对行走状态变化具有鲁棒性的步态识别方法，是通过机器学习手段，在训练阶段将同一个体的不同行走状态的样本构成联系并耦合到同一像空间中，训练完成后可得到不同行走状态样本各自的投影矩阵；在识别阶段，当测试样本与注册集样本库的行走状态不一致时，在训练得到的不同行走状态的投影轴上分别投影，采用最近邻分类器进行分类。该方法对行走状态变化具有强鲁棒性，具有很好的识别性能。

为了实现上述目的，本发明采用如下技术方案。

本发明是通过如下技术方案实现的：

一种对行走状态变化具有鲁棒性的步态识别方法。主要包括：建立不同行走状态的步态特征矩阵之间的距离度量表达式、训练阶段和识别阶段。训练时，在训练样本集合中建立相似度矩阵，建立目标优化函数，然后对该目标函数解耦得到不同行走状态的步态的各自的变换矩阵，不同行走状态的步态分别在这两个变换矩阵上投影得到矩阵空间下不同行走状态的步态样本特征集合，然后将所有样本特征向量化处理，再采用向量空间下的耦合度量学习得到向量空间下的不同行走状态的步态的各自的变换矩阵，最后得到注册集样本的最终的特征集合。测试样本与注册集样本的行走状态不一致时，利用训练阶段得到的矩阵空间下的变换矩阵和向量空间下的变换矩阵投影变换两次，最终采用最近分类器判定该步态样本所属的类别。

本发明不需要从一种行走状态到另外一种行走状态进行预测估计，可直接采用机器学习解决行走状态变化的步态识别问题。

对于两个不同行走状态的步态特征矩阵集合

和

分别表示维数为D_xm×D_xn和D_ym×D_yn的空间，其中的步态样本

和

的距离定义为κ^C:

R表示实数空间。常规的实现步骤是：①通过映射函数f_x和f_y将X_i和Y_j映射到同一个像空间中：f_x:

表示维数为D_c×D_r的空间；②在像空间中再进行传统的矩阵距离度量κ_C:

因此

${\mathrm{\κ}}^C(X_i,X_j)={\mathrm{\κ}}_C({\tilde{X}}_i,{\tilde{X}}_j)={\mathrm{\κ}}_C(f_x\left(X_i\right),f_y\left(Y_j\right))={\left|\right|f_x\left(X_i\right)-f_y\left(Y_j\right)\left|\right|}_C$      (1)

$=\sqrt{\mathrm{tr}\left\{{[f_x\left(X_i\right)-f_y\left(Y_j\right)]}^{T}C\right[f_x\left(X_i\right)-f_y\left(Y_j\right)\left]\right\}}$

其中，||||_C是定义计算κ_C的距离度量关系，T表示转置。C是定义一个矩阵以代替距离度量关系||||_C，C是一个半正定阵。

令C＝W_cW_c ^T， $f_x\left(X_i\right)=W_{\mathrm{xm}}^T{X}_i{W}_{\mathrm{xn}},$ $f_y\left(Y_j\right)=W_{\mathrm{ym}}^T{Y}_j{W}_{\mathrm{yn}},$ 则

${\mathrm{\κ}}^C=(X_i,Y_j)=\sqrt{\mathrm{tr}\left\{{[W_c^T{W}_{\mathrm{xm}}^T{X}_i{W}_{\mathrm{xn}}-W_c^T{W}_{\mathrm{ym}}^T{Y}_j{W}_{\mathrm{yn}}]}^T\right[W_c^T{W}_{\mathrm{xm}}^T{X}_i{W}_{\mathrm{xn}}-W_c^T{W}_{\mathrm{ym}}^T{Y}_j{W}_{\mathrm{yn}}\left]\right\}}---\left(2\right)$

再令P_x＝W_xmW_c，Q_x＝W_xn，P_y＝W_ymW_c，Q_y＝W_yn，有

${\mathrm{\κ}}^C(X_i,Y_j)=\sqrt{\mathrm{tr}\left\{{[P_x^T{X}_i{Q}_x-P_y^T{Y}_j{Q}_y]}^T\right[P_x^T{X}_i{Q}_x-P_y^T{Y}_j{Q}_y\left]\right\}}---\left(3\right)$

求取κ^C(X_i,Y_j)中的P_x，Q_x，P_y和Q_y即可得到两个不同行走状态的步态样本之间的距离，并且需要利用监督信息（边信息、局部保留）来指导学习得到这四个投影矩阵。

边信息相似约束条件下的不同行走状态的步态样本的匹配学习依靠图模型：若

和相似，那么样本i和j的相似性关系

其中，

为相似关系集合。设

和

都包含M个步态样本，S表示相似矩阵，其中的每一个元素

局部保留相似约束条件下的不同行走状态的步态样本的匹配学习与边信息相似约束条件下的不同之处在于式(4)中的S矩阵为

$S_{\mathrm{ij}}=\frac{x_i\·x_j}{\left|\right|x_i\left|\right|\left|\right|x_j\left|\right|}---\left(5\right)$

或者，

$S_{\mathrm{ij}}=\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{t})---\left(6\right)$

其中，x_i是x_j分别是X_i和X_j的向量化版本，而且还满足：x_i是x_j的k-近邻，或者x_j是x_i的k-近邻，否则，S_ij＝0。S_ij为相似度函数S的元素。式(5)是余弦相似度，式(6)是高斯相似度。t是尺度因子。

此时的不同行走状态的步态样本矩阵的匹配学习准则

应该满足相似对应关系点对在像空间中仍然具有相似性：

其中，||||_F表示F范数。

初始化 $Q_x\←Q_{x0}=\left[\begin{array}{c}{I}_{D_r}\\ 0_{(D_{\mathrm{xn}}-D_r)\×D_r}\end{array}\right],$ $Q_y\←Q_{y0}=\left[\begin{array}{c}{I}_{D_r}\\ 0_{(D_{\mathrm{yn}}-D_r)\×D_r}\end{array}\right],$ 其中，

为维数为D_r×D_r的单位阵，

和

表示维数为下角标所示的全零矩阵。

中的样本X₁,X₂,…,X_M和Y₁,Y₂,…,Y_M分别向方向为Q_x、Q_y的空间上投影，令

投影后得到的样本集为集合X₁＝[X₁Q_x0,X₂Q_x0,…,X_MQ_x0]，其中每一个样本的维数为D_xm×D_r，集合

投影后得到的样本集为集合Y₁＝[Y₁Q_y0,Y₂Q_y0,…,Y_MQ_y0]，其中每一个样本的维数为D_ym×D_r，那么，此时的学习准则转换为

$\underset{P_x,P_y}{\min }J(P_x,P_y)=\underset{i,j}{\mathrm{\Σ}}{\left|\right|P_x^T{X}_i{Q}_x-P_y^T{Y}_j{Q}_y\left|\right|}_F^2{S}_{\mathrm{ij}}$

$=\mathrm{tr}\left\{P_x^T{X}_1\right[F_h\left(S\right)\⊗I_{D_r}]X_1^T{P}_x+P_y^T{Y}_1[F_v\left(S\right)\⊗I_{D_r}]Y_1^T{P}_y-P_x^T{X}_1[S\⊗I_{D_r}]Y_1^T{P}_y\·\·\·$

$\·\·\·-P_y^T{Y}_1[S^T\⊗I_{D_r}]X_1{P}_x\}---\left(8\right)$

$=\mathrm{tr}\left({\left[\begin{array}{c}{P}_x\\ P_y\end{array}\right]}^T\left[\begin{array}{cc}{X}_1& \\ & Y_1\end{array}\right]\left[\begin{array}{cc}{F}_h\left(S\right)\⊗I_{D_r}& -S\⊗I_{D_r}\\ -S^T\⊗I_{D_r}& F_v\left(S\right)\⊗I_{D_r}\end{array}\right]{\left[\begin{array}{cc}{X}_1& \\ & Y_1\end{array}\right]}^T\left[\begin{array}{c}{P}_x\\ P_y\end{array}\right]\right)$

其中：代表克罗尼克积。F_h(S)和F_v(S)都是对角阵，其中的每一元素都是S的列或者行的和，

再令： $P=\left[\begin{array}{c}{P}_x\\ P_y\end{array}\right],$ $Z_1=\left[\begin{array}{cc}{X}_1& \\ & Y_1\end{array}\right],$ $\mathrm{\Ω}=\left[\begin{array}{cc}{F}_h\left(S\right)\⊗I_{D_r}& -S\⊗I_{D_r}\\ -S^T\⊗I_{D_r}& F_v\left(S\right)\⊗I_{D_r}\end{array}\right],$ 此时的学习准则函数为

$\underset{P}{\min }J\left(P\right)=\mathrm{tr}\left(P^T{Z}_1\mathrm{\Ω}{Z}_1^{T}P\right)---\left(9\right)$

为了使式(9)具有唯一解，这里还需要加入尺度不变约束：

（I表示单位阵）和平移不变约束：P^TZ₁e＝0，其中，e为全1、大小为2MD_r×1的列向量。求此优化问题，采用谱分解求取EP＝λFP，其中

λ为特征值，将求得的特征值按照从小到大排列，取第2到第D_c+1个特征值对应的特征向量按列的顺序拼接排列得到P，这里没有使用第1个特征值对应的特征向量是通过抛弃零特征值对应的特征向量实现中心化。P的维数为(D_xm+D_ym)×D_c，那么P_x的维数为D_xm×D_c，P_y的维数为D_ym×D_c，通常是不可逆的，可通过规整化来消除奇异性，

其中，τ取接近于0的正数，可取τ＝10^-6。

和中的数据分别向P_x和P_y投影之后，只相当于集合

和

在一个方向上构造了数据间的耦合关系，这里还需要在另外一个方向也构造出数据间的耦合关系。那么，集合

中的样本分别再向方向为P_x、P_y的空间上投影，得到的数据

和

分别记作X′₁,X′₂,…,X′_M和Y′₁,Y′₂,…,Y′_M，集合

中的样本依次拼接得到X₂＝[X′₁,X′₂,…,X′_M]，其中每一个样本的维数为D_c×D_r，集合中的样本也同样拼接得到Y₂＝[Y′₁,Y′₂,…,Y′_M]，其中每一个样本的维数为D_c×D_r，从新排列集合X₂和Y₂，有X′₂＝[(X′₁)^T,(X′₂)^T,…,(X′_M)^T]，Y′₂＝[(Y′₁)^T,(Y′₂)^T,…,(Y′_M)^T]。那么此时的学习准则转换为

$\underset{Q_x,Q_y}{\min }J(Q_x,Q_y)=\underset{i,j}{\mathrm{\Σ}}{\left|\right|P_x^T{X}_i{Q}_x-P_y^T{Y}_j{Q}_y\left|\right|}_F^2{S}_{\mathrm{ij}}$

$=\mathrm{tr}\left\{Q_x^T{X}_2^{\′}\right[F_h\left(S\right)\⊗I_{D_c}]{X_2^{\′}}^T{Q}_x+Q_y^T{Y}_2^{\′}[F_v\left(S\right)\⊗I_{D_c}]{Y_2^{\′}}^T{Q}_y\·\·\·$

$\·\·\·-Q_x^T{X}_2^{\′}[S\⊗I_{D_c}]{Y_2^{\′}}^T{Q}_y-Q_y^T{Y}_2^{\′}[S^T\⊗I_{D_c}]X_2^{\′}{Q}_x\}---\left(10\right)$

$=\mathrm{tr}{(\left[\begin{array}{c}{Q}_x\\ Q_y\end{array}\right]}^T\left[\begin{array}{cc}{X}_2^{\′}& \\ & Y_2^{\′}\end{array}\right]\left[\begin{array}{cc}{F}_h\left(S\right)\⊗I_{D_c}& -S\⊗I_{D_c}\\ {-S}^T\⊗I_{D_c}& F_v\left(S\right)\⊗I_{D_c}\end{array}\right]{\left[\begin{array}{cc}{X}_2^{\′}& \\ & Y_2^{\′}\end{array}\right]}^T\left[\begin{array}{c}{Q}_x\\ Q_y\end{array}\right])$

再令： $Q=\left[\begin{array}{c}{Q}_x\\ Q_y\end{array}\right],$ $Z_2=\left[\begin{array}{cc}{X}_2^{\′}& \\ & Y_2^{\′}\end{array}\right],$ ${\mathrm{\Ω}}^{\′}=\left[\begin{array}{cc}{F}_h\left(S\right)\⊗I_{D_c}& -S\⊗I_{D_c}\\ {-S}^T\⊗I_{D_c}& F_v\left(S\right)\⊗I_{D_c}\end{array}\right],$ 此时的学习准则函数为

$\underset{Q}{\min }J\left(Q\right)=\mathrm{tr}\left(Q^T{Z}_2{\mathrm{\Ω}}^{\′}{Z}_2^{T}Q\right)---\left(11\right)$

Q的求解方式同前谱分解，其维数为D_r×2D_r，Q_x、Q_y的维数分别为D_r×D_r和D_r×D_r。当然，为了确保特征的紧凑性与有效性，Q_x、Q_y的维数也可保留到D_r×d′和D_r×d′(d′≤D_r)，d′代表列的维数。

在求得投影矩阵P_x，Q_x，P_y和Q_y之后，很容易将不同行走状态的步态特征矩阵集合的元素进行耦合距离度量，可完全采用批处理方式，如图2所示。它的主体思想就是将的样本集按列拼接在一起形成一个新的矩阵，Q_x初始化为Q_x0，将

的样本集投影到Q_x0上，获得样本集的维数大小为D_xm×(D_r·M)，将其向方向为P_x的空间上投影，得到新矩阵，其维数大小为D_c×(D_r·M)，再将此矩阵从新排列，排列的原则为变换后的样本集中的每个样本取转置，并按照列来拼接，那么，此时样本集构成新矩阵的维数为D_r×(D_c·M)，将它向方向为Q_x的空间投影得到最终样本集构成的矩阵大小为D_r×(D_c·M)，此时

的每一个样本的维数变为D_c×D_r，

的样本集也进行类似的操作，只不过，初始化投影矩阵为Q_y0，两个投影矩阵分别是P_y和Q_y，最终变换得到的样本集中每一个样本的大小亦为D_c×D_r，这样两个样本集就耦合到同一空间中，而且数据的行、列方向都分别进行了耦合。

该算法的特征提取过程如下：

(1)Q_x初始化为 $Q_{x0}=\left[\begin{array}{c}{I}_{D_r}\\ 0_{(D_{\mathrm{xn}}-D_r)\×D_r}\end{array}\right],$ Q_y初始化为 $Q_{y0}=\left[\begin{array}{c}{I}_{D_r}\\ 0_{(D_{\mathrm{yn}}-D_r)\×D_r}\end{array}\right],$ 两个不同行走状态的步态特征矩阵集合中的样本分别向方向为Q_x0、Q_y0的空间上投影，集合

投影后得到的样本集为集合X₁＝[X₁Q_x0,X₂Q_x0,…,X_MQ_x0]，集合

投影后得到的样本集为集合Y₁＝[Y₁Q_y0,Y₂Q_y0,…,Y_MQ_y0]。

(2)求式(9)的广义特征分解，P_x对应于P的第1行到第D_xm行，P_y对应于P的第D_xm+1行到D_xm+D_ym行。

(3)集合

中的样本分别向方向为P_x、P_y的空间上投影，得到的数据 $P_x^T{X}_1{Q}_{x0},P_x^T{X}_2{Q}_{x0},\·\·\·,P_x^T{X}_M{Q}_{x0}$ 和 $P_y^T{Y}_1{Q}_{y0},P_y^T{Y}_2{Q}_{y0},\·\·\·,P_y^T{Y}_M{Q}_{y0},$ 分别记作X′₁,X′₂,…,X′_M和Y′₁,Y′₂,…,Y′_M，集合

中的样本依次拼接得到X₂＝[X′₁,X′₂,…,X′_M]，集合

中的样本也同样拼接得到

从新排列集合X₂和Y₂，有X′₂＝[(X′₁)^T,(X′₂)^T,…,(X′_M)^T]，Y′₂＝[(Y′₁)^T,(Y′₂)^T,…,(Y′_M)^T]。

(4)求式(11)的广义特征分解，Q_x和Q_y分别对应于Q的第1行到第D_r行和第D_r+1行到第2·D_r行。

(5)样本集X′₁,X′₂,…,X′_M和Y′₁,Y′₂,…,Y′_M分别向方向为Q_x、Q_y的空间上投影，则投影后的集合

和

分别为X₃＝[X′₁Q_x,X′₂Q_x,…,X′_MQ_x]，Y₃＝[Y′₁Q_y,Y′₂Q_y,…,Y′_MQ_y]。

(6)将X₃和Y₃中的各个样本都向量化并按照列拼接成矩阵a和b，然后再采用向量空间下的耦合度量学习算法得到变换矩阵P₁和P₂，X₃样本集投影得到y_a=P₁ ^Ta。

该算法的分类识别过程如下：

假设注册样本集的特征为y_ak（k＝1,2,…,M），对于测试样本B'，首先经初始化的Q_y0矩阵以及训练得到的P_y和Q_y矩阵投影得到特征Y_B′

$Y_{B^{\′}}=P_y^T{B}^{\′}{Q}_{y0}{Q}_y$

Y_B′向量化得到b'，它的特征y′_b为

$y_b^{\′}=P_2^T{b}^{\′}$

如果

$\mathrm{Dis}(y_b^{\′},y_{\mathrm{ak}})=\underset{j}{\arg \min }\mathrm{Dis}(y_b^{\′},y_{\mathrm{aj}})$

其中，y_aj是注册样本集的特征，j＝1,2,…,M，则B'属于y_ak所在的类别。

本发明的有益效果：本发明不需要从一种行走状态到另外一种行走状态进行预测估计，可直接采用机器学习解决行走状态变化的步态识别问题。本发明可有效地解决不同分辨率图像的直接匹配、同一个体但不同模态图像的直接匹配、同一个体但由不同设备采集的图像的直接匹配问题。

附图说明

图1是本发明识别方法的流程图。

图2是不同行走状态的步态特征矩阵集合间耦合的示意图。

图3步态能量图，(a)正常行走状态，(b)背包，(c)外套变化的。

图4使用边信息时的特征值分布情况。

图5使用边信息时的注册样本集和测试样本集的特征。

图6高斯形式下随近邻数k和尺度因子t变化的训练识别率。

图7使用高斯相似度时的特征值分布情况。

图8使用高斯相似度时的注册样本集和测试样本集的特征。

图9使用余弦相似度的注册样本集和测试样本集的特征。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

实验的数据库选择CASIA(B)步态数据库，该库含有3种行走状态，分别为正常步态（记为’nm’），带有背包的步态(记为‘bg’)以及外套变化的步态(记为‘cl’)。以侧面视角下的步态识别为例来说明本专利所提供的方法的实验效果，对于每段步态视频图像都采用步态能量图（gait energy image,GEI）的形式来表达步态特征，且GEI的大小均为64×64像素。如图3所示。

四组对行走状态变化具有鲁棒性的步态识别实验：

（1）注册集由每人第一个正常步态组成；训练集由每人第一个正常步态和第一个带有背包的步态组成；测试集由每人第二个带有背包的步态组成。该数据集记为‘nm&bg’；

（2）注册集由每人第一个正常步态组成；训练集由每人第一个正常步态和第一个外套变化的步态组成；测试集由每人第二个带有外套变化的步态组成。该数据集记为‘nm&cl’；

（3）注册集由每人第一个背包步态组成；训练集由每人第一个背包步态和第一个外套变化的步态组成；测试集由每人第二个外套变化的步态组成。该数据集记为‘bg&cl’；

（4）注册集由每人第一个外套变化的步态组成；训练集由每人第一个外套变化的步态和第一个带有背包的步态组成；测试集由每人第二个带有背包的步态组成。该数据集记为‘cl&bg’；

首先测试边信息相似约束条件下的对行走状态变化具有鲁棒性的步态识别方法的性能，在数据集‘nm&bg’中，初始化然后通过式(9)和(10)的广义特征分解得到投影矩阵P_x、P_y、Q_x和Q_y，并通过查看特征值分布情况来确定投影矩阵的维数。具体来讲，式(9)的广义特征分解得到的特征值分布如图4中上面的子图，可以看出特征值由小到大排序，直到第30个特征值以后才迅速上升，但是特征值分布的数量级为10⁰，因为累计的特征值的和越大，我们用来建立样本集之间联系的差别程度就越大，但是保留的特征值个数较少时，累计的特征值的和虽然小，保留的特征又不足以用来分类。均衡两者，这里选择从小到大排列后的第2个到第11个特征值对应的特征向量来组成变换矩阵P_x和P_y。图4中的下面的子图对应的是通过式(11)的广义特征分解的特征值分布情况，数量级是10^-24，十分接近于零，所以Q_x和Q_y的维数可以保留稍微多一些，这里可以选择从小到大排列后的第2个到第31个特征值对应的特征向量来组成Q_x和Q_y。这样，两个样本集就在行方向和列方向都进行了耦合，且样本的维数为300维。然后再采用向量空间下的耦合度量学习算法，特征仅保留到1维时，识别率就可以达到100%。

如图5所示的从上到下的子图分别是测试bg集合的124个个体的一维特征，注册nm集合的124个个体的一维特征以及两者之差，其横轴是不同的样本个体，可以看出对于同一个体，即使注册集是正常步态样本，测试集是带有背包的步态样本，采用本专利所提供的方法，两者的一维特征数值大小十分相近。

下面测试局部保留相似约束条件下的对行走状态变化具有鲁棒性的步态识别方法的识别性能，当相似度矩阵选择为式(6)时，将nm与bg集进行耦合，并测试识别的效果，定义训练识别率为测试用于训练的bg识别率，而注册样本集依然为nm。首先，依据式(8)和(9)将nm和bg在一个方向上耦合，且相似度矩阵选择为S₃＝min{S₁,S₂}，其中S₁和S₂分别为通过nm集合、bg集合计算出来的相似度矩阵，当k=5，t=300时最佳的训练识别率为0.5645。如图6所示为高斯形式下随近邻数k和尺度因子t变化的训练识别率。然后，再依据式(10)和(11)将nm和bg集在另一个方向上耦合，此时的训练识别率为0.9839。图7的上、下的两个子图分别为通过这两个式子计算得到的特征值分布情况，它与图4的分布走势相类似，数量级亦为10⁰和10^-24，这里的P_x和P_y同样也取从小到大排列后的第2个到第11个特征值对应的特征向量；Q_x和Q_y也取选择从小到大排列后的第2个到第31个特征值对应的特征向量。这样，两个样本集就在行方向和列方向都进行了耦合，且样本的维数为300维。然后再采用向量空间下的耦合度量学习算法，同样也是特征保留到1维时，识别率就可以达到100%。

如图8所示的从上到下的子图分别是测试bg集合的124个个体的一维特征，注册nm集合的124个个体的一维特征以及两者之差，其横轴是不同的样本个体，可以看出：经特征提取后两者的一维特征数值大小十分相近。

若相似度矩阵为余弦相似度矩阵时，通过实验确定k=1，通过式(9)和(11)的广义特征分解得到的投影变换矩阵也将nm和bg数据集的样本维数降维到300维，然后再采用向量空间下的耦合度量学习算法，同样也是将特征保留到1维时，识别率就可以达到100%。

如图9所示的从上到下的子图分别是测试bg集合的124个个体的一维特征，注册nm集合的124个个体的一维特征以及两者之差，其横轴是不同的样本个体，可以看出：经特征提取后两者的一维特征数值大小十分相近。

将‘nm&bg’的实验结果同‘nm&cl’、‘bg&cl’和‘cl&bg’的都总结在表1中，无论是基于边信息的抑或余弦相似度和高斯相似度下的对行走状态变化具有鲁棒性的步态识别方法都在矩阵耦合阶段将特征维数保留到10×30维，最终用于识别的特征维数仅为1维时，四个数据集下的识别率大小均能达到100%。

表1本专利所提供方法的识别性能

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (3)

1.一种对行走状态变化具有鲁棒性的步态识别方法，其特征是，主要包括：建立不同行走状态的步态特征矩阵之间的距离度量表达式、训练阶段和识别阶段；训练时，在训练样本集合中建立相似度矩阵，建立目标优化函数，然后对该目标函数解耦得到不同行走状态步态的各自变换矩阵，不同行走状态的步态分别在这两个变换矩阵上投影得到矩阵空间下不同行走状态的步态样本特征集合，然后将所有样本特征向量化处理，再采用向量空间下的耦合度量学习得到向量空间下的不同行走状态步态的各自变换矩阵，最后得到注册集样本的最终特征集合；测试样本与注册集样本的行走状态不一致时，利用训练阶段得到的矩阵空间下的变换矩阵和向量空间下的变换矩阵投影变换两次，最终采用最近分类器判定该步态样本所属的类别；所述不同行走状态的步态特征矩阵之间的距离度量表达式的建立方法为：对于两个不同行走状态的步态特征矩阵集合

和

分别表示维数为D_xm×D_xn和D_ym×D_yn的空间，其中的步态样本

和

的距离定义为κ^C:R表示实数空间；①通过映射函数f_x和f_y将X_i和Y_j映射到同一个像空间中：

表示维数为D_c×D_r的空间；②在像空间中再进行传统的矩阵距离度量κ_C:因此

${\mathrm{\κ}}^C(X_i,X_j)={\mathrm{\κ}}_C({\tilde{X}}_i,{\tilde{X}}_j)={\mathrm{\κ}}_C(f_x\left(X_i\right),f_y\left(Y_j\right))={\left|\right|f_x\left(X_i\right)-f_y\left(Y_j\right)\left|\right|}_C$    (1)

$=\sqrt{\mathrm{tr}\left\{{[f_x\left(X_i\right)-f_y\left(Y_j\right)]}^{T}C\right[f_x\left(X_i\right)-f_y\left(Y_j\right)\left]\right\}}$

其中，

||||_C是定义计算κ_C的距离度量关系，T表示转置；C是定义一个矩阵以代替距离度量关系||||_C，C是一个半正定阵；

令C＝W_cW_c ^T， $f_x\left(X_i\right)=W_{\mathrm{xm}}^T{X}_i{W}_{\mathrm{xn}},$ $f_y\left(Y_j\right)=W_{\mathrm{ym}}^T{Y}_j{W}_{\mathrm{yn}},$ 则

${\mathrm{\κ}}^C=(X_i,Y_j)=\sqrt{\mathrm{tr}\left\{{[W_c^T{W}_{\mathrm{xm}}^T{X}_i{W}_{\mathrm{xn}}-W_c^T{W}_{\mathrm{ym}}^T{Y}_j{W}_{\mathrm{yn}}]}^T\right[W_c^T{W}_{\mathrm{xm}}^T{X}_i{W}_{\mathrm{xn}}-W_c^T{W}_{\mathrm{ym}}^T{Y}_j{W}_{\mathrm{yn}}\left]\right\}}---\left(2\right)$

再令P_x＝W_xmW_c，Q_x＝W_xn，P_y＝W_ymW_c，Q_y＝W_yn，有

${\mathrm{\κ}}^C(X_i,Y_j)=\sqrt{\mathrm{tr}\left\{{[P_x^T{X}_i{Q}_x-P_y^T{Y}_j{Q}_y]}^T\right[P_x^T{X}_i{Q}_x-P_y^T{Y}_j{Q}_y\left]\right\}}---\left(3\right)$

求取κ^C(X_i,Y_j)中的P_x，Q_x，P_y和Q_y即得到两个不同行走状态的步态样本之间的距离，并且需要利用监督信息来指导学习得到这四个投影矩阵。

2.如权利要求1所述的对行走状态变化具有鲁棒性的步态识别方法，其特征是，所述训练阶段的具体步骤为：

边信息相似约束条件下的不同行走状态的步态样本的匹配学习依靠图模型：若

和

相似，那么样本i和j的相似性关系

其中，

为相似关系集合；设

和 ^w包含M个步态样本，S表示相似矩阵，其中的每一个元素

局部保留相似约束条件下的不同行走状态的步态样本的匹配学习与边信息相似约束条件下的不同之处在于式(4)中的S矩阵为

$S_{\mathrm{ij}}=\frac{x_i\·x_j}{\left|\right|x_i\left|\right|\left|\right|x_j\left|\right|}---\left(5\right)$

或者，

$S_{\mathrm{ij}}=\exp (-\frac{{\left|\right|x_i-x_j\left|\right|}^2}{t})---\left(6\right)$

其中，x_i是x_j分别是X_i和X_j的向量化版本，而且还满足：x_i是x_j的k-近邻，或者x_j是x_i的k-近邻，否则，S_ij＝0；S_ij为相似度函数S的元素；式(5)是余弦相似度，式(6)是高斯相似度；t是尺度因子；

此时的不同行走状态的步态样本矩阵的匹配学习准则

应该满足相似对应关系点对在像空间中仍然具有相似性：

其中，||||_F表示F范数；

初始化 $Q_x\←Q_{x0}=\left[\begin{array}{c}{I}_{D_r}\\ 0_{(D_{\mathrm{xn}}-D_r)\×D_r}\end{array}\right],$ $Q_y\←Q_{y0}=\left[\begin{array}{c}{I}_{D_r}\\ 0_{(D_{\mathrm{yn}}-D_r)\×D_r}\end{array}\right],$ 其中，为维数为D_r×D_r的单位阵，和表示维数为下角标所示的全零矩阵；

中的样本X₁,X₂,…,X_M和Y₁,Y₂,…,Y_M分别向方向为Q_x、Q_y的空间上投影，令

投影后得到的样本集为集合X₁＝[X₁Q_x0,X₂Q_x0,…,X_MQ_x0]，其中每一个样本的维数为D_xm×D_r，集合

投影后得到的样本集为集合Y₁＝[Y₁Q_y0,Y₂Q_y0,…,Y_MQ_y0]，其中每一个样本的维数为D_ym×D_r，那么，此时的学习准则转换为

$\underset{P_x,P_y}{\min }J(P_x,P_y)=\underset{i,j}{\mathrm{\Σ}}{\left|\right|P_x^T{X}_i{Q}_x-P_y^T{Y}_j{Q}_y\left|\right|}_F^2{S}_{\mathrm{ij}}$

$=\mathrm{tr}\left\{P_x^T{X}_1\right[F_h\left(S\right)\⊗I_{D_r}]X_1^T{P}_x+P_y^T{Y}_1[F_v\left(S\right)\⊗I_{D_r}]Y_1^T{P}_y-P_x^T{X}_1[S\⊗I_{D_r}]Y_1^T{P}_y\·\·\·$ $\·\·\·-P_y^T{Y}_1[S^T\⊗I_{D_r}]X_1{P}_x\}---\left(8\right)$

$=\mathrm{tr}\left({\left[\begin{array}{c}{P}_x\\ P_y\end{array}\right]}^T\left[\begin{array}{cc}{X}_1& \\ & Y_1\end{array}\right]\left[\begin{array}{cc}{F}_h\left(S\right)\⊗I_{D_r}& -S\⊗I_{D_r}\\ -S^T\⊗I_{D_r}& F_v\left(S\right)\⊗I_{D_r}\end{array}\right]{\left[\begin{array}{cc}{X}_1& \\ & Y_1\end{array}\right]}^T\left[\begin{array}{c}{P}_x\\ P_y\end{array}\right]\right)$

其中：

代表克罗尼克积；F_h(S)和F_v(S)都是对角阵，其中的每一元素都是S的列或者行的和，

再令： $P=\left[\begin{array}{c}{P}_x\\ P_y\end{array}\right],$ $Z_1=\left[\begin{array}{cc}{X}_1& \\ & Y_1\end{array}\right],$ $\mathrm{\Ω}=\left[\begin{array}{cc}{F}_h\left(S\right)\⊗I_{D_r}& -S\⊗I_{D_r}\\ -S^T\⊗I_{D_r}& F_v\left(S\right)\⊗I_{D_r}\end{array}\right],$ 此时的学习准则函数为

$\underset{P}{\min }J\left(P\right)=\mathrm{tr}\left(P^T{Z}_1\mathrm{\Ω}{Z}_1^{T}P\right)---\left(9\right)$

为了使式(9)具有唯一解，需要加入尺度不变约束：

和平移不变约束：P^TZ₁e＝0，其中，I表示单位阵，e为全1、大小为2MD_r×1的列向量；求此优化问题，采用谱分解求取EP＝λFP，其中

λ为特征值，将求得的特征值按照从小到大排列，取第2到第D_c+1个特征值对应的特征向量按列的顺序拼接排列得到P；P的维数为(D_xm+D_ym)×D_c，那么P_x的维数为D_xm×D_c，P_y的维数为D_ym×D_c，

通常是不可逆的，通过规整化来消除奇异性，

其中，τ取接近于0的正数，可取τ＝10^-6；

集合

中的样本分别再向方向为P_x、P_y的空间上投影，得到的数据 $P_x^T{X}_1{Q}_{x0},P_x^T{X}_2{Q}_{x0},\·\·\·,P_x^T{X}_M{Q}_{x0}$ 和 $P_y^T{Y}_1{Q}_{y0},P_y^T{Y}_2{Q}_{y0},\·\·\·,P_y^T{Y}_M{Q}_{y0},$ 分别记作X′₁,X′₂,…,X′_M和Y′₁,Y′₂,…,Y′_M，集合

中的样本依次拼接得到X₂＝[X′₁,X′₂,…,X′_M]，其中每一个样本的维数为D_c×D_r，集合

中的样本也同样拼接得到Y₂＝[Y′₁,Y′₂,…,Y′_M]，其中每一个样本的维数为D_c×D_r，从新排列集合X₂和Y₂，有X′₂＝[(X′₁)^T,(X′₂)^T,…,(X′_M)^T]，Y′₂＝[(Y′₁)^T,(Y′₂)^T,…,(Y′_M)^T]；那么此时的学习准则转换为

$\underset{Q_x,Q_y}{\min }J(Q_x,Q_y)=\underset{i,j}{\mathrm{\Σ}}{\left|\right|P_x^T{X}_i{Q}_x-P_y^T{Y}_j{Q}_y\left|\right|}_F^2{S}_{\mathrm{ij}}$

$=\mathrm{tr}\left\{Q_x^T{X}_2^{\′}\right[F_h\left(S\right)\⊗I_{D_c}]{X_2^{\′}}^T{Q}_x+Q_y^T{Y}_2^{\′}[F_v\left(S\right)\⊗I_{D_c}]{Y_2^{\′}}^T{Q}_y\·\·\·$

$\·\·\·-Q_x^T{X}_2^{\′}[S\⊗I_{D_c}]{Y_2^{\′}}^T{Q}_y-Q_y^T{Y}_2^{\′}[S^T\⊗I_{D_c}]X_2^{\′}{Q}_x\}---\left(10\right)$ $=\mathrm{tr}{(\left[\begin{array}{c}{Q}_x\\ Q_y\end{array}\right]}^T\left[\begin{array}{cc}{X}_2^{\′}& \\ & Y_2^{\′}\end{array}\right]\left[\begin{array}{cc}{F}_h\left(S\right)\⊗I_{D_c}& -S\⊗I_{D_c}\\ {-S}^T\⊗I_{D_c}& F_v\left(S\right)\⊗I_{D_c}\end{array}\right]{\left[\begin{array}{cc}{X}_2^{\′}& \\ & Y_2^{\′}\end{array}\right]}^T\left[\begin{array}{c}{Q}_x\\ Q_y\end{array}\right])$

再令： $Q=\left[\begin{array}{c}{Q}_x\\ Q_y\end{array}\right],$ $Z_2=\left[\begin{array}{cc}{X}_2^{\′}& \\ & Y_2^{\′}\end{array}\right],$ ${\mathrm{\Ω}}^{\′}=\left[\begin{array}{cc}{F}_h\left(S\right)\⊗I_{D_c}& -S\⊗I_{D_c}\\ {-S}^T\⊗I_{D_c}& F_v\left(S\right)\⊗I_{D_c}\end{array}\right],$ 此时的学习准则函数为

$\underset{Q}{\min }J\left(Q\right)=\mathrm{tr}\left(Q^T{Z}_2{\mathrm{\Ω}}^{\′}{Z}_2^{T}Q\right)---\left(11\right)$

Q的求解方式同前谱分解，其维数为D_r×2D_r，Q_x、Q_y的维数分别为D_r×D_r和D_r×D_r；

样本集X′₁,X′₂,…,X′_M和Y′₁,Y′₂,…,Y′_M分别向方向为Q_x、Q_y的空间上投影，则投影后的集合

和

分别为X₃＝[X′₁Q_x,X′₂Q_x,…,X′_MQ_x]，Y₃＝[Y′₁Q_y,Y′₂Q_y,…,Y′_MQ_y]；

将X₃和Y₃中的各个样本都向量化并按照列拼接成矩阵a和b，然后再采用向量空间下的耦合度量学习算法得到变换矩阵P₁和P₂，X₃样本集投影得到y_a=P₁ ^Ta。

3.如权利要求1所述的对行走状态变化具有鲁棒性的步态识别方法,其特征是，所述识别阶段的具体步骤为：

假设注册样本集的特征为y_ak（k＝1,2,…,M），对于测试样本B'，首先经初始化的Q_y0矩阵以及训练得到的P_y和Q_y矩阵投影得到特征Y_B′

$Y_{B^{\′}}=P_y^T{B}^{\′}{Q}_{y0}{Q}_y$

Y_B′向量化得到b'，它的特征y′_b为

$y_b^{\′}=P_2^T{b}^{\′}$

如果

$\mathrm{Dis}(y_b^{\′},y_{\mathrm{ak}})=\underset{j}{\arg \min }\mathrm{Dis}(y_b^{\′},y_{\mathrm{aj}})$

其中，y_aj是注册样本集的特征，j＝1,2,…,M，则B'属于y_ak所在的类别。

Images