CN101571918A - 一种基于最优轴投影特征的步态识别方法和系统 - Google Patents

Abstract

本发明公开了一种基于最优轴投影特征的步态识别方法，对测试图片序列和每个测试对象的参考图片序列分别进行背景建模及步态区域检测，得到每幅图片的步态区域图像；基于得到的步态区域图像，提取测试对象基于最优轴投影的步态特征；对所提取的步态特征进行相似性度量；根据测试图片序列步态特征与每个测试对象的参考图片序列步态特征的相似程度，识别出测试图片序列中的测试对象。本发明同时还公开了一种基于最优轴投影特征的步态识别系统，采用本发明能够保留更多的原始步态信息，有较高识别率，并能降低计算复杂度，提高计算速度。

Description

一种基于最优轴投影特征的步态识别方法和系统

技术领域

本发明涉及步态识别技术，尤其涉及基于最优轴投影特征的步态识别方法。

背景技术

步态识别是一种新的基于生物特征的身份识别技术，其主要内容是根据人走路的姿态来识别个人的身份。与人脸识别、指纹识别和虹膜识别等生物识别技术相比其具有以下优点：非侵犯性、可基于低分辨率图像进行识别、识别对象难以隐藏和可远距离进行识别等。早期的医学研究表明：如果考虑人体步态的24种成份，那么每个人的步态是唯一的。也就是说，步态识别可以唯一标识一个人的身份。

目前，在步态识别领域研究人员提出了大量的算法，主要可分为基于模型(model-baded)的方法和基于整体(appearance-baded)的方法两种类型。其中，基于模型的方法就是为人体建模，然后提取模型中的一些参数作为特征，最后进行分类识别；基于整体的方法是从人体轮廓形状的变化等角度抽取特征，然后进行识别，由于获取的特征往往是高维的，所以处理过程需要考虑具体的维数约减或特征提取，目前没有统一的降维或特征提取技术来完成这一任务。

具体的，现有技术中基于整体的步态识别方法有多种，比如：

1、Amit Kale，Aravind Sundaresan，A.N.Rsjagopalan，Naresh P.Countoor，Amit K.Roy-Chowdhury，Volker Kruger and Rama Chellappa.2004年9月在IEEE图像处理汇刊中发表的名称为《基于轮廓宽度的步态识别方法》的文章；

2、Liang Wang，Tieniu Tan Senior Member，IEEE，Huazhong Ning andWeiming Hu.2003年12月在IEEE模式分析与机器智能汇刊中发表的名称为《轮廓解卷绕的步态识别方法》的文章。

上述两种步态识别方法的共同特点是对轮廓坐标进行了变换，用一种新的数据结构来描述二维轮廓，即：将二维平面坐标变为一维数据来表示，这些方法的特点是通过降维，减少计算的数据量。但是，这两种方法各自还存在一定的局限性：

第一种，基于轮廓宽度的步态识别方法，虽然计算简单，但是，在数据降维的过程中，步态信息的损失量大，步态识别率相对较低。

第二种，轮廓解卷绕的步态识别方法，虽然该方法对数据降维后能够保留较多的步态信息、识别率高，但是，该方法在提取步态特征的过程中，要计算轮廓上点(x_i，y_i)到质心(x_c，y_c)的距离 $d_i=\sqrt{{(x_i-x_c)}^2+{(y_i-y_c)}^2},$ 需要进行平方和开方运算，计算复杂、速度慢。

发明内容

有鉴于此，本发明的主要目的在于提供基于最优轴投影特征的步态识别方法和系统，能够保留更多的原始步态信息，进而提高识别率，降低计算复杂度，提高计算速度。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种基于最优轴投影特征的步态识别方法，包括：

a.对测试图片序列和每个测试对象的参考图片序列分别进行背景建模及步态区域检测，得到每幅图片的步态区域图像；

b.基于得到的步态区域图像，提取测试对象基于最优轴投影的步态特征；

c.对所提取的步态特征进行相似性度量；

d.根据测试图片序列的步态特征与每个测试对象的参考图片序列的步态特征的相似程度，识别出测试图片序列中的测试对象。

上述方案中，所述提取测试对象基于最优轴投影的步态特征，具体为：

先根据得到的步态区域图像，求取测试对象轮廓的最优轴；再根据得到的最优轴，获取测试对象轮廓上的点到最优轴的投影，得到基于最优轴投影的步态特征。

较佳地，所述最优轴为通过轮廓质心的直线。

较佳地，所述求取测试对象轮廓的最优轴具体为：

b11.以测试对象的轮廓质心为原点，提取步态区域图像序列中测试对象轮廓点的坐标向量[x y]^T；

b12.将得到的轮廓坐标向量组成矩阵T，并求取T与T^T的乘积矩阵的特征值λ₁和λ₂(λ₁＞λ₂)、以及对应的特征向量e₁和e₂；

b13.根据得到的特征向量e₁，获得测试对象的最优轴方程。

较佳地，所述得到基于最优轴投影的步态特征具体为：

b21、提取步态区域图像I上轮廓点坐标向量[x y]^T，根据所提取的轮廓点坐标向量构建矩阵z；

b22、计算所构建矩阵z与权4中所述特征向量e₁的转置e₁ ^T的乘积矩阵p′；

b23、提取所述乘积矩阵p′的任意一行p′_i，将p′_i作为基于测试对象最优轴投影的步态特征。

本发明还提供了一种基于最优轴投影的步态识别系统，包括：步态区域检测模块、步态特征提取模块、分类识别模块；

步态区域检测模块，用于对测试图片序列和每个测试对象的参考图片序列进行背景建模及步态区域检测，获得每幅图片的步态区域图像；

步态特征提取模块，用于根据步态区域检测模块获得的步态区域图像，提取测试对象基于最优轴投影的步态特征；

分类识别模块，用于对步态特征提取模块提取的步态特征行相似性度量，并根据测试图片序列与每个测试对象的参考图片序列步态特征的相似程度，识别出测试图片序列中的测试对象。

较佳地，所述步态区域检测模块进一步包括背景建模子模块、时域差分子模块和图像二值化子模块；其中，

背景建模子模块，用于对测试图片序列与每个测试对象的参考图片序列进行背景建模，获得背景图像；

时域差分子模块，用于根据背景建模子模块得到的背景图像，完成对测试图片序列与每个测试对象的参考图片序列对应图像的时域差分处理；

图像二值化子模块，用于将差分后的图像进行二值化处理，得到步态区域图像。

较佳地，所述步态特征提取模块进一步包括：最优轴提取子模块、投影特征提取子模块；其中，

最优轴提取子模块，用于根据得到的步态区域图像，计算测试对象轮廓的最优轴；

投影特征提取子模块，用于根据获得的最优轴，获取测试对象轮廓上的点到最优轴的投影。

本发明所述的基于最优轴投影特征的步态识别方法和系统，提出了一种新型的步态特征——最优轴投影特征，分别提取每个测试对象的参考图片序列和测试图片序列的基于最优轴投影的步态特征，并对所提取的步态特征进行相似性度量，根据测试图片序列的步态特征与每个测试对象的参考图片序列的步态特征的相似程度，识别出测试图片序列中的对象。由于最优轴投影特征能够保留更多的原始步态信息，因此，采用本发明的方法和系统能获得较高识别率；并且，与轮廓解卷绕的方法相比，降低了计算复杂度，提高了计算速度。

附图说明

图1为本发明中基于最优轴投影特征的步态识别方法的实现流程示意图；

图2为步态区域检测过程示意图，其中(a)为背景图像图，(b)为原图像图，(c)为检测出的二值化图像图；

图3为本发明中最优轴投影原理示意图(左)及信号时域图(右)；

图4为UCSD数据库上的ROS曲线图；

图5为SOTON数据库上的ROS曲线图。

具体实施方式

本发明的基本思想是：获取测试对象的步态区域图像，并基于得到的步态区域图像提取测试对象基于最优轴投影的步态特征；之后，对所提取的步态特征进行相似性度量，根据步态特征的相似程度识别出测试对象。

本发明基于最优轴投影的步态识别方法的实现流程如图1所示，包括以下步骤：

步骤101：进行背景建模及步态区域检测，获得背景图像及步态区域图像；

本步骤中，对测试图片序列和每个测试对象的参考图片序列分别进行背景建模，得到相应的背景图像；根据得到的背景图像，对测试图片序列和每个测试对象的参考图片序列中的每幅图像进行时域差分及二值化处理，得到步态区域图像。

其中，所述测试图片序列是指要进行步态识别的对象对应的一系列运动图片的集合；每个测试对象的参考图片序列是指在图片数据库中每个测试对象的系列运动图片的集合；所述步态区域检测就是指时域差分及二值化处理。

具体的，所述背景建模及步态区域检测的处理过程包括：

步骤101a：对测试图片序列和每个测试对象的参考图片序列分别进行背景建模，得到测试图片序列和每个测试对象的参考图片序列的背景图像；

一般，当需要对某个对象进行步态识别时，先拍摄该对象的一个运动系列图片，得到由N幅图片组成的测试图片序列，然后再对得到的测试图片序列进行背景建模。其中，背景建模由图像处理软件，如Matlab采用中值滤波法建立背景模型，下文均以采用Matlab为例。设I^t表示测试图片序列中的第t幅图像，序列的长度为N，则背景图像B(x，y)可以表达为公式(1)：

$B(x,y)=\mathrm{median}\{I_{\mathrm{xy}}^1,...,I_{\mathrm{xy}}^t,...,I_{\mathrm{xy}}^N\}---\left(1\right)$

其中，I_xy表示(x，y)点处的灰度值，median{…}表示对测试图片序列中每幅图像(x，y)点处图像的灰度值求中值。

并且，采用所述的背景建模方法，对每个测试对象的参考图片序列进行处理，得到参考图片序列的背景图像。

步骤101b：在得到背景图像之后，用测试图片序列和每个测试对象的参考图片序列的前景图像，对所得到的相应的背景图像进行差分处理，并设定阈值，然后根据设定的阈值对差分后的图像进行二值化处理，以检测步态发生的区域，得到测试图片序列和每个测试对象的参考图片序列的步态区域图像。

这里，具体，采用公式(2)对图像进行二值化处理：

$F^t(x,y)=\left\{\begin{array}{cc}1,& \mathrm{if}|I_{\mathrm{xy}}^t-B(x,y)|>\mathrm{\ϵ}\\ 0,& \mathrm{else}\end{array}\right.---\left(2\right)$

其中，ε为所设定阈值，F^t(x，y)为第t帧二值化图像，1表示步态发生的区域，0表示背景，所述阈值需要根据具体的拍摄环境、摄像机的性能和前景目标的对比度等条件综合来选择，其中拍摄环境影响是比较大的，主用根据不同的拍摄环境进行比较选择合适的值，选择的阈值大小在20～30之间。

通常，采用上述方法得到的二值化图像F^t(x，y)，由于前景图像内的部分像素会不可避免的被漏检，导致前景区域会存在很多空洞，并且部分较小的背景区域也可能被检测为前景，因此需要采用形态学的开闭运算对每幅二值化图像进行图像处理，从而得到较佳的二值化后的步态区域图像。

图2为测试图片序列中一幅图像的步态区域检测效果示意图，其中，(a)为背景图像，(b)为原图像，(c)为二值化后的步态区域图像。

步骤102、基于得到的步态区域图像，提取基于最优轴投影的步态特征；

这里，基于得到的测试图片序列和每个测试对象的参考图片序列的步态区域图像，分别提取基于最优轴投影的步态特征。具体的特征提取过程包括：

步骤102a：从测试图片序列中抽取N幅步态区域图像作为样本进行训练，提取测试对象轮廓的最优轴；

这里，从经过二值化处理的步态样本数据中抽取N幅不同的步态区域图像来进行训练；然后，以轮廓质心为原点，分别提取所抽取N幅图像的轮廓坐标。

假设第i幅图像上轮廓含有的坐标点数为d_i，则所有N幅图像的坐标点总数为M＝d₁+d₂+…+d_N，第j个坐标点为t_j(j＝1，…，M)，且t_j＝(x_j，y_j)^T；

设矩阵T＝[t₁，t₂，…，t_M]^T∈R^M×2，求取矩阵V＝T′T∈R^2×2的特征值λ₁和λ₂(λ₁＞λ₂)，λ₁和λ₂对应的特征向量分别为e₁和e₂，且e₁，e₂∈R^1×2，并设e₁＝[e₁₁ e₁₂]；

设图3中当前抽取出的二值化图像的最优轴L上，任意一点的坐标向量为[x y]^T，则最优轴L可以用公式(3)来表示：

e₁·[x y]^T＝0                     (3)

步骤102b：根据求取的最优轴，提取基于最优轴投影的步态特征；

对于测试图片序列中的任意一幅图像I，设其上轮廓点坐标组成的矩阵为： $z={[z_1^T,z_2^T,...,z_L^T]}^T\∈R^{L\×2},$ 其中，z_i＝(x_i，y_i)为轮廓上第i点的直角坐标，L为轮廓点的总数，则图3的投影由公式(4)求得：

$p^{\′}=z\·e_1^T---\left(4\right)$

其中，z′∈R^L×1，p′的任意一行p′_i可以表示为公式(5)：

p′_i＝e₁₁·x_i+e₁₂·y_i                      (5)

所述p′_i即为所述基于最优轴的投影特征，以p′_i作为一种新型的特征来描述轮廓。

本发明中，采用所述的步态特征提取方法，提取每个测试对象的参考图片序列的步态特征。

为了度量本发明方法下数据信息的损失量，表1中列出了采用本发明方法计算出的南加州大学的UCSD数据库和南安普大学的SOTON数据库的第一主成分的值e₁及e₁的累计贡献率，e₁的累计贡献率表示数据降维之后其含有的信息量占原有信息量的百分比，一般达到85％就足够了，从表1中可以看出，本发明的方法所得结果满足该要求。

数据库	UCSD	SOTON
			e1	[0.9987 0.0507]	[1.000 0.0049]
e1的累计贡献率	84.61％	89.61％

表1

步骤103：对所提取的步态特征进行相似性度量；

本步骤具体为，采用动态时间规整技术(DTW，Dynamic Time Wrapping)将测试图片序列的步态特征与每个测试对象的参考图片序列的步态特征进行动态时间规整，使得测试图片序列与每个测试对象的参考图片序列中同相位图片的步态特征相匹配，对测试图片序列与每个测试对象的参考图片序列的步态特征进行比较，计算出基于欧氏距离的步态特征的相似性度量；

这里，所述DTW是一种非线性配准技术；所述相位表示序列中图像的状态，比如：序列1的第一幅图像人双手处于张开状态，而序列2的第一幅图像双手处于闭合状态，则表明两幅图像的相位是不同的，也说明序列1和序列2的起始相位是不同的；所述欧式距离是指n维空间两点之间的真实距离，距离越近就越相似。

步骤104：根据测试图片序列步态特征与每个测试对象的参考图片序列步态特征的相似程度，识别出测试图片序列中的对象。

下面详细说明本发明的实验效果：

本发明所用的步态图片序列是UCSD数据库和SOTON数据库中的步态图片序列，这些数据库对不同的测试对象有多个测试图片序列。对于任意测试图片序列中的图像I_i，设其特征为f_i，序列中共有N幅图像，则用F＝[f₁，f₂，…，f_N]来表征该测试图片序列的特征序列。取测试对象的任意一个特征序列作为参考，设为F_i ^R，下标表示第i个测试对象，测试对象总数为c，即1≤i≤c。剩下的特征序列作为测试，设其总数为M，每个特征序列的表征为F_j ^T(1≤j≤M)，则需用F_j ^T(1≤j≤M)同F_i ^R的每个类别进行比较，以决定其分类，并给出正确识别率。

为了评测本发明所提出方法的性能，将背景技术中王亮提出的一种轮廓解卷绕的方法、Kale提出的基于轮廓宽度的方法和本发明提出的方法进行比较，各种方法步态特征在的UCSD和SOTON数据库的识别率如表2所示。

表2

从表2中可以看出，本发明提出的步态特征，在UCSD和SOTON数据库上达到了较高的识别率，与同种类型的方法进行比较，本发明的方法和王亮的方法识别率基本相当，且高于Kale方法的识别率。

图4、图5分别给出了在UCSD和SOTON数据库上进行实验的ROS曲线，其中，曲线401、501为采用Kale的方法进行实验的ROS曲线，曲线402、502为采用王亮的方法进行实验的ROS曲线，曲线403、503为采用本发明的方法进行实验的ROS曲线。ROS曲线表示一个测试度量的实际类别在它的最前k个匹配值之间的累计概率p(k)。性能统计特性以累积匹配分值(cumulativematch scores)来表示，阶次表示为横轴，而纵轴表示正确匹配的累计百分比，实际正确的分辨率等价于阶次为1。

从计算角度来看，本发明在提取的特征时仅用到加法和乘法，而同类型的王亮的方法需要计算轮廓上点(x_i，y_i)到质心(x_c，y_c)的距离 $d_i=\sqrt{{(x_i-x_c)}^2+{(y_i-y_c)}^2},$ 需要进行平方和开方运算，显然，本发明方法的计算复杂度较低。在主频为3.0的PentiumIV上，基于UCSD数据库平均识别一个人需要1.2471秒，而同类型王亮的方法需要2.6723秒，Kale的方法虽然计算简单，但相对王亮和本发明的方法来说识别率低。

为实现上述基于最优轴投影特征的步态识别方法，本发明还提出了一种基于最优轴投影特征的步态识别系统，该系统包括：步态区域检测模块、步态特征提取模块、分类识别模块；

步态区域检测模块，用于对测试图片序列和每个测试对象的参考图片序列进行处理，获得较佳的测试图片序列和每个测试对象的参考图片序列的步态区域图像；

步态特征提取模块，用于提取基于最优轴投影的步态特征；

分类识别模块，用于对步态特征提取模块提取的步态特征进行相似性度量，并根据测试图片序列与每个测试对象的参考图片序列步态特征的相似程度识别出测试图片序列中的对象。

上述系统中，步态区域检测模块进一步包括背景建模子模块、时域差分子模块和图像二值化子模块；其中，

背景建模子模块，用于对测试图片序列与每个测试对象的参考图片序列进行背景建模，获得背景图像；

时域差分子模块，用于根据背景建模子模块得到的背景图像，完成对测试图片序列与每个测试对象的参考图片序列对应图像的时域差分处理；

图像二值化子模块，用于将差分后的图像进行二值化处理，得到步态区域图像。

上述系统中，步态特征提取模块进一步包括：最优轴提取子模块、投影特征提取子模块；其中，

最优轴提取子模块，用于根据得到的步态区域图像序列计算测试对象轮廓的最优轴；

投影特征提取子模块，用于根据获得的最优轴，求取测试对象轮廓上的点到最优轴的投影，即：得到基于最优轴投影的步态特征。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1、一种基于最优轴投影特征的步态识别方法，其特征在于，该方法包括：

a.对测试图片序列和每个测试对象的参考图片序列分别进行背景建模及步态区域检测，得到每幅图片的步态区域图像；

b.基于得到的步态区域图像，提取测试对象基于最优轴投影的步态特征；

c.对所提取的步态特征进行相似性度量；

d.根据测试图片序列的步态特征与每个测试对象的参考图片序列的步态特征的相似程度，识别出测试图片序列中的测试对象。

2、根据权利要求1所述的方法，其特征在于，所述提取测试对象基于最优轴投影的步态特征，具体为：

先根据得到的步态区域图像，求取测试对象轮廓的最优轴；再根据得到的最优轴，获取测试对象轮廓上的点到最优轴的投影，得到基于最优轴投影的步态特征。

3、根据权利要求2所述的方法，其特征在于，所述最优轴为通过轮廓质心的直线。

4、根据权利要求2所述的方法，其特征在于，所述求取测试对象轮廓的最优轴具体为：

b11.以测试对象的轮廓质心为原点，提取步态区域图像序列中测试对象轮廓点的坐标向量[xy]^T；

b12.将得到的轮廓坐标向量组成矩阵T，并求取T与T^T的乘积矩阵的特征值λ₁和λ₂(λ₁＞λ₂)、以及对应的特征向量e₁和e₂；

b13.根据得到的特征向量e₁，获得测试对象的最优轴方程。

5、根据权利要求4所述的方法，其特征在于，所述得到基于最优轴投影的步态特征具体为：

b21、提取步态区域图像I上轮廓点坐标向量[xy]^T，根据所提取的轮廓点坐标向量构建矩阵z；

b22、计算所构建矩阵z与权4中所述特征向量e₁的转置e₁ ^T的乘积矩阵p′；

b23、提取所述乘积矩阵p′的任意一行p′_i，将p′_i作为基于测试对象最优轴投影的步态特征。

6、一种基于最优轴投影的步态识别系统，其特征在于，该系统包括：步态区域检测模块、步态特征提取模块、分类识别模块；

步态区域检测模块，用于对测试图片序列和每个测试对象的参考图片序列进行背景建模及步态区域检测，获得每幅图片的步态区域图像；

步态特征提取模块，用于根据步态区域检测模块获得的步态区域图像，提取测试对象基于最优轴投影的步态特征；

分类识别模块，用于对步态特征提取模块提取的步态特征行相似性度量，并根据测试图片序列与每个测试对象的参考图片序列步态特征的相似程度，识别出测试图片序列中的测试对象。

7、根据权利要求6所述的系统，其特征在于，所述步态区域检测模块进一步包括背景建模子模块、时域差分子模块和图像二值化子模块；其中，

背景建模子模块，用于对测试图片序列与每个测试对象的参考图片序列进行背景建模，获得背景图像；

时域差分子模块，用于根据背景建模子模块得到的背景图像，完成对测试图片序列与每个测试对象的参考图片序列对应图像的时域差分处理；

图像二值化子模块，用于将差分后的图像进行二值化处理，得到步态区域图像。

8、根据权利要求6或7所述的系统，其特征在于，所述步态特征提取模块进一步包括：最优轴提取子模块、投影特征提取子模块；其中，

最优轴提取子模块，用于根据得到的步态区域图像，计算测试对象轮廓的最优轴；

投影特征提取子模块，用于根据获得的最优轴，获取测试对象轮廓上的点到最优轴的投影。

Images