CN101609507B - 步态识别方法 - Google Patents

Abstract

本发明提出一种步态识别方法，包括立体视觉标定、训练和识别三个部分，具体步骤如下：立体视觉的摄像机标定；获取立体步态图像序列对；提取运动目标轮廓；立体匹配得到三维立体轮廓点；提取立体步态特征；使用主分量分析方法对所述立体步态特征进行降维；采用最近邻准则进行分类与识别。本发明所提取的立体步态特征具有很好的表征性和强鲁棒性，能够有效地提高步态身份认证的识别率。

Description

步态识别方法

技术领域

本发明涉及模式识别领域，特别涉及一种步态识别方法。

背景技术

生物特征识别技术是鉴定个体身份的一种方法。它通过高科技信息检测技术、利用人体所固有的生理或行为特征进行个体的身份鉴别，包括人脸识别、指纹识别、虹膜识别和步态识别等多种识别技术。由于每个人的生物特征具有唯一性与普遍性，不易伪造和假冒，因此利用生物特征识别技术进行身份认证具有安全、可靠、正确等优点。目前广泛使用的指纹识别、虹膜识别及人脸识别等第一代生物特征识别技术，大多需要被检测对象的配合，有时需要被检测对象完成特定的动作才能进行识别，这样难免会造成某些身份认证的被动性。

步态识别旨在根据人们走路的姿势识别其身份。作为第二代生物特征识别技术，步态识别是唯一在远距离情况下可以进行身份认证的生物特征识别技术，具有隐蔽性好、对视频质量要求不高、远距离非接触以及难以伪装等优点。即使在其他生物特征识别技术都失效的情况下，步态识别仍能发挥强而有力的作用。基于上述优点，步态识别近年来备受关注，在视觉监控领域具有广阔的应用前景。

立体视觉作为计算机视觉领域的一个重要分支，其目的在于重构场景中的三维几何信息。它由不同位置的两台或多台摄像机拍摄同一场景中的图像，通过计算空间点在两幅图像中的视差以获得该空间点的三维坐标值。由于立体视觉提供了图像的三维坐标，理论上可以比单目视觉获得更多的有效信息。

现有的步态识别大多是在单目视觉的情况下进行的，只有极少部分是在多视角下进行的。目前，基于多视角的步态识别方法都是围绕预先建立的人体结构模型展开的研究，算法实现比较复杂，实验环境要求比较严格，需要构建人体模型的先验知识，并且基本侧重于跟踪与分析，识别也仅限于评估算法的有效性，而步态识别研究尚未进行。但是，由于立体视觉具有抗干扰性、有效性处理遮挡、包含更多的运动信息等优点，因此可结合立体视觉进行步态识别，以获得高识别率和强鲁棒性。

发明内容

本发明的目的旨在解决上述技术缺陷之一，特别是解决利用人行走时的步态运动变化行为进行人的身份识别的问题。

为了达到上述目的，本发明提出一种步态识别方法，包括立体视觉标定、训练和识别。所述立体视觉标定用于进行立体视觉双摄像机的标定；所述训练用于训练获得的立体步态数据库；所述识别用于对立体步态特征进行分类。

作为本发明的一个实施例，所述立体视觉标定包括以下步骤：将立体视觉双摄像机采集到的标准棋盘格图像传输到计算机；对所述标准棋盘格图像进行预处理；提取标定所需要的特征点；对所述立体视觉双摄像机各自的内外参数进行标定；标定所述立体视觉双摄像机之间的空间相对位置参数；保存经过校准后的标定结果值。

作为本发明的一个实施例，所述训练包括以下步骤：获取训练步态图像序列对；提取运动目标轮廓；立体匹配得到三维立体轮廓点；提取立体步态特征；使用主分量分析方法对所述立体步态特征进行降维，获得训练好的立体步态数据库。

作为本发明的一个实施例，所述识别采用最近邻准则，包括：以样本质心作为类匹配模板计算欧氏距离，选取欧氏距离最小的一类作为归属类；或者，以样本标本质心作为类匹配模板计算欧氏距离，选取最近的样本标本质心所属的类作为归属类。

通过本发明所提取的立体步态特征具有很好的表征性和强鲁棒性，能够有效地提高步态身份认证的识别率。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的步态识别方法的流程图；

图2为本发明实施例的立体视觉双摄像机标定后的配置示意图；

图3为本发明实施例的运动目标轮廓提取的流程图；

图4为本发明实施例的部分立体步态图像序列对的示意图；

图5为本发明实施例的运动目标轮廓提取的结果示意图；

图6为本发明实施例的立体匹配结果示意图；

图7为本发明实施例的三维立体轮廓矢量提取示意图及归一化的L₂范数的结果图；

图8为本发明实施例的特征空间投影示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，为本发明实施例的步态识别方法的流程图，包括以下步骤：

步骤S101，进行立体视觉的摄像机标定。

目前常用的立体视觉的摄像机标定方法包括张氏标定法、Tsai标定法和四步标定法等。由于四步标定法对标定模板与摄像机位置的要求不高，易于实现，可以得到不同摄像机之间的变换矩阵，因此在本发明实施例中，采用四步标定法标定摄像机的内外参数，具体步骤如下：首先，不考虑任何畸变因素，用直接线性变换的方法计算参数的初值；然后，通过雅可比矩阵反复迭代计算，对参数进行非线性优化使得总的误差平方和最小；如果使用的控制点的投影大于1个像素，需补偿镜头圆形产生的失真；最后，解决图像校正问题，纠正受畸变扭曲的图像元素的坐标。

在四步标定法中，内部参数包括：焦距长度fc(用2×1矩阵表示，精确到像素)、图像主点坐标cc(用2×1矩阵表示)、x轴和y轴夹角的角度畸变alpha_c和图像扭曲系数kc(径向和切向扭曲，用5×1矩阵表示)，则摄像机矩阵定义为： $\mathrm{KK}=\left[\begin{array}{ccc}\mathrm{fc}\left(1\right)& \mathrm{alpha}\_c*\mathrm{fc}\left(1\right)& \mathrm{cc}\left(1\right)\\ 0& \mathrm{fc}\left(2\right)& \mathrm{cc}\left(2\right)\\ 0& 0& 1\end{array}\right].$

外部参数包括：3×3旋转矩阵om和3×1平移矩阵T，则两摄像机之间的空间位置关系可由关系式 $\left[\begin{array}{c}{x}_w^r\\ y_w^r\\ z_w^r\end{array}\right]=\mathrm{om}\×\left[\begin{array}{c}{x}_w^l\\ y_w^l\\ z_w^l\end{array}\right]+T$ 描述，其中，x_w ^r、y_w ^r和z_w ^r分别为右摄像机在x轴、y轴和z轴的坐标，x_w ^l、y_w ^l和z_w ^l分别为左摄像机在x轴、y轴和z轴的坐标。

如图2所示，为标定后的立体视觉双摄像机的配置示意图。

步骤S102，获取立体步态图像序列对。

步骤S103，提取运动目标轮廓。

如图3所示，为本发明实施例的运动目标轮廓提取的流程图，包括以下步骤：

步骤S301，利用中间值的方法从部分立体步态图像序列中重建背景图像。

在本发明实施例中，设{I_k，k＝1，2，...，N}表示包含N帧的图像序列，则背景图像可以用 $B(x,y)=\underset{k}{\mathrm{med}}\left(I_k(x,y)\right)$ 表示，其中，I_k(x，y)是像素(x，y)处的灰度值，B(x，y)是背景图像在像素(x，y)处的灰度值。

步骤S302，运用改进的背景减除法获取运动目标的二值化图像序列。

目前常用的运动目标检测方法包括背景减除法、时间差分法和光流法等。基于各方法的复杂性和检测的有效性考虑，在本发明实施例中，采用背景减除法进行左右图像序列的运动目标检测。

但是，由于在对图像进行差分时很难确定合适的二值化阈值，因此在本发明实施例中，采用下述提取函数间接执行差分操作：

$f(a,b)=1-\frac{2\sqrt{(a+1)(b+1)}}{(a+1)(b+1)}\&times;\frac{2\sqrt{(256-a)(256-b)}}{(256-a)(256-b)},0\&le;f(a,b)<1,$

其中，a(x，y)为当前图像在(x，y)处的亮度值，b(x，y)为背景图像在(x，y)处的亮度值，且0≤a(x，y)，b(x，y)≤255。对于每幅图像I(x，y)，通过二值化该提取函数可获取当前图像中的变化像素。

步骤S303，数学形态学处理。

由于图像中通常包含一些由影子、光照等原因造成的非背景噪声点，使得背景减除后得到的二值化图像存在一些小空洞、沟壑及毛刺等非目标对象，因此使用数学形态学方法填充空洞、去除噪声。

步骤S304，单连通区域分析。

对经过数学形态学处理的二值化图像运用单连通区域分析方法获得单连通的运动目标区域。

步骤S305，检测运动目标轮廓。

在本发明实施例中，采用Canny算子检测出运动目标的轮廓。

如图4所示，为本发明实施例的部分立体步态图像序列对的示意图，其中图4(a)为左图像序列，图4(b)为对应于图4(a)的右图像序列。使用本发明实施例的运动目标轮廓提取方法，图4中的第一帧运动目标图像对可得到如图5所示的运动目标轮廓提取结果。

步骤S104，立体匹配得到三维立体轮廓点。

立体视觉的实现包括图像获取、摄像机标定、立体匹配和三维重建等几个主要步骤，其中立体匹配是最关键的一个步骤，也是实现最困难的一个步骤。立体匹配方法总体可分为稠密匹配法和稀疏匹配法两大类。在本发明实施例中主要是针对轮廓点进行立体匹配的，因此采用如下步骤进行：

1)在左轮廓图像上取一点，确定以其为中心的匹配模板和对应的极线。

2)根据已经匹配出的点预测右轮廓图像待匹配点的初始值，并沿着极线滑动与1)中的点进行模板匹配，得到相关函数序列。

3)将2)中的相关函数序列拟合成二次曲线，确定二次曲线的极大值对应的点作为与1)中的点对应的匹配点。

设(x_i ^l，y_i ^l)和(x_i ^r，y_i ^r)分别为左图像和右图像中按照上述步骤匹配出的一对轮廓点，则可由以下立体视觉三维坐标恢复公式求出三维立体轮廓点(x_i ^w，y_i ^w，z_i ^w)，i＝1，2，...，N：

$\left\{\begin{array}{c}{x}_i^w=\frac{{\mathrm{bf}}_r(x_i^l-x_0)}{f_l{x}_i^r-f_r{x}_i^l}\\ y_i^w=\frac{{\mathrm{bf}}_r{\mathrm{\&alpha;}}_x(y_i^l-y_0)}{{\mathrm{\&alpha;}}_y(f_l{x}_i^r-f_r{x}_i^l)},\\ z_i^w=\frac{{\mathrm{bf}}_r{f}_l{\mathrm{\&alpha;}}_x}{f_l{x}_i^r-f_r{x}_i^l}\end{array}\right.$

其中，b为基线距离，f_l和f_r分别为标定出的左右摄像机的焦距长度，(x₀，y₀)为图像中心，(α_x，α_y)为像素的行间距和列间距。

如图6所示，为经过立体匹配后，左轮廓图像上的一点(x_i ^l，y_i ^l)和其在右轮廓图像上的对应匹配点(x_i ^r，y_i ^r)的示意图。

应理解，在很多情况下监控摄像机拍摄的视频序列并非是在立体视觉的情况下拍摄的，因此在处理这样的步态图像时可省略立体匹配得到三维立体轮廓的步骤，而直接将上述处理三维立体轮廓矢量的方法扩展到二维的情况进行同样的处理，同时增加抽取图像序列的步骤。

步骤S105，获取立体步态特征。

人体运动过程中的轮廓形状是随着时间变化的，是一个复杂的时空信号。为了分析运动目标轮廓变化的规律性，并降低算法的复杂性和减少数据的冗余度，在本发明实施例中，使用三维立体轮廓矢量表示运动目标的轮廓变化。三维立体轮廓矢量随着时间的变化则反映了运动目标轮廓形状的不断变化，进而得到三维立体轮廓矢量的L₂范数作为原始立体步态特征。

如图7(a)所示，为三维立体轮廓矢量的提取示意图。令(x_i，y_i，z_i)为三维立体轮廓上的任意一点，其中，i＝1，2，...，N，N为轮廓像素总数，则三维立体轮廓的质心可表示为：

$x_c=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i,$ $y_c=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{y}_i,$ $z_c=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{z}_i,$

其中，(x_c，y_c，z_c)为三维立体轮廓的质心坐标，

那么，三维立体轮廓矢量可表示为：

$\stackrel{\&RightArrow;}{t_i}=[(x_i-x_c),(y_i-y_c),(z_i-z_c)],i=\mathrm{1,2},...,N,$

三维立体轮廓可表示为： $F=\left\{\stackrel{\&RightArrow;}{t_i}\right\},i=\mathrm{1,2},...,N.$

由于运动目标轮廓随着时间的变化隐含反应了所提取的三维立体轮廓矢量的变化，为了简化计算量，在不影响最终识别的情况下，本发明仅采用三维立体轮廓矢量的L₂范数作为原始立体步态特征，则原始立体步态特征为： $\left|\right|\stackrel{\&RightArrow;}{t_i}\left|\right|=\sqrt{{(x_i-x_c)}^2+{(y_i-y_c)}^2+{(z_i-z_c)}^2},i=\mathrm{1,2},...,N.$ 为了消除尺度、长度因子对于识别结果的影响，利用最大值范数和等间隔重采样方法对原始立体步态特征进行幅度和长度的归一化，这样所提取的原始立体步态特征即可组成训练和测试样本集。如图7(b)所示，为归一化后的L₂范数。

步骤S106，使用主分量分析方法降低立体步态特征的维数。

由于步骤S105中所提取的立体步态特征的数据量很大，并且有很多冗余数据，直接应用这些特征数据进行步态识别会造成很大的工作量，因此可先对其构造特征空间，然后进行特征空间投影变换以降低数据维数。

对于如何构造特征空间以及特征空间投影变化，本发明提出的可能的方案如下，当然本领域技术人员也能够根据下述方案提出其他修改或变化，这些修改或变化均应包含在本发明的包含范围之内。

给定C个训练类别，设训练样本集为T＝{S_ij}，i＝1，2，...，C，j＝1，2，...，N_c，总训练样本数为N_T＝N₁+N₂+...+N_c，则训练样本集的均值和协方差矩阵为：

$\mathrm{\&mu;}=\frac{1}{N_T}\underset{i=1}{\overset{C}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N_i}{\mathrm{\&Sigma;}}}{S}_{\mathrm{ij}},$ $\mathrm{\&Sigma;}=\frac{1}{N_T}\underset{i=1}{\overset{C}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N_i}{\mathrm{\&Sigma;}}}(S_{\mathrm{ij}}-\mathrm{\&mu;}){(S_{\mathrm{ij}}-\mathrm{\&mu;})}^T,$

其中，μ为训练样本集的均值。根据矩阵分析理论，如果协方差矩阵∑的秩为N，则可以求得协方差矩阵的N个特征值[λ₁，λ₂，...，λ_N]及其对应的特征矢量[e₁，e₂，...，e_N]。根据能量分布观点，给定阈值U，选择使得 $\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i}{\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i}\&GreaterEqual;U$ 的前k个特征值所对应的特征矢量[e₁，e₂，...，e_k]作为一组基构造特征空间P，特征空间的维数为k。

将训练样本在上述基[e₁，e₂，...，e_k]所张成的特征空间中进行投影，即：P_ij＝[e₁，e₂，...，e_k]^T·S_ij＝[s₁，s₂，...，s_k]。经过特征空间投影的原始立体步态特征对应于k维特征空间P中的一个点，而原始立体步态特征序列对应于特征空间中的一个轨迹，这样就极大地简化了进行识别时的数据计算量，同时也保证了数据的有效性。

如图8所示，为本发明实施例的特征空间投影的示意图。为了可视化，此处仅显示了三维的情形。

步骤S107，采用最近邻准则进行分类识别。

为了验证所提取的立体步态特征的有效性，在本发明实施例中，首先定义样本质心与样本标本质心，然后基于欧氏距离度量，采用最近邻准则进行分类识别。

设P_1j和P_2j分别为经过特征空间投影后的两个步态序列，N₁和N₂分别为它们的长度，则其样本质心分别为： $S_1=\frac{1}{N_1}\underset{j=1}{\overset{N_1}{\mathrm{\&Sigma;}}}{P}_{1j}$ 和 $S_2=\frac{1}{N_2}\underset{j=1}{\overset{N_2}{\mathrm{\&Sigma;}}}{P}_{2j},$ 它们之间的距离为：D＝‖S₁-S₂‖。

对于任意一个经过特征空间投影后的步态序列P_ij，则其样本质心为 $S_i=\frac{1}{N_i}\underset{j=1}{\overset{N_i}{\mathrm{\&Sigma;}}}{P}_{\mathrm{ij}},$ 再计算S_i到所有训练样本集的样本质心之间的欧氏距离，选取欧氏距离最小的一类作为P_ij的归属类。

同时，在本发明实施例中，还可采用样本标本质心作为类匹配模板计算欧氏距离。设 $\{P_{11}^S,P_{12}^S,...,P_{1N_1}^S,P_{21}^S,P_{22}^S,...,P_{2N_2}^S,...,P_{I1}^S,P_{I2}^S,...,P_{{\mathrm{IN}}_I}^S\}$ 为第S个人的I个步态序列，样本总数为N_S＝N₁+N₂+...+N_I，则第S类的样本标本质心为 $S_S=\frac{1}{N_S}\underset{i}{\overset{I}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N_i}{\mathrm{\&Sigma;}}}{P}_{\mathrm{ij}}.$ 对于最近标本分类器，每个样本序列被分类到离它最近的样本标本质心所属的类中。

为了进一步了解本发明的优点，使用本发明实施例中创建的PRLAB立体步态数据库验证了本发明实施例的步态识别方法的识别性能。通过验证结果，本发明的和/或附加的方面和优点将变得更加明显和容易理解。

由于目前世界上尚无特定的立体步态数据库，因此创建了PRLAB立体步态数据库。固定在三脚架上的两台数字摄像机用于在室内环境中捕捉立体步态图像序列对，经过立体视觉摄像机标定后的立体视觉被用来采集步态图像序列对，行人相对于摄像机平面而言是侧面行走。本发明创建的PRLAB立体步态数据库包括14个人，每人5个序列，总计70个立体步态图像序列对，图像尺寸为320×240。

在上述立体步态数据库中，在样本质心和样本标本质心两种度量规则下，采用最近邻分类，各自获得了70％和92％的识别率。由于本发明所创建的立体步态数据库中有一人的服饰与背景近似，而没有经过特别的前期图像预处理，所以进行识别时此人的大部分步态序列不能正确识别，导致整体识别率的降低。但是，对于其他人，采用本发明的步态识别方法都能正确的识别。另外，对于携带附属物品或者存在少许遮挡的行人，例如携带背包、斜挎包等的行人，采用本发明的步态识别方法都能正确的识别。由上述识别结果可以看出，本发明的立体步态特征具有很好的表征性和强鲁棒性。

通过本发明能够有效地提高步态身份认证的识别率，可以应用于各种场合的视觉监控系统。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (7)

1.一种步态识别方法，包括立体视觉标定、训练和识别，

所述立体视觉标定，用于对立体视觉双摄像机进行标定；

所述训练，用于训练所获得的立体步态数据库，该训练包括以下步骤：

获取训练步态图像序列对；

提取运动目标轮廓；

立体匹配得到三维立体轮廓点；

提取立体步态特征；

使用主分量分析方法对所述立体步态特征进行降维，获得训练好的立体步态数据库；

所述识别，用于对立体步态特征进行分类；

所述立体视觉标定包括以下步骤：将立体视觉双摄像机采集到的标准棋盘格图像传输到计算机；对所述标准棋盘格图像进行预处理；提取标定所需要的特征点；对所述立体视觉双摄像机各自的内外参数进行标定；标定所述立体视觉双摄像机之间的空间相对位置参数；保存经过校准后的标定结果值。

2.权利要求1所述的步态识别方法，其特征在于，所述提取运动目标轮廓，包括以下步骤：

利用中间值的方法从部分立体步态图像序列中重建背景图像；

运用改进的背景减除法获取运动目标的二值化图像序列；

使用数学形态学方法填充空洞、去除噪声；

使用单连通区域分析方法获得单连通的运动目标区域；

采用Canny算子检测出运动目标的轮廓。

3.权利要求1所述的步态识别方法，其特征在于，所述立体匹配得到三维立体轮廓点，包括以下步骤：

确定以左轮廓图像中的点为中心的匹配模板和对应的极线；

根据已匹配出的点预测右轮廓图像待匹配点的初始值，并沿着所述极线滑动与所述左轮廓图像中的点进行模板匹配，得到相关函数序列；

将所述相关函数序列拟合成二次曲线，确定所述二次曲线的最大值所对应的点作为与所述左轮廓图像中的点所对应的匹配点；

结合所述立体视觉双摄像机标定的内外参数与空间相对位置参数，获得所述三维立体轮廓点。

4.如权利要求1所述的步态识别方法，其特征在于，所述提取立体步态特征，包括以下步骤：

产生三维立体轮廓矢量；

获得原始立体步态特征；

对所述原始立体步态特征进行幅度和长度上的归一化。

5.如权利要求4所述的步态识别方法，其特征在于，所述原始立体步态特征为所述三维立体轮廓矢量的L₂范数。

6.如权利要求1所述的步态识别方法，其特征在于，所述主分量分析方法，包括：

对所述立体步态特征构造特征空间；

进行特征空间投影变换。

7.如权利要求1所述的步态识别方法，其特征在于，所述识别采用最近邻准则，包括：

以样本质心作为类匹配模板计算欧氏距离，选取欧氏距离最小的一类作为归属类；

以样本标本质心作为类匹配模板计算欧氏距离，选取最近的样本标本质心所属的类作为归属类。