CN104217211B - 基于最优判别耦合投影的多视角步态识别方法 - Google Patents

Abstract

本发明提供的是一种基于最优判别耦合投影的多视角步态识别方法。对训练集里多个已知视角的步态视频序列进行提取，得到最优判别耦合投影矩阵对；对注册集中标准视角的步态视频序列进行提取、存储；对测试集中的多个步态视频序列进行提取和估计；将注册集中标准视角步态特征和测试集中步态特征通过视角估计选取的最优判别耦合投影矩阵对，投影到具有最优判别能力或最优类可分性的共同耦合步态特征空间中，并在其中进行相似性度量，得到步态识别结果。本发明将测试视角步态特征和注册标准视角步态特征投影到共同的最具判别能力的耦合空间中，使得测试步态视角与注册集中标准步态视角存在显著差异时，多视角步态识别系统仍能获得高识别率。

Description

基于最优判别耦合投影的多视角步态识别方法

技术领域

本发明涉及的是一种步态识别方法，特别涉及一种多视角步态识别方法。

背景技术

步态识别是一种新兴的生物特征识别技术，旨在通过人们走路的姿态进行身份识别。与其他生物特征识别技术相比，步态识别是生物特征识别中唯一可以远距离识别的方法，其优势还包括非接触性、非侵犯性、易于感知、难于隐藏、难于伪装等。基于上述优点，步态识别在门禁系统、安全监控、人机交互、医疗诊断等领域具有广阔的应用空间和较高的经济价值。

然而，步态识别在实际应用中也面临许多难点，主要表现在行人在行走过程中会受到外在环境和自身因素的影响，例如不同行走路面、不同分辨率、不同视角、不同服饰、不同携带物等因素。在上述影响因素中，视角变化是影响步态识别系统性能的最主要因素之一。视角变化问题是步态识别无法逃避的问题，因为人的行走方向是完全自由随机的，并且不同区域的摄像头存在位置差异。目前，传统的步态识别技术，如公开号CN1426020的专利文件中公开的“基于步态的远距离身份识别方法”，在固定视角下可以取得很好的性能，而在视角剧烈变化或存在遮挡的情况下，无法适用或识别性能明显下降。理论上在注册集中保存所有个体在多个视角下的步态信息可以提高传统步态识别方法在视角变化情况下的识别性能，然而存储多个视角的步态信息将耗费大量存储资源，不便于实际应用。

发明内容

本发明的目的在于提供一种在测试步态视角与注册集中步态视角不匹配的情况下也能保证有较好的识别性能，能降低系统的存储需求的基于最优判别耦合投影的多视角步态识别方法。

本发明的目的是这样实现的：

步骤1，对训练集里多个已知视角的步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；

步骤2，在步骤1提取得到的训练集内多个视角下的步态特征中，选取一个标准视角步态特征，将其余多个视角下的步态特征分别与标准视角步态特征进行联合训练，得到相应的最优判别耦合投影矩阵对，所述标准视角步态特征选取90°视角作为标准视角；

步骤3，对注册集中标准视角的步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；

步骤4，存储由步骤3提取到的标准视角即90°视角下的步态特征、由步骤2计算得出的其余多个已知视角和标准视角间步态特征的最优判别耦合投影矩阵对和不同视角步态特征的均值向量；

步骤5，对测试集中的多个步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；

步骤6，对步骤5提取到的测试集中的步态特征进行视角估计，根据估计到的近似视角选取相应最优判别耦合投影矩阵对；

步骤7，将注册集中标准视角步态特征和测试集中步态特征通过由步骤6选取的最优判别耦合投影矩阵对，投影到具有最优判别能力或最优类可分性的共同耦合步态特征空间中，并在其中进行相似性度量，得到步态识别结果。

本发明的优点在于：

(1)充分利用类别标记信息和跨视角间的互补信息，将测试视角步态特征和注册视角步态特征投影到共同的最具判别能力的耦合空间中，使得测试步态视角与注册集中标准步态视角存在显著差异时，步态识别系统仍能获得高识别率。从而解决了传统步态识别技术在测试步态视角与注册集中步态视角不匹配的情况下，识别性能明显下降的问题。

(2)仅需存储注册集标准视角(90°视角)下的步态特征、不同视角与标准视角间步态特征的耦合投影矩阵、和不同视角步态特征的均值向量。与存储多个视角步态信息的方法相比极大降低了系统的存储需求。

附图说明

图1多角度步态识别流程图；

图2提取的人体步态轮廓；

图3基于四肢运动的正面步态周期检测结果；

图4人体测量学高度图；

图5基于腿部区域能量变化的周期检测曲线；

图6非正面步态周期检测结果；

图7同一行人不同视角下的步态能量图；

图8最优判别耦合投影矩阵对的训练过程；

图9多视角步态测试序列的识别过程；

图10传统方法在注册集中存储90度视角样本时，与本专利提出方法进行多视角步态识别的精度比较；

图11传统方法在注册集中存储所有视角样本时，与本专利提出方法进行多视角步态识别的精度比较；

图12(a)-图12(f)传统方法在注册集中存储所有视角样本与本发明方法提取不同步态特征维数时的精度比较，其中：图12(a)测试视角为0度；图12(b)测试视角为18度；图12(c)测试视角为36度；图12(d)测试视角为54度；图12(e)测试视角为72度；图12(f)测试视角为90度。

具体实施方式

下面结合附图对本发明做进一步详细说明。

如图1所示，本发明具体包括以下几个步骤：

步骤1，对训练集里多个已知视角的步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；

所述步骤1进一步包括以下步骤：

步骤1.1，对训练集中每一个人在不同视角下的行走视频，顺次通过前景检测和形态学处理，来提取每一个人在各视角下的人体步态轮廓序列；

所述的前景检测采用基于码本的前景检测，根据当前像素值与该像素码本是否匹配来进行前景判断。通过码本模型建立以及背景差分运算，可以得出前景区域。但是由于算法在去除阴影的同时，将与阴影相似的前景部分一起消除，容易造成空洞和目标断裂情况，我们随后进行图像后处理；所述的形态学处理为对前景检测得出的前景区域运用形态学算子(侵蚀和膨胀)对虚假像素进行滤除，消除毛刺和小噪声的影响，并填充提取轮廓内部的小洞。利用连通区域算法，计算连通区域的外围轮廓，提取大尺寸的高度紧连通区域，求出连通区域的外接矩形，将邻接连通区域合并，删除掉很小的目标矩形，得到完整的前景目标，如图2所示；

步骤1.2，对步骤1.1提取的每一个人在各视角下的人体步态轮廓序列，进行归一化处理和步态周期检测；

所述的归一化处理为使人体轮廓居中，将图像的大小统一为64×64像素；所述的步态周期检测分为正面步态周期检测(摄像机视角与人体行走方向成0°和180°时)和非正面周期检测(其余视角)。所述的正面步态周期检测采用基于四肢运动的正面步态周期检测方法，通过检测上肢摆动引起的前臂区域像素变化和下肢在前后运动时所引起的小腿和脚部区域的像素变化，分别求取极值点、得到相应步态周期，然后对以上检测结果进行决策级融合得到最终的步态周期。加权融合公式为：

其中，x和y为加权后的周期始末帧，x₁和y₁为单独对上肢检测，并采用极大值所得到的周期始末帧，x₂和y₂为单独对下肢检测所得到的周期始末帧。λ为上下肢运动所占比例，0≤λ≤1。如果摄像机到人体的距离与摄像机的高度之间的比值较大，或者阴影处理较差时，前臂的摆动取较大的权值；反之，小腿的运动取较大的权值。参数λ＝0.5时，得到如图3所示的正面步态周期检测结果；

所述的非正面周期检测采用基于腿部运动范围在宽度方向投影的非正面周期检测方法，通过检测腿部区域能量变化，求取极值点，得到步态周期。投影到宽度方向的公式如下：

其中I(x₃,y₃,n)是第n帧步态序列的灰度值，(x₃,y₃)是步态图像某处的坐标，h₁和h₂为根据人体测量学理论选取的膝盖处高度和小腿1/2处高度(即图4中h处)。图5为能量变化周期检测结果，这里步态周期的起始帧为第一次出现局部极小值(极大值)，终止帧为第三次出现局部极小值(极大值)的前一帧。图6为侧面步态周期检测结果；

步骤1.3，根据步骤1.2的步态周期检测结果，提取一个周期的步态序列，采用步态能量图(GEI)提取步态的整体特征；

所述的步态能量图不仅能够反映步态运动的空域特征,同时又在其中编码了运动序列的时域信息。步态能量图同时对轮廓错误和图像噪声具有鲁棒性。对于处理后的二值步态周期图像序列B_i(x,y),i＝1,2,...,M，其中M为一个周期的步态序列的帧数,(x,y)代表二维图像平面坐标，步态能量图的定义如下:

同一行人在不同视角(0°,18°,36°,54°,72°,90°,108°,126°,144°,162°,180°)下的步态能量图如图7所示。

步骤2，在步骤1提取得到的训练集内多个视角下的步态特征中，选取一个标准视角步态特征，(本发明选取90°视角作为标准视角)，将其余多个视角下的步态特征分别与标准视角步态特征进行联合训练，得到相应的最优判别耦合投影矩阵对；

所述的步态特征为步骤1.3采用步态能量图(GEI)提取的步态整体特征。所述的将其余多个视角下的步态特征分别与标准视角步态特征进行联合训练为：以90°视角下的步态特征与0°视角下的步态特征进行联合训练为例，训练后得到的耦合投影矩阵对P_x和P_y，将0°视角下的步态特征和90°视角下的步态特征分别投影到共同的耦合步态特征空间中，使得同一行人在不同视角下的相关步态特征在耦合空间中尽量接近，同一行人在同一视角下的步态特征在耦合空间中尽可能接近，不同行人的步态特征在耦合空间中尽可能远离。

设训练集中90°视角下的样本数目为N_x，用表示90°视角训练样本集合，其中D_x表示90°视角步态特征维数；0°视角下的步态特征为N_y，用表示0°视角训练样本集合，其中D_y表示0°视角步态特征维数。令C为集合X和Y之间的相关关系矩阵，数据点x_i∈X，对应的类别标号为数据点y_j∈Y，对应的类别标号为相关矩阵定义为：定义单个空间的类内关系矩阵和显然C_x和C_y均为实对称阵。定义耦合空间的集合为其中的元素为z∈Z，整体类内相关矩阵为类间关系矩阵为则耦合空间里样本的总的平均平方距离为：

式中的前一项即为类内均方距离，后一项为类间均方距离。令N＝2(N_x+N_y)²则类内均方距离为：

经过等价变换可得到：

这里Tr表示求矩阵的迹。矩阵G_x和G_y都是对角阵，其对角线元素分别为矩阵C的对应行的累加和，及对应列的累加和。矩阵G_xx和G_yy都是对角阵，其对角线元素分别为矩阵C_x和C_y的对应行的累加和。进一步变换得到：

令 则J⁺(P_x,P_y)可以简化表示为：J⁺(P_x,P_y)＝Tr(P^TZΩ⁺Z^TP)。同理可得到类间均方距离J^-。最终的目标函数定义为：

所述的最优判别耦合投影矩阵对P_x和P_y,可以通过求解泛化特征值问题：EP＝λFP来求解，其中E＝ZΩ⁺Z^T,F＝ZΩ^-Z^T。P为对应最小D_c个特征值的特征向量，D_c为耦合特征空间的维数。按照P＝[P_x P_y]^T的定义，能够得到对应于数据集合X的变换矩阵P_x，其大小为D_x×D_c，对应于数据集合Y的变换矩阵P_y，其大小为D_y×D_c。获取最优判别耦合投影矩阵对的训练过程如图8所示。

步骤3，对注册集中标准视角的步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；

所述步骤3进一步包括以下步骤：

步骤3.1，对注册集中每一个人在不同视角下的行走视频，顺次通过前景检测和形态学处理，来提取每一个人在各视角下的人体步态轮廓序列，所述的前景检测和形态学处理方法与步骤1.1相同；

步骤3.2，对步骤3.1提取的每一个人在各视角下的人体步态轮廓序列，进行归一化处理和步态周期检测，所述的归一化处理和步态周期检测方法与步骤1.2相同；

步骤3.3，根据步骤3.2的步态周期检测结果，提取一个周期的步态序列，采用步态能量图(GEI)提取步态的整体特征，所述的提取步态整体特征的方法与步骤1.3相同；

步骤4，存储由步骤3提取到的标准视角(90°视角)下的步态特征，由步骤2计算得出的其余多个已知视角和标准视角间步态特征的最优判别耦合投影矩阵对和不同视角步态特征的均值向量；

所述的不同视角步态特征的均值向量通过下式计算得到：

其中μ_i表示在视角θ_i下的步态特征的均值向量，N_i表示训练集中视角θ_i下的步态样本数目，g_j表示其中的第j个步态特征向量，由步骤1.3提取的步态能量图经行列堆叠后得到。

步骤5，对测试集中的多个步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；

所述步骤5进一步包括以下步骤：

步骤5.1，对测试集中每一个人在不同视角下的行走视频，顺次通过前景检测和形态学处理，来提取每一个人在各视角下的人体步态轮廓序列，所述的前景检测和形态学处理方法与步骤1.1相同；

步骤5.2，对步骤5.1提取的每一个人在各视角下的人体步态轮廓序列，进行归一化处理和步态周期检测，所述的归一化处理和步态周期检测方法与步骤1.2相同；

步骤5.3，根据步骤5.2的步态周期检测结果，提取一个周期的步态序列，采用步态能量图(GEI)提取步态的整体特征，所述的提取步态整体特征的方法与步骤1.3相同；

步骤6，对步骤5提取到的测试集中的步态特征进行视角估计，根据估计到的近似视角选取相应最优判别耦合投影矩阵对；

所述的视角估计通过如下公式完成：

其中g^test表示测试集中的步态特征向量，由步骤5.3提取的步态能量图经行列堆叠后得到；μ_i为由步骤4计算得到的训练集中视角i下的步态特征均值向量；N_f为训练集中已知视角数目；d(·,·)为度量函数，这里选取欧几里得距离函数。通过视角估计得出测试步态特征所属视角为θ，所述的选取相应最优判别耦合投影矩阵对为由步骤2得到的90°视角和θ视角的最优判别耦合投影矩阵对和

步骤7，将注册集中标准视角步态特征和测试集中步态特征通过由步骤6选取的最优判别耦合投影矩阵对，投影到具有最优判别能力或最优类可分性的共同耦合步态特征空间中，并在其中进行相似性度量，得到步态识别结果。

所述的相似性度量采用最近邻分类器进行身份识别，寻找在耦合空间中与测试步态特征距离最小的注册集中的步态特征：

其中表示注册集中的第j个步态特征，N_g表示注册集的样本个数，测试视角θ由步骤6计算得到，和为由步骤2训练得到的标准视角与视角θ的最优判别耦合投影矩阵对，则测试步态特征的类别标记为：函数c(·)为特征向量所属的类别指示函数。多视角步态测试序列的识别过程如图9所示。

应用本发明提出的多视角步态识别方法在中科院自动化所提供的CASIA(B)步态数据库上进行试验。CASIA(B)步态数据库包含124个人在0度，18度，36度…180度11个视角下行走的视频序列，其中每个人包含6个正常行走视频序列。选取每个人的前3组步态序列作为训练集和注册集，后3组步态序列作为测试集。传统方法使用PCA算法进行步态特征提取(保留99％能量)。进行两组实验：第一组实验，传统方法和本发明方法在注册集中仅存储90度视角样本；第二组实验，传统方法在注册集中存储所有视角样本，本发明方法在样本集中仍旧仅存储90度视角样本。本发明提出的基于最优判别耦合投影(ODCP)的方法在公共耦合空间的特征维数选取100。第一组实验传统方法在注册集中存储90度视角样本时与本发明提出方法在所有11个测试视角下的识别性能比较如图10所示。纵轴为识别正确率，横轴为测试样本所属视角。从图10中可以看出，传统方法当测试视角与注册视角存在显著差异时，识别性能明显下降；而本发明提出的方法当测试视角与注册视角不匹配时仍能获得高识别率。第二组实验传统方法在注册集中存储所有视角样本时与本发明提出方法的识别性能比较如图11所示。从图11中可以看出本发明提出的基于ODCP的方法在所有测试视角下的识别性能均优于传统步态识别方法。此外，第二组实验中传统方法注册集中需要存储11个视角下所有视频序列的步态能量图，共124×3×11＝4092张GEI图片。本发明提出的方法仅需存储90度视角下的步态能量图和不同视角下的步态能量图均值，共124×3+11＝383张GEI图片，大大降低了系统的存储需求。图12为第二组实验中，不同视角下传统方法与本发明方法在提取不同特征维数下的识别性能比较。可以看出，本发明提出的方法随着提取步态特征维数的增加，识别正确率逐渐超过传统方法(特征维数超过50以后)。

本发明提出一种新颖的多视角步态识别方法。与传统方法需要在注册集中存储所有视角下的步态特征不同，本发明提出的方法仅需要在注册集中存储90度视角下的步态特征以及一些投影矩阵，在提高多视角步态识别率的同时大幅降低了系统的存储需求。

本发明提出的多视角步态识别方法可以应用于如下场景：(1)对于行人进入限制区域的认证与排查；(2)在远距离、不同视角下进行初级身份认证，配合其他生物特征如人脸、虹膜、指纹等实现多级身份认证。

Claims (6)

1.一种基于最优判别耦合投影的多视角步态识别方法，其特征是：

步骤1，对训练集里多个已知视角的步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；

步骤2，在步骤1提取得到的训练集内多个视角下的步态特征中，选取一个标准视角步态特征，将其余多个视角下的步态特征分别与标准视角步态特征进行联合训练，得到相应的最优判别耦合投影矩阵对，所述标准视角步态特征选取90°视角作为标准视角；具体包括：

以90°视角下的步态特征与0°视角下的步态特征进行联合训练为例，将0°视角下的步态特征和90°视角下的步态特征分别投影到共同的耦合步态特征空间中，通过定义耦合空间中的整体类内相关矩阵和类间关系矩阵，得出耦合空间中的总体均平方距离分解为类内均方距离和类间均方距离之和，其中类内均方距离经变换表示为：

$J^{+}(P_x,P_y)=Tr\left({\left[\begin{array}{c}{P}_x\\ P_y\end{array}\right]}^T\left[\begin{array}{cc}X& \\ & Y\end{array}\right]\left[\begin{array}{cc}\frac{2}{N}{G}_x+\frac{1}{N}(G_{xx}-C_x)& -\frac{2}{N}C\\ -\frac{2}{N}{C}^T& \frac{2}{N}{G}_y+\frac{1}{N}(G_{yy}-C_y)\end{array}\right]{\left[\begin{array}{cc}X& \\ & Y\end{array}\right]}^T\left[\begin{array}{c}{P}_x\\ P_y\end{array}\right]\right)$

其中，P_x和P_y为耦合投影矩阵对，表示90°视角训练样本集合，表示0°视角训练样本集合，N＝2(N_x+N_y)²，N_x为训练集中90°视角下的样本数目，N_y为0°视角下的样本数目；C为集合X和Y之间的相关关系矩阵，C_x和C_y为单个空间的类内关系矩阵，矩阵G_x和G_y都是对角阵，其对角线元素分别为矩阵C的对应行的累加和，及对应列的累加和，矩阵G_xx和G_yy都是对角阵，其对角线元素分别为矩阵C_x和C_y的对应行的累加和，令 则J⁺(P_x,P_y)简化表示为：J⁺(P_x,P_y)＝Tr(P^TZΩ⁺Z^TP)，同理得到类间均方距离J^-，最终的目标函数定义为：

$\min J=min\left(\frac{J^{+}}{J^{-}}\right)=\min Tr\left(\frac{P^T{\mathrm{Z\Ω}}^{+}{Z}^{T}P}{P^T{\mathrm{Z\Ω}}^{-}{Z}^{T}P}\right)$

所述的最优判别耦合投影矩阵对P_x和P_y,通过求解泛化特征值问题：EP＝λFP来求解，其中E＝ZΩ⁺Z^T,F＝ZΩ^-Z^T，P为对应D_c个最小特征值的特征向量，D_c为耦合特征空间的维数，按照P＝[P_x P_y]^T的定义，得到对应于数据集合X的变换矩阵P_x，其大小为D_x×D_c，对应于数据集合Y的变换矩阵P_y，其大小为D_y×D_c；

步骤3，对注册集中标准视角的步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；

步骤4，存储由步骤3提取到的标准视角即90°视角下的步态特征、由步骤2计算得出的其余多个已知视角和标准视角间步态特征的最优判别耦合投影矩阵对和不同视角步态特征的均值向量；

步骤5，对测试集中的多个步态视频序列进行行人目标轮廓提取、步态周期检测和步态特征提取；

步骤6，对步骤5提取到的测试集中的步态特征进行视角估计，根据估计到的近似视角选取相应最优判别耦合投影矩阵对；

步骤7，将注册集中标准视角步态特征和测试集中步态特征通过由步骤6选取的最优判别耦合投影矩阵对，投影到具有最优判别能力或最优类可分性的共同耦合步态特征空间中，并在其中进行相似性度量，得到步态识别结果。

2.根据权利要求1所述的基于最优判别耦合投影的多视角步态识别方法，其特征是所述的步骤1进一步包括以下步骤：

步骤1.1，对训练集中每一个人在不同视角下的行走视频，顺次通过前景检测和形态学处理，提取每一个人在各视角下的人体步态轮廓序列；

步骤1.2，对步骤1.1提取的每一个人在各视角下的人体步态轮廓序列进行归一化处理和步态周期检测；

步骤1.3，根据步骤1.2的步态周期检测结果，提取一个周期的步态序列，采用步态能量图提取步态的整体特征。

3.根据权利要求1所述的基于最优判别耦合投影的多视角步态识别方法，其特征是所述步骤3进一步包括以下步骤：

步骤3.1，对注册集中每一个人在不同视角下的行走视频，顺次通过前景检测和形态学处理，提取每一个人在各视角下的人体步态轮廓序列；

步骤3.2，对步骤3.1提取的每一个人在各视角下的人体步态轮廓序列进行归一化处理和步态周期检测；

步骤3.3，根据步骤3.2的步态周期检测结果，提取一个周期的步态序列，采用步态能量图提取步态的整体特征。

4.根据权利要求1所述的基于最优判别耦合投影的多视角步态识别方法，其特征是所述步骤5进一步包括以下步骤：

步骤5.1，对测试集中每一个人在不同视角下的行走视频，顺次通过前景检测和形态学处理，提取每一个人在各视角下的人体步态轮廓序列；

步骤5.2，对步骤5.1提取的每一个人在各视角下的人体步态轮廓序列进行归一化处理和步态周期检测；

步骤5.3，根据步骤5.2的步态周期检测结果，提取一个周期的步态序列，采用步态能量图提取步态的整体特征。

5.根据权利要求1所述的基于最优判别耦合投影的多视角步态识别方法，其特征是所述步骤6中的视角估计方法为：测试步态特征所属视角θ通过如下公式计算得到，

$\mathrm{\θ}=\underset{{\mathrm{\θ}}_i,1\≤i\≤N_f}{\mathrm{argmin}}d(g^{test},{\mathrm{\μ}}_i)$

其中g^test表示测试集中的步态特征向量，μ_i为训练集中视角i下的步态特征均值向量；N_f为训练集中已知视角数目；d(·,·)为度量函数、里选取欧几里得距离函数。

6.根据权利要求1所述的基于最优判别耦合投影的多视角步态识别方法，其特征是所述步骤7中的在耦合空间中进行相似性度量的方法为：采用最近邻分类器进行身份识别，寻找在耦合空间中与测试步态特征距离最小的注册集中的步态特征：

$k=\underset{1\≤j\≤N_g}{\mathrm{argmin}}d(z_j^{gallary},z^{test})=\left|\right|P_x^{\mathrm{\θ}}{G}_j^{gallary}-P_y^{\mathrm{\θ}}{g}^{test}\left|\right|$

其中表示注册集中的第j个步态特征，N_g表示注册集的样本个数，视角θ由步骤6计算得到，和为由步骤2训练得到的标准视角与视角θ的最优判别耦合投影矩阵对；令函数c(·)为特征向量所属的类别指示函数，最终确定测试序列的类别标记为：