CN1426020A - 基于步态的远距离身份识别方法 - Google Patents

Abstract

一种基于步态的远距离身份识别方法，包括训练和识别两个过程，所述的训练过程包括步骤：获取训练步态序列；空间轮廓分割；形状距离信号提取；主成分分析；个性化体格特征提取，提取可视的个性化特征作为附加特征，用于步态分类的最终校验；获得已训练的步态数据库。利用统计主元分析方法，本发明实现了一个基于步态行为的远距离身份识别系统。改进的背景减除方法被提出用于从背景中提取步态运动；具有时空变化的运动轮廓经过特征空间变换来实现步态特征的提取；识别过程采用时空相关匹配或者最近邻规则，一些与个人形体和体格有关的个性化特征亦被选择用于最终判决的校验。

Description

基于步态的远距离身份识别方法

技术领域

本发明属于模式识别领域，特别涉及基于步态的远距离身份识别方法。

背景技术

随着现代科技的飞速发展，利用摄像机来监控动态场景早已被广泛应用于社会的方方面面，特别是那些对安全要求敏感的场合，如国防、社区、银行、军事基地等。动态场景的视觉监控是近年来备受关注的前沿研究方向，它从摄像机捕捉的图像序列中检测、识别、跟踪目标并对其行为进行理解。尽管目前作为人类视觉延伸的监控摄像机在商业应用中已经普遍存在，但并没有充分发挥其实时主动的监督媒介作用。因此，开发出具有实际意义的自动智能型的视觉监控系统日益变得迫切和必要。这不仅要求用摄像机代替人眼，而且要求用计算机协助人、代替人，以完成监视或控制任务。

人运动的视觉分析是计算机视觉领域中一个活跃的研究主题，而生物特征识别技术与人运动分析的有效结合更是一个重要的发展趋势，它潜在的应用之一就是对安全敏感场合的视觉监控。远距离人的身份识别——基于运动视觉的第二代生物特征识别技术，近年来更受研究者们的青睐。例如，美国高级研究项目署DARPA在2000年资助的重大项目——HID计划(Human Identification at a Distance)，它的任务就是开发多模式的监控技术以实现远距离情况下人的检测、分类和识别，从而增强国防、民用等场合免受恐怖袭击的自动保护能力。目前焦点在于脸像、步态或特定行为的识别。一般说来，视觉监控中的身份识别主要有两个方面的应用：(1)特殊场合的访问控制。在一些对安全要求特别敏感的场合(如军事基地、国家重要的机密单位等)，只容许那些具有特殊身份权限的人员进入。在这些场合使用生物特征识别技术，先建立合法访问者的生物特征(如脸像、步态等)数据库，当有人入侵时，实时快速非接触地采集这些特征，并根据它们来准确地确定访问者是否有进入该领域的权利。(2)辅助破案的法律工具。一方面，它可以实时确定监控场景中是否有特定的人的存在(如犯罪嫌疑人等)。公安部门可以建立一些犯罪嫌疑人及在逃犯的生物特征，在他们出入比较频繁的地区(如赌场、社区)装上视觉监控系统来识别每一个进入监控领域的人，判断其是否为犯罪嫌疑人，如果是，则马上自动报警；另一方面也可以作为事后的法律工具用于破案，比如银行抢劫事件，摄像机记录的图像中犯罪者的脸像可能被隐藏，但其步态可见，因此可以对犯罪嫌疑人进行步态的鉴别来判断其是否为真正的罪犯。

脸像与步态是目前被认为可以用于视觉监控系统中远距离身份识别的两个主要的生物特征。脸像识别已经得到了广泛的研究，不过脸像有时可能被隐藏，或者在一定距离时呈现较小的分辨率而难以辨认与识别；而步态在此方面却突出了它的优越性，尤其是在远距离的情况下，人的步态的可感知性、非侵犯性、非接触性的优点已经使其成为一个独具特色的生物行为特征用于远距离的身份识别。第一代生物特征识别技术，如指纹、虹膜等识别技术已经在一些商业和法律机构中得到了实际的应用，而基于视觉的第二代生物特征识别技术的研究目前还处于起步阶段。作为一种新的行为特征，步态还具有难于隐藏和伪装、易于捕捉等优点，而且它也是一定距离时唯一可感知的行为特征。步态识别旨在不考虑衣服、视角、背景等情况下根据人们走路的姿势进行人的身份识别。由于步态是一种时空变化的运动模式，因此它的处理数据量相对较大。当然，像其它生物特征一样，步态也受一些诸如醉酒、怀孕、关节受伤等物理因素的影响(见对比文献[1]H Murase and R.Sakai，Moving objectrecognition in eigenspace representation：gait analysis and lip reading，PatternRecognition Letter，1996，17：155-162.[2]P.Huang，C.Harris and M.Nixon，Human gait recognition in canonical space using temporal templates，in IEE Proc.Of Vision Image and Signal Processing，April 1999，146(2)：93-100)。

发明内容

本发明的目的是提供一种基于主元分析的自动步态识别方法，其解决了利用步态行为实现远距离的身份识别问题。

为实现上述目的，基于步态的远距离身份识别方法包括训练和识别两个过程，所述的训练过程包括步骤：

获取训练步态序列；

空间轮廓分割；

形状距离信号提取；

主成分分析；

个性化体格特征提取，提取可视的个性化特征作为附加特征，用于步态分类的最终校验；

获得已训练的步态数据库。所述的识别过程包括步骤：

测试步态序列；

空间轮廓分割；

形状距离信号提取；

利用已训练的步态数据库进行特征空间投影；

利用已训练的步态数据库进行时空相关匹配或者最近邻规则与个性化特征的步态分类校验步骤相结合的步态识别。

基于运动视觉的非接触式远距离身份识别研究对于安全敏感场合的视觉监控应用尤为重要。利用统计主元分析方法，本发明实现了一个基于步态的远距离身份识别系统。改进的背景减除方法首先被提出用于从背景中提取步态运动；具有时空变化的运动轮廓形状经过特征空间变换以实现步态特征的提取；识别过程采用时空相关匹配或者最近邻规则，一些与个人形体和体格有关的个性化特征亦被选择用于最终分类的校验。

附图说明

图1是基于步态的身份识别算法框图，包括训练和识别两个部分；

图2是步态运动轮廓的分割流程图；

图3是人体步态运动的轮廓分割示例，包括(a)背景图像；(b)当前输入图像；(c)差分并二值化后的图像；(d)最终轮廓分割后的图像；

图4是步态原始形状特征提取流程图；

图5是步态原始形状特征提取示意图，包括(a)轮廓边界提取与解卷绕以及(b)归一化的距离信号；

图6是一个步态的时空运动模式(第一排：输入步态序列；第二排：分割后的运动轮廓序列；第三排：轮廓边界提取及质心计算；第四排：幅度及长度上进行归一化后的距离信号序列)；

图7是个性化特征的两种不同组合分布图，相同标志的点代表同一个人的不同步态序列的结果，而与其有相同颜色的方形标志代表其对应的均值结果；

图8是特征空间中特征值的幅度及累积方差曲线图；

图9是训练样本的均值形状(a)及前8个特征距离信号(b-i)；

图10是训练步态在特征空间中的投影轨迹示例，为了可视化，仅显示了三维特征空间的情况。

发明的具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。

基于背景减除的人体步态运动分割

从背景中提取人的步态运动对于步态分析而言是个关键性的一步。目前变化检测方法主要有背景减除、时间差分、光流三种，由于背景减除方法不仅实现简单，而且对于检测亮度的变化特别有效，故本方案中采用了基于背景减除的变化检测算法。一般而言，它包括背景图像的构建、数学差分操作、合适的阈值选择三个步骤。

本发明使用LMedS(Least Median of Squares)方法从部分图像序列中来可靠地构建背景图像。传统的背景图像构造使用时间平均图像，但该方法对于噪声、光照等比较敏感，而LMedS方法相对而言更加鲁棒。令I代表一个包含N帧图像的序列，则背景图像B_xy能被表达为 $B_{\mathrm{xy}}={\min }_q{\mathrm{med}}_t{(I_{\mathrm{xy}}^t-q)}^2---\left(1\right)$ 其中，q是像素(x，y)处待确定的灰度值。

亮度变化常常是通过当前图像和背景图像的差分来完成。然而，二值化阈值的选择却是非常困难的，尤其对于低对比度的图像，由于亮度变化太低而难以从噪声中将运动目标完全地提取出来。为了解决这个问题，我们定义了一个提取函数来间接地执行差分操作其中，a(x，y)与b(x，y)分别是当前图像和背景图像在像素(x，y)处的亮度值。该函数可以根据背景图像的亮度值来检测其敏感性变化。对于每幅图像而言，该提取函数的分布很容易计算。利用传统的直方图方法，我们可以从该提取函数的直方图中确定一个合适的阈值。然后，通过比较该提取函数和阈值之间的差分来获取相应的变化像素。

在后期处理中，本发明使用形态学操作来进一步过滤噪声点，并使用一个二值化连通分量分析来准确地提取出单连通的运动目标。步态运动的轮廓分割流程图及一个结果示例分别如附图2与附图3所示。该方法完全可以应用于任意复杂背景下运动目标的分割。

步态时空模式的原始形状特征提取

确定一个行人内在运动的一个重要线索就是人体轮廓形状随着时间的变化。为了去除信息冗余度和减少计算复杂度，我们将这些二维步态轮廓的形状变化转换为一维的距离信号序列来近似地表达步态运动的时空变化模式。

原始形状距离特征的提取流程图及示意图分别如附图4与附图5所示。在分割出人的运动轮廓以后，使用基于连通性的边界跟踪算法可以获得它的边界，然后计算其轮廓边界的质心其中，(x_c，y_c)是质心坐标，N_b是边界像素数，(x_i，y_i)是边界上的像素。

选择头顶对应点作为参考点，沿着逆时针方向我们可以展开边界为一个由边界像素点到其对应质心的距离所组成的信号 $d_i=\sqrt{{(x_i-x_c)}^2+{(y_i-y_c)}^2}---\left(4\right)$

为了消除尺度、长度对于训练和识别的影响，使用L范数与等间隔重抽样方法对距离信号特征进行了幅度和长度上的归一化。一个步态的运动时空模式的原始形状特征提取过程示例如附图6所示。更加简单的步态原始特征的提取和表达将极大地降低整个方法的计算代价。

基于主元分析的特征空间变换

给定s个训练类别，每个类别代表一个人的步态模式所形成的一个原始距离信号序列。每个人的多个步态序列可以随意地增加而不需要更改下述基于主元分析的训练过程。

令D_i，j是类i的第j个距离信号特征，并且N_i是类i的距离信号数，则总的训练样本数为N_t＝N₁+N₂+...+N_s，整个训练集为[D_1，1，D_1，2，...，D_1，N1，D_2，1，...，D_s，Ns]，该训练集的均值m_d和全局方差矩阵为 $m_d=\frac{1}{N_t}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_i}{\mathrm{\Σ}}}{D}_{i,j}---\left(5\right)$ $\mathrm{\Σ}=\frac{1}{N_t}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_i}{\mathrm{\Σ}}}(D_{i,j}-m_d){(D_{i,j}-m_d)}^T---\left(6\right)$ 如果矩阵的秩是N，则利用奇异值分解理论能够得出N个非零特征值λ₁，λ₂，...，λ_N及其对应的特征向量e₁，e₂，...，e_N。

一般而言，前面几个较大的特征值对应的特征向量相应于训练模式的较大变化，而更高阶的特征向量代表着小的变化。出于对存储和计算的有效性考虑，我们使用一个阈值T_s来忽略那些小的特征值及其对应的特征向量 $W_k=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i}{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i}<T_s---\left(7\right)$ 其中，W_k是前k个特征值的累积方差。选择k＜N个最大的特征值所对应的特征向量，我们可以构建特征变换矩阵E为[e₁，e₂，...，e_k]，则每个距离信号D_i，j在特征空间中将被投影为一点P_i，j

           P_i，j＝[e₁ e₂ ... e_k]^TD_i，j      (8)相应地，每个步态序列将在特征空间中呈现为一个轨迹。可见，特征空间分析极大地减少了样本的维数，它仅需保留k个最有效的主特征分量来表达原始的样本。对于每个参与训练的步态序列而言，其原始特征的距离信号序列在特征空间中的平均投影为 $C_i=\frac{1}{N_i}\underset{i=1}{\overset{N_i}{\mathrm{\&Sigma;}}}{p}_{i,j}---\left(9\right)$

个性化特征的提取

实际上，当人眼识别一个人的步态时，常常融合了其它一些可视化的特征，比如人的步速、步长、身高和体形等。为了提高识别的准确度，该发明提取了相应于这些因素的个性化特征作为附加特征用于步态分类的最终校验。

每个人的步态通常有一个基本的驱动频率，这是因为人体的各个部分必须以一种协调的方式运动。考虑到水平运动比垂直运动有着更大的变化，从而有着更强的可分辨力，我们选择了归一化的水平速度和其方差来反映步速的不同变化。个体之间的步长和体形也是因人而异，我们选择步态运动轮廓的最大、最小宽高比来反映这个变化。另外，个体的身高和体形影响着其质心的位置，这可以通过质心与人体的高度比来刻画。

总之，我们间接地选择了如下几个个性化特征：归一化的水平速度H和其方差V(通过归一化图象帧间轮廓质心的平均移位来近似)，尺度化的运动轮廓的最大、最小宽高比Max、Min以及人体与质心的高度比C。附图7展现了两种个性化特征不同组合的分布图示例，其中相同标志的点代表同一个人不同步态序列的结果，而方形标志代表其对应的均值结果。可见，个性化特征的有效组合能为步态分类带来一定的可判决能力。

基于时空相关或最近邻分类与个性化特征校验相结合的步态识别

步态识别是一个传统的分类问题，这可以通过在参考步态模式和测试序列之间度量其相似性来完成。本发明在特征空间中尝试了下面两种识别方法，并且结合个性化附加特征的校验步骤来准确地获取识别结果。

时空相关STC(Spatio-temporal correlation)是二维图像相关在三维时空域中的扩展形式。给定一个长度为T的输入测试序列，它在预处理阶段被转换为一维距离信号序列I(t)，其中t＝1，2，...，T，其在特征空间中的投影为

         P(t)＝[e₁ e₂ ... e_k]^TI(t)         (10)则输入序列P(t)与数据库中的参考序列R(t)之间的相似性可计算为 $d_{\mathrm{ij}}^2=\mathrm{mi}{n}_{\mathrm{ab}}\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}\left|\right|P\left(t\right)-R_{\mathrm{ij}}(\mathrm{at}+b){\left|\right|}^2---\left(11\right)$ 其中，R_ij(t)代表在k维特征空间中第i个人的第j个参考步态模式。考虑到时间的移位和伸缩，我们预先通过线性移位和插值的方法在数据库中保存了多个参考步态模式R_ij(at+b)，其中参数a与b的选择分别依赖于速度的变化和相位的不同。通常，最小化该距离度量函数的i被选择作为识别的结果。

如果考虑到时间的移位和伸缩，则时空相关的计算代价将极大地增加。为了消除这个问题，我们也可转而求助于最近邻规则NN(NearestNeighbor)来实现步态的识别。若采用归一化的欧式距离度量，则测试序列P(t)与类i的平均投影C(i)的距离累积和为 $d^2\left(i\right)=\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}\left|\right|\frac{P\left(t\right)}{\left|\right|P\left(t\right)\left|\right|}-\frac{C\left(i\right)}{\left|\right|C\left(i\right)\left|\right|}{\left|\right|}^2,i=\mathrm{1,2},...s---\left(12\right)$ 通常情况下，选择d(i)的最小值作为分类的结果。

仅仅使用STC或者NN的方法进行识别时，未必能够获得准确的结果。从实际的观察来看，当上述相似性度量函数的两个最小值之间的距离比较接近时，识别往往会发生错误，然而正确的结果通常却是次最小值。因此我们利用在训练期间所获得的个性化的物理特征进行步态分类的最终校验。即当两个最小值之间的绝对距离小于一个合适的阈值时，我们将增加校验这一步骤来获得最终的判决结果。

为了验证本方法的识别性能，我们选择SOTON步态数据库进行了步态识别试验。该样本数据库来自英国的南安普敦大学，总计有28个步态序列。所有图像以每秒25帧的速度拍摄，且原始尺寸为384*288。每个人的一个序列被选择用于训练过程，在预处理之后，所有序列在训练和识别前都被转换为对应的一维距离信号序列。

基于PCA的训练过程被执行，附图8展示了训练后所获得的特征空间中特征值的幅度和对应的累积方差曲线。我们选择了前13个特征值(累积方差已经高于95％)和对应的特征向量来构造特征空间变换矩阵。因此每个距离信号都能通过这13个主特征向量的线性组合所表达。附图9展示了所有训练样本的均值距离信号和前八个特征形状距离信号，附图10给出了四个训练步态序列的特征轨迹。为了可视化，我们仅显示了三维特征空间的情况。从图中可知，步态运动具有对称性和周期性的特点。

使用时空相关匹配和最近邻规则，我们评估了该方法的识别性能，它们的识别结果分别为90.5％与89.3％。如果相应于个体步态的个性化特征被使用来进行分类校验的话，则识别率均上升到100％。

本发明与参考文献[1][2]作了一个详细的比较：1)步态数据库：[1]中使用的NIT数据库有一个明显的局限，即所有人穿着同样的衣服和鞋子，这对于实际的身份识别应用而言是不可行的。而[2]中使用的UCSD数据库和我们使用的SOTON数据库却没有那样的限制。另外，SOTON数据库的图像背景相对更加复杂。2)特征选择：[1]中使用的特征是二维运动轮廓图像。本发明选择轮廓形状的时间变化作为基本特征，并且将它们从二维图像转换为一维距离信号，这样可以去除信息的冗余度、减少计算代价。同时，一些相应于个人的个性化的身体特征被考虑以用于步态分类的校验。[2]中使用的特征是从步态序列中获取的光流图像。众所周知，光流的计算相当复杂，而且对于噪声和帧率的变化亦很敏感。3)训练过程：[1]的训练样本包括每人的5个序列，而本方法与[2]的方法分别使用每人的1个序列。本发明提取个性化的物理特征用于步态校验，[2]增加正则分析来进一步降低维数和优化类的可分离度。4)识别率：如果仅考虑时空相关识别的话，[1]的识别率相对高些。也许，这一方面得益于图像捕捉时的限制要求在一定程度上可以消除衣服对于步态识别的影响；另一方面它保存了相对较多的参考步态模板，这些参考模板也许囊括了某个人更多的可能变化的步态模式。有理由相信，如果增加参考模板的话，本发明的识别率将会迅速提高。对于拥有相同数目的基本参考模板的方法[2]而言，其识别率与本方法比较接近。尽管光流图像隐含了时间变化信息，但时空相关匹配同样能够很好地弥补这些静态形状参数的不足。当[2]增加正则分析时，它获得了100％的识别率。同样地，本发明增加了个性化附加特征的校验过程后也获得了100％的识别准确度。5)计算代价：最低的计算代价是本方法最大的优点，这主要得益于更加简单的特征选择。本发明使用的原始特征是轮廓边缘解卷绕的距离信号，尺寸归一化为1*480。[1]的原始特征是尺寸为64*64的轮廓图像。[2]使用的特征是64*64的光流图像，而光流计算本身就是很复杂的。6)适应性：[1]中图像捕捉时的特殊要求对于实际应用而言明显是个局限。本发明算法尽管简单，但对于噪声和丢帧却有一定的适应性。[2]的光流计算对于噪声和帧率的速度变化却很敏感，而且计算亦相当昂贵。总之，本发明的技术算法在特征选择、计算代价、识别准确度和适应性方面都有着一定的优越性。

实施例

整个方案主要包含训练和识别两个过程，为了详细说明该发明的具体实施方式，我们以智能房间的进入控制为例来加以说明。假设智能房间是一个进入要求权限的保密场合，它只容许一些特定的人能够进入。因此，我们可以在房间入口的走廊里安装固定的摄像机来捕捉来人的步态序列，并利用本发明来实现基于步态的身份验证工作。如果该来访者能被有效地识别，则房门会自动打开，允许进入；否则，将拒绝进入，或者增加报警措施。

就训练过程而言，我们的目的是要首先创建相应于这些有特权的人的步态特征数据库。首先利用监控摄像机捕捉这些人的一系列步态序列，根据这些序列我们很容易构建摄像机所监控领域的背景图像，并能进行周期性地更新。对于这些步态序列而言，利用上述的人体步态运动的分割技术、人体步态时空模式的原始形状特征的提取技术来进行预处理。然后所获得的一系列距离信号通过上述的基于主元分析的特征空间变换的训练技术来获得主特征分量。不同人的一些步态序列被选择作为参考步态将其在特征空间中投影；同时，利用每个人的不同序列使用个性化特征的提取技术来获得相应于个人的这些附加特征。总之，训练后的步态数据库应当包括主特征分量形成的特征空间变换矩阵、每个人的多个参考步态投影特征以及相应于个人的附加个性化特征。

就识别过程而言，首先利用监控摄像机迅速捕捉来人的步态序列，经过相同的背景构建、步态提取、距离特征提取等一系列预处理技术后可以获得该测试序列的原始形状特征。然后该原始特征利用数据库中的特征空间变换矩阵进行投影，并将其投影与数据库中每个人的多个参考步态投影特征通过时空相关或者最近邻规则进行识别，同时利用该测试序列获得的个性化特征与数据库中的每个人的个性化特征进行校验工作。若该来访者的步态能被正确识别的话，则自动控制房们的开启；否则，拒绝进入或增加报警。

总之，基于主元分析方法，本发明提出了一种简单有效的自动步态识别算法。首先，改进的背景减除方法被用来准确地提取行人轮廓；然后，随时间变化的轮廓形状通过特征空间变换技术以实现特征的提取；最后，识别过程采用了时空相关匹配或者最近邻规则，一些附加的个性化特征被选择用于最终判决的校验。SOTON数据库上的试验结果验证了我们算法的有效性。本发明易于实现、性能鲁棒。对于受限环境下基于步态的远距离身份认证应用而言，本发明在一定程度上推进了视觉监控中第二代基于运动的生物特征识别技术的应用。本发明可以应用于一些受限场合的视觉监控系统，也可以作为法律工具辅助破案等。

Claims (6)

1.一种基于步态的非接触式远距离身份识别方法，包括训练和识别两个过程，所述训练过程包括步骤：

获取训练步态序列；

空间轮廓分割；

形状距离信号提取；

主成分分析；

个性化体格特征提取，提取可视的个性化特征作为附加特征，用于步态分类的最终校验；

获得已训练的步态数据库。

2.按权利要求1所述的方法，其特征在于所述的空间轮廓分割包括步骤：

利用部分步态序列进行背景图像的构建；

对构建的背景图像与当前输入的图像进行差分操作；

对差分操作并二值化后的图像进行滤波；

对滤波的图像进行连通分量分析。

3.按权利要求1所述的方法，其特征还在于包括使用下述公式进行差分操作后并进行二值化处理的步骤：

4.按权利要求1所述的方法，其特征在于所述的形状距离信号提取，包括步骤：

提取步态轮廓的边界；

将提取的边界转换为由所有轮廓边界点到其质心距离所组成的一维距离信号；

对距离信号进行幅度和尺寸上的归一化。

5.按权利要求1所述的方法，其特征在于所述的个性化体格特征的提取，这些特征间接反映了个体之间步速、步长和体形的不同。

6.按权利要求1所述的方法，其特征在于所述的识别过程，包括步骤：

测试步态序列；

空间轮廓分割；

形状距离信号提取；

利用已训练的步态数据库进行特征空间投影；

利用已训练的步态数据库进行时空相关匹配或者最近邻规则与个性化特征的步态分类校验步骤相结合的步态识别。

Images