CN102122354B - 基于自适应特征块选择的步态识别方法 - Google Patents

Abstract

一种图像处理技术领域的基于自适应特征块选择的步态识别方法，通过对步态能量图中的人体区域进行分块，根据无衣着和携带物状态干扰的训练数据得出每块区域的统计信息，在测试时通过分块计算统计信息而自动选取符合训练数据统计信息规律的特征块，有效克服了因行人衣着、携带物状态变化对步态识别造成的不利影响，同时保留了人的头、肩等部位特征，提高了步态识别的有效性。本发明不需要任何先验知识，特征选择的计算复杂度比现有非监督特征选择的步态识别方法降低了28％，同时平均识别率可比于现有基于监督特征选择的步态识别方法。

Description

基于自适应特征块选择的步态识别方法

技术领域

本发明涉及的是一种图像处理技术领域的方法，具体是一种基于自适应特征块选择的步态识别方法。

背景技术

步态作为唯一可远程识别的生物特征，对于视频监控有着十分重要的应用。人的步态不易伪装和隐藏，在监控过程中也不需要被观察者的配合，这些都为步态识别提供了可靠的依据。现有的步态识别方法大多采用相似的步骤。通常，先对某个对象的步态视频序列作前景与背景的分离处理；然后从前景区域的人体像素块中提取某种步态特征，通过监督式学习的方法构建步态分类器；最后在进行身份识别时，从当前视频序列中提取同样的步态特征送入分类器，从而得到行人目标的分类结果。现有方法一般采用相同行走状态条件下的训练视频和测试视频来建立步态识别的工作框架。但是，在实际应用中测试视频中人的衣着、携带物等状态往往会发生改变，呈现出不同于训练视频的行走状态，这是目前步态身份识别的挑战问题。其主要原因是：衣着、携带物状态的变化会导致人的外观、形状的改变，进而在视频序列的前景与背景分离后会造成人体二值影像图的轮廓变化，给步态识别带来不小的困难。在这种情况下，如何选择能够真实表征步态的特征，消除不相关的干扰是一个至关重要的问题。

经过对现有技术的文献检索发现，Shaogang Gong等人在《Proceedings of the 33rdInternational Conference on Acoustics，Speech，and Signal Processing》(第33届声学、语音及信号处理国际会议集)第985到第988页上发表的“Feature Selection on Gait Energy Image forHuman Identification”(用于身份认证的步态能量图的特征选择)文章中提出了一种基于步态能量图的特征选择方法，该方法从多张步态能量图中抽取各能量图之间亮度变化显著的像素点集作为特征，此高维特征在区分不同的人时提供了丰富的动态步态行为信息，因此在一定程度上可克服衣着、携带物变化带来的干扰。另外，该方法对此特征采用PCA(Principal ComponentAnalysis，主成分分析)和MDA(Mutiple Discriminant Analysis，多元判别分析)进行降维，通过在降维的特征空间中进行匹配而得出身份识别结果。相比现有的最佳的基于监督式特征选择的步态识别方法，这种基于非监督特征选择的步态识别方法速度提升了900倍，在正常步行状态下识别率能提高了近1％，在携带物变化情形下识别率接近于最佳识别率，在衣着变化情形下则识别率下降约10％-50％。这种方法没有完全避开衣着和携带物对人体二值影像图腿部以上区域的干扰，在一定程度上影响了步态识别的有效性。另外，该方法对多张能量图的所有像素点均做了像素值变化统计，耗费了一定的计算量，其运算速度方面还存在提升的空间。这促使去寻找一种新的步态特征过滤方式以及计算框架，以在提升识别速度的同时达到最优的识别性能。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于自适应特征块选择的步态识别方法，用于处理行人衣着、携带物状态改变时的身份识别问题，本发明通过对步态能量图中的人体区域进行分块，根据无衣着和携带物状态干扰的训练数据得出每块区域的统计信息，在测试时通过分块计算统计信息而自动选取符合训练数据统计信息规律的特征块，有效克服了因行人衣着、携带物状态变化对步态识别造成的不利影响，同时保留了人的头、肩等部位特征，提高了步态识别的有效性。本发明不需要任何先验知识，特征选择的计算复杂度比现有非监督特征选择的步态识别方法降低了28％，同时平均识别率可比于现有基于监督特征选择的步态识别方法。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步、采用最小中位数平方法(Least Median of Squares)从视频的N帧图像序列I中恢复得到背景图像B_(x，y)，然后计算当前图像帧I^t和背景图像B_(x，y)的提取函数值，通过对函数值作阈值化处理而分离出前景图像I′^t(x，y)。

第二步、对前景图像I′^t(x，y)的每个连通块构建最小矩形框边界，并对矩形框中的图像采用HOG行人检测器判断是否存在人体区域，对包含人体区域的矩形框进行尺度变换，由此获得的一系列固定大小的矩形图片就构成了二值步态序列G(x，y，t)。

第三步、根据二值步态序列G(x，y，t)进行步态周期计算并生成步态模板图；

第四步、对训练集每个对象的步态模板图进行人体结构分块，并建立各个分块的统计特征，然后对步态模板图执行自适应的特征块选择；

第五步、计算测试集对象与训练集中任一对象在人体结构对应分块上的欧氏距离，将六个分块的距离加权起来得到两个对象间的总距离，作为该对象和训练集中任一对象的步态特征相似性的度量，并根据最近邻法则将这些距离中的最小值所对应的训练集对象确定为身份识别的结果。

本发明的原理是，考虑到人在普通状态下行走的步态跟人的衣着、携带物状态发生改变后的步态直观上存在明显差异，即衣服厚度、背包的出现会造成伴随人体一起运动的轮廓区域面积增加，亦即视频的前景运动区域的像素数目会增多。如果直接比较步态特征图像的相似性，衣物的干扰必定会产生很大的噪声，严重影响识别效果。因此，在对人体结构进行分块后，将训练集的步态特征图像各人体结构分块的统计信息作为依据，在测试时能够快速有效地排除掉可能存在干扰的特征块，选择出最佳的特征区域用于身份识别。

与现有技术相比，本发明根据人体结构特性以及分块统计特性对步态能量图进行自适应特征块选择，既实现了快速识别，也很好地利用了对识别有帮助的头肩等特征区域。在各种实验条件下，该算法的平均识别率达到85％，处理速度比现有非监督特征选择的步态识别算法提高28％。

附图说明

图1是实施例的N(t)和N’(t)的曲线。

图2是本发明方法求取步态能量图的流程图。

图3是本发明方法中步态能量图的示意图。

图4是本发明方法的人体结构分块示意图。

图5是本发明方法的特征块选择示意图。

图6是本发明方法的相似性度量示意图。

图7是实施例流程图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

如图2和图7所示，本实施例包括以下步骤：

第一步、采用最小中位数平方法(Least Median of Squares)从视频的N帧图像序列I中恢复得到背景图像B_(x，y)，然后计算当前图像帧I^t和背景图像B_(x，y)的提取函数值，通过对函数值作阈值化处理而分离出前景图像I′^t(x，y)。

所述的背景图像

其中：(x，y)为像素位置，median(·)表示中值滤波，t表示图像帧序号，t＝{1，2，…，N}，min(·)表示最小化操作符。

所述的提取函数值是指：

$\left\{\begin{array}{c}f(I^t(x,y),B(x,y))=1-\frac{2\sqrt{(I^t(x,y)+1)(B(x,y)+1)}}{(I^t(x,y)+1)+(B(x,y)+1)}\&CenterDot;\frac{2\sqrt{(256-I^t(x,y))(256-B(x,y))}}{\left({256-I}^t(x,y)\right)+(256-B(x,y))}\\ 0\&le;f(I^t(x,y),B(x,y))<1\\ 0\&le;I^t(x,y),B(x,y)\&le;255\end{array}\right..$

其中：f(I^t(x，y)，B(x，y))为提取函数值，该函数f可根据当前帧与背景的亮度对比自适应地检测出前景与背景之间的相对差异。

所述的阈值化处理是指：对函数值结果f(I^t(x，y)，B(x，y))采用阈值门限F进行二值化，该二值化图像中非零值图像像素被认为是前景像素，具体表示如下：

$\left\{\begin{array}{cc}{I}^{\&prime;t}(x,y)=255,& f(I^t(x,y),B(x,y))\&GreaterEqual;F\\ I^{\&prime;t}(x,y)=0,& f(I^t(x,y),B(x,y))<F\end{array}\right.$

该实施例中，F＝0.01。最后通过中值滤波和形态学腐蚀膨胀操作来滤除二值图I′^t(x，y)中的噪声区域。

第二步、对前景图像I′^t(x，y)的每个连通块构建最小矩形框边界，并对矩形框中的图像采用HOG行人检测器判断是否存在人体区域，将包含人体区域的矩形框进行尺度变换，统一调整为固定大小128×96像素。由此获得的一系列固定大小的矩形图片就构成了二值步态序列G(x，y，t)。

所述的构建最小矩形框边界是指：能够包含连通域中所有点的最小的外接矩形，矩形左上角顶点的横坐标为点集中所有点的横坐标的最小值，其纵坐标为点集中所有点的纵坐标的最小值，矩形的高设为点集中两点纵坐标之差的最大值，矩形的宽设为点集中两点横坐标之差的最大值。

所述的HOG行人检测器是指：HOG是Histogram of Oriented Gradients的缩写，它把局部图像的梯度方向信息的统计值作为目标的一种特征描述。首先将图像分成小的连通区域，在每个区域内计算各像素点的梯度的方向直方图，最后将这些直方图组合起来以表征整幅图像。HOG行人检测器是对大量样本提取HOG特征，经过训练得到的级联Adaboost分类器。

所述的尺度变换是指：将矩形框图片尺寸调整为固定大小，调整时保持人体区域的二值轮廓重心在图片的中线上。

第三步、根据二值步态序列G(x，y，t)进行步态周期计算并生成步态模板图；

所述的步态周期是指：普通行走状态下行人一侧脚跟着地至该侧脚跟再次着地所需的时间。在一个步态周期中，每侧肢体要经过踩地负重和离地摆动两个阶段，分别成为步态周期的站立相和摆动相。

所述的步态周期计算过程为：

i)统计每帧人体二值图的下方1/3高度区域内的前景像素点的个数，将第t帧时的数值记为N(t)，当两只脚间隔最远时，N(t)将达到局部最大值；当两只腿交错时，N(t)将取得局部最小值；

ii)利用半径为2的圆形均值滤波器H对N(t)曲线做平滑操作得到N′(t)，如图1(b)所示，其中：N(t)为1×n的向量，通过边界延拓扩展为5×n的矩阵)，N′(t)每两个紧邻的局部最小值之间应构成一个步态周期，因此从第一个N′(t)的局部最小值处开始，计算每两个相邻局部最小值之间的横坐标距离(即帧数差)，并把这些距离的中值作为步态周期。

所述的圆形均值滤波器 $H=\left[\begin{array}{ccccc}0& 0.017& 0.0381& 0.017& 0\\ 0.017& 0.0784& 0.0796& 0.0784& 0.017\\ 0.0381& 0.0796& 0.0796& 0.0796& 0.0381\\ 0.017& 0.0784& 0.0796& 0.0784& 0.017\\ 0& 0.017& 0.0381& 0.017& 0\end{array}\right].$

所述的生成步态模板图具体包括以下步骤：

3.1)设周期为T，取一个步态周期内的所有二值步态图，则步态能量图本实施例中T的取值范围为19≤T≤32，步态能量图的计算框架如图2所示，如图3所示，为实施例中求得的步态能量图；

3.2)针对训练集的每个对象，根据其多个步态能量图建立步态模板图，步态模板图T(x，y)定义为此对象所有步态能量图的平均图像：

其中：C为当前对象所有步态序列共包含的步态周期总数，即可得到C张步态能量图，T(x，y)以阈值θ为界二值化，

本实施例中C的取值范围为4≤C≤13，二值化阈值θ＝127。

第四步、对训练集每个对象的步态模板图进行人体结构分块，并建立各个分块的统计特征，然后对步态模板图执行自适应的特征块选择；

①所述的人体结构分块，如图4所示：

包括：头部：0～W，0.870H～H，颈、肩和胸部：0～W，0.720H～0.870H，躯干前半部：0～0.530W，0.377H～0.720H，躯干后背：0.530W～W，0.377H～0.720H，大腿至膝部：0～W，0.180H～0.377H，小腿和足部：0～W，0～0.180H，其中：W为步态模板图的宽度，H为步态模板图的高度。本实施例中步态模板图的高度为H＝128，宽度为W＝96。

②所述的统计特征是指：根据S个训练集对象，根据人体结构分块统计训练集所有对象步态模板图中T₁，T₂，T₃，…，T_S中每个部分的前景像素点个数，i∈{1，2，…，6}，

表示T_s中第i部分的前景像素点个数，则第i部分的统计特征Ωⁱ为：

本实施例中，S＝124。

③所述的特征块选择是指：将测试对象的步态序列按照同样的过程建立步态模板图并进行人体结构分块，然后计算各个人体结构分块的统计特征，仅当某个人体结构分块跟训练集对应人体结构分块的统计特征相似时，该人体结构分块才用于步态识别过程，即实现自适应的特征块选择。具体步骤如下：

4.1)对Ωⁱ中S＝124个数值进行升序排列，以λ＝0.9的概率给定置信区间即

中落入区间

的个数为λ·S≈112，其中

当测试对象的行走状态与训练集中某对象的行走状态相同或相似时，其步态模板图中第i部分的前景像素点个数γⁱ满足：

4.2)对每一个测试集对象r，r∈{1，2，…，R＝124}，计算其步态模板图，并统计所有对象步态模板图第i部分的前景像素点个数

通过

实现自适应块特征选择，其中：当w_i取1时，说明对象r的步态模板图的第i部分没有受到衣着、携带物变化的影响，这个区域内的特征将会被选中用于识别；当w_i为0时，说明第i部分的前景像素受到了干扰，不能真实反映人体的运动信息，故应舍弃。

第五步、计算测试集对象与训练集中任一对象在人体结构对应分块上的欧氏距离，将六个分块的距离加权起来得到两个对象间的总距离，作为该对象和训练集中任一对象的步态特征相似性的度量，并根据最近邻法则将这些距离中的最小值所对应的训练集对象确定为身份识别的结果，如图6所示。

所述的两个对象间的总距离为：

其中：

为训练集中的某个对象，

表示S_g的第n张步态能量图的第k个人体结构分块，n∈{1，…，N_g}，k∈{1，2，…，6}，

表示测试集对象S_p第m张步态能量图的第k个人体结构分块，m∈{1，…，N_p}，k∈{1，2，…，6}。

实施效果

依据上述步骤，对中国科学院自动化研究所CASIA步态数据库Dataset B进行步态识别。该数据库采集于2005年1月，共有124个对象，每个对象有11个观测视角和10个步态序列，分别在三种行走条件下(普通条件，穿大衣，携带包裹)采集获得。本实验中，选取90度的侧面视角，将每个对象普通条件下采集的前4个步态序列作为训练集Set A1，测试集则由2个普通条件下采集的步态序列Set A2、2个穿大衣的序列Set B，2个携带包裹的序列Set C所组成。所有试验均在PC计算机上实现，该PC计算机的主要参数为：中央处理器

2Duo CPU E66002.40GHz，内存2GB。

采用现有技术中Shaogang Gong等人非监督特征选择方法，可得识别结果为：

当测试集为Set A2时，识别率为99.4％；

当测试集为Set B时，识别率为31.3％；

当测试集为Set C时，识别率为79.9％。

特征选择用时：5秒

本实施例获得的识别结果为：

当测试集为Set A2时，识别率为99.2％；

当测试集为Set B时，识别率为80.6％；

当测试集为Set C时，识别率为75.8％。

特征选择用时：3.6秒

实验表明，较之于现有的非监督特征选择方法，本实施例Set B的识别率比原先有了大幅度提高，Set C的识别率略有下降。但是，三个测试集的平均识别率得到了15％的提升。同时，本实施例完成特征选择所需要的时间为3.6秒，计算速度提高了28％。

Claims (12)

1.一种基于自适应特征块选择的步态识别方法，其特征在于，包括以下步骤：

第一步、采用最小中位数平方法从视频的N帧图像序列I中恢复得到背景图像B_(x，y)，通过对当前图像帧和背景图像B_(x，y)的提取函数值进行阈值化处理，提取出前景图像；

第二步、对前景图像的每个连通块构建最小矩形框边界，并对矩形框中的图像采用HOG行人检测器判断是否存在人体区域，对包含人体区域的矩形框进行尺度变换，由此获得的一系列固定大小的矩形图片就构成了二值步态序列；

第三步、根据二值步态序列进行步态周期计算并生成步态模板图；

第四步、对训练集每个对象的步态模板图进行人体结构分块，并建立各个分块的统计特征，然后对步态模板图执行自适应的块特征选择；

第五步、计算测试集对象与其他任一对象在人体结构对应分块上的欧氏距离，并根据最近邻法则将这些欧氏距离中的最小值所对应的训练集对象确定为步态识别结果。

2.根据权利要求1所述的基于自适应特征块选择的步态识别方法，其特征是，第一步中：所述的背景图像其中：(x，y)为像素位置，median(●)表示中值滤波，t表示图像帧序号，min(●)表示最小化操作符。

3.根据权利要求1所述的基于自适应特征块选择的步态识别方法，其特征是，第一步中所述的提取函数值是指：

$\left\{\begin{array}{c}f(I^t(x,y),B(x,y))=1-\frac{2\sqrt{(I^t(x,y)+1)(B(x,y)+1)}}{(I^t(x,y)+1)+(B(x,y)+1)}\&CenterDot;\frac{2\sqrt{(256-I^t(x,y))(256-B(x,y))}}{(256-I^t(x,y))+(256-B(x,y))}\\ 0\&le;f(I^t(x,y),B(x,y))<1\\ 0\&le;I^t(x,y)\&le;255\\ 0\&le;B(x,y)\&le;255\end{array}\right.;$

其中：f(I^t(x，y)，B(x，y))为提取函数值，该函数f根据背景图像的亮度自适应地检测出前景与背景之间的相对差异。

4.根据权利要求1所述的基于自适应特征块选择的步态识别方法，其特征是，第一步中所述的阈值化处理是指：对函数结果f(I^t(x，y)，B(x，y))采用阈值门限F进行二值化，该二值化图像取非零值图像像素被认为是前景像素，具体表示如下：

$\left\{\begin{array}{cc}{I^{\&prime;}}^t(x,y)=255,& f(I^t(x,y),B(x,y))\&GreaterEqual;F\\ {I^{\&prime;}}^t(x,y)=0,& f(I^t(x,y),B(x,y))<F\end{array}\right.$

最后通过中值滤波和形态学腐蚀膨胀操作来滤除二值图I′^t(x，y)中的噪声区域，其中：I′^t(x，y)为前景图像，(x，y)为像素位置。

5.根据权利要求1所述的基于分块的自适应特征选择的步态识别方法，其特征是，第二步中所述的尺度变换是指：将矩形框图片尺寸调整为固定大小，调整时保持人体区域的二值轮廓重心在图片的中线上。

6.根据权利要求1所述的基于分块的自适应特征选择的步态识别方法，其特征是，第三步中所述的步态周期是指：普通行走状态下行人一侧脚跟着地至该侧脚跟再次着地所需的时间，在一个步态周期中，每侧肢体要经过踩地负重和离地摆动两个阶段，分别成为步态周期的站立相和摆动相，该步态周期的计算过程为：

i)统计每帧人体二值图的下方1/3高度区域内的前景像素点的个数，将第t帧时的数值记为N(t)，当两只腿间隔最远时，N(t)将达到局部最大值；当两只腿交错时，N(t)将取得局部最小值；

ii)利用半径为2的圆形均值滤波器H对N(t)曲线做平滑操作得到N′(t)，其中：N(t)为1×n的向量，通过边界延拓扩展为5×n的矩阵，N′(t)每两个紧邻的局部最小值之间应构成一个步态周期，因此从第一个N′(t)的局部最小值处开始，计算每两个相邻局部最小值之间的横坐标距离，即帧数差，并把这些距离的中值作为步态周期。

7.根据权利要求6所述的基于分块的自适应特征选择的步态识别方法，其特征是，所述的圆形均值滤波器 $H=\left[\begin{array}{ccccc}0& 0.017& 0.0381& 0.017& 0\\ 0.017& 0.0784& 0.0796& 0.0784& 0.017\\ 0.0381& 0.0796& 0.0796& 0.0796& 0.0381\\ 0.017& 0.0784& 0.0796& 0.0784& 0.017\\ 0& 0.017& 0.0381& 0.017& 0\end{array}\right].$

8.根据权利要求1所述的基于分块的自适应特征选择的步态识别方法，其特征是，第三步中所述的生成步态模板图具体包括以下步骤：

3.1)设周期为T，取一个步态周期内的所有二值步态图，则步态能量图 $G_E(x,y)=\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}G(x,y,t);$

3.2)针对训练集的每个对象，根据其多个步态能量图建立步态模板图，步态模板图T(x，y)定义为此对象所有步态能量图的平均图像：其中：C为当前对象所有步态序列共包含的步态周期总数，即可得到C张步态能量图，T(x，y)以阈值θ为界二值化，

G(x，y，t)为二值步态序列，t表示图像帧序号。

9.根据权利要求1所述的基于分块的自适应特征选择的步态识别方法，其特征是，第四步中所述的人体结构分块包括：头部：0～W，0.870H～H，颈部及胸部：0～W，0.720H～0.870H，前躯干：0～0.530W，0.377H～0.720H，后躯干：0.530W～W，0.377H～0.720H，大腿及膝部：0～W，0.180H～0.377H，小腿及足部：0～W，0～0.180H，其中：W为步态模板图的宽度，H为步态模板图的高度。

10.根据权利要求1所述的基于分块的自适应特征选择的步态识别方法，其特征是，第四步中所述的统计特征是指：根据S个训练集对象，根据人体结构分块统计训练集所有对象步态模板图中T₁，T₂，T₃，…，T_S中每个部分的前景像素点个数，i∈{1，2，…，6}，

表示T_s中第i部分的前景像素点个数，则第i部分的统计特征Ωⁱ为：

11.根据权利要求1所述的基于分块的自适应特征选择的步态识别方法，其特征是，第四步中所述的块特征选择是指：

4.1)对Ωⁱ中S个数值进行升序排列，以λ的概率给定置信区间

即中落入区间

的个数为λS，当测试对象的行走状态与训练集中某对象的行走状态相同或相似时，其步态模板图中第i部分的前景像素点个数γⁱ满足：

其中：

表示T_s中第i部分的前景像素点个数，Ωⁱ为第i部分的统计特征；

4.2)对每一个测试集对象r，r∈{1，2，…，R}，计算其步态模板图，并统计所有对象步态模板图第i部分的前景像素点个数

通过

实现自适应块特征选择，其中：当w_i取1时，说明对象r的步态模板图的第i部分没有受到衣着、携带物变化的影响，这个区域内的特征将会被选中用于识别；当w_i为0时，说明第i部分的前景像素受到了干扰，不能真实反映人体的运动信息，故应舍弃。

12.根据权利要求1所述的基于分块的自适应特征选择的步态识别方法，其特征是，第五步中所述的人体结构分块的欧氏距离为：

其中： $d_k(G_E^p,G_E^g)={\mathrm{Median}}_{m=1}^{N_p}\left({\min }_{n=1}^{N_g}\right||G_E^p(m,k)-G_E^g(n,k)|\left|\right),$ S_g为训练集中的某个对象，表示S_g的第n张步态能量图的第k个人体结构分块，n∈{1，…，N_g}，k∈{1，2，…，6}，

表示测试集对象S_p第m张步态能量图的第k个人体结构分块，m∈{1，…，N_p}，k∈{1，2，…，6}。

Images