CN101571917A - 基于视频的正面步态周期检测方法 - Google Patents

Abstract

本发明提供的是一种基于视频的正面步态周期检测方法。包括行人目标轮廓的获取和正面步态的周期检测；首先从视频中提取单帧图像进行灰度变换，然后选择不含人体的图像作为整个视频的原始背景图像，采用背景实时更新的背景减除法提取人体目标，Kapur熵阈值法对图像序列进行二值化处理，用数学形态学填补二值化图像的空洞、单连通分析提取人的侧影，使人体居中，将图像的大小统一为64*64像素，最后对分割出的人体进行检测，将包含不完整人体的冗余帧去除；根据肢体占身高比例关系，将下臂的摇摆区域像素点的数目变化情况作为判断正面步态周期的依据。本发明针对正面步态周期检测十分有效，计算量小，节省大量的存储空间，为实时的步态识别提供了可能。

Description

基于视频的正面步态周期检测方法

(一)技术领域

本发明涉及的是一种模式识别技术，具体地说是一种基于视频的正面步态周期检测方法。

(二)背景技术

步态是指人们行走的姿势，是一种远距离情况下唯一可感知的生物行为特征。它是通过人步行的方式，达到识别人身份的目的。众所周知，人们的行走动作千姿百态、各不相同，双脚动作和身体其他部位的姿势是独一无二的。而且这种姿势具有相对稳定性，在一定的时间范围和相同的步行环境下不容易改变，人们据此可判断出行人的身份。步态识别具有非侵犯性、非接触性、难于隐藏和伪装、易采集、远距离等优点。步态识别研究是近年计算机视觉和模式识别领域的热门研究课题，有很大的理论意义和应用前景，最主要是在智能监控中的应用。

步态特征蕴含在人的行走过程中，包括人的行走频率相位，躯干倾斜度，脚踝变化，胳膊摆动的不同等等，所以通常一个周期序列图像中提取出来的步态特征才可以表征一个人的步态特点。国内、外很多研究者在步态周期检测上做了研究，BenAbdelkader等人和Boulgouris等人都采用过步态轮廓的自相关特性得到步态周期，这类方法仅仅限于应用在行走速度恒定的步态。BenAbdelkader还通过计算人体轮廓的边界矩形框的宽度变化来确定步态周期；Collins等人分析了人体高度和宽度的周期性变化，进而观测步态周期；Kale等人通过观察人体宽度向量的范数随时间的变化来分析步态的周期特性；但是正面步态的宽度基本保持不变，所以这些方法不能用在正面步态的周期检测上。Sarkar等人采用人体区域下半部分像素点的多少的周期特性确定步态的周期性变化；陈实等人以步态序列中所有行人轮廓区域外接矩形框作为图像区域，在图像区域自底而上的1/4高度内，等量水平分割三个区域，计算各区累计轮廓点数，得到相应的点分布直方图特征检测出步态周期；但是腿部和脚部受人的阴影影响严重，也不适用于正面步态的周期判定。由于步态周期分割的准确程度严重影响了步态识别问题的精度，现有大多数文献都是在假定步态周期分割很好的情况下提出的步态识别算法，所以准确的步态周期分割对步态识别是非常有意义的。

(三)发明内容

本发明的目的在于提供一种计算量小，节省存储空间，为实时的步态识别提供可能的基于视频的正面步态周期检测方法。

本发明的目的是这样实现的：

包括行人目标轮廓的获取和正面步态的周期检测；其特征是：所述的行人目标轮廓获取的方法为，首先从视频中提取单帧图像进行灰度变换，然后选择不含人体的图像作为整个视频的原始背景图像，采用背景实时更新的背景减除法提取人体目标，Kapur熵阈值法对图像序列进行二值化处理，用数学形态学填补二值化图像的空洞、单连通分析提取人的侧影，使人体居中，将图像的大小统一为64*64像素，最后对分割出的人体进行检测，将包含不完整人体的冗余帧去除；所述的正面步态的周期检测的方法是首先对归一化后的单帧进行正面和非正面步态的粗分类，根据肢体占身高比例关系，若为正面步态，统计下臂的摇摆区域像素点的数目变化，若为非正面步态，统计膝盖的宽度变化，从第一次出现局部极值到第三次再出现局部极值即为一个步态周期。

本发明还可以包括：

1、所述的下臂的摇摆区域是根据肢体占身高比例关系，认为归一到64*64像素图像中的第25、26、27、28、29行区域。

2、所述的膝盖宽度也是根据肢体占身高比例关系，认为归一到64*64像素图像中的第47行像素的最左点到最右点之间的像素数目。

3、所述的下臂的摇摆区域是单帧图像的25～29行中任意一行或临近的多行像素。

本发明的主要效果在于：是基于视频处理的，节省了大量的存储空间，能够克服传统侧面步态周期检测方法对正面步态周期检测不准的缺点，而其计算量小，为实时的步态识别提供了可能。

(四)附图说明

图1正面步态周期检测的流程图；

图2原始视频获取环境；

图3有一定俯角的户外步态数据库HEU(A)；

图4(a)-图4(e)提取人体目标的预处理过程，其中：图4(a)灰度变换、图4(b)背景更新、图4(c)背景减除、图4(d)人体轮廓、图4(e)标准中心化；

图5步态周期示意图以及右双支撑、右单支撑、左双支撑、左单支撑、左步、右步、右支撑、右摆动占整个周期的比例；

图6部分肢体占身高的比例关系；

图7非正面步态的周期检测结果；

图8根据头部观测步态的周期性；

图9根据颈部到脐部观测步态的周期性；

图10根据臀部观测步态的周期性，其中图10(a)对应于臀部的上半部分，图10(b)对应于臀部的下半部分；

图11根据腿部观测步态的周期性；

图12根据脚部观测步态的周期性；

图13根据下臂摇摆观测步态的周期性；

图14根据下臂摇摆区域中的两行像素数观测步态的周期性，其中图14(a)对应于25、26两行，图14(b)对应于26、27两行，图14(c)对应于27、28两行，图14(d)对应于28、29两行；

图15根据下臂摇摆区域中的三行像素数观测步态的周期性，其中图15(a)对应于25、26、27三行，图15(b)对应于26、27、28三行，图15(c)对应于27、28、29三行；

图16根据下臂摇摆区域中的四行像素数观测步态的周期性，其中图16(a)对应于25、26、27、28四行，图16(b)对应于26、27、28、29四行；

图17根据下臂摇摆区域中的25～29五行像素数观测步态的周期性；

图18HEU(A)正面步态周期检测的输出结果；

图19HEU(A)背面步态周期检测的输出结果；

图20有一定俯角的室内步态数据库HEU(B)；

图21HEU(B)正面步态周期检测的输出结果；

图22中科院CASIA(A)步态数据库；

图23CASIA(A)背面步态周期检测的输出结果；

图24中科院CASIA(B)步态数据库；

图25CASIA(B)正面步态周期检测的输出结果；

图26CASIA(B)背面步态周期检测的输出结果。

(五)具体实施方式

下面结合附图举例对本发明做更详细地描述：

1.原始视频获取

由于在实际的监控系统中不一定能够恰好保证摄像机的方向与人体所在的平面严格成90°。我们也模拟真实的视频监控环境，在2008年4月建立一个小型的有一定俯角的步态数据库HEU(A)。该步态数据库的建立条件是把摄像机架在3楼实验室的窗台上，以一定倾角俯视楼下的被观察者，我们假定步态数据采集环境为(1)摄像机静止不动；(2)视野中只有一个运动人体；(3)摄影方向与人体所在平面应尽量大(＜90°)。该库包含4个样本，均为女性，年龄都在27岁左右，一般标准身材，身高分别为162cm、164cm、166cm和168cm。每人均按照如图2所示的0°、45°、90°、135°、180°、-45°、-90°和-135°等8个方向行走，每个方向走两遍。图像序列以30帧/s速度拍摄，原始尺寸为240*320(如图3所示)，正面(或背面)的视频长度大约在700帧左右，该步态数据库的存储格式为avi，存储空间大约为4.68GB。

2.行人目标轮廓获取

为了提取人体目标，首先从视频中提取单帧图像进行灰度变换(如图4(a))，然后选择不含人体的图像作为整个视频的原始背景图像，采用背景实时更新(如图4(b))的背景减除法提取人体目标，Kapur熵阈值法对图像序列进行二值化处理(如图4(c))，用数学形态学填补二值化图像的空洞、单连通分析提取人的侧影(如图4(d))，使人体居中，将图像的大小统一为64*64像素(如图4(e))，最后对分割出的人体进行检测，将包含不完整人体的冗余帧去除。

2.1背景实时更新方法

由于一天中不同的时间段外界光照的变化对于检测结果是有影响的，所以背景需要更新。首先选择视频中不含人体的图像作为整个视频的原始背景图像，要进行背景修正，首先应对第k帧图像中的像素类型进行区分，区别对待运动人体像素与背景像素。当一像素被判定为人体像素时，则不用该像素的值对背景图像进行修正，反之，则利用该像素的值对背景进行修正。这可以利用当前帧f_k(x，y)和前一帧的背景B_k-1(x，y)的差进行区分，若|f_k(x，y)-B_k-1(x，y)|＞T，则(x，y)是运动人体上的像素点，则采用前一帧的背景作为背景，即g_k(x，y)＝B_k-1(x，y)；否则(x，y)是背景点，g_k(x，y)＝f_k(x，y)。背景更新如下：

$B_k(x,y)=\frac{1}{m}\underset{i=k-m+1}{\overset{k}{\mathrm{\Σ}}}{g}_i(x,y)---\left(1\right)$

其中，m为累计帧数，且初始的前m帧的背景均假设为原始背景图像。这里我们综合该算法的复杂性与有效性，针对HEU(A)步态数据库的参数选择为m＝10，T＝35。

2.2Kapur熵阈值选取法

设图像中所有像素的分布概率p₀，p₁，...，p_L-1为：

$p_i=\frac{N_t}{N_{\mathrm{image}}}---\left(2\right)$

式中，N_t为灰度值为i的像素个数；N_image为图像的总像素数。

若分割阈值为t，则人体O与背景B的概念分布为： $O:\frac{p_0}{P_t},\frac{p_1}{P_t},\·\·\·,\frac{p_t}{P_t},$ $B:\frac{p_{t+1}}{{1-P}_t},\frac{p_{t+2}}{{1-P}_t},\·\·\·,\frac{p_{L-1}}{1-P_t},$ 定义与这两个概率分布相关的熵为：

H(O)＝lnP_t+H_t/P_t                    (3)

H(B)＝ln(1-P_t)+(H_L-1-H_t)/(1-P_t)     (4)

式中： $P_t=\underset{i=0}{\overset{t}{\mathrm{\Σ}}}{p}_i,$ $H_t=-\underset{i=0}{\overset{t}{\mathrm{\Σ}}}\left(p_i\ln p_i\right),$ $H_{L-1}=-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\left(p_i\ln p_i\right)$

Kapur定义准则函数ψ(t)为H(O)、H(B)之和：

$\mathrm{\ψ}\left(t\right)=H\left(O\right)+H\left(B\right)=\ln P_t(1-P_t)+\frac{H_t}{P_t}+\frac{H_{L-1}-H_t}{1-P_t}---\left(5\right)$

使ψ(t)最大的灰度级t即是所求出的最优阈值t^*，即

t^*＝argmaxψ(t)                     (6)

这里我们针对HEU(A)视频，选择参数为t^*∈[8，12]。

3.正面步态周期检测

步态周期定义为同一只脚连续两次足跟触地的时间间隔。步态周期可以分为两个阶段：支撑阶段和摆动阶段。支撑阶段是指脚部与支撑面接触的时间，约占步态周期的60％，单侧下肢站立称为“单支撑”，双侧下肢同时站立称为“双支撑”。摆动阶段是指脚部离开支撑面的时间，约占步态周期的40％。在一个步态周期中，人前进了两个跨距的距离。如图5所示为步态周期图，详细解释了各个阶段两腿的运动情况，以及每个阶段在整个步态周期中所占的比例。

我们首先对归一化后的单帧采用K近邻分类器(KNN)进行正面和非正面步态的粗分类，根据如图6所示的肢体占身高比例关系，若为正面步态，统计下臂的摇摆区域像素点的数目变化，若为非正面步态，统计膝盖的宽度变化，从第一次出现局部极值到第三次再出现局部极值即为一个步态周期。步态周期的起始帧为该值第一次出现局部极值，终止帧为第三次出现局部极值的前一帧。

3.1非正面步态的周期检测

根据肢体占身高比例关系，膝盖以下的肢体长度约占人身高的0.285，认为归一到64*64像素图像中的第47行像素区域是膝盖处，它的宽度认为是该行的最左点到最右点之间的像素数目。由于该值的极大值对应着两腿分开的最远位置，是一个稳态；而该值的极小值对应着两腿合拢在一起的位置，是一个瞬态。我们将稳态作为周期的界定标准，步态周期的起始帧为该值第一次出现局部极大值，终止帧为第三次出现局部极大值的前一帧。如图7所示为非正面的步态周期检测结果，而且已经达到人为主观判断的精度。

3.2正面步态的周期检测

由于人体躯体的对称性，正面人体轮廓和背面人体轮廓基本相同，此处所述的正面步态既包括真正的正面步态，又包括背面步态，在这里统称为“正面”。

传统的侧面步态周期检测方法很难对正面步态的周期分割得准确，所以本专利提供一种正面步态的周期检测方法。我们发现视频序列经前面所述的行人目标轮廓获取方法，很难用下身观测步态的周期性变化，然而人体步态在图像上投影，胳膊处逐帧确实体现了不同位姿之间的明显差异。

我们仍然是根据肢体占身高比例关系，为了不遗漏身体的每一部位对正面步态周期判断的可能，首先，我们对去除冗余帧后的归一化的步态视频序列逐帧测试每行的累计像素数，信号平滑处理后的输出如图8～17所示。

3.2.1根据头部观测正面步态的周期性

由于头部随时间帧基本不变化，测试的实验结果如图8所示，大部分帧头部的宽度都在6～9个像素，因此头部特征对正面步态的周期检测不适用。

3.2.2根据颈部到脐部观测正面步态的周期性

如图9所示为根据颈部到脐部判断正面步态周期性的结果，颈部到脐部随时间帧变化比较大，但是变化无周期性可循，原因是这部分的波动基本体现人走路的肩部前后摇摆特性，摇摆幅度大，则投影在图像平面的像素数较少；反之，摇摆幅度小，投影在图像平面的像素数较多。有的人走路摇摆幅度大，可能通过这部分区域观测正面周期性较好，但是对于女性，可能摇摆幅度小，所以颈部到脐部对正面步态的周期性判断不能达到尽善尽美。

3.2.3根据臀部观测正面步态的周期性

臀部随时间帧变化也是比较大的，也存在一定的周期性，如图10所示，其中图10(a)对应于臀部的上半部分，图10(b)对应于臀部的下半部分，并且上半部分好于下半部分的效果，这是由于行人向前迈步导致臀部摇摆，臀部的凸性导致臀部上半部分要比下半部分在投影的图像平面变化规律性强。

3.2.4根据腿部和脚部观测正面步态的周期性

侧面步态的周期可以通过观察腿部的特征来确定，但是正面步态的周期也采用该方法，效果如图11所示，小腿受人阴影影响较大，而且腿虽向前迈，但是投影到图像平面上，基本看不出周期性，效果不尽如人意；大腿随时间帧变化的周期性也不强。

脚部受人阴影的影响是最大的，体现不出正面步态的任何周期性，实验结果如图12所示。

3.2.5根据下臂区域观测正面步态的周期性

如图13所示是根据下臂区域判断正面步态周期性的结果，行人正面行走的步态周期性最好就体现在胳膊的前后摇摆上，上臂摇摆的摆角小于下臂摇摆的摆角，行走过程中，下臂的投影有可能位于竖直时上臂和上半身的位置，所以以上臂作为判断正面步态周期的依据效果不好。应用下臂摇摆观测步态的周期性，在图像投影平面上，我们看到的是部分胳膊的缺失程度呈周期性变化，所以下臂区域观测正面步态的周期性最佳。

考虑到如图6给出的部分肢体占身高的比例关系是大多数人的情况，如果单独检测归一化图像序列某行的像素数，很可能存在身体比例另类的特殊情况，因此我们采用人体下臂区域(即归一化后图像中的25～29行)中的多行累加的方式在视频序列中逐帧测试。另外，采用单行测试，很容易受到噪声的影响；而多行累加的方式对噪声的鲁棒性较强。

综上，对于正面步态的周期分割，我们选择下臂区域，即图像平面的25～29行，采用多行累加的方式逐帧测试，实验结果如图14～17所示。累计的行数越多，正面步态周期对肢体比例和噪声鲁棒性越强。最终我们确定采用归一化后的25～29这五行的像素作为判定正面步态的依据。由于当手臂摆高时，投影到图像平面上，下臂区域像素数出现极小值，该状态为稳态；当手臂竖直下垂时，投影到图像平面上，下臂区域像素数出现极大值，该状态且为瞬态。我们仍然采用稳态界定周期，因此步态周期的起始帧为该值第一次出现局部极小值，终止帧为第三次出现局部极小值的前一帧。

4.实验

为了验证本专利所提供方法对正面的步态周期分割具有普遍意义，我们在HEU(A)、HEU(B)、CASIA(A)、CASIA(B)等步态数据库上实验进行验证。所有测试步态视频序列都经过单帧图像的灰度化，背景实时更新的背景减除法提取人体目标，Kapur熵阈值法二值化，数学形态学填补二值化图像的空洞、单连通分析等一系列操作，提取人的侧影，使人体居中，将图像的大小最终统一为64*64像素，并将包含不完整人体的冗余帧去除后，逐帧扫描25～29行像素总数，一个步态周期的起始帧为该值第一次出现局部极小值，终止帧为第三次出现局部极小值的前一帧。

4.1具有一定俯角的步态数据库实验

如图18、19所示分别为HEU(A)步态数据库的正面和背面的步态周期检测输出结果。

HEU(A)是户外环境下建立的，另外我们在2008年6月还建立了室内环境下的步态数据库HEU(B)。在有一定光照变化的实验室内建立的有一定俯角的包含20人的数据库，每个人3个视角(0°、30°、-45°)，每个视角2个序列，共120个序列。图像序列以30帧/s速度拍摄，原始尺寸为320*240(如图20所示)，实验条件：摄像机与人体行走方向相对，区域只有一个运动人体，无其他物体遮挡。该步态数据库的存储格式为avi，存储空间大约为5.85GB。如图21所示为正面的步态周期检测的输出结果。

4.2平视视角的步态数据库实验

中科院自动化所建立的数据库CASIA(A)、CASIA(B)都是在人的行走方向与摄像机镜头主轴方向垂直的条件下建立的。我们在没有俯角的步态数据库上也同样做了正面步态周期检测的实验。

2001年，中科院自动化所在室外环境下建立包含20个对象的CASIA(A)库：行人相对于摄像机而言以侧面、正面和倾斜三个视角行走，每人每个视角4个序列，总计包括240个序列，图像序列以25帧/s速度拍摄，原始尺寸为352*240(如图22所示)，且平均长度为100帧。每个序列的帧数介于37和127之间，整个步态数据库包含13139幅图像。如图23所示为背面步态周期检测的输出结果。2005年1月，他们在室内环境下建立包含124个对象CASIA(B)库，行走状态有正常、外套变化和背包，数据拍摄角度分别与人的行走方向成0°、18°、...、180°(间隔18°)，共11个拍摄方向同时采集，视频的尺寸为320*240(如图24所示)，图像序列以25帧/s速度拍摄，且每人每个角度正常步态序列为6个、外套变化为2个以及背包的序列2个，总计13640个序列。如图25、26所示分别为正面、背面步态的周期检测的输出结果。

实验结果总结如表1所示，这些周期检测的实验结果都达到了人为主观判断的精度，我们没有采用自相关分析的方法，是因为一段步态视频中行人行走速度不一定保持恒定。而我们是直接检测下臂摇摆区域像素数信号的极小值，进而分割正面的步态周期。本专利提供的方法最终做成一个基于视频流的步态周期检测模块，即输入是步态视频流，输出是分割出一个步态周期的结果。

表1正面步态的周期检测结果

	HEU(A)	HEU(B)	CASIA(A)	CASIA(B)
					是否俯视	是	是	否	否
是否户外	是	否	是	否
					帧频(％/帧/s)	30	30	25	25
周期(％/帧)	30或31	30	26	24或23

Claims (5)

1、一种基于视频的正面步态周期检测方法，包括行人目标轮廓的获取和正面步态的周期检测；其特征是：所述的行人目标轮廓获取的方法为，首先从视频中提取单帧图像进行灰度变换，然后选择不含人体的图像作为整个视频的原始背景图像，采用背景实时更新的背景减除法提取人体目标，Kapur熵阈值法对图像序列进行二值化处理，用数学形态学填补二值化图像的空洞、单连通分析提取人的侧影，使人体居中，将图像的大小统一为64*64像素，最后对分割出的人体进行检测，将包含不完整人体的冗余帧去除；所述的正面步态的周期检测的方法是根据肢体占身高比例关系，将下臂的摇摆区域像素点的数目变化情况作为判断正面步态周期的依据。

2、根据权利要求1所述的基于视频的正面步态周期检测方法，其特征是：所述的根据肢体占身高比例关系将下臂的摇摆区域像素点的数目变化情况作为判断正面步态周期的依据的判断方法是，首先对归一化后的单帧进行正面和非正面步态的粗分类，若为正面步态，统计下臂的摇摆区域像素点的数目变化，若为非正面步态，统计膝盖的宽度变化，从第一次出现局部极值到第三次再出现局部极值即为一个步态周期。

3、根据权利要求2所述的基于视频的正面步态周期检测方法，其特征是：所述的下臂的摇摆区域是归一到64*64像素图像中的第25、26、27、28、29行区域。

4、根据权利要求3所述的基于视频的正面步态周期检测方法，其特征是：所述的膝盖宽度是归一到64*64像素图像中的第47行像素的最左点到最右点之间的像素数目。

5、根据权利要求4所述的基于视频的正面步态周期检测方法，其特征是：所述的下臂的摇摆区域是单帧图像的25～29行中任意一行或临近的多行像素。

Images