CN103927524A - 一种多角度的步态周期检测方法 - Google Patents

Abstract

本发明涉及一种多角度的步态周期检测方法，其特征在于：步骤1：从步态视频流中得到二值化的步态序列，对序列进行正面步态和非正面步态分类；步骤2：若序列为正面步态，则前臂、小腿和脚部区域的图像像素变化，求取极值点，得到步态周期；步骤3：若序列为非正面步态，则检测腿部区域的能量变化，求取极值点，得到步态周期。

Description

一种多角度的步态周期检测方法

技术领域

本发明涉及一种多角度的步态周期检测方法。

背景技术

步态识别是近年来计算机视觉和生物特征识别领域的一个备受关注的研究方向，它旨在根据人走路的姿势进行身份识别。人具有相对稳定的行走动作，不同的人行走姿态各不相同，据此可识别人的身份。步态的非接触性、不易伪装、远距离等优点，在智能视频监控中有很大的应用前景。在人行走的过程中，摄像机拍摄的步态序列随着人的手臂和腿部的摆动呈现出明显的周期性，一帧图像不能识别出目标的身份，而应采用一个周期的图像序列来识别目标的身份。

目前，国内外很多研究者在步态周期检测上做了研究，BenAbdelkader等根据边界矩形框的宽度分析步态的周期性；Collins等分析了人体高度和宽度的周期性变化，观测步态周期性；Kale等通过观察人体宽度向量的范数随时间变化来分析步态的周期特性；Boulgouris等用前景像素之和的自相关性判断步态的周期；Sarkar等采用人体区域下半部分像素点的多少的周期特性确定步态的周期性变化；Li等将步态排成自相似图(SSP)，然后采用线性局部嵌入(LLE)的非线性降维方法提取一维的保留了原始几何形状的特征来分析步态的周期性；陈实等以步态序列中所有行人轮廓区域外接矩形框作为图像区域，在图像区域自底而上的1/4高度内，等量水平分割三个区域，计算各区累计轮廓点数，得到相应的点分布直方图特征检测出步态周期。王科俊等将步态的周期问题转化为单帧图像的区域特征分析问题，即根据每帧中图形区域的特征(如：面积、质心、矩、特殊点和边界框等)的变化情况来分析步态的周期，取得了较好的检测效果。

周期检测分两种情况：正面步态和非正面步态。当摄像机视角与人体行走方向成0°和180°时，称为正面步态，其余的情况统称为非正面步态。对于非正面步态，上述方法在大多数情况下均能取得较好的检测效果。但当提取的步态序列图像质量较差，有较大轮廓噪声，脚下阴影面积较大的情况下，鲁棒性并不是很好。针对正面步态的周期检测方法不是很多，主要有王科俊等采用上肢摆动引起的前臂区域像素变化来检测周期，这里既包括了上肢的左右运动，还包括了上肢在其他方向上的运动，该方法检测的局限性在于：当人穿着不同的外套时，会受到很大的干扰；当人携带物品时，其中一只胳膊，甚至两只胳膊都可能没有摆动，与躯干保持相对静止；当摄像机以较大俯角俯视场景时，对上肢的前后运动也会产生很大的影响。因此仅依靠上肢的摆动并不能适用于所有情况。高海燕采用下肢在前后运动时所引起的小腿和脚部区域的左右像素差检测周期。该方法检测的局限在于：除要求人体与摄像机的距离外，阴影对下肢有很大的影响，只有在阴影处理得很好的前提下，该方法才能取得理想的效果。

发明内容

本发明目的在于提供一种多角度的步态周期检测方法，能适应摄像机与人体距离和角度变化，对有轮廓噪声和阴影的图像序列有很好的鲁棒性。

实现本发明目的技术方案：

一种多角度的步态周期检测方法，其特征在于：

步骤1：从步态视频流中得到二值化的步态序列，对序列进行正面步态和非正面步态分类；

步骤2：若序列为正面步态，则前臂、小腿和脚部区域的图像像素变化，求取极值点，得到步态周期；

步骤3：若序列为非正面步态，则检测腿部区域的能量变化，求取极值点，得到步态周期。

步骤2中，将上肢摆动引起的前臂区域像素变化检测到的步态周期，与下肢前后运动引起的小腿、脚部区域的左右像素差检测到的步态周期，进行加权融合，加权融合公式(1)为：

$\left\{\begin{array}{c}x=\mathrm{\λ}{x}_1+(1-\mathrm{\λ})x_2\\ y=\mathrm{\λ}{y}_1+(1-\mathrm{\λ})y_2\end{array}\right.$

式中，x和y分别为融合后的步态周期始末帧，x₁和y₁分别为单独对上肢检测，并采用像素和的极大值得到的周期始末帧，x₂和y₂为单独对下肢检测得到的周期始末帧；λ为上下肢运动所占比例，0≤λ≤1。

步骤2中，加权融合检测包括以下步骤：

步骤2.1：分析图像质量确定参数λ，当λ≥0.5时，则进入步骤2.2；当λ<0.5时，则进入步骤2.5；

步骤2.2：先进行上肢图像的检测，求出x₁和y₁；

步骤2.3：再进行下肢图像的检测，在下肢图像检测的曲线上，以x₁为中心，向左右两侧搜索过零点，如果左右两侧超过阀值均未找到，则结束检测；如果找到，则该点即为x₂，进入步骤2.4；

步骤2.4：在下肢图像检测的曲线上，以y₁为中心，向左右两侧搜索过零点，如果左右两侧超过阀值均未找到，则结束检测；如果找到，则该点即为y₂，进入步骤2.8；

步骤2.5：先进行下肢图像的检测，求出x₂和y₂；

步骤2.6：再进行上肢图像的检测，在上肢图像检测的曲线上，以x₂为中心，向左右两侧搜索过零点，如果左右两侧超过阀值均未找到，则结束检测；如果找到，则该点即为x₁，进入步骤2.7；

步骤2.7：在上肢图像检测的曲线上，以y₂为中心，向左右两侧搜索过零点，如果左右两侧超过阀值均未找到，则结束检测；如果找到，则该点即为y₁，进入步骤2.8；

步骤2.8：利用加权融合公式(1)，求得x和y。

步骤3中，检测腿部区域的能量变化，通过如下公式实现：

$E(x_3,n)=\frac{1}{(h_2-h_1+1)}\underset{y_3=h_1}{\overset{h_2}{\mathrm{\&Sigma;}}}I(x_3,y_3,n),$

I(x₃,y₃,n)是第n帧步态序列的灰度值，(x₃,y₃)是步态图像某处的坐标，h₂-h₁是图像中膝盖与小腿某处的高度差。

h₂-h₁取值为小腿高度的二分之一。

所说的阀值为3帧。

本发明所具有的有益效果：

本发明对序列进行正面步态和非正面步态分类，分类进行检测，能适应摄像机与人体距离和角度变化。若序列为正面步态，本发明将上肢摆动引起的前臂区域像素变化检测到的步态周期，与下肢前后运动引起的小腿、脚部区域的左右像素差检测到的步态周期，进行加权融合，相对于使用单一信息的检测方式，本发明使用更为全面的信息进行周期检测，使得检测方法的适用范围更广，检测结果也更为准确，对有轮廓噪声和阴影的图像序列有很好的鲁棒性。若序列为非正面步态，本发明检测腿部区域的能量变化，提出了一种腿部运动范围向宽度方向投影的非正面周期检测方法，在图像质量较差，脚步有阴影，背包、穿大衣等情况下有着很好的鲁棒性。

附图说明

图1是提取的运动目标图；

图2是本发明多角度步态周期检测流程图；

图3是基于前臂摆动的正面步态周期检测曲线示意图；

图4是基于下肢的正面步态周期检测曲线示意图；

图5是本发明的正面步态周期检测结果示意图；

图6是步态周期图；

图7是人体测量学高度图；

图8是X-T Plane Energy Image

图9是非正面步态的周期检测曲线图；

图10是非正面步态的周期检测结果；

图11是正面步态周期检测结果对比表。

具体实施方式

步骤1：采用码本检测方法从步态视频流中得到二值化的步态序列，用K近邻分类器(KNN)对序列中正面和非正面步态分类；

步骤2：若序列为正面步态，则前臂、小腿和脚部区域的图像像素变化，求取极值点，得到步态周期；

当两个手臂竖直下垂时，投影到图像平面上，左右下臂区域像素数均出现极大值，当手臂摆高时，投影到图像平面上，左右下臂区域像素数均出现极小值。图3(a)、(b)、(c)分别为室内数据库CASIA(B)中同一人在不同条件下的正面步态的测试结果。图3(a)采用正常步态时，人体正面步态周期变化在该曲线上的表现还是很明显的，尤其是当人体离摄像机较近时；而穿外套和背包时，曲线的周期性很差。这里步态周期的起始帧为像素累加和第一次出现局部极小值(极大值)，终止帧为第三次出现局部极小值(极大值)的前一帧。仅依靠上肢的摆动并不能适用于所有情况。

下肢运动主要集中在脚部和小腿区域，当人体处于左双撑(右双撑)，两脚的距离最远，左右下肢区域像素数出现极大值和极小值。当人体处于左单撑或右单撑时，双脚的距离最近，左右下肢区域像素数均处于中间值，这样根据人体小腿和脚部的左右像素差的变化规律来进行步态周期检测。阴影处理较好的步态采用与图3(a)相同的步态序列，在室外数据库CASIA(A)中选用阴影处理较差的步态序列，周期检测结果如图4(a)、(b)。在图4中，实线为步态序列每帧中人体下四分之一部分区域的像素点数目差值组成的曲线，虚线为所有差值的平均值，理想情况下该值为零。人体正面步态周期变化在该曲线上的表现还是很明显的，尤其是当人体离摄像机较近时。图4中曲线的极大值和极小值处存在波动，而均值点处较为稳定，因此采用均值点得到的周期具有更好的鲁棒性。从图中还可以看出当阴影处理较好时，均值在零点附近，而当阴影处理较差时均值会产生很大的偏差，也会使得最后的周期检测结果存在很大的偏差。这里步态周期的起始帧为左右像素差第一次出现均值，终止帧为第三次出现均值的前一帧。只有在阴影处理得很好的前提下，该方法才能取得理想的效果。

将上肢摆动引起的前臂区域像素变化检测到的步态周期，与下肢前后运动引起的小腿、脚部区域的左右像素差检测到的步态周期，进行决策级融合，加权融合公式为：

$\left\{\begin{array}{c}x=\mathrm{\&lambda;}{x}_1+(1-\mathrm{\&lambda;})x_2\\ y=\mathrm{\&lambda;}{y}_1+(1-\mathrm{\&lambda;})y_2\end{array}\right.$

(1)

式中，x和y分别为融合后的步态周期始末帧，x₁和y₁分别为单独对上肢检测，并采用像素和的极大值得到的周期始末帧，x₂和y₂为单独对下肢检测得到的周期始末帧；λ为上下肢运动所占比例，0≤λ≤1。如果摄像机到人体的距离与摄像机的高度之间的比值较大，或者阴影处理较差时，前臂的摆动取较大的权值；反之，小腿的运动取较大的权值。

加权融合检测包括以下步骤：

步骤2.1：分析图像质量确定参数λ，当λ≥0.5时，则进入步骤2.2；当λ<0.5时，则进入步骤2.5；

步骤2.2：先进行上肢图像的检测，求出x₁和y₁；

步骤2.3：再进行下肢图像的检测，在下肢图像检测的曲线上，以x₁为中心，向左右两侧搜索过零点，如果左右两侧超过阀值均未找到，则结束检测；如果找到，则该点即为x₂，进入步骤2.4；

步骤2.4：在下肢图像检测的曲线上，以y₁为中心，向左右两侧搜索过零点，如果左右两侧超过阀值均未找到，则结束检测；如果找到，则该点即为y₂，进入步骤2.8；

步骤2.5：先进行下肢图像的检测，求出x₂和y₂；

步骤2.6：再进行上肢图像的检测，在上肢图像检测的曲线上，以x₂为中心，向左右两侧搜索过零点，如果左右两侧超过阀值均未找到，则结束检测；如果找到，则该点即为x₁，进入步骤2.7；

步骤2.7：在上肢图像检测的曲线上，以y₂为中心，向左右两侧搜索过零点，如果左右两侧超过阀值均未找到，则结束检测；如果找到，则该点即为y₁，进入步骤2.8；

步骤2.8：利用加权融合公式(1)，求得x和y。

上述阀值为3帧。

决策级融合四肢运动的正面周期检测结果，取得了与人眼观测相符合的结果，如图5所示。该融合方法的优点在于：相对于使用单一信息的检测方式，使用更为全面的信息进行周期检测，使得检测方法的适用范围更广，检测结果也更为准确。周期检测时会遇到这种情况：上肢检测时，周期的始末帧的特征与其相邻帧的特征相同，下肢检测时，均值处于两帧之间。也就是说，周期检测的结果很可能带有小数。使用一种信息时，只能对其进行取整，而使用两种信息时，可以先保留该值，在融合的最后再进行取整，由此增强了周期检测的鲁棒性。

参数λ＝0.5，得到如图11的正面步态周期检测结果。

步骤3：若序列为非正面步态，则检测腿部区域的能量变化，求取极值点，得到步态周期。

人体下肢的运动包括上下、左右、前后三个方向的运动，其中左右运动很微弱，可以忽略。在上下方向会有抬起，落下的周期运动。而下肢运动主要集中在前后方向上。一个非正面步态周期有五个关键帧，主要体现在双脚的位置变化上，当人体处于单脚迈出时的状态，就是图6中A、C、E位置的左双撑或右双撑，此时两脚的距离最远，左右腿部方向上灰度值的累加投影到宽度方向，能量出现极大值。当人体处于双脚合拢的状态，也就是图6中B、D位置的左单撑或右单撑时，双脚的距离最近，左右腿部方向上灰度值的累加投影到宽度方向，左右腿部区域能量出现极小值。为了更好的体现本专利提出的非正面周期算法的普适性，选择USF库中的数据分析步态运动的周期性，该库的步态序列有着较大的轮廓噪声和脚下阴影。为了消除足下阴影对检测结果的影响，根据人体测量学理论，同时借鉴X-T Plane Energy Image思想，先将人体分成四个大区域观测步态运动能量的周期变化，图6(a)、(b)、(c)、(d)分别为图7中高度H₁、H₂、H₃、H₄对应的X-T Plane Energy Image，通过观测分析，图8(d)周期变化较明显，受轮廓噪声干扰较小，鲁棒性较其他三个区域较好。因而选择观测小腿区域的能量变化来确定非正面周期。本专利高度选择膝盖处h₁到小腿某处h₂，投影到宽度方向的公式如下:

$E(x_3,n)=\frac{1}{(h_2-h_1+1)}\underset{y_3=h_1}{\overset{h_2}{\mathrm{\&Sigma;}}}I(x_3,y_3,n)---\left(2\right)$

I(x₃,y₃,n)是第n帧步态序列的灰度值，(x₃,y₃)是步态图像某处的坐标，h₂-h₁是图像中膝盖与小腿某处的高度差。h₂-h₁取值为小腿高度的二分之一。

为了得到较准确的非正面周期检测数据，消除大衣、背包和鞋对步态周期的影响，本专利选择h₂位于小腿1/2处，即为h处(如图7)，缩小了观测范围，减少了检测整个腿部区域的计算量，同时消除了足下阴影对步态周期的影响。图8(d)的周期变化呈现对称性，是左腿、右腿周期交替运动的结果。高度表征帧数，从下向上递增，如图8(d)中箭头标示；宽度呈现投影信息，将每一帧对应的宽度方向上的各像素点灰度值累加，得到如图9所示的实验结果。图9(a)为对整个腿部能量变化的周期检测结果、图9(b)为膝盖到小腿1/2处的能量变化周期检测、图9(c)为较常用的宽高比法的周期检测结果，图9(b)得到了相较图9(a)更明显的波峰和波谷，由于轮廓噪声较大，图9(c)的方法得到的波峰波谷有较多毛刺，检测结果不如图9(a)、(b)。这里步态周期的起始帧为第一次出现局部极小值(极大值)，终止帧为第三次出现局部极小值(极大值)的前一帧。

图7是人体测量学高度比例，图7中，h₁和h₂高度分别用箭头标注，该值在具体实时条件下可调，根据具体的衣着情况和图像质量从h到脚踝范围变化。

Claims (6)

1.一种多角度的步态周期检测方法，其特征在于：

步骤1：从步态视频流中得到二值化的步态序列，对序列进行正面步态和非正面步态分类；

步骤2：若序列为正面步态，则前臂、小腿和脚部区域的图像像素变化，求取极值点，得到步态周期；

步骤3：若序列为非正面步态，则检测腿部区域的能量变化，求取极值点，得到步态周期。

2.根据权利要求1所述的多角度的步态周期检测方法，其特征在于：步骤2中，将上肢摆动引起的前臂区域像素变化检测到的步态周期，与下肢前后运动引起的小腿、脚部区域的左右像素差检测到的步态周期，进行加权融合，加权融合公式(1)为：

$\left\{\begin{array}{c}x=\mathrm{\&lambda;}{x}_1+(1-\mathrm{\&lambda;})x_2\\ y=\mathrm{\&lambda;}{y}_1+(1-\mathrm{\&lambda;})y_2\end{array}\right.$

式中，x和y分别为融合后的步态周期始末帧，x₁和y₁分别为单独对上肢检测，并采用像素和的极大值得到的周期始末帧，x₂和y₂为单独对下肢检测得到的周期始末帧；λ为上下肢运动所占比例，0≤λ≤1。

3.根据权利要求2所述的多角度的步态周期检测方法，其特征在于：步骤2中，加权融合检测包括以下步骤：

步骤2.1：分析图像质量确定参数λ，当λ≥0.5时，则进入步骤2.2；当λ<0.5时，则进入步骤2.5；

步骤2.2：先进行上肢图像的检测，求出x₁和y₁；

步骤2.3：再进行下肢图像的检测，在下肢图像检测的曲线上，以x₁为中心，向左右两侧搜索过零点，如果左右两侧超过阀值均未找到，则结束检测；如果找到，则该点即为x₂，进入步骤2.4；

步骤2.4：在下肢图像检测的曲线上，以y₁为中心，向左右两侧搜索过零点，如果左右两侧超过阀值均未找到，则结束检测；如果找到，则该点即为y₂，进入步骤2.8；

步骤2.5：先进行下肢图像的检测，求出x₂和y₂；

步骤2.6：再进行上肢图像的检测，在上肢图像检测的曲线上，以x₂为中心，向左右两侧搜索过零点，如果左右两侧超过阀值均未找到，则结束检测；如果找到，则该点即为x₁，进入步骤2.7；

步骤2.7：在上肢图像检测的曲线上，以y₂为中心，向左右两侧搜索过零点，如果左右两侧超过阀值均未找到，则结束检测；如果找到，则该点即为y₁，进入步骤2.8；

步骤2.8：利用加权融合公式(1)，求得x和y。

4.根据权利要求3所述的多角度的步态周期检测方法，其特征在于：步骤3中，检测腿部区域的能量变化，通过如下公式实现：

$E(x_3,n)=\frac{1}{(h_2-h_1+1)}\underset{y_3=h_1}{\overset{h_2}{\mathrm{\&Sigma;}}}I(x_3,y_3,n),$

I(x₃,y₃,n)是第n帧步态序列的灰度值，(x₃,y₃)是步态图像某处的坐标，h₂-h₁是图像中膝盖与小腿某处的高度差。

5.根据权利要求4所述的多角度的步态周期检测方法，其特征在于：h₂-h₁取值为小腿高度的二分之一。

6.根据权利要求3所述的多角度的步态周期检测方法，其特征在于：所说的阀值为3帧。