CN104834893A - 一种正面视角的行人步态周期检测方法 - Google Patents

Abstract

一种正面视角的行人步态周期检测方法，包括行人目标轮廓提取与正面步态周期检测两个方面。首先输入正面步态视频，提取单帧图像，采用背景减除法，利用尾帧进行背景建模，采用局部阈值法对人体下三分之一区域和上三分之二区域分别采用最大类间方法选取合适的阈值进行二值化，得到完整的人体轮廓二值化图像。然后将人体目标化分为左、右两部分，提取人体目标下三分之一区域的左右腿长度和上肢摆动幅度，将上、下肢特征融合，作为判断依据进行正面步态的周期检测。本发明具有计算量小、无需预先保存静态背景、对光照等环境噪声和阴影具有很好的鲁棒性等优点，对于正面视角的步态周期检测十分有效，为正面步态的实时跟踪与识别提供可能。

Description

一种正面视角的行人步态周期检测方法

技术领域

本发明涉及计算机视觉和生物特征识别领域，尤其是一种适用于正面视角的行人步态周期检测方法。

背景技术

步态是人类步行时的姿态，是各种步态特征的集合表现。步态识别是指将人行走时的姿势作为特征信息来实现对个人身份的一种识别方法，是新兴的生物特征识别方法之一。不同人的走路姿势都是各不相同的，都具有唯一性，且都具有长期稳定性。因此，可根据步态特征来检测行人的身份。近年来，步态识别以其低分辨率、易采集、不易伪装与模仿等优势而成为视觉检测和模式识别领域研究的热点之一，在智能监控、医学、运动分析、虚拟现实以及基于模型编码领域得到了广泛应用，具有很强的理论意义和现实价值。

人体正常条件下的行走姿态是具有周期性的，一个步态周期就包含了几乎全部的步态信息，因而为减少计算量，在进行步态识别之前需要对步态周期进行检测，然后从人体步态视频序列中的某一周期提取出一组特征帧，从而提取行人的步态特征。目前，国内、外学者在步态周期检测方面做了大量的研究。Boulgouris等人通过利用前景像素和的自相关分析法获得步态周期；Collins等人通过分析人体高度和宽度的周期性变化获得步态周期；Kale等人通过人体宽度向量的范数随时间的变化来分析步态的周期特性；陈实等人通过人体局部轮廓的点分布直方图获取步态周期。

可是，上述这些方法都不能应用在正面步态的周期检测上，因为正面步态序列中人体宽度是基本保持不变的。目前针对正面视角步态的周期检测方法不多，高海燕等人根据脚踝以下部分在一个步态周期中呈现出"W-U-W-U"的变化规律，利用人体下1/4部分区域人体中心线左右两侧像素点数目之差的变化规律来检测周期，但由于受脚部阴影响而使中心线的位置不准，最终导致周期分割不准确，且算法复杂。王科俊等人根据下臂摇摆区域像素点的数目变化情况确定正面步态周期，但这种方法受到行人衣着的干扰较大，且当行人携带物品时，胳膊的摆动会受到严重影响甚至相对于躯干完全静止，需要预先保存静态背景且适用性差。潘兴广等人利用下肢摆动的面积变化来计算步态周期，但单一的特征使得受脚部阴影影响较大，最终导致周期分割不准确。目前的适用于正面视角的步态周期检测方法较少，且因条件限制使得检测结果不准确、适用性差。步态周期检测的准确度会严重影响后期步态识别的精确度，而现有的步态识别算法基本都是在假定周期分割很好的情况下进行特征提取与目标识别的。

综上所述，快速准确的分割步态周期、提高适用性，对步态识别具有非常重要的意义。

发明内容

本发明的目的是提供一种适用于正面视角、计算量小、无需预先保存静态背景、对光照等环境噪声和阴影具有很好鲁棒性的正面视角的行人步态周期检测方法。

本发明所要解决的技术问题由以下技术方案实现，所述检测方法包括以下步骤：

(1)输入行人正面步态的视频，提取单帧图像，经灰度变换获得灰度图像序列，将经过预处理得到的二值图像中包含不完整人体目标的冗余帧去除；

(2)采用背景减除法，利用尾帧进行背景建模；提取视频图像中含有完整人体目标的最后一帧，作为迭代法的静态背景，将所有帧对视频最后一帧做减法运算，得到二值化图像序列，图像中包含一个白色轮廓，定义为外静态轮廓，白色区域中存在一个黑色轮廓，定义为内静态轮廓；

(3)利用统计相邻帧差法对得到的二值化图像序列进行分析，分别提取出内、外静态轮廓，并通过连通性分析，只保留外静态轮廓及其外侧的点，之后将二值图像取反，分别与利用尾帧进行背景建模得到的图像序列相加，提取完整的人体目标轮廓；

(4)从上至下扫描人体目标，在人体身高的下三分之一高度处将人体目标轮廓划分为上、下两部分。采用局部阈值法，对人体上、下区域分别采用最大类间方法对图像进行二值化处理；

(5)从左至右扫描人体目标身高的下三分之一高度处，标记此处人体轮廓两侧的边缘点，利用对称性确定中心线横坐标，将人体目标轮廓划分为左、右两部分，提取人体下三分之一区域的左、右腿投影的长度以及提取人体左、右上肢的摆动幅度，得出变化曲线，将其作为判断正面步态周期的依据；提取人体下三分之一区域的左、右腿的长度的方法如下：扫描人体目标轮廓的左、右腿最低点的纵坐标，分别提取左、右腿最低点与人体下三分之一高度处的纵向距离，得出变化曲线。提取人体左、右上肢的摆动幅度的方法如下：根据人体四肢比例，确定人体腕关节的高度，扫描最左、最右的人体轮廓边缘点，得出两点的横坐标与分割中心线横坐标的差值。

(6)将人体上、下肢特征进行相加融合；将人体目标下三分之一区域左腿长度与左侧上肢摆动幅度进行加法运算，获得左侧周期特征，将右腿长度与右侧上肢摆动幅度进行加法运算，获得右侧周期特征；

(7)提取人体目标左侧周期特征和右侧周期特征，将人体左、右侧周期特征进行减法运算，得到步态周期的周期曲线，确定人体步态周期的最终结果。

与现有技术相比，本发明具有如下优点：

1、计算量小，大大缩短周期检测时间，具有良好的快速性；

2、利用视频尾帧进行背景建模提取目标轮廓，解决了正面步态视频无静态背景的问题；

3、对光照等环境噪声具有很好的鲁棒性，将下肢运动产生的长度变化特征和上肢摆动产生的幅度变化特征融合，使用更全面的信息进行步态周期检测，弥补了单一特征不稳定造成周期检测结果不准确的缺点，扩大了检测方法的适用范围。

附图说明

图1是本发明方法的流程图。

图2是无静态背景的背景减除图像。

图3是本发明方法利用尾帧进行背景建模的背景减除图像。

图4a)是像素值没有变化的点的集合图像。

图4b)是填补空洞后图像。

图5是利用尾帧进行背景建模的运动目标轮廓提取的过程图。

图6是采用局部阈值处理的二值化图像。

图7是人体目标区域左右部分分割图。

图8是人体下三分之一区域左右腿长度示意图。

图9是人体下肢长度差值变化曲线图。

图10是人体上肢左、右摆动幅度示意图。

图11是人体上肢摆动幅度差值变化曲线图。

图12a)是基于人体左、右周期特征融合的正面步态周期曲线图。

图12b)是平滑后的正面步态周期曲线图。

图13是本发明方法的正面步态周期检测结果。

具体实施方式

下面结合附图对本发明做更详细的描述：

如图1所示的流程图，所述检测方法包括以下步骤：

(1)输入行人正面步态的视频，提取单帧图像，经灰度变换获得灰度图像序列，将经过预处理的二值图像中包含不完整人体目标的冗余帧去除；

(2)当步态视频中不存在预先保存的静态背景时，利用迭代法进行背景建模的背景减除法就无法进行。对于正面视角步态序列，由于从第一帧开始就存在运动前景，始终存在一个区域(第一帧运动前景区域)被运动目标遮挡，这部分背景无法提取出来，运动分割后人体区域会出现一个空洞，减除结果如图2所示。采用背景减除法，利用尾帧进行背景建模；提取视频图像中含有完整人体目标的最后一帧，作为迭代法的静态背景，将所有帧对视频最后一帧做减法运算，得到二值化图像序列。

利用尾帧进行背景建模，首先去除步态视频中含有不完整人体区域的冗余帧，之后将最后一帧作为迭代法的静态背景，进行背景减除，称之为“尾帧建模”。如图3所示为背景减除结果，得到的图像中有一个大的白色轮廓，经过分析即是最后一帧图像中的运动轮廓，称之为“外静态轮廓”；外静态轮廓外侧全部是黑色，而外静态轮廓内部是一个由小变大的黑色运动目标，经过分析，为运动目标，第一帧外静态轮廓内部的运动目标最小，称之为“内静态轮廓”。利用“尾帧建模”进行背景减除，运动目标以外的噪声被滤除掉了，内部的黑色运动目标即是所需分割出的运动前景。

通过尾帧进行背景建模后的图像要经过一系列处理后才可以得到完整的运动人体轮廓。通常利用统计相邻帧差法对得到的图像序列进行分析，即可得到完整的运动前景。视频序列记录了视频目标在一段时间内的运动的变化信息，因此，理想的视频分割方法是在较长的时间范围内对数据进行分析并且充分利用帧间的相关信息。基于这一思路，对各个像素点沿时间轴的变化规律进行分析，定义视频序列像素点像素值为I(x,y,i)，x，y表示空间坐标，i表示帧数，视频帧差CMD(Changing Detection Mark)代表相邻帧之间像素值的变化。

${\mathrm{CMD}}_{x,y}\left(i\right)=\left\{\begin{array}{c}d,\mathrm{if}(d>T)\\ 0,\mathrm{if}(d<T)\end{array}\right.,d=|I(x,y,i+1)-I(x,y,i)|$

式中，d代表相邻两帧像素值的差，T是判断像素变化与否的阈值。

(3)根据各个点像素值变化的统计规律，外静态轮廓及其外侧的点，还有内静态轮廓以内的点，像素值基本都没有太大变化，内、外静态轮廓之间的点像素值有从白到黑的变化。根据这一规律，即可分别提取出外静态轮廓和内静态轮廓，图4a)为像素值没有变化的点的集合。通过连通性分析，只保留外静态轮廓及其外侧的点，处理结果如图4b)所示。之后将二值图像取反，分别与“尾帧建模”得到的图像序列相加，即可得到完整的行人目标轮廓，如图5所示。通过这样一系列操作，就可以在没有静态视频情况下也能够很好的完成运动区域分割，并且可以去除由光照变化等造成的噪声。

(4)从上至下扫描人体目标，在人体身高的下三分之一高度处将人体目标轮廓划分为上、下两部分。采用局部阈值法，对人体上、下区域分别采用最大类间方法对图像进行二值化处理。

最大类间方差法，是一种实现自适应阈值计算的方法。针对正面步态视频的运动目标提取常出现的两种情况：当取阈值较小时，人体上部分空洞较小，但人体下肢区域常出现大面积阴影；当取阈值较大时，人体下肢区域形成的阴影面积较小，但人体上部会出现大面积的空洞。为此，采用局部阈值法，对人体下三分之一区域和上三分之二区域分别采用最大类间方法选取合适的阈值，分别后处理后再将图像拼接在一起，最终得到完整且准确的人体轮廓二值化图像，如图6所示。该方法的优点在于既可以杜绝大面积空洞的出现，也同时消除了下肢区域的阴影，保留了完整的下肢特征。

(5)从左至右扫描人体目标身高的下三分之一高度处，标记此处人体轮廓两侧的边缘点，利用对称性确定中心线横坐标，将人体目标轮廓划分为左、右两部分。提取人体下三分之一区域的左、右腿投影的长度以及提取人体左、右上肢的摆动幅度，得出变化曲线，将其作为判断正面步态周期的依据；提取人体下三分之一区域的左、右腿的长度的方法如下：扫描人体目标轮廓的左、右腿最低点的纵坐标，分别提取左、右腿最低点与人体下三分之一高度处的纵向距离，得出变化曲线。提取人体左、右上肢的摆动幅度的方法如下：根据人体四肢比例，确定人体腕关节的高度，扫描最左、最右的人体轮廓边缘点，得出两点的横坐标与分割中心线横坐标的差值。

(6)正面步态周期检测

一个步态周期基本包含了步态的全部特征，一个步态周期有四个关键帧，分别是两腿合并时左脚摆动，称为右单撑；两腿迈开时左腿在前，称为右双撑；两腿合并时右脚摆动，称为左单撑，和两腿迈开时右脚在前，称为左双撑。也就是说，在一个完整的步态周期中，人体行进了两个跨步的距离。

1)人体目标区域左右部分分割

做出人体目标轮廓的最小外接矩形，矩形框的高度记为H。根据人体正面行走时下肢大腿宽度的左右对称性，从左至右扫描人体二值化图像下三分之一区域的第1行(即纵坐标为0.667H)，得到此行最左边为1的像素点和最右边为1的像素点，根据对称中心点横坐标确定分割线，快速、准确的将人体目标区域划分为左、右两部分，如图7所示为左、右划分结果。将扫描得到的两个像素点的横坐标分别记为X_L，X_R，可知这两点分别位于分割线左右两侧的轮廓边界线上，则分割线的横坐标X：

X＝X_L+(X_R-X_L)/2

2)基于下肢长度差值变化的步态周期检测

人体目标区域分割成左、右两部分，此处的左右是相对于观察者而言的。然后自下而上分别扫描左、右脚的最低点，分别求得人体下三分之一区域左右腿的长度，如图8所示为下肢长度示意图。图9为下肢长度差值的变化曲线。最后，对曲线进行平滑处理，求取极值点，得到正面步态周期。由于步态视频序列的前20帧人体目标过小，相差结果不准确，故从第21帧起开始进行周期检测。将步态周期曲线第二个波峰值所对应的帧图像和第三个波峰值的前一帧图像分别作为步态周期的起始帧与终止帧。

3)基于上肢左、右摆动幅度差值变化的步态周期检测

选择人体腕关节的高度位置来检测上肢的摆动幅度，根据肢体占人体身高比例，手腕关节高度的纵坐标为0.515H，从左至右扫描此行，得到此行最左边为1的像素点和最右边为1的像素点的横坐标，求得两点与分割线的垂直距离，如图10所示为上肢摆动幅度示意图，两个距离长度即为人体运动目标上肢的左、右摆动幅度。最后得出如图11所示的上肢摆动幅度差值变化曲线，可以看出曲线波动较大，但仍可观测出具有明显的周期性。

4)基于上、下肢特征融合的步态周期检测

将人体上、下肢特征进行相加融合；将人体目标下三分之一区域左腿长度与左侧上肢摆动幅度进行加法运算，获得左侧周期特征，将右腿长度与右侧上肢摆动幅度进行加法运算，获得右侧周期特征。

(7)提取人体目标左侧周期特征和右侧周期特征，将人体左、右侧周期特征进行减法运算，得到行人步态周期的周期曲线，确定人体步态周期的最终结果。如图12a)为基于人体左、右周期特征融合的正面步态周期曲线图，图12b)为平滑后的周期曲线图。

该融合方法的正面步态周期检测结果，如图13所示，达到了人眼观测的精度。该方法的优点在于摆脱了利用单一特征的周期检测方式，使用更全面的人体步态特征进行周期检测，提高了检测方法的适用性和准确性。

Claims (6)

1.一种正面视角的行人步态周期检测方法，其特征在于，所述检测方法包括以下步骤：

(1)输入行人正面步态的视频，提取单帧图像，经灰度变换获得灰度图像序列，将经过预处理的二值图像中包含不完整人体目标的冗余帧去除；

(2)采用背景减除法，利用尾帧进行背景建模；提取视频图像中含有完整人体目标的最后一帧，作为迭代法的静态背景，将所有帧对视频最后一帧做减法运算，得到二值化图像序列，图像中包含一个白色轮廓，定义为外静态轮廓，白色区域中存在一个黑色轮廓，定义为内静态轮廓；

(3)利用统计相邻帧差法对得到的二值化图像序列进行分析，分别提取出内、外静态轮廓，并通过连通性分析，只保留外静态轮廓及其外侧的点，之后将二值图像取反，分别与利用尾帧进行背景建模得到的图像序列相加，提取完整的人体目标轮廓；

(4)从上至下扫描人体目标，在人体身高的下三分之一高度处将人体目标轮廓划分为上、下两部分；采用局部阈值法，对人体上、下区域分别采用最大类间方法对图像进行二值化处理；

(5)从左至右扫描人体目标身高的下三分之一高度处，标记此处人体轮廓两侧的边缘点，利用对称性确定中心线横坐标，将人体目标轮廓划分为左、右两部分，提取人体下三分之一区域的左、右腿投影的长度以及提取人体左、右上肢的摆动幅度，得出变化曲线，将其作为判断正面步态周期的依据；

(6)将人体上、下肢特征进行相加融合；将人体目标下三分之一区域左腿长度与左侧上肢摆动幅度进行加法运算，获得左侧周期特征，将右腿长度与右侧上肢摆动幅度进行加法运算，获得右侧周期特征；

(7)提取人体目标左侧周期特征和右侧周期特征，将人体左、右侧周期特征进行减法运算，得到行人步态的最终周期曲线，确定人体步态周期的最终结果。

2.根据权利要求1所述的一种正面视角的行人步态周期检测方法，其特征在于：在步骤(2)中，利用尾帧进行背景建模，提取视频图像中含有完整人体目标的最后一帧，作为静态背景，将所有帧对视频最后一帧做减法运算，得到的图像中有一个大的白色轮廓，即是最后一帧图像中的运动轮廓，称为外静态轮廓；外静态轮廓外侧全部是黑色，而外静态轮廓内部是一个由小变大的黑色运动目标，即为运动目标，第一帧外静态轮廓内部的运动目标最小，称为内静态轮廓；利用“尾帧建模”进行背景减除，滤除掉运动目标以外的噪声，内部的黑色运动目标即是所需分割出的运动前景。

3.根据权利要求1所述的一种正面视角的行人步态周期检测方法，其特征在于：在步骤(3)中，充分利用帧间的相关信息，根据各个点像素值变化的统计规律，外静态轮廓及其外侧的点，还有内静态轮廓以内的点，像素值基本都没有太大变化，内、外静态轮廓之间的点像素值有从白到黑的变化，分别提取出外静态轮廓和内静态轮廓；通过连通性分析，只保留外静态轮廓及其外侧的点，之后将二值图像取反，分别与尾帧建模得到的图像序列相加，得到完整的行人目标轮廓。

4.根据权利要求1所述的一种正面视角的行人步态周期检测方法，其特征在于，在步骤(5)中，提取人体下三分之一区域的左、右腿的长度的方法如下：扫描人体目标轮廓的左、右腿最低点的纵坐标，分别提取左、右腿最低点与人体下三分之一高度处的纵向距离，得出变化曲线。

5.根据权利要求1所述的一种正面视角的行人步态周期检测方法，其特征在于，在步骤(5)中，提取人体左、右上肢的摆动幅度的方法如下：根据人体四肢比例，确定人体腕关节的高度，扫描最左、最右的人体轮廓边缘点，得出两点的横坐标与分割中心线横坐标的差值。

6.根据权利要求1所述的一种正面视角的行人步态周期检测方法，其特征在于：在步骤(6)中，将人体上、下肢特征进行相加融合，上肢提取左、右臂摆动的幅度特征，下肢提取左、右腿的高度差值特征，然后将左腿长度与左侧上肢摆动幅度进行加法运算，获得左侧周期特征，将右腿长度与右侧上肢摆动幅度进行加法运算，获得右侧周期特征，再将左、右特征进行融合。