CN103679171B - 基于人体重心轨迹分析的步态特征提取方法 - Google Patents

Abstract

本发明公开了一种基于人体重心轨迹分析的步态特征提取方法，包括下述步骤：S1、步态检测与跟踪，将原始视频图像转换为单通道灰度图像，再进行高斯滤波平滑图像，并将图像转换为二值图；S2、计算人体重心位置，将运动目标运动中每一帧图像的重心坐标在同一坐标系中连接，得到行人的重心轨迹；S3、将去噪后的步态波形输入计算机，应用公式计算出对应于K次谐波频率的谐波振幅，并绘制输出相应的频谱图。本发明不仅能解决当前提取特征方法面临的难题，还能从复杂的步态图像中提取出一维的步态特征向量，便于进一步的分析、训练和识别。

Description

基于人体重心轨迹分析的步态特征提取方法

技术领域

本发明涉及信息科学的技术领域，特别涉及一种基于人体重心轨迹分析的步态特征提取方法。

背景技术

目前，步态特征主要由人行走的图像的不同帧之间的差异来表示。由于人行走过程的图像差异主要表现为腿部和双脚的变化，所以当前的步态特征提取主要是以腿部角度和双脚与地面角度的变化来实现，即使是基于整体图像的速度、形状、色彩等相关特征提取的步态特征，最根本的变化仍然是双臂和双腿的摆动引起的变化，躯干部分的变化仍然是可忽略的。

已知当前的步态特征提取技术都基于轮廓提取技术，而轮廓极易受到行人的服饰、携带物和行走方向的影响，从而使提取的步态特征不能反映本质的步态习惯。尤其当服饰遮盖至腿部以下时，传统的特征提取方法则会完全失去识别能力。

发明内容

为了克服现有的步态特征提取方法易受服饰、携带物和行走方向影响的缺陷，本发明提出一种基于人体重心轨迹分析的步态特征提取方法，该方法不仅能解决当前提取特征方法面临的难题，还能从复杂的步态图像中提取出一维的步态特征向量，便于进一步的分析、训练和识别。

本发明的目的通过下述技术方案实现：

基于人体重心轨迹分析的步态特征提取方法，包括下述步骤：

S1、步态检测与跟踪，将原始视频图像转换为单通道灰度图像，再进行高斯滤波平滑图像，并将图像转换为二值图；

S2、计算人体重心位置，将运动目标运动中每一帧图像的重心坐标在同一坐标系中连接，得到行人的重心轨迹，重心轨迹则包含了人行走的步态特征，通过对重心轨迹进行频谱分析得到步态特征向量；

S3、将去噪后的步态波形输入计算机，应用公式计算出对应于K次谐波频率的谐波振幅，并绘制输出相应的频谱图；观察并统计出数据库中不同人的频率、振幅、主要频率等相关数据；由于行走方向会使得提取的目标区域整体放大或缩小，引起重心坐标呈现整体的放大或缩小趋势，从而使频谱图的振幅呈现整体的放大或缩小，通过检测频谱图的谱峰分布即可消除振幅幅值的影响。通过观察、计算，找出反映步态特征的主要信号值，形成作为模式识别输入的特征信号向量空间。

步骤S1中，采用三帧差分发将高斯滤波后的图像转为为二值图，具体计算如下：

式中：I_n(x)表示第n帧图像在像素位置x处的具有统计意义的描述灰度变化的域值，I_n-1(x)表示第n-1帧图像在像素位置x处的灰度域值，I_n-2(x)表示第n-2帧图像在像素位置x处的灰度域值，T_n(x)则表示第n帧图像灰度变化的阈值，；当某像素位置x处的灰度值相对于上一帧和前一帧都有较大变化，即超过阈值时，则认为该点像素属于运动目标，这样将运动目标从背景中分离出，重复操作即得到一系列前景目标图像。

步骤S2中，计算人体重心位置的具体方法为：

S21、通过人体区域像素计算重心坐标；

由于对检测出的运动目标区域内部通常产生中空，而目标重心的计算公式中的求和运算具有正负抵消作用，这样一定程度上消除了中空对特征检测的影响，因此后续的目标特征选取为目标的重心变化，计算如下：

N=目标区域内像素点数

S22、根据目标高度归一化重心坐标值；

由于行人在行走过程中与摄像头的距离不断变化，导致照片中人体大小产生变化，从而使检测到的人体重心轨迹呈现整体升高或下降的趋势；采用将每帧图像中计算得到的重心坐标值除以当前帧人体高度的方法消除该影响，公式如下：

h=y_max-y_min

式中，h表示当前帧人体高度，y_max表示人体目标的y坐标最大值，y_min表示人体目标的y坐标最小值，gait₁表示初始得到的重心坐标值，gait₂表示归一化后的重心坐标值。依次求出视频中每一帧图像的目标重心并记录，就可绘出行走目标的重心运动轨迹波形图；

S23、将运动轨迹波形存储，构建步态波形数据库；将测试者分为标准组、服饰组和负重组，每一组进行多视角测量，计算并记录实时重心轨迹，此时即将步态特征量从高维图像空间转换到一维电气信号波形的空间。

步骤S2中，人体行走的步态波形是时间的连续函数x(t)，但实际上只能在有限的时间T内收集到有限的x(t)值；把x(t)当作以T为周期的连续函数，则可将它展开为傅立叶级数，其指数形式如下：

K=0、±1、±2、±3……

式中：f=1/T为周期函数x(t)基频，2f，3f…kf分别成为二次谐波频率，三次谐波频率，…,K次谐波频率；C_K为x(t)的富氏系数，它为复数，其模|C_K|即各次谐波的振幅，|C₀|为各次谐波的平均振幅，|C₁|、|C₂|、……|C_K|分别称为基波振幅，二次谐波振幅，.......K次谐波振幅。

进一步的，对主频进行分析，主频成分是指高于阈值的波峰所对应的频段，由于重心的左右摆动和上下震荡主要表现为小幅波动，所以，因人体的行走方向所形成的轨迹波动是重心轨迹波形的主要组成部分，反映在频谱图的最低频段。

对主频振幅进行分析，主频振幅是指各主频成分所对应的正弦波幅值的大小；当人在行走过程中步态高低起伏明显时，正侧面视角下的重心轨迹波形的振幅就会较大，反映在频谱图上即是低频段波峰对应波峰幅值较大。

采用分割量化的方法对测量得到的频谱图进行量化，得到可以直接进行识别的数据特征向量；即统计频谱图在各个频段的波峰数目，如果没有波峰则记为0，最后统计得到的0、1序列即为量化得到的步态特征值；将该特征量输入模式识别工具即可进行识别。

本发明相对于现有技术具有如下的优点及效果：

1、本发明不仅能解决当前提取特征方法面临的难题，还能从复杂的步态图像中提取出一维的步态特征向量，便于进一步的分析、训练和识别。

2、采用本发明的技术方案，已知一个人行走一次的步态序列特征，当其改变其服饰（包括覆盖至腿部以下的服饰）、携带物和行走方向时，得到的步态特征是类相似的，可以有效与其他行人提取的特征区分开。

3、本发明将重心的波动轨迹作为步态描述的基本特征，重心波动同时受到骨骼密度、肢体躯干比例、腿部长度等多方面因素的影响，具有不易伪装的优势，而且通过以点代面的方式动态地研究步态规律，避免了传统的轮廓分析的复杂过程。即使行人轮廓被部分遮挡，只要能拍摄到行人行走周期的视频，即可提取出重心的波动。

4、本发明将基于傅里叶变换的频谱分析方法引入对步态重心轨迹的处理过程中，可以解决因拍摄视角引起的重心轨迹的整体趋势不同造成的影响，并且使微小的波动特征得以放大，对研究具有多样性的步态特征具有独特的优势。

5、本发明将波峰的分布特征作为识别的基本特征，一方面可以方便地检测和消除噪声，另一方面可以清晰地反映不同人的重心波动在各个频段的分布特点。因不同人在行走过程中重心的波动在不同频段的分布会有较大差异，因此本方法提取的特征向量具有很好地区分度。

6.本发明中二维图像的重心计算公式使用了加和的计算方法，可以有效地消除运动目标检测过程中引起的空洞和随机噪声，所以对于不具有较高清晰度的步态视频仍可以进行提取和识别。

附图说明

图1是本发明的流程图；

图2（a）是人体重心示意图；

图2（b）是跟踪得到的重心轨迹图；

图3（a）是重心没有超过垂直幅度时从正面看的重心位移示意图；

图3（b）是从侧面看的重心位移示意图；

图4是人体在行走过程中的轨迹波形图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本发明基于人体重心轨迹分析的步态特征提取方法，包括下述步骤：

1.步态检测与跟踪

先将原始视频图像转换为单通道灰度图像，再进行高斯滤波平滑图像，然后采用三帧差分法转化为二值图，具体计算如下：

式中：I_n(x)表示第n帧图像在像素位置x处的具有统计意义的描述灰度变化的域值，I_n-1(x)表示第n-1帧图像在像素位置x处的灰度域值，I_n-2(x)表示第n-2帧图像在像素位置x处的灰度域值，T_n(x)则表示第n帧图像灰度变化的阈值，当某像素位置x处的灰度值相对于上一帧和前一帧都有较大变化，即超过阈值时，则认为该点像素属于运动目标，这样将运动目标从背景中分离出，重复操作即得到一系列前景目标图像。

2.计算人体重心位置

通过人体区域像素计算重心坐标。

由于该方法对检测出的运动目标区域内部通常产生中空，而目标重心的计算公式中的求和运算具有正负抵消作用，这样一定程度上消除了中空对特征检测的影响，因此后续的目标特征选取为目标的重心变化，计算如下：

N=目标区域内像素点数

（1）根据目标高度归一化重心坐标值。

如图2(a)所示，由于行人在行走过程中与摄像头的距离不断变化，导致照片中人体大小产生变化，从而使检测到的人体重心轨迹呈现整体升高或下降的趋势（先仅考虑单方向行走），图2（a）中，h表示当前帧人体高度，P表示人体的重心位置，l表示足跟中心到人体重心P的距离。本文中采用将每帧图像中计算得到的重心坐标值除以当前帧人体高度的方法消除该影响，公式如下：

h=y_max-y_min

式中，h表示当前帧人体高度，y_max表示人体目标的y坐标最大值，y_min表示人体目标的y坐标最小值，gait₁表示初始得到的重心坐标值，gait₂表示归一化后的重心坐标值。依次求出视频中每一帧图像的目标重心并记录，就可绘出行走目标的重心运动轨迹波形图，如图2(b)所示。

将运动轨迹波形存储，构建步态波形数据库。将测试者分为标准组、服饰组和负重组，每一组进行多视角测量，计算并记录实时重心轨迹，此时即将步态特征量从高维图像空间转换到一维电气信号波形的空间。

3.频谱分析重心轨迹波形

人在行走过程中双腿的支撑和摆动交替进行，再加上上肢的摆动以及躯干的扭动，使得人体的重心产生移动。假设在行走过程中腿是刚体，即在行走过程中，跟骨到人体重心的距离在行走过程中始终保持不变，则当某条腿从落足、支撑到摆动过程中，在人体的正面视角上，人体重心的运行轨迹是以该足跟骨为中心，跟骨到重心的距离长为半径的一段向上凸的圆弧。在行走过程中，在两侧人体左右摇晃有的超过腿和地面垂直的幅度，有的则没有超过该幅度。如图3（a）和图3（b）所示：

而从人体的侧面看，重心的运行轨迹则是上下方向和行走方向波动的叠加，而在任意视角下观测到重心轨迹则是左右、上下和人体前进三个方向波动的叠加。

图3（a）中，x轴方向表示的是人左右的方向，且人的右手方向为x轴的正方向，y轴方向表示的是重心的高度，曲线C1、C2表示的分别是左足与地面垂直发展到右足与地面垂直阶段的运行轨迹，它们分别是以M、N（左足、右足的足跟中心）点为圆心，足跟中心到人体重心P的距离l为半径的两个向上凸圆弧，在运动过程中人身体摇晃的幅度的两侧边界为腿和地面垂直时情形，这里的θ=∠AMP=∠BNP=arcsin a/l为摇晃的角度，如图3（a）中的AN、BM表示为左腿和右腿与地面垂直。图3（b）中，x轴方向表示人行走的方向，y轴方向表示重心的高度，点A、C、E、G表示重心位置最低，是在行走过程中左右两足起足和落足交替瞬间时；B、D、F表示重心位置最高，是在某腿和地面垂直瞬间时。

因此，当人体脚跟到重心的距离较长（腿部较长）时，行走中重心在左右方向波动轨迹形成的圆弧半径就会较大，使得在频谱分析中需要使用较大周期的正弦函数来叠加，致使频谱图的低频部分存在波峰；而重心在上下方向的震荡则主要受到行走姿势的影响，如果上下起伏大，反映在频谱图上的各频率振幅就会偏大。不难得出，不同的人体特征和行走习惯必然会表现为重心轨迹谱图分布的不同。

人体行走的步态波形是时间的连续函数x(t)。但实际上只能在有限的时间T内收集到有限的x(t)值。把x(t)当作以T为周期的连续函数，则可将它展开为傅立叶级数，其指数形式如下：

(K=0、±1、±2、±3……)

式中：f=1/T为周期函数x(t)基频，2f，3fkf分别成为二次谐波频率，三次谐波频率，…,K次谐波频率等。C_K为x(t)的富氏系数，它为复数，其模|C_K|即各次谐波的振幅。|C₀|为各次谐波的平均振幅，|C₁|、|C₂|、……|C_K|分别称为基波振幅，二次谐波振幅，.......K次谐波振幅。

1）主频成分分析

主频成分是指高于阈值的波峰所对应的频段。由于重心的左右摆动和上下震荡主要表现为小幅波动，所以，因人体的行走方向所形成的轨迹波动是重心轨迹波形的主要组成部分，反映在频谱图的最低频段。而且频段分布主要受人体行走速度的影响，示意图如图4所示，其中实线表示行走速度较快时的波形图；虚线表示运行速度较慢时的波形图。

当行走速度较快时，体现在侧面视角轨迹波形的周期就会较大，从而使频谱图上低频段对应的频率值变小。

2）主频振幅分析

主频振幅是指各主频成分所对应的正弦波幅值的大小。当人在行走过程中步态高低起伏明显时，正侧面视角下的重心轨迹波形的振幅就会较大，反映在频谱图上即是低频段波峰对应波峰幅值较大。

3）组合成特征向量

采用分割量化的方法对测量得到的频谱图进行量化，得到可以直接进行识别的数据特征向量。即统计频谱图在各个频段的波峰数目，如果没有波峰则记为0，最后统计得到的0、1序列即为量化得到的步态特征值。将该特征量输入模式识别工具即可进行识别。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.基于人体重心轨迹分析的步态特征提取方法，其特征在于，包括下述步骤：

S1、步态检测与跟踪，将原始视频图像转换为单通道灰度图像，再进行高斯滤波平滑图像，并将图像转换为二值图；

S2、计算人体重心位置，将运动目标运动中每一帧图像的重心坐标在同一坐标系中连接，得到行人的重心轨迹，重心轨迹则包含了人行走的步态特征，通过对重心轨迹进行频谱分析得到步态特征向量；

S3、将去噪后的步态波形输入计算机，应用公式计算出对应于K次谐波频率的谐波振幅，并绘制输出相应的频谱图；观察并统计出数据库中不同人的频率、振幅、主要频率等相关数据；由于行走方向会使得提取的目标区域整体放大或缩小，引起重心坐标呈现整体的放大或缩小趋势，从而使频谱图的振幅呈现整体的放大或缩小，通过检测频谱图的谱峰分布即可消除振幅幅值的影响，通过观察、计算，找出反映步态特征的主要信号值，形成作为模式识别输入的特征信号向量空间；

步骤S2中，计算人体重心位置的具体方法为：

S21、通过人体区域像素计算重心坐标；

重心坐标计算公式如下：

$x_{w\left(i\right)}=\frac{1}{N}\underset{x_i\∈Area}{\Σ}{x}_i$

$y_{w\left(i\right)}=\frac{1}{N}\underset{y_i\∈Area}{\Σ}{y}_i$

N＝目标区域内像素点数

S22、根据目标高度归一化重心坐标值；

公式如下：

h＝y_max-y_min

${\mathrm{gait}}_2=\frac{{\mathrm{gait}}_1}{h}$

式中，h表示当前帧人体高度，y_max表示人体目标的y坐标最大值，y_min表示人体目标的y坐标最小值，gait₁表示初始得到的重心坐标值，gait₂表示归一化后的重心坐标值，依次求出视频中每一帧图像的目标重心并记录，就可绘出行走目标的重心运动轨迹波形图；

S23、将运动轨迹波形存储，构建步态波形数据库；将测试者分为标准组、服饰组和负重组，每一组进行多视角测量，计算并记录实时重心轨迹，此时即将步态特征量从高维图像空间转换到一维电气信号波形的空间。

2.根据权要求1所述基于人体重心轨迹分析的步态特征提取方法，其特征在于，步骤S1中，采用三帧差分发将高斯滤波后的图像转为为二值图，具体计算如下：

$\left\{\begin{array}{c}|I_n\left(x\right)-I_{n-1}\left(x\right)|>T_n\left(x\right)\\ |I_n\left(x\right)-I_{n-2}\left(x\right)|>T_n\left(x\right)\end{array}\right.;$

式中：I_n(x)表示第n帧图像在像素位置x处的具有统计意义的描述灰度变化的域值，I_n-1(x)表示第n-1帧图像在像素位置x处的灰度域值，I_n-2(x)表示第n-2帧图像在像素位置x处的灰度域值，T_n(x)则表示第n帧图像灰度变化的阈值，；当某像素位置x处的灰度值相对于上一帧和前一帧都有较大变化，即超过阈值时，则认为该点像素属于运动目标，这样将运动目标从背景中分离出，重复操作即得到一系列前景目标图像。

3.根据权要求1所述基于人体重心轨迹分析的步态特征提取方法，其特征在于，步骤S2中，人体行走的步态波形是时间的连续函数x(t)，但实际上只能在有限的时间T内收集到有限的x(t)值；把x(t)当作以T为周期的连续函数，则可将它展开为傅立叶级数，其指数形式如下：

$x\left(t\right)={\mathrm{\Σ}}_{K=-\mathrm{\∞}}^{+\mathrm{\∞}}{C}_K{e}^{j2\mathrm{\π}Kft}$

$C_K=\frac{1}{T}{\∫}_{-T/2}^{T/2}x\left(t\right)e^{-j2\mathrm{\π}Kft}dt$

K＝0、±1、±2、±3……

式中：f＝1/T为周期函数x(t)基频，2f，3f…kf分别成为二次谐波频率，三次谐波频率，…,K次谐波频率；C_K为x(t)的富氏系数，它为复数，其模|C_K|即各次谐波的振幅，|C₀|为各次谐波的平均振幅，|C₁|、|C₂|、......|C_K|分别称为基波振幅，二次谐波振幅，…….K次谐波振幅。

4.根据权要求3所述基于人体重心轨迹分析的步态特征提取方法，其特征在于，对主频进行分析，主频成分是指高于阈值的波峰所对应的频段，由于重心的左右摆动和上下震荡主要表现为小幅波动，所以，因人体的行走方向所形成的轨迹波动是重心轨迹波形的主要组成部分，反映在频谱图的最低频段。

5.根据权要求3所述基于人体重心轨迹分析的步态特征提取方法，其特征在于，对主频振幅进行分析，主频振幅是指各主频成分所对应的正弦波幅值的大小；当人在行走过程中步态高低起伏明显时，正侧面视角下的重心轨迹波形的振幅就会较大，反映在频谱图上即是低频段波峰对应波峰幅值较大。

6.根据权要求3所述基于人体重心轨迹分析的步态特征提取方法，其特征在于，采用分割量化的方法对测量得到的频谱图进行量化，得到可以直接进行识别的数据特征向量；即统计频谱图在各个频段的波峰数目，如果没有波峰则记为0，最后统计得到的0、1序列即为量化得到的步态特征值；将该特征量输入模式识别工具即可进行识别。