CN105975932B

CN105975932B - 基于时间序列shapelet的步态识别分类方法

Info

Publication number: CN105975932B
Application number: CN201610288773.3A
Authority: CN
Inventors: 刘波; 余刚; 肖燕珊
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2016-05-04
Filing date: 2016-05-04
Publication date: 2019-07-23
Anticipated expiration: 2036-05-04
Also published as: CN105975932A

Abstract

本发明公开了一种基于时间序列shapelet的步态识别分类方法。首先，选取监控中的步态视频进行轮廓提取；其次，在提取轮廓图像后，对轮廓图像进行处理，估计出这个人的步态周期；然后对其进行步态特征的提取，计算出如摆动的距离和关节角度特征等，这些特征可以表示为时间序列数据；最后对这些时间序列数据进行shapelet序列的提取，找出包含最大信息增益的shapelet序列；最后用提取出的shapelet序列为基础构造出一个决策分类器，可对未知的人体步态进行识别和分类。本方法可以在丰富的步态模式信息中，解决信息干扰对运动识别造成的影响，提高运动识别的准确率，同时实现对未知的步态类进行识别和分类。

Description

基于时间序列shapelet的步态识别分类方法

技术领域

本发明涉及监控视频的人体步态识别技术领域，具体说是提出一种基于时间序列shapelet的识别和分类方法。

背景技术

随着现在社会的高速发展，人们对社会安全的要求也越来越高。要建设安全的和谐社会，就必须提高社会的监控和安全识别技术，以及时发现潜在的威胁，为民众安全的社会生活提供有力的保障。随着互联网的高速发展，网络监控方式越来越多样化。

时间序列(或称动态数列)是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列。时间序列分析的主要目的是根据已有的历史数据对未来进行预测。Shapelet序列是能够代表时间序列类特征的子序列，通过这个子序列，能够对未知类的时间序列进行标记。

步态识别是近年来越来越多的研究者所关注的一种较新的生物认证技术，它是通过人的走路方式来识别人的身份的方法。

步态识别(Gait Recognition)是生物特征识别技术中的新兴领域之一。它旨在根据人们的走路姿势实现对个人身份的识别或生理、病理及心理特征的检测，具有广阔的应用前景。步态是一种复杂的行为特征，是人的生理、心理及对外界反应的一个综合体现。步态识别旨在通过人们走路的姿态进行身份识别，与其他的生物识别技术相比，步态识别具有非接触远距离和不容易伪装的优点。在智能视频监控领域，比面像识别更具优势。

基于时间序列shapelet的步态识别和分类的主要思想是从监控视频中捕获到一个人行走的视频，然后进行预处理得到步态周期，从步态周期中进行步态特征的提取，这些步态特征基本代表该人的步态，对这些步态特征进行分类处理，其可用于识别和步态类型的分类。

目前，关于步态识别技术的研究中，主要是解决所提取的立体步态特征的表征性和强鲁棒性，提高识别率。比如在专利(CN200910152061)中公开了一种步态识别方法，该方法是利用双摄像机进行标定，获取立体步态图像序列对，提取运动目标轮廓，提取立体步态特征，利用主分量分析方法对所述立体步态特征进行降维，采用最近邻准则进行分类与识别，该方法可以解决利用人行走时的步态运动变化行为进行人的身份识别的问题。比如专利(CN201010115897)中公开了一种基于人工神经网络的多源步态特征提取与身份识别方法，该方法利用选用BP神经网络作为分类器对融合特征实现分类识别，减少复杂背景、遮挡物等外界因素的干扰，对现实条件具备更好的自适应性，更为准确地提取能反映运动人体行走特征的有效信息，以提高步态识别正确率。专利(CN201310098407)中公开了一种基于优化的C-支持向量分类机的步态识别方法，该方法则采用支持向量机算法中的C-支持向量分类机进行四种步态的识别，其中这四种步态包括：站立、行走、跳跃和上楼梯。上述公开的专利中，仅仅是利用优化方法，对识别的特征进一步处理，保证识别准确，而对于大量图像的处理时，未考虑识别后的分类处理。

发明内容

本发明要解决的技术问题是提供一种基于时间序列shapelet的步态识别分类方法，该方法可以在丰富的步态模式信息中，获取有效的特征向量，利用shapelet进行时序处理，解决信息干扰对运动识别造成的影响，提高运动识别的准确率，同时实现对未知的步态类进行识别和分类。

为解决上述技术问题，本发明所采取的技术方案是：一种基于时间序列shapelet的步态识别分类方法，其特征在于包括以下步骤：

(1)获取监控视频中监控画面的静态背景画面以及具有人体步态静态监控画面，其中人体步态静态监控画面采集1000组以上的数据，保证人体步态具有完整周期；

(2)利用高斯混合模型算法，把静态背景画面从人体步态静态监控画面进行减除，提取人体轮廓的二值图像，对二值图像进行进行预处理，构成单连通人体轮廓，即把运动目标从视频序列中提取出来；

(3)使用本征空间投影和K-均值方法对提取的人体轮廓图像进行处理，估计出监控视频中的步态周期；

(4)把人体轮廓图像进行处理，把人体轮廓分为七个椭圆区域：头部区域、前躯干、后躯干、大腿前侧、大腿背部、前脚和后脚，每个区域利用椭圆标识，提取椭圆的质心、取向以及延伸率的x，y坐标，作为特征参数，从估计出的步态周期中计算出每个特征参数的关节角度和摆动距离，把这些特征标识为时间序列数据并存储在数据库中。

(5)提取时间序列数据中的shapelet序列，以提取的shapelet序列为基础构造出一个决策树分类器，对未知的步态类进行识别和分类。

对上述方案作进一步说明，所述的步骤(3)中，本征空间投影具体是把每个轮廓图像表示为列向量，然后求出这个列向量的平均值，得到协方差矩阵：

其中Γ表示为轮廓图像中的列向量，ψ表示平均剪影，每个轮廓图像可以表示为特征向量的加权线性组合，形成权重向量，然后对权重向量应用K均值聚类算法，集群通过分区被初始化成K集群；

把第j帧被分配给第i个集群，

其中p表示步态周期中帧的数量；然后，约束K-均值聚类适用于反复提炼的集群。

对上述方案作进一步说明，所述的步骤(5)中，提取时间序列shapelet前，首先要找到时间序列数据中所有可能的子序列，用户先指定子序列的最小和最大长度，然后找到子序列长度在最小到最大之间的所有子序列，并作为候选子序列保存在候选集中。

对上述方案作进一步说明，所述的shapelet序列为提取时间序列数据中拥有最好信息增益的序列，获取shapelet序列的方法：首先假设最好信息增益的bsf(背景抑制因子，background suppression factor)初始化为0，计算候选集中每一个候选序列的信息增益，即计算候选集中每个序列和时间序列数据集中每个样本之间的距离，然后对这些距离进行排序，找出最优分裂距离，根据最优分裂点，把时间序列数据集分成两个子集，接着把计算出的信息增益和bsf进行比较，如果当前的信息增益好于最好信息增益bsf，则把最好信息增益bsf替换成当前信息增益，通过迭代获得最优的信息增益，即为shapelet序列。

采用上述技术方案所产生的有益效果在于：本发明中的方法在多样化环境中，对前期的轮廓图像要求不高，但是准确稳定地分类行为，保证在识别行为阶段更加明显、稳定性更好、适用性更强，从而更加适合复杂环境的要求；本方法在分类准确率和时间复杂度方面，只是与状态数和序列长度成正比例关系，计算复杂度低，效率较高。因此，本方法没有片面地注重提高交互行为分类准确率，而是在保持准确率的前提下，有效地降低了计算时间复杂度，优化了整体性能，符合实用性的要求。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是基于时间序列shapelet的步态识别和分类方法的框架图；

图2是利用shapelet序列为基础构造出一个决策树分类器；

图3是主成分分析法的算法流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明具体涉及一种基于时间序列shapelet的步态识别分类方法，该方法的主要思想是从监控视频中捕获到一个人行走的视频，然后进行预处理得到步态周期，从步态周期中进行步态特征的提取，这些步态特征基本代表该人的步态，对这些步态特征进行分类处理，其可用于识别和步态类型的分类。在步态识别过程中，其中一个关键问题是对未知人体步态的分类，分类的好坏在很大程度上影响识别率及识别速度。

本发明中的识别分类方法，其过程见附图1所示。首先，选取一个监控中的步态视频，运用高斯混合模型(GMM)背景减除算法进行轮廓提取；其次，在提取轮廓图像后，使用本征空间投影和K-均值聚类方法对轮廓图像进行处理，估计出这个人的步态周期；然后对其进行步态特征的提取，计算出如摆动的距离和关节角度特征等，这些特征可以表示为时间序列数据；最后对这些时间序列数据运用主成分分析的方法进行shapelet序列的提取，找出包含最大信息增益的shapelet序列；最后用提取出的shapelet序列为基础构造出一个决策分类器，可对未知的人体步态进行识别和分类。

图1为本发明实施例的基于时间序列shapelet的步态识别和分类方法的框架图，具体流程描述如下：

第一步，获取监控视频中人体步态的轮廓图。选取一个监控视频，获取监控视频中监控画面的静态背景画面以及具有人体步态静态监控画面，其中人体步态静态监控画面采集1000组以上的数据，保证人体步态具有完整周期。

提取视频中人体步态行为特征时，需对所获图像进行预处理，去除其中的噪声，获得较为完整清晰的运动轮廓图像。本发明主要使用高斯混合模型(GMM)用于背景减除，把运动目标从视频序列中提取出来。

利用高斯混合模型进行背景减除是物体检测中使用最为普遍的一类方法。一副图像信息可以分为前景信息和后景信息，前景信息就是需要识别检测的物体信息，这里指人体信息；背景信息就是除去前景信息后留下来的无关信息背景减除法就是通过建立的背景模型来为每幅图像进行背景定位，然后使用差分法将前景图像从图像信息中提取出来的过程这种方法的核心在于背景模型的选取，其速度快，能够提取较为完整的物体信息，但是对外来的噪声比较敏感。

高斯混合模型的目标检测核心在于高斯模型参数的确定，假设采集的每幅图像的像素点用P(x₀，y₀)表示，它在某段时间段t内的取值集合为{X₁，X₂，…，X_t}，从中选取k个历史值，使用高斯分布模型描述并记录，来获得当前图像中像素的分布概率

其中：W_k,j表示k个历史值所占的比重，像素权值之和μ_k,j为该时刻第j个高斯模型分布的均值，∑_k,j是高斯分布的协方差，通常k取值为3-5。

高斯分布的概率密度函数可表示为

这里，n标识元素值X_t的纬度数。

多高斯分布背景模型的更新需要更新自身参数，还要更新各分布模型的权值若当前没有匹配的高斯分布，则将权值最小的删除，根据当前的像素点建立一个新的高斯分布，然后将所有的高斯分布重新分配权值，归一化处理若第个高斯分布与匹配，则对第个高斯分布的权值更新如下:

其中，β是更新率更新完毕后，再重新将k个高斯分布进行权值计算排序，选择b个分布作为背景模型。

第二步，使用本征空间投影和K-均值方法对轮廓图像进行处理，估计出步态周期。为了寻找本征空间投影，把每个轮廓图像表示为列向量，然后求出这个列向量的平均值，得到协方差矩阵：

其中Γ表示为轮廓图像中的列向量，ψ表示平均剪影，每个轮廓图像可以表示为特征向量的加权线性组合。对该权重向量应用K均值聚类算法，集群通过分区被初始化成K集群。

第j帧被分配给第i个集群，

其中p表示步态周期中帧的数量。然后，约束K-均值聚类适用于反复提炼的集群。

第三步，步态特征的提取。把步态周期轮廓图像分为基于质心的七个椭圆区域：头部区域，前躯干，后躯干，大腿前侧，背部大腿，前脚，后脚，提取的特征是椭圆参数，如质心，取向和延伸率的x，y坐标。这些特征可表示为时间序列数据并存储在数据库中。

第四步，提取时间序列shapelet，运用主成分分析的方法进行shapelet序列的提取，找出包含最大信息增益的shapelet序列。

主成分分析法是将高维变量空间进行降维处理的一种方法，其计算流程如附图3所示。在保证原始数据信息丢失最少的前提下经过线性变换和舍弃部分次要信息以少数综合变量取代原有多维变量使较少的综合指标既能尽量多地反映原始变量指标的主要信息又能保证这些新产生的综合指标彼此间互不相关。

结合本发明，利用主成分分析来进行shapelet序列的提取，其主要步骤是：首先，找到时间序列数据中所有可能的子序列，用户先指定子序列的最小和最大长度，然后找到子序列长度在最小到最大之间的所有子序列，并作为候选子序列保存在候选集中。在候选集中选择最优：假设最好信息增益bsf初始化为0。计算候选集中每一个候选序列的信息增益，即计算候选集中每个序列和时间序列数据集中每个样本之间的距离，然后对这些距离进行排序，找出最优分裂距离，根据最优分裂点，把时间序列数据集分成两个子集。把计算出的信息增益和bsf进行比较，如果当前的信息增益好于最好信息增益bsf，则把最好信息增益bsf替换成当前信息增益。拥有最好信息增益的序列即为时间序列shapelet。

第5步，以提取的shapelet序列为基础构造出一个决策树分类器，如附图2所示，其中Shapelet_i和spi是一个Shapelet序列和与它对应的分割点,d_i为需要分类的时间序列与Shapelet_i间的距离，对决策属性{Shapelet_i,sp_i}分割出的节点,如果不是终止节点(类标号节点label),那么就是另外一个决策属性节点{Shapelet_j,sp_j}。利用该分类器实现对未知的步态类进行识别和分类。

构造决策函数f(x)＝sgn(g(x))，其中

利用上述方法，对监控视频中人体步态识别分类具体实施算例如下：本发明利用高精度静态摄像头对实验室内和实验室外采集的视频的两组视频进行处理，截取20s内视频片段，精选获得1520可用帧。所使用的实验平台为:MATLAB2010,硬件配置为:奔腾双核CPU(2.5GHz),2G内存。对采集的视频进行步态分类识别，利用上述方法对其进行高斯混合模型背景减除，步态的特征提取，生成时间序列shapelets，构造出决策树分类器，对其余图像进行分类识别，其结果如下表所示

本方法在实际应用方面存在如下优势：实验环境复杂，行为类型多样，提取的轮廓图像虽不完整，但是可以准确稳定地分类行为。因此，在实际应用方面存在显著的优势，例如，行为的阶段性更加明显、稳定性更好、适用性更强，从而更加适合复杂环境的要求。

另外，上述图像进行处理，利用本方法与其他方法进行比较，主要在分类准确率和时间复杂度进行对比，结果如下表所示：

方法	分类准确率(％)	时间复杂度
			基于隐马尔可夫模型	95.02	O(M·S<sup>2</sup>)
基于阶层多观测模型	93.68	O(M<sup>1.5L</sup>·L·S)
			基于多模态进程模型	93.82	O(M·L<sup>2</sup>·S)
基于多层动态贝叶斯网络模型	91.41	O(M<sup>1.5L</sup>·L+M<sup>1.5s</sup>·S)
			本发明	88.57	O(M·S)

虽然本方法的分类准确率比其它4种方法低2％-6％，但是该方法的计算时间复杂度显著降低。其中，第1和3种方法分别与序列长度和模型的层数的平方成正比例关系，而第2和4中方法分别与状态数的指数成正比例关系，这都增加了计算复杂度。相反，本方法只是与状态数和序列长度成正比例关系，计算复杂度低，效率较高。因此，本方法没有片面地注重提高交互行为分类准确率，而是在保持准确率的前提下，有效地降低了计算时间复杂度，优化了整体性能，符合实用性的要求。

Claims

1.一种基于时间序列shapelet的步态识别分类方法，其特征在于包括以下步骤：

（1）获取监控视频中监控画面的静态背景画面以及具有人体步态静态监控画面，其中人体步态静态监控画面采集1000组以上的数据，保证人体步态具有完整周期；

（2）利用高斯混合模型算法，把静态背景画面从人体步态静态监控画面进行减除，提取人体轮廓的二值图像，对二值图像进行预处理，构成单连通人体轮廓，即把运动目标从视频序列中提取出来；

（3）使用本征空间投影和K-均值方法对提取的人体轮廓图像进行处理，估计出监控视频中的步态周期；

（4）把人体轮廓图像进行处理，把人体轮廓分为七个椭圆区域：头部区域、前躯干、后躯干、大腿前侧、大腿背部、前脚和后脚，每个区域利用椭圆标识，提取椭圆的质心、取向以及延伸率的x，y坐标，作为特征参数，从估计出的步态周期中计算出每个特征参数的关节角度和摆动距离，把这些特征标识为时间序列数据并存储在数据库中；

（5）提取时间序列数据中的shapelet序列，以提取的shapelet序列为基础构造出一个决策树分类器，对未知的步态类进行识别和分类。

2.根据权利要求1所述的基于时间序列shapelet的步态识别分类方法，其特征在于所述的步骤（3）中，本征空间投影具体是把每个轮廓图像表示为列向量，然后求出这个列向量的平均值，得到协方差矩阵：

把第j帧被分配给第i个集群，

其中p表示步态周期中帧的数量，k表示所选取历史值的个数；然后，约束K-均值聚类适用于反复提炼的集群。

3.根据权利要求1所述的基于时间序列shapelet的步态识别分类方法，其特征在于所述的步骤（5）中，提取时间序列shapelet前，首先要找到时间序列数据中所有可能的子序列，用户先指定子序列的最小和最大长度，然后找到子序列长度在最小到最大之间的所有子序列，并作为候选子序列保存在候选集中。

4.根据权利要求1所述的基于时间序列shapelet的步态识别分类方法，其特征在于所述的shapelet序列为提取时间序列数据中拥有最好信息增益的序列，获取shapelet序列的方法：首先假设最好信息增益的bsf初始化为0，计算候选集中每一个候选序列的信息增益，即计算候选集中每个序列和时间序列数据集中每个样本之间的距离，然后对这些距离进行排序，找出最优分裂距离，根据最优分裂点，把时间序列数据集分成两个子集，接着把计算出的信息增益和bsf进行比较，如果当前的信息增益好于最好信息增益bsf，则把最好信息增益bsf替换成当前信息增益，通过迭代获得最优的信息增益，即为shapelet序列，其中bsf表示背景抑制因子。