CN108416325A - 一种结合视角转换模型与隐马尔可夫模型的步态识别方法 - Google Patents

Abstract

本发明公开了一种结合视角转换模型与隐马尔可夫模型的步态识别方法，根据人行走习惯特点选取5个具有代表性的步态作为关键帧，计算一个步态周期内各帧到5个关键步态帧的距离并归一化后构造步态特征向量，利用该步态特征向量结合截断奇异值分解构造视角转换模型并训练隐马尔可夫模型参数。通过视角转换模型将测试集观测向量转换为与注册集相同的视角，最后实现基于隐马尔可夫模型的跨视角步态识别。经视角转换模型转换后的测试集与注册集具有更高的共性，隐马尔可夫模型也利于表达步态转换过程，该方法结合视角转换模型与隐马尔可夫模型的优点，增强了对视角变化的鲁棒性，能够在跨视角识别的情况下取得较好的效果。

Description

一种结合视角转换模型与隐马尔可夫模型的步态识别方法

技术领域

本发明涉及身份识别领域，尤其涉及一种结合视角转换模型与隐马尔可夫模型的步态识别方法。

背景技术

在智能监控领域中，远距离对人进行身份识别是一个充满挑战且具有广阔应用前景的方向。随着时代和经济的发展，人类活动频繁，公共场所安全问题面临极大挑战。学校、海关、城市道路、商场、银行、车站等场所大量铺设了摄像头监控设备，但大多应用于记录取证，很少用于警报和预警，原因在于无法远距离对视频中人员进行身份识别。

现如今基于生物特征的识别技术是身份识别领域的研究热点，生物特征包括人脸、指纹、虹膜和DNA等与生俱来的生理特征，还包括后天习惯养成且不易更改的行为特征，如签名笔迹、走路姿态等。与其它的生物特征识别相比，步态识别技术更适用于远距离的人物识别。虹膜识别通常需要目标在30厘米以内，人脸识别需在5米以内，而步态识别在超高清摄像头下，识别距离可达50米，在低视频质量下也可完成识别，且具有非侵犯性和难于隐藏性等极大优势。虽然现在步态识别在固定视角的限制条件下可以取得较高识别率，但对视角变化的鲁棒性并不高，这极大限制了步态识别的应用性。

发明内容

本发明的目的在于针对现有技术的不足，提供一种结合视角转换模型与隐马尔可夫模型的步态识别方法。

本发明的目的是通过以下技术方案来实现的：一种结合视角转换模型与隐马尔可夫模型的步态识别方法，包括以下步骤：

一种结合视角转换模型与隐马尔可夫模型的步态识别方法，其特征在于，包括以下步骤：

(1)数据集的获取：从公开的步态数据库中获取一部分步态图像，另外现场跟踪记录人的步行运动轨迹，提取视频序列；

(2)分别将步骤(1)中从数据库中获取的步态图像和提取的视频序列进行步态特征提取，具体包括以下子步骤：

(2.1)步态轮廓提取：公开数据库为已经处理好的步态轮廓图像，现场提取的视频序列采用背景减除法获取前景图像，并经形态学滤波处理和边缘跟踪获得步态轮廓图像；

(2.2)步态周期分割：根据行走时两个脚踝间距离变化的周期性分割步态周期，将正常行走的关键步态归纳为以下三种情形：脚踝并齐、左脚前右脚后、右脚前左脚后，并分别记为K₁、K₂和K₃，其中所述的脚踝并齐包括左脚提起经过右脚侧、右脚提起经过左脚侧和并齐站立，然后将一个完整步态周期定义为K₁→K₂→K₁→K₃→K₁或K₁→K₃→K₁→K₂→K₁这5个关键帧的转换过程；

(2.3)特征向量选取：将轮廓边缘到轮廓重心的距离作为特征向量，从轮廓的底中心点逆时针计算各轮廓点(x_i，y_i)到重心(x_c，y_c)的距离r_i,记作R＝(r₁,r₂，…，r_n)，并进行归一化处理；设人j某个步态周期的轮廓特征向量为T为帧数，为了降低向量维数，选取一个步态周期内5个具有代表性的关键帧图像矩阵，用集合ε^j＝{e₁,e₂,…,e₅}表示；表示在时刻t图像的特征向量,在时刻t计算到e_i∈ε^j的距离构成一个5维的向量

其中，表示人j的第i个步态关键帧，作为人j的观测向量；

(2.4)将从数据库中获取的步态图像提取的特征向量分为训练集、注册集1和测试集1，将从现场采集到的视频序列提取的特征向量分为测试集2和注册集2，其中注册集1和注册集2合成容量为5的观测向量集，训练集也为容量为5的观测向量集，测试集1和测试集2合成容量为5的观测向量集；

(3)视角转换模型训练：使用截断奇异值分解TSVD技术进行视角转换模型的构建,利用训练集中的各关键步态生成的观测向量分别生成视角转换模型，共计5个，并将测试集中待识别观测向量转换为与注册集视角相同的观测向量；

(4)连续隐马尔可夫模型训练：使用视角转换模型转换后的注册集观测向量来训练隐马尔可夫模型参数,一个隐马尔可夫模型以λ＝{A,B,π}表示，其中：A为状态转移矩阵，B为输出概率密度函数，π为初始状态概率分布；初始状态由步态周期内选取的5个关键帧表示，输出概率密度函数使用混合高斯模型表示，选取经视角转换模型转换后的标准视角利用Baum-Welch算法重估模型的初始参数，使得在该模型下观测序列概率P(O|λ)最大，最终为每个人确定各自的步态模型参数；

(5)基于隐马尔可夫模型的分类器识别：已知由注册集训练获取的所有人的步态模型集{λ_i|i≤m}和经视角转换模型转换后的测试集中一个容量为N的步态观测向量集V＝{v_k|k∈[1，N]}，每一个向量v_k对应一个长度为T的观测序列O_k＝o_k1o_k2…o_kT；利用前向算法依次计算每个已知类别的步态模型能够产生该步态观测向量集中所有观察序列的平均概率:

对上式结果排序，产生最大概率值的模型所对应的类别认定为最有可能产生该步态的人。

优选地，所述的截断奇异值分解TSVD的分解过程如下：

等式中左侧矩阵表示步态矩阵，总共有k个视角，m个实验对象用于构建视角转换模型，每行表示同一视角下不同实验对象的步态信息，每列表示同一实验对象在不同视角下的步态信息；表示实验对象m在k视角时的特征向量，设的维数是Ng；其中U是kN_g×m的正交矩阵,V是m×m的正交矩阵，S是m×m包含奇异值的对角矩阵，P_k是Ng×m的US子矩阵，v^m是m维列向量,是第m个实验对象的固有步态特征，它适用于任何一个视角；P_k又是一个投影矩阵，它可以将各视角共同拥有的步态特征向量v投影至特定视角k下的步态特征向量：

因此，将视角j的特征向量转换为视角i的特征向量式子如下:

其中,是P_j的广义逆矩阵，对角矩阵S中除前n个最大奇异值外都归零，其中n<m；

优选地，所述步骤(1.1)中步态轮廓提取时，当数据库图像背景单一时，直接采用背景减除法获取前景图像，否则，需先以混合高斯模型背景建模，再进行背景减除分离出前景图像。

优选地，所述的步骤(1.1)中采用Adaboost算法来检测人形，通过多次迭代获得多个弱分类器，再将多个弱分类器加权叠加形成一个强分类器，为了增加人形检测的快速性和准确性，将生成的几个强分类器组合形成一种级联分类器。

优选地，所述的步骤(3)的连续隐马尔可夫模型训练步骤如下：

①首先输入模型的状态数N、初始状态概率π、初始状态转移概率矩阵A、迭代误差e和观测向量O；

②利用K-means算法估计混合高斯密度参数c_jk、μ_jk和U_jk，得到初始模型λ₀；

③利用Baum-Welch算法重估初始化的参数；

④利用前向算法计算输出概率P(O|λ)，当满足误差条件，把λ作为最终的结果模型，否则利用Baum-Welch算法继续重估。

优选地，所述的步骤(1.3)中的归一化处理的公式为：

R’＝R/max(r₁,r₂,…,r_n)

本发明的有益效果是：本发明根据人行走时两个脚踝间距离变化的周期性特点，选取5个关键步态作为关键帧，计算一个步态周期内各帧到5个关键步态帧的距离并归一化后构造步态观测向量，这样构造的向量更能体现人行走时步态姿势的特点且在一定程度上能够表达步态的运动过程。

经过视角转换模型转换后的待识别视角观测向量与注册集视角观测向量有更高的共性，隐马尔可夫模型也利于表达行走时步态转换过程，结合视角转换模型与隐马尔可夫模型的优点，增强了对视角变化的鲁棒性，可在跨视角识别情况下取得较好的效果。

附图说明

图1是本方法的实施流程图；

图2是步态周期分割示意图；

图3是连续隐马尔可夫模型隐含状态转换图；

图4是连续隐马尔可夫模型训练流程图。

具体实施方式

下面结合附图对本发明进行详细的描述。

如图1所示，本发明结合视角转换模型与隐马尔可夫模型的步态识别方法分为数据集的获取、特征提取阶段、模型训练阶段和步态身份验证阶段。

1.数据集的获取：从公开的步态数据库中获取一部分步态图像，另外现场跟踪记录人的步行运动轨迹，提取视频序列；

2.特征提取阶段

2.1步态轮廓提取：公开数据库为已经处理好的步态轮廓图像，现场提取的视频序列采用背景减除法获取前景图像，并经形态学滤波处理和边缘跟踪获得步态轮廓图像；

从步态视频中提取步态轮廓并提取步态特征，包括以下子步骤：

使用摄像机跟踪记录人的步行运动轨迹，提取人体步态视频，针对实验数据库背景单一的情况采用背景减除法获取前景图像，经过形态学滤波处理和边缘跟踪获得步态图像轮廓图。针对运动目标识别系统中若存在识别背景不固定、光照、雨雪等情况的影响,提出了以混合高斯模型背景建模，进行背景减除分离出前景图像。对于人形的检测，采用Freund和Schapire提出的Adaboost算法。通过大量的正负样本的学习,使得机器能够通过学习,找到一些关键的特征点来把正负样本区分开来。为了降低误识率,实现更好的检测效果和花费更少的检测时间,在实际人形检测过程中可以按照一定的原则,将AdaBoost算法生成的分类器组合起来形成一种级联分类器。

2.2步态周期分割：如图2所示，根据人正常行走时两个脚踝间距离变化的周期性进行步态周期分割，将正常行走的关键步态归纳为以下三种情形：脚踝并齐(脚踝轮廓中心距离宽度最短，包括左脚提起经过右脚侧、右脚提起经过左脚侧和并齐站立)记作K₁；中心距离最长，左脚前右脚后，记作K₂；右脚前左脚后记作K₃，将一个完整步态周期定义为K₁→K₂→K₁→K₃→K₁或K₁→K₃→K₁→K₂→K₁这5个关键帧的转换过程。

针对输入的采样序列，分析存在运动目标的前面n帧图像中脚踝处轮廓中心点距离最窄的一帧F0作为步态周期的起始状态K₁，以此帧为起点对后n帧依序处理，直到找出脚踝处轮廓中心点距离最宽的帧，作为步态周期的下一个状态K′₁(可能是3种关键步态中的K₂，也可能是K₃)。依次处理后续的n帧，直到再找到下一个脚踝处轮廓中心点距离最窄的帧，作为状态K₁。依次处理后续的n帧，直到找出下一个脚踝处轮廓中心点距离最宽的帧，作为步态周期的状态K′₂(K₂或K₃)。依次处理后续的n帧，直到找出下一个脚踝处轮廓中心点距离最窄的帧，作为步态周期的结束状态K₁，至此获得一个完整的步态周期K₁→K′₁→K₁→K′₂→K₁，如图2所示。

2.3特征向量选取：经过轮廓提取和步态周期分割后，将轮廓边缘到轮廓重心的距离作为特征向量，从轮廓的底中心点逆时针计算各轮廓点(x_i,y_i)到重心(x_c,y_c)的距离r_i,记作R＝(r₁,r₂,…,r_n)并进行归一化处理，公式为：

R’＝R/max(r₁,r₂,…,r_n) (1)

设人j某个步态周期的轮廓特征向量为T为帧数，每一帧的轮廓像素点较多，如果直接利用这些特征向量进行视角转换模型训练,计算量过大,用于隐马尔可夫模型的参数估计更不可行。未使用传统PCA降维，而是选取一个步态周期内5个具有代表性的关键帧图像(双脚并排站立、右脚经过左脚侧、左脚前右脚后、右脚前左脚后和左脚经过右脚侧)，用集合ε^j＝{e₁,e₂,…,e₅}表示，表示在时刻t图像的特征向量,在时刻t计算到e_i∈ε^j的距离构成一个5维的向量公式为：

表示人j的第i个步态关键帧，作为人j的观测向量，维数为5,极大降低了观测向量的维数也能够体现出行走的运动过程。

将从数据库中获取的步态图像提取的特征向量分为训练集、注册集1和测试集1，将从现场采集到的视频序列提取的特征向量分为测试集2和注册集2，其中注册集1和注册集2合成容量为5的观测向量集，训练集也为容量为5的观测向量集，测试集1和测试集2合成容量为5的观测向量集。

3.在模型训练阶段，使用截断奇异值分解TSVD技术进行视角转换模型的构建,为各关键步态生成的特征向量分别生成视角转换模型，共计5个，将测试集中待识别视角观测向量转换为与注册集视角相同的观测向量。使用视角转换模型转换后的观测向量来计算隐马尔可夫模型参数，得到每个人的隐马尔可夫模型。

3.1视角转换模型的构建中截断奇异值分解TSVD的分解过程如下：

式中左侧矩阵表示步态矩阵，每行表示同一视角下不同实验对象的步态信息，每列表示同一实验对象在不同视角下的步态信息。总共有k个视角，m个实验对象用于构建视角转换模型。表示实验对象m在k视角时的特征向量，设的维数是Ng。等式中间U是kN_g×m的正交矩阵,V是m×m的正交矩阵，S是m×m包含奇异值的对角矩阵，P_k是Ng×m的US子矩阵。v^m是m维列向量,是第m个实验对象的固有步态特征，它适用于任何一个视角。P_k是一个投影矩阵，它可以将各视角共同拥有的步态特征向量v投影至特定视角k下的步态特征向量，由式(3)可得：

因此，将视角j的特征向量转换为视角i的特征向量式子如下:

其中,是P_j的广义逆矩阵。采用TSVD来简化SVD的计算复杂度和提升视图转换的精确度,S是一个包含奇异值的对角矩阵，TSVD通过设置对角矩阵S中除前n(n<m)个最大奇异值外都归零，使P_k的维度从Ng×m减小到Ng×n,通过移除转换模型中不太重要的元素也可避免过拟合问题。

4.连续隐马尔可夫模型训练：使用视角转换模型转换后的注册集观测向量来训练隐马尔可夫模型参数,一个隐马尔可夫模型以λ＝{A,B,π}表示，其中：π为初始状态概率集合，A为状态转移矩阵:

A＝{a_ij＝P(S_j|S_i)1≤i≤5，1≤j≤5} (6)

a_ij表示在t时刻状态为S_i的条件下，t+1时刻的状态为S_j的概率。因为步态运动信息是连续信号，所以在连续隐马尔可夫模型中B为输出概率密度函数集合。初始状态由步态周期内选取的5个关键帧表示，概率密度函数使用混合高斯模型表示，然后选取训练数据利用Baum-Welch算法重估初始化的参数，使得在该模型下观测序列概率P(O|λ)最大，最终为每个实验对象确定各自的步态模型参数。根据人行走特点提出的连续隐马尔可夫模型隐含状态转换图如图3所示，根据行走习惯设置初始状态概率集合为{π₁＝0.4，π₂＝π₃＝0.3，π₄＝π₅＝0},A的初始值设置为:

输出概率密度函数集合B为：

B＝{b_j(O),j＝1,2,3,4,5} (8)

由于是连续隐马尔可夫，于是B用混合高斯密度函数表示为：

其中，μ_jk为第j个状态第k个混合高斯元的均值向量，U_jk为第j个状态第k个混合高斯元的协方差矩阵，c_jk为第j个状态第k个混合高斯元的混合系数，O为观测向量。

连续隐马尔可夫模型训练步骤如下：

①首先输入模型的状态数N、初始状态概率π、初始状态转移概率矩阵A、迭代误差e和观测向量O；

②利用K-means算法估计混合高斯密度参数c_jk、μ_jk和U_jk，得到初始模型λ₀；

③利用Baum-Welch算法重估初始化的参数；

④利用前向算法计算输出概率P(O|λ)，当满足误差条件，把λ作为最终的结果模型，否则利用Baum-Welch算法继续重估，一个满足误差要求的隐马尔可夫模型训练流程图如图4所示。

5.基于隐马尔可夫模型的分类器识别：已知由注册集训练获取的所有人的步态模型集{λ_i|i≤m}和经视角转换模型转换后的测试集中一个容量为N的步态观测向量集：

V＝{v_k|k∈[1,N]}，v_k对应一个长度为T的观测序列O_k＝o_k1o_k2…o_kT。利用前向算法依次计算每个已知类别的步态模型能够产生待识别步态观测向量集中所有观察序列的平均概率:

对上式结果排序，产生最大概率值的模型所对应的类别认定为最有可能产生该步态的人。

Claims (6)

1.一种结合视角转换模型与隐马尔可夫模型的步态识别方法，其特征在于，包括以下步骤：

(1)数据集的获取：从公开的步态数据库中获取一部分步态图像，另外现场跟踪记录人的步行运动轨迹，提取视频序列。

(2)分别将步骤(1)中从数据库中获取的步态图像和提取的视频序列进行步态特征提取，具体包括以下子步骤：

(2.1)步态轮廓提取：公开数据库为已经处理好的步态轮廓图像，现场提取的视频序列采用背景减除法获取前景图像，并经形态学滤波处理和边缘跟踪获得步态轮廓图像；

(2.2)步态周期分割：根据行走时两个脚踝间距离变化的周期性分割步态周期，将正常行走的关键步态归纳为以下三种情形：脚踝并齐、左脚前右脚后、右脚前左脚后，并分别记为K₁、K₂和K₃，其中所述的脚踝并齐包括左脚提起经过右脚侧、右脚提起经过左脚侧和并齐站立，然后将一个完整步态周期定义为K₁→K₂→K₁→K₃→K₁或K₁→K₃→K₁→K₂→K₁这5个关键帧的转换过程；

(2.3)特征向量选取：将轮廓边缘到轮廓重心的距离作为特征向量，从轮廓的底中心点逆时针计算各轮廓点(x_i，y_i)到重心(x_c，y_c)的距离r_i,记作R＝(r₁,r₂，…，r_n)，并进行归一化处理；设人j某个步态周期的轮廓特征向量为T为帧数，为了降低向量维数，选取一个步态周期内5个具有代表性的关键帧图像矩阵，用集合ε^j＝{e₁,e₂,…,e₅}表示；表示在时刻t图像的特征向量,在时刻t计算到e_i∈ε^j的距离构成一个5维的向量

其中，表示人j的第i个步态关键帧，作为人j的观测向量；

(2.4)将从数据库中获取的步态图像提取的特征向量分为训练集、注册集1和测试集1，将从现场采集到的视频序列提取的特征向量分为测试集2和注册集2，其中注册集1和注册集2合成容量为5的观测向量集，训练集也为容量为5的观测向量集，测试集1和测试集2合成容量为5的观测向量集。

(3)视角转换模型训练：使用截断奇异值分解TSVD技术进行视角转换模型的构建,利用训练集中的各关键步态生成的观测向量分别生成视角转换模型，共计5个，并将测试集中待识别观测向量转换为与注册集视角相同的观测向量。

(4)连续隐马尔可夫模型训练：使用视角转换模型转换后的注册集观测向量来训练隐马尔可夫模型参数,一个隐马尔可夫模型以λ＝{A,B,π}表示，其中：A为状态转移矩阵，B为输出概率密度函数，π为初始状态概率分布；初始状态由步态周期内选取的5个关键帧表示，输出概率密度函数使用混合高斯模型表示，选取经视角转换模型转换后的标准视角利用Baum-Welch算法重估模型的初始参数，使得在该模型下观测序列概率P(O|λ)最大，最终为每个人确定各自的步态模型参数。

(5)基于隐马尔可夫模型的分类器识别：已知由注册集训练获取的所有人的步态模型集{λ_i|i≤m}和经视角转换模型转换后的测试集中一个容量为N的步态观测向量集V＝{v_k|k∈[1，N]}，每一个向量v_k对应一个长度为T的观测序列O_k＝o_k1o_k2…o_kT；利用前向算法依次计算每个已知类别的步态模型能够产生该步态观测向量集中所有观察序列的平均概率:

对上式结果排序，产生最大概率值的模型所对应的类别认定为最有可能产生该步态的人。

2.根据权利要求1所述的结合视角转换模型与隐马尔可夫模型的步态识别方法，其特征在于，所述的截断奇异值分解TSVD的分解过程如下：

等式中左侧矩阵表示步态矩阵，总共有k个视角，m个实验对象用于构建视角转换模型，每行表示同一视角下不同实验对象的步态信息，每列表示同一实验对象在不同视角下的步态信息；表示实验对象m在k视角时的特征向量，设的维数是Ng；其中U是kN_g×m的正交矩阵,V是m×m的正交矩阵，S是m×m包含奇异值的对角矩阵，P_k是Ng×m的US子矩阵，v^m是m维列向量,是第m个实验对象的固有步态特征，它适用于任何一个视角；P_k又是一个投影矩阵，它可以将各视角共同拥有的步态特征向量v投影至特定视角k下的步态特征向量：

因此，将视角j的特征向量转换为视角i的特征向量式子如下:

其中,P_j ⁺是P_j的广义逆矩阵，对角矩阵S中除前n个最大奇异值外都归零，其中n<m。

3.根据权利要求1所述的结合视角转换模型与隐马尔可夫模型的步态识别方法，其特征在于，所述步骤(1.1)中步态轮廓提取时，当数据库图像背景单一时，直接采用背景减除法获取前景图像，否则，需先以混合高斯模型背景建模，再进行背景减除分离出前景图像。

4.根据权利要求1所述的结合视角转换模型与隐马尔可夫模型的步态识别方法，其特征在于，所述的步骤(1.1)中采用Adaboost算法来检测人形，通过多次迭代获得多个弱分类器，再将多个弱分类器加权叠加形成一个强分类器，为了增加人形检测的快速性和准确性，将生成的几个强分类器组合形成一种级联分类器。

5.根据权利要求1所述的结合视角转换模型与隐马尔可夫模型的步态识别方法，其特征在于，所述的步骤(3)的连续隐马尔可夫模型训练步骤如下：

①首先输入模型的状态数N、初始状态概率π、初始状态转移概率矩阵A、迭代误差e和观测向量O；

②利用K-means算法估计混合高斯密度参数c_jk、μ_jk和U_jk，得到初始模型λ₀；

③利用Baum-Welch算法重估初始化的参数；

④利用前向算法计算输出概率P(O|λ)，当满足误差条件，把λ作为最终的结果模型，否则利用Baum-Welch算法继续重估。

6.根据权利要求1所述的结合视角转换模型与隐马尔可夫模型的步态识别方法，其特征在于，所述的步骤(1.3)中的归一化处理的公式为：

R’＝R/max(r₁,r₂,…,r_n)。