CN102426645A - 一种多视角多状态的步态识别方法 - Google Patents

Abstract

本发明提出一种多视角多状态的步态识别方法，包括：对训练集里步态视频进行轮廓提取和时间同步，建立表象期望值、视角、状态和身份之间的投影关系；对原型集人体步态轮廓序列进行视角估计，从表象期望值、视角、状态、身份之间的投影关系获得身份信息；对测试集里人体步态轮廓序列进行视角估计，从训练集中的表象期望值、视角、状态、身份之间的投影关系获得身份信息，与原型集里已有的所有身份向量进行比对，判断得到是原型集中的哪一个人。与现有的基于整个步态周期的方法不同，本发明以单个状态作为最小单位，更加准确的建模步态运动的变化过程并用于识别，训练出各个视角下的多状态模型，能够估计待识别视频的步态视角。

Description

一种多视角多状态的步态识别方法

技术领域

本发明属于模式识别技术领域，具体涉及一种多视角多状态的步态识别方法。

背景技术

步态即人的行走方式。人在行走过程中上肢、下肢关节处呈现有规律的变化，这种变化反映了个体独有的运动方式，能够有效进行身份识别。通过对步态的分析，我们可以得到身份、性别、种族等多种有用信息。

最近几十年来，大量的监控摄像头已经被安装于银行、商场、地铁站、监狱等场所，这些安全敏感场合迫切需要一种智能化的预警手段。人工的监控手段已经不符合当前的安全需要，因为这不仅耗费大量的人力财力，而且监控人员的生理视觉疲劳也使得安全预警的目的很难达到。理想的智能监控系统应该能够自动的分析摄像机采集到的图像数据，在恶性事件尚未发生前进行预警，最大限度的减少人员伤害和经济损失。比如，发生恶性事件时立即确定场景内所有人的身份信息，对犯罪嫌疑人进行跨区域跟踪，出现通缉犯时及时报告等。这就要求监控系统不仅能判断人的数量、位置和行为，而且还需要分析这个人的身份特征信息。而人脸、指纹、虹膜等生物特征受到分辨率低、需主动配合、要求特殊采集设备等因素的影响，在智能视频监控中往往不能达到好的效果。由于步态是一种可以从远距离获取的难于隐藏和伪装的生物特征，其识别技术已经成为计算机视觉与模式识别中一个重要研究方向。

在监控场景中进行步态识别时，最大的难点在于视角变化所带来的影响。由于监控摄像头的位置差异和人行走方向的改变，视角问题是步态识别无法逃避的问题。从目前的研究来看，很多识别方法在固定视角下可以取得很好的性能，却在视角变化较大时无法适用。并且，如果获取的行人的视频较短，导致不能获取完整的步态周期时，很多已有方法性能也会大大降低甚至失效。

发明内容

针对现有技术在多视角步态识别问题上需要在待识别的视角下有完整的步态周期，而在很多监控场景中无法获取到如此长的行走视频，步态识别很难在实际应用中推广；且对整个周期的特征进行分析会丢掉很多局部信息，难以对步态运动的变化过程进行准确描述，识别率低等缺点，为了解决现有技术的问题，本发明的提供一种多视角多状态的步态识别方法。

一种多视角多状态的步态识别方法，其特征在于：具体包括以下几个步骤：

步骤一：对训练集里多个已知视角的多段步态视频进行轮廓提取和时间同步，对不同视角下的多状态模型进行参数估计，建立表象期望值、视角、状态和身份之间的投影关系；

(1)对训练集里每一个人在不同视角下的行走视频，顺次通过前景检测、形态学滤波和归一化处理，提取每一个人各视角下的人体步态轮廓序列；

(2)采用局部线性嵌入、互相关系数分析和序列平移的方法，将获得的各个视角的人体步态轮廓序列进行时间上的同步；

(3)在训练集中选择一个视角作为基础视角，根据该基础视角的所有人的人体步态轮廓序列，建立一个包含状态间的转移参数和各状态的表象参数的多状态模型来表征该基础视角下的步态特性；状态间的转移参数表征各状态之间的转移关系，各状态的表象参数表征各状态下表现出来的步态特征；各个视角下的多状态模型选择隐马尔可夫-混合高斯模型，其状态间的转移参数用维数为状态数的转移概率矩阵表示，各状态的表象参数用混合高斯模型表示，使用波氏估计算法得到基础视角下的状态间的转移参数和各状态的表象参数，得到多状态模型；

(4)建立训练集里除基础视角以外其他所有视角的多状态模型，其状态间的转移参数直接由基础视角下多状态模型中的状态间的转移参数复制得到，对于各状态的表象参数，先采用步骤一(3)中基础视角下的多状态模型对基础视角的所有人体步态轮廓序列进行维特比解码求出人体步态轮廓序列中各帧的状态，按照各帧状态的不同，将基础视角下的所有人体步态轮廓序列分成若干子序列，分割后的每个子序列内的所有帧拥有同一状态，然后将步骤一(2)中时间同步后的其他所有视角下的所有人体步态轮廓序列依照基础视角下的分割产生各状态的子序列进行分割，再以这些其他所有视角下的各状态的子序列为样本，用混合高斯模型的期望最大化算法估计出其他所有视角下的各状态的表象参数，根据状态间的转移参数和各状态的表象参数，得到除基础视角以外其他所有视角的多状态模型；

(5)由步骤一(3)和步骤一(4)中获得的各个视角下的多状态模型，用维特比解码得到各个视角下的所有人体步态轮廓序列各帧的状态，获得每一个人的各视角下的各状态的表象期望值，并在表象期望值、视角、状态和身份这四个维度的张量空间中进行奇异值分解，得到表象期望值、视角、状态、身份之间的投影关系；所述的表象期望值、视角、状态、身份之间的投影关系的建立是将整个训练集表示为张量积形式G，其中，S是由张量奇异值分解得到的张量核，U_feature、U_stance、U_view、U_person分别是表象期望值、视角、状态和身份这四个维度的投影矩阵：

G＝S×₁U_feature×₂U_stance×₃U_view×₄U_person

$S=G{\×}_1{U}_{\mathrm{feature}}^T{\×}_2{U}_{s\tan \mathrm{ce}}^T{\×}_3{U}_{\mathrm{view}}^T{\×}_4{U}_{\mathrm{person}}^T$

步骤二：对原型集里每一个人的一段或多段人体步态轮廓序列进行视角估计，将提取的步态特征输入到估计视角下的步骤一得到的多状态模型，从表象期望值、视角、状态、身份之间的投影关系获得身份信息；

(1)从原型集里每一个人的所有行走视频中提取出一个或多个待识别人体步态轮廓序列，由步骤一获得的各个视角的多状态模型计算后验概率，对于每个人体步态轮廓序列按最大后验概率策略选出模型后验概率最大的视角，作为各人体步态轮廓序列的估计视角，待识别人体步态轮廓序列的提取过程与步骤一(1)相同；

(2)根据原型集里各个人体步态轮廓序列以及步骤一获得的各人体步态轮廓序列的估计视角下的多状态模型，对各人体步态轮廓序列提取出各人体步态轮廓序列的估计视角下的各状态的表象期望值，各状态的表象期望值的提取过程与步骤一(5)相同；

(3)根据步骤二(2)提取出的原型集里每一个人的一个或多个视角、一个或多个状态的表象期望值，以及步骤一(5)中获得的表象期望值、视角、状态、身份之间的投影关系计算出原型集中所有人的身份向量，身份向量的计算过程是将原型集中每一个人的一个或多个视角、一个或多个状态的表象期望值形成一个待识别张量P，将其向第4维度身份维度上展开得到与P数据量相同、维度组合不同的中间变量P₄，用C_stance只含有1和0的单位向量组成的矩阵表示此人现有的所有状态，用C_view只含有1和0的单位向量组成的矩阵表示此人现有的所有视角；将在第4维度上求逆，再乘上中间变量P₄得到身份向量

${\hat{u}}_{\mathrm{person}}=P_4{\×}_1{\left(S{\×}_1{U}_{\mathrm{feature}}{\×}_2{C}_{s\tan \mathrm{ce}}^T{U}_{s\tan \mathrm{ce}}{\×}_3{C}_{\mathrm{view}}^T{U}_{\mathrm{view}}\right)}^{{+}_4};$

步骤三：对测试集里多个人的一段或多段的人体步态轮廓序列进行视角估计，将提取的步态特征输入到步骤一训练得到的多视角下的多状态模型，从训练集中的表象期望值、视角、状态、身份之间的投影关系获得身份信息，与原型集里已有的所有身份向量进行比对，得到是原型集中的哪一个人；

(1)从测试集里每一个人的所有行走视频中提取出一个或多个待识别人体步态轮廓序列，由步骤一获得的训练集中的各个视角的多状态模型计算后验概率，对于每个人体步态轮廓序列按最大后验概率策略选出模型后验概率最大的视角，作为各人体步态轮廓序列的估计视角，待识别人体步态轮廓序列的提取过程与步骤一(1)相同，视角估计过程与步骤二(1)相同；

(2)根据测试集里各个人体步态轮廓序列以及步骤一获得的各序列的估计视角下的多状态模型，对各人体步态轮廓序列提取出各序列的估计视角下的该状态的表象期望值，各状态的表象期望值的提取过程与步骤一(5)相同；

(3)根据步骤三(2)提取出的测试集里每一个人的一个或多个视角、一个或多个状态的表象期望值，与步骤一(4)中获得的表象期望值、视角、状态、身份之间的投影关系计算出测试集中的身份向量：将测试集中每一个行人的一个或多个视角、一个或多个状态的表象期望值堆砌成一个待识别张量Q，将其向第4维度身份维度上展开得到与M数据量相同、维度组合方式不同的中间变量Q₄；用D_stance只含有1和0的单位向量组成的矩阵表示此人现有的所有状态；D_view只含有1和0的单位向量组成的矩阵表示此人现有的所有视角；D_view和D_stance的组成与步骤二(2)中的C_view和C_stance相同；将

在第4维度上求逆，再乘上Q₄求得身份向量

${\hat{v}}_{\mathrm{person}}=Q_4{\×}_1{\left(S{\×}_1{U}_{\mathrm{feature}}{\×}_2{D}_{s\tan \mathrm{ce}}^T{U}_{s\tan \mathrm{ce}}{\×}_3{D}_{\mathrm{view}}^T{U}_{\mathrm{view}}\right)}^{{+}_4}$

对测试集的每一个人，将得到的身份向量与原型集的所有身份向量计算欧式距离，并用最近邻法在原型集里找出最佳匹配项，若与最佳匹配项的距离大于阈值，则视为在原型集里没有此人，否则将找到的最佳匹配项作为最终识别结果，身份向量的计算过程与步骤二(3)相同，得到了测试集的所有人的身份向量，若此人已被包含在原型集则给出最佳匹配项，否则在原型集里没有此人的记录。

本发明的优点在于：

(1)本发明提出一种多视角多状态的步态识别方法，与现有的基于整个步态周期的方法不同，本发明以单个状态作为最小单位，更加准确的建模步态运动的变化过程并用于识别。

(2)本发明提出一种多视角多状态的步态识别方法，训练出各个视角下的多状态模型，能够估计待识别视频的步态视角。

(3)本发明提出一种多视角多状态的步态识别方法，不需要完整的步态周期，自动的对状态进行尽可能多的提取，达到准确识别的目的。

(4)本发明提出一种多视角多状态的步态识别方法，得到的身份向量与视角、状态等因素无关，便于存储和比对。

附图说明

图1：本发明提出的一种多视角多状态的步态识别方法的流程示意图；

图2：本发明中采用CASIA-B数据库在各个状态数的识别率的影响示意图。

图3：本发明中CASIA-B数据库中一个人在18度、54度、108度、126度的5个状态期望值；

图4-A：本发明中采用CASIA-B数据库，训练集包含所有的11个视角，原型集所有人的视角为90度，测试集中所有人的视角为除90度以外的其他单一视角时，应用本发明的方法进行识别实验的识别率；

图4-B：采用CASIA-B数据库，训练集包含所有的11个视角，测试集中所有人的视角为90度，原型集中所有人的视角为除90度以外的其他单一视角时，应用本发明进行识别实验。

具体实施方式

下面将结合附图对本发明作进一步的详细说明。

本发明提供的一种多视角多状态的步态识别方法，如图1所示，具体包括以下几个步骤：

步骤一：对多个已知视角的多段步态视频进行轮廓提取和时间同步，对不同视角下的多状态模型进行参数估计，建立表象期望值、视角、状态和身份之间的投影关系；

(1)对训练集里每一个人在不同视角下的行走视频，顺次通过前景检测、形态学滤波和归一化处理，提取每一个人各视角下的人体步态轮廓序列；

所述的视角为摄像机与行走平面(人的行走方向和站立竖直方向构成的平面)的三维夹角关系，例如以行走方向为x轴正方向，站立竖直方向为y轴正方向，另一与行走平面垂直的方向为z轴正方向，将摄像机与这三个轴所成的夹角作为视角；所述的训练集为已经采集到的多个人的行走视频集合，其中每个人均具有同样多的相同视角下的行走视频，视频的帧数可以不同，每个视角下的行走视频均是连续拍摄得到的；所述的前景检测为使用背景建模的方法对视频中的行人进行检测和提取，得到前景区域，优选混合高斯模型这一最常用的背景建模方法；所述的形态学滤波为对前景检测出的前景区域进行形态学滤波(腐蚀和膨胀)操作，消除噪点并使该帧视频中联系紧密的前景区域形成连通区域提取出前景像素最多的连通区域的最小临接矩形作为行人的边界框。所述的归一化处理为将每帧边界框内按照前景和背景的区域划分进行二值化处理形成初始轮廓图像，再将初始轮廓图像缩放到一定像素高度(优选为5-1000像素高度)，并同时保持初始轮廓图像高度和宽度的比例不变，然后将缩放后的初始轮廓图像置于一定大小(高度优选为5-1000像素高度，宽度优选为4-800像素高度)的另一个二值空白图像的中心位置，使初始轮廓图像的中心点和二值空白图像的中心点重合，保存在这个二值空白图像上生成新的人体步态轮廓图像，对各帧顺序进行，得到人体步态轮廓序列；所述人体步态轮廓序列中的每一帧是包含二值实心轮廓的矩形图像，优选前景(人体)区域的像素值为1，背景区域的像素值为0；。

(2)采用局部线性嵌入、互相关系数分析和序列平移的方法，将步骤一(1)中获取到的各个视角的人体步态轮廓序列进行时间上的同步。用1…n为对视角进行编号，i为其中任意一个视角。对于第i个视角而言，如果i不等于1或n，则与它相邻的两个视角的编号为i-1和i+1；否则，即i等于1或n时，只有一个相邻视角。用x_i表示第i个视角下的步态轮廓序列，m_i表示对x_i平移的帧数，c₁(x_i-1，x_i，m_i)表示在对第i视角下的人体步态轮廓序列x_i平移m_i帧后，第i-1个视角下的步态轮廓序列x_i-1和第i个视角下的平移后的步态轮廓序列x_i的互相关系数，c₂(x_i，x_i+1，m_i)表示在对第i视角的人体步态轮廓序列x_i平移m_i帧后第i个视角下的平移后的步态轮廓序列x_i和第i+1个视角下的步态轮廓序列x_i+1的互相关系数，N_i表示第i个视角与第i-1个视角下的人体步态轮廓序列的长度最小值，N_i′表示第i个视角与第i+1个视角下的人体步态轮廓序列长度最小值，m_i表示需要平移而达到同步的平移量，j表示互相关性系数计算过程的序列中的帧号，y_i，j表示第i个视角与第i-1个视角的人体步态轮廓序列通过局部线性嵌入(LLE)得到的第i个视角的一维实数序列中的第j帧，y′_i，j表示第i个视角与第i+1个视角的人体步态轮廓序列通过局部线性嵌入得到的第i个视角的一维实数序列的第j帧。第i视角与相邻两视角的相关性f(i，m_i)可以表示为：

f(i，m_i)＝c₁(x_i-1，x_i，m_i)+c₂(x_i，x_i+1，m_i)，

$c_1(x_{i-1},x_i,m_i)=\left\{\begin{array}{cc}\underset{j=1}{\overset{N_i}{\mathrm{\&Sigma;}}}{y^{\&prime;}}_{i-1,j}{y}_{i,j+m_i}& 1<i\&le;n\\ 0& i=1\end{array}\right.,$

$c_2(x_i,x_{i+1},m_i)=\left\{\begin{array}{cc}\underset{j=1}{\overset{{N_i}^{\&prime;}}{\mathrm{\&Sigma;}}}{y^{\&prime;}}_{i,j+m_i}{y}_{i+1,j}& 1\&le;i<n\\ 0& i=n\end{array}\right.,$

其中，y′_i-1，j表示第i-1个视角与第i个视角的人体步态轮廓序列通过局部线性嵌入得到的第i-1个视角的一维实数序列的第j帧；表示第i个视角与第i-1个视角的人体步态轮廓序列通过局部线性嵌入(LLE)得到的第i个视角的一维实数序列中的第j+m_i帧，若j+m_i小于零或者超过第i个视角的一维实数序列的长度范围，则此帧为零；

表示第i个视角与第i+1个视角的人体步态轮廓序列通过局部线性嵌入(LLE)得到的第i个视角的一维实数序列中的第j+m_i帧，若j+m_i小于零或者超过第i个视角的一维实数序列的长度范围，则此帧为零；y_i+1，j表示第i+1个视角与第i个视角的人体步态轮廓序列通过局部线性嵌入得到的第i+1个视角的一维实数序列的第j帧。当i的取值为1时，c₁(x_i-1，x_i，m_i)＝0，当i的取值为n时，c₂(x_i，x_i+1，m_i)＝0。具体的同步方法为：从i＝1开始，对小于1/2每秒帧数的m_i(m_i＜1/2S^-1)计算f(i，m_i)，并将第i视角下的一维实数序列y_i，j平移

帧，其中

是使得f(i，m_i)的函数值取得最大值的m_i。然后取i＝i+1，计算第i视角与相邻两视角(i＝1和i＝n时为相邻一视角)的相关性，并将第i视角下的一维实数序列y_i，j平移

帧，直到i＝n为止，若对所有的的取值都有

则表示本次循环没有平移。如果此次循环发生了平移，则再次将视角i的值从1，2，…到n进行如上平移

帧操作，直至在出现一次i的取值从1到n的整个循环中没有发生平移即收敛为止；所述的时间同步是为使各个视角的每一帧人体步态轮廓图像与各个视角有对应关系，即时间同步后的人体步态轮廓序列中的每一帧应是不同视角下几乎同时发生的；所述的局部线性嵌入方法是一种基于流形学习的降维方法，它可以在降低维度的同时，保持序列中的局部关系。

(3)在训练集中选择一个视角作为基础视角，根据该基础视角的所有人的人体步态轮廓序列(同步前或者同步后的)，建立一个包含状态间的转移参数和各状态的表象参数的多状态模型来表征该基础视角下的步态特性，其中状态间的转移参数表征各状态之间的转移关系，各状态的表象参数表征各状态下表现出来的步态特征。所述的状态是指步态运动中的一个阶段，步态作为一种周期性的运动，大致上可以被划分为多个状态阶段，常见的三状态划分为触地期、站立中期和推进期；所述的基础视角选择单视角步态识别时性能较好、状态区分明显的视角，若训练集里有摄像机与行走平面垂直的视角则直接选用为基础视角，若无则选择最接近于与行走平面垂直的一个视角；所述各个视角下的多状态模型选择隐马尔可夫-混合高斯模型(HMM-GMM)，其状态间的转移参数用维数为状态数的转移概率矩阵表示，各状态的表象参数用混合高斯模型表示；使用波氏(Baum-Welch)估计算法得到基础视角下的状态间的转移参数和各状态的表象参数，即多状态模型。

(4)对训练集里除基础视角以外其他所有视角的多状态模型(包括状态间的转移参数和各状态的表象参数)进行建立，由于各个视角的状态与各个视角拥有对应关系，状态间的转移参数直接由基础视角下多状态模型中的状态间的转移参数复制得到；对于各状态的表象参数，先采用步骤一(3)中基础视角下的多状态模型对基础视角的所有人体步态轮廓序列(时间同步前或时间同步后的)进行维特比(Viterbi)解码求出人体步态轮廓序列中各帧的状态，按照各帧状态的不同，将基础视角下所有人体步态轮廓序列分成若干子序列，即分割后的每个子序列内的所有帧拥有同一状态。然后将步骤一(2)中时间同步后的其他所有视角下的所有人体步态轮廓序列依照基础视角下的分割产生各状态的子序列进行分割，再以这些其他所有视角下的各状态的子序列为样本，用混合高斯模型的期望最大化算法估计出其他所有视角下的各状态的表象参数。根据状态间的转移参数和各状态的表象参数，得到除基础视角以外其他所有视角的多状态模型。

(5)由步骤一(3)和步骤一(4)中获得的各个视角下的多状态模型，用维特比解码估计出各个视角下的所有人体步态轮廓序列(归一化处理后的或同步后的)各帧的状态，获得每一个人的各视角下的各状态的表象期望值，并在表象期望值、视角、状态和身份这四个维度的张量空间中进行奇异值分解，得到表象期望值、视角、状态、身份之间的投影关系；所述的各视角下的各状态的表象期望值，是根据各视角下的多状态模型用维特比解码标记出人体步态轮廓序列中各帧的状态，对每一个状态，以人体步态轮廓序列分割产生的标记为该状态的所有子序列中的各帧加和平均值作为各状态的表象期望值，所述的张量空间的奇异值分解是矩阵奇异值分解的推广，能够建立起多个维度的数据之间的投影关系；所述的表象期望值、视角、状态、身份之间的投影关系的建立是将整个训练集表示为如下的张量积形式G，其中，S是由张量奇异值分解得到的张量核，U_feature、U_stance、U_view、U_person分别是表象期望值、视角、状态和身份这四个维度的投影矩阵：

G＝S×₁U_feature×₂U_stance×₃U_view×₄U_preson

$S=G{\&times;}_1{U}_{\mathrm{feature}}^T{\&times;}_2{U}_{s\tan \mathrm{ce}}^T{\&times;}_3{U}_{\mathrm{view}}^T{\&times;}_4{U}_{\mathrm{person}}^T$

综上，通过步骤一得到了训练集里的所有视角下的多状态模型，以及表象期望值、视角、状态和身份之间的投影关系。

步骤二：对原型集里每一个人的一段或多段人体步态轮廓序列进行视角估计，将提取的步态特征输入到估计视角下的步骤一得到的多状态模型，从表象期望值、视角、状态、身份之间的投影关系获得身份信息，并记录下来以供测试比对。

(1)从原型集里每一个人的所有行走视频中提取出一个或多个待识别人体步态轮廓序列，由步骤一获得的各个视角的多状态模型计算后验概率，对于每个人体步态轮廓序列按最大后验概率(Maximum a Posteriori，MAP)策略选出模型后验概率最大的视角，作为各人体步态轮廓序列的估计视角；所述原型集是在识别之前，记录的多个人的一段或多段人体步态轮廓序列。步骤二需要计算出原型集里所有人的身份向量，用于步骤三的测试。原型集里的每一个人的所有行走视频的视角都必须被包含在训练集的视角中；所述的待识别人体步态轮廓序列的提取过程与步骤一(1)相同。

(2)根据原型集里各个人体步态轮廓序列以及步骤一获得的各人体步态轮廓序列的估计视角(训练集里与之相同的视角)下的多状态模型(原型集里的各人体步态轮廓序列的估计视角都被包含在训练集中，训练集中所有视角的多状态模型已经建立)，对各人体步态轮廓序列提取出各人体步态轮廓序列的估计视角下的各状态的表象期望值；所述各状态的表象期望值的提取过程与步骤一(5)相同；

(3)根据步骤二(2)提取出的原型集里每一个人的一个或多个视角、一个或多个状态的表象期望值，以及步骤一(5)中获得的表象期望值、视角、状态、身份之间的投影关系计算出原型集中所有人的身份向量；所述身份向量的计算过程是将原型集中每一个人的一个或多个视角、一个或多个状态的表象期望值如训练集张量积形式G一样形成一个待识别张量P，将其向第4维度即身份维度上展开得到与P数据量相同，维度组合不同的中间变量P₄(和P的数据量是一样的，只是维度组合上发生差异)。用

这个只含有1和0的单位向量组成的矩阵表示此人现有的所有状态，比如，已经建立好了一个五状态的模型，维特比解码出来一共只出现第2、第5两个状态，即只能计算出这两个状态下的表象期望值，那么C_stance是一个5行2列的矩阵，其中第1列向量为[0 1 0 0 0]，第2列向量为[0 0 0 0 1]。用C_view这个只含有1和0的单位向量组成的矩阵表示此人现有的所有视角，与

的组成方式相同。将

在第4维度上求逆，再乘上P₄求得身份向量

如下：

${\hat{u}}_{\mathrm{person}}=P_4{\&times;}_1{\left(S{\&times;}_1{U}_{\mathrm{feature}}{\&times;}_2{C}_{s\tan \mathrm{ce}}^T{U}_{s\tan \mathrm{ce}}{\&times;}_3{C}_{\mathrm{view}}^T{U}_{\mathrm{view}}\right)}^{{+}_4}$

综上，通过步骤二得到了原型集中的所有人的身份向量。

步骤三：对测试集里多个人的一段或多段的人体步态轮廓序列进行视角估计，将提取的步态特征输入到步骤一训练得到的多视角下的多状态模型，从训练集中的表象期望值、视角、状态、身份之间的投影关系获得身份信息，再与原型集里已有的所有身份向量进行比对，估计出最可能是原型集中的哪一个人。

(1)从测试集里每一个人的所有行走视频中提取出一个或多个待识别人体步态轮廓序列，由步骤一获得的训练集中的各个视角的多状态模型计算后验概率，对于每个人体步态轮廓序列按最大后验概率策略选出模型后验概率最大的视角，作为各人体步态轮廓序列的估计视角；所述测试集是现场实时采集的或录制好的一段或多段待识别视频，用来与原型集中的行人进行比对，在原型集里找出测试集里的视频所对应的人。测试集里的每一个人的所有行走视频的视角都必须被包含在训练集的视角中，测试集的视角与原型集的视角相同与否均可；所述的待识别人体步态轮廓序列的提取过程与步骤一(1)相同，所述的视角估计过程与步骤二(1)相同。

(2)根据测试集里各个人体步态轮廓序列以及步骤一获得的各序列的估计视角(训练集里与之相同的视角)下的多状态模型，对各人体步态轮廓序列提取出各序列的估计视角下的该状态的表象期望值；所述各状态的表象期望值的提取过程与步骤一(5)相同；

(3)根据步骤三(2)提取出的测试集里每一个人的一个或多个视角、一个或多个状态的表象期望值，步骤一(4)中获得的表象期望值、视角、状态、身份之间的投影关系计算出测试集中的身份向量；所述身份向量的计算过程：将测试集中每一个行人的一个或多个视角、一个或多个状态的表象期望值如G一样堆砌成一个待识别张量Q，将其向第4维度即身份维度上展开得到与M数据量相同、维度组合方式不同的中间变量Q₄。用D_stance这个只含有1和0的单位向量组成的矩阵表示此人现有的所有状态。D_view这个只含有1和0的单位向量组成的矩阵表示此人现有的所有视角，与D_stance的组成方式相同。D_view和D_stance的组成与步骤二(2)中的C_view和C_stance相同。将

在第4维度上求逆，再乘上Q₄求得身份向量

如下：

${\hat{v}}_{\mathrm{person}}=Q_4{\&times;}_1{\left(S{\&times;}_1{U}_{\mathrm{feature}}{\&times;}_2{D}_{s\tan \mathrm{ce}}^T{U}_{s\tan \mathrm{ce}}{\&times;}_3{D}_{\mathrm{view}}^T{U}_{\mathrm{view}}\right)}^{{+}_4}$

对测试集的每一个人，将得到的身份向量与原型集的所有身份向量计算欧式距离，并用最近邻法在原型集里找出最佳匹配项，如果与最佳匹配项的距离大于一定阈值，则视为在原型集里没有此人，否则把找到的最佳匹配项作为最终识别结果；所述身份向量的计算过程与步骤二(3)相同；所述阈值的优选方法，先将测试集里每个人的身份向量分别与其在原型集里的最佳匹配项的身份向量求欧式距离，以这些距离的均值的作为类内距离，再求得原型集里每任意两个身份向量之间的距离，以这些距离的均值的作为类间距离，以类内距离和类间距离的均值作为阈值。

综上，通过步骤三，得到了测试集的所有人的身份向量，如果此人已被包含在原型集则给出最佳匹配项，否则在原型集里没有此人的记录。

应用本发明提出的多视角多状态的步态识别方法进行识别实验，训练集在CASIA-B数据库中包含所有0度，18度…180度这11个视角的步态轮廓序列，其中0度为人正对摄像机行走，90度为人从右到左行走，摄像机与行走平面垂直，180度为人背对摄像机行走。本发明中根据CASIA-B数据库建立了这11个视角的多状态模型，识别实验表示了状态数对两两不同视角间互相识别，训练集中包含所有的11个视角，从11个视角中任意选出2个视角，原型集和测试集中的所有人的视角各取其中一个视角，分别进行状态数为1-10的多组识别实验，如图2所示的识别率平均值和方差影像图，其中横轴为状态数，纵轴为识别率，每一个状态数经多组识别实验后对应得到多个识别率，对其取平均值获得平均识别率，可以看出其中采用5状态的识别实验的平均识别率最高，明显高于状态数为1(整个周期分析方法)和其他状态数，因此应用本发明的状态模型明显优于对整个周期分析的方法，且5状态模型能达到最好的识别率。其中采用5状态进行识别时的5状态期望值，如图3所示，为一个人在18度、54度、108度、126度视角下的5状态期望值。采用5状态识别方法和现有的整个周期分析识别方法，根据CASIA-B数据库，当训练集中包含所有0度，18度…180度这11个视角，原型集中所有人的视角为90度，测试集中所有人的视角为除90度以外的其他单一视角时，如图4-A所示，可以看出本发明的识别率远远高于整个周期分析法的识别率；当测试集中所有人的视角为90度，原型集中所有人的视角为除90度以外的其他单一视角时，分别用5状态模型和1状态模型(整个周期分析)的识别率如图4-B所示，应用本发明的5状态模型的识别率也远远高于整个周期分析法的识别率。

本发明的方法可以对不同视角下的行人进行识别，通过对各视角下状态的同步划分，多状态模型的建立，以及表象期望值、视角、状态和身份之间的投影关系的建立，实现了多视角多状态的步态识别。

本发明提出的一种多视角多状态的步态识别可以应用于如下方面：(1)用于智能视频监控系统，能够自动的确定场景内不同视角下的行人的身份信息；(2)收集商场、游乐场等不同场所中的行人的身份信息，用于分析个人的行为习惯、喜好关系等。(3)对特定人进行大区域跟踪，分析其行走轨迹，帮助系统理解场景中发生的事件；(4)用于区域进入认证或排查，配合如人脸、指纹、虹膜等其他的生物特征进行访问控制等。(5)由于身份向量是视角无关的，通过将新收集到的身份向量加入到原型集，可以逐渐建立大型的身份数据库供比对使用。

Claims (4)

1.一种多视角多状态的步态识别方法，其特征在于：具体包括以下几个步骤：

步骤一：对训练集里多个已知视角的多段步态视频进行轮廓提取和时间同步，对不同视角下的多状态模型进行参数估计，建立表象期望值、视角、状态和身份之间的投影关系；

(1)对训练集里每一个人在不同视角下的行走视频，顺次通过前景检测、形态学滤波和归一化处理，提取每一个人各视角下的人体步态轮廓序列；

(2)采用局部线性嵌入、互相关系数分析和序列平移的方法，将获得的各个视角的人体步态轮廓序列进行时间上的同步；

(3)在训练集中选择一个视角作为基础视角，根据该基础视角的所有人的人体步态轮廓序列，建立一个包含状态间的转移参数和各状态的表象参数的多状态模型来表征该基础视角下的步态特性；状态间的转移参数表征各状态之间的转移关系，各状态的表象参数表征各状态下表现出来的步态特征；各个视角下的多状态模型选择隐马尔可夫-混合高斯模型，其状态间的转移参数用维数为状态数的转移概率矩阵表示，各状态的表象参数用混合高斯模型表示，使用波氏估计算法得到基础视角下的状态间的转移参数和各状态的表象参数，得到多状态模型；

(4)建立训练集里除基础视角以外其他所有视角的多状态模型，其状态间的转移参数直接由基础视角下多状态模型中的状态间的转移参数复制得到，对于各状态的表象参数，先采用步骤一(3)中基础视角下的多状态模型对基础视角的所有人体步态轮廓序列进行维特比解码求出人体步态轮廓序列中各帧的状态，按照各帧状态的不同，将基础视角下人体步态轮廓序列分成若干子序列，分割后的每个子序列内的所有帧拥有同一状态，然后将步骤一(2)中时间同步后的其他所有视角下的所有人体步态轮廓序列依照基础视角下的分割产生各状态的子序列进行分割，再以这些其他所有视角下的各状态的子序列为样本，用混合高斯模型的期望最大化算法估计出其他所有视角下的各状态的表象参数，根据状态间的转移参数和各状态的表象参数，得到除基础视角以外其他所有视角的多状态模型；

(5)由步骤一(3)和步骤一(4)中获得的各个视角下的多状态模型，用维特比解码得到各个视角下的所有人体步态轮廓序列各帧的状态，获得每一个人的各视角下的各状态的表象期望值，并在表象期望值、视角、状态和身份这四个维度的张量空间中进行奇异值分解，得到表象期望值、视角、状态、身份之间的投影关系；所述的表象期望值、视角、状态、身份之间的投影关系的建立是将整个训练集表示为张量积形式G，其中，S是由张量奇异值分解得到的张量核，U_feature、U_sctance、U_view、U_person分别是表象期望值、视角、状态和身份这四个维度的投影矩阵：

G＝S×₁U_feature×₂U_stance×₃U_vier×₄U_person

$S=G{\&times;}_1{U}_{\mathrm{feature}}^T{\&times;}_2{U}_{s\tan \mathrm{ce}}^T{\&times;}_3{U}_{\mathrm{view}}^T{\&times;}_4{U}_{\mathrm{person}}^T$

步骤二：对原型集里每一个人的一段或多段人体步态轮廓序列进行视角估计，将提取的步态特征输入到估计视角下的步骤一得到的多状态模型，从表象期望值、视角、状态、身份之间的投影关系获得身份信息；

(1)从原型集里每一个人的所有行走视频中提取出一个或多个待识别人体步态轮廓序列，由步骤一获得的各个视角的多状态模型计算后验概率，对于每个人体步态轮廓序列按最大后验概率策略选出模型后验概率最大的视角，作为各人体步态轮廓序列的估计视角，待识别人体步态轮廓序列的提取过程与步骤一(1)相同；

(2)根据原型集里各个人体步态轮廓序列以及步骤一获得的各人体步态轮廓序列的估计视角下的多状态模型，对各人体步态轮廓序列提取出各人体步态轮廓序列的估计视角下的各状态的表象期望值，各状态的表象期望值的提取过程与步骤一(5)相同；

(3)根据步骤二(2)提取出的原型集里每一个人的一个或多个视角、一个或多个状态的表象期望值，以及步骤一(5)中获得的表象期望值、视角、状态、身份之间的投影关系计算出原型集中所有人的身份向量，身份向量的计算过程是将原型集中每一个人的一个或多个视角、一个或多个状态的表象期望值形成一个待识别张量P，将其向第4维度身份维度上展开得到与P数据量相同、维度组合不同的中间变量P₄，用C_stance只含有1和0的单位向量组成的矩阵表示此人现有的所有状态，用C_view只含有1和0的单位向量组成的矩阵表示此人现有的所有视角；将

在第4维度上求逆，再乘上中间变量P₄得到身份向量 ${\hat{u}}_{\mathrm{person}}=P_4{\&times;}_1{\left(S{\&times;}_1{U}_{\mathrm{feature}}{\&times;}_2{C}_{s\tan \mathrm{ce}}^T{U}_{s\tan \mathrm{ce}}{\&times;}_3{C}_{\mathrm{view}}^T{U}_{\mathrm{view}}\right)}^{{+}_4};$

步骤三：对测试集里多个人的一段或多段的人体步态轮廓序列进行视角估计，将提取的步态特征输入到步骤一训练得到的多视角下的多状态模型，从训练集中的表象期望值、视角、状态、身份之间的投影关系获得身份信息，与原型集里已有的所有身份向量进行比对，得到是原型集中的哪一个人；

(1)从测试集里每一个人的所有行走视频中提取出一个或多个待识别人体步态轮廓序列，由步骤一获得的训练集中的各个视角的多状态模型计算后验概率，对于每个人体步态轮廓序列按最大后验概率策略选出模型后验概率最大的视角，作为各人体步态轮廓序列的估计视角，待识别人体步态轮廓序列的提取过程与步骤一(1)相同，视角估计过程与步骤二(1)相同；

(2)根据测试集里各个人体步态轮廓序列以及步骤一获得的各序列的估计视角下的多状态模型，对各人体步态轮廓序列提取出各序列的估计视角下的该状态的表象期望值，各状态的表象期望值的提取过程与步骤一(5)相同；

(3)根据步骤三(2)提取出的测试集里每一个人的一个或多个视角、一个或多个状态的表象期望值，与步骤一(4)中获得的表象期望值、视角、状态、身份之间的投影关系计算出测试集中的身份向量：将测试集中每一个行人的一个或多个视角、一个或多个状态的表象期望值堆砌成一个待识别张量Q，将其向第4维度身份维度上展开得到与M数据量相同、维度组合方式不同的中间变量Q₄；用D_stance只含有1和0的单位向量组成的矩阵表示此人现有的所有状态；D_view只含有1和0的单位向量组成的矩阵表示此人现有的所有视角；D_view和D_stance的组成与步骤二(2)中的C_view和C_stance相同；将

在第4维度上求逆，再乘上Q₄求得身份向量

${\hat{v}}_{\mathrm{person}}=Q_4{\&times;}_1{\left(S{\&times;}_1{U}_{\mathrm{feature}}{\&times;}_2{D}_{s\tan \mathrm{ce}}^T{U}_{s\tan \mathrm{ce}}{\&times;}_3{D}_{\mathrm{view}}^T{U}_{\mathrm{view}}\right)}^{{+}_4}$

对测试集的每一个人，将得到的身份向量与原型集的所有身份向量计算欧式距离，并用最近邻法在原型集里找出最佳匹配项，若与最佳匹配项的距离大于阈值，则视为在原型集里没有此人，否则将找到的最佳匹配项作为最终识别结果，身份向量的计算过程与步骤二(3)相同，得到了测试集的所有人的身份向量，若此人已被包含在原型集则给出最佳匹配项，否则在原型集里没有此人的记录。

2.根据权利要求1所述的一种多视角多状态的步态识别方法，其特征在于：所述的步骤一(1)中前景检测为使用背景建模的方法对视频中的行人进行检测和提取，得到前景区域；所述的形态学滤波为对前景检测出的前景区域进行形态学滤波操作，消除噪点并使该帧视频中联系紧密的前景区域形成连通区域，提取出前景像素最多的连通区域的最小临接矩形作为行人的边界框；所述的归一化处理为将每帧边界框内按照前景和背景的区域划分进行二值化处理，形成初始轮廓图像，再将初始轮廓图像缩放到像素高度，同时保持初始轮廓图像高度和宽度的比例不变，然后将缩放后的初始轮廓图像置于一个二值空白图像的中心位置，使初始轮廓图像的中心点和二值空白图像的中心点重合，保存在这个二值空白图像上生成新的人体步态轮廓图像，对各帧顺序进行，得到人体步态轮廓序列。

3.根据权利要求1所述的一种多视角多状态的步态识别方法，其特征在于：所述的步骤一(2)中各个视角的人体步态轮廓序列进行时间上的同步具体为：用1…n为对视角进行编号，i为其中任意一个视角；若i不等于1或n，与第i视角相邻的两个视角的编号为i-1和i+1；若i等于1或n，只有一个相邻视角；用x_i表示第i个视角下的步态轮廓序列，m_i表示对x_i平移的帧数；c₁(x_i-1，x_i，m_i)表示在对第i视角下的人体步态轮廓序列x_i平移m_i帧后，第i-1个视角下的步态轮廓序列x_i-1和第i个视角下的平移后的步态轮廓序列x_i的互相关系数；c₂(x_i，x_i+1，m_i)表示在对第i视角的人体步态轮廓序列x_i平移m_i帧后第i个视角下的平移后的步态轮廓序列x_i和第i+1个视角下的步态轮廓序列x_i+1的互相关系数；N_i表示第i个视角与第i-1个视角下的人体步态轮廓序列的长度最小值；N_i′表示第i个视角与第i+1个视角下的人体步态轮廓序列长度最小值；m_i表示需要平移而达到同步的平移量，j表示互相关性系数计算过程的序列中的帧号；y_i，j表示第i个视角与第i-1个视角的人体步态轮廓序列通过局部线性嵌入得到的第i个视角的一维实数序列中的第j帧；y_i，j′表示第i个视角与第i+1个视角的人体步态轮廓序列通过局部线性嵌入得到的第i个视角的一维实数序列的第j帧；第i视角与相邻两视角的相关性f(i，m_i)表示为：

f(i，m_i)＝c₁(x_i-1，x_i，m_i)+c₂(x_i，x_i+1，m_i)，

$c_1(x_{i-1},x_i,m_i)=\left\{\begin{array}{cc}\underset{j=1}{\overset{N_i}{\mathrm{\&Sigma;}}}{y^{\&prime;}}_{i-1,j}{y}_{i,j+m_i}& 1<i\&le;n\\ 0& i=1\end{array}\right.,$

$c_2(x_i,x_{i+1},m_i)=\left\{\begin{array}{cc}\underset{j=1}{\overset{{N_i}^{\&prime;}}{\mathrm{\&Sigma;}}}{y^{\&prime;}}_{i,j+m_i}{y}_{i+1,j}& 1\&le;i<n\\ 0& i=n\end{array}\right.,$

其中，y′_i-1，j表示第i-1个视角与第i个视角的人体步态轮廓序列通过局部线性嵌入得到的第i-1个视角的一维实数序列的第j帧；

表示第i个视角与第i-1个视角的人体步态轮廓序列通过局部线性嵌入得到的第i个视角的一维实数序列中的第j+m_i帧，若j+m_i小于零或者超过第i个视角的一维实数序列的长度范围，则此帧为零；

表示第i个视角与第i+1个视角的人体步态轮廓序列通过局部线性嵌入得到的第i个视角的一维实数序列中的第j+m_i帧，若j+m_i小于零或者超过第i个视角的一维实数序列的长度范围，则此帧为零；y_i+1，j表示第i+1个视角与第i个视角的人体步态轮廓序列通过局部线性嵌入得到的第i+1个视角的一维实数序列的第j帧；当i的取值为1时，c₁(x_i-1，x_i，m_i)＝0，当i的取值为n时，c₂(x_i，x_i+1，m_i)＝0；具体的同步方法为：从i＝1开始，对小于1/2每秒帧数的m_i计算第i视角与相邻两视角的相关性f(i，m_i)，并将第i视角下的一维实数序列y_i，j平移

帧，其中为使f(i，m_i)的函数值取得最大值的m_i的取值；然后取i＝i+1，计算第i视角与相邻两视角的相关性，并将第i视角下的一维实数序列y_i，j平移帧，直至i＝n为止，若对所有的的取值都有

则表示本次循环没有平移；若此次循环发生了平移，则再次将视角i的值从1，2，…n进行如上平移

帧操作，直至出现一次i的取值从1至n的整个循环中没有发生平移收敛为止，完成各个视角的人体步态轮廓序列进行时间上的同步。

4.根据权利要求1所述的一种多视角多状态的步态识别方法，其特征在于：所述步骤三(3)中阈值的选定方法为：先将测试集里每个人的身份向量分别与其在原型集里的最佳匹配项的身份向量计算欧式距离，以这些欧式距离的均值的作为类内距离，再获得原型集里任意两个两个身份向量之间的距离，以这些距离的均值的作为类间距离，以类内距离和类间距离的均值作为阈值。

Images