CN106845419A - 一种基于运动捕获框架评估步态识别性能的方法 - Google Patents

Abstract

本发明中提出的一种基于运动捕获框架评估步态识别性能的方法，其主要内容包括：建立数据库、步态特征提取、类可分离度、评价框架，其过程为，采集步态数据建立数据库GaitMo，通过利用最大间距准则(MMC)改良的Fisher线性判别分析、并且结合主成分分析(PCA)和线性判别分析(LDA)学习步态特征，最后根据特定应用场景从四类特征空间的分离系数和四个基于秩的分类器性能指标中选择合适的指标进行评估进而评价系统。本发明突破新方法层出不穷难以对比分析的局限，通过提供一个评价框架，在基准数据库上对既定评价指标进行评估，使得对步态识别的研究评析变得有效简便，为可重复性研究做贡献，推动了步态识别的研究和发展。

Description

一种基于运动捕获框架评估步态识别性能的方法

技术领域

本发明涉及生物识别领域，尤其是涉及了一种基于运动捕获框架评估步态识别性能的方法。

背景技术

步态识别常用于智能视频监控、行走功能评定、康复器具性能的评价等领域，其中在智能视频监控方面比人脸识别更具优势，通过人们走路的姿态进行身份识别，作为远距离下唯一可识别的生物特征识别技术更是具有难以被人为隐藏或伪装的优点。近年来，反恐暴、信息安全、救援、医疗、民生的迫切需求，促使步态识别技术已成为生物特征识别领域活跃的研究方向之一，新的方法层出不穷，为了推动这项极具竞争力和亟需提高性能的研究，能及时与最前沿方法进行比较并评估显得尤为重要。

本发明提出了一种基于运动捕获框架评估步态识别性能的方法，为可重复性研究做贡献，提出了一个评价框架和数据库，以改进开发，评价和比较利用运动捕获数据的步态识别方法。评价框架采集人体步态数据建立数据库GaitMo，通过利用最大间距准则(MMC)改良的Fisher线性判别分析、并且结合主成分分析(PCA)和线性判别分析(LDA)学习步态特征，最后根据特定应用场景从四类特征空间的分离系数和四个基于秩的分类器性能指标中选择合适的指标进行评估进而评价系统。本发明突破新方法层出不穷难以对比分析的局限，通过提供一个评价框架，在基准数据库上对既定评价指标进行评估，使得对步态识别的研究评析变得有效简便，为可重复性研究做贡献，推动了步态识别的研究和发展。

发明内容

针对现有方法多需要更有效的对比推动研究的问题，本发明的目的在于提供一种基于运动捕获框架评估步态识别性能的方法，通过MMC、PCA+LDA两种方法学习步态特征的提取，对类可分离度进行评估进而评价系统，为可重复性研究做贡献，推动了步态识别的研究和发展。

为解决上述问题，本发明提供一种基于运动捕获框架评估步态识别性能的方法，其主要内容包括：

(一)建立数据库；

(二)步态特征提取；

(三)类可分离度；

(四)评价框架。

其中，所述的建立数据库，采集人体步态数据，从中提取大量步态样本，确定示例性步态周期，然后通过为骨骼旋转的动态时间规整(DTW)距离设置阈值从而滤出所需步态周期，最终建立出包含50个行走主体，共执行3,500个样本的数据库，其中每个主体平均约70个样本，称为GaitMo数据库。

其中，所述的步态特征提取，特征提取由一个线性变换(特征)矩阵给出，从D维测量空间中的不必要标记的步态样本到维特征空间的步态模板，其中且步态模板是通过由步态样本g_n变换而成的，基于给定的标记好的学习数据学习变换Φ可以利用最大间距准则(MMC)或主成分分析+线性判别分析(PCA+LDA)。

进一步地，所述的最大间距准则(MMC)，利用最大间距准则(MMC)通过Fisher线性判别分析直接从关节坐标学习步态特征，最后利用马氏距离比较步态模板：

人体的模型具有J个关节，并且所有样本被线性正则化成它们的平均长度T，表示测量空间中的标记学习数据，其中g_n＝[[γ₁(1)…γ_J(1)]^T...[γ₁(T)...γ_J(T)]^T]^T是一个样本(步态周期)关于人的位置和方向进行正则化是关节j∈{1，...，J}在t∈{1，...，T}下的三维空间坐标)，具有维度D＝3JT，骨骼旋转上的学习也是相似的，每个学习样本都严格地落入一个学习身份类中，类I_c具有N_c个样本和先验概率P_c，这里 和l_n是步行者身份类的真实数据，约定若样本g_n和g_n′落在同一类上，相当于共享一个普通步行者，即则利用最大间距准则学习变换Φ的代码思路如下：

计算特征向量Ω和对应X奇异值分解∑_T＝XX^T的特征值Θ，再通过对Θ^-1/2Ω^Tγ奇异值分解计算Θ^-1/2Ω^T∑_BΩΘ^-1/2的特征向量Ξ，

Ψ＝ΩΘ^-1/2Ξ (4)

Δ＝Ψ^T∑_BΨ (5)

最后返回变换Φ即Ψ中的特征向量。

进一步地，所述的主成分分析+线性判别分析(PCA+LDA)，通过主成分分析(PCA)与线性判别分析(LDA)的融合学习步态特征，通过PCA对线性变换(特征)矩阵Φ进行预处理，使得降维质量提高，LDA将带标记的数据投影到维度更低的空间时，投影后的点按类别区分，最终利用马氏距离比较步态模板，类内距离越近越好(集中)，类间距离越远越好，则利用最大间距准则学习变换Φ的代码思路如下：

首先与利用MMC的方法相同，按照公式(1)计算∑_B的值，接着，

计算∑_L的PCA特征向量Φ_PCA对应最大特征值(令)，再通过对(Φ_PCA ^T∑_WΦ_PCA)^-1(Φ_PCA ^T∑_WΦ_PCA)特征分解计算LDA的特征向量Φ_LDA，最终返回变换Φ＝Φ_PCAΦ_LDA。

其中，所述的类可分离度，学习身份类C_L的学习数据和评估身份类C_E的评估数据必须始终分离，分离体制包含同构和异构两种，每个体制的评估重复3次，每次选择新的随机C_L和C_E身份类，并报告平均结果，对特征空间中的类分离系数进行评价。

进一步地，所述的同构体制，学习在C_L身份类的样本上的变换矩阵，并且被从相同C_E＝C_L的身份类的另外样本得到的模板评估，其中同构体制的学习和评估身份类均由单个数字参数化即C_E＝C_L；

在同构体制中，所有结果都使用嵌套交叉验证进行估计，其涉及外部3折交叉验证环，其中一折的模板用于学习特征，而剩余两折的模板用于评价。

进一步地，所述的异构体制，学习C_L身份类中所有样本的变换，并且被从其他的C_E身份类得到的所有模板评估，其中异构体制的学习身份类和评估身份类分别从数据库中随机选择，具有形式(C_L，C_E)。

进一步地，所述的对类分离系数进行评价，对基于秩的分类器性能度量的评价前进到内部10折交叉验证环，以一个未标记的层作为测试集，其他九个标记好的层作为图库验证集，十个模板按胜者全得策略进行分类，其中包含一个测试模板被赋予与图库最接近的身份类的标记

其中，所述的评价框架，框架包含四类特征空间的分离系数和四个基于秩的分类器性能指标，反映特征在类别中的分离程度以及两个人的身份的混淆程度，每个测量都是在特定应用的场景下进行评估，即选择其中合适的指标进行评估进而评价系统。

附图说明

图1是本发明一种基于运动捕获框架评估步态识别性能的方法的系统流程图。

图2是本发明一种基于运动捕获框架评估步态识别性能的方法的GaitMo数据库。

图3是本发明一种基于运动捕获框架评估步态识别性能的方法的同构及异构体制网络概要图。

图4是本发明一种基于运动捕获框架评估步态识别性能的方法的评估流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于运动捕获框架评估步态识别性能的方法的系统流程图。主要包括建立数据库、步态特征提取、类可分离度、评价框架。

其中，建立数据库，采集人体步态数据，从中提取大量步态样本，确定示例性步态周期，然后通过为骨骼旋转的动态时间规整(DTW)距离设置阈值从而滤出所需步态周期，最终建立出包含50个行走主体，共执行3,500个样本的数据库，其中每个主体平均约70个样本，称为GaitMo数据库。

其中，步态特征提取，特征提取由一个线性变换(特征)矩阵给出，从D维测量空间中的不必要标记的步态样本到维特征空间的步态模板，其中且步态模板是通过由步态样本g_n变换而成的，基于给定的标记好的学习数据学习变换Φ可以利用最大间距准则(MMC)或主成分分析+线性判别分析(PCA+LDA)，即：

(1)利用最大间距准则(MMC)通过Fisher线性判别分析直接从关节坐标学习步态特征，最后利用马氏距离比较步态模板；

(2)通过主成分分析(PCA)与线性判别分析(LDA)的融合学习步态特征，通过PCA对线性变换(特征)矩阵Φ进行预处理，使得降维质量提高，LDA将带标记的数据投影到维度更低的空间时，投影后的点按类别区分，最终利用马氏距离比较步态模板。

其中，类可分离度，学习身份类C_L的学习数据和评估身份类C_E的评估数据必须始终分离，分离体制包含同构和异构两种，每个体制的评估重复3次，每次选择新的随机C_L和C_E身份类，并报告平均结果，对特征空间中的类分离系数进行评价。

其中同构体制，学习在C_L身份类的样本上的变换矩阵，并且被从相同C_E＝C_L的身份类的另外样本得到的模板评估，其中同构体制的学习和评估身份类均由单个数字参数化即C_E＝C_L。在同构体制中，所有结果都使用嵌套交叉验证进行估计，其涉及外部3折交叉验证环，其中一折的模板用于学习特征，而剩余两折的模板用于评价。

其中异构体制，学习C_L身份类中所有样本的变换，并且被从其他的C_E身份类得到的所有模板评估，其中异构体制的学习身份类和评估身份类分别从数据库中随机选择，具有形式(C_L，C_E)。

对特征空间中的类分离系数进行评价，具体地，对基于秩的分类器性能度量的评价前进到内部10折交叉验证环，以一个未标记的层作为测试集，其他九个标记好的层作为图库验证集，十个模板按胜者全得策略进行分类，其中包含一个测试模板被赋予与图库最接近的身份类的标记

其中，评价框架，框架包含四类特征空间的分离系数和四个基于秩的分类器性能指标，反映特征在类别中的分离程度以及两个人的身份的混淆程度，每个测量都是在特定应用的场景下进行评估，即选择其中合适的指标进行评估进而评价系统。

图2是本发明一种基于运动捕获框架评估步态识别性能的方法的GaitMo数据库。首先采集人体步态数据，从中提取大量步态样本，确定示例性步态周期，然后通过为骨骼旋转的动态时间规整(DTW)距离设置阈值从而滤出所需步态周期，最终建立出包含50个行走主体，共执行3,500个样本的数据库，其中每个主体平均约70个样本。

图3是本发明一种基于运动捕获框架评估步态识别性能的方法的同构及异构体制网络概要图。同构体制的学习和评估身份类均由单个数字参数化即C_E＝C_L，而异构体制的学习身份类和评估身份类分别从数据库中随机选择，具有形式(C_L，C_E)。

其中在同构体制中，所有结果都使用嵌套交叉验证进行估计，其涉及外部3折交叉验证环，其中一折的模板用于学习特征，而剩余两折的模板用于评价。在异构体制中，学习和评估部分则是基于给定的C_L、C_E分别从数据库中随机选择。利用这两种体制对类分离性系数进行评价，对基于秩的分类器性能度量的评价前进到内部10折交叉验证环，以一个未标记的层作为测试集，其他九个标记好的层作为图库验证集，十个模板按胜者全得策略进行分类，其中包含一个测试模板被赋予与图库最接近的身份类的标记

图4是本发明一种基于运动捕获框架评估步态识别性能的方法的评估流程图。框架包含四类特征空间的分离系数和四个基于秩的分类器性能指标，反映特征在类别中的分离程度以及两个人的身份的混淆程度，首先分析系统的应用场景，然后选择合适指标，包含四类特征空间的分离系数和四个基于秩的分类器性能指标，评估系统输出评价。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于运动捕获框架评估步态识别性能的方法，其特征在于，主要包括建立数据库(一)；步态特征提取(二)；类可分离度(三)；评价框架(四)。

2.基于权利要求书1所述的建立数据库(一)，其特征在于，采集人体步态数据，从中提取大量步态样本，确定示例性步态周期，然后通过为骨骼旋转的动态时间规整(DTW)距离设置阈值从而滤出所需步态周期，最终建立出包含50个行走主体，共执行3,500个样本的数据库，其中每个主体平均约70个样本，称为GaitMo数据库。

3.基于权利要求书1所述的步态特征提取(二)，其特征在于，特征提取由一个线性变换(特征)矩阵给出，从D维测量空间中的不必要标记的步态样本到维特征空间的步态模板，其中且步态模板是通过由步态样本g_n变换而成的，基于给定的标记好的学习数据学习变换Φ可以利用最大间距准则(MMC)或主成分分析+线性判别分析(PCA+LDA)。

4.基于权利要求书3所述的最大间距准则(MMC)，其特征在于，利用最大间距准则(MMC)通过Fisher线性判别分析直接从关节坐标学习步态特征，最后利用马氏距离比较步态模板：

人体的模型具有J个关节，并且所有样本被线性正则化成它们的平均长度T，表示测量空间中的标记学习数据，其中g_n＝[[γ₁(1)...γ_J(1)]^T...[γ₁(T)…γ_J(T)]^T]^T是一个样本(步态周期)关于人的位置和方向进行正则化是关节j∈{1，...，J}在t∈{1，...，T}下的三维空间坐标)，具有维度D＝3JT，骨骼旋转上的学习也是相似的，每个学习样本都严格地落入一个学习身份类中，类I_c具有N_c个样本和先验概率P_c，这里(c≠c′)和l_n是步行者身份类的真实数据，约定若样本g_n和g_n′落在同一类上，相当于共享一个普通步行者，即则利用最大间距准则学习变换Φ的代码思路如下：

${\mathrm{\Σ}}_B=={\mathrm{\Σ}}_{c=1}^{C_L}{p}_c({\mathrm{\μ}}_c-\mathrm{\μ})...{({\mathrm{\μ}}_c-\mathrm{\μ})}^T---\left(1\right)$

$X=\frac{1}{\sqrt{N_L}}\[\begin{array}{ccc}(g_1-\mathrm{\μ})& ...& (g_{N_L}-\mathrm{\μ})\end{array}\]---\left(2\right)$

计算特征向量Ω和对应X奇异值分解∑_T＝XX^T的特征值Θ，再通过对Θ^-1/2Ω^TΥ奇异值分解计算Θ^-1/2Ω^T∑_BΩΘ^-1/2的特征向量Ξ，

Ψ＝ΩΘ^-1/2Ξ (4)

Δ＝Ψ^T∑_BΨ (5)

最后返回变换Φ即Ψ中的特征向量。

5.基于权利要求书3所述的主成分分析+线性判别分析(PCA+LDA)，其特征在于，通过主成分分析(PCA)与线性判别分析(LDA)的融合学习步态特征，通过PCA对线性变换(特征)矩阵Φ进行预处理，使得降维质量提高，LDA将带标记的数据投影到维度更低的空间时，投影后的点按类别区分，最终利用马氏距离比较步态模板，类内距离越近越好(集中)，类间距离越远越好，则利用最大间距准则学习变换Φ的代码思路如下：

首先与利用MMC的方法相同，按照公式(1)计算∑_B的值，接着，

${\mathrm{\Σ}}_W={\mathrm{\Σ}}_{c=1}^{C_L}{p}_c{\mathrm{\Σ}}_{n=1}^{N_c}(g_n^{\left(c\right)}-{\mathrm{\μ}}_c)...{(g_n^{\left(c\right)}-{\mathrm{\μ}}_c)}^T---\left(6\right)$

计算∑_L的PCA特征向量Φ_PCA对应最大特征值(令)，再通过对(Φ_PCA ^T∑_WΦ_PCA)^-1(Φ_PCA ^T∑_WΦ_PCA)特征分解计算LDA的特征向量Φ_LDA，最终返回变换Φ＝Φ_PCAΦ_LDA。

6.基于权利要求书1所述的类可分离度(三)，其特征在于，学习身份类C_L的学习数据和评估身份类C_E的评估数据必须始终分离，分离体制包含同构和异构两种，每个体制的评估重复3次，每次选择新的随机C_L和C_E身份类，并报告平均结果，对特征空间中的类分离系数进行评价。

7.基于权利要求书6所述的同构体制，其特征在于，学习在C_L身份类的样本上的变换矩阵，并且被从相同C_E＝C_L的身份类的另外样本得到的模板评估，其中同构体制的学习和评估身份类均由单个数字参数化即C_E＝C_L；

在同构体制中，所有结果都使用嵌套交叉验证进行估计，其涉及外部3折交叉验证环，其中一折的模板用于学习特征，而剩余两折的模板用于评价。

8.基于权利要求书6所述的异构体制，其特征在于，学习C_L身份类中所有样本的变换，并且被从其他的C_E身份类得到的所有模板评估，其中异构体制的学习身份类和评估身份类分别从数据库中随机选择，具有形式(C_L，C_E)。

9.基于权利要求书6所述的对类分离系数进行评价，其特征在于，对基于秩的分类器性能度量的评价前进到内部10折交叉验证环，以一个未标记的层作为测试集，其他九个标记好的层作为图库验证集，十个模板按胜者全得策略进行分类，其中包含一个测试模板被赋予与图库最接近的身份类的标记

10.基于权利要求书1所述的评价框架(四)，其特征在于，框架包含四类特征空间的分离系数和四个基于秩的分类器性能指标，反映特征在类别中的分离程度以及两个人的身份的混淆程度，每个测量都是在特定应用的场景下进行评估，即选择其中合适的指标进行评估进而评价系统。