CN106096528A - 一种基于二维耦合边距Fisher分析的跨视角步态识别方法 - Google Patents

Abstract

本发明提供一种基于二维耦合边距Fisher分析的跨视角步态识别方法。本发明结合不同视角下步态能量图的特点以及耦合度量学习在跨域生物特征识别上的优越性，提出了二维耦合边距Fisher分析，在矩阵空间内削弱跨视角步态能量图的数据差异，保持样本间的局部关系，使类间散度最大，类内散度最小，大大提高了跨视角步态识别性能。

Description

一种基于二维耦合边距Fisher分析的跨视角步态识别方法

技术领域

本发明涉及一种基于二维耦合边距Fisher分析的跨视角步态识别方法，属于模式识别和机器学习领域。

技术背景

随着计算机运算和存储技术的快速发展，基于计算机视觉的生物特征识别技术在商业、安全、医学、军事以及娱乐等领域广泛应用。近年来，可控条件下生物特征识别技术日趋成熟，而在远距离、非接触和低分辨率等非可控条件对传统生物特征识别技术提出了严峻挑战。

步态特征具有远距离非接触性检测、不易伪装模仿和受外界环境影响小等优点，是远距离下最具潜力的生物特征之一，在公共安全领域具有良好的应用前景和经济价值。但是，步态视角变化会导致可观测的人体步态图像与注册样本间产生差异，造成步态识别困难。

为了解决跨视角步态识别问题，研究者提出大量跨视角步态识别方法。2006年，Zhao等人提出基于多相机的3D步态跟踪和识别方法，采用多个协作相机进行步态分析；2009年，Bodor等人结合多个相机在不同视角下捕获的步态样本由某一注册样本视角重构任意视角下的待测步态样本，这两种方法都需要复杂的协同多相机系统。Jean等人通过追踪行人轮廓的头部、脚部二维轨迹线性分割步态轨迹，计算行人的步态视角不变性特征，这种方法只对小视角变化具有鲁棒性；Makihara等人通过傅里叶变换获取步态序列每个视角下的频域特征，构建视角变换模型；Kusakunniran等人通过线性判别分析提取步态能量图的判别特征，然后采用奇异值分解构建视角变换模型，重构异构视角下步态特征，这种方法受到线性判别分析对步态能量图的处理效果的限制；为了克服这个缺点，Kusakunniran等人将上述矩阵分解问题转变为回归问题，采用回归的思想将不同视角下步态样本之间的相关运动联系起来。2012年，Ben等人提出了基于耦合距离度量学习的跨视角步态识别方法，通过最小化不同视角下同类样本在共同子空间内的误差将不同视角下的步态特征联系起来，并保留样本间的局部信息和流形结构，大大提高了跨域生物特征的识别率，在步态识别中也取得了良好的效果，但是这种方法是基于向量流形对齐的，当样本数量少且维数高时容易造成“维数灾难”。针对上述问题，本发明提出了一种基于二维耦合边距Fisher分析的跨视角步态识别方法，这种方法不需要将不同视角下步态图像进行向量化映射，而是直接对原始图像的行和列分别进行投影，不仅能够避免小样本问题，而且能够保持样本的二维空间结构信息。另外，二维耦合边距Fisher分析可以在矩阵空间模糊不同视角下步态特征间的数据差异，刻画类内和类间的局部细节关系，增强子空间内样本间的判别性能，是一种具有高效性和鲁棒性的矩阵空间内跨视角步态识别方法。

目前，大多数研究侧重于相同视角下步态识别，对跨视角下步态识别研究较少。已存在的跨视角步态识别方法往往需要复杂的多相机协作系统或者寻找鲁棒性差的视角不敏感性特征。而已存在的基于耦合度量学习的跨视角步态识别方法都是向量流形对齐的，需要首先将二维步态样本映射到一维向量空间，这不仅破坏了步态能量图的结构信息，而且容易造成“维数灾难”。

发明内容

针对现有技术的不足，本发明提供一种基于二维耦合边距Fisher分析的跨视角步态识别方法。本发明结合不同视角下步态能量图的特点以及耦合度量学习在跨域生物特征识别上的优越性，提出了二维耦合边距Fisher分析，在矩阵空间内削弱跨视角步态能量图的数据差异，保持样本间的局部关系，使类间散度最大，类内散度最小，大大提高了跨视角步态识别性能。

本发明的技术方案如下：

一种基于二维耦合边距Fisher分析的跨视角步态识别方法，包括：在线训练阶段和离线测试阶段；

所述在线训练阶段包括步骤如下：

1)对于两种视角θ和下的步态能量图特征，构建类内相似矩阵和类间惩罚矩阵；

2)初始化两种视角θ和下的列投影矩阵，对于给定的列投影矩阵求解类间散度矩阵和类内散度矩阵；

3)求解广义特征值问题，得到两种视角下行投影矩阵；

4)对于给定的行投影矩阵求解类间散度和类内散度矩阵；

5)求解广义特征值问题，得到两种视角下列投影矩阵；

所述离线测试阶段方法包括步骤如下：

6)将视角θ下的注册样本集和视角下的待测样本分别映射到一个共同子空间；

7)通过最近邻分类器对待测样本进行分类。

根据本发明优选的，在所述在线训练阶段中，所述两种视角θ和下的步态能量图特征构成的训练样本集 其中X_i表示特征集合中第i个样本的步态能量图特征，N_θ表示特征集合中样本总数，D_xm,D_xn分别表示特征集合中样本步态能量的长和宽；Y_j表示特征集合中第j个样本的步态能量图特征，表示特征集合中样本总数；D_ym,D_yn分别表示特征集合中样本步态能量的长和宽；

假定π_i表示视角θ下注册样本步态能量图特征X_i的类标签，对于视角下任意一个待测样本步态能量图特征那么该待测样本归类于

在公式(1)中，dis(·,·)表示距离度量函数，f_θ(·)和分别是样本集合和上的映射函数若f_θ(·)和是双线性映射，即通过一组线性变换矩阵分别将两种视角下步态能量图特征映射到一个共同的子空间：

在公式(2)中，和分别为映射后的样本特征，D_m≤min(D_xm,D_ym)，D_n≤min(D_xn,D_yn)，则公式(1)写为

${\mathrm{\π}}_{i}wherei=\arg \underset{i}{min}dis(P_x^T{X}_i{Q}_x,P_y^T{Y}^{\′}{Q}_y)---\left(3\right).$

根据本发明优选的，所述步骤4)中，对于给定的行投影矩阵求解类间散度和类内散度矩阵：

二维耦合边距Fisher分析使两种视角下样本的类内样本散度最小，类间散度最大，定义目标函数为：

$\begin{array}{c}\arg \underset{P_x,Q_x,P_y,Q_y}{\min }J(P_x,Q_x,P_y,Q_y)=\frac{{\Σ}_{{\mathrm{\π}}_i={\mathrm{\π}}_j}\left|\right|A_i-B_j|{|}_F^2{w}_{ij}}{{\Σ}_{{\mathrm{\π}}_i\≠{\mathrm{\π}}_j}\left|\right|A_i-B_j|{|}_F^2{\tilde{w}}_{ij}}\\ =\frac{{\Σ}_{{\mathrm{\π}}_i={\mathrm{\π}}_j}\left|\right|P_x^T{X}_i{Q}_x-P_y^T{Y}_j{Q}_y|{|}_F^2{w}_{ij}}{{\Σ}_{{\mathrm{\π}}_i\≠{\mathrm{\π}}_j}\left|\right|P_x^T{X}_i{Q}_x-P_y^T{Y}_j{Q}_y|{|}_F^2{\tilde{w}}_{ij}}\end{array}---\left(4\right)$

在公式(4)中，w_ij表示类内近邻关系，表示类间惩罚关系，分别定义为：

$w_{ij}=\left\{\begin{array}{c}1,ifi\∈N_{k_1}^{+}\left(j\right)orj\∈N_{k_1}^{+}\left(i\right)\\ 0,else\end{array}\right.,{\tilde{w}}_{ij}=\left\{\begin{array}{c}1,ifi\∈N_{k_2}^{-}\left(j\right)orj\∈N_{k_2}^{-}\left(i\right)\\ 0,else\end{array}\right.---\left(5\right)$

在公式(5)中，表示样本X_i同类中k₁个近邻样本；表示样本X_i不同类中的k₂个近邻样本；

首先，定义类内相似矩阵W和类间惩罚矩阵其元素分别为w_ij和其对应的对角阵D_θ,分别定义为

其次，初始化列投影其中，为单位阵，为全0矩阵；对于给定的列投影矩阵Q_x,Q_y，类间散度和类内散度分别简化为：

在公式(7)、(8)中，0为全0矩阵，表示Kronecker积，Tr(·)表示矩阵的迹；令 则式(7)和式(8)简化为

$\arg \underset{P}{max}{J}_b\left(P\right)=Tr\left(P^T{\mathrm{ZGZ}}^{T}P\right)---\left(9\right)$

$\arg \underset{P}{\min }{J}_w\left(P\right)=Tr\left(P^{T}Z\tilde{G}{Z}^{T}P\right)---\left(10\right)$

将公式(9)、(10)代入目标函数，则公式(4)简化为

$\arg \underset{P}{min}J\left(P\right)=\frac{Tr\left(P^T{\mathrm{ZGZ}}^{T}P\right)}{Tr\left(P^{T}Z\tilde{G}{Z}^{T}P\right)}---\left(11\right).$

根据本发明优选的，还包括对所述所述公式(11)正则化，方法如下：

在学习投影矩阵时，经常通过添加一个正则化因子来避免过拟合问题，

$\arg \underset{P}{min}J\left(P\right)=\frac{Tr\left(P^T{\mathrm{ZGZ}}^{T}P\right)}{Tr\left(P^{T}Z\right(\tilde{G}+\mathrm{\τ}I\left)Z^{T}P\right)}---\left(12\right)$

在公式(12)中，τ为正则化因子，优选的，所述τ取10^-6，I是大小为的单位阵；

由线性理论可知，所述公式(12)转化为广义特征值问题：

${\mathrm{ZGZ}}^{T}p=\mathrm{\λ}Z(\tilde{G}+\mathrm{\α}I)Z^{T}p---\left(13\right)$

所述公式(13)中广义特征值的最优解P^*由的前D_m个最小特征值对应的特征向量组成；通过设置阈值ξ来确定D_m的值，即

$\frac{\underset{i=1}{\overset{D_m}{\Σ}}{\mathrm{\λ}}_i}{\underset{i=1}{\overset{D_{xm}+D_{ym}}{\Σ}}{\mathrm{\λ}}_i}\≥\mathrm{\ξ}---\left(14\right)$

公式(14)中，是公式(13)中广义特征值问题的全部特征值；分解映射矩阵P^*，两种视角下步态样本特征集和上的行投影矩阵P_x＝P^*(1:D_xm,:)和P_y＝P^*(D_xm+1:D_xm+D_ym,:)；其中P^*(1:D_xm,:)表示矩阵P^*的前D_xm行，所有列构成的子矩阵，P^*(D_xm+1:D_xm+D_ym,:)表示矩阵P^*的D_xm+1行到D_xm+D_ym行，所有列构成的子矩阵。

根据本发明优选的，固定获得的行投影矩阵P_x和P_y，公式(4)中类间散度和类内散度简化为

公式(15)、(16)中，令则式(15)和(16)写为：

$\arg \underset{Q}{max}{J}_b\left(Q\right)=Tr\left(Q^T\tilde{Z}\tilde{G}\tilde{Z}Q\right)---\left(17\right)$

$\arg \underset{Q}{\min }{J}_w\left(Q\right)=Tr\left(Q^T\tilde{Z}G\tilde{Z}Q\right)---\left(18\right)$

将式(17)和式(18)代入目标函数式(4)，简化为

$\arg \underset{Q}{min}J\left(Q\right)=\frac{Tr\left(Q^T\tilde{Z}G\tilde{Z}Q\right)}{Tr\left(Q^T\tilde{Z}\tilde{G}\tilde{Z}Q\right)}---\left(19\right).$

根据本发明优选的，还包括对所述公式(19)正则化，方法如下：

与式(12)一样，为避免上述优化问题解的奇异性，在公式(19)式中强加正则化因子τ，则公式(19)转化为

$\arg \underset{Q}{min}J\left(Q\right)=\frac{Tr\left(Q^T\tilde{Z}G\tilde{Z}Q\right)}{Tr\left(P^T\tilde{Z}\right(\tilde{G}+\mathrm{\τ}I\left)\tilde{Z}Q\right)}---\left(20\right)$

I是大小为的单位阵；与公式(12)一样，公式(20)转化为一个广义特征值问题，即

$\tilde{Z}G\tilde{Z}q=\mathrm{\λ}\tilde{Z}(\tilde{G}+\mathrm{\τ}I)\tilde{Z}q---\left(21\right)$

与公式(13)中广义特征值问题一样，公式(21)中广义特征值问题的最优解Q^*由的前D_n个最小特征值对应的特征向量构成，即D_n由公式(14)所示式子确定；同理，Q_x和Q_y通过分解最优投影矩阵Q^*获得，即Q_x＝Q^*(1:D_xn,:)和Q_y＝Q^*(D_xn+1:D_xn+D_yn,:)；其中，Q^*(1:D_xn,:)表示矩阵Q^*的第1行到第D_xm行，所有列构成的子矩阵，Q^*(D_xn+1:D_xn+D_yn,:)表示矩阵Q^*的第D_xn+1行到第D_xn+D_yn行，所有列构成的子矩阵。

根据本发明优选的，所述离线测试阶段中，所述视角θ下的注册样本集其中，N′_θ是注册样本的数量；所述视角下的待测样本Y′，其归类于

$\begin{array}{c}{\mathrm{\π}}_{i}wherei=\arg \underset{i}{min}dis(P_x^T{X}_i^{\′}{Q}_x,P_y^T{Y}^{\′}{Q}_y)\\ =\left|\right|P_x^T{X}_i^{\′}{Q}_x-P_y^T{Y}^{\′}{Q}_y|{|}_F\end{array}---\left(22\right)$

公式(22)中，dis(·,·)是欧氏距离度量，||·||_F表示F范数，π_i是注册样本X′_i的类别。

本发明的优势在于：

与传统的耦合度量学习算法相比，本发明所述基于二维耦合边距Fisher分析能够保持样本的结构信息，同时避免样本向量化映射带来的“维数灾难”。

本发明提出的一种基于二维耦合边距Fisher分析的跨视角步态识别方法，直接使用步态能量图作为步态样本特征，在二维空间进行样本处理，保持了样本的结构信息。

本发明提供的一种基于二维耦合边距Fisher分析的跨视角步态识别方法，通过将两种视角下步态样本映射到一个共同子空间，削弱了跨视角下步态数据之间的差异。

本发明提供一种基于二维耦合边距Fisher分析的跨视角步态识别方法，保留了样本间的局部关系，刻画类内和类间的局部细节关系，提高了跨视角步态样本的分类性能。

本发明提出的一种二维耦合边距Fisher分析的跨视角步态识别方法，直接使用二维样本进行训练，不需要将步态能量图映射到一维向量，避免了“维数灾难”问题。

附图说明

图1本发明所述方法的流程图；

图2 CASIA(B)多视角步态库中不同视角下步态序列及其对应能量图；

图3不同人在11种视角下步态能量图；

图4固定注册样本视角下的其它视角下待测样本识别率比较；

图5a、图5b、图5c分别为固定待测样本视角下不同注册样本视角下识别率比较图；其中图5a对应待测样本视角为54°；图5b对应待测样本视角为90°；图5c对应待测样本视角为126°。

具体实施方式

下面结合附图和实例对本发明进行详细的描述，但不限于此。

如图1-5a、b、c所示。

实施例1、

一种基于二维耦合边距Fisher分析的跨视角步态识别方法，包括：在线训练阶段和离线测试阶段；

所述在线训练阶段包括步骤如下：

1)对于两种视角θ和下的步态能量图特征，构建类内相似矩阵和类间惩罚矩阵；

2)初始化两种视角θ和下的列投影矩阵，对于给定的列投影矩阵求解类间散度矩阵和类内散度矩阵；

3)求解广义特征值问题，得到两种视角下行投影矩阵；

4)对于给定的行投影矩阵求解类间散度和类内散度矩阵；

5)求解广义特征值问题，得到两种视角下列投影矩阵；

所述离线测试阶段方法包括步骤如下：

6)将视角θ下的注册样本集和视角下的待测样本分别映射到一个共同子空间；

7)通过最近邻分类器对待测样本进行分类。

实施例2、

如实施例1所述一种基于二维耦合边距Fisher分析的跨视角步态识别方法，其区别在于，在所述在线训练阶段中，所述两种视角θ和下的步态能量图特征构成的训练样本集其中X_i表示特征集合中第i个样本的步态能量图特征，N_θ表示特征集合中样本总数，D_xm,D_xn分别表示特征集合中样本步态能量的长和宽；Y_j表示特征集合中第j个样本的步态能量图特征，表示特征集合中样本总数；D_ym,D_yn分别表示特征集合中样本步态能量的长和宽；

假定π_i表示视角θ下注册样本步态能量图特征X_i的类标签，对于视角下任意一个待测样本步态能量图特征那么该待测样本归类于

在公式(1)中，dis(·,·)表示距离度量函数，f_θ(·)和分别是样本集合和上的映射函数若f_θ(·)和是双线性映射，即通过一组线性变换矩阵分别将两种视角下步态能量图特征映射到一个共同的子空间：

在公式(2)中，和分别为映射后的样本特征，D_m≤min(D_xm,D_ym)，D_n≤min(D_xn,D_yn)，则公式(1)写为

${\mathrm{\π}}_{i}wherei=\arg \underset{i}{min}dis(P_x^T{X}_i{Q}_x,P_y^T{Y}^{\′}{Q}_y)---\left(3\right).$

所述步骤4)中，对于给定的行投影矩阵求解类间散度和类内散度矩阵：

二维耦合边距Fisher分析使两种视角下样本的类内样本散度最小，类间散度最大，定义目标函数为：

$\begin{array}{c}\arg \underset{P_x,Q_x,P_y,Q_y}{\min }J(P_x,Q_x,P_y,Q_y)=\frac{{\Σ}_{{\mathrm{\π}}_i={\mathrm{\π}}_j}\left|\right|A_i-B_j|{|}_F^2{w}_{ij}}{{\Σ}_{{\mathrm{\π}}_i\≠{\mathrm{\π}}_j}\left|\right|A_i-B_j|{|}_F^2{\tilde{w}}_{ij}}\\ =\frac{{\Σ}_{{\mathrm{\π}}_i={\mathrm{\π}}_j}\left|\right|P_x^T{X}_i{Q}_x-P_y^T{Y}_j{Q}_y|{|}_F^2{w}_{ij}}{{\Σ}_{{\mathrm{\π}}_i\≠{\mathrm{\π}}_j}\left|\right|P_x^T{X}_i{Q}_x-P_y^T{Y}_j{Q}_y|{|}_F^2{\tilde{w}}_{ij}}\end{array}---\left(4\right)$

在公式(4)中，w_ij表示类内近邻关系，表示类间惩罚关系，分别定义为：

$w_{ij}=\left\{\begin{array}{c}1,ifi\∈N_{k_1}^{+}\left(j\right)orj\∈N_{k_1}^{+}\left(i\right)\\ 0,else\end{array}\right.,{\tilde{w}}_{ij}=\left\{\begin{array}{c}1,ifi\∈N_{k_2}^{-}\left(j\right)orj\∈N_{k_2}^{-}\left(i\right)\\ 0,else\end{array}\right.---\left(5\right)$

在公式(5)中，表示样本X_i同类中k₁个近邻样本；表示样本X_i不同类中的k₂个近邻样本；

首先，定义类内相似矩阵W和类间惩罚矩阵其元素分别为w_ij和其对应的对角阵D_θ,分别定义为

其次，初始化列投影其中，为单位阵，为全0矩阵；对于给定的列投影矩阵Q_x,Q_y，类间散度和类内散度分别简化为：

在公式(7)、(8)中，0为全0矩阵，表示Kronecker积，Tr(·)表示矩阵的迹；令 则式(7)和式(8)简化为

$\arg \underset{P}{max}{J}_b\left(P\right)=Tr\left(P^T{\mathrm{ZGZ}}^{T}P\right)---\left(9\right)$

$\arg \underset{P}{\min }{J}_w\left(P\right)=Tr\left(P^{T}Z\tilde{G}{Z}^{T}P\right)---\left(10\right)$

将公式(9)、(10)代入目标函数，则公式(4)简化为

$\arg \underset{P}{min}J\left(P\right)=\frac{Tr\left(P^T{\mathrm{ZGZ}}^{T}P\right)}{Tr\left(P^{T}Z\tilde{G}{Z}^{T}P\right)}---\left(11\right).$

实施例3、

如实施例2所述一种基于二维耦合边距Fisher分析的跨视角步态识别方法，其区别在于，还包括对所述所述公式(11)正则化，方法如下：

在学习投影矩阵时，经常通过添加一个正则化因子来避免过拟合问题，

$\arg \underset{P}{min}J\left(P\right)=\frac{Tr\left(P^T{\mathrm{ZGZ}}^{T}P\right)}{Tr\left(P^{T}Z\right(\tilde{G}+\mathrm{\τ}I\left)Z^{T}P\right)}---\left(12\right)$

在公式(12)中，τ为正则化因子，优选的，所述τ取10^-6，I是大小为的单位阵；

由线性理论可知，所述公式(12)转化为广义特征值问题：

${\mathrm{ZGZ}}^{T}p=\mathrm{\λ}Z(\tilde{G}+\mathrm{\α}I)Z^{T}p---\left(13\right)$

所述公式(13)中广义特征值的最优解P^*由的前D_m个最小特征值对应的特征向量组成；通过设置阈值ξ来确定D_m的值，即

$\frac{\underset{i=1}{\overset{D_m}{\Σ}}{\mathrm{\λ}}_i}{\underset{i=1}{\overset{D_{xm}+D_{ym}}{\Σ}}{\mathrm{\λ}}_i}\≥\mathrm{\ξ}---\left(14\right)$

公式(14)中，是公式(13)中广义特征值问题的全部特征值；分解映射矩阵P^*，两种视角下步态样本特征集和上的行投影矩阵P_x＝P^*(1:D_xm,:)和P_y＝P^*(D_xm+1:D_xm+D_ym,:)；其中P^*(1:D_xm,:)表示矩阵P^*的前D_xm行，所有列构成的子矩阵，P^*(D_xm+1:D_xm+D_ym,:)表示矩阵P^*的D_xm+1行到D_xm+D_ym行，所有列构成的子矩阵。

实施例4、

如实施例2所述一种基于二维耦合边距Fisher分析的跨视角步态识别方法，其区别在于，固定获得的行投影矩阵P_x和P_y，公式(4)中类间散度和类内散度简化为

公式(15)、(16)中，令则式(15)和(16)写为：

$\arg \underset{Q}{max}{J}_b\left(Q\right)=Tr\left(Q^T\tilde{Z}\tilde{G}\tilde{Z}Q\right)---\left(17\right)$

$\arg \underset{Q}{min}{J}_w\left(Q\right)=Tr\left(Q^T\tilde{Z}G\tilde{Z}Q\right)---\left(18\right)$

将式(17)和式(18)代入目标函数式(4)，简化为

$\arg \underset{Q}{min}J\left(Q\right)=\frac{Tr\left(Q^T\tilde{Z}G\tilde{Z}Q\right)}{Tr\left(Q^T\tilde{Z}\tilde{G}\tilde{Z}Q\right)}---\left(19\right).$

实施例5、

如实施例4所述一种基于二维耦合边距Fisher分析的跨视角步态识别方法，其区别在于，还包括对所述公式(19)正则化，方法如下：

与式(12)一样，为避免上述优化问题解的奇异性，在公式(19)式中强加正则化因子τ，则公式(19)转化为

$\arg \underset{Q}{min}J\left(Q\right)=\frac{Tr\left(Q^T\tilde{Z}G\tilde{Z}Q\right)}{Tr\left(Q^T\tilde{Z}\right(\tilde{G}+\mathrm{\τ}I\left)\tilde{Z}Q\right)}---\left(20\right)$

I是大小为的单位阵；与公式(12)一样，公式(20)转化为一个广义特征值问题，即

$\tilde{Z}G\tilde{Z}q=\mathrm{\λ}\tilde{Z}(\tilde{G}+\mathrm{\τ}I)\tilde{Z}q---\left(21\right)$

与公式(13)中广义特征值问题一样，公式(21)中广义特征值问题的最优解Q^*由的前D_n个最小特征值对应的特征向量构成，即D_n由公式(14)所示式子确定；同理，Q_x和Q_y通过分解最优投影矩阵Q^*获得，即Q_x＝Q^*(1:D_xn,:)和Q_y＝Q^*(D_xn+1:D_xn+D_yn,:)；其中，Q^*(1:D_xn,:)表示矩阵Q^*的第1行到第D_xm行，所有列构成的子矩阵，Q^*(D_xn+1:D_xn+D_yn,:)表示矩阵Q^*的第D_xn+1行到第D_xn+D_yn行，所有列构成的子矩阵。

实施例6、

如实施例1-5所述一种基于二维耦合边距Fisher分析的跨视角步态识别方法，其区别在于，所述离线测试阶段中，所述视角θ下的注册样本集其中，N′_θ是注册样本的数量；所述视角下的待测样本Y′，其归类于

$\begin{array}{c}{\mathrm{\π}}_{i}wherei=\arg \underset{i}{min}dis(P_x^T{X}_i^{\′}{Q}_x,P_y^T{Y}^{\′}{Q}_y)\\ =\left|\right|P_x^T{X}_i^{\′}{Q}_x-P_y^T{Y}^{\′}{Q}_y|{|}_F\end{array}---\left(22\right)$

公式(22)中，dis(·,·)是欧氏距离度量，||·_F表示F范数，π_i是注册样本X′_i的类别。

本发明使用中科院自动化所提供的CASIA(B)多视角步态库中二值轮廓图形成的步态能量图进行实验。该数据库包括124个人的124×10×11＝13640段步态序列，总共包括视角、衣着和负重等变化因素，其中，每个人采集了6次正常行走的步态序列，2次不同衣着的步态序列和2次有负重的步态序列。每次拍摄都包括11种不同视角(0°,18°,36°,...,180°)下的摄像机同时录制。本发明中将CASIA(B)多视角步态库分成独立的两部分，其中，前64个人11种视角下正常行走的4224段步态序列用于训练模型，后60个人11种视角下正常行走的3960段步态序列用于测试跨视角下的步态识别性能。为了提高识别率，避免训练和识别时间过长，首先对步态能量图采用二维主成分分析进行降维。然后，采用本专利所提供的方法进行二维耦合边距Fisher分析，寻找不同样本之间的相似性和差异性，实验结果如表1所示。

表1 二维耦合边距Fisher分析在CASIA(B)步态库上跨视角识别率

由表1可知，注册样本和待测样本视角变化较小时，本发明提出的方法具有高的识别率，在注册样本和测试样本视角差为18°时，本发明提出的方法识别率均在92.5％以上，甚至达到100％。如图5所示，在注册样本和待测样本视角差变大时，识别率逐渐下降，但是在注册样本与待测样本视角互补时，识别率会出现一个峰值。由图4和图5可知，本发明提出的方法(TDCMFA)识别率高于主成分分析(PCA)、线性判别分析(LDA)和局部保留投影(LPP)等经典的基于子空间的步态识别方法。

Claims (7)

1.一种基于二维耦合边距Fisher分析的跨视角步态识别方法，其特征在于，该方法包括：在线训练阶段和离线测试阶段；

所述在线训练阶段包括步骤如下：

1)对于两种视角θ和下的步态能量图特征，构建类内相似矩阵和类间惩罚矩阵；

2)初始化两种视角θ和下的列投影矩阵，对于给定的列投影矩阵求解类间散度矩阵和类内散度矩阵；

3)求解广义特征值问题，得到两种视角下行投影矩阵；

4)对于给定的行投影矩阵求解类间散度和类内散度矩阵；

5)求解广义特征值问题，得到两种视角下列投影矩阵；

所述离线测试阶段方法包括步骤如下：

6)将视角θ下的注册样本集和视角下的待测样本分别映射到一个共同子空间；

7)通过最近邻分类器对待测样本进行分类。

2.根据权利要求1所述的一种基于二维耦合边距Fisher分析的跨视角步态识别方法，其特征在于，在所述在线训练阶段中，所述两种视角θ和下的步态能量图特征构成的训练样本集 其中X_i表示特征集合中第i个样本的步态能量图特征，N_θ表示特征集合中样本总数，D_xm,D_xn分别表示特征集合中样本步态能量的长和宽；Y_j表示特征集合中第j个样本的步态能量图特征，表示特征集合中样本总数；D_ym,D_yn分别表示特征集合中样本步态能量的长和宽；

假定π_i表示视角θ下注册样本步态能量图特征X_i的类标签，对于视角下任意一个待测样本步态能量图特征那么该待测样本归类于

在公式(1)中，dis(·,·)表示距离度量函数，f_θ(·)和分别是样本集合和上的映射函数若f_θ(·)和是双线性映射，即通过一组线性变换矩阵分别将两种视角下步态能量图特征映射到一个共同的子空间：

在公式(2)中，和分别为映射后的样本特征，D_m≤min(D_xm,D_ym)，D_n≤min(D_xn,D_yn)，则公式(1)写为

${\mathrm{\π}}_{i}wherei=\arg \underset{i}{min}dis(P_x^T{X}_i{Q}_x,P_y^T{Y}^{\′}{Q}_y)---\left(3\right).$

3.根据权利要求2所述的一种基于二维耦合边距Fisher分析的跨视角步态识别方法，其特征在于，所述步骤4)中，对于给定的行投影矩阵求解类间散度和类内散度矩阵：

定义目标函数为：

$\begin{array}{c}\arg \underset{P_x,Q_x,P_y,Q_y}{\min }J\left(P_x,Q_x,P_y,Q_y\right)=\frac{{\mathrm{\Σ}}_{{\mathrm{\π}}_i={\mathrm{\π}}_j}\left|\right|A_i-B_j|{|}_F^2{w}_{ij}}{{\mathrm{\Σ}}_{{\mathrm{\π}}_i\≠{\mathrm{\π}}_j}\left|\right|A_i-B_j|{|}_F^2{\tilde{w}}_{ij}}\\ =\frac{{\mathrm{\Σ}}_{{\mathrm{\π}}_i={\mathrm{\π}}_j}\left|\right|P_x^T{X}_i{Q}_x-P_y^T{Y}_j{Q}_y|{|}_F^2{w}_{ij}}{{\mathrm{\Σ}}_{{\mathrm{\π}}_i\≠{\mathrm{\π}}_j}\left|\right|P_x^T{X}_i{Q}_x-P_y^T{Y}_j{Q}_y|{|}_F^2{\tilde{w}}_{ij}}\end{array}---\left(4\right)$

在公式(4)中，w_ij表示类内近邻关系，表示类间惩罚关系，分别定义为：

$w_{ij}=\left\{\begin{array}{c}1,ifi\∈N_{k_1}^{+}\left(j\right)orj\∈N_{k_1}^{+}\left(i\right)\\ 0,else\end{array}\right.,{\tilde{w}}_{ij}=\left\{\begin{array}{c}1,ifi\∈N_{k_2}^{-}\left(j\right)orj\∈N_{k_2}^{-}\left(i\right)\\ 0,else\end{array}\right.---\left(5\right)$

在公式(5)中，表示样本X_i同类中k₁个近邻样本；表示样本X_i不同类中的k₂个近邻样本；

首先，定义类内相似矩阵W和类间惩罚矩阵其元素分别为w_ij和其对应的对角阵D_θ,分别定义为

其次，初始化列投影其中，为单位阵，为全0矩阵；对于给定的列投影矩阵Q_x,Q_y，类间散度和类内散度分别简化为：

在公式(7)、(8)中，为全0矩阵，表示Kronecker积，Tr(·)表示矩阵的迹；令 则式(7)和式(8)简化为

$\arg \underset{P}{max}{J}_b\left(P\right)=Tr\left(P^T{\mathrm{ZGZ}}^{T}P\right)---\left(9\right)$

$\arg \underset{P}{\min }{J}_w\left(P\right)=Tr\left(P^{T}Z\tilde{G}{Z}^{T}P\right)---\left(10\right)$

将公式(9)、(10)代入目标函数，则公式(4)简化为

$\arg \underset{P}{\min }J\left(P\right)=\frac{Tr\left(P^T{\mathrm{ZGZ}}^{T}P\right)}{Tr\left(P^{T}Z\tilde{G}{Z}^{T}P\right)}---\left(11\right).$

4.根据权利要求3所述的一种基于二维耦合边距Fisher分析的跨视角步态识别方法，其特征在于，还包括对所述所述公式(11)正则化，方法如下：

$\arg \underset{P}{min}J\left(P\right)=\frac{Tr\left(P^T{\mathrm{ZGZ}}^{T}P\right)}{Tr\left(P^{T}Z\right(\tilde{G}+\mathrm{\τ}I\left)Z^{T}P\right)}---\left(12\right)$

在公式(12)中，τ为正则化因子，优选的，所述τ取10^-6，I是大小为

的单位阵；

所述公式(12)转化为广义特征值问题：

${\mathrm{ZGZ}}^{T}p=\mathrm{\λ}Z(\tilde{G}+\mathrm{\α}I)Z^{T}p---\left(13\right)$

所述公式(13)中广义特征值的最优解P^*由ZGZ^T的前D_m个最小特征值对应的特征向量组成；通过设置阈值ξ来确定D_m的值，即

$\frac{\underset{i=1}{\overset{D_m}{\Σ}}{\mathrm{\λ}}_i}{\underset{i=1}{\overset{D_{xm}+D_{ym}}{\Σ}}{\mathrm{\λ}}_i}\≥\mathrm{\ξ}---\left(14\right)$

公式(14)中，是公式(13)中广义特征值问题的全部特征值；分解映射矩阵P^*，两种视角下步态样本特征集和上的行投影矩阵P_x＝P^*(1:D_xm,:)和P_y＝P^*(D_xm+1:D_xm+D_ym,:)；其中P^*(1:D_xm,:)表示矩阵P^*的前D_xm行，所有列构成的子矩阵，P^*(D_xm+1:D_xm+D_ym,:)表示矩阵P^*的D_xm+1行到D_xm+D_ym行，所有列构成的子矩阵。

5.根据权利要求4所述的一种基于二维耦合边距Fisher分析的跨视角步态识别方法，其特征在于，公式(4)中类间散度和类内散度简化为

公式(15)、(16)中，令则式(15)和(16)写为：

$\arg \underset{Q}{max}{J}_b\left(Q\right)=Tr\left(Q^T\tilde{Z}\tilde{G}\tilde{Z}Q\right)---\left(17\right)$

$\arg \underset{Q}{\min }{J}_w\left(Q\right)=Tr\left(Q^T\tilde{Z}G\tilde{Z}Q\right)---\left(18\right)$

将式(17)和式(18)代入目标函数式(4)，简化为

$\arg \underset{Q}{min}J\left(Q\right)=\frac{Tr\left(Q^T\tilde{Z}G\tilde{Z}Q\right)}{Tr\left(Q^T\tilde{Z}\tilde{G}\tilde{Z}Q\right)}---\left(19\right).$

6.根据权利要求5所述的一种基于二维耦合边距Fisher分析的跨视角步态识别方法，其特征在于，还包括对所述公式(19)正则化，方法如下：

在公式(19)式中强加正则化因子τ，则公式(19)转化为

$\arg \underset{Q}{min}J\left(Q\right)=\frac{Tr\left(Q^T\tilde{Z}G\tilde{Z}Q\right)}{Tr\left(Q^T\tilde{Z}\right(\tilde{G}+\mathrm{\τ}I\left)\tilde{Z}Q\right)}---\left(20\right)$

I是大小为的单位阵；与公式(12)一样，公式(20)转化为一个广义特征值问题，即

$\tilde{Z}G\tilde{Z}q=\mathrm{\λ}\tilde{Z}(\tilde{G}+\mathrm{\τ}I)\tilde{Z}q---\left(21\right)$

公式(21)中广义特征值问题的最优解Q^*由的前D_n个最小特征值对应的特征向量构成，即D_n由公式(14)所示式子确定；同理，Q_x和Q_y通过分解最优投影矩阵Q^*获得，即Q_x＝Q^*(1:D_xn,:)和Q_y＝Q^*(D_xn+1:D_xn+D_yn,:)；其中，Q^*(1:D_xn,:)表示矩阵Q^*的第1行到第D_xm行，所有列构成的子矩阵，Q^*(D_xn+1:D_xn+D_yn,:)表示矩阵Q^*的第D_xn+1行到第D_xn+D_yn行，所有列构成的子矩阵。

7.根据权利要求1-6任一项所述的一种基于二维耦合边距Fisher分析的跨视角步态识别方法，其特征在于，所述离线测试阶段中，所述视角θ下的注册样本集其中，N′_θ是注册样本的数量；所述视角下的待测样本Y′，其归类于

$\begin{array}{c}{\mathrm{\π}}_{i}wherei=\arg \underset{i}{min}dis(P_x^T{X}_i^{\′}{Q}_x,P_y^T{Y}^{\′}{Q}_y)\\ =\left|\right|P_x^T{X}_i^{\′}{Q}_x-P_y^T{Y}^{\′}{Q}_y|{|}_F\end{array}---\left(22\right)$

公式(22)中，dis(·,·)是欧氏距离度量，||·||_F表示F范数，π_i是注册样本X_i′的类别。