CN106096532A - 一种基于张量联立判别分析的跨视角步态识别方法 - Google Patents

Abstract

本发明提供一种基于张量联立判别分析的跨视角步态识别方法，包括构建基于Gabor表示的步态特征、在线模型训练和离线测试。本发明所述方法不仅采用了耦合度量学习的思想削弱了跨视角下数据的异构问题，而且结合了基于Gabor表示的张量步态特征和张量判别分析的思想，提高了步态的分类性能并避免了由于样本过少带来的小样本问题。

Description

一种基于张量联立判别分析的跨视角步态识别方法

技术领域

本发明涉及一种基于张量联立判别分析的跨视角步态识别方法，属于模式识别和机器学习领域。

技术背景

步态是远距离下最具潜力的生物特征之一，具有非接触性采集、不易模仿伪装、受环境影响小和占内存小等优点，在公共安全、医学诊断以及案件侦查等领域具有广泛的应用前景和经济价值。

在可控条件下，当前的研究成果已经取得良好的识别效果。而步态识别面临许多困难，如时间变化、服饰变化、行走路面、鞋帽、背包等携带物和视角等变化因素，尤其是行人步态视角变化会导致可观测的人体步态图像与注册样本之间特征产生差异，导致步态识别正确率大大降低。

为了解决跨视角步态识别问题，研究者提出大量跨视角步态识别方法，根据这些方法的特点可以归为四类：一类是寻找不敏感性特征，Kale等人通过矢状面内透视投影用特定视角的步态图像合成任意视角下的步态，这种方法在矢状面和图像面视角差异较大时，自遮挡严重，导致识别性能大幅度下降；第二类是使用复杂的多相机协作系统采集三维步态信息重构任意视角下的步态样本。2001年，Shakhnarovich等人提出步态视角标准化方法，在步态识别方面通过多相机同步更新行人运动信息，通过步态运动的三维结构信息定义典型视角进行步态识别，这种方法很大程度上依赖于多相机在可控条件下协同操作，并且成本高、操作复杂；第三类是使用视角变换模型学习不同视角下步态样本之间的映射关系，将待测视角下样本转换到注册样本视角，进而进行特征提取和样本识别。Makihara等人通过傅里叶变换获取步态序列每个视角下的频域特征，然后在频域构建两种视角下步态特征间的变换关系。Kusakunniran等人使用线性判别分析提取步态能量图判别特征，然后通过奇异值分解构建不同视角下能量图判别特征之间的映射关系，进而进行步态认证和识别，但是这种方法的性能受到线性判别分析对样本的处理效果的影响。2012年，Muramatsu等人将视角变换模型和三维步态模型相结合，使用三维步态特征信息建立不同视角下步态样本间的变换关系；最后一类方法通过耦合度量学习模型，将不同视角下的步态样本映射到一个共同的子空间，在这个子空间内进行不同视角间样本相似性比较。Ben等人提出基于耦合距离度量学习方法，通过广义特征值分解将不同视角下的步态特征联系起来，在跨视角步态识别研究中取得了良好的效果。2015年，Makihara等提出张量空间的多判别分析方法，将源步态特征和目标步态特征映射到一个共同子空间，避免“维数灾难”问题。受到耦合度量学习模型优点的启发，本发明提供了一种基于张量联立判别分析的跨视角步态识别方法，在张量空间内将不同视角下的步态Gabor张量特征映射到一个共同的子空间，削弱不同视角间步态样本特征之间的数据差异，并保持样本特征的结构信息，是一种识别效果好、鲁棒性强的张量空间内跨视角步态识别方法。

目前，大多数步态识别研究在可控条件进行，这往往要求待测步态样本与注册步态样本是在相同视角下由同一摄像机捕获的。而在日常生活中，监控系统中捕获的步态样本与注册的步态样本往往存在视角差异，这大大的削弱了经典步态识别算法的有效性。

发明内容

针对现有技术的不足，本发明提供一种基于张量联立判别分析的跨视角步态识别方法。本发明所述方法不仅采用了耦合度量学习的思想削弱了跨视角下数据的异构问题，而且结合了基于Gabor表示的张量步态特征和张量判别分析的思想，提高了步态的分类性能并避免了由于样本过少带来的小样本问题。

本发明的技术方案如下：

一种基于张量联立判别分析的跨视角步态识别方法，包括构建基于Gabor表示的步态特征、在线模型训练和离线测试；

所述构建基于Gabor表示的步态特征的方法包括：

首先，构造二维Gabor滤波器；

其次，对步态能量图特征进行Gabor变换；

最后，分别按照二维Gabor滤波器方向、尺度以及这两个方面进行求和，生成GaborD、GaborS和GaborSD步态特征；

所述在线模型训练的方法包括：

首先，将两种视角下的步态特征写成张量的形式；

然后，通过张量联立判别分析最大化两种视角下步态特征的类间散度，并最小化两类视角的类内散度，通过迭代优化寻找两种视角下张量样本每个模式下的最优映射矩阵；

所述离线测试的方法包括：

首先，将注册视角下样本集和待测视角下样本的基于Gabor表示的步态特征写成张量的形式；

其次，通过在线模型训练方法得到的最优映射矩阵分别对他们进行线性变换；

最后，在映射后子空间中进行两种视角下样本的距离相似性度量，通过最小欧氏距离进行分类。

根据本发明优选的，在所述构建基于Gabor表示的步态特征的方法中，所述基于Gabor表示的步态特征包括GaborS、GaborD和GaborSD，使用步态能量图生成上述三种步态特征，并分别写成张量的形式，以下将上述张量形式的基于Gabor表示的步态特征统称为基于Gabor表示的步态张量特征；

首先，对于步态能量图特征进行Gabor变换，并按照方向和尺度方向分别进行求和，分别得到GaborD、GaborS和GaborSD特征，其数学描述如下：

二维Gabor函数定义为一个椭圆高斯包络和一个复杂平面波的乘积，即

$\mathrm{\ψ}(k_{s,d},z)=\frac{\left|\right|k_{s,d}\left|\right|}{{\mathrm{\σ}}^2}\exp (-\frac{\left|\right|k_{s,d}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2})\[\exp \left({\mathrm{ik}}_{s,d}z\right)-\exp (-\frac{{\mathrm{\σ}}^2}{2})\]---\left(1\right)$

公式(1)中，z＝(x,y)表示空间域变量，是频率向量，决定了Gabor函数的尺度和方向，其中，k_s决定了采样的尺度，k_s＝k_max/f^s，k_max＝π/2，φ_d决定了采样的方向，φ_d＝πd/8；

对于任意一张步态能量图I，其滤波后的Gabor特征为

Gabor(z)＝I(z)*ψ(k_s,d,z) (2)

为了适应张量运算，引入三种步态能量图Gabor特征的表示形式：GaborD特征定义为按照Gabor函数方向求和构成的幅度特征形式，如公式(3)所示；GaborS特征定义为按照Gabor函数尺度求和构成的幅度特征形式，如公式(4)所示；GaborSD特征定义为按照Gabor函数方向和尺度两个方面求和构成的幅度特征形式，如公式(5)所示：

$GaborD\left(z\right)=|\underset{d}{\Σ}I\left(z\right)*\mathrm{\ψ}(k_{s,d},z)|=|I\left(z\right)*\underset{d}{\Σ}\mathrm{\ψ}(k_{s,d},z)|---\left(3\right)$

$GaborS\left(z\right)=|\underset{s}{\Σ}I\left(z\right)*\mathrm{\ψ}(k_{s,d},z)|=|I\left(z\right)*\underset{s}{\Σ}\mathrm{\ψ}(k_{s,d},z)|---\left(4\right)$

$GaborSD\left(z\right)=|\underset{s,d}{\Σ}I\left(z\right)*\mathrm{\ψ}(k_{s,d},z)|=|I\left(z\right)*\underset{s,d}{\Σ}\mathrm{\ψ}(k_{s,d},z)|---\left(5\right)$

其中，I(z)是步态能量图，z＝(x,y)为步态能量图的空间坐标，ψ(k_s,d,z)为公式(1)定义的Gabor函数。

根据本发明优选的，在所述在线模型训练方法中，所述Gabor表示的步态张量特征为基于Gabor表示的步态特征GaborD、GaborS和GaborSD的张量形式，以下用花体符号表示；所述模型训练为寻找不同视角下样本基于Gabor表示的步态张量特征在共同子空间内类间距离最大，类内距离最小的映射形式，其数学描述如下：

假设视角θ下第c类第i个样本基于Gabor表示的步态张量特征为视角下第c类第j个样本基于Gabor表示的步态张量特征为那么两种视角下的所有样本基于Gabor表示的步态张量特征构成的训练样本集分别为和其中，N为样本特征和的模式数，H_n,n＝1,2,…,N为模式-n下样本特征和的维数，和分别为视角θ和下第c类样本的数量，C为类别数；两种视角下样本的总数分别为和样本的总数为

根据本发明优选的，根据张量空间内耦合度量学习模型定义，基于张量的联立判别分析通过学习一组线性映射矩阵对分别将不同视角下的张量样本从高维空间和映射到一个共同的判别子空间其中，F_n≤max(H_n,L_n),n＝1,...,N，

公式(6)、(7)中，将式(6)和式(7)中张量运算分别按照n-模式展开得

$A_{i\left(n\right)}^{\left(c\right)}=U_n^T{X}_{i\left(n\right)}^{\left(c\right)}(U_N\⊗\mathrm{...}\⊗U_{n+1}\⊗U_{n-1}\⊗\mathrm{...}\⊗U_1)=U_n^T{X}_{i\left(n\right)}^{\left(c\right)}{\tilde{U}}_n---\left(8\right)$

$B_{j\left(n\right)}^{\left(c\right)}=V_n^T{Y}_{j\left(n\right)}^{\left(c\right)}(V_N\⊗\mathrm{...}\⊗V_{n+1}\⊗V_{n-1}\⊗\mathrm{...}\⊗V_1)=V_n^T{Y}_{j\left(n\right)}^{\left(c\right)}{\tilde{V}}_n---\left(9\right)$

公式(8)、(9)中， 为了后续讨论方便，定义视角θ下第c类样本的n-模式展开矩阵均值为总体均值为视角下第c类样本的n-模式展开矩阵均值为总体均值为那么

根据公式(8)和公式(9)，两种视角下第c类样本按照n-模式展开矩阵映射后的均值和两种视角下全部样本按照n-模式展开矩阵映射后的总体均值分别为

公式(11)中，不同视角下样本贡献度系数α_c,β_c,α,β由不同视角下样本数量与样本的总数量之间的关系确定，即

根据Fisher判别思想，基于张量的联立判别分析使任意模式下的类间散度J_b(U_n,V_n)最大，类内散度J_w(U_n,V_n)最小；因此，基于张量的联立判别分析的目标函数定义为

$\{U_n^{*},V_n^{*},n=1,\mathrm{...},N\}=\underset{U_n,V_n,n=1,\mathrm{...},N}{\arg \max }\frac{J_b(U_n,V_n)}{J_w(U_n,V_n)}---\left(13\right)$

由于公式(13)中N阶张量的优化目标不存在紧形式解，这里将此优化问题转化为迭代求解N个模式下向量子空间内的N个线性映射问题，使每个模式下投影后向量子空间内类间散度最大，类内散度最小；对于n-模式，公式(13)中目标函数转化为

$\{U_n^{*},V_n^{*}\}=\underset{U_n,V_n}{\arg \max }\frac{J_b(U_n,V_n)}{J_w(U_n,V_n)}---\left(14\right)$

类似于广义张量判别分析，类间散度和类内散度分别定义为

为了求解式(14)的最优解，n-模式下的类间散度简化为

其中，

同理，n-模式下的类内散度简化为

公式(18)中，

将公式(16)和公式(18)代入公式(14)，目标函数简化为

$\arg \underset{P_n}{\max }J\left(P_n\right)=\frac{Tr\left(P_n^T{S}_{\left(n\right)}{P}_n\right)}{Tr\left(P_n^T{C}_{\left(n\right)}{P}_n\right)}---\left(20\right)$

根据谱回归分析理论，公式(20)转化为求解如下广义特征值问题

S_(n)p＝λC_(n)p (21)

n-模式下最优解由的前F_n个最大广义特征值对应的特征向量构成，即

$P_n^{*}=\left[\begin{array}{c}{U}_n\\ V_n\end{array}\right]=\[p_1^{\left(n\right)},p_2^{\left(n\right)},\mathrm{...},p_{F_n}^{\left(n\right)}\]---\left(22\right)$

为了确定n-模式下保留的维数F_n，这里定义保留能量ξ为截断广义特征值与全部广义特征值的百分比，即

$\frac{\underset{i=1}{\overset{F_n}{\Σ}}{\mathrm{\λ}}_i^{\left(n\right)}}{\underset{i=1}{\overset{H_n+L_n}{\Σ}}{\mathrm{\λ}}_i^{\left(n\right)}}\≥\mathrm{\ξ}---\left(23\right)$

其中，λ_i ⁽ⁿ⁾,i＝1,...,H_n+L_n是n-模式下矩阵的全部广义特征值；对于具有N个模式的张量样本，本文采用迭代优化的思想，即固定n-模式以外的投影矩阵U₁,...,U_n-1,U_n+1,...,U_N和V₁,...,V_n-1,V_n+1,...,V_N，优化n-模式下的投影矩阵U_n和V_n。

根据本发明优选的，所述离线测试的方法具体包括：通过基于欧氏距离的最近邻分类器对待测视角下步态样本进行分类，令视角θ下的注册样本集为视角下的待测样本为待测样本投影后张量特征和注册样本投影后形成新的训练特征集的欧氏距离为Dis，其中N为样本基于Gabor表示张量特征的模式数，H_n,n＝1,2,…,N为模式-n下样本基于Gabor表示张量特征的维数，为视角θ下第c类样本的数量，C为类别数视角，那么样本归类于

公式(24)中，分别是映射后张量步态特征，||·||_F表示F范数。

本发明的有益效果是：

1.本发明提出了一种基于张量联立判别分析的跨视角步态识别方法，削弱了不同视角下异构步态数据的数据差异，提高了异构步态识别的准确率；

2.本发明提出了一种基于张量联立判别分析的跨视角步态识别方法，将基于Gabor表示的张量步态特征与张量数据下Fisher判别分析结合起来，进一步提高了步态样本的分类性能；

3.本发明提出了一种基于张量联立判别分析的跨视角步态识别方法，通过张量映射保留了样本特征的结构信息，并避免了样本数量过少造成的“维数灾难”问题。

附图说明

图1本发明所述方法的流程图；

图2两段不同人的步态序列及其对应步态能量图(最右一列)；

图3两个不同行人在十一种不同视角下的步态能量图；

图4本发明使用的5个尺度8个方向的Gabor滤波器实部；

图5构造基于Gabor表示的步态特征示例；

图6八种不同方法在给定待测样本视角时平均识别率比较。

具体实施方式：

下面结合附图和实例对本发明进行详细的描述，但不限于此。

如图1-6所示。

实施例1、

一种基于张量联立判别分析的跨视角步态识别方法，如图1所示，包括构建基于Gabor表示的步态特征、在线模型训练和离线测试；

所述构建基于Gabor表示的步态特征的方法包括：

首先，构造二维Gabor滤波器；

其次，对步态能量图特征进行Gabor变换；

最后，分别按照二维Gabor滤波器方向、尺度以及这两个方面进行求和，生成GaborD、GaborS和GaborSD步态特征；

所述在线模型训练的方法包括：

首先，将两种视角下的步态特征写成张量的形式；

然后，通过张量联立判别分析最大化两种视角下步态特征的类间散度，并最小化两类视角的类内散度，通过迭代优化寻找两种视角下张量样本每个模式下的最优映射矩阵。

所述离线测试的方法包括：

首先，将注册视角下样本集和待测视角下样本的基于Gabor表示的步态特征写成张量的形式；

其次，通过在线模型训练方法得到的最优映射矩阵分别对他们进行线性变换；

最后，在映射后子空间中进行两种视角下样本的距离相似性度量，通过最小欧氏距离进行分类。

实施例2、

如实施例1所述的一种基于张量联立判别分析的跨视角步态识别方法，其区别在于，在所述构建基于Gabor表示的步态特征的方法中，如图2和图3所示，所述基于Gabor表示的步态特征包括GaborS、GaborD和GaborSD，如图5，使用步态能量图生成上述三种步态特征，并分别写成张量的形式，以下将上述张量形式的基于Gabor表示的步态特征统称为基于Gabor表示的步态张量特征；

首先，对于步态能量图特征进行Gabor变换，并按照方向和尺度方向分别进行求和，分别得到GaborD、GaborS和GaborSD特征，其数学描述如下：

二维Gabor函数定义为一个椭圆高斯包络和一个复杂平面波的乘积，即

$\mathrm{\ψ}(k_{s,d},z)=\frac{\left|\right|k_{s,d}\left|\right|}{{\mathrm{\σ}}^2}\exp (-\frac{\left|\right|k_{s,d}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2})\[\exp \left({\mathrm{ik}}_{s,d}z\right)-\exp (-\frac{{\mathrm{\σ}}^2}{2})\]---\left(1\right)$

公式(1)中，z＝(x,y)表示空间域变量，是频率向量，决定了Gabor函数的尺度和方向，其中，k_s决定了采样的尺度，k_s＝k_max/f^s，k_max＝π/2，φ_d决定了采样的方向，φ_d＝πd/8；此实施例中，取σ＝2π，s＝0,1,2,3,4和d＝0,1,2,3,4,5,6,7，本发明中使用的5个尺度8个方向的Gabor滤波函数实部如图4所示。

对于任意一张步态能量图I，其5个尺度8个方向上的滤波后的Gabor特征为

Gabor(z)＝I(z)*ψ(k_s,d,z) (2)

为了适应张量运算，引入三种步态能量图Gabor特征的表示形式：GaborD特征定义为按照Gabor函数方向求和构成的幅度特征形式，如公式(3)所示；GaborS特征定义为按照Gabor函数尺度求和构成的幅度特征形式，如公式(4)所示；GaborSD特征定义为按照Gabor函数方向和尺度两个方面求和构成的幅度特征形式，如公式(5)所示：

$GaborD\left(z\right)=|\underset{d}{\Σ}I\left(z\right)*\mathrm{\ψ}(k_{s,d},z)|=|I\left(z\right)*\underset{d}{\Σ}\mathrm{\ψ}(k_{s,d},z)|---\left(3\right)$

$GaborS\left(z\right)=|\underset{s}{\Σ}I\left(z\right)*\mathrm{\ψ}(k_{s,d},z)|=|I\left(z\right)*\underset{s}{\Σ}\mathrm{\ψ}(k_{s,d},z)|---\left(4\right)$

$GaborSD\left(z\right)=|\underset{s,d}{\Σ}I\left(z\right)*\mathrm{\ψ}(k_{s,d},z)|=|I\left(z\right)*\underset{s,d}{\Σ}\mathrm{\ψ}(k_{s,d},z)|---\left(5\right)$

其中，I(z)是步态能量图，z＝(x,y)为步态能量图的空间坐标，ψ(k_s,d,z)为公式(1)定义的Gabor函数。对于本发明中使用的5个尺度8个方向的Gabor函数，任意一张大小为m×n的步态能量图经Gabor滤波后产生40幅滤波后特征图像，表示为空间内的四阶张量；按照方向求和得到的GaborD特征形式表示为空间内的三阶张量；按照尺度求和得到的GaborS特征形式表示为空间内的三阶张量；按照方向和尺度求和得到的GaborSD特征形式表示为空间内的二阶张量。

实施例3、

如实施例2所述的一种基于张量联立判别分析的跨视角步态识别方法，其区别在于，在所述在线模型训练方法中，所述Gabor表示的步态张量特征为基于Gabor表示的步态特征GaborD、GaborS和GaborSD的张量形式，以下用花体符号表示；所述模型训练为寻找不同视角下样本基于Gabor表示的步态张量特征在共同子空间内类间距离最大，类内距离最小的映射形式，其数学描述如下：

假设视角θ下第c类第i个样本基于Gabor表示的步态张量特征为视角下第c类第j个样本基于Gabor表示的步态张量特征为那么两种视角下的所有样本基于Gabor表示的步态张量特征构成的训练样本集分别为和其中，N为样本特征和的模式数，H_n,n＝1,2,…,N为模式-n下样本特征和的维数，和分别为视角θ和下第c类样本的数量，C为类别数；两种视角下样本的总数分别为和样本的总数为

实施例4、

如实施例3所述的一种基于张量联立判别分析的跨视角步态识别方法，其区别在于，根据张量空间内耦合度量学习模型定义，基于张量的联立判别分析通过学习一组线性映射矩阵对分别将不同视角下的张量样本从高维空间和映射到一个共同的判别子空间其中，F_n≤max(H_n,L_n),n＝1,...,N，

公式(6)、(7)中，将式(6)和式(7)中张量运算分别按照n-模式展开得

$A_{i\left(n\right)}^{\left(c\right)}=U_n^T{X}_{i\left(n\right)}^{\left(c\right)}(U_N\⊗\mathrm{...}\⊗U_{n+1}\⊗U_{n-1}\⊗\mathrm{...}\⊗U_1)=U_n^T{X}_{i\left(n\right)}^{\left(c\right)}{\tilde{U}}_n---\left(8\right)$

$B_{j\left(n\right)}^{\left(c\right)}=V_n^T{Y}_{j\left(n\right)}^{\left(c\right)}(V_N\⊗\mathrm{...}\⊗V_{n+1}\⊗V_{n-1}\⊗\mathrm{...}\⊗V_1)=V_n^T{Y}_{j\left(n\right)}^{\left(c\right)}{\tilde{V}}_n---\left(9\right)$

公式(8)、(9)中， 为了后续讨论方便，定义视角θ下第c类样本的n-模式展开矩阵均值为总体均值为视角下第c类样本的n-模式展开矩阵均值为总体均值为那么

根据公式(8)和公式(9)，两种视角下第c类样本按照n-模式展开矩阵映射后的均值和两种视角下全部样本按照n-模式展开矩阵映射后的总体均值分别为

公式(11)中，不同视角下样本贡献度系数α_c,β_c,α,β由不同视角下样本数量与样本的总数量之间的关系确定，即

根据Fisher判别思想，基于张量的联立判别分析使任意模式下的类间散度J_b(U_n,V_n)最大，类内散度J_w(U_n,V_n)最小；因此，基于张量的联立判别分析的目标函数定义为

$\{U_n^{*},V_n^{*},n=1,\mathrm{...},N\}=\underset{U_n,V_n,n=1,\mathrm{...},N}{\arg \max }\frac{J_b(U_n,V_n)}{J_w(U_n,V_n)}---\left(13\right)$

由于公式(13)中N阶张量的优化目标不存在紧形式解，这里将此优化问题转化为迭代求解N个模式下向量子空间内的N个线性映射问题，使每个模式下投影后向量子空间内类间散度最大，类内散度最小；对于n-模式，公式(13)中目标函数转化为

$\{U_n^{*},V_n^{*}\}=\underset{U_n,V_n}{\arg \max }\frac{J_b(U_n,V_n)}{J_w(U_n,V_n)}---\left(14\right)$

类似于广义张量判别分析，类间散度和类内散度分别定义为

为了求解式(14)的最优解，n-模式下的类间散度简化为

其中，

同理，n-模式下的类内散度简化为

公式(18)中，

将公式(16)和公式(18)代入公式(14)，目标函数简化为

$\arg \underset{P_n}{\max }J\left(P_n\right)=\frac{Tr\left(P_n^T{S}_{\left(n\right)}{P}_n\right)}{Tr\left(P_n^T{C}_{\left(n\right)}{P}_n\right)}---\left(20\right)$

根据谱回归分析理论，公式(20)转化为求解如下广义特征值问题

S_(n)p＝λC_(n)p (21)

n-模式下最优解由的前F_n个最大广义特征值对应的特征向量构成，即

$P_n^{*}=\left[\begin{array}{c}{U}_n\\ V_n\end{array}\right]=\[p_1^{\left(n\right)},p_2^{\left(n\right)},\mathrm{...},p_{F_n}^{\left(n\right)}\]---\left(22\right)$

为了确定n-模式下保留的维数F_n，这里定义保留能量ξ为截断广义特征值与全部广义特征值的百分比，即

$\frac{\underset{i=1}{\overset{F_n}{\Σ}}{\mathrm{\λ}}_i^{\left(n\right)}}{\underset{i=1}{\overset{H_n+L_n}{\Σ}}{\mathrm{\λ}}_i^{\left(n\right)}}\≥\mathrm{\ξ}---\left(23\right)$

其中，λ_i ⁽ⁿ⁾,i＝1,...,H_n+L_n是n-模式下矩阵的全部广义特征值；对于具有N个模式的张量样本，本文采用迭代优化的思想，即固定n-模式以外的投影矩阵U₁,...,U_n-1,U_n+1,...,U_N和V₁,...,V_n-1,V_n+1,...,V_N，优化n-模式下的投影矩阵U_n和V_n。

实施例5、

如实施例1-4所述的一种基于张量联立判别分析的跨视角步态识别方法，其区别在于，所述离线测试的方法具体包括：通过基于欧氏距离的最近邻分类器对待测视角下步态样本进行分类，令视角θ下的注册样本集为视角下的待测样本为待测样本投影后张量特征和注册样本投影后形成新的训练特征集的欧氏距离为Dis，其中N为样本基于Gabor表示张量特征的模式数，H_n,n＝1,2,…,N为模式-n下样本基于Gabor表示张量特征的维数，为视角θ下第c类样本的数量，C为类别数视角，那么样本归类于

公式(24)中，分别是映射后张量步态特征，||·||_F表示F范数。

为了证明本发明提出方法的有效性，我们在中科院自动化所提供的CASIA(B)多视角步态库上进行实验验证，并采用步态能量图5个方向8个尺度上的GaborS、GaborD和GaborSD特征，其中每个样本的GaborS张量特征大小为64×64×8，GaborD张量特征大小为64×64×5，GaborSD张量特征大小为64×64。本发明将CASIA(B)多视角步态库分成独立的两部分，其中前64个人的4224段步态序列的基于Gabor表示的张量特征用于训练模型，后60个人的3960段步态序列的基于Gabor表示的张量特征用于测试基于张量联立判别分析模型的性能，并设置了与近几年经典的跨视角步态识别算法Baseline，FT-SVD，GEI-SVD，GEI-SVR，GEI-CMCC的对比实验。待测样本视角为54°，90°和126°时，不同注册样本视角下的识别率分别如表1、表2和表3所示，其中，GaborD-TSDA，GaborS-TSDA，GaborSD-TSDA分别表示本发明所提方法与三种基于Gabor表示的张量特征的结合。

由表1、2和表3可知，本发明提出的基于张量联立判别分析的跨视角步态识别方法(GaborD-TSDA、GaborS-TSDA和GaborSD-TSDA)在待测样本视角为54°、90°和126°时，11种视角下的注册样本的识别率都远高于经典的5种方法，尤其待测样本视角与注册样本视角差只有18°时，本发明提出的这些方法识别率都在98％以上，甚至达到100％。另外，实验结果也证明了步态视角差异对步态识别的影响以及本发明提出的基于张量联立判别分析方法对跨视角步态识别的鲁棒性。

表1待测样本视角为54°时不同方法识别率比较

表2待测样本视角为90°时不同方法识别率比较

表3待测样本视角为126°时不同方法识别率比较

图6给出了待测样本视角为54°、90°和126°时八种不同方法的平均识别率比较，其中，方法1-8分别表示Baseline、FT-SVD、GEI-SVD、GEI-SVR、GEI-CMCC、GaborD-TSDA、GaborS-TSDA和GaborSD-TSDA。由图6可知，本发明提出的三种方法平均识别率都在60％左右，远高于其它五种方法，比Baseline平均识别率要高出40个百分点，且相同方法待测视角为54°和126°时平均识别率高于待测样本视角为90°时的平均识别率。

综上所述，本发明提出的一种基于张量联立判别分析的跨视角步态识别方法比经典的跨视角步态识别方法具有更高的识别率，且对视角变化具有更强的有效性和鲁棒性。

Claims (5)

1.一种基于张量联立判别分析的跨视角步态识别方法，其特征在于，该方法包括构建基于Gabor表示的步态特征、在线模型训练和离线测试；

所述构建基于Gabor表示的步态特征的方法包括：

首先，构造二维Gabor滤波器；

其次，对步态能量图特征进行Gabor变换；

最后，分别按照二维Gabor滤波器方向、尺度以及这两个方面进行求和，生成GaborD、GaborS和GaborSD步态特征；

所述在线模型训练的方法包括：

首先，将两种视角下的步态特征写成张量的形式；

然后，通过张量联立判别分析最大化两种视角下步态特征的类间散度，并最小化两类视角的类内散度，通过迭代优化寻找两种视角下张量样本每个模式下的最优映射矩阵；

所述离线测试的方法包括：

首先，将注册视角下样本集和待测视角下样本的基于Gabor表示的步态特征写成张量的形式；

其次，通过在线模型训练方法得到的最优映射矩阵分别对他们进行线性变换；

最后，在映射后子空间中进行两种视角下样本的距离相似性度量，通过最小欧氏距离进行分类。

2.根据权利要求1所述的一种基于张量联立判别分析的跨视角步态识别方法，其特征在于，在所述构建基于Gabor表示的步态特征的方法中，所述基于Gabor表示的步态特征包括GaborS、GaborD和GaborSD，使用步态能量图生成上述三种步态特征，并分别写成张量的形式，以下将上述张量形式的基于Gabor表示的步态特征统称为基于Gabor表示的步态张量特征；

首先，对于步态能量图特征进行Gabor变换，并按照方向和尺度方向分别进行求和，分别得到GaborD、GaborS和GaborSD特征，其数学描述如下：

二维Gabor函数定义为一个椭圆高斯包络和一个复杂平面波的乘积，即

$\mathrm{\ψ}\left(k_{s,d},z\right)=\frac{\left|\right|k_{s,d}\left|\right|}{{\mathrm{\σ}}^2}\exp \left(-\frac{\left|\right|k_{s,d}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\σ}}^2}\right)\[\exp \left({\mathrm{ik}}_{s,d}z\right)-\exp \left(-\frac{{\mathrm{\σ}}^2}{2}\right)\]---\left(1\right)$

公式(1)中，z＝(x,y)表示空间域变量，是频率向量，决定了Gabor函数的尺度和方向，其中，k_s决定了采样的尺度，k_s＝k_max/f^s，k_max＝π/2，φ_d决定了采样的方向，φ_d＝πd/8；

对于任意一张步态能量图I，其滤波后的Gabor特征为

Gabor(z)＝I(z)*ψ(k_s,d,z) (2)

为了适应张量运算，引入三种步态能量图Gabor特征的表示形式：GaborD特征定义为按照Gabor函数方向求和构成的幅度特征形式，如公式(3)所示；GaborS特征定义为按照Gabor函数尺度求和构成的幅度特征形式，如公式(4)所示；GaborSD特征定义为按照Gabor函数方向和尺度两个方面求和构成的幅度特征形式，如公式(5)所示：

$GaborD\left(z\right)=|\underset{d}{\Σ}I\left(z\right)*\mathrm{\ψ}(k_{s,d},z)|=|I\left(z\right)*\underset{d}{\Σ}\mathrm{\ψ}(k_{s,d},z)|---\left(3\right)$

$GaborS\left(z\right)=|\underset{s}{\Σ}I\left(z\right)*\mathrm{\ψ}(k_{s,d},z)|=|I\left(z\right)*\underset{s}{\Σ}\mathrm{\ψ}(k_{s,d},z)|---\left(4\right)$

$GaborSD\left(z\right)=|\underset{s,d}{\Σ}I\left(z\right)*\mathrm{\ψ}(k_{s,d},z)|=|I\left(z\right)*\underset{s,d}{\Σ}\mathrm{\ψ}(k_{s,d},z)|---\left(5\right)$

其中，I(z)是步态能量图，z＝(x,y)为步态能量图的空间坐标，ψ(k_s,d,z)为公式(1)定义的Gabor函数。

3.根据权利要求2所述的一种基于张量联立判别分析的跨视角步态识别方法，其特征在于，在所述在线模型训练方法中，所述Gabor表示的步态张量特征为基于Gabor表示的步态特征GaborD、GaborS和GaborSD的张量形式；所述模型训练为寻找不同视角下样本基于Gabor表示的步态张量特征在共同子空间内类间距离最大，类内距离最小的映射形式，其数学描述如下：

假设视角θ下第c类第i个样本基于Gabor表示的步态张量特征为视角下第c类第j个样本基于Gabor表示的步态张量特征为那么两种视角下的所有样本基于Gabor表示的步态张量特征构成的训练样本集分别为和其中，N为样本特征和的模式数，H_n,n＝1,2,…,N为模式-n下样本特征和的维数，和分别为视角θ和下第c类样本的数量，C为类别数；两种视角下样本的总数分别为和样本的总数为

4.根据权利要求3所述的一种基于张量联立判别分析的跨视角步态识别方法，其特征在于，根据张量空间内耦合度量学习模型定义，基于张量的联立判别分析通过学习一组线性映射矩阵对分别将不同视角下的张量样本从高维空间和映射到一个共同的判别子空间其中，F_n≤max(H_n,L_n),n＝1,...,N，

公式(6)、(7)中，将式(6)和式(7)中张量运算分别按照n-模式展开得

$A_{i\left(n\right)}^{\left(c\right)}=U_n^T{X}_{i\left(n\right)}^{\left(c\right)}(U_N\⊗\mathrm{...}\⊗U_{n+1}\⊗U_{n-1}\⊗\mathrm{...}\⊗U_1)=U_n^T{X}_{i\left(n\right)}^{\left(c\right)}{\tilde{U}}_n---\left(8\right)$

$B_{j\left(n\right)}^{\left(c\right)}=V_n^T{Y}_{j\left(n\right)}^{\left(c\right)}(V_N\⊗\mathrm{...}\⊗V_{n+1}\⊗V_{n-1}\⊗\mathrm{...}\⊗V_1)=V_n^T{Y}_{j\left(n\right)}^{\left(c\right)}{\tilde{V}}_n---\left(9\right)$

公式(8)、(9)中，

定义视角θ下第c类样本的n-模式展开矩阵均值为总体均值为视角下第c类样本的n-模式展开矩阵均值为总体均值为那么

根据公式(8)和公式(9)，两种视角下第c类样本按照n-模式展开矩阵映射后的均值和两种视角下全部样本按照n-模式展开矩阵映射后的总体均值分别为

公式(11)中，不同视角下样本贡献度系数α_c,β_c,α,β由不同视角下样本数量与样本的总数量之间的关系确定，即

基于张量的联立判别分析使任意模式下的类间散度J_b(U_n,V_n)最大，类内散度J_w(U_n,V_n)最小；因此，基于张量的联立判别分析的目标函数定义为

$\{U_n^{*},V_n^{*},n=1,\mathrm{...},N\}=\underset{U_n,V_n,n=1,\mathrm{...},N}{\mathrm{argmax}}\frac{J_b(U_n,V_n)}{J_w(U_n,V_n)}---\left(13\right)$

由于公式(13)中N阶张量的优化目标不存在紧形式解，使每个模式下投影后向量子空间内类间散度最大，类内散度最小；对于n-模式，公式(13)中目标函数转化为

$\{U_n^{*},V_n^{*}\}=\underset{U_n,V_n}{\mathrm{argmax}}\frac{J_b(U_n,V_n)}{J_w(U_n,V_n)}---\left(14\right)$

类似于广义张量判别分析，类间散度和类内散度分别定义为

为了求解式(14)的最优解，n-模式下的类间散度简化为

其中，

同理，n-模式下的类内散度简化为

公式(18)中，

将公式(16)和公式(18)代入公式(14)，目标函数简化为

$\arg \underset{P_n}{max}J\left(P_n\right)=\frac{Tr\left(P_n^T{S}_{\left(n\right)}{P}_n\right)}{Tr\left(P_n^T{C}_{\left(n\right)}{P}_n\right)}---\left(20\right)$

公式(20)转化为求解如下广义特征值问题

S_(n)p＝λC_(n)p (21)

n-模式下最优解由的前F_n个最大广义特征值对应的特征向量构成，即

$P_n^{*}=\left[\begin{array}{c}{U}_n\\ V_n\end{array}\right]=\[p_1^{\left(n\right)},p_2^{\left(n\right)},\mathrm{...},p_{F_n}^{\left(n\right)}\]---\left(22\right)$

定义保留能量ξ为截断广义特征值与全部广义特征值的百分比，即

$\frac{\underset{i=1}{\overset{F_n}{\Σ}}{\mathrm{\λ}}_i^{\left(n\right)}}{\underset{i=1}{\overset{H_n+L_n}{\Σ}}{\mathrm{\λ}}_i^{\left(n\right)}}\≥\mathrm{\ξ}---\left(23\right)$

其中，i＝1,...,H_n+L_n是n-模式下矩阵的全部广义特征值；对于具有N个模式的张量样本，固定n-模式以外的投影矩阵

U₁,...,U_n-1,U_n+1,...,U_N和V₁,...,V_n-1,V_n+1,...,V_N，优化n-模式下的投影矩阵U_n和V_n。

5.根据权利要求1-4任一所述的一种基于张量联立判别分析的跨视角步态识别方法，其特征在于，所述离线测试的方法具体包括：通过基于欧氏距离的最近邻分类器对待测视角下步态样本进行分类，令视角θ下的注册样本集为视角下的待测样本为待测样本投影后张量特征和注册样本投影后形成新的训练特征集的欧氏距离为Dis，其中N为样本基于Gabor表示张量特征的模式数，H_n,n＝1,2,…,N为模式-n下样本基于Gabor表示张量特征的维数，为视角θ下第c类样本的数量，C为类别数视角，那么样本归类于

公式(24)中，分别是映射后张量步态特征，||·||_F表示F范数。