CN110334618B - 基于稀疏张量局部Fisher判别分析算法的人体行为识别方法 - Google Patents

基于稀疏张量局部Fisher判别分析算法的人体行为识别方法 Download PDF

Info

Publication number
CN110334618B
CN110334618B CN201910540100.6A CN201910540100A CN110334618B CN 110334618 B CN110334618 B CN 110334618B CN 201910540100 A CN201910540100 A CN 201910540100A CN 110334618 B CN110334618 B CN 110334618B
Authority
CN
China
Prior art keywords
tensor
matrix
sparse
sample
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910540100.6A
Other languages
English (en)
Other versions
CN110334618A (zh
Inventor
卢雨彤
韩立新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201910540100.6A priority Critical patent/CN110334618B/zh
Publication of CN110334618A publication Critical patent/CN110334618A/zh
Application granted granted Critical
Publication of CN110334618B publication Critical patent/CN110334618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于稀疏张量的人体行为识别方法，该方法包括以下步骤：获取人体行为剪影序列构建样本，每个样本用三阶张量表示；使用稀疏张量局部Fisher判别分析训练出稀疏投影矩阵组；用求得的稀疏投影矩阵组把训练样本和待测样本投影到张量子空间；计算出待测样本和训练样本之间的相似度，构造基于张量距离的最近邻分类器对低维空间的待测样本进行识别。本发明的张量局部Fisher判别分析算法把求特征值、特征向量的问题转化为一系列的线性回归问题，不但满足了张量局部Fisher判别分析的目标，而且保证了得到的投影矩阵的稀疏性。

Description

基于稀疏张量局部Fisher判别分析算法的人体行为识别方法
技术领域
本发明涉及人体行为剪影序列的特征提取的技术领域，尤其涉及一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法。
背景技术
基于代数特征的提取方法的基本思想是将原始样本投影到子空间形成代数特征，代表性的方法有主成分分析(PCA)、线性判别分析(LDA)和基于流形学习的方法。主成分分析(PCA)是一种无监督的特征提取方法，旨在通过最大化协方差矩阵的迹来最大化投影子空间的方差。物理意义是在投影后的子空间，使得所有样本之间的距离尽可能的大。线性判别分析(LDA)在嵌入鉴别信息时，能够保证在子空间中最大化类间离散度的同时最小化类内离散度。其物理意义是使得在投影后的子空间中，同类的数据之间的距离尽可能的小，不同类的数据之间的距离尽可能的远。传统的子空间特征提取算法主要是考虑整个样本集全局的线性或非线性结构。而流形学习考虑的是样本的局部意义，通过利用局部学习来获得近似的全局线性结构，最终得到全局特征。其中的局部保留投影(LPP)旨在投影空间中尽量保持原高维数据的局部近邻分布结构。
然而，LDA算法只考虑了同类样本的关系，忽略了样本的局部信息。这就导致，当同一类样本包含几个不同的簇时，LDA对它们的分类效果并不理想。因此，在处理多模数据时，必须考虑样本的局部信息，将数据的流形特征提取出来。而LPP方法在特征提取过程中，充分保持了样本的流形结构，却忽略了样本集的全局结构，导致在处理类间交叉数据时，分类结果也不理想。为了解决这个问题，Sugiyama取其精华，去其糟粕，将LDA和LPP算法结合起来，提出了局部Fisher判别分析(LFDA)，并在多模数据和类间交叉数据的分类中都获得了较好的结果[1]。
但上述方法进行目标识别时，需要把图像数据向量化。由于要进行大矩阵的特征值分解，这种操作不仅会造成巨大的计算代价，同时还破坏了图像原有的空间相关性。为了解决这个问题，研究学者们开始用一个高阶张量来描述对象。比如，一张灰度的人脸图像可以作为一个二阶的张量。人体行为或者视频数据可以看作是一个三阶或者更高阶的张量。HE提出了判别张量子空间分析(DTSA)，把一个彩色的人脸图像看作是一个三阶张量[2]。Lu等人提出多线性主成分分析(MPCA)，该框架通过把PCA扩展到张量上实现对张量对象的特征提取[3]。基于同样的想法，又有人将LDA、LPP算法扩充到张量表示上，提出了多线性判别分析(MDA)[4]、张量局部保持投影(TLPP)[5]。
上述方法的一个共同点就是所得到的投影矩阵是非稀疏的，即投影矩阵中的元素都是非零的。Pennec指出：人类的视觉系统具有对图像的稀疏表示特性[6]。近年来，稀疏的子空间学习成了热门的研究方法。Zou在常规的主成分上运用最小角和弹性网络回归，提出了稀疏主成分分析(SPCA)的概念[7]。Clemmensen也基于稀疏表示理论提出了稀疏判别分析(SDA)，成功解决了传统LDA算法存在的高维小样本问题[8]。Qiao基于同样的思想，提出了稀疏保局投影(SPP)并应用人脸识别，并进一步提出了稀疏保局判别分析(SPDA)[9]。Lai等人将SPCA与张量概念结合，提出了多线性稀疏主成分分析(MSPCA),同时在将张量框架应用到稀疏判别分析(SDA)[10]，提出了稀疏张量判别分析(STDA)[11]。最近，Lai等人提出了二维稀疏局部保持投影(S2DLDP)，该算法是基于图的图像特征抽取方法的稀疏扩充[12]。这一系列研究表明，基于稀疏分析与张量表示的特征提取方法在未来有着广泛的应用前景。
人体行为识别作为模式识别领域最活跃的研究方向之一，受到越来越多人的关注。由于运动中目标的方向、速度、光流很难从视频中提取出来，而人体的形状特征如侧影、轮廓却很容易得到。因此许多学者借助各种降维方法将目标的高维形状信息投影到低维空间。
Wang等人用LPP方法对每帧中的剪影图像进行特征提取，将其投影到低维子空间中，然后使用最近邻分类器对人的行为进行识别。Wang和Suter使用核主成分分析得到人的剪影图像的低维表示，并引入因子条件随机场对运动进行建模，其目标是识别由不同身体基础以及不同运动风格和速度的人的动作。Jia和Yeung引入流形嵌入方法来发现人体剪影图像局部时空判别结构，提高了算法对相似的时空形状的人体行为的识别效果。
1.Sugiyama M.Dimensionality reduction of multimodal labeled data bylocal fisher discriminant analysis[J].Journal of machine learning research,2007,8(May):1027-1061.
2.He X,Cai D,Niyogi P.Tensor subspace analysis[C]//Advances in neuralinformation processing systems.2006:499-506.
3.Lu H,Plataniotis K N,Venetsanopoulos A N.MPCA:Multilinear principalcomponent analysis of tensor objects[J].IEEE transactions on Neural Networks,2008,19(1):18-39.
4.Yan S,Xu D,Yang Q,et al.Multilinear discriminant analysis for facerecognition[J].IEEE Transactions on Image Processing,2007,16(1):212-220.
5.Zhang Z,Chow W S.Tensor locally linear discriminative analysis[J].IEEE Signal Processing Letters,2011,18(11):643-646.
6.Le Pennec E,Mallat S.Sparse geometric image representations withbandelets[J].IEEE transactions on image processing,2005,14(4):423-438.
7.Zou H,Hastie T,Tibshirani R.Sparse principal component analysis[J].Journal of computational and graphical statistics,2006,15(2):265-286.
8.Clemmensen L,Hastie T,Witten D,et al.Sparse discriminant analysis[J].Technometrics,2011,53(4):406-413.
9.Qiao L,Chen S,Tan X.Sparsity preserving projections withapplications to face recognition[J].Pattern Recognition,2010,43(1):331-341.
10.Lai Z,Xu Y,Chen Q,et al.Multilinear sparse principal componentanalysis[J].IEEE transactions on neural networks and learning systems,2014,25(10):1942-1950.
11.Lai Z,Xu Y,Yang J,et al.Sparse tensor discriminant analysis[J].IEEE transactions on Image processing,2013,22(10):3904-3915.
12.Lai Z,Wan M,Jin Z,et al.Sparse two-dimensional local discriminantprojections for feature extraction[J].Neurocomputing,2011,74(4):629-637.
发明内容
发明目的：针对以上问题，本发明在局部Fisher判别分析(LFDA)的基础上，结合张量表示和稀疏表示，提出了一种基于稀疏张量局部Fisher判别分析(STLFDA)算法的人体行为识别方法；该方法对人体行为剪影序列进行特征映射，不但满足了张量局部Fisher判别分析的目标，而且保证了得到的投影矩阵的稀疏性，进而保证了人体行为识别的准确性。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法，包括以下步骤：
S1：根据Weizmann人体行为库得到剪影图像序列，构建张量样本，所述人体行为库中10种不同的动作对应10类张量样本，根据所述张量样本构建训练样本集和待测样本集；
S2：采用稀疏张量局部Fisher判别分析算法(STLFDA)根据训练样本集训练得到稀疏投影矩阵组；所述稀疏投影矩阵组能够将原始的张量样本从高维空间投影至低维张量子空间，以保证投影到低维空间的样本集的类内散度最小化以及类间散度最大化；
S3：利用步骤S2求得的稀疏投影矩阵组分别将训练样本和待测样本投影到低维张量子空间；
S4：计算待测样本和训练样本之间的张量距离，进而得到待测样本和训练样本之间的相似度，样本间距离越近，表示二者越相似；
S5：根据相似度构造基于张量距离的最近邻分类器，对低维空间的待测样本进行识别；即在投影到低维空间的训练样本中寻找与待测样本特征距离最近的样本，确定待测样本的类别。
进一步，步骤S1所述根据张量样本构建训练样本集和待测样本集，方法如下：
在Weizmann人体行为库中，9个人分别执行了10种不同的动作，共有90个视频；每个人执行的动作包括弯腰(bend)，挥手原地跳(jack)，双腿并拢向前跳(jump)，双腿并拢向上跳(pjump)，跑(run)，跳跃(skip)，侧跑(side)，走(walk)，挥单手(wave1)，挥双手(wave2)；
S1.1：为了表示样本的时空特征，将Weizmann人体行为库中每个视频转化为剪影图像序列，使用所述人体行为库中每个动作的连续f帧来提取时空特征，每帧大小归一化为p1×p2像素，则张量样本的大小为p1×p2×f像素；剪影图像的高是所述张量的1模，剪影图像的宽是所述张量的2模，剪影图像的时间序列是所述张量的3模；
S1.2：所述人体行为库中10种不同的动作对应10类张量样本，从每类样本中随机选取a个动作张量组成训练样本，每类样本中剩余的动作张量组成待测样本；根据10类张量样本分别得到训练样本集和待测样本集。
进一步，步骤S2所述采用稀疏张量局部Fisher判别分析算法(STLFDA)根据训练样本集训练得到稀疏投影矩阵组，方法如下：
STLFDA算法包括如下步骤：将多线性主成分分析(MPCA)中的张量框架融入到LFDA中，提出张量局部Fisher判别分析；效仿稀疏主成分分析(SPCA)算法求稀疏向量的原理及算法步骤，将张量局部Fisher判别分析中的特征值分解问题转化为回归问题，以此得到稀疏的投影矩阵；
S2.1：构建STLFDA算法的目标函数，目标函数表示为：
Figure BDA0002102283170000041
其中，U(n)表示第n个投影矩阵，N表示投影矩阵的个数，
Figure BDA0002102283170000042
和
Figure BDA0002102283170000043
分别表示类间距离系数矩阵和类内距离系数矩阵，xm表示高维空间的张量样本，ym表示投影到低维空间的样本，M表示张量样本的个数，
Figure BDA0002102283170000044
表示样本间的距离矩阵的F范数的平方，m、i、j取值范围为[1,M]；
S2.2：使用迭代的方法求出目标函数的最优解，即稀疏投影矩阵组；方法如下：
求取第n个投影矩阵U(n)时，设其余N-1个投影矩阵U(1),…,U(n-1),U(n+1),…,U(N)已知，则目标函数可转换为：
Figure BDA0002102283170000045
其中，
Figure BDA0002102283170000046
为张量样本在n模展开条件下的表示，m取值范围为[1,M]；
将公式(2)表示成类似MPCA的目标函数形式：
Figure BDA0002102283170000047
其中，
Figure BDA0002102283170000048
表示U(n)的转置，tr(*)表示矩阵的迹，SB (n)为张量样本在n模展开下的局部类间散度矩阵，SW (n)为张量样本在n模展开下的局部类内散度矩阵；
Figure BDA0002102283170000051
通过求解公式(4)，得到特征值λ、投影矩阵U(n)；根据上述方法依次求出N个投影矩阵，得到多线性投影矩阵组；
将公式(3)中
Figure BDA0002102283170000052
等价替换为：
Figure BDA0002102283170000053
然后将公式(3)变为最小化问题，并增加L1、L2范数的惩罚项，增加L1范数是为了保证投影矩阵的稀疏性，增加L2范数是为了防止过拟合；则目标函数转化为：
Figure BDA0002102283170000054
Figure BDA0002102283170000055
其中，μ为常数；αn和βnj分别表示L2范数和L1范数的系数；
Figure BDA0002102283170000056
为投影矩阵U(n)的第j行；||U(n)||2和
Figure BDA0002102283170000057
分别表示L2和L1范数；
Figure BDA0002102283170000058
表示迭代更新后的稀疏投影矩阵；
Figure BDA0002102283170000059
表示Pn阶的单位矩阵；
通过公式(5)可以看出STLFDA的目标函数和SPCA目标函数非常相似，因此，根据SPCA算法中弹性网络的方法求解公式(5)，即求解得到稀疏投影矩阵组。
进一步，步骤S2.2所述根据SPCA算法中弹性网络的方法求解稀疏投影矩阵组，方法如下：
将
Figure BDA00021022831700000510
进行奇异值分解，表示如下：
Figure BDA00021022831700000511
其中
Figure BDA00021022831700000512
为按升序排列的奇异值矩阵，
Figure BDA00021022831700000513
表示奇异值矩阵Λn第In个对角元，In为张量第n模维度的大小，φn为相应的左奇异矩阵；
令：
Figure BDA0002102283170000061
则：
Figure BDA0002102283170000062
其中：
Figure BDA0002102283170000063
则公式(5)、(6)可转化为：
Figure BDA0002102283170000064
Figure BDA0002102283170000065
而公式(7)、(8)与公式(9)、(10)有着相同的解；
Figure BDA0002102283170000066
subject to AnAn T＝I (10)
其中，I表示单位矩阵；
综上所述，STLFDA的最优化问题转化为求公式(9)、(10)的最优解，所述最优解即为稀疏投影矩阵组。
进一步，采用交替算法求公式(9)、(10)的最优解，方法如下：
(1)当An已知，利用弹性网络求U(n)：
令：
Figure BDA0002102283170000067
Figure BDA0002102283170000068
其中，j＝1,…,In，
Figure BDA0002102283170000069
由弹性网络估计得到：
Figure BDA00021022831700000610
(2)当U(n)已知，考虑公式(9)的最小值，忽略公式(9)的L1和L2范数惩罚项，更新An：
Figure BDA0002102283170000071
根据低秩Procrustes Rotation定理，对
Figure BDA0002102283170000072
进行奇异值分解：
Figure BDA0002102283170000073
式中，
Figure BDA0002102283170000074
分别为左奇异矩阵和右奇异矩阵；
Figure BDA0002102283170000075
是非负实数对角矩阵；
更新
Figure BDA0002102283170000076
(3)重复步骤(1)和步骤(2)，直至N个稀疏投影矩阵求解完成，迭代结束。
进一步，步骤S3所述用求得的稀疏投影矩阵组把训练样本和待测样本投影到低维张量子空间，表示如下：
Figure BDA0002102283170000077
式(7)表示将高维样本
Figure BDA0002102283170000078
投影到低维空间
Figure BDA0002102283170000079
其中稀疏投影矩阵组
Figure BDA00021022831700000710
Ik、Pk分别为高维空间和低维空间中张量样本第k模维度的大小。
进一步，步骤S4所述张量距离定义如下：假设张量
Figure BDA00021022831700000711
则X,Y的张量距离公式为：
Figure BDA00021022831700000712
其中，xl和xm分别为张量X在l模和m模展开条件下的矩阵表示，yl和ym分别为张量Y在l模和m模展开条件下的矩阵表示。
有益效果：与现有的对人体行为剪影序列进行特征提取的方法相比，本发明所提供的基于稀疏张量局部Fisher判别分析算法具有明显的优势。该算法局部Fisher判别分析，结合张量表示和稀疏表示，不但满足了张量局部Fisher判别分析的目标，而且保证了得到的投影矩阵的稀疏性。首先，LFDA结合了LPP和LDA的优点，考虑了样本的局部结构，能够很好地对多模数据和类间交叉数据进行分类，而且使用张量表示人体行为剪影序列，既维持了高维空间数据的本征结构信息，又避免了进行大矩阵的特征分解时的巨大的计算代价。并且人类的视觉系统具有对图像的稀疏表示特性，而STLFDA算法所得到的矩阵恰恰是稀疏的，进一步减少了计算量，提高了人体行为识别率。
附图说明
图1是本发明用稀疏张量局部Fisher判别分析进行人体行为识别框架图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明所述的一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法，包括以下步骤：
S1：根据Weizmann人体行为库得到剪影图像序列，构建张量样本，所述人体行为库中10种不同的动作对应10类张量样本，根据所述张量样本构建训练样本集和待测样本集；
S2：采用稀疏张量局部Fisher判别分析算法(STLFDA)根据训练样本集训练得到稀疏投影矩阵组；所述稀疏投影矩阵组能够将原始的张量样本从高维空间投影至低维张量子空间，以保证投影到低维空间的样本集的类内散度最小化以及类间散度最大化；
S3：利用步骤S2求得的稀疏投影矩阵组分别将训练样本和待测样本投影到低维张量子空间；
S4：计算待测样本和训练样本之间的张量距离，进而得到待测样本和训练样本之间的相似度，样本间距离越近，表示二者越相似；
S5：根据相似度构造基于张量距离的最近邻分类器，对低维空间的待测样本进行识别；即在投影到低维空间的训练样本中寻找与待测样本特征距离最近的样本，确定待测样本的类别。
步骤S1所述根据张量样本构建训练样本集和待测样本集，方法如下：
在Weizmann人体行为库中，9个人分别执行了10种不同的动作，共有90个视频；每个人执行的动作包括弯腰(bend)，挥手原地跳(jack)，双腿并拢向前跳(jump)，双腿并拢向上跳(pjump)，跑(run)，跳跃(skip)，侧跑(side)，走(walk)，挥单手(wave1)，挥双手(wave2)；
S1.1：为了表示样本的时空特征，将Weizmann人体行为库中每个视频转化为剪影图像序列，使用所述人体行为库中每个动作的连续10帧来提取时空特征，每帧大小归一化为32×24像素，则张量样本的大小为32×24×10像素；剪影图像的高是所述张量的1模，剪影图像的宽是所述张量的2模，剪影图像的时间序列是所述张量的3模；
S1.2：所述人体行为库中10种不同的动作对应10类张量样本，本发明使用稀疏张量局部Fisher判别分析方法直接对原始行为序列(三阶张量)进行特征提取，从每类样本中随机选取3至5个动作张量组成训练样本，每类样本中剩余的动作张量组成待测样本；根据10类张量样本分别得到训练样本集和待测样本集。
步骤S2所述采用稀疏张量局部Fisher判别分析算法(STLFDA)根据训练样本集训练得到稀疏投影矩阵组，方法如下：
STLFDA算法包括如下步骤：将多线性主成分分析(MPCA)中的张量框架融入到LFDA中，提出张量局部Fisher判别分析；效仿稀疏主成分分析(SPCA)算法求稀疏向量的原理及算法步骤，将张量局部Fisher判别分析中的特征值分解问题转化为回归问题，以此得到稀疏的投影矩阵；
S2.1：构建STLFDA算法的目标函数，目标函数表示为：
Figure BDA0002102283170000091
其中，U(n)表示第n个投影矩阵，N表示投影矩阵的个数，
Figure BDA0002102283170000092
和
Figure BDA0002102283170000093
分别表示类间距离系数矩阵和类内距离系数矩阵，xm表示高维空间的张量样本，ym表示投影到低维空间的样本，M表示张量样本的个数，
Figure BDA0002102283170000094
表示样本间的距离矩阵的F范数的平方，m、i、j取值范围为[1,M]；
S2.2：使用迭代的方法求出目标函数的最优解，即稀疏投影矩阵组；方法如下：
求取第n个投影矩阵U(n)时，设其余N-1个投影矩阵U(1),…,U(n-1),U(n+1),…,U(N)已知，则目标函数可转换为：
Figure BDA0002102283170000095
其中，
Figure BDA0002102283170000096
为张量样本在n模展开条件下的表示，m取值范围为[1,M]；
将公式(2)表示成类似MPCA的目标函数形式：
Figure BDA0002102283170000097
其中，
Figure BDA0002102283170000098
表示U(n)的转置，tr(*)表示矩阵的迹，SB (n)为张量样本在n模展开下的局部类间散度矩阵，SW (n)为张量样本在n模展开下的局部类内散度矩阵；
Figure BDA0002102283170000099
Figure BDA0002102283170000101
通过求解公式(4)，得到特征值λ、投影矩阵U(n)；根据上述方法依次求出N个投影矩阵，得到多线性投影矩阵组；
将公式(3)中
Figure BDA0002102283170000102
等价替换为：
Figure BDA0002102283170000103
然后将公式(3)变为最小化问题，并增加L1、L2范数的惩罚项，增加L1范数是为了保证投影矩阵的稀疏性，增加L2范数是为了防止过拟合；则目标函数转化为：
Figure BDA0002102283170000104
Figure BDA0002102283170000105
其中，为了防止
Figure BDA0002102283170000106
和
Figure BDA0002102283170000107
的差值太小，μ一般取0.1或者0.01；αn和βnj分别表示L2范数和L1范数的系数；
Figure BDA0002102283170000108
为投影矩阵U(n)的第j行；||U(n)||2和
Figure BDA0002102283170000109
分别表示L2和L1范数；
Figure BDA00021022831700001010
表示迭代更新后的稀疏投影矩阵；
Figure BDA00021022831700001011
表示Pn阶的单位矩阵；
通过公式(5)可以看出STLFDA的目标函数和SPCA目标函数非常相似，因此，根据SPCA算法中弹性网络的方法求解公式(5)，即求解得到稀疏投影矩阵组。
步骤S2.2所述根据SPCA算法中弹性网络的方法求解稀疏投影矩阵组，方法如下：
将
Figure BDA00021022831700001012
进行奇异值分解，表示如下：
Figure BDA00021022831700001013
其中
Figure BDA00021022831700001014
为按升序排列的奇异值矩阵，
Figure BDA00021022831700001015
表示奇异值矩阵Λn第In个对角元，In为张量第n模维度的大小，φn为相应的左奇异矩阵；
令：
Figure BDA00021022831700001016
则：
Figure BDA00021022831700001017
其中：
Figure BDA0002102283170000111
则公式(5)、(6)可转化为：
Figure BDA0002102283170000112
Figure BDA0002102283170000113
而公式(7)、(8)与公式(9)、(10)有着相同的解；
Figure BDA0002102283170000114
subject to AnAn T＝I (10)
其中，I表示单位矩阵；
综上所述，STLFDA的最优化问题转化为求公式(9)、(10)的最优解，所述最优解即为稀疏投影矩阵组。
采用交替算法求公式(9)、(10)的最优解，方法如下：
(1)当An已知，利用弹性网络求U(n)：
令：
Figure BDA0002102283170000115
Figure BDA0002102283170000116
其中，j＝1,…,In，
Figure BDA0002102283170000117
由弹性网络估计得到：
Figure BDA0002102283170000118
(2)当U(n)已知，考虑公式(9)的最小值，忽略公式(9)的L1和L2范数惩罚项，更新An：
Figure BDA0002102283170000119
根据低秩Procrustes Rotation定理，对
Figure BDA0002102283170000121
进行奇异值分解：
Figure BDA0002102283170000122
式中，
Figure BDA0002102283170000123
分别为左奇异矩阵和右奇异矩阵；
Figure BDA0002102283170000124
是非负实数对角矩阵；
更新
Figure BDA0002102283170000125
(3)重复步骤(1)和步骤(2)，直至N个稀疏投影矩阵求解完成，迭代结束。
步骤S3所述用求得的稀疏投影矩阵组把训练样本和待测样本投影到低维张量子空间，表示如下：
Figure BDA0002102283170000126
式(7)表示将高维样本
Figure BDA0002102283170000127
投影到低维空间
Figure BDA0002102283170000128
其中稀疏投影矩阵组
Figure BDA0002102283170000129
Ik、Pk分别为高维空间和低维空间中张量样本第k模维度的大小。
步骤S4所述张量距离定义如下：假设张量
Figure BDA00021022831700001210
则X,Y的张量距离公式为：
Figure BDA00021022831700001211
其中，xl和xm分别为张量X在l模和m模展开条件下的矩阵表示，yl和ym分别为张量Y在l模和m模展开条件下的矩阵表示。

Claims (6)

1.一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法，其特征在于，该方法包括以下步骤：
S1：根据Weizmann人体行为库得到剪影图像序列，构建张量样本，所述人体行为库中10种不同的动作对应10类张量样本，根据所述张量样本构建训练样本集和待测样本集；
S2：采用稀疏张量局部Fisher判别分析算法STLFDA根据训练样本集训练得到稀疏投影矩阵组；所述稀疏投影矩阵组能够将原始的张量样本从高维空间投影至低维张量子空间；
S2.1：构建STLFDA算法的目标函数，目标函数表示为：
Figure FDA0003683268560000011
其中，U(n)表示第n个投影矩阵，N表示投影矩阵的个数，
Figure FDA0003683268560000012
和
Figure FDA0003683268560000013
分别表示类间距离系数矩阵和类内距离系数矩阵，xm表示高维空间的张量样本，ym表示投影到低维空间的样本，M表示张量样本的个数，
Figure FDA0003683268560000014
表示样本间的距离矩阵的F范数的平方，m、i、j取值范围为[1,M]；
S2.2：使用迭代的方法求出目标函数的最优解，即稀疏投影矩阵组；方法如下：
求取第n个投影矩阵U(n)时，设其余N-1个投影矩阵U(1),…,U(n-1),U(n+1),…,U(N)已知，则目标函数可转换为：
Figure FDA0003683268560000015
其中，
Figure FDA0003683268560000016
为张量样本在n模展开条件下的表示，m取值范围为[1,M]；
将公式(2)表示成类似MPCA的目标函数形式：
Figure FDA0003683268560000017
其中，
Figure FDA0003683268560000018
表示U(n)的转置，tr(*)表示矩阵的迹，SB (n)为张量样本在n模展开下的局部类间散度矩阵，SW (n)为张量样本在n模展开下的局部类内散度矩阵；
Figure FDA0003683268560000019
Figure FDA0003683268560000021
SB (n)U(n)＝λSW (n)U(n) (4)
通过求解公式(4)，得到特征值λ、投影矩阵U(n)；根据上述方法依次求出N个投影矩阵，得到多线性投影矩阵组；
将公式(3)中
Figure FDA0003683268560000022
等价替换为：
Figure FDA0003683268560000023
然后将公式(3)变为最小化问题，并增加L1、L2范数的惩罚项，则目标函数转化为：
Figure FDA0003683268560000024
Figure FDA0003683268560000025
其中，μ为常数；αn和βnj分别表示L2范数和L1范数的系数；
Figure FDA0003683268560000026
为投影矩阵U(n)的第j行；||U(n)||2和
Figure FDA0003683268560000027
分别表示L2和L1范数；
Figure FDA0003683268560000028
表示迭代更新后的稀疏投影矩阵；
Figure FDA0003683268560000029
表示Pn阶的单位矩阵；
根据SPCA算法中弹性网络的方法求解公式(5)，即求解得到稀疏投影矩阵组；
S3：利用步骤S2求得的稀疏投影矩阵组分别将训练样本和待测样本投影到低维张量子空间；
S4：计算待测样本和训练样本之间的张量距离，进而得到待测样本和训练样本之间的相似度，样本间距离越近，表示二者越相似；
S5：根据相似度构造基于张量距离的最近邻分类器，对低维空间的待测样本进行识别；即在投影到低维空间的训练样本中寻找与待测样本特征距离最近的样本，确定待测样本的类别。
2.根据权利要求1所述的一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法，其特征在于，步骤S1所述根据张量样本构建训练样本集和待测样本集，方法如下：
S1.1：将Weizmann人体行为库中每个视频转化为剪影图像序列，使用所述人体行为库中每个动作的连续f帧来提取时空特征，每帧大小归一化为p1×p2像素，则张量样本的大小为p1×p2×f像素；剪影图像的高是所述张量的1模，剪影图像的宽是所述张量的2模，剪影图像的时间序列是所述张量的3模；
S1.2：所述人体行为库中10种不同的动作对应10类张量样本，从每类样本中随机选取a个动作张量组成训练样本，每类样本中剩余的动作张量组成待测样本；根据10类张量样本分别得到训练样本集和待测样本集。
3.根据权利要求1所述的一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法，其特征在于，步骤S2.2所述根据SPCA算法中弹性网络的方法求解稀疏投影矩阵组，方法如下：
将
Figure FDA0003683268560000031
进行奇异值分解，表示如下：
Figure FDA0003683268560000032
其中
Figure FDA0003683268560000033
为按升序排列的奇异值矩阵，
Figure FDA0003683268560000034
表示奇异值矩阵Λn第In个对角元，In为张量第n模维度的大小，φn为相应的左奇异矩阵；
令：
Figure FDA0003683268560000035
则：
Figure FDA0003683268560000036
其中：
Figure FDA0003683268560000037
则公式(5)、(6)可转化为：
Figure FDA0003683268560000038
Figure FDA0003683268560000039
而公式(7)、(8)与公式(9)、(10)有着相同的解；
Figure FDA00036832685600000310
Figure FDA00036832685600000311
STLFDA的最优化问题转化为求公式(9)、(10)的最优解，所述最优解即为稀疏投影矩阵组。
4.根据权利要求3所述的一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法，其特征在于，采用交替算法求公式(9)、(10)的最优解，方法如下：
(1)当An已知，利用弹性网络求U(n)：
令：
Figure FDA0003683268560000041
Figure FDA0003683268560000042
其中，j＝1,…,In，
Figure FDA0003683268560000043
由弹性网络估计得到：
Figure FDA0003683268560000044
(2)当U(n)已知，考虑公式(9)的最小值，忽略公式(9)的L1和L2范数惩罚项，更新An：
Figure FDA0003683268560000045
根据低秩Procrustes Rotation定理，对
Figure FDA0003683268560000046
进行奇异值分解：
Figure FDA0003683268560000047
式中，
Figure FDA0003683268560000048
分别为左奇异矩阵和右奇异矩阵；
Figure FDA0003683268560000049
是非负实数对角矩阵；
更新
Figure FDA00036832685600000410
(3)重复步骤(1)和步骤(2)，直至N个稀疏投影矩阵求解完成，迭代结束。
5.根据权利要求1-4任一所述的一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法，其特征在于，步骤S3用求得的稀疏投影矩阵组把训练样本和待测样本投影到低维张量子空间，表示如下：
Figure FDA00036832685600000411
式(7)表示将高维样本
Figure FDA00036832685600000412
投影到低维空间
Figure FDA00036832685600000413
其中稀疏投影矩阵组
Figure FDA00036832685600000414
Ik、Pk分别为高维空间和低维空间中张量样本第k模维度的大小。
6.根据权利要求1-4任一所述的一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法，其特征在于，步骤S4所述张量距离定义如下：假设张量X,
Figure FDA00036832685600000415
则X,Y的张量距离公式为：
Figure FDA0003683268560000051
其中，xl和xm分别为张量X在l模和m模展开条件下的矩阵表示，yl和ym分别为张量Y在l模和m模展开条件下的矩阵表示。
CN201910540100.6A 2019-06-21 2019-06-21 基于稀疏张量局部Fisher判别分析算法的人体行为识别方法 Active CN110334618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910540100.6A CN110334618B (zh) 2019-06-21 2019-06-21 基于稀疏张量局部Fisher判别分析算法的人体行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910540100.6A CN110334618B (zh) 2019-06-21 2019-06-21 基于稀疏张量局部Fisher判别分析算法的人体行为识别方法

Publications (2)

Publication Number Publication Date
CN110334618A CN110334618A (zh) 2019-10-15
CN110334618B true CN110334618B (zh) 2022-08-05

Family

ID=68142288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910540100.6A Active CN110334618B (zh) 2019-06-21 2019-06-21 基于稀疏张量局部Fisher判别分析算法的人体行为识别方法

Country Status (1)

Country Link
CN (1) CN110334618B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101381B (zh) * 2020-08-30 2022-10-28 西南电子技术研究所（中国电子科技集团公司第十研究所） 张量协作图判别分析遥感图像特征提取方法
CN112396028A (zh) * 2020-11-26 2021-02-23 中山大学 一种基于局部边际最大化的动作识别方法
CN117671673B (zh) * 2023-11-21 2024-05-28 江南大学 一种基于自适应张量子空间的小样本宫颈细胞分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331404A (zh) * 2013-07-22 2015-02-04 中国科学院深圳先进技术研究院 一种基于用户手机上网数据的用户行为预测方法和装置
CN105224918A (zh) * 2015-09-11 2016-01-06 深圳大学 基于双线性联合稀疏判别分析的步态识别方法
CN105678806A (zh) * 2016-01-07 2016-06-15 中国农业大学 一种基于Fisher判别的生猪行为轨迹自动跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7936906B2 (en) * 2007-06-15 2011-05-03 Microsoft Corporation Face recognition using discriminatively trained orthogonal tensor projections

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331404A (zh) * 2013-07-22 2015-02-04 中国科学院深圳先进技术研究院 一种基于用户手机上网数据的用户行为预测方法和装置
CN105224918A (zh) * 2015-09-11 2016-01-06 深圳大学 基于双线性联合稀疏判别分析的步态识别方法
CN105678806A (zh) * 2016-01-07 2016-06-15 中国农业大学 一种基于Fisher判别的生猪行为轨迹自动跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于零空间分析的张量局部Fisher判别方法;郑建炜等;《计算机科学》;20130515(第05期);第17-24页 *

Also Published As

Publication number Publication date
CN110334618A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
Huang et al. Projection metric learning on Grassmann manifold with application to video based face recognition
Schwartz et al. Face identification using large feature sets
CN110334618B (zh) 基于稀疏张量局部Fisher判别分析算法的人体行为识别方法
Zhang et al. Image classification by non-negative sparse coding, correlation constrained low-rank and sparse decomposition
Huang et al. On nonlinear dimensionality reduction for face recognition
Abdi et al. Entropy based dictionary learning for image classification
Shao et al. Action recognition using correlogram of body poses and spectral regression
Ma et al. A general subspace ensemble learning framework via totally-corrective boosting and tensor-based and local patch-based extensions for gait recognition
Guo et al. Action recognition in video by sparse representation on covariance manifolds of silhouette tunnels
Wu et al. Incremental discriminant-analysis of canonical correlations for action recognition
Kumar et al. Max-margin non-negative matrix factorization
Yang et al. Regularized ℓ1-Graph for data clustering
Sheng et al. Action recognition using direction-dependent feature pairs and non-negative low rank sparse model
Liong et al. Regularized Bayesian metric learning for person re-identification
Mandal et al. 3-parameter based eigenfeature regularization for human activity recognition
Ge et al. Body-based human age estimation at a distance
Zhao et al. Sparse tensor discriminative locality alignment for gait recognition
Risojević Analysis of learned features for remote sensing image classification
Parthasarathy et al. Self-supervised learning of a biologically-inspired visual texture model
Li et al. Two-dimensional nearest neighbor classification for agricultural remote sensing
Park et al. Multifactor analysis based on factor-dependent geometry
Porges et al. Automatic target classification in SAR images using MPCA
Dong et al. Nonnegative correlation coding for image classification
Qian et al. Histogram of visual words based on locally adaptive regression kernels descriptors for image feature extraction
Nabipour et al. Multimanifold analysis with adaptive neighborhood in DCT domain for face recognition using single sample per person

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant