CN110334618A - 基于稀疏张量局部Fisher判别分析算法的人体行为识别方法 - Google Patents
基于稀疏张量局部Fisher判别分析算法的人体行为识别方法 Download PDFInfo
- Publication number
- CN110334618A CN110334618A CN201910540100.6A CN201910540100A CN110334618A CN 110334618 A CN110334618 A CN 110334618A CN 201910540100 A CN201910540100 A CN 201910540100A CN 110334618 A CN110334618 A CN 110334618A
- Authority
- CN
- China
- Prior art keywords
- tensor
- sparse
- matrix
- sample
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 48
- 238000004458 analytical method Methods 0.000 title claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims abstract description 109
- 238000012549 training Methods 0.000 claims abstract description 41
- 230000009471 action Effects 0.000 claims description 23
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 241000228740 Procrustes Species 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 101710082751 Carboxypeptidase S1 homolog A Proteins 0.000 claims 2
- 102100023804 Coagulation factor VII Human genes 0.000 claims 2
- 238000010276 construction Methods 0.000 abstract 1
- 238000012417 linear regression Methods 0.000 abstract 1
- 230000006399 behavior Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 16
- 238000000513 principal component analysis Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 10
- 238000005452 bending Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于稀疏张量的人体行为识别方法,该方法包括以下步骤:获取人体行为剪影序列构建样本,每个样本用三阶张量表示;使用稀疏张量局部Fisher判别分析训练出稀疏投影矩阵组;用求得的稀疏投影矩阵组把训练样本和待测样本投影到张量子空间;计算出待测样本和训练样本之间的相似度,构造基于张量距离的最近邻分类器对低维空间的待测样本进行识别。本发明的张量局部Fisher判别分析算法把求特征值、特征向量的问题转化为一系列的线性回归问题,不但满足了张量局部Fisher判别分析的目标,而且保证了得到的投影矩阵的稀疏性。
Description
技术领域
本发明涉及人体行为剪影序列的特征提取的技术领域,尤其涉及一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法。
背景技术
基于代数特征的提取方法的基本思想是将原始样本投影到子空间形成代数特征,代表性的方法有主成分分析(PCA)、线性判别分析(LDA)和基于流形学习的方法。主成分分析(PCA)是一种无监督的特征提取方法,旨在通过最大化协方差矩阵的迹来最大化投影子空间的方差。物理意义是在投影后的子空间,使得所有样本之间的距离尽可能的大。线性判别分析(LDA)在嵌入鉴别信息时,能够保证在子空间中最大化类间离散度的同时最小化类内离散度。其物理意义是使得在投影后的子空间中,同类的数据之间的距离尽可能的小,不同类的数据之间的距离尽可能的远。传统的子空间特征提取算法主要是考虑整个样本集全局的线性或非线性结构。而流形学习考虑的是样本的局部意义,通过利用局部学习来获得近似的全局线性结构,最终得到全局特征。其中的局部保留投影(LPP)旨在投影空间中尽量保持原高维数据的局部近邻分布结构。
然而,LDA算法只考虑了同类样本的关系,忽略了样本的局部信息。这就导致,当同一类样本包含几个不同的簇时,LDA对它们的分类效果并不理想。因此,在处理多模数据时,必须考虑样本的局部信息,将数据的流形特征提取出来。而LPP方法在特征提取过程中,充分保持了样本的流形结构,却忽略了样本集的全局结构,导致在处理类间交叉数据时,分类结果也不理想。为了解决这个问题,Sugiyama取其精华,去其糟粕,将LDA和LPP算法结合起来,提出了局部Fisher判别分析(LFDA),并在多模数据和类间交叉数据的分类中都获得了较好的结果[1]。
但上述方法进行目标识别时,需要把图像数据向量化。由于要进行大矩阵的特征值分解,这种操作不仅会造成巨大的计算代价,同时还破坏了图像原有的空间相关性。为了解决这个问题,研究学者们开始用一个高阶张量来描述对象。比如,一张灰度的人脸图像可以作为一个二阶的张量。人体行为或者视频数据可以看作是一个三阶或者更高阶的张量。HE提出了判别张量子空间分析(DTSA),把一个彩色的人脸图像看作是一个三阶张量[2]。Lu等人提出多线性主成分分析(MPCA),该框架通过把PCA扩展到张量上实现对张量对象的特征提取[3]。基于同样的想法,又有人将LDA、LPP算法扩充到张量表示上,提出了多线性判别分析(MDA)[4]、张量局部保持投影(TLPP)[5]。
上述方法的一个共同点就是所得到的投影矩阵是非稀疏的,即投影矩阵中的元素都是非零的。Pennec指出:人类的视觉系统具有对图像的稀疏表示特性[6]。近年来,稀疏的子空间学习成了热门的研究方法。Zou在常规的主成分上运用最小角和弹性网络回归,提出了稀疏主成分分析(SPCA)的概念[7]。Clemmensen也基于稀疏表示理论提出了稀疏判别分析(SDA),成功解决了传统LDA算法存在的高维小样本问题[8]。Qiao基于同样的思想,提出了稀疏保局投影(SPP)并应用人脸识别,并进一步提出了稀疏保局判别分析(SPDA)[9]。Lai等人将SPCA与张量概念结合,提出了多线性稀疏主成分分析(MSPCA),同时在将张量框架应用到稀疏判别分析(SDA)[10],提出了稀疏张量判别分析(STDA)[11]。最近,Lai等人提出了二维稀疏局部保持投影(S2DLDP),该算法是基于图的图像特征抽取方法的稀疏扩充[12]。这一系列研究表明,基于稀疏分析与张量表示的特征提取方法在未来有着广泛的应用前景。
人体行为识别作为模式识别领域最活跃的研究方向之一,受到越来越多人的关注。由于运动中目标的方向、速度、光流很难从视频中提取出来,而人体的形状特征如侧影、轮廓却很容易得到。因此许多学者借助各种降维方法将目标的高维形状信息投影到低维空间。
Wang等人用LPP方法对每帧中的剪影图像进行特征提取,将其投影到低维子空间中,然后使用最近邻分类器对人的行为进行识别。Wang和Suter使用核主成分分析得到人的剪影图像的低维表示,并引入因子条件随机场对运动进行建模,其目标是识别由不同身体基础以及不同运动风格和速度的人的动作。Jia和Yeung引入流形嵌入方法来发现人体剪影图像局部时空判别结构,提高了算法对相似的时空形状的人体行为的识别效果。
1.Sugiyama M.Dimensionality reduction of multimodal labeled data bylocal fisher discriminant analysis[J].Journal of machine learning research,2007,8(May):1027-1061.
2.He X,Cai D,Niyogi P.Tensor subspace analysis[C]//Advances in neuralinformation processing systems.2006:499-506.
3.Lu H,Plataniotis K N,Venetsanopoulos A N.MPCA:Multilinear principalcomponent analysis of tensor objects[J].IEEE transactions on Neural Networks,2008,19(1):18-39.
4.Yan S,Xu D,Yang Q,et al.Multilinear discriminant analysis for facerecognition[J].IEEE Transactions on Image Processing,2007,16(1):212-220.
5.Zhang Z,Chow W S.Tensor locally linear discriminative analysis[J].IEEE Signal Processing Letters,2011,18(11):643-646.
6.Le Pennec E,Mallat S.Sparse geometric image representations withbandelets[J].IEEE transactions on image processing,2005,14(4):423-438.
7.Zou H,Hastie T,Tibshirani R.Sparse principal component analysis[J].Journal of computational and graphical statistics,2006,15(2):265-286.
8.Clemmensen L,Hastie T,Witten D,et al.Sparse discriminant analysis[J].Technometrics,2011,53(4):406-413.
9.Qiao L,Chen S,Tan X.Sparsity preserving projections withapplications to face recognition[J].Pattern Recognition,2010,43(1):331-341.
10.Lai Z,Xu Y,Chen Q,et al.Multilinear sparse principal componentanalysis[J].IEEE transactions on neural networks and learning systems,2014,25(10):1942-1950.
11.Lai Z,Xu Y,Yang J,et al.Sparse tensor discriminant analysis[J].IEEE transactions on Image processing,2013,22(10):3904-3915.
12.Lai Z,Wan M,Jin Z,et al.Sparse two-dimensional local discriminantprojections for feature extraction[J].Neurocomputing,2011,74(4):629-637.
发明内容
发明目的:针对以上问题,本发明在局部Fisher判别分析(LFDA)的基础上,结合张量表示和稀疏表示,提出了一种基于稀疏张量局部Fisher判别分析(STLFDA)算法的人体行为识别方法;该方法对人体行为剪影序列进行特征映射,不但满足了张量局部Fisher判别分析的目标,而且保证了得到的投影矩阵的稀疏性,进而保证了人体行为识别的准确性。
技术方案:为实现本发明的目的,本发明所采用的技术方案是:一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法,包括以下步骤:
S1:根据Weizmann人体行为库得到剪影图像序列,构建张量样本,所述人体行为库中10种不同的动作对应10类张量样本,根据所述张量样本构建训练样本集和待测样本集;
S2:采用稀疏张量局部Fisher判别分析算法(STLFDA)根据训练样本集训练得到稀疏投影矩阵组;所述稀疏投影矩阵组能够将原始的张量样本从高维空间投影至低维张量子空间,以保证投影到低维空间的样本集的类内散度最小化以及类间散度最大化;
S3:利用步骤S2求得的稀疏投影矩阵组分别将训练样本和待测样本投影到低维张量子空间;
S4:计算待测样本和训练样本之间的张量距离,进而得到待测样本和训练样本之间的相似度,样本间距离越近,表示二者越相似;
S5:根据相似度构造基于张量距离的最近邻分类器,对低维空间的待测样本进行识别;即在投影到低维空间的训练样本中寻找与待测样本特征距离最近的样本,确定待测样本的类别。
进一步,步骤S1所述根据张量样本构建训练样本集和待测样本集,方法如下:
在Weizmann人体行为库中,9个人分别执行了10种不同的动作,共有90个视频;每个人执行的动作包括弯腰(bend),挥手原地跳(jack),双腿并拢向前跳(jump),双腿并拢向上跳(pjump),跑(run),跳跃(skip),侧跑(side),走(walk),挥单手(wave1),挥双手(wave2);
S1.1:为了表示样本的时空特征,将Weizmann人体行为库中每个视频转化为剪影图像序列,使用所述人体行为库中每个动作的连续f帧来提取时空特征,每帧大小归一化为p1×p2像素,则张量样本的大小为p1×p2×f像素;剪影图像的高是所述张量的1模,剪影图像的宽是所述张量的2模,剪影图像的时间序列是所述张量的3模;
S1.2:所述人体行为库中10种不同的动作对应10类张量样本,从每类样本中随机选取a个动作张量组成训练样本,每类样本中剩余的动作张量组成待测样本;根据10类张量样本分别得到训练样本集和待测样本集。
进一步,步骤S2所述采用稀疏张量局部Fisher判别分析算法(STLFDA)根据训练样本集训练得到稀疏投影矩阵组,方法如下:
STLFDA算法包括如下步骤:将多线性主成分分析(MPCA)中的张量框架融入到LFDA中,提出张量局部Fisher判别分析;效仿稀疏主成分分析(SPCA)算法求稀疏向量的原理及算法步骤,将张量局部Fisher判别分析中的特征值分解问题转化为回归问题,以此得到稀疏的投影矩阵;
S2.1:构建STLFDA算法的目标函数,目标函数表示为:
其中,U(n)表示第n个投影矩阵,N表示投影矩阵的个数,和分别表示类间距离系数矩阵和类内距离系数矩阵,xm表示高维空间的张量样本,ym表示投影到低维空间的样本,M表示张量样本的个数,表示样本间的距离矩阵的F范数的平方,m、i、j取值范围为[1,M];
S2.2:使用迭代的方法求出目标函数的最优解,即稀疏投影矩阵组;方法如下:
求取第n个投影矩阵U(n)时,设其余N-1个投影矩阵U(1),…,U(n-1),U(n+1),…,U(N)已知,则目标函数可转换为:
其中,为张量样本在n模展开条件下的表示,m取值范围为[1,M];
将公式(2)表示成类似MPCA的目标函数形式:
其中,表示U(n)的转置,tr(*)表示矩阵的迹,SB (n)为张量样本在n模展开下的局部类间散度矩阵,SW (n)为张量样本在n模展开下的局部类内散度矩阵;
通过求解公式(4),得到特征值λ、投影矩阵U(n);根据上述方法依次求出N个投影矩阵,得到多线性投影矩阵组;
将公式(3)中
等价替换为:
然后将公式(3)变为最小化问题,并增加L1、L2范数的惩罚项,增加L1范数是为了保证投影矩阵的稀疏性,增加L2范数是为了防止过拟合;则目标函数转化为:
其中,μ为常数;αn和βnj分别表示L2范数和L1范数的系数;为投影矩阵U(n)的第j行;||U(n)||2和分别表示L2和L1范数;表示迭代更新后的稀疏投影矩阵;表示Pn阶的单位矩阵;
通过公式(5)可以看出STLFDA的目标函数和SPCA目标函数非常相似,因此,根据SPCA算法中弹性网络的方法求解公式(5),即求解得到稀疏投影矩阵组。
进一步,步骤S2.2所述根据SPCA算法中弹性网络的方法求解稀疏投影矩阵组,方法如下:
将进行奇异值分解,表示如下:
其中为按升序排列的奇异值矩阵,表示奇异值矩阵Λn第In个对角元,In为张量第n模维度的大小,φn为相应的左奇异矩阵;
令:
则:
其中:
则公式(5)、(6)可转化为:
而公式(7)、(8)与公式(9)、(10)有着相同的解;
subject to AnAn T=I (10)
其中,I表示单位矩阵;
综上所述,STLFDA的最优化问题转化为求公式(9)、(10)的最优解,所述最优解即为稀疏投影矩阵组。
进一步,采用交替算法求公式(9)、(10)的最优解,方法如下:
(1)当An已知,利用弹性网络求U(n):
令:
其中,j=1,…,In,由弹性网络估计得到:
(2)当U(n)已知,考虑公式(9)的最小值,忽略公式(9)的L1和L2范数惩罚项,更新An:
根据低秩Procrustes Rotation定理,对进行奇异值分解:
式中,分别为左奇异矩阵和右奇异矩阵;是非负实数对角矩阵;
更新
(3)重复步骤(1)和步骤(2),直至N个稀疏投影矩阵求解完成,迭代结束。
进一步,步骤S3所述用求得的稀疏投影矩阵组把训练样本和待测样本投影到低维张量子空间,表示如下:
式(7)表示将高维样本投影到低维空间其中稀疏投影矩阵组Ik、Pk分别为高维空间和低维空间中张量样本第k模维度的大小。
进一步,步骤S4所述张量距离定义如下:假设张量则X,Y的张量距离公式为:
其中,xl和xm分别为张量X在l模和m模展开条件下的矩阵表示,yl和ym分别为张量Y在l模和m模展开条件下的矩阵表示。
有益效果:与现有的对人体行为剪影序列进行特征提取的方法相比,本发明所提供的基于稀疏张量局部Fisher判别分析算法具有明显的优势。该算法局部Fisher判别分析,结合张量表示和稀疏表示,不但满足了张量局部Fisher判别分析的目标,而且保证了得到的投影矩阵的稀疏性。首先,LFDA结合了LPP和LDA的优点,考虑了样本的局部结构,能够很好地对多模数据和类间交叉数据进行分类,而且使用张量表示人体行为剪影序列,既维持了高维空间数据的本征结构信息,又避免了进行大矩阵的特征分解时的巨大的计算代价。并且人类的视觉系统具有对图像的稀疏表示特性,而STLFDA算法所得到的矩阵恰恰是稀疏的,进一步减少了计算量,提高了人体行为识别率。
附图说明
图1是本发明用稀疏张量局部Fisher判别分析进行人体行为识别框架图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明所述的一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法,包括以下步骤:
S1:根据Weizmann人体行为库得到剪影图像序列,构建张量样本,所述人体行为库中10种不同的动作对应10类张量样本,根据所述张量样本构建训练样本集和待测样本集;
S2:采用稀疏张量局部Fisher判别分析算法(STLFDA)根据训练样本集训练得到稀疏投影矩阵组;所述稀疏投影矩阵组能够将原始的张量样本从高维空间投影至低维张量子空间,以保证投影到低维空间的样本集的类内散度最小化以及类间散度最大化;
S3:利用步骤S2求得的稀疏投影矩阵组分别将训练样本和待测样本投影到低维张量子空间;
S4:计算待测样本和训练样本之间的张量距离,进而得到待测样本和训练样本之间的相似度,样本间距离越近,表示二者越相似;
S5:根据相似度构造基于张量距离的最近邻分类器,对低维空间的待测样本进行识别;即在投影到低维空间的训练样本中寻找与待测样本特征距离最近的样本,确定待测样本的类别。
步骤S1所述根据张量样本构建训练样本集和待测样本集,方法如下:
在Weizmann人体行为库中,9个人分别执行了10种不同的动作,共有90个视频;每个人执行的动作包括弯腰(bend),挥手原地跳(jack),双腿并拢向前跳(jump),双腿并拢向上跳(pjump),跑(run),跳跃(skip),侧跑(side),走(walk),挥单手(wave1),挥双手(wave2);
S1.1:为了表示样本的时空特征,将Weizmann人体行为库中每个视频转化为剪影图像序列,使用所述人体行为库中每个动作的连续10帧来提取时空特征,每帧大小归一化为32×24像素,则张量样本的大小为32×24×10像素;剪影图像的高是所述张量的1模,剪影图像的宽是所述张量的2模,剪影图像的时间序列是所述张量的3模;
S1.2:所述人体行为库中10种不同的动作对应10类张量样本,本发明使用稀疏张量局部Fisher判别分析方法直接对原始行为序列(三阶张量)进行特征提取,从每类样本中随机选取3至5个动作张量组成训练样本,每类样本中剩余的动作张量组成待测样本;根据10类张量样本分别得到训练样本集和待测样本集。
步骤S2所述采用稀疏张量局部Fisher判别分析算法(STLFDA)根据训练样本集训练得到稀疏投影矩阵组,方法如下:
STLFDA算法包括如下步骤:将多线性主成分分析(MPCA)中的张量框架融入到LFDA中,提出张量局部Fisher判别分析;效仿稀疏主成分分析(SPCA)算法求稀疏向量的原理及算法步骤,将张量局部Fisher判别分析中的特征值分解问题转化为回归问题,以此得到稀疏的投影矩阵;
S2.1:构建STLFDA算法的目标函数,目标函数表示为:
其中,U(n)表示第n个投影矩阵,N表示投影矩阵的个数,和分别表示类间距离系数矩阵和类内距离系数矩阵,xm表示高维空间的张量样本,ym表示投影到低维空间的样本,M表示张量样本的个数,表示样本间的距离矩阵的F范数的平方,m、i、j取值范围为[1,M];
S2.2:使用迭代的方法求出目标函数的最优解,即稀疏投影矩阵组;方法如下:
求取第n个投影矩阵U(n)时,设其余N-1个投影矩阵U(1),…,U(n-1),U(n+1),…,U(N)已知,则目标函数可转换为:
其中,为张量样本在n模展开条件下的表示,m取值范围为[1,M];
将公式(2)表示成类似MPCA的目标函数形式:
其中,表示U(n)的转置,tr(*)表示矩阵的迹,SB (n)为张量样本在n模展开下的局部类间散度矩阵,SW (n)为张量样本在n模展开下的局部类内散度矩阵;
通过求解公式(4),得到特征值λ、投影矩阵U(n);根据上述方法依次求出N个投影矩阵,得到多线性投影矩阵组;
将公式(3)中
等价替换为:
然后将公式(3)变为最小化问题,并增加L1、L2范数的惩罚项,增加L1范数是为了保证投影矩阵的稀疏性,增加L2范数是为了防止过拟合;则目标函数转化为:
其中,为了防止和的差值太小,μ一般取0.1或者0.01;αn和βnj分别表示L2范数和L1范数的系数;为投影矩阵U(n)的第j行;||U(n)||2和分别表示L2和L1范数;表示迭代更新后的稀疏投影矩阵;表示Pn阶的单位矩阵;
通过公式(5)可以看出STLFDA的目标函数和SPCA目标函数非常相似,因此,根据SPCA算法中弹性网络的方法求解公式(5),即求解得到稀疏投影矩阵组。
步骤S2.2所述根据SPCA算法中弹性网络的方法求解稀疏投影矩阵组,方法如下:
将进行奇异值分解,表示如下:
其中为按升序排列的奇异值矩阵,表示奇异值矩阵Λn第In个对角元,In为张量第n模维度的大小,φn为相应的左奇异矩阵;
令:
则:
其中:
则公式(5)、(6)可转化为:
而公式(7)、(8)与公式(9)、(10)有着相同的解;
subject to AnAn T=I (10)
其中,I表示单位矩阵;
综上所述,STLFDA的最优化问题转化为求公式(9)、(10)的最优解,所述最优解即为稀疏投影矩阵组。
采用交替算法求公式(9)、(10)的最优解,方法如下:
(1)当An已知,利用弹性网络求U(n):
令:
其中,j=1,…,In,由弹性网络估计得到:
(2)当U(n)已知,考虑公式(9)的最小值,忽略公式(9)的L1和L2范数惩罚项,更新An:
根据低秩Procrustes Rotation定理,对进行奇异值分解:
式中,分别为左奇异矩阵和右奇异矩阵;是非负实数对角矩阵;
更新
(3)重复步骤(1)和步骤(2),直至N个稀疏投影矩阵求解完成,迭代结束。
步骤S3所述用求得的稀疏投影矩阵组把训练样本和待测样本投影到低维张量子空间,表示如下:
式(7)表示将高维样本投影到低维空间其中稀疏投影矩阵组Ik、Pk分别为高维空间和低维空间中张量样本第k模维度的大小。
步骤S4所述张量距离定义如下:假设张量则X,Y的张量距离公式为:
其中,xl和xm分别为张量X在l模和m模展开条件下的矩阵表示,yl和ym分别为张量Y在l模和m模展开条件下的矩阵表示。
Claims (7)
1.一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法,其特征在于,该方法包括以下步骤:
S1:根据Weizmann人体行为库得到剪影图像序列,构建张量样本,所述人体行为库中10种不同的动作对应10类张量样本,根据所述张量样本构建训练样本集和待测样本集;
S2:采用稀疏张量局部Fisher判别分析算法(STLFDA)根据训练样本集训练得到稀疏投影矩阵组;所述稀疏投影矩阵组能够将原始的张量样本从高维空间投影至低维张量子空间;
S3:利用步骤S2求得的稀疏投影矩阵组分别将训练样本和待测样本投影到低维张量子空间;
S4:计算待测样本和训练样本之间的张量距离,进而得到待测样本和训练样本之间的相似度,样本间距离越近,表示二者越相似;
S5:根据相似度构造基于张量距离的最近邻分类器,对低维空间的待测样本进行识别;即在投影到低维空间的训练样本中寻找与待测样本特征距离最近的样本,确定待测样本的类别。
2.根据权利要求1所述的一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法,其特征在于,步骤S1所述根据张量样本构建训练样本集和待测样本集,方法如下:
S1.1:将Weizmann人体行为库中每个视频转化为剪影图像序列,使用所述人体行为库中每个动作的连续f帧来提取时空特征,每帧大小归一化为p1×p2像素,则张量样本的大小为p1×p2×f像素;剪影图像的高是所述张量的1模,剪影图像的宽是所述张量的2模,剪影图像的时间序列是所述张量的3模;
S1.2:所述人体行为库中10种不同的动作对应10类张量样本,从每类样本中随机选取a个动作张量组成训练样本,每类样本中剩余的动作张量组成待测样本;根据10类张量样本分别得到训练样本集和待测样本集。
3.根据权利要求1所述的一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法,其特征在于,步骤S2所述采用稀疏张量局部Fisher判别分析算法(STLFDA)根据训练样本集训练得到稀疏投影矩阵组,方法如下:
S2.1:构建STLFDA算法的目标函数,目标函数表示为:
其中,U(n)表示第n个投影矩阵,N表示投影矩阵的个数,和分别表示类间距离系数矩阵和类内距离系数矩阵,xm表示高维空间的张量样本,ym表示投影到低维空间的样本,M表示张量样本的个数,表示样本间的距离矩阵的F范数的平方,m、i、j取值范围为[1,M];
S2.2:使用迭代的方法求出目标函数的最优解,即稀疏投影矩阵组;方法如下:
求取第n个投影矩阵U(n)时,设其余N-1个投影矩阵U(1),…,U(n-1),U(n+1),…,U(N)已知,则目标函数可转换为:
其中,为张量样本在n模展开条件下的表示,m取值范围为[1,M];
将公式(2)表示成类似MPCA的目标函数形式:
其中,表示U(n)的转置,tr(*)表示矩阵的迹,SB (n)为张量样本在n模展开下的局部类间散度矩阵,SW (n)为张量样本在n模展开下的局部类内散度矩阵;
SB (n)U(n)=λSW (n)U(n) (4)
通过求解公式(4),得到特征值λ、投影矩阵U(n);根据上述方法依次求出N个投影矩阵,得到多线性投影矩阵组;
将公式(3)中
等价替换为:
然后将公式(3)变为最小化问题,并增加L1、L2范数的惩罚项,则目标函数转化为:
其中,μ为常数;αn和βnj分别表示L2范数和L1范数的系数;为投影矩阵U(n)的第j行;||U(n)||2和分别表示L2和L1范数;表示迭代更新后的稀疏投影矩阵;表示Pn阶的单位矩阵;
根据SPCA算法中弹性网络的方法求解公式(5),即求解得到稀疏投影矩阵组。
4.根据权利要求3所述的一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法,其特征在于,步骤S2.2所述根据SPCA算法中弹性网络的方法求解稀疏投影矩阵组,方法如下:
将进行奇异值分解,表示如下:
其中为按升序排列的奇异值矩阵,表示奇异值矩阵Λn第In个对角元,In为张量第n模维度的大小,φn为相应的左奇异矩阵;
令:
则:
其中:
则公式(5)、(6)可转化为:
而公式(7)、(8)与公式(9)、(10)有着相同的解;
综上所述,STLFDA的最优化问题转化为求公式(9)、(10)的最优解,所述最优解即为稀疏投影矩阵组。
5.根据权利要求4所述的一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法,其特征在于,采用交替算法求公式(9)、(10)的最优解,方法如下:
(1)当An已知,利用弹性网络求U(n):
令:
其中,j=1,…,In,由弹性网络估计得到:
(2)当U(n)已知,考虑公式(9)的最小值,忽略公式(9)的L1和L2范数惩罚项,更新An:
根据低秩Procrustes Rotation定理,对进行奇异值分解:
式中,分别为左奇异矩阵和右奇异矩阵;是非负实数对角矩阵;
更新
(3)重复步骤(1)和步骤(2),直至N个稀疏投影矩阵求解完成,迭代结束。
6.根据权利要求1-5任一所述的一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法,其特征在于,步骤S3所述用求得的稀疏投影矩阵组把训练样本和待测样本投影到低维张量子空间,表示如下:
式(7)表示将高维样本投影到低维空间Pn<In,n=1,…,N,其中稀疏投影矩阵组Ik、Pk分别为高维空间和低维空间中张量样本第k模维度的大小。
7.根据权利要求1-5任一所述的一种基于稀疏张量局部Fisher判别分析算法的人体行为识别方法,其特征在于,步骤S4所述张量距离定义如下:假设张量X,则X,Y的张量距离公式为:
其中,xl和xm分别为张量X在l模和m模展开条件下的矩阵表示,yl和ym分别为张量Y在l模和m模展开条件下的矩阵表示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910540100.6A CN110334618B (zh) | 2019-06-21 | 2019-06-21 | 基于稀疏张量局部Fisher判别分析算法的人体行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910540100.6A CN110334618B (zh) | 2019-06-21 | 2019-06-21 | 基于稀疏张量局部Fisher判别分析算法的人体行为识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110334618A true CN110334618A (zh) | 2019-10-15 |
CN110334618B CN110334618B (zh) | 2022-08-05 |
Family
ID=68142288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910540100.6A Active CN110334618B (zh) | 2019-06-21 | 2019-06-21 | 基于稀疏张量局部Fisher判别分析算法的人体行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110334618B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112101381A (zh) * | 2020-08-30 | 2020-12-18 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 张量协作图判别分析遥感图像特征提取方法 |
CN112396028A (zh) * | 2020-11-26 | 2021-02-23 | 中山大学 | 一种基于局部边际最大化的动作识别方法 |
CN117671673A (zh) * | 2023-11-21 | 2024-03-08 | 江南大学 | 一种基于自适应张量子空间的小样本宫颈细胞分类方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080310687A1 (en) * | 2007-06-15 | 2008-12-18 | Microsoft Corporation | Face Recognition Using Discriminatively Trained Orthogonal Tensor Projections |
CN104331404A (zh) * | 2013-07-22 | 2015-02-04 | 中国科学院深圳先进技术研究院 | 一种基于用户手机上网数据的用户行为预测方法和装置 |
CN105224918A (zh) * | 2015-09-11 | 2016-01-06 | 深圳大学 | 基于双线性联合稀疏判别分析的步态识别方法 |
CN105678806A (zh) * | 2016-01-07 | 2016-06-15 | 中国农业大学 | 一种基于Fisher判别的生猪行为轨迹自动跟踪方法 |
-
2019
- 2019-06-21 CN CN201910540100.6A patent/CN110334618B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080310687A1 (en) * | 2007-06-15 | 2008-12-18 | Microsoft Corporation | Face Recognition Using Discriminatively Trained Orthogonal Tensor Projections |
CN104331404A (zh) * | 2013-07-22 | 2015-02-04 | 中国科学院深圳先进技术研究院 | 一种基于用户手机上网数据的用户行为预测方法和装置 |
CN105224918A (zh) * | 2015-09-11 | 2016-01-06 | 深圳大学 | 基于双线性联合稀疏判别分析的步态识别方法 |
CN105678806A (zh) * | 2016-01-07 | 2016-06-15 | 中国农业大学 | 一种基于Fisher判别的生猪行为轨迹自动跟踪方法 |
Non-Patent Citations (1)
Title |
---|
郑建炜等: "基于零空间分析的张量局部Fisher判别方法", 《计算机科学》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112101381A (zh) * | 2020-08-30 | 2020-12-18 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 张量协作图判别分析遥感图像特征提取方法 |
CN112101381B (zh) * | 2020-08-30 | 2022-10-28 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 张量协作图判别分析遥感图像特征提取方法 |
CN112396028A (zh) * | 2020-11-26 | 2021-02-23 | 中山大学 | 一种基于局部边际最大化的动作识别方法 |
CN117671673A (zh) * | 2023-11-21 | 2024-03-08 | 江南大学 | 一种基于自适应张量子空间的小样本宫颈细胞分类方法 |
CN117671673B (zh) * | 2023-11-21 | 2024-05-28 | 江南大学 | 一种基于自适应张量子空间的小样本宫颈细胞分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110334618B (zh) | 2022-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107784293B (zh) | 一种基于全局特征和稀疏表示分类的人体行为识别方法 | |
Sun et al. | Discriminative local sparse representation by robust adaptive dictionary pair learning | |
Huang et al. | Projection metric learning on Grassmann manifold with application to video based face recognition | |
Yan et al. | Prototype-based discriminative feature learning for kinship verification | |
Xu et al. | Human gait recognition using patch distribution feature and locality-constrained group sparse representation | |
Zhou et al. | Double shrinking sparse dimension reduction | |
Zhang et al. | Image classification by non-negative sparse coding, correlation constrained low-rank and sparse decomposition | |
CN110334618B (zh) | 基于稀疏张量局部Fisher判别分析算法的人体行为识别方法 | |
Huang et al. | On nonlinear dimensionality reduction for face recognition | |
Abdi et al. | Entropy based dictionary learning for image classification | |
Ma et al. | A general subspace ensemble learning framework via totally-corrective boosting and tensor-based and local patch-based extensions for gait recognition | |
Wu et al. | Incremental discriminant-analysis of canonical correlations for action recognition | |
Kumar et al. | Max-margin non-negative matrix factorization | |
Sheng et al. | Action recognition using direction-dependent feature pairs and non-negative low rank sparse model | |
Liong et al. | Regularized Bayesian metric learning for person re-identification | |
Mandal et al. | 3-parameter based eigenfeature regularization for human activity recognition | |
Parthasarathy et al. | Self-supervised learning of a biologically-inspired visual texture model | |
Porges et al. | Automatic target classification in SAR images using MPCA | |
Wu et al. | Weighted principal geodesic analysis for facial gender classification | |
Qian et al. | Histogram of visual words based on locally adaptive regression kernels descriptors for image feature extraction | |
Zhi et al. | Facial expression recognition based on graph-preserving sparse non-negative matrix factorization | |
Zhu et al. | Flexible and discriminative non-linear embedding with feature selection for image classification | |
Nabipour et al. | Multimanifold analysis with adaptive neighborhood in DCT domain for face recognition using single sample per person | |
Marín-Jiménez et al. | RBM-based silhouette encoding for human action modelling | |
Cuzzolin | Learning pullback metrics for linear models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |