CN106971151B - 一种基于线性判别分析的开放视角动作识别方法 - Google Patents

一种基于线性判别分析的开放视角动作识别方法 Download PDF

Info

Publication number
CN106971151B
CN106971151B CN201710155061.9A CN201710155061A CN106971151B CN 106971151 B CN106971151 B CN 106971151B CN 201710155061 A CN201710155061 A CN 201710155061A CN 106971151 B CN106971151 B CN 106971151B
Authority
CN
China
Prior art keywords
motion
visual angle
sample
action
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710155061.9A
Other languages
English (en)
Other versions
CN106971151A (zh
Inventor
苏育挺
李阳
刘安安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710155061.9A priority Critical patent/CN106971151B/zh
Publication of CN106971151A publication Critical patent/CN106971151A/zh
Application granted granted Critical
Publication of CN106971151B publication Critical patent/CN106971151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于线性判别分析的开放视角动作识别方法，包括以下步骤：使用Kmeans算法利用组合后特征矩阵进行词典学习；将动作样本特征矩阵转化为动作样本特征向量；使用线性判别分析利用训练视角和辅助视角下的动作样本特征向量学习投射矩阵；结合投射矩阵、将训练视角和测试视角下的共t个动作样本表征向量投射到同一个空间，得到每个动作样本新的特征向量；使用线性支持向量机利用动作样本新的特征向量进行动作分类模型的学习，最后利用动作分类模型在测试视角下进行动作分类测试。本发明通过学习不同视角下动作样本的相关性，实现了将已知和未知视角下的动作样本表征信息投射相同的向量空间进行动作识别。

Description

一种基于线性判别分析的开放视角动作识别方法
技术领域
本发明涉及动作识别领域，尤其涉及一种基于线性判别分析的开放视角动作识别方法。
背景技术
很早之前人们就开始关注于人体动作识别的研究，在上个世纪七十年代，第一次对人类的运动识别进行了研究，心理学家对人类的运动感知进行了实验。通过将亮点标记在人的关节处，然后将其置于黑暗环境中，接着对在黑暗中的运动进行观察。实验结果表明，人的视觉系统对于运动中的光点序列，可以辨别出运动的形态，如走路、跑步等甚至可以判别出运动者的性别。这个实验说明对于人体的动作识别，并不需要提取出运动的全部信息，只需要部分信息就能表示出该运动。但是这部分信息也需要是运动的关键信息，才能表达出运动的类别。该实验为以后的人体动作识别的发展奠定了基础。
人体的动作识别，即人体的动作行为分析和描述是基于人体运动目标检测、分类和跟踪的基础之上。对人的动作分析和描述是指对人的动作进行识别和理解，最后用自然语言的方式加以描述的一个模式识别问题，人的动作识别的具体的方法是首先从视频序列中抽取相关的视觉信息，然后经过变换用合适的方法表示视觉信息，进而实现人体动作行为的识别和理解，这属于人体动作行为识别的高级处理环节。
基于视频的人体动作识别可以采用局部时空特征和全局特征来表示视频中的人体活动。对于局部时空特征，主要是将人体的运动区域进行了划分，然后对于不同的区域提取出一些感兴趣点。接着从时间和空间上提取感兴趣点的相关信息，利用相关信息就能表达出该动作。对于全局特征，它可以采用光流等特征来表示整幅图像在某一时刻的运动状态。最常用的方法就是计算视频中每一帧图片的光流信息。在背景静止的情况下可以通过计算光流来表示前景目标的运动类型，因为物体的运动会对场景中的光流场造成很大的影响，而通过对图像中光流场的检测和计算就能够很好的得到物体的运动区域。这些方法主要被应用于单一视角下的动作识别。
近年来开放视角的动作识别受到了许多研究人员的关注。因为在现实情况下很多时候需要在从未见过的视角下进行动作识别，所以对这个问题的研究将有利于动作识别方法被广泛的应用于实际生活之中，例如：城市的智能安全监控。
但不同于常规的动作识别，要从所有视角下收集动作样本来训练一个通用的动作识别模型是不现实的。因为在现实中存在许许多多的视角，同时在每个视角下也无法保证具有全部的动作类别的样本。这就需要利用有限视角下的动作样本去学习一个分类器，并将它应用于未知的视角下进行动作识别。
发明内容
本发明提供了一种基于线性判别分析的开放视角动作识别方法，本发明通过学习不同视角下动作样本的相关性，实现了将已知和未知视角下的动作样本表征信息投射相同的向量空间进行动作识别，详见下文描述：
一种基于线性判别分析的开放视角动作识别方法，所述动作识别方法包括以下步骤：
使用Kmeans算法利用组合后特征矩阵进行词典学习；将动作样本特征矩阵转化为动作样本特征向量；
使用线性判别分析利用训练视角和辅助视角下的动作样本特征向量学习投射矩阵；
结合投射矩阵、将训练视角和测试视角下的共t个动作样本表征向量投射到同一个空间，得到每个动作样本新的特征向量；
使用线性支持向量机利用动作样本新的特征向量进行动作分类模型的学习，最后利用动作分类模型在测试视角下进行动作分类测试。
所述动作识别方法还包括：
将视角划分为辅助视角动作样本、训练视角动作样本和测试视角动作样本；所述辅助视角动作样本用于学习不同视角之间的相关性；所述训练视角动作样本则用于动作分类模型的训练；所述测试视角动作样本用于动作识别测试；
对所有动作样本提取视频特征信息，得到动作样本特征矩阵。
所述动作识别方法还包括：
收集录制人体的动作信息，建立多视角的动作数据库。
所述对所有动作样本提取视频特征信息，得到动作样本特征矩阵的步骤具体为：
从每一个视频样本中提取出增强密轨迹特征，得到每一个动作样本的特征矩阵，所述特征矩阵包含了视频中人体运动的多个层次的信息，能从时间和空间上最大程度的保留动作样本的信息。
所述组合后特征矩阵具体为：随机抽取多个动作样本特征矩阵，并将多个动作样本特征矩阵按顺序组合得到组合后特征矩阵。
本发明提供的技术方案的有益效果是：
1、利用有限视角下的动作样本信息，无需依靠不同视角下大量的动作样本来训练分类模型，就能实现在未知的视角下进行动作识别；
2、将不同视角下的动作样本表征信息投射到相同的空间中实现了表征向量的降维，增加了动作分类模型学习的速度；
3、提出的线性判别分析的动作识别方法流程简单，易被应用于现实的动作监控识别系统之中。
附图说明
图1为一种基于线性判别分析的开放视角动作识别方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
针对背景技术中存在的问题，本发明实施例提出了一个基于线性判别分析的动作识别方法，通过学习已知不同视角下动作样本之间的相关性，来实现在未知视角下的进行动作识别的目的。
实施例1
一种基于线性判别分析的开放视角动作识别方法，参见图1，该动作识别方法包括以下步骤：
101：使用Kmeans算法利用组合后特征矩阵进行词典学习；将动作样本特征矩阵转化为动作样本特征向量；
102：使用线性判别分析利用训练视角和辅助视角下的动作样本特征向量学习投射矩阵；
103：结合投射矩阵、将训练视角和测试视角下的共t个动作样本表征向量投射到同一个空间，得到每个动作样本新的特征向量；
104：使用线性支持向量机利用动作样本新的特征向量进行动作分类模型的学习，最后利用动作分类模型在测试视角下进行动作分类测试。
其中，该动作识别方法还包括：
将视角划分为辅助视角动作样本、训练视角动作样本和测试视角动作样本；所述辅助视角动作样本用于学习不同视角之间的相关性；所述训练视角动作样本则用于动作分类模型的训练；所述测试视角动作样本用于动作识别测试；
对所有动作样本提取视频特征信息，得到动作样本特征矩阵。
其中，该动作识别方法还包括：
收集录制人体的动作信息，建立多视角的动作数据库。
其中，上述对所有动作样本提取视频特征信息，得到动作样本特征矩阵的步骤具体为：
从每一个视频样本中提取出增强密轨迹特征，得到每一个动作样本的特征矩阵，所述特征矩阵包含了视频中人体运动的多个层次的信息，能从时间和空间上最大程度的保留动作样本的信息。
其中，步骤101中的组合后特征矩阵具体为：
随机抽取多个动作样本特征矩阵，并将多个动作样本特征矩阵按顺序组合得到组合后特征矩阵。
综上所述，本发明实施例通过上述步骤101至步骤104学习不同视角下动作样本的相关性，实现了将已知和未知视角下的动作样本表征信息投射相同的向量空间进行动作识别。
实施例2
下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
201：收集录制人体的动作信息，建立多视角的动作数据库；
其中，为了保证不同视角下的动作样本没有直接相关性，每一个动作样本都在不同视角下单独录制，表1给出了建立的数据库的动作列表。
表1动作列表
Figure BDA0001245452140000041
Figure BDA0001245452140000051
具体实现时，本发明实施例对上述具体的动作不做限制，也可以为其他的动作，根据实际应用中的需要进行设定。
202：将视角划分为辅助视角动作样本、训练视角动作样本和测试视角动作样本；
其中，辅助视角动作样本用于学习不同视角之间的相关性；训练视角动作样本则用于动作分类模型的训练；测试视角动作样本用于动作识别测试。
203：对步骤201中录制的所有动作样本提取视频特征信息；
本发明实施例首先从每一个视频样本中提取出在动作识别中常用的增强密轨迹特征[1]，得到每一个视频样本的特征矩阵H＝[h1,h2,...hk]∈Rj×k。
其中，j为特征点维数，在本发明实施例中j＝294；k为相应动作样本中提取的特征点个数；h1,h2,...hk为特征点的特征向量；R为有理数。此特征矩阵包含了视频中人体运动的多个层次的信息，能从时间和空间上最大程度的保留动作样本的信息。
其中，上述提取增强密轨迹特征的操作为本领域技术人员所公知，本发明实施例对此不做赘述；本发明实施例对特征点维数j的取值不做限制，本发明实施例仅以294为例进行说明。
204：从步骤203中随机抽取多个动作样本特征矩阵，并将多个动作样本特征矩阵按顺序组合得到组合后特征矩阵，使用Kmeans算法利用组合后特征矩阵进行词典学习；将动作样本特征矩阵转化为动作样本特征向量；
该步骤具体为：从步骤203中随机抽取2000个动作样本特征矩阵H1,H2,…,H2000，并将2000个动作样本特征矩阵按顺序组合得到组合后特征矩阵L＝[h1,h2,...hc]∈Rj×c，其中j为特征点维数，c为特征点总个数，h1,h2,...hc为特征点的特征向量。接着使用Kmeans算法利用组合后特征矩阵L＝[h1,h2,...hc]∈Rj×c进行词典学习。
具体实现时，本发明实施例对抽取样本的个数不做限制，本发明实施例仅以2000为例进行说明。
其中，Kmeans算法是一种无监督的词典学习算法。这个算法的最终目标，是让最后定位的中心点到其类别中的所有特征点具有最短的欧几里德距离。这样中心点就在同一类特征的中心位置。
本发明实施例设定聚类中心点个数为1024。对于组合后特征矩阵L＝[h1,h2,...hc]∈Rj×c，需要通过最小化式(1)来得到每一类的中心点di，每一个中心点di称为一个词，这些中心点的集合D＝{d1,d2,…,d1024}称为词典。
Figure BDA0001245452140000061
其中，d1,d2,…,d1024为各个中心点；hj为特征点的特征向量；
Figure BDA0001245452140000062
为中心点到特征点的欧几里得距离的总和。
利用步骤203得到的所有共m个动作样本特征矩阵H1,H2,…,Hm、中心点的集合D＝{d1,d2,…,d1024}，通过矢量量化将动作样本特征矩阵H1,H2,…,Hm转化为动作样本特征向量z1,z2,…,zm。
其中，上述矢量量化的步骤为本领域技术人员所公知，本发明实施例对此不做赘述。
205：使用线性判别分析利用训练视角和辅助视角下的动作样本特征向量学习投射矩阵A；
通过投射矩阵A将不同视角下的动作样本特征向量投射到相同的空间。在这个特征空间之中，不同类别的特征数据之间的距离尽可能的大，而同时限制相同类别的特征数据之间的距离尽可能的小。其投射矩阵的求解方式一般是通过最大化不同类别间的协方差、同时最小化相同类别间的协方差得到。对于样本的集合，它包含了n种动作类别。那么学习投射矩阵的目标函数就能表示为：
Figure BDA0001245452140000063
Figure BDA0001245452140000064
Figure BDA0001245452140000065
其中，a*为最佳投影向量，a是转换向量，μ是总体样本的平均向量，gk是第k类别中样本的数量，而μk则是k类样本的平均向量，
Figure BDA0001245452140000066
是k类中的第i个样本。Sw是类内散步矩阵，Sb是类间散步矩阵。总散步矩阵St定义为式(5)：
Figure BDA0001245452140000067
则线性判别分析的目标函数可以改写为式(6)所示:
Figure BDA0001245452140000068
当需要的投射矩阵为A＝[a1,…,al]时，式(6)可以改写为：
Figure BDA0001245452140000071
其中，tr()表示矩阵的迹，A*为最佳投射矩阵。
式(7)的最优化问题就等价于为式(8)找到相应的特征向量au(u＝1,2,…,l)使其取得最大的特征值。
Sb＝λStau (8)
其中，λ为拉格朗日乘子。
206：通过步骤205中的式(8)即可得到投射矩阵A＝[a1,…,al]，根据式(9)将训练视角和测试视角下的共t个动作样本表征向量z1,z2,…,zt投射到同一个空间，得到每个动作样本新的特征向量x1,x2,…,xt；
X＝AZ (9)
其中，X＝[x1,x2,…,xt]，Z＝[z1,z2,…,zt]，在线性判别分析学习特征空间投射矩阵时，它只考虑了样本的类别信息，并不考虑样本所属的视角信息。因此线性判别分析可以利用有限几个已知视角下的动作样本通过学习得到的投射矩阵，将不同视角下的动作样本投射到相同的空间，提取出与视角无关的样本内在特征。
207：使用线性支持向量机利用步骤206得到的训练视角下ttrain个动作样本新的特征向量
Figure BDA0001245452140000072
进行分类模型的学习，最后利用动作分类模型在测试视角下进行动作分类测试。
线性支持向量机是一种有监督的分类器模型的学习方法。在这种分类方法中，原始的特征点
Figure BDA0001245452140000073
被投射到一个新的特征空间。这个特征空间尽可能的将不同的样本的特征点分开。对于总共n类动作，需要学习n个分类函数。对于第i类动作，分类函数如式(10)所示。
Fi(x)＝wi Tx+b (10)
式子中wi是需要学习的超平面，x是动作样本的表征向量，b是偏置向量。通过训练，对于给定的样本表征向量x，当x属于第i类时应该满足Fi(x)＞0，不属于时则Fi(x)＜0。当给定一个测试样本的表征向量xtest时，将其带入n个分类函数并利用决策函数
Figure BDA0001245452140000074
将其判断为相应的第i类。
综上所述，本发明实施例通过上述步骤201至步骤207学习不同视角下动作样本的相关性，实现了将已知和未知视角下的动作样本表征信息投射相同的向量空间进行动作识别。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
具体实施方式中的参考文献如下：
[1]Wang H,Schmid C.Action recognition with improved trajectories[C].IEEE International Conference on Computer Vision,2013:3551-3558.

Claims (2)

1.一种基于线性判别分析的开放视角动作识别方法，其特征在于，所述动作识别方法包括以下步骤：
使用Kmeans算法利用组合后特征矩阵进行词典学习；将动作样本特征矩阵转化为动作样本特征向量；
使用线性判别分析利用训练视角和辅助视角下的动作样本特征向量学习投射矩阵；
结合投射矩阵、将训练视角和测试视角下的共t个动作样本特征向量投射到同一个空间，得到每个动作样本新的特征向量；
使用线性支持向量机利用动作样本新的特征向量进行动作分类模型的学习，最后利用动作分类模型在测试视角下进行动作分类测试；
其中，所述动作识别方法还包括：
将视角划分为辅助视角动作样本、训练视角动作样本和测试视角动作样本；所述辅助视角动作样本用于学习不同视角之间的相关性；所述训练视角动作样本则用于动作分类模型的训练；所述测试视角动作样本用于动作识别测试；
从每一个视频样本中提取出增强密轨迹特征，得到每一个动作样本的特征矩阵，所述特征矩阵包含了视频中人体运动的多个层次的信息，能从时间和空间上最大程度的保留动作样本的信息；
随机抽取多个动作样本特征矩阵，并将多个动作样本特征矩阵按顺序组合得到组合后特征矩阵。
2.根据权利要求1所述的一种基于线性判别分析的开放视角动作识别方法，其特征在于，所述动作识别方法还包括：
收集录制人体的动作信息，建立多视角的动作数据库。
CN201710155061.9A 2017-03-14 2017-03-14 一种基于线性判别分析的开放视角动作识别方法 Active CN106971151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710155061.9A CN106971151B (zh) 2017-03-14 2017-03-14 一种基于线性判别分析的开放视角动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710155061.9A CN106971151B (zh) 2017-03-14 2017-03-14 一种基于线性判别分析的开放视角动作识别方法

Publications (2)

Publication Number Publication Date
CN106971151A CN106971151A (zh) 2017-07-21
CN106971151B true CN106971151B (zh) 2020-04-28

Family

ID=59330038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710155061.9A Active CN106971151B (zh) 2017-03-14 2017-03-14 一种基于线性判别分析的开放视角动作识别方法

Country Status (1)

Country Link
CN (1) CN106971151B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508686B (zh) * 2018-11-26 2022-06-28 南京邮电大学 一种基于层次化特征子空间学习的人体行为识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425139A (zh) * 2008-11-05 2009-05-06 西安理工大学 一种视角无关的动作识别方法
CN103226713A (zh) * 2013-05-16 2013-07-31 中国科学院自动化研究所 一种多视角行为识别方法
CN103500340A (zh) * 2013-09-13 2014-01-08 南京邮电大学 基于主题知识迁移的人体行为识别方法
CN103605986A (zh) * 2013-11-27 2014-02-26 天津大学 一种基于局部特征的人体动作识别方法
CN104268586A (zh) * 2014-10-17 2015-01-07 北京邮电大学 一种多视角动作识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425139A (zh) * 2008-11-05 2009-05-06 西安理工大学 一种视角无关的动作识别方法
CN103226713A (zh) * 2013-05-16 2013-07-31 中国科学院自动化研究所 一种多视角行为识别方法
CN103500340A (zh) * 2013-09-13 2014-01-08 南京邮电大学 基于主题知识迁移的人体行为识别方法
CN103605986A (zh) * 2013-11-27 2014-02-26 天津大学 一种基于局部特征的人体动作识别方法
CN104268586A (zh) * 2014-10-17 2015-01-07 北京邮电大学 一种多视角动作识别方法

Also Published As

Publication number Publication date
CN106971151A (zh) 2017-07-21

Similar Documents

Publication Publication Date Title
Laptev et al. Retrieving actions in movies
Perveen et al. Spontaneous expression recognition using universal attribute model
Gall et al. Hough forests for object detection, tracking, and action recognition
Johnson et al. Clustered pose and nonlinear appearance models for human pose estimation.
Wolf et al. Face recognition in unconstrained videos with matched background similarity
Devanne et al. Motion segment decomposition of RGB-D sequences for human behavior understanding
Lim et al. A feature covariance matrix with serial particle filter for isolated sign language recognition
Wu et al. A detection system for human abnormal behavior
Ming et al. Activity recognition from RGB-D camera with 3D local spatio-temporal features
More et al. Hand gesture recognition system using image processing
Amiri et al. Non-intrusive human activity monitoring in a smart home environment
Afsar et al. Automatic human action recognition from video using hidden markov model
Symeonidis et al. Neural attention-driven non-maximum suppression for person detection
Liang et al. Specificity and latent correlation learning for action recognition using synthetic multi-view data from depth maps
Wang et al. Action recognition using linear dynamic systems
CN106971151B (zh) 一种基于线性判别分析的开放视角动作识别方法
Liu et al. Lip event detection using oriented histograms of regional optical flow and low rank affinity pursuit
Ángeles Mendoza et al. HMM-based action recognition using contour histograms
Zhang et al. Recognizing human action and identity based on affine-SIFT
Khokher et al. Crowd behavior recognition using dense trajectories
Abdulmunem et al. 3D GLOH features for human action recognition
Xi et al. Beyond context: Exploring semantic similarity for tiny face detection
Xu et al. A novel mid-level distinctive feature learning for action recognition via diffusion map
Choudhary et al. Unusual activity analysis using video epitomes and pLSA
Boyraz12 et al. Action recognition by weakly-supervised discriminative region localization

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant