CN106528586A - 一种人体行为视频识别方法 - Google Patents

一种人体行为视频识别方法 Download PDF

Info

Publication number
CN106528586A
CN106528586A CN201610318272.5A CN201610318272A CN106528586A CN 106528586 A CN106528586 A CN 106528586A CN 201610318272 A CN201610318272 A CN 201610318272A CN 106528586 A CN106528586 A CN 106528586A
Authority
CN
China
Prior art keywords
node
human body
point
artis
key frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610318272.5A
Other languages
English (en)
Inventor
孙书鑫
王永雄
李凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201610318272.5A priority Critical patent/CN106528586A/zh
Publication of CN106528586A publication Critical patent/CN106528586A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于模式识别领域，涉及一种人体行为视频识别方法，目的在于使提取的关键帧更加具有代表性、大大提高视频识别的速度和精度。本发明方法包括人体视频关键帧提取，通过添加自适应加权因子改进近邻仿射聚类得到自适应加权的近邻仿射聚类算法，人体视频关键帧提取包括如下步骤：（1）通过能量特征进行人体行为表示；（2）采用SWAP聚类得到关键帧。本发明将SWAP聚类算法应用到人体行为视频的关键帧提取，解决了不同人体生理结构差异化问题，很好地体现了不同人体生理结构对人体行为的不同参与作用，能够快速可靠地提取关键帧，对人体行为快速识别及视频快速浏览等大有裨益。

Description

一种人体行为视频识别方法
技术领域
本发明属于模式识别领域，涉及一种人体行为视频识别方法，可以应用到图像检索、手势识别、行为识别等模式识别领域。
背景技术
人体行为识别研究具有重要的理论研究价值，其涉及计算机视觉、传感器技术、模式识别和人工智能等多个学科。传统的行为识别对于人体行为的识别全都是对全部的视频帧信息进行识别，这样人体行为包含的信息多，需要处理的信息量大，人体行为识别的任务重，识别时间长。除此之外，对于硬件的要求也较苛刻。Schindler and Gool发现包含有很少帧数(1-10帧)的视频帧片段所含有的信息量和整个视频序列所包含的信息量相差无几。因此，从大量的视频帧中提取具有少量的代表性的图片(及关键帧)不仅具有实际需求而且具有充足的理论依据。
B J Frey Dueck 2007年发表的“Clustering by Passing Messages BetweenData Points”首次提出的一种新的聚类算法——AP聚类。该算法无需事先定义类数，在迭代过程中不断搜索合适的聚类中心，自动从数据中获得类中心(exemplars)及个数，使所有的数据点到最近的类代表点的相似度之和最大。避免了聚类结果受限于初始类代表点的选择，同时对于相似度矩阵的对称性没有要求，并在处理多类数据时运算速度快。
然而，该算法并没有考虑到对于数据点每一维度对相似度产生的影响，即每一维度对聚类结果产生的作用差异。例如与数据点计算相似度时，利用简单的欧氏距离进行相似度计算时效果不好，聚类结果不能体现数据维度之间(如)的差异。因此我们需要考虑数据维度之间的差异。
发明内容
本发明的目的在于提供一种新的人体行为视频识别方法，通过添加自适应权值计算因子提出了自适应加权近邻仿射聚类算法(SWAP)，并用于提取人体行为视频关键帧。为此，本发明采用了以下技术方案：
一种人体行为视频识别方法，包括人体视频关键帧提取，通过添加自适应加权因子改进近邻仿射聚类得到自适应加权的近邻仿射聚类算法，所述人体视频关键帧提取包括如下步骤：
(1)通过能量特征进行人体行为表示；
(2)采用SWAP聚类得到关键帧。
进一步地，通过发现欧氏距离计算存在数据不同维度无法差异对待的缺陷，提出所述自适应加权因子，使得数据点进行距离计算时可以自适应调节每一维度对距离计算的作用。对于数据点与SWAP中自适应加权因子ωk的计算公式如下：
进一步地，所述人体行为表示采用3D摄像头获取人体骨架20个关节点的空间三维坐标Ji，t(xi，t，yi，t，zi，t),Ji，t是t时刻第i个关节点的三维坐标；然后将关节点划分到四肢和躯干五个部分；最后，分别计算这五部分的动能特征和势能特征，获取每帧图像的十维人体行为能量特征。
进一步地,所述的人体骨架20个关节点具体为：J1.头节点，J2.肩中心节点，J3.脊节点，J4.髋中心节点,J5.右手节点，J6.右腕节点，J7.右肘节点，J8.右肩节点，J9.左手节点，J10.左腕节点，J11.左肘节点，J12.左肩节点，J13.右脚节点，J14.右踝节点，J15.右膝节点，J16.右髋节点,J17.左脚节点，J18.左踝节点，J19.左膝节点，J20.左髋节点。
进一步地，所述的将人体关节点划分为五个部分具体为：
：躯干，包括头节点、肩中心节点、脊节点、髋中心节点；
F2：右上肢，包括右手节点、右腕节点、右肘节点、右肩节点；
F3：左上肢，包括左手节点、左腕节点、左肘节点、左肩节点；
F4：右下肢，包括右脚节点、右踝节点、右膝节点、右髋节点；
F5：左下肢，包括左脚节点、左踝节点、左膝节点、左髋节点。
进一步地，所述的动能特征和势能特征具体为：将在t时刻人体5个生理结构划分表示为 表示t时刻的第i1骨骼节点坐标，n取不同值代表人体的5部分，每一身体部分(Fn，t)的动能计算式如下：
其中，是关节点集合，eK，t是集Fn，t中所有关节点在t时刻的动能之和，vj，t是j关节点在t时刻的速度，Pj，t(xj，t，yj，t，zj，t)是关节点j在t时刻的位置，Pj，t-1(xj，t-1，yj，t-1，zj，t-1)是j关节点在t-1时刻的位置，K＝[Kx，Ky，Kz]是参数向量；人工设定，采用向量[1,1,1]，通过动能计算公式得到每一人体部分的动能eK1，eK2，eK3，eK4，eK5，它们依次代表躯干、右上肢、左上肢、右下肢、左下肢的动能；
每一身体部分(Fn，t)的势能计算式如下：
其中，eP，t是关节点集合中所有关节点在t时刻势能总和，Pj，0(xj，0，yj，0，zj，0)代表第j个关节点的初始位置，Pj，t(xj，t，yj，t，zj，t)是i关节点在t时刻的位置，L＝[l1，l2，l3]是参数向量，采用向量[1,1,1]；通过势能计算公式我们得到每一人体部分的势能eP1，eP2，eP3，eP4，eP5，它们依次代表躯干、右上肢、左上肢、右下肢、左下肢的势能。
进一步地，所述的十维人体行为能量特征多能量特征表达式为：
Gn(EK，EP)＝Gn(EK1，EK2，EK3，EK4，EK5，EP1，EP2，EP3，EP4，EP5)
其中动能EK(EK1，EK2，EK3，EK4，EK5)和势能EP(EP1，EP2，EP3，EP4，EP5)分别是动能eK(eK1，eK2，eK3，eK4，eK5)和势能eP(eP1，eP2，eP3，eP4，eP5)各自归一化后的动能势能表达,动能势能归一化公式表示为NewValue＝(OldValue-MinValue)/(MaxValue-MinValue),其中NewValue,MinValue分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值。MaxValue、MinValue分别为样本的最大值和最小值。
进一步地，所述采用SWAP聚类得到关键帧是将每一个十维能量特征作为SWAP聚类的输入，以此计算相似度矩阵S来启动算法，通过信息迭代公式得到每一次迭代计算后的可信度R和可信值A，迭代计算即进行数据点之间可信度R和可信值A的消息传递；不满足聚类结果不变或一定次数不变的停止条件则继续利用迭代公式进行下一次迭代计算，当满足停止条件时，输出聚类中心及其数目；相似度矩阵S，适选矩阵R和代表矩阵A都是N×N矩阵，聚类中心对应的图像即是关键帧图像，SWAP聚类通过参考值p来调节输出聚类中心的数量，p值由实验得出,一般取为相似度矩阵中值的整倍数；
所述相似度矩阵，具体为，对任意数据点与 表示第i个数据点的第k维数据,其相似度矩阵计算公式如下：
所述可信度R和可信值A，具体为，
所述聚类中心判断条件，具体为，数据点k是否为聚类中心判断公式如下：
R(j，j)+A(j，j)＞0(j＝1，...,N)
所述信息迭代公式R(i，j)，A(i，j)迭代公式,具体为：
R(i，j)＝(1-λ)*R(i，j)+λ*R(i-1，j)
A(i，j)＝(1-λ)*A(i，j)+λ*A(i-1，j)
所述算法终止条件，具体为：若每次迭代的聚类结果连续迭代I次不变或算法迭代公式达到了最大迭代次数maxI则算法停止，其中算法最大迭代次数maxI是人为设定的。
由于采用了上述技术方案，与现有技术相比，本发明具有以下优点：
自适应权值计算因子利用了数据每一维之间的信息自动调整数据不同维度之间的权值，SWAP聚类算法体现了每个数据点中每维数据元之间的差异，使得聚类结果更加具有代表性。将自适应加权的近邻仿射聚类算法应用到关键帧提取中，可以充分体现不同人体部分对人体动作参与的差异性，因此可以提取的关键帧更加具有代表性，大大提高了视频识别的速度和精度。
附图说明：
图1为SWAP算法流程图；
图2为kinect人体骨架图；
图3示出了喝水动作一个周期内的关键帧。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明是通过添加自适应权值计算因子ωk来实现自适应加权的近邻仿射聚类算法。结合图1所示，本发明包括如下步骤：
1：计算相似度矩阵。N个数据点聚类时，任意两点与通过添加自适应加权因子ωk，计算相似度矩阵SN×N(Sij＝S(i，j))
2:初始化参数。适选矩阵即A(i，j)＝0(i，j＝1，2，...，N),N代表N个数据点，代表矩阵R(i，j)＝0(i，j＝1，２，...，N)，适选矩阵R和代表矩阵A都是N×N矩阵。阻尼参数λ(0.5～1)，阻尼参数起到迭代收敛作用，当λ较小时，迭代前后R和A变化较大，迭代次数较少就可以输出稳定的聚类结果，当λ较大时，迭代前后R和A变化较小，迭代次数较多。参考值P(i)＝2×median(S),结果连续迭代次数I，结果连续迭代次数人为设定，一般选取50及以上，算法最大迭代次数maxI，算法最大迭代次数人为设定，一般选取100及以上。
3:计算适选矩阵A,代表矩阵R
R(i，j)＝S(i，j)-maxk，s，t，k≠j{R(i，k)+S(i，k)} (2.3)
4：更新R(i，j)，A(i，j)，i，j＝1，2，...，N i≠j，
R(i，j)＝(1-λ)*R(i，j)+λ*R(i-1，j) (2.5)
A(i，j)＝(1-λ)*A(i，j)+λ*A(i-1，j) (2.6)
5：判断每个数据点k，k＝1，2，...，N是否是聚类中心，式(2.7)满足时认为是一个聚类中心。
R(k，k)+A(k，k)＞0 k＝1，2，...，N (2.7)
6：算法结束判断：若每次迭代的聚类结果(即聚类中心)连续迭代I次不变或算法达到了最大迭代次数maxI(即算法中迭代公式迭代次数达到maxI)，跳到步骤7，反之到步骤3。
7：记录聚类中心和聚类数目。
SWAP聚类算法应用在人体行为视频关键帧提取上是通过以下技术方案实现的，包括如下步骤：
首先，采用Kinect摄像头获取人体20个骨架关节点位置信息，将人体关节点划分表示到四肢和躯干五个部分；
然后，分别计算四肢和躯干五部分的动能特征和势能特征，将每部分的动能特征和势能特征表示成十维的人体行为能量特征，每个特征代表一帧图像。
最后，将每一能量特征对应为十维高维空间中的数据点，对应后的数据点作为SWAP聚类的输入，通过SWAP聚类方法得到聚类中心，聚类中心即是关键帧图像。
所述的将人体关节点划分为5部分具体为：
F1：躯干(头节点，肩中心节点，脊节点，髋中心节点)
F2：右上肢(右手节点，右腕节点，右肘节点，右肩节点)
F3：左上肢(左手节点，左腕节点，左肘节点，左肩节点)
F4：右下肢(右脚节点，右踝节点，右膝节点，右髋节点)
F5：左下肢(左脚节点，左踝节点，左膝节点，左髋节点)，具体划分参见图2，其中：
J1：头节点J2：肩中心节点J3：脊节点J4：髋中心节点
J5：右手节点J6：右腕节点J7：右肘节点J8：右肩节点
J9：左手节点J10：左腕节点J11：左肘节点J12：左肩节点
J13：右脚节点J14：右踝节点J15：右膝节点J16：右髋节点
J17：左脚节点J18：左踝节点J19：左膝节点J20左髋节点
人体结构划分(以t时刻为例，划分与时间无关)：
F1，t:躯干(J1，J2，J3，J4)F2，t:右上肢(J5，J6，J7，J8)
F3，t:左上肢(J9，J10，J11，J12)F4，t:右下肢(J13，J14，J15，J16)
F5，t:左下肢(J17，J18，J19，J20)
所述的计算人体五部分的动能特征和势能特征，将每部分动能特征和势能特征表示成十维人体行为能量特征，每个特征代表一帧图像，具体为：将在t时刻人体5个生理结构划分表示为 表示t时刻的第i1骨骼节点坐标，n取不同值代表人体的5部分，如躯干F1，t(J1，t，J2，t，J3，t，J4，t)，，右上肢部分F2，t(J5，t，J6，t，J7，t，J8，t)，,见图2。
每一身体部分(Fn，t)的动能计算式如下：
其中，是关节点集合，eK，t是集Fn，t中所有关节点在t时刻的动能之和，vj，t是j关节点在t时刻的速度，Pj，t(xj，t，yj，t，zj，t)是关节点j在t时刻的位置，Pj，t-1(xj，t-1，yj，t-1，zj，t-1)是j关节点在t-1时刻的位置，K＝[Kx，Ky，Kz]是参数向量；人工设定，采用向量[1,1,1]，通过动能计算公式得到每一人体部分的动能eK1，eK2，eK3，eK4，eK5，它们依次代表躯干、右上肢、左上肢、右下肢、左下肢的动能；
每一身体部分(Fn，t)的势能计算式如下：
其中，eP，t是关节点集合中所有关节点在t时刻势能总和，Pj，0(xj，0，yj，0，zj，0)代表第j个关节点的初始位置，Pj，t(xj，t，yj，t，zj，t)是i关节点在t时刻的位置，L＝[l1，l2，l3]是参数向量，采用向量[1,1,1]；通过势能计算公式我们得到每一人体部分的势能eP1，eP2，eP3，eP4，eP5，它们依次代表躯干、右上肢、左上肢、右下肢、左下肢的势能。
其中，十维的人体行为能量特征，具体为，能量特征表达式：
Gn(FK，EP)
＝Gn(EK1，EK2，EK3，EK4,EK5,EP1,EP2,EP3,EP4,EP5) (2.10)
其中动能EK(EK1，EK2，EK3，EK4，EK5)和势能EP(EP1，EP2，EP3，EP4，EP5)分别是动能eK(eK1，eK2，eK3，eK4，eK5)和势能eP(eP1，eP2，eP3，eP4，eP5)各自归一化后的动能势能表达,动能势能归一化公式表示为NewValue＝(OldValue-MinValue)/(MaxValue-MinValue),其中NewValue,MinValue分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值。MaxValue、MinValue分别为样本的最大值和最小值。
所述的将每一能量特征对应到十维高维空间中的数据点，对应后的数据点作为SWAP聚类的输入，通过SWAP聚类方法得到聚类中心，聚类中心即是关键帧图像。
下面利用康奈尔人体行为数据库CAD-60中人体行为动作对本发明的实施例做详细说明。实施例1通过CAD-60的喝水动作对SWAP聚类算法及其在关键帧提取上的应用进行说明。实施例2通过CAD-60中的六个动作对本发明可以提供人体行为识别速度的作用进行说明。CAD-60是通过3D摄像头采集获取的人体行为动作数据库。该数据库包含12个日常人体行为动作和相应动作的人体骨架关节点信息。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1通过人体骨架关节点信息将人体关节点划分为五个部分；然后分别获取每帧图像的人体行为能量特征。最后，通过SWAP对人体行为动作图像序列进行聚类得到聚类中心，聚类中心即是图像的关键帧。
本实施例包括如下步骤：
将人体20个骨架关节点划分到人体五个部分：
F1，t:躯干(J1，J2，J3，J4) F2，t:右上肢(J5，J6，J7，J8)
F3，t:左上肢(J9，J10，J11，J12) F4，t:右下肢(J13，J14，J15，J16)
F5，t:左下肢(J17，J18，J19，J20)，具体划分参见图2。
2.分别计算五部分的动能和势能，通过获取10维的人体行为能量特征，每个特征代表一帧图像。动能eK,t、势能eP,t计算公式如下：
根据动能、势能获得10维的人体行为特征表示
Gn(FK1，EK2，EK3，EK4，EK5，EP1，EP2，EP3，EP4，EP5)
得到该动作所有图片对应的10维特征如下：
3.将每一能量特征作为10维高维空间中的数据点，将数据点作为SWAP聚类的输入，获取相似度矩阵SN×N，启动SWAP聚类算法。设置初始化参数λ＝0.5，聚类结果不变迭代次数I＝50，最大迭代次数maxI＝2000，该喝水动作包含1583帧图片，即对应SWAP聚类输入1583个数据点，因此相似度矩阵为1583×1583矩阵。根据以下公式得到相似度矩阵SN×N。
得到相似度矩阵SN×N如下：
4.启动SWAP聚类算法，最后输出聚类中心与聚类数目。
实施例2如表1、图3所示，为实施例的关键帧提取结果。表1对喝水动作提取的关键帧数进行了说明。由表1看出，该实施例对含有1583帧图像的喝水动作提取出37张关键帧。图3是关键帧提取结果，因该喝水动作是循环动作，包含多次喝水动作，故图3展示了喝水动作一个周期的关键帧提取结果，该周期内含有9张关键帧。
表1 人体行为库CAD-60说明
本实施例通过CAD-60中六个动作(切菜,喝水,漱口,站立,打电话,黑板上写字)对本发明可以提高人体行为识别速度进行说明。通过实施例步骤可以对六个动作提取关键帧，表2列出了六个动作包含的原始动作帧数和关键帧提取后的关键帧数。
表2 6个动作原始帧数和关键帧数
动作 动作原始帧数 关键帧数
切菜 1561 37
喝水 1583 37
漱口 1742 31
站立 1025 48
打电话 1522 49
黑板上写字 1789 76
本实施例通过SVM对六个动作原始帧和关键帧分别进行人体行为识别，通过表3的识别结果可以看出，通过关键帧进行人体行为识别，虽然在关键帧上进行人体行为识别需要额外的人体行为关键帧提取时间，但总的人体行为识别时间为119.30+33.81s＝153.11s,这比在原始视频所有视频帧上进行人体行为识别的时间554.40s大大减少。因此在关键帧上进行人体行为识别，识别精度基本不变但是识别时间大大缩短。
表3 基于原始视频帧与关键帧上的人体行为识别对比

Claims (8)

1.一种人体行为视频识别方法，包括人体视频关键帧提取，其特征在于，通过添加自适应加权因子改进近邻仿射聚类得到自适应加权的近邻仿射聚类算法，所述人体视频关键帧提取包括如下步骤：
(1)通过能量特征进行人体行为表示；
(2)采用SWAP聚类得到关键帧。
2.如权利要求1所述的人体行为视频识别方法，其特征在于，通过发现欧氏距离计算存在数据不同维度无法差异对待的缺陷，提出所述自适应加权因子，使得数据点进行距离计算时可以自适应调节每一维度对距离计算的作用。对于数据点与SWAP中自适应加权因子ωk的计算公式如下：
。
3.如权利要求1或2所述的人体行为视频识别方法，其特征在于,所述人体行为表示采用3D摄像头获取人体骨架20个关节点的空间三维坐标Ji，t(xi，t，yi，t，zi，t),Ji，t是t时刻第i个关节点的三维坐标；然后将关节点划分到四肢和躯干五个部分；最后，分别计算这五部分的动能特征和势能特征，获取每帧图像的十维人体行为能量特征。
4.如权利要求3所述的人体行为视频识别方法，其特征在于,所述人体骨架20个关节点具体为：J1.头节点，J2.肩中心节点，J3.脊节点，J4.髋中心节点,J5.右手节点，J6.右腕节点，J7.右肘节点，J8.右肩节点，J9.左手节点，J10.左腕节点，J11.左肘节点，J12.左肩节点，J13.右脚节点，J14.右踝节点，J15.右膝节点，J16.右髋节点,J17.左脚节点，J18.左踝节点，J19.左膝节点，J20.左髋节点。
5.如权利要求3所述的人体行为视频识别方法，其特征在于，所述的将人体关节点划分为五个部分具体为：
：躯干，包括头节点、肩中心节点、脊节点、髋中心节点；
F2：右上肢，包括右手节点、右腕节点、右肘节点、右肩节点；
F3：左上肢，包括左手节点、左腕节点、左肘节点、左肩节点；
F4：右下肢，包括右脚节点、右踝节点、右膝节点、右髋节点；
F5：左下肢，包括左脚节点、左踝节点、左膝节点、左髋节点。
6.如权利要求3所述的人体行为视频识别方法，其特征在于，所述的动能特征和势能特征具体为：将在t时刻人体5个生理结构划分表示为表示t时刻的第i1骨骼节点坐标，n取不同值代表人体的5部分，每一身体部分()的动能计算式如下：
其中，是关节点集合，eK，t是集Fn，t中所有关节点在t时刻的动能之和，vj，t是j关节点在t时刻的速度，Pj，t(xj，t，yj，t，zj，t)是关节点j在t时刻的位置，Pj，t-1(xj，t-1，yj，t-1，zj，t-1)是j关节点在t-1时刻的位置，K＝[Kx，Ky，Kz]是参数向量；人工设定，采用向量[1,1,1]，通过动能计算公式得到每一人体部分的动能eK1，eK2，eK3，eK4，eK5，它们依次代表躯干、右上肢、左上肢、右下肢、左下肢的动能；
每一身体部分(Fn，t)的势能计算式如下：
其中，eP，t是关节点集合中所有关节点在t时刻势能总和，Pj，0(xj，0，yj，0，zj，0)代表第j个关节点的初始位置，Pj，t(xj，t，yj，t，zj，t)是i关节点在t时刻的位置，L＝[l1，l2，l3]是参数向量，采用向量[1,1,1]；通过势能计算公式我们得到每一人体部分的势能eP1，eP2，eP3，eP4，eP5，它们依次代表躯干、右上肢、左上肢、右下肢、左下肢的势能。
7.如权利要求3所述的人体行为视频识别方法，其特征在于，所述的十维人体行为能量特征多能量特征表达式为：
Gn(EK，EP)＝Gn(EK1，EK2，EK3，EK4，EK5，EP1，EP2，EP3，EP4，EP5)
其中动能EK(EK1，EK2，EK3，EK4，EK5)和势能EP(EP1，EP2，EP3，EP4，EP5)分别是动能eK(eK1，eK2，eK3，eK4，eK5)和势能eP(eP1，eP2，eP3，eP4，eP5)各自归一化后的动能势能表达,动能势能归一化公式表示为NewValue＝(OldValue-MinValue)/(MaxValue-MinValue),其中NewValue,MinValue分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值。MaxValue、MinValue分别为样本的最大值和最小值。
8.如权利要求1或2所述的人体行为视频识别方法，其特征在于，所述采用SWAP聚类得到关键帧是将每一个十维能量特征作为SWAP聚类的输入，以此计算相似度矩阵s来启动算法，通过信息迭代公式得到每一次迭代计算后的可信度R和可信值A，迭代计算即进行数据点之间可信度R和可信值A的消息传递；不满足聚类结果不变或一定次数不变的停止条件则继续利用迭代公式进行下一次迭代计算，当满足停止条件时，输出聚类中心及其数目；相似度矩阵s，适选矩阵R和代表矩阵A都是N×N矩阵，聚类中心对应的图像即是关键帧图像，SWAP聚类通过参考值p来调节输出聚类中心的数量，p值由实验得出,一般取为相似度矩阵中值的整倍数；
所述相似度矩阵，具体为，对任意数据点与表示第i个数据点的第k维数据,其相似度矩阵计算公式如下：
所述可信度R和可信值A，具体为，
所述聚类中心判断条件，具体为，数据点k是否为聚类中心判断公式如下：
R(j，j)+A(j，j)＞0(j＝1，...，N)
所述信息迭代公式R(i，j)，A(i，j)迭代公式,具体为：
R(i，j)＝(1-λ)*R(i，j)+λ*R(i-1，j)
A(i，j)＝(1-λ)*A(i，j)+λ*A(i-1，j)
所述算法终止条件，具体为：若每次迭代的聚类结果连续迭代I次不变或算法迭代公式达到了最大迭代次数maxI则算法停止，其中算法最大迭代次数maxI是人为设定的。
CN201610318272.5A 2016-05-13 2016-05-13 一种人体行为视频识别方法 Pending CN106528586A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610318272.5A CN106528586A (zh) 2016-05-13 2016-05-13 一种人体行为视频识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610318272.5A CN106528586A (zh) 2016-05-13 2016-05-13 一种人体行为视频识别方法

Publications (1)

Publication Number Publication Date
CN106528586A true CN106528586A (zh) 2017-03-22

Family

ID=58358142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610318272.5A Pending CN106528586A (zh) 2016-05-13 2016-05-13 一种人体行为视频识别方法

Country Status (1)

Country Link
CN (1) CN106528586A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169411A (zh) * 2017-04-07 2017-09-15 南京邮电大学 一种基于关键帧和边界约束dtw的实时动态手势识别方法
CN107194344A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 自适应骨骼中心的人体行为识别方法
CN108392207A (zh) * 2018-02-09 2018-08-14 西北大学 一种基于姿态标签的动作识别方法
CN108520250A (zh) * 2018-04-19 2018-09-11 北京工业大学 一种人体运动序列关键帧提取方法
CN108564599A (zh) * 2018-04-08 2018-09-21 广东省智能制造研究所 一种人体运动速度估计方法
CN109495784A (zh) * 2018-11-29 2019-03-19 北京微播视界科技有限公司 信息推送方法、装置、电子设备及计算机可读存储介质
CN109508698A (zh) * 2018-12-19 2019-03-22 中山大学 一种基于二叉树的人体行为识别方法
CN112205979A (zh) * 2020-08-18 2021-01-12 同济大学 一种实时测量运动人体机械能的装置及方法
WO2021243561A1 (zh) * 2020-06-02 2021-12-09 中国科学院深圳先进技术研究院 行为识别装置及方法
CN114949795A (zh) * 2022-05-09 2022-08-30 乐跑体育互联网（武汉）有限公司 一种基于Kinect骨骼数据的运动量监测方法、装置及系统
CN115376258A (zh) * 2022-09-26 2022-11-22 中国舰船研究设计中心 一种用于船舶舰船舱室的防盗报警系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831447A (zh) * 2012-08-30 2012-12-19 北京理工大学 多类别面部表情高精度识别方法
CN103533237A (zh) * 2013-09-29 2014-01-22 清华大学 一种从视频中提取视频关键帧的方法
CN105224669A (zh) * 2015-10-10 2016-01-06 浙江大学 一种基于gmm语义特征的运动检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831447A (zh) * 2012-08-30 2012-12-19 北京理工大学 多类别面部表情高精度识别方法
CN103533237A (zh) * 2013-09-29 2014-01-22 清华大学 一种从视频中提取视频关键帧的方法
CN105224669A (zh) * 2015-10-10 2016-01-06 浙江大学 一种基于gmm语义特征的运动检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WANG YONGXIONG, SUN SHUXIN,DING XUEMING: "A self-adaptive weighted affinity propagation clustering for key frames extraction on human action recognition", 《J. VIS. COMMUN. IMAGE R.》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169411B (zh) * 2017-04-07 2019-10-29 南京邮电大学 一种基于关键帧和边界约束dtw的实时动态手势识别方法
CN107169411A (zh) * 2017-04-07 2017-09-15 南京邮电大学 一种基于关键帧和边界约束dtw的实时动态手势识别方法
CN107194344A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 自适应骨骼中心的人体行为识别方法
CN107194344B (zh) * 2017-05-16 2020-06-05 西安电子科技大学 自适应骨骼中心的人体行为识别方法
CN108392207A (zh) * 2018-02-09 2018-08-14 西北大学 一种基于姿态标签的动作识别方法
CN108564599A (zh) * 2018-04-08 2018-09-21 广东省智能制造研究所 一种人体运动速度估计方法
CN108564599B (zh) * 2018-04-08 2020-11-24 广东省智能制造研究所 一种人体运动速度估计方法
CN108520250A (zh) * 2018-04-19 2018-09-11 北京工业大学 一种人体运动序列关键帧提取方法
CN108520250B (zh) * 2018-04-19 2021-09-14 北京工业大学 一种人体运动序列关键帧提取方法
CN109495784A (zh) * 2018-11-29 2019-03-19 北京微播视界科技有限公司 信息推送方法、装置、电子设备及计算机可读存储介质
CN109508698A (zh) * 2018-12-19 2019-03-22 中山大学 一种基于二叉树的人体行为识别方法
CN109508698B (zh) * 2018-12-19 2023-01-10 中山大学 一种基于二叉树的人体行为识别方法
WO2021243561A1 (zh) * 2020-06-02 2021-12-09 中国科学院深圳先进技术研究院 行为识别装置及方法
CN112205979A (zh) * 2020-08-18 2021-01-12 同济大学 一种实时测量运动人体机械能的装置及方法
CN114949795A (zh) * 2022-05-09 2022-08-30 乐跑体育互联网（武汉）有限公司 一种基于Kinect骨骼数据的运动量监测方法、装置及系统
CN115376258A (zh) * 2022-09-26 2022-11-22 中国舰船研究设计中心 一种用于船舶舰船舱室的防盗报警系统
CN115376258B (zh) * 2022-09-26 2023-12-26 中国舰船研究设计中心 一种用于船舶舰船舱室的防盗报警系统

Similar Documents

Publication Publication Date Title
CN106528586A (zh) 一种人体行为视频识别方法
CN104778224B (zh) 一种基于视频语义的目标对象社交关系识别方法
CN109902546A (zh) 人脸识别方法、装置及计算机可读介质
CN108334816A (zh) 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法
CN106503669A (zh) 一种基于多任务深度学习网络的训练、识别方法及系统
CN107122809A (zh) 基于图像自编码的神经网络特征学习方法
CN107203753A (zh) 一种基于模糊神经网络和图模型推理的动作识别方法
CN109902565B (zh) 多特征融合的人体行为识别方法
CN104933416B (zh) 基于光流场的微表情序列特征提取方法
CN105320944A (zh) 一种基于人体骨架运动信息的人体行为预测方法
CN110232372B (zh) 基于粒子群优化bp神经网络的步态识别方法
CN107423678A (zh) 一种提取特征的卷积神经网络的训练方法及人脸识别方法
CN108764041A (zh) 用于下部遮挡人脸图像的人脸识别方法
CN106650562A (zh) 一种基于Kinect的在线连续人体行为识别方法
CN110728183A (zh) 一种基于注意力机制的神经网络的人体动作识别方法
CN111178408A (zh) 基于联邦随机森林学习的健康监护模型构建方法、系统
CN110991317B (zh) 一种基于多尺度透视感知型网络的人群计数方法
CN110084248A (zh) 一种orb特征均匀化提取方法
CN105590096A (zh) 基于深度映射的人体活动识别特征表达方法
CN106529377A (zh) 一种基于图像的年龄估计方法、装置及系统
CN113792635A (zh) 一种基于轻量化卷积神经网络的手势识别方法
CN107133640A (zh) 基于局部图像块描述子和费舍尔向量的图像分类方法
CN107203988A (zh) 一种由二维x光图像重建三维体图像的方法及其应用
CN106127104A (zh) 一种Android平台下基于人脸关键点的预测系统及其方法
CN107103311A (zh) 一种连续手语的识别方法及其装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170322

WD01 Invention patent application deemed withdrawn after publication