CN106650562A - 一种基于Kinect的在线连续人体行为识别方法 - Google Patents

一种基于Kinect的在线连续人体行为识别方法 Download PDF

Info

Publication number
CN106650562A
CN106650562A CN201610421286.XA CN201610421286A CN106650562A CN 106650562 A CN106650562 A CN 106650562A CN 201610421286 A CN201610421286 A CN 201610421286A CN 106650562 A CN106650562 A CN 106650562A
Authority
CN
China
Prior art keywords
fragment
feature
behavior
characteristic
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610421286.XA
Other languages
English (en)
Inventor
朱光明
张亮
宋娟
沈沛意
张淑娥
刘欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201610421286.XA priority Critical patent/CN106650562A/zh
Publication of CN106650562A publication Critical patent/CN106650562A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Kinect的在线连续人体行为识别方法，包括以下步骤：a)从Kinect采集到的RGB‑D图像中提取人体骨架信息，计算各关节点的归一化相对方位特征；b)利用基于特征序列势差的在线分割方法对特征序列进行在线动态分割，得到姿态特征片段和动作特征片段；c)从分割得到的姿态特征片段和动作特征片段中分别提取关键姿态和原子动作；d)把分割得到的特征片段与离线训练得到的关键姿态或原子动作进行在线模式匹配，计算得到该特征片段被识别成某类行为的关键姿态或原子动作的似然概率；e)基于计算得到的似然概率，利用变长最大熵马尔科夫模型进行人体行为识别。与已知算法相比，本发明不需要事先检测各个人体行为的开始和结束时间点，可以在线实时执行。

Description

一种基于Kinect的在线连续人体行为识别方法
技术领域
本发明涉及一种智能人机交互、智能机器人技术领域，具体是一种基于Kinect的在线连续人体行为识别方法。
背景技术
21世纪人类将进入老龄化社会，发展服务机器人能够弥补年轻劳动力的严重不足，解决老龄化社会的家庭服务、医疗服务等社会问题。国际机器人联合会给服务机器人一个初步的定义：服务机器人是一种半自主或全自主的机器人，它能完成有益于人类的服务，但不包括从事生产的设备；如果服务机器人可以与人进行智能友好的交互，并且能够根据人们在日常生活中的的行为从事一些家庭服务工作，那么家庭服务行业的服务机器人应用必将形成新的产业和新的市场；在服务机器人从事日常生活服务的过程中，人体行为识别与预测是人与服务机器人智能交互的基础，对提高机器人的自主性、智能性起着至关重要的作用；利用人体行为识别与预测技术对人们的日常行为进行识别与预测，可以为服务机器人的日常服务提供理论和现实依据，促进人与服务机器人的智能友好交互及和谐相处，提高人们生活的舒适感。已知的绝大部分人体行为识别算法都是针对已经根据行为类别分割好的数据序列进行的，严格的来说是进行人体行为分类，而非人体行为识别。尽管有若干人体行为识别算法是针对连续的人体行为序列进行的，但这些方法仍是“先检测每种行为的开始和终止时间点以实现人体行为分割，在进行人体行为识别”。针对上述问题，本发明旨在提出一种不需要事先进行人体行为分割且可以直接在连续的且包含多种人体行为的数据序列上进行人体行为识别的在线连续人体行为识别方法。
发明内容
本发明的目的在于提供一种以从Kinect采集到的连续RGB-D图像中提取到的人体骨架信息为基础，对该数据序列中包含的多种人体行为进行在线识别的方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于Kinect的在线连续人体行为识别方法，以从Kinect采集到的RGB-D图像中提取到的人体骨架信息为基础，对包含多种人体行为的连续图像序列进行在线的人体行为识别，包括具体以下步骤：
(1)本发明包含模型训练和在线连续人体行为识别两个部分，模型训练过程针对不同行为类别的数据分别进行模型训练，在线连续人体行为识别过程对可能包含多种人体行为的实时图像序列进行人体行为的识别；
(2)在模型训练过程中，对每种行为的数据分别进行特征提取、在线分割、关键姿态和原子动作的提取等三个步骤，最终得到针对每种行为的关键姿态和原子动作集合；
(3)在在线连续人体行为识别过程中，对可能包含多种人体行为的数据进行特征提取、在线分割、在线模式匹配、基于变长最大熵马尔科夫模型的分类等四个步骤，最终实现对每一个特征片段的人体行为识别；
(4)在特征提取过程中逐帧计算人体各关节的归一化相对方位特征，构成人体的全身姿态特征；
(5)在线分割过程中计算每帧特征的势差，然后利用阈值分割方法对每帧特征进行在线分类，每帧特征可以被划分为姿态特征或动作特征，最终得到连续的姿态特征片段和动作特征片段；
(6)在模型训练过程中，对在在线分割过程中得到的每种人体行为的全部姿态特征片段和动作特征片段进行聚类操作，提取每种人体行为的关键姿态和原子动作；
(7)在在线连续人体行为识别过程中，对在线分割得到的每个特征片段进行在线模式匹配操作，计算该特征片段被识别成每种行为的各个关键姿态或原则动作的似然概率；
(8)在在线连续人体行为识别过程中，对计算得到的似然概率运用变长最大熵马尔科夫模型分类算法进行人体行为识别，最终得到当前最新特征片段的最佳人体行为类别。
作为本发明进一步的方案：所述步骤1中，模型训练过程是针对每种人体行为分别进行的；而在线连续人体行为识别过程是针对连续图像序列在线进行的，图像序列中包含的人体行为的种类、个数、以及每种人体行为的起始和终止时间点都是未知的。
作为本发明再进一步的方案：所述步骤2中，需要在得到每种行为的由在线分割算法计算出的全部特征片段后再利用聚类算法提取关键姿态和原子动作。
作为本发明再进一步的方案：所述步骤3中，当利用在线分割算法计算得到一个新的特征片段后，并不对该片段进行聚类操作，而是利用在线模式匹配算法计算该特征片段被识别成各类行为的各个关键姿态或原子动作的似然概率，然后在基于计算得到的似然概率利用变长最大熵马尔科夫模型分类算法对该特征片段进行人体行为识别。
作为本发明再进一步的方案：所述步骤4中，关节点i的归一化相对方位特征是以关节点i实际运动时所围绕的关节点j为参考节点进行计算的，计算方式为：
式中，Li和Lj为关节点i和关节点j在世界坐标系内的三维坐标向量，||.||为欧式距离算子。
作为本发明再进一步的方案：所述步骤5中，特征序列的势能和势差的计算方式分别为：
Ep(i)＝||Fi-Fr||2
Ed(i)＝Ep(i)-Ep(i-1)
式中，Fi为第i帧归一化相对方位特征向量，Fr为参考帧的归一化相对方位特征向量，Ep(i)为第i帧特征向量的势能，Ed(i)为第i帧特征向量的势差。另外，令Emin为预设的阈值，定义势差的符号为：
则所述步骤5中的在线分割算法是根据特征序列的势差符号进行特征片段分割的，每个特征片段内的特征向量都具有相同符号的特征向量势差。
作为本发明再进一步的方案：所述步骤6中，利用高斯混合模型(GMM)算法从姿态特征片段中聚类得到关键姿态，从与每两个关键姿态关联的动作特征片段中分别提取“半山腰-波峰-半山腰”或“半山腰-波谷-半山腰”三个有序特征向量，构成与该两个关键姿态关联的原子动作。
作为本发明再进一步的方案：所述步骤7中，在对特征片段进行在线模式匹配时是基于该特征片段与每种行为的关键姿态或原子动作的欧式距离进行似然概率的计算的。
作为本发明再进一步的方案：所述步骤8中，基于计算得到的似然概率，利用变长最大熵马尔科夫模型进行人体行为识别，分别计算出该特征片段被识别成每种行为的总概率，识别结果为总概率显著的那种人体行为。
与现有技术相比，本发明的有益效果是：本发明提出了一种基于Kinect的在线连续人体行为识别方法，本方法无需先对连续数据序列中每种人体行为的开始和结束时间点进行检测，可以对在线分割算法分割得到的特征片段直接进行人体行为识别，识别结果是以特征片段为基本单位的；本方法利用变长最大熵马尔科夫模型进行人体行为识别，变长特征不但可以保证相似人体行为间的可识别性，而且可以保证差异较大的人体行为的快速识别；本方法是以人体骨架数据为基本数据，以特征片段为单位进行人体行为识别，执行效率高，可以实现在线实时执行。
附图说明
图1为本发明的算法流程图
图2为本发明中人体各关节的归一化相对方位特征示意图。
图3为本发明中某特征向量序列的势差示意图。
图4为本发明中连续人体行为的特征向量序列的在线分割结果示意图。
图5为传统的最大熵马尔科夫模型示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1～5，本发明提出的基于Kinect的在线连续人体行为识别方法，算法流程如图1所示，具体特征提取、在线分割、关键姿态和原子动作的提取、在线模式匹配、以及基于变长最大熵马尔科夫模型的分类的实现过程，按照以下步骤实施：
a)特征提取
一般情况下，传统的姿态特征表征方法计算人体各个关节点相对于躯干中心节点或髋中心节点的，本发明采用的归一化相对方位特征充分考虑了人体各个关节的实际运动模型，关节点i的归一化相对方位特征是以关节点i实际运动时所围绕的关节点j为参考节点进行计算的，如图2中⑥所示的左肘关节的归一化相对方位特征是相对于左肩进行计算的，计算方式为：
式中，Li和Lj为关节点i和关节点j在世界坐标系内的三维坐标向量，||.||为欧式距离算子。本发明的特征提取过程对全身各个关节的特征分别进行提取，如图2中所示的特征，然后把这些特征组合成一个特征向量来表征人体全身的姿态特征，该特征向量的维度为3×19＝57。
b)在线分割
定义S＝(F1,F2,...,Fi,...)为归一化相对方位特征序列，其中Fi特征向量包含了a)中涉及到的19个归一化特征向量，因此Fi特征向量的维度为57。定义特征向量的势能为：
Ep(i)＝||Fi-Fr||2
定义特征向量Fi的势差为：
Ed(i)＝Ep(i)-Ep(i-1)
进一步定义特征向量Fi的势差Ed(i)的符号为：
其中，Emin为预设的阈值。根据上述定义，如果一个特征片段中所包含的所有特征向量的势差的符号都为Si＝0，则该特征片段可以被标记为姿态特征片段；相应地如果一个特征片段中所包含的所有特征向量的势差的符号都为Si＝1或Si＝-1，则该特征片段可以被标记为动作特征片段。
基于上述准则，特征向量序列的在线分割过程可以描述如下：
运用上述在线分割算法，对公开数据集CAD-60中喝水动作特征向量序列的势差结果示意图如图3所示，对公开数据集CAD-60中四种行为的连续特征向量序列的在线分割结果如图4所示。其中，横直线部分表示姿态特征片段，曲线部分表示动作特征片段，上方垂直点线表示姿态特征片段的分界线，下方垂直虚线表示每种行为之间的分界线。由图4也可以看出不同行为间的分界线也刚好是不同特征片段的分界线。只要把每个特征片段都能正确识别出其行为类别，则整体的连续人体行为识别就可以得到精确的识别结果。
c)关键姿态和原子动作的提取
在模型训练过程中，对每种行为的数据序列进行特征提取，然后利用在线分割算法提取姿态特征片段和动作特征片段。当姿态特征片段和动作特征片段都分割完毕后，可以利用聚类算法进行关键姿态和原子动作的提取。
对于所有的姿态特征片段，利用高斯混合模型进行关键姿态的提取，关键姿态的个数为Kp。对于人体行为类别c，当其关键姿态被提取到之后，对其每一个姿态特征片段利用最近邻算法进行标记，即利用关键姿态对每一个姿态特征片段进行标记，得到标记序列{L(s)∈[1,...,Kp]|s＝1,2,...}。然后，基于统计结果计算每两个关键姿态之间的转移概率，即
原子动作的提取和关键姿态有关。从图3中也可以看出，动作特征片段位于两个姿态特征片段之间，原子动作表征的是两个关键姿态之间的变化过程。令s＝1,2,...为姿态特征片段的序号，则动作特征片段s位于姿态特征片段(s-1)和s之间。原子动作的提取过程可以总结如下：
1)对每一个姿态特征片段利用最近邻算法进行标记，每个姿态特征片段的左半片段被标记为右半片段被标记为需要指出的是，由于Emin大于0，因此不一定Llhalf(s)＝＝Lrhalf(s)。
2)把符合条件Lrhalf(s-1)＝a和Llhalf(s)＝b的动作特征片段聚类到同一个动作特征聚簇中MC(a,b),a∈(1,2,...,Kp),b∈(1,2,...,Kp)。
3)从每一个动作特征聚簇MC(a,b)中提取原子动作。每个原子动作由三个有序特征向量组成，即“半山腰-波峰-半山腰”或“半山腰-波谷-半山腰”三个有序特征向量，如图3中L、P、R指示的三个位置的特征向量。如果聚簇MC(a,b)中包含多个动作特征片段，则最终的原子动作为从每个片段中提取到的有序特征向量的均值。原子动作的最大个数为Kp×Kp。
d)在线模式匹配
在线模式匹配过程实际上是计算当前特征片段被识别成每个关键姿态或原子动作的似然概率的过程。假设该数据序列中最多包含C类不同的人体行为，则姿态特征片段s被识别成人体行为c的各个关键姿态的似然概率为：
其中为姿态特征片段s中的第i个特征向量，该片段中特征向量的个数为Ns，为第c类人体行为的第k个关键姿态，PDists(c,k)为姿态特征片段s与第c类人体行为的第k个关键姿态之间的欧式距离，为姿态特征片段s被识别成第c类人体行为的第k个关键姿态的似然概率。
类似地，动作特征片段s被识别成第c类人体行为的第＜k1,k2＞个原子动作的似然概率为：
其中，MVs为动作特征片段s的由三个有序特征向量组成的运动向量，如图3中的L、P、R所示。是与第c类人体行为的第k1和第k2个关键姿态关联的原子动作，Ns为动作特征片段的特征向量的帧数，Nmv＝3为每个原子动作包含的帧数。MDists(c,k1,k2)为欧式距离，为动作特征片段s被识别成第c类人体行为中与第k1和第k2个关键姿态关联的那个原子动作的似然概率。
e)基于变长最大熵马尔科夫模型的分类算法
图5展示了传统的最大熵马尔科夫模型的示意图，为图5展示的最大熵马尔科夫模型对应的最大概率，其中属于第c个类别的某一个子类。本发明提出的变长最大熵马尔科夫模型不直接计算P1:n(c)，其具体过程如下所示：
令表示第n-l+1个到第n个特征片段中包含的全部特征向量，表示第s个动作特征片段中包含的特征向量，表示第s个姿态特征片段中包含的特征向量。则上述算法流程中的概率Pn-l+1:n(c)可以计算如下：
其中为第c类人体行为的关键姿态之一。根据最大熵马尔科夫原理，联合概率密度可以计算如下：
根据贝叶斯原理，可以得出
假设在给定的的情况下独立于和则可以得出
关键姿态转移概率在第c)步的关键姿态和原子动作的提取步骤中计算得到。概率可以计算如下：
为了保证在线人体行为识别算法的实时性，在线分割算法把较长的姿态特征片段分割成短的姿态特征片段，因此存在若干个连续相邻的姿态特征片段，如图4中所示。在此种情况下，为空，上式退化为：
综上，计算联合概率所需的和于在线模式匹配过程中计算得到，关键姿态转移概率于模型训练过程的关键姿态和原子动作的提取过程中计算得到。至此，本发明提出的基于变长最大熵马尔科夫模型的分类算法的具体执行过程描述完毕。
综上所述，本节步骤a)～e)中已经分别详细地描述了本发明所包含的几个关键步骤的具体执行过程，图1中也展示了本发明的模型训练和在线连续人体行为识别两个阶段的详细算法流程，因此这里不再文字赘述每个阶段的详细过程。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种基于Kinect的在线连续人体行为识别方法，以从Kinect采集到的RGB-D图像中提取到的人体骨架信息为基础，对包含多种人体行为的连续图像序列进行在线人体行为识别，其特征在于，包括以下步骤：
(1)本发明包含模型训练和在线连续人体行为识别两个部分，模型训练过程针对不同行为类别的数据分别进行模型训练，在线连续人体行为识别过程对可能包含多种人体行为的实时图像序列进行在线人体行为的识别；
(2)在模型训练过程中，对每种行为的数据分别进行特征提取、在线分割、关键姿态和原子动作的提取等三个步骤，最终得到针对每种行为的关键姿态和原子动作集合；
(3)在在线连续人体行为识别过程中，对可能包含多种人体行为的数据进行特征提取、在线分割、在线模式匹配、基于变长最大熵马尔科夫模型的分类等四个关键步骤，最终实现对每一个特征片段的人体行为识别；
(4)在特征提取过程中逐帧计算人体各关节的归一化相对方位特征，构成人体的全身姿态特征；
(5)在线分割过程中，计算每帧特征的势差，然后利用阈值分割方法对每帧特征进行在线分类，每帧特征可以被划分为姿态特征或动作特征，最终得到连续的姿态特征片段和动作特征片段；
(6)在模型训练过程中，对在在线分割过程中得到的每种人体行为的全部姿态特征片段和动作特征片段进行聚类操作，提取每种人体行为的关键姿态和原子动作；
(7)在在线连续人体行为识别过程中，对在线分割得到的每个特征片段进行在线模式匹配，计算该特征片段被识别成每种行为的各个关键姿态或原则动作的似然概率；
(8)在在线连续人体行为识别过程中，对计算得到的似然概率运用变长最大熵马尔科夫模型分类算法进行人体行为识别，最终得到当前最新特征片段的最佳人体行为类别。
2.根据权利要求1所述的基于Kinect的在线连续人体行为识别方法，其特征在于，模型训练过程是针对每种人体行为分别进行的；而在线连续人体行为识别过程是针对连续图像序列在线进行的，图像序列中包含的人体行为的种类、个数、以及 每种人体行为的起始和终止时间点都是未知的。
3.根据权利要求1所述的基于Kinect的在线连续人体行为识别方法，其特征在于，所述步骤(2)中，需要在得到每种行为的由在线分割算法分割出的全部特征片段后再利用聚类算法提取关键姿态和原子动作。
4.根据权利要求1所述的基于Kinect的在线连续人体行为识别方法，其特征在于，所述步骤(3)中，当利用在线分割算法计算得到一个新的特征片段后，并不对该片段进行聚类操作，而是利用在线模式匹配算法计算该特征片段被识别成各类行为的各个关键姿态或原子动作的似然概率，然后基于计算得到的似然概率利用变长最大熵马尔科夫模型分类算法对该特征片段进行人体行为识别。
5.根据权利要求1所述的基于Kinect的在线连续人体行为识别方法，其特征在于，所述步骤(4)中，关节点i的归一化相对方位特征是以关节点i实际运动时所围绕的关节点j为参考节点进行计算的，计算方式为：
式中，Li和Lj为关节点i和关节点j在世界坐标系内的三维坐标向量，||·||为欧式距离算子。
6.根据权利要求1所述的基于Kinect的在线连续人体行为识别方法，其特征在于，所述步骤(5)中，特征序列的势能和势差的计算方式分别为：
Ep(i)＝||Fi-Fr||2
Ed(i)＝Ep(i)-Ep(i-1)
式中，Fi为第i帧归一化相对方位特征向量，Fr为参考帧的归一化相对方位特征向量，Ep(i)为第i帧特征向量的势能，Ed(i)为第i帧特征向量的势差。另外，令Emin为预设的阈值，定义势差的符号为：
则所述步骤(5)中的在线分割算法是根据特征序列的势差符号进行特征片段分割的，每个特征片段内的特征向量都具有相同符号的特征向量势差。
7.根据权利要求1所述的基于Kinect的在线连续人体行为识别方法，其特征在于，所述步骤(6)中，利用高斯混合模型(GMM)算法从姿态特征片段中聚类得到关键姿态，从与每两个关键姿态关联的动作特征片段中分别提取“半山腰-波峰-半山腰”或“半山腰-波谷-半山腰”三个有序特征向量，构成与该两个关键姿态关联的原子动作。
8.根据权利要求1所述的基于Kinect的在线连续人体行为识别方法，其特征在于，所述步骤(7)中，在对特征片段进行在线模式匹配时是基于该特征片段与每种行为的关键姿态或原子动作的欧式距离进行似然概率的计算的。
9.根据权利要求1所述的基于Kinect的在线连续人体行为识别方法，其特征在于，所述步骤(8)中，基于计算得到的似然概率，利用变长最大熵马尔科夫模型进行人体行为识别，分别计算出该特征片段被识别成每种行为的总概率，识别结果为总概率显著的那种人体行为。
CN201610421286.XA 2016-06-14 2016-06-14 一种基于Kinect的在线连续人体行为识别方法 Pending CN106650562A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610421286.XA CN106650562A (zh) 2016-06-14 2016-06-14 一种基于Kinect的在线连续人体行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610421286.XA CN106650562A (zh) 2016-06-14 2016-06-14 一种基于Kinect的在线连续人体行为识别方法

Publications (1)

Publication Number Publication Date
CN106650562A true CN106650562A (zh) 2017-05-10

Family

ID=58851496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610421286.XA Pending CN106650562A (zh) 2016-06-14 2016-06-14 一种基于Kinect的在线连续人体行为识别方法

Country Status (1)

Country Link
CN (1) CN106650562A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220608A (zh) * 2017-05-22 2017-09-29 华南理工大学 一种篮球动作模型重建和防守的指导系统及方法
CN107832713A (zh) * 2017-11-13 2018-03-23 南京邮电大学 一种基于OptiTrack的人体姿态识别方法
CN108256472A (zh) * 2018-01-17 2018-07-06 清华大学 一种视频图像序列分割系统和方法
CN108615055A (zh) * 2018-04-19 2018-10-02 咪咕动漫有限公司 一种相似度计算方法、装置及计算机可读存储介质
CN108960056A (zh) * 2018-05-30 2018-12-07 西南交通大学 一种基于姿态分析和支持向量数据描述的跌倒检测方法
CN109325440A (zh) * 2018-09-19 2019-02-12 深圳市赢世体育科技有限公司 人体动作识别方法及系统
CN109388781A (zh) * 2017-08-14 2019-02-26 比亚迪股份有限公司 测量数据的处理方法和装置
CN110070068A (zh) * 2019-04-30 2019-07-30 苏州大学 一种人体动作识别方法
CN110197281A (zh) * 2019-05-17 2019-09-03 华南理工大学 一种基于本体模型和概率推理的复杂事件识别方法
CN111203878A (zh) * 2020-01-14 2020-05-29 北京航空航天大学 一种基于视觉模仿的机器人序列任务学习方法
WO2020150990A1 (zh) * 2019-01-25 2020-07-30 深圳大学 人体动作表征的处理方法、系统、电子装置及存储介质
CN112057079A (zh) * 2020-08-07 2020-12-11 中国科学院深圳先进技术研究院 一种基于状态与图谱的行为量化方法和终端
CN112446355A (zh) * 2020-12-15 2021-03-05 中电海康集团有限公司 一种公共场所行人识别方法及人流统计系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320944A (zh) * 2015-10-24 2016-02-10 西安电子科技大学 一种基于人体骨架运动信息的人体行为预测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320944A (zh) * 2015-10-24 2016-02-10 西安电子科技大学 一种基于人体骨架运动信息的人体行为预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUANGMING ZHU ET AL: "An Online Continuous Human Action Recognition Algorithm Based on the Kinect Sensor", 《SENSORS》 *
GUANGMING ZHU ET AL: "Human action recognition using multi-layer codebooks of key poses and atomic motions", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220608B (zh) * 2017-05-22 2021-06-08 华南理工大学 一种篮球动作模型重建和防守的指导系统及方法
CN107220608A (zh) * 2017-05-22 2017-09-29 华南理工大学 一种篮球动作模型重建和防守的指导系统及方法
CN109388781A (zh) * 2017-08-14 2019-02-26 比亚迪股份有限公司 测量数据的处理方法和装置
CN109388781B (zh) * 2017-08-14 2020-08-07 比亚迪股份有限公司 测量数据的处理方法和装置
CN107832713A (zh) * 2017-11-13 2018-03-23 南京邮电大学 一种基于OptiTrack的人体姿态识别方法
CN107832713B (zh) * 2017-11-13 2021-11-16 南京邮电大学 一种基于OptiTrack的人体姿态识别方法
CN108256472A (zh) * 2018-01-17 2018-07-06 清华大学 一种视频图像序列分割系统和方法
CN108615055A (zh) * 2018-04-19 2018-10-02 咪咕动漫有限公司 一种相似度计算方法、装置及计算机可读存储介质
CN108960056A (zh) * 2018-05-30 2018-12-07 西南交通大学 一种基于姿态分析和支持向量数据描述的跌倒检测方法
CN109325440A (zh) * 2018-09-19 2019-02-12 深圳市赢世体育科技有限公司 人体动作识别方法及系统
WO2020150990A1 (zh) * 2019-01-25 2020-07-30 深圳大学 人体动作表征的处理方法、系统、电子装置及存储介质
CN110070068A (zh) * 2019-04-30 2019-07-30 苏州大学 一种人体动作识别方法
CN110197281A (zh) * 2019-05-17 2019-09-03 华南理工大学 一种基于本体模型和概率推理的复杂事件识别方法
CN111203878B (zh) * 2020-01-14 2021-10-01 北京航空航天大学 一种基于视觉模仿的机器人序列任务学习方法
CN111203878A (zh) * 2020-01-14 2020-05-29 北京航空航天大学 一种基于视觉模仿的机器人序列任务学习方法
CN112057079A (zh) * 2020-08-07 2020-12-11 中国科学院深圳先进技术研究院 一种基于状态与图谱的行为量化方法和终端
CN112446355A (zh) * 2020-12-15 2021-03-05 中电海康集团有限公司 一种公共场所行人识别方法及人流统计系统
WO2022126668A1 (zh) * 2020-12-15 2022-06-23 中电海康集团有限公司 一种公共场所行人识别方法及人流统计系统
CN112446355B (zh) * 2020-12-15 2023-10-17 中电海康集团有限公司 一种公共场所行人识别方法及人流统计系统

Similar Documents

Publication Publication Date Title
CN106650562A (zh) 一种基于Kinect的在线连续人体行为识别方法
CN105320944B (zh) 一种基于人体骨架运动信息的人体行为预测方法
CN109508669B (zh) 一种基于生成式对抗网络的人脸表情识别方法
CN110472554A (zh) 基于姿态分割和关键点特征的乒乓球动作识别方法及系统
CN107506722A (zh) 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN108830252A (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN106778856A (zh) 一种物体识别方法及装置
CN110111340A (zh) 基于多路割的弱监督实例分割方法
CN107679491A (zh) 一种融合多模态数据的3d卷积神经网络手语识别方法
CN107862376A (zh) 一种基于双流神经网络的人体图像动作识别方法
CN110222668A (zh) 基于生成对抗网络的多姿态面部表情识别方法
CN105956560A (zh) 一种基于池化多尺度深度卷积特征的车型识别方法
CN106778796A (zh) 基于混合式协同训练的人体动作识别方法及系统
Ren et al. A novel squeeze YOLO-based real-time people counting approach
CN105303998A (zh) 基于观众之间的关联信息播放广告的方法、装置和设备
CN102945361B (zh) 基于特征点矢量与纹理形变能量参数的人脸表情识别方法
CN110728183A (zh) 一种基于注意力机制的神经网络的人体动作识别方法
CN105095870A (zh) 基于迁移学习的行人重识别方法
Zhang et al. A kinect-based golf swing classification system using hmm and neuro-fuzzy
CN109064484A (zh) 基于子群组划分与动量特征融合的人群运动行为识别方法
CN109190561A (zh) 一种视频播放中的人脸识别方法及系统
CN110110755A (zh) 基于ptgan区域差距与多重分支的行人重识别检测算法及装置
CN111241963A (zh) 基于交互建模的第一人称视角视频交互行为识别方法
CN103034847A (zh) 一种基于隐马尔可夫模型的人脸识别方法
CN106127112A (zh) 基于dlle模型的数据降维与特征理解方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170510