CN109344694B - 一种基于三维人体骨架的人体基本动作实时识别方法 - Google Patents

一种基于三维人体骨架的人体基本动作实时识别方法 Download PDF

Info

Publication number
CN109344694B
CN109344694B CN201810916374.6A CN201810916374A CN109344694B CN 109344694 B CN109344694 B CN 109344694B CN 201810916374 A CN201810916374 A CN 201810916374A CN 109344694 B CN109344694 B CN 109344694B
Authority
CN
China
Prior art keywords
human body
joint point
joint
frame
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810916374.6A
Other languages
English (en)
Other versions
CN109344694A (zh
Inventor
宁小娟
王映辉
李天阳
李建明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201810916374.6A priority Critical patent/CN109344694B/zh
Publication of CN109344694A publication Critical patent/CN109344694A/zh
Application granted granted Critical
Publication of CN109344694B publication Critical patent/CN109344694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于三维人体骨架的人体基本动作实时识别方法，具体按照确定Kinect的安置角度；根据三维人体骨架定义人体基本动作，得到多个定义动作；利用Kinect获取待识别人体动作，获取待识别人体动作的动作特征，将待识别人体动作与定义动作进行特征匹配，进行待识别人体动作的识别的步骤。本发明一种基于三维人体骨架的人体基本动作实时识别方法，能够通过Kinect实时获取骨骼数据对人体基本动作的动作进行实时识别。

Description

一种基于三维人体骨架的人体基本动作实时识别方法
技术领域
本发明属于计算机视觉和模式识别的重要研究内容和交叉学科技术领域，涉及一种基于三维人体骨架的人体基本动作实时识别方法，具体的涉及一种基于Kinect采集的三维人体模型的三维人体骨架的人体基本动作实时识别方法。
背景技术
人体动作识别研究通过计算机对人体动作序列进行一系列分析和辨别。动作序列是一个有序姿态的变化过程，现实中人们一般通过眼睛来捕获动作数据，再经过大脑分析和自己经验的对比从而得出动作类型，所以在人体动作识别的过程中，视觉分析是非常重要的一个部分。目前动作识别已经在智能监控、虚拟现实、高级人机交互、体育运动分析、自动驾驶等多个领域取得了重大的实际应用价值。人体动作识别实质就是利用模型来判断测试的动作是否和先前标定的动作一致，如果一致说明选择的分类模型比较好，因此它是一种对动作分类的方法。随着动作识别应用范围的扩大和研究的深入，已经取得了诸多研究成果。
2007年，Meng等人提出了一种适用于安全系统、人机交互和智能环境的嵌入式计算机视觉应用的人体动作识别系统。利用分层运动历史直方图特征来表示运动信息，提取一个低维特征向量并将其应用到基于支持向量机分类器的人体动作识别系统。由于是对每帧获取直方图然后进行计算，因此整个过程实时性较差。
2010年A.AravindKumar设计了基于视频分析的人体活动识别系统，主要运用了一种使用跟踪像素点的轨迹的方法，该方法利用信号处理技术找出它们的属性，提取其中的特征，用支持向量机对数据进行训练，最终对新视频进行分类。但是在跟踪过程中，需要手动选择感兴趣的点或区域进行匹配，由于仅使用相关系数来匹配感兴趣的最佳匹配区域，当区域旋转或改变其形状时，某些点可能会丢失，对特征提取的影响较大。
2016年Chen等人提出了利用深度和惯性传感器融合的实时人体动作识别系统，该系统利用了两种不同模式的传感器的数据：视觉深度和惯性。将这两种不同的模式传感器的特征通过一个基于决策的融合方法进行实时融合。两种不同模式的传感器的特征融合过程比较复杂，而且对识别的效果影响较大，鲁棒性较差。
发明内容
本发明的目的是提供一种基于三维人体骨架的人体基本动作实时识别方法，能够通过Kinect实时获取骨骼数据对人体基本动作进行实时识别。
本发明所采用的技术方案是，一种基于三维人体骨架的人体动作实时识别方法，具体按照下述方法进行：
步骤1，确定Kinect的安置角度；
步骤2，根据三维人体骨架定义人体基本动作，得到多个定义动作；
步骤3，利用Kinect获取待识别人体动作，获取待识别人体动作的动作特征，将待识别人体动作与定义动作进行特征匹配，进行待识别人体动作的识别。
本发明的特点还在于：
步骤1中具体按照下述方法确定Kinect的安置角度：
根据人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角：
当人体所在平面的法向量和Kinect镜头平面的法向量都指向人体所在平面的法向量和Kinect镜头平面之间或者是人体所在平面的法向量和Kinect镜头平面的法向量都指向人体所在平面的法向量和Kinect镜头平面之外，则人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角为：
Figure GDA0003372920800000031
其中，
Figure GDA0003372920800000032
为人体所在平面的法向量，
Figure GDA0003372920800000033
为Kinect镜头平面的法向量；
当人体所在平面的法向量和Kinect镜头平面的法向量中，一个指向人体所在平面的法向量和Kinect镜头平面之间，另一个指向人体所在平面的法向量和Kinect镜头平面之外，则人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角为：
Figure GDA0003372920800000034
步骤2具体按照下述步骤进行：
步骤2.1，使用Kinect对人体基本动作进行三维人体骨架追踪，得到人体深度视频和骨骼视频，将人体深度视频分解为多帧人体深度图像，骨骼视频分解为多帧骨骼图像；然后将相应的人体深度图像和骨骼图像融合，得到多帧融合图像；
步骤2.2，提取每帧融合图像中的骨骼特征，提取骨骼特征中的关节点位置特征、空间位置特征和关节角度特征，然后定义人体基本动作，得到多个定义动作。
步骤2.1中先将每帧人体深度图像进行预处理，将每帧人体深度图像利用二值化思想进行处理，将人体深度图像中人体的颜色设定为黑色，将除人体外的颜色设定为白色后，再将预处理后的人体深度图像与相应的骨骼图像融合。
步骤2.2中，具体按照下述方法提取每帧融合图像的空间位置特征：
步骤2.2.1，提取每帧融合图像中的人体的左脚关节点F1、右脚关节点F2、左脚踝关节点F3、右脚踝关节点F4、左膝关节点F5、右膝关节点F6、左髋关节点F7、右髋关节点F8、髋中心关节点F0、脊柱关节点F9、右手关节点F10、左手关节点F11、右手腕关节点F12、左手腕关节点F13、左肘关节点F14、右肘关节点F15、右肩关节点F16、左肩关节点F17、颈关节点F18和头部关节点F19的空间位置，得到，以髋中心关节点为中心节点，得到初始空间位置特征计算公式：
M＝Fn-F0 (3)
步骤2.2.2，分别计算每个关节点Fn的X轴坐标与髋中心关节点F0的X轴坐标的差值，每个关节点Fn的Y轴坐标与髋中心关节点F0的Y轴坐标的差值，每个关节点Fn的Z轴坐标与髋中心关节点F0的Z轴坐标的差值：
Figure GDA0003372920800000041
其中，n＝1，2，3...，Q，Q＝19，
Figure GDA0003372920800000051
为关节点Fn在第i帧融合图像中的X轴坐标，
Figure GDA0003372920800000052
为髋关节中心点的X轴坐标；
Figure GDA0003372920800000053
其中，
Figure GDA0003372920800000054
为关节点Fn在第i帧融合图像中的Y轴坐标，
Figure GDA0003372920800000055
为髋关节中心点的Y轴坐标；
Figure GDA0003372920800000056
其中，
Figure GDA0003372920800000057
为关节点Fn在第i帧融合图像中的Z轴坐标，
Figure GDA0003372920800000058
为髋关节中心点的Z轴坐标；
步骤2.2.3，分别计算每帧融合图像的X轴差值向量、Y轴差值向量和Z轴差值向量，并根据每帧融合图像的X轴差值向量、Y轴差值向量和Z轴差值向量得到每帧融合图像的初始空间位置特征：
Figure GDA0003372920800000059
Figure GDA00033729208000000510
Figure GDA00033729208000000511
Figure GDA00033729208000000512
其中，
Figure GDA00033729208000000513
为第i帧融合图像在X轴的差值向量，
Figure GDA00033729208000000514
为第i帧融合图像在Y轴的差值向量，
Figure GDA00033729208000000515
为第i帧融合图像在Z轴的差值向量，Mi为每帧融合图像的初始空间位置特征；
步骤2.2.4，将每帧融合图像的特征向量均进行归一化处理，得到每帧融合图像的空间位置特征M′i：
Figure GDA00033729208000000516
其中，
Figure GDA00033729208000000517
(x0，y0，z0)为髋中心关节点的坐标，(xi，yi，zi)为其他关节点中任一关节点的坐标。
步骤2.2中具体按照下述方法提取每帧融合图像中的所有关节角度特征：
步骤a，得到组成每个关节角度的第一关节向量和第二关节向量：
根据组成第一关节向量的两个关节点的坐标得到第一关节向量；
根据组成第二关节向量的两个关节点的坐标得到第一关节向量；
步骤b，根据第一关节向量和第二关节向量得到第一关节向量和第二关节向量的关节角度。
步骤2.2中具体按照下述方法定义人体基本动作：
①抬左手/抬右手
右手关节点F10的Y轴坐标大于髋中心关节点F0的Y轴坐标即为抬右手动作；
左手关节点F11的Y轴坐标大于髋中心关节点F0的Y轴坐标即为抬左手动作；
②原地踏步
分别计算左膝关节点F5、右膝关节点F6在多帧融合图像中Y轴方向上的累积距离：
Figure GDA0003372920800000061
Figure GDA0003372920800000062
其中,yL为左膝关节点F5在多帧融合图像中Y轴方向上的累积距离，yR为右膝关节点F6在多帧融合图像中Y轴方向上的累积距离，yiL表示第i帧融合图像中左膝关节点F5的Y轴坐标，yiR第i帧融合图像中右膝关节点F6的Y轴坐标；
计算左膝关节点F5、右膝关节点F6在多帧融合图像中Y轴方向上的距离和disY：
disY＝yL+yR (14)
计算相邻的两帧融合图像中髋中心关节点的距离：
Figure GDA0003372920800000071
多帧融合图像中髋中心关节点的累计距离为：
Figure GDA0003372920800000072
若：
disY>1.6 (17)
accDistance<0.8 (18)
则定义该动作为原地踏步；
③抬左腿/抬右腿
若左膝关节点F5和右膝关节点F6的坐标满足：
yKR-yKL≥0.18 (19)
则该动作为抬右腿动作，yKR为左膝关节F5的Y轴坐标，yKL为右膝关节点F6的Y轴坐标；
若左膝关节点F5和右膝关节点F6的坐标满足：
yKL-yKR≥0.18 (20)
则该动作为抬左腿动作；
④弯腰
若融合图像中髋中心关节点和脊柱关节点的坐标满足：
|zSB-zSM|>0.2 (21)
则该动作为弯腰动作，其中zSB为髋中心关节点Z轴的坐标值，zSM为柱关节点Z轴的坐标值；
⑤晃头
计算融合图像中头部关节点F19、脊柱关节点F9和右肩关节F16组成的关节夹角的余弦值cosSR：
Figure GDA0003372920800000081
其中，DisHSS为头部关节点F19与脊柱关节点F9之间的欧式距离，DisSSSR为脊柱关节点F9与右肩关节F16之间的欧氏距离，DisHSR为头部关节点F19与右肩关节F16之间的欧氏距离；
计算融合图像中头部关节点F19、脊柱关节点F9和左肩关节点F17组成的关节夹角的余弦值：
Figure GDA0003372920800000082
其中，DisSSSL为脊柱关节点F9与左肩关节点F17之间的欧氏距离，DisHSL为头部关节点F19与左肩关节点F17之间的欧氏距离；
若：
0.17<cosSR<0.98 (24)
且
0.17<cosSL<0.98 (25)
则该动作为晃头动作。
⑥行走
相邻的两帧融合图像中髋中心关节点F0在XZ平面上的距离disXZ为：
Figure GDA0003372920800000091
其中，xi为第i帧融合图像中髋中心关节点F0的X轴坐标，zi为第i帧融合图像中髋中心关节点F0的Z轴坐标；
则在多帧融合图像中髋中心关节点在XZ平面上的该累积距离accdisXZ为：
Figure GDA0003372920800000092
若髋中心关节点在XZ平面上的该累积距离满足：
accdisXZ>0.6 (28)
则该动作为行走动作；
⑦左侧下腰/右侧下腰
若髋中心关节点的坐标和脊柱关节点的坐标满足：
|xSB-xSM|≥0.15 (29)
xSB-xSM>0 (30)
则该动作为左侧下腰动作，其中xSB为髋中心关节点X轴上的坐标，xSM为脊柱关节点X轴上的坐标；
若髋中心关节点的坐标和脊柱关节点的坐标满足：
|xSB-xSM|≥0.15 (31)
xSB-xSM<0 (39)
则该动作为右侧下腰动作；
⑧左移/右移
计算多帧融合图像中脊柱关节点在X轴上的累计距离disMove：
若多帧融合图像中脊柱关节点在X轴上的累计距离满足：
disMove>0.4 (40)
则该动作为右移动作；
若多帧融合图像中脊柱关节点在X轴上的累计距离满足：
disMove<-0.4 (41)
则该动作为左移动作；
⑨上跳
计算多帧融合图像中左脚关节点F1和右脚关节点F2在Y轴方向累计距离，若多帧融合图像中左脚关节点F1和右脚关节点F2的累计距离均大于0.12，则该动作为上跳动作。
步骤3具体按照下述步骤进行：
步骤3.1，使用Kinect对待识别动作进行三维人体骨架追踪，得到待识别人体深度视频和待识别骨骼视频，将待识别人体深度视频分解为多帧待识别人体深度图像，所述待识别骨骼视频分解为多帧待识别骨骼图像，然后将相应的待识别人体深度图像和待识别骨骼图像融合，得到多帧待识别融合图像；
步骤3.2，提取每帧待识别融合图像中的骨骼特征，提取骨骼特征中的关节点位置特征、空间位置特征和关节角度特征，将上述特征与多个定义动作均进行比对，得到待识别动作的动作类型。
本发明的有益效果是
本发明一种基于三维人体骨架的人体基本动作实时识别方法，能够通过Kinect实时获取骨骼数据对人体基本动作的动作进行实时识别。
附图说明
图1是本发明一种基于三维人体骨架的人体基本动作实时识别方法的步骤1中计算人体所在平面的法向量的示意图；
图2是本发明一种基于三维人体骨架的人体基本动作实时识别方法的步骤1中，人体所在平面的法向量和Kinect镜头平面的法向量中，一个指向人体所在平面的法向量和Kinect镜头平面之间，另一个指向人体所在平面的法向量和Kinect镜头平面之外的示意图；
图3是本发明一种基于三维人体骨架的人体基本动作实时识别方法的步骤1中，当人体所在平面的法向量和Kinect镜头平面的法向量都指向人体所在平面的法向量和Kinect镜头平面之间的示意图；
图4是本发明一种基于三维人体骨架的人体基本动作实时识别方法中人体深度图像二值化预处理效果图，图4a为预处理前的人体深度图像，图4b为预处理后的人体深度图像；
图5为本发明一种基于三维人体骨架的人体基本动作实时识别方法中得到的骨骼特征图；
图6为本发明一种基于三维人体骨架的人体基本动作实时识别方法中的识别结果示意图；
其中，6a为上跳动作识别图，图6b为弯腰动作识别图，图6c为抬左手动作识别图，图6d为抬左腿动作识别图，图6e为右移动作识别图，图6f为跳跃动作识别图，图6g为下腰动作识别图，图6h为原地踏步动作识别图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
一种基于三维人体骨架的人体动作实时识别方法，其特征在于，具体按照下述方法进行：
步骤1，确定Kinect的安置角度：
计算人体所在平面的法向量：
如图1所示，在人体所在平面任取
Figure GDA0003372920800000121
和
Figure GDA0003372920800000122
其中
Figure GDA0003372920800000123
和
Figure GDA0003372920800000124
均为非零向量，月
Figure GDA0003372920800000125
和
Figure GDA0003372920800000126
相互不平行，则人体所在平面的法向量为：
Figure GDA0003372920800000127
根据人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角：
当人体所在平面的法向量和Kinect镜头平面的法向量如图2所示都指向人体所在平面的法向量和Kinect镜头平面之间或者是人体所在平面的法向量和Kinect镜头平面的法向量都指向人体所在平面的法向量和Kinect镜头平面之外，则人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角为：
Figure GDA0003372920800000128
其中，
Figure GDA0003372920800000129
为人体所在平面的法向量，
Figure GDA00033729208000001210
为Kinect镜头平面的法向量；
当人体所在平面的法向量和Kinect镜头平面的法向量中如图3所示，一个指向人体所在平面的法向量和Kinect镜头平面之间，另一个指向人体所在平面的法向量和Kinect镜头平面之外，则人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角为：
Figure GDA0003372920800000131
步骤2，根据三维人体骨架定义人体基本动作，得到多个定义动作，具体按照下述步骤进行：
步骤2.1，使用Kinect对人体基本动作进行三维人体骨架追踪，得到人体深度视频和骨骼视频，将人体深度视频分解为多帧如图4a所示的人体深度图像，将骨骼视频分解为多帧骨骼图像；
将每帧人体深度图像进行预处理，将每帧人体深度图像利用二值化思想进行处理，将人体深度图像中人体的颜色设定为黑色，将除人体外的颜色设定为白色，得到如图4b所示的预处理后的人体深度图像；
将预处理后的人体深度图像与相应的骨骼图像融合，得到多帧融合图像；
步骤2.2，提取每帧融合图像中的如图5所示的骨骼特征，提取骨骼特征中的关节点位置特征、空间位置特征和关节角度特征，然后定义人体基本动作，得到多个定义动作：
具体按照下述方法提取每帧融合图像的空间位置特征：
步骤2.2.1，提取每帧融合图像中的人体的左脚关节点F1、右脚关节点F2、左脚踝关节点F3、右脚踝关节点F4、左膝关节点F5、右膝关节点F6、左髋关节点F7、右髋关节点F8、髋中心关节点F0、脊柱关节点F9、右手关节点F10、左手关节点F11、右手腕关节点F12、左手腕关节点F13、左肘关节点F14、右肘关节点F15、右肩关节点F16、左肩关节点F17、颈关节点F18和头部关节点F19的空间位置，得到，以髋中心关节点为中心节点，得到初始空间位置特征计算公式：
M＝Fn-F0 (3)
步骤2.2.2，分别计算每个关节点Fn的X轴坐标与髋中心关节点F0的X轴坐标的差值，每个关节点Fn的Y轴坐标与髋中心关节点F0的Y轴坐标的差值，每个关节点Fn的Z轴坐标与髋中心关节点F0的Z轴坐标的差值：
Figure GDA0003372920800000141
其中，n＝1，2，3...，Q，Q＝19，
Figure GDA0003372920800000142
为关节点Fn在第i帧融合图像中的X轴坐标，
Figure GDA0003372920800000143
为髋关节中心点的X轴坐标：
Figure GDA0003372920800000144
其中，
Figure GDA0003372920800000145
为关节点Fn在第i帧融合图像中的Y轴坐标，
Figure GDA0003372920800000146
为髋关节中心点的Y轴坐标；
Figure GDA0003372920800000147
其中，
Figure GDA0003372920800000148
为关节点Fn在第i帧融合图像中的Z轴坐标，
Figure GDA0003372920800000149
为髋关节中心点的Z轴坐标；
步骤2.2.3，分别计算每帧融合图像的X轴差值向量、Y轴差值向量和Z轴差值向量，并根据每帧融合图像的X轴差值向量、Y轴差值向量和Z轴差值向量得到每帧融合图像的初始空间位置特征：
Figure GDA00033729208000001410
Figure GDA00033729208000001411
Figure GDA00033729208000001412
Figure GDA0003372920800000151
其中，
Figure GDA0003372920800000152
为第i帧融合图像在X轴的差值向量，
Figure GDA0003372920800000153
为第i帧融合图像在Y轴的差值向量，
Figure GDA0003372920800000154
为第i帧融合图像在Z轴的差值向量，Mi为每帧融合图像的初始空间位置特征；
步骤2.2.4，将每帧融合图像的特征向量均进行归一化处理，得到每帧融合图像的空间位置特征M'i：
Figure GDA0003372920800000155
其中，
Figure GDA0003372920800000156
(x0,y0,z0)为髋中心关节点的坐标，(xi,yi,zi)为其他关节点中任一关节点的坐标；
具体按照下述方法提取每帧融合图像中的所有关节角度特征：
步骤a，得到组成每个关节角度的第一关节向量和第二关节向量：
根据组成第一关节向量的两个关节点的坐标得到第一关节向量；
根据组成第二关节向量的两个关节点的坐标得到第一关节向量；
步骤b，根据第一关节向量和第二关节向量得到第一关节向量和第二关节向量的关节角度。
具体按照下述方法定义人体基本动作：
①抬左手/抬右手
右手关节点F10的Y轴坐标大于髋中心关节点F0的Y轴坐标即为抬右手动作；
左手关节点F11的Y轴坐标大于髋中心关节点F0的Y轴坐标即为抬左手动作；
②原地踏步
分别计算左膝关节点F5、右膝关节点F6在多帧融合图像中Y轴方向上的累积距离：
Figure GDA0003372920800000161
Figure GDA0003372920800000162
其中,yL为左膝关节点F5在多帧融合图像中Y轴方向上的累积距离，yR为右膝关节点F6在多帧融合图像中Y轴方向上的累积距离，yiL表示第i帧融合图像中左膝关节点F5的Y轴坐标，yiR第i帧融合图像中右膝关节点F6的Y轴坐标；
计算左膝关节点F5、右膝关节点F6在多帧融合图像中Y轴方向上的距离和disY：
disY＝yL+yR (14)
计算相邻的两帧融合图像中髋中心关节点的距离：
Figure GDA0003372920800000163
多帧融合图像中髋中心关节点的累计距离为：
Figure GDA0003372920800000164
若：
disY>1.6 (17)
accDistance<0.8 (18)
则定义该动作为原地踏步；
③抬左腿/抬右腿
若左膝关节点F5和右膝关节点F6的坐标满足：
yKR-yKL≥0.18 (19)
则该动作为抬右腿动作，yKR为左膝关节F5的Y轴坐标，yKL为右膝关节点F6的Y轴坐标；
若左膝关节点F5和右膝关节点F6的坐标满足：
yKL-yKR≥0.18 (20)
则该动作为抬左腿动作；
④弯腰
若融合图像中髋中心关节点和脊柱关节点的坐标满足：
|zSB-zSM|>0.2 (21)
则该动作为弯腰动作，其中zSB为髋中心关节点Z轴的坐标值，zSM为柱关节点Z轴的坐标值；
⑤晃头
计算融合图像中头部关节点F19、脊柱关节点F9和右肩关节F16组成的关节夹角的余弦值cosSR：
Figure GDA0003372920800000171
其中，DisHSS为头部关节点F19与脊柱关节点F9之间的欧式距离，DisSSSR为脊柱关节点F9与右肩关节F16之间的欧氏距离，DisHSR为头部关节点F19与右肩关节F16之间的欧氏距离；
计算融合图像中头部关节点F19、脊柱关节点F9和左肩关节点F17组成的关节夹角的余弦值：
Figure GDA0003372920800000172
其中，DisSSSL为脊柱关节点F9与左肩关节点F17之间的欧氏距离，DisHSL为头部关节点F19与左肩关节点F17之间的欧氏距离；
若：
0.17<cosSR<0.98 (24)
且
0.17<cosSL<0.98 (25)
则该动作为晃头动作。
⑥行走
相邻的两帧融合图像中髋中心关节点F0在XZ平面上的距离disXZ为：
Figure GDA0003372920800000181
其中，xi为第i帧融合图像中髋中心关节点F0的X轴坐标，zi为第i帧融合图像中髋中心关节点F0的Z轴坐标；
则在多帧融合图像中髋中心关节点在XZ平面上的该累积距离accdisXZ为：
Figure GDA0003372920800000182
若髋中心关节点在XZ平面上的该累积距离满足：
accdisXZ>0.6 (28)
则该动作为行走动作；
⑦左侧下腰/右侧下腰
若髋中心关节点的坐标和脊柱关节点的坐标满足：
|xSB-xSM|≥0.15 (29)
xSB-xSM>0 (30)
则该动作为左侧下腰动作，其中xSB为髋中心关节点X轴上的坐标，xSM为脊柱关节点X轴上的坐标；
若髋中心关节点的坐标和脊柱关节点的坐标满足：
|xSB-xSM|≥0.15 (31)
xSB-xSM<0 (39)
则该动作为右侧下腰动作；
⑧左移/右移
计算多帧融合图像中脊柱关节点在X轴上的累计距离disMove：
若多帧融合图像中脊柱关节点在X轴上的累计距离满足：
disMove>0.4 (40)
则该动作为右移动作；
若多帧融合图像中脊柱关节点在X轴上的累计距离满足：
disMove<-0.4 (41)
则该动作为左移动作；
⑨上跳
计算多帧融合图像中左脚关节点F1和右脚关节点F2在Y轴方向累计距离，若多帧融合图像中左脚关节点F1和右脚关节点F2的累计距离均大于0.12，则该动作为上跳动作。
步骤3，利用Kinect获取待识别人体动作，获取待识别人体动作的动作特征，将待识别人体动作与定义动作进行特征匹配，进行待识别人体动作的识别，具体按照下述步骤进行：
步骤3.1，使用Kinect对待识别动作进行三维人体骨架追踪，得到待识别人体深度视频和待识别骨骼视频，将待识别人体深度视频分解为多帧待识别人体深度图像，待识别骨骼视频分解为多帧待识别骨骼图像，然后将相应的待识别人体深度图像和待识别骨骼图像融合，得到多帧待识别融合图像；
步骤3.2，提取每帧待识别融合图像中的骨骼特征，提取骨骼特征中的关节点位置特征、空间位置特征和关节角度特征，将上述特征与多个定义动作均进行比对，得到如图6所示的待识别动作的动作类型。

Claims (6)

1.一种基于三维人体骨架的人体动作实时识别方法，其特征在于，具体按照下述方法进行：
步骤1，确定Kinect的安置角度；
步骤2，根据三维人体骨架定义人体基本动作，得到多个定义动作；具体按照下述步骤进行：
步骤2.1，使用Kinect对人体基本动作进行三维人体骨架追踪，得到人体深度视频和骨骼视频，将所述人体深度视频分解为多帧人体深度图像，所述骨骼视频分解为多帧骨骼图像；然后将相应的人体深度图像和骨骼图像融合，得到多帧融合图像；
步骤2.2，提取每帧所述融合图像中的骨骼特征，提取骨骼特征中的关节点位置特征、空间位置特征和关节角度特征，然后定义人体基本动作，得到多个定义动作；具体按照下述方法定义人体基本动作：
①抬左手/抬右手
右手关节点F10的Y轴坐标大于髋中心关节点F0的Y轴坐标即为抬右手动作；
左手关节点F11的Y轴坐标大于髋中心关节点F0的Y轴坐标即为抬左手动作；
②原地踏步
分别计算左膝关节点F5、右膝关节点F6在多帧融合图像中Y轴方向上的累积距离：
Figure FDA0003401478100000021
Figure FDA0003401478100000022
其中,yL为左膝关节点F5在多帧融合图像中Y轴方向上的累积距离，yR为右膝关节点F6在多帧融合图像中Y轴方向上的累积距离，ykL表示第k帧融合图像中左膝关节点F5的Y轴坐标，ykR表示第k帧融合图像中右膝关节点F6的Y轴坐标；
计算左膝关节点F5、右膝关节点F6在多帧融合图像中Y轴方向上的距离和disY：
disY＝yL+yR (14)
计算相邻的两帧融合图像中髋中心关节点的距离：
Figure FDA0003401478100000023
多帧融合图像中髋中心关节点的累计距离为：
Figure FDA0003401478100000024
若：
disY>1.6 (17)
accDistance<0.8 (18)
则定义该动作为原地踏步；
③抬左腿/抬右腿
若左膝关节点F5和右膝关节点F6的坐标满足：
yKR-yKL≥0.18 (19)
则该动作为抬右腿动作，yKR为左膝关节F5的Y轴坐标，yKL为右膝关节点F6的Y轴坐标；
若左膝关节点F5和右膝关节点F6的坐标满足：
yKL-yKR≥0.18 (20)
则该动作为抬左腿动作；
④弯腰
若融合图像中髋中心关节点和脊柱关节点的坐标满足：
|zSB-zSM|>0.2 (21)
则该动作为弯腰动作，其中zSB为髋中心关节点Z轴的坐标值，zSM为脊柱关节点Z轴的坐标值；
⑤晃头
计算融合图像中头部关节点F19、脊柱关节点F9和右肩关节F16组成的关节夹角的余弦值cosSR：
Figure FDA0003401478100000031
其中，DisHSS为头部关节点F19与脊柱关节点F9之间的欧式距离，DisSSSR为脊柱关节点F9与右肩关节F16之间的欧氏距离，DisHSR为头部关节点F19与右肩关节F16之间的欧氏距离；
计算融合图像中头部关节点F19、脊柱关节点F9和左肩关节点F17组成的关节夹角的余弦值：
Figure FDA0003401478100000032
其中，DisSSSL为脊柱关节点F9与左肩关节点F17之间的欧氏距离，DisHSL为头部关节点F19与左肩关节点F17之间的欧氏距离；
若：
0.17<cosSR<0.98 (24)
且
0.17<cosSL<0.98 (25)
则该动作为晃头动作；
⑥行走
相邻的两帧融合图像中髋中心关节点F0在XZ平面上的距离disXZ为：
Figure FDA0003401478100000041
其中，xk为第k帧融合图像中髋中心关节点F0的X轴坐标，zk为第k帧融合图像中髋中心关节点F0的Z轴坐标；
则在多帧融合图像中髋中心关节点在XZ平面上的该累积距离accdisXZ为：
Figure FDA0003401478100000042
若髋中心关节点在XZ平面上的该累积距离满足：
accdisXZ>0.6 (28)
则该动作为行走动作；
⑦左侧下腰/右侧下腰
若髋中心关节点的坐标和脊柱关节点的坐标满足：
|xSB-xSM|≥0.15 (29)
xSB-xSM>0 (30)
则该动作为左侧下腰动作，其中xSB为髋中心关节点X轴上的坐标，
xSM为脊柱关节点X轴上的坐标；
若髋中心关节点的坐标和脊柱关节点的坐标满足：
|xSB-xSM|≥0.15 (31)
xSB-xSM<0 (39)
则该动作为右侧下腰动作；
⑧左移/右移
计算多帧融合图像中脊柱关节点在X轴上的累计距离disMove：
若多帧融合图像中脊柱关节点在X轴上的累计距离满足：
disMove>0.4 (40)
则该动作为右移动作；
若多帧融合图像中脊柱关节点在X轴上的累计距离满足：
disMove<-0.4 (41)
则该动作为左移动作；
⑨上跳
计算多帧融合图像中左脚关节点F1和右脚关节点F2在Y轴方向累计距离，若多帧融合图像中左脚关节点F1和右脚关节点F2的累计距离均大于0.12，则该动作为上跳动作；
步骤3，利用Kinect获取待识别人体动作，获取待识别人体动作的动作特征，将待识别人体动作与定义动作进行特征匹配，进行待识别人体动作的识别。
2.根据权利要求1所述的一种基于三维人体骨架的人体动作实时识别方法，其特征在于，所述步骤1中具体按照下述方法确定Kinect的安置角度：
根据人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角：
当人体所在平面的法向量和Kinect镜头平面的法向量都指向人体所在平面的法向量和Kinect镜头平面之间或者是人体所在平面的法向量和Kinect镜头平面的法向量都指向人体所在平面的法向量和Kinect镜头平面之外，则人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角为：
Figure FDA0003401478100000061
其中，
Figure FDA0003401478100000062
为人体所在平面的法向量，
Figure FDA0003401478100000063
为Kinect镜头平面的法向量；
当人体所在平面的法向量和Kinect镜头平面的法向量中，一个指向人体所在平面的法向量和Kinect镜头平面之间，另一个指向人体所在平面的法向量和Kinect镜头平面之外，则人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角为：
Figure FDA0003401478100000064
3.根据权利要求1所述的一种基于三维人体骨架的人体动作实时识别方法，其特征在于，所述步骤2.1中先将每帧人体深度图像进行预处理，将每帧人体深度图像利用二值化思想进行处理，将人体深度图像中人体的颜色设定为黑色，将除人体外的颜色设定为白色后，再将预处理后的人体深度图像与相应的骨骼图像融合。
4.根据权利要求1所述的一种基于三维人体骨架的人体动作实时识别方法，其特征在于，所述步骤2.2中，具体按照下述方法提取每帧融合图像的空间位置特征：
步骤2.2.1，提取每帧融合图像中的人体的左脚关节点F1、右脚关节点F2、左脚踝关节点F3、右脚踝关节点F4、左膝关节点F5、右膝关节点F6、左髋关节点F7、右髋关节点F8、髋中心关节点F0、脊柱关节点F9、右手关节点F10、左手关节点F11、右手腕关节点F12、左手腕关节点F13、左肘关节点F14、右肘关节点F15、右肩关节点F16、左肩关节点F17、颈关节点F18和头部关节点F19的空间位置，以髋中心关节点为中心节点，得到初始空间位置特征计算公式：
M＝Fn-F0 (3)
步骤2.2.2，分别计算每个关节点Fn的X轴坐标与髋中心关节点F0的X轴坐标的差值，每个关节点Fn的Y轴坐标与髋中心关节点F0的Y轴坐标的差值，每个关节点Fn的Z轴坐标与髋中心关节点F0的Z轴坐标的差值：
Figure FDA0003401478100000071
其中，n＝1，2，3， ...，Q，Q＝19，
Figure FDA0003401478100000072
为关节点Fn在第i帧融合图像中的X轴坐标，
Figure FDA0003401478100000073
为髋关节中心点的X轴坐标；
Figure FDA0003401478100000074
其中，
Figure FDA0003401478100000075
为关节点Fn在第i帧融合图像中的Y轴坐标，
Figure FDA0003401478100000076
为髋关节中心点的Y轴坐标；
Figure FDA0003401478100000077
其中，
Figure FDA0003401478100000078
为关节点Fn在第i帧融合图像中的Z轴坐标，
Figure FDA0003401478100000079
为髋关节中心点的Z轴坐标；
步骤2.2.3，分别计算每帧融合图像的X轴差值向量、Y轴差值向量和Z轴差值向量，并根据每帧融合图像的X轴差值向量、Y轴差值向量和Z轴差值向量得到每帧融合图像的初始空间位置特征：
Figure FDA0003401478100000081
Figure FDA0003401478100000082
Figure FDA0003401478100000083
Figure FDA0003401478100000084
其中，
Figure FDA0003401478100000085
为第i帧融合图像在X轴的差值向量，
Figure FDA0003401478100000086
为第i帧融合图像在Y轴的差值向量，
Figure FDA0003401478100000087
为第i帧融合图像在Z轴的差值向量，Mi为每帧融合图像的初始空间位置特征；
步骤2.2.4，将每帧融合图像的特征向量均进行归一化处理，得到每帧融合图像的空间位置特征M'i：
Figure FDA0003401478100000088
其中，
Figure FDA0003401478100000089
(x0,y0,z0)为髋中心关节点的坐标，(xi,yi,zi)为其他关节点中任一关节点的坐标。
5.根据权利要求1所述的一种基于三维人体骨架的人体动作实时识别方法，其特征在于，所述步骤2.2中具体按照下述方法提取每帧融合图像中的所有关节角度特征：
步骤a，得到组成每个关节角度的第一关节向量和第二关节向量：
根据组成第一关节向量的两个关节点的坐标得到第一关节向量；
根据组成第二关节向量的两个关节点的坐标得到第一关节向量；
步骤b，根据第一关节向量和第二关节向量得到第一关节向量和第二关节向量的关节角度。
6.根据权利要求1所述的一种基于三维人体骨架的人体动作实时识别方法，其特征在于，所述步骤3具体按照下述步骤进行：
步骤3.1，使用Kinect对待识别动作进行三维人体骨架追踪，得到待识别人体深度视频和待识别骨骼视频，将所述待识别人体深度视频分解为多帧待识别人体深度图像，所述待识别骨骼视频分解为多帧待识别骨骼图像，然后将相应的待识别人体深度图像和待识别骨骼图像融合，得到多帧待识别融合图像；
步骤3.2，提取每帧所述待识别融合图像中的骨骼特征，提取骨骼特征中的关节点位置特征、空间位置特征和关节角度特征，将上述特征与多个定义动作均进行比对，得到待识别动作的动作类型。
CN201810916374.6A 2018-08-13 2018-08-13 一种基于三维人体骨架的人体基本动作实时识别方法 Active CN109344694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810916374.6A CN109344694B (zh) 2018-08-13 2018-08-13 一种基于三维人体骨架的人体基本动作实时识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810916374.6A CN109344694B (zh) 2018-08-13 2018-08-13 一种基于三维人体骨架的人体基本动作实时识别方法

Publications (2)

Publication Number Publication Date
CN109344694A CN109344694A (zh) 2019-02-15
CN109344694B true CN109344694B (zh) 2022-03-22

Family

ID=65294123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810916374.6A Active CN109344694B (zh) 2018-08-13 2018-08-13 一种基于三维人体骨架的人体基本动作实时识别方法

Country Status (1)

Country Link
CN (1) CN109344694B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948579B (zh) * 2019-03-28 2020-01-24 广州凡拓数字创意科技股份有限公司 一种人体肢体语言识别方法及系统
CN110210284A (zh) * 2019-04-12 2019-09-06 哈工大机器人义乌人工智能研究院 一种人体姿态行为智能评价方法
CN110215216B (zh) * 2019-06-11 2020-08-25 中国科学院自动化研究所 基于骨骼关节点分区域分层次的行为识别方法、系统
CN110290352A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 监控方法及装置、电子设备以及存储介质
CN110689609B (zh) * 2019-09-27 2020-11-06 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112270276B (zh) * 2020-11-02 2022-05-06 重庆邮电大学 一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法
CN113065505B (zh) * 2021-04-15 2023-05-09 中国标准化研究院 身体动作快速识别方法及系统
CN114267088B (zh) * 2022-03-02 2022-06-07 北京中科睿医信息科技有限公司 一种步态信息的处理方法、装置及电子设备
CN116434340A (zh) * 2023-04-19 2023-07-14 常熟理工学院 肢体动作识别方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8929600B2 (en) * 2012-12-19 2015-01-06 Microsoft Corporation Action recognition based on depth maps
CN105930767A (zh) * 2016-04-06 2016-09-07 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN107180235A (zh) * 2017-06-01 2017-09-19 陕西科技大学 基于Kinect的人体动作识别算法
CN107301370A (zh) * 2017-05-08 2017-10-27 上海大学 一种基于Kinect三维骨架模型的肢体动作识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160042227A1 (en) * 2014-08-06 2016-02-11 BAE Systems Information and Electronic Systems Integraton Inc. System and method for determining view invariant spatial-temporal descriptors for motion detection and analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8929600B2 (en) * 2012-12-19 2015-01-06 Microsoft Corporation Action recognition based on depth maps
CN105930767A (zh) * 2016-04-06 2016-09-07 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN107301370A (zh) * 2017-05-08 2017-10-27 上海大学 一种基于Kinect三维骨架模型的肢体动作识别方法
CN107180235A (zh) * 2017-06-01 2017-09-19 陕西科技大学 基于Kinect的人体动作识别算法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Human Action Recognition via Skeletal and Depth based Feature Fusion;Meng Li 等;《http://nrl.northumbria.ac.uk/id/eprint/28250/1/mig2016action[1].pdf》;20161231;全文 *
Real-time Skeleton-tracking-based Human Action Recognition Using Kinect Data;Georgios Th. Papadopoulos 等;《https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.720.9746&rep=rep1&type=pdf》;20141231;全文 *
基于人体三维骨架模型的特定动作识别;扆泽林;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180215(第2期);正文第22-42页 *
基于图像特征和骨架特征融合的Kinect人体动作识别;刘拴朋;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315(第3期);正文第16,18,21,34页 *
扆泽林.基于人体三维骨架模型的特定动作识别.《中国优秀硕士学位论文全文数据库 信息科技辑》.2018,(第2期),第I138-2518页. *

Also Published As

Publication number Publication date
CN109344694A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN109344694B (zh) 一种基于三维人体骨架的人体基本动作实时识别方法
CN111144217B (zh) 一种基于人体三维关节点检测的动作评价方法
CN106022213B (zh) 一种基于三维骨骼信息的人体动作识别方法
US10417775B2 (en) Method for implementing human skeleton tracking system based on depth data
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
Uddin et al. Human activity recognition using body joint‐angle features and hidden Markov model
CN104200200B (zh) 融合深度信息和灰度信息实现步态识别的系统及方法
CN111027432B (zh) 基于步态特征的视觉跟随机器人方法
CN114067358A (zh) 一种基于关键点检测技术的人体姿态识别方法及系统
CN105664462A (zh) 基于人体姿态估计算法的辅助训练系统
CN102609683A (zh) 一种基于单目视频的人体关节自动标注方法
Yang et al. Human upper limb motion analysis for post-stroke impairment assessment using video analytics
CN106295544A (zh) 一种基于Kinect的视角不变性步态识别方法
CN117671738B (zh) 基于人工智能的人体姿态识别系统
CN102156994B (zh) 一种单视角无标记人体运动跟踪的关节定位方法
CN106909890A (zh) 一种基于部位聚类特征的人体行为识别方法
Krzeszowski et al. Gait recognition based on marker-less 3D motion capture
CN109255293A (zh) 基于计算机视觉的模特走秀台步评价方法
Xu et al. Robust abnormal human-posture recognition using OpenPose and Multiview cross-information
CN105260718B (zh) 一种基于光流场的步态识别方法
CN103927524A (zh) 一种多角度的步态周期检测方法
CN104331705A (zh) 融合时空信息的步态周期自动检测方法
Bouchrika et al. Markerless feature extraction for gait analysis
Kong et al. Essential human body points tracking using kalman filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Ning Xiaojuan

Inventor after: Wang Yinghui

Inventor after: Li Tianyang

Inventor after: Li Jianming

Inventor before: Wang Yinghui

Inventor before: Li Tianyang

Inventor before: Li Jianming

Inventor before: Ning Xiaojuan

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant