CN109766782B - 基于svm的实时肢体动作识别方法 - Google Patents

基于svm的实时肢体动作识别方法 Download PDF

Info

Publication number
CN109766782B
CN109766782B CN201811566862.5A CN201811566862A CN109766782B CN 109766782 B CN109766782 B CN 109766782B CN 201811566862 A CN201811566862 A CN 201811566862A CN 109766782 B CN109766782 B CN 109766782B
Authority
CN
China
Prior art keywords
joint
angle
action
acquiring
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811566862.5A
Other languages
English (en)
Other versions
CN109766782A (zh
Inventor
叶子杰
孙瑜
吴海涛
熊浩
董英杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201811566862.5A priority Critical patent/CN109766782B/zh
Publication of CN109766782A publication Critical patent/CN109766782A/zh
Application granted granted Critical
Publication of CN109766782B publication Critical patent/CN109766782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于SVM的实时肢体动作识别方法，包括以下步骤：获取用户深度图像；获取深度图像三维坐标生成关节坐标模型；获取相邻两帧的每一关节角的差值作为动作特征；采用支持向量机模型训练算法，将动作特征进行测试分类并输出标签；利用向量机模型识别肢体动作。

Description

基于SVM的实时肢体动作识别方法
技术领域
本发明涉及一种动态肢体动作识别技术，特别是一种基于SVM的实时肢体动作识别方法。
背景技术
近年来手势识别在许多领域得到了应用，特别是在人机交互领域。与键盘和鼠标相比，身体姿势被认为是更为自然和灵活的输入。按照获取手势信息的途径不同，手势识别可以分为两种，一种是基于非视觉的识别，如数据手套，另一种是基于视觉的识别。最近越来越多的研究集中在基于视觉的手势识别上，一方面对于用户来说更加舒适，另一方面基于视觉的手势识别具有更好的辨识度。
随着Kinect传感器的的问世，动静态深度图像识别使的视觉识别在人机交互领域扮演着越来越重要的角色。实时肢体动作的识别，在手势识别的基础上具有更高层次的应用，通过对用户多种肢体动作，如抬手、挥臂等肢体动作的识别，解决了之前局限的动静态手势识别问题，将手势延伸到肢体动作，对人机交互领域具有重大意义，可应用于多种场景。
发明内容
本发明的目的在于提供一种基于SVM的实时肢体动作识别方法，可以识别肢体动作。
实现本发明目的的技术方案为：一种基于SVM的实时肢体动作识别方法，包括以下步骤：
获取用户深度图像；
获取深度图像三维坐标生成关节坐标模型；
获取相邻两帧的每一关节角的差值作为动作特征；
采用支持向量机模型训练算法，将动作特征进行测试分类并输出标签；
利用向量机模型识别肢体动作。
本发明与现有技术相比，具有以下优点：(1)相比于传统离线识别，本方法通过对用户的肢体动作进行实时在线检测，输出识别结果并及时响应用户需求，实现更为自然的人机交互方式；(2)基于SVM分类判定后输出识别结果及时响应用户需求，实现更为自然的人机交互方式。
下面结合说明书附图对本发明作进一步描述。
附图说明
图1为本发明所提供的实时肢体动作识别方法的框架流程示意图。
图2为本发明所提供的实时肢体动作识别方法基于关节点坐标的角度提取方法示意图。
图3为本发明所提供肢体动作识别方法支持向量机模型框架流程示意图。
具体实施方式
结合图1，一种基于SVM的实时肢体动作识别方法，包括以下步骤：
步骤1，基于Kinect传感器，获取用户深度图像；
步骤2，获取深度图像中关节的三维坐标生成关节坐标模型；
步骤3，获取相邻两帧每一关节角的差值作为动作特征；
步骤4，将动作特征输入支持向量机模型中进行训练，得到不同肢体动作的标签；
步骤5，利用支持向量机和标签识别肢体动作。
利用骨骼跟踪技术，可以很方便的获取骨骼坐标数据，生成骨骼坐标模型。人体一共拥有若干个骨骼坐标点来代表身体部位的关节点，如头部、颈部、肩部、膝盖等，其中每个关节点都由一组三维坐标表示。骨骼跟踪技术将身体划分为多个部分，用不同的颜色表示，并定义表示身体各部分的标签。
步骤2中，通过式(1)获取深度图像的三维坐标(u,v,x)
Figure BDA0001912976410000021
其中，dI(x)是深度图像I中像素x的深度，θ＝(u,v)为u和v的偏移量。通过
Figure BDA0001912976410000022
对其进行归一化处理是为了使得提取出来的特征具有深度不变性。通过划分出的各个身体部分信息获取各关节点位置。
结合图2，步骤3中本发明所提供的实时肢体动作识别方法采用的是基于关节点坐标的角度提取方法。对于三维坐标已知的骨骼坐标点，我们可以建立角度模型，即对其中部分特殊节点，计算它们的角度关系。这些角度信息反应了节点间的位置关系，也反应了运动幅度大小。将角度分为两种，第一种角度被称为绝对拍摄角度(absolute camera angles)，共12个，它们由“零坐标关节”，肩中心、髋关节、手臂和腿关节等共同组成，通过这12个角度作为参照物，可以使得常规角度不受相机拍摄位置的影响，同时也可保持旋转不变性。第二种角度是常规角度，也是我们真正用来表示动作的角度，共23个。其中包括12个实际骨骼关节角度，例如肩关节、肘关节、腕关节等。另外11个为自定义的表征动作特征的角度，例如踝-臀角和腕-臀角等。通过骨骼坐标点。可以建立角度模型，对其中部分特殊节点，计算他们的角度关系，获取动作特征向量。
结合图3，步骤4的如下：步骤一、选取径向基函数作为核函数；步骤二、设计一28个的SVM二分类器，对8种手势之间进行两两比较；步骤三、选取训练集MSRC-12；步骤四、提取用户所做动作的特征向量；步骤五、利用关节角模型进行训练；步骤六、与预设动作模板进行比较，输出结果。
每隔t时间对表示当前时刻动作的特征向量用SVM分类器进行归类，看是否属于之前预设的几类动作。
利用核函数的选取，采用多手势分类策略，在获取训练样本后，提取动作点的特征向量，由关节角度模型进行训练，与预设模板动作进行比较，输出结果。
通过构建SVM分类器，将肢体动作的特征向量通过骨骼跟踪技术获取，实时检测使用者与训练集模板之间的数据比较，进行分类响应并输出结果。

Claims (3)

1.一种基于SVM的实时肢体动作识别方法，其特征在于，包括以下步骤：
获取用户深度图像，具体为：
通过式(1)获取深度图像的三维坐标(u,v,x)
Figure FDA0003767704890000011
其中，dI(x)是深度图像I中像素x的深度，θ＝(u,v)为u和v的偏移量；
获取深度图像中三维坐标生成关节坐标模型；
获取相邻两帧的每一关节角的差值作为动作特征；
采用支持向量机模型训练算法，将动作特征进行测试分类并输出标签；
利用向量机模型识别肢体动作。
2.根据权利要求1所述的方法，其特征在于，关节角分为绝对拍摄角度、实际骨骼关节角度、表征动作特征的角度；其中
绝对拍摄角度对应的零坐标关节具有旋转不变性，
实际骨骼关节角度对应实际关节的角度，
表征动作特征的角度对应自定义的非实际关节角度。
3.根据权利要求2所述的方法，其特征在于，选取12个零坐标关节，12个实际关节，自定义11个非实际关节。
CN201811566862.5A 2018-12-20 2018-12-20 基于svm的实时肢体动作识别方法 Active CN109766782B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811566862.5A CN109766782B (zh) 2018-12-20 2018-12-20 基于svm的实时肢体动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811566862.5A CN109766782B (zh) 2018-12-20 2018-12-20 基于svm的实时肢体动作识别方法

Publications (2)

Publication Number Publication Date
CN109766782A CN109766782A (zh) 2019-05-17
CN109766782B true CN109766782B (zh) 2022-09-27

Family

ID=66450798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811566862.5A Active CN109766782B (zh) 2018-12-20 2018-12-20 基于svm的实时肢体动作识别方法

Country Status (1)

Country Link
CN (1) CN109766782B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110919650A (zh) * 2019-11-20 2020-03-27 江苏大学 一种基于svm的低延时抓取遥操作系统
CN111898571A (zh) * 2020-08-05 2020-11-06 北京华捷艾米科技有限公司 动作识别系统及方法
CN111933280A (zh) * 2020-09-15 2020-11-13 广东电网有限责任公司电力科学研究院 一种员工心理健康状态评估方法及装置
CN112989996A (zh) * 2021-03-10 2021-06-18 上海逸动医学科技有限公司 一种关于膝关节运动的动态识别方法
CN114299602A (zh) * 2021-11-09 2022-04-08 北京九州安华信息安全技术有限公司 一种微幅度动作图像处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930773A (zh) * 2016-04-13 2016-09-07 中国农业大学 动作识别方法及装置
CN106384093A (zh) * 2016-09-13 2017-02-08 东北电力大学 一种基于降噪自动编码器和粒子滤波的人体动作识别方法
CN108573231A (zh) * 2018-04-17 2018-09-25 中国民航大学 基于运动历史点云生成的深度运动图的人体行为识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930773A (zh) * 2016-04-13 2016-09-07 中国农业大学 动作识别方法及装置
CN106384093A (zh) * 2016-09-13 2017-02-08 东北电力大学 一种基于降噪自动编码器和粒子滤波的人体动作识别方法
CN108573231A (zh) * 2018-04-17 2018-09-25 中国民航大学 基于运动历史点云生成的深度运动图的人体行为识别方法

Also Published As

Publication number Publication date
CN109766782A (zh) 2019-05-17

Similar Documents

Publication Publication Date Title
CN109766782B (zh) 基于svm的实时肢体动作识别方法
Yao et al. Contour model-based hand-gesture recognition using the Kinect sensor
Dong et al. American sign language alphabet recognition using microsoft kinect
Hasan et al. RETRACTED ARTICLE: Static hand gesture recognition using neural networks
Murthy et al. A review of vision based hand gestures recognition
Ball et al. Unsupervised clustering of people from'skeleton'data
Murthy et al. Hand gesture recognition using neural networks
Ahuja et al. Static vision based Hand Gesture recognition using principal component analysis
Zhang et al. A novel method for user-defined human posture recognition using Kinect
Bilal et al. Vision-based hand posture detection and recognition for Sign Language—A study
Yang et al. Hand gesture recognition: An overview
Lamari et al. Hand alphabet recognition using morphological PCA and neural networks
Desai et al. Human Computer Interaction through hand gestures for home automation using Microsoft Kinect
KR20120089948A (ko) Ｍｈｉ의 형태 정보를 이용한 실시간 동작 인식시스템 및 실시간 동작 인식 방법
Pradhan et al. A hand gesture recognition using feature extraction
Elakkiya et al. Intelligent system for human computer interface using hand gesture recognition
Chaudhary et al. A vision-based method to find fingertips in a closed hand
Xu et al. A novel method for hand posture recognition based on depth information descriptor
Kim et al. Human Activity Recognition as Time‐Series Analysis
Wang et al. Hand motion and posture recognition in a network of calibrated cameras
Abdallah et al. An overview of gesture recognition
Hamissi et al. Real-time hand gesture recognition based on the depth map for human robot interaction
Thomas et al. A comprehensive review on vision based hand gesture recognition technology
Itkarkar et al. A study of vision based hand gesture recognition for human machine interaction
Desai Segmentation and recognition of fingers using Microsoft Kinect

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant