CN105999670B - 基于kinect的太极拳动作判定和指导系统及其指导方法 - Google Patents

基于kinect的太极拳动作判定和指导系统及其指导方法 Download PDF

Info

Publication number
CN105999670B
CN105999670B CN201610374146.1A CN201610374146A CN105999670B CN 105999670 B CN105999670 B CN 105999670B CN 201610374146 A CN201610374146 A CN 201610374146A CN 105999670 B CN105999670 B CN 105999670B
Authority
CN
China
Prior art keywords
information
bone
kinect
posture
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610374146.1A
Other languages
English (en)
Other versions
CN105999670A (zh
Inventor
尹燕芳
孙农亮
任国强
刘明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN201610374146.1A priority Critical patent/CN105999670B/zh
Publication of CN105999670A publication Critical patent/CN105999670A/zh
Application granted granted Critical
Publication of CN105999670B publication Critical patent/CN105999670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B69/004—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0605—Decision makers and devices using detection means facilitating arbitration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于kinect的太极拳动作判定和指导系统及其指导方法，该系统包括kinect深度传感器数据获取模块，骨骼信息滤波模块，特征信息提取模块，姿态判定模块，关键姿态纠正指导模块和一组动作的连贯性标准性判定模块。本发明实现了太极拳动作的判定和指导，且通过Kinect深度传感器的设计，在提供图像信息的同时提供了深度信息，增加了动作姿态识别的精准性。

Description

基于kinect的太极拳动作判定和指导系统及其指导方法
技术领域
本发明涉及一种太极拳动作判定系统，具体涉及一种基于kinect的太极拳动作判定和指导系统及其指导方法。
背景技术
太极拳是作为我国的传统体育项目，其动作缓慢柔和，进行太极拳锻炼，可以使中老年人经络舒畅，新陈代谢旺盛，体质、机能得到增强，如果动作僵硬、动作姿态不标准往往起不到其锻炼的效果。但由于太极拳教师资源欠缺，往往得不到专业老师的评定。因此如何自动对太极拳动作进行判定并能提供指导性意见，是一个重要的研究课题。
发明内容
本发明的目的在于提供了一种基于kinect的太极拳动作判定和指导系统及其指导方法，实现了太极拳动作的判定和指导，且通过Kinect深度传感器的设计，在提供图像信息的同时提供了深度信息，增加了动作姿态识别的精准性。
为实现上述目的，本发明采取的技术方案为：
基于kinect的太极拳动作判定和指导系统，包括
kinect深度传感器数据获取模块，用于进行人体深度信息以及骨骼信息获取；
骨骼信息滤波模块，用于消除锁获得骨骼信息的抖动和噪声干扰；
特征信息提取模块，用于计算获取所有骨骼对的角度旋转移动SO3矩阵信息；
姿态判定模块，用于将计算所得的骨骼对的角度旋转移动SO3矩阵信息与录制的标准姿态信息进行比较，如果差距小于某个门限，则认为通过，否则认为不通过；
关键姿态纠正指导模块，用于将与标准姿态差距最大的骨骼对信息进行分析，根据骨骼旋转以及位移信息提出修正意见；
一组动作的连贯性标准性判定模块，用于将骨骼信息滤波模块所得的骨骼信息规范化后，输入所构建的自编码和RNN相结合的深度神经网络进行连贯性标准性的判定。
上述的基于kinect的太极拳动作判定和指导系统的指导方法，其特征在于，包括单个关键姿态判定以及指导方法和一套连续动作判定方法。
其中，所述单个关键姿态判定以及指导方法包括如下步骤：
S1、由专业级对关键动作进行示范，并利用kinect深度传感器获取该姿态的骨骼信息；
S2、对该姿态骨骼信息录制多帧，进行滤波去噪和规范化处理；
S3、对骨骼理解为刚性物体，计算获取所述骨骼对的角度旋转移动SO3矩阵信息，并进行保存；
S4、由被检测者对表演该姿态，并利用kinect深度传感器获取该姿态的骨骼信息并进行滤波去噪和规范化处理；
S5、计算获取所有骨骼对的角度旋转移动SO3矩阵信息，并与录制的标准姿态信息进行比较，如果差距小于某个门限，则认为通过，否则，则认为不通过；
S6、根据上步骤判定结果，如果不通过，则取与标准姿态差距最大的骨骼对信息进行分析，根据骨骼旋转以及位移信息提出修正意见，检测者根据修正意见调整姿态后，重复上述步骤，直至判定结果为通过。
其中，所述一套连续动作判定方法包括如下步骤：
S1、由专业级、业余级、以及入门级多人多次表演太极拳，并利用kinect深度传感器获取信息，提取出动作连续的骨骼特征信息；
S2、对骨骼特征信息进行滤波处理，并消除抖动及噪声数据；
S3、对处理后的骨骼信息进行规范化，并将该信息计入文件，形成样本数据；
S4、将所得的样本数据进行深度网络参数优化调整后，构建自编码和RNN相结合的深度神经网络；
S5、利用kinect深度传感器获取表演者深度信息，提取出骨骼特征信息；
S6、对骨骼特征信息进行滤波处理，消除抖动以及噪声数据，并规范化其骨骼信息；
S7、将步骤S6处理后的信息作为输入，进入所构建的自编码和RNN相结合的深度神经网络，根据其输出类别以及其对应的概率，计算得到评价分数。
本发明具有以下有益效果：
实现了太极拳动作的判定和指导，且通过Kinect深度传感器的设计，在提供图像信息的同时提供了深度信息，增加了动作姿态识别的精准性，对太极拳运动的自学以及普及具有广泛的意义。
附图说明
图1为本发明实施例单个关键姿态判定以及指导方法中步骤一的示意图。
图2为本发明实施例单个关键姿态判定以及指导方法中步骤二的示意图。
图3为本发明实施例单个关键姿态判定以及指导方法中步骤三的示意图。
图4为本发明实施例一套连续动作判定方法中步骤一的示意图。
图5为本发明实施例一套连续动作判定方法中步骤二的示意图。
图6为本发明实施例一套连续动作判定方法中步骤三的示意图。
具体实施方式
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于kinect的太极拳动作判定和指导系统，包括
kinect深度传感器数据获取模块，用于进行人体深度信息以及骨骼信息获取；
骨骼信息滤波模块，用于消除锁获得骨骼信息的抖动和噪声干扰；
特征信息提取模块，用于计算获取所有骨骼对的角度旋转移动SO3矩阵信息；
姿态判定模块，用于将计算所得的骨骼对的角度旋转移动SO3矩阵信息与录制的标准姿态信息进行比较，如果差距小于某个门限，则认为通过，否则认为不通过；
关键姿态纠正指导模块，用于将与标准姿态差距最大的骨骼对信息进行分析，根据骨骼旋转以及位移信息提出修正意见；
一组动作的连贯性标准性判定模块，用于将骨骼信息滤波模块所得的骨骼信息规范化后，输入所构建的自编码和RNN相结合的深度神经网络进行连贯性标准性的判定。
本发明实施例还提供了一种基于kinect的太极拳动作判定和指导系统的指导方法，包括单个关键姿态判定以及指导方法和一套连续动作判定方法。
如图1-图3所示，所述单个关键姿态判定以及指导方法包括如下步骤：
步骤一：录制关键姿态信息
S1、由专业级对关键动作进行示范，并利用kinect深度传感器获取该姿态的骨骼信息；
S2、对该姿态骨骼信息录制多帧，进行滤波去噪和规范化处理；
S3、对骨骼理解为刚性物体，计算获取所述骨骼对的角度旋转移动SO3矩阵信息，并进行保存；
步骤二、关键姿态判定，判定结果为过和不过
S4、由被检测者对表演该姿态，并利用kinect深度传感器获取该姿态的骨骼信息并进行滤波去噪和规范化处理；
S5、计算获取所有骨骼对的角度旋转移动SO3矩阵信息，并与录制的标准姿态信息进行比较，如果差距小于某个门限，则认为通过，否则，则认为不通过；
步骤三、关键姿态的指导，根据第二步信息，如果该姿态通不过，给出提示信息并继续进行检测和提示
S6、根据上步骤判定结果，如果不通过，则取与标准姿态差距最大的骨骼对信息进行分析，根据骨骼旋转以及位移信息提出修正意见，检测者根据修正意见调整姿态后，重复上述步骤，直至判定结果为通过。
如图4-图6所示，所述一套连续动作判定方法包括如下步骤：
步骤一、样本采集
S1、由专业级、业余级、以及入门级多人多次表演太极拳，并利用kinect深度传感器获取信息，提取出动作连续的骨骼特征信息；
S2、对骨骼特征信息进行滤波处理，并消除抖动及噪声数据；
S3、对处理后的骨骼信息进行规范化，并将该信息计入文件，形成样本数据；
步骤二、利用录制的样本信息进行网络参数训练，构建自编码和RNN相结合的深度神经网络，输入为样本信息，输出为专业级，业余级，入门不合格级三个分类；
S4、将所得的样本数据进行深度网络参数优化调整后，构建自编码和RNN相结合的深度神经网络；
步骤三、对检测者进行动作判定
S5、利用kinect深度传感器获取表演者深度信息，提取出骨骼特征信息；
S6、对骨骼特征信息进行滤波处理，消除抖动以及噪声数据，并规范化其骨骼信息；
S7、将步骤S6处理后的信息作为输入，进入所构建的自编码和RNN相结合的深度神经网络，根据其输出类别以及其对应的概率，计算得到评价分数。
本具体实施实现了太极拳动作的判定和指导，且通过Kinect深度传感器的设计，在提供图像信息的同时提供了深度信息，增加了动作姿态识别的精准性，对太极拳运动的自学以及普及具有广泛的意义。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.基于kinect的太极拳动作判定和指导系统，其特征在于，包括
kinect深度传感器数据获取模块，用于进行人体深度信息以及骨骼信息获取；
骨骼信息滤波模块，用于消除锁获得骨骼信息的抖动和噪声干扰；
特征信息提取模块，用于计算获取所有骨骼对的角度旋转移动SO3矩阵信息；
姿态判定模块，用于将计算所得的骨骼对的角度旋转移动SO3矩阵信息与录制的标准姿态信息进行比较，如果差距小于某个门限，则认为通过，否则认为不通过；
关键姿态纠正指导模块，用于将与标准姿态差距最大的骨骼对信息进行分析，根据骨骼旋转以及位移信息提出修正意见；
一组动作的连贯性标准性判定模块，用于将骨骼信息滤波模块所得的骨骼信息规范化后，输入所构建的自编码和RNN相结合的深度神经网络进行连贯性标准性的判定。
2.如权利要求1所述的基于kinect的太极拳动作判定和指导系统的指导方法，其特征在于，包括单个关键姿态判定以及指导方法和一套连续动作判定方法。
3.如权利要求2所述的基于kinect的太极拳动作判定和指导系统的指导方法，其特征在于，所述单个关键姿态判定以及指导方法包括如下步骤：
S1、由专业级对关键动作进行示范，并利用kinect深度传感器获取该姿态的骨骼信息；
S2、对该姿态骨骼信息录制多帧，进行滤波去噪和规范化处理；
S3、对骨骼理解为刚性物体，计算获取所述骨骼对的角度旋转移动SO3矩阵信息，并进行保存；
S4、由被检测者对表演该姿态，并利用kinect深度传感器获取该姿态的骨骼信息并进行滤波去噪和规范化处理；
S5、计算获取所有骨骼对的角度旋转移动SO3矩阵信息，并与录制的标准姿态信息进行比较，如果差距小于某个门限，则认为通过，否则，则认为不通过；
S6、根据上步骤判定结果，如果不通过，则取与标准姿态差距最大的骨骼对信息进行分析，根据骨骼旋转以及位移信息提出修正意见，检测者根据修正意见调整姿态后，重复上述步骤，直至判定结果为通过。
4.如权利要求2所述的基于kinect的太极拳动作判定和指导系统的指导方法，其特征在于，所述一套连续动作判定方法包括如下步骤：
S1、由专业级、业余级、以及入门级多人多次表演太极拳，并利用kinect深度传感器获取信息，提取出动作连续的骨骼特征信息；
S2、对骨骼特征信息进行滤波处理，并消除抖动及噪声数据；
S3、对处理后的骨骼信息进行规范化，并将该信息计入文件，形成样本数据；
S4、将所得的样本数据进行深度网络参数优化调整后，构建自编码和RNN相结合的深度神经网络；
S5、利用kinect深度传感器获取表演者深度信息，提取出骨骼特征信息；
S6、对骨骼特征信息进行滤波处理，消除抖动以及噪声数据，并规范化其骨骼信息；
S7、将步骤S6处理后的信息作为输入，进入所构建的自编码和RNN相结合的深度神经网络，根据其输出类别以及其对应的概率，计算得到评价分数。
CN201610374146.1A 2016-05-31 2016-05-31 基于kinect的太极拳动作判定和指导系统及其指导方法 Active CN105999670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610374146.1A CN105999670B (zh) 2016-05-31 2016-05-31 基于kinect的太极拳动作判定和指导系统及其指导方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610374146.1A CN105999670B (zh) 2016-05-31 2016-05-31 基于kinect的太极拳动作判定和指导系统及其指导方法

Publications (2)

Publication Number Publication Date
CN105999670A CN105999670A (zh) 2016-10-12
CN105999670B true CN105999670B (zh) 2018-09-07

Family

ID=57091468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610374146.1A Active CN105999670B (zh) 2016-05-31 2016-05-31 基于kinect的太极拳动作判定和指导系统及其指导方法

Country Status (1)

Country Link
CN (1) CN105999670B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548675A (zh) * 2016-11-08 2017-03-29 湖南拓视觉信息技术有限公司 虚拟军事训练方法及装置
CN106971206A (zh) * 2017-04-13 2017-07-21 广东工业大学 一种护理动作考核方法及系统
CN107240049B (zh) * 2017-05-10 2020-04-03 中国科学技术大学先进技术研究院 一种沉浸式环境中远程动作教学质量的自动评价方法和系统
CN107220608B (zh) * 2017-05-22 2021-06-08 华南理工大学 一种篮球动作模型重建和防守的指导系统及方法
CN107485844B (zh) * 2017-09-27 2020-04-28 广东工业大学 一种肢体康复训练方法、系统及嵌入式设备
CN108205654B (zh) * 2017-09-30 2021-06-04 北京市商汤科技开发有限公司 一种基于视频的动作检测方法及装置
CN108256433B (zh) * 2017-12-22 2020-12-25 银河水滴科技（北京）有限公司 一种运动姿态评估方法及系统
CN108434698B (zh) * 2018-03-05 2020-02-07 西安财经学院 一种体育球类运动教学系统
CN108647644B (zh) * 2018-05-11 2021-04-06 山东科技大学 基于gmm表征的煤矿放炮不安全动作识别与判定方法
CN109568918A (zh) * 2018-12-24 2019-04-05 北京诺亦腾科技有限公司 利用传感器辅助矫正用户运动姿态方法及终端设备
CN110478883B (zh) * 2019-08-21 2021-04-13 南京信息工程大学 一种健身动作教学及矫正系统及方法
CN110751100A (zh) * 2019-10-22 2020-02-04 北京理工大学 一种体育场馆辅助训练方法与系统
CN111265835A (zh) * 2020-03-03 2020-06-12 淮安信息职业技术学院 一种投掷运动训练设备及其控制方法
CN111298419A (zh) * 2020-03-24 2020-06-19 天水师范学院 一种用于健美操队形训练装置
CN111414886A (zh) * 2020-03-28 2020-07-14 福建工程学院 一种人体动态特征的智能识别系统
CN111341040A (zh) * 2020-03-28 2020-06-26 江西财经职业学院 一种金融自助设备及其管理系统
CN111399656A (zh) * 2020-03-31 2020-07-10 兰州城市学院 一种可穿戴式计算机
CN111507979A (zh) * 2020-05-08 2020-08-07 延安大学 一种医学影像计算机辅助分析方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102727362B (zh) * 2012-07-20 2014-09-24 上海海事大学 基于体感外设手臂运动追踪的康复训练系统及其训练方法
CN103230664B (zh) * 2013-04-17 2015-07-01 南通大学 一种基于Kinect传感器的上肢运动康复训练系统及其训练方法
CN103706106B (zh) * 2013-12-30 2015-12-30 南京大学 一种基于Kinect的自适应连续动作训练方法
WO2015188268A1 (en) * 2014-06-08 2015-12-17 Hsien-Hsiang Chiu Gestural interface with virtual control layers
CN104133813B (zh) * 2014-08-11 2017-02-15 南通大学 一种基于Kinect的海军旗语训练方法
CN104200491A (zh) * 2014-08-15 2014-12-10 浙江省新华医院 一种人体运动姿态校正系统
CN105252532B (zh) * 2015-11-24 2017-07-04 山东大学 动作捕捉机器人协同柔性姿态控制的方法
CN105512621B (zh) * 2015-11-30 2019-04-09 华南理工大学 一种基于Kinect的羽毛球动作指导系统

Also Published As

Publication number Publication date
CN105999670A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
CN105999670B (zh) 基于kinect的太极拳动作判定和指导系统及其指导方法
CN108256433B (zh) 一种运动姿态评估方法及系统
CN107808146A (zh) 一种多模态情感识别分类方法
CN112766173B (zh) 一种基于ai深度学习的多模态情感分析方法及其系统
CN105559802A (zh) 一种基于注意和情感信息融合的抑郁症诊断系统及方法
Alkabbany et al. Measuring student engagement level using facial information
CN112472048B (zh) 用于心血管疾病患者脉象识别的神经网络的实现方法
CN112101123B (zh) 一种注意力检测方法及装置
CN106372595A (zh) 遮挡人脸识别方法及装置
CN109805944B (zh) 一种儿童共情能力分析系统
CN106203497A (zh) 一种基于图像质量评价的手指静脉感兴趣区域图像筛选方法
CN111403026A (zh) 一种面瘫等级评估方法
CN106667506A (zh) 一种基于皮肤电反应和瞳孔变化的测谎方法及装置
Abdulsalam et al. Emotion recognition system based on hybrid techniques
CN106529377A (zh) 一种基于图像的年龄估计方法、装置及系统
CN114565957A (zh) 基于微表情识别的意识评估方法及系统
CN108511064A (zh) 基于深度学习自动分析人体健康数据的系统
CN113506274B (zh) 基于视觉显著性差异图的用于人体认知状况的检测系统
CN110931125A (zh) 用于脑卒中的判别信号识别方法及装置
CN111881706A (zh) 活体检测、图像分类和模型训练方法、装置、设备及介质
CN117496575A (zh) 一种基于人脸监测的课堂学生状态分析方法及系统
Garg et al. Biometric authentication using soft biometric traits
CN115396769A (zh) 无线耳机及其音量调节方法
CN110353703B (zh) 基于鹦鹉学舌语言范式行为分析的孤独症评估装置及系统
CN111861875A (zh) 一种人脸美化的方法、装置、设备和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant