CN115105821A - 一种基于OpenPose的体操训练辅助系统 - Google Patents

一种基于OpenPose的体操训练辅助系统 Download PDF

Info

Publication number
CN115105821A
CN115105821A CN202210785244.XA CN202210785244A CN115105821A CN 115105821 A CN115105821 A CN 115105821A CN 202210785244 A CN202210785244 A CN 202210785244A CN 115105821 A CN115105821 A CN 115105821A
Authority
CN
China
Prior art keywords
human
gymnastics
coordinate
posture
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210785244.XA
Other languages
English (en)
Inventor
党学明
朱庆香
吕博浩
杨定壹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210785244.XA priority Critical patent/CN115105821A/zh
Publication of CN115105821A publication Critical patent/CN115105821A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647—Visualisation of executed movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0658—Position or arrangement of display
    • A63B2071/0661—Position or arrangement of display arranged on the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于OpenPose的体操训练辅助系统，包括：图像采集系统，OpenPose姿态识别算法，图像特征信息处理，人体姿态分类，人体姿态局部分析和体操运动员的动作评估系统。该系统可以准确的识别人体关键点的位置，并对肢体的角度进行准确的计算。把该系统应用到体操运动员的训练中，可以提高检测的精确度，为体操的训练提供了一个客观的评估系统，以助于指导运动员的体育训练，提高运动员训练效率。

Description

一种基于OpenPose的体操训练辅助系统
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于OpenPose的体操训练辅助系统。
背景技术
目前世界各国开展的体育竞技，已经成为各国交流文化，切磋体育技能，彰显出国家体育力量的一种方式，其中体操是体育项目中的重点项目。人体的姿态检测可以很好的应用于体操训练等方面，一个标准的训练姿态可以有效的提高运动员的水平，使用计算机技术对人体运动姿态进行检测，可以减少人眼观察的误差。
随着视频与图像在成像、采集等方面的不断成熟，为体育训练科学化、智能化提供了新的思路。通过计算机视觉来检测图像或视频中人体的运动信息以及底层特征的基础上，分析获得人体运动的姿态。
运动员可以通过该系统，观看自己的动作与标准动作的区别，快速领悟动作要领，有助于提高我国体育训练水平。本课题旨在实现对视频中运动员动作参数的实时监测与动作评估，为教练员制定针对性的训练参考方案，提升运动员训练效率。
对人体姿态的估计分为单人和多人姿态估计，对人体的关键点预测，一种是通过直接回归的方法预测关键点，另一种是基于热图的方法间接预测关键点。对多人的人体的姿态估计通常有自下而上和自上而下两种方法。自上而下的检测方法先检测出图像中的每个人，然后再计算出人体的关键点，进而进行姿态估计；自下而上的检测方法先检测出人体的关键点，然后对关键点进行分类匹配，进而连接成人体的整体姿态。
发明内容
本发明目的就是为了弥补已有技术的缺陷，提供一种基于OpenPose的体操训练辅助系统，本发明通过对人体特征信息的处理，能够有效的识别体操运动员在运动过程中的姿态问题，并对错误的肢体动作局部标注分析，指导运动员对动作进行改进。本发明提供了一个更加有效客观的识别方式，对运动员的指导具有深远的意义。
本发明是通过以下技术方案实现的：
一种基于OpenPose体操训练辅助系统，包括：图像采集系统，OpenPose姿态识别算法，图像特征信息处理，人体姿态分类，人体姿态局部分析和体操运动员的动作评估系统。该系统可以准确的识别人体关键点的位置，并对肢体的角度进行准确的计算。把该系统应用到体操运动员的训练中，可以提高检测的精确度，为体操的训练提供了一个客观的评估系统，以助于指导运动员的体育训练，提高运动员的训练效率。
具体包括以下步骤：
S1：收集体操运动员运动图像数据集，构造人体姿态特征训练数据集，并对人体姿态特征训练数据集进行人体关键点标注；
S2：通过使用OpenPose人体姿态算法处理体操运动员的图像，获取人体骨骼关键点的特征坐标数据和人体姿态结构图像；
S3：将步骤S2获取的人体骨骼关键点的特征坐标数据进行处理，获得各人体骨骼关键点的特征向量，并计算人体姿态动作的肢体角度；
S4：通过使用K近邻算法对步骤S2获得的人体姿态结构图像与标准的人体结构图像进行分类，进行姿态评估；
S5：对体操运动员做的错误动作进行局部标注，并对局部错误的动作进行分析，提出改进意见，提高训练效率。
步骤S2中，获得人体骨骼关键点的特征坐标数据和人体姿态结构图像，对每个人体关键点进行编号：0:鼻子，1:脖子，2:右肩，3:右肘，4:右手腕，5:左肩，6:左肘，7:左手腕，8:右臀，9:右膝盖，10:右脚踝，11:左臀，12:左膝盖，13:左脚踝，14:右眼，15:左眼，16:右耳，17:左耳，把获取的人体关键点坐标数据存储于一个列表中，其各个坐标点为：(xi,yi)，其中xi为关键点在x轴方向的坐标；yi为关键点在y轴方向的坐标。
对检测到的人体骨骼关键点进行组合连接，形成人体的全身姿态。对每个关键点都有多个连接方式，因此这是一个NP-Hard的K维匹配问题，寻找最优解。我们通过使用二分匹配算法对关键点进行最优连接，形成一个完整的人体姿态结构图像。
对获取的坐标进行处理，我们通过选取颈部的关键点作为坐标系的原点，然后对人体关键点的坐标值进行处理，即把其它的坐标值减去颈部的坐标值，获得处理后的各点坐标值，并获取肢体两端的向量
Figure BDA0003728223910000031
坐标轴上单位向量
Figure BDA0003728223910000032
则肢体向量与相对直角坐标系之间的夹角为：
Figure BDA0003728223910000033
步骤S4中，所述的使用K近邻算法对人体姿态结构图像进行分类和评估，首先获取人体姿态图像的特征值，然后计算体操运动员的姿态特征值与各标准姿态的特征值之间的距离，对所得到的距离值进行归一化处理，然后通过归一化值的大小对动作姿态进行评估。其距离表达式为：
Figure BDA0003728223910000034
步骤S5中，所述的对计算得到的图像进行处理，把动作不标准的地方进行局部标注处理，并对该部位进行分析，得到处理后的结果，用于指导运动员的后续训练，提高体操运动员的训练效率。
本发明对关键点坐标信息准确的提取，并建立相对直角坐标系，对数据进行处理运算。并使用K近邻算法对人体的骨架进行分类，评估，进而对体操运动员的动作进行评分，并把错误的行为进行标注，对运动员的动作进行指导改进，提高运动员的训练效率。
本发明的优点是：
(1)本发明通过改进现有的高性能姿态识别算法，对人体姿态结构和关键点的提取，并进行运算处理，提升检测的准确度，为体操的训练提供了一个更加客观的评价体系。
(2)本发明通过使用K近邻算法对图像进行特征提取和分类，能够更好的识别图像的特征，增强了图像分类的鲁棒性，提高了动作识别的实时性和准确性。。
(3)本发明通过计算肢体的角度误差用于判断动作是否标准，并对不标准的地方进行标注进行分析并指导，提高训练效率。
附图说明
图1为本发明中一种基于OpenPose体操训练辅助系统的流程图。
图2为OpenPose人体姿态估计流程图。
图3为人体关键点及骨骼结构图。
图4为OpenPose算法得到的人体姿态结构图像。
具体实施方式
下面将结合附图和实施例对本发明的具体实施方式作进一步的详细说明。显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的其它实施例，都属于本发明保护的范围。
如图1-2，是本发明提出的一种基于OpenPose体操训练辅助系统，具体包括：
S1：收集体操运动员运动图像数据集，构造人体姿态特征训练数据集，并对人体姿态特征训练数据集进行人体关键点标注；
S2：通过使用OpenPose人体姿态算法处理体操运动员的图像，获取人体骨骼关键点的特征坐标数据和人体姿态结构图像；
S3：将步骤S2获取的人体骨骼关键点的特征坐标数据进行处理，获得各人体骨骼关键点的特征向量，并计算人体姿态动作的肢体角度；
S4：通过使用K近邻算法对步骤S2获得的人体姿态结构图像与标准的人体结构图像进行分类，进行姿态评估；
S5：对体操运动员做的错误动作进行局部标注，并对局部错误的动作进行分析，提出改进意见，提高训练效率。
在步骤S2中，对人体的主要的18个关键点的坐标信息获取，并使用二分匹配算法对关键点进行匹配连接形成一个完整的人体骨架信息。
在步骤S3中，对获取的坐标进行处理，我们通过选取颈部的关键点作为坐标系的原点，然后对人体关键点的坐标值进行处理，即把其它的坐标值减去颈部的坐标值，获得处理后的各点坐标值，并获取肢体两端的向量
Figure BDA0003728223910000041
坐标轴上单位向量
Figure BDA0003728223910000042
则肢体向量与相对直角坐标系之间的夹角θ(即人体姿态动作的角度)为：
Figure BDA0003728223910000043
在步骤S4中，所述的使用K近邻算法对人体姿态骨架图进行分类和评估，首先获取人体姿态图像的特征值，然后计算体操运动员的姿态特征值与各标准姿态的特征值之间的距离，对所得到的距离值进行归一化处理，然后通过归一化值的大小对动作姿态进行评估。其距离表达式为：
Figure BDA0003728223910000051
在步骤S5中，所述的对计算得到的图像进行处理，把动作不标准的地方进行局部标注处理，并对该部位进行分析，得到处理后的结果，用于指导运动员的后续训练，提高体操运动员的训练效率。
根据人体结构的特点，如图3所示，为所输出的人体的关键点位置，分别为：0:鼻子，1:脖子，2:右肩，3:右肘，4:右手腕，5:左肩，6:左肘，7:左手腕，8:右臀，9:右膝盖，10:右脚踝，11:左臀，12:左膝盖，13:左脚踝，14:右眼，15:左眼，16:右耳，17:左耳，获取各点得到坐标进行存储利用。
对检测到的身体关键点进行组合连接，形成人体的全身姿态。对每个关键点都有多个连接方式，因此这是一个NP-Hard的K维匹配问题，寻找最优解。我们通过使用二分匹配算法对关键点进行最优连接，形成一个完整的人体骨架图。
根据各关键点的位置特点，如图4所示我们建立以颈部为直角坐标系的原点，可以更好的处理坐标的数据。
通过使用OpenPose人体姿态检测算法，对人体得到各类关键点进行检测，其检测的准确率如下表1所示。
表1关键点检测准确率表。
Figure BDA0003728223910000052
本发明一种基于OpenPose体操训练辅助系统，包括：图像采集系统，OpenPose图像处理算法获取图像的特征信息，并构建出人体的姿态模型，通过对得到了人体姿态图进行分类，对体操运动员的动作进行评估。该系统可以准确的识别人体关键点的位置，并对肢体的角度进行准确的计算。该系统应用到体操运动员的训练中，可以提高检测的精确度，为体操的训练提供了一个客观的评估系统，以助于指导运动员的体育训练，提高运动员的训练效率。
以上的所述的实施例是为说明本发明技术设计构思和实施的效果，并不用于限制本发明，凡根据本发明的精神和原则之内所做的任何修改和等效变换等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于OpenPose的体操训练辅助系统，其特征在于：具体包括以下步骤：
S1：收集体操运动员运动图像数据集，构造人体姿态特征训练数据集，并对人体姿态特征训练数据集进行人体关键点标注；
S2：通过使用OpenPose人体姿态算法处理体操运动员的图像，获取人体骨骼关键点的特征坐标数据和人体姿态结构图像；
S3：将步骤S2获取的人体骨骼关键点的特征坐标数据进行处理，获得各人体骨骼关键点的特征向量，并计算人体姿态动作的肢体角度；
S4：通过使用K近邻算法对步骤S2获得的人体姿态结构图像与标准的人体结构图像进行分类，进行姿态评估；
S5：对体操运动员做的错误动作进行局部标注，并对局部错误的动作进行分析。
2.根据权利要求1所述的一种基于OpenPose的体操训练辅助系统，其特征在于：步骤S2中所述的获取人体骨骼关键点的特征坐标数据和人体姿态结构图像，对每个人体骨骼关键点进行编号：0:鼻子，1:脖子，2:右肩，3:右肘，4:右手腕，5:左肩，6:左肘，7:左手腕，8:右臀，9:右膝盖，10:右脚踝，11:左臀，12:左膝盖，13:左脚踝，14:右眼，15:左眼，16:右耳，17:左耳，把获取的人体骨骼关键点的坐标数据存储于一个列表中，其各个坐标点为：(xi,yi)，其中xi为关键点在x轴方向的坐标；yi为关键点在y轴方向的坐标。
3.根据权利要求2所述的一种基于OpenPose的体操训练辅助系统，其特征在于：对检测到的人体骨骼关键点进行组合连接，形成人体的全身姿态；对每个人体骨骼关键点都有多个连接方式，通过使用二分匹配算法对人体骨骼关键点进行最优连接，形成一个完整的人体姿态结构图像。
4.根据权利要求1所述的一种基于OpenPose的体操训练辅助系统，其特征在于：步骤S3中所述的对人体骨骼关键点的特征坐标数据进行处理，通过选取颈部的关键点作为坐标系的原点，然后对人体骨骼关键点的特征坐标值进行处理，即把其它的坐标值减去颈部的坐标值，获得处理后的各点坐标值，并获取肢体两端的向量
Figure FDA0003728223900000011
坐标轴上单位向量
Figure FDA0003728223900000012
则肢体向量与相对直角坐标系之间的夹角θ为：
Figure FDA0003728223900000021
5.根据权利要求2所述的一种基于OpenPose的体操训练辅助系统，其特征在于：步骤S4中所述的使用K近邻算法对步骤S2获得的人体姿态结构图像与标准的人体结构图像进行分类，进行姿态评估，具体如下：使用K近邻算法计算，首先对图像的特征值进行归一化处理，然后计算体操运动员的人体骨骼关键点的特征坐标值与标准动作样本特征值之间的距离L：
Figure FDA0003728223900000022
对得到的距离值L进行归一化处理，通过归一化值的结果对动作姿态进行评估。
6.根据权利要求1所述的一种基于OpenPose的体操训练辅助系统，其特征在于：步骤S5中所述的对体操运动员做的错误动作进行局部标注，并对局部错误的动作进行分析，得到处理后的结果，用于指导运动员的后续训练，提高体操运动员的训练效率。
CN202210785244.XA 2022-07-04 2022-07-04 一种基于OpenPose的体操训练辅助系统 Pending CN115105821A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210785244.XA CN115105821A (zh) 2022-07-04 2022-07-04 一种基于OpenPose的体操训练辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210785244.XA CN115105821A (zh) 2022-07-04 2022-07-04 一种基于OpenPose的体操训练辅助系统

Publications (1)

Publication Number Publication Date
CN115105821A true CN115105821A (zh) 2022-09-27

Family

ID=83331263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210785244.XA Pending CN115105821A (zh) 2022-07-04 2022-07-04 一种基于OpenPose的体操训练辅助系统

Country Status (1)

Country Link
CN (1) CN115105821A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115337607A (zh) * 2022-10-14 2022-11-15 佛山科学技术学院 一种基于计算机视觉的上肢运动康复训练方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734331A (zh) * 2018-03-23 2018-11-02 武汉理工大学 基于lstm的短期光伏发电功率预测方法及系统
US20200073385A1 (en) * 2018-09-04 2020-03-05 Skydio, Inc. Applications and skills for an autonomous unmanned aerial vehicle
CN111652078A (zh) * 2020-05-11 2020-09-11 浙江大学 一种基于计算机视觉的瑜伽动作指导系统和方法
CN114067358A (zh) * 2021-11-02 2022-02-18 南京熊猫电子股份有限公司 一种基于关键点检测技术的人体姿态识别方法及系统
CN114694256A (zh) * 2022-04-06 2022-07-01 中南大学 实时网球动作识别方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734331A (zh) * 2018-03-23 2018-11-02 武汉理工大学 基于lstm的短期光伏发电功率预测方法及系统
US20200073385A1 (en) * 2018-09-04 2020-03-05 Skydio, Inc. Applications and skills for an autonomous unmanned aerial vehicle
CN111652078A (zh) * 2020-05-11 2020-09-11 浙江大学 一种基于计算机视觉的瑜伽动作指导系统和方法
CN114067358A (zh) * 2021-11-02 2022-02-18 南京熊猫电子股份有限公司 一种基于关键点检测技术的人体姿态识别方法及系统
CN114694256A (zh) * 2022-04-06 2022-07-01 中南大学 实时网球动作识别方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄冰洋;张承乾;: "基于稀疏编码的多模态3D检索系统研究", 电子测量技术, no. 06 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115337607A (zh) * 2022-10-14 2022-11-15 佛山科学技术学院 一种基于计算机视觉的上肢运动康复训练方法

Similar Documents

Publication Publication Date Title
CN108052896B (zh) 基于卷积神经网络与支持向量机的人体行为识别方法
WO2016110005A1 (zh) 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
Jiang et al. Multi-layered gesture recognition with Kinect.
Uddin et al. Human activity recognition using body joint‐angle features and hidden Markov model
CN111563452B (zh) 一种基于实例分割的多人体姿态检测及状态判别方法
CN106548194B (zh) 二维图像人体关节点定位模型的构建方法及定位方法
CN110991315A (zh) 一种基于深度学习的安全帽佩戴状态实时检测方法
CN112800892B (zh) 一种基于openpose的人体姿态识别方法
WO2015165227A1 (zh) 人脸识别方法
Tsai et al. Enhancing accuracy of human action Recognition System using Skeleton Point correction method
CN110956141A (zh) 一种基于局部识别的人体连续动作快速分析方法
CN109993116B (zh) 一种基于人体骨骼相互学习的行人再识别方法
CN115105821A (zh) 一种基于OpenPose的体操训练辅助系统
Yamao et al. Development of human pose recognition system by using raspberry pi and posenet model
CN110008902B (zh) 一种融合基本特征和形变特征的手指静脉识别方法及系统
CN110046603B (zh) 一种中国普乐手语编码的手势动作识别方法
CN111860107A (zh) 一种基于深度学习姿态估计的立定跳远评估方法
CN116386137A (zh) 一种轻量级识别太极拳动作的移动端设计方法
CN113673327B (zh) 一种基于人体姿态估计的罚球命中预测方法
CN114373091A (zh) 基于深度学习融合svm的步态识别方法
CN112233769A (zh) 一种基于数据采集的患后康复系统
Lessa et al. SoccerKicks: a Dataset of 3D dead ball kicks reference movements for humanoid robots
Liu et al. A Multi-Feature Motion Posture Recognition Model Based on Genetic Algorithm.
Ramanathan et al. Mutually reinforcing motion-pose framework for pose invariant action recognition
CN111160179A (zh) 一种基于头部分割和卷积神经网络的摔倒检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination