CN114360052A - 一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统 - Google Patents
一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统 Download PDFInfo
- Publication number
- CN114360052A CN114360052A CN202111493411.5A CN202111493411A CN114360052A CN 114360052 A CN114360052 A CN 114360052A CN 202111493411 A CN202111493411 A CN 202111493411A CN 114360052 A CN114360052 A CN 114360052A
- Authority
- CN
- China
- Prior art keywords
- action
- standard
- motion
- human body
- image sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统，包括：普通摄像装置，用于获取包括用户跟随示范动作运动动作的用户动作图像序列；标准动作存储单元，用于存储标准动作模型和与标准动作模型对应的标准动作示范图像序列；显示终端，用于向用户显示所述标准动作示范图像序列；动作比较单元，用于将预定时间点或时间段的所述用户动作深度图像序列与对应时间点或时间段的标准动作模型进行比较，获取用户动作与标准动作模型的差异；提示装置，用于根据所述差异向显示装置输出动作评价信息或动作纠正提示信息；深度摄像装置，用于拍摄教练的标准动作获取标准动作深度图像序列。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其是一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统。
背景技术
传统瑜伽教学需要场地和教练,受到训练者经济条件、训练场馆、训练时间等诸多限制，不利于大部分用户满足自己学习的目标。借助教学视频学习没有互动性，也不能对自己的动作作出评价，在动作错误时也不能得到及时的纠正。选择观看比赛或表演录像来通过模仿学习，虽然用户可以在任何时间任何环境完成，但是缺乏指导,对于动作没有评价体系，训练效果不能满足用户的需要。
现有技术中公开了采用佩戴人体关节标识装置并通过特定装置识别人体关节标识装置从而获取人体动作辅助体育教学的装置和对应的方法。例如，中国专利申请CN102243687A公开了一种基于动作识别技术的体育教学辅助系统。该系统通过为用户佩戴带有特定波长光源以及惯性测量单元的运动数据获取模块，由摄像机追踪所述特定波长光源同时采集惯性测量单元的测量结果来对目标进行动作识别，达到体育教学辅助的目的。又例如，中国专利申请CN102000430A公开了一种基于计算机的舞蹈动作判定方法。该方法通过在人体设置跟踪点，采集跟踪点在人进行舞蹈时在不同时刻的空间位置，通过将跟踪点在不同时刻的位置进行投影计算其特征向量以对动作是否标准进行评价。
但是，这类借助需要人体佩戴的识别装置的教学辅助系统,需要用户佩戴专用识别装置，虽然也能实现动作简单的体育运动的学习与比赛，但是不能用来学习动作变化比较多的瑜伽运动,系统成本高。
与此同时，人体姿态识别技术作为计算机视觉处理技术的分支，正在得到越来越广泛的应用。人体姿态识别技术通过对人体图像的数字处理判断人体姿态以及识别分割出图像中人体的不同部位的关节点，例如，头部和躯干等。
瑜伽是一项集哲学、科学和艺术于一身的健身运动，近年来逐渐风靡起来，美国瑜伽从业人员的数量从2012年的2,040万增加到2016年的3,670万。但专业瑜伽培训价格昂贵，且受场地限制，并不是一个很好的选择。目前网络上流行的瑜伽教学视频，是一种单向的输出，并没有反馈。在COVID19流行的当今，瑜伽的学习更是遇到了较大的困难。
介于计算机视觉技术可以为复杂的图像处理问题提供更好的解决方案，在这项工作中，我们使用了AlphaPose框架，一种基于CNN的无标记2D人体姿态估计系统，来估计人体姿势，以得到人体的关节点坐标，用于对比算法的建立。
有了人体的关节点坐标，我们还在专业人员的辅助下建立了一个可扩展的标准瑜伽姿态数据库。我们设计了一个算法来进行动作的对比和纠正。
AlphaPose是一个多人姿态估计系统，具有极高的精准度。据卢策吾团队介绍，AlphaPose在姿态估计(Pose Estimation)标准测试集MSCOCO上达到72.3mAP，是首个超过70mAP的开源系统，比Mask-RCNN相对提高8.2％，比OpenPose(CMU)相对提高17％。除此之外，在MPII排行榜上，AlphaPose以6％的相对优势占据榜首。AlphaPose基于腾讯优图和卢策吾团队在ICCV 2017上发表的分区域多人姿态识别算法(RMPE)。
综上，目前缺少亟需一种成本较低，不需要佩戴专门识别装置的瑜伽教学辅助系统和方法。
发明内容
本发明所要解决的技术问题是提供一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统，无须佩戴识别点即可获取人体姿态信息进行瑜伽教学。
一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统，包括：普通摄像装置，用于获取包括用户跟随示范动作运动动作的用户动作图像序列；
标准动作存储单元，用于存储标准动作模型和与标准动作模型对应的标准动作示范图像序列；
显示终端，用于向用户显示所述标准动作示范图像序列；
动作比较单元，用于将预定时间点或时间段的所述用户动作深度图像序列与对应时间点或时间段的标准动作模型进行比较，获取用户动作与标准动作模型的差异；
提示装置，用于根据所述差异向显示装置输出动作评价信息或动作纠正提示信息；
深度摄像装置，用于拍摄教练的标准动作获取标准动作深度图像序列。
2、根据权利要求1所述一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统，其特征在于，还包括标准动作训练单元，用于根据所述标准动作深度图像序列建立标准动作模型；所述标准动作深度图像序列建立标准动作模型包括：
S1，计算每帧标准动作深度图像的人体关节点的空间坐标构成人体姿态信息；
S2，根据连续多帧标准动作深度图像的人体姿态信息计算人体关节点的运动参数；其中，所述运动参数包括根据相邻帧的时间间隔和对应关节点的移动距离计算得到的关节点运动速度和人体肢体的转动角度；
S3，将所述人体关节点的人体姿态信息以及运动参数与图像序列时间信息一一映射获得标准动作模型；
S4，将预定时间点或时间段的所述用户动作深度图像序列与对应时间点或时间段的标准动作模型进行比较。
3、根据权利要求2所述一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统，其特征在于，所述S4包括以下步骤，
S41，计算预定时间点或时间段内每帧用户动作深度图像的人体关节点的空间坐标构成人体姿态信息；
S42,根据连续多帧用户动作深度图像的人体姿态信息计算人体关节点的运动参数；其中，所述运动参数包括根据相邻帧的时间间隔和对应关节点的移动距离计算得到的关节点运动速度和人体肢体的转动角度；
S43,将所述人体关节点的人体姿态信息以及运动参数与对应时间点或时间段的标准动作模型进行比较获取差异。
本发明提供一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统，对用于用户做的瑜伽动作进行了评价打分和精准纠错反馈，无需通过佩戴检测设备，便能进行教学与评分。
附图说明
图1为本发明的方法流程图；
图2为本发明的人体节点示意图；
图3为本发明的瑜伽动作示意图。
具体实施方式
一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统，其特征在于，包括：
普通摄像装置，用于获取包括用户跟随示范动作运动动作的用户动作图像序列；
标准动作存储单元，用于存储标准动作模型和与标准动作模型对应的标准动作示范图像序列；
显示终端，用于向用户显示所述标准动作示范图像序列；
动作比较单元，用于将预定时间点或时间段的所述用户动作深度图像序列与对应时间点或时间段的标准动作模型进行比较，获取用户动作与标准动作模型的差异；
提示装置，用于根据所述差异向显示装置输出动作评价信息或动作纠正提示信息；
深度摄像装置，用于拍摄教练的标准动作获取标准动作深度图像序列。
优选的，还包括标准动作训练单元，用于根据所述标准动作深度图像序列建立标准动作模型；所述标准动作深度图像序列建立标准动作模型包括：
S1，计算每帧标准动作深度图像的人体关节点的空间坐标构成人体姿态信息；
S2，根据连续多帧标准动作深度图像的人体姿态信息计算人体关节点的运动参数；其中，所述运动参数包括根据相邻帧的时间间隔和对应关节点的移动距离计算得到的关节点运动速度和人体肢体的转动角度；
S3，将所述人体关节点的人体姿态信息以及运动参数与图像序列时间信息一一映射获得标准动作模型；
S4，将预定时间点或时间段的所述用户动作深度图像序列与对应时间点或时间段的标准动作模型进行比较。
优选的，所述S4包括以下步骤，
S41，计算预定时间点或时间段内每帧用户动作深度图像的人体关节点的空间坐标构成人体姿态信息；
S42,根据连续多帧用户动作深度图像的人体姿态信息计算人体关节点的运动参数；其中，所述运动参数包括根据相邻帧的时间间隔和对应关节点的移动距离计算得到的关节点运动速度和人体肢体的转动角度；
S43,将所述人体关节点的人体姿态信息以及运动参数与对应时间点或时间段的标准动作模型进行比较获取差异。
接入一路实时rtsp视频流，对视频进行解码得到视频帧，对视频帧做实时人体姿态估计，获取视频帧中人的关节点的序号和坐标；优选的，以颈关节(即附图1中第0号关节)为坐标原点，X轴平行于视频帧或图片的上下边缘线，从左至右为X轴正方向，Y轴平行与视频帧或图片的左右边缘线，从上至下为Y轴正方向；
根据关节点的坐标，做坐标变换，得到关节点角度信息。
举例说明，若识别动作为瑜伽蹲姿势，需要判别膝盖是否动作正确。其特征在于，判断用户动作与标准瑜伽蹲姿势关节点角度是否在一定阈值内，具体包括：
判断两个膝关节是否同时存在，如果两个膝关节同时存在，分别计算出两个膝关节与脚腕的夹角α，根据夹角α与标准动作的夹角α[90°]的比对结果，判断膝盖关节点是否姿势正确。
标准动作的标准有些是基于距离的，如“双臂与肩膀间距离同宽”，而有些是基于角度的，如“保持双手屈臂90度”。这种基于角度的距离需要通过坐标到角度的变换来进行映射。两个点的坐标为(x1，y1)，(x2，y2)，计算两个关节点之间的欧式距离如下：
而计算关节弯曲的角度需要三个关键点，并为他们两两之间计算欧式距离的平方、用d1.d2.d3表示.计算角度的方法为根据余弦定理：
所述系统还包括语音提示装置，所述提示装置输出通过语音信号提示用户纠正动作。纠错信息来源于比对过程中反馈的具体错误关节点。
通过本发明的方法，对用于用户做的瑜伽动作进行了评价打分和精准纠错反馈。具体地，通过实时人体姿态估计算法AlphaPose，对家庭摄像机中的视频进行人体关节点估计，再通过本关节点匹配算法对结果进行分析，能实现个人的针对性的交互式的瑜伽训练。
Claims (3)
1.一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统，其特征在于，包括：
普通摄像装置，用于获取包括用户跟随示范动作运动动作的用户动作图像序列；
标准动作存储单元，用于存储标准动作模型和与标准动作模型对应的标准动作示范图像序列；
显示终端，用于向用户显示所述标准动作示范图像序列；
动作比较单元，用于将预定时间点或时间段的所述用户动作深度图像序列与对应时间点或时间段的标准动作模型进行比较，获取用户动作与标准动作模型的差异；
提示装置，用于根据所述差异向显示装置输出动作评价信息或动作纠正提示信息；
深度摄像装置，用于拍摄教练的标准动作获取标准动作深度图像序列。
2.根据权利要求1所述一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统，其特征在于，还包括标准动作训练单元，用于根据所述标准动作深度图像序列建立标准动作模型；所述标准动作深度图像序列建立标准动作模型包括：
S1，计算每帧标准动作深度图像的人体关节点的空间坐标构成人体姿态信息；
S2，根据连续多帧标准动作深度图像的人体姿态信息计算人体关节点的运动参数；其中，所述运动参数包括根据相邻帧的时间间隔和对应关节点的移动距离计算得到的关节点运动速度和人体肢体的转动角度；
S3，将所述人体关节点的人体姿态信息以及运动参数与图像序列时间信息一一映射获得标准动作模型；
S4，将预定时间点或时间段的所述用户动作深度图像序列与对应时间点或时间段的标准动作模型进行比较。
3.根据权利要求2所述一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统，其特征在于，所述S4包括以下步骤，
S41，计算预定时间点或时间段内每帧用户动作深度图像的人体关节点的空间坐标构成人体姿态信息；
S42,根据连续多帧用户动作深度图像的人体姿态信息计算人体关节点的运动参数；其中，所述运动参数包括根据相邻帧的时间间隔和对应关节点的移动距离计算得到的关节点运动速度和人体肢体的转动角度；
S43,将所述人体关节点的人体姿态信息以及运动参数与对应时间点或时间段的标准动作模型进行比较获取差异。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111493411.5A CN114360052A (zh) | 2021-12-08 | 2021-12-08 | 一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111493411.5A CN114360052A (zh) | 2021-12-08 | 2021-12-08 | 一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114360052A true CN114360052A (zh) | 2022-04-15 |
Family
ID=81098269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111493411.5A Pending CN114360052A (zh) | 2021-12-08 | 2021-12-08 | 一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114360052A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115253243A (zh) * | 2022-08-10 | 2022-11-01 | 广西科技大学 | 一种用于击剑训练的带视觉监控的训练设备 |
-
2021
- 2021-12-08 CN CN202111493411.5A patent/CN114360052A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115253243A (zh) * | 2022-08-10 | 2022-11-01 | 广西科技大学 | 一种用于击剑训练的带视觉监控的训练设备 |
| CN115253243B (zh) * | 2022-08-10 | 2023-03-10 | 广西科技大学 | 一种用于击剑训练的带视觉监控的训练设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111144217B (zh) | 一种基于人体三维关节点检测的动作评价方法 | |
| Qiao et al. | Real-time human gesture grading based on OpenPose | |
| Thar et al. | A proposal of yoga pose assessment method using pose detection for self-learning | |
| CN110448870B (zh) | 一种人体姿态训练方法 | |
| CN110321754B (zh) | 一种基于计算机视觉的人体运动姿态纠正方法及系统 | |
| CN105512621B (zh) | 一种基于Kinect的羽毛球动作指导系统 | |
| CN111881887A (zh) | 基于多摄像头的运动姿态监测和指导方法及装置 | |
| US4891748A (en) | System and method for teaching physical skills | |
| CN113762133A (zh) | 基于人体姿态识别的自重健身辅助教练系统、方法、终端 | |
| US7404774B1 (en) | Rule based body mechanics calculation | |
| CN108597578A (zh) | 一种基于二维骨架序列的人体运动评估方法 | |
| CN110428486B (zh) | 虚拟互动的健身方法、电子设备及存储介质 | |
| Anilkumar et al. | Pose estimated yoga monitoring system | |
| CN110751100A (zh) | 一种体育场馆辅助训练方法与系统 | |
| WO2017161734A1 (zh) | 通过电视和体感配件矫正人体动作及系统 | |
| US20100208945A1 (en) | Method and system for selecting the viewing configuration of a rendered figure | |
| CN110544302A (zh) | 基于多目视觉的人体动作重建系统、方法和动作训练系统 | |
| US11726550B2 (en) | Method and system for providing real-time virtual feedback | |
| CN113505662B (zh) | 一种健身指导方法、装置及存储介质 | |
| KR20210128943A (ko) | 인공신경망을 이용한 스포츠 자세를 비교 및 교정하는 장치 및 방법 | |
| CN113409651B (zh) | 直播健身方法、系统、电子设备、存储介质 | |
| CN114360052A (zh) | 一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统 | |
| Scott et al. | 4d model-based spatiotemporal alignment of scripted taiji quan sequences | |
| CN116343325A (zh) | 一种居家健身智能辅助系统 | |
| CN116704603A (zh) | 一种基于肢体关键点分析的动作评估纠正方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |