CN116262171A - 基于健身装置的健身训练方法及系统及装置及介质 - Google Patents
基于健身装置的健身训练方法及系统及装置及介质 Download PDFInfo
- Publication number
- CN116262171A CN116262171A CN202111523985.2A CN202111523985A CN116262171A CN 116262171 A CN116262171 A CN 116262171A CN 202111523985 A CN202111523985 A CN 202111523985A CN 116262171 A CN116262171 A CN 116262171A
- Authority
- CN
- China
- Prior art keywords
- exercise
- user
- gesture
- video
- building
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000009471 action Effects 0.000 claims abstract description 53
- 238000003860 storage Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000009432 framing Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 8
- 230000036544 posture Effects 0.000 description 18
- 239000013598 vector Substances 0.000 description 17
- 241001465754 Metazoa Species 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 9
- 210000002414 leg Anatomy 0.000 description 8
- 238000011065 in-situ storage Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 210000000988 bone and bone Anatomy 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000004417 patella Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
- A63B2024/0012—Comparing movements or motion sequences with a registered reference
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B2071/065—Visualisation of specific exercise parameters
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Instructional Devices (AREA)
Abstract
本发明公开了基于健身装置的健身训练方法及系统及装置及介质，涉及健身领域，根据第一健身视频获取第一用户姿态，判断用户是否进行健身训练；根据第二健身视频获取第二用户姿态，对第二用户姿态进行评分，根据评分结果判断用户是否跟随第二健身视频进行健身训练；根据第一健身视频获取第一用户姿态，对第一用户姿态进行评分，并将评分结果反馈给用户。通过三个阶段分别对用户进行健身训练动作示范、慢动作教学以及正常跟做，对用户的动作进行识别，判断用户在第一个阶段时是否有动作产生，第二个阶段时是否进行了跟做，在第三个阶段时用户动作是否达标，有效的保障了用户的健身效果。
Description
技术领域
本发明涉及健身领域，具体涉及基于健身装置的健身训练方法及系统及装置及介质。
背景技术
近年来，国民的健康素养在不断提升，对健身运动的需求也在不断增加，健身行业的市场巨大。各种智能健身器材更是发展迅速，现有的镜面健身设备通过机体内置各类设备并由正面的屏幕进行显示和/或镜像展示，用户可对照显示的健身内容进行健身训练，这样在使用时，健身教练可以通过视频直播或提前录制的视频的方式来对多个用户进行健身教学，其中，健身教练在进行健身教学时，通常都是根据该多个用户大致的健身水平，如流瑜伽2级的健身水平等，来进行统一健身教学。但是，这样的健身训练教学方法存在很多问题，例如对用户跟做情况得不到及时的反馈，若是用户并没有跟做或跟做不标准，则健身效果较差，不便于长期使用。
发明内容
本发明的目的在于在通过健身视频对用户进行健身训练时，能够更好的获取用户的训练情况，提高健身效果。
为实现上述发明目的，本发明提供了基于健身装置的健身训练方法，包括：
根据第一健身视频获取第一用户姿态，判断用户是否进行健身训练；
根据第二健身视频获取第二用户姿态，对第二用户姿态进行评分，根据评分结果判断用户是否跟随第二健身视频进行健身训练；
根据第一健身视频获取第一用户姿态，对第一用户姿态进行评分，并将评分结果反馈给用户。
对于本发明而言，健身视频进行三次播放，第一次主要起示范作用，通过播放健身视频，使用户了解训练内容，在此阶段中，主要看用户是否有进行简单的跟做，但是在此过程中只判断用户是否用动作发生，但是并不对发生的动作进行打分，不判断其是否做了相同的动作。第二次播放时，为第一健身视频的慢动作播放，第二健身视频可以为将第一次播放的健身视频进行慢动作播放，也可以为第一健身视频的动作分解，播放时，监测用户是否根据第二健身视频进行跟做，并且对用户的动作进行评分，判断用户的是否做了与健身视频相同的动作，进而判断用户是否进行了跟做。第三次播放时，第三次播放的视频与第一次播放的视频相同，但是第三次播放视频时，会对用户的动作进行识别，同时识别后还会通过评分判断用户的动作是否达标，进而提高用户的健身效果。对应本发明而言，第一次播放的视频、第二次播放的视频以及第三次播放的视频均为相同内容的视频，只不过第二次播放的视频为第一次播放的视频的慢放或动作分解。
其中，根据第一健身视频获取第一用户姿态，判断用户是否进行健身训练，具体包括：
获取健身第一健身视频；获取第一健身视频时，为直接在健身装置中播放第一健身视频，健身装置可以为智能健身镜，也可以为其他可以播放视频的健身装置；
播放第一健身视频时，健身装置识别第一健身视频的目标健身区域，此时用户在目标健身区域中进行健身，因此在对目标健身区域进行特征提取时，能够得到第一用户姿态；
根据第一用户姿态，判断用户是否进行健身训练此过程中，即为判断用户是否有动作产生，若有动作产生，则均为进行健身训练，若没有动作产生，则用户没有进行健身训练，若没有动作产生，第一次播放视频的效果较差，不能保证用户在第二次或第三次播放视频时，能够快速的掌握动作。
第一次播放视频后，用户对健身视频中的动作有了初步的熟悉，熟悉后，根据第二健身视频获取第二用户姿态，对第二用户姿态进行评分，根据评分结果判断用户是否跟随第二健身视频进行健身训练，具体包括：
根据第二健身视频预设第二标准姿态；
识别第二健身视频的目标健身区域，对目标健身区域进行特征提取，得到第二用户姿态；
对比第二标准姿态和第二用户姿态，得到第二用户姿态基于第二标准姿态的相识度评分，根据评分结果判断用户是否跟随第二健身视频进行健身训练。
其中，识别第二健身视频的目标健身区域，对目标健身区域进行特征提取，得到第二用户姿态，具体包括：
获取第二标准姿态在第二健身视频中出现的第一时间段；
获取第一时间段内第二健身视频对应的视频片段，对视频片段进行分帧处理，得到视频片段对应的若干连续时刻的帧图像；
在第一时间段内识别第二健身视频的目标健身区域，对目标健身区域进行特征提取，得到若干与帧图像一一对应的第二用户姿态；
对比相对应的若干帧图像和若干第二用户姿态，得到每个第二用户姿态基于对应的帧图像的相识度评分；
获取相识度评分最高的第二用户姿态作为评分结果。
在第二次播放健身视频时，该阶段要对用户的动作进行评分，判断用户是否照着第二健身视频进行跟做，在此过程中，本发明并不是对第二健身视频中的每一帧均进行评分判断，而是预设了第二标准姿态，通过对比第二标准姿态在第二健身视频中出现的第一时间段，来获取第一时间段中每一帧图像对应的第二用户姿态，对比相对应的若干帧图像和若干第二用户姿态，得到每个第二用户姿态基于对应的帧图像的相识度评分。在判断用户是否进行跟做时，通过预设的第二标准姿态获取对应的时间段内的用户的第二用户姿态，并通过每一帧图像与对应的第二用户姿态进行对比，能更好的判断用户是否在进行跟做。
对于本发明而言，具体的评分过程包括：
训练孪生神经网络模型，得到训练好的标准姿态识别模型；
将第二用户姿态和第二标准姿态输入标准姿态识别模型，获得相识度评分；
若评分结果大于或等于评分阈值，则第二标准姿态和第二用户姿态为同一类，则用户进行健身训练；
若评分结果小于评分阈值，则第二标准姿态和第二用户姿态不为同一类，则用户未进行健身训练。
在进行第三次播放时，即播放第一健身视频时，具体包括：
获取健身第一健身视频，即在健身装置上播放第一健身视频，根据第一健身视频预设第一标准姿态；
识别第一健身视频的目标健身区域，对目标健身区域进行特征提取，得到第一用户姿态；
对比第一标准姿态和第一用户姿态，得到第一用户姿态基于第一标准姿态的相识度评分，并将评分结果反馈给用户。
其中，识别第一健身视频的目标健身区域，对目标健身区域进行特征提取，得到第一用户姿态，具体包括：
获取第一标准姿态在第一健身视频中出现的第二时间段；
在第二时间段内识别第一健身视频的目标健身区域，对目标健身区域进行特征提取，得到若干第一用户姿态；
对比第一标准姿态和若干第一用户姿态，得到每个第一用户姿态基于第一标准姿态的相识度评分；
获取相识度评分最高的第一用户姿态作为评分结果。
第二次播放视频和第三次播放视频时，第二次播放视频时，为第一时间段内的每一帧图像与对应的第二用户姿态进行对比，而第三次播放视频时，为第二时间段内的第一用户姿态与第一标准姿态进行对比，这样在第三次播放视频时，能够更好的确认用户跟做的动作是否达标，提高健身教学训练的效率。
与本发明中的方法对应，本发明还提供了基于健身装置的健身训练系统，包括：
获取模块，用于获取健身视频，并对健身视频进行处理；
识别模块，用于识别健身视频的目标健身区域，对目标健身区域进行特征提取，得到用户姿态；
对比模块，用于对比用户姿态和预设的标准姿态，得到对比结果；
判断模块，用于根据对比结果判断用户是否进行健身训练或动作是否达标。
与本发明中的方法对应，本发明还提供了一种电子装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于健身装置的健身训练方法的步骤。
与本发明中的方法对应，本发明还提供了一种存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于健身装置的健身训练方法的步骤。
本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：
本发明在进行健身教学训练时，通过三个阶段分别对用户进行健身训练动作示范、慢动作教学以及正常跟做，在此过程中，对用户的动作进行识别，判断用户在第一个阶段时是否有动作产生，第二个阶段时是否进行了跟做，在第三个阶段时用户动作是否达标，并将评分结果反馈给用户。
并且本发明在对用户动作进行识别对比时，根据预设的第一标准姿态或第二标准姿态对应的第一时间段或第二时间段进行识别对比，不需要整段视频进行识别对比，对比效果更佳，得到结果速度更快，有效的保障了用户的健身效果，并且在每个阶段都能获取用户的健身情况，提高了健身的使用效率，更便于长期使用。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为基于健身装置的健身训练方法的流程示意图；
图2为基于健身装置的健身训练系统的组成示意图；
图3为ROC曲线。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
请参考图1，图1为基于健身装置的健身训练方法的流程示意图，本发明提供了基于健身装置的健身训练方法，所述方法包括：
获取健身第一健身视频；
识别第一健身视频的目标健身区域，对目标健身区域进行特征提取，得到第一用户姿态；
根据第一用户姿态，判断用户是否进行健身训练；
根据第二健身视频预设第二标准姿态；
识别第二健身视频的目标健身区域，对目标健身区域进行特征提取，得到第二用户姿态；
对比第二标准姿态和第二用户姿态，得到第二用户姿态基于第二标准姿态的相识度评分，根据评分结果判断用户是否跟随第二健身视频进行健身训练；
获取健身第一健身视频，根据第一健身视频预设第一标准姿态；
识别第一健身视频的目标健身区域，对目标健身区域进行特征提取，得到第一用户姿态；
对比第一标准姿态和第一用户姿态，得到第一用户姿态基于第一标准姿态的相识度评分，并将评分结果反馈给用户。
其中，识别第二健身视频的目标健身区域，对目标健身区域进行特征提取，得到第二用户姿态，具体包括：
获取第二标准姿态在第二健身视频中出现的第一时间段；
获取第一时间段内第二健身视频对应的视频片段，对视频片段进行分帧处理，得到视频片段对应的若干连续时刻的帧图像；
在第一时间段内识别第二健身视频的目标健身区域，对目标健身区域进行特征提取，得到若干与帧图像一一对应的第二用户姿态；
对比相对应的若干帧图像和若干第二用户姿态，得到每个第二用户姿态基于对应的帧图像的相识度评分；
获取相识度评分最高的第二用户姿态作为评分结果。其中，训练孪生神经网络模型，得到训练好的标准姿态识别模型；
将第二用户姿态和第二标准姿态输入标准姿态识别模型，获得相识度评分；
若评分结果大于或等于评分阈值，则第二标准姿态和第二用户姿态为同一类，则用户进行健身训练；
若评分结果小于评分阈值，则第二标准姿态和第二用户姿态不为同一类，则用户未进行健身训练。
其中，识别第一健身视频的目标健身区域，对目标健身区域进行特征提取，得到第一用户姿态，具体包括：
获取第一标准姿态在第一健身视频中出现的第二时间段；
在第二时间段内识别第一健身视频的目标健身区域，对目标健身区域进行特征提取，得到若干第一用户姿态；
对比第一标准姿态和若干第一用户姿态，得到每个第一用户姿态基于第一标准姿态的相识度评分；
获取相识度评分最高的第一用户姿态作为评分结果；
训练孪生神经网络模型，得到训练好的标准姿态识别模型；
将第一用户姿态和第一标准姿态输入标准姿态识别模型，获得相识度评分；
若评分结果大于或等于评分阈值，则第一标准姿态和第一用户姿态为同一类，则用户动作达标；
若评分结果小于评分阈值，则第二标准姿态和第二用户姿态不为同一类，则用户动作不达标。
下面结合具体的例子对本发明中的基于健身装置的健身训练方法进行介绍：
步骤1获取健身第一健身视频，在本实施例中健身装置为健身镜，在健身镜的镜面上播放第一健身视频；
步骤2根据第一健身视频获取第一用户姿态，判断用户是否进行健身训练；
步骤2.1用户在健身镜的目标健身区域中，根据第一健身视频进行跟做；
步骤2.2第一健身视频中预设第一标准姿态；
步骤2.3获取第一标准姿态在第一健身视频中出现的第二时间段；
步骤2.4在第二时间段内，健身镜在目标健身区域中对用户动作进行识别，对目标健身区域进行特征提取，得到第一用户姿态；
步骤2.5若在第二时间段内获取的第一用户姿态有不同的动作产生，即表明用户在进行跟做，即为用户在进行健身训练；若在第二时间段内没有获取到第一用户姿态，或第一用户姿态没有动作产生，则用户没有跟做，即用户没有进行健身训练。在步骤2中，在第二时间段中，对用户的动作进行识别，但是此过程中不进行打分。
步骤3根据第二健身视频获取第二用户姿态，对第二用户姿态进行评分，根据评分结果判断用户是否跟随第二健身视频进行健身训练；
步骤3.1在健身镜的镜面上播放第二健身视频；
步骤3.2根据第二健身视频预设第二标准姿态；
步骤3.3获取第二标准姿态在第二健身视频中出现的第一时间段；
步骤3.4在第一时间段内，获取第一时间段内第二健身视频对应的视频片段，对视频片段进行分帧处理，得到视频片段对应的若干连续时刻的帧图像；
步骤3.5在第一时间段内，健身镜在目标健身区域中对用户动作进行识别，对目标健身区域进行特征提取，得到若干与帧图像一一对应的第二用户姿态；
步骤3.6对比相对应的若干帧图像和若干第二用户姿态，得到每个第二用户姿态基于对应的帧图像的相识度评分；
步骤3.61训练孪生神经网络模型，得到训练好的标准姿态识别模型；
步骤3.62将第二用户姿态和第二标准姿态输入标准姿态识别模型，获得相识度评分；
步骤3.7获取相识度评分最高的第二用户姿态作为评分结果；若评分结果大于或等于评分阈值，则第二标准姿态和第二用户姿态为同一类，则用户进行健身训练；若评分结果小于评分阈值，则第二标准姿态和第二用户姿态不为同一类，则用户未用户进行健身训练。
步骤4根据第一健身视频获取第一用户姿态，对第一用户姿态进行评分，并将评分结果反馈给用户；
步骤4.1用户在健身镜的目标健身区域中，根据第一健身视频进行跟做；
步骤4.2第一健身视频中预设第一标准姿态；
步骤4.3获取第一标准姿态在第一健身视频中出现的第二时间段；
步骤4.4在第二时间段内，健身镜在目标健身区域中对用户动作进行识别，对目标健身区域进行特征提取，得到第一用户姿态；
步骤4.5对比第一标准姿态和若干第一用户姿态，得到每个第一用户姿态基于第一标准姿态的相识度评分；
步骤4.51将第一用户姿态和第一标准姿态输入标准姿态识别模型，获得相识度评分；
步骤4.52获取相识度评分最高的第一用户姿态作为评分结果；
若评分结果大于或等于评分阈值，则第一标准姿态和第一用户姿态为同一类，则用户动作达标；若评分结果小于评分阈值，则第一标准姿态和第一用户姿态不为同一类，则用户动作未达标。
在本实施例中，若第一标准姿态在健身视频中出现的时刻在10000ms处。现在健身视频播放到10000毫秒处，因为用户是跟着视频练，他的动作相比课程存在超后或者超前的情况，所以我们会在10000ms的附近设置个区间，比如前800ms和后200ms，也就是时间区间[10000-800,10000+200]在这总时长为1秒的区间里，每一帧都计算出第一标准姿态和第一用户姿态的相似度，然后把这个区间里相似度对高的分数作为最终的分数输出。
在本实施例中，若第二标准姿态在健身视频中出现的时刻在10000ms处。现在健身视频播放到10000毫秒处，因为用户是跟着视频练，他的动作相比课程存在超后或者超前的情况，所以我们会在10000ms的附近设置个区间，比如前800ms和后200ms，也就是时间区间[10000-800,10000+200]在这总时长为1秒的区间里，计算出每一帧和第一用户姿态的相似度，然后把这个区间里相似度对高的分数作为最终的分数输出。
在具体计算时，第一标准姿态和第二标准姿态均为静止的姿态，并不是一个连续的动作。比对的具体方法是训练一个基于卷积神经网络的孪生网络结构模型，该模型接受两个姿态，并分别将这两个姿态映射到高维空间的一个点。
在本实施例中，将用户姿态和标准姿态输入标准姿态识别模型，获得相识度评分的具体方法为：
获取标准姿态和用户姿态的骨骼关键点及每个骨骼关键点对应的位置坐标，其中，标准姿态和用户姿态均包括16个骨骼关键点，16个骨骼关键点分别对应一个二维位置坐标；16个骨骼关键点包括头顶、头底、颈部、右肩、右肘、右手、左肩、左肘、左手、右胯、右膝、右脚、左胯、左膝、左脚、髌骨；
将标准姿态和用户姿态每个骨骼关键点对应的位置坐标输入训练好的标准姿态识别模型，分别得到标准姿态的输出向量V1和用户姿态的输出向量V2；
计算标准姿态的输出向量V1和用户姿态的输出向量V2的欧式距离；
其中，在本发明中一个人体姿态共有16个二维坐标的骨骼点，每个骨骼点有x和y坐标分量，那么一个人体姿态可以抽象成一个32维的骨骼点向量，即[x1,y1,x2,y2,x3,y3,…,x16,y16]。在通过训练好的姿态识别模型后，这个32维的骨骼点向量，会映射成一个更高维的向量，在本发明中输出的向量为100维，即标准姿态的输出向量V1和用户姿态的输出向量V2均为100维，即[a1,a2,a3,…,a100]。在进行姿态比对时，标准姿态和用户姿态经过训练好的模型都会各自映射成一个100维的向量，即V1和V2，再计算V1和V2的欧式距离。
本发明使用一个深度神经网络，该网络接受一个32维的向量，即本发明中的一个人体姿态，然后经过一系列的中间层操作，比如非线性矫正，全连接等，最终输出一个100维的向量。这个100维的向量是一个高度抽象的特征；最终使得如果两个姿态是很想相似的，经过网络输出后的两个100维的向量的欧式距离很小，反之，欧式距离很大。
我们的神经网络共4层，从输入到输出每一层的节点数分别是32->64->128->100，即输入32维的向量，输出一个100维的向量，n维空间的欧式距离计算公式，本发明映射到100维，即n＝100：
基于标准姿态识别模型获取欧式距离阈值T，阈值T用于判断用户姿态与标准姿态是否为同一类型；若标准姿态识别模型输出的评分结果的欧式距离大于或等于阈值T，则用户姿态与标准姿态为同一类型，若标准姿态识别模型输出的评分结果的欧式距离小于或等于阈值T，则用户姿态与标准姿态为不同一类型；
将欧式距离转化为用户姿态与标准姿态的相识度评分，获取相识度评分最高的用户姿态作为评分结果。具体的，如果两个姿态的欧式距离超过阈值T，则认为不是同一类型；反之则认为是同一模型。对于每一个阈值T，都可以绘制出ROC曲线，如图3所示，ROC曲线下的面积，称为AUC，是一个0-1的值，AUC越大，模型性能越好。找到一个最优的阈值T-best，使得AUC在测试集上最大。若AUC最大，就是模型会尽可能多的将两个原本属于同一类的姿态判定为同一类，同时，会尽量少地将两个不属于同类的姿态误判为同一类。得到最优距离阈值T-best后，我们根据实际业务需求设置一个临界分数，比如40分，表示在此时，模型认为这两个姿态刚好处于相似和不相似的临界点。然后映射关系如下：实际距离t在[0,T-best]区间内，相似度分数s为[100,40]；实际距离t在(T-best,无穷大)时，相似度分数s为(40,0)。在本实施例中阈值T为40。
标准姿态和用户姿态均包括16个骨骼关键点，16个骨骼关键点分别对应一个二维位置坐标。其中，16个骨骼关键点包括头顶、头底、颈部、右肩、右肘、右手、左肩、左肘、左手、右胯、右膝、右脚、左胯、左膝、左脚、髌骨。
实施例三
步骤1在实施例1的基础上，进一步地利用到体感游戏上，对于跑酷类游戏，我们设置一个模拟用户的小人或者小动物，对于该游戏，会在路上设置一些模拟用户的小人或小动物需要躲避的障碍物，需要小人或小动物跳跃或向左/向右倾斜身体躲过，对应地，我们将用户的站立对应小人或小动物的自动向前走，将用户的向左/右扭腰对应小人或小动物的向左/右倾斜身体，将用户的原地跳跃对应小人或小动物的跳跃，额外地，还可以设置一些其他的动作，如将用户的高抬腿对应小人或小动物的加速奔跑，用户在健身镜的目标健身区域中，根据第一健身视频进行跟做；
第一健身视频中将站立、左右扭腰、原地跳跃和高抬腿作为第一标准姿态；
获取每个第一标准姿态在第一健身视频中出现的第二时间段；
在第二时间段内，健身镜在目标健身区域中对用户动作进行识别，对目标健身区域进行特征提取，得到站立、左右扭腰、原地跳跃和高抬腿对应的第一用户姿态；若在第二时间段内获取的第一用户姿态有不同的动作产生，即表明用户在进行跟做，即为用户在进行健身训练；若在第二时间段内没有获取到第一用户姿态，或第一用户姿态没有动作产生，则用户没有跟做，即用户没有进行健身训练。在第二时间段中，对用户的动作进行识别，但是此过程中不进行打分。
步骤2第二健身视频中将站立、左右扭腰、原地跳跃和高抬腿作为第二标准姿态；
获取每个第二标准姿态在第二健身视频中出现的第一时间段；
在第一时间段内，健身镜在目标健身区域中对用户动作进行识别，对目标健身区域进行特征提取，得到站立、左右扭腰、原地跳跃和高抬腿对应的第二用户姿态，在实施例1的基础上对每个第二用户姿态进行评分，根据评分结果判断用户是否跟随第二健身视频进行健身训练。
步骤3第一健身视频中将站立、左右扭腰、原地跳跃和高抬腿作为第一标准姿态；
获取每个第一标准姿态在第一健身视频中出现的第二时间段；
在第二时间段内，健身镜在目标健身区域中对用户动作进行识别，对目标健身区域进行特征提取，得到站立、左右扭腰、原地跳跃和高抬腿对应的第一用户姿态；在实施例1的基础上对每个第一用户标准姿态进行评分，并将评分结果反馈给用户。
在本实施例中，由于健身视频为游戏视频，通过不同的标准姿态能够控制游戏视频中的小人或小动物运动，因此本发明对用户的动作进行识别时，本发明的健身训练方法不仅能够用于识别动作并对动作进行评价打分，同时基于标准姿态，用户姿态还能够控制健身视频中的小人或小动物运动，其中站立为控制动物向前走，左右扭腰为控制小人或小动物向左或向右倾斜身体，原地跳跃为控制动物跳跃，高抬腿为控制小人或小动物加速奔跑。
实施例三
请参考图2，图2为基于健身装置的健身训练系统的组成示意图，本发明实施例二提供了基于健身装置的健身训练系统，在实施例2的基础上，所述系统包括：
获取模块，用于获取健身视频，并对健身视频进行处理；
识别模块，用于识别健身视频的目标健身区域，对目标健身区域进行特征提取，得到用户姿态；
对比模块，用于对比用户姿态和预设的标准姿态，得到对比结果；
判断模块，用于根据对比结果判断用户是否进行健身训练或动作是否达标。
实施例四
本发明实施例四提供了一种电子装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于健身装置的健身训练方法的步骤。
其中，所述处理器可以是中央处理器，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现发明中基于健身装置的健身训练装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
实施例五
本发明实施例五提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述基于健身装置的健身训练方法的步骤。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ReadOnlyMemory，ROM)、可擦式可编程只读存储器((ErasableProgrammableReadOnlyMemory，EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.基于健身装置的健身训练方法，其特征在于，包括：
根据第一健身视频获取第一用户姿态，判断用户是否进行健身训练；
根据第二健身视频获取第二用户姿态，对第二用户姿态进行评分，根据评分结果判断用户是否跟随第二健身视频进行健身训练；
根据第一健身视频获取第一用户姿态，对第一用户姿态进行评分，并将评分结果反馈给用户。
2.根据权利要求1所述的基于健身装置的健身训练方法，其特征在于，根据第一健身视频获取第一用户姿态，判断用户是否进行健身训练，具体包括：
获取第一健身视频；
识别第一健身视频的目标健身区域，对目标健身区域进行特征提取，得到第一用户姿态；
根据第一用户姿态，判断用户是否进行健身训练。
3.根据权利要求1所述的基于健身装置的健身训练方法，其特征在于，根据第二健身视频获取第二用户姿态，对第二用户姿态进行评分，根据评分结果判断用户是否跟随第二健身视频进行健身训练，具体包括：
根据第二健身视频预设第二标准姿态；
识别第二健身视频的目标健身区域，对目标健身区域进行特征提取，得到第二用户姿态；
对比第二标准姿态和第二用户姿态，得到第二用户姿态基于第二标准姿态的相识度评分，根据评分结果判断用户是否跟随第二健身视频进行健身训练。
4.根据权利要求3所述的基于健身装置的健身训练方法，其特征在于，识别第二健身视频的目标健身区域，对目标健身区域进行特征提取，得到第二用户姿态，具体包括：
获取第二标准姿态在第二健身视频中出现的第一时间段；
获取第一时间段内第二健身视频对应的视频片段，对视频片段进行分帧处理，得到视频片段对应的若干连续时刻的帧图像；
在第一时间段内识别第二健身视频的目标健身区域，对目标健身区域进行特征提取，得到若干与帧图像一一对应的第二用户姿态；
对比相对应的若干帧图像和若干第二用户姿态，得到每个第二用户姿态基于对应的帧图像的相识度评分；
获取相识度评分最高的第二用户姿态作为评分结果。
5.根据权利要求1所述的基于健身装置的健身训练方法，其特征在于，根据第一健身视频获取第一用户姿态，对第一用户姿态进行评分，具体包括：
获取健身第一健身视频，根据第一健身视频预设第一标准姿态；
识别第一健身视频的目标健身区域，对目标健身区域进行特征提取，得到第一用户姿态；
对比第一标准姿态和第一用户姿态，得到第一用户姿态基于第一标准姿态的相识度评分，并将评分结果反馈给用户。
6.根据权利要求5所述的基于健身装置的健身训练方法，其特征在于，识别第一健身视频的目标健身区域，对目标健身区域进行特征提取，得到第一用户姿态，具体包括：
获取第一标准姿态在第一健身视频中出现的第二时间段；
在第二时间段内识别第一健身视频的目标健身区域，对目标健身区域进行特征提取，得到若干第一用户姿态；
对比第一标准姿态和若干第一用户姿态，得到每个第一用户姿态基于第一标准姿态的相识度评分；
获取相识度评分最高的第一用户姿态作为评分结果。
7.根据权利要求5或6所述的基于健身装置的健身训练方法，其特征在于，对比第一标准姿态和第一用户姿态，具体包括：
训练孪生神经网络模型，得到训练好的标准姿态识别模型；
将第一用户姿态和第一标准姿态输入标准姿态识别模型，获得相识度评分；
若评分结果大于或等于评分阈值，则第一标准姿态和第一用户姿态为同一类，则用户动作达标；
若评分结果小于评分阈值，则第一标准姿态和第一用户姿态不为同一类，则用户动作未达标。
8.基于健身装置的健身训练系统，其特征在于，包括：
获取模块，用于获取健身视频，并对健身视频进行处理；
识别模块，用于识别健身视频的目标健身区域，对目标健身区域进行特征提取，得到用户姿态；
对比模块，用于对比用户姿态和预设的标准姿态，得到对比结果；
判断模块，用于根据对比结果判断用户是否进行健身训练或动作是否达标。
9.一种电子装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任意一个所述基于健身装置的健身训练方法的步骤。
10.一种存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任意一个所述基于健身装置的健身训练方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111523985.2A CN116262171A (zh) | 2021-12-14 | 2021-12-14 | 基于健身装置的健身训练方法及系统及装置及介质 |
| PCT/CN2022/070026 WO2023108842A1 (zh) | 2021-12-14 | 2022-01-04 | 基于健身教学训练的动作评价方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111523985.2A CN116262171A (zh) | 2021-12-14 | 2021-12-14 | 基于健身装置的健身训练方法及系统及装置及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116262171A true CN116262171A (zh) | 2023-06-16 |
Family
ID=86722244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111523985.2A Pending CN116262171A (zh) | 2021-12-14 | 2021-12-14 | 基于健身装置的健身训练方法及系统及装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116262171A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103706106A (zh) * | 2013-12-30 | 2014-04-09 | 南京大学 | 一种基于Kinect的自适应连续动作训练方法 |
| CN109126055A (zh) * | 2018-08-28 | 2019-01-04 | 深圳市赛亿科技开发有限公司 | 一种健身指导方法及系统 |
| CN110751050A (zh) * | 2019-09-20 | 2020-02-04 | 郑鸿 | 一种基于ai视觉感知技术的运动教学系统 |
| CN112560665A (zh) * | 2020-12-13 | 2021-03-26 | 同济大学 | 基于深度迁移学习实现人体姿态检测的专业舞蹈评价方法 |
| CN113743237A (zh) * | 2021-08-11 | 2021-12-03 | 北京奇艺世纪科技有限公司 | 跟随动作的准确度判定方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-14 CN CN202111523985.2A patent/CN116262171A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103706106A (zh) * | 2013-12-30 | 2014-04-09 | 南京大学 | 一种基于Kinect的自适应连续动作训练方法 |
| CN109126055A (zh) * | 2018-08-28 | 2019-01-04 | 深圳市赛亿科技开发有限公司 | 一种健身指导方法及系统 |
| CN110751050A (zh) * | 2019-09-20 | 2020-02-04 | 郑鸿 | 一种基于ai视觉感知技术的运动教学系统 |
| CN112560665A (zh) * | 2020-12-13 | 2021-03-26 | 同济大学 | 基于深度迁移学习实现人体姿态检测的专业舞蹈评价方法 |
| CN113743237A (zh) * | 2021-08-11 | 2021-12-03 | 北京奇艺世纪科技有限公司 | 跟随动作的准确度判定方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Trejo et al. | Recognition of yoga poses through an interactive system with kinect device | |
| Chen et al. | Computer-assisted self-training system for sports exercise using kinects | |
| CN110705390A (zh) | 基于lstm的形体姿态识别方法、装置及存储介质 | |
| KR102106135B1 (ko) | 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법 | |
| CN110428486B (zh) | 虚拟互动的健身方法、电子设备及存储介质 | |
| CN111191599A (zh) | 姿态识别方法、装置、设备及存储介质 | |
| CN110298220B (zh) | 动作视频直播方法、系统、电子设备、存储介质 | |
| CN108875586B (zh) | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 | |
| WO2017161734A1 (zh) | 通过电视和体感配件矫正人体动作及系统 | |
| WO2023108842A1 (zh) | 基于健身教学训练的动作评价方法及系统 | |
| CN116266415A (zh) | 基于健身教学训练的动作评价方法及系统及装置及介质 | |
| CN113409651B (zh) | 直播健身方法、系统、电子设备、存储介质 | |
| CN111967407A (zh) | 动作评价方法、电子设备和计算机可读存储介质 | |
| CN108268863A (zh) | 一种图像处理方法、装置和计算机存储介质 | |
| US11657281B2 (en) | Method and system for symmetric recognition of handed activities | |
| CN112990089A (zh) | 一种判断人体运动姿态的方法 | |
| CN112699784A (zh) | 一种人脸朝向估计方法、装置、电子设备及存储介质 | |
| Pai et al. | Home Fitness and Rehabilitation Support System Implemented by Combining Deep Images and Machine Learning Using Unity Game Engine. | |
| US11908161B2 (en) | Method and electronic device for generating AR content based on intent and interaction of multiple-objects | |
| CN116262171A (zh) | 基于健身装置的健身训练方法及系统及装置及介质 | |
| CN114550071B (zh) | 田径视频动作关键帧自动识别和抓取方法、装置及介质 | |
| CN115006822A (zh) | 一种智能健身镜控制系统 | |
| CN115862810B (zh) | 具有量化评估功能的vr康复训练方法及系统 | |
| CN115966016B (zh) | 一种跳跃状态识别方法、系统、电子设备及存储介质 | |
| CN111507555A (zh) | 人体状态检测方法、课堂教学质量的评价方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |