CN109214231A - 基于人体姿态识别的体育教学辅助系统和方法 - Google Patents
基于人体姿态识别的体育教学辅助系统和方法 Download PDFInfo
- Publication number
- CN109214231A CN109214231A CN201710513951.2A CN201710513951A CN109214231A CN 109214231 A CN109214231 A CN 109214231A CN 201710513951 A CN201710513951 A CN 201710513951A CN 109214231 A CN109214231 A CN 109214231A
- Authority
- CN
- China
- Prior art keywords
- standard operation
- human body
- image sequence
- user
- body attitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000009471 action Effects 0.000 claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000011156 evaluation Methods 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 7
- 230000037147 athletic performance Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 230000002452 interceptive effect Effects 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 210000002478 hand joint Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种基于人体姿态识别的互动式体育教学辅助系统和方法，系统包括：深度摄像装置，用于获取用户动作深度图像序列和标准动作深度图像序列；普通摄像装置，用于获取标准动作示范图像序列；标准动作训练单元，用于建立标准动作模型；标准动作存储单元，用于存储标准动作模型和标准动作示范图像序列；显示终端，用于向用户显示标准动作示范图像序列；动作比较单元，用于将预定时间点或时间段的用户动作深度图像序列与对应时间点或时间段的标准动作模型比较，获取用户动作与标准动作模型的差异；提示装置，用于根据差异向显示装置输出动作评价或动作纠正提示信息。本发明无须用户佩戴专用识别装置，降低了系统制造成本提升了用户体验。
Description
技术领域
本发明涉及计算机视觉技术，具体涉及基于人体姿态识别的体育教学辅助系统和方法。
背景技术
传统体育教学需要场地和教练，受到训练者经济条件、训练场馆、训练时间等诸多限制，不利于大部分用户满足自己学习的目标。借助教学视频学习没有互动性，也不能对自己的动作作出评价，在动作错误时也不能得到及时的纠正。选择观看比赛或表演录像来通过模仿学习，虽然用户可以在任何时间任何环境完成，但是缺乏指导，对于动作没有评价体系，训练效果不能满足用户的需要。
现有技术中公开了采用佩戴人体关节标识装置并通过特定装置识别人体关节标识装置从而获取人体动作辅助体育教学的装置和对应的方法。例如，中国专利申请CN102243687A公开了一种基于动作识别技术的体育教学辅助系统。该系统通过为用户佩戴带有特定波长光源以及惯性测量单元的运动数据获取模块，由摄像机追踪所述特定波长光源同时采集惯性测量单元的测量结果来对目标进行动作识别，达到体育教学辅助的目的。又例如，中国专利申请CN102000430A公开了一种基于计算机的舞蹈动作判定方法。该方法通过在人体设置跟踪点，采集跟踪点在人进行舞蹈时在不同时刻的空间位置，通过将跟踪点在不同时刻的位置进行投影计算其特征向量以对动作是否标准进行评价。
但是，这类借助需要人体佩戴的识别装置的教学辅助系统，需要用户佩戴专用识别装置，虽然也能实现动作简单的体育运动的学习与比赛，但是不能用来学习动作变化比较多的体育运动，系统成本高。
与此同时，人体姿态识别技术作为计算机视觉处理技术的分支，正在得到越来越广泛的应用。人体姿态识别技术通过对人体图像的数字处理判断人体姿态以及识别分割出图像中人体的不同部位的关节点，例如，头部和躯干等。
文献“Real-Time Human Pose Recognition in Parts from Single DepthImages”.Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, MarkFinocchio, Richard Moore, Alex Kipman, and Andrew Blake. CVPR, 2011公开了一种深度图像实时人体姿态部分识别方法，通过对深度图像进行处理将困难的姿态估计问题转化为简单的逐像素分类问题实现了从深度图像中分离获取人体关节点坐标信息的目的。
综上，目前缺少亟需一种成本较低，不需要佩戴专门识别装置的体育教学辅助系统和方法。
发明内容
本发明的目的在于提供一种无须佩戴识别点即可获取人体姿态信息进行体育教学辅导的装置和方法。
本发明公开了一种基于人体姿态识别的体育教学辅助系统，包括：
深度摄像装置，用于获取包括用户跟随示范动作作运动动作的用户动作深度图像序列，以及拍摄教练的标准动作获取标准动作深度图像序列；
普通摄像装置，用于获取标准动作示范图像序列，标准动作示范图像序列用于向用户示范标准动作；
标准动作训练单元，用于根据标准动作深度图像序列建立标准动作模型，包括计算每帧标准动作深度图像的人体关节点的空间坐标构成人体姿态信息；根据连续多帧标准动作深度图像的人体姿态信息计算人体关节点的运动参数；其中，运动参数包括根据相邻帧的时间间隔和对应关节点的移动距离计算得到的关节点运动速度和人体肢体的转动角度；将人体关节点的人体姿态信息以及运动参数与图像序列时间信息一一映射获得标准动作模型；
标准动作存储单元，用于存储标准动作模型和与标准动作模型对应的标准动作示范图像序列；
显示终端，用于向用户显示所述标准动作示范图像序列；
动作比较单元，用于将预定时间点或时间段的所述用户动作深度图像序列与对应时间点或时间段的标准动作模型进行比较，获取用户动作与标准动作模型的差异；
提示装置，用于根据所述差异向显示装置输出动作评价信息或动作纠正提示信息。
其中，将预定时间点或时间段的所述用户动作深度图像序列与对应时间点或时间段的标准动作模型进行比较，获取用户动作与标准动作模型的差异包括：
计算预定时间点或时间段内每帧用户动作深度图像的人体关节点的空间坐标构成人体姿态信息；
根据连续多帧用户动作深度图像的人体姿态信息计算人体关节点的运动参数；其中，运动参数包括根据相邻帧的时间间隔和对应关节点的移动距离计算得到的关节点运动速度和人体肢体的转动角度；
将人体关节点的人体姿态信息以及运动参数与对应时间点或时间段的标准动作模型进行比较获取差异。
其中，系统还包括语音提示装置，所述提示装置输出通过语音信号提示用户纠正动作。
其中，预定时间点为关键姿势的时间点，预定时间段为关键动作所处的时间段。
本发明还公开了一种基于人体姿态识别的体育教学辅助方法，包括：
通过深度摄像装置和普通摄像装置分别获取标准动作深度图像序列和标准动作示范图像序列；
根据标准动作深度图像序列建立标准动作模型，包括计算每帧标准动作深度图像的人体关节点的空间坐标构成人体姿态信息；根据连续多帧标准动作深度图像的人体姿态信息计算人体关节点的运动参数；运动参数包括根据相邻帧的时间间隔和对应关节点的移动距离计算得到的关节点运动速度和人体肢体的转动角度；将人体关节点的人体姿态信息以及运动参数与图像序列时间信息一一映射获得标准动作模型；
播放标准动作示范图像序列，同时通过深度摄像装置实时获取用户跟随所述标准动作示范图像序列运动的用户动作深度图像序列；
将预定时间点或时间段的所述用户动作深度图像序列与对应时间点或时间段的标准动作模型进行比较，获取用户动作与标准动作模型的差异；
根据差异评价用户动作或给出动作纠正提示。
优选地，将预定时间点或时间段的所述用户动作深度图像序列与对应时间点或时间段的标准动作模型进行比较，获取用户动作与标准动作模型的差异包括：
计算预定时间点或时间段内每帧用户动作深度图像的人体关节点的空间坐标构成人体姿态信息；
根据连续多帧用户动作深度图像的人体姿态信息计算人体关节点的运动参数；其中，运动参数包括根据相邻帧的时间间隔和对应关节点的移动距离计算得到的关节点运动速度和人体肢体的转动角度；
将人体关节点的人体姿态信息以及运动参数与对应时间点或时间段的标准动作模型进行比较获取差异。
优选的，预定时间点为关键姿势的时间点，预定时间段为关键动作所处的时间段。
优选的，动作纠正提示为语音提示或图像提示。
本发明能显著提高用户学习体育运动的效率，寓教于乐，通过语音和视频享受到体育中乐趣，本发明特有的互动性能让学习者享受到如同专业教练陪练的体验，能够提供给学习者更加准确规范的动作，学习性与娱乐性兼具。同时，由于不需要佩戴标记点等专门用具，本发明降低了系统成本同时提升了用户体验。
附图说明
图1是本发明第一实施例的体育教学辅助系统的系统框图；
图2是本发明第二实施例的体育教学辅助系统的系统框图；
图3是本发明实施例中根据深度图像获取表示人体姿态的关节点的示意图；
图4是本发明实施例的体育教学辅助方法的方法流程图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
图1是本发明第一实施例的体育教学辅助系统的系统框图。
如图1所示，本实施例的体育教学辅助系统包括：深度摄像装置101（DepthCamera，也称为3D摄像装置，可以获取包括物体距离摄像装置的距离信息，因此可以基于此获得拍摄物体的三维空间坐标）、标准动作存储单元102、动作比较单元103、提示装置105和显示装置104。
其中，所述深度摄像装置101用于获取包括用户跟随示范动作运动动作的用户动作深度图像序列。用户动作深度图像序列用于来与标准动作模型进行比较以获得用户动作与标准动作之间的差异。
所述标准动作存储单元102存储预先制作的用于进行动作比较的标准动作模型和用于显示给用户做示范用的标准动作示范图像序列。所述标准动作动作模型可以通过拍摄标准动作获取标准动作深度图像序列并进一步对图像序列进行训练获得。所述标准动作存储单元102向动作比较单元103提供所述标准动作模型，向显示装置105提供标准动作示范图像序列供用户跟随学习。
本实施例中，标准动作存储单元102可以采用现有的各类存储装置，如只读存储器、可读写存储器、硬盘、闪存、光盘等，事先将制作好的相关标准动作数据烧录/存储到标准动作存储单元中即可。
动作比较单元103用于将预定时间点或时间段的所述用户动作深度图像序列解析为用户姿态信息，将用户姿态信息与对应时间点或时间段的标准动作模型进行比较，获取用户动作与标准动作模型的差异。所述的预定时间点或时间段是事先指定的关键姿势所处时间点和关键动作的时间段，例如，广播体操开始时人体的预备姿势以及广播体操的重要动作。动作比较单元103仅对该关键姿势和关键动作来进行模型比较，以获得差异，并进一步由提示装置来进行评价和纠正。获取的差异包括获取用户姿态信息与标准动作模型的关节点之间的距离，肢体转动角度和关节点运动速度的差异。
提示装置104用于根据所述差异评价用户动作或给出动作纠正提示。提示装置106根据用户姿态信息与标准动作模型的关节点距离，肢体转动角度和关节点运动速度等差异按预定的评价标准对用户动作评价，还可以根据所述差异给出纠正动作的提示，提示装置106将评价信息或提示信息输出到显示装置显示。例如，对于广播体操中平展手臂的姿势，动作比较单元105获取的用户动作图像与标准动作模型的差异为人体手部关节点和肘部关节点的坐标低于标准动作模型中的相应坐标，则判断用户手臂偏低，提示装置106提示用户手臂应当抬高。为了克服人体体型不同的问题，可以在获取人体姿态信息时对于关节点的坐标进行归一化。
显示装置105用于向用户显示所述标准动作示范图像序列。
图2是本发明第二实施例的体育教学辅助系统的系统框图。本发明的第二实施例在第一所实施例基础上增加了普通摄像装置以及标准动作训练单元从而使得所述教学辅助系统具备制作标准动作数据的功能。
如图2所示，本实施例的体育教学辅助系统包括：深度摄像装置201、普通摄像装置202（二维摄像装置，能够获取具有灰度信息或彩色信息的二维图像）、显示装置203、标准动作训练单元204、动作比较单元205、提示装置206和标准动作存储单元207。
其中，深度摄像装置201用于获取标准动作深度图像序列和包括用户跟随示范动作运动动作的用户动作深度图像序列。标准动作深度图像序列通过拍摄教练的标准动作录制，用来供标准动作训练单元训练获取标准动作模型。用户动作深度图像序列用于来与标准动作模型进行比较以获得用户动作与标准动作之间的差异。
普通摄像装置202与上述深度摄像装置201同步拍摄教练的标准动作获取标准动作示范图像序列，所述标准动作示范图像序列用于向用户示范标准动作。
显示装置203用于向用户显示所述标准动作示范图像序列。
标准动作训练单元204用于根据所述标准动作深度图像序列建立标准动作模型。
其中，建立标准动作模型的流程包括，标准动作训练单元204计算每帧标准动作深度图像的人体关节点的空间坐标构成人体姿态信息；根据连续多帧标准动作深度图像的人体姿态信息计算人体关节点的运动参数；将所述人体关节点的人体姿态信息以及运动参数与图像序列时间信息一一映射获得标准动作模型。
图3是从人体深度图像中提取人体关节点表示人体姿态的示意图。如图3所示，利用一系列的人体关节点即可以表示人体的姿态。利用所述的一系列的关节点的坐标即可构成人体姿态信息。
静态的姿势利用单帧深度图像即可以构建。而对于动态的动作，可以将动作分解成若干个姿态，不同姿态下关节点的空间变化可以反映动作完成情况，根据动作期间不同关节点三维信息的变化特征建立包括动作特征的模型。在本实施例中，根据连续多帧的标准动作深度图像的人体姿态信息计算人体关节点的运动参数。运动参数可以包括关节点运动的速度以及人体肢体转动的角度。所述速度可以通过相邻帧的间隔时间以及相邻帧的图像中关键点移动的距离计算，人体肢体转动的角度可以通过关节点构成的代表肢体的线段夹角计算得到。
以广播体操为例，对于广播体操中的手臂上扬动作，标准动作训练单元104根据整个手臂上扬动作期间的多帧图像获得每一帧图像的人体姿态信息，通过连续的人体姿态信息，计算每一帧中对应的人体关节点的位置、移动速度以及所有肢体角度，然后将这些信息与对应的时间信息进行映射构成标准动作模型，该标准动作模型中包括手臂上扬动作中手臂对应的关节点的变化规律。
动作比较单元205用于将预定时间点或时间段的所述用户动作深度图像序列解析为用户姿态信息，将用户姿态信息与对应时间点或时间段的标准动作模型进行比较，获取用户动作与标准动作模型的差异。所述的预定时间点或时间段是事先指定的关键姿势所处时间点和关键动作的时间段，例如，广播体操开始时人体的预备姿势以及广播体操的重要动作。动作比较单元105仅对该关键姿势和关键动作来进行模型比较，以获得差异，并进一步由提示装置来进行评价和纠正。获取的差异包括获取用户姿态信息与标准动作模型的关节点距离，动作转动角度和关节点运动速度的差异。
提示装置206用于根据所述差异评价用户动作或给出动作纠正提示。提示装置206根据用户姿态信息与标准动作模型的关节点距离，动作转动角度和关节点运动速度等差异按预定的评价标准对用户动作评价，还可以根据所述差异给出纠正动作的提示，提示装置206将评价信息或提示信息输出到显示装置显示。例如，对于广播体操中平展手臂的姿势，动作比较单元205获取的用户动作图像与标准动作模型的差异为人体手部关节点和肘部关节点的坐标低于标准动作模型中的相应坐标，则判断用户手臂偏低，提示装置206提示用户手臂应当抬高。为了克服人体体型不同的问题，可以在获取人体姿态信息时对于关节点的坐标进行归一化。
标准动作存储单元207用于存储标准动作训练单元204获得的标准动作模型以及由普通摄像装置202获取的标准动作示范图像序列。
在本发明的另一个实施例中，基于人体姿态识别的体育教学辅助系统还可以包括音频输出装置，所述提示装置206同时将评价信息或提示信息以语音方式输出到音频输出装置。
同时，由于用户是跟随示范动作在进行，用户动作相比于标准动作时间上会有一定的滞后，在系统处理用户的每个动作时，会允许一定的时间偏差量，以保持进行比较时，用户和教练的视频同步。
图4是本发明实施例的体育教学辅助方法的方法流程图。如图4所示，所述方法包括：
步骤401、播放预先制作的标准动作示范图像序列，同时通过深度摄像装置实时获取用户跟随所述标准动作示范图像序列运动的用户动作深度图像序列；
步骤402、将预定时间点或时间段的所述用户动作深度图像序列与对应时间点或时间段的标准动作模型进行比较，获取用户动作与标准动作模型的差异；
步骤403、根据所述差异评价用户动作或给出动作纠正提示。
其中，步骤402进一步包括：
402A、计算预定时间点或时间段内每帧用户动作深度图像的人体关节点的空间坐标构成人体姿态信息；
402B、根据连续多帧用户动作深度图像的人体姿态信息计算人体关节点的运动参数；其中，所述运动参数包括根据相邻帧的时间间隔和对应关节点的移动距离计算得到的关节点运动速度和人体肢体的转动角度；
402C、将所述人体关节点的人体姿态信息以及运动参数与对应时间点或时间段的标准动作模型进行比较获取差异。
其中，在步骤401前还可包括制作获取标准动作示范图像序列和获取标准动作模型的步骤，具体包括：
400A、分别获取标准动作深度图像序列和标准动作示范图像序列。
400B、根据所述标准动作深度图像序列建立标准动作模型。
其中，所述步骤400B进一步包括：
步骤400B1、计算每帧标准动作深度图像的人体关节点的空间坐标构成人体姿态信息；
步骤400B2、根据连续多帧标准动作深度图像的人体姿态信息计算人体关节点的运动参数；
步骤400B3、将所述人体关节点的人体姿态信息以及运动参数与图像序列时间信息一一映射获得标准动作模型。
本发明能显著提高用户学习体育运动的效率，寓教于乐，通过语音和视频享受到体育中乐趣，本发明特有的互动性能让学习者享受到如同专业教练陪练的体验，能够提供给学习者更加准确规范的动作，学习性与娱乐性兼具。同时，由于不需要佩戴标记点等专门用具，本发明降低了系统成本同时提升了用户体验。
显然，本领域技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于人体姿态识别的体育教学辅助系统，包括：
深度摄像装置，用于获取包括用户跟随示范动作作运动动作的用户动作深度图像序列，以及拍摄教练的标准动作获取标准动作深度图像序列；
普通摄像装置，用于获取标准动作示范图像序列，所述标准动作示范图像序列用于向用户示范标准动作；
标准动作训练单元，用于根据所述标准动作深度图像序列建立标准动作模型，包括计算每帧标准动作深度图像的人体关节点的空间坐标构成人体姿态信息；根据连续多帧标准动作深度图像的人体姿态信息计算人体关节点的运动参数；其中，所述运动参数包括根据相邻帧的时间间隔和对应关节点的移动距离计算得到的关节点运动速度和人体肢体的转动角度；将所述人体关节点的人体姿态信息以及运动参数与图像序列时间信息一一映射获得标准动作模型；
标准动作存储单元，用于存储标准动作模型和与标准动作模型对应的标准动作示范图像序列；
显示终端，用于向用户显示所述标准动作示范图像序列；
动作比较单元，用于将预定时间点或时间段的所述用户动作深度图像序列与对应时间点或时间段的标准动作模型进行比较，获取用户动作与标准动作模型的差异；
提示装置，用于根据所述差异向显示装置输出动作评价信息或动作纠正提示信息。
2.如权利要求1所述的基于人体姿态识别的体育教学辅助系统，其特征在于，所述将预定时间点或时间段的所述用户动作深度图像序列与对应时间点或时间段的标准动作模型进行比较，获取用户动作与标准动作模型的差异包括：
计算预定时间点或时间段内每帧用户动作深度图像的人体关节点的空间坐标构成人体姿态信息；
根据连续多帧用户动作深度图像的人体姿态信息计算人体关节点的运动参数；其中，所述运动参数包括根据相邻帧的时间间隔和对应关节点的移动距离计算得到的关节点运动速度和人体肢体的转动角度；
将所述人体关节点的人体姿态信息以及运动参数与对应时间点或时间段的标准动作模型进行比较获取差异。
3.如权利要求1所述的基于人体姿态识别的体育教学辅助系统，其特征在于，所述系统还包括语音提示装置，所述提示装置输出通过语音信号提示用户纠正动作。
4.如权利要求1所述的基于人体姿态识别的体育教学辅助系统，其特征在于，所述预定时间点为关键姿势的时间点，所述预定时间段为关键动作所处的时间段。
5.一种基于人体姿态识别的体育教学辅助方法，包括：
通过深度摄像装置和普通摄像装置分别获取标准动作深度图像序列和标准动作示范图像序列；
根据所述标准动作深度图像序列建立标准动作模型，包括计算每帧标准动作深度图像的人体关节点的空间坐标构成人体姿态信息；根据连续多帧标准动作深度图像的人体姿态信息计算人体关节点的运动参数；所述运动参数包括根据相邻帧的时间间隔和对应关节点的移动距离计算得到的关节点运动速度和人体肢体的转动角度；将所述人体关节点的人体姿态信息以及运动参数与图像序列时间信息一一映射获得标准动作模型；
播放标准动作示范图像序列，同时通过深度摄像装置实时获取用户跟随所述标准动作示范图像序列运动的用户动作深度图像序列；
将预定时间点或时间段的所述用户动作深度图像序列与对应时间点或时间段的标准动作模型进行比较，获取用户动作与标准动作模型的差异；
根据所述差异评价用户动作或给出动作纠正提示。
6.如权利要求5所述的基于人体姿态识别的体育教学辅助方法，其特征在于，所述将预定时间点或时间段的所述用户动作深度图像序列与对应时间点或时间段的标准动作模型进行比较，获取用户动作与标准动作模型的差异包括：
计算预定时间点或时间段内每帧用户动作深度图像的人体关节点的空间坐标构成人体姿态信息；
根据连续多帧用户动作深度图像的人体姿态信息计算人体关节点的运动参数；其中，所述运动参数包括根据相邻帧的时间间隔和对应关节点的移动距离计算得到的关节点运动速度和人体肢体的转动角度；
将所述人体关节点的人体姿态信息以及运动参数与对应时间点或时间段的标准动作模型进行比较获取差异。
7.如权利要求5所述的基于人体姿态识别的体育教学辅助方法，其特征在于，所述预定时间点为关键姿势的时间点，所述预定时间段为关键动作所处的时间段。
8.如权利要求5所述的基于人体姿态识别的体育教学辅助方法，其特征在于，所述动作纠正提示为语音提示或图像提示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710513951.2A CN109214231A (zh) | 2017-06-29 | 2017-06-29 | 基于人体姿态识别的体育教学辅助系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710513951.2A CN109214231A (zh) | 2017-06-29 | 2017-06-29 | 基于人体姿态识别的体育教学辅助系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109214231A true CN109214231A (zh) | 2019-01-15 |
Family
ID=64976461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710513951.2A Pending CN109214231A (zh) | 2017-06-29 | 2017-06-29 | 基于人体姿态识别的体育教学辅助系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109214231A (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110448870A (zh) * | 2019-08-16 | 2019-11-15 | 深圳特蓝图科技有限公司 | 一种人体姿态训练方法 |
| CN110575663A (zh) * | 2019-09-25 | 2019-12-17 | 郑州大学 | 一种基于人工智能的体育辅助训练方法 |
| CN110796005A (zh) * | 2019-09-27 | 2020-02-14 | 北京大米科技有限公司 | 在线教学监控的方法、装置、电子设备及介质 |
| CN111275032A (zh) * | 2020-05-07 | 2020-06-12 | 西南交通大学 | 基于人体关键点的深蹲检测方法、装置、设备及介质 |
| CN111275339A (zh) * | 2020-01-20 | 2020-06-12 | 北京驭胜晏然体育文化有限公司 | 一种室内滑雪教学动作分析纠正方法、系统及可读存储介质 |
| CN111488824A (zh) * | 2020-04-09 | 2020-08-04 | 北京百度网讯科技有限公司 | 运动提示方法、装置、电子设备和存储介质 |
| CN111680608A (zh) * | 2020-06-03 | 2020-09-18 | 长春博立电子科技有限公司 | 一种基于视频分析的智慧体育辅助训练系统及训练方法 |
| CN111862348A (zh) * | 2020-07-30 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 视频显示方法、视频生成方法、装置、设备及存储介质 |
| CN111985582A (zh) * | 2020-09-27 | 2020-11-24 | 上海松鼠课堂人工智能科技有限公司 | 基于学习行为的知识点掌握程度评测方法 |
| CN111985393A (zh) * | 2020-08-18 | 2020-11-24 | 深圳市瓴鹰智能科技有限公司 | 一种纠正运动姿态的智能镜子及其运动姿态纠正方法 |
| CN112023373A (zh) * | 2020-09-07 | 2020-12-04 | 东南大学 | 一种基于姿态传感器的网球运动训练方法 |
| CN112399234A (zh) * | 2019-08-18 | 2021-02-23 | 聚好看科技股份有限公司 | 一种界面显示方法及显示设备 |
| CN113128283A (zh) * | 2019-12-31 | 2021-07-16 | 沸腾时刻智能科技(深圳)有限公司 | 评估方法、模型构建方法、教学机、教学系统及电子设备 |
| CN113144540A (zh) * | 2021-03-12 | 2021-07-23 | 华南理工大学 | 一种智能安全健身指导装置、系统及方法 |
| CN113342439A (zh) * | 2021-06-11 | 2021-09-03 | 北京字节跳动网络技术有限公司 | 一种显示方法、装置、电子设备和存储介质 |
| CN114220300A (zh) * | 2021-02-01 | 2022-03-22 | 黄华 | 利用增强现实佩戴设备可视化智能互动教考系统和方法 |
| CN114565490A (zh) * | 2022-04-29 | 2022-05-31 | 广州中金育能教育科技有限公司 | 一种体育教学方法及系统 |
| CN115223406A (zh) * | 2022-08-05 | 2022-10-21 | 康家豪 | 虚拟运动教练系统及其控制方法 |
| TWI823478B (zh) * | 2022-07-18 | 2023-11-21 | 新加坡商鴻運科股份有限公司 | 人工智慧之動作管理方法、電子設備及存儲介質 |
| US11924513B2 (en) | 2019-08-18 | 2024-03-05 | Juhaokan Technology Co., Ltd. | Display apparatus and method for display user interface |
-
2017
- 2017-06-29 CN CN201710513951.2A patent/CN109214231A/zh active Pending
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110448870A (zh) * | 2019-08-16 | 2019-11-15 | 深圳特蓝图科技有限公司 | 一种人体姿态训练方法 |
| CN112399234A (zh) * | 2019-08-18 | 2021-02-23 | 聚好看科技股份有限公司 | 一种界面显示方法及显示设备 |
| US11924513B2 (en) | 2019-08-18 | 2024-03-05 | Juhaokan Technology Co., Ltd. | Display apparatus and method for display user interface |
| CN116074564A (zh) * | 2019-08-18 | 2023-05-05 | 聚好看科技股份有限公司 | 一种界面显示方法及显示设备 |
| WO2021031809A1 (zh) * | 2019-08-18 | 2021-02-25 | 聚好看科技股份有限公司 | 一种界面显示方法及显示设备 |
| CN110575663A (zh) * | 2019-09-25 | 2019-12-17 | 郑州大学 | 一种基于人工智能的体育辅助训练方法 |
| CN110796005A (zh) * | 2019-09-27 | 2020-02-14 | 北京大米科技有限公司 | 在线教学监控的方法、装置、电子设备及介质 |
| CN113128283A (zh) * | 2019-12-31 | 2021-07-16 | 沸腾时刻智能科技(深圳)有限公司 | 评估方法、模型构建方法、教学机、教学系统及电子设备 |
| CN111275339A (zh) * | 2020-01-20 | 2020-06-12 | 北京驭胜晏然体育文化有限公司 | 一种室内滑雪教学动作分析纠正方法、系统及可读存储介质 |
| CN111488824A (zh) * | 2020-04-09 | 2020-08-04 | 北京百度网讯科技有限公司 | 运动提示方法、装置、电子设备和存储介质 |
| CN111488824B (zh) * | 2020-04-09 | 2023-08-08 | 北京百度网讯科技有限公司 | 运动提示方法、装置、电子设备和存储介质 |
| CN111275032B (zh) * | 2020-05-07 | 2020-09-15 | 西南交通大学 | 基于人体关键点的深蹲检测方法、装置、设备及介质 |
| CN111275032A (zh) * | 2020-05-07 | 2020-06-12 | 西南交通大学 | 基于人体关键点的深蹲检测方法、装置、设备及介质 |
| CN111680608A (zh) * | 2020-06-03 | 2020-09-18 | 长春博立电子科技有限公司 | 一种基于视频分析的智慧体育辅助训练系统及训练方法 |
| CN111680608B (zh) * | 2020-06-03 | 2023-08-18 | 长春博立电子科技有限公司 | 一种基于视频分析的智慧体育辅助训练系统及训练方法 |
| CN111862348B (zh) * | 2020-07-30 | 2024-04-30 | 深圳市腾讯计算机系统有限公司 | 视频显示方法、视频生成方法、装置、设备及存储介质 |
| CN111862348A (zh) * | 2020-07-30 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 视频显示方法、视频生成方法、装置、设备及存储介质 |
| CN111985393A (zh) * | 2020-08-18 | 2020-11-24 | 深圳市瓴鹰智能科技有限公司 | 一种纠正运动姿态的智能镜子及其运动姿态纠正方法 |
| CN112023373A (zh) * | 2020-09-07 | 2020-12-04 | 东南大学 | 一种基于姿态传感器的网球运动训练方法 |
| CN111985582A (zh) * | 2020-09-27 | 2020-11-24 | 上海松鼠课堂人工智能科技有限公司 | 基于学习行为的知识点掌握程度评测方法 |
| CN114220300A (zh) * | 2021-02-01 | 2022-03-22 | 黄华 | 利用增强现实佩戴设备可视化智能互动教考系统和方法 |
| CN113144540A (zh) * | 2021-03-12 | 2021-07-23 | 华南理工大学 | 一种智能安全健身指导装置、系统及方法 |
| CN113342439A (zh) * | 2021-06-11 | 2021-09-03 | 北京字节跳动网络技术有限公司 | 一种显示方法、装置、电子设备和存储介质 |
| CN114565490A (zh) * | 2022-04-29 | 2022-05-31 | 广州中金育能教育科技有限公司 | 一种体育教学方法及系统 |
| TWI823478B (zh) * | 2022-07-18 | 2023-11-21 | 新加坡商鴻運科股份有限公司 | 人工智慧之動作管理方法、電子設備及存儲介質 |
| CN115223406A (zh) * | 2022-08-05 | 2022-10-21 | 康家豪 | 虚拟运动教练系统及其控制方法 |
| CN115223406B (zh) * | 2022-08-05 | 2024-05-07 | 康家豪 | 虚拟运动教练系统及其控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109214231A (zh) | 基于人体姿态识别的体育教学辅助系统和方法 | |
| CN103390174A (zh) | 基于人体姿态识别的体育教学辅助系统和方法 | |
| US11132533B2 (en) | Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion | |
| US10803365B2 (en) | System and method for relocalization and scene recognition | |
| US20180315329A1 (en) | Augmented reality learning system and method using motion captured virtual hands | |
| CN110448870B (zh) | 一种人体姿态训练方法 | |
| WO2018233398A1 (zh) | 学习监控方法、装置及电子设备 | |
| US9082312B2 (en) | Physical activity instructional apparatus | |
| US8055073B1 (en) | System and method for enabling meaningful interaction with video based characters and objects | |
| CN104200491A (zh) | 一种人体运动姿态校正系统 | |
| US20160042652A1 (en) | Body-motion assessment device, dance assessment device, karaoke device, and game device | |
| US20180154215A1 (en) | User customized training system and method of providing training set thereof | |
| CN110544301A (zh) | 一种三维人体动作重建系统、方法和动作训练系统 | |
| KR102106135B1 (ko) | 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법 | |
| CN108475477A (zh) | 用于体育器械的运动分析的方法和装置 | |
| CN106097787A (zh) | 基于虚拟现实的肢体教学方法与教学系统 | |
| CN109614849A (zh) | 基于生物识别的远程教学方法、装置、设备及存储介质 | |
| WO2021098616A1 (zh) | 运动姿态识别方法、运动姿态识别装置、终端设备及介质 | |
| CN107050803A (zh) | 一种羽毛球训练监控评估系统 | |
| CN106075854A (zh) | 一种舞蹈训练系统 | |
| CN107220608B (zh) | 一种篮球动作模型重建和防守的指导系统及方法 | |
| CN107240049A (zh) | 一种沉浸式环境中远程动作教学质量的自动评价方法和系统 | |
| US11682157B2 (en) | Motion-based online interactive platform | |
| KR20150101629A (ko) | 태권도 품새 판독 및 교육 장치 및 그 방법 | |
| CN106708266A (zh) | 一种基于双目手势识别的ar动作矫正投影方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190115 |