CN110751050A - 一种基于ai视觉感知技术的运动教学系统 - Google Patents

一种基于ai视觉感知技术的运动教学系统 Download PDF

Info

Publication number
CN110751050A
CN110751050A CN201910896410.1A CN201910896410A CN110751050A CN 110751050 A CN110751050 A CN 110751050A CN 201910896410 A CN201910896410 A CN 201910896410A CN 110751050 A CN110751050 A CN 110751050A
Authority
CN
China
Prior art keywords
action
motion
teaching
sequence
demonstration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910896410.1A
Other languages
English (en)
Inventor
郑鸿
陈文生
陈百川
唐颂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910896410.1A priority Critical patent/CN110751050A/zh
Publication of CN110751050A publication Critical patent/CN110751050A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于AI视觉感知技术的运动教学系统，属于视觉感知技术领域，包括教程编制发布子系统与运动学习子系统，所述教程编制发布子系统包括示范动作感知模块、教程编制模块与教程发布模块。本发明利用AI视觉感知技术，可以免于穿戴在身上的传感器及电源等设施，通过事先对示范者的动作视频进行分析和处理，记录和计算肢体和相关道具每部分的相对空间位置、折曲扭摆角度以及速度，然后对模仿者的动作实时视频进行同样的分析和处理，两相比较，根据比较结果调整教学节奏和方法，并监测和应答模仿者的教学要求和控制命令，解决传统通过视频进行的自学没有互动性及没有即时评价的问题。

Description

一种基于AI视觉感知技术的运动教学系统
技术领域
本发明涉及视觉感知技术领域，具体涉及一种基于AI视觉感知技术的运动教学系统。
背景技术
人工智能学科自诞生之初便奠定了其模拟、延伸、扩展人类智能的宏伟目标。随着人工智能技术的发展，人工智能在感知，自然语言处理，知识表示，自动推理和规划以及机器学习等多个方向都取得了长足的发展。感知能力包括视觉感知(图像识别和视频理解和重建场景的能力)和听觉感知(即语音识别voice recognition，指的是从多个人的声音中找到特定的人的声音)。自然语言处理指的是语义识别speech recognition，即在语音识别之后还能理解人的话语的含义。
在各种涉及运动的项目，包括体育、健身运动，舞蹈、戏曲等艺术运动，和康复、矫正等等，传统的非现场教学方式模仿者只能观看录像和对着镜子练习以揣摩和领会动作。其最大的问题是没有一个带有专业眼光和能力的动作正确度及艺术性评价工具，让学生即时获得专业指导。另一个问题是模仿者和创建该视频教程的示范者之间没有互动，严重影响自学模仿者的学习效率和效果。而且现有的运动状态感知技术通常采用可穿戴设备，固定附着在人体多个部位，利用设备中的重力传感器和加速度传感器等传感器，计算人体的运动状态，使用者需要直接穿戴设备，不够方便。为此，提出一种基于AI视觉感知技术的运动教学系统。
发明内容
本发明所要解决的技术问题在于：如何实现高效、简明和精确的连贯动作比对和正确度评价，和在没有示范者亲身指导的情况下，自动进行带有丰富互动性的教学指导，使模仿者学习效率及效果得大幅提升，提供了一种基于AI视觉感知技术的运动教学系统。
本发明是通过以下技术方案解决上述技术问题的，本发明包括教程编制发布子系统与运动学习子系统，所述教程编制发布子系统包括示范动作感知模块、教程编制模块与教程发布模块，所述运动学习子系统包括模仿动作感知模块、相似度判定模块与教学过程控制模块。
所述示范动作感知模块用于对示范者(教员)的动作图片或视频的每一帧做姿态感知，生成示范动作序列数据。示范动作包括正确示范动作与典型错误示范动作；每个片段至少有一个姿态，当有多个时，第一个为初始姿态，后续可设置多个节点姿态，两个节点之间的动作为分节动作。教学片段和分节都用于动作分解教学；初始示范姿态是该片段的第一个节点。
所述模仿动作感知模块，用于对模仿者(学员)的动作视频逐帧进行姿态感知，生成模仿动作序列数据；所述相似度判定模块，用于将模仿者的动作序列和示范者标准姿态或动作序列比较，计算模仿者动作和示范者动作的相似度和模仿者动作的正确度。这种方法无需进行行为识别，无需理解正在进行的行为，只需要跟示范动作进行比对即可。
所述教学过程控制模块，用于根据所述相似度判定模块的判定结果，控制教学的节奏和进度及调整教学方法，并用于接收模仿者的教学请求和命令；学习过程中运动教学系统逐个评价每个片段的正确度，当模仿者的动作正确度达不到阈值时，教学控制模块提示模仿者并自动回到本片段的起点，以更慢的速度重新开始本片段的学习。
所述教程编制模块，用于将示范者的示范动作图片或视频，和其经过所述示范动作感知模块生成的动作序列数据，加以辅助教学素材，编辑制作成数字形式的教学内容，供所述运动学习子系统用于教学活动。数字形式的运动教学教程内容包括正确示范动作视频和典型错误动作示范视频及其运动序列数据、分段和分节索引表(包括视频分段和分节时间标签或帧编号等)、动作要领讲解音频。
更进一步的，动作序列组合了静态姿态和动态趋势两部分信息，包括目标对象(人体和与之相关的道具)各个关键点的空间坐标、折曲扭摆角度、速度矢量，数据信度。空间坐标主要用于场景重建；折曲扭摆角度主要用于动作相似度比较；速度矢量主要用于示范者视频和模仿者动作同步及速度正确度和肢体协调性评估；摄像机的盲区数据信度为0,也可手工将部分部位信度设置为0，信度为0的部位在姿态比对过程中被跳过。目标对象各个关键点的空间坐标和折曲扭摆角是根据视频姿态感知的结果测量出来的，根据跟其前一帧之间的坐标变化，计算出各个关键点的速度。关键点包括人体关节、端点和虚拟关键点。
虚拟关键点是假想出来的身体之外的点，用于确定面部和眼球(视线)的方向等等。多数运动项目其面部和视线朝向都是动作正确性的重要考核部分，比如戏剧表演。有些运动还有马匹等动物参与，所述运动教学系统也对其做姿态和运动状态感知。当所述运动教学系统用于棍棒等带有武器道具的武术教学时，可识别棍棒等道具，将道具也纳入运动状态比对。以直棍棒为例，系统采集棍棒的两个端点和手握点。
所述教程发布模块，用于发布教程数据的数字拷贝，存储于云端服务器，以分类频道形式展现，可供在线使用，或者下发到学习终端内部供离线使用。
示范动作或模仿动作序列中，每个离散的姿态包括的属性及其计算方法如下：
A：坐标序列Pn：按照预先定义的人体的关节点和虚拟关键点顺序，将各点坐标记入坐标序列Pn，序列中可以存在重复的点，以记录不同方向的角度；
B：角度序列An：依次计算相邻三个点所决定的角度，得到角度序列An，其中最后一个表示角Pn-1PnP0；
C：速度矢量序列Vn：依次根据上一帧和这一帧的空间位置相减得到位移矢量，除以帧间隔时长，计算每个点的速度矢量Vn：
Vn＝(Pn-Pn-1)/Tf
其中Tf表示视频帧间隔时长；
D：序列Rn：表示每个序列Pn和An中对应点的数据的信度；
E：帧时间标签T。
更进一步的，如果有多角度同步摄像，则分别对摄像头录制的视频，进行姿态感知，将相同的时间片刻的数据根据信度加权取平均值，再进行速度计算。
更进一步的，由于示范者的动作速度和模仿者的速度不可能完全相同，而且往往模仿者较慢，模仿者还可能会做过头一点再调整回来。另外，在健身练习中，有时候需要学员维持某个状态一段时间。为此，教学过程控制设计四种示范者和模仿者的同步模式：
M1、差速同步模式：指调整示范者视频的播放速度，使之接近和配合模仿者的动作速度；系统对每一个示范视频帧都进行比对，用于评估和同步；本模式适合于高级阶段的连贯练习；
M2、停等同步模式：每个动作片段或分节都是匀速播放完后停下，等待模仿者完成动作片段或分节，然后自动进入下一个片段；系统对每一个示范视频帧都进行比对以评估学员的水平；本模式适合于中高级阶段的分解连贯练习；
M3、命令同步模式：在此模式下，系统可只比对动作分节或者动作分段的首尾姿态。当学员认为完成该节点的姿态时，通过口令或手持遥控器方式给教学系统一个指示，教学系统进行当前节点姿态比对。比对通过则前往下一个节点，不通过则进行动作指导，直到学员再次指示系统进行比对。在两个节点之间，学员的动作不做考核，适用于初学阶段；
M1-3模式下运动教学系统姿态采集模仿者动作视频，将每一帧做姿态感知之后，和示范动作比对的过程和算法如下：
S11：如果已经到达当前片段的末尾，或到达下一个节点，则结束当前片段或者当前两个节点之间的比对过程。否则取下一个待比对的示范姿态，跳到S12；
S12：取下一个比对模仿姿态；
S13：依次求示范姿态和模仿姿态的关节角度差值的绝对值乘信度，并累加，公式如下：
Figure BDA0002209555640000031
其中，Ak和ak分别表示示范者和模仿者角度序列的第k个角度，Rk为其信度；
S14：重复S12-S13,直到下一模仿姿态的D值开始增大时跳入步骤S11。
M4、静态维持模式：系统在预定时间长度内评估学员的姿态和同一个示范姿态的相似度。如果任一时刻其差别超过一定门限，则进而判断其错误类型，给学员以动作纠正讲解。系统可只工作在这一个模式，实现姿态监控功能。
在M4模式下，运动教学系统姿态采集模仿者动作视频，将每一帧做姿态感知之后，和单一示范姿态比对的过程和算法如下：
S21：取下一帧比对模仿姿态；
S22：依次求示范姿态和模仿姿态的关节角度差值的绝对值乘信度，并累加，公式如下：
Figure BDA0002209555640000041
其中，Ak和ak分别表示示范者和模仿者角度序列的第k个角度，Rk为其信度；
S23：重复S21-S22,直到达到所要求的维持时长。
当需要判断动作错误的类型时，有两个方法判断模仿者的动作错误类型。一是和示范者录制的典型错误动作做相似度比对，二是根据教程中示范者演示的典型错误动作制作的动作序列数据的误差模型，评判模仿者的动作和哪一种错误动作接近。判断出错误类型后，给出针对性地讲解，指导模仿者纠正动作；当涉及到马匹和/或其他道具时,根据马匹和/或道具的比对结果，指导模仿者纠正对马匹的控制方法，及对相关道具的使用方法。
模仿者随时可主动向所述运动教学系统发出命令，命令包括调整学习速度、回到整套动作的起点、回到本片段的起点、调整同步模式、跳过本片段、调整正确度阈值、切换到其他教程、结束练习等等，接受命令的方式包括语音、遥控器、手势等等。更进一步的，模仿动作感知模块的输出被存储作为模仿者学习进步速度评估依据。
本发明相比现有技术具有以下优点：该基于AI视觉感知技术的运动教学系统，利用人工智能视觉感知技术，可以免于穿戴在身上的各种传感器；可以事先对示范者的动作视频进行分析和处理，记录每个时刻每部分肢体的位置，速度和角度，然后对模仿者的动作进行同样的分析和处理，分析其每个时刻的运动状态，和示范者的动作进行比较，这样传统非现场教学中的问题，即缺乏即时评价和互动性的问题，将得到很好的解决，值得被推广使用。
附图说明
图1是本发明实施例一中运动教学系统的总体结构示意框图；
图2是本发明实施例一中教程编辑子系统的教程编制过程示意图；
图3是本发明实施例一中运动学习子系统的学习过程示意图；
图4是本发明实施例一中教学控制过程的流程示意图；
图5是本发明实施例一中单路视频运动感知过程示意图；
图6是本发明实施例一中多路视频运动感知过程示意图；
图7是本发明实施例一中目标人体和道具的关键点示意图；
图8是本发明实施例一中初始示范姿态，片段，和节点示意图；
图9是本发明实施例二中比对和监控过程的流程和状态机示意图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例一
如图1～8所示，本实施例提供了一种运动教学系统，包括教程编制发布子系统与运动学习子系统，所述教程编制发布子系统包括示范动作感知模块、教程编制模块与教程发布模块，所述运动学习子系统包括模仿动作感知模块、相似度判定模块与教学过程控制模块。
所述示范动作感知模块用于对示范动作视频的每一帧做姿态感知，生成示范动作序列数据。示范动作包括正确示范动作与典型错误示范动作；每个片段至少有一个姿态，当有多个时，第一个为初始姿态，后续可设置多个节点姿态，两个节点之间的动作为分节动作。教学片段和分节都用于动作分解教学；初始示范姿态是该片段的第一个节点。
所述模仿动作感知模块，用于对模仿者的动作视频逐帧进行姿态感知，生成模仿动作序列数据；所述相似度判定模块，用于将模仿者的动作序列和示范者标准姿态或动作序列比较，计算模仿者动作和示范者动作的相似度和模仿者动作的正确度。
所述教学过程控制模块，用于根据所述相似度判定模块的判定结果，控制教学的节奏和进度及调整教学方法，并用于接收模仿者的教学请求和命令；学习过程中运动教学系统逐个评价每个片段的正确度，当模仿者的动作正确度达不到阈值时，教学控制模块提示模仿者并自动回到本片段的起点，以更慢的速度重新开始本片段的学习。
所述教程编制模块，用于将示范者的示范动作图片或视频，和其经过所述示范动作感知模块生成的动作序列数据，加以辅助教学素材，编辑制作成数字形式的教学内容，供所述运动学习子系统用于教学活动。数字形式的运动教学教程内容包括正确示范动作视频和典型错误动作示范视频及其运动序列数据、分段和节点索引表(包括视频分段时间标签或帧编号、节点时间标签或帧编号等)、动作要领讲解音频。在一套连贯动作中，分段可以设置在动作节奏的停顿时刻，分节可以设置在肢体改变运动方向的时刻。
所述教程发布模块，用于发布教程数据的数字拷贝，存储于云端服务器，以分类频道形式展现，可供在线使用，或者下发到学习终端内部供离线使用，产品交付时可内置一部分教程。
动作序列组合了静态姿态和动态趋势两部分信息，包括目标对象(人体和与之相关的道具)各个关键点的空间坐标、折曲扭摆角度、速度矢量，数据信度。空间坐标主要用于场景重建；折曲扭摆角度主要用于动作相似度比较；速度矢量主要用于示范者视频和模仿者动作同步及速度正确度和肢体协调性评估；摄像机的盲区数据信度为0,也可手工将部分部位信度设置为0，信度为0的部位在姿态比对过程中被跳过。目标对象各个关键点的空间坐标和折曲扭摆角是根据视频姿态感知的结果测量出来的，根据跟前一帧之间的坐标变化，计算出各个关键点的速度。
关键点包括人体关节、肢体端点、道具的关节点、虚拟关键点。虚拟关键点是假想出来的身体之外的点，用于确定面部和眼球(视线)的方向等等。多数运动项目其面部和视线朝向都是动作正确性的重要考核部分，比如戏剧表演。有些运动还有马匹等动物参与，所述运动教学系统也对其做姿态和运动状态感知。当所述运动教学系统用于棍棒等带有武器道具的武术教学时，可识别棍棒等道具，将道具也纳入运动状态比对。以直棍棒为例，系统采集棍棒的两个端点和手握点。
示范动作或模仿动作序列中，每个离散的姿态包括的属性及其计算方法如下：
A：坐标序列Pn：按照预先定义的人体的关节点和虚拟关键点顺序，将各点坐标记入坐标序列Pn，序列中可以存在重复的点，以记录不同方向的角度；
B：角度序列An：依次计算相邻三个点所决定的角度，得到角度序列An，其中最后一个表示角Pn-1PnP0；
C：速度矢量序列Vn：依次根据上一帧和这一帧的空间位置相减得到位移矢量，除以帧间隔时长，计算每个点的速度矢量Vn：
Vn＝(Pn-Pn-1)/Tf
其中Tf表示视频帧间隔时长；
D：序列Rn：表示每个序列Pn和An中对应点的数据的信度；
E：帧时间标签T。
如果有多角度同步摄像，则分别对摄像头录制的视频，进行姿态感知，将相同的时间片刻的数据根据信度加权取平均值，再进行速度计算。适用于示范视频和模仿视频的单路视频的姿态和运动数据采集过程如下：
S0：为降低处理开销，在开始前操作者手工选择和标定所有目标对象；如果不标定(标定目标数量为0)，则后续对图像中的所有人进行感知；
S1：读取视频第一帧(设其帧序号为N，N>＝1)；
S2：在步骤S1中视频场景中，利用人工智能人脸识别技术识别目标对象，以减少对不必要的目标对象进行后续操作；如果没有找到全部目标对象，则对所有人进行后续操作；
S3：如果N>1(即当前帧不是第一帧),则利用视频帧间位置变化不大的特征，将N-1帧的姿态数据作为基础，计算目标对象的姿态变化后的姿态数据，即目标对象身体主要关节和部位的位置；如果N＝1(当前帧是初始帧)，则做整个姿态感知过程；
S4：保存S3得到的数据，对下一帧图像重复S1-S4。
由于示范者的动作速度和模仿者的速度不可能完全相同，而且往往模仿者较慢，模仿者还可能会做过头一点再调整回来。在健身练习中，有时候需要学员维持某个状态一段时间。为此，教学过程控制设计四种示范者和模仿者的同步模式，由学员主动切换或在教程中预先设置适合的模式。不管什么模式，初始都是等待学员调整到初始示范状态之后开始后续的比对。学员初始姿态调整期间，系统可以通过语音指导学员尽快完成初始姿态同步。四种模式如下：
M1、差速同步模式：指调整示范者视频的播放速度，使之接近和配合模仿者的动作速度；系统对每一个示范视频帧都和模仿者视频帧进行小范围交叉比对，用于评估学习状况和同步；本模式适合于高级阶段的练习；
M2、停等同步模式：每个动作片段或分节都是匀速播放完后停下，等待模仿者完成当前分段或分节的最后一个姿态动作之后自动进入下一个片段或分节；系统可对每一个示范视频帧都进行比对，用于评估学习状况；也可以只比对分段或分节的起止姿态。本模式适合于中高级阶段的练习；
M3、命令同步模式：此时系统可以只比对动作分节或分段的起止姿态。当学员认为自己完成当前分段或分节的终止姿态时，通过口令或手持遥控器方式给教学系统一个指示，教学系统进行当前节点姿态比对。比对通过则前往下一个节点，不通过则进行动作指导，直到学员再次指示系统进行比对。在两个节点之间，学员的动作不做考核，适用于初学阶段；
在M1-3模式下，运动教学系统的教学控制过程的框架如图4所示。运动教学系统姿态采集模仿者动作视频，将每一帧做姿态感知之后，和示范姿态比对的过程和算法如下：
S11：如果已经到达当前片段的末尾，或到达下一个节点，则结束当前比对过程。否则取下一个待比对的示范姿态，跳到S12；
S12：取下一个比对模仿姿态；
S13：依次求示范姿态和模仿姿态的关节角度差值的绝对值乘信度，并累加，公式如下：
其中，Ak和ak分别表示示范者和模仿者角度序列的第k个角度，Rk为其信度；
S14：重复S12-S13,直到下一模仿姿态的D值开始增大时跳入步骤S11。
M4、静态维持模式：系统在预定时间长度内评估学员的姿态和同一个示范姿态的相似度。如果任一时刻其差别超过一定门限，则进而判断其错误类型，给学员以动作纠正讲解。同时，系统对学员动作的每一帧都做比对，以便做姿态稳定性评估。
在M4模式下，运动教学系统姿态采集模仿者动作视频，将每一帧做姿态感知之后，和单一示范姿态比对的过程和算法如下：
S21：取下一帧比对模仿姿态；
S22：依次求示范姿态和模仿姿态的关节角度差值的绝对值乘信度，并累加，公式如下：
Figure BDA0002209555640000081
其中，Ak和ak分别表示示范者和模仿者角度序列的第k个角度，Rk为其信度；
S23：重复S21-S22,直到达到所要求的维持时长。
当需要判断动作错误的类型时，有两个方法判断模仿者的动作错误类型。一是和示范者录制的典型错误动作做相似度比对，二是根据教程中示范者演示的典型错误动作制作的动作序列数据的误差模型，评判模仿者的动作和哪一种错误动作接近。判断出错误类型后，给出针对性地讲解，指导模仿者纠正动作；当涉及到马匹和/或其他道具时,根据马匹和/或道具的比对结果，指导模仿者纠正对马匹的控制方法，及对相关道具的使用方法。
在教学过程中，学员或模仿者可随时主动向所述运动教学系统发出命令，命令包括：调整学习速度(初学阶段需要慢速播放示范视频，学员可以随时加快或降低速度)，学习内容切换(包括回到整套动作的起点、回到本教学片段的起点、跳过本动作片段、切换到其他教程)，调整同步模式，取消或启用分节，调整正确度阈值，结束练习，等等；
系统接受命令的方式包括语音、遥控器、手势等等。
模仿动作感知模块的输出被存储作为模仿者学习效果评估依据。
在体育项目中，错误动作识别主要用于防止运动损伤。比如跑步时，身体应该前倾，尽量用前脚掌着地；举重时膝部应该向外分开；等等。典型错误动作包括产生运动损伤的错误动作，在学员出现这类错误时，教学系统可被设置为立即指出，指导学员纠正姿势。
实施例二
本实施例提供了一种学生坐姿监控系统，跟实施例一的主要差别是：
1、学生坐姿监控系统的教程中的示范动作只包含一个正确示范姿态。这个姿态是一张静态正确坐姿画面，经过人工智能姿态识别画面，或者手工编制姿态数据，得到示范动作状态；为了在学生坐姿和示范坐姿差别较大时识别所犯错误类型，还可以输入多张典型错误画面，生成典型错误示范动作状态；
2、坐姿不要求的部位的信度设置为0；
3、姿态比对模块只工作在静态维持模式，其教程只有一个片段，该片段只有一个姿态；
4、由于示范者动作只有一幅静态图片，对模仿者的视频不需要计算各关键点运动速度，只做静态姿态比对。
5、监控过程不接受学生控制命令,本实施例的教学控制过程如图9所示，工作在三个状态：
Sc(正确状态)：这个状态下，系统对摄像头摄录的每一帧做姿态识别，然后和正确姿态相比对。如果没有发现问题，则继续在原状态下，处理下一帧；如果有问题，则进入预警状态，并设置一个定时器。定时器的长度可以设置为10秒(或其他合适的长度)，表示如果学生10秒内回到正确坐姿，则系统不干预；
Sp(预警状态)：在此状态下，系统继续处理学生视频。如果在定时器超时之前，回到正确姿态，则关闭定时器，回到Sc；如果定时器超时前仍然没有回到正确姿态，则根据最后一帧判断其错误类型，想学生发出警示，进入Sw；
Sw(警示状态)：在此状态下，系统继续处理学生视频。同时持续发出警示，直到学生回到正确姿态，回到Sc；
在对学生进行监控时，可利用一个摄像头从比较好的角度，比如侧后方拍摄，采集每一帧视频画面，进行动作感知，并和示范动作状态比对。当学生姿态和示范动作姿态差别较大时，和典型错误动作状态数据相比较，获得所犯的错误类型，进行相应的提醒。有些典型错误姿态虽然跟示范动作不一样，但也可以接受，无需提醒学生改变，这是，其“提醒音”设置为无声即可。
综上所述，本发明利用人工智能视觉感知技术，可以免于穿戴在身上的各种传感器；可以事先对示范者的动作视频进行分析和处理，记录每个时刻每部分肢体的位置，速度和角度，然后对模仿者的动作进行同样的分析和处理，分析其每个时刻的运动状态，和示范者的动作进行比较，这样传统非现场教学中的问题将得到很好的解决，值得被推广使用。
此外，在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于AI视觉感知技术的运动教学系统，其特征在于：包括教程编制和发布子系统与运动学习子系统，所述教程编制和发布子系统包括示范动作感知模块、教程编制模块与教程发布模块，所述运动学习子系统包括模仿动作感知模块、相似度判定模块与教学过程控制模块；
所述示范动作感知模块用于对示范者的动作图片或视频的每一帧做姿态感知，生成示范动作序列数据；
所述模仿动作感知模块，用于对模仿者的动作视频逐帧进行姿态感知，生成模仿动作序列数据；
所述相似度判定模块，用于将模仿者的动作序列和示范者标准姿态或动作序列比较，计算模仿者动作和示范者动作的相似度、模仿者动作的正确度和错误类型；
所述教学过程控制模块，用于根据所述相似度判定模块的判定结果，控制教学的节奏和进度及调整教学方法，并用于接收模仿者的教学请求和命令；
所述教程编制模块，用于将示范者的示范动作图片或视频，和其经过所述示范动作感知模块生成的动作序列数据，划分动作片段和小节，设置同步模式，加入动作要领指导辅助教学素材，编辑制作成数字形式的教学内容，供所述运动学习子系统用于教学活动；
所述教程发布模块，用于发布教程数据的数字拷贝，存储于云端服务器，以分类频道形式展现，可供在线使用，或者下发到学习终端内部供离线使用。
2.根据权利要求1所述的一种基于AI视觉感知技术的运动教学系统，其特征在于：示范动作序列由按时间顺序一个或多个离散的示范姿态组成，模仿动作序列由按时间顺序多个离散的模仿姿态组成；一套示范动作划分为一个或多个教学片段，每个片段至少有一个姿态，当有多个姿态时，第一个为初始姿态，后续可设置多个节点姿态，两个节点之间的动作为分节动作；教学片段和分节都用于动作分解教学。
3.根据权利要求2所述的一种基于AI视觉感知技术的运动教学系统，其特征在于：每个姿态由一系列关键点来描述，关键点包括人体关节、端点和虚拟关键点，虚拟关键点为假想出来的点，用于表达和计算目标人物面部、视线和道具的朝向。
4.根据权利要求1所述的一种基于AI视觉感知技术的运动教学系统，其特征在于：示范动作或模仿动作序列中，每个离散的姿态包括的属性如下：
A：坐标序列Pn，按照预先定义的人体的关节点和虚拟关键点顺序，将各点坐标记入坐标序列Pn，序列中可以存在重复的点，以记录不同方向的角度；
B：角度序列An，依次计算相邻三个点所决定的角度，得到角度序列An，其中最后一个表示角Pn-1PnP0；
C：速度矢量序列Vn，依次根据上一帧和这一帧的空间位置相减得到位移矢量，除以帧间隔时长，计算每个点的速度矢量Vn：
Vn＝(Pn-Pn-1)/Tf
其中Tf表示视频帧间隔时长；
D：序列Rn，表示每个序列Pn和An中对应点的数据的信度；
E：帧时间标签T。
5.根据权利要求4所述的一种基于AI视觉感知技术的运动教学系统，其特征在于：在多角度同步摄像时，则分别对摄像头录制的视频，进行姿态感知，将相同的时间片刻的数据根据信度加权取平均值，再进行速度计算。
6.根据权利要求1所述的一种基于AI视觉感知技术的运动教学系统，其特征在于：数字形式的运动教学教程内容包括正确示范动作视频和典型错误动作示范视频及其运动序列数据、分段和节点索引表、动作要领讲解音频。
7.根据权利要求1所述的一种基于AI视觉感知技术的运动教学系统，其特征在于：模仿者随时可主动向所述运动教学系统发出命令，命令包括调整学习速度、回到整套动作的起点、回到本片段的起点、跳过本片段、调整正确度阈值、切换同步模式、切换到其他教程、查询系统参数、查询评分、结束练习，接受命令的方式包括语音、遥控器、手势。
8.根据权利要求1所述的一种基于AI视觉感知技术的运动教学系统，其特征在于：教学过程控制有四种示范者和模仿者的同步模式，分别如下：
M1、差速同步模式，指调整示范者视频的播放速度，使之接近和配合模仿者的动作速度；系统对每一个示范视频帧都和模仿者视频帧进行小范围交叉比对，以寻找最匹配的模仿者姿态帧，并进行静态和动态分析，严格评估学员的练习水平；
M2、停等同步模式，每个动作片段都是匀速播放完后停下，等待模仿者完成动作至该节点之后自动进入下一个片段；
M3、命令同步模式，系统可只比对动作分节或者动作分段的起止姿态，当学员认为完成终点姿态时，通过口令或手持遥控器方式给教学系统一个指示，教学系统进行当前节点姿态比对；比对通过则前往下一个节点，不通过则进行动作指导，直到学员再次指示系统进行比对；
M4、静态维持模式，系统在预定时间长度内评估学员的姿态和同一个示范姿态的相似度。
9.根据权利要求1所述的一种基于AI视觉感知技术的运动教学系统，其特征在于：所述相似度判定模块采用姿态相似度算法进行比对，姿态相似度算法是依次求示范姿态和模仿姿态的关节角度差值的绝对值乘信度，并累加，公式如下：
Figure FDA0002209555630000031
其中，Ak和ak分别表示示范者和模仿者角度序列的第k个角度，Rk为其信度。
10.根据权利要求1所述的一种基于AI视觉感知技术的运动教学系统，其特征在于：示范动作序列数据的生成方式有三种，包括根据预先录制的典型错误动作利用人工智能姿态感知来生成、手工编制错误动作姿态来生成、在人工智能生成的数据基础上修改部分生成其他类型的错误动作姿态数据来生成。
CN201910896410.1A 2019-09-20 2019-09-20 一种基于ai视觉感知技术的运动教学系统 Pending CN110751050A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910896410.1A CN110751050A (zh) 2019-09-20 2019-09-20 一种基于ai视觉感知技术的运动教学系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910896410.1A CN110751050A (zh) 2019-09-20 2019-09-20 一种基于ai视觉感知技术的运动教学系统

Publications (1)

Publication Number Publication Date
CN110751050A true CN110751050A (zh) 2020-02-04

Family

ID=69276841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910896410.1A Pending CN110751050A (zh) 2019-09-20 2019-09-20 一种基于ai视觉感知技术的运动教学系统

Country Status (1)

Country Link
CN (1) CN110751050A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956863A (zh) * 2020-02-22 2020-04-03 上海墩庐生物医学科技有限公司 一种利用3d全息投影进行戏曲互动教学的方法
CN111341413A (zh) * 2020-02-27 2020-06-26 东北石油大学 应用上的运动频率调节处理方法和装置
CN111541938A (zh) * 2020-04-30 2020-08-14 维沃移动通信有限公司 视频生成方法、装置及电子设备
CN111641861A (zh) * 2020-05-27 2020-09-08 维沃移动通信有限公司 视频播放方法及电子设备
CN111885419A (zh) * 2020-07-24 2020-11-03 青岛海尔科技有限公司 姿态处理方法及装置、存储介质、电子装置
CN111899577A (zh) * 2020-07-13 2020-11-06 杭州赛鲁班网络科技有限公司 一种基于双师教学的运动训练系统及其方法
CN112712450A (zh) * 2021-01-04 2021-04-27 中南民族大学 基于云课堂的实时交互方法、装置、设备及存储介质
CN112906670A (zh) * 2021-04-08 2021-06-04 中山大学附属口腔医院 一种口腔医生操作术者体位监测系统
CN113255522A (zh) * 2021-05-26 2021-08-13 山东大学 基于时间一致性的个性化运动姿态估计与分析方法及系统
CN113298684A (zh) * 2021-06-18 2021-08-24 北京联袂义齿技术有限公司 一种牙体形态教学系统
CN113706960A (zh) * 2021-08-29 2021-11-26 华中科技大学同济医学院附属协和医院 一种基于vr技术的护理操作练习平台及使用方法
CN113744599A (zh) * 2021-09-29 2021-12-03 宁波大学 一种基于ai视觉感知技术的运动教学系统
CN113761966A (zh) * 2020-06-01 2021-12-07 华为技术有限公司 一种动作自适应同步方法及电子设备
CN114333071A (zh) * 2022-03-10 2022-04-12 天津市天泽恒升科技有限公司 一种基于人体姿态估计的视频教学方法、系统和存储介质
CN114885210A (zh) * 2022-04-22 2022-08-09 海信集团控股股份有限公司 教程视频处理方法、服务器及显示设备
CN114973395A (zh) * 2021-09-30 2022-08-30 首都体育学院 一种采用多视角高速相机与人体姿态识别的体育运动教学装置
CN115311913A (zh) * 2021-05-08 2022-11-08 咪付（广西）网络技术有限公司 一种基于人工智能的动作训练系统
CN116262171A (zh) * 2021-12-14 2023-06-16 成都拟合未来科技有限公司 基于健身装置的健身训练方法及系统及装置及介质
WO2023108842A1 (zh) * 2021-12-14 2023-06-22 成都拟合未来科技有限公司 基于健身教学训练的动作评价方法及系统
CN116630318A (zh) * 2023-07-24 2023-08-22 凯泰铭科技（北京）有限公司 移动终端测量活动度的优化方法及系统
CN117492688A (zh) * 2023-12-06 2024-02-02 北京瑞迪欧文化传播有限责任公司 一种跨平台的多屏互动方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101950495A (zh) * 2010-10-19 2011-01-19 冠捷显示科技（厦门）有限公司 一种新型视频教育技术
CN102077260A (zh) * 2008-06-27 2011-05-25 悠进机器人股份公司 利用机器人的交互式学习系统和在儿童教育中操作该系统的方法
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助系统和方法
CN105812701A (zh) * 2016-05-11 2016-07-27 烟台大智电子科技有限公司 音视频二合一采集设备及用于视频教学的云录播方法
WO2019043350A1 (en) * 2017-09-01 2019-03-07 Hoarton, Lloyd SYSTEM AND METHOD FOR TEACHING THE LANGUAGE OF SIGNS
CN109815930A (zh) * 2019-02-01 2019-05-28 中国人民解放军总医院第六医学中心 一种动作模仿拟合度评价方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077260A (zh) * 2008-06-27 2011-05-25 悠进机器人股份公司 利用机器人的交互式学习系统和在儿童教育中操作该系统的方法
CN101950495A (zh) * 2010-10-19 2011-01-19 冠捷显示科技（厦门）有限公司 一种新型视频教育技术
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助系统和方法
CN105812701A (zh) * 2016-05-11 2016-07-27 烟台大智电子科技有限公司 音视频二合一采集设备及用于视频教学的云录播方法
WO2019043350A1 (en) * 2017-09-01 2019-03-07 Hoarton, Lloyd SYSTEM AND METHOD FOR TEACHING THE LANGUAGE OF SIGNS
CN109815930A (zh) * 2019-02-01 2019-05-28 中国人民解放军总医院第六医学中心 一种动作模仿拟合度评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
潘晓霞著: "《虚拟现实与人工智能技术的综合应用》", 31 December 2018, 中国原子能出版社 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956863A (zh) * 2020-02-22 2020-04-03 上海墩庐生物医学科技有限公司 一种利用3d全息投影进行戏曲互动教学的方法
CN111341413A (zh) * 2020-02-27 2020-06-26 东北石油大学 应用上的运动频率调节处理方法和装置
CN111541938A (zh) * 2020-04-30 2020-08-14 维沃移动通信有限公司 视频生成方法、装置及电子设备
CN111541938B (zh) * 2020-04-30 2023-04-07 维沃移动通信有限公司 视频生成方法、装置及电子设备
CN111641861A (zh) * 2020-05-27 2020-09-08 维沃移动通信有限公司 视频播放方法及电子设备
CN111641861B (zh) * 2020-05-27 2022-08-02 维沃移动通信有限公司 视频播放方法及电子设备
CN113761966A (zh) * 2020-06-01 2021-12-07 华为技术有限公司 一种动作自适应同步方法及电子设备
WO2021244411A1 (zh) * 2020-06-01 2021-12-09 华为技术有限公司 一种动作自适应同步方法及电子设备
CN111899577A (zh) * 2020-07-13 2020-11-06 杭州赛鲁班网络科技有限公司 一种基于双师教学的运动训练系统及其方法
CN111885419A (zh) * 2020-07-24 2020-11-03 青岛海尔科技有限公司 姿态处理方法及装置、存储介质、电子装置
CN112712450A (zh) * 2021-01-04 2021-04-27 中南民族大学 基于云课堂的实时交互方法、装置、设备及存储介质
CN112906670A (zh) * 2021-04-08 2021-06-04 中山大学附属口腔医院 一种口腔医生操作术者体位监测系统
CN115311913A (zh) * 2021-05-08 2022-11-08 咪付（广西）网络技术有限公司 一种基于人工智能的动作训练系统
CN113255522A (zh) * 2021-05-26 2021-08-13 山东大学 基于时间一致性的个性化运动姿态估计与分析方法及系统
CN113298684A (zh) * 2021-06-18 2021-08-24 北京联袂义齿技术有限公司 一种牙体形态教学系统
CN113298684B (zh) * 2021-06-18 2023-09-29 北京联袂义齿技术有限公司 一种牙体形态教学系统
CN113706960A (zh) * 2021-08-29 2021-11-26 华中科技大学同济医学院附属协和医院 一种基于vr技术的护理操作练习平台及使用方法
CN113744599A (zh) * 2021-09-29 2021-12-03 宁波大学 一种基于ai视觉感知技术的运动教学系统
CN114973395A (zh) * 2021-09-30 2022-08-30 首都体育学院 一种采用多视角高速相机与人体姿态识别的体育运动教学装置
CN116262171A (zh) * 2021-12-14 2023-06-16 成都拟合未来科技有限公司 基于健身装置的健身训练方法及系统及装置及介质
WO2023108842A1 (zh) * 2021-12-14 2023-06-22 成都拟合未来科技有限公司 基于健身教学训练的动作评价方法及系统
CN114333071B (zh) * 2022-03-10 2022-05-06 天津市天泽恒升科技有限公司 一种基于人体姿态估计的视频教学方法、系统和存储介质
CN114333071A (zh) * 2022-03-10 2022-04-12 天津市天泽恒升科技有限公司 一种基于人体姿态估计的视频教学方法、系统和存储介质
CN114885210A (zh) * 2022-04-22 2022-08-09 海信集团控股股份有限公司 教程视频处理方法、服务器及显示设备
CN114885210B (zh) * 2022-04-22 2023-11-28 海信集团控股股份有限公司 教程视频处理方法、服务器及显示设备
CN116630318A (zh) * 2023-07-24 2023-08-22 凯泰铭科技（北京）有限公司 移动终端测量活动度的优化方法及系统
CN116630318B (zh) * 2023-07-24 2023-10-13 凯泰铭科技（北京）有限公司 移动终端测量活动度的优化方法及系统
CN117492688A (zh) * 2023-12-06 2024-02-02 北京瑞迪欧文化传播有限责任公司 一种跨平台的多屏互动方法

Similar Documents

Publication Publication Date Title
CN110751050A (zh) 一种基于ai视觉感知技术的运动教学系统
US11132533B2 (en) Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion
US20200314489A1 (en) System and method for visual-based training
RU2364436C2 (ru) Способ тренировки и устройство для его осуществления
KR101936692B1 (ko) 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법
Kyan et al. An approach to ballet dance training through ms kinect and visualization in a cave virtual reality environment
US20220080260A1 (en) Pose comparison systems and methods using mobile computing devices
KR101711488B1 (ko) 동작 기반 인터랙티브 서비스 방법 및 시스템
AU727056B2 (en) Interactive motion training device and method
US6126449A (en) Interactive motion training device and method
Schmidt et al. Methodology for motor learning: a paradigm for kinematic feedback
KR101979750B1 (ko) 댄스 트레이닝 콘텐츠 저작 시스템
CN106020440A (zh) 一种基于体感交互的京剧教学系统
CN117541445B (zh) 一种虚拟环境交互的口才训练方法、系统、设备及介质
CN110874859A (zh) 一种生成动画的方法和设备
KR102199078B1 (ko) 동작인식 기반의 스마트 미용기술 러닝 장치 및 방법
Liu et al. A real-time interactive tai chi learning system based on vr and motion capture technology
WO2022251680A1 (en) Quantitative, biomechanical-based analysis with outcomes and context
CN112422946A (zh) 一种基于3d重构的智能瑜伽动作指导系统
CN115188074A (zh) 一种互动式体育训练测评方法、装置、系统及计算机设备
CN114998491A (zh) 数字人驱动方法、装置、设备及存储介质
US20210209770A1 (en) Motion matching analysis
Ruttkay et al. Elbows higher! Performing, observing and correcting exercises by a virtual trainer
Ding et al. On the Use of Kinect Sensors to Design a Sport Instructor Robot for Rehabilitation and Exercise Training of the Elderly.
CN116705239A (zh) 一种基于骨骼点驱动的虚拟人健身课程生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200204

RJ01 Rejection of invention patent application after publication