CN109833608B - 一种基于3d体感摄像头的舞蹈动作教辅方法及系统 - Google Patents

一种基于3d体感摄像头的舞蹈动作教辅方法及系统 Download PDF

Info

Publication number
CN109833608B
CN109833608B CN201811637675.1A CN201811637675A CN109833608B CN 109833608 B CN109833608 B CN 109833608B CN 201811637675 A CN201811637675 A CN 201811637675A CN 109833608 B CN109833608 B CN 109833608B
Authority
CN
China
Prior art keywords
matrix
dance
joint
target
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811637675.1A
Other languages
English (en)
Other versions
CN109833608A (zh
Inventor
杨非易
黄骏
周晓军
陈尚卫
李骊
王行
盛赞
李朔
杨淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huajie Imi Technology Co ltd
Original Assignee
Nanjing Huajie Imi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huajie Imi Technology Co ltd filed Critical Nanjing Huajie Imi Technology Co ltd
Priority to CN201811637675.1A priority Critical patent/CN109833608B/zh
Publication of CN109833608A publication Critical patent/CN109833608A/zh
Application granted granted Critical
Publication of CN109833608B publication Critical patent/CN109833608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于3D体感摄像头的舞蹈动作教辅方法及系统,包括:获取学生端舞蹈过程的深度图数据;对深度图数据进行骨架提取;划分舞蹈动作时段,根据提取出的骨架中各关节点在各时刻的坐标计算出每个关节点在目标动作时段中每个时刻的特征旋转矩阵;将目标动作时段中各特征旋转矩阵与其对应的预设标准矩阵进行比对,计算相似度并在相似度低于阈值时输出提示信息。本发明通过将学员的动作特征相关矩阵和教师的预设标准矩阵进行对比,可准确提示学员舞蹈姿态中关节的运动情况及标准程度。此外,本发明比对的数据基础是目标动作时段中每个时刻的特征旋转矩阵,能够反映出整个动作尤其是各个关节角度连续变换的标准与否。

Description

一种基于3D体感摄像头的舞蹈动作教辅方法及系统
技术领域
本发明涉及计算机视觉及图像处理技术和工具,尤其是一种基于3D体感摄像头的舞蹈动作教辅方法及系统。
背景技术
随着人们健身意识的加强以及舞蹈爱好者的增多,练习舞蹈的团体不断扩大,舞蹈作为一项健身运动慢慢进入大多数人的日常生活。舞蹈练习过程中体式的姿势和动作非常重要,大多人练习舞蹈都是到专业的场地跟随专业的舞蹈老师进行练习,即通过观察舞蹈老师的动作并模仿,再由舞蹈老师指导纠正以达到练习的效果。但当天气恶劣、交通不便等原因使运动者无法来到舞蹈老师所处场地进行面对面学习时,便不能单独进行有效地舞蹈练习。再者,舞蹈运动者跟随舞蹈老师学习时,舞蹈老师需要花大量的时间和精力纠正运动者的姿态和动作,在学员众多时舞蹈老师难免无法做到及时纠正,况且这对舞蹈老师的观察判断能力要求极高。学员若没有得到专业老师准确、及时的纠正很有可能耽误舞蹈练习,这对舞蹈运动者和舞蹈老师都极为不利。
发明内容
发明目的:针对上述现有技术存在的缺陷,本发明旨在提供一种基于3D体感摄像头的舞蹈动作教辅方法及系统。
技术方案:一种基于3D体感摄像头的舞蹈动作教辅方法,包括如下步骤:
S1:获取学生端舞蹈过程的深度图数据;
S2:对深度图数据进行骨架提取;
S3:划分舞蹈动作时段,根据提取出的骨架中各关节点在各时刻的坐标计算出每个关节点在目标动作时段中每个时刻的特征旋转矩阵;
S4:将目标动作时段中各特征旋转矩阵与其对应的预设标准矩阵进行比对,计算相似度并在相似度低于阈值时输出提示信息。
进一步的,步骤S3中所述计算特征旋转矩阵具体为:根据定义目标关节点的两条方向轴,计算两条方向轴的向量积作为第三条方向轴,三条方向轴加入齐次坐标后构造出方向矩阵;计算目标时刻的方向矩阵相对于前一时刻的方向矩阵的变换矩阵,记为该时刻的特征旋转矩阵。
进一步的,所述定义目标关节点的两条方向轴,具体为:
若目标关节点是其他两个关节的交叉点,则选取目标关节点与其相邻的两个关节点各构造一条方向轴;或者,选取目标关节点及其相邻的一个关节点构造一条方向轴,选取与目标关节平行的关节构造另一条方向轴;
若目标关节点是其他三个关节的交叉点,则用目标关节点与其相邻的一个关节点构造一条方向轴,用另外两个相邻的关节点构造一条方向轴。
进一步的,所述S4具体包括:构造关节动作特征旋转矩阵,将各关节动作特征旋转矩阵与其对应的预设标准矩阵进行比对并计算相似度,当目标动作时段中该关节的相似度低于阈值时输出目标动作时段该关节的提示信息;所述关节动作特征旋转矩阵即为某一关节在目标动作时段中所有时刻的特征旋转矩阵的集合。
进一步的,所述S4具体包括:构造目标动作特征旋转矩阵,将各时段动作特征旋转矩阵与其对应的预设标准矩阵进行比对并计算相似度,当该时段动作的相似度低于阈值时输出该目标动作时段的提示信息;所述目标动作特征旋转矩阵即为目标动作时段内所有关节动作特征旋转矩阵的集合。
进一步的,步骤S4中所述计算相似度具体是采用DTW方法计算,包括:获取待比较的两个序列RL和TL,RL={r1,r2,r3,…ri,…,rL1},TL={t1,t2,t3,…ti,…,tL2},ri和tj是原矩阵中的各元素,L1和L2为序列长度,计算序列RL和TL的非线性匹配时的累计距离矩阵D(i,j):
Figure BDA0001930431350000021
其中,d(ri,tj)是ri和tj的距离函数,D(L1,L2)表示RL和TL的最短距离,即相似度。
进一步的,所述预设标准矩阵的具体获取方法是:
(1)获取教师端舞蹈过程的深度图数据;
(2)对深度图数据进行骨架提取;
(3)根据提取出的骨架中各关节点在各时刻的坐标计算出每个关节点在目标时刻的特征旋转矩阵作为预设标准矩阵,或者用特征旋转矩阵构造与学生端相对应的预设标准矩阵。
一种基于3D体感摄像头的舞蹈动作教辅系统,包括3D体感摄像头、骨架提取模块和处理模块;
3D体感摄像头用于获取舞蹈过程的深度图数据;
骨架提取模块用于对深度图数据进行骨架提取;
处理模块用于划分舞蹈动作时段,根据提取出的骨架中各关节点在各时刻的坐标计算出每个关节点在目标动作时段中每个时刻的特征旋转矩阵;将目标动作时段中各特征旋转矩阵与其对应的预设标准矩阵进行比对,计算相似度并在相似度低于阈值时输出提示信息。
进一步的,所述处理模块还用于根据提取出的骨架中各关节点在各时刻的坐标计算出每个关节点在目标时刻的特征旋转矩阵作为预设标准矩阵,或者用特征旋转矩阵构造预设标准矩阵。
进一步的,其特征在于,还包括通信模块和、存储模块和用于显示的显示模块;所述3D体感摄像头还用于获取舞蹈视频数据;通信模块用于将各系统间的舞蹈视频数据及特征旋转矩阵互传,存储模块用于存储舞蹈视频数据及特征旋转矩阵。
有益效果:本发明基于深度图的骨架提取和动作特征分析快速精准,通过将学员的动作特征相关矩阵和教师的预设标准矩阵进行对比,可准确提示学员舞蹈姿态中关节的运动情况及标准程度,并且学员端可以保存舞蹈老师动作的特征值,可反复进行对比练习,从而显著提高了学员学习的积极性和有效性。此外,本发明划分了舞蹈动作时段,比对的数据基础是目标动作时段中每个时刻的特征旋转矩阵,能够比较关键动作持续时间内的全部时刻的特征旋转矩阵,能够反映出整个动作尤其是各个关节角度连续变换的标准与否。本发明有效降低舞蹈教学的困难程度、保证教学的准确性;能够解决传统的舞蹈教学活动受时间、空间制约的问题,无需学员和教师到专门的场地面对面学习指导,可随时随地进行舞蹈练习。因此,舞蹈教师不需要花大量的时间精力纠正学员的姿态,可以进行更有针对性的提升教学,从而有效的提高了学员学习的效率,降低了学习的成本,也同时提高了舞蹈老师的教学质量。
附图说明
图1是本发明系统的结构示意图;
图2是实施例1的结构示意图。
具体实施方式
下面通过实施例结合附图对本技术方案进行详细说明。
实施例1:
如图1所示,一种基于3D体感摄像头的舞蹈姿态教辅系统及方法,系统可根据用户划分为学生端或教师端,如图2所示,实际上这两种系统结构可以是相同的,学生端和教师端是通用的,均包括3D体感摄像头、骨架提取模块、处理模块、通信模块、存储模块和显示模块;
3D体感摄像头用于获取舞蹈过程的深度图数据、获取舞蹈视频数据;
骨架提取模块用于对深度图数据进行骨架提取。
学生端的处理模块用于划分舞蹈动作时段,即舞蹈动作变化的关键时段,根据提取出的骨架中各关节点在各时刻的坐标计算出每个关节点在目标动作时段中每个时刻的特征旋转矩阵;将目标动作时段中各特征旋转矩阵与其对应的预设标准矩阵进行比对,计算相似度并在相似度低于阈值时输出提示信息。
教师端的处理模块还用于根据提取出的骨架中各关节点在各时刻的坐标计算出每个关节点在目标时刻的特征旋转矩阵作为预设标准矩阵,或者根据学生端的不同需求用特征旋转矩阵构造与学生端相对应的预设标准矩阵。
通信模块用于将各系统间的舞蹈视频数据及特征旋转矩阵互传,具体是用于将教师端与学生端的舞蹈视频数据互传,还用于将教师端的深度图数据或者预设标准矩阵传输到学生端,将学生端的深度图数据或者特征旋转矩阵传输到教师端,本实施例中由于深度图数据量太大,故不传输深度图数据,仅传输特征旋转矩阵即可达到比较的目的,且提升了传输和存储效率。
存储模块用于存储舞蹈视频数据、存储深度图数据或特征旋转矩阵。
显示模块用于显示舞蹈视频、骨架、关节位置、相似度、关节纠正等提示信息。
本系统采用的教辅方法能够获取教师端的教师舞蹈视频数据并传输至学生端;在学生端播放教师舞蹈视频数据;获取学生端的学生舞蹈视频数据并传输至教师端,该教辅方法的特色是包括如下步骤:
S1:获取学生端舞蹈过程的深度图数据;此处学生端指的是使用该教辅方法和系统进行练习的客户端,教师端指的是录制教学视频采集用于比对的预设数据的客户端,不限于特定的设备,同一台设备可以根据功能用途的改变既作为学生端又作为教师端。
S2:对深度图数据进行骨架提取;并根据提取的骨架实时显示舞蹈动作并标记关节位置;具体是提取人体的各关节点各时刻在空间中的三维坐标,在舞蹈过程中,利用骨架识别和提取技术可以连续地从深度图中提取出人体的关节点坐标,包括每个关节点在空间中的x,y,z坐标,为后续动作特征值分析方便,将每个关节点的坐标值记为一组三维向量,可表示为三维向量JPi=Vector3(x,y,z),其中下标i代表关节点,各关节点具体包括髋中心、脊柱、左髋、左膝、右髋、右膝、颈、头、左锁骨、左肩、左肘、左腕、右锁骨、右肩、右肘、右腕中的一个或多个关节点,本实施例中定义17个关节点:髋中心(hip_center)、脊柱(spine)、左髋(hip_lt)、左膝(knee_lt)、右髋(hip_rt)、右膝(knee_rt)、颈(neck)、头(head)、左锁骨(clavicle_lt)、左肩(shoulder_lt)、左肘(elbow_lt)、肩中心(shoulder_center)、左腕(wrist_lt)、右锁骨(clavicle_rt)、右肩(shoulder_rt)、右肘(elbow_rt)、右腕(wrist_rt),其中lt/rt分别定义为left/right,也可根据需要自行选取或增加,如删去其中的腕部或增加脚部、踝关节等。
S3:划分舞蹈动作时段,即舞蹈动作变化的关键时段,根据提取出的骨架中各关节点在各时刻的坐标计算出每个关节点在目标时刻的特征旋转矩阵。在舞蹈过程中,每个关节的旋转角会随着时间的持续而产生变化,特征旋转矩阵的分析就可视为随着时间变化的关节旋转角的分析,不同关节特征旋转矩阵计算是根据该关节在某一时刻的静态方向相对上一个时刻该关节的静态方向之间的旋转而来;
S3具体为:根据定义目标关节点的两条方向轴,计算两条方向轴的向量积作为第三条方向轴,三条方向轴加入齐次坐标后构造出方向矩阵;
计算目标时刻的方向矩阵相对于前一时刻的方向矩阵的变换矩阵,即为该关节点在这两个时刻间的旋转矩阵,记为目标时刻的特征旋转矩阵。
其中,定义目标关节点的两条方向轴,具体为根据人体关节结构选取两条方向轴,不一定要取全部相邻的关节构造方向,可取任意符合人体关节运动结构的两个关节构造一个方向;具体实施时需结合人体结构对每个关节分别选取合适的方向轴,例如:
若目标关节点是其他两个关节的交叉点,则可以选取目标关节点与其相邻的两个关节点各构造一条方向轴;
或者,选取目标关节点及其相邻的一个关节点构造一条方向轴,选取与目标关节平行的关节构造另一条方向轴;目标关节即当前关节点所代表的关节,可根据常识确定。
例如:右肘关节点所代表的目标关节即右臂,定义右肘关节点的所述两条方向轴具体为:用右肘和右肩所确定的方向构造x方向轴,用与右臂平行的关节,即脊柱和肩中心所确定的方向构造y方向轴,即:elbow_rt关节的方向,可以使用shoulder_rt和elbow_rt来构造x方向轴,使用spine和shoulder_center来构造y方向轴;
若目标关节点是其他三个关节的交叉点,则可以用目标关节点与其相邻的一个关节点构造一条方向轴,用另外两个相邻的关节点构造一条方向轴。
例如:定义髋中心关节点的所述两条方向轴具体为:用髋中心和脊柱所确定的方向构造y方向轴,用左髋和右髋所确定的方向构造x方向轴:针对hip_center关节点,在时刻t0,使用hip_center关节点坐标和Spine关节点坐标构造hip_center的y方向Vector3y,使用hip_left关节点坐标和hip_right关节点坐标构造hip_center的x方向Vector3x,使用Vector3y和Vector3x构造Vector3z,其中,Vector3y=JPspine–JPhip_center,Vector3x=JPhip_right–JPhip_left,Vector3z=Cross(Vector3y,Vector3x);对方向向量加入齐次坐标后得到Vector4x,Vector4y,Vector4z;为了后续使用方便,我们可以构造方向矩阵JOt0=[Vector4xt0,Vector4yt0,Vector4zt0,1];在下一时刻t1,使用上述同样的方法可以得到JOt1=[Vector4xt1,Vector4yt1,Vector4zt1,1];显然,可以由JOt0和JOt1得到变换矩阵JRt0~t1[hip_center],此变换矩阵即为关节的时刻t0到t1之间的特征旋转矩阵,记作t1时刻hip_center关节的特征旋转矩阵;
S4:将目标动作时段中各特征旋转矩阵与其对应的预设标准矩阵进行比对,计算相似度并在相似度低于阈值时输出提示信息。目标动作时段中的各特征旋转矩阵涵盖了目标时段内所有时刻所有关节的特征,与关键动作时刻不同,本发明中选取目标动作后比对的是该时段内连续的所有时刻,时刻之间没有跳跃间隔。
可在该目标时段的画面上不标准的关节的对应位置处添加醒目标记,或通过文字或语音等多种方式准确提示学生纠正该关节姿势动作。
计算相似度具体是采用DTW(动态时间规整)方法计算,包括:获取待比较的两个序列RL和TL,这两个序列即为待计算相似度的两个矩阵序列或矩阵集合序列,例如在本实施例中是比较特征旋转矩阵和与之对应的预设标准矩阵,在其他实施例中可以是构造的其他矩阵序列及对应的预设标准矩阵,RL={r1,r2,r3,…ri,…,rL1},TL={t1,t2,t3,…ti,…,tL2},ri和tj是原矩阵中的各元素,L1和L2为序列长度,计算序列RL和TL的非线性匹配时的累计距离矩阵D(i,j):
Figure BDA0001930431350000071
其中,d(ri,tj)是ri和tj的距离函数,本实施例中为欧式距离,也可选取其他向量相似性度量方法,D(L1,L2)表示RL和TL的最短距离,即相似度,D(L1,L2)越小,RL和TL距离越近,相似度越大,即学员的动作标准程度越高。
预设标准矩阵可以从一对一的教师端获取数据,也可以是一个教师端获取数据后存储在存储设备上,供很多学生端使用,也可直接写入或编辑数据作为预设的数据与学生端进行比对指导,本实施例中是自教师端获取,具体获取方法是:
(1)获取教师端舞蹈过程的深度图数据;
(2)对深度图数据进行骨架提取;
(3)根据提取出的骨架中各关节点在各时刻的坐标计算出每个关节点在目标时刻的特征旋转矩阵作为预设标准矩阵,或者根据学生端的不同需求用特征旋转矩阵构造与学生端相对应的预设标准矩阵。例如学生端若构造关节动作特征旋转矩阵,则教师端也构造对应的关节动作特征旋转矩阵作为预设标准矩阵,构造方法与学生端一致,均是某一关节在目标动作时段中所有时刻的特征旋转矩阵的集合,只不过预设标准矩阵的特征旋转矩阵是由教师端深度图数据处理得到的。
实施例2:
本实施例与实施例1的技术方案基本相同,其不同之处在于,步骤S4具体包括:构造关节动作特征旋转矩阵,将各关节动作特征旋转矩阵与其对应的预设标准矩阵进行比对并计算相似度,当目标动作时段中该关节的相似度低于阈值时输出目标动作时段该关节的纠正提示信息;所述关节动作特征旋转矩阵即为某一关节在目标动作时段中所有时刻的特征旋转矩阵的集合
实施例3:
本实施例与实施例2的技术方案基本相同,其不同之处在于,构造目标动作特征旋转矩阵,将各时段动作特征旋转矩阵与其对应的预设标准矩阵进行比对并计算相似度,当该时段动作的相似度低于阈值时输出该目标动作时段的纠正提示信息;所述目标动作特征旋转矩阵即为目标动作时段内所有关节动作特征旋转矩阵的集合。
实施例4:
本实施例与实施例1的技术方案基本相同,其不同之处在于,所述目标动作时段为舞蹈持续全过程时段。即对舞蹈持续过程中的所有帧均计算特征旋转矩阵。还可以根据需要构造实施例2或3中的矩阵以便更具有针对性的显示出比对结果、纠正舞蹈。此时输出的提示信息可以为整段舞蹈的相似度分值,或提示舞蹈整体动作不标准,也可以按照实施例2-3中的矩阵提示每个目标动作时段不标准的关节等。
在连续的两个目标时刻,t0时刻到t1时刻,定义t1时刻人体每个关节的动作特征旋转矩阵为一个4x4矩阵,将t1时刻人体所有关节的动作特征旋转矩阵记为矩阵数组JRt0~t1[hip_center,hip_lt,……,wrist_rt],其中每个元素代表该关节在t0时刻到t1时刻表征的特征旋转矩阵的,共17个元素,对应选取的17个关节点;
假设舞蹈动作持续时间是T0,则舞蹈在T0时段的目标动作特征旋转矩阵可以定义为一组特征向量JRT0=(J0,J1,J2……Jn)T,其中Ji行向量表示某一关节的特征旋转矩阵的时间序列,该时间序列可根据需求选取合适的时间间隔,n表示数据特征,本实施例中n=17,可根据实际情况或者舞蹈动作选择部分或者全部特征。
根据目标动作特征旋转矩阵对比后计算出的相似度作为分数,判断学员动作的标准程度,并实时提示学员纠正动作,直到特征值对比分数达到预设的阈值,认为学员动作标准。提示时在画面上不标准的关节的对应位置处添加醒目标记、对不标准的动作进行文字或语音等多种方式准确提示学生纠正某关节姿态或某动作。并且学员端可以保存舞蹈老师动作的特征值,可反复进行对比练习,还可将练习视频及练习的深度图数据或者经过处理的深度数据(如前面提到的各种旋转矩阵)发送和/或保存在教师端,供教师远程指导或观看后选取时间集中对多位学员一起进行指导。
以上仅是本发明的优选实施方式,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于3D体感摄像头的舞蹈动作教辅方法,其特征在于,包括如下步骤:
S1:获取学生端舞蹈过程的深度图数据;
S2:对深度图数据进行骨架提取;
S3:划分舞蹈动作时段,根据提取出的骨架中各关节点在各时刻的坐标计算出每个关节点在目标动作时段中每个时刻的特征旋转矩阵;
S4:将目标动作时段中各特征旋转矩阵与其对应的预设标准矩阵进行比对,计算相似度并在相似度低于阈值时输出提示信息;
步骤S3中所述计算特征旋转矩阵具体为:根据定义目标关节点的两条方向轴,计算两条方向轴的向量积作为第三条方向轴,三条方向轴加入齐次坐标后构造出方向矩阵;计算目标时刻的方向矩阵相对于前一时刻的方向矩阵的变换矩阵,记为该时刻的特征旋转矩阵;
所述定义目标关节点的两条方向轴,具体为:
若目标关节点是其他两个关节的交叉点,则选取目标关节点与其相邻的两个关节点各构造一条方向轴;或者,选取目标关节点及其相邻的一个关节点构造一条方向轴,选取与目标关节平行的关节构造另一条方向轴;
若目标关节点是其他三个关节的交叉点,则用目标关节点与其相邻的一个关节点构造一条方向轴,用另外两个相邻的关节点构造一条方向轴。
2.根据权利要求1所述的一种基于3D体感摄像头的舞蹈动作教辅方法,其特征在于,所述S4具体包括:构造关节动作特征旋转矩阵,将各关节动作特征旋转矩阵与其对应的预设标准矩阵进行比对并计算相似度,当目标动作时段中该关节的相似度低于阈值时输出目标动作时段该关节的提示信息;所述关节动作特征旋转矩阵即为某一关节在目标动作时段中所有时刻的特征旋转矩阵的集合。
3.根据权利要求2所述的一种基于3D体感摄像头的舞蹈动作教辅方法,其特征在于,所述S4具体包括:构造目标动作特征旋转矩阵,将各时段动作特征旋转矩阵与其对应的预设标准矩阵进行比对并计算相似度,当该时段动作的相似度低于阈值时输出该目标动作时段的提示信息;所述目标动作特征旋转矩阵即为目标动作时段内所有关节动作特征旋转矩阵的集合。
4.根据权利要求1所述的一种基于3D体感摄像头的舞蹈动作教辅方法,其特征在于,步骤S4中所述计算相似度具体是采用DTW方法计算,包括:获取待比较的两个序列RL和TL,RL={r1,r2,r3,…ri,…,rL1},TL={t1,t2,t3,…ti,…,tL2},ri和tj是原矩阵中的各元素,L1和L2为序列长度,计算序列RL和TL的非线性匹配时的累计距离矩阵D(i,j):
Figure DEST_PATH_IMAGE002
i = 1, 2 …L1;j = 1, 2 …L2
其中, d(ri, tj)是ri和tj的距离函数,D(L1, L2)表示RL和TL的最短距离,即相似度。
5.根据权利要求1所述的一种基于3D体感摄像头的舞蹈动作教辅方法,其特征在于,所述预设标准矩阵的具体获取方法是:
(1)获取教师端舞蹈过程的深度图数据;
(2)对深度图数据进行骨架提取;
(3)根据提取出的骨架中各关节点在各时刻的坐标计算出每个关节点在目标时刻的特征旋转矩阵作为预设标准矩阵,或者用特征旋转矩阵构造与学生端相对应的预设标准矩阵。
6.一种基于3D体感摄像头的舞蹈动作教辅系统,其特征在于,基于权利要求1-5任意一项所述的舞蹈动作教辅方法,所述舞蹈动作教辅系统包括3D体感摄像头、骨架提取模块和处理模块;
3D体感摄像头用于获取舞蹈过程的深度图数据;
骨架提取模块用于对深度图数据进行骨架提取;
处理模块用于划分舞蹈动作时段,根据提取出的骨架中各关节点在各时刻的坐标计算出每个关节点在目标动作时段中每个时刻的特征旋转矩阵;将目标动作时段中各特征旋转矩阵与其对应的预设标准矩阵进行比对,计算相似度并在相似度低于阈值时输出提示信息。
7.根据权利要求6所述的一种基于3D体感摄像头的舞蹈动作教辅系统,其特征在于,所述处理模块还用于根据提取出的骨架中各关节点在各时刻的坐标计算出每个关节点在目标时刻的特征旋转矩阵作为预设标准矩阵,或者用特征旋转矩阵构造预设标准矩阵。
8.根据权利要求6所述的一种基于3D体感摄像头的舞蹈动作教辅系统,其特征在于,还包括通信模块和、存储模块和用于显示的显示模块;所述3D体感摄像头还用于获取舞蹈视频数据;通信模块用于将各系统间的舞蹈视频数据及特征旋转矩阵互传,存储模块用于存储舞蹈视频数据及特征旋转矩阵。
CN201811637675.1A 2018-12-29 2018-12-29 一种基于3d体感摄像头的舞蹈动作教辅方法及系统 Active CN109833608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811637675.1A CN109833608B (zh) 2018-12-29 2018-12-29 一种基于3d体感摄像头的舞蹈动作教辅方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811637675.1A CN109833608B (zh) 2018-12-29 2018-12-29 一种基于3d体感摄像头的舞蹈动作教辅方法及系统

Publications (2)

Publication Number Publication Date
CN109833608A CN109833608A (zh) 2019-06-04
CN109833608B true CN109833608B (zh) 2021-06-22

Family

ID=66883488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811637675.1A Active CN109833608B (zh) 2018-12-29 2018-12-29 一种基于3d体感摄像头的舞蹈动作教辅方法及系统

Country Status (1)

Country Link
CN (1) CN109833608B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104964B (zh) * 2019-11-22 2023-10-17 北京永航科技有限公司 音乐与动作的匹配方法、设备及计算机存储介质
CN112309540B (zh) * 2020-10-28 2024-05-14 中国科学院深圳先进技术研究院 运动评估方法、装置、系统及存储介质
CN113052138B (zh) * 2021-04-25 2024-03-15 广海艺术科创(深圳)有限公司 一种舞蹈与运动动作的智能对比矫正的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622591B (zh) * 2012-01-12 2013-09-25 北京理工大学 3d人体姿态捕捉模仿系统
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助系统和方法
CN103706106B (zh) * 2013-12-30 2015-12-30 南京大学 一种基于Kinect的自适应连续动作训练方法
CN104778661A (zh) * 2014-01-10 2015-07-15 北京三星通信技术研究有限公司 在姿态估计中使用的骨架平滑方法和设备
CN104808788B (zh) * 2015-03-18 2017-09-01 北京工业大学 一种非接触式手势操控用户界面的方法
CN105512621B (zh) * 2015-11-30 2019-04-09 华南理工大学 一种基于Kinect的羽毛球动作指导系统
CN105930767B (zh) * 2016-04-06 2019-05-17 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
JP6964989B2 (ja) * 2017-02-09 2021-11-10 キヤノン株式会社 制御方法、ロボットシステム、物品の製造方法、プログラム、及び記録媒体
CN107153812A (zh) * 2017-03-31 2017-09-12 深圳先进技术研究院 一种基于机器视觉的运动辅助方法及系统
CN107281710A (zh) * 2017-07-31 2017-10-24 尚晟 一种矫正动作误差的方法
CN108447563B (zh) * 2018-03-06 2021-09-21 上海逸动医学科技有限公司 一种关节运动智能评分方法及膝关节运动智能分级评分方法

Also Published As

Publication number Publication date
CN109833608A (zh) 2019-06-04

Similar Documents

Publication Publication Date Title
CN109589563B (zh) 一种基于3d体感摄像头的舞蹈姿态教辅方法及系统
US11132533B2 (en) Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion
CN109833608B (zh) 一种基于3d体感摄像头的舞蹈动作教辅方法及系统
CN105512621B (zh) 一种基于Kinect的羽毛球动作指导系统
CN110448870B (zh) 一种人体姿态训练方法
Hughes et al. Notational analysis of sport: Systems for better coaching and performance in sport
CN109011508A (zh) 一种智能教练系统及方法
US7404774B1 (en) Rule based body mechanics calculation
CN106166376B (zh) 简化24式太极拳综合训练系统
CN108597578A (zh) 一种基于二维骨架序列的人体运动评估方法
Chye et al. Game based approach to learn martial arts for beginners
CN105534528B (zh) 一种基于体感识别的无接触体质测试系统及测试方法
CN107961524A (zh) 基于ar的健身游戏与训练系统
CN107363834B (zh) 一种基于认知地图的机械臂抓取方法
CN109545003A (zh) 一种显示方法、装置、终端设备及存储介质
Martín-Gutiérrez et al. AR_Dehaes: an educational toolkit based on augmented reality technology for learning engineering graphics
KR20100033205A (ko) 골프연습 보조 시스템 및 그 방법
CN116844084A (zh) 一种融合区块链的体育运动动作分析与纠正方法及系统
Lin et al. The effect of real-time pose recognition on badminton learning performance
CN110841266A (zh) 一种辅助训练系统及方法
Kojima et al. Training archived physical skill through immersive virtual environment
Maeda et al. Sport skill classification using time series motion picture data
CN116271757A (zh) 一种基于ai技术的篮球练习的辅助系统和方法
CN114360052A (zh) 一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统
CN115641232A (zh) 一种基于数字孪生技术的课堂教学系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant