CN108777081A - 一种虚拟舞蹈教学方法及系统 - Google Patents

一种虚拟舞蹈教学方法及系统 Download PDF

Info

Publication number
CN108777081A
CN108777081A CN201810548334.0A CN201810548334A CN108777081A CN 108777081 A CN108777081 A CN 108777081A CN 201810548334 A CN201810548334 A CN 201810548334A CN 108777081 A CN108777081 A CN 108777081A
Authority
CN
China
Prior art keywords
action
point
dancing
frame
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810548334.0A
Other languages
English (en)
Other versions
CN108777081B (zh
Inventor
刘清堂
余舒凡
李云
张耀升
袁阳阳
王洋
黄景修
吴林静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong Normal University
Central China Normal University
Original Assignee
Huazhong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong Normal University filed Critical Huazhong Normal University
Priority to CN201810548334.0A priority Critical patent/CN108777081B/zh
Publication of CN108777081A publication Critical patent/CN108777081A/zh
Application granted granted Critical
Publication of CN108777081B publication Critical patent/CN108777081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Abstract

本发明公开了一种虚拟舞蹈教学方法及系统,方法包括舞蹈教练专业动作捕捉;动作库构建;根据动作库,驱动教练模型进行舞蹈教学等步骤;发明首先对专业舞蹈教练的动作进行捕捉,确定专业舞蹈的标准动作,再对标准动作进行骨骼对齐并以XML形式进行编码,经过优化确定基础动作后构建标准教练动作库;然后,构建虚拟舞蹈角色,对舞蹈教练与学员采样进行三维模型等比构建,接着用标准动作库的动作数据驱动教练模型,Kinect实时驱动学员模型,对舞蹈动作进行可视化展示,供学习者学习,最终通过评价算法(余弦特征值欧氏距离)进行舞蹈动作的评价以供学习者进行反思。本发明对于舞蹈教学与反馈简单有效,节约成本。

Description

一种虚拟舞蹈教学方法及系统
技术领域
本发明属于计算机应用技术领域,具体涉及一种虚拟舞蹈教学方法及系统。
背景技术
虚拟舞蹈教学系统是为学习者展示标准舞蹈动作帮助学员进行舞蹈训练的装置。随着体感技术的不断发展,使得虚拟舞蹈学习变得越发的简单便捷,尤其是Kinect体感设备的出现,市面上出现了许多的体感舞蹈游戏及教学应用,而虚拟舞蹈构建的关键是标准舞蹈动作的捕捉、优化与动作库的构建。
目前流行的动作捕捉方法主要有基于光学动作捕捉系统的动作捕捉和基于Kinect体感技术的动作识别与捕捉,光学动作捕捉系统需要用户提前穿好在关键骨骼点带有光标的服装,运用光学动作捕捉系统的高速摄像机捕获关键骨骼点的光标数据,该方法可解决遮挡带来的数据丢失问题,但需要臃肿的设备以及固定的场景支持,应用有较大的限制。而Kinect的动作识别与捕捉能够克服光学动作捕捉系统的不足,让用户采用自然交互方法使用,但如果操作不当会存在遮挡而带来的数据丢失等问题,因此基于Kinect的动捕更偏向于交互感与沉浸性。
目前的动作库有很多,但未形成统一数据标准,已有的动捕数据主要是以BVH、C3D、dae等格式为主,会存在一些冗余数据,且由于格式的加密无法进行详细的数据获取分析,应用起来存在诸多不便。卡耐基梅隆大学图像实验室有一套人类行为的动作库,其中提供了多种格式,却没有一种普适的格式。
一般虚拟舞蹈系统主要包含演示、学习、娱乐等功能,根据交互设备的差异,各方面比重皆存在偏差,传统的舞蹈系统主要有以下两种方案:1.通过Kinect动作捕捉后,用Kinect进行交互学习。2.通过光学动捕仪捕捉动作进行舞蹈欣赏。前者可以获得身临奇境的感觉,后者虽然精度高,但无法进行交互获得体验。“舞蹈动作不标准”、“交互动作少”等相关问题使得无法体现舞蹈系统的优势,也无法提供合理的结果反馈。
发明内容
针对传统体感舞蹈系统教练动作库精度不高的问题,本发明运用光学动捕系统(phasespace,vicon等)进行专业动作捕捉,实现精准化动作捕捉,构建高精度专业动作库;针对传统舞蹈系统缺乏体验感的问题,本发明运用Kinect捕获学习者关键动作,通过其独有的交互感与沉浸感带来舞蹈学习的“寓教于乐”的体验;同时建立一套专业动捕数据49个骨骼点到20个骨骼点的映射,实现舞蹈评分精准化。通过解决上述问题实现标准化舞蹈动作库,交互式系统设计,精准化动作评分,创建适合自然交互的虚拟舞蹈教学系统。
本发明的方法所采用的技术方案是:一种虚拟舞蹈教学方法,其特征在于,包括以下步骤:
步骤1:舞蹈教练专业动作捕捉;
步骤2:动作库构建;
步骤3:根据动作库,驱动教练模型进行舞蹈教学。
本发明的系统所采用的技术方案是:一种虚拟舞蹈教学系统,其特征在于:包括动作捕捉模块、专业舞蹈动作库构建模块、虚拟舞蹈教练构建模块和舞蹈评价模块;
所述动作捕捉模块包括专业舞蹈教练动作捕捉子模块与学员动作捕捉子模块;所述专业舞蹈教练动作捕捉子模块用于对专业舞蹈教练的动作进行捕捉、优化,确定舞蹈的标准动作;所述学员动作捕捉子模块用于对学员的舞蹈动作进行捕获,以用于舞蹈动作的对比评价,促进舞蹈学习;
所述专业舞蹈动作库构建模块包括:专业动作表征子模块、骨骼点映射子模块和专业动作存储子模块;所述专业动作表征子模块用于建立舞蹈动作编码标准,对捕捉和优化后的舞蹈动作进行编码;所述骨骼点映射子模块用于解决专业动捕采样与Kinect采样数据不一致的问题,以方便进行动作评价;所述专业动作存储子模块用于对优化后的专业舞蹈动作存储到XML文件中,形成驱动舞蹈的专业动作库;
所述虚拟舞蹈教练构建模块包括舞蹈教练动作信息采集子模块和等比例建模子模块;所述信息采集子模块用于舞蹈人物构建,对需要创建的舞蹈系统的人物进行剖析,拍摄相关人物多个视图,以方便建模;所述等比例建模子模块用于进行场景与人物的设计;
所述舞蹈动作评价模块包括学员动作数据帧与标准教练动作数据帧的对齐子模块和对比评价子模块;所述学员动作数据帧与标准教练动作数据帧的对齐子模块用于解决学员动作数据帧与教练动作数据帧间存在的时间差问题;所述对比评价子模块用于根据专业舞蹈教练动作库标准,对实时捕捉到的学员动作进行评价。
本发明充分发挥光学动作捕捉和Kinect动作捕捉这两种方法的优势,运用光学动作捕捉系统提前捕获教练动作,构建标准教练动作库;运用Kinect捕获的用户实时动作,落实用户体验。运用等比例建模等技术,构建舞蹈教练模型。提出以关节点的位置、旋转数据为动作数据的基本格式,对每一帧的20个关节点进行编码以构成标准XML格式动作库。并且通过标准化的动作数据驱动模型,使得模型精确的展示出舞蹈动作,而学员则控制Kinect操控用户模型获得沉浸式的体验。本发明首先对专业舞蹈教练的动作进行捕捉,确定专业舞蹈的标准动作,再对标准动作以XML形式进行编码,构建标准教练动作库;然后构建虚拟教练角色,用标准动作库的动作数据驱动教练,对舞蹈动作进行可视化展示,供学习者学习。本发明简化舞蹈教学并提出及时反馈,同时也节约成本。光学动作捕捉的精度与Kinect的便捷度,可以实现舞蹈动作精准展示,促进学员的学习。
附图说明
图1本发明实施例的方法原理图;
图2本发明实施例的人体49个骨骼点示意图;
图3本发明实施例的虚拟舞蹈教练构建图;
图4本发明实施例的系统框架原理图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及土家摆手舞动作评价系统实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1,本发明提供的一种虚拟舞蹈教学方法,包括以下步骤:
步骤1:舞蹈教练专业动作捕捉;
具体实现包括以下子步骤:
步骤1.1:确定专业动捕数据需要的人体49个骨骼点;
请见图2,49个骨骼点包括头、中肩关节、脊柱第一点、中髋关节、左肩关节、左肘关节、左腕关节、左手、右肩关节、右肘关节、右腕关节、右手、左髋关节、左膝盖、左踝关节、左足、右髋关节、右膝盖、右踝关节、右足、右中指第一点、右中指第二点、右中指第三点、右中指第四点、右食指第一点、右食指第二点、右食指第三点、右食指第四点、右拇指第一点、右拇指第二点、右拇指第三点、右拇指第四点、左中指第一点、左中指第二点、左中指第三点、左中指第四点、左食指第一点、左食指第二点、左食指第三点、左食指第四点、左拇指第一点、左拇指第二点、左拇指第三点、左拇指第四点、头顶、脖颈、脊柱第二点、右足尖、左足尖;
步骤1.2:将LED粘贴于人体49个骨骼点处,LED之间通过线缆连接,由绑在人体表面的电源装置供电;
步骤1.3:通过phasespace光学动捕仪捕捉舞蹈教练的专业动作,捕捉的每帧里面有49个光点。
步骤1.3.1:运用光学动作捕捉系统捕获舞蹈教练的舞蹈动作捕捉数据;
步骤1.3.2:对舞蹈动作捕捉数据进行去噪、删除重复动作、删除跳帧数据,调整不标准的动作数据处理。
光学动作捕捉后数据保存为.dae格式;参见图3,舞蹈教练动作数据与模型进行绑定。
步骤2:动作库构建;具体实现包括以下子步骤:
步骤2.1:根据kinect与大部分舞蹈的特点删选并确定驱动的20个骨骼关节点;所述20个骨骼关节点包括头、右肩、右肘、右腕、右手、左肩、左肘、左腕、左手、肩关节中心、脊、髋关节中心、右髋、右膝盖、右踝、右脚、左髋、左膝盖、左踝、左脚;
步骤2.2:根据骨骼点的位置对应关系,将捕捉的每帧49个光点与Kinect捕捉的20个骨骼关节点相对应;
设起点关节的三维位置坐标为(x1,y1,z1),终点关节的坐标为(x2,y2,z2),则该骨骼向量可以用(x1-x2,y1-y2,z1-z2)来表示,骨骼向量的起始关节和终点关节如表1所示。
表1骨骼向量的起始关节和终点关节对应关系
步骤2.3:定义动作编码格式;
以(x、y、z)表示关节的位置信息;(qx、qy、qz、qw)是以四元数的形式表示该关节的旋转信息,其中(qx、qy、qz)是该关节旋转围绕的向量,qw则为旋转的角度。
步骤2.4:实时计算20个骨骼关节点的运动信息(包括上述位置与旋转信息),存储于动作库中,形成舞蹈的标准动作库。
步骤3:根据动作库,驱动教练模型进行舞蹈教学;
通过采集舞蹈教练的信息后,首先以三视图形式进行舞蹈人物模型的等比例建模,舞蹈教练的信息包括人物的服装、首饰、身姿的多个视图;接着进行贴图,给模型附上材质包括皮肤衣服;最后进行蒙皮,给模型绑定骨骼,能够在之后通过phasespace或者kinect驱动。
本实施例运用光学动作捕捉系统捕捉专业教练的专业舞蹈动作,对捕获到的动作进行去噪、优化,运用动作编码系统对教练动作以XML形式表征,(XML是一种通用的可扩展标记语言,简洁易懂,容易进行编码和格式化,是选择通用动作格式的最佳选择之一)以形成包含每一帧中各骨骼点运动信息的动作库。
具体实现包括以下子步骤:
步骤3.1:关节点标定
为了获取适合与Kinect对比专业;的动作数据,首先将光学动捕数据得到的49个关节运动进行标定成Kinect所能驱动的20个关节点,并对这些点进行编号。20个关键关节点名称以及编号分别如下表2所示:
表2 20个关键关节点名称以及编号
步骤3.2:构建关节描述信息;
考虑每个关节需要记录的信息,该构建方法记录每个关节的位置和旋转信息。其中,使用三维向量P记录关节位置:
p=[x y z] (1)
p的三个分量x,y,z分别表示关节点在空间坐标参照系中的x、y、z三个轴上的投影的值。
同时使用四元数Q记录关节的旋转,Q的定义如公式(2)所示:
Q=[q0 q1 q2 q3]T
|Q|2=|q0|2+|q1|2+|q2|2+|q3|2 (2)
在三维坐标系中,可以用四元数Q表示绕某个轴的旋转,结合上述公式有:
基于公式(1)(2)(3),本实施例定义了描述关节信息的XML格式:
其中Joint节点的jointIndex的值是该关节的编号,子节点x、y、z对应(1)中的x、y、z,qx、qy、qz、qw对应(3)中的q0、q1、q2、q3,其数据类型都为双精度浮点型。
步骤3.3:关节信息的XML描述;
完成关节信息的定义后,结合动作文件的序列特点,定义完整的动作文件的XML形式:
根节点为MotionData节点,其属性“FrameCount”描述了整个动作的帧数即动作的长度。MotionData的子节点是Frame节点,即帧节点,每个Frame节点中都包含了对该帧状态的人体的20个关节点的信息描述——Joint节点。Frame节点的FrameIndex属性的值即为当前帧的帧号。
使用这一套XML格式进行动作格式的存储,能完整地保存关节点的信息,同时其中包含的语义信息能让开发人员方便地对其进行修改。
步骤3.4:确定动作单元,进行动作入库;
对去噪、优化后的动作数据进行分类并确定动作单元与连续动作。然后进行xml格式的存储,以生成可以驱动教练模型的动作库。
利用本实施例的方法,在舞蹈学员学习舞蹈时进行动作对齐;具体实现包括以下子步骤:
步骤4.1:利用Kinect对学员动作进行实时捕获;
步骤4.2:Kinect捕捉的动作驱动学员模型与教练模型进行虚拟交互学习;同时提取学员每个关节的数据,实时获取20个关节点组成的19根骨骼的信息。
其中,本实施例根据实时获取的20个关节点组成的19根骨骼的信息,通过动作评价算法给出实时的判断与计算并反馈给用户;具体实现包括以下子步骤:
步骤5.1:已知教练与学员对应关键帧的骨骼向量通过公式计算其与x、y、z轴的夹角余弦值(cosα,cosβ,cosγ),通过欧式距离公式计算学员与教练的对应骨骼的特征余弦的欧氏距离,选择所有帧N总的差异量,统计其中每帧的最大差异量dfmax和最小差异量dfmin;计算每帧的得分scorek后,计算N总帧得分的统计平均值作为最后得分score;
其中,dfk是第k帧的差异度;
步骤5.2:在教练标准动作的帧序列和学员动作的帧序列上分别建立两个窗口,其中比对窗口是以当前对比的教练帧为关联帧,向前后各取(N-1)/2帧,构成长度为N的比对窗口;学员动作窗口的起始帧与比对窗口起始帧对齐,计算每次滑动学员动作帧与教练动作帧的差异度根据差异度累积均值作比较,找出最小的那一帧进行对齐;
步骤5.3:对齐后进行计算评分score,并反馈给学员。
请见图3,本实施例提供的一种虚拟舞蹈教学系统,包括动作捕捉模块、专业舞蹈动作库构建模块、虚拟舞蹈教练构建模块和舞蹈评价模块;
动作捕捉模块包括专业舞蹈教练动作捕捉子模块与学员动作捕捉子模块;专业舞蹈教练动作捕捉子模块用于对专业舞蹈教练的动作进行捕捉、优化,确定舞蹈的标准动作;学员动作捕捉子模块用于对学员的舞蹈动作进行捕获,以用于舞蹈动作的对比评价,促进舞蹈学习;
专业舞蹈动作库构建模块包括:专业动作表征子模块、骨骼点映射子模块和专业动作存储子模块;专业动作表征子模块用于建立舞蹈动作编码标准,对捕捉和优化后的舞蹈动作进行编码;骨骼点映射子模块用于解决专业动捕采样与Kinect采样数据不一致的问题,以方便进行动作评价;专业动作存储子模块用于对优化后的专业舞蹈动作存储到XML文件中,形成驱动舞蹈的专业动作库;
虚拟舞蹈教练构建模块包括舞蹈教练动作信息采集子模块和等比例建模子模块;信息采集子模块用于舞蹈人物构建,对需要创建的舞蹈系统的人物进行剖析,拍摄相关人物多个视图,以方便建模;等比例建模子模块用于进行场景与人物的设计;
舞蹈动作评价模块包括学员动作数据帧与标准教练动作数据帧的对齐子模块和对比评价子模块;学员动作数据帧与标准教练动作数据帧的对齐子模块用于解决学员动作数据帧与教练动作数据帧间存在的时间差问题;对比评价子模块用于根据专业舞蹈教练动作库标准,对实时捕捉到的学员动作进行评价。
本发明在专业光学动作捕捉的基础上,结合了Kinect体感交互技术,并选择了舞蹈这一门类,使用户在娱乐的同时也在学习舞蹈,不仅有利于学员的身心健康,还能有专业虚拟舞蹈教练的实时反馈,帮助其掌握舞蹈要领。本发明系统在动作捕捉方法上进行了深入的研究,建立了49个骨骼点到20个骨骼点的映射,并且创新的使用了自定义XML格式的动作数据,使标准教练舞蹈动作捕捉结合学员动作捕捉进行舞蹈教学、评价,反馈。
本发明充分发挥光学动作捕捉和Kinect动作捕捉这两种方法的优势,运用光学动作捕捉系统提前捕获教练动作,构建标准教练动作库;运用Kinect捕获的用户实时动作,落实用户体验。运用等比例建模等技术,构建舞蹈教练模型。提出以关节点的位置、旋转数据为动作数据的基本格式,对每一帧的20个关节点进行编码以构成标准XML格式动作库。并且通过标准化的动作数据驱动模型,使得模型精确的展示出舞蹈动作,而学员则控制Kinect操控用户模型获得沉浸式的体验。本发明首先对专业舞蹈教练的动作进行捕捉,确定专业舞蹈的标准动作,再对标准动作以XML形式进行编码,构建标准教练动作库;然后构建虚拟教练角色,用标准动作库的动作数据驱动教练,对舞蹈动作进行可视化展示,供学习者学习。本发明简化舞蹈教学并提出及时反馈,同时也节约成本。光学动作捕捉的精度与Kinect的便捷度,可以实现舞蹈动作精准展示,促进学员的学习。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种虚拟舞蹈教学方法,其特征在于,包括以下步骤:
步骤1:舞蹈教练专业动作捕捉;
步骤2:动作库构建;
步骤3:根据动作库,驱动教练模型进行舞蹈教学。
2.根据权利要求1所述的虚拟舞蹈教学方法,其特征在于,步骤1的具体实现包括以下子步骤:
步骤1.1:确定专业动捕数据需要的人体49个骨骼点;所述49个骨骼点包括头、中肩关节、脊柱第一点、中髋关节、左肩关节、左肘关节、左腕关节、左手、右肩关节、右肘关节、右腕关节、右手、左髋关节、左膝盖、左踝关节、左足、右髋关节、右膝盖、右踝关节、右足、右中指第一点、右中指第二点、右中指第三点、右中指第四点、右食指第一点、右食指第二点、右食指第三点、右食指第四点、右拇指第一点、右拇指第二点、右拇指第三点、右拇指第四点、左中指第一点、左中指第二点、左中指第三点、左中指第四点、左食指第一点、左食指第二点、左食指第三点、左食指第四点、左拇指第一点、左拇指第二点、左拇指第三点、左拇指第四点、头顶、脖颈、脊柱第二点、右足尖、左足尖;
步骤1.2:将LED粘贴于人体49个骨骼点处,LED之间通过线缆连接,由绑在人体表面的电源装置供电;
步骤1.3:通过phasespace光学动捕仪捕捉舞蹈教练的专业动作,捕捉的每帧里面有49个光点。
3.根据权利要求2所述的虚拟舞蹈教学方法,其特征在于,步骤1.3的具体实现包括以下子步骤:
步骤1.3.1:运用光学动作捕捉系统捕获舞蹈教练的舞蹈动作捕捉数据;
步骤1.3.2:对舞蹈动作捕捉数据进行去噪、删除重复动作、删除跳帧数据,调整不标准的动作数据处理。
4.根据权利要求2所述的虚拟舞蹈教学方法,其特征在于,步骤2的具体实现包括以下子步骤:
步骤2.1:根据kinect与大部分舞蹈的特点删选并确定驱动的20个骨骼关节点;所述20个骨骼关节点包括头、右肩、右肘、右腕、右手、左肩、左肘、左腕、左手、肩关节中心、脊、髋关节中心、右髋、右膝盖、右踝、右脚、左髋、左膝盖、左踝、左脚;
步骤2.2:根据骨骼点的位置对应关系,将捕捉的每帧49个光点与Kinect捕捉的20个骨骼关节点相对应;
将PhaseSpace的49个光点映射到Kinect的20个骨骼点时,从49个光点中取得对应部位点或者临近部位点,与Kinect捕捉到的20个关节点相对应。
步骤2.3:定义动作编码格式;
步骤2.4:实时计算20个骨骼关节点的运动信息,存储于动作库中,形成舞蹈的标准动作库。
5.根据权利要求4所述的虚拟舞蹈教学方法,其特征在于:步骤2.2中,将PhaseSpace的49个光点映射到Kinect的20个骨骼点时,从49个光点中取得对应部位点或者临近部位点,与Kinect捕捉到的20个关节点相对应。
6.根据权利要求4所述的虚拟舞蹈教学方法,其特征在于:步骤2.3中,以(x、y、z)表示关节的位置信息;(qx、qy、qz、qw)是以四元数的形式表示该关节的旋转信息,其中(qx、qy、qz)是该关节旋转围绕的向量,qw则为旋转的角度。
7.根据权利要求1所述的虚拟舞蹈教学方法,其特征在于,步骤3的具体实现过程是:通过采集舞蹈教练的信息后,首先以三视图形式进行舞蹈人物模型的等比例建模,舞蹈教练的信息包括人物的服装、首饰、身姿的多个视图;接着进行贴图,给模型附上材质包括皮肤衣服;最后进行蒙皮,给模型绑定骨骼,能够在之后通过phasespace或者kinect驱动。
8.根据权利要求1-7任意一项所述的虚拟舞蹈教学方法,其特征在于:利用所述方法,在舞蹈学员学习舞蹈时进行动作对齐;
具体实现包括以下子步骤:
步骤4.1:利用Kinect对学员动作进行实时捕获;
步骤4.2:Kinect捕捉的动作驱动学员模型与教练模型进行虚拟交互学习;同时提取学员每个关节的数据,实时获取20个关节点组成的19根骨骼的信息。
9.根据权利要求8所述的虚拟舞蹈教学方法,其特征在于:根据实时获取的20个关节点组成的19根骨骼的信息,通过动作评价算法给出实时的判断与计算并反馈给用户;
具体实现包括以下子步骤:
步骤5.1:已知教练与学员对应关键帧的骨骼向量通过公式计算其与x、y、z轴的夹角余弦值(cosα,cosβ,cosγ),通过欧式距离公式计算学员与教练的对应骨骼的特征余弦的欧氏距离,选择所有帧N总的差异量,统计其中每帧的最大差异量dfmax和最小差异量dfmin;计算每帧的得分scorek后,计算N总帧得分的统计平均值作为最后得分score;
其中,dfk是第k帧的动作差异度;
步骤5.2:在教练标准动作的帧序列和学员动作的帧序列上分别建立两个窗口,其中比对窗口是以当前对比的教练帧为关联帧,向前后各取(N-1)/2帧,构成长度为N的比对窗口;学员动作窗口的起始帧与比对窗口起始帧对齐,计算每次滑动学员动作帧与教练动作帧的差异度根据差异度累积均值作比较,找出最小的那一帧进行对齐;
步骤5.3:对齐后进行计算评分score,并反馈给学员。
10.一种虚拟舞蹈教学系统,其特征在于:包括动作捕捉模块、专业舞蹈动作库构建模块、虚拟舞蹈教练构建模块和舞蹈评价模块;
所述动作捕捉模块包括专业舞蹈教练动作捕捉子模块与学员动作捕捉子模块;所述专业舞蹈教练动作捕捉子模块用于对专业舞蹈教练的动作进行捕捉、优化,确定舞蹈的标准动作;所述学员动作捕捉子模块用于对学员的舞蹈动作进行捕获,以用于舞蹈动作的对比评价,促进舞蹈学习;
所述专业舞蹈动作库构建模块包括:专业动作表征子模块、骨骼点映射子模块和专业动作存储子模块;所述专业动作表征子模块用于建立舞蹈动作编码标准,对捕捉和优化后的舞蹈动作进行编码;所述骨骼点映射子模块用于解决专业动捕采样与Kinect采样数据不一致的问题,以方便进行动作评价;所述专业动作存储子模块用于对优化后的专业舞蹈动作存储到XML文件中,形成驱动舞蹈的专业动作库;
所述虚拟舞蹈教练构建模块包括舞蹈教练动作信息采集子模块和等比例建模子模块;所述信息采集子模块用于舞蹈人物构建,对需要创建的舞蹈系统的人物进行剖析,拍摄相关人物多个视图,以方便建模;所述等比例建模子模块用于进行场景与人物的设计;
所述舞蹈动作评价模块包括学员动作数据帧与标准教练动作数据帧的对齐子模块和对比评价子模块;所述学员动作数据帧与标准教练动作数据帧的对齐子模块用于解决学员动作数据帧与教练动作数据帧间存在的时间差问题;所述对比评价子模块用于根据专业舞蹈教练动作库标准,对实时捕捉到的学员动作进行评价。
CN201810548334.0A 2018-05-31 2018-05-31 一种虚拟舞蹈教学方法及系统 Active CN108777081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810548334.0A CN108777081B (zh) 2018-05-31 2018-05-31 一种虚拟舞蹈教学方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810548334.0A CN108777081B (zh) 2018-05-31 2018-05-31 一种虚拟舞蹈教学方法及系统

Publications (2)

Publication Number Publication Date
CN108777081A true CN108777081A (zh) 2018-11-09
CN108777081B CN108777081B (zh) 2021-02-02

Family

ID=64028280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810548334.0A Active CN108777081B (zh) 2018-05-31 2018-05-31 一种虚拟舞蹈教学方法及系统

Country Status (1)

Country Link
CN (1) CN108777081B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109817031A (zh) * 2019-01-15 2019-05-28 张赛 一种基于vr技术的肢体运动教学方法
CN109949625A (zh) * 2019-04-09 2019-06-28 吉林师范大学 一种可对比中西方健美操差异的训练装置
CN110135303A (zh) * 2019-04-30 2019-08-16 西安理工大学 一种舞蹈类非遗传承与交互学习的方法
CN110379259A (zh) * 2019-08-07 2019-10-25 泉州师范学院 基于动作捕捉的演员培训方法
CN110414434A (zh) * 2019-07-29 2019-11-05 努比亚技术有限公司 舞蹈练习方法、移动终端及计算机可读存储介质
CN110418205A (zh) * 2019-07-04 2019-11-05 安徽华米信息科技有限公司 健身教学方法、装置、设备、系统及存储介质
CN110728220A (zh) * 2019-09-30 2020-01-24 上海大学 基于人体动作骨骼信息的体操辅助训练方法
CN111047925A (zh) * 2019-12-06 2020-04-21 山东大学 基于房间式互动投影的动作学习系统及方法
CN111243067A (zh) * 2020-01-10 2020-06-05 安徽五峰杰传媒科技有限公司 高沉浸交互式动作内容生产方法
CN111260678A (zh) * 2018-11-30 2020-06-09 百度在线网络技术(北京)有限公司 体操辅助学习的方法、装置、存储介质和终端设备
CN111309154A (zh) * 2020-03-27 2020-06-19 上海景和国际展览有限公司 一种基于5g远程人体动作互动教育系统
CN111739393A (zh) * 2020-06-28 2020-10-02 山东省医药生物技术研究中心(山东省病毒研究所) 一种基于动作捕捉系统的穿戴式推拿教学辅助系统
CN112023373A (zh) * 2020-09-07 2020-12-04 东南大学 一种基于姿态传感器的网球运动训练方法
CN112528476A (zh) * 2020-12-03 2021-03-19 华中师范大学 一种面向虚实融合实验的磁场可视化方法、系统及设备
CN112717364A (zh) * 2020-12-08 2021-04-30 怀化学院 一种舞蹈动作指导及纠正系统
CN112882575A (zh) * 2021-02-24 2021-06-01 宜春职业技术学院(宜春市技术工人学校) 一种全景舞蹈动作建模方法及舞蹈教学辅助系统
CN113012505A (zh) * 2021-02-24 2021-06-22 宜春职业技术学院(宜春市技术工人学校) 一种基于互联网的互动式舞蹈教学练习平台及方法
CN113012504A (zh) * 2021-02-24 2021-06-22 宜春职业技术学院(宜春市技术工人学校) 一种多人舞蹈教学互动投影方法、装置及设备
CN113052138A (zh) * 2021-04-25 2021-06-29 广海艺术科创(深圳)有限公司 一种舞蹈与运动动作的智能对比矫正的方法
CN113838219A (zh) * 2021-09-26 2021-12-24 琼台师范学院 基于人体动作捕捉的虚拟舞蹈训练方法及装置
WO2022028135A1 (zh) * 2020-08-06 2022-02-10 上海哔哩哔哩科技有限公司 在线体感斗舞方法、装置、计算机设备及存储介质
CN114282795A (zh) * 2021-12-21 2022-04-05 北京永信至诚科技股份有限公司 网络靶场人员技能评估方法、装置、设备及可读存储介质
CN114534233A (zh) * 2022-02-28 2022-05-27 西华大学 一种舞蹈训练辅助系统及方法
CN115311913A (zh) * 2021-05-08 2022-11-08 咪付(广西)网络技术有限公司 一种基于人工智能的动作训练系统
CN116546149A (zh) * 2023-07-04 2023-08-04 北京小糖科技有限责任公司 基于虚拟数字人的舞蹈教学交互方法、装置、设备及介质
CN116611969A (zh) * 2023-07-17 2023-08-18 北京彩蛋科技有限公司 传统武术智能学习与评分系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120143358A1 (en) * 2009-10-27 2012-06-07 Harmonix Music Systems, Inc. Movement based recognition and evaluation
CN103112007A (zh) * 2013-02-06 2013-05-22 华南理工大学 基于混合传感器的人机交互方法
CN104391683A (zh) * 2014-08-28 2015-03-04 无锡梵天信息技术股份有限公司 一种基于3Dmax脚本导出三维软件中模型动画的方法及装置
CN104517097A (zh) * 2014-09-24 2015-04-15 浙江大学 一种基于kinect的运动人体姿态识别方法
US20160191845A1 (en) * 2014-12-31 2016-06-30 Chiun Mai Communication Systems, Inc. Electronic device and method for recording and displaying script
CN107349594A (zh) * 2017-08-31 2017-11-17 华中师范大学 一种虚拟舞蹈系统的动作评价方法
CN107831897A (zh) * 2017-11-17 2018-03-23 吉林大学 一种虚拟装配操作中rula评测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120143358A1 (en) * 2009-10-27 2012-06-07 Harmonix Music Systems, Inc. Movement based recognition and evaluation
CN103112007A (zh) * 2013-02-06 2013-05-22 华南理工大学 基于混合传感器的人机交互方法
CN104391683A (zh) * 2014-08-28 2015-03-04 无锡梵天信息技术股份有限公司 一种基于3Dmax脚本导出三维软件中模型动画的方法及装置
CN104517097A (zh) * 2014-09-24 2015-04-15 浙江大学 一种基于kinect的运动人体姿态识别方法
US20160191845A1 (en) * 2014-12-31 2016-06-30 Chiun Mai Communication Systems, Inc. Electronic device and method for recording and displaying script
CN107349594A (zh) * 2017-08-31 2017-11-17 华中师范大学 一种虚拟舞蹈系统的动作评价方法
CN107831897A (zh) * 2017-11-17 2018-03-23 吉林大学 一种虚拟装配操作中rula评测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张宜春: "《音像犹存》", 31 December 2016, 文化艺术出版社 *
胡夏: "一种基于kinect的实时动画角色驱动方法", 《合肥工业大学学报》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260678A (zh) * 2018-11-30 2020-06-09 百度在线网络技术(北京)有限公司 体操辅助学习的方法、装置、存储介质和终端设备
CN109817031B (zh) * 2019-01-15 2021-02-05 张赛 一种基于vr技术的肢体运动教学方法
CN109817031A (zh) * 2019-01-15 2019-05-28 张赛 一种基于vr技术的肢体运动教学方法
CN109949625A (zh) * 2019-04-09 2019-06-28 吉林师范大学 一种可对比中西方健美操差异的训练装置
CN110135303A (zh) * 2019-04-30 2019-08-16 西安理工大学 一种舞蹈类非遗传承与交互学习的方法
CN110135303B (zh) * 2019-04-30 2022-09-13 西安理工大学 一种舞蹈类非遗传承与交互学习的方法
CN110418205A (zh) * 2019-07-04 2019-11-05 安徽华米信息科技有限公司 健身教学方法、装置、设备、系统及存储介质
CN110414434A (zh) * 2019-07-29 2019-11-05 努比亚技术有限公司 舞蹈练习方法、移动终端及计算机可读存储介质
CN110379259A (zh) * 2019-08-07 2019-10-25 泉州师范学院 基于动作捕捉的演员培训方法
CN110379259B (zh) * 2019-08-07 2024-01-26 泉州师范学院 基于动作捕捉的演员培训方法
CN110728220A (zh) * 2019-09-30 2020-01-24 上海大学 基于人体动作骨骼信息的体操辅助训练方法
CN111047925A (zh) * 2019-12-06 2020-04-21 山东大学 基于房间式互动投影的动作学习系统及方法
CN111243067A (zh) * 2020-01-10 2020-06-05 安徽五峰杰传媒科技有限公司 高沉浸交互式动作内容生产方法
CN111309154A (zh) * 2020-03-27 2020-06-19 上海景和国际展览有限公司 一种基于5g远程人体动作互动教育系统
CN111739393A (zh) * 2020-06-28 2020-10-02 山东省医药生物技术研究中心(山东省病毒研究所) 一种基于动作捕捉系统的穿戴式推拿教学辅助系统
WO2022028135A1 (zh) * 2020-08-06 2022-02-10 上海哔哩哔哩科技有限公司 在线体感斗舞方法、装置、计算机设备及存储介质
CN112023373A (zh) * 2020-09-07 2020-12-04 东南大学 一种基于姿态传感器的网球运动训练方法
CN112528476A (zh) * 2020-12-03 2021-03-19 华中师范大学 一种面向虚实融合实验的磁场可视化方法、系统及设备
CN112528476B (zh) * 2020-12-03 2023-02-28 华中师范大学 一种面向虚实融合实验的磁场可视化方法、系统及设备
CN112717364A (zh) * 2020-12-08 2021-04-30 怀化学院 一种舞蹈动作指导及纠正系统
CN113012505A (zh) * 2021-02-24 2021-06-22 宜春职业技术学院(宜春市技术工人学校) 一种基于互联网的互动式舞蹈教学练习平台及方法
CN113012504A (zh) * 2021-02-24 2021-06-22 宜春职业技术学院(宜春市技术工人学校) 一种多人舞蹈教学互动投影方法、装置及设备
CN112882575A (zh) * 2021-02-24 2021-06-01 宜春职业技术学院(宜春市技术工人学校) 一种全景舞蹈动作建模方法及舞蹈教学辅助系统
CN113052138A (zh) * 2021-04-25 2021-06-29 广海艺术科创(深圳)有限公司 一种舞蹈与运动动作的智能对比矫正的方法
CN113052138B (zh) * 2021-04-25 2024-03-15 广海艺术科创(深圳)有限公司 一种舞蹈与运动动作的智能对比矫正的方法
CN115311913A (zh) * 2021-05-08 2022-11-08 咪付(广西)网络技术有限公司 一种基于人工智能的动作训练系统
CN113838219A (zh) * 2021-09-26 2021-12-24 琼台师范学院 基于人体动作捕捉的虚拟舞蹈训练方法及装置
CN113838219B (zh) * 2021-09-26 2023-09-12 琼台师范学院 基于人体动作捕捉的虚拟舞蹈训练方法及装置
CN114282795A (zh) * 2021-12-21 2022-04-05 北京永信至诚科技股份有限公司 网络靶场人员技能评估方法、装置、设备及可读存储介质
CN114534233A (zh) * 2022-02-28 2022-05-27 西华大学 一种舞蹈训练辅助系统及方法
CN116546149B (zh) * 2023-07-04 2023-10-24 北京小糖科技有限责任公司 基于虚拟数字人的舞蹈教学交互方法、装置、设备及介质
CN116546149A (zh) * 2023-07-04 2023-08-04 北京小糖科技有限责任公司 基于虚拟数字人的舞蹈教学交互方法、装置、设备及介质
CN116611969B (zh) * 2023-07-17 2023-10-03 北京彩蛋科技有限公司 传统武术智能学习与评分系统
CN116611969A (zh) * 2023-07-17 2023-08-18 北京彩蛋科技有限公司 传统武术智能学习与评分系统

Also Published As

Publication number Publication date
CN108777081B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN108777081A (zh) 一种虚拟舞蹈教学方法及系统
CN107349594B (zh) 一种虚拟舞蹈系统的动作评价方法
CN108463271B (zh) 用于运动技能分析以及技能增强和提示的系统和方法
Maestri Digital character animation 3
CN108764120B (zh) 一种人体规范动作评价方法
CN106485055B (zh) 一种基于Kinect传感器的老年II型糖尿病患者运动训练系统
EP3911423A1 (en) Augmented cognition methods and apparatus for contemporaneous feedback in psychomotor learning
Kennaway Synthetic animation of deaf signing gestures
CN102362293B (zh) 链接动画
US20130038601A1 (en) System, method, and recording medium for controlling an object in virtual world
CN100440257C (zh) 一种虚拟人群运动的三维可视化方法
CN102473320A (zh) 通过学习到的来自用户的输入使视觉表示生动化
Bishko Animation principles and Laban movement analysis: movement frameworks for creating empathic character performances
Shiratori et al. Expressing animated performances through puppeteering
Tisserand et al. Preservation and gamification of traditional sports
CN102693549A (zh) 一种虚拟人群运动的三维可视化方法
CN114399713A (zh) 线上舞蹈教学动作分析系统
CN105045373B (zh) 一种面向用户心理模型表达的三维手势交互方法
JP2021189725A (ja) 3次元アバター生成装置、3次元アバター生成方法及び3次元アバター生成プログラム
KR102438488B1 (ko) 3d 마커리스 모션 캡처 기반 3d 아바타 생성 장치 및 방법
CA3187416A1 (en) Methods and systems for communication and interaction using 3d human movement data
Shum et al. Fast accelerometer-based motion recognition with a dual buffer framework
CN114949853A (zh) 一种计算机虚拟滑雪仿真系统
Ma et al. Virtual human animation in natural language visualisation
Holmboe The Motion Capture Pipeline

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20181109

Assignee: Wuhan Hezhongxing Trading Co.,Ltd.

Assignor: CENTRAL CHINA NORMAL University

Contract record no.: X2023980052458

Denomination of invention: A Virtual Dance Teaching Method and System

Granted publication date: 20210202

License type: Common License

Record date: 20231219

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20181109

Assignee: Hubei ZHENGBO Xusheng Technology Co.,Ltd.

Assignor: CENTRAL CHINA NORMAL University

Contract record no.: X2024980001275

Denomination of invention: A Virtual Dance Teaching Method and System

Granted publication date: 20210202

License type: Common License

Record date: 20240124

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20181109

Assignee: Hubei Rongzhi Youan Technology Co.,Ltd.

Assignor: CENTRAL CHINA NORMAL University

Contract record no.: X2024980001548

Denomination of invention: A Virtual Dance Teaching Method and System

Granted publication date: 20210202

License type: Common License

Record date: 20240126

EE01 Entry into force of recordation of patent licensing contract