CN108777081B - 一种虚拟舞蹈教学方法及系统 - Google Patents
一种虚拟舞蹈教学方法及系统 Download PDFInfo
- Publication number
- CN108777081B CN108777081B CN201810548334.0A CN201810548334A CN108777081B CN 108777081 B CN108777081 B CN 108777081B CN 201810548334 A CN201810548334 A CN 201810548334A CN 108777081 B CN108777081 B CN 108777081B
- Authority
- CN
- China
- Prior art keywords
- dance
- action
- joint
- coach
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims abstract description 142
- 230000009471 action Effects 0.000 claims abstract description 136
- 238000011156 evaluation Methods 0.000 claims abstract description 23
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 19
- 238000010276 construction Methods 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 3
- 210000003811 finger Anatomy 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 9
- 210000002683 foot Anatomy 0.000 claims description 8
- 210000003127 knee Anatomy 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 210000004935 right thumb Anatomy 0.000 claims description 8
- 238000012512 characterization method Methods 0.000 claims description 6
- 210000004394 hip joint Anatomy 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 210000000323 shoulder joint Anatomy 0.000 claims description 6
- 210000003423 ankle Anatomy 0.000 claims description 4
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 4
- 210000002310 elbow joint Anatomy 0.000 claims description 4
- 210000001624 hip Anatomy 0.000 claims description 4
- 210000000707 wrist Anatomy 0.000 claims description 4
- 210000003857 wrist joint Anatomy 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 210000004936 left thumb Anatomy 0.000 claims description 2
- 239000000463 material Substances 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 abstract 1
- 230000003993 interaction Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 2
- 230000003238 somatosensory effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种虚拟舞蹈教学方法及系统，方法包括舞蹈教练专业动作捕捉；动作库构建；根据动作库，驱动教练模型进行舞蹈教学等步骤；发明首先对专业舞蹈教练的动作进行捕捉，确定专业舞蹈的标准动作，再对标准动作进行骨骼对齐并以XML形式进行编码，经过优化确定基础动作后构建标准教练动作库；然后，构建虚拟舞蹈角色，对舞蹈教练与学员采样进行三维模型等比构建，接着用标准动作库的动作数据驱动教练模型，Kinect实时驱动学员模型，对舞蹈动作进行可视化展示，供学习者学习，最终通过评价算法(余弦特征值欧氏距离)进行舞蹈动作的评价以供学习者进行反思。本发明对于舞蹈教学与反馈简单有效，节约成本。
Description
技术领域
本发明属于计算机应用技术领域，具体涉及一种虚拟舞蹈教学方法及系统。
背景技术
虚拟舞蹈教学系统是为学习者展示标准舞蹈动作帮助学员进行舞蹈训练的装置。随着体感技术的不断发展，使得虚拟舞蹈学习变得越发的简单便捷，尤其是Kinect体感设备的出现，市面上出现了许多的体感舞蹈游戏及教学应用，而虚拟舞蹈构建的关键是标准舞蹈动作的捕捉、优化与动作库的构建。
目前流行的动作捕捉方法主要有基于光学动作捕捉系统的动作捕捉和基于Kinect体感技术的动作识别与捕捉，光学动作捕捉系统需要用户提前穿好在关键骨骼点带有光标的服装，运用光学动作捕捉系统的高速摄像机捕获关键骨骼点的光标数据，该方法可解决遮挡带来的数据丢失问题，但需要臃肿的设备以及固定的场景支持，应用有较大的限制。而Kinect的动作识别与捕捉能够克服光学动作捕捉系统的不足，让用户采用自然交互方法使用，但如果操作不当会存在遮挡而带来的数据丢失等问题，因此基于Kinect的动捕更偏向于交互感与沉浸性。
目前的动作库有很多，但未形成统一数据标准，已有的动捕数据主要是以BVH、C3D、dae等格式为主，会存在一些冗余数据，且由于格式的加密无法进行详细的数据获取分析，应用起来存在诸多不便。卡耐基梅隆大学图像实验室有一套人类行为的动作库，其中提供了多种格式，却没有一种普适的格式。
一般虚拟舞蹈系统主要包含演示、学习、娱乐等功能，根据交互设备的差异，各方面比重皆存在偏差，传统的舞蹈系统主要有以下两种方案：1.通过Kinect动作捕捉后，用Kinect进行交互学习。2.通过光学动捕仪捕捉动作进行舞蹈欣赏。前者可以获得身临奇境的感觉，后者虽然精度高，但无法进行交互获得体验。“舞蹈动作不标准”、“交互动作少”等相关问题使得无法体现舞蹈系统的优势，也无法提供合理的结果反馈。
发明内容
针对传统体感舞蹈系统教练动作库精度不高的问题，本发明运用光学动捕系统(phasespace,vicon等)进行专业动作捕捉，实现精准化动作捕捉，构建高精度专业动作库；针对传统舞蹈系统缺乏体验感的问题，本发明运用Kinect捕获学习者关键动作，通过其独有的交互感与沉浸感带来舞蹈学习的“寓教于乐”的体验；同时建立一套专业动捕数据49个骨骼点到20个骨骼点的映射，实现舞蹈评分精准化。通过解决上述问题实现标准化舞蹈动作库，交互式系统设计，精准化动作评分，创建适合自然交互的虚拟舞蹈教学系统。
本发明的方法所采用的技术方案是：一种虚拟舞蹈教学方法，其特征在于，包括以下步骤：
步骤1：舞蹈教练专业动作捕捉；
步骤2：动作库构建；
步骤3：根据动作库，驱动教练模型进行舞蹈教学。
本发明的系统所采用的技术方案是：一种虚拟舞蹈教学系统，其特征在于：包括动作捕捉模块、专业舞蹈动作库构建模块、虚拟舞蹈教练构建模块和舞蹈评价模块；
所述动作捕捉模块包括专业舞蹈教练动作捕捉子模块与学员动作捕捉子模块；所述专业舞蹈教练动作捕捉子模块用于对专业舞蹈教练的动作进行捕捉、优化，确定舞蹈的标准动作；所述学员动作捕捉子模块用于对学员的舞蹈动作进行捕获，以用于舞蹈动作的对比评价，促进舞蹈学习；
所述专业舞蹈动作库构建模块包括：专业动作表征子模块、骨骼点映射子模块和专业动作存储子模块；所述专业动作表征子模块用于建立舞蹈动作编码标准，对捕捉和优化后的舞蹈动作进行编码；所述骨骼点映射子模块用于解决专业动捕采样与Kinect采样数据不一致的问题，以方便进行动作评价；所述专业动作存储子模块用于对优化后的专业舞蹈动作存储到XML文件中，形成驱动舞蹈的专业动作库；
所述虚拟舞蹈教练构建模块包括舞蹈教练动作信息采集子模块和等比例建模子模块；所述信息采集子模块用于舞蹈人物构建，对需要创建的舞蹈系统的人物进行剖析，拍摄相关人物多个视图，以方便建模；所述等比例建模子模块用于进行场景与人物的设计；
所述舞蹈动作评价模块包括学员动作数据帧与标准教练动作数据帧的对齐子模块和对比评价子模块；所述学员动作数据帧与标准教练动作数据帧的对齐子模块用于解决学员动作数据帧与教练动作数据帧间存在的时间差问题；所述对比评价子模块用于根据专业舞蹈教练动作库标准，对实时捕捉到的学员动作进行评价。
本发明充分发挥光学动作捕捉和Kinect动作捕捉这两种方法的优势，运用光学动作捕捉系统提前捕获教练动作，构建标准教练动作库；运用Kinect捕获的用户实时动作，落实用户体验。运用等比例建模等技术，构建舞蹈教练模型。提出以关节点的位置、旋转数据为动作数据的基本格式，对每一帧的20个关节点进行编码以构成标准XML格式动作库。并且通过标准化的动作数据驱动模型，使得模型精确的展示出舞蹈动作，而学员则控制Kinect操控用户模型获得沉浸式的体验。本发明首先对专业舞蹈教练的动作进行捕捉，确定专业舞蹈的标准动作，再对标准动作以XML形式进行编码，构建标准教练动作库；然后构建虚拟教练角色，用标准动作库的动作数据驱动教练，对舞蹈动作进行可视化展示，供学习者学习。本发明简化舞蹈教学并提出及时反馈，同时也节约成本。光学动作捕捉的精度与Kinect的便捷度，可以实现舞蹈动作精准展示，促进学员的学习。
附图说明
图1本发明实施例的方法原理图；
图2本发明实施例的人体49个骨骼点示意图；
图3本发明实施例的虚拟舞蹈教练构建图；
图4本发明实施例的系统框架原理图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及土家摆手舞动作评价系统实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种虚拟舞蹈教学方法，包括以下步骤：
步骤1：舞蹈教练专业动作捕捉；
具体实现包括以下子步骤：
步骤1.1：确定专业动捕数据需要的人体49个骨骼点；
请见图2，49个骨骼点包括头、中肩关节、脊柱第一点、中髋关节、左肩关节、左肘关节、左腕关节、左手、右肩关节、右肘关节、右腕关节、右手、左髋关节、左膝盖、左踝关节、左足、右髋关节、右膝盖、右踝关节、右足、右中指第一点、右中指第二点、右中指第三点、右中指第四点、右食指第一点、右食指第二点、右食指第三点、右食指第四点、右拇指第一点、右拇指第二点、右拇指第三点、右拇指第四点、左中指第一点、左中指第二点、左中指第三点、左中指第四点、左食指第一点、左食指第二点、左食指第三点、左食指第四点、左拇指第一点、左拇指第二点、左拇指第三点、左拇指第四点、头顶、脖颈、脊柱第二点、右足尖、左足尖；
步骤1.2：将LED粘贴于人体49个骨骼点处，LED之间通过线缆连接，由绑在人体表面的电源装置供电；
步骤1.3：通过phasespace光学动捕仪捕捉舞蹈教练的专业动作，捕捉的每帧里面有49个光点。
步骤1.3.1：运用光学动作捕捉系统捕获舞蹈教练的舞蹈动作捕捉数据；
步骤1.3.2：对舞蹈动作捕捉数据进行去噪、删除重复动作、删除跳帧数据，调整不标准的动作数据处理。
光学动作捕捉后数据保存为.dae格式；参见图3，舞蹈教练动作数据与模型进行绑定。
步骤2：动作库构建；具体实现包括以下子步骤：
步骤2.1：根据kinect与大部分舞蹈的特点删选并确定驱动的20个骨骼关节点；所述20个骨骼关节点包括头、右肩、右肘、右腕、右手、左肩、左肘、左腕、左手、肩关节中心、脊、髋关节中心、右髋、右膝盖、右踝、右脚、左髋、左膝盖、左踝、左脚；
步骤2.2：根据骨骼点的位置对应关系，将捕捉的每帧49个光点与Kinect捕捉的20个骨骼关节点相对应；
设起点关节的三维位置坐标为(x1,y1,z1)，终点关节的坐标为(x2,y2,z2)，则该骨骼向量可以用(x1-x2,y1-y2,z1-z2)来表示，骨骼向量的起始关节和终点关节如表1所示。
表1骨骼向量的起始关节和终点关节对应关系
步骤2.3：定义动作编码格式；
以(x、y、z)表示关节的位置信息；(qx、qy、qz、qw)是以四元数的形式表示该关节的旋转信息，其中(qx、qy、qz)是该关节旋转围绕的向量，qw则为旋转的角度。
步骤2.4：实时计算20个骨骼关节点的运动信息(包括上述位置与旋转信息)，存储于动作库中，形成舞蹈的标准动作库。
步骤3：根据动作库，驱动教练模型进行舞蹈教学；
通过采集舞蹈教练的信息后，首先以三视图形式进行舞蹈人物模型的等比例建模，舞蹈教练的信息包括人物的服装、首饰、身姿的多个视图；接着进行贴图，给模型附上材质包括皮肤衣服；最后进行蒙皮，给模型绑定骨骼，能够在之后通过phasespace或者kinect驱动。
本实施例运用光学动作捕捉系统捕捉专业教练的专业舞蹈动作，对捕获到的动作进行去噪、优化，运用动作编码系统对教练动作以XML形式表征，(XML是一种通用的可扩展标记语言，简洁易懂，容易进行编码和格式化，是选择通用动作格式的最佳选择之一)以形成包含每一帧中各骨骼点运动信息的动作库。
具体实现包括以下子步骤：
步骤3.1：关节点标定
为了获取适合与Kinect对比专业；的动作数据，首先将光学动捕数据得到的49个关节运动进行标定成Kinect所能驱动的20个关节点，并对这些点进行编号。20个关键关节点名称以及编号分别如下表2所示：
表2 20个关键关节点名称以及编号
步骤3.2：构建关节描述信息；
考虑每个关节需要记录的信息，该构建方法记录每个关节的位置和旋转信息。其中，使用三维向量P记录关节位置：
p＝[x y z] (1)
p的三个分量x,y,z分别表示关节点在空间坐标参照系中的x、y、z三个轴上的投影的值。
同时使用四元数Q记录关节的旋转，Q的定义如公式(2)所示：
Q＝[q0 q1 q2 q3]T
|Q|2＝|q0|2+|q1|2+|q2|2+|q3|2 (2)
在三维坐标系中，可以用四元数Q表示绕某个轴的旋转，结合上述公式有：
基于公式(1)(2)(3)，本实施例定义了描述关节信息的XML格式：
其中Joint节点的jointIndex的值是该关节的编号，子节点x、y、z对应(1)中的x、y、z，qx、qy、qz、qw对应(3)中的q0、q1、q2、q3，其数据类型都为双精度浮点型。
步骤3.3：关节信息的XML描述；
完成关节信息的定义后，结合动作文件的序列特点，定义完整的动作文件的XML形式：
根节点为MotionData节点，其属性“FrameCount”描述了整个动作的帧数即动作的长度。MotionData的子节点是Frame节点，即帧节点，每个Frame节点中都包含了对该帧状态的人体的20个关节点的信息描述——Joint节点。Frame节点的FrameIndex属性的值即为当前帧的帧号。
使用这一套XML格式进行动作格式的存储，能完整地保存关节点的信息，同时其中包含的语义信息能让开发人员方便地对其进行修改。
步骤3.4：确定动作单元，进行动作入库；
对去噪、优化后的动作数据进行分类并确定动作单元与连续动作。然后进行xml格式的存储，以生成可以驱动教练模型的动作库。
利用本实施例的方法，在舞蹈学员学习舞蹈时进行动作对齐；具体实现包括以下子步骤：
步骤4.1：利用Kinect对学员动作进行实时捕获；
步骤4.2：Kinect捕捉的动作驱动学员模型与教练模型进行虚拟交互学习；同时提取学员每个关节的数据，实时获取20个关节点组成的19根骨骼的信息。
其中，本实施例根据实时获取的20个关节点组成的19根骨骼的信息，通过动作评价算法给出实时的判断与计算并反馈给用户；具体实现包括以下子步骤：
步骤5.1：已知教练与学员对应关键帧的骨骼向量通过公式计算其与x、y、z轴的夹角余弦值(cosα，cosβ，cosγ)，通过欧式距离公式计算学员与教练的对应骨骼的特征余弦的欧氏距离，选择所有帧N总的差异量，统计其中每帧的最大差异量dfmax和最小差异量dfmin；计算每帧的得分scorek后，计算N总帧得分的统计平均值作为最后得分score；
其中，dfk是第k帧的差异度；
步骤5.2：在教练标准动作的帧序列和学员动作的帧序列上分别建立两个窗口，其中比对窗口是以当前对比的教练帧为关联帧，向前后各取(N-1)/2帧，构成长度为N的比对窗口；学员动作窗口的起始帧与比对窗口起始帧对齐，计算每次滑动学员动作帧与教练动作帧的差异度
根据差异度累积均值作比较，找出最小的那一帧进行对齐；
步骤5.3：对齐后进行计算评分score，并反馈给学员。
请见图3，本实施例提供的一种虚拟舞蹈教学系统，包括动作捕捉模块、专业舞蹈动作库构建模块、虚拟舞蹈教练构建模块和舞蹈评价模块；
动作捕捉模块包括专业舞蹈教练动作捕捉子模块与学员动作捕捉子模块；专业舞蹈教练动作捕捉子模块用于对专业舞蹈教练的动作进行捕捉、优化，确定舞蹈的标准动作；学员动作捕捉子模块用于对学员的舞蹈动作进行捕获，以用于舞蹈动作的对比评价，促进舞蹈学习；
专业舞蹈动作库构建模块包括：专业动作表征子模块、骨骼点映射子模块和专业动作存储子模块；专业动作表征子模块用于建立舞蹈动作编码标准，对捕捉和优化后的舞蹈动作进行编码；骨骼点映射子模块用于解决专业动捕采样与Kinect采样数据不一致的问题，以方便进行动作评价；专业动作存储子模块用于对优化后的专业舞蹈动作存储到XML文件中，形成驱动舞蹈的专业动作库；
虚拟舞蹈教练构建模块包括舞蹈教练动作信息采集子模块和等比例建模子模块；信息采集子模块用于舞蹈人物构建，对需要创建的舞蹈系统的人物进行剖析，拍摄相关人物多个视图，以方便建模；等比例建模子模块用于进行场景与人物的设计；
舞蹈动作评价模块包括学员动作数据帧与标准教练动作数据帧的对齐子模块和对比评价子模块；学员动作数据帧与标准教练动作数据帧的对齐子模块用于解决学员动作数据帧与教练动作数据帧间存在的时间差问题；对比评价子模块用于根据专业舞蹈教练动作库标准，对实时捕捉到的学员动作进行评价。
本发明在专业光学动作捕捉的基础上，结合了Kinect体感交互技术，并选择了舞蹈这一门类，使用户在娱乐的同时也在学习舞蹈，不仅有利于学员的身心健康，还能有专业虚拟舞蹈教练的实时反馈，帮助其掌握舞蹈要领。本发明系统在动作捕捉方法上进行了深入的研究，建立了49个骨骼点到20个骨骼点的映射，并且创新的使用了自定义XML格式的动作数据，使标准教练舞蹈动作捕捉结合学员动作捕捉进行舞蹈教学、评价，反馈。
本发明充分发挥光学动作捕捉和Kinect动作捕捉这两种方法的优势，运用光学动作捕捉系统提前捕获教练动作，构建标准教练动作库；运用Kinect捕获的用户实时动作，落实用户体验。运用等比例建模等技术，构建舞蹈教练模型。提出以关节点的位置、旋转数据为动作数据的基本格式，对每一帧的20个关节点进行编码以构成标准XML格式动作库。并且通过标准化的动作数据驱动模型，使得模型精确的展示出舞蹈动作，而学员则控制Kinect操控用户模型获得沉浸式的体验。本发明首先对专业舞蹈教练的动作进行捕捉，确定专业舞蹈的标准动作，再对标准动作以XML形式进行编码，构建标准教练动作库；然后构建虚拟教练角色，用标准动作库的动作数据驱动教练，对舞蹈动作进行可视化展示，供学习者学习。本发明简化舞蹈教学并提出及时反馈，同时也节约成本。光学动作捕捉的精度与Kinect的便捷度，可以实现舞蹈动作精准展示，促进学员的学习。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (2)
1.一种虚拟舞蹈教学方法，采用虚拟舞蹈教学系统；
其特征在于：所述系统包括动作捕捉模块、专业舞蹈动作库构建模块、虚拟舞蹈教练构建模块和舞蹈评价模块；
所述动作捕捉模块包括专业舞蹈教练动作捕捉子模块与学员动作捕捉子模块；所述专业舞蹈教练动作捕捉子模块用于对专业舞蹈教练的动作进行捕捉、优化，确定舞蹈的标准动作；所述学员动作捕捉子模块用于对学员的舞蹈动作进行捕获，以用于舞蹈动作的对比评价，促进舞蹈学习；
所述专业舞蹈动作库构建模块包括：专业动作表征子模块、骨骼点映射子模块和专业动作存储子模块；所述专业动作表征子模块用于建立舞蹈动作编码标准，对捕捉和优化后的舞蹈动作进行编码；所述骨骼点映射子模块用于解决专业动捕采样与Kinect采样数据不一致的问题，以方便进行动作评价；所述专业动作存储子模块用于对优化后的专业舞蹈动作存储到XML文件中，形成驱动舞蹈的专业动作库；
所述虚拟舞蹈教练构建模块包括舞蹈教练动作信息采集子模块和等比例建模子模块；所述信息采集子模块用于舞蹈人物构建，对需要创建的舞蹈系统的人物进行剖析，拍摄相关人物多个视图，以方便建模；所述等比例建模子模块用于进行场景与人物的设计；
所述舞蹈动作评价模块包括学员动作数据帧与标准教练动作数据帧的对齐子模块和对比评价子模块；所述学员动作数据帧与标准教练动作数据帧的对齐子模块用于解决学员动作数据帧与教练动作数据帧间存在的时间差问题；所述对比评价子模块用于根据专业舞蹈教练动作库标准，对实时捕捉到的学员动作进行评价；
所述方法包括以下步骤：
步骤1：舞蹈教练专业动作捕捉；
具体实现包括以下子步骤：
步骤1.1：确定专业动捕数据需要的人体49个骨骼点；所述49个骨骼点包括头、中肩关节、脊柱第一点、中髋关节、左肩关节、左肘关节、左腕关节、左手、右肩关节、右肘关节、右腕关节、右手、左髋关节、左膝盖、左踝关节、左足、右髋关节、右膝盖、右踝关节、右足、右中指第一点、右中指第二点、右中指第三点、右中指第四点、右食指第一点、右食指第二点、右食指第三点、右食指第四点、右拇指第一点、右拇指第二点、右拇指第三点、右拇指第四点、左中指第一点、左中指第二点、左中指第三点、左中指第四点、左食指第一点、左食指第二点、左食指第三点、左食指第四点、左拇指第一点、左拇指第二点、左拇指第三点、左拇指第四点、头顶、脖颈、脊柱第二点、右足尖、左足尖；
步骤1.2：将LED粘贴于人体49个骨骼点处，LED之间通过线缆连接，由绑在人体表面的电源装置供电；
步骤1.3：通过phasespace光学动捕仪捕捉舞蹈教练的专业动作，捕捉的每帧里面有49个光点；
步骤2：动作库构建；
具体实现包括以下子步骤：
步骤2.1：根据kinect与大部分舞蹈的特点删选并确定驱动的20个骨骼关节点；所述20个骨骼关节点包括头、右肩、右肘、右腕、右手、左肩、左肘、左腕、左手、肩关节中心、脊、髋关节中心、右髋、右膝盖、右踝、右脚、左髋、左膝盖、左踝、左脚；
步骤2.2：根据骨骼点的位置对应关系，将捕捉的每帧49个光点与Kinect捕捉的20个骨骼关节点相对应；
将PhaseSpace的49个光点映射到Kinect的20个骨骼点时，从49个光点中取得对应部位点或者临近部位点，与Kinect捕捉到的20个关节点相对应；
步骤2.3：定义动作编码格式；
以(x、y、z)表示关节的位置信息；(qx、qy、qz、qw)是以四元数的形式表示该关节的旋转信息，其中(qx、qy、qz)是该关节旋转围绕的向量，qw则为旋转的角度；
步骤2.4：实时计算20个骨骼关节点的运动信息，存储于动作库中，形成舞蹈的标准XML格式动作库；
步骤3：根据动作库，驱动教练模型进行舞蹈教学；
具体实现过程是：通过采集舞蹈教练的信息后，首先以三视图形式进行舞蹈人物模型的等比例建模，舞蹈教练的信息包括人物的服装、首饰、身姿的多个视图；接着进行贴图，给模型附上材质包括皮肤衣服；最后进行蒙皮，给模型绑定骨骼，能够在之后通过phasespace或者kinect驱动；
运用光学动作捕捉系统捕捉专业教练的专业舞蹈动作，对捕获到的动作进行去噪、优化，运用动作编码系统对教练动作以XML形式表征，以形成包含每一帧中各骨骼点运动信息的动作库；具体实现包括以下子步骤：
步骤3.1：关节点标定
为了获取适合与Kinect对比专业的动作数据，首先将光学动捕数据得到的49个关节运动进行标定成Kinect所能驱动的20个关节点，并对这些点进行编号；
步骤3.2：构建关节描述信息；
考虑每个关节需要记录的信息，该构建方法记录每个关节的位置和旋转信息；其中，使用三维向量P记录关节位置：
p＝[x y z] (1)
p的三个分量x，y，z分别表示关节点在空间坐标参照系中的x、y、z三个轴上的投影的值；
同时使用四元数Q记录关节的旋转，Q的定义如公式(2)所示：
Q＝[q0 q1 q2 q3]T
|Q|2＝|q0|2+|q1|2+|q2|2+|q3|2 (2)
在三维坐标系中，用四元数Q表示绕某个轴的旋转，结合上述公式有：
基于公式(1)(2)(3)，定义描述关节信息的XML格式；
步骤3.3：关节信息的XML描述；
完成关节信息的定义后，结合动作文件的序列特点，定义完整的动作文件的XML形式；
步骤3.4：确定动作单元，进行动作入库；
对去噪、优化后的动作数据进行分类并确定动作单元与连续动作；然后进行xml格式的存储，以生成可以驱动教练模型的动作库；
步骤4：在舞蹈学员学习舞蹈时进行动作对齐；
首先利用Kinect对学员动作进行实时捕获；然后Kinect捕捉的动作驱动学员模型与教练模型进行虚拟交互学习；同时提取学员每个关节的数据，实时获取20个关节点组成的19根骨骼的信息；
其中根据实时获取的20个关节点组成的19根骨骼的信息，通过动作评价算法给出实时的判断与计算并反馈给用户；
具体实现包括以下子步骤：
(1)已知教练与学员对应关键帧的骨骼向量通过公式计算其与x、y、z轴的夹角余弦值(cosα，cosB，cosγ)，通过欧式距离公式计算学员与教练的对应骨骼的特征余弦的欧氏距离，选择所有帧N总的差异量，统计其中每帧的最大差异量dfmax和最小差异量dfmin；计算每帧的得分scorek后，计算N总帧得分的统计平均值作为最后得分score；
其中，dfk是第k帧的动作差异度；
(2)在教练标准动作的帧序列和学员动作的帧序列上分别建立两个窗口，其中比对窗口是以当前对比的教练帧为关联帧，向前后各取(N-1)/2帧，构成长度为N的比对窗口；学员动作窗口的起始帧与比对窗口起始帧对齐，计算每次滑动学员动作帧与教练动作帧的差异度
根据差异度累积均值作比较，找出最小的那一帧进行对齐；
(3)对齐后进行计算评分score，并反馈给学员。
2.根据权利要求1所述的虚拟舞蹈教学方法，其特征在于，步骤1.3的具体实现包括以下子步骤：
步骤1.3.1：运用光学动作捕捉系统捕获舞蹈教练的特定49个骨骼点的舞蹈动作数据；
步骤1.3.2：对舞蹈动作捕捉数据进行去噪、删除重复动作、删除跳帧数据，调整不标准的动作数据处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810548334.0A CN108777081B (zh) | 2018-05-31 | 2018-05-31 | 一种虚拟舞蹈教学方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810548334.0A CN108777081B (zh) | 2018-05-31 | 2018-05-31 | 一种虚拟舞蹈教学方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108777081A CN108777081A (zh) | 2018-11-09 |
| CN108777081B true CN108777081B (zh) | 2021-02-02 |
Family
ID=64028280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810548334.0A Active CN108777081B (zh) | 2018-05-31 | 2018-05-31 | 一种虚拟舞蹈教学方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108777081B (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260678A (zh) * | 2018-11-30 | 2020-06-09 | 百度在线网络技术（北京）有限公司 | 体操辅助学习的方法、装置、存储介质和终端设备 |
| CN109817031B (zh) * | 2019-01-15 | 2021-02-05 | 张赛 | 一种基于vr技术的肢体运动教学方法 |
| CN109949625B (zh) * | 2019-04-09 | 2021-10-15 | 义乌市万博创意设计有限公司 | 一种可对比中西方健美操差异的训练装置 |
| CN110135303B (zh) * | 2019-04-30 | 2022-09-13 | 西安理工大学 | 一种舞蹈类非遗传承与交互学习的方法 |
| CN110418205A (zh) * | 2019-07-04 | 2019-11-05 | 安徽华米信息科技有限公司 | 健身教学方法、装置、设备、系统及存储介质 |
| CN110414434A (zh) * | 2019-07-29 | 2019-11-05 | 努比亚技术有限公司 | 舞蹈练习方法、移动终端及计算机可读存储介质 |
| CN110379259B (zh) * | 2019-08-07 | 2024-01-26 | 泉州师范学院 | 基于动作捕捉的演员培训方法 |
| CN110728220A (zh) * | 2019-09-30 | 2020-01-24 | 上海大学 | 基于人体动作骨骼信息的体操辅助训练方法 |
| CN111047925B (zh) * | 2019-12-06 | 2021-06-25 | 山东大学 | 基于房间式互动投影的动作学习系统及方法 |
| CN111243067A (zh) * | 2020-01-10 | 2020-06-05 | 安徽五峰杰传媒科技有限公司 | 高沉浸交互式动作内容生产方法 |
| CN111309154A (zh) * | 2020-03-27 | 2020-06-19 | 上海景和国际展览有限公司 | 一种基于5g远程人体动作互动教育系统 |
| CN111739393A (zh) * | 2020-06-28 | 2020-10-02 | 山东省医药生物技术研究中心（山东省病毒研究所） | 一种基于动作捕捉系统的穿戴式推拿教学辅助系统 |
| CN114053688A (zh) * | 2020-08-06 | 2022-02-18 | 上海哔哩哔哩科技有限公司 | 在线体感斗舞方法、装置、计算机设备及存储介质 |
| CN112023373A (zh) * | 2020-09-07 | 2020-12-04 | 东南大学 | 一种基于姿态传感器的网球运动训练方法 |
| CN112528476B (zh) * | 2020-12-03 | 2023-02-28 | 华中师范大学 | 一种面向虚实融合实验的磁场可视化方法、系统及设备 |
| CN112717364A (zh) * | 2020-12-08 | 2021-04-30 | 怀化学院 | 一种舞蹈动作指导及纠正系统 |
| CN112882575A (zh) * | 2021-02-24 | 2021-06-01 | 宜春职业技术学院（宜春市技术工人学校） | 一种全景舞蹈动作建模方法及舞蹈教学辅助系统 |
| CN113012505A (zh) * | 2021-02-24 | 2021-06-22 | 宜春职业技术学院（宜春市技术工人学校） | 一种基于互联网的互动式舞蹈教学练习平台及方法 |
| CN113012504A (zh) * | 2021-02-24 | 2021-06-22 | 宜春职业技术学院（宜春市技术工人学校） | 一种多人舞蹈教学互动投影方法、装置及设备 |
| CN113052138B (zh) * | 2021-04-25 | 2024-03-15 | 广海艺术科创(深圳)有限公司 | 一种舞蹈与运动动作的智能对比矫正的方法 |
| CN115311913A (zh) * | 2021-05-08 | 2022-11-08 | 咪付（广西）网络技术有限公司 | 一种基于人工智能的动作训练系统 |
| CN113838219B (zh) * | 2021-09-26 | 2023-09-12 | 琼台师范学院 | 基于人体动作捕捉的虚拟舞蹈训练方法及装置 |
| CN114282795B (zh) * | 2021-12-21 | 2022-09-16 | 北京永信至诚科技股份有限公司 | 网络靶场人员技能评估方法、装置、设备及可读存储介质 |
| CN114534233A (zh) * | 2022-02-28 | 2022-05-27 | 西华大学 | 一种舞蹈训练辅助系统及方法 |
| CN116546149B (zh) * | 2023-07-04 | 2023-10-24 | 北京小糖科技有限责任公司 | 基于虚拟数字人的舞蹈教学交互方法、装置、设备及介质 |
| CN116611969B (zh) * | 2023-07-17 | 2023-10-03 | 北京彩蛋科技有限公司 | 传统武术智能学习与评分系统 |
| CN118038722B (zh) * | 2024-04-11 | 2024-06-25 | 南京南工智华智能技术有限公司 | 基于虚拟现实的课堂实景再现交互式教学系统和方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104391683A (zh) * | 2014-08-28 | 2015-03-04 | 无锡梵天信息技术股份有限公司 | 一种基于3Dmax脚本导出三维软件中模型动画的方法及装置 |
| CN104517097A (zh) * | 2014-09-24 | 2015-04-15 | 浙江大学 | 一种基于kinect的运动人体姿态识别方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9981193B2 (en) * | 2009-10-27 | 2018-05-29 | Harmonix Music Systems, Inc. | Movement based recognition and evaluation |
| CN103112007B (zh) * | 2013-02-06 | 2015-10-28 | 华南理工大学 | 基于混合传感器的人机交互方法 |
| CN105808231B (zh) * | 2014-12-31 | 2021-02-05 | 深圳富泰宏精密工业有限公司 | 录制与播放脚本的系统及方法 |
| CN107349594B (zh) * | 2017-08-31 | 2019-03-19 | 华中师范大学 | 一种虚拟舞蹈系统的动作评价方法 |
| CN107831897B (zh) * | 2017-11-17 | 2018-09-07 | 吉林大学 | 一种虚拟装配操作中rula评测方法 |
-
2018
- 2018-05-31 CN CN201810548334.0A patent/CN108777081B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104391683A (zh) * | 2014-08-28 | 2015-03-04 | 无锡梵天信息技术股份有限公司 | 一种基于3Dmax脚本导出三维软件中模型动画的方法及装置 |
| CN104517097A (zh) * | 2014-09-24 | 2015-04-15 | 浙江大学 | 一种基于kinect的运动人体姿态识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108777081A (zh) | 2018-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108777081B (zh) | 一种虚拟舞蹈教学方法及系统 | |
| Stavrakis et al. | Digitization of cypriot folk dances | |
| CN110674794B (zh) | 一种全景舞蹈动作建模方法及舞蹈教学辅助系统 | |
| EP2836798A1 (en) | Automated intelligent mentoring system (aims) | |
| Zhao et al. | Analysis of the application of virtual reality technology in football training | |
| CN113035038A (zh) | 一种虚拟骨科手术练习系统及模拟训练方法 | |
| CN111477055A (zh) | 基于虚拟现实技术的教师培训系统及方法 | |
| CN109509555A (zh) | 一种基于三维影像的外科手术预演评估方法以及系统 | |
| Fang et al. | Application of virtual reality technology (VR) in practice teaching of sports rehabilitation major | |
| CN116229793A (zh) | 一种基于虚拟现实技术的培训考核系统 | |
| Nie et al. | [Retracted] The Construction of Basketball Training System Based on Motion Capture Technology | |
| Sun | Research on dance motion capture technology for visualization requirements | |
| Anderson et al. | A haptic-based virtual reality head and neck model for dental education | |
| King et al. | Motion capture moves into new realms | |
| CN115576427A (zh) | 一种基于xr的多人在线直播及系统 | |
| Chan et al. | Immersive performance training tools using motion capture technology | |
| Jia et al. | A novel training quantitative evaluation method based on virtual reality | |
| Mora et al. | 3D visual feedback in learning of piano posture | |
| Zhao et al. | Design and implementation of Peking Opera action scoring system based on human skeleton information | |
| Chen et al. | Construction of Sports Training Evaluation System Based on Virtual Reality and Motion Capture | |
| Feng | Research on Human Skeleton Teaching System Based on Leap Motion | |
| JP6899105B1 (ja) | 動作表示装置、動作表示方法及び動作表示プログラム | |
| Zhang et al. | An improved approach for human motion simulation and sports analysis based on dynamic image analysis [J] | |
| Huang et al. | Correction Method of Key Movements in Basketball Training Based on Virtual Reality Technology | |
| Li et al. | Computer-aided teaching software of three-dimensional model of sports movement based on kinect depth data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20181109 Assignee: Wuhan Hezhongxing Trading Co.,Ltd. Assignor: CENTRAL CHINA NORMAL University Contract record no.: X2023980052458 Denomination of invention: A Virtual Dance Teaching Method and System Granted publication date: 20210202 License type: Common License Record date: 20231219 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20181109 Assignee: Hubei ZHENGBO Xusheng Technology Co.,Ltd. Assignor: CENTRAL CHINA NORMAL University Contract record no.: X2024980001275 Denomination of invention: A Virtual Dance Teaching Method and System Granted publication date: 20210202 License type: Common License Record date: 20240124 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20181109 Assignee: Hubei Rongzhi Youan Technology Co.,Ltd. Assignor: CENTRAL CHINA NORMAL University Contract record no.: X2024980001548 Denomination of invention: A Virtual Dance Teaching Method and System Granted publication date: 20210202 License type: Common License Record date: 20240126 |
|
| EE01 | Entry into force of recordation of patent licensing contract |