CN113838219A - 基于人体动作捕捉的虚拟舞蹈训练方法及装置 - Google Patents
基于人体动作捕捉的虚拟舞蹈训练方法及装置 Download PDFInfo
- Publication number
- CN113838219A CN113838219A CN202111130984.1A CN202111130984A CN113838219A CN 113838219 A CN113838219 A CN 113838219A CN 202111130984 A CN202111130984 A CN 202111130984A CN 113838219 A CN113838219 A CN 113838219A
- Authority
- CN
- China
- Prior art keywords
- points
- key
- key point
- dance
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 title claims abstract description 20
- 238000012937 correction Methods 0.000 claims abstract description 36
- 230000001133 acceleration Effects 0.000 claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims description 46
- 230000009471 action Effects 0.000 claims description 37
- 210000000988 bone and bone Anatomy 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010191 image analysis Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036314 physical performance Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及虚拟现实技术领域，具体涉及基于人体动作捕捉的虚拟舞蹈训练方法及装置，所述方法通过实时捕捉人体在进行舞蹈动作时的加速度、速度和角速度等物理参数，以实时绘制运动曲线，再和标准的曲线进行对比，来纠正学员的舞蹈动作；与传统方法相比，本发明没有直接对学员进行舞蹈动作时的图像进行图像分析，也没有使用传感器直接获取学员的所有数据，而是通过设置基准点，基于基准点的参数来计算关键点的参数，这样可以显著降低系统的资源占用，使用了较少的传感器，而达到同样的效果，同时，本发明又使用删除了骨骼关系的两个关键点的位置关系来生成校正参数，以避免误差，提升了精度。
Description
技术领域
本发明属于虚拟现实技术领域，具体涉及基于人体动作捕捉的虚拟舞蹈训练方法及装置。
背景技术
人体动作捕捉技术，简称人体动捕技术(MotionCapture,Mocap)是通过某些传感器，捕捉场景中人体运动的姿态或者运动数据，将这些运动姿态数据作为一种驱动数据去驱动虚拟形象模型或者进行行为分析。这里的传感器既可以是惯性传感器IMU，红外光信标(也可能是会发出红外光的摄像机)，也可以是RGB摄像头或者是RGBD摄像头等。根据人体是否有佩戴传感器和佩戴的传感器是否会主动发送定位信号，我们可以把人体动捕技术大致分为：被动形式的人体动捕技术和主动形式的人体动捕技术。
舞蹈是一种在三维空间里通过身体表演来表达情感的艺术，它以人体的动作、姿态造型作为表现形式。群众性体育舞蹈能够把体育、艺术与日常生活高度结合起来，具有雅俗共赏、全民参与的特点，对于陶冶情操、克服心理障碍、提升健康素质均有显著作用，是一种极为流行并具有强大发展潜力的群众性健身运动。
在对舞蹈者进行培养的过程中，对于舞蹈动作的训练和评估是十分重要的。传统的训练评估基本上单凭教练员的肉眼和经验，只能从宏观上大致了解自己的学习训练情况，涉及到具体的技术参数就无法判断，缺乏客观的、科学的指导方法和训练依据，不利于人才的选拔和培养。舞蹈的学习切忌要求不严格，舞蹈之美与每个精确、规范、完美的舞蹈动作是分不开的，如果学习过程中对舞蹈动作的规范程度要求不高，舞蹈动作将很难达到精湛的程度。传统的舞蹈分析工具都是通过视频摄像系统在整个舞蹈结束后来分析舞蹈者的舞蹈动作，本发明利用数字化场地和无线动作捕捉设备采集舞蹈者的动作信息并传输到电脑上，然后通过量化后的数据来实时分析舞蹈者的动作，并通过将舞蹈者实时采集得到的动作信息与舞蹈动作模板和知识库中动作信息进行对比来对舞蹈者的动作做出评估和实时指导。
专利号为CN201810548334.0A的专利公开了一种虚拟舞蹈教学方法及系统，方法包括舞蹈教练专业动作捕捉；动作库构建；根据动作库，驱动教练模型进行舞蹈教学等步骤；发明首先对专业舞蹈教练的动作进行捕捉，确定专业舞蹈的标准动作，再对标准动作进行骨骼对齐并以XML形式进行编码，经过优化确定基础动作后构建标准教练动作库；然后，构建虚拟舞蹈角色，对舞蹈教练与学员采样进行三维模型等比构建，接着用标准动作库的动作数据驱动教练模型，Kinect实时驱动学员模型，对舞蹈动作进行可视化展示，供学习者学习，最终通过评价算法(余弦特征值欧氏距离)进行舞蹈动作的评价以供学习者进行反思。该方法虽然通过Kinect实时采集学员模型，实现了人体在进行舞蹈时的动作捕捉和采集，但其精度依然较低，且需要基于构建的动作库和构建的三维模型来实现，实时性也较低。
发明内容
有鉴于此，本发明的主要目的在于提供基于人体动作捕捉的虚拟舞蹈训练方法及装置，与传统方法相比，本发明没有直接对学员进行舞蹈动作时的图像进行图像分析，也没有使用传感器直接获取学员的所有数据，而是通过设置基准点，基于基准点的参数来计算关键点的参数，这样可以显著降低系统的资源占用，使用了较少的传感器，而达到同样的效果，同时，本发明又使用删除了骨骼关系的两个关键点的位置关系来生成校正参数，以避免误差，提升了精度。
为达到上述目的，本发明的技术方案是这样实现的：
基于人体动作捕捉的虚拟舞蹈训练方法及装置，所述方法执行以下步骤：
步骤1：设置人体基准点，具体包括：在人体的足部，手部和头部设置基准点；其中，手部基准点包括两个对称设置的基准点，手部基准点位于人体手掌位置；足部基准点包括两个对称设置的基准点，足部基准点位于人体脚掌位置；头部基准点位于人体头顶位置；
步骤2：以设置的人体基准点为参照点，生成人体平面模型，同时，在人体平面模型中，使用预设的关键点生成模型在人体均匀生成11个关键点；将每个基准点与相邻的最近的关键点进行骨骼连接，每个关键点与相邻的最近的关键点进行骨骼连接；骨骼连接完成后，再随机筛选出两个骨骼连接的关键点，删除这两个关键点的骨骼连接关系，并在这两个关键点之间设置一个观察计算器；所述观察计算器将实时计算删除了骨骼连接关系的两个关键点的距离，并基于计算得到的距离，生成校正参数；
步骤3：在人体与基准点对应的位置设置多个运动传感器，以实时获取人体运动的物理参数；所述物理参数包括：加速度、速度和角速度；
步骤4：实时获取教师在完成目标舞蹈动作时的各个基准点的物理参数，以及基于观察计算器生成的校正参数，生成目标舞蹈动作的标准物理参数曲线；
步骤5：实时获取学员在完成目标舞蹈动作时的各个基准点的物理参数，以及基于观察计算器生成的校正参数，生成学员完成目标舞蹈动作的练习曲线；
步骤6：比对目标舞蹈动作的标准物理参数曲线与学员完成目标动作的练习曲线，以找到差异部分，基于差异部分的曲线所对应的时刻，以找到学员完成目标舞蹈动作时出现问题的部分。
进一步的，所述步骤4中，生成目标舞蹈动作的标准物理参数曲线的方法，具体包括：获取教师在完成目标舞蹈动作时在每个时刻的加速度、速度和角速度，并基于基准点与关键点，以及关键点之间的骨骼连接关系，以预设的数据转换模型，得到每个关键点在每个时刻的加速度、速度和角速度；绘制教师在完成目标舞蹈动作时，每个基准点和关键点随着时间变化的加速度曲线、速度曲线和角速度曲线。
进一步的，所述数据转换模型包括：加速度数据转换模型、角速度数据转换模型和速度数据转换模型；所述加速度数据转换模型，基于基准点在每个时刻的加速度，生成关键点在每个时刻的加速度；所述角速度数据转换模型，基于基准点在每个时刻的角速度，生成关键点在每个时刻的角速度；所述速度数据转换模型，基于基准点在每个时刻的速度，生成关键点在每个时刻的速度。
进一步的，所述加速度数据转换模型使用如下公式进行表示：
其中，αk为转换得到的关键点的加速度；αb为与该关键点距离最近的基准点的加速度按；所述关键点与基准点的距离为关键点与基准点之间其他关键点的数量，用N表示；γ为调整系数，取值范围为：0.2～0.5；t表示当前时刻；tmax表示目标舞蹈动作的时间长度。
进一步的，所述角速度数据转换模型使用如下公式进行表示：
其中，rk为转换得到的关键点的角速度；rb为与该关键点距离最近的基准点的角速度按；所述关键点与基准点的距离为关键点与基准点之间其他关键点的数量，用N表示；γ为调整系数，取值范围为：0.2～0.5；t表示当前时刻；tmax表示目标舞蹈动作的时间长度。
进一步的，所述速度数据转换模型使用如下公式进行表示：
其中，vk为转换得到的关键点的速度；vb为与该关键点距离最近的基准点的速度按；所述关键点与基准点的距离为关键点与基准点之间其他关键点的数量，用N表示；γ为调整系数，取值范围为：0.2～0.5；t表示当前时刻；tmax表示目标舞蹈动作的时间长度。
进一步的，所述步骤2中观察计算器实时计算删除了骨骼连接关系的两个关键点的距离，并基于计算得到的距离，生成校正参数的方法包括：实时计算删除了骨骼连接关系的两个关键点的距离，再使用如下公式，生成校正系数：μ＝(距离-D)/5；其中，μ为生成的校正系数，D为删除了骨骼连接关系的两个关键点，在静止时的固定距离。
进一步的，所述步骤4中，基于观察计算器生成的校正参数和各个基准点的物理参数，生成目标舞蹈动作的标准物理参数曲线的方法包括：基于各个基准点的物理参数，使用数据转换模型，生成各个关键点的物理参数，再使用生成的校正参数，对生成的各个关键点的物理参数进行校正，最后基于校正后的各个关键点的物理参数和基准点的物理参数，生成目标舞蹈动作的标准物理参数曲线。
进一步的，所述步骤5中，基于观察计算器生成的校正参数和各个基准点的物理参数，生成学员完成目标舞蹈动作的练习曲线的方法包括：基于各个基准点的物理参数，使用数据转换模型，生成各个关键点的物理参数，再使用生成的校正参数，对生成的各个关键点的物理参数进行校正，最后基于校正后的各个关键点的物理参数和基准点的物理参数，生成学员完成目标舞蹈动作的练习曲线。
基于人体动作捕捉的虚拟舞蹈训练装置。
本发明的基于人声模拟的仿真语音合成方法及装置，与传统方法相比，本发明没有直接对学员进行舞蹈动作时的图像进行图像分析，也没有使用传感器直接获取学员的所有数据，而是通过设置基准点，基于基准点的参数来计算关键点的参数，这样可以显著降低系统的资源占用，使用了较少的传感器，而达到同样的效果，同时，本发明又使用删除了骨骼关系的两个关键点的位置关系来生成校正参数，以避免误差，提升了精度。主要通过以下过程实现：
1.观察计算器的设定：本发明通过设定观察计算器来保证关键点的物理参数不会随着舞蹈动作的进行而改变，因为舞蹈动作在进行过程中，往往会因为肢体的变化，使得基准点进行运动，同时带动关键点的运动，而由于关键点与基准点之间的骨骼连接不是硬直连接，而导致关键点的物理参数出现变化，这个时候，则需要对物理参数进行校正，但这种校正过程不是固定的，因为每一次变化的值不同，则需要针对具体情况进行校正；本发明则是通过删除两个关键点的骨骼联系来进行，删除了骨骼联系的关键点，由于没有了骨骼的连接，两个关键点的位置关系则会直接反应整个关键点的位置变化，则可以生成一个校正系数，提升准确率；
2.基准点和关键点的设置：本发明没有使用传统技术中直接使用传感器来获取肢体的所有物理参数，而是通过基准点来生成其他关键点的物理参数，在基准点的位置设置传感器来获取物理参数，然后通过数据的转换来获取其他关键点的物理参数，这种做法可以减少传感器的使用，提升系统效率；另一方面，由于减少了传感器的使用，则可以降低传感器带来的误差，进一步提升准确率。
附图说明
图1为本发明实施例提供的基于人体动作捕捉的虚拟舞蹈训练方法的方法流程示意图；
图2为本发明实施例提供的基于人体动作捕捉的虚拟舞蹈训练方法及装置的基准点和关键点的结构示意图
图3为本发明实施例提供的基于人体动作捕捉的虚拟舞蹈训练方法及装置的
图4为本发明实施例提供的基于高分子模拟的保密通信方法及装置的数据被破解率随着实验次数变化的曲线示意图与现有技术的对比实验效果示意图。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
实施例1
如图1所示，基于人体动作捕捉的虚拟舞蹈训练方法及装置，所述方法执行以下步骤：
步骤1：设置人体基准点，具体包括：在人体的足部，手部和头部设置基准点；其中，手部基准点包括两个对称设置的基准点，手部基准点位于人体手掌位置；足部基准点包括两个对称设置的基准点，足部基准点位于人体脚掌位置；头部基准点位于人体头顶位置；
步骤2：以设置的人体基准点为参照点，生成人体平面模型，同时，在人体平面模型中，使用预设的关键点生成模型在人体均匀生成11个关键点；将每个基准点与相邻的最近的关键点进行骨骼连接，每个关键点与相邻的最近的关键点进行骨骼连接；骨骼连接完成后，再随机筛选出两个骨骼连接的关键点，删除这两个关键点的骨骼连接关系，并在这两个关键点之间设置一个观察计算器；所述观察计算器将实时计算删除了骨骼连接关系的两个关键点的距离，并基于计算得到的距离，生成校正参数；
步骤3：在人体与基准点对应的位置设置多个运动传感器，以实时获取人体运动的物理参数；所述物理参数包括：加速度、速度和角速度；
步骤4：实时获取教师在完成目标舞蹈动作时的各个基准点的物理参数，以及基于观察计算器生成的校正参数，生成目标舞蹈动作的标准物理参数曲线；
步骤5：实时获取学员在完成目标舞蹈动作时的各个基准点的物理参数，以及基于观察计算器生成的校正参数，生成学员完成目标舞蹈动作的练习曲线；
步骤6：比对目标舞蹈动作的标准物理参数曲线与学员完成目标动作的练习曲线，以找到差异部分，基于差异部分的曲线所对应的时刻，以找到学员完成目标舞蹈动作时出现问题的部分。
参考图2中，手部基准点为堆成设置的两个基准点，脚部基准点也为堆成设置的两个基准点。基准点与关键点之间，以及关键点之间均进行骨骼连接。
参考图3，目标舞蹈动作一般被划分为多个动作，针对每个动作，曲线起伏均不一样。由此，可以通过曲线起伏来判定舞蹈动作是否符合标准。
实施例2
在上一实施例的基础上，所述步骤4中，生成目标舞蹈动作的标准物理参数曲线的方法，具体包括：获取教师在完成目标舞蹈动作时在每个时刻的加速度、速度和角速度，并基于基准点与关键点，以及关键点之间的骨骼连接关系，以预设的数据转换模型，得到每个关键点在每个时刻的加速度、速度和角速度；绘制教师在完成目标舞蹈动作时，每个基准点和关键点随着时间变化的加速度曲线、速度曲线和角速度曲线。
具体的，角速度(Angularvelocity)是在物理学中定义为角位移的变化率，描述物体转动时，在单位时间内转过多少角度以及转动方向的向量。
在国际单位制中，单位是弧度每秒(rad/s)。在日常生活，通常量度单位时间内的转动周数，即是每分钟转速(rpm)，电脑硬盘和汽车引擎转数就是以rpm来量度，物理学则以rev/min表示每分钟转动周数。
角速度的方向垂直于转动平面，可通过右手定则来确定，物体以逆时针方向转动其角速度为正值，物体以顺时针方向转动其角速度为负值。
加速度(Acceleration)是速度变化量与发生这一变化所用时间的比值Δv/Δt，是描述物体速度变化快慢的物理量，通常用a表示，单位是米/平方秒。加速度是矢量，它的方向是物体速度变化(量)的方向，与合外力的方向相同。
实施例3
在上一实施例的基础上，所述数据转换模型包括：加速度数据转换模型、角速度数据转换模型和速度数据转换模型；所述加速度数据转换模型，基于基准点在每个时刻的加速度，生成关键点在每个时刻的加速度；所述角速度数据转换模型，基于基准点在每个时刻的角速度，生成关键点在每个时刻的角速度；所述速度数据转换模型，基于基准点在每个时刻的速度，生成关键点在每个时刻的速度。
实施例4
在上一实施例的基础上，所述加速度数据转换模型使用如下公式进行表示：
其中，αk为转换得到的关键点的加速度；αb为与该关键点距离最近的基准点的加速度按；所述关键点与基准点的距离为关键点与基准点之间其他关键点的数量，用N表示；γ为调整系数，取值范围为：0.2～0.5；t表示当前时刻；tmax表示目标舞蹈动作的时间长度。
具体的，基准点和关键点骨骼联系使得关键点的运动依托于基准点。
实施例5
在上一实施例的基础上，所述角速度数据转换模型使用如下公式进行表示：
其中，rk为转换得到的关键点的角速度；rb为与该关键点距离最近的基准点的角速度按；所述关键点与基准点的距离为关键点与基准点之间其他关键点的数量，用N表示；γ为调整系数，取值范围为：0.2～0.5；t表示当前时刻；tmax表示目标舞蹈动作的时间长度。
实施例6
在上一实施例的基础上，所述速度数据转换模型使用如下公式进行表示：
其中，vk为转换得到的关键点的速度；vb为与该关键点距离最近的基准点的速度按；所述关键点与基准点的距离为关键点与基准点之间其他关键点的数量，用N表示；γ为调整系数，取值范围为：0.2～0.5；t表示当前时刻；tmax表示目标舞蹈动作的时间长度。
实施例7
在上一实施例的基础上，所述步骤2中观察计算器实时计算删除了骨骼连接关系的两个关键点的距离，并基于计算得到的距离，生成校正参数的方法包括：实时计算删除了骨骼连接关系的两个关键点的距离，再使用如下公式，生成校正系数：μ＝(距离-D)/5；其中，μ为生成的校正系数，D为删除了骨骼连接关系的两个关键点，在静止时的固定距离。
实施例8
在上一实施例的基础上，所述步骤4中，基于观察计算器生成的校正参数和各个基准点的物理参数，生成目标舞蹈动作的标准物理参数曲线的方法包括：基于各个基准点的物理参数，使用数据转换模型，生成各个关键点的物理参数，再使用生成的校正参数，对生成的各个关键点的物理参数进行校正，最后基于校正后的各个关键点的物理参数和基准点的物理参数，生成目标舞蹈动作的标准物理参数曲线。
实施例9
在上一实施例的基础上，所述步骤5中，基于观察计算器生成的校正参数和各个基准点的物理参数，生成学员完成目标舞蹈动作的练习曲线的方法包括：基于各个基准点的物理参数，使用数据转换模型，生成各个关键点的物理参数，再使用生成的校正参数，对生成的各个关键点的物理参数进行校正，最后基于校正后的各个关键点的物理参数和基准点的物理参数，生成学员完成目标舞蹈动作的练习曲线。
实施例10
基于人体动作捕捉的虚拟舞蹈训练装置。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应能够意识到，结合本文中所公开的实施例描述的各示例的单元、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件单元、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和属性约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“另一部分”等是配置用于区别类似的对象，而不是配置用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者单元/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者单元/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术标记作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述，仅为本发明的较佳实施例而已，并非配置用于限定本发明的保护范围。
Claims (10)
1.基于人体动作捕捉的虚拟舞蹈训练方法及装置，其特征在于，所述方法执行以下步骤：
步骤1：设置人体基准点，具体包括：在人体的足部，手部和头部设置基准点；其中，手部基准点包括两个对称设置的基准点，手部基准点位于人体手掌位置；足部基准点包括两个对称设置的基准点，足部基准点位于人体脚掌位置；头部基准点位于人体头顶位置；
步骤2：以设置的人体基准点为参照点，生成人体平面模型，同时，在人体平面模型中，使用预设的关键点生成模型在人体均匀生成11个关键点；将每个基准点与相邻的最近的关键点进行骨骼连接，每个关键点与相邻的最近的关键点进行骨骼连接；骨骼连接完成后，再随机筛选出两个骨骼连接的关键点，删除这两个关键点的骨骼连接关系，并在这两个关键点之间设置一个观察计算器；所述观察计算器将实时计算删除了骨骼连接关系的两个关键点的距离，并基于计算得到的距离，生成校正参数；
步骤3：在人体与基准点对应的位置设置多个运动传感器，以实时获取人体运动的物理参数；所述物理参数包括：加速度、速度和角速度；
步骤4：实时获取教师在完成目标舞蹈动作时的各个基准点的物理参数，以及基于观察计算器生成的校正参数，生成目标舞蹈动作的标准物理参数曲线；
步骤5：实时获取学员在完成目标舞蹈动作时的各个基准点的物理参数，以及基于观察计算器生成的校正参数，生成学员完成目标舞蹈动作的练习曲线；
步骤6：比对目标舞蹈动作的标准物理参数曲线与学员完成目标动作的练习曲线，以找到差异部分，基于差异部分的曲线所对应的时刻，以找到学员完成目标舞蹈动作时出现问题的部分。
2.如权利要求1所述的方法，其特征在于，所述步骤4中，生成目标舞蹈动作的标准物理参数曲线的方法，具体包括：获取教师在完成目标舞蹈动作时在每个时刻的加速度、速度和角速度，并基于基准点与关键点，以及关键点之间的骨骼连接关系，以预设的数据转换模型，得到每个关键点在每个时刻的加速度、速度和角速度；绘制教师在完成目标舞蹈动作时，每个基准点和关键点随着时间变化的加速度曲线、速度曲线和角速度曲线。
3.如权利要求2所述的方法，其特征在于，所述数据转换模型包括：加速度数据转换模型、角速度数据转换模型和速度数据转换模型；所述加速度数据转换模型，基于基准点在每个时刻的加速度，生成关键点在每个时刻的加速度；所诉角速度数据转换模型，基于基准点在每个时刻的角速度，生成关键点在每个时刻的角速度；所述速度数据转换模型，基于基准点在每个时刻的速度，生成关键点在每个时刻的速度。
4.如权利要求3所述的方法，其特征在于，所述加速度数据转换模型使用如下公式进行表示：
其中，αk为转换得到的关键点的加速度；αb为与该关键点距离最近的基准点的加速度按；所述关键点与基准点的距离为关键点与基准点之间其他关键点的数量，用N表示；γ为调整系数，取值范围为：0.2～0.5；t表示当前时刻；tmax表示目标舞蹈动作的时间长度。
5.如权利要求4所述的方法，其特征在于，所述角速度数据转换模型使用如下公式进行表示：
其中，rk为转换得到的关键点的角速度；rb为与该关键点距离最近的基准点的角速度按；所述关键点与基准点的距离为关键点与基准点之间其他关键点的数量，用M表示；γ为调整系数，取值范围为：0.2～0.5；t表示当前时刻；tmax表示目标舞蹈动作的时间长度。
6.如权利要求5所述的方法，其特征在于，所述速度数据转换模型使用如下公式进行表示：
其中，vk为转换得到的关键点的速度；vb为与该关键点距离最近的基准点的速度按；所述关键点与基准点的距离为关键点与基准点之间其他关键点的数量，用N表示；γ为调整系数，取值范围为：0.2～0.5；t表示当前时刻；tmax表示目标舞蹈动作的时间长度。
7.如权利要求6所述的方法，其特征在于，所述步骤2中观察计算器实时计算删除了骨骼连接关系的两个关键点的距离，并基于计算得到的距离，生成校正参数的方法包括：实时计算删除了骨骼连接关系的两个关键点的距离，再使用如下公式，生成校正系数：μ＝(距离-D)/5；其中，μ为生成的校正系数，D为删除了骨骼连接关系的两个关键点，在静止时的固定距离。
8.如权利要求7所述的方法，其特征在于，所述步骤4中，基于观察计算器生成的校正参数和各个基准点的物理参数，生成目标舞蹈动作的标准物理参数曲线的方法包括：基于各个基准点的物理参数，使用数据转换模型，生成各个关键点的物理参数，再使用生成的校正参数，对生成的各个关键点的物理参数进行校正，最后基于校正后的各个关键点的物理参数和基准点的物理参数，生成目标舞蹈动作的标准物理参数曲线。
9.如权利要求8所述的方法，其特征在于，所述步骤5中，基于观察计算器生成的校正参数和各个基准点的物理参数，生成学员完成目标舞蹈动作的练习曲线的方法包括：基于各个基准点的物理参数，使用数据转换模型，生成各个关键点的物理参数，再使用生成的校正参数，对生成的各个关键点的物理参数进行校正，最后基于校正后的各个关键点的物理参数和基准点的物理参数，生成学员完成目标舞蹈动作的练习曲线。
10.用于实现权利要求1至9之一所述方法的基于人体动作捕捉的虚拟舞蹈训练装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111130984.1A CN113838219B (zh) | 2021-09-26 | 2021-09-26 | 基于人体动作捕捉的虚拟舞蹈训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111130984.1A CN113838219B (zh) | 2021-09-26 | 2021-09-26 | 基于人体动作捕捉的虚拟舞蹈训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113838219A true CN113838219A (zh) | 2021-12-24 |
| CN113838219B CN113838219B (zh) | 2023-09-12 |
Family
ID=78970206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111130984.1A Active CN113838219B (zh) | 2021-09-26 | 2021-09-26 | 基于人体动作捕捉的虚拟舞蹈训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113838219B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115273222A (zh) * | 2022-06-23 | 2022-11-01 | 武汉元淳传媒有限公司 | 一种基于人工智能的多媒体互动分析控制管理系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1285504A (zh) * | 2000-10-09 | 2001-02-28 | 清华大学 | 一种人手运动图像三维实时检测方法 |
| US7457439B1 (en) * | 2003-12-11 | 2008-11-25 | Motion Reality, Inc. | System and method for motion capture |
| CN107544666A (zh) * | 2016-06-23 | 2018-01-05 | 天津微莱福科技有限公司 | 一种动作捕捉系统实现虚拟现实全方位动作的方法 |
| CN107578462A (zh) * | 2017-09-12 | 2018-01-12 | 北京城市系统工程研究中心 | 一种基于实时运动捕捉的骨骼动画数据处理方法 |
| CN108777081A (zh) * | 2018-05-31 | 2018-11-09 | 华中师范大学 | 一种虚拟舞蹈教学方法及系统 |
| CN109741371A (zh) * | 2019-01-07 | 2019-05-10 | 西安理工大学 | 一种基于惯性传感器的人体动作描述方法 |
| CN110634149A (zh) * | 2018-06-22 | 2019-12-31 | 湖南大学 | 一种用于光学动作捕捉系统的非刚体目标特征点匹配方法 |
| CN112882575A (zh) * | 2021-02-24 | 2021-06-01 | 宜春职业技术学院（宜春市技术工人学校） | 一种全景舞蹈动作建模方法及舞蹈教学辅助系统 |
-
2021
- 2021-09-26 CN CN202111130984.1A patent/CN113838219B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1285504A (zh) * | 2000-10-09 | 2001-02-28 | 清华大学 | 一种人手运动图像三维实时检测方法 |
| US7457439B1 (en) * | 2003-12-11 | 2008-11-25 | Motion Reality, Inc. | System and method for motion capture |
| CN107544666A (zh) * | 2016-06-23 | 2018-01-05 | 天津微莱福科技有限公司 | 一种动作捕捉系统实现虚拟现实全方位动作的方法 |
| CN107578462A (zh) * | 2017-09-12 | 2018-01-12 | 北京城市系统工程研究中心 | 一种基于实时运动捕捉的骨骼动画数据处理方法 |
| CN108777081A (zh) * | 2018-05-31 | 2018-11-09 | 华中师范大学 | 一种虚拟舞蹈教学方法及系统 |
| CN110634149A (zh) * | 2018-06-22 | 2019-12-31 | 湖南大学 | 一种用于光学动作捕捉系统的非刚体目标特征点匹配方法 |
| CN109741371A (zh) * | 2019-01-07 | 2019-05-10 | 西安理工大学 | 一种基于惯性传感器的人体动作描述方法 |
| CN112882575A (zh) * | 2021-02-24 | 2021-06-01 | 宜春职业技术学院（宜春市技术工人学校） | 一种全景舞蹈动作建模方法及舞蹈教学辅助系统 |
Non-Patent Citations (3)
| Title |
|---|
| JACKY C.P. CHAN等: "A Virtual Reality Dance Training System Using Motion Capture Technology", 《IEEE TRANSACTIONS ON LEARNING TECHNOLOGIES》, vol. 4, no. 2, pages 187 - 195, XP011355286, DOI: 10.1109/TLT.2010.27 * |
| 刘坤 等: "基于体外传感检测的人体站起动力学分析", 《吉林大学学报(工学版)》, vol. 48, no. 04, pages 1140 - 1146 * |
| 贾谊;严波涛;: "运动影像测量方法与误差分析", 《天津体育学院学报》, vol. 26, no. 02, pages 163 - 166 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115273222A (zh) * | 2022-06-23 | 2022-11-01 | 武汉元淳传媒有限公司 | 一种基于人工智能的多媒体互动分析控制管理系统 |
| CN115273222B (zh) * | 2022-06-23 | 2024-01-26 | 广东园众教育信息化服务有限公司 | 一种基于人工智能的多媒体互动分析控制管理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113838219B (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11132533B2 (en) | Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion | |
| US11341864B2 (en) | Wireless metric calculating and feedback apparatus, system, and method | |
| US11321894B2 (en) | Motion control via an article of clothing | |
| US10755466B2 (en) | Method and apparatus for comparing two motions | |
| US11182946B2 (en) | Motion management via conductive threads embedded in clothing material | |
| US11210834B1 (en) | Article of clothing facilitating capture of motions | |
| US20180374383A1 (en) | Coaching feedback system and method | |
| US7404774B1 (en) | Rule based body mechanics calculation | |
| EP2203896B1 (en) | Method and system for selecting the viewing configuration of a rendered figure | |
| US10748444B2 (en) | Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same | |
| US11551396B2 (en) | Techniques for establishing biomechanical model through motion capture | |
| CN107281710A (zh) | 一种矫正动作误差的方法 | |
| Srivastava et al. | Hand movements and gestures characterization using quaternion dynamic time warping technique | |
| US11682157B2 (en) | Motion-based online interactive platform | |
| Chun et al. | A sensor-aided self coaching model for uncocking improvement in golf swing | |
| Kim et al. | Golf swing analysis system with a dual band and motion analysis algorithm | |
| CN113838219B (zh) | 基于人体动作捕捉的虚拟舞蹈训练方法及装置 | |
| US11461905B2 (en) | Determining a kinematic sequence | |
| KR20170140756A (ko) | 동작 교본 저작 장치, 동작 자가 학습 장치 및 방법 | |
| KR102095647B1 (ko) | 스마트기기를 이용한 동작 비교장치 및 동작 비교장치를 통한 댄스 비교방법 | |
| NL2010266C2 (en) | Motion tracking method and device. | |
| Liebermann et al. | Video-based technologies | |
| KR102342760B1 (ko) | 인공지능 기반의 골프 영상 학습장치, 그 방법 및 그 기록매체 | |
| JP7027745B2 (ja) | 打具の挙動の解析装置 | |
| US20240135617A1 (en) | Online interactive platform with motion detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |