CN107349594A - 一种虚拟舞蹈系统的动作评价方法 - Google Patents

一种虚拟舞蹈系统的动作评价方法 Download PDF

Info

Publication number
CN107349594A
CN107349594A CN201710774286.2A CN201710774286A CN107349594A CN 107349594 A CN107349594 A CN 107349594A CN 201710774286 A CN201710774286 A CN 201710774286A CN 107349594 A CN107349594 A CN 107349594A
Authority
CN
China
Prior art keywords
msub
mrow
frame
msup
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710774286.2A
Other languages
English (en)
Other versions
CN107349594B (zh
Inventor
刘清堂
王洋
余舒凡
吴林静
黄景修
张耀升
常亚娜
袁阳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong Normal University
Original Assignee
Huazhong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong Normal University filed Critical Huazhong Normal University
Priority to CN201710774286.2A priority Critical patent/CN107349594B/zh
Publication of CN107349594A publication Critical patent/CN107349594A/zh
Application granted granted Critical
Publication of CN107349594B publication Critical patent/CN107349594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/805Optical or opto-electronic sensors

Abstract

本发明公开了一种虚拟舞蹈系统的动作评价方法,首先构建舞蹈标准动作库,构建虚拟教练;然后进行舞蹈学员动作实时捕捉与数字化,动作帧定位对齐;最后进行舞蹈动作评价得分。本发明能对舞蹈学员的肢体动作进行实时识别和捕捉,并根据教练动作库的标准动作,来对学员的学习情况进行自动化评价,让学员在自主学习条件下进行有专业指导的舞蹈学习。

Description

一种虚拟舞蹈系统的动作评价方法
技术领域
本发明属于计算机应用技术领域,具体涉及一种虚拟舞蹈系统的学员动作实时、自动化、精准的对比评价方法。
背景技术
虚拟舞蹈系统是为学员模仿虚拟教练动作进行舞蹈训练的装置,一般包括基于标准动作库的虚拟教练系统、学员模仿舞蹈动作的学习系统。模仿舞蹈动作是否准确、标准与一致等,需要结合动作特征和装置性能进行比对分析。已有的舞蹈动作评价方法主要包括专家评价法、自我评估法和录像带分析法等。其中,专家评价法是利用舞蹈动作评价量表对学员的舞蹈动作进行打分,缺乏客观性。自我评估法是学员利用舞蹈室镜子或视频对自己舞蹈动作进行评估的方法。因个人水平和能力限制,评价结果具有主观性、局限性。录像带分析方法是评价者(一般是专家)利用动作编码表对舞蹈动作行为进行编码、分析与评估的方法,具有一定客观性、可观测性。该方法在自动评估、评价一致性和实时性等尚需要提高。
综上,相关的评价方法难以满足舞蹈动作评价的自动化、实时性和一致性等需求,尤其是难以解决因学员的身高不等、体型不同、身体特征各异等带来的虚拟舞蹈动作评价的精度问题。
发明内容
为了解决上述技术问题,本发明提供了一种虚拟舞蹈系统的学员动作实时、自动化、精准的对比评价方法。
本发明所采用的技术方案是:一种虚拟舞蹈系统的动作评价方法,其特征在于,包括以下步骤:
步骤1:构建舞蹈标准动作库;
步骤2:构建虚拟教练;
步骤3:舞蹈学员动作实时捕捉与数字化;
步骤4:对比动作帧定位对齐;
步骤5:舞蹈动作评价得分。
本发明的有益效果是,本发明能对舞蹈学员的肢体动作进行实时识别和捕捉,并根据教练动作库的标准动作,来对学员的学习情况进行自动化评价,让学员在自主学习条件下进行有专业指导的舞蹈学习。
附图说明
图1为本发明实施例的原理图;
图2为本发明实施例中舞蹈教学原理图;
图3为本发明实施例中定义的XML结构描述结构图;
图4为本发明实施例中标准动作库支持下的基于KINECT的学员舞蹈动作评价原理图;
图5为本发明实施例中KINECT提供的人体骨骼结构示意图;
图6为本发明实施例的滑动窗口对比帧对齐示意图;
图7为本发明实施例的虚拟舞蹈动作评价系统原理图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及土家摆手舞动作评价系统实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1,本发明提供的一种虚拟舞蹈系统的动作评价方法,包括以下步骤:
步骤1:构建舞蹈标准动作库;
根据舞蹈特点,本发明采取了有标记式的光学动作捕捉系统PhaseSpace。该系统属于主动式系统,即系统的Marker点由LED组成,LED粘贴于人体各个关节部位,包括头部、右肩、右肘、右腕、右手、左肩、左肘、左腕、左手、肩关节中心、脊、髋关节中心、右髋、右膝盖、右踝、右脚、左髋、左膝盖、左踝、左脚等,LED之间通过线缆连接,由绑在人体表面的电源装置供电。光学动捕后数据保存为DAE格式,进入Motion Builder,本发明的光学动作捕捉系统PhaseSpace能够捕捉到的每个人物关节点有49个。为了便于舞蹈评价,根据骨骼点的位置对应关系,将捕捉的每帧49个光点与KINECT捕捉的20个骨骼关节点相对应,将PhaseSpace的49个光点对应到Kinect的20个骨骼点时,从49个光点中取得对应部位点或者临近部位点,与Kinect捕捉到的20个关节点相对应,另外的关节点用于校正标准动作。计算其19个骨骼向量的位置和余弦特征值信息,以XML的形式存储于动作库中,形成舞蹈的标准动作库。
步骤2:构建虚拟教练;
在舞蹈标准动作库基础上,利用Unity 3D软件建模虚拟教练,并将动作绑定到虚拟教练模型上,形成虚拟教练。包括以下步骤:
步骤2.1:运用光学动作捕捉系统捕捉专业教练的专业舞蹈动作数据;
步骤2.2:对动作捕捉数据进行去噪优化处理,删除一些因设备问题造成的跳帧数据,调整不标准的动作数据;
步骤2.3:运用自定义的XML格式对动作捕捉数据进行统一编码表征,其中包括每一帧的20个骨骼关节点构成的19段骨骼向量相对于Unity世界坐标系构成的向量坐标信息,和相对于世界坐标系X,Y,Z轴的余弦特征值信息。
步骤2.4:构建虚拟教练模型,进行动作绑定,形成虚拟教练。
步骤3:舞蹈学员动作实时捕捉与数字化;
所述学员动作实时捕捉模块是运用基于KINECT动作捕捉系统对学员动作进行捕捉和编码;捕捉人体对应的20个骨骼关节点,根据20个相邻骨骼关节点构成19段骨骼向量。以1号骨骼向量,即头部-肩关节中心向量为例,头部坐标为(x1,y1,z1)肩关节中心坐标为(x2,y2,z2),头部-肩关节中心向量则为(x2-x1,y2-y1,z2-z1),该向量参照KINECT坐标系的X、Y、Z轴的三个夹角分别为α、β和γ,对应的余弦值为(cosα,cosβ,cosγ)。计算公式为:
每个骨骼向量的余弦特征值(cosα,cosβ,cosγ)作为特征向量存入一个1*3的矩阵中;一帧数据包含19处骨骼向量,可得一个19*3的特征向量矩阵;
步骤4:对比动作帧定位对齐;
学员动作的自动化评价需要对学员动作与教练动作帧对齐。动作帧对齐主要采用滑动窗口法。其基本过程包括:
首先在教练标准动作的帧序列和学员动作的帧序列上分别建立大小为N和n的窗口,其中比对窗口是以当前对比的教练帧为关联帧,向前后各取(N-1)/2帧,构成长度为N的比对窗口;学员动作窗口是以当前学员动作帧为末帧,向前取n-1帧,构成长度为n的学员动作窗口;本实施例的帧率是30帧/s,对比频率是6次/s,每次对比5帧;考虑学员动作的滞后效应,学员动作窗口的起始帧与比对窗口起始帧对齐,来计算学员动作帧与教练动作帧的差异度。并且,每滑动一帧,就计算一次学员动作帧与教练动作帧的差异度。统计学员动作窗口帧(n帧)的差异度累计平均值。最后,选择整个滑动过程中N-n个累计差异度值的最小值作为定位同步帧依据。
公式4-1中,dv(u,c)指学员与教练对应帧中某一个骨骼向量的差异度,u(user)指的是用户,c(choreographer)指的是教练,学员某段骨骼特征向量(cosα1,cosβ1,cosγ1),对应教练某段骨骼特征向量(cosα2,cosβ2,cosγ2);公式4-2中,dfk定义为一帧的差异度,指学员与教练对应帧的19段骨骼的加权差异度,其中加权系数wp在区间(0,1],可根据具体舞蹈的骨骼运动频率统计得出;公式4-3中,DFi指学员窗口对应的n帧差异度累计平均值。本发明取N-n次窗口移动计算出的DFi数据的最小值作为定标点,确定对应的帧为同步帧。
步骤5:舞蹈动作评价得分;
确定同步帧后,进一步计算对应帧的学员动作与教练动作的差异度,并进行得分判断。
首先依据公式4-1,4-2计算出定位同步帧中学员与教练每个骨骼向量的差异度dv(u,c)和帧动作的差异度dfk
其次,依据骨骼向量的差异度dv(u,c)与门限值τ比较,判定学员的每帧的细微动作是否标准。门限值τ可以经验值取得,一般是平均差异度的60%来计算。如大于门限值,则动作不标准,需要给出提醒,如公式4-4所示。
dv(u,c)<τ4-4
最后,计算每个同步帧中学员动作得分。其计算方法如公式4-5。选择所有帧N的差异量,统计其中的最大差异量dfmax(零分参照)和最小差异量dfmin(满分参照);计算每帧的得分scorek后,计算N帧得分的统计平均值作为最后得分score。
以下结合附图和具体实施对本发明做进一步的阐述。
本实施例在具体实施中,首选需要搭建虚拟舞蹈系统;
参见图2,本实施例的基本原理是舞蹈动作教学中的演示-练习法,教练角色是在专业舞蹈教练动作库数据的驱动下实现的,用以进行动作的展示、让学员以此为参考,进行舞蹈动作的练习。本实施例的专业舞蹈教练的动作库XML存储格式包括帧数、帧号、骨骼向量编号、骨骼向量的三维坐标和余弦特征值,具体结构如下图3所示;与此同时,该舞蹈动作评价系统还应具有教练的纠正反馈作用,对学员的舞蹈动作进行实时的动作识别、捕捉、分析、评价与反馈,帮助学员进行摆手舞练习,其运行分析的流程如图4。
在搭建虚拟舞蹈系统后,就可以进行获取舞蹈学员的实时动作数据和处理;
KINECT用于对学员动作进行实时捕捉,KINECT感应器采用深度感应技术,内置红外(IR)发射器,彩色摄像机和一个麦克风阵列,能够感知人类的位置、动作和声音。KINECT提供的人体对应的骨骼向量位置如图5所示,具体每个骨骼编号对应的骨骼如表1所示,图5的人体图是后视模型,它的左右是与人眼看到的左右一致。
以土家音乐舞蹈为例,本实施例的处理方法如下:
1)运用KINECT实时获取学员的每帧的每一个关节点坐标数据。如第3帧的头部关节点世界坐标为(1.7,5.8,-1.2),肩关节中心点坐标为(1.7,5.1,-1.2);
2)实时计算学员相邻关节点的骨骼向量。如头部-颈椎骨骼向量是(0,0.7,0);
3)计算每一段骨骼的夹角余弦特征值(cosα,cosβ,cosγ)作为特征向量存入一个1*3的矩阵中。如计算出头部与肩关节中心的特征向量(1,cos0.7,1);
4)形成19处骨骼向量可得一个19*3的特征向量矩阵。
接着进行舞蹈学员实时动作帧在标准动作库中定位;
虚拟舞蹈系统中学员观察教练动作,并模仿进行舞蹈学习。以一帧的19段骨骼向量为舞蹈动作的基本单元,本实例的帧率为30帧/秒,由于人的视觉反应时间为0.1-0.4秒,设定以5帧为一个动作计算窗口,在25帧的教练标准动作比对窗口中滑动,计算学员实时动作帧在标准库中对应的对比帧,如图6所示。例如,土家舞蹈系统中,以展翅舞蹈为例,根据该舞蹈各关节的使用频率统计结果,其19段骨骼的权重如下表1所示,因为展翅是一种典型的摆手舞,因此它的大部分动作都涉及到了右肘-右腕,左肘-左腕和右膝盖-右踝,左膝盖-左踝的运动,所以这四个骨骼向量的权重最大。本实施例利用上述公式4-1计算每一段骨骼向量对应教练帧的差异度,运用公式4-2,结合表1所示权重,计算滑动窗口每一帧对应的差异度,再运用公式4-3,计算5帧的滑动窗口20次滑动对应的平均差异度DFi分别是0.94,0.91,0.82,0.37,0.14,0.06,0.07,0.09,0.05,0.04,0.31,0.40,0.48,0.51,0.50,0.68,0.67,0.73,0.82,1.03;最后确定最佳匹配是差异度最小的0.04,也就是比对窗口的第10帧。即运用比对窗口的第10帧作为当前帧的比对帧,进行动作对比评价。到下一帧,再重复这一流程,找到对应帧。
表1骨骼权重表
最后,结合已有摆手舞标准动作库计算舞蹈学员动作的得分;
请见图7,在学员实时动作帧在标准动作库中定位的基础上,对学员的每一帧动作进行实时定位与评价,运用公式4-4,计算每一段骨骼向量的差异度是否在规定的门限值内。在该实例中,根据平均差异度的60%,dv(u,c)平均值为1.57,得出门限值τ=0.94,当dv(u,c)>τ就提醒学员该部位不标准,需要进行调整。例如,d7(u,c)=1.07>0.94,系统界面会出现“左肘-左腕关节不标准,请及时调整”的提醒。最后运用公式4-5计算整段舞蹈的平均得分,如学员这段舞蹈的dfmin=0,dfmax=2,N=417,运用公式计算每一帧的差异量,再运用公式得出该学员最后的平均得分为87.5分,并在舞蹈结束后的界面显示该分数。
本发明通过KINECT体感交互设备,获取学员在舞蹈过程中的20个骨骼关节点信息,运用XML表征这20个骨骼关节点构成的19段骨骼向量的向量坐标值和余弦特征值信息;再运用滑动窗口方法实现学员与虚拟教练(基于标准动作库)的舞蹈动作帧同步,并利用余弦特征相似度实时分析学员动作的准确性。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种虚拟舞蹈系统的动作评价方法,其特征在于,包括以下步骤:
步骤1:构建舞蹈标准动作库;
步骤2:构建虚拟教练;
步骤3:舞蹈学员动作实时捕捉与数字化;
步骤4:对比动作帧定位对齐;
步骤5:舞蹈动作评价得分。
2.根据权利要求1所述的虚拟舞蹈系统的动作评价方法,其特征在于,步骤1的具体实现过程是:采取有标记式的光学动作捕捉系统PhaseSpace捕捉专业教练的专业舞蹈动作数据,数据保存为DAE格式,进入Motion Builder,每个人物捕捉的光点有M个;根据光学动作捕捉系统PhaseSpace与KINECT动作捕捉系统捕捉到关节点位置的一致性,将捕捉的每帧M个光点与KINECT动作捕捉系统捕捉人体对应的N个骨骼关节点相对应,计算其N-1个骨骼向量的位置、余弦特征值数据等信息,以XML的形式存储于动作库中,形成舞蹈标准动作库。
3.根据权利要求2所述的虚拟舞蹈系统的动作评价方法,其特征在于:光学动作捕捉系统的Marker点由LED组成,LED粘贴于人体各个关节部位,LED之间通过线缆连接,由绑在人体表面的电源装置供电。
4.根据权利要求1所述的虚拟舞蹈系统的动作评价方法,其特征在于,步骤2的具体实现包括以下子步骤:
步骤2.1:运用光学动作捕捉系统PhaseSpace捕捉专业教练的专业舞蹈动作数据;
步骤2.2:对动作捕捉数据进行去噪优化处理,删除跳帧数据,调整不标准的动作数据;
步骤2.3:利用KINECT动作捕捉系统捕捉人体对应的N个骨骼关节点;运用自定义的XML格式对动作捕捉数据进行统一编码表征,其中包括每一帧的N个骨骼关节点构成的N-1段骨骼向量相对于Unity世界坐标系构成的向量坐标信息,和相对于世界坐标系X、Y、Z轴的余弦特征值信息;
步骤2.4:构建虚拟教练模型,进行动作绑定,形成虚拟教练。
5.根据权利要求2或4所述的虚拟舞蹈系统的动作评价方法,其特征在于:N=20,20个骨骼关节点名称分别为1:头部,2:右肩,3:右肘,4:右腕,5:右手,6:左肩,7:左肘,8:左腕,9:左手,10:肩关节中心,11:脊,12:髋关节中心,13:右髋,14:右膝盖,15:右踝,16:右脚,17:左髋,18:左膝盖,19:左踝,20:左脚;20个骨骼关节点构成的19段骨骼向量。
6.根据权利要求1所述的虚拟舞蹈系统的动作评价方法,其特征在于,步骤3的具体实现过程是:运用基于KINECT动作捕捉系统对舞蹈学员动作进行捕捉和编码;捕捉人体对应的N个骨骼关节点,根据N个相邻骨骼关节点构成N-1段骨骼向量;假设第Ni个骨骼关节点坐标为(x1,y1,z1),20>i≥1,第Ni+1个骨骼关节点坐标为(x2,y2,z2),则Ni与Ni-1构成的向量为(x2-x1,y2-y1,z2-z1),该向量参照KINECT坐标系的X、Y、Z轴的三个夹角分别为α、β和γ,对应的余弦值为(cosα,cosβ,cosγ);
计算公式为:
<mrow> <mi>cos</mi> <mi>&amp;alpha;</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> </mrow> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>y</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>z</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>;</mo> </mrow>
<mrow> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;beta;</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>y</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>y</mi> <mn>1</mn> </msub> </mrow> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>y</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>z</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>;</mo> </mrow> 1
<mrow> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;gamma;</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>z</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>z</mi> <mn>1</mn> </msub> </mrow> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>y</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>z</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>;</mo> </mrow>
<mrow> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>y</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>z</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>&amp;NotEqual;</mo> <mn>0</mn> <mo>;</mo> </mrow>
每个骨骼向量的余弦特征值(cosα,cosβ,cosγ)作为特征向量存入一个1*3的矩阵中;一帧数据包含N处骨骼向量,得到一个(N-1)*3的特征向量矩阵。
7.根据权利要求1所述的虚拟舞蹈系统的动作评价方法,其特征在于,步骤4的具体实现包括以下子步骤:
步骤4.1:在教练标准动作的帧序列和学员动作的帧序列上分别建立大小为N和n的窗口,其中比对窗口是以当前对比的教练帧为关联帧,向前后各取(N-1)/2帧,构成长度为N的比对窗口;学员动作窗口是以当前学员动作帧为末帧,向前取n-1帧,构成长度为n的学员动作窗口;
步骤4.2:学员动作窗口的起始帧与比对窗口起始帧对齐,来计算学员动作帧与教练动作帧的差异度;并且,每滑动一帧,就计算一次学员动作帧与教练动作帧的差异度;
<mrow> <msub> <mi>d</mi> <mi>v</mi> </msub> <mrow> <mo>(</mo> <mi>u</mi> <mo>,</mo> <mi>c</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;alpha;</mi> <mn>1</mn> <mo>-</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;alpha;</mi> <mn>2</mn> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;beta;</mi> <mn>1</mn> <mo>-</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;beta;</mi> <mn>2</mn> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;gamma;</mi> <mn>1</mn> <mo>-</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;gamma;</mi> <mn>2</mn> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>;</mo> </mrow>
<mrow> <msub> <mi>df</mi> <mi>k</mi> </msub> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>p</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>19</mn> </msubsup> <msub> <mi>d</mi> <mi>v</mi> </msub> <mrow> <mo>(</mo> <mi>u</mi> <mo>,</mo> <mi>c</mi> <mo>)</mo> </mrow> <mo>*</mo> <msub> <mi>w</mi> <mi>p</mi> </msub> <mo>;</mo> </mrow>
其中,dv(u,c)指学员与教练对应帧中某一个骨骼向量的差异度,u指的是用户user,c指的是教练choreographer,学员某段骨骼特征向量(cosα1,cosβ1,cosγ1),对应教练某段骨骼特征向量(cosα2,cosβ2,cosγ2);dfk定义为一帧的差异度,指学员与教练对应帧的19段骨骼的加权差异度,其中加权系数wp在区间(0,1],根据具体舞蹈的骨骼运动频率统计得出;
步骤4.3:统计学员动作窗口帧的差异度累计平均值;
<mrow> <msub> <mi>DF</mi> <mi>i</mi> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mfrac> <mrow> <msub> <mi>df</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>u</mi> <mo>,</mo> <mi>c</mi> <mo>)</mo> </mrow> </mrow> <mi>n</mi> </mfrac> <mo>;</mo> </mrow>
其中,DFi指学员窗口对应的n帧差异度累计平均值;
步骤4.4:选择整个滑动过程中N-n个累计差异度值的最小值作为定位同步帧依据。
8.根据权利要求1所述的虚拟舞蹈系统的动作评价方法,其特征在于,步骤5的具体实现包括以下子步骤:
步骤5.1:计算出定位同步帧中学员与教练每个骨骼向量的差异度dv(u,c)和帧动作的差异度dfk;其中,u指的是用户user,c指的是教练choreographer;
步骤5.2:依据骨骼向量的差异度dv(u,c)与门限值τ比较,判定学员的每帧的细微动作是否标准;如大于门限值,则动作不标准,需要给出提醒;
步骤5.3:计算每个同步帧中学员动作得分score;
选择所有帧N的差异量,统计其中的最大差异量dfmax和最小差异量dfmin;计算每帧的得分scorek后,计算N帧得分的统计平均值作为最后得分score;
CN201710774286.2A 2017-08-31 2017-08-31 一种虚拟舞蹈系统的动作评价方法 Active CN107349594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710774286.2A CN107349594B (zh) 2017-08-31 2017-08-31 一种虚拟舞蹈系统的动作评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710774286.2A CN107349594B (zh) 2017-08-31 2017-08-31 一种虚拟舞蹈系统的动作评价方法

Publications (2)

Publication Number Publication Date
CN107349594A true CN107349594A (zh) 2017-11-17
CN107349594B CN107349594B (zh) 2019-03-19

Family

ID=60290594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710774286.2A Active CN107349594B (zh) 2017-08-31 2017-08-31 一种虚拟舞蹈系统的动作评价方法

Country Status (1)

Country Link
CN (1) CN107349594B (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108109440A (zh) * 2017-12-21 2018-06-01 沈阳体育学院 一种多人舞蹈教学互动投影方法及装置
CN108154125A (zh) * 2017-12-26 2018-06-12 深圳Tcl新技术有限公司 动作教学方法、终端及计算机可读存储介质
CN108211312A (zh) * 2017-11-30 2018-06-29 中国联合网络通信集团有限公司 基于ar或vr运动的动作校正方法和装置
CN108563331A (zh) * 2018-03-29 2018-09-21 北京微播视界科技有限公司 动作匹配结果确定装置、方法、可读存储介质及交互装置
CN108764120A (zh) * 2018-05-24 2018-11-06 杭州师范大学 一种人体规范动作评价方法
CN108777081A (zh) * 2018-05-31 2018-11-09 华中师范大学 一种虚拟舞蹈教学方法及系统
CN108961867A (zh) * 2018-08-06 2018-12-07 南京南奕亭文化传媒有限公司 一种基于幼儿教育的多媒体交互系统
CN109344922A (zh) * 2018-09-06 2019-02-15 闫维新 一种具备运动捕捉功能的舞蹈动作评测系统
CN109447020A (zh) * 2018-11-08 2019-03-08 郭娜 基于全景肢体动作的交互方法及系统
CN109815930A (zh) * 2019-02-01 2019-05-28 中国人民解放军总医院第六医学中心 一种动作模仿拟合度评价方法
CN109840482A (zh) * 2019-01-09 2019-06-04 华南理工大学 一种舞蹈评价系统及评价方法
CN110148072A (zh) * 2018-02-12 2019-08-20 庄龙飞 运动课程评分方法与系统
CN110147468A (zh) * 2019-04-15 2019-08-20 深圳壹账通智能科技有限公司 基于人工智能的视频教学方法及相关设备
CN110298221A (zh) * 2018-03-23 2019-10-01 上海形趣信息科技有限公司 自助健身方法、系统、电子设备、存储介质
CN110404243A (zh) * 2018-04-26 2019-11-05 北京新海樱科技有限公司 一种基于体态测量的康复方法及康复系统
CN110490173A (zh) * 2019-08-28 2019-11-22 深圳市数字星河科技有限公司 一种基于3d体感模型的智能动作打分系统
CN111013110A (zh) * 2019-12-31 2020-04-17 郑州航空工业管理学院 一种智能体育舞蹈练习装置
CN111931804A (zh) * 2020-06-18 2020-11-13 南京信息工程大学 一种基于rgbd摄像机的人体动作自动评分方法
CN112023373A (zh) * 2020-09-07 2020-12-04 东南大学 一种基于姿态传感器的网球运动训练方法
CN112272324A (zh) * 2020-10-15 2021-01-26 聚好看科技股份有限公司 一种跟练模式控制方法及显示设备
CN112386882A (zh) * 2020-10-14 2021-02-23 珠海格力电器股份有限公司 虚拟运动系统、方法、计算机设备及计算机可读存储介质
CN112560605A (zh) * 2020-12-02 2021-03-26 北京字节跳动网络技术有限公司 交互方法、装置、终端、服务器和存储介质
CN112614399A (zh) * 2020-11-25 2021-04-06 武汉露娜芭蕾教育科技有限公司 一种基于虚拟现实的舞蹈教学设备及其教学方法
CN112641441A (zh) * 2020-12-18 2021-04-13 河南翔宇医疗设备股份有限公司 一种体态评估方法、系统、装置及计算机可读存储介质
CN112906653A (zh) * 2021-03-26 2021-06-04 河北工业大学 一种多人交互的运动训练与评估系统
CN113033242A (zh) * 2019-12-09 2021-06-25 上海幻电信息科技有限公司 动作识别方法及系统
CN113516005A (zh) * 2021-03-30 2021-10-19 杭州电子科技大学 一种基于深度学习和姿态估计的舞蹈动作评价系统
CN113678137A (zh) * 2019-08-18 2021-11-19 聚好看科技股份有限公司 显示设备
CN113992957A (zh) * 2020-09-30 2022-01-28 深度练习(杭州)智能科技有限公司 适用于智能终端的视频文件中动作同步系统以及同步方法
WO2022193851A1 (zh) * 2021-03-19 2022-09-22 深圳市韶音科技有限公司 识别用户动作的方法和系统
CN115223406A (zh) * 2022-08-05 2022-10-21 康家豪 虚拟运动教练系统及其控制方法
CN116311536A (zh) * 2023-05-18 2023-06-23 讯龙(广东)智能科技有限公司 一种视频动作评分方法、计算机可读存储介质及系统
CN116611969A (zh) * 2023-07-17 2023-08-18 北京彩蛋科技有限公司 传统武术智能学习与评分系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100151996A1 (en) * 2007-03-07 2010-06-17 Apple Inc. Smart garment
CN102302847A (zh) * 2011-07-06 2012-01-04 陈立典 太极云手康复训练质量控制的方法
CN103816654A (zh) * 2012-11-19 2014-05-28 大连鑫奇辉科技有限公司 一种舞蹈训练系统
CN104887238A (zh) * 2015-06-10 2015-09-09 上海大学 基于动作捕捉的手康复训练评估系统和方法
US20160107027A1 (en) * 2008-08-19 2016-04-21 Angelo Gregory Papadourakis Motion capture and analysis
CN105635669A (zh) * 2015-12-25 2016-06-01 北京迪生数字娱乐科技股份有限公司 基于三维运动捕捉数据与实拍视频的动作对比系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100151996A1 (en) * 2007-03-07 2010-06-17 Apple Inc. Smart garment
US20160107027A1 (en) * 2008-08-19 2016-04-21 Angelo Gregory Papadourakis Motion capture and analysis
CN102302847A (zh) * 2011-07-06 2012-01-04 陈立典 太极云手康复训练质量控制的方法
CN103816654A (zh) * 2012-11-19 2014-05-28 大连鑫奇辉科技有限公司 一种舞蹈训练系统
CN104887238A (zh) * 2015-06-10 2015-09-09 上海大学 基于动作捕捉的手康复训练评估系统和方法
CN105635669A (zh) * 2015-12-25 2016-06-01 北京迪生数字娱乐科技股份有限公司 基于三维运动捕捉数据与实拍视频的动作对比系统及方法

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108211312A (zh) * 2017-11-30 2018-06-29 中国联合网络通信集团有限公司 基于ar或vr运动的动作校正方法和装置
CN108109440A (zh) * 2017-12-21 2018-06-01 沈阳体育学院 一种多人舞蹈教学互动投影方法及装置
CN108154125A (zh) * 2017-12-26 2018-06-12 深圳Tcl新技术有限公司 动作教学方法、终端及计算机可读存储介质
CN108154125B (zh) * 2017-12-26 2021-08-24 深圳Tcl新技术有限公司 动作教学方法、终端及计算机可读存储介质
CN110148072A (zh) * 2018-02-12 2019-08-20 庄龙飞 运动课程评分方法与系统
CN110298221B (zh) * 2018-03-23 2022-02-11 上海史贝斯健身管理有限公司 自助健身方法、系统、电子设备、存储介质
CN110298221A (zh) * 2018-03-23 2019-10-01 上海形趣信息科技有限公司 自助健身方法、系统、电子设备、存储介质
CN108563331A (zh) * 2018-03-29 2018-09-21 北京微播视界科技有限公司 动作匹配结果确定装置、方法、可读存储介质及交互装置
CN110404243A (zh) * 2018-04-26 2019-11-05 北京新海樱科技有限公司 一种基于体态测量的康复方法及康复系统
CN108764120B (zh) * 2018-05-24 2021-11-09 杭州师范大学 一种人体规范动作评价方法
CN108764120A (zh) * 2018-05-24 2018-11-06 杭州师范大学 一种人体规范动作评价方法
CN108777081A (zh) * 2018-05-31 2018-11-09 华中师范大学 一种虚拟舞蹈教学方法及系统
CN108961867A (zh) * 2018-08-06 2018-12-07 南京南奕亭文化传媒有限公司 一种基于幼儿教育的多媒体交互系统
CN109344922A (zh) * 2018-09-06 2019-02-15 闫维新 一种具备运动捕捉功能的舞蹈动作评测系统
CN109447020A (zh) * 2018-11-08 2019-03-08 郭娜 基于全景肢体动作的交互方法及系统
CN109840482A (zh) * 2019-01-09 2019-06-04 华南理工大学 一种舞蹈评价系统及评价方法
CN109840482B (zh) * 2019-01-09 2023-01-06 华南理工大学 一种舞蹈评价系统及评价方法
CN109815930A (zh) * 2019-02-01 2019-05-28 中国人民解放军总医院第六医学中心 一种动作模仿拟合度评价方法
CN110147468A (zh) * 2019-04-15 2019-08-20 深圳壹账通智能科技有限公司 基于人工智能的视频教学方法及相关设备
CN113678137A (zh) * 2019-08-18 2021-11-19 聚好看科技股份有限公司 显示设备
CN113678137B (zh) * 2019-08-18 2024-03-12 聚好看科技股份有限公司 显示设备
CN110490173A (zh) * 2019-08-28 2019-11-22 深圳市数字星河科技有限公司 一种基于3d体感模型的智能动作打分系统
CN113033242A (zh) * 2019-12-09 2021-06-25 上海幻电信息科技有限公司 动作识别方法及系统
CN111013110A (zh) * 2019-12-31 2020-04-17 郑州航空工业管理学院 一种智能体育舞蹈练习装置
CN111013110B (zh) * 2019-12-31 2021-08-20 郑州航空工业管理学院 一种智能体育舞蹈练习装置
CN111931804B (zh) * 2020-06-18 2023-06-27 南京信息工程大学 一种基于rgbd摄像机的人体动作自动评分方法
CN111931804A (zh) * 2020-06-18 2020-11-13 南京信息工程大学 一种基于rgbd摄像机的人体动作自动评分方法
CN112023373A (zh) * 2020-09-07 2020-12-04 东南大学 一种基于姿态传感器的网球运动训练方法
CN113992957A (zh) * 2020-09-30 2022-01-28 深度练习(杭州)智能科技有限公司 适用于智能终端的视频文件中动作同步系统以及同步方法
CN112386882A (zh) * 2020-10-14 2021-02-23 珠海格力电器股份有限公司 虚拟运动系统、方法、计算机设备及计算机可读存储介质
CN112272324B (zh) * 2020-10-15 2023-03-14 聚好看科技股份有限公司 一种跟练模式控制方法及显示设备
CN112272324A (zh) * 2020-10-15 2021-01-26 聚好看科技股份有限公司 一种跟练模式控制方法及显示设备
CN112614399A (zh) * 2020-11-25 2021-04-06 武汉露娜芭蕾教育科技有限公司 一种基于虚拟现实的舞蹈教学设备及其教学方法
CN112560605A (zh) * 2020-12-02 2021-03-26 北京字节跳动网络技术有限公司 交互方法、装置、终端、服务器和存储介质
CN112560605B (zh) * 2020-12-02 2023-04-18 北京字节跳动网络技术有限公司 交互方法、装置、终端、服务器和存储介质
CN112641441A (zh) * 2020-12-18 2021-04-13 河南翔宇医疗设备股份有限公司 一种体态评估方法、系统、装置及计算机可读存储介质
CN112641441B (zh) * 2020-12-18 2024-01-02 河南翔宇医疗设备股份有限公司 一种体态评估方法、系统、装置及计算机可读存储介质
EP4167129A4 (en) * 2021-03-19 2024-01-24 Shenzhen Shokz Co Ltd METHOD AND SYSTEM FOR DETECTING USER ACTIONS
WO2022193851A1 (zh) * 2021-03-19 2022-09-22 深圳市韶音科技有限公司 识别用户动作的方法和系统
CN112906653A (zh) * 2021-03-26 2021-06-04 河北工业大学 一种多人交互的运动训练与评估系统
CN113516005A (zh) * 2021-03-30 2021-10-19 杭州电子科技大学 一种基于深度学习和姿态估计的舞蹈动作评价系统
CN113516005B (zh) * 2021-03-30 2024-02-09 杭州电子科技大学 一种基于深度学习和姿态估计的舞蹈动作评价系统
CN115223406A (zh) * 2022-08-05 2022-10-21 康家豪 虚拟运动教练系统及其控制方法
CN116311536B (zh) * 2023-05-18 2023-08-08 讯龙(广东)智能科技有限公司 一种视频动作评分方法、计算机可读存储介质及系统
CN116311536A (zh) * 2023-05-18 2023-06-23 讯龙(广东)智能科技有限公司 一种视频动作评分方法、计算机可读存储介质及系统
CN116611969A (zh) * 2023-07-17 2023-08-18 北京彩蛋科技有限公司 传统武术智能学习与评分系统
CN116611969B (zh) * 2023-07-17 2023-10-03 北京彩蛋科技有限公司 传统武术智能学习与评分系统

Also Published As

Publication number Publication date
CN107349594B (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
CN107349594A (zh) 一种虚拟舞蹈系统的动作评价方法
CN106650687B (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
CN108764120B (zh) 一种人体规范动作评价方法
CN105512621B (zh) 一种基于Kinect的羽毛球动作指导系统
US20180357472A1 (en) Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion
CN105426827B (zh) 活体验证方法、装置和系统
CN102184541B (zh) 多目标优化人体运动跟踪方法
CN110675474B (zh) 虚拟角色模型的学习方法、电子设备和可读存储介质
CN110162163B (zh) 一种基于体感和vr技术的虚拟消防演练方法及系统
CN103678859B (zh) 动作比对方法与动作比对系统
CN109934111A (zh) 一种基于关键点的健身姿态估计方法及系统
CN110448870B (zh) 一种人体姿态训练方法
CN109011508A (zh) 一种智能教练系统及方法
CN109919034A (zh) 一种肢体动作识别与纠正辅助训练系统及方法
CN109758157A (zh) 基于增强现实的步态康复训练评估方法与系统
CN106166376A (zh) 简化24式太极拳综合训练系统
KR102238085B1 (ko) 동작분석 장치 및 방법
CN111539245B (zh) 一种基于虚拟环境的cpr技术训练评价方法
CN113762133A (zh) 基于人体姿态识别的自重健身辅助教练系统、方法、终端
CN107281710A (zh) 一种矫正动作误差的方法
CN107240049A (zh) 一种沉浸式环境中远程动作教学质量的自动评价方法和系统
CN107392939A (zh) 基于体感技术的室内运动观测装置、方法及存储介质
CN107961524A (zh) 基于ar的健身游戏与训练系统
CN105243375A (zh) 一种动作特征提取方法及装置
WO2020147796A1 (zh) 图像处理方法及装置、图像设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20171117

Assignee: Wuhan Hezhongxing Trading Co.,Ltd.

Assignor: CENTRAL CHINA NORMAL University

Contract record no.: X2023980052458

Denomination of invention: A Motion Evaluation Method for Virtual Dance Systems

Granted publication date: 20190319

License type: Common License

Record date: 20231219

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20171117

Assignee: Hubei ZHENGBO Xusheng Technology Co.,Ltd.

Assignor: CENTRAL CHINA NORMAL University

Contract record no.: X2024980001275

Denomination of invention: A Motion Evaluation Method for Virtual Dance Systems

Granted publication date: 20190319

License type: Common License

Record date: 20240124

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20171117

Assignee: Hubei Rongzhi Youan Technology Co.,Ltd.

Assignor: CENTRAL CHINA NORMAL University

Contract record no.: X2024980001548

Denomination of invention: A Motion Evaluation Method for Virtual Dance Systems

Granted publication date: 20190319

License type: Common License

Record date: 20240126