CN109815930B - 一种动作模仿拟合度评价方法 - Google Patents

一种动作模仿拟合度评价方法 Download PDF

Info

Publication number
CN109815930B
CN109815930B CN201910102088.0A CN201910102088A CN109815930B CN 109815930 B CN109815930 B CN 109815930B CN 201910102088 A CN201910102088 A CN 201910102088A CN 109815930 B CN109815930 B CN 109815930B
Authority
CN
China
Prior art keywords
demonstrator
time
key frame
action
fitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910102088.0A
Other languages
English (en)
Other versions
CN109815930A (zh
Inventor
李鸣皋
徐建中
杨业兵
江道远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Daohang Huanyu Technology Co ltd
6th Medical Center of PLA General Hospital
Original Assignee
Beijing Daohang Huanyu Technology Co ltd
6th Medical Center of PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Daohang Huanyu Technology Co ltd, 6th Medical Center of PLA General Hospital filed Critical Beijing Daohang Huanyu Technology Co ltd
Priority to CN201910102088.0A priority Critical patent/CN109815930B/zh
Publication of CN109815930A publication Critical patent/CN109815930A/zh
Application granted granted Critical
Publication of CN109815930B publication Critical patent/CN109815930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种动作模仿拟合度评价方法,以人体各肢体的单位向量描述人体姿态,在统一的坐标系下,通过示范者关键帧与设定范围内的多个模仿者对比帧的拟合计算,获取模仿者最接近示范者的姿态,避免了模仿者与示范者动作时间延迟带来的比较误差,更接近动作交互训练中模仿者跟随示范者学习的实际情况,处理效果优于DTW算法。本发明通过引入时间差指数衰减函数,考虑了示范者姿态和模仿者姿态出现的时间差异,弥补了模仿者多个姿态比较可能引起的拟合度计算误差。可以用于长时间连续动作的拟合度评价,可实时评价和显示拟合度,通过拟合度曲线和示范者关键帧的对照,可以有针对性地指导模仿者提高训练效果。

Description

一种动作模仿拟合度评价方法
技术领域
本发明属于人体测量和人机交互技术领域,具体地涉及一种肢体运动姿态相似程度的评价方法。
背景技术
人机交互技术已经用于各种训练和娱乐当中。通过实际的示范者视频或示范者的人体三维模型运动,对学习和模仿者提供指导;通过测量获得学习和模仿者的肢体数据,对学习和模仿效果和成绩进行评价。这种技术已经在多种训练和娱乐场合得到应用,如体育训练、技能动作训练、交互游戏等。其中,对学习和模仿者进行肢体动作的测量有多种方法,可以获得被测量者肢体的位置和方向信息;将得到的这些信息与示范者的对应信息进行比较也存在一些方法,这些方法就可以评价学习和模仿的效果,从而指导学习和模仿者改进肢体动作,获得好的训练和娱乐效果。本专利所述的动作模仿拟合度,就是评价学习和模仿者与示范者肢体相似程度的一种方法。通过调研分析,可以获得这方面的现有技术状况如下:
申请号201310084753.0提出了一种基于相关性几何特征的运动相似性评估方法:该方法通过时间变形,进行两段动作序列的数据对齐;通过Adaboost算法对运动数据进行特征选择;基于曲线拟合方法,计算得到不同类型特征的相似性得分。该方法解决了运动序列的时间变形、特征选择、相似性计算问题。但是存在必须事先获取动作序列、无法对连续的多个动作实时计算相似度、无法考虑两个人体连续动作时间过程不均衡(快慢不一,时快时慢)等不足。
申请号201510434511.9提出了一种运动人体姿态相似性度量方法:该方法以距离度量模型为基础,构建了人体姿态特征向量,构建了融合主姿态特征和细节特征稀疏表示的姿态距离度量模型,运用二次规划优化求解获得最优度量矩阵,可以在视频帧数据库中检索出与目标图像人体姿态相似度最高的帧图像,适用于从众多数据中辨别特定姿态的静态图片。但由于要经过大量样本数据进行算法学习,姿态相似度计算量很大,无法用于一系列连续动作的实时相似度计算,而且该方法也无法解决需对比的两个人体连续动作的时间不一致问题。
申请号201610341941.0提出了一种人体运动数据相似度自动评价方法:通过计算两个姿态序列在时间和空间的统计信息的巴氏距离,获得两个姿态序列的相似性函数,用该函数值表示两个姿态序列的相似度。该方法给出的是一个确定的时间段中两个姿态序列的相似度,不能在人体姿态采集过程中连续地计算相似度。如果在姿态采集过程中连续地分时间段截取人体姿态序列,则截取点必然导致姿态序列的统计信息失真,使该算法失效。可见该算法无法满足连续实时地采集和计算人体运动相似度的要求,当然也无法解决两个人体动作时间过程不均衡(快慢不一,时快时慢)问题。
申请号201710454684.6给出了一种基于人体骨架信息的动作完成度识别方法:通过Kinect拍摄人体完成动作流程的视频并提取人体骨架信息,按时间间隔不断移动时间窗口,计算时间窗口内视频的人体信息与各模板片段的匹配相似度,以模板视频相似度最高片段的识别结果计算动作完成度(即完成了多少种训练)。在专利说明书中可见,该技术方案在计算人体视频与各段模板的相似度时采用了DTW算法(即动态时间归整)。可见,该专利申请是基于DTW算法对不同时间长度的数据序列进行处理并对比评价的,其评价结果是针对各模板段(有多个动作训练的模板段)的,获得的结果是完成了哪些模板段的训练,而不是对某个模板段的训练过程进行实时评价。显然,该技术解决不了交互训练中的实时评价问题,也不能两个人体动作时间过程不均衡(快慢不一,时快时慢)时的评价问题。
申请号201710549163.9提出一种基于太极拳的康复训练的动作评价方法:通过建立的太极拳交互训练模型提供训练引导,通过采集训练者的肢体动作数据进行评价,获得评价分数。但该专利申请只叙述了按“匹配程度进行训练评分”,动作一致时,动作部位变为绿色,绿色面积达到80%时自动加分,并没有给出具体方法。可见,该技术方案仅停留于提出通过观看屏幕,进行太极拳训练的方法,以及通过实时评价分数为训练提供指导,并没有解决如何依据人体数据进行实时评价的方法问题,当然对两个人体动作时间过程不均衡(快慢不一,时快时慢)状况下的评价问题更是无法解决。
综上所述,人体动作拟合度或相似度评价的现有技术主要包括三个方面:一是识别人体固定姿态的技术方法,比如给定一个要识别的人体姿态(瞬间的姿态,或者说是人体动作的一帧),通过这些方法可以从一系列的人体姿态中计算得出哪种姿态(站、卧、座、躺等)与所要识别的人体姿态更为接近。比如,申请号201510434511.9就是这类的技术。二是识别人体一个动作过程的技术方法,比如给定一个要识别的人体单个动作过程(人体单个动作的多帧数据),通过这些方法可以从一系列的人体姿态中计算得出哪种动作(站起、躺倒、翻滚、旋转等人体单个动作)与所要识别的人体动作更为接近。申请号201310084753.0就属于这类技术。三是评价人体一系列动作过程的技术方法,通过这些方法可以对另一个人体动作过程进行比较计算,得出评价两个人体动作过程相似程度的数值。申请号201610341941.0、申请号201710549163.9、申请号20170454684.6就属于这类技术。
目前,人机交互训练和娱乐需要一种在交互训练过程中实时评价人体动作拟合度(或称相似度,后续叙述等同)的方法,不但能够对模仿者与示范者动作在空间的拟合度(空间相互位置的准确度)进行评价,而且可以对模仿者与示范者动作在时间的拟合度(动作时间关系的准确度)进行评价。从上述分析可知,现有的技术都无法全面解决这些问题。在空间的拟合度方面,有位置距离的评价方法,也有方向差异的评价方法,这些方法都存在受测量误差影响大、计算复杂、直观性差等问题,不适宜用于实时评价人体空间拟合度;在时间的拟合度方面,均基于DTW算法进行时间变形,由于人体姿态数据维数多,在进行时间变形时很难找到一种对各维数据都适宜的变形算法,只能是综合的指标(如最小二乘,数字规划),特别是对于长时间的多个连续动作,效果更不理想,实际上并不能很好地解决两个人体动作时间过程不均衡(快慢不一,时快时慢)的问题,更不要说这一方法的复杂性和计算量。所以,目前需要解决上述两个技术难题,为人机交互训练和娱乐提供一种交互训练过程中的实时人体动作拟合度评价方法。
发明内容
为了克服现有技术的不足,解决人机交互训练和娱乐时人体动作拟合度评价问题,本发明提出一种动作模仿拟合度评测方法,不但可以用于实时的拟合度评价,而且可以用于整体的拟合度评价。
一种动作模仿拟合度评价方法,包括步骤:
(1)采用动作捕捉装置获得示范者和模仿者的肢体位置数据或骨骼关节数据,并变换为统一参考坐标系下的肢体单位向量表达,即肢体单位向量,示范者的肢体单位向量为
Figure GDA0002003689510000041
模仿者的肢体单位向量为
Figure GDA0002003689510000042
其中k为统一的肢体编号,k=1,2,3…u,u为人体肢体总数;
(2)采用同一时间轴表示示范者的动作帧和模仿者的动作帧,在示范者的动作帧中选择定一系列关键帧时刻tsi,i=1,2,3…l,l为示范者关键帧总数;
(3)在关键帧时刻tsi,设置tq为与示范者关键帧所对应的前时间点,th为示范者关键帧所对应的后时间点,tq、th之间作为模仿者的动作比较时间段;
(4)获取当前关键帧时刻tsi的示范者肢体单位向量
Figure GDA0002003689510000043
并在tq、th比较时间段内,获取模仿者的所有比较帧tmj的肢体矢量数据,j=1,2,3…p,p为tq、th时间段内模仿者的比较帧总数;按如下公式计算示范者与模仿者的备选拟合度Nbj
Figure GDA0002003689510000044
式中,Nbj为模仿者当前对比帧tmj与示范者关键帧tsi的备选拟合度,B为示范者和模仿者的肢体总数,wk为编号为k的肢体向量点积的权重值,
Figure GDA0002003689510000045
(5)从备选拟合度中选最大值作为拟合度基值NB
NB=Max{Nbj j=1,2,3…p}
如果Nbj的最大值多于1个,则选择最接近当前示范者关键帧tsi的Nbj作为NB
(6)计算模仿者对示范者关键帧tsi的时间偏离ΔT,即NB对应的时间与tsi的差值:
ΔT=tsi-tNB
式中,ΔT为关键帧的时间偏离,tNB为NB所对应的模仿者动作帧时刻;
(7)按下式计算模仿者对示范者关键帧tsi的拟合度Ni
Ni=NBe-c|ΔT|
式中,c为时间常数,其值为大于等于零的常数;
(8)检查是否到达示范者的动作终止时刻,如果没有到达示范者的动作终止时刻,则将示范者的关键帧后移,返回步骤(4),并继续后续计算,如果到达示范者的动作终止时刻,则结束动作拟合度计算,得到对示范者关键帧拟合度的时间序列值:{N1,N2,…,Ni}。
所述的示范者为真实的人,或者通过动作捕捉装置和虚拟现实平台构建的真实人的动作的再现。
所述的关键帧时刻tsi根据示范者动作的重要程度人为设定,或按照等分的时间间隔选取。
所述的前时间点tq、后时间点th根据模仿者的熟练度确定:对于初级、中级模仿者,前时间点tq选择为与示范者关键帧tsi相同,后时间点th-tsi的差值在3秒之内选择;对于高级模仿者,前时间点tq选择在示范者关键帧tsi之前小于1秒之内选择,后时间点th-tsi的差值小于1秒。
所述的拟合度Ni在模仿者模仿过程中通过显示设备实时显示。
通过拟合度Ni时间序列值绘制拟合度Ni随时间变化的曲线。
由所述的拟合度时间序列值Ni计算整个动作过程的总拟合度N,总拟合度可通过Ni按下式计算获得:
Figure GDA0002003689510000051
式中,Qi为示范者各关键帧的权重值。
由所述的拟合度时间序列值的1至5个最小的Ni值,确定模仿者拟合差的关键动作帧,进行针对性指导。
采用FOHEART C1惯性动作捕捉系统对示范者的示范动作数据进行采集,并储存为FBX数据格式;通过Unity根据时间对其动画进行动画插值,插值后通过游戏对象获取指定的示范者的肢体位置数据或骨骼关节数据;所述坐标以Unity参考坐标系为基准;模仿者学习和模仿示范者的动作,同时通过Kinect v2 For Unity插件实时获取模仿者的肢体位置数据或骨骼关节数据,将模仿者骨骼关节数据由Kinect参考坐标系为基准的表示转换为以Unity参考坐标系为基准的表示。
本发明与现有技术相比具有如下有益的技术效果:
(1)以人体各肢体的单位向量描述人体姿态,通过统一的坐标系,简化了示范者和模仿者相互姿态一致性的描述,与人体位置描述和人体肢体方向角描述相比,既简单又完整。
(2)用单位向量描述肢体,避免了肢体位置信息获取时的视觉远近失真、不同人体尺寸差异等带来的测量误差,数据处理既高效又准确。
(3)通过示范者关键帧与设定范围内的多个模仿者对比帧的拟合计算,获取模仿者最接近示范者的姿态,避免了模仿者与示范者动作时间延迟带来的比较误差,更接近动作交互训练中模仿者跟随示范者学习的实际情况,处理效果优于DTW算法。
(4)通过引入时间差指数衰减函数,考虑了示范者姿态和模仿者姿态出现的时间差异,弥补了模仿者多个姿态比较可能引起的拟合度计算误差。
(5)该方法可以用于长时间连续动作的拟合度评价,可实时评价和显示拟合度,通过拟合度曲线和示范者关键帧的对照,可以有针对性地指导模仿者提高训练效果。
(6)该方法将长时间连续动作实时评价与整体评价方法统一到一起,可以对整个训练过程的效果进行评价。
(7)该方法概念清晰、过程直观、全面准确、计算简单,可显著提高动作交互训练系统的运行效率。
附图说明
图1为交互式训练界面示意图。
图2为参考坐标系变换关系。
图3为人体与骨骼示意图。
图4为人体骨骼关节示意图。
图5为人体的肢体矢量表达示意图。
图6为示范者动作帧与模仿者动作帧关系示意图。
图7为拟合度计算流程图。
图8为示范者关键帧示例。
图9为拟合度时间序列曲线图。
图10为示范者的肢体矢量计算示例。
图11为模仿者的肢体矢量计算示例。
图12为备选拟合度计算示例。
图13为拟合度Ni计算示例。
图14为拟合度Ni数据序列及总拟合度计算示例。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明。
本发明的动作模仿拟合度评价方法,包括步骤:
(1)采用动作捕捉装置获得示范者和模仿者的肢体位置数据或骨骼关节数据。在此实施例中采用FOHEART C1系统采集示范者的肢体动作数据,采用FOHEART C1装置获取示范者的示范动作数据,采用Kinect体感装置获取模仿者的肢体动作数据。将采集得到的示范者动作数据储存为人体动作数据文件(此实例采用FBX数据格式文件),采用虚拟现实应用程序开发引擎构建一个交互式训练界面(此处实例采用Unity),构成一个如图1所示的动作交互学习界面:模仿者跟随显示屏中示范者的动作视频,学习和模仿示范者的动作。模仿者学习过程中,不断得到示范者和模仿者的肢体动作数据(在此为骨骼关节数据),并变换为统一的UNITY系统中的参考坐标系下的肢体单位向量表达,即肢体单位向量,如图5所示。示范者的肢体单位向量为
Figure GDA0002003689510000071
模仿者的肢体单位向量为
Figure GDA0002003689510000072
其中k为统一的肢体编号,k=1,2,3…u,u为人体肢体总数。图2表示了Kinect参考坐标系与Unity参考坐标的转换关系。
在本发明中,所述的示范者可以实真实的人,也可以是通过动作捕捉装置和虚拟现实平台构建的真实人的动作的再现。
模仿者跟随显示屏中示范者的动作视频,学习和模仿示范者的动作,同时采用Kinect体感装置,通过Kinect v2 For Unity插件实时获取模仿者的人体位置数据,这些数据在Unity中进行计算,将模仿者骨骼关节数据由Kinect参考坐标系为基准的表示转换为以Unity参考坐标系为基准的表示。
图2表示了Kinect参考坐标系与Unity参考坐标的转换关系。图3和图4表示了示范者和模仿者的人体外观与人体骨骼关节模型的关系,某时刻人体骨骼关节数据表示了人体的姿态,人体姿态的连续变化,表示了人体的动作过程。
(2)采用同一时间轴表示示范者的动作帧和模仿者的动作帧,在示范者的动作帧中选择定一系列关键帧时刻tsi(i=1,2,3…l),l为示范者关键帧总数。图6所示为采用同一时间轴表示的示范者的动作帧和模仿者的动作帧的关系。其中,tsi(i=1,2,3…l)为示范者的一系列动作关键帧。在本发明中,关键帧时刻tsi可以根据示范者动作的重要程度人为设定,也可以按照等分的时间间隔选取。
(3)在关键帧时刻tsi,设置tq为与示范者关键帧所对应的前时间点,th为示范者关键帧所对应的后时间点,tq、th之间作为模仿者的动作比较时间段。图6中,tq为与示范者的关键帧所对应的前时间点,th为与示范者的关键帧所对应的后时间点,tq、th之间为模仿者的动作比较时间段。在本发明中,前时间点tq、后时间点th根据模仿者的熟练度确定:对于初级、中级模仿者,前时间点tq选择为与示范者关键帧tsi相同,后时间点th-tsi的差值可在3秒之内选择;对于高级模仿者,前时间点tq选择在示范者关键帧tsi之前1秒之内选择,后时间点th-tsi的差值应小于1秒。所述初级、中级以及高级模仿者的划分根据模仿者模仿这个动作的熟练程度来确定。
(4)如图7所示,获取当前示范者的关键帧tsi的肢体矢量数据,,在tq、th比较时间段内,获取模仿者所有比较帧tmj的肢体矢量数据,按如下公式计算示范者与模仿者的备选拟合度Nbj
Figure GDA0002003689510000081
式中,Nbj为模仿者当前对比帧tmj与示范者关键帧tsi的备选拟合度,k为示范者和模仿者肢体的统一编号,B为示范者和模仿者的肢体总数,
Figure GDA0002003689510000082
为示范者编号为k的肢体的单位矢量,
Figure GDA0002003689510000083
为模仿者编号为k的肢体的单位矢量,wk为编号为k的肢体向量点积的权重值。wk的选择应满足公式
Figure GDA0002003689510000084
应根据对动作的要求,确定哪个肢体拥有更大的权重,一般来说权重由大到小的顺序应是:躯干、大腿、小腿、上臂、下臂…。
(5)如图7所示,从备选拟合度中选最大值作为拟合度基值NB
NB=Max{Nbj j=1,2,3…p}
如果Nbj的最大值多于1个,则选择最接近当前示范者关键帧tsi的Nbj作为NB
(6)如图7所示,计算模仿者对示范者关键帧tsi的时间偏离ΔT,即NB对应的时间与tsi的差值。即
ΔT=tsi-tNB
其中,ΔT为关键帧的时间偏离,tsi为示范者当前关键帧时刻,tNB为模仿者NB所在的动作帧时刻。
(7)如图7所示,按下式计算模仿者对示范者关键帧tsi的拟合度Ni
Ni=NBe-c|ΔT|
式中,c为时间常数,其值为大于等于0的常数。时间常数c评价了模仿者与示范者时间同步性,c越大,对模仿者跟随示范者动作的时间准确性要求越严;c越小,对模仿者跟随示范者动作的时间准确性要求越松。这可以体现在交互训练的难度等级中,比如难度等级高的训练,c的取值可大些,得高分的更不容易;难度等级低的训练,c的取值可小些,得高分更容易些。对不同的训练者可以提升训练的激励效果。
(8)如图7所示,检查是否到达示范者的动作终止时刻。如果没有到达示范者的动作终止时刻,则将示范者的关键帧后移,返回步骤(4),并继续后续计算。如果到达示范者的动作终止时刻,则结束动作拟合度计算,得到对示范者关键帧拟合度的时间序列值:{N1,N2,…,Ni}。
(9)当前示范者关键帧拟合度Ni值可以通过显示设备实时显示,模仿学习结束后可绘制随示范者关键帧而变的拟合度Ni曲线,并计算总拟合度数值N。
总拟合度数值N按下式计算:
Figure GDA0002003689510000091
式中,l为示范者关键帧总数,Qi为示范者各关键帧的权重值,在此实施例中取Qi=1。
在本发明中,由所述的拟合度时间序列值的数个最小的Ni值(在本发明中,选用1至5个最小的Ni值),可确定模仿者拟合差的关键动作帧,进行针对性指导。
实际计算示例
示范者1的关键帧如图8所示。采用固定时间间隔的示范者1的动作帧作为关键帧。
图10为示范者1肢体单位矢量数据的计算过程与结果。
图11为模仿者2肢体单位矢量数据的计算过程与结果。
图12为备选拟合度计算过程与结果。
图13为拟合度Ni计算过程与结果。
图14为拟合度序列数据及总拟合度计算过程与结果。
图9为根据拟合度序列数据绘制的拟合度时间变化曲线。
以上详细描述了本发明的优选实施方式,本实施例是对本发明的应用性说明,而非限制性的,本发明并不限于上述实施方式中的具体细节,本专业技术人员应理解实施例中的所用的具体设备、系统平台和参数选择等是描述性的,本专业技术人员在权利要求限定的范围内,可根据具体应用需要,按照该方法的要求,对实施方案进行应用性变化,这些都将落入本发明的保护范围内,均属于本发明的保护范围。

Claims (9)

1.一种动作模仿拟合度评价方法,其特征在于:包括步骤:
(1)采用动作捕捉装置获得示范者和模仿者的肢体位置数据或骨骼关节数据,并变换为统一参考坐标系下的肢体单位向量表达,即肢体单位向量,示范者的肢体单位向量为
Figure FDA0002708442780000011
模仿者的肢体单位向量为
Figure FDA0002708442780000012
其中k为统一的肢体编号,k=1,2,3…u,u为人体肢体总数;
(2)采用同一时间轴表示示范者的动作帧和模仿者的动作帧,在示范者的动作帧中选择一系列示范者关键帧tsi,i=1,2,3...l,l为示范者关键帧总数;
(3)在示范者关键帧tsi,设置tq为与示范者关键帧所对应的前时间点,th为与示范者关键帧所对应的后时间点,tq、th之间作为模仿者的动作比较时间段;
(4)获取当前示范者关键帧tsi的示范者肢体单位向量
Figure FDA0002708442780000013
并在tq、th比较时间段内,获取模仿者的所有比较帧tmj的肢体矢量数据,j=1,2,3…p,p为tq、th时间段内模仿者的比较帧总数;按如下公式计算示范者与模仿者的备选拟合度Nbj
Figure FDA0002708442780000014
式中,Nbj为模仿者当前对比帧tmj与示范者关键帧tsi的备选拟合度,B为示范者和模仿者的肢体总数,wk为编号为k的肢体向量点积的权重值,
Figure FDA0002708442780000015
(5)从备选拟合度中选最大值作为拟合度基值NB
NB=Max{Nbj j=1,2,3…p}
如果Nbj的最大值多于1个,则选择最接近当前示范者关键帧tsi的Nbj作为NB
(6)计算模仿者对示范者关键帧tsi的时间偏离ΔT,即NB对应的时间与tsi的差值:
ΔT=tsi-tNB
式中,ΔT为关键帧的时间偏离,tNB为NB所对应的模仿者动作帧时刻;
(7)按下式计算模仿者对示范者关键帧tsi的拟合度Ni
Ni=NBe-c|ΔT|
式中,c为时间常数,其值为大于等于零的常数;
(8)检查是否到达示范者的动作终止时刻,如果没有到达示范者的动作终止时刻,则将示范者的关键帧后移,返回步骤(4),并继续后续计算,如果到达示范者的动作终止时刻,则结束动作拟合度计算,得到对示范者关键帧拟合度的时间序列值:{N1,N2,…,Ni}。
2.根据权利要求1所述的动作模仿拟合度评价方法,其特征在于:所述的示范者为真实的人,或者通过动作捕捉装置和虚拟现实平台构建的真实人的动作的再现。
3.根据权利要求1所述的动作模仿拟合度评价方法,其特征在于:所述的关键帧时刻tsi根据示范者动作的重要程度人为设定,或按照等分的时间间隔选取。
4.根据权利要求1所述的动作模仿拟合度评价方法,其特征在于:所述的前时间点tq、后时间点th根据模仿者的熟练度确定:对于初级、中级模仿者,前时间点tq选择为与示范者关键帧tsi相同,后时间点th-tsi的差值在3秒之内选择;对于高级模仿者,前时间点tq选择在示范者关键帧tsi之前小于1秒之内选择,后时间点th-tsi的差值小于1秒。
5.根据权利要求1所述的动作模仿拟合度评价方法,其特征在于:所述的拟合度Ni在模仿者模仿过程中通过显示设备实时显示。
6.根据权利要求1所述的动作模仿拟合度评价方法,其特征在于:通过拟合度Ni时间序列值绘制拟合度Ni随时间变化的曲线。
7.根据权利要求1所述的动作模仿拟合度评价方法,其特征在于:由所述的拟合度时间序列值Ni计算整个动作过程的总拟合度N,总拟合度通过Ni按下式计算获得:
Figure FDA0002708442780000021
式中,Qi为示范者各关键帧的权重值。
8.根据权利要求1所述的动作模仿拟合度评价方法,其特征在于:由所述的拟合度时间序列值的1至5个最小的Ni值,确定模仿者拟合差的关键动作帧,进行针对性指导。
9.根据权利要求1所述的动作模仿拟合度评价方法,其特征在于:采用FOHEART C1惯性动作捕捉系统对示范者的示范动作数据进行采集,并储存为FBX数据格式;通过Unity根据时间对其动画进行动画插值,插值后通过游戏对象获取指定的示范者的肢体位置数据或骨骼关节数据;坐标以Unity参考坐标系为基准;模仿者学习和模仿示范者的动作,同时通过Kinect v2 For Unity插件实时获取模仿者的肢体位置数据或骨骼关节数据,将模仿者骨骼关节数据由Kinect参考坐标系为基准的表示转换为以Unity参考坐标系为基准的表示。
CN201910102088.0A 2019-02-01 2019-02-01 一种动作模仿拟合度评价方法 Active CN109815930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910102088.0A CN109815930B (zh) 2019-02-01 2019-02-01 一种动作模仿拟合度评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910102088.0A CN109815930B (zh) 2019-02-01 2019-02-01 一种动作模仿拟合度评价方法

Publications (2)

Publication Number Publication Date
CN109815930A CN109815930A (zh) 2019-05-28
CN109815930B true CN109815930B (zh) 2021-04-09

Family

ID=66606544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910102088.0A Active CN109815930B (zh) 2019-02-01 2019-02-01 一种动作模仿拟合度评价方法

Country Status (1)

Country Link
CN (1) CN109815930B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110534199A (zh) * 2019-07-24 2019-12-03 中国人民解放军总医院第六医学中心 一种身心训练效果评价方法
CN113678137B (zh) * 2019-08-18 2024-03-12 聚好看科技股份有限公司 显示设备
CN110751050A (zh) * 2019-09-20 2020-02-04 郑鸿 一种基于ai视觉感知技术的运动教学系统
CN110595479B (zh) * 2019-09-23 2023-11-17 云南电网有限责任公司电力科学研究院 一种基于icp算法的slam轨迹评估方法
CN110929641A (zh) * 2019-11-21 2020-03-27 三星电子(中国)研发中心 一种动作示范方法和系统
CN111523517B (zh) * 2020-05-26 2023-08-04 北京奇艺世纪科技有限公司 动作评分方法、装置、电子设备及可读存储介质
CN112641441B (zh) * 2020-12-18 2024-01-02 河南翔宇医疗设备股份有限公司 一种体态评估方法、系统、装置及计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6554706B2 (en) * 2000-05-31 2003-04-29 Gerard Jounghyun Kim Methods and apparatus of displaying and evaluating motion data in a motion game apparatus
KR101483713B1 (ko) * 2008-06-30 2015-01-16 삼성전자 주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
JP5604225B2 (ja) * 2010-08-25 2014-10-08 Kddi株式会社 人体姿勢推定装置、人体姿勢推定方法およびコンピュータプログラム
CN104598867B (zh) * 2013-10-30 2017-12-01 中国艺术科技研究所 一种人体动作自动评估方法及舞蹈评分系统
CN107349594B (zh) * 2017-08-31 2019-03-19 华中师范大学 一种虚拟舞蹈系统的动作评价方法

Also Published As

Publication number Publication date
CN109815930A (zh) 2019-05-28

Similar Documents

Publication Publication Date Title
CN109815930B (zh) 一种动作模仿拟合度评价方法
CN108764120B (zh) 一种人体规范动作评价方法
CN108734104B (zh) 基于深度学习图像识别的健身动作纠错方法及系统
KR102529604B1 (ko) 정신운동 학습의 동시 피드백을 위한 증강된 인지 방법 및 장치
CN109191588B (zh) 运动教学方法、装置、存储介质及电子设备
CN113706960B (zh) 一种基于vr技术的护理操作练习平台及使用方法
Chun et al. A sensor-aided self coaching model for uncocking improvement in golf swing
WO2008023250A1 (en) Motion coaching device, method and system
CN114022512A (zh) 运动辅助方法、装置及介质
CN106066690A (zh) 基于体感技术的模拟插秧方法和装置
CN112007343A (zh) 一种双臂型拳击陪练机器人
CN111760261B (zh) 一种基于虚拟现实技术的体育优化训练系统及方法
CN112933581A (zh) 一种基于虚拟现实技术的体育动作评分方法与装置
US20200406098A1 (en) Techniques for golf swing measurement and optimization
Grontman et al. Analysis of sword fencing training evaluation possibilities using Motion Capture techniques
CN116271757A (zh) 一种基于ai技术的篮球练习的辅助系统和方法
CN115530814A (zh) 一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法
Zhou Role of human body posture recognition method based on wireless network Kinect in line dance aerobics and gymnastics training
CN115641232A (zh) 一种基于数字孪生技术的课堂教学系统及方法
JP2021099666A (ja) 学習モデルの生成方法
Yi Design and implementation of virtual simulation system based on basketball teaching and training
TW200811767A (en) Learning assessment method and device using a virtual tutor
CN117423166B (zh) 一种根据人体姿态图像数据的动作识别方法及系统
Zhang et al. The exergame for Tae-Bo learning with virtual reality
CN116611969B (zh) 传统武术智能学习与评分系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant