CN103678859A - 动作比对方法与动作比对系统 - Google Patents

动作比对方法与动作比对系统 Download PDF

Info

Publication number
CN103678859A
CN103678859A CN201210568013.XA CN201210568013A CN103678859A CN 103678859 A CN103678859 A CN 103678859A CN 201210568013 A CN201210568013 A CN 201210568013A CN 103678859 A CN103678859 A CN 103678859A
Authority
CN
China
Prior art keywords
action
node
crossfire
user
comparison result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210568013.XA
Other languages
English (en)
Other versions
CN103678859B (zh
Inventor
卢东宏
林星辰
陈蓉蓉
李岳轩
陈纪鼎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN103678859A publication Critical patent/CN103678859A/zh
Application granted granted Critical
Publication of CN103678859B publication Critical patent/CN103678859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明公开了一种动作比对方法与动作比对系统,特别是针对多模态动作串流作比对的功能。此方法包括:根据使用者的图像取得使用者的串流动作及多个节点;提供虚拟教练的串流动作及多个节点;根据一串流节点比对演算法计算使用者的节点的坐标与虚拟教练的节点的坐标之间的关系数值;根据身体部位、使用者所预先设定的运动种类、以及时间信息,通过权重向量取得多个权重;根据权重分别乘上关系数值后的结果产生一个比对结果值;以及将此比对结果值映射至一个相似度。借此,提高使用者个别身体训练部位的连续动作遵从性,有效地提升使用者揣摩姿势正确性。

Description

动作比对方法与动作比对系统
技术领域
本发明有关于一种通过权重向量调整权重及根据串流节点比对演算法进行运算的多模态动作串流比对方法与系统。
背景技术
市售的体感健身游戏中,虚拟私人教练课程会根据使用者所输入的健身训练部位,编辑个人化的训练课程。这些训练课程会根据使用者的动作与虚拟私人教练课程的动作给予使用者一个分数。使用者可以根据此分数知道自己的动作是否正确。但所给予的分数仅针对使用者的特定定点动作,无法给予使用者流畅的使用经验。此外,因训练目标设定个人化的需求,使用者期望揣摩且依循虚拟私人教练运动时,可以针对手部、脚部、身体特定部位动作及重心转移做加强及训练。另一方面,使用者也可能有针对个人训练下肢耐力(如,蹲站高低程度与运动时间长短等)的需求,藉以提升心率以达健身之效。
因此,如何提供一个符合使用者需要的连续串流动作比对方法,为此领域技术人员所关心的议题。
发明内容
为解决上述问题,本发明的范例实施例提出一种通过权重向量调整权重及根据串流节点比对演算法进行运算的多模态动作串流比对方法与系统。借此以提高使用者个别身体训练部位的连续动作遵从性,有效地提升使用者揣摩姿势正确性。
本发明一范例实施例提出一种动作比对系统,包括使用者动作撷取单元、虚拟教练动作信息单元、第一演算单元、多维权重筛选器、第二演算单元与映射单元。使用者动作撷取单元是用以根据使用者的多个图像取得使用者的第一串流动作及第一串流动作的多个节点。其中第一串流动作的每一个节点包括多个坐标,并且第一串流动作的每一个节点属于一个身体部位。虚拟教练动作信息单元是用以提供一虚拟教练的第二串流动作及第二串流动作的多个节点。其中第二串流动作的每一个节点包括多个坐标,并且第二串流动作的每一个节点属于上述身体部位的其中之一。第一演算单元是耦接至使用者动作撷取单元与虚拟教练动作信息单元,用以根据一个串流节点比对演算法计算第一串流动作的节点的坐标与第二串流动作的节点的坐标之间的多个关系数值。多维权重筛选器是用以根据上述的身体部位、使用者所预先设定的多个运动种类、以及上述图像的时间信息,通过权重向量取得多个权重。第二演算单元是耦接至第一演算单元与多维权重筛选器,用以根据上述的权重分别乘上关系数值后的结果产生一个比对结果值。映射单元是耦接至第二演算单元,用以将比对结果值映射至一个相似度。
在本发明之一实施例中,使用者的节点的个数为15,并且虚拟教练的节点的个数为15。
在本发明之一实施例中,权重为实数,权重的值大于等于0.1并且小于等于2。
在本发明之一实施例中,第二演算单元产生比对结果值的操作包括:
第二演算单元根据下述方程式产生比对结果值,
Σ n ∈ Node 15 W mtn · H n ( U , V ) ,
其中,U为一向量,其包括使用者的节点的坐标,V为另一向量,其包括虚拟教练的节点的坐标,Wmtn为对应身体部分中第n个身体部位、运动种类中的第m个运动种类及时间信息中第t秒的权重,Hn()为对应于串流节点比对演算法的函数并且用以计算对应第n个身体部位的关系数值,n与m为正整数,t为实数,并且Node为身体部位所形成的集合。
在本发明之一实施例中,串流节点比对演算法为动态时间扭曲演算法、欧基里德距离演算法或相关系数演算法。
在本发明之一实施例中,第二演算单元还用以产生多个第二比对结果值,
映射单元取得第二比对结果值中的最小比对结果值与最大比对结果值,根据最小比对结果值与最大比对结果值将比对结果值映射至相似度值域中的相似度。
在本发明之一实施例中,相似度值域的范围是0至100。
以另外一个角度来说,本发明提出一种动作比对方法,适用于一电子装置。此动作比对方法包括:根据使用者的多个图像取得使用者的第一串流动作及第一串流动作的多个节点,其中第一串流动作的每一个节点包括多个坐标,并且第一串流动作的每一个节点属于一个身体部位;提供一虚拟教练的第二串流动作及第二串流动作的多个节点,其中第二串流动作的每一个节点包括多个坐标,并且第二串流动作的每一个节点属于上述身体部位的其中之一;根据一个串流节点比对演算法计算第一串流动作的节点的坐标与第二串流动作的节点的坐标之间的多个关系数值;根据身体部位、使用者所预先设定的运动种类、以及上述图像的时间信息,通过权重向量取得多个权重;根据上述的权重分别乘上关系数值后的结果产生一个比对结果值;以及,将比对结果值映射至一个相似度。
在本发明之一实施例中,使用者的节点的个数为15,并且虚拟教练的节点的个数为15。
在本发明之一实施例中,权重为实数,权重的值大于等于0.1并且小于等于2。
在本发明之一实施例中,产生比对结果值的步骤包括:
根据下述方程式产生比对结果值,
Σ n ∈ Node 15 W mtn · H n ( U , V ) ,
其中,U为一向量,其包括使用者的节点的坐标,V为另一向量,其包括虚拟教练的节点的坐标,Wmtn为对应身体部分中第n个身体部位、运动种类中的第m个运动种类及时间信息中第t秒的权重,Hn()为对应于串流节点比对演算法的函数并且用以计算对应第n个身体部位的关系数值,n与m为正整数,t为实数,并且Node为身体部位所形成的集合。
在本发明之一实施例中,串流节点比对演算法为动态时间扭曲演算法、欧基里德距离演算法或相关系数演算法。
在本发明之一实施例中,将比对结果值映射至相似度的步骤包括:
产生多个第二比对结果值;
映射单元取得第二比对结果值中的最小比对结果值与最大比对结果值,根据最小比对结果值与最大比对结果值将比对结果值映射至相似度值域中的相似度。
在本发明之一实施例中,相似度值域的范围是0至100。
如上所述,本发明范例实施例所提出的动作比对方法与动作比对系统,可以用让使用者在做全身运动时,依照使用者的设定来锻炼特定的身体部位。根据比对使用者与虚拟教练的动作所产生的相似度,可让使用者了解其连续动作的正确性,使运动效益更佳。
附图说明
图1是根据一范例实施例绘示虚拟教练引导使用者运动的示意图。
图2是根据一范例实施例绘示动作比对装置的方块图。
图3是根据一范例实施例绘示多个身体部分的节点的示意图。
图4是根据一范例实施例绘示动作比对系统的运作示意图。
图5是根据一范例实施例绘示一个三维矩阵的示意图。
图6是根据一范例实施例绘示映射单元的操作示意图。
图7是根据一范例实施例绘示动作比对方法的流程图。
其中,附图标记:
100:动作比对装置                  120:屏幕
130:感测器                        132:虚拟教练
140:使用者                        200:动作比对系统
210:使用者动作撷取单元           220:虚拟教练动作信息单元
230:第一演算单元                  240:多维权重筛选器
250:第二演算单元                  260:映射单元
1201~1215:节点                    401~415:关系数值
416:身体部位                      417:运动种类
418:时间数据                      500:三维矩阵
S702、S704、S706、S708、S710、S712:动作比对方法的步骤
具体实施方式
图1是根据一范例实施例绘示虚拟教练引导使用者运动的示意图。
请参照图1,动作比对装置100包括屏幕120与感测器130。感测器130是用以感测使用者140的动作。例如,感测器130包括一个摄影机或是红外线感测器。当使用者140启动了动作比对装置100以后,屏幕120上会显示一个虚拟教练132。虚拟教练132会开始示范一或多个动作,借此让使用者140学习此动作。屏幕120上还会显示一个动作信息,包含了动作的相似度或其他相关信息(如,动作种类、时间、评分等),借此,使用者140可以知道自己的动作是否正确。
图2是根据一范例实施例绘示动作比对装置的方块图。
请参照图2,动作比对装置还包括了一个动作比对系统200,其中包括了使用者动作撷取单元210、虚拟教练动作信息单元220、第一演算单元230、多维权重筛选器240、第二演算单元250与映射单元260。在此范例实施例中,动作比对系统200中的各单元是被实作为一个电路。
感测器130会撷取使用者140的多个图像,并且把这些图像传送给使用者动作撷取单元210。使用者动作撷取单元210会根据此图像取得使用者140的一个串流动作(亦称第一串流动作)及此串流动作上的多个节点,而每个节点是属于一个身体部位(例如,头或手)。在一范例实施例中,这些图像包括亮度与景深的信息,而每一个节点会包括代表三维空间的多个坐标。换言之,使用者140的串流动作是在三维空间所做的连续性动作。
虚拟教练动作信息单元220会提供一个虚拟教练的一个串流动作(亦称第二串流动作)及此串流动作的多个节点。同样的,虚拟教练的串流动作的每一个节点是属于一个身体部分,并且每一个节点会包括多个坐标。第一演算单元230会根据一个串流节点比对演算法来计算出使用者的节点的坐标与虚拟教练的节点的坐标之间的多个关系数值。这些关系数值用以表示使用者140的动作是否相似于虚拟教练132的动作。
特别的是,多维权重筛选器240会根据这些节点所属的身体部位、使用者所预先设定的运动种类、以及感测器130所感测的图像的时间信息来取得多个权重。例如,若使用者想要加强锻炼身体下肢的肌肉,下肢的身体部分所对应的权重会较大(相对于上肢的身体部分所对应的权重)。例如,使用者预先设定的运动种类为着重下半身脚部的跳舞,则多维权重筛选器240会从一个数据库中筛选出对应于跳舞所着重下半身脚部的权重。或者,使用者想要在运动开始的前五分钟锻炼下肢的身体部分,则在前五分钟内下肢的身体部分所对应的权重会相对的较大。
第二演算单元250会将这些权重分别乘上关系数值,并且根据相乘后的结果产生一个比对结果值。映射单元260是耦接至第二演算单元250,用以将此比对结果值映射至一个相似度。例如,若使用者140的动作越相似于虚拟教练132的动作,则相似度会越高。此相似度会被显示到屏幕120上,让使用者140得知自己的动作是否正确。特别的是,对于感测器130所撷取的每一张图像,动作比对系统200都会产生一个相似度并且将此相似度显示在屏幕120上。借此,使用者140可以随时地得知自己的连续动作是否正确。
以下将举一范例实施例详细说明动作比对系统200中各单元的操作。
首先,使用者140会对动作比对装置100输入一或多个设定。例如,使用者140会选择一个运动种类、运动时间、运动强度、或是所要加强的身体部分。接下来,感测器130会持续地取得使用者的串流图像。此串流图像包括多个图像,并且每一个图像对应于不同的时间信息。在一范例实施例中,时间信息可表示为第几秒。或者,时间信息可用来表示为串流图像中的第几张图像。
图3是根据一范例实施例绘示多个身体部分的节点的示意图。
请参照图3,使用者动作撷取单元210会根据从感测器130取得的串流图像,取得使用者140的串流动作,并且计算出多个节点。在此范例实施例中,这些节点的数目为15,并且这些节点是分别属于使用者身上的15个身体部位。这些节点分别为头节点1201、颈节点1202、躯干中心节点1203、右肩节点1204、右手轴节点1205、右手节点1206、右髋部节点1207、右膝节点1208、右脚节点1209、左肩节点1210、左手轴节点1211、左手节点1212、左髋部节点1213、左膝节点1214及左脚节点1215。节点1201~1215是位于人体的主要关节上,使用者动作撷取单元210可以从串流图像中判断使用者的连续移动,并从此连续移动中计算出节点1201~1215。然而,在其他范例实施例中,使用者动作撷取单元210也可以计算出数目更多或更少的节点。或者,使用者动作撷取单元210也可以计算出其他身体部分的节点,本发明并不在此限。在此范例实施例中,每一个节点包括了x方向上的坐标、y方向上的坐标以及z方向上的坐标。在此,使用者的一个节点的三个坐标表示为(xu(t),yu(t),zu(t)),其中t代表时间信息。另一方面,在此用向量U来表示使用者在一段时间内所有节点的坐标。
另一方面,虚拟教练动作信息单元220会提供虚拟教练的串流动作,此串流动作的多个节点以及这些节点的坐标。例如,动作比对装置200中包括一个数据库,其储存了多种运动种类的串流图像。而每一个串流图像包括了不同时间的多个图像。每张图像包括15个节点,其是分别属于上述15个身体部位。而虚拟教练的每个节点也包括了x方向上的坐标、y方向上的坐标以及z方向上的坐标。在此,对应于一时间信息t,虚拟教练上的一个节点的三个坐标表示为(xv(t),xv(t),zv(t)),而向量V是用以表示在一段时间内,虚拟教练上所有的节点的坐标。
图4是根据一范例实施例绘示动作比对系统的运作示意图。
请参照图4,使用者动作撷取单元210会将向量U传送给第一演算单元230,并且虚拟教练动作信息单元220会将向量V传送给第一演算单元230。对于每一个身体部位以及每一个时间信息t,第一演算单元230会根据一个串流节点比对演算法算出向量U与向量V之间的关系数值。此串流节点比对演算法可以是动态时间扭曲演算法(dynamic time warping,DTW)、一欧基里德距离(Euclidean distance,ED)演算法或一相关系数(coefficient of correlation,CC)演算法。DTW的基本原理是要比对两个时间序列之间的相似程度。ED的原理则是计算一空间上两点的距离,若距离越大则两点之间越不相似。CC是用以判断两个时间序列之间的关联程度有多高。然而,本领域一般技术人员应该理解这些串流比对演算法的内容,在此并不详述。
第一演算单元230所采用的串流节点比对演算法可以表示为函数Hn(),其是用以计算第n个身体部位的关系数值。以欧基里德距离演算法与头节点为例,第一演算单元230会根据时间信息t,计算使用者中的头节点的三个坐标(xu(t),yu(t),zu(t))与虚拟教练中头节点的三个坐标(xv(t),xv(t),zv(t))之间的欧基里德距离,借此产生一个关系数值401(表示为H头节点(U,V))。类似的,对于其他身体部位,第一演算单元230也会计算出对应的关系数值(例如,关系数值402至415)。
另一方面,多维权重筛选器240会根据使用者所设定的身体部位416、运动种类417、与时间信息418,通过权重向量来筛选出多个权重。在此,权重向量包括了身体部位416、运动种类417与时间信息418这三个维度。举例来说,一个身体部位416可用整数1~15来表示(例如,用“1”表示头节点);而不同的运动种类417也可表示为离散的多个数值(例如用“0”表示太极拳,用“1”表示国标舞);时间信息418可以用影片秒数来表示。而身体部位416、运动种类417、与时间信息418所组成的权重向量可以决定三维矩阵500上的一个位置(如图5所示)。此三维矩阵500上的一个权重可以用Wmtn来表示,所代表的意义是某一运动种类(m)、某一时间信息(t)与某一身体部位(n)的权重。其中,m与n为正整数,并且t为实数。在另一范例实施例中,权重向量也可以包括更多维度。例如,权重向量可包括难易度或者是使用者偏好的维度,本发明并不在此限。
请参照图5,若使用者不想考虑运动种类417与时间信息418,多维权重筛选器240可以只根据身体部位416来取得权重(对应到N轴)。例如:国标舞手部训练,以针对手部节点所对应的权重相对较大;若是国标舞脚部训练,以针对脚部节点所对应的权重相对较大。另一方面,若使用者不想考虑时间信息418,则多维权重筛选器240可以只根据运动种类417与身体部位416来取得权重(对应到M-N平面)。例如:太极拳,以着重手部及下盘重心的节点所对应的权重相对较大;登阶,以着重下半身脚部的节点所对应的权重相对较大。若使用者不想考虑运动种类417,则多维权重筛选器240可以只根据身体部位416与时间信息418来取得权重(对应于N-T平面)。例如,使用者可以设定在运动的前半段强调上半身的运动,上半身节点所对应的权重相对较大;而在运动的后半段强调下半身的运动,下半身节点所对应的权重相对较大。
在此,多维权重筛选器240所产生的权重为实数,并且这些权重的值大于等于0.1并且小于等于2。当权重的值越大,表示相对应的身体部位越重要。然而,若权重的值被设定的太大(超过2),使用者不准确的动作会被放大,会导致使用者不容易得到高的相似度。然而,在其他范例实施例中,这些权重也可以被设定为其他数值,本发明并不在此限。
请参照回图4,多维权重筛选器240会将所取得的权重传送给第二演算单元250。第二演算单元250会将这些权重分别乘上关系数值401~415,并将相乘后的结果相加,以取得一个比对结果值。例如,第二演算单元250会根据以下方程式(1)产生比对结果值。
Σ n ∈ Node 15 W mtn · H n ( U , V ) - - - ( 1 )
其中Node为所有的身体部位所形成的一个集合。在此范例实施例中,对于使用者的串流动作中的每一个图像及虚拟教练的每一个图像,第二演算单元250都会计算出一个比对结果值。第二演算单元250会将这些比对结果值(亦称第二比对结果值)传送给映射单元260。
图6是根据一范例实施例绘示映射单元的操作示意图。
请参照图6,映射单元260会接收到多个第二比对结果值,并且会从这些第二比对结果值中取得一个最大比对结果值与一个最小比对结果值。在图6中,最大比对结果值是表示为以下方程式(2),而最小比对结果值是表示为以下方程式(3)。
max Σ n ∈ Node 15 W mtn · H n ( U , V ) - - - ( 2 )
min Σ n ∈ Node 15 W mtn · H n ( U , V ) - - - ( 3 )
映射单元260会根据最小比对结果值与最大比对结果值产生一个相似度定义域。映射单元260也会定义一个相似度值域(例如为0至100)。映射单元260会根据最小比对结果值与最大比对结果值将一个比对结果值从相似度定义域映射至相似度值域。例如,当第一演算单元230所采用的串流节点比对演算法是DTW或ED时,最大比对结果值会被映射至0,并且最小比对结果值会被映射至100。另一方面,当第一演算单元230所采用的串流节点比对演算法是CC时,最大比对结果值会被映射至100,并且最小比对结果值会被映射至0。当一个比对结果值介于最小比对结果值与最大比对结果值之间时,此比对结果值便会被映射至介于0~100之间的相似度。第二演算单元250可以用线性或非线性的方式来产生0~100之间的相似度,本发明并不在此限。并且,在其他范例实施例中,映射单元260也可以定义其他的相似度定义域(例如,0~10),本发明并不在此限。最后,映射单元260会将产生的相似度传送至屏幕120。
图7是根据一范例实施例绘示动作比对方法的流程图。
请参照图7,在步骤S702中,根据使用者的多个图像取得使用者的第一串流动作及第一串流动作的多个节点,其中第一串流动作的每一个节点包括多个坐标,并且第一串流动作的每一个节点属于一个身体部位。在步骤S704中,提供虚拟教练的第二串流动作及第二串流动作的多个节点,其中第二串流动作的每一个节点包括多个坐标,并且第二串流动作的每一个节点属于上述身体部位的其中之一。在步骤S706中,根据一个串流节点比对演算法计算第一串流动作的节点的坐标与第二串流动作的节点的坐标之间的多个关系数值。在步骤S708中,根据身体部位、使用者所预先设定的运动种类、以及上述图像的一时间信息,通过权重向量取得多个权重。在步骤S710中,根据这些权重分别乘上关系数值后的结果产生一个比对结果值。在步骤S712中,将比对结果值映射至一个相似度。然而,图7中各步骤已详细说明如上,在此便不再赘述。
在一范例实施例中,图7中各步骤可被实作为多个程式码。这些程式码会被储存在一个电子装置的一个存储器中。此电子装置包括了一个处理器,用以执行这些程式码。此电子装置可被实作为电脑、电视、游戏机、或任何一种嵌入式系统。或者,图7中各步骤可被实作为一或多个电路。本发明并不限制用软件或硬件的方式来实现图7中的各步骤。
本发明范例实施例所提出的动作比对系统及动作方法,特别是一种多模态动作串流比对系统及方法,可以根据时间信息、身体部位以及运动种类,通过权重向量来选定多个权重,并且这些权重会用来计算一个相似值。借此,使用者可以依照虚拟教练的指示加强所要锻炼的身体部位,提高运动的效果。
虽然本发明已以实施例公开如上,然其并非用以限定本发明,任何本领域技术人员,在不脱离本发明的精神和范围内,当可作些许的变更与修改,故本发明的保护范围当以权利要求为准。

Claims (14)

1.一种动作比对系统,其特征在于,包括:
使用者动作撷取单元,用以根据使用者的多个图像取得所述使用者的第一串流动作及所述第一串流动作的多个节点,其中所述第一串流动作的每一所述节点包括多个坐标,并且所述第一串流动作的每一所述节点属于一身体部位;
虚拟教练动作信息单元,用以提供虚拟教练的第二串流动作及所述第二串流动作的多个节点,其中所述第二串流动作的每一所述节点包括多个坐标,并且所述第二串流动作的每一所述节点属于所述身体部位的其中之一;
第一演算单元,耦接至所述使用者动作撷取单元与所述虚拟教练动作信息单元,用以根据串流节点比对演算法计算所述第一串流动作的所述节点的所述坐标与所述第二串流动作的所述节点的所述坐标之间的多个关系数值;
多维权重筛选器,用以根据所述身体部位、所述使用者所预先设定的多个运动种类、以及所述图像的多个时间信息,通过权重向量取得多个权重;
第二演算单元,耦接至所述第一演算单元与所述多维权重筛选器,用以根据所述权重分别乘上所述关系数值后的结果产生比对结果值;以及
映射单元,耦接至所述第二演算单元,用以将所述比对结果值映射至相似度。
2.如权利要求1所述的动作比对系统,其特征在于,所述使用者的所述节点的个数为15,并且所述虚拟教练的所述节点的个数为15。
3.如权利要求1所述的动作比对系统,其特征在于,所述权重为实数,所述权重的值大于等于0.1并且小于等于2。
4.如权利要求2所述的动作比对系统,其特征在于,所述第二演算单元产生所述比对结果值的操作包括:
所述第二演算单元根据下述方程式产生所述比对结果值,
Σ n ∈ Node 15 W mtn · H n ( U , V ) ,
其中,U为一向量,其包括所述使用者的所述节点的所述坐标,V为另一向量,其包括所述虚拟教练的所述节点的所述坐标,Wmtn为对应所述身体部分中第n个身体部位、所述运动种类中的第m个运动种类及所述时间信息中第t秒的所述权重,Hn()为对应于所述串流节点比对演算法的函数并且用以计算对应所述第n个身体部位的所述关系数值,n与m为正整数,t为实数,并且Node为所述身体部位所形成的集合。
5.如权利要求1所述的动作比对系统,其特征在于,所述串流节点比对演算法为动态时间扭曲演算法、欧基里德距离演算法或相关系数演算法。
6.如权利要求1所述的动作比对系统,其特征在于,所述第二演算单元还用以产生多个第二比对结果值,
所述映射单元取得所述第二比对结果值中的最小比对结果值与最大比对结果值,根据所述最小比对结果值与所述最大比对结果值将所述比对结果值映射至相似度值域中的所述相似度。
7.如权利要求6所述的动作比对系统,其特征在于,所述相似度值域的范围是0至100。
8.一种动作比对方法,适用于一电子装置,其特征在于,包括:
根据使用者的多个图像取得所述使用者的第一串流动作及所述第一串流动作的多个节点,其中所述第一串流动作的每一所述节点包括多个坐标,并且所述第一串流动作的每一所述节点属于一身体部位;
提供虚拟教练的第二串流动作及所述第二串流动作的多个节点,其中所述第二串流动作的每一所述节点包括多个坐标,并且所述第二串流动作的每一所述节点属于所述身体部位的其中之一;
根据串流节点比对演算法计算所述第一串流动作的所述节点的所述坐标与所述第二串流动作的所述节点的所述坐标之间的多个关系数值;
根据所述身体部位、所述使用者所预先设定的运动种类、以及所述图像的多个时间信息,通过权重向量取得多个权重;
根据所述权重分别乘上所述关系数值后的结果产生比对结果值;以及
将所述比对结果值映射至相似度。
9.如权利要求8所述的动作比对方法,其特征在于,所述使用者的所述节点的个数为15,并且所述虚拟教练的所述节点的个数为15。
10.如权利要求8所述的动作比对方法,其特征在于,所述权重为实数,所述权重的值大于等于0.1并且小于等于2。
11.如权利要求9所述的动作比对方法,其特征在于,产生所述比对结果值的步骤包括:
根据下述方程式产生所述比对结果值,
Σ n ∈ Node 15 W mtn · H n ( U , V ) ,
其中,U为一向量,其包括所述使用者的所述节点的所述坐标,V为另一向量,其包括所述虚拟教练的所述节点的所述坐标,Wmtn为对应所述身体部分中第n个身体部位、所述运动种类中的第m个运动种类及所述时间信息中第t秒的所述权重,Hn()为对应于所述串流节点比对演算法的函数并且用以计算对应所述第n个身体部位的所述关系数值,n与m为正整数,t为实数,并且Node为所述身体部位所形成的集合。
12.如权利要求8所述的动作比对方法,其特征在于,所述串流节点比对演算法为动态时间扭曲演算法、欧基里德距离演算法或相关系数演算法。
13.如权利要求8所述的动作比对方法,其特征在于,将所述比对结果值映射至所述相似度的步骤包括:
产生多个第二比对结果值;
所述映射单元取得所述第二比对结果值中的最小比对结果值与最大比对结果值,根据所述最小比对结果值与所述最大比对结果值将所述比对结果值映射至相似度值域中的所述相似度。
14.如权利要求13所述的动作比对方法,其特征在于,所述相似度值域的范围是0至100。
CN201210568013.XA 2012-09-12 2012-12-24 动作比对方法与动作比对系统 Active CN103678859B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261699877P 2012-09-12 2012-09-12
US61/699,877 2012-09-12

Publications (2)

Publication Number Publication Date
CN103678859A true CN103678859A (zh) 2014-03-26
CN103678859B CN103678859B (zh) 2017-04-12

Family

ID=50316393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210568013.XA Active CN103678859B (zh) 2012-09-12 2012-12-24 动作比对方法与动作比对系统

Country Status (2)

Country Link
CN (1) CN103678859B (zh)
TW (1) TWI464696B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105013165A (zh) * 2014-04-17 2015-11-04 冠捷投资有限公司 体型雕塑可视化健身系统
CN105681911A (zh) * 2014-11-12 2016-06-15 虹映科技股份有限公司 运动影片训练方法及系统
CN105903157A (zh) * 2016-04-19 2016-08-31 深圳泰山体育科技股份有限公司 电子教练实现方法及系统
CN106139564A (zh) * 2016-08-01 2016-11-23 纳恩博(北京)科技有限公司 图像处理方法和装置
CN106575354A (zh) * 2014-05-21 2017-04-19 汤杰宝游戏公司 有形界面对象的虚拟化
CN109376705A (zh) * 2018-11-30 2019-02-22 努比亚技术有限公司 舞蹈训练评分方法、装置及计算机可读存储介质
CN110841266A (zh) * 2019-10-24 2020-02-28 中国人民解放军军事科学院国防科技创新研究院 一种辅助训练系统及方法
CN111035934A (zh) * 2019-10-25 2020-04-21 咪咕互动娱乐有限公司 游戏教学方法、装置、电子设备和存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI594790B (zh) * 2014-03-24 2017-08-11 鴻海精密工業股份有限公司 體感運動評分系統、裝置及方法
TWI584785B (zh) * 2014-07-25 2017-06-01 國立成功大學 肌肉痙攣評估裝置及其評估方法
TWI584848B (zh) * 2014-10-29 2017-06-01 虹映科技股份有限公司 運動影片之影片產生方法及其影片產生裝置
TWI681798B (zh) * 2018-02-12 2020-01-11 莊龍飛 運動課程評分方法與系統、電腦程式產品
TWI730500B (zh) 2019-11-13 2021-06-11 財團法人資訊工業策進會 運動輔助裝置及運動輔助方法
TWI784243B (zh) * 2020-03-03 2022-11-21 國立臺灣師範大學 跆拳道品勢動作偵測與比對方法
TWI775202B (zh) * 2020-11-03 2022-08-21 財團法人資訊工業策進會 動作姿勢的指導系統及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070219059A1 (en) * 2006-03-17 2007-09-20 Schwartz Mark H Method and system for continuous monitoring and training of exercise
CN101308500A (zh) * 2008-05-23 2008-11-19 浙江大学 基于示范表演的直观高效的三维人体运动数据检索方法
CN102087714A (zh) * 2009-12-02 2011-06-08 宏碁股份有限公司 图像识别登陆系统及其方法
CN102231192A (zh) * 2011-05-31 2011-11-02 福建物联天下信息科技有限公司 一种采集动作数据进行比对并得出比对相似度结果的系统
US20110301934A1 (en) * 2010-06-04 2011-12-08 Microsoft Corporation Machine based sign language interpreter
CN102317978A (zh) * 2009-12-22 2012-01-11 松下电器产业株式会社 动作解析装置以及动作解析方法
CN102481478A (zh) * 2009-03-27 2012-05-30 英福摩迅运动科技公司 监测体育锻炼事件

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI455705B (zh) * 2009-10-07 2014-10-11 Ind Tech Res Inst 肢段肌力與運動體適偵知系統及方法
TWI454140B (zh) * 2010-06-08 2014-09-21 Univ Nat Taiwan 與影片互動之方法與比賽模擬系統

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070219059A1 (en) * 2006-03-17 2007-09-20 Schwartz Mark H Method and system for continuous monitoring and training of exercise
CN101308500A (zh) * 2008-05-23 2008-11-19 浙江大学 基于示范表演的直观高效的三维人体运动数据检索方法
CN102481478A (zh) * 2009-03-27 2012-05-30 英福摩迅运动科技公司 监测体育锻炼事件
CN102087714A (zh) * 2009-12-02 2011-06-08 宏碁股份有限公司 图像识别登陆系统及其方法
CN102317978A (zh) * 2009-12-22 2012-01-11 松下电器产业株式会社 动作解析装置以及动作解析方法
US20110301934A1 (en) * 2010-06-04 2011-12-08 Microsoft Corporation Machine based sign language interpreter
CN102231192A (zh) * 2011-05-31 2011-11-02 福建物联天下信息科技有限公司 一种采集动作数据进行比对并得出比对相似度结果的系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105013165A (zh) * 2014-04-17 2015-11-04 冠捷投资有限公司 体型雕塑可视化健身系统
CN106575354A (zh) * 2014-05-21 2017-04-19 汤杰宝游戏公司 有形界面对象的虚拟化
US10515274B2 (en) 2014-05-21 2019-12-24 Tangible Play, Inc. Virtualization of tangible interface objects
US10977496B2 (en) 2014-05-21 2021-04-13 Tangible Play, Inc. Virtualization of tangible interface objects
CN105681911A (zh) * 2014-11-12 2016-06-15 虹映科技股份有限公司 运动影片训练方法及系统
CN105903157A (zh) * 2016-04-19 2016-08-31 深圳泰山体育科技股份有限公司 电子教练实现方法及系统
CN106139564A (zh) * 2016-08-01 2016-11-23 纳恩博(北京)科技有限公司 图像处理方法和装置
CN106139564B (zh) * 2016-08-01 2018-11-13 纳恩博(北京)科技有限公司 图像处理方法和装置
CN109376705A (zh) * 2018-11-30 2019-02-22 努比亚技术有限公司 舞蹈训练评分方法、装置及计算机可读存储介质
CN110841266A (zh) * 2019-10-24 2020-02-28 中国人民解放军军事科学院国防科技创新研究院 一种辅助训练系统及方法
CN111035934A (zh) * 2019-10-25 2020-04-21 咪咕互动娱乐有限公司 游戏教学方法、装置、电子设备和存储介质
CN111035934B (zh) * 2019-10-25 2023-08-15 咪咕互动娱乐有限公司 游戏教学方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
TW201411507A (zh) 2014-03-16
CN103678859B (zh) 2017-04-12
TWI464696B (zh) 2014-12-11

Similar Documents

Publication Publication Date Title
CN103678859A (zh) 动作比对方法与动作比对系统
AU2024200988A1 (en) Multi-joint Tracking Combining Embedded Sensors and an External
CN110428486B (zh) 虚拟互动的健身方法、电子设备及存储介质
CN107632698A (zh) 基于影像的动作分析系统与方法
CN112464918B (zh) 健身动作纠正方法、装置、计算机设备和存储介质
WO2019075824A1 (zh) 一种儿童跑步姿态纠正训练系统
CN107930048B (zh) 一种太空体感识别运动分析系统及运动分析方法
CN110298218B (zh) 交互式健身装置和交互式健身系统
Anilkumar et al. Pose estimated yoga monitoring system
CN113663312B (zh) 一种基于微惯性的无器械健身动作质量评估方法
US11726550B2 (en) Method and system for providing real-time virtual feedback
US20220245836A1 (en) System and method for providing movement based instruction
CN113409651B (zh) 直播健身方法、系统、电子设备、存储介质
Zhou et al. Posture tracking meets fitness coaching: A two-phase optimization approach with wearable devices
CN117148977B (zh) 一种基于虚拟现实的运动康复训练方法
US20140073383A1 (en) Method and system for motion comparison
Tian et al. Design and implementation of dance teaching system based on Unity3D
Kishore et al. Smart yoga instructor for guiding and correcting yoga postures in real time
JP7020479B2 (ja) 情報処理装置、情報処理方法及びプログラム
Lianzhen et al. Athlete Rehabilitation Evaluation System Based on Internet of Health Things and Human Gait Analysis Algorithm
CN113345552A (zh) 一种智能辅助指导舞蹈锻炼的方法及系统、移动端
Liebermann et al. Video-based technologies
Zhang et al. Behavior Recognition On Multiple View Dimension
Shen Exploring the Potential of Virtual Reality in Table Tennis Training through Hybrid Motion Capture
CN110929641A (zh) 一种动作示范方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant