JP2014133015A - Body motion learning support device - Google Patents

Body motion learning support device Download PDF

Info

Publication number
JP2014133015A
JP2014133015A JP2013003155A JP2013003155A JP2014133015A JP 2014133015 A JP2014133015 A JP 2014133015A JP 2013003155 A JP2013003155 A JP 2013003155A JP 2013003155 A JP2013003155 A JP 2013003155A JP 2014133015 A JP2014133015 A JP 2014133015A
Authority
JP
Japan
Prior art keywords
evaluation
motion
data
motion data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013003155A
Other languages
Japanese (ja)
Inventor
Takeshi Miura
武 三浦
Nao Matsumoto
奈緒 松本
Hideo Tamamoto
英夫 玉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Akita University NUC
Original Assignee
Akita University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Akita University NUC filed Critical Akita University NUC
Priority to JP2013003155A priority Critical patent/JP2014133015A/en
Publication of JP2014133015A publication Critical patent/JP2014133015A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a body motion learning support device that performs an evaluation of at least one evaluation item for each part divided on a time axis of a series of body motions, and performs an evaluation of at least one evaluation item for the entire series of body motions.SOLUTION: The body motion learning support device includes: a motion capture device 11 for acquiring body motion data of a body motion; a motion data storage device 12 for storing the body motion data and also storing model motion data used for comparison with the body motion data; an evaluation device 13 for evaluating the body motion using a score or a rank by comparing the body motion data and the model motion data; and an evaluation result display device 14 for presenting the body motion by an animation using the body motion data and the model motion data, and displaying the result of the evaluation by the evaluation device 13, and performs an evaluation of at least one evaluation item for each part divided on a time axis of a series of body motions, and also an evaluation for the entire series of body motions.

Description

本発明は、練習により習得される身体動作を評価するとともに、模範動作との差異がわかるように当該身体動作をひと形(たとえば、スケルトン)で表現する身体動作学習支援装置に関し、たとえば、民俗舞踊の動作習得において、モーションキャプチャ装置により取得した学習者の身体動作を評価し、当該学習者にアドバイスを与えることができる身体動作学習支援装置に関する。   The present invention relates to a body motion learning support apparatus that evaluates a body motion acquired by practice and expresses the body motion in a form (for example, skeleton) so that a difference from the model motion can be understood. It is related with the physical movement learning assistance apparatus which can evaluate the physical motion of the learner acquired by the motion capture device, and can give an advice to the learner.

従来、身体動作学習支援装置として、モーションキャプチャを応用した舞踊の学習支援装置が知られている(非特許文献1,非特許文献2等参照)。
例えば、従来、日本舞踊動作の中で重要とされている身体の重心位置を視覚的に提示することによって、熟練者と学習者との違いを認識できるようにした日本舞踊学習支援装置が知られている。
また、サンバの動作において重要とされているリズムの特性に関して、身体動作の加速度の時間変化の様相を視覚的に提示することによって、熟練者と学習者の違いをフィードバックできるようにしたサンバ学習支援装置も知られている。
これらの、学習支援装置では、一連の身体動作全体に対して、特定の単一評価項目のみを評価している。
Conventionally, a dance learning support device using motion capture is known as a physical motion learning support device (see Non-Patent Document 1, Non-Patent Document 2, etc.).
For example, there is a Japanese dance learning support device that can recognize the difference between a skilled person and a learner by visually presenting the center of gravity of the body, which has been considered important in traditional Japanese dance movements. ing.
In addition, samba learning support that enables feedback on the difference between skilled and learners by visually presenting the temporal changes in the acceleration of body movements regarding the rhythmic characteristics that are considered important in samba movement. Devices are also known.
In these learning support devices, only a specific single evaluation item is evaluated for the entire series of body movements.

通学技法 IEICE Technical Report MVE2006−82(2007−3) 財団法人 電子情報学会School Technology IEICE Technical Report MVE 2006-82 (2007-3) The Institute of Electronics, Information and Communication Engineers 通学技法 IEICE Technical Report CQ2008−67(2009−01) 財団法人 電子情報学会School Technique IEICE Technical Report CQ2008-67 (2009-01) The Institute of Electronics, Information and Communication Engineers

たとえば日本舞踊においては、振付の中に比較的多種類の基本動作を含む多数のシーケンスが連続することが多い。
しかし、上述したように、従来の学習装置では、一連の身体動作全体に対して、特定の単一評価項目のみを評価しているため、上記のような日本舞踊の学習には不向きである。
本発明の目的は、一連の身体動作のうち時間軸上で分割されたパートごとに、少なくとも1つの評価項目の評価を行うこと、またはさらに一連の身体動作全体に対して、少なくとも1つの評価項目の評価を行うことである。
For example, in Japanese dance, a large number of sequences including a relatively large variety of basic motions often occur in choreography.
However, as described above, the conventional learning apparatus evaluates only a specific single evaluation item for the entire series of body movements, and thus is not suitable for learning Japanese dance as described above.
An object of the present invention is to evaluate at least one evaluation item for each part of a series of body movements divided on the time axis, or at least one evaluation item for a whole series of body movements. Is to evaluate.

本発明は、以下を要旨とする。
(1)
練習により習得される一人または二人以上の学習者の身体動作を評価するとともに、模範動作との差異がわかるように前記身体動作をアニメーションで表現する身体動作学習支援装置において、
前記身体動作を身体動作データとして取得するモーションキャプチャ装置と、
前記モーションキャプチャ装置により取得した身体動作データを記憶するとともに、当該身体動作データとの比較に用いられる前記模範動作データを記憶する動作データ記憶装置と、
前記動作データ記憶装置に記憶されている前記身体動作データと前記模範動作データとを比較することにより前記身体動作を点数またはランクを用いて評価する評価装置と、
前記動作データ記憶装置に記憶されている前記身体動作データおよび前記模範動作データを用いて、前記身体動作を前記アニメーションで表現するとともに、前記評価装置による前記評価の結果を表示する評価結果表示装置と、
を備え、
前記評価装置は、一連の前記身体動作について時間軸上で分割されたパートごとに、少なくとも1つの評価項目の評価を行い、またはさらに、一連の前記身体動作全体に対して、少なくとも1つの評価項目の評価を行う、
ことを特徴とする身体動作学習支援装置。
(2)
前記時間軸上で分割された前記パートごとに、前記評価項目の組み合わせが異なることを特徴とする(1)に記載の身体動作学習支援装置。
(3)
前記時間軸上で分割されたパートおよび/または前記評価項目が、前記学習者により決定されることを特徴とする(1)に記載の身体動作学習支援装置。
(4)
前記身体動作および前記模範動作が、舞踊であることを特徴とする(1)から(3)の何れか一項に記載の身体動作学習支援装置。
The gist of the present invention is as follows.
(1)
In the body movement learning support device that evaluates the body movement of one or more learners acquired by practice and expresses the body movement by animation so that the difference from the model movement can be understood,
A motion capture device for acquiring the physical motion as physical motion data;
A motion data storage device that stores physical motion data acquired by the motion capture device and stores the exemplary motion data used for comparison with the physical motion data;
An evaluation device that evaluates the physical motion using a score or rank by comparing the physical motion data stored in the motion data storage device and the exemplary motion data;
An evaluation result display device for expressing the physical motion as the animation using the physical motion data and the exemplary motion data stored in the motion data storage device, and displaying the result of the evaluation by the evaluation device; ,
With
The evaluation apparatus evaluates at least one evaluation item for each part divided on the time axis for the series of body movements, or further, at least one evaluation item for the whole series of body movements Evaluate
A body movement learning support device characterized by the above.
(2)
The combination of the evaluation items is different for each of the parts divided on the time axis, the physical motion learning support device according to (1).
(3)
The physical motion learning support device according to (1), wherein the part and / or the evaluation item divided on the time axis are determined by the learner.
(4)
The physical motion learning support device according to any one of (1) to (3), wherein the physical motion and the exemplary motion are dances.

本発明において、「身体動作」は、一定の様式を持つ動作に一定の価値が認められる動作であり、典型的には「舞踊」または「舞踊の振付け」(コレオグラフィー)であり、たとえば氷上ダンス(フィギュアスケート)も含まれる。舞踊は、民族舞踊(たとえば、日本国における盆踊り)であってもよいし、社交ダンスであってもよい。
「学習者」は一人でもよいし、複数でもよい。「学習者」が一人の場合、「身体動作」には一人の模範者の「模範動作」が対応する。
「学習者」が複数の場合、「身体動作」は複数学習者の動作が統合された動作とすることができ、この場合の「模範動作」は複数模範者の動作が統合された動作とすることができる。
また、「学習者」が複数の場合、「身体動作」は複数学習者の動作が別々に定義された複数の身体動作とすることができ、この場合の「模範動作」は、各身体動作に対応する複数の模範者による別々の動作である。
身体動作学習支援装置は、身体動作をアニメーションで表現することができる。このアニメーションは、通常、スケルトン(骨格)で表現することができる。
モーションキャプチャ装置は、光学検出式、磁気検出式等、身体動作をキャプチャできれば手段を問わない。モーションキャプチャ装置では、通常、関節や頭の動きを認識して身体動作をキャプチャする。
本発明では、評価項目は、身体の所定部位のタイミングの一致、動きのスムーズさ等、種々定義できる。評価項目には、動作と音楽との同期評価を含めることができる。また、掛け声の発声タイミングの一致評価も含めることができる。
評価項目は複数の評価項目を用いることが好ましい。「舞踊」または「舞踊の振付け」の評価項目として好ましいものとしては、「動きの大きさ」、「キーポーズ」、「振付」、「協応」、「タイミング」、「なめらかさ」が挙げられ、これらの項目のうち、少なくとも2つ、3つまたは5つ以上の評価項目を用いるのがよい。
評価装置は、評価を点数またはランクで表現できる。具体的には、レーダチャート評価、ABC評価、点数評価が評価装置として例示される。専門家が実際に多数の演技を見て採点した結果を統計解析することで、特定の動作の評価を意義することができる。
評価結果表示装置は、身体動作をアニメーションで表現するとともに、評価装置による評価の結果を表示する。評価結果表示装置は、アニメーションに評価結果を表示することもできる。たとえば、評価を3段階に分け、高評価の場合にはアニメーションを青色で表示し、中評価の場合にはアニメーションを黄色で表示し、低評価の場合にはアニメーションを赤色で表示することができる。たとえば、身体上部と身体下部について別々の評価をすることができ、身体上部と身体下部について、評価の色を変えることができる。
評価結果表示装置では、一連の身体動作をパートごとに分割する時間軸を表示することができる。この時間軸においては、分割されたパートごとの評価を、時間軸上に表示することができる。例えば、時間軸上において色分けして評価を表示することができ、評価を3段階に分け、高評価のパートについては、時間軸上のそのパートの部分を青色で表示し、中評価のパートについては黄色で表示し、低評価のパートについては赤色で表示することができる。これにより、身体動作全体の中で、どのパートを改善する必要があるかが一目でわかるようになる。また、表示した時間軸上の特定のパートを選択した場合に、そのパートのアニメーションが表示されるようにすることができる。
本発明では、学習者は時間軸上で分割されたパートを自ら定義することができるように構成できる。たとえば、学習者が、舞踊の全時間を12分割したり、16分割することができる。また、学習者は評価項目を適宜設定できる。たとえば、あるパートについては、評価項目を3つとし、他のあるパートについては評価項目を4つとすることができる。この場合の評価項目同士は、全部または一部が一致してもよいし、一致しなくてもよい。
なお、本発明では、スローモーションの身体動作を評価することもできる。この場合には、スローモーションの身体動作データと比較すべきデータは、スローモーションの模範動作データである。
In the present invention, the “body movement” is an action in which a certain value is recognized in an action having a certain style, and is typically “dance” or “dance choreography” (choreography), for example, dance on ice (Figure skating) is also included. The dance may be an ethnic dance (for example, a Bon dance in Japan) or a social dance.
There may be one or more “learners”. When the “learner” is one person, the “exemplary movement” of one exemplary person corresponds to the “body movement”.
When there are multiple “learners”, the “body movement” can be an action that integrates the actions of multiple learners, and the “exemplary action” in this case is an action that integrates the actions of multiple learners. be able to.
In addition, when there are multiple “learners”, the “body movement” can be a plurality of body movements in which the movements of multiple learners are defined separately. It is a separate operation by corresponding multiple examples.
The body motion learning support device can express body motion by animation. This animation can usually be represented by a skeleton.
The motion capture device may be of any means as long as it can capture body motion, such as an optical detection type or a magnetic detection type. A motion capture device normally captures body movements by recognizing joint and head movements.
In the present invention, various evaluation items can be defined, such as matching of timings of predetermined parts of the body, smoothness of movement, and the like. The evaluation item can include a synchronous evaluation of motion and music. In addition, it is possible to include a match evaluation of the utterance timing of the shout.
It is preferable to use a plurality of evaluation items as the evaluation items. Preferable evaluation items for “dance” or “dance choreography” include “size of movement”, “key pose”, “choreography”, “cooperation”, “timing”, “smoothness”, Of these items, at least two, three, or five or more evaluation items may be used.
The evaluation device can express the evaluation as a score or a rank. Specifically, radar chart evaluation, ABC evaluation, and score evaluation are exemplified as the evaluation device. Statistical analysis of the results of scoring by seeing a large number of performances by professionals can make evaluation of specific actions meaningful.
The evaluation result display device expresses the body motion by animation and displays the result of evaluation by the evaluation device. The evaluation result display device can also display the evaluation result in an animation. For example, it is possible to divide the evaluation into three stages, and display the animation in blue for high evaluation, display the animation in yellow for middle evaluation, and display the animation in red for low evaluation. . For example, separate evaluations can be made for the upper and lower bodies, and the color of the evaluation can be changed for the upper and lower bodies.
The evaluation result display device can display a time axis that divides a series of body movements for each part. On this time axis, the evaluation for each divided part can be displayed on the time axis. For example, the evaluation can be displayed in different colors on the time axis, and the evaluation is divided into three stages. For a highly evaluated part, the part of the part on the time axis is displayed in blue, and for the middle evaluation part Can be displayed in yellow, and low-rated parts can be displayed in red. This makes it easier to see at a glance which part of the whole body movement needs to be improved. Also, when a specific part on the displayed time axis is selected, the animation of that part can be displayed.
In the present invention, the learner can be configured to be able to define a part divided on the time axis. For example, the learner can divide the total dance time into 12 or 16 segments. In addition, the learner can set the evaluation items as appropriate. For example, it is possible to have three evaluation items for a certain part and four evaluation items for another certain part. In this case, all or some of the evaluation items may or may not match.
In the present invention, the body motion of slow motion can be evaluated. In this case, the data to be compared with the slow motion body motion data is the slow motion model motion data.

学習者は、一連の身体動作のうち時間軸上で分割されたパートごとに、少なくとも1つの評価項目の評価を受けるので、フィードバックにより学習することができる。
さらに、学習者は、一連の身体動作全体に対して、少なくとも1つの評価項目の合計評価または全評価項目の総合評価を受け、フィードバックにより学習することもできる。
フィードバックすることにより、各パートにおける達成度および問題点が明確化されるので、優れた学習効果を得ることができる。
Since the learner receives the evaluation of at least one evaluation item for each part divided on the time axis in the series of body movements, the learner can learn by feedback.
Further, the learner can receive a total evaluation of at least one evaluation item or a comprehensive evaluation of all the evaluation items with respect to the entire series of body movements, and learn by feedback.
By providing feedback, the degree of achievement and problems in each part are clarified, so that an excellent learning effect can be obtained.

図1は、本発明の身体動作学習支援装置の実施の形態を示す構成ブロック図である。FIG. 1 is a configuration block diagram showing an embodiment of a physical motion learning support apparatus of the present invention. 図2は、図1に示したモーションキャプチャ装置の一例を示す構成図である。FIG. 2 is a configuration diagram illustrating an example of the motion capture device illustrated in FIG. 1. 図3は、図1の評価装置で模範動作データを用いて複数の評価指標を評価する過程を示す構成図である。FIG. 3 is a configuration diagram illustrating a process of evaluating a plurality of evaluation indexes using the exemplary operation data in the evaluation apparatus of FIG. 図4は、図3の時間分節分割装置において振付分割時刻データに基づいて模範動作データを時間分節に分割ずる過程を示す構成図である。FIG. 4 is a block diagram showing a process of dividing exemplary motion data into time segments based on choreographic division time data in the time segmentation device of FIG. 図5は、図1の評価装置で総合評価得点を導出する階層構造ニューラルネットワークの構成図である。FIG. 5 is a block diagram of a hierarchical neural network for deriving a comprehensive evaluation score by the evaluation apparatus of FIG. 図6は、評価結果表示装置による表示画面を示す図である。FIG. 6 is a diagram showing a display screen by the evaluation result display device.

以下、図面に基づいて本発明の実施形態を詳しく説明する。
図1は、本発明の一実施形態を示す構成ブロック図である。
図1の身体動作学習支援装置1(身体動作学習支援装置)は、練習により習得される身体動作を評価するとともに、模範動作との差異がわかるように身体動作をひと形(たとえば、スケルトン)で表現することができる。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a configuration block diagram showing an embodiment of the present invention.
The body motion learning support device 1 (body motion learning support device) in FIG. 1 evaluates the body motion acquired by practice, and in one form (for example, skeleton) the body motion so that the difference from the model motion can be understood. Can be expressed.

図1において、身体動作学習支援装置1は、モーションキャプチャ装置11と、動作データ記憶装置12と、評価装置13と、評価結果表示装置14とを備えている。
モーションキャプチャ装置11は、学習者Aの身体動作を身体動作データDATAMOTとして取得する。
動作データ記憶装置12は、モーションキャプチャ装置11により取得した身体動作データDATAMOTを記憶するとともに、身体動作データDATAMOTとの比較に用いられる模範動作データDATAMDLを記憶する。通常、模範動作データDATAMDLは、熟練者の身体動作から得られる。
In FIG. 1, the physical motion learning support device 1 includes a motion capture device 11, a motion data storage device 12, an evaluation device 13, and an evaluation result display device 14.
The motion capture device 11 acquires the physical motion of the learner A as physical motion data DATA MOT .
The motion data storage device 12 stores physical motion data DATA MOT acquired by the motion capture device 11, and also stores exemplary motion data DATA MDL used for comparison with the physical motion data DATA MOT . In general, the model motion data DATA MDL is obtained from the physical motion of a skilled person.

評価装置13は、動作データ記憶装置12に記憶されている身体動作データDATAMOTと模範動作データDATAMDLとを比較することにより学習者Aの身体動作を点数またはランクを用いて評価する。評価装置13は、項目評価部131と総合評価部132とからなる。
項目評価部131は、一連の身体動作のうち時間軸上で分割されたパートごとに、身体動作データDATAMOTと模範動作データDATAMDLとの比較を行い、複数の評価項目の評価を行う。本実施形態では、図面には示していないが、第j番目のパートの第k番目の評価項目をITMEST(j,k)で表し、その評価値(点数またはランク)をVLEST(j,k)で表す。ただし、j=1,2,3,・・・,Mであり、k=1,2,3,・・・,Nである。
総合評価部132は、一連の身体動作全体に対して、評価項目ごとの合計評価または単一の総合評価を行う。
評価項目ごとの合計評価は、たとえば、特定の評価項目ITMEST(j,x)(xは、1,2,3,・・・,Nの何れか)についての評価値VLEST(j,x)を全てのパートについて合計したものである。
単一の総合評価は、たとえば、評価値VLEST(j,x)に対して機械学習(本実施形態ではニューラルネットワーク)に基づく人工知能型アルゴリズムを適用し、100点満点の総合評価得点TOTALESTを生成する。
The evaluation device 13 evaluates the physical motion of the learner A using the score or rank by comparing the physical motion data DATA MOT and the exemplary motion data DATA MDL stored in the motion data storage device 12. The evaluation device 13 includes an item evaluation unit 131 and a comprehensive evaluation unit 132.
The item evaluation unit 131 compares the body motion data DATA MOT and the model motion data DATA MDL for each part divided on the time axis in a series of body motions, and evaluates a plurality of evaluation items. In this embodiment, although not shown in the drawing, the k-th evaluation item of the j-th part is represented by ITM EST (j, k), and the evaluation value (score or rank) is represented by VL EST (j, k). However, j = 1, 2, 3,..., M, and k = 1, 2, 3,.
The comprehensive evaluation unit 132 performs a total evaluation for each evaluation item or a single comprehensive evaluation on the entire series of body movements.
The total evaluation for each evaluation item is, for example, an evaluation value VL EST (j, x) for a specific evaluation item ITM EST (j, x) (x is any one of 1, 2, 3,..., N). ) For all parts.
In the single comprehensive evaluation, for example, an artificial intelligence type algorithm based on machine learning (in this embodiment, a neural network) is applied to the evaluation value VL EST (j, x), and a total evaluation score TOTAL EST of 100 points is obtained. Is generated.

評価結果表示装置14は、動作データ記憶装置12に記憶されている身体動作データDATAMOTおよび模範動作データDATAMDLを用いて、身体動作をひと形(本実施形態ではスケルトンのアニメーション)で表現するとともに、評価装置13による評価の結果を表示する。 The evaluation result display device 14 uses the body motion data DATA MOT and the model motion data DATA MDL stored in the motion data storage device 12 to express the body motion in a single form (in this embodiment, a skeleton animation). The result of evaluation by the evaluation device 13 is displayed.

図2は、モーションキャプチャ装置11の一例を示す構成図である。
図2において、モーションキャプチャ装置11は、学習者の身体に取り付けられた磁気式センサ群111とコンピュータ112とからなる。
磁気式センサ群111から出力される頭部、胸部、腰部、右上腕部、右前腕部、右手部、左上腕部、左前腕部、左手部、右大腿部、右脛部、右足部、左大腿部、左脛部、左足部の姿勢データおよび腰部の位置データは、コンピュータ112中のソフトウェア上に再現されたひと形(骨格構造人体モデルMDLSKLTN)に適用して得られる頭頂部、首関節、胸部−腰部間関節、右肩関節、右肘関節、右手首関節、右手先部、左肩関節、左肘関節、左手首関節、左手先部、右股関節、右膝関節、右足首関節、右つま先部、左股関節、左膝関節、左足首関節、左つま先部の位置を一定の時間間隔で取得した時系列データを身体動作データDATAMOTとして出力する。
FIG. 2 is a configuration diagram illustrating an example of the motion capture device 11.
In FIG. 2, the motion capture device 11 includes a magnetic sensor group 111 and a computer 112 attached to a learner's body.
Head, chest, waist, upper right arm, right forearm, right hand, left upper arm, left forearm, left hand, right thigh, right thigh, right foot, output from magnetic sensor group 111, The posture data of the left thigh, the left shin, the left foot, and the position data of the lumbar region are obtained by applying the human form (skeletal structure human body model MDL SKLTN ) reproduced on the software in the computer 112, Neck joint, chest-lumbar joint, right shoulder joint, right elbow joint, right wrist joint, right hand tip, left shoulder joint, left elbow joint, left wrist joint, left hand tip, right hip joint, right knee joint, right ankle joint The time-series data obtained by acquiring the positions of the right toe part, the left hip joint, the left knee joint, the left ankle joint, and the left toe part at regular time intervals are output as the body motion data DATA MOT .

図3は、項目評価部131で模範動作データDATAMDLを用いて複数の評価指標を評価する過程を示す構成図である。
項目評価部131は、時間分節分割装置1311と模範データ/学習者データ間時間差計算装置1312と項目評価装置1313とを備えている。
図3において、時間分節分割装置1311は、図4(振付分割時刻データDATADIVに基づいて模範動作データDATAMDLを時間分節に分割する過程を示す構成図)に示すように、舞踊指導者が振付分割時刻データDATADIVとして入力したN個の分割時刻に従って、第1時間分節は動作開始から振付分割時刻データDATADIVの第1分割時刻まで、第i時間分節(2≦i≦N)は第(i−1)時間分節の終了時刻直後から第i分割時刻まで、第(N+1)時間分節は第N時間分節の終了直後から動作終了までとして模範動作データDATAMDLを時間分節に分割し、時間分節データDATAPARTとして出力する。
FIG. 3 is a configuration diagram illustrating a process in which the item evaluation unit 131 evaluates a plurality of evaluation indexes using the exemplary operation data DATA MDL .
The item evaluation unit 131 includes a time segmentation device 1311, a model data / learner data time difference calculation device 1312, and an item evaluation device 1313.
In FIG. 3, the time segmentation device 1311 performs choreography by the dance instructor as shown in FIG. 4 (a configuration diagram showing a process of dividing the exemplary motion data DATA MDL into time segments based on the choreography division time data DATA DIV ). According to the N divided times input as the divided time data DATA DIV , the first time segment is from the start of operation to the first divided time of the choreographic divided time data DATA DIV , and the i-th time segment (2 ≦ i ≦ N) is the ( i-1) The exemplary motion data DATA MDL is divided into time segments from immediately after the end time of the time segment to the i-th division time, and the (N + 1) -th time segment is from immediately after the end of the N-th time segment to the end of operation. Output as data DATA PART .

図3において、模範データ/学習者データ間時間差計算装置1312は、学習者の身体動作データDATAMOTに関して、模範動作データDATAMDLの各データ取得時刻の各関節位置から計算される右肩関節、右肘関節、右手首関節、左肩関節、左肘関節、左手首関節、右股関節、右膝関節、左股関節、左膝関節の角度によって示される全身の身体姿勢に対応する姿勢の発生時刻をDPマッチング法により求め、模範動作データDATAMDLにおける発生時刻に対する身体動作データDATAMOTにおける発生時刻の差を全身姿勢時間差データDATADIF_TBとして出力する。 In FIG. 3, the time difference calculation device 1312 between model data / learner data calculates the right shoulder joint, right calculated from each joint position at each data acquisition time of the model motion data DATA MDL regarding the learner's body motion data DATA MOT. DP matching of posture generation time corresponding to the body posture of the whole body indicated by the angle of elbow joint, right wrist joint, left shoulder joint, left elbow joint, left wrist joint, right hip joint, right knee joint, left hip joint, left knee joint The difference of the generation time in the body movement data DATA MOT with respect to the generation time in the model movement data DATA MDL is output as the whole body posture time difference data DATA DIF_TB .

また、学習者の身体動作データDATAMOTに関して、模範動作データDATAMDLの各データ取得時刻の右肘関節、右手首関節、左肩関節、左肘関節、左手首関節の角度によって示される上半身の身体姿勢に対応する上半身姿勢の発生時刻をDPマッチング法により求め、模範動作データDATAMDLにおける発生時刻に対する身体動作データDATAMOTにおける発生時刻の差を上半身姿勢時間差データDATADIF_UBとして出力する。
さらに、学習者の身体動作データDATAMOTに関して、模範動作データDATAMDLの各データ取得時刻の右股関節、右膝関節、左股関節、左膝関節の角度によって示される下半身の身体姿勢に対応する下半身姿勢の発生時刻をDPマッチング法により求め、模範動作データDATAMDLにおける発生時刻に対する身体動作データDATAMOTにおける発生時刻の差を下半身姿勢時間差データDATADIF_LBとして出力する。
The body posture of the upper body indicated by the angle of the right elbow joint, right wrist joint, left shoulder joint, left elbow joint, and left wrist joint at each data acquisition time of the model motion data DATA MDL with respect to the learner's physical motion data DATA MOT Is generated by the DP matching method, and the difference in the generation time in the body motion data DATA MOT with respect to the generation time in the exemplary motion data DATA MDL is output as the upper body posture time difference data DATA DIF_UB .
Furthermore, regarding the learner's body movement data DATA MOT , the lower body posture corresponding to the body posture of the lower body indicated by the angle of the right hip joint, right knee joint, left hip joint, and left knee joint at each data acquisition time of the model motion data DATA MDL Is generated by the DP matching method, and the difference between the generation time in the body movement data DATA MOT and the generation time in the model movement data DATA MDL is output as lower body posture time difference data DATA DIF_LB .

項目評価装置1313で評価される評価項目は、以下のようにしてあらかじめ選定される。
図2のモーションキャプチャ装置11によって異なる修得度を有する複数の舞踊学習者の身体動作データDATAMOTのサンプル群をあらかじめ取得し、身体動作データDATAMOTを用いて既存のコンピュータグラフィックスアニメーション製作ソフトウェアによってアニメーション群を作成し、舞踊指導者がアニメーション群のそれぞれのアニメーションに対して動作の様相を評価した自由記述の文章群を記述する。文章群を、質的データ解析法であるSCAT法(Steps for Coding and Theorization法)によりコード化し、抽出されたコード群を評価指標ごとにカテゴリー化することによって、舞踊指導者が動作の様相を評価するのに用いた複数の評価指標を選定する。項目評価装置1313は、時間分節ごとに、上記手順で選定された項目である動きの大きさ、キーポーズ、振付、協応、タイミング、なめらかさの評価値VLESTを出力する。
Evaluation items to be evaluated by the item evaluation device 1313 are selected in advance as follows.
A sample group of physical motion data DATA MOT of a plurality of dance learners having different mastery degrees depending on the motion capture device 11 of FIG. 2 is acquired in advance, and animation is performed by using existing computer graphics animation production software using the physical motion data DATA MOT. Create a group and write a free text group that the dance instructor evaluates the behavior of each animation in the animation group. The dance instructor evaluates the behavioral aspects by coding the sentence group using the SCAT method (Steps for Coding and Theorization method), which is a qualitative data analysis method, and categorizing the extracted code group for each evaluation index. Select multiple evaluation indicators used to do this. The item evaluation device 1313 outputs, for each time segment, an evaluation value VL EST of the magnitude, key pose, choreography, cooperation, timing, and smoothness, which are items selected in the above procedure.

評価値VLESTについて、動きの大きさの評価値は、上半身の動作および下半身の動作に分離して以下のようにして計算される。第i番目の時間分節中において、模範動作データDATAMDLの頭頂部、右肘関節、右手首関節、右手先部、左肘関節、左手首関節、左手先部の7点のそれぞれがたどる軌跡の長さを導出し、軌跡の長さの平均値LT、U(i)を求める。同様に、学習者の身体動作データDATAMOTの頭頂部、右肘関節、右手首関節、右手先部、左肘関節、左手首関節、左手先部の7点のそれぞれがたどる軌跡の長さを導出し、軌跡の長さの平均値LS,U(i)を求める。LT,U(i)に対するLS,U(i)の差LU(i)=LS,U(i)−LT,U(i)を第i時間分節における学習者の上半身の動きに対する評価項目動きの大きさを示すものと見なして、0を理想値とする評価値VLESTとして出力する。 With respect to the evaluation value VL EST , the evaluation value of the magnitude of movement is calculated as follows by separating the movement of the upper body and the movement of the lower body. During the i-th time segment, the trajectory followed by each of the seven points of the top of the exemplary motion data DATA MDL , the right elbow joint, the right wrist joint, the right hand tip, the left elbow joint, the left wrist joint, and the left hand tip The length is derived, and the average value L T, U (i) of the trajectory length is obtained. Similarly, the length of the trajectory traced by each of the seven points of the top, right elbow, right wrist, right hand, left elbow, left wrist, and left hand of the learner's physical movement data DATA MOT The average value L S, U (i) of the trajectory length is derived. L T, L S for U (i), the difference L U (i) = L S , U (i) -L T, upper body movement learner U (i) is in the i time segment of U (i) As an evaluation value VL EST with 0 as an ideal value, it is assumed that it indicates the magnitude of the evaluation item movement with respect to.

他方、第i番目の時間分節中において、模範動作データDATAMDLの右膝関節、右足首関節、右つま先部、左膝関節、左足首関節、左つま先部の6点のそれぞれがたどる軌跡の長さを導出し、軌跡の長さの平均値LT,L(i)を求める。同様に、身体動作データDATAMOTの右膝関節、右足首関節、右つま先、左膝関節、左足首関節、左つま先の6点のそれぞれがたどる軌跡の長さを導出し、軌跡の長さの平均値LS,L(i)を求める。LT,L(i)に対するLS,L(i)の差LL(i)=LS,L(i)−LT,L(i)を第i時間分節における学習者の下半身の動きに対する評価項目動きの大きさを示すものと見なして、0を理想値とする評価値VLESTとして出力する。 On the other hand, during the i-th time segment, the length of the trajectory traced by each of the six points of the right knee joint, right ankle joint, right toe part, left knee joint, left ankle joint, and left toe part of the exemplary motion data DATA MDL The average value L T, L (i) of the length of the trajectory is obtained. Similarly, the length of the trajectory followed by each of the six points of the right knee joint, right ankle joint, right toe, left knee joint, left ankle joint, and left toe of the body motion data DATA MOT is derived. An average value L S, L (i) is obtained. L T, L for L (i) S, the difference L L (i) = L S , L (i) -L T, lower body movements learner L a (i) in the segment i-th time L (i) As an evaluation value VL EST with 0 as an ideal value, it is assumed that it indicates the magnitude of the evaluation item movement with respect to.

評価値VLESTについて、キーポーズの評価値は以下のようにして計算される。第i番目の時間分節の終了時刻における全身の姿勢を振付の第i時間分節におけるキーポーズと見なし、頭頂部、首関節部、右肩関節、右肘関節、右手首関節、右手先部、左肩関節、左肘関節、左手首関節、左手先部、腰−胸部間関節、右股関節、右膝関節、右足首関節、右つま先部、左股関節、左膝関節、左足首関節、左つま先部の19点のそれぞれに関して、模範動作データDATAMDLにおける位置と、身体動作データDATAMOTにおける位置との差の大きさを計算して、全19点の位置の差の平均値D(i)を導出する。この値を第i時間分節における学習者の評価項目キーポーズの習得の度合を示すものと見なして、0を理想値とする評価値VLESTとして出力する。 For the evaluation value VL EST , the evaluation value of the key pose is calculated as follows. The posture of the whole body at the end time of the i-th time segment is regarded as a key pose in the i-th time segment of choreography, and the crown, neck joint, right shoulder joint, right elbow joint, right wrist joint, right hand tip, left shoulder joint 19 of the left elbow joint, left wrist joint, left hand tip, hip-chest joint, right hip joint, right knee joint, right ankle joint, right toe part, left hip joint, left knee joint, left ankle joint, left toe part For each of the points, the magnitude of the difference between the position in the exemplary motion data DATA MDL and the position in the body motion data DATA MOT is calculated, and an average value D (i) of the position differences of all 19 points is derived. This value is regarded as indicating the degree of acquisition of the learner's evaluation item key pose in the i-th time segment, and is output as an evaluation value VL EST having 0 as an ideal value.

評価値VLESTについて、振付の評価値は、上半身の動作および下半身の動作に分離して以下のようにして計算される。第i番目の時間分節中の各時刻において、頭頂部、右肘関節、右手首関節、右手先部、左肘関節、左手首関節、左手先部の7点のそれぞれに関して、模範動作データDATAMDLにおける位置と、身体動作データDATAMOTにおける位置との差の大きさを計算して、全7点の位置の差の平均値を導出する。第i番目の時間分節中のすべて時刻の平均値の平均値CU(i)を計算し、この値を第i時間分節における学習者の上半身の動きに対する評価項目振付の習得の度合を示すものと見なして、0を理想値とする評価値VLESTとして出力する。 With respect to the evaluation value VL EST , the evaluation value of choreography is calculated as follows by separating the movement of the upper body and the movement of the lower body. Exemplary motion data DATA MDL for each of the seven points of the crown, right elbow joint, right wrist joint, right hand tip, left elbow joint, left wrist joint and left hand tip at each time in the i-th time segment The magnitude of the difference between the position at and the position at the physical motion data DATA MOT is calculated, and the average value of the positions at all seven points is derived. The average value C U (i) of the average values of all times in the i-th time segment is calculated, and this value indicates the degree of acquisition of the evaluation item choreography for the learner's upper body movement in the i-th time segment And an evaluation value VL EST with 0 as an ideal value is output.

他方、第i番目の時間分節中の各時刻において、右膝関節、右足首関節、右つま先部、左膝関節、左足首関節、左つま先部の6点のそれぞれに関して、模範動作データDATAMDLにおける位置と、動作データDATAMOTにおける位置との差の大きさを計算して、全6点の位置の差の平均値を導出する。第i番目の時間分節中のすべての時刻の平均値の平均値CL(i)を計算し、この値を第i時間分節における学習者の下半身の動きに対する評価項目振付の習得の度合を示すものと見なして、0を理想値とする評価値VLESTとして出力する。 On the other hand, at each time in the i-th time segment, in each of the six points of the right knee joint, the right ankle joint, the right toe portion, the left knee joint, the left ankle joint, and the left toe portion, in the exemplary motion data DATA MDL The magnitude of the difference between the position and the position in the operation data DATA MOT is calculated, and the average value of the position differences of all six points is derived. The average value C L (i) of the average values of all times in the i-th time segment is calculated, and this value indicates the degree of acquisition of the evaluation item choreography for the movement of the learner's lower body in the i-th time segment. As an evaluation value, an evaluation value VL EST with 0 as an ideal value is output.

評価値VLESTについて、協応の評価値は、上半身の動作および下半身の動作における各身体姿勢の出現時間の差として以下のようにして計算される。
第i時間分節中の各時刻において、模範データ/学習者データ間時間差計算装置1312が出力した上半身姿勢時間差データDATADIF_UBが示す模範動作データDATAMDLに対する動作データDATAMOTの上半身の身体姿勢の出現時間の差の大きさと、模範データ/学習者データ間時間差計算装置1312が出力した下半身姿勢時間差データDATADIF_LBが示す模範動作データDATAMDLに対する動作データDATAMOTの下半身の身体姿勢の出現時間の差の大きさとの間の差の大きさを導出する。
第i番目の時間分節中のすべての差の平均値E(i)を計算し、この値を第i時間分節における評価項目協応の習得の度合を示すものと見なして、0を理想値とする評価値VLESTとして出力する。
Regarding the evaluation value VL EST , the evaluation value of cooperation is calculated as a difference between appearance times of body postures in the upper body motion and the lower body motion as follows.
The appearance time of the body posture of the upper body of the motion data DATA MOT with respect to the model motion data DATA MDL indicated by the upper body posture time difference data DATA DIF_UB output from the time difference calculation device 1312 between the model data / learner data at each time in the i-th time segment And the difference between the appearance time of the body posture of the lower body of the motion data DATA MOT with respect to the motion data DATA MDL of the lower body posture time difference data DATA DIF_LB output from the time difference calculation device 1312 between the model data and the learner data Deriving the magnitude of the difference between
An average value E (i) of all differences in the i-th time segment is calculated, and this value is regarded as indicating the degree of acquisition of evaluation item cooperation in the i-th time segment, and 0 is an ideal value. The evaluation value VL EST is output.

評価値VLESTついて、タイミングの評価値は、模範動作データDATAMDLにおける各身体姿勢の出現時刻に対する学習者の動作データDATAMOTにおける対応身体姿勢の出現時刻の差として以下のように計算される。
第i時間分節中の各時刻において、模範データ/学習者データ間時間差計算装置1312が出力した全身姿勢時間差データDATADIF_TBが示す模範動作データDATAMDLに対する動作データDATAMOTの身体姿勢の出現時間の差の大きさを導出する。第i番目の時間分節中のすべての差の平均値T(i)を計算し、この値を第i時間分節における評価項目タイミングの習得の度合を示すものと見なして、0を理想値とする評価値VLESTとして出力する。
Regarding the evaluation value VL EST , the evaluation value of timing is calculated as the difference between the appearance time of the corresponding body posture in the learner's motion data DATA MOT with respect to the appearance time of each body posture in the exemplary motion data DATA MDL .
Difference of appearance time of body posture of motion data DATA MOT with respect to model motion data DATA MDL indicated by whole body posture time difference data DATA DIF_TB output by model data / learner data time difference calculation device 1312 at each time in i-th time segment The size of is derived. An average value T (i) of all differences in the i-th time segment is calculated, and this value is regarded as indicating the degree of acquisition of the evaluation item timing in the i-th time segment, and 0 is an ideal value. Output as evaluation value VL EST .

評価値VLESTについて、なめらかさの評価値は以下のように計算される。
第i時間分節中の各時刻において、頭頂部、右肘関節、右手首関節、右手先部、左肘関節、左手首関節、左手先部、右膝関節、右足首関節、右つま先部、左膝関節、左足首関節、左つま先部の13点のそれぞれに関して、模範動作データDATAMDLの全13点の平均加速度と、動作データDATAMOTの全13点の平均加速度の差の大きさを導出する。第i番目の時間分節中のすべての差の大きさの平均値A(i)を計算し、この値を第i時間分節における評価項目なめらかさの習得の度合を示すものと見なして、0を理想値とする評価値VLESTとして出力する。
For the evaluation value VL EST , the evaluation value of smoothness is calculated as follows.
At each time in the i-th segment, the crown, right elbow, right wrist, right hand, left elbow, left wrist, left hand, right knee, right ankle, right toe, left For each of the 13 points of the knee joint, the left ankle joint, and the left toe, the magnitude of the difference between the average acceleration of all 13 points of the exemplary motion data DATA MDL and the average acceleration of all 13 points of the motion data DATA MOT is derived. . The average value A (i) of all the differences in the i-th time segment is calculated, and this value is regarded as indicating the degree of mastery of the smoothness of the evaluation item in the i-th time segment. The evaluation value VL EST as an ideal value is output.

図5は、評価装置132で総合評価得点を導出する構成図である。
図5において、階層構造ニューラルネットワーク1321は、入力層ユニット群1322、中間層ユニット群1323、出力層ユニット群1324からなる。
入力層ユニット群1322の各ユニットはすべてそれぞれが特定の結合重み値を持って中間層ユニット群1323のすべてのユニットと結合されており、中間層ユニット群1323中の各ユニットはすべてそれぞれが特定の結合重み値を持って出力層ユニット群1324と結合されている。項目評価部131から出力される評価値VLEST(j,k)が総合評価部132のニューラルネットワーク1321へ入力され、入力層ユニット群1322中の第iユニットへの入力値xiが決定される。入力層ユニット群1322中のM個のユニットすべてへの入力値が決定されると、中間層ユニット群1323中の第jユニットにおいて、中間層ユニット群1323中の第iユニットと第jユニットとの間の結合重み値wijを用いて次式の中間値yjが計算される。
j=1/[1+exp{−(w1j1+w2j2+・・・+wMjM)}]
FIG. 5 is a configuration diagram in which the evaluation device 132 derives a comprehensive evaluation score.
In FIG. 5, the hierarchical structure neural network 1321 includes an input layer unit group 1322, an intermediate layer unit group 1323, and an output layer unit group 1324.
All the units in the input layer unit group 1322 are combined with all the units in the intermediate layer unit group 1323, each having a specific combination weight value, and all the units in the intermediate layer unit group 1323 are each specified by a specific unit. The output layer unit group 1324 is coupled with a coupling weight value. The evaluation value VL EST (j, k) output from the item evaluation unit 131 is input to the neural network 1321 of the comprehensive evaluation unit 132, and the input value x i to the i-th unit in the input layer unit group 1322 is determined. . When the input values to all M units in the input layer unit group 1322 are determined, in the jth unit in the intermediate layer unit group 1323, the i th unit and the j th unit in the intermediate layer unit group 1323 are An intermediate value y j of the following equation is calculated using the joint weight value w ij between the two.
y j = 1 / [1 + exp {− (w 1j x 1 + w 2j x 2 +... + w Mj x M )}]

中間層ユニット群1323中のK個のユニットすべてにおいて中間値が計算されると、出力層ユニット群1324において、中間層ユニット群1323中の第jユニットと出力層ユニット群1324ユニットとの間の結合重み値vjを用いて次式の出力値zが計算され、その値が100点満点の総合評価得点TOTALESTとなる。
z=v11+v22+・・・+vKK
When the intermediate value is calculated in all K units in the intermediate layer unit group 1323, the output layer unit group 1324 has a coupling between the jth unit in the intermediate layer unit group 1323 and the output layer unit group 1324 unit. An output value z of the following equation is calculated using the weight value v j , and the value becomes a total evaluation score TOTAL EST with a maximum score of 100 points.
z = v 1 y 1 + v 2 y 2 +... + v K y K

階層構造ニューラルネットワーク1321に対して、以下のようにしてあらかじめ学習作業が行われる。
あらかじめ取得された動作データDATAMOTのサンプル群のそれぞれを、項目評価部131に入力してサンプル評価値群を得、同時に、サンプル群を使用して作成されたそれぞれのアニメーションに対して舞踊指導者が100点満点の評価を行い、総合評価得点サンプル群を得る。そして、サンプル評価値群を入力教師データとし、総合評価得点サンプル群を出力教師データとして、バックプロパゲーション法により階層構造ニューラルネットワーク1321中のユニット間の結合重み値を導出する。
Learning work is performed in advance on the hierarchical neural network 1321 as follows.
Each sample group of motion data DATA MOT acquired in advance is input to the item evaluation unit 131 to obtain a sample evaluation value group, and at the same time, a dance instructor for each animation created using the sample group Evaluates to a maximum of 100 points to obtain a comprehensive evaluation score sample group. Then, by using the sample evaluation value group as input teacher data and the comprehensive evaluation score sample group as output teacher data, a connection weight value between units in the hierarchical structure neural network 1321 is derived by the back propagation method.

図6に、評価結果表示装置14による表示画面DSPLを示す。
本実施形態では、表示画面DSPLに評価が評価項目ごとに評価値VLESTで表示されるとともに、各評価についてのレーダチャートCHRTが表示されている。また、総合評価として総合点が「得点」欄に記載されている。
表示画面DSPLの下部には、第何番の第何拍目かを示すインジケータIDCおよび所望番の所望拍に表示を移動するためのスライダSLDが設けられている。
図6では、評価項目として、「動きの大きさ」、「キーポーズ」、「振付」、「動作の協応」、「タイミング」、「なめらかさ」が挙げられている。
図6では、レーダチャートCHRTおよび評価値VLESTとともに、骨格構造人体モデルMDLSKLTNがアニメーションで示される。これにより、学習者は、一連の身体動作全体に対して、評価項目の合計評価や全評価項目の総合評価を受けることができるので、欠点や達成点を知ることができる。
FIG. 6 shows a display screen DSPL by the evaluation result display device 14.
In this embodiment, the evaluation is displayed as an evaluation value VL EST for each evaluation item on the display screen DSPL, and a radar chart CHRT for each evaluation is displayed. Moreover, the comprehensive score is described in the “score” column as a comprehensive evaluation.
Below the display screen DSPL, an indicator IDC indicating the number and number of beats and a slider SLD for moving the display to a desired number of desired beats are provided.
In FIG. 6, “size of movement”, “key pose”, “choreography”, “coordination of movement”, “timing”, and “smoothness” are listed as evaluation items.
In FIG. 6, the skeletal structure human body model MDL SKLTN is shown by animation together with the radar chart CHRT and the evaluation value VL EST . Thereby, the learner can receive the total evaluation of the evaluation items and the comprehensive evaluation of all the evaluation items with respect to the entire series of body movements, and thus can know the defects and achievement points.

1 身体動作学習支援装置
11 モーションキャプチャ装置
12 動作データ記憶装置
13 評価装置
14 評価結果表示装置
111 磁気式センサ群
112 コンピュータ
131 項目評価部
132 総合評価部
1311 時間分節分割装置
1312 模範データ/学習者データ間時間差計算装置
1313 項目評価装置
1321 階層構造ニューラルネットワーク
1322 入力層ユニット群
1323 中間層ユニット群
1324 出力層ユニット群
A 学習者
CHRT レーダチャート
DATADIF_TB 全身姿勢時間差データ
DATADIF_UB 上半身姿勢時間差データ
DATADIF_LB 下半身姿勢時間差データ
DATADIV 振付分割時刻データ
DATAMOT 動作データ
DATAMDL 模範動作データ
DATAPART 時間分節データ
ITMEST(j,k) 評価項目
IDC インジケータ
MDLSKLTN 骨格構造人体モデル(スケルトン)
SLD スライダ
TOTALEST 総合評価得点
VLEST(j,k),VLEST 評価値(点数またはランク)
DESCRIPTION OF SYMBOLS 1 Body motion learning support apparatus 11 Motion capture apparatus 12 Motion data storage apparatus 13 Evaluation apparatus 14 Evaluation result display apparatus 111 Magnetic sensor group 112 Computer 131 Item evaluation part 132 Comprehensive evaluation part 1311 Time segmentation division apparatus 1312 Model data / learner data Inter-time difference calculation device 1313 Item evaluation device 1321 Hierarchical structure neural network 1322 Input layer unit group 1323 Intermediate layer unit group 1324 Output layer unit group A Learner CHRT Radar chart DATA DIF_TB Whole body posture time difference data DATA DIF_UB Upper body posture time difference data DATA DIF_LB Lower body posture Time difference data DATA DIV choreographic division time data DATA MOT operation data DATA MDL model operation data DATA PART time segment data ITM EST (j, k) Evaluation item I DC indicator MDL SKLTN human body model (skeleton)
SLD slider TOTAL EST overall evaluation score VL EST (j, k), VL EST evaluation value (score or rank)

Claims (4)

練習により習得される一人または二人以上の学習者の身体動作を評価するとともに、模範動作との差異がわかるように前記身体動作をアニメーションで表現する身体動作学習支援装置において、
前記身体動作を身体動作データとして取得するモーションキャプチャ装置と、
前記モーションキャプチャ装置により取得した身体動作データを記憶するとともに、当該身体動作データとの比較に用いられる模範動作データを記憶する動作データ記憶装置と、
前記動作データ記憶装置に記憶されている前記身体動作データと前記模範動作データとを比較することにより前記身体動作を点数またはランクを用いて評価する評価装置と、
前記動作データ記憶装置に記憶されている前記身体動作データおよび前記模範動作データを用いて、前記身体動作を前記アニメーションで表現するとともに、前記評価装置による前記評価の結果を表示する評価結果表示装置と、
を備え、
前記評価装置は、一連の前記身体動作について時間軸上で分割されたパートごとに、少なくとも1つの評価項目の評価を行い、またはさらに、一連の前記身体動作全体に対して、少なくとも1つの評価項目の評価を行う、
ことを特徴とする身体動作学習支援装置。
In the body movement learning support device that evaluates the body movement of one or more learners acquired by practice and expresses the body movement by animation so that the difference from the model movement can be understood,
A motion capture device for acquiring the physical motion as physical motion data;
A motion data storage device that stores physical motion data acquired by the motion capture device and stores exemplary motion data used for comparison with the physical motion data;
An evaluation device that evaluates the physical motion using a score or rank by comparing the physical motion data stored in the motion data storage device and the exemplary motion data;
An evaluation result display device for expressing the physical motion as the animation using the physical motion data and the exemplary motion data stored in the motion data storage device, and displaying the result of the evaluation by the evaluation device; ,
With
The evaluation apparatus evaluates at least one evaluation item for each part divided on the time axis for the series of body movements, or further, at least one evaluation item for the whole series of body movements Evaluate
A body movement learning support device characterized by the above.
前記時間軸上で分割された前記パートごとに、前記評価項目の組み合わせが異なることを特徴とする請求項1に記載の身体動作学習支援装置。   The body motion learning support apparatus according to claim 1, wherein the combination of the evaluation items is different for each of the parts divided on the time axis. 前記時間軸上で分割されたパートおよび/または前記評価項目が、前記学習者により決定されることを特徴とする請求項1に記載の身体動作学習支援装置。   The physical motion learning support device according to claim 1, wherein the part and / or the evaluation item divided on the time axis are determined by the learner. 前記身体動作および前記模範動作が、舞踊であることを特徴とする請求項1から3の何れか一項に記載の身体動作学習支援装置。   The body motion learning support apparatus according to claim 1, wherein the body motion and the model motion are dances.
JP2013003155A 2013-01-11 2013-01-11 Body motion learning support device Pending JP2014133015A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013003155A JP2014133015A (en) 2013-01-11 2013-01-11 Body motion learning support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013003155A JP2014133015A (en) 2013-01-11 2013-01-11 Body motion learning support device

Publications (1)

Publication Number Publication Date
JP2014133015A true JP2014133015A (en) 2014-07-24

Family

ID=51411793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013003155A Pending JP2014133015A (en) 2013-01-11 2013-01-11 Body motion learning support device

Country Status (1)

Country Link
JP (1) JP2014133015A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017055913A (en) * 2015-09-15 2017-03-23 株式会社東芝 Motion form determination device, determination method, determination program, and determination system
WO2019049216A1 (en) * 2017-09-05 2019-03-14 富士通株式会社 Grading method, grading program and grading device
JP2019040421A (en) * 2017-08-25 2019-03-14 株式会社東芝 Detection system and detection method
JP2019088469A (en) * 2017-11-14 2019-06-13 帝人フロンティア株式会社 Method for acquiring similarities of motions, system, terminal, and program
JP2019136493A (en) * 2018-02-12 2019-08-22 龍飛 莊 Exercise scoring method, system and program
JP2020081528A (en) * 2018-11-28 2020-06-04 富士通株式会社 Display method, display program, and information processing apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11212582A (en) * 1998-01-27 1999-08-06 Daiichikosho Co Ltd Karaoke device provided with choreography scoring function
JP2001134767A (en) * 1999-11-01 2001-05-18 Atr Media Integration & Communications Res Lab Calibrating device for three-dimensional continuous motion
JP2009092871A (en) * 2007-10-05 2009-04-30 Yamaha Corp Scoring device and program
JP2009297240A (en) * 2008-06-12 2009-12-24 Panasonic Corp Learning support apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11212582A (en) * 1998-01-27 1999-08-06 Daiichikosho Co Ltd Karaoke device provided with choreography scoring function
JP2001134767A (en) * 1999-11-01 2001-05-18 Atr Media Integration & Communications Res Lab Calibrating device for three-dimensional continuous motion
JP2009092871A (en) * 2007-10-05 2009-04-30 Yamaha Corp Scoring device and program
JP2009297240A (en) * 2008-06-12 2009-12-24 Panasonic Corp Learning support apparatus and method

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017055913A (en) * 2015-09-15 2017-03-23 株式会社東芝 Motion form determination device, determination method, determination program, and determination system
JP2019040421A (en) * 2017-08-25 2019-03-14 株式会社東芝 Detection system and detection method
WO2019049216A1 (en) * 2017-09-05 2019-03-14 富士通株式会社 Grading method, grading program and grading device
CN111093782A (en) * 2017-09-05 2020-05-01 富士通株式会社 Scoring method, scoring program, and scoring device
JPWO2019049216A1 (en) * 2017-09-05 2020-07-30 富士通株式会社 Scoring method, scoring program and scoring device
JP7067561B2 (en) 2017-09-05 2022-05-16 富士通株式会社 Scoring method, scoring program and scoring device
US11645872B2 (en) 2017-09-05 2023-05-09 Fujitsu Limited Scoring method, scoring apparatus, and recording medium
JP2019088469A (en) * 2017-11-14 2019-06-13 帝人フロンティア株式会社 Method for acquiring similarities of motions, system, terminal, and program
JP7072369B2 (en) 2017-11-14 2022-05-20 帝人フロンティア株式会社 Methods, systems, terminals and programs for determining the similarity of operations
JP2019136493A (en) * 2018-02-12 2019-08-22 龍飛 莊 Exercise scoring method, system and program
JP2020081528A (en) * 2018-11-28 2020-06-04 富士通株式会社 Display method, display program, and information processing apparatus
JP7222226B2 (en) 2018-11-28 2023-02-15 富士通株式会社 DISPLAY METHOD, DISPLAY PROGRAM AND INFORMATION PROCESSING DEVICE

Similar Documents

Publication Publication Date Title
CN108777081B (en) Virtual dance teaching method and system
CN108665492B (en) Dance teaching data processing method and system based on virtual human
Kyan et al. An approach to ballet dance training through ms kinect and visualization in a cave virtual reality environment
CN108463271B (en) System and method for motor skill analysis and skill enhancement and prompting
CN108764120B (en) Human body standard action evaluation method
JP2014133015A (en) Body motion learning support device
Ma et al. A motion capture library for the study of identity, gender, and emotion perception from biological motion
US20210104213A1 (en) Information processing device, information processing method and program
Alabbasi et al. Human motion tracking & evaluation using Kinect V2 sensor
CN109815930B (en) Method for evaluating action simulation fitting degree
JPWO2013129606A1 (en) Running form diagnostic system and method for scoring running form
US20220398937A1 (en) Information processing device, information processing method, and program
Kitsikidis et al. Multi-sensor technology and fuzzy logic for dancer’s motion analysis and performance evaluation within a 3D virtual environment
CN115188074A (en) Interactive physical training evaluation method, device and system and computer equipment
Oshita et al. Self-training system for tennis shots with motion feature assessment and visualization
Ashwin et al. A systematic review of intelligent tutoring systems based on Gross body movement detected using computer vision
Majumdar et al. Framework for teaching Bharatanatyam through digital medium
US20200406098A1 (en) Techniques for golf swing measurement and optimization
Wang Evaluation of sports visualization based on wearable devices
Uzunova et al. Virtual reality system for motion capture analysis and visualization for folk dance training
Zhang A Teaching Model Combining Aesthetic Education and Action Education Based on Cluster Mining under the Background of Big Data.
Ghosh et al. Text-Based Motion Synthesis with a Hierarchical Two-Stream RNN
Zhao et al. Research on the identification and evaluation of aerobics movements based on deep learning
Tits Expert gesture analysis through motion capture using statistical modeling and machine learning
KR102421092B1 (en) Virtual training apparatus for recognizing training movement and virtual training system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170220

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170927

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180302