JP2007121217A - Bodily motion analyzer - Google Patents
Bodily motion analyzer Download PDFInfo
- Publication number
- JP2007121217A JP2007121217A JP2005316863A JP2005316863A JP2007121217A JP 2007121217 A JP2007121217 A JP 2007121217A JP 2005316863 A JP2005316863 A JP 2005316863A JP 2005316863 A JP2005316863 A JP 2005316863A JP 2007121217 A JP2007121217 A JP 2007121217A
- Authority
- JP
- Japan
- Prior art keywords
- analysis
- dance
- joint angle
- angle data
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Abstract
Description
この発明は身体動作解析装置および身体動作解析方法に関し、特にたとえば、リズムに従ってダンスを踊る被験者の身体動作を解析する、身体動作解析装置および身体動作解析方法に関する。 The present invention relates to a body motion analysis device and a body motion analysis method, and more particularly to a body motion analysis device and a body motion analysis method for analyzing, for example, the body motion of a subject who dances according to a rhythm.
従来のこの種の身体動作解析装置の一例が非特許文献１に開示される。この非特許文献１によれば、カメラで撮影されたダンサーのシルエット画像を生成し、生成したシルエット画像をスケルトン化処理する。次にスケルトン画像をハフ(Hough)変換し、ハフ変換により得られた上半身の主軸（上半身主軸）のハフパラメータを追跡処理する。この追跡処理では、ハフパラメータの時間的な連続性を仮定して、ハフ空間上での近傍処理を利用し、近隣領域から最適なハフパラメータを選択する。その結果、ハフパラメータの時系列集合が得られ、これがダンサーの動き情報を表すパラメータとなる。そして、ハフパラメータのθ成分に着目し、その時系列データをフーリエ変換し、ダンサーの身体動作のリズム性を検証（解析）していた。 An example of this type of conventional body motion analysis apparatus is disclosed in Non-Patent Document 1. According to Non-Patent Document 1, a silhouette image of a dancer photographed by a camera is generated, and the generated silhouette image is skeletonized. Next, the skeleton image is subjected to Hough transform, and the Huff parameter of the upper body main axis (upper body main axis) obtained by the Hough transform is tracked. In this tracking process, assuming the temporal continuity of the Hough parameter, the optimum Hough parameter is selected from the neighboring region by using the neighborhood processing on the Hough space. As a result, a time series set of Hough parameters is obtained, and this is a parameter representing the dancer's movement information. Focusing on the θ component of the Hough parameter, the time-series data was Fourier transformed to verify (analyze) the rhythmicity of the dancer's body movement.
また、人の身体動作を認識する手法としては、非特許文献２に開示されるような、身体部位間の動作相関解析が広く用いられている。
しかし、非特許文献１に記載された評価では、上半身部分の主軸部分を追跡処理した結果得られるパラメータに基づいて、ダンサーの身体動作のリズム性を検証するようにしてあるため、身体動作のリズム性を正確に検証できているとは言えなかった。つまり、ダンスにおいては、上半身部分の主軸部分のみならず、頭部、手および足の動きも重要な要素であり、より広範な身体部位の動き情報を取得する必要があった。また、各身体部位の動きが正確なリズムで動いているとしても、他の身体部位に関係なくばらばらに動いている場合には、全体としてまとまりのないダンスになってしまう。 However, in the evaluation described in Non-Patent Document 1, the rhythmicity of the body motion of the dancer is verified based on the parameters obtained as a result of tracking the main axis portion of the upper body portion. It could not be said that the sex was correctly verified. In other words, in the dance, not only the main axis part of the upper body part but also movements of the head, hands and feet are important elements, and it is necessary to acquire movement information of a wider body part. Moreover, even if the movement of each body part moves with an accurate rhythm, if it moves apart regardless of other body parts, the dance becomes uncoordinated as a whole.
また、ダンス動作は、単調な１つの動きだけで構成されているわけではなく、大きな動きや小さな動きが複雑に絡み合っている。このため、非特許文献２に開示された動作相関解析では、大小様々な動きの要因が相互に影響し、結果として相関が弱くなる可能性がある。 In addition, the dance operation is not composed of only one monotonous movement, but large and small movements are intricately intertwined. For this reason, in the motion correlation analysis disclosed in Non-Patent Literature 2, factors of various movements may affect each other, resulting in a weak correlation.
それゆえに、この発明の主たる目的は、新規な、身体動作解析装置および身体動作解析方法を提供することである。 Therefore, a main object of the present invention is to provide a new body motion analysis apparatus and body motion analysis method.
この発明の他の目的は、身体動作についてのリズム性を詳細に解析することができる、身体動作解析装置および身体動作解析方法を提供することである。 Another object of the present invention is to provide a body motion analysis device and a body motion analysis method capable of analyzing in detail the rhythmicity of body motion.
請求項１の発明は、３次元位置検出手段、関節角度データ算出手段、解析手段、および相関関数算出手段を備える、身体動作解析装置である。３次元位置検出手段は、所定の身体動作を行う被験者の複数の身体部位についての３次元位置を時系列に従って検出する。関節角度データ算出手段は、３次元位置検出手段によって検出された被験者の複数の身体部位についての３次元位置に基づいて、少なくとも１つの関節についての関節角度データを算出する。解析手段は、関節角度データ算出手段によって算出された関節角度データを多重解像度解析する。相関関数算出手段は、解析手段によって多重解像度解析された関節角度データの自己相関関数および相互相関関数の少なくとも一方を算出する。 The invention of claim 1 is a body motion analysis device comprising a three-dimensional position detection means, a joint angle data calculation means, an analysis means, and a correlation function calculation means. The three-dimensional position detecting means detects a three-dimensional position of a plurality of body parts of a subject who performs a predetermined body motion in time series. The joint angle data calculation means calculates joint angle data for at least one joint based on the three-dimensional positions of the body parts of the subject detected by the three-dimensional position detection means. The analysis means performs multi-resolution analysis on the joint angle data calculated by the joint angle data calculation means. The correlation function calculation means calculates at least one of the autocorrelation function and the cross correlation function of the joint angle data subjected to the multiresolution analysis by the analysis means.
請求項１の発明では、身体動作解析装置（１０：実施例で相当する参照符号。以下、同じ。）は、３次元位置検出手段（１４）、関節角度データ算出手段（１２）、解析手段（１２）、および相関関数算出手段（１２）を備える。３次元位置検出手段（１４）は、所定の身体動作を行う被験者の複数の身体部位についての３次元位置を時系列に従って検出する。関節角度データ算出手段（１２）は、３次元位置検出手段（１４）によって検出された被験者の複数の身体部位についての３次元位置に基づいて、少なくとも１つの関節についての関節角度データを算出する。解析手段（１２）は、関節角度データ算出手段（１２）によって算出された関節角度データを多重解像度解析する。相関関数算出手段（１２）は、解析手段（１２）によって多重解像度解析された関節角度データの自己相関関数および相互相関関数の少なくとも一方を算出する。たとえば、算出した自己相関関数から各身体部位のリズム感を評価し、また、算出した相互相関関数からダンス全体のまとまりの良さを評価する。 According to the first aspect of the present invention, the body motion analysis device (10: reference numeral corresponding to the embodiment. The same applies hereinafter) includes three-dimensional position detection means (14), joint angle data calculation means (12), analysis means ( 12) and correlation function calculation means (12). The three-dimensional position detection means (14) detects a three-dimensional position of a plurality of body parts of a subject who performs a predetermined body motion in time series. The joint angle data calculation means (12) calculates joint angle data for at least one joint based on the three-dimensional positions of the body parts of the subject detected by the three-dimensional position detection means (14). The analysis means (12) performs multi-resolution analysis on the joint angle data calculated by the joint angle data calculation means (12). The correlation function calculation means (12) calculates at least one of the autocorrelation function and the cross correlation function of the joint angle data subjected to the multiresolution analysis by the analysis means (12). For example, the sense of rhythm of each body part is evaluated from the calculated autocorrelation function, and the goodness of the whole dance is evaluated from the calculated cross-correlation function.
請求項１の発明によれば、多重解像度解析と相関関数とを組み合わせるので、どの身体部位のどのレベル（周期）の動き（動きの大きさ）が適切であるかどうかを判定することができる。 According to the first aspect of the present invention, since the multi-resolution analysis and the correlation function are combined, it is possible to determine which level (cycle) of which body part is appropriate (motion magnitude).
請求項２の発明は請求項１に従属し、解析手段はウェーブレット変換を用いて関節角度データを多重解像度解析し、各レベルのウェーブレット・ディテールが関節角度データをどの程度説明しているのかについての寄与率を算出する寄与率算出手段をさらに備え、相関関数算出手段は、寄与率算出手段によって算出された寄与率が所定値以上のレベルについてのウェーブレット・ディテールについての自己相関関数および相互相関関数の少なくとも一方を算出する。 The invention of claim 2 is dependent on claim 1, and the analysis means performs multi-resolution analysis of the joint angle data using wavelet transform, and how much each wavelet detail explains the joint angle data. A contribution rate calculating means for calculating a contribution rate, wherein the correlation function calculating means includes an autocorrelation function and a cross-correlation function for wavelet details for a level at which the contribution rate calculated by the contribution rate calculation means is equal to or greater than a predetermined value; At least one is calculated.
請求項２の発明では、解析手段（１２）はウェーブレット変換を用いて関節角度データを多重解像度解析する。寄与率算出手段（１２）は、各レベルのウェーブレット・ディテールが関節角度データをどの程度説明しているのかについての寄与率を算出する。したがって、相関関数算出手段（１２）は、寄与率算出手段（１２）によって算出された寄与率が所定値以上のレベルについてのウェーブレット・ディテールについての自己相関関数および相互相関関数の少なくとも一方を算出する。 In the invention of claim 2, the analysis means (12) performs multi-resolution analysis of the joint angle data using wavelet transform. The contribution rate calculation means (12) calculates a contribution rate as to how much the wavelet detail of each level explains the joint angle data. Accordingly, the correlation function calculating means (12) calculates at least one of the autocorrelation function and the cross correlation function for the wavelet detail for the level at which the contribution ratio calculated by the contribution ratio calculating means (12) is a predetermined value or more. .
請求項２の発明によれば、寄与率が所定値以上のレベルについてのみ相関関数を算出するので、処理コストを削減することができる。 According to the invention of claim 2, since the correlation function is calculated only for the level where the contribution rate is equal to or higher than the predetermined value, the processing cost can be reduced.
請求項３の発明は請求項１または２に従属し、相関関数算出手段は、同じ周期で動くべき身体部位について相互相関関数を算出する。 The invention of claim 3 is dependent on claim 1 or 2, and the correlation function calculating means calculates a cross-correlation function for a body part that should move in the same cycle.
請求項３の発明では、相関関数算出手段（１２）は、同じ周期で動くべき身体部位について相互相関関数を算出する。つまり、各身体部位の相関を調べて、ダンス全体としてのまとまりの良さを評価するのである。 In the invention of claim 3, the correlation function calculating means (12) calculates the cross-correlation function for the body part that should move in the same cycle. That is, the correlation of each body part is examined and the goodness of the whole dance is evaluated.
請求項３の発明によれば、同じ周期で動くべき身体部位についての相互相関を算出するので、ダンス全体のとしてのまとまりの良さを知ることができ、その評価を正確に行うことができる。 According to invention of Claim 3, since the cross correlation about the body part which should move with the same period is calculated, the goodness of the unity as the whole dance can be known, and the evaluation can be performed correctly.
請求項４の発明は、(a)所定の身体動作を行う被験者の複数の身体部位についての３次元位置を時系列に従って検出し、(b)ステップ(a)によって検出された被験者の複数の身体部位についての３次元位置に基づいて、少なくとも１つの関節についての関節角度データを算出し、(c)ステップ(b)によって算出された関節角度データを多重解像度解析し、そして(d)ステップ(c)によって多重解像度解析された関節角度データの自己相関関数および相互相関関数の少なくとも一方を算出する、身体動作解析方法。 The invention according to claim 4 is: (a) detecting a three-dimensional position of a plurality of body parts of a subject who performs a predetermined body motion according to a time series, and (b) a plurality of bodies of the subject detected by step (a). Based on the three-dimensional position of the part, joint angle data for at least one joint is calculated, (c) the joint angle data calculated in step (b) is subjected to multiresolution analysis, and (d) step (c ) To calculate at least one of an autocorrelation function and a cross-correlation function of the joint angle data subjected to the multiresolution analysis.
請求項４の発明においても、請求項１の発明と同様に、どの身体部位のどのレベル（周期）の動き（動きの大きさ）が適切であるかどうかを判定することができる。 In the invention of claim 4, as in the invention of claim 1, it is possible to determine which level (period) of movement (magnitude of movement) of which body part is appropriate.
この発明によれば、多重解像度解析と相関解析とを実行するうため、身体部位毎のリズム性および他の身体部位との関係を正確に解析することができる。 According to the present invention, since multi-resolution analysis and correlation analysis are performed, the rhythmicity of each body part and the relationship with other body parts can be accurately analyzed.
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
図１を参照して、この実施例の身体動作解析装置１０は、コンピュータ１２を含み、コンピュータ１２には、モーションキャプチャシステム１４およびディスプレイ１６が接続される。ただし、ディスプレイ（スクリーン）１６は接続されなくてもよい。コンピュータ１２は、汎用のＰＣ或いはワークステーションのようなコンピュータである。モーションキャプチャシステム１４は、被験者Ａの身体部位の３次元位置を時系列に従って検出する。このモーションキャプチャシステム（３次元動作計測装置）１４としては、公知のモーションキャプチャシステムが適用される。たとえば、ＶＩＣＯＮ社（http://www.vicon.com/）の光学式のモーションキャプチャシステムを用いることができる。 With reference to FIG. 1, the body motion analysis apparatus 10 of this embodiment includes a computer 12, to which a motion capture system 14 and a display 16 are connected. However, the display (screen) 16 may not be connected. The computer 12 is a computer such as a general-purpose PC or a workstation. The motion capture system 14 detects the three-dimensional position of the body part of the subject A according to time series. As this motion capture system (three-dimensional motion measurement device) 14, a known motion capture system is applied. For example, an optical motion capture system of VICON (http://www.vicon.com/) can be used.
なお、コンピュータ１２による身体動作についての解析結果などが、ディスプレイ１６に必要に応じて表示され、被験者Ａ等に提示される。 In addition, the analysis result etc. about the body movement by the computer 12 are displayed on the display 16 as needed and presented to the subject A or the like.
図示は省略するが、モーションキャプチャシステム１４は、ＰＣ或いはワークステーションのようなコンピュータを含み、当該コンピュータとコンピュータ１２とが、有線または無線ＬＡＮによって通信可能に接続される。 Although illustration is omitted, the motion capture system 14 includes a computer such as a PC or a workstation, and the computer and the computer 12 are communicably connected by a wired or wireless LAN.
モーションキャプチャシステム１４においては、図２に示すように、複数（１２台）のカメラ１４ａが被験者Ａを前後左右から撮影可能な位置に設定される。ただし、図２はモーションキャプチャシステム１４が設置される部屋を上面から見た場合を示してあり、被験者Ａは位置Ｐ（部屋の中心）で身体動作（この実施例では、ダンス）を行う。カメラ１４ａは、赤外線照射機能を有し、被験者Ａに装着される複数（この実施例では、２０個）の赤外線反射マーカ３０の３次元位置を検出する。図３（Ａ）および図３（Ｂ）に示すように、複数（２０個）の赤外線反射マーカ３０は、被験者Ａの所定の身体部位に装着される。具体的には、図３（Ａ）に示すように、被験者Ａを正面から見て、右前頭部、左前頭部、右肩、左肩、右肘、左肘、右手首、左手首、鎖骨中央部、鳩尾、右腰、左腰、右膝、左膝、右足首、左足首の１６箇所に、また、図３（Ｂ）に示すように、被験者Ａを背面から見て、右後頭部、左後頭部、背中、背中の４箇所に、赤外線反射マーカ３０が装着される。 In the motion capture system 14, as shown in FIG. 2, a plurality (12) of cameras 14a are set at positions where the subject A can be photographed from the front, rear, left and right. However, FIG. 2 shows a case where the room in which the motion capture system 14 is installed is viewed from above, and the subject A performs physical movement (dance in this embodiment) at the position P (center of the room). The camera 14a has an infrared irradiation function and detects a three-dimensional position of a plurality (20 in this embodiment) of the infrared reflection markers 30 attached to the subject A. As shown in FIGS. 3 (A) and 3 (B), a plurality (20) of infrared reflection markers 30 are attached to a predetermined body part of the subject A. Specifically, as shown in FIG. 3 (A), the subject A is viewed from the front, and the right forehead, left forehead, right shoulder, left shoulder, right elbow, left elbow, right wrist, left wrist, center of the clavicle Part, pigeon tail, right hip, left hip, right knee, left knee, right ankle, left ankle, and as shown in FIG. Infrared reflective markers 30 are mounted at four locations on the back of the head, back, and back.
なお、分かり易く示すために、図３（Ｂ）では、肩、肘、手首、腰、膝、足首に装着された赤外線反射マーカ３０を省略してあるが、これらの身体部位に装着された赤外線反射マーカ３０は背面からも見える（撮影可能な）位置に装着される。 For the sake of clarity, in FIG. 3B, the infrared reflective markers 30 attached to the shoulder, elbow, wrist, waist, knee, and ankle are omitted, but the infrared rays attached to these body parts. The reflective marker 30 is mounted at a position where it can be seen (captured) from the back.
モーションキャプチャシステム１４のコンピュータは、カメラ１４ａから画像データをたとえば１２０Hz（１秒間に１２０フレーム）で取得し、画像データを画像処理することによって、その計測時の全ての画像データにおける各マーカ３０の２次元位置を取得する。そして、コンピュータは、画像データにおける各マーカ３０の２次元位置に基づいて、実空間における各マーカ３０の３次元位置を算出する。次いで、コンピュータは、算出した３次元位置の座標データ（位置データ）をコンピュータ１２の要求に応じて、或いは、定期的に、コンピュータ１２に送信する。 The computer of the motion capture system 14 acquires image data from the camera 14a at, for example, 120 Hz (120 frames per second), and performs image processing on the image data, so that 2 of each marker 30 in all image data at the time of measurement is obtained. Get the dimension position. Then, the computer calculates the three-dimensional position of each marker 30 in the real space based on the two-dimensional position of each marker 30 in the image data. Next, the computer transmits coordinate data (position data) of the calculated three-dimensional position to the computer 12 in response to a request from the computer 12 or periodically.
なお、この実施例で用いたモーションキャプチャシステム１４の空間分解能は約１ｍｍである。 The spatial resolution of the motion capture system 14 used in this embodiment is about 1 mm.
ここで、人の身体動作を認識する手法としては、身体部位間の動作相関解析が広く知られている。しかし、ダンス動作は、単調な１つの動きだけで構成されているわけではなく、大きな動きや小さな動きが複雑に絡み合っている。このため、モーションキャプチャシステム１４から得られた位置データに基づいて算出された各関節角度データをそのまま用いて動作相関解析を行っても、大小様々な（周期の異なる）動きの要因が相互に影響し、結果として相関が弱くなる可能性がある。 Here, motion correlation analysis between body parts is widely known as a method for recognizing a human body motion. However, the dance motion is not composed of only one monotonous movement, and large and small movements are intricately intertwined. For this reason, even if motion correlation analysis is performed using each joint angle data calculated based on the position data obtained from the motion capture system 14 as it is, various large and small (with different periods) motion factors influence each other. As a result, the correlation may be weakened.
そこで、この実施例では、コンピュータ１２は、モーションキャプチャシステム１４から得られた位置データに基づいて各関節角度データを算出し、算出した各関節角度データをウェーブレット変換を用いて多重解像度解析し、特定の周波数帯域を持つ単一動作データに分解する。そして、コンピュータ１２は、周波数レベル毎に分解された単一動作データに対し、動作相関解析を行う。このように、多重解像度解析と相関解析との２段構えで、身体動作解析装置１０（コンピュータ１２）は、被験者Ａの身体動作を解析するようにしてある。 Therefore, in this embodiment, the computer 12 calculates each joint angle data based on the position data obtained from the motion capture system 14, performs multi-resolution analysis on each calculated joint angle data using wavelet transform, and specifies Is decomposed into single operation data having a frequency band of. Then, the computer 12 performs motion correlation analysis on the single motion data decomposed for each frequency level. As described above, the body motion analysis apparatus 10 (computer 12) analyzes the body motion of the subject A in a two-stage manner of multi-resolution analysis and correlation analysis.
ここで、ウェーブレット解析は、マザー・ウェーブレット関数を用いて、時間と周波数との両面から信号（この実施例では、関節角度データ）を分解して分析する手法である。ここで、マザー・ウェーブレット関数Ψ（ｔ）は数１を満たす関数の総称である。 Here, the wavelet analysis is a technique of decomposing and analyzing a signal (joint angle data in this embodiment) from both sides of time and frequency using a mother wavelet function. Here, the mother wavelet function Ψ (t) is a generic name of functions satisfying Equation 1.
ここで、マザー・ウェーブレット関数としては、様々なものが提案されているが、この実施例では、Ｄａｕｂｅｃｈｉｅｓのウェーブレット関数を用いてある。また、マザー・ウェーブレット関数をΨ（ｔ）とするとき、離散ウェーブレット変換に基づくウェーブレット展開係数ｄj,kは数２で示される。 Here, various mother wavelet functions have been proposed. In this embodiment, the Daubechies wavelet function is used. Further, when the mother wavelet function is ψ (t), the wavelet expansion coefficient d j, k based on the discrete wavelet transform is expressed by the following equation (2).
ただし、ウェーブレット展開係数ｄj,kは、ｘ（ｔ）の時点２ｊｋ、周波数レベル２−ｊにおける成分を抽出したものである。このとき、ｘ（ｔ）の周波数レベル２−ｊの成分ｘｊ（ｔ）は、数３で表現することができる。これがレベルｊのウェーブレット・ディテールと呼ばれている。 However, the wavelet expansion coefficient d j, k is a component extracted at time point 2 j k and frequency level 2- j of x (t). At this time, the component x j (t) of the frequency level 2 −j of x (t) can be expressed by Equation 3. This is called level j wavelet detail.
上述したような構成の身体動作装置１０では、たとえば、ダンスを踊る被験者Ａの複数の身体部位についての３次元位置の時系列変化がモーションキャプチャシステム１４で検出される。コンピュータ１２は、モーションキャプチャシステム１４で検出された２０箇所の身体部位についての３次元位置の座標データの時系列変化に基づいて、９つの関節角度のデータ（関節角度データ）の時系列変化を算出する。 In the body motion device 10 configured as described above, for example, the motion capture system 14 detects a time-series change in the three-dimensional position of a plurality of body parts of a subject A who is dancing. The computer 12 calculates the time series change of the nine joint angle data (joint angle data) based on the time series change of the coordinate data of the three-dimensional position for the 20 body parts detected by the motion capture system 14. To do.
ここで、９つの関節角度は、右肘の角度、左肘の角度、右脇の角度、左脇の角度、右膝の角度、左膝の角度、右大腿部の角度、左大腿部の角度、そして、身体中心線の傾き（角度）である。右肘（左肘）の角度は、右（左）手首と右（左）肘とを結ぶ直線と、右（左）肘と右（左）肩とを結ぶ直線とがなす角度である。右脇（左脇）の角度は、右（左）肘と右（左）肩とを結ぶ直線と、身体中心線とがなす角度である。ただし、身体中心線は、胴体（鎖骨中央部、鳩尾、背中、背中）に装着された４つの赤外線反射マーカ３０の３次元位置に基づいて算出される。以下、同様である。 Here, the nine joint angles are: right elbow angle, left elbow angle, right armpit angle, left armpit angle, right knee angle, left knee angle, right thigh angle, left thigh And the inclination (angle) of the body centerline. The angle of the right elbow (left elbow) is an angle formed by a straight line connecting the right (left) wrist and the right (left) elbow and a straight line connecting the right (left) elbow and the right (left) shoulder. The right side (left side) angle is an angle formed by a straight line connecting the right (left) elbow and the right (left) shoulder and the body centerline. However, the body center line is calculated based on the three-dimensional positions of the four infrared reflection markers 30 attached to the trunk (the central part of the clavicle, the pigeon tail, the back, and the back). The same applies hereinafter.
また、右膝（左膝）の角度は、右（左）足首と右（左）膝とを結ぶ直線と、右（左）膝と右（左）腰とを結ぶ直線とがなす角度である。右大腿部（左大腿部）の角度は、右（左）膝と右（左）腰を結ぶ直線と、身体中心線とがなす角度である。身体中心線の傾き（角度）は、身体中心線と、地面に垂直な線とがなす角度である。 The angle of the right knee (left knee) is an angle formed by a straight line connecting the right (left) ankle and the right (left) knee and a straight line connecting the right (left) knee and the right (left) waist. . The angle of the right thigh (left thigh) is an angle formed by a straight line connecting the right (left) knee and the right (left) waist and the body centerline. The inclination (angle) of the body center line is an angle formed by the body center line and a line perpendicular to the ground.
図４（Ａ）は、ダンス動作における専門家の右肘の関節角度についての時系列データ（元データ）を示すグラフである。ただし、図４（Ａ）に示すグラフにおいて（図４（Ｂ），図５（Ａ），図５（Ｂ），図６も同様。）、縦軸は平均値周りの角度（ラジアン）であり、横軸は経過時間（フレーム）である。図４（Ａ）に示す時系列データを多重解像度解析した結果の一部が、図４（Ｂ）、図５（Ａ）、図５（Ｂ）および図６に示される。図４（Ｂ）はレベル４（周期が０．２５ｓｅｃ程度）の動作を抽出したウェーブレット・ディテールであり、図５（Ａ）はレベル５（周期が０．５ｓｅｃ程度）の動作を抽出したウェーブレット・ディテールであり、図５（Ｂ）はレベル６（周期が１．０ｓｅｃ程度）の動作を抽出したウェーブレット・ディテールであり、図６はレベル７（周期が２．０ｓｅｃ程度）の動作を抽出したウェーブレット・ディテールである。 FIG. 4A is a graph showing time-series data (original data) about the joint angle of the expert's right elbow in a dance operation. However, in the graph shown in FIG. 4A (the same applies to FIG. 4B, FIG. 5A, FIG. 5B, and FIG. 6), the vertical axis is the angle around the average value (radians). The horizontal axis is the elapsed time (frame). A part of the result of multi-resolution analysis of the time series data shown in FIG. 4A is shown in FIG. 4B, FIG. 5A, FIG. 5B, and FIG. FIG. 4B is a wavelet detail obtained by extracting an operation of level 4 (period is about 0.25 sec), and FIG. 5A is a wavelet detail obtained by extracting an operation of level 5 (period is about 0.5 sec). FIG. 5B is a wavelet detail obtained by extracting the operation at level 6 (cycle is about 1.0 sec), and FIG. 6 is a wavelet obtained by extracting the operation at level 7 (cycle is about 2.0 sec).・ Details.
ところで、ウェーブレット変換はエネルギー保存の法則を満たすことが知られている。このため、エネルギーを分析することで、レベルｊのウェーブレット・ディテールがどの程度元データを説明しているのかを知ることができる。具体的には、レベルｊのウェーブレット・ディテールがどの程度元データを説明しているかの度合い（以下、「寄与率」という。）Ｃｊは、数４で算出することができる。 By the way, it is known that the wavelet transform satisfies the law of conservation of energy. For this reason, by analyzing the energy, it is possible to know how much the level j wavelet details explain the original data. Specifically, the degree to which the level j wavelet detail explains the original data (hereinafter referred to as “contribution rate”) C j can be calculated by Equation 4.
この数４に従って算出された寄与率Ｃｊの一例が図７に示される。この寄与率Ｃｊは、上述したように、専門家がダンスを踊った際の時系列データに基づいて算出されたものである。図７では、各身体部位について、レベルｊに対応して寄与率Ｃｊが記述される。ただし、各身体部位は、上述した９つの関節である。 An example of the contribution rate C j calculated according to this equation 4 is shown in FIG. As described above, the contribution rate C j is calculated based on time-series data when an expert dances. In FIG. 7, the contribution rate C j is described for each body part corresponding to the level j. However, each body part is the nine joints described above.
この実施例では、ダンスの巧拙を評価する際の尺度として、（１）ダンスのリズム感と、（２）ダンス動作全体のまとまりの良さとに着目し、これらの尺度を定量化する。ただし、寄与率Ｃｊが所定の閾値（たとえば、１０％）を超えるウェーブレット・ディテールのみを用いて相関解析を行うようにしてある。また、相互相関解析では、相関を取る２つの身体部位の両方の寄与率Ｃｊが所定の閾値を超える場合に解析対象とするようにしてある。 In this embodiment, as measures for evaluating the skill of dance, (1) the rhythm feeling of dance and (2) the goodness of the whole dance operation are focused, and these measures are quantified. However, the correlation analysis is performed using only the wavelet details whose contribution rate C j exceeds a predetermined threshold (for example, 10%). In the cross-correlation analysis, when the contribution ratios C j of both of two body parts to be correlated exceed a predetermined threshold, the analysis target is set.
なお、後述する専門家のダンス動作の解析結果は、図７に示す寄与率Ｃｊに基づいて解析対象にするか否かを判断するようにしてある。 Note that it is determined whether or not the analysis result of the expert's dance motion described later is to be analyzed based on the contribution rate C j shown in FIG.
たとえば、ヒップホップ系のダンスでは、音楽のリズムにあわせて踊ることが重要視される。リズムにあわせて、ダンスの基本動作を踊った場合、各身体部位はリズム間隔の整数倍周期で同じ動きを繰り返すと考えられる。そこで、この実施例では、音楽のテンポ（１分間のビート回数：ＢＰＭ）と自己相関関数とを組み合わせることにより、ダンス動作のリズム感を評価するようにしてある。 For example, in hip-hop dance, it is important to dance to the rhythm of music. When the basic movement of dance is performed according to the rhythm, each body part is considered to repeat the same movement at an integral multiple of the rhythm interval. Therefore, in this embodiment, the rhythmic feeling of the dance operation is evaluated by combining the tempo of music (number of beats per minute: BPM) and the autocorrelation function.
レベルｊのウェーブレット・ディテールをｘｊ（ｔ）とすると、自己相関関数Ｒｘｘ，ｊ（τ）は数５のように定義される。 If the wavelet detail at level j is x j (t), the autocorrelation function R xx, j (τ) is defined as
ここで、自己相関関数Ｒｘｘ，ｊ（τ）はＲｘｘ，ｊ（０）のときに最大値をとり、ウェーブレット・ディテールｘｊ（ｔ）が周期的であれば、自己相関関数Ｒｘｘ，ｊ（τ）も同じ周期でピークを示す。したがって、たとえば、音楽のビート間隔をτＢとすると、リズムに乗ったダンス動作の場合における動作データの自己相関関数Ｒｘｘ（τ）はτ＝ατＢ（αは整数）のときにピークを示すと考えられる。そこで、この実施例では、自己相関関数Ｒｘｘ，ｊ（τ）がピークを示す時のτの値τＰと、ατＢとの乖離を調べ、リズム感を評価する尺度とする。ただし、この実施例では、自己相関関数Ｒｘｘ，ｊ（τ）をτ＝０で規格化した自己相関係数ｒｘｘ，ｊ（τ）を用いて解析を行うようにしてある。 Here, the autocorrelation function R xx, j (τ) takes the maximum value at R xx, j (0), and if the wavelet detail x j (t) is periodic, the autocorrelation function R xx, j j (τ) also shows a peak with the same period. Therefore, for example, if the beat interval of music is τ B , the autocorrelation function R xx (τ) of motion data in the case of a dance motion riding on a rhythm shows a peak when τ = ατ B (α is an integer). it is conceivable that. Therefore, in this embodiment, the difference between τ value τ P and α τ B when the autocorrelation function R xx, j (τ) exhibits a peak is examined and used as a scale for evaluating the sense of rhythm. However, in this embodiment, the analysis is performed using the autocorrelation coefficient r xx, j (τ) obtained by normalizing the autocorrelation function R xx, j (τ) with τ = 0.
また、各身体部位の動きがリズムに乗っていたとしても、それぞれの動きに関連がなく、ばらばらに動いている場合には、全身運動のダンス動作として見ると、まとまりに欠けてしまう。つまり、良いダンスとは言いがたい。そこで、この実施例では、身体部位の相互の動きについてどの程度関連性があるのかを相互相関関数によって定量化し、ダンス動作全体のまとまりの良さを評価するようにしてある。ただし、この実施例では、身体部位の相互の関連性を、図８に示すような２４個の組み合わせについて調べた。この図８では、相互相関を調べるための２つの身体部位が示され、それに対応して調べる内容について説明してある。また、図８の左欄に記載の２つの身体部位は、同じ周期で動くべき身体部位の組み合わせである。 Also, even if the movements of the body parts are on the rhythm, they are not related to each movement, and if they are moving apart, they are not coherent when viewed as a whole body movement dance operation. In other words, it's hard to say good dance. Therefore, in this embodiment, the degree of relevance of the mutual movements of the body parts is quantified by a cross-correlation function, and the goodness of the whole dance action is evaluated. However, in this example, the relationship between body parts was examined for 24 combinations as shown in FIG. In FIG. 8, two body parts for examining the cross-correlation are shown, and the contents to be examined correspondingly are described. Further, the two body parts described in the left column of FIG. 8 are combinations of body parts that should move in the same cycle.
また、動作データｘ（ｔ），ｙ（ｔ）のレベルｊのウェーブレット・ディテールをそれぞれｘｊ（ｔ），ｙｊ（ｔ）とすると、ｘｊ（ｔ），ｙｊ（ｔ）の相互相関関数Ｒｘｙ，ｊ（τ）は数６のように定義される。 Further, if the wavelet details of the level j of the motion data x (t) and y (t) are x j (t) and y j (t), respectively, the cross correlation between x j (t) and y j (t) The function R xy, j (τ) is defined as in Equation 6.
ここで、この実施例では、相互相関関数Ｒｘｙ，ｊ（τ）を√｛Ｒｘｘ，ｊ（０）Ｒｙｙ，ｊ（０）｝で規格化した相互相関係数ｒｘｙ，ｊ（τ）を用いて解析を行うようにしてある。 Here, in this embodiment, the cross-correlation function R xy, j (τ) to √ {R xx, j (0 ) R yy, j (0)} correlation coefficient r xy standardized by, j (tau ) Is used for analysis.
以下、専門家のダンス動作の解析結果とアマチュアのダンス動作の解析結果とを図示し、アマチュアのダンス動作について評価することにする。ただし、前提として、専門家およびアマチュアは同じ振り付けで同じ音楽にあわせてダンスを踊った場合について説明する。 Hereinafter, the analysis result of the dance motion of the expert and the analysis result of the dance motion of the amateur will be illustrated, and the amateur dance motion will be evaluated. However, as a premise, experts and amateurs will explain the case of dancing to the same music with the same choreography.
図９〜図１２は、専門家のダンスについての自己相関関数を図示したものである。また、図１３〜図１６は、アマチュアのダンスについての自己相関関数を図示したのものである。横軸は各身体部位であり、縦軸は自己相関関数のパラメータτ（時間（フレーム））である。ただし、レベルは動きの周期（大きさ）を示し、上述したように、レベル４では周期が０．２５ｓｅｃ程度であり、レベル５では周期が０．５ｓｅｃ程度であり、レベル６では周期が１．０ｓｅｃであり、そして、レベル７では周期が２．０ｓｅｃである。また、各図面において、前腕は肘に対応し、上腕は脇に対応し、そして、下腿は膝に対応する。さらに、各図面においては、画素値が白に近づくほど正の相関が強く、黒に近づくほど負の相関が強いことを示している。ただし、灰色の身体部位は無相関を示す。また、各図面において、黒色で網掛けて（塗り潰して）あるのは、解析対象外（寄与率１０％未満）であることを示す。以下、同じ。 9-12 illustrate autocorrelation functions for expert dance. FIGS. 13 to 16 illustrate autocorrelation functions for amateur dance. The horizontal axis represents each body part, and the vertical axis represents the autocorrelation function parameter τ (time (frame)). However, the level indicates the cycle (magnitude) of movement. As described above, the cycle at level 4 is about 0.25 sec, the cycle at level 5 is about 0.5 sec, and at level 6 the cycle is 1.. 0 sec, and at level 7 the cycle is 2.0 sec. In each drawing, the forearm corresponds to the elbow, the upper arm corresponds to the side, and the lower leg corresponds to the knee. Further, in each drawing, it is shown that the positive correlation is stronger as the pixel value is closer to white, and the negative correlation is stronger as it is closer to black. However, gray body parts are uncorrelated. Further, in each drawing, shaded black (filled out) indicates that it is not subject to analysis (contribution rate is less than 10%). same as below.
図９〜図１２を見ると、専門家のダンスでは、いずれのレベルの動きにおいても、すべての身体部位について自己相関関数のピークと音楽のビート間隔とがぴったりと一致していることが分かる。これに対して、図１３〜図１６に示すように、アマチュアのダンスは、ほとんどの身体部位の動きがリズムに乗れていないことが分かる。ただし、図１４に示すレベル５および図１６に示すレベル７の自己相関関数を見ると、右膝（右下腿部）および左膝（左下腿部）の動きは或る程度リズムに乗ることができていると言える。これらの身体部位（膝）の寄与率は、レベル５では５０％であり、レベル７では１５％程度であり、このことからも、膝の動きは或る程度リズムに乗ることができていると言える。また、膝以外の身体部位の動きについては、レベル７の自己相関関数（大まかな動き）においては、リズムに乗っていると判断することができる。しかし、それ以外のレベル（レベル４〜レベル６）では、寄与率の高い動きができていないことが分かる。 9 to 12, it can be seen that in the professional dance, the peak of the autocorrelation function and the beat interval of the music are exactly the same for all body parts at any level of movement. On the other hand, as shown in FIGS. 13 to 16, it can be seen that in the amateur dance, most of the movements of the body parts are not on the rhythm. However, when looking at the level 5 autocorrelation function shown in FIG. 14 and the level 7 autocorrelation function shown in FIG. 16, the movement of the right knee (right lower leg) and left knee (left lower leg) may have some degree of rhythm. It can be said that it is made. The contribution ratio of these body parts (knees) is 50% at level 5 and about 15% at level 7, and from this, it can be said that the movement of the knees can get on the rhythm to some extent. I can say that. As for the movement of the body part other than the knee, it can be determined that the level 7 autocorrelation function (rough movement) is on the rhythm. However, it can be seen that at other levels (level 4 to level 6), a movement with a high contribution rate is not made.
図１７〜図２０は、図１３〜図１６に示した自己相関関数についての被験者と同じ被験者に、ダンスの専門家によるレッスンを何回か受けてもらい、レッスン後に踊ったダンスについての自己相関関数を示す。 17 to 20 show the same subject as the subject for the autocorrelation function shown in FIGS. 13 to 16 to receive several lessons by a dance specialist, and the autocorrelation function for the dance danced after the lesson. Indicates.
図１７〜図２０を見ると、レッスンの結果、アマチュアのダンスに大きな改善が見られることが分かる。ただし、両大腿部については、依然としてリズムに上手く乗れていない。また、左上腕に関しても、図１９に示すレベル６の動きにおいて、ややリズムに乗れていないことが分かる。 17 to 20, it can be seen that as a result of the lesson, the amateur dance is greatly improved. However, the thighs are still not riding well. It can also be seen that the upper left arm is not able to get on the rhythm in the level 6 movement shown in FIG.
なお、アマチュアのダンスに改善が見られた点は他人による主観評価でも明らかであり、また、自己相関関数によってリズムに乗れていないことが分かる身体部位は、専門家が指摘する身体部位と同じであった。 The improvement in amateur dance is also evident in subjective evaluations by others, and the body parts that are found not to be on the rhythm by the autocorrelation function are the same as those pointed out by experts. there were.
また、ウェーブレット解析による多重解像度解析を用いなかった場合における通常の自己相関関数の結果が図２１および図２２に示される。ただし、図２１は専門家のダンスについての自己相関関数であり、図２２はアマチュアのダンス（レッスン後）についての自己相関関数である。多重解像度解析を用いなかった場合には、図２１および図２２に示すように、専門家とアマチュアとの違いを判定することができず、レッスン後のアマチュアのダンスには何ら欠点が無いように見える。つまり、多重解像度解析を用いない場合には、ダンスを踊った際の各身体部位の動きを適切に評価することができないと言える。 Moreover, the result of the normal autocorrelation function when the multi-resolution analysis by the wavelet analysis is not used is shown in FIGS. However, FIG. 21 is an autocorrelation function for an expert dance, and FIG. 22 is an autocorrelation function for an amateur dance (after a lesson). When multi-resolution analysis is not used, as shown in FIG. 21 and FIG. 22, the difference between an expert and an amateur cannot be determined, and there is no fault in the amateur dance after the lesson. appear. In other words, when multi-resolution analysis is not used, it can be said that the movement of each body part when dancing is not properly evaluated.
次に、寄与率を考慮に入れて、相互相関関数と音楽のビート情報とを併用して、ダンスの評価（まとまり評価）を行う。上述したように、身体部位の相互の動きについての関連を調べるために、図８に示した２４の組み合わせについてそれぞれ相互相関関数を算出した。 Next, taking into account the contribution rate, the cross-correlation function and the beat information of the music are used in combination to evaluate the dance (collective evaluation). As described above, in order to examine the relationship between the movements of the body parts, cross-correlation functions were calculated for each of the 24 combinations shown in FIG.
図２３〜図２６は専門家のダンスについての相互相関関数を示す。また、図２７〜図３０はアマチュアのダンスについての相互相関関数を示す。図２３〜図２６を見ると、専門家のダンスでは、特に寄与率の高いレベル（レベル５，６）では、各身体部位の動きがビートと合致し、互いに密接に関連して動いていることが分かる。また、細かい動き（レベル４）に関しても、それぞれの動きに強い相関が見られる。一方、図２７〜図３０を見ると、アマチュアは右膝（右大腿）と左膝（左大腿）との関連は、寄与率の高いレベル５において認められるが、それ以外の身体部位の関連はいずれのレベルにおいても認められない。 23-26 show the cross-correlation functions for the expert dance. FIGS. 27 to 30 show cross-correlation functions for amateur dance. As shown in FIGS. 23 to 26, in the professional dance, especially at the high contribution level (levels 5 and 6), the movement of each body part matches the beat and moves closely related to each other. I understand. In addition, a strong correlation is seen in each movement with respect to a fine movement (level 4). On the other hand, in FIGS. 27 to 30, in the amateur, the relationship between the right knee (right thigh) and the left knee (left thigh) is recognized at level 5 where the contribution ratio is high, but the relationships of other body parts are Not allowed at any level.
図３１〜図３４は、レッスン後のアマチュアのダンスについての相互相関関数を示す。図３１〜図３４を見ると、レッスンを受けたことによって、各身体部位が互いに関連して動くようになったことが分かる。ただし、図３３に示すレベル６の結果を見ると、横縞が波打っているため、関連して動くタイミングがばらばらであるということが分かる。同じくレベル６においては、図２５と図３３と比較すると、左上腕と左大腿部との相関が、専門家と逆の符号になっていることが分かる。 31-34 show the cross-correlation functions for amateur dance after lessons. Referring to FIGS. 31 to 34, it can be seen that each body part moves in relation to each other by taking a lesson. However, looking at the result of level 6 shown in FIG. 33, it can be seen that the horizontal stripes are wavy, and the timings of movement in relation are different. Similarly, at level 6, it can be seen that the correlation between the left upper arm and the left thigh has the opposite sign to that of the expert when compared with FIGS.
また、どのレベルにおいても、上腕（脇の角度）と大腿部との動きが連動するタイミング（相関がピークを示すτの値）は専門家とアマチュアとでかなり差があり、レッスンを受けたものの、これらの身体部位の動きが上達していないことが分かる。さらに、身体傾き（図中では「胴体」と表記してある。）と大腿部との動きが、寄与率の高いレベル６およびレベル７では関連していると認められるが、レベル５では関連していると認められなかった。つまり、細かい動きについては関連が取れていないことが分かる。 Also, at any level, the timing at which the movement of the upper arm (side angle) and the thigh are linked (the value of τ at which the correlation shows a peak) is significantly different between experts and amateurs, and they took lessons. However, it can be seen that the movement of these body parts has not improved. Furthermore, it is recognized that the body inclination (indicated as “torso” in the figure) and the movement of the thigh are related at levels 6 and 7 where the contribution ratio is high, but at level 5 it is related. It was not recognized that he was doing. In other words, it can be seen that there is no relation for fine movement.
また、ウェーブレット解析による多重解像度解析を用いなかった場合における通常の相互相関関数の結果が図３５および図３６に示される。ただし、図３５は専門家のダンスについての相互相関関数であり、図３６はアマチュアのダンス（レッスン後）についての相互相関関数である。 Moreover, the result of the normal cross-correlation function when the multi-resolution analysis by wavelet analysis is not used is shown in FIGS. However, FIG. 35 is a cross-correlation function for an expert dance, and FIG. 36 is a cross-correlation function for an amateur dance (after a lesson).
図３５を見ると、専門家のダンスであっても、通常の相互相関関数ではさほど高い相関は観測されないことが分かる。これは、様々な大きさ（周期）の動きが相互に関連して相関を打ち消していることが原因と考えられる。しかし、ウェーブレット解析による多重解像度解析を行うと、大きさ（周期）の同じ動きのみで相関を見るため、図２３〜図２６に示したような強い相関が認めるのである。 From FIG. 35, it can be seen that even a professional dance does not observe a very high correlation with a normal cross-correlation function. This is considered to be because movements of various magnitudes (periods) cancel each other in correlation with each other. However, when multi-resolution analysis by wavelet analysis is performed, the correlation is observed only with the same magnitude (period) movement, and thus a strong correlation as shown in FIGS. 23 to 26 is recognized.
また、専門家とアマチュアとでは、左上腕と左大腿部との相関を比較して見ると、通常の相互相関関数では、アマチュアはこれらの身体部位の動きに関連が無いということしか分からない。しかし、図２５と図３３と比較して見ると、アマチュアは比較的寄与率の高いレベル６においては、相関が認められるが、その符号は専門家のダンス動作についての相関と逆であり、アマチュアは専門家と逆の動きをしていることが分かる。このように、ウェーブレット変換を利用した多重解像度解析と相互相関関数とを用いると、アマチュアのダンスのどの身体部位の動きが適切でないのかを判定できるだけでなく、どの大きさ（周期）の動きがどのように適切でないのかまでを判定することができる。 In addition, when comparing the correlation between the left upper arm and the left thigh between an expert and an amateur, the normal cross-correlation function only shows that the amateur is not related to the movement of these body parts. . However, when compared with FIG. 25 and FIG. 33, the amateur shows a correlation at level 6 where the contribution ratio is relatively high, but the sign is opposite to the correlation with respect to the dance performance of the expert. Can be seen to be the opposite of the experts. In this way, using multi-resolution analysis and cross-correlation functions using wavelet transforms, you can not only determine which body part of an amateur dance is appropriate, but also what magnitude (period) of movement. It is possible to determine whether it is not appropriate.
この実施例によれば、ウェーブレット変換を利用した多重解像度解析と相関関数とを組み合わせるので、どの身体部位のどのレベル（周期）の動き（動きの大きさ）が適切であるかどうかを判定することができる。また、音楽のリズムを相関解析の結果の評価に利用することにより、リズム感、ダンスのまとまりを定量的に評価することができる。 According to this embodiment, since the multi-resolution analysis using the wavelet transform and the correlation function are combined, it is determined whether or not the motion (the magnitude of the motion) of which level (period) of which body part is appropriate. Can do. Further, by using the rhythm of music for the evaluation of the result of correlation analysis, it is possible to quantitatively evaluate the sense of rhythm and the group of dances.
なお、この実施例では、ダンスの専門家およびアマチュアがそれぞれダンスを踊った場合にはおけるダンス動作の自己相関関数および相互相関関数を比較することにより、ダンスを評価するようにしてある。しかし、これに限定される必要はなく、図７に示したような寄与率を専門家およびアマチュアについて算出し、寄与率が一致するか否かでダンスを評価することもできる。 In this embodiment, when a dance specialist and an amateur dance, the dance is evaluated by comparing the autocorrelation function and the cross-correlation function of the dance action. However, the present invention is not limited to this, and a contribution rate as shown in FIG. 7 can be calculated for experts and amateurs, and the dance can be evaluated based on whether or not the contribution rates match.
また、この実施例では、ダンス動作を評価するようにしたが、これに限定される必要はない。たとえば、リハビリを行っている患者の歩行動作を評価（判定）することもできる。また、ダンス動作のように、専門家の動作と対比することが可能であれば、当該動作を判定するものとして使用することができる。たとえば、野球やゴルフのスウィング動作、ボーリングの投球動作、体操などの動作が該当する。 In this embodiment, the dance operation is evaluated. However, the present invention is not limited to this. For example, it is possible to evaluate (determine) the walking motion of a patient undergoing rehabilitation. In addition, if it is possible to compare with the action of an expert like a dance action, the action can be used as a judgment. For example, a swing operation of baseball or golf, a bowling throwing operation, or a gymnastic operation is applicable.
１０ …身体動作解析装置
１２ …コンピュータ
１４ …モーションキャプチャシステム
１６ …ディスプレイ
DESCRIPTION OF SYMBOLS 10 ... Body motion analysis apparatus 12 ... Computer 14 ... Motion capture system 16 ... Display
Claims (4)
前記３次元位置検出手段によって検出された前記被験者の複数の身体部位についての３次元位置に基づいて、少なくとも１つの関節についての関節角度データを算出する関節角度データ算出手段、
前記関節角度データ算出手段によって算出された関節角度データを多重解像度解析する解析手段、および
前記解析手段によって多重解像度解析された関節角度データの自己相関関数および相互相関関数の少なくとも一方を算出する相関関数算出手段を備える、身体動作解析装置。 Three-dimensional position detection means for detecting three-dimensional positions of a plurality of body parts of a subject who performs a predetermined body motion in time series;
Joint angle data calculating means for calculating joint angle data for at least one joint based on the three-dimensional positions for the plurality of body parts of the subject detected by the three-dimensional position detecting means;
Analysis means for multi-resolution analysis of joint angle data calculated by the joint angle data calculation means, and a correlation function for calculating at least one of an autocorrelation function and a cross-correlation function of joint angle data subjected to multi-resolution analysis by the analysis means A body motion analysis apparatus comprising a calculation means.
各レベルのウェーブレット・ディテールが前記関節角度データをどの程度説明しているのかについての寄与率を算出する寄与率算出手段をさらに備え、
前記相関関数算出手段は、前記寄与率算出手段によって算出された寄与率が所定値以上のレベルについてのウェーブレット・ディテールについての自己相関関数および相互相関関数の少なくとも一方を算出する、請求項１記載の身体動作解析装置。 The analysis means performs multi-resolution analysis of the joint angle data using wavelet transform,
A contribution rate calculating means for calculating a contribution rate for how much the wavelet detail of each level explains the joint angle data;
The correlation function calculating unit calculates at least one of an autocorrelation function and a cross-correlation function for wavelet details for a level at which the contribution rate calculated by the contribution rate calculating unit is equal to or higher than a predetermined value. Body motion analysis device.
(b)前記ステップ(a)によって検出された前記被験者の複数の身体部位についての３次元位置に基づいて、少なくとも１つの関節についての関節角度データを算出し、
(c)前記ステップ(b)によって算出された関節角度データを多重解像度解析し、そして
(d)前記ステップ(c)によって多重解像度解析された関節角度データの自己相関関数および相互相関関数の少なくとも一方を算出する、身体動作解析方法。 (a) detecting a three-dimensional position of a plurality of body parts of a subject who performs a predetermined body movement in time series,
(b) calculating joint angle data for at least one joint based on the three-dimensional positions for the plurality of body parts of the subject detected in step (a);
(c) Multi-resolution analysis of the joint angle data calculated by step (b), and
(d) A body motion analysis method for calculating at least one of an autocorrelation function and a cross-correlation function of joint angle data subjected to multi-resolution analysis in the step (c).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005316863A JP2007121217A (en) | 2005-10-31 | 2005-10-31 | Bodily motion analyzer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005316863A JP2007121217A (en) | 2005-10-31 | 2005-10-31 | Bodily motion analyzer |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007121217A true JP2007121217A (en) | 2007-05-17 |
Family
ID=38145208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005316863A Withdrawn JP2007121217A (en) | 2005-10-31 | 2005-10-31 | Bodily motion analyzer |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007121217A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012110573A (en) * | 2010-11-26 | 2012-06-14 | Chiba Univ | Dynamic knee joint composite diagnostic apparatus |
| WO2013103151A1 (en) * | 2012-01-04 | 2013-07-11 | 株式会社ニコン | Electronic device, method for generating information, and method for estimating position |
| JP2017520336A (en) * | 2014-03-17 | 2017-07-27 | コア スポーツ テクノロジー グループＣｏｒｅ Ｓｐｏｒｔｓ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ | Method and system for delivering biomechanical feedback to human body and object motion |
| CN110575177A (en) * | 2019-09-10 | 2019-12-17 | 电子科技大学 | Gait classification and quantification method based on Mahalanobis distance |
| WO2022191140A1 (en) * | 2021-03-08 | 2022-09-15 | 国立大学法人 東京大学 | 3d position acquisition method and device |
| JP7468871B2 (en) | 2021-03-08 | 2024-04-16 | 国立大学法人 東京大学 | 3D position acquisition method and device |
-
2005
- 2005-10-31 JP JP2005316863A patent/JP2007121217A/en not_active Withdrawn
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012110573A (en) * | 2010-11-26 | 2012-06-14 | Chiba Univ | Dynamic knee joint composite diagnostic apparatus |
| WO2013103151A1 (en) * | 2012-01-04 | 2013-07-11 | 株式会社ニコン | Electronic device, method for generating information, and method for estimating position |
| JP2017520336A (en) * | 2014-03-17 | 2017-07-27 | コア スポーツ テクノロジー グループＣｏｒｅ Ｓｐｏｒｔｓ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ | Method and system for delivering biomechanical feedback to human body and object motion |
| CN110575177A (en) * | 2019-09-10 | 2019-12-17 | 电子科技大学 | Gait classification and quantification method based on Mahalanobis distance |
| CN110575177B (en) * | 2019-09-10 | 2020-12-15 | 电子科技大学 | Gait classification and quantification method based on Mahalanobis distance |
| WO2022191140A1 (en) * | 2021-03-08 | 2022-09-15 | 国立大学法人 東京大学 | 3d position acquisition method and device |
| JP7468871B2 (en) | 2021-03-08 | 2024-04-16 | 国立大学法人 東京大学 | 3D position acquisition method and device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ahmadi et al. | Automatic activity classification and movement assessment during a sports training session using wearable inertial sensors | |
| Ahmadi et al. | Toward automatic activity classification and movement assessment during a sports training session | |
| US10244990B2 (en) | Systems and methods for rehabilitation of limb motion | |
| Yoo et al. | Automated markerless analysis of human gait motion for recognition and classification | |
| Geisheimer et al. | High-resolution Doppler model of the human gait | |
| Lin et al. | Online segmentation of human motion for automated rehabilitation exercise analysis | |
| US8175326B2 (en) | Automated scoring system for athletics | |
| Tanawongsuwan et al. | Gait recognition from time-normalized joint-angle trajectories in the walking plane | |
| Ghasemzadeh et al. | Coordination analysis of human movements with body sensor networks: A signal processing model to evaluate baseball swings | |
| Tafazzoli et al. | Model-based human gait recognition using leg and arm movements | |
| Seifert et al. | Doppler radar for the extraction of biomechanical parameters in gait analysis | |
| Riaz et al. | Motion reconstruction using very few accelerometers and ground contacts | |
| Kumar et al. | Gait recognition based on vision systems: A systematic survey | |
| Motiian et al. | Automated extraction and validation of children’s gait parameters with the Kinect | |
| CN112970074A (en) | Physical activity quantification and monitoring | |
| Dang et al. | Experimental characterisation of walking locomotion on rigid level surfaces using motion capture system | |
| Visee et al. | An effective and efficient method for detecting hands in egocentric videos for rehabilitation applications | |
| Abdulatif et al. | Person identification and body mass index: A deep learning-based study on micro-Dopplers | |
| Piórek et al. | Quaternions and joint angles in an analysis of local stability of gait for different variants of walking speed and treadmill slope | |
| Elaoud et al. | Skeleton-based comparison of throwing motion for handball players | |
| Lahkar et al. | Accuracy of a markerless motion capture system in estimating upper extremity kinematics during boxing | |
| JP2005339100A (en) | Body motion analysis device | |
| JP2007121217A (en) | Bodily motion analyzer | |
| JP4149455B2 (en) | Information processing apparatus and program | |
| US20110166821A1 (en) | System and method for analysis of ice skating motion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090106 |