JP2005339100A - 身体動作解析装置 - Google Patents

Abstract

【構成】 身体動作解析装置１０はコンピュータ１２を含み、コンピュータ１２には、ダンスする被験者の映像が入力される。コンピュータ１２は、入力された映像に基づいて、人物シルエット画像を抽出する。次に、コンピュータ１２は、色処理により、人物シルエット画像から被験者の各部位を検出するとともに、人物シルエット画像をスケルトン画像に変換する。続いて、スケルトン画像をハフ変換することにより、各部位を直線近似し、各部位をカルマンフィルタにより時間追跡する。そして、時間追跡されたハフパラメータには、ＳＶＤが施され、身体動作の動き特徴量を抽出する。その後、抽出した動き特徴量の時系列データをフーリエ変換することにより、周波数解析する。
【効果】 被験者の身体動作全体のリズム要素を抽出することができる。
【選択図】 図１

Description

この発明は身体動作解析装置および身体動作解析方法に関し、特にたとえば、リズムに従ってダンスを踊る被験者の身体動作を解析する、身体動作解析装置および身体動作解析方法に関する。

従来のこの種の身体動作解析装置の一例が非特許文献１に開示される。この非特許文献１によれば、カメラで撮影されたダンサーのシルエット画像を生成し、生成したシルエット画像をスケルトン化処理する。次にスケルトン画像をハフ(Hough)変換し、ハフ変換により得られた上半身の主軸（上半身主軸）のハフパラメータを追跡処理する。この追跡処理では、ハフパラメータの時間的な連続性を仮定して、ハフ空間上での近傍処理を利用し、近隣領域から最適なハフパラメータを選択する。その結果、ハフパラメータの時系列集合が得られ、これがダンサーの動き情報を表すパラメータとなる。そして、ハフパラメータのθ成分に着目し、その時系列データをフーリエ変換し、ダンサーの身体動作のリズム性を検証（解析）していた。
「動作解析に基づいたダンスの評価手法」，苗村 昌秀，鈴木 雅実，画像電子学会研究開予稿 03-05-07,pp.39-44,2003

しかし、非特許文献１に記載された評価では、上半身部分の主軸部分を追跡処理した結果得られるパラメータに基づいて、ダンサーの身体動作のリズム性を検証するようにしてあるため、身体動作のリズム性を正確に検証できているとはいえなかった。つまり、ダンスにおいては、上半身部分の主軸部分のみならず、頭部、手および足の動きも重要な要素であり、より広範な部位の動き情報を取得する必要があった。

それゆえに、この発明の主たる目的は、新規な、身体動作解析装置および身体動作解析方法を提供することである。

この発明の他の目的は、身体動作全体についてのリズム性を解析することができる、身体動作解析装置および身体動作解析方法を提供することである。

請求項１の発明は、被験者の身体動作を撮影した映像から被験者の身体の各部位を所定時間追跡し、当該各部位に対応する物理量から特徴量を一定時間毎に抽出するとともに、当該所定時間について集合した特徴量群を取得する特徴量群取得手段、特徴量群についての主成分分析に基づいて固有ベクトルへの射影成分に関する射影情報を生成する射影情報生成手段、および射影情報生成手段によって生成された射影情報の時系列を周波数解析してスペクトル情報を得る周波数解析手段を備える、身体動作解析装置である。

請求項１の発明は、被験者の身体動作のリズム性を解析する身体動作解析装置である。この身体動作解析装置では、特徴量群取得手段は、被験者の身体動作を撮影した映像から、その被験者の身体の各部位（頭部、胴体、手、足など）を所定時間追跡し、当該各部位に対応する物理量から特徴量を一定時間毎に抽出するとともに、当該所定時間について集合した特徴量群を取得する。たとえば、被験者の身体動作を撮影した映像から人物シルエット画像を抽出する。次に、この人物シルエット画像をスケルトン画像に変換する。そして、各部位を時間追跡する。この時間追跡により、一定時間（たとえば、１フレーム）毎に特徴量（身体動作の動き特徴量）を抽出し、それを所定時間（動きの１周期）分集めて特徴量群を取得する。射影情報生成手段は、特徴量群についての主成分分析に基づいて、たとえば所定の固有値までの固有ベクトルを生成し、この固有ベクトルへの射影成分に関する射影情報を生成する。周波数解析手段は、生成された射影情報の時系列を周波数解析（たとえば、フーリエ変換やＷａｖｅｌｅｔ変換）する。これにより、スペクトル情報が得られる。

請求項１の発明によれば、被験者の身体の各部位を追跡し、それによって得られる特徴量群の主成分分析に基づいて生成された固有ベクトルの射影情報のについての時系列を周波数変換するので、そのスペクトル強度のピーク値から身体動作のリズム性を解析することができる。

請求項２の発明は請求項１に従属し、特徴量は、各部位の第１所定点と被験者の身体の第２所定点との差分である。

請求項２の発明では、特徴量は、各部位の第１所定点（たとえば、各部位を直線近似した場合における線分の両端点の中点）のそれぞれと、被験者の身体の第２所定点（たとえば、胴体の重心点（中心点））との差分である。ただし、頭部（顔）は楕円近似し、その楕円の中心点と身体の重心点との差分が求められる。

請求項２の発明によれば、各部位の第１所定点と身体の第２所定点との差分を求めるので、動きの特徴を容易に得ることができる。

請求項３の発明は請求項１または２に従属し、特徴量群取得手段は、一定時間毎抽出される特徴量の要素を縦に並べるとともに、一定時間の区切りで所定期間に相当する期間分だけ横に並べた行列を生成する行列生成手段を含み、射影情報生成手段は、生成された行列を特異値分解して特徴量の固有値を抽出する固有値抽出手段を含む。

請求項３の発明では、行列生成手段は、一定時間（１フレーム）毎に抽出される特徴量の要素（部位のそれぞれに対応する特徴量）を縦に並べるとともに、一定時間毎の区切りで所定期間に相当する期間分だけ横に並べた行列を生成する。固有値抽出手段は、生成された行列を特異値分解して、特徴量（身体動作の動きの特徴量）の固有値を抽出する。

請求項３の発明によれば、所定時間分の各部位の特徴量についての行列を生成し、その行列の固有値を抽出するので、身体動作の全体の動きを抽出することができる。

請求項４の発明は請求項１ないし３のいずれかに従属し、テンポラルフィルタを用いて被験者の身体の各部位を追跡する追跡手段をさらに備える。

請求項４の発明では、追跡手段は、カルマンフィルタやパーティクルフィルタのようなテンポラルフィルタを用いて被験者の身体の各部位を追跡する。

請求項４の発明によれば、被験者を撮影した映像により、或る部位が隠れてしまい、映像に基づいて当該部位を追跡できない場合であっても、テンポラルフィルタにより推定して、追跡することができる。つまり、或る部位を観測できない場合や観測が不完全な場合であっても、ほぼ正確に当該部位を追跡することができるのである。

請求項５の発明においても、請求項１の発明と同様に、身体動作のリズム性を解析することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例の身体動作解析装置１０は、コンピュータ１２およびカメラ１４によって構成される。コンピュータ１２は、汎用のＰＣ或いはワークステーションのようなコンピュータである。カメラ１４は、ＣＣＤイメージャのような撮像装置を用いたカメラである。また、身体動作解析装置１０（厳密には、コンピュータ１２）には、必要に応じてディスプレイ（スクリーン）１６が接続される。

なお、この実施例では、身体動作解析装置１０にカメラ１４が含まれるように示してあるが、カメラ１４で撮影しておいた映像をオフラインで入力するようにする場合には、カメラ１４は必須の構成要素とする必要はない。かかる場合には、コンピュータ１２が身体動作解析装置として機能する。

このような構成の身体動作装置１０では、たとえば、ダンスを踊る被験者Ａがカメラ１４で撮影され、カメラ１４で撮影された映像に基づいて、コンピュータ１２が被験者Ａの身体動作（この実施例では、ダンス）についてのリズム性を解析する。以下、その解析方法について順に説明する。

なお、カメラ１４で撮影した映像やコンピュータ１２による解析結果などが、必要に応じて接続されたディスプレイ１６に表示され、被験者Ａ等に提示される。

まず、カメラ１４でダンスを踊る被験者Ａが撮影されると、撮影された映像に対応する映像データはコンピュータ１２に入力される。ただし、この実施例では、被験者Ａは、ブルーバックを背景に踊っている。コンピュータ１２は、カメラ１４から入力される映像データに基づいて人物シルエット画像データを抽出する。つまり、カメラ１４で撮影した映像は、被験者Ａがブルーバックを背景に踊った映像であるため、背景画像と人物画像との色情報の違いを利用して、人物シルエット画像を抽出するのである。たとえば、人物シルエット画像を抽出する方法としては、M.Naemura,et.al., “Morphological Segmentation of Sports Scenes using Color Information”,IEEE‐T Broadcasting,vol.46,No.3,pp.181‐188,2000に記載された方法（手法）を採用することができる。この手法によれば、人物の影部分や照明変化の有る部分までも含めた色情報を背景色情報としているため、人物の影や照明変化の影響が少ない抽出処理を実現することができる。

人物シルエット画像を抽出すると、次にコンピュータ１２は、人物シルエット画像から被験者Ａの各部位を検出する。図示は省略するが、被験者Ａは、部位毎に異なる色が付された衣服を着用しており、したがって、コンピュータ１２は、映像から得られる色情報に基づいて、部位を判別（区別）することができる。ただし、被験者Ａが着用する衣服には、背景色である青（ブルー）以外の色が付されているものとする。また、正確に部位を検出するため、当該衣服としては、比較的被験者の身体に密着するボディースーツないしは全身タイツのようなものが選択される。この部位の検出処理により、被験者Ａの頭部、胴体、手および足のような部位が検出される。

続いて、コンピュータ１２は、人物シルエット画像にスケルトン化処理を施す。たとえば、スケルトン化処理としては、I.Pitas, Digital Image Processing Algorithms and Applications, John Wiley & Sons,Inc., 2000に記載された処理を採用することができる。スケルトン化処理は、２値で表現されたオブジェクト画像の形状抽出手法であり、この実施例では、ダンスする被験者Ａを撮影した映像に適用される。したがって、スケルトン化処理により、被験者Ａの主要骨格部分（頭部、胴体，腕，足など）が得られる。この実施例では、頭部（顔）は、シルエット画像の輪郭線に基づいて楕円モデル化され、他の部位（胴体、手、足）は、シルエット領域をスケルトン化処理し、さらに、後述するように直線近似することにより、線分モデル化される。各部位は後述するカルマンフィルタにより追跡され、したがって、所定フレーム（この実施例では、１フレーム）毎の変化、すなわち、部位毎の動き情報を、容易に求めることができる。この実施例では、数１で定義されるMorphological スケルトン化処理を採用した。

ここで、ｎＢは、半径ｎの構造要素であり、数２に従って表現される。

ただし、この実施例では、スケルトン化処理において、構造要素のサイズを「５」に設定した。

スケルトン化処理を実行することにより、スケルトン画像を取得すると、続いて、コンピュータ１２は、当該スケルトン画像にハフ(Hough)変換を施す。これは、ダンスのように激しい動きを伴う場合には、取得されたスケルトン画像に冗長な部分が多数現われてしまうためである。そこで、スケルトン画像にハフ変換を施すことにより、冗長な部分（箇所）を省略して、人物骨格として主要な部分のみを直線に近似して、取り出すようにしてある。ハフ変換は、線分要素の検出に広く用いられている処理であり、線分を表す画像データをパラメータ化し、数３のように示される。

ここで、θは検出された線分の方向を表す角度であり、ρは原点座標から線分までの距離を表す。

また、ハフパラメータは、ハフ空間で定義される（ρ，θ）の組み合わせとなる。ハフ変換した値をハフ空間上で閾値処理することにより、ハフパラメータを抽出すると、スケルトン画像の各部位を表す部分がハフパラメータとして表現されることになる。ハフ変換後には、空間的な情報が消去されるので、スケルトン画像と抽出したハフパラメータとで描画した線分画像を対応付けて、線分の始点座標と終点座標と（以下、両者をまとめて「端点」ということがある。）の情報をハフパラメータとともに維持する。つまり、図示は省略するが、コンピュータ１２の内部に設けられる、或いは外部に接続される記憶媒体（ＨＤやＲＡＭ等）に、端点の情報およびこれに対応してハフパラメータが記憶される。

このようなハフパラメータは、１フレーム毎に特定される。この実施例では、各部位について、時間方向に沿った追跡処理が実行される。この実施例では、移動する物体を追跡するのに広く用いられているカルマンフィルタを導入し、コンピュータ１２は、観測値と動きのダイナミクスを考慮した予測値とを融合することによって、ハフパラメータの追跡処理を実現する。このため、或る時間において、観測（検出）できない部位についても対応が可能となる。たとえば、検出できない部位としては、被験者Ａが横向きになった場合に、カメラ１４側とは反対に位置する手や足が該当する。また、左手と右手が重なったり、左足と右足が重なったりする場合に、カメラ１４に対してブラインドとなる部位（または部位の一部）も該当する。

ここで、カルマンフィルタは、動きのダイナミクス（強弱）を表す行列（ダイナミクス行列）Ａ_ｋと状態ベクトルＸ_ｋとから観測ベクトルｚ_ｋへの変換行列Ｈ_ｋを用いると、数４に示すように、定式化される。ただし、数４（数５も同じ。）において、アルファベットの右上に添えたバー（横棒）は予測値（推測値）を意味する。

この数４の算出結果は、数５に従って更新される。具体的には、観測値による更新処理が実行される。

ただし、Ｑ_ｋ，Ｒ_ｋ，Ｐ_ｋは、それぞれ、プロセス，観測および状態の共分散行列を表す。また、Ｋ_ｋはカルマンゲイン行列であり、Ｉは単位行列である。

この実施例では、人物（被験者Ａ）の部位を追跡処理するため、人物を棒状モデル（ハフパラメータ）で表示し、ハフパラメータがカルマンフィルタの追跡の対象となる。カルマンフィルタの状態ベクトルとしては、それぞれの部位を表す棒線（線分）の端点位置とその速度で表わされるベクトルＬとし、観測ベクトルは、人物シルエット化処理、部位検出処理およびパラメータ化処理を経て得られた端点を集めたベクトルＭとした。このベクトルＬおよびベクトルＭは、数６のように示される。

また、このときのダイナミクス行列Ａ_ｋと変換行列Ｈ_ｋは、数７に示すように定義される。

観測ベクトルを求める処理は、数４で得られた予測位置を基準に棒状形状に合わせて近傍化した領域のみ（後述する図２に示す斜線を付した四角枠）で行われる。これにより、処理の短縮化（縮小化）と他の部位との混合を避けることができる。また、観測の共分散行列Ｒ_ｋを、観測ベクトルの信頼度に応じて、その値を変化させることにより、観測が不健全（不完全）な場合でも、予測値で捕えるような処理を導入した。以上のような処理により、被験者Ａの各部位の時間的な変化を表す複数の動き特徴量が得られる。以下、上述した処理をまとめて、「動作解析処理」ということがある。

以上のようにして得られた動きの特徴量は、相互に関連し合う複数部位のデータ列からなる。したがって、部位毎にデータ解析処理を実行し、その結果を平均化することが考えられるが、ダンスのような動き（身体動作）を評価する場合には、身体動作全体のリズム要素を抽出した方が、より人間の主観による評価（主観評価）に近い結果を得ることができると考えられる。これは、人間が被験者Ａのダンスのリズムを評価する場合、各部位を個別に見るのではなく、全体の動きを捉えるためである。このため、動きの特徴量すなわち複数部位のデータ列を統合する必要がある。

この実施例では、複数部位のデータ列を統合するために、ＳＶＤ(Singular Value Decomposition)を、当該データ列（複数の動き特徴量の時系列データ）で構成される行列に適用し、被験者Ａの身体動作についての全体の動きを表すデータ列に変換することにより、全体の動きについてのリズム要素の抽出を容易にしてある。

ここで、ＳＶＤは、行列を特異分解（主成分分析）する数学的ツールであり、その内容については、たとえば、G.H.Golub and C.F.Van Loan, “Matrix Computations”,Johns Hopkins Univ. Press, 1996に紹介されている。簡単に説明すると、ＳＶＤは、或るデータ列行列の共分散行列を求め、当該共分散行列の固有値と固有ベクトルとを求めるツールである。このように求められた固有値に対応する固有ベクトルが主成分分析した結果である。上述の文献に紹介されているＳＶＤを用いると、大量のデータ集合の主成分データを分析することができる。Ｍ×Ｎの行列Ａが存在すると仮定すると、ＳＶＤは数８のように表される。

ここで、Ｍ≧Ｎの場合には、ＵはＭ×Ｎの列正規直交行列であり、ＶはＮ×Ｎの正規直交行列であり、ＷはＮ×Ｎの対角行列である。また、Ｍ＜Ｎの場合には、ＵはＭ×Ｍの正規直交行列であり、ＶはＮ×Ｍの列正規直交行列であり、ＷはＭ×Ｍの対角行列である。対角行列Ｗの対角成分は特異値と呼ばれ、Ｍ≧Ｎの場合にはＡ^ＴＡの固有値の平方根に相当し、Ｍ＜Ｎの場合にはＡＡ^Ｔの固有値の平方根に相当する。また、行列Ｕの列ベクトルはＡ^ＴＡの固有ベクトルとなる。

ＳＶＤを用いて、複数の動き特徴量からリズム抽出のための統合データ列への変換を行う場合には、まず、Ｍ個の要素からなる各部位の棒状線分の端点位置（この実施例では、端点位置を平均化した中点位置）で表される動き特徴量を、身体の全体の動きが１周期となるＮフレーム分だけ集める。ここで、１周期とは、或るダンスに含まれる一連の動きに相当する期間をいい、たとえば、基本姿勢（直立した状態）から次に基本姿勢に戻るまでの期間をいう。また、この周期は、ダンスの種類（振り付け）やダンスに使用する音楽（バックグラウンドミュージック）等によって、その長さが異なる。したがって、１周期に含まれるフレーム数も異なることになる。

つまり、コンピュータ１２は、複数部位のデータ列からなる動き特徴量を取得すると、各要素（Ｍ個の要素）から被験者の中心座標（重心座標）Ｃを差し引いて、Ｍ×Ｎの行列Ｘを作る。ここで、中心座標Ｃは、人物シルエット画像から取得される人物のへその位置或いはその近傍である。ただし、ダンス中では、頭部、手および足の位置が時々刻々と変化するため、それらを除いた胴体部分のみから中心座標Ｃを算出するようにしてある。

このように得られた行列ＸにＳＶＤを施することにより得られた対角行列Ｗの対角成分ｗ_ｉを、その値の大きい順番に並べて、数８に代入する。ＳＶＤが施された結果、行列Ｕの列ベクトルは、左から固有値の大きい順番に並んだ固有ベクトルとなる。この固有ベクトル行列Ｕを用いると、ｉフレームでの動き特徴量Ｘ_ｉは数９のように示される。

ここで、ｂ_ｉ＝（ｂ_ｉ１，ｂ_ｉ２，…，ｂ_ｉｐ）^Ｔ，ｐ＝ｍｉｎ（Ｍ，Ｎ）は、固有ベクトルの射影成分を表す値で構成されたベクトルである。言い換えると、複数の動き特徴量の固有ベクトルで張られた空間で、どれぐらい変動しているかを示す値である。つまり、被験者Ａの身体動作の全体的な方向（動き方向）を示すのである。その動きに対する寄与は、対応する固有値に比例して大きいので、複数の動き特徴量で支配的な動きを評価するためには、固有値の大きいｂの成分だけを評価すればよいことになる。このときの代表的なｂの選択方法には、もとの固有値を大きいものから順番に並べた固有値列を{ｗ_１，ｗ_２，…，ｗ_ｐ}，ｐ＝ｍｉｎ（Ｍ，Ｎ）としたとき、数１０で定義される固有ベクトルの寄与率αが或る閾値（たとえば、０．９５）以上を初めて満たしたときのインデックスｋまでの{ｂ_１，ｂ_２，…，ｂ_ｋ}を選択する方法がある。

このようにして、変換したデータｂ_ｉを或る一定時間（１周期よりも長い時間）分だけ集めて、周波数解析することにより、周波数スペクトル情報を得て、リズム要素の抽出を行う。以下、具体例を用いて説明することにする。

図２は、ダンスする被験者を撮影した映像を用いて、ハフパラメータの追跡処理を行った場合についての途中経過の一例を示す図解図である。ただし、ここで用いた映像の時間は３００フレーム（１０秒間）であり、ダンスする被験者としては主観評価により分類した専門家ダンサーと非専門家ダンサーとを選択した。また、図２に示す例では、簡単のため、ダンサーの頭部および両手（厳密には、左腕および右腕についての前腕）のみに着目した場合について示してある。さらに、この実施例では、簡単のため、両手のみの特徴量を抽出して、周波数解析するようにするため、比較的手の動きが大きいダンスを選択した。

図２（Ａ）は専門家ダンサーのハフパラメータを追跡処理した途中経過を示し、図２（Ｂ）は非専門家ダンサーのハフパラメータを追跡処理した途中経過を示す。ただし、専門家ダンサーと非専門家ダンサーとは同じダンスを踊り、また、図２（Ａ）および図２（Ｂ）に示す途中経過は同じタイミングである。さらに、図２（Ａ）および図２（Ｂ）に示す斜線を付した四角枠は、カルマンフィルタによる追跡処理により、予測される左手および右手の前腕を、モデル化した棒状形状に合わせて近傍化した領域である。この図２（Ａ）と図２（Ｂ）とを対比すると、専門家ダンサーと非専門家ダンサーとでは、同じタイミングにおいて、顔の向き、両手の位置および角度に違いがあるのが容易に分かる。

なお、カルマンフィルタを用いたことにより、色処理による部位の検出（観測）が不可能または不完全であっても、良好に両手を追跡できることが確認できた。

ＳＶＤによる動き特徴量の変換には、動作解析処理によって得られた左手および右手の前腕の部分を表す線分の端点位置を平均化（端点の中点座標を算出）し、両手の位置を表すデータに変換した４次元データ（ｘ_ｌｅｆｔ，ｙ_ｌｅｆｔ，ｘ_{ｒｉｇｈｔ}，ｙ_{ｒｉｇｈｔ}）を用いた。つまり、両手について、手首に相当する位置座標と肘に相当する位置座標との平均値を算出するのである。この４次元データをＳＶＤによりデータ変換することにより得られたデータを（ｂ_１，ｂ_２，ｂ_３，ｂ_４）とし、それぞれの要素の時系列データ{ｂ_１}，{ｂ_２}，{ｂ_３}，{ｂ_４}をフーリエ変換により周波数解析した。

図３（Ａ）および図３（Ｂ）は、専門家ダンサーおよび非専門家ダンサーについての周波数解析結果を示すグラフであり、当該グラフの縦軸はスペクトル強度（周波数スペクトル強度）を示し、横軸は周波数を示す。図３（Ａ）および図３（Ｂ）から分かるように、専門家ダンサーおよび非専門家ダンサーのいずれの場合にも、{ｂ_１}，{ｂ_２}列で、スペクトル強度のピーク値が存在する。このことから、動きのリズム要素の抽出ができていることが分かる。また、これらのピーク値に対応する周波数ｆ_１，ｆ_２には、ｆ_１＝２ｆ_２の関係が成り立っている。このことは、対象としたダンスでは、手を大きく動かす動作の中に、その半分の周期で動かす動作が存在しているためであると考えられる。また、専門家ダンサーと非専門家ダンサーとでは、専門家ダンサーの方がそれぞれのピーク周波数（ｆ_１，ｆ_２）でのスペクトル強度が強く表れていることが分かる。これにより、専門家ダンサーほど、リズム的な動きを多く有し、さらには、複雑な動きまでリズム感の有る動作を再現できていると言える。

図３に示した周波数解析の結果は、主観評価により、専門家ダンサーと非専門家ダンサーとを分類した結果と一致しているので、動作解析で得られた動き特徴量を解析することにより、ダンスの優劣に影響を与えるリズム感の有無を評価することができると言える。

なお、この実施例では、簡単のため、両腕の前腕のみに着目した場合について説明したが、さらに他の部位、たとえば、頭部、上半身の主軸（背骨）および足についても追跡処理をした場合であっても、それら全体の特徴量から同様の結果が得られると考えられる。

また、図３に示す例は、この実施例で選択されたダンスについての周波数解析の結果であり、ダンスが異なれば、ピーク値が存在する系列（図３では、{ｂ_１}〜{ｂ_４}）やピーク値が表れる周波数（図３ではｆ_１，ｆ_２）も変化することは言うまでもない。

また、周波数解析した結果に基づいて、専門家ダンサーを基準とした場合における非専門家ダンサーのリズム感の判定をすることもできる。たとえば、専門家ダンサーについての周波数解析結果から或る一定値以上のスペクトル強度を有するシーケンス系列を選択する。たとえば、図３（Ａ）に示した例を用いて説明すると、一定値を「２０００」に設定すると、{ｂ_１}および{ｂ_２}の系列が選択される。

次に、専門家ダンサーについての周波数解析結果から選択された系列についてのスペクトル強度のピーク値に基づいて閾値を決定する。たとえば、当該スペクトル強度のピーク値の６割を閾値に決定する。図３（Ａ）に示した例では、系列{ｂ_１}については、閾値（以下、説明の便宜上、「第１閾値」という。）が「１５００（２５００×０．６）」に決定され、系列{ｂ_２}については、閾値（以下、説明の便宜上、「第２閾値」という。）が「１４４０（２４００×０．６）」に決定される。

そして、決定した第１閾値および第２閾値を用いて、非専門家ダンサーのリズム判定を行う。まず、非専門家ダンサーの周波数解析結果から、第１閾値および第２閾値を決定した系統と同じ系統（図３（Ｂ）に示す例では、系統{ｂ_１}および{ｂ_２}）であり、第１閾値および第２閾値を決定した際のスペクトル強度のピーク値を示した周波数（図３（Ａ）では、ｆ_１およびｆ_２）に対応するスペクトル強度を検出する。つまり、図３（Ｂ）において、周波数ｆ_１およびｆ_２におけるスペクトル強度を検出する。たとえば、周波数ｆ_１におけるスペクトル強度Ｐ_１を検出し、周波数ｆ_２におけるスペクトル強度Ｐ_２を検出したとする。

次に、検出したスペクトル強度を用いて、リズム判定を行う。具体的には、スペクトル強度Ｐ１と第１閾値とを比較するとともに、スペクトル強度Ｐ２と第２閾値とを比較する。そして、Ｐ１≧第１閾値かつＰ２≧第２閾値の場合には、リズム評価を「３（優）」と判定し、Ｐ１≧第１閾値かつＰ２＜第２閾値、または、Ｐ１＜第１閾値かつＰ２≧第２閾値の場合には、リズム評価を「２（普通）」と判定し、Ｐ１＜第１閾値かつＰ２＜第２閾値の場合には、リズム評価を「１（劣）」と判定する。

このように、専門家ダンサーの周波数解析結果と非専門家ダンサーの周波数解析結果とから、非専門家ダンサーのリズム評価を判定することもできる。ただし、ここで示した評価方法は単なる例示であり、これに限定されるべきではない。たとえば、閾値を増やして、さらに詳細に評価することも可能である。また、着目する系列を１つにして、簡単に評価することも可能である。

この実施例によれば、被験者の各部位の動き特徴量を統合的に解析するので、より複雑な動きからリズム要素を抽出することができる。つまり、身体動作全体についてのリズム性を解析することができる。

また、リズム性の解析結果を非専門家のような被験者に提示することにより、非専門家のダンスの向上に資することも可能である。たとえば、専門家の周波数解析結果と被験者の周波数解析結果とを対比可能にディスプレイに表示することが考えられる。

なお、この実施例では、ダンスする被験者の動作について解析したが、スポーツにおける動作をリズム性の有る動きと捉えて、リズム要素を抽出することも可能である。たとえば、野球であれば、ピッチング動作やバットのスイング動作などのリズム要素を解析することができる。

また、この実施例では、テンポラルフィルタとしてカルマンフィルタを用いてハフパラメータの追跡処理を行うようにしたが、カルマンフィルタに代えて、パーティクルフィルタを用いることも可能である。

さらに、この実施例では、１台のカメラを設けるようにしたが、２台以上設けるようにすることもできる。この場合には、被験者を立体的に捉えることができるため、ダンス動作により隠れているところを可及的に減らすことができ、身体動作の解析を向上することができる。したがって、カルマンフィルタ等を用いた推定（推測）が必要でない可能性がある。

また、身体の部位（動作）についての追跡は、各部位（たとえば、手先）の動きをパターンマッチング手法によって行うことが出来るのは勿論のこと、モーションキャプチャのような従来技術を用いることにより、手先等にマーカを添付するなどして、動きを追跡し易くすることも可能である。この場合、隠れた（カメラの死角となる）部位のみをカルマンフィルタ等による推定に基づいて追跡が可能であることは言うまでもない。

さらに、着目する部位が隠れない（カメラの死角とならない）ダンスなどでは、そのまま当該部位を追跡して動作解析を行うことも可能である。この場合には、カルマンフィルタ等は不要となる。

また、この実施例では、ＳＶＤにより得られたデータ（ｂｉ）の時系列データをフーリエ変換してスペクトル情報を得るようにしたが、Ｗａｖｅｌｅｔ変換によりスペクトル情報を得ることも可能である。

さらに、この実施例では、ＳＶＤにより主成分分析するようにしたが、このように、共分散行列の固有値と固有ベクトルとを求める数学的な方法（ツール）としては、ＫＬ変換、或いは、ヤコビ法（ヤコビ変換）またはハウスホルダ変換のような３重対角行列を用いる方法を適用することも可能である。

この発明の身体動作解析装置の一例を示す図解図である。 図１実施例に示す構成により、専門家ダンサーおよび非専門家ダンサーを撮影した映像に基づいて、ハフパラメータを追跡した場合の途中経過の一例を示す図解図である。 図１実施例に示す構成により、専門家ダンサーおよび非専門家ダンサーの両手の前腕についての動き特徴量を統合的に解析した場合における周波数に対するスペクトル強度の変化の一例を示すグラフである。

符号の説明

１０ …身体動作解析装置
１２ …コンピュータ
１４ …カメラ
１６ …ディスプレイ

Claims (5)

1. 被験者の身体動作を撮影した映像から前記被験者の身体の各部位を所定時間追跡し、当該各部位に対応する物理量から特徴量を一定時間毎に抽出するとともに、当該所定時間について集合した特徴量群を取得する特徴量群取得手段、
   前記特徴量群についての主成分分析に基づいて固有ベクトルへの射影成分に関する射影情報を生成する射影情報生成手段、および
   前記射影情報生成手段によって生成された射影情報の時系列を周波数解析してスペクトル情報を得る周波数解析手段を備える、身体動作解析装置。
2. 前記特徴量は、前記各部位の第１所定点と前記被験者の身体の第２所定点との差分である、請求項１記載の身体動作解析装置。
3. 前記特徴量群取得手段は、前記一定時間毎抽出される特徴量の要素を縦に並べるとともに、前記一定時間の区切りで前記所定期間に相当する期間分だけ横に並べた行列を生成する行列生成手段を含み、
   前記射影情報生成手段は、生成された前記行列を特異値分解して前記特徴量の固有値を抽出する固有値抽出手段を含む、請求項１または２記載の身体動作解析装置。
4. テンポラルフィルタを用いて前記被験者の身体の各部位を追跡する追跡手段をさらに備える、請求項１ないし３のいずれかに記載の身体動作解析装置。
5. 被験者の身体動作を撮影した映像から前記被験者の身体の各部位を所定時間追跡し、当該各部位に対応する物理量から特徴量を一定時間毎に抽出するとともに、当該所定時間について集合した特徴量群を取得し、
   前記特徴量群についての主成分分析に基づいて固有ベクトルへの射影成分に関する射影情報を生成し、そして
   生成された射影情報の時系列を周波数解析してスペクトル情報を得る、身体動作解析方法。

Images