JP2012073935A - 動作評価装置並びに類似度評価方法及び動作評価・確認方法 - Google Patents

Abstract

【課題】比較的単純な処理によって汎用的に動きのリズム等を評価できる動作評価装置を提供する。
【解決手段】評価対象の映像の時系列をなす各フレームの直接の画素値からなる、特徴量の時系列に対して主成分分析を施し、該特徴量の時系列を固有値毎に、主成分得点の時系列に変換する主成分得点変換部２と、主成分得点の時系列を周波数解析してスペクトル情報を得る周波数解析部３とを備える動作評価装置１を提供する。前記直接の画素値からなる特徴量は、各画素のフレーム内位置に基づく所定の順に、各画素の画素値を並べたベクトルとして与える。
【選択図】図３

Description

本発明は、動作評価装置並びに類似度評価方法及び動作評価・確認方法に関し、特に、比較的単純な処理で汎用的に映像の動作のリズム等を評価することのできる動作評価装置並びに、当該装置を用いた類似度評価方法及び動作評価・確認方法に関する。

ダンスの練習者がダンス技能を習得する際には、ダンスの専門家の動き（お手本）を何度も模倣して練習するのが一般的である。練習者は、模倣しようとしてもすぐには模倣できなかったり、模倣しているつもりでも、実際にはお手本とは異なる動きをしていることがある。ダンスの間違っている箇所や自分の習熟度を知ることは、ダンス技能の上達のために必須と言える。専門家が常に見ているのであれば、間違っている箇所を指摘すればよいが、現実的には経済的，時間的なコストを考えると難しい。そのため、撮影したダンス動画を自動で採点（評価）できるシステムがあれば望ましい。

このような技術として、以下の特許文献１（身体動作解析装置）には、ダンスをしている被験者の映像から、被験者の動きのリズム要素を抽出する技術が公開されている。入力される映像から、背景と人物の色の違いを利用した色処理によって、人物のシルエット画像を抽出する。抽出した人物シルエット画像を細線化技術によりスケルトン画像に変換し、得られたスケルトン画像をハフ変換することで、スケルトン画像の各部位の直線のパラメータを得る。映像の各フレームにおいて観測されたハフパラメータの観測値をそのまま各部位の線分を表すパラメータ（線分）とするのではなく、カルマンフィルタによってハフパラメータを時間方向に追跡して得た予測値を各部位のパラメータとし、それを全体の動きを表すデータ列にするため、ＳＶＤ (Singular Value Decomposition) を用いて変換を行っている。得られた全体の動きを表すデータ列をフーリエ変換して、お手本である専門家と被験者の間で、専門家のピークを持つ周波数のスペクトル強度と、被験者における当該周波数のスペクトル強度を比較することにより、リズムの評価を可能としている。

特開2005-339100号公報

しかしながら、特許文献1の実施例で示されている手法では、体全体の動きを表す特徴量を求めるまでの処理が複雑である。また、シルエット画像を抽出する際に、背景が青色（人物の衣服とは異なる１色）であることを前提としており、特殊環境以外ではうまく抽出できるとは言えない。

本発明の主たる目的は、上記の従来技術の課題を解決し、比較的単純な処理で汎用的に動きのリズム等を評価できる動作評価装置を提供することにある。

また、本発明の他の目的は、上記動作評価装置を用いた類似度評価方法及び動作評価・確認方法を提供することにある。

上記目的を達成するため、本発明は、映像の動作を評価する動作評価装置であって、前記映像の時系列をなす各フレームにおける直接の画素値からなる特徴量の時系列に対して主成分分析を施し、該特徴量の時系列を主成分分析における固有値毎に、主成分得点の時系列に変換する主成分得点変換部と、前記主成分得点の時系列を周波数解析してスペクトル情報を得る周波数解析部とを備えることを第１の特徴とする。

また、本発明は、評価対象動作の模範動作に対する類似度を評価する、類似度評価方法であって、前記動作評価装置を用いて、前記評価対象動作と前記模範動作とを評価し、当該評価した結果の比較に基づいて類似度を評価することを第２の特徴とする。

また、本発明は、評価対象動作を評価し且つ当該評価の基準の確認フィードバックを行う、動作評価・確認方法であって、前記動作評価装置を用いて、前記評価対象動作を評価したのち、前記動作評価装置が当該評価に用いた主成分得点の時系列を原空間の映像に復元する復元装置を用いることで確認フィードバックを行うことを第３の特徴とする。

前記第１の特徴によれば、評価対象となる動作の映像の各フレームにおける画素値を直接用いて主成分分析を施すことにより、スペクトル情報として動作のリズム等が評価できるので、比較的単純な処理で汎用的に動作を評価することができる。

前記第２の特徴によれば、本発明の動作評価装置を用いて、評価対象動作の模範動作に対する類似度を評価することができる。

前記第３の特徴によれば、本発明の動作評価装置を用いて動作を評価することができると共に、当該評価された動作がどのような動作であるのかを確認することができる。

本発明の原理およびその応用の概略を説明する図である。 本発明の動作評価装置の処理の概略を説明する図である。 本発明の第１実施形態に係る動作評価装置の機能ブロック図である。 サンプル動作映像における、第１主成分と第２主成分とに対する主成分得点の時系列及びパワースペクトルの例を示す図である。 本発明の第２実施形態に係る動作評価装置の機能ブロック図である。 本発明の第３実施形態に係る動作評価装置の機能ブロック図である。 第３実施形態における、全体リズム決定部による、スペクトルのピーク位置及び大きさに対する閾値条件の判定例を示す図である。 本発明の第４実施形態に係る動作評価装置の機能ブロック図である。 相互相関関数を用いて、信号同士の相関値を求める例を示す図である。 本発明の第５実施形態に係る動作評価確認システムの機能ブロック図である。 主成分時系列に何が表現されているかを判断する例を示す図である。 図１１のような時系列の復元映像の例を示す図である。 映像をクラスに分ける例を説明する図である。 本発明の第８実施形態に係る動作評価装置の機能ブロック図である。 本発明の応用的な実施形態におけるシステムの機能ブロック図である。

以下に、図面を参照して本発明を詳細に説明する。図１は、本発明の原理及びその応用の概要を説明するものであり、例えばダンス動作を、お手本となる模範映像と比べて評価する概略を説明する図である。

図１（Ａ）に示すように、ダンスの練習者（ａ）は、お手本となる模範映像（ｂ）に合わせてダンスを練習する。そして当該練習者（ａ）の練習動作映像を（ｃ）に示すように、例えば携帯端末に付属のカメラなどを用いて撮影する。

そして、図１（Ｂ）に示すように、前記（ｃ）の撮影により練習者の動作映像が時系列のフレーム（ａ１）、（ａ２）、（ａ３）、（ａ４）、…などとして得られる。これら各フレームは、前記模範映像（ｂ）における時系列のフレーム（ｂ１）、（ｂ２）、（ｂ３）、（ｂ４）、…に対応する。

図１（Ｂ）に示したような練習者動作映像と、模範映像とを、それぞれ本発明の動作評価装置で評価することにより、図１（Ｃ）に示すように、例えば動作のリズムに対応するパワースペクトルが得られる。練習者のスペクトルは（ａ０）であり、模範映像の動作のスペクトルは（ｂ０）である。

次いで、これらスペクトル等の、動作評価装置の評価結果同士を比較することにより、練習者の動作を評価して、評価結果を図１（Ｄ）に示すように、例えばダンス採点結果（「８０点」など）として表示する。当該評価結果の表示には、例えば、前記（ｃ）の撮影で用いた携帯端末を利用することで、練習者は自身のダンスの採点結果を練習終了後ただちに確認できる。

以下、本発明の第１乃至第４実施形態である動作評価装置を説明する。また、本発明の第５実施形態である動作評価確認システムを説明する。そしてこれら、第１乃至第５実施形態の各々を利用して、図１で説明したような、模範映像との類似度評価を行う応用的実施形態が可能であるので、これを第６実施形態として、第１乃至第５実施形態の説明内で随時説明する。

図２に、本発明の動作評価装置による処理の流れの概略を示す。図２（１）は、動作評価装置にて評価する動作映像のサイズ形式を示している。すなわち、時系列をなすNフレームの映像で、各フレームは画素数がMである。

このような動作映像における各フレームの画素値を直接用いて、図２（２）に示すようなサイズＭ×Ｎ（各フレーム画素数×動作映像のフレーム時系列数）の行列B'を作る。このため、まず、フレーム時系列の順がi(i=1,2,…,Ｎ)番目のフレームを構成する画素を、各画素のフレーム内位置に基づく所定の順に並べたベクトルVi(i=1,2,…,Ｎ))を作る。当該所定の順は、全Ｎフレームに渡り共通の順である。そして、行列B'は、そのi列を抜き出したものが前記ベクトルViとなるような行列となる。

なお、本発明は、このような直接の画素値からなるベクトルViをi番目のフレームの特徴量として、全Nフレームの特徴量のデータ集合（行列B'）に対して、図２（３）以降に示す主成分分析を施すだけで、評価対象の動作映像の周波数特徴を捉えた時系列データが得られる、という新たな知見に基づくものである。

図２（３）に示すように、データ集合である行列B'の分散共分散行列Ｓ（サイズＭ×Ｍ）の固有値λi(i=1,2,…)と固有ベクトルvi(i=1,2,…)を求める。

ここで、評価対象の動作映像サイズM（画素数）は、縦×横＝（height×width＝）＝３２０×２４０＝８万画素程度、であり、フレームN（時系列数）＝３００程度、であることが想定される。すなわちM＞Ｎであることが想定される。この場合、サイズＭ×Ｍの分散共分散行列Ｓの固有値問題を直接解くのではなく、後述のサイズN×Nの行列Ｃの固有値問題を解いて、その結果から行列Ｓの固有値と固有ベクトルを、固有値の大きい側の所定数のみ求めるようにしてもよい。

分散共分散行列Ｓの固有値問題を解いた結果を用いて、図２（４）に示すように、元の特徴量の時系列（後述するように、行列B'における各列ベクトルViから平均を引いた時系列）を主成分の空間の値（主成分得点）に変換した時系列を求める。当該時系列は図示するように、動作映像のフレーム数と同じN個のデータの時系列となる。

前述のように、当該時系列に元の動作映像の周波数特徴が含まれているので、図２（５）に示すように、例えばスペクトル解析を行うことで、元の動作映像の周波数特徴を評価することができる。

なお、図２の概略説明において用いた数式の文字は、後に説明する詳細においても共通で用いる。

図３に、本発明の第１実施形態に係る動作評価装置の機能ブロック図を示す。動作評価装置１は、主成分得点変換部２と周波数解析部３とを備え、前述の図２のような処理を行う。すなわち主成分得点変換部２は、評価対象の動作映像の各フレームの直接の画素値から各フレームの特徴量となるベクトルを作り、当該ベクトルの時系列データ集合に対して主成分分析を施し、主成分得点の時系列に変換する。周波数解析部３は、当該主成分得点の時系列を周波数解析して、スペクトル情報を得る。

当該第１実施形態によれば、評価対象の動作映像の画素値を直接用いて、主成分分析を施すだけで、動作映像の周波数特徴を捉えたスペクトル情報を得ることができる、という効果がある。すなわち、第１実施形態によれば、主要な処理は、簡単かつ汎用的な主成分分析のみであり、従来技術のように、背景と人物との分離などの前処理や、ハフ変換などのような各種の特殊な処理を用いることなく、上記のようなスペクトル情報を得ることができる。

次に、主成分得点変換部２の処理の詳細について説明する。

主成分得点変換部２では、評価対象の動作映像に含まれる、高次元で複雑な動きを評価するために、低次元空間に一度圧縮して、動きの特徴量（動き特徴量）を抽出する。高次元特徴量から合成変量を生成して解析を行う手法として、主成分分析が周知である。主成分分析とは、データの分散を最大とするような軸（合成変量）を求めて、データの解析をする手法である。主成分得点変換部２では主成分分析を利用する。

K次元ベクトルx={x₁,x_2,...,x_K}が存在したときに、分散最大となる合成変量yをそれらの線形和で表す。この時の係数v={ a₁,a_2,...,a_K}を求めることが主成分軸を求めることになる（数１）。

具体的には、データの分散共分散行列の固有値問題として解くことができる。分散共分散行列をSとした場合に、次の数２、すなわち、

を満たす、λを固有値、vを固有ベクトルと呼ぶ。まず固有方程式を解いて固有値λを求め、各固有値に対応する固有ベクトルvを求めるといった解法が一般的である。

ここで、本発明の対象である動画に、この主成分分析を適用することを考える。図２（１）に示したように、動画はフレーム毎の画像を時系列に並べたものであり、画像は、各画素の画素値の集まりである。したがって、ある1フレームの画像は、位置を考慮しなければ、画素数だけの次元を持つ画素値のベクトル（画素値ベクトル）で表現できる。例えば、Nフレームのheight×widthの解像度の動画の場合には、M (＝height×width)次元の画素値ベクトルがNフレーム分存在するという風に考えられる。

なお、各フレームの画像を構成する画素の画素値から、画素値ベクトルを作成するには、前述のとおり、各画素のフレーム内位置に基づく所定の順に、例えばラスタスキャン順に、各画素の画素値を並べたベクトルを作成すればよい。すなわち、フレーム内位置が（i, j）[ここで、i=1,2,…,height, j=1,2,…,width]である各画素の画素値を、画素ベクトルのn(n=1,2,…,M)番目の各要素へと一対一の写像関係で対応付けるようにする。そして、当該対応付けには、全Ｎフレームに渡って共通の対応づけを用いる。

この画素値ベクトルの各次元の時間方向に対する分散及び共分散行列Ｓの固有値・固有ベクトルを求めればよい。しかしながら、画像の大きさMは通常大きいため(例えば320×240の動画でも76800次元)、行列Ｓの固有値問題を直接解くことは実計算上好ましくない．このような高次元データに対する主成分分析は，以下のようにして行うことができることが知られている．

まず、図２（２）にも示したように、M次元空間上のNフレームのデータ行列をB' (サイズM×N)とする（数３）。このデータ行列の行平均（次元に対する平均）をmean (サイズM×N)として（数４）、行列B'の1行ずつ抽出して平均ベクトルmeanを引いて，行方向に結合した行列Bを定義すると（数５）、

となる。この行列Bを利用して、分散共分散行列Sを表すと（数６）、

であり、固有方程式は、

となる（数７）。
さらに、両辺に左から行列Bをかけると（数８）、

ここで、Bv=uと考えると（数９）、

数９は、行列(N^-1)BB^T（=行列Cとする）の固有方程式であり、この行列Cに対する固有ベクトルuを求めてから、それを使って分散共分散行列Sに対する固有値vを求める。この行列の大きさを考えると、N×Nとなっており、通常は画素値ベクトルの次元数Mよりもフレーム数Nが圧倒的に小さいことから、行列Sから直接固有値を求めるよりはるかに少ない計算量で計算できる。

求めた固有ベクトルuから、行列Sの固有ベクトルvを求めるには、上式（数９）に左からB^Tをかけて（数１０）、

この上式（数１０）より、B^Tuが、Sの固有ベクトルvであることがわかる。ただし、規格化はされていないので、規格化も含めて表すと（数１１）、

したがって、行列C (N×N)に対する固有ベクトルuを求めることで，行列S (M×M)に対する固有ベクトルvを求めることができることがわかる。(ただし、M個の固有値のうち、固有値の大きい方からN番目以上の固有値は0と考える。)

この方法により，動きの動画に対する主成分分析も実計算上可能であることがわかる。なおまた、評価対象映像のサイズ形式がM<Nとなる場合には、上記のように行列Cの固有値問題を解くことを経由せずに、行列Sの固有値問題を直接解いてもよい。

主成分得点変換部２では、当該求めた固有ベクトルを用いて、元の空間から主成分空間に射影した際の主成分軸上の値の大きさである、主成分得点を求める。固有値の大きい方から順に固有値を並べた時に、l番目に大きい固有値λ_lに対する（第l主成分軸に対する）nフレーム目の主成分得点z(n,λ_l)は以下の式（数１２）で表される。

この主成分得点が動きを表す特徴量となる。なお、（数１２）右辺において、係数a[m,λ_l]は、l番目の固有ベクトルの第m成分であり、（x_m(n)−上バー付きx_m）は、（数５）の行列Bのm行n列成分である。

そして、主成分得点変換部２でこのように求められる、各固有値に対応する主成分得点の時系列には、動作映像の周波数特徴が含まれるので、周波数解析部３にてスペクトル情報を抽出する。

ここで、動作映像として「歩く」という動き（歩き動作）の映像を例として、説明を行い、主成分得点の時系列が実際に動作映像の周波数特徴を含んでいることを示す。

実際の歩き動作を収録した動画に対して、主成分得点変換部２及び周波数解析部３の処理を施して得られる、第１主成分と第２主成分とに対する、主成分得点の時系列及びパワースペクトルの例を図４に示す。

図４（ａ１）、（ａ２）はそれぞれ、第１主成分得点の時系列、第２主成分得点の時系列のグラフである。また（ｂ１）、（ｂ２）はそれぞれ、（ａ１）、（ａ２）を周波数解析（ＦＦＴ、高速フーリエ変換）して得られる、第１主成分得点時系列のパワースペクトル、第２主成分得点時系列のパワースペクトルである。

（ａ１）に示されているように、第１主成分得点の時系列は、周期的な波形となっている。一方で、（ａ２）に示されているように、第２主成分得点の時系列は、第１主成分得点の時系列とは異なる傾向となっている。この例では、次に見る各パワースペクトルより明らかなように、第１主成分得点時系列の周期的な波形は、歩き全体のリズムを表している。一方で、第２主成分得点時系列の波形は、体の重心の横方向へのブレを表している。

（ｂ１）に示されているように、第１主成分得点のパワースペクトルのピークは約1[Hz]付近にある。これは、実際に用いた収録動画内の歩き動作の周期と同じであることから、「歩き全体」のリズム特徴を知るには、第１主成分得点のパワースペクトルのピークを持つ周波数位置を見ればよいということがわかる。

一方で、（ｂ２）に示されているように、第２主成分得点時系列のパワースペクトルでは、ほぼ０の周波数を除けばピークは見られない。従って、こちらは「歩き全体」のリズムではなく、他の成分を表しているといえる。なお、第２主成分時系列が体の重心の横方向へのブレを表していることについては、当該パワースペクトルの考察と、後述の復元（第５実施形態）とによって明らかとなる。

以上のように、図４の例によっても、図３に示す第１実施形態により動作映像の周波数特徴が得られることがわかる。そして、第１実施形態では、周波数特徴として、動作映像を評価することができる。

次に本発明の第２実施形態を説明する。第２実施形態では、第１実施形態で得られる周波数特徴のうち、特にピーク周波数を抽出するようにしたものであり、その機能ブロック図を図５に示す。図５（Ａ）に示すように、動作評価装置１は、第１実施形態の同様の主成分得点変換部２と、周波数解析部３とに加えて、さらにピーク周波数抽出部４を備える。

ピーク周波数抽出部４は、周波数解析部３で得られたスペクトル情報よりピーク周波数を抽出する。なお、スペクトル情報は、主成分得点変換部２での主成分分析における各固有値毎に求まる。すなわち、第１主成分得点のスペクトル情報、第２主成分のスペクトル情報、…と求まる。よってピーク周波数抽出部４も、各固有値毎にピーク周波数を抽出する。

なお、ピーク周波数、すなわちパワースペクトルのグラフが極大となる周波数が複数あれば、全て抽出してもよいし、当該全て抽出した中より、スペクトル密度の大きさが最大のもの、最大のものから上位所定数のもの、又は大きさが所定値を越えるものなどに限ってもよい。

例えば、図４に示した例を対象とし、大きさ最大のものを抽出するとすれば、ピーク周波数抽出部４は、（ｂ１）に示す第１主成分のパワースペクトルより1[Hz]付近をピーク周波数として、（ｂ２）に示す第２主成分のパワースペクトルより0[Hz]付近をピーク周波数として抽出する。

また、第２実施形態の動作評価装置１を、図１のような評価対象動作と模範動作との比較評価に用いる場合（第６実施形態）の機能ブロック図を図５（Ｂ）に示す。動作評価装置１は（Ａ）の構成に加えてさらに、比較部１０を備える。比較部１０には、模範動作に対して（Ａ）の構成により評価した周波数を予め保存しておき、評価対象動作の評価結果と比べて、類似度の評価スコアを出力する。

評価スコアとしては、模範動作の第ｎ主成分におけるピーク周波数をf1とし、評価対象動作の第ｎ主成分におけるピーク周波数をf2として、例えば次（数１３）で与えられる。

そして、当該Scoreの値がゼロに近いほど、第ｎ主成分に表れているリズムの類似度が大きいとして評価する。模範動作において第１主成分に全体的なリズムが表れている場合であれば、評価対象動作の第１主成分とでピーク周波数を比較して、全体的なリズム特徴が似ているかを評価できる。

また、（数１３）のスコアを各主成分毎に求めて、それらの所定係数による線形和などとして、評価スコアを与えるようにしてもよい。

本発明の第３実施形態の機能ブロック図を図６に示す。当該実施形態では、図６（Ａ）に示すように、動作評価装置１は、第１実施形態と同様の主成分得点変換部２と、周波数解析部３とに加えてさらに、全体リズム決定部５を備える。全体リズム決定部５は、周波数解析部３で得られた、各固有値毎のスペクトル情報のうち、動作映像の全体的なリズムを表しているのが第何主成分のスペクトル情報であるかを決定する。例えば、図４の例であれば、全体リズム決定部５は、歩き動作の映像の「歩き全体」のリズムを表しているのは、図４（ｂ１）に示す第１主成分のスペクトル情報である、と決定する。

全体リズム決定部５は、上記のような決定を行うために、周波数解析部３で得られる各主成分に対するスペクトル情報より、第２実施形態のピーク周波数抽出部４と同様にピーク周波数の位置を抽出すると共に、当該ピーク周波数におけるピークの大きさも抽出する。

全体リズム決定部５はさらに、当該抽出したピーク周波数の位置と大きさとが、それぞれ、位置（周波数）に関する所定の閾値と、大きさ（パワースペクトルのピークにおける密度）に関する所定の閾値と、を越えているものを選択する。

例えば、図４の第１、第２主成分のパワースペクトルの例である図４（ｂ１）、（ｂ２）に対して、当該選択を行う例を図７に、それぞれ（ｂ１０）、（ｂ２０）として示す。図示するように、位置の閾値としてβ、大きさの閾値としてαを、それぞれ所定値として与える。これら閾値は、全固有値に対応する主成分得点のパワースペクトルにおいて共通で用いる。図７の例であれば、不図示の第３主成分以降のパワースペクトルを評価する場合も同様に、位置の閾値β、大きさの閾値αを用いる。

図７（ｂ１０）に示すように、第１主成分のパワースペクトルには閾値α及びβを共に越えるピークが一箇所存在するが、（ｂ２０）に示すように、第２主成分のパワースペクトルにはこのようなピークは存在しない。

全体リズム決定部５はこのように、スペクトルのピーク位置及び大きさが閾値条件を満たすパワースペクトルを探し、そのうち情報量が最も大きい主成分に対応するパワースペクトルを、元の動作映像の動きの全体的なリズムを表しているものとして決定する。なお、情報量が最も大きい主成分とは、主成分分析において周知であるように、固有値の最も大きい主成分であり、第ｎ主成分のｎの値が最も小さい主成分である。すなわち、図６の例であれば、第１主成分が所定の閾値条件を満たし且つ情報量の最も大きい主成分であるので、第１主成分に動きの全体的なリズムが表れているとして決定される。

なお、同一固有値におけるパワースペクトル波形上で、閾値を越えるピークが複数存在する場合には、最も低い周波数が全体的なリズムを表しているものとしてもよい。例えば、ある固有値に対応する主成分得点の時系列が、体全体でリズムを取っていて、その２倍のリズムで手が動いていることを表すものであるような場合には、当該主成分得点のパワースペクトルにおいて閾値を越えるピークが２つ現れる、というようなことがある。

また、第３実施形態の動作評価装置１を、図１のような評価対象動作と模範動作との比較評価に用いる場合（第６実施形態）の機能ブロック図を図６（Ｂ）に示す。この場合も、動作評価装置１は、（Ａ）の構成に追加してさらに、比較部１０を備える。比較部１０は、模範動作に対して（Ａ）の構成で評価した結果を予め保存しておき、評価対象動作の評価結果と比較する。

すなわち、模範動作において全体的なリズムの周波数がf1であり、当該周波数f1が第n主成分のピーク周波数である、ということを予め評価しておいて、比較部１０に結果を保存しておく。評価対象動作の評価により、第m主成分に全体のリズムがピーク周波数f2として得られたとする。当該f1とf2とを用いて、前述の（数１３）と同様に類似度のスコアを評価することができる。このようにして、例えば模範動作には第1主成分に全体リズムが表れ、評価対象動作には第1主成分ではなく第2主成分に全体リズムが表れた場合であっても、類似度評価が可能となる。

なおまた、模範動作と評価対象動作とで別の主成分に全体リズムが表れた場合には、模範動作と評価対象動作との隔たりが大きい可能性もある。よって、この場合には（数１３）のスコアと共に、補足情報として、別の主成分が検出されたことを出力させるようにしてもよい。このような場合、第５実施形態における復元装置を併用してもよい。

本発明の第４実施形態の機能ブロック図を図８に示す。当該実施形態では、図８（Ａ）に示すように、動作評価装置１は、第１実施形態と同様の主成分得点変換部２と、当該実施形態に特有の相関値算出部６とを備える。相関値算出部６は、主成分得点変換部２で得られた固有値毎の主成分得点の時系列のうち、所定の固有値に対応する主成分得点時系列と、これら固有値毎に予め用意しておく時系列との相関値を相互相関関数を用いて求める。

第４実施形態では、当該予め用意しておく時系列を、所定の周波数特徴を有する時系列とし、評価対象動作が類似の周波数特徴を有するかを、相関値により評価する。よって、第４実施形態は第１乃至第３実施形態のように周波数解析部３を利用することはないものの、同様に周波数特徴の評価が行われることとなる。

相関値算出部６による相関値の求め方を説明するため、まず相互相関関数を説明する。例えば主成分得点時系列のような、信号波形ｆ、ｇがある場合、信号ｆとｇがどれだけ似ているかを表す指標として、下記（数１４）の相互相関関数Ｒ（τ）を用いることができる。

ここで、Ｎは、信号ｆ、ｇのフレーム数（図２のフレーム数Ｎと同じ）である。

2つの信号のうち片方の信号（例えば信号g）を遅延時間τだけ時間的にずらす（遅らせるまたは進ませる）ことで、遅延時間毎に相関値を求めることができる。遅延時間に対して、最大となった相関値をスコアとする（数１５）。

なお、相関値が-1〜1の間の範囲になるように正規化したR'(τ)をR(τ)の代りに利用してもよい。正規化する場合は、μ_f，μ_gをそれぞれ信号f，gの平均として、次式で表される（数１６）。

図９に、以上（数１４）〜（数１６）のような、相関値算出部６による相関値を求める具体例を示す。（ｃ１）は評価基準となる所定の時系列である。（ｃ２）は評価対象Ａの、（ｃ３）は評価対象Ｂの、映像を主成分得点変換部２で処理して得た、それぞれの第１主成分得点時系列のグラフである。

そして、図９（ｃ１２）は信号（ｃ１）と信号（ｃ２）とから得られる相互相関関数、（ｃ１３）は信号（ｃ１）と（ｃ３）とから得られる相互相関関数、のグラフである。相関値は（数１５）に示したように、その最大値として得られる。（ｃ１２）と（ｃ１３）との例では、最大値は（ｃ１２）の方が大きいので、信号（ｃ２）と（ｃ３）とのうち、基準信号（ｃ１）により似ているのは信号（ｃ２）であることがわかる。

当該第４実施形態では、このような相関値に基づいて、動作映像の所定基準との類似度を評価することができる。

また、第４実施形態の動作評価装置１を、図１のような評価対象動作と模範動作との比較評価に用いる場合（第６実施形態）の機能ブロックを図８（Ｂ）に示す。動作評価装置１は（Ａ）の構成に追加してさらに、比較部１０を備える。比較部１０は、模範動作に対して（Ａ）の構成で評価した結果を予め保存しておき、評価対象動作の評価結果と比較することで、類似度を評価する。

しかしながら、第４実施形態では、上記相関値の説明より明らかなように、（Ａ）の構成において用いる所定の時系列に、模範動作の映像に主成分得点変換部２の処理を行って得た時系列を利用することで、（Ａ）の構成によってより直接的に模範動作との類似度を評価することができる。

このように、模範動作映像より得られる主成分の時系列を用いて評価する場合、固有値の大きさ（順番）に依存する固有ベクトルも含めて（どの主成分軸上に何が表れるのかも含めて）、模範動作映像の主成分に評価動作映像の主成分が似ていることが望ましい。この場合、例えば、全体的なリズムが第1主成分に表れたとすると、模範映像の第2主成分と評価映像の第2主成分、模範映像の第3主成分と評価映像の第3主成分、…、といったように同じ番号の主成分得点同士の相互相関関数を計算し、その相関値の大きさによって、2つの動画の類似性を評価することが可能である。

また、例えば、（全体的なリズムは第1主成分であるとわかっているとして、）模範映像の第2主成分と評価映像の第2〜Nまでの全主成分を比較して（相互相関値を求めて）、最も高い相関を示した主成分同士を対応付けて、次に模範映像の第3主成分と評価映像の第2〜Ｎまでの全主成分を比較することで、評価することも可能である。

以上の第１乃至第４実施形態では、動作評価装置１の評価の各実施形態を説明した。

次に、本発明の第５実施形態を説明する。第５実施形態は、第１乃至第４実施形態のいずれかによる動作評価装置１により動作を評価すると共に、評価結果を確認・吟味できるようにする動作評価確認システムに関する。図１０に第５実施形態の動作評価確認システムを示す。動作評価確認システム２０は、動作評価装置１と、復元装置２１とを備える。

動作評価装置１は、前述の各実施形態によって、動作映像を評価してその結果を出力する。復元装置２１は、各主成分の主成分得点時系列を、元の入力動作映像における画素値空間の値に復元(Reconstruction)して、その復元映像を出力する。

よって復元装置２１により、各主成分のうち特に、動作評価装置１が評価基準とした主成分軸における動作を復元すれば、評価基準となった動作が何を表現しているのかをフィードバックで確認できるようになる。復元装置２１は、図１に示すような実施形態と共に用いると、例えば採点結果が悪かった場合の自身の特徴的な動作を、練習者は目視によりフィードバック確認することができるので、有用となる。

復元装置２１は、具体的には次のようにして各主成分を、主成分得点から元の空間へ復元して、復元された画素値ベクトルを画像的に確認できるようにする。

元の画像空間での画素値ベクトルxの時間（フレーム）方向に対する分散共分散行列に対する各固有値に対応する固有ベクトルを並べた行列をWとすると、フレーム番号iにおける各固有値（各主成分軸）に対する主成分得点ベクトルz (i)は、

となる（数１７）。上バー付きxは、x (i)の時間平均ベクトルである。

行列Wは、固有ベクトルを並べたものなので、直交行列であるから転置行列W^Tを上式の両辺に左からかけて移項して、元の空間での画素値ベクトルを復元すると、画素値ベクトルの推定値 は、

と表すことができる（数１８）。

例えば、２次元データで考えると、主成分得点は、

である（数１９）。この第１主成分得点z₁(i)のみから画像を復元する場合、

となる（数２０）。また、第1主成分得点z₁(i)と第2主成分得点z₂(i)とを利用して画像を復元する場合、

となる（数２１）。

存在する全主成分を利用すれば、完全に画素値ベクトルを復元できる。一方で、一部の主成分のみで復元すれば、その主成分が何を主に表現する軸なのかということが分析可能となる。例えば、第2主成分のみを利用した画像（動画）の復元が可能である。

この復元した動画の画素の横または縦方向の変化量から、当該主成分が何を表しているのかを判断することができる。元の映像が歩き動作である場合の、このような判断を下す主成分時系列の例を図１１に示す。動作映像Ａは第１主成分に横ブレが現れており、第２主成分に動き全体のリズムが表れている。動作映像Ｂはその逆の結果となっている。

そしてこれら、各主成分が横ブレ、動き全体のリズムである、という判断は、図１２に示すような各種成分の復元映像によって行うことができる。同図（Ａ）のような映像が復元されれば当該主成分は横ブレであり、同図（Ｂ）のような映像が復元されれば当該主成分は歩き動作全体のリズムである。

図１１の動作映像Ａのように、第１主成分にリズム特徴であるべき歩き全体のリズムではなく、重心の横方向へのブレが表れている場合、横方向へのブレが大きいということを意味する。図１のような実施形態で復元装置２１を用いることで、練習者は自信の動作に横ブレが大きいということを知ることができる。

例えば、第３実施形態による動作評価装置１で模範映像との類似度評価を行い、模範映像の全体リズムが表れている第n主成分以外に、評価対象動作の全体リズムが検出された場合など、当該検出された主成分の時系列を復元して再生し、図１１の動作映像Ａのようであったことを確認する。評価対象動作が練習者によるものであれば、練習にフィードバックして、図１１の動作映像Ｂのような動作が全体リズムとなるよう練習することができる。

次に、本発明の第６実施形態と第５実施形態とを組み合わせにより、特にダンス練習者などにとって、練習のモチベーションが維持でき、好ましいシステムが実現できることを説明する。第５実施形態では、動作評価装置１による評価結果と、復元装置２１による復元映像を出力する。第６実施形態では、評価対象映像と模範映像との類似度により評価する。よって、これらの情報を適宜組み合わせることで、練習をサポートする評価情報を提供することが可能である。単に模範映像との類似度で評価してもよいし、リズムに関しての類似度、重心の横ブレに対する類似度のような形で各項目に対する評価をフィードバックしてもよい。また、類似度などの評価スコアではなく、修正すべき点（横ブレを修正すべき、など）といった形でフィードバックしてもよい。評価映像のある主成分に関する復元映像を提供する場合に、対応する模範映像の主成分の復元映像と共に提供するようにしてもよい。

以上の本発明の説明において、評価対象動作の映像、及び必要ならば模範動作の映像、といった映像に関しては特に限定は設けていなかった。すなわち、動画の全フレームを利用して主成分分析を行い、評価結果を得ていた。

次に、本発明をより効率的に実施するために、動画の全フレームではなく、一部のフレームを利用して、その一部毎に主成分分析を適用する第７実施形態を説明する。当該実施形態は、第１乃至第６実施形態の全てと組み合わせて実施できる。

第７実施形態では、動画をクラス（例えば、時間毎や動きの種類毎）に分類して、そのクラス毎に主成分分析を行い、評価する。クラスとして時間（に対応付けられた、模範動作における動きの種類）を利用する例を図13に示す。ここでは全フレームが時刻t0〜t2に渡るフレームであるのを、時刻t0〜t1に渡るクラス１と、時刻t1+1〜t2に渡るクラス２とに分けて、それぞれのクラスに属するフレームに対して評価を行う。これにより、例えば、ひとつの動画中で複数の種類のダンスの動きが存在する場合にも、精度を落とすことなく、評価できるようになる。

なお、当該クラスを用いた動画の区間への分割は、分割箇所の情報を所与のものとして与えておいて、主成分得点変換部２における追加的な前処理として実現すればよい。

さらに、第１乃至第７実施形態のいずれとも組み合わせて実施できる第８実施形態であり、動画の画素に動きの本質部分の情報のみを残すことによって、評価精度を上げる効果を有する実施形態につき説明する。

第８実施形態に係る動作評価装置１の機能ブロック図を図１４に示す。動作評価装置１は、フィルタ処理部２５０と、主成分得点変換部２と、機能ブロック２６０とを備える。主成分得点変換部２は他の実施形態と同様である。点線で示す機能ブロック２６０は、当該第８実施形態を第１乃至第７実施形態のいずれと組み合わせて実施するかによって、対応する図３、図５、図６、図８などの、主成分得点変換部２以降の機能ブロック（群）となる。例えば、第２実施形態と組み合わせて実施するならば、機能ブロック２６０は、図５（Ａ）に示したように、周波数解析部３とピーク周波数抽出部４と、になる。

すなわち、当該構成よりも明らかなように、当該第８実施形態では、動作映像の画素に対して、フィルタ処理部２５０が、主成分得点変換部２で処理される前の前処理を担うことにより、評価精度を向上させる。よって当該処理においては、動作映像の図２（１）で説明したようなサイズ形式は不変であり、画素値がフィルタ処理を受ける。

フィルタ処理部２５０は、動作映像に対する前処理として、空間フィルタを利用して、動画中のノイズを除去する。ノイズ除去処理としては、ぼかし処理一般を利用できる。例えば、ローパスフィルタの一種であるガウシアンフィルタなどを利用して、動作映像の各フレームの画像をぼかす。平滑化フィルタやメディアンフィルタといった所定のフィルタを利用してもよい。また、動画の解像度を落とすことで、ローパスフィルタの代替としてもよい。

そして、フィルタ処理部２５０があらかじめ上記のようにぼかし処理を行うことで、動作映像の、例えばダンス練習者の服のテクスチャなどといったような、動きの本質的ではない部分の影響を軽減した上で評価できるようになるため、評価精度が向上するという効果がある。

図１５に、本発明の動作評価装置１又は動作評価確認システム２０を用いて、図１で説明したような、模範映像の動作を習得するための練習を行うシステムの機能ブロック図を示す。当該システムは、ユーザ端末２５、模範映像データベース（模範映像ＤＢ）２６及び再生部２７を備える。

ユーザ端末２５は、練習動作を評価映像として撮影する機能、撮影された映像を保存する機能、本発明の動作評価装置１又は動作確認システム２０の機能、などを有し、携帯端末などを利用することができる。模範映像ＤＢ２６は、評価の基準となる各種の模範映像を格納している。ユーザ端末２５は、評価基準として用いる模範映像又は模範映像の評価データを模範映像ＤＢ２６より取得し、当該模範映像に基づいて自身で撮影した評価映像の評価を行えるようにする。再生部２７は、図１の例のように模範映像を見ながら合わせて例えばダンスする、といった必要がある場合のために、模範映像を再生する。模範映像を覚えていて、当該必要がない場合は、再生する必要はないが、その場合、代わりに模範映像に合わせた音楽などを再生するようにしてもよい。

また、本発明において、画素単位の構成要素からなるベクトルに対して主成分分析を適用したが、いくらかの画素をひとまとまりとしたブロック単位で代表画素値を求め、当該代表画素単位の構成要素からなるベクトルに対して主成分分析を適用してもよい。背景差分法などで背景分離を行った上でこの手法を用いてもよい。

また、本発明において、動作映像、模範映像はグレースケールを想定する。カラーの場合には、グレースケールに変換すればよい。カラーのままで評価する場合には、例えばRGBでは、各RGB成分に対して、グレースケール評価と同様の処理によって評価することができる。

また、本発明において、第４実施形態で評価基準の所定の時系列に模範動作に基づくデータを利用する場合や、第６実施形態で評価対象動作と模範動作とを比較する場合、図２（１）で説明したような動作映像のサイズ形式は、評価対象動作映像と模範動作映像とで、揃えておくものとする。

なおまた、本発明において、評価対象動作の映像、及び必要ならば模範動作の映像、は共に、変化しない背景を背にした動作であることが好ましい。第６実施形態において、模範映像と比較して類似度を求める場合、評価動作の種類はダンスに限らず、走る際のフォームチェック、フィットネスの動作チェックなど、他のスポーツ等での動作に対する利用も期待できる。本発明にゲーム要素を加えれば、魅力的なアプリケーションが実現できると考える。ゴルフや野球のスイングチェックにも応用できる可能性がある。

以上、本発明によれば、画素値ベクトルを主成分分析するという、比較的単純な処理で汎用的に動きのリズムなどを評価することができる。また同様にして、評価対象映像と模範映像との動きの類似性を評価することができる。さらに、評価の根拠となる動作がどのような動作であるのかを確認することができる。

１…動作評価装置、２…主成分得点変換部、３…周波数解析部

Claims (9)

1. 映像の動作を評価する動作評価装置であって、
   前記映像の時系列をなす各フレームにおける直接の画素値からなる特徴量の時系列に対して主成分分析を施し、該特徴量の時系列を主成分分析における固有値毎に、主成分得点の時系列に変換する主成分得点変換部と、
   前記主成分得点の時系列を周波数解析してスペクトル情報を得る周波数解析部とを備え、
   前記スペクトル情報により前記映像の動作を評価することを特徴とする動作評価装置。
2. 前記特徴量が、各画素のフレーム内位置に基づく所定の順に、各画素の画素値を並べたベクトルであることを特徴とする請求項１に記載の動作評価装置。
3. 前記スペクトル情報よりピーク周波数を抽出するピーク周波数抽出をさらに備えることを特徴とする請求項１または２に記載の動作評価装置。
4. 固有値毎の前記スペクトル情報のうち、スペクトルのピーク位置及び大きさが所定の閾値条件を満たし、且つ固有値が最大となるスペクトル情報におけるピーク周波数を抽出する、全体リズム決定部をさらに備えることを特徴とする請求項１または２に記載の動作評価装置。
5. 映像の動作を評価する動作評価装置であって、
   前記映像の時系列をなす各フレームにおける直接の画素値からなる特徴量の時系列に対して主成分分析を施し、該特徴量の時系列を主成分分析における固有値毎に、主成分得点の時系列に変換する主成分得点変換部と、
   所定の固有値に対応する前記主成分得点の時系列と所定の時系列との相関値を相互相関関数を用いて算出する相関値算出部とを備えることを特徴とする動作評価装置。
6. 前記主成分得点変換部が、前記映像をあらかじめ所定時間の区間に分けてから、該区間毎に変換を行うことにより、前記映像を該区間毎に評価することを特徴とする請求項１ないし５のいずれかに記載の動作評価装置。
7. 請求項１ないし６のいずれかに記載の動作評価装置であって、さらに、
   前記映像の各画素値が前記主成分得点変換部で変換されるに先だって、前記映像の各フレーム内で画素値にぼかし処理を施すフィルタ処理部を備えることを特徴とする動作評価装置。
8. 評価対象動作の模範動作に対する類似度を評価する、類似度評価方法であって、
   請求項１ないし７のいずれかに記載の動作評価装置を用いて、前記評価対象動作と前記模範動作とを評価し、当該評価した結果の比較に基づいて類似度を評価することを特徴とする類似度評価方法。
9. 評価対象動作を評価し且つ当該評価の基準の確認フィードバックを行う、動作評価・確認方法であって、
   請求項１ないし７のいずれかに記載の動作評価装置を用いて、前記評価対象動作を評価したのち、前記動作評価装置が当該評価に用いた主成分得点の時系列を原空間の映像に復元する復元装置を用いることで確認フィードバックを行うことを特徴とする動作評価・確認方法。