JP2009037410A - 感情表現抽出処理装置及びプログラム - Google Patents

Abstract

【課題】ジェスチャの特徴量に基づく感情認識の精度の向上。
【解決手段】感情表現抽出処理装置１０において、人間の各関節の動きの特徴を示す特徴量を取得する特徴量取得部１１と、上記人間の感情を示す感情情報を取得する感情情報取得部１４と、上記感情情報と上記特徴量とに基づいて学習結果データを生成し、生成した学習結果データをデータベースに記憶させる学習処理部１５と、を含むことを特徴とする。
【選択図】図１

Description

本発明は、感情表現抽出処理装置及びプログラムに関する。

音声や顔表情の特徴量を用いて感情を認識する感情認識技術が知られているが、人間の感情は、音声や顔表情以外に、体を使った動作（ジェスチャ）にも現れるものである。そこで、近年、ジェスチャの特徴量に基づいて感情を認識する技術が注目されるようになってきた（例えば、特許文献１及び２参照。）。
特開２００１−８３９８４号公報 特開２００７−４１９８８号公報

しかしながら、上記従来の技術には、ジェスチャの特徴量に基づく感情認識の精度が悪いという問題があった。

例えば、上記特許文献１に開示される技術では、センサによって取得される電気信号から特徴量を抽出している（特許文献１の第００２０段落等）が、この方法で取得される特徴量は、同文献の図６にもあるように、「手の動き」が「動」「通常」「静」のいずれであるかを示す情報のみであり、精度よく感情を認識することはできない。そこで、この技術では、「体温」「発汗量」「音声」「目の角度」「眉毛の角度」「瞬き」等、ジェスチャの特徴量ではない各種の特徴量を用いて感情の認識精度を確保している。

従って、本発明の課題の一つは、ジェスチャの特徴量に基づく感情認識の精度を向上できる感情表現抽出処理装置及びプログラムを提供することにある。

（１）上記課題を解決するための本発明の一態様にかかる感情表現抽出処理装置は、人間の動きの特徴を示す特徴量を取得する特徴量取得手段と、前記特徴量取得手段により取得される特徴量に関連付けて、前記人間の感情を示す感情情報を取得する感情情報取得手段と、前記感情情報と前記特徴量とに基づいて感情を特徴付ける感情モデルパラメータを生成し、生成した感情モデルパラメータをデータベースに記憶させる学習処理手段と、を含むことを特徴とする。
これによれば、人間の動きの特徴を示す特徴量を取得しているので、上記特許文献１に開示される技術に比べ、ジェスチャの特徴をより詳細に反映させた学習結果データを生成することができる。従って、ジェスチャの特徴量に基づく感情認識の精度が向上する。
ここで、次元変換処理の代表例は、主成分分析処理である。この主成分分析処理は、統計的な処理により、特徴空間における次元を圧縮するものである。次元変換処理としては、他にも、ＩＣＡ（Independent Component Analysis、独立成分解析）、高次ＳＶＤ（Singular Value Decomposition、特異値分解）、ＩＳＯＭＡＰなどの方法による処理を用いることも可能である。

（２）また、上記感情表現抽出処理装置において、前記特徴量取得手段は、前記人間の関節ごとに、その動きを表す時系列信号を取得する時系列信号取得手段と、前記人間の各関節を体の部位ごとに分類してなる部位グループごとに、前記各時系列信号に次元変換処理を施し、次元圧縮した時系列信号を取得する次元変換処理手段と、前記次元変換処理手段により取得される前記各時系列信号それぞれをサブバンド分解することにより、前記部位グループ、次元圧縮後の成分、及びサブバンドグループの組み合わせごとの時系列信号により構成される３次元時系列信号を取得するサブバンド分解処理手段と、前記３次元時系列信号を構成する時系列信号のうちの一部を選択し、選択された時系列信号により構成される部分３次元時系列信号を取得する部分３次元時系列信号取得手段と、を含み、前記部分３次元時系列信号を前記特徴量として取得する、こととしてもよい。
このように部分３次元時系列信号をジェスチャの特徴量として用いれば、ジェスチャの特徴量に基づく感情認識の精度が向上する。
ここで、サブバンド分解処理の代表例はウェーブレット（Wavelet）分解処理である。また、上記のサブバンドグループは、どのサブバンド領域に属しているかを示すものである。

（３）また、上記各感情表現抽出処理装置において、前記次元変換処理手段により取得される前記各時系列信号のうちのひとつに基づいて、該時系列信号の時間区間を複数の区間に分割する区間分割手段、を含み、前記サブバンド分解処理手段は、前記区間ごとに前記各時系列信号それぞれをサブバンド分解して、前記区間ごとに前記３次元時系列信号を取得する、こととしてもよい。
これによれば、上記区間ごとに特徴量を取得することができる。

（４）また、上記各感情表現抽出処理装置において、前記特徴量取得手段により取得された前記特徴量と、前記学習処理手段により前記データベースに記憶された前記感情モデルパラメータと、に基づいて、人間の感情を示す感情情報を出力する認識処理手段、を含むこととしてもよい。
これによれば、ジェスチャから、人間の感情を取得することができる。

（５）また、上記感情表現抽出処理装置において、前記特徴量取得手段は、前記人間の関節ごとに、その動きを表す時系列信号を取得する時系列信号取得手段と、前記各時系列信号に次元変換処理を施し、次元圧縮した時系列信号を取得する次元変換処理手段と、前記次元変換処理手段により取得される前記各時系列信号それぞれをサブバンド分解することにより、次元圧縮後の成分及びサブバンドグループの組み合わせごとの時系列信号により構成される２次元時系列信号を取得するサブバンド分解処理手段と、前記２次元時系列信号を構成する時系列信号のうちの一部を選択し、選択された時系列信号により構成される部分２次元時系列信号を取得する部分２次元時系列信号取得手段と、を含み、前記部分２次元時系列信号を前記特徴量として取得する、こととしてもよい。
このようにしても、平均的に見れば、部位グループを用いる場合と同等の精度が得られる。

（６）また、本発明の他の一態様にかかる感情表現抽出処理装置は、人間の動きの特徴を示す特徴量と、前記人間の感情を示す感情情報と、に基づいて生成された感情を特徴付ける感情モデルパラメータを記憶するデータベースと、人間の動きの特徴を示す特徴量を取得する特徴量取得手段と、前記特徴量取得手段により取得された前記特徴量と、前記データベースに記憶される前記感情モデルパラメータと、に基づいて、人間の感情を示す感情情報を出力する認識処理手段と、を含むことを特徴とする。

（７）また、本発明にかかるプログラムは、人間の動きの特徴を示す特徴量を取得する特徴量取得手段、前記特徴量取得手段により取得される特徴量に関連付けて、前記人間の感情を示す感情情報を取得する感情情報取得手段、及び前記感情情報と前記特徴量とに基づいて感情を特徴付ける感情モデルパラメータを生成し、生成した感情モデルパラメータをデータベースに記憶させる学習処理手段、としてコンピュータを機能させるためのプログラムである。

以下、本発明の実施の形態について、図面を参照しながら説明する。
図１は、本実施の形態にかかる感情表現抽出処理装置１０のシステム構成及び機能ブロックを示す図である。同図に示すように、感情表現抽出処理装置１０は、特徴量取得部１１、操作部１３、感情情報取得部１４、学習処理部１５、データベース１６、認識処理部１７、表示部１８を含んで構成される。なお、感情表現抽出処理装置１０には、例えばパーソナルコンピュータなどのコンピュータを用いることができる。

感情表現抽出処理装置１０は、ジェスチャの特徴量を取得して人間の感情と紐付ける学習処理と、その学習結果を用いて、取得したジェスチャの特徴量から人間の感情を判定する認識処理と、を行う。以下では、まずジェスチャの特徴量を取得する処理について説明し、その後、学習処理と認識処理について順次説明する。

［特徴量取得処理］
まず、ジェスチャの特徴量を取得する処理について説明する。特徴量取得部１１は、人間の各関節の動きの特徴を示す特徴量を取得する機能（特徴量取得手段）を有しており、具体的には、図１に示すように、モーションキャプチャ１１０、グループ化処理部１１１、主成分分析処理部１１２（次元変換処理手段）、感情区間抽出処理部１１３、サブバンド分解処理部１１５、部分３次元時系列信号取得部１１６を含んで構成される。

モーションキャプチャ１１０は、人間の関節ごとに、その動きを表す時系列信号を取得する（時系列信号取得手段）。この時系列信号取得の具体的な方式としては光学式、機械式、磁気式等があり、本実施の形態ではいずれを用いてもよい。なお、光学式には、１台又は複数台のカメラを用いて人間を撮影し、撮影結果から時系列信号を取得するものも含まれる。

図２は、人間の模式図であり、同図中の各四角形は人間の関節を示している。モーションキャプチャ１１０は、図２に示す人間の関節ごとに、関節の角度情報により基づいて４次元の時系列信号（クオータニオン）を取得するとともに、クオータニオンを時間微分した時系列信号を取得する。その結果、モーションキャプチャ１１０は、図２に示す人間の関節ごとに、８次元の時系列信号を取得する。本実施の形態において時系列信号取得対象の関節は図２にも示すように２２個（腰、背骨、背骨１、背骨２、首、頭、右肩、右腕、右前腕、右手、左肩、左腕、左前腕、左手、右腿、右脚、右足、右爪先、左腿、左脚、左足、左爪先）あり、モーションキャプチャ１１０は、結果として１７６次元の時系列信号を取得して出力する。なお、本実施の形態では以上のような時系列信号を用いるが、例えばクオータニオンに代えて関節ごとの角度情報などの３次元の時系列信号を用いることとしてもよい。

式（１）は、上記１７６次元の時系列信号を示している。ここで、信号ｍ（Ｊ_ｘ）［ｎ］は、Ｊ_ｘ（ｘ＝１〜１７６）番目の次元について、時刻ｎ（ｎ＝１〜ｎ_ｍａｘ）においてモーションキャプチャ１１０が取得するデジタル信号の振幅値を示している。

グループ化処理部１１１は、モーションキャプチャ１１０が取得した各時系列信号を、人間の各関節を体の部位ごとに分類してなる部位グループごとにグループ化する。本実施の形態では、図２に示すように、上記各関節を５つの部位グループ（胴体部（ＢＢ）、右腕部（ＲＡ）、左腕部（ＬＡ）、右脚部（ＲＬ）、左脚部（ＬＬ））に分けており、グループ化処理部１１１は、この５つの部位グループごとに、各時系列信号をグループ化する。

式（２）は、ある１つの部位グループＧ_ｉについて、グループ化された時系列信号Ｍ（Ｇ_ｉ）［ｎ］を示している。ここで、ｉは１〜５の数値で、それぞれ胴体部、右腕部、左腕部、右脚部、左脚部の各部位に対応している。Ｊ_ｉ，ｙは部位グループＧ_ｉ内の次元を表している。Ｍ_ｉは部位グループＧ_ｉに含まれる次元の数であり、Ｍ_１＋Ｍ_２＋Ｍ_３＋Ｍ_４＋Ｍ_５＝１７６である。

主成分分析処理部１１２は、部位グループごとに、上記各時系列信号に主成分分析を施し、１又は複数の主成分についての時系列信号、つまり次元圧縮後の時系列信号を取得する（次元変換処理手段）。以下、部位グループＧ_ｉの例を用いて、主成分分析処理部１１２の処理について具体的に説明する。

主成分分析処理部１１２は、まず、時系列信号Ｍ（Ｇ_ｉ）［ｎ］の分散共分散行列Ｓ（式（３））を求める。ここで、ｓ_α，αはｍ（Ｊ_ｉ，α）［ｎ］の分散であり、ｓ_α，βはｍ（Ｊ_ｉ，α）［ｎ］とｍ（Ｊ_ｉ，β）［ｎ］の共分散である。具体的には、それぞれ式（４）で示される。なお、式（４）中のＥ［ ］は［ ］内の変数の平均値である。

次に、主成分分析処理部１１２は、分散共分散行列Ｓの固有値及び固有ベクトルを求める。具体的には、式（５）の固有値問題を解く。ここで、ａは固有ベクトル、λは固有値である。

式（５）の固有値問題を解くことによって、固有ベクトルａ及び固有値λの組み合わせがＭ_ｉ個得られる。以下では、各組み合わせを（ａ_z，λ_z）（z＝１〜Ｍ_ｉ）とする。ただし、λ_zはｚの単調非減少関数であるとする。次に、主成分分析処理部１１２は、λ_zの総和に対する各λ_zの比（寄与率という。）を算出するとともに、変数ＴＭ_ｉの記憶領域を確保する。そして、ｚ＝１から順に上記寄与率を足していき、所定閾値を上回ったところのｚの値を取得し、変数ＴＭ_ｉに代入する。

次に、主成分分析処理部１１２は、ｚ＝１〜ＴＭ_ｉについて、式（２）に示した各Ｍ（Ｇ_ｉ）［ｎ］の固有ベクトルａ_ｚへの射影（ｔｍ（Ｋ_ｉ，ｚ）［ｎ］とする。）を求める。その結果、主成分分析処理部１１２は、最終的に式（６）に示す時系列信号ＴＭ（Ｇ_ｉ）［ｎ］を取得する。この時系列信号ＴＭ（Ｇ_ｉ）［ｎ］は、ＴＭ_ｉ個の主成分（ｚ＝１〜ＴＭ_ｉ）についての時系列信号となっている。

さて、次に感情区間抽出処理部１１３について説明する。人間が感情に応じた動作を行うとき、その動作は、ある程度の時間的なまとまりをもって感情の特徴を表している。感情区間抽出処理部１１３は、このような時間的まとまり（感情区間という。）を、部位グループＧ_１に属する各時系列信号ｔｍ（Ｋ_１，ｚ）［ｎ］のうち、第１主成分の時系列信号ｔｍ（Ｋ_１，１）［ｎ］から抽出する。

具体的には、感情区間抽出処理部１１３は、時系列信号ｔｍ（Ｋ_１，１）［１］〜ｔｍ（Ｋ_１，１）［ｎ_ｍａｘ］に基づいて、その時間区間（１〜ｎ_ｍａｘ）を複数の区間に分割し（区間分割手段）、各区間を感情区間とする。以下、感情区間抽出処理部１１３の処理フローを参照しながら、感情区間抽出処理部１１３の処理についてより詳しく説明する。

図３は感情区間抽出処理部１１３の処理フローを示す図である。同図に示すように、感情区間抽出処理部１１３は、まずｔｍ（Ｋ_１，１）［１］〜ｔｍ（Ｋ_１，１）［ｎ_ｍａｘ］を取得する（ステップＳ１）。以下では、こうして取得した時系列信号ｔｍ（Ｋ_１，１）［１］〜ｔｍ（Ｋ_１，１）［ｎ_ｍａｘ］を、簡単のためにｓｓ［ｎ］と記す。

感情区間抽出処理部１１３は、ｓｓ［ｎ］にＦＦＴ(Fast Fourier Transform)を施す。このＦＦＴによってｓｓ［ｎ］の周波数成分ごとの振幅値が得られ、感情区間抽出処理部１１３は、振幅値が最も大きい周波数を取得し、その逆数を基本周期Ｔとして取得する（ステップＳ２）。さらに、取得したＴに所定値を乗算し、変数ｓｅａｒｃｈＴに代入する（ステップＳ３）。

次に、感情区間抽出処理部１１３は、ｎを１からｎ_ｍａｘまで１ずつ増加させる。そして、各ｎの値について、ｎの最小近傍区間（ｎ−Ｔからｎ＋Ｔ）から最大近傍区間（ｎ−ｓｅａｒｃｈＴからｎ＋ｓｅａｒｃｈＴ）まで段階的に区間を広げつつ、各区間内においてｓｓ［ｎ］が最大となるｎの値を取得する（ステップＳ４）。ステップＳ４の処理により、通常多くのｎの値が得られることになるので、感情区間抽出処理部１１３は、これらのｎの値を配列変数Ｅｘｔｒｅｍｅ［ｔ］に代入する（ステップＳ５）。ただし、ｔ＝１〜ＫＫ（取得されたｎの値の数）である。

そして、感情区間抽出処理部１１３は、ｔの値を１からＫＫまで１ずつ増加させつつ（ステップＳ６〜ステップＳ９）、Ｅｘｔｒｅｍｅ［ｔ＋１］−Ｅｘｔｒｅｍｅ［ｔ］の値が所定閾値を下回っているか否かを判定する（ステップＳ７）。その結果、下回っていた場合にのみ、Ｅｘｔｒｅｍｅ［ｔ］を削除する（ステップＳ８）。

ステップＳ６〜ステップＳ９の処理によっても、いくつかのｔについては、Ｅｘｔｒｅｍｅ［ｔ］が削除されずに残ることになる。感情区間抽出処理部１１３は、削除されずに残っているＥｘｔｒｅｍｅ［ｔ］について、隣接Ｅｘｔｒｅｍｅ［ｔ］間の区間を、上記感情区間として取得する（ステップＳ１０）。

図４は、感情区間の具体的な例を示す図である。図４横軸はｎ、縦軸はｓｓ［ｎ］である。また、図４中の黒丸は、ステップＳ６〜ステップＳ９の処理後に残ったＥｘｔｒｅｍｅ［ｔ］に対応するｓｓ［ｎ］の位置を示している。図４に示す例では、例えばｎ＝１００付近にｓｓ［ｎ］が極大となるｎの値が２つあるが、ステップＳ６〜ステップＳ９の処理により、小さいほうのｎの値は配列変数Ｅｘｔｒｅｍｅ［ｔ］から削除されている。感情区間抽出処理部１１３は、隣接黒丸間の区間を感情区間として取得する。

さて、サブバンド分解処理部１１５は、上記感情区間ごとに、主成分分析処理部１１２により取得される各時系列信号それぞれをサブバンド分解する。そして、その結果から、上記感情区間ごとに、部位グループＧ_ｉ、主成分ｚ、及びサブバンドレベルｌの組み合わせごとの時系列信号により構成される３次元時系列信号を取得する。以下、具体的に説明する。

サブバンド分解では、時系列信号ｔｍ（Ｋ_ｉ，ｚ）［ｎ］を、サブバンドレベル１〜Ｌに階層付けられた複数のサブバンド（帯域）グループに分解する。サブバンドレベルｌの時系列信号（ウェーブレット係数と呼ばれる。）をＷ（Ｋ_ｉ，ｚ）［ｌ］［ｎ］とすると、Ｗ（Ｋ_ｉ，ｚ）［ｌ］［ｎ］は式（７）の漸化式により表される。ただし、ｗ（Ｋ_ｉ，ｚ）［ｌ］［ｎ］は式（８）の漸化式で表される時系列信号であり、スケーリング係数と呼ばれるものである。なお、ｗ（Ｋ_ｉ，ｚ）［０］［ｎ］＝ｔｍ（Ｋ_ｉ，ｚ）［ｎ］である。

式（７）及び式（８）に示されるように、サブバンドレベルｌ＋１の時系列信号のデータ数は、サブバンドレベルｌの時系列信号のデータ数の半分になっている。
サブバンド分解処理部１１５は、式（７）及び式（８）の計算を繰り返すことによってＬ個の時系列信号Ｗ（Ｋ_ｉ，ｚ）［ｌ］［ｎ］（ｌ＝１〜Ｌ）を取得する。

図５は、サブバンド分解処理部１１５の具体的な回路構成の説明図である。同図に示すように、サブバンド分解処理部１１５はハイパスフィルタとローパスフィルタを含んで構成される。ハイパスフィルタは式（７）の処理を行うものであり、ローパスフィルタは式（８）の処理を行うものである。サブバンド分解処理部１１５は、時系列信号ｔｍ（Ｋ_ｉ，ｚ）［ｎ］を受け付け、各ハイパスフィルタ及び各ローパスフィルタを用いて上記式（７）及び式（８）の処理を繰り返し行い、その結果としてＬ個の時系列信号Ｗ（Ｋ_ｉ，ｚ）［ｌ］［ｎ］（ｌ＝１〜Ｌ）を取得する。

サブバンド分解処理部１１５は、上記同様の処理を、各主成分、各部位グループについて、感情区間ごとに行う。そして、その結果から、感情区間ごとに、３次元時系列信号ＤｅｃｏｍｐＭｏｔｉｏｎＤａｔａ［ｉ］［ｌ］［ｊ］［ｎ］を取得する。この３次元時系列信号は、具体的には式（９）により表される。

図６は、上記３次元時系列信号を模式的に示したものである。図６には、ｉ軸（部位グループ）、ｌ軸（サブバンドレベル）、ｚ軸（主成分）からなる３次元空間を示している。また、図６に示す「第ｍａｘ（ＴＭ_ｉ）成分」は、ＴＭ_１〜ＴＭ_５のうちの最大のものを示している。図６に示す個々の小立方体は、部位グループＧ_ｉ、主成分ｚ、及びサブバンドレベルｌの組み合わせに対応しており、それぞれ時系列信号Ｗ（Ｋ_ｉ，ｚ）［ｌ］［ｎ］に対応している。

以上のようにして３次元時系列信号が取得されると、次に、部分３次元時系列信号取得部１１６は、取得された３次元時系列信号を構成する時系列信号のうちの一部（図６に示す小立方体のうちのいくつか）を選択し、選択された時系列信号により構成される部分３次元時系列信号を取得する（部分３次元時系列信号取得手段）。具体的な例では、取得された３次元時系列信号を構成する時系列信号のうち、その平均振幅値が所定値以上であるものを選択する。

特徴量取得部１１は、部分３次元時系列信号取得部１１６が取得した上記部分３次元時系列信号を特徴量として取得し、学習処理部１５及び認識処理部１７のうちの少なくとも一方に出力する。より特定的には、学習時には学習処理部１５へ、認識時には認識処理部１７へ出力する。

［学習処理］
次に、学習処理について説明する。操作部１３は、キーボード、マウス等の操作手段であり、ユーザ指示の入力を受け付ける。ユーザは、モーションキャプチャ１１０が人間の動作から時系列信号を取得する際、操作部１３を用いて、該動作を行っている該人間の感情を示す感情情報を入力するための操作を行う。感情情報の例としては、怒り（アングリー）を表す情報、楽しみ（ハッピー）を表す情報、特段の感情がないこと（ニュートラル）を示す情報、哀しみ（サッド）を表す情報、が挙げられる。感情情報取得部１４は、ユーザの操作内容から感情情報を取得し（感情情報取得手段）、学習処理部１５に出力する。

学習処理部１５は、感情情報取得部１４から入力される感情情報と、特徴量取得部１１から入力される特徴量（感情区間ごとの部分３次元時系列信号）と、に基づいて学習結果データを生成し、生成した学習結果データをデータベース１６に記憶させる（学習処理手段）。ここで、学習結果データは、感情を特徴付ける感情モデルパラメータである。以下、学習結果データの詳細について説明するが、学習処理部１５が用いる学習モデルには隠れマルコフモデル（Hidden Markov Model；ＨＭＭ）を用いることが好適であるので、ここでは、このＨＭＭを用いる場合について説明する。

HMMでは、学習結果データは、それぞれの感情を特徴付けるＨＭＭモデルパラメータ（感情モデルパラメータ）と３次元時系列信号から部分３次元時系列信号への変換パラメータである。ＨＭＭモデルパラメータは、文献[Rabiner]にも記載されているようにＨＭＭの状態構造を決定する２値のトポロジー行列要素と初期状態確率、状態遷移確率や状態ごとの観測確率を含む統計的要素からなる。３次元時系列信号から部分３次元時系列信号への変換パラメータは、具体的には、部分３次元時系列信号が元の３次元時系列信号のどの部分に相当するのかを示すインデクス番号の集合である。
学習処理部１５では、ある感情情報についての３次元時系列信号が入力されると、あらかじめ決められた変換パラメータを用いて部分３次元時系列信号に変換される。そして、その部分３次元時系列信号を最も高い確率で出力するＨＭＭモデルパラメータを決定する。これを同感情情報についての多数の部分３次元時系列信号について繰り返し、同感情情報について最も尤もらしいＨＭＭモデルパラメータ（以下では、ＨＭＭ_ｋということにする。ただし、ｋは感情情報のインデクス番号である。）を決定する。このＨＭＭ_ｋと変換パラメータで感情ごとに学習結果データを生成し、データベース１６に記憶させる。

［認識処理］
次に、認識処理について説明する。認識処理部１７は、特徴量取得部１１から特徴量（部分３次元時系列信号）が入力されると、該特徴量と、データベース１６に記憶される学習結果データ（感情を特徴付ける感情モデルパラメータ）と、に基づいて感情情報を出力する（認識処理手段）。具体的には、感情ごとに変換パラメータで入力の３次元時系列信号から変換された部分３次元時系列信号を最も高い確率で出力する状態遷移系列を決定する。そして、該状態遷移系列と、データベース１６に記憶される各ＨＭＭ_ｋと、の尤度（類似度）λ_ｋを算出する。そして、算出した複数の尤度λ_ｋの中で最も大きいものに対応する最尤状態遷移系列ＨＭＭ_ｋを示す情報と対応付けて記憶される感情情報を取得して表示部１８に出力する。式（１０）は、この処理を数式により表したものである。ただし、ｅｍｏｔｉｏｎＩＤは感情情報を表している。

表示部１８は、液晶ディスプレイ等の表示手段である。表示部１８は、認識処理部１７から入力された感情情報を表示する。
以上説明した認識処理の認識精度について、実験結果を提示しつつ説明する。表１は、本実施の形態にかかる感情表現抽出処理装置１０を用いて認識実験を行った結果を示す表である。ただし、この実験では、簡便のため、部位グループとして左右脚部のみを用い、サブバンドレベルも５，６のみを用いている。なお、主成分の次元（ＴＭ_ｉ）はいずれの脚部についても２としている。この場合、同表に示すように、各種の感情について実験を行った結果得られたトータル認識精度は０．６３２となっている。なお、０．６３２という数値は、１０００回に６３２回の割合で正しく認識できる程度の認識精度を有していることを示しており、以下でも同様である。

次に、表２は、式（１）に示した１７６次元の時系列信号のうち、３２次元分の時系列信号（右脚、右足、左脚、左足に対応するクオータニオン及びその微分信号）を特徴量として用いて認識実験を行った結果を示している。この場合、同表に示すように、各種の感情について実験を行った結果得られたトータル認識精度は０．４０６となっている。

次に、表３は、左右脚部について、式（６）に示した時系列信号を特徴量として用いて認識実験を行った結果を示している。なお、主成分の次元（ＴＭ_ｉ）はいずれの脚部についても２としている。この場合、同表に示すように、各種の感情について実験を行った結果得られたトータル認識精度は０．４３７となっている。

以上説明したように、感情表現抽出処理装置１０によれば、人間の各関節の動きの特徴を示す特徴量を取得しているので、背景技術に比べ、ジェスチャの特徴をより詳細に反映させた学習結果データを生成することができる。従って、ジェスチャの特徴量に基づく感情認識の精度が向上する。
また、部分３次元時系列信号をジェスチャの特徴量として用いたことにより、ジェスチャの特徴量に基づく感情認識の精度が向上している。

以上本発明の実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明は、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。

例えば、上記実施の形態では部位グループごとに主成分分析を行ったが、部位グループを用いなくても、ある程度の効果を得ることが可能である。この場合、式（２）に代えて式（１１）を用い、時系列信号Ｍ［ｎ］を用いて、上記実施の形態同様、主成分分析、サブバンド分解等を行う。その結果得られる特徴量は３次元時系列信号ではなく、２次元時系列信号となる。式（１２）は、この２次元時系列信号の例を示している。

部位グループを用いない場合の認識処理の認識精度について、実験結果を提示しつつ説明する。表４は、上記実施の形態にかかる感情表現抽出処理装置１０を用いて認識実験を行った結果を示す表である。ただし、この実験では、部位グループとして胴体部及び左右脚部を用い、サブバンドレベルは５，６のみを用いている。なお、主成分の次元（ＴＭ_ｉ）はいずれの脚部についても２としている。この場合、同表に示すように、各種の感情について実験を行った結果得られたトータル認識精度は０．６３２となっている。

次に、表５は、式（１）に示した１７６次元の時系列信号のうち、１１２次元分の時系列信号（腰、背骨、背骨１、背骨２、首、頭、右肩、右腕、右前腕、右手、左肩、左腕、左前腕、左手に対応するクオータニオン及びその微分信号）に直接主成分分析を加えて次元圧縮した１２次元分の時系列信号を特徴量として用いて認識実験を行った結果を示している。この場合、同表に示すように、各種の感情について実験を行った結果得られたトータル認識精度は０．５３５となっている。

次に、表６は、表５の実験で用いた１２次元分の時系列信号を上記同様にサブバンド分解して得られるＬ個の時系列信号のうち、サブバンドレベル５，６にかかる時系列信号を用いて得られる３次元時系列信号を特徴量として用いて認識実験を行った結果を示している。この場合、同表に示すように、各種の感情について実験を行った結果得られたトータル認識精度は０．７１５となっており、表４の結果と等しくなっている。この結果は、部位グループを用いなくても、ある程度の効果を得ることが可能であることを示している。

また、上記実施の形態では、データベース１６に記憶される学習結果データを認識処理のために用いる例について説明したが、同学習結果データは、例えばＣＧ(computer graphics)合成の用途にも用いることができる。この場合、学習処理部１５及び認識処理部１７の他に、時系列信号出力部を用いる。時系列信号出力部は、感情情報を入力すると、その感情情報に対応するＨＭＭ_ｋをデータベース１６から取得し、取得したＨＭＭ_ｋに基づいて部分３次元時系列信号を取得する。そして、上記サブバンド分解、上記主成分分析、上記部位グループ化、の各逆処理を行い、最終的に式（１）に示した１７６次元の時系列信号を出力する。この時系列信号は人間の各関節の動きを示すものであるので、この時系列信号に従って人間のＣＧを合成することにより、自然なジェスチャにより人間の感情を表現するＣＧを合成できる。

また、上記実施の形態では、感情表現抽出処理装置１０の内部に特徴量取得部１１や操作部１３を設ける構成について説明したが、これらを感情表現抽出処理装置１０の外部に設けることとしてもよい。この場合、感情表現抽出処理装置１０は、これらをセットにしたデータを外部装置から受信して、学習処理を行う。

また、感情表現抽出処理装置１０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上記感情表現抽出処理装置１０の各処理を行ってもよい。
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、この「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに、「コンピュータ読み取り可能な記録媒体」には、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
さらに、上記プログラムは、上述した各機能の一部を実現するためのものであってもよい。さらに、上述した各機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本発明の実施の形態にかかる感情表現抽出処理装置のシステム構成及び機能ブロックを示す図である。 人間の模式図であり、同図中の各四角形は人間の関節を示している。 本発明の実施の形態にかかる感情区間抽出処理部の処理フローを示す図である。 本発明の実施の形態にかかる感情区間の具体的な例を示す図である。 本発明の実施の形態にかかるサブバンド分解処理部の具体的な回路構成の説明図である。 本発明の実施の形態にかかる３次元時系列信号を模式的に示した図である。

符号の説明

１０ 感情表現抽出処理装置、
１１ 特徴量取得部、
１３ 操作部、
１４ 感情情報取得部、
１５ 学習処理部、
１６ データベース、
１７ 認識処理部、
１８ 表示部、
１１０ モーションキャプチャ、
１１１ グループ化処理部、
１１２ 主成分分析処理部、
１１３ 感情区間抽出処理部、
１１５ サブバンド分解処理部、
１１６ 部分３次元時系列信号取得部。

Claims (7)

1. 人間の動きの特徴を示す特徴量を取得する特徴量取得手段と、
   前記特徴量取得手段により取得される特徴量に関連付けて、前記人間の感情を示す感情情報を取得する感情情報取得手段と、
   前記感情情報と前記特徴量とに基づいて感情を特徴付ける感情モデルパラメータを生成し、生成した感情モデルパラメータをデータベースに記憶させる学習処理手段と、
   を含むことを特徴とする感情表現抽出処理装置。
2. 請求項１に記載の感情表現抽出処理装置において、
   前記特徴量取得手段は、
   前記人間の関節ごとに、その動きを表す時系列信号を取得する時系列信号取得手段と、
   前記人間の各関節を体の部位ごとに分類してなる部位グループごとに、前記各時系列信号に次元変換処理を施し、次元圧縮した時系列信号を取得する次元変換処理手段と、
   前記次元変換処理手段により取得される前記各時系列信号それぞれをサブバンド分解することにより、前記部位グループ、次元圧縮後の成分、及びサブバンドグループの組み合わせごとの時系列信号により構成される３次元時系列信号を取得するサブバンド分解処理手段と、
   前記３次元時系列信号を構成する時系列信号のうちの一部を選択し、選択された時系列信号により構成される部分３次元時系列信号を取得する部分３次元時系列信号取得手段と、
   を含み、前記部分３次元時系列信号を前記特徴量として取得する、
   ことを特徴とする感情表現抽出処理装置。
3. 請求項１又は２に記載の感情表現抽出処理装置において、
   前記次元変換処理手段により取得される前記各時系列信号のうちのひとつに基づいて、該時系列信号の時間区間を複数の区間に分割する区間分割手段、
   を含み、
   前記サブバンド分解処理手段は、前記区間ごとに前記各時系列信号それぞれをサブバンド分解して、前記区間ごとに前記３次元時系列信号を取得する、
   ことを特徴とする感情表現抽出処理装置。
4. 請求項１から３までのいずれか１項に記載の感情表現抽出処理装置において、
   前記特徴量取得手段により取得された前記特徴量と、前記学習処理手段により前記データベースに記憶された前記感情モデルパラメータと、に基づいて、人間の感情を示す感情情報を出力する認識処理手段、
   を含むことを特徴とする感情表現抽出処理装置。
5. 請求項１に記載の感情表現抽出処理装置において、
   前記特徴量取得手段は、
   前記人間の関節ごとに、その動きを表す時系列信号を取得する時系列信号取得手段と、
   前記各時系列信号に次元変換処理を施し、次元圧縮した時系列信号を取得する次元変換処理手段と、
   前記次元変換処理手段により取得される前記各時系列信号それぞれをサブバンド分解することにより、次元圧縮後の成分及びサブバンドグループの組み合わせごとの時系列信号により構成される２次元時系列信号を取得するサブバンド分解処理手段と、
   前記２次元時系列信号を構成する時系列信号のうちの一部を選択し、選択された時系列信号により構成される部分２次元時系列信号を取得する部分２次元時系列信号取得手段と、
   を含み、前記部分２次元時系列信号を前記特徴量として取得する、
   ことを特徴とする感情表現抽出処理装置。
6. 人間の動きの特徴を示す特徴量と、前記人間の感情を示す感情情報と、に基づいて生成された感情を特徴付ける感情モデルパラメータを記憶するデータベースと、
   人間の動きの特徴を示す特徴量を取得する特徴量取得手段と、
   前記特徴量取得手段により取得された前記特徴量と、前記データベースに記憶される前記感情モデルパラメータと、に基づいて、人間の感情を示す感情情報を出力する認識処理手段と、
   を含むことを特徴とする感情表現抽出処理装置。
7. 人間の動きの特徴を示す特徴量を取得する特徴量取得手段、
   前記特徴量取得手段により取得される特徴量に関連付けて、前記人間の感情を示す感情情報を取得する感情情報取得手段、及び
   前記感情情報と前記特徴量とに基づいて感情を特徴付ける感情モデルパラメータを生成し、生成した感情モデルパラメータをデータベースに記憶させる学習処理手段、
   としてコンピュータを機能させるためのプログラム。

Images