JP2010213782A - 行動認識方法、装置及びプログラム - Google Patents

Abstract

【目的】複数の抽象レベルで行動を把握することができる行動認識方法、装置及びプログラムを提供する。
【構成】複数の抽象レベル毎に、行動モデルと行動認識アルゴリズムとに対応するモデルデータを保持し、該センサデータから特徴ベクトルを抽出し、該特徴ベクトルに対して該複数の抽象レベルのうちの第１の抽象レベルに対応するモデルデータを用いた認識処理を施すことによって、当該第１の抽象レベルの行動識別子シーケンスを認識して記憶し、該複数の抽象レベル毎に、記憶されている、当該抽象レベルより下位レベルの行動識別子のシーケンスに対して、当該抽象レベルに対応するモデルデータを用いた認識処理を施すことによって、当該抽象レベルの行動識別子シーケンスを認識して記憶する。第２の抽象レベルを含む少なくとも１つ抽象レベルについて該第２認識ステップを反復する。
【選択図】図７

Description

本発明は、人や動物等の個体の行動を認識する行動認識方法、装置及びプログラムに関する。

従来から、高齢者の行動を見守るシステム、運転者の行動を監視するシステム、或いは店舗内の顧客行動を分析するシステム等の如き、人や動物等の個体の行動を認識する行動認識装方法又はシステムが知られている。かかる方法又はシステムにおいては、通常、ビデオカメラ等による撮像情報から個体の行動を認識したり、個体に装着されたＲＦＩＤ（Radio Frequency IDentification）等によるセンサ情報から個体の行動を認識することが行われる。

例えば、特許文献１は、加速度センサ、脈拍センサ、皮膚温度センサから得られたデータと、それらから得られる統計量等と比較することで、「睡眠」「休憩」「被ストレス」「食事」「運動」を分類する技術を開示している。また、特許文献２は、ビデオカメラの映像を用いて、人の行動を認識する技術を開示している。ここでは、画像中のメッシュ特徴、オプティカルフローの方向分布等の特徴量から、隠れマルコフモデル（ＨＭＭ；Hidden Markov Model）等の確率的状態遷移モデルを基礎とした学習を行って行動を認識するものである。また、特許文献３は、複数のカメラが連携することで、人の移動を追跡し、その遷移パターンから、「座る」「急いでいる」「困っている」等の行動を認識する技術を開示している。さらに、特許文献４は、小売店の中で、棚や籠等の商品にそれぞれＲＦＩＤタグがつけられており、ＲＦＩＤタグリーダを手首に装着した人が、ＲＦＩＤタグの近くに手をやったかどうか、籠、商品、または棚のタグに近づいた順番等の関係を判別することで、商品への購入意欲等を表す購買行動を認識する技術を開示している。

特開２０００−２４５７１３号公報 特開平０５−４６５８３号公報 特開２００６−２２１３７９号公報 特開２００６−２０９４２１号公報

しかしなから、上記の如き従来の行動認識システムは、人の行動からセンシングできるデータから単一の行動を認識することを主眼としている。人の行動は、単一な行動としての表現だけでは行動の全てを表しているとは言えず、様々な抽象レベルによって様々な表現が可能である。例えば、「車を運転している」という行動の場合、「仕事に行く過程で職場に向かって車を運転している」又は「買い物に行く過程で店に向かって車を運転している」といった、異なる抽象度の行動として捉えることも可能である。同様に、「ドアを開ける」という行動の場合、「どこ」のドアを「何」のために開けているのかによって、様々なレベルで行動を表現し得る。例えば朝出勤する際の「ドアを開ける」という行動は、具体的には「玄関のドアを空ける」という行動であり、さらに抽象度を上げると「外出する」、具体的には「出勤する」という行動であるといった様々な抽象レベルでの表現が可能である。このように単一の行動であっても複数の抽象レベルの行動として表現し得る。しかしながら、従来文献の手法では、「ドアを開ける」といった単一の抽象レベルでの行動しか認識できなかった。

本発明は、複数の抽象レベルで行動を把握することができる行動認識方法、装置及びプログラムを提供することである。

本発明による行動認識方法は、個体の行動を計測するセンサデータを取り込み、前記センサデータから前記個体の行動を認識する行動認識装置における行動認識方法であって、複数の抽象レベル毎に、行動モデルと行動認識アルゴリズムとに対応するモデルデータを保持する行動モデル保持ステップと、前記センサデータから特徴ベクトルを抽出し、前記特徴ベクトルに対して前記複数の抽象レベルのうちの第１の抽象レベルに対応するモデルデータを用いた認識処理を施すことによって、当該第１の抽象レベルの行動識別子を認識して記憶する第１識別ステップと、前記複数の抽象レベル毎に、記憶されている、当該抽象レベルより下位レベルの行動識別子の時間的な遷移であり単数もしくは複数の行動識別子の集合であるシーケンスに対して、当該抽象レベルに対応するモデルデータを用いた認識処理を施すことによって、当該抽象レベルの行動識別子を認識して記憶する第２認識ステップと、を含み、第２の抽象レベルを含む少なくとも１つ抽象レベルについて、前記第２認識ステップを反復することを特徴とする。

本発明による行動認識装置は、個体の行動を計測するセンサデータを取り込み、前記センサデータから前記個体の行動を認識する行動認識装置であって、複数の抽象レベル毎に、行動モデルと行動認識アルゴリズムとに対応するモデルデータを保持する行動モデル保持手段と、前記センサデータから特徴ベクトルを抽出し、前記特徴ベクトルに対して前記複数の抽象レベルのうちの第１の抽象レベルに対応するモデルデータを用いた認識処理を施すことによって、当該第１の抽象レベルの行動識別子を認識して記憶する第１識別手段と、前記複数の抽象レベル毎に、記憶されている、当該抽象レベルより下位レベルの行動識別子からなるシーケンスに対して、当該抽象レベルに対応するモデルデータを用いた認識処理を施すことによって、当該抽象レベルの行動識別子を認識して記憶する第２認識手段と、を含み、前記第２認識手段は、第２の抽象レベルを含む少なくとも１つ抽象レベルについて、当該抽象レベルの行動識別子を認識して記憶する動作を反復することを特徴とする。

本発明による行動認識プログラムは、個体の行動を計測するセンサデータを取り込み、前記センサデータから前記個体の行動を認識する手順をコンピュータに実行されるための行動認識プログラムであって、複数の抽象レベル毎に、行動モデルと行動認識アルゴリズムとに対応するモデルデータを保持する行動モデル保持ステップと、前記センサデータから特徴ベクトルを抽出し、前記特徴ベクトルに対して前記複数の抽象レベルのうちの第１の抽象レベルに対応するモデルデータを用いた認識処理を施すことによって、当該第１の抽象レベルの行動識別子を認識して記憶する第１識別ステップと、前記複数の抽象レベル毎に、記憶されている、当該抽象レベルより下位レベルの行動識別子からなるシーケンスに対して、当該抽象レベルに対応するモデルデータを用いた認識処理を施すことによって、当該抽象レベルの行動識別子を認識して記憶する第２認識ステップと、を含み、第２の抽象レベルを含む少なくとも１つ抽象レベルについて、前記第２認識ステップを反復する手順を含むことを特徴とする。

本発明による個体行動認識方法、装置及びプログラムによれば、時間的に前後関係にある細かい行動を複数集積してより高い抽象レベルの行動を認識する構成が与えられる。これにより、複数の抽象レベルで行動を把握することができる。

本発明による行動認識装置の概念を示すブロック図である。 ３軸加速度センサからのセンサデータの例を示す波形図である。 本発明の実施例であり、本発明による行動認識装置の内部構成を示すブロック図である。 第１の抽象レベルにおける行動識別子と行動との対応関係の例を示す図である。 第２の抽象レベルにおける行動識別子と行動との対応関係及び基準となる行動識別子シーケンスの例を示す図である。 第３の抽象レベルにおける行動識別子と行動との対応関係及び基準となる行 本発明による行動認識方法の処理手順を示すフローチャートである。 センサデータと認識された行動識別子シーケンスとの対応関係の例を示す図である。

本発明の実施例について添付の図面を参照しつつ詳細に説明する。

図１は、本発明の実施例であり、本発明による行動認識装置の概念形態を示している。行動認識の対象である個体としての人には、その両手首及び腰には複数の３軸加速度センサ１１〜１３が装着されている。行動認識装置２０は、３軸加速度センサ１１〜１３の各々からのセンサデータを取り込む。３軸加速度センサ１１〜１３からのセンサデータの例が図２に示されている。行動認識装置２０は、取り込んだセンサデータから、第１抽象レベルの行動識別子を認識し、次いで、下位抽象レベルの単数または複数の行動識別子からなるシーケンスからより一段上位の抽象レベルの行動識別子を認識する手順を繰り返すことによって、複数の抽象レベルの行動識別子シーケンスをシーケンスとして出力する。

第１の行動とは、第１の抽象レベルを持つ行動を指し、第１の行動毎に第１の行動識別子を持つ。第２の行動とは、第２の抽象レベルを持つ行動を指し、同様にして第２の行動毎に第２の行動識別子を持つ。一般化すると、第ｎ（ｎは正の整数）の行動は、第（ｎ−１）の行動よりも抽象レベルが１段高い第ｎの抽象レベルを持つ行動であり、第ｎの行動毎に第ｎの行動識別子を持つ。

ラジオ体操の例が示される図１において、第１の行動は、最下位の抽象レベルの行動であって、例えば、「手を下から横に曲げる」、「腰を曲げる」等の個体の細かな行動である。第２の行動は、第１の行動よりも抽象レベルが１段高く、ラジオ体操の例ではラジオ体操第１の１３種類の運動、例えば、「胸を反らす」、「体を横に曲げる」等の行動である。また、第３の行動は、第２の行動よりも抽象レベルが１段高く、ラジオ体操の個々の運動ではなく、「ラジオ体操第１」か「ラジオ体操第２」の何れであるかを示すレベルの行動である。このように、一段高い抽象レベルの行動は、それよりも低い抽象レベルの行動の連なり、すなわち行動識別子の連鎖からなる行動識別子のシーケンスとして認識される。

第ｎの行動の各々は時刻と関連付けられて出力される。例えば、時刻１０時１０分１０.００秒〜１０時１０分１１.００秒の間のセンサデータから認識される第１の行動は、１０時１０分１０.００秒の第１の行動として記録または出力される。時刻１０時１０分１０.０２秒〜１０時１０分１１.０２秒の間のセンサデータから認識された第３の行動は、１０時１０分１０.０２秒の第３の行動として記録または出力される。本図の例では、１０時１０分１０.０２秒に関連付けられた第３の行動「ラジオ体操第１」が出力されている。

図３は、行動認識装置２０の内部構成を示している。行動認識装置２０は、入力部２１と、特徴抽出部２２と、第１認識部２３と、第２認識部２４と、行動記憶部２５と、行動モデル記憶部２６と、出力部２７とから構成されている。行動認識装置２０は、通常、１つのコンピュータ装置として実現され得る。その場合に、上記した各部２１〜２７は、コンピュータ内部または外部に備えられるハードウェア及び／またはコンピュータによって実行されるプログラム及びデータ等のソフトウェアによって実現され得る。

入力部２１は、加速度センサ等のセンサからのセンサデータを取り込み、これを所定のサンプリング周期でサンプリングし、時系列状のセンサデータを出力する。例えば、±３Ｇ（１Ｇ = 9.80665m/s2）の測定レンジを持つ３軸加速度センサから取得されるセンサデータに対して、１秒間に５０回サンプリングして、例えば１０ｍＧの分解能にてデータ化することにより、０.０２秒間隔でｘ、ｙ、ｚ軸方向の各々についての時系列状のセンサデータが得られる。１つの軸についての時系列状のセンサデータの例が図２に示されている。

特徴抽出部２２は、時系列状のセンサデータから特徴ベクトルを抽出する。特徴ベクトルは、例えば、ｍ（ｍは正の整数）個の特徴量の配列として生成される。例えば、１秒間で得られる時系列状のセンサデータに対する複数の統計的特長を複数の特徴量とすることができる。秒間５０回サンプリングしたセンサデータの場合、ｘ、ｙ、ｚそれぞれの軸について１秒間に得られるセンサデータの平均値や分散値を特徴量としたり、１秒間のセンサデータに離散フーリエ変換を行って得られる周波数スペクトルにおけるピーク時のスペクトル周波数値やパワー値等を特徴量として、これらの量を組み合わせた配列を特徴ベクトルとすることができる。

第１認識部２３は、特徴抽出部２２が出力する特徴ベクトルから第１の行動を認識し、第１の行動識別子をシーケンス状に行動記憶部２５へ出力する。第１認識部２３は、行動モデル記憶部２６がモデルデータとして提供する第１の行動を識別するための第１の行動モデルに基づいて、特徴ベクトルから第１の行動を認識し、第１の行動識別子の値がシーケンス状に並べられた行動識別子シーケンスを行動記憶部２５に出力する。

第１の行動モデルに基づいて第１の行動を認識する方法としては、例えば、入力されるｍ次の特徴ベクトルをｍ次の空間のクラスタに分別するクラスタリングを行う判別器や、サポートベクタマシン（ＳＶＭ；support vector machine）等の認識器が用いられ得る。例えば、サポートベクタマシンの場合、第１の行動識別子の値毎に学習データを複数用意し、機械学習を行うことにより特徴ベクトルの値と第１の行動識別子の対応関係が構築され得る。サポートベクタマシンを用いる方法については、例えば、「モデル導出方法、認識システム、情報処理装置、設計装置、設計方法、及びプログラム」と題される特開２００８−２５０９９０号公報の技術内容が参照される。

第２認識部２４は、行動記憶部２５に出力された下位の抽象レベルすなわち第（ｎ−１）の行動識別子の時間的な連鎖である行動識別子シーケンスから、第ｎの行動モデルを用いて第ｎの行動を認識し、これを行動記憶部２５に出力する。この場合ｎは２以上であって第２以上の行動が第２認識部２４によって認識される。第ｎの行動モデルは、行動モデル記憶部２６からモデルデータとして読み込まれ、第２認識部２４は、当該行動モデルに対応する認識アルゴリズムや認識アルゴリズム依存のパラメータを用いて行動識別子シーケンスを認識する。

第２認識部２４における認識方法としては、上記したサポートベクトルマシンの他、例えば隠れマルコフモデル（ＨＭＭ；Hidden Markov Model）や条件付き確率場（ＣＲＦ； conditional random field）等の行動モデルに基づく識別器を用いることができる。ＨＭＭやＣＲＦ等の行動モデルに基づく識別器は、可変長の行動識別子シーケンスから最も確からしい行動を、例えば、最尤法、最小自乗法またはビタビ（Viterbi）法の如き認識アルゴリズムを用いて推定することができる。行動モデルを基づく識別器の技術については、例えば、「確率モデルの学習方法」と題する特開平９−６２６４７号公報の技術内容が参照される。

尚、第ｎの行動を認識する際、参照するのは、第（ｎ−１）の行動識別子だけでなく、それよりも抽象レベルの低い第１〜第ｎ−１の行動識別子の何れを参照しても良く、抽象レベル毎や識別する行動毎に異なる識別アルゴリズムが用いられても良い。

行動記憶部２５は、第１認識部２３が出力する第１の行動を対応する時刻に関連付けて記録し、また、第２認識部２４が出力する第ｎの行動を対応する時刻に関連付けて記録する。第１の行動及び第ｎの行動は、時間的に連続性のある時系列データとして、行動識別子シーケンスとして記録される。例えば、第１の行動識別子シーケンスとして、時刻１０時１０分１０.００秒の第１の行動識別子が「２」、時刻１０時１０分１０.０２秒の第１の行動識別子が「２」、時刻１０時１０分１０.０４秒の第１の行動識別子が「３」、そして、時刻１０時１０分１０.０６秒の第１の行動識別子が「４」とした場合、時刻１０時１０分１０.００秒乃至１０時１０分１０.０６秒迄の第１の行動識別子シーケンスは、｛２、２、３、４｝と表現される。

出力部２７は、行動認識装置２０に対する外部入力される操作指令に応じて、任意の指定抽象レベルや指定時刻に対応する第１〜ｎの行動を行動記憶部２５から読み出して出力する。任意の第１〜ｎの行動を出力する出力方法としては、ディスプレイ等の表示装置へ表示や、プリンタ等の印刷装置への印字出力、さらにはネットワークを介して外部に情報提供する等の多様な形態があり得る。

また、出力部２７は、ある程度リアルタイムに最新の行動が必要なアプリケーションでは、最も新しい時刻の行動を複数の抽象レベル分まとめて出力する方法や、リアルタイム性が不要なアプリケーションでは、抽象レベル及び時刻を指定する他、行動識別子の特定の値を指定する等、データベースに対する一般的な検索手段を提供しても良い。

行動モデル記憶部２６は、第１〜ｎの行動を認識するためのモデルデータを保持している。行動モデルのモデルデータは、行動モデル識別子を介して抽象レベルに関連付けられ、抽象レベル毎に、認識アルゴリズムの識別情報や行動モデルに依存する各種パラメータからなる。例えば、隠れマルコフモデルの場合のパラメータは、ノード間遷移確率、シンボル出力確率、初期ノード確率の３つのパラメータを含む。これらパラメータ等のモデルデータは、予め学習用のデータを用いて最適な値を求め、認識アルゴリズムと共に行動モデル記憶部２６に保持されている必要がある。

行動モデル記憶部２６は、また、各抽象レベルの行動識別子と行動との対応関係や、認識アルゴリズムにおいて基準値または初期値となる行動識別子シーケンスを保持している。

図４は、第１の抽象レベルにおける行動識別子と行動との対応関係の例を示している。
ここで、第１の行動識別子の「１、２、３、４・・」の各々に対応する第１の行動の内容が設定されている。図５及び図６は、第２及び第３の各々の抽象レベルにおける行動識別子と行動との対応関係及び基準となる行動識別子シーケンスの例を示している。図５を参照すると、第２の行動識別子の「１、２、３、４・・」の各々に対応する第２の行動の内容が設定されていると共に、基準となる行動識別子シーケンスが第１の行動識別子の連鎖として設定されている。基準となる行動識別子シーケンスは、認識アルゴリズムにおいて、最も確からしい第２の行動を推定する推定プロセスおける基準値または初期値として用いられる。図６を参照すると、同様にして、第３の行動識別子の「１、２、・・」の各々に対応する第２の行動の内容が設定されていると共に、基準となる行動識別子シーケンスが第２の行動識別子の連鎖として設定されている。

図７は、本発明による行動認識方法の処理手順を示している。該処理手順は行動認識装置２０の各部が連携して実行される。

先ず、行動認識装置２０は、任意の時刻範囲のセンサデータを取り込み、所定のサンプリングレート及び分解能にて時系列状のセンサデータを生成する（ステップＳ１０１）。次いで、得られたセンサデータから複数の特徴量を抽出して、該複数の特徴量の配列からなる特徴ベクトルを生成する（ステップＳ１０２）。次いで、行動モデル記憶部から、第1の行動モデルを読み込む（ステップＳ１０３）。

次に、行動認識装置２０は、読み込んだ行動モデルに基づいた認識アルゴリズムを用いて、生成した特徴ベクトルから第１の行動を認識する（ステップＳ１０４）。次いで、認識した第１の行動を行動記憶部に記憶する（ステップＳ１０５）。次いで、抽象レベルｎをｎ＝２に初期化し（ステップＳ１０６）、ステップＳ１０７に進む。

ステップＳ１０７において、行動モデル記憶部から第ｎの行動モデルを読み込む。次いで、読込の成否を判定し（ステップＳ１０８）、もし第ｎの行動モデルが無い場合には、これ以上の抽象レベルに上げることができないとして、新たなセンサデータを待つステップＳ１１４に進む。ステップＳ１０７にて読み込む第ｎの行動モデルは、行動毎に認識に用いるモデルが複数存在する場合、すべてを読み込む必要はなく、例えば、第（ｎ−１）の行動識別子シーケンスから、発生しうる第ｎの行動識別子を求めることで、発生しうる第ｎの行動に関連した第ｎの行動モデルのみを読み込んでも良い。たとえば、第ｎの行動モデルに「手首の運動」と「足首の運動」の２種類があり、第（ｎ−１）の行動識別子シーケンスが「手首の運動」に関連するものだけで構成される場合、読み込む第ｎの行動モデルを「手首の運動」だけに限定し、計算量を削減することができる。

ステップＳ１０８において、第ｎの行動モデルの読み込みに成功した場合には、行動認識装置２０は、さらに行動記憶部から第（ｎ−１）の行動識別子シーケンスを読み込む（ステップＳ１０９）。次いで、読込の成否を判定し（ステップＳ１１０）、もし第（ｎ−１）の行動識別子シーケンスが無い場合には、これ以上の抽象レベルを上げることができないと判定して、新たなセンサデータを待つステップＳ１１４に進む。

次に、行動認識装置２０は、読み込んだ行動モデルに基づいた認識アルゴリズムを用いて、第（ｎ−１）の行動識別子シーケンスから、第ｎの行動を認識する（ステップＳ１１１）。読み込んだ行動モデルに基づいた認識アルゴリズムの選択は、行動モデルに認識アルゴリズムを示す識別子を持たせることで実現できる。この識別子は学習時に、複数の認識アルゴリズム毎に独立して学習し、それらの認識アルゴリズムによる認識率を評価することで選択できる。例えば、最も認識率の良い認識アルゴリズムの識別子と学習によって得られたパラメータをあわせて行動モデルとして行動モデル記憶部に保持することができる。次いで、認識した第ｎの行動を行動記憶部に記憶する（ステップＳ１１２）。次いで、抽象レベルを更新、すなわちｎ＝ｎ＋１に初期化して（ステップＳ１１３）、ステップＳ１０７に進む。行動認識装置２０は次の第ｎ＋１の行動について処理を繰り返す。これにより、ｎ＝２、３、４、・・と続く複数の抽象レベルの行動が認識される。

一方、ステップＳ１１４に進んだ場合には、新たなセンサデータが取り込まれるタイミングを待つ（Ｓ１１４）。新たなデータが取得されたならステップＳ１０１から処理を再開し、もし無い場合には処理を終了する（ステップＳ１１５）。処理の再開は、センサデータがサンプリングされる都度繰り返しても良い。また、数秒等ある程度センサデータを蓄積した後に処理しても良い。認識結果の出力がリアルタイムに必要ないのであれば、例えばセンサデータを１日や１週間等の期間蓄積した後に認識処理を行なっても良い。例えば、センサデータを５０Ｈｚでサンプリングした場合、秒間に５０回の認識処理が繰り返されても良いし、１秒単位に認識処理が繰り返されても良い。

図８は、センサデータと認識された行動識別子シーケンスとの対応関係の例を示している。ここで、時刻０時０分００秒乃至時刻０時０分２０秒に至るセンサデータに対して、第１の行動識別子シーケンスとして、「1 1 1 1 1 2 2 3 3 4 4 ・・・・・」が認識され、第２の行動識別子シーケンスとして、「1 2 8 4」が認識され第３の行動識別子シーケンスとして、「1 2 ・・・」が認識されている。

以上のように、複数の行動を複数集めて認識処理を行ない、一段抽象レベルの高い行動を認識し、これを繰り返すことにより、複数の抽象レベルの行動を認識することができる。

以上の実施例において、本発明を適用することにより、１つの動作を複数の抽象度で捉えて認識することができ、より高い表現力の行動認識が可能となる。また、抽象レベルを上げると、行動だけでなく人の状態を認識することもできる。たとえば、疲れたときと疲れてないときで抽象レベルの低い行動のシーケンスが変化する場合、抽象レベルの高い行動認識では、その変化を捉えて別の行動として認識できる。この場合の抽象レベルの高い行動とは、疲れた／疲れていないといった状態や状況と表現することができる。

尚、以上の実施例において、行動認識対象の個体として人が説明されたが、本発明に係る限定はなく、人の行動だけでなく、物やロボットの移動、複数の人によって運ばれ得る物の行動を複数の抽象レベルで認識することもできる。

１０ 個体（人）
１１〜１３ ３軸加速度センサ
２０ 行動認識装置
２１ 入力部
２２ 特徴抽出部
２３ 第１認識部
２４ 行動記憶部
２５ 第２認識部
２６ 行動モデル記憶部
２７ 出力部

Claims (8)

1. 個体の行動を計測するセンサデータを取り込み、前記センサデータから前記個体の行動を認識する行動認識装置における行動認識方法であって、
   複数の抽象レベル毎に、行動モデルと行動認識アルゴリズムとに対応するモデルデータを保持する行動モデル保持ステップと、
   前記センサデータから特徴ベクトルを抽出し、前記特徴ベクトルに対して前記複数の抽象レベルのうちの第１の抽象レベルに対応するモデルデータを用いた認識処理を施すことによって、当該第１の抽象レベルの行動識別子を認識して記憶する第１識別ステップと、
   前記複数の抽象レベル毎に、記憶されている、当該抽象レベルより下位レベルの単数若しくは複数の行動識別子からなるシーケンスに対して、当該抽象レベルに対応するモデルデータを用いた認識処理を施すことによって、当該抽象レベルの行動識別子を認識して記憶する第２認識ステップと、
   を含み、第２の抽象レベルを含む少なくとも１つ抽象レベルについて、前記第２認識ステップを反復することを特徴とする行動認識方法。
2. 前記第１認識ステップ及び前記第２認識ステップは、当該行動識別子を認識する際に対象となったセンサデータの取得時刻に関連付けて当該行動識別子を記憶し、外部入力される指定時刻及び指定抽象レベルに応じて、当該指定時刻及び指定抽象レベルに対応する行動識別子を出力する出力ステップをさらに含むことを特徴とする請求項１記載の行動認識方法。
3. 前記行動モデル保持ステップは、前記特徴ベクトルに対してクラスタリングを施すことによって行動識別子を認識する判別器に対応するモデルデータを保持することを特徴とする請求項１記載の行動認識方法。
4. 前記行動モデル保持ステップは、前記特徴ベクトルまたは当該抽象レベルより下位レベルの単数もしくは複数の行動識別子からなるシーケンスから当該抽象レベルの行動識別子を認識するサポートベクトルマシンに対応するモデルデータを保持することを特徴とする請求項１記載の行動認識方法。
5. 前記行動モデル保持ステップは、当該抽象レベルより下位レベルの単数もしくは複数の行動識別子からなるシーケンスに対して隠れマルコフモデルを適用することによって当該抽象レベルの行動識別子を認識する認識アルゴリズムに対応するモデルデータを保持することを特徴とする請求項１記載の行動認識方法。
6. 前記行動モデル保持ステップは、当該抽象レベルより下位レベルの行動識別子からなるシーケンスに対して条件付き確率場モデルを適用することによって当該抽象レベルの行動識別子を認識する認識アルゴリズムに対応するモデルデータを保持することを特徴とする請求項１記載の行動認識方法。
7. 個体の行動を計測するセンサデータを取り込み、前記センサデータから前記個体の行動を認識する行動認識装置であって、
   複数の抽象レベル毎に、行動モデルと行動認識アルゴリズムとに対応するモデルデータを保持する行動モデル保持手段と、
   前記センサデータから特徴ベクトルを抽出し、前記特徴ベクトルに対して前記複数の抽象レベルのうちの第１の抽象レベルに対応するモデルデータを用いた認識処理を施すことによって、当該第１の抽象レベルの行動識別子を認識して記憶する第１識別手段と、
   前記複数の抽象レベル毎に、記憶されている、当該抽象レベルより下位レベルの単数もしくは複数の行動識別子からなるシーケンスに対して、当該抽象レベルに対応するモデルデータを用いた認識処理を施すことによって、当該抽象レベルの行動識別子を認識して記憶する第２認識手段と、
   を含み、前記第２認識手段は、第２の抽象レベルを含む少なくとも１つ抽象レベルについて、当該抽象レベルの行動識別子を認識して記憶する動作を反復することを特徴とする行動認識装置。
8. 個体の行動を計測するセンサデータを取り込み、前記センサデータから前記個体の行動を認識する手順をコンピュータに実行されるための行動認識プログラムであって、
   複数の抽象レベル毎に、行動モデルと行動認識アルゴリズムとに対応するモデルデータを保持する行動モデル保持ステップと、
   前記センサデータから特徴ベクトルを抽出し、前記特徴ベクトルに対して前記複数の抽象レベルのうちの第１の抽象レベルに対応するモデルデータを用いた認識処理を施すことによって、当該第１の抽象レベルの行動識別子を認識して記憶する第１識別ステップと、
   前記複数の抽象レベル毎に、記憶されている、当該抽象レベルより下位レベルの単数もしくは複数の行動識別子からなるシーケンスに対して、当該抽象レベルに対応するモデルデータを用いた認識処理を施すことによって、当該抽象レベルの行動識別子を認識して記憶する第２認識ステップと、
   を含み、第２の抽象レベルを含む少なくとも１つ抽象レベルについて、前記第２認識ステップを反復する手順を含むことを特徴とする行動認識プログラム。

Images