JP2007280219A

JP2007280219A - 動きパターン認識装置、動きパターン認識方法及び動きパターン認識プログラム

Info

Publication number: JP2007280219A
Application number: JP2006107910A
Authority: JP
Inventors: Hidetomo Sakaino; 英朋境野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2006-04-10
Filing date: 2006-04-10
Publication date: 2007-10-25

Abstract

【課題】人や車などの動きパターンを個人差を吸収して学習・認識する。
【解決手段】画像入力部１００から入力された時系列画像から移動体の重心位置を移動軌跡として算出して軌跡蓄積部１２０に記憶しておき、メッシュ生成部１３０により、移動軌跡を検出する２次元平面を複数のメッシュに分割してそれぞれのメッシュに番号を付与し、１次元シンボル値算出部１４０により、算出した移動軌跡が存在したメッシュに付与された番号を時系列順に取得して、移動軌跡を１次元シンボル値に変換する。これにより、動きパターン学習部１５０により、ＨＭＭを適用して動きパターンを学習するとともに、動きパターン認識部１６０により、ＨＭＭを適用して動きパターンを認識することが可能となり、移動軌跡を精度よくかつ安定に学習・認識することができる。
【選択図】図１

Description

本発明は、動きパターンを学習・認識する技術に関する。

防犯における人の行動パターン解析や交通渋滞、交通事故パターン解析などには、移動体の動きパターンを学習し、認識する技術が必要とされている。人や車などの移動体の動きをカメラやセンサーなどで検出して画像化し、その画像を元にして移動体の動きを学習・認識する方法としては、ある地点からある地点への移動軌跡を１つの形状パターンとみなし、形状パターンの類似性に着目して学習・認識する方法が知られている。移動軌跡を形状パターンとして用いる方法は、認識する形状パターンと過去の蓄積されたデータベース内の形状パターンとの類似性を相互相関係数により定量的に評価する。また、交差点内などの車の動きを学習・認識する方法は、ある地点を通過したときの台数を計数したり、交差点内の交通の流れを大まかに人の目で計数することが多く、人手に頼っており、単純な動きを分類することに留まっている。

一方、音声認識の分野では、高い認識率を保つ隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）が学習・認識方法として盛んに用いられている（非特許文献１−３参照）。なお、ＨＭＭを画像の動きに適用した技術として、特許文献１に記載のものが提案されている。
特開２００５−２５０７０８号公報 T.E. Starner、外２名、"Real-time american sign language recognition using desk and wearable computer based video"、IEEE Trans. PAMI、１９９８年、vol. 20、no. 12、p.1371-1375 S.S. Fels、外２名、"Glove-talk: a neural network interface which maps gestures to parallel format speech synthesizer controls"、IEEE Trans. Neural Network、１９９７年、vol. 9、no. 1、p.205-212 H.K. Lee、外１名、"An HMM-based threshold model approach for gesture recognition"、１９９９年、IEEE Trans. PAMI、vol. 21、no. 10、p.961-973 "Mesh Generation & Grid Generation on the Web"、［ｏｎｌｉｎｅ］、［平成１８年３月３１日検索］、インターネット<URL:http//www-users.informatik.rwth-aachen.de/~roberts/meshgeneration.html> J.L. Barron、外２名、"Performance of optical flow techniques"、IJCV、１９９４年、vol. 12、no. 1、p43-77

しかしながら、従来の形状パターンを比較する方法では、形状パターンに個人差があり、ずれていることがほとんどであって、相互相関係数だけでは的確な学習と認識をすることができない。また、個人差以外にも、移動体が建物や樹木などに見え隠れするオクルージョン問題が発生し、安定した学習や認識が困難となる。さらに、形状パターンを静的に解析する以外に、時間的な変化を解析できるような動的な学習・認識方法も必要とされている。

一方、時間伸縮（弾性）マッチングとして知られており、個人差を柔軟に吸収することができるＨＭＭは、音声認識に広く採用されているが、ＨＭＭを適用するためには、１次元のシンボル出力系列が必要であり、画像から得られる２次元の動きをどのようにして１次元シンボル出力系列に変換するのかが問題となる。

さらに、ＨＭＭの学習では認識精度を確保するために一定数以上の学習データが必要であるが、いかにして学習データの不足を補うのかという問題がある。また、不審な動きや交通事故などの事象は重要であるものの、人の記憶にしか残っていないことが多く、そのような事象をいかにして学習し、動きパターン認識に反映させるのかが課題となっている。

本発明は、上記に鑑みてなされたものであり、その課題とするところは、動きパターンを精度よくかつ安定に学習・認識することにある。

本発明の別の目的は、動きパターンの学習データの不足を補うことや、目撃情報など人の記憶している特徴的な動きパターンの学習を可能とすることにある。

第１の本発明に係る動きパターン認識装置は、時系列画像を入力する画像入力手段と、時系列画像から移動軌跡を取得し、当該移動軌跡の２次元平面における時系列順の位置座標を２次元位置情報群として軌跡蓄積手段に記憶させる軌跡取得手段と、２次元平面を複数のメッシュに分割し、当該メッシュの各々に異なる番号を付与して記憶手段に記憶させるメッシュ生成手段と、軌跡蓄積手段から２次元位置情報群を読み出すとともに、記憶手段からメッシュを読み出し、２次元位置情報群の各２次元位置情報が対応するメッシュに付与された番号を時系列順に取得することによって２次元位置情報群を１次元シンボル値に変換する１次元シンボル値算出手段と、認証対象となる動きパターンのそれぞれに対応する隠れマルコフモデルパラメータを蓄積する動きパターン蓄積手段と、１次元シンボル値に基づいて学習する動きパターンに対応する隠れマルコフモデルパラメータを動きパターン蓄積手段から読み出し、当該１次元シンボル値に基づいて当該隠れマルコフモデルパラメータを最適化して動きパターン蓄積手段に記憶させる学習手段と、動きパターン蓄積手段から最適化した隠れマルコフモデルパラメータをそれぞれ読み出し、読み出した隠れマルコフモデルパラメータ毎に、当該隠れマルコフモデルパラメータを用いて１次元シンボル値に対する尤度を算出し、当該尤度のうち最大の尤度を有する隠れマルコフモデルパラメータに対応する動きパターンを当該１次元シンボル値の識別結果とする識別手段と、を有することを特徴とする。

本発明にあっては、入力された時系列画像から移動軌跡を取得し、移動軌跡の２次元平面における２次元位置情報を記憶するとともに、移動軌跡を検出する２次元平面を複数のメッシュに分割してそれぞれのメッシュに番号を付与し、移動軌跡の２次元位置情報の各々が対応したメッシュに付与された番号を時系列順に取得して１次元シンボル値を算出することにより、動きパターンの学習・認識に時間軸方向の変動に対して強い隠れマルコフモデルに適用することができるので、動きパターンを精度よくかつ安定に学習・認識することを可能とする。

上記動きパターン認識装置において、移動軌跡を入力する軌跡入力手段を有することを特徴とする。

本発明にあっては、移動軌跡を直接入力するための移動軌跡入力手段を備えることにより、時系列画像以外から移動軌跡を取得することができるので、人の記憶している特徴的な動きパターンの学習や学習データの不足を補うことを可能とする。

上記動きパターン認識装置において、メッシュ生成手段は、三角分割法を用いて２次元平面を所定の分割数で複数のメッシュに分割することを特徴とする。

本発明にあっては、三角分割法を用いることにより、メッシュの生成を効率よく行うことを可能とする。

上記動きパターン認識装置において、メッシュの形状を加工するメッシュ加工手段を有することを特徴とする。

本発明にあっては、生成したメッシュを加工するためのメッシュ加工手段を備えることにより、必要な部分についてはメッシュを細かくし、不要な部分についてはメッシュを荒くすることができるので、移動軌跡の学習・認識の精度を確保することを可能とする。

上記動きパターン認識装置において、軌跡取得手段は、時系列画像に映された移動体の重心を算出して当該重心の軌跡を移動軌跡として取得することを特徴とする。

本発明にあっては、時系列画像に映された移動体が画像に対して大きい場合に、移動体の移動軌跡を算出するうえで望ましい。

上記動きパターン認識装置において、軌跡取得手段は、時系列画像に対してオプティカルフロー法を適用して平均速度ベクトルを算出し、当該平均速度ベクトルの始点を複数のメッシュに分割した２次元平面の中心に置いたときの終点の軌跡を移動軌跡として取得することを特徴とする。

本発明にあっては、時系列画像に対してオプティカルフロー法を適用して、動き変化を平均速度ベクトルとして捉えることにより、その平均速度ベクトルから移動軌跡を取得することを可能とする。

上記動きパターン認識装置において、軌跡取得手段は、時系列画像に対してオプティカルフロー法を適用して平均速度ベクトルを算出し、当該平均速度ベクトルが存在するメッシュの重心を算出して当該重心の軌跡を移動軌跡として取得することを特徴とする。

上記動きパターン認識装置において、軌跡取得手段は、時系列画像に対してオプティカルフロー法を適用して動きベクトルを算出し、当該動きベクトルが検出された領域の重心を算出して当該重心の軌跡を移動軌跡として取得することを特徴とする。

本発明にあっては、時系列画像に対してオプティカルフロー法を適用して、動きベクトルを検出し、その動きベクトルが検出された領域の重心から移動軌跡を取得することを可能とする。

第２の本発明に係る動きパターン認識方法は、時系列画像を入力するステップと、時系列画像から移動軌跡を取得し、当該移動軌跡の２次元平面における時系列順の位置座標を２次元位置情報群として軌跡蓄積手段に記憶させるステップと、軌跡蓄積手段から２次元位置情報群を読み出すとともに、２次元平面を複数のメッシュに分割して当該メッシュの各々に異なる番号を付与して記憶した記憶手段からメッシュを読み出し、２次元位置情報群の各２次元位置情報が対応するメッシュに付与された番号を時系列順に取得することによって２次元位置情報群を１次元シンボル値に変換するステップと、認証対象となる動きパターンのそれぞれに対応する隠れマルコフモデルパラメータを１つ以上動きパターン蓄積手段に記憶させるステップと、１次元シンボル値に基づいて学習する動きパターンに対応する隠れマルコフモデルパラメータを動きパターン蓄積手段から読み出し、当該１次元シンボル値に基づいて当該隠れマルコフモデルパラメータを最適化して動きパターン蓄積手段に記憶させるステップと、動きパターン蓄積手段から隠れマルコフモデルパラメータをそれぞれ読み出し、読み出した隠れマルコフモデルパラメータ毎に、当該隠れマルコフモデルパラメータが１次元シンボル値を出力する尤度を算出し、算出した当該尤度のうち最大の尤度を有する隠れマルコフモデルパラメータに対応する動きパターンを当該１次元シンボル値の識別結果とするステップと、識別結果を得るステップで得られた識別結果を出力するステップと、を有することを特徴とする。

第３の本発明に係る動きパターン認識プログラムは、コンピュータを上記動きパターン認識装置が有する各手段として機能させることを特徴とする。

本発明によれば、動きパターンを精度よくかつ安定に学習・認識することができる。

また、別の本発明によれば、動きパターンの学習データの不足を補うことや、目撃情報など人の記憶している特徴的な動きパターンの学習が可能となる。

以下、本発明の実施の形態について図面を用いて説明する。

図１は、一実施の形態における動きパターン認識装置の構成を示すブロック図である。同図に示す動きパターン認識装置１は、画像入力部１００、軌跡取得部１１０、軌跡蓄積部１２０、メッシュ生成部１３０、１次元シンボル値算出部１４０、動きパターン学習部１５０、動きパターン認識部１６０、動きパターン蓄積部１７０、出力部１８０およびマウス１９０を有する。動きパターン認識装置１は、演算処理装置、記憶装置、メモリ等を備えたコンピュータにより構成できるものであり、各部の処理はプログラムによって実行される。プログラムはコンピュータの記憶装置に記憶されており、記録媒体に記録することも、ネットワークを通して提供することも可能である。以下では、各部の処理の概略について説明する。

画像入力部１００は、移動体の連続画像をカメラやセンサーなどから受け取りメモリに記憶させる。

軌跡取得部１１０は、画像入力部１００から移動体の連続画像を受け取り移動体の移動軌跡を取得し、取得した移動軌跡の２次元平面における位置座標を時系列順に軌跡蓄積部１２０に記憶させる。移動体の移動軌跡の取得は、画像入力部１００から取得した画像上の移動体の位置を把握したり、移動体の重心を算出することにより行う。

また、連続画像によらず、軌跡取得部１１０に接続されたマウス１９０により移動軌跡を直接取得してもよい。これにより、動きパターンの学習データの不足を補うことや、人の記憶している特徴的な動きパターンの学習が可能となる。なお、マウス１９０の代わりにタブレットやタッチパネルなどのポインティングデバイスを使用してもよく、画像の上をポインティングデバイスでなぞって軌跡を入力するようなＧＵＩ（Graphical User Interface）を備えていてもよい。

軌跡蓄積部１２０は、移動体の移動軌跡である時系列２次元位置情報を記憶する。

メッシュ生成部１３０は、人や車などの移動体の移動軌跡を検出する２次元平面内を分割してメッシュを生成し、各メッシュに対して番号を付与し、記憶装置などに記憶させる。メッシュの生成は、例えば、図２（ａ）に示すように、コンピュータグラフィクスで広く用いられている三角分割法（Triangulation 法、非特許文献４参照）を用いて、矩形領域２００を事前に定義した縦横の分割数で三角形に分割することにより行う。分割して生成された各メッシュには、自動的に番号が付与される。同図に示す例では、１から４０までの番号が付与されている。また、必要に応じて、マウス１９０によりメッシュをさらに分割して細かくしたり、メッシュを結合して粗くしたりすることができる。例えば、図２（ｂ）に示すように、必要に応じて、障害物２１０を想定し、メッシュを省いたり、同図右側のメッシュのように、メッシュをさらに細かく分割することも可能である。さらに、図３（ｃ）に示すように、移動軌跡を検出する領域が円形２２０の場合であっても、メッシュを生成することができる。

１次元シンボル値算出部１４０は、軌跡蓄積部１２０から読み出した２次元位置情報の各々がメッシュ生成部１３０において生成したどのメッシュに対応するか判断し、対応するメッシュに付与された番号を時系列順に取得することによって、移動軌跡を表す２次元位置情報から１次元時系列データである１次元シンボル値に変換する。例えば、図３（ａ）に示すような移動軌跡３００が検出された場合、移動軌跡３００は、図３（ｂ）で示すようにマークがついたメッシュを通過しており、図２（ｂ）で示すように各メッシュに番号が付与されていた場合、図３（ｃ）に示す１次元シンボル値が得られる。

動きパターン学習部１５０は、１次元シンボル値に基づいてＨＭＭを用いて動きパターンを学習し、学習した動きパターンを動きパターン蓄積部１７０に記憶させる。この具体的な学習方法については後述する。

動きパターン認識部１６０は、１次元シンボル値がパターン蓄積部１７０に蓄積されたどの動きパターンに該当するかＨＭＭを用いて認識する。この具体的な認識方法については後述する。

出力部１８０は、動きパターン認識部１６０で認識した動きパターンの特徴とその動きパターンが表す事象を出力する。動きパターンが表す事象とは、例えば、人の顔の表情を認識する場合は喜怒哀楽などを表す言葉である。

次に、動きパターン認識装置１の動作について図４に示すフローチャートを用いて説明する。

まず、画像入力部１００により、カメラやセンサなどから移動軌跡を検出するための連続画像を入力し（Ｓ１）、軌跡取得部１１０により、連続画像から移動軌跡を取得し、時系列２次元位置情報として軌跡蓄積部１２０に記憶させる（Ｓ２）。なお、移動軌跡は、軌跡取得部１１０に接続されたマウス１９０から入力されるものでもよい。

続いて、メッシュ生成部１３０により、移動軌跡を１次元シンボル値に変換するための番号付きメッシュを生成する（Ｓ３）。なお、番号付きメッシュは動きパターンの学習・認識の際に、毎回生成する必要はなく、記憶装置などから読み出してもよい。

その後、１次元シンボル値算出部１４０により、軌跡蓄積部１２０から２次元位置情報を読み出し、２次元位置情報が対応するメッシュの番号を時系列順に取得することによって、移動軌跡から１次元シンボル値を算出する（Ｓ４）。

取得した移動軌跡から動きパターンを学習する場合は、算出した１次元シンボル値にＨＭＭを適用して動きパターンを学習する（Ｓ５）。具体的な学習方法については後述する。

取得した移動軌跡の動きパターンを認識する場合は、算出した１次元シンボル値にＨＭＭを適用して動きパターンを認識し（Ｓ６）、取得した移動軌跡がどの動きパターンに該当するか出力する（Ｓ７）。なお、具体的な認識方法については後述する。

次に、動きパターンの学習・認識に用いられるＨＭＭについて説明する。図５は、２状態２５出力のＨＭＭの例を示している。同図のｓ１，ｓ２は状態を表し、ａ１１，ａ１２，ａ２１，ａ２２は、ある状態から矢印の示す状態へ遷移する状態遷移確率を表している。ｂ１１〜ｂ１２５とｂ２１〜ｂ２２５は、それぞれ状態ｓ１，ｓ２のときに１から２５のシンボルが出力されるシンボル出力確率を表している。

ＨＭＭは、パラメータとして状態遷移確率Ａ、シンボル出力確率Ｂ、初期状態確率πを持ち、これらのパラメータを用いて、ＨＭＭをλ＝｛Ａ，Ｂ，π｝と表現する。なお、各パラメータは、下記のように示される。

式１のＳは状態の集合であり、ｓ_tは時刻ｔにおける状態を表している。式２のｏ₁，ｏ₂，・・・，ｏ_rは、観測されたシンボル系列を表している。式３のａ_ijは状態ｉから状態ｊへ遷移する確率、式４のｂ_j（ｏ_t）は、状態ｊにおいてｏ_tを出力する確率、式５のπ_iは、初期状態が状態ｉである確率を表している。

ＨＭＭによる学習とは、各パラメータを推定することであり、認識対象の各カテゴリーＣ_i（動きパターン）毎に１つのモデルλ_iで構成される。モデルλ_iの推定には、Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムを適用してモデルλ_iを最適化し、シンボル系列を出力する確率（尤度）の変化が一定範囲内に収まることでそのカテゴリーのモデルλ_iが推定（学習）できたと判断する。なお、ＨＭＭを学習する過程では、カテゴリー毎に収束率が異なることがある。

ＨＭＭによる認識は、認証対象のシンボル系列Ｏに対して各カテゴリー毎のモデルλ_iについてそれぞれ尤度Ｐ（Ｏ｜λ_i）を計算し、最大尤度を有するカテゴリーＣ_k（ｋ＝ａｒｇｍａｘ_i（Ｐ（Ｏ｜λ_i）））を認証結果として採用する。

尤度の計算は、ｆｏｒｗａｒｄアルゴリズムによって再帰的に進められる。時刻ｔの時に、ｏ₁，ｏ₂，・・・，ｏ_tというシンボル系列を出力して、状態ｉにいる確率を式６のように定義する。

尤度Ｐ（Ｏ｜λ）は、下記に示す式７のように表され、式８，９に示すα_t（ｉ）の漸化式で記述することができ、この漸化式により求めることができる。

なお、式７のＳ_Fは、最終状態の集合を表している。このように、ＨＭＭでは、シンボル系列全体から尤度計算が行われるため、カテゴリー特有のシンボル列パターンが現れていれば、時間軸方向の多少の移動、伸縮などに対してロバストである。

図６は、顔の表情を認識するための１次元シンボル値を求める例を示す図である。顔の表情認識は、顔筋の複雑な動きにより作り出される喜怒哀楽を画像処理により識別するものである。顔の表情のような動きの変化から動作軌跡を得るために、コンピュータビジョン分野でよく用いられているオプティカルフロー法（非特許文献５参照）を適用する。オプティカルフロー法により顔の表情６００から皮膚の細かい動きを検出し、複数検出された動きベクトルに基づいて平均速度ベクトル６１０を求める。そして、半円形メッシュ６２０を用いて平均速度ベクトル６１０が存在するメッシュの重心を出し、その重心の軌跡を移動軌跡として２次元位置情報を得る。また、平均速度ベクトルの始点を半円形メッシュ６２０の中心に置き、終点の軌跡を移動軌跡としてもよい。あるいは、動きベクトルの検出された領域から重心を算出し、その重心の軌跡を移動軌跡としてもよい。なお、多くの場合、顔の表情は左右対称であり、平均速度ベクトルを計算すると動きが相殺されるので、顔の半分だけから平均速度ベクトルを求める。メッシュは、三角形だけでなく、図６に示すように、半円形を扇形に分割し、分割した扇形をさらに径方向に分割した半円形メッシュ６２０であってもよい。

図７は、認識率に関する評価実験の結果を示すグラフである。同図の本手法が示す認識率は、本発明を実施した場合の動きパターンの認識率であり、従来法が示す認識率は、移動軌跡を一筆書きの形状パターンとみなして、形状パターンの類似性を相互相関係数により評価する方法を用いたときの動きパターンの認識率である。従来法では、個人内変動と個人差があるために、同じ動作パターンがほとんど得られなかったため、認識できるパターンを見つけることが困難な場合が多かった。一方、本手法では、個人差などの影響が吸収されるので高い認識率を得ることができた。

したがって、本実施の形態によれば、軌跡取得部１１０により、画像入力部１００から入力された時系列画像から移動体の２次元平面における位置を取得して、軌跡蓄積部１２０に記憶しておき、メッシュ生成部１３０により、移動軌跡を検出する２次元平面を複数のメッシュに分割してそれぞれのメッシュに番号を付与し、１次元シンボル値算出部１４０により、取得した２次元位置情報に該当するメッシュに付与された番号を時系列順に取得して、移動軌跡を１次元シンボル値に変換することにより、動きパターン学習部１５０により、ＨＭＭを適用して動きパターンを学習するとともに、動きパターン認識部１６０により、ＨＭＭを適用して動きパターンを認識することが可能となるので、移動軌跡を精度よくかつ安定に学習・認識することができる。

本実施の形態によれば、マウス１９０により、軌跡取得部１１０に移動軌跡を入力することで、人の記憶している特徴的な動きパターンの学習や学習データの不足を補うことができる。

本実施の形態によれば、メッシュ生成部１３０により、三角分割法を用いることで、メッシュの生成を効率よく行うことができる。

本実施の形態によれば、マウス１９０により、メッシュ生成部１３０で生成したメッシュを必要な部分についてはメッシュを細かくし、不要な部分についてはメッシュを荒くすることで、移動軌跡の学習・認識の精度を確保することを可能とする。

本実施の形態によれば、軌跡取得部１１０により、顔の表情などの動き変化をオプティカルフロー法を適用して、平均速度ベクトル６１０として捉えることにより、その平均速度ベクトル６１０から移動軌跡を算出することができる。

本実施の形態によれば、軌跡取得部１１０により、顔の表情などの動き変化をオプティカルフロー法を適用して、平均速度ベクトル６１０として捉えることにより、その平均速度ベクトル６１０が存在するメッシュの重心から移動軌跡を算出することができる。

本実施の形態によれば、軌跡取得部１１０により、顔の表情などの動き変化をオプティカルフロー法を適用して、動きベクトルを検出することにより、動きベクトルの検出された領域から重心を算出することで、その移動軌跡を取得することができる。

一実施の形態における動きパターン認識装置の構成を示すブロック図である。生成されるメッシュの例を示す図であり、同図（ａ）は矩形を分割したもの、同図（ｂ）は生成したメッシュを加工したもの、同図（ｃ）は円形を分割したものを示す。メッシュ上に検出された移動軌跡から１次元シンボル値を算出する例を示す図であり、同図（ａ）はメッシュ上の移動軌跡、同図（ｂ）は移動軌跡が検出されたメッシュ、同図（ｃ）は算出された１次元シンボル値を示す。一実施の形態における動きパターン認識装置の動作を示すフローチャートである。隠れマルコフモデルの例を示す図である。顔の表情から移動軌跡を算出する様子を示す図であり、同図（ａ）は検出された動きベクトル、同図（ｂ）は算出された平均速度ベクトル、同図（ｃ）は顔に適用する半円形メッシュを示す。一実施の形態における動きパターン認識装置と従来の方法による認識率を比較するグラフである。

符号の説明

１…動きパターン認識装置
１００…画像入力部
１１０…軌跡取得部
１２０…軌跡蓄積部
１３０…メッシュ生成部
１４０…１次元シンボル値算出部
１５０…動きパターン学習部
１６０…動きパターン認識部
１７０…動きパターン蓄積部
１８０…出力部
１９０…マウス
２００…メッシュ
２１０…障害物
２２０…円形メッシュ
３００…移動軌跡
６００…顔の表情
６１０…平均移動ベクトル
６２０…半円形メッシュ

Claims

時系列画像を入力する画像入力手段と、
前記時系列画像から移動軌跡を取得し、当該移動軌跡の２次元平面における時系列順の位置座標を２次元位置情報群として軌跡蓄積手段に記憶させる軌跡取得手段と、
前記２次元平面を複数のメッシュに分割し、当該メッシュの各々に異なる番号を付与して記憶手段に記憶させるメッシュ生成手段と、
前記軌跡蓄積手段から前記２次元位置情報群を読み出すとともに、前記記憶手段から前記メッシュを読み出し、前記２次元位置情報群の各２次元位置情報が対応する前記メッシュに付与された番号を時系列順に取得することによって前記２次元位置情報群を１次元シンボル値に変換する１次元シンボル値算出手段と、
認証対象となる動きパターンのそれぞれに対応する隠れマルコフモデルパラメータを蓄積する動きパターン蓄積手段と、
前記１次元シンボル値に基づいて学習する動きパターンに対応する隠れマルコフモデルパラメータを前記動きパターン蓄積手段から読み出し、当該１次元シンボル値に基づいて当該隠れマルコフモデルパラメータを最適化して前記動きパターン蓄積手段に記憶させる学習手段と、
前記動きパターン蓄積手段から最適化した隠れマルコフモデルパラメータをそれぞれ読み出し、読み出した前記隠れマルコフモデルパラメータ毎に、当該隠れマルコフモデルパラメータを用いて前記１次元シンボル値に対する尤度を算出し、当該尤度のうち最大の尤度を有する前記隠れマルコフモデルパラメータに対応する動きパターンを当該１次元シンボル値の識別結果とする識別手段と、
を有することを特徴とする動きパターン認識装置。
前記移動軌跡を入力する軌跡入力手段を有することを特徴とする請求項１に記載の動きパターン認識装置。
前記メッシュ生成手段は、三角分割法を用いて前記２次元平面を所定の分割数で複数のメッシュに分割することを特徴とする請求項１又は２に記載の動きパターン認識装置。
前記メッシュの形状を加工するメッシュ加工手段を有することを特徴とする請求項１乃至３のいずれか１つに記載の動きパターン認識装置。
前記軌跡取得手段は、前記時系列画像に映された移動体の重心を算出して当該重心の軌跡を前記移動軌跡として取得することを特徴とする請求項１乃至４のいずれか１つに記載の動きパターン認識装置。
前記軌跡取得手段は、前記時系列画像に対してオプティカルフロー法を適用して平均速度ベクトルを算出し、当該平均速度ベクトルの始点を複数のメッシュに分割した前記２次元平面の中心に置いたときの当該平均速度ベクトルの終点の軌跡を前記移動軌跡として取得することを特徴とする請求項１乃至４のいずれか１つに記載の動きパターン認識装置。
前記軌跡取得手段は、前記時系列画像に対してオプティカルフロー法を適用して平均速度ベクトルを算出し、当該平均速度ベクトルが存在する前記メッシュの重心を算出して当該重心の軌跡を前記移動軌跡として取得することを特徴とする請求項１乃至４のいずれか１つに記載の動きパターン認識装置。
前記軌跡取得手段は、前記時系列画像に対してオプティカルフロー法を適用して動きベクトルを算出し、当該動きベクトルが検出された領域の重心を算出して当該重心の軌跡を前記移動軌跡として取得することを特徴とする請求項１乃至４のいずれか１つに記載の動きパターン認識装置。
時系列画像を入力するステップと、
前記時系列画像から移動軌跡を取得し、当該移動軌跡の２次元平面における時系列順の位置座標を２次元位置情報群として軌跡蓄積手段に記憶させるステップと、
前記軌跡蓄積手段から前記２次元位置情報群を読み出すとともに、前記２次元平面を複数のメッシュに分割して当該メッシュの各々に異なる番号を付与して記憶した記憶手段から前記メッシュを読み出し、前記２次元位置情報群の各２次元位置情報が対応する前記メッシュに付与された番号を時系列順に取得することによって前記２次元位置情報群を１次元シンボル値に変換するステップと、
認証対象となる動きパターンのそれぞれに対応する隠れマルコフモデルパラメータを１つ以上動きパターン蓄積手段に記憶させるステップと、
前記１次元シンボル値に基づいて学習する動きパターンに対応する隠れマルコフモデルパラメータを前記動きパターン蓄積手段から読み出し、当該１次元シンボル値に基づいて当該隠れマルコフモデルパラメータを最適化して前記動きパターン蓄積手段に記憶させるステップと、
前記動きパターン蓄積手段から前記隠れマルコフモデルパラメータをそれぞれ読み出し、読み出した前記隠れマルコフモデルパラメータ毎に、当該隠れマルコフモデルパラメータが前記１次元シンボル値を出力する尤度を算出し、算出した当該尤度のうち最大の尤度を有する前記隠れマルコフモデルパラメータに対応する動きパターンを当該１次元シンボル値の識別結果とするステップと、
前記識別結果を得るステップで得られた識別結果を出力するステップと、
を有することを特徴とする動きパターン認識方法。
請求項１乃至８のいずれか１項に記載した動きパターン認識装置が有する各手段としてコンピュータを機能させるための動きパターン認識プログラム。