JP2009157770A - 行動判定装置、行動判定方法および行動判定プログラム - Google Patents

Abstract

【課題】移動体に対して取得した移動軌跡データに対して誤差の少ない状態割り当てを行うことにより適正な行動判定を行う。
【解決手段】複数の移動軌跡データを分割して複数の部分軌跡データを生成し、各部分軌跡データに行動ラベルを付与し、部分軌跡データ毎に特徴量ベクトルを計算し、第１〜第ｍの特徴量を１つ以上組み合わせて複数の特徴量組のうちの１つの特徴量組に基づいて複数の特徴量ベクトルをクラスタリングし、各クラスタにそれぞれ異なるクラス識別子を付与し、複数のクラスタの各々における、行動ラベル毎の特徴量ベクトルの個数と、特徴量ベクトルの総数とに基づき前記１つの特徴量組に対する評価値を計算し、複数の特徴量組の各々について評価値を取得し、最も高いまたは閾値以上の評価値をもつ特徴量組を選択し、選択された特徴量組による複数のクラスタを用いて、特徴量ベクトルからクラス識別子を識別するクラス識別器を生成する。
【選択図】図１

Description

本発明は、行動判定装置、行動判定方法および行動判定プログラムに関する。

監視対象の行動を自動識別する機能を持つサーベイランスシステムの開発が様々な研究機関で進行している。行動識別を行う識別器に入力として与えるデータとしては、画像処理等によって得られる歩行軌跡データが主流の一つになりつつある。歩行軌跡データは2次元平面上の移動履歴であり、実数の組のシーケンスからなる不定長時系列データである。

歩行軌跡データからの特徴抽出方法としては移動速度及び角度変化量等に基づくアプローチ（特許文献１参照）があり、特許文献１ではこれらの特徴量を用いて特定区間の行動を識別している。

一般に人間の行動には順序性が仮定でき、「ある状態Bを実行するためには、直前に状態Aになっていることが多い」等の順序に関する統計的傾向を認めることができる。行動の順序に関する統計的な傾向を利用することで、観察対象者の行動の「逸脱行動」度合いを確率的に定量化できる。

一方で前述の特許文献による方法では一区間の状態に対してのみ注目しており、順序性に関する統計的性質を利用していない。順序性を取り込むためには離散事象に対応した隠れマルコフモデル等の統計モデルを使用することが想定されるが、その前提としては歩行軌跡データの各区間を有限個の記号列に変換する必要がある。また統計モデルが有効に機能するためには、異なる人物の歩行軌跡データに対して、均質な状態割り当て（記号の割り当て）を行う必要がある。

しかし画像処理により得られた歩行軌跡データは、観測ノイズや個人差から同じ行動をしている場合でも異なったデータとして現れる場合があり、均質な割り当てを実現することは困難である。

従来このような状況に対する対策としては、特徴量をクラスタリングし各クラスの識別子を教師データとして用いることで状態割り当て用の識別器を学習させる方法があるが、結果の可読性に関する保証は無く、人間がモデルを理解しにくいという欠点があった。
特開２００７−２４１４４５号公報

本発明は、移動体に対して取得した移動軌跡データに対して誤差の少ない状態割り当てを行うことにより適正な行動判定を行うことを可能とした行動判定装置、行動判定方法および行動判定プログラムを提供する。

本発明の一態様としての行動判定装置は、
観測領域における移動体の位置を所定時間間隔で記録した複数の移動軌跡データを記憶する移動軌跡データ記憶部と、
前記複数の移動軌跡データをそれぞれ複数に分割することにより複数の部分軌跡データを生成するデータ分割部と、
各前記部分軌跡データに前記移動体の行動を表す行動ラベルを付与するラベル付与手段と、
前記部分軌跡データ毎に第１〜第ｍの特徴量を含む特徴量ベクトルを計算する特徴量ベクトル計算部と、
前記第１〜第ｍの特徴量を１つ以上組み合わせて複数の特徴量組を生成する特徴量組生成部と、
前記複数の特徴量組のうちの１つの前記特徴量組に基づいて複数の前記特徴量ベクトルをクラスタリングすることにより複数のクラスタを生成し、各クラスタにそれぞれ異なるクラス識別子を付与するクラスタリング部と、
前記複数のクラスタに基づき、、前記１つの特徴量組に対する評価値を計算する評価値計算部と、
前記複数の特徴量組の各々について前記クラスタリング部と前記評価部とを用いた処理行うことにより前記複数の特徴量組に対する複数の評価値を取得する評価値取得部と、
最も高いまたは閾値以上の評価値をもつ前記特徴量組を選択する特徴量組選択部と、
前記選択された特徴量組に対応する前記複数のクラスタを用いて、前記特徴量ベクトルからクラス識別子を識別するクラス識別器を生成する識別器生成部と、
前記移動軌跡データ毎に、前記複数の特徴量ベクトルに対応する複数のクラス識別子を求め、前記複数のクラス識別子を時系列に並べることにより識別子シーケンスを生成するシーケンス生成部と、
前記複数の移動軌跡データに対して生成された複数の前記識別子シーケンスを用いて、クラス識別子の状態遷移モデルを学習するモデル学習部と、
第２の移動軌跡データの入力を受け付ける入力受付部と、
前記入力受付部によって受け付けられた前記第２の移動軌跡データを複数に分割することにより複数の第２の部分軌跡データを生成する第２のデータ分割部と、
前記第２の部分軌跡データ毎に第２の特徴量ベクトルを計算する第２の特徴量ベクトル計算部と、
前記クラス識別器を用いて複数の前記第２の特徴量ベクトルから複数のクラス識別子を求め、前記複数のクラス識別子を時系列に並べることにより第２の識別子シーケンスを生成する第２のシーケンス生成部と、
前記状態遷移モデルを用いて、前記第２の識別子シーケンスの尤度を計算する尤度計算部と、
前記第２の識別子シーケンスの尤度に基づき前記第２の移動軌跡データの行動を判定する行動判定部と、
を備える。

本発明の一態様としての行動判定方法は、
観測領域における移動体の位置を所定時間間隔で記録した複数の移動軌跡データを記憶する移動軌跡データ記憶部を用意する準備ステップと、
前記複数の移動軌跡データをそれぞれ複数に分割することにより複数の部分軌跡データを生成するデータ分割ステップと、
各前記部分軌跡データに前記移動体の行動を表す行動ラベルを付与するラベル付与ステップと、
前記部分軌跡データ毎に第１〜第ｍの特徴量を含む特徴量ベクトルを計算する特徴量ベクトル計算ステップと、
前記第１〜第ｍの特徴量を１つ以上組み合わせて複数の特徴量組を生成する特徴量組生成ステップと
前記複数の特徴量組のうちの１つの前記特徴量組に基づいて複数の前記特徴量ベクトルをクラスタリングすることにより複数のクラスタを生成し、各クラスタにそれぞれ異なるクラス識別子を付与するクラスタリングステップと、
前記複数のクラスタに基づき、、前記１つの特徴量組に対する評価値を計算する評価値計算ステップと、
前記複数の特徴量組の各々について前記クラスタリングステップと前記評価ステップとを用いた処理行うことにより前記複数の特徴量組に対する複数の評価値を取得する評価値取得ステップと、
最も高いまたは閾値以上の評価値をもつ前記特徴量組を選択する特徴量組選択ステップと、
前記選択された特徴量組に対応する前記複数のクラスタを用いて、前記特徴量ベクトルからクラス識別子を識別するクラス識別器を生成する識別器生成ステップと、
前記移動軌跡データ毎に、前記複数の特徴量ベクトルに対応する複数のクラス識別子を求め、前記複数のクラス識別子を時系列に並べることにより識別子シーケンスを生成するシーケンス生成ステップと、
前記複数の移動軌跡データに対して生成された複数の前記識別子シーケンスを用いて、クラス識別子の状態遷移モデルを学習するモデル学習ステップと、
第２の移動軌跡データの入力を受け付ける入力受付ステップと、
前記入力受付ステップによって受け付けられた前記第２の移動軌跡データを複数に分割することにより複数の第２の部分軌跡データを生成する第２のデータ分割ステップと、
前記第２の部分軌跡データ毎に第２の特徴量ベクトルを計算する第２の特徴量ベクトル計算ステップと、
前記クラス識別器を用いて複数の前記第２の特徴量ベクトルから複数のクラス識別子を求め、前記複数のクラス識別子を時系列に並べることにより第２の識別子シーケンスを生成する第２のシーケンス生成ステップと、
前記状態遷移モデルを用いて、前記第２の識別子シーケンスの尤度を計算する尤度計算ステップと、
前記第２の識別子シーケンスの尤度に基づき前記第２の移動軌跡データの行動を判定する行動判定ステップと、
を備える。

本発明の一態様としての行動判定プログラムは、
観測領域における移動体の位置を所定時間間隔で記録した複数の移動軌跡データを記憶する移動軌跡データ記憶部を用意する準備ステップと、
前記複数の移動軌跡データをそれぞれ複数に分割することにより複数の部分軌跡データを生成するデータ分割ステップと、
各前記部分軌跡データに前記移動体の行動を表す行動ラベルを付与するラベル付与ステップと、
前記部分軌跡データ毎に第１〜第ｍの特徴量を含む特徴量ベクトルを計算する特徴量ベクトル計算ステップと、
前記第１〜第ｍの特徴量を１つ以上組み合わせて複数の特徴量組を生成する特徴量組生成ステップと
前記複数の特徴量組のうちの１つの前記特徴量組に基づいて複数の前記特徴量ベクトルをクラスタリングすることにより複数のクラスタを生成し、各クラスタにそれぞれ異なるクラス識別子を付与するクラスタリングステップと、
前記複数のクラスタに基づき、、前記１つの特徴量組に対する評価値を計算する評価値計算ステップと、
前記複数の特徴量組の各々について前記クラスタリングステップと前記評価ステップとを用いた処理行うことにより前記複数の特徴量組に対する複数の評価値を取得する評価値取得ステップと、
最も高いまたは閾値以上の評価値をもつ前記特徴量組を選択する特徴量組選択ステップと、
前記選択された特徴量組に対応する前記複数のクラスタを用いて、前記特徴量ベクトルからクラス識別子を識別するクラス識別器を生成する識別器生成ステップと、
前記移動軌跡データ毎に、前記複数の特徴量ベクトルに対応する複数のクラス識別子を求め、前記複数のクラス識別子を時系列に並べることにより識別子シーケンスを生成するシーケンス生成ステップと、
前記複数の移動軌跡データに対して生成された複数の前記識別子シーケンスを用いて、クラス識別子の状態遷移モデルを学習するモデル学習ステップと、
第２の移動軌跡データの入力を受け付ける入力受付ステップと、
前記入力受付ステップによって受け付けられた前記第２の移動軌跡データを複数に分割することにより複数の第２の部分軌跡データを生成する第２のデータ分割ステップと、
前記第２の部分軌跡データ毎に第２の特徴量ベクトルを計算する第２の特徴量ベクトル計算ステップと、
前記クラス識別器を用いて複数の前記第２の特徴量ベクトルから複数のクラス識別子を求め、前記複数のクラス識別子を時系列に並べることにより第２の識別子シーケンスを生成する第２のシーケンス生成ステップと、
前記状態遷移モデルを用いて、前記第２の識別子シーケンスの尤度を計算する尤度計算ステップと、
前記第２の識別子シーケンスの尤度に基づき前記第２の移動軌跡データの行動を判定する行動判定ステップと、
をコンピュータに実行させる。

本発明により、移動体に対して取得した移動軌跡データに対して誤差の少ない状態割り当てを行うことにより適正な行動判定を行うことが可能となる。

以下、図面を参照しながら、本発明の実施の形態について説明する。

図１は、本発明の一実施の形態に従った行動判別装置の概略構成を示すブロック図である。この行動判別装置の動作は、大きく学習ステップと識別ステップとを含む。

以下では、まず、学習ステップにかかわる各要素の構成および動作について述べる。

歩行軌跡データ記憶部１１は、観測領域における移動体（歩行者あるいは被観測者）の２次元位置を所定時間間隔で記録したｎ個の歩行軌跡データ（移動軌跡データ）を記憶する。歩行軌跡データは、画像処理技術によって個人を一定時間追跡して得られたものであり、被監視者のID毎に一意性は確保されており、重複はないものと仮定する。歩行軌跡データのイメージ図を図２として示す。図２（Ａ）が人物Ｘの歩行軌跡データ、図２（Ｂ）が人物Ｙの歩行軌跡データを示す。

歩行軌跡データ記憶部１１は、メモリ装置、ハードウェア装置、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ等の記憶媒体であってもよいし、これらの記憶媒体からデータを読み出す読み取り装置であってもよい。

歩行軌跡データ分割部（データ分割部）１２は、歩行軌跡データ記憶部１１から各歩行者の歩行軌跡データを学習データとして読み出し、各読み出した歩行軌跡データを一定時間間隔で複数に分割することにより複数の部分軌跡データを生成する。分割の時間間隔は、あらかじめ定めておいてもよいし、学習の都度、入力装置（図示せず）を介してシステム使用者から与えられてもよい。図２（Ａ）および図２（Ｂ）の縦線が、それぞれの歩行軌跡データの分割を示し、縦線で区画された各区間のデータが、部分軌跡データに相当する。分割の時間間隔は一定であるため、各区間の時間長は一定である。

歩行軌跡データ分割部１２はラベル付与部１２ａを用いて、各部分軌跡データに対し教師信号（ラベル）を付与する。教師信号はあらかじめ用意された有限個のラベルからなるラベル集合から選択され、システム使用者によって何らかの入力装置（図示せず）を介して入力される。ラベル集合の一例を挙げれば、{歩行、走行、停止}等であるが、本発明は特定のラベル集合に限定されるものではなく、有限個のラベルからなる集合であれば任意の形態を含むものとする。図２（Ａ）および図２（Ｂ）の例では、ラベル集合{歩行、走行、停止}から選択したラベル（教師信号）を各部分軌跡データに付与している。軌跡長の長い部分軌跡データほど、歩行者が高速で移動したことを意味し、これによりシステム使用者は直感的にラベルを付与することもできる。

特徴抽出部（特徴量ベクトル生成部）１３は、部分軌跡データ毎に、ｍ個の特徴量（第１〜第ｍ個の特徴量）を含む有限次元の特徴量ベクトルを計算する。図２（Ａ）の例では、５つの部分軌跡データに対して、５つの特徴量ベクトルd_A1,d_A2,d_A3,d_A4,d_A5が計算されている。図２（Ｂ）の例では、４つの部分軌跡データに対して、４つの特徴量ベクトルd_B1,d_B2,d_B3,d_B4が計算されている。特徴量としては、たとえば平均移動速度、方向転換回数、方向転換の際の角度変化量、当該角度変化量の総和などが一例としてあげられる。ただし、特徴量は、これらのものに限定されず、任意のものを採用でき、特許文献１に記載の特徴量を採用することもできる。

最適化実行部１４は、特徴量の集合（第１〜第ｍの特徴量）に基づき１つ以上の特徴量を組み合わせて複数の特徴量組を生成する。そして、生成した複数の特徴量組のうちから選択した１つの特徴量組をクラスタリング実行部１５に送る。つまり、最適化実行部１４は、第１〜第ｍの特徴量に基づき１つ以上の特徴量を組み合わせて複数の特徴量組を生成する特徴量組生成部を含む。

クラスタリング実行部１５は、学習データセット（複数の歩行軌跡データ）から得られたn個の部分軌跡データに対応するn個の特徴量ベクトルを、最適化実行部１４から指定された特徴量組を探索空間とみなしてクラスタリングし、複数のクラスタを生成する。そして各クラスタにそれぞれ異なるクラス識別子を付与する。クラスタリング部実行部１５は、クラスタリングの結果（各クラスターのクラス識別子、各クラスターに属する部分軌跡データとそのラベル（教師データ））を最適化実行部１４に返す。

クラスタリング実行部１５は、複数の特徴量組のうちの１つの特徴量組に基づいて複数の特徴量ベクトルをクラスタリングすることにより複数のクラスタを生成し、各クラスタにそれぞれ異なるクラス識別子を付与するクラスタリング部を含む。

クラスタリングの一例を図３に示す。特徴量を軸とする座標系に○および×がプロットされ、これら１つ１つが、１つの特徴量ベクトルを示す。○をもつ特徴量ベクトル集合がクラスターＡ（クラス識別子Ａ、記号Ａあるいは状態Ａが付与されたクラスター）、×をもつ特徴量ベクトル集合がクラスターＢ（クラス識別子Ｂ、記号Ｂあるいは状態Ｂが付与されたクラスター）である。図中に示される識別面については後述する。

ここでクラスタリングの際に用いる制約条件としては、クラスター数がある。たとえばK個のクラスターを生成する制約条件がある場合、代表的なクラスタリングアルゴリズムであるK-means法を用いることでＫ個のクラスターを取得できる。また凝集法系のボトムアップなアルゴリズムを用いる場合はＫ個のクラスター数が得られた時点で処理を停止することでＫ個のクラスターを取得できる。なお、クラスタリングのアルゴリズムは特定のアルゴリズムに限定されない。

最適化実行部１４は、指定した特徴量組について生成された複数のクラスタの各々について、行動ラベル（教師信号）毎の特徴量ベクトルの個数と、特徴量ベクトルの総数とを計算し、これらの値に基づいて、上記指定した特徴量組に対する評価値（再現スコア）を計算する。そして、最適化実行部１４は、上記指定した特徴量組と異なる他の特徴量組を生成し、生成した他の特徴量組に対するクラスタリングをクラスタリング実行部１５に指示し、クラスタリング結果を取得する。このような特徴量組の生成、クラスタリング指示および評価値の計算を、最適化実行部１４は、あらかじめ定められた条件が満たされるまで、繰り返す。これによって、最適化実行部１４は、特徴量組毎（クラスタリング毎）に評価値を取得する。上記あらかじめ定められた条件としては、たとえば所定回数繰り返すことや、所定個数の特徴量組について評価値を取得することなどがある。最適化実行部１４は、各取得した評価値に基づき、１つの特徴量組（たとえば最も大きい評価値の特徴量組）を選択する。

つまり、最適化実行部１４は、特徴量組毎に複数のクラスタに基づき評価値を計算する評価値計算部と、特徴量組毎にクラスタリング実行部および評価値計算部を用いた処理を行うことにより複数の評価値を取得する評価値取得部と、最も高いまたは閾値以上の評価値をもつ特徴量組を選択する特徴量組選択部とを含む。

最適化実行部１４は、最終的な出力として、複数の特徴量ベクトルと、各特徴量ベクトルのクラス識別子（クラス番号）との組を出力する。

このようにして、最適化実行部１４は、クラスタリング実行部１５との協調動作により最適なクラスタリング結果を得る。これは本実施形態の大きな特徴の１つである。最適化実行部１４の動作については、後に詳しく述べる。

分離面学習部１６は、図３に示すように、最適化実行部１４により選択された複数のクラスタを分離（クラスを分離）する識別面を決定する。識別面を得る方法としては、Support Vector Machine(SVM) やニューラルネット等任意のパターン認識手法を用いることが可能である。分離面学習部１６は、選択された特徴量組に対応する複数のクラスタを用いて、特徴量ベクトルからクラス識別子を識別するクラス識別器を生成するクラス識別器生成手段を含む。上記識別面は、クラス識別器の一例に相当する。分離面学習部１６は、学習結果として得られた識別器を表す複数のパラメタを状態割当部１７に出力する。

状態割当部１７は、生成された識別器を用いて、各部分軌跡データの特徴量ベクトルに対し、状態割り当て（クラス識別子の割り当て）を行う。これにより、部分軌跡データは、有限個の記号（有限個のクラス識別子）のいずれかに割り当てられ、元の歩行軌跡データは、有限長の記号列（有限長のクラス識別子列）に変換される。すなわち１つの歩行軌跡データに対して、１つの記号列（クラス識別子列）、すなわち識別子シーケンスが生成される。図２（Ａ）の人物Ｘの歩行軌跡、図２（Ｂ）の人物Ｙの歩行軌跡に対して生成された、記号列（クラス識別子列）を図４（Ａ）および図４（Ｂ）に示す。“Ａ”、“Ｂ”、“Ｃ”はクラス識別子（記号あるいは状態）である。図２（Ａ）の人物Ｘの歩行軌跡は、５つの部分軌跡データを含むため、５つの記号からなる記号列が得られ、図２（Ｂ）の人物Ｙの歩行軌跡は、４つの部分軌跡データを含むため、４つの記号からなる記号列が得られる。

モデル学習部１８は、複数の歩行軌跡データに対して生成された複数の記号列（クラス識別子列）を用いて、記号の状態遷移モデル（クラス識別子の状態遷移モデル）を学習する。すなわち状態遷移モデルを規定するモデルパラメタを学習する。

モデル学習手法としては、離散事象を統計的にモデル化できるものであれば任意のものを用いることができ、代表的なモデルとしては、音声認識等に使用されることが多い隠れマルコフモデル、隠れ層のない通常のマルコフモデル、またはN-gramモデルなどがある。また統計的な学習機械だけではなく、決定的な動作を行う有限オートマトンや、その他の形式言語であってもよい。

複数の記号列から状態遷移モデルを生成する一例を図５（Ａ）および図５（Ｂ）に示す。図５（Ａ）はモデル生成のために用いた複数の記号列、図５（Ｂ）は、生成された状態遷移モデル（クラス識別子の状態遷移モデル）を示す。この状態遷移モデルでは、状態Ａから確率ｐで状態Ｂに遷移し、状態Ａから確率ｔで状態Ｃに遷移する。状態Ｂから確率ｑで状態Ａに遷移し、状態Ｂから確率ｓで状態Ｃに遷移する。状態Ｃから確率ｕで状態Ａに遷移し、状態Ｃから確率ｒで状態Ｂに遷移する。

次に、識別ステップにかかわる各要素の構成および動作について述べる。

入力受付部２０は、判定対象となる歩行軌跡データ（第２の移動軌跡データ）の入力を受け付け、入力された歩行軌跡データを歩行軌跡データ分割部１２に送る。

歩行軌跡データ分割部１２は、入力受付部２０から受けた歩行軌跡データを一定時間間隔で分割することにより複数の部分軌跡データ（第２の部分軌跡データ）を生成する。歩行軌跡データ分割部１２は、入力受付部２０によって受け付けられた歩行軌跡データを複数に分割することにより複数の第２の部分軌跡データを生成する第２のデータ分割部を含む。分割の時間間隔は学習ステップに用いた時間間隔と同じものとする。

特徴抽出部１３は、各部分軌跡データについて、特徴量ベクトル（第２の特徴量ベクトル）を計算する。特徴抽出部１３は、第２の部分軌跡データ毎に第２の特徴量ベクトルを計算する第２の特徴量ベクトル計算部を含む。

状態割当部１７は、判定対象となる歩行軌跡データに対して計算された複数の特徴量ベクトルと、分離面学習部１６で学習された識別器とから複数の記号（クラス識別子）を求め、求めた複数の記号（クラス識別子）を時系列に並べることにより記号列（クラス識別子列）を生成する。すなわち各部分軌跡データに状態割り当て（記号割り当て）を行うことにより記号列（クラス識別子列）を生成する。生成された記号列（クラス識別子列）はたとえば第２の識別子シーケンスに相当し、状態割当部１７は、識別器を用いて複数の第２の特徴量ベクトルから複数のクラス識別子を求め、前記複数のクラス識別子を時系列に並べることにより第２の識別子シーケンスを生成する第２のシーケンス生成部を含む。

識別実行部１９は、状態割当部１７で生成された記号列（クラス識別子列）に対し、モデル学習部１８で学習された状態遷移モデルを用いて、尤度（たとえば生起確率）の計算を行う。そして、識別実行部１９は、計算された尤度に基づき、上記判定対象となる歩行軌跡データ（第２の移動軌跡データ）に対応する行動を判定する。たとえば、当該行動が、指定された順序を守っていない「逸脱行動」、守っている「通常行動」のいずれであるかを決定する。識別実行部１９は、状態遷移モデルを用いて、第２の識別子シーケンスの尤度を計算する尤度計算部と、第２の識別子シーケンスの尤度に基づき第２の移動軌跡データの行動を判定する行動判定部とを含む。

尤度が生起確率の場合（たとえば隠れマルコフモデルを用いたときが想定される）、閾値を設定し、閾値を満たすか否かで、行動を判定できる。閾値の値を変更することで、検出差レベルを制御できる。このことは、警戒レベルを複数に設定する必要のある監視システムでは有効である。尤度が０または１など特定の値をとる場合（たとえば有限オートマトンを用いたときが想定される）は、その値に応じて行動を判定できる。

尤度計算および閾値判定の例を図５（Ｃ）および図５（Ｄ）に示す。図５（Ｃ）において、複数の判定対象となる歩行軌跡データに対して計算された複数の記号列が示され、各記号列に対してそれぞれ尤度が計算されている。また、図５（Ｃ）においては、判定に用いる閾値が示されている。各尤度を閾値と比較し、閾値に満たない尤度をもつ記号列に対しては、逸脱行動の判定を下す。本例では記号列“CAAAA”の尤度0.0001が閾値0.05に満たず、一方、他の記号列の尤度は閾値よりも大きい。よって、図５（Ｄ）に示すように、記号列“CAAAA”に対して「逸脱行動」の判定が下され、他の記号列に対しては「通常行動」の判定が下される。

以下では、図１の最適化実行部１４についてさらに詳細に説明する。

最適化実行部１４は、上述したように、第１〜第ｍの特徴量（特徴量ベクトルに含まれる複数の変数）を１つ以上で組み合わせて複数の特徴量組（変数組）を生成し、生成した複数の変数組のうちの１つを探索点としてクラスタリング実行部１５に与える。そして、クラスタリング実行部１５の実行結果（各クラスターのクラス識別子、各クラスターに属する部分軌跡データとそのラベル（教師データ））を受け取り、上記変数組に基づくクラスタリングの評価値を計算する。評価値の計算後に、上記変数組とは異なる変数組をクラスタリング実行部１５に指定して再クラスタリング（再探索）を行う。これを繰り返すことで、各変数組についてそれぞれ評価値を取得し、各取得した評価値に基づき最終的に最適な変数組（クラスタリング）を選択する。

図６は、最適化実行部１４の動作を説明するフローチャートである。

最適化実行部１４は、まず特徴量ベクトルの各変数の貢献度（特徴評価値）を決定する（Ｓ１１）。貢献度は、部分軌跡データに対応付けられた教師信号データの分散比を当該変数のみで評価した値である。貢献度の定義を以下の式１に示す。

Ｓは部分軌跡データに対応付けられた教師信号データの種類数（すなわちラベルの種類数）である。また分子および分母のそれぞれの分散は当該1変数でのみに関して計算されたものである。

すなわち、式１の分母は、１つの変数（特徴量）について、各教師信号データ（行動ラベル）に対する当該特徴量の分散の合計値を示し、式１の分子は、各教師信号データ（行動ラベル）に対する当該特徴量の平均の分散を示す。式１の貢献度を、各変数（特徴量）についてそれぞれ計算する。

次に、最適化実行部１４は初期解として、貢献度が大きい順に２つの変数を選択し、選択した２つの変数からなる変数組を暫定解とする（Ｓ１２）。暫定解はたとえば基準特徴量組に相当する。

最適化実行部１４は、上記暫定解の近傍解を2つ選択する（Ｓ１３）。すなわち２つの変数組（第１および第２の特徴量組）を新たに生成する。近傍解の選択方法については後述する。そして、生成した２つの近傍解をクラスタリング実行部１５に与えて、クラスタリング実行部１５よりクラスタリングを実行させる（Ｓ１３）。

最適化実行部１４は、クラスタリング実行部１５から、上記２つの近傍解のそれぞれについてクラスタリング結果を受け取り、２つの近傍解についてそれぞれ評価値を計算する（Ｓ１４）。評価値は再現スコアとも称される。再現スコア（評価値）の計算式の一例を式２として以下に示す。

Kはクラスタリングにより得られたクラスター数、あるいはラベル付与手段１２ａにより付与されたラベルの種類数に対応する。

最適化実行部１４は、2つの近傍解の再現スコアを比較し、値の大きい方を新たな暫定解（探索点）として決定する（Ｓ１５）。最適化実行部１４は、上記２つの近傍解（変数組）と、各々の再現スコア（評価値）を、メモリ等の記憶部に記憶する。なお、ステップＳ１２で取得した暫定解について再現スコア（評価値）を計算し、当該記憶部に記憶しておいてもよい。

ステップＳ１３に戻り、上記新たな暫定解の近傍解を２つ選択し、クラスタリング実行部１５に各近傍解についてクラスタリングを実行させる。そしてステップＳ１４において、各クラスタリング結果に基づき、各近傍解について再現スコア（評価値）を計算する。ステップＳ１５において、各近傍解とその再現スコア（評価値）を、記憶部に記憶し、また２つの近傍解うち再現スコアの大きい方を新たな暫定解（探索点）として決定する。以降、同様にして、ステップ１３〜Ｓ１５を、あらかじめ定められた回数Ｎに達するまで繰り返す。

ここでステップＳ１３において近傍解は以下のようにして求める。

まず探索の中心となる暫定解は、特徴量ベクトル中の変数集合の部分集合である。最適化実行部１４は、暫定解の中から２番目に低い貢献度をもつ変数１個を除去した第１の近傍解（第１の特徴量組）と、暫定解に含まれていない変数のうち最大の貢献度をもつ変数を１個追加した第２の近傍解（第２の特徴量組）とを、２つの近傍解として求める。

このようにして２つの近傍解を求める際、探索済みの近傍解（すでに再現スコアを計算した近傍解）が出現することもある。この場合、2番目に低い貢献度をもつ変数ではなく3番目に低い貢献度をもつ変数を除去したものを第１の近傍解とし、最大の貢献度をもつ変数ではなく2番目に高い貢献度をもつ変数を追加したものを第２の近傍解とする。それでも探索済みの解に一致する場合は、４番目に低い貢献度をもつ変数を除去して第１の近傍解とし、３番目に高い貢献度をもつ変数を追加したものを第２の近傍解とする。以降、探索済みの近傍解と異なる解が得られるまで同様の操作を続ける。

つまり、暫定解から、低い貢献度の優先順位で１つの変数を選択および除去することにより、既に取得した解と異なる第１の近傍解を生成し、また暫定解に含まれない変数の中から、高い貢献度の優先順位で１つの変数を選択し暫定解に組み合わせることにより、既に取得した解と異なる第２の近傍解を生成する。

ステップＳ１３〜Ｓ１５をあらかじめ定められた回数Ｎだけ繰り返したら、ステップＳ１６において、記憶装置に記憶された近傍解（解候補）毎の再現スコア（評価値）に基づき、あらかじめ定めた制約条件を満たす近傍解（許容解）が存在するかどうかを検査する。

あらかじめ定めた制約条件とは、ある近傍解に対して得られたクラスター毎の最大数の教師信号（ラベル）に重複がないことである。すなわち、各クラスターの各々について最大の特徴量ベクトル数をもつ教師信号（ラベル）を検出し、各検出した教師信号（ラベル）に重複があるときは、上記制約条件を満たされず、重複がないときは上記制約条件が満たされる。

上記制約条件を満たす近傍解（許容解）が存在するときは（Ｓ１６のＹＥＳ）、許容解のうち、最も再現スコアが高いものを最適解として出力する（Ｓ１７）。

一方、許容解が１つも存在しない場合は（Ｓ１６のＮＯ）、ステップＳ１８に進む。

ステップＳ１８では、記憶装置に記憶された各近傍解（解候補）の各々について、各クラスタにおける教師信号（ラベル）毎の特徴量ベクトル数からクラスタ毎にエントロピーを計算する。そしてクラスター毎について計算したエントロピーを合計することにより、近傍解（解候補）毎にエントロピー合計値を得る。

次のステップＳ１９では、エントロピー合計値が最も小さい近傍解（解候補）を選択して、選択した近傍解（解候補）を最適解として出力する。エントロピーを最小にする近傍解（解候補）を選択することで、曖昧性の少ない明確なクラスターを得ることができる。

以上のように、本実施形態によれば、ある歩行者から取得した歩行軌跡データを分割して得た複数の部分軌跡データに対して、観測ノイズの影響や個人差の少ない状態割り当て（クラス識別子の割り当て）を行うことが可能になる。すなわち、観察者の直観を反映し、かつ観測対象者ごとに誤差の少ない状態割り当てを行うことが可能になる。

また、行動の順序性を反映した統計モデル（隠れマルコフモデル、隠れ層のない通常のマルコフモデル、またはN-gramモデル、決定的な動作を行う有限オートマトンなど）を使用できるため、指定された順序を守っていない行動を「逸脱行動」として検出することが可能になる。たとえば、「所定の場所で停止しない行動」や、「立ち止まるべきでない場所に長時間とどまり続ける行動」等を、「逸脱行動」として検出できる。

また離散化された記号列（クラス識別子列）を図７に示すような形式で、人物及び歩行軌跡データの表示と合わせて各分割区間に対応させてＰＣ（Personal Computer）の画面または画面内のウィンドウに表示することで、わかりやすいインターフェースを実現することが可能である。この際、人物および背景は、アニメーションのようにシンボル化されたものや、実画像のどちらでもよいものとする。本実施形態の行動判定装置は、離散化された記号列（クラス識別子列）を、歩行軌跡データの各分割区間と合わせて表示する表示手段をさらに含んでいてもよい。

また本実施形態の行動判定装置は、順序性のある行動の定義にも使用することが可能であり、工場内での作業の手順から外れた行動の発見にも適用可能である。

なお、以上に説明した本実施形態における行動判定装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、行動判定装置における、歩行軌跡データ分割部、ラベル付与部、特徴抽出部、最適化実行部、クラスタリング実行部、分離面学習部、状態割当部、モデル学習部、識別実行部は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、行動判定装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、歩行軌跡データ記憶部は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

本発明の一実施の形態に従った行動判別装置の概略構成を示すブロック図。 歩行軌跡データのイメージ図。 クラスタリングの一例を示す図。 記号列（クラス識別子列）の例を示す図。 モデル学習部および識別実行部の処理例を説明する図。 最適化実行部の動作を説明するフローチャート。 歩行軌跡データと記号列とを対応づけて画面に表示した例を示す図。

符号の説明

１１：歩行軌跡データ記憶部
１２：歩行軌跡データ分割部
１２ａ：ラベル付与部
１３：特徴抽出部
１４：最適化実行部
１５：クラスタリング実行部
１６：分離面学習部
１７：状態割当部
１８：モデル学習部
１９：識別実行部

Claims (11)

1. 観測領域における移動体の位置を所定時間間隔で記録した複数の移動軌跡データを記憶する移動軌跡データ記憶部と、
   前記複数の移動軌跡データをそれぞれ複数に分割することにより複数の部分軌跡データを生成するデータ分割部と、
   各前記部分軌跡データに前記移動体の行動を表す行動ラベルを付与するラベル付与手段と、
   前記部分軌跡データ毎に第１〜第ｍの特徴量を含む特徴量ベクトルを計算する特徴量ベクトル計算部と、
   前記第１〜第ｍの特徴量を１つ以上組み合わせて複数の特徴量組を生成する特徴量組生成部と、
   前記複数の特徴量組のうちの１つの前記特徴量組に基づいて複数の前記特徴量ベクトルをクラスタリングすることにより複数のクラスタを生成し、各クラスタにそれぞれ異なるクラス識別子を付与するクラスタリング部と、
   前記複数のクラスタに基づき、前記１つの特徴量組に対する評価値を計算する評価値計算部と、
   前記複数の特徴量組の各々について前記クラスタリング部と前記評価部とを用いた処理行うことにより前記複数の特徴量組に対する複数の評価値を取得する評価値取得部と、
   最も高いまたは閾値以上の評価値をもつ前記特徴量組を選択する特徴量組選択部と、
   前記選択された特徴量組に対応する前記複数のクラスタを用いて、前記特徴量ベクトルからクラス識別子を識別するクラス識別器を生成する識別器生成部と、
   前記移動軌跡データ毎に、前記複数の特徴量ベクトルに対応する複数のクラス識別子を求め、前記複数のクラス識別子を時系列に並べることにより識別子シーケンスを生成するシーケンス生成部と、
   前記複数の移動軌跡データに対して生成された複数の前記識別子シーケンスを用いて、クラス識別子の状態遷移モデルを学習するモデル学習部と、
   第２の移動軌跡データの入力を受け付ける入力受付部と、
   前記入力受付部によって受け付けられた前記第２の移動軌跡データを複数に分割することにより複数の第２の部分軌跡データを生成する第２のデータ分割部と、
   前記第２の部分軌跡データ毎に第２の特徴量ベクトルを計算する第２の特徴量ベクトル計算部と、
   前記クラス識別器を用いて複数の前記第２の特徴量ベクトルから複数のクラス識別子を求め、前記複数のクラス識別子を時系列に並べることにより第２の識別子シーケンスを生成する第２のシーケンス生成部と、
   前記状態遷移モデルを用いて、前記第２の識別子シーケンスの尤度を計算する尤度計算部と、
   前記第２の識別子シーケンスの尤度に基づき前記第２の移動軌跡データの行動を判定する行動判定部と、
   を備えた行動判定装置。
2. 前記評価値計算部は、前記複数のクラスタの各々について前記行動ラベル毎の特徴量ベクトル数のうち最大値をそれぞれ求め、各前記最大値と、前記複数のクラスタの各々の特徴量ベクトルの総数との比率を計算し、計算した比率を前記クラスタ間で合計することにより、前記評価値を得る
   ことを特徴とする請求項１に記載の行動判定装置。
3. 前記特徴量組選択部は、
   前記複数のクラスタの各々について最大の特徴量ベクトル数をもつ行動ラベルを検出し各検出した行動ラベルに重複があるか否かを検査する検査手段を含み、
   行動ラベルに重複のない前記特徴量組のうち、前記最も高い評価値をもつ特徴量組を選択する、
   ことを特徴とする請求項１または２に記載の行動判定装置。
4. 前記特徴量組選択部は、
   前記複数のクラスタの各々における前記行動ラベル毎の特徴量ベクトル数に基づき行動ラベルのエントロピーを計算し、各エントロピーを合計してエントロピー合計値を計算する計算手段を含み、
   すべての特徴量組の各々について行動ラベルの重複を検出したときは前記特徴量組毎にエントロピー合計値を計算し、最小のエントロピー合計値をもつ特徴量組を選択する
   ことを特徴とする請求項３に記載の行動判定装置。
5. 前記特徴量組生成部は、
   複数の前記特徴量ベクトルに基づき、前記行動ラベル毎に前記第１〜第ｍの特徴量のそれぞれについて分散および平均を計算し、
   各前記行動ラベルに対する前記第１〜第ｍの特徴量の分散および平均に基づき前記第１〜第ｍの特徴量に対して第１〜第ｍの特徴評価値を計算し、
   前記第１〜第ｍの特徴量のうち最も高い特徴評価値をもつ特徴量を、前記特徴量組として選択し、
   選択された特徴量組に、２番目に高い特徴評価値をもつ特徴量を組み合わせて基準特徴量組を生成し、
   以降、
   （１）前記基準特徴量組から、低い特徴評価値の優先順位で１つの特徴量を選択および除去することにより、既に取得した特徴量組と異なる第１の特徴量組を生成し、
   （２）前記基準特徴量組に含まれない特徴量の中から、高い特徴評価値の優先順位で１つの特徴量を選択し前記基準特徴量組に組み合わせることにより、既に取得した特徴量組と異なる第２の特徴量組を生成し、
   （３）前記第１および第２の特徴量組のうち前記評価値の高い方を選択し、選択した方の特徴量組を前記基準特徴量組とみなし、
   （１）〜（３）をあらかじめ定めた条件が成立するまで繰り返す、
   ことにより前記複数の特徴量組を取得する、
   ことを特徴とする請求項１に記載の行動判定装置。
6. 前記特徴量組生成部は、
   前記第１〜第ｍの特徴量毎に、各前記行動ラベルに対する前記特徴量の分散の合計値と、各前記行動ラベルに対する前記特徴量の平均の分散との比率を、前記特徴量の前記特徴評価値として計算する
   ことを特徴とする請求項５に記載の行動判定装置。
7. 前記特徴量組生成部は、前記あらかじめ定めた条件として、繰り返し回数が所定回数に達したら、または、取得された特徴量組の個数が一定個数に達したら、処理を終了する
   ことを特徴とする請求項５または６に記載の行動判定装置。
8. 前記尤度計算部は、前記第２の識別子シーケンスの尤度として、前記第２の識別子シーケンスの生起確率を取得し、
   前記行動判定部は、前記生起確率を閾値と比較することにより行動判定を行う
   ことを特徴とする請求項１ないし７のいずれか一項に記載の行動判定装置。
9. 前記尤度計算部は、前記第２の識別子シーケンスの尤度として、第１の値または第２の値を取得し、
   前記行動判定部は、取得された値が第１の値および第２の値のいずれであるかに応じて行動判定を行う
   ことを特徴とする請求項１ないし７のいずれか一項に記載の行動判定装置。
10. 観測領域における移動体の位置を所定時間間隔で記録した複数の移動軌跡データを記憶する移動軌跡データ記憶部を用意する準備ステップと、
    前記複数の移動軌跡データをそれぞれ複数に分割することにより複数の部分軌跡データを生成するデータ分割ステップと、
    各前記部分軌跡データに前記移動体の行動を表す行動ラベルを付与するラベル付与ステップと、
    前記部分軌跡データ毎に第１〜第ｍの特徴量を含む特徴量ベクトルを計算する特徴量ベクトル計算ステップと、
    前記第１〜第ｍの特徴量を１つ以上組み合わせて複数の特徴量組を生成する特徴量組生成ステップと
    前記複数の特徴量組のうちの１つの前記特徴量組に基づいて複数の前記特徴量ベクトルをクラスタリングすることにより複数のクラスタを生成し、各クラスタにそれぞれ異なるクラス識別子を付与するクラスタリングステップと、
    前記複数のクラスタに基づき、、前記１つの特徴量組に対する評価値を計算する評価値計算ステップと、
    前記複数の特徴量組の各々について前記クラスタリングステップと前記評価ステップとを用いた処理行うことにより前記複数の特徴量組に対する複数の評価値を取得する評価値取得ステップと、
    最も高いまたは閾値以上の評価値をもつ前記特徴量組を選択する特徴量組選択ステップと、
    前記選択された特徴量組に対応する前記複数のクラスタを用いて、前記特徴量ベクトルからクラス識別子を識別するクラス識別器を生成する識別器生成ステップと、
    前記移動軌跡データ毎に、前記複数の特徴量ベクトルに対応する複数のクラス識別子を求め、前記複数のクラス識別子を時系列に並べることにより識別子シーケンスを生成するシーケンス生成ステップと、
    前記複数の移動軌跡データに対して生成された複数の前記識別子シーケンスを用いて、クラス識別子の状態遷移モデルを学習するモデル学習ステップと、
    第２の移動軌跡データの入力を受け付ける入力受付ステップと、
    前記入力受付ステップによって受け付けられた前記第２の移動軌跡データを複数に分割することにより複数の第２の部分軌跡データを生成する第２のデータ分割ステップと、
    前記第２の部分軌跡データ毎に第２の特徴量ベクトルを計算する第２の特徴量ベクトル計算ステップと、
    前記クラス識別器を用いて複数の前記第２の特徴量ベクトルから複数のクラス識別子を求め、前記複数のクラス識別子を時系列に並べることにより第２の識別子シーケンスを生成する第２のシーケンス生成ステップと、
    前記状態遷移モデルを用いて、前記第２の識別子シーケンスの尤度を計算する尤度計算ステップと、
    前記第２の識別子シーケンスの尤度に基づき前記第２の移動軌跡データの行動を判定する行動判定ステップと、
    を備えた行動判定方法。
11. 観測領域における移動体の位置を所定時間間隔で記録した複数の移動軌跡データを記憶する移動軌跡データ記憶部を用意する準備ステップと、
    前記複数の移動軌跡データをそれぞれ複数に分割することにより複数の部分軌跡データを生成するデータ分割ステップと、
    各前記部分軌跡データに前記移動体の行動を表す行動ラベルを付与するラベル付与ステップと、
    前記部分軌跡データ毎に第１〜第ｍの特徴量を含む特徴量ベクトルを計算する特徴量ベクトル計算ステップと、
    前記第１〜第ｍの特徴量を１つ以上組み合わせて複数の特徴量組を生成する特徴量組生成ステップと
    前記複数の特徴量組のうちの１つの前記特徴量組に基づいて複数の前記特徴量ベクトルをクラスタリングすることにより複数のクラスタを生成し、各クラスタにそれぞれ異なるクラス識別子を付与するクラスタリングステップと、
    前記複数のクラスタに基づき、、前記１つの特徴量組に対する評価値を計算する評価値計算ステップと、
    前記複数の特徴量組の各々について前記クラスタリングステップと前記評価ステップとを用いた処理行うことにより前記複数の特徴量組に対する複数の評価値を取得する評価値取得ステップと、
    最も高いまたは閾値以上の評価値をもつ前記特徴量組を選択する特徴量組選択ステップと、
    前記選択された特徴量組に対応する前記複数のクラスタを用いて、前記特徴量ベクトルからクラス識別子を識別するクラス識別器を生成する識別器生成ステップと、
    前記移動軌跡データ毎に、前記複数の特徴量ベクトルに対応する複数のクラス識別子を求め、前記複数のクラス識別子を時系列に並べることにより識別子シーケンスを生成するシーケンス生成ステップと、
    前記複数の移動軌跡データに対して生成された複数の前記識別子シーケンスを用いて、クラス識別子の状態遷移モデルを学習するモデル学習ステップと、
    第２の移動軌跡データの入力を受け付ける入力受付ステップと、
    前記入力受付ステップによって受け付けられた前記第２の移動軌跡データを複数に分割することにより複数の第２の部分軌跡データを生成する第２のデータ分割ステップと、
    前記第２の部分軌跡データ毎に第２の特徴量ベクトルを計算する第２の特徴量ベクトル計算ステップと、
    前記クラス識別器を用いて複数の前記第２の特徴量ベクトルから複数のクラス識別子を求め、前記複数のクラス識別子を時系列に並べることにより第２の識別子シーケンスを生成する第２のシーケンス生成ステップと、
    前記状態遷移モデルを用いて、前記第２の識別子シーケンスの尤度を計算する尤度計算ステップと、
    前記第２の識別子シーケンスの尤度に基づき前記第２の移動軌跡データの行動を判定する行動判定ステップと、
    をコンピュータに実行させるための行動判定プログラム。

Images