JP2018013851A - 行動認識装置、および、行動認識方法 - Google Patents

Abstract

【課題】人物の特定が曖昧なセンサの組み合わせにより人物の行動を検知する場合において、人物の行動の認識の精度を向上させ、かつ、部外者の検知を容易なものとする。【解決手段】行動認識装置３０は、第１のセンサ１０のセンサデータおよび第２のセンサ２０のセンサデータを用いて人物の行動を認識する。この第１のセンサ１０は、複数の映像センサにより、単一の映像センサでは追跡できなかった範囲、向き、位置の人物を検知する。また、行動認識装置３０は、訓練データに基づき、第１のセンサ１０の任意のセンサデータに対する第２のセンサ２０のセンサデータの推定値として、第１のセンサ１０の映像センサにより撮影された映像をセル分割したセルごとに計算した、当該セルに対する第２のセンサ２０のセンサデータの代表値を用いる。【選択図】図１

Description

本発明は、行動認識装置、および、行動認識方法に関する。

従来、複数のカメラを用いた人物の監視技術が提案されている。例えば、複数のカメラの撮影映像から移動体を抽出し、カメラ間で映像を照合し、その移動体の移動経路を求める。そして、移動体の所定エリアへの侵入の有無を判定し、監視員にアラーム表示する技術が提案されている。この技術において、カード認証等、個人特定手段を用いることで、移動体（人物）の所定エリアへのアクセス権限の有無を判断する。また、移動体（人物）の移動経路や移動軌跡を分析することで、映像にうつった移動体（人物）が不審者であるか否かを判定し、アラーム表示する（技術１）。

また、ステレオカメラの映像を利用して、人物の不審行動を検知する技術も提案されている。この技術は、監視対象となる人物の移動軌跡を取得し、この移動軌跡に基づいて当該人物の行動状態を識別し、不審行動を検知する（技術２、特許文献１参照）。

特開２０１２-１２８８７７号公報

しかし、上記の技術１は、カード認証手段等、人物特定が明確な個人特定手段を用いることが前提となる。したがって、例えば、映像トラッキングシステムとビーコン受信システム等、人物特定が曖昧な技術のみを用い、上記のような人物特定が明確な個人特定手段を用いない場合、映像トラッキングシステムで検知した人物の所定エリアへのアクセス権限の有無を判定したり、当該人物が不審者であるか否かを判定したりすることは困難である。

例えば、ビーコン受信システムの位置検知精度は、数１０ｍ程度であり、誤差も多い。このため、映像トラッキングシステムで検知した人物について所定エリアへのアクセス権限が有るか否かを判定したり、当該人物が不審者であるか否かを判定したりすることも困難である。また、上記の技術２は、不審者（部外者）の行動パターンを事前に登録しておく必要があり、手間がかかるという問題がある。

そこで、本発明は、前記した問題を解決し、人物の特定が曖昧なセンサの組み合わせにより人物の行動を検知する場合において、人物の行動の認識の精度を向上させ、かつ、部外者の検知を容易なものとすることを課題とする。

前記した課題を解決するため、本発明は、第１のセンサによるセンサデータおよび第２のセンサによるセンサデータを用いて、人物の行動の認識を行う行動認識装置であって、前記第１のセンサは、複数の異なる場所に配置された映像センサで同時に所定エリアの映像を撮影し、前記映像センサそれぞれの映像にうつる人物を時間的に連続して検知するセンサであり、前記行動認識装置は、同じ人物について、同じ時刻に、前記第１のセンサの映像センサそれぞれで検知した前記人物の位置情報を示すセンサデータと、前記第２のセンサで検知したセンサデータとのペアの集合である訓練データを記憶する記憶部と、同じ時刻に、前記第１のセンサの映像センサそれぞれで検知した前記人物の位置情報を示すセンサデータと、前記第２のセンサで検知した前記人物のセンサデータとを収集する収集部と、前記第１のセンサの任意のセンサデータに対する、前記第２のセンサのセンサデータの推定値として、前記映像センサそれぞれが撮影した映像のピクセル空間を複数のセルに分割し、前記第１のセンサの任意のセンサデータの属する前記映像におけるセル位置を求め、前記訓練データに基づき、前記セル位置に対する前記第２のセンサのセンサデータの代表値を計算する推定部と、前記第２のセンサのセンサデータの推定値に基づき、収集した前記第１のセンサのセンサデータに対する前記第２のセンサのセンサデータの推定値を計算し、前記第２のセンサのセンサデータの推定値と、収集した前記第２のセンサのセンサデータとの類似度を計算し、前記類似度の時間的推移に基づき、前記第１のセンサで検知した人物と前記第２のセンサで検知した人物とが同一人物である可能性の高さを示す照合スコアを計算する照合部と、前記照合スコアに基づき、前記第１のセンサで検知した人物と前記第２のセンサで検知した人物とが同一人物であるか否かを判定する判定部と、を備えることを特徴とする。

本発明によれば、人物の特定が曖昧なセンサの組み合わせにより人物の行動を検知する場合において、人物の行動の認識の精度を向上させ、かつ、部外者の検知を容易なものとすることができる。

図１は、行動認識システムの構成例を示す図である。 図２は、行動認識装置の概要を説明するための図である。 図３は、各映像センサの映像における同じ人物のピクセル位置の対応付けを説明するための図である。 図４は、第１のセンサの構成例を示す図である。 図５は、第１のセンサで撮影した映像のピクセル空間のセル分割の例を示す図である。 図６は、ピクセル位置ベクトルとセルベクトルとの対応を説明するための図である。 図７は、あるセル位置に属する任意のピクセル位置に対応する、第２のセンサのセンサデータの推定値の計算例を説明するための図である。 図８は、行動認識装置による人物判定処理の例を示すフローチャートである。 図９は、サブセット位置ベクトルの生成に用いられるピクセル位置ベクトル、セルベクトルおよび第２のセンサのセンサデータの例を示す図である。 図１０は、サブセット位置ベクトルと、サブセット位置ベクトルに対応する第２のセンサのセンサデータとを説明するための図である。 図１１は、映像センサの配置例を示す図である。 図１２は、映像センサの配置例を示す図である。 図１３は、映像センサの配置例を示す図である。 図１４は、行動認識装置の表示映像の例を示す図である。 図１５は、行動認識プログラムを実行するコンピュータを示す図である。

以下、図面を参照しながら、本発明を実施するための形態（実施形態）を第１の実施形態および第２の実施形態に分けて説明する。本発明は各実施形態に限定されない。

［第１の実施形態］
（構成）
まず、図１を用いて第１の実施形態の行動認識システム（システム）の構成例を説明する。例えば、システムは、第１のセンサ１０と、第２のセンサ２０と、行動認識装置３０とを備える。このシステムは、第１のセンサ１０および第２のセンサ２０それぞれのセンサデータを用いて、人物の行動の認識と、部外者の検知を行う。

第１のセンサ１０は、複数の映像センサにより所定エリアの映像を撮影し、撮影した映像に映る人物を時間的に連続して検知する。

また、第２のセンサ２０は、例えば、所定エリアに複数個設置され、無線信号（例えば、ＢＬＥ（Bluetooth（登録商標） Low Energy）ビーコン信号等のビーコン信号）を発する装置と、所定の人物に所持され、無線信号の受信機能を有する端末（例えば、モバイル端末）とにより実現される。無線信号がビーコン信号である場合、第２のセンサ２０は、例えば、ビーコン信号を発するビーコン装置と、ビーコン信号の受信機能を有する端末とにより実現される。なお、この端末の端末ＩＤと、端末の所持者のＩＤ（例えば、社員ＩＤ）とは予め対応づけられているものとする。

行動認識装置３０は、事前に、同じ人物の同じ時刻における、第１のセンサ１０からのセンサデータ（例えば、映像センサそれぞれにおける人物のピクセル位置のデータ）と、第２のセンサ２０からのセンサデータ（例えば、端末における各ビーコン信号の受信強度を示すデータ）とを対応付けた訓練データを用意しておく。

そして、行動認識装置３０は、行動認識の対象である第１のセンサ１０からのセンサデータおよび第２のセンサ２０からのセンサデータを取得すると、上記の訓練データを用いて、第１のセンサ１０で検知した人物が、第２のセンサ２０で検知したどの端末の所持者かを判定する。

例えば、行動認識装置３０は、図２に示すように、第１のセンサ１０のセンサ種別が複数の監視カメラ（映像センサ）による人物検知を行うセンサである場合、第１のセンサ１０で検知される人物の属性（Ａｘ）は各監視カメラにより撮影された映像におけるピクセル位置により特定する。また、検知される人物の人物ＩＤ（ｉ＝１，２，…）は、例えば、当該映像におけるトラッキングＩＤを用いる。さらに、センサデータ（Ｘｉ＝Ｘ１，Ｘ２，…）は、例えば、当該映像における人物のピクセル位置を用いる。

なお、第１のセンサ１０のセンサデータＸは、同じ時刻に、各映像センサで撮影された映像における人物の位置情報（例えば、ピクセル位置）を示したデータである。このセンサデータＸは、例えば、各映像センサで撮影された映像における人物の位置情報をベクトルの成分とする位置ベクトルにより表される。この位置ベクトルは、例えば、物理位置１の人物について、（映像センサ１の映像におけるピクセル位置，映像センサ２の映像におけるピクセル位置，…）というように、人物ごとに各映像センサで撮影された映像における当該人物のピクセル位置を対応付けた情報である。

また、第２のセンサ２０のセンサ種別がビーコン（ビーコン装置）と端末（モバイル端末）である場合、第２のセンサ２０で検知される人物の属性（Ａｙ）は、例えば、端末ＩＤに対応する社員ＩＤにより特定する。また、検知される人物の人物ＩＤ（ｊ＝１，２，…）は、例えば、端末ＩＤを用いる。さらに、センサデータ（Ｙｊ＝Ｙ１，Ｙ２，…）は、例えば、当該端末におけるビーコンの受信電波強度を用いる。

そして、行動認識装置３０の制御部３３は、訓練データを用いて、第１のセンサ１０で検知した人物ｉと第２のセンサ２０で検知した人物ｊとの対応付けを行う。

換言すると、行動認識装置３０の制御部３３は、第１のセンサ１０で検知した人物ｉが第２のセンサ２０で検知したどの端末（端末を所持する人物ｊ）と対応するかを判定する。このような判定により、行動認識装置３０は、例えば、図２に示すように、第１のセンサ１０の撮影映像におけるピクセル位置：Ｘ１の人物が社員ＩＤ：ｊ３であり、ピクセル位置：Ｘ２の人物が端末不所持であり、ピクセル位置：Ｘ３の人物が社員ＩＤ：ｊ２である等の判定結果を得る。これにより、行動認識装置３０は、人物の行動の認識や、部外者の検知を行うことができる。

また、前記したとおり、システムは、第１のセンサ１０に複数の映像センサを備える。これにより、システムは、所定エリアにおける人物の行動認識や、部外者の検知の精度を向上させることができる。

例えば、図３に示すように、第１のセンサ１０は、物理位置１〜物理位置３の人物を撮影する際に、映像センサ１と映像センサ２という複数の映像センサで撮影するので、いずれかの映像センサで撮影できなかった人物（例えば、映像センサ１では撮影できなかった物理位置３の人物）について、他の映像センサ（例えば、映像センサ２）で撮影できる可能性を高くすることができる。

なお、この第１のセンサ１０は、映像センサそれぞれの映像にうつる人物映像について、例えば、人物映像訓練データ（詳細は後記）を用いて、それぞれがどの人物の人物映像であるかを対応付ける。この第１のセンサ１０の構成例を、図４を用いて説明する。

例えば、この第１のセンサ１０は、図４に示すように入出力部１１と、記憶部１２と、制御部１３と、複数の映像センサとを備える。

入出力部１１は、各種データの入出力を司る。ここでは、主に第１のセンサ１０の各映像センサによるセンサデータＸを行動認識装置３０へ出力する。また、記憶部１２は、人物映像訓練データを記憶する。この人物映像訓練データは、同じ人物について、同じ時刻に、各映像センサにより撮影された映像における当該人物の位置情報の組み合わせを示したデータである。

また、制御部１３は、識別部１３１を備える。この識別部１３１は、同時刻に各映像センサで撮影された所定エリアの映像を取得すると、人物映像訓練データを用いて、それぞれの映像内の人物映像がどの人物の人物映像であるかを対応付ける。

このような第１のセンサ１０によれば、同じ時刻に、異なる場所に配置された映像センサそれぞれの映像にうつる人物映像について、同じ人物の人物映像を対応付けることができる。対応付けの例を、図３を用いて説明する。

例えば、第１のセンサ１０は、図３に示す映像１の人物映像１１および映像２の人物映像２２を、同じ物理位置１の人物の人物映像として対応付け、人物映像ＩＤベクトルとしてＨ（１１，２２）を生成する。

この人物映像ＩＤベクトルは、映像センサそれぞれにおける人物映像ＩＤを示した情報である。この人物映像ＩＤベクトルは、例えば、Ｈ（映像１における人物映像ＩＤ，映像２における人物映像ＩＤ，…）というように記述される。

また、映像１の人物映像２１および映像２の人物映像１２を、同じ物理位置２の人物の映像として対応付け、人物映像ＩＤベクトルとしてＨ（２１，１２）を生成する。

また、第１のセンサ１０は、図３に示す映像１のピクセル位置ｘ１１および映像２のピクセル位置ｘ２２を、同じ物理位置１の人物の人物映像のピクセル位置として対応付け、人物ピクセル位置ベクトルとしてＸ（ｘ１１，ｘ２２）を生成する。

このピクセル位置ベクトルは、映像センサそれぞれにおける人物映像のピクセル位置を示した情報である。このピクセル位置ベクトルは、例えば、Ｘ（映像１における人物映像のピクセル位置，映像２における人物映像のピクセル位置，…）というように記述される。

また、第１のセンサ１０は、図３に示す映像１のピクセル位置ｘ２１および映像２のピクセル位置ｘ１２を、同じ物理位置２の人物のピクセル位置ベクトルとしてＸ（ｘ２１，ｘ１２）を生成する。

なお、図３に示す映像１には含まれないが、映像２に含まれる人物映像３２については、第１のセンサ１０は、例えば、物理位置３の人物の人物映像ＩＤベクトルとしてＨ（ｎｕｌｌ，３２）を生成し、ピクセル位置ベクトルとしてＸ（ｎｕｌｌ，ｘ３２）を生成する。つまり、第１のセンサ１０は、映像にうつっていない人物については、人物映像ＩＤベクトル、ピクセル位置ベクトルにおける当該映像に関する成分の値をｎｕｌｌとする。

図１に戻り、行動認識装置３０の構成を詳細に説明する。行動認識装置３０は、入出力部３１と、記憶部３２と、制御部３３とを備える。

入出力部３１は、各種データの入出力を司り、例えば、第１のセンサ１０および第２のセンサ２０からのセンサデータの入力を受け付ける。

記憶部３２は、制御部３３において、人物の行動の認識や、部外者の検知を行うための各種データを記憶する。記憶部３２は、例えば、第１のセンサ１０および第２のセンサ２０から収集したセンサデータ、訓練データ、照合スコア、判定結果等を記憶する領域を備える。

訓練データは、前記したとおり、同一人物（人物ｐ）について、同時刻において、第１のセンサ１０で検知したセンサデータＸｐおよび第２のセンサ２０で検知したセンサデータＹｐのペア（Ｘｐ，Ｙｐ）の集合である。

この訓練データは、例えば、事前に、第１のセンサ１０で検知される人物と第２のセンサ２０で検知される人物とが同一であることが分かっている環境で収集される。照合スコア、判定結果の詳細については、後記する。

制御部３３は、センサデータ収集部３３１と、推定部３３２と、センサデータ照合部３３３と、人物判定部３３４とを備える。

センサデータ収集部３３１は、同じ時刻に、第１のセンサ１０で検知した人物（例えば、人物ｉ）のセンサデータＸと、第２のセンサ２０で検知した人物（例えば、人物ｊ）のセンサデータＹとを収集する。このセンサデータＸは、例えば、人物ｉについて、同じ時刻に、第１のセンサ１０の映像センサそれぞれで撮影された映像における位置情報をベクトルの成分とする位置ベクトルＸである。

推定部３３２は、訓練データに基づき、任意のセンサデータＸｐ´に対する第２のセンサ２０のセンサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）を計算する。

つまり、推定部３３２は、映像センサそれぞれの映像をセル分割する（図５参照）。そして、推定部３３２は、訓練データに基づき、訓練データにおける第１のセンサ１０の位置ベクトルＸｐの属するセルごとに、当該セルに対する、第２のセンサ２０のセンサデータＹの代表値を計算する。

そして、推定部３３２は、第１のセンサ１０の任意のセンサデータＸｐ´について、このセンサデータＸｐ´の属するセルと、計算したセルぞれぞれの第２のセンサ２０のセンサデータＹの代表値とに基づき、センサデータＸｐ´に対するセンサデータＹの推定値Ｙｅ（Ｘｐ´）を計算する。具体的には、推定部３３２は、センサデータＸｐ´の属するセルに対する、第２のセンサ２０のセンサデータＹの代表値を、センサデータＸｐ´に対するセンサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）と推定する。

例えば、まず、推定部３３２は、第１のセンサ１０の撮影した映像のピクセル空間を複数のセル（図５参照）に分割する。そして、推定部３３２は、訓練データにおける位置ベクトルＸｐの成分であるピクセル位置を、当該ピクセル位置に属するセル位置に変換したセルベクトルｃｖを生成する。

上記の位置ベクトル（ピクセル位置ベクトル）とセルベクトルとの対応を、図６を参照しながら説明する。ここでは、例えば、図６に示すように、第１のセンサ１０の映像センサが撮影した映像（映像１および映像２）それぞれのピクセル空間を、ｃ１〜ｃ８０のセルに分割した場合を考える。

この場合、映像１におけるピクセル位置ｘ１１はセル位置ｃ４６に属し、ピクセル位置ｘ２１はセル位置ｃ３８に属する。また、映像２におけるピクセル位置ｘ２２はセル位置ｃ２２に属し、ピクセル位置ｘ１２のセル位置ｃ１４に属し、ピクセル位置ｘ３２のセル位置ｃ２６に属する。

したがって、ピクセル位置ベクトルＸ（ｘ１１，ｘ２２）に対応するセルベクトルはｃｖ（ｃ４６，ｃ２２）であり、ピクセル位置ベクトルＸ（ｘ２１，ｘ１２）に対応するセルベクトルはｃｖ（ｃ３８，ｃ１４）であり、ピクセル位置ベクトルＸ（ｎｕｌｌ，ｘ３２）に対応するセルベクトルはｃｖ（ｎｕｌｌ，ｃ２６）である。

次に、推定部３３２は、訓練データから、セルベクトルｃｖに属する位置ベクトルＸｐ（センサデータＸｐ）に対する第２のセンサ２０のセンサデータＹｐ群を取得し、このセンサデータＹｐ群の代表値（例えば、平均値）を計算する。

そして、推定部３３２は、任意のセンサデータＸｐ´に対する第２のセンサ２０のセンサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）として、この任意のセンサデータＸｐ´の属するセルベクトルｃｖ´に対する第２のセンサ２０のセンサデータＹｐの代表値Ｙｅ（ｃｖ´）を用いる。つまり、推定部３３２は、［Ｙｅ（Ｘｐ´）＝Ｙｅ（ｃｖ´）｜Ｘｐ´⊂ｃｖ´］とする。

例えば、図７に示すように、セル位置ｃに、ピクセル位置ｘｐ１、ピクセル位置ｘｐ２、ピクセル位置ｘｐ３が属する場合、推定部３３２は、訓練データからピクセル位置ｘｐ１、ピクセル位置ｘｐ２、ピクセル位置ｘｐ３それぞれに対応する第２のセンサ２０のセンサデータＹｐ（センサデータＹｐ１、センサデータＹｐ２、センサデータＹｐ３）を取得する。そして、推定部３３２は、取得したセンサデータＹｐ１、センサデータＹｐ２、センサデータＹｐ３に基づき、セル位置ｃに対応する第２のセンサ２０のセンサデータＹの代表値Ｙｅ（ｃ）を計算する。この代表値Ｙｅ（ｃ）は、例えば、上記のセンサデータＹｐ１、センサデータＹｐ２およびセンサデータＹｐ３の平均値（Ｙｐ１＋Ｙｐ２＋Ｙｐ３）／３である。このようにして計算された代表値Ｙｅ（ｃ）は、セル位置ｃに属する任意のピクセル位置ｘに対応するセンサデータＹの推定値Ｙｅ（ｘ）と考えることができる。

よって、推定部３３２は、図７の下の図に示すように、セル位置ｃ´に属する任意のピクセル位置ｘ´に対応する、第２のセンサ２０のセンサデータの推定値Ｙｅ（ｘ´）は、セル位置ｃ´に対応する第２のセンサ２０のセンサデータＹの代表値Ｙｅ（ｃ´）と推定する。つまり、Ｙｅ（ｘ´）＝Ｙｅ（ｃ´）と推定する。

上記の例は一次元ベクトルであるが、この考え方は、多次元ベクトルであるピクセル位置ベクトルおよびセルベクトルにも適用できる。

すなわち、任意の位置ベクトルＸｐ´に対するセンサデータＹの推定値Ｙｅ（Ｘｐ´）は、この任意の位置ベクトルＸｐ´の属するセルベクトルｃｖ´に対応するセンサデータＹの代表値Ｙ（ｃｖ´）と考えることができる。よって、推定部３３２は、セルベクトルｃｖ´に対応するセンサデータＹの代表値Ｙ（ｃｖ´）を、位置ベクトルＸｐ´のセンサデータＹの推定値Ｙｅ（Ｘｐ´）として用いる。

なお、セル内部の訓練データの数が充実するほど、上記の代表値（ｃｖ´）の推定精度は高くなる。

また、上記の代表値Ｙｅ（ｃｖ´）の計算において、推定部３３２が分割するセルのサイズは、例えば、訓練データの数や、代表値Ｙｅ（ｃｖ´）の計算量やメモリ使用量、求められる人物判定精度の高さ等を考慮して、システムの管理者等が適宜設定してよい。

さらに、推定部３３２は、上記の代表値Ｙｅ（ｃｖ´）を計算するとき、セルベクトルｃｖ´外のセンサデータＸｐに対応する第２のセンサ２０のセンサデータＹも用いた回帰分析等を行ってもよい。このようにすることで、推定部３３２は、上記の代表値Ｙｅ（ｃｖ´）を精度よく計算することができる。

センサデータ照合部３３３は、任意の位置ベクトルＸｐ´の推定値Ｙｅ（Ｘｐ´）、つまり、位置ベクトルＸｐ´の属するセルベクトルｃｖ´の代表値Ｙｅ（ｃｖ´）に基づき、位置ベクトルＸｉに対するセンサデータＹｉの推定値Ｙｅ（Ｘｉ）を計算する。そして、センサデータ照合部３３３は、収集したセンサデータＹｊ（つまり、人物ｊのセンサデータＹの実測値）とセンサデータＹｉの推定値Ｙｅ（Ｘｉ）との類似度Ｃｉｊを計算する。

センサデータ照合部３３３は、このような類似度Ｃｉｊの計算を各時刻のセンサデータＸｉおよびセンサデータＹｉについて行い、計算した類似度Ｃｉｊの時間的推移に基づき、人物ｉと人物ｊとが同一人物である可能性の高さを示す照合スコアＰｉｊを計算する。

なお、推定部３３２が、事前に、任意の位置ベクトルＸｐ´に対するセンサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）、つまり、位置ベクトルＸｐ´の属するセルベクトルｃｖ´の代表値Ｙｅ（ｃｖ´）を計算しておくことで、センサデータ照合部３３３は、センサデータＸｉに対するセンサデータＹｉの推定値Ｙｅ（Ｘｉ）を迅速に求めることができる。

人物判定部３３４は、センサデータ照合部３３３で計算した照合スコアＰｉｊに基づき、人物ｉと人物ｊとが同一人物である（ｔｒｕｅ）か否（ｆａｌｓｅ）かを判定する。

例えば、人物判定部３３４は、照合スコアＰｉｊが所定値を超える場合、人物ｉと人物ｊとが同一人物であると判定し、照合スコアＰｉｊが所定値以下の場合、人物ｉと人物ｊとが同一人物ではないと判定する。さらに、人物判定部３３４は、人物ｉについて同一人物と判定される人物ｊがいなかった場合、人物ｉが部外者であると判定する。そして、その判定結果を、記憶部３２に記録する。

例えば、人物判定部３３４は、図２に示すように、同一人物と判定された人物ｉと人物ｊについて、人物ｉのセンサデータＸｉ（映像におけるピクセル位置）と人物ｊのセンサデータＹｊ（端末に紐付く社員ＩＤ）とを対応付けた情報を判定結果として、記憶部３２に記録する。なお、上記の制御部３３の各部の詳細は、処理手順の説明で後記する。

（処理手順）
次に、図８を用いて、行動認識装置３０の処理手順を説明する。行動認識装置３０が行う処理は、事前フェーズの処理（Ｓ１）と、その後の行動フェーズの処理（Ｓ２）とに分けられる。事前フェーズ（Ｓ１）では、行動認識装置３０は、同一人物ｐについての同時刻におけるセンサデータ（Ｘｐ，Ｙｐ）を収集し（Ｓ１１）、訓練データを作成しておく。その後、推定部３３２は、任意のセンサデータＸｐ´（位置ベクトルＸｐ´）に対するセンサデータＹｐ´（＝Ｙｅ（Ｘｐ´））を推定する（Ｓ１２）。そして、推定部３３２は、推定結果（Ｘｐ´，Ｙｅ（Ｘｐ´））を訓練データに追加する。なお、ここでのＹｅ（Ｘｐ´）は、前記したとおり、任意の位置ベクトルＸｐ´の属するセルベクトルｃｖ´に対する、センサデータＹの代表値Ｙｅ（ｃｖ´）を用いる。

その後の行動フェーズ（Ｓ２）では、センサデータ収集部３３１がセンサデータ（Ｘｉ，Ｙｊ）を収集する（Ｓ２１）。なお、このセンサデータ（Ｘｉ，Ｙｊ）は、同時刻に第１のセンサ１０および第２のセンサ２０で検知した人物（人物ｉおよび人物ｊ）のセンサデータである。センサデータ照合部３３３は、訓練データ内の（Ｘｐ´，Ｙｅ（Ｘｐ´））に基づき、Ｓ２１で収集したセンサデータＸｉ（位置ベクトルＸｉ）の値に対するセンサデータＹｉの推定値Ｙｅ（Ｘｉ）を求める。

その後、センサデータ照合部３３３は、センサデータＹｉの推定値Ｙｅ（Ｘｉ）と、収集したセンサデータＹｊとの類似度Ｃｉｊに基づき人物ｉと人物ｊとが同一人物である可能性の高さを示す照合スコアＰｉｊを計算する（Ｓ２２：センサデータの照合スコアＰｉｊを計算）。

例えば、センサデータ照合部３３３は、訓練データ内の（Ｘｐ´，Ｙｅ（Ｘｐ´））に基づき、人物ｉ（ｉ＝１，２，…）のセンサデータＸｉについてのセンサデータＹｉの推定値Ｙｅ（Ｘｉ）を求める。その後、センサデータ照合部３３３は、人物ｉ（ｉ＝１，２，…）のセンサデータＹｉの推定値Ｙｅ（Ｘｉ）と、人物ｊ（ｊ＝１，２，…）のセンサデータＹｊとの類似度Ｃｉｊを計算する。

例えば、センサデータ照合部３３３は、推定値Ｙｅ（Ｘ１）とＹ１，Ｙ２，…との類似度であるＣ１１，Ｃ１２，Ｃ１３，…を計算し、また、推定値Ｙｅ（Ｘ２）とＹ１，Ｙ２，…との類似度であるＣ２１，Ｃ２２，Ｃ２３，…を計算する。

そして、センサデータ照合部３３３は、計算した類似度Ｃｉｊそれぞれの時間的推移を指標として照合スコアＰｉｊを計算する。例えば、センサデータ照合部３３３は、所定期間における人物ｉと人物ｊのセンサデータＹの類似度Ｃｉｊの平均値を照合スコアＰｉｊとする。

図８に戻る。Ｓ２２の後、人物判定部３３４は、Ｓ２２で計算した照合スコアＰｉｊに基づき人物判定を行う（Ｓ２３）。例えば、人物判定部３３４は、Ｓ２２で計算した照合スコアＰｉｊが所定値を超える場合、人物ｉと人物ｊとが同一人物であると判定し、照合スコアＰｉｊが所定値以下の場合、人物ｉと人物ｊとが同一人物ではないと判定する。なお、人物ｉについて同一人物と判定される人物ｊがいなかった場合、人物判定部３３４は、人物ｉは部外者であると判定する。人物判定部３３４は、上記の判定をすべての人物ｉと人物ｊとの組み合わせについて実行する。そして、その判定結果を記憶部３２に記録する。

以上の処理により、行動認識装置３０は、第１のセンサ１０および第２のセンサ２０のセンサデータを用いた人物の行動の認識および部外者の検知を精度よく行うことができる。

また、システムは、第１のセンサ１０の複数の映像センサにより、映像にうつる人物を時間的に連続して検知する（トラッキングする）ので、行動認識装置３０における人物の行動の認識および部外者の検知の精度を向上させることができる。

さらに、行動認識装置３０は、任意の位置ベクトルＸｐ´に対するセンサデータＹの推定値Ｙｅ（Ｘｐ´）を計算する際、この位置ベクトルＸｐ´の属するセルベクトルｃｖ´に対するセンサデータＹの代表値Ｙｅ（ｃｖ´）を用いるので、上記の推定値Ｙｅ（Ｘｐ´）を効率よく計算することができる。

また、システムは、第２のセンサ２０として、例えば、ビーコン受信システムを用いることで、例えば、物理的な認証ゲートを設置するよりも、人物の行動に対する制約を低くし、かつ、設備コストも低くすることができる。

また、システムは、部外者（不審者）の検知にあたり、行動パターンを事前に登録する必要がない。よって、例えば、行動パターンを予測できないオフィス空間等においても、部外者の検知を容易に行うことができる。

［第２の実施形態］
なお、行動認識装置３０は、訓練データにおけるセンサデータについて一部の位置情報の値をｎｕｌｌとしたサブセット位置ベクトルを生成し、このサブセット位置ベクトルを追加した訓練データを用いて人物の行動認識、部外者の検知を行ってもよい。

つまり、推定部３３２は、訓練データにおける位置ベクトルＸｐを成分である位置情報のうち、一部の位置情報の値をｎｕｌｌとしたサブセット位置ベクトルＸｐｓを生成する。そして、推定部３３２は、このサブセット位置ベクトルＸｐｓと、当該サブセット位置ベクトルＸｐｓの元となった位置ベクトルＸｐに対するセンサデータＹｐとのペア（Ｘｐｓ，Ｙｐ）の集合を訓練データに追加する。

行動認識装置３０が、このようなサブセット位置ベクトルを含む訓練データを用いることで、例えば、第１のセンサ１０の一部の映像センサで人物が撮影できなかった等、センサデータＸにノイズが含まれていた場合でも、人物の行動認識、部外者の検知を精度よく行うことができる。

このサブセット位置ベクトルＸｐｓと、このサブセット位置ベクトルＸｐｓに対応する第２のセンサ２０のセンサデータＹｐについて、図９および図１０を用いて説明する。

ここでは、図９に示す訓練データに基づきサブセット位置ベクトルを生成する場合を例に説明する。図９に示す訓練データは、映像センサ１〜映像センサ３で同時に物理位置ａ〜物理位置ｃの人物それぞれを撮影したときの人物映像のピクセル位置（ピクセル位置ベクトルＸｐ）と、同時刻における物理位置ａ〜物理位置ｃの人物それぞれの第２のセンサ２０のセンサデータＹｐとを対応付けたデータである。

この訓練データにおける物理位置ａの人物のセルベクトルは（ｃ１５，ｃ２４，ｃ３７）であり、物理位置ｂの人物のセルベクトルは（ｃ１５，ｃ２５，ｃ３５）であり、物理位置ｃの人物のセルベクトルは（ｃ１５，ｃ２９，ｃ３７）であるものとする。訓練データにおける物理位置ａの人物の第２のセンサ２０のセンサデータＹｐはＹａであり、物理位置ｂの人物の第２のセンサ２０のセンサデータＹｐはＹｂであり、物理位置ｃの人物の第２のセンサ２０のセンサデータＹｐはＹｃであるものとする。

図９の訓練データに示す物理位置ａ〜物理位置ｃの人物それぞれのピクセル位置ベクトルＸｐに対し、サブセット（subset）のピクセル位置ベクトルＸｐを生成すると、図１０に示すようになる。つまり、推定部３３２は、図１０に示すように、オリジナル（origin）のピクセル位置ベクトルＸｐの３つの成分のうち、任意の１つまたは２つの成分についてｎｕｌｌとしたサブセット（subset）のピクセル位置ベクトルＸｐを生成する。

例えば、図１０に示すように、物理位置ａの人物のオリジナル（origin）のピクセル位置ベクトルＸｐは（ｘ１ａ，ｘ２ａ，ｘ３ａ）である。よって、推定部３３２は、オリジナルのピクセル位置ベクトルＸｐの（ｘ１ａ，ｘ２ａ，ｘ３ａ）の３つの成分のうち、１つまたは２つの成分についてｎｕｌｌとしたサブセット（subset）のピクセル位置ベクトルＸｐ群を生成する。例えば、推定部３３２は、符号９０１に示す６つのサブセット（subset）のピクセル位置ベクトルＸｐ群を生成する。

また、推定部３３２は、サブセット（subset）のピクセル位置ベクトルＸｐそれぞれについてセルベクトルも生成する。なお、サブセット（subset）のピクセル位置ベクトルＸｐにおいて、ｎｕｌｌとなっている成分の値については、セルベクトルの値もｎｕｌｌとする。例えば、推定部３３２は、符号９０１に示す６つのサブセット（subset）のピクセル位置ベクトルＸｐ群に対し、符号９０２に示すセルベクトル群を生成する。

さらに、推定部３３２は、サブセット（subset）のピクセル位置ベクトルＸｐそれぞれについて、第２のセンサ２０のセンサデータＹｐの推定値を計算する。ここでの推定値の計算は、サブセット（subset）のピクセル位置ベクトルＸｐのうち、セルベクトルが同じであるサブセット（subset）のピクセル位置ベクトルＸｐを抽出することにより行われる。

例えば、推定部３３２は、セルベクトルが同じであるサブセット（subset）のピクセル位置ベクトルＸｐとして、図１０において、＊２の付された２つのサブセット（subset）のピクセル位置ベクトルＸｐを抽出した場合を考える。

この場合、まず、推定部３３２は、＊２のサブセット（subset）のピクセル位置ベクトルＸｐのオリジナル（origin）のピクセル位置ベクトルＸｐに対する第２のセンサ２０のセンサデータＹｐであるＹａおよびＹｃを取得する。

そして、推定部３３２は、取得したセンサデータＹｐの値（ＹａおよびＹｃ）の代表値を、＊２のサブセット（subset）のピクセル位置ベクトルＸｐそれぞれに対する、第２のセンサ２０のセンサデータＹｐとする。例えば、代表値を、センサデータＹｐの値（ＹａおよびＹｃ）の平均値とする場合、推定部３３２は、（Ｙａ＋Ｙｃ）／２を、＊２のサブセット（subset）のピクセル位置ベクトルＸｐそれぞれに対する、第２のセンサ２０のセンサデータＹｐとする。

推定部３３２は、＊１および＊３のサブセット（subset）のピクセル位置ベクトルＸｐに対しても、上記と同様に第２のセンサ２０のセンサデータＹｐを計算し、図１０の第２のセンサ２０のセンサデータＹｐの欄に示す各値を得る。その後、推定部３３２は、＊１、＊２および＊３それぞれのサブセット（subset）のピクセル位置ベクトルＸｐと、計算した第２のセンサ２０のセンサデータＹｐとを対応付けたデータを訓練データに追加する。

例えば、推定部３３２は、＊１のサブセット（subset）のピクセル位置ベクトルＸｐについて、（（ｘ１ａ，ｎｕｌｌ，ｎｕｌｌ），（Ｙａ＋Ｙｂ＋Ｙｃ）／３）と、（（ｘ１ｂ，ｎｕｌｌ，ｎｕｌｌ），（Ｙａ＋Ｙｂ＋Ｙｃ）／３）と、（（ｘ１ｃ，ｎｕｌｌ，ｎｕｌｌ），（Ｙａ＋Ｙｂ＋Ｙｃ）／３）とを訓練データに追加する。また、推定部３３２は、＊２のサブセット（subset）のピクセル位置ベクトルＸｐについて、（（ｘ１ａ，ｎｕｌｌ，ｘ３ａ），（Ｙａ＋Ｙｃ）／２）と、（（ｘ１ｃ，ｎｕｌｌ，ｘ３ｃ），（Ｙａ＋Ｙｃ）／２）とを訓練データに追加する。さらに、推定部３３２は、＊３のサブセット（subset）のピクセル位置ベクトルＸｐについて、（（ｎｕｌｌ，ｎｕｌｌ，ｘ３ａ），（Ｙａ＋Ｙｃ）／２）と、（（ｎｕｌｌ，ｎｕｌｌ，ｘ３ｃ），（Ｙａ＋Ｙｃ）／２）とを訓練データに追加する。

その後、推定部３３２は、上記のサブセットのピクセル位置ベクトルと、このサブセットのピクセル位置ベクトルに対応する第２のセンサ２０のセンサデータとが追加された訓練データを用いて、任意の位置ベクトルＸｐ´の推定値Ｙｅ（Ｘｐ´）、つまり、代表値Ｙｅ（ｃｖ´）を計算する。

これにより、行動認識装置３０は、第１のセンサ１０の一部の映像センサで当該人物が撮影できなかったため、収集したセンサデータＸｉがノイズを含む場合でも、人物の行動認識、部外者の検知を精度よく行うことができる。

［その他の実施形態］
なお、第１のセンサ１０における複数の映像センサはそれぞれ異なる場所に配置されるが、例えば、図１１に示す映像センサ１および映像センサ２のように、所定エリアをそれぞれ異なる角度から撮影するように配置するのが好ましい。

例えば、図１１に示す所定エリア内の人物が移動方向ａに移動することにより、映像センサ１と人物との距離ｌが近くなると、映像センサ１における当該人物のピクセル平面上での移動速度も大きくなり、映像センサ１における当該人物のトラッキング精度が低くなるおそれがある。また、図１１に示すように、映像センサ１の光軸方向と人物の移動方向ａとが同じである場合、映像センサ１は人物移動を検知するのに必要な解像度のセンサデータを得ることができないため、映像センサ１における当該人物のトラッキング精度が低くなるおそれがある。

そこで、図１１に示す映像センサ１および映像センサ２のように、複数の映像センサについて、所定エリアをそれぞれ異なる角度から撮影するよう配置することで、いずれかの映像センサの人物のトラッキング精度が低かった場合でも、他の映像センサから当該人物についてトラッキング精度の高いセンサデータを得やすくなる。

また、このように複数の映像センサを異なる角度い配置することで、例えば、図１２に示すように、映像センサ１と所定エリア内の人物との間に障害物があるため、映像センサ１の当該人物のトラッキング精度が低かった場合でも、第１のセンサ１０は、他の映像センサ（映像センサ２）から当該人物についてトラッキング精度の高いセンサデータを得やすくなる。

さらに、第１のセンサ１０は、例えば、図１３に示す映像センサ１、映像センサ２および映像センサ３のように、各映像センサの撮影範囲が重なるよう（オーバーラップ範囲が生じるよう）に配置してもよい。

すなわち、第１のセンサ１０が各映像センサにより撮影したい範囲が、図１３に示す所定エリアである場合を考える。この場合、この所定エリアを各映像センサの撮影範囲の組み合わせでカバーし、かつ、各映像センサの撮影範囲間でオーバーラップ範囲が生じるように映像センサ群を配置する。つまり、各映像センサの撮影範囲の少なくとも一部が他のいずれかの映像センサの撮影範囲と重複するように映像センサ群を配置する。

これにより、例えば、第１のセンサ１０は、人物がいずれかの映像センサで撮影できないエリアにいる場合でも、他の映像センサにより当該人物を撮影することができる。なお、当該人物がオーバーラップ範囲にいる場合には、このオーバーラップ範囲を撮影範囲に含む複数の映像センサにより当該人物を撮影する。

つまり、上記のように映像センサ群を配置することで、例えば、第１のセンサ１０で人物のトラッキングを行いたいエリア（所定アリア）が広い場合でも、人物のトラッキングを行うことができる。また、各映像センサの撮影範囲間でオーバーラップ範囲が生じるよう配置することで、映像センサ間で同じ人物映像ＩＤを維持することができる。つまり、第１のセンサ１０は、複数の映像センサで撮影した人物映像について、同じ人物の人物映像を特定することができる。

なお、推定部３３２が分割するセルのサイズは、第１のセンサ１０による撮影対象の空間の奥行きに応じて、手前側の空間のセルのサイズよりも奥側の空間のセルのサイズを小さくしてもよい。このようにすることで、推定部３３２は、前記したセルベクトルｃｖ´におけるセルのサイズを実際の撮影対象の空間の広さ（大きさ）に応じたセルのサイズとすることができる。よって、推定部３３２は、このセルベクトルｃｖ´を用いた第２のセンサ２０のセンサデータＹの推定値Ｙｅ（Ｘｐ´）の計算を精度よく行うことができる。

また、第２のセンサ２０によるセンサデータＹが、端末におけるＫ個のビーコンからのビーコン信号の電波受信強度である場合、センサデータ照合部３３３は、以下のようにして類似度Ｃｉｊを計算してもよい。

例えば、まず、センサデータ照合部３３３は、訓練データに基づき、センサデータＸｉについてのＫ個のビーコンそれぞれのセンサデータＹｉの推定値Ｙｅｋ（Ｘｉ）［ｋ＝１，２，…，Ｋ］を計算する。次に、センサデータ照合部３３３は、計算したセンサデータＹｉの推定値Ｙｅｋ（Ｘｉ）［ｋ＝１，２，…，Ｋ］と、収集したＫ個のビーコンについてのセンサデータＹｋ［ｋ＝１，２，…，Ｋ］との類似度Ｃｉｊを、Ｋ次元空間における、センサデータＹｉの推定値Ｙｅ（Ｘｉ）とセンサデータＹｊとの距離として計算する。

例えば、上記の距離としてユークリッド距離を用いる場合、センサデータ照合部３３３は、以下の式（１）により類似度Ｃｉｊを計算する。

上記の式（１）において、Ｋ次元空間における、センサデータＹｉの推定値Ｙｅ（Ｘｉ）とセンサデータＹｊとのユークリッド距離が近いほど、類似度Ｃｉｊの値は１に近づく。

さらに、センサデータＹｐがビーコン信号の電波受信強度である場合、推定部３３２は、例えば、Gaussian Processes（Gaussian Processes for Signal Strength-Based Location Estimation proc. of robotics science and systems, 2006）等を用いて、ビーコン信号の電波受信強度がセンサデータＹｐである端末の、撮影映像におけるピクセル位置を推定し、その推定値を訓練データに追加してもよい。

このようにすることで、行動認識装置３０は第１のセンサ１０で検知した人物ｉに対して人物ｊが同一人物か否か、また、人物ｉについて部外者か否かを精度よく判定することができる。

さらに、行動認識装置３０は、行動フェーズにおいてセンサデータ収集部３３１がセンサデータＸｉ（位置ベクトルＸｉ）を収集すると、訓練データに基づき、直接（つまり、事前にセンサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）を計算することなく）、センサデータＸｉの値に対するセンサデータＹｉの推定値Ｙｅ（Ｘｉ）を計算してもよい。

また、第１のセンサ１０で用いるセンサは、映像センサの他、温度センサや、赤外線センサ等を用いてもよい。さらに、第２のセンサ２０で用いる無線信号は、空間を伝搬する信号であれば、電磁波の他、音波等であってもよい。

さらに、行動認識装置３０は、人物判定部３３４による判定結果を、第１のセンサ１０で撮影した映像上に表示してもよい。例えば、行動認識装置３０は、図１４に示すように、第１のセンサ１０の撮影した映像上に、第１のセンサ１０で検知した人物と、当該人物がゲスト（部外者）か社員か、また社員である場合、社員ＩＤ等を表示してもよい。

（プログラム）
また、各実施形態で述べた行動認識装置３０の機能を実現する行動認識プログラムを所望の情報処理装置（コンピュータ）にインストールすることによって実現できる。例えば、パッケージソフトウェアやオンラインソフトウェアとして提供される上記の行動認識プログラムを情報処理装置に実行させることにより、情報処理装置を行動認識装置３０として機能させることができる。ここで言う情報処理装置は、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistants）であってもよい。

以下に、行動認識プログラムを実行するコンピュータの一例を説明する。図１５は、行動認識プログラムを実行するコンピュータを示す図である。図１５に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ（Central Processing Unit）１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ（Random Access Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。ディスクドライブ１１００には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。

ここで、図１５に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。前記した各実施形態で説明した各種データや情報は、例えばハードディスクドライブ１０９０やメモリ１０１０に記憶される。

そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、行動認識プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、行動認識プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

１０ 第１のセンサ
２０ 第２のセンサ
３０ 行動認識装置
３１，１１ 入出力部
３２，１２ 記憶部
３３，１３ 制御部
１３１ 識別部
３３１ センサデータ収集部
３３２ 推定部
３３３ センサデータ照合部
３３４ 人物判定部

Claims (7)

1. 第１のセンサによるセンサデータおよび第２のセンサによるセンサデータを用いて、人物の行動の認識を行う行動認識装置であって、
   前記第１のセンサは、
   複数の異なる場所に配置された映像センサで同時に所定エリアの映像を撮影し、前記映像センサそれぞれの映像にうつる人物を時間的に連続して検知するセンサであり、
   前記行動認識装置は、
   同じ人物について、同じ時刻に、前記第１のセンサの映像センサそれぞれで検知した前記人物の位置情報を示すセンサデータと、前記第２のセンサで検知した前記人物のセンサデータとのペアの集合である訓練データを記憶する記憶部と、
   同じ時刻に、前記第１のセンサの映像センサそれぞれで検知した前記人物の位置情報を示すセンサデータと、前記第２のセンサで検知したセンサデータとを収集する収集部と、
   前記第１のセンサの任意のセンサデータに対する、前記第２のセンサのセンサデータの推定値として、前記映像センサそれぞれが撮影した映像のピクセル空間を複数のセルに分割し、前記第１のセンサの任意のセンサデータの属する前記映像におけるセル位置を求め、前記訓練データに基づき、前記セル位置に対する前記第２のセンサのセンサデータの代表値を計算する推定部と、
   計算した前記代表値に基づき、収集した前記第１のセンサのセンサデータに対する前記第２のセンサのセンサデータの推定値を計算し、前記第２のセンサのセンサデータの推定値と、収集した前記第２のセンサのセンサデータとの類似度を計算し、前記類似度の時間的推移に基づき、前記第１のセンサで検知した人物と前記第２のセンサで検知した人物とが同一人物である可能性の高さを示す照合スコアを計算する照合部と、
   前記照合スコアに基づき、前記第１のセンサで検知した人物と前記第２のセンサで検知した人物とが同一人物であるか否かを判定する判定部と、
   を備えることを特徴とする行動認識装置。
2. 前記推定部は、さらに、
   前記訓練データにおける前記第１のセンサのセンサデータのうち、一部の映像センサのセンサデータの値をｎｕｌｌとしたセンサデータを生成し、前記訓練データを用いて、前記一部の映像センサのセンサデータの値をｎｕｌｌとしたセンサデータに対する、前記第２のセンサのセンサデータの推定値を計算し、前記一部の映像センサのセンサデータの値をｎｕｌｌとしたセンサデータと、前記第２のセンサのセンサデータの推定値とのペアを前記訓練データに追加することを特徴とする請求項１に記載の行動認識装置。
3. 前記第２のセンサは、
   前記所定エリアに複数個設置されるビーコン装置と、前記人物に所持され、前記ビーコン装置からのビーコン信号を受信する端末装置とを備え、
   前記第２のセンサのセンサデータは、
   前記人物が所持する端末装置が受信したビーコン信号の受信強度を示すデータであることを特徴とする請求項１に記載の行動認識装置。
4. 前記映像センサはそれぞれ、
   前記所定エリアを異なる角度から撮影するよう配置されていることを特徴とする請求項１〜請求項３のいずれか１項に記載の行動認識装置。
5. 前記映像センサはそれぞれ、
   前記映像センサの映像撮影範囲が重なるよう配置されていることを特徴とする請求項１〜請求項４のいずれか１項に記載の行動認識装置。
6. 前記第１のセンサは、
   複数の映像センサと、
   同じ人物について、同じ時刻に、前記映像センサそれぞれにより撮影された映像における前記人物の位置情報の組み合わせを人物映像訓練データとして記憶する記憶部と、
   前記人物映像訓練データと、前記映像センサそれぞれで同時に撮影された映像とに基づき、前記映像それぞれにうつる人物の対応付けを行う識別部と、
   を備えることを特徴とする請求項１〜請求項５のいずれか１項に記載の行動認識装置。
7. 第１のセンサによるセンサデータおよび第２のセンサによるセンサデータを用いて、人物の行動の認識を行う行動認識装置を用いた行動認識方法であって、
   前記第１のセンサは、
   複数の異なる場所に配置された映像センサで同時に所定エリアの映像を撮影し、前記映像センサそれぞれの映像にうつる人物を時間的に連続して検知するセンサであり、
   前記行動認識装置が、
   同じ時刻に、前記第１のセンサの映像センサそれぞれで検知した前記人物の位置情報を示すセンサデータと、前記第２のセンサで検知した前記人物のセンサデータとを収集する収集ステップと、
   前記映像センサそれぞれの映像をセル分割し、同じ人物について、同じ時刻に、前記第１のセンサの映像センサそれぞれで検知した前記人物の位置情報を示すセンサデータと、前記第２のセンサで検知したセンサデータとのペアの集合である訓練データに基づき、同じ時刻に、前記第１のセンサの映像センサそれぞれで検知した前記人物の位置情報を示すセンサデータと、前記第２のセンサで検知したセンサデータとを収集する収集ステップと、
   前記第１のセンサの任意のセンサデータに対する、前記第２のセンサのセンサデータの推定値として、前記映像センサそれぞれが撮影した映像のピクセル空間を複数のセルに分割し、前記第１のセンサの任意のセンサデータの属する前記映像におけるセル位置を求め、前記訓練データに基づき、前記セル位置に対する前記第２のセンサのセンサデータの代表値を計算する推定ステップと、
   計算した前記代表値に基づき、収集した前記第１のセンサのセンサデータに対する前記第２のセンサのセンサデータの推定値を計算し、前記第２のセンサのセンサデータの推定値と、収集した前記第２のセンサのセンサデータとの類似度を計算し、前記類似度の時間的推移に基づき、前記第１のセンサで検知した人物と前記第２のセンサで検知した人物とが同一人物である可能性の高さを示す照合スコアを計算する照合ステップと、
   前記照合スコアに基づき、前記第１のセンサで検知した人物と前記第２のセンサで検知した人物とが同一人物であるか否かを判定する判定ステップと、
   を含んだことを特徴とする行動認識方法。

Images