JP2018013855A

JP2018013855A - 行動認識装置、および、行動認識方法

Info

Publication number: JP2018013855A
Application number: JP2016141480A
Authority: JP
Inventors: 剛永吉; Takeshi Nagayoshi
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2016-07-19
Filing date: 2016-07-19
Publication date: 2018-01-25
Anticipated expiration: 2036-07-19
Also published as: JP6611257B2

Abstract

【課題】２つのセンサを用いた場合の、部外者の検知を容易なものとし、かつ人物の行動の認識の精度を向上させる。【解決手段】行動認識装置３０は、人物ｐについて、第１のセンサ１０で検知したセンサデータＸｐおよび第２のセンサ２０で検知したセンサデータＹｐとのペア（Ｘｐ，Ｙｐ）の集合である訓練データを記憶する記憶部３２と、訓練データに基づき、任意のセンサデータＸｐ´に対するセンサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）を計算する推定部３３２と、推定値Ｙｅ（Ｘｐ´）と、収集したセンサデータＹｊとの類似度Ｃｉｊを計算し、計算した類似度Ｃｉｊの時間的推移に基づき、人物ｉと人物ｊとが同一人物である可能性の高さを示す照合スコアＰｉｊを計算するセンサデータ照合部３３３と、照合スコアＰｉｊの値に基づき人物ｉと人物ｊとが同一人物であるか否かを判定する人物判定部３３４とを備える。【選択図】図１

Description

本発明は、行動認識装置、および、行動認識方法に関する。

セキュリティ等の用途で、部外者の検知や、人物の行動を認識する技術が提案されている。例えば、映像センサを用いて人物の位置や動線を認識する技術や、人物に付されたＩＣタグ等を検知するセンサを用いて、認証センサの周辺の人物のＩＤを検知する技術が提案されている。また、どの人物がどのような行動をとったかの認識の精度を向上させるため、２つのセンサの組み合わせにより人物の行動を認識する技術も提案されている（特許文献１参照）。さらに、所定エリア内の部外者を検知するため、予め部外者（不審者）の行動パターンを登録しておき、この行動パターンに合致する人物を検知する技術も提案されている（特許文献２参照）。

特開２００９−０１５４１２号公報特開２０１１−００４０５０号公報

しかし、特許文献１に記載の技術のように２つのセンサを組み合わせて人物の行動を認識する場合、第１のセンサ（例えば、映像センサ）で検知する人物と、第２のセンサ（例えば、ビーコン受信システム）で検知する人物との対応付けが曖昧だと、人物の行動の認識の精度が低くなる。例えば、ビーコン受信システムの位置検知精度は、数１０ｍずれる場合もあり、誤差も多い。このため、映像センサで撮影された人物と、ビーコン受信システムで検知した人物との対応付けが曖昧になる場合が多い。また、特許文献２に記載の技術により、所定エリアにおける部外者の検知を行うことも考えられるが、部外者の行動パターンを事前に登録しておく必要があり、手間がかかる。

そこで、本発明は、前記した問題を解決し、２つのセンサを組み合わせて人物の行動を検知する場合において、部外者の検知を容易なものとし、かつ、人物の行動の認識の精度を向上させることを課題とする。

前記した課題を解決するため、本発明は、第１のセンサによるセンサデータおよび第２のセンサによるセンサデータを用いて、人物の行動の認識を行う行動認識装置であって、同じ人物について、同じ時刻に、前記第１のセンサで検知したセンサデータおよび前記第２のセンサで検知したセンサデータとのペアの集合である訓練データを記憶する記憶部と、同じ時刻に、前記第１のセンサで検知した人物のセンサデータと、前記第２のセンサで検知した人物のセンサデータとを収集する収集部と、前記訓練データに基づき、任意の前記第１のセンサのセンサデータに対する、前記第２のセンサのセンサデータの推定値を計算する推定部と、前記第２のセンサのセンサデータの推定値に基づき、収集した前記第１のセンサのセンサデータに対する前記第２のセンサのセンサデータの推定値を計算し、前記第２のセンサのセンサデータの推定値と、収集した前記第２のセンサのセンサデータとの類似度を計算し、前記類似度の時間的推移に基づき、前記第１のセンサで検知した人物と前記第２のセンサで検知した人物とが同一人物である可能性の高さを示す照合スコアを計算する照合部と、前記照合スコアに基づき、前記第１のセンサで検知した人物と前記第２のセンサで検知した人物とが同一人物であるか否かを判定する判定部と、を備えることを特徴とする。

本発明によれば、２つのセンサを組み合わせて人物の行動を検知する場合において、部外者の検知を容易なものとし、かつ、人物の行動の認識の精度を向上させることができる。

図１は、行動認識システムの構成例を示す図である。図２は、第１のセンサが撮影する映像の例を示す図である。図３は、第２のセンサとして用いられるビーコン装置および端末の例を示す図である。図４は、端末Ｄ１，Ｄ２それぞれの電波受信強度の例を示す図である。図５は、行動認識装置の概要を説明するための図である。図６は、行動認識装置による人物のトラッキングデータと、端末の受信電波強度との照合を説明するための図である。図７は、端末Ｄ１，Ｄ２のビーコンの受信電波強度の実測値と、人物１〜人物３のセンサデータＹｉの推定値Ｙｅ（Ｘｉ）とを示したグラフである。図８は、行動認識装置の処理手順を示すフローチャートである。図９は、行動認識装置における人物１のセンサデータＹの推定値Ｙｅ（Ｘ１）と、端末Ｄ１，Ｄ２の受信電波強度との照合を説明するための図である。図１０は、第１のセンサで撮影した映像のピクセル空間のセル分割の例を示す図である。図１１は、セル位置ｃそれぞれのセンサデータＹｃの推定値Ｙｅ（ｃ）の例を示す図である。図１２は、人物ｉ＝１〜３それぞれに対する端末Ｄ１，Ｄ２の照合スコアＰｉｊの時間的推移の例を示す図である。図１３は、行動認識装置による人物判定処理の例を示すフローチャートである。図１４は、行動認識装置の表示映像の例を示す図である。図１５は、行動認識プログラムを実行するコンピュータを示す図である。

以下、図面を参照しながら、本発明を実施するための形態（実施形態）を第１の実施形態から第３の実施形態に分けて説明する。本発明は各実施形態に限定されない。

［第１の実施形態］
（構成）
まず、図１を用いて第１の実施形態の行動認識システム（システム）の構成例を説明する。例えば、システムは、第１のセンサ１０と、第２のセンサ２０と、行動認識装置３０とを備え、第１のセンサ１０および第２のセンサ２０を用いて、人物の行動の認識と、部外者の検知を行う。

第１のセンサ１０は、例えば、監視カメラにより所定エリアの映像（図２参照）を撮影し、撮影した映像に映る人物を時間的に連続して検知する。一例を挙げると、第１のセンサ１０は、撮影された映像において人物の頭部から肩らしき部分が連続的に移動することを検知すると、この部分を人物として検知し、人物ＩＤを付与し、トラッキングする。なお、映像における人物のピクセル位置は、例えば、人物の頭部と推定される部分の重心のピクセル位置を用いる。

また、第２のセンサ２０は、例えば、所定エリアに複数個設置され、無線信号（例えば、ＢＬＥ（Bluetooth（登録商標） Low Energy）ビーコン信号等のビーコン信号）を発する装置と、所定の人物に所持され、無線信号の受信機能を有する端末（例えば、モバイル端末）とにより実現される。無線信号がビーコン信号である場合、第２のセンサ２０は、例えば、ビーコン信号を発するビーコン装置と、ビーコン信号の受信機能を有する端末とにより実現される。なお、この端末の端末ＩＤと、端末の所持者のＩＤ（例えば、社員ＩＤ）とは予め対応づけられているものとする。

一例を挙げると、第２のセンサ２０は、図３に示すように、社内の所定エリアに設置される複数個のビーコン装置（Ｂ１〜Ｂ９）と、ビーコン信号を受信する端末Ｄ１，Ｄ２とにより実現される。この端末Ｄ１，Ｄ２は、ビーコン装置（Ｂ１〜Ｂ９）からのビーコン信号の電波受信強度（例えば、図４の受信電波強度Ｙ１，Ｙ２）を時間ごとに記録する。

行動認識装置３０は、事前に、同じ人物の同じ時刻における、第１のセンサ１０からのセンサデータ（例えば、映像における当該人物のピクセル位置のデータ）と、第２のセンサ２０からのデータ（例えば、当該人物の保持する端末における各ビーコン信号の受信強度を示すデータ）とを対応付けた訓練データを用意しておく。

そして、行動認識装置３０は、行動認識の対象である第１のセンサ１０からのセンサデータおよび第２のセンサ２０からのセンサデータを取得すると、上記の訓練データを用いて、第１のセンサ１０で検知した人物が、第２のセンサ２０で検知したどの端末の所持者かを判定する。

例えば、社員はビーコン信号を受信できる端末を所持するが、部外者は当該端末を所持しない場合を考える。この場合、行動認識装置３０が、上記のような判定を行うことで、第１のセンサ１０で撮影した映像にうつった人物が社員か部外者かを識別することができる。また、映像にうつった人物が社員である場合、行動認識装置３０はその人物のＩＤ（例えば、端末ＩＤに紐付く社員ＩＤ）を特定することができる。したがって、行動認識装置３０は、所定エリア内でどの社員がどのような行動をとったか、また、所定エリア内に部外者がいたか否か、部外者がいた場合、その部外者がどのような行動をとったかを認識することができる。

例えば、図３に示すように、行動認識装置３０は、映像にうつった人物１，２は社員であり、人物３はゲスト（部外者）であることを識別することができる。また、人物１，２についてその人物のＩＤ（例えば、端末Ｄ１，Ｄ２に紐付く社員ＩＤ）を特定することができる。その結果、行動認識装置３０は、所定エリア内で社員（例えば、社員ＩＤ＝１の人物１および社員ＩＤ＝２の人物２）がどのような行動をとったか、また、部外者（人物３）がどのような行動をとったかを認識することができる。

つまり、行動認識装置３０は、例えば、図５に示すように、第１のセンサ１０のセンサ種別が監視カメラによる人物検知を行うセンサである場合、第１のセンサ１０で検知される人物の属性（Ａｘ）は監視カメラにより撮影された映像におけるピクセル位置により特定できる。また、検知される人物の人物ＩＤ（ｉ＝１，２，…）は、例えば、当該映像におけるトラッキングＩＤを用いる。さらに、センサデータ（Ｘｉ＝Ｘ１，Ｘ２，…）は、例えば、当該映像におけるピクセル位置を用いる。

また、第２のセンサ２０のセンサ種別がビーコン（ビーコン装置）と端末（モバイル端末）である場合、第２のセンサ２０で検知される人物の属性（Ａｙ）は、例えば、端末ＩＤに対応する社員ＩＤにより特定できる。また、検知される人物の人物ＩＤ（ｊ＝１，２，…）は、例えば、端末ＩＤを用いる。さらに、センサデータ（Ｙｊ＝Ｙ１，Ｙ２，…）は、例えば、当該端末におけるビーコンの受信電波強度を用いる。

そして、行動認識装置３０の制御部３３は、訓練データを用いて、第１のセンサ１０で検知した人物ｉと第２のセンサ２０で検知した人物ｊとの対応付けを行う。例えば、行動認識装置３０は、図６に示すように、第１のセンサ１０による人物１〜人物３のトラッキングデータ（人物映像１〜人物映像３）と、第２のセンサ２０による端末Ｄ１〜端末Ｄ３におけるビーコン（Ｂ１，Ｂ２，Ｂ３，…）の受信電波強度とを用いて、人物ｉと端末（端末のを所持する人物ｊ）との対応付けを行う。

換言すると、行動認識装置３０の制御部３３は、第１のセンサ１０で検知した人物ｉが第２のセンサ２０で検知したどの端末（端末を所持する人物ｊ）と対応するかを判定する。このような判定により、行動認識装置３０は、例えば、図５に示すように、第１のセンサ１０の撮影映像におけるピクセル位置：Ｘ１の人物が社員ＩＤ：ｊ３であり、ピクセル位置：Ｘ２の人物が端末不所持であり、ピクセル位置：Ｘ３の人物が社員ＩＤ：ｊ２である等の判定結果を得る。これにより、行動認識装置３０は、人物の行動の認識や、部外者の検知を行うことができる。

なお、第１のセンサ１０で検知した人物ｉと第２のセンサ２０で検知した人物ｊとの対応付けには具体的には以下のようにして行う。

例えば、訓練データに基づき計算した、図６に示す人物映像１〜人物映像３それぞれに対するセンサデータＹｉの推定値Ｙｅ（Ｘｉ）と、端末Ｄ１，Ｄ２それぞれのビーコンＢ１〜Ｂ９の受信電波強度（Ｙ１，Ｙ２）の実測値とが、図７に示す値であった場合を考える。

この場合、行動認識装置３０は、人物映像１〜人物映像３それぞれに対するセンサデータＹｉの推定値Ｙｅ（Ｘｉ）と、端末Ｄ１，Ｄ２それぞれのビーコンＢ１〜Ｂ９の受信電波強度（Ｙ１，Ｙ２）の実測値とがどの程度似ているかに基づき、人物１〜人物３と、端末Ｄ１，Ｄ２の所持者（人物ｊ）との対応付けを行う。

例えば、行動認識装置３０は、図６に示す人物映像１の人物（人物１）は端末Ｄ２の所持者と同一人物であり、人物映像２の人物（人物２）は端末Ｄ１の所持者と同一人物であり、人物映像３の人物（人物３）についてはいずれの端末の所持者でもない（部外者）と判定する。

図１に戻り、行動認識装置３０の構成を詳細に説明する。行動認識装置３０は、入出力部３１と、記憶部３２と、制御部３３とを備える。

入出力部３１は、各種データの入出力を司り、例えば、第１のセンサ１０および第２のセンサ２０からのセンサデータの入力を受け付ける。

記憶部３２は、制御部３３において、人物の行動の認識や、部外者の検知を行うための各種データを記憶する。記憶部３２は、例えば、第１のセンサ１０および第２のセンサ２０から収集したセンサデータ、訓練データ、照合スコア、判定結果等を記憶する領域を備える。

訓練データは、前記したとおり、同一人物（人物ｐ）について、同時刻において、第１のセンサ１０で検知したセンサデータＸｐおよび第２のセンサ２０で検知したセンサデータＹｐのペア（Ｘｐ，Ｙｐ）の集合である。この訓練データは、例えば、事前に、第１のセンサ１０で検知される人物と第２のセンサ２０で検知される人物とが同一であることが分かっている環境で収集される。照合スコア、判定結果の詳細については、後記する。

制御部３３は、センサデータ収集部３３１と、推定部３３２と、センサデータ照合部３３３と、人物判定部３３４とを備える。

センサデータ収集部３３１は、第１のセンサ１０で検知した人物（例えば、人物ｉ）のセンサデータＸと、第２のセンサ２０で検知した人物（例えば、人物ｊ）のセンサデータＹとを収集する。

推定部３３２は、訓練データに基づき、任意のセンサデータＸｐ´に対するセンサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）を計算する。そして、推定部３３２は、任意のセンサデータＸｐ´と、センサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）とを対応付けた情報を訓練データに追加する。

センサデータ照合部３３３は、訓練データにおける、センサデータＸｐ´に対するセンサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）に基づき、センサデータ収集部３３１で収集したセンサデータＸｉに対するセンサデータＹｉの推定値Ｙｅ（Ｘｉ）を計算する。次に、センサデータ照合部３３３は、収集したセンサデータＹｊ（つまり、人物ｊのセンサデータＹの実測値）とセンサデータＹｉの推定値Ｙｅ（Ｘｉ）との類似度Ｃｉｊを計算する。センサデータ照合部３３３は、このような類似度Ｃｉｊの計算を各時刻のセンサデータＸｉおよびセンサデータＹｉついて行い、計算した類似度Ｃｉｊの時間的推移に基づき、人物ｉと人物ｊとが同一人物である可能性の高さを示す照合スコアＰｉｊを計算する。

なお、推定部３３２が、事前に、任意のセンサデータＸｐ´に対するセンサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）を計算しておくことで、センサデータ照合部３３３は、センサデータＸｉに対するセンサデータＹｉの推定値Ｙｅ（Ｘｉ）を迅速に求めることができる。

人物判定部３３４は、センサデータ照合部３３３で計算した照合スコアＰｉｊに基づき、人物ｉと人物ｊとが同一人物である（ｔｒｕｅ）か否（ｆａｌｓｅ）かを判定する。

例えば、人物判定部３３４は、照合スコアＰｉｊが所定値を超える場合、人物ｉと人物ｊとが同一人物であると判定し、照合スコアＰｉｊが所定値以下の場合、人物ｉと人物ｊとが同一人物ではないと判定する。さらに、人物判定部３３４は、人物ｉについて同一人物と判定される人物ｊがいなかった場合、人物ｉが部外者であると判定する。そして、その判定結果を、記憶部３２に記録する。

例えば、人物判定部３３４は、図５に示すように、同一人物と判定された人物ｉと人物ｊについて、人物ｉのセンサデータＸｉ（映像におけるピクセル位置）と人物ｊのセンサデータＹｊ（端末に紐付く社員ＩＤ）とを対応付けた情報を判定結果として、記憶部３２に記録する。なお、上記の制御部３３の各部の詳細は、処理手順の説明で後記する。

（処理手順）
次に、図８を用いて、行動認識装置３０の処理手順を説明する。行動認識装置３０が行う処理は、事前フェーズの処理（Ｓ１）と、その後の行動フェーズの処理（Ｓ２）とに分けられる。事前フェーズ（Ｓ１）では、行動認識装置３０は、同一人物ｐについての同時刻におけるセンサデータ（Ｘｐ，Ｙｐ）を収集し（Ｓ１１）、訓練データを作成しておく。その後、推定部３３２は、任意のＸｐ´に対するセンサデータＹｐ´（＝Ｙｅ（Ｘｐ´））を推定する（Ｓ１２）。そして、推定部３３２は、推定結果（Ｘｐ´，Ｙｅ（Ｘｐ´））を訓練データに追加する。

その後の行動フェーズ（Ｓ２）では、センサデータ収集部３３１がセンサデータ（Ｘｉ，Ｙｊ）を収集する（Ｓ２１）。なお、このセンサデータ（Ｘｉ，Ｙｊ）は、同時刻に第１のセンサ１０および第２のセンサ２０で検知した人物（人物ｉおよび人物ｊ）のセンサデータである。センサデータ照合部３３３は、訓練データ内の（Ｘｐ´，Ｙｅ（Ｘｐ´））に基づき、Ｓ２１で収集したセンサデータＸｉの値に対するセンサデータＹｉの推定値Ｙｅ（Ｘｉ）を求める。その後、センサデータ照合部３３３は、センサデータＹｉの推定値Ｙｅ（Ｘｉ）と、収集したセンサデータＹｊとの類似度Ｃｉｊに基づき人物ｉと人物ｊとが同一人物である可能性の高さを示す照合スコアＰｉｊを計算する（Ｓ２２：センサデータの照合スコアＰｉｊを計算）。

例えば、センサデータ照合部３３３は、訓練データ内の（Ｘｐ´，Ｙｅ（Ｘｐ´））に基づき、人物ｉ（ｉ＝１，２，…）のセンサデータＸｉについてのセンサデータＹｉの推定値Ｙｅ（Ｘｉ）を求める。その後、センサデータ照合部３３３は、人物ｉ（ｉ＝１，２，…）のセンサデータＹｉの推定値Ｙｅ（Ｘｉ）と、人物ｊ（ｊ＝１，２，…）のセンサデータＹｊとの類似度Ｃｉｊを計算する。

例えば、センサデータ照合部３３３は、推定値Ｙｅ（Ｘ１）とＹ１，Ｙ２，…との類似度であるＣ１１，Ｃ１２，Ｃ１３，…を計算し、また、推定値Ｙｅ（Ｘ２）とＹ１，Ｙ２，…との類似度であるＣ２１，Ｃ２２，Ｃ２３，…を計算する。そして、センサデータ照合部３３３は、計算した類似度Ｃｉｊそれぞれの時間的推移を指標として照合スコアＰｉｊを計算する。例えば、センサデータ照合部３３３は、所定期間における人物ｉと人物ｊのセンサデータＹの類似度Ｃｉｊの平均値を照合スコアＰｉｊとする。

例えば、センサデータ照合部３３３は、人物１のセンサデータＹの時系列での推定値Ｙｅ（Ｘ１）が図９の符号５０１に示す値であり、端末Ｄ１のセンサデータＹ１の時系列での実測値が符号５０２に示す値であり、端末Ｄ２のセンサデータＹ２の時系列での実測値が符号５０３に示す値である場合を考える。この場合、符号５０１に示す人物１の時系列での推定値Ｙｅ（Ｘ１）の推移に対し、符号５０３に示すセンサデータＹ２の推移よりも、符号５０２に示すセンサデータＹ１の推移の方が似ている。よって、端末Ｄ２よりも端末Ｄ１の方が、各時刻での人物１のセンサデータＹの推定値Ｙｅ（Ｘ１）との類似度Ｃ１ｊも高くなり、これに伴い照合スコアＰ１ｊも、端末Ｄ２よりも端末Ｄ１の方が高くなる。

図８に戻る。Ｓ２２の後、人物判定部３３４は、Ｓ２２で計算した照合スコアＰｉｊに基づき人物判定を行う（Ｓ２３）。例えば、人物判定部３３４は、Ｓ２２で計算した照合スコアＰｉｊが所定値を超える場合、人物ｉと人物ｊとが同一人物であると判定し、照合スコアＰｉｊが所定値以下の場合、人物ｉと人物ｊとが同一人物ではないと判定する。なお、人物ｉについて同一人物と判定される人物ｊがいなかった場合、人物判定部３３４は、人物ｉは部外者であると判定する。人物判定部３３４は、上記の判定をすべての人物ｉと人物ｊとの組み合わせについて実行する。そして、その判定結果を記憶部３２に記録する。

以上の処理により、行動認識装置３０は、第１のセンサ１０および第２のセンサ２０のセンサデータを用いた人物の行動の認識および部外者の検知を精度よく行うことができる。

［第２の実施形態］
なお、行動認識装置３０は、任意のセンサデータＸｐ´に対するセンサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）を以下のようにして計算してもよい。

例えば、推定部３３２は、第１のセンサ１０で撮影した映像をセル分割し（図１０参照）、セル位置ごとに当該セル位置に属するセンサデータＸｐに対するセンサデータＹｐの代表値Ｙｅ（ｃ）を計算しておく。例えば、推定部３３２は、訓練データ（センサデータ（Ｘｐ，Ｙｐ））を参照して、同じセル位置に属するセンサデータＸｐに対するセンサデータＹｐの平均値を計算しておく。そして、推定部３３２は、任意のセンサデータＸｐ´に対するセンサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）として、このセンサデータＸｐ´の属するセル位置（セル位置ｃ´）のセンサデータＹｐの代表値Ｙｅ（ｃ´）を用いる。

つまり、推定部３３２は、［Ｙｅ（Ｘｐ´）＝Ｙｅ（ｃ´）｜Ｘｐ´⊂ｃ´］とする。そして、推定部３３２は、このようにして計算した任意のセンサデータＸｐ´の値に対するセンサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）、つまりセンサデータ（Ｘｐ´，Ｙｅ（Ｘｐ´））を、例えば、訓練データに追加しておく。例えば、推定部３３２は、任意のセンサデータＸｐ´の値に対する９つのビーコン（Ｂ１〜Ｂ９）のセンサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）として、図１１に示す値を計算し、訓練データに追加しておく。

このようにすることで、推定部３３２は、任意のセンサデータＸｐ´の値に対するセンサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）を効率よく計算することができる。

［第３の実施形態］
なお、人物判定部３３４は、第１のセンサ１０で検知した人物ｉが第２のセンサ２０で検知した人物ｊと同一人物であるか否かを判定する際、以下のようにして判定してもよい。

例えば、第１のセンサ１０で検知した人物ｉ＝１〜３それぞれに対する第２のセンサ２０で検知した端末Ｄ１，Ｄ２の照合スコアＰｉｊ（つまり、人物１〜人物３が端末Ｄ１，Ｄ２を所持している確度）の時間的推移がそれぞれ、図１２の（ａ）、（ｂ）、（ｃ）に示す値である場合を考える。

まず、人物判定部３３４は、図１２の（ａ）に示す人物１の照合スコアＰｉｊを参照して、この照合スコアＰｉｊが最高値となっている端末（端末Ｄ２）を選択する。次に、人物判定部３３４は、端末Ｄ２が、他のいずれの人物の照合スコアＰｉｊでも最高値となっていないか否かを判断する。例えば、図１２の（ｂ）および（ｃ）の照合スコアＰｉｊを参照すると、端末Ｄ２が、他のいずれの人物の照合スコアＰｉｊでも最高値となっていない。よって、人物判定部３３４は、人物１は端末Ｄ２の所持者と同一人物であると判定する。

次に、人物判定部３３４は、図１２の（ｂ）に示す人物２の照合スコアＰｉｊを参照して、この照合スコアＰｉｊが最高値となっている端末（端末Ｄ１）を選択する。次に、人物判定部３３４は、端末Ｄ１が、他のいずれかの人物の照合スコアＰｉｊで最高値となっているか否かを判断する。例えば、図１２の（ａ）および（ｃ）の照合スコアＰｉｊを参照すると、端末Ｄ１は、人物３の照合スコアＰｉｊでも最高値となっている。ここで、人物判定部３３４が、人物２の端末Ｄ１についての照合スコアＰｉｊ（Ｐ２１）と、人物３の端末Ｄ１についての照合スコアＰｉｊ（Ｐ３１）とを比較すると、Ｐ２１＞Ｐ３１である。よって、人物判定部３３４は、人物２は端末Ｄ１の所持者と同一人物であると判定する。

次に、人物判定部３３４は、図１２の（ｃ）に示す人物３の照合スコアＰｉｊを参照して、この照合スコアＰｉｊが最高値となっている端末（端末Ｄ１）を選択する。そして、人物判定部３３４は、端末Ｄ１が、他のいずれかの人物の照合スコアＰｉｊで最高値となっているか否かを判断する。

例えば、図１２の（ａ）および（ｂ）の照合スコアＰｉｊを参照すると、端末Ｄ１は、人物２の照合スコアＰｉｊでも最高値となっている。ここで、人物判定部３３４が、人物２の端末Ｄ１についての照合スコアＰｉｊ（Ｐ２１）と、人物３の端末Ｄ１についての照合スコアＰｉｊ（Ｐ３１）とを比較すると、Ｐ２１＞Ｐ３１である。よって、人物判定部３３４は、端末Ｄ１を人物３の所持者の候補から外す。

次に、人物判定部３３４は、図１２の（ｃ）に示す人物３の照合スコアＰｉｊを参照して、この照合スコアＰｉｊが次点となっている端末（端末Ｄ２）を選択する。そして、人物判定部３３４は、端末Ｄ２が、他のいずれかの人物の照合スコアＰｉｊで最高値となっているか否かを判断する。例えば、図１２の（ａ）および（ｂ）の照合スコアＰｉｊを参照すると、端末Ｄ２は、人物１の照合スコアＰｉｊで最高値となっている。

ここで、人物判定部３３４が、人物１の端末Ｄ２についての照合スコアＰｉｊ（Ｐ１２）と、人物３の端末Ｄ２についての照合スコアＰｉｊ（Ｐ３２）とを比較すると、Ｐ１２＞Ｐ３２である。よって、人物判定部３３４は、端末Ｄ２を人物３の所持者の候補から外す。すると、人物３の照合スコアＰｉｊの中で有効なスコアを持つ端末は他にないことになる。

このような場合、人物判定部３３４が、訓練データにおける、人物３についてのセンサデータＹの推定値Ｙｅ（Ｘ３）の個数、および、センサデータＹの推定値Ｙｅ（Ｘ３）の値を参照して、人物３についてのセンサデータＹの推定値Ｙｅ（Ｘ３）の累積値が所定値以上か否かを判定する。ここで累積値が所定値以上となっていれば、人物３は必要なセンサデータＸが充分に蓄積された人物であり、所定エリア内に存在した可能性が極めて高いと考えることができる。よって、人物判定部３３４は、人物３は端末を所持しない人物（部外者）と判定する。

以上の人物判定処理を図１３にまとめる。まず、人物判定部３３４は、第１のセンサ１０で検知した人物ｉに対する、第２のセンサ２０で検知した人物ｊ（端末の所持者）それぞれの照合スコアＰｉｊを参照して、人物ｊの中から照合スコアＰｉｊが最高値となっている人物ｊを人物ｉの同一人物候補として選択する（図１３のＳ１０１）。

次に、人物判定部３３４は、選択した人物ｊが、他のいずれかの人物ｉについて照合スコアＰｉｊが最高値となっている人物ｊか否かを判定する（Ｓ１０２）。そして、選択した人物ｊが、他のいずれの人物ｉについても照合スコアＰｉｊが最高値となっている人物ｊではない場合（Ｓ１０２でＮｏ）、人物判定部３３４は、当該人物ｉと、同一人物候補として選択した人物ｊとが同一人物であると判定する（Ｓ１０５）。

一方、人物判定部３３４は、同一人物候補として選択した人物ｊが、他の人物ｉについて照合スコアＰｉｊが最高値となっている人物ｊである場合（Ｓ１０２でＹｅｓ）、人物ｉについて同一人物候補として選択した人物ｊの照合スコアＰｉｊと、他の人物ｉについての人物ｊの照合スコアＰｉｊとを比較する（Ｓ１０３）。

Ｓ１０３による比較の結果、人物ｉについて同一人物候補として選択した人物ｊの照合スコアＰｉｊの方が、他の人物ｉについての人物ｊの照合スコアＰｉｊよりも大きい場合（Ｓ１０４でＹｅｓ）、人物判定部３３４は、当該人物ｉと同一人物候補として選択した人物ｊとが同一人物であると判定する（Ｓ１０５）。

一方、Ｓ１０３による比較の結果、人物ｉについて同一人物候補として選択した人物ｊの照合スコアＰｉｊが、他の人物ｉについての人物ｊの照合スコアＰｉｊ以下の場合（Ｓ１０４でＮｏ）、人物判定部３３４は、人物ｊの中に、同一人物候補として選択した人物ｊの次に照合スコアＰｉｊが高い人物ｊがいれば（Ｓ１０６でＹｅｓ）、当該人物ｊを新たな同一人物候補として選択する（Ｓ１０７）。そして、Ｓ１０２の処理へ戻る。

一方、人物判定部３３４は、人物ｊの中に、同一人物候補として選択した人物ｊの次に照合スコアＰｉｊが高い人物ｊがいない場合（Ｓ１０６でＮｏ）、人物ｉについてのセンサデータＹｉの推定値Ｙｅ（Ｘｉ）の累積値が所定値以上か否かを判定する（Ｓ１０８）。ここで、人物ｉについてのセンサデータＹｉの推定値Ｙｅ（Ｘｉ）の累積値が所定値以上である場合（Ｓ１０８でＹｅｓ）、人物判定部３３４は、当該人物ｉを第２のセンサ２０で検知された人物ｊのいずれでもないと判定する。例えば、人物判定部３３４は、当該人物ｉを部外者と判定する（Ｓ１０９）。一方、人物ｉについてのセンサデータＹｉの推定値Ｙｅ（Ｘｉ）の累積値が所定値未満の場合（Ｓ１０８でＮｏ）、人物判定部３３４は、当該人物ｉが誰か判定不能と判断する（Ｓ１１０）。

このようにすることで行動認識装置３０は、第１のセンサ１０で検知した人物ｉに対して人物ｊが同一人物か否か、また、部外者か否かを精度よく判定することができる。

［その他の実施形態］
また、第２のセンサ２０によるセンサデータＹが、端末におけるＫ個のビーコンからのビーコン信号の電波受信強度である場合、センサデータ照合部３３３は、以下のようにして類似度Ｃｉｊを計算してもよい。

例えば、まず、センサデータ照合部３３３は、訓練データに基づき、センサデータＸｉについてのＫ個のビーコンそれぞれのセンサデータＹｉの推定値Ｙｅｋ（Ｘｉ）［ｋ＝１，２，…，Ｋ］を計算する。次に、センサデータ照合部３３３は、計算したセンサデータＹｉの推定値Ｙｅｋ（Ｘｉ）［ｋ＝１，２，…，Ｋ］と、収集したＫ個のビーコンについてのセンサデータＹｋ［ｋ＝１，２，…，Ｋ］との類似度Ｃｉｊを、Ｋ次元空間における、センサデータＹｉの推定値Ｙｅ（Ｘｉ）とセンサデータＹｊとの距離として計算する。

例えば、上記の距離としてユークリッド距離を用いる場合、センサデータ照合部３３３は、以下の式（１）により類似度Ｃｉｊを計算する。

上記の式（１）において、Ｋ次元空間における、センサデータＹｉの推定値Ｙｅ（Ｘｉ）とセンサデータＹｊとのユークリッド距離が近いほど、類似度Ｃｉｊの値は１に近づく。

また、推定部３３２は、任意のセンサデータＸｐ´についてのセンサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）を計算する際、線形や多項式モデル等を用いた回帰分析により計算してもよい。

さらに、センサデータＹｐがビーコン信号の電波受信強度である場合、推定部３３２は、例えば、Gaussian Processes（Gaussian Processes for Signal Strength-Based Location Estimation proc. of robotics science and systems, 2006）等を用いて、ビーコン信号の電波受信強度がセンサデータＹｐである端末の、撮影映像におけるピクセル位置を推定し、その推定値を訓練データに追加してもよい。このようにすることで、行動認識装置３０は第１のセンサ１０で検知した人物ｉに対して人物ｊが同一人物か否か、また、人物ｉについて部外者か否かを精度よく判定することができる。

さらに、行動認識装置３０は、行動フェーズにおいてセンサデータ収集部３３１がセンサデータＸｉを収集すると、訓練データに基づき、直接（つまり、事前にセンサデータＹｐ´の推定値Ｙｅ（Ｘｐ´）を計算することなく）、センサデータＸｉの値に対するセンサデータＹｉの推定値Ｙｅ（Ｘｉ）を計算してもよい。

また、第１のセンサ１０で用いるセンサは、映像センサの他、温度センサや、赤外線センサ等を用いてもよい。さらに、第２のセンサ２０で用いる無線信号は、空間を伝搬する信号であれば、電磁波の他、音波等であってもよい。

さらに、行動認識装置３０は、人物判定部３３４による判定結果を、第１のセンサ１０で撮影した映像上に表示してもよい。例えば、行動認識装置３０は、図１４に示すように、第１のセンサ１０の撮影した映像上に、第１のセンサ１０で検知した人物と、当該人物がゲスト（部外者）か社員か、また社員である場合、社員ＩＤ等を表示してもよい。

（プログラム）
また、各実施形態で述べた行動認識装置３０の機能を実現する行動認識プログラムを所望の情報処理装置（コンピュータ）にインストールすることによって実現できる。例えば、パッケージソフトウェアやオンラインソフトウェアとして提供される上記の行動認識プログラムを情報処理装置に実行させることにより、情報処理装置を行動認識装置３０として機能させることができる。ここで言う情報処理装置は、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistants）であってもよい。

以下に、行動認識プログラムを実行するコンピュータの一例を説明する。図１５は、行動認識プログラムを実行するコンピュータを示す図である。図１５に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ（Central Processing Unit）１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ（Random Access Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。ディスクドライブ１１００には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。

ここで、図１５に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。前記した各実施形態で説明した各種データや情報は、例えばハードディスクドライブ１０９０やメモリ１０１０に記憶される。

そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、行動認識プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、行動認識プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

１０第１のセンサ
２０第２のセンサ
３０行動認識装置
３１入出力部
３２記憶部
３３制御部
３３１センサデータ収集部
３３２推定部
３３３センサデータ照合部
３３４人物判定部

Claims

第１のセンサによるセンサデータおよび第２のセンサによるセンサデータを用いて、人物の行動の認識を行う行動認識装置であって、
同じ人物について、同じ時刻に、前記第１のセンサで検知したセンサデータおよび前記第２のセンサで検知したセンサデータとのペアの集合である訓練データを記憶する記憶部と、
同じ時刻に、前記第１のセンサで検知した人物のセンサデータと、前記第２のセンサで検知した人物のセンサデータとを収集する収集部と、
前記訓練データに基づき、任意の前記第１のセンサのセンサデータに対する、前記第２のセンサのセンサデータの推定値を計算する推定部と、
前記第２のセンサのセンサデータの推定値に基づき、収集した前記第１のセンサのセンサデータに対する前記第２のセンサのセンサデータの推定値を計算し、前記第２のセンサのセンサデータの推定値と、収集した前記第２のセンサのセンサデータとの類似度を計算し、前記類似度の時間的推移に基づき、前記第１のセンサで検知した人物と前記第２のセンサで検知した人物とが同一人物である可能性の高さを示す照合スコアを計算する照合部と、
前記照合スコアに基づき、前記第１のセンサで検知した人物と前記第２のセンサで検知した人物とが同一人物であるか否かを判定する判定部と、
を備えることを特徴とする行動認識装置。
前記判定部は、
前記第１のセンサで検知した人物に対する、前記第２のセンサで検知した人物それぞれの照合スコアを参照して、前記第２のセンサで検知した人物の中から前記照合スコアが最高値となっている人物を前記第１のセンサで検知した人物の同一人物候補として選択し、前記同一人物候補として選択した人物が、前記第１のセンサで検知した他のいずれの人物についても前記照合スコアが最高値となっている人物ではない場合、前記第１のセンサで検知した人物と前記同一人物候補として選択した人物とが同一人物であると判定することを特徴とする請求項１に記載の行動認識装置。
前記判定部は、
前記同一人物候補として選択した人物が、前記第１のセンサで検知した他のいずれかの人物について前記照合スコアが最高値となっている人物である場合において、前記第１のセンサで検知した人物に対する前記同一人物候補として選択した人物の照合スコアが、前記第１のセンサで検知した他の人物に対する前記選択した人物の照合スコアよりも大きいとき、前記第１のセンサで検知した人物と前記同一人物候補として選択した人物とが同一人物であると判定することを特徴とする請求項２に記載の行動認識装置。
前記判定部は、
前記同一人物候補として選択した人物が、前記第１のセンサで検知した他のいずれかの人物について前記照合スコアが最高値となっている人物である場合において、前記第１のセンサで検知した人物に対する前記同一人物候補として選択した人物の照合スコアが、前記第１のセンサで検知した他の人物に対する前記選択した人物の照合スコア以下のとき、前記第２のセンサで検知した人物の中から、前記同一人物候補として選択した人物の次に前記照合スコアが高い人物を新たな同一人物候補として選択することを特徴とする請求項３に記載の行動認識装置。
前記判定部は、
前記第２のセンサで検知した人物の中に、前記同一人物候補として選択した人物の次に前記照合スコアが高い人物がいない場合において、前記第１のセンサで検知した人物に対する前記第２のセンサのセンサデータの推定値の累積値が所定値以上であるとき、前記第１のセンサで検知した人物は前記第２のセンサで検知された人物のいずれでもないと判定することを特徴とする請求項４に記載の行動認識装置。
前記第１のセンサは、
所定エリアの映像を撮影し、前記映像に映る人物を時間的に連続して検知するセンサであり、
前記第１のセンサのセンサデータは、
前記第１のセンサで検知された人物のピクセル位置を示すデータであり、
前記第２のセンサは、
前記所定エリアに複数個設置されるビーコン装置と、前記人物に所持され、前記ビーコン装置からのビーコン信号を受信する端末装置とを備え、
前記第２のセンサのセンサデータは、
前記人物が所持する端末装置が受信したビーコン信号の受信強度を示すデータであることを特徴とする請求項１に記載の行動認識装置。
前記推定部は、
前記第１のセンサが撮影した映像のピクセル空間を複数のセルに分割し、任意の前記第１のセンサのセンサデータの属する前記映像におけるセル位置を求め、前記訓練データに基づき、前記セル位置に対する前記第２のセンサのセンサデータの代表値を計算し、前記代表値を、前記第２のセンサのセンサデータの推定値として用いることを特徴とする請求項６に記載の行動認識装置。
第１のセンサによるセンサデータおよび第２のセンサによるセンサデータを用いて、人物の行動の認識を行う行動認識装置を用いた行動認識方法であって、
同じ時刻に、前記第１のセンサで検知した人物のセンサデータと、前記第２のセンサで検知した人物のセンサデータとを収集する収集ステップと、
同じ人物について、同じ時刻に、前記第１のセンサで検知したセンサデータおよび前記第２のセンサで検知したセンサデータとのペアの集合である訓練データに基づき、任意の前記第１のセンサのセンサデータに対する、前記第２のセンサのセンサデータの推定値を計算する推定ステップと、
前記第２のセンサのセンサデータの推定値に基づき、収集した前記第１のセンサのセンサデータに対する前記第２のセンサのセンサデータの推定値を計算し、前記第２のセンサのセンサデータの推定値と、収集した前記第２のセンサのセンサデータとの類似度を計算し、前記類似度の時間的推移に基づき、前記第１のセンサで検知した人物と前記第２のセンサで検知した人物とが同一人物である可能性の高さを示す照合スコアを計算する照合ステップと、
前記照合スコアに基づき、前記第１のセンサで検知した人物と前記第２のセンサで検知した人物とが同一人物であるか否かを判定する判定ステップと、
を含んだことを特徴とする行動認識方法。