JP2006245795A - 動体追跡装置及び動体追跡表示装置 - Google Patents

Abstract

【課題】 複数のカメラで撮影した画像を元に、１つの画面に動体の移動を追尾して表示する。
【解決手段】 撮像領域１８を撮像するカメラ１２と、撮像領域１８と一部で重複する撮像領域２０を撮像するカメラ１４が発生する撮像信号ごとに、動体を検出し、動体の位置を表す動体位置情報と、動体位置情報の精度を表す動体位置精度情報とを含むラベルを、動体検出及び３Ｄ変換部２８、３０が生成する。統合サーバー３６は、ラベルが同一の動体に対応するものであるとき、ラベルの前記位置情報を両ラベルの動体位置精度情報に基づいて統合する。クライアント３８、４２の１つの表示画面には、撮像領域１８、２０に対応する画像が表示され、ラベルの位置情報に対応する位置に、ラベルに対応する表示子を表示し、ラベルが統合された後にはその統合されたラベルに基づいて表示子が表示される。
【選択図】 図１

Description

本発明は、１台の撮像手段によって追跡できない動体を複数台の撮像手段によって追跡する動体追跡装置及びその追跡結果を表示する動体追跡表示装置に関する。

従来、上記のような動体追跡表示装置は、例えば視覚による監視装置として使用されることがある。複数の撮像カメラを使用した監視装置としては、例えば特許文献１に開示されているようなものがある。この特許文献１の技術は、複数の監視カメラで監視対象を監視するもので、監視区域の異なる位置に監視カメラが設置されている。各監視カメラの設置位置が監視カメラ設置位置情報として記憶され、かつ監視区域の通路構成が地図情報として記憶されている。監視対象を撮影している監視カメラの映像から監視対象の移動方向が検出される。検出された移動方向、各カメラの設置位置情報及び通路構成情報から、監視対象を次に撮影するカメラが特定される。監視対象を現在撮影しているカメラ映像と、監視対象を次に撮影するカメラの映像とを同時に監視端末の画面上に表示する。

特開２００５−１２４１５号公報

特許文献１に開示された技術によれば、次に監視対象を撮影するカメラ映像が、監視対象を現在撮影中のカメラ映像と同時に表示されるので、監視者が監視対象を見失うことが無い。しかし、この技術では、監視者は、次に監視対象を撮影するカメラ映像の画面に監視対象が移った瞬間以後、この画面を監視する必要がある。また、この技術では、監視対象が１つであれば、充分に対応可能であるが、複数の監視対象が同時に存在する場合、そのうちの１つしか監視することができない。

本発明は、１つの撮像手段では全てを撮像することができず、複数の撮像手段によって撮像している撮像領域を移動する動体を追跡する動体追跡装置及びその追跡結果を表示する動体追跡表示装置を提供することを目的とする。

本発明の一態様による動体追跡表示装置は、少なくとも２台の撮像手段を有している。これら２台の撮像手段は、一台の撮像手段では全てを撮像不能な撮像領域を分割して撮像している。例えば、少なくとも２台の撮像手段のうち、第１の撮像手段が、撮像領域のうち第１の撮像領域を撮像する。同第２の撮像手段が、第１の撮像領域と一部で重複する第２の撮像領域を撮像する。但し、第２の撮像領域では、第１の撮像領域と重複する部分以外の領域は第１の撮像手段では撮像不能である。或いは、第１の撮像領域と第２の撮像領域とは、重複する部分を持たず、第１及び第２の撮像領域それぞれの一部が互いに近接または隣接することもある。撮像手段は、第１及び第２の撮像手段に加えて、別の撮像手段を更に設けることができる。例えば第２の撮像領域と一部で重複する第３の撮像領域を撮像する第３の撮像手段を設けることもできる。但し、第３の撮像領域では、第２の撮像領域と重複する部分以外の領域は第２の撮像手段では撮像不能である。或いは第２の撮像領域とは重複する部分を持たない第３の撮像領域を撮像する第３の撮像手段を設けることもできる。但し第３の撮像領域は、その一部が第２の撮像領域の一部と隣接若しくは近接している。各撮像手段がそれぞれ発生する撮像信号を基に、動体データ生成手段が各撮像手段ごとに動体データを生成する。動体データは、動体位置情報を少なくとも含んでいる。動体位置情報は、対応する撮像手段からの撮像信号から検出された動体を表す動体情報に基づいて前記動体の位置を表すものである。前記撮像信号ごとの動体データが同一の動体に対応するものであるとき、統合手段が、両動体データの前記位置情報を統合する。表示手段の１つの画面に撮像領域全域を表す画像が表示され、この撮像領域が表示されている画像上の前記動体データの位置情報に対応する位置に、前記動体データに対応する表示子が表示され、前記動体データが統合された後にはその統合された前記動体データに基づいて前記表示子が表示される。

この態様では、或る動体が撮像領域の分割された領域、例えば第１の撮像領域上を移動している間には、当該動体に対応する表示子が、１つの画像上の当該移動物体の移動に従って撮像領域の第１の撮像領域に対応する領域を移動する。そして、重複、近接または隣接している撮像領域を動体が移動している際、撮像手段からの撮像信号に基づいて同一の動体に対して２つの動体データが作成され、これら２つの動体データが１つの動体データに統合される。統合された動体データの位置情報に従って、表示子が上記画像上を移動する。従って、各撮像手段の撮像信号に基づく画像それぞれを単に表示するだけでは、監視者は監視する画面を変更する必要があるが、この態様では、１台の撮像手段では撮像することができない撮像領域を分割して撮像して得た撮像信号に基づいて、上述した重複、近接または隣接する領域を跨って移動する動体の移動を１つの画像上に表示することができるので、監視者が監視する画面を変更する必要がない。しかも、追跡する必要のある動体が複数同時に存在していても、各動体を個別に表す表示子をそれぞれ表示することができるので、複数の動体を同時に追跡することができる。

上記の態様において、前記動体データは、動体位置情報の他に、位置精度情報を含むことができる。位置精度情報は、上記位置情報の精度を表すもので、前記動体情報に基づいて決定されている。位置精度情報としては、例えば撮像手段の分解能を使用することができる。このように位置精度情報を動体データが含む場合、統合手段は、両動体データの位置情報の統合を、両動体データの位置精度情報に基づいて行う。

このように構成すると、位置精度情報に基づいて統合後の動体データの位置情報の決定が行われるので、単純にいずれか一方の位置情報を統合後の位置情報とする場合よりも、位置情報の精度が高くなる。

なお、位置精度情報に基づく位置情報の統合は、例えば統合後の動体データの位置情報を、位置精度情報が高い動体データの位置情報とすることや、両動体データの位置情報の平均値とすることもできる。この平均値は、相加平均値、相乗平均値、調和平均値、加重平均値等の各種平均値を使用することができる。このように精度の高い位置情報を用いることや、平均値を使用することによって、画面に表示される表示子の位置の精度を高めることができる。

本発明の他の態様の動体追跡装置は、上記態様と同様な少なくとも２台の撮像手段を有している。更に、動体データ生成手段が、位置情報と位置精度情報とを含む動体データを生成する。統合手段が、同一の動体に対する動体データの位置情報を、位置精度情報に基づいて統合する。

このように構成すると、位置精度情報に基づいて動体データの位置情報の統合が行われる。従って、１台の撮像手段では撮像不能な撮像領域を移動する単一若しくは同時に存在する複数の動体の位置を、高精度に追跡することができる。

本発明の別の態様による動体追跡装置は、上記両態様と同様な少なくとも２台の撮像手段を有している。さらに、動体データ生成手段も有している。この動体データ生成手段が発生する動体データは、上述した動体位置情報を含む上に、動体位置情報が検出されてからの時間を表す検出時間情報と、動体データを識別する動体識別符号も含んでいる。また、統合手段が、前記撮像信号ごとの前記動体データが同一の動体に対応するものであるとき、検出時間情報に基づいて両動体データを同一の動体識別符号を持つ動体データに統合する。

本態様によれば、上記態様と同様に、１台の撮像手段で撮像不能な撮像領域を分割して撮像している撮像手段からの撮像信号に基づいて、重複、近接または隣接している２つの領域を移動する同じ動体に対する２つの動体データを、同じ動体識別符号を持つ１つの動体データに統合することができる。

この統合は、例えば検出時間情報が長い動体データを持つ動体データの動体識別符号を、統合後の動体データの動体識別符号とすることによって行うこともできる。このように構成すると、重複、近接または隣接している２つの領域で撮像された同一の動体に対して発生した２つの動体データを、移動の履歴の連続性を維持しつつ１つの動体データに統合することができる。

本発明の更に別の態様の動体追跡装置でも、上記各態様と同様に、少なくとも第１及び第２の撮像手段を含み、さらに動体データ生成手段と、統合手段とを含んでいる。表示手段を設けることによって動体追跡表示装置とすることもできる。動体データは、位置情報、位置精度情報、検出時間情報及び動体識別符号を含んでいる。統合手段は、前記動体データのうち前記検出時間情報が長いものの動体識別符号を統合後の動体識別符号とし、統合後の動体データの前記位置情報を前記両動体データの前記位置精度情報に基づいて決定する。例えば、統合された動体データの位置情報を、高い位置精度情報を持つ動体データの位置情報とする。

この態様によれば、上記各態様と同様に、重複、近接または隣接している２つの領域を撮像した撮像信号に基づいてこれら領域を跨って移動する動体の動体データを、移動の履歴を連続性のあるものとして統合することができる。しかも、統合後の動体データの位置情報は、両動体データの位置精度情報に基づいて決定しているので、その位置情報の精度が高い。従って、このような統合データによって表示子を表示した場合には、その表示子を高精度に、またその移動の履歴の連続性を保って１つの画面上に表示することができる。

上記の各態様において、前記統合手段は、前記統合された動体データの位置情報を、位置精度情報の高い位置情報としたり、前記両動体データの位置情報の平均値とすることもできる。この平均値は、相加平均値、相乗平均値、調和平均値、加重平均値等の各種平均値を使用することができる。このように精度の高い位置情報や、位置情報の平均値を使用することによって、画面に表示される表示子の位置の精度を高めることができる。

上記の各動体追跡表示装置において、前記表示子は、前記動体の軌跡を表示するものにできる。このように構成することによって動体がどのように移動してきたかを確実に把握することができる。

以上のように、本発明による動体追跡装置によれば、本来１つの撮像手段では撮像が不可能で複数の撮像手段で撮像された結果発生した、同一の動体に対する複数の動体データを統合して、動体の移動状態を検出することができる。また、本発明による動体追跡表示装置によれば、その検出結果を１つの画面に表示することができるので、監視者が当該動体の追跡が容易に行える。

本発明の１実施形態の動体追跡表示装置は、例えば監視装置に実施されている。この監視装置は、例えば図２に示すような撮像領域、例えば全監視領域を視覚によって監視するためのものである。この全監視領域は、例えば建物の１つのフロアーであって、対向する側壁２、４と、これらと直交しかつ互いに対向する側壁６、８とを有する平面形状が概略正方形のものである。一方の側壁２の中央から他方の側壁４に向かって中途まで仕切り１０が床から天井まで設けられ、１箇所からフロアー全域を見通すことができないものである。

このフロアーを監視するために、監視装置は、複数台の撮像手段、例えば３台のＣＣＤカメラ１２、１４、１６を有している。

ＣＣＤカメラ１２は、一方の側壁２における仕切り１０よりも側壁８に寄った位置に床面を向くように傾けて設けられ、短破線で示すように、このカメラ１２から側壁４に向かう第１の撮像領域、例えば第１の監視領域１８を撮像する。第１の監視領域１８は、全監視領域の一部でしかない。

ＣＣＤカメラ１４は、側壁８において仕切り１０の先端よりも側壁４側に寄った位置に床面を向くように傾けて設けられ、一点鎖線で示すように、このカメラ１４から側壁６に向かう第２の撮像領域、例えば第２の監視領域２０を撮像する。第２の監視領域２０も全監視領域の一部でしかないが、第２の監視領域２０の一部であるカメラ１４の近傍で第１の監視領域１８と重複している。重複領域を符号２４で示す。

ＣＣＤカメラ１６は、側壁４において仕切り１０よりも側壁６に寄った位置に床面を向いて傾いて設けられ、長破線で示すように、このカメラ１６から側壁２に向かう第３の撮像領域、例えば第３の監視領域２２を撮像する。第３の監視領域２２も全監視領域の一部でしかないが、第３の監視領域２２の一部であるカメラ１６の近傍において第２の監視領域２０と重複している。この重複領域を符号２６で示す。

図１に示すように、これらカメラ１２、１４、１６が発生するアナログ撮像信号は、動体データ生成手段、例えば動体検出及び世界座標変換部２８、３０、３２にそれぞれ供給される。各動体検出及び世界座標変換部２８、３０、３２は、アナログ撮像信号をデジタル撮像信号に変換し、このデジタル撮像信号に基づいて、各カメラ１２、１４、１６に対応する第１乃至第３の監視領域１８、２０、２２中に動体が存在する場合には、その動体を検出する。この動体の検出方法は、公知であるので詳細な説明は省略する。

動体が検出された場合、各カメラ１２、１４、１６の設置位置を原点とする３つのカメラ座標を元にその動体の位置情報が検出される。これらカメラ座標を元にした動体の各位置情報は、各カメラ座標に対して共通の世界座標を基にした位置情報に変換される。世界座標は、図２に示す全監視領域の所定の位置を原点とし、例えば側壁２、４に沿う方向をＹｗ方向、側壁６、８に沿う方向をＸｗ方向とし、床面と垂直な方向をＺｗ方向としたもので、原点からの距離をＸ座標値、Ｙ座標値、Ｚ座標値で表してある。各カメラ座標を基にした位置情報をこの世界座標を基にした位置情報に変換する方法も公知であるので、詳細な説明は省略する。

この動体が各カメラ１２、１４、１６において初めて検出されてからの時間も検出されている。以下、この時間を検出時間情報と称する。

動体を検出している各カメラ１２、１４、１６の分解能情報も検出されている。分解能は、各画素位置に対してカメラの１画素が世界座標の何ｍｍに対応するかを表したもので、分解能の値が小さい程、撮像されている動体の上記位置情報の精度が高いことを表している。即ち、分解能は、位置精度情報を表す。この分解能の検出法については、後述する。

これら位置情報、検出時間情報、分解能情報は、検出された動体に付した動体識別符号（動体ＩＤ）、この動体を検出したカメラを識別するカメラ識別符号（カメラＩＤ）と共に１組のラベルとして、ネットワーク３４を介して統合手段、例えば統合サーバー３６に供給される。なお、図２に示すような重複領域２４または２６に動体が存在する場合、同一の動体が２台のカメラによって同時に撮像されるので、同一の動体に対して２つのラベルが発生する。

統合サーバー３６は、各動体検出及び世界座標変換部２８、３０、３２からのラベルを処理し、ネットワーク３４を介して接続されているクライアント３８または、ネットワーク３４及びワイヤレスＬＡＮ４０を介して接続されているクライアント４２が備える表示手段、例えば表示装置４４に、図３に示すような表示を行う。

即ち、表示装置４４の１つの表示画面、例えば表示ウインド４６には、全監視領域を表した画像、例えばマップが表示されている。このマップは、上記世界座標に対応させて構成されている。そして、検出された動体を表す表示子、例えば動体マーク４８が、その動体の移動に従って移動して表示され、また、その移動の軌跡５０も表示される。図３では、側壁８における側壁２に寄った位置から移動を開始した動体が側壁４に向かって移動し、側壁４に近づいた重複領域２４内で側壁６に向かって方向を変更して移動し、重複領域２６内で側壁２方向に方向を変更した状態にあることを表している。このように、複数のカメラ１２、１４、１６のいずれもが全監視領域を１台で撮像することができず、従来なら、それぞれ各カメラに対応して設けた複数の表示装置を並べて配置しておき、動体が移動するに連れて、監視する表示装置を変更しなければならなかったのに対し、この監視装置では、１つの表示ウインド４６上には全監視領域を示すマップが表示され、そのマップ上に動体の移動状態が表示される。従って、監視者は、この表示ウインド４６のみを監視していれば、動体の移動状態を認識することができる。

なお、この実施の形態では、表示ウインド４６の側方に、各カメラ１２、１４、１６が現在撮像している映像も表示するように表示ウインド５２、５４、５６が表示されている。但し、これら表示ウインド５２、５４、５６は、必ずしも必要なものではない。

例えば動体が第１の監視領域１８のうち、第２の監視領域２０と非重複の領域を移動している間には、その動体に対応してカメラ１２、動体検出及び世界座標変換部２８からのラベルに基づいて画面４６上に動体マーク４８及び軌跡５０を表示していけばよい。動体が第１及び第２の監視領域１８、２０の重複領域２４を移動している間には、同じ動体に対して、カメラ１２、動体検出及び世界座標変換部２８からのラベルと、カメラ１４、動体検出及び世界座標変換部３０からのラベルとが発生する。この状況は、第２及び第３の監視領域２０、２２の重複領域２６内に１つの動体が存在する場合にも生じる。

この点について、統合サーバー３６は、図４にフローチャートで示すようなラベル統合処理を一定時間ごとに行って解決している。統合サーバー３６は、図５に示すように、各動体検出及び世界座標変換部２８、３０、３２からのラベルが順に入力される入力ラベルバッファ３６ａを備えており、統合サーバー３６のラベル統合処理部３６ｂは、入力ラベルバッファ３６ａから、そこにある全てのラベルを入力し（ステップＳ２）、この全入力ラベルについてラベル振分処理を行い（ステップＳ４、Ｓ６、Ｓ８）、一旦、それを統合ラベルバッファ３６ｃに記憶させる。ラベル振分処理については後述する。次に、統合ラベルバッファ３６ｃから各ラベルをラベル統合処理部３６ｂに入力し（ステップＳ１０）、全てのラベルにおける２つのラベルの全ての組合せを入力し、ラベル付けかえ処理を行い（ステップＳ１２、Ｓ１４、Ｓ１６）、各クライアント３８、４２に伝送する。ラベル付けかえ処理については後述する。

ラベル振分処理は、例えば図６にフローチャートで示すような処理である。まず、新たに入力されたラベルと、同じカメラＩＤと、同じ動体ＩＤとを持つラベルが既に登録されているか判断する（ステップＳ１８）。この判断の答えがノーの場合、新しい統合動体識別符号（統合ＩＤ）を持つ、動体データ、例えば統合ラベルを作成し、統合ラベルバッファ３６ｃに登録する（ステップＳ２０）。即ち、新しい統合ＩＤを作成する。これに、今回入力されたカメラＩＤ、動体ＩＤ、位置情報、検出時間情報及び分解能情報を含める。一方、ステップＳ１８の判断の答えがイエスの場合、既に統合ラベルバッファ３６ｃに登録されている（既存の）統合ラベルの位置情報、検出時間情報及び分解能情報を、今回新たに入力されたラベルのものに更新する（ステップＳ２２）。なお、統合ラベルバッファ３６ｃは、予め定めた時間が経過しても、登録されている統合ラベルが更新されない場合、その統合ラベルを消滅させる。

ラベル付けかえ処理は、例えば図７にフローチャートで示すような処理である。まず、２つの統合ラベル、例えば統合ラベルＡ、Ｂを入力する（ステップＳ２４）。次に、この２つの統合ラベルＡ、ＢにおいてカメラＩＤが別であるか判断する（ステップＳ２６）。この判断の答えがノーである場合、統合ラベルＡ、Ｂが表す動体は、同じカメラで撮像されたものであり、重複領域２４または２６に存在することによって異なるカメラによって撮像された同一の動体ではないと判断する。従って、ラベル付けかえ処理をする必要がないので、このラベル付けかえ処理を終了する。

ステップＳ２６の判断の答えがイエスである場合、統合ラベルＡ、Ｂが表す動体は同一のものである可能性があるので、統合ラベルＡ、Ｂの距離情報の差が予め定めたしきい値以下か判断する（ステップＳ２８）。この判断の答えがノーである場合、統合ラベルＡ、Ｂが表す動体は、重複領域２４または２６に存在することによって異なるカメラによって撮像された同一の動体ではないと判断されるので、ラベル付けかえ処理をする必要がなく、このラベル付けかえ処理を終了する。

ステップＳ２８の判断の答えがイエスの場合、統合ラベルＡ、Ｂが表す動体は、重複領域２４または２６に存在することに起因して、異なるカメラによって撮像された同一の動体であると判断できる。例えば統合ラベルＡ、Ｂは、図８（ａ）にそれぞれ丸を付して示した２つの統合ラベル、Ｘを付して示した２つの統合ラベル、または三角を付して示した２つの統合ラベルである。このように位置情報に差が生じる可能性があるのは、カメラの設置位置の違いや、動体に対する分解能がカメラによって異なるからである。もし、こられ２つの統合ラベルをそのまま表示ウインド４６に表示すると、図８（ａ）に実線と破線で示すように、１つの動体に対して２つの動体表示が行われることになり、正確な動体の位置の表示が行えない。そこで、これら統合ラベルＡ、Ｂのつけかえを行う。

まず、２つの統合ラベルＡ、Ｂにおいて、統合ラベルＡの検出時間情報が統合ラベルＢの検出時間情報より長いか判断する（ステップＳ３０）。この判断の答えがイエスの場合、統合ラベルＡの方が長時間検出されている統合ラベルである。例えば統合ラベルＡ、Ｂが重複領域２４に存在する動体に対する統合ラベルであると考えると、統合ラベルＡがカメラ１２によって撮像された画像に基づくものとなる。長時間検出されている統合データとして表示ウインド４８に表示する方が、例えば軌跡５０の連続性を保つために望ましいので、統合ラベルＢの統合ＩＤを統合ラベルＡの統合ＩＤに付けかえる（ステップＳ３２）。また、ステップＳ３０の判断の答えがノーの場合、統合ラベルＢの方が長時間検出されている統合ラベルであるので、統合ラベルＡの統合ＩＤを統合ラベルＢの統合ＩＤに付けかえる（ステップＳ３４）。

なお、このように検出時間情報の長短によって統合ＩＤの付け替えを行っているので、統合ラベルバッファ３６ｃでは、登録の更新が行われていない統合ラベルであっても、予め定めた時間にわたって存続させている。これは、何らかの理由で同一の動体に対する動体データが一定時間発生しなかったとしても、その後に再び動体データが発生した場合には、両動体データに基づくラベルを統合することができるからである。

ステップＳ３２またはＳ３４に続いて、統合ラベルＡ、Ｂの分解能において、統合ラベルＡの分解能の値が統合ラベルＢの分解能の値よりも小さいか判断する（ステップＳ３６）。この判断の答えがイエスの場合、統合ラベルＡの元となったカメラの位置情報の精度が高いので、統合ラベルＡの元になったカメラの位置情報を使用するために、統合ラベルＢの位置情報を統合ラベルＡの位置情報に更新し（ステップＳ３８）、ラベル付けかえ処理を終了する。また、この判断の答えがノーの場合、統合ラベルＢの元となったカメラの方が位置情報の精度が高いので、統合ラベルＢの基になったカメラの位置情報を使用するために、統合ラベルＡの位置を統合ラベルＢの位置情報に更新し（ステップＳ４０）、ラベル付けかえ処理を終了する。

このようにラベル付けかえ処理が行われた統合ラベルが、各クライアント３８、４２に伝送され、統合ラベルに基づいて動体マーク４８が表示ウインド４８における統合ラベルの位置情報に対応する位置に表示され、また軌跡５０が表示される。これら表示方法は、公知であるので、詳細な説明は省略する。このとき、ラベルの付けかえが行われているので、図８（ｂ）に示すように軌跡５０は、１本で表示される。例えば、図８（ａ）に示す２つの丸で示す統合ラベルで考えると、破線で示す軌跡上にある丸の分解能が実線で示す軌跡上の分解能よりも高いとすると、同図（ｂ）に示すようにこの分解能の高い統合ラベルの位置情報に基づいて表示が行われる。

次に、図９、図１０及び図１１を参照して分解能について説明する。図９において、カメラ座標の原点をＯｃとし、点Ｏｃからカメラの画像平面Ｐの中心を光軸Ｌが通るとする。そして、上述した世界座標のＸ軸をＸｗ、Ｙ軸をＹｗ、Ｚ軸をＺｗとする。Ｘｗ軸とＹｗ軸とは床面上に互いに直交して位置し、Ｚｗ軸は、これらＸｗ軸及びＹｗ軸に直交する。カメラの画像平面Ｐの１画素Ｖが撮像対象、例えば動体の基準位置、例えば床面との接触点を撮像しているとする。点Ｏｃから画素Ｖへのベクトルを世界座標で表すと、Ｘｗ軸方向の長さがｘｖ、Ｙｗ軸方向の長さがｙｖ、Ｚｗ軸方向の長さがｚｖとなる。この点Ｏｃからこの画素Ｖに向かうベクトルを光線ベクトルと言う。Ｘｗ−Ｙｗ面に垂直でＺｗ軸に平行で、かつ点Ｏｃ及び光線ベクトルを通る面Ｆを考える。この面Ｆにおいて、Ｚｗ軸に平行な軸Ｚｗｐに対して光軸Ｌがなす角度をθとする。また、画像平面Ｐにおいて画素Ｖよりも１つ上に存在する画素Ｖ１が、Ｆ面にあり軸Ｚｗｐと垂直な軸Ｚｗｖ上で動体の基準位置よりも奥方向を撮像している。ここで画素ＶとＶ１とは面ＦにおいてＺｗｐ軸方向にｄｖだけ画素Ｖ１が点Ｏｃに近い位置にあり、画素Ｖ１が面ＦにおいてＺｗｖ方向にｄｈだけ画素Ｖよりも奥側方向にある。図１１に示すように画素Ｖ、Ｖ１間の距離をｄとすると、ｄｖ＝ｄｓｉｎθ、ｄｈ＝ｄｃｏｓθと表される。画素ＶからＺｗｐ軸に伸ばした垂線とＺｗｐ軸の交点をＶｚ、画素Ｖ１から軸Ｚｗｐに伸ばした垂線と軸Ｗｚｐとの交点をＶ１ｚとする。また、軸Ｚｗｐと軸Ｚｗｖとの交点をＨとする。この交点ＨとＯｃとの距離は、カメラ設置位置Ｔｚで表され、この値は前記世界座標変換部において既知である。

図１０に示す面Ｆにおいて、点Ｖ−Ｖｚ間の距離は、（ｘｖ^２＋ｙｖ^２）^１／２で表され、点Ｖ１ｚ−Ｖ１間の距離は（ｘｖ^２＋ｙｖ^２）^１／２＋ｄｈで表される。また点Ｏｃ−点Ｖｚ間の距離は上述したようにｚｖであり、点Ｏｃ−点Ｖ１ｚ間の距離はｚｖ−ｄｖで表される。ここで、三角形の相似により、点Ｈ−Ａ間の距離は、（（ｘｖ^２＋ｙｖ^２）^１／２／ｚｖ）Ｔｚで表される。点Ｈ−Ａ１間の距離は、（（（ｘｖ^２＋ｙｖ^２）^１／２＋ｄｈ）／（ｚｖ−ｄｖ））Ｔｚで表される。点Ａ及びＡ１が、それぞれ画素Ｖ及びＶ１によって撮像されているので、点Ａ−Ａ１間の値を求めると、これが１画素当たり軸Ｚｗｖ方向にどれだけの長さに対応しているかの分解能を表している。この分解能は、（（ｚｖｄｈ＋（ｘｖ^２＋ｙｖ^２）^１／２ｄｖ）／ｚｖ（ｚｖ−ｄｖ））Ｔｚで表される。ｄは予め判明している画素間隔とカメラ設置角度から求まる値であるので、ｄｈ、ｄｖは予め計算しておくことができる。従って、分解能は、光線ベクトル（ｘｖ、ｙｖ、ｚｖ）さえ求まれば、容易に求めることができる。

なお、画素Ｖによって撮像された点Ａと点Ｈまでの距離を求めると共に、画素Ｖの１つ横にある画素によって撮像された点と点Ｈまでの距離を求め、両距離の差を求めることによって水平方向の分解能を求めることもできる。

また、画素Ｖによって撮像された点Ａから奥行き方向を撮像している点Ａ１までの距離で分解能を計算したが、点Ａから手前方向を撮像している点Ａ２（図１０参照）までの距離や、点Ａから点Ａ１までの距離と点Ａから点Ａ２までの距離の平均を分解能として計算することもできる。

上記の実施の形態では、第１の撮像領域１８と第２の撮像領域２０とが重複領域２４を有し、第２の撮像領域２０と第３の撮像領域２２とが重複領域２６を有する場合について説明した。しかし、必ずしも重複領域を有する必要はなく、例えば図２において、仕切り壁１０が側壁４にまで到達しており、仕切り壁１０にドアが設けられており、動体がそのドアを介して側壁６側に移動可能な場合でも、この発明によって動体の移動を追跡して表示することができる。この場合、第２の領域２０は、図２における重複領域２４のみとなり、図２における重複領域２６は存在しなくなり、第２の領域（図２における重複領域２４）の一部と第３の領域の一部（図２における重複領域２６）とは、重複せずに隣接している。この第２の領域（図２における重複領域２４）から第３の領域の一部（図２における重複領域２６）に動体がドアを通過して移動した場合、カメラ１４、１６の撮像信号に基づいて生成されたラベルの位置情報は、近接したものとなるので、上述した実施の態様と同様にして動体の移動が表示される。なお、この説明では、第２の領域（図２における重複領域２４）と第３の領域の一部（図２における重複領域２６）とは隣接するとして説明したが、第２の領域（図２における重複領域２４）と第３の領域の一部（図２における重複領域２６）とが、隣接せずに、わずかな間隔をあけて近接しているような場合でも、同様に動体の移動に従って、その移動を表示することができる。

上記の実施の形態では、説明を簡略化するために、１つの動体のみが全監視領域に存在する場合について説明したが、同時に複数の動体が全監視領域に存在する場合でも、各動体に対応して、その移動軌跡を追跡することができる。また、上記の実施の形態では、分解能の値が小さい統合ラベルの位置情報をそのまま存続する統合ラベルの位置情報としたが、例えば２つの統合ラベルの位置情報の平均値を存続する統合ラベルの位置情報とすることもできる。この場合、平均値は、相加平均値、相乗平均値、調和平均値、加重平均値等の各種平均値のいずれか所望のものを使用することができる。上記の実施の形態では、軌跡５０を表示したが、場合によっては不要である。上記の実施の形態では、合計３台のカメラを使用したが、少なくとも２台のカメラを監視領域が一部で重複するか、隣接するか、近接するように配置すればよい。上記の実施の形態では、ネットワーク３４を介して動体検出及び世界座標変換部２８、３０、３２からのラベルを統合サーバー３６に伝送したが、ネットワーク３４を介する必要は必ずしもない。同様に、クライアント３８、４２にネットワーク３４またはネットワーク３４と無線ＬＡＮ４２を介して統合後のラベルを伝送したが、必ずしもネットワーク３４や無線ＬＡＮ４２を介する必要はない。上記の実施の形態では、本発明による動体追跡表示装置を監視装置に実施したが、これに限ったものではなく、例えばスポーツの中継放送における競技者の位置を追跡して表示する場合等に使用することができる。

本発明の１実施形態の監視装置のブロック図である。 図１の監視装置における監視領域及びカメラの配置状態を示す平面図である。 図１の監視装置においてクライアントの表示装置の表示画面を示す図である。 図１の監視装置における統合サーバーが行うラベル統合処理のフローチャートである。 図１の監視装置における統合サーバーのブロック図である。 図１の監視装置において統合サーバーが行う振分処理のフローチャートである。 図１の監視装置において統合サーバーが行うラベル付けかえ処理のフローチャートである。 図１の監視装置における付けかえ処理前の統合ラベルと付けかえ処理後の統合ラベルを示す図である。 図１の監視装置において使用するカメラの分解能の決定法を説明するための斜視図である。 図１の監視装置において使用するカメラの分解能の決定法を説明するための側面図である。 図１の監視装置において使用するカメラの分解能の決定に使用するｄｖとｄｈの決定法の説明図である。

符号の説明

１２ １４ １６ カメラ（撮像手段）
１８ 第１の監視領域（第１の撮像領域）
２０ 第２の監視領域（第２の撮像領域）
２４ 重複領域
２８ ３０、３２ 動体検出及び世界座標変換部（動体データ生成手段）
３４ 統合サーバー（統合手段）
３８ ４２ クライアント（表示手段）

Claims (12)

1. 一台の撮像手段では全てを撮像不能な撮像領域を分割して撮像している少なくとも２台の撮像手段と、
   これら少なくとも２台の撮像手段が発生する撮像信号ごとに動体を表す動体情報を検出し、各動体情報に基づく前記動体の位置を表す動体位置情報を含む動体データを、生成する動体データ生成手段と、
   前記撮像信号ごとの動体データが同一の動体に対応するものであるとき、前記両動体データの前記位置情報を統合する統合手段と、
   前記撮像領域に対応する画像が表示された１つの画面上における前記動体データの位置情報に対応する位置に、前記動体データに対応する表示子を表示し、前記動体データが統合された後にはその統合された前記動体データに基づいて前記表示子を表示する表示手段とを、
   具備する動体追跡表示装置。
2. 請求項１記載の動体追跡表示装置において、前記動体データは、前記動体情報に基づいて決定された前記動体位置情報の精度を表す動体位置精度情報を含み、前記統合手段は、前記両動体データの前記動体位置精度情報に基づき前記両動体データの前記位置情報を統合する動体追跡表示装置。
3. 請求項２記載の動体追跡表示装置において、前記統合手段は、前記統合された動体データの位置情報を、前記位置精度情報が高い動体データの位置情報とする動体追跡表示装置。
4. 請求項１記載の動体追跡表示装置において、前記統合手段は、前記統合された動体データの位置情報を、前記両動体データの位置情報の平均値とする動体追跡表示装置。
5. 一台の撮像手段では全てを撮像不能な撮像領域を分割して撮像している少なくとも２台の撮像手段と、
   これら少なくとも２台の撮像手段が発生する撮像信号ごとに動体を表す動体情報を検出し、各動体情報に基づく前記動体の位置を表す動体位置情報と、前記動体情報に基づいて決定された前記動体位置情報の精度を表す動体位置精度情報とを含む動体データを、生成する動体データ生成手段と、
   前記撮像信号ごとの動体データが同一の動体に対応するものであるとき、前記両動体データの前記位置情報を前記両動体データの前記動体位置精度情報に基づいて統合する統合手段とを、
   具備する動体追跡装置。
6. 一台の撮像手段では全てを撮像不能な撮像領域を分割して撮像している少なくとも２台の撮像手段と、
   これら少なくとも２台の撮像手段が発生する撮像信号ごとに動体を表す動体情報を検出し、各動体情報に基づく前記動体の位置を表す動体位置情報と、この動体位置情報が検出されてからの時間を表す検出時間情報と、統合動体識別符号を含む動体データを、前記各撮像信号ごとに生成する動体データ生成手段と、
   前記撮像信号ごとの前記動体データが同一の動体に対応するものであるとき、両動体データを、前記検出時間情報に基づいて同一の統合動体識別符号を有する動体データに統合する統合手段とを、
   具備する動体追跡装置。
7. 請求項６記載の動体追跡表示装置において、前記統合手段は、長い前記検出時間情報を持つ前記動体データの前記統合動体識別符号を、統合後の前記動体データの統合動体識別符号とする
   動体追跡装置。
8. 一台の撮像手段では全てを撮像不能な撮像領域を分割して撮像している少なくとも２台の撮像手段と、
   これら少なくとも２台の撮像手段が発生する撮像信号ごとに動体を表す動体情報を検出し、各動体情報に基づく前記動体の位置を表す動体位置情報と、前記動体情報に基づいて前記動体位置情報の精度を表す動体位置精度情報と、前記動体位置情報が検出されてからの時間を表す検出時間情報と、統合動体識別符号とを、含む動体データを、生成する動体データ生成手段と、
   前記撮像信号ごとの動体データが同一の動体に対応するものであるとき、両動体データを統合する統合手段とを、
   具備し、前記統合手段は、前記動体データのうち前記検出時間情報が長いものの前記統合動体識別符号を統合後の統合動体識別符号とし、統合後の動体データの前記位置情報を前記両動体データの前記位置精度情報に基づいて決定する
   動体追跡装置。
9. 請求項８記載の動体追跡装置に、前記撮像領域に対応する画像が表示された１つの画面上における前記動体データの位置情報に対応する位置に、前記動体データに対応する表示子を表示し、前記動体データが統合された後にはその統合後の前記動体データに基づいて前記表示子を表示する表示手段を、設けた動体追跡表示装置。
10. 請求項５または８記載の動体追跡装置において、前記統合手段は、前記統合後の動体データの位置情報を、前記位置精度情報が高い動体データの位置情報とする動体追跡装置。
11. 請求項５または８記載の動体追跡装置において、前記統合手段は、前記統合後の動体データの位置情報を、前記両動体データの位置情報の平均値とする動体追跡装置。
12. 請求項１、２、３、４または９記載の動体追跡表示装置において、前記表示子は、前記動体の軌跡を表示する動体追跡表示装置。
    

Images