JP2018077196A - 監視システム - Google Patents

Abstract

【課題】複数の距離画像カメラが物体の測位用にそれぞれ保持する三次元座標系間の較正を能率的に行うことができる監視システムを提供する。【解決手段】第１及び第２重複物体検出部２５，２７は、それぞれマスターカメラ３及びスレーブカメラ４からの第１及び第２検出情報に基づいて所定時刻に重複撮影範囲１５の異なる位置に存在する人Ｐａ，Ｐｂを検出する。第１及び第２空間ベクトル算出部２６，２８は、それぞれマスターカメラ３及びスレーブカメラ４からの第１及び第２検出情報に基づいて人Ｐａ−人Ｐｂ間の第１及び第２空間ベクトルＶｐｍ，Ｖｐｓをそれぞれ算出する。座標系較正部４０は、ＶｐｍとＶｐｓとの対比に基づいてスレーブカメラ４の保持絶対座標系４３ｈを較正する。【選択図】図２

Description

本発明は、複数の距離画像カメラを使用して移動物体を監視する監視システムに関する。

監視範囲を広げるために、複数の距離画像カメラを用いて、移動物体を監視する監視システムが知られている。その場合、各距離画像カメラが、移動物体の測位用に保持している保持座標系間にずれがあると、例えば、距離画像カメラ間をまたがって移動する移動物体を同定することに支障が生じる。これに対処するためには、距離画像カメラの保持座標系（各軸の方向及び原点位置）を較正する必要がある。

特許文献１は、視野（撮影範囲）が一部重複する２つのカメラの二次元座標系間のずれを自動調整する方法を開示する。該方法によれば、四隅に等径の円が書込まれた正方形の合せ板を所定の座標軸に対して平行に移動させて、該合せ板の全体が各カメラの視野に含まれている第１及び第２撮像画像と、該合せ板が両カメラの視野に半々ずつ含まれる第３撮像画像とを取得する。そして、合せ板の４隅の円について第１〜第３撮像画像における間隔や傾きを調べて、各カメラの傾きのずれ等を較正する。

特許文献２は、基準カメラと参照カメラとの２つの距離画像カメラを使って、参照カメラの撮像画像の歪みや輝度値等を較正するカメラ・キャリブレーション装置を開示する。該装置によれば、同一の撮影平面を、正対方向から撮影する基準カメラと、傾斜方向から撮影する参照カメラとの２つのカメラで撮影する。そして、基準カメラの撮像画像を基準画像として、該基準画像を射影変換した画像と、参照カメラの撮像画像とを照合して、参照カメラの撮像画像の歪み等を較正している。

特許文献２は、別のカメラ・キャリブレーション装置も開示する。該別の装置によれば、基準カメラを廃止して、代わりに、参照カメラとしての各カメラが、幾何学形状が定義済みのパターンからなる基準画像をあらかじめ保持する。そして、カメラが、該定義済みのパターンと同一のパターンを有するパターン部材を撮影し、その時の撮影画像を、保持中の基準画像と照合して、該カメラの撮像画像の歪み等を較正する。

特許文献３は、複数の距離画像カメラを、向きを下向きに揃えて、天井の異なる複数の箇所に設置し、下方を水平方向に移動する移動物体を撮影する場合に、各カメラの撮像画像を合成することを開示する。特許文献３の開示によれば、複数の距離画像カメラが、上面が水平面となっている同一の移動物体を同時に撮影する。そして、鉛直方向を複数の距離区間に分割し、各距離区間ごとに、距離画像カメラの撮像画像の各画素において検出した鉛直方向距離が含まれている画素の総数を集計する。最後に、集計値が所定の閾値以上の極大値となっている距離区間であってかつ最も上方に存在する距離区間を調べ、該最上方の距離区間の鉛直方向距離に基づいて各移動物体の撮像画像の距離データを補正してから、各カメラの撮像画像の合成画像が生成される。

特開平８−７１９７２号公報 特開２０００−３５０２３９号公報 特開２０１２−２４７２２６号公報

特許文献１の方法は、各カメラ間のずれを解消するために、合せ板を使用する。また、該合せ板を所定の座標軸の方向に移動するとともに、複数の所定位置の各々で停止させて、撮影する。このため、合せ板の管理が煩雑になるとともに、較正処理が煩雑になる。

特許文献２のカメラ・キャリブレーション装置も、所定のパターン部材を必要とする。また、該カメラ・キャリブレーション装置は、距離画像カメラを個別に使用するときに関係する撮像画像の歪み等を較正するものであり、複数の距離画像カメラ間の不整合を較正するものではない。

特許文献３の合成画像装置は、上面が水平面となっている移動物を利用して、複数の距離画像カメラ間の鉛直方向のみの、すなわち１軸方向のみの測定値のずれを較正するものである。絶対座標系の３軸方向の較正を行う場合には、水平方向だけでなく、鉛直方向の較正も行う必要があり、その場合、特許文献３の装置では、移動物体を鉛直方向に移動する工程が追加され、較正作業が煩雑化する。

本発明の目的は、複数の距離画像カメラが物体の測位用にそれぞれ保持する三次元座標系間の較正を能率的に行うことができる監視システムを提供することである。

本発明の監視システムは、
第１撮影範囲に存在する物体の第１三次元座標系に基づく位置を検出し、該検出した位置と該位置を検出した検出時刻とを含む第１検出情報を出力する第１距離画像カメラと、
前記第１撮影範囲とは所定の重複撮影範囲で部分的に重複する第２撮影範囲に存在する物体の第２三次元座標系に基づく位置を検出し、該検出した位置と該位置を検出した検出時刻とを含む第２検出情報を出力する第２距離画像カメラと、
前記第１距離画像カメラからの前記第１検出情報と前記第２距離画像カメラからの前記第２検出情報とを継続的に受信して、前記第１及び前記第２撮影範囲に存在する物体を監視する検出情報処理装置とを備えた監視システムであって、
前記検出情報処理装置は、
所定時刻において前記重複撮影範囲の異なる位置に存在する第１及び第２物体を前記第１検出情報に基づいて検出する第１重複物体検出部と、
前記所定時刻において前記重複撮影範囲に存在する前記第１及び前記第２物体を前記第２検出情報に基づいて検出する第２重複物体検出部と、
前記第１重複物体検出部が検出した前記第１物体についての前記第１検出情報に基づく位置を始点とし、前記第１重複物体検出部が検出した前記第２物体についての前記第１検出情報に基づく位置を終点とする第１空間ベクトルを算出する第１空間ベクトル算出部と、
前記第２重複物体検出部が検出した前記第１物体についての前記第２検出情報に基づく位置を始点とし、前記第２重複物体検出部が検出した前記第２物体についての前記第２検出情報に基づく位置を終点とする第２空間ベクトルを算出する第２空間ベクトル算出部と、
前記第１空間ベクトルと前記第２空間ベクトルとの対比に基づいて、前記第２三次元座標系の各軸が前記第１三次元座標系の対応軸と平行になるように、前記第２三次元座標系を較正する座標系較正部とを備えることを特徴とする。

本発明の監視システムによれば、第１及び第２距離画像カメラの撮影範囲の重複撮影範囲の異なる位置に同一時刻に存在する２つの物体について、第１及び第２検出情報に基づく第１及び第２空間ベクトルを対比することにより、複数の距離画像カメラが物体の測位用にそれぞれ保持する三次元座標系間の較正を能率的に行うことができる。

本発明の別の監視システムは、
第１撮影範囲に存在する物体の第１三次元座標系に基づく位置を検出し、該検出した位置と該位置を検出した検出時刻とを含む第１検出情報を出力する第１距離画像カメラと、
前記第１撮影範囲と所定の重複撮影範囲で部分的に重複する第２撮影範囲に存在する物体の第２三次元座標系に基づく位置を検出し、該検出した位置と該位置を検出した検出時刻とを含む第２検出情報を出力する第２距離画像カメラと、
前記第１距離画像カメラからの前記第１検出情報と前記第２距離画像カメラからの前記第２検出情報とを継続的に受信して、前記第１及び前記第２撮影範囲に存在する物体を監視する検出情報処理装置とを備えた監視システムであって、
前記検出情報処理装置は、
異なる第１及び第２時刻において前記重複撮影範囲の異なる位置に存在する同一物体を前記第１検出情報に基づいて検出する第１同一物体検出部と、
前記第１及び前記第２時刻において前記重複撮影範囲に存在する前記同一物体を前記第２検出情報に基づいて検出する第２同一物体検出部と、
前記第１同一物体検出部が検出した前記第１時刻における前記同一物体についての前記第１検出情報に基づく位置を始点とし、前記第１同一物体検出部が検出した前記第２時刻における前記同一物体についての前記第１検出情報に基づく位置を終点とする第１移動ベクトルを算出する第１移動ベクトル算出部と、
前記第２同一物体検出部が検出した前記第１時刻における前記同一物体についての前記第２検出情報に基づく位置を始点とし、前記第２同一物体検出部が検出した前記第２時刻における前記同一物体についての前記第２検出情報に基づく位置を終点とする第２移動ベクトルを算出する第２移動ベクトル算出部と、
前記第１移動ベクトルと前記第２移動ベクトルとの対比に基づいて、前記第２三次元座標系の各軸が前記第１三次元座標系の対応軸と平行になるように、前記第２三次元座標系を較正する座標系較正部とを備えることを特徴とする。

本発明の別の監視システムによれば、異なる第１及び第２時刻に第１及び第２距離画像カメラの撮影範囲の重複撮影範囲の異なる第１及び第２位置に存在する同一物体について、第１及び第２検出情報に基づく第１及び第２移動ベクトルを対比することにより、複数の距離画像カメラが物体の測位用にそれぞれ保持する三次元座標系間の較正を能率的に行うことができる。

本発明において、前記座標系較正部は、前記第２三次元座標系の各軸を前記第１三次元座標系の対応軸と平行にする較正の終了後、前記重複撮影範囲に同一時刻に存在する所定物体についての前記第１検出情報に基づく第１位置と前記第２検出情報に基づく第２位置との対比に基づいて、前記第２三次元座標系の原点が前記第１三次元座標系の原点に一致するように、前記第２三次元座標系を較正することが好ましい。

この構成によれば、第２三次元座標系の各軸の較正後、重複撮影範囲に同一時刻に存在する所定物体についての第１及び第２検出情報に基づく第１及び第２位置を対比することにより、複数の距離画像カメラが物体の測位用にそれぞれ保持する三次元座標系間の原点位置の較正を能率的に行うことができる。

監視システムの監視範囲を示し、図１Ａは監視範囲を上方から示す図、図１Ｂは監視範囲を側方から示す図。 監視システムのブロック図。 距離画像カメラが移動物体の絶対座標位置を測定するときの説明図。 座標軸の較正方法のフローチャート。 図４の較正方法の説明図。 座標軸の別の較正方法のフローチャート。 図６の較正方法の説明図。 原点位置の較正方法のフローチャート。

図１は、監視システム１の監視範囲２を示し、図１Ａは監視範囲２を上方から示す図、図１Ｂは監視範囲２を側方から示す図である。監視システム１は、主要構成要素として、マスターカメラ３、スレーブカメラ４、ルータ５、及び監視サーバ６を備えている。

マスターカメラ３（本発明の「第１距離画像カメラ」に相当する）及びスレーブカメラ４（本発明の「第２距離画像カメラ」に相当する）は、共に距離画像カメラである。距離画像カメラは、撮影範囲に存在する対象物までの距離を例えばＴＯＦ（Time Of Flight）方式で画素ごとに検出する。ＴＯＦ方式の距離画像カメラ自体は、公知であり、例えば本出願人が特許出願人になっている特開２０１６−１１８９６３号公報を参照されたい。

距離画像カメラにおける各画素への入射光の方向は１つに決まるので、各画素ごとに、距離画像カメラから見た対象物の方向（例：方角）と距離画像カメラからの距離とが検出される。

なお、各画素ごとの物体までの方向と距離とにより、距離画像カメラ（厳密には距離画像カメラの撮像センサ）を３軸方向の座標系の原点としたときの物体の位置ベクトルが画素ごとに決定される。該位置ベクトルは、三次元空間のベクトルであるので、空間ベクトルでもある。

ルータ５と監視サーバ６とは、インターネット７を介してデータを相互に授受自在になっている。ルータ５は、マスターカメラ３及びスレーブカメラ４に接続されており、マスターカメラ３及びスレーブカメラ４とインターネット７との間のデータの授受を中継する。

監視範囲２は、移動物体としての人１１ａ〜１１ｃが移動する領域に設定される。監視範囲２が設定される例として、商業施設、公共施設及び交通施設において人が移動する屋内空間がある。監視範囲は、商店通りや野外施設等の屋外空間に設定されてもよい。図１の監視範囲２には、人１１ａ〜１１ｃの３人しか存在しないが、人数及び位置は単なる例示である。以降、人１１ａ〜１１ｃを区別しないときは、「人１１」と総称する。

マスターカメラ３及びスレーブカメラ４は、監視範囲２を見下ろす天井１３の別々の位置に所定距離離れて取付けられている。監視範囲２は、中心線１７により二分される。マスターカメラ３の撮影範囲１４ｍとスレーブカメラ４の撮影範囲１４ｓとは、中心線１７を所定量、隣の撮影範囲の方に越えて、監視範囲２の一方側及び他方側を撮影範囲として設定されている。この結果、中心線１７に対して両側には、撮影範囲１４ｍ，１４ｓの重複撮影範囲１５が形成される。重複撮影範囲１５により、人１１が複数の撮影範囲をまたがって移動するとき、各人１１を連続的に追跡することが可能になる。

図示の例では、人１１ａの位置はマスターカメラ３の撮影範囲１４ｍに属し、人１１ｃの位置はスレーブカメラ４の撮影範囲１４ｓに属する。人１１ｂの位置は、重複撮影範囲１５にあり、撮影範囲１４ｍ，１４ｓの両方に属する。

図２は、監視システム１のブロック図である。監視システム１では、監視範囲２を監視するマスターカメラ３及びスレーブカメラ４と、監視データを処理する監視サーバ６とは、インターネット７を介してデータを授受自在になっている。

マスターカメラ３及びスレーブカメラ４は、それらの撮影範囲１４ｍ，１４ｓに存在する人１１についての検出情報を、一定時間間隔で出力して、監視サーバ６へ送信する。検出情報には、人１１の絶対座標位置、該位置を検出した検出時刻、及び距離画像カメラのＩＤが含まれる。監視サーバ６は、距離画像カメラのＩＤから、受信検出情報がどの距離画像カメラが送信したものかを認識することができる。

マスターカメラ３及びスレーブカメラ４が、それらの撮影範囲の人１１の位置としての絶対座標位置を決定するときに用いる保持絶対座標系４３ｈについては、図３において後述する。なお、マスターカメラ３及びスレーブカメラ４から監視サーバ６への検出情報の送信は、人１１の監視中、一定時間間隔でなくても、所定時間以上中断することなく継続的に行われていればよい。

監視サーバ６は、第１重複物体検出部２５、第１空間ベクトル算出部２６、第２重複物体検出部２７、第２空間ベクトル算出部２８、第１同一物体検出部３１、第１移動ベクトル算出部３２、第２同一物体検出部３３、第２移動ベクトル算出部３４及び座標系較正部４０を備えている。監視サーバ６が備えるこれらの構成要素の詳細は、図４以降のフローチャートで説明する。

図３は、距離画像カメラ４１が移動物体４２の絶対座標位置を測定するときの説明図である。距離画像カメラ４１は、撮影範囲４４に存在する移動物体４２の絶対座標位置を検出する。なお、距離画像カメラ４１の具体例はマスターカメラ３及びスレーブカメラ４（図１）であり、移動物体４２の具体例は人１１ａ〜１１ｃ（図１）である。

各距離画像カメラ４１は、個々に測位用の保持絶対座標系４３ｈを保持し、個々に保持した保持絶対座標系４３ｈに基づいて移動物体４２の絶対座標位置を検出している。一方、監視範囲２（図１）の全体に対して、共通の基準絶対座標系４３ｒが設定される。各距離画像カメラ４１が個々に保持している保持絶対座標系４３ｈ間には、ずれが生じる。このため、各距離画像カメラ４１が個々に保持している保持絶対座標系４３ｈを基準絶対座標系４３ｒに揃える較正が必要となる。

基準絶対座標系４３ｒに対する保持絶対座標系４３ｈのずれには、基準絶対座標系４３ｒの原点位置に対する保持絶対座標系４３ｈの原点位置のずれと、基準絶対座標系４３ｒの３軸としてのＸ軸、Ｙ軸及びＺ軸に対する保持絶対座標系４３ｈの３軸としてのＸ軸、Ｙ軸及びＺ軸の３軸傾斜角のずれ（各軸の方向（例：方角））との２種類がある。なお、Ｘ軸の周りの回転をヨーイング、Ｙ軸の周りの回転をローリング、Ｚ軸の周りの回転をピッチングと定義する。

以降、基準絶対座標系４３ｒによる絶対座標位置をΛｒ（Ｘ，Ｙ，Ｚ）で表わす。マスターカメラ３が保持する保持絶対座標系４３ｈによる絶対座標位置をΛｍ（Ｘ，Ｙ，Ｚ）で表わす。スレーブカメラ４が保持する保持絶対座標系４３ｈによる絶対座標位置をΛｓ（Ｘ，Ｙ，Ｚ）で表わす。Λｍ（Ｘ，Ｙ，Ｚ）及びΛｓ（Ｘ，Ｙ，Ｚ）を総称するときは、Λｈ（Ｘ，Ｙ，Ｚ）（図３）で表わす。

さらに、基準絶対座標系４３ｒの各軸に対するマスターカメラ３が保持する保持絶対座標系４３ｈの対応軸の傾斜角をΘｍ（Ｘ，Ｙ，Ｚ）で表わす。基準絶対座標系４３ｒの各軸に対するスレーブカメラ４が保持する保持絶対座標系４３ｈの対応軸の傾斜角をΘｓ（Ｘ，Ｙ，Ｚ）で表わす。Θｍ（Ｘ，Ｙ，Ｚ）及びΘｓ（Ｘ，Ｙ，Ｚ）を総称するときは、Θｈ（Ｘ，Ｙ，Ｚ）（図３）で表わす。

監視システム１では、マスターカメラ３の保持絶対座標系４３ｈが基準絶対座標系４３ｒに設定される。したがって、基準絶対座標系４３ｒにおけるマスターカメラ３の絶対座標位置Λは、Λｒ（０，０，０）であり、Λｍ（０，０，０）＝Λｒ（０，０，０）である。また、基準絶対座標系４３ｒにおけるマスターカメラ３の４３の３軸傾斜角Θｍ（Ｘ，Ｙ，Ｚ）は、Θｍ（０，０，０）ある。そして、スレーブカメラ４が保持する保持絶対座標系４３ｈの較正前では、Λｍ（０，０，０）≠Λｓ（０，０，０）であり、基準絶対座標系４３ｒにおけるスレーブカメラ４の３軸傾斜角Θｓ（Ｘ，Ｙ，Ｚ）について、Θｓ（Ｘ，Ｙ，Ｚ）≠Θｓ（０，０，０）の関係にある。これに対し、スレーブカメラ４が保持する保持絶対座標系４３ｈの較正後は、Λｍ（０，０，０）＝Λｓ（０，０，０）であり、基準絶対座標系４３ｒにおけるスレーブカメラ４の３軸傾斜角Θｓ（Ｘ，Ｙ，Ｚ）について、Θｓ（Ｘ，Ｙ，Ｚ）＝Θｓ（０，０，０）である。

図３において、Ｖｇは、距離画像カメラ４１の絶対座標位置Λｈ（Ｘｃ，Ｙｃ，Ｚｃ）から移動物体４２の絶対座標位置Λｈ（Ｘｇ，Ｙｇ，Ｚｇ）に引いたベクトルである。図では、ベクトルについてＶの上側にベクトルの印である「→」を付けているが、明細書では、省略している。Ｖｇは、三次元ベクトルである点において空間ベクトルであり、保持絶対座標系４３ｈの原点を始点とする点において位置ベクトルである。

距離画像カメラ４１は、撮影範囲４４の各移動物体４２の絶対座標位置Λｈを次の（式１）から算出する。
移動物体４２の絶対座標位置Λｈ（Ｘｇ，Ｙｇ，Ｚｇ）＝空間ベクトルＶｇ＋絶対座標位置Λｈ（Ｘｃ，Ｙｃ，Ｚｃ）・・・（式１）
ただし、マスターカメラ３では、Λｈ（Ｘｇ，Ｙｇ，Ｚｇ）＝空間ベクトルＶｇとなる。

監視サーバ６は、距離画像カメラ４１から受信した検出情報に含まれる移動物体４２の絶対座標位置Λｈを抽出することにより、距離画像カメラ４１の撮影範囲４４内の２つの移動物体４２間の空間ベクトルＶｐを、次の（式２）から算出する。
空間ベクトルＶｐ＝（他方の移動物体４２の絶対座標位置Λｈ）−（一方の移動物体４２の絶対座標位置Λｈ）・・・（式２）
上記（式２）では、一方の移動物体４２の絶対座標位置Λｈ及び他方の移動物体４２の絶対座標位置Λｈはそれぞれ空間ベクトルＶｐの始点及び終点となる。

すべての距離画像カメラ４１において保持絶対座標系４３ｈ＝基準絶対座標系４３ｒが理想であるが、スレーブカメラ４では、保持絶対座標系４３ｈ及び基準絶対座標系４３ｒとの間に誤差がある。したがって、マスターカメラ３の保持絶対座標系４３ｈによる絶対座標位置に基づく２つの移動物体４２間の空間ベクトルＶｐとしてのベクトルＶｐｍと、スレーブカメラ４の保持絶対座標系４３ｈによる絶対座標位置に基づく２つの移動物体４２間の空間ベクトルＶｐとしてのベクトルＶｐｓとは、較正前では、ベクトルＶｐｍ≠ベクトルＶｐｓとなる。

前述したように、監視システム１は、マスターカメラ３の保持絶対座標系４３ｈを監視範囲２全体に対して設定した基準絶対座標系４３ｒに設定している。したがって、マスターカメラ３の保持絶対座標系４３ｈの較正は必要がなく、スレーブカメラ４の保持絶対座標系４３ｈだけが較正される。

図４は、座標軸の較正方法（その１）のフローチャートである。マスターカメラ３の保持絶対座標系４３ｈは、監視範囲２の全体に対して共通の基準絶対座標系４３ｒに設定されているので、座標軸の較正（その１）で較正される絶対座標系及び後述の図６の座標軸の較正（その２）で較正される絶対座標系は、スレーブカメラ４の保持絶対座標系４３ｈである。

ＳＴＥＰ１０１では、第１重複物体検出部２５及び第２重複物体検出部２７は所定時刻に重複撮影範囲１５に存在する２つの重複移動物体を検出する。具体的には、第１重複物体検出部２５は、該所定時刻に重複撮影範囲１５の異なる位置に存在する第１及び第２重複移動物体（それぞれ本発明の「第１物体」及び「第２物体」に相当する）をマスターカメラ３からの検出情報（本発明の「第１検出情報」に相当する）に基づいて検出する。第２重複物体検出部２７は、該所定時刻に重複撮影範囲１５に存在する該第１及び該第２重複移動物体をスレーブカメラ４からの検出情報（本発明の「第２検出情報」に相当する）に基づいて検出する。

ＳＴＥＰ１０１の処理内容を図５を参照してさらに具体的に説明する。図５において、人Ｐａ，Ｐｂは、それぞれ第１及び第２重複移動物体に対応する。撮影範囲１４ｍ，１４ｓは、図１で前述したように、それぞれマスターカメラ３及びスレーブカメラ４の撮影範囲である。重複撮影範囲１５は、撮影範囲１４ｍ，１４ｓの重複撮影範囲である。

なお、重複範囲１５の具体的な決定の仕方は、例えば、マスターカメラ３からの検出情報に含まれる絶対座標位置Λｍとスレーブカメラ４からの検出情報に含まれる絶対座標位置Λｓとを対比し、同一の絶対座標位置Λが含まれる範囲を重複範囲１５に決定する。スレーブカメラ４の保持絶対座標系４３ｈの較正前であっても、同一の移動物体についてマスターカメラ３が検出する絶対座標位置Λｍとスレーブカメラ４が検出する絶対座標位置Λｓとの差分は、所定範囲に収まっている。したがって、重複範囲１５の厳密な決定は困難であるものの、絶対座標位置Λｍと絶対座標位置Λｓとの成分値の重複部分から所定幅の周辺部を除去して残る中心部分を重複範囲１５に決定することができる。

また、スレーブカメラ４は、移動物体の測位用に自己が保持している保持絶対座標系４３ｈのΛｓ（０，０，０）及びΘｓ（０，０，０）の初期値（較正前の暫定的な値）を、監視サーバ６を介さずに行うマスターカメラ３との近距離無線通信でおおよその値に設定する。なお、スレーブカメラ４は、この概略的な初期値設定において、例えば、周知のＴＯＡ（Time of Arrival）及びＡＯＡ（Angle of Arrival）を利用する。スレーブカメラ４は、重力センサを備えて、重力センサを用いて検出した鉛直方向を保持絶対座標系４３ｓのおおよそのＺ軸方向に設定することもできる。

図５Ａは、スレーブカメラ４の保持絶対座標系４３ｈが較正されている場合に、監視サーバ６がマスターカメラ３及びスレーブカメラ４の検出情報から把握する撮影範囲１４ｍ，１４ｓの位置関係を示す。図５Ｂは、スレーブカメラ４の保持絶対座標系４３ｈが較正されていない場合に、監視サーバ６がマスターカメラ３及びスレーブカメラ４の検出情報から把握する撮影範囲１４ｍ，１４ｓの位置関係を示す。

図５Ａでは、スレーブカメラ４からの検出情報内の絶対座標位置Λｓに基づく重複撮影範囲１５は、マスターカメラ３からの検出情報内の絶対座標位置Λｍに基づく重複撮影範囲１５に一致している。これに対し、図５Ｂでは、スレーブカメラ４からの検出情報内の絶対座標位置Λｓに基づく重複撮影範囲１５は、マスターカメラ３からの検出情報内の絶対座標位置Λｍに基づく重複撮影範囲１５からずれている。

図５において、人Ｐａ，Ｐｂは、重複撮影範囲１５に同一時刻に離れて存在する２つの移動物体として例示されている。この時、マスターカメラ３が、（式１）を用いて算出した人Ｐａ，Ｐｂの絶対座標位置ΛｍをそれぞれΛｍ（Ｘａ，Ｙａ，Ｚａ），Λｍ（Ｘｂ，Ｙｂ，Ｚｂ）とする。また、スレーブカメラ４が、（式１）を用いて算出した人Ｐａ，Ｐｂの絶対座標位置ΛをそれぞれΛｓ（Ｘａ，Ｙａ，Ｚａ），Λｓ（Ｘｂ，Ｙｂ，Ｚｂ）とする。

Λｍ（Ｘａ，Ｙａ，Ｚａ）と該位置を検出した検出時刻とを含む検出情報と、Λｍ（Ｘｂ，Ｙｂ，Ｚｂ）と該位置を検出した検出時刻とを含む検出情報とがマスターカメラ３から監視サーバ６へ送信され、Λｓ（Ｘａ，Ｙａ，Ｚａ）と該位置を検出した検出時刻とを含む検出情報と、Λｓ（Ｘｂ，Ｙｂ，Ｚｂ）と該位置を検出した検出時刻とを含む検出情報とがスレーブカメラ４から監視サーバ６に送信される。

ＳＴＥＰ１０２では、第１空間ベクトル算出部２６は、第１空間ベクトルＶを算出する。第１空間ベクトルＶとは、具体的には、図５ＢのベクトルＶｐｍである。

具体的には、第１空間ベクトル算出部２６は、マスターカメラ３からの検出情報から抽出したΛｍ（Ｘａ，Ｙａ，Ｚａ），Λｍ（Ｘｂ，Ｙｂ，Ｚｂ）を上述の（式２）の右辺のそれぞれ第２項及び第１項に代入して、ベクトルＶｐｍを算出する。

ＳＴＥＰ１０３では、第２空間ベクトル算出部２８は、第２空間ベクトルＶを算出する。第２空間ベクトルＶとは、具体的には、図５ＢのベクトルＶｐｓである。

具体的には、第２空間ベクトル算出部２８は、スレーブカメラ４からの検出情報から抽出したΛｓ（Ｘａ，Ｙａ，Ｚａ），Λｓ（Ｘｂ，Ｙｂ，Ｚｂ）を上述の（式２）の右辺のそれぞれ第２項及び第１項に代入して、ベクトルＶｐｓを算出する。

図５Ａでは、空間ベクトルＶｐｍ＝空間ベクトルＶｐｓとなる。これに対し、図５Ｂでは、空間ベクトルＶｐｍ≠空間ベクトルＶｐｓとなる。なぜなら、スレーブカメラ４の保持絶対座標系４３ｈの３軸傾斜角Θｓ（Ｘ，Ｙ，Ｚ）について、Θｓ（Ｘ，Ｙ，Ｚ）≠Θｓ（０，０，０）であって、未較正であるからである。また、この段階で、スレーブカメラ４の保持絶対座標系４３ｈの原点の絶対座標位置Λｓ（０，０，０）は、Λｓ（０，０，０）≠Λｍ（０，０，０）てある。

ＳＴＥＰ１０４では、座標系較正部４０は、第１空間ベクトルＶｐｍと第２空間ベクトルＶｐｓとの対比に基づいてスレーブカメラ４の保持絶対座標系４３ｈのＸ軸、Ｙ軸及びＺ軸がマスターカメラ３の保持絶対座標系４３ｈの対応軸としてのＸ軸、Ｙ軸及びＺ軸にそれぞれ平行になるように、スレーブカメラ４の保持絶対座標系４３ｈを較正する。具体的には、座標系較正部４０からスレーブカメラ４に較正指示（較正するために必要な情報としての較正情報も含む）の信号が送られ、スレーブカメラ４は、該較正指示の信号内の較正情報に基づいて自己の保持絶対座標系４３ｈの各軸の方向を変更する。

詳細には、座標系較正部４０は、空間ベクトルＶｐｍ，Ｖｐｓの差分ベクトルを算出し、該差分ベクトルが解消されるように、具体的には、差分ベクトル＝０となるように、又は空間ベクトルＶｐｍ，Ｖｐｓが平行になるように、スレーブカメラ４の保持絶対座標系４３ｈをその原点の周りに回転させる。

ＳＴＥＰ１０４の終了後は、マスターカメラ３及びスレーブカメラ４が、重複撮影範囲１５に同時刻に離れて存在する人Ｐａ，Ｐｂを検出して、監視サーバ６に送信する検出情報に基づいて、第１空間ベクトル算出部２６及び第２空間ベクトル算出部２８がそれぞれ第１空間ベクトルＶｐｍ及び第２空間ベクトルＶｐｓを算出する。この第１空間ベクトルＶｐｍ及び第２空間ベクトルＶｐｓについては、第２空間ベクトルＶｐｓ＝第１空間ベクトルＶｐｍが成り立つ。ただし、スレーブカメラ４の保持絶対座標系４３ｈの原点位置の較正（Λｓ（０，０，０）＝Λｍ（０，０，０））は終了していないので、第１空間ベクトルＶｐｍの始点及び終点と第２空間ベクトルＶｐｓの始点及び終点とは一致しない。

図６は、座標軸の較正方法（その２）のフローチャートである。ＳＴＥＰ１１１では、第１同一物体検出部３１及び第２同一物体検出部３３は、重複撮影範囲１５に異なる時刻ｔ１，ｔ２に存在する同一移動物体を検出する。具体的には、第１同一物体検出部３１は、時刻ｔ１，ｔ２（本発明の「第１時刻」及び「第２時刻」それぞれ対応する）において重複撮影範囲１５内の異なる位置に存在する同一移動物体（本発明の「同一物体」に相当する）を第１検出情報に基づいて検出する。第２重複物体検出部２７は、時刻ｔ１，ｔ２において重複撮影範囲１５内に存在する該同一移動物体を検出を第２検出情報に基づいて検出する。

ＳＴＥＰ１１１の処理内容を図７を参照してさらに具体的に説明する。図７において、人Ｐ１，Ｐ２は、同一人であり、人Ｐ１は、時刻ｔ１における該同一人を示し、人Ｐ２は時刻ｔ２における該同一人を示している。前述したように、時刻ｔ１，ｔ２は、異なる時刻であり、人Ｐ１，Ｐ２は、同一人であるものの、重複撮影範囲１５において異なる位置に存在する。

図７Ａは、スレーブカメラ４の保持絶対座標系４３ｈが較正されている場合に監視サーバ６がマスターカメラ３及びスレーブカメラ４の検出情報から把握する撮影範囲１４ｍ，１４ｓの位置関係を示す。図７Ｂは、スレーブカメラ４の保持絶対座標系４３ｈが較正されていない場合に監視サーバ６がマスターカメラ３及びスレーブカメラ４の検出情報から把握する撮影範囲１４ｍ，１４ｓの位置関係を示している。

マスターカメラ３が、自己の保持絶対座標系４３ｈに基づいて（式１）を用いて算出した人Ｐ１，Ｐ２の絶対座標位置ΛをそれぞれΛｍ（Ｘ１，Ｙ１，Ｚ１），Λｍ（Ｘ２，Ｙ２，Ｚ２）とする。また、スレーブカメラ４が、自己の保持絶対座標系４３ｈに基づいて（式１）を用いて算出した人Ｐ１，Ｐ２の絶対座標位置ΛをそれぞれΛｓ（Ｘ１，Ｙ１，Ｚ１），Λｓ（Ｘ２，Ｙ２，Ｚ２）とする。

第１同一物体検出部３１及び第２同一物体検出部３３は、時刻ｔ１−ｔ２の時間間隔より十分に短い時間間隔でそれぞれマスターカメラ３及びスレーブカメラ４からの検出情報を抽出しているので、同一人が重複撮影範囲１５内を移動していることを追跡することができる。時刻ｔ１からｔ２までの時間は、該同一人が重複撮影範囲１５内で適当な距離移動したことを想定して設定された時間になっている。

Λｍ（Ｘ１，Ｙ１，Ｚ１）と該位置を検出した検出時刻とを含む検出情報と、Λｍ（Ｘ２，Ｙ２，Ｚ２）と該位置を検出した検出時刻とを含む検出情報とがマスターカメラ３から監視サーバ６へ送信され、Λｓ（Ｘ１，Ｙ１，Ｚ１）と該位置を検出した検出時刻とを含む検出情報と、Λｓ（Ｘ２，Ｙ２，Ｚ２）と該位置を検出した検出時刻とを含む検出情報とがスレーブカメラ４から監視サーバ６に送信される。

ＳＴＥＰ１１２では、第１移動ベクトル算出部３２は、第１移動ベクトルＶｑｍ（図７Ｂ）を算出する。

具体的には、第１移動ベクトル算出部３２は、Λｍ（Ｘ１，Ｙ１，Ｚ１），Λｍ（Ｘ２，Ｙ２，Ｚ２）を上述の（式２）を変形した次の（式３）に代入して、第１移動ベクトルＶｑｍを算出する。なお、（式３）は、移動ベクトルの算出に共通に使用されため、移動ベクトルを総称するＶｑを用いている。
移動ベクトルＶｑ＝（時刻ｔ２の移動物体４２の絶対座標位置Λｈ）−（時刻ｔ１の移動物体４２の絶対座標位置Λｈ）・・・（式３）
上記（式３）では、時刻ｔ１の移動物体４２の絶対座標位置Λ及び時刻ｔ２の移動物体４２の絶対座標位置Λはそれぞれ移動ベクトルＶｑの始点及び終点となる。

ＳＴＥＰ１１３では、第２移動ベクトル算出部３４は、第２移動ベクトルＶｑｓ（図７Ｂ）を算出する。具体的には、第２移動ベクトル算出部３４は、Λｓ（Ｘ１，Ｙ１，Ｚ１），Λｓ（Ｘ２，Ｙ２，Ｚ２）を（式３）に代入して、第２移動ベクトルＶｑｓを算出する。

ＳＴＥＰ１１４では、座標系較正部４０は、第１移動ベクトルＶｑｍと第２移動ベクトルＶｑｓとの対比に基づいてスレーブカメラ４の保持絶対座標系４３ｈのＸ軸、Ｙ軸及びＺ軸がマスターカメラ３の保持絶対座標系４３ｈの対応軸としてのＸ軸、Ｙ軸及びＺ軸にそれぞれ平行になるように、スレーブカメラ４の保持絶対座標系４３ｈを較正する。具体的には、座標系較正部４０からスレーブカメラ４に較正指示（較正情報も含む）の信号が送られ、スレーブカメラ４は、該較正指示の信号内の較正情報に基づいて自己の保持絶対座標系４３ｈの各軸の方向を変更する。

詳細には、座標系較正部４０は、第１移動ベクトルＶｑｍと第２移動ベクトルＶｑｓとの差分ベクトルを算出し、該差分ベクトルが解消されるように、具体的には、差分ベクトル＝０となるように、又は空間ベクトルＶｑｍ，Ｖｑｓが平行になるように、スレーブカメラ４の保持絶対座標系４３ｈをその原点の周りに回転させる。

ＳＴＥＰ１１４の終了後は、マスターカメラ３及びスレーブカメラ４が、重複撮影範囲１５の異なる位置に異なる時刻ｔ１，ｔ２に存在する人Ｐ１，Ｐ２（同一人）を検出して、監視サーバ６に送信する検出情報に基づいて、第１同一物体検出部３１及び第２同一物体検出部３３がそれぞれ算出する第１移動ベクトルＶｑｍと第２移動ベクトルＶｑｓについて、第２移動ベクトルＶｑｓ＝第１移動ベクトルＶｑｍが成り立つ。ただし、スレーブカメラ４の保持絶対座標系４３ｈの原点位置の較正（Λｓ（０，０，０）＝Λｍ（０，０，０））は終了していないので、第１移動ベクトルＶｑｍの始点及び終点と空間ベクトルＶｐｓの始点及び終点とは一致しない。

図８は、原点位置の較正方法のフローチャートである。監視サーバ６は、図４又は図６の絶対座標軸の較正の終了後に、スレーブカメラ４の保持絶対座標系４３ｈの原点位置をマスターカメラ３の原点位置に一致させる較正（Λｓ（０，０，０）＝Λｍ（０，０，０））を行う。

ＳＴＥＰ１２１では、絶対座標位置検出部３９は、第１絶対座標位置及び第２絶対座標位置（それぞれ本発明の「第１位置」及び「第２位置」に相当する）を検出する。第１及び第２絶対座標位置は、重複撮影範囲１５に存在する所定移動物体Ｕ（図示せず／本発明の「所定物体」に相当する）についてマスターカメラ３及びスレーブカメラ４から受信した検出情報に基づいて同一時刻における所定移動物体についての絶対座標位置Λｍ（Ｘｕ，Ｙｕ，Ｚｕ），Λｓ（Ｘｕ，Ｙｕ，Ｚｕ）である。絶対座標位置Λｍ（Ｘｕ，Ｙｕ，Ｚｕ），Λｓ（Ｘｕ，Ｙｕ，Ｚｕ）は、それぞれマスターカメラ３からの検出情報（第１検出情報）及びスレーブカメラ４からの検出情報（第２検出情報）に基づいて検出され、本発明の「第１位置」及び「第２位置」に相当する。

ＳＴＥＰ１２２では、座標系較正部４０は、スレーブカメラ４の保持絶対座標系４３ｈの原点位置Λｓ（０，０，０）を較正する。具体的には、座標系較正部４０からスレーブカメラ４に較正指示（較正情報も含む）の信号が送られ、スレーブカメラ４は、該較正指示の信号内の較正情報に基づいて自己の保持絶対座標系４３ｈの原点位置Λｓ（０，０，０）を原点位置Λｍ（０，０，０）に一致させる。詳細には、スレーブカメラ４は、スレーブカメラ４の保持絶対座標系４３ｈの３軸の向きを保持しつつ、較正情報としてのΛｓ（Ｘｕ，Ｙｕ，Ｚｕ）及びΛｍ（Ｘｕ，Ｙｕ，Ｚｕ）について、Λｓ（Ｘｕ，Ｙｕ，Ｚｕ）がΛｍ（Ｘｕ，Ｙｕ，Ｚｕ）の位置に来るように、スレーブカメラ４の保持絶対座標系４３ｈを移動させる。

ＳＴＥＰ１２２の終了後は、スレーブカメラ４の保持絶対座標系４３ｈは基準絶対座標系４３ｒ、すなわちマスターカメラ３の保持絶対座標系４３ｈに一致する（Λｓ（０，０，０）＝Λｍ（０，０，０）かつΘｓ（Ｘ，Ｙ，Ｚ）＝Θｓ（０，０，０））。こうして、スレーブカメラ４の保持絶対座標系４３ｈの全部の較正が終了する。

本発明を図示の実施形態について説明したが、本発明は次の変形例を備える。

実施形態では、ＴＯＦ方式のマスターカメラ３及びスレーブカメラ４が本発明の距離画像カメラとして用いられている。本発明の各距離画像カメラは、周知のステレオカメラであってもよい。１つのステレオカメラは、２つのカメラから構成され、視差を利用して、物体を測位する。

実施形態では、監視サーバ６が、各距離画像カメラから検出情報を継続して受信して、該検出情報に基づいて各移動物体を監視する検出情報処理装置として用いられている。本発明の検出情報処理装置は、インターネット７を介して各距離画像カメラから検出情報を受信する監視サーバ６に限定されない。本発明の検出情報処理装置は、例えば、イントラネットを介して各距離画像カメラから検出情報を受信するサーバであってもよい。

マスターカメラ３の保持絶対座標系４３ｈ及びスレーブカメラ４の保持絶対座標系４３ｈは、三次元座標系であり、それぞれ本発明の「第１三次元座標系」及び「第２三次元座標系」に相当する。実施形態の撮影範囲１４ｍ，１４ｓは、それぞれ本発明の「第１撮影範囲」及び「第２撮影範囲」に相当する。

実施形態の監視システム１は、距離画像カメラ（マスターカメラ３及びスレーブカメラ４）を２つしか備えていない。本発明の監視システムは、３つ以上の距離画像カメラを備えることもできる。その場合、１つの距離画像カメラ（実施形態のマスターカメラ３に相当する）の保持絶対座標系が監視範囲全体の基準絶対座標系となる。他の２以上の距離画像カメラ（実施形態のスレーブカメラ４に相当する）は、それらの撮影範囲１４ｓが、隣関係の撮影範囲１４ｓ同士が部分的に重複する重複撮影範囲１５を有するように、設定される。そして、距離画像カメラの保持絶対座標系の較正では、マスターカメラ３に隣接するスレーブカメラ４から較正を開始し、較正済みのスレーブカメラ４をマスターカメラ３と看做し、マスターカメラ３と看做された較正済みのスレーブカメラ４と未較正のスレーブカメラ４との間で図４（又は図６）及び図８の処理を実施して、該未較正のスレーブカメラ４を較正する。こうして、順々に較正済みのスレーブカメラ４を増大していき、全部のスレーブカメラ４の較正を終了する。

実施形態の監視システム１は、例えば人流解析に使用される。本発明の監視システムでは、移動物体は、動物園等の動物や駐車場等の自動車等であってもよい。

１・・・監視システム、２・・・監視範囲、３・・・マスターカメラ（第１距離画像カメラ）、４・・・スレーブカメラ（第２距離画像カメラ）、６・・・監視サーバ（検出情報処理装置）、１１・・・人（移動物体）、１４ｍ・・・撮影範囲（第１撮影範囲）、１４ｓ・・・撮影範囲（第２撮影範囲）、１５・・・重複撮影範囲、２５・・・第１重複物体検出部、２６・・・第１空間ベクトル算出部、２７・・・第２重複物体検出部、２８・・・第２空間ベクトル算出部、３１・・・第１同一物体検出部、３２・・・第１移動ベクトル算出部、３３・・・第２同一物体検出部、３４・・・第２移動ベクトル算出部、４０・・・座標系較正部、４３ｈ・・・保持絶対座標系、４３ｒ・・・基準絶対座標系。

Claims (3)

1. 第１撮影範囲に存在する物体の第１三次元座標系に基づく位置を検出し、該検出した位置と該位置を検出した検出時刻とを含む第１検出情報を出力する第１距離画像カメラと、
   前記第１撮影範囲とは所定の重複撮影範囲で部分的に重複する第２撮影範囲に存在する物体の第２三次元座標系に基づく位置を検出し、該検出した位置と該位置を検出した検出時刻とを含む第２検出情報を出力する第２距離画像カメラと、
   前記第１距離画像カメラからの前記第１検出情報と前記第２距離画像カメラからの前記第２検出情報とを継続的に受信して、前記第１及び前記第２撮影範囲に存在する物体を監視する検出情報処理装置とを備えた監視システムであって、
   前記検出情報処理装置は、
   所定時刻において前記重複撮影範囲の異なる位置に存在する第１及び第２物体を前記第１検出情報に基づいて検出する第１重複物体検出部と、
   前記所定時刻において前記重複撮影範囲に存在する前記第１及び前記第２物体を前記第２検出情報に基づいて検出する第２重複物体検出部と、
   前記第１重複物体検出部が検出した前記第１物体についての前記第１検出情報に基づく位置を始点とし、前記第１重複物体検出部が検出した前記第２物体についての前記第１検出情報に基づく位置を終点とする第１空間ベクトルを算出する第１空間ベクトル算出部と、
   前記第２重複物体検出部が検出した前記第１物体についての前記第２検出情報に基づく位置を始点とし、前記第２重複物体検出部が検出した前記第２物体についての前記第２検出情報に基づく位置を終点とする第２空間ベクトルを算出する第２空間ベクトル算出部と、
   前記第１空間ベクトルと前記第２空間ベクトルとの対比に基づいて、前記第２三次元座標系の各軸が前記第１三次元座標系の対応軸と平行になるように、前記第２三次元座標系を較正する座標系較正部とを備えることを特徴とする監視システム。
2. 第１撮影範囲に存在する物体の第１三次元座標系に基づく位置を検出し、該検出した位置と該位置を検出した検出時刻とを含む第１検出情報を出力する第１距離画像カメラと、
   前記第１撮影範囲と所定の重複撮影範囲で部分的に重複する第２撮影範囲に存在する物体の第２三次元座標系に基づく位置を検出し、該検出した位置と該位置を検出した検出時刻とを含む第２検出情報を出力する第２距離画像カメラと、
   前記第１距離画像カメラからの前記第１検出情報と前記第２距離画像カメラからの前記第２検出情報とを継続的に受信して、前記第１及び前記第２撮影範囲に存在する物体を監視する検出情報処理装置とを備えた監視システムであって、
   前記検出情報処理装置は、
   異なる第１及び第２時刻において前記重複撮影範囲の異なる位置に存在する同一物体を前記第１検出情報に基づいて検出する第１同一物体検出部と、
   前記第１及び前記第２時刻において前記重複撮影範囲に存在する前記同一物体を前記第２検出情報に基づいて検出する第２同一物体検出部と、
   前記第１同一物体検出部が検出した前記第１時刻における前記同一物体についての前記第１検出情報に基づく位置を始点とし、前記第１同一物体検出部が検出した前記第２時刻における前記同一物体についての前記第１検出情報に基づく位置を終点とする第１移動ベクトルを算出する第１移動ベクトル算出部と、
   前記第２同一物体検出部が検出した前記第１時刻における前記同一物体についての前記第２検出情報に基づく位置を始点とし、前記第２同一物体検出部が検出した前記第２時刻における前記同一物体についての前記第２検出情報に基づく位置を終点とする第２移動ベクトルを算出する第２移動ベクトル算出部と、
   前記第１移動ベクトルと前記第２移動ベクトルとの対比に基づいて、前記第２三次元座標系の各軸が前記第１三次元座標系の対応軸と平行になるように、前記第２三次元座標系を較正する座標系較正部とを備えることを特徴とする監視システム。
3. 請求項１又は２記載の監視システムにおいて、
   前記座標系較正部は、前記第２三次元座標系の各軸を前記第１三次元座標系の対応軸と平行にする較正の終了後、前記重複撮影範囲に同一時刻に存在する所定物体についての前記第１検出情報に基づく第１位置と前記第２検出情報に基づく第２位置との対比に基づいて、前記第２三次元座標系の原点が前記第１三次元座標系の原点に一致するように、前記第２三次元座標系を較正することを特徴とする監視システム。