JP2007049278A - システム用カメラ及び連携カメラシステム - Google Patents

Abstract

【課題】 他のシステム用カメラと連携して移動体を継続して撮影することのできるシステム用カメラ及び連携カメラシステムを提供する。
【解決手段】 システム用カメラ１００は、撮影した画像データから移動体を検出すると共に、移動体の外見上の特徴情報を抽出し、かつ移動体がどの側面から撮影されたかを示す側面情報を取得する。そして、移動体の側面情報と特徴情報とを組み合わせて移動体情報を得、この移動体情報を記憶する。さらに、移動体が移動する方向に位置するシステム用カメラを選択し、システム用カメラ１１０に移動体情報を送信する。
【選択図】 図１

Description

本発明は、システム用カメラ及び連携カメラシステムに関し、特に移動体を継続的に撮影する際のシステム用カメラ間の連携を円滑に行うための構成に関する。

従来、様々な場所における監視、見守り、対象物・対象者の追跡、異常事態の記録等を行うシステムがある。このようなシステムとして、複数のシステム用カメラを分散配置して広い範囲を監視する監視システムが実用化されており、この監視システムの多くは視野が広角に固定された固定カメラを使用している。

そして、このような監視システムでは、複数のカメラにより撮影された複数の映像が全て監視センターに伝送され、監視センターでは監視人が常時全ての受信映像を監視することにより、不審者の侵入や事件・事故の異常事態の発生を検知していた。

ここで、カメラ台数が多くなるほど漏れのない監視が可能となるが、カメラ台数が多くなるほど監視人の負担が重くなり、逆に異常事態の発見が遅れたり、見過ごしたりする原因となっていた。また、システム用カメラが広角の固定カメラの場合、対象物を撮影することはできるが、特定の場所や対象物をズームアップして詳細に写すことができないため、監視人が事態を正確に把握できない場合があった。

こうした状況を改善するため、複数のシステム用カメラを連携させて移動体を継続的に撮影するようにした連携カメラシステムがある。例えば、複数のシステム用カメラは、それぞれ移動体の自動検出及び特徴量の自動抽出を行い、移動体が一つのカメラの視野内から他のカメラの視野内へ移動する際、移動体を追跡中のカメラから他のカメラへ移動体の特徴情報を送信するようにしている。これにより、他方のカメラでは受信した特徴情報を持つ移動体を発見することが可能となり、複数のカメラ間で移動体を継続して撮影できる。

ここで、他方のカメラへ送信する移動体の特徴情報としては、例えば画像から移動体部分だけを抜き出した後、これを所定の閾値で２値化処理して得られるビットマップパターンを特徴情報として用いるものがある（例えば、特許文献１参照。）。

そして、先に移動体を撮影していたカメラが抽出した移動体のビットマップパターンをテンプレート情報として他のカメラに送信すると、他のカメラは受信したテンプレート情報と自分が新たに抽出した移動体のビットマップパターンとを比較する。この比較の結果、これらの情報の相関が高い場合に同じ移動体を検出したものと判断する。なお、このようなテンプレート情報を用いた判断方法をテンプレートマッチング法という。

また、他のカメラへ送信する移動体の特徴情報としては、画像から移動体部分だけを抜き出した画像データやその抽象化データを特徴情報として用いるものがある（例えば、特許文献２参照。)。

そして、他のカメラは、先に移動体を撮影していたカメラが抽出した移動体の形状、色、サイズなどを比較することにより以前抽出した移動体の特徴情報と今回抽出した移動体の特徴情報とが同じかどうかを判断する。

特開２００２−２９０９６２号公報 特開２００３−３２４７２０号公報

しかしながら、移動体はシステム用カメラに対して常に同じ側面を見せている訳ではなく、移動するにつれて徐々に異なる側面を見せていく。

例えば、図５は、直線道路上を左から右に向かって移動体（自動車）が移動するとき、道路脇手前側に置かれた２台のパン・チルト・ズーム機能付きカメラ（以下、ＰＴＺカメラという）１００，１１０が自動車のどの側面を撮影するかを説明する図である。

図５において、システム用カメラである第１ＰＴＺカメラ１００及び第２ＰＴＺカメラ１１０は常に自動車が画像の中心付近に写るように視野を自動制御しているものとする。これにより、第１ＰＴＺカメラ１００は時刻ｔ１で視野１−１、時刻ｔ３で視野１−３、時刻ｔ５で視野１−５を撮影し、第２ＰＴＺカメラ１１０は時刻ｔ７で視野２−１、時刻ｔ９で視野２−３、時刻ｔ１１で視野２−５を撮影する。

ここで、第１ＰＴＺカメラ１００又は第２ＰＴＺカメラ１１０が大きく左を向くとき（時刻ｔ１または時刻ｔ７）は、自動車が遠方からカメラに向かって近づいてくるときなので、自動車の右前方側が撮影される。また、第１ＰＴＺカメラ１００又は第２ＰＴＺカメラ１１０が正面を向いているとき（時刻ｔ３または時刻ｔ９）は、自動車がカメラの目の前を横切るときなので、自動車の右真横側が撮影される。

さらに、第１ＰＴＺカメラ１００又は第２ＰＴＺカメラ１１０が大きく右を向くとき（時刻ｔ５または時刻ｔ１１）は、自動車がカメラの傍を離れて遠方へ遠ざかっていくときなので、自動車の右後方側が撮影される。このように、移動体が移動するにつれて第１ＰＴＺカメラ１００又は第２ＰＴＺカメラ１１０により、移動体の異なる側面が撮影される。なお、この現象は、ＰＴＺカメラで撮影した場合だけに起こるわけではない。

図６は、直線道路上を左から右に向かって自動車が移動するとき、道路脇手前側に置かれた２台の広視野角の固定カメラ（以下、広角カメラという）２００，２１０が自動車のどの側面を撮影するかを説明する図である。

図６において、第１広角カメラ２００は視野１を持ち、第２広角カメラ２１０は視野２を持つ。ここで、第１広角カメラ２００の視野１は、図５における視野１−１から視野１−５までの範囲を包含している。同様に、第２広角カメラ２１０における視野２は、図５における視野２−１から視野２−５までの範囲を包含している。

つまり、第１ＰＴＺカメラ１００又は第２ＰＴＺカメラ１１０の各視野は、画像の解像度は異なるものの、第１広角カメラ２００及び第２広角カメラ２１０の視野の一部を切り出したものと同じ方向を撮影している。

従って、図６の場合も図５の場合と同様に、時刻ｔ１または時刻ｔ７では自動車の右前方側が撮影され、時刻ｔ３または時刻ｔ９では自動車の右真横側が撮影され、時刻ｔ５または時刻ｔ１１では自動車の右後方側が撮影される。つまり、カメラ視野が可変であろうと固定であろうと、カメラに対して移動体が異なる方向へ移動すれば、移動体の異なる側面が撮影されることになる。

このように、移動体が移動するにつれてカメラは移動体の異なる側面を撮影するため、移動体のどの側面が撮影されたかによって、画像データから抽出される移動体の外見上の特徴情報は異なるものとなってしまう。

一方、既述した従来の連携カメラシステムでは、複数のシステム用カメラでそれぞれ移動体のどの側面を撮影したかを調べていない。このため、２つのカメラで同時に移動体を撮影した場合、２つのカメラはそれぞれ移動体の異なる側面を撮影することになり、この場合、同一物体であるにも関わらず特徴情報が一致せず、マッチングに失敗する。

なお、この課題は、視野角が狭い固定カメラを使う場合は起こりにくくなるが、視野角を狭めてしまうと同じ範囲を監視するためにより多くのカメラを設置しなければならなくなり、大幅なコストアップになるという別の課題が生じてしまう。

そこで、本発明は、このような問題点に鑑みてなされたもので、他のシステム用カメラと連携して移動体を継続して撮影することのできるシステム用カメラ及び連携カメラシステムを提供することを目的とするものである。

本発明は、移動体を継続して撮影するシステムに用いられるシステム用カメラにおいて、撮影した画像データから前記移動体を検出する移動体検出手段と、前記移動体の外見上の特徴情報を抽出する特徴情報抽出手段と、前記移動体のどの側面を撮影したかを示す側面情報を取得する側面情報取得手段と、前記移動体の側面情報と特徴情報とを組み合わせて移動体情報を得る移動体情報取得手段と、前記移動体情報を記憶する移動体情報記憶手段と、前記移動体が移動する方向に位置するシステム用カメラを選択するカメラ選択手段と、前記移動体情報を前記カメラ選択手段が選択した移動方向側のシステム用カメラに送信する送信制御手段と、を備えたことを特徴とするものである。

また本発明は、複数のシステム用カメラを用いて移動体を継続して撮影する連携カメラシステムにおいて、前記複数のシステム用カメラは、それぞれ撮影した画像データから前記移動体を検出する移動体検出手段と、前記移動体の外見上の特徴情報を抽出する特徴情報抽出手段と、前記移動体のどの側面を撮影したかを示す側面情報を取得する側面情報取得手段と、前記移動体の側面情報と特徴情報とを組み合わせて移動体情報を得る移動体情報取得手段と、前記移動体情報を記憶する移動体情報記憶手段と、前記移動体が移動する方向に位置するシステム用カメラを選択するカメラ選択手段と、前記移動体情報を前記カメラ選択手段が選択した移動方向側のシステム用カメラに送信する送信制御手段と、を備えていることを特徴とするものである。

本発明によれば、撮影した画像データから移動体を検出すると共に、検出した移動体の外見上の特徴情報及び側面情報を組み合わせて移動体情報を得、この移動体情報を記憶する。さらに、移動体が移動する方向に位置するシステム用カメラを選択し、このシステム用カメラに移動体情報を送信することにより、他のシステム用カメラと連携して移動体を継続して撮影することができる。

以下、本発明を実施するための最良の形態について図面を用いて詳細に説明する。

図１は、本発明の第１の実施の形態に係る複数のシステム用カメラを用いた連携カメラシステムのブロック図である。

図１において、１００、１１０はシステム用カメラである第１ＰＴＺカメラ及び第２ＰＴＺカメラ、１２０はモニタリング装置である。ここで、第１及び第２ＰＴＺカメラ１００，１１０はそれぞれ必要に応じて、ネットワーク１３０を介して画像データ及びまたは移動体情報をモニタリング装置１２０に送信する。また、第１及び第２ＰＴＺカメラ１００，１１０はそれぞれ必要に応じて、ネットワーク１３０を介して互いに移動体情報を送受信する。

なお、図１において、破線矢印は第１及び第２ＰＴＺカメラ１００，１１０からネットワーク１３０への符号化済み画像データを含む画像データの流れを示している。また、実線矢印はそれ以外の第１及び第２ＰＴＺカメラ１００，１１０とネットワーク１３０の間のデータ、例えば移動体情報や各種制御情報などのデータの流れを示している。

また、ネットワーク１３０には有線／無線、公衆網／専用網を問わず、任意の通信網、通信回線、通信技術を利用可能である。従来の連携カメラシステムの一例である監視カメラシステムではアナログ専用線が多く利用されていたが、近年ではＬＡＮ回線や携帯電話回線の利用が増えており、より広い概念で言えばインターネットの利用が増えている。

なお、図１においては、２つのカメラ１００，１１０しか図示していないが、他にも２つのカメラ１００，１１０と同様の構成の不図示のカメラが存在している。そして、これらの不図示のカメラも全てネットワーク１３０を介して画像データ及びまたは移動体情報をモニタリング装置１２０に送信する。また、それぞれ必要に応じてネットワーク１３０を介して互いに移動体情報を送受信する。

第１ＰＴＺカメラ１００は、設置情報取得部１０１、撮影パラメータ制御部１０２、画像撮影部１０３、記憶部１０４、移動体情報処理部１０５、画像符号化部１０６、通信部１０７を備えている。また、第ＰＴＺ２カメラ１１０及び不図示のカメラも、設置情報取得部１１１、撮影パラメータ制御部１１２、画像撮影部１１３、記憶部１１４、移動体情報処理部１１５、画像符号化部１１６、通信部１１７を備えている。

設置情報取得部１０１は、隣接するカメラの設置位置及び設置向き（カメラ台座の向き）を３次元の絶対座標及び方向角として取得する。なお、この絶対座標の原点及びＸＹＺ軸方向は任意に決めてよいが、すべてのカメラが同じ座標系を使用しなければならない。

ここで、第ＰＴＺ２カメラ１１０及び不図示のカメラに備えられている設置情報取得部１１１も、同じ機能及び構成を有していることから、設置情報取得部１１１についての説明は省略する。また、この他、第ＰＴＺ２カメラ１１０及び不図示のカメラに備えられている、第１ＰＴＺカメラ１００のものと同じ機能及び構成を有した撮影パラメータ制御部１１２等の説明についても省略する。

ところで、設置情報取得部１０１の設置情報取得方法には任意の従来技術を用いることができる。例えば、ＧＰＳ計測装置等の自動計測装置を利用して自分の設置情報（設置位置及び設置向き）を取得した後、隣接するカメラ間同士で通信を行うことにより、互いの設置情報を交換する方法がある。

また、最も簡単な設置情報取得方法は、予めユーザが既存の測定装置を利用して隣接するカメラの設置情報（設置位置及び設置向き）を測定しておき、それを記憶部１０４に入力しておく方法である。この場合、設置情報取得部１０１は不要となる。なお、この設置情報取得部１０１が取得するか、または予め記憶部１０４に記憶しておいた設置情報は、後述する移動体情報処理部１０５によって利用される。

画像撮影部１０３は画像を撮影すると共に不図示のパン・チルト・ズーム機構を備えており、撮影パラメータ制御部１０２の指示に従ってパン・チルト・ズームを行うことにより、撮影方向及び視野角を変化させることが出来る。そして、画像撮影部１０３で撮影された画像データは、後述する移動体情報処理部１０５と画像符号化部１０６に渡される。

撮影パラメータ制御部１０２は、画像撮影部１０３のパン角とチルト角を制御するものであり、後述するように移動体情報処理部１０５から画像上での移動体の移動方向と移動量の予測結果を渡される。そして、この予測結果を用いて移動体が今後カメラ視野の中心付近で撮影されるように画像撮影部１０３のパン角とチルト角を制御する。

なお、ユーザの設定に従って、後述するように移動体情報処理部１０５から移動体の画像上のサイズを渡されるようになっている。そして、このサイズが予めユーザが決めた所定のサイズに近づくように（または所定の上限サイズと下限サイズの間に収まるように）画像撮影部１０３のズーム率を制御する。また、撮影パラメータ制御部１０２は、画像撮影部１０３のパン角、チルト角及びズーム率を移動体情報処理部１０５に渡すようになっている。

移動体情報処理部１０５は、以下に列挙したとおり様々な機能を有すると共に、様々な処理を行う。

１．画像データを時系列的に処理することにより移動体を自動的に検出する（移動体検出機能）。なお、移動体の検出方法としては、背景差分法、フレーム間差分法、オプティカルフロー法などの従来法を用いることができる。

２．画像データから移動体部分を切り出し、そこから予め決められた情報、例えば、形状、サイズ、輝度分布、色分布、特徴点分布、ビットマップパターンなど、あるいはこれらのいくつかを組み合わせたものを抽出する。これにより、移動体の外見上の特徴情報を取得する（特徴情報抽出機能）。

３．後述する図２に示すように、カメラに対して移動体のどの側面が撮影されたかを示す側面情報を取得する（側面情報取得機能）。なお、図２の例では、カメラの撮影方向に対する移動体の移動方向（移動体の向き）を相対角度として計算し、この相対角度を移動体の側面情報と等価なものと見なしている。

４．移動体の側面情報と特徴情報とを組み合わせて移動体情報を作り、例えば後述する表１に示す移動体情報を記憶部１０４に記憶する。

５．画像上における移動体の代表位置（例えば中心位置）を計算し、所定のフレーム数分だけ移動体の代表位置の軌跡を求めることにより、画像上での移動体の今後の移動方向と移動量を予測する。そして、この予測結果を撮影パラメータ制御部１０２に渡す。また、ユーザ設定によっては移動体の画像上のサイズも計算して撮影パラメータ制御部１０２に渡す。

６．既述したように撮影パラメータ制御部１０２から渡された画像撮影部１０３のパン角とチルト角、及び移動体の画像上での今後の移動方向と移動量の予測結果を用いることにより、移動体がカメラ１００の視野から遠ざかっているかどうかを判断する。

ここで、もし移動体が遠ざかっていると判断した場合は、設置情報取得部１０１が取得するか、又は予め記憶部１０４に記憶しておいた設置情報を用いて移動体の進行方向にある他のカメラを特定する。そして、通信部１０７及びネットワーク１３０を介して、この特定した他のカメラに対して記憶部１０４に記憶しておいたすべての移動体情報を送信する。あるいは、記憶部１０４に記憶しておいた移動体情報の一部を選択して送信する。

なお、この移動体情報の選択方法には少なくとも２つの方法がある。第一の方法は、予め記憶部１０４に記憶しておいた他のカメラの設置情報を参照することにより、他のカメラが撮影する可能性のある移動体の側面情報に対応した（複数組の）移動体情報だけを選択する方法である。

第二の方法は、隣接するカメラと定期的に通信し、隣接するカメラが現在どちらの方向を向いているかを調べておくことにより、特定したカメラが最初に移動体のどの側面から撮影するかを判断する。そして、判断結果と同じ側面情報に対応する移動体情報または特徴情報のみを選択する。

７．他のカメラから受信した移動体情報と自身が取得した移動体情報とを比較する（移動体情報比較機能）。

つまり、移動体情報処理部１０５は、ソフト上の撮影した画像データから移動体を検出する移動体検出手段と、移動体の外見上の特徴情報を抽出する特徴情報抽出手段と、移動体のどの側面を撮影したかを示す側面情報を取得する側面情報取得手段とを備えている。また、移動体情報処理部１０５は、移動体の側面情報と特徴情報とを組み合わせて移動体情報を得る移動体情報取得手段と、移動体情報を記憶する移動体情報記憶手段と、移動体が移動する方向に位置するシステム用カメラを選択するカメラ選択手段とを備えている。

さらに、移動体情報をカメラ選択手段が選択した移動方向側のシステム用カメラに送信する送信制御手段を備えている。また、通信部１０７により受信した他のシステム用カメラからの移動体情報と、移動体情報取得手段が取得した移動体情報とを比較する移動体情報比較手段と、移動体の接近離反を判定する判定手段とを備えている。

画像符号化部１０６は、画像撮影部１０３からの画像データ及び移動体情報処理部１０５が時系列的に処理した画像データを予め決められた手順で画像データの圧縮、暗号化、誤り訂正符号化などを行い、符号化済み画像データを通信部１０７に渡す。ただし、画像符号化部１０６は、画像データをモニタリング装置１２０に送信する必要がある場合のみ動作する。

このためには、画像データをモニタリング装置１２０に送信するかどうかを制御するための制御手順をあらかじめ決めておく必要がある。制御手順の例としては、移動体情報処理部１０５が移動体を検出している間は常に画像データをモニタリング装置１２０に送信するというものがある。

あるいは別の例として、モニタリング装置１２０のユーザが画像データ送信の開始及び停止を制御できるようにシステム設計しておくこともできる。なお、さらに別の例として、モニタリング装置１２０では画像データは表示しない（移動体の位置情報だけ表示できればよい）と決めた場合は、画像符号化部１０６は不要となる。

通信部１０７は、ネットワーク１３０に適した方法（データ形式、変調方式、通信プロトコルなど）で様々なデータを送受信する。

一方、モニタリング装置１２０は、通信部１２１、画像復号化部１２２、制御部１２３及び表示部１２４を備えている。

ここで、通信部１２１は、ネットワーク１３０に適した方法で様々なデータを送受信するものである。画像復号化部１２２は、受信した符号化済み画像データを復号化した後、表示部１２４に画像データを渡すものである。制御部１２３は、不図示のユーザインタフェースを備え、ユーザからの指示に応じて表示部１２４の表示方法を変更したり、任意のカメラに対して制御情報を送信するなどの制御を行うものである。

表示部１２４は、通信部１２１から受け取った移動体情報及び画像復号化部１２２から受け取った画像データをそれぞれ所定の表示方法でユーザに表示するものである。

図２は、既述した図５に示す直線道路上を左から右に向かって自動車（移動体）が移動するとき、道路脇手前側に置かれた第１及び第２ＰＴＺカメラ１００，１１０が側面情報を取得する方法を示す図である。

ここで、図２において、第１及び第２ＰＴＺカメラ１００，１１０の設置方向を基準にして角度０°とし、また自動車の移動方向を角度β°で表し、第１及び第２ＰＴＺカメラ１００，１１０の撮影方向を角度α°で表す。なお、この場合、角度の正方向（＋方向）は時計回り方向とする。また、自動車の前面は常に自動車の移動方向を向いているので、角度β°によって自動車の正面方向が決定される。

ここで、自動車が常にカメラ視野の中心に来るように撮影した場合、自動車のどの側面が撮影されるかは、第１及び第２ＰＴＺカメラ１００，１１０の撮影方向に対する自動車の相対的な移動方向によって決まる。

図２から明らかなように、第１及び第２ＰＴＺカメラ１００，１１０の撮影方向に対する移動体の相対的な移動方向は、相対角度（β−α）°によって求められる。従って、相対角度（β−α）°は移動体の側面情報として利用することができる。

図２の例では、第１及び第２ＰＴＺカメラ１００，１１０の設置方向を直線道路に垂直かつ下から上を見る方向（直線道路を見る方向）としている。自動車の移動方向は直線道路に並行かつ左から右に向かう方向なので、β＝９０となる。このとき、（β−α）の値と自動車の撮影される側面との関係は、以下のようになる。

（β−α）≒１８０のとき、自動車のほぼ正面が撮影される。

（β−α）≒９０のとき、自動車のほぼ真横が撮影される。

（β−α）≒０のとき、自動車のほぼ背面が撮影される。

下記の表１は、図１に示した第１ＰＴＺカメラ１００が移動体情報を記憶部１０４に格納する際のデータ格納形式を例示する表である。

この表１には、時刻、ズーム率、相対角度、移動体の特徴情報の４種類のデータが記されているが、このうち相対角度と移動体の特徴情報の２種類のデータが移動体情報を表している。図２で述べたように、相対角度は移動体の側面情報として利用している。

また、もし移動体の特徴情報がズーム率に応じて変化するものであった場合、相対角度と合わせてズーム率も移動体の側面情報の一部と見なし、カメラ間で送受信される移動体情報に含めることとする。これにより、例えば２つのカメラ間でズーム率の制御方法が異なる場合、ズーム率の違いによって生じた移動体の特徴情報の変化を補正することにより、他のカメラから受信した移動体情報と自カメラで抽出した移動体情報とを正しく比較することができる。

ここで、表１において、時刻は第１ＰＴＺカメラ１００が備える不図示のタイマによって計測され、ズーム率は第１ＰＴＺカメラ１００が備える不図示のズーム機構の制御量として取得され、相対角度は上述した方法によって求められる。また、移動体の特徴情報は、従来知られているどのような方法によって抽出しても良く、特徴情報の具体例としては、移動体の形状、サイズ、輝度分布、色分布、特徴点分布、ビットマップパターン、或はこれらのいくつかを組み合わせたものが挙げられる。
- 次に、第１及び第２ＰＴＺカメラ１００，１１０の連携手順を図３に示すフローチャートを用いて具体的に説明する。

移動体（自動車）が現れる前は、第１及び第２ＰＴＺカメラ１００，１１０はいずれも移動体の検出動作を行う（Ｓ１００；移動物検出手段）。このような移動体の検出動作時、可能な限り広い範囲から移動体を早期に発見することができるよう両カメラ１００，１１０はいずれも、ズーム率を最低にして正面を向くか、または一定周期で左右に首振り動作（パンニング）を行う。なお、第１ＰＴＺカメラ１００は第２ＰＴＺカメラ１１０の移動体移動方向上流側に位置していることから、第１ＰＴＺカメラ１００の方が先に移動体を検知する。

ここで、両カメラ１００，１１０が正面方向に静止している場合は、背景差分法やフレーム間差分法を用いて移動体を検出することができる。一方、両カメラ１００，１１０がパンニングしている場合は、オプティカルフロー法を用いてパンニング以外のフローベクトルを検出することにより移動体を検出できる。

次に、このような移動体検出動作により、第１ＰＴＺカメラ１００が移動体を検出すると（Ｓ１０２のＹ）、移動体の存在する方向にパンニング及びズームアップ制御を行い、時刻ｔ１で視野１−１を向き、移動体の撮影を開始する（Ｓ１０４）。第１ＰＴＺカメラ１００は一定期間視野を固定した状態で複数フレームに渡って移動体の画像上での位置の変化を調べることにより、移動体が今後画像上のどの位置まで移動するか予測できるので、その予測位置が画像の中心に来るようにパンニングを行う。

また、パン角の変更に連動してズーム率を変更する。ここで、ズーム率を変更する理由は、移動体がカメラに近づくにつれてズーム率を下げることにより、移動体の画像上でのサイズが常に一定になるようにするためである。

パン角とズーム率の関係は、カメラと監視範囲の対応関係によって異なるため、例えばカメラ設置時にユーザが対応関係を調べて設定しておく。または、移動体情報処理部１０５が常に移動体の画像上でのサイズを計測し、撮影パラメータ制御部１０２に渡すことにより、計測されたサイズがあらかじめ定めた所定のサイズに近づくように撮影パラメータ制御部１０２が自動的にズーム率を制御するようにしてもよい。

上述の撮影パラメータの変更は間欠的に行う。つまり、一定期間視野を固定している間に移動体の画像上での位置の変化を調べ、その結果を受けて所定量だけ撮影パラメータを変更することにより移動体を追跡する、という２つの動作を繰り返す。こうして第１ＰＴＺカメラ１００が移動体を追跡しながら撮影すると共に、特徴情報を抽出し（Ｓ１０６；特徴情報抽出手段）、側面情報を取得する（Ｓ１０８；側面情報取得手段）。

そして、このようにして得た特徴情報と側面情報とを組み合わせて移動体情報を取得する（Ｓ１０９；移動体情報取得手段）。この後、他のカメラから移動体情報を受信していない場合には（Ｓ１１０のＮ）、この移動体情報及び他の追加データを表１に例示したような形式で記憶部１０４に記憶していく（Ｓ１１６；移動体情報記憶手段）。

さらに、第１ＰＴＺカメラ１００は設置情報取得部１０１で取得するか、または記憶部１０４に記憶しておいた設置情報と移動体の移動方向とを比較する。これにより、移動体が進む方向に位置する他のカメラ、この場合は第２ＰＴＺカメラ１１０を選択する（Ｓ１１８；カメラ選択記憶手段）。

そして、それまで接近してきた移動体が第１ＰＴＺカメラ１００から離反する方向に向かうと判断すると（Ｓ１２０；判定手段）、第１ＰＴＺカメラ１００は所定のタイミングで記憶しているすべての移動体情報を第２ＰＴＺカメラ１１０に送信する（Ｓ１２２；移動体情報送信手段）。

ここで、所定のタイミングとしては、移動体が第２ＰＴＺカメラ１１０の方向に進んでいることを認識した時刻（例えば時刻ｔ３）、移動体が第１ＰＴＺカメラ１００の視野から外れそうなことを認識した時刻（時刻ｔ５）、またはその両方の時刻がある。いずれのタイミングに移動体情報を送信するかは、システム設計時に決めておいてもよいし、ユーザ設定によって変更できるようにしておいてもよい。

また、このように移動体情報をすべて送ることにより、第２ＰＴＺカメラ１１０が移動体のどの側面を撮影しても、受信した移動体情報の中から自身が撮影中の側面に対応する移動体情報を見つけ出すことができる。

なお、送信する移動体情報に関しては、すべての移動体情報を送るのではなく、一部の移動体情報を選択して送るようにしても良い。例えば、第２ＰＴＺカメラ１１０の前に障害物があり、視野２−２と視野２−３が障害物によって遮蔽されている場合、第２ＰＴＺカメラ１１０では相対角度１２０°及び９０°に対応する移動体情報を利用できない。

従って、この場合、第１ＰＴＺカメラ１００は相対角度１５０°、６０°及び３０°に対応する移動体情報だけを選択して第２ＰＴＺカメラ１１０に送信すればよい。このように、第２ＰＴＺカメラ１１０が撮影できる側面に対応する移動体情報だけを送るようにすることにより、情報伝送量を減らすことができる。

また、例えば、第２ＰＴＺカメラ１１０は第１ＰＴＺカメラ１００から移動体情報を受信すると直ちに視野を左に向け、視野２−１を撮影できるとわかっている場合がある。この場合には、第１ＰＴＺカメラ１００は相対角度１５０°に対応する移動体情報だけを選択して第２ＰＴＺカメラ１１０に送信すればよい。

このように、第２ＰＴＺカメラ１１０が最初に移動体のどちらの側面から撮影するかを知っていれば、その側面情報に対応した移動体情報だけを送るようにすることにより、情報伝送の無駄をなくすことができる。なお、この場合、移動体情報のうち特徴情報だけを送るようにしても良い。

いずれにしても、この後、第２ＰＴＺカメラ１１０は第１ＰＴＺカメラ１００から受信した移動体情報と、第２ＰＴＺカメラ自身で検出した移動体情報とを比較することにより、第１ＰＴＺカメラ１００と同じ移動体を検出したかどうかを調べることができる。そして、もし同一の移動体を検出したと判断した場合は、第２ＰＴＺカメラ１１０はそのまま移動体を追跡しながら監視する。逆に、第１ＰＴＺカメラ１００とは異なる移動体を検出したと判断した場合は、その移動体を無視する。

一方、第１ＰＴＺカメラ１００は、他のカメラから移動体情報を受信する場合がある。そして、このように他のカメラから移動体情報を受信した場合（Ｓ１１０のＹ）、Ｓ１０９で取得した移動体情報と、この他のカメラからの移動体情報とを比較する（Ｓ１１２；移動体情報比較手段）。

この比較の結果、他のカメラと同一の移動体を検出したと判断した場合は、第１ＰＴＺカメラ１００はそのまま移動体を追跡しながら監視する。逆に、他のカメラとは異なる移動体を検出したと判断した場合は、その移動体を無視する。

このように、撮影した画像データから移動体を検出すると共に、検出した移動体の外見上の特徴情報及び側面情報を組み合わせて移動体情報を得、この移動体情報を記憶する。さらに、移動体が移動する方向に位置するシステム用カメラを選択し、このシステム用カメラに移動体情報を所定のタイミングで送信することにより、他のシステム用カメラと連携して移動体を継続して撮影することができる。

これにより、移動体が移動するにつれてカメラに対して移動体の異なる側面が見える場合でも、常に移動体のマッチングに成功する（カメラ間の連携に成功する）。この結果、第１及び第２ＰＴＺカメラ１００，１１０は継続して同一の移動体を撮影することができる。

次に、本発明の第２の実施の形態について説明する。

図４は、本実施の形態に係る複数のシステム用カメラを用いた連携カメラシステムのブロック図であり、図４において、２００、２１０はシステム用カメラである第１広角カメラ及び第２広角カメラである。ここで、この第１及び第２広角カメラ２００，２１０はそれぞれ必要に応じて、ネットワーク１３０を介して画像データ及びまたは移動体情報をモニタリング装置１２０に送信する。また、第１及び第２広角カメラ２００，２１０はそれぞれ必要に応じて、ネットワーク１３０を介して互いに移動体情報を送受信する。

なお、図４においては、２つのカメラ２００，２１０しか図示していないが、他にも２つのカメラ２００，２１０と同様の構成の不図示のカメラが存在している。そして、これらの不図示のカメラも全てネットワーク１３０を介して画像データ及びまたは移動体情報をモニタリング装置１２０に送信する。また、それぞれ必要に応じてネットワーク１３０を介して互いに移動体情報を送受信する。

第１広角カメラ２００は、設置情報取得部２０１、画像撮影部２０３、記憶部２０４、移動体情報処理部２０５、画像符号化部２０６、通信部２０７を備えている。また、第２カメラ１０１及び不図示のカメラも、設置情報取得部２１１、画像撮影部２１３、記憶部２１４、移動体情報処理部２１５、画像符号化部２１６、通信部２１７を備えている。

ここで、この第１広角カメラ２００の画像撮影部２０３は広角レンズまたは魚眼レンズを備えており、このため視野が固定された状態で非常に広い視野角で撮影することが出来る。したがって、既述した図１に示すような撮影パラメータ制御部１０２は、不要となる。

次に、既述した図６に示す直線道路上を左から右に向かって自動車（移動体）が移動するとき、道路脇手前側に置かれた第１及び第２広角カメラ２００，２１０が側面情報を取得する方法について説明する。

図４に示した第１及び第２広角カメラ２００，２１０は、それぞれ常に同じ視野（図６に示す視野１及び視野２）を撮影している。なお、第１及び第２広角カメラ２００，２１０で撮影した画像の一部（Ｘ座標の一部の範囲）を切り出した場合、画像の解像度は異なるものの、移動体の写る側面は第１及び第２ＰＴＺカメラ１００，１１０で撮影した画像に写る移動体の側面とほぼ同様になる。

下記の表２は、第１及び第２広角カメラ２００，２１０で撮影した画像のＸ座標範囲に対応する第１及び第２ＰＴＺカメラ１００，１１０の撮影方向及び相対角度の例を示す表である。

そして、この表２に例示したような対応表を用いることにより、第１の実施の形態と同様に相対角度と移動体の特徴情報を含む移動体情報を取得することができる。

これにより、移動体が移動するにつれてカメラに対して移動体の異なる側面が見える場合でも、常に移動体のマッチングに成功する（カメラ間の連携に成功する）。この結果、第１及び第２広角カメラ２００，２１０は継続して同一の移動体を撮影することができる。

本発明の第１の実施の形態に係る複数のシステム用カメラを用いた連携カメラシステムのブロック図。 上記システム用カメラであるＰＴＺカメラが移動体の側面情報を取得する方法を例示する図。 上記システム用カメラである第１及び第２ＰＴＺカメラの連携手順を示すフローチャート。 本発明の第２の実施の形態に係る複数のシステム用カメラを用いた連携カメラシステムのブロック図。 移動体が移動するにつれてＰＴＺカメラに対して移動体の異なる側面が見えることを説明する図。 移動体が移動するにつれて広角カメラに対して移動体の異なる側面が見えることを説明する図。

符号の説明

１０４ 記憶部
１０５ 移動体情報処理部
１０７ 通信部
１００ 第１ＰＴＺカメラ
１１０ 第２ＰＴＺカメラ
１１４ 記憶部
１１５ 移動体情報処理部
１１７ 通信部
１２０ モニタリング装置
１３０ ネットワーク
２００ 第１広角カメラ
２０４ 記憶部
２０５ 移動体情報処理部
２０７ 通信部
２１０ 第２広角カメラ
２１４ 記憶部
２１５ 移動体情報処理部
２１７ 通信部

Claims (10)

1. 移動体を継続して撮影するシステムに用いられるシステム用カメラにおいて、
   撮影した画像データから前記移動体を検出する移動体検出手段と、
   前記移動体の外見上の特徴情報を抽出する特徴情報抽出手段と、
   前記移動体のどの側面を撮影したかを示す側面情報を取得する側面情報取得手段と、
   前記移動体の側面情報と特徴情報とを組み合わせて移動体情報を得る移動体情報取得手段と、
   前記移動体情報を記憶する移動体情報記憶手段と、
   前記移動体が移動する方向に位置するシステム用カメラを選択するカメラ選択手段と、
   前記移動体情報を前記カメラ選択手段が選択した移動方向側のシステム用カメラに送信する送信制御手段と、
   を備えたことを特徴とするシステム用カメラ。
2. 前記移動体情報を送信すると共に他のシステム用カメラからの移動体情報を受信する通信部と、
   前記通信部により受信した他のシステム用カメラからの移動体情報と、前記移動体情報取得手段が取得した移動体情報とを比較する移動体情報比較手段と、を備え、
   前記移動体情報比較手段による比較により撮影している移動体と前記他のシステム用カメラが撮影した移動体とが同じであると判断した場合に、前記移動体の撮影を継続することを特徴とする請求項１記載のシステム用カメラ。
3. 前記移動体の接近離反を判定する判定手段を備え、
   前記送信制御手段は、前記判定手段により前記移動体が遠ざかっていくと判断すると、前記移動体情報を前記移動方向側のシステム用カメラに送信することを特徴とする請求項１又は２記載のシステム用カメラ。
4. 前記送信制御手段は、前記移動体情報記憶手段に記憶された移動体情報をすべて前記移動方向側のシステム用カメラに送信することを特徴とする請求項１乃至３の何れか１項に記載のシステム用カメラ。
5. 前記送信制御手段は、前記移動体情報記憶手段に記憶された移動体情報のうち前記移動方向側のシステム用カメラの状態に応じた情報を選択的に送信することを特徴とする請求項１乃至３の何れか１項に記載のシステム用カメラ。
6. 前記送信制御手段は、前記移動体情報記憶手段に記憶された移動体情報のうち前記移動方向側のシステム用カメラが最初に撮影すると予測される移動体の側面情報に対応した情報を選択的に送信することを特徴とする請求項１乃至３の何れか１項に記載のシステム用カメラ。
7. 上記請求項１乃至６の何れか１項に記載のシステム用カメラを連携させて移動体を継続して撮影することを特徴とする連携カメラシステム。
8. 複数のシステム用カメラを用いて移動体を継続して撮影する連携カメラシステムにおいて、
   前記複数のシステム用カメラは、それぞれ撮影した画像データから前記移動体を検出する移動体検出手段と、前記移動体の外見上の特徴情報を抽出する特徴情報抽出手段と、前記移動体のどの側面を撮影したかを示す側面情報を取得する側面情報取得手段と、前記移動体の側面情報と特徴情報とを組み合わせて移動体情報を得る移動体情報取得手段と、前記移動体情報を記憶する移動体情報記憶手段と、前記移動体が移動する方向に位置するシステム用カメラを選択するカメラ選択手段と、前記移動体情報を前記カメラ選択手段が選択した移動方向側のシステム用カメラに送信する送信制御手段と、を備えていることを特徴とする連携カメラシステム。
9. 前記複数のシステム用カメラは、それぞれ前記移動体情報を送信すると共に他のシステム用カメラからの移動体情報を受信する通信部と、前記通信部により受信した他のシステム用カメラからの移動体情報と、前記移動体情報取得手段が取得した移動体情報とを比較する移動体情報比較手段と、を備え、前記移動体情報比較手段による比較により撮影している移動体と前記他のシステム用カメラが撮影した移動体とが同じであると判断した場合に、前記移動体の撮影を継続することを特徴とする請求項８記載の連携カメラシステム。
10. 前記複数のシステム用カメラは、それぞれ前記移動体の接近離反を判定する判定手段を備え、前記送信制御手段は、前記判定手段により前記移動体が遠ざかっていくと判断すると、前記移動体情報を前記移動方向側のシステム用カメラに送信することを特徴とする請求項８又は９記載の連携カメラシステム。
    

Images