JP2007036756A - 視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステム - Google Patents

Abstract

【課題】 全周カメラとズームカメラをリンクさせ、監視範囲を可視可能な範囲全域に広げて全体を監視しつつ、監視対象の拡大画像を取得する。
【解決手段】 所定の監視対象物を撮影可能な位置に設置され、視点と視角を固定した所定の全周囲映像を撮影する全周カメラ１０１ａと、全周カメラ１０１ａの近傍に設置され、ズーム機能を有し、視角方向に回転可能な所定の狭角映像を撮影するズーム付きカメラ１０１ｂとを備えた撮影装置１０１と、撮影装置１０１で取得された全周囲映像と狭角映像を送受信する送受信装置１０２と、送受信装置１０２を介して受信された全周映像を自動解析し、監視対象物を自動検出する監視対象物検出装置１０３と、監視対象物の三次元座標又はカメラからの方向と概略の大きさを求めて、監視対象物の位置又は方向を前記狭角カメラに指定する監視対象物指定装置１０４と、監視対象物を表示する表示装置１０５を備える。
【選択図】 図１

Description

本発明は、ビデオカメラ等の撮影装置によって所望の監視対象を無人・自動で監視するための監視カメラシステムに関し、特に、不審物を認識・発見した場合に自動通報したり、該当映像を表示するとともに、監視対象物が決まっている場合には、その監視対象物の移動等を自動追跡して監視・表示することができる監視カメラシステムに関する。

一般に、防犯システム，セキュリティ・システムとして、ビデオカメラ等の撮影装置によって所望の監視対象を無人・自動で監視するための監視カメラシステムが広く利用されている。
この種の監視カメラシステムは、例えば、銀行やコンビニエンス・ストアの店内やキャッシュ・コーナー、飛行場のターミナルや滑走路等、所定の監視対象物や監視対象エリアに監視カメラを設置し、監視カメラで撮影された映像を遠隔操作で監視することで、不審者の発見や所定の監視対象物の追跡監視等が行われるようになっている。

このような従来の監視カメラシステムでは、監視カメラは、ズーム機能を備えた狭角カメラが雲台に搭載されて視角方向に回転駆動され、一のカメラで一定範囲を撮影・監視できるようになっていた。そして、このような監視カメラが、監視対象物の数や大きさ、監視対象エリアの広さ等に応じて、一又は複数の監視カメラが適切な場所に配設・設置され、所望の監視が行われていた。
このような従来の監視カメラシステムに関する技術としては、例えば、特開平７−２８３９７９号公報（特許文献１）記載の「全周囲装置」や、特開平８−１９４８０９号公報（特許文献２）記載の「３６０度監視システム」などが知られている。

特開平７−２８３９７９号公報（第２−３頁、第１図） 特開平８−１９４８０９号公報（第２−３頁、第１図）

しかしながら、これまでの監視カメラシステムでは、監視用のカメラは雲台により視角方向に回転できるようになっていたが、雲台による回転駆動には限界があり、対象となる監視範囲は限定されたものとなっていた。
また、回転するカメラによる監視では必ず監視されない死角ができてしまい、カメラを３６０度回転させたとしても、カメラ全周を同時に撮影・監視することはできなかった。
この点、複数のカメラによって共通する監視対象を撮影・監視することで死角を少なくすることはできるが、複数カメラによる監視映像は、部分画像の集合であり、監視エリアの全体を一枚の映像として監視することはできなかった。

さらに、従来の監視システムにおてい、監視カメラの解像度を上げようとすれば、画角が狭くなり、監視範囲を広げようと思えば画角が広くなるが、解像度が落ちてしまい、解像度の高さと監視範囲の広さの双方を同時に満たすことは困難であった。
このように、従来の監視カメラシステムは、特に防犯システム，セキュリティ・システムとしては万全なものとはいえなかった。

本発明は、以上のような従来の技術が有する問題を解決するために提案されたものであり、視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせることにより、監視範囲を可視可能な範囲全域に広げて、全体を監視しながら、同時に監視対象に対しては、拡大画像を得ることが可能となり、死角を無くして、監視対象エリアの全体を一枚の映像として表示し、画像の高解像度化と監視範囲の広域化の双方を同時に実現することができる監視カメラシステムの提供を目的とする。

上記目的を達成するため、本発明の視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステムは、請求項１に記載するように、所定の監視対象物を撮影可能な位置に設置され、視点と視角を固定した所定の全周囲映像を撮影する全周カメラと、全周カメラの近傍に設置され、ズーム機能を有し、視角方向に回転可能な所定の狭角映像を撮影する狭角カメラと、を備えた撮影装置と、前記撮影装置で取得された全周囲映像と狭角映像を送受信する送受信装置と、前記送受信装置を介して受信された全周映像を自動解析し、監視対象物を自動検出する監視対象物検出装置と、前記監視対象物の三次元座標又はカメラからの方向と概略の大きさを求めて、前記監視対象物の位置又は方向を前記狭角カメラに指定する監視対象物指定装置と、前記監視対象物を表示する表示装置とを備える構成としてある。

また、本発明の監視カメラシステムは、請求項２に記載するように、前記監視対象物を自動認識して、当該監視対象物の属性を含む所定の情報を表示し、又は所定の警報を発する対象物認識装置を備える構成としてある。

また、本発明の監視カメラシステムは、請求項３に記載するように、前記監視対象物となる任意の対象物についての属性情報を予め登録するとともに、この属性情報を更新し、検索し、前記表示装置の画像中で任意の監視対象物を指定されることにより、指定された監視対象物の属性を画像とともに表示させる属性登録検索装置を備える構成としてある。

また、本発明の監視カメラシステムは、請求項４に記載するように、前記監視対象物検出装置で自動検出され、又は前記監視対象物認識装置で自動認識された監視対象物の画像及び／又は当該画像をＣＧ化した画像を記録する状況記憶装置を備える構成としてある。

さらに、本発明の監視カメラシステムは、請求項５に記載するように、待機状態の前記狭角カメラにおいて、カメラ画角よりも十分広い画角を走査し、得られた複数の画像を自動的に結合して一枚の大画面画像を生成・表示するとともに、前記画角と重複する画角を繰り返して走査し、得られた複数の画像のそれぞれを前記一枚の大画面画像の対応部分と比較し、比較結果に顕著な違いがあれば不審物の候補とし、その画像の一部をさらに拡大して表示する一部リアルタイム画像表示装置を備える構成としてある。

このような構成からなる本発明の監視カメラシステムによれば、視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせ、監視可能範囲全体を監視するために全周カメラを用い、部分を拡大する為に通常のズームカメラを用い、これらをリンクして併用する。そして、全周カメラの画像領域と、ズームカメラの領域を完全に対応させ、全周カメラの映像で、任意の一点を指定（クリック）すれば、ズームカメラがそこにズームアップすることができる。
これにより、全周カメラで不審物を発見し、その三次元位置を求めその座標に対してズームカメラがズームアップすることができる。
また、既存の対象物に対しては、対象物をクリックすることで属性登録、属性更新、属性検索属性表示をすることができる。

以上のように、本発明の監視カメラシステムによれば、視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせることにより、監視範囲を可視可能な範囲全域に広げて、全体を監視しながら、同時に監視対象に対しては、拡大画像を得ることが可能となる。
これにより、死角を無くし、監視対象エリアの全体を一枚の映像として表示することができ、カメラの高解像度化と監視範囲の広域化の双方を同時に実現できる、万全で漏れのない信頼性の高い監視システム，セキュリティ・システムを提供することができる。

以下、本発明に係る視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステムの好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の監視カメラシステムは、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、監視対象物の自動検出・自動認識，監視対象物の三次元座標の算出，監視対象物画像のＣＧ化等を行わせる。このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。

［基本構成］
まず、図１を参照して、本発明に係る監視カメラシステムの一実施形態の基本的構成について説明する。
図１は、本発明の一実施形態に係る監視カメラシステムの基本構成を示すブロック図である。
図１に示すように、本実施形態に係る監視カメラシステム１は、所定の監視対象物や監視エリアの映像を撮影する撮影装置１０１と、この撮影装置１０１を介して監視対象物や監視対象エリアを遠隔監視する監視装置１ａを備えている。
撮影装置１０１と監視装置１ａとは、通常は離間して設置され、有線又は無線の通信回線を介して互いにデータ通信可能に接続されている。
具体的には、本実施形態では、監視カメラシステム１は、撮影装置１０１と、送受信装置１０２と、監視対象物検出装置１０３と、監視対象物指定装置１０４と、表示装置１０５と、監視対象物認識装置１０６と、属性登録更新検索装置１０７と、状況記憶装置１０８と、一部リアルタイム装置１０９とを備える構成となっている。

撮影装置１０１は、監視対象物を見渡せる場所に固定された視点と視角を固定した全周カメラ１０１ａと、その近傍に設置され、ズーム機能を有し、視角方向を自由に選択回転して撮影できる狭角カメラ（ズーム付きカメラ）１０１ｂとからなる。
送受信装置１０２は、撮影装置１０１で取得された全周囲映像と狭角映像とを所定の監視場所に設置された監視装置１ａまで送信し、また、監視装置１ａからの信号を受信する送受信手段である。
監視対象物検出装置１０３は、受信した全周映像を自動解析し、監視対象物を自動検出する。
監視対象物指定装置１０４は、監視対象物の三次元座標又はカメラからの方向と概略の大きさを求めて、監視対象物の位置又は方向を狭角カメラに自動指定し、若しくは手動で指定する。
表示装置１０５は、監視対象物を表示する表示手段である。

監視対象物認識装置１０６は、監視対象物を自動認識して、その属性等を表示し、または警報等を発する。
属性登録更新検索装置１０７は、監視対象となる対象物のいくつかには、予め属性が登録され、必要に応じて更新し、検索し、画像中で自動又は手動により指定すれば呼び出されて、属性と共に表示できるようにする。
状況記憶装置１０８は、自動検出した監視対象物及び自動認識した監視対象物を画像として、又は若しくは同時に、CG化して長期間記録する。

一部リアルタイム画像表示装置１０９は、待機状態のズーム付きカメラ（狭角カメラ１０１ｂ）において、ズームレンズの画角よりも十分広い画角を走査し、得られた複数の画像を自動的に結合して一枚の大画面画像を生成し、表示し、さらに画角と重複する画角を繰り返して走査し、得られた複数の画像のそれぞれを前記一枚の大画面画像の対応部分と比較して、そこに顕著な違いがあれば不審物の候補とし、その画像の一部をさらに拡大して表示し、上記操作を繰り返し、不審物を探しながら監視する。

ここで、本実施形態の撮影装置１０１を構成する全周カメラ１０１ａとしては、カメラの全周３６０度の広範囲映像を撮影可能なカメラであって、例えば、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、３６０度周囲に回転可能なカメラ等がある。本実施形態では、図２に示すように、カメラの全周方向に５台、カメラ上方向に１台の系６台のカメラ部が一体的に備えられた全周カメラ（例えばカナダＰＧＲ社製）によって、カメラ周囲の映像を球状に撮影可能なカメラを使用するようにしてある。

このような全周カメラ１０１ａによれば、図２に示すように、任意の位置に設置されたカメラの３６０度全周囲の映像を複数のカメラ部で同時に撮影することができ、監視対象物を含む広範囲映像を取得できる。
なお、全周カメラ１０１ａで撮影される広範囲映像は、一枚の画像として、撮影時の画角に一致する仮想球面に貼り付けることができる。仮想球面に貼り付けられた球面画像データは、仮想球面に貼り付けた状態の球面画像（３６０度画像）データとして保存・出力される。仮想球面は、広範囲映像を取得するカメラ部を中心点とした任意の球面状に設定することができる。
図３（ａ）は球面画像が貼り付けられる仮想球面の外観イメージであり、同図（ｂ）は仮想球面に貼り付けられた球面画像の一例である。また、同図（ｃ）は、（ｂ）の球面画像をメルカトール図法に従って平面展開した画像例を示す。

そして、本実施形態では、以上のような全周カメラ１０１ａと、通常のズーム付きカメラからなる狭角カメラ１０１ｂとを近傍に設置し、所定の監視対象物や監視対象エリアを、全周カメラ１０１ａと狭角カメラ１０１ｂの双方で撮影するようにしてある。
全周カメラ１０１ａと狭角カメラ１０１ｂの設置パターンの一例を図４に示す。
図４は、本実施形態に係る全周カメラ１０１ａと狭角カメラ１０１ｂの設置例を模式的に示す概略図である。同図（ａ）に示すように、全周カメラ１０１ａと狭角カメラ１０１ｂは、専用の支柱を用いて設置することができる。
狭角カメラ１０１ｂは、同図（ｂ）に示すように、駆動制御可能な制御雲台に搭載されて設置され、カメラの視角方向（方位角方向及び俯仰角方向）に回転可能に設置される。
同図（ｃ）は、全周カメラ１０１ａと狭角カメラ１０１ｂを組み合わせて空港の滑走路沿いのビルの屋上に設置した例を示す。なお、空港監視システムに関しては、図７〜図１１を参照しつつより詳細に後述する。

なお、全周カメラ１０１ａ及び狭角カメラ１０１ｂは、監視対象物の数や大きさ、監視対象エリアの広さ等に応じて複数のカメラを設置することができる。
各カメラは同期接続されていることが望ましいが、カメラの台数が増加すると同期の為の装置が大がかりになりコストに反映してしまう。
そこで、本実施形態では、コスト抑制を図るために、各カメラは非同期で使用し、又は、ズーム機能付きカメラ（狭角カメラ１０１ｂ）は同期とし、全周カメラ１０１ａのみ非同期として、非同期のカメラから同期映像を生成して、計測や認識に利用するようにしてある。

具体的には、図５に示すように、全周カメラ１，２〜Ｎはすべて非同期とし（複数非同期カメラ装置５０１）、既存のズーム機能付きカメラからなる狭角カメラは同期接続とする。
各カメラには共通の時計（時計部５０２）により時刻を記録し、時刻によってフレームのズレを検出し、その差分を両側のフレームから中間フレームを生成し（中間フレーム画像生成装置５０３）、同期映像を生成する（同期映像生成装置５０４）。
そして、生成された同期映像に基づいて、所望の監視対象物の認識・計測（対象物座標計測装置５０５）、及び三次元座標検算（三次元座標取得部５０６）などに用いる。

［処理動作］
次に、以上のような構成からなる本実施形態の監視カメラシステムにおける具体的な処理動作を、図６を参照しつつ説明する。
同図に示すように、まず、全周映像取得部６０１において、例えばカナダＰＧＲ社製の全周カメラによって全周画像を取得する。
全周カメラ及び狭角カメラ（ズーム付きの通常カメラ）は、予めその設置位置を絶対座標で取得しておくことが望ましい。各全周カメラと通常カメラの絶対座標が分かっていることで、後に行う監視対象物の三次元座標取得や三次元距離計測やズームアップ等の処理に有効となる。
次で、前処理部に６０２おいて、得られた全周映像について、結合処理、ブレンド処理、色補正等の画像処理と、時刻付加等の所定の前処理部を行う。

次に、画像伝送部６０３において、前処理後の画像をそのまま、又は圧縮する等して、無線又は有線を介して監視装置が備えられる監視室・ディスプレイ室等の所定の場所に画像データが送られる。
監視装置の受信側となる画像受信部６０４では、画像伝送部６０３から送信された送信画像を受信し、圧縮されている場合には解凍し、通常の画像に変換する。
監視装置側では、全周映像一時記録部６０５において、一時画像を蓄えて、必要に応じ中間フレームを生成し、同期した映像を生成する。
次いで、移動体検出部６０６において、単体の全周カメラの映像、又は同期処理した複数の全周カメラによる映像から、移動する物体のみを抽出する。不審物は移動物体の中に存在するという前提で、移動体とその概略の大きさを検出する。
次に、移動体追跡部６０７において、前記検出された移動体を追跡し、その三次元位置及び方向を追跡する。
さらに、ズーム方向画角指定部６０８において、検出，追跡された移動体の三次元座標又は方向を既設のズーム付きカメラ（狭角カメラ）のカメラ制御装置（ズーム駆動部６０９）に送る。

既設の狭角カメラでは、ズーム駆動部６０９において、移動体の三次元座標データにより、ズーム付きカメラの制御雲台をコントロールする。
そして、ズーム画像取得部６１０において、検出された対象物又は不審物候補の移動体の位置に向けて、指定された座標をズームアップして撮影する。ここで不審物候補の移動体に対して、一台だけではなく、複数のズームカメラがその不審物又は対象物に方向を向けることで、不審物についての詳細な画像を得ることができる。
得られたズーム画像は、ズーム画像伝送部６１１，ズーム画像受信部６１２を介して監視装置側に伝送・出力される。

監視装置側では、まず、ズーム画像一時記録部６１３において、ズームアップして撮影した画像を一時蓄える。
そして、ズーム画像自動追跡部６１４において、ズームアップして撮影した対象物の移動を追跡して、画像を送り続ける。

次に、移動体部分表示部６１５においては、不審物の候補である未特定の移動体の映像を表示する。追跡しているので移動体が移動しても追跡して表示し、その位置と方向を特定する。
次いで、手動ズーム方向画角指定部６１６においては、全周画像中の任意の対象物をクリックすることで指定し、その部分にズーム付きカメラがズームアップしてズーム映像を移動体表示部に表示させる。
そして、移動体認識部６１７において、前記不審物候補となる対象物を複数のカメラで捉えて、その画像を解析し、不審物、危険物、安全物、等の分類をして、認識する。また、移動体認識部６１７により、データベースから対象物の属性を比較認識して、その属性を表示する。

その後は、警報部６１８において、移動体認識部６１７において不審物と認識された場合には、直ちに警報部から関係部署に警報を発する。
そして、移動体部分記録部６１９において、重要及び危険と認識された対象物は、その部分の映像のみを記録する。
また、状況記録部６２０において、移動体部分と静止画像部分はＣＧ化してデータ量を減らし、状況記録として長期に保存する。なお、この状況記録部６２０における状況記録の具体的な構成としては、本願出願人に係る特開２００３−３４５８０３号公報に開示されている通りである。

さらに、全周囲映像加算平均部６２１において、全周映像を加算平均し、変化分情報を減少させる。
また、全周映像変位抽出部６２２において、加算平均した映像と現在の全周映像を比較して、現在の映像の変位を検出する。
また、全周映像三次元化部６２３において、複数の全周映像から三次元化処理し、静止物体の三次元形状と三次元座標を取得しておく。
そして、全周映像ＣＧ化部６２４において、三次元化した全周映像から、静止物体のＣＧを生成しておく。これは状況記憶部６２０における状況記録時に有効である。

以上説明した通り、本実施形態に係る監視カメラシステムによれば、視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせ、監視可能範囲全体を監視するために全周カメラを用い、部分を拡大する為に通常のズームカメラを用い、これらをリンクして併用する。
そして、全周カメラの画像領域と、ズームカメラの領域を完全に対応させ、全周カメラの映像で、任意の一点を指定（クリック）すれば、ズームカメラがそこにズームアップすることができる。
これにより、全周カメラで不審物を発見し、その三次元位置を求めその座標に対してズームカメラがズームアップすることができるので、監視範囲を可視可能な範囲全域に広げて、全体を監視しながら、同時に監視対象に対しては、拡大画像を得ることが可能となる。
従って、本実施形態の監視カメラシステムでは、死角を無くし、監視対象エリアの全体を一枚の映像として表示することができ、カメラの高解像度化と監視範囲の広域化の双方を同時に実現することが可能となる。

［空港監視システム］
次に、本発明に係る監視カメラシステムを、空港における不審物監視及び監視対象物監視のための監視システムに適用した場合の具体的な実施例について、図７〜図１１を参照しつつ説明する。
図７は、本発明の一実施形態に係る監視カメラシステムを空港の監視システムに適用した場合のカメラの設置例を模式的に示す平面図である。
図８は、図７に示す監視カメラシステムにおける撮影装置（全周カメラ，狭角カメラ）と監視装置側（中央制御室）との接続例を模式的に示す説明図である。
図９は、図７に示す監視カメラシステムで得られる複数の全周映像を合成して一枚の全体画像として表示した一例を示す画像例であり、画像中の地上設置ライトの位置がずれており、そこに異常があることを示している。
図１０は、図７に示す監視カメラシステムにおいて不審物を発見・認識した状態を模式的に示す平面図であり、既設の監視用ズームカメラを利用し、既設のカメラとは多少距離を置いて設置した全周カメラの配置例を示している。
図１１は、図７に示す監視カメラシステムにおける表示装置（ディスプレイ室）の一例を模式的に示す概略正面図である。

図７（又は図１０）に示すように、本実施例では、全周カメラを空港ターミナル屋上及び周辺に複数設置し、同時に通常のカメラも複数設置してある。
なお、全周カメラを野外に設置する場合の具体的構成については、本願出願人に係る特開２００４−３２８２９６号公報に開示されている通りである。
全周カメラは、固定部分に隠れる部分を除いて全方向を監視できるカメラとし、専用の塔に設置するのが望ましいが（図４参照）、既設の照明設備の支柱とか、ビルの屋上塔の広範囲の視野が確保できる場所に複数設置するのが望ましい。
通常のズーム機能を持つ狭角カメラは、全周カメラの近傍、又は全周カメラとは関係なく監視範囲に適切に分布させて設置する（図７，図１０参照）。
各全周カメラ，狭角カメラは、図８に示すように、例えばＬＡＮを介して中央制御室の監視装置に接続され、カメラ・監視装置間で相互にデータ通信が行えるようになっている。

全周カメラは、常に全周を自動監視し、視野内に異常が有ればその部分の三次元座標を演算して求め、その座標位置信号をズームカメラに送信し、ズームカメラにおいては自動的にその部分にズームアップして、異常部分を拡大表示し、管理者に伝える。また、異常部分を解析し、自動認識により危険か否か等を判断し、管理者に伝え警告する。
図９に、複数の全周映像を合成して一枚の全体画像として表示した場合の展開結合画像の表示例を示す。
同図に示す画像は、空港の滑走路とその両側の画像を示しているが、滑走路横に設置されたライトの一個について、その設置位置に異常が見られることを自動認識で判断して表示している例である（同図中の矢印参照）。

また、図１０に、不審物が複数の全周カメラで捉えられる場合の一例を、図１１には、監視装置が備えられる空港のディスプレイ室（中央制御室）の一例を示す。
同図に示すように、ディスプレイ室には、一台のカメラ映像が東西南北上下の６方向に分解されてモニタ表示されるとともに、合成画像によって空港全域が一枚の画像で表示されるようになっている。
そして、図１０に示すように、不審物が認識されると、その不審物のズームアップ画像が所定のモニタに表示されるようになっている（図１１参照）。

なお、検出された異常部分だけではなく、予め予想される監視対象物については、それを確認し、管理者に伝えることができる。
例えば、滑走路に進入する航空機が、予定された航空機であるかどうかを機種判定により認識して、表示し、その機種と便名を管理者に伝えることができる。
また、管理者が手動により目的対象物を全周映像内で指定すれば、その部分に通常カメラがズームアップし、拡大表示し、その属性を表示することができる。
さらに、詳細確認したい場合は、複数のカメラが異なる視角から対象物にズームアップし、自動追跡し、自動認識し、対象物を分析することができる。

また、基地の対象物や移動体（航空機・車両）を自動認識し、自動追跡し、規定通りの走行を確認し、規定外の走行の場合は管理者に伝え、又は直接対象者に伝え、その属性や履歴を表示し、長期記録することができる。
ここで、全周カメラは、本発明の監視システム独自のカメラとなるが、狭角カメラについては、ズーム機能をもつ通常カメラとして既設のカメラに一部機能を追加して流用することが可能となり、新設に比較してコストを削減できるメリットがある。

このようにして、本実施例においても、複数のカメラによる複数の画像を結合して、全体映像を生成することが可能となり、直感的に監視ができることと、全体像を把握しやすくなる。
なお、不審物が存在しないとき等、監視がなされていないときには、ズーム機能付き通常カメラ（狭角カメラ）は待機状態となり、狭い範囲の映像を流し続けるだけとなり、あまり効率的な使用とは言えない場合がある。
そこで、待機状態にあるズーム機能付き通常カメラを活用することで、一部リアルタイム画像表示装置を構成することができる。

具体的には、まず、待機状態にあるズーム機能付き通常カメラを、ズームレンズの画角よりも十分に広い守備範囲の画角を走査し、広範囲の複数枚の画像を取得し、得られた複数枚の画像を自動的に結合して一枚の大画面画像を生成して表示する。このように、狭角カメラを操作することで得られる大画面画像により全周映像を生成することが可能であり、これにより、全周カメラの代用として利用することが可能となる。この場合のメリットとしては、全周カメラによる全周画像よりもきめの細かい高精度画像が得られることであり、デメリットとしては、一枚の大画面画像を生成するのに時間が掛かることである。例えば、もし一枚の全周大画面画像を生成するのに１分近くかかることになれば、その間に不審物を見失ったり発見し損なうこともあり得るので、利用には制限があることになる。また、このデメリットを少なくするためには、全周ではなくある範囲の広角画角（例えば、垂直２０度程度、水平６０〜１００度程度の範囲）に限定して使用することで、全周画像と役割分担が出来て、有効な監視が可能となる。

そして、カメラの上述した守備範囲の画角と重複する画角を繰り返して走査し、得られた複数の画像のそれぞれを前記一枚の大画面画像の対応部分と比較し、この操作を繰り返すことで、そこに顕著な違いがあれば不審物の候補とし、その画像の一部をさらに拡大して表示することができる。
このような操作を繰り返して行うことで、全周カメラだけよりも詳細な画像で監視ができることになる。
なお、このような一部リアルタイム画像表示装置の具体的構成については、本願出願人に係る特開２００４−２１４８３０号公報に開示されている通りであるが、一部リアルタイム画像表示装置の一実施形態については、図１２及び図１３を参照しつつ更に後述する。

以上説明したように、本発明の監視カメラシステムを空港監視システムに適用することで、以下のような機能を実現することができる。
・運用者は平面展開した全周映像を監視し、全周画像内の任意の点又は対象物をクリックすることで目的対象物を選択し、ロックオンし、その部分の通常カメラによるズーム拡大映像を表示する。
・画像内の二点間の三次元座標を計測する機能をもつ。
・距離・面積・体積計測も可能となる。
・移動体、静止対象物、不審物等を手動クリックして、通常カメラによるズーム拡大映像を表示する。
・移動体、異常静止対象物、不審物を自動検出して対象部分をズームアップして同拡大モニタ二表示が可能となる。
・同様に、画像内でクリックした対象物の属性を表示する。
・離陸及び着陸する航空機を、クリックすることにより、あるいは自動的に追跡して表示する。
・同様に、離着陸する航空機の自動認識して、便名等属性履歴を表示する。
・管制装置と連動して、指定の航空機が指定の位置にいるか否かを判断する。
・滑走路上の管理車両及び除雪車を自動認識して追跡し、滑走路の監視と除雪車両への個別指示が可能となる。
・空港の３ＤＣＧ上で対象物指定が可能となる。
・空港の全周映像上での任意地点の三次元計測を可能とする。
・空港内を実写映像及びＣＧにより三次元管理が可能となる。
・空港内のあらゆる移動体の自動認識及び自動追跡ができる。
・空港内の移動体認識結果を状況記憶する。

［一部リアルタイム画像表示装置］
次に、上述したような本発明の監視カメラシステムに適用される一部リアルタイム画像表示装置について、図１２及び図１３を参照してより具体的に説明する。
図１２は、本発明の一実施形態に係る監視カメラシステムに適用する一部リアルタイム画像表示装置１２００の概略構成を示すブロック図であり、図１３は、図１２に示す一部リアルタイム画像表示装置で取得される合成画像の一例を示す説明図である。

一部リアルタイム画像表示装置とは、本願出願人により発明・提案された画像処理技術であり（特開２００４−２１４８３０号公報参照）、監視対象物を含む背景となる広範囲な画像を結合静止画として生成するとともに、監視対象物をリアルタイム画像、即ちビデオ画像で動画として生成し、静止画背景画像の中にリアルタイム画像をはめ込んで表示することで、広域画像を不整合や歪みなく正確に表示しつつ、広域画像中に所望の監視対象物を明瞭な動画像として表示することを可能とするものである。
さらに、一部リアルタイム画像表示装置では、背景となる周囲画像を静止画として送信するとともに、所望の監視対象物を狭い範囲の動画像として送信し、動画と静止画を結合したビデオ画像を送ることで、帯域の狭い回線であっても所望の対象物の画像を動画像としてデータ通信が可能としたものである。

図１２に示すように、一実施形態に係る一部リアルタイム画像表示装置１２００は、背景画像を撮影，取得する撮影装置（カメラ）側と、所望の監視対象物を含む背景画像を観察・監視する監視装置側とが離れた位置に設置され、両装置間が通信回線等を介して接続される場合に、一部リアルタイム画像を含む背景画像を、カメラ，監視装置間でストレスなく送受信できるようにしたものである。
一般に、インターネット等の狭帯域の回線で動画を送ろうとしても、動きが遅く、現実的に使えない場合が多い。
このような場合に、本発明に係る一部リアルタイム画像を利用することにより、画像取得側となるカメラ側から、背景となる静止画を間欠的に送信し、必要な一部分をリアルタイム画像で送信し、それを監視装置側で合成して一枚の画像を生成することにより、広い背景画像のある中の必要な箇所のリアルタイム画像を観察できることになる。

リアルタイム画像は狭い範囲でも背景画像があれば、背景画像から必要な箇所の位置づけが簡単にでき、効果的である。
この場合、リアルタイム画像は狭い範囲の表示で済むので、全画像を動画として送ることに比べれば、その分データ量は極めて少なくなり、狭帯域で必要な情報を得ることができる。
そして、監視装置側では、リアルタイム画像の位置を自由に変更し、また、対象物を自動追跡する等によって、必要となる情報は動画として入手できることになる。この場合、例えばＷＥＢ等で動画像データを任意に使用，加工して活用できるようになる。

具体的には、本実施形態の一部リアルタイム画像表示装置１２００は、図１２に示すような構成となっている。
まず、所望の映像を取得するビデオカメラ装置１２０１からの画像出力は、画像取得装置１２０２で取得され、その１フレームが１フレーム画像取得装置１２０３で取り出されて静止画として取得される。フレーム画像は周囲画像更新指定装置１２０４により選択される。
また、ビデオ画像から必要な範囲のリアルタイム画像は、リアルタイム画像光軸位置取得装置１２０５を介してリアルタイム画像切り取り装置１２０６で切り取り、その位置とともにカメラ側送信装置１２０９に送られる。リアルタイム画像の切り取り範囲又は切り取り位置はリアルタイム画像位置形状指定装置１２０７から送られ、その位置信号はリアルタイム画像位置信号付加装置１２０８からカメラ側送信装置１２０９に送られ、静止画像，動画像とともに監視装置側に送られる。

監視装置側では、監視装置側受信装置１２２１で、カメラ側からの周囲静止画像信号，リアルタイム画像信号，リアルタイム画像位置信号が受信される。
受信された周囲静止画像信号とリアルタイム画像信号は、位置合わせ場所指定装置１２２２と、光軸位置検出装置１２２３及び周囲画像座標変換装置１２２４を経て、θ面一致・画像合成装置１２２５で合成されて、表示装置１２２６に送られる。なお、光軸位置検出装置１２２３については、受信側で画像解析により取得することも可能であり、受信側に設置することも可能である。
また、監視装置側では、監視作業装置１２２７でリアルタイム画像の切り取り位置、又は切り取り範囲が指定され、監視装置側送信装置１２２８を介してカメラ側に送信され、カメラ側受信装置１２１０で受信される。

この監視装置側からの信号により、カメラ側では、リアルタイム画像位置形状指定装置１２０７でリアルタイム画像の位置が指定，変更，移動され、周囲画像更新指定装置１２０４で静止画の更新が指定され、さらに、カメラ制御装置１２１１でカメラの方位や画角が制御されることになる。
ここで、監視装置側、あるいはカメラ側に自動追跡装置を付加すれば、自動的に目的とする対象物を追いかけながらリアルタイム画像を観察することができる。なお、リアルタイム画像の位置指定はカメラの台数により複数でも可能であり、さらに一カメラの画像内の複数箇所でも位置指定できる。

以上のような構成により、本実施形態では、カメラ側と監視装置側とが離れた位置に設置されている場合にも一部リアルタイム画像表示装置を実現することができ、カメラ側から遠隔の場所にある監視装置側において、例えばインターネット等の通信回線を介して目的の動画像を周囲の環境の中に位置づけて観察することができる。

図１３に、本実施形態で、監視装置側で観察される合成画像の具体例を示す。
同図は牛の放牧場の監視画像の一例であるが、同図に示すように、本実施形態で得られる合成画像は、一台のカメラの一枚の画像からその一部を切り取って動画として送るようにしてある。この原理と方法によれば、一台のカメラの広角画像を背景画像とし、そのカメラでズームアップした詳細な動画像を示すリアルタイム画像を送り、これを監視装置側で重ねて表示することで、背景となるべき広域の全体画像を示す静止画像中に、監視対象物を示す動画像となるリアルタイム画像を整合して貼り付けて表示することができ、広域の全体画像の中に所定の監視対象物のリアルタイム画像を表示することができる。

このように、本実施形態の一部リアルタイム画像表示装置によれば、背景画となる静止画とリアルタイム画像となる動画をカメラ側装置から別個に送信し、監視装置側装置で一枚の画像を合成することで、狭帯域の回線を介してもストレスなくデータを送信でき、監視装置側から遠隔操作される監視カメラシステムにおいても、一部リアルタイム画像を滑らかに生成，表示させることが可能となる。インターネット等の狭帯域の回線で動画を送ろうとしても、データ量が多い場合には動きが遅くなり、現実的に使えないことが多い。その一方で、本発明で得られる合成画像は、リアルタイム画像が狭い範囲であっても、背景画像があれば、その背景画像から必要な箇所の位置づけが容易にでき、効果的な観察が行える。そこで、本発明では、背景となる静止画を間欠的に送り、必要な一部分をリアルタイム画像で送り、それを監視装置側で合成して一枚の画像を生成することで、広い背景画像中に必要な箇所のリアルタイム画像が表示された合成画像を取得し、観察・監視することができる。

これにより、本実施形態では、動画については狭い範囲のリアルタイム画像を送信すれば良く、全画像を動画として送ることに比べてデータ量は極めて少なくなり、狭帯域を介して必要な情報を得ることができる。
このようにデータ量を少なくして所望の動画（リアルタイム画像）と静止画（背景画）を送信できる本実施形態によれば、カメラで直接取得された画像（動画及び静止画）のみならず、既に撮影され記録，保存された画像について、静止画中の所望の箇所，対象物を指定してリアルタイム画像として送受信することができ、特にインターネット等の狭帯域回線を利用した画像配信に好適となる。

以上、本発明の視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステムについて、好ましい実施形態を示して説明したが、本発明に係る監視カメラシステムは、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、上述した実施形態では、本発明の監視カメラシステムを設置して監視する監視対象・監視エリアとして飛行場の滑走路及びターミナルを例にとって説明したが、本発明の適用対象がこれらに限定されるものではなく、監視カメラによる遠隔監視が必要であったり好適である監視対象物や監視対象エリアであれば、どのような物や場所・空間に適用することができる。

本発明の視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステムは、例えば、銀行やコンビニエンス・ストアの店内やキャッシュ・コーナー、飛行場のターミナルや滑走路等、所定の監視対象物や監視対象エリアを監視する監視システム・セキュリティシステムとして好適に利用できる。

本発明の一実施形態に係る監視カメラシステムの概略基本構成を示すブロック図である。 本発明の一実施形態に係る監視カメラシステムに備えられる全周カメラを示す概略図であり、（ａ）は正面図、（ｂ）は平面図である。 全周カメラで撮影される映像から得られる変換画像を示す説明図であり、（ａ）は球面画像が貼り付けられる仮想球面を、（ｂ）は仮想球面に貼り付けられた球面画像の一例を、（ｃ）は（ｂ）に示した球面画像をメルカトール図法に従って平面展開した画像を示している。 本発明の一実施形態に係る監視カメラシステムに備えられる全周カメラ及び狭角カメラの設置例を模式的に示す概略図であり、（ａ）は専用の支柱を用いて全周カメラと狭角カメラを組み合わせた状態の正面図、（ｂ）は制御雲台に搭載されたズーム付きの狭角カメラの正面図及び側面図であり、（ｃ）は全周カメラと狭角カメラを組み合わせて滑走路沿いのビルの屋上に設置した状態の側面である。 本発明の一実施形態に係る監視カメラシステムに備えられる非同期の複数の全周カメラで撮影された映像の同期処理の手順を示すブロック図である。 本発明の一実施形態に係る監視カメラシステムによる具体的な監視の手順・動作を示すブロック図である。 本発明の一実施形態に係る監視カメラシステムを空港の監視システムに適用した場合のカメラの設置例を模式的に示す平面図である。 図７に示す監視カメラシステムにおける撮影装置（全周カメラ，狭角カメラ）と監視装置側（中央制御室）との接続例を模式的に示す説明図である。 図７に示す監視カメラシステムで得られる複数の全周映像を合成して一枚の全体画像として表示した一例を示す画像例である。 図７に示す監視カメラシステムにおいて不審物を発見・認識した状態を模式的に示す平面図である。 図７に示す監視カメラシステムにおける表示装置の一例を模式的に示す概略正面図である。 本発明の一実施形態に係る監視カメラシステムに適用する一部リアルタイム画像表示装置の概略構成を示すブロック図である。 図１２に示す一部リアルタイム画像表示装置で取得される合成画像の一例を示す説明図である。

符号の説明

１ 監視カメラシステム
１ａ 監視装置
１０１ 撮影装置
１０２ 送受信装置
１０３ 監視対象物検出装置
１０４ 監視対象物指定装置
１０５ 表示装置
１０６ 監視対象物認識装置
１０７ 属性登録更新検索装置
１０８ 状況記憶装置
１０９ 一部リアルタイム装置

Claims (5)

1. 所定の監視対象物を撮影可能な位置に設置され、所定の全周囲映像を撮影する全周カメラと、全周カメラの近傍に設置され、視点方向に回転可能な所定の狭角映像を撮影する狭角カメラと、を備えた撮影装置と、
   前記撮影装置で取得された全周囲映像と狭角映像を送受信する送受信装置と、
   前記送受信装置を介して受信された全周映像を自動解析し、監視対象物を自動検出する監視対象物検出装置と、
   前記監視対象物の三次元座標又はカメラからの方向と概略の大きさを求めて、前記監視対象物の位置又は方向を前記狭角カメラに指定する監視対象物指定装置と、
   前記監視対象物を表示する表示装置と、
   を備えることを特徴とする視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステム。
2. 前記監視対象物を自動認識して、当該監視対象物の属性を含む所定の情報を表示し、又は所定の警報を発する対象物認識装置を備える請求項１記載の視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステム。
3. 前記監視対象物となる任意の対象物についての属性情報を予め登録するとともに、この属性情報を更新し、検索し、前記表示装置の画像中で任意の監視対象物を指定されることにより、指定された監視対象物の属性を画像とともに表示させる属性登録検索装置を備える請求項１又は２記載の視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステム。
4. 前記監視対象物検出装置で自動検出され、又は前記監視対象物認識装置で自動認識された監視対象物の画像及び／又は当該画像をＣＧ化した画像を記録する状況記憶装置を備える請求項２又は３記載の視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステム。
5. 待機状態の前記狭角カメラにおいて、カメラ画角よりも十分広い画角を走査し、得られた複数の画像を自動的に結合して一枚の大画面画像を生成・表示するとともに、
   前記画角と重複する画角を繰り返して走査し、得られた複数の画像のそれぞれを前記一枚の大画面画像の対応部分と比較し、
   比較結果に顕著な違いがあれば不審物の候補とし、その画像の一部をさらに拡大して表示する一部リアルタイム画像表示装置を備える請求項１乃至請項４記載の視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステム。