JP2005045618A - 監視装置 - Google Patents

Abstract

【課題】 監視員の労力の負担を軽減し、広大な撮影範囲から移動被写体の移動状況を精度よく解析するとともに、移動被写体の移動態様を累積的に捉える。
【解決手段】 撮影方向を順次変化させて撮影範囲を撮像することにより生成された全体画像を監視する際に、当該単位画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出し、かかる検出した輝度レベルの差異を、画面上に表示する比較全体画像に至るまで各撮影方向につき累積した累積差異情報を生成し、これを当該比較全体画像を構成する各単位画像に重ねて表示させる。
【選択図】 図２

Description

本発明は、撮影方向を順次変化させて撮像することにより得られたパノラマ画像を介して広範囲の状況を監視する監視装置及び方法、撮像装置及び方法、プログラム並びに監視システムに関する。

従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子によりの画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。このため、従来では、カメラの撮影方向を順にシフトさせながら被写体を撮影し、これらを合成してパノラマ画像を得ることにより、広範囲の状況を監視することができるモニタリング方法が提案されている。

特に近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照。）、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録し、監視を行うことを可能とする集中監視記録システムも提案されている（例えば、特許文献２参照。）。

特開平１０−１０８１６３号公報 特開２０００−２４３０６２号公報

しかしながら、この記録媒体に記録されている画像を利用して、撮影範囲における何らかの変化を検出する場合に、監視員は、１スキャン毎に刻々と入力される監視画像の状況を隅々まで観察しなければならなかった。特に監視員は、細かい画像の変化や、微小な対象物の出現等につき常に識別しなければならず、過大な労力や時間を必要とし、さらには、かかる監視員の眼に依存するシステムであるが故に、かかる状況変化の見落としが生じる危険性もあった。

また、撮影範囲における変化が検出された場合には、過去に記録されている画像データまで遡ってこれを参照し、詳細な状況や原因を解析しなければならず、監視員の労力の負担が更に増大するという問題点もあった。特に車両等の移動被写体の移動態様を累積的に捉えておくことにより、事後的な解析の便宜を図ると同時に、移動の伴わない非移動被写体の特定を容易に実現する必要もあった。

更に、移動態様を捉えるべき移動被写体をユーザ自身が取捨選択することにより、不要な移動被写体の累積的な移動態様の表示を抑え込むと同時に、解析の利便性を向上させる必要性もあった。

そこで、本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、監視員の労力の負担を軽減し、広大な撮影範囲から移動被写体の移動状況を精度よく解析するとともに、移動被写体の移動態様を累積的に捉えることができる監視装置及び方法、撮像装置及び方法、プログラム並びに監視システムを提供することにある。

本発明は、上述した課題を解決するために、撮影方向を順次変化させて撮影範囲を撮像することにより生成された全体画像を監視する際に、当該単位画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出し、かかる検出した輝度レベルの差異を、画面上に表示する比較全体画像に至るまで各撮影方向につき累積した累積差異情報を生成し、これを当該比較全体画像を構成する各単位画像に重ねて表示させる。

即ち、本発明を適用した監視装置は、撮影方向を順次変化させて撮影範囲を撮像することにより生成されたパノラマ画像を監視する監視装置において、上記生成されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出する差異検出手段と、上記生成された少なくとも一のパノラマ画像を表示面へ表示させる表示制御手段と、上記差異検出手段により検出された輝度レベルの差異を上記表示面に表示されるパノラマ画像に至るまで各撮影方向につき累積した累積差異情報を生成する情報生成手段とを備え、上記表示制御手段は、上記情報生成手段により生成された累積差異情報を上記表示面に表示されるパノラマ画像を構成する各単位画像に重ねて表示させる。

また、本発明を適用した監視方法は、撮影方向を順次変化させて撮影範囲を撮像することにより生成されたパノラマ画像を監視する監視方法において、上記生成されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出する差異検出ステップと、上記生成された少なくとも一のパノラマ画像を表示面へ表示する表示ステップと、上記差異検出ステップにおいて検出した輝度レベルの差異を上記表示面に表示するパノラマ画像に至るまで各撮影方向につき累積した累積差異情報を生成する情報生成ステップとを有し、上記表示ステップでは、上記情報生成ステップにおいて生成した累積差異情報を上記表示面に表示するパノラマ画像を構成する各単位画像に重ねて表示する。

また、本発明を適用した撮像装置は、撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像手段と、上記撮像手段により生成されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出する差異検出手段と、上記生成された少なくとも一のパノラマ画像を表示面へ表示させる表示制御手段と、上記差異検出手段により検出された輝度レベルの差異を上記表示面に表示されるパノラマ画像に至るまで各撮影方向につき累積した累積差異情報を生成する情報生成手段とを備え、上記表示制御手段は、上記情報生成手段により生成された累積差異情報を上記表示面に表示されるパノラマ画像を構成する各単位画像に重ねて表示させる。

また、本発明を適用した撮像方法は、撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像ステップと、上記撮像ステップにおいて生成されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出する差異検出ステップと、上記生成された少なくとも一のパノラマ画像を表示面へ表示する表示ステップと、上記差異検出ステップにおいて検出した輝度レベルの差異を上記表示面に表示するパノラマ画像に至るまで各撮影方向につき累積した累積差異情報を生成する情報生成ステップとを有し、上記表示ステップでは、上記情報生成ステップにおいて生成した累積差異情報を上記表示面に表示するパノラマ画像を構成する各単位画像に重ねて表示する。

また、本発明を適用したプログラムは、撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像ステップと、上記撮像ステップにおいて生成されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出する差異検出ステップと、上記生成された少なくとも一のパノラマ画像を表示面へ表示する表示ステップと、上記差異検出ステップにおいて検出した輝度レベルの差異を上記表示面に表示するパノラマ画像に至るまで各撮影方向につき累積した累積差異情報を生成する情報生成ステップとを有し、上記表示ステップでは、上記情報生成ステップにおいて生成した累積差異情報を上記表示面に表示するパノラマ画像を構成する各単位画像に重ねて表示することをコンピュータに実行させる。

また、本発明を適用した監視システムは、撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像装置と、上記撮像装置からネットワークを介して受信したパノラマ画像を構成する一の単位画像と当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出し、また受信した少なくとも一のパノラマ画像を表示面へ表示させ、更に上記検出した輝度レベルの差異を上記表示面に表示されるパノラマ画像に至るまで各撮影方向につき累積した累積差異情報を生成する端末装置とを備え、上記端末装置は、上記生成した累積差異情報を上記表示面に表示されるパノラマ画像を構成する各単位画像に重ねて表示させる。

以上詳細に説明したように、本発明は、撮影方向を順次変化させて撮影範囲を撮像することにより生成された全体画像を監視する際に、当該単位画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出し、かかる検出した輝度レベルの差異を、画面上に表示する比較全体画像に至るまで各撮影方向につき累積した累積差異情報を生成し、これを当該比較全体画像を構成する各単位画像に重ねて表示させる。

これにより、移動被写体の移動態様を累積的に捉えることができ、事後的な解析の便宜を図ると同時に、移動の伴わない非移動被写体の特定を容易に実現することができる。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明を適用した監視システム１は、例えば図１に示すように、被写体を撮像して画像信号を生成するカメラユニット２と、カメラユニット２により生成された画像信号を蓄積するためのサーバ５３と、上記画像信号が伝送される監視装置５と、監視装置５に接続されるディスプレイ６と、複数のユーザがアプリケーションを実行するための端末装置９と、端末装置９に接続される端末ディスプレイ１０と、インターネット網等に代表され、通信制御機器７ａ,７ｂを介した双方向通信を実現するための公衆通信網８とを備えている。

カメラユニット２,サーバ５３,並びに監視装置５は、所望の被写体を撮像すべく撮影現場等に設置される撮像システム９１として構成してもよいし、またサーバ５３,監視装置５をパーソナルコンピュータ（ＰＣ）等に一体化させた電子機器９２により構成してもよい。このような撮像システム９１或いは電子機器９２は、端末装置９との間で、公衆通信網８を介した双方向通信を可能とするために、例えばＬＡＮ（Local Area Network）を介して通信制御機器７ａに接続される。

カメラユニット２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。

カメラ部４は、パンチルタ部３を構成する回転台上に配設され、監視装置５による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、監視装置５による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。このカメラ部４を一の監視装置５に対して複数設置することにより、同一の被写体につき、互いに異なる撮影角度で撮像することができ、多面的な画像情報を得ることも可能となる。

監視装置５は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器により構成され、カメラユニット２から伝送される画像信号を記録し、また記録した画像信号につきディスプレイ６を介してユーザに表示する。またこの監視装置５は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれを表示するように制御する。この監視装置５は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他の端末装置９からの要求に応じて画像を送信する。

ネットワーク８は、例えば監視装置５と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの監視システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Local Area Network）で構成してもよい。さらにこのネットワーク８は、静止画像に加えてＭＰＥＧ画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、ＭＰＥＧデータがある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。

端末装置９は、各家庭や企業等に待機するユーザがネットワーク８を介して監視装置５から画像を取得し、所望の処理を実行するためのＰＣである。複数の端末装置９を通信制御機器７ｂを介してネットワーク８に接続することにより、複数のユーザに対してこの監視システム１のアプリケーションを同時に提供することが可能となる。この端末装置９は、監視装置５から取得した画像を、端末ディスプレイ１０に対して表示する。またこの端末装置９は、ユーザによる指定操作に応じて要求信号を生成し、これを監視装置５に対して送信する。なお端末装置９のブロック構成については、後述する監視装置５の構成を引用し、説明を省略する。

次に、本発明を適用した監視システム１におけるサーバ５３,監視装置５の構成につき、これらを一体化して構成した電子機器９２を例に挙げて上述したカメラユニット２と合わせて説明をする。

図２は、カメラユニット２,電子機器９２の構成図である。この図２では、共通のコントローラバス２１に対して、カメラユニット２並びに電子機器９２の各構成要素が接続されている。

カメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するTilt部３ａ、Pan部３ｂとを有する。また、カメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４と、撮像部２４により生成された画像信号を画像入出力部１３へ送信するためのＩＥＥＥ(Institute of Electrical and Electronics Engineers)１３９４インターフェース２５と、カメラユニット２の現在位置を検出するためのＧＰＳ(Global Positioning System)受信部２８と、ＧＰＳ受信部２８に装着されるメタデータ生成部２９とを備えている。ちなみに、ＩＥＥＥ１３９４インターフェース２５は、イーサネット（登録商標）に代替してもよい。

また監視装置５は、ＩＥＥＥ１３９４インターフェース２５に接続されるバッファメモリ５１と、バッファメモリ５１に接続されるエンコーダ５２と、エンコーダ５２から出力される画像を蓄積するサーバ５３と、サーバ５３から読み出された画像を圧縮するための画像圧縮部５４と、サーバ５３及び画像圧縮部５４に接続され、ディスプレイ６上に表示する画像を作り出すグラフィックコントローラ５５と、コントローラバス２１を介して各部を制御するためのＣＰＵ５６と、Ｉ／Ｏポート５８とにより構成され、ディスプレイ６上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード５９並びにマウス６０と、さらにこのＩ／Ｏポート５８に接続されるメモリカード６１並びに時計６２とを備えている。

Tilt部３ａ並びにPan部３ｂは、ＣＰＵ５６からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部４の撮影方向を水平方向、或いは垂直方向に変更することができる。

レンズ制御部２３は、ＣＰＵ５６からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することも可能となる。

撮像部２４は、例えばＣＣＤ（Charge Coupled Device ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをＩＥＥＥ１３９４インターフェース２５へ送信する。

ＧＰＳ受信部２８は、ＧＰＳシステムにより送出される信号に基づき、カメラユニット２の設置場所や撮影方向を検出する。このＧＰＳ受信部２８を設けることにより、特に複数のカメラユニット２を設置する場合において、双方の撮影方向を連動して制御することが可能となる。ＧＰＳ受信部２８からの出力信号は、メタデータ生成部２９に供給され、ＧＰＳによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部２９は、この生成した位置情報やメタデータをエンコーダ５２へ供給する。なお本発明では、このＧＰＳ受信部２８、メタデータ生成部２９の構成を省略してもよい。

バッファメモリ５１は、ＣＰＵ５６からの制御信号に基づき、ＩＥＥＥ１３９４インターフェース２５から供給される画像信号を一時的に格納する。このバッファメモリ５１において一時的に格納された画像信号は、エンコーダ５２に供給され、例えばＪＰＥＧ（Joint Photographic Experts Group）等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ５２は、圧縮符号化する画像信号に対して、メタデータ生成部２９から供給される位置情報やメタデータを付加してもよい。エンコーダ５２は、圧縮符号化した画像信号をサーバ５３或いは画像圧縮部５４へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５２における処理は省略される。

サーバ５３は、エンコーダ５２から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ５３は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ５３に記録された画像信号は、ＣＰＵ５６による制御に基づき、画像圧縮部５４やグラフィックコントローラ５５へ読み出される。なおサーバ５３に記録される画像信号をメモリカード６１へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のＰＣへ移し換えることも可能となる。

画像圧縮部５４は、サーバ５３から読み出したＪＰＥＧ形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。グラフィックコントローラ５５は、サーバ５３から読み出した画像信号、又は画像圧縮部５４から出力される画像信号に基づき、ディスプレイ６への絵画処理を実行する。また、このグラフィックコントローラ５５は、ＣＰＵ５６による制御に基づき、ディスプレイ６におけるコントラスト、輝度の制御を実行する。

ＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、監視装置５内の各部を制御するための制御信号を、コントローラバス２１を介して送信する。また、このＣＰＵ５６は、端末装置９から所定の要求信号を受けて、サーバ５３に記録されている画像から最適なものを選択し、或いは各種情報を選択し、これを当該端末装置９へ送信するように制御する。

なお、本発明では、上述した電子機器９２における構成を全てカメラユニット２に搭載した撮像装置として適用してもよい。

次に本発明を適用した監視システム１における撮像動作について説明をする。

図３は、カメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。

ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊとしたとき、ＣＰＵ５６は、Tilt部３ａ並びにPan部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ５１に一時的に格納され、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化される。そしてこの画像信号は、ＧＰＳ２８から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ５３に記録される。

同様にＣＰＵ５６は、Tilt部３ａ並びにPan部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様にサーバ５３へ記録される。ＣＰＵ５６による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。

カメラ部４は、１列目の撮像を終了させた後、ＣＰＵ５６による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、サーバ５３は、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。

ちなみに、このサーバ５３に記録されている各単位画像に基づく画像信号は、画像圧縮部５４により順次読み出されて、ディスプレイ６の表示画面のサイズに適合するように圧縮される。この圧縮された各単位画像は、グラフィックコントローラ１５を経てディスプレイ６に表示される。サーバ５３に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚の全体画像が合成されることになる。上述の撮像動作を所定間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となる。

また、上述の撮像動作を所定間隔で実行することにより、サーバ５３には、各撮像タイミングで生成される全体画像に応じたｉ×ｊ個の単位画像が記録されている状態となる。監視装置５のユーザは、このサーバ５３に対して事後的にアクセスすることにより、以前撮像されてサーバ５３に記録されている全体画像又はこれを構成する各単位画像を選択し、これをディスプレイ６上に表示させることができる。また、端末装置９のユーザも、公衆通信網８を介してサーバ５３にアクセスすることにより、以前撮像されてサーバ５３に記録されている全体画像又はこれを構成する各単位画像を選択し、これをユーザ端末１０上に表示させることができる。

図４は、撮像したｉ×ｊ個の単位画像を貼り合わせることにより合成した全体画像を、ディスプレイ６の全体画像表示部７０に表示する例を示している。なお、この監視装置５は、全体画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また監視装置５は、パノラマ状の全体画像（パノラマ画像）の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、この全体画像表示部７０に表示させてもよい。

ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。この拡大画像表示部７１は、全体画像表示部７０に表示される全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大して表示してもよいし、またかかる一の単位画像の撮影方向につき、動画を順次表示してもよい。これによりユーザは、指定した単位画像における撮影方向の状況につき、リアルタイムに確認することもできる。

また表示画面４５には、拡大画像表示部７１に表示されている単位画像につき、撮影倍率を縮小して表示させるためのＷＩＤＥボタン７２、撮影倍率を拡大して表示させるためのＺＯＯＭボタン７３が表示される。また、この表示画面４５には、カメラ部４の撮影方向を水平、垂直方向において調整するための撮影方向制御部７５、各種モードの設定やサーバに対して所望のアドレスに単位画像に基づく画像信号を記録させるための設定ボタン７６等も表示される。

ユーザは、全体画像表示部７０や拡大画像表示部７１に対して、キーボード５９やマウス６０を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部７０,７１には、マウス６０等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。

ちなみに、本発明を適用した監視システムでは、更に車両等の移動被写体の移動態様を累積的に表示することができる。この移動被写体における軌跡の表示は、撮像した画像上に生じた差異を検出することにより実行する。

上述の如く一定の間隔で実行される撮像動作により、サーバ５３には、生成された全体画像を構成する単位画像が順次記録される。ここで、サーバ５３に記録されている単位画像から構成される全体画像のうち、直前に撮像された画像との間で画像上の差異を検出するものを比較全体画像といい、また、この比較全体画像の直前に撮像され記録されている全体画像を基本全体画像という。

図５(a)に示すように、差異を検出するための比較全体画像が全体画像ａ_２である場合には、基本全体画像は、全体画像ａ_１となる。撮像した画像上に生じた差異を検出する場合には、この全体画像ａ_２を構成する単位画像と、全体画像ａ_１を構成する単位画像との間で輝度レベルを比較する。この輝度レベルの比較は、図５(a)に示すように、同一座標（１，１）、（２，１）、（３，１）、・・・、（Ｍ，Ｎ）にある単位画像間で、換言すれば同一撮影方向にある単位画像間で実行する。これにより、基本全体画像に対する比較全体画像の輝度レベルの変化を、各撮影方向に応じて検出することができる。

ＣＰＵ５６は、比較全体画像（全体画像ａ_２）と基本全体画像（全体画像ａ_１）との間で、例えば座標（Ｍ，Ｎ）にある単位画像の輝度レベルを比較する場合には、先ず、これら二つの単位画像をサーバ５３から読み出す。次にＣＰＵ５６は、例えば図５(b)に示すように、読み出した二つの単位画像間において同一位置にある各画素(ｍ,ｎ)につき輝度レベルを比較する。この輝度レベルの比較は、同一位置にある画素(ｍ,ｎ)につき、輝度レベルの差分を求めるようにしてもよい。ＣＰＵ５６は、読み出した単位画像間の輝度レベルの差異を、各画素につき求めた輝度レベルの差分値を介して検出することができる。ちなみに、この各画素間の輝度レベルの比較は、単位画像を構成する全ての画素につき実行してもよいし、単位画像を構成する一部の画素のみに対して実行するようにしてもよい。

ちなみに、本発明では、比較全体画像を構成する一部の単位画像のみについて、上述の如く輝度レベルを比較してもよい。このときユーザは、マウス６０等を用いて、所望の単位画像を指定することにより、かかる指定された単位画像のみにつき輝度レベルの差異を検出することが可能となる。

ＣＰＵ５６は、比較全体画像と基本全体画像とを構成する全ての単位画像につき、輝度レベルの差異を検出した後、累積差異情報を生成する。この累積差異情報は、単位画像毎に比較した輝度レベルの差異を、各撮影方向につき比較全体画像に至るまで累積したものである。また、この累積差異情報は、輝度レベルの差異を、輝度レベルの差分値に基づいて検出する場合に、当該差分値を各撮影方向につき比較全体画像に至るまで累積加算したものとして表される。この各撮影方向につき累積加算した差分値を互いに合わせることにより、比較全体画像に対応した一の累積差異情報を生成することもでき、更には比較全体画像に対応して生成された一の累積差異情報を当該比較全体画像と関連付けてサーバ５３へ記録することもできる。

例えば、撮影範囲を最初に撮像して得られた全体画像が全体画像ａ_１である場合には、比較全体画像ａ_２につき関連付けて記録される累積差異情報ｂ_１は、全体画像ａ_１と全体画像ａ_２との間で検出した輝度レベルの差分値のみに基づくものとなる。

同様に比較全体画像ａ_３と関連付けて記録される累積差異情報ｂ_２は、全体画像ａ_１と全体画像ａ_２との間で検出した輝度レベルの差分値に加えて、全体画像ａ_２と全体画像ａ_３との間で検出した輝度レベルの差分値を累積したものとして表される。同様に比較全体画像ａ_４と関連付けて記録される累積差異情報ｂ_３は、全体画像ａ_１と全体画像ａ_２との間で検出した輝度レベルの差分値に加えて、更に全体画像ａ_２と全体画像ａ_３との間で検出した輝度レベルの差分値、全体画像ａ_３と全体画像ａ_４との間で検出した輝度レベルの差分値を累積したものとして表される。

次に、上述の如き生成された累積差異情報とともにサーバ５３へ記録された比較全体画像を表示する場合には、かかる比較全体画像を構成する単位画像が画像圧縮部５４により順次読み出されてディスプレイ６上に表示されることになる。このとき、ディスプレイ６上に表示させる比較全体画像に関連付けてサーバ５３へ記録されている累積差異情報をサーバ５３から同時に読み出し、これを比較全体画像を構成する各単位画像に重ね合わせて表示させる。

例えば、カメラユニット２により最初に撮像して得られた全体画像ａ_１において、図６(a)に示すような撮影範囲として捉えた道路上に車両等を始めとした移動被写体が写し出されている場合には、かかる全体画像ａ_１を構成する単位画像は、上述の如く順次サーバ５３へ記録される。また次のタイミングにおいて、図６(b)に示すように移動被写体が道路上の別の位置へ移動した状態を全体画像ａ_２として生成した場合に、かかる全体画像ａ_２を比較全体画像として、基本全体画像にあたる全体画像ａ_１との間で輝度レベルの差分値を求める。この図６に示す例においては、道路上を移動した移動被写体と道路との間で輝度レベルにつき差異が生じているため、かかる部分については輝度レベルの差分が発生し、他の建物の部分や木の部分については、差分は０となる。またＣＰＵ５６は、全体画像ａ_１と全体画像ａ_２との間で検出した輝度レベルの差分値に基づく累積差異情報ｂ_１を同時に生成し、全体画像ａ_２と関連付けてサーバ５３へ記録する。

図７は、このような比較全体画像としての全体画像ａ_２をディスプレイ６上に表示する場合につき示している。この全体画像ａ_２と関連付けてサーバ５３に記録された累積差異情報ｂ_１を同時に読み出し、これを比較全体画像を構成する各単位画像に重ね合わせて表示させる。この累積差異情報ｂ_１を表示する場合には、例えば図７に示すように、求めた輝度レベルの差分値に応じた色情報を各撮影方向（単位画像）につき重ねて表示する。例えば、輝度レベルの差分値がより大きくなるにつれて、この表示する色情報を赤色へ近づけるようにしてもよい。これにより、移動被写体が移動した部分については、より赤色に近い色情報が表示され、建物や木の部分等のような差分値は０となる部分については、無色で表示されることになる。ユーザは、ディスプレイ６上に表示される全体画像ａ_２をこの累積差異情報ｂ_１として表される色情報とともに視認することにより、差異が生じた画像領域を容易に識別することができ、移動被写体の移動態様を容易に解析することができる。

同様に次のタイミングにおいて、移動被写体が道路上の更に別の位置へ移動した場合に、これを撮像した図８(a)に示すような全体画像ａ_３を生成し、かかる全体画像ａ_３を比較全体画像として、基本全体画像にあたる全体画像ａ_２との間で輝度レベルの差分値を求める。この図８(a)に示す例においては、道路上を移動する移動被写体と道路との間で輝度レベルにつき差異が生じているため、かかる部分に応じた輝度レベルの差分値が求められ、他の建物の部分や木の部分については、差分値は０となる。

比較全体画像ａ_３と関連付けて記録される累積差異情報ｂ_２は、この求めた差分値に加え、さらに累積差異情報ｂ_１に基づく差分値を累積したものとして表される。特にこの図８(b)に示される累積差異情報ｂ_２としての色情報は、累積差異情報ｂ_１としての色情報も付加されているため、ユーザは、ディスプレイ６上に表示される全体画像ａ_３をこの累積差異情報ｂ_２として表される色情報とともに視認することにより、全体画像ａ_１から全体画像ａ_３に至るまでの輝度成分の差異を累積的に識別することが可能となる。例えば、移動被写体が移動する道路等のような輝度レベルの差異が顕著になる領域については、累積差異情報ｂ_２として累積される輝度レベルの差分値も大きくなり、表示される色情報もより赤色に近くなる。比較全体画像が、全体画像ａ_４、ａ_５、・・・と順次更新されるにつれ、これらに関連付けられる累積差異情報ｂ_３、ｂ_４、・・・に累積される輝度レベルの差分値の格差も道路と建物等との間で大きくなる。

図９は、上記撮影範囲を相当回数撮影して得られた比較全体画像を、これに関連付けて生成した累積差異情報とともにディスプレイ６上へ表示する場合につき示している。この図９に示すように、移動被写体が高い頻度で移動する領域については、各単位画像間で求められた差分値がその分累積的に加算され、表示される色情報はより赤色に近くなる。一方、移動被写体が低い頻度で移動する領域については、累積される差分値はそれほど大きくなることはなく、表示される色情報はより黄色に近くなる。また建物の部分等のように移動被写体が全く移動しない領域については、上述と同様に無色で表示される。

これにより、ユーザは、かかるディスプレイ６上に表示される累積差異情報を視認することにより、移動被写体がより高い頻度で移動する領域、低い頻度で移動する領域、全く移動しない領域を撮影範囲内から容易に特定することができる。このような図９に示すような画像を移動被写体の解析結果としてサーバ５３へ保存しておくことにより、事後的な解析、検討を行う場合における参考資料とすることもできる。

また、移動被写体が全く移動しない領域につき遮蔽することにより、ユーザがディスプレイ６を介して視認することができないようにしてもよい。これにより、不必要な情報や開示を望まない情報のユーザへの表示を抑えることが可能となる。

なお、本発明を適用した監視システム１は、上述した実施の形態に限定されるものではなく、例えば図１０に示すように、ディスプレイ６上に表示させる比較全体画像が指定された後に、上述した累積差異情報を生成するようにしてもよい。

先ず図１０に示すステップＳ１１において、ディスプレイ６上に表示させる全体画像として全体画像ａ_ｋが指定された場合には、ステップＳ１２へ移行し、全体画像の識別番号ｎを１に設定する。

次にステップＳ１３へ移行し、比較全体画像ａ_ｎ＋１とその直前にタイミングにおいて撮像された基本全体画像ａ_ｎとの間で、上述の如く輝度レベルの差異を比較する。ステップＳ１２においてｎは１に設定されているため、比較全体画像ａ_２と基本全体画像ａ_１との間で上述した方法により輝度レベルを比較する。ちなみに次のステップＳ１４へ移行する前に、この識別番号ｎに１を加算する。

次にステップＳ１４へ移行し、比較全体画像ａ_ｎとその直前にタイミングにおいて撮像された基本全体画像ａ_ｎ−１との間で、上述の如く輝度レベルの差異が生じているか判別する。その結果、両者間で輝度レベルにつき差異が検出された場合には、ステップＳ１５へ移行する。一方、両者間で輝度レベルにつき差異が存在しない場合には、ステップＳ１９へ移行する。

ステップＳ１５において、上記生成された輝度レベルの差異に基づいて、累積差異情報を生成する。次にステップＳ１６へ移行し、この比較全体画像ａ_ｎと累積差異情報とを上述の如く重ねて表示させる。次にステップＳ１７へ移行し、全体画像ａ_ｎが全体画像ａ_ｋと等しいか否か判別する。その結果、ａ_ｎ≠ａ_ｋである場合には、ステップＳ１３へ戻る。一方、ａ_ｎ＝ａ_ｋである場合には、ディスプレイ上に表示させる全体画像ａ_ｋに至っていることを示唆しており、ステップＳ１８へ移行して処理を終了させる。

一方、ステップＳ１９へ移行した場合には、比較全体画像ａ_ｎと累積差異情報を重ねて表示させる。次にステップＳ２０に移行し、上記ステップＳ１７と同様に、全体画像ａ_ｎが全体画像ａ_ｋと等しいか否か判別する。その結果ａ_ｎ≠ａ_ｋである場合には、ステップＳ１３へ戻る。一方、ａ_ｎ＝ａ_ｋである場合には、ステップＳ１８へ移行して処理を終了させる。

上述したように、本発明を適用した監視システム１では、撮影方向を順次変化させて撮影範囲を撮像することにより生成された全体画像を監視する際に、当該単位画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出し、かかる検出した輝度レベルの差異を、ディスプレイ６上に表示する比較全体画像に至まで各撮影方向につき累積した累積差異情報を生成し、これを当該比較全体画像を構成する各単位画像に重ねて表示させる。 これにより、移動被写体の移動態様を累積的に捉えておくことにより、事後的な解析の便宜を図ると同時に、移動の伴わない非移動被写体の特定を容易に実現することができる。

また、本発明を適用した監視システム１では、上述した単位画像間における輝度レベルの比較を、Ｒ,Ｇ,Ｂの原色成分毎に実行してもよい。この輝度レベルの比較は、上述の如く、同一座標（Ｍ，Ｎ）にある単位画像間で、換言すれば同一撮影方向にある単位画像間で実行する。これにより、基本全体画像に対する比較全体画像の各原色成分における輝度レベルの変化を、換言すれば、各原色成分における輝度レベルの差分値を撮影方向毎に検出することができる。

図１１(a)は、原色成分のうちＲ（赤）の輝度レベルを比較する場合につき説明するための図である。縦軸は、比較する単位画像につき、対応する画素毎に演算した差分値（明るさ）を示している。また図１１(b)は、この図１１(a)に示される差分値のうち水平方向における最大値を表示したものであり、図１１(c)は、図１１(a)に示される差分値のうち垂直方向における最大値を表示したものである。

差異検出レベルＬ１並びに色レベルＬ２は、キーボード５９やマウス６０を介してユーザにより自由に設定できるレベルである。演算された原色成分（Ｒ）の輝度レベルの差分値がこの差異検出レベルＬ１を超えたときに、差異が検出されたものと判定される。色レベルＬ２は、Ｓ／Ｎ比を向上させるべく、演算される差分値のゲインを設定するためのレベルである。例えば図１１に示すように、一の差分値を色レベルＬ２まで増幅させることにより、他の差分値も同様に増幅されることになる。増幅された各差分値に対して所望の差異検出レベルＬ１を設定することにより、高精度な差異検出を実現することができる。すなわちユーザは、検出を望む差分値のレベルに対応させて自在に色レベルＬ２を設定することができ、またこの色レベルＬ２との関係において差異検出レベルＬ１を設定することにより、色レベルＬ２の割合に対してどの程度のレベル変化を起こしたら差異が検出されたものと判断するか自由に設定することができる。ちなみに、他の原色成分（Ｇ、Ｂ）に関しても同様にＬ１,Ｌ２を設定することができる。

なお、この差異検出レベルＬ１及び色レベルＬ２は、Ｒ、Ｇ、Ｂの原色成分毎に互いに異なるレベルに設定してもよく、また、Ｒ、Ｇ、Ｂの原色成分により構成される色成分毎に異なるレベルに設定してもよい。更に、比較全体画像を構成する単位画像毎に、互いに異なるレベルに設定してもよい。

すなわち、監視システム１では、比較する単位画像について原色成分毎に演算した輝度レベルの差分値のうち、少なくとも一の原色成分において差異検出レベルＬ１を超える場合のみ、当該単位画像につき何らかの差異が検出されたものと判断して累積差異情報を生成することができる。このため、Ｒ、Ｇ、Ｂ毎に単独で差異を検出することができ、実際に表示画面４５上において表示される全体画像において、視覚的に検出することが不可能な微小な状況変化までも高精度に検出することができる。

また、本発明を適用した監視システム１では、差異を検出することができる対象物の大きさを選択することもできる。

図１２(a)に示すようにユーザは、キーボード５９やマウス６０を用いて単位画像毎に所望の参照画像領域を設定することができる。この設定される参照画像領域は、一の単位画像に対して１種のみ設定してもよいし、複数種設定してもよい。また原色成分毎に互いに異なるサイズからなる参照画像領域を設定してもよい。

ここで、ユーザにより図１２(b)に示すように、水平方向の長さをＷであり、また垂直方向の長さがｔである参照画像領域が設定された場合において、ＣＰＵ５６は、かかる参照画像領域が設定された単位画像につき、求められた差分値が差異検出レベルＬ１を超える被検出領域を識別する。ＣＰＵ５６は、この識別した被検出領域につき、参照画像領域との間でサイズを比較する。

例えば、図１３に示すように、差分値が差異検出レベルＬ１を超える被検出領域として、先ず水平方向の長さがＷ１であり、垂直方向の長さがｔ１である被検出領域Ｒ１を識別した場合に、水平方向につき、参照画像領域の長さＷと、このＷ１とを比較し、また垂直方向につき、参照画像領域の長さｔと、このｔ１とを比較する。その結果、被検出領域Ｒ１のサイズが水平、垂直方向において共に参照画像領域のサイズを超える場合には、差異が検出されたものと判定する。また、この被検出領域Ｒ１において、水平、垂直方向のうちいずれか一方のサイズが、参照画像領域のサイズを下回る場合には、差異が検出されなかったものと判定する。

同様に、ＣＰＵ５６は、差分値が差異検出レベルＬ１を超える被検出領域として、水平方向の長さがＷ２であり、垂直方向の長さがｔ２である被検出領域Ｒ２を識別した場合には、水平方向につき、参照画像領域の長さＷと、このＷ２とを比較し、また垂直方向につき、参照画像領域の長さｔと、このｔ２とを比較し、差異の有無を判定する。

すなわち、本発明を適用した監視システム１では、ユーザにより設定された参照画像領域に基づき、差異を検出するための被検出領域を選択することができる。特に、参照画像領域のサイズを細かく調整することにより、微小な被検出領域につき、差異が検出されることはなくなる。

また撮影範囲内に存在する被写体の中から、ある特定の対象につき、差異の検出を望む場合においても、参照画像領域のサイズを当該検出対象のサイズに応じて設定することにより実現することができる。特に撮影方向を順次変化させて被写体を撮像することにより得られる全体画像は、様々な移動被写体を含む場合が多いため、単位画像間で互いに異なるサイズからなる参照画像領域を設定することにより、各移動被写体につき、単一システムによる差異検出を実現することができる。

また、カメラ部４から遠距離にある移動被写体と近距離にある移動被写体は、仮に同一物であっても単位画像に表示されるサイズが異なる。例えばカメラ部４から遠距離位置に敷設されている道路上の自動車と、カメラ部４から近距離位置に敷設されている道路上の自動車では、同一種類のものであっても、後者の方が大きく表示される。このため、カメラ部４から遠距離位置に敷設されている道路を含む単位画像と、カメラ部４から近距離位置に敷設されている道路を含む単位画像との間で、設定する参照画像領域のサイズを変えることにより、かかる同一種類の自動車についても、カメラ部４からの遠近に支配されることなく正確な差異検出を実現することができる。

特に参照画像領域のサイズを、特定の移動被写体のサイズに合わせることにより、かかる特定の移動被写体の軌跡をディスプレイ６上に表示させることもできる。

例えば図１４に示すように、遠方から徐々に近づいてくる移動被写体（飛行機）を、撮影範囲内に捉えて上述と同様に所定の間隔で撮像動作を繰り返すことにより、単位画像から構成される全体画像を生成し、更にこの生成した各全体画像を比較全体画像として上述の如くそれぞれ累積差異情報を生成する。この生成される累積差異情報は、移動被写体の輝度レベルの差分値により構成され、かかる差分値をディスプレイ６上に表示される全体画像に至るまで累積することにより、図１４に示すような移動被写体の軌跡を色情報として表示することができる。

ユーザは、このような移動被写体の軌跡に応じた累積差異情報を色情報として視認することにより、特定の移動被写体の移動態様をより詳細に解析することができる。

なお、本発明を適用した監視システム１では、本来動きの少ない部分に存在する移動被写体の移動態様を図１５に示す手順を実行することにより解析することができる。

先ず図１５に示すステップＳ５１において、ディスプレイ６上に表示させる全体画像として全体画像ａ_ｋが指定された場合には、ステップＳ５２へ移行し、全体画像の識別番号ｎを１に設定する。

次にステップＳ５３へ移行し、比較全体画像ａ_ｎ＋１とその直前のタイミングにおいて撮像された基本全体画像ａ_ｎとの間で、上述の如く輝度レベルの差異を比較する。このとき、求めた輝度レベルの差分値が差異検出レベルＬ１を超えるか否か、各画素につき判別する。そして、このステップＳ５３においては、求めた輝度レベルの差分値が差異検出レベルＬ１を超える回数ｄを比較全体画像ａ_ｎ＋１を構成する各単位画像の画素位置毎にカウントする。そして、この回数ｄがスレッショルドＥを超えているか否か判定する。

このステップＳ５３において、回数ｄがスレッショルドＥを超えている場合には、当該画素位置については、移動被写体の動きが活発であるため、差異が検出される頻度が高い画素であることを判別する。ＣＰＵ５６は、単位画像を構成する画素位置毎にこの回数ｄを求め、スレッショルドＥを超えているか否か判別する。比較全体画像ａ_ｎ＋１を構成する各単位画像につき、全て回数ｄを求めた結果、スレッショルドＥを超えている画素が１つも存在しない場合にはステップＳ５６へ移行し、一方、スレッショルドＥを超えている画素が１つでも存在する場合には、ステップＳ５４へ移行する。

ステップＳ５４へ移行した場合において、ＣＰＵ５６は、その回数ｄがスレッショルドＥを超えている画素位置を識別し、当該識別した画素位置を移動被写体の動きが活発であるため、差異が検出される頻度が高い差異検出エリアに含める。ＣＰＵ５６は、この回数ｄがスレッショルドＥを超えている全ての画素を識別し、これを差異検出エリアに含めた後、ステップＳ５５へ移行する。

ステップＳ５５において、ＣＰＵ５６は、差異検出エリアを構成する画素位置については、輝度レベルの差異の比較対象から外すための設定を行う。

次にステップＳ５６へ移行し、比較全体画像ａ_ｎ＋１とその直前にタイミングにおいて撮像された基本全体画像ａ_ｎとの間で、上述の如く輝度レベルの差異を比較する。ちなみに次のステップＳ５７へ移行する前に、この識別番号ｎに１を加算する。

次にステップＳ５７へ移行し、比較全体画像ａ_ｎとその直前にタイミングにおいて撮像された基本全体画像ａ_ｎ−１との間で、上述の如く輝度レベルの差異が生じているか判別する。その結果、両者間で輝度レベルにつき差異が検出された場合には、ステップＳ５８へ移行する。一方、両者間で輝度レベルにつき差異が存在しない場合には、ステップＳ６１へ移行する。

ステップＳ５８において、上記生成された輝度レベルの差異に基づいて、累積差異情報を生成する。次にステップＳ５９へ移行し、この比較全体画像ａ_ｎと累積差異情報とを上述の如く重ねて表示させる。次にステップＳ６０へ移行し、全体画像ａ_ｎが全体画像ａ_ｋと等しいか否か判別する。その結果、ａ_ｎ≠ａ_ｋである場合には、ステップＳ５３へ戻る。一方、ａ_ｎ＝ａ_ｋである場合には、ディスプレイ上に表示させる全体画像ａ_ｋに至っていることを示唆しており、ステップＳ６３へ移行して処理を終了させる。

一方ステップＳ６１へ移行した場合には、比較全体画像ａ_ｎと累積差異情報を重ねて表示させる。次にステップＳ６２に移行し、上記ステップＳ６０と同様に、全体画像ａ_ｎが全体画像ａ_ｋと等しいか否か判別する。その結果ａ_ｎ≠ａ_ｋである場合には、ステップＳ５３へ戻る。一方、ａ_ｎ＝ａ_ｋである場合には、ステップＳ６３へ移行して処理を終了させる。

即ち、本発明を適用した監視システム１では、このような図１５に示す手順を実行することにより、移動被写体の動きが活発な領域を除く領域において存在する被写体の動きを選択的に検出することが可能となる。特に、このスレッショルドＥの具体的な値をユーザが任意に設定することにより、所望の移動被写体の移動態様のみを選択的に解析することも可能となる。

なお、本発明を適用した監視システム１では、さらに図１６に示す手順により、端末装置９を操作するユーザに対しても検出した差異に関する情報を提供することができる。

先ずステップＳ６１において、端末装置９を操作する各ユーザは、ネットワーク８に接続されている監視装置５にアクセスする。

次にステップＳ６２に移行し、監視装置５は、自身のサーバ５３に記録されている全体画像のうち、ユーザに対して公開できるものについて、公開可能画像リストを作成し、これを端末装置９へ送信する。ちなみに、この公開可能画像リストには、各全体画像のファイル名やファイルサイズのみならず、縮小された全体画像が貼り付けられる場合もある。この公開可能画像リストは、ネットワーク８、端末装置９を介して、端末ディスプレイ１０上に表示される。

次にステップＳ６３へ移行し、ユーザは、公開可能画像リストから所望の全体画像を選択する。端末装置９は、ユーザによる選択操作に応じて、全体画像送信要求Ｃ１を監視装置５へ送信する。

ステップＳ６４において、監視装置５は、かかる全体画像送信要求Ｃ１を受けて、ユーザにより選択された全体画像並びにその累積差異情報をサーバ５３から読み出し、これを端末装置９へ送信する。送信された全体画像は、上述の如く累積差異情報と重ね合わせてネットワーク８、端末装置９を介して、端末ディスプレイ１０に表示される（ステップＳ６５）。

以上説明した手順を実行することにより、本発明を適用した監視システム１では、監視装置５を操作するユーザに加えて、ネットワーク８に接続されている端末装置９を操作するユーザに対しても、適切な検出情報を提供することができる。

なお、上述した実施の形態では、全体画像に対応させた累積差異情報を生成し、これを全体画像に重ね合わせてディスプレイ６上に表示させる場合を例にとり説明をしたが、かかる場合に限定されるものではなく、例えば、各単位画像に対応させた累積差異情報を、単位画像に重ね合わせてディスプレイ上に表示させてもよい。

更に、本発明は、上述した処理をコンピュータに実行させるためのプログラムや、かかるプログラムが記録された記録媒体に適用してもよいことは勿論である。

本発明を適用した監視システムの構成を示す図である。 カメラユニット,監視装置のブロック構成図である。 カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。 ディスプレイ上の表示画面の構成例を示す図である。 本発明を適用した監視システムの動作について説明するための図である。 輝度レベルの差異を比較する二つの全体画像を示す図である。 累積差異情報を比較全体画像を構成する各単位画像に重ね合わせて表示させる例を示す図である。 累積差異情報を比較全体画像を構成する各単位画像に重ね合わせて表示させる他の例を示す図である。 撮影範囲を相当回数撮影して得られた比較全体画像をこれに関連付けて生成した累積差異情報とともに表示する場合につき説明するための図である。 比較全体画像が指定された後に、上述した累積差異情報を生成する場合のフローチャートである。 原色成分毎に色レベル、差異検出レベルを設定する方法について説明するための図である。 差異を検出することができる対象物の大きさを選択する場合につき説明するための図である。 被検出領域と参照画像領域とのサイズ比較の一例を示す図である。 特定の移動被写体の軌跡をディスプレイ上に表示させる場合につき説明するための図である。 本来動きの少ない部分に存在する移動被写体の移動態様を解析するためのフローチャートである。 検出した差異に関する情報を端末装置を操作するユーザに対して提供する手順を示すフローチャートである。

符号の説明

１ 監視システム、２ カメラユニット、３ パンチルタ部、４ カメラ部、５ 監視装置、６ ディスプレイ、８ ネットワーク、９ ユーザ端末、１０ 端末ディスプレイ、２２ レンズ部、２３ レンズ制御部、２４ 撮像部、２５ ＩＥＥＥ１３９４インターフェース、２８ ＧＰＳ受信部、２９ メタデータ生成部、５１ バッファメモリ、５２ エンコーダ、５３ サーバ、５４ 画像圧縮部、５５ グラフィックコントローラ、５６ ＣＰＵ、５８ Ｉ／Ｏポート、５９ キーボード、６０ マウス

Claims (10)

1. 撮影方向を順次変化させて撮影範囲を撮像することにより生成されたパノラマ画像を監視する監視装置において、
   上記生成されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出する差異検出手段と、
   上記生成された少なくとも一のパノラマ画像を表示面へ表示させる表示制御手段と、
   上記差異検出手段により検出された輝度レベルの差異を上記表示面に表示されるパノラマ画像に至るまで各撮影方向につき累積した累積差異情報を生成する情報生成手段とを備え、
   上記表示制御手段は、上記情報生成手段により生成された累積差異情報を上記表示面に表示されるパノラマ画像を構成する各単位画像に重ねて表示させること
   を特徴とする監視装置。
2. 所望の閾値を設定するための設定手段をさらに備え、
   上記情報生成手段は、上記設定された閾値を超える輝度レベルの差異のみ累積した累積差異情報を生成すること
   を特徴とする請求項１記載の監視装置。
3. 上記設定手段は、上記単位画像毎に参照画像領域がさらに設定され、
   上記情報生成手段は、上記差異検出手段により検出された輝度レベルの差異が上記設定された閾値を超える画像領域を順次抽出し、上記抽出した画像領域の縦方向及び横方向の各最大長が、上記設定された参照画像領域における縦方向及び横方向のサイズをそれぞれ超えるときに、上記輝度レベルの差異を累積した累積差異情報を生成すること
   を特徴とする請求項２記載の監視装置。
4. 上記差異検出手段は、上記輝度レベルの差異を色成分毎に検出すること
   を特徴とする請求項１記載の監視装置。
5. 上記撮像された単位画像を記録媒体へ記録する記録手段をさらに備えること
   を特徴とする請求項１記載の監視装置。
6. 撮影方向を順次変化させて撮影範囲を撮像することにより生成されたパノラマ画像を監視する監視方法において、
   上記生成されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出する差異検出ステップと、
   上記生成された少なくとも一のパノラマ画像を表示面へ表示する表示ステップと、
   上記差異検出ステップにおいて検出した輝度レベルの差異を上記表示面に表示するパノラマ画像に至るまで各撮影方向につき累積した累積差異情報を生成する情報生成ステップとを有し、
   上記表示ステップでは、上記情報生成ステップにおいて生成した累積差異情報を上記表示面に表示するパノラマ画像を構成する各単位画像に重ねて表示すること
   を特徴とする監視方法。
7. 撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像手段と、
   上記撮像手段により生成されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出する差異検出手段と、
   上記生成された少なくとも一のパノラマ画像を表示面へ表示させる表示制御手段と、
   上記差異検出手段により検出された輝度レベルの差異を上記表示面に表示されるパノラマ画像に至るまで各撮影方向につき累積した累積差異情報を生成する情報生成手段とを備え、
   上記表示制御手段は、上記情報生成手段により生成された累積差異情報を上記表示面に表示されるパノラマ画像を構成する各単位画像に重ねて表示させること
   を特徴とする撮像装置。
8. 撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像ステップと、
   上記撮像ステップにおいて生成されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出する差異検出ステップと、
   上記生成された少なくとも一のパノラマ画像を表示面へ表示する表示ステップと、
   上記差異検出ステップにおいて検出した輝度レベルの差異を上記表示面に表示するパノラマ画像に至るまで各撮影方向につき累積した累積差異情報を生成する情報生成ステップとを有し、
   上記表示ステップでは、上記情報生成ステップにおいて生成した累積差異情報を上記表示面に表示するパノラマ画像を構成する各単位画像に重ねて表示すること
   を特徴とする撮像方法。
9. 撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像ステップと、
   上記撮像ステップにおいて生成されたパノラマ画像を構成する一の単位画像と、当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出する差異検出ステップと、
   上記生成された少なくとも一のパノラマ画像を表示面へ表示する表示ステップと、
   上記差異検出ステップにおいて検出した輝度レベルの差異を上記表示面に表示するパノラマ画像に至るまで各撮影方向につき累積した累積差異情報を生成する情報生成ステップとを有し、
   上記表示ステップでは、上記情報生成ステップにおいて生成した累積差異情報を上記表示面に表示するパノラマ画像を構成する各単位画像に重ねて表示することをコンピュータに実行させるためのプログラム。
10. 撮影範囲全体を表すパノラマ画像を構成する各単位画像に撮影方向を順次合わせて撮像する撮像装置と、
    上記撮像装置からネットワークを介して受信したパノラマ画像を構成する一の単位画像と当該単位画像よりも先に撮像された同一撮影方向上の単位画像との間で輝度レベルの差異を順次検出し、また受信した少なくとも一のパノラマ画像を表示面へ表示させ、更に上記検出した輝度レベルの差異を上記表示面に表示されるパノラマ画像に至るまで各撮影方向につき累積した累積差異情報を生成する端末装置とを備え、
    上記端末装置は、上記生成した累積差異情報を上記表示面に表示されるパノラマ画像を構成する各単位画像に重ねて表示させること
    を特徴とする監視システム。
    

Images