JP2004228711A - 監視装置及び方法、プログラム並びに監視システム - Google Patents

Abstract

【課題】昼夜を問わず状況の変化や撮影地点を容易に検出する。
【解決手段】撮影方向を順次変化させて撮影範囲を撮像することにより得られたパノラマ画像を、互いに異なる互いに異なる時刻、又は焦点距離で複数生成し、この複数のパノラマ画像をそれぞれサーバ５３へ記録し、またユーザにより設定された合成比に基づき、サーバ５３から読み出した複数のパノラマ画像を合成して、これをディスプレイ６を介して表示する。また、これらのパノラマ画像に、所定の情報を表示するための表示画像をさらに合成することにより、合成画像の偽造を防止する。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影方向を順次変化させて撮像することにより得られたパノラマ画像を介して広範囲の状況を監視する監視装置及び方法、撮像装置、プログラム並びに監視システムに関する。
【０００２】
【従来の技術】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子によりの画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。このため、従来では、カメラの撮影方向を順にシフトさせながら被写体を撮影し、これらを合成してパノラマ画像を得ることにより、広範囲の状況を監視することができるモニタリング方法が提案されている。
【０００３】
特に近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照。）、また、設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録し、監視を行うことを可能とする集中監視記録システムも提案されている（例えば、特許文献２参照。）。
【０００４】
【特許文献１】
特開平１０−１０８１６３号公報
【特許文献２】
特開２０００−２４３０６２号公報
【０００５】
【発明が解決しようとする課題】
ところで、上記従来技術を始めとする監視方法において、或る特定の撮影範囲の状況につき監視する場合には、撮影した監視画像をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の規格に基づいて圧縮符号化し、これをパーソナルコンピュータ（ＰＣ）のハードディスクドライブ（ＨＤＤ）に記録する。そして、この記録した監視画像を、接続されたモニタを介してユーザに表示する。ちなみに、２４時間態勢で撮影範囲を監視する場合において、上記ＨＤＤには、例えば朝から昼に撮影した明るい状態の画像や、夕から夜に撮影した暗い状態の画像等の複数の監視画像が記録されていることになる。
【０００６】
しかしながら、夕から夜に撮影した暗い状態の画像を表示する場合には、モニタの画面自体が黒くなり、細かい画像の変化や微小な対象物の出現等をより正確に視認することができなかった。特に、明るい状態の画像と暗い状態の画像とを別々の画面を介して視認するシステムでは、撮影地点を把握することが困難になるという問題点もあった。
【０００７】
また、焦点距離を一定にして監視画像を撮像するとき、特にパノラマ画像を合成することにより広範囲の状況を監視する場合において、被写体からの距離の差異に基づき、画質の劣化する領域が生じるという問題点もあった。
【０００８】
さらに、得られた監視画像の偽造を防止する必要もあった。
【０００９】
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、昼夜を問わず状況の変化や撮影地点を容易に検出することができる監視装置及び方法、プログラム並びに監視システムを提供することにある。
【００１０】
【課題を解決するための手段】
本発明者は、撮影方向を順次変化させて撮影範囲を撮像することにより得られたパノラマ画像を、互いに異なる撮影条件で複数生成し、この複数のパノラマ画像をそれぞれ記録媒体へ記録し、また記録媒体から読み出した複数のパノラマ画像を合成して、これを表示することにより、上述した問題点の解決を図った。
【００１１】
すなわち、本発明を適用した監視装置は、撮影方向を順次変化させて撮影範囲を撮像することにより、生成したパノラマ画像を監視する監視装置において、互いに異なる撮影条件で撮影範囲を撮像することにより複数のパノラマ画像を生成する撮像手段と、複数のパノラマ画像をそれぞれ記録媒体へ記録する記録手段と、記録媒体から読み出した複数のパノラマ画像を合成する画像合成手段と、画像合成手段により合成された画像を表示する表示手段とを備える。
【００１２】
また、本発明を適用した監視方法は、撮影方向を順次変化させて撮影範囲を撮像することにより生成したパノラマ画像を監視する監視方法において、互いに異なる撮影条件で撮影範囲を撮像することにより複数のパノラマ画像を生成し、生成した複数のパノラマ画像をそれぞれ記録媒体へ記録し、記録媒体から読み出した複数のパノラマ画像を合成し、当該合成した画像を表示する。
【００１３】
また、本発明を適用したプログラムは、撮影方向を順次変化させて撮影範囲を撮像することにより生成したパノラマ画像を監視することをコンピュータに実行させるプログラムにおいて、互いに異なる撮影条件で撮影範囲を撮像することにより複数のパノラマ画像を生成し、生成した上記複数のパノラマ画像をそれぞれ記録媒体へ記録し、記録媒体から読み出した複数のパノラマ画像を合成し、合成した画像を表示することをコンピュータに実行させる。
【００１４】
また、本発明を適用した監視システムは、撮影方向を順次変化させて撮影範囲を撮像することにより生成したパノラマ画像を監視する監視システムにおいて、互いに異なる撮影条件で撮影範囲を撮像することにより複数のパノラマ画像を生成する撮像装置と、複数のパノラマ画像を順次記録するサーバと、サーバから読み出された複数のパノラマ画像が通信網を介して送信され、その複数のパノラマ画像を合成し、これをユーザに表示する端末装置とを備える。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明を適用した監視システム１は、例えば図１に示すように、被写体を撮像して画像信号を生成するカメラユニット２と、カメラユニット２により生成された画像信号が伝送される監視装置５と、監視装置５に接続されるディスプレイ６と、複数のユーザがアプリケーションを実行するための端末装置９と、監視装置５と各端末装置９との間で情報を送受信するためのネットワーク８と、端末装置９に接続される端末ディスプレイ１０と、ネットワーク８に接続されるネットワークサーバ１１とを備えている。
【００１６】
カメラユニット２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。
【００１７】
カメラ部４は、パンチルタ部３を構成する回転台上に配設され、監視装置５による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、監視装置５による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。このカメラ部４を一の監視装置５に対して複数設置することにより、同一の被写体につき、互いに異なる撮影角度で撮像することができ、多面的な画像情報を得ることも可能となる。
【００１８】
監視装置５は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器により構成され、カメラユニット２から伝送される画像信号を記録し、また記録した画像信号につきディスプレイ６を介してユーザに提示する。またこの監視装置５は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれを表示するように制御する。この監視装置５は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他の端末装置９からの要求に応じて、画像を送信する。
【００１９】
ネットワーク８は、例えば監視装置５と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）／Ｂ（ｂｒｏａｄｂａｎｄ）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの監視システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）で構成してもよい。さらにこのネットワーク８は、静止画像に加えてＭＰＥＧ画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、ＭＰＥＧデータがある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。
【００２０】
端末装置９は、各家庭や企業等に待機するユーザがネットワーク８を介して監視装置５から画像を取得し、所望の処理を実行するためのＰＣである。複数の端末装置９をネットワーク８に接続することにより、複数のユーザに対してこの監視システム１のアプリケーションを同時に提供することが可能となる。この端末装置９は、監視装置５から取得した画像を、端末ディスプレイ１０に対して表示する。またこの端末装置９は、ユーザによる指定操作に応じて要求信号を生成し、これを監視装置５に対して送信する。なお端末装置９のブロック構成については、後述する監視装置５の構成を引用し、説明を省略する。
【００２１】
ネットワークサーバ１１は、例えばインターネット情報を管理し、端末装置９による要求を受けて、自身に格納してある所定の情報を送信する。
【００２２】
次に、本発明を適用した監視システム１におけるカメラユニット２，監視装置５の構成について詳細に説明する。
【００２３】
図２は、カメラユニット２，監視装置５の構成図である。この図２では、共通のコントローラバス２１に対して、カメラユニット２並びに監視装置５の各構成要素が接続されている。
【００２４】
カメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するＴｉｌｔ部３ａ、Ｐａｎ部３ｂとを有する。また、カメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４と、撮像部２４により生成された画像信号を監視装置５へ送信するためのＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）１３９４インターフェース２５と、カメラユニット２の現在位置を検出するためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２８と、ＧＰＳ受信部２８に装着されるメタデータ生成部２９とを備えている。ちなみに、ＩＥＥＥ１３９４インターフェース２５は、イーサネット（登録商標）に代替してもよい。
【００２５】
また監視装置５は、ＩＥＥＥ１３９４インターフェース２５に接続されるバッファメモリ５１と、バッファメモリ５１に接続されるエンコーダ５２と、エンコーダ５２から出力される画像を蓄積するサーバ５３と、サーバ５３から読み出された画像を圧縮するための画像圧縮部５４と、サーバ５３及び画像圧縮部５４に接続され、ディスプレイ６上に表示する画像を作り出すグラフィックコントローラ５５と、コントローラバス２１を介して各部を制御するためのＣＰＵ５６と、Ｉ／Ｏポート５８にそれぞれ接続され、ディスプレイ６上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード５９並びにマウス６０と、さらにこのＩ／Ｏポート５８に接続されるメモリカード６１並びに時計６２とを備えている。
【００２６】
Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂは、ＣＰＵ５６からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部４の撮影方向を水平方向、或いは垂直方向に変更することができる。
【００２７】
レンズ制御部２３は、ＣＰＵ５６からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することも可能となる。
【００２８】
撮像部２４は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをＩＥＥＥ１３９４インターフェース２５へ送信する。
【００２９】
ＧＰＳ受信部２８は、ＧＰＳシステムにより送出される信号に基づき、カメラユニット２の設置場所や撮影方向を検出する。このＧＰＳ受信部２８を設けることにより、特に複数のカメラユニット２を設置する場合において、双方の撮影方向を連動して制御することが可能となる。ＧＰＳ受信部２８からの出力信号は、メタデータ生成部２９に供給され、ＧＰＳによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部２９は、この生成した位置情報やメタデータをエンコーダ５２へ供給する。なお本発明では、このＧＰＳ受信部２８、メタデータ生成部２９の構成を省略してもよい。
【００３０】
バッファメモリ５１は、ＣＰＵ５６からの制御信号に基づき、ＩＥＥＥ１３９４インターフェース２５から供給される画像信号を一時的に格納する。このバッファメモリ５１において一時的に格納された画像信号は、エンコーダ５２に供給され、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ５２は、圧縮符号化する画像信号に対して、メタデータ生成部２９から供給される位置情報やメタデータを付加してもよい。エンコーダ５２は、圧縮符号化した画像信号をサーバ５３或いは画像圧縮部５４へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５２における処理は省略される。
【００３１】
サーバ５３は、エンコーダ５２から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ５３は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ５３に記録された画像信号は、ＣＰＵ５６による制御に基づき、画像圧縮部５４やグラフィックコントローラ５５へ読み出される。なおサーバ５３に記録される画像信号をメモリカード６１へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のＰＣへ移し換えることも可能となる。また、このサーバ５３に記録されている画像信号をネットワークサーバ１１に記録するように制御することにより、サーバ５３をネットワークサーバ１１に代替することも可能となる。
【００３２】
画像圧縮部５４は、サーバ５３から読み出したＪＰＥＧ形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。グラフィックコントローラ５５は、サーバ５３から読み出した画像信号、又は画像圧縮部５４から出力される画像信号に基づき、ディスプレイ６への絵画処理を実行する。また、このグラフィックコントローラ５５は、ＣＰＵ５６による制御に基づき、ディスプレイ６におけるコントラスト、輝度の制御を実行する。
【００３３】
ＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、監視装置５内の各部を制御するための制御信号を、コントローラバス２１を介して送信する。また、このＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して設定された合成比に基づき、サーバ５３に記録されている複数の全体画像を読み出してこれを合成することにより、新たに合成画像を生成する。ＣＰＵ５６は、上述のグラフィックコントローラ５５を制御することにより、この生成した合成画像をディスプレイ６上に表示させる。また、このＣＰＵ５６は、端末装置９から所定の要求信号を受けて、サーバ５３に記録されている画像から最適なものを選択し、或いは各種情報を選択し、これを当該端末装置９へ送信するように制御する。
【００３４】
次に本発明を適用した監視システム１における撮像動作について説明をする。
【００３５】
図３は、カメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。
【００３６】
ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊとしたとき、ＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ５１に一時的に格納され、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化される。そしてこの画像信号は、ＧＰＳ２８から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ５３に記録される。
【００３７】
同様にＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様にサーバ５３へ記録される。ＣＰＵ５６による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。
【００３８】
カメラ部４は、１列目の撮像を終了させた後、ＣＰＵ５６による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、サーバ５３は、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。また、この撮像動作を例えば、朝から昼に１回、夕から夜に１回行うことにより、異なる撮影条件で撮像した全体画像が、換言すれば当該全体画像を構成する各単位画像がサーバ５３に記録されている状態となる。
【００３９】
ちなみに、このサーバ５３に記録されている各単位画像に基づく画像信号は、画像圧縮部５４により順次読み出されて、ディスプレイ６の表示画面のサイズに適合するように圧縮される。この圧縮された各単位画像は、グラフィックコントローラ５５を経てディスプレイ６に表示される。サーバ５３に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚の全体画像が合成されることになる。上述の撮像動作を一定の間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となる。
【００４０】
図４は、撮像したｉ×ｊ個の単位画像を貼り合わせることにより合成した全体画像を、ディスプレイ６の全体画像表示部７０に表示する例を示している。なお、この監視装置５は、全体画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また監視装置５は、パノラマ状の全体画像の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、この全体画像表示部７１に表示させてもよい。
【００４１】
ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。この拡大画像表示部７１は、全体画像表示部７０に表示される全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大して表示してもよいし、またかかる一の単位画像の撮影方向につき、動画を順次表示してもよい。これによりユーザは、指定した単位画像における撮影方向の状況につき、リアルタイムに確認することもできる。
【００４２】
また表示画面４５には、拡大画像表示部７１に表示されている単位画像につき、撮影倍率を縮小して表示させるためのＷＩＤＥボタン７２、撮影倍率を拡大して表示させるためのＺＯＯＭボタン７３が表示される。また、この表示画面４５には、カメラ部４の撮影方向を水平、垂直方向において調整するための撮影方向制御部７５、各種モードの設定やサーバに対して所望のアドレスに単位画像に基づく画像信号を記録させるための設定ボタン７６等も表示される。
【００４３】
また、表示画面４５には、サーバ５３に記録されている複数の全体画像の合成比を設定するためのスライドスイッチ部７８が表示される。
【００４４】
ユーザは、このスライドスイッチ部７８に表示されている指針７９をキーボード５９やマウス６０を介して左右に移動させることにより、所望の合成比を簡単に設定することができる。例えばこの指針７９をスライドスイッチ部７８の中心位置に移動させることにより、合成する二枚の全体画像の合成比を５０％にすることができる。また、この指針７９をスライドスイッチ部７８の左端に移動させることにより、合成する二枚の全体画像のうち一の全体画像のみ１００％表示させることができる。
【００４５】
また、ユーザは、全体画像表示部７０や拡大画像表示部７１に対して、キーボード５９やマウス６０を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部７０，７１には、マウス６０等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。
【００４６】
次に本発明を適用した監視システム１により、複数のパノラマ画像を合成する方法について説明をする。
【００４７】
例えば図５に示すように、朝から昼に撮影した明るい状態の全体画像８１と、夕から夜において全体画像８１と同一の撮影範囲を撮影した暗い状態の全体画像８２がサーバ５３に記録されている場合を仮定する。このとき、ＣＰＵ５６は、かかる二つの全体画像をサーバ５３から読み出す。次に、スライドスイッチ部７８に表示される指針７９の位置に基づき、読み出した二つの全体画像を合成する。
【００４８】
この全体画像の合成は、全体画像８１と全体画像８２とを各単位画像を構成する画素毎に輝度レベルを比較する。そして、上述したスライドスイッチ７８を介して指定された合成比に基づき、生成する合成画像の画素毎に輝度レベルを演算する。この輝度レベルの演算は、例えば、全体画像８１と全体画像８２を構成する画素毎に輝度レベルの差分値を求め、これに合成比を乗じた値に基づき、実行してもよい。これにより、合成画像の明るさを図５に示すように、合成比に基づき自在に制御することができ、生成する合成画像を、例えば明るい状態の全体画像８１のみ、或いは暗い状態の全体画像８２のみに加えて、全体画像８１と全体画像８２とを５０％ずつ含めて構成することもできる。また、この全体画像の合成は、他のいかなる方法により実行してもよい。
【００４９】
図６は、新たに撮像したパノラマ画像との間で合成画像を生成する手順を示すフローチャートである。
【００５０】
先ずステップＳ１１において、ディスプレイ６上に通常の表示画面４５が表示されている場合において、ユーザにより新たに画像を取り込むためのコマンドが入力されたか否か判断する。当該コマンドが入力された場合には、ステップＳ１２へ移行し、それ以外の場合には、再度ステップＳ１１へ移行する。
【００５１】
ステップＳ１２において、ＣＰＵ５６は、上述のコマンドを受けて、現段階で全体画像表示部７０に表示されている全体画像をビットマップ変換して図示しないメモリ等に記憶しておく。ちなみに、この図示しないメモリの代替として、上述したサーバ５３にかかる全体画像を記録しておいてもよい。
【００５２】
次にステップＳ１３へ移行し、上述した撮像動作を実行することにより、新たな全体画像を構成する単位画像を取得して、これをサーバ５３に記録する。次にステップＳ１４へ移行し、ＣＰＵ５６は、サーバ５３に新たに記録された単位画像を互いに貼り合わせて、これを全体画像表示部７０へ表示する。このステップＳ１４において、スライドスイッチ部７８に表示される指針７９の位置が、マウス６０等を介してユーザにより調整された場合にはステップＳ１５へ移行する。
【００５３】
ステップＳ１５において、ステップＳ１２においてビットマップ変換して記憶した全体画像と、ステップＳ１４において全体画像表示部７０に表示されている全体画像とを、上述の如くスライドスイッチ部７８に表示される指針７９の位置に基づき合成する。このステップＳ１５においても、スライドスイッチ部７８に表示される指針７９の位置がさらに調整された場合には、再びステップＳ１５へ移行し、合成画像の生成を行う。一方、このステップＳ１５において、スライドスイッチ部７８に表示される指針７９の位置が所定の時間内に調整されなかった場合には、ステップＳ１１へ移行する。
【００５４】
なお、この図６に示す手順では、スライドスイッチ７８における指針７９が調整されたか否かに応じて、合成画像の生成を実行するが、かかる場合に限定されるものではなく、例えば図示しないオーバーレイスイッチを表示画面４５上に表示し、マウス６０等を介してかかるオーバーレイスイッチがクリックされた場合に、合成画像を生成するようにしてもよい。
【００５５】
すなわち、本発明を適用した監視システム１では、互いに異なる時刻で撮影した、明るい状態を示す全体画像と暗い状態を示す全体画像とをサーバ５３に記録しておくことにより、生成する合成画像につき、明るい状態を優先させるか、或いは暗い状態を優先させるかを、ユーザ自身が決定することができる。これにより、暗い状態では視認することができず、明るい状態のみで視認することができるポイントについても、明るい状態の画像の合成比を向上させることにより、かかるポイントの特定が容易になる。またユーザが、夜半において、拡大画像表示部７１に表示されている動画をリアルタイムに監視している際に、何らかの光を瞬時に視認したときに、上述の如く明るい状態の画像の合成比を向上させることにより、かかる光の原因を容易に調査、分析することができる。すなわち、夕から夜に撮影した暗い状態の全体画像において、細かい画像の変化や微小な対象物の出現等を正確に視認することが可能となる。
【００５６】
なお、本発明を適用した監視システム１は上述した実施の形態に限定されるものではなく、例えば互いに異なる焦点距離で撮影した複数の全体画像をサーバ５３に予め記録しておくことにより、画質の劣化を防止することもできる。
【００５７】
例えば、カメラ部４から遠距離にある被写体に合焦させて撮像した全体画像と、カメラ部４から近距離にある被写体に合焦させて撮像した全体画像とをサーバ５３に予め記録しておく。ユーザは、かかる二つの全体画像の合成比をスライドスイッチ７８を介して設定することにより、所望の被写体へ合焦した全体画像を視認することができる。特に全体画像を介して広範囲の状況を監視する監視システム１において、カメラ部４から互いに異なる距離に位置する多数の被写体が存在する場合においても、それぞれに対してピントの調整された高画質の合成画像を得ることが可能となる。
【００５８】
なお、本発明を適用した監視システム１では、上述した全体画像に対して、さらに所定の情報表示するための表示画像８３を合成してもよい。図７は、全体画像と表示画像とを合成する場合について示している。表示画像８３には、例えば商品名やロゴ等を現した文字や図形等が付加され、予めサーバ５３に記録されている。ＣＰＵ５６は、全体画像とこの表示画像８３とをそれぞれサーバ５３から読み出して、上述の如く合成することができる。これにより、図７に示すように、全体画像に対して、表示画像８３の文字や図形等が合成された合成画像を生成することができる。
【００５９】
またこのようにして生成した合成画像を、例えば図示しないプリンタ等を介して出力する際に、このような表示画像を合成しておくことにより、本監視システム１において撮像された画像であることを強調することができる。このため、プリントアウトされた画像を受け取った者は、合成された文字や図形等から、本監視システム１により撮像された画像であることを容易に認識することができる。また、かかる文字や図形等が合成された画像は全て本監視システム１により生成されたものであると判断することができるため、画像複写時における偽造の発見においても有用であり、またかかる偽造行為の抑制をも促すことができ、さらには得られる画像の信頼性を向上させることもできる。
【００６０】
なお、この表示画像８３における文字や図形等の明るさを、例えば、一度複写したものを再度複写する場合に、かかる文字や図形等が映らない程度に設定してもよい。また、かかる文字や図形等が存在することを容易に識別できないようにすべく、これらを半透明にしたいわゆるすかし画像として構成してもよい。これらのいわゆるすかし画像の文字や図形等を本監視システム１内で任意に改変することができるようにしてもよく、さらに当該すかし画像の位置も任意に設定することができるようにしてもよい。
【００６１】
本発明を適用した監視システム１は、更に以下に説明する実施の形態に適用してもよい。
【００６２】
この実施の形態では、夕から夜において監視を行う場合に、図８に示すように、予め朝から昼に撮影した明るい状態の全体画像８１を、全体画像表示部７０へ表示する。ユーザは、所望の被写体につき現在の状況を確認する場合において、この全体画像表示部７０に表示されている当該被写体の画像領域をマウス６０等でクリックする。ＣＰＵ５６は、かかるマウス６０により画像領域が指定された場合に、指定された画像領域へ撮影方向を変化させるための駆動信号を生成し、これをパンチルタ部３やレンズ制御部２３へ送信する。パンチルタ部３は、かかる駆動信号を受信し、カメラ部４の撮影方向を当該指定された画像領域へ変化させる。
【００６３】
次にカメラ部４は、パンチルタ部３により制御された撮影方向の被写体の撮像を実行する。その結果、ユーザにより指定された被写体の動画像を連続的に得ることができ、これを拡大画像表示部７１に表示することができる。
【００６４】
すなわち、本発明を適用した監視システム１では、明るい状態の全体画像８１を介して画像領域を指定することにより、夕から夜において監視を行う場合においても、撮影を望む被写体を容易に特定することができる。また、マウス６０等を用いた操作のみで、かかる被写体に撮影方向を合わせて、順次撮像を実行することができるため、夕から夜においても所望の被写体の状況をリアルタイムに監視することが可能となる。
【００６５】
なお本発明を適用した監視システム１において合成する複数の全体画像は、互いに異なる撮影条件で同一の撮影範囲を撮像したものであれば、いかなるものであってもよく、例えば白黒画像（暗視）とカラー画像、カラー画像とカラー画像、白黒画像（暗視）と白黒画像等の組み合わせから、上述の如く合成画像を生成してもよい。また、カメラ部４をＵＶ（紫外線）カメラや、サーモカメラで構成することにより、これらの画像から得られる情報を組み合わせて表示させることもできる。また、上述した組み合わせ以外の各種情報を更に盛り込んで表示してもよいことは勿論である。
【００６６】
また、この監視システム１において合成する全体画像は複数であればよく、二枚の画像を合成する場合のみならず、３枚以上の画像を合成してもよい。これにより、明るい状態で撮影した全体画像、暗い状態で撮影した全体画像に加え、さらにＵＶカメラで撮影した全体画像をも合成することができ、状況に応じて各種情報を取得することが可能となる。
【００６７】
合成する画像を複数の全体画像の場合を例にとって説明しているが、全体画像と所定の単一画像を合成しても良いし、複数の所定位置の単一画像を合成しても良い。
【００６８】
なお、本発明を適用した監視システム１では、監視装置５と同様の構成からなる端末装置９をネットワーク８に接続することにより、かかる端末装置９を操作するユーザ自身も昼夜を問わずに撮影範囲を監視することができる。合成画像を生成するための全体画像は、一度サーバ５３に記録されているため、事後的に複数のユーザがこれにアクセスして、上述の処理を実行することも可能となる。かかる場合において、撮像した各全体画像をネットワーク８に接続されているネットワークサーバ１１へ順次記録しておくことにより、端末装置５自身がかかるネットワークサーバ１１へアクセスして各全体画像を読み出し、これを合成してもよい。これにより、複数の端末装置９から同時にアクセスを受けた監視装置５につき負担を軽減させることができる。
【００６９】
また、この監視システム１では、過去に撮像した画像信号に基づく全体画像をサーバ５３に蓄積することにより、過去から現在における状況の移り変わり等を現した合成画像を生成することもできる。
【００７０】
【発明の効果】
以上詳細に説明したように、本発明では、撮影方向を順次変化させて撮影範囲を撮像することにより得られたパノラマ画像を、互いに異なる撮影条件で複数生成し、この複数のパノラマ画像をそれぞれ記録媒体へ記録し、また記録媒体から読み出した複数のパノラマ画像を合成して、これを表示する。これにより、本発明では、昼夜を問わず状況の変化や撮影地点を容易に検出することができ、被写体からの距離の差異に基づく画質の劣化を防止することができ、さらには、得られた合成画像の偽造を防止することができる。
【図面の簡単な説明】
【図１】本発明を適用した監視システムの構成を示す図である。
【図２】カメラユニット，監視装置のブロック構成図である。
【図３】カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。
【図４】ディスプレイ上の表示画面の構成例を示す図である。
【図５】複数のパノラマ画像を合成する方法について説明するための図である。
【図６】新たに撮像したパノラマ画像との間で合成画像を生成する手順を示すフローチャートである。
【図７】全体画像と表示画像とを合成する場合について示す図である。
【図８】他の実施の形態について説明するための図である。
【符号の説明】
１ 画像情報提供システム、２ カメラユニット、３ パンチルタ部、４ カメラ部、５ 画像信号処理装置、６ ディスプレイ、８ ネットワーク、９ ユーザ端末、１０ 端末ディスプレイ、１１ ネットワークサーバ、２１ コントローラバス、２２ レンズ部、２３ レンズ制御部、２４ 撮像部、２５ ＩＥＥＥ１３９４インターフェース、２８ ＧＰＳ受信部、２９ メタデータ生成部、５１ バッファメモリ、５２ エンコーダ、５３ サーバ、５４ 画像圧縮部、５５ グラフィックコントローラ、５６ ＣＰＵ、５８ Ｉ／Ｏポート、５９ キーボード、６０ マウス、６１ メモリカード、６２ 時計

Claims (22)

1. 撮影方向を順次変化させて撮影範囲を撮像することにより、生成したパノラマ画像を監視する監視装置において、
   互いに異なる撮影条件で上記撮影範囲を撮像することにより、複数のパノラマ画像を生成する撮像手段と、
   上記複数のパノラマ画像をそれぞれ記録媒体へ記録する記録手段と、
   上記記録媒体から読み出した上記複数のパノラマ画像を合成する画像合成手段と、
   上記画像合成手段により合成された画像を表示する表示手段とを備えること
   を特徴とする監視装置。
2. 上記複数のパノラマ画像の合成比を設定するための設定手段を備え、
   上記画像合成手段は、上記設定された合成比に基づき、上記複数のパノラマ画像を合成すること
   を特徴とする請求項１記載の監視装置。
3. 上記設定手段は、さらに上記パノラマ画像から画像領域を設定し、
   上記撮像手段は、上記設定された画像領域に基づき、撮影方向を制御すること
   を特徴とする請求項２記載の監視装置。
4. 上記撮像手段は、互いに異なる時刻、又は焦点距離で上記撮影範囲を撮像することにより、上記複数のパノラマ画像を生成すること
   を特徴とする請求項１記載の監視装置。
5. 上記画像合成手段は、さらに所定の情報を表示するための表示画像と、上記パノラマ画像とを合成すること
   を特徴とする請求項１記載の監視装置。
6. 撮影方向を順次変化させて所定の撮影範囲を撮像することにより、生成したパノラマ画像を監視する監視装置において、
   所定の条件で撮像することによりパノラマ画像を生成する撮像手段と、
   生成したパノラマ画像を記録する記録手段と、
   上記記録されたパノラマ画像に、撮像されているパノラマ画像又は所定位置の単一画像を合成する画像合成手段と、
   上記画像合成手段により合成されたパノラマ全体画像を表示する表示手段とを備えること
   を特徴とする監視装置。
7. 撮影方向を順次変化させて撮影範囲を撮像することにより生成したパノラマ画像を監視する監視方法において、
   互いに異なる撮影条件で上記撮影範囲を撮像することにより、複数のパノラマ画像を生成し、
   生成した上記複数のパノラマ画像をそれぞれ記録媒体へ記録し、
   上記記録媒体から読み出した上記複数のパノラマ画像を合成し、
   上記合成した画像を表示すること
   を特徴とする監視方法。
8. 上記複数のパノラマ画像の合成比が設定され、
   上記設定された合成比に基づき、上記複数のパノラマ画像を合成すること
   を特徴とする請求項７記載の監視方法。
9. さらに上記パノラマ画像から所望の画像領域が設定され、
   設定された画像領域に基づき、撮影方向を制御すること
   を特徴とする請求項８記載の監視方法。
10. 互いに異なる時刻、又は焦点距離で上記撮影範囲を撮像することにより、上記複数のパノラマ画像を生成すること
    を特徴とする請求項７記載の監視方法。
11. さらに所定の情報を表示するための表示画像と、上記パノラマ画像とを合成すること
    を特徴とする請求項７記載の監視方法。
12. 撮影方向を順次変化させて撮影範囲を撮像することにより生成したパノラマ画像を監視することをコンピュータに実行させるプログラムにおいて、
    互いに異なる撮影条件で上記撮影範囲を撮像することにより、複数のパノラマ画像を生成し、
    生成した上記複数のパノラマ画像をそれぞれ記録媒体へ記録し、
    上記記録媒体から読み出した上記複数のパノラマ画像を合成し、
    上記合成した画像を表示することをコンピュータに実行させるためのプログラム。
13. 上記複数のパノラマ画像の合成比が設定され、
    上記設定された合成比に基づき、上記複数のパノラマ画像を合成すること
    をコンピュータに実行させる請求項１２記載のプログラム。
14. さらに上記パノラマ画像から所望の画像領域が設定され、
    設定された画像領域に基づき、撮影方向を制御することをコンピュータに実行させる請求項１３記載のプログラム。
15. 互いに異なる時刻、又は焦点距離で上記撮影範囲を撮像することにより、上記複数のパノラマ画像を生成することをコンピュータに実行させる請求項１２記載のプログラム。
16. さらに所定の情報を表示するための表示画像と、上記パノラマ画像とを合成することをコンピュータに実行させる請求項１２記載のプログラム。
17. 撮影方向を順次変化させて撮影範囲を撮像することにより生成したパノラマ画像を監視する監視システムにおいて、
    互いに異なる撮影条件で上記撮影範囲を撮像することにより複数のパノラマ画像を生成する撮像装置と、
    上記複数のパノラマ画像を順次記録するサーバと、
    上記サーバから読み出された上記複数のパノラマ画像が通信網を介して送信され、その複数のパノラマ画像を合成し、これを表示する端末装置とを備えること
    を特徴とする監視システム。
18. 上記端末装置は、上記複数のパノラマ画像の合成比を設定するための設定手段を備え、設定された合成比に基づき、上記複数のパノラマ画像を合成すること
    を特徴とする請求項１７記載の監視システム。
19. 上記設定手段は、さらに上記パノラマ画像から画像領域を設定し、
    上記撮像装置は、設定された画像領域に基づき、撮影方向を制御すること
    を特徴とする請求項１８記載の監視システム。
20. 上記撮像装置は、互いに異なる時刻、又は焦点距離で上記撮影範囲を撮像することにより、上記複数のパノラマ画像を生成すること
    を特徴とする請求項１７記載の監視システム。
21. 上記端末装置は、さらに所定の情報を表示するための表示画像と、上記パノラマ画像とを合成すること
    を特徴とする請求項１７記載の監視システム。
22. 上記端末装置は、複数設けられてなること
    を特徴とする請求項１７記載の監視システム。

Images