JP2004266670A - 撮像装置及び方法、画像情報提供システム並びにプログラム - Google Patents
撮像装置及び方法、画像情報提供システム並びにプログラム Download PDFInfo
- Publication number
- JP2004266670A JP2004266670A JP2003056245A JP2003056245A JP2004266670A JP 2004266670 A JP2004266670 A JP 2004266670A JP 2003056245 A JP2003056245 A JP 2003056245A JP 2003056245 A JP2003056245 A JP 2003056245A JP 2004266670 A JP2004266670 A JP 2004266670A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- imaging
- entire
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】精細な画質を維持しつつ、動画像から所望の画像領域につき拡大、縮小することができる撮像装置及び方法において、高精細な拡大画像を生成する。
【解決手段】異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体へ記録し、また全体画像に基づき生成した動画像を表示し、表示した動画像に対して画像領域が指定された場合に、その指定された画像領域に応じて記録媒体から単位画像を選択して拡大画像を生成し、これを表示する。
【選択図】 図１
【解決手段】異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体へ記録し、また全体画像に基づき生成した動画像を表示し、表示した動画像に対して画像領域が指定された場合に、その指定された画像領域に応じて記録媒体から単位画像を選択して拡大画像を生成し、これを表示する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、撮影方向を順次変化させて撮像することにより得られたパノラマ画像を介して広範囲の状況を監視する撮像装置及び方法、画像情報提供システム並びにプログラムに関する。
【０００２】
【従来の技術】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子によりの画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。
【０００３】
このため、カメラの撮影方向を順にシフトさせながら被写体を撮像することにより、複数の単位画像から構成されるパノラマ画像を得ることにより、広範囲の状況を監視することができる監視カメラが普及している。特に、近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照。）、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録し、監視を行うことを可能とする集中監視記録システムも提案されている（例えば、特許文献２参照。）。
【０００４】
【特許文献１】
特開平１０−１０８１６３号公報
【特許文献２】
特開２０００−２４３０６２号公報
【０００５】
【発明が解決しようとする課題】
撮像したパノラマ画像について、単独のユーザのみならず複数のユーザがネットワークを介して同時に視認できるシステムが昨今において望まれている。特に百貨店等の商品売り場や立ち入り禁止区域等のような広範囲の状況については、複数のユーザが同時に監視する必要があり、特に事件発生後において、既に蓄積してあるパノラマ画像につき各人が事後的な確認を望む場合もある。
【０００６】
しかしながら、上述したモニタリングシステムや撮像装置は、あくまでユーザが単独で被写体を撮像してパノラマ画像を生成する際に好適なものであるため、複数のユーザによる被写体の同時撮影や、撮影内容の事後的な確認が困難であった。
【０００７】
また、上述したモニタリングシステムや撮像装置では、蓄積したパノラマ画像をデジタルズームにより拡大処理、単位画像を連結する処理や、ズーム値にあわせて画素を間引く処理等が必要となり、精細な画質を維持できず、特に単位画像の連結部を拡大する場合に境界が画面上に表示されてしまい、画質を悪化させる要因にもなっていた。
【０００８】
さらに、撮像した画像を動画表示するモードにおいて、ユーザが所望の画像領域を拡大して内容の確認を望む場合にも、高精細な拡大画像を提供することにより、上述した監視の精度を向上させる必要性もあった。
【０００９】
そこで本発明は上述した問題点に鑑みて案出されたものであり、精細な画質を維持しつつ、動画像から所望の画像領域につき拡大、縮小することができる撮像装置及び方法において、より高精細な拡大画像を生成する。
【００１０】
【課題を解決するための手段】
本発明者は、上述した問題点を解決するために、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体へ記録し、また全体画像に基づき生成した動画像を表示し、表示した動画像に対して画像領域が指定された場合に、その指定された画像領域に応じて記録媒体から単位画像を選択して拡大画像を生成し、これを表示することができる撮像装置及び方法、画像情報提供システム並びにプログラムを発明した。
【００１１】
即ち、本発明を適用した撮像装置は、異なる２以上の撮影画角で撮影方向を順次変化させて撮影範囲を撮像することにより複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成する撮像手段と、単位画像を撮影画角毎に階層化して記録媒体へ記録する記録手段と、全体画像に基づき動画像を生成する動画像生成手段と、動画像生成手段により生成された動画像を表示するための動画像表示手段と、単位画像を拡大した拡大画像を表示する拡大画像表示手段と、動画像表示手段に表示されている動画像において、ユーザが画像領域を指定するための指定手段と、指定手段により指定された画像領域に応じて、記録媒体から単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成し、これを拡大画像表示手段へ出力する制御手段とを備える。
【００１２】
本発明を適用した撮像方法は、異なる２以上の撮影画角で撮影方向を順次変化させて撮影範囲を撮像することにより複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成し、単位画像を撮影画角毎に階層化して記録媒体へ記録し、全体画像に基づき動画像を生成し、生成した動画像を表示し、表示した動画像に対して画像領域が指定された場合において、その指定された画像領域に応じて記録媒体から単位画像を選択し、当該選択した単位画像を拡大した拡大画像を生成して、これを表示する。
【００１３】
本発明を適用した画像情報提供システムは、異なる２以上の撮影画角で撮影方向を順次変化させて撮影範囲を撮像することにより複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成する撮像装置と、撮像装置により撮像された単位画像を撮影画角毎に階層化してサーバへ記録し、また撮像装置により生成された全体画像に基づき動画像を生成する制御機器と、少なくとも撮像装置から通信網を介して送信された動画像を表示するための表示手段と、表示手段に表示されている動画像においてユーザが画像領域を指定するための指定手段とを有し、指定手段により指定された画像領域に応じてサーバから単位画像を読み出し、その読み出した単位画像を拡大した拡大画像を生成して、これを表示手段へ表示させる端末装置とを備える。
【００１４】
また、本発明を適用したプログラムは、異なる２以上の撮影画角で撮影方向を順次変化させて撮影範囲を撮像することにより複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成し、単位画像を撮影画角毎に階層化して記録媒体へ記録し、全体画像に基づき動画像を生成し、生成した動画像を表示し、表示した動画像に対して画像領域が指定された場合において、その指定された画像領域に応じて記録媒体から単位画像を選択し、当該選択した単位画像を拡大した拡大画像を生成して、これを表示することをコンピュータに実行させる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明を適用した監視システム１は、例えば図１に示すように、被写体を撮像して画像信号を生成するカメラユニット２と、音声信号を受信するマイク１２と、カメラユニット２より伝送された画像信号に所定の処理を施す画像入出力部１３と、マイク１２より伝送された音声信号に所定の処理を施す音声入出力部１４と、少なくとも画像入出力部１３及び音声入出力部１４に接続され、上記画像信号を処理するための演算処理部１５と、演算処理部１５に接続され、上記画像信号を記録するサーバ５３と、ユーザが本システム１を制御するための操作部１６と、演算処理部１５に接続され、各種情報を表示するためのディスプレイ６と、他のユーザがアプリケーションを実行するための端末装置９と、端末装置９に接続される端末ディスプレイ１０と、端末装置９に対して各種情報を送受信するためのネットワーク８とを備えている。
【００１６】
カメラユニット２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。
【００１７】
カメラ部４は、パンチルタ部３を構成する回転台上に配設され、演算処理部１５等による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、演算処理部１５等による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。
【００１８】
画像入出力部１３、音声入出力部１４、演算処理部１５、サーバ５３並びに操作部１６は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器１００により一体化して構成してもよい。この電子機器１００によれば、カメラユニット２から伝送される画像信号を記録し、また記録した画像信号につきディスプレイ６を介してユーザに表示する。またこの電子機器１００は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれをディスプレイ６に表示するように制御する。この電子機器１００は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他の端末装置９からの要求に応じて、画像や音声を送信する。
【００１９】
ネットワーク８は、例えば電子機器１００と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）／Ｂ（ｂｒｏａｄｂａｎｄ）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの監視システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）で構成してもよい。さらにこのネットワーク８は、静止画像に加えて動画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）データを始めとする動画像がある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。なお、このネットワーク８には、さらにネットワークサーバ１８を接続してもよい。このネットワークサーバ１８は、例えばインターネット情報を管理し、端末装置９による要求を受けて、自身に格納してある所定の情報を送信する。
【００２０】
端末装置９は、各家庭や企業等に待機するユーザがネットワーク８を介して電子機器１００から画像を取得し、所望の処理を実行するためのＰＣである。複数の端末装置９をネットワーク８に接続することにより、複数のユーザに対してこの監視システム１のアプリケーションを同時に提供することが可能となる。この端末装置９は、電子機器１００から取得した画像を、端末ディスプレイ１０に対して表示する。またこの端末装置９は、ユーザによる指定操作に応じて要求信号を生成し、これを電子機器１００に対して送信する。なお端末装置９のブロック構成については、後述する電子機器１００の構成を引用し、説明を省略する。
【００２１】
次に、本発明を適用した監視システム１におけるカメラユニット２，電子機器１００の構成について詳細に説明する。
【００２２】
図２は、カメラユニット２，電子機器１００の構成図である。この図２では、共通のコントローラバス２１に対して、カメラユニット２並びに電子機器１００の各構成要素が接続されている。
【００２３】
カメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するＴｉｌｔ部３ａ、Ｐａｎ部３ｂとを有する。また、カメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４と、撮像部２４により生成された画像信号を画像入出力部１３へ送信するためのＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）１３９４インターフェース２５と、カメラユニット２の現在位置を検出するためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２８と、ＧＰＳ受信部２８に装着されるメタデータ生成部２９とを備えている。ちなみに、ＩＥＥＥ１３９４インターフェース２５は、イーサネット（登録商標）に代替してもよい。
【００２４】
また画像入出力部１３は、ＩＥＥＥ１３９４インターフェース２５に接続されるバッファメモリ５１と、バッファメモリ５１に接続されるエンコーダ５２とを備えている。
【００２５】
また演算処理部１５は、サーバ５３から読み出された画像を圧縮するための画像圧縮部５４と、サーバ５３及び画像圧縮部５４に接続され、ディスプレイ６上に表示する画像を作り出すグラフィックコントローラ５５と、コントローラバス２１を介して各部を制御するためのＣＰＵ５６と、Ｉ／Ｏポート５８にそれぞれ接続されるメモリカード６１並びに時計６２とを備えている。
【００２６】
また操作部１６は、ディスプレイ６上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード５９並びにマウス６０を備えている。
【００２７】
Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂは、ＣＰＵ５６からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部４の撮影方向を水平方向、或いは垂直方向に変更することができる。
【００２８】
レンズ制御部２３は、ＣＰＵ５６からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することも可能となる。
【００２９】
撮像部２４は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをＩＥＥＥ１３９４インターフェース２５へ送信する。
【００３０】
ＧＰＳ受信部２８は、ＧＰＳシステムにより送出される信号に基づき、カメラユニット２の設置場所や撮影方向を検出する。このＧＰＳ受信部２８を設けることにより、特に複数のカメラユニット２を設置する場合において、双方の撮影方向を連動して制御することが可能となる。ＧＰＳ受信部２８からの出力信号は、メタデータ生成部２９に供給され、ＧＰＳによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部２９は、この生成した位置情報やメタデータをエンコーダ５２へ供給する。なお本発明では、このＧＰＳ受信部２８、メタデータ生成部２９の構成を省略してもよい。
【００３１】
バッファメモリ５１は、ＣＰＵ５６からの制御信号に基づき、ＩＥＥＥ１３９４インターフェース２５から供給される画像信号を一時的に格納する。このバッファメモリ５１において一時的に格納された画像信号は、エンコーダ５２に供給され、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ５２は、圧縮符号化する画像信号に対して、メタデータ生成部２９から供給される位置情報やメタデータを付加してもよい。エンコーダ５２は、圧縮符号化した画像信号をサーバ５３或いは画像圧縮部５４へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５２における処理は省略される。
【００３２】
サーバ５３は、エンコーダ５２から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ５３は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ５３に記録された画像信号は、ＣＰＵ５６による制御に基づき、画像圧縮部５４やグラフィックコントローラ５５へ読み出される。なおサーバ５３に記録される画像信号をメモリカード６１へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のＰＣへ移し換えることも可能となる。また、このサーバ５３に記録されている画像信号を上述したネットワークサーバ１８に記録するように制御することにより、サーバ５３をネットワークサーバ１８に代替することも可能となる。
【００３３】
画像圧縮部５４は、サーバ５３から読み出したＪＰＥＧ形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。また、この画像圧縮部５４は、ＣＰＵ５６による制御に従い、撮像した画像に基づいて、動画像を生成する。ちなみにこの動画像を生成する際の圧縮方法としては、例えばＭＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００等に基づき実行してもよい。
【００３４】
グラフィックコントローラ５５は、サーバ５３から読み出した画像信号、又は画像圧縮部５４から出力される画像信号に基づき、ディスプレイ６への絵画処理を実行する。また、このグラフィックコントローラ５５は、ＣＰＵ５６による制御に基づき、ディスプレイ６におけるコントラスト、輝度の制御を実行する。
【００３５】
ＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、電子機器１００内の各部を制御するための制御信号を、コントローラバス２１を介して送信する。また、このＣＰＵ５６は、端末装置９から所定の要求信号を受けて、サーバ５３に記録されている最適な静止画像、動画像、或いは各種情報を選択し、これを当該端末装置９へ送信するように制御する。
【００３６】
音声入出力部１２は、マイク１２から入力された音声信号を符号化する。この音声入出力部１２により符号化された音声信号についても、上述の如く画像信号と同様にサーバ５３へ供給され、記録されることになる。
【００３７】
次に本発明を適用した監視システム１における撮像動作について説明をする。
【００３８】
図３は、カメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。
【００３９】
ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊとしたとき、ＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ５１に一時的に格納され、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化される。そしてこの画像信号は、ＧＰＳ２８から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ５３に記録される。
【００４０】
同様にＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様にサーバ５３へ記録される。ＣＰＵ５６による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。
【００４１】
カメラ部４は、１列目の撮像を終了させた後、ＣＰＵ５６による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、サーバ５３は、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。
【００４２】
ちなみに、この撮像された各単位画像は、ディスプレイ６の表示画面のサイズに適合するように縮小される。この縮小された各単位画像は、グラフィックコントローラ１５を経てディスプレイ６に表示される。サーバ５３に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚の全体画像が合成されることになる。上述の撮像動作を一定の間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となる。
【００４３】
図４は、撮像した３枚の単位画像を貼り合わせることにより合成した全体画像（パノラマ画像）に基づく動画像を、ディスプレイ６のＬＩＶＥ画像表示部７０に表示する例を示している。なお、この電子機器１００は、ＬＩＶＥ画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また電子機器１００は、パノラマ状の全体画像の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、このＬＩＶＥ画像表示部７０に表示させてもよい。
【００４４】
即ち、ユーザは、このＬＩＶＥ画像表示部７０に表示されている動画像を視認することにより、撮影範囲全体の状況をリアルタイムに確認することが可能となる。
【００４５】
ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。この拡大画像表示部７１は、撮影範囲全体を示す全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大した静止画像を表示する。
【００４６】
また表示画面４５には、拡大画像表示部７１に表示されている単位画像につき、撮影倍率を拡大、縮小するためのＺＯＯＭボタン７３が表示される。また、この表示画面４５には、ＬＩＶＥ画像表示部７０に動画を表示させるためのＬＩＶＥボタン７４、各種モードの設定やサーバに対して所望のアドレスに単位画像に基づく画像信号を記録させるための設定ボタン７６等も表示される。
【００４７】
また、ユーザは、ＬＩＶＥ画像表示部７０や拡大画像表示部７１に対して、キーボード５９やマウス６０を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部７０，７１には、マウス６０等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。
【００４８】
次に、本発明を適用した撮像装置において、異なる２以上の撮影画角で画像を撮像する場合につき説明をする。
【００４９】
カメラユニット２は、図５に示すように、黒枠で示される同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する。撮像により得られる単位画像を撮影画角毎に合成することにより、全体画像と同一内容の単位画像の集合を図５に示すように幾層にも亘って作成することができる。以下、各撮影画角に応じた単位画像の集合をＬａｙｅｒという。Ｌａｙｅｒの番号は、撮影画角の大きい順からｎ、ｎ＋１、ｎ＋２、・・、と増加するものとする。すなわち撮影画角の大きいＬａｙｅｒｎでは、撮影画角の小さいＬａｙｅｒｎ＋１と比較して、少ない単位画像数で全体画像を合成することができる。ちなみに、単位画像のサイズ、画素数は各Ｌａｙｅｒ間において同等である。
【００５０】
図６は、Ｌａｙｅｒの倍率を順に１、２、４、８倍に設定して撮像する例を示している。図６は、図５で示すような各Ｌａｙｅｒを水平方向又は垂直方向から表示したものであり、倍率１倍のＬａｙｅｒ１は、１枚の単位画像で構成され、倍率２倍のＬａｙｅｒ２は、２×２枚の単位画像で構成され、また倍率４倍のＬａｙｅｒ３は、４×４枚の単位画像で構成され、倍率８倍のＬａｙｅｒ４は８×８枚の単位画像で構成される。
【００５１】
なおカメラ部４は、各Ｌａｙｅｒについて、図７に示すように互いに重複領域が生じるように撮影方向を制御することにより撮像を実行してもよい。即ち、互いに隣接する単位画像の画像中心の間隔を狭く設定することにより、拡大画像表示部７０に表示される拡大画像を細かいピッチでシフトさせることができる。
【００５２】
図８は、上述の撮影倍率からなる各Ｌａｙｅｒにつき、単位画像を撮像する手順を示している。先ずステップＳ１１において、ＣＰＵ５６は、レンズ制御部２３に対して駆動信号を送信することにより、カメラ部４の撮影画角を倍率１倍に相当するｕ１に調整し、撮影方向を撮影範囲の中心位置に合わせる。次にステップＳ１２へ移行し、カメラ部４は、かかる撮影画角ｕ１で、撮影範囲全体を表示することができる１枚の全体画像を撮像する。この撮像された全体画像に基づく画像信号は、Ｌａｙｅｒ１として順次サーバ５３へ記録されることになる。
【００５３】
次にカメラ部４は、ＣＰＵ５６による制御に基づき、撮影画角を倍率２倍に相当するｕ２に調整する（ステップＳ１３）。またカメラ部４は、ステップＳ１４において、ＣＰＵ５６による制御に基づき、撮影方向を、撮影範囲左上に位置する座標（１，１）に合わせて撮像を実行する。カメラ部４は、撮影方向を順次１画枠分毎にシフトさせて、Ｌａｙｅｒ２を構成する全ての単位画像につき撮像を実行する。撮像された単位画像に基づく画像信号は、Ｌａｙｅｒ２として順次サーバ５３へ記録される。
【００５４】
同様にカメラ部４は、撮影画角を倍率４倍に相当するｕ３、また倍率８倍に相当するｕ４に調整して、撮影方向を順次シフトさせて撮像を実行する。得られた単位画像に基づく画像信号は、Ｌａｙｅｒ３、Ｌａｙｅｒ４として順次サーバ５３に記録され、最終的には、各Ｌａｙｅｒを構成する画像が全てサーバ５３に記録されている状態となる。
【００５５】
次に、このサーバ５３内に階層化して記録されている各画像信号のうち、Ｌａｙｅｒ１を構成する全体画像に基づく画像信号が最初に読み出されて動画が生成され、グラフィックコントローラ５５を経てディスプレイ６等上のＬＩＶＥ画像表示部７０に表示される。ユーザは、このＬＩＶＥ画像表示部７０に表示されている全体画像の動画において、所望の画像領域につき拡大表示を望む場合には、上述の如くマウス６０等を用いて当該画像領域を指定することができる。
【００５６】
図９は、かかるユーザによる指定操作を受けて拡大画像を表示するまでの手順を示している。
【００５７】
先ずステップＳ２１においてユーザによる画像領域の指定を受けた場合には、ステップＳ２２へ移行し、ＣＰＵ５６は、例えば図１０に示すように、ユーザにより指定された画像領域３０のサイズｑと、Ｌａｙｅｒ１における全体画像の画サイズｙとの比を求める。
【００５８】
次にステップＳ２３へ移行し、ＣＰＵ５６は、サーバ５３に階層化して記録されている各Ｌａｙｅｒから一のＬａｙｅｒを選択する。このステップＳ２３におけるＬａｙｅｒの選択は、ステップＳ２２において演算したサイズ比から倍率ｋを計算し、かかる倍率ｋに最も近い撮影倍率のＬａｙｅｒを選択する。例えば、ｑとｙとの比が、１：２．３である場合、倍率ｋは２．３となり、かかる倍率ｋに最も近い撮影倍率で撮像されたＬａｙｅｒは、Ｌａｙｅｒ２であるため、これを選択することになる。すなわち、このステップＳ２３において、ＣＰＵ５６は、指定された画像領域３０のサイズに応じて最も適切なＬａｙｅｒを選択する。
【００５９】
次にステップＳ２４へ移行し、ＣＰＵ５６は、ユーザにより指定された画像領域に応じて、Ｌａｙｅｒ２を構成する単位画像から最適なものを選択する。Ｌａｙｅｒ２を構成する単位画像の座標は、図１０に示すように（１，１）、（２，１）、（１，２）、（２，２）の４つである。このうち、Ｌａｙｅｒ１において指定された画像領域３０に示される画像は、このＬａｙｅｒ２における画像領域３１に示される画像に相当する。このため、ＣＰＵ５６は、Ｌａｙｅｒ２を構成する単位画像のうち、画像領域３１が存在する座標（１，２）に位置する単位画像を選択し、これをサーバ５３から読み出す。なおＣＰＵ５６は、ステップＳ２３を省略して、ステップＳ２２において求めたサイズ比から、最適な単位画像を直接選択してもよい。
【００６０】
次にステップＳ２５へ移行し、ＣＰＵ５６は、選択した座標（１，２）の単位画像につき、図１１に示すように画像領域３１を含む選択領域４２を抽出する。またＣＰＵ５６は、この抽出した選択領域４２につき、拡大画像表示部７１のサイズに合うように例えばデジタルズームを利用して拡大処理を実行する。
【００６１】
以上の操作を実行することにより、ユーザから指定された画像領域を拡大画像表示部７１に拡大表示させることができる。
【００６２】
なお、図１０に示すようにＬａｙｅｒ１を構成する全体画像と、倍率が２倍であるＬａｙｅｒ２を構成する単位画像の画素数、サイズは同等であり、同じ画像領域を示している画像領域３０と画像領域３１では、画像領域３１の方が多くの画素により構成されている。このため、指定された画像領域３０のサイズに応じて、最適なＬａｙｅｒを選択し、かかるＬａｙｅｒにある一の単位画像から選択領域４２を抽出することにより、高画質な拡大画像を生成することができる。上述した例においても、Ｌａｙｅｒ２に基づいて拡大処理を実行することにより、Ｌａｙｅｒ１に基づいて拡大処理を実行する場合と比較して、ディジタルズームに依存せずにより高画質の拡大画像が生成されることになる。
【００６３】
ちなみに、Ｌａｙｅｒ数を増やすことにより、隣接するＬａｙｅｒの倍率差を小さくすることができるため、ユーザにより指定される画像領域に対して、より適切な単位画像を選択することができ、拡大画像の鮮明度をさらに向上させることができる。
【００６４】
また本発明では、同一の撮影範囲を異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像して画像信号を生成し、生成した画像信号に基づき、全体画像或いは単位画像を、撮影画角毎に階層化してサーバ５３へ予め記録しておく。そして動画像化された全体画像につき指定された画像領域に応じてサーバ５３から最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを表示する。
【００６５】
このため、本発明では、ＬＩＶＥ画像表示部７０において、Ｌａｙｅｒ１を構成する１枚の拡大画像を動画表示すれば足り、また拡大画像表示部７１に表示される拡大画像は、あくまで一枚の単位画像を拡大、縮小して生成されるため、単位画像を互いに貼り合わせてパノラマ状の拡大画像を合成する必要はなくなる。従って、単位画像同士を連結することにより生ずる境界が拡大画像表示部７１において表示されることなく、拡大画像の鮮明度をさらに向上させることができる。またシームレスな拡大画像を生成するための煩雑な処理を省略することも可能となり、さらに、パノラマ画像全体を合成するために必要となるメモリを他の用途に有効活用することができるため、コストパフォーマンスに優れたアプリケーションを提供することも可能となる。
【００６６】
また、本発明では、ユーザから所望の画像領域が指定された場合に、既に記録してある単位画像を拡大すれば足りるため拡大画像を迅速に提供することができ、その都度カメラ部４を制御して画像を撮像する必要がなくなり、労力の軽減を図ることもできる。
【００６７】
さらに、本発明を適用した監視システム１を、撮像した画像を動画する監視システムとして適用する場合において、特にユーザが所望の画像領域を拡大して内容の確認を望む場合に、動画像をそのまま拡大することなく、別途サーバ５３に蓄積した単位画像に基づいて高精細な拡大画像を生成することができるため、監視の精度を向上させることができる。
【００６８】
特に、ユーザは、１台のカメラ部４並びに電子機器１００により、表示画面４５上においてＬＩＶＥ画像表示部７０を介して、リアルタイムに表示される動画像による臨場感を味わうことができ、また拡大画像表示部７１を介して、高精細な拡大画像に基づく高精度な監視を実現することができる。
【００６９】
また、ユーザがＬＩＶＥ画像表示部７０において人が大勢移動している画像を視認しながら、所望の被写体につき、より詳細な監視を行う場合には、この監視システム１では、当該被写体を撮像した撮影画角の小さい単位画像をサーバ５３から読み出して、これを拡大画像表示部７１へ表示することができる。これにより、ユーザは、かかる所望の被写体につき、より詳細かつ高精細な画像を介して監視を行うことができる。特にこの読み出した単位画像は、予めサーバ５３に記録されているため、移動する人が表示されていない場合もあり、被写体のみ表示されている拡大画像を得ることができる場合もある。このとき、高精細な拡大画像につき、プライバシーに関する部分等を遮蔽するようにしてもよい。
【００７０】
なお、この拡大画像を生成して閲覧させるまでの手順は、以下の図１２に示すフローチャートに基づいて実行してもよい。
【００７１】
ユーザにより撮像する画像の閲覧が実行された場合において、先ずステップＳ３１へ移行し、ＣＰＵ５６は、現在、ＬＩＶＥ画像表示部７０において動画像が表示されているか判別する。その結果、かかるＬＩＶＥ画像表示部７０に動画像が表示されている場合には、ステップＳ３２へ移行し、かかる動画像が表示されていない場合には、ステップＳ３３へ移行する。
【００７２】
ステップＳ３２において、ＣＰＵ５６は、画像圧縮部５４を制御することにより、撮像した全体画像に基づいて順次動画像を生成し、或いはこれを更新する。そして、ＣＰＵ５６は、この生成した動画像を順次ディスプレイ６へ表示させた後、ステップＳ３４へ移行する。
【００７３】
ステップＳ３３へ移行した場合おいて、ＣＰＵ５６は、以前取得した単位画像又は全体画像をサーバ５３から読み出してディスプレイ６へ表示するように制御し、或いはそのサーバ５３から読み出した単位画像又は全体画像に基づき動画像を生成するように制御し、ステップＳ３４へ移行する。
【００７４】
ステップＳ３４において、ＣＰＵ５６は、ユーザよりＬＩＶＥ画像表示部７０において画像領域が指定されたか、或いは閲覧終了のコマンドが入力されたか識別する。その結果画像領域の指定がなされた場合には、ステップＳ３５へ移行し、閲覧処理を終了する。また、閲覧終了のコマンドが入力された場合には、ステップＳ３６へ移行する。また、画像領域の指定がなされず、かつ閲覧終了のコマンドが入力されなかった場合には、再びステップＳ３１へ移行し、現在におけるＬＩＶＥ画像表示部７０の表示状態を判別する。
【００７５】
ステップＳ３５へ移行した場合には、ＣＰＵ５６は、図９に示すように、指定された画像領域に基づいて拡大画像を生成し、これを拡大画像表示部７１へ表示するように制御し、ステップＳ３７へ移行する。
【００７６】
ステップＳ３７において、ＣＰＵ５６は、ユーザによりＬＩＶＥボタン７４が押圧入力されたか否か識別する。その結果、かかるＬＩＶＥボタン７４が押圧入力された場合には、ステップＳ３８へ移行する。一方、ＬＩＶＥボタン７４が押圧入力されなかった場合には、再びステップＳ３１へ移行し、現在におけるＬＩＶＥ画像表示部７０の表示状態を判別する。
【００７７】
ステップＳ３８に移行した場合には、全体画像表示部７０に表示される全体画像を動画像とするモードに切り替えた上で、再びステップＳ３１へ戻ることになる。
【００７８】
なお、本発明では、最も近い撮影倍率のＬａｙｅｒを選択する場合に限定されるものではなく、他のいかなる方法でＬａｙｅｒを選択してもよい。
【００７９】
本発明に係る監視システム１では、端末装置９のユーザに対して、全体画像を動画像化してこれを送信し、また指定された画像領域に応じて、端末装置９のユーザに拡大画像を送信することができる。即ち、本発明を適用した監視システム１では、電子機器１００を操作するユーザに加えて、ネットワーク８に接続されている端末装置９を操作するユーザに対しても、適切な単位画像を選択し、これを送信することができる。また、ネットワーク８に対して複数の端末装置９を接続することにより、複数のユーザに対して同時に各単位画像を送信することも可能となる。
【００８０】
なお、本発明は、上述した処理をコンピュータに実行させるためのプログラムや、かかるプログラムが記録された記録媒体に適用してもよいことは勿論である。
【００８１】
【発明の効果】
以上詳細に説明したように、本発明では、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体へ記録し、また全体画像に基づき生成した動画像を表示し、表示した動画像に対して画像領域が指定された場合に、その指定された画像領域に応じて記録媒体から単位画像を選択して拡大画像を生成し、これを表示する。
【００８２】
これにより、本発明を適用した撮像装置及び方法では、精細な画質を維持しつつ、複数のユーザが所望の画像領域につき拡大、縮小することができ、さらには、表示されている動画像から所望の画像領域を拡大表示する場合においても、より高精細な拡大画像を生成することができる。
【図面の簡単な説明】
【図１】本発明を適用した監視システムの構成を示す図である。
【図２】カメラユニット，電子機器のブロック構成図である。
【図３】カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。
【図４】ディスプレイ上の表示画面の構成例を示す図である。
【図５】同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する例を示す図である。
【図６】Ｌａｙｅｒの倍率を順に１、２、４、８倍に設定して撮像する例を示す図である。
【図７】互いに重複領域が生じるように撮影方向を制御することにより撮像を実行する例を示す図である。
【図８】各Ｌａｙｅｒにつき、単位画像を撮像する手順を示すフローチャートである。
【図９】ユーザによる指定操作を受けて拡大画像を表示するまでの手順を示すフローチャートである。
【図１０】階層化して記録されている各Ｌａｙｅｒから一のＬａｙｅｒを選択する例を示す図である。
【図１１】抽出した選択領域につき拡大処理を実行する例を示す図である。
【図１２】拡大画像を生成して閲覧させるまでの手順を示すフローチャートである。
【符号の説明】
１ 監視システム、２ カメラユニット、３ パンチルタ部、４ カメラ部、６ ディスプレイ、８ ネットワーク、９ ユーザ端末、１０ 端末ディスプレイ、１１ ネットワークサーバ、２１ コントローラバス、２２ レンズ部、２３ レンズ制御部、２４ 撮像部、２５ ＩＥＥＥ１３９４インターフェース、２８ ＧＰＳ受信部、２９ メタデータ生成部、５１ バッファメモリ、５２ エンコーダ、５３ サーバ、５４ 画像圧縮部、５５ グラフィックコントローラ、５６ ＣＰＵ、５８ Ｉ／Ｏポート、５９ キーボード、６０ マウス、６１ メモリカード、６２ 時計、１００ 電子機器
【発明の属する技術分野】
本発明は、撮影方向を順次変化させて撮像することにより得られたパノラマ画像を介して広範囲の状況を監視する撮像装置及び方法、画像情報提供システム並びにプログラムに関する。
【０００２】
【従来の技術】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子によりの画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。
【０００３】
このため、カメラの撮影方向を順にシフトさせながら被写体を撮像することにより、複数の単位画像から構成されるパノラマ画像を得ることにより、広範囲の状況を監視することができる監視カメラが普及している。特に、近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照。）、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録し、監視を行うことを可能とする集中監視記録システムも提案されている（例えば、特許文献２参照。）。
【０００４】
【特許文献１】
特開平１０−１０８１６３号公報
【特許文献２】
特開２０００−２４３０６２号公報
【０００５】
【発明が解決しようとする課題】
撮像したパノラマ画像について、単独のユーザのみならず複数のユーザがネットワークを介して同時に視認できるシステムが昨今において望まれている。特に百貨店等の商品売り場や立ち入り禁止区域等のような広範囲の状況については、複数のユーザが同時に監視する必要があり、特に事件発生後において、既に蓄積してあるパノラマ画像につき各人が事後的な確認を望む場合もある。
【０００６】
しかしながら、上述したモニタリングシステムや撮像装置は、あくまでユーザが単独で被写体を撮像してパノラマ画像を生成する際に好適なものであるため、複数のユーザによる被写体の同時撮影や、撮影内容の事後的な確認が困難であった。
【０００７】
また、上述したモニタリングシステムや撮像装置では、蓄積したパノラマ画像をデジタルズームにより拡大処理、単位画像を連結する処理や、ズーム値にあわせて画素を間引く処理等が必要となり、精細な画質を維持できず、特に単位画像の連結部を拡大する場合に境界が画面上に表示されてしまい、画質を悪化させる要因にもなっていた。
【０００８】
さらに、撮像した画像を動画表示するモードにおいて、ユーザが所望の画像領域を拡大して内容の確認を望む場合にも、高精細な拡大画像を提供することにより、上述した監視の精度を向上させる必要性もあった。
【０００９】
そこで本発明は上述した問題点に鑑みて案出されたものであり、精細な画質を維持しつつ、動画像から所望の画像領域につき拡大、縮小することができる撮像装置及び方法において、より高精細な拡大画像を生成する。
【００１０】
【課題を解決するための手段】
本発明者は、上述した問題点を解決するために、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体へ記録し、また全体画像に基づき生成した動画像を表示し、表示した動画像に対して画像領域が指定された場合に、その指定された画像領域に応じて記録媒体から単位画像を選択して拡大画像を生成し、これを表示することができる撮像装置及び方法、画像情報提供システム並びにプログラムを発明した。
【００１１】
即ち、本発明を適用した撮像装置は、異なる２以上の撮影画角で撮影方向を順次変化させて撮影範囲を撮像することにより複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成する撮像手段と、単位画像を撮影画角毎に階層化して記録媒体へ記録する記録手段と、全体画像に基づき動画像を生成する動画像生成手段と、動画像生成手段により生成された動画像を表示するための動画像表示手段と、単位画像を拡大した拡大画像を表示する拡大画像表示手段と、動画像表示手段に表示されている動画像において、ユーザが画像領域を指定するための指定手段と、指定手段により指定された画像領域に応じて、記録媒体から単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成し、これを拡大画像表示手段へ出力する制御手段とを備える。
【００１２】
本発明を適用した撮像方法は、異なる２以上の撮影画角で撮影方向を順次変化させて撮影範囲を撮像することにより複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成し、単位画像を撮影画角毎に階層化して記録媒体へ記録し、全体画像に基づき動画像を生成し、生成した動画像を表示し、表示した動画像に対して画像領域が指定された場合において、その指定された画像領域に応じて記録媒体から単位画像を選択し、当該選択した単位画像を拡大した拡大画像を生成して、これを表示する。
【００１３】
本発明を適用した画像情報提供システムは、異なる２以上の撮影画角で撮影方向を順次変化させて撮影範囲を撮像することにより複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成する撮像装置と、撮像装置により撮像された単位画像を撮影画角毎に階層化してサーバへ記録し、また撮像装置により生成された全体画像に基づき動画像を生成する制御機器と、少なくとも撮像装置から通信網を介して送信された動画像を表示するための表示手段と、表示手段に表示されている動画像においてユーザが画像領域を指定するための指定手段とを有し、指定手段により指定された画像領域に応じてサーバから単位画像を読み出し、その読み出した単位画像を拡大した拡大画像を生成して、これを表示手段へ表示させる端末装置とを備える。
【００１４】
また、本発明を適用したプログラムは、異なる２以上の撮影画角で撮影方向を順次変化させて撮影範囲を撮像することにより複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成し、単位画像を撮影画角毎に階層化して記録媒体へ記録し、全体画像に基づき動画像を生成し、生成した動画像を表示し、表示した動画像に対して画像領域が指定された場合において、その指定された画像領域に応じて記録媒体から単位画像を選択し、当該選択した単位画像を拡大した拡大画像を生成して、これを表示することをコンピュータに実行させる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明を適用した監視システム１は、例えば図１に示すように、被写体を撮像して画像信号を生成するカメラユニット２と、音声信号を受信するマイク１２と、カメラユニット２より伝送された画像信号に所定の処理を施す画像入出力部１３と、マイク１２より伝送された音声信号に所定の処理を施す音声入出力部１４と、少なくとも画像入出力部１３及び音声入出力部１４に接続され、上記画像信号を処理するための演算処理部１５と、演算処理部１５に接続され、上記画像信号を記録するサーバ５３と、ユーザが本システム１を制御するための操作部１６と、演算処理部１５に接続され、各種情報を表示するためのディスプレイ６と、他のユーザがアプリケーションを実行するための端末装置９と、端末装置９に接続される端末ディスプレイ１０と、端末装置９に対して各種情報を送受信するためのネットワーク８とを備えている。
【００１６】
カメラユニット２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。
【００１７】
カメラ部４は、パンチルタ部３を構成する回転台上に配設され、演算処理部１５等による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、演算処理部１５等による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。
【００１８】
画像入出力部１３、音声入出力部１４、演算処理部１５、サーバ５３並びに操作部１６は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器１００により一体化して構成してもよい。この電子機器１００によれば、カメラユニット２から伝送される画像信号を記録し、また記録した画像信号につきディスプレイ６を介してユーザに表示する。またこの電子機器１００は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれをディスプレイ６に表示するように制御する。この電子機器１００は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他の端末装置９からの要求に応じて、画像や音声を送信する。
【００１９】
ネットワーク８は、例えば電子機器１００と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）／Ｂ（ｂｒｏａｄｂａｎｄ）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの監視システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）で構成してもよい。さらにこのネットワーク８は、静止画像に加えて動画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）データを始めとする動画像がある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。なお、このネットワーク８には、さらにネットワークサーバ１８を接続してもよい。このネットワークサーバ１８は、例えばインターネット情報を管理し、端末装置９による要求を受けて、自身に格納してある所定の情報を送信する。
【００２０】
端末装置９は、各家庭や企業等に待機するユーザがネットワーク８を介して電子機器１００から画像を取得し、所望の処理を実行するためのＰＣである。複数の端末装置９をネットワーク８に接続することにより、複数のユーザに対してこの監視システム１のアプリケーションを同時に提供することが可能となる。この端末装置９は、電子機器１００から取得した画像を、端末ディスプレイ１０に対して表示する。またこの端末装置９は、ユーザによる指定操作に応じて要求信号を生成し、これを電子機器１００に対して送信する。なお端末装置９のブロック構成については、後述する電子機器１００の構成を引用し、説明を省略する。
【００２１】
次に、本発明を適用した監視システム１におけるカメラユニット２，電子機器１００の構成について詳細に説明する。
【００２２】
図２は、カメラユニット２，電子機器１００の構成図である。この図２では、共通のコントローラバス２１に対して、カメラユニット２並びに電子機器１００の各構成要素が接続されている。
【００２３】
カメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するＴｉｌｔ部３ａ、Ｐａｎ部３ｂとを有する。また、カメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４と、撮像部２４により生成された画像信号を画像入出力部１３へ送信するためのＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）１３９４インターフェース２５と、カメラユニット２の現在位置を検出するためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２８と、ＧＰＳ受信部２８に装着されるメタデータ生成部２９とを備えている。ちなみに、ＩＥＥＥ１３９４インターフェース２５は、イーサネット（登録商標）に代替してもよい。
【００２４】
また画像入出力部１３は、ＩＥＥＥ１３９４インターフェース２５に接続されるバッファメモリ５１と、バッファメモリ５１に接続されるエンコーダ５２とを備えている。
【００２５】
また演算処理部１５は、サーバ５３から読み出された画像を圧縮するための画像圧縮部５４と、サーバ５３及び画像圧縮部５４に接続され、ディスプレイ６上に表示する画像を作り出すグラフィックコントローラ５５と、コントローラバス２１を介して各部を制御するためのＣＰＵ５６と、Ｉ／Ｏポート５８にそれぞれ接続されるメモリカード６１並びに時計６２とを備えている。
【００２６】
また操作部１６は、ディスプレイ６上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード５９並びにマウス６０を備えている。
【００２７】
Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂは、ＣＰＵ５６からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部４の撮影方向を水平方向、或いは垂直方向に変更することができる。
【００２８】
レンズ制御部２３は、ＣＰＵ５６からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することも可能となる。
【００２９】
撮像部２４は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをＩＥＥＥ１３９４インターフェース２５へ送信する。
【００３０】
ＧＰＳ受信部２８は、ＧＰＳシステムにより送出される信号に基づき、カメラユニット２の設置場所や撮影方向を検出する。このＧＰＳ受信部２８を設けることにより、特に複数のカメラユニット２を設置する場合において、双方の撮影方向を連動して制御することが可能となる。ＧＰＳ受信部２８からの出力信号は、メタデータ生成部２９に供給され、ＧＰＳによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部２９は、この生成した位置情報やメタデータをエンコーダ５２へ供給する。なお本発明では、このＧＰＳ受信部２８、メタデータ生成部２９の構成を省略してもよい。
【００３１】
バッファメモリ５１は、ＣＰＵ５６からの制御信号に基づき、ＩＥＥＥ１３９４インターフェース２５から供給される画像信号を一時的に格納する。このバッファメモリ５１において一時的に格納された画像信号は、エンコーダ５２に供給され、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ５２は、圧縮符号化する画像信号に対して、メタデータ生成部２９から供給される位置情報やメタデータを付加してもよい。エンコーダ５２は、圧縮符号化した画像信号をサーバ５３或いは画像圧縮部５４へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５２における処理は省略される。
【００３２】
サーバ５３は、エンコーダ５２から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ５３は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ５３に記録された画像信号は、ＣＰＵ５６による制御に基づき、画像圧縮部５４やグラフィックコントローラ５５へ読み出される。なおサーバ５３に記録される画像信号をメモリカード６１へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のＰＣへ移し換えることも可能となる。また、このサーバ５３に記録されている画像信号を上述したネットワークサーバ１８に記録するように制御することにより、サーバ５３をネットワークサーバ１８に代替することも可能となる。
【００３３】
画像圧縮部５４は、サーバ５３から読み出したＪＰＥＧ形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。また、この画像圧縮部５４は、ＣＰＵ５６による制御に従い、撮像した画像に基づいて、動画像を生成する。ちなみにこの動画像を生成する際の圧縮方法としては、例えばＭＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００等に基づき実行してもよい。
【００３４】
グラフィックコントローラ５５は、サーバ５３から読み出した画像信号、又は画像圧縮部５４から出力される画像信号に基づき、ディスプレイ６への絵画処理を実行する。また、このグラフィックコントローラ５５は、ＣＰＵ５６による制御に基づき、ディスプレイ６におけるコントラスト、輝度の制御を実行する。
【００３５】
ＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、電子機器１００内の各部を制御するための制御信号を、コントローラバス２１を介して送信する。また、このＣＰＵ５６は、端末装置９から所定の要求信号を受けて、サーバ５３に記録されている最適な静止画像、動画像、或いは各種情報を選択し、これを当該端末装置９へ送信するように制御する。
【００３６】
音声入出力部１２は、マイク１２から入力された音声信号を符号化する。この音声入出力部１２により符号化された音声信号についても、上述の如く画像信号と同様にサーバ５３へ供給され、記録されることになる。
【００３７】
次に本発明を適用した監視システム１における撮像動作について説明をする。
【００３８】
図３は、カメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。
【００３９】
ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊとしたとき、ＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ５１に一時的に格納され、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化される。そしてこの画像信号は、ＧＰＳ２８から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ５３に記録される。
【００４０】
同様にＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様にサーバ５３へ記録される。ＣＰＵ５６による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。
【００４１】
カメラ部４は、１列目の撮像を終了させた後、ＣＰＵ５６による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、サーバ５３は、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。
【００４２】
ちなみに、この撮像された各単位画像は、ディスプレイ６の表示画面のサイズに適合するように縮小される。この縮小された各単位画像は、グラフィックコントローラ１５を経てディスプレイ６に表示される。サーバ５３に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚の全体画像が合成されることになる。上述の撮像動作を一定の間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となる。
【００４３】
図４は、撮像した３枚の単位画像を貼り合わせることにより合成した全体画像（パノラマ画像）に基づく動画像を、ディスプレイ６のＬＩＶＥ画像表示部７０に表示する例を示している。なお、この電子機器１００は、ＬＩＶＥ画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また電子機器１００は、パノラマ状の全体画像の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、このＬＩＶＥ画像表示部７０に表示させてもよい。
【００４４】
即ち、ユーザは、このＬＩＶＥ画像表示部７０に表示されている動画像を視認することにより、撮影範囲全体の状況をリアルタイムに確認することが可能となる。
【００４５】
ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。この拡大画像表示部７１は、撮影範囲全体を示す全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大した静止画像を表示する。
【００４６】
また表示画面４５には、拡大画像表示部７１に表示されている単位画像につき、撮影倍率を拡大、縮小するためのＺＯＯＭボタン７３が表示される。また、この表示画面４５には、ＬＩＶＥ画像表示部７０に動画を表示させるためのＬＩＶＥボタン７４、各種モードの設定やサーバに対して所望のアドレスに単位画像に基づく画像信号を記録させるための設定ボタン７６等も表示される。
【００４７】
また、ユーザは、ＬＩＶＥ画像表示部７０や拡大画像表示部７１に対して、キーボード５９やマウス６０を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部７０，７１には、マウス６０等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。
【００４８】
次に、本発明を適用した撮像装置において、異なる２以上の撮影画角で画像を撮像する場合につき説明をする。
【００４９】
カメラユニット２は、図５に示すように、黒枠で示される同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する。撮像により得られる単位画像を撮影画角毎に合成することにより、全体画像と同一内容の単位画像の集合を図５に示すように幾層にも亘って作成することができる。以下、各撮影画角に応じた単位画像の集合をＬａｙｅｒという。Ｌａｙｅｒの番号は、撮影画角の大きい順からｎ、ｎ＋１、ｎ＋２、・・、と増加するものとする。すなわち撮影画角の大きいＬａｙｅｒｎでは、撮影画角の小さいＬａｙｅｒｎ＋１と比較して、少ない単位画像数で全体画像を合成することができる。ちなみに、単位画像のサイズ、画素数は各Ｌａｙｅｒ間において同等である。
【００５０】
図６は、Ｌａｙｅｒの倍率を順に１、２、４、８倍に設定して撮像する例を示している。図６は、図５で示すような各Ｌａｙｅｒを水平方向又は垂直方向から表示したものであり、倍率１倍のＬａｙｅｒ１は、１枚の単位画像で構成され、倍率２倍のＬａｙｅｒ２は、２×２枚の単位画像で構成され、また倍率４倍のＬａｙｅｒ３は、４×４枚の単位画像で構成され、倍率８倍のＬａｙｅｒ４は８×８枚の単位画像で構成される。
【００５１】
なおカメラ部４は、各Ｌａｙｅｒについて、図７に示すように互いに重複領域が生じるように撮影方向を制御することにより撮像を実行してもよい。即ち、互いに隣接する単位画像の画像中心の間隔を狭く設定することにより、拡大画像表示部７０に表示される拡大画像を細かいピッチでシフトさせることができる。
【００５２】
図８は、上述の撮影倍率からなる各Ｌａｙｅｒにつき、単位画像を撮像する手順を示している。先ずステップＳ１１において、ＣＰＵ５６は、レンズ制御部２３に対して駆動信号を送信することにより、カメラ部４の撮影画角を倍率１倍に相当するｕ１に調整し、撮影方向を撮影範囲の中心位置に合わせる。次にステップＳ１２へ移行し、カメラ部４は、かかる撮影画角ｕ１で、撮影範囲全体を表示することができる１枚の全体画像を撮像する。この撮像された全体画像に基づく画像信号は、Ｌａｙｅｒ１として順次サーバ５３へ記録されることになる。
【００５３】
次にカメラ部４は、ＣＰＵ５６による制御に基づき、撮影画角を倍率２倍に相当するｕ２に調整する（ステップＳ１３）。またカメラ部４は、ステップＳ１４において、ＣＰＵ５６による制御に基づき、撮影方向を、撮影範囲左上に位置する座標（１，１）に合わせて撮像を実行する。カメラ部４は、撮影方向を順次１画枠分毎にシフトさせて、Ｌａｙｅｒ２を構成する全ての単位画像につき撮像を実行する。撮像された単位画像に基づく画像信号は、Ｌａｙｅｒ２として順次サーバ５３へ記録される。
【００５４】
同様にカメラ部４は、撮影画角を倍率４倍に相当するｕ３、また倍率８倍に相当するｕ４に調整して、撮影方向を順次シフトさせて撮像を実行する。得られた単位画像に基づく画像信号は、Ｌａｙｅｒ３、Ｌａｙｅｒ４として順次サーバ５３に記録され、最終的には、各Ｌａｙｅｒを構成する画像が全てサーバ５３に記録されている状態となる。
【００５５】
次に、このサーバ５３内に階層化して記録されている各画像信号のうち、Ｌａｙｅｒ１を構成する全体画像に基づく画像信号が最初に読み出されて動画が生成され、グラフィックコントローラ５５を経てディスプレイ６等上のＬＩＶＥ画像表示部７０に表示される。ユーザは、このＬＩＶＥ画像表示部７０に表示されている全体画像の動画において、所望の画像領域につき拡大表示を望む場合には、上述の如くマウス６０等を用いて当該画像領域を指定することができる。
【００５６】
図９は、かかるユーザによる指定操作を受けて拡大画像を表示するまでの手順を示している。
【００５７】
先ずステップＳ２１においてユーザによる画像領域の指定を受けた場合には、ステップＳ２２へ移行し、ＣＰＵ５６は、例えば図１０に示すように、ユーザにより指定された画像領域３０のサイズｑと、Ｌａｙｅｒ１における全体画像の画サイズｙとの比を求める。
【００５８】
次にステップＳ２３へ移行し、ＣＰＵ５６は、サーバ５３に階層化して記録されている各Ｌａｙｅｒから一のＬａｙｅｒを選択する。このステップＳ２３におけるＬａｙｅｒの選択は、ステップＳ２２において演算したサイズ比から倍率ｋを計算し、かかる倍率ｋに最も近い撮影倍率のＬａｙｅｒを選択する。例えば、ｑとｙとの比が、１：２．３である場合、倍率ｋは２．３となり、かかる倍率ｋに最も近い撮影倍率で撮像されたＬａｙｅｒは、Ｌａｙｅｒ２であるため、これを選択することになる。すなわち、このステップＳ２３において、ＣＰＵ５６は、指定された画像領域３０のサイズに応じて最も適切なＬａｙｅｒを選択する。
【００５９】
次にステップＳ２４へ移行し、ＣＰＵ５６は、ユーザにより指定された画像領域に応じて、Ｌａｙｅｒ２を構成する単位画像から最適なものを選択する。Ｌａｙｅｒ２を構成する単位画像の座標は、図１０に示すように（１，１）、（２，１）、（１，２）、（２，２）の４つである。このうち、Ｌａｙｅｒ１において指定された画像領域３０に示される画像は、このＬａｙｅｒ２における画像領域３１に示される画像に相当する。このため、ＣＰＵ５６は、Ｌａｙｅｒ２を構成する単位画像のうち、画像領域３１が存在する座標（１，２）に位置する単位画像を選択し、これをサーバ５３から読み出す。なおＣＰＵ５６は、ステップＳ２３を省略して、ステップＳ２２において求めたサイズ比から、最適な単位画像を直接選択してもよい。
【００６０】
次にステップＳ２５へ移行し、ＣＰＵ５６は、選択した座標（１，２）の単位画像につき、図１１に示すように画像領域３１を含む選択領域４２を抽出する。またＣＰＵ５６は、この抽出した選択領域４２につき、拡大画像表示部７１のサイズに合うように例えばデジタルズームを利用して拡大処理を実行する。
【００６１】
以上の操作を実行することにより、ユーザから指定された画像領域を拡大画像表示部７１に拡大表示させることができる。
【００６２】
なお、図１０に示すようにＬａｙｅｒ１を構成する全体画像と、倍率が２倍であるＬａｙｅｒ２を構成する単位画像の画素数、サイズは同等であり、同じ画像領域を示している画像領域３０と画像領域３１では、画像領域３１の方が多くの画素により構成されている。このため、指定された画像領域３０のサイズに応じて、最適なＬａｙｅｒを選択し、かかるＬａｙｅｒにある一の単位画像から選択領域４２を抽出することにより、高画質な拡大画像を生成することができる。上述した例においても、Ｌａｙｅｒ２に基づいて拡大処理を実行することにより、Ｌａｙｅｒ１に基づいて拡大処理を実行する場合と比較して、ディジタルズームに依存せずにより高画質の拡大画像が生成されることになる。
【００６３】
ちなみに、Ｌａｙｅｒ数を増やすことにより、隣接するＬａｙｅｒの倍率差を小さくすることができるため、ユーザにより指定される画像領域に対して、より適切な単位画像を選択することができ、拡大画像の鮮明度をさらに向上させることができる。
【００６４】
また本発明では、同一の撮影範囲を異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像して画像信号を生成し、生成した画像信号に基づき、全体画像或いは単位画像を、撮影画角毎に階層化してサーバ５３へ予め記録しておく。そして動画像化された全体画像につき指定された画像領域に応じてサーバ５３から最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを表示する。
【００６５】
このため、本発明では、ＬＩＶＥ画像表示部７０において、Ｌａｙｅｒ１を構成する１枚の拡大画像を動画表示すれば足り、また拡大画像表示部７１に表示される拡大画像は、あくまで一枚の単位画像を拡大、縮小して生成されるため、単位画像を互いに貼り合わせてパノラマ状の拡大画像を合成する必要はなくなる。従って、単位画像同士を連結することにより生ずる境界が拡大画像表示部７１において表示されることなく、拡大画像の鮮明度をさらに向上させることができる。またシームレスな拡大画像を生成するための煩雑な処理を省略することも可能となり、さらに、パノラマ画像全体を合成するために必要となるメモリを他の用途に有効活用することができるため、コストパフォーマンスに優れたアプリケーションを提供することも可能となる。
【００６６】
また、本発明では、ユーザから所望の画像領域が指定された場合に、既に記録してある単位画像を拡大すれば足りるため拡大画像を迅速に提供することができ、その都度カメラ部４を制御して画像を撮像する必要がなくなり、労力の軽減を図ることもできる。
【００６７】
さらに、本発明を適用した監視システム１を、撮像した画像を動画する監視システムとして適用する場合において、特にユーザが所望の画像領域を拡大して内容の確認を望む場合に、動画像をそのまま拡大することなく、別途サーバ５３に蓄積した単位画像に基づいて高精細な拡大画像を生成することができるため、監視の精度を向上させることができる。
【００６８】
特に、ユーザは、１台のカメラ部４並びに電子機器１００により、表示画面４５上においてＬＩＶＥ画像表示部７０を介して、リアルタイムに表示される動画像による臨場感を味わうことができ、また拡大画像表示部７１を介して、高精細な拡大画像に基づく高精度な監視を実現することができる。
【００６９】
また、ユーザがＬＩＶＥ画像表示部７０において人が大勢移動している画像を視認しながら、所望の被写体につき、より詳細な監視を行う場合には、この監視システム１では、当該被写体を撮像した撮影画角の小さい単位画像をサーバ５３から読み出して、これを拡大画像表示部７１へ表示することができる。これにより、ユーザは、かかる所望の被写体につき、より詳細かつ高精細な画像を介して監視を行うことができる。特にこの読み出した単位画像は、予めサーバ５３に記録されているため、移動する人が表示されていない場合もあり、被写体のみ表示されている拡大画像を得ることができる場合もある。このとき、高精細な拡大画像につき、プライバシーに関する部分等を遮蔽するようにしてもよい。
【００７０】
なお、この拡大画像を生成して閲覧させるまでの手順は、以下の図１２に示すフローチャートに基づいて実行してもよい。
【００７１】
ユーザにより撮像する画像の閲覧が実行された場合において、先ずステップＳ３１へ移行し、ＣＰＵ５６は、現在、ＬＩＶＥ画像表示部７０において動画像が表示されているか判別する。その結果、かかるＬＩＶＥ画像表示部７０に動画像が表示されている場合には、ステップＳ３２へ移行し、かかる動画像が表示されていない場合には、ステップＳ３３へ移行する。
【００７２】
ステップＳ３２において、ＣＰＵ５６は、画像圧縮部５４を制御することにより、撮像した全体画像に基づいて順次動画像を生成し、或いはこれを更新する。そして、ＣＰＵ５６は、この生成した動画像を順次ディスプレイ６へ表示させた後、ステップＳ３４へ移行する。
【００７３】
ステップＳ３３へ移行した場合おいて、ＣＰＵ５６は、以前取得した単位画像又は全体画像をサーバ５３から読み出してディスプレイ６へ表示するように制御し、或いはそのサーバ５３から読み出した単位画像又は全体画像に基づき動画像を生成するように制御し、ステップＳ３４へ移行する。
【００７４】
ステップＳ３４において、ＣＰＵ５６は、ユーザよりＬＩＶＥ画像表示部７０において画像領域が指定されたか、或いは閲覧終了のコマンドが入力されたか識別する。その結果画像領域の指定がなされた場合には、ステップＳ３５へ移行し、閲覧処理を終了する。また、閲覧終了のコマンドが入力された場合には、ステップＳ３６へ移行する。また、画像領域の指定がなされず、かつ閲覧終了のコマンドが入力されなかった場合には、再びステップＳ３１へ移行し、現在におけるＬＩＶＥ画像表示部７０の表示状態を判別する。
【００７５】
ステップＳ３５へ移行した場合には、ＣＰＵ５６は、図９に示すように、指定された画像領域に基づいて拡大画像を生成し、これを拡大画像表示部７１へ表示するように制御し、ステップＳ３７へ移行する。
【００７６】
ステップＳ３７において、ＣＰＵ５６は、ユーザによりＬＩＶＥボタン７４が押圧入力されたか否か識別する。その結果、かかるＬＩＶＥボタン７４が押圧入力された場合には、ステップＳ３８へ移行する。一方、ＬＩＶＥボタン７４が押圧入力されなかった場合には、再びステップＳ３１へ移行し、現在におけるＬＩＶＥ画像表示部７０の表示状態を判別する。
【００７７】
ステップＳ３８に移行した場合には、全体画像表示部７０に表示される全体画像を動画像とするモードに切り替えた上で、再びステップＳ３１へ戻ることになる。
【００７８】
なお、本発明では、最も近い撮影倍率のＬａｙｅｒを選択する場合に限定されるものではなく、他のいかなる方法でＬａｙｅｒを選択してもよい。
【００７９】
本発明に係る監視システム１では、端末装置９のユーザに対して、全体画像を動画像化してこれを送信し、また指定された画像領域に応じて、端末装置９のユーザに拡大画像を送信することができる。即ち、本発明を適用した監視システム１では、電子機器１００を操作するユーザに加えて、ネットワーク８に接続されている端末装置９を操作するユーザに対しても、適切な単位画像を選択し、これを送信することができる。また、ネットワーク８に対して複数の端末装置９を接続することにより、複数のユーザに対して同時に各単位画像を送信することも可能となる。
【００８０】
なお、本発明は、上述した処理をコンピュータに実行させるためのプログラムや、かかるプログラムが記録された記録媒体に適用してもよいことは勿論である。
【００８１】
【発明の効果】
以上詳細に説明したように、本発明では、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなり撮影範囲全体を示す全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体へ記録し、また全体画像に基づき生成した動画像を表示し、表示した動画像に対して画像領域が指定された場合に、その指定された画像領域に応じて記録媒体から単位画像を選択して拡大画像を生成し、これを表示する。
【００８２】
これにより、本発明を適用した撮像装置及び方法では、精細な画質を維持しつつ、複数のユーザが所望の画像領域につき拡大、縮小することができ、さらには、表示されている動画像から所望の画像領域を拡大表示する場合においても、より高精細な拡大画像を生成することができる。
【図面の簡単な説明】
【図１】本発明を適用した監視システムの構成を示す図である。
【図２】カメラユニット，電子機器のブロック構成図である。
【図３】カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。
【図４】ディスプレイ上の表示画面の構成例を示す図である。
【図５】同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する例を示す図である。
【図６】Ｌａｙｅｒの倍率を順に１、２、４、８倍に設定して撮像する例を示す図である。
【図７】互いに重複領域が生じるように撮影方向を制御することにより撮像を実行する例を示す図である。
【図８】各Ｌａｙｅｒにつき、単位画像を撮像する手順を示すフローチャートである。
【図９】ユーザによる指定操作を受けて拡大画像を表示するまでの手順を示すフローチャートである。
【図１０】階層化して記録されている各Ｌａｙｅｒから一のＬａｙｅｒを選択する例を示す図である。
【図１１】抽出した選択領域につき拡大処理を実行する例を示す図である。
【図１２】拡大画像を生成して閲覧させるまでの手順を示すフローチャートである。
【符号の説明】
１ 監視システム、２ カメラユニット、３ パンチルタ部、４ カメラ部、６ ディスプレイ、８ ネットワーク、９ ユーザ端末、１０ 端末ディスプレイ、１１ ネットワークサーバ、２１ コントローラバス、２２ レンズ部、２３ レンズ制御部、２４ 撮像部、２５ ＩＥＥＥ１３９４インターフェース、２８ ＧＰＳ受信部、２９ メタデータ生成部、５１ バッファメモリ、５２ エンコーダ、５３ サーバ、５４ 画像圧縮部、５５ グラフィックコントローラ、５６ ＣＰＵ、５８ Ｉ／Ｏポート、５９ キーボード、６０ マウス、６１ メモリカード、６２ 時計、１００ 電子機器
Claims (4)
- 異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなり上記撮影範囲全体を示す全体画像を所定の時間間隔で生成する撮像手段と、
上記単位画像を上記撮影画角毎に階層化して記録媒体へ記録する記録手段と、
上記全体画像に基づき動画像を生成する動画像生成手段と、
上記動画像生成手段により生成された動画像を表示するための動画像表示手段と、
上記単位画像を拡大した拡大画像を表示する拡大画像表示手段と、
上記動画像表示手段に表示されている動画像において、ユーザが画像領域を指定するための指定手段と、
上記指定手段により指定された画像領域に応じて、上記記録媒体から単位画像を選択し、当該選択した単位画像に基づき上記拡大画像を生成し、これを上記拡大画像表示手段へ出力する制御手段とを備えること
を特徴とする撮像装置。 - 異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなり上記撮影範囲全体を示す全体画像を所定の時間間隔で生成し、
上記単位画像を上記撮影画角毎に階層化して記録媒体へ記録し、
上記全体画像に基づき動画像を生成し、
上記生成した動画像を表示し、
表示した動画像に対して画像領域が指定された場合において、その指定された画像領域に応じて上記記録媒体から単位画像を選択し、当該選択した単位画像を拡大した拡大画像を生成して、これを表示すること
を特徴とする撮像方法。 - 異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなり上記撮影範囲全体を示す全体画像を所定の時間間隔で生成する撮像装置と、
上記撮像装置により撮像された単位画像を上記撮影画角毎に階層化してサーバへ記録し、また上記撮像装置により生成された全体画像に基づき動画像を生成する制御機器と、
少なくとも上記撮像装置から通信網を介して送信された動画像を表示するための表示手段と、上記表示手段に表示されている動画像においてユーザが画像領域を指定するための指定手段とを有し、上記指定手段により指定された画像領域に応じて上記サーバから単位画像を読み出し、その読み出した単位画像を拡大した拡大画像を生成して、これを上記表示手段へ表示させる端末装置とを備えること
を特徴とする画像情報提供システム。 - 異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなり上記撮影範囲全体を示す全体画像を所定の時間間隔で生成し、
上記単位画像を上記撮影画角毎に階層化して記録媒体へ記録し、
上記全体画像に基づき動画像を生成し、
上記生成した動画像を表示し、
表示した動画像に対して画像領域が指定された場合において、その指定された画像領域に応じて上記記録媒体から単位画像を選択し、当該選択した単位画像を拡大した拡大画像を生成して、これを表示することをコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003056245A JP4583717B2 (ja) | 2003-03-03 | 2003-03-03 | 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003056245A JP4583717B2 (ja) | 2003-03-03 | 2003-03-03 | 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004266670A true JP2004266670A (ja) | 2004-09-24 |
| JP4583717B2 JP4583717B2 (ja) | 2010-11-17 |
Family
ID=33120023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003056245A Expired - Fee Related JP4583717B2 (ja) | 2003-03-03 | 2003-03-03 | 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4583717B2 (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007259155A (ja) * | 2006-03-23 | 2007-10-04 | Olympus Imaging Corp | カメラ、カメラの決定方法、カメラの制御方法 |
| WO2009028409A1 (ja) * | 2007-08-24 | 2009-03-05 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| WO2009028413A1 (ja) * | 2007-08-24 | 2009-03-05 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| WO2009072551A1 (ja) * | 2007-12-07 | 2009-06-11 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| WO2009081806A1 (ja) * | 2007-12-21 | 2009-07-02 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| WO2009081732A1 (ja) * | 2007-12-26 | 2009-07-02 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| WO2009084410A1 (ja) * | 2007-12-27 | 2009-07-09 | Sony Corporation | 撮像装置、その制御方法およびプログラム |
| JP2010167142A (ja) * | 2009-01-23 | 2010-08-05 | Toshiba Corp | 医用画像処理装置およびｘ線画像診断装置 |
| JP2011211643A (ja) * | 2010-03-30 | 2011-10-20 | Fujifilm Corp | 画像処理装置、撮影装置及び画像処理プログラム |
| WO2012046371A1 (ja) * | 2010-10-05 | 2012-04-12 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示装置および画像表示方法 |
| US8421871B2 (en) | 2008-09-22 | 2013-04-16 | Sony Corporation | Method and apparatus for image pickup and image processing |
| US8570390B2 (en) | 2007-12-07 | 2013-10-29 | Sony Corporation | Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same |
| US8599320B2 (en) | 2008-01-21 | 2013-12-03 | Sony Corporatiion | Picture processing apparatus, processing method for use therewith, and program |
-
2003
- 2003-03-03 JP JP2003056245A patent/JP4583717B2/ja not_active Expired - Fee Related
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007259155A (ja) * | 2006-03-23 | 2007-10-04 | Olympus Imaging Corp | カメラ、カメラの決定方法、カメラの制御方法 |
| US8963951B2 (en) | 2007-08-24 | 2015-02-24 | Sony Corporation | Image processing apparatus, moving-image playing apparatus, and processing method and program therefor to allow browsing of a sequence of images |
| WO2009028409A1 (ja) * | 2007-08-24 | 2009-03-05 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| WO2009028413A1 (ja) * | 2007-08-24 | 2009-03-05 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| US8754959B2 (en) | 2007-08-24 | 2014-06-17 | Sony Corporation | Image processing device, dynamic image reproduction device, and processing method and program in them |
| WO2009072551A1 (ja) * | 2007-12-07 | 2009-06-11 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| US8570390B2 (en) | 2007-12-07 | 2013-10-29 | Sony Corporation | Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same |
| US9402015B2 (en) | 2007-12-07 | 2016-07-26 | Sony Corporation | Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same |
| US8768097B2 (en) | 2007-12-07 | 2014-07-01 | Sony Corporation | Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor |
| WO2009081806A1 (ja) * | 2007-12-21 | 2009-07-02 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| US8305457B2 (en) | 2007-12-21 | 2012-11-06 | Sony Corporation | Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same |
| US8810708B2 (en) | 2007-12-21 | 2014-08-19 | Sony Corporation | Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same |
| WO2009081732A1 (ja) * | 2007-12-26 | 2009-07-02 | Sony Corporation | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| JP4697221B2 (ja) * | 2007-12-26 | 2011-06-08 | ソニー株式会社 | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| JP2009159330A (ja) * | 2007-12-26 | 2009-07-16 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| US8515256B2 (en) | 2007-12-26 | 2013-08-20 | Sony Corporation | Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor |
| JP4678404B2 (ja) * | 2007-12-27 | 2011-04-27 | ソニー株式会社 | 撮像装置、その制御方法およびプログラム |
| US8350929B2 (en) | 2007-12-27 | 2013-01-08 | Sony Corporation | Image pickup apparatus, controlling method and program for the same |
| JP2009159514A (ja) * | 2007-12-27 | 2009-07-16 | Sony Corp | 撮像装置、その制御方法およびプログラム |
| WO2009084410A1 (ja) * | 2007-12-27 | 2009-07-09 | Sony Corporation | 撮像装置、その制御方法およびプログラム |
| US8717504B2 (en) | 2008-01-21 | 2014-05-06 | Sony Corporation | Picture processing apparatus, processing method for use therewith, and program |
| US8599320B2 (en) | 2008-01-21 | 2013-12-03 | Sony Corporatiion | Picture processing apparatus, processing method for use therewith, and program |
| US8421871B2 (en) | 2008-09-22 | 2013-04-16 | Sony Corporation | Method and apparatus for image pickup and image processing |
| JP2010167142A (ja) * | 2009-01-23 | 2010-08-05 | Toshiba Corp | 医用画像処理装置およびｘ線画像診断装置 |
| JP2011211643A (ja) * | 2010-03-30 | 2011-10-20 | Fujifilm Corp | 画像処理装置、撮影装置及び画像処理プログラム |
| JP2012080431A (ja) * | 2010-10-05 | 2012-04-19 | Sony Computer Entertainment Inc | パノラマ画像表示装置およびパノラマ画像表示方法 |
| WO2012046371A1 (ja) * | 2010-10-05 | 2012-04-12 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示装置および画像表示方法 |
| US9124867B2 (en) | 2010-10-05 | 2015-09-01 | Sony Corporation | Apparatus and method for displaying images |
| US9497391B2 (en) | 2010-10-05 | 2016-11-15 | Sony Corporation | Apparatus and method for displaying images |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4583717B2 (ja) | 2010-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7459685B2 (en) | Imaging device and method, computer program product on computer-readable medium, and imaging system | |
| US6043837A (en) | Method and apparatus for electronically distributing images from a panoptic camera system | |
| US8179442B2 (en) | Imaging device and method for performing surveillance by infrared radiation measurement | |
| US9734680B2 (en) | Monitoring system, monitoring method, computer program, and storage medium | |
| US7732771B2 (en) | Monitoring apparatus | |
| KR101029202B1 (ko) | 파노라마 화상을 이용한 감시 장치 및 감시 방법 | |
| EP1536633A1 (en) | Photographing apparatus and method, supervising system, program and recording medium | |
| JP4736381B2 (ja) | 撮像装置及び方法、監視システム、プログラム並びに記録媒体 | |
| US7999842B1 (en) | Continuously rotating video camera, method and user interface for using the same | |
| JP4583717B2 (ja) | 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置 | |
| JP2006238326A (ja) | カメラ装置システムおよび撮影動画像再生方法 | |
| JP2004228711A (ja) | 監視装置及び方法、プログラム並びに監視システム | |
| JP4001233B2 (ja) | パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 | |
| JP3994469B2 (ja) | 撮像装置、表示装置及び記録装置 | |
| JP3841033B2 (ja) | モニタリングシステムおよび方法並びにプログラムおよび記録媒体 | |
| JP4172352B2 (ja) | 撮像装置及び方法、撮像システム、プログラム | |
| JP4127080B2 (ja) | 撮像装置及び方法 | |
| JP4211377B2 (ja) | 画像信号処理装置 | |
| JP2004194112A (ja) | 画像信号処理装置 | |
| JP2004241834A (ja) | 動画像生成装置及び方法、動画像送信システム、プログラム並びに記録媒体 | |
| JP2004194114A (ja) | 画像情報提供システム | |
| JP4333255B2 (ja) | 監視装置 | |
| JP2004266669A (ja) | 監視カメラ並びに撮像方法 | |
| JP2003324728A (ja) | 撮影装置 | |
| JP2005277582A (ja) | パノラマ撮像装置、パノラマ撮像方法、監視システム、パノラマ撮像装置の制御プログラム並びにプログラム記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051104 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080328 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080422 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080620 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100901 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |