JP2004194112A - Image signal processing apparatus - Google Patents
Image signal processing apparatus Download PDFInfo
- Publication number
- JP2004194112A JP2004194112A JP2002361303A JP2002361303A JP2004194112A JP 2004194112 A JP2004194112 A JP 2004194112A JP 2002361303 A JP2002361303 A JP 2002361303A JP 2002361303 A JP2002361303 A JP 2002361303A JP 2004194112 A JP2004194112 A JP 2004194112A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- enlarged
- imaging
- recording medium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、広範囲の状況を監視する監視システム等に適用される画像信号処理装置及び方法、撮像装置及び方法、画像情報提供システム並びにプログラムに関する。
【0002】
【従来の技術】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、CCD等の固体撮像素子によりの画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を監視することができなかった。
【0003】
このため、カメラの撮影方向を順にシフトさせながら被写体を撮影し、これらを合成してパノラマ画像を得ることにより、広範囲の状況を監視することができるモニタリングシステムが普及しており、かかるパノラマ画像の合成精度を向上させることができる画像信号撮像装置も近年において提案されている(例えば、特許文献1参照)。
【0004】
この画像信号撮像装置では、図17(a)に示すように、カメラ一体型ディジタルVCRに設けられたビューファインダの画面枠の中央に四角で示す固定マーク132、画面枠131の内側に点線で表示される目標枠133及び三角形状の可動マーク134が表示される。目標枠133が画面枠131内に収まり、かつ可動マーク134が固定マーク132に重なる場合に、ユーザにより1フレームの単位画像が撮影されると、次の単位画像の撮影を促すべく、図17(b)に示すように、目標枠133および可動マーク134が水平方向に移動する。
【0005】
ユーザは、ビューファインダを見ながらカメラ一体型ディジタルVCRを移動させ、その画面枠131および固定マーク132に目標枠133および可動マーク134を近づける。そして、図17(c)に示すように、目標枠133が画面枠131に収まり、且つ可動マーク134が固定マーク132に重なるときに、次の単位画像を撮影する。
【0006】
このように、隣接する単位画像の位置に目標枠133および可動マーク134が表示されるので、ユーザは、パノラマ画像を合成するための単位画像を簡単に撮影することができ、さらには、互いに隣接する単位画像間の重複率等、予め設定されたパラメータが大きく異なることがなくなるため、パノラマ画像の合成精度を向上させることができる。
【0007】
また従来において、撮影した単位画像に応じて継ぎ合わせる場所や幅を可変にすることにより、品質の高いパノラマ画像を作成することができるパノラマ画像作成方法も提案されている(例えば、特許文献2参照。)。
【0008】
さらには、撮像した単位画像を仮想球面上に写像して連結することにより、連結部に歪みのないパノラマ画像を生成することができるパノラマ画像生成装置も提案されている(例えば、特許文献3参照。)。
【0009】
また従来において、少ない操作で360°のパノラマ画像を得ることができるディジタル撮像装置も提案されている(例えば、特許文献4参照。)。このディジタル撮像装置では、2つの単位画像を連結するための境界処理につき、360°全て実行されていない場合には、撮像装置本体と協動してことによりパノラマ撮影を実現することができる。
【0010】
【特許文献1】
特開2000−101895号公報
【特許文献2】
特開平06−303561号公報
【特許文献3】
特開平11−008845号公報
【特許文献4】
特開平11−122521号公報
【0011】
【発明が解決しようとする課題】
撮像したパノラマ画像について、単独のユーザのみならず複数のユーザがネットワークを介して同時に視認できるシステムが昨今において望まれている。特に百貨店等の商品売り場や立ち入り禁止区域等のような広範囲の状況については、複数のユーザが同時に管理する必要があり、特に事件発生後において、既に蓄積してあるパノラマ画像につき各人が事後的な確認を望む場合もある。
【0012】
しかしながら、上述したモニタリングシステムや撮像装置は、あくまでユーザが単独で被写体を撮像してパノラマ画像を生成する際に好適なものであるため、複数のユーザによる被写体の同時撮影や、撮影内容の事後的な確認が困難であった。
【0013】
また、上述したモニタリングシステムや撮像装置では、蓄積したパノラマ画像をデジタルズームにより拡大処理、単位画像を連結する処理や、ズーム値にあわせて画素を間引く処理等が必要となり、精細な画質を維持できず、特に単位画像の連結部を拡大する場合に境界が画面上に表示されてしまい、画質を悪化させる要因にもなっていた。
【0014】
さらに、各単位画像を貼り合わせてパノラマ画像全体を合成するためには大容量のメモリが必要となるため、コストパフォーマンスに優れたシステムを提供することができないという問題点もあった。
【0015】
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、精細な画質を維持しつつ、複数のユーザが所望の画像領域につき拡大、縮小することができる画像信号処理装置及び方法、撮像装置及び方法、画像情報提供システム、並びにプログラムを提供することにある。
【0016】
【課題を解決するための手段】
本発明を適用した画像信号処理装置は、上述の課題を解決するために、異なる2以上の撮影画角でそれぞれ撮影方向を制御することにより同一の撮影範囲を撮像して得られた画像信号を処理する画像信号処理装置において、記録媒体と、入力される上記画像信号に基づき、上記撮影範囲の一部を構成する単位画像を上記撮影画角毎に階層化して上記記録媒体へ記録するように制御する制御手段とを備える。
【0017】
本発明を適用した画像信号処理方法は、上述の課題を解決するために、異なる2以上の撮影画角でそれぞれ撮影方向を制御することにより同一の撮影範囲を撮像して得られた画像信号を処理する画像信号処理方法において、入力される上記画像信号に基づき、上記撮影範囲の一部を構成する単位画像を上記撮影画角毎に階層化して記録媒体へ記録する。
【0018】
本発明を適用した撮像装置は、上述の課題を解決するために、異なる2以上の撮影画角でそれぞれ撮影方向を制御することにより同一の撮影範囲を撮像して画像信号を生成する撮像手段と、記録媒体と、上記生成される画像信号に基づき、上記撮影範囲の一部を構成する単位画像を上記撮影画角毎に階層化して上記記録媒体へ記録するように制御する制御手段とを備える。
【0019】
また、本発明を適用した撮像方法は、上述の課題を解決するために、異なる2以上の撮影画角でそれぞれ撮影方向を制御することにより同一の撮影範囲を撮像して画像信号を生成し、上記生成した画像信号に基づき、上記撮影範囲の一部を構成する単位画像を上記撮影画角毎に階層化して記録媒体へ記録する。
【0020】
本発明を適用した画像情報提供システムは、上述の課題を解決するために、撮影範囲につき、撮影画角に応じて撮影方向を制御することにより撮像して画像信号を生成する撮像装置と、サーバと、上記撮像装置により生成される画像信号に基づき、上記撮影範囲の一部を構成する単位画像を上記サーバへ記録するように制御するサーバ制御機器と、上記サーバから通信網を介して取得した上記単位画像を表示する画像表示手段と、ユーザが上記撮像装置における撮影方向及び/又は撮影画角を指定するための指定手段とを有し、上記指定手段により指定された撮影方向及び/又は撮影画角を上記通信網を介して送信する端末装置とを備え、上記サーバ制御機器は、上記端末装置から送信される上記撮影方向及び/又は上記撮影画角に応じて、上記サーバから単位画像を選択し、これを上記端末装置における画像表示手段へ送信する。
【0021】
本発明を適用したプログラムは、異なる2以上の撮影画角でそれぞれ撮影方向を制御することにより同一の撮影範囲を撮像して得られた画像信号を処理するプログラムにおいて、入力される上記画像信号に基づき、上記撮影範囲の一部を構成する単位画像を上記撮影画角毎に階層化して記録媒体へ記録することをコンピュータに実行させる。
【0022】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明を適用した画像情報提供システム1は、例えば図1に示すように、被写体を撮像して画像信号を生成するカメラユニット2と、カメラユニット2により生成された画像信号が伝送される画像信号処理装置5と、画像信号処理装置5に接続されるディスプレイ6と、複数のユーザがアプリケーションを実行するためのユーザ端末9と、画像信号処理装置5と各ユーザ端末9との間で情報を送受信するためのネットワーク8と、ユーザ端末9に接続される端末ディスプレイ10と、ネットワーク8に接続されるネットワークサーバ11とを備えている。
【0023】
カメラユニット2は、パンチルタ部3と、カメラ部4とが一体的に構成されてなる。パンチルタ部3は、例えばパン、チルトの2軸につき撮影方向を自在に変更するための回転台として構成される。
【0024】
カメラ部4は、パンチルタ部3を構成する回転台上に配設され、画像信号処理装置5による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部4は、画像信号処理装置5による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。このカメラ部4を一の画像信号処理装置5に対して複数設置することにより、同一の被写体につき、互いに異なる撮影角度で撮像することができ、多面的な画像情報を得ることが可能となる。
【0025】
画像信号処理装置5は、例えばパーソナルコンピュータ(PC)等の電子機器により構成され、カメラユニット2から伝送される画像信号を記録し、また記録した画像信号につきディスプレイ6を介してユーザに表示する。またこの画像信号処理装置5は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれを表示するように制御する。この画像信号処理装置5は、このネットワーク8全体を制御するためのいわゆる中央制御装置としての役割も担い、他のユーザ端末9からの要求に応じて、画像を送信する。
【0026】
ネットワーク8は、例えば画像信号処理装置5と電話回線を介して接続されるインターネット網を始め、TA/モデムと接続されるISDN(Integrated Services Digital Network)/B(broadband)−ISDN等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの画像情報提供システム1を、一定の狭いエリア内で運用する場合には、このネットワーク8を、LAN(Local Area Network)で構成してもよい。さらにこのネットワーク8は、静止画像に加えてMPEG画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル(IP)に基づき、MPEGデータがある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。
【0027】
ユーザ端末9は、ユーザが画像信号処理装置5から画像を取得し、所望の処理を実行するためのPCである。複数のユーザ端末9をネットワーク8に接続することにより、複数のユーザに対してこの画像情報提供システム1のアプリケーションを同時に提供することが可能となる。このユーザ端末9は、画像信号処理装置5から取得した画像を、端末ディスプレイ10に対して表示する。またこのユーザ端末9は、ユーザによる指定操作に応じて要求信号を生成し、これを画像信号処理装置5に対して送信する。なおユーザ端末9のブロック構成については、後述する画像信号処理装置5の構成を引用し、説明を省略する。
【0028】
ネットワークサーバ11は、例えばインターネット情報を管理し、ユーザ端末9による要求を受けて、自身に格納してある所定の情報を送信する。
【0029】
次に、本発明を適用した画像情報提供システム1におけるカメラユニット2,画像信号処理装置5の構成について詳細に説明する。
【0030】
図2は、カメラユニット2,画像信号処理装置5の構成図である。この図2では、共通のコントローラバス21に対して、カメラユニット2並びに画像信号処理装置5の各構成要素が接続されている。
【0031】
カメラユニット2を構成するパンチルタ部3は、撮像方向を変更するための回転台を制御するPan部3a、Tilt部3bとを有する。また、カメラユニット2を構成するカメラ部4は、主としてレンズ部22の画角を変更するためのレンズ制御部23と、レンズ部22の光軸に直交する位置に配設される撮像部24と、撮像部24により生成された画像信号を画像信号処理装置5へ送信するためのIEEE(Institute of Electrical and Electronics Engineers)1394インターフェース25と、カメラユニット2の現在位置を検出するためのGPS(Global Positioning System)受信部28と、GPS受信部28に装着されるメタデータ生成部29とを備えている。ちなみに、IEEE1394インターフェース25は、イーサネット(登録商標)に代替してもよい。
【0032】
また画像信号処理装置5は、IEEE1394インターフェース25に接続されるバッファメモリ51と、バッファメモリ51に接続されるエンコーダ52と、エンコーダ52から出力される画像を蓄積するサーバ53と、サーバ53から読み出された画像を圧縮するための画像圧縮部54と、サーバ53及び画像圧縮部54に接続され、ディスプレイ6上に表示する画像を作り出すグラフィックコントローラ55と、コントローラバス21を介して各部を制御するためのCPU56と、I/Oポート58にそれぞれ接続され、ディスプレイ6上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード59並びにマウス60と、さらにこのI/Oポート58に接続されるメモリカード61並びに時計62とを備えている。
【0033】
Pan部3a並びにTilt部3bは、CPU56からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部4の撮影方向を水平方向、或いは垂直方向に変更することができる。
【0034】
レンズ制御部23は、CPU56からの駆動信号に基づき、レンズ部22に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部23は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部4は、撮影倍率を順次調整して被写体を撮像することが可能となる。
【0035】
撮像部24は、例えばCCD(Charge Coupled Device )等の固体撮像素子により構成され、レンズ部22を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをIEEE1394インターフェース25へ送信する。
【0036】
GPS受信部28は、GPSシステムにより送出される信号に基づき、カメラユニット2の設置場所や撮影方向を検出する。このGPS受信部28を設けることにより、特に複数のカメラユニット2を設置する場合において、双方の撮影方向を連動して制御することが可能となる。GPS受信部28からの出力信号は、メタデータ生成部29に供給され、GPSによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部29は、この生成した位置情報やメタデータをエンコーダ52へ供給する。なお本発明では、このGPS受信部28、メタデータ生成部29の構成を省略してもよい。
【0037】
バッファメモリ51は、CPU56からの制御信号に基づき、IEEE1394インターフェース25から供給される画像信号を一時的に格納する。このバッファメモリ51において一時的に格納された画像信号は、エンコーダ52に供給され、例えばJPEG(Joint Photographic Experts Group)等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ52は、圧縮符号化する画像信号に対して、メタデータ生成部29から供給される位置情報やメタデータを付加してもよい。エンコーダ52は、圧縮符号化した画像信号をサーバ53或いは画像圧縮部54へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ52における処理は省略される。
【0038】
サーバ53は、エンコーダ52から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ53は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ53に記録された画像信号は、CPU56による制御に基づき、画像圧縮部54やグラフィックコントローラ55へ読み出される。なおサーバ53に記録される画像信号をメモリカード61へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のPCへ移し換えることも可能となる。また、このサーバ53に記録されている画像信号をネットワークサーバ11に記録するように制御することにより、サーバ53をネットワークサーバ11に代替することも可能となる。
【0039】
画像圧縮部54は、サーバ53から読み出したJPEG形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。グラフィックコントローラ55は、サーバ53から読み出した画像信号、又は画像圧縮部54から出力される画像信号に基づき、ディスプレイ6への絵画処理を実行する。また、このグラフィックコントローラ55は、CPU56による制御に基づき、ディスプレイ6におけるコントラスト、輝度の制御を実行する。
【0040】
CPU56は、ユーザによりキーボード59やマウス60を介して画像領域、画像位置が指定された場合に、パンチルタ部3やレンズ制御部23を駆動するための駆動信号や、画像信号処理装置5内の各部を制御するための制御信号を、コントローラバス21を介して送信する。また、このCPU56は、ユーザ端末9から要求信号を受けて、サーバ53に記録されている画像から最適なものを選択し、これを当該ユーザ端末9へ送信するように制御する。
【0041】
次に本発明を適用した画像情報提供システム1における撮像動作について説明をする。
【0042】
図3は、カメラユニット2により、黒枠で示される撮影範囲内を撮影画角uで撮像する場合について示している。撮影範囲を撮影画角uで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角uで撮像することにより得られるフレーム(以下、単位画像という。)のサイズのi×j倍で表せるときには、少なくともi×j通りの撮影方向を設定する必要がある。この撮影画角uで撮像したi×j個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。
【0043】
ここで、撮影範囲の各単位画像の座標(M,N)を、水平方向につき、左端から順に1、2、・・M・、iとし、垂直方向につき上端から順に1、2、・・N・、j としたとき、CPU56は、Pan部3a並びにTilt部3bに対して駆動信号を送信することにより、カメラ部4の撮影方向を、先ず左上に位置する座標(1,1)に合わせて撮像を実行させる。この座標(1,1)について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ51に一時的に格納され、エンコーダ52において、JPEG規格に基づいて圧縮符号化される。そしてこの画像信号は、GPS28から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ53に記録される。
【0044】
同様にCPU56は、Pan部3a並びにTilt部3bに対して駆動信号を送信することにより、カメラ部4の撮影方向を、右側に1画枠分シフトさせて座標(2,1)に合わせて撮像を実行する。この座標(2,1)について撮像することにより生成された画像信号も同様にサーバ53へ記録される。CPU56による制御に基づき、カメラ部4は、撮影方向を座標(3,1)、(4,1)・・(i,1)と水平方向へ順次変更させて撮像を実行する。
【0045】
カメラ部4は、1列目の撮像を終了させた後、CPU56による制御に基づき、撮影方向を2列目の座標(1,2)に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標(i,j)まで撮像を終了させた時、サーバ53は、座標毎に撮像したi×j個の単位画像に基づく画像信号が記録されている状態になる。
【0046】
ちなみに、このサーバ53に記録されている各単位画像に基づく画像信号は、画像圧縮部54により順次読み出されて、ディスプレイ6の表示画面のサイズに適合するように圧縮される。この圧縮された各単位画像は、グラフィックコントローラ15を経てディスプレイ6に表示される。サーバ53に記録されたi×j個の単位画像を全てディスプレイ6に表示させることにより、1枚の全体画像が合成されることになる。
【0047】
図4は、撮像したi×j個の単位画像を貼り合わせることにより合成した全体画像を、ディスプレイ6の全体画像表示部70に表示する例を示している。なお、この画像信号処理装置5は、全体画像表示部70に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また画像信号処理装置5は、パノラマ状の全体画像の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した1枚の全体画像を、この全体画像表示部71に表示させてもよい。
【0048】
ちなみに表示画面45には、単位画像を拡大した拡大画像を表示するための拡大画像表示部71がさらに設けられている。表示画面45には、拡大画像表示部71に表示されている単位画像につき、撮影倍率を拡大して表示させるためのZOOMボタン72、撮影倍率を縮小して表示させるためのWIDEボタン73が表示される。また、この表示画面45には、カメラ部4の撮影方向を水平、垂直方向において調整するための撮影方向制御部75、操作モード、表示モードを設定するためのモード設定ボタン76等も表示される。
【0049】
ユーザは、全体画像表示部70や拡大画像表示部71に対して、マウス59やキーボード60を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部70,71には、マウス59等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。
【0050】
次に、この表示画面45において、ユーザにより指定された画像領域を拡大画像表示部71において拡大表示する例につき説明をする。
【0051】
ユーザによる画像領域の指定操作の前に、カメラユニット2並びに画像信号処理装置5は、以下に説明する処理を実行する。
【0052】
カメラユニット2は、図5に示すように、黒枠で示される同一の撮影範囲につき、異なる2以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する。撮像により得られる単位画像を撮影画角毎に合成することにより、全体画像と同一内容の単位画像の集合を図5に示すように幾層にも亘って作成することができる。以下、各撮影画角に応じた単位画像の集合をLayerという。Layerの番号は、撮影画角の大きい順からn、n+1、n+2、・・、と増加するものとする。すなわち撮影画角の大きいLayernでは、撮影画角の小さいLayern+1と比較して、少ない単位画像数で全体画像を合成することができる。ちなみに、単位画像のサイズ、画素数は各Layer間において同等である。
【0053】
図6は、Layerの倍率を順に1、2、4、8倍に設定して撮像する例を示している。図6は、図5で示すような各Layerを水平方向又は垂直方向から表示したものであり、倍率1倍のLayer1は、1枚の単位画像で構成され、倍率2倍のLayer2は、2×2枚の単位画像で構成され、また倍率4倍のLayer3は、4×4枚の単位画像で構成され、倍率8倍のLayer4は8×8枚の単位画像で構成される。
【0054】
図7は、上述の撮影倍率からなる各Layerにつき、単位画像を撮像する手順を示している。先ずステップS11において、CPU56は、レンズ制御部23に対して駆動信号を送信することにより、カメラ部4の撮影画角を倍率1倍に相当するu1に調整し、撮影方向を撮影範囲の中心位置に合わせる。次にステップS12へ移行し、カメラ部4は、かかる撮影画角u1で、撮影範囲全体を表示することができる1枚の全体画像を撮像する。この撮像された全体画像に基づく画像信号は、Layer1として順次サーバ53へ記録されることになる。
【0055】
次にカメラ部4は、CPU56による制御に基づき、撮影画角を倍率2倍に相当するu2に調整する(ステップS13)。またカメラ部4は、ステップS14において、CPU56による制御に基づき、撮影方向を、撮影範囲左上に位置する座標(1,1)に合わせて撮像を実行する(ステップS12)。カメラ部4は、撮影方向を順次1画枠分毎にシフトさせて、Layer2を構成する全ての単位画像につき撮像を実行する。撮像された単位画像に基づく画像信号は、Layer2として順次サーバ53へ記録される。
【0056】
同様にカメラ部4は、撮影画角を倍率4倍に相当するu3、また倍率8倍に相当するu4に調整して、撮影方向を順次シフトさせて撮像を実行する。得られた単位画像に基づく画像信号は、Layer3、Layer4として順次サーバ53に記録され、最終的には、各Layerを構成する画像が全てサーバ53に記録されている状態となる。
【0057】
次に、このサーバ53内に階層化して記録されている各画像信号のうち、Layer1を構成する全体画像に基づく画像信号が最初に読み出され、グラフィックコントローラ55を経てディスプレイ6等上の全体画像表示部70に表示される。ユーザは、この全体画像表示部70に表示されている全体画像において、所望の画像領域につき拡大表示を望む場合には、上述の如くマウス60等を用いて当該画像領域を指定することができる。
【0058】
図8は、かかるユーザによる指定操作を受けて拡大画像を表示するまでの手順を示している。
【0059】
先ずステップS21においてユーザによる画像領域の指定を受けた場合には、ステップS22へ移行し、CPU56は、例えば図9に示すように、ユーザにより指定された画像領域30のサイズqと、Layer1における全体画像の画サイズyとの比を求める。
【0060】
次にステップS23へ移行し、CPU56は、サーバ53に階層化して記録されている各Layerから一のLayerを選択する。このステップS23におけるLayerの選択は、ステップS22において演算したサイズ比から倍率kを計算し、かかる倍率kに最も近い撮影倍率のLayerを選択する。例えば、qとyとの比が、1:2.3である場合、倍率kは2.3となり、かかる倍率kに最も近い撮影倍率で撮像されたLayerは、Layer2であるため、これを選択することになる。すなわち、このステップS23において、CPU56は、指定された画像領域30のサイズに応じて最も適切なLayerを選択する。
【0061】
次にステップS24へ移行し、CPU56は、ユーザにより指定された画像領域に応じて、Layer2を構成する単位画像から最適なものを選択する。Layer2を構成する単位画像の座標は、図9に示すように(1,1)、(2,1)、(1,2)、(2,2)の4つである。このうち、Layer1において指定された画像領域30の内容は、このLayer2における画像領域31に相当する。このため、CPU56は、Layer2を構成する単位画像のうち、画像領域31が存在する座標(1,2)に位置する単位画像を選択し、これをサーバ53から読み出す。なお、CPU56は、ステップS23を省略して、ステップS22において求めたサイズ比から、最適な単位画像を直接選択してもよい。
【0062】
次にステップS25へ移行し、CPU56は、選択した座標(1,2)の単位画像につき、図10に示すように画像領域31を含む選択領域42を抽出する。またCPU56は、この抽出した選択領域42につき、拡大画像表示部71のサイズに合うように例えばデジタルズームを利用して拡大処理を実行する。
【0063】
以上の操作を実行することにより、ユーザから指定された画像領域を拡大画像表示部71に拡大表示させることができる。
【0064】
なお、図9に示すようにLayer1を構成する全体画像と、倍率が2倍であるLayer2を構成する単位画像の画素数、サイズは同等であり、同じ画像領域を示している画像領域30と画像領域31では、画像領域31の方が多くの画素により構成されている。このため、指定された画像領域30のサイズに応じて、最適なLayerを選択し、かかるLayerにある一の単位画像から選択領域42を抽出することにより、高画質な拡大画像を生成することができる。上述した例においても、Layer2に基づいて拡大処理を実行することにより、Layer1に基づいて拡大処理を実行する場合と比較して、ディジタルズームに依存せずにより高画質の拡大画像が生成されることになる。
【0065】
ちなみに、Layer数を増やすことにより、隣接するLayerの倍率差を小さくすることができるため、ユーザにより指定される画像領域に対して、より適切な単位画像を選択することができ、拡大画像の鮮明度をさらに向上させることができる。
【0066】
また本発明では、同一の撮影範囲を異なる2以上の撮影画角でそれぞれ撮影方向を制御することにより撮像して画像信号を生成し、生成した画像信号に基づき、全体画像或いは単位画像を、撮影画角毎に階層化してサーバ53へ予め記録しておく。そして全体画像において指定された画像領域に応じてサーバ53から最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを表示する。
【0067】
このため、本発明では、全体画像表示部70において、Layer1を構成する1枚の拡大画像を表示すれば足り、また拡大画像表示部71に表示される拡大画像は、あくまで一枚の単位画像を拡大、縮小して生成されるため、単位画像を互いに貼り合わせてパノラマ状の拡大画像を合成する必要はなくなる。従って、単位画像同士を連結することにより生ずる境界が拡大画像表示部71において表示されることなく、拡大画像の鮮明度をさらに向上させることができる。またシームレスな拡大画像を生成するための煩雑な処理を省略することも可能となり、さらに、パノラマ画像全体を合成するために必要となるメモリを他の用途に有効活用することができるため、コストパフォーマンスに優れたアプリケーションを提供することも可能となる。
【0068】
また、本発明では、ユーザから所望の画像領域が指定された場合に、既に記録してある単位画像を拡大すれば足りるため拡大画像を迅速に提供することができ、その都度カメラ部4を制御して画像を撮像する必要がなくなり、労力の軽減を図ることもできる。
【0069】
なお、本発明では、最も近い撮影倍率のLayerを選択する場合に限定されるものではなく、他のいかなる方法でLayerを選択してもよい。
【0070】
本発明に係る画像情報提供システム1では、図11に示す手順により、ユーザ端末9のユーザに対して拡大画像を提供することができる。
【0071】
先ずステップS31において、ユーザ端末9を操作する各ユーザは、ネットワーク8に接続されている画像信号処理装置5にアクセスする。
【0072】
次にステップS32に移行し、画像信号処理装置5は、自身のサーバ53に記録されている全体画像のうち、ユーザに対して公開できるものについて、公開可能画像リストを作成し、これをユーザ端末9へ送信する。ちなみに、この公開可能画像リストには、各全体画像のファイル名やファイルサイズのみにならず、縮小された全体画像が貼り付けられる場合もある。この公開可能画像リストは、ネットワーク8、ユーザ端末9を介して、端末ディスプレイ10上に表示される。
【0073】
次にステップS33へ移行し、ユーザは、公開可能画像リストから所望の全体画像を選択する。ユーザ端末9は、ユーザによる選択操作に応じて、全体画像送信要求を画像信号処理装置5へ送信する。
【0074】
ステップS34において、画像信号処理装置5は、かかる全体画像送信要求を受けて、ユーザにより選択された全体画像をLayer1から抽出し、これをユーザ端末9へ送信する。送信された拡大画像は、ネットワーク8、ユーザ端末9を介して、端末ディスプレイ10に表示される。
【0075】
次にステップS35へ移行し、ユーザは、端末ディスプレイ10に表示される全体画像につき、所望の画像位置を、マウス60等を用いてポイント指定し、或いは上述の如く所望の画像領域を指定する。ユーザ端末9は、かかるユーザの指定操作に応じて、単位画像送信要求を画像信号処理装置5へ送信する。
【0076】
次にステップS36へ移行し、画像信号処理装置5は、かかる単位画像送信要求を受けて、サーバ53に記録されている単位画像から最適なものを選択し、これを読み出す。ユーザ端末9において画像領域が指定されている場合には、上述の如く倍率計算を実行して、最適なLayerから一の単位画像を選択する。またユーザ端末9において画像位置がポイント指定された場合には、全体画像より下の階層であるLayernから、かかる画像位置を含む単位画像を選択する。画像信号処理装置5は、サーバ53から読み出した単位画像をパケット化し、ネットワーク8を介してユーザ端末9へ送信する。
【0077】
次に、ステップS37において、ユーザ端末9は、送信された単位画像に対して、上述したステップS25と同様に、デジタルズームを利用した拡大処理を実行して、これを拡大画像表示部71に表示する。このステップS37において、拡大画像表示部71に表示されている拡大画像につき、さらに倍率を拡大、縮小する旨の操作が実行された場合には、さらなる単位画像送信要求を画像信号処理装置5へ送信する。
【0078】
次に、ステップS38において、画像信号処理装置5は、かかる単位画像送信要求を受けてサーバ53から最適な単位画像を選択する。このとき、倍率を拡大する旨が要求されている場合には、更に下の階層であるLayern+1から単位画像を選択する。画像信号処理装置5は、サーバ53から選択した単位画像を、ネットワーク8を介してユーザ端末9へ送信する。
【0079】
次に、ステップS39において、ユーザは、ステップS37と同様に所望の画像位置を指定し、又は拡大、縮小操作を繰り返し実行することができる。
【0080】
以上説明した手順を実行することにより、本発明を適用した画像情報提供システム1では、画像信号処理装置5を操作するユーザに加えて、ネットワーク8に接続されているユーザ端末9を操作するユーザに対しても、適切な単位画像を選択し、これを送信することができる。
【0081】
また、単位画像を合成したパノラマ状の全体画像を送信する場合には、かかる全体画像を合成する全ての単位画像を送信しなければならないため、撮影画角が小さくなるにつれて、図12に示すLayern+2のように、送信するファイルのサイズが大幅に増えてしまうが、本発明では、単位画像を互いに貼り合わせる必要性はなく、各ユーザ端末9に対して選択した一枚の単位画像のみ順次送信すれば足りる。このため、ユーザが仮にLayernの単位画像からLayern+2まで順次拡大操作を実行した場合であっても、Layer毎に表示する3枚の単位画像を選択すればよく、送信するファイルのサイズを大幅に削減することができる。これによりネットワーク8全体の負荷を軽減させることができ、また、ネットワーク8がISDNやモデム等の低速回線で構成されている場合であっても、画質を劣化させることなく単位画像の送信を迅速に実現することができる。
【0082】
また、ネットワーク8に対して複数のユーザ端末9を接続することにより、複数のユーザに対して同時に各単位画像を送信することも可能となる。
【0083】
次に、この表示画面45における拡大画像表示部71において、ユーザにより指定された画像位置へ拡大画像をシフトさせて表示する場合につき説明をする。
【0084】
ユーザによる画像位置の指定前に、カメラユニット2並びに画像信号処理装置5は、以下に説明する処理を実行する。
【0085】
カメラユニット2は、互いに重複領域が生じるように撮影方向を制御することにより撮像を実行する。図13に示すように、一画枠毎に撮像する単位画像101に加えて、水平方向に半画枠分シフトさせた単位画像102、垂直方向に半画枠分シフトさせた単位画像103、水平−垂直方向にそれぞれ半画枠分シフトさせた単位画像104をさらに撮像する。すなわち、カメラユニット2は、互いに撮影方向の異なる4種類の単位画像101,102,103,104を順次撮像する。
【0086】
サーバ53は、各単位画像101,102,103,104につき、隣接する他の単位画像と互いに連関させてこれを記録する。全体画像表示部70には、サーバ53に記録されている単位画像101等を合成した全体画像、又は撮影画角u1により撮影した全体画像が表示される。拡大画像表示部71には、このサーバ53に記録されている一の単位画像が拡大されて表示される。
【0087】
この拡大画像表示部71に単位画像104が表示されている場合において、拡大画像表示部71に表示されている画像は、図14に示すように、隣接する他の単位画像101、102、103と一部重複した内容となる。ユーザは、この拡大画像表示部71に表示されている単位画像104に基づく拡大画像につき、マウス60等を用いて所望の画像位置を指定することができる。
【0088】
図15は、かかるユーザによる指定操作を受けて拡大画像を表示するまでの手順を示している。
【0089】
先ずステップS41において、ユーザから拡大画像表示部71に示される単位画像104のうち所望の画像位置が指定された場合にはステップS42へ移行し、CPU56は、拡大画像をシフトさせて表示する必要性につき判断する。このときCPU56は、指定された画像位置に対して、最短の画像中心を有する単位画像が、現在拡大画像表示部71に表示されている単位画像104であるか否かにつき先ず判断する。
【0090】
図16に示すように、水平方向の長さがsであり、垂直方向の長さがtである拡大画像表示部71において、指定された画像位置に対して、単位画像104の画像中心が最短となる領域は、斜線で示される水平方向の長さがs/2であり、垂直の長さt/2である領域である。この領域の境界を以下、仮想境界という。
【0091】
すなわち、指定された画像位置が仮想境界内である場合には、単位画像104の画像中心が最短となるため、拡大画像をシフトする必要はないものと判別する。一方、指定された画像位置が仮想境界の外側である場合には、隣接する他の単位画像の画像中心が最短となることを示唆しており、さらにステップS43へ移行する。
【0092】
ステップS43において、CPU56は、指定された画像位置につき、最短の画像中心を有する単位画像を選択する。このとき図16に示すように、指定された画像位置が領域A、C、F、Hに含まれる場合には、それぞれ左上、右上、左下、右下に隣接する単位画像101の画像中心が最短となるため、これを選択する。また指定された画像位置が領域B、Gに含まれる場合には、それぞれ上、下に隣接する単位画像102の画像中心が最短となるため、これを選択する。さらに指定された画像位置が、領域D、Eに含まれる場合には、それぞれ左、右に隣接する単位画像103の画像中心が最短となるため、これを選択する。CPU56により選択された単位画像は、サーバ53から読み出されて拡大画像として拡大画像表示部71へ表示されることになる。ちなみに、これらの隣接する各単位画像101,102,103は、上述の如く、単位画像104に互いに連関されてサーバ53に記録されているため、CPU56は、かかる隣接する各単位画像101,102,103を容易に参照し、また読み出すことができる。
【0093】
このように本発明では、指定された画像位置に応じて、拡大画像表示部71に表示されている単位画像と互いに重複画像領域を形成する他の単位画像のうち最適なものを選択し、当該選択した他の単位画像を拡大して表示することができる。
【0094】
これにより、単位画像同士を連結することにより生ずる境界が拡大画像表示部71において表示されることがなくなり、拡大画像の鮮明度をさらに向上させることができ、さらには単位画像を互いに貼り合わせることにより、シームレスな全体画像を生成するための煩雑な処理を一切省略することができる。
【0095】
また隣接する単位画像101,102,103,104の画像中心の間隔を狭く設定することができるため、拡大画像表示部70に表示される拡大画像を細かいピッチでシフトさせることができる。
【0096】
また、ユーザから所望の画像位置が指定された場合に、既に記録してある単位画像を拡大することにより対処することができるため、拡大画像を迅速に提供することができ、その都度カメラ部4を制御して画像を撮像する必要がなくなり、労力の軽減を図ることもできる。
【0097】
また画像情報提供システム1において、ネットワーク8を介して接続されているユーザ端末9により、画像位置が指定された場合にも、サーバ53に記録されている最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを送信することにより、複数のユーザに対して所望の拡大画像を同時に提供することもできる。
【0098】
ちなみに上述した例では、指定された画像位置に対して、最短の画像中心を有する単位画像を選択する場合に限定するものではなく、他のいかなる方法で単位画像を選択してもよい。
【0099】
また、上述した例では、水平、垂直方向に半画枠分シフトさせて隣接する単位画像を撮像する場合について説明をしたが、かかる場合に限定されるものではない。隣接する単位画像間において互いに重複領域が生じるように撮影方向を制御すれば、いかなるものであってもよく、また一の単位画像に隣接する単位画像の数をさらに増加させてもよい。
【0100】
ちなみに上述の構成からなる画像情報提供システム1は、以下に説明するアプリケーションに対しても適用することができる。
【0101】
カメラユニット2並びに画像信号処理装置5は、ユーザから要求され得る撮影画角、撮影方向に応じて、上述の如く、全体画像、単位画像を撮像し、これを予めサーバ53に記録しておく。また画像信号処理装置5は、ユーザ端末9による要求に応じて、サーバ53から単位画像を読み出して、これを当該ユーザ端末9に対して送信する。
【0102】
ユーザ端末9を操作する各ユーザは、この端末ディスプレイ10に表示される全体画像表示部70を視認して、所望の画像位置を指定し、また、WIDEボタン72、ZOOMボタン73を介して、撮影倍率の拡大、縮小、さらには、撮影方向指定部75を介して撮影方向を指定する。ユーザ端末9はかかるユーザの指定操作に応じて、単位画像送信要求を画像信号処理装置5へ送信する。
【0103】
画像信号処理装置5は、ユーザ端末9から送信される単位画像送信要求に基づき、サーバ53に記録されている単位画像を読み出す。例えば、撮影倍率を拡大する旨の要求信号が送信された場合には、撮影画角の大きい単位画像が記録されているLayerから読み出し処理を行い、これをユーザ端末9へ送信する。また撮影方向を水平方向に変更する旨の要求信号が表示された場合には、かかる水平方向にシフトさせた座標上の単位画像を読み出し、これをユーザ端末9に送信する。ユーザ端末9に送信された単位画像は、拡大画像表示部71に表示される。
【0104】
ユーザは、送信された単位画像を視認した上で、さらに撮影倍率や撮影方向の変更を画像信号処理装置5に対して要求することができる。
【0105】
すなわち、このアプリケーションでは、ユーザから要求される可能性のある撮影画角、撮影方向毎に、単位画像を予めサーバ53に記録しておき、ユーザからの要求に応じて、サーバ53に記録されている最適な単位画像を順次読み出し、これを各ユーザ端末9に送信する。これにより本発明では、ユーザ端末9から送信される単位画像送信要求に基づき、その都度カメラ部4の撮影倍率、撮影方向を変更しなくても、ユーザに対して、あたかも自分自身でカメラ部4を制御している雰囲気を実感させることができる。
【0106】
なおカメラ部4は、所定の時間間隔で上述した撮像を実行することにより、サーバ53には、撮像された斬新な画像が順次記録されることになる。このためユーザは、画像信号処理装置5にアクセスすることにより、カメラ部4で撮像された単位画像をリアルタイムに取得することができ、撮影チャンスを逃すこともなくなり、作業効率を向上させることができる。
【0107】
またカメラ部4は、隣接する単位画像間で互いに重複画像領域が生じるように撮像を実行し、サーバ53は、かかる重複画像領域が形成される単位画像を互いに連関させて記録するようにしてもよい。これによりユーザは、ユーザ端末9に表示される単位画像につき、所望の撮影方向につき細かいピッチでシフトさせることができ、また拡大画像表示部71を介してシームレスな拡大画像を視認することができる。
【0108】
なお、このネットワーク8に対して複数のユーザ端末9を接続することにより、1台のカメラユニット2を複数のユーザが擬似的に同時制御することができる。ちなみに、複数のユーザが同時に、同一の撮影倍率、撮影方向へ変更することを要求しても、サーバ53に記録されている単位画像を複数のユーザ端末9へ送信することで対応することができる。
【0109】
またサーバ53において、所定の時間間隔で順次記録される各単位画像を長年にわたり蓄積することにより、各ユーザは、過去に撮影した単位画像を取得することもできる。これにより、本発明に係る画像情報提供システム1では、カメラユニット2を百貨店の商品売り場等に設置しておくことで、過去に生じた盗難事件の捜査等についても適用することが可能となる。
【0110】
なお、本発明では、上述した拡大画像表示部71を表示画面45上において複数設けてもよい。ユーザにより複数の指定操作が実行された場合には、各指定操作に応じて、最適な単位画像を選択し、それぞれ拡大画像を生成する。当該生成された拡大画像は、上記複数の拡大画像表示部70に対して出力されることになる。これにより、異なる複数の撮影画角、撮影方向で撮像した単位画像を同時に表示させることができるため、実質的に1つのカメラで2箇所を同時に撮像して表示することをも実現することができる。
【0111】
【発明の効果】
以上詳細に説明したように、本発明では、同一の撮影範囲を異なる2以上の撮影画角でそれぞれ撮影方向を制御することにより撮像して画像信号を生成し、生成した画像信号に基づき、全体画像或いは単位画像を、撮影画角毎に階層化して記録媒体へ予め記録しておく。そして全体画像において指定された画像領域に応じてサーバ53から最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを表示する。
【0112】
このため、本発明では、単位画像を互いに貼り合わせてパノラマ状の拡大画像を合成する必要はなくなり、単位画像同士を連結することにより生ずる境界を表示されることなく、拡大画像の鮮明度をさらに向上させることができる。またシームレスな拡大画像を生成するための煩雑な処理を省略することも可能となり、さらに、パノラマ画像全体を合成するために必要となるメモリを他の用途に有効活用することができるため、コストパフォーマンスに優れたアプリケーションを提供することも可能となる。
【図面の簡単な説明】
【図1】本発明を適用した画像情報提供システムの構成を示す図である。
【図2】カメラユニット,画像信号処理装置のブロック構成図である。
【図3】カメラユニットにより、黒枠で示される撮影範囲内を撮影画角uで撮像する場合について説明するための図である。
【図4】ディスプレイ上の表示画面の構成例を示す図である。
【図5】同一の撮影範囲につき、異なる2以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する例を示す図である。
【図6】Layerの倍率を順に1、2、4、8倍に設定して撮像する例を示す図である。
【図7】各Layerにつき、単位画像を撮像する手順を示すフローチャートである。
【図8】ユーザによる指定操作を受けて拡大画像を表示するまでの手順を示すフローチャートである。
【図9】階層化して記録されている各Layerから一のLayerを選択する例を示す図である。
【図10】抽出した選択領域につき拡大処理を実行する例を示す図である。
【図11】ユーザ端末のユーザに対して拡大画像を提供する手順を示すフローチャートである。
【図12】本発明を適用した画像情報提供システムにおいて、送信するファイルのサイズを大幅に削減することができる理由を説明するための図である。
【図13】互いに重複領域が生じるように撮影方向を制御することにより撮像を実行する例を示す図である。
【図14】互いに重複領域が生じるように撮影方向を制御した場合において、拡大画像表示部に表示される拡大画像の例を示す図である。
【図15】ユーザにより画像位置が指定された場合に、拡大画像を表示するまでの手順を示すフローチャートである。
【図16】指定された画像位置につき、最短の画像中心を有する単位画像を選択する例につき説明するための図である。
【図17】パノラマ画像の合成精度を向上させることができる従来の画像信号撮像装置について説明するための図である。
【符号の説明】
1 画像情報提供システム、2 カメラユニット、3 パンチルタ部、4 カメラ部、5 画像信号処理装置、6 ディスプレイ、8 ネットワーク、9 ユーザ端末、10 端末ディスプレイ、11 ネットワークサーバ、21 コントローラバス、22 レンズ部、23 レンズ制御部、24 撮像部、25 IEEE1394インターフェース、28 GPS受信部、29 メタデータ生成部、51 バッファメモリ、52 エンコーダ、53 サーバ、54 画像圧縮部、55 グラフィックコントローラ、56 CPU、58 I/Oポート、59 キーボード、60 マウス、61 メモリカード、62 時計[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image signal processing apparatus and method, an imaging apparatus and method, an image information providing system, and a program applied to a monitoring system or the like that monitors a wide range of situations.
[0002]
[Prior art]
2. Description of the Related Art An electronic still camera, which has been widely used, converts light that has passed through a lens by imaging a subject into an image signal from a solid-state imaging device such as a CCD, and records the image signal on a recording medium. An image signal can be reproduced. Many electronic still cameras include a monitor that can display a captured still image, and can select and display a specific one of the still images recorded so far. In this electronic still camera, an image signal supplied to a monitor corresponds to a subject for each screen. For this reason, images displayed at the same time have a narrow range, and it has not been possible to monitor a wide range of situations.
[0003]
For this reason, monitoring systems that can monitor a wide range of conditions by taking images of the subject while sequentially shifting the shooting direction of the camera and combining these to obtain a panoramic image have become widespread. In recent years, an image signal imaging device capable of improving the synthesizing accuracy has also been proposed in recent years (for example, see Patent Document 1).
[0004]
In this image signal imaging device, as shown in FIG. 17A, a
[0005]
The user moves the camera-integrated digital VCR while looking at the viewfinder, and brings the
[0006]
As described above, the
[0007]
Conventionally, a panorama image creation method has been proposed in which a high-quality panorama image can be created by changing a place and a width to be spliced according to a taken unit image (for example, see Patent Document 2). .).
[0008]
Further, a panoramic image generation device capable of generating a panoramic image having no distortion in a connecting portion by mapping and linking captured unit images on a virtual spherical surface has been proposed (for example, see Patent Document 3). .).
[0009]
Conventionally, a digital imaging device capable of obtaining a 360 ° panoramic image with a small number of operations has also been proposed (for example, see Patent Document 4). In this digital imaging apparatus, when the boundary processing for connecting two unit images has not been completely executed at 360 °, panoramic imaging can be realized by cooperating with the imaging apparatus body.
[0010]
[Patent Document 1]
JP 2000-101895 A
[Patent Document 2]
JP 06-303561 A
[Patent Document 3]
JP-A-11-008845
[Patent Document 4]
JP-A-11-122521
[0011]
[Problems to be solved by the invention]
In recent years, a system in which not only a single user but also a plurality of users can view a captured panoramic image simultaneously via a network has been desired. In particular, for a wide range of situations such as a merchandise store such as a department store or a restricted area, multiple users need to manage them at the same time. In some cases, you may want to make sure.
[0012]
However, since the above-described monitoring system and imaging apparatus are suitable only when a user independently takes an image of a subject and generates a panoramic image, simultaneous shooting of the subject by a plurality of users and ex-post imaging of the shooting content are possible. Confirmation was difficult.
[0013]
In addition, the above-described monitoring system and imaging apparatus require enlargement processing of the accumulated panoramic image by digital zoom, processing of connecting unit images, processing of thinning out pixels according to the zoom value, and the like, and cannot maintain a fine image quality. In particular, when the connecting portion of the unit image is enlarged, the boundary is displayed on the screen, which is a factor of deteriorating the image quality.
[0014]
Furthermore, since a large-capacity memory is required to combine the unit images and synthesize the entire panoramic image, there is a problem that a system excellent in cost performance cannot be provided.
[0015]
Therefore, the present invention has been made in view of the above-described problems, and an object of the present invention is to allow a plurality of users to enlarge or reduce a desired image area while maintaining a fine image quality. An object of the present invention is to provide an image signal processing apparatus and method, an imaging apparatus and method, an image information providing system, and a program.
[0016]
[Means for Solving the Problems]
An image signal processing apparatus to which the present invention is applied, in order to solve the above-described problem, controls an imaging direction at each of two or more different imaging angles of view, thereby obtaining an image signal obtained by imaging the same imaging range. In the image signal processing device for processing, based on a recording medium and the input image signal, unit images constituting a part of the photographing range are hierarchized for each photographing angle of view and recorded on the recording medium. Control means for controlling.
[0017]
In order to solve the above-described problem, the image signal processing method to which the present invention is applied controls an image signal obtained by imaging the same imaging range by controlling the imaging direction at two or more different imaging angles of view. In the image signal processing method for processing, based on the input image signal, unit images constituting a part of the imaging range are hierarchized for each imaging angle of view and recorded on a recording medium.
[0018]
In order to solve the above-described problem, an imaging device to which the present invention is applied includes an imaging unit that generates an image signal by imaging the same imaging range by controlling the imaging direction at two or more different imaging angles of view. A recording medium, and control means for controlling so that unit images constituting a part of the photographing range are hierarchized for each photographing angle of view and recorded on the recording medium based on the generated image signal. .
[0019]
Further, in order to solve the above-described problem, the imaging method according to the present invention generates an image signal by imaging the same imaging range by controlling the imaging direction at two or more different imaging angles of view, Based on the generated image signal, unit images constituting a part of the shooting range are hierarchized for each shooting angle of view and recorded on a recording medium.
[0020]
An image information providing system to which the present invention is applied, in order to solve the above-described problems, an image capturing apparatus that generates an image signal by capturing an image by controlling a shooting direction according to a shooting angle of view for a shooting range, and a server And, based on an image signal generated by the imaging device, a server control device that controls a unit image forming a part of the imaging range to be recorded in the server, and a server control device that is obtained from the server via a communication network. An image display unit for displaying the unit image; and a designation unit for a user to designate a photographing direction and / or a photographing angle of view in the image pickup apparatus. The photographing direction and / or photographing designated by the designation unit are provided. A terminal device for transmitting the angle of view via the communication network, wherein the server control device according to the imaging direction and / or the imaging angle of view transmitted from the terminal device, Serial selecting unit image from the server, and transmits to the image display means in the terminal device.
[0021]
A program to which the present invention is applied is a program for processing an image signal obtained by imaging the same imaging range by controlling the imaging direction at each of two or more different imaging angles of view. Based on the above, the computer is caused to execute a process of layering unit images constituting a part of the photographing range for each photographing angle of view and recording the hierarchized unit images on a recording medium.
[0022]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. For example, as shown in FIG. 1, an image
[0023]
The
[0024]
The
[0025]
The image
[0026]
The network 8 includes, for example, an Internet network connected to the image
[0027]
The user terminal 9 is a PC for a user to acquire an image from the image
[0028]
The
[0029]
Next, the configurations of the
[0030]
FIG. 2 is a configuration diagram of the
[0031]
The pan /
[0032]
Further, the image
[0033]
The Pan unit 3a and the Tilt unit 3b rotate a stepping motor configured as a drive source of the turntable based on a drive signal from the
[0034]
The
[0035]
The
[0036]
The
[0037]
The
[0038]
The
[0039]
The
[0040]
When an image area and an image position are designated by the user via the
[0041]
Next, an imaging operation in the image
[0042]
FIG. 3 shows a case where the
[0043]
Here, the coordinates (M, N) of each unit image in the shooting range are 1, 2,... M, i in the horizontal direction from the left end, and 1, 2,. ·, J, the
[0044]
Similarly, the
[0045]
After terminating the imaging of the first column, the
[0046]
Incidentally, the image signal based on each unit image recorded in the
[0047]
FIG. 4 shows an example in which the entire image synthesized by pasting the captured i × j unit images is displayed on the entire
[0048]
Incidentally, the
[0049]
The user can use the
[0050]
Next, an example in which an image area specified by the user on the
[0051]
Before the operation of designating the image area by the user, the
[0052]
As shown in FIG. 5, the
[0053]
FIG. 6 illustrates an example in which imaging is performed with the magnification of the layer set to 1, 2, 4, and 8 times in order. FIG. 6 shows each of the layers as shown in FIG. 5 from the horizontal direction or the vertical direction.
[0054]
FIG. 7 shows a procedure for capturing a unit image for each layer having the above-described shooting magnification. First, in step S11, the
[0055]
Next, based on the control by the
[0056]
Similarly, the
[0057]
Next, of the image signals hierarchically recorded in the
[0058]
FIG. 8 shows a procedure until the enlarged image is displayed after receiving the designation operation by the user.
[0059]
First, when the image area is specified by the user in step S21, the process proceeds to step S22, and the
[0060]
Next, the process proceeds to step S23, in which the
[0061]
Next, the process proceeds to step S24, in which the
[0062]
Next, the process proceeds to step S25, and the
[0063]
By performing the above operation, the image area specified by the user can be enlarged and displayed on the enlarged
[0064]
Note that, as shown in FIG. 9, the number of pixels and the size of the whole
[0065]
By the way, by increasing the number of layers, the magnification difference between adjacent layers can be reduced, so that a more appropriate unit image can be selected for the image area specified by the user, and the enlarged image can be sharpened. The degree can be further improved.
[0066]
Further, in the present invention, the same photographing range is photographed at two or more different photographing angles of view by controlling the photographing directions to generate image signals, and the whole image or the unit image is photographed based on the generated image signals. The information is hierarchized for each angle of view and recorded in the
[0067]
For this reason, in the present invention, it is sufficient that one enlarged
[0068]
Further, according to the present invention, when a desired image area is designated by the user, it is sufficient to enlarge the already recorded unit image, so that an enlarged image can be provided quickly, and the
[0069]
It should be noted that the present invention is not limited to the case where the Layer having the closest shooting magnification is selected, and the Layer may be selected by any other method.
[0070]
The image
[0071]
First, in step S31, each user operating the user terminal 9 accesses the image
[0072]
Next, the process proceeds to step S32, in which the image
[0073]
Next, the process proceeds to step S33, and the user selects a desired whole image from the openable image list. The user terminal 9 transmits an entire image transmission request to the image
[0074]
In step S34, the image
[0075]
Next, the process proceeds to step S35, where the user designates a desired image position with respect to the entire image displayed on the
[0076]
Next, proceeding to step S36, the image
[0077]
Next, in step S37, the user terminal 9 executes an enlarging process using digital zoom on the transmitted unit image, as in step S25 described above, and displays this on the enlarged
[0078]
Next, in step S38, the image
[0079]
Next, in step S39, the user can designate a desired image position or repeatedly execute the enlargement / reduction operation as in step S37.
[0080]
By performing the above-described procedure, in the image
[0081]
Further, when transmitting a panoramic whole image in which unit images are combined, all unit images in which the whole image is combined must be transmitted. Therefore, as the angle of view becomes smaller, Layer + 2 shown in FIG. As described above, the size of a file to be transmitted is greatly increased. However, in the present invention, there is no need to attach unit images to each other, and only one selected unit image is sequentially transmitted to each user terminal 9. Is enough. For this reason, even if the user executes the enlarging operation sequentially from the layer unit image to the layer + 2, it is sufficient to select three unit images to be displayed for each layer, and the size of the file to be transmitted is greatly reduced. can do. As a result, the load on the entire network 8 can be reduced, and even when the network 8 is configured with a low-speed line such as an ISDN or a modem, transmission of unit images can be quickly performed without deteriorating image quality. Can be realized.
[0082]
Further, by connecting a plurality of user terminals 9 to the network 8, each unit image can be simultaneously transmitted to a plurality of users.
[0083]
Next, the case where the enlarged image is shifted to the image position designated by the user and displayed on the enlarged
[0084]
Before the user specifies the image position, the
[0085]
The
[0086]
The
[0087]
When the
[0088]
FIG. 15 shows a procedure up to displaying an enlarged image after receiving the designation operation by the user.
[0089]
First, in step S41, when the user designates a desired image position among the
[0090]
As shown in FIG. 16, in the enlarged
[0091]
That is, when the designated image position is within the virtual boundary, it is determined that there is no need to shift the enlarged image because the image center of the
[0092]
In step S43, the
[0093]
As described above, according to the present invention, an optimum image is selected from the unit images displayed on the enlarged
[0094]
As a result, the boundary caused by connecting the unit images is not displayed on the enlarged
[0095]
In addition, since the interval between the image centers of the
[0096]
In addition, when a desired image position is designated by the user, it is possible to cope with the situation by enlarging the already recorded unit image. Therefore, an enlarged image can be provided quickly, and each time the
[0097]
Also, in the image
[0098]
Incidentally, the above-described example is not limited to the case where the unit image having the shortest image center is selected for the specified image position, and the unit image may be selected by any other method.
[0099]
Further, in the above-described example, the case where the adjacent unit images are imaged while being shifted by a half picture frame in the horizontal and vertical directions has been described, but the present invention is not limited to such a case. As long as the photographing direction is controlled so that an overlapping area is generated between adjacent unit images, any unit image may be used, and the number of unit images adjacent to one unit image may be further increased.
[0100]
Incidentally, the image
[0101]
The
[0102]
Each user operating the user terminal 9 visually recognizes the entire
[0103]
The image
[0104]
After viewing the transmitted unit image, the user can request the image
[0105]
That is, in this application, a unit image is recorded in the
[0106]
Note that the
[0107]
Further, the
[0108]
In addition, by connecting a plurality of user terminals 9 to the network 8, a plurality of users can pseudo-simultaneously control one
[0109]
Further, by accumulating the unit images sequentially recorded at predetermined time intervals in the
[0110]
In the present invention, a plurality of the above-described enlarged
[0111]
【The invention's effect】
As described above in detail, according to the present invention, an image signal is generated by controlling the imaging direction of the same imaging range at two or more different imaging angles of view to generate an image signal, and the entire image signal is generated based on the generated image signal. The image or the unit image is hierarchized for each shooting angle of view and recorded in advance on a recording medium. Then, an optimal unit image is selected from the
[0112]
For this reason, in the present invention, it is not necessary to combine the unit images with each other to synthesize a panoramic enlarged image. Can be improved. In addition, complicated processing for generating a seamless enlarged image can be omitted, and the memory required for synthesizing the entire panoramic image can be effectively used for other purposes, resulting in cost performance. It is also possible to provide excellent applications.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an image information providing system to which the present invention is applied.
FIG. 2 is a block diagram of a camera unit and an image signal processing device.
FIG. 3 is a diagram for describing a case where a camera unit captures an image within a shooting range indicated by a black frame at a shooting angle of view u.
FIG. 4 is a diagram showing a configuration example of a display screen on a display.
FIG. 5 is a diagram illustrating an example in which imaging is executed by controlling the imaging directions at two or more different imaging angles of view in the same imaging range.
FIG. 6 is a diagram illustrating an example in which imaging is performed with the magnification of a layer set to 1, 2, 4, and 8 times in order.
FIG. 7 is a flowchart showing a procedure for capturing a unit image for each layer.
FIG. 8 is a flowchart illustrating a procedure from receiving a designation operation by a user to displaying an enlarged image.
FIG. 9 is a diagram illustrating an example in which one layer is selected from each layer recorded in a hierarchical manner.
FIG. 10 is a diagram illustrating an example of executing an enlargement process on an extracted selected area.
FIG. 11 is a flowchart illustrating a procedure for providing an enlarged image to a user of a user terminal.
FIG. 12 is a diagram for explaining the reason why the size of a file to be transmitted can be significantly reduced in the image information providing system to which the present invention is applied.
FIG. 13 is a diagram illustrating an example in which imaging is executed by controlling the imaging direction so that overlapping regions are generated.
FIG. 14 is a diagram illustrating an example of an enlarged image displayed on an enlarged image display unit when the photographing directions are controlled so that overlapping regions are generated.
FIG. 15 is a flowchart illustrating a procedure until an enlarged image is displayed when an image position is designated by a user.
FIG. 16 is a diagram for describing an example in which a unit image having the shortest image center is selected for a specified image position.
FIG. 17 is a diagram for describing a conventional image signal imaging device that can improve the synthesis accuracy of a panoramic image.
[Explanation of symbols]
1 image information providing system, 2 camera unit, 3 pan tilter section, 4 camera section, 5 image signal processing device, 6 display, 8 network, 9 user terminal, 10 terminal display, 11 network server, 21 controller bus, 22 lens section, 23 lens control unit, 24 imaging unit, 25 IEEE 1394 interface, 28 GPS receiving unit, 29 metadata generation unit, 51 buffer memory, 52 encoder, 53 server, 54 image compression unit, 55 graphic controller, 56 CPU, 58 I / O Ports, 59 Keyboard, 60 Mouse, 61 Memory Card, 62 Clock
Claims (50)
記録媒体と、
入力される上記画像信号に基づき、上記撮影範囲の一部を構成する単位画像を上記撮影画角毎に階層化して上記記録媒体へ記録するように制御する制御手段とを備えること
を特徴とする画像信号処理装置。An image signal processing apparatus for processing an image signal obtained by imaging the same imaging range by controlling the imaging direction at two or more different imaging angles of view,
A recording medium;
Control means for controlling so that unit images constituting a part of the photographing range are hierarchized for each photographing angle of view and recorded on the recording medium based on the input image signal. Image signal processing device.
上記全体画像表示手段に表示される全体画像において、ユーザが画像領域を指定するための指定手段と、
拡大画像を表示する拡大画像表示手段とをさらに備え、
上記制御手段は、上記指定手段により指定された画像領域に応じて、上記記録媒体から単位画像を選択し、当該選択した単位画像に基づき上記拡大画像を生成し、これを上記拡大画像表示手段へ出力すること
を特徴とする請求項1記載の画像信号処理装置。Whole image display means for displaying a whole image constituting the whole of the shooting range;
Specifying means for the user to specify an image area in the whole image displayed on the whole image display means;
Further comprising enlarged image display means for displaying an enlarged image,
The control unit selects a unit image from the recording medium according to the image area specified by the specifying unit, generates the enlarged image based on the selected unit image, and sends the enlarged image to the enlarged image display unit. The image signal processing device according to claim 1, wherein the image signal is output.
を特徴とする請求項2記載の画像信号処理装置。3. The image according to claim 2, wherein the control unit selects one layer from the recording medium according to the image area specified by the specifying unit, and selects a unit image from the selected layer. Signal processing device.
を特徴とする請求項2記載の画像信号処理装置。3. The image signal processing apparatus according to claim 2, wherein the control unit selects a unit image having an image size closer to the image size of the image area specified by the specifying unit.
上記制御手段は、上記指定手段により複数の指定がなされた場合には、生成した各拡大画像を、上記複数の拡大画像表示手段に対してそれぞれ出力すること
を特徴とする請求項2記載の画像信号処理装置。A plurality of the enlarged image display means are provided,
3. The image according to claim 2, wherein when the plurality of designations are made by the designation unit, the control unit outputs the generated enlarged images to the plurality of enlarged image display units. Signal processing device.
を特徴とする請求項1記載の画像信号処理装置。The control means, when an image signal obtained by sequentially changing the photographing direction so as to generate an overlapping image area and photographing the photographing range is input, overlaps unit images based on the image signal with each other. 2. The image signal processing apparatus according to claim 1, wherein control is performed such that the image is recorded on the recording medium in association with another unit image forming an image area.
拡大画像を表示する拡大画像表示手段と、
上記全体画像表示手段に表示される全体画像において、ユーザが画像領域を指定し、或いは上記拡大画像表示手段に表示される拡大画像において、ユーザが画像位置を指定するための指定手段とをさらに備え、
上記制御手段は、上記指定手段により指定された画像領域に応じて、上記記録媒体から単位画像を選択し、当該選択した単位画像に基づき上記拡大画像を生成してこれを上記拡大画像表示手段へ出力し、或いは上記指定手段により指定された画像位置に応じて、上記拡大画像へ拡大される単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像から拡大画像を生成し、これを上記拡大画像表示手段へ出力すること
を特徴とする請求項6記載の画像信号処理装置。Whole image display means for displaying the whole image,
Enlarged image display means for displaying an enlarged image;
A designating means for the user to designate an image area in the whole image displayed on the whole image display means, or a user to designate an image position in the enlarged image displayed on the enlarged image display means. ,
The control unit selects a unit image from the recording medium according to the image area specified by the specifying unit, generates the enlarged image based on the selected unit image, and sends the enlarged image to the enlarged image display unit. Outputting, or selecting, from the recording medium, another unit image that forms an overlapping image area with the unit image to be enlarged to the enlarged image in accordance with the image position designated by the designation unit. 7. The image signal processing apparatus according to claim 6, wherein an enlarged image is generated from the unit image of (i) and the enlarged image is output to the enlarged image display means.
を特徴とする請求項7記載の画像信号処理装置。8. The image signal processing apparatus according to claim 7, wherein said control means selects another unit image having a shortest image center with respect to said designated image position.
を特徴とする請求項7記載の画像信号処理装置。8. The image according to claim 7, wherein the control unit selects one layer from the recording medium according to the image area specified by the specifying unit, and selects a unit image from the selected layer. Signal processing device.
を特徴とする請求項7記載の画像信号処理装置。8. The image signal processing apparatus according to claim 7, wherein the control unit selects a unit image having an image size closer to the image size of the image area specified by the specifying unit.
上記制御手段は、上記指定手段により複数の指定がなされた場合には、生成した各拡大画像を、上記複数の拡大画像表示手段に対してそれぞれ出力すること
を特徴とする請求項7記載の画像信号処理装置。A plurality of the enlarged image display means are provided,
8. The image according to claim 7, wherein when the plurality of designations are made by the designation unit, the control unit outputs the generated enlarged images to the plurality of enlarged image display units, respectively. Signal processing device.
入力される上記画像信号に基づき、上記撮影範囲の一部を構成する単位画像を上記撮影画角毎に階層化して記録媒体へ記録すること
を特徴とする画像信号処理方法。An image signal processing method for processing an image signal obtained by imaging the same imaging range by controlling the imaging direction at two or more different imaging angles of view,
An image signal processing method, wherein unit images constituting a part of the photographing range are hierarchized for each photographing angle of view based on the input image signal and recorded on a recording medium.
を特徴とする請求項12記載の画像信号処理方法。Selecting a unit image from the recording medium in accordance with an image area specified in an entire image constituting the entire photographing range, generating an enlarged image based on the selected unit image, and displaying the enlarged image. The image signal processing method according to claim 12, wherein
を特徴とする請求項13記載の画像信号処理方法。14. The image signal processing method according to claim 13, wherein one layer is selected from the recording medium according to the specified image area, and a unit image is selected from the selected layer.
を特徴とする請求項13記載の画像信号処理方法。14. The image signal processing method according to claim 13, wherein a unit image having an image size closer to the image size of the designated image area is selected.
を特徴とする請求項13記載の画像信号処理方法。14. The image signal processing method according to claim 13, wherein when a plurality of designations are made, each of the generated enlarged images is displayed.
を特徴とする請求項12記載の画像信号処理方法。When an image signal obtained by imaging the imaging range by sequentially changing the imaging direction so as to generate an overlapping image area is input, unit images based on the image signal are formed into an overlapping image area with each other. 13. The image signal processing method according to claim 12, wherein the image signal is recorded on the recording medium in association with another unit image.
を特徴とする請求項17記載の画像信号処理方法。A unit image is selected from the recording medium according to the image area specified in the entire image, an enlarged image is generated based on the selected unit image, and the enlarged image is displayed. According to the image position, the unit image to be enlarged to the enlarged image and another unit image that forms an overlapping image area with each other are selected from the recording medium, and an enlarged image is generated based on the selected other unit image, 18. The image signal processing method according to claim 17, wherein the display is performed.
を特徴とする請求項18記載の画像信号処理方法。19. The image signal processing method according to claim 18, wherein another unit image having the shortest image center is selected for the specified image position.
を特徴とする請求項18記載の画像信号処理方法。19. The image signal processing method according to claim 18, wherein one layer is selected from the recording medium according to the specified image area, and a unit image is selected from the selected layer.
を特徴とする請求項18記載の画像信号処理方法。19. The image signal processing method according to claim 18, wherein a unit image having an image size closer to the image size of the designated image area is selected.
を特徴とする請求項18記載の画像信号処理方法。19. The image signal processing method according to claim 18, wherein when a plurality of designations are made, each of the generated enlarged images is displayed.
記録媒体と、
上記生成される画像信号に基づき、上記撮影範囲の一部を構成する単位画像を上記撮影画角毎に階層化して上記記録媒体へ記録するように制御する制御手段とを備えること
を特徴とする撮像装置。An imaging unit that generates an image signal by imaging the same imaging range by controlling the imaging direction at two or more different imaging angles of view,
A recording medium;
Control means for controlling so that unit images constituting a part of the photographing range are hierarchized for each photographing angle of view based on the generated image signal and recorded on the recording medium. Imaging device.
上記全体画像表示手段に表示される全体画像において、ユーザが画像領域を指定するための指定手段と、
拡大画像を表示する拡大画像表示手段とをさらに備え、
上記制御手段は、上記指定手段により指定された画像領域に応じて、上記記録媒体から単位画像を選択し、当該選択した単位画像に基づき上記拡大画像を生成し、これを上記拡大画像表示手段へ出力すること
を特徴とする請求項23記載の撮像装置。Whole image display means for displaying a whole image constituting the whole of the shooting range;
Specifying means for the user to specify an image area in the whole image displayed on the whole image display means;
Further comprising enlarged image display means for displaying an enlarged image,
The control unit selects a unit image from the recording medium according to the image area specified by the specifying unit, generates the enlarged image based on the selected unit image, and sends the enlarged image to the enlarged image display unit. The imaging device according to claim 23, wherein the image is output.
を特徴とする請求項24記載の撮像装置。25. The imaging apparatus according to claim 24, wherein the control unit selects one layer from the recording medium according to the image area specified by the specifying unit, and selects a unit image from the selected layer. apparatus.
を特徴とする請求項24記載の撮像装置。25. The imaging apparatus according to claim 24, wherein the control unit selects a unit image having an image size closer to the image size of the image area specified by the specifying unit.
上記制御手段は、上記指定手段により複数の指定がなされた場合には、生成した各拡大画像を、上記複数の拡大画像表示手段に対してそれぞれ出力すること
を特徴とする請求項24記載の撮像装置。A plurality of the enlarged image display means are provided,
25. The imaging method according to claim 24, wherein when a plurality of designations are made by the designation unit, the control unit outputs the generated enlarged images to the plurality of enlarged image display units, respectively. apparatus.
拡大画像を表示する拡大画像表示手段と、
上記全体画像表示手段に表示される全体画像において、ユーザが画像領域を指定し、或いは上記拡大画像表示手段に表示される拡大画像において、ユーザが画像位置を指定するための指定手段とをさらに備え、
上記撮像手段は、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像して画像信号をさらに生成し、
上記制御手段は、当該画像信号に基づく単位画像を、互いに重複画像領域を形成する他の単位画像と連関させて、上記記録媒体へ記録するように制御し、上記指定手段により指定された画像領域に応じて、上記記録媒体から単位画像を選択し、当該選択した単位画像に基づき上記拡大画像を生成してこれを上記拡大画像表示手段へ出力し、或いは上記指定手段により指定された画像位置に応じて、上記拡大画像へ拡大される単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像から拡大画像を生成し、これを上記拡大画像表示手段へ出力すること
を特徴とする請求項23記載の撮像装置。Whole image display means for displaying the whole image,
Enlarged image display means for displaying an enlarged image;
A designating means for the user to designate an image area in the whole image displayed on the whole image display means, or a user to designate an image position in the enlarged image displayed on the enlarged image display means. ,
The imaging means further generates an image signal by imaging the shooting range by sequentially changing the shooting direction so that overlapping image areas are generated,
The control means controls the unit image based on the image signal to be recorded on the recording medium in association with another unit image forming an overlapping image area, and controls the image area specified by the specifying means. A unit image is selected from the recording medium, the enlarged image is generated based on the selected unit image, and the enlarged image is output to the enlarged image display unit, or at an image position designated by the designation unit. Accordingly, another unit image that forms an overlapping image area with the unit image enlarged to the enlarged image is selected from the recording medium, an enlarged image is generated from the selected other unit image, and the enlarged image is generated. The imaging apparatus according to claim 23, wherein the image is output to an image display unit.
上記生成した画像信号に基づき、上記撮影範囲の一部を構成する単位画像を上記撮影画角毎に階層化して記録媒体へ記録すること
を特徴とする撮像方法。By controlling the photographing directions at two or more different photographing angles of view, the same photographing range is photographed to generate an image signal,
An image pickup method, wherein unit images constituting a part of the photographing range are hierarchized for each photographing angle of view based on the generated image signal and recorded on a recording medium.
を特徴とする請求項29記載の撮像方法。A unit image is selected from the recording medium according to an image area specified in an entire image constituting the entire photographing range, and the enlarged image is generated based on the selected unit image and displayed. The imaging method according to claim 29, wherein:
を特徴とする請求項30記載の撮像方法。31. The imaging method according to claim 30, wherein one layer is selected from the recording medium according to the specified image area, and a unit image is selected from the selected layer.
を特徴とする請求項30記載の撮像方法。31. The imaging method according to claim 30, wherein a unit image having an image size closer to the image size of the designated image area is selected.
を特徴とする請求項30記載の撮像方法。31. The imaging method according to claim 30, wherein when a plurality of designations are made, each of the generated enlarged images is displayed.
全体画像において指定された画像領域に応じて上記記録媒体から単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを表示し、或いは、表示される拡大画像において指定された画像位置に応じて、上記拡大画像へ拡大される単位画像と互いに重複画像領域を形成する他の単位画像を上記記録媒体から選択し、当該選択した他の単位画像に基づき拡大画像を生成い、これを表示すること
を特徴とする請求項29記載の撮像方法。An image signal is generated by sequentially changing the shooting direction so as to generate an overlapped image area to capture an imaging range, and a unit image based on the image signal is associated with another unit image that forms an overlapped image area with each other. And recorded on the recording medium,
A unit image is selected from the recording medium according to the image area specified in the entire image, an enlarged image is generated based on the selected unit image, and the enlarged image is displayed. According to the image position, the unit image to be enlarged to the enlarged image and another unit image that forms an overlapping image area with each other are selected from the recording medium, and an enlarged image is generated based on the selected other unit image, 30. The imaging method according to claim 29, wherein this is displayed.
サーバと、
上記撮像装置により生成される画像信号に基づき、上記撮影範囲の一部を構成する単位画像を上記サーバへ記録するように制御するサーバ制御機器と、
上記サーバから通信網を介して取得した上記単位画像を表示する画像表示手段と、ユーザが上記撮像装置における撮影方向及び/又は撮影画角を指定するための指定手段とを有し、上記指定手段により指定された撮影方向及び/又は撮影画角を上記通信網を介して送信する端末装置とを備え、
上記サーバ制御機器は、上記端末装置から送信される上記撮影方向及び/又は上記撮影画角に応じて、上記サーバから単位画像を選択し、これを上記端末装置における画像表示手段へ送信すること
を特徴とする画像情報提供システム。An imaging device that generates an image signal by imaging by controlling a shooting direction according to a shooting angle of view for a shooting range;
Server and
Based on an image signal generated by the imaging device, a server control device that controls a unit image forming a part of the imaging range to be recorded in the server,
Image display means for displaying the unit image obtained from the server via a communication network, and designating means for a user to designate a photographing direction and / or a photographing angle of view in the image pickup apparatus, And a terminal device for transmitting the imaging direction and / or the imaging angle of view specified by the communication device via the communication network,
The server control device selects a unit image from the server according to the photographing direction and / or the photographing angle of view transmitted from the terminal device, and transmits the unit image to an image display unit in the terminal device. Characteristic image information providing system.
上記サーバ制御機器は、上記画像信号に基づく単位画像を上記撮影画角毎に階層化して、上記サーバへ記録するように制御すること
を特徴とする請求項35記載の画像情報提供システム。The image capturing apparatus generates an image signal by capturing the same capturing range by controlling the capturing direction at two or more different capturing angles of view,
36. The image information providing system according to claim 35, wherein the server control device controls so that unit images based on the image signal are hierarchized for each of the photographing angles of view and recorded in the server.
上記サーバ制御機器は、生成された画像信号に基づく単位画像を、互いに重複画像領域を形成する他の画像と連関させて上記サーバへ記録するように制御すること
を特徴とする請求項36記載の画像情報提供システム。The imaging device generates an image signal by sequentially changing a shooting direction within the shooting range so as to generate an overlapped image region,
37. The server control device according to claim 36, wherein the server control device controls the unit image based on the generated image signal to be recorded in the server in association with another image forming an overlapping image region. Image information providing system.
上記サーバは、上記撮像装置により順次生成される画像信号に基づく単位画像を、記録すること
を特徴とする請求項37記載の画像情報提供システム。The imaging device generates an image signal by imaging at a predetermined time interval,
The system according to claim 37, wherein the server records a unit image based on an image signal sequentially generated by the imaging device.
を特徴とする請求項35記載の画像情報提供システム。The image information providing system according to claim 35, wherein a plurality of the terminal devices are provided.
入力される上記画像信号に基づき、上記撮影範囲の一部を構成する単位画像を上記撮影画角毎に階層化して記録媒体へ記録することをコンピュータに実行させるためのプログラム。In a program for processing an image signal obtained by imaging the same imaging range by controlling the imaging direction at two or more different imaging angles of view,
A program for causing a computer to execute, based on the input image signal, layering unit images constituting a part of the photographing range for each photographing angle of view and recording on a recording medium.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002361303A JP2004194112A (en) | 2002-12-12 | 2002-12-12 | Image signal processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002361303A JP2004194112A (en) | 2002-12-12 | 2002-12-12 | Image signal processing apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004194112A true JP2004194112A (en) | 2004-07-08 |
Family
ID=32760107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002361303A Withdrawn JP2004194112A (en) | 2002-12-12 | 2002-12-12 | Image signal processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004194112A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018067837A (en) * | 2016-10-20 | 2018-04-26 | 株式会社日立国際電気 | Image monitoring system |
CN114222061A (en) * | 2021-12-10 | 2022-03-22 | 中国人民解放军96901部队25分队 | Photoelectric circumferential scanning real-time image splicing and interaction method |
-
2002
- 2002-12-12 JP JP2002361303A patent/JP2004194112A/en not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018067837A (en) * | 2016-10-20 | 2018-04-26 | 株式会社日立国際電気 | Image monitoring system |
CN114222061A (en) * | 2021-12-10 | 2022-03-22 | 中国人民解放军96901部队25分队 | Photoelectric circumferential scanning real-time image splicing and interaction method |
CN114222061B (en) * | 2021-12-10 | 2024-03-22 | 中国人民解放军96901部队25分队 | Photoelectric circumferential scanning real-time image splicing and interaction method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7459685B2 (en) | Imaging device and method, computer program product on computer-readable medium, and imaging system | |
JP3695119B2 (en) | Image synthesizing apparatus and recording medium storing program for realizing image synthesizing method | |
US7561187B2 (en) | Image distributing apparatus | |
JP3849645B2 (en) | Monitoring device | |
JP2006013923A (en) | Surveillance apparatus | |
JP4736381B2 (en) | Imaging apparatus and method, monitoring system, program, and recording medium | |
JP4583717B2 (en) | Imaging apparatus and method, image information providing system, program, and control apparatus | |
JP2006238326A (en) | Camera device system and photographed moving image reproduction method | |
JP4001233B2 (en) | Panorama shooting method and image processing apparatus and image pickup apparatus capable of using the method | |
JP3994469B2 (en) | Imaging device, display device, and recording device | |
JP3893416B2 (en) | Electronic still camera and image data recording / reproducing method thereof | |
JP3841033B2 (en) | Monitoring system and method, program, and recording medium | |
JP2004228711A (en) | Supervisory apparatus and method, program, and supervisory system | |
JP2001230955A (en) | Device and system for picking up image | |
JP3948050B2 (en) | Imaging, storage, processing, display, playback, transmission device and recording medium | |
EP1496684A2 (en) | Imaging apparatus, imaging method, imaging system, program | |
JP4211377B2 (en) | Image signal processing device | |
JP2004194112A (en) | Image signal processing apparatus | |
JP2004194114A (en) | System for providing image information | |
JP4127080B2 (en) | Imaging apparatus and method | |
JPH10304227A (en) | Electronic still camera | |
JP2004241834A (en) | Moving picture generating apparatus and method, moving picture transmission system, program, and recording medium | |
JP2006115091A (en) | Imaging device | |
JP3991816B2 (en) | Monitoring system and method, program, and recording medium | |
JPH11122521A (en) | Digital image pickup device and image pickup method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060307 |