JP2004266668A - Image pickup device and method - Google Patents

Image pickup device and method Download PDF

Info

Publication number
JP2004266668A
JP2004266668A JP2003056242A JP2003056242A JP2004266668A JP 2004266668 A JP2004266668 A JP 2004266668A JP 2003056242 A JP2003056242 A JP 2003056242A JP 2003056242 A JP2003056242 A JP 2003056242A JP 2004266668 A JP2004266668 A JP 2004266668A
Authority
JP
Japan
Prior art keywords
image
unit
images
imaging
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003056242A
Other languages
Japanese (ja)
Other versions
JP4127080B2 (en
Inventor
Masaharu Suzuki
雅晴 鈴木
Nobutoshi Koyama
伸俊 小山
Shinichi Morimoto
真一 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003056242A priority Critical patent/JP4127080B2/en
Publication of JP2004266668A publication Critical patent/JP2004266668A/en
Application granted granted Critical
Publication of JP4127080B2 publication Critical patent/JP4127080B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To drastically shorten a photographing period of time especially in an image pickup device and method by which a plurality of users perform enlargement and reduction for a desired image area while maintaining fine image quality. <P>SOLUTION: By picking up the image of a photographing range while successively changing a photographing direction at two or more different photographing viewing angles, the entire image composed of a plurality of unit images is generated at a prescribed time interval, and they are hierarchized for each photographing viewing angle and recorded in a recording medium. Also, the luminance components of the two entire images generated at the points of time different from each other and recorded in the recording medium are compared, and on the basis of that, the unit image to be picked up is selected from the unit images of the small photographing viewing angle and the unit image including the image area specified by the user is selected as the unit image to be picked up. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影方向を順次変化させて撮像することにより得られたパノラマ画像を介して広範囲の状況を監視する撮像装置及び方法に関する。
【０００２】
【従来の技術】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子によりの画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。
【０００３】
このため、カメラの撮影方向を順にシフトさせながら被写体を撮像することにより、複数の単位画像から構成されるパノラマ画像を得ることにより、広範囲の状況を監視することができる監視カメラが普及している。特に、近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照。）、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録し、監視を行うことを可能とする集中監視記録システムも提案されている（例えば、特許文献２参照。）。
【０００４】
【特許文献１】
特開平１０−１０８１６３号公報
【特許文献２】
特開２０００−２４３０６２号公報
【０００５】
【発明が解決しようとする課題】
撮像したパノラマ画像について、単独のユーザのみならず複数のユーザがネットワークを介して同時に視認できるシステムが昨今において望まれている。特に百貨店等の商品売り場や立ち入り禁止区域等のような広範囲の状況については、複数のユーザが同時に管理する必要があり、特に事件発生後において、既に蓄積してあるパノラマ画像につき各人が事後的な確認を望む場合もある。
【０００６】
しかしながら、上述したモニタリングシステムや撮像装置は、あくまでユーザが単独で被写体を撮像してパノラマ画像を生成する際に好適なものであるため、複数のユーザによる被写体の同時撮影や、撮影内容の事後的な確認が困難であった。
【０００７】
また、上述したモニタリングシステムや撮像装置では、蓄積したパノラマ画像をデジタルズームにより拡大処理、単位画像を連結する処理や、ズーム値にあわせて画素を間引く処理等が必要となり、精細な画質を維持できず、特に単位画像の連結部を拡大する場合に境界が画面上に表示されてしまい、画質を悪化させる要因にもなっていた。
【０００８】
さらに、撮影画角をあまりに小さく設定すると、小サイズの単位画像を多数貼り合わせて一枚の全体画像を構成する必要が生じ、撮影枚数が増加し、ひいては撮影時間が長期化してしまうという問題点もあった。
【０００９】
そこで本発明は上述した問題点に鑑みて案出されたものであり、精細な画質を維持しつつ、複数のユーザが所望の画像領域につき拡大、縮小することができる撮像装置及び方法において、特に撮影時間の大幅な短縮化を図ることを目的とする。
【００１０】
【課題を解決するための手段】
本発明者は、上述した問題点を解決するために、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体へ記録し、また記録媒体に記録されている互いに異なる時点で生成された二つの全体画像の輝度成分を比較し、これに基づいて撮影画角の小さい単位画像から、撮像する単位画像を選択し、また撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を選択する撮像装置及び方法を発明した。
【００１１】
すなわち、本発明を適用した撮像装置は、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成する撮像手段と、撮像された単位画像を上記撮影画角毎に階層化して記録媒体へ記録する記録手段と、上記記録媒体に記録されている、互いに異なる時点で生成された２つの全体画像の輝度成分を比較する比較手段とを備え、上記撮像手段は、上記比較手段により比較された輝度成分に応じて、撮影画角のより小さい単位画像から、撮像する単位画像を選択する。
【００１２】
また、本発明を適用した撮像装置は、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成する撮像手段と、撮像された単位画像を上記撮影画角毎に階層化して記録媒体へ記録する記録手段と、上記全体画像を表示する全体画像表示手段と、上記全体画像表示手段に表示される全体画像において、ユーザが画像領域を指定するための指定手段とを備え、上記撮像手段は、撮影画角のより小さい単位画像から、撮像する単位画像として、上記指定手段により指定された画像領域を含む単位画像を選択する。
【００１３】
すなわち、本発明を適用した撮像方法は、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成し、撮像した単位画像を上記撮影画角毎に階層化して記録媒体へ記録し、上記記録媒体に記録されている互いに異なる時点で生成された２つの全体画像の輝度成分を比較し、比較した輝度成分に応じて、撮影画角のより小さい単位画像から、撮像する単位画像を選択する。
【００１４】
また、本発明を適用した撮像方法は、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成し、撮像した単位画像を上記撮影画角毎に階層化して記録媒体へ記録し、上記全体画像を表示し、上記撮像手段は、撮影画角のより小さい単位画像から、撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を選択する。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明を適用した撮像システム１は、例えば図１に示すように、被写体を撮像して画像信号を生成するカメラユニット２と、音声信号を受信するマイク１２と、カメラユニット２より伝送された画像信号に所定の処理を施す画像入出力部１３と、マイク１２より伝送された音声信号に所定の処理を施す音声入出力部１４と、少なくとも画像入出力部１３及び音声入出力部１４に接続され、上記画像信号を処理するための演算処理部１５と、演算処理部１５に接続され、上記画像信号を記録するサーバ５３と、ユーザが本システム１を制御するための操作部１６と、演算処理部１５に接続され、各種情報を表示するためのディスプレイ６と、他のユーザがアプリケーションを実行するための端末装置９と、端末装置９に接続される端末ディスプレイ１０と、端末装置９に対して各種情報を送受信するためのネットワーク８とを備えている。
【００１６】
カメラユニット２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。
【００１７】
カメラ部４は、パンチルタ部３を構成する回転台上に配設され、演算処理部１５等による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、演算処理部１５等による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。
【００１８】
画像入出力部１３、音声入出力部１４、演算処理部１５、サーバ５３並びに操作部１６は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器１００により一体化して構成してもよい。この電子機器１００によれば、カメラユニット２から伝送される画像信号を記録し、また記録した画像信号につきディスプレイ６を介してユーザに表示する。またこの電子機器１００は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれをディスプレイ６に表示するように制御する。この電子機器１００は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他の端末装置９からの要求に応じて、画像や音声を送信する。
【００１９】
ネットワーク８は、例えば電子機器１００と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）／Ｂ（ｂｒｏａｄｂａｎｄ）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの撮像システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）で構成してもよい。さらにこのネットワーク８は、静止画像に加えて動画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）データを始めとする動画像がある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。なお、このネットワーク８には、さらに図示しないネットワークサーバを接続してもよい。この図示しないネットワークサーバは、例えばインターネット情報を管理し、端末装置９による要求を受けて、自身に格納してある所定の情報を送信する。
【００２０】
端末装置９は、各家庭や企業等に待機するユーザがネットワーク８を介して電子機器１００から画像を取得し、所望の処理を実行するためのＰＣである。複数の端末装置９をネットワーク８に接続することにより、複数のユーザに対してこの撮像システム１のアプリケーションを同時に提供することが可能となる。この端末装置９は、電子機器１００から取得した画像を、端末ディスプレイ１０に対して表示する。またこの端末装置９は、ユーザによる指定操作に応じて要求信号を生成し、これを電子機器１００に対して送信する。なお端末装置９のブロック構成については、後述する電子機器１００の構成を引用し、説明を省略する。
【００２１】
次に、本発明を適用した撮像システム１におけるカメラユニット２，電子機器１００の構成について詳細に説明する。
【００２２】
図２は、カメラユニット２，電子機器１００の構成図である。この図２では、共通のコントローラバス２１に対して、カメラユニット２並びに電子機器１００の各構成要素が接続されている。
【００２３】
カメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するＴｉｌｔ部３ａ、Ｐａｎ部３ｂとを有する。また、カメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４と、撮像部２４により生成された画像信号を画像入出力部１３へ送信するためのＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）１３９４インターフェース２５と、カメラユニット２の現在位置を検出するためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２８と、ＧＰＳ受信部２８に装着されるメタデータ生成部２９とを備えている。ちなみに、ＩＥＥＥ１３９４インターフェース２５は、イーサネット（登録商標）に代替してもよい。
【００２４】
また画像入出力部１３は、ＩＥＥＥ１３９４インターフェース２５に接続されるバッファメモリ５１と、バッファメモリ５１に接続されるエンコーダ５２とを備えている。
【００２５】
また演算処理部１５は、サーバ５３から読み出された画像を圧縮するための画像圧縮部５４と、サーバ５３及び画像圧縮部５４に接続され、ディスプレイ６上に表示する画像を作り出すグラフィックコントローラ５５と、コントローラバス２１を介して各部を制御するためのＣＰＵ５６と、Ｉ／Ｏポート５８にそれぞれ接続されるメモリカード６１並びに時計６２とを備えている。
【００２６】
また操作部１６は、ディスプレイ６上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード５９並びにマウス６０を備えている。
【００２７】
Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂは、ＣＰＵ５６からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部４の撮影方向を水平方向、或いは垂直方向に変更することができる。
【００２８】
レンズ制御部２３は、ＣＰＵ５６からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することも可能となる。
【００２９】
撮像部２４は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをＩＥＥＥ１３９４インターフェース２５へ送信する。
【００３０】
ＧＰＳ受信部２８は、ＧＰＳシステムにより送出される信号に基づき、カメラユニット２の設置場所や撮影方向を検出する。このＧＰＳ受信部２８を設けることにより、特に複数のカメラユニット２を設置する場合において、双方の撮影方向を連動して制御することが可能となる。ＧＰＳ受信部２８からの出力信号は、メタデータ生成部２９に供給され、ＧＰＳによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部２９は、この生成した位置情報やメタデータをエンコーダ５２へ供給する。なお本発明では、このＧＰＳ受信部２８、メタデータ生成部２９の構成を省略してもよい。
【００３１】
バッファメモリ５１は、ＣＰＵ５６からの制御信号に基づき、ＩＥＥＥ１３９４インターフェース２５から供給される画像信号を一時的に格納する。このバッファメモリ５１において一時的に格納された画像信号は、エンコーダ５２に供給され、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ５２は、圧縮符号化する画像信号に対して、メタデータ生成部２９から供給される位置情報やメタデータを付加してもよい。エンコーダ５２は、圧縮符号化した画像信号をサーバ５３或いは画像圧縮部５４へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５２における処理は省略される。
【００３２】
サーバ５３は、エンコーダ５２から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ５３は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ５３に記録された画像信号は、ＣＰＵ５６による制御に基づき、画像圧縮部５４やグラフィックコントローラ５５へ読み出される。なおサーバ５３に記録される画像信号をメモリカード６１へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のＰＣへ移し換えることも可能となる。また、このサーバ５３に記録されている画像信号を上述した図示しないネットワークサーバに記録するように制御することにより、サーバ５３を図示しないネットワークサーバに代替することも可能となる。
【００３３】
画像圧縮部５４は、サーバ５３から読み出したＪＰＥＧ形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。また、この画像圧縮部５４は、ＣＰＵ５６による制御に従い、サーバ５３に記録されている画像を読み出して、動画像を生成する。ちなみにこの動画像を生成する際の圧縮方法としては、例えばＭＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００等に基づき実行してもよい。
【００３４】
グラフィックコントローラ５５は、サーバ５３から読み出した画像信号、又は画像圧縮部５４から出力される画像信号に基づき、ディスプレイ６への絵画処理を実行する。また、このグラフィックコントローラ５５は、ＣＰＵ５６による制御に基づき、ディスプレイ６におけるコントラスト、輝度の制御を実行する。
【００３５】
ＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、電子機器１００内の各部を制御するための制御信号を、コントローラバス２１を介して送信する。また、このＣＰＵ５６は、端末装置９から所定の要求信号を受けて、サーバ５３に記録されている最適な静止画像、動画像、或いは各種情報を選択し、これを当該端末装置９へ送信するように制御する。
【００３６】
音声入出力部１２は、マイク１２から入力された音声信号を符号化する。この音声入出力部１２により符号化された音声信号についても、上述の如く画像信号と同様にサーバ５３へ供給され、記録されることになる。
【００３７】
次に本発明を適用した撮像システム１における撮像動作について説明をする。
【００３８】
図３は、カメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。
【００３９】
ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊとしたとき、ＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ５１に一時的に格納され、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化される。そしてこの画像信号は、ＧＰＳ２８から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ５３に記録される。
【００４０】
同様にＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様にサーバ５３へ記録される。ＣＰＵ５６による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。
【００４１】
カメラ部４は、１列目の撮像を終了させた後、ＣＰＵ５６による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、サーバ５３は、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。
【００４２】
ちなみに、このサーバ５３に記録されている各単位画像に基づく画像信号は、画像圧縮部５４により順次読み出されて、ディスプレイ６の表示画面のサイズに適合するように縮小される。この縮小された各単位画像は、グラフィックコントローラ１５を経てディスプレイ６に表示される。サーバ５３に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚の全体画像が合成されることになる。上述の撮像動作を一定の間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となる。
【００４３】
図４は、撮像したｉ×ｊ個の単位画像を貼り合わせることにより合成した全体画像を、ディスプレイ６の全体画像表示部７０に表示する例を示している。なお、この電子機器１００は、全体画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また電子機器１００は、パノラマ状の全体画像（パノラマ画像）の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、この全体画像表示部７０に表示させてもよい。
【００４４】
ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。この拡大画像表示部７１は、全体画像表示部７０に表示される全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大して表示してもよいし、またかかる一の単位画像の撮影方向につき、動画を順次表示してもよい。これによりユーザは、指定した単位画像における撮影方向の状況につき、リアルタイムに確認することもできる。さらにこの拡大画像表示部７１には、後述する方法により生成した動画を表示してもよい。
【００４５】
また表示画面４５には、拡大画像表示部７１に表示されている単位画像につき、撮影倍率を縮小して表示させるためのＷＩＤＥボタン７２、撮影倍率を拡大して表示させるためのＺＯＯＭボタン７３が表示される。また、この表示画面４５には、カメラ部４の撮影方向を水平、垂直方向において調整するための撮影方向制御部７５、各種モードの設定やサーバに対して所望のアドレスに単位画像に基づく画像信号を記録させるための設定ボタン７６等も表示される。
【００４６】
また、ユーザは、全体画像表示部７０や拡大画像表示部７１に対して、キーボード５９やマウス６０を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部７０，７１には、マウス６０等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。
【００４７】
次に、本発明を適用した撮像装置において、異なる２以上の撮影画角で画像を撮像する場合につき説明をする。
【００４８】
カメラユニット２は、図５に示すように、黒枠で示される同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する。撮像により得られる単位画像を撮影画角毎に合成することにより、全体画像と同一内容の単位画像の集合を図５に示すように幾層にも亘って作成することができる。以下、各撮影画角に応じた単位画像の集合をＬａｙｅｒという。Ｌａｙｅｒの番号は、撮影画角の大きい順からｎ、ｎ＋１、ｎ＋２、・・、と増加するものとする。すなわち撮影画角の大きいＬａｙｅｒｎでは、撮影画角の小さいＬａｙｅｒｎ＋１と比較して、少ない単位画像数で全体画像を合成することができる。ちなみに、単位画像のサイズ、画素数は各Ｌａｙｅｒ間において同等である。
【００４９】
図６は、Ｌａｙｅｒの倍率を順に１、２、４、８倍に設定して撮像する例を示している。図６は、図５で示すような各Ｌａｙｅｒを水平方向又は垂直方向から表示したものであり、倍率１倍のＬａｙｅｒ１は、１枚の単位画像で構成され、倍率２倍のＬａｙｅｒ２は、２×２枚の単位画像で構成され、また倍率４倍のＬａｙｅｒ３は、４×４枚の単位画像で構成され、倍率８倍のＬａｙｅｒ４は８×８枚の単位画像で構成される。
【００５０】
図７は、上述の撮影倍率からなる各Ｌａｙｅｒにつき、単位画像を撮像する手順を示している。先ずステップＳ１１において、ＣＰＵ５６は、レンズ制御部２３に対して駆動信号を送信することにより、カメラ部４の撮影画角を倍率１倍に相当するｕ１に調整し、撮影方向を撮影範囲の中心位置に合わせる。次にステップＳ１２へ移行し、カメラ部４は、かかる撮影画角ｕ１で、撮影範囲全体を表示することができる１枚の全体画像を撮像する。この撮像された全体画像に基づく画像信号は、Ｌａｙｅｒ１として順次サーバ５３へ記録されることになる。
【００５１】
次にカメラ部４は、ＣＰＵ５６による制御に基づき、撮影画角を倍率２倍に相当するｕ２に調整する（ステップＳ１３）。またカメラ部４は、ステップＳ１４において、ＣＰＵ５６による制御に基づき、撮影方向を、撮影範囲左上に位置する座標（１，１）に合わせて撮像を実行する。カメラ部４は、撮影方向を順次１画枠分毎にシフトさせて、Ｌａｙｅｒ２を構成する全ての単位画像につき撮像を実行する。撮像された単位画像に基づく画像信号は、Ｌａｙｅｒ２として順次サーバ５３へ記録される。
【００５２】
同様にカメラ部４は、撮影画角を倍率４倍に相当するｕ３、また倍率８倍に相当するｕ４に調整して、撮影方向を順次シフトさせて撮像を実行する。得られた単位画像に基づく画像信号は、Ｌａｙｅｒ３、Ｌａｙｅｒ４として順次サーバ５３に記録され、最終的には、各Ｌａｙｅｒを構成する画像が全てサーバ５３に記録されている状態となる。
【００５３】
次に、このサーバ５３内に階層化して記録されている各画像信号のうち、Ｌａｙｅｒ１を構成する全体画像に基づく画像信号が最初に読み出され、グラフィックコントローラ５５を経てディスプレイ６等上の全体画像表示部７０に表示される。ユーザは、この全体画像表示部７０に表示されている全体画像において、所望の画像領域につき拡大表示を望む場合には、上述の如くマウス６０等を用いて当該画像領域を指定することができる。
【００５４】
図８は、かかるユーザによる指定操作を受けて拡大画像を表示するまでの手順を示している。
【００５５】
先ずステップＳ２１においてユーザによる画像領域の指定を受けた場合には、ステップＳ２２へ移行し、ＣＰＵ５６は、例えば図９に示すように、ユーザにより指定された画像領域３０のサイズｑと、Ｌａｙｅｒ１における全体画像の画サイズｙとの比を求める。
【００５６】
次にステップＳ２３へ移行し、ＣＰＵ５６は、サーバ５３に階層化して記録されている各Ｌａｙｅｒから一のＬａｙｅｒを選択する。このステップＳ２３におけるＬａｙｅｒの選択は、ステップＳ２２において演算したサイズ比から倍率ｋを計算し、かかる倍率ｋに最も近い撮影倍率のＬａｙｅｒを選択する。例えば、ｑとｙとの比が、１：２．３である場合、倍率ｋは２．３となり、かかる倍率ｋに最も近い撮影倍率で撮像されたＬａｙｅｒは、Ｌａｙｅｒ２であるため、これを選択することになる。すなわち、このステップＳ２３において、ＣＰＵ５６は、指定された画像領域３０のサイズに応じて最も適切なＬａｙｅｒを選択する。
【００５７】
次にステップＳ２４へ移行し、ＣＰＵ５６は、ユーザにより指定された画像領域に応じて、Ｌａｙｅｒ２を構成する単位画像から最適なものを選択する。Ｌａｙｅｒ２を構成する単位画像の座標は、図９に示すように（１，１）、（２，１）、（１，２）、（２，２）の４つである。このうち、Ｌａｙｅｒ１において指定された画像領域３０に示される画像は、このＬａｙｅｒ２における画像領域３１に示される画像に相当する。このため、ＣＰＵ５６は、Ｌａｙｅｒ２を構成する単位画像のうち、画像領域３１が存在する座標（１，２）に位置する単位画像を選択し、これをサーバ５３から読み出す。なお、ＣＰＵ５６は、ステップＳ２３を省略して、ステップＳ２２において求めたサイズ比から、最適な単位画像を直接選択してもよい。
【００５８】
次にステップＳ２５へ移行し、ＣＰＵ５６は、選択した座標（１，２）の単位画像につき、図１０に示すように画像領域３１を含む選択領域４２を抽出する。またＣＰＵ５６は、この抽出した選択領域４２につき、拡大画像表示部７１のサイズに合うように例えばデジタルズームを利用して拡大処理を実行する。
【００５９】
以上の操作を実行することにより、ユーザから指定された画像領域を拡大画像表示部７１に拡大表示させることができる。
【００６０】
なお、図９に示すようにＬａｙｅｒ１を構成する全体画像と、倍率が２倍であるＬａｙｅｒ２を構成する単位画像の画素数、サイズは同等であり、同じ画像領域を示している画像領域３０と画像領域３１では、画像領域３１の方が多くの画素により構成されている。このため、指定された画像領域３０のサイズに応じて、最適なＬａｙｅｒを選択し、かかるＬａｙｅｒにある一の単位画像から選択領域４２を抽出することにより、高画質な拡大画像を生成することができる。上述した例においても、Ｌａｙｅｒ２に基づいて拡大処理を実行することにより、Ｌａｙｅｒ１に基づいて拡大処理を実行する場合と比較して、ディジタルズームに依存せずにより高画質の拡大画像が生成されることになる。
【００６１】
ちなみに、Ｌａｙｅｒ数を増やすことにより、隣接するＬａｙｅｒの倍率差を小さくすることができるため、ユーザにより指定される画像領域に対して、より適切な単位画像を選択することができ、拡大画像の鮮明度をさらに向上させることができる。
【００６２】
また本発明では、同一の撮影範囲を異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像して画像信号を生成し、生成した画像信号に基づき、全体画像或いは単位画像を、撮影画角毎に階層化してサーバ５３へ予め記録しておく。そして全体画像において指定された画像領域に応じてサーバ５３から最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを表示する。
【００６３】
このため、本発明では、全体画像表示部７０において、Ｌａｙｅｒ１を構成する１枚の拡大画像を表示すれば足り、また拡大画像表示部７１に表示される拡大画像は、あくまで一枚の単位画像を拡大、縮小して生成されるため、単位画像を互いに貼り合わせてパノラマ状の拡大画像を合成する必要はなくなる。従って、単位画像同士を連結することにより生ずる境界が拡大画像表示部７１において表示されることなく、拡大画像の鮮明度をさらに向上させることができる。またシームレスな拡大画像を生成するための煩雑な処理を省略することも可能となり、さらに、パノラマ画像全体を合成するために必要となるメモリを他の用途に有効活用することができるため、コストパフォーマンスに優れたアプリケーションを提供することも可能となる。
【００６４】
また、本発明では、ユーザから所望の画像領域が指定された場合に、既に記録してある単位画像を拡大すれば足りるため拡大画像を迅速に提供することができ、その都度カメラ部４を制御して画像を撮像する必要がなくなり、労力の軽減を図ることもできる。
【００６５】
なお、本発明では、最も近い撮影倍率のＬａｙｅｒを選択する場合に限定されるものではなく、他のいかなる方法でＬａｙｅｒを選択してもよい。
【００６６】
本発明に係る撮像システム１では、端末装置９のユーザに対して拡大画像を提供することができる。即ち、本発明を適用した撮像システム１では、電子機器１００を操作するユーザに加えて、ネットワーク８に接続されている端末装置９を操作するユーザに対しても、適切な単位画像を選択し、これを送信することができる。また、ネットワーク８に対して複数の端末装置９を接続することにより、複数のユーザに対して同時に各単位画像を送信することも可能となる。
【００６７】
次に、この表示画面４５における拡大画像表示部７１において、ユーザにより指定された画像位置へ拡大画像をシフトさせて表示する場合につき説明をする。
【００６８】
ユーザによる画像位置の指定前に、カメラユニット２並びに電子機器１００は、以下に説明する処理を実行する。
【００６９】
カメラユニット２は、互いに重複領域が生じるように撮影方向を制御することにより撮像を実行する。図１１に示すように、一画枠毎に撮像する単位画像１０１に加えて、水平方向に半画枠分シフトさせた単位画像１０２、垂直方向に半画枠分シフトさせた単位画像１０３、水平−垂直方向にそれぞれ半画枠分シフトさせた単位画像１０４をさらに撮像する。すなわち、カメラユニット２は、互いに撮影方向の異なる４種類の単位画像１０１，１０２，１０３，１０４を順次撮像する。
【００７０】
サーバ５３は、各単位画像１０１，１０２，１０３，１０４につき、隣接する他の単位画像と互いに連関させてこれを記録する。全体画像表示部７０には、サーバ５３に記録されている単位画像１０１等を合成した全体画像、又は撮影画角ｕ１により撮影した全体画像が表示される。拡大画像表示部７１には、このサーバ５３に記録されている一の単位画像が拡大されて表示される。
【００７１】
この拡大画像表示部７１に単位画像１０４が表示されている場合において、拡大画像表示部７１に表示されている画像は、図１２に示すように、隣接する他の単位画像１０１、１０２、１０３と一部重複した内容となる。ユーザは、この拡大画像表示部７１に表示されている単位画像１０４に基づく拡大画像につき、マウス６０等を用いて所望の画像位置を指定することができる。
【００７２】
図１３は、かかるユーザによる指定操作を受けて拡大画像を表示するまでの手順を示している。
【００７３】
先ずステップＳ４１において、ユーザから拡大画像表示部７１に示される単位画像１０４のうち所望の画像位置が指定された場合にはステップＳ４２へ移行し、ＣＰＵ５６は、拡大画像をシフトさせて表示する必要性につき判断する。このときＣＰＵ５６は、指定された画像位置に対して、最短の画像中心を有する単位画像が、現在拡大画像表示部７１に表示されている単位画像１０４であるか否かにつき先ず判断する。
【００７４】
図１４に示すように、水平方向の長さがｓであり、垂直方向の長さがｔである拡大画像表示部７１において、指定された画像位置に対して、単位画像１０４の画像中心が最短となる領域は、斜線で示される水平方向の長さがｓ／２であり、垂直の長さｔ／２である領域である。この領域の境界を以下、仮想境界という。
【００７５】
すなわち、指定された画像位置が仮想境界内である場合には、単位画像１０４の画像中心が最短となるため、拡大画像をシフトする必要はないものと判別する。一方、指定された画像位置が仮想境界の外側である場合には、隣接する他の単位画像の画像中心が最短となることを示唆しており、さらにステップＳ４３へ移行する。
【００７６】
ステップＳ４３において、ＣＰＵ５６は、指定された画像位置につき、最短の画像中心を有する単位画像を選択する。このとき図１４に示すように、指定された画像位置が領域Ａ、Ｃ、Ｆ、Ｈに含まれる場合には、それぞれ左上、右上、左下、右下に隣接する単位画像１０１の画像中心が最短となるため、これを選択する。また指定された画像位置が領域Ｂ、Ｇに含まれる場合には、それぞれ上、下に隣接する単位画像１０２の画像中心が最短となるため、これを選択する。さらに指定された画像位置が、領域Ｄ、Ｅに含まれる場合には、それぞれ左、右に隣接する単位画像１０３の画像中心が最短となるため、これを選択する。ＣＰＵ５６により選択された単位画像は、サーバ５３から読み出されて拡大画像として拡大画像表示部７１へ表示されることになる。ちなみに、これらの隣接する各単位画像１０１，１０２，１０３は、上述の如く、単位画像１０４に互いに連関されてサーバ５３に記録されているため、ＣＰＵ５６は、かかる隣接する各単位画像１０１，１０２，１０３を容易に参照し、また読み出すことができる。
【００７７】
このように本発明では、指定された画像位置に応じて、拡大画像表示部７１に表示されている単位画像と互いに重複画像領域を形成する他の単位画像のうち最適なものを選択し、当該選択した他の単位画像を拡大して表示することができる。
【００７８】
これにより、単位画像同士を連結することにより生ずる境界が拡大画像表示部７１において表示されることがなくなり、拡大画像の鮮明度をさらに向上させることができ、さらには単位画像を互いに貼り合わせることにより、シームレスな全体画像を生成するための煩雑な処理を一切省略することができる。
【００７９】
また隣接する単位画像１０１，１０２，１０３，１０４の画像中心の間隔を狭く設定することができるため、拡大画像表示部７０に表示される拡大画像を細かいピッチでシフトさせることができる。
【００８０】
また、ユーザから所望の画像位置が指定された場合に、既に記録してある単位画像を拡大することにより対処することができるため、拡大画像を迅速に提供することができ、その都度カメラ部４を制御して画像を撮像する必要がなくなり、労力の軽減を図ることもできる。
【００８１】
また撮像システム１において、ネットワーク８を介して接続されている端末装置９により、画像位置が指定された場合にも、サーバ５３に記録されている最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを送信することにより、複数のユーザに対して所望の拡大画像を同時に提供することもできる。
【００８２】
ちなみに上述した例では、指定された画像位置に対して、最短の画像中心を有する単位画像を選択する場合に限定するものではなく、他のいかなる方法で単位画像を選択してもよい。
【００８３】
また、上述した例では、水平、垂直方向に半画枠分シフトさせて隣接する単位画像を撮像する場合について説明をしたが、かかる場合に限定されるものではない。隣接する単位画像間において互いに重複領域が生じるように撮影方向を制御すれば、いかなるものであってもよく、また一の単位画像に隣接する単位画像の数をさらに増加させてもよい。
【００８４】
ちなみに上述の構成からなる撮像システム１は、以下に説明するアプリケーションに対しても適用することができる。
【００８５】
カメラユニット２並びに電子機器１００は、ユーザから要求され得る撮影画角、撮影方向に応じて、上述の如く、全体画像、単位画像を撮像し、これを予めサーバ５３に記録しておく。また電子機器１００は、端末装置９による要求に応じて、サーバ５３から単位画像を読み出して、これを当該端末装置９に対して送信する。
【００８６】
端末装置９を操作する各ユーザは、この端末ディスプレイ１０に表示される全体画像表示部７０を視認して、所望の画像位置を指定し、また、ＷＩＤＥボタン７２、ＺＯＯＭボタン７３を介して、撮影倍率の拡大、縮小、さらには、撮影方向指定部７５を介して撮影方向を指定する。端末装置９はかかるユーザの指定操作に応じて、単位画像送信要求を電子機器１００へ送信する。
【００８７】
電子機器１００は、端末装置９から送信される単位画像送信要求に基づき、サーバ５３に記録されている単位画像を読み出す。例えば、撮影倍率を拡大する旨の要求信号が送信された場合には、撮影画角の大きい単位画像が記録されているＬａｙｅｒから読み出し処理を行い、これを端末装置９へ送信する。また撮影方向を水平方向に変更する旨の要求信号が表示された場合には、かかる水平方向にシフトさせた座標上の単位画像を読み出し、これを端末装置９に送信する。端末装置９に送信された単位画像は、拡大画像表示部７１に表示される。
【００８８】
ユーザは、送信された単位画像を視認した上で、さらに撮影倍率や撮影方向の変更を電子機器１００に対して要求することができる。
【００８９】
すなわち、このアプリケーションでは、ユーザから要求される可能性のある撮影画角、撮影方向毎に、単位画像を予めサーバ５３に記録しておき、ユーザからの要求に応じて、サーバ５３に記録されている最適な単位画像を順次読み出し、これを各端末装置９に送信する。これにより本発明では、端末装置９から送信される単位画像送信要求に基づき、その都度カメラ部４の撮影倍率、撮影方向を変更しなくても、ユーザに対して、あたかも自分自身でカメラ部４を制御している雰囲気を実感させることができる。
【００９０】
なおカメラ部４は、所定の時間間隔で上述した撮像を実行することにより、サーバ５３には、撮像された斬新な画像が順次記録されることになる。このためユーザは、電子機器１００にアクセスすることにより、カメラ部４で撮像された単位画像をリアルタイムに取得することができ、撮影チャンスを逃すこともなくなり、作業効率を向上させることができる。
【００９１】
またカメラ部４は、隣接する単位画像間で互いに重複画像領域が生じるように撮像を実行し、サーバ５３は、かかる重複画像領域が形成される単位画像を互いに連関させて記録するようにしてもよい。これによりユーザは、端末装置９に表示される単位画像につき、所望の撮影方向につき細かいピッチでシフトさせることができ、また拡大画像表示部７１を介してシームレスな拡大画像を視認することができる。
【００９２】
なお、このネットワーク８に対して複数の端末装置９を接続することにより、１台のカメラユニット２を複数のユーザが擬似的に同時制御することができる。ちなみに、複数のユーザが同時に、同一の撮影倍率、撮影方向へ変更することを要求しても、サーバ５３に記録されている単位画像を複数の端末装置９へ送信することで対応することができる。
【００９３】
またサーバ５３において、所定の時間間隔で順次記録される各単位画像を長年にわたり蓄積することにより、各ユーザは、過去に撮影した単位画像を取得することもできる。これにより、本発明に係る撮像システム１では、カメラユニット２を百貨店の商品売り場等に設置しておくことで、過去に生じた盗難事件の捜査等についても適用することが可能となる。
【００９４】
なお本発明は、上述した実施の形態に限定されるものではない。例えば、撮影画角の小さいＬａｙｅｒにおいて撮像する単位画像を減らすことにより、撮影時間を大幅に短縮させてもよい。
【００９５】
単位画像の撮像枚数は、図５に示すように、撮影画角の大きいＬａｙｅｒｎに対して、撮影画角のより小さいＬａｙｅｒｎ＋１、Ｌａｙｅｒｎ＋２へと進むにつれて増えてゆく。即ち、撮影時間の大半は、この撮影画角の小さいＬａｙｅｒｎ＋２における単位画像の撮像に費やされることになる。このため、本発明では、このＬａｙｅｒｎ＋２における単位画像の撮像を必要最小限に抑え込むことにより、撮影時間の短縮化を図る。
【００９６】
即ち、ＣＰＵ５６は、Ｌａｙｅｒｎ＋２における単位画像のうち、何れの単位画像を撮像し、何れの単位画像の撮像をスキップするかにつき決定する。換言すれば、Ｌａｙｅｒｎ＋２における単位画像のうち、撮像すべき必要最小限の単位画像の選択を行う。この単位画像の選択には、被写体の活発な動きを異なる時点で撮像した画像の輝度成分差に基づいて識別し、動き検出された領域を含む単位画像を優先的に選択する方法と、ユーザにより指定された領域を含む単位画像を優先的に選択する方法がある。
【００９７】
先ず、動き検出された領域を含む単位画像を優先的に選択する手順につき、図１５を用いて説明をする。
【００９８】
先ずＳ５１において、カメラ部４は、上述した撮像動作を実行する。このステップＳ５１における撮像動作において、カメラ部４は、いずれかのＬａｙｅｒにおける全体画像を取得できれば足り、撮影画角の異なる幾層にも亘るＬａｙｅｒの全体画像を取得する必要はない。カメラ部４は、この全体画像の取得を所定の時間間隔を置いて実行する。これにより、同一の撮影範囲につき、異なる時点で撮像された複数の全体画像を取得することができる。
【００９９】
次に、ステップＳ５２へ移行し、演算処理部１５は、取得した全体画像を表示画面４５へ表示する。このとき、この表示する全体画像を動画像で表示してもよい。
【０１００】
次にステップＳ５３へ移行し、演算処理部１５は、異なる時点で撮像された複数の全体画像間で輝度成分の差分値を求める。演算処理部１５は、この輝度成分の差分値につき、例えば、新たに取得した全体画像と、その直前に取得した全体画像の２枚を抽出して、各画素毎にこれを求める。これにより、輝度成分の差分値が大きい画像領域については、被写体の動きが活発な領域として、動き検出されることになる。一方、輝度成分の差分値が小さい画像領域については、被写体の動きがない領域として、動き検出されることはない。
【０１０１】
次にステップＳ５４へ移行し、演算処理部１５は、優先的に撮像を実行する撮影領域を判別する。このステップＳ５４において、演算処理部１５は、例えば、予め所定の閾値を設定し、求めた輝度成分の差分値が閾値を超える場合には、動き検出された領域であると判別し、一方、求めた輝度成分の差分値が閾値以下の場合には、被写体の動きがない領域として判別する。
【０１０２】
次にステップＳ５５へ移行し、カメラ部４は、演算処理部１５からの制御に基づいて、撮影画角の大きいＬａｙｅｒｎにおける単位画像を撮像する。このステップＳ５５では、Ｌａｙｅｒｎを構成する全ての単位画像を取得することができるように、撮像を行う。これにより、このＬａｙｅｒｎにおける単位画像を貼り合わせることにより全体画像を構成することができるため、ユーザは、最低でも撮影範囲全体を視認することが可能となる。
【０１０３】
次にステップＳ５６へ移行し、カメラ部４は、Ｌａｙｅｒｎ＋１における単位画像を撮像する。このステップＳ５６において、カメラ部４は、Ｌａｙｅｒｎ＋１を構成する全ての単位画像を取得することができるように撮像を実行してもよいし、ステップＳ５４において動き検出された領域を含む単位画像のみを取得することができるように撮像を実行してもよい。このＬａｙｅｒｎ＋１における単位画像の撮像を終了した後、ステップＳ５７へ移行する。
【０１０４】
ステップＳ５７において、カメラ部４は、Ｌａｙｅｒｎ＋２における単位画像の撮像を実行する。このとき演算処理部１５は、ステップＳ５７において、撮像すべき必要最小限の単位画像を選択する。この単位画像の選択では、上述の動き検出された領域を含む単位画像を優先して行うようにする。
【０１０５】
即ち、このステップＳ５６〜ステップＳ５７において、動き検出された領域を含む単位画像を選択し、これについてのみ撮像を実行することにより、単位画像の撮像枚数を抑えることができる。特に撮影画角が小さい場合には、撮影画角が大きい場合と比較して被写体の動きを捉えることができる割合が減少するため、選択する単位画像の数も極力抑えることができる。換言すれば、撮影画角のより小さいＬａｙｅｒｎ＋１、Ｌａｙｅｒｎ＋２へと進むにつれて撮影枚数を徐々に抑えることができる。このため、撮影画角の小さいＬａｙｅｒｎ＋２における単位画像の撮像枚数を極力抑えることができる結果、撮影時間の短縮化が可能となる。
【０１０６】
また、動き検出された領域は、監視システム１により撮影範囲内を監視するユーザにとって、特に拡大画像表示部７１を介して表示を望む領域でもあるため、撮影画角の小さい単位画像を予め撮像してサーバ５３へ記録する必要性が出てくる。従って、かかる領域を含む単位画像のみＬａｙｅｒｎ＋２における撮像を実行することにより、必要最小限の単位画像を確保しつつ、ユーザが望む高品質な拡大画像を提供することが可能となる。
【０１０７】
例えば、撮影画角の広角なＬａｙｅｒから順に、Ｌａｙｅｒ１、Ｌａｙｅｒ２、Ｌａｙｅｒ３として、それぞれを構成する単位画像数が、順に３、１９０、３４００としたとき、従来では、全て撮影することができるため２時間以上の時間を費やしていた。しかし、本発明を適用した撮像システム１において、Ｌａｙｅｒ３を構成する単位画像数を、例えば１〜数千枚まで削減することにより、撮影時間を５〜２時間まで短縮化することができる。
【０１０８】
なお、上述した手順では、取得した全体画像に基づき、輝度成分の差分値を求める場合につき説明をしたが、かかる場合に限定されるものではなく、例えば各Ｌａｙｅｒにおける単位画像間で輝度成分の差分値を求めるようにしてもよい。
【０１０９】
次に、ユーザにより指定された領域を含む単位画像を優先的に選択する手順につき、図１６を用いて説明をする。
【０１１０】
先ずステップＳ６１において、カメラ部４は、ステップＳ５１と同様の撮像動作を実行する。
【０１１１】
次にステップＳ６２へ移行し、演算処理部１５は、表示画面４５を介して、所望の画像領域の指定を促す。ユーザは、撮影を望む画像領域を操作部１６を用いて指定する。
【０１１２】
次にステップＳ６３へ移行し、演算処理部１５は、ステップＳ６２において指定された画像領域に基づいて、優先的に撮像を実行する撮影領域を判別する。
【０１１３】
次にステップＳ６４へ移行し、カメラ部４は、演算処理部１５からの制御に基づいて、撮影画角の大きいＬａｙｅｒｎにおける単位画像を撮像する。このステップＳ６５では、上述したステップＳ５５と同様に、Ｌａｙｅｒｎを構成する全ての単位画像を取得することができるように、撮像を行う。これにより、このＬａｙｅｒｎにおける単位画像を貼り合わせることにより全体画像を構成することができるため、ユーザは、最低でも撮影範囲全体を視認することが可能となる。
【０１１４】
次にステップＳ６５へ移行し、カメラ部４は、Ｌａｙｅｒｎ＋１における単位画像を撮像する。このステップＳ６５において、カメラ部４は、Ｌａｙｅｒｎ＋１を構成する全ての単位画像を取得することができるように撮像を実行してもよいし、ステップＳ６３において判別した撮影領域を含む単位画像を優先して取得することができるように撮像を実行してもよい。このＬａｙｅｒｎ＋１における単位画像の撮像を終了した後、ステップＳ６６へ移行する。
【０１１５】
ステップＳ６６において、カメラ部４は、Ｌａｙｅｒｎ＋２における単位画像の撮像を実行する。このとき演算処理部１５は、このステップＳ６６において、撮像すべき必要最小限の単位画像を選択する。この単位画像の選択では、ステップＳ６３において判別した撮影領域を含む単位画像を優先して行うようにする。
【０１１６】
即ち、このステップＳ６５〜ステップＳ６６において、ユーザより指定された領域を含む単位画像を選択し、これについてのみ撮像を実行することにより、同様に単位画像の撮像枚数を抑えることができる。
【０１１７】
以上詳細に説明したように、本発明を適用した撮像システム１では、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化してサーバ５３へ記録し、またサーバ５３に記録されている互いに異なる時点で生成された二つの全体画像の輝度成分を比較し、これに基づいて撮影画角の小さいＬａｙｅｒｎ＋１、Ｌａｙｅｒｎ＋２等における単位画像から、撮像する単位画像を選択する。また、本発明を適用した撮像装置及び方法では、撮影画角の小さいＬａｙｅｒｎ＋１、Ｌａｙｅｒｎ＋２等における単位画像から、撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を選択する。
【０１１８】
これにより、本発明を適用した撮像システム１では、精細な画質を維持しつつ、複数のユーザが所望の画像領域につき拡大、縮小することができ、さらには、単位画像の撮像枚数を極力抑えることができる結果、撮影時間の大幅な短縮化が可能となる。
【０１１９】
なお、本発明は、上述した処理をコンピュータに実行させるためのプログラムや、かかるプログラムが記録された記録媒体に適用してもよいことは勿論である。
【０１２０】
【発明の効果】
以上詳細に説明したように、本発明を適用した撮像装置及び方法では、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体へ記録し、また記録媒体に記録されている互いに異なる時点で生成された二つの全体画像の輝度成分を比較し、これに基づいて撮影画角の小さい単位画像から、撮像する単位画像を選択する。また、本発明を適用した撮像装置及び方法では、さらに撮影画角の小さい単位画像から、撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を選択する。
【０１２１】
これにより、本発明を適用した撮像装置及び方法では、精細な画質を維持しつつ、複数のユーザが所望の画像領域につき拡大、縮小することができ、さらには、単位画像の撮像枚数を極力抑えることができる結果、撮影時間の大幅な短縮化が可能となる。
【図面の簡単な説明】
【図１】本発明を適用した撮像システムの構成を示す図である。
【図２】カメラユニット，電子機器のブロック構成図である。
【図３】カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。
【図４】ディスプレイ上の表示画面の構成例を示す図である。
【図５】同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する例を示す図である。
【図６】Ｌａｙｅｒの倍率を順に１、２、４、８倍に設定して撮像する例を示す図である。
【図７】各Ｌａｙｅｒにつき、単位画像を撮像する手順を示すフローチャートである。
【図８】ユーザによる指定操作を受けて拡大画像を表示するまでの手順を示すフローチャートである。
【図９】階層化して記録されている各Ｌａｙｅｒから一のＬａｙｅｒを選択する例を示す図である。
【図１０】抽出した選択領域につき拡大処理を実行する例を示す図である。
【図１１】互いに重複領域が生じるように撮影方向を制御することにより撮像を実行する例を示す図である。
【図１２】互いに重複領域が生じるように撮影方向を制御した場合において、拡大画像表示部に表示される拡大画像の例を示す図である。
【図１３】ユーザにより画像位置が指定された場合に、拡大画像を表示するまでの手順を示すフローチャートである。
【図１４】指定された画像位置につき、最短の画像中心を有する単位画像を選択する例につき説明するための図である。
【図１５】動き検出された領域を含む単位画像を優先的に選択する手順を示すフローチャートである。
【図１６】ユーザにより指定された領域を含む単位画像を優先的に選択する手順を示すフローチャートである。
【符号の説明】
１ 撮像システム、２ カメラユニット、３ パンチルタ部、４ カメラ部、６ ディスプレイ、８ ネットワーク、９ ユーザ端末、１０ 端末ディスプレイ、１１ ネットワークサーバ、２１ コントローラバス、２２ レンズ部、２３ レンズ制御部、２４ 撮像部、２５ ＩＥＥＥ１３９４インターフェース、２８ ＧＰＳ受信部、２９ メタデータ生成部、５１ バッファメモリ、５２ エンコーダ、５３ サーバ、５４ 画像圧縮部、５５ グラフィックコントローラ、５６ ＣＰＵ、５８ Ｉ／Ｏポート、５９ キーボード、６０ マウス、６１ メモリカード、６２ 時計、１００ 電子機器[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging apparatus and a method for monitoring a wide range situation through a panoramic image obtained by sequentially changing a shooting direction and performing imaging.
[0002]
[Prior art]
2. Description of the Related Art An electronic still camera, which has been widely used, converts light that has passed through a lens by imaging a subject into an image signal from a solid-state imaging device such as a CCD, and records the image signal on a recording medium. An image signal can be reproduced. Many electronic still cameras include a monitor that can display a captured still image, and can select and display a specific one of the still images recorded so far. In this electronic still camera, an image signal supplied to a monitor corresponds to a subject for each screen. For this reason, images displayed at the same time have a narrow range, and it has not been possible to simultaneously monitor a wide range of situations.
[0003]
For this reason, surveillance cameras that can monitor a wide range of situations by capturing a subject while sequentially shifting the shooting direction of the camera to obtain a panoramic image composed of a plurality of unit images have become widespread. . In particular, in recent years, a technique has been proposed in which a plurality of video signals are reduced / combined to generate a one-frame video signal (for example, see Patent Document 1). Also, monitoring video is provided from a plurality of monitoring video cameras installed. There has also been proposed a centralized monitoring and recording system capable of collecting and recording on a recording medium such as a video tape to perform monitoring (for example, see Patent Document 2).
[0004]
[Patent Document 1]
JP-A-10-108163
[Patent Document 2]
Japanese Patent Application Laid-Open No. 2000-243062
[0005]
[Problems to be solved by the invention]
In recent years, a system in which not only a single user but also a plurality of users can view a captured panoramic image simultaneously via a network has been desired. In particular, for a wide range of situations such as a merchandise store such as a department store or a restricted area, multiple users need to manage them at the same time. In some cases, you may want to make sure.
[0006]
However, since the above-described monitoring system and imaging apparatus are suitable only when a user independently takes an image of a subject and generates a panoramic image, simultaneous shooting of the subject by a plurality of users and ex-post imaging of the shooting content are possible. Confirmation was difficult.
[0007]
In addition, the above-described monitoring system and imaging apparatus require enlargement processing of the accumulated panoramic image by digital zoom, processing of connecting unit images, processing of thinning out pixels according to the zoom value, and the like, and cannot maintain a fine image quality. In particular, when the connecting portion of the unit image is enlarged, the boundary is displayed on the screen, which is a factor of deteriorating the image quality.
[0008]
Furthermore, if the shooting angle of view is set too small, it becomes necessary to form a single whole image by bonding a large number of small-sized unit images, thereby increasing the number of shots and thus prolonging the shooting time. There was also.
[0009]
In view of the above, the present invention has been devised in view of the above-described problems, and has been particularly developed in an imaging apparatus and method in which a plurality of users can enlarge and reduce a desired image area while maintaining a fine image quality. The purpose is to significantly reduce the shooting time.
[0010]
[Means for Solving the Problems]
The present inventor solves the above-mentioned problem by sequentially changing the shooting direction at two or more different shooting angles of view and shooting the shooting range, so that the entire image including a plurality of unit images can be predetermined. Generated at time intervals, hierarchized for each shooting angle of view, recorded on a recording medium, and compared with the luminance components of two entire images recorded at different times recorded on the recording medium. The present invention has invented an image pickup apparatus and method for selecting a unit image to be picked up from unit images having a small angle of view on the basis of a unit image, and selecting a unit image including an image area designated by a user as the unit image to be picked up.
[0011]
That is, the imaging apparatus to which the present invention is applied generates an entire image including a plurality of unit images at predetermined time intervals by sequentially changing the shooting direction at two or more different shooting angles of view and shooting the shooting range. Imaging means for performing recording, recording means for hierarchizing the captured unit images for each photographing angle of view, and recording them on a recording medium, and two whole images generated at different times from each other and recorded on the recording medium. Comparing means for comparing luminance components, wherein the imaging means selects a unit image to be imaged from unit images having a smaller angle of view according to the luminance components compared by the comparing means.
[0012]
Further, the imaging apparatus to which the present invention is applied generates an entire image including a plurality of unit images at predetermined time intervals by sequentially changing the shooting direction at two or more different shooting angles of view and shooting the shooting range. Imaging means for performing the recording, a recording means for hierarchizing the captured unit images for each of the photographing angles of view, and recording them on a recording medium, a whole image display means for displaying the whole image, and a display on the whole image display means. A designating means for a user to designate an image area in the whole image, wherein the imaging means converts the image area designated by the designating means as a unit image to be photographed from a unit image having a smaller angle of view. Select the unit image to include.
[0013]
In other words, the imaging method to which the present invention is applied generates an entire image including a plurality of unit images at predetermined time intervals by sequentially changing the shooting direction at two or more different shooting angles of view and shooting the shooting range. Then, the captured unit images are hierarchized for each shooting angle of view and recorded on a recording medium, and the luminance components of two whole images generated at different times recorded on the recording medium are compared and compared. A unit image to be picked up is selected from unit images having a smaller angle of view according to the luminance component.
[0014]
In addition, the imaging method to which the present invention is applied generates an entire image including a plurality of unit images at predetermined time intervals by sequentially changing the shooting direction at two or more different shooting angles of view and shooting the shooting range. Then, the captured unit images are hierarchized for each shooting angle of view and recorded on a recording medium, the entire image is displayed, and the imaging unit starts from a unit image having a smaller shooting angle of view as a unit image to be shot. A unit image including an image area specified by the user is selected.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. For example, as shown in FIG. 1, an imaging system 1 to which the present invention is applied includes a camera unit 2 that captures an image of a subject to generate an image signal, a microphone 12 that receives an audio signal, and an image transmitted from the camera unit 2. An image input / output unit 13 for performing predetermined processing on a signal, an audio input / output unit 14 for performing predetermined processing on an audio signal transmitted from the microphone 12, and connected to at least the image input / output unit 13 and the audio input / output unit 14. An operation processing unit 15 for processing the image signal; a server 53 connected to the operation processing unit 15 for recording the image signal; an operation unit 16 for a user to control the system 1; A display 6 connected to the unit 15 for displaying various information, a terminal device 9 for other users to execute applications, and a terminal display connected to the terminal device 9. And b 10, and a network 8 to transmit and receive various information to the terminal device 9.
[0016]
The camera unit 2 includes a pan tilter unit 3 and a camera unit 4 integrally formed. The pan-tilt unit 3 is configured as a turntable for freely changing a shooting direction for, for example, two axes of pan and tilt.
[0017]
The camera unit 4 is disposed on a turntable that constitutes the pan tilter unit 3, and captures an image of a subject while adjusting a shooting direction in a horizontal direction or a vertical direction according to control by the arithmetic processing unit 15 and the like. Further, the camera unit 4 sequentially changes the photographing angle of view in accordance with the control of the arithmetic processing unit 15 and the like, thereby enlarging or reducing the photographing magnification, and photographing the subject.
[0018]
The image input / output unit 13, the audio input / output unit 14, the arithmetic processing unit 15, the server 53, and the operation unit 16 may be integrally configured by an electronic device 100 such as a personal computer (PC). According to the electronic device 100, the image signal transmitted from the camera unit 2 is recorded, and the recorded image signal is displayed to the user via the display 6. Further, when a desired image area or image position is designated by the user, the electronic device 100 controls so as to select an optimum one from the recorded image signals and display the selected signal on the display 6. The electronic device 100 also plays a role as a so-called central control device for controlling the entire network 8, and transmits an image and a sound in response to a request from another terminal device 9.
[0019]
The network 8 includes, for example, an Internet network connected to the electronic device 100 via a telephone line, and information such as ISDN (Integrated Services Digital Network) / B (broadband) -ISDN connected to a TA / modem. This is a public communication network that enables bidirectional transmission and reception. Incidentally, when the imaging system 1 is operated in a fixed small area, the network 8 may be configured by a LAN (Local Area Network). Further, the network 8 may be configured to transmit a moving image in addition to a still image. In such a case, based on the Internet Protocol (IP), a moving image including, for example, MPEG (Moving Picture Experts Group) data is continuously transmitted from one channel, and the still image data is transmitted from another channel for a certain period of time. It will be transmitted every time. In addition, a network server (not shown) may be connected to the network 8. The network server (not shown) manages, for example, Internet information, and transmits predetermined information stored therein in response to a request from the terminal device 9.
[0020]
The terminal device 9 is a PC that allows a user waiting at each home or company to acquire an image from the electronic device 100 via the network 8 and execute a desired process. By connecting the plurality of terminal devices 9 to the network 8, it is possible to simultaneously provide the application of the imaging system 1 to a plurality of users. The terminal device 9 displays an image acquired from the electronic device 100 on the terminal display 10. In addition, the terminal device 9 generates a request signal in accordance with a designation operation by the user, and transmits the request signal to the electronic device 100. Note that the block configuration of the terminal device 9 will be referred to the configuration of the electronic device 100 described later, and description thereof will be omitted.
[0021]
Next, the configurations of the camera unit 2 and the electronic device 100 in the imaging system 1 to which the present invention is applied will be described in detail.
[0022]
FIG. 2 is a configuration diagram of the camera unit 2 and the electronic device 100. In FIG. 2, each component of the camera unit 2 and the electronic device 100 is connected to a common controller bus 21.
[0023]
The pan / tilt unit 3 included in the camera unit 2 includes a tilt unit 3a and a pan unit 3b that control a turntable for changing an imaging direction. The camera unit 4 constituting the camera unit 2 includes a lens control unit 23 for mainly changing the angle of view of the lens unit 22 and an imaging unit 24 disposed at a position orthogonal to the optical axis of the lens unit 22. , An IEEE (Institute of Electrical and Electronics Engineers) 1394 interface 25 for transmitting an image signal generated by the imaging unit 24 to the image input / output unit 13, and a GPS (Global Positioning) for detecting the current position of the camera unit 2. (System) receiving unit 28 and a metadata generating unit 29 attached to the GPS receiving unit 28. Incidentally, the IEEE 1394 interface 25 may be replaced by Ethernet (registered trademark).
[0024]
The image input / output unit 13 includes a buffer memory 51 connected to the IEEE 1394 interface 25, and an encoder 52 connected to the buffer memory 51.
[0025]
The arithmetic processing unit 15 includes an image compression unit 54 for compressing an image read from the server 53, a graphic controller 55 connected to the server 53 and the image compression unit 54, and generating an image to be displayed on the display 6. , A CPU 56 for controlling each unit via the controller bus 21, a memory card 61 and a clock 62 respectively connected to the I / O port 58.
[0026]
The operation unit 16 includes a keyboard 59 and a mouse 60 for the user to specify a desired image area and an image position from an image displayed on the display 6.
[0027]
The Tilt unit 3a and the Pan unit 3b rotate a stepping motor configured as a drive source of the turntable based on a drive signal from the CPU 56. Thereby, the shooting direction of the camera unit 4 mounted on the turntable can be changed in the horizontal direction or the vertical direction.
[0028]
The lens control unit 23 performs an automatic aperture control operation and an automatic focus control operation on the lens unit 22 based on a drive signal from the CPU 56. The lens control unit 23 changes the angle of view of the subject with respect to the subject based on the drive signal. Thus, the camera unit 4 can also sequentially adjust the photographing magnification and image the subject.
[0029]
The imaging unit 24 is configured by a solid-state imaging device such as a CCD (Charge Coupled Device), and forms an image of a subject incident through the lens unit 22 on an imaging surface, generates an image signal by photoelectric conversion, This is transmitted to the IEEE 1394 interface 25.
[0030]
The GPS receiving unit 28 detects an installation location and a shooting direction of the camera unit 2 based on a signal transmitted by the GPS system. By providing the GPS receiving unit 28, particularly when a plurality of camera units 2 are installed, it is possible to control both shooting directions in conjunction with each other. The output signal from the GPS receiving unit 28 is supplied to a metadata generating unit 29, which generates position information such as latitude, longitude, azimuth, altitude, and metadata including time, various parameters, and the like based on the positioning result by GPS. Is done. The metadata generation unit 29 supplies the generated position information and metadata to the encoder 52. In the present invention, the configurations of the GPS receiving unit 28 and the metadata generating unit 29 may be omitted.
[0031]
The buffer memory 51 temporarily stores an image signal supplied from the IEEE 1394 interface 25 based on a control signal from the CPU 56. The image signal temporarily stored in the buffer memory 51 is supplied to an encoder 52, and compression-encoded based on a standard such as JPEG (Joint Photographic Experts Group). Incidentally, the encoder 52 may add position information and metadata supplied from the metadata generation unit 29 to the image signal to be compression-encoded. The encoder 52 outputs the compression-encoded image signal to the server 53 or the image compression unit 54. When the supplied image signal is not subjected to the compression encoding, the processing in the encoder 52 is omitted.
[0032]
The server 53 sequentially records the image signal output from the encoder 52 in association with position information and metadata. Incidentally, the server 53 may be replaced with, for example, a hard disk or a removable disk-shaped recording medium. The image signal recorded in the server 53 is read out to the image compression unit 54 and the graphic controller 55 under the control of the CPU 56. By controlling the image signal recorded on the server 53 to be recorded on the memory card 61, the user can transfer the captured image to another PC. Further, by controlling the image signal recorded in the server 53 to be recorded in the above-described network server (not shown), the server 53 can be replaced with a network server (not shown).
[0033]
The image compression unit 54 generates a compressed image or a thumbnail image for each of the JPEG image signals read from the server 53. The image compression unit 54 reads an image recorded in the server 53 and generates a moving image under the control of the CPU 56. Incidentally, as a compression method at the time of generating the moving image, it may be executed based on, for example, MPEG, Motion-JPEG, Motion-JPEG2000, or the like.
[0034]
The graphic controller 55 executes a painting process on the display 6 based on the image signal read from the server 53 or the image signal output from the image compression unit 54. The graphic controller 55 controls the contrast and brightness of the display 6 based on the control by the CPU 56.
[0035]
The CPU 56 controls a drive signal for driving the pan tilter unit 3 and the lens control unit 23 and controls each unit in the electronic device 100 when an image area and an image position are designated by the user via the keyboard 59 and the mouse 60. Is transmitted via the controller bus 21. Further, the CPU 56 receives a predetermined request signal from the terminal device 9, selects an optimal still image, a moving image, or various information recorded in the server 53, and transmits it to the terminal device 9. To control.
[0036]
The audio input / output unit 12 encodes an audio signal input from the microphone 12. The audio signal encoded by the audio input / output unit 12 is also supplied to the server 53 and recorded in the same manner as the image signal as described above.
[0037]
Next, an imaging operation in the imaging system 1 to which the present invention is applied will be described.
[0038]
FIG. 3 shows a case where the camera unit 2 captures an image within the shooting range indicated by the black frame at the shooting angle of view u. In order to image the entire imaging range at the imaging angle of view u, it is necessary to sequentially shift the imaging direction in the horizontal direction or the vertical direction. If the size of the photographing range can be represented by i × j times the size of a frame (hereinafter, referred to as a unit image) obtained by photographing at an arbitrary photographing angle of view u, at least i × j photographing directions are set. There is a need to. By bonding the i × j unit images captured at the shooting angle of view u, an entire image representing the entire shooting range can be synthesized.
[0039]
Here, the coordinates (M, N) of each unit image in the shooting range are 1, 2,... M, i in the horizontal direction from the left end, and 1, 2,. .., J, the CPU 56 transmits a drive signal to the Tilt unit 3a and the Pan unit 3b, so that the shooting direction of the camera unit 4 is first adjusted to the coordinates (1, 1) located at the upper left. Perform imaging. An image signal based on a unit image generated by imaging the coordinates (1, 1) is temporarily stored in the buffer memory 51, and is compression-coded by the encoder 52 based on the JPEG standard. The image signal is recorded in the server 53 at the same time as position information and metadata indicating the shooting direction and the like transmitted from the GPS 28 are added.
[0040]
Similarly, the CPU 56 transmits a drive signal to the Tilt unit 3a and the Pan unit 3b to shift the shooting direction of the camera unit 4 to the right by one image frame and to pick up an image in accordance with the coordinates (2, 1). Execute An image signal generated by imaging the coordinates (2, 1) is also recorded in the server 53. Under the control of the CPU 56, the camera unit 4 changes the shooting direction to the coordinates (3,1), (4,1)... (I, 1) in the horizontal direction, and executes the shooting.
[0041]
After terminating the imaging of the first column, the camera unit 4 adjusts the imaging direction to the coordinates (1, 2) of the second column and executes imaging under the control of the CPU 56, and then sequentially in the horizontal direction. The imaging is performed while shifting. When this operation is repeated to end the imaging up to the coordinates (i, j), the server 53 enters a state in which an image signal based on i × j unit images captured for each coordinate is recorded.
[0042]
Incidentally, the image signal based on each unit image recorded in the server 53 is sequentially read out by the image compressing section 54 and reduced so as to be adapted to the size of the display screen of the display 6. Each of the reduced unit images is displayed on the display 6 via the graphic controller 15. By displaying all of the i × j unit images recorded on the server 53 on the display 6, one whole image is synthesized. By executing the above-described imaging operation at regular intervals, it is possible to obtain an entire image indicating the latest situation of the imaging range.
[0043]
FIG. 4 shows an example in which the entire image synthesized by pasting the captured i × j unit images is displayed on the entire image display unit 70 of the display 6. The electronic device 100 may cause the whole image display unit 70 to display a boundary between the unit images constituting the whole image, or may display only a seamless whole image. In addition, the electronic device 100 causes the whole image display unit 70 to display one whole image photographed at a photographing angle of view capable of capturing the entire photographing range as an alternative to the panoramic whole image (panoramic image). Is also good.
[0044]
Incidentally, the display screen 45 is further provided with an enlarged image display section 71 for displaying an enlarged image obtained by enlarging the unit image. The enlarged image display unit 71 may enlarge and display one unit image specified by the user among the unit images constituting the entire image displayed on the entire image display unit 70. The moving images may be displayed sequentially for the unit image shooting directions. Thereby, the user can also check the situation of the shooting direction in the specified unit image in real time. Further, the enlarged image display section 71 may display a moving image generated by a method described later.
[0045]
Also, on the display screen 45, a WIDE button 72 for reducing the magnification and displaying the unit image displayed on the enlarged image display unit 71 and a ZOOM button 73 for enlarging and displaying the magnification are displayed. Is done. The display screen 45 includes a shooting direction control unit 75 for adjusting the shooting direction of the camera unit 4 in the horizontal and vertical directions, setting of various modes, and image signals based on unit images at desired addresses to the server. A setting button 76 or the like for recording the data is also displayed.
[0046]
Further, the user can designate a desired image area and image position on the whole image display unit 70 and the enlarged image display unit 71 using the keyboard 59 and the mouse 60. Note that the display units 70 and 71 may further display a sight line and a pointer for executing the above-described designation operation in conjunction with the movement of the mouse 60 or the like.
[0047]
Next, a case where an image is captured at two or more different photographing angles of view in the imaging apparatus to which the present invention is applied will be described.
[0048]
As shown in FIG. 5, the camera unit 2 executes imaging by controlling the imaging direction at two or more different imaging angles of view in the same imaging range indicated by the black frame. By synthesizing the unit images obtained by imaging for each shooting angle of view, a set of unit images having the same contents as the entire image can be created in multiple layers as shown in FIG. Hereinafter, a set of unit images according to each shooting angle of view will be referred to as a layer. It is assumed that the number of the layer increases from n, n + 1, n + 2,... That is, in a Layer with a large shooting angle of view, an entire image can be synthesized with a smaller number of unit images than in a Layer + 1 with a small shooting angle of view. Incidentally, the size and the number of pixels of the unit image are the same between the respective layers.
[0049]
FIG. 6 shows an example in which imaging is performed with the magnification of the layer set to 1, 2, 4, and 8 times in order. FIG. 6 shows each Layer as shown in FIG. 5 from a horizontal direction or a vertical direction. A Layer 1 having a magnification of 1 is composed of one unit image, and a Layer 2 having a magnification of 2 is 2 × Layer 3 having a magnification of 4 times is composed of 4 × 4 unit images, and Layer 4 having a magnification of 8 times is composed of 8 × 8 unit images.
[0050]
FIG. 7 shows a procedure for capturing a unit image for each layer having the above-described shooting magnification. First, in step S11, the CPU 56 adjusts the shooting angle of view of the camera unit 4 to u1 corresponding to a magnification of 1 by transmitting a drive signal to the lens control unit 23, and changes the shooting direction to the center position of the shooting range. Adjust to Next, the process proceeds to step S12, and the camera unit 4 captures one whole image capable of displaying the entire shooting range at the shooting angle of view u1. The image signal based on the captured whole image is sequentially recorded in the server 53 as Layer1.
[0051]
Next, based on the control by the CPU 56, the camera unit 4 adjusts the shooting angle of view to u2 corresponding to a magnification of 2 (step S13). Further, in step S14, based on the control by the CPU 56, the camera unit 4 performs imaging by adjusting the imaging direction to the coordinates (1, 1) located at the upper left of the imaging range. The camera unit 4 sequentially shifts the shooting direction by one image frame, and executes shooting for all unit images constituting Layer2. Image signals based on the captured unit images are sequentially recorded in the server 53 as Layer2.
[0052]
Similarly, the camera unit 4 adjusts the photographing angle of view to u3 corresponding to a magnification of 4 times and u4 corresponding to a magnification of 8 times, and sequentially shifts the photographing direction to perform photographing. The image signals based on the obtained unit images are sequentially recorded in the server 53 as Layer 3 and Layer 4, and finally, all the images constituting each layer are recorded in the server 53.
[0053]
Next, of the image signals hierarchically recorded in the server 53, an image signal based on the entire image constituting Layer 1 is first read out, and the entire image signal on the display 6 or the like is passed through the graphic controller 55. It is displayed on the display unit 70. When the user wants to enlarge and display a desired image area in the entire image displayed on the entire image display unit 70, the user can specify the image area using the mouse 60 or the like as described above.
[0054]
FIG. 8 shows a procedure until the enlarged image is displayed after receiving the designation operation by the user.
[0055]
First, when the image area is specified by the user in step S21, the process proceeds to step S22, and the CPU 56 determines the size q of the image area 30 specified by the user and the entire area in Layer 1 as shown in FIG. The ratio with the image size y of the image is obtained.
[0056]
Next, the process proceeds to step S23, in which the CPU 56 selects one layer from each layer recorded in the server 53 in a hierarchical manner. In the selection of the layer in step S23, a magnification k is calculated from the size ratio calculated in step S22, and a layer having a photographing magnification closest to the magnification k is selected. For example, when the ratio of q to y is 1: 2.3, the magnification k is 2.3. Since the Layer imaged at the imaging magnification closest to the magnification k is Layer2, this is selected. Will do. That is, in this step S23, the CPU 56 selects the most appropriate Layer according to the size of the designated image area 30.
[0057]
Next, the process proceeds to step S24, where the CPU 56 selects an optimum image from the unit images constituting Layer 2 according to the image area designated by the user. As shown in FIG. 9, the unit image constituting Layer 2 has four coordinates (1, 1), (2, 1), (1, 2), and (2, 2). Among these, the image shown in the image area 30 specified in Layer 1 corresponds to the image shown in the image area 31 in Layer 2. For this reason, the CPU 56 selects a unit image located at the coordinates (1, 2) where the image area 31 exists, from among the unit images constituting Layer2, and reads this from the server 53. Note that the CPU 56 may omit step S23 and directly select an optimal unit image from the size ratio obtained in step S22.
[0058]
Next, the process proceeds to step S25, and the CPU 56 extracts a selection area 42 including the image area 31 as shown in FIG. 10 for the unit image of the selected coordinates (1, 2). In addition, the CPU 56 executes enlargement processing on the extracted selected area 42 using, for example, digital zoom so as to match the size of the enlarged image display unit 71.
[0059]
By performing the above operation, the image area specified by the user can be enlarged and displayed on the enlarged image display unit 71.
[0060]
Note that, as shown in FIG. 9, the number of pixels and the size of the whole image constituting Layer 1 are the same as those of the unit image constituting Layer 2 having a magnification of 2, and the image area 30 and the image area 30 showing the same image area have the same size. In the region 31, the image region 31 is configured by more pixels. Therefore, it is possible to generate a high-quality enlarged image by selecting an optimal layer according to the size of the designated image area 30 and extracting the selection area 42 from one unit image in the layer. it can. Also in the above-described example, by executing the enlargement process based on Layer2, compared with the case where the enlargement process is executed based on Layer1, a high-quality enlarged image is generated without depending on the digital zoom. become.
[0061]
By the way, by increasing the number of Layers, the magnification difference between adjacent Layers can be reduced, so that a more appropriate unit image can be selected for the image area specified by the user, and the enlarged image can be sharpened. The degree can be further improved.
[0062]
Further, in the present invention, the same photographing range is photographed at two or more different photographing angles of view by controlling the photographing directions to generate image signals, and the whole image or the unit image is photographed based on the generated image signals. The information is hierarchized for each angle of view and recorded in the server 53 in advance. Then, an optimal unit image is selected from the server 53 according to the image area designated in the entire image, an enlarged image is generated based on the selected unit image, and displayed.
[0063]
For this reason, in the present invention, it is sufficient for the entire image display unit 70 to display one enlarged image that constitutes Layer 1, and the enlarged image displayed on the enlarged image display unit 71 is only a single unit image. Since the image is generated after being enlarged or reduced, it is not necessary to combine the unit images with each other to synthesize a panoramic enlarged image. Therefore, the boundary generated by connecting the unit images is not displayed on the enlarged image display unit 71, and the sharpness of the enlarged image can be further improved. In addition, complicated processing for generating a seamless enlarged image can be omitted, and the memory required for synthesizing the entire panoramic image can be effectively used for other purposes, resulting in cost performance. It is also possible to provide excellent applications.
[0064]
Further, according to the present invention, when a desired image area is designated by the user, it is sufficient to enlarge the already recorded unit image, so that an enlarged image can be provided quickly, and the camera unit 4 is controlled each time. Therefore, it is not necessary to take an image, and labor can be reduced.
[0065]
In the present invention, the present invention is not limited to the case where the Layer having the closest shooting magnification is selected, and the Layer may be selected by any other method.
[0066]
In the imaging system 1 according to the present invention, an enlarged image can be provided to the user of the terminal device 9. That is, in the imaging system 1 to which the present invention is applied, an appropriate unit image is selected for a user who operates the terminal device 9 connected to the network 8, in addition to a user who operates the electronic device 100, This can be sent. In addition, by connecting a plurality of terminal devices 9 to the network 8, each unit image can be simultaneously transmitted to a plurality of users.
[0067]
Next, the case where the enlarged image is shifted to the image position designated by the user and displayed on the enlarged image display section 71 on the display screen 45 will be described.
[0068]
Before the user specifies the image position, the camera unit 2 and the electronic device 100 execute the processing described below.
[0069]
The camera unit 2 performs image capturing by controlling the image capturing direction so that an overlapping area occurs. As shown in FIG. 11, in addition to a unit image 101 captured for each frame, a unit image 102 shifted by a half frame in the horizontal direction, a unit image 103 shifted by a half frame in the vertical direction, a horizontal -Further capture a unit image 104 shifted in the vertical direction by a half image frame. That is, the camera unit 2 sequentially captures four types of unit images 101, 102, 103, and 104 having different photographing directions.
[0070]
The server 53 records each unit image 101, 102, 103, 104 in association with another adjacent unit image. The whole image display unit 70 displays the whole image obtained by synthesizing the unit images 101 and the like recorded in the server 53 or the whole image shot at the shooting angle of view u1. In the enlarged image display section 71, one unit image recorded in the server 53 is enlarged and displayed.
[0071]
When the unit image 104 is displayed on the enlarged image display unit 71, the image displayed on the enlarged image display unit 71 is different from the adjacent unit images 101, 102, and 103 as shown in FIG. The content is partially duplicated. The user can specify a desired image position using the mouse 60 or the like for the enlarged image based on the unit image 104 displayed on the enlarged image display unit 71.
[0072]
FIG. 13 shows a procedure from receiving the designation operation by the user to displaying the enlarged image.
[0073]
First, in step S41, when the user designates a desired image position among the unit images 104 shown on the enlarged image display unit 71, the process proceeds to step S42, and the CPU 56 needs to shift and display the enlarged image. To judge. At this time, the CPU 56 first determines whether or not the unit image having the shortest image center with respect to the designated image position is the unit image 104 currently displayed on the enlarged image display unit 71.
[0074]
As shown in FIG. 14, in the enlarged image display unit 71 in which the horizontal length is s and the vertical length is t, the image center of the unit image 104 is the shortest with respect to the specified image position. Is a region where the horizontal length indicated by oblique lines is s / 2 and the vertical length is t / 2. Hereinafter, the boundary of this area is referred to as a virtual boundary.
[0075]
That is, when the designated image position is within the virtual boundary, it is determined that there is no need to shift the enlarged image because the image center of the unit image 104 is the shortest. On the other hand, if the specified image position is outside the virtual boundary, it indicates that the image center of another adjacent unit image is the shortest, and the process further proceeds to step S43.
[0076]
In step S43, the CPU 56 selects a unit image having the shortest image center for the specified image position. At this time, as shown in FIG. 14, when the designated image position is included in the areas A, C, F, and H, the image centers of the unit images 101 adjacent to the upper left, upper right, lower left, and lower right are the shortest. Is selected. When the designated image position is included in the regions B and G, the image centers of the unit images 102 adjacent above and below, respectively, are the shortest. Further, when the specified image position is included in the regions D and E, the image centers of the unit images 103 adjacent to the left and right are the shortest, respectively, and thus are selected. The unit image selected by the CPU 56 is read from the server 53 and displayed on the enlarged image display unit 71 as an enlarged image. Incidentally, since the adjacent unit images 101, 102, and 103 are recorded in the server 53 in association with the unit image 104 as described above, the CPU 56 sets the adjacent unit images 101, 102, 103 can be easily referred to and read.
[0077]
As described above, according to the present invention, an optimum image is selected from the unit images displayed on the enlarged image display unit 71 and other unit images forming an overlapped image area with each other in accordance with the designated image position. Another selected unit image can be enlarged and displayed.
[0078]
As a result, the boundary caused by connecting the unit images is not displayed on the enlarged image display unit 71, and the sharpness of the enlarged image can be further improved. In addition, complicated processing for generating a seamless whole image can be omitted altogether.
[0079]
Further, since the distance between the image centers of the adjacent unit images 101, 102, 103, and 104 can be set narrow, the enlarged image displayed on the enlarged image display unit 70 can be shifted at a fine pitch.
[0080]
In addition, when a desired image position is designated by the user, it is possible to cope with the situation by enlarging the already recorded unit image. Therefore, an enlarged image can be provided quickly, and each time the camera unit 4 is designated. It is no longer necessary to take an image by controlling the image quality, and labor can be reduced.
[0081]
Also, in the imaging system 1, even when the image position is designated by the terminal device 9 connected via the network 8, the optimal unit image recorded in the server 53 is selected, and the selected unit image is selected. By generating and transmitting an enlarged image based on the above, a desired enlarged image can be simultaneously provided to a plurality of users.
[0082]
Incidentally, the above-described example is not limited to the case where the unit image having the shortest image center is selected for the specified image position, and the unit image may be selected by any other method.
[0083]
Further, in the above-described example, the case where the adjacent unit images are imaged while being shifted by a half picture frame in the horizontal and vertical directions has been described, but the present invention is not limited to such a case. As long as the photographing direction is controlled so that an overlapping area is generated between adjacent unit images, any unit image may be used, and the number of unit images adjacent to one unit image may be further increased.
[0084]
Incidentally, the imaging system 1 having the above configuration can be applied to the applications described below.
[0085]
The camera unit 2 and the electronic device 100 capture the whole image and the unit image according to the photographing angle of view and the photographing direction that can be requested by the user, and record them in the server 53 in advance, as described above. Further, the electronic device 100 reads a unit image from the server 53 in response to a request from the terminal device 9 and transmits the unit image to the terminal device 9.
[0086]
Each user who operates the terminal device 9 visually recognizes the entire image display unit 70 displayed on the terminal display 10, specifies a desired image position, and shoots images via the WIDE button 72 and the ZOOM button 73. The magnification is enlarged / reduced, and the photographing direction is designated via the photographing direction designation unit 75. The terminal device 9 transmits a unit image transmission request to the electronic device 100 according to the user's designation operation.
[0087]
The electronic device 100 reads a unit image recorded in the server 53 based on a unit image transmission request transmitted from the terminal device 9. For example, when a request signal for enlarging the imaging magnification is transmitted, a reading process is performed from the Layer in which a unit image having a large imaging angle of view is recorded, and this is transmitted to the terminal device 9. When a request signal for changing the shooting direction to the horizontal direction is displayed, the unit image on the coordinates shifted in the horizontal direction is read and transmitted to the terminal device 9. The unit image transmitted to the terminal device 9 is displayed on the enlarged image display unit 71.
[0088]
After visually recognizing the transmitted unit image, the user can request the electronic device 100 to change the shooting magnification and the shooting direction.
[0089]
That is, in this application, a unit image is recorded in the server 53 in advance for each shooting angle of view and shooting direction that may be requested by the user, and is recorded in the server 53 in response to a request from the user. The optimal unit images are sequentially read and transmitted to each terminal device 9. As a result, in the present invention, the user does not need to change the photographing magnification and photographing direction of the camera unit 4 each time based on the unit image transmission request transmitted from the terminal device 9, and as if the user himself / herself had the camera unit 4 Can be realized.
[0090]
Note that the camera unit 4 performs the above-described imaging at predetermined time intervals, so that the server 53 sequentially records the captured fresh images. Therefore, by accessing the electronic device 100, the user can acquire the unit image captured by the camera unit 4 in real time, without missing a shooting opportunity, and improving work efficiency.
[0091]
Further, the camera unit 4 performs imaging so that adjacent unit images have overlapping image regions, and the server 53 records unit images in which such overlapping image regions are formed in association with each other. Good. Thus, the user can shift the unit image displayed on the terminal device 9 at a fine pitch in a desired photographing direction, and can visually recognize a seamless enlarged image via the enlarged image display unit 71.
[0092]
By connecting a plurality of terminal devices 9 to the network 8, a plurality of users can pseudo-simultaneously control one camera unit 2. Incidentally, even if a plurality of users request to change to the same photographing magnification and photographing direction at the same time, it is possible to respond by transmitting the unit image recorded in the server 53 to the plurality of terminal devices 9. .
[0093]
Further, by accumulating the unit images sequentially recorded at predetermined time intervals in the server 53 over a long period of time, each user can also acquire the unit images taken in the past. Thus, in the imaging system 1 according to the present invention, by installing the camera unit 2 in a merchandise counter or the like of a department store, it is possible to apply the invention to the investigation of a theft case that occurred in the past.
[0094]
Note that the present invention is not limited to the above-described embodiment. For example, the number of unit images to be imaged in a layer having a small angle of view may be reduced to greatly reduce the image capturing time.
[0095]
As shown in FIG. 5, the number of captured unit images increases as Layern having a large angle of view and Layern + 1 and Layer + 2 have a small angle of view. That is, most of the photographing time is spent for photographing the unit image in Layer + 2 having a small photographing angle of view. For this reason, in the present invention, the imaging time is shortened by minimizing the imaging of the unit image in the Layer + 2.
[0096]
That is, the CPU 56 determines which of the unit images in Layer + 2 is to be imaged and which is to be skipped. In other words, the minimum necessary unit image to be imaged is selected from the unit images in Layer + 2. The selection of the unit image includes a method in which active movement of the subject is identified based on a difference between luminance components of images captured at different points in time, and a unit image including a region where motion is detected is preferentially selected. There is a method of preferentially selecting a unit image including a specified area.
[0097]
First, a procedure for preferentially selecting a unit image including a region in which a motion has been detected will be described with reference to FIG.
[0098]
First, in S51, the camera unit 4 executes the above-described imaging operation. In the imaging operation in step S51, the camera unit 4 only needs to be able to acquire the whole image in any of the layers, and does not need to acquire the whole image of the layer over several layers having different imaging angles of view. The camera unit 4 executes the acquisition of the whole image at predetermined time intervals. This makes it possible to acquire a plurality of whole images captured at different points in time for the same shooting range.
[0099]
Next, the process proceeds to step S52, and the arithmetic processing unit 15 displays the acquired entire image on the display screen 45. At this time, the whole image to be displayed may be displayed as a moving image.
[0100]
Next, the process proceeds to step S53, and the arithmetic processing unit 15 obtains a difference value of a luminance component between a plurality of whole images captured at different time points. The arithmetic processing unit 15 extracts, for example, two images of the newly acquired whole image and the whole image acquired immediately before the difference value of the luminance component, and obtains this for each pixel. As a result, the motion of an image area having a large difference value of the luminance component is detected as an area where the motion of the subject is active. On the other hand, an image area having a small difference value of the luminance component is not detected as a motionless area of the subject.
[0101]
Next, the process proceeds to step S54, and the arithmetic processing unit 15 determines a photographing region in which photographing is preferentially performed. In step S54, for example, the arithmetic processing unit 15 sets a predetermined threshold value in advance, and when the difference value of the obtained luminance component exceeds the threshold value, determines that the region is a motion-detected area. When the difference value of the luminance component is equal to or smaller than the threshold value, the region is determined to be a region where the subject does not move.
[0102]
Next, proceeding to step S55, the camera unit 4 captures a unit image in Layern having a large angle of view under the control of the arithmetic processing unit 15. In this step S55, imaging is performed so that all unit images constituting Layer can be obtained. Thus, since the whole image can be formed by pasting the unit images in the layer, the user can at least visually recognize the entire photographing range.
[0103]
Next, the process proceeds to step S56, and the camera unit 4 captures a unit image in Layern + 1. In step S56, the camera unit 4 may perform imaging so as to obtain all unit images constituting Layer + 1, or may obtain only unit images including a region where motion has been detected in step S54. The imaging may be performed so as to perform the imaging. After the imaging of the unit image in Layern + 1 is completed, the process proceeds to step S57.
[0104]
In step S57, the camera unit 4 captures a unit image in Layer + 2. At this time, in step S57, the arithmetic processing unit 15 selects a minimum necessary unit image to be captured. In the selection of the unit image, the unit image including the above-described motion-detected area is preferentially performed.
[0105]
That is, in step S56 to step S57, by selecting a unit image including the area in which the motion is detected, and performing imaging only on the selected unit image, the number of captured unit images can be reduced. In particular, when the shooting angle of view is small, the rate of capturing the movement of the subject is reduced as compared with the case where the shooting angle of view is large, so that the number of unit images to be selected can be minimized. In other words, the number of shots can be gradually reduced as the shooting angle of view progresses to Layern + 1 and Layer + 2. For this reason, the number of captured unit images in Layer + 2 having a small capturing angle of view can be minimized, and as a result, the capturing time can be reduced.
[0106]
In addition, since the area where the motion is detected is also an area that the user who monitors the inside of the shooting range by the monitoring system 1 particularly wants to display the image via the enlarged image display unit 71, the unit image having a small shooting angle of view is taken in advance. Therefore, it is necessary to record the data in the server 53. Therefore, by executing imaging in Layer + 2 only for a unit image including such an area, it is possible to provide a high-quality enlarged image desired by the user while securing a minimum necessary unit image.
[0107]
For example, when the number of unit images constituting Layer 1, Layer 2, and Layer 3 is 3, 190, and 3400, respectively, in order from the wide-angle Layer having a large angle of view, conventionally, all images can be captured. Spent more time. However, in the imaging system 1 to which the present invention is applied, by reducing the number of unit images constituting the Layer 3 to, for example, one to several thousands, the shooting time can be reduced to five to two hours.
[0108]
In the above-described procedure, the case where the difference value of the luminance component is obtained based on the acquired entire image has been described. However, the present invention is not limited to such a case. For example, the difference of the luminance component between the unit images in each Layer is described. The value may be obtained.
[0109]
Next, a procedure for preferentially selecting a unit image including an area designated by the user will be described with reference to FIG.
[0110]
First, in step S61, the camera unit 4 performs the same imaging operation as in step S51.
[0111]
Next, the process proceeds to step S62, and the arithmetic processing unit 15 prompts the user to specify a desired image area via the display screen 45. The user specifies an image area desired to be photographed using the operation unit 16.
[0112]
Next, the process proceeds to step S63, and the arithmetic processing unit 15 determines a shooting area in which imaging is preferentially performed, based on the image area specified in step S62.
[0113]
Next, the process proceeds to step S64, and the camera unit 4 captures a unit image in Layern having a large angle of view under the control of the arithmetic processing unit 15. In step S65, as in step S55 described above, imaging is performed so that all unit images constituting Layer can be obtained. Thus, since the whole image can be formed by pasting the unit images in this layer, the user can at least visually recognize the entire photographing range.
[0114]
Next, the process proceeds to step S65, and the camera unit 4 captures a unit image at Layer + 1. In step S65, the camera unit 4 may perform imaging so as to acquire all unit images constituting Layer + 1, or may preferentially give priority to the unit image including the imaging region determined in step S63. Imaging may be performed so that it can be acquired. After the imaging of the unit image in Layer + 1 is completed, the process proceeds to step S66.
[0115]
In step S66, the camera unit 4 captures a unit image in Layer + 2. At this time, the arithmetic processing unit 15 selects the minimum necessary unit image to be captured in this step S66. In the selection of the unit image, the unit image including the imaging region determined in step S63 is preferentially performed.
[0116]
That is, in steps S65 to S66, by selecting a unit image including an area designated by the user and executing imaging only for the selected unit image, the number of imaged unit images can be similarly reduced.
[0117]
As described in detail above, in the imaging system 1 to which the present invention is applied, the entire image including a plurality of unit images is captured by sequentially changing the shooting direction at two or more different shooting angles of view. Are generated at a predetermined time interval, and are layered for each shooting angle of view, and are recorded in the server 53. The luminance components of two whole images recorded at different points of time recorded in the server 53 are compared. Then, based on this, a unit image to be picked up is selected from the unit images in Layern + 1, Layern + 2, etc., having a small angle of view. In the imaging apparatus and method to which the present invention is applied, a unit image including an image area designated by a user is selected as a unit image to be imaged from unit images in Layern + 1, Layern + 2, and the like having a small angle of view.
[0118]
Thereby, in the imaging system 1 to which the present invention is applied, a plurality of users can enlarge or reduce a desired image area while maintaining a fine image quality, and further minimize the number of image pickups of unit images. As a result, it is possible to greatly reduce the photographing time.
[0119]
Note that the present invention may, of course, be applied to a program for causing a computer to execute the above-described processing, or a recording medium on which the program is recorded.
[0120]
【The invention's effect】
As described above in detail, in the imaging apparatus and method to which the present invention is applied, the entire image including a plurality of unit images is captured by sequentially changing the shooting direction at two or more different shooting angles of view. An image is generated at a predetermined time interval, the image is hierarchized for each shooting angle of view, and recorded on a recording medium, and the luminance components of two entire images recorded at different times recorded on the recording medium are calculated. The unit images are compared, and based on this, a unit image to be picked up is selected from the unit images with a small angle of view. Further, in the imaging apparatus and the method to which the present invention is applied, a unit image including an image region designated by the user is selected as a unit image to be captured from unit images having a smaller angle of view.
[0121]
Thereby, in the imaging apparatus and method to which the present invention is applied, a plurality of users can enlarge or reduce a desired image area while maintaining a fine image quality, and furthermore, minimize the number of captured unit images. As a result, the photographing time can be significantly reduced.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an imaging system to which the present invention is applied.
FIG. 2 is a block diagram of a camera unit and an electronic device.
FIG. 3 is a diagram for describing a case where a camera unit captures an image within a shooting range indicated by a black frame at a shooting angle of view u.
FIG. 4 is a diagram showing a configuration example of a display screen on a display.
FIG. 5 is a diagram illustrating an example in which imaging is executed by controlling the imaging directions at two or more different imaging angles of view in the same imaging range.
FIG. 6 is a diagram illustrating an example in which imaging is performed with the magnification of a layer set to 1, 2, 4, and 8 times in order.
FIG. 7 is a flowchart illustrating a procedure of capturing a unit image for each layer.
FIG. 8 is a flowchart illustrating a procedure from receiving a designation operation by a user to displaying an enlarged image.
FIG. 9 is a diagram illustrating an example in which one layer is selected from each layer recorded in a hierarchical manner.
FIG. 10 is a diagram illustrating an example of executing an enlargement process on an extracted selected area.
FIG. 11 is a diagram illustrating an example in which imaging is executed by controlling the imaging direction so that overlapping areas are generated.
FIG. 12 is a diagram illustrating an example of an enlarged image displayed on an enlarged image display unit when a shooting direction is controlled so that overlapping regions are generated.
FIG. 13 is a flowchart illustrating a procedure until an enlarged image is displayed when an image position is designated by a user.
FIG. 14 is a diagram for describing an example of selecting a unit image having the shortest image center for a specified image position.
FIG. 15 is a flowchart illustrating a procedure for preferentially selecting a unit image including a region in which a motion is detected.
FIG. 16 is a flowchart illustrating a procedure for preferentially selecting a unit image including an area designated by a user.
[Explanation of symbols]
Reference Signs List 1 imaging system, 2 camera unit, 3 pan-tilt unit, 4 camera unit, 6 display, 8 network, 9 user terminal, 10 terminal display, 11 network server, 21 controller bus, 22 lens unit, 23 lens control unit, 24 imaging unit , 25 IEEE 1394 interface, 28 GPS receiver, 29 metadata generator, 51 buffer memory, 52 encoder, 53 server, 54 image compressor, 55 graphic controller, 56 CPU, 58 I / O port, 59 keyboard, 60 mouse, 61 memory card, 62 clock, 100 electronic equipment

Claims (12)

異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成する撮像手段と、
撮像された単位画像を上記撮影画角毎に階層化して記録媒体へ記録する記録手段と、
上記記録媒体に記録されている、互いに異なる時点で生成された２つの全体画像の輝度成分を比較する比較手段とを備え、
上記撮像手段は、上記比較手段により比較された輝度成分に応じて、撮影画角のより小さい単位画像から、撮像する単位画像を選択すること
を特徴とする撮像装置。An imaging unit configured to generate an entire image including a plurality of unit images at predetermined time intervals by sequentially changing a shooting direction at two or more different shooting angles of view and shooting a shooting range;
Recording means for layering the captured unit image for each shooting angle of view and recording it on a recording medium,
Comparing means for comparing the luminance components of two whole images generated at different times recorded on the recording medium,
The image pickup apparatus, wherein the image pickup means selects a unit image to be picked up from unit images having a smaller angle of view according to the luminance component compared by the comparison means. 上記比較手段は、２つの全体画像の輝度成分の差分値を演算し、
上記撮像手段は、上記比較手段により演算された差分値に基づいて、上記撮像する単位画像を選択すること
を特徴とする請求項１記載の撮像装置。The comparing means calculates a difference value between luminance components of the two whole images,
2. The image pickup apparatus according to claim 1, wherein the image pickup unit selects the unit image to be picked up based on the difference value calculated by the comparison unit. 上記撮像手段は、上記比較手段により演算された差分値が所定の閾値を超える画像領域を含む単位画像を選択すること
を特徴とする請求項１記載の撮像装置。The imaging apparatus according to claim 1, wherein the imaging unit selects a unit image including an image region in which a difference value calculated by the comparison unit exceeds a predetermined threshold. 上記撮像手段は、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像すること
を特徴とする請求項１記載の撮像装置。2. The image pickup apparatus according to claim 1, wherein the image pickup means picks up the image pickup range by sequentially changing the image pickup directions so that overlapping image areas are generated. 異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成する撮像手段と、
撮像された単位画像を上記撮影画角毎に階層化して記録媒体へ記録する記録手段と、
上記全体画像を表示する全体画像表示手段と、
上記全体画像表示手段に表示される全体画像において、ユーザが画像領域を指定するための指定手段とを備え、
上記撮像手段は、撮影画角のより小さい単位画像から、撮像する単位画像として、上記指定手段により指定された画像領域を含む単位画像を選択すること
を特徴とする撮像装置。An imaging unit configured to generate an entire image including a plurality of unit images at predetermined time intervals by sequentially changing a shooting direction at two or more different shooting angles of view and shooting a shooting range;
Recording means for layering the captured unit image for each shooting angle of view and recording it on a recording medium,
Whole image display means for displaying the whole image,
In the whole image displayed on the whole image display means, a designation means for a user to designate an image area is provided,
The imaging apparatus according to claim 1, wherein the imaging unit selects a unit image including an image area specified by the specifying unit as a unit image to be imaged from unit images having a smaller angle of view. 拡大画像を表示する拡大画像表示手段をさらに備え、
上記制御手段は、上記指定手段により指定された画像領域に応じて、上記記録媒体から単位画像を選択し、当該選択した単位画像に基づき上記拡大画像を生成して、これを表示すること
を特徴とする請求項５記載の撮像装置。Further provided is an enlarged image display means for displaying an enlarged image,
The control means selects a unit image from the recording medium according to the image area specified by the specifying means, generates the enlarged image based on the selected unit image, and displays the enlarged image. The imaging device according to claim 5, wherein 異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成し、
撮像した単位画像を上記撮影画角毎に階層化して記録媒体へ記録し、
上記記録媒体に記録されている互いに異なる時点で生成された２つの全体画像の輝度成分を比較し、
比較した輝度成分に応じて、撮影画角のより小さい単位画像から、撮像する単位画像を選択すること
を特徴とする撮像方法。By sequentially changing the photographing direction and photographing the photographing range at two or more different photographing angles of view, an entire image composed of a plurality of unit images is generated at predetermined time intervals,
The captured unit images are hierarchized for each shooting angle of view and recorded on a recording medium,
Comparing the luminance components of the two entire images recorded at different times recorded on the recording medium,
An imaging method, wherein a unit image to be imaged is selected from unit images having a smaller angle of view according to the compared luminance components. ２つの全体画像の輝度成分の差分値を演算し、
演算した差分値に基づいて、上記撮像する単位画像を選択すること
を特徴とする請求項７記載の撮像方法。Calculate the difference between the luminance components of the two whole images,
The imaging method according to claim 7, wherein the unit image to be captured is selected based on the calculated difference value. 演算した差分値が所定の閾値を超える画像領域を含む単位画像を選択すること
を特徴とする請求項７記載の撮像方法。8. The imaging method according to claim 7, wherein a unit image including an image region in which the calculated difference value exceeds a predetermined threshold is selected. 互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像すること
を特徴とする請求項７記載の撮像方法。The imaging method according to claim 7, wherein the imaging range is imaged by sequentially changing the imaging direction so that overlapping image regions are generated. 異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成し、
撮像した単位画像を上記撮影画角毎に階層化して記録媒体へ記録し、
上記全体画像を表示し、
上記撮像手段は、撮影画角のより小さい単位画像から、撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を選択すること
を特徴とする撮像方法。By sequentially changing the photographing direction and photographing the photographing range at two or more different photographing angles of view, an entire image composed of a plurality of unit images is generated at predetermined time intervals,
The captured unit images are hierarchized for each shooting angle of view and recorded on a recording medium,
Display the whole image above,
An imaging method, wherein the imaging means selects a unit image including an image region designated by a user as a unit image to be imaged from unit images having a smaller angle of view. 指定された画像領域に応じて、上記記録媒体から単位画像を選択し、当該選択した単位画像を拡大してこれを表示すること
を特徴とする請求項１１記載の撮像方法。12. The imaging method according to claim 11, wherein a unit image is selected from the recording medium in accordance with a designated image area, and the selected unit image is enlarged and displayed.
JP2003056242A 2003-03-03 2003-03-03 Imaging apparatus and method Expired - Fee Related JP4127080B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003056242A JP4127080B2 (en) 2003-03-03 2003-03-03 Imaging apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003056242A JP4127080B2 (en) 2003-03-03 2003-03-03 Imaging apparatus and method

Publications (2)

Publication Number Publication Date
JP2004266668A true JP2004266668A (en) 2004-09-24
JP4127080B2 JP4127080B2 (en) 2008-07-30

Family

ID=33120020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003056242A Expired - Fee Related JP4127080B2 (en) 2003-03-03 2003-03-03 Imaging apparatus and method

Country Status (1)

Country Link
JP (1) JP4127080B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015098110A1 (en) * 2013-12-27 2015-07-02 パナソニックＩｐマネジメント株式会社 Imaging device, imaging system, and imaging method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015098110A1 (en) * 2013-12-27 2015-07-02 パナソニックＩｐマネジメント株式会社 Imaging device, imaging system, and imaging method
US9826146B2 (en) 2013-12-27 2017-11-21 Panasonic Intellectual Property Management Co., Ltd. Video capturing apparatus, video capturing system and video capturing method

Also Published As

Publication number Publication date
JP4127080B2 (en) 2008-07-30

Similar Documents

Publication Publication Date Title
US7459685B2 (en) Imaging device and method, computer program product on computer-readable medium, and imaging system
US9734680B2 (en) Monitoring system, monitoring method, computer program, and storage medium
KR101029202B1 (en) Monitoring device and monitoring method using panorama image
JP2006013923A (en) Surveillance apparatus
JP2006333133A (en) Imaging apparatus and method, program, program recording medium and imaging system
JP4378636B2 (en) Information processing system, information processing apparatus, information processing method, program, and recording medium
JP4736381B2 (en) Imaging apparatus and method, monitoring system, program, and recording medium
JP3968665B2 (en) Imaging apparatus, information processing apparatus, information processing method, program, and program recording medium
JP4583717B2 (en) Imaging apparatus and method, image information providing system, program, and control apparatus
JP2006238326A (en) Camera device system and photographed moving image reproduction method
JP3994469B2 (en) Imaging device, display device, and recording device
JP3841033B2 (en) Monitoring system and method, program, and recording medium
JP2004228711A (en) Supervisory apparatus and method, program, and supervisory system
JP4001233B2 (en) Panorama shooting method and image processing apparatus and image pickup apparatus capable of using the method
JP4172352B2 (en) Imaging apparatus and method, imaging system, and program
JP3948050B2 (en) Imaging, storage, processing, display, playback, transmission device and recording medium
JP4127080B2 (en) Imaging apparatus and method
JP4211377B2 (en) Image signal processing device
JP2004241834A (en) Moving picture generating apparatus and method, moving picture transmission system, program, and recording medium
JP4333255B2 (en) Monitoring device
JP2005348449A (en) Imaging, displaying, recording, reproducing, transmitting device and recording medium
JP2004194112A (en) Image signal processing apparatus
JP2004194114A (en) System for providing image information
JP3991816B2 (en) Monitoring system and method, program, and recording medium
JP2003324723A (en) Monitoring system and method, program, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Effective date: 20050714

Free format text: JAPANESE INTERMEDIATE CODE: A621

A977 Report on retrieval

Effective date: 20070904

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070925

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080422

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080505

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees