JP3969172B2

JP3969172B2 - Monitoring system and method, program, and recording medium

Info

Publication number: JP3969172B2
Application number: JP2002130761A
Authority: JP
Inventors: 裕之長谷川; 秀樹浜; 大根津; 武義黒谷; 正昭紅林
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-05-02
Filing date: 2002-05-02
Publication date: 2007-09-05
Anticipated expiration: 2022-05-02
Also published as: JP2003324723A

Description

【０００１】
【発明の属する技術分野】
この発明は、監視カメラ等に適用されるモニタリングシステムおよび方法並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
従来、広範囲の状況を監視するモニタリングシステムが使用されている。例えば海上監視、河川監視、立ち入り監視区域のモニタリング、野生動物の行動観察等にモニタリングシステムが使用される。広範囲の画像を撮影する必要上、画素数が非常に多いビデオカメラを使用していた。そのために、システムの価格が高くなり、コストの面で問題があった。これに対して、カメラの撮影範囲を順にずらせながら、静止画像を撮影し、多数の静止画像を連結することで、モニタリングしようとする範囲の画像を生成することが提案されている。この場合では、全体画像として、極めて高解像度の画像を得ることができる。したがって、全体画像中の一部分の拡大画像を得る場合に、拡大画像自体の解像度が高く、鮮明な画像を得ることができる。
【０００３】
モニタリングする範囲を広くする必要からカメラの可動範囲は、例えば１８０°、３６０°等の極めて広い範囲が設定されている。この広い範囲でカメラの撮影方向を切り替え、各撮影方向で静止画像を取得し、パノラマ状の全体画像を形成するようにしている。
【０００４】
【発明が解決しようとする課題】
撮影範囲を広く設定することは、広範囲の全体画像を構成する静止画像の枚数が増えることになり、画像取得のための時間が長くなり、全体画像を取得する周期が長くなる問題が生じる。実際に監視したいエリアは，限定された範囲であることが多い。また、モニタリングシステムは、夜間等の人間が肉眼で見えない場合でも使用できることが好ましい。例えば赤外線カメラを使用して暗視での撮影が可能となる。しかしながら、一般的には、撮影された画像は、暗く、判明しにくいものであった。このために、撮影画像を参照してカメラの向きを所望の方向に向けたり、撮影画像中の任意の点または領域を拡大させたりする場合には、撮影画像が暗いので、操作性が悪い問題があった。
【０００５】
従って、この発明の目的は、実際に必要なエリアをモニタリングすることに適し、また、撮影画像が暗いような環境下でも、カメラの向きを制御する等の操作を比較的容易に行うことができるモニタリングシステムおよび方法並びにプログラムおよび記録媒体を提供することにある。
【０００６】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、映像を撮影する撮像部と、撮像部の撮像方向を可変する撮像方向可変部と、画像データを蓄積する蓄積部と、表示部と、撮像方向可変部の最大可動範囲内の所定の可動範囲において、各撮像方向で撮像された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積し、原画像または圧縮画像をさらに圧縮して生成されたパノラマ状の全体画像を表示部に表示する制御部とを有し、予め任意の時間に撮像方向を最大可動範囲にわたって変化させたときに撮像した複数枚の静止画像から、全体画像に比してより圧縮した可動範囲画像を生成し、表示部に可動範囲画像を表示し、可動範囲画像内の所望の位置を指示することによって、指示された位置の方向に撮像方向を制御し、指示された位置を基準として取り込まれた可動範囲画像中の複数枚の静止画像からなる全体画像を表示部に表示し、全体画像を構成する静止画像の枚数をユーザ操作によって設定するようにしたモニタリングシステムである。
【０００７】
請求項３の発明は、撮像部の撮像方向を可変する撮像方向可変部の最大可動範囲内の所定の可動範囲において、各撮像方向で撮像された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積し、原画像または圧縮画像をさらに圧縮して生成されたパノラマ状の全体画像を表示するモニタリング方法であって、予め任意の時間に撮像方向を最大可動範囲にわたって変化させたときに撮像した複数枚の静止画像から、全体画像に比してより圧縮した可動範囲画像を生成し、可動範囲画像を表示するステップと、可動範囲画像内の所望の位置を指示し、指示した位置を基準として取り込まれる静止画像の枚数を設定することによって、指示された位置の方向に撮像方向を制御し、指示された位置を基準として取り込まれた複数枚の静止画像から構成される全体画像を表示するステップとからなるモニタリング方法である。
【０００８】
請求項５の発明は、撮像部の撮像方向を可変する撮像方向可変部の最大可動範囲内の所定の可動範囲において、各撮像方向で撮像された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積し、原画像または圧縮画像をさらに圧縮して生成されたパノラマ状の全体画像を表示するモニタリング方法をコンピュータに実行させるためのプログラムであって、予め任意の時間に撮像方向を最大可動範囲にわたって変化させたときに撮像した複数枚の静止画像から、全体画像に比してより圧縮した可動範囲画像を生成し、可動範囲画像を表示するステップと、可動範囲画像内の所望の位置を指示し、指示した位置を基準として取り込まれる静止画像の枚数を設定することによって、指示された位置の方向に撮像方向を制御し、指示された位置を基準として取り込まれた複数枚の静止画像から構成される全体画像を表示するステップとをコンピュータに実行させるためのプログラムである。
【０００９】
請求項６の発明は、撮像部の撮像方向を可変する撮像方向可変部の最大可動範囲内の所定の可動範囲において、各撮像方向で撮像された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積し、原画像または圧縮画像をさらに圧縮して生成されたパノラマ状の全体画像を表示するモニタリング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、予め任意の時間に撮像方向を最大可動範囲にわたって変化させたときに撮像した複数枚の静止画像から、全体画像に比してより圧縮した可動範囲画像を生成し、可動範囲画像を表示するステップと、可動範囲画像内の所望の位置を指示し、指示した位置を基準として取り込まれる静止画像の枚数を設定することによって、指示された位置の方向に撮像方向を制御し、指示された位置を基準として取り込まれた複数枚の静止画像から構成される全体画像を表示するステップとをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１０】
全体画像を取得する場合、最大可動範囲にわたって撮像部を動かすのと異なり、全体画像を取得する周期が長くなることを防止できる。また、最大可動範囲にわたって撮像部を動かした時の可動範囲画像を表示するので、所望のエリアの画像を得るための撮影方向を容易に設定することができ、たとえ、撮影されている画像が暗い場合でも、容易に撮像方向を設定することができ、操作性を向上できる。
【００１１】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態の概略的な構成を示す。ディスプレイ２が接続されているコンピュータ１は、カメラユニット３を制御する。図１の例は、１台のコンピュータ１が２台のカメラユニット３を制御し、また、ディスプレイ２’を有する他のコンピュータ１’が他のカメラユニット３’を制御するシステムの例である。１台のコンピュータが複数台のカメラユニットを制御できる。
【００１２】
カメラユニット３は、パンチルタ部４とカメラ部５が一体的に構成されたものである。カメラユニット３は、遠方の対象領域を撮影可能なように設置される。一例として、カメラ部５は、倍率が１０倍、７０倍等の望遠レンズを有し、数十メートルから数キロメートル離れた場所を撮影可能とされている。
【００１３】
カメラ部５は、例えば外部からのトリガーと同期してシャッターをオンできるディジタルスチルカメラであり、その撮影素子例えばＣＣＤは、ＶＧＡ（VideoGraphics Array,640ｘ480 画素）、ＸＧＡ（eXtended Graphics Array,1024ｘ768 画素）、ＳＸＧＡ（Super eXtended Graphics Array,1280 ｘ1024画素）等の画素数を有する。ＶＧＡの撮像素子の場合では、３０ｆｐｓ（フレーム／秒）のレートで画像データが出力され、ＸＧＡの撮像素子の場合では、１５ｆｐｓ（フレーム／秒）のレートで画像データが出力され、ＳＸＧＡの撮像素子の場合では、７．５ｆｐｓ（フレーム／秒）のレートで画像データが出力される。
【００１４】
映像データは、カメラユニット３からコンピュータ１に対してバス６を介して伝送される。バス６は、映像データの伝送路とカメラユニット３の制御信号とを伝送する。上述した構成は、コンピュータ１’とカメラユニット３’とに関しても同様である。
【００１５】
コンピュータ１，１’では、カメラユニット３，３’からの映像データをメモリに蓄積し、後述するように、操作用のＧＵＩ(Graphical User Interface)を構成し、ユーザが所望の対象領域の画像をカメラユニット３，３’で撮影できるように、カメラユニット３，３’を制御できる。圧縮符号化例えばＪＰＥＧ（Joint Photographic Experts Group) によって撮影画像が圧縮される。
【００１６】
コンピュータ１および１’は、ＬＡＮ７で互いに接続されている。ＬＡＮ７に対してさらに他のコンピュータ８が接続されている。参照符号９は、コンピュータ８のディスプレイである。コンピュータ８は、ＬＡＮ７を介してコンピュータ１，１’からの画像データ等を受取り、アーカイブ１０に対して映像データを蓄積し、さらに、画像データの処理を行う。例えば映像データを使用して顔認識、荷物認識、環境認識、車認識等の処理がなされる。アーカイブ１０は、テープストリーマーのような大量のデータを蓄積できるものである。
【００１７】
図２は、上述したモニタリングシステムにおけるコンピュータ１とカメラユニット３の部分のより詳細な構成を示す。図２の例では、参照符号２１で示す共通のコントローラバス２１に対して、カメラユニットおよびコンピュータの構成要素が接続されている。
【００１８】
パンチルタ部は、パン部４ａとチルト部４ｂからなる。パン部４ａおよびチルト部４ｂは、それぞれ駆動源として例えばステッピングモータを有し、コントローラバス２１を介してコントローラＣＰＵ３３から供給される制御信号に応じてカメラ部をパンまたはチルトさせる。パンチルタ部上にカメラ部が載置されている。ここで、パンは、水平方向にカメラを回転させることを意味し、チルトは、垂直方向にカメラを回転させることを意味する。一例として、パン角の最大値が１８０°とされ、チルト角の最大値が５０°とされている。
【００１９】
後述するように、カメラ部の最大移動範囲内で、チルト角＝±１５°、パン角＝±５０°程度の範囲でカメラ部を移動させる。撮像中心を画角分移動させる毎に、シャッターがオンされ、静止画像（以下、適宜フレームと称する）が撮影される。縦方向でＭ（例えば８枚）で、横方向でＮ（例えば１６枚）の合計（Ｍ×Ｎ＝８×１６＝１２８枚）のフレームが順番に撮影され、これらを圧縮すると共に連結させて１枚の全体画像を形成する。各フレームが例えばＸＧＡ（1024ｘ768 画素）画像である。したがって、１２８枚のフレームは、重複部分を無視すると、(横方向が1024×16＝16,384画素で、縦方向が768×8＝6,144画素）の約１億画素の画像を形成する。１２８枚のフレームを撮影するのに約５秒かかる。重複部分は、例えば縦横のそれぞれで１６画素とされる。
【００２０】
カメラ部は、ディジタルスチルカメラの構成とされ、レンズ部２２とフォーカス・ズーム・アイリス制御部２３と撮像部２４とからなる。フォーカス・ズーム・アイリス制御部２３は、コントローラバス２１を介してコントローラＣＰＵ３３から供給される制御信号によって制御される。撮像部２４は、固体撮像素子例えばＣＣＤとカメラ信号処理回路とを含む。撮像部２４からのディジタル映像信号がＩＥＥＥ(Institute of Electrical and Electronics Engineers) １３９４のインターフェース２５を介してバッファメモリ２６に書き込まれる。
【００２１】
バッファメモリ２６の出力データがＪＰＥＧエンコーダ／メタデータ付加部２７に供給され、画像データがＪＰＥＧデータに変換される。ＪＰＥＧは、圧縮方式の１つであって、他の圧縮方式を使用しても良いし、圧縮しないでも良い。
【００２２】
カメラユニット３には、その位置を検出するためのＧＰＳ(Global Positioning System) ２８が備えられている。ＧＰＳ２８を備えることによって、カメラの設置場所のデータを記録できると共に、カメラの向きを検出し、複数のカメラの向きを連動して制御することが可能となる。ＧＰＳ２８は、コントローラバス２１を介してコントローラＣＰＵ３３から供給される制御信号によって制御される。
【００２３】
ＧＰＳ２８の出力信号がメタデータ生成部２９に供給され、ＧＰＳ２８の測位結果に基づいた位置情報（緯度・経度、方位、高度等の情報）およびメタデータ（時刻、カメラ部のパラメータ（倍率、フォーカス値、アイリス値等）等の情報）が生成される。位置情報およびメタデータがＪＰＥＧエンコーダ／メタデータ付加部２７に供給され、ＪＰＥＧデータに対して位置情報およびメタデータが付加される。
【００２４】
メタデータおよび位置情報が付加されたＪＰＥＧデータがハードディスク等のメインメモリ３０に蓄積されると共に、グラフィックコントローラ３１および画像圧縮部３２に供給される。この明細書では、メインメモリ３０に対する蓄積を記録と呼び、メインメモリ３０からデータを読み出すことを再生と呼ぶことにする。また、メインメモリ３０を介さないで現に撮影中の画像を表示することをライブモードと称し、過去に記録されたデータをメインメモリ３０から再生して表示することをビューモードと称する。
【００２５】
メインメモリ３０は、サーバとしての機能を有する。例えばＸＧＡの画像をＪＰＥＧで圧縮した結果、１枚のフレームのデータ量は、１００ｋバイトとなり、１２８枚の画像で１２．８Ｍバイトのデータ量である。メインメモリ３０が８０Ｇバイト程度の容量を有していれば、１日分のＪＰＥＧデータを保存することが可能である。ビューモードにおいては、メインメモリ３０に限らず、アーカイブ等の蓄積装置に蓄積されているより旧いデータを再生することを可能とされている。
【００２６】
メインメモリ３０から読み出されたＪＰＥＧデータがグラフィックコントローラ３１に供給される。画像圧縮部３２は、ＪＰＥＧエンコーダ／メタデータ付加部２７からのＪＰＥＧデータ、またはメインメモリ３０から読み出されたＪＰＥＧデータから圧縮画像またはサムネイルを生成する。例えば縦方向および横方向のそれぞれが間引かれることで、パノラマ状の全体画像が形成される。また、後述する可動範囲画像を形成するための圧縮処理も、画像圧縮部３２においてなされる。上述したように、ＸＧＡの場合では、約１億画素のデータがＪＰＥＧ圧縮と画像圧縮部３２の処理によって、（400×1000画素）のようなパノラマ状の全体画像が形成される。可動範囲画像もサムネイルであるが、全体画像よりもさらに粗い画像である。
【００２７】
グラフィックコントローラ３１は、ＪＰＥＧデータをビットマップデータへ変換し、ディスプレイ２の画面上に所望の画像表示がなされるようなグラフィックス処理を行う。すなわち、可動範囲画像表示、全体画像表示、選択画像表示、ボタン等のＧＵＩ表示がディスプレイ２の画面上でなされる。表示の詳細については、後述する。
【００２８】
また、グラフィックコントローラ３１は、画像処理を行い、画像変化を検出する。画像変化は、リファレンス画像に対して生じた変化である。例えばビューモードにおいて、以前に蓄積されたリファレンス画像との比較がなされ、画像変化が検出される。リファレンス画像として、前日の所定時刻の画像を設定し、それ以降に蓄積された画像とリファレンス画像との画素の差分を検出し、画素の差分の絶対値が所定値以上の場合を変化が生じたものと検出する。差分の検出としては、比較しようとする画像とリファレンス画像との空間的同一位置のフレーム毎に同一位置の画素の差分値を演算する方法が使用できる。全画素に関する差分を検出するのに代えて、代表画素または間引かれた画素に関して差分を演算しても良い。また、所定の色を限定することによって、所定の色の物体に着目した変化検出を行うことも可能である。
【００２９】
変化が検出されると、ディスプレイ２上の表示でアラーム例えば変化が検出されたフレームを他のフレームと区別できる表示がなされる。具体的には、輝度変化、色変化、ブリンク等の方法でアラームを表示できる。リファレンス画像は、蓄積されている画像の中で、所定のものを任意に選択することが可能とされている。
【００３０】
上述したように、コントローラバス２１に接続されたコントローラＣＰＵ３３は、カメラ部のレンズ制御（例えば、フォーカス等）、露出制御（例えば、絞り、ゲイン、電子シャッタースピード等）、白バランス制御、画質制御等を行うと共に、パン部４ａおよびチルト部４ｂを制御する。
【００３１】
参照符号３４は、Ｉ／Ｏポートである。Ｉ／Ｏポート３４に対しては、キー３５およびマウス３６が接続され、また、Ｉ／Ｏポート３４に対しては、メモリカード３７および時計３８が接続されている。メモリカード３７に対して、メインメモリ３０に蓄積されている位置情報およびメタデータが付加されたＪＰＥＧデータを書き込むことができる。また、時計３８から時刻データが得られる。
【００３２】
なお、図２では、コントローラバス２１に対して各構成要素が接続されているが、カメラユニットとコンピュータとを離れた場所に設置し、両者をＩＥＥＥ１３９４、ＵＳＢ等で接続するようにしても良い。この場合、物理的伝送路としては、光ファイバが使用される。光ファイバを使用すれば、数百メートルから数キロメートル程度カメラユニットと制御用のコンピュータとを離して配置できる。さらに、両者を無線ＬＡＮで接続しても良い。
【００３３】
図３に、この発明の一実施形態によるＧＵＩの画面例を示す。以下、この図３を参照しながら、この発明の一実施形態によるＧＵＩの画面に備えられた表示部、操作ボタンおよび表示領域などについて説明する。１画面には、可動範囲画像表示部１０１、全体画像表示部１０２および選択画像表示部１０３が配置されている。
【００３４】
可動範囲画像表示部１０１には、可動範囲画像が表示される。可動範囲画像とは、カメラユニットが撮影可能な最大範囲を示す画像であり、複数枚のフレームにより構成される。上述したように、パン角の最大値が１８０°とされ、チルト角の最大値が５０°とされており、この最大可動範囲で撮影された複数フレームから可動範囲画像が生成される。例えばカメラユニットを設置し、撮影開始時において、カメラを最大可動範囲にわたって動かし、その結果得られる複数フレームで構成される画像に関して縦および横方向に画素を間引いたサムネイルが可動範囲画像として使用される。
【００３５】
この可動範囲画像表示部１０１には、カメラユニットのレンズの光軸が現在撮影している位置（Camera live position）が線分１０１ａ、線分１０１ｂとの交点により示される。この線分１０１ａ、１０１ｂを動かすことで、可動範囲画像内の所望の位置を指示でき、指示された位置の方向に撮像方向を制御することができる。そして、指示された位置の方向をセンターまたはホームポジションとして、所定の可動範囲において、（Ｍ×Ｎ）枚のフレーム（静止画像）が撮影され、蓄積され、または表示される。線分１０１ａ、１０１ｂに限らず、可動範囲画像表示部１０１に表示された表示画面上の任意の位置をカーソル等のポインタにより指示すると、この指示に対応した位置にカメラユニットのレンズの光軸が向くように、カメラユニットを制御しても良い。
【００３６】
また、全体画像表示部１０２には、パノラマ状の全体画像が表示される。全体画像は、撮影された原画像に対応するＪＰＥＧデータを画像圧縮部３２によって圧縮した画像である。表示されている全体画像を見ることで、モニタリングを行うことができる。さらに、前述したように、画像変化が検出されると、全体画像表示部１０２に表示されている全体画像中で変化が検出されたフレームが他のフレームと異なる表示とされるアラームが発生する。
【００３７】
選択画像表示部１０３には、選択画像が表示される。選択画像は、全体画像の一部を拡大した画像である。全体画像中で指示された位置の例えばフレームが選択画像として表示される。圧縮されていない１フレームの原画像を表示することで拡大することができる。さらに、ディジタル信号処理によって画像を拡大することもできる。
【００３８】
ＥＸＩＴボタン１０４は、モニタリングシステムの電源をオフするためのボタンである。Camera system ＯＦＦボタン１０５は、カメラユニットの電源をオフするためのボタンである。
【００３９】
ＶＩＥＷＭＯＤＥボタン１０６は、モニタリングシステムのモードをビューモードに切り換えるためのボタンである。ビューモードとは、メモリ３０または他のサーバに蓄積された画像データに基づき、全体画像および部分画像を表示するモードである。
【００４０】
ＬＩＶＥＭＯＤＥボタン１０７は、モニタリングシステムのモードをライブモードに切り換えるためのボタンである。ライブモードとは、カメラユニットが現在撮影しているフレームに基づき、全体画像および部分画像を表示するモードである。
【００４１】
Ｃｏｍｐａｓ表示領域１０８は、カメラのレンズの光軸が向いている方向を示すコンパスを表示するための領域である。ＧＰＳＤａｔａ表示領域１０９は、カメラが設置されている場所の緯度、軽度および高度と、撮影の日時とを表示すための領域である。なお、この領域１０８および１０９に表示されるデータは、カメラユニットに備えられたＧＰＳ２８において測定されたデータである。
【００４２】
Ｖｉｅｗｏｆｆｓｅｔボタン１１０は、選択されたフレームの位置を調整するためのボタンである。Ｖｉｅｗｏｆｆｓｅｔボタン１１０Ａ、１１０Ｂ、１１０Ｃ、１１０Ｄは、それぞれ、全体画像表示部１０２に表示されている全体画像中でポインタにより選択された１枚のフレームを、上方向、下方向、左方向、右方向に移動させるためのものである。全体画像を構成する複数のフレームは、隣り合うフレームと所定画素数、例えば１６画素重複して連結されている。この重複部分の範囲内でフレームを移動させることによって、隣り合うフレームとの整合性を取ることができ、連結状態をなめらかなものとできる。
【００４３】
モード表示領域１２９は、モード情報、アラーム情報およびエラー情報などを表示するための領域である。モード情報は、ユーザにモニタリングシステムのモードを知らせるための情報であり、具体的には、ライブモードおよびビューモードなどの情報である。アラーム情報は、ユーザに警告を促すための情報であり、例えば、上述したＶｉｅｗｏｆｆｓｅｔボタン１１０によりフレームを移動できる限界に達した時に表示される。エラー情報は、ユーザにモニタリングシステムにおいて発生しているエラーを知らせるための情報である。
【００４４】
ＣａｍｅｒａＣｏｎｔｏｒｏｌ部１１１は、ＺＯＯＭボタン１１２、ＦＯＣＵＳボタン１１３、ＩＲＩＳボタン１１４、Camera Configurationボタン１１５およびＷｈｉｔｅＢａｌａｎｃｅボタン１１６を備える。ＺＯＯＭボタン１１２は、カメラユニットのズームを調整するためのボタンである。ＦＯＣＵＳボタン１１３は、カメラユニットのフォーカスを調整するためのボタンである。ＩＲＩＳボタン１１４は、カメラユニットのアイリス調整をするためのボタンである。Camera Configurationボタン１１５は、カメラユニットのγ特性、シャッタースピード、ゲイン特性などの調整をするためのボタンである。ＷｈｉｔｅＢａｌａｎｃｅボタン１１６は、カメラユニットの白バランスを調整するためのボタンである。なお、カメラシステムがビューモードにある場合には、Ｃａｍｅｒａ
Ｃｏｎｔｏｒｏｌ部１１１の表示が省略されるようにしてもかまわない。
【００４５】
ＳＥＬＥＣＴボタン１１７は、ビューモードにおいて、セレクト画面を表示するためのボタンである。セレクト画面は、再生および記録を所望する領域を、全体画像を構成するフレームにより特定するための画像である。
【００４６】
図４に、セレクト画面の一例を示す。図４に示すように、セレクト画面は、閉じるボタン１５１、画面表示部１５２、および閉じるボタン１５３から構成される。閉じるボタン１５１および１５３は、このセレクト画面を閉じるときにクリックされるボタンである。画面表示部１５２では、全体画像に対してフレームの区切りを示す格子状の表示が重畳して示される。画面表示部１５２において、例えば、所望の位置にあるフレームをポインタにより指示すると、そのフレームが選択されると共に、選択されたことを表示するために、指示されたフレームの明るさ、解像度、コントラストなどが変化する。
【００４７】
ＲＥＣＭＯＤＥ選択メニュー１１８は、記録モードを選択するためのプルダウンメニューである。このプルダウンメニューには、記録する画像サイズと記録方法（ＲＵＮまたはＳＩＮＧＬＥ）とを組み合わせた記録モードが表示される。画像サイズは、（８×１６）枚のフレームから構成される全体画像と、全体画像の内の選択された（４×８）枚のフレームから構成される部分画像と、全体画像の内の選択された（２×４）枚のフレームから構成される部分画像との何れかが可能とされている。部分画像は、セレクト画面から選択された位置のものである。記録方法のＲＵＮは、所定周期（例えば５秒周期）で発生する撮影画像を記録する方法であり、そのＳＩＮＧＬＥは、１回のみ記録する方法である。記録モードとしては、これらを組み合わせたものが選択可能とされている。
【００４８】
Stage Config(Stage Configuration)ボタン１１９は、ステージを動かす精度などを微調整するためのボタンである。メッセージ領域１２０は、コントロール用のコンピュータとカメラユニットとの接続状況およびカメラユニットのステージのコントロール状況を表示するための領域である。コントロール用のコンピュータとカメラユニットとが接続されている場合には、図３に示すように、メッセージ領域に“ＩＭＡＧＥＳＥＲＶＥＲＣＯＮＮＥＣＴ”が表示される。また、カメラユニットのステージがコントロール可能な状況にある場合には、メッセージ領域に“ＳＴＡＧＥＣＯＮＴＲＯＬＡＣＴＩＶＥ”が表示される。
【００４９】
ＲＥＣボタン１２１は、画像の記録を開始するためのボタンであり、このボタンを押圧すると、ＲＥＣモードメニューで選択されている記録モードに応じた記録が開始される。具体的には、ＲＵＮ（８×１６）、ＲＵＮ（４×８）、ＲＵＮ（２×４）、ＳＥＬＥＣＴＳＩＮＧＬＥＲＵＮ（８×１６）、ＳＥＬＥＣＴＳＩＮＧＬＥＲＵＮ（４×８）、ＳＥＬＥＣＴＳＩＮＧＬＥＲＵＮ（２×４）などのモードから選択されたモードに応じた記録が開始される。
【００５０】
ＰＬＡＹボタン１２２は、サーバ（メインメモリ３０）に蓄積された画像データを再生するためボタンである。具体的には、このＰＬＡＹボタン１２２を押圧すると、蓄積データ表示画面が表示される。この蓄積データ表示画面には、蓄積されている画像データを識別するための情報が表示される。この情報は、後述するディレクションファイルに記述されている情報に基づいたものである。
【００５１】
図５に、記録データ表示画面の一例を示す。図５に示すように、この記録データ表示画面には、最小化ボタン１６１、最大化ボタン１６２、閉じるボタン１６３、日付指定欄１６４、時間指定欄１６５、蓄積データ表示欄１６６、最新蓄積データ表示欄１６７、ＯＫボタン１６８、キャンセルボタン１６９、および蓄積部変更チェックボタン１７０が表示される。
【００５２】
最小化ボタン１６１は、この蓄積データ表示画面を、例えばアイコンに最小化するときにクリックされるボタンである。最大化ボタン１６２は、この蓄積データ表示画面を最大化させて、モニタの表示範囲の全てを使用して表示するときにクリックされるボタンである。閉じるボタン１６３は、この蓄積データ表示画面を閉じるときにクリックされるボタンである。
【００５３】
日付指定欄１６４では、全体表示部に表示させたい蓄積データの日付が指定される。例えば、日付指定欄１６４の右端に設けられたボタン１６４ａをクリックすることによって、表示可能な蓄積データの日付がプルダウンメニュー形式で表示され、表示された日付の中から選択するようにしても良い。
【００５４】
時間指定欄１６５では、全体表示部に表示させたい蓄積データの時間が指定される。例えば、時間指定欄１６５の右端に設けられたボタン１６５ａをクリックすることによって、表示可能な蓄積データの時間がプルダウンメニュー形式で表示され、表示された時間の中から選択するようにしても良い。
【００５５】
蓄積データ表示欄１６６には、蓄積部の中から日付指定欄１６４および時間指定欄１６５において指定された日時の蓄積データが表示される。最新蓄積データ表示欄１６７には、蓄積部に蓄積されている蓄積データの中から最新の蓄積データが表示される。また、日付指定欄１６４および時間指定欄１６５において指定された日時の中の蓄積データの中から最新となる蓄積データを表示するようにしても良い。
【００５６】
ＯＫボタン１６８は、所望の蓄積データの指定がなされたときにクリックされるボタンである。キャンセルボタン１６９は、この蓄積データ表示画面を閉じるときにクリックするボタンである。蓄積部変更チェックボタン１７０は、蓄積データの読み込み先を蓄積部から、例えば着脱自在の半導体メモリに変更するときにチェックを入力するチェックボタンである。
【００５７】
図３に戻って説明すると、ＳＴＯＰボタン１２３は、記録または再生動作を停止するためのボタンである。なお、ＳＴＯＰボタン１２３は、ＲＥＣボタン１２１あるいはＰＬＡＹボタン１２２の押圧により表示されるようにしても良い。
【００５８】
Set Camera Center POS(Set Camera Center POSITION)ボタン１２４は、現在カメラが向いている方向を（８×１６）の画像のセンターとして指定するためのボタンである。
【００５９】
ＨＯＭＥボタン１２５は、カメラユニットを制御し、カメラユニットのレンズの光軸をホームポジションに向けるためのボタンである。ホームポジションは、カメラが一番左側の位置を向いている位置である。ＬＩＶＥ／ＶＩＥＷＰＯＳＩＴＩＯＮボタン１２６は、カメラをパンあるいはチルトするためのボタンである。
【００６０】
ＺＯＯＭボタン１２７Ａおよび１２７Ｂは、選択画像表示部１０３に表示された選択画像の拡大、縮小を行うためのボタンである。ＭＡＸＶＩＥＷボタン１２８は、選択画像を別画面例えば全体画像表示部１０２により拡大表示するためのボタンである。
【００６１】
次に、図６を用いて、この発明の一実施形態による全体画像の作成方法の一例について説明する。図６に示すように、カメラユニット３は、パンチルタ部４の雲台にカメラ部５が設置され、ホームポジションから撮像方向が可変される。図６において、撮影された（Ｍ×Ｎ）枚のフレームをカメラ側から見て、各行に対して上から順に１，２，・・・、Ｍの番号を付し、各列に対して左から順に１，２，・・・，Ｎの番号を付す。ホームポジションが例えば（１，１）の座標のフレームを撮影する位置とされる。
【００６２】
（１，１）の座標位置のフレームを撮影すると、カメラユニット３が下側にチルトされ、（２，１）の座標位置のフレームが撮影され、以下、順に（３，１）・・・・，（Ｍ，１）の座標位置のフレームが撮影され、次に第２列の一番上の座標位置（１，２）のフレームが撮影される。以下、各フレームを（Ｍ，Ｎ）の座標位置のフレームまで撮影する。上述したように、各フレームが他のフレームと１６画素分の重複部分を有する。撮影された各フレームがＪＰＥＧによる圧縮、メインメモリ３０への蓄積等の処理を受ける。
【００６３】
上述したように、各フレームが例えばＸＧＡ（1024×768 画素）画の場合では、１２８枚のフレームからなる画像は、重複部分を無視すると、(横方向が1024×16＝16,384画素で、縦方向が768×8＝6,144画素）の約１億画素の画像である。上述した全体画像表示部１０２には、この画像から形成された圧縮画像またはサムネイル画像が表示され、選択画像表示部１０３には、例えば１フレームのＸＧＡ画像が表示される。したがって、選択画像表示部１０３には、解像度が極めて高い画像を表示することができ、全体画像では、不明瞭な画像も選択画像では、明瞭な画像として表示できる。
【００６４】
図７に、７５倍の望遠レンズがカメラユニットに備えられている場合に、１フレームで撮影できる範囲を示す。カメラユニットから１００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦８．７ｍ×横１．１７ｍの範囲を撮影することができる。例えば、カメラ部の撮像素子として、ＸＧＡを用いた場合には、被写体の縦０．８７ｃｍ×横１．１７ｃｍの範囲を約１画素で表することができる。
【００６５】
カメラユニットから２００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦１．７４ｍ×横２．３４ｍの範囲を撮影することができる。例えば、カメラ部の撮像素子として、ＸＧＡを用いた場合には、被写体の縦１．７４ｃｍ×横２．３４ｃｍの範囲を１画素で表すことができる。
【００６６】
カメラユニットから５００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦４．３６ｍ×横５．８４ｍの範囲を撮影することができる。例えば、カメラ部の撮像素子として、ＸＧＡを用いた場合には、被写体の縦４．３６ｃｍ×横５．８４ｃｍの範囲を１画素で表すことができる。
【００６７】
図８を参照して取得した画像データをアーカイブ１０、メインメモリ３０等に保存する場合のデータ管理方法を説明する。上述したように、所定時間間隔で、（Ｍ×Ｎ）枚のフレームの画像が撮影され、圧縮されて蓄積される。図８Ａに示すように、Ｍ行Ｎ列によって各フレームの位置が規定される。例えば（１，１）の位置アドレスは、右端の最も上のフレームを特定する。各フレームは、この位置アドレスと記録時の時間情報とをファイル名として有する。時間情報は、年月日時分秒で構成される。したがって、各フレームのファイル名は、（年月日時分秒，位置アドレス）である。
【００６８】
さらに、図８Ｂに示すように、（Ｍ×Ｎ）枚のフレームで全体的な１枚の画像が形成されることに対応して、ディレクションファイルが規定されている。ディレクションファイルは、（１，１）の位置アドレスを有するフレームのファイル名（すなわち、年月日時分秒，位置アドレス）と同一のデータを持つことで、当該（Ｍ×Ｎ）枚のフレームの集合を定義する。さらに、このフレームの集合に対する位置情報およびメタデータをディレクションファイルが有する。位置情報およびメタデータは、メタデータ生成部２９で生成されたものである。すなわち、緯度・経度、方位、高度等の位置情報と、カメラ部のパラメータ（倍率、フォーカス値、アイリス値等）等のメタデータ情報とをディレクションファイルが有する。
【００６９】
次に、この発明の一実施形態による可動範囲画像表示部１０１に可動範囲画像を取り込み、そして、表示する処理について説明する。最初に図９のフローチャートに示すように、コントローラＣＰＵ３３の制御によってメインメモリ３０への画像の取り込み処理がなされる。例えばカメラユニットを所定の場所に設置した時に、画像の取り込み処理がなされる。この処理を開始するためには、設定メニュー画面（図示しない）を使用して開始指示が入力される。初期設定時等の任意の時間で可動範囲画像の取り込みを行うことができる。
【００７０】
まず、ステップＳ１１において、原点から撮影が開始される。原点は、可動範囲の一番端の位置または中央位置である。カメラユニット３に備えられたパン部４ａおよびチルト部４ｂが制御され、カメラユニット３のレンズの光軸が原点のフレーム（静止画像）を撮影する方向に向けられる。原点で１枚のフレームが撮影されると、所定のチルト角、撮影方向が可変され、次のフレームが撮影される。このように、順次、フレームが取得される。カメラの撮影方向は、パン方向およびチルト方向の両方で最大角度変化される。
【００７１】
ステップＳ１２では、取得したフレームの画像がＪＰＥＧエンコーダ／メタデータ付加部２７によってＪＰＥＧデータに変換され、また、ステップＳ１３において、メタデータ・位置情報が付加される。メタデータは、メタデータ生成部２９で生成された時刻情報、緯度・経度情報等であり、位置情報は、フレームの位置アドレスである。
【００７２】
次に、ステップＳ１４において、メタデータおよび位置情報などが付加されたＪＰＥＧデータがメインメモリ３０に記録される。カメラが最大可動範囲でパン・チルトされ、最大可動範囲内で逐次多数のフレームが取得される。そして、最大可動範囲内の全フレームを取得し、ＪＰＥＧデータへ変換し、メタデータおよび位置情報を付加してメインメモリ３０に蓄積することで、画像の取り込み処理が終了する。なお、可動範囲画像は、撮影方向を決める目安として使用されるので、原画像を蓄積せずに、圧縮画像または間引きで得られたサムネイルをメインメモリ３０に蓄積しても良い。
【００７３】
次に、蓄積した画像をディスプレイ２の可動範囲画像表示部１０１に表示する処理について、図１０のフローチャートを参照して説明する。この処理は、メインメモリ３０、グラフィックコントローラ３１、画像圧縮部３２等でなされる。最初にステップＳ２１において、メインメモリ３０から取得した画像を再生し、データ圧縮例えば間引きがなされる。この処理でサムネイルに変換された可動範囲画像が生成される。次に、ステップＳ２２において、可動範囲画像表示部１０１に表示するように、可動範囲画像の画像位置が合わせられ、ステップＳ２３にて、サムネイル、すなわち、可動範囲画像が表示される。
【００７４】
さらに、全体画像表示部１０２に全体画像を表示する処理について、図１１を参照して説明する。この処理は、主としてグラフィックコントローラ３１によってなされる。上述した可動範囲表示部１０１に表示されている可動範囲画像中の任意の点またはエリアがポインタで指示されると、図１１のフローチャートの制御アルゴリズムが呼び出される。
【００７５】
まず、ステップＳ３１において、可動範囲画像中でポインタにより取り込み位置が指示されると、全体画像の取り込み座標が確認される。例えば表示部１０１に表示されている線分１０１ａおよび１０１ｂの位置を移動させて、取り込み位置が指示される。勿論、マウスによってカーソルを移動させて取り込み位置を指示しても良い。なお、前述したとおり、初期設定時等の任意の時間で取り込まれた可動範囲画像が用いられるので、撮影画像が暗いような環境下でもカメラの向きを制御する操作を容易かつ的確に行うことができる。次に、ステップＳ３２において、全体画像の取り込み開始位置を算出し、この算出結果に基づき、カメラユニット３に備えられたパン部４ａおよびチルト部４ｂが制御され、カメラユニット３のレンズの光軸が取り込み開始位置例えば（Ｍ×Ｎ）枚のフレームの集合の中の所定位置のフレームに移動される。
【００７６】
次に、ステップＳ３３において、撮像部２４によって撮影された静止画像が最初のフレームとして取り込まれる。次に、ステップＳ３４において、静止画像データがＪＰＥＧデータへ変換され、ステップＳ３５において、メタデータおよび位置情報が付加される。ＪＰＥＧへの変換およびメタデータの付加は、ＪＰＥＧエンコーダ／メタデータ付加部２７によってなされる。
【００７７】
そして、ステップＳ３６において、メタデータおよび位置情報が付加された画像データがメインメモリ３０に記録される。次のステップＳ３７においてメインメモリ３０から再生されたデータがグラフィックコントローラ３１の制御によって、ディスプレイ２の全体画像表示部１０２の指定番地へ表示される。
【００７８】
次に、ステップＳ３８において、次のフレームの撮影位置までの移動距離が算出される。ステップＳ３９において、ステップＳ３８にて算出された移動距離に基づき、パン部４ａおよびチルト部４ｂが制御され、次のフレームの撮影開始位置まで撮影位置が移動される。
【００７９】
ステップＳ４０において、既に取り込んだフレーム枚数が算出される。全体画像を構成する（Ｍ×Ｎ）枚のフレームが取り込まれたか否かがステップＳ４１で判定される。上述したように、（Ｍ×Ｎ）例えば（８×１６）枚のフレーム内で（２×４）（４×８）等の所定の枚数のフレームを取り込むように設定されている場合では、設定されている枚数が取り込まれたか否かが判定される。
【００８０】
若し、ステップＳ４１において、既に取り込んだフレーム枚数が指定されたフレーム枚数に到達したと判断されると、ステップＳ４２へ制御が移り、カメラユニットのレンズの光軸が全体画像表示部１０２のセンタ部に移動される。一方、ステップＳ４１において、取り込んだフレーム数が指定されたフレーム枚数に未だ到達していないと判断されると、ステップＳ３３へ制御が戻り、次のフレームの取り込みがなされる。
【００８１】
なお、次のフレームを取り込むために、撮影位置を動かすのに必要な処理（ステップＳ３８、Ｓ３９）は、ステップＳ４１において、取り込んだフレーム数が指定枚数に達していないと判定された場合にのみ行うようにしても良い。
【００８２】
以上のようにして、可動範囲画像中の任意の点またはエリアがポインタで指示されると、その指示された位置を基準として（Ｍ×Ｎ）枚のフレームが取り込まれ、全体画像が表示される。さらに、全体画像中の指定した点またはエリアの画像を選択画像として選択画像表示部１０３に表示することができる。選択画像の取り込みとその表示の処理は、グラフィックコントローラ３１およびコントローラＣＰＵ３３によって、図１２のフローチャートで示す流れでなされる。
【００８３】
ステップＳ５１では、全体画像上の選択ポイントにカーソルを位置させ、マウスをクリックする。ステップＳ５２では、クリックポイントを位置座標へ変換する。位置座標は、（Ｍ×Ｎ）枚のフレームで構成される撮影領域に対して規定されている。ステップＳ５３では、現在の撮影位置から指定された位置までの移動距離が計算される。
【００８４】
ステップＳ５４では、パン部４ａおよびチルト部４ｂが制御され、計算された移動距離だけ撮影位置が移動される。そして、ステップＳ５５では、その位置でフレームが撮影され、ステップＳ５６において、フレームデータがＪＰＥＧエンコーダ／メタデータ付加部２７へ転送される。そして、グラフィックコントローラ３１によって、取り込まれたフレームが選択画像として表示部１０３に表示される。この選択画像は、例えばＸＧＡの画素数を有するもので、非圧縮のデータに基づくものである。したがって、選択画像は、全体画像に比して解像度が高く、鮮明な画像である。また、全体画像中の１フレームの画像に比して、選択画像がより大きなサイズを有するので、選択画像表示部１０３に拡大した画像を表示することができる。
【００８５】
この発明は、上述したこの発明の一実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば上述した一実施形態は、最大可動範囲を１８０°の例であるが、３６０°等の他の数値であっても良い。また、１枚に限らず複数の可動範囲画像を持つようにしても良い。
【００８６】
【発明の効果】
この発明によれば、全体画像を取得する場合、可動範囲画像を用いて全体画像の位置指定を行うので、可動範囲画像中の撮影位置を容易に把握することができる。よって、撮像方向を把握するために、何度も撮像部を動かして全体画像の位置合わせを行う必要がないので、全体画像を取得する周期が長くなることを防止できる。また、この発明では、最大可動範囲にわたって撮像部を動かした時の可動範囲画像を取得して表示するので、所望のエリアの画像を得ることができ、また、撮影されている画像が暗い場合でも、予め撮像された可動範囲画像で全体画像を表示することで、容易に撮像する範囲を設定することができ、操作性を向上できる。
【図面の簡単な説明】
【図１】この発明の一実施形態のモニタリングシステムを概略的に示すブロック図である。
【図２】この発明の一実施形態のブロック図である。
【図３】この発明の一実施形態における画面表示の一例を説明するための略線図である。
【図４】この発明の一実施形態におけるセレクト画面の一例を説明するための略線図である。
【図５】この発明の一実施形態における再生時の蓄積データ表示画面の一例を説明するための略線図である。
【図６】この発明の一実施形態における撮影動作および画像取得動作を説明するための略線図である。
【図７】この発明の一実施形態における被写体までの距離と撮影範囲および解像度を説明するための略線図である。
【図８】撮影された画像の管理方法を説明するための略線図である。
【図９】この発明の一実施形態における可動範囲画像取り込み処理の動作を説明するためのフローチャートである。
【図１０】この発明の一実施形態における可動範囲画像の表示動作を説明するためのフローチャートである。
【図１１】この発明の一実施形態における全体画像の取り込み動作を説明するためのフローチャートである。
【図１２】この発明の一実施形態における選択画像の取り込み動作と表示動作を説明するためのフローチャートである。
【符号の説明】
１・・・コンピュータ、２・・・ディスプレイ、３・・・カメラユニット、４・・・パンチルタ部、５・・・カメラ部、２１・・・コントローラバス、２４・・・撮影部、２７・・・ＪＰＥＧエンコーダ／メタデータ付加部、３０・・・メインメモリ、３１・・・グラフィックコントローラ、３２・・・画像圧縮部、３３・・・コントローラＣＰＵ、１０１・・・可動範囲画像表示部、１０２・・・全体画像表示部、１０３・・・選択画像表示部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a monitoring system and method, a program, and a recording medium applied to a surveillance camera or the like.
[0002]
[Prior art]
Conventionally, monitoring systems that monitor a wide range of situations have been used. For example, monitoring systems are used for maritime monitoring, river monitoring, monitoring of on-site monitoring areas, wildlife behavior observation, and the like. In order to capture a wide range of images, a video camera with a very large number of pixels was used. For this reason, the price of the system is increased, and there is a problem in terms of cost. On the other hand, it has been proposed to generate a range of images to be monitored by shooting still images while sequentially shifting the shooting range of the camera and connecting a number of still images. In this case, an extremely high resolution image can be obtained as the entire image. Therefore, when obtaining an enlarged image of a part of the entire image, the enlarged image itself has a high resolution and a clear image can be obtained.
[0003]
Since it is necessary to widen the monitoring range, the movable range of the camera is set to an extremely wide range such as 180 °, 360 °, and the like. The shooting direction of the camera is switched over this wide range, a still image is acquired in each shooting direction, and a panoramic overall image is formed.
[0004]
[Problems to be solved by the invention]
Setting a wide shooting range increases the number of still images that make up a wide range of entire images, which increases the time for acquiring images and increases the cycle for acquiring the entire images. The actual area that you want to monitor is often a limited area. Moreover, it is preferable that the monitoring system can be used even when a human being cannot be seen with the naked eye, such as at night. For example, it is possible to shoot with night vision using an infrared camera. However, generally, the photographed image is dark and difficult to identify. For this reason, when the camera is directed in a desired direction with reference to the photographed image, or when an arbitrary point or region in the photographed image is enlarged, the photographed image is dark, so that the operability is poor. was there.
[0005]
Therefore, the object of the present invention is suitable for monitoring an actually required area, and operations such as controlling the direction of the camera can be performed relatively easily even in an environment where the captured image is dark. A monitoring system and method, a program, and a recording medium are provided.
[0006]
[Means for Solving the Problems]
In order to solve the above-described problems, the invention of claim 1 includes an imaging unit that captures an image, an imaging direction variable unit that varies an imaging direction of the imaging unit, an accumulation unit that accumulates image data, and a display unit. In a predetermined movable range within the maximum movable range of the imaging direction variable unit, an original image composed of a plurality of still images captured in each imaging direction or a compressed image obtained by compressing the original image is stored in the storage unit, and the original image Or a control unit that displays a panoramic whole image generated by further compressing the compressed image on the display unit, and a plurality of images captured when the imaging direction is changed over the maximum movable range at an arbitrary time in advance From the still image, a movable range image that is more compressed than the entire image is generated, the movable range image is displayed on the display unit, and a desired position in the movable range image is indicated, thereby Direction of imaging Controlled, indicated movement range image captured with reference to the position Consists of multiple still images inside Display the entire image on the display The number of still images that make up the entire image can be set by user operation. It is a monitoring system designed to do this.
[0007]
Claim 3 The present invention compresses an original image or an original image composed of a plurality of still images captured in each imaging direction within a predetermined movable range within the maximum movable range of the imaging direction variable unit that varies the imaging direction of the imaging unit. A monitoring method for storing a compressed image and displaying a panoramic whole image generated by further compressing the original image or the compressed image when the imaging direction is changed over the maximum movable range at an arbitrary time in advance. A movable range image that is more compressed than the entire image is generated from a plurality of captured still images, a step of displaying the movable range image, and a desired position in the movable range image are indicated. Set the number of still images to be captured based on the specified position. By controlling the imaging direction in the direction of the instructed position, it was captured with reference to the instructed position Consists of multiple still images A monitoring method comprising a step of displaying an entire image.
[0008]
Claim 5 The present invention compresses an original image or an original image composed of a plurality of still images captured in each imaging direction within a predetermined movable range within the maximum movable range of the imaging direction variable unit that varies the imaging direction of the imaging unit. A program for causing a computer to execute a monitoring method for accumulating compressed images and displaying a panoramic overall image generated by further compressing the original image or the compressed image. A step of generating a movable range image that is compressed more than the entire image from a plurality of still images captured when changing over the movable range, displaying the movable range image, and a desired position in the movable range image Direct Set the number of still images to be captured based on the specified position. By controlling the imaging direction in the direction of the instructed position, it was captured with reference to the instructed position Consists of multiple still images A program for causing a computer to execute a step of displaying an entire image.
[0009]
Claim 6 The present invention compresses an original image or an original image composed of a plurality of still images captured in each imaging direction within a predetermined movable range within the maximum movable range of the imaging direction variable unit that varies the imaging direction of the imaging unit. A computer-readable recording medium storing a program for causing a computer to execute a monitoring method for accumulating a compressed image and displaying an original panoramic image or a panoramic overall image generated by further compressing the compressed image, Generating a movable range image that is compressed more than the entire image from a plurality of still images captured when the imaging direction is changed over the maximum movable range at an arbitrary time in advance, and displaying the movable range image; , Indicate the desired position in the movable range image Set the number of still images to be captured based on the specified position. By controlling the imaging direction in the direction of the instructed position, it was captured with reference to the instructed position Consists of multiple still images A computer-readable recording medium recording a program for causing a computer to execute a step of displaying an entire image.
[0010]
When acquiring the entire image, it is possible to prevent an increase in the period for acquiring the entire image, unlike when the imaging unit is moved over the maximum movable range. Further, since the movable range image when the imaging unit is moved over the maximum movable range is displayed, the shooting direction for obtaining an image of a desired area can be easily set, even if the shot image is dark Even in this case, the imaging direction can be easily set, and the operability can be improved.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows a schematic configuration of an embodiment of the present invention. The computer 1 to which the display 2 is connected controls the camera unit 3. The example of FIG. 1 is an example of a system in which one computer 1 controls two camera units 3 and another computer 1 ′ having a display 2 ′ controls other camera units 3 ′. One computer can control a plurality of camera units.
[0012]
The camera unit 3 has a pantilter unit 4 and a camera unit 5 integrally formed. The camera unit 3 is installed so that a far target area can be photographed. As an example, the camera unit 5 includes a telephoto lens having a magnification of 10 times, 70 times, or the like, and can photograph a place away from several tens of meters to several kilometers.
[0013]
The camera unit 5 is a digital still camera that can turn on a shutter in synchronization with an external trigger, for example, and its imaging element, such as a CCD, is a VGA (Video Graphics Array, 640 × 480 pixels), XGA (eXtended Graphics Array, 1024 × 768 pixels), It has the number of pixels such as SXGA (Super eXtended Graphics Array, 1280 × 1024 pixels). In the case of a VGA image sensor, image data is output at a rate of 30 fps (frame / second). In the case of an XGA image sensor, image data is output at a rate of 15 fps (frame / second). In this case, image data is output at a rate of 7.5 fps (frame / second).
[0014]
Video data is transmitted from the camera unit 3 to the computer 1 via the bus 6. The bus 6 transmits a video data transmission path and a control signal of the camera unit 3. The configuration described above is the same for the computer 1 ′ and the camera unit 3 ′.
[0015]
In the computers 1 and 1 ′, video data from the camera units 3 and 3 ′ are stored in a memory, and as will be described later, a GUI (Graphical User Interface) for operation is configured so that an image of a desired target area can be displayed by the user. The camera units 3 and 3 ′ can be controlled so that the camera units 3 and 3 ′ can shoot. The captured image is compressed by compression encoding, for example, JPEG (Joint Photographic Experts Group).
[0016]
The computers 1 and 1 'are connected to each other via a LAN 7. Another computer 8 is connected to the LAN 7. Reference numeral 9 is a display of the computer 8. The computer 8 receives image data and the like from the computers 1 and 1 ′ via the LAN 7, accumulates video data in the archive 10, and further processes the image data. For example, processing such as face recognition, baggage recognition, environment recognition, car recognition, etc. is performed using video data. The archive 10 can store a large amount of data such as a tape streamer.
[0017]
FIG. 2 shows a more detailed configuration of the computer 1 and the camera unit 3 in the monitoring system described above. In the example of FIG. 2, camera unit and computer components are connected to a common controller bus 21 indicated by reference numeral 21.
[0018]
The pantilter unit includes a pan unit 4a and a tilt unit 4b. Each of the pan unit 4 a and the tilt unit 4 b has, for example, a stepping motor as a drive source, and pans or tilts the camera unit according to a control signal supplied from the controller CPU 33 via the controller bus 21. A camera unit is placed on the pantilta unit. Here, pan means to rotate the camera in the horizontal direction, and tilt means to rotate the camera in the vertical direction. As an example, the maximum value of the pan angle is 180 °, and the maximum value of the tilt angle is 50 °.
[0019]
As will be described later, the camera unit is moved within a range of tilt angle = ± 15 ° and pan angle = ± 50 ° within the maximum movement range of the camera unit. Each time the imaging center is moved by the angle of view, the shutter is turned on and a still image (hereinafter referred to as a frame as appropriate) is taken. A total of (M × N = 8 × 16 = 128) frames of M (for example, 8 frames) in the vertical direction and N (for example, 16 frames) in the horizontal direction are sequentially photographed and compressed and connected. One whole image is formed. Each frame is, for example, an XGA (1024 × 768 pixel) image. Therefore, the 128 frames form an image of about 100 million pixels (horizontal direction is 1024 × 16 = 16,384 pixels and vertical direction is 768 × 8 = 6,144 pixels) when the overlapping portion is ignored. It takes about 5 seconds to shoot 128 frames. The overlapping portion is, for example, 16 pixels vertically and horizontally.
[0020]
The camera unit is configured as a digital still camera and includes a lens unit 22, a focus / zoom / iris control unit 23, and an imaging unit 24. The focus / zoom / iris control unit 23 is controlled by a control signal supplied from the controller CPU 33 via the controller bus 21. The imaging unit 24 includes a solid-state imaging device such as a CCD and a camera signal processing circuit. A digital video signal from the imaging unit 24 is written into the buffer memory 26 via an interface 25 of IEEE (Institute of Electrical and Electronics Engineers) 1394.
[0021]
The output data of the buffer memory 26 is supplied to the JPEG encoder / metadata adding unit 27, and the image data is converted into JPEG data. JPEG is one of the compression methods, and other compression methods may be used or not compressed.
[0022]
The camera unit 3 is provided with a GPS (Global Positioning System) 28 for detecting its position. By providing the GPS 28, it is possible to record the data of the installation location of the camera, detect the direction of the camera, and control the directions of the plurality of cameras in conjunction with each other. The GPS 28 is controlled by a control signal supplied from the controller CPU 33 via the controller bus 21.
[0023]
An output signal of the GPS 28 is supplied to the metadata generation unit 29, and position information (information such as latitude / longitude, azimuth, altitude, etc.) and metadata (time, camera unit parameters (magnification, focus value) based on the positioning result of the GPS 28 are supplied. , Information such as iris value). The position information and metadata are supplied to the JPEG encoder / metadata adding unit 27, and the position information and metadata are added to the JPEG data.
[0024]
JPEG data to which metadata and position information are added is stored in a main memory 30 such as a hard disk, and is supplied to the graphic controller 31 and the image compression unit 32. In this specification, accumulation in the main memory 30 is called recording, and reading data from the main memory 30 is called reproduction. In addition, displaying an image that is currently being captured without going through the main memory 30 is referred to as a live mode, and displaying data recorded in the past from the main memory 30 and displaying it is referred to as a view mode.
[0025]
The main memory 30 has a function as a server. For example, as a result of compressing an XGA image with JPEG, the data amount of one frame becomes 100 kbytes, and the data amount of 12.8 Mbytes for 128 images. If the main memory 30 has a capacity of about 80 Gbytes, JPEG data for one day can be stored. In the view mode, it is possible to reproduce older data stored not only in the main memory 30 but also in a storage device such as an archive.
[0026]
JPEG data read from the main memory 30 is supplied to the graphic controller 31. The image compression unit 32 generates a compressed image or a thumbnail from JPEG data from the JPEG encoder / metadata adding unit 27 or JPEG data read from the main memory 30. For example, a panoramic overall image is formed by thinning out the vertical direction and the horizontal direction. The image compression unit 32 also performs compression processing for forming a movable range image, which will be described later. As described above, in the case of XGA, a panoramic overall image such as (400 × 1000 pixels) is formed by processing the data of about 100 million pixels by JPEG compression and the image compression unit 32. The movable range image is also a thumbnail, but is a coarser image than the entire image.
[0027]
The graphic controller 31 converts JPEG data into bitmap data, and performs graphics processing so that a desired image is displayed on the screen of the display 2. In other words, movable range image display, whole image display, selected image display, GUI display such as buttons, etc. are made on the screen of the display 2. Details of the display will be described later.
[0028]
The graphic controller 31 performs image processing and detects image changes. An image change is a change that occurs with respect to a reference image. For example, in the view mode, a comparison with a previously stored reference image is made and an image change is detected. An image at a predetermined time on the previous day is set as a reference image, a pixel difference between an image accumulated thereafter and the reference image is detected, and a change occurs when the absolute value of the pixel difference is equal to or greater than a predetermined value. Detect with things. As the detection of the difference, a method of calculating a difference value between pixels at the same position for each frame at the same spatial position between the image to be compared and the reference image can be used. Instead of detecting the difference for all the pixels, the difference may be calculated for the representative pixel or the thinned pixel. Further, by limiting the predetermined color, it is also possible to perform change detection focusing on an object of a predetermined color.
[0029]
When a change is detected, an alarm, for example, a frame in which a change is detected is displayed on the display 2 so that it can be distinguished from other frames. Specifically, the alarm can be displayed by a method such as luminance change, color change, blinking or the like. As the reference image, a predetermined image can be arbitrarily selected from the stored images.
[0030]
As described above, the controller CPU 33 connected to the controller bus 21 performs lens control (for example, focus) of the camera unit, exposure control (for example, aperture, gain, electronic shutter speed, etc.), white balance control, image quality control, and the like. And the pan part 4a and the tilt part 4b are controlled.
[0031]
Reference numeral 34 is an I / O port. A key 35 and a mouse 36 are connected to the I / O port 34, and a memory card 37 and a clock 38 are connected to the I / O port 34. JPEG data to which position information and metadata stored in the main memory 30 are added can be written to the memory card 37. Time data is obtained from the clock 38.
[0032]
In FIG. 2, each component is connected to the controller bus 21. However, the camera unit and the computer may be installed at a remote location, and both may be connected by IEEE 1394, USB, or the like. In this case, an optical fiber is used as the physical transmission line. If an optical fiber is used, the camera unit and the control computer can be arranged apart from each other by several hundred meters to several kilometers. Furthermore, you may connect both by wireless LAN.
[0033]
FIG. 3 shows an example of a GUI screen according to an embodiment of the present invention. The display unit, operation buttons, display area, and the like provided on the GUI screen according to an embodiment of the present invention will be described below with reference to FIG. A movable range image display unit 101, an entire image display unit 102, and a selected image display unit 103 are arranged on one screen.
[0034]
A movable range image is displayed on the movable range image display unit 101. The movable range image is an image indicating the maximum range that can be captured by the camera unit, and is composed of a plurality of frames. As described above, the maximum value of the pan angle is 180 ° and the maximum value of the tilt angle is 50 °, and a movable range image is generated from a plurality of frames shot in this maximum movable range. For example, when a camera unit is installed and the camera is started, the camera is moved over the maximum movable range, and a thumbnail obtained by thinning out pixels in the vertical and horizontal directions is used as the movable range image for the image composed of a plurality of frames obtained as a result. .
[0035]
In the movable range image display unit 101, the position where the optical axis of the lens of the camera unit is currently photographed (Camera live position) is indicated by the intersection of the line segment 101a and the line segment 101b. By moving the line segments 101a and 101b, a desired position in the movable range image can be designated, and the imaging direction can be controlled in the direction of the designated position. Then, (M × N) frames (still images) are taken, stored, or displayed within a predetermined movable range with the direction of the designated position as the center or home position. When an arbitrary position on the display screen displayed on the movable range image display unit 101 is indicated by a pointer such as a cursor, not limited to the line segments 101a and 101b, the optical axis of the lens of the camera unit is positioned at a position corresponding to this instruction. You may control a camera unit so that it may face.
[0036]
The whole image display unit 102 displays a panoramic whole image. The whole image is an image obtained by compressing the JPEG data corresponding to the photographed original image by the image compression unit 32. Monitoring can be performed by viewing the displayed whole image. Furthermore, as described above, when an image change is detected, an alarm is generated in which the frame in which the change is detected in the entire image displayed on the entire image display unit 102 is displayed differently from the other frames.
[0037]
A selected image is displayed on the selected image display unit 103. The selected image is an image obtained by enlarging a part of the entire image. For example, a frame at a position indicated in the entire image is displayed as a selected image. It can be enlarged by displaying one frame of original image which is not compressed. Furthermore, the image can be enlarged by digital signal processing.
[0038]
The EXIT button 104 is a button for turning off the power of the monitoring system. The camera system OFF button 105 is a button for turning off the power of the camera unit.
[0039]
The VIEW MODE button 106 is a button for switching the mode of the monitoring system to the view mode. The view mode is a mode for displaying the whole image and the partial image based on the image data stored in the memory 30 or another server.
[0040]
The LIVE MODE button 107 is a button for switching the mode of the monitoring system to the live mode. The live mode is a mode in which an entire image and a partial image are displayed based on a frame that is currently captured by the camera unit.
[0041]
The Compas display area 108 is an area for displaying a compass indicating the direction in which the optical axis of the lens of the camera is facing. The GPS Data display area 109 is an area for displaying the latitude, lightness and altitude of the place where the camera is installed, and the date and time of shooting. The data displayed in the areas 108 and 109 is data measured by the GPS 28 provided in the camera unit.
[0042]
The view offset button 110 is a button for adjusting the position of the selected frame. The view offset buttons 110A, 110B, 110C, and 110D respectively select one frame selected by the pointer in the whole image displayed on the whole image display unit 102 in the upward direction, the downward direction, the left direction, and the right direction. It is for moving to. A plurality of frames constituting the entire image are connected to adjacent frames so as to overlap by a predetermined number of pixels, for example, 16 pixels. By moving the frame within the range of this overlapping portion, it is possible to achieve consistency with adjacent frames and to make the connection state smooth.
[0043]
The mode display area 129 is an area for displaying mode information, alarm information, error information, and the like. The mode information is information for notifying the user of the mode of the monitoring system, and specifically, information such as a live mode and a view mode. The alarm information is information for prompting the user to give a warning, and is displayed, for example, when the above-described view offset button 110 reaches a limit at which a frame can be moved. The error information is information for notifying the user of an error occurring in the monitoring system.
[0044]
The Camera Control unit 111 includes a ZOOM button 112, a FOCUS button 113, an IRIS button 114, a Camera Configuration button 115, and a White Balance button 116. The ZOOM button 112 is a button for adjusting the zoom of the camera unit. The FOCUS button 113 is a button for adjusting the focus of the camera unit. The IRIS button 114 is a button for adjusting the iris of the camera unit. The Camera Configuration button 115 is a button for adjusting the γ characteristic, shutter speed, gain characteristic, and the like of the camera unit. The white balance button 116 is a button for adjusting the white balance of the camera unit. If the camera system is in view mode, Camera
The display of the control unit 111 may be omitted.
[0045]
The SELECT button 117 is a button for displaying a select screen in the view mode. The select screen is an image for specifying a region desired to be reproduced and recorded by a frame constituting the entire image.
[0046]
FIG. 4 shows an example of the select screen. As shown in FIG. 4, the select screen includes a close button 151, a screen display unit 152, and a close button 153. The close buttons 151 and 153 are clicked when the select screen is closed. In the screen display unit 152, a grid-like display indicating frame boundaries is superimposed on the entire image. In the screen display unit 152, for example, when a frame at a desired position is indicated by a pointer, the frame is selected and the brightness, resolution, contrast, etc. of the indicated frame are displayed in order to display the selection. Changes.
[0047]
The REC MODE selection menu 118 is a pull-down menu for selecting a recording mode. In this pull-down menu, a recording mode in which an image size to be recorded and a recording method (RUN or SINGLE) are combined is displayed. The image size is selected from among the whole image composed of (8 × 16) frames, the partial image composed of selected (4 × 8) frames of the whole image, and the whole image. Any of the partial images made up of (2 × 4) frames that have been made is possible. The partial image is the position selected from the select screen. RUN of the recording method is a method of recording a captured image generated at a predetermined cycle (for example, a cycle of 5 seconds), and SINGLE is a method of recording only once. A combination of these can be selected as the recording mode.
[0048]
The Stage Config (Stage Configuration) button 119 is a button for finely adjusting the accuracy of moving the stage. The message area 120 is an area for displaying the connection status between the control computer and the camera unit and the control status of the stage of the camera unit. When the control computer and the camera unit are connected, “IMAGE SERVER CONNECT” is displayed in the message area as shown in FIG. If the stage of the camera unit is in a controllable state, “STAGE CONTROL ACTIVE” is displayed in the message area.
[0049]
The REC button 121 is a button for starting image recording. When this button is pressed, recording corresponding to the recording mode selected in the REC mode menu is started. Specifically, RUN (8 × 16), RUN (4 × 8), RUN (2 × 4), SELECT SINGLE RUN (8 × 16), SELECTING SINGLE RUN (4 × 8), SELECT SINGLE RUN (2 × 4) ) And the like, the recording corresponding to the mode selected from the mode is started.
[0050]
The PLAY button 122 is a button for reproducing the image data stored in the server (main memory 30). Specifically, when the PLAY button 122 is pressed, an accumulated data display screen is displayed. On this accumulated data display screen, information for identifying the accumulated image data is displayed. This information is based on information described in a direction file described later.
[0051]
FIG. 5 shows an example of a recording data display screen. As shown in FIG. 5, the record data display screen includes a minimize button 161, a maximize button 162, a close button 163, a date designation field 164, a time designation field 165, an accumulated data display field 166, and a latest accumulated data display field. 167, an OK button 168, a cancel button 169, and a storage unit change check button 170 are displayed.
[0052]
The minimize button 161 is a button that is clicked when the accumulated data display screen is minimized to an icon, for example. The maximize button 162 is a button that is clicked when the accumulated data display screen is maximized and displayed using the entire display range of the monitor. The close button 163 is a button that is clicked when the stored data display screen is closed.
[0053]
In the date designation field 164, the date of stored data to be displayed on the entire display unit is designated. For example, by clicking a button 164a provided at the right end of the date designation field 164, the date of the stored data that can be displayed may be displayed in a pull-down menu format and selected from the displayed dates.
[0054]
In the time designation column 165, the time of accumulated data to be displayed on the entire display unit is designated. For example, by clicking a button 165a provided at the right end of the time designation field 165, the time of the stored data that can be displayed may be displayed in a pull-down menu format, and it may be selected from the displayed times.
[0055]
The accumulated data display field 166 displays the accumulated data of the date and time designated in the date designation field 164 and the time designation field 165 from the accumulation unit. The latest accumulated data display field 167 displays the latest accumulated data from the accumulated data accumulated in the accumulation unit. Further, the latest accumulated data may be displayed from the accumulated data in the date and time designated in the date designation field 164 and the time designation field 165.
[0056]
The OK button 168 is a button that is clicked when desired accumulated data is designated. A cancel button 169 is a button that is clicked when the stored data display screen is closed. The storage unit change check button 170 is a check button for inputting a check when the storage data reading destination is changed from the storage unit to, for example, a detachable semiconductor memory.
[0057]
Returning to FIG. 3, the STOP button 123 is a button for stopping the recording or reproducing operation. The STOP button 123 may be displayed when the REC button 121 or the PLAY button 122 is pressed.
[0058]
The Set Camera Center POS (Set Camera Center POSITION) button 124 is a button for designating the direction in which the camera is currently facing as the center of the (8 × 16) image.
[0059]
The HOME button 125 is a button for controlling the camera unit and directing the optical axis of the lens of the camera unit to the home position. The home position is a position where the camera faces the leftmost position. The LIVE / VIEW POSITION button 126 is a button for panning or tilting the camera.
[0060]
The ZOOM buttons 127A and 127B are buttons for enlarging or reducing the selected image displayed on the selected image display unit 103. The MAX VIEW button 128 is a button for enlarging and displaying the selected image on another screen, for example, the entire image display unit 102.
[0061]
Next, an example of a method for creating an entire image according to an embodiment of the present invention will be described with reference to FIG. As shown in FIG. 6, in the camera unit 3, the camera unit 5 is installed on the pan head of the pantilter unit 4, and the imaging direction is changed from the home position. In FIG. 6, the (M × N) frames taken are viewed from the camera side, and numbers 1, 2,... Numbers 1, 2,..., N are assigned in order. For example, the home position is a position where a frame having a coordinate of (1, 1) is photographed.
[0062]
When the frame at the coordinate position (1, 1) is photographed, the camera unit 3 is tilted downward, and the frame at the coordinate position (2, 1) is photographed. , (M, 1) is taken, and then the frame at the uppermost coordinate position (1, 2) in the second row is taken. Hereinafter, each frame is photographed up to the frame at the coordinate position (M, N). As described above, each frame has an overlap portion of 16 pixels with other frames. Each photographed frame is subjected to processing such as compression by JPEG and storage in the main memory 30.
[0063]
As described above, when each frame is, for example, an XGA (1024 × 768 pixel) image, an image consisting of 128 frames is ignored if the overlapping portion is ignored (the horizontal direction is 1024 × 16 = 16,384 pixels and the vertical direction Is an image of about 100 million pixels of 768 × 8 = 6,144 pixels). The entire image display unit 102 described above displays a compressed image or a thumbnail image formed from this image, and the selected image display unit 103 displays, for example, one frame of an XGA image. Therefore, the selected image display unit 103 can display an image with extremely high resolution, and an unclear image can be displayed as a clear image in the selected image.
[0064]
FIG. 7 shows a range that can be captured in one frame when a 75 × telephoto lens is provided in the camera unit. When shooting a subject at a distance of 100 m from the camera unit, a range of 8.7 m in length and 1.17 m in width can be shot in one frame. For example, when XGA is used as the image sensor of the camera unit, a range of 0.87 cm x 1.17 cm can be represented by about one pixel.
[0065]
When shooting a subject at a distance of 200 m from the camera unit, a range of 1.74 m x 2.34 m can be shot in one frame. For example, when XGA is used as the image sensor of the camera unit, a range of 1.74 cm in length × 2.34 cm in width of the subject can be represented by one pixel.
[0066]
When shooting a subject at a distance of 500 m from the camera unit, a range of 4.36 m long by 5.84 m wide can be shot in one frame. For example, when XGA is used as the image sensor of the camera unit, a range of 4.36 cm long by 5.84 cm wide can be represented by one pixel.
[0067]
A data management method in a case where image data acquired with reference to FIG. 8 is stored in the archive 10, the main memory 30, etc. will be described. As described above, images of (M × N) frames are taken at a predetermined time interval, compressed, and stored. As shown in FIG. 8A, the position of each frame is defined by M rows and N columns. For example, the position address of (1, 1) specifies the uppermost frame at the right end. Each frame has this position address and time information at the time of recording as a file name. The time information is composed of year / month / day / hour / minute / second. Therefore, the file name of each frame is (year / month / day / hour / minute / second, position address).
[0068]
Further, as shown in FIG. 8B, a direction file is defined corresponding to the formation of one overall image with (M × N) frames. The direction file has the same data as the file name of the frame having the position address of (1, 1) (that is, year / month / day / hour / minute / second, position address). Define Further, the direction file has position information and metadata for the set of frames. The position information and metadata are generated by the metadata generation unit 29. That is, the direction file has position information such as latitude / longitude, azimuth, altitude, and metadata information such as camera unit parameters (magnification, focus value, iris value, etc.).
[0069]
Next, a description will be given of processing for capturing and displaying a movable range image in the movable range image display unit 101 according to an embodiment of the present invention. First, as shown in the flowchart of FIG. 9, processing for capturing an image into the main memory 30 is performed under the control of the controller CPU 33. For example, when the camera unit is installed at a predetermined location, an image capturing process is performed. In order to start this process, a start instruction is input using a setting menu screen (not shown). The movable range image can be captured at an arbitrary time such as at the initial setting.
[0070]
First, in step S11, shooting is started from the origin. The origin is the end position or the center position of the movable range. The pan unit 4a and the tilt unit 4b provided in the camera unit 3 are controlled, and the optical axis of the lens of the camera unit 3 is directed in the direction of photographing the origin frame (still image). When one frame is shot at the origin, the predetermined tilt angle and shooting direction are changed, and the next frame is shot. In this way, frames are acquired sequentially. The shooting direction of the camera is changed by the maximum angle in both the pan direction and the tilt direction.
[0071]
In step S12, the acquired frame image is converted into JPEG data by the JPEG encoder / metadata adding unit 27, and in step S13, metadata / position information is added. The metadata is time information, latitude / longitude information, and the like generated by the metadata generation unit 29, and the position information is a frame position address.
[0072]
Next, in step S <b> 14, JPEG data to which metadata and position information are added is recorded in the main memory 30. The camera is panned and tilted within the maximum movable range, and a number of frames are sequentially acquired within the maximum movable range. Then, all the frames within the maximum movable range are acquired, converted into JPEG data, added with metadata and position information, and stored in the main memory 30, thereby completing the image capturing process. Since the movable range image is used as a guide for determining the shooting direction, a compressed image or a thumbnail obtained by thinning may be stored in the main memory 30 without storing the original image.
[0073]
Next, a process of displaying the accumulated image on the movable range image display unit 101 of the display 2 will be described with reference to the flowchart of FIG. This processing is performed by the main memory 30, the graphic controller 31, the image compression unit 32, and the like. First, in step S21, an image acquired from the main memory 30 is reproduced, and data compression, for example, thinning is performed. In this process, a movable range image converted into a thumbnail is generated. Next, in step S22, the image position of the movable range image is adjusted so as to be displayed on the movable range image display unit 101, and in step S23, a thumbnail, that is, a movable range image is displayed.
[0074]
Further, processing for displaying the entire image on the entire image display unit 102 will be described with reference to FIG. This process is mainly performed by the graphic controller 31. When an arbitrary point or area in the movable range image displayed on the movable range display unit 101 described above is designated by a pointer, the control algorithm of the flowchart of FIG. 11 is called.
[0075]
First, in step S31, when the capture position is designated by a pointer in the movable range image, the capture coordinates of the entire image are confirmed. For example, the positions of the line segments 101a and 101b displayed on the display unit 101 are moved to instruct the capture position. Of course, the capture position may be indicated by moving the cursor with the mouse. As described above, since the movable range image captured at an arbitrary time such as the initial setting is used, it is possible to easily and accurately perform the operation for controlling the camera direction even in an environment where the photographed image is dark. it can. Next, in step S32, the capture start position of the entire image is calculated. Based on the calculation result, the pan section 4a and the tilt section 4b provided in the camera unit 3 are controlled, and the optical axis of the lens of the camera unit 3 is set. The capturing start position is moved to a frame at a predetermined position in a set of (M × N) frames, for example.
[0076]
Next, in step S33, the still image captured by the imaging unit 24 is captured as the first frame. Next, in step S34, the still image data is converted into JPEG data, and in step S35, metadata and position information are added. Conversion to JPEG and addition of metadata are performed by the JPEG encoder / metadata addition unit 27.
[0077]
In step S36, the image data to which the metadata and the position information are added is recorded in the main memory 30. In the next step S37, the data reproduced from the main memory 30 is displayed at a designated address of the entire image display unit 102 of the display 2 under the control of the graphic controller 31.
[0078]
Next, in step S38, the moving distance to the shooting position of the next frame is calculated. In step S39, the pan portion 4a and the tilt portion 4b are controlled based on the moving distance calculated in step S38, and the shooting position is moved to the shooting start position of the next frame.
[0079]
In step S40, the number of frames already captured is calculated. In step S41, it is determined whether or not (M × N) frames constituting the entire image have been captured. As described above, when it is set to capture a predetermined number of frames such as (2 × 4) (4 × 8) in (M × N), for example, (8 × 16) frames, it is set. It is determined whether or not the number of images that have been taken has been captured.
[0080]
If it is determined in step S41 that the number of frames already captured has reached the designated number of frames, control is passed to step S42, and the optical axis of the lens of the camera unit is set to the center portion of the entire image display unit 102. Moved to. On the other hand, if it is determined in step S41 that the number of captured frames has not yet reached the designated number of frames, control returns to step S33, and the next frame is captured.
[0081]
Note that the processing (steps S38 and S39) necessary to move the shooting position in order to capture the next frame is performed only when it is determined in step S41 that the number of captured frames has not reached the specified number. You may do it.
[0082]
As described above, when an arbitrary point or area in the movable range image is designated by the pointer, (M × N) frames are taken with reference to the designated position, and the entire image is displayed. . Furthermore, an image of a specified point or area in the entire image can be displayed on the selected image display unit 103 as a selected image. The selected image is captured and displayed by the graphic controller 31 and the controller CPU 33 according to the flow shown in the flowchart of FIG.
[0083]
In step S51, the cursor is positioned at a selection point on the entire image and the mouse is clicked. In step S52, the click point is converted into a position coordinate. The position coordinates are defined for an imaging area composed of (M × N) frames. In step S53, the moving distance from the current shooting position to the designated position is calculated.
[0084]
In step S54, the pan part 4a and the tilt part 4b are controlled, and the photographing position is moved by the calculated movement distance. In step S55, a frame is shot at that position, and in step S56, the frame data is transferred to the JPEG encoder / metadata adding unit 27. Then, the captured frame is displayed on the display unit 103 as a selected image by the graphic controller 31. This selected image has, for example, XGA pixel count and is based on uncompressed data. Therefore, the selected image has a higher resolution than the entire image and is a clear image. Further, since the selected image has a larger size than the image of one frame in the entire image, an enlarged image can be displayed on the selected image display unit 103.
[0085]
The present invention is not limited to the above-described embodiment of the present invention, and various modifications and applications can be made without departing from the gist of the present invention. For example, the above-described embodiment is an example in which the maximum movable range is 180 °, but other numerical values such as 360 ° may be used. Moreover, you may make it have not only one sheet but a several movable range image.
[0086]
【The invention's effect】
According to the present invention, when the entire image is acquired, the entire range image is obtained using the movable range image. position Specify the shooting position in the movable range image. Easy Can be grasped. Therefore, since it is not necessary to move the imaging unit many times and align the entire image in order to grasp the imaging direction, it is possible to prevent the period for acquiring the entire image from becoming long. Further, in the present invention, since the movable range image when the imaging unit is moved over the maximum movable range is acquired and displayed, an image of a desired area can be obtained, and even when the captured image is dark By displaying the entire image with a movable range image captured in advance, it is possible to easily set the range to be captured and improve operability.
[Brief description of the drawings]
FIG. 1 is a block diagram schematically showing a monitoring system according to an embodiment of the present invention.
FIG. 2 is a block diagram of an embodiment of the present invention.
FIG. 3 is a schematic diagram for explaining an example of a screen display according to the embodiment of the present invention.
FIG. 4 is a schematic diagram illustrating an example of a select screen according to an embodiment of the present invention.
FIG. 5 is a schematic diagram for explaining an example of an accumulated data display screen during reproduction according to an embodiment of the present invention.
FIG. 6 is a schematic diagram for illustrating a photographing operation and an image obtaining operation in one embodiment of the present invention.
FIG. 7 is a schematic diagram for explaining a distance to a subject, a photographing range, and a resolution according to an embodiment of the present invention.
FIG. 8 is a schematic diagram for explaining a method for managing a captured image;
FIG. 9 is a flowchart for explaining the operation of a movable range image capturing process in one embodiment of the present invention.
FIG. 10 is a flowchart for explaining a display operation of a movable range image in one embodiment of the present invention.
FIG. 11 is a flowchart for explaining the entire image capturing operation according to the embodiment of the present invention;
FIG. 12 is a flowchart for explaining a selection image capturing operation and a display operation according to an embodiment of the present invention;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Computer, 2 ... Display, 3 ... Camera unit, 4 ... Pantilter part, 5 ... Camera part, 21 ... Controller bus, 24 ... Shooting part, 27 ... JPEG encoder / metadata adding unit, 30 ... main memory, 31 ... graphic controller, 32 ... image compression unit, 33 ... controller CPU, 101 ... movable range image display unit, 102 ..Whole image display section, 103 ... Selected image display section

Claims

An imaging unit for capturing images;
An imaging direction variable unit that varies the imaging direction of the imaging unit;
A storage unit for storing image data;
A display unit;
In a predetermined movable range within the maximum movable range of the imaging direction variable unit, an original image composed of a plurality of still images captured in each imaging direction or a compressed image obtained by compressing the original image is stored in the storage unit, A control unit that displays a panoramic whole image generated by further compressing the original image or the compressed image on the display unit,
A movable range image that is compressed more than the entire image is generated from a plurality of still images captured when the imaging direction is changed over the maximum movable range at an arbitrary time in advance, and the display unit The movable range captured by using the designated position as a reference by displaying the movable range image and controlling the imaging direction in the direction of the designated position by indicating a desired position in the movable range image The entire image composed of a plurality of still images in the image is displayed on the display unit ,
A monitoring system in which the number of still images constituting the entire image is set by a user operation .

In claim 1,
A monitoring system for displaying the whole image and the movable range image in different areas of the display unit.

An original image composed of a plurality of still images captured in each imaging direction or a compressed image obtained by compressing the original image in a predetermined movable range within the maximum movable range of the imaging direction variable unit that varies the imaging direction of the imaging unit. A monitoring method for storing and displaying a panoramic overall image generated by further compressing the original image or the compressed image,
A movable range image that is compressed more than the entire image is generated from a plurality of still images captured when the imaging direction is changed over the maximum movable range at an arbitrary time in advance, and the movable range image is Steps to display;
By instructing a desired position in the movable range image and setting the number of still images to be captured with the instructed position as a reference, the imaging direction is controlled in the direction of the instructed position, and the instructed And a step of displaying the entire image composed of the plurality of still images captured on the basis of the position.

In claim 3 ,
A monitoring method for displaying the whole image and the movable range image in different areas of a display unit.

An original image composed of a plurality of still images captured in each imaging direction or a compressed image obtained by compressing the original image in a predetermined movable range within the maximum movable range of the imaging direction variable unit that varies the imaging direction of the imaging unit. A program for causing a computer to execute a monitoring method for storing and displaying a panoramic overall image generated by further compressing the original image or the compressed image,
A movable range image that is compressed more than the entire image is generated from a plurality of still images captured when the imaging direction is changed over the maximum movable range at an arbitrary time in advance, and the movable range image is Steps to display;
By instructing a desired position in the movable range image and setting the number of still images to be captured with the instructed position as a reference, the imaging direction is controlled in the direction of the instructed position, and the instructed A program for causing a computer to execute the step of displaying the entire image composed of the plurality of still images captured on the basis of the position.

An original image composed of a plurality of still images captured in each imaging direction or a compressed image obtained by compressing the original image in a predetermined movable range within the maximum movable range of the imaging direction variable unit that varies the imaging direction of the imaging unit. A computer-readable recording medium storing a program for causing a computer to execute a monitoring method for storing and displaying a panoramic overall image generated by further compressing the original image or the compressed image,
A movable range image that is compressed more than the entire image is generated from a plurality of still images captured when the imaging direction is changed over the maximum movable range at an arbitrary time in advance, and the movable range image is Steps to display;
By instructing a desired position in the movable range image and setting the number of still images to be captured with the instructed position as a reference, the imaging direction is controlled in the direction of the instructed position, and the instructed A computer-readable recording medium on which is recorded a program for causing a computer to execute the step of displaying the entire image composed of the plurality of still images captured on the basis of the position.