JP3841033B2 - Monitoring system and method, program, and recording medium - Google Patents

Monitoring system and method, program, and recording medium Download PDF

Info

Publication number
JP3841033B2
JP3841033B2 JP2002248437A JP2002248437A JP3841033B2 JP 3841033 B2 JP3841033 B2 JP 3841033B2 JP 2002248437 A JP2002248437 A JP 2002248437A JP 2002248437 A JP2002248437 A JP 2002248437A JP 3841033 B2 JP3841033 B2 JP 3841033B2
Authority
JP
Japan
Prior art keywords
image
unit
display
range
movable range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002248437A
Other languages
Japanese (ja)
Other versions
JP2004088558A (en
Inventor
裕之 長谷川
秀樹 浜
大 根津
武義 黒谷
正昭 紅林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002248437A priority Critical patent/JP3841033B2/en
Priority to US10/649,150 priority patent/US7697025B2/en
Publication of JP2004088558A publication Critical patent/JP2004088558A/en
Application granted granted Critical
Publication of JP3841033B2 publication Critical patent/JP3841033B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【０００１】
【発明の属する技術分野】
この発明は、監視カメラ等に適用されるモニタリングシステムおよび方法並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
従来、広範囲の状況を監視するためにモニタリングシステムが使用されている。例えば海上監視、河川監視、立ち入り監視区域のモニタリング、野生動物の行動観察等にモニタリングシステムが使用される。このモニタリングシステムは、広範囲の画像を撮影する必要上、画素数が非常に多いビデオカメラを使用していた。そのために、システムの価格が高くなり、コストの面で問題があった。
【０００３】
これに対して、カメラの撮影範囲を順にずらしながら、静止画像を撮影し、多数の静止画像を連結することで、モニタリングしようとする範囲の画像を生成することが提案されている。この場合、多数の静止画像を連結することで生成される連結画像は、極めて高解像度の画像とすることができる。したがって、連結画像中の一部分の拡大画像を得る場合に、拡大画像自体の解像度が高く、拡大画像であっても鮮明な画像を得ることができる。
【０００４】
モニタリングする範囲を広くする必要からカメラの可動範囲は、例えば１８０°、３６０°等の極めて広い範囲が設定されている。この広い範囲でカメラの撮影方向を切り替え、各撮影方向で静止画像を取得し、パノラマ状の連結画像を形成するようにしている。
【０００５】
撮影範囲を広く設定すると、広範囲の連結画像を構成する静止画像の枚数が増えることになり、画像取得のための時間が長くなり、連結画像を取得する周期が長くなる問題が生じる。実際に監視したいエリアは、限定された範囲であることが多い。
【０００６】
そこで、同出願人は、特願２００２−１３０７６１において、広範囲のエリアを画角毎に切り出し、切り出された画角の画像を通常の撮像素子で取り込み、取り込まれた画像を組み合わせることによって、高精細且つ広範囲な画像を得ることができるシステムを提案している。
【０００７】
【発明が解決しようとする課題】
しかしながら、このシステムであっても実際に監視したいエリアを決定する仕組みは、カメラを移動させてライブ映像で撮影し、撮影された映像で確認しなければならなかった。また、画像取り込み可能範囲と撮影範囲との関係を一見してユーザに知らせる方法はなかった。
【０００８】
さらに、特に詳細に監視したい部分があっても、複数枚の画像を撮影するため、再度その部分を撮影するまでには所定の時間が必要となるので、所定の間隔より短い間隔でその部分を監視することはできなかった。
【０００９】
そこで、この発明の目的は、撮影範囲の画像を事前に確認することができ、さらに画像取り込み可能範囲と撮影範囲との関係を一見してユーザに知らせることができ、また特に監視したい部分を継続的に監視することができるモニタリングシステムおよび方法並びにプログラムおよび記録媒体を提供することにある。
【００１０】
上述した課題を解決するために、この発明は、撮像方向を可変する第１の撮像方向可変部に取り付けられた第１のカメラユニットと、
撮像方向を可変する第２の撮像方向可変部に取り付けられた第２のカメラユニットと、
第１のカメラユニットによって撮影された画像データを蓄積する蓄積部と、
第１の撮像方向可変部の最大可動範囲において、各撮像方向で第１のカメラユニットが撮像した複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積し、蓄積された原画像または圧縮画像をさらに圧縮して生成された可動範囲画像と、可動範囲画像内の一部の領域であるパノラマ状の全体画像の範囲を認識するために重畳された第１の指示表示からなる画像を表示する可動範囲画像表示部と、
可動範囲画像表示部における第１の指示表示に基づいて選択されたパノラマ状の全体画像の範囲の画像を撮影するように、第１の撮像方向可変部が制御され、各撮像方向で第１のカメラユニットが撮像した複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積し、蓄積された原画像または圧縮画像をさらに圧縮して生成された画像からなるパノラマ状の全体画像と、全体画像に対して重畳された第２の指示表示とを表示する全体画像表示部と、
全体画像内の一部の領域を第２の指示表示に基づいて選択し、第２の指示表示に対応する領域の動画像を第２のカメラユニットが撮影するように、第２の撮像方向可変部を制御し、第２のカメラユニットが撮影した領域の動画像を表示する指定画像表示部と、
可動範囲画像表示部、全体画像表示部および指定画像表示部の表示動作を制御する制御部とを備え、
可動範囲画像表示部、全体画像表示部および指定画像表示部は、表示手段のそれぞれ異なる領域に構成されることを特徴とするモニタリングシステムである。
【００１１】
この発明は、第１の撮像方向可変部の最大可動範囲において、各撮像方向で第１のカメラユニットによって撮影された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積するステップと、
蓄積された原画像または圧縮画像をさらに圧縮して生成された可動範囲画像と、可動範囲画像内の一部の領域であるパノラマ状の全体画像の範囲を認識するために重畳された第１の指示表示とからなる画像を表示する可動範囲画像表示ステップと、
第１の指示表示に基づいて選択されたパノラマ状の全体画像の範囲の画像を撮影するように、第１の撮像方向可変部が制御され、各撮像方向で第１のカメラユニットによって撮影された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積するステップと、
蓄積された原画像または圧縮画像をさらに圧縮して生成された画像からなるパノラマ状の全体画像と全体画像に対して重畳された第２の指示表示とを表示する全体画像表示ステップと、
全体画像内の一部の領域を第２の指示表示に基づいて選択し、第２の指示表示に対応する領域の動画像を第２のカメラユニットが撮影するように、第２の撮像方向可変部を制御し、第２のカメラユニットが撮影した領域の動画像を表示する指定画像表示ステップとを備え、
可動範囲画像表示部、全体画像表示部および指定画像表示部は、表示手段のそれぞれ異なる領域に構成されることを特徴とするモニタリング方法である。
【００１２】
この発明は、第１の撮像方向可変部の最大可動範囲において、各撮像方向で第１のカメラユニットによって撮影された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積するステップと、
蓄積された原画像または圧縮画像をさらに圧縮して生成された可動範囲画像と、可動範囲画像内の一部の領域であるパノラマ状の全体画像の範囲を認識するために重畳された第１の指示表示とからなる画像を表示する可動範囲画像表示ステップと、
第１の指示表示に基づいて選択されたパノラマ状の全体画像の範囲の画像を撮影するように、第１の撮像方向可変部が制御され、各撮像方向で第１のカメラユニットによって撮影された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積するステップと、
蓄積された原画像または圧縮画像をさらに圧縮して生成された画像からなるパノラマ状の全体画像と全体画像に対して重畳された第２の指示表示とを表示する全体画像表示ステップと、
全体画像内の一部の領域を第２の指示表示に基づいて選択し、第２の指示表示に対応する動画像を第２のカメラユニットが撮影するように、第２の撮像方向可変部を制御し、第２のカメラユニットが撮影した領域の動画像を表示する指定画像表示ステップとを備え、
可動範囲画像表示部、全体画像表示部および指定画像表示部は、表示手段のそれぞれ異なる領域に構成されることを特徴とするモニタリング方法をコンピュータに実行させるためのプログラムである。
【００１３】
この発明は、第１の撮像方向可変部の最大可動範囲において、各撮像方向で第１のカメラユニットによって撮影された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積するステップと、
蓄積された原画像または圧縮画像をさらに圧縮して生成された可動範囲画像と、可動範囲画像内の一部の領域であるパノラマ状の全体画像の範囲を認識するために重畳された第１の指示表示とからなる画像を表示する可動範囲画像表示ステップと、
第１の指示表示に基づいて選択されたパノラマ状の全体画像の範囲の画像を撮影するように、第１の撮像方向可変部が制御され、各撮像方向で第１のカメラユニットによって撮影された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積するステップと、
蓄積された原画像または圧縮画像をさらに圧縮して生成された画像からなるパノラマ状の全体画像と全体画像に対して重畳された第２の指示表示とを表示する全体画像表示ステップと、
全体画像内の一部の領域を第２の指示表示に基づいて選択し、第２の指示表示に対応する動画像を第２のカメラユニットが撮影するように、第２の撮像方向可変部を制御し、第２のカメラユニットが撮影した領域の動画像を表示する指定画像表示ステップとを備え、
可動範囲画像表示部、全体画像表示部および指定画像表示部は、表示手段のそれぞれ異なる領域に構成されることを特徴とするモニタリング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１８】
撮像方向を広範囲に可変可能な第１および第２のカメラユニットを備え、第１のカメラユニットで撮影された複数の画像データを集合させ、第１のカメラユニットの位置情報が組み込まれた第１の集合画像表示部をＧＵＩとして第２のカメラユニットを操作（制御）することができる。すなわち、第１のカメラユニットの位置情報に基づいて第２のカメラユニットを制御することによって、監視したい特定の場所を連続して撮影し、記録および／または表示することができる。
【００１９】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態の概略的な構成を示す。ディスプレイ２が接続されているコンピュータ１は、カメラユニット３ａ、３ｂを制御する。図１の例は、１台のコンピュータ１が２台のカメラユニット３ａ、３ｂを制御するシステムの例である。１台のコンピュータが複数台のカメラユニットを制御できる。
【００２０】
カメラユニット３ａ、３ｂは、パンチルタ部４ａ、４ｂとカメラ部５ａ、５ｂが一体的に構成されたものである。カメラユニット３ａ、３ｂは、遠方の対象領域を撮影可能なように設置される。一例として、カメラ部５ａ、５ｂは、倍率が１０倍、７０倍等の望遠レンズを有し、数十メートルから数キロメートル離れた場所を撮影可能とされている。なお、この一実施形態では、パンチルタ部４ｂとカメラ部５ｂから構成されるカメラユニット３ｂは、一例として指定された領域を撮影するためのものである。
【００２１】
カメラ部５ａ、５ｂは、例えば外部からのトリガーと同期してシャッターをオンできるディジタルスチルカメラであり、その撮影素子例えばＣＣＤ（Charge Coupled Device）は、ＶＧＡ（Video Graphics Array,640×480 画素）画像、ＸＧＡ（eXtended Graphics Array,1024×768 画素）画像、ＳＸＧＡ（Super eXtended Graphics Array,1280×1024画素）画像等の画素数を有する。ＶＧＡ画像の撮像素子の場合では、３０ｆｐｓ（フレーム／秒）のレートで画像データが出力され、ＸＧＡ画像の撮像素子の場合では、１５ｆｐｓ（フレーム／秒）のレートで画像データが出力され、ＳＸＧＡ画像の撮像素子の場合では、７．５ｆｐｓ（フレーム／秒）のレートで画像データが出力される。
【００２２】
映像データは、カメラユニット３ａ、３ｂからコンピュータ１に対してバス６ａ、６ｂを介して伝送される。バス６ａ、６ｂは、カメラユニット３ａ、３ｂから供給される映像データと、コンピュータ１から供給される制御信号とを伝送する。
【００２３】
コンピュータ１では、カメラユニット３ａ、３ｂからの映像データがメモリに蓄積され、後述するように、操作用のＧＵＩ(Graphical User Interface)が構成され、ユーザが所望の対象領域の画像をカメラユニット３ａ、３ｂで撮影できるように、カメラユニット３ａ、３ｂが制御される。圧縮符号化例えばＪＰＥＧ（Joint Photographic Experts Group) によって撮影画像が圧縮される。
【００２４】
コンピュータ１は、ＬＡＮ（Local Area Network）７を介して他のコンピュータ８と接続されている。参照符号９は、コンピュータ８のディスプレイである。コンピュータ８は、ＬＡＮ７を介してコンピュータ１からの画像データ等を受取り、アーカイブ１０に対して映像データを蓄積し、さらに、画像データの処理を行う。例えば映像データを使用して顔認識、荷物認識、環境認識、車認識等の処理がなされる。アーカイブ１０は、テープストリーマーのような大量のデータを蓄積できるものである。
【００２５】
図２および図３は、上述したモニタリングシステムにおけるコンピュータ１とカメラユニット３ａ、３ｂの部分のより詳細な構成を示す。図２および図３の例では、参照符号２１で示す共通のコントローラバスに対して、カメラユニット３ａ、３ｂおよびコンピュータの構成要素が接続されている。なお、カメラユニット３ａの制御または信号処理を行うブロックには、参照符号の最後に「ａ」を付し、カメラユニット３ｂの制御または信号処理を行うブロックには、参照符号の最後に「ｂ」を付す。
【００２６】
カメラユニット３ａには、レンズ部３１ａ、フォーカス・ズーム・アイリス制御部３２ａ、トラッキング部３３ａ、撮像部３４ａ、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４インタフェース３５ａ、パン部３６ａ、およびチルト部３７ａとから構成される。コントローラバス２１を介してコントローラＣＰＵ（Central Processing Unit）２２から供給される制御信号によって、制御される。なお、レンズ部３１ａ、フォーカス・ズーム・アイリス制御部３２ａ、トラッキング部３３ａ、撮像部３４ａ、およびＩＥＥＥ１３９４インタフェース３５ａはカメラユニット３ａのカメラ部として、パン部３６ａおよびチルト部３７ａ上に設置されている。
【００２７】
カメラユニット３ｂには、レンズ部３１ｂ、フォーカス・ズーム・アイリス制御部３２ｂ、トラッキング部３３ｂ、撮像部３４ｂ、ＩＥＥＥ１３９４インタフェース３５ｂ、パン部３６ｂ、およびチルト部３７ｂとから構成される。コントローラバス２１を介してコントローラＣＰＵ２２から供給される制御信号によって、制御される。なお、レンズ部３１ｂ、フォーカス・ズーム・アイリス制御部３２ｂ、トラッキング部３３ｂ、撮像部３４ｂ、およびＩＥＥＥ１３９４インタフェース３５ｂはカメラユニット３ｂのカメラ部として、パン部３６ｂおよびチルト部３７ｂ上に設置されている。
【００２８】
パン部３６ａおよび３６ｂ並びにチルト部３７ａおよび３７ｂは、それぞれ駆動源として例えばステッピングモータを有し、コントローラバス２１を介してコントローラＣＰＵ２２から供給される制御信号に応じてカメラ部をパンおよび／またはチルトさせる。ここで、パンは、水平方向にカメラを回転させることを意味し、チルトは、垂直方向にカメラを回転させることを意味する。一例として、パン角の最大値が±９０°とされ、チルト角の最大値が±４５°とされている。
【００２９】
撮像中心を画角分移動させる毎に、シャッターがオンされ、例えば１／６０秒間隔または１／３０秒間隔の静止画像（以下、適宜「フレーム」と称する）が撮影される。すなわち、カメラ部では動画が撮影され、撮影された動画が１／６０秒間隔または１／３０秒間隔からなる１枚の静止画像として、後段に供給される。なお、この一実施形態では、一例として１／３０秒間隔で静止画像が撮影される。
【００３０】
縦方向でＭ枚（例えば８枚）、横方向でＮ枚（例えば１６枚）の合計（Ｍ×Ｎ＝８×１６＝１２８枚）のフレームが順番に撮影され、これらを圧縮する。各フレームが例えばＸＧＡ（1024×768画素）画像である。したがって、１２８枚のフレームは、重複部分を無視すると、(横方向が1024×16＝16,384画素で、縦方向が768×8＝6,144画素）の約１億画素の画像を形成する。なお、１２８枚のフレームを撮影するのに約５秒かかる。そして、この一実施形態では、隣り合うフレームの重複部分は縦横のそれぞれで１６画素とされる。
【００３１】
フォーカス・ズーム・アイリス制御部３２ａおよび３２ｂは、コントローラバス２１を介してコントローラＣＰＵ２２から供給される制御信号によって制御される。撮像部３４ａおよび３４ｂは、固体撮像素子例えばＣＣＤ（Charge Coupled Device）とカメラ信号処理回路とを含む。撮像部３４ａおよび３４ｂからのディジタル映像信号がＩＥＥＥ１３９４インタフェース３５ａおよび３５ｂを介してバッファメモリ３８ａおよび３８ｂに書き込まれる。
【００３２】
トラッキング部３３ａでは、パン部３６ａおよびチルト部３７ａの動きに対応してレンズ部３１ａの所定のレンズをシフトさせて、パン部３６ａおよびチルト部３７ａの動きが打ち消される。トラッキング部３３ｂでは、パン部３６ｂおよびチルト部３７ｂの動きに対応してレンズ部３１ｂの所定のレンズをシフトさせて、パン部３６ｂおよびチルト部３７ｂの動きが打ち消される。従って、ブレのない１／６０秒または１／３０秒の静止画像を撮影することができる。
【００３３】
バッファメモリ３８ａの出力データがＪＰＥＧ（Joint Photographics Experts Group）エンコーダ／メタデータ付加部３９ａに供給され、画像データがＪＰＥＧデータに変換される。ＪＰＥＧは、圧縮方式の１つであって、他の圧縮方式を使用しても良いし、圧縮しないでも良い。また、バッファメモリ３８ｂの出力データがＭＰＥＧ（Moving Picture Coding Experts Group）エンコーダ３９ｂに供給され、動画像データがＭＰＥＧデータに変換される。ＭＰＥＧは、圧縮方式の１つであって、他の圧縮方式を使用しても良い。
【００３４】
カメラユニット３ａおよび３ｂには、その位置を検出するためのＧＰＳ（Global Positioning System）４０ａおよび４０ｂが備えられている。ＧＰＳ４０ａおよび４０ｂを備えることによって、カメラの設置場所のデータを記録できると共に、カメラの向きを検出し、複数のカメラの向きを連動して制御することが可能となる。ＧＰＳ４０ａおよび４０ｂは、コントローラバス２１を介してコントローラＣＰＵ２２から供給される制御信号によって制御される。
【００３５】
ＧＰＳ４０ａおよび４０ｂの出力信号がメタデータ生成部４１ａおよび４１ｂに供給され、ＧＰＳ４０ａおよび４０ｂの測位結果に基づいた位置情報（緯度・経度、方位、高度等の情報）およびメタデータ（時刻、カメラ部のパラメータ（倍率、フォーカス値、アイリス値等）等の情報）が生成される。
【００３６】
メタデータ生成部４１ａで生成された位置情報およびメタデータは、ＪＰＥＧエンコーダ／メタデータ付加部３９ａに供給される。ＪＰＥＧエンコーダ／メタデータ付加部３９ａでは、ＪＰＥＧデータに対して位置情報およびメタデータが付加される。メタデータおよび位置情報が付加されたＪＰＥＧデータがメインメモリ４２ａへ記憶される。
【００３７】
メインメモリ４２ａから読み出されたＪＰＥＧデータは、ＪＰＥＧデコーダ４３ａで画像データへ復号される。復号された画像データは、画像圧縮部４４ａへ供給される。画像圧縮部４４ａでは、ディスプレイ４６に表示される可動範囲画像表示部または全体画像表示部に表示できるように画像データが圧縮され、サムネイル（縮小画像）が生成される。生成されたサムネイルは、画像圧縮部４４ａからグラフィックコントローラ４５へ供給される。
【００３８】
メタデータ生成部４１ｂで生成された位置情報およびメタデータは、ＭＰＥＧエンコーダ３９ｂに供給される。ＭＰＥＧエンコーダ３９ｂでは、ＭＰＥＧデータの所定の画像データに対して位置情報およびメタデータが付加される。メタデータおよび位置情報が付加されたＭＰＥＧデータがメインメモリ４２ｂへ記憶される。
【００３９】
メインメモリ４２ｂから読み出されたＭＰＥＧデータは、ＭＰＥＧデコーダ４３ｂで動画像データへ復号される。復号された動画像データは、画像圧縮部４４ｂへ供給される。画像圧縮部４４ｂでは、ディスプレイ４６に表示される指定画像表示部に表示できるように動画像データが圧縮され、所定の大きさの動画像データが生成される。生成された動画像データは、画像圧縮部４４ｂからグラフィックコントローラ４５へ供給される。
【００４０】
グラフィックコントローラ４５は、供給された画像データおよび動画像データをビットマップデータへ変換し、ディスプレイ４６の画面上に所望の画像表示がなされるようなグラフィックス処理を行う。すなわち、可動範囲画像表示、全体画像表示、指定画像表示、ボタン等のＧＵＩ表示がディスプレイ４６の画面上でなされる。表示の詳細については、後述する。
【００４１】
また、グラフィックコントローラ４５は、画像処理を行い、画像変化を検出する。画像変化は、リファレンス画像に対して生じた変化である。例えばビューモードにおいて、以前に蓄積されたリファレンス画像との比較がなされ、画像変化が検出される。リファレンス画像として、前日の所定時刻の画像を設定し、それ以降に蓄積された画像とリファレンス画像との画素の差分を検出し、画素の差分の絶対値が所定値以上の場合を変化が生じたものとして検出する。差分の検出としては、比較しようとする画像とリファレンス画像との空間的同一位置のフレーム毎に同一位置の画素の差分値を演算する方法が使用できる。全画素に関する差分を検出するのに代えて、代表画素または間引かれた画素に関して差分を演算しても良い。また、所定の色を限定することによって、所定の色の物体に着目した変化検出を行うことも可能である。
【００４２】
変化が検出されると、ディスプレイ４６上の表示でアラーム例えば変化が検出されたフレームを他のフレームと区別できる表示がなされる。具体的には、輝度変化、色変化、ブリンク等の方法でアラームを表示できる。リファレンス画像は、蓄積されている画像の中で、所定のものを任意に選択することが可能とされている。
【００４３】
上述したように、コントローラバス２１に接続されたコントローラＣＰＵ２２は、カメラ部のレンズ制御（例えば、フォーカス等）、露出制御（例えば、絞り、ゲイン、電子シャッタースピード等）、白バランス制御、画質制御等を行うと共に、パン部３６ａおよび３６ｂおよびチルト部３７ａおよび３７ｂを制御する。
【００４４】
Ｉ／Ｏポート２３に対しては、キーボード２４およびマウス２５が接続され、また、Ｉ／Ｏポート２３に対しては、メモリカード２６および時計２７が接続されている。メモリカード２６に対して、メインメモリ４２ａおよび４２ｂに蓄積されている位置情報およびメタデータが付加されたＪＰＥＧデータおよびＭＰＥＧデータを書き込むことができる。また、時計２７から時刻データが得られる。
【００４５】
なお、メインメモリ４２ａおよび４２ｂは、ハードディスクなどから構成され、カメラユニット３ａおよび３ｂで撮像され、メタデータおよび位置情報が付加されたＪＰＥＧデータおよびＭＰＥＧデータが蓄積される。
【００４６】
なお、図２および図３では、コントローラバス２１に対して各構成要素が接続されているが、カメラユニットとコンピュータとを離れた場所に設置し、両者をＩＥＥＥ１３９４、ＵＳＢ等のプロトコルで接続するようにしても良い。この場合、物理的伝送路としては、光ファイバが使用される。光ファイバを使用すれば、数百メートルから数キロメートル程度カメラユニットと制御用のコンピュータとを離して配置できる。さらに、両者を無線ＬＡＮで接続しても良い。
【００４７】
図４に、この発明の一実施形態によるＧＵＩの画面例を示す。以下、この図４を参照しながら、この発明の一実施形態によるＧＵＩの画面に備えられた表示部、操作ボタンおよび表示領域などについて説明する。１画面には、可動範囲画像表示部１０１、全体画像表示部１０２および指定画像表示部１０３が配置されている。
【００４８】
可動範囲画像表示部１０１には、可動範囲画像が表示される。可動範囲画像とは、カメラユニットが撮影可能な最大範囲を示す画像であり、複数枚のフレームにより構成される。そのためこの一実施形態では、図に示すようにパノラマ状の画像となる。上述したように、パン角の最大値が±９０°とされ、チルト角の最大値が±４５°とされており、この最大可動範囲で撮影された複数枚のフレームから可動範囲画像が生成される。なお、この可動範囲画像表示部１０１には、構成される複数のフレームに付加されている位置情報が組み込まれている。
【００４９】
そして、後述するＭＲＰ（Movable Range Picture）表示ボタン１３０がクリックされた時、またはカメラユニットを設置し、撮影開始時において、カメラ部を最大可動範囲にわたって動かし、その結果得られる複数枚のフレームで構成される画像に関して縦方向および横方向に画素を間引いたサムネイルが可動範囲画像として使用される。また、所定の時間間隔で可動範囲画像を構成する全フレームを撮影し、蓄積および／または表示するようにしても良い。
【００５０】
この可動範囲画像表示部１０１には、全体画像表示部１０２に表示されている範囲を認識するための全体画像表示枠１０１ａ（第１の指示表示）が示される。この全体画像表示枠１０１ａをマウス２５で動かすことによって、可動範囲画像内の所望の範囲を指示することができ、指示された範囲を撮像するようにカメラ部を制御することができる。すなわち、指示された範囲において、（Ｍ×Ｎ）枚のフレーム（静止画像）が撮影され、蓄積および／または表示される。
【００５１】
なお、この全体画像表示枠１０１ａは一例であり、様々な形状で全体画像表示部１０２に表示されている範囲を可動範囲画像表示部１０１に示すようにしても良い。具体的には、図５Ａに示すように、全体画像表示部１０２に表示されている範囲の４辺を示すようにしても良いし、図５Ｂに示すように、全体画像表示部１０２に表示されている範囲の４隅を示すようにしても良いし、図５Ｃに示すように、全体画像表示部１０２に表示されている範囲の４隅および中央を示すようにしても良い。
【００５２】
また、この全体画像表示枠１０１ａの大きさは、一例として可動範囲画像表示部１０１に表示されるフレームの（８×１６）枚の大きさであり、後述するＲＥＣ ＭＯＤＥ選択メニュー１１８で選択される記録モードの画像サイズに合わせた大きさである。従って、後述するように（４×８）枚のフレームの大きさであっても良いし、（２×４）枚のフレームの大きさであっても良い。また、１つのフレームの大きさは、レンズ部３１ａの倍率による。
【００５３】
この全体画像表示枠１０１ａを移動させる場合、一例として全体画像表示枠１０１ａの中央となるフレームをマウス２５で選択した後、選択したフレームが中央となるように全体画像表示枠１０１ａを表示する。また、マウス２５の移動に連動して全体画像表示枠１０１ａを移動するようにしても良いし、全体画像表示枠１０１ａの例えば左上となるフレーム、または対角となる左上と右下の２つのフレームをマウス２５で選択するようにしても良い。このように、その位置を移動した全体画像表示枠１０１ａに対応した範囲を撮影するためにカメラユニット３ａが制御され、カメラユニット３ａの光軸が向けられる。
【００５４】
また、全体画像表示部１０２には、全体画像表示枠１０１ａで選択されているパノラマ状の全体画像が表示される。全体画像は、撮影された原画像に対応するＪＰＥＧデータを画像圧縮部３２によって圧縮した画像である。表示されている全体画像を見ることで、モニタリングを行うことができる。さらに、前述したように、画像変化が検出されると、全体画像表示部１０２に表示されている全体画像中で変化が検出されたフレームが他のフレームと異なる表示とされるアラームが発生する。
【００５５】
そして、所定の時間間隔で全体画像表示枠１０１ａで選択された範囲の画像を撮影するために、カメラ部を動かし、その結果得られる複数枚のフレームで構成される画像に関して縦方向および横方向に画素を間引いたサムネイルが全体画像として使用される。なお、撮影された画像は、全て蓄積するようにしても良い。
【００５６】
この全体画像表示部１０２には、指定画像表示部１０３に表示されている範囲を認識するための指定画像表示枠１０２ａ（第２の指示表示）が示される。なお、この指定画像表示枠１０２ａは一例であり、上述の全体画像表示枠１０１ａと同様図５に示す様々な形状で全体画像表示部１０２に表示されている範囲を指定画像表示部１０３に示すようにしても良い。
【００５７】
この指定画像表示枠１０２ａは、所定の大きさの指定画像表示枠１０２ａとしても良いし、マウス２５によって任意の大きさに設定される指定画像表示枠１０２ａとしても良い。また、指定画像表示枠１０２ａを移動させる場合、一例としてマウス２５の移動に連動して指定画像表示枠１０２ａを移動するようにしても良いし、指定画像表示枠１０２ａの例えば対角となる左上と右下の２つの点をマウス２５で選択するようにして、指定画像表示枠１０２ａの大きさを再度設定するようにしても良い。このように、異なる位置に移動した指定画像表示枠１０２ａに対応した範囲を撮影するようにカメラユニット３ｂが制御され、カメラユニット３ｂの光軸が向けられる。
【００５８】
指定画像表示部１０３には、指定画像表示枠１０２ａで選択されている指定画像が表示される。この表示された指定画像は、カメラユニット３ｂによって撮影された画像である。選択された指定画像の画角となるようにカメラユニット３ｂが制御され、動画像が撮影され、指定画像表示部１０３に表示される。
【００５９】
ＥＸＩＴボタン１０４は、モニタリングシステムの電源をオフするためのボタンである。Camera system ＯＦＦボタン１０５は、カメラユニットの電源をオフするためのボタンである。
【００６０】
ＶＩＥＷ ＭＯＤＥボタン１０６は、モニタリングシステムのモードをビューモードに切り換えるためのボタンである。ビューモードとは、メインメモリ４２ａ、４２ｂまたは他のサーバに蓄積された画像データに基づき、全体画像および部分画像を表示するモードである。
【００６１】
ＬＩＶＥ ＭＯＤＥボタン１０７は、モニタリングシステムのモードをライブモードに切り換えるためのボタンである。ライブモードとは、カメラユニットが現在撮影しているフレームに基づき、全体画像および指定画像を表示するモードである。
【００６２】
Ｃｏｍｐａｓ表示領域１０８は、カメラユニット３ａまたは３ｂのレンズの光軸が向いている方位を示すコンパスを表示するための領域である。ＧＰＳ Ｄａｔａ表示領域１０９は、カメラユニット３ａおよび／または３ｂが設置されている場所の緯度、軽度および高度と、撮影の日時とを表示すための領域である。なお、この領域１０８および１０９に表示されるデータは、カメラユニット３ａおよび３ｂに備えられたＧＰＳ４０ａおよび４０ｂにおいて測定されたデータである。
【００６３】
Ｖｉｅｗ ｏｆｆｓｅｔボタン１１０は、全体画像表示部１０２において選択されたフレームの位置を調整するためのボタンである。Ｖｉｅｗ ｏｆｆｓｅｔボタン１１０は、それぞれ全体画像表示部１０２に表示されている全体画像中でポインタにより選択された１枚のフレームを、上方向、下方向、左方向、右方向に移動させるためのものである。全体画像を構成する複数枚のフレームは、隣り合うフレームと所定画素数、例えば上下、左右で１６画素重複して表示されている。この重複部分の範囲内でフレームを移動させることによって、隣り合うフレームとの整合性を取ることができ、表示状態をなめらかなものとできる。
【００６４】
モード表示領域１２９は、モード情報、アラーム情報およびエラー情報などを表示するための領域である。モード情報は、ユーザにモニタリングシステムのモードを知らせるための情報であり、具体的には、ライブモードおよびビューモードなどの情報である。アラーム情報は、ユーザに警告を促すための情報であり、例えば、上述したＶｉｅｗ ｏｆｆｓｅｔボタン１１０によりフレームを移動できる限界に達した時に表示される。エラー情報は、ユーザにモニタリングシステムにおいて発生しているエラーを知らせるための情報である。
【００６５】
Ｃａｍｅｒａ Ｃｏｎｔｏｒｏｌ部１１１は、ＺＯＯＭボタン１１２、ＦＯＣＵＳボタン１１３、ＩＲＩＳボタン１１４、Camera Configurationボタン１１５およびＷｈｉｔｅ Ｂａｌａｎｃｅボタン１１６を備える。ＺＯＯＭボタン１１２は、カメラユニットのズームを調整するためのボタンである。ＦＯＣＵＳボタン１１３は、カメラユニットのフォーカスを調整するためのボタンである。ＩＲＩＳボタン１１４は、カメラユニットのアイリス調整をするためのボタンである。Camera Configurationボタン１１５は、カメラユニットのγ特性、シャッタースピード、ゲイン特性などの調整をするためのボタンである。Ｗｈｉｔｅ Ｂａｌａｎｃｅボタン１１６は、カメラユニットの白バランスを調整するためのボタンである。なお、カメラシステムがビューモードにある場合には、Ｃａｍｅｒａ
Ｃｏｎｔｏｒｏｌ部１１１の表示が省略されるようにしてもかまわない。
【００６６】
ＳＥＬＥＣＴボタン１１７は、ビューモードにおいて、セレクト画面を表示するためのボタンである。セレクト画面は、全体画像表示部１０２において再生および記録を所望する領域を、全体画像を構成するフレームにより特定するための画像である。
【００６７】
図６に、セレクト画面の一例を示す。図６に示すように、セレクト画面は、閉じるボタン１５１、画面表示部１５２、および閉じるボタン１５３から構成される。閉じるボタン１５１および１５３は、このセレクト画面を閉じるときにクリックされるボタンである。画面表示部１５２では、全体画像に対してフレームの区切りを示す格子状の表示が重畳して示される。画面表示部１５２において、例えば、所望の位置にあるフレームをポインタにより指示すると、そのフレームが選択されると共に、選択されたことを表示するために、指示されたフレームの明るさ、解像度、コントラストなどが変化する。
【００６８】
ＲＥＣ ＭＯＤＥ選択メニュー１１８は、記録モードを選択するためのプルダウンメニューである。このプルダウンメニューには、記録する画像サイズと記録方法（ＲＵＮまたはＳＩＮＧＬＥ）とを組み合わせた記録モードが表示される。画像サイズは、（８×１６）枚のフレームから構成される全体画像と、全体画像の内の選択された（４×８）枚のフレームから構成される部分画像と、全体画像の内の選択された（２×４）枚のフレームから構成される部分画像との何れかが可能とされている。部分画像は、セレクト画面から選択された位置のものである。記録方法のＲＵＮは、所定周期（例えば５秒周期）で発生する撮影画像を記録する方法であり、そのＳＩＮＧＬＥは、１回のみ記録する方法である。記録モードとしては、これらを組み合わせたものが選択可能とされている。
【００６９】
Stage Config(Stage Configuration)ボタン１１９は、ステージを動かす精度などを微調整するためのボタンである。メッセージ領域１２０は、コントロール用のコンピュータとカメラユニットとの接続状況およびカメラユニットのステージのコントロール状況を表示するための領域である。コントロール用のコンピュータとカメラユニットとが接続されている場合には、この図４中に示すように、メッセージ領域１２０に“ＩＭＡＧＥ ＳＥＲＶＥＲ ＣＯＮＮＥＣＴ”が表示される。また、カメラユニットのステージがコントロール可能な状況にある場合には、メッセージ領域１２０に“ＳＴＡＧＥ ＣＯＮＴＲＯＬ ＡＣＴＩＶＥ”が表示される。
【００７０】
ＲＥＣボタン１２１は、画像の記録を開始するためのボタンであり、このボタンを押圧すると、ＲＥＣ ＭＯＤＥ選択メニュー１１８で選択されている記録モードに応じた記録が開始される。具体的には、ＲＵＮ（８×１６）、ＲＵＮ（４×８）、ＲＵＮ（２×４）、ＳＥＬＥＣＴ ＳＩＮＧＬＥ ＲＵＮ（８×１６）、ＳＥＬＥＣＴ ＳＩＮＧＬＥ ＲＵＮ（４×８）、ＳＥＬＥＣＴ ＳＩＮＧＬＥ ＲＵＮ（２×４）などのモードから選択されたモードに応じた記録が開始される。
【００７１】
ＰＬＡＹボタン１２２は、サーバ（メインメモリ４０ａおよび／または４０ｂ）に蓄積された画像データを再生するためボタンである。具体的には、このＰＬＡＹボタン１２２を押圧すると、蓄積データ表示画面が表示される。この蓄積データ表示画面には、蓄積されている画像データを識別するための情報が表示される。この情報は、後述するディレクションファイルに記述されている情報に基づいたものである。
【００７２】
図７に、記録データ表示画面の一例を示す。図７に示すように、この記録データ表示画面には、最小化ボタン１６１、最大化ボタン１６２、閉じるボタン１６３、日付指定欄１６４、時間指定欄１６５、蓄積データ表示欄１６６、最新蓄積データ表示欄１６７、ＯＫボタン１６８、キャンセルボタン１６９、および蓄積部変更チェックボタン１７０が表示される。
【００７３】
最小化ボタン１６１は、この蓄積データ表示画面を最小化するとき、例えばアイコンにするときにクリックされるボタンである。最大化ボタン１６２は、この蓄積データ表示画面を最大化させて、モニタの表示範囲の全てを使用して表示するときにクリックされるボタンである。閉じるボタン１６３は、この蓄積データ表示画面を閉じるときにクリックされるボタンである。
【００７４】
日付指定欄１６４では、全体画像表示部１０２に表示させたい蓄積データの日付が指定される。例えば、日付指定欄１６４の右端に設けられたボタン１６４ａをクリックすることによって、表示可能な蓄積データの日付がプルダウンメニュー形式で表示され、表示された日付の中から選択するようにしても良い。
【００７５】
時間指定欄１６５では、全体画像表示部１０２に表示させたい蓄積データの時間が指定される。例えば、時間指定欄１６５の右端に設けられたボタン１６５ａをクリックすることによって、表示可能な蓄積データの時間がプルダウンメニュー形式で表示され、表示された時間の中から選択するようにしても良い。
【００７６】
蓄積データ表示欄１６６には、蓄積部の中から日付指定欄１６４および時間指定欄１６５において指定された日時の蓄積データが表示される。最新蓄積データ表示欄１６７には、蓄積部に蓄積されている蓄積データの中から最新の蓄積データが表示される。また、日付指定欄１６４および時間指定欄１６５において指定された日時の中の蓄積データの中から最新となる蓄積データを表示するようにしても良い。
【００７７】
ＯＫボタン１６８は、所望の蓄積データが指定されたときにクリックされるボタンである。キャンセルボタン１６９は、この蓄積データ表示画面を閉じるときにクリックするボタンである。蓄積部変更チェックボタン１７０は、蓄積データの読み込み先を蓄積部から、例えば着脱自在の半導体メモリに変更するときにチェックを入力するチェックボタンである。
【００７８】
図４に戻って説明すると、ＳＴＯＰボタン１２３は、記録または再生動作を停止するためのボタンである。なお、ＳＴＯＰボタン１２３は、ＲＥＣボタン１２１あるいはＰＬＡＹボタン１２２の押圧により表示されるようにしても良い。
【００７９】
Set Camera Center POS(Set Camera Center POSITION)ボタン１２５は、現在カメラ部が向いている方向を（８×１６）の画像のセンターとして指定するためのボタンである。
【００８０】
ＨＯＭＥボタン１２４は、カメラユニットを制御し、カメラユニットのレンズの光軸をホームポジションに向けるためのボタンである。ホームポジションは、カメラ部が一番左側の位置を向いている位置である。ＬＩＶＥ／ＶＩＥＷ ＰＯＳＩＴＩＯＮボタン１２６は、カメラ部をパンあるいはチルトするためのボタンである。
【００８１】
ＺＯＯＭボタン１２７ａおよび１２７ｂは、指定画像表示部１０３に表示された指定画像の拡大、縮小を行うためのボタンである。ＭＡＸ ＶＩＥＷボタン１２８は、指定画像を別画面例えば全体画像表示部１０２により拡大表示するためのボタンである。
【００８２】
ＭＲＰ表示ボタン１３０は、可動範囲画像表示部１０１に表示される複数枚のフレームを撮影し、蓄積および／または表示するときにクリックされるボタンである。すなわち、このＭＲＰ表示ボタン１３０がクリックされると、カメラユニットが撮影可能な全ての範囲をフレーム単位で撮影し、撮影された各フレームが持っているカメラ部の位置情報に基づいて全フレームを集合させて、可動範囲画像として可動範囲画像表示部１０１に表示させる。
【００８３】
ここで、図８を用いて、この発明の一実施形態による可動範囲画像表示部１０１について説明する。この可動範囲画像表示部１０１に表示される可動範囲画像は、上述したようにＭＲＰ表示ボタン１３０をクリックした時、またはカメラユニットを設置し、撮影開始時において、カメラ部を最大可動範囲にわたって動かし、フレーム単位で撮影される。その撮影の結果得られる複数枚のフレームで構成される画像に関して縦方向および横方向に画素を間引いたサムネイルをカメラ部の位置情報を基に集合させ、図８に示すように１つの画像（可動範囲画像）として表示される。
【００８４】
このとき、それぞれのフレームに付加されるカメラ部の位置情報と、可動範囲画像表示部１０１内の座標とが予め関連付けられているので、可動範囲の全てのフレームをカメラ部の位置情報に基づいて、関連付けられている座標へ配置させ、集合させることによって可動範囲画像を生成することができる。この図８の一例では、パン方向に１８０°、チルト方向に９０°の広範囲からなる可動範囲画像が生成され、可動範囲画像表示部１０１に表示される。
【００８５】
この可動範囲画像表示部１０１上の各フレームは、パン部３６ａ、チルト部３７ａからカメラ部の可動範囲上における位置を示す仰角データと、ＧＰＳ４０ａで測位された位置情報およびメタデータとを備える。すなわち、位置情報を持つ可動範囲画像をＧＵＩとして、マウス２５を使用して任意の範囲を全体画像表示枠１０１ａにて選択すると、選択された全体画像表示枠１０１ａの位置情報に基づいて、選択された範囲のカメラ部の位置情報を得ることができる。
【００８６】
このように、可動範囲画像表示部１０１に表示される複数枚のフレームを集合させた可動範囲画像をＧＵＩとすることによって詳細な位置選択が可能となる。
【００８７】
この一実施形態では、可動範囲画像に集合した複数枚のフレームのそれぞれにカメラ部の位置情報およびメタデータが付加されているとしたが、カメラ部の位置情報と可動範囲画像表示部１０１内の座標とは予め関連付けられているので、可動範囲画像表示部１０１の座標からカメラ部の位置情報を求めるようにしても良い。
【００８８】
この一実施形態では、撮影されたそれぞれのフレームに付加されるカメラ部の位置情報が予め可動範囲画像表示部１０１内の座標と関連付けられているとされているが、座標ではなく、フレームに付加されるカメラ部の位置情報が可動範囲画像表示部１０１内の画素位置と関連付けられていても同様の効果を得ることができる。
【００８９】
この一実施形態では、マウス２５を利用して任意の範囲を全体画像表示枠１０１ａにて選択し、選択された範囲のカメラ部の位置情報を得るようにしているが、選択された全体画像表示枠１０１ａのセンタのＧＵＩ上の位置情報から全体画像表示枠１０１ａ全体の位置情報を得るようにしても良い。
【００９０】
この発明による可動範囲画像表示部１０１および全体画像表示枠１０１ａの一実施形態の動作を説明する。ディスプレイ４６上に表示されているＭＲＰ表示ボタン１３０がマウス２５でクリックされる。コントローラＣＰＵ３３は、ＭＲＰ表示ボタン１３０がクリックされると、パン部３６ａおよびチルト部３７ａを制御し、可動範囲全体を撮影するように、フレーム毎にカメラ部を移動させる。
【００９１】
そして、撮像部２４はそれぞれ決められたフレーム位置で撮影され、撮影された画像はバッファメモリ２６に一時保存され、ＪＰＥＧエンコーダ／メタデータ付加部２７でＪＰＥＧ形式に画像圧縮が施される。このときＧＰＳ４０ａから位置情報およびメタデータと、パン部３６ａおよびチルト部３７ａの位置を示す仰角データとが、それぞれのフレームに付加される。これらのデータが付加されたフレームは、メインメモリ４２ａに保存される。
【００９２】
メインメモリ４２ａに保存されたフレームは、ＪＰＥＧデコーダ４３ａにおいて復号され、復号された画像データは、画像圧縮部４４ａにおいて可動範囲画像に適したサイズに画素が間引かれたサムネイルに圧縮される。この圧縮された画像は、グラフィックコントローラ４５を介して、ディスプレイ４６上の可動範囲画像表示部１０１の所定の位置に表示される。
【００９３】
マウス２５を可動範囲画像表示部１０１上に移動させることによって全体画像表示枠１０１ａの位置が移動する。そして、マウス２５でクリックされた位置のフレームに付加されている位置情報、メタデータおよび仰角データが読み出される。
【００９４】
読み出された位置情報および仰角データに合致する全体画像の範囲のフレームがメインメモリ４２ａから読み出される。読み出されたフレームは、ＪＰＥＧデコーダ４３ａにおいて復号され、画像圧縮部４４ａにおいて全体画像に適したサイズに画素が間引かれたサムネイルに圧縮される。この圧縮された画像は、グラフィックコントローラ４５を介して、ディスプレイ４６上の全体画像表示部１０２の所定の位置に表示される。これと同時に読み出されたフレームの位置情報および仰角データに基づいてパン部３６ａ、チルト部３７ａが駆動され、カメラ部の方向が制御され、撮影される。
【００９５】
次に、全体画像表示部１０２に表示される全体画像について説明する。全体画像表示部１０２には、上述したように全体画像表示枠１０１ａで囲まれた範囲の画像がメインメモリ４２ａから読み出され、読み出された画像に対して縦方向および横方向に画素を間引いたサムネイルを集合させ、全体画像として表示させる。
【００９６】
この全体画像表示部１０２は、上述の可動範囲画像表示部１０１と同様に、複数枚のフレームで構成される。それら複数枚のフレームには、それぞれに付加されているパン部３６ａ、チルト部３７ａからカメラ部の可動範囲上における位置を示す仰角データと、ＧＰＳ４０ａで測位された位置情報およびメタデータとが全体画像表示部１０２内の座標と関連付けられている。
【００９７】
この位置情報を持つ全体画像表示部１０２をＧＵＩとして、マウス２５で指定画像が選択される。例えば、マウス２５で指定画像の中心となる位置をクリック（ポインティング）することによって、所定の大きさの指定画像表示枠１０２ａが全体画像表示部１０２に重畳される。そして、クリックされた場所が全体画像上のどのフレームにあたるかが算出され、さらにクリックされた場所のフレーム内の位置が算出される。この算出された位置情報がフレームが持つ位置情報と仰角データに変換される。
【００９８】
このように、全体画像をＧＵＩとしてその画像上の任意のポイントを選択することで、その選択されたポイントを中心とした画像を撮影する、または選択されたポイントを含む画像を撮影するための位置情報と仰角データとを算出することが可能となる。例えば、ポイントを選択することによって重畳される所定の大きさの指定画像表示枠１０２ａで囲まれた画像を撮影するための位置情報と仰角データとを算出することが可能となる。その算出された位置情報と仰角データに従い、カメラユニット３ｂのパン部３６ｂおよびチルト部３７ｂが駆動され、全体画像上で選択された範囲にカメラの画角を瞬時に合わせることができる。
【００９９】
このように、撮影済みの画像は、位置情報および仰角データを備えているので、カメラのコントロール用のＧＵＩとして用いることが可能となる。なお、全体画像および可動範囲画像に表示している複数のフレームは、カメラユニット３ａで撮影されたものであり、位置情報および仰角データもパン部３６ａ、チルト部３７ａ、ＧＰＳ４０ａから得られるものが全体画像および可動範囲画像に関連付けられている。すなわち、この一実施形態では、カメラユニット３ａから得られた位置情報および仰角データがカメラユニット３ｂの制御に用いられている。
【０１００】
カメラユニット３ａおよび３ｂの取り付け位置は、予め決まっているので、全体画像から得られた位置情報および仰角データを基に、カメラユニット３ａおよび３ｂの取り付け位置の差を考慮して、微調整された位置情報および仰角データでカメラユニット３ｂは制御される。ただし、監視用に用いられるカメラユニット３ａおよび３ｂの取り付け位置の差に対し、十分に離れた場所を撮影するので、取り付け位置の差によるカメラユニット３ａおよび３ｂの光軸の角度の差は、殆ど問題とならない。
【０１０１】
この一実施形態では、全体画像に集合した複数枚のフレームのそれぞれにカメラ部の位置情報およびメタデータが付加されているとしたが、全体画像表示部１０２内の座標にカメラ部の位置情報を関連付け、全体画像表示部１０２の座標からカメラ部の位置情報を求めるようにしても良い。
【０１０２】
この一実施形態では、撮影されたそれぞれのフレームに付加されるカメラ部の位置情報が全体画像表示部１０２内の座標と関連付けられているとされているが、座標ではなく、フレームに付加されるカメラ部の位置情報が全体画像表示部１０２内の画素位置と関連付けられていても同様の効果を得ることができる。
【０１０３】
次に、図９を用いて、この発明の一実施形態によるカメラユニット３ａおよび３ｂの動作の一例について説明する。なお、この図９中では、カメラユニット３ａおよび３ｂをカメラユニット３と称し、パンチルタ部４ａおよび４ｂをパンチルタ部４と称し、カメラ部５ａおよび５ｂをカメラ部５と称する。
【０１０４】
図９に示すように、カメラユニット３は、パンチルタ部４の雲台にカメラ部５が設置され、ホームポジションから撮像方向が可変される。図９において、撮影された（Ｍ×Ｎ）枚のフレームをカメラ部側から見て、各行に対して上から順に１、２、・・・、Ｍの番号を付し、各列に対して左から順に１、２、・・・、Ｎの番号を付す。ホームポジションが例えば（１，１）の座標のフレームを撮影する位置とされる。
【０１０５】
（１，１）の座標位置のフレームを撮影すると、カメラユニット３が下側にチルトされ、（２，１）の座標位置のフレームが撮影され、以下、順に（３，１）・・・・、（Ｍ，１）の座標位置のフレームが撮影され、次に第２列の一番上の座標位置（１，２）のフレームが撮影される。以下、各フレームを（Ｍ，Ｎ）の座標位置のフレームまで撮影する。上述したように、各フレームが他のフレームと１６画素分の重複部分を有する。撮影された各フレームがＪＰＥＧまたはＭＰＥＧによる圧縮され、メインメモリ４２ａまたは４２ｂへの蓄積等の処理を受ける。
【０１０６】
上述したように、各フレームが例えばＸＧＡ（1024×768画素）画像の場合では、１２８枚のフレームからなる画像は、重複部分を無視すると、(横方向が1024×16＝16,384画素で、縦方向が768×8＝6,144画素）の約１億画素の画像である。上述した全体画像表示部１０２には、この画像から形成された圧縮画像またはサムネイル画像が表示され、指定画像表示部１０３には、カメラユニット３ｂで撮影される動画像（フレーム）が表示される。
【０１０７】
図１０に、７５倍の望遠レンズがカメラユニットに備えられている場合に、１フレームで撮影できる範囲を示す。カメラユニットから１００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦８．７ｍ×横１．１７ｍの範囲を撮影することができる。例えば、カメラ部の撮像素子として、ＸＧＡ画像を用いた場合には、被写体の縦０．８７ｃｍ×横１．１７ｃｍの範囲を約１画素で表することができる。
【０１０８】
カメラユニットから２００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦１．７４ｍ×横２．３４ｍの範囲を撮影することができる。例えば、カメラ部の撮像素子として、ＸＧＡ画像を用いた場合には、被写体の縦１．７４ｃｍ×横２．３４ｃｍの範囲を１画素で表すことができる。
【０１０９】
カメラユニットから５００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦４．３６ｍ×横５．８４ｍの範囲を撮影することができる。例えば、カメラ部の撮像素子として、ＸＧＡ画像を用いた場合には、被写体の縦４．３６ｃｍ×横５．８４ｃｍの範囲を１画素で表すことができる。
【０１１０】
図１１を参照して取得した画像データをアーカイブ１０、メインメモリ４２ａ、４２ｂ等に保存する場合のデータ管理方法を説明する。上述したように、所定時間間隔で、（Ｍ×Ｎ）枚のフレームの画像が撮影され、圧縮されて蓄積される。図１１Ａに示すように、Ｍ行Ｎ列によって各フレームの位置が規定される。例えば（１，１）の位置アドレスは、右端の最も上のフレームを特定する。各フレームは、この位置アドレスと記録時の時間情報とをファイル名として有する。時間情報は、年月日時分秒で構成される。したがって、各フレームのファイル名は、（年月日時分秒、位置アドレス）である。
【０１１１】
さらに、図１１Ｂに示すように、（Ｍ×Ｎ）枚のフレームで全体的な１枚の画像が形成されることに対応して、ディレクションファイルが規定されている。ディレクションファイルは、（１，１）の位置アドレスを有するフレームのファイル名（すなわち、年月日時分秒、位置アドレス）と同一のデータを持つことで、当該（Ｍ×Ｎ）枚のフレームの集合を定義する。さらに、このフレームの集合に対する位置情報およびメタデータをディレクションファイルが有する。位置情報およびメタデータは、メタデータ生成部２９で生成されたものである。すなわち、緯度・経度、方位、高度等の位置情報と、カメラ部のパラメータ（倍率、フォーカス値、アイリス値等）等のメタデータ情報とをディレクションファイルが有する。
【０１１２】
この発明は、上述したこの発明の一実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば上述した一実施形態は、指定画像を１枚とした例であるが、複数枚の指定画像を表示することができるようにしても良い。その場合、カメラユニット３ｂは、複数枚の指定画像を順番に撮影し、蓄積および／または表示するようにしても良い。
【０１１３】
この一実施形態では、可動範囲画像表示部１０１上で全体画像表示枠１０１ａを移動させて、所望の範囲が選択されると、選択された範囲の複数枚のフレームを撮影し、全体画像表示部１０２に表示するようにしているが、全体画像表示枠１０１ａを移動させているときにも、既に記録されているフレームをメインメモリ４２ａから読み出し、全体画像表示部１０２に表示するようにしても良い。
【０１１４】
この一実施形態では、カメラユニット３ａおよび３ｂで撮影された画像データおよび動画像データは、同じディスプレイ４６に表示されるようになされているが、カメラユニット３ｂで撮影される動画像データを専用のディスプレイに表示するようにしても良い。
【０１１５】
【発明の効果】
この発明に依れば、広範囲にわたる可動範囲を有するカメラ用のパンチルタ装置において、その可動範囲内でどのような画像を取り込むことができるのかを簡単にユーザに情報として表示することが可能であり、且つその表示を用いてカメラコントロールを簡便に行うことができる。
【０１１６】
この発明に依れば、広範囲にわたる地域を監視する必要がある場合でも、簡単にカメラの方向を合わせることができ、必要な画像を失敗することなく取り込むことができる。
【０１１７】
この発明に依れば、広範囲な画像を表示するために、カメラ部を順次移動させて画像を取り込んでいくため、時間方向に間欠的な画像を撮影するカメラユニットと、集中的に且つ継続的に監視するために指定された範囲のみを撮影するカメラユニットとを備えているので、集中的に且つ継続的に監視したい範囲の情報を欠落することを補うことができる。さらに、監視したい範囲を指定するために、表示されている広範囲な画像をＧＵＩとして使用することができるので、確実に且つ瞬時に、指定された範囲のみを撮影するカメラユニットの位置合わせを行うことができる。
【０１１８】
この発明に依れば、空間方向の撮影可能範囲の拡大を図ることができ、時間方向の撮影間隔を密にすることができ、さらに解像度の向上を図ることができる。特に、指定された領域を動画像データとして撮影し、記録および／または表示することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態のモニタリングシステムを概略的に示すブロック図である。
【図２】この発明の一実施形態のブロック図である。
【図３】この発明の一実施形態のブロック図である。
【図４】この発明の一実施形態における画面表示の一例を説明するための略線図である。
【図５】この発明の一実施形態における全体画像表示枠の一例を説明するための略線図である。
【図６】この発明の一実施形態におけるセレクト画面の一例を説明するための略線図である。
【図７】この発明の一実施形態における再生時の蓄積データ表示画面の一例を説明するための略線図である。
【図８】この発明の一実施形態における可動範囲画像表示部の一例を説明するための略線図である。
【図９】この発明の一実施形態における撮影動作および画像取得動作を説明するための略線図である。
【図１０】この発明の一実施形態における被写体までの距離と撮影範囲および解像度を説明するための略線図である。
【図１１】撮影された画像の管理方法を説明するための略線図である。
【符号の説明】
１・・・コンピュータ、２、４６・・・ディスプレイ、３ａ、３ｂ・・・カメラユニット、４ａ、４ｂ・・・パンチルタ部、５ａ、５ｂ・・・カメラ部、２１・・・コントローラバス、２２・・・コントローラＣＰＵ、２３・・・Ｉ／Ｏ、２４・・・キーボード、２５・・・マウス、２６・・・メモリカード、２７・・・時計、３１ａ、３１ｂ・・・レンズ部、３２ａ、３２ｂ・・・フォーカス・ズーム・アイリス制御部、３３ａ、３３ｂ・・・トラッキング部、３４ａ、３４ｂ・・・撮像部、３５ａ、３５ｂ・・・ＩＥＥＥ１３９４インタフェース、３６ａ、３６ｂ・・・パン部、３７ａ、３７ｂ・・・チルト部、３８ａ、３８ｂ・・・バッファメモリ、３９ａ・・・ＪＰＥＧエンコーダ／メタデータ付加部、３９ｂ・・・ＭＰＥＧエンコーダ、４０ａ、４０ｂ・・・ＧＰＳ、４１ａ、４１ｂ・・・メタデータ生成部、４２ａ、４２ｂ・・・メインメモリ、４３ａ・・・ＪＰＥＧデコーダ、４３ｂ・・・ＭＰＥＧデコーダ、４４ａ、４４ｂ・・・画像圧縮部、４５・・・グラフィ区コントローラ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a monitoring system and method, a program, and a recording medium applied to a surveillance camera or the like.
[0002]
[Prior art]
Traditionally, monitoring systems are used to monitor a wide range of situations. For example, monitoring systems are used for maritime monitoring, river monitoring, monitoring of on-site monitoring areas, wildlife behavior observation, and the like. This monitoring system uses a video camera with a very large number of pixels in order to capture a wide range of images. For this reason, the price of the system is increased, and there is a problem in terms of cost.
[0003]
On the other hand, it has been proposed to capture a still image while sequentially shifting the shooting range of the camera, and generate a range of images to be monitored by connecting a number of still images. In this case, a connected image generated by connecting a large number of still images can be an extremely high resolution image. Therefore, when obtaining a magnified image of a part of the connected image, the resolution of the magnified image itself is high, and a clear image can be obtained even in the magnified image.
[0004]
Since it is necessary to widen the monitoring range, the movable range of the camera is set to an extremely wide range such as 180 °, 360 °, and the like. The shooting direction of the camera is switched over this wide range, a still image is acquired in each shooting direction, and a panoramic connection image is formed.
[0005]
When the shooting range is set wide, the number of still images constituting a wide range of connected images increases, which causes a problem that the time for acquiring images becomes longer and the cycle for acquiring connected images becomes longer. In many cases, the area to be actually monitored is a limited range.
[0006]
Therefore, in Japanese Patent Application No. 2002-130761, the applicant cuts out a wide area for each angle of view, captures the image of the angle of view that has been cut out with a normal image sensor, and combines the captured images to achieve high definition. A system capable of obtaining a wide range of images has been proposed.
[0007]
[Problems to be solved by the invention]
However, even with this system, the mechanism for actually determining the area to be monitored had to be moved by moving the camera, shooting live video, and checking the shot video. Also, there has been no method of notifying the user of the relationship between the image captureable range and the shooting range at a glance.
[0008]
Furthermore, even if there is a part that you want to monitor in detail, since a plurality of images are taken, a predetermined time is required until the part is taken again. It was not possible to monitor.
[0009]
Therefore, the object of the present invention is to be able to confirm the image of the shooting range in advance, and to inform the user at a glance of the relationship between the image capturing range and the shooting range, and to continue the part that is particularly desired to be monitored. It is an object to provide a monitoring system and method, a program, and a recording medium that can be monitored automatically.
[0010]
  In order to solve the above-described problem, the present invention includes a first camera unit attached to a first imaging direction variable unit that changes an imaging direction,
  A second camera unit attached to a second imaging direction variable unit that varies the imaging direction;
  An accumulation unit for accumulating image data photographed by the first camera unit;
  In the maximum movable range of the first imaging direction variable unit, an original image composed of a plurality of still images captured by the first camera unit in each imaging direction or a compressed image obtained by compressing the original image is accumulated in the accumulation unit, and accumulated. Original or compressed imageFurther compressGenerated movable range image and movable range imagePanoramic area that is part of the areaA movable range image display unit for displaying an image including a first instruction display superimposed to recognize a range of the entire image;
  Selected based on the first instruction display in the movable range image display unitPanoramicThe first imaging direction variable unit is controlled so as to capture an image of the entire image range, and an original image or an original image composed of a plurality of still images captured by the first camera unit in each imaging direction is compressed. Compressed images are stored in the storage unit, and the stored original image or compressed imageFurther compressConsists of generated imagesPanoramicAn entire image display unit for displaying the entire image and a second instruction display superimposed on the entire image;
  In the whole imageSome areas ofIs selected based on the second instruction display and corresponds to the second instruction display.TerritoryThe second image capturing direction variable unit is controlled so that the second camera unit captures a moving image, and the second camera unit captures the moving image.TerritoryA designated image display section for displaying moving images;
  A movable range image display unit, a whole image display unit, and a control unit that controls the display operation of the designated image display unit,
  The movable range image display unit, the entire image display unit, and the designated image display unit are configured in different areas of the display unit, respectively.It is a monitoring system.
[0011]
  The present invention stores an original image composed of a plurality of still images photographed by the first camera unit in each imaging direction or a compressed image obtained by compressing the original image in the maximum movable range of the first imaging direction variable unit. The steps to accumulate in
  The stored original image or compressed imageCompress furtherGenerated movable range image and movable range imagePanoramic area that is part of the areaA movable range image display step for displaying an image composed of a first instruction display superimposed to recognize the range of the entire image;
  Selected based on first indication indicationPanoramicThe first imaging direction variable unit is controlled so as to capture an image of the entire image range, and compresses an original image or an original image composed of a plurality of still images captured by the first camera unit in each imaging direction. Storing the compressed image in the storage unit;
  Accumulated original image or compressed imageFurther compressConsists of generated imagesPanoramicA whole image display step for displaying the whole image and a second instruction display superimposed on the whole image;
  In the whole imageSome areas ofIs selected based on the second instruction display and corresponds to the second instruction display.TerritoryThe second image capturing direction variable unit is controlled so that the second camera unit captures a moving image, and the second camera unit captures the moving image.TerritoryA designated image display step for displaying a moving image,
  The movable range image display unit, the entire image display unit, and the designated image display unit are configured in different areas of the display means.It is the monitoring method characterized by this.
[0012]
  The present invention stores an original image composed of a plurality of still images photographed by the first camera unit in each imaging direction or a compressed image obtained by compressing the original image in the maximum movable range of the first imaging direction variable unit. The steps to accumulate in
  The stored original image or compressed imageCompress furtherGenerated movable range image and movable range imagePanoramic area that is part of the areaA movable range image display step for displaying an image composed of a first instruction display superimposed to recognize the range of the entire image;
  The first imaging direction variable unit is controlled so as to capture an image in the range of the panoramic overall image selected based on the first instruction display, and is captured by the first camera unit in each imaging direction. Storing an original image composed of a plurality of still images or a compressed image obtained by compressing the original image in the storage unit;
  The stored original image or compressed imageCompress furtherConsists of generated imagesPanoramicA whole image display step for displaying the whole image and a second instruction display superimposed on the whole image;
  In the whole imageSome areas ofIs selected based on the second instruction display, and the second camera unit is controlled so that the second camera unit captures a moving image corresponding to the second instruction display, and the second camera unit Taken byTerritoryA designated image display step for displaying a moving image,
  The movable range image display unit, the entire image display unit, and the designated image display unit are configured in different areas of the display means.This is a program for causing a computer to execute the monitoring method characterized by the above.
[0013]
  The present invention stores an original image composed of a plurality of still images photographed by the first camera unit in each imaging direction or a compressed image obtained by compressing the original image in the maximum movable range of the first imaging direction variable unit. The steps to accumulate in
  The stored original image or compressed imageCompress furtherGenerated movable range image and movable range imagePanoramic area that is part of the areaA movable range image display step for displaying an image composed of a first instruction display superimposed to recognize the range of the entire image;
  The first imaging direction variable unit is controlled so as to capture an image in the range of the panoramic overall image selected based on the first instruction display, and is captured by the first camera unit in each imaging direction. Storing an original image composed of a plurality of still images or a compressed image obtained by compressing the original image in the storage unit;
  The stored original image or compressed imageCompress furtherA whole image display step for displaying a panoramic whole image composed of the generated images and a second instruction display superimposed on the whole image;
  In the whole imageSome areas ofIs selected based on the second instruction display, and the second camera unit is controlled so that the second camera unit captures a moving image corresponding to the second instruction display, and the second camera unit Taken byTerritoryA designated image display step for displaying a moving image,
  The movable range image display unit, the entire image display unit, and the designated image display unit are configured in different areas of the display means.The computer-readable recording medium which recorded the program for making a computer perform the monitoring method characterized by the above-mentioned.
[0018]
The first and second camera units that can change the imaging direction in a wide range, a plurality of image data captured by the first camera unit are collected, and the first camera unit position information is incorporated. The second camera unit can be operated (controlled) by using the collective image display unit as a GUI. That is, by controlling the second camera unit based on the position information of the first camera unit, it is possible to continuously shoot, record and / or display a specific place to be monitored.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows a schematic configuration of an embodiment of the present invention. The computer 1 to which the display 2 is connected controls the camera units 3a and 3b. The example of FIG. 1 is an example of a system in which one computer 1 controls two camera units 3a and 3b. One computer can control a plurality of camera units.
[0020]
The camera units 3a and 3b are configured by integrally forming the pantilter sections 4a and 4b and the camera sections 5a and 5b. The camera units 3a and 3b are installed so that a far target area can be photographed. As an example, the camera units 5a and 5b have a telephoto lens having a magnification of 10 times, 70 times, or the like, and can photograph a place away from several tens of meters to several kilometers. In this embodiment, the camera unit 3b including the pantilter unit 4b and the camera unit 5b is for photographing an area designated as an example.
[0021]
The camera units 5a and 5b are digital still cameras that can turn on the shutter in synchronization with an external trigger, for example, and their imaging elements such as a CCD (Charge Coupled Device) are VGA (Video Graphics Array, 640 × 480 pixels) images. , XGA (eXtended Graphics Array, 1024 × 768 pixels) images, SXGA (Super eXtended Graphics Array, 1280 × 1024 pixels) images, and the like. In the case of a VGA image pickup device, image data is output at a rate of 30 fps (frame / second), and in the case of an XGA image pickup device, image data is output at a rate of 15 fps (frame / second). In the case of this image sensor, image data is output at a rate of 7.5 fps (frame / second).
[0022]
Video data is transmitted from the camera units 3a and 3b to the computer 1 via the buses 6a and 6b. The buses 6a and 6b transmit video data supplied from the camera units 3a and 3b and control signals supplied from the computer 1.
[0023]
In the computer 1, video data from the camera units 3a and 3b is stored in a memory, and as will be described later, an operation GUI (Graphical User Interface) is configured, and an image of a desired target area is displayed by the user on the camera unit 3a, The camera units 3a and 3b are controlled so that shooting can be performed with 3b. The captured image is compressed by compression encoding, for example, JPEG (Joint Photographic Experts Group).
[0024]
The computer 1 is connected to another computer 8 via a LAN (Local Area Network) 7. Reference numeral 9 is a display of the computer 8. The computer 8 receives image data or the like from the computer 1 via the LAN 7, accumulates video data in the archive 10, and further processes the image data. For example, processing such as face recognition, baggage recognition, environment recognition, car recognition, etc. is performed using video data. The archive 10 can store a large amount of data such as a tape streamer.
[0025]
2 and 3 show a more detailed configuration of the computer 1 and the camera units 3a and 3b in the monitoring system described above. 2 and 3, camera units 3a and 3b and computer components are connected to a common controller bus denoted by reference numeral 21. It should be noted that “a” is appended to the end of the reference symbol for blocks that perform control or signal processing of the camera unit 3 a, and “b” at the end of the reference symbol for blocks that perform control or signal processing of the camera unit 3 b. Is attached.
[0026]
The camera unit 3a includes a lens unit 31a, a focus / zoom / iris control unit 32a, a tracking unit 33a, an imaging unit 34a, an IEEE (Institute of Electrical and Electronics Engineers) 1394 interface 35a, a pan unit 36a, and a tilt unit 37a. Composed. It is controlled by a control signal supplied from a controller CPU (Central Processing Unit) 22 via the controller bus 21. The lens unit 31a, the focus / zoom / iris control unit 32a, the tracking unit 33a, the imaging unit 34a, and the IEEE 1394 interface 35a are installed on the pan unit 36a and the tilt unit 37a as camera units of the camera unit 3a.
[0027]
The camera unit 3b includes a lens unit 31b, a focus / zoom / iris control unit 32b, a tracking unit 33b, an imaging unit 34b, an IEEE 1394 interface 35b, a pan unit 36b, and a tilt unit 37b. It is controlled by a control signal supplied from the controller CPU 22 via the controller bus 21. The lens unit 31b, the focus / zoom / iris control unit 32b, the tracking unit 33b, the imaging unit 34b, and the IEEE 1394 interface 35b are installed on the pan unit 36b and the tilt unit 37b as camera units of the camera unit 3b.
[0028]
The pan units 36a and 36b and the tilt units 37a and 37b each have, for example, a stepping motor as a drive source, and pan and / or tilt the camera unit according to a control signal supplied from the controller CPU 22 via the controller bus 21. . Here, pan means to rotate the camera in the horizontal direction, and tilt means to rotate the camera in the vertical direction. As an example, the maximum value of the pan angle is ± 90 °, and the maximum value of the tilt angle is ± 45 °.
[0029]
Each time the imaging center is moved by the angle of view, the shutter is turned on, and still images (hereinafter referred to as “frames” as appropriate) are captured at intervals of 1/60 seconds or 1/30 seconds, for example. That is, the camera unit captures a moving image, and the captured moving image is supplied to the subsequent stage as one still image having an interval of 1/60 seconds or 1/30 seconds. In this embodiment, as an example, still images are taken at 1/30 second intervals.
[0030]
A total (M × N = 8 × 16 = 128) frames of M (for example, 8) in the vertical direction and N (for example, 16) in the horizontal direction are sequentially photographed and compressed. Each frame is, for example, an XGA (1024 × 768 pixels) image. Accordingly, if the overlapping portion is ignored, the 128 frames form an image of about 100 million pixels (the horizontal direction is 1024 × 16 = 16,384 pixels and the vertical direction is 768 × 8 = 6,144 pixels). Note that it takes about 5 seconds to shoot 128 frames. In this embodiment, the overlapping portions of adjacent frames are 16 pixels vertically and horizontally.
[0031]
The focus / zoom / iris control units 32 a and 32 b are controlled by a control signal supplied from the controller CPU 22 via the controller bus 21. The imaging units 34a and 34b include a solid-state imaging device such as a CCD (Charge Coupled Device) and a camera signal processing circuit. Digital video signals from the imaging units 34a and 34b are written into the buffer memories 38a and 38b via the IEEE 1394 interfaces 35a and 35b.
[0032]
The tracking unit 33a shifts a predetermined lens of the lens unit 31a in response to the movement of the pan unit 36a and the tilt unit 37a, thereby canceling the movement of the pan unit 36a and the tilt unit 37a. The tracking unit 33b shifts a predetermined lens of the lens unit 31b in response to the movement of the pan unit 36b and the tilt unit 37b, thereby canceling the movement of the pan unit 36b and the tilt unit 37b. Therefore, it is possible to shoot a still image of 1/60 seconds or 1/30 seconds without blur.
[0033]
The output data of the buffer memory 38a is supplied to a JPEG (Joint Photographics Experts Group) encoder / metadata adding unit 39a, and the image data is converted into JPEG data. JPEG is one of the compression methods, and other compression methods may be used or not compressed. The output data of the buffer memory 38b is supplied to an MPEG (Moving Picture Coding Experts Group) encoder 39b, and the moving image data is converted into MPEG data. MPEG is one of the compression methods, and other compression methods may be used.
[0034]
The camera units 3a and 3b are provided with GPS (Global Positioning System) 40a and 40b for detecting their positions. By providing the GPS 40a and 40b, it is possible to record the data of the installation location of the camera, detect the direction of the camera, and control the directions of the plurality of cameras in conjunction with each other. The GPSs 40 a and 40 b are controlled by control signals supplied from the controller CPU 22 via the controller bus 21.
[0035]
Output signals of the GPS 40a and 40b are supplied to the metadata generation units 41a and 41b, and position information (information such as latitude / longitude, azimuth, altitude) and metadata (time, camera unit) based on the positioning results of the GPS 40a and 40b. Parameters (information such as magnification, focus value, iris value, etc.) are generated.
[0036]
The position information and metadata generated by the metadata generation unit 41a are supplied to the JPEG encoder / metadata addition unit 39a. The JPEG encoder / metadata adding unit 39a adds position information and metadata to the JPEG data. JPEG data to which metadata and position information are added is stored in the main memory 42a.
[0037]
The JPEG data read from the main memory 42a is decoded into image data by the JPEG decoder 43a. The decoded image data is supplied to the image compression unit 44a. In the image compression unit 44a, the image data is compressed so as to be displayed on the movable range image display unit or the entire image display unit displayed on the display 46, and a thumbnail (reduced image) is generated. The generated thumbnail is supplied from the image compression unit 44a to the graphic controller 45.
[0038]
The position information and metadata generated by the metadata generation unit 41b are supplied to the MPEG encoder 39b. In the MPEG encoder 39b, position information and metadata are added to predetermined image data of MPEG data. MPEG data to which metadata and position information are added is stored in the main memory 42b.
[0039]
The MPEG data read from the main memory 42b is decoded into moving image data by the MPEG decoder 43b. The decoded moving image data is supplied to the image compression unit 44b. The image compression unit 44b compresses the moving image data so that it can be displayed on the designated image display unit displayed on the display 46, and generates moving image data of a predetermined size. The generated moving image data is supplied from the image compression unit 44b to the graphic controller 45.
[0040]
The graphic controller 45 converts the supplied image data and moving image data into bitmap data, and performs graphics processing so that a desired image is displayed on the screen of the display 46. That is, GUI display such as movable range image display, entire image display, designated image display, and buttons is performed on the screen of the display 46. Details of the display will be described later.
[0041]
The graphic controller 45 performs image processing and detects image changes. An image change is a change that occurs with respect to a reference image. For example, in the view mode, a comparison with a previously stored reference image is made and an image change is detected. An image at a predetermined time on the previous day is set as a reference image, a pixel difference between an image accumulated thereafter and the reference image is detected, and a change occurs when the absolute value of the pixel difference is equal to or greater than a predetermined value. Detect as a thing. As the detection of the difference, a method of calculating a difference value between pixels at the same position for each frame at the same spatial position between the image to be compared and the reference image can be used. Instead of detecting the difference for all the pixels, the difference may be calculated for the representative pixel or the thinned pixel. Further, by limiting the predetermined color, it is also possible to perform change detection focusing on an object of a predetermined color.
[0042]
When a change is detected, an alarm such as a frame in which a change is detected is displayed on the display 46 so that it can be distinguished from other frames. Specifically, the alarm can be displayed by a method such as luminance change, color change, blinking or the like. As the reference image, a predetermined image can be arbitrarily selected from the stored images.
[0043]
As described above, the controller CPU 22 connected to the controller bus 21 performs lens control (for example, focus) of the camera unit, exposure control (for example, aperture, gain, electronic shutter speed, etc.), white balance control, image quality control, and the like. And the pan parts 36a and 36b and the tilt parts 37a and 37b are controlled.
[0044]
A keyboard 24 and a mouse 25 are connected to the I / O port 23, and a memory card 26 and a clock 27 are connected to the I / O port 23. JPEG data and MPEG data to which position information and metadata stored in the main memories 42a and 42b are added can be written to the memory card 26. Time data is obtained from the clock 27.
[0045]
The main memories 42a and 42b are composed of a hard disk or the like, and are captured by the camera units 3a and 3b, and JPEG data and MPEG data to which metadata and position information are added are stored.
[0046]
In FIG. 2 and FIG. 3, each component is connected to the controller bus 21, but the camera unit and the computer are installed at a remote location, and both are connected by a protocol such as IEEE1394 or USB. Anyway. In this case, an optical fiber is used as the physical transmission line. If an optical fiber is used, the camera unit and the control computer can be arranged apart from each other by several hundred meters to several kilometers. Furthermore, you may connect both by wireless LAN.
[0047]
FIG. 4 shows an example of a GUI screen according to an embodiment of the present invention. Hereinafter, the display unit, operation buttons, display area, and the like provided on the GUI screen according to an embodiment of the present invention will be described with reference to FIG. In one screen, a movable range image display unit 101, an entire image display unit 102, and a designated image display unit 103 are arranged.
[0048]
A movable range image is displayed on the movable range image display unit 101. The movable range image is an image indicating the maximum range that can be captured by the camera unit, and is composed of a plurality of frames. Therefore, in this embodiment, a panoramic image is obtained as shown in the figure. As described above, the maximum value of the pan angle is ± 90 ° and the maximum value of the tilt angle is ± 45 °, and a movable range image is generated from a plurality of frames shot in this maximum movable range. The The movable range image display unit 101 incorporates position information added to a plurality of configured frames.
[0049]
Then, when an MRP (Movable Range Picture) display button 130, which will be described later, is clicked, or when a camera unit is installed and shooting starts, the camera unit is moved over the maximum movable range, and is composed of a plurality of frames obtained as a result. A thumbnail obtained by thinning pixels in the vertical direction and the horizontal direction with respect to the image to be displayed is used as the movable range image. Further, all the frames constituting the movable range image may be taken at a predetermined time interval, and stored and / or displayed.
[0050]
  The movable range image display unit 101 includes an entire image display frame 101a (for recognizing a range displayed on the entire image display unit 102).First instruction display) Is displayed. By moving the whole image display frame 101a with the mouse 25, a desired range in the movable range image can be instructed, and the camera unit can be controlled to image the instructed range. That is, (M × N) frames (still images) are captured, stored, and / or displayed within the designated range.
[0051]
The entire image display frame 101a is an example, and the range displayed on the entire image display unit 102 in various shapes may be displayed on the movable range image display unit 101. Specifically, as shown in FIG. 5A, the four sides of the range displayed on the whole image display unit 102 may be shown, or as shown in FIG. 5B, displayed on the whole image display unit 102. The four corners of the range may be shown, or as shown in FIG. 5C, the four corners and the center of the range displayed on the entire image display unit 102 may be shown.
[0052]
The size of the entire image display frame 101a is, for example, the size of (8 × 16) frames displayed on the movable range image display unit 101, and is selected by a REC MODE selection menu 118 described later. The size is in accordance with the image size of the recording mode. Accordingly, the size may be (4 × 8) frames as described later, or may be the size of (2 × 4) frames. The size of one frame depends on the magnification of the lens unit 31a.
[0053]
When the whole image display frame 101a is moved, for example, after selecting the frame that becomes the center of the whole image display frame 101a with the mouse 25, the whole image display frame 101a is displayed so that the selected frame becomes the center. In addition, the entire image display frame 101a may be moved in conjunction with the movement of the mouse 25, or the upper left frame and the two lower left and right frames of the entire image display frame 101a, for example. May be selected with the mouse 25. In this way, the camera unit 3a is controlled to capture the range corresponding to the entire image display frame 101a whose position has been moved, and the optical axis of the camera unit 3a is directed.
[0054]
Further, the panoramic whole image selected in the whole image display frame 101a is displayed on the whole image display unit 102. The whole image is an image obtained by compressing the JPEG data corresponding to the photographed original image by the image compression unit 32. Monitoring can be performed by viewing the displayed whole image. Furthermore, as described above, when an image change is detected, an alarm is generated in which the frame in which the change is detected in the entire image displayed on the entire image display unit 102 is displayed differently from the other frames.
[0055]
Then, in order to capture an image of the range selected in the entire image display frame 101a at a predetermined time interval, the camera unit is moved, and the resulting image composed of a plurality of frames is vertically and horizontally oriented. A thumbnail with thinned pixels is used as the entire image. Note that all shot images may be accumulated.
[0056]
  The entire image display unit 102 includes a designated image display frame 102a (for recognizing a range displayed on the designated image display unit 103.Second instruction display) Is displayed. Note that the designated image display frame 102a is an example, and the designated image display unit 103 indicates the range displayed on the whole image display unit 102 in various shapes shown in FIG. 5 like the above-described whole image display frame 101a. Anyway.
[0057]
The designated image display frame 102a may be a designated image display frame 102a having a predetermined size, or may be a designated image display frame 102a set to an arbitrary size by the mouse 25. When the designated image display frame 102a is moved, for example, the designated image display frame 102a may be moved in conjunction with the movement of the mouse 25, or for example, the upper left corner of the designated image display frame 102a as a diagonal. The size of the designated image display frame 102a may be set again by selecting the two lower right points with the mouse 25. In this way, the camera unit 3b is controlled so as to capture a range corresponding to the designated image display frame 102a moved to a different position, and the optical axis of the camera unit 3b is directed.
[0058]
On the designated image display unit 103, the designated image selected in the designated image display frame 102a is displayed. The displayed designated image is an image taken by the camera unit 3b. The camera unit 3 b is controlled so that the angle of view of the selected designated image is obtained, and a moving image is captured and displayed on the designated image display unit 103.
[0059]
The EXIT button 104 is a button for turning off the power of the monitoring system. The camera system OFF button 105 is a button for turning off the power of the camera unit.
[0060]
The VIEW MODE button 106 is a button for switching the mode of the monitoring system to the view mode. The view mode is a mode in which the whole image and the partial image are displayed based on the image data stored in the main memories 42a and 42b or other servers.
[0061]
The LIVE MODE button 107 is a button for switching the mode of the monitoring system to the live mode. The live mode is a mode in which the entire image and the designated image are displayed based on the frame that the camera unit is currently shooting.
[0062]
The Compas display area 108 is an area for displaying a compass indicating the direction in which the optical axis of the lens of the camera unit 3a or 3b is directed. The GPS Data display area 109 is an area for displaying the latitude, lightness and altitude of the place where the camera units 3a and / or 3b are installed, and the shooting date and time. The data displayed in the areas 108 and 109 is data measured by the GPS 40a and 40b provided in the camera units 3a and 3b.
[0063]
The view offset button 110 is a button for adjusting the position of the frame selected in the entire image display unit 102. The view offset button 110 is used to move one frame selected by the pointer in the entire image displayed on the entire image display unit 102 in the upward, downward, leftward, and rightward directions. is there. A plurality of frames constituting the entire image are displayed overlapping with adjacent frames by a predetermined number of pixels, for example, 16 pixels vertically and horizontally. By moving the frame within the range of this overlapping portion, it is possible to achieve consistency with adjacent frames and to make the display state smooth.
[0064]
The mode display area 129 is an area for displaying mode information, alarm information, error information, and the like. The mode information is information for notifying the user of the mode of the monitoring system, and specifically, information such as a live mode and a view mode. The alarm information is information for prompting the user to give a warning, and is displayed, for example, when the above-described view offset button 110 reaches a limit at which a frame can be moved. The error information is information for notifying the user of an error occurring in the monitoring system.
[0065]
The Camera Control unit 111 includes a ZOOM button 112, a FOCUS button 113, an IRIS button 114, a Camera Configuration button 115, and a White Balance button 116. The ZOOM button 112 is a button for adjusting the zoom of the camera unit. The FOCUS button 113 is a button for adjusting the focus of the camera unit. The IRIS button 114 is a button for adjusting the iris of the camera unit. The Camera Configuration button 115 is a button for adjusting the γ characteristic, shutter speed, gain characteristic, and the like of the camera unit. The White Balance button 116 is a button for adjusting the white balance of the camera unit. If the camera system is in view mode, Camera
The display of the control unit 111 may be omitted.
[0066]
The SELECT button 117 is a button for displaying a select screen in the view mode. The select screen is an image for specifying a region desired to be reproduced and recorded in the entire image display unit 102 by a frame constituting the entire image.
[0067]
FIG. 6 shows an example of the select screen. As shown in FIG. 6, the select screen includes a close button 151, a screen display unit 152, and a close button 153. The close buttons 151 and 153 are clicked when the select screen is closed. In the screen display unit 152, a grid-like display indicating frame boundaries is superimposed on the entire image. In the screen display unit 152, for example, when a frame at a desired position is indicated by a pointer, the frame is selected and the brightness, resolution, contrast, etc. of the indicated frame are displayed in order to display the selection. Changes.
[0068]
The REC MODE selection menu 118 is a pull-down menu for selecting a recording mode. In this pull-down menu, a recording mode in which an image size to be recorded and a recording method (RUN or SINGLE) are combined is displayed. The image size is selected from among the whole image composed of (8 × 16) frames, the partial image composed of selected (4 × 8) frames of the whole image, and the whole image. Any of the partial images made up of (2 × 4) frames that have been made is possible. The partial image is the position selected from the select screen. RUN of the recording method is a method of recording a captured image generated at a predetermined cycle (for example, a cycle of 5 seconds), and SINGLE is a method of recording only once. A combination of these can be selected as the recording mode.
[0069]
The Stage Config (Stage Configuration) button 119 is a button for finely adjusting the accuracy of moving the stage. The message area 120 is an area for displaying the connection status between the control computer and the camera unit and the control status of the stage of the camera unit. When the control computer and the camera unit are connected, “IMAGE SERVER CONNECT” is displayed in the message area 120 as shown in FIG. When the stage of the camera unit is in a controllable state, “STAGE CONTROL ACTIVE” is displayed in the message area 120.
[0070]
The REC button 121 is a button for starting image recording. When this button is pressed, recording corresponding to the recording mode selected in the REC MODE selection menu 118 is started. Specifically, RUN (8 × 16), RUN (4 × 8), RUN (2 × 4), SELECT SINGLE RUN (8 × 16), SELECT SINGLE RUN (4 × 8), SELECT SINGLE RUN (2 × Recording according to the mode selected from the modes such as 4) is started.
[0071]
The PLAY button 122 is a button for reproducing the image data stored in the server (main memories 40a and / or 40b). Specifically, when the PLAY button 122 is pressed, an accumulated data display screen is displayed. On this accumulated data display screen, information for identifying the accumulated image data is displayed. This information is based on information described in a direction file described later.
[0072]
FIG. 7 shows an example of a recording data display screen. As shown in FIG. 7, the record data display screen includes a minimize button 161, a maximize button 162, a close button 163, a date designation field 164, a time designation field 165, an accumulated data display field 166, and a latest accumulated data display field. 167, an OK button 168, a cancel button 169, and a storage unit change check button 170 are displayed.
[0073]
The minimize button 161 is a button that is clicked when the accumulated data display screen is minimized, for example, when an icon is used. The maximize button 162 is a button that is clicked when the accumulated data display screen is maximized and displayed using the entire display range of the monitor. The close button 163 is a button that is clicked when the stored data display screen is closed.
[0074]
In the date designation field 164, the date of stored data to be displayed on the entire image display unit 102 is designated. For example, by clicking a button 164 a provided at the right end of the date designation field 164, the date of the stored data that can be displayed may be displayed in a pull-down menu format and selected from the displayed dates.
[0075]
In the time designation field 165, the time of stored data to be displayed on the entire image display unit 102 is designated. For example, by clicking a button 165a provided at the right end of the time designation field 165, the time of the stored data that can be displayed may be displayed in a pull-down menu format, and it may be selected from the displayed times.
[0076]
The accumulated data display field 166 displays the accumulated data of the date and time designated in the date designation field 164 and the time designation field 165 from the accumulation unit. The latest accumulated data display field 167 displays the latest accumulated data from the accumulated data accumulated in the accumulation unit. Further, the latest accumulated data may be displayed from the accumulated data in the date and time designated in the date designation field 164 and the time designation field 165.
[0077]
The OK button 168 is a button that is clicked when desired accumulated data is designated. A cancel button 169 is a button that is clicked when the stored data display screen is closed. The storage unit change check button 170 is a check button for inputting a check when the storage data is read from the storage unit to, for example, a detachable semiconductor memory.
[0078]
Returning to FIG. 4, the STOP button 123 is a button for stopping the recording or reproducing operation. The STOP button 123 may be displayed when the REC button 121 or the PLAY button 122 is pressed.
[0079]
The Set Camera Center POS (Set Camera Center POSITION) button 125 is a button for designating the direction in which the camera unit is currently facing as the center of an (8 × 16) image.
[0080]
The HOME button 124 is a button for controlling the camera unit and directing the optical axis of the lens of the camera unit to the home position. The home position is a position where the camera unit faces the leftmost position. The LIVE / VIEW POSITION button 126 is a button for panning or tilting the camera unit.
[0081]
The ZOOM buttons 127 a and 127 b are buttons for enlarging and reducing the designated image displayed on the designated image display unit 103. The MAX VIEW button 128 is a button for enlarging and displaying the designated image on another screen, for example, the entire image display unit 102.
[0082]
The MRP display button 130 is a button that is clicked when a plurality of frames displayed on the movable range image display unit 101 are captured, stored, and / or displayed. That is, when the MRP display button 130 is clicked, the entire range that can be captured by the camera unit is captured in units of frames, and all frames are assembled based on the position information of the camera unit that each captured frame has. And displayed on the movable range image display unit 101 as a movable range image.
[0083]
Here, the movable range image display unit 101 according to the embodiment of the present invention will be described with reference to FIG. The movable range image displayed on the movable range image display unit 101 moves the camera unit over the maximum movable range when the MRP display button 130 is clicked as described above, or when a camera unit is installed and shooting starts. Filmed in frame units. As shown in FIG. 8, thumbnails obtained by thinning out pixels in the vertical direction and the horizontal direction are gathered based on the position information of the camera unit for an image composed of a plurality of frames obtained as a result of the shooting. Range image).
[0084]
At this time, since the position information of the camera unit added to each frame is associated with the coordinates in the movable range image display unit 101 in advance, all the frames in the movable range are based on the position information of the camera unit. The movable range image can be generated by arranging and assembling to the associated coordinates. In the example of FIG. 8, a movable range image having a wide range of 180 ° in the pan direction and 90 ° in the tilt direction is generated and displayed on the movable range image display unit 101.
[0085]
Each frame on the movable range image display unit 101 includes elevation angle data indicating a position on the movable range of the camera unit from the pan unit 36a and the tilt unit 37a, and position information and metadata measured by the GPS 40a. That is, when a movable range image having position information is used as a GUI and an arbitrary range is selected in the entire image display frame 101a using the mouse 25, the selected range image is selected based on the position information of the selected entire image display frame 101a. It is possible to obtain the position information of the camera unit within the range.
[0086]
Thus, a detailed position can be selected by using a movable range image obtained by collecting a plurality of frames displayed on the movable range image display unit 101 as a GUI.
[0087]
In this embodiment, the position information and metadata of the camera unit are added to each of a plurality of frames assembled in the movable range image. Since the coordinates are associated in advance, the position information of the camera unit may be obtained from the coordinates of the movable range image display unit 101.
[0088]
In this embodiment, it is assumed that the position information of the camera unit added to each captured frame is associated with the coordinates in the movable range image display unit 101 in advance. The same effect can be obtained even if the position information of the camera unit to be associated is associated with the pixel position in the movable range image display unit 101.
[0089]
In this embodiment, an arbitrary range is selected using the mouse 25 in the entire image display frame 101a, and the position information of the camera unit in the selected range is obtained. The position information of the entire image display frame 101a may be obtained from the position information on the GUI of the center of the frame 101a.
[0090]
The operation of the embodiment of the movable range image display unit 101 and the entire image display frame 101a according to the present invention will be described. The MRP display button 130 displayed on the display 46 is clicked with the mouse 25. When the MRP display button 130 is clicked, the controller CPU 33 controls the pan unit 36a and the tilt unit 37a and moves the camera unit for each frame so as to capture the entire movable range.
[0091]
Then, the image capturing unit 24 is captured at each determined frame position, and the captured image is temporarily stored in the buffer memory 26, and the JPEG encoder / metadata adding unit 27 performs image compression in the JPEG format. At this time, position information and metadata from the GPS 40a and elevation angle data indicating the positions of the pan part 36a and the tilt part 37a are added to the respective frames. The frame to which these data are added is stored in the main memory 42a.
[0092]
The frame stored in the main memory 42a is decoded by the JPEG decoder 43a, and the decoded image data is compressed by the image compression unit 44a to a thumbnail in which pixels are thinned out to a size suitable for the movable range image. The compressed image is displayed at a predetermined position on the movable range image display unit 101 on the display 46 via the graphic controller 45.
[0093]
By moving the mouse 25 onto the movable range image display unit 101, the position of the entire image display frame 101a is moved. Then, the position information, metadata, and elevation angle data added to the frame at the position clicked with the mouse 25 are read out.
[0094]
A frame in the range of the entire image that matches the read position information and elevation angle data is read from the main memory 42a. The read frame is decoded by the JPEG decoder 43a and compressed by the image compression unit 44a into a thumbnail in which pixels are thinned out to a size suitable for the entire image. The compressed image is displayed at a predetermined position on the entire image display unit 102 on the display 46 via the graphic controller 45. At the same time, the pan unit 36a and the tilt unit 37a are driven based on the read frame position information and elevation angle data, and the direction of the camera unit is controlled to capture an image.
[0095]
Next, the entire image displayed on the entire image display unit 102 will be described. As described above, the entire image display unit 102 reads the image in the range surrounded by the entire image display frame 101a from the main memory 42a, and thins out pixels in the vertical and horizontal directions with respect to the read image. Collected thumbnails are displayed as a whole image.
[0096]
Similar to the above-described movable range image display unit 101, the entire image display unit 102 includes a plurality of frames. In the plurality of frames, elevation image data indicating the position on the movable range of the camera unit from the pan unit 36a and the tilt unit 37a, and position information and metadata measured by the GPS 40a are displayed on the entire image. It is associated with the coordinates in the display unit 102.
[0097]
The designated image is selected with the mouse 25 using the entire image display unit 102 having this position information as a GUI. For example, by clicking (pointing) the center of the designated image with the mouse 25, the designated image display frame 102 a having a predetermined size is superimposed on the entire image display unit 102. Then, it is calculated which frame on the whole image corresponds to the clicked place, and further, the position in the frame of the clicked place is calculated. This calculated position information is converted into position information and elevation angle data possessed by the frame.
[0098]
Thus, by selecting an arbitrary point on the image with the whole image as a GUI, a position for shooting an image centered on the selected point or an image including the selected point Information and elevation angle data can be calculated. For example, it is possible to calculate position information and elevation angle data for photographing an image surrounded by a designated image display frame 102a having a predetermined size to be superimposed by selecting a point. According to the calculated position information and elevation angle data, the pan part 36b and the tilt part 37b of the camera unit 3b are driven, and the angle of view of the camera can be instantaneously adjusted to the range selected on the entire image.
[0099]
As described above, since the captured image includes the position information and the elevation angle data, it can be used as a GUI for controlling the camera. The plurality of frames displayed in the entire image and the movable range image are taken by the camera unit 3a, and the position information and the elevation angle data are also obtained from the pan unit 36a, the tilt unit 37a, and the GPS 40a as a whole. Associated with images and movable range images. That is, in this embodiment, position information and elevation angle data obtained from the camera unit 3a are used for controlling the camera unit 3b.
[0100]
Since the mounting positions of the camera units 3a and 3b are determined in advance, the camera units 3a and 3b have been finely adjusted in consideration of the difference between the mounting positions of the camera units 3a and 3b based on the position information and elevation angle data obtained from the entire image. The camera unit 3b is controlled by the position information and the elevation angle data. However, since a sufficiently distant place is photographed with respect to the difference in the mounting positions of the camera units 3a and 3b used for monitoring, the difference in the angle of the optical axes of the camera units 3a and 3b due to the difference in the mounting positions is almost the same. It doesn't matter.
[0101]
In this embodiment, the position information and metadata of the camera unit are added to each of a plurality of frames assembled in the entire image. However, the position information of the camera unit is added to the coordinates in the entire image display unit 102. You may make it obtain | require the positional information on a camera part from the correlation of the correlation and the whole image display part 102. FIG.
[0102]
In this embodiment, it is assumed that the position information of the camera unit added to each photographed frame is associated with the coordinates in the entire image display unit 102, but is added to the frame instead of the coordinates. Even if the position information of the camera unit is associated with the pixel position in the entire image display unit 102, the same effect can be obtained.
[0103]
Next, an example of the operation of the camera units 3a and 3b according to the embodiment of the present invention will be described with reference to FIG. In FIG. 9, the camera units 3 a and 3 b are referred to as the camera unit 3, the pantilter units 4 a and 4 b are referred to as the pantilter unit 4, and the camera units 5 a and 5 b are referred to as the camera unit 5.
[0104]
As shown in FIG. 9, in the camera unit 3, the camera unit 5 is installed on the pan head of the pantilter unit 4, and the imaging direction is changed from the home position. In FIG. 9, the (M × N) frames taken are viewed from the camera unit side, and numbers 1, 2,... Numbers 1, 2, ..., N are assigned in order from the left. For example, the home position is a position where a frame having a coordinate of (1, 1) is photographed.
[0105]
When the frame at the coordinate position (1, 1) is photographed, the camera unit 3 is tilted downward, and the frame at the coordinate position (2, 1) is photographed. , The frame at the coordinate position (M, 1) is photographed, and then the frame at the top coordinate position (1, 2) in the second column is photographed. Hereinafter, each frame is photographed up to the frame at the coordinate position (M, N). As described above, each frame has an overlap portion of 16 pixels with other frames. Each photographed frame is compressed by JPEG or MPEG and subjected to processing such as storage in the main memory 42a or 42b.
[0106]
As described above, when each frame is, for example, an XGA (1024 × 768 pixel) image, an image composed of 128 frames is ignored if the overlapping portion is ignored (the horizontal direction is 1024 × 16 = 16,384 pixels and the vertical direction Is an image of about 100 million pixels of 768 × 8 = 6,144 pixels). The above-described entire image display unit 102 displays a compressed image or a thumbnail image formed from this image, and the designated image display unit 103 displays a moving image (frame) photographed by the camera unit 3b.
[0107]
FIG. 10 shows a range that can be captured in one frame when a 75 × telephoto lens is provided in the camera unit. When shooting a subject at a distance of 100 m from the camera unit, a range of 8.7 m in length and 1.17 m in width can be shot in one frame. For example, when an XGA image is used as the image sensor of the camera unit, a range of 0.87 cm in length × 1.17 cm in width of the subject can be represented by about one pixel.
[0108]
When shooting a subject at a distance of 200 m from the camera unit, a range of 1.74 m x 2.34 m can be shot in one frame. For example, when an XGA image is used as the image sensor of the camera unit, a range of 1.74 cm in length × 2.34 cm in width of the subject can be represented by one pixel.
[0109]
When shooting a subject at a distance of 500 m from the camera unit, a range of 4.36 m long by 5.84 m wide can be shot in one frame. For example, when an XGA image is used as the image sensor of the camera unit, a subject's vertical 4.36 cm × horizontal 5.84 cm range can be represented by one pixel.
[0110]
A data management method in a case where image data acquired with reference to FIG. 11 is stored in the archive 10, the main memories 42a, 42b, etc. will be described. As described above, images of (M × N) frames are taken at a predetermined time interval, compressed, and stored. As shown in FIG. 11A, the position of each frame is defined by M rows and N columns. For example, the position address of (1, 1) specifies the uppermost frame at the right end. Each frame has this position address and time information at the time of recording as a file name. The time information is composed of year / month / day / hour / minute / second. Therefore, the file name of each frame is (year / month / day / hour / minute / second, position address).
[0111]
Furthermore, as shown in FIG. 11B, a direction file is defined corresponding to the formation of one overall image with (M × N) frames. The direction file has the same data as the file name of the frame having the position address of (1, 1) (that is, year / month / day / hour / minute / second, position address), so that a set of the (M × N) frames. Define Further, the direction file has position information and metadata for the set of frames. The position information and metadata are generated by the metadata generation unit 29. That is, the direction file has position information such as latitude / longitude, azimuth, altitude, and metadata information such as camera unit parameters (magnification, focus value, iris value, etc.).
[0112]
The present invention is not limited to the above-described embodiment of the present invention, and various modifications and applications can be made without departing from the gist of the present invention. For example, although the above-described embodiment is an example in which one designated image is used, a plurality of designated images may be displayed. In that case, the camera unit 3b may take a plurality of designated images in order, and store and / or display them.
[0113]
In this embodiment, when a desired range is selected by moving the entire image display frame 101a on the movable range image display unit 101, a plurality of frames in the selected range are captured, and the entire image display unit However, even when the entire image display frame 101a is moved, the already recorded frame may be read from the main memory 42a and displayed on the entire image display unit 102. .
[0114]
In this embodiment, the image data and moving image data photographed by the camera units 3a and 3b are displayed on the same display 46, but the moving image data photographed by the camera unit 3b is dedicated. You may make it display on a display.
[0115]
【The invention's effect】
According to this invention, in a pan tilter device for a camera having a wide range of motion, it is possible to easily display as an information what kind of image can be captured within the range of motion, In addition, camera control can be easily performed using the display.
[0116]
According to the present invention, even when it is necessary to monitor a wide area, the direction of the camera can be easily adjusted, and a necessary image can be captured without failure.
[0117]
According to the present invention, in order to display a wide range of images, the camera unit is sequentially moved to capture the images, and therefore, a camera unit that captures intermittent images in the time direction, and a intensive and continuous operation. And a camera unit that captures only a designated range for monitoring, it is possible to compensate for the lack of information in a range to be monitored intensively and continuously. Furthermore, since a wide range of displayed images can be used as a GUI to specify the range to be monitored, the camera unit that captures only the specified range can be reliably and instantaneously aligned. Can do.
[0118]
According to the present invention, it is possible to enlarge the photographing range in the spatial direction, to narrow the photographing interval in the time direction, and to further improve the resolution. In particular, a designated area can be photographed as moving image data and recorded and / or displayed.
[Brief description of the drawings]
FIG. 1 is a block diagram schematically showing a monitoring system according to an embodiment of the present invention.
FIG. 2 is a block diagram of an embodiment of the present invention.
FIG. 3 is a block diagram of an embodiment of the present invention.
FIG. 4 is a schematic diagram for explaining an example of a screen display in one embodiment of the present invention.
FIG. 5 is a schematic diagram for explaining an example of an entire image display frame in one embodiment of the present invention.
FIG. 6 is a schematic diagram for explaining an example of a select screen according to an embodiment of the present invention.
FIG. 7 is a schematic diagram for explaining an example of a stored data display screen during reproduction according to an embodiment of the present invention.
FIG. 8 is a schematic diagram for explaining an example of a movable range image display unit in one embodiment of the present invention.
FIG. 9 is a schematic diagram for explaining a photographing operation and an image obtaining operation in one embodiment of the present invention.
FIG. 10 is a schematic diagram for explaining a distance to a subject, a photographing range, and a resolution according to an embodiment of the present invention.
FIG. 11 is a schematic diagram for explaining a method for managing a captured image;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Computer, 2, 46 ... Display, 3a, 3b ... Camera unit, 4a, 4b ... Pantilter part, 5a, 5b ... Camera part, 21 ... Controller bus, 22. ..Controller CPU, 23 ... I / O, 24 ... Keyboard, 25 ... Mouse, 26 ... Memory card, 27 ... Timepiece, 31a, 31b ... Lens part, 32a, 32b ... Focus / Zoom / Iris control part, 33a, 33b ... Tracking part, 34a, 34b ... Imaging part, 35a, 35b ... IEEE1394 interface, 36a, 36b ... Pan part, 37a, 37b ... Tilt part, 38a, 38b ... Buffer memory, 39a ... JPEG encoder / metadata adding part, 39b ... MPEG encoder 40a, 40b ... GPS, 41a, 41b ... metadata generation unit, 42a, 42b ... main memory, 43a ... JPEG decoder, 43b ... MPEG decoder, 44a, 44b ... Image compression unit, 45 ... Graphic section controller

Claims (8)

撮像方向を可変する第１の撮像方向可変部に取り付けられた第１のカメラユニットと、
撮像方向を可変する第２の撮像方向可変部に取り付けられた第２のカメラユニットと、
上記第１のカメラユニットによって撮影された画像データを蓄積する蓄積部と、
上記第１の撮像方向可変部の最大可動範囲において、各撮像方向で上記第１のカメラユニットが撮像した複数枚の静止画像からなる原画像または上記原画像を圧縮した圧縮画像を上記蓄積部に蓄積し、蓄積された上記原画像または上記圧縮画像をさらに圧縮して生成された可動範囲画像と、上記可動範囲画像内の一部の領域であるパノラマ状の全体画像の範囲を認識するために重畳された第１の指示表示からなる画像を表示する可動範囲画像表示部と、
上記可動範囲画像表示部における上記第１の指示表示に基づいて選択されたパノラマ状の全体画像の範囲の画像を撮影するように、上記第１の撮像方向可変部が制御され、各撮像方向で上記第１のカメラユニットが撮像した複数枚の静止画像からなる原画像または上記原画像を圧縮した圧縮画像を上記蓄積部に蓄積し、蓄積された上記原画像または上記圧縮画像をさらに圧縮して生成された画像からなるパノラマ状の全体画像と、上記全体画像に対して重畳された第２の指示表示とを表示する全体画像表示部と、
上記全体画像内の一部の領域を上記第２の指示表示に基づいて選択し、上記第２の指示表示に対応する上記領域の動画像を第２のカメラユニットが撮影するように、上記第２の撮像方向可変部を制御し、上記第２のカメラユニットが撮影した上記領域の動画像を表示する指定画像表示部と、
上記可動範囲画像表示部、上記全体画像表示部および上記指定画像表示部の表示動作を制御する制御部とを備え、
上記可動範囲画像表示部、上記全体画像表示部および上記指定画像表示部は、表示手段のそれぞれ異なる領域に構成されることを特徴とするモニタリングシステム。A first camera unit attached to a first imaging direction variable unit that varies the imaging direction;
A second camera unit attached to a second imaging direction variable unit that varies the imaging direction;
An accumulator that accumulates image data captured by the first camera unit;
In the maximum movable range of the first imaging direction variable unit, an original image composed of a plurality of still images captured by the first camera unit in each imaging direction or a compressed image obtained by compressing the original image is stored in the storage unit. In order to recognize the range of the movable range image generated by further storing and compressing the stored original image or the compressed image , and the panoramic whole image that is a partial area in the movable range image A movable range image display unit for displaying an image composed of the superimposed first instruction display;
The first imaging direction variable unit is controlled so as to capture an image of the panoramic overall image range selected based on the first instruction display in the movable range image display unit, and in each imaging direction. An original image composed of a plurality of still images captured by the first camera unit or a compressed image obtained by compressing the original image is stored in the storage unit, and the stored original image or the compressed image is further compressed. An overall image display unit for displaying a panoramic overall image composed of the generated images and a second instruction display superimposed on the overall image;
A part of the entire image is selected based on the second instruction display, and the second camera unit captures a moving image of the area corresponding to the second instruction display. A designated image display unit that controls the two imaging direction variable units and displays a moving image of the region captured by the second camera unit;
A control unit that controls display operations of the movable range image display unit, the entire image display unit, and the designated image display unit ,
The monitoring system , wherein the movable range image display unit, the whole image display unit, and the designated image display unit are configured in different areas of the display means . 上記第１または第２の指示表示で選択している間、および上記所定の範囲を上記第１または第２の指示表示で選択された所定の範囲の撮影が開始されるまでの間、上記第１または第２の指示表示で選択された範囲の画像データを上記蓄積部から読み出して上記全体画像表示部に表示するようにしたことを特徴とする請求項１に記載のモニタリングシステム。  While the first or second instruction display is selected, and until the predetermined range selected by the first or second instruction display is started, the first range is selected. 2. The monitoring system according to claim 1, wherein image data in a range selected by the first or second instruction display is read from the storage unit and displayed on the entire image display unit. 第１の撮像方向可変部の最大可動範囲において、各撮像方向で第１のカメラユニットによって撮影された複数枚の静止画像からなる原画像または上記原画像を圧縮した圧縮画像を蓄積部に蓄積するステップと、
蓄積された上記原画像または上記圧縮画像をさらに圧縮して生成された可動範囲画像と、上記可動範囲画像内の一部の領域であるパノラマ状の全体画像の範囲を認識するために重畳された第１の指示表示とからなる画像を表示する可動範囲画像表示ステップと、
上記第１の指示表示に基づいて選択されたパノラマ状の全体画像の範囲の画像を撮影するように、上記第１の撮像方向可変部が制御され、各撮像方向で上記第１のカメラユニットによって撮影された複数枚の静止画像からなる原画像または上記原画像を圧縮した圧縮画像を上記蓄積部に蓄積するステップと、
蓄積された上記原画像または上記圧縮画像をさらに圧縮して生成された画像からなるパノラマ状の全体画像と上記全体画像に対して重畳された第２の指示表示とを表示する全体画像表示ステップと、
上記全体画像内の一部の領域を上記第２の指示表示に基づいて選択し、上記第２の指示表示に対応する上記領域の動画像を第２のカメラユニットが撮影するように、上記第２の撮像方向可変部を制御し、上記第２のカメラユニットが撮影した上記領域の動画像を表示する指定画像表示ステップとを備え、
上記可動範囲画像表示部、上記全体画像表示部および上記指定画像表示部は、表示手段のそれぞれ異なる領域に構成されることを特徴とするモニタリング方法。In the maximum movable range of the first imaging direction variable unit, an original image composed of a plurality of still images photographed by the first camera unit in each imaging direction or a compressed image obtained by compressing the original image is accumulated in the accumulation unit. Steps,
The movable range image generated by further compressing the stored original image or the compressed image and the panoramic overall image range that is a partial area in the movable range image are superimposed to recognize the range. A movable range image display step for displaying an image comprising the first instruction display;
The first imaging direction variable unit is controlled so as to capture an image of the panoramic overall image range selected based on the first instruction display, and the first camera unit in each imaging direction. Storing an original image composed of a plurality of captured still images or a compressed image obtained by compressing the original image in the storage unit;
A whole image display step for displaying a panoramic whole image composed of an image generated by further compressing the stored original image or the compressed image , and a second instruction display superimposed on the whole image; ,
A part of the entire image is selected based on the second instruction display, and the second camera unit captures a moving image of the area corresponding to the second instruction display. A designated image display step of controlling the imaging direction variable unit of 2 and displaying a moving image of the area captured by the second camera unit;
The monitoring method, wherein the movable range image display unit, the whole image display unit, and the designated image display unit are configured in different regions of the display unit . 上記第１または第２の指示表示で選択している間、および上記所定の範囲を上記第１または第２の指示表示で選択された所定の範囲の撮影が開始されるまでの間、上記第１または第２の指示表示で選択された範囲の画像データを上記蓄積部から読み出して上記全体画像表示部に表示するようにしたことを特徴とする請求項３に記載のモニタリング方法。While the first or second instruction display is selected, and until the predetermined range selected by the first or second instruction display is started, the first range is selected. 4. The monitoring method according to claim 3 , wherein image data in a range selected by the first or second instruction display is read from the storage unit and displayed on the entire image display unit. 第１の撮像方向可変部の最大可動範囲において、各撮像方向で第１のカメラユニットによって撮影された複数枚の静止画像からなる原画像または上記原画像を圧縮した圧縮画像を蓄積部に蓄積するステップと、
蓄積された上記原画像または上記圧縮画像をさらに圧縮して生成された可動範囲画像と、上記可動範囲画像内の一部の領域であるパノラマ状の全体画像の範囲を認識するために重畳された第１の指示表示とからなる画像を表示する可動範囲画像表示ステップと、
上記第１の指示表示に基づいて選択されたパノラマ状の全体画像の範囲の画像を撮影するように、上記第１の撮像方向可変部が制御され、各撮像方向で上記第１のカメラユニットによって撮影された複数枚の静止画像からなる原画像または上記原画像を圧縮した圧縮画像を上記蓄積部に蓄積するステップと、
蓄積された上記原画像または上記圧縮画像をさらに圧縮して生成された画像からなるパノラマ状の全体画像と上記全体画像に対して重畳された第２の指示表示とを表示する全体画像表示ステップと、
上記全体画像内の一部の領域を上記第２の指示表示に基づいて選択し、上記第２の指示表示に対応する動画像を第２のカメラユニットが撮影するように、上記第２の撮像方向可変部を制御し、上記第２のカメラユニットが撮影した上記領域の動画像を表示する指定画像表示ステップとを備え、
上記可動範囲画像表示部、上記全体画像表示部および上記指定画像表示部は、表示手段のそれぞれ異なる領域に構成されることを特徴とするモニタリング方法をコンピュータに実行させるためのプログラム。In the maximum movable range of the first imaging direction variable unit, an original image composed of a plurality of still images photographed by the first camera unit in each imaging direction or a compressed image obtained by compressing the original image is accumulated in the accumulation unit. Steps,
The movable range image generated by further compressing the stored original image or the compressed image and the panoramic overall image range that is a partial area in the movable range image are superimposed to recognize the range. A movable range image display step for displaying an image comprising the first instruction display;
The first imaging direction variable unit is controlled so as to capture an image of the panoramic overall image range selected based on the first instruction display, and the first camera unit in each imaging direction. Storing an original image composed of a plurality of captured still images or a compressed image obtained by compressing the original image in the storage unit;
A whole image display step for displaying a panoramic whole image composed of an image generated by further compressing the stored original image or the compressed image, and a second instruction display superimposed on the whole image; ,
The second imaging unit is configured such that a part of the entire image is selected based on the second instruction display, and the second camera unit captures a moving image corresponding to the second instruction display. A designated image display step for controlling the direction changing unit and displaying a moving image of the area captured by the second camera unit;
A program for causing a computer to execute a monitoring method, wherein the movable range image display unit, the entire image display unit, and the designated image display unit are configured in different regions of a display unit . 上記第１または第２の指示表示で選択している間、および上記所定の範囲を上記第１または第２の指示表示で選択された所定の範囲の撮影が開始されるまでの間、上記第１または第２の指示表示で選択された範囲の画像データを上記蓄積部から読み出して上記全体画像表示部に表示するようにしたことを特徴とする請求項７に記載のモニタリング方法をコンピュータに実行させるためのプログラム。While the first or second instruction display is selected, and until the predetermined range selected by the first or second instruction display is started, the first range is selected. 8. The monitoring method according to claim 7 , wherein image data in a range selected by the first or second instruction display is read from the storage unit and displayed on the entire image display unit. Program to let you. 第１の撮像方向可変部の最大可動範囲において、各撮像方向で第１のカメラユニットによって撮影された複数枚の静止画像からなる原画像または上記原画像を圧縮した圧縮画像を蓄積部に蓄積するステップと、
蓄積された上記原画像または上記圧縮画像をさらに圧縮して生成された可動範囲画像と、上記可動範囲画像内の一部の領域であるパノラマ状の全体画像の範囲を認識するために重畳された第１の指示表示とからなる画像を表示する可動範囲画像表示ステップと、
上記第１の指示表示に基づいて選択されたパノラマ状の全体画像の範囲の画像を撮影するように、上記第１の撮像方向可変部が制御され、各撮像方向で上記第１のカメラユニットによって撮影された複数枚の静止画像からなる原画像または上記原画像を圧縮した圧縮画像を上記蓄積部に蓄積するステップと、
蓄積された上記原画像または上記圧縮画像をさらに圧縮して生成された画像からなるパノラマ状の全体画像と上記全体画像に対して重畳された第２の指示表示とを表示する全体画像表示ステップと、
上記全体画像内の一部の領域を上記第２の指示表示に基づいて選択し、上記第２の指示表示に対応する動画像を第２のカメラユニットが撮影するように、上記第２の撮像方向可変部を制御し、上記第２のカメラユニットが撮影した上記領域の動画像を表示する指定画像表示ステップとを備え、
上記可動範囲画像表示部、上記全体画像表示部および上記指定画像表示部は、表示手段のそれぞれ異なる領域に構成されることを特徴とするモニタリング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。In the maximum movable range of the first imaging direction variable unit, an original image composed of a plurality of still images photographed by the first camera unit in each imaging direction or a compressed image obtained by compressing the original image is accumulated in the accumulation unit. Steps,
The movable range image generated by further compressing the stored original image or the compressed image and the panoramic overall image range that is a partial area in the movable range image are superimposed to recognize the range. A movable range image display step for displaying an image comprising the first instruction display;
The first imaging direction variable unit is controlled so as to capture an image of the panoramic overall image range selected based on the first instruction display, and the first camera unit in each imaging direction. Storing an original image composed of a plurality of captured still images or a compressed image obtained by compressing the original image in the storage unit;
A whole image display step for displaying a panoramic whole image composed of an image generated by further compressing the stored original image or the compressed image, and a second instruction display superimposed on the whole image; ,
The second imaging unit is configured such that a part of the entire image is selected based on the second instruction display, and the second camera unit captures a moving image corresponding to the second instruction display. A designated image display step for controlling the direction changing unit and displaying a moving image of the area captured by the second camera unit;
The movable range image display unit, the whole image display unit, and the designated image display unit are configured in different areas of the display means, and are read by a computer that records a program for causing a computer to execute a monitoring method Possible recording media. 上記第１または第２の指示表示で選択している間、および上記所定の範囲を上記第１または第２の指示表示で選択された所定の範囲の撮影が開始されるまでの間、上記第１または第２の指示表示で選択された範囲の画像データを上記蓄積部から読み出して上記全体画像表示部に表示するようにしたことを特徴とする請求項７に記載のモニタリング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。While the first or second instruction display is selected, and until the predetermined range selected by the first or second instruction display is started, the first range is selected. 8. The monitoring method according to claim 7 , wherein image data in a range selected by the first or second instruction display is read from the storage unit and displayed on the entire image display unit. A computer-readable recording medium on which a program for causing the program to be recorded is recorded.
JP2002248437A 2002-08-28 2002-08-28 Monitoring system and method, program, and recording medium Expired - Fee Related JP3841033B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002248437A JP3841033B2 (en) 2002-08-28 2002-08-28 Monitoring system and method, program, and recording medium
US10/649,150 US7697025B2 (en) 2002-08-28 2003-08-27 Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002248437A JP3841033B2 (en) 2002-08-28 2002-08-28 Monitoring system and method, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2004088558A JP2004088558A (en) 2004-03-18
JP3841033B2 true JP3841033B2 (en) 2006-11-01

Family

ID=32055820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002248437A Expired - Fee Related JP3841033B2 (en) 2002-08-28 2002-08-28 Monitoring system and method, program, and recording medium

Country Status (1)

Country Link
JP (1) JP3841033B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006028247A1 (en) * 2004-09-10 2006-03-16 Pioneer Corporation Video shooting system, video shooting device and video shooting method
ES2359349T3 (en) 2007-02-19 2011-05-20 Axis Ab A METHOD FOR COMPENSATING LACKS OF HARDWARE ALIGNMENT IN A CAMERA.
EP1981263B1 (en) 2007-04-13 2019-04-03 Axis AB Supporting continuous pan rotation in a pan-tilt camera
JP5939902B2 (en) * 2012-06-21 2016-06-22 キヤノン株式会社 Control device and control method of control device
JP6261191B2 (en) * 2013-05-31 2018-01-17 キヤノン株式会社 Display control apparatus, display control method, and program
CN104994354A (en) * 2015-07-10 2015-10-21 中国能源建设集团广东省电力设计研究院有限公司 Safety protection system and safety protection method of offshore wind farm
CN107592502B (en) * 2017-09-21 2020-03-31 南昌工程学院 Wireless sensor network image monitoring system powered by solar energy
JP6896655B2 (en) * 2018-01-18 2021-06-30 株式会社東芝 Image transmission system

Also Published As

Publication number Publication date
JP2004088558A (en) 2004-03-18

Similar Documents

Publication Publication Date Title
US8462253B2 (en) Monitoring system for a photography unit, monitoring method, computer program, and storage medium
JP3925299B2 (en) Monitoring system and method
US7573492B2 (en) Monitoring system and method, and program and recording medium used therewith
US7697025B2 (en) Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display
EP1696398B1 (en) Information processing system, information processing apparatus and information processing method , program, and recording medium
JP2006333132A (en) Imaging apparatus and method, program, program recording medium and imaging system
JP4378636B2 (en) Information processing system, information processing apparatus, information processing method, program, and recording medium
JP3841033B2 (en) Monitoring system and method, program, and recording medium
JP3969172B2 (en) Monitoring system and method, program, and recording medium
JP3838149B2 (en) Monitoring system and method, program and recording medium
JP3991816B2 (en) Monitoring system and method, program, and recording medium
JP4225040B2 (en) Monitoring system and method, program, and recording medium
JP4172352B2 (en) Imaging apparatus and method, imaging system, and program
JP3838150B2 (en) Monitoring system and method, program, and recording medium
JP3838151B2 (en) Monitoring system and method, program, and recording medium
JP4127080B2 (en) Imaging apparatus and method
JP4211377B2 (en) Image signal processing device
JP2004194114A (en) System for providing image information

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060731

R151 Written notification of patent or utility model registration

Ref document number: 3841033

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100818

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110818

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110818

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120818

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120818

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130818

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees