JP2004088558A - モニタリングシステムおよび方法並びにプログラムおよび記録媒体 - Google Patents

モニタリングシステムおよび方法並びにプログラムおよび記録媒体 Download PDF

Info

Publication number
JP2004088558A
JP2004088558A JP2002248437A JP2002248437A JP2004088558A JP 2004088558 A JP2004088558 A JP 2004088558A JP 2002248437 A JP2002248437 A JP 2002248437A JP 2002248437 A JP2002248437 A JP 2002248437A JP 2004088558 A JP2004088558 A JP 2004088558A
Authority
JP
Japan
Prior art keywords
unit
image
image data
position information
photographed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002248437A
Other languages
English (en)
Other versions
JP3841033B2 (ja
Inventor
Hiroyuki Hasegawa
長谷川 裕之
Hideki Hama
浜 秀樹
Masaru Nezu
根津 大
Takeyoshi Kurotani
黒谷 武義
Masaaki Kurebayashi
紅林 正昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002248437A priority Critical patent/JP3841033B2/ja
Priority to US10/649,150 priority patent/US7697025B2/en
Publication of JP2004088558A publication Critical patent/JP2004088558A/ja
Application granted granted Critical
Publication of JP3841033B2 publication Critical patent/JP3841033B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】撮影範囲の画像を事前に確認し、画像取り込み可能範囲と撮影範囲との関係を一見してユーザに知らせ、特に監視したい部分を継続的に監視する。
【解決手段】カメラユニット3aから得られる仰角データ、位置情報が全体画像表示部102内の座標と関連付けられている。この位置情報を持つ表示部102をGUIとして、マウス25で指定画像が選択される。選択された場所が全体画像上のどのフレームにあたるかが算出され、さらにクリックされた場所のフレーム内の位置が算出される。この算出された位置情報がフレームが持つ位置情報と仰角データに変換される。カメラユニット3aから得られた位置情報および仰角データでカメラユニット3bは制御され、表示部102に重畳されている表示枠102aで示す範囲の画像が撮影され、蓄積/表示される。
【選択図】  図4

Description

【0001】
【発明の属する技術分野】
この発明は、監視カメラ等に適用されるモニタリングシステムおよび方法並びにプログラムおよび記録媒体に関する。
【0002】
【従来の技術】
従来、広範囲の状況を監視するためにモニタリングシステムが使用されている。例えば海上監視、河川監視、立ち入り監視区域のモニタリング、野生動物の行動観察等にモニタリングシステムが使用される。このモニタリングシステムは、広範囲の画像を撮影する必要上、画素数が非常に多いビデオカメラを使用していた。そのために、システムの価格が高くなり、コストの面で問題があった。
【0003】
これに対して、カメラの撮影範囲を順にずらしながら、静止画像を撮影し、多数の静止画像を連結することで、モニタリングしようとする範囲の画像を生成することが提案されている。この場合、多数の静止画像を連結することで生成される連結画像は、極めて高解像度の画像とすることができる。したがって、連結画像中の一部分の拡大画像を得る場合に、拡大画像自体の解像度が高く、拡大画像であっても鮮明な画像を得ることができる。
【0004】
モニタリングする範囲を広くする必要からカメラの可動範囲は、例えば180°、360°等の極めて広い範囲が設定されている。この広い範囲でカメラの撮影方向を切り替え、各撮影方向で静止画像を取得し、パノラマ状の連結画像を形成するようにしている。
【0005】
撮影範囲を広く設定すると、広範囲の連結画像を構成する静止画像の枚数が増えることになり、画像取得のための時間が長くなり、連結画像を取得する周期が長くなる問題が生じる。実際に監視したいエリアは、限定された範囲であることが多い。
【0006】
そこで、同出願人は、特願2002−130761において、広範囲のエリアを画角毎に切り出し、切り出された画角の画像を通常の撮像素子で取り込み、取り込まれた画像を組み合わせることによって、高精細且つ広範囲な画像を得ることができるシステムを提案している。
【0007】
【発明が解決しようとする課題】
しかしながら、このシステムであっても実際に監視したいエリアを決定する仕組みは、カメラを移動させてライブ映像で撮影し、撮影された映像で確認しなければならなかった。また、画像取り込み可能範囲と撮影範囲との関係を一見してユーザに知らせる方法はなかった。
【0008】
さらに、特に詳細に監視したい部分があっても、複数枚の画像を撮影するため、再度その部分を撮影するまでには所定の時間が必要となるので、所定の間隔より短い間隔でその部分を監視することはできなかった。
【0009】
そこで、この発明の目的は、撮影範囲の画像を事前に確認することができ、さらに画像取り込み可能範囲と撮影範囲との関係を一見してユーザに知らせることができ、また特に監視したい部分を継続的に監視することができるモニタリングシステムおよび方法並びにプログラムおよび記録媒体を提供することにある。
【0010】
【課題を解決するための手段】
上述した課題を達成するために請求項1の発明は、所定の場所を監視するモニタリングシステムにおいて、撮像方向が可変可能な第1のカメラユニットで撮影された異なる位置の画像データ毎に位置情報を付加して蓄積部に蓄積し、撮影された画像データを圧縮した圧縮画像または蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示し、撮影された画像データのそれぞれの位置情報が組み込まれた第1の画像表示部と、第1の画像表示部に所定の範囲を指示するための第1の指示表示を重畳し、所定の範囲を第1の指示表示で選択すると、撮像方向が可変可能な第2のカメラユニットで選択された所定の範囲の動画像データを撮影し、撮影された動画像データを表示する第2の画像表示部とを有することを特徴とするモニタリングシステムである。
【0011】
請求項2に記載の発明は、所定の場所を監視するモニタリングシステムにおいて、映像を撮影する撮像部と、撮像部の撮像方向を可変する撮像方向可変部と、撮像方向可変部の最大可動範囲内において、撮像部で撮像された画像データの位置情報を検出する位置情報検出手段と、検出された位置情報を画像データに付加し、蓄積する蓄積部とから構成される第1および第2のカメラユニットと、第1のカメラユニットで撮影された画像データを圧縮した圧縮画像または蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示し、撮影された画像データのそれぞれの位置情報が組み込まれた第1の画像表示部とを有し、第1の画像表示部に所定の範囲を指示するための第1の指示表示を重畳し、所定の範囲を第1の指示表示で選択すると、撮像方向が可変可能な第2のカメラユニットで選択された所定の範囲の動画像データを撮影し、撮影された動画像データを第2の画像表示部に表示するようにしたことを特徴とするモニタリングシステムである。
【0012】
請求項7に記載の発明は、所定の場所を監視するモニタリング方法において、撮像方向が可変可能な第1のカメラユニットで撮影された異なる位置の画像データ毎に位置情報を付加して蓄積部に蓄積し、撮影された画像データを圧縮した圧縮画像または蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示する第1の画像表示部に、撮影された画像データのそれぞれの位置情報が組み込まれ、第1の画像表示部に所定の範囲を指示するための第1の指示表示を重畳し、所定の範囲を第1の指示表示で選択すると、撮像方向が可変可能な第2のカメラユニットで選択された所定の範囲の動画像データを撮影し、撮影された動画像データを第2の画像表示部に表示するようにしたことを特徴とするモニタリング方法である。
【0013】
請求項8に記載の発明は、所定の場所を監視するモニタリング方法において、映像を撮影する撮像部と、撮像部の撮像方向を可変する撮像方向可変部と、撮像方向可変部の最大可動範囲内において、撮像部で撮像された画像データの位置情報を検出する位置情報検出手段と、検出された位置情報を画像データに付加し、蓄積する蓄積部とから構成される第1および第2のカメラユニットを使用し、第1のカメラユニットで撮影された画像データを圧縮した圧縮画像または蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示する第1の画像表示部に、撮影された画像データのそれぞれの位置情報が組み込まれ、第1の画像表示部に所定の範囲を指示するための第1の指示表示を重畳し、所定の範囲を第1の指示表示で選択すると、撮像方向が可変可能な第2のカメラユニットで選択された所定の範囲の動画像データを撮影し、撮影された動画像データを第2の画像表示部に表示するようにしたことを特徴とするモニタリング方法である。
【0014】
請求項13に記載の発明は、所定の場所を監視するモニタリング方法をコンピュータに実行させるためのプログラムにおいて、撮像方向が可変可能な第1のカメラユニットで撮影された異なる位置の画像データ毎に位置情報を付加して蓄積部に蓄積し、撮影された画像データを圧縮した圧縮画像または蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示する第1の画像表示部に、撮影された画像データのそれぞれの位置情報が組み込まれ、第1の画像表示部に所定の範囲を指示するための指示表示を重畳し、所定の範囲を指示表示で選択すると、撮像方向が可変可能な第2のカメラユニットで選択された所定の範囲の動画像データを撮影し、撮影された動画像データを第2の画像表示部に表示するようにしたことを特徴とするモニタリング方法をコンピュータに実行させるためのプログラムである。
【0015】
請求項14に記載の発明は、所定の場所を監視するモニタリング方法をコンピュータに実行させるためのプログラムにおいて、映像を撮影する撮像部と、撮像部の撮像方向を可変する撮像方向可変部と、撮像方向可変部の最大可動範囲内において、撮像部で撮像された画像データの位置情報を検出する位置情報検出手段と、検出された位置情報を画像データに付加し、蓄積する蓄積部とから構成される第1および第2のカメラユニットを使用し、第1のカメラユニットで撮影された画像データを圧縮した圧縮画像または蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示する第1の画像表示部に、撮影された画像データのそれぞれの位置情報が組み込まれ、第1の画像表示部に所定の範囲を指示するための指示表示を重畳し、所定の範囲を指示表示で選択すると、撮像方向が可変可能な第2のカメラユニットで選択された所定の範囲の動画像データを撮影し、撮影された動画像データを第2の画像表示部に表示するようにしたことを特徴とするモニタリング方法をコンピュータに実行させるためのプログラムである。
【0016】
請求項15に記載の発明は、所定の場所を監視するモニタリング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、撮像方向が可変可能な第1のカメラユニットで撮影された異なる位置の画像データ毎に位置情報を付加して蓄積部に蓄積し、撮影された画像データを圧縮した圧縮画像または蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示する第1の画像表示部に、撮影された画像データのそれぞれの位置情報が組み込まれ、第1の画像表示部に所定の範囲を指示するための指示表示を重畳し、所定の範囲を指示表示で選択すると、撮像方向が可変可能な第2のカメラユニットで選択された所定の範囲の動画像データを撮影し、撮影された動画像データを第2の画像表示部に表示するようにしたことを特徴とするモニタリング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【0017】
請求項16に記載の発明は、所定の場所を監視するモニタリング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、映像を撮影する撮像部と、撮像部の撮像方向を可変する撮像方向可変部と、撮像方向可変部の最大可動範囲内において、撮像部で撮像された画像データの位置情報を検出する位置情報検出手段と、検出された位置情報を画像データに付加し、蓄積する蓄積部とから構成される第1および第2のカメラユニットを使用し、第1のカメラユニットで撮影された画像データを圧縮した圧縮画像または蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示する第1の画像表示部に、撮影された画像データのそれぞれの位置情報が組み込まれ、第1の画像表示部に所定の範囲を指示するための指示表示を重畳し、所定の範囲を指示表示で選択すると、撮像方向が可変可能な第2のカメラユニットで選択された所定の範囲の動画像データを撮影し、撮影された動画像データを第2の画像表示部に表示するようにしたことを特徴とするモニタリング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【0018】
撮像方向を広範囲に可変可能な第1および第2のカメラユニットを備え、第1のカメラユニットで撮影された複数の画像データを集合させ、第1のカメラユニットの位置情報が組み込まれた第1の集合画像表示部をGUIとして第2のカメラユニットを操作(制御)することができる。すなわち、第1のカメラユニットの位置情報に基づいて第2のカメラユニットを制御することによって、監視したい特定の場所を連続して撮影し、記録および/または表示することができる。
【0019】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図1は、この発明の一実施形態の概略的な構成を示す。ディスプレイ2が接続されているコンピュータ1は、カメラユニット3a、3bを制御する。図1の例は、1台のコンピュータ1が2台のカメラユニット3a、3bを制御するシステムの例である。1台のコンピュータが複数台のカメラユニットを制御できる。
【0020】
カメラユニット3a、3bは、パンチルタ部4a、4bとカメラ部5a、5bが一体的に構成されたものである。カメラユニット3a、3bは、遠方の対象領域を撮影可能なように設置される。一例として、カメラ部5a、5bは、倍率が10倍、70倍等の望遠レンズを有し、数十メートルから数キロメートル離れた場所を撮影可能とされている。なお、この一実施形態では、パンチルタ部4bとカメラ部5bから構成されるカメラユニット3bは、一例として指定された領域を撮影するためのものである。
【0021】
カメラ部5a、5bは、例えば外部からのトリガーと同期してシャッターをオンできるディジタルスチルカメラであり、その撮影素子例えばCCD(Charge Coupled Device)は、VGA(Video Graphics Array,640×480 画素)画像、XGA(eXtended Graphics Array,1024×768 画素)画像、SXGA(Super eXtended Graphics Array,1280×1024画素)画像等の画素数を有する。VGA画像の撮像素子の場合では、30fps(フレーム/秒)のレートで画像データが出力され、XGA画像の撮像素子の場合では、15fps(フレーム/秒)のレートで画像データが出力され、SXGA画像の撮像素子の場合では、7.5fps(フレーム/秒)のレートで画像データが出力される。
【0022】
映像データは、カメラユニット3a、3bからコンピュータ1に対してバス6a、6bを介して伝送される。バス6a、6bは、カメラユニット3a、3bから供給される映像データと、コンピュータ1から供給される制御信号とを伝送する。
【0023】
コンピュータ1では、カメラユニット3a、3bからの映像データがメモリに蓄積され、後述するように、操作用のGUI(Graphical User Interface)が構成され、ユーザが所望の対象領域の画像をカメラユニット3a、3bで撮影できるように、カメラユニット3a、3bが制御される。圧縮符号化例えばJPEG(Joint Photographic Experts Group) によって撮影画像が圧縮される。
【0024】
コンピュータ1は、LAN(Local Area Network)7を介して他のコンピュータ8と接続されている。参照符号9は、コンピュータ8のディスプレイである。コンピュータ8は、LAN7を介してコンピュータ1からの画像データ等を受取り、アーカイブ10に対して映像データを蓄積し、さらに、画像データの処理を行う。例えば映像データを使用して顔認識、荷物認識、環境認識、車認識等の処理がなされる。アーカイブ10は、テープストリーマーのような大量のデータを蓄積できるものである。
【0025】
図2および図3は、上述したモニタリングシステムにおけるコンピュータ1とカメラユニット3a、3bの部分のより詳細な構成を示す。図2および図3の例では、参照符号21で示す共通のコントローラバスに対して、カメラユニット3a、3bおよびコンピュータの構成要素が接続されている。なお、カメラユニット3aの制御または信号処理を行うブロックには、参照符号の最後に「a」を付し、カメラユニット3bの制御または信号処理を行うブロックには、参照符号の最後に「b」を付す。
【0026】
カメラユニット3aには、レンズ部31a、フォーカス・ズーム・アイリス制御部32a、トラッキング部33a、撮像部34a、IEEE(Institute of Electrical and Electronics Engineers)1394インタフェース35a、パン部36a、およびチルト部37aとから構成される。コントローラバス21を介してコントローラCPU(Central Processing Unit)22から供給される制御信号によって、制御される。なお、レンズ部31a、フォーカス・ズーム・アイリス制御部32a、トラッキング部33a、撮像部34a、およびIEEE1394インタフェース35aはカメラユニット3aのカメラ部として、パン部36aおよびチルト部37a上に設置されている。
【0027】
カメラユニット3bには、レンズ部31b、フォーカス・ズーム・アイリス制御部32b、トラッキング部33b、撮像部34b、IEEE1394インタフェース35b、パン部36b、およびチルト部37bとから構成される。コントローラバス21を介してコントローラCPU22から供給される制御信号によって、制御される。なお、レンズ部31b、フォーカス・ズーム・アイリス制御部32b、トラッキング部33b、撮像部34b、およびIEEE1394インタフェース35bはカメラユニット3bのカメラ部として、パン部36bおよびチルト部37b上に設置されている。
【0028】
パン部36aおよび36b並びにチルト部37aおよび37bは、それぞれ駆動源として例えばステッピングモータを有し、コントローラバス21を介してコントローラCPU22から供給される制御信号に応じてカメラ部をパンおよび/またはチルトさせる。ここで、パンは、水平方向にカメラを回転させることを意味し、チルトは、垂直方向にカメラを回転させることを意味する。一例として、パン角の最大値が±90°とされ、チルト角の最大値が±45°とされている。
【0029】
撮像中心を画角分移動させる毎に、シャッターがオンされ、例えば1/60秒間隔または1/30秒間隔の静止画像(以下、適宜「フレーム」と称する)が撮影される。すなわち、カメラ部では動画が撮影され、撮影された動画が1/60秒間隔または1/30秒間隔からなる1枚の静止画像として、後段に供給される。なお、この一実施形態では、一例として1/30秒間隔で静止画像が撮影される。
【0030】
縦方向でM枚(例えば8枚)、横方向でN枚(例えば16枚)の合計(M×N=8×16=128枚)のフレームが順番に撮影され、これらを圧縮する。各フレームが例えばXGA(1024×768画素)画像である。したがって、128枚のフレームは、重複部分を無視すると、(横方向が1024×16=16,384画素で、縦方向が768×8=6,144画素)の約1億画素の画像を形成する。なお、128枚のフレームを撮影するのに約5秒かかる。そして、この一実施形態では、隣り合うフレームの重複部分は縦横のそれぞれで16画素とされる。
【0031】
フォーカス・ズーム・アイリス制御部32aおよび32bは、コントローラバス21を介してコントローラCPU22から供給される制御信号によって制御される。撮像部34aおよび34bは、固体撮像素子例えばCCD(Charge Coupled Device)とカメラ信号処理回路とを含む。撮像部34aおよび34bからのディジタル映像信号がIEEE1394インタフェース35aおよび35bを介してバッファメモリ38aおよび38bに書き込まれる。
【0032】
トラッキング部33aでは、パン部36aおよびチルト部37aの動きに対応してレンズ部31aの所定のレンズをシフトさせて、パン部36aおよびチルト部37aの動きが打ち消される。トラッキング部33bでは、パン部36bおよびチルト部37bの動きに対応してレンズ部31bの所定のレンズをシフトさせて、パン部36bおよびチルト部37bの動きが打ち消される。従って、ブレのない1/60秒または1/30秒の静止画像を撮影することができる。
【0033】
バッファメモリ38aの出力データがJPEG(Joint Photographics Experts Group)エンコーダ/メタデータ付加部39aに供給され、画像データがJPEGデータに変換される。JPEGは、圧縮方式の1つであって、他の圧縮方式を使用しても良いし、圧縮しないでも良い。また、バッファメモリ38bの出力データがMPEG(Moving Picture Coding Experts Group)エンコーダ39bに供給され、動画像データがMPEGデータに変換される。MPEGは、圧縮方式の1つであって、他の圧縮方式を使用しても良い。
【0034】
カメラユニット3aおよび3bには、その位置を検出するためのGPS(Global Positioning System)40aおよび40bが備えられている。GPS40aおよび40bを備えることによって、カメラの設置場所のデータを記録できると共に、カメラの向きを検出し、複数のカメラの向きを連動して制御することが可能となる。GPS40aおよび40bは、コントローラバス21を介してコントローラCPU22から供給される制御信号によって制御される。
【0035】
GPS40aおよび40bの出力信号がメタデータ生成部41aおよび41bに供給され、GPS40aおよび40bの測位結果に基づいた位置情報(緯度・経度、方位、高度等の情報)およびメタデータ(時刻、カメラ部のパラメータ(倍率、フォーカス値、アイリス値等)等の情報)が生成される。
【0036】
メタデータ生成部41aで生成された位置情報およびメタデータは、JPEGエンコーダ/メタデータ付加部39aに供給される。JPEGエンコーダ/メタデータ付加部39aでは、JPEGデータに対して位置情報およびメタデータが付加される。メタデータおよび位置情報が付加されたJPEGデータがメインメモリ42aへ記憶される。
【0037】
メインメモリ42aから読み出されたJPEGデータは、JPEGデコーダ43aで画像データへ復号される。復号された画像データは、画像圧縮部44aへ供給される。画像圧縮部44aでは、ディスプレイ46に表示される可動範囲画像表示部または全体画像表示部に表示できるように画像データが圧縮され、サムネイル(縮小画像)が生成される。生成されたサムネイルは、画像圧縮部44aからグラフィックコントローラ45へ供給される。
【0038】
メタデータ生成部41bで生成された位置情報およびメタデータは、MPEGエンコーダ39bに供給される。MPEGエンコーダ39bでは、MPEGデータの所定の画像データに対して位置情報およびメタデータが付加される。メタデータおよび位置情報が付加されたMPEGデータがメインメモリ42bへ記憶される。
【0039】
メインメモリ42bから読み出されたMPEGデータは、MPEGデコーダ43bで動画像データへ復号される。復号された動画像データは、画像圧縮部44bへ供給される。画像圧縮部44bでは、ディスプレイ46に表示される指定画像表示部に表示できるように動画像データが圧縮され、所定の大きさの動画像データが生成される。生成された動画像データは、画像圧縮部44bからグラフィックコントローラ45へ供給される。
【0040】
グラフィックコントローラ45は、供給された画像データおよび動画像データをビットマップデータへ変換し、ディスプレイ46の画面上に所望の画像表示がなされるようなグラフィックス処理を行う。すなわち、可動範囲画像表示、全体画像表示、指定画像表示、ボタン等のGUI表示がディスプレイ46の画面上でなされる。表示の詳細については、後述する。
【0041】
また、グラフィックコントローラ45は、画像処理を行い、画像変化を検出する。画像変化は、リファレンス画像に対して生じた変化である。例えばビューモードにおいて、以前に蓄積されたリファレンス画像との比較がなされ、画像変化が検出される。リファレンス画像として、前日の所定時刻の画像を設定し、それ以降に蓄積された画像とリファレンス画像との画素の差分を検出し、画素の差分の絶対値が所定値以上の場合を変化が生じたものとして検出する。差分の検出としては、比較しようとする画像とリファレンス画像との空間的同一位置のフレーム毎に同一位置の画素の差分値を演算する方法が使用できる。全画素に関する差分を検出するのに代えて、代表画素または間引かれた画素に関して差分を演算しても良い。また、所定の色を限定することによって、所定の色の物体に着目した変化検出を行うことも可能である。
【0042】
変化が検出されると、ディスプレイ46上の表示でアラーム例えば変化が検出されたフレームを他のフレームと区別できる表示がなされる。具体的には、輝度変化、色変化、ブリンク等の方法でアラームを表示できる。リファレンス画像は、蓄積されている画像の中で、所定のものを任意に選択することが可能とされている。
【0043】
上述したように、コントローラバス21に接続されたコントローラCPU22は、カメラ部のレンズ制御(例えば、フォーカス等)、露出制御(例えば、絞り、ゲイン、電子シャッタースピード等)、白バランス制御、画質制御等を行うと共に、パン部36aおよび36bおよびチルト部37aおよび37bを制御する。
【0044】
I/Oポート23に対しては、キーボード24およびマウス25が接続され、また、I/Oポート23に対しては、メモリカード26および時計27が接続されている。メモリカード26に対して、メインメモリ42aおよび42bに蓄積されている位置情報およびメタデータが付加されたJPEGデータおよびMPEGデータを書き込むことができる。また、時計27から時刻データが得られる。
【0045】
なお、メインメモリ42aおよび42bは、ハードディスクなどから構成され、カメラユニット3aおよび3bで撮像され、メタデータおよび位置情報が付加されたJPEGデータおよびMPEGデータが蓄積される。
【0046】
なお、図2および図3では、コントローラバス21に対して各構成要素が接続されているが、カメラユニットとコンピュータとを離れた場所に設置し、両者をIEEE1394、USB等のプロトコルで接続するようにしても良い。この場合、物理的伝送路としては、光ファイバが使用される。光ファイバを使用すれば、数百メートルから数キロメートル程度カメラユニットと制御用のコンピュータとを離して配置できる。さらに、両者を無線LANで接続しても良い。
【0047】
図4に、この発明の一実施形態によるGUIの画面例を示す。以下、この図4を参照しながら、この発明の一実施形態によるGUIの画面に備えられた表示部、操作ボタンおよび表示領域などについて説明する。1画面には、可動範囲画像表示部101、全体画像表示部102および指定画像表示部103が配置されている。
【0048】
可動範囲画像表示部101には、可動範囲画像が表示される。可動範囲画像とは、カメラユニットが撮影可能な最大範囲を示す画像であり、複数枚のフレームにより構成される。そのためこの一実施形態では、図に示すようにパノラマ状の画像となる。上述したように、パン角の最大値が±90°とされ、チルト角の最大値が±45°とされており、この最大可動範囲で撮影された複数枚のフレームから可動範囲画像が生成される。なお、この可動範囲画像表示部101には、構成される複数のフレームに付加されている位置情報が組み込まれている。
【0049】
そして、後述するMRP(Movable Range Picture)表示ボタン130がクリックされた時、またはカメラユニットを設置し、撮影開始時において、カメラ部を最大可動範囲にわたって動かし、その結果得られる複数枚のフレームで構成される画像に関して縦方向および横方向に画素を間引いたサムネイルが可動範囲画像として使用される。また、所定の時間間隔で可動範囲画像を構成する全フレームを撮影し、蓄積および/または表示するようにしても良い。
【0050】
この可動範囲画像表示部101には、全体画像表示部102に表示されている範囲を認識するための全体画像表示枠101a(第2の照準線)が示される。この全体画像表示枠101aをマウス25で動かすことによって、可動範囲画像内の所望の範囲を指示することができ、指示された範囲を撮像するようにカメラ部を制御することができる。すなわち、指示された範囲において、(M×N)枚のフレーム(静止画像)が撮影され、蓄積および/または表示される。
【0051】
なお、この全体画像表示枠101aは一例であり、様々な形状で全体画像表示部102に表示されている範囲を可動範囲画像表示部101に示すようにしても良い。具体的には、図5Aに示すように、全体画像表示部102に表示されている範囲の4辺を示すようにしても良いし、図5Bに示すように、全体画像表示部102に表示されている範囲の4隅を示すようにしても良いし、図5Cに示すように、全体画像表示部102に表示されている範囲の4隅および中央を示すようにしても良い。
【0052】
また、この全体画像表示枠101aの大きさは、一例として可動範囲画像表示部101に表示されるフレームの(8×16)枚の大きさであり、後述するREC MODE選択メニュー118で選択される記録モードの画像サイズに合わせた大きさである。従って、後述するように(4×8)枚のフレームの大きさであっても良いし、(2×4)枚のフレームの大きさであっても良い。また、1つのフレームの大きさは、レンズ部31aの倍率による。
【0053】
この全体画像表示枠101aを移動させる場合、一例として全体画像表示枠101aの中央となるフレームをマウス25で選択した後、選択したフレームが中央となるように全体画像表示枠101aを表示する。また、マウス25の移動に連動して全体画像表示枠101aを移動するようにしても良いし、全体画像表示枠101aの例えば左上となるフレーム、または対角となる左上と右下の2つのフレームをマウス25で選択するようにしても良い。このように、その位置を移動した全体画像表示枠101aに対応した範囲を撮影するためにカメラユニット3aが制御され、カメラユニット3aの光軸が向けられる。
【0054】
また、全体画像表示部102には、全体画像表示枠101aで選択されているパノラマ状の全体画像が表示される。全体画像は、撮影された原画像に対応するJPEGデータを画像圧縮部32によって圧縮した画像である。表示されている全体画像を見ることで、モニタリングを行うことができる。さらに、前述したように、画像変化が検出されると、全体画像表示部102に表示されている全体画像中で変化が検出されたフレームが他のフレームと異なる表示とされるアラームが発生する。
【0055】
そして、所定の時間間隔で全体画像表示枠101aで選択された範囲の画像を撮影するために、カメラ部を動かし、その結果得られる複数枚のフレームで構成される画像に関して縦方向および横方向に画素を間引いたサムネイルが全体画像として使用される。なお、撮影された画像は、全て蓄積するようにしても良い。
【0056】
この全体画像表示部102には、指定画像表示部103に表示されている範囲を認識するための指定画像表示枠102a(第1の照準線)が示される。なお、この指定画像表示枠102aは一例であり、上述の全体画像表示枠101aと同様図5に示す様々な形状で全体画像表示部102に表示されている範囲を指定画像表示部103に示すようにしても良い。
【0057】
この指定画像表示枠102aは、所定の大きさの指定画像表示枠102aとしても良いし、マウス25によって任意の大きさに設定される指定画像表示枠102aとしても良い。また、指定画像表示枠102aを移動させる場合、一例としてマウス25の移動に連動して指定画像表示枠102aを移動するようにしても良いし、指定画像表示枠102aの例えば対角となる左上と右下の2つの点をマウス25で選択するようにして、指定画像表示枠102aの大きさを再度設定するようにしても良い。このように、異なる位置に移動した指定画像表示枠102aに対応した範囲を撮影するようにカメラユニット3bが制御され、カメラユニット3bの光軸が向けられる。
【0058】
指定画像表示部103には、指定画像表示枠102aで選択されている指定画像が表示される。この表示された指定画像は、カメラユニット3bによって撮影された画像である。選択された指定画像の画角となるようにカメラユニット3bが制御され、動画像が撮影され、指定画像表示部103に表示される。
【0059】
EXITボタン104は、モニタリングシステムの電源をオフするためのボタンである。Camera system OFFボタン105は、カメラユニットの電源をオフするためのボタンである。
【0060】
VIEW MODEボタン106は、モニタリングシステムのモードをビューモードに切り換えるためのボタンである。ビューモードとは、メインメモリ42a、42bまたは他のサーバに蓄積された画像データに基づき、全体画像および部分画像を表示するモードである。
【0061】
LIVE MODEボタン107は、モニタリングシステムのモードをライブモードに切り換えるためのボタンである。ライブモードとは、カメラユニットが現在撮影しているフレームに基づき、全体画像および指定画像を表示するモードである。
【0062】
Compas表示領域108は、カメラユニット3aまたは3bのレンズの光軸が向いている方位を示すコンパスを表示するための領域である。GPS Data表示領域109は、カメラユニット3aおよび/または3bが設置されている場所の緯度、軽度および高度と、撮影の日時とを表示すための領域である。なお、この領域108および109に表示されるデータは、カメラユニット3aおよび3bに備えられたGPS40aおよび40bにおいて測定されたデータである。
【0063】
View offsetボタン110は、全体画像表示部102において選択されたフレームの位置を調整するためのボタンである。View offsetボタン110は、それぞれ全体画像表示部102に表示されている全体画像中でポインタにより選択された1枚のフレームを、上方向、下方向、左方向、右方向に移動させるためのものである。全体画像を構成する複数枚のフレームは、隣り合うフレームと所定画素数、例えば上下、左右で16画素重複して表示されている。この重複部分の範囲内でフレームを移動させることによって、隣り合うフレームとの整合性を取ることができ、表示状態をなめらかなものとできる。
【0064】
モード表示領域129は、モード情報、アラーム情報およびエラー情報などを表示するための領域である。モード情報は、ユーザにモニタリングシステムのモードを知らせるための情報であり、具体的には、ライブモードおよびビューモードなどの情報である。アラーム情報は、ユーザに警告を促すための情報であり、例えば、上述したView offsetボタン110によりフレームを移動できる限界に達した時に表示される。エラー情報は、ユーザにモニタリングシステムにおいて発生しているエラーを知らせるための情報である。
【0065】
Camera Contorol部111は、ZOOMボタン112、FOCUSボタン113、IRISボタン114、Camera Configurationボタン115およびWhite Balanceボタン116を備える。ZOOMボタン112は、カメラユニットのズームを調整するためのボタンである。FOCUSボタン113は、カメラユニットのフォーカスを調整するためのボタンである。IRISボタン114は、カメラユニットのアイリス調整をするためのボタンである。Camera Configurationボタン115は、カメラユニットのγ特性、シャッタースピード、ゲイン特性などの調整をするためのボタンである。White Balanceボタン116は、カメラユニットの白バランスを調整するためのボタンである。なお、カメラシステムがビューモードにある場合には、Camera
Contorol部111の表示が省略されるようにしてもかまわない。
【0066】
SELECTボタン117は、ビューモードにおいて、セレクト画面を表示するためのボタンである。セレクト画面は、全体画像表示部102において再生および記録を所望する領域を、全体画像を構成するフレームにより特定するための画像である。
【0067】
図6に、セレクト画面の一例を示す。図6に示すように、セレクト画面は、閉じるボタン151、画面表示部152、および閉じるボタン153から構成される。閉じるボタン151および153は、このセレクト画面を閉じるときにクリックされるボタンである。画面表示部152では、全体画像に対してフレームの区切りを示す格子状の表示が重畳して示される。画面表示部152において、例えば、所望の位置にあるフレームをポインタにより指示すると、そのフレームが選択されると共に、選択されたことを表示するために、指示されたフレームの明るさ、解像度、コントラストなどが変化する。
【0068】
REC MODE選択メニュー118は、記録モードを選択するためのプルダウンメニューである。このプルダウンメニューには、記録する画像サイズと記録方法(RUNまたはSINGLE)とを組み合わせた記録モードが表示される。画像サイズは、(8×16)枚のフレームから構成される全体画像と、全体画像の内の選択された(4×8)枚のフレームから構成される部分画像と、全体画像の内の選択された(2×4)枚のフレームから構成される部分画像との何れかが可能とされている。部分画像は、セレクト画面から選択された位置のものである。記録方法のRUNは、所定周期(例えば5秒周期)で発生する撮影画像を記録する方法であり、そのSINGLEは、1回のみ記録する方法である。記録モードとしては、これらを組み合わせたものが選択可能とされている。
【0069】
Stage Config(Stage Configuration)ボタン119は、ステージを動かす精度などを微調整するためのボタンである。メッセージ領域120は、コントロール用のコンピュータとカメラユニットとの接続状況およびカメラユニットのステージのコントロール状況を表示するための領域である。コントロール用のコンピュータとカメラユニットとが接続されている場合には、この図4中に示すように、メッセージ領域120に“IMAGE SERVER CONNECT”が表示される。また、カメラユニットのステージがコントロール可能な状況にある場合には、メッセージ領域120に“STAGE CONTROL ACTIVE”が表示される。
【0070】
RECボタン121は、画像の記録を開始するためのボタンであり、このボタンを押圧すると、REC MODE選択メニュー118で選択されている記録モードに応じた記録が開始される。具体的には、RUN(8×16)、RUN(4×8)、RUN(2×4)、SELECT SINGLE RUN(8×16)、SELECT SINGLE RUN(4×8)、SELECT SINGLE RUN(2×4)などのモードから選択されたモードに応じた記録が開始される。
【0071】
PLAYボタン122は、サーバ(メインメモリ40aおよび/または40b)に蓄積された画像データを再生するためボタンである。具体的には、このPLAYボタン122を押圧すると、蓄積データ表示画面が表示される。この蓄積データ表示画面には、蓄積されている画像データを識別するための情報が表示される。この情報は、後述するディレクションファイルに記述されている情報に基づいたものである。
【0072】
図7に、記録データ表示画面の一例を示す。図7に示すように、この記録データ表示画面には、最小化ボタン161、最大化ボタン162、閉じるボタン163、日付指定欄164、時間指定欄165、蓄積データ表示欄166、最新蓄積データ表示欄167、OKボタン168、キャンセルボタン169、および蓄積部変更チェックボタン170が表示される。
【0073】
最小化ボタン161は、この蓄積データ表示画面を最小化するとき、例えばアイコンにするときにクリックされるボタンである。最大化ボタン162は、この蓄積データ表示画面を最大化させて、モニタの表示範囲の全てを使用して表示するときにクリックされるボタンである。閉じるボタン163は、この蓄積データ表示画面を閉じるときにクリックされるボタンである。
【0074】
日付指定欄164では、全体画像表示部102に表示させたい蓄積データの日付が指定される。例えば、日付指定欄164の右端に設けられたボタン164aをクリックすることによって、表示可能な蓄積データの日付がプルダウンメニュー形式で表示され、表示された日付の中から選択するようにしても良い。
【0075】
時間指定欄165では、全体画像表示部102に表示させたい蓄積データの時間が指定される。例えば、時間指定欄165の右端に設けられたボタン165aをクリックすることによって、表示可能な蓄積データの時間がプルダウンメニュー形式で表示され、表示された時間の中から選択するようにしても良い。
【0076】
蓄積データ表示欄166には、蓄積部の中から日付指定欄164および時間指定欄165において指定された日時の蓄積データが表示される。最新蓄積データ表示欄167には、蓄積部に蓄積されている蓄積データの中から最新の蓄積データが表示される。また、日付指定欄164および時間指定欄165において指定された日時の中の蓄積データの中から最新となる蓄積データを表示するようにしても良い。
【0077】
OKボタン168は、所望の蓄積データが指定されたときにクリックされるボタンである。キャンセルボタン169は、この蓄積データ表示画面を閉じるときにクリックするボタンである。蓄積部変更チェックボタン170は、蓄積データの読み込み先を蓄積部から、例えば着脱自在の半導体メモリに変更するときにチェックを入力するチェックボタンである。
【0078】
図4に戻って説明すると、STOPボタン123は、記録または再生動作を停止するためのボタンである。なお、STOPボタン123は、RECボタン121あるいはPLAYボタン122の押圧により表示されるようにしても良い。
【0079】
Set Camera Center POS(Set Camera Center POSITION)ボタン125は、現在カメラ部が向いている方向を(8×16)の画像のセンターとして指定するためのボタンである。
【0080】
HOMEボタン124は、カメラユニットを制御し、カメラユニットのレンズの光軸をホームポジションに向けるためのボタンである。ホームポジションは、カメラ部が一番左側の位置を向いている位置である。LIVE/VIEW POSITIONボタン126は、カメラ部をパンあるいはチルトするためのボタンである。
【0081】
ZOOMボタン127aおよび127bは、指定画像表示部103に表示された指定画像の拡大、縮小を行うためのボタンである。MAX VIEWボタン128は、指定画像を別画面例えば全体画像表示部102により拡大表示するためのボタンである。
【0082】
MRP表示ボタン130は、可動範囲画像表示部101に表示される複数枚のフレームを撮影し、蓄積および/または表示するときにクリックされるボタンである。すなわち、このMRP表示ボタン130がクリックされると、カメラユニットが撮影可能な全ての範囲をフレーム単位で撮影し、撮影された各フレームが持っているカメラ部の位置情報に基づいて全フレームを集合させて、可動範囲画像として可動範囲画像表示部101に表示させる。
【0083】
ここで、図8を用いて、この発明の一実施形態による可動範囲画像表示部101について説明する。この可動範囲画像表示部101に表示される可動範囲画像は、上述したようにMRP表示ボタン130をクリックした時、またはカメラユニットを設置し、撮影開始時において、カメラ部を最大可動範囲にわたって動かし、フレーム単位で撮影される。その撮影の結果得られる複数枚のフレームで構成される画像に関して縦方向および横方向に画素を間引いたサムネイルをカメラ部の位置情報を基に集合させ、図8に示すように1つの画像(可動範囲画像)として表示される。
【0084】
このとき、それぞれのフレームに付加されるカメラ部の位置情報と、可動範囲画像表示部101内の座標とが予め関連付けられているので、可動範囲の全てのフレームをカメラ部の位置情報に基づいて、関連付けられている座標へ配置させ、集合させることによって可動範囲画像を生成することができる。この図8の一例では、パン方向に180°、チルト方向に90°の広範囲からなる可動範囲画像が生成され、可動範囲画像表示部101に表示される。
【0085】
この可動範囲画像表示部101上の各フレームは、パン部36a、チルト部37aからカメラ部の可動範囲上における位置を示す仰角データと、GPS40aで測位された位置情報およびメタデータとを備える。すなわち、位置情報を持つ可動範囲画像をGUIとして、マウス25を使用して任意の範囲を全体画像表示枠101aにて選択すると、選択された全体画像表示枠101aの位置情報に基づいて、選択された範囲のカメラ部の位置情報を得ることができる。
【0086】
このように、可動範囲画像表示部101に表示される複数枚のフレームを集合させた可動範囲画像をGUIとすることによって詳細な位置選択が可能となる。
【0087】
この一実施形態では、可動範囲画像に集合した複数枚のフレームのそれぞれにカメラ部の位置情報およびメタデータが付加されているとしたが、カメラ部の位置情報と可動範囲画像表示部101内の座標とは予め関連付けられているので、可動範囲画像表示部101の座標からカメラ部の位置情報を求めるようにしても良い。
【0088】
この一実施形態では、撮影されたそれぞれのフレームに付加されるカメラ部の位置情報が予め可動範囲画像表示部101内の座標と関連付けられているとされているが、座標ではなく、フレームに付加されるカメラ部の位置情報が可動範囲画像表示部101内の画素位置と関連付けられていても同様の効果を得ることができる。
【0089】
この一実施形態では、マウス25を利用して任意の範囲を全体画像表示枠101aにて選択し、選択された範囲のカメラ部の位置情報を得るようにしているが、選択された全体画像表示枠101aのセンタのGUI上の位置情報から全体画像表示枠101a全体の位置情報を得るようにしても良い。
【0090】
この発明による可動範囲画像表示部101および全体画像表示枠101aの一実施形態の動作を説明する。ディスプレイ46上に表示されているMRP表示ボタン130がマウス25でクリックされる。コントローラCPU33は、MRP表示ボタン130がクリックされると、パン部36aおよびチルト部37aを制御し、可動範囲全体を撮影するように、フレーム毎にカメラ部を移動させる。
【0091】
そして、撮像部24はそれぞれ決められたフレーム位置で撮影され、撮影された画像はバッファメモリ26に一時保存され、JPEGエンコーダ/メタデータ付加部27でJPEG形式に画像圧縮が施される。このときGPS40aから位置情報およびメタデータと、パン部36aおよびチルト部37aの位置を示す仰角データとが、それぞれのフレームに付加される。これらのデータが付加されたフレームは、メインメモリ42aに保存される。
【0092】
メインメモリ42aに保存されたフレームは、JPEGデコーダ43aにおいて復号され、復号された画像データは、画像圧縮部44aにおいて可動範囲画像に適したサイズに画素が間引かれたサムネイルに圧縮される。この圧縮された画像は、グラフィックコントローラ45を介して、ディスプレイ46上の可動範囲画像表示部101の所定の位置に表示される。
【0093】
マウス25を可動範囲画像表示部101上に移動させることによって全体画像表示枠101aの位置が移動する。そして、マウス25でクリックされた位置のフレームに付加されている位置情報、メタデータおよび仰角データが読み出される。
【0094】
読み出された位置情報および仰角データに合致する全体画像の範囲のフレームがメインメモリ42aから読み出される。読み出されたフレームは、JPEGデコーダ43aにおいて復号され、画像圧縮部44aにおいて全体画像に適したサイズに画素が間引かれたサムネイルに圧縮される。この圧縮された画像は、グラフィックコントローラ45を介して、ディスプレイ46上の全体画像表示部102の所定の位置に表示される。これと同時に読み出されたフレームの位置情報および仰角データに基づいてパン部36a、チルト部37aが駆動され、カメラ部の方向が制御され、撮影される。
【0095】
次に、全体画像表示部102に表示される全体画像について説明する。全体画像表示部102には、上述したように全体画像表示枠101aで囲まれた範囲の画像がメインメモリ42aから読み出され、読み出された画像に対して縦方向および横方向に画素を間引いたサムネイルを集合させ、全体画像として表示させる。
【0096】
この全体画像表示部102は、上述の可動範囲画像表示部101と同様に、複数枚のフレームで構成される。それら複数枚のフレームには、それぞれに付加されているパン部36a、チルト部37aからカメラ部の可動範囲上における位置を示す仰角データと、GPS40aで測位された位置情報およびメタデータとが全体画像表示部102内の座標と関連付けられている。
【0097】
この位置情報を持つ全体画像表示部102をGUIとして、マウス25で指定画像が選択される。例えば、マウス25で指定画像の中心となる位置をクリック(ポインティング)することによって、所定の大きさの指定画像表示枠102aが全体画像表示部102に重畳される。そして、クリックされた場所が全体画像上のどのフレームにあたるかが算出され、さらにクリックされた場所のフレーム内の位置が算出される。この算出された位置情報がフレームが持つ位置情報と仰角データに変換される。
【0098】
このように、全体画像をGUIとしてその画像上の任意のポイントを選択することで、その選択されたポイントを中心とした画像を撮影する、または選択されたポイントを含む画像を撮影するための位置情報と仰角データとを算出することが可能となる。例えば、ポイントを選択することによって重畳される所定の大きさの指定画像表示枠102aで囲まれた画像を撮影するための位置情報と仰角データとを算出することが可能となる。その算出された位置情報と仰角データに従い、カメラユニット3bのパン部36bおよびチルト部37bが駆動され、全体画像上で選択された範囲にカメラの画角を瞬時に合わせることができる。
【0099】
このように、撮影済みの画像は、位置情報および仰角データを備えているので、カメラのコントロール用のGUIとして用いることが可能となる。なお、全体画像および可動範囲画像に表示している複数のフレームは、カメラユニット3aで撮影されたものであり、位置情報および仰角データもパン部36a、チルト部37a、GPS40aから得られるものが全体画像および可動範囲画像に関連付けられている。すなわち、この一実施形態では、カメラユニット3aから得られた位置情報および仰角データがカメラユニット3bの制御に用いられている。
【0100】
カメラユニット3aおよび3bの取り付け位置は、予め決まっているので、全体画像から得られた位置情報および仰角データを基に、カメラユニット3aおよび3bの取り付け位置の差を考慮して、微調整された位置情報および仰角データでカメラユニット3bは制御される。ただし、監視用に用いられるカメラユニット3aおよび3bの取り付け位置の差に対し、十分に離れた場所を撮影するので、取り付け位置の差によるカメラユニット3aおよび3bの光軸の角度の差は、殆ど問題とならない。
【0101】
この一実施形態では、全体画像に集合した複数枚のフレームのそれぞれにカメラ部の位置情報およびメタデータが付加されているとしたが、全体画像表示部102内の座標にカメラ部の位置情報を関連付け、全体画像表示部102の座標からカメラ部の位置情報を求めるようにしても良い。
【0102】
この一実施形態では、撮影されたそれぞれのフレームに付加されるカメラ部の位置情報が全体画像表示部102内の座標と関連付けられているとされているが、座標ではなく、フレームに付加されるカメラ部の位置情報が全体画像表示部102内の画素位置と関連付けられていても同様の効果を得ることができる。
【0103】
次に、図9を用いて、この発明の一実施形態によるカメラユニット3aおよび3bの動作の一例について説明する。なお、この図9中では、カメラユニット3aおよび3bをカメラユニット3と称し、パンチルタ部4aおよび4bをパンチルタ部4と称し、カメラ部5aおよび5bをカメラ部5と称する。
【0104】
図9に示すように、カメラユニット3は、パンチルタ部4の雲台にカメラ部5が設置され、ホームポジションから撮像方向が可変される。図9において、撮影された(M×N)枚のフレームをカメラ部側から見て、各行に対して上から順に1、2、・・・、Mの番号を付し、各列に対して左から順に1、2、・・・、Nの番号を付す。ホームポジションが例えば(1,1)の座標のフレームを撮影する位置とされる。
【0105】
(1,1)の座標位置のフレームを撮影すると、カメラユニット3が下側にチルトされ、(2,1)の座標位置のフレームが撮影され、以下、順に(3,1)・・・・、(M,1)の座標位置のフレームが撮影され、次に第2列の一番上の座標位置(1,2)のフレームが撮影される。以下、各フレームを(M,N)の座標位置のフレームまで撮影する。上述したように、各フレームが他のフレームと16画素分の重複部分を有する。撮影された各フレームがJPEGまたはMPEGによる圧縮され、メインメモリ42aまたは42bへの蓄積等の処理を受ける。
【0106】
上述したように、各フレームが例えばXGA(1024×768画素)画像の場合では、128枚のフレームからなる画像は、重複部分を無視すると、(横方向が1024×16=16,384画素で、縦方向が768×8=6,144画素)の約1億画素の画像である。上述した全体画像表示部102には、この画像から形成された圧縮画像またはサムネイル画像が表示され、指定画像表示部103には、カメラユニット3bで撮影される動画像(フレーム)が表示される。
【0107】
図10に、75倍の望遠レンズがカメラユニットに備えられている場合に、1フレームで撮影できる範囲を示す。カメラユニットから100m離れた距離にある被写体を撮影する場合には、1フレームで、縦8.7m×横1.17mの範囲を撮影することができる。例えば、カメラ部の撮像素子として、XGA画像を用いた場合には、被写体の縦0.87cm×横1.17cmの範囲を約1画素で表することができる。
【0108】
カメラユニットから200m離れた距離にある被写体を撮影する場合には、1フレームで、縦1.74m×横2.34mの範囲を撮影することができる。例えば、カメラ部の撮像素子として、XGA画像を用いた場合には、被写体の縦1.74cm×横2.34cmの範囲を1画素で表すことができる。
【0109】
カメラユニットから500m離れた距離にある被写体を撮影する場合には、1フレームで、縦4.36m×横5.84mの範囲を撮影することができる。例えば、カメラ部の撮像素子として、XGA画像を用いた場合には、被写体の縦4.36cm×横5.84cmの範囲を1画素で表すことができる。
【0110】
図11を参照して取得した画像データをアーカイブ10、メインメモリ42a、42b等に保存する場合のデータ管理方法を説明する。上述したように、所定時間間隔で、(M×N)枚のフレームの画像が撮影され、圧縮されて蓄積される。図11Aに示すように、M行N列によって各フレームの位置が規定される。例えば(1,1)の位置アドレスは、右端の最も上のフレームを特定する。各フレームは、この位置アドレスと記録時の時間情報とをファイル名として有する。時間情報は、年月日時分秒で構成される。したがって、各フレームのファイル名は、(年月日時分秒、位置アドレス)である。
【0111】
さらに、図11Bに示すように、(M×N)枚のフレームで全体的な1枚の画像が形成されることに対応して、ディレクションファイルが規定されている。ディレクションファイルは、(1,1)の位置アドレスを有するフレームのファイル名(すなわち、年月日時分秒、位置アドレス)と同一のデータを持つことで、当該(M×N)枚のフレームの集合を定義する。さらに、このフレームの集合に対する位置情報およびメタデータをディレクションファイルが有する。位置情報およびメタデータは、メタデータ生成部29で生成されたものである。すなわち、緯度・経度、方位、高度等の位置情報と、カメラ部のパラメータ(倍率、フォーカス値、アイリス値等)等のメタデータ情報とをディレクションファイルが有する。
【0112】
この発明は、上述したこの発明の一実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば上述した一実施形態は、指定画像を1枚とした例であるが、複数枚の指定画像を表示することができるようにしても良い。その場合、カメラユニット3bは、複数枚の指定画像を順番に撮影し、蓄積および/または表示するようにしても良い。
【0113】
この一実施形態では、可動範囲画像表示部101上で全体画像表示枠101aを移動させて、所望の範囲が選択されると、選択された範囲の複数枚のフレームを撮影し、全体画像表示部102に表示するようにしているが、全体画像表示枠101aを移動させているときにも、既に記録されているフレームをメインメモリ42aから読み出し、全体画像表示部102に表示するようにしても良い。
【0114】
この一実施形態では、カメラユニット3aおよび3bで撮影された画像データおよび動画像データは、同じディスプレイ46に表示されるようになされているが、カメラユニット3bで撮影される動画像データを専用のディスプレイに表示するようにしても良い。
【0115】
【発明の効果】
この発明に依れば、広範囲にわたる可動範囲を有するカメラ用のパンチルタ装置において、その可動範囲内でどのような画像を取り込むことができるのかを簡単にユーザに情報として表示することが可能であり、且つその表示を用いてカメラコントロールを簡便に行うことができる。
【0116】
この発明に依れば、広範囲にわたる地域を監視する必要がある場合でも、簡単にカメラの方向を合わせることができ、必要な画像を失敗することなく取り込むことができる。
【0117】
この発明に依れば、広範囲な画像を表示するために、カメラ部を順次移動させて画像を取り込んでいくため、時間方向に間欠的な画像を撮影するカメラユニットと、集中的に且つ継続的に監視するために指定された範囲のみを撮影するカメラユニットとを備えているので、集中的に且つ継続的に監視したい範囲の情報を欠落することを補うことができる。さらに、監視したい範囲を指定するために、表示されている広範囲な画像をGUIとして使用することができるので、確実に且つ瞬時に、指定された範囲のみを撮影するカメラユニットの位置合わせを行うことができる。
【0118】
この発明に依れば、空間方向の撮影可能範囲の拡大を図ることができ、時間方向の撮影間隔を密にすることができ、さらに解像度の向上を図ることができる。特に、指定された領域を動画像データとして撮影し、記録および/または表示することができる。
【図面の簡単な説明】
【図1】この発明の一実施形態のモニタリングシステムを概略的に示すブロック図である。
【図2】この発明の一実施形態のブロック図である。
【図3】この発明の一実施形態のブロック図である。
【図4】この発明の一実施形態における画面表示の一例を説明するための略線図である。
【図5】この発明の一実施形態における全体画像表示枠の一例を説明するための略線図である。
【図6】この発明の一実施形態におけるセレクト画面の一例を説明するための略線図である。
【図7】この発明の一実施形態における再生時の蓄積データ表示画面の一例を説明するための略線図である。
【図8】この発明の一実施形態における可動範囲画像表示部の一例を説明するための略線図である。
【図9】この発明の一実施形態における撮影動作および画像取得動作を説明するための略線図である。
【図10】この発明の一実施形態における被写体までの距離と撮影範囲および解像度を説明するための略線図である。
【図11】撮影された画像の管理方法を説明するための略線図である。
【符号の説明】
1・・・コンピュータ、2、46・・・ディスプレイ、3a、3b・・・カメラユニット、4a、4b・・・パンチルタ部、5a、5b・・・カメラ部、21・・・コントローラバス、22・・・コントローラCPU、23・・・I/O、24・・・キーボード、25・・・マウス、26・・・メモリカード、27・・・時計、31a、31b・・・レンズ部、32a、32b・・・フォーカス・ズーム・アイリス制御部、33a、33b・・・トラッキング部、34a、34b・・・撮像部、35a、35b・・・IEEE1394インタフェース、36a、36b・・・パン部、37a、37b・・・チルト部、38a、38b・・・バッファメモリ、39a・・・JPEGエンコーダ/メタデータ付加部、39b・・・MPEGエンコーダ、40a、40b・・・GPS、41a、41b・・・メタデータ生成部、42a、42b・・・メインメモリ、43a・・・JPEGデコーダ、43b・・・MPEGデコーダ、44a、44b・・・画像圧縮部、45・・・グラフィ区コントローラ

Claims (16)

  1. 所定の場所を監視するモニタリングシステムにおいて、
    撮像方向が可変可能な第1のカメラユニットで撮影された異なる位置の画像データ毎に位置情報を付加して蓄積部に蓄積し、上記撮影された画像データを圧縮した圧縮画像または上記蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示し、上記撮影された画像データのそれぞれの位置情報が組み込まれた第1の画像表示部と、
    上記第1の画像表示部に所定の範囲を指示するための第1の指示表示を重畳し、所定の範囲を上記第1の指示表示で選択すると、撮像方向が可変可能な第2のカメラユニットで上記選択された所定の範囲の動画像データを撮影し、上記撮影された動画像データを表示する第2の画像表示部と
    を有することを特徴とするモニタリングシステム。
  2. 所定の場所を監視するモニタリングシステムにおいて、
    映像を撮影する撮像部と、
    上記撮像部の撮像方向を可変する撮像方向可変部と、
    上記撮像方向可変部の最大可動範囲内において、上記撮像部で撮像された画像データの位置情報を検出する位置情報検出手段と、
    上記検出された位置情報を上記画像データに付加し、蓄積する蓄積部とから構成される第1および第2のカメラユニットと、
    上記第1のカメラユニットで撮影された上記画像データを圧縮した圧縮画像または上記蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示し、上記撮影された画像データのそれぞれの位置情報が組み込まれた第1の画像表示部とを有し、
    上記第1の画像表示部に所定の範囲を指示するための第1の指示表示を重畳し、所定の範囲を上記第1の指示表示で選択すると、撮像方向が可変可能な第2のカメラユニットで上記選択された所定の範囲の動画像データを撮影し、上記撮影された動画像データを第2の画像表示部に表示するようにしたことを特徴とするモニタリングシステム。
  3. 上記第1および第2の画像表示部は、表示手段のそれぞれ異なる領域に表示するようにしたことを特徴とする請求項1または2に記載のモニタリングシステム。
  4. さらに、上記第1のカメラユニットの最大可動範囲の全ての撮像方向で撮影された異なる位置の画像データ毎に位置情報を付加して蓄積部に蓄積し、上記撮影された画像データを圧縮した圧縮画像または上記蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示し、上記撮影された画像データのそれぞれの位置情報が組み込まれた第3の画像表示部を有し、
    上記第3の画像表示部に重畳された第2の指示表示で示す範囲の画像を上記第1の画像表示部で表示するようにしたことを特徴とする請求項1または2に記載のモニタリングシステム。
  5. 上記第1または第2の指示表示で選択している間、および上記所定の範囲を上記第1または第2の指示表示で選択し、上記選択された所定の範囲の撮影が開始されるまでの間、上記第1または第2の指示表示で選択された上記所定の範囲の画像データを上記蓄積部から読み出して上記第2または第1の画像表示部に表示するようにしたことを特徴とする請求項4に記載のモニタリングシステム。
  6. 上記第1または第2の指示表示は、上記第1または第3の画像表示部の任意の点が選択されたときに、上記選択された任意の点に応じて上記第1または第3の画像表示部に重畳されるようにしたことを特徴とする請求項4に記載のモニタリングシステム。
  7. 所定の場所を監視するモニタリング方法において、
    撮像方向が可変可能な第1のカメラユニットで撮影された異なる位置の画像データ毎に位置情報を付加して蓄積部に蓄積し、上記撮影された画像データを圧縮した圧縮画像または上記蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示する第1の画像表示部に、上記撮影された画像データのそれぞれの位置情報が組み込まれ、
    上記第1の画像表示部に所定の範囲を指示するための第1の指示表示を重畳し、所定の範囲を上記第1の指示表示で選択すると、撮像方向が可変可能な第2のカメラユニットで上記選択された所定の範囲の動画像データを撮影し、上記撮影された動画像データを第2の画像表示部に表示する
    ようにしたことを特徴とするモニタリング方法。
  8. 所定の場所を監視するモニタリング方法において、
    映像を撮影する撮像部と、上記撮像部の撮像方向を可変する撮像方向可変部と、上記撮像方向可変部の最大可動範囲内において、上記撮像部で撮像された画像データの位置情報を検出する位置情報検出手段と、上記検出された位置情報を上記画像データに付加し、蓄積する蓄積部とから構成される第1および第2のカメラユニットを使用し、
    上記第1のカメラユニットで撮影された上記画像データを圧縮した圧縮画像または上記蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示する第1の画像表示部に、上記撮影された画像データのそれぞれの位置情報が組み込まれ、
    上記第1の画像表示部に所定の範囲を指示するための第1の指示表示を重畳し、所定の範囲を上記第1の指示表示で選択すると、撮像方向が可変可能な第2のカメラユニットで上記選択された所定の範囲の動画像データを撮影し、上記撮影された動画像データを第2の画像表示部に表示するようにしたことを特徴とするモニタリング方法。
  9. 上記第1および第2の画像表示部は、表示手段のそれぞれ異なる領域に表示するようにしたことを特徴とする請求項7または8に記載のモニタリング方法。
  10. さらに、上記第1のカメラユニットの最大可動範囲の全ての撮像方向で撮影された異なる位置の画像データ毎に位置情報を付加して蓄積部に蓄積し、上記撮影された画像データを圧縮した圧縮画像または上記蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示し、上記撮影された画像データのそれぞれの位置情報が組み込まれた第3の画像表示部を有し、
    上記第3の画像表示部に重畳された第2の指示表示で示す範囲の画像を上記第1の画像表示部で表示するようにしたことを特徴とする請求項7または8に記載のモニタリング方法。
  11. 上記第1または第2の指示表示で選択している間、および上記所定の範囲を上記第1または第2の指示表示で選択し、上記選択された所定の範囲の撮影が開始されるまでの間、上記第1または第2の指示表示で選択された上記所定の範囲の画像データを上記蓄積部から読み出して上記第2または第1の画像表示部に表示するようにしたことを特徴とする請求項10に記載のモニタリング方法。
  12. 上記第1または第2の指示表示は、上記第1または第3の画像表示部の任意の点が選択されたときに、上記選択された任意の点に応じて上記第1または第3の画像表示部に重畳されるようにしたことを特徴とする請求項10に記載のモニタリング方法。
  13. 所定の場所を監視するモニタリング方法をコンピュータに実行させるためのプログラムにおいて、
    撮像方向が可変可能な第1のカメラユニットで撮影された異なる位置の画像データ毎に位置情報を付加して蓄積部に蓄積し、上記撮影された画像データを圧縮した圧縮画像または上記蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示する第1の画像表示部に、上記撮影された画像データのそれぞれの位置情報が組み込まれ、
    上記第1の画像表示部に所定の範囲を指示するための指示表示を重畳し、所定の範囲を上記指示表示で選択すると、撮像方向が可変可能な第2のカメラユニットで上記選択された所定の範囲の動画像データを撮影し、上記撮影された動画像データを第2の画像表示部に表示する
    ようにしたことを特徴とするモニタリング方法をコンピュータに実行させるためのプログラム。
  14. 所定の場所を監視するモニタリング方法をコンピュータに実行させるためのプログラムにおいて、
    映像を撮影する撮像部と、上記撮像部の撮像方向を可変する撮像方向可変部と、上記撮像方向可変部の最大可動範囲内において、上記撮像部で撮像された画像データの位置情報を検出する位置情報検出手段と、上記検出された位置情報を上記画像データに付加し、蓄積する蓄積部とから構成される第1および第2のカメラユニットを使用し、
    上記第1のカメラユニットで撮影された上記画像データを圧縮した圧縮画像または上記蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示する第1の画像表示部に、上記撮影された画像データのそれぞれの位置情報が組み込まれ、
    上記第1の画像表示部に所定の範囲を指示するための指示表示を重畳し、所定の範囲を上記指示表示で選択すると、撮像方向が可変可能な第2のカメラユニットで上記選択された所定の範囲の動画像データを撮影し、上記撮影された動画像データを第2の画像表示部に表示するようにしたことを特徴とするモニタリング方法をコンピュータに実行させるためのプログラム。
  15. 所定の場所を監視するモニタリング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
    撮像方向が可変可能な第1のカメラユニットで撮影された異なる位置の画像データ毎に位置情報を付加して蓄積部に蓄積し、上記撮影された画像データを圧縮した圧縮画像または上記蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示する第1の画像表示部に、上記撮影された画像データのそれぞれの位置情報が組み込まれ、
    上記第1の画像表示部に所定の範囲を指示するための指示表示を重畳し、所定の範囲を上記指示表示で選択すると、撮像方向が可変可能な第2のカメラユニットで上記選択された所定の範囲の動画像データを撮影し、上記撮影された動画像データを第2の画像表示部に表示する
    ようにしたことを特徴とするモニタリング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  16. 所定の場所を監視するモニタリング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
    映像を撮影する撮像部と、上記撮像部の撮像方向を可変する撮像方向可変部と、上記撮像方向可変部の最大可動範囲内において、上記撮像部で撮像された画像データの位置情報を検出する位置情報検出手段と、上記検出された位置情報を上記画像データに付加し、蓄積する蓄積部とから構成される第1および第2のカメラユニットを使用し、
    上記第1のカメラユニットで撮影された上記画像データを圧縮した圧縮画像または上記蓄積部に蓄積された画像データを圧縮した圧縮画像を対応する位置情報に基づいた位置に表示する第1の画像表示部に、上記撮影された画像データのそれぞれの位置情報が組み込まれ、
    上記第1の画像表示部に所定の範囲を指示するための指示表示を重畳し、所定の範囲を上記指示表示で選択すると、撮像方向が可変可能な第2のカメラユニットで上記選択された所定の範囲の動画像データを撮影し、上記撮影された動画像データを第2の画像表示部に表示するようにしたことを特徴とするモニタリング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2002248437A 2002-08-28 2002-08-28 モニタリングシステムおよび方法並びにプログラムおよび記録媒体 Expired - Fee Related JP3841033B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002248437A JP3841033B2 (ja) 2002-08-28 2002-08-28 モニタリングシステムおよび方法並びにプログラムおよび記録媒体
US10/649,150 US7697025B2 (en) 2002-08-28 2003-08-27 Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002248437A JP3841033B2 (ja) 2002-08-28 2002-08-28 モニタリングシステムおよび方法並びにプログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2004088558A true JP2004088558A (ja) 2004-03-18
JP3841033B2 JP3841033B2 (ja) 2006-11-01

Family

ID=32055820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002248437A Expired - Fee Related JP3841033B2 (ja) 2002-08-28 2002-08-28 モニタリングシステムおよび方法並びにプログラムおよび記録媒体

Country Status (1)

Country Link
JP (1) JP3841033B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006028247A1 (ja) * 2004-09-10 2006-03-16 Pioneer Corporation 映像撮影システム、映像撮影装置、及び映像撮影方法
JP2008245260A (ja) * 2007-02-19 2008-10-09 Axis Ab カメラ内のハードウェア不整合を補償するための方法
US8624976B2 (en) 2007-04-13 2014-01-07 Axis Ab Supporting continuous pan rotation in a pan-tilt camera
JP2014007468A (ja) * 2012-06-21 2014-01-16 Canon Inc 監視カメラシステム及び監視カメラ
JP2014236313A (ja) * 2013-05-31 2014-12-15 キヤノン株式会社 表示制御装置、表示制御システム、及び、プログラム
CN104994354A (zh) * 2015-07-10 2015-10-21 中国能源建设集团广东省电力设计研究院有限公司 海上风电场安全防护系统及防护方法
CN107592502A (zh) * 2017-09-21 2018-01-16 南昌工程学院 一种太阳能供电的无线传感网络图像监测系统
JP2019125969A (ja) * 2018-01-18 2019-07-25 株式会社東芝 画像伝送システム、監視装置および画像伝送方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006028247A1 (ja) * 2004-09-10 2006-03-16 Pioneer Corporation 映像撮影システム、映像撮影装置、及び映像撮影方法
JP2008245260A (ja) * 2007-02-19 2008-10-09 Axis Ab カメラ内のハードウェア不整合を補償するための方法
US8405731B2 (en) 2007-02-19 2013-03-26 Axis Ab Method for compensating hardware misalignments in a camera
KR101435200B1 (ko) 2007-02-19 2014-09-19 엑시스 에이비 카메라에서 하드웨어 오정렬을 보상하는 방법
US8624976B2 (en) 2007-04-13 2014-01-07 Axis Ab Supporting continuous pan rotation in a pan-tilt camera
JP2014007468A (ja) * 2012-06-21 2014-01-16 Canon Inc 監視カメラシステム及び監視カメラ
JP2014236313A (ja) * 2013-05-31 2014-12-15 キヤノン株式会社 表示制御装置、表示制御システム、及び、プログラム
CN104994354A (zh) * 2015-07-10 2015-10-21 中国能源建设集团广东省电力设计研究院有限公司 海上风电场安全防护系统及防护方法
CN107592502A (zh) * 2017-09-21 2018-01-16 南昌工程学院 一种太阳能供电的无线传感网络图像监测系统
CN107592502B (zh) * 2017-09-21 2020-03-31 南昌工程学院 一种太阳能供电的无线传感网络图像监测系统
JP2019125969A (ja) * 2018-01-18 2019-07-25 株式会社東芝 画像伝送システム、監視装置および画像伝送方法

Also Published As

Publication number Publication date
JP3841033B2 (ja) 2006-11-01

Similar Documents

Publication Publication Date Title
US8462253B2 (en) Monitoring system for a photography unit, monitoring method, computer program, and storage medium
JP3925299B2 (ja) モニタリングシステムおよび方法
US7573492B2 (en) Monitoring system and method, and program and recording medium used therewith
US7697025B2 (en) Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display
EP1696398B1 (en) Information processing system, information processing apparatus and information processing method , program, and recording medium
JP2006333132A (ja) 撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム
JP2006333133A (ja) 撮像装置、撮像方法、プログラム、プログラム記録媒体並びに撮像システム
JP2004266317A (ja) 監視装置
JP2006245648A (ja) 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体
US8436919B2 (en) Photographing method of generating image of traced moving path and photographing apparatus using the photographing method
JP3841033B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP3969172B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP3838149B2 (ja) モニタリングシステムおよび方法、並びにプログラムおよび記録媒体
JP4172352B2 (ja) 撮像装置及び方法、撮像システム、プログラム
JP4225040B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP3991816B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP2004228711A (ja) 監視装置及び方法、プログラム並びに監視システム
JP3838150B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP3838151B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP4127080B2 (ja) 撮像装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060731

R151 Written notification of patent or utility model registration

Ref document number: 3841033

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100818

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110818

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110818

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120818

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120818

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130818

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees