JP3659744B2 - 画像情報記録装置 - Google Patents

画像情報記録装置 Download PDF

Info

Publication number
JP3659744B2
JP3659744B2 JP22151496A JP22151496A JP3659744B2 JP 3659744 B2 JP3659744 B2 JP 3659744B2 JP 22151496 A JP22151496 A JP 22151496A JP 22151496 A JP22151496 A JP 22151496A JP 3659744 B2 JP3659744 B2 JP 3659744B2
Authority
JP
Japan
Prior art keywords
recording
image information
image
area
recorded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22151496A
Other languages
English (en)
Other versions
JPH1066061A (ja
Inventor
和正 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP22151496A priority Critical patent/JP3659744B2/ja
Publication of JPH1066061A publication Critical patent/JPH1066061A/ja
Application granted granted Critical
Publication of JP3659744B2 publication Critical patent/JP3659744B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、店舗等において不審な侵入者を撮影した画像を記録する画像情報記録装置に関する。
【0002】
【従来の技術】
店舗や銀行等の金融機関などには、防犯用に監視カメラが多数設置されるようになってきている。このような監視カメラ装置では、一般に監視地点を常時撮影して得られた画像をビデオテープレコーダ等に継続的に記録しておき、必要となったときに不審な侵入者など目的の入場者を撮影した画像を探し出して犯人手配等に利用するようになっている。
【0003】
このような従来の監視カメラ装置は、常時撮影した画像を継続的に記録するため、ビデオテープレコーダなどの長時間の画像を記録できる装置が必要であり、ディジタルの画像情報記録装置では記録容量的に実現が困難である。また、画像情報の記録が効率的でなく、記録したほとんどの画像が無駄になってしまうということと、記録した画像の中から後で必要な部分を探し出すのにとても手間がかかり、後処理に多くの作業工数を要するという問題点がある。
【0004】
よって、監視用の画像情報記録装置としては、不審な侵入者が出現した等のある目的の事象が発生した前後の期間の有効な画像を撮影でき、記録した画像を後で容易に検索できるようになっていれば、画像情報を容量効率よく記録可能であると共に、記録後の検索処理等に手間がかからないのでとても有用である。
【0005】
目的の事象が発生した前後の有効な画像情報を記録する装置の例としては、特開平7−231442号公報に開示されている入力画像の動き情報を検出して動きのあった画像情報のみを記録するようにしたものとか、特開平8−77468号公報に開示されている2つの記憶装置を設けて第1の記憶装置によりエンドレスで画像を記録しておき、異常事象の発生が検出された場合に第1の記憶装置を一定時間前に戻して再生状態として第2の記憶装置でその再生画像を記録するようにしたものなどが提案されている。
【0006】
【発明が解決しようとする課題】
前述したように、従来の監視カメラ装置では、長時間にわたる大量の画像情報を記録できる装置が必要であり、また、画像情報の記録が効率的でなく、記録したほとんどの画像が無駄になってしまうということと、記録した画像の中から後で必要な部分を探し出すのにとても手間がかかり、後処理に多くの作業工数を要するという問題点があった。
【0007】
また、特開平7−231442号公報の構成では、画像の動き情報の検出は前画像データとの引き算によって求めるようになっており、このためにノイズの変化に対応してフィルタ処理などを施す必要があり、演算時間がかかることと、信号処理の回路構成が複雑になるという問題点がある。特開平8−77468号公報の構成では、記憶装置が2台必要であり、装置構成や動作が複雑になることと、第1の記憶装置が再生状態のときに異常事象が度重なって発生した場合に記録ができず機能を果たせないという問題点がある。
【0008】
本発明は、これらの事情に鑑みてなされたもので、簡単な構成で、目的の事象が発生した期間の画像のみを容量効率よく記録することができ、かつ記録後の画像検索等の後処理を容易に行うことが可能な画像情報記録装置を提供することを目的としている。
【0009】
【課題を解決するための手段】
本発明による画像情報記録装置は、円板状の記録媒体の記録領域に常時入力されてくる画像情報を連続して繰り返し記録する画像記録手段と、外部からの事象検知信号を受け、この事象検知信号が入力された時点から前後一定期間の画像情報が記録された記録領域をプロテクト領域に設定して上書きされないように保護し、該画像情報を記録保存する有効画像保存手段と、を備えたものである。
【0010】
この構成により、目的の事象が発生した期間の画像のみが容量効率よく記録される。
【0011】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図1ないし図6は本発明の一実施形態に係り、図1は画像情報記録装置の概略構成を示すブロック図、図2は画像情報記録装置の主要部の構成を示すブロック図、図3は録画装置の構成を示すブロック図、図4は画像撮影を行う監視カメラの設置例を示す使用状態説明図、図5は媒体への画像情報の記録方法を示す作用説明図、図6は画像情報記録装置の動作を示すフローチャートである。
【0012】
本実施形態の画像情報記録装置は、店舗や銀行等の金融機関などの出入り口、あるいは建物の敷地の塀付近などに設置されたカメラによって撮影された不審な侵入者などの画像を所定の期間に渡って記録するようになっている。
【0013】
図1に示すように、画像情報記録装置は、監視対象を撮影するカメラ1と、不審者の侵入などの異常事象の発生を検出するセンサ2と、センサ2で検出された異常事象発生時から過去に遡って異常事象発生前後の一定期間の画像を記録する(以下、スキップバック方式の画像記録とも称する)録画装置3と、録画装置3に記録された画像を表示するモニタ4と、を有して構成されている。また、録画装置3には、異常事象の発生を表示する異常発生表示手段5と、警報を出力する警報出力手段6とが接続されている。
【0014】
この構成において、録画装置3は、通常はカメラ1で撮影した画像を光磁気ディスク(MO)などの媒体に上書きしながら継続的に記録していき、異常事象が発生した際には、センサ2からの異常発生検知信号を受信すると、その時点から一定時間前後の画像を上書き禁止にして保護し、異常事象の発生前後の有効な画像のみを残して記録するようになっている。またこのとき、異常発生表示手段5によって異常事象の発生を表示したり、警報出力手段6によって外部などに警報を出力することもできる。
【0015】
このような画像情報記録装置の主要部の構成を図2に示す。録画装置3内には、カメラ1からのビデオ信号入力及びセンサ2からのセンサ入力を受信する入出力部(I/O[インプット/アウトプット])11と、動作プログラムや作業用のデータ、媒体上のアドレス情報などを格納するメモリ12と、各部の動作を制御するCPU13と、光磁気ディスクを媒体として用い画像情報を記録するMOドライブ装置14と、MOドライブ装置14との間でコマンドやデータのやり取りを行うSCSIインターフェース15と、を有している。メモリ12は、媒体上のアドレス情報を格納するアドレス格納部12aを有しており、媒体のユーザエリアトラック領域を複数のブロックに分割した各領域について、アドレスと書き込み可否の情報を格納するようになっている。
【0016】
CPU13は、入出力部11を介して送られてくるビデオ信号入力を受けてSCSIインターフェース15を介してMOドライブ装置14へと送り、カメラ1で撮影された画像情報をMOドライブ装置14に順次記録していく。そして、センサ入力を受信すると、その時点から一定時間前後の画像情報を保護するために、該当する画像情報が記録された媒体上のアドレスを書き込み禁止のプロテクト領域とし、そのアドレス情報をメモリ12のアドレス格納部12aに記憶する。その後は前記アドレス情報を参照しながらプロテクト領域以外の書き込み可能な領域に順次カメラ1で撮影された画像情報を記録していく。これにより、異常事象の発生前後の有効な画像のみを残して記録することができる。
【0017】
図3に録画装置3の情報記録再生系の構成を示す。録画装置3は、カメラ1から出力されるビデオ信号の各色信号成分を分離する信号分離部21、信号分離部21のアナログ出力をディジタル信号に変換するA/D変換部22、A/D変換部22のディジタル出力の画像データを記憶するフレームメモリ23、フレームメモリ23に格納された画像データを圧縮する画像圧縮処理部24、画像圧縮処理部24から出力される画像データをMOドライブ装置14へ受け渡すインターフェース部25、画像圧縮処理部24からインターフェース部25を介して送られてくる画像データを記録するMOドライブ装置14、MOドライブ装置14から再生出力される画像データを画像伸張処理部27へ受け渡すインターフェース部26、MOドライブ装置14からインターフェース部26を介して送られてくる画像データを元の状態に伸張する画像伸張処理部27、画像伸張処理部27の出力の画像データを記憶するフレームメモリ28、フレームメモリ28のディジタル出力をアナログ信号に変換するD/A変換部29、D/A変換部29の出力の各色信号成分を合成してビデオ信号を生成する信号合成部30、センサ2からのセンサ入力に基づいて各部の動作を制御するコントロール信号発生回路31を有して構成される。
【0018】
コントロール信号発生回路31は、前述した異常事象発生前後の一定期間の画像情報を記録保存するための各部の制御を行うスキップバックコントローラ31aを有している。なお、図3のコントロール信号発生回路31は図2におけるメモリ12及びCPU13によって構成される。また、図3のインターフェース部25,26は図2におけるSCSIインターフェース15により構成される。
【0019】
次に、本実施形態の画像情報記録装置の動作を説明する。
【0020】
図4は画像撮影を行う監視カメラの設置例を示したものであり、これに基づき異常事象発生時の検知及び画像撮影に関する動作を説明する。図4の例は建物の敷地の塀にセンサ2を設置して塀からの侵入者をカメラ1で撮影する監視カメラによる撮影時の様子を示したものである。侵入者7が塀を乗り越えて侵入してセンサ2に検知されると、異常発生検知信号が録画装置3に入力され、その時点より一定時間前後、例えば侵入者が7aから7bに至る期間において塀周辺の監視対象をカメラ1で撮影した画像情報が録画装置3に残されて記録される。
【0021】
なおこのとき、カメラ1の他にマイクロホンを設けておき、画像情報と共に音声情報を記録することも可能である。
【0022】
カメラ1で撮影された監視画像のビデオ信号は、録画装置3に入力され、ここで画像圧縮などの信号処理が施されて記録される。前記ビデオ信号は、まず信号分離部21に入力され、ここでY,R−Y,B−Yの輝度信号成分と色差信号成分などの各色信号成分に分離される。そして、A/D変換部22で各色信号成分がディジタル信号に変換された後、画像データとしてフレームメモリ23に記憶される。フレームメモリ23から読み出された画像データは、画像圧縮処理部24でデータ圧縮処理が施された後、インターフェース部25を介してMOドライブ装置14に送られて記録される。
【0023】
コントロール信号発生回路31は、センサ2からの異常発生検知信号を受けると、スキップバックコントローラ31aによってインターフェース部25及びMOドライブ装置14へ制御信号を送り、異常発生検知時点から一定時間前後の画像情報が記録された媒体上のアドレスを書き込み禁止のプロテクト領域とし、そのアドレス情報をメモリ12のアドレス格納部12aに記憶する。これにより、異常事象の発生前後の有効な画像のみをプロテクト領域に残して記録することができ、その後は前記アドレス情報を参照しながらプロテクト領域以外の書き込み可能な領域に順次入力される画像情報を記録していく。
【0024】
なお、センサ2からの異常発生検知信号を受けたときに、コントロール信号発生回路31は図1の異常発生表示手段5及び警報出力手段6に異常発生出力を送出し、異常事象の発生を表示したり、警備会社など外部へ警報を出力することもできる。
【0025】
ここで、MOドライブ装置14における媒体への画像情報の記録方法を図5を基に説明する。
【0026】
まず初期状態では、図5のAに示すように媒体上の使用可能なユーザエリアトラック領域の全域が記録領域となっており、この記録領域の全てに渡ってカメラ1で撮影された画像情報が順次書き込まれ、繰り返し上書きされながらエンドレスで記録される。
【0027】
そして、センサ2からの異常発生検知信号が入力されると、図5のBに示すようにその時間t1 における画像情報を記録したアドレスを基準として前後の一定領域をプロテクト領域とし、以後はこのプロテクト領域をスキップしてカメラ1で撮影された現在の画像情報をエンドレスで記録する。これにより、異常事象の発生が検知された時点から前後の一定期間の画像情報がプロテクト領域において記録保存される。
【0028】
その後、図5のCに示すように複数回異常事象の発生が検知されて時間t1 〜t4 に対応する複数のプロテクト領域が設定されて画像情報が記録保存されると、これらのプロテクト領域を除いた記録領域においてカメラ1で撮影された現在の画像情報がエンドレスで記録される。
【0029】
ユーザエリアトラック領域の全域がプロテクト領域で満たされた場合は、図5のDに示すように最古のもの(ここではt1 )からプロテクト領域を解除し、この解除された記録領域にカメラ1で撮影された現在の画像情報をエンドレスで記録する。以降、異常事象の発生が検知される毎に、最古のプロテクト領域から順番に解除していき、解除された記録領域にカメラ1で撮影された現在の画像情報をエンドレスで記録する。
【0030】
図5の画像情報記録動作に関するフローチャートを図6に示す。まず、ステップS1でMOドライブ装置14の各部の初期値の設定を行う。そしてステップS2で、データ記録するセクタアドレス(カメラ1で撮影されてMOドライブ装置14へ順次入力される画像情報を記録する記録領域のアドレス)を更新し、ステップS3で異常発生検知信号の入力を示すセンサフラグの読み込みの有無を判断する。
【0031】
ステップS3で異常発生検知信号が入力されてセンサフラグが読み込まれた場合は、ステップS4に進んで現在のデータ記録するセクタアドレスの前後の一定領域を書き込み禁止とするプロテクト領域を設定する。一方、異常事象が発生しておらず、ステップS3でセンサフラグが読み込まれていない場合は、ステップS4をスキップしてステップS5に進む。
【0032】
そしてステップS5で、データ記録するセクタアドレスがプロテクト領域に入っているか否かを判断し、ステップS4をスキップした場合などプロテクト領域に入っていない場合はステップS6に進んでデータ記録、すなわち入力された画像情報の記録を行う。
【0033】
一方、ステップS5でデータ記録するセクタアドレスがプロテクト領域に入っている場合は、ステップS7に進んで他に記録領域があるか否かを判断し、記録領域がある場合はステップS2に戻ってデータ記録するセクタアドレスの更新を行い、上述の処理を繰り返す。ステップS7で他に記録領域が無い場合は、ステップS8に進み、最古のプロテクト領域を解除した後、ステップS6で入力された画像情報の記録を行う。
【0034】
以上のステップS2ないしS8の動作を繰り返し、プロテクト領域として保護されていない記録領域にエンドレスでカメラ1で撮影されて順次入力される画像情報を記録していく。
【0035】
MOドライブ装置14として、例えば3.5インチの5倍密の光磁気ディスクを使用する装置を用いた場合、フルカラーの画像データを画像圧縮率1/30で圧縮すると、1画面(フレーム)あたり24kバイト程度となるので、2048バイト/セクタの媒体の場合10セクタ/フレームの記録領域が必要となる。5コマ/秒で録画すると、1秒あたり50セクタのデータ量となるので、1つのプロテクト領域の記録時間を2分間とすれば、プロテクト領域のセクタ数は50セクタ×60秒×2=6000セクタとなる。従って、媒体の全セクタ数が314160セクタとすると、媒体1枚あたり314160/6000≒52のプロテクト領域が形成される。
【0036】
なお、画像データ記録用の情報記録再生装置としてはMOドライブ装置に限らず、各種光ディスク装置、リムーバブルディスク装置等を用いても良い。
【0037】
記録された画像データの再生時には、MOドライブ装置14より所定のプロテクト領域の画像データが読み出され、この読み出された画像データはインターフェース部26を介して画像伸張処理部27でデータ伸張処理が施された後、フレームメモリ28に記憶される。そして、D/A変換部29でフレームメモリ28の出力の画像データがアナログ信号に変換された後に信号合成部30に入力され、ここで各色信号成分が合成されてビデオ信号として出力される。この録画装置3の出力のビデオ信号をモニタ4に入力して画面表示することにより、使用者は撮影した異常事象発生時の監視画像を観察することができる。
【0038】
複数の異常事象発生時の監視画像データから目的の画像を検索する場合は、プロテクト領域のアドレス情報に記録日時などの情報を付して記録しておけば、このアドレス情報を参照して容易に監視画像データの検索を行うことが可能となる。
【0039】
異常事象の発生が検知された後の画像情報のみを記録するような構成では、事件発生前の画像情報が記録されていないため、犯人を特定できないとか犯行現場を記録できない場合があるが、本実施形態の画像情報記録装置では、異常事象の発生時点から一定時間前後の画像情報を記録保存することにより、簡単な構成で事件発生前後の画像情報を記録でき、従来の構成の不具合を解決できる。
【0040】
また、監視対象の画像情報を常時記録するものではなく、有効な画像情報のみをプロテクト領域に設定して記録保存するようになっているため、無駄な画像情報を記録することがなく、ディスク状の記録媒体などのビデオテープ等に比べて記録容量の小さい媒体を用いても有効な画像情報を容量効率よく十分に長時間記録することができる。また、異常事象の発生前後の有効な画像情報のみを記録しているため、再生時間や検索時間も短くて済み、画像記録後の後処理の手間を軽減できる。さらに、ディスク状の記録媒体を用いた場合は、目的のアドレスのデータへのアクセスが高速であるため、画像情報記録時のプロテクト領域のスキップや記録後の再生、検索を高速に行うことができる。
【0041】
【発明の効果】
以上説明したように本発明によれば、簡単な構成で、目的の事象が発生した期間の画像のみを容量効率よく記録することができ、かつ記録後の画像検索等の後処理を容易に行うことが可能となる効果がある。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る画像情報記録装置の概略構成を示すブロック図
【図2】本実施形態の画像情報記録装置の主要部の構成を示すブロック図
【図3】本実施形態の画像情報記録装置における録画装置の構成を示すブロック図
【図4】画像撮影を行う監視カメラの設置例を示す使用状態説明図
【図5】本実施形態に係る媒体への画像情報の記録方法を示す作用説明図
【図6】本実施形態の画像情報記録装置の動作を示すフローチャート
【符号の説明】
1…カメラ
2…センサ
3…録画装置
4…モニタ
12…メモリ
12a…アドレス格納部
13…CPU
14…MOドライブ装置
31…コントロール信号発生回路
31a…スキップバックコントローラ

Claims (3)

  1. 円板状の記録媒体の記録領域に常時入力されてくる画像情報を連続して繰り返し記録する画像記録手段と、
    外部からの事象検知信号を受け、この事象検知信号が入力された時点から前後一定期間の画像情報が記録された記録領域をプロテクト領域に設定して上書きされないように保護し、該画像情報を記録保存する有効画像保存手段と、
    を備えたことを特徴とする画像情報記録装置。
  2. 前記画像記録手段は、前記プロテクト領域が存在するときには該プロテクト領域を避けて画像情報を連続して繰り返し記録することを特徴とする請求項1に記載の画像情報記録装置。
  3. 前記有効画像保存手段は、前記記録媒体が前記プロテクト領域で満たされて新たな画像情報の記録領域が無くなった場合に、前記プロテクト領域を古いものから順に解除し、この解除された記録領域において前記画像記録手段による連続した画像情報の記録を継続させることを特徴とする請求項1に記載の画像情報記録装置。
JP22151496A 1996-08-22 1996-08-22 画像情報記録装置 Expired - Fee Related JP3659744B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22151496A JP3659744B2 (ja) 1996-08-22 1996-08-22 画像情報記録装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22151496A JP3659744B2 (ja) 1996-08-22 1996-08-22 画像情報記録装置

Publications (2)

Publication Number Publication Date
JPH1066061A JPH1066061A (ja) 1998-03-06
JP3659744B2 true JP3659744B2 (ja) 2005-06-15

Family

ID=16767913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22151496A Expired - Fee Related JP3659744B2 (ja) 1996-08-22 1996-08-22 画像情報記録装置

Country Status (1)

Country Link
JP (1) JP3659744B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001037563A1 (fr) * 1999-11-18 2001-05-25 Fujitsu Limited Enregistreur video sans fin
JP4051841B2 (ja) 1999-12-01 2008-02-27 ソニー株式会社 画像記録装置および方法
JP2001333415A (ja) * 2000-05-18 2001-11-30 Sanyo Electric Co Ltd 記録装置
JP2002051303A (ja) * 2000-08-02 2002-02-15 Taiheiyo Boeki Kk 定点観測装置
WO2006077797A1 (ja) * 2005-01-19 2006-07-27 Olympus Corporation 手術データ管理装置、手術制御装置及び手術データ処理方法
JP4571532B2 (ja) * 2005-03-29 2010-10-27 アイホン株式会社 インターホンシステム
JP4711137B2 (ja) * 2006-05-25 2011-06-29 日本ビクター株式会社 画像記録装置
JP4681509B2 (ja) * 2006-06-12 2011-05-11 株式会社日立製作所 監視システム
JP2008067763A (ja) * 2006-09-12 2008-03-27 Furoobell:Kk ティーマーク
JP5170747B2 (ja) * 2008-02-29 2013-03-27 パナソニック株式会社 画像記録装置及び画像記録方法
JP6107965B2 (ja) * 2013-10-28 2017-04-05 富士通株式会社 データ格納装置、データ格納方法およびデータ格納プログラム
JP6187686B2 (ja) 2014-05-20 2017-08-30 富士通株式会社 情報処理装置、情報処理システム及び方法

Also Published As

Publication number Publication date
JPH1066061A (ja) 1998-03-06

Similar Documents

Publication Publication Date Title
US6421080B1 (en) Digital surveillance system with pre-event recording
JPH0877468A (ja) 監視装置
US20070189728A1 (en) Method of recording and reproducing surveillance images in DVR
JP3659744B2 (ja) 画像情報記録装置
JP2003069987A (ja) イベント映像記録・再生システム、イベント管理装置、およびローカル記録装置
KR100872878B1 (ko) 감시 카메라의 이벤트 검출 촬영시스템
JP3143365B2 (ja) 監視用画像記録装置
US20030108327A1 (en) Recorder
US7058771B2 (en) System and method for managing memory in a surveillance system
KR20160016022A (ko) 이벤트 저장 기능을 가진 cctv 시스템
JP3177412B2 (ja) 監視用画像記録再生装置
KR101198161B1 (ko) 감시용 디지털 비디오 레코더에서의 램디스크를 이용한알람 녹화방법
KR100472546B1 (ko) 보안용 녹화 시스템 및 그 제어 방법
JP3124169U (ja) 警報監視装置
KR20030024114A (ko) 모션 디텍션 모드에서 디지털 영상 녹화 방법
JP3177413B2 (ja) 監視用画像記録装置
KR100453010B1 (ko) 디지털 영상 녹화 장치 및 방법
KR100229886B1 (ko) 감시카메라의 화상 기록 및 재생 장치 및 그 제어방법
JP3177411B2 (ja) 監視用画像記録再生装置
KR200316100Y1 (ko) 보안용 녹화 시스템
JP4091085B2 (ja) 画像記録装置及び画像記録方法
JP2002033997A (ja) タイムラプス記録再生装置
KR100472544B1 (ko) 타임랩스 재생시 에러발생한 영상의 디스플레이방법
KR100264481B1 (ko) 비디오폰장치의영상정보기록방법
JPH03283789A (ja) 画像監視装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050315

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090325

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090325

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100325

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110325

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110325

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120325

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120325

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130325

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140325

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees