JP2003289504A - 動画像および音声データの記録再生装置および再生方法 - Google Patents

動画像および音声データの記録再生装置および再生方法

Info

Publication number
JP2003289504A
JP2003289504A JP2002090389A JP2002090389A JP2003289504A JP 2003289504 A JP2003289504 A JP 2003289504A JP 2002090389 A JP2002090389 A JP 2002090389A JP 2002090389 A JP2002090389 A JP 2002090389A JP 2003289504 A JP2003289504 A JP 2003289504A
Authority
JP
Japan
Prior art keywords
index
mpeg
stream
time
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002090389A
Other languages
English (en)
Other versions
JP3785107B2 (ja
Inventor
Shigeyuki Umeda
茂之 梅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2002090389A priority Critical patent/JP3785107B2/ja
Publication of JP2003289504A publication Critical patent/JP2003289504A/ja
Application granted granted Critical
Publication of JP3785107B2 publication Critical patent/JP3785107B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 動画像および音声データを符号化しMPEG
−2ストリームを生成し、MPEG−2ストリームの生
成と同時に生成中のMPEG−2ストリームを再生する
際、生成中のMPEG−2ストリームの全ての位置で特
殊再生を行えるようにする。 【解決手段】 MPEG−2ストリーム15の生成と同
時に生成するMPEG−2ストリーム上のフレームと時
間との関係を示したインデックス16を使用して、MP
EG−2ストリーム15の特殊再生を行う。インデック
スが有効でない場合にはインデックスの代りに指示され
た再生時間、およびMPEG−2ストリーム15の平均
ビットレートから推定位置を計算し、特殊再生を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は動画像と音声データ
を符号化してMPEG(Moving Picture
Expert Group)−2ストリームを生成
し、このMPEG−2ストリームを復号し再生する動画
像および音声データの記録再生装置および再生方法に関
する。
【0002】
【従来の技術】パーソナルコンピュータなどを使用した
TV放送の録画においてはMPEG−2やMPEG−1
といった符号化方式が使われている。このうちMPEG
−2方式におけるフレーム間予測符号化の構造を図10
に示す。この図において、GOP(Group of
Picture)は7フレームで構成されている。Iピ
クチャ111はフレーム内で符号化したフレームであ
り、単独で画像を生成することができる。Pピクチャ1
13は時間的に前のフレーム(Iピチャ111またはP
ピクチャ113)を参照して符号化したフレームであ
る。Bピクチャ112はIピクチャ111とPピクチャ
113を参照して符号化したフレームである。
【0003】この様な時間軸方向の相関を利用して符号
化したMPEG−2ストリームの特殊再生(ストリーム
内シーク)を行うためにはGOPの先頭から再生しなけ
ればならない。
【0004】従来の再生方式では、固定ビットレートで
記録されたMPEG−2ストリームは、1GOPあたり
のデータ量がほぼ一定であるので、特殊再生を行うため
には、時間等からMPEG−2ストリーム上の位置を計
算して、MPEG−2ストリーム上の位置を移動した後
にGOPを検出して特殊再生を行っている。
【0005】しかしながら、可変ビットレートで記録さ
れたMPEG−2ストリームは、1GOPあたりのデー
タ量が変動し、MPEG−2ストリームの平均ビットレ
ートおよび指示された再生時間からMPEG−2ストリ
ーム上の位置を計算できないため、上記方法による特殊
再生は実施することが困難である。
【0006】この問題点を解決するための方法として、
MPEG−2ストリームと別に、MPEG−2ストリー
ム上のフレームの位置と時間との関係を示すインデック
スを生成し、このインデックスを用いて特殊再生を行う
方法が考えられている。
【0007】しかしながら、動画像および音声データの
記録再生装置が、MPEG−2ストリーム、およびMP
EG−2ストリーム上のフレームの位置と時間との関係
を示すインデックスを生成し、生成中のMPEG−2ス
トリームを同時に再生し、さらに特殊再生のために再生
位置を変更する場合、まだインデックスが完成していな
いため、生成中のMPEG−2ストリームのうちインデ
ックスを取得できない部分では特殊再生ができない問題
があった。
【0008】インデックスを用いずに特殊再生を行う方
法の従来技術として特開平10−234003号公報や
特開平9−46712号公報がある。
【0009】上記公報では、特殊再生用の情報を持った
特別な媒体を使用し、その媒体を再生する特別な機構を
持った装置を用いることにより特殊再生を行えるように
している。従ってパーソナルコンピュータの様に、標準
のMPEG−2形式で録画、再生を行う機器においては
適用することができない問題があった。
【0010】
【発明が解決しようとする課題】従来の技術では可変ビ
ットレートのMPEG−2ストリームの特殊再生を行う
ためにインデックスが不可欠であり、インデックスが無
効な時には特殊再生を行えない問題があった。
【0011】本発明は、上記問題を解決するためになさ
れたもので、パーソナルコンピュータの様なハードディ
スクに標準のMPEG−2形式で動画像と音声データの
記録再生を行う機器において、動画像と音声データを符
号化したMPEG−2ストリーム、およびMPEG−2
ストリーム上のフレームの位置と時間との関係を示すイ
ンデックスをハードディスクに書き込み、同時にそのM
PEG−2ストリームを再生し、かつMPEG−2スト
リームの全ての位置で特殊再生が可能な動画像および音
声データの記録再生装置および再生方法を提供すること
を目的とする。
【0012】
【課題を解決するための手段】上記目的を達成するため
に、本発明の動画像および音声データの記録再生装置
は、動画像と音声データを符号化して符号化データを生
成する符号化手段と、特殊再生を行うための前記符号化
データの位置と時間との関係を示したインデックスを生
成するインデックス生成手段と、前記インデックスの有
効性を確認する判定手段と、前記符号化データを復号し
て動画像と音声データを、再生する時、前記インデック
スが有効であれば当該インデックスに従い特殊再生を行
い、前記インデックスが有効でなければ、前記符号化デ
ータの大きさと全体の時間および指示された再生時間か
ら、フレームを探索して特殊再生を行う再生手段とを具
備することを特徴とする。
【0013】本発明によれば、特殊再生はインデックス
が有効な場合はインデックスを用いて効率的に行い、イ
ンデックスが有効でない場合はフレーム探索により行う
ことで、MPEG−2ストリームの全ての位置で特殊再
生を行えるようにし、利便性の向上を図ることができ
る。
【0014】
【発明の実施の形態】次にこの発明の実施の形態につい
て図面を参照して説明する。
【0015】図1は、本発明が適用された記録再生装置
の実施の形態を示すブロック図である。ホームサーバ1
は次のような構成になっている。アンテナ11を介して
入力されたTV放送データは、TVチューナ12で受信
する。その受信した動画像および音声データをMPEG
−2エンコーダ13により符号化し、同時にMPEG−
2ストリーム上のフレームの位置と時間との関係を示す
インデックスを生成する。これら符号化されたMPEG
−2ストリーム15、および生成されたインデックス1
6をハードディスク装置14に書込む。ホームサーバ1
はLAN3によりパーソナルコンピュータ2と接続され
る。
【0016】パーソナルコンピュータ2は、ホームサー
バ1よりLAN3を介してMPEG−2ストリーム15
とインデックス16を読込む。MPEG−2ストリーム
15はMPEG−2デコーダ22で復号され、表示装置
23の表示画面に表示する。LAN3は有線、無線どち
らでもよい。また、MPEG−2エンコーダ13および
MPEG−2デコーダ22はハードウェア、ソフトウェ
アいずれで実現してもよい。
【0017】パーソナルコンピュータ2は、ハードディ
スク装置21を内蔵している。ハードディスク装置21
には、ホームサーバーからLAN3を介して取り込んだ
MPEG−2ストリームとインデックスの他に、ホーム
サーバーからLAN3を介して取り込んだMPEG−2
ストリームであるが編集を行ったためインデックスが無
効になったMPEG−2ストリームや外部から取り込ん
だインデックスを持たないMPEG−2ストリームも格
納出来る。
【0018】図2は、ハードディスク装置14に記録さ
れるMPEG−2ストリームを示す図である。動画像お
よび音声データを符号化したエレメンタリ・ストリーム
を、可変長の長さでパケット化した複数のPES(パケ
タイズド・エレメンタリ・ストリーム)パケット31を
持つパック32で構成される。パック32の先頭にはパ
ックヘッダ35があり、このパックヘッダ35には開始
を示すスタートコード33とSCR(システムクロック
リファレンス)34が入っている。
【0019】図3は、ビデオデータの構成を示す図であ
り、ビデオパケット31の一つのパケットが[IBBP
BBP]の各7フレームで構成する複数のGOP41に
よって成り立っている。
【0020】図4は、インデックス16を示す図であ
り、単位時間毎に生成されたインデックス51がMPE
G−2ストリーム上の対応するパック32の位置を示し
ている。図4の例は、0.5秒ごとにインデックス0、
1、2、・・・n、n+1を生成している。
【0021】図5は、ホームサーバ1が生成するMPE
G−2ストリーム15とインデックス16の生成中の状
態を示した図である。61は生成中のMPEG−2スト
リーム15のハードディスク装置14に書込まれた部
分、62は生成中のMPEG−2ストリーム15のまだ
ハードディスク装置14に書込まれていない部分を示
す。また、63は生成中のインデックス16のハードデ
ィスク装置14に書込まれた部分、64は生成中のイン
デックス16のまだハードディスク装置14に書込まれ
ていない部分を示す。
【0022】ホームサーバ1はハードディスク装置14
の書き込み、読み出しを効率的に行うためにディスクキ
ャッシュを用いている。録画中はディスクキャッシュの
効果によりデータ量が膨大なMPEG−2ストリーム1
5はすぐにハードディスク装置14に書込まれ、ディス
クキャッシュに保持される部分は少ない。一方インデッ
クス16はデータ量が極少ないため、なかなかハードデ
ィスク装置14に書込まれず、ディスクキャッシュに保
持される部分が多くなる。従って、MPEG−2ストリ
ーム15を格納するハードディスク装置14上では、M
PEG−2ストリーム61は存在しても、インデックス
63が存在しない不一致のところが生じる。本発明で
は、このインデックスが存在しない場合でもMPEG−
2ストリームの特殊再生を可能とするものであり、以下
にその内容を説明する。
【0023】図6は、特殊再生を行うソフトウェア機能
を説明するための図である。ファイルリーダ71はホー
ムサーバー1のハードディスク装置14上に格納された
MPEG−2ストリーム15をLAN3を介して読み込
み、デマルチプレクサ72に送る。デマルチプレクサ7
2は、ファイルリーダ71から送られたMPEG−2ス
トリーム15をビデオデータ76とオーディオデータ7
7に分離し、ビデオデータ76をビデオデコーダ73に
送り、オーディオデータ77をオーディオデコーダ74
に送る。ビデオデコーダ73は符号化されたビデオデー
タ76を復号し、パーソナルコンピュータ2の表示装置
23の表示画面に映像を表示する。オーディオデコーダ
74は符号化されたオーディオデータ77を復号し、パ
ーソナルコンピュータ2のスピーカ(図示せず)から音
声を再生する。ユーザ入力装置75は表示画面のスライ
ダの操作などによりMPEG−2ストリーム15の再生
時間の変更指示を行うものである。
【0024】MPEG−2ストリーム15はLAN3を
経由したホームサーバ1のハードディスク装置14、パ
ーソナルコンピュータ2内蔵のハードディスク装置21
のどちらにあってもよい。
【0025】図7は、パーソナルコンピュータ2の表示
画面の例で、表示画面81上にビデオ画面82が表示さ
れ、現在の表示位置を示すとともに特殊再生における再
生時間の変更を行うためのスライダ83がある。このス
ライダ83を操作することによりタイムシフト再生を行
う。
【0026】図8は、本発明のインデックスを持つMP
EG−2ストリーム15の再生時間を変更する際の、フ
ァイルリーダ71のシーク処理のフローチャートであ
る。スライダ83を操作し再生時間を変更すると、シー
ク処理S91が呼ばれる。シーク処理はステップS92
でスライダ83で指示された再生時間に対応するインデ
ックスを求める。続いて、ステップS93でステップS
92で求めたインデックスの有効性を確認する(インデ
ックスの存在確認)。
【0027】シーク処理は、インデックスが有効(存在
している)と判断した場合はステップS97でスライダ
83で指示された再生時間に対応するインデックス51
が示すパック32に位置付けを行う(図4参照)。そし
てステップS96でハードディスク装置14または21
のいずれかに記録されたMPEG−2ストリーム15を
読み出し、MPEG−2ストリーム15をMPEG−2
デコーダ22で復号し映像の再生を再開する。
【0028】一方、シーク処理は、インデックスが有効
でない(存在していない)と判断した場合は、ステップ
S94でスライダ83で指示された再生時間および、M
PEG−2ストリーム15の平均ビットレートから、指
示された再生時間のMPEG−2ストリーム15上のパ
ック32の推定位置を計算する。続いて、ステップS9
5でMPEG−2ストリーム15の推定位置からスライ
ダ83で指示された再生時間に近いパック32を探索す
る。そして、ステップS96でハードディスク装置14
または21のいずれかに記録されたMPEG−2ストリ
ーム15を読み出し、MPEG−2ストリーム15をM
PEG−2デコーダ22で復号し映像の再生を再開す
る。
【0029】図9は、本発明のインデックスを持たない
MPEG−2ストリーム15のシーク処理のフローチャ
ートである。スライダ83を操作し再生時間を変更する
と、シーク処理S100が呼ばれる。
【0030】シーク処理は、ステップS101でスライ
ダ83で指示された再生時間および、MPEG−2スト
リーム15の平均ビットレートから、指示された再生時
間のMPEG−2ストリーム15上のパック32の推定
位置を計算する。続いて、ステップS102でMPEG
−2ストリーム15上の推定位置からスライダ83で指
示された再生時間に近いパック32を探索する。そし
て、ステップS103でハードディスク装置21に記録
されたMPEG−2ストリーム15を読み出し、MPE
G−2ストリーム15をMPEG−2デコーダ22で復
号し映像の再生を再開する。
【0031】
【発明の効果】本発明によれば、インデックスが有効な
ときには、インデックスを用いて効率的で正確な特殊再
生を行い、インデックスが有効でないまたはインデック
スがないときには、フレーム探索による特殊再生を行
い、利便性の向上を図っている。
【図面の簡単な説明】
【図1】 本発明が適用された記録再生装置の実施の形
態のブロック図。
【図2】 本発明のMPEG−2ストリームのパック構
成図。
【図3】 本発明のビデオデータの構成図。
【図4】 本発明が適用された記録再生装置が生成する
インデックスの図。
【図5】 本発明が適用された記録再生装置が生成する
MPEG−2ストリームとインデックスの関係図。
【図6】 本発明のパーソナルコンピュータのMPEG
−2再生ソフトウェアの構成図。
【図7】 本発明のパーソナルコンピュータの再生画
面。
【図8】 本発明のインデックスがあるMPEG−2ス
トリームのシーク処理のフローチャート。
【図9】 本発明のインデックスがないMPEG−2ス
トリームのシーク処理のフローチャート。
【図10】 従来のMPEG−2ストリームの時間軸方
向の符号化を行ったフレームの構成図。
【符号の説明】
3 LAN 11 TVアンテナ 12 TVチューナ 13 MPEG−2エンコーダ 14 ハードディスク装置(リモート) 15 MPEG−2ストリーム 16 インデックス 21 ハードディスク装置(ローカル) 22 MPEG−2デコーダ 31 PESパケット 32 パック 33 スタートコード 34 システムクロックリファレンス(SCR) 41 GOP 51 インデックス 76 符号化されたビデオデータ 77 符号化されたオーディオデータ 111 Iピクチャ 112 Bピクチャ 113 Pピクチャ
フロントページの続き Fターム(参考) 5C052 AA01 AB03 AB04 AC01 CC06 CC11 DD04 5C053 FA23 GB06 GB21 GB37 HA21 JA22 JA24 LA06 LA11 5C059 MA00 RC32 SS12 SS16 TA00 TB03 TC00 TC18 TC37 UA05 UA38 5D044 AB05 AB07 DE17 DE38 DE39 FG23 GK11

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 動画像と音声データを符号化して符号化
    データを生成する符号化手段と、 特殊再生を行うための前記符号化データの位置と時間と
    の関係を示したインデックスを生成するインデックス生
    成手段と、 前記インデックスの有効性を確認する判定手段と、 前記符号化データを復号して動画像と音声データを再生
    する時、前記インデックスが有効であれば当該インデッ
    クスに従い特殊再生を行い、前記インデックスが有効で
    なければ、前記符号化データの大きさと全体の時間およ
    び指示された再生時間から、フレームを探索して特殊再
    生を行う再生手段とを具備することを特徴とする動画像
    および音声データの記録再生装置。
  2. 【請求項2】 前記インデックス生成手段は、前記符号
    化データの所定の画面(フレーム)から再生を開始する
    ため、前記符号化データの位置と時間との関係をインデ
    ックスとして記録することを特徴とする請求項1記載の
    動画像および音声データの記録再生装置。
  3. 【請求項3】 前記インデックス生成手段は、単位時間
    毎の画面(フレーム)が属する前記符号化データの位置
    と時間との関係をインデックスとして記録することを特
    徴とする請求項1記載の動画像および音声データの記録
    再生装置。
  4. 【請求項4】 動画像と音声データを符号化して符号化
    データを生成すると共に、前記符号化データの位置と時
    間との関係を示したインデックスを生成し、 前記インデックスの生成状態を確認し、インデックスが
    生成済みであれば当該インデックスに従い特殊再生を行
    い、インデックスが未生成であれば前記符号化データの
    大きさと全体の時間および指示された再生時間から、フ
    レームを探索して特殊再生を行うことを特徴とする動画
    像および音声データの再生方法。
JP2002090389A 2002-03-28 2002-03-28 動画像および音声データの記録再生装置および再生方法 Expired - Fee Related JP3785107B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002090389A JP3785107B2 (ja) 2002-03-28 2002-03-28 動画像および音声データの記録再生装置および再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002090389A JP3785107B2 (ja) 2002-03-28 2002-03-28 動画像および音声データの記録再生装置および再生方法

Publications (2)

Publication Number Publication Date
JP2003289504A true JP2003289504A (ja) 2003-10-10
JP3785107B2 JP3785107B2 (ja) 2006-06-14

Family

ID=29235709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002090389A Expired - Fee Related JP3785107B2 (ja) 2002-03-28 2002-03-28 動画像および音声データの記録再生装置および再生方法

Country Status (1)

Country Link
JP (1) JP3785107B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008510392A (ja) * 2004-08-13 2008-04-03 シーエムウェア, インコーポレイテッド コンピュータ・アプリケーションをリモート・サイトから制御するシステム及び方法
JP2011044995A (ja) * 2009-08-24 2011-03-03 Hitachi Ltd 位置特定システム
EP2393084A1 (en) 2010-06-02 2011-12-07 Funai Electric Co., Ltd. Apparatus for playing AVI (Audio Visual Interleaving) files
JP2013523031A (ja) * 2010-05-13 2013-06-13 ゼットティーイー コーポレーション マルチメディアファイルの制御過程に高速な応答を実現する方法及び放送装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008510392A (ja) * 2004-08-13 2008-04-03 シーエムウェア, インコーポレイテッド コンピュータ・アプリケーションをリモート・サイトから制御するシステム及び方法
JP2011044995A (ja) * 2009-08-24 2011-03-03 Hitachi Ltd 位置特定システム
JP2013523031A (ja) * 2010-05-13 2013-06-13 ゼットティーイー コーポレーション マルチメディアファイルの制御過程に高速な応答を実現する方法及び放送装置
KR101408021B1 (ko) * 2010-05-13 2014-06-17 지티이 코포레이션 멀티미디어 파일 제어 과정에서 빠른 응답을 구현하는 방법 및 재생 장치
EP2393084A1 (en) 2010-06-02 2011-12-07 Funai Electric Co., Ltd. Apparatus for playing AVI (Audio Visual Interleaving) files
US8666232B2 (en) 2010-06-02 2014-03-04 Funai Electric Co., Ltd. Image and sound reproducing apparatus for reproducing an audio visual interleaving file from recording medium

Also Published As

Publication number Publication date
JP3785107B2 (ja) 2006-06-14

Similar Documents

Publication Publication Date Title
JP4421156B2 (ja) 画像再生装置および画像記録再生装置
JP3491365B2 (ja) 符号化データ復号方法および復号装置
US7295757B2 (en) Advancing playback of video data based on parameter values of video data
US20060245504A1 (en) Program, decoding device, decoding method, and recording medium
JP4552802B2 (ja) 記録装置、記録方法、記録方法のプログラム及び記録方法のプログラムを記録した記録媒体
KR20070049504A (ko) 디지털 콘텐츠 재생 장치 및 그의 역방향 콘텐츠 저장 및재생방법
JP4827669B2 (ja) 動画再生方法および装置
JPWO2008132774A1 (ja) 動画像復号化方法、動画像復号化装置および電子機器
JP4211153B2 (ja) 記録装置および方法
JP3785107B2 (ja) 動画像および音声データの記録再生装置および再生方法
JP2004140575A (ja) データ処理装置、データ処理方法、および情報記憶媒体、並びにコンピュータ・プログラム
JP2004110876A (ja) 映像データの符号化レート制御方法
JP3991540B2 (ja) 記録装置および方法、並びに記録媒体
JP3792770B2 (ja) 記録再生装置
JP2004096474A (ja) 動画データの再生方法及び再生装置
TWI819580B (zh) 基於預解析操作以改善播放響應的媒體播放方法與相關媒體播放裝置
WO2003065715A1 (fr) Appareil, systeme et procede d'enregistrement/lecture de donnees audio/video, support enregistre par eux, appareil de reproduction de donnees audio/video, et structure de donnees
JP3695424B2 (ja) 再生装置
JP3695425B2 (ja) 再生装置
KR100956821B1 (ko) Pvr 재생 방법
JP3695423B2 (ja) 再生装置
JP2003179869A (ja) ディジタル放送記録再生装置
JP2001128120A (ja) 符号化ビットストリーム記録及び/又は再生装置、並びに円盤状記録媒体
CN117061813A (zh) 媒体回放方法与相关媒体回放装置
JP2006129338A (ja) 映像記録再生装置及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040106

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050414

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060316

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100324

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100324

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110324

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120324

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130324

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130324

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140324

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees