JP2004159082A - 画像編集プログラム及び画像編集装置 - Google Patents

画像編集プログラム及び画像編集装置 Download PDF

Info

Publication number
JP2004159082A
JP2004159082A JP2002322663A JP2002322663A JP2004159082A JP 2004159082 A JP2004159082 A JP 2004159082A JP 2002322663 A JP2002322663 A JP 2002322663A JP 2002322663 A JP2002322663 A JP 2002322663A JP 2004159082 A JP2004159082 A JP 2004159082A
Authority
JP
Japan
Prior art keywords
picture
frame
deletion
image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002322663A
Other languages
English (en)
Other versions
JP3922559B2 (ja
Inventor
Takuya Suzuki
琢也 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
Original Assignee
Funai Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funai Electric Co Ltd filed Critical Funai Electric Co Ltd
Priority to JP2002322663A priority Critical patent/JP3922559B2/ja
Publication of JP2004159082A publication Critical patent/JP2004159082A/ja
Application granted granted Critical
Publication of JP3922559B2 publication Critical patent/JP3922559B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

【課題】編集作業の迅速化を図ることができる画像編集プログラム及び画像編集装置を提供する。
【解決手段】再生中の動画像からユーザにより選択された再生位置の前後所定期間に含まれるIピクチャを表示するIピクチャ表示工程と、表示した各Iピクチャからユーザにより選択されたIピクチャとその直前または直後のIピクチャとの間に含まれる各フレームの画像を表示するフレーム表示工程と、表示した各フレームの画像からユーザにより選択されたフレームを削除開始位置または削除終了位置として記憶する記憶工程と、削除開始位置から削除終了位置までのフレームを削除する削除工程とを備えた。
【選択図】 図3

Description

【0001】
【発明の属する技術分野】
本発明は動画像を編集する画像編集プログラム及び画像編集装置に関する。
【0002】
【従来の技術】
DVD、HDD、ビデオCD等に記録された動画像は一般にMPEG方式により圧縮されている。特許文献1には、MPEG方式の動画像を編集する画像編集装置が開示されている。この画像編集装置は、編集画面に設けられたスライドバーを移動すると、スライドバーの位置に応じた動画像のフレームを復号して表示する。ユーザは表示された画像を視認して所望の再生点を指定することができる。これにより、削除開始点及び削除終了点を指定してこの間のフレームを削除できるようになっている。
【0003】
【特許文献1】
特開2002−84503号公報(第8頁〜第9頁、第13図)
【0004】
【発明が解決しようとする課題】
MPEG方式の各フレームはIピクチャ、Pピクチャ、Bピクチャから成っている。Iピクチャは一つのフレームの画像データを圧縮して作成される。Pピクチャは直前のフレームの画像データとの差により作成される。Bピクチャは直前及び直後のフレームの画像データとの差により作成される。フレームは0.5秒間に通常15枚設けられており、その間におよそIピクチャが1枚、Pピクチャが4枚、Bピクチャが10枚程度含まれている。
【0005】
このため、例えばCMカットを行う際に多量のフレームの画像の中からCMが開始または終了するフレームを見つけるのが容易ではなく、編集作業の時間がかかる問題があった。また、PピクチャやBピクチャを復号する際には前後のフレームの情報を必要とし、前後のフレームがPピクチャやBピクチャの場合は更にその前後のフレームの情報を必要とするため復号時間がかかる。このため、復号時間によって編集作業が更に遅延する問題もあった。
【0006】
本発明は、編集作業の迅速化を図ることができる画像編集プログラム及び画像編集装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記目的を達成するために本発明の画像編集プログラム及び画像編集装置は、動画像を再生する動画再生工程と、
再生中の動画像からユーザにより選択された再生位置の前後所定期間に含まれるIピクチャを表示するIピクチャ表示工程と、
表示した各Iピクチャからユーザにより選択されたIピクチャとその直前または直後のIピクチャとの間に含まれる各フレームの画像を表示するフレーム表示工程と、
表示した各フレームの画像からユーザにより選択されたフレームを削除開始位置または削除終了位置として記憶する記憶工程と、
削除開始位置の直前のフレームの画像及び削除終了位置の直後のフレームの画像をIピクチャに変換する変換工程と、
削除開始位置から削除終了位置までのフレームを削除する削除工程と、
を備えたことを特徴としている。
【0008】
この構成によると、例えばCMカットする場合に、再生中の動画像からCMの開始位置の近傍の再生位置がユーザにより指定されると、指定した再生位置の近傍の複数のIピクチャが表示される。表示されたIピクチャの中からユーザがCMの開始位置を指定すると、指定したIピクチャと、その前またはその後のIピクチャとの間の各フレームが復号して表示される。表示されたフレームからCMの開始位置のフレームを選択すると選択したフレームが削除開始位置としてメモリに記憶される。同様にCMの終了位置のフレームが削除終了位置としてメモリに記憶される。削除開始位置の直前のフレームがBピクチャの場合は削除開始位置のフレームのデータに基づいて直前のフレームが復号され、Iピクチャに変換される。削除終了位置の直後のフレームがPピクチャやBピクチャの場合は削除終了位置のフレームのデータに基づいて直後のフレームが復号され、Iピクチャに変換される。そして、削除開始位置から削除終了位置までのフレームが削除されてCMカットが行われる。
【0009】
また本発明の画像編集プログラム及び画像編集装置は、動画像のデータからIピクチャを表示するIピクチャ表示工程と、
表示した各Iピクチャからユーザにより選択されたIピクチャとその直前または直後のIピクチャとの間に含まれる各フレームの画像を表示するフレーム表示工程と、
表示した各フレームの画像からユーザにより選択されたフレームを削除開始位置または削除終了位置として記憶する記憶工程と、
削除開始位置から削除終了位置までのフレームを削除する削除工程と、
を備えたことを特徴としている。
【0010】
この構成によると、動画像のデータからIピクチャを取り出してサムネールによる一覧表示、自動的に画像を連続して切り替える連続表示、ユーザによって画像を切り替るコマ送り表示等の方法により表示される。表示されたIピクチャの中からユーザがCMの開始位置の近傍を指定すると、指定したIピクチャと、その前またはその後のIピクチャとの間の各フレームが復号して表示される。表示されたフレームからCMの開始位置のフレームを選択すると選択したフレームが削除開始位置としてメモリに記憶される。同様にCMの終了位置のフレームが削除終了位置としてメモリに記憶される。
【0011】
また本発明は、上記構成の画像編集プログラム及び画像編集装置において、前記Iピクチャ表示工程は、ユーザにより選択された再生位置の前後所定期間に含まれるIピクチャを表示することを特徴としている。この構成によると、動画像の再生やIピクチャの連続表示の際にCMの開始位置の近傍の再生位置がユーザにより指定されると、指定した再生位置近傍の複数のIピクチャが表示される。
【0012】
【発明の実施の形態】
以下に本発明の実施形態を図面を参照して説明する。図1は一実施形態の画像編集装置を示すブロック図である。画像編集装置1はDVDレコーダやHDDレコーダ等から成り、画像の記録再生ができるとともに再生した画像を確認しながら編集可能になっている。画像編集装置1は各部を制御するCPU2を備えている。CPU2にはドライブ3、記憶部4、操作部5、デコーダ6及びエンコーダ7が接続されている。
【0013】
ドライブ3はDVDドライブ、HDD、CDドライブ等から成り、MPEG方式の動画像を記録するとともに動画像が記録された光ディスクや磁気記録媒体を再生する。記憶部4はROM、RAM、磁気記録媒体等から成り、画像編集装置1を動作させる画像編集プログラム等のプログラムや各種設定データを記憶するとともにや演算の一時記憶等を行う。
【0014】
操作部5は操作スイッチ、キーボード、ポインティングデバイス等から成り、画像編集装置の入力動作を行う。デコーダ6はドライブ3により取り出されるMPEG方式の記録信号を復号してビデオ信号に変換し、表示装置9に表示する。チューナ8はアンテナ10で捉えた電波からビデオ信号を取り出す。エンコーダ7はチューナ8から出力されるビデオ信号を圧縮してMPEG方式のデータに変換する。
【0015】
上記構成の画像編集装置1において、画像編集装置1の電源が入れられると記憶部4に記憶された画像編集プログラムが起動される。画像編集プログラムのメニュー画面(不図示)から例えば「録画」が選択されると、アンテナ10により受信された信号からチューナ8を介して取り出されたビデオ信号をエンコーダ8により画像圧縮してMPEGデータに変換する。MPEGデータはドライブ3によりDVD−RやHD等に記録される。
【0016】
画像編集プログラムのメニュー画面(不図示)から例えば「再生」が選択されると、ドライブ3によりDVDやHDからMPEGデータが取り出される。MPEGデータは、デコーダ6によってデータ伸張(復号)されるとともにビデオ信号に変換される。これにより、表示装置9に動画像が表示される。
【0017】
CMカットを行う場合には画像編集プログラムのメニュー画面(不図示)から例えば「編集」を選択すると、編集処理が呼び出される。図2〜図4は編集処理を示すフローチャートである。図2のステップ#11では上記と同様に、動画像の再生が行われる。
【0018】
ステップ#12では図3に示す開始位置指定処理が呼び出される。図3のステップ#21では、ユーザが再生中の動画像を確認しながら操作部5によりCMカットの開始位置を指定するまで待機する。CMカットの開始位置が指定されるとステップ#22に移行する。
【0019】
この時、再生中の動画像を確認しながら操作するため、ユーザの指定した再生位置は誤差を含み、正確にCMの開始位置を指定されていない場合がある。このため、ステップ#22では、指定した再生位置の例えば前後5秒間に含まれるIピクチャが表示される。通常Iピクチャは0.5秒間に1枚程度の割合で設けられるため、約20枚のIピクチャのサムネール画像が表示装置9に一覧表示される。1枚ずつのIピクチャをユーザの操作によりコマ送りして表示してもよい。
【0020】
ステップ#23ではCMが開始されたIピクチャをユーザが選択するまで待機する。Iピクチャが選択されると、ステップ#24に移行する。ステップ#24では、選択されたIピクチャと直前のIピクチャとの間に含まれたPピクチャ及びBピクチャのデータが復号して表示される。隣接するIピクチャ間には通常14枚程度のPピクチャ及びBピクチャが含まれるため、例えば16枚の各フレームのサムネール画像が表示装置9に一覧表示される。1枚ずつのフレームの画像をユーザの操作によりコマ送りして表示してもよい。
【0021】
ステップ#25ではCMの開始位置のフレームが選択されるまで待機し、フレームが選択されるとステップ#26に移行する。ステップ#26では選択したフレームの直前のフレームがBピクチャか否かが判断される。直前のフレームがIピクチャまたはPピクチャの場合はステップ#28に移行する。
【0022】
直前のフレームがBピクチャの場合は、選択したフレームを削除すると復号することができなくなる。このため、ステップ#27に移行し、選択したフレームの削除前に直前のフレームを復号してIピクチャに変換する。
【0023】
ステップ#28では選択したフレームの先頭からのフレーム数やタイムコードから成る再生位置が記憶部4に記憶される。これにより、CMカットの開始位置を正確に指定し、図2のフローチャートに戻る。
【0024】
図2のステップ#13では図4の終了位置指定処理が呼び出される。終了位置指定処理は開始位置指定処理と同様の動作が行われる。ステップ#31では、ユーザが再生中の動画像を確認しながら操作部5によりCMカットの終了位置を指定するまで待機する。CMカットの終了位置が指定されるとステップ#32に移行する。
【0025】
ステップ#32では、指定した再生位置の例えば前後5秒間に含まれるIピクチャが表示装置9に一覧表示或いはコマ送り表示される。ステップ#33ではCMが終了して本編が開始されたIピクチャをユーザが選択するまで待機する。Iピクチャが選択されると、ステップ#34に移行する。
【0026】
ステップ#34では、選択されたIピクチャと直前のIピクチャとの間に含まれたPピクチャ及びBピクチャのデータが復号され、各フレームが表示装置9に一覧表示或いはコマ送り表示される。CMが終了したIピクチャを指定して、指定したIピクチャとその直後のIピクチャとの間のフレームを表示してもよい。
【0027】
ステップ#35ではCMの終了位置のフレームが選択されるまで待機し、フレームが選択されるとステップ#36に移行する。ステップ#36では選択したフレームの直後のフレームがIピクチャか否かが判断される。直後のフレームがIピクチャの場合はステップ#38に移行する。
【0028】
直後のフレームがPピクチャまたはBピクチャの場合は、選択したフレームを削除すると復号することができなくなる。このため、ステップ#37に移行し、選択したフレームの削除前に直後のフレームを復号してIピクチャに変換する。
【0029】
ステップ#38では選択したフレームの先頭からのフレーム数やタイムコードから成る再生位置が記憶部4に記憶される。これにより、CMカットの終了位置を正確に指定し、図2のフローチャートに戻る。
【0030】
図2において、ステップ#14で記憶部4に記憶されたCMの開始位置のフレームから終了位置のフレームまでが削除される。これによりCMカットが行われる。
【0031】
本実施形態によると、動画像の再生中に選択された再生位置の前後所定期間に含まれるIピクチャを表示し、各Iピクチャから選択されたIピクチャとその直前または直後のIピクチャとの間に含まれる各フレームを表示して削除開始位置と削除終了位置のフレームを選択する。
【0032】
従って、CM等の開始位置や終了位置のフレームを容易に見つけることができるため編集作業の作業性を向上させることができる。また、前後のフレームの情報を必要とするPピクチャやBピクチャを隣接するIピクチャ間だけ復号すればよい。このため、復号の時間を短縮することができ、編集作業の作業性を更に向上させることができる。
【0033】
尚、動画像のデータ全体からIピクチャのみを取り出して連続表示し、その中から選択したIピクチャとその直前または直後のIピクチャとの間に含まれる各フレームを表示して削除開始位置と削除終了位置のフレームを選択してもよい。この時、Iピクチャの連続表示に替えて、ユーザの指示によるコマ送り表示やスライドバーを操作してユーザが所望の位置のIピクチャを表示させて選択してもよい。
【0034】
また、連続表示されるIピクチャから選択した位置の前後所定期間(例えば5sec)内のIピクチャを表示した後、その中から選択されたIピクチャとその直前または直後のIピクチャとの間に含まれる各フレームを表示してもよい。
【0035】
【発明の効果】
本発明によると、動画像の再生中に選択された再生位置の前後所定期間に含まれるIピクチャや、動画像のデータから抽出されたIピクチャを表示し、各Iピクチャから選択されたIピクチャとその直前または直後のIピクチャとの間に含まれる各フレームを表示して削除開始位置と削除終了位置のフレームを選択する。
【0036】
従って、CM等の開始位置や終了位置のフレームを容易に見つけることができるため編集作業の作業性を向上させることができる。また、前後のフレームの情報を必要とするPピクチャやBピクチャを隣接するIピクチャ間だけ復号すればよい。このため、復号の時間を短縮することができ、編集作業の作業性を更に向上させることができる。
【図面の簡単な説明】
【図1】は、本発明の実施形態の画像編集装置を示すブロック図である。
【図2】は、本発明の実施形態の画像編集装置の編集処理を示すフローチャートである。
【図3】は、本発明の実施形態の画像編集装置の開始位置指定処理を示すフローチャートである。
【図4】は、本発明の実施形態の画像編集装置の終了位置指定処理を示すフローチャートである。
【符号の説明】
1 画像編集装置
2 CPU
3 ドライブ
4 記憶部
5 操作部
6 デコーダ
7 エンコーダ
8 チューナ
9 表示装置
10 アンテナ

Claims (6)

  1. 動画像を再生する動画再生工程と、
    再生中の動画像からユーザにより選択された再生位置の前後所定期間に含まれるIピクチャを表示するIピクチャ表示工程と、
    表示した各Iピクチャからユーザにより選択されたIピクチャとその直前または直後のIピクチャとの間に含まれる各フレームの画像を表示するフレーム表示工程と、
    表示した各フレームの画像からユーザにより選択されたフレームを削除開始位置または削除終了位置として記憶する記憶工程と、
    削除開始位置の直前のフレームの画像及び削除終了位置の直後のフレームの画像をIピクチャに変換する変換工程と、
    削除開始位置から削除終了位置までのフレームを削除する削除工程と、
    を備えたことを特徴とする画像編集プログラム。
  2. 動画像のデータからIピクチャを表示するIピクチャ表示工程と、
    表示した各Iピクチャからユーザにより選択されたIピクチャとその直前または直後のIピクチャとの間に含まれる各フレームの画像を表示するフレーム表示工程と、
    表示した各フレームの画像からユーザにより選択されたフレームを削除開始位置または削除終了位置として記憶する記憶工程と、
    削除開始位置から削除終了位置までのフレームを削除する削除工程と、
    を備えたことを特徴とする画像編集プログラム。
  3. 前記Iピクチャ表示工程は、ユーザにより選択された再生位置の前後所定期間に含まれるIピクチャを表示することを特徴とする請求項2に記載の画像編集プログラム。
  4. 動画像を再生する動画再生工程と、
    再生中の動画像からユーザにより選択された再生位置の前後所定期間に含まれるIピクチャを表示するIピクチャ表示工程と、
    表示した各Iピクチャからユーザにより選択されたIピクチャとその直前または直後のIピクチャとの間に含まれる各フレームの画像を表示するフレーム表示工程と、
    表示した各フレームの画像からユーザにより選択されたフレームを削除開始位置または削除終了位置として記憶する記憶工程と、
    削除開始位置の直前のフレームの画像及び削除終了位置の直後のフレームの画像をIピクチャに変換する変換工程と、
    削除開始位置から削除終了位置までのフレームを削除する削除工程と、
    を備えたことを特徴とする画像編集装置。
  5. 動画像のデータからIピクチャを表示するIピクチャ表示工程と、
    表示した各Iピクチャからユーザにより選択されたIピクチャとその直前または直後のIピクチャとの間に含まれる各フレームの画像を表示するフレーム表示工程と、
    表示した各フレームの画像からユーザにより選択されたフレームを削除開始位置または削除終了位置として記憶する記憶工程と、
    削除開始位置から削除終了位置までのフレームを削除する削除工程と、
    を備えたことを特徴とする画像編集装置。
  6. 前記Iピクチャ表示工程は、ユーザにより選択された再生位置の前後所定期間に含まれるIピクチャを表示することを特徴とする請求項5に記載の画像編集装置。
JP2002322663A 2002-11-06 2002-11-06 画像編集方法及び画像編集装置 Expired - Fee Related JP3922559B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002322663A JP3922559B2 (ja) 2002-11-06 2002-11-06 画像編集方法及び画像編集装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002322663A JP3922559B2 (ja) 2002-11-06 2002-11-06 画像編集方法及び画像編集装置

Publications (2)

Publication Number Publication Date
JP2004159082A true JP2004159082A (ja) 2004-06-03
JP3922559B2 JP3922559B2 (ja) 2007-05-30

Family

ID=32802789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002322663A Expired - Fee Related JP3922559B2 (ja) 2002-11-06 2002-11-06 画像編集方法及び画像編集装置

Country Status (1)

Country Link
JP (1) JP3922559B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005076607A1 (en) * 2004-02-03 2005-08-18 D & M Holdings Inc. Video signal playback unit and video signal playback method
JP2006033841A (ja) * 2004-07-15 2006-02-02 Samsung Electronics Co Ltd デジタル再生のための画面探索方法及び画面探索装置
JP2010226285A (ja) * 2009-03-23 2010-10-07 Seiko Epson Corp 画像供給装置、画像供給システム、画像供給方法、画像供給用プログラム、及び記録媒体
JP2016504790A (ja) * 2012-11-05 2016-02-12 ネクストリーミング、コーポレーションNexstreaming Corporation 動画像編集方法、その端末および記録媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005076607A1 (en) * 2004-02-03 2005-08-18 D & M Holdings Inc. Video signal playback unit and video signal playback method
JP2006033841A (ja) * 2004-07-15 2006-02-02 Samsung Electronics Co Ltd デジタル再生のための画面探索方法及び画面探索装置
US8532458B2 (en) 2004-07-15 2013-09-10 Samsung Electronics Co., Ltd. Picture search method and apparatus for digital reproduction
JP2010226285A (ja) * 2009-03-23 2010-10-07 Seiko Epson Corp 画像供給装置、画像供給システム、画像供給方法、画像供給用プログラム、及び記録媒体
JP2016504790A (ja) * 2012-11-05 2016-02-12 ネクストリーミング、コーポレーションNexstreaming Corporation 動画像編集方法、その端末および記録媒体

Also Published As

Publication number Publication date
JP3922559B2 (ja) 2007-05-30

Similar Documents

Publication Publication Date Title
JP4361674B2 (ja) 再生装置及びコンピュータ読取可能な記録媒体
JP4534501B2 (ja) 映像再生装置および記録媒体
EP1744553A1 (en) Recording/reproduction/edition device
JP3922559B2 (ja) 画像編集方法及び画像編集装置
US8437390B2 (en) Imaging apparatus
JP2006086612A (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP2004186718A (ja) ビデオデータ変換装置及びビデオデータ変換方法
JP2007200409A (ja) 撮像装置、記録装置及び記録方法
JP2008141383A (ja) 映像編集装置、映像編集システムおよび映像編集方法
JP3736146B2 (ja) 情報記憶媒体、および動画音声記録再生装置
JP2002252826A (ja) 書換え型光ディスクの映像記録方法及びその再生方法
JP2008097727A (ja) 動画再生装置
JP2007124432A (ja) 映像情報処理装置、および映像情報処理方法
JP2007201988A (ja) 録画再生装置
JP5687867B2 (ja) 情報処理装置、動画ファイル編集方法及びプログラム
JP2002237973A (ja) 記録装置、記録方法及び撮像装置
JPH09154099A (ja) 映像編集装置
JP2007081466A (ja) 画像処理装置及び方法
JP4186949B2 (ja) 情報記録再生装置
JP5240326B2 (ja) 映像再生装置および記録媒体
JP4697273B2 (ja) 記録装置、記録方法、再生装置、再生方法及び記録媒体
JP4654161B2 (ja) 記録装置及び記録方法
JP4991272B2 (ja) カメラ装置およびカメラ装置における再生制御方法
JP2004221884A (ja) 情報信号記録装置、情報信号記録方法および情報信号記録システム
JP2005012270A (ja) 録画装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070215

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110302

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120302

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120302

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130302

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130302

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140302

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees