JP3304386B2 - 画像表示方法 - Google Patents

画像表示方法

Info

Publication number
JP3304386B2
JP3304386B2 JP08552092A JP8552092A JP3304386B2 JP 3304386 B2 JP3304386 B2 JP 3304386B2 JP 08552092 A JP08552092 A JP 08552092A JP 8552092 A JP8552092 A JP 8552092A JP 3304386 B2 JP3304386 B2 JP 3304386B2
Authority
JP
Japan
Prior art keywords
video
image
moving image
data
video ram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP08552092A
Other languages
English (en)
Other versions
JPH05289650A (ja
Inventor
章男 大場
敏郎 渡辺
秀雄 寺沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP08552092A priority Critical patent/JP3304386B2/ja
Publication of JPH05289650A publication Critical patent/JPH05289650A/ja
Application granted granted Critical
Publication of JP3304386B2 publication Critical patent/JP3304386B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、例えばビデオテープ
やビデオディスク等に記録されている動画像情報を把握
するのに適用して好適な画像表示方法に関する。
【0002】
【従来の技術】従来、ビデオテープやビデオディスク等
に記録されている動画像情報を把握する場合、2次元の
画像情報を時間の流れに沿って順次呈示することで行な
われている。
【0003】
【発明が解決しようとする課題】このため、各時点では
1枚の2次元画像を見ているに過ぎない。したがって、
例えばVTRにおける早送りや巻戻しといった時間軸方
向の操作を行なう場合、適切な状況把握や予測をするこ
とが困難であった。
【0004】そこで、この発明では、時間軸方向の状況
の把握が容易となる画像表示方法を提供することを目的
とする。
【0005】
【課題を解決するための手段】この発明は、2次元表示
される一連の動画像データをそれぞれのサンプリング位
置を一の方向に順次移動させながら他の方向に1次元的
にサンプリングして得られるデータに基づいて構成した
静止画像と動画像データに基づいて構成した動画像とを
同時に表示すると共に、静止画像を動画像の進行に合わ
せてスクロール表示することを特徴とするものである。
【0006】また、表示する静止画像は、動画像を基準
として過去、現在および未来の静止画像とすることを特
徴とするものである
【0007】
【作用】静止画像は1次元的にサンプリングして得られ
たデータに対応する1次元的な画像をつなぎ合わせたも
のとなる。この静止画像は一連の動画像データの概要を
時間経過に対応させて圧縮した静止画像として確認でき
る。そのため、動画像と同時に表示される静止画像によ
って時間の流れと過去や未来の時間軸方向の状況を容易
に把握し得る。
【0008】
【実施例】以下、図面を参照しながら、この発明の一実
施例について説明する。
【0009】従来の動画像表示では、時間の進行に従っ
て動画像情報(図2Aに図示)から逐次2次元画像情報
が引き出されて画面100上に動画像のみが表示される
(同図Bに図示)。なお、tは時間方向を示している。
【0010】これに対して、本例においては、動画像情
報(図3Aに図示)から逐次2次元画像情報が引き出さ
れて画面100上に動画像が表示される。また、動画像
データの集合であるビデオ映像群が一種のビデオスライ
ス処理されて(同図Bの実線参照)、ビデオインデック
ス(同図Cに図示)が形成される。そして、このビデオ
インデックス(静止画)が、画面100上に動画像と同
時に表示される(同図Dに図示)。なお、ビデオインデ
ックスは動画像の進行に合わせて横方向(矢印a方向)
にスクロール表示される。
【0011】次に、ビデオインデックスに関して説明す
る。
【0012】図4は、ビデオインデックスを作成するた
めの動画像データの処理を示している。同図において、
1は全体としてビデオ映像群を示している。このビデオ
映像群1は、例えばビデオテープやビデオディスク等に
記録されている一連の動画像データに対応する動画像を
フレーム2の単位で時間方向に並べたものと考えること
ができる。
【0013】ビデオ信号のフレーム周波数は30Hz
(NTSC方式)であるため、ビデオ映像群1として1
秒間に30枚のフレーム2が配される。2A〜2Eは、
ビデオ映像群1の一連のフレームを示している。
【0014】4はフレーム2上に設定される画像データ
入力用の垂直スリット(入力スリット)であり、この垂
直スリット4によってフレーム2の画像がサンプリング
される。この垂直スリット4は水平方向(H方向)に所
定速度で走査し、フレーム2の右端部に達したら再び左
端部からH方向に繰り返し走査する。したがって、垂直
スリット4は時間軸を含めた3次元空間では斜めのHt
方向に走査される。
【0015】垂直スリット4がビデオ映像群1を左端部
からHt方向に右端部まで走査するときは、f枚のフレ
ーム2を横切り、この垂直スリット4によってn枚(通
常はn=1)のフレームについて1個のスリット状の画
像がサンプリングされるものと仮定する。
【0016】fをnの倍数に選ぶと所定の整数Xを用い
て、 f=nX が成立し、f枚のフレーム2からなるフレーム群(3
A、3B等)からそれぞれX個のスリット状の画像がサ
ンプリングされる。
【0017】本例においては、垂直スリット4がビデオ
映像群1を左端部からHt方向に右端部まで走査するの
に要する時間が12秒に設定されると共に、n=1に設
定され、 f=X=12×30=360 となる。
【0018】フレーム群3Aより得られるX個のスリッ
ト状の画像が水平方向につなぎ合わせられ、さらに水平
および垂直方向に圧縮されて縮小画面6Aが形成され
る。同様に、フレーム群3Bより得られるX個のスリッ
ト状の画像が水平方向につなぎ合わせられ、水平および
垂直に圧縮されて縮小画面6Bが形成される。以下のフ
レーム群に対応しても同様にして縮小画面が繰り返し形
成される。
【0019】実際には、垂直スリット4によってサンプ
リングされるスリット状の画像は1個ずつ時系列的に生
成されるので、生成順に圧縮処理されて縮小画面が形成
される。
【0020】例えば、フレーム2A〜2Eに対応してそ
れぞれ垂直スリット4A〜4EがH方向に順次走査する
ように割り当てられる。各垂直スリット4A〜4Eでサ
ンプリングされるスリット上の画像が、それぞれ圧縮さ
れて垂直スリット(出力スリット)7A〜7Eの部分の
画像とされる。
【0021】図1は、本発明方法を適用した画像表示装
置を示している。同図において、8はホストコンピュー
タを示している。このホストコンピュータ8はビデオイ
ンデックス作成や動画縮小画面形成等の装置全体の制御
手段として機能する。
【0022】11はシステムバス、12はキーボードで
あり、オペレータはキーボード12より入出力回路13
およびシステムバス11を介してホストコンピュータ8
に各種コマンドを与えるようにされる。
【0023】14Aは動画像データ源としてのビデオデ
ィスク装置、14B1 〜14BN も動画像データ源とし
てのVTR、15はA/D変換器である。10はスイッ
チ回路であり、このスイッチ回路10ではビデオディス
ク装置14A、VTR14B1 〜14BN の相互間での
ビデオ信号の入出力切換、A/D変換器15に供給する
ビデオ信号の切り換え等が行なわれる。
【0024】16aはフレームメモリよりなるビデオR
AM(VRAM1)である。スイッチ回路10より出力
されるビデオ信号(例えばY,R−Y,B−Y、または
R,G,Bのコンポーネント信号)はA/D変換器15
でディジタルデータに変換されたのち、ビデオRAM
(VRAM1)16aに書き込まれる。
【0025】ビデオRAM16aの記憶領域は、実際の
表示画面に対応して、図5に示すように水平方向(VX
1方向)にHLドット、垂直方向(VY1方向)にVL
ドットとされる。ビデオRAM16aのアドレスは、座
標(VX1,VY1)(0≦VX1≦HL−1,0≦V
Y1≦VL−1)で指示される。
【0026】また、17はイメージプロセッサである。
このイメージプロセッサ17によってビデオインデック
スが作成される。すなわち、ビデオRAM16aの1フ
レーム分の画像データより垂直スリット4(図5参照)
で囲まれた部分のデータが読み出され、そのデータが圧
縮されてビデオインデックス用のビデオRAM(VRA
M2)16bの垂直スリット(出力スリット)7(図6
参照)で囲まれた部分に順次書き込まれる。
【0027】ビデオRAM16bは、例えば4個の縮小
画面分の画像データを記憶できる容量を持つようにされ
る。このビデオRAM16bの記憶領域は、図6に示す
ように水平方向(VX2方向)に4Xドット、垂直方向
(VY2方向)にYドットとされる。ビデオRAM16
bのアドレスは、座標(VX2,VY2)(0≦VX1
≦4X−1,0≦VY1≦Y−1)で指示される。
【0028】ビデオRAM16bに書き込まれたビデオ
インデックスの画像データは、表示用のビデオRAM
(VRAM3)16cのビデオインデックス領域に書き
込まれる(図8参照)。この場合、横スクロール表示さ
れるように、ビデオインデックス領域Lbの画像データ
は順次更新される。
【0029】なお、ビデオRAM16cには、後述する
ように動画像領域Laに書き込まれる画像データの時点
を現在とし、ビデオインデックス領域Lbの現在時点の
画像データが書き込まれる位置に対応してポインタを表
示するデータDpが書き込まれる(図8参照)。
【0030】また、A/D変換器15でディジタルデー
タに変換されたビデオ信号は遅延回路9で所定時間だけ
遅延されたのち、ビデオRAM(VRAM4)16dに
書き込まれる。そして、イメージプロセッサ17によっ
て、ビデオRAM16dに書き込まれた画像データが間
引き等の処理によって順次圧縮されて動画縮小画面デー
タが形成され、ビデオRAM16cの動画像領域Laに
順次更新して書き込まれる。
【0031】なお、イメージプロセッサ17を機能に対
応した手段の集合として表現すると、このイメージプロ
セッサ17は入力スリット移動手段17a、スリットデ
ータ読取り手段17b、出力スリット移動手段17c、
スリットデータ書込み手段17dおよび動画縮小画面デ
ータ形成手段17eよりなる。
【0032】ビデオインデックス作成時において、スイ
ッチ回路10より出力されるビデオ映像群1の画像デー
タが、ビデオRAM16a(図5に図示)を介して一連
のスリットデータとしてビデオRAM16b(図6に図
示)に書き込まれる際の一連の動作を、図7のフローチ
ャートに沿ってステップ毎に説明する。
【0033】この場合、ビデオRAM16aのそれぞれ
のフレームから1個ずつ抽出したスリットデータをX個
まとめて圧縮したものをビデオRAM16bの(X×
Y)個の画素よりなる縮小画面6A,6B,・・・とし
て書き込むものとする。
【0034】[ステップ101]次の式に従って、画素
ブロック33を構成するVX1,VY1方向の画素数△
X、△Yを計算する。
【0035】△X=HL/X △Y=VL/Y △X,△Yは整数でなくともよく、ビデオRAM16a
の(△X×△Y)個の画素よりなるブロック33の画素
データをビデオRAM16bの1個の画素34の値に圧
縮する。
【0036】本例においては、圧縮を簡易に行なうた
め、ビデオRAM16aのブロック33の左上隅の座標
(VX1,VY1)をアドレスとする画素のデータをそ
のままビデオRAM16bの座標(VX2,VY2)を
アドレスとする画素34のデータとする。△X,△Yが
非整数の場合には座標(VX1,VY1)は整数の対で
はなくなるので、座標(VX1,VY1)が指示する画
素の値は周囲の画素の値からの補間によって計算する。
【0037】また、4個の縮小画面(6A,6B,・・
・)の番号FRをそれぞれ0〜3とし、 FR=0 に初期設定する。
【0038】また、ビデオRAM16aには、スイッチ
回路10で選択された動画像データ源(以下、VTR1
4B1 として説明する)より1フレーム分の画像データ
を書き込む。
【0039】[ステップ102]ビデオRAM16aの
垂直スリット4の座標VX1、ビデオRAM16bの垂
直スリット7の座標VX2の初期値を、それぞれ0,F
R・Xに設定する。
【0040】[ステップ103]ビデオRAM16aの
垂直スリット4の座標VY1、ビデオRAM16bの垂
直スリット7の座標VY2の初期値を、それぞれ0,0
に設定する。
【0041】[ステップ104,105]イメージプロ
セッサ17は、ビデオRAM16aの座標(VX1,V
Y1)の画素のデータを読み取ってビデオRAM16b
の座標(VX2,VY2)の画素のデータとして書き込
んだ後に、座標VY1の値を△Yだけ増し、座標VY2
の値を1だけ増す。
【0042】[ステップ106]ビデオRAM16aの
垂直スリット4のデータをD1方向に読み出したときに
(図5参照)、ビデオRAM16bの垂直スリット7の
データはD2方向に書き込まれる(図6参照)。そし
て、ビデオRAM16aの垂直スリット4の座標VY1
がVL以下であるときにはステップ104に戻り、座標
VY1がVLを越えるときにはステップ107に進む。
【0043】[ステップ107,108]VX1の値を
△Xだけ増し、VX2の値を1だけ増す。このことは、
ビデオRAM16aの垂直スリット4の位置を△Xだけ
右に移し、ビデオRAM16bの垂直スリット7の位置
を1だけ右に移すことを意味する。
【0044】そして、ホストコンピュータ8はVTR1
4B1 よりスイッチ回路10を介して現在のフレームか
らn枚目のフレームの画像データを入力してビデオRA
M16aに書き込む。
【0045】[ステップ109]ビデオRAM16aの
垂直スリット4の座標VX1がHL以下であるときには
ステップ103に戻る。座標VX1がHLを越えたとき
には、ビデオRAM16aの垂直スリット4の水平方向
への1回の走査が完了したことを意味するので、ステッ
プ110に進む。
【0046】[ステップ110,111,112]縮小
画面の番号FRを1だけ増して、その番号FRが3以下
であるときにはステップ102に戻る。番号FRが3を
越えたときには、FR=0としてステップ102に戻
り、上述した動作を繰り返すことになる。
【0047】これにより、ビデオインデックスは連続し
て形成され、ビデオRAM16bには常に4画面分のビ
デオインデックス(静止画)のデータが書き込まれ、そ
のデータは順次更新されていく。
【0048】そのため、ビデオRAM16bの垂直スリ
ット7の移動に伴って、このビデオRAM16bの読み
出し領域をVX2方向に順次変更し、読み出された画像
データをビデオRAM16cのビデオインデックス領域
Lbに書き込むことにより、上述した水平方向のスクロ
ール表示が可能となる。この場合、ビデオRAM16b
の読み出し領域は、ビデオRAM16cの動画像領域L
aに書き込まれる画像データとほぼ同一時点のスリット
データ部分を中心として前後所定領域とされる。そし
て、中心のスリットデータがビデオRAM16cの現在
を示すポインタデータDpに対応するように書き込まれ
る。
【0049】図1に戻って、ビデオRAM16cより読
み出される画像データは、D/A変換器26でアナログ
信号に変換されてモニタ27に供給される。モニタ27
の画面100上には、図3Dに示すように動画像とビデ
オインデックスとが同時に表示される。ビデオインデッ
クスは動画像の進行に合わせて矢印方向に横スクロール
表示されるため、時間の流れとともに近過去や近未来の
画像情報が表示されることになる。
【0050】このように本例においては、動画像と同時
に、ビデオインデックスによって時間の流れと近過去や
近未来の画像情報を見ることができ、時間軸方向の状況
が把握しやすくなり、例えばVTRにおける早送りや巻
戻しといった時間軸方向の操作を容易とできる効果があ
る。また、各時点での画像に注視しなくてもビデオイン
デックスで概略を把握できる利益がある。
【0051】なお、上述実施例においては、動画像の表
示経路に遅延回路9を配して動画像の表示時間を遅らせ
ることで、モニタ27の画面100上に近過去、現在、
近未来の画像情報を示すビデオインデックスを表示する
ものであるが、遅延回路9を除くことで、モニタ27の
画面100上に近過去と現在の画像情報を示すビデオイ
ンデックスを表示することもできる。
【0052】この場合、表示用のビデオRAM16cに
は、現在を示すポインタデータDpが図9に示すように
ビデオインデックス領域Lbの端部に対応して書き込ま
れる。また、ビデオRAM16bの読み出し領域は、ビ
デオRAM16cの動画像領域Laに書き込まれる画像
データとほぼ同一時点のスリットデータ部分より前の所
定領域とされる。
【0053】図10は、モニタ27の画面100上の表
示を示しており、近過去と現在の画像情報を示すビデオ
インデックスが動画像と同時に表示される。
【0054】また、上述実施例においては、動画像デー
タよりビデオインデックスのデータを形成してモニタ2
7の画面100上に動画像とビデオインデックスを同時
に表示するようにしたものであるが、ビデオテープやビ
デオディスク等のパッケージメディアに予め動画像デー
タの他にビデオインデックスのデータを記録しておき
(図11A破線枠内参照)、通常表示では動画像のみを
表示し(同図Bに図示)、タイムストリーム表示では動
画像とビデオインデックスを同時に表示するようにして
もよい(同図Cに図示)。
【0055】さらに、実施例における遅延回路9として
は半導体メモリや遅延用ディスクメモリ等を使用するこ
とができる。
【0056】また、ビデオ映像群1の個々のフレーム2
より垂直スリット4を用いて画像データをサンプリング
する代わりに、水平スリットを用いて画像データをサン
プリングしてもよい。この場合は、水平スリットを所定
速度で周期的にフレーム2の上端から垂直方向(V方
向)に下端まで走査するように構成される。このように
サンプリングすることにより、ビデオインデックスを垂
直方向にスクロール表示することができる。
【0057】
【発明の効果】この発明によれば、動画像と同時に1次
元的にサンプリングして得られたデータに対応する1次
元的な画像をつなぎ合わせた静止画像(ビデオインデッ
クス)がスクロール表示されるため、その静止画像によ
って時間の流れと過去や未来の時間軸方向の状況を容易
に把握できる。例えば、VTRにおける早送りや巻戻し
といった時間軸方向の操作が容易となる利益がある。さ
らに、各時点の画像に注視しなくても概略を把握できる
効果がある。
【図面の簡単な説明】
【図1】本発明方法を適用した画像表示装置の構成図で
ある。
【図2】動画像の表示を説明するための図である。
【図3】動画像とビデオインデックスの表示を説明する
ための図である。
【図4】ビデオインデックスの概念を示す図である。
【図5】ビデオRAM(VRAM1)のデータ構造を示
す図である。
【図6】ビデオRAM(VRAM2)のデータ構造を示
す図である。
【図7】ビデオインデックスの作成時の動作を示すフロ
ーチャートである。
【図8】表示用のビデオRAMの領域を説明するための
図である。
【図9】表示用のビデオRAMの領域を説明するための
図である。
【図10】表示画面の他の例を示す図である。
【図11】パッケージメディアに動画像データと共に、
ビデオインデックスデータを記録した場合を説明するた
めの図である。
【符号の説明】
1 ビデオ映像群 2 フレーム 3A,3B フレーム群 4 垂直スリット(入力スリット) 6A,6B 縮小画面 7 垂直スリット(出力スリット) 8 ホストコンピュータ 10 スイッチ回路 14A ビデオディスク装置 14B1 〜14BN VTR 16a〜16d ビデオRAM 17 イメージプロセッサ 27 モニタ
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平2−93492(JP,A) 特開 平2−260075(JP,A) (58)調査した分野(Int.Cl.7,DB名) G09G 5/00 - 5/42 G06T 13/00 H04N 5/262 - 5/278 H04N 5/91 - 5/95

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 2次元表示される一連の動画像データを
    それぞれのサンプリング位置を一の方向に順次移動させ
    ながら他の方向に1次元的にサンプリングして得られる
    データに基づいて構成した静止画像と上記動画像データ
    に基づいて構成した動画像とを同時に表示すると共に、
    上記静止画像を上記動画像の進行に合わせてスクロール
    表示することを特徴とする画像表示方法。
  2. 【請求項2】 上記表示する静止画像は、上記動画像を
    基準として過去、現在および未来の静止画像とすること
    を特徴とする請求項1記載の画像表示方法。
JP08552092A 1992-04-07 1992-04-07 画像表示方法 Expired - Lifetime JP3304386B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP08552092A JP3304386B2 (ja) 1992-04-07 1992-04-07 画像表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08552092A JP3304386B2 (ja) 1992-04-07 1992-04-07 画像表示方法

Publications (2)

Publication Number Publication Date
JPH05289650A JPH05289650A (ja) 1993-11-05
JP3304386B2 true JP3304386B2 (ja) 2002-07-22

Family

ID=13861187

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08552092A Expired - Lifetime JP3304386B2 (ja) 1992-04-07 1992-04-07 画像表示方法

Country Status (1)

Country Link
JP (1) JP3304386B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3565228B2 (ja) * 1994-12-21 2004-09-15 日本電信電話株式会社 音可視化方法および装置
JP3736706B2 (ja) 1997-04-06 2006-01-18 ソニー株式会社 画像表示装置及び方法
JP3284542B2 (ja) * 1999-04-23 2002-05-20 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム格納媒体
JP3284546B2 (ja) * 1999-04-26 2002-05-20 ソニー株式会社 画像編集装置、画像編集方法、およびプログラム格納媒体
JP3812274B2 (ja) 2000-03-17 2006-08-23 株式会社日立製作所 映像アクセス装置及び映像アクセスプログラムを記録した記録媒体
US7697815B2 (en) 2001-02-28 2010-04-13 Kddi Corporation Video playback unit, video delivery unit and recording medium
KR101439845B1 (ko) * 2007-11-16 2014-09-12 삼성전자주식회사 디지털 이미지 처리장치

Also Published As

Publication number Publication date
JPH05289650A (ja) 1993-11-05

Similar Documents

Publication Publication Date Title
JP2656737B2 (ja) ビデオ情報を処理するためのデータ処理装置
US5635984A (en) Multi-picture control circuit and method for electronic still camera
JP2594424B2 (ja) ビデオ画像作成方法および装置
EP0744731B1 (en) Method and apparatus for synchronizing video and graphics data in a multimedia display system including a shared frame buffer
JPH07322165A (ja) 多数ビデオウィンドー同時表示方式
JPH0423994B2 (ja)
JP3304386B2 (ja) 画像表示方法
JPS63121364A (ja) テレビジヨン特殊効果装置の補間器
JPS6191777A (ja) ビデオ画像形成装置
JP2864523B2 (ja) 表示装置
JP3158291B2 (ja) 表示装置
JP3106561B2 (ja) 画像データ処理装置
EP0598613B1 (en) Improved interlaced display method
JPH06209406A (ja) 電子画像処理装置および画像データ作成方法
JPS6150318B2 (ja)
JPS62239672A (ja) 表示方法
JP3522299B2 (ja) 画像記憶装置
JPH06124189A (ja) 画像表示装置および画像表示制御方法
KR100202547B1 (ko) 텔레비젼의 화면분할 장치
JPH0530453A (ja) 画像記録媒体のインデツクス作成装置
JP3712138B2 (ja) 記録装置、記録再生装置、記録方法及び記録再生方法
JPH10274974A (ja) 画像表示制御装置
JPH06105228A (ja) 映像生成装置
JPH06101844B2 (ja) 画像処理装置
JPH06124080A (ja) 大容量画像表示方法及びその装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090510

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100510

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100510

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110510

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120510

Year of fee payment: 10

EXPY Cancellation because of completion of term