JP2003019553A - スラグ検知方法、スラグ検知装置及び除滓装置 - Google Patents

スラグ検知方法、スラグ検知装置及び除滓装置

Info

Publication number
JP2003019553A
JP2003019553A JP2001201732A JP2001201732A JP2003019553A JP 2003019553 A JP2003019553 A JP 2003019553A JP 2001201732 A JP2001201732 A JP 2001201732A JP 2001201732 A JP2001201732 A JP 2001201732A JP 2003019553 A JP2003019553 A JP 2003019553A
Authority
JP
Japan
Prior art keywords
slag
molten metal
brightness
peak
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001201732A
Other languages
English (en)
Other versions
JP3565340B2 (ja
Inventor
Hiroyuki Sugiura
寛幸 杉浦
Mikiyuki Asano
幹之 浅野
Mitsuaki Uesugi
満昭 上杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Engineering Corp
Original Assignee
NKK Corp
Nippon Kokan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NKK Corp, Nippon Kokan Ltd filed Critical NKK Corp
Priority to JP2001201732A priority Critical patent/JP3565340B2/ja
Publication of JP2003019553A publication Critical patent/JP2003019553A/ja
Application granted granted Critical
Publication of JP3565340B2 publication Critical patent/JP3565340B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Continuous Casting (AREA)
  • Casting Support Devices, Ladles, And Melt Control Thereby (AREA)

Abstract

(57)【要約】 【課題】 スラグ性状による明るさ変動等に対応して、
スラグと溶融金属とを正しく区別して判断することがで
きるスラグ検知方法を提供する。 【解決手段】 輝度のヒストグラムにおいて、ピーク値
が2つあるときは、スラグ掻き出しの中期であると判断
する。輝度のヒストグラムのピーク値が一つの場合、ピ
ーク値の輝度が前期、後期判断閾値となる輝度より低い
場合は前期、高い場合は後期と判断する。(a)に示す
前期、(c)に示す後期においては、ピークが一つしか
ないので、このピークに正規分布を当てはめる。そし
て、前期においては、ピーク値よりそのσだけ輝度の高
い位置をスラグ判断閾値とする。後期においては、ピー
ク値よりそのσだけ輝度の低い位置をスラグ判断閾値と
する。(b)に示す中期においては、輝度の低い方のピ
ークに正規分布を当てはめ、当該ピーク値よりそのσだ
け輝度の高い位置をスラグ判断閾値とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は高炉又は、転炉等か
ら溶融金属容器に取り出された溶融金属の表面に浮遊す
るスラグを検出するスラグ検知方法、スラグ検知装置、
及び検出されたスラグを除去する除滓装置に関するもの
である。
【0002】
【従来の技術】高炉や転炉から溶融金属容器に取り出さ
れた溶融金属の表面には、スラグが浮遊している。この
ようなスラグは、後工程で有害な作用を有するので、後
工程に送る前に、スラグ除去装置により除去することが
行われている。すなわち、図6に示すように、台車1に
搭載された溶融金属容器2を、傾動クレーン3によって
傾動させ、溶融金属容器2中の溶融金属の表面に浮遊す
るスラグ4を、除滓装置5により掻き出して除去する。
除滓装置5は、掻き出しアーム5aを有しており、その
先端には掻き出し板5bが取り付けられている。そし
て、操作盤8から、手動でシリンダ5cを駆動して、掻
き出しアーム5aと掻き出し板5bを上下左右し、除滓
装置5を前後させながら、スラグ4を溶融金属容器2中
より掻き出す。
【0003】掻き出すべきスラグは、目視によりその位
置を認識する場合もあるが、テレビ6により、溶融金属
容器内2内の表面を撮像してモニタ装置7に映し出し、
それを見ながら、除滓装置5を操作する場合が多い。
【0004】このような除滓装置を自動化し、省力化を
図る試みもいくつかなされている。例えば特開平4−2
62856号公報には3台のテレビカメラによって溶融
金属容器の姿勢と湯面状態を認識し、監視者の判断を要
さずに除滓作業を行う方法が提案されている。この技術
は、テレビカメラにより撮像された溶融金属湯面画像か
ら、画像処理によってスラグの重心位置を計算し、計算
された重心位置に基づいてスラグ位置認識を行うもので
ある。
【0005】また特開平7−1059053号公報に
は、カメラによって溶融金属容器内の湯面を撮像してそ
の画像デ−タから湯面のスラグ占有面積を算出し、スラ
グ占有面積に基づいてスラグの有無を判定する技術が開
示されている。
【0006】
【発明が解決しようとする課題】しかしながら上記従来
技術では、「画像処理によりスラグの重心位置を計算す
る」、「画像デ−タからスラグ占有面積を算出する」と
記述があるが、いずれも具体的にどのような画像処理を
行ってスラグと溶融金属を判断するかの記述がなく、具
体的なスラグと溶融金属の判断方式がなかった。スラグ
と溶融金属の判別を行う方法としては、撮像される画像
の輝度の閾値を設け、輝度が当該閾値を超えた部分を溶
融金属、閾値以下の部分をスラグと判別するのが普通で
ある。
【0007】しかしながら、スラグの輝度は、スラグの
粘性等の性状によって、また溶融金属容器内に残ってい
るスラグ量によって時々刻々見え方が変化する。そのた
め、前記閾値を固定しておくとスラグと溶融金属を正し
く判断できないという問題があった。
【0008】本発明はかかる問題点を解決するためにな
されたものであり、スラグ性状による明るさ変動、スラ
グ掻き出し量による明るさ変動に対応して、スラグと溶
融金属とを正しく区別して判断することができるスラグ
検知方法、スラグ検知装置、及びこのスラグ検知装置を
使用した除滓装置を提供することを課題とする。
【0009】
【課題を解決するための手段】前期課題を解決するため
の第1の手段は、溶融金属容器近傍に設置された撮像装
置によって、溶融金属容器内の湯面を撮像し、撮像され
た画像デ−タから輝度ヒストグラムを求め、輝度ヒスト
グラムのパターンからスラグ掻き出しの前期・中期・後
期の判断を行い、前期・中期・後期毎の輝度ヒストグラ
ムピーク位置よりスラグ判断閾値を求め、設定された閾
値で輝度を2値化し、スラグと溶融金属とを識別するこ
とを特徴とするスラグ検知方法(請求項1)である。
【0010】本手段においては、撮像装置で溶融金属容
器内の湯面を撮像する。撮像された画面は、例えば図1
のようなものであり、溶融金属容器2中の溶融金属9の
上にスラグ4が浮遊している。溶融金属は明るく、スラ
グは暗く見える。なお、2aはスラグ掻き出し口であ
る。
【0011】撮像された画像デ−タから求められた輝度
ヒストグラムは、スラグ掻き出しの前期・中期・後期に
よってそのパターンが大きく異なるので、このヒストグ
ラムのパターンより、前期・中期・後期のいずれかを判
断することができる。
【0012】これらの各時期に応じた輝度ヒストグラム
のピーク位置よりスラグと溶融金属の閾値を決定する
と、正確にスラグと溶融金属の識別をすることができ
る。よって、この閾値に基づいて輝度を2値化すること
により、スラグを検知することができる。
【0013】前記課題を解決するための第2の手段は、
溶融金属容器近傍に設置された撮像装置によって、溶融
金属容器内の湯面を撮像し、その画像から容器内のスラ
グと溶融金属を弁別してスラグを検知するスラグ検知装
置であって、溶融金属容器内の湯面を撮像する撮像装置
と、撮像された画像デ−タから輝度ヒストグラムを求
め、輝度ヒストグラムのパターンからスラグ掻き出しの
前期・中期・後期の判断を行うスラグ掻き出し時期判定
手段と、前期・中期・後期毎の輝度ヒストグラムピーク
位置よりスラグ判断閾値を求める閾値判断手段と、設定
された閾値で輝度を2値化し、スラグと溶融金属とを識
別するスラグ識別手段を備えたことを特徴とするスラグ
検知装置(請求項2)である。
【0014】本手段においては、撮像装置で溶融金属容
器内の湯面を撮像する。そして、スラグ掻き出し時期判
断手段が、撮像された画像データから輝度のヒストグラ
ムを求め、輝度ヒストグラムのパターンからスラグ掻き
出しの前期・中期・後期の判断を行う。その後、閾値判
断手段が、前期・中期・後期毎の輝度ヒストグラムピー
ク位置よりスラグ判断閾値を求める。さらに、スラグ識
別手段が求められたスラグ判断閾値を用いて、スラグを
溶融金属から識別して検知する。
【0015】本手段においては、以上のような段階を経
てスラグの識別を行っているので、スラグ性状による明
るさ変動、スラグ掻き出し量による明るさ変動がある場
合でも、正しくスラグを検出することができる。
【0016】前記課題を解決するための第3の手段は、
前記第1の手段又は第2の手段により求めたスラグ位置
の信号を受けてスラグを掻き出す経路を求め、その経路
に従ってスラグを掻き出す機能を有することを特徴とす
る除滓装置(請求項3)である。
【0017】本手段においては、スラグの位置に応じて
スラグを掻き出す経路を求めて、それに従ってスラグを
欠き出しているので、効率的にスラグを掻き出すことが
でき、除滓に要する時間を短縮することができる。
【0018】
【発明の実施の形態】以下、本発明の実施の形態の例
を、図を用いて説明する。図2に、スラグ掻き出しの前
期(a)、中期(b)、後期(c)における湯面画像と
それらの画像と、画素の輝度のヒストグラムを示す。ヒ
ストグラムにおいて、横軸は輝度を示す値、縦軸は画素
数である。このヒストグラムにおいては、スラグ掻き出
しの前期には、ヒストグラムのピークが輝度の低い位置
に一つあり、スラグ掻き出しの中期には、ヒストグラム
のピークが2つに別れ、一方がスラグを、他方が溶融金
属を示す。そして、スラグ掻き出しの後期には、ヒスト
グラムのピークは再び一つになるが、その位置は輝度の
高い位置となる。
【0019】よって、輝度のヒストグラムにおいて、ピ
ーク値が2つあるときは、スラグ掻き出しの中期である
と判断する。そして、図2に示すように、前期、後期判
断閾値となる輝度を予め定めておき、輝度のヒストグラ
ムのピーク値が一つの場合、ピーク値の輝度が前期、後
期判断閾値となる輝度より低い場合は前期、高い場合は
後期と判断する。ヒストグラムに細かい凹凸が多数ある
場合には、移動平均等によりスムーシングを行って細か
い凹凸を消してから以上のような処理を行えばよい。
【0020】次に、前期、中期、後期ごとに、スラグと
判断する閾値を決定する。この方法を図3により説明す
る。(a)に示す前期、(c)に示す後期においては、
ピークが一つしかないので、このピークに正規分布を当
てはめる。例えば、ピーク値の画素数の3/4以上の画
素数を有する部分を抽出し、その部分について、正規分
布を最小二乗法等を使用して当てはめる。
【0021】このようにして正規分布が求まった場合、
前期においては、ピーク値よりそのσだけ輝度の高い位
置をスラグ判断閾値とする。後期においては、ピーク値
よりそのσだけ輝度の低い位置をスラグ判断閾値とす
る。(b)に示す中期においては、ピーク値が2つある
ので、輝度の低い方のピークに正規分布を当てはめ、当
該ピーク値よりそのσだけ輝度の高い位置をスラグ判断
閾値とする。
【0022】ここでは、ピーク位置+正規分布のσに対
応する位置、及びピーク位置−正規分布のσに対応する
位置を閾値としたが、ヒストグラム全数(全面積)に
「対するピーク面積(正規分布面積)の面積率で、ピー
ク位置での面積を求め、面積閾値より低い場合には、次
のピークとの間で閾値面積になる位置を求めて閾値とし
てもよい。
【0023】図4に、検出されたスラグを自動的に適当
な経路を通って掻き出す方法の例を示す。図4(a)
は、前記方法によって識別されたスラグ4と溶融金属9
を2値化して示した図で、黒い部分がスラグ4を白い部
分が溶融金属9を示している。画像処理においては、溶
融金属容器2の表面を図に示すように9個の部分に分
け、各部分におけるスラグの面積率を算出する。その結
果、図4(b)に示すように、各部分のスラグ面積率が
算出されたとする。
【0024】スラグ掻き出し経路算出手段は、このうち
最もスラグの多い経路を通ってスラグを掻き出すよう
に、除滓装置に指示を出す。あるいは、スラグ掻き出し
経路算出手段が除滓装置の中に組み込まれていてもよい
し、上記のような溶融金属容器表面の各部分におけるス
ラグ占有率を計算する部分自体を除滓装置に組み込んで
もよい。
【0025】図4(b)の場合、スラグ面積率が40
%、50%と最も多い2つの経路を、掻き出し板が通る
ように除滓装置を駆動する。これによって、その部分の
スラグが掻き出され、その他の部分の状態が変わらなけ
れば、次は、スラグ面積率が10%、10%、25%の
部分を掻き出し板が通るように除滓装置を駆動する。
【0026】図5に、本発明の実施の形態である除滓装
置の例を示す。台車1に搭載された溶融金属容器2を、
傾動クレーン3によって傾動させ、溶融金属容器2中の
溶融金属の表面に浮遊するスラグ4を、除滓装置5によ
り掻き出して除去する。除滓装置5は、掻き出しアーム
5aを有しており、その先端には掻き出し板5bが取り
付けられている。溶融金属容器2の表面はテレビカメラ
6により撮像され、その信号が画像処理部10に入っ
て、前述のような方法により、スラグ4と溶融金属9が
識別される。その信号は2値化され、モニタ装置7に表
示されると共に、除滓装置5の制御装置11に送られ
る。
【0027】制御装置11は、前述のような方法によ
り、適当なスラグ掻き出し経路を定め、掻き出し板5b
がその経路を通るように、シリンダ5cを駆動して、掻
き出しアーム5aと掻き出し板5bを上下左右し、除滓
装置5を前後させながら、スラグ4を溶融金属容器2中
より掻き出す。このようにして、自動で、スラグの位置
を的確に認識しながら除滓作業を行うことができる。
【0028】
【発明の効果】以上説明したように、本発明のうち請求
項1及び請求項2に係る発明においては、スラグ性状に
よる明るさ変動、スラグ掻き出し量による明るさ変動が
ある場合でも、正しくスラグを検出することができる。
【0029】請求項3に係る発明においては、効率的に
スラグを掻き出すことができ、除滓に要する時間を短縮
することができる。
【図面の簡単な説明】
【図1】撮像された溶融金属容器の湯面の例を示す図で
ある。
【図2】スラグ掻き出しの前期、中期、後期における湯
面画像とそれらの画像と、画素の輝度のヒストグラムを
示す図である。
【図3】前期、中期、後期ごとに、スラグと判断する閾
値を決定する方法を示す図である。
【図4】検出されたスラグを自動的に適当な経路を通っ
て掻き出す方法の例を示す図である
【図5】本発明の実施の形態である除滓装置の例を示す
図である。
【図6】従来の除滓装置の例を示す図である。
【符号の説明】
1…台車、2…溶融金属容器、3…傾動クレーン、4…
スラグ、5…除滓装置、5a…掻き出しアーム、5b…
掻き出し板、6…テレビカメラ、7…モニタ装置、8…
操作盤、9…溶融金属、10…画像処理部、11…制御
装置
フロントページの続き (72)発明者 上杉 満昭 東京都千代田区丸の内一丁目1番2号 日 本鋼管株式会社内 Fターム(参考) 4E004 MB19

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 溶融金属容器近傍に設置された撮像装置
    によって、溶融金属容器内の湯面を撮像し、撮像された
    画像デ−タから輝度ヒストグラムを求め、輝度ヒストグ
    ラムのパターンからスラグ掻き出しの前期・中期・後期
    の判断を行い、前期・中期・後期毎の輝度ヒストグラム
    ピーク位置よりスラグ判断閾値を求め、設定された閾値
    で輝度を2値化し、スラグと溶融金属とを識別すること
    を特徴とするスラグ検知方法。
  2. 【請求項2】 溶融金属容器近傍に設置された撮像装置
    によって、溶融金属容器内の湯面を撮像し、その画像か
    ら容器内のスラグと溶融金属を弁別してスラグを検知す
    るスラグ検知装置であって、溶融金属容器内の湯面を撮
    像する撮像装置と、撮像された画像デ−タから輝度ヒス
    トグラムを求め、輝度ヒストグラムのパターンからスラ
    グ掻き出しの前期・中期・後期の判断を行うスラグ掻き
    出し時期判定手段と、前期・中期・後期毎の輝度ヒスト
    グラムピーク位置よりスラグ判断閾値を求める閾値判断
    手段と、設定された閾値で輝度を2値化し、スラグと溶
    融金属とを識別するスラグ識別手段を備えたことを特徴
    とするスラグ検知装置。
  3. 【請求項3】請求項1に記載のスラグ検知方法又は請求
    項2に記載のスラグ検知装置により求めたスラグ位置の
    信号を受けてスラグを掻き出す経路を求め、その経路に
    従ってスラグを掻き出す機能を有することを特徴とする
    除滓装置。
JP2001201732A 2001-07-03 2001-07-03 スラグ検知方法、スラグ検知装置及び除滓装置 Expired - Fee Related JP3565340B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001201732A JP3565340B2 (ja) 2001-07-03 2001-07-03 スラグ検知方法、スラグ検知装置及び除滓装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001201732A JP3565340B2 (ja) 2001-07-03 2001-07-03 スラグ検知方法、スラグ検知装置及び除滓装置

Publications (2)

Publication Number Publication Date
JP2003019553A true JP2003019553A (ja) 2003-01-21
JP3565340B2 JP3565340B2 (ja) 2004-09-15

Family

ID=19038642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001201732A Expired - Fee Related JP3565340B2 (ja) 2001-07-03 2001-07-03 スラグ検知方法、スラグ検知装置及び除滓装置

Country Status (1)

Country Link
JP (1) JP3565340B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007260702A (ja) * 2006-03-27 2007-10-11 Aisin Seiki Co Ltd 溶湯装置
JP2010142812A (ja) * 2008-12-16 2010-07-01 Map Sayama:Kk アルミニユム搬送用溶湯ポット内表面酸化物排出装置。
WO2018105652A1 (ja) 2016-12-06 2018-06-14 新日鐵住金株式会社 溶融金属表面のスラグ体積評価方法
WO2018151078A1 (ja) * 2017-02-14 2018-08-23 新日鐵住金株式会社 溶鋼流中のスラグ検出方法
WO2018151075A1 (ja) * 2017-02-14 2018-08-23 新日鐵住金株式会社 溶鋼流中のスラグ検出方法
CN113467437A (zh) * 2020-03-31 2021-10-01 宝山钢铁股份有限公司 一种kr自动扒渣智能路径的优化方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4569505B2 (ja) * 2006-03-27 2010-10-27 アイシン精機株式会社 溶湯装置
JP2007260702A (ja) * 2006-03-27 2007-10-11 Aisin Seiki Co Ltd 溶湯装置
JP2010142812A (ja) * 2008-12-16 2010-07-01 Map Sayama:Kk アルミニユム搬送用溶湯ポット内表面酸化物排出装置。
EP3553463A4 (en) * 2016-12-06 2020-07-29 Nippon Steel Corporation METHOD FOR EVALUATING THE QUANTITY OF SLAG ON THE SURFACE OF MOLTEN METAL
WO2018105652A1 (ja) 2016-12-06 2018-06-14 新日鐵住金株式会社 溶融金属表面のスラグ体積評価方法
US10845352B2 (en) 2016-12-06 2020-11-24 Nippon Steel Corpoation Slag volume evaluation method for molten metal surface
KR20190077049A (ko) 2016-12-06 2019-07-02 닛폰세이테츠 가부시키가이샤 용융 금속 표면의 슬래그 체적 평가 방법
WO2018151078A1 (ja) * 2017-02-14 2018-08-23 新日鐵住金株式会社 溶鋼流中のスラグ検出方法
CN110268074A (zh) * 2017-02-14 2019-09-20 日本制铁株式会社 钢液流中的渣检测方法
CN110268073A (zh) * 2017-02-14 2019-09-20 日本制铁株式会社 钢液流中的渣检测方法
JPWO2018151075A1 (ja) * 2017-02-14 2019-11-21 日本製鉄株式会社 溶鋼流中のスラグ検出方法
JPWO2018151078A1 (ja) * 2017-02-14 2019-12-19 日本製鉄株式会社 溶鋼流中のスラグ検出方法
TWI667088B (zh) * 2017-02-14 2019-08-01 日商日本製鐵股份有限公司 熔鋼流中的熔渣檢測方法
WO2018151075A1 (ja) * 2017-02-14 2018-08-23 新日鐵住金株式会社 溶鋼流中のスラグ検出方法
CN113467437A (zh) * 2020-03-31 2021-10-01 宝山钢铁股份有限公司 一种kr自动扒渣智能路径的优化方法
CN113467437B (zh) * 2020-03-31 2022-06-28 宝山钢铁股份有限公司 一种kr自动扒渣智能路径的优化方法

Also Published As

Publication number Publication date
JP3565340B2 (ja) 2004-09-15

Similar Documents

Publication Publication Date Title
JP3778015B2 (ja) スラグ検知方法、スラグ検知装置、及び除滓装置
JP5088165B2 (ja) 欠陥検出方法および欠陥検出装置
JP3565340B2 (ja) スラグ検知方法、スラグ検知装置及び除滓装置
CN101282419B (zh) 一种自动坏点检测方法与设备
CN113063474A (zh) 一种渣液面实时检测方法、装置、设备及存储介质
CN113052816A (zh) 一种炉口图像识别方法、装置、设备及存储介质
JPH09293141A (ja) 移動物体検出装置
CN115953726B (zh) 机器视觉的集装箱箱面破损检测方法和系统
JP4542471B2 (ja) 高炉出銑口径の測定方法及び測定装置
JP4244818B2 (ja) 流下ガラス流下速度計測方法および計測装置
JP3961344B2 (ja) 画像処理システム、画像処理方法、画像処理プログラム
JP2000137877A (ja) 火災検出装置
JP5567804B2 (ja) 外観検査装置
JPH0514891A (ja) 画像監視装置
JPH04238592A (ja) 結束棒鋼自動検数装置
EP4257258A1 (en) Abnormality detection device and abnormality detection method
JPH04147045A (ja) 表面検査装置
JPH09182953A (ja) スラグ検知方法
JPH0944671A (ja) 高輝度物体認識装置
JP2009074828A (ja) 欠陥検出方法および欠陥検出装置
JPH067171B2 (ja) 移動物体の検知方法
JP2002214151A (ja) 表面疵検査方法
JPH1013821A (ja) 映像監視追跡装置
CN111757002B (zh) 图像处理方法、输出控制方法、图像采集设备及显示设备
JPH07296166A (ja) 混雑度検出装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040520

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040602

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080618

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090618

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110618

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140618

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees