JP2003166815A - 物体の三次元高さ計測方法 - Google Patents

物体の三次元高さ計測方法

Info

Publication number
JP2003166815A
JP2003166815A JP2001367505A JP2001367505A JP2003166815A JP 2003166815 A JP2003166815 A JP 2003166815A JP 2001367505 A JP2001367505 A JP 2001367505A JP 2001367505 A JP2001367505 A JP 2001367505A JP 2003166815 A JP2003166815 A JP 2003166815A
Authority
JP
Japan
Prior art keywords
slit light
scan
scanning
slit
dimensional height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001367505A
Other languages
English (en)
Other versions
JP3759584B2 (ja
Inventor
Takayuki Matsumura
貴之 松村
Eiichi Muramatsu
鋭一 村松
Shigeru Hishinuma
繁 菱沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shibuya Corp
Original Assignee
Shibuya Kogyo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shibuya Kogyo Co Ltd filed Critical Shibuya Kogyo Co Ltd
Priority to JP2001367505A priority Critical patent/JP3759584B2/ja
Publication of JP2003166815A publication Critical patent/JP2003166815A/ja
Application granted granted Critical
Publication of JP3759584B2 publication Critical patent/JP3759584B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608Height gauges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2522Projection by scanning of the object the position of the object changing and being recorded

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【解決手段】 物体にスリット光を照射した状態で該物
体を撮影し、得られた画像における上記スリット光18
a〜18cを所定のシフト量sで順次スキャンして該ス
リット光の形状を計測し、その形状から物体の三次元高
さを演算する物体の三次元高さの計測方法に関する。本
発明では、各スキャンの際に(例えば矢印19a)スリ
ット光18a〜18cを検出したら、予め定めたオフセ
ット量fだけ戻るとともに上記シフト量sだけシフトし
て次のスキャンを開始する(例えば矢印19b)。 【効果】 各スキャンの際に常に全行程をスキャンする
場合(矢印19aと矢印19a’)に比較して、短時間
でスキャンを終了することができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は物体の三次元高さの
計測方法に関し、より詳しくは、物体にスリット光を照
射することによってその物体の高さを計測するようにし
た物体の三次元高さの計測方法に関する。
【0002】
【従来の技術】従来、物体の高さを計測するために、ス
リット光を照射した状態で該物体を撮影し、得られた画
像における上記スリット光を所定のシフト量で順次スキ
ャンして該スリット光の形状を計測し、その形状から物
体の三次元高さを演算するようにした物体の三次元高さ
の計測方法が知られている(例えば、特公平8−202
13号公報、特開平9−229632号公報)。上記画
像のスリット光の形状を計測する際には、通常、最初に
上記スリット光が横方向に伸びるように検査領域を設定
し、次に検査領域の下辺から上方に向けて縦方向にスキ
ャンを行い、最も明るい点にスリット光があると判定す
る。そして検査領域の上辺に至ったら所定のシフト量だ
け横方向に位置をずらし、再び検査領域の下辺から上辺
まで縦方向にスキャンする。このようにして、得られた
画像におけるスリット光を所定のシフト量で順次スキャ
ンすることにより検査領域の全域をスキャンし、各スキ
ャンにおけるスリット光の位置から該スリット光の形状
を計測するようにしている。
【0003】
【発明が解決しようとする課題】しかるに従来は、上記
スキャンを行なう際には各スキャン毎に検査領域の下辺
から上辺までの全行程をスキャンさせるようにしていた
ので、検査領域の全域をスキャンするのに時間がかかる
という欠点があった。この欠点は、特に解像度を高める
ためにシフト量を小さく設定すると顕著になる。本発明
はそのような事情に鑑み、スキャンに要する時間を短縮
化することができる物体の三次元高さ計測方法を提供す
るものである。
【0004】
【課題を解決するための手段】すなわち本発明は、物体
にスリット光を照射した状態で該物体を撮影し、得られ
た画像における上記スリット光を所定のシフト量で順次
スキャンして該スリット光の形状を計測し、その形状か
ら物体の三次元高さを演算する物体の三次元高さの計測
方法において、各スキャンの際に上記スリット光を検出
したら、予め定めたオフセット量だけ戻るとともにシフ
トして次のスキャンを開始することを特徴とするもので
ある。
【0005】上記方法によれば、各スキャンの際に上記
スリット光を検出したら、予め定めたオフセット量だけ
戻るとともにシフトして次のスキャンを開始するので、
各スキャン毎に全行程をスキャンしてから次のスキャン
を開始する場合に比較して、短時間でスキャンを終了す
ることができる。
【0006】
【発明の実施の形態】以下図示実施例について本発明を
説明すると、図1において、三次元高さが計測される物
体1の上方にこれを撮影するカメラ2と、上記物体1に
ライン状のスリット光を照射する照射手段3とを設けて
ある。上記物体1に照射されるスリット光の照射位置は
変位手段6によって変位されるようになっており、図示
実施例では上記変位手段6は、上記物体1を載置した搬
送テーブル7と、この搬送テーブル7に固定したナット
部材8に螺合させたねじ軸9と、このねじ軸9を回転さ
せるサーボモータ10とを備えている。上記変位手段6
としては上述した構成のものに限定されるものではな
く、カメラ2と照射手段3とを移動させるようにして
も、或いはガルバノミラー等を用いてスリット光のみを
変位させるようにしてもよい。上記サーボモータ10の
運転は制御装置13によって制御されるようになってお
り、上記サーボモータ10によってねじ軸9を回転させ
ることにより上記搬送テーブル7を移動させることがで
きるようにしてある。上記サーボモータ10に設けたエ
ンコーダ14からのパルス信号は上記制御装置13に入
力されるようになっており、そのパルス数から上記搬送
テーブル7上に載置された物体1の搬送量を算出するこ
とができるようになっている。
【0007】図示実施例では、上記カメラ2は鉛直下方
に向けて配置してあり、他方、照射手段3は斜めに配置
して、上記カメラ2の鉛直下方位置となる搬送テーブル
7に上記スリット光を照射することができるようにして
ある。このとき、上記スリット光は、搬送テーブル7の
送り方向と直交する方向に照射されるようになってい
る。またこのスリット光は、上記カメラ2の光軸と搬送
テーブル7の表面とが交わる点を横切るように設定して
あり、かつスリット光とカメラ2の光軸との交差角度θ
はあらかじめ所定の角度に設定してある。なお、必ずし
もカメラ2の光軸を鉛直下方に向ける必要はなく、斜め
に配置しても良い。
【0008】上記カメラ2で撮影された画像は上記制御
装置13に入力され、この制御装置13によって物体1
の三次元高さが演算される。図2は物体1にスリット光
を照射した状態をカメラ2で撮影した画像16の一例を
示したもので、同図において17は検査領域を、18
a、18b、18cは撮影されたスリット光を示してい
る。このとき、スリット光18a、18cは搬送テーブ
ル7の表面に照射されたスリット光を示しており、両者
は実質的に一直線上に位置するようになる。他方、スリ
ット光18bは物体1上に照射されたスリット光を示し
ている。そして本実施例では、物体1の両側に、つまり
検査領域17の両側の部分に、搬送テーブル7の表面に
照射されたスリット光18a、18cが得られるように
設定してある。上記検査領域17の下辺は基準位置とし
てあり、この下辺から上記スリット光18a、18cま
での距離L1、L3とスリット光18bまでの距離L2
とを計測してそれらのスリット光間のずれ量δを算出す
ることにより、三角測量の原理によって物体1の高さを
演算するようになっている。
【0009】図2の矢印は上記検査領域17におけるス
キャンの方向を示したもので、本実施例では検査領域1
7の基準位置における一端となるスタート位置からスリ
ット光18aの長手方向と直交する縦方向にスキャンを
開始する(矢印19a)。そしてスリット光18aを検
出したら、予め定めたオフセット量fだけ戻るとともに
スリット光18aの長手方向である横方向に所定シフト
量sだけ位置をずらし(矢印19b)、再び縦方向にス
キャンを開始する(矢印19c)。以後これを繰り返し
て、検査領域17の基準位置からスリット光18aまで
の距離L1を検出する。スキャンがスリット光18aを
超えると(矢印19d)、この際のスキャンはスリット
光18aを検出することができずに、スリット光18b
を検出するようになる。このスリット光18bが検出さ
れた場合も、上述した場合と同様に予め定めたオフセッ
ト量fだけ戻るとともに横方向に所定シフト量sだけ位
置をずらし(矢印19e)、再び縦方向にスキャンを開
始する(矢印19f)。以後これを繰り返して、検査領
域17の基準位置からスリット光18bまでの距離L2
を検出する。さらに、スキャンがスリット光18bを超
えると(矢印19g)、この際のスキャンはスリット光
を全く検出することができずに、検査領域17の上辺に
至ることになる。この場合には、横方向に移動すること
なく検査領域17の下辺から縦方向にスキャンを開始す
るようになり(矢印19h)、それによってスリット光
18cを検出することとなる。そしてスリット光18c
を検出したら、上述した場合と同様に予め定めたオフセ
ット量fだけ戻るとともに横方向に所定シフト量sだけ
位置をずらし(矢印19i)、再び縦方向にスキャンを
開始する(矢印19j)。以後これを繰り返して検査領
域17の基準位置からスリット光18cまでの距離L3
を検出し、検査領域17の他端となったらスキャンを終
了する。
【0010】このように、本実施例においてはスリット
光18a〜18cを検出したら、予め定めたオフセット
量fだけ戻るとともに横方向に所定シフト量sだけ位置
をずらしてスキャンを再開しているので、短時間で検査
領域17内の全スキャンを終了することができる。つま
り従来は、図2の想像線19a’で示すように、横方向
に位置をずらした際に常に検査領域の下辺から上辺まで
の全工程をスキャンしていたので、時間がかかってい
た。
【0011】次に、図3は一回のスキャンにおいてスリ
ット光を検出する際の状態を示したものである。本実施
例においては、上述したように検査領域17の下辺から
上辺への縦方向に向けてスキャンを行い、その際の画像
の明るさを例えば256階調で検出するようになってい
る。スリット光18a〜18cの近傍では画像の明るさ
は急激に明るくなり、ピークPを超えると画像の明るさ
は急激に暗くなる。本実施例では2つの閾値を設定して
あり、LtoH閾値20aは明るさが暗い状態から明る
い状態に変化したときの閾値であり、HtoL閾値20
bは明るさが明るい状態から暗い状態に変化したときの
閾値である。そしてそれらの閾値は、LtoH閾値20
aのほうがHtoL閾値20bよりも明るくなるような
値に設定してある。上記制御装置13は、最初のスキャ
ンは検査領域17の下辺の基準位置から、検査している
画素の明るさが上記LtoH閾値20aより大きいか否
かを順次判定し、この画素の明るさが上記LtoH閾値
20aより大きくなったら、次の画素からはその明るさ
がHtoL閾値20bより小さいか否かを判定する。そ
して検査している画素の明るさが上記HtoL閾値20
bより小さくなったら今回のスキャンを終了し、上述し
たように所定オフセット量fだけ戻るとともに横方向に
所定シフト量sだけ位置をずらし、再び縦方向にスキャ
ンを開始する。その新たなスキャンの際には、新たに検
査している画素の明るさが上記LtoH閾値20aより
大きいか否かを判定するようになり、上述したのと同様
にして、画素の明るさが上記LtoH閾値20aより大
きくなったら、次の画素からはその明るさがHtoL閾
値20bより小さいか否かを判定するようになる。
【0012】そして制御装置13は、画素の明るさが上
記LtoH閾値20aより大きくなってから上記Hto
L閾値20bより小さくなるまでの範囲で、最も明るさ
の大きな画素(上記ピークPとなる画素)を求め、その
ピークPを検出したスリット光の中心として設定する。
ここで、上記LtoH閾値20aとHtoL閾値20b
とを設定したのは、ノイズなどの影響によりLtoH閾
値20aを超えてもすぐにこれを下回り、再びこのLt
oH閾値20aを超えるような場合があるからである。
この場合にはすくなくとも2つのピークが得られるよう
になる。また、例えばLtoH閾値20aを超えた明る
さの範囲内でも2つ以上のピーク(極大値)が得られる
可能性がある。これらの場合には、それらの平均値を求
めてその値を上記ピークPとして設定することができ
る。或いは、あるピークが他のピークよりも充分に大き
い場合には、その大きなピークのみを上記ピークPとし
て設定してもよい。
【0013】制御装置13は、上述のようにして各スキ
ャン毎にピークPを求めると、得られた多数のピークを
各スリット光18a〜18cに属するピーク毎のグルー
プに分別し、次に各グループ毎に平均値をとってそれか
ら上記距離L1、L2、L3を求める。さらに、検査領
域17の左右両端部分のスリット光18a、18cは、
上述したように搬送テーブル7の表面に照射されたスリ
ット光であるので、それらの距離L1、L3の平均値か
ら搬送テーブル7の表面に照射されたスリット光の平均
距離が求められ、この平均距離と物体1に関する距離L
2とから、両者間のずれ量δが算出される。そしてこの
ずれ量δから物体1の高さが演算される。なお、上記ス
リット光18a、18cを基準としてそこからスリット
光18bの間隔を求めることにより直接的にずれ量δを
求めるようにしてもよいことは勿論である。
【0014】このようにして物体1の高さが演算された
ら、上記変位手段6により物体1が所定量だけ移動され
て該物体1に照射されるスリット光の照射位置が変位さ
れ、この状態で再び上記カメラ2によって新たな画像が
取り込まれて上述した作業が繰り返される。そして物体
1を移動させながら多数の画像を取り込むことにより、
物体1の全域における高さを演算することができ、それ
によって物体1の全体の形状を把握することができる。
【0015】なお、上記スリット光18a〜18cを検
出した際に戻るオフセット量fは、画素の明るさが上記
LtoH閾値20aより大きくなってから上記HtoL
閾値20bより小さくなった位置を基準とすることがで
き、又は上述のようにして求めたピークPを基準として
もよい。また、上記実施例では物体1の表面(上面)が
平面であるので、上記距離L2の平均値を求めている
が、物体1の表面が曲面である場合には、この表面に照
射されたスリット光における個々のピークPを求めるこ
とになることは勿論である。
【0016】
【発明の効果】以上のように、本発明においては、スリ
ット光を検出したら予め定めたオフセット量だけ戻って
次のスキャンを開始するようにしているので、各スキャ
ンの際に全行程をスキャンしていた従来に比較して短時
間でスキャンを終了することができるという効果が得ら
れる。
【図面の簡単な説明】
【図1】本発明の一実施例を示す斜視図。
【図2】画像16のスキャンの状態を示す説明図。
【図3】各スキャンにおける画素の明るさを判断する際
の説明図。
【符号の説明】
1 物体 2 カメラ 3 照射手段 6 変位手段 13 制御装置 16画像 17 検査領域 18a〜18c スリット光 20a、20b 閾値
───────────────────────────────────────────────────── フロントページの続き (72)発明者 菱沼 繁 石川県金沢市大豆田本町甲58番地 澁谷工 業株式会社内 Fターム(参考) 2F065 AA24 AA53 BB05 DD06 FF01 FF02 FF09 HH05 HH12 HH18 JJ03 JJ09 LL13 LL62 MM03 MM26 NN17 NN20 PP12 QQ02 QQ25 QQ29 QQ42

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 物体にスリット光を照射した状態で該物
    体を撮影し、得られた画像における上記スリット光を所
    定のシフト量で順次スキャンして該スリット光の形状を
    計測し、その形状から物体の三次元高さを演算する物体
    の三次元高さの計測方法において、 各スキャンの際に上記スリット光を検出したら、予め定
    めたオフセット量だけ戻るとともにシフトして次のスキ
    ャンを開始することを特徴とする物体の三次元高さ計測
    方法。
  2. 【請求項2】 各スキャンの際に、上記スリット光を検
    出することができなかった場合には、シフトすることな
    く予め定められた基準位置からスキャンを再開すること
    を特徴とする請求項1に記載の物体の三次元高さ計測方
    法。
JP2001367505A 2001-11-30 2001-11-30 物体の三次元高さ計測方法 Expired - Fee Related JP3759584B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001367505A JP3759584B2 (ja) 2001-11-30 2001-11-30 物体の三次元高さ計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001367505A JP3759584B2 (ja) 2001-11-30 2001-11-30 物体の三次元高さ計測方法

Publications (2)

Publication Number Publication Date
JP2003166815A true JP2003166815A (ja) 2003-06-13
JP3759584B2 JP3759584B2 (ja) 2006-03-29

Family

ID=19177242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001367505A Expired - Fee Related JP3759584B2 (ja) 2001-11-30 2001-11-30 物体の三次元高さ計測方法

Country Status (1)

Country Link
JP (1) JP3759584B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005088243A1 (ja) * 2004-03-10 2005-09-22 Tokyo University Of Agriculture And Technology Tlo Co. Ltd. 3次元形状計測システム及び3次元形状計測方法
JP2008292434A (ja) * 2007-05-28 2008-12-04 Panasonic Electric Works Co Ltd 光切断3次元計測装置
JP2009014388A (ja) * 2007-07-02 2009-01-22 Kobe Steel Ltd 形状検出方法及び形状検出装置
JP2010190812A (ja) * 2009-02-20 2010-09-02 Pulstec Industrial Co Ltd 3次元形状測定装置および3次元形状測定方法
EP2700903A1 (en) * 2011-04-20 2014-02-26 Kabushiki Kaisha Kobe Seiko Sho Tire surface shape measuring device and tire surface shape measuring method
EP3438604A1 (de) * 2017-08-04 2019-02-06 Bundesrepublik Deutschland, vertreten durch das Bundesmisterium für Wirtschaft und Energie, endvertreten durch den Präsidenten der PTB Verfahren zum ermitteln einer lage eines zumindest abschnittsweise linienförmigen objekts und vorrichtung dazu

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005088243A1 (ja) * 2004-03-10 2005-09-22 Tokyo University Of Agriculture And Technology Tlo Co. Ltd. 3次元形状計測システム及び3次元形状計測方法
JP2008292434A (ja) * 2007-05-28 2008-12-04 Panasonic Electric Works Co Ltd 光切断3次元計測装置
JP2009014388A (ja) * 2007-07-02 2009-01-22 Kobe Steel Ltd 形状検出方法及び形状検出装置
JP2010190812A (ja) * 2009-02-20 2010-09-02 Pulstec Industrial Co Ltd 3次元形状測定装置および3次元形状測定方法
EP2700903A1 (en) * 2011-04-20 2014-02-26 Kabushiki Kaisha Kobe Seiko Sho Tire surface shape measuring device and tire surface shape measuring method
EP2700903A4 (en) * 2011-04-20 2014-10-22 Kobe Steel Ltd Device for measuring a tire surface shape and method for measuring a tire surface shape
EP3438604A1 (de) * 2017-08-04 2019-02-06 Bundesrepublik Deutschland, vertreten durch das Bundesmisterium für Wirtschaft und Energie, endvertreten durch den Präsidenten der PTB Verfahren zum ermitteln einer lage eines zumindest abschnittsweise linienförmigen objekts und vorrichtung dazu

Also Published As

Publication number Publication date
JP3759584B2 (ja) 2006-03-29

Similar Documents

Publication Publication Date Title
JP4821934B1 (ja) 3次元形状計測装置およびロボットシステム
US6721679B2 (en) Distance measuring apparatus and distance measuring method
TWI622754B (zh) Three-dimensional measuring device
JP4676834B2 (ja) ワーク画像取得方法、ワーク画像取得装置
JP5256745B2 (ja) 三次元形状計測装置
JP6296206B2 (ja) 形状測定装置及び形状測定方法
TW201250201A (en) Tire surface shape measuring device and tire surface shape measuring method
JP5385703B2 (ja) 検査装置、検査方法および検査プログラム
JP2003166815A (ja) 物体の三次元高さ計測方法
JP4062100B2 (ja) 形状測定装置
JP2017009354A (ja) 高速度撮像システム及び高速度撮像方法
JP7134253B2 (ja) ワーク検査装置及びワーク検査方法
JP2022031956A (ja) 走査範囲決定方法
JP2001012913A (ja) コイル位置検出装置
JP6820516B2 (ja) 表面形状測定方法
JPH10185514A (ja) コイル位置検出装置
JPH01227910A (ja) 光学検査装置
JP2987000B2 (ja) 位置情報のコード化方法およびそのコードを用いた3次元計測方法
JP2007285778A (ja) 距離測定方法および表面形状測定装置
KR920010548B1 (ko) 3차원 곡면 형상의 측정방법 및 장치
JP2009186216A (ja) 3次元形状測定装置
JP2005091284A (ja) 単調増加波形投影による連続物体の形状計測方法及び装置
JP3311787B2 (ja) 測定物の先端出し機能を持った三次元形状計測装置
JP2004085467A (ja) 三次元計測装置
JPH10185515A (ja) コイル位置検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040430

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051229

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3759584

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100113

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110113

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110113

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120113

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130113

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees