JP2000006069A - ロボットの制御方法 - Google Patents

ロボットの制御方法

Info

Publication number
JP2000006069A
JP2000006069A JP10169399A JP16939998A JP2000006069A JP 2000006069 A JP2000006069 A JP 2000006069A JP 10169399 A JP10169399 A JP 10169399A JP 16939998 A JP16939998 A JP 16939998A JP 2000006069 A JP2000006069 A JP 2000006069A
Authority
JP
Japan
Prior art keywords
work
robot
end effector
point
transfer device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10169399A
Other languages
English (en)
Other versions
JP2000006069A5 (ja
JP4022843B2 (ja
Inventor
Ryuichi Morita
隆一 守田
Seiichiro Fukushima
誠一郎 福島
Yukihiro Matsunaga
幸博 松永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaskawa Electric Corp
Original Assignee
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaskawa Electric Corp filed Critical Yaskawa Electric Corp
Priority to JP16939998A priority Critical patent/JP4022843B2/ja
Publication of JP2000006069A publication Critical patent/JP2000006069A/ja
Publication of JP2000006069A5 publication Critical patent/JP2000006069A5/ja
Application granted granted Critical
Publication of JP4022843B2 publication Critical patent/JP4022843B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】搬送中のワークにロボットのエンドエフェクタ
が最短時間で到達できるように制御するロボットの制御
方法を提供する。搬送速度の変動に応じて、ロボットの
動作を修正するロボットの制御方法を提供する。 【解決手段】 搬送装置(1)の搬送速度を計測し、ワ
ーク(2)の位置と姿勢を計測し、前記搬送速度とワー
ク(2)の位置およびロボット(4)の姿勢を基に、ワ
ーク(2)とロボット(4)に取り付けたエンドエフェ
クタ(5)が最短時間で出会える地点を計算し、ロボッ
ト(4)のエンドエフェクタ(5)を前記地点に向けて
動作させる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、搬送装置の機側に
配置されて、前記搬送装置によって搬送されているワー
クに対して所定の作業を行うロボットの制御方法に関す
る。
【0002】
【従来の技術】例えば、ベルトコンベアのような搬送装
置で搬送されるワークをロボットで取り上げるための制
御方法として、特開昭60−217085号公報に開示
されている方法があった。これは、次のような方法であ
る。ベルトコンベアの上であって、ロボットの設置場所
に対して上流側にあたる所定の位置に視覚装置を備え、
前記視覚装置で前記ベルトコンベア上を搬送されるワー
クの位置と向きと速度を計測し、計測した前記ワークの
位置と向きと速度から、所定の時間(t秒とする)後の
前記ワークの位置と向きを計算し、前記ロボットがt秒
後に前記位置で前記ワークを掴むように制御する。
【0003】
【発明が解決しようとする課題】ところが、この従来の
制御方法では、次のような問題がある。第1に、ワーク
が視覚装置の下を通過してから、所定の時間(t秒)の
経過後にロボットがワークを掴むようにしているので、
制御開始時のロボットのアームの位置や姿勢の条件によ
っては、t秒間にワークを掴める位置まで移動できず、
ワークを掴み損ねると言う問題がある。逆に、姿勢の条
件によってはもっと早いタイミングでワークを掴める場
合もあるが、この場合でも、ロボットはt秒が経過する
までワークを掴めない。言い換えれば、ワークを掴み損
ねることがないように、最悪の条件に合わせて、ロボッ
トのスケジュールとコンベアの速度を決定しているの
で、ロボット作業の能率が悪いという問題がある。第2
に、この従来の制御方法では、ワークが視覚装置の下を
通過してから、ロボットがワークを掴むまでの間、つま
りt秒後までは、コンベアが一定の速度で移動すること
を前提条件にしているが、現実のコンベアは滑り等の原
因により、移動速度が変化するので、計算によって求め
たt秒後の位置と実際の位置に誤差が生じ、正確にワー
クを掴めないという問題がある。そこで、本発明は搬送
中のワークにロボットのエンドエフェクタが最短時間で
到達できるように制御するロボットの制御方法を提供す
るものである。また、ワークの搬送速度の変動に応じ
て、ロボットの動作を修正するロボットの制御方法を提
供するものである。
【0004】
【課題を解決するための手段】上記の問題を解決するた
めに、本発明は搬送装置の搬送速度を計測し、前記ワー
クの位置と姿勢を計測し、前記搬送速度と前記ワークの
位置および前記ロボットの姿勢を基に、前記ワークと前
記ロボットに取り付けたエンドエフェクタが最短時間で
出会える地点を計算し、前記ロボットの前記エンドエフ
ェクタを前記地点に向けて動作させるものである。ま
た、前記搬送装置の搬送距離を周期的に計測し、その度
に前記ワークと前記ロボットに取り付けたエンドエフェ
クタが最短時間で出会える地点を計算して修正し、前記
ロボットの前記エンドエフェクタを修正した前記地点に
向けて動作させるものである。また、前記ワークの位置
を視覚センサを用いて計測するものである。
【0005】
【発明の実施の形態】図1は本発明の実施例を示す搬送
装置とロボットの平面配置図であり、図2は本発明の実
施例を示すフローチャートであり、図3は視覚センサで
捉えたワークの画像を示す説明図であり、図4は搬送対
象のワークの位置を示す前記ロボットを基準とする座標
を説明する説明図である。以下、図に従って本発明の実
施例を説明する。図1において、1は、例えばベルトコ
ンベアのような搬送装置であり、ワーク2を図の左側か
ら右側へ搬送する装置である。3はエンコーダであり、
搬送装置1の図示しない駆動軸に取り付けられて、前記
駆動軸の回転角度を計測する装置である。エンコーダ3
の計測値から、搬送装置1上のワーク2の移動速度、す
なわち搬送速度、およびワーク2の移動距離、すなわち
搬送距離を求めることができる。4はロボットであり、
垂直軸S回りに自在に旋回する。ロボット4は前後およ
び上下に揺動するアーム4aを備え、アーム4aの先端
にはエンドエフェクタ5が直交3軸回りに回動自在に取
付けられている。このように構成されているので、ロボ
ット4は、垂直軸Sの回転およびアーム4aの前後およ
び上下の揺動によって任意の姿勢を取ることができる。
また前記直交3軸の回動によって、エンドエフェクタ5
の方向、傾きを任意に決める事ができる。6はロボット
4の制御盤である。また、ロボット4は搬送装置1の機
側に配置され、搬送装置1上を搬送されて来るワーク2
をエンドエフェクタ5で掴んで、図示しない別の装置ま
で運ぶものである。7は視覚センサであり、搬送装置1
の上流側に、搬送装置1を見下ろすように配置されてい
る。7aは視覚センサ7の視野を示す。視覚センサ7は
例えばCCDカメラと画像処理装置を組み合わせて、前
記CCDカメラで捉えた対象物の画像を解析して、前記
対象物の位置と姿勢を計測する装置である。視覚センサ
7とエンコーダ3の信号線は、それぞれロボットの制御
盤6に接続されている。
【0006】次に、図2および図3に従って、ロボット
4の制御方法を説明する。図2ににおいて、ステップS
1は、搬送装置1の搬送速度を算出する段階であり、時
刻taにおけるエンコーダ3の出力Caと、時刻tbに
おけるエンコーダ3の出力Cbから、搬送装置1の移送
速度Vを次式によって求める。
【0007】 V=Kc*(Cb−Ca)/(tb−ta) (式1)
【0008】ここで、Kcはエンコーダ3の1パルスあ
たりの搬送装置1の移送距離を示す係数であり、搬送装
置1の機械的構成によって決まる定数である。ワーク2
が視覚センサ7の視野7aに入って来ると、ステップS
2を実行する。ステップS2は、ワーク2の位置と姿勢
を求める段階である。図3に示すように、視覚センサ7
はワーク2の画像を基に、視覚センサ7の視野7aに固
定された座標系によるワーク2の重心の座標G(X0
0 )を求める。またワーク2の正規の姿勢に対する角
度θも算出する。次のステップS3では、ロボット4の
先端に取り付けたエンドエフェクタ5がワーク2を掴む
位置を求める。エンドエフェクタ5に固定された点であ
って、ワーク2を掴む時の位置合わせの基準となる点を
エンドエフェクタ5の基準点と言うことにする。つま
り、このエンドエフェクタ5の向きを角度θ分だけ修正
し、エンドエフェクタ5の基準点をワーク2の重心と一
致させれば、エンドエフェクタ5はワーク2を正しく掴
める訳である。図4ではこのワーク2を掴む位置を求め
る方法を説明するために、搬送装置1とワーク2とロボ
ット4の位置関係を、ロボット4の旋回軸Sを原点とす
る直交座標系で表示している。図4において、半径La
と半径Lbはエンドエフェクタ5の基準点の到達限界を
示す。つまり、エンドエフェクタ5の基準点は半径La
と半径Lbの間で動作する。今、ステップS3の制御を
始める時点において、ワーク2は座標Ao( p,q)で
示す位置にある。ここで使う座標系はロボット4の旋回
軸Sを原点とし、搬送装置1の移送方向に平行な軸をX
軸とする直交座標系である。視覚センサ7は搬送装置1
およびロボット4に対して固定されているから、スッテ
プS2で求めた視覚センサ7の視野7aに固定された座
標系によるワーク2の座標を前記直交座標系に変換する
のは容易である。またこの時の搬送装置1の搬送速度は
ステップS1で求めたVであるから、t秒後のワーク2
の位置を示す座標はAt(p+V*t,q)で得られ
る。また、ステップS3を開始する時点において、ロボ
ット1の旋回軸の角度をαとし、旋回軸の角速度をωと
すると、t秒後の旋回軸の角度はα+ω*tである。こ
こで、エンドエフェクタ6の基準点の旋回軸Sまわりの
回転半径をRとすると、エンドエフェクタ6の基準点の
座標はEt(R*cos(α+ω*t),R*sin
(α+ω*t))で得られる。点Aと点Eの座標が一致
する点を求めるのであるから、次式が得られる。
【0009】 p+V*t=R*cos(α+ω*t) (式2)
【0010】 q=R*sin(α+ω*t) (式3)
【0011】式2と式3からRを消去すると、次式が得
られる。
【0012】 p+V*t=q/tan(α+ω*t) (式4)
【0013】式4を解いて得られるtの解をt1とする
と、ワーク2とエンドエフェクタ6が最短時間で出会え
る点の座標はAb(p+V*t1,q)で得られる。こ
の点にエンドエフェクタ5の基準点を持ってきた時の、
基準点の旋回軸Sまわりの回転半径Rbは次式で得られ
る。
【0014】 Rb=q/sin(α+ω*t1) (式5)
【0015】Rbの値はロボット4の動作範囲で制限さ
れるから、La<Rb<Lbでなければならない。Rb
がLa<Rb<Lbの条件を満たさないときは、「異
常」として図示しない上位の制御装置に信号を送り、所
定の異常処理のシーケンスを実行する。ここで、t1秒
の間にロボット1のアームの各軸を操作して、エンドエ
フェクタ6の旋回軸S回りの回転半径がRbになるよう
な姿勢を取れるか否かと言う問題が残っている。一般に
垂直多関節ロボットにおいては、旋回軸の回転速度はア
ームの各揺動軸に比べて、同等かむしろ低速に設定され
ている。また、旋回軸の回転角度がアームの各揺動軸に
比べて大きい。従って、エンドエフェクタ5とワーク2
を最短時間で出会わせる問題を考える時は、旋回軸の動
作時間がクリティカルな問題になる。つまり、実用上は
旋回軸の動作が間に合えば、アームの各揺動 軸の動作
は当然に間に合うと考えてよい。このようにして、ワー
ク2とエンドエフェクタ5が最短時間で出会える点の座
標Abと時間t1が決まるので、t1秒後にエンドエフ
ェクタ5の基準点が1秒後に点Abに来るように、ロボ
ット4に指令する。つまり、点Abを移動目標とする動
作指令をロボット4に与える。
【0016】ステップS4は、エンドフェクタ5を点A
bに向けて動かし始めたあと、搬送装置1の搬送距離を
周期的に計測して、エンドエフェクタ5の動作の目標を
修正する段階である。ステップS4の制御の詳細は次の
ようなものである。ステップS3が終了して、エンドエ
フェクタ5が点Abに向かって動作を開始したら、周期
T秒(但しT<t1)で周期的にエンコーダ2の出力パ
ルスCTmを取り込む、次にステップS1で計測した搬
送装置1の移送速度Vから計算した、同じ時刻のパルス
の値CTcを用いて目標Abの修正量ΔXを次式で求め
る。
【0017】 ΔX=(CTm−CTc)*Kc (式6)
【0018】この修正量を用いて、エンドエフェクタ5
の移動目標をAb’(p+CV*t1+ΔX,q)に変
更する。以上のように、周期T秒ごとに搬送装置1の搬
送距離を測定し、当初に計測した速度から求めた搬送距
離と比較して、その差に応じて、移動目標を修正する。
以上の演算と制御は制御盤6によって行われる。実施例
の説明においては、搬送装置上のワークを掴み上げて移
載するロボットに本発明を適用した例を示したが、搬送
装置上のワークに対して、何らかの作業、例えば塗装、
糊付け、組立、加工などを行うロボット一般に本発明を
適用できることは言うまでもない。また、ワークの位置
および姿勢を検出するセンサは視覚センサに限られな
い、同様の機能を持つセンサであれば他の形式のセンサ
であってもよい。
【0019】
【発明の効果】以上述べたように、本発明によれば、エ
ンドエフェクタが最短時間でワークに出会うようにロボ
ットを制御するので、ロボットの動作に無駄がなく、ロ
ボットの作業の能率が向上するいう効果がある。また、
搬送装置の速度の変化に応じて、ロボットの移動目標を
修正するので、ロボットがワークを逃すことがないとい
う効果もある。
【図面の簡単な説明】
【図1】本発明の実施例を示す搬送装置とロボットの平
面配置図である。
【図2】本発明の実施例を示すフローチャートである。
【図3】視覚センサで捉えたワークの画像の説明図であ
る。
【図4】図4は搬送対象のワークの位置を示す前記搬送
ロボットを基準とする座標を説明する説明図である。
【符号の説明】
1:搬送装置 2:ワーク 3:エンコーダ 4:ロボット 4a:アーム 5:エンドエフェクタ 6:制御盤 7:視覚センサ 7a:視覚センサの視野

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 ワークを搬送する搬送装置の近傍に配置
    されて、前記搬送装置によって搬送されているワークに
    対して所定の作業を行うロボットの制御方法において、
    前記搬送装置の搬送速度を計測し、前記ワークの位置を
    計測し、前記搬送速度と前記ワークの位置および前記ロ
    ボットの姿勢を基に、前記ワークと前記ロボットに取り
    付けたエンドエフェクタが最短時間で出会える地点を計
    算し、前記エンドエフェクタが前記地点に向かうように
    前記ロボットを動作させることを特徴とするロボットの
    制御方法。
  2. 【請求項2】 前記搬送装置の搬送速度の変動を周期的
    に計測し、その度に前記ワークと前記ロボットの前記エ
    ンドエフェクタが最短時間で出会える地点を計算して修
    正し、前記エンドエフェクタが修正した前記地点に向か
    うように前記ロボットを動作させることを特徴とする請
    求項1に記載のロボットの制御方法。
  3. 【請求項3】 前記ワークの位置を視覚センサを用いて
    計測することを特徴とする請求項1または請求項2に記
    載のロボットの制御方法。
  4. 【請求項4】 前記搬送装置の搬送速度を前記搬送装置
    の駆動軸に連結したエンコーダを用いて計測することを
    特徴とする請求項1から請求項3のいずれかに記載のロ
    ボットの制御方法。
JP16939998A 1998-06-17 1998-06-17 ロボットの制御方法および制御装置 Expired - Fee Related JP4022843B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16939998A JP4022843B2 (ja) 1998-06-17 1998-06-17 ロボットの制御方法および制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16939998A JP4022843B2 (ja) 1998-06-17 1998-06-17 ロボットの制御方法および制御装置

Publications (3)

Publication Number Publication Date
JP2000006069A true JP2000006069A (ja) 2000-01-11
JP2000006069A5 JP2000006069A5 (ja) 2005-10-13
JP4022843B2 JP4022843B2 (ja) 2007-12-19

Family

ID=15885889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16939998A Expired - Fee Related JP4022843B2 (ja) 1998-06-17 1998-06-17 ロボットの制御方法および制御装置

Country Status (1)

Country Link
JP (1) JP4022843B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002113678A (ja) * 2000-10-06 2002-04-16 Seiko Instruments Inc トラッキング方法、及びトラッキングシステム
KR20200138551A (ko) * 2019-05-31 2020-12-10 한국전자기술연구원 캘리브레이션 장치 및 이를 포함하는 캘리브레이션 시스템
CN113858818A (zh) * 2021-09-24 2021-12-31 珠海格力智能装备有限公司 打标系统
US11511430B2 (en) 2019-01-25 2022-11-29 Fanuc Corporation Robot controller and management system
US11707842B2 (en) 2018-11-27 2023-07-25 Fanuc Corporation Robot system and coordinate conversion method
JP7368156B2 (ja) 2019-09-26 2023-10-24 ファナック株式会社 ロボット制御システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102624551B1 (ko) * 2023-02-09 2024-01-12 한국과학기술원 회전 변위의 제약이 없는 다관절 로봇의 작업공간 유연제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01268923A (ja) * 1988-04-19 1989-10-26 Mitsubishi Heavy Ind Ltd 移動体の水平垂直移動制御方法
JPH0490007A (ja) * 1990-08-03 1992-03-24 Mitsubishi Heavy Ind Ltd 産業用ロボットのコンベア追従方法
JPH0569357A (ja) * 1991-09-06 1993-03-23 Yaskawa Electric Corp ロボツトのコンベヤ追従制御方式
JPH10105217A (ja) * 1996-09-27 1998-04-24 Mitsubishi Electric Corp ロボットのトラッキング制御方法およびロボット制御システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01268923A (ja) * 1988-04-19 1989-10-26 Mitsubishi Heavy Ind Ltd 移動体の水平垂直移動制御方法
JPH0490007A (ja) * 1990-08-03 1992-03-24 Mitsubishi Heavy Ind Ltd 産業用ロボットのコンベア追従方法
JPH0569357A (ja) * 1991-09-06 1993-03-23 Yaskawa Electric Corp ロボツトのコンベヤ追従制御方式
JPH10105217A (ja) * 1996-09-27 1998-04-24 Mitsubishi Electric Corp ロボットのトラッキング制御方法およびロボット制御システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002113678A (ja) * 2000-10-06 2002-04-16 Seiko Instruments Inc トラッキング方法、及びトラッキングシステム
US11707842B2 (en) 2018-11-27 2023-07-25 Fanuc Corporation Robot system and coordinate conversion method
US11511430B2 (en) 2019-01-25 2022-11-29 Fanuc Corporation Robot controller and management system
KR20200138551A (ko) * 2019-05-31 2020-12-10 한국전자기술연구원 캘리브레이션 장치 및 이를 포함하는 캘리브레이션 시스템
KR102292561B1 (ko) 2019-05-31 2021-08-25 한국전자기술연구원 캘리브레이션 장치 및 이를 포함하는 캘리브레이션 시스템
JP7368156B2 (ja) 2019-09-26 2023-10-24 ファナック株式会社 ロボット制御システム
CN113858818A (zh) * 2021-09-24 2021-12-31 珠海格力智能装备有限公司 打标系统

Also Published As

Publication number Publication date
JP4022843B2 (ja) 2007-12-19

Similar Documents

Publication Publication Date Title
JP5849403B2 (ja) ロボットコントローラー、ロボット、及び、ロボットシステム
JP3002097B2 (ja) ビジュアルトラッキング方法
CN108214454B (zh) 机器人系统、机器人控制装置及机器人控制方法
JP5472214B2 (ja) ピッキングシステム
US20170043477A1 (en) Robot system with visual sensor and a plurality of robots
WO2015079740A1 (ja) ロボットシステムおよびロボットシステムの制御方法
JP2011131300A (ja) ロボットシステム、その制御装置及び方法
JP2005262369A (ja) ロボットシステム
JP2007168053A (ja) 垂直多関節型ロボットのティーチング方法および産業用ロボット装置
US20120109380A1 (en) Robot control apparatus, robot control method, and robot system
JP4303411B2 (ja) トラッキング方法、及びトラッキングシステム
JP4022843B2 (ja) ロボットの制御方法および制御装置
US10328582B2 (en) Process system including robot that transfers workpiece to process machine
WO2022172873A1 (ja) ロボットシステム及びワーク供給方法
JP4809524B2 (ja) トラッキング方法、トラッキングシステム、及びトラッキング装置
JP4056662B2 (ja) 外観検査装置
JP3328414B2 (ja) ロボットハンドの姿勢制御装置
JP2000006069A5 (ja) ロボットの制御方法および制御装置
JP2002036155A (ja) ロボットのエンドエフェクタ
JPS6161955B2 (ja)
JPS62226308A (ja) 視覚センサを有するロボツトの制御方式
JP2007098550A (ja) ロボットハンドの把持制御装置
US20220234201A1 (en) Control method for robot system and robot system
JP3904039B2 (ja) ロボットの制御方法
US11862507B2 (en) Robot system, and slip determination method

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050531

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070327

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070808

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070920

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111012

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111012

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121012

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121012

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131012

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141012

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees