JP2006035384A - ロボットシステムにおける3次元視覚センサの再校正方法及び装置 - Google Patents

ロボットシステムにおける3次元視覚センサの再校正方法及び装置 Download PDF

Info

Publication number
JP2006035384A
JP2006035384A JP2004220251A JP2004220251A JP2006035384A JP 2006035384 A JP2006035384 A JP 2006035384A JP 2004220251 A JP2004220251 A JP 2004220251A JP 2004220251 A JP2004220251 A JP 2004220251A JP 2006035384 A JP2006035384 A JP 2006035384A
Authority
JP
Japan
Prior art keywords
visual sensor
dimensional visual
measurement target
robot
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004220251A
Other languages
English (en)
Other versions
JP3946716B2 (ja
Inventor
Kazukuni Ban
一訓 伴
Ichiro Kanno
一郎 管野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2004220251A priority Critical patent/JP3946716B2/ja
Priority to US11/190,946 priority patent/US7359817B2/en
Priority to CNB2005100873653A priority patent/CN100368765C/zh
Priority to EP05254725A priority patent/EP1621297A1/en
Publication of JP2006035384A publication Critical patent/JP2006035384A/ja
Application granted granted Critical
Publication of JP3946716B2 publication Critical patent/JP3946716B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042Calibration or calibration artifacts

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

【課題】 3次元視覚センサの再校正方法の簡素化。
【解決手段】 3次元視覚センサ102の正常時にロボットを用いて同センサ102と測定ターゲット103を1つ以上の相対的位置関係で配置し、測定ターゲット103を計測し、保持している校正パラメータを用いてドットパターン等の位置/姿勢情報を取得する。再校正には、各相対的位置関係を近似的に再現させ、測定ターゲットを再度計測し、特徴量情報やドットパターン等の画像面上の位置/姿勢を取得する。各特徴量データと位置情報に基づいて、3次元視覚センサの校正に関する複数のパラメータを更新する。相対位置関係の3次元視覚センサか測定ターゲットの少なくとも一方をロボットのアームに装着する。保持している校正パラメータを用いて、正常時と再校正時に得た各特徴量情報を用いて再校正時に位置情報を計算し、その結果に基づいて校正パラメータを更新することもできる。
【選択図】 図4

Description

本発明は、3次元視覚センサを含む産業用ロボットシステムにおいて、3次元視覚センサを再校正する方法及び同方法を実施するために使用する装置に関する。
ロボットシステムを用いた種々のアプリケーションにおいて、3次元視覚センサが広く使用されている。この場合の3次元視覚センサの主な使用形態は、下記(i)、(ii)のいずれかに大別される。
(i)ロボットのアームに3次元視覚センサのセンサヘッドを装着して使用する。ここで、センサヘッドは、対象物の計測光学系(光検出器を含む)を有する部分で、センサヘッドの制御及び検出信号の処理は、視覚センサ制御装置で行なわれる。なお、本明細書では、当技術分野の慣例に従い、「ロボットのアームに3次元視覚センサを装着する」との表現を「ロボットのアームに3次元視覚センサのセンサヘッドを装着する」の意で用いることがある。
(ii)3次元視覚センサのセンサヘッドをロボット外部の定位置に設置して使用する。
これらいずれの使用形態においても、3次元視覚センサを用いて適正な精度で計測を行なうためには、「校正(キャリブレーション)」が必要なことは周知の通りである。3次元視覚センサの校正手法は、例えば特許文献1〜特許文献5に詳しく記載されている。
このように、3次元視覚センサの校正方法自体は周知であるが、一旦校正によって適正な計測精度が得られるようになった後に、計測精度が低下し、正常な計測が行なわれなくなることがしばしば起る。この事態は、上記使用形態(1)では、ロボットのアーム上の視覚センサ(センサヘッド)の装着位置(姿勢も含む:以下、同じ)が校正時のものから変化した時に発生する。また、上記使用形態(2)では、視覚センサ(センサヘッド)の設置位置が校正時の定位置から変化した時に発生する。
このようなセンサの位置ずれは、例えばロボットのアームに装着された視覚センサが周囲の物体(人も含む;以下、同じ)に衝突した場合、ロボットのアームが周囲の物体に衝突して、その衝撃が視覚センサに及んだ場合、定位置に設置したセンサに物体が衝突した場合などに起る。また、仮に見かけ上はセンサの位置ずれがなくとも、内部の光学系の配置が衝撃等により校正時のものから変化し、それが計測精度低下の原因になることもある。
このような事態が発生した時、あるいは、発生したと推測された時、従来は、同じ校正作業をはじめからやり直すことで対処していた。しかし、同じ校正作業をやり直すためには、校正用治具を再度用いるなどして、測定ターゲットと視覚センサとの相対的位置関係を正確に再現する必要があり、作業負担が重く、システムのダウンタイムが長くなってしまうことが避けられなかった。なお、本明細書において「測定ターゲット」とは、校正のために視覚センサで認識する標的物のことで、例えば校正用治具上に描かれたドット群が測定ターゲットに用いられる。
特許第2690603号公報 特許第2686351号公報 特開平08−5351号公報 特開平08−233516号公報 特開平08−272414号公報
そこで、本発明の目的は、上記従来技術の問題点を克服し、3次元視覚センサが正常な計測が行える状態にある時に得たデータを利用することで、校正作業をはじめからやり直さずに簡便に再校正を行なえるようにし、再校正に要する作業負担を軽減することにある。
上記課題を解決するために、本発明では、3次元視覚センサが正常な測定ができる状態にある時(第1の状態時)に、3次元視覚センサと測定ターゲットを任意の少なくとも1つの相対的位置関係で配置し、該各配置の下で前記3次元視覚センサによって測定ターゲットを計測し、所定の「基準データ」を取得しておく。ここで、「基準データ」としては、下記(I)、(II)のいずれかとすることができる。
(I)その時点において前記3次元視覚センサが保持している校正に関する複数のパラメータを用いて得られる位置/姿勢データ(測定ターゲットに関する位置または姿勢の少なくとも一方を表わすデータ)
(II)測定ターゲットに関する特徴量データ
ここで、「任意の相対位置」は2つ以上であっても良く、その場合には、位置データは各相対位置毎に取得・記憶される。
以上の準備の下で、その後、例えばロボットの干渉時等、同3次元視覚センサの再校正が必要になった時に(第2の状態時)、3次元視覚センサと測定ターゲットの相対的な位置関係を少なくとも近似的に再現し、前記所定のデータを得た時とほぼ同一のものとして、測定ターゲットに対する計測を再度実行する。そして、測定ターゲットに関する特徴量データを検出し、この再計測で得た諸データと、取得済みの基準データを利用して再校正を行なう。
具体的に言えば、請求項1〜請求項5は、校正に関する複数のパラメータを保持している、ロボットシステムにおける3次元視覚センサの再校正方法に関する発明を規定している。
請求項1に記載された発明は、
(a)前記3次元視覚センサが正常な計測を行える状態時において、前記3次元視覚センサと測定ターゲットを任意の少なくとも1つの相対的位置関係で配置し、該各配置の下で前記3次元視覚センサによって前記測定ターゲットを計測し、その時点において前記3次元視覚センサが保持している校正に関する複数のパラメータを用いて、該測定ターゲットに関する位置または姿勢の少なくとも一方を表わす位置/姿勢データを取得し、該位置/姿勢データを記憶する段階と、
(b)前記状態時より後の状態時に前記3次元視覚センサの再校正を行う際に、前記3次元視覚センサと前記測定ターゲットを、前記少なくとも1つの相対的位置関係での配置が少なくとも近似的に再現されるように配置して、該各配置の下で前記3次元視覚センサによって前記測定ターゲットを計測し、該測定ターゲットに関する特徴量データを取得する段階と、
(c)該特徴量データと前記位置/姿勢データに基づいて、前記3次元視覚センサの校正に関する複数のパラメータを更新する段階とを含み、
前記段階(a)における、前記少なくとも1つの相対的位置関係での配置、及び、前記段階(b)における各相対的位置関係での配置の前記少なくとも近似的な再現が、前記3次元視覚センサ及び前記測定ターゲットの少なくとも一方を支持したロボットによる移動によって行なわれ、且つ、
前記段階(b)において、前記少なくとも近似的な再現のために、前記段階(a)における各相対的位置関係での配置に対応した各ロボット位置が、前記段階(b)におけるロボット移動によって再現されることを特徴とする。
また、請求項2に記載された発明は、
(a)前記3次元視覚センサが正常な計測を行える状態時において、前記3次元視覚センサと測定ターゲットを任意の少なくとも1つの相対的位置関係で配置し、該配置の下で前記3次元視覚センサによって前記測定ターゲットを計測し、該測定ターゲットに関する特徴量データを取得し、該特徴量データを記憶する段階と、
(b)前記状態時より後の状態時に前記3次元視覚センサの再校正を行う際に、前記3次元視覚センサと前記測定ターゲットを、前記少なくとも1つの相対的位置関係での配置が少なくとも近似的に再現されるように配置して、該各配置の下で前記3次元視覚センサによって前記測定ターゲットを計測し、該測定ターゲットに関する特徴量データを取得する段階と、
(c)前記段階(a)の時点で保持されている前記3次元視覚センサの校正に関する複数のパラメータと、前記段階(a)で取得された特徴量データと、前記段階(b)で取得された特徴量データとに基づいて、前記3次元規覚センサの校正に関する複数のパラメータを更新する段階とを含み、
前記段階(a)における、前記少なくとも1つの相対的位置関係での配置、及び、前記段階(b)における各相対的位置関係での配置の前記少なくとも近似的な再現が、前記3次元視覚センサ及び前記測定対象物の少なくとも一方を支持したロボットによる移動によって行なわれ、且つ、
前記段階(b)において、前記少なくとも近似的な再現のために、前記段階(a)における各相対的位置関係での配置に対応した各ロボット位置が、前記段階(b)におけるロボット移動によって再現されることを特徴としている。
上記いずれの発明においても、前記段階(a)及び前記段階(b)における、前記少なくとも1つの相対的位置関係での配置、及び、前記少なくとも1つの相対的位置関係での配置の少なくとも近似的再現のために、前記3次元視覚センサ及び前記測定ターゲットの一方を前記ロボットのアームに装着し、他方を前記ロボットのアーム上以外の所定位置に設置することができる(請求項3)。
また、前記段階(a)及び前記段階(b)における、前記少なくとも1つの相対的位置関係での配置、及び、前記少なくとも1つの相対的位置関係での配置の少なくとも近以的再現のために、前記3次元視覚センサを前記ロボットのアームに装着し、前記測定ターゲットを前記ロボットのアーム上の別の箇所に配置することもできる(請求項4)。
あるいは、前記段階(a)及び前記段階(b)における、前記少なくとも1つの相対的位置関係での配置、及び、前記少なくとも1つの相対的位置関係での配置の少なくとも近似的再現のために、前記3次元視覚センサを前記ロボットのアームに装着し、前記測定ターゲットを前記ロボットとは別のロボットのアーム上に配置しても良い(請求項5)。
更に、請求項6〜請求項9に係る発明は、ロボット上に測定ターゲットを配置して該3次元視覚センサの再校正を行う装置を提供する。
請求項6に記載された発明に係る再校正装置は、
前記3次元視覚センサの校正に関する複数のパラメータを保持する手段と、
前記3次元視覚センサが測定ターゲットの近傍にくるような少なくとも1つのロボット位置に前記ロボットを移動させる手段と、
該各ロボット位置において、該3次元視覚センサによる計測によって前記測定ターゲットに関する位置情報を検出するためのターゲット位置情報検出手段と、
前記各ロボット位置において、前記3次元視覚センサによる計測によって前記測定ターゲットに関する特徴量情報を検出するためのターゲット特徴量情報検出手段と、
基準データ取得指令に応じて、前記ターゲット位置情報検出手段により、前記測定ターゲットに関する位置情報の検出を実行し、その時点において保持されている前記3次元視覚センサの校正に関する複数のパラメータを用いて、これを前記ターゲットの位置または姿勢の少なくとも一方を表わす位置/姿勢データとして記憶する手段と、
再校正指令に応じて、前記ターゲット特徴量情報検出手段により、前記測定ターゲットに関する特徴量情報を検出してこれを特徴量データとして求める手段と、該特徴量データと前記位置/姿勢データに基づいて、前記3次元視覚センサの校正に関する複数のパラメータを更新するパラメータ更新手段とを備えることを特徴とする。
また、請求項7に記載された発明に係る再校正装置は、
前記3次元視覚センサの校正に関する複数のパラメータを保持する手段と、
前記測定ターゲットが前記3次元視覚センサの近傍にくるような少なくとも1つのロボット位置に前記ロボットを移動させる手段と、
該各ロボット位置において、該3次元視覚センサによる計測によって前記測定ターゲットに関する位置情報を検出するためのターゲット位置情報検出手段と、前記各ロボット位置において、前記3次元視覚センサによる計測によって前記測定ターゲットに関する特徴量情報を検出するためのターゲット特徴量情報検出手段と、
基準データ取得指令に応じて、前記ターゲット位置情報検出手段により、前記測定ターゲットに関する位置情報の検出を実行し、その時点で保持されている前記3次元視覚センサの校正に関する複数のパラメータを用いて、これを前記ターゲットの位置または姿勢の少なくとも一方を表わす位置/姿勢データとして記憶する手段と、
再校正指令に応じて、前記ターゲット特徴量情報検出手段により、前記測定ターゲットに関する特徴量情報を検出してこれを特徴量データとして求める手段と、該特徴量データと前記位置/姿勢データに基づいて、前記3次元視覚センサの校正に関する複数のパラメータを更新するパラメータ更新手段とを備えることを特徴とする。
更に、請求項8に記載された発明に係る再校正装置は、
前記3次元視覚センサの校正に関する複数のパラメータを保持する手段と、
前記3次元視覚センサが測定ターゲットの近傍にくるような少なくとも1つのロボット位置に前記ロボットを移動させる手段と、
前記各ロボット位置において、前記3次元視覚センサによる計測によって前記測定ターゲットに関する特徴量情報を検出するためのターゲット特徴量情報検出手段と、
基準データ取得指令に応じて、前記ターゲット特徴量情報検出手段により、前記測定ターゲットに関する特徴量情報を検出してこれを基準特徴量データとして記憶する手段と、
再校正指令に応じて、前記ターゲット特徴量情報検出手段により、前記測定ターゲットに関する特徴量情報を検出してこれを特徴量データとして求める手段と、
該特徴量データと前記基準特徴量データと前記基準データ取得指令受理時点において保持されている前記3次元覚センサの校正に関するパラメータに基づいて、前記3次元視覚センサの校正に関する複数のパラメータを更新するパラメータ更新手段とを備えることを特徴とする、3次元視覚センサの再校正装置。
そして、請求項9に記載された発明に係る再校正装置は、
前記3次元視覚センサの校正に関する複数のパラメータを保持する手段と、
前記測定ターゲットが前記3次元視覚センサの近傍にくるような少なくとも1つのロボット位置に前記ロボットを移動させる手段と、
前記各ロボット位置において、前記3次元視覚センサによる計測によって前記測定ターゲットに関する特徴量情報を検出するためのターゲット特徴量情報検出手段と、
基準データ取得指令に応じて、前記ターゲット特徴量情報検出手段により、前記測定ターゲットに関する特徴量情報を検出してこれを基準特徴量データとして記憶する手段と、
再校正指令に応じて、前記ターゲット特徴量情報検出手段により、前記測定ターゲットに関する特徴量情報を検出してこれを特徴量データとして求める手段と、該特徴量データと前記基準特徴量データと前記基準データ取得指令受理時点において保持されている前記3次元覚センサの校正に関する複数のパラメータに基づいて、前記3次元視覚センサの校正に関するパラメータを更新するパラメータ更新手段とを備えることを特徴とする。
本発明によれば、3次元視覚センサの再校正を簡便に実行することができる。即ち、再校正時に3次元視覚センサと測定ターゲットの間の正確な相対位置を再現するための校正用の治具を使用する必要がなく、同じロボット位置の下で取得した、測定ターゲットの位置データ(正常計測時)と特徴量(再校正時)を利用した演算で再校正が達成される。従って、従来のように、校正用の治具を着脱する手間、時間を費やすことなく、非常に短時間で3次元視覚センサを正常な状態に復旧することができる。
図1は、本実施形態で用いられる3次元視覚センサ(以下、単に「視覚センサ」とも言う)の要部構成を示した図である。ここに示す視覚センサ自体は周知の典型的なもので、対象物を計測する光学系及び光検出手段を含むセンサヘッド30と、同センサヘッド30の制御及び3次元計測に関する情報処理を行なう3次元視覚センサ制御装置10からなる。センサヘッド30内には、レーザ投光器34とそれを駆動するレーザ駆動部32、レーザ光をスキャニングするためのミラー35とそれを駆動するミラー走査部33が配される。また、対象物40の2次元画像の撮影及び同対象物40上に照射されたレーザ光に由来する反射光を受光するカメラ31が装備されている。
一方、3次元視覚センサ制御装置10内には、CPU11、ROM12、RAM13、不揮発性メモリ14、フレームメモリ17などのメモリ群、ロボット制御装置等との間でデータを送受信する通信I/F(インターフェイス)15、モニタなどの外部装置とのやりとりを行なう入出力装置I/F(インターフェイス)16、カメラ31を駆動しその映像を取り込むカメラI/F(インターフェイス)18、レーザ駆動部32やミラー走査部33とのやり取りを行なうレーザ制御I/F(インターフェイス)19などが配される。
3次元計測時には、ROM12などに用意されたプログラムがCPU11によって実行され、所定の角度θにセット(通常は、複数の角度に順次セット)されたミラー35を介して対象物40上にレーザ光が照射され、設定角度θ毎に、レーザ光の映像がカメラ31を介してフレームメモリ17に取り込まれる。そして、ここから画像上の特徴量が画像処理によって抽出され、また、予め不揮発性メモリ14などに用意された校正データ(その時点で記憶されている校正データ)を用いてこの特徴量から対象物40の位置や姿勢などの情報が算出される。なお、カメラ31により対象物40の通常の撮影が行なわれた場合は、2次元画像が、フレームメモリ17に取り込まれ、所要の画像処理が行なわれ、画像上の特徴量が抽出され、また、予め不揮発性メモリ14などに用意された校正データを必要に応じて用いてこの特徴量のデータ等が算出される。
さて、本発明は、3次元視覚センサの再校正を行なうものであり、当然の前提として、該再校正以前に適正な校正が実行され、校正内容を表現する複数のパラメータ(以下、単に「校正パラメータ」とも言う)が用意されていなければならない。また、この再校正に先行する校正で定められた校正パラメータは、後述する「位置データ(本実施形態では、ドットパターン位置のデータ)の取得」においても必要なものである。
そこで、この「再校正に先行する校正」について、図2を参照図に加えて説明する。なお、本発明では、「各・・・」という表現を、「・・・」が1つであり得るケースでも使用する。校正を実行するには、先ず、図2に示すように、校正用の測定ターゲット51を持つ校正用治具50をセンサヘッド30に装着し、測定ターゲット51を所定の箇所にセットする。セットする個所は、校正の手法により、1個所の場合と、複数個所の場合がある。ここでは、2個所の例が示されている。各セット個所において、採用する校正手法に応じた所定の測定を、センサヘッド30と視覚センサ制御装置10を用いて実行することで、校正パラメータを定めることができる。以下、その一例を説明する。
測定ターゲット51上にはドットパターンなどが印刷されており、校正用治具50は、測定ターゲット51を装着して各セット位置にセットした状態において、ドットパターン52の各ドットがセンサヘッド30に対してある決まった既知の位置にくるように構成されている。校正の詳細を図3を用いて説明する。
図3において、各セット位置に位置決めされた状態の測定ターゲット(図2における符号51)が、それぞれ符号60A,60Bで示されている。
以下、符号60A,60Bを測定ターゲットの各セット位置を込めた意味で適宜使用する。即ち、測定ターゲット60A,60Bは、夫々図3に示された各セット位置にある時の(同一個体としての)測定ターゲットを表わしている。同様に、夫々図3に示された各セット位置に測定ターゲットが位置決めされた時のドットパターン(図2では符号52を使用)を符号61,62で代表させることにする。
既述したように、校正用治具50などにより各セット位置に測定用ターゲットが配置されると、その上に印刷されたドットパターン61,62の各ドットの位置が既知となる。例えば測定ターゲット60Aの位置に対応させて、図のように座標系80を定義し、これをセンサの計測の基準(以後、センサ座標系と称する)とすると、ドットパターン61及び62について、次のように表記できる。
ドットパターン61の位置=(Xa1,Ya1,Za1)
ドットパターン62の位置=(Xb1,Yb1,Zb1)
;但し、図示した例では、 Za1=0である。
もし、測定用ターゲットのドットパターンのドット数がN個であれば、各ドットにラベル1〜Nを割り当てて各ドット位置を次のように一般表記できる。
ドットパターン61のi番目のドットの位置=(Xai,Yai,Zai)
ドットパターン62のi番目のドットの位置=(Xbi,Ybi,Zbi)
但し、i=1,2・・・・・・N、図示した例では、 Za1=Za2=・・・・・・=ZaN=0である。
さて、カメラ31を用いて通常撮影により、各位置の測定ターゲット60A,60Bを撮像すると、これらは視線71,72などの延長線上で画像面に結像する。各ドットパターン61,62を画像上の画像座標(縦軸、横軸をそれぞれVt 軸、Hz 軸と呼ぶこととする)で表すと、
(Vai,Hai)
(Vbi,Hbi)[但し、i=1,2・・・・・・N]
のように表示できる。ここで、(Vai,Hai)は、ドットパターン61について検出される一種の特徴量と考えることができる。(Vbi,Hbi)は、ドットパターン62について検出される一種の特徴量と考えることができる。
上述のように、各ドットのセンサ座標系80上の位置は既知なので、これらの特徴量の組み合わせに対して、周知の校正演算を適用することで、任意の画像特徴量(V,H)が与えられた時に、その画像特徴量から定まる視線と位置測定ターゲット60Aとの交点、及び、視線と位置測定ターゲット60Bとの交点(Xa,Ya,Za)、(Xb ,Yb ,Zb )が算出できる。
測定ターゲット60A、60Aについての交点位置算出式のセットを下記(式1)で簡略表現する。
(V,H)→(Xa ,Ya ,Za )
(V,H)→(Xb ,Yb ,Zb ) ・・・・(式1)
そして、2つの交点(Xa ,Ya ,Za )、(Xb ,Yb ,Zb )が得られれば、簡単な計算により、これら2点を通る直線の式が求められる。この直線を表わす式が「視線の式」である。この算出式を下記(式2)で簡略表現する。
(Xa ,Ya ,Za )、(Xb ,Yb ,Zb )→[視線の式]
・・・・(式2)
続いて、ミラー35を任意の角度θにした時に照射されるレーザ光によって生じる輝点63,64をカメラ31で撮像すると、これらは視線73,74の延長線上で画像面に結像する。各輝点63,64は、前述の(式1)の関係を用いて座標系80上での3次元位置として求められる。
ここで、レーザ光がスリット光であるとした場合、各輝点63,64を測定ターゲット上の2本の直線状の輝線と考えれば良い。そして、測定ターゲット上の各輝線(直線)について複数の輝点の3次元位置を算出すれば、これら2つの輝線を生じさせているレーザスリット光が乗っている平面(以下、レーザスリット光平面という)を一意的に求めることができる。
同様にして、ミラー35の角度θを何通りか変化させ、その時々のレーザスリット光平面を求めることにより、任意のθに対応するレーザスリット光平面が算出できるようになる。この算出式を下記(式3)で簡略表現する。
θ→[レーザスリット光平面の式] ・・・・(式3)
以上の(式1)〜(式3)が得られたことで、校正が完了したことになる。具体的には、(式1)〜(式3)の各式の演算内容(例えば多項式)及び特定する複数のパラメータ(例えば多項式の各項の係数と定数)が、視覚センサのメモリに記憶される。
上述の校正方法は、測定ターゲットを2箇所に位置決めして行なうものであるが、1箇所の位置決めで校正を行なうことも可能であるので、その一例についても簡単に説明しておく。なお、ここでも図3を一部援用し、「1個所に位置決めされた測定ターゲット」として、測定ターゲット60Aを考える。また、測定ターゲット60A上に定義された座標系80を「測定ターゲット座標系」と呼ぶ。
先ずカメラ31の画素サイズ及びカメラ31で用いているレンズの焦点距離が予め既知であれば、カメラのレンズ中心点に対して焦点距離だけ隔たった位置に撮像面が存在すると仮定することができる。すると、任意の画像特徴量(V,H)が与えられた時に、カメラの撮像面に座標系(XY平面を撮像面に一致させた3次元座標系;撮像面座標系と呼ぶ)を定義して、対象物像の位置(Xc ,Yc ,Zc )を決めることができる。即ち、測定ターゲット上のN個のドットパターンに対して、
画像特徴量;(Vai,Hai)
撮像面座標系上での対象物像位置;(Xci,Yci,Zci)
測定ターゲット座標上での対象物位置;(Xai,Yai,Zai)
[但し、i=1,2・・・・・・N]
の組み合わせが得られる。これらの組み合わせに対して、校正演算を適用することにより、カメラ撮像面座標と測定ターゲット座標の相対位置が求められ、その結果、任意の画像特徴量(V,H)が与えられた時に、撮像面座標系上での対象物像位置(Xc ,Yc ,Zc )、及び、視線と測定ターゲット60Aの交点(Xa ,Ya ,Za )が算出できるようになる。
この算出式のセットを下記(式1’)で簡略表現する。
(V,H)→(Xc ,Yc ,Zc )
(V,H)→(Xa ,a ,Za ) ・・・・(式1’)
そして、2つの点(Xc ,Yc ,Zc )、(Xa ,Ya ,Za )が得られれば、簡単な計算により視線の式を求めることができる。
この算出式を下記(式2’)で簡略表現する。
(Xc ,Yc ,Zc )、(Xa ,Ya ,Za )→[視線の式]
・・・・(式2’)
続いて、前述の「2個所位置決め」の場合と同様に、ミラー35を任意の角度θにした時に照射されるレーザ光によって生じる輝点63をカメラ31で撮像すると、これは視線73の延長線上で画像面に結像する。輝点63は、前述の(式1’)の関係を用いて測定ターゲット座標系80上での3次元位置として求められる。
ここで、レーザ光がスリット光であるとした場合、各輝点63を測定ターゲット60A上の直線状の輝線と考えれば良い。ここで、レーザ投光器34を点光源であるとすれば、この点光源と輝点63で代表されている直線(輝線)により、1つの平面を構成する。そこで、ミラー35の角度θをδθ(小角度)だけ何通りか変化させて、その時々に構成される前述の平面についてそれらが角度δθずつの相対角度を持つという条件を用いれば、点光源の位置を求めることができる。その結果、任意のθが与えられた時に、その時のレーザスリット光平面が算出できるようになる。
この算出式を下記(式3’)で簡略表現する。
θ→[レーザスリット光平面の式] ・・・・(式3’)
以上の(式1’)〜(式3’)が得られたことで、「1個所位置決め」方式による校正が完了したことになる。具体的には、「2個所位置決め」の場合と同様、(式1’)〜(式3’)の各式の演算内容(例えば多項式)及び特定する複数のパラメータ(例えば多項式の各項の係数と定数)が、視覚センサのメモリに記憶される。
以上のようにして、「1個所位置決め」あるいは「2個所位置決め」の方式で、校正が完了した3次元視覚センサを用いて、ある対象物を計測する場合には、計測時のミラー角度θから(式3)あるいは(式3’)により、その時のレーザスリット光平面を求め、更に、レーザ光輝点を表す画像上の特徴量(V,H)から(式1)、(式2)あるいは(式1’)、(式2’)により、カメラ31からレーザ光輝点に向かう視線を求める。そして、これらレーザスリット光平面の式と視線の式とを連立させて解くことにより、輝点の3次元位置を算出することができる。
このようにして正常な計測が可能になった3次元視覚センサは、治具50から取り外され、アプリケーションに応じて、ロボットのアームあるいはロボット上にない定位置に設置される。これに対応して、ここでは先ず下記の「配置1」、「配置2」のケースについて述べる。なお、説明の都合上、上述の校正で使用した測定ターゲット(符号51,60A,60B)を符号103で表記する。
配置1;図4に示すように、センサヘッド102(図1に示したもの;以下、同じ)をロボット101のアームに装着して使用する一方、測定ターゲット103を位置(ロボット101の近傍で干渉のおそれがない位置)に固定して設置する。ここでは、ロボットのベースを利用して、固定具で測定ターゲット103が固設されている。
ロボット101はロボット制御装置100に接続され、3次元視覚センサ制御装置104は、センサヘッド102に接続される。また、ロボット制御装置100と3次元視覚センサ制御装置104も、例えば通信回線105で結ばれる。
配置2;図5に示すように、センサヘッド102をロボット101外の定位置(ここでは支柱106上の定位置)に固定設置して使用する。測定ターゲット103は、ロボット101のアームに装着する。
また、配置1の場合と同様に、ロボット101はロボット制御装置100に接続され、3次元視覚センサ制御装置104は、センサヘッド102に接続される。また、ロボット制御装置100と3次元視覚センサ制御装置104も、例えば通信回線105で結ばれる。
これらいずれの配置においても、将来の再校正に備えて、視覚センサ102が正常に計測を行なう状態にある内に、ロボット101に予め定めた任意の2つの互いに異なるロボット位置P1、P2に移動させ、測定ターゲット103を計測してドットパターンのデータを保存するための一連の処理を実行する。図6は、その処理の概要を表わしたフローチャートである。各ステップの要点は、下記の通りである。
ステップS1;ロボットをP1へ移動させる。これにより、視覚センサ102と測定ターゲット103の間の「第1の相対関係」で配置されることになる。
ステップS2;測定ターゲット103を視覚センサ102で計測する指令(位置データ取得指令を含む)を、ロボット制御装置100のキーボードからのマニュアル操作、プログラム命令等で、3次元視覚センサ制御装置104に出力する。
ステップS3;センサ座標系(または測定ターゲット座標系)80上で、ドットパターン位置を算出する。校正パラメータは、上述の校正で保存されているものを利用する。なお、ここで、センサ座標系(または測定ターゲット座標系)80は、図3に示した場合とは違って、必ずしも一方の測定用ターゲットの上に載るとは限らないことに注意されたい。
ステップS4;ステップS3で求めたデータを「ドットパターン位置A」として視覚センサの不揮発性メモリ14に記憶する。
ステップS5;ロボットをP2へ移動させる。これにより、視覚センサ102と測定ターゲット103の間の「第2の相対関係」で配置されることになる。
ステップS6;測定ターゲット103を視覚センサ102で計測する指令(位置データ取得指令を含む)を、ロボット制御装置100のキーボードからのマニュアル操作、プログラム命令等で、3次元視覚センサ制御装置104に出力する。
ステップS7;センサ座標系(または測定ターゲット座標系)80上で、ドットパターン位置を再度算出する。校正パラメータは、上述の校正で保存されているものを利用する。なお、ここでも、センサ座標系(または測定ターゲット座標系)80は、図3に示した場合とは違って、必ずしも一方の測定用ターゲットの上に載るとは限らないことに注意されたい。
ステップS8;ステップS7で求めたデータを「ドットパターン位置B」として視覚センサの不揮発性メモリ14に記憶する。
以上で、再校正に備えた準備(位置データ取得ステップ)は完了する。そして、視覚センサ102に、従来技術の項で述べた諸原因により、再校正が必要になった場合、再校正ステップを実行する。その概要を図7のフローチャートに示した。各ステップの要点は下記の通りである。
ステップS11;ロボットをP1へ移動させる。これにより、視覚センサ102と測定ターゲット103の間の「第1の相対関係」が少なくとも近似的に再現されることになる(一般には、視覚センサの位置・姿勢がずれてしまっていると考えられるので、その分、正確には再現されない)。
ステップS12;測定ターゲット103を視覚センサ102で計測する指令(再校正指令を含む)を、ロボット制御装置100のキーボードからのマニュアル操作、プログラム命令等で、3次元視覚センサ制御装置104に出力する。
ステップS13;測定ターゲット103のドットパターンの画像座標を抽出する。
ステップS14;ステップS13で抽出した画像座標を画像座標Aとして、視覚センサの不揮発性メモリ14に一時保存する。
ステップS15;ロボットをP2へ移動させる。これにより、視覚センサ102と測定ターゲット103の間の「第2の相対関係」が少なくとも近似的に再現されることになる(ここでも一般には、視覚センサの位置・姿勢がずれてしまっていると考えられるので、その分、正確には再現されない)。
ステップS16;測定ターゲット103を視覚センサ102で計測する指令(再校正指令を含む)を、ロボット制御装置100のキーボードからのマニュアル操作、プログラム命令等で、3次元視覚センサ制御装置104に出力する。
ステップS17;測定ターゲット103のドットパターンの画像座標を抽出する。
ステップS18;ステップS17で抽出した画像座標を画像座標Bとして視覚センサの不揮発性メモリ14に一時保存する。
ステップS19;「ドットパターン位置A」、「ドットパターン位置B」、「画像座標A」、「画像座標B」のデータを用いて再校正のための校正計算を実行する。即ち、これらのデータを用いて、前述した式1、式2あるいは式1’、式2’を更新(再計算して記憶)することができる。又、前述したレーザ光側の校正を行なうことにより、式3あるいは式3’を更新(再計算して記憶)することができる。これにより再校正が完了する。
ステップS20;旧校正パラメータに代えて、ステップS19で求められた校正パラメータを視覚センサのメモリに保存して、処理を終了する。
なお、上記の実施形態では、3次元視覚センサと測定用ターゲットの相対関係をロボットによって2つ定める説明を行なったが、前述したように、測定用ターゲットを1箇所に位置決めして校正を行なう方法に基けば、この相対関係を1つだけ定めるだけとすることもできる。
また、配置1あるいは配置2の変形として、測定ターゲット103を別のロボットのアーム上に配置し、上記の各相対的位置関係及びその少なくとも近似的な再現を行なっても良い。例えば、「別のロボット」のアームに測定ターゲットを装着し、位置P3を上述の「固定的な設置」のために代用しても良い。
更に、上述した実施形態では、基準データ取得時及び再校正時に3次元視覚センサで測定ターゲットの測定を行ない測定ターゲットの「位置」のデータを取得している。より具体的に言えば、図6のフローチャートのステップS3、S4ではセンサ座標系基準で測定ターゲットのドットパターン位置を検出し、ドットパターン位置Aとして保存し、ステップS7、S8では、センサ座標系基準で測定ターゲットのドットパターン位置を検出し、ドットパターン位置Bとして保存している(基準データ取得)。そして、図7のフローチャートのステップS13、S14、S17、S18においても、同様に、測定ターゲットのドットパターンの画像座標の抽出、画像座標Aの一時保存、画像位置Bの一時保存などを行なっている(再校正時のデータ取得)。
このように測定ターゲットの「位置」のデータを取得する代わりに、測定ターゲットの「姿勢」のデータを取得しても同様に本発明を実施できる。以下、簡単にその理由を説明する。なお、既に説明した通り、上記実施形態におけるドットパターン位置Aとドットパターン位置Bは、3次元視覚センサに対して異なる相対位置にある測定ターゲットについて単に記述を分けたものなので、以下はドットパターン位置Aのみを考えて説明する。
上記実施形態におけるドットパターン位置Aの記憶は、測定定ターゲットを計測して、それに関する位置情報を記憶する際の1つのやり方の例に相当している。本明細書中の記述を使うと、(Xai, Yai, Zai)[i=1,2・・・・・・N]
という位置データを記憶することになる。センサ座標系をΣs と表記することにすると、(Xai, Yai, Zai)はΣs における座標値となる。図8は、一例として、N(N=12)個のドットマトリックスで構成されるドットパターンの最初のドットの座標値が(Xa1, Ya1, Za1)であり、最後のドットの座標値が(XaN, YaN, ZaN)であることを表わしている。
測定ターゲットを計測して、それに関する位置情報を記憶する方法の別法としては、「姿勢」を記憶する次のような方法が考えられる。
即ち、測定ターゲット上でのドットパターンの配置が予め既知として扱えるならば、測定ターゲットの位置姿勢の情報を計測することで、個々のドットパターンの位置を計測したと等価な結果を得ることができる。なぜならば、ドットパターンの配置情報が既に用意されていれば、測定ターゲットの位置姿勢の情報と組み合わせることで、個々のドットパターンの位置を計算で直ちに求めることができるからである。これを図9を参照して説明する。
今、測定ターゲット上に固定された座標系をΣt と表記することにする。測定ターゲット上のドットパターンの配置は予め既知であるとし、各ドットの配置を
Di [i =1, 2, ・・・・N]
で表わす。ここで、Di は座標系Σt における座標値であり、より具体的には、
Di =(xi,yi,zi ) [i =1, 2, ・・・・N]
のように表わされるものとする。
さて、測定ターゲットを計測して、それに関する位置情報を、センサ座標系Σs から見たΣt の位置姿勢(以下、Tで表わす)として記憶する。周知の通り、ここでTは同次変換行列である。Di が予め既知であるとすれば、下記(式4)でセンサ座標系Σs 上での位置(座標値)と座標系Σt 上での位置(座標値)とは換算可能である。従って、測定ターゲットの位置姿勢Tを記憶することは、(Xai, Yai, Zai)を記憶することと等価になる。
Figure 2006035384
ところで、上記実施形態で説明したプロセスを総括してみると図10に示したような関係図で表わすことができる。ここで、図中の「測定対象物」は、上記実施形態の説明で「測定ターゲット」と呼んでいるものをより一般的な呼称で表記したものである。さて、本発明では、この図で示されている関係を変形することも可能である。図10に示した関係図において、測定対象物(測定ターゲット)に関する位置情報は、測定対象物(測定ターゲット)に関する特徴量情報と、3次元視覚センサが既に(更新前のデータとして)保持している同センサの校正に関するパラメータ(複数)から算出されるものであるから、図10に示した関係図は、図11に示した関係図のように書き換えることが可能である。
ここで、前記の位置情報を取得するタイミングを考えてみると、上記実施形態(図10)のように、基準データ取得時には必ずしも位置情報(位置/姿勢データの取得)まで行なわなくとも、測定対象物(測定ターゲット)に関する特徴量情報を取得しておけば本質的には足りることが理解される。
このことを踏まえれば、図10に示した関係図に代えて図12に示した関係図で表わされるプロセスが採用可能である。この図12に示した関係図で表わされる変形プロセスは、請求項2が規定する校正方法あるいは請求項8、9が規定する校正装置に対応している。
即ち、基準データ取得時には、3次元視覚センサが正常な計測を行える状態時において、3次元視覚センサと測定ターゲット(測定対象物)を任意の少なくとも1つの相対的位置関係で配置し、該配置の下で前記3次元視覚センサによって測定ターゲット(測定対象物)を計測し、該測定ターゲット(測定対象物)に関する特徴量データを取得し、該特徴量データを記憶する。
そして、前記3次元視覚センサが正常な計測を行える状態時より後の状態時に3次元視覚センサの再校正を行う際には、3次元視覚センサと測定ターゲット(測定対象物)を、前記少なくとも1つの相対的位置関係での配置が少なくとも近似的に再現されるように配置して、該各配置の下で3次元視覚センサによって測定ターゲット(測定対象物)を計測し、該測定ターゲット(測定対象物)に関する特徴量データを取得する。
更に、前記3次元視覚センサが正常な計測を行える状態の時点で保持されている3次元視覚センサの校正に関する複数のパラメータと、基準データ取得時に取得された特徴量データと、再校正のためのデータ取得時に取得した特徴量データとに基づいて、3次元規覚センサの校正に関する複数のパラメータが更新される。
ここで、基準データ取得時における、少なくとも1つの相対的位置関係での配置、及び、再校正時の各相対的位置関係での配置の前記少なくとも近似的な再現は、前述の実施形態と同様、3次元視覚センサ及び測定対象物の少なくとも一方を支持したロボットによる移動によって行なうことができる。また、再校正時における少なくとも近似的な再現のためには、基準データ取得時における各相対的位置関係での配置に対応した各ロボット位置を、再校正時におけるロボット移動によって再現することができる。
また、3次元視覚センサと測定用ターゲットの相対関係をロボットによって2つ定める説明を行なう代わりに、前述したように、測定用ターゲットを1箇所に位置決めして校正を行なう方法に基けば、この相対関係を1つだけ定めるだけとすることもできる。更に、測定ターゲット103を別のロボットのアーム上に配置し、上記の各相対的位置関係及びその少なくとも近似的な再現を行なう方式をここで採用しても良い。
本実施形態で用いられる3次元視覚センサの要部構成を示した図である。 校正用の治具を用いた3次元視覚センサの校正方法について説明する図である。 校正の詳細について説明する図である。 実施形態における配置1について説明する図である。 実施形態における配置2について説明する図である。 実施形態における位置データ取得ステップについて説明する図である。 実施形態における再校正ステップについて説明する図である。 一例として、N(N=12)個のドットマトリックスで構成されるドットパターンの最初のドットの座標値が(Xa1, Ya1, Za1)であり、最後のドットの座標値が(XaN, YaN, ZaN)であることを表わす図である。 ドットパターンの配置情報と測定ターゲットの位置姿勢の情報との組み合わせから、個々のドットパターンの位置が計算可能であることを説明する図である。 実施形態で説明したプロセスを総括して示す関係図である。 図10に示した関係図を変形した形態を説明する関係図である。 実施形態で説明したプロセスを変形して本発明を実施する場合のプロセスを総括して示す関係図である。
符号の説明
10、104 3次元視覚センサ制御装置
11 CPU
12 ROM
13 RAM
14 不揮発性メモリ
15 通信I/F(インターフェイス)
16 入出力装置I/F(インターフェイス)
17 フレームメモリ
18 カメラI/F(インターフェイス)
19 レーザ制御I/F(インターフェイス)
30 センサヘッド
31 カメラ
32 レーザ駆動部
33 ミラーjp1走査部
34 レーザ投光器
35 ミラー
40 対象物
50 校正用治具
51、60A、61、60B、103 測定ターゲット
52、61、62 ドットパターン
63、64 輝点
71〜74 視線
80 センサ座標系(測定ターゲット座標系)
100 ロボット制御装置
102 3次元視覚センサ(センサヘッド)
105 通信回線

Claims (9)

  1. 校正に関する複数のパラメータを保持している、ロボットシステムにおける3次元視覚センサの再校正方法であって、
    (a)前記3次元視覚センサが正常な計測を行える状態時において、
    前記3次元視覚センサと測定ターゲットを任意の少なくとも1つの相対的位置関係で配置し、該各配置の下で前記3次元視覚センサによって前記測定ターゲットを計測し、その時点において前記3次元視覚センサが保持している校正に関する複数のパラメータを用いて、該測定ターゲットに関する位置または姿勢の少なくとも一方を表わす位置/姿勢データを取得し、該位置/姿勢データを記憶する段階と、
    (b)前記状態時より後の状態時に前記3次元視覚センサの再校正を行う際に、前記3次元視覚センサと前記測定ターゲットを、前記少なくとも1つの相対的位置関係での配置が少なくとも近似的に再現されるように配置して、該各配置の下で前記3次元視覚センサによって前記測定ターゲットを計測し、該測定ターゲットに関する特徴量データを取得する段階と、
    (c)該特徴量データと前記位置/姿勢データに基づいて、前記3次元視覚センサの校正に関する複数のパラメータを更新する段階とを含み、
    前記段階(a)における、前記少なくとも1つの相対的位置関係での配置、及び、前記段階(b)における各相対的位置関係での配置の前記少なくとも近似的な再現が、前記3次元視覚センサ及び前記測定ターゲットの少なくとも一方を支持したロボットによる移動によって行なわれ、且つ、
    前記段階(b)において、前記少なくとも近似的な再現のために、前記段階(a)における各相対的位置関係での配置に対応した各ロボット位置が、前記段階(b)におけるロボット移動によって再現されることを特徴とする、3次元視覚センサの再校正方法。
  2. 校正に関する複数のパラメータを保持している、ロボットシステムにおける3次元視覚センサの再校正方法であって、
    (a)前記3次元視覚センサが正常な計測を行える状態時において、
    前記3次元視覚センサと測定ターゲットを任意の少なくとも1つの相対的位置関係で配置し、該配置の下で前記3次元視覚センサによって前記測定ターゲットを計測し、該測定ターゲットに関する特徴量データを取得し、該特徴量データを記憶する段階と、
    (b)前記状態時より後の状態時に前記3次元視覚センサの再校正を行う際に、前記3次元視覚センサと前記測定ターゲットを、前記少なくとも1つの相対的位置関係での配置が少なくとも近似的に再現されるように配置して、該各配置の下で前記3次元視覚センサによって前記測定ターゲットを計測し、該測定ターゲットに関する特徴量データを取得する段階と、
    (c)前記段階(a)の時点で保持されている前記3次元視覚センサの校正に関する複数のパラメータと、前記段階(a)で取得された特徴量データと、前記段階(b)で取得された特徴量データとに基づいて、前記3次元規覚センサの校正に関する複数のパラメータを更新する段階とを含み、
    前記段階(a)における、前記少なくとも1つの相対的位置関係での配置、及び、前記段階(b)における各相対的位置関係での配置の前記少なくとも近似的な再現が、前記3次元視覚センサ及び前記測定対象物の少なくとも一方を支持したロボットによる移動によって行なわれ、且つ、
    前記段階(b)において、前記少なくとも近似的な再現のために、前記段階(a)における各相対的位置関係での配置に対応した各ロボット位置が、前記段階(b)におけるロボット移動によって再現されることを特徴とする、3次元視覚センサの再校正方法。
  3. 前記段階(a)及び前記段階(b)における、前記少なくとも1つの相対的位置関係での配置、及び、前記少なくとも1つの相対的位置関係での配置の少なくとも近似的再現のために、前記3次元視覚センサ及び前記測定ターゲットの一方が前記ロボットのアームに装着され、他方は前記ロボットのアーム上以外の所定位置に設置される、請求項1または請求項2に記載の3次元視覚センサの再校正方法。
  4. 前記段階(a)及び前記段階(b)における、前記少なくとも1つの相対的位置関係での配置、及び、前記少なくとも1つの相対的位置関係での配置の少なくとも近以的再現のために、前記3次元視覚センサは前記ロボットのアームに装着され、前記測定ターゲットは前記ロボットのアーム上の別の箇所に配置される、請求項1または請求項2に記載の3次元視覚センサの再校正方法。
  5. 前記段階(a)及び前記段階(b)における、前記少なくとも1つの相対的位置関係での配置、及び、前記少なくとも1つの相対的位置関係での配置の少なくとも近似的再現のために、前記3次元視覚センサは前記ロボットのアームに装着され、前記測定ターゲットは前記ロボットとは別のロボットのアーム上に配置される、請求項1または請求項2に記載の3次元視覚センサの再校正方法。
  6. ロボットのアームに3次元視覚センサを装着して該3次元視覚センサの再校正を行う装置であって、
    前記3次元視覚センサの校正に関する複数のパラメータを保持する手段と、
    前記3次元視覚センサが測定ターゲットの近傍にくるような少なくとも1つのロボット位置に前記ロボットを移動させる手段と、
    該各ロボット位置において、該3次元視覚センサによる計測によって前記測定ターゲットに関する位置情報を検出するためのターゲット位置情報検出手段と、
    前記各ロボット位置において、前記3次元視覚センサによる計測によって前記測定ターゲットに関する特徴量情報を検出するためのターゲット特徴量情報検出手段と、
    基準データ取得指令に応じて、前記ターゲット位置情報検出手段により、前記測定ターゲットに関する位置情報の検出を実行し、その時点において保持されている前記3次元視覚センサの校正に関する複数のパラメータを用いて、これを前記ターゲットの位置または姿勢の少なくとも一方を表わす位置/姿勢データとして記憶する手段と、
    再校正指令に応じて、前記ターゲット特徴量情報検出手段により、前記測定ターゲットに関する特徴量情報を検出してこれを特徴量データとして求める手段と、該特徴量データと前記位置/姿勢データに基づいて、前記3次元視覚センサの校正に関する複数のパラメータを更新するパラメータ更新手段とを備えることを特徴とする、3次元視覚センサの再校正装置。
  7. ロボット上に測定ターゲットを配置して3次元視覚センサの再校正を行う装置であって、
    前記3次元視覚センサの校正に関する複数のパラメータを保持する手段と、
    前記測定ターゲットが前記3次元視覚センサの近傍にくるような少なくとも1つのロボット位置に前記ロボットを移動させる手段と、
    該各ロボット位置において、該3次元視覚センサによる計測によって前記測定ターゲットに関する位置情報を検出するためのターゲット位置情報検出手段と、前記各ロボット位置において、前記3次元視覚センサによる計測によって前記測定ターゲットに関する特徴量情報を検出するためのターゲット特徴量情報検出手段と、
    基準データ取得指令に応じて、前記ターゲット位置情報検出手段により、前記測定ターゲットに関する位置情報の検出を実行し、その時点で保持されている前記3次元視覚センサの校正に関する複数のパラメータを用いて、これを前記ターゲットの位置または姿勢の少なくとも一方を表わす位置/姿勢データとして記憶する手段と、
    再校正指令に応じて、前記ターゲット特徴量情報検出手段により、前記測定ターゲットに関する特徴量情報を検出してこれを特徴量データとして求める手段と、
    該特徴量データと前記位置/姿勢データに基づいて、前記3次元視覚センサの校正に関する複数のパラメータを更新するパラメータ更新手段とを備えることを特徴とする、3次元視覚センサの再校正装置。
  8. ロボットのアームに3次元視覚センサを装着して該3次元視覚センサの再校正を行う装置であって、
    前記3次元視覚センサの校正に関する複数のパラメータを保持する手段と、
    前記3次元視覚センサが測定ターゲットの近傍にくるような少なくとも1つのロボット位置に前記ロボットを移動させる手段と、
    前記各ロボット位置において、前記3次元視覚センサによる計測によって前記測定ターゲットに関する特徴量情報を検出するためのターゲット特徴量情報検出手段と、
    基準データ取得指令に応じて、前記ターゲット特徴量情報検出手段により、前記測定ターゲットに関する特徴量情報を検出してこれを基準特徴量データとして記憶する手段と、
    再校正指令に応じて、前記ターゲット特徴量情報検出手段により、前記測定ターゲットに関する特徴量情報を検出してこれを特徴量データとして求める手段と、
    該特徴量データと前記基準特徴量データと前記基準データ取得指令受理時点において保持されている前記3次元覚センサの校正に関するパラメータに基づいて、前記3次元視覚センサの校正に関する複数のパラメータを更新するパラメータ更新手段とを備えることを特徴とする、3次元視覚センサの再校正装置。
  9. ロボット上に測定ターゲットを配置して3次元視覚センサの再校正を行う装置であって、
    前記3次元視覚センサの校正に関する複数のパラメータを保持する手段と、
    前記測定ターゲットが前記3次元視覚センサの近傍にくるような少なくとも1つのロボット位置に前記ロボットを移動させる手段と、
    前記各ロボット位置において、前記3次元視覚センサによる計測によって前記測定ターゲットに関する特徴量情報を検出するためのターゲット特徴量情報検出手段と、
    基準データ取得指令に応じて、前記ターゲット特徴量情報検出手段により、前記測定ターゲットに関する特徴量情報を検出してこれを基準特徴量データとして記憶する手段と、
    再校正指令に応じて、前記ターゲット特徴量情報検出手段により、前記測定ターゲットに関する特徴量情報を検出してこれを特徴量データとして求める手段と、該特徴量データと前記基準特徴量データと前記基準データ取得指令受理時点において保持されている前記3次元視覚センサの校正に関する複数のパラメータに基づいて、前記3次元視覚センサの校正に関するパラメータを更新するパラメータ更新手段とを備えることを特徴とする、3次元視覚センサの再校正装置。
JP2004220251A 2004-07-28 2004-07-28 ロボットシステムにおける3次元視覚センサの再校正方法及び装置 Expired - Fee Related JP3946716B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004220251A JP3946716B2 (ja) 2004-07-28 2004-07-28 ロボットシステムにおける3次元視覚センサの再校正方法及び装置
US11/190,946 US7359817B2 (en) 2004-07-28 2005-07-28 Method of and device for re-calibrating three-dimensional visual sensor in robot system
CNB2005100873653A CN100368765C (zh) 2004-07-28 2005-07-28 机器人系统中再校准三维视觉传感器的方法和设备
EP05254725A EP1621297A1 (en) 2004-07-28 2005-07-28 Method of and device for re-calibrating three-dimensional visual sensor in robot system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004220251A JP3946716B2 (ja) 2004-07-28 2004-07-28 ロボットシステムにおける3次元視覚センサの再校正方法及び装置

Publications (2)

Publication Number Publication Date
JP2006035384A true JP2006035384A (ja) 2006-02-09
JP3946716B2 JP3946716B2 (ja) 2007-07-18

Family

ID=35229893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004220251A Expired - Fee Related JP3946716B2 (ja) 2004-07-28 2004-07-28 ロボットシステムにおける3次元視覚センサの再校正方法及び装置

Country Status (4)

Country Link
US (1) US7359817B2 (ja)
EP (1) EP1621297A1 (ja)
JP (1) JP3946716B2 (ja)
CN (1) CN100368765C (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009025252A (ja) * 2007-07-23 2009-02-05 Taisei Corp テールクリアランス自動計測システムおよびテールクリアランス自動計測方法
JP2009192483A (ja) * 2008-02-18 2009-08-27 Toyota Motor Corp 三次元形状計測方法および三次元形状計測装置
JP2010112859A (ja) * 2008-11-07 2010-05-20 Seiko Epson Corp ロボットシステム、ロボット制御装置およびロボット制御方法
JP2010156669A (ja) * 2008-12-30 2010-07-15 Ind Technol Res Inst 動的校正機能付きカメラおよびその方法
JP2013248729A (ja) * 2012-05-31 2013-12-12 Toyota Motor Engineering & Manufacturing North America Inc 非接触式光学距離及び触覚を感知する装置及び方法
KR101616366B1 (ko) * 2014-11-27 2016-04-29 삼성중공업(주) 계측기 보상 장치 및 방법
JP2018012152A (ja) * 2016-07-20 2018-01-25 ファナック株式会社 ロボットの原点位置較正装置および方法
JP6301045B1 (ja) * 2017-03-09 2018-03-28 三菱電機株式会社 ロボット制御装置およびキャリブレーション方法
WO2018163450A1 (ja) * 2017-03-09 2018-09-13 三菱電機株式会社 ロボット制御装置およびキャリブレーション方法
JP2020172015A (ja) * 2019-04-12 2020-10-22 株式会社Mujin ロボット制御のためのカメラキャリブレーションを更新する方法及び制御システム
WO2022224358A1 (ja) * 2021-04-20 2022-10-27 ファナック株式会社 ロボット
DE112022000442T5 (de) 2021-02-25 2023-11-02 Fanuc Corporation Simulationsvorrichtung mit Verwendung von dreidimensionalen Positionsinformationen, die aus dem Ausgang eines Vision Sensors gewonnen werden

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3930482B2 (ja) * 2004-01-19 2007-06-13 ファナック株式会社 3次元視覚センサ
JP3946716B2 (ja) * 2004-07-28 2007-07-18 ファナック株式会社 ロボットシステムにおける3次元視覚センサの再校正方法及び装置
JP4267005B2 (ja) * 2006-07-03 2009-05-27 ファナック株式会社 計測装置及びキャリブレーション方法
JP4969279B2 (ja) * 2007-03-22 2012-07-04 本田技研工業株式会社 位置検出方法および位置検出装置
FI123049B (fi) * 2007-09-03 2012-10-15 Mapvision Ltd Oy Tallentava konenäköjärjestelmä
CN102019565B (zh) * 2009-09-21 2015-10-14 Abb技术有限公司 用于制造部件的质量控制系统和方法
US11699247B2 (en) * 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
US9393694B2 (en) * 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
TWI408037B (zh) 2010-12-03 2013-09-11 Ind Tech Res Inst 機械手臂的定位方法及校正方法
CN102135761B (zh) * 2011-01-10 2013-08-21 穆科明 视觉传感器参数的模糊自适应控制系统
US9266241B2 (en) * 2011-03-14 2016-02-23 Matthew E. Trompeter Robotic work object cell calibration system
US8643703B1 (en) 2011-03-30 2014-02-04 Amazon Technologies, Inc. Viewer tracking image display
US9449427B1 (en) 2011-05-13 2016-09-20 Amazon Technologies, Inc. Intensity modeling for rendering realistic images
US9041734B2 (en) * 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
US9852135B1 (en) 2011-11-29 2017-12-26 Amazon Technologies, Inc. Context-aware caching
JP5912627B2 (ja) * 2012-02-14 2016-04-27 川崎重工業株式会社 撮像検査装置ならびにその制御装置および制御方法
US9713869B2 (en) * 2012-03-07 2017-07-25 Matthew E. Trompeter Calibration of robot work paths
JP6025386B2 (ja) * 2012-05-02 2016-11-16 キヤノン株式会社 画像計測装置、画像計測方法及び画像計測プログラム
CN102818524A (zh) * 2012-07-31 2012-12-12 华南理工大学 一种基于视觉测量的在线机器人参数校准方法
US8485017B1 (en) * 2012-08-01 2013-07-16 Matthew E. Trompeter Robotic work object cell calibration system
US9417625B2 (en) * 2012-11-29 2016-08-16 Fanuc America Corporation Robot system calibration method
JP6108860B2 (ja) 2013-02-14 2017-04-05 キヤノン株式会社 ロボットシステム及びロボットシステムの制御方法
US10664994B2 (en) 2013-02-25 2020-05-26 Cognex Corporation System and method for calibration of machine vision cameras along at least three discrete planes
CN103292709B (zh) * 2013-05-24 2015-09-09 深圳市华星光电技术有限公司 测长机日常检测与自动补正方法
WO2015008874A1 (ko) * 2013-07-15 2015-01-22 엘지전자 주식회사 로봇 청소기 및 그 로봇 청소기의 3d 센서 자가 교정 방법
JP5897532B2 (ja) * 2013-11-05 2016-03-30 ファナック株式会社 三次元空間に置かれた物品をロボットで取出す装置及び方法
US9857869B1 (en) 2014-06-17 2018-01-02 Amazon Technologies, Inc. Data optimization
US9211643B1 (en) * 2014-06-25 2015-12-15 Microsoft Technology Licensing, Llc Automatic in-situ registration and calibration of robotic arm/sensor/workspace system
CN104180753A (zh) * 2014-07-31 2014-12-03 东莞市奥普特自动化科技有限公司 机器人视觉系统的快速标定方法
CN104808490B (zh) * 2015-03-10 2017-04-19 浙江工业大学 一种面向模具保护的无标定视觉伺服控制方法
CN105128009A (zh) * 2015-08-10 2015-12-09 深圳百思拓威机器人技术有限公司 具有精确感测物体形状位姿的仿生机器人及其感测方法
JP6126183B2 (ja) * 2015-10-05 2017-05-10 ファナック株式会社 ターゲットマークを撮像するカメラを備えたロボットシステム
US10065319B2 (en) * 2015-11-30 2018-09-04 Delta Electronics, Inc. Tool calibration apparatus of robot manipulator
CN105773661B (zh) * 2016-03-30 2018-08-21 广东速美达自动化股份有限公司 水平机器人固定相机下工件平移旋转标定方法
CN105844670B (zh) * 2016-03-30 2018-12-18 广东速美达自动化股份有限公司 水平机器人移动相机多点移动标定方法
US10076842B2 (en) 2016-09-28 2018-09-18 Cognex Corporation Simultaneous kinematic and hand-eye calibration
CN107167072A (zh) * 2017-05-05 2017-09-15 华南理工大学 一种用于led灯丝点焊校正的视觉检测系统及检测方法
US10331728B2 (en) 2017-05-30 2019-06-25 General Electric Company System and method of robot calibration using image data
JP6626057B2 (ja) * 2017-09-27 2019-12-25 ファナック株式会社 検査装置及び検査システム
EP3698609B1 (en) * 2017-10-17 2021-02-17 Signify Holding B.V. Occupancy sensor calibration and occupancy estimation
CN109421050B (zh) * 2018-09-06 2021-03-26 北京猎户星空科技有限公司 一种机器人的控制方法及装置
CN111360810A (zh) * 2018-12-25 2020-07-03 深圳市优必选科技有限公司 机器人传感器的外参标定方法、装置、机器人及存储介质
KR102577448B1 (ko) * 2019-01-22 2023-09-12 삼성전자 주식회사 핸드 아이 캘리브레이션 방법 및 시스템
JP7000368B2 (ja) * 2019-02-08 2022-01-19 ファナック株式会社 ロボットキャリブレーション方法及びロボットキャリブレーション装置
US12036663B2 (en) * 2019-03-25 2024-07-16 Abb Schweiz Ag Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system
DE102019107964B3 (de) 2019-03-28 2020-08-06 Franka Emika Gmbh Projektionseinrichtung für einen Robotermanipulator
CN109986541A (zh) * 2019-05-06 2019-07-09 深圳市恒晟智能技术有限公司 机械手
EP3745081B1 (de) * 2019-05-28 2023-03-22 Tecan Trading Ag Positionsdetektor und verfahren zur 3d-positionsbestimmung
CN114945450A (zh) * 2020-01-14 2022-08-26 发那科株式会社 机器人系统
US20230032982A1 (en) * 2020-01-22 2023-02-02 Abb Schweiz Ag System and method for operating the robot, electronic device and computer readable medium
TWI781696B (zh) * 2021-07-23 2022-10-21 致茂電子股份有限公司 位置校準系統及方法
CN113778414A (zh) * 2021-11-11 2021-12-10 深圳市越疆科技有限公司 基于图形化编程的机器视觉通讯脚本生成方法和装置
TWI788134B (zh) * 2021-12-08 2022-12-21 財團法人工業技術研究院 用於自動控制設備之校正裝置與校正方法
CN114404041B (zh) * 2022-01-19 2023-11-14 上海精劢医疗科技有限公司 C型臂成像参数校准系统及方法
CN114549638B (zh) * 2022-01-24 2024-09-20 湖北文理学院 一种管道自动对中方法、系统及试验装置
CN114918928B (zh) * 2022-07-22 2022-10-28 杭州柳叶刀机器人有限公司 手术机械臂精准定位方法、装置、控制终端及存储介质
CN116539068B (zh) * 2023-07-03 2023-09-08 国网山西省电力公司电力科学研究院 一种视觉测量系统柔性自检调节装置及方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2896501A (en) * 1953-05-28 1959-07-28 Faximile Inc Apparatus for outlining contours
US2964644A (en) * 1957-11-14 1960-12-13 Hunting Survey Corp Ltd Method and apparatus for locating corresponding areas of two similar images
US3078042A (en) * 1959-09-23 1963-02-19 Gilbert R Grado Coordinate transformation computer
JPH02183102A (ja) 1989-01-10 1990-07-17 Fanuc Ltd 視覚センサにおけるキャリブレーション自動調整方式
JP2690603B2 (ja) 1990-05-30 1997-12-10 ファナック株式会社 視覚センサのキャリブレーション方法
JP2686351B2 (ja) 1990-07-19 1997-12-08 ファナック株式会社 視覚センサのキャリブレーション方法
JPH0516083A (ja) 1991-02-14 1993-01-26 Komatsu Ltd ロボツトのキヤリブレーシヨン装置
JPH085351A (ja) * 1994-06-20 1996-01-12 Fanuc Ltd 3次元視覚センサのスリット光キャリブレーション方法
JP3347508B2 (ja) * 1995-02-24 2002-11-20 キヤノン株式会社 撮像画像処理装置および撮像画像処理方法
JPH08233516A (ja) * 1995-03-01 1996-09-13 Kobe Steel Ltd 3次元視覚センサのキャリブレーション方法
JPH08272414A (ja) 1995-03-29 1996-10-18 Fanuc Ltd ロボットとハンドカメラを用いた視覚センサのキャリブレーション方法
US5671056A (en) * 1995-05-11 1997-09-23 Technology Research Association Of Medical & Welfare Apparatus Three-dimensional form measuring apparatus and method
JPH10336701A (ja) 1997-05-28 1998-12-18 Sony Corp キャリブレーション方法及び装置
AU9223298A (en) * 1997-09-04 1999-03-22 Dynalog, Inc. Method for calibration of a robot inspection system
JP2001349707A (ja) * 2000-06-12 2001-12-21 Asia Air Survey Co Ltd 移動体の3次元位置計測システム
US6798527B2 (en) * 2001-04-27 2004-09-28 Minolta Co., Ltd. Three-dimensional shape-measuring system
US6718233B2 (en) * 2002-03-29 2004-04-06 Nortel Networks, Ltd. Placement of an optical component on a substrate
US7209161B2 (en) * 2002-07-15 2007-04-24 The Boeing Company Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras
JP2004193947A (ja) 2002-12-11 2004-07-08 Fuji Xerox Co Ltd 三次元撮像装置および方法
EP1665162A1 (de) * 2003-09-26 2006-06-07 Micro-Epsilon Messtechnik GmbH & Co. KG Verfahren und vorrichtung zur berührungslosen optischen 3d-l agebestimmung eines objekts
JP2005172610A (ja) * 2003-12-11 2005-06-30 Mitsutoyo Corp 3次元測定装置
JP4021413B2 (ja) * 2004-01-16 2007-12-12 ファナック株式会社 計測装置
JP3946716B2 (ja) * 2004-07-28 2007-07-18 ファナック株式会社 ロボットシステムにおける3次元視覚センサの再校正方法及び装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009025252A (ja) * 2007-07-23 2009-02-05 Taisei Corp テールクリアランス自動計測システムおよびテールクリアランス自動計測方法
JP2009192483A (ja) * 2008-02-18 2009-08-27 Toyota Motor Corp 三次元形状計測方法および三次元形状計測装置
JP2010112859A (ja) * 2008-11-07 2010-05-20 Seiko Epson Corp ロボットシステム、ロボット制御装置およびロボット制御方法
JP2010156669A (ja) * 2008-12-30 2010-07-15 Ind Technol Res Inst 動的校正機能付きカメラおよびその方法
JP2019059021A (ja) * 2012-05-31 2019-04-18 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド 非接触式光学距離及び触覚を感知する装置及び方法
JP2013248729A (ja) * 2012-05-31 2013-12-12 Toyota Motor Engineering & Manufacturing North America Inc 非接触式光学距離及び触覚を感知する装置及び方法
KR101616366B1 (ko) * 2014-11-27 2016-04-29 삼성중공업(주) 계측기 보상 장치 및 방법
JP2018012152A (ja) * 2016-07-20 2018-01-25 ファナック株式会社 ロボットの原点位置較正装置および方法
US10357879B2 (en) 2016-07-20 2019-07-23 Fanuc Corporation Robot zero-point calibration device and method
JP6301045B1 (ja) * 2017-03-09 2018-03-28 三菱電機株式会社 ロボット制御装置およびキャリブレーション方法
WO2018163450A1 (ja) * 2017-03-09 2018-09-13 三菱電機株式会社 ロボット制御装置およびキャリブレーション方法
JP2020172015A (ja) * 2019-04-12 2020-10-22 株式会社Mujin ロボット制御のためのカメラキャリブレーションを更新する方法及び制御システム
US11571816B2 (en) 2019-04-12 2023-02-07 Mujin, Inc. Method and control system for updating camera calibration for robot control
DE112022000442T5 (de) 2021-02-25 2023-11-02 Fanuc Corporation Simulationsvorrichtung mit Verwendung von dreidimensionalen Positionsinformationen, die aus dem Ausgang eines Vision Sensors gewonnen werden
WO2022224358A1 (ja) * 2021-04-20 2022-10-27 ファナック株式会社 ロボット

Also Published As

Publication number Publication date
US7359817B2 (en) 2008-04-15
US20060023938A1 (en) 2006-02-02
JP3946716B2 (ja) 2007-07-18
EP1621297A1 (en) 2006-02-01
CN100368765C (zh) 2008-02-13
CN1727839A (zh) 2006-02-01

Similar Documents

Publication Publication Date Title
JP3946716B2 (ja) ロボットシステムにおける3次元視覚センサの再校正方法及び装置
CN109940662B (zh) 具备拍摄工件的视觉传感器的摄像装置
JP4267005B2 (ja) 計測装置及びキャリブレーション方法
US10618166B2 (en) Teaching position correction device and teaching position correction method
US9050728B2 (en) Apparatus and method for measuring tool center point position of robot
US20170072566A1 (en) Measurement system used for calibrating mechanical parameters of robot
US20050273199A1 (en) Robot system
US20050159842A1 (en) Measuring system
US20080301072A1 (en) Robot simulation apparatus
JPWO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2005149299A (ja) 教示位置修正装置
JP2017071033A (ja) 作業用基準物体、作業用基準物体の製造方法、ロボットアームの調整方法、ビジョンシステム、ロボット装置、及び指標用部材
JP3644991B2 (ja) ロボット−センサシステムにおける座標系結合方法
JP6898433B2 (ja) 作業領域画像検出装置を有する曲げ機械
JP7281910B2 (ja) ロボット制御システム
JP2019119027A (ja) ロボットシステムの制御方法、およびロボットシステム
KR101972432B1 (ko) 레이저비전 센서 및 그 보정방법
JP2014149182A (ja) ワークとの相関位置決め方法
KR100532672B1 (ko) 본딩 장치에서의 옵셋 측정기구 및 본딩 장치에서의 옵셋측정방법
JP2001246582A (ja) 作業用ロボット装置
JP7292344B2 (ja) 溶接システム、溶接方法及びプログラム
KR100640743B1 (ko) 로봇을 이용한 레이저 비젼 시스템 교정방법
US20230032421A1 (en) Robot system
JPH09222913A (ja) ロボットの教示位置補正装置
KR20220020068A (ko) 이미지 인식에 의한 타겟 계측 시스템 및 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070411

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100420

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110420

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120420

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140420

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees