JP2006082170A - キャリブレーション方法 - Google Patents

キャリブレーション方法 Download PDF

Info

Publication number
JP2006082170A
JP2006082170A JP2004268640A JP2004268640A JP2006082170A JP 2006082170 A JP2006082170 A JP 2006082170A JP 2004268640 A JP2004268640 A JP 2004268640A JP 2004268640 A JP2004268640 A JP 2004268640A JP 2006082170 A JP2006082170 A JP 2006082170A
Authority
JP
Japan
Prior art keywords
tool
calibration
workpiece
coordinate
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004268640A
Other languages
English (en)
Other versions
JP4274558B2 (ja
Inventor
Takuro Asaoka
卓郎 浅岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2004268640A priority Critical patent/JP4274558B2/ja
Publication of JP2006082170A publication Critical patent/JP2006082170A/ja
Application granted granted Critical
Publication of JP4274558B2 publication Critical patent/JP4274558B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Numerical Control (AREA)
  • Manipulator (AREA)

Abstract

【課題】 視覚センサの検出位置座標系と多関節ロボットのツール位置座標系とのキャリブレーションを高精度に行なう。
【解決手段】 ツール、例えばロボットハンドでワークをハンドリングして、ツール位置座標系で指定された第1〜第4のキャリブレーション位置C1〜C4に順次移動させる。視覚センサによってワークの指標を撮像して、各キャリブレーション位置での指標の検出位置座標を検出する。各キャリブレーション位置C1〜C4での指標の検出位置座標を所定の座標変換式を用いてツール位置座標に変換するときに、この座標変換式によって得られた第1〜第4座標変換位置D1〜D4と各キャリブレーション位置C1〜C4との誤差ベクトルL1〜L4が、対角の点同士で一致するように座標変換式のキャリブレーション係数を算出する。
【選択図】 図11

Description

本発明は、ワークの位置座標を検出する視覚センサの検出位置座標系と、ワークの位置座標までツールを移動させる多関節ロボットのツール位置座標系とを対応させるキャリブレーション方法に関する。
ツールを交換して様々な作業に使用することのできる汎用性を備えた産業用ロボットとして、多関節ロボットが知られている。この多関節ロボットには、アームを主に水平方向で移動させる水平多関節ロボット(スカラーロボット)や、アームを主に垂直方向で移動させる垂直多関節ロボット(多軸ロボット)等がある。多軸ロボットは、ツールを任意の姿勢にすることができ、スカラーロボットに比べ、より高い汎用性を備えている。
多関節ロボットに所定の動作を行なわせるために、撮像カメラと画像認識装置とからなる視覚センサでワークの位置や姿勢を検出し、この検出位置にロボットハンド等のツールを移動させて、ワークをハンドリングする手法が一般に用いられている。視覚センサで検出した位置にツールを精度よく移動させるには、視覚センサの検出位置座標系と、多関節ロボットのツール位置座標系とを高精度に対応させなければならない。この二つの座標系を対応させる作業は、一般にキャリブレーションと呼ばれており、従来から種々のキャリブレーション方法が用いられている。
例えば、特許文献1に記載されているロボットと視覚センサとのキャリブレーション方法は、ツールとしてロボットハンドを使用し、四隅に円形の指標が描かれたキャリブレーションプレートをツール位置座標系と平行になるようにロボットハンドに持たせ、このキャリブレーションプレートの円形の指標を視覚センサで検出させ、各指標間の実際のピッチと画像認識処理によって得た指標間のピッチとから、視覚センサの検出位置座標系とロボットのツール位置座標系とのX座標及びY座標、及び回転方向の相関を求めている。
特開平08−071972号公報
特許文献1記載のキャリブレーション方法は、キャリブレーションプレートの指標のピッチを視覚センサによって得た座標値の差で割ってキャリブレーション係数を求めているだけであるため、キャリブレーションプレートと各座標系との平行度の精度が低いと、視覚センサの検出位置座標系が歪んで直交座標系でなくなってしまい、大きな誤差が発生する。そのため、特許文献1記載のキャリブレーション方法によって検出位置座標系とツール位置座標系とを高精度に対応させるには、視覚センサの撮像面と、キャリブレーションプレートの指標形成面と、ロボットハンドの移動平面との平行度を高精度に調整しなければならない。しかし、この平行度の調整には大がかりで高価な装置が必要であり、時間もかかるという問題があった。
また、特許文献1記載のキャリブレーション方法では、キャリブレーションプレートの指標のピッチをツール位置座標系のピッチとして、視覚センサの検出位置座標系との相関を求めているため、キャリブレーションプレートの指標の誤差や、多関節ロボットの誤差がそのままキャリブレーションに反映されてしまうという問題もあった。
また、多軸ロボットは、各関節部分の誤差が集積されてツールの移動位置に表れるため、ツールの移動位置には絶対位置精度が無く、視覚センサで検出した位置にツールを移動させることが難しいという問題があった。更に、多軸ロボットでは、ツールを同じ位置に異なる方向から移動させると、関節の軸ぶれ等によってツールの移動位置に最大で数mm程度も誤差が生じてしまうという問題があった。
本発明は、上記各問題点を解決するためのもので、視覚センサの検出位置座標系と、多関節ロボットのツール位置座標系とのキャリブレーションを高精度に行なうことを目的とする。
上記課題を解決するために、本発明のキャリブレーション方法は、ツール位置座標系上に配置された少なくとも4点のキャリブレーション位置にツールを順次移動させ、視覚センサによって各キャリブレーション位置でのツールまたはツールに保持されたワークの検出位置座標を検出する。このツールまたはワークの検出位置座標を任意のパラメータを有する座標変換式を用いてツール位置座標系に変換するときに、この座標変換されたツール位置座標と、各キャリブレーション位置のツール位置座標との誤差量が小さくなるように、座標変換式のパラメータを算出するようにした。しかし、各点の誤差量を同時に無にするようなパラメータを求めることは、ほぼ確実に不可能である。そこで、本発明では、対角の点同士の誤差ベクトルを一致させることのできるパラメータを求めることによって、全体として誤差量が小さくなるようにした。
また、各キャリブレーション位置のツール位置座標と、座標変換されたツールまたはワークのツール位置座標との誤差ベクトルが、隣り合う点同士で加算したときに0なるようにパラメータを設定した。
座標変換式としては、ツール位置座標系を(X,Y)、検出位置座標系を(x,y)、検出位置座標系のツール位置座標系上の基準位置を(X0,Y0)、パラメータをα1,β1,α2,β2とし、下記式(1),(2)を用いた。そして、ツール位置座標系上に配置された少なくとも4点のキャリブレーション位置(P1,Q1),(P2,Q1),(P1,Q2),(P2,Q2)にツールを順次移動させ、視覚センサによって各キャリブレーション位置でのツールまたはワークの検出位置座標(x1,y1),(x2,y2),(x3,y3),(x4,y4)を検出した。各キャリブレーション位置におけるツールまたはワークの検出位置座標は、式(1),(2)を用いてツール位置座標(X1,Y1),(X2,Y2),(X3,Y3),(X4,Y4)に変換し、この座標変換されたツール位置座標と各キャリブレーション位置のツール位置座標との誤差ベクトルが対角の点同士で一致するように、各パラメータα1,β1,α2,β2を算出するようにした。
X=α1x+β1y+X0・・・式(1)
Y=α2x+β2y+Y0・・・式(2)
各キャリブレーション位置におけるツールまたはワークのツール位置座標の誤差ベクトルが対角の点同士で同一であるときには、下記式(3)〜(6)が成り立つ。式(3)と(4)は、α1,β1の最適値条件であり、また、式(5),(6)は、α2,β2の最適値条件となるため、式(3)と式(4)、及び式(5)と式(6)とをそれぞれ連立させ、式(1),(2)を代入して展開することによって、下記式(8)〜(15)を得ることができる。これにより、ツールまたはワークの検出位置座標とキャリブレーション位置のツール位置座標とから、パラメータα1,β1,α2,β2を算出することができる。
1−X3=X4−X2・・・式(3)
(X1−P1)−(X2−P2)=(X4−P2)−(X3−P1)・・・式(4)
1−Y2=Y4−Y3・・・式(5)
(Y1−Q1)−(Y3−Q2)=(Y4−Q2)−(Y2−Q1)・・・式(6)
1=x1−x2+x3−x4・・・式(8)
2=x1+x2−x3−x4・・・式(9)
1=y1−y2+y3−y4・・・式(10)
2=y1+y2−y3−y4・・・式(11)
α1=2T2(P1−P2)/(S12−S21)・・・式(12)
β1=−2S2(P1−P2)/(S12−S21)・・・式(13)
α2=−2T1(Q1−Q2)/(S12−S21)・・・式(14)
β2=2S1(Q1−Q2)/(S12−S21)・・・式(15)
また、各キャリブレーション位置でツールまたはワークの検出位置座標を検出するステップでは、ツールまたはワークの姿勢を複数段階に変化させて、視覚センサによってツールまたはワークの各姿勢の検出位置座標を検出し、この複数の検出位置座標から平均値を算出して、そのキャリブレーション位置における検出位置座標とした。なお、ツールまたはワークの姿勢の変化は、視覚センサの光軸とほぼ平行で、ツールの先端近傍を通る軸を中心に360°/N(N>=2)ずつ回転させることによって行ない、各回転位置でのツールまたはワークの検出位置座標(kij,lij)(i:キャリブレーション位置番号(1〜4)、j:回転位置番号(1〜N))を視覚センサで検出するようにした。また、下記式(7)を用いてツールまたはワークの複数の検出位置座標の平均値を算出し、そのキャリブレーション位置における検出位置座標(xi ,yi)とした。
Figure 2006082170
本発明の視覚センサと多関節ロボットとのキャリブレーション方法によれば、ツール位置座標系と、座標変換式によって検出位置座標系から変換されたツール位置座標との誤差量が全体的に小さくなるようなパラメータを算出するようにしたので、簡易な座標変換式を用いているにも関わらず、ツール位置座標系と検出位置座標系とを高精度に対応させることができる。
また、視覚センサの検出位置座標系から得られるツール位置座標を直接最適になるような条件を用いて算出するため、検出位置座標系及びツール位置座標系、もしくはこれらのどちらかが歪んでいる場合でも誤差量が最小となるパラメータを算出することができる。これにより、大がかりで高価な装置や、膨大な調整時間を使わずとも、簡易な調整でツール位置座標系と検出位置座標系とを高精度に対応させることができる。
更に、各キャリブレーション位置でツールを回転させて姿勢を変化させ、各姿勢の検出位置座標から得た平均値によってキャリブレーションを行なうようにしたので、回転時に軸ブレを起こす多関節ロボットでも、高精度なキャリブレーションを行なうことができる。
また、本発明では、キャリブレーション用のプレートではなく、ツールまたはツールに保持されたワークを使用してキャリブレーションを行なうので、多大な負荷であるキャリブレーションプレートとロボットの座標系との平行出し作業が不要であり、キャリブレーションプレートの脱着の必要がないため簡単にキャリブレーションを行なうことができ、キャリブレーションプレート脱着による誤差も発生しない。更に、使用するツールやワークの重量や姿勢の違いによってもツールまたはワークの座標位置の誤差ベクトルが変化するが、実際に使用するツール及びワークによってキャリブレーションを行なうため、各ツールもしくは各ワークの取出し姿勢に最適なキャリブレーションを行なうことができる。また、高精度なキャリブレーションプレートを必要としないため、キャリブレーションにかかるコストを削減することができる。
図1(A),(B)及び図2は、本発明のキャリブレーション方法が用いられる6軸ロボット2と、視覚センサ3が組み込まれた直進フィーダ4との構成を示す外観斜視図及び側面図である。視覚センサ3は、直進フィーダ4によって供給されたワーク5を撮像して、自身が備える検出位置座標系上でワーク5の検出位置座標及び姿勢を検出する。6軸ロボット2は、視覚センサ3によって検出されたワーク5の検出位置座標及び姿勢に基づいて、自身が備えるツール位置座標系上で先端に取り付けられたツール、例えばロボットハンド21を移動させてワーク5をハンドリングする。
6軸ロボット2は、サーボモータによって回動される関節を6個備えたアームを有する多軸ロボットであり、先端のツールを取り替えることによって様々な作業に対応することができる汎用性を備えている。また、その関節数の多さと各関節の可動範囲の広さからツールの移動範囲が広く、かつ任意の姿勢をとらせることができる。
6軸ロボット2は、設置に使用される略円柱形状のベース10と、このベース10の上部に第1関節11を介して回動自在に組み付けられた旋回ボディ12と、この旋回ボディ12に第2関節13を介して回動自在に取り付けられた第1アーム14と、この第1アーム14に第3関節15を介して回動自在に取り付けられ、第4関節16によって先端が回動自在とされた第2アーム17と、この第2アーム17に第5関節18を介して回動自在に取り付けられ、先端に取り付けられたツールを回動させる第6関節19を備えた手首20とから構成されている。
図3に示すように、6軸ロボット2の手首20には、様々な種類のツールを取り付けることができるアーム側フランジ20aが設けられている。このアーム側フランジ20aには、フランジ面20bの中央Ofを基準位置とし、フランジ面20bに対して垂直なZf軸と、このZf軸に対して直交するXf軸及びYf軸とからなるロボットフランジ座標系が設けられている。
6軸ロボット2にツールとして取り付けられるロボットハンド21は、ロボットハンド21を保持する本体部22と、この本体部22に設けられ、手首20のアーム側フランジ20aに取り付けられるツール側フランジ23とを備えている。ロボットハンド21は、先端が互いに近接する挟持位置と離反する開放位置との間で揺動自在とされた2本の指部21aと、これらの指部21aを揺動自在に支持する支持部21bとからなり、直進フィーダ4上を搬送されてきたワーク5を2本の指部21aで挟み込んでハンドリングする。本体部22内には、ロボットハンド21の指部21aを揺動させる駆動機構が組み込まれている。このロボットハンド21の指部21aの先端近傍には、ロボットフランジ座標系上で任意に設定されたハンド位置設定点Hが設けられている。
6軸ロボット2は、ツール位置座標系上に設定した任意の点にハンド位置設定点Hを一致させるように各関節を制御する。また、ハンド位置設定点Hを中心にヨー軸、ピッチ軸、ロー軸の三軸の回りでロボットハンド21の姿勢を変化させることができる。そのため、ツール位置座標系上の任意の点に対して、異なる方向からロボットハンド21をアクセスさせることができ、様々な姿勢のワーク5を、そのワーク5に対して特定の方向から、そのワーク5の組み立てに適した姿勢でハンドリングすることができる。
従来よりロボットハンドによるワークのハンドリングでは、ワークを特定の姿勢、例えば次工程での組み立てに適した姿勢を保ったままハンドリングしている。ワークを特定の姿勢に保つには、ロボットハンドによってグリップされるワークのグリップ位置や、ワークとロボットハンドとがなす角度であるグリップ角度を一定にするとよい。そのため、従来のワークハンドリングでは、パーツフィーダ等を用いてワークを予め整列させてグリップ位置を一定の方向に向け、このグリップ位置を特定のグリップ角度のロボットハンドでグリップしていた。
しかし、上記従来のワークハンドリングでは、パーツフィーダの使用によってコストの上昇や作業効率の低下という悪影響を生じていた。また、異なる種類のワークをハンドリングする際には、そのワークに対応した別のパーツフィーダを用意しなくてはならなかった。そこで本実施形態では、ロボットハンド21の移動及び姿勢の自由度が高い6軸ロボット2を使用することにより、直進フィーダ4によって様々な姿勢で搬送されてきたワーク5のグリップ位置を特定のグリップ角度でグリップしてハンドリングするようにした。これにより、ワーク5の姿勢を揃えるパーツフィーダを省略することができる。
なお、ワーク5は、例えば図4(A)に示すように矩形状をしており、先端5a側に貫通穴からなる円形の指標5bが設けられている。このワーク5のグリップ位置Gは、ワーク5の長手方向において指標5bから寸法Wの位置で、ワーク5の下面に配置されている。ワーク5をロボットハンド21でハンドリングする際には、グリップ位置Gにハンド位置設定点Hが一致するようにロボットハンド21を移動させ、ワーク5の姿勢、すなわち検出位置座標系のY軸に対するワーク5の回転角度θ1に合せてロボットハンド21を回転させ、ワーク5の後端5c側からワーク5の両側面をロボットハンド21で挟み込む。また、同図(B)に示すように、実際のワークの取り出し及び組み立てに適したグリップ角度θ2となるようにワーク5がハンドリングされる。
6軸ロボット2は、例えば、ロボットコントローラ24によって制御される。ロボットコントローラ24は、6軸ロボット2を制御する制御プログラム等が記録されたメモリと、各プログラムにしたがって各種演算処理を行なうCPUと、6軸ロボット2や制御コンピュータ25との接続に用いられるI/Oポート等を備えている。このロボットコントローラ24は、制御コンピュータ25によって制御される。
直進フィーダ4は、略箱形状のベース28と、このベース28の上に組み付けられて振動してワーク5を搬送する略板形状のトラフ29と、トラフ29のワーク搬送面29aに形成された開口29bに嵌め込まれ、6軸ロボット2によってワーク5をハンドリングする際の取出しステージ30を形成する透明なガラス板31と、ベース28内に組み込まれトラフ29の一端側から振動を与える振動ユニット32と、トラフ29の他端側を振動可能に支持する支持部材33とから構成されている。ベース28の上面でトラフ29の開口29bに対面する位置には、開口36が形成されている。
図5に示すように、直進フィーダ4のベース28内で開口36に対面する位置には、取出しステージ30上のワーク5の検出位置座標及び姿勢を下方から検出する視覚センサ3と、ワーク5を下方から照明する照明ランプ35とが組み込まれている。視覚センサ3は、CCDやCMOS等のイメージエリアセンサと撮像光学系とが組み込まれた撮像カメラ39と、この撮像カメラ39による撮像によって生成された画像データを画像処理によってベクトルデータ化して、ワーク5の検出座標位置と回転角度θ1とを特定する画像認識装置40とから構成されている。撮像カメラ39の撮像光軸vは、ツール位置座標系のZ軸にほぼ平行に設定されている。この視覚センサ3も制御コンピュータ25によって制御される。
照明ランプ35は、制御コンピュータ25によって制御されたランプドライバ41によって点灯され、ガラス板31越しにワーク5を照明する。ベース28の開口36とトラフ29との間には、外光や塵芥等の進入を防止するために、例えば蛇腹状のカバー42が取り付けられている。なお、ワーク5の照明は、取出しステージ30の上方から行なってもよい。また、カバー42を使用せずに、赤色光とシャープカットフィルタとを使用しても、外光の影響を効果的に防止することができる。
制御コンピュータ25は、例えば、CPU,HDD,メモリ等を備えたパーソナルコンピュータ(PC)からなり、視覚センサ3,ロボットコントローラ24,振動ユニット32,ランプドライバ41等を制御する。また、視覚センサ3の検出位置座標系(ピクセル)と、6軸ロボット2のツール位置座標系(mm)との間の座標変換を行なうプログラムや、検出位置座標系とツール位置座標系とを対応させるキャリブレーションプログラム等を格納している。
上記6軸ロボット2及び視覚センサ3と、直進フィーダ4は、例えば次のように動作する。直進フィーダ4上には、図示しないボウルフィーダ等によってワーク5が1個ずつ投入される。直進フィーダ4のトラフ29上に投入されたワーク5は、その姿勢が整列されていないため様々な姿勢となる。直進フィーダ4は、振動ユニット32によってトラフ29を振動させて、ワーク5を取出しステージ30上に向けて搬送する。
取出しステージ30上に搬送されたワーク5は、ガラス板31越しに下方から照明ランプ35によって照明され、撮像カメラ39によって撮像される。撮像カメラ39によって生成された画像データは、画像認識装置40の画像処理によりベクトルデータ化され、ワーク5の回転角度θ1と、指標5bの検出位置座標とが検出される。この検出結果は、制御コンピュータ25に入力される。
図6は、ツール位置座標系(X,Y)と検出位置座標系(x,y)との関係を示している。2点鎖線で示す四角形Fは、撮像カメラ39による撮像範囲を示しており、直進フィーダ4の取出しステージ30よりも僅かに大きな面積を有している。例えば、検出位置座標系(x,y)の基準位置Osのツール位置座標が(X0,Y0)であるときに、取出しステージ30上の検出位置座標(xa,ya)にあるワーク5の指標5bは、ツール位置座標(Xa,Ya)に位置することになる。
制御コンピュータ25は、下記の座標変換式(1),(2)を使用して、視覚センサ3によって検出された指標5bの検出位置座標(xa,ya)から、ツール位置座標(Xa,Ya)を算出し、これをロボットコントローラ24に入力する。ロボットコントローラ24は、指標5bのツール位置座標(Xa,Ya)とワーク5の回転角度θ1とから、ワーク5をハンドリングするのに適したグリップ位置Gのツール位置座標(Xa’,Ya’)を算出する。このグリップ位置Gのツール位置座標(Xa’,Ya’)は、図4(A)に示すように、指標5bのツール位置座標(Xa,Ya)に対し、寸法Wとワーク5の回転角度θ1とから得られるオフセット量(ΔX,ΔY)を加算することで算出される。なお、座標変換式(1),(2)のキャリブレーション係数α1,β1,α2,β2及び検出位置座標系の基準位置Osのツール位置座標(X0,Y0)は、座標変換精度に直接影響するパラメータである。
X=α1x+β1y+X0・・・式(1)
Y=α2x+β2y+Y0・・・式(2)
ロボットコントローラ24は、6軸ロボット2の各関節のサーボモータを動作させて、ロボットハンド21のハンド位置設定点Hをワーク5のグリップ位置Gのツール位置座標(Xa’,Ya’)に移動させ、かつ回転角度θ1に合せてロボットハンド21を回転させて、後端5c側からワーク5の両側面を挟み込む。このときのワーク5とロボットハンド21との間のグリップ角度θ2は、実際のワーク5の取り出し及び組み立てに適した角度となる。
上述したように、視覚センサ3によって検出したワーク5の指標5bの検出位置座標(Xa,Ya)に基づいて、グリップ位置Gのツール位置座標(Xa’,Ya’)にロボットハンド21のハンド位置設定点Hを正確に移動させるには、6軸ロボット2のツール位置座標系(X,Y)と視覚センサ3の検出位置座標系(x,y)とを精度よく対応させなくてはならない。以下では、図12のフローチャートを参照して、ツール位置座標系と検出位置座標系とのキャリブレーションについて説明する。
まず、ロボットハンド21によって、グリップ位置Gとハンド位置設定点Hとが合致するように、後端5c側からグリップ角度θ2でワーク5を把持する。ワーク5をハンドリングしたロボットハンド21を取出しステージ30上で移動させ、図7に示すように、予め設定されているツール位置座標系(X,Y)上の第1キャリブレーション位置C1のツール位置座標(P1,Q1)に、ハンド位置設定点Hを合致させる。なお、ロボットハンド21を取出しステージ30上で移動させる際には、把持したワーク5が取出しステージ30と干渉しないように、ワーク5と取出しステージ30とが僅かな隙間をもつような高さにロボットハンド21が移動される。
次に、視覚センサ3によって、第1〜第4キャリブレーション位置C1〜C4における指標5bの検出位置座標(ki,j,li,j)(i:キャリブレーション位置番号(1〜4)、j:回転位置番号(1〜N))が検出される。キャリブレーション位置番号iは、最初にi=1にセットされ、各キャリブレーション位置での指標5bの検出位置座標の検出終了とともにカウントアップされる。回転位置番号jは、最初にj=1にセットされ、ロボットハンド21が回転されるごとにカウントアップされる。また、ロボットハンド21が次のキャリブレーション位置に移動したときに、回転位置番号jはリセットされる。
図8に示すように、視覚センサ3によって第1キャリブレーション位置C1における指標5bの検出位置座標(k1,1,l1,1)を検出する。次に、ロボットハンド21を、ハンド位置設定点Hを通り、撮像カメラ39の撮像光軸とほぼ平行なツール位置座標系のZ軸uを中心に反時計方向に360°/N(N>=2)、例えばN=18として20°回転させ、視覚センサ3によって指標5bの検出位置座標(k1,2,l1,2)を検出する。同様に、ロボットハンド21を360°/N(N>=2)ずつ回転させ、各回転時の指標5bの検出位置座標(k1,3,l1,3)〜(k1,18,l1,18)を検出する。
第1キャリブレーション位置C1で所定の回転回数Nの検出位置座標の検出を終えると、ロボットハンド21はハンド位置設定点Hを第2キャリブレーション位置C2〜第4キャリブレーション位置C4へと順に移動し、同様の手順で各キャリブレーション位置における指標5bの検出位置座標(ki,j,li,j)を検出する。
全キャリブレーション位置において指標5bの検出位置座標を検出し終えたところで、各キャリブレーション位置ごとに下記の式(7)を用いて検出位置座標の平均値(xi,yi)を求める。求めた検出位置座標の平均値(xi,yi)は、第1キャリブレーション位置C1のツール位置座標に対応したものとなる。
Figure 2006082170
従来のキャリブレーションでは、ロボットハンドを180°(360°/N,N=2)回転させ、(ki,1,li,1),(ki,2,li,2)の2個のデータの平均値を検出位置座標(xi,yi)としていたため、絶対精度のない6軸ロボットでは、予め設定したキャリブレーション位置のツール位置座標と検出位置座標を精度よく対応させることができなかった。しかし、本実施形態の手法では、キャリブレーション作業に多大な時間がかからない程度にロボットハンド21の回転数Nを大きくして検出位置座標の平均値を算出することで、6軸ロボット2の絶対精度の影響を最小限に抑え、より正確なキャリブレーションを行なうことができる。
以上により求められた第1〜第4キャリブレーション位置C1〜C4における指標5bの検出位置座標(x1,y1),(x2,y2),(x3,y3),(x4,y4)と、仮想した適当なキャリブレーション係数α1,β1,α2,β2とを用いて前述の式(1)、(2)の計算を行なうと、その変換された第1〜第4座標変換位置D1〜D4のツール位置座標(X1,Y1),(X2,Y2),(X3,Y3),(X4,Y4)のなす四角形は、図9に示すように、予め設定した第1〜第4キャリブレーション位置C1〜C4のなす四角形とほぼ間違いなくかけ離れたものとなる。
また、キャリブレーション係数α1,α2,β1,β2及び検出位置座標系の基準位置(X0,Y0)を変化させ、第1〜第4キャリブレーション位置C1〜C4のなす四角形に、第1〜第4座標変換位置D1〜D4のなす四角形を一致させようとしても、第1〜第4座標変換位置D1〜D4が測定値より求めた値であるので、完全に一致させることは不可能である。
上記第1〜第4キャリブレーション位置C1〜C4の四角形と、第1〜第4座標変換位置D1〜D4の四角形との不一致を解決するために、本出願人は、各キャリブレーション位置C1〜C4と各座標変換位置D1〜D4との間の各誤差量を小さくして誤差方向を合せること、特に、対角線上の点同士の誤差ベクトル(誤差量及び誤差方向)を等しくすることによって、第1〜第4キャリブレーション位置C1〜C4のなす四角形に近似した第1〜第4座標変換位置D1〜D4の四角形を形成できることに着目した。
本実施形態では、図10に示すように、第1座標変換位置D1と第4座標変換位置D4との誤差ベクトルL1とL4、及び第2座標変換位置D2と第3座標変換位置D3との誤差ベクトルL2とL3がそれぞれ同一になるようなキャリブレーション係数α1,β1,α2,β2を算出することにより、第1〜第4キャリブレーション位置C1〜C4のなす四角形に最も近似した第1〜第4座標変換位置D1〜D4のなす四角形を作り出した。対角線上の点同士の誤差ベクトルが同一である場合には、以下の式(3)〜(6)が成り立つ。
1−X3=X4−X2・・・(式)(3)
(X1−P1)−(X2−P2)=(X4−P2)−(X3−P1)・・・式(4)
1−Y2=Y4−Y3・・・(式)(5)
(Y1−Q1)−(Y3−Q2)=(Y4−Q2)−(Y2−Q1)・・・式(6)
上記式(3)と(4)は、α1,β1の最適値条件であり、また、式(5),(6)は、α2,β2の最適値条件となるため、式(3)と式(4)、及び式(5)と式(6)とをそれぞれ連立させ、式(1),(2)を代入して展開することにより、下記式(8)〜(15)を得ることができる。これにより、検出位置座標(x1,y1),(x2,y2),(x3,y3),(x4,y4)と、第1〜第4キャリブレーション位置C1〜C4のツール位置座標(P1,Q1),(P2,Q1),(P1,Q2),(P2,Q2)とからキャリブレーション係数α1,β1,α2,β2を直接算出することができる。
1=x1−x2+x3−x4・・・式(8)
2=x1+x2−x3−x4・・・式(9)
1=y1−y2+y3−y4・・・式(10)
2=y1+y2−y3−y4・・・式(11)
α1=2T2(P1−P2)/(S12−S21)・・・式(12)
β1=−2S2(P1−P2)/(S12−S21)・・・式(13)
α2=−2T1(Q1−Q2)/(S12−S21)・・・式(14)
β2=2S1(Q1−Q2)/(S12−S21)・・・式(15)
以上の式で算出されたキャリブレーション係数α1,β1,α2,β2を用いて、次に検出位置座標系の基準位置Osのツール位置座標(X0,Y0)を求める。まず、第1〜第4キャリブレーション位置C1〜C4のツール位置座標(P1,Q1),(P2,Q1),(P1,Q2),(P2,Q2)がなす四角形の重心位置Cg(Xg,Yg)と、指標5bの検出位置座標(x1,y1),(x2,y2),(x3,y3),(x4,y4)がなす四角形の重心位置Eg(xg,yg)を式(16),(17)より求める。
g=((P1+P2)/2,(Q1+Q2)/2)・・・式(16)
g=((x1+x2+x3+x4)/4,(y1+y2+y3+y4)/4)・・・式(17)
検出位置座標系において、重心位置Eg(xg,yg)から見た検出位置座標系の基準位置Osのベクトルは、(−xg,−yg)であり、このベクトルをキャリブレーション係数α1,β1,α2,β2を用いてツール位置座標系に変換すると、(―α1・xg−β1・yg,−α2・xg−β2・yg)となる。ここで、各キャリブレーション位置からなる四角形の重心位置Cg(Xg,Yg)は、検出位置座標系における重心位置Eg(xg,yg)と対応していることから、(Xg,Yg)に(―α1・xg−β1・yg,−α2・xg−β2・yg)を加えることで式(18)により、Os(X0,Y0)が求められる。
s=(Xg−α1g−β1g,Yg−α2g−β2g)・・・式(18)
以上より算出されたキャリブレーション係数α1,β1,α2,β2及び検出位置座標系の基準位置Osのツール位置座標(X0,Y0)を使用して、検出位置座標系とツール位置座標系との間で座標変換を行なうと、図11に示すように、対角の誤差ベクトルL1とL4及びL2とL3はそれぞれ一致し、更にはL1とL4の二つのベクトルはL2とL3の二つのベクトルと180°反転した向きのベクトルであり、距離も全て同一で極めて小さいベクトルとなる。つまりは、第1〜第4キャリブレーション位置C1〜C4のなす四角形と第1〜第4座標変換位置D1〜D4のなす四角形とが最も近い状態となり、6軸ロボット2のロボットハンド21のハンド位置設定点Hを、視覚センサ3によって検出されたワーク5のグリップ位置Gに正確に移動させることができる。
以上のキャリブレーションによって求められたキャリブレーション係数α1,β1,α2,β2及び検出位置座標系の基準位置Osのツール位置座標(X0,Y0)は、制御コンピュータ25のHDD内に記憶され、視覚センサ3の検出位置座標系から6軸ロボット2のツール位置座標系への座標変換を行なう際に読み出されて、座標変換式の演算に使用される。
なお、キャリブレーションにおいて画像の歪みの影響を更に抑えたい場合には、キャリブレーションで求めた検出位置座標系の基準位置Os(X0,Y0)を次のキャリブレーション位置の重心とし、再びキャリブレーションをすることで精度の高いキャリブレーション係数α1,β1,α2,β2及び検出位置座標計の基準位置Os(X0,Y0)を算出することができる。
上記実施形態では、ツールとしてロボットハンドを用いたが、その他の種類のツールであっても同様にキャリブレーションを行なうことができる。また、ワークの指標を検出することによってキャリブレーションを行なったが、ロボットハンド等のツール自体の一部を検出してキャリブレーションを行なってもよい。
更に、ワークを4点のキャリブレーション位置で検出してキャリブレーションを行なったが、4点以上のキャリブレーション位置を使用してキャリブレーションを行なってもよい。更に、ロボットハンドを20°ずつ回転させて検出位置座標の平均値を求めるようにしたが、2以上の回転位置の検出位置座標があれば平均値を算出することができるので、回転角度は20°に限定されるものではない。もちろん、より高精度なキャリブレーション、位置補正を行ないたい場合には、ロボットハンドの回転回数を増やすとよい。
また、6軸ロボットを例に説明したが、異なる関節数を有するその他の多軸ロボットや、スカラーロボット等のキャリブレーションにも利用することができる。更に、2次元平面上でワークの位置を検出する視覚センサと6軸ロボットとのキャリブレーションについて説明したが、複数の撮像カメラを用いてワークの三次元位置を検出する三次元視覚センサと多関節ロボットとのキャリブレーションにも応用することができる。
6軸ロボットと直進フィーダとの外観斜視図である。 6軸ロボットと直進フィーダとの側面図及び要部断面図である。 6軸ロボットのアーム先端のロボットフランジ座標系を示す斜視図である。 ロボットハンドに保持されたワークの形状を示す平面図及び側面図である。 ロボットハンドに保持されたワークと取出しステージと撮像カメラとを示す斜視図である。 ツール位置座標系と検出位置座標系との関係を示すグラフである。 ツール位置座標系と検出位置座標系と各キャリブレーション位置との関係を示すグラフである。 各キャリブレーション位置で行なわれるワークの検出位置座標の検出方法の説明図である。 各キャリブレーション位置と適当なキャリブレーション係数で算出された座標変換位置との関係を示すグラフである。 各キャリブレーション位置と本発明によって得たキャリブレーション係数で算出された座標変換位置との関係を示すグラフである。 各キャリブレーション位置と、本発明によって得たキャリブレーション係数及び検出位置座標系の基準位置とを用いて算出された座標変換位置との関係を示すグラフである。 本発明のキャリブレーション方法の手順を示すフローチャートである。
符号の説明
2 ロボットハンド
3 視覚センサ
4 直進フィーダ
5 ワーク
21 ロボットハンド
24 ロボットコントローラ
25 制御コンピュータ
30 取出しステージ
1〜C4 第1〜第4キャリブレーション位置
1〜D4 第1〜第4座標変換位置
G グリップ位置
H ハンド位置設定点
1〜L4 誤差ベクトル

Claims (8)

  1. ワークの位置座標を検出する視覚センサの検出位置座標系と、この視覚センサによって検出されたワークの位置座標までツールを移動させる多関節ロボットのツール位置座標系とを対応させるキャリブレーション方法において、
    前記ツール位置座標系上に配置された少なくとも4点のキャリブレーション位置にツールを順次移動させ、前記視覚センサによって各キャリブレーション位置でのツールまたはツールに保持されたワークの検出位置座標を検出するステップと、
    各キャリブレーション位置におけるツールまたはワークの検出位置座標を任意のパラメータを有する座標変換式を用いてツール位置座標に変換するときに、この座標変換により得られるツールまたはワークの各ツール位置座標と各キャリブレーション位置のツール位置座標との誤差ベクトルを対角の点同士で一致させる条件を置いて、当該座標変換式の当該パラメータを算出するステップとを備えたことを特徴とするキャリブレーション方法。
  2. 前記パラメータは、各キャリブレーション位置の各ツール位置座標と、座標変換により得たツールまたはワークの各ツール位置座標との誤差ベクトルを隣り合う点同士で加算したときに、その和を0にすることを特徴とする請求項1記載のキャリブレーション方法。
  3. ワークの位置座標を検出する視覚センサの検出位置座標系と、この視覚センサによって検出されたワークの位置座標までツールを移動させる多関節ロボットのツール位置座標系とを対応させるキャリブレーション方法において、
    前記ツール位置座標系上に配置された少なくとも4点のキャリブレーション位置にツールを順次移動させ、前記視覚センサによって各キャリブレーション位置でのツールまたはツールに保持されたワークの検出位置座標を検出するステップと、
    各キャリブレーション位置におけるツールまたはワークの検出位置座標を任意のパラメータを有する座標変換式を用いてツール位置座標に変換するときに、この座標変換により得られるツールまたはワークの各ツール位置座標と各キャリブレーション位置のツール位置座標との誤差ベクトルを隣り合う点同士で加算した和が0となる該パラメータを算出するステップとを備えたことを特徴とするキャリブレーション方法。
  4. 前記座標変換式は、ツール位置座標系が(X,Y)、検出位置座標系が(x,y)、検出位置座標系(x,y)の基準位置のツール位置座標が(X0,Y0 )であるときに、下記式(1),(2)であり、前記パラメータは、α1,β1,α2,β2であることを特徴とする請求項1ないし3いずれか記載のキャリブレーション方法。
    X=α1x+β1y+X0・・・式(1)
    Y=α2x+β2y+Y0・・・式(2)
  5. 前記少なくとも4点のキャリブレーション位置のツール位置座標が(P1,Q1),(P2,Q1),(P1,Q2),(P2,Q2)であり、前記視覚センサによって検出された各キャリブレーション位置でのツールまたはワークの検出位置座標が(x1,y1),(x2,y2),(x3,y3),(x4,y4)であり、このツールまたはワークの検出位置座標を前記式(1),(2)を用いて座標変換したツール位置座標が(X1,Y1),(X2,Y2),(X3,Y3),(X4,Y4)であるときに、各座標が下記式(3)〜(6)の関係を有することを特徴とする請求項4記載のキャリブレーション方法。
    1−X3=X4−X2・・・(式)(3)
    (X1−P1)−(X2−P2)=(X4−P2)−(X3−P1)・・・式(4)
    1−Y2=Y4−Y3・・・(式)(5)
    (Y1−Q1)−(Y3−Q2)=(Y4−Q2)−(Y2−Q1)・・・式(6)
  6. 前記各キャリブレーション位置でツールまたはワークの検出位置座標を検出するステップは、
    ツールまたはワークの姿勢を複数段階に変化させ、視覚センサによってツールまたはワークの各姿勢の検出位置座標を検出するステップと、
    ツールまたはワークの複数の検出位置座標から平均値を算出し、そのキャリブレーション位置における検出位置座標とするステップとからなることを特徴とする請求項1ないし5いずれか記載のキャリブレーション方法。
  7. 前記各キャリブレーション位置でツールまたはワークの検出位置座標を検出するステップは、
    ツールまたはワークを360°/N,(N>=2)ずつ回転させ、各回転位置でのツールまたはワークの検出位置座標(kij,lij),(i:キャリブレーション位置番号、j:回転位置番号)を前記視覚センサで検出するステップと、
    下記式(7)を用いてツールまたはワークの複数の検出位置座標の平均値を算出し、そのキャリブレーション位置における検出位置座標(xi,yi)とするステップとからなることを特徴とする請求項1ないし5いずれか記載のキャリブレーション方法。
    Figure 2006082170
  8. 前記多関節ロボットは、多軸ロボットであることを特徴とする請求項1ないし7いずれか記載のキャリブレーション方法。
JP2004268640A 2004-09-15 2004-09-15 キャリブレーション方法 Active JP4274558B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004268640A JP4274558B2 (ja) 2004-09-15 2004-09-15 キャリブレーション方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004268640A JP4274558B2 (ja) 2004-09-15 2004-09-15 キャリブレーション方法

Publications (2)

Publication Number Publication Date
JP2006082170A true JP2006082170A (ja) 2006-03-30
JP4274558B2 JP4274558B2 (ja) 2009-06-10

Family

ID=36161085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004268640A Active JP4274558B2 (ja) 2004-09-15 2004-09-15 キャリブレーション方法

Country Status (1)

Country Link
JP (1) JP4274558B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102022989A (zh) * 2010-09-29 2011-04-20 山东科技大学 一种基于指数积模型的机器人标定方法
JP2012076216A (ja) * 2010-09-06 2012-04-19 Toyota Auto Body Co Ltd ロボット制御システムのカメラ座標系とロボット座標系の結合方法、画像処理装置、プログラム、及び記憶媒体
US8442686B2 (en) 2011-01-31 2013-05-14 Toyota Jidosha Kabushiki Kaisha Articulated arm robot, control method and control program
JP2014180720A (ja) * 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及びキャリブレーション方法
WO2015079740A1 (ja) * 2013-11-28 2015-06-04 三菱電機株式会社 ロボットシステムおよびロボットシステムの制御方法
CN104924309A (zh) * 2014-03-17 2015-09-23 株式会社安川电机 机器人系统、机器人系统的校准方法及位置修正方法
JP2015532219A (ja) * 2012-10-19 2015-11-09 イノス オートメーションズソフトウェア ゲーエムベーハー 産業用ロボットのインライン較正方法、その方法を実行する較正システム及びその較正システムを備える産業用ロボット
JP2016120566A (ja) * 2014-12-25 2016-07-07 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
JP2016120567A (ja) * 2014-12-25 2016-07-07 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
JP2016120564A (ja) * 2014-12-25 2016-07-07 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
US9415518B2 (en) 2013-10-31 2016-08-16 Seiko Epson Corporation Robot control device and robot
WO2017133756A1 (en) * 2016-02-02 2017-08-10 Abb Schweiz Ag Robot system calibration
JP2017207844A (ja) * 2016-05-17 2017-11-24 村田機械株式会社 板材搬送方法、搬送制御装置、及び加工システム
JP2019055469A (ja) * 2017-09-22 2019-04-11 ファナック株式会社 キャリブレーションを行うロボット制御装置、計測システム及びキャリブレーション方法
US11338440B2 (en) 2018-07-30 2022-05-24 Fanuc Corporation Robot system and calibration method

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012076216A (ja) * 2010-09-06 2012-04-19 Toyota Auto Body Co Ltd ロボット制御システムのカメラ座標系とロボット座標系の結合方法、画像処理装置、プログラム、及び記憶媒体
CN102022989A (zh) * 2010-09-29 2011-04-20 山东科技大学 一种基于指数积模型的机器人标定方法
US8442686B2 (en) 2011-01-31 2013-05-14 Toyota Jidosha Kabushiki Kaisha Articulated arm robot, control method and control program
JP2015532219A (ja) * 2012-10-19 2015-11-09 イノス オートメーションズソフトウェア ゲーエムベーハー 産業用ロボットのインライン較正方法、その方法を実行する較正システム及びその較正システムを備える産業用ロボット
JP2014180720A (ja) * 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及びキャリブレーション方法
US10150215B2 (en) 2013-10-31 2018-12-11 Seiko Epson Corporation Robot control device and robot
US9415518B2 (en) 2013-10-31 2016-08-16 Seiko Epson Corporation Robot control device and robot
JP6005299B2 (ja) * 2013-11-28 2016-10-12 三菱電機株式会社 ロボットシステムおよびロボットシステムの制御方法
WO2015079740A1 (ja) * 2013-11-28 2015-06-04 三菱電機株式会社 ロボットシステムおよびロボットシステムの制御方法
JPWO2015079740A1 (ja) * 2013-11-28 2017-03-16 三菱電機株式会社 ロボットシステムおよびロボットシステムの制御方法
US9782896B2 (en) 2013-11-28 2017-10-10 Mitsubishi Electric Corporation Robot system and control method for robot system
JP2015174191A (ja) * 2014-03-17 2015-10-05 株式会社安川電機 ロボットシステム、ロボットシステムのキャリブレーション方法およびロボットシステムの位置補正方法
CN104924309A (zh) * 2014-03-17 2015-09-23 株式会社安川电机 机器人系统、机器人系统的校准方法及位置修正方法
JP2016120567A (ja) * 2014-12-25 2016-07-07 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
JP2016120564A (ja) * 2014-12-25 2016-07-07 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
DE102015226696B4 (de) 2014-12-25 2024-05-16 Keyence Corporation Bildverarbeitungsvorrichtung, Bildverarbeitungssystem, Bildverarbeitungsverfahren und Computerprogramm
JP2016120566A (ja) * 2014-12-25 2016-07-07 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
WO2017133756A1 (en) * 2016-02-02 2017-08-10 Abb Schweiz Ag Robot system calibration
CN108463313A (zh) * 2016-02-02 2018-08-28 Abb瑞士股份有限公司 机器人系统校准
US20180354137A1 (en) * 2016-02-02 2018-12-13 Abb Schweiz Ag Robot System Calibration
US11230011B2 (en) * 2016-02-02 2022-01-25 Abb Schweiz Ag Robot system calibration
JP2017207844A (ja) * 2016-05-17 2017-11-24 村田機械株式会社 板材搬送方法、搬送制御装置、及び加工システム
US10569418B2 (en) 2017-09-22 2020-02-25 Fanuc Corporation Robot controller for executing calibration, measurement system and calibration method
JP2019055469A (ja) * 2017-09-22 2019-04-11 ファナック株式会社 キャリブレーションを行うロボット制御装置、計測システム及びキャリブレーション方法
US11338440B2 (en) 2018-07-30 2022-05-24 Fanuc Corporation Robot system and calibration method

Also Published As

Publication number Publication date
JP4274558B2 (ja) 2009-06-10

Similar Documents

Publication Publication Date Title
JP4289619B2 (ja) 多関節ロボットのツール位置補正方法
JP6966582B2 (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
JP4274558B2 (ja) キャリブレーション方法
US10456917B2 (en) Robot system including a plurality of robots, robot controller and robot control method
JP6755724B2 (ja) 制御方法、ロボットシステム、および物品の製造方法
JPH0435885A (ja) 視覚センサのキャリブレーション方法
JP7306937B2 (ja) ロボットに支持された部材の位置を調整するロボット装置の制御装置
US20120265344A1 (en) Robot system and method for operating robot system
JPWO2018092243A1 (ja) 作業位置補正方法および作業ロボット
JP6661027B2 (ja) 作業ロボット
JP5450242B2 (ja) マニピュレータのキャリブレーション方法及びロボット制御システム
JP2004243215A (ja) シーラー塗布装置のロボットティーチング方法及びシーラー塗布装置
JP6928015B2 (ja) ロボットシステムおよび座標変換方法
JP2006297559A (ja) キャリブレーションシステムおよびロボットのキャリブレーション方法
CN113015604B (zh) 机器人控制系统及机器人控制方法
WO2023032400A1 (ja) 自動搬送装置、及びシステム
CN116852359A (zh) 一种基于机器人手持示教装置的tcp快速标定的装置及方法
King et al. Vision guided robots for automated assembly
JPH08118272A (ja) ロボットのキャリブレーション方法
JP2022126768A (ja) ロボット搭載移動装置
JP7384653B2 (ja) ロボットの位置を制御するロボット装置の制御装置
JP2022530589A (ja) ロボット搭載移動装置、システム及び工作機械
JP7105223B2 (ja) ロボットシステム
JP2021094623A (ja) ロボット制御装置、観察システム、ロボットシステム、及びロボット制御方法
SE456976B (sv) Foerfarande och anordning vid en robotutrustning foer bestaemning av laeget av ett foeremaal

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090204

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090302

R150 Certificate of patent or registration of utility model

Ref document number: 4274558

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120313

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120313

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130313

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130313

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140313

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250