JP2004243454A - ロボットの工具形状指定装置および工具干渉チェック装置 - Google Patents

ロボットの工具形状指定装置および工具干渉チェック装置 Download PDF

Info

Publication number
JP2004243454A
JP2004243454A JP2003034938A JP2003034938A JP2004243454A JP 2004243454 A JP2004243454 A JP 2004243454A JP 2003034938 A JP2003034938 A JP 2003034938A JP 2003034938 A JP2003034938 A JP 2003034938A JP 2004243454 A JP2004243454 A JP 2004243454A
Authority
JP
Japan
Prior art keywords
tool
robot
coordinate system
image
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003034938A
Other languages
English (en)
Other versions
JP2004243454A5 (ja
Inventor
Toshimitsu Irie
俊充 入江
Keiichi Takaoka
佳市 高岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaskawa Electric Corp
Original Assignee
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaskawa Electric Corp filed Critical Yaskawa Electric Corp
Priority to JP2003034938A priority Critical patent/JP2004243454A/ja
Publication of JP2004243454A publication Critical patent/JP2004243454A/ja
Publication of JP2004243454A5 publication Critical patent/JP2004243454A5/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】工具各部の位置の指定や、円筒・半球の大きさの指定にミスが生じないようにし、生じても確認することができるようにする。
【解決手段】工具の映像を撮像する少なくとも1台の撮像手段101と、撮像手段で撮像された映像を提示する少なくとも1台の映像提示手段102と、撮像手段と映像提示手段の位置関係とロボットと撮像手段の位置関係とを記憶する校正データ110と、工具各部の位置を入力する入力手段103と、入力手段で入力された工具各部の位置を校正データを用いて映像提示手段の位置に変換する座標変換手段105と、座標変換手段で変換された位置に映像提示手段上にマークを表示する表示制御手段104を備える。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、ロボットの工具各部の形状を指定する装置に関する。
【0002】
【従来の技術】
少なくとも2台以上のロボットが同時に作業することを想定し、これらロボットの衝突を防ぐために、ロボット同士の干渉をチェックする方法がいくつか開示されている。例えば、特許文献1(協調作業教示におけるロボット干渉検出方式)では、ロボットの各部を円筒と半球で覆い、これら立体間の干渉をチェックすることでロボット同士の干渉を検出する。この場合、ロボットの各部を円筒と半球で覆うために円筒と半球の位置を決定する必要があり、そのため、ロボット各部の位置を求める必要がある。ロボットの関節に半球を、リンクに円筒をそれぞれ設定するとすると、関節の位置はロボットの順運動学を解くことによって求めることができ、その位置に半球を設定する。円筒は、それら位置間に設定する。
ところで、一般に、ロボット先端には工具を装着するが、ロボット同士の干渉をチェックするためには、その工具をも円筒と半球で覆う必要がある。従って、工具各部に設定する円筒と半球の位置を決定する必要がある。この場合、一般に、工具を装着するロボットのフランジ面に設定された座標系から見た工具各部の位置を指定する。以下、図8を用いて、従来の円筒・半球設定方法を説明する。図8は、工具への円筒・半球設定方法を表す図である。図8において、801がロボットの手首で、フランジ802が固定されている。フランジ802には工具803が装着されている。この例では、工具803として溶接トーチを用いている。804はフランジ座標系で、フランジ802に固定されている。前述のように、工具803を円筒と半球で覆う必要があるが、その際、工具803各部の位置と、それら円筒と半球の大きさ(半径)を決定する必要がある。工具803各部の位置は、図8中、第1の位置805から第5の位置809に相当する。また、円筒は第1の円筒810から第4の円筒813、半球は第1の半球814から第5の半球818に、それぞれ相当する。尚、第2の半球815から第4の半球817は、説明簡易化のため、隣り合う円筒の端部の半球の合成として表示している。
従来、工具803に関する、第1の位置805から第5の位置809の指定と、第1の円筒810から第4の円筒813および第1の半球814から第5の半球818の大きさ(半径)の指定と、は工具803に関する機械図面を見ながら人により行われるものであった。あるいは、人により工具803を実測し、その実測値に基づき指定するものであった。どちらの場合でも、第1の位置805から第5の位置809は、フランジ座標系804から見た位置を指定することになる(例えば、特許文献1参照)。
【0003】
【特許文献1】特開昭60−217410号公報
【0004】
【発明が解決しようとする課題】
ところが、従来の、機械図面を参照する方法、工具を実測する方法共に、位置の指定や、円筒・半球の大きさ(半径)の指定にミスを生じる可能性があり、ミスを生じても確認する手段がないという問題があった。この場合、干渉チェックをすべき円筒や半球が工具を覆わない位置に設定されるか、工具を覆わない大きさに設定されてしまうため、干渉チェックが正しく行われず、工具が他の物体と衝突し、工具や他の物体を破壊する危険性が生じるという問題があった。また、工具等の破壊による飛散のため、人に対する安全性が低下するという問題もあった。
そこで、本発明は、工具等の破壊の危険性を減少し、それに伴う人に対する安全性を向上するために、工具各部の位置の指定や、円筒・半球の大きさの指定にミスの生じない、生じても確認することのできるロボットの工具形状指定装置および工具干渉チェック装置を提供することを目的とする。
【0005】
【課題を解決するための手段】
上記問題を解決するため、本発明の請求項1記載のロボットの工具形状指定装置および工具干渉チェック装置は、ロボットの工具各部の形状を指定する装置において、前記工具の映像を撮像する少なくとも1台の撮像手段と、前記撮像手段で撮像された映像を提示する少なくとも1台の映像提示手段と、前記工具各部の位置を入力する入力手段と、前記入力手段で入力された前記工具各部の位置を前記映像提示手段の位置に変換する座標変換手段と、前記座標変換手段で変換された位置に前記映像提示手段上にマークを表示する表示制御手段と、を備えるようにするものである。
この請求項1記載の装置によれば、人が入力手段により入力した工具各部の位置を、映像提示手段により視覚的に確認することができるので、工具各部の位置の指定にミスが生じず、また生じてもそのミスを確認することができるので、工具各部の位置を正しく指定することができる。
また、本発明の請求項2記載のロボットの工具形状指定装置および工具干渉チェック装置は、ロボットの工具各部の形状を指定する装置において、前記工具の映像を撮像する少なくとも2台の撮像手段と、前記撮像手段で撮像された映像を提示する少なくとも1台の映像提示手段と、前記映像提示手段に装着して前記映像提示手段上で位置を指定する位置指定手段と、前記位置指定手段で指定された位置から前記工具各部の位置を演算する工具位置変換手段と、前記位置指定手段で指定された位置に前記映像提示手段上にマークを表示する表示制御手段と、を備えるようにするものである。
この請求項2記載の装置によれば、人が位置指定手段により指定した工具各部の位置を、工具位置変換手段により自動的に演算することができるので、工具各部の位置の指定にミスが生じず、工具各部の位置を試行錯誤なく正しく指定することができる。この場合、試行錯誤なく自動的に演算するため、作業効率を向上させることができる。また、人が位置指定手段により指定した工具各部の位置を、映像提示手段により視覚的に確認することができるので、工具各部の位置の指定にミスが生じず、また生じてもそのミスを確認することができるので、工具各部の位置を正しく指定することができる。
また、本発明の請求項3記載のロボットの工具形状指定装置および工具干渉チェック装置は、請求項1または請求項2記載の前記撮像手段を、ロボットに装着して利用するものである。
この請求項3記載の装置によれば、ロボットに撮像手段を装着しているので、工具の映像を撮像する位置を、ロボットを操作することにより容易に変更することができる。従って、工具の変更によっても容易に対応でき、作業効率を向上させることができる。
また、本発明の請求項4記載のロボットの工具干渉チェック装置は、請求項1から請求項3までのいずれか1つに記載の前記表示制御手段を、前記マークと、予め保持された図形とを表示するように構成するものである。
この請求項4記載の装置によれば、表示制御手段が、マークの他に、工具を覆う円筒や半球等の図形を映像提示手段に表示することができるので、円筒や半球等の大きさの指定にミスが生じず、また生じてもそのミスを確認することができるので、工具を覆う立体の大きさを正しく指定することができる。
また、本発明の請求項5記載のロボットの工具形状指定装置および工具干渉チェック装置は、ロボットの工具各部の形状を指定する装置において、前記工具各部の位置を指し示す治具と、前記治具によって指し示された前記工具各部の位置を演算する工具位置演算手段と、を備えるようにするものである。
この請求項5記載の装置によれば、治具により工具各部の位置を指し示し、工具位置演算手段により工具各部の位置を自動的に演算することができるので、工具各部の位置の指定にミスが生じず、工具各部の位置を正しく指定することができる。この場合、自動的に演算するため、作業効率を向上させることができる。
また、本発明の請求項6記載のロボットの工具形状指定装置および工具干渉チェック装置は、請求項5記載の前記治具を、ロボットに装着して利用するものである。
この請求項6記載の装置によれば、ロボットに治具を装着しているので、工具各部を指し示す位置を、ロボットを操作することにより容易に変更することができる。従って、工具の変更によっても容易に対応でき、作業効率を向上させることができる。
また、本発明の請求項7記載のロボットの工具形状指定装置および工具干渉チェック装置は、請求項1または請求項2記載のロボットの工具形状指定装置および工具干渉チェック装置と、請求項5記載のロボットの工具形状指定装置および工具干渉チェック装置と、を組み合わせて利用するものである。
また、本発明の請求項8記載のロボットの工具形状指定装置および工具干渉チェック装置は、請求項3記載のロボットの工具形状指定装置および工具干渉チェック装置と、請求項5記載のロボットの工具形状指定装置および工具干渉チェック装置と、を組み合わせて利用するものである。
また、本発明の請求項9記載のロボットの工具形状指定装置および工具干渉チェック装置は、請求項4記載のロボットの工具干渉チェック装置と、請求項5記載のロボットの工具形状指定装置および工具干渉チェック装置と、を組み合わせて利用するものである。
また、本発明の請求項10記載のロボットの工具形状指定装置および工具干渉チェック装置は、請求項1または請求項2記載のロボットの工具形状指定装置および工具干渉チェック装置と、請求項6記載のロボットの工具形状指定装置および工具干渉チェック装置と、を組み合わせて利用するものである。
また、本発明の請求項11記載のロボットの工具形状指定装置および工具干渉チェック装置は、請求項3記載のロボットの工具形状指定装置および工具干渉チェック装置と、請求項6記載のロボットの工具形状指定装置および工具干渉チェック装置と、を組み合わせて利用するものである。
また、本発明の請求項12記載のロボットの工具形状指定装置および工具干渉チェック装置は、請求項4記載のロボットの工具干渉チェック装置と、請求項6記載のロボットの工具形状指定装置および工具干渉チェック装置と、を組み合わせて利用するものである。
これら請求項7から請求項12までに記載の装置によれば、入力手段と治具等、複数の手段を組み合わせて利用することができ、一方の手段で指定した工具各部の位置の正確さを、他方の手段で確認することができるので、より確実に工具各部の位置を指定することができる。
以上、本発明の全ての請求項によれば、工具各部の位置と工具を覆う立体の大きさを正しく指定することができるので、その結果、ロボットの干渉チェックを正しく行うことができ、工具と他の物体との衝突による工具等の破壊の危険性を減少させ、それに伴う人に対する安全性を向上させることができる。
【0006】
【発明の実施の形態】
本発明の第1の実施の形態のロボットの工具形状指定装置および工具干渉チェック装置について、図1を用いて説明する。尚、本実施の形態は、請求項1記載の第1例に相当する。図1は、第1の実施の形態に関するブロック図である。尚、図8を用いて説明した構成要素については、同一の符号を付して説明を割愛する。図1において、101は撮像手段で、工具803を含むシーンを撮像する。撮像手段101としては、一般に用いられるCCDカメラ等を利用すれば良い。尚、撮像手段101は、工具803が撮像できる位置に固定されている。102は映像提示手段で、撮像手段101で取得された映像を提示する。映像提示手段102としては、一般に用いられるCRTディスプレイや液晶ディスプレイ等を用いれば良い。106はロボットコントローラで、(図示なし)ロボットを動作させたり、ロボットの位置を演算したりする。ロボットコントローラ106は産業用ロボットに接続される一般的なものを利用すれば良い。尚、図1では、ロボットを図示していないため、ロボットとロボットコントローラ106との接続線のロボット側は、手首801に接続している。103は入力手段で、人により、フランジ座標系804から見た工具803各部の位置、例えば第2の位置806を入力する。入力手段103としては、人が操作し易いペンダント形状の入力装置等を用いれば良い。105は座標変換手段で、入力手段103で入力された工具803各部の位置を、映像提示手段102に表示できる位置に変換する。110の校正データは、その変換に必要な予め保存されているデータである。104は表示制御手段で、座標変換手段105で変換された、映像提示手段102に表示できる位置に、映像提示手段102上、例えば、丸印等のマークを表示する。107はロボット座標系で、ロボットのベースに固定されている。108は撮像座標系で、撮像手段101に固定されている。109は映像座標系で、撮像手段101の撮像面に固定されている。図1では、撮像面の映像が映像提示手段102に提示されるため、映像座標系109を映像提示手段102に付けている。尚、ロボット座標系107と撮像座標系108、撮像座標系108と映像座標系109は、それぞれ位置関係が校正されているものとする。校正方法としては、参照点を設けて、ロボット座標系107から見た参照点位置と映像座標系109から見た参照点位置とをいくつか取得し、それら位置から導出される関係式から校正する一般的な方法等を用いれば良い。以下、工具803各部の位置を決定する具体的内容を説明する。まず、人が入力手段103により、フランジ座標系804から見た工具803各部の位置、例えば第2の位置806を入力する。この位置を
【0007】
【数1】
Figure 2004243454
【0008】
と表す。この表現方法は、ロボット工学の分野で一般的に用いられる同次座標表現であり、4行1列の行列である。ロボットコントローラ106では、ロボット座標系107から見たフランジ座標系804の位置と姿勢を演算しており、これを同次座標表現で
【0009】
【数2】
Figure 2004243454
【0010】
と表す(4行4列の行列)。座標変換手段105では、式(2)のロボット座標系107から見たフランジ座標系804の位置と姿勢と、式(1)のフランジ座標系804から見た工具803各部の位置と、校正データ110であるロボット座標系107から見た撮像座標系108の位置と姿勢
【0011】
【数3】
Figure 2004243454
【0012】
と、撮像座標系108から見た映像座標系109の位置と姿勢
【0013】
【数4】
Figure 2004243454
【0014】
と、を入力し、
【0015】
【数5】
Figure 2004243454
【0016】
を演算する。そして、映像座標系109からみた工具803各部の位置を出力する。表示制御手段104では、式(5)の映像座標系109からみた工具803各部の位置を入力し、映像提示手段102上のその位置にマークを表示する。図1の場合、丸印を表示している。
以上説明したように、本発明の第1の実施の形態(請求項1記載の第1例)は、人が入力手段103によって入力した工具803各部の位置が、座標変換手段105によって映像提示手段102上に表示できる位置に変換され、表示制御手段104によって映像提示手段102上にマークを付して表示されるため、入力した工具803各部の位置を、視覚的に確認することができる。従って、工具803各部の位置の指定にミスが生じず、また生じてもそのミスを確認することができるので、工具803各部の位置を正しく指定することができるという効果がある。
本発明の第2の実施の形態のロボットの工具形状指定装置および工具干渉チェック装置について、図2を用いて説明する。尚、本実施の形態は、請求項1記載の第2例に相当する。図2は、第2の実施の形態に関するブロック図である。尚、図8、図1を用いて説明した構成要素については、同一の符号を付して説明を割愛する。図2において、101aは第1の撮像手段、101bは第2の撮像手段である。また、102aは第1の映像提示手段、102bは第2の映像提示手段、109aは第1の映像座標系、109bは第2の映像座標系である。図1を用いて説明した第1の実施の形態との構成上の相違点は、撮像手段101と映像提示手段102をそれぞれ2台とした点である。以下、工具803各部の位置を決定する具体的内容を説明する。座標変換手段105では、式(2)のロボット座標系107から見たフランジ座標系804の位置と姿勢と、式(1)のフランジ座標系804から見た工具803各部の位置と、校正データである式(3)のロボット座標系107から見た撮像座標系108の位置と姿勢と、撮像座標系108から見た第1の映像座標系109aの位置と姿勢
【0017】
【数6】
Figure 2004243454
【0018】
と、撮像座標系108から見た第2の映像座標系109bの位置と姿勢
【0019】
【数7】
Figure 2004243454
【0020】
と、を入力し、
【0021】
【数8】
Figure 2004243454
【0022】
を演算する。そして、第1の映像座標系109a、第2の映像座標系109bから見た工具803各部の位置を出力する。表示制御手段104では、式(8)の第1の映像座標系109a、第2の映像座標系109bから見た工具803各部の位置を入力し、第1の映像提示手段102a、第2の映像提示手段102b上のその位置にマークを表示する。図2の場合、丸印を表示している。
以上説明したように、本発明の第2の実施の形態(請求項1記載の第2例)は、人が入力手段103によって入力した工具803各部の位置が、座標変換手段105によって映像提示手段102aおよび102b上に表示できる位置に変換され、表示制御手段104によって映像提示手段102aおよび102b上にマークを付して表示されるため、入力した工具803各部の位置を、視覚的に確認することができる。従って、工具803各部の位置の指定にミスが生じず、また生じてもそのミスを確認することができるので、工具803各部の位置を正しく指定することができるという効果がある。また、図1を用いて説明した第1の実施の形態では、1台の撮像手段101しか用いていないため、すなわち、工具803を1方向からしか見ていないため、入力した工具803各部の位置が、工具803の中心線上とはならない場合がある。そのため、ロボットの操作により、工具803を移動させ、複数の映像を用いて工具803各部の位置を入力する必要がある。それに対して、第2の実施の形態では、2台の撮像手段101aおよび101bを用いているため、すなわち、工具803を2方向から見るため、第1の実施の形態のように、工具803を移動する必要がなく、手間が省けるという効果がある。
尚、本実施の形態では、撮像手段101aおよび101bを2台としたが、本発明はこれに限るものではなく、3台以上の撮像手段を用いても良い。また、映像提示手段102aおよび102bを2台としたが、本発明はこれに限るものではなく、2台以上の撮像手段の映像を1台の映像提示手段で分割して提示しても良い。
本発明の第3の実施の形態のロボットの工具形状指定装置および工具干渉チェック装置について、図3を用いて説明する。尚、本実施の形態は、請求項2記載の例に相当する。図3は、第3の実施の形態に関するブロック図である。尚、図8、図1、図2を用いて説明した構成要素については、同一の符号を付して説明を割愛する。図3において、301aは第1の位置指定手段、301bは第2の位置指定手段で、人が表面を指し示すことで第1の映像提示手段102a、第2の映像提示手段102b上の位置を指定する。第1の位置指定手段301a、第2の位置指定手段301bとしては、タッチパネル等を利用すれば良い。尚、図3では、構造を理解し易くするため、第1の映像提示手段102aと第1の位置指定手段301a、第2の映像提示手段102bと第2の位置指定手段301bは共に、ずらして表示しているが、実際には、それぞれ、ずれなく重なり合うように装着される。302は工具位置変換手段で、第1の位置指定手段301a、第2の位置指定手段301bで指定された第1の映像座標系109a、第2の映像座標系109bから見た工具803各部の位置を、フランジ座標系804から見た位置に変換する。以下、工具803各部の位置を決定する具体的内容を説明する。まず、人が第1の映像提示手段102a、第2の映像提示手段102bを見て、工具803各部の位置を、第1の位置指定手段301a、第2の位置指定手段301bで指し示す。これら位置を
【0023】
【数9】
Figure 2004243454
【0024】
とする。工具変換手段302では、式(9)の第1の映像座標系109a、第2の映像座標系109bから見た工具803各部の位置と、校正データ110である式(6)、(7)の撮像座標系108から見た第1の映像座標系109a、第2の映像座標系109bの位置と姿勢と、を入力し、撮像座標系108から見た工具803各部の位置
【0025】
【数10】
Figure 2004243454
【0026】
を演算する。この撮像座標系108から見た工具803各部の位置の演算は、三角測量の原理を用いた両眼立体視法等の一般に良く用いられる手法で容易に求めることができる。また、工具位置変換手段302では、式(2)のロボット座標系107から見たフランジ座標系804の位置と姿勢と、校正データ110である式(3)のロボット座標系107から見た撮像座標系108の位置と姿勢と、を入力し、式(10)の撮像座標系108から見た工具803各部の位置を用いて、
【0027】
【数11】
Figure 2004243454
【0028】
を演算する。そして、フランジ座標系804から見た工具803各部の位置を出力する。表示制御手段104では、式(9)の第1の映像座標系109a、第2の映像座標系109bから見た工具803各部の位置を入力し、第1の映像提示手段102a、第2の映像提示手段102b上のその位置にマークを表示する。図3の場合、丸印を表示している。
以上説明したように、本発明の第3の実施の形態(請求項2記載の例)は、人が映像提示手段102aおよび102bを見ながら、位置指定手段301aおよび302bによって映像座標系109aおよび109bから見た工具803各部の位置を指定し、指定された工具803各部の位置を工具位置変換手段302によってフランジ座標系804から見た位置として、自動的に演算することができるので、第1、第2の実施の形態のように試行錯誤しながら指定する必要がない。従って、工具803各部の位置の指定にミスが生じず、工具803各部の位置を正しく指定することができるという効果がある。この場合、試行錯誤なく自動的に演算するため、作業効率を向上させることができるという効果がある。また、人が位置指定手段301aおよび301bによって指定した工具803各部の位置を、表示制御手段104によって映像提示手段102aおよび102b上にマークを付して表示されるため、指定した工具803各部の位置を視覚的に確認することができる。従って、工具803各部の位置の指定にミスが生じず、また生じてもそのミスを確認することができるので、工具803各部の位置を正しく指定することができるという効果がある。また、第2の実施の形態と同様、工具803を2方向から見るため、第1の実施の形態のように、工具803を移動する必要がなく、手間が省けるという効果がある。
尚、本実施の形態では、撮像手段101aおよび101bを2台としたが、本発明はこれに限るものではなく、3台以上の撮像手段を用いても良い。また、映像提示手段102aおよび102bを2台としたが、本発明はこれに限るものではなく、2台以上の撮像手段の映像を1台の映像提示手段で分割して提示しても良い。また、位置指定手段301aおよび301bを2台としたが、本発明はこれに限るものではなく、撮像手段101aおよび101bの映像の位置を指定できるように、1台の位置指定手段で構成しても良い。
本発明の第4の実施の形態のロボットの工具形状指定装置および工具干渉チェック装置について、図4を用いて説明する。尚、本実施の形態は、請求項3記載の例に相当する。図4は、第4の実施の形態に関するブロック図である。尚、図8、図1から図3を用いて説明した構成要素については、同一の符号を付して説明を割愛する。図4において、802aは第1のフランジ、802bは第2のフランジ、803aは第1の工具、803bは第2の工具、804aは第1のフランジ座標系、804bは第2のフランジ座標系である。107aは第1のロボット座標系、107bは第2のロボット座標系で、それぞれのロボットのベースに固定されている。第1のロボット座標系107aと第2のロボット座標系107b、第1のフランジ座標系804aと撮像座標系108は、それぞれ位置関係が校正されているものとする。第1のロボット座標系107aと第2のロボット座標系107bの校正方法としては、参照点を設けて第1のロボット座標系107aから見た参照点位置と、第2のロボット座標系107bから見た参照点位置とをいくつか取得し、それら位置関係から導出される関係式から校正する一般的な方法等を用いれば良い。第1のフランジ座標系804aと撮像座標系108の校正方法としては、第1の実施の形態で述べたのと同様の方法等を適用すれば良い。図1を用いて説明した第1の実施の形態では、撮像手段101を工具803が撮像できる位置に固定していたが、本実施の形態では、撮像手段101を、第1のフランジ802aに装着している。また、図1から図3を用いて説明した第1から第3の実施の形態では、1台のロボットを利用していたが、本実施の形態では、2台のロボットを利用している。以下、工具803b各部の位置を決定する具体的内容を説明する。まず、撮像手段101が装着されている側のロボットを、人が操作し、第2の工具803bを含むシーンを撮像する。次に、人が入力手段103により、第2のフランジ座標系804bから見た工具803b各部の位置を入力する。この位置を
【0029】
【数12】
Figure 2004243454
【0030】
とする。座標変換手段105では、第1のロボット座標系107aから見た第1のフランジ座標系804aの位置と姿勢
【0031】
【数13】
Figure 2004243454
【0032】
と、第2のロボット座標系107bから見た第2のフランジ座標系804bの位置と姿勢
【0033】
【数14】
Figure 2004243454
【0034】
と、式(12)の第2のフランジ座標系804bから見た工具803b各部の位置と、校正データ110である式(4)の撮像座標系108から見た映像座標系109の位置と姿勢と、第1のフランジ座標系804aから見た撮像座標系108の位置と姿勢
【0035】
【数15】
Figure 2004243454
【0036】
と、第1のロボット座標系107aから見た第2のロボット座標系107bの位置と姿勢
【0037】
【数16】
Figure 2004243454
【0038】
と、を入力し、
【0039】
【数17】
Figure 2004243454
【0040】
を演算する。そして、映像座標系109から見た工具803b各部の位置を出力する。表示制御手段104では、式(17)の映像座標系109から見た工具803b各部の位置を入力し、映像提示手段102上のその位置にマークを表示する。図4の場合、丸印を表示している。
以上説明したように、本発明の第4の実施の形態(請求項3記載の例)は、人が入力手段103によって入力した工具803b各部の位置が、座標変換手段105によって映像提示手段102上に表示できる位置に変換され、表示制御手段104によって映像提示手段102上にマークを付して表示されるため、入力した工具803b各部の位置を、視覚的に確認することができる。従って、工具803b各部の位置の指定にミスが生じず、また生じてもそのミスを確認することができるので、工具803各部の位置を正しく指定することができるという効果がある。また、本実施の形態は、図1から図3を用いて説明した第1から第3の実施の形態とは異なり、ロボットのフランジ802aまたは802bに撮像手段101を装着しているので、工具803aまたは803bの映像を撮像する位置を、ロボットを操作することにより容易に変更することができる。従って、工具803aまたは803bの変更によっても容易に対応でき、作業効率を向上させることができるという効果がある。
尚、本実施の形態は、図1を用いて説明した第1の実施の形態の撮像手段101を、ロボットのフランジ802aに装着して構成したものであるが、図2、図3を用いて説明した第2、第3の実施の実施の形態の第1の撮像手段101a、第2の撮像手段101bをフランジ802aに装着して構成しても良い。
本発明の第5の実施の形態のロボットの工具干渉チェック装置について、図5を用いて説明する。尚、本実施の形態は、請求項4記載の例に相当する。図5は、第5の実施の形態に関するブロック図である。尚、図8、図1から図4を用いて説明した構成要素については、同一の符号を付して説明を割愛する。図5において、501は図形画像で、円筒、半球、球、直方体等の図形が予め保持されている。本実施の形態は、図1を用いて説明した第1の実施の形態に、この図形画像501を付加したものである。以下、工具803各部の位置を決定する具体的内容を説明する。まず、人が入力手段103により、フランジ座標系804から見た工具803各部の位置と、その位置あるいは位置間に設定する立体の種類とそれら立体の大きさ(半径等)である属性を入力する。座標変換手段105では、式(2)のロボット座標系107から見たフランジ座標系804の位置と姿勢と、式(1)のフランジ座標系804から見た工具803各部の位置と、校正データ110である式(3)のロボット座標系107から見た撮像座標系108の位置と姿勢と、式(4)の撮像座標系108から見た映像座標系109の位置と姿勢と、を入力し、式(5)を演算する。そして、映像座標系109から見た工具803各部の位置を出力する。表示制御手段104では、式(5)の映像座標系109から見た工具803各部の位置と、属性と、属性によって指定された図形画像501内の図形と、を入力し、映像提示手段102上のその位置にマークと図形とを表示する。図5の場合、位置に丸印と半球を、位置間に円筒を表示している。
以上説明したように、本発明の第5の実施の形態(請求項4記載の例)は、人が入力手段103によって入力した工具803各部の位置が、座標変換手段105によって映像提示手段102上に表示できる位置に変換され、表示制御手段104によって映像提示手段102上にマークを付して表示されるため、入力した工具803各部の位置を、視覚的に確認することができる。従って、工具803各部の位置の指定にミスが生じず、また生じてもそのミスを確認することができるので、工具803各部の位置を正しく指定することができるという効果がある。また、表示制御手段104が、マークの他に、工具803を覆う円筒や半球等の図形を映像提示手段102に表示することができるので、円筒や半球等の大きさの指定にミスが生じず、また生じてもそのミスを確認することができる。従って、工具803を覆う立体の大きさを正しく指定することができるという効果がある。
尚、本実施の形態は、図1を用いて説明した第1の実施の形態に、図形画像501を付加したものであるが、図2から図4を用いて説明した第2から第4の実施の形態に、図形画像501を付加しても良い。
本発明の第6の実施の形態のロボットの工具形状指定装置および工具干渉チェック装置について、図6を用いて説明する。尚、本実施の形態は、請求項5記載の例に相当する。図6は、第6の実施の形態に関するブロック図である。尚、図8、図1から図5を用いて説明した構成要素については、同一の符号を付して説明を割愛する。図6において、601は治具で、工具803各部の位置を指し示すことができるよう尖った形状に加工されている。治具601は、ロボットの動作により工具803各部が届く位置に固定されている。工具位置演算手段602は、治具601に工具803各部が指し示された状態で、その時のロボット座標系107から見たフランジ座標系804の位置と姿勢から、フランジ座標系804から見た工具803各部の位置を演算する。ロボット座標系107から見た治具601先端の位置は、予め校正されているものとする。校正方法としては、治具601先端の位置をいくつか指し示して演算する一般的な方法等を用いれば良い。以下、工具803各部の位置を決定する具体的内容を説明する。まず、人がロボットを操作し、工具803各部の位置を治具601の先端に接触させる。工具位置演算手段602では、その時の式(2)のロボット座標系107から見たフランジ座標系804の位置と姿勢と、校正データ110であるロボット座標系107から見た治具601先端の位置
【0041】
【数18】
Figure 2004243454
【0042】
を入力し、
【0043】
【数19】
Figure 2004243454
【0044】
を演算する。そして、フランジ座標系804から見た工具803各部の位置を出力する。
以上説明したように、本発明の第6の実施の形態(請求項5記載の例)は、人によるロボットの操作により、治具601に工具803各部を指し示し、工具位置演算手段602により工具803各部の位置を自動的に演算することができるので、第1、第2、第4、第5の実施の形態のように試行錯誤する必要がない。従って、工具803各部の位置の指定にミスが生じず、工具803各部の位置を正しく指定することができるという効果がある。この場合、試行錯誤なく自動的に演算するため、作業効率を向上させることができるという効果がある。
本発明の第7の実施の形態のロボットの工具形状指定装置および工具干渉チェック装置について、図7を用いて説明する。尚、本実施の形態は、請求項6記載の例に相当する。図7は、第7の実施の形態に関するブロック図である。尚、図8、図1から図6を用いて説明した構成要素については、同一の符号を付して説明を割愛する。図6を用いて説明した第6の実施の形態では、治具601を工具803の各部が届く位置に固定していたが、本実施の形態では、治具601を第1のフランジ804aに装着している。また、第6の実施の形態では、1台のロボットを利用していたが、本実施の形態では、2台のロボットを利用している。第1のロボット座標系107aと第2のロボット座標系107b、第1のフランジ座標系804aと治具601先端の位置は、それぞれ位置関係が校正されているものとする。第1のフランジ座標系804aと治具601先端の位置の校正方法としては、ロボットに装着する工具を校正する一般的な方法等を用いれば良い。以下、工具803b各部の位置を決定する具体的内容を説明する。まず、治具601が装着されている側のロボットを、人が操作し、治具601の先端が、第2の工具803b各部の位置に接触させるようにする。工具位置演算手段602では、その時の式(13)の第1のロボット座標系107aから見た第1のフランジ座標系804aの位置と姿勢と、式(14)の第2のロボット座標系107bから見た第2のフランジ座標系804bの位置と姿勢と、校正データ110であるの第1のフランジ座標系804aから見た治具601先端の位置
【0045】
【数20】
Figure 2004243454
【0046】
と、式(16)の第1のロボット座標系107aから見た第2のロボット座標系107bの位置と姿勢と、を入力し、
【0047】
【数21】
Figure 2004243454
【0048】
を演算する。そして、第2のフランジ座標系804bからみた第2の工具803b各部の位置を出力する。
以上説明したように、本発明の第7の実施の形態(請求項6記載の例)は、人によるロボットの操作により、治具601に工具803b各部を指し示し、工具位置演算手段602により工具803b各部の位置を自動的に演算することができるので、第1、第2、第4、第5の実施の形態のように試行錯誤する必要がない。従って、工具803b各部の位置の指定にミスが生じず、工具803b各部の位置を正しく指定することができる。この場合、試行錯誤なく自動的に演算するため、作業効率を向上させることができるという効果がある。また、図6を用いて説明した第6の実施の形態とは異なり、ロボットのフランジ802aまたは802bに治具601を装着しているので、工具803aまたは803b各部を指し示す位置を、ロボットを操作することにより容易に変更することができる。従って、工具803aまたは803bの変更によっても容易に対応でき、作業効率を向上させることができるという効果がある。
尚、第6の実施の形態と、第7の実施の形態では、治具601によって指し示す工具803または803b各部の位置は、工具803または803bの表面となり、工具803または803bの中心線上とはならない。ところが、例えば、工具803または803bが円の断面を持つものであれば、少なくとも3点以上の位置を指定して、それらから円の中心を計算により求めることができる。従って、この円の中心を工具803または803b各部の位置とすれば良い。その他の断面を持つ場合は、工具803または803bの形状が既知であれば、形状に応じて工具803または803bの中心線上の位置を計算により求めるようにすれば良い。
また、本発明の別の実施の形態として、図1を用いて説明した第1の実施の形態と、図6を用いて説明した第6の実施の形態と、を組み合わせて利用するものもある。例えば、人が入力手段103によって入力した工具803各部の位置を、治具601で指し示した工具803各部の位置と比較する。これは請求項7記載の例に相当する。更に別の実施の形態として、請求項8から請求項12までに記載の方法に相当する組み合わせ例がある。
以上説明したように、本発明の別の実施の形態(請求項7から請求項12までに記載の例)は、入力手段103と治具601等、複数の手段を組み合わせて利用することができ、一方の手段で指定した工具803各部の位置の正確さを、他方の手段で確認することができるので、より確実に工具803各部の位置を指定することができるという効果がある。
以上説明した全ての実施の形態は、工具(803、803a、803b)各部の位置と工具(803、803a、803b)を覆う立体の大きさを正しく指定することができるので、その結果、ロボットの干渉チェックを正しく行うことができ、工具(803、803a、803b)と他の物体との衝突による工具(803、803a、803b)等の破壊の危険性を減少させ、それに伴う人に対する安全性を向上させることができるという効果がある。
【0049】
【発明の効果】
以上説明したように、本発明の請求項1記載の装置によれば、人が入力手段によって入力した工具各部の位置が、座標変換手段によって映像提示手段上に表示できる位置に変換され、表示制御手段によって映像提示手段上にマークを付して表示されるため、入力した工具各部の位置を、視覚的に確認することができる。従って、工具各部の位置の指定にミスが生じず、また生じてもそのミスを確認することができるので、工具各部の位置を正しく指定することができるという効果がある。また、複数台の撮像手段を用いた場合には、工具を複数方向から見ることができるため、工具を移動する必要がなく、手間が省けるという効果がある。本発明の請求項2記載の装置によれば、人が映像提示手段を見ながら、位置指定手段によって映像座標系から見た工具各部の位置を指定し、指定された工具各部の位置を工具位置変換手段によってフランジ座標系から見た位置として、自動的に演算することができるので、試行錯誤しながら指定する必要がない。従って、工具各部の位置の指定にミスが生じず、工具各部の位置を正しく指定することができるという効果がある。この場合、試行錯誤なく自動的に演算するため、作業効率を向上させることができるという効果がある。また、人が位置指定手段によって指定した工具各部の位置を、表示制御手段によって映像提示手段上にマークを付して表示されるため、指定した工具各部の位置を視覚的に確認することができる。従って、工具各部の位置の指定にミスが生じず、また生じてもそのミスを確認することができるので、工具各部の位置を正しく指定することができるという効果がある。また、複数台の撮像手段を用いて、工具を複数方向から見ることができるため、工具を移動する必要がなく、手間が省けるという効果がある。
本発明の請求項3記載の装置によれば、ロボットのフランジに撮像手段を装着しているので、工具の映像を撮像する位置を、ロボットを操作することにより容易に変更することができる。従って、工具の変更によっても容易に対応でき、作業効率を向上させることができるという効果がある。
本発明の請求項4記載の装置によれば、表示制御手段が、マークの他に、工具を覆う円筒や半球等の図形を映像提示手段に表示することができるので、円筒や半球等の大きさの指定にミスが生じず、また生じてもそのミスを確認することができる。従って、工具を覆う立体の大きさを正しく指定することができるという効果がある。
本発明の請求項5記載の装置によれば、人によるロボットの操作により、治具に工具各部を指し示し、工具位置演算手段により工具各部の位置を自動的に演算することができるので、工具各部の位置の指定にミスが生じず、工具各部の位置を正しく指定することができるという効果がある。この場合、試行錯誤なく自動的に演算するため、作業効率を向上させることができるという効果がある。
本発明の請求項6記載の装置によれば、ロボットのフランジに治具を装着しているので、工具各部を指し示す位置を、ロボットを操作することにより容易に変更することができる。従って、工具の変更によっても容易に対応でき、作業効率を向上させることができるという効果がある。
本発明の請求項7から請求項12までに記載の装置によれば、入力手段と治具等、複数の手段を組み合わせて利用することができ、一方の手段で指定した工具各部の位置の正確さを、他方の手段で確認することができるので、より確実に工具各部の位置を指定することができるという効果がある。
本発明の全ての請求項に記載の装置によれば、工具各部の位置と工具を覆う立体の大きさを正しく指定することができるので、その結果、ロボットの干渉チェックを正しく行うことができ、工具と他の物体との衝突による工具等の破壊の危険性を減少させ、それに伴う人に対する安全性を向上させることができるという効果がある。
【図面の簡単な説明】
【図1】第1の実施の形態に関するブロック図。
【図2】第2の実施の形態に関するブロック図。
【図3】第3の実施の形態に関するブロック図。
【図4】第4の実施の形態に関するブロック図。
【図5】第5の実施の形態に関するブロック図。
【図6】第6の実施の形態に関するブロック図。
【図7】第7の実施の形態に関するブロック図。
【図8】工具への円筒・半球設定方法を表す図。
【符号の説明】
101 撮像手段
101a 第1の撮像手段
101b 第2の撮像手段
102 映像提示手段
102a 第1の映像提示手段
102b 第2の映像提示手段
103 入力手段
104 表示制御手段
105 座標変換手段
106 ロボットコントローラ
107 ロボット座標系
107a 第1のロボット座標系
107b 第2のロボット座標系
108 撮像座標系
109 映像座標系
109a 第1の映像座標系
109b 第2の映像座標系
110 校正データ
301a 第1の位置指定手段
301b 第2の位置指定手段
302 工具位置変換手段
501 図形画像
601 治具
602 工具位置演算手段
801 手首
802 フランジ
802a 第1のフランジ
802b 第2のフランジ
803 工具
803a 第1の工具
803b 第2の工具
804 フランジ座標系
804a 第1のフランジ座標系
804b 第2のフランジ座標系
805 第1の位置
806 第2の位置
807 第3の位置
808 第4の位置
809 第5の位置
810 第1の円筒
811 第2の円筒
812 第3の円筒
813 第4の円筒
814 第1の半球
815 第2の半球
816 第3の半球
817 第4の半球
818 第5の半球

Claims (12)

  1. ロボットコントローラによって少なくとも1つの座標系に基づいて制御されるロボットの手首フランジに工具を装着し、前記工具各部の形状を指定する装置において、
    前記工具の映像を撮像する少なくとも1台の撮像手段と、前記撮像手段で撮像された映像を提示する少なくとも1台の映像提示手段と、前記撮像手段と前記映像提示手段の位置関係と前記ロボットと前記撮像手段の位置関係とを記憶する校正データと、前記工具各部の位置を入力する入力手段と、前記入力手段で入力された前記工具各部の位置を前記校正データを用いて前記映像提示手段の位置に変換する座標変換手段と、前記座標変換手段で変換された位置に前記映像提示手段上にマークを表示する表示制御手段と、を備えることを特徴とするロボットの工具形状指定装置および工具干渉チェック装置。
  2. ロボットコントローラによって少なくとも1つの座標系に基づいて制御されるロボットの手首フランジに工具を装着し、前記工具各部の形状を指定する装置において、
    前記工具の映像を撮像する少なくとも2台の撮像手段と、前記撮像手段で撮像された映像を提示する少なくとも1台の映像提示手段と、前記撮像手段と前記映像提示手段の位置関係と前記ロボットと前記撮像手段の位置関係とを記憶する校正データと、前記映像提示手段に装着して前記映像提示手段上で位置を指定する位置指定手段と、前記位置指定手段で指定された位置から前記校正データを用いて前記工具各部の位置を演算する工具位置変換手段と、前記位置指定手段で指定された位置に前記映像提示手段上にマークを表示する表示制御手段と、を備えることを特徴とするロボットの工具形状指定装置および工具干渉チェック装置。
  3. 前記撮像手段は、前記ロボットに装着して利用することを特徴とする請求項1または請求項2記載のロボットの工具形状指定装置および工具干渉チェック装置。
  4. 前記表示制御手段は、前記マークと、図形画像に予め記憶されている図形とを表示するように構成することを特徴とする請求項1から請求項3までのいずれか1つに記載のロボットの工具干渉チェック装置。
  5. ロボットコントローラによって少なくとも1つの座標系に基づいて制御されるロボットの手首フランジに工具を装着し、前記工具各部の形状を指定する装置において、
    前記工具各部の位置を指し示す治具と、前記ロボットと前記治具の位置関係を記憶する校正データと、前記治具によって指し示された前記工具各部の位置を前記校正データを用いて演算する工具位置演算手段と、を備えることを特徴とするロボットの工具形状指定装置および工具干渉チェック装置。
  6. 前記治具は、前記ロボットに装着して利用することを特徴とする請求項5記載のロボットの工具形状指定装置および工具干渉チェック装置。
  7. 請求項1または請求項2記載のロボットの工具形状指定装置および工具干渉チェック装置と、請求項5記載のロボットの工具形状指定装置および工具干渉チェック装置と、を組み合わせて利用することを特徴とするロボットの工具形状指定装置および工具干渉チェック装置。
  8. 請求項3記載のロボットの工具形状指定装置および工具干渉チェック装置と、請求項5記載のロボットの工具形状指定装置および工具干渉チェック装置と、を組み合わせて利用することを特徴とするロボットの工具形状指定装置および工具干渉チェック装置。
  9. 請求項4記載のロボットの工具干渉チェック装置と、請求項5記載のロボットの工具形状指定装置および工具干渉チェック装置と、を組み合わせて利用することを特徴とするロボットの工具形状指定装置および工具干渉チェック装置。
  10. 請求項1または請求項2記載のロボットの工具形状指定装置および工具干渉チェック装置と、請求項6記載のロボットの工具形状指定装置および工具干渉チェック装置と、を組み合わせて利用することを特徴とするロボットの工具形状指定装置および工具干渉チェック装置。
  11. 請求項3記載のロボットの工具形状指定装置および工具干渉チェック装置と、請求項6記載のロボットの工具形状指定装置および工具干渉チェック装置と、を組み合わせて利用することを特徴とするロボットの工具形状指定装置および工具干渉チェック装置。
  12. 請求項4記載のロボットの工具干渉チェック装置と、請求項6記載のロボットの工具形状指定装置および工具干渉チェック装置と、を組み合わせて利用することを特徴とするロボットの工具形状指定装置および工具干渉チェック装置。
JP2003034938A 2003-02-13 2003-02-13 ロボットの工具形状指定装置および工具干渉チェック装置 Pending JP2004243454A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003034938A JP2004243454A (ja) 2003-02-13 2003-02-13 ロボットの工具形状指定装置および工具干渉チェック装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003034938A JP2004243454A (ja) 2003-02-13 2003-02-13 ロボットの工具形状指定装置および工具干渉チェック装置

Publications (2)

Publication Number Publication Date
JP2004243454A true JP2004243454A (ja) 2004-09-02
JP2004243454A5 JP2004243454A5 (ja) 2006-03-16

Family

ID=33020496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003034938A Pending JP2004243454A (ja) 2003-02-13 2003-02-13 ロボットの工具形状指定装置および工具干渉チェック装置

Country Status (1)

Country Link
JP (1) JP2004243454A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008047872A1 (fr) * 2006-10-20 2008-04-24 Hitachi, Ltd. Manipulateur
CN102637011A (zh) * 2011-11-30 2012-08-15 沈阳工业大学 基于坐标变换和参数调整直接驱动数控平台鲁棒控制方法
WO2017128029A1 (zh) * 2016-01-26 2017-08-03 深圳配天智能技术研究院有限公司 一种机器人控制方法、控制设备及系统
CN110568819A (zh) * 2018-06-05 2019-12-13 发那科株式会社 位置信息显示系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008047872A1 (fr) * 2006-10-20 2008-04-24 Hitachi, Ltd. Manipulateur
CN102637011A (zh) * 2011-11-30 2012-08-15 沈阳工业大学 基于坐标变换和参数调整直接驱动数控平台鲁棒控制方法
CN102637011B (zh) * 2011-11-30 2014-02-26 沈阳工业大学 基于坐标变换和参数调整直接驱动数控平台鲁棒控制方法及其控制系统
WO2017128029A1 (zh) * 2016-01-26 2017-08-03 深圳配天智能技术研究院有限公司 一种机器人控制方法、控制设备及系统
CN107636418A (zh) * 2016-01-26 2018-01-26 深圳配天智能技术研究院有限公司 一种机器人控制方法、控制设备及系统
CN110568819A (zh) * 2018-06-05 2019-12-13 发那科株式会社 位置信息显示系统
US10884391B2 (en) 2018-06-05 2021-01-05 Fanuc Corporation Positional information display system
CN110568819B (zh) * 2018-06-05 2024-04-02 发那科株式会社 位置信息显示系统

Similar Documents

Publication Publication Date Title
JP5742862B2 (ja) ロボット装置及び被加工物の製造方法
JP4167954B2 (ja) ロボット及びロボット移動方法
US10786906B2 (en) Robot system
JP2020116734A (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
JP5390813B2 (ja) 空間情報表示装置及び支援装置
US20050273199A1 (en) Robot system
JP5022868B2 (ja) 情報処理装置、情報処理方法
US20180345493A1 (en) Teaching position correction device and teaching position correction method
JP2008254150A (ja) ロボットの教示装置及び教示方法
JP2019113895A (ja) ワークを撮像する視覚センサを備える撮像装置
JP6897396B2 (ja) 制御装置、ロボットシステムおよび制御方法
TWI699264B (zh) 視覺導引機器手臂校正方法
JP3690581B2 (ja) 位置検出装置及びその方法、平面姿勢検出装置及びその方法
WO2020130006A1 (ja) 情報投影システム、制御装置、及び情報投影方法
JP2019113348A (ja) 物体検査システム及び物体検査方法
JP2004243454A (ja) ロボットの工具形状指定装置および工具干渉チェック装置
JP2007331061A (ja) 移動型ロボットシステムにおけるマニピュレータ遠隔操作方法
WO2021261411A1 (ja) ロボット教示方法及びロボット作業方法
JPH07129231A (ja) 非接触点教示装置
JPH1177568A (ja) 教示支援方法及び装置
JP3541980B2 (ja) 視覚センサ付きロボットにおけるキャリブレーション方法
JP3125374B2 (ja) 検査装置の座標表示方法
JPH03287394A (ja) 遠隔ハンドリング装置
JP2024013243A (ja) 点群データ合成装置、点群データ合成プログラム、点群データ合成方法及び点群データ合成システム
US20220214685A1 (en) Remote operating device

Legal Events

Date Code Title Description
A521 Written amendment

Effective date: 20060125

Free format text: JAPANESE INTERMEDIATE CODE: A523

A621 Written request for application examination

Effective date: 20060125

Free format text: JAPANESE INTERMEDIATE CODE: A621

A977 Report on retrieval

Effective date: 20070821

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070823

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071019

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080520