JP2005271103A - Working robot and calibration method thereof - Google Patents

Working robot and calibration method thereof Download PDF

Info

Publication number
JP2005271103A
JP2005271103A JP2004085257A JP2004085257A JP2005271103A JP 2005271103 A JP2005271103 A JP 2005271103A JP 2004085257 A JP2004085257 A JP 2004085257A JP 2004085257 A JP2004085257 A JP 2004085257A JP 2005271103 A JP2005271103 A JP 2005271103A
Authority
JP
Japan
Prior art keywords
jig
arm
plane
information
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004085257A
Other languages
Japanese (ja)
Inventor
Naomichi Katsumata
直路 勝又
Norikatsu Suzuki
紀克 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokin Corp
Original Assignee
Tokin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokin Corp filed Critical Tokin Corp
Priority to JP2004085257A priority Critical patent/JP2005271103A/en
Publication of JP2005271103A publication Critical patent/JP2005271103A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a working robot and a calibration method, easily and accurately adjusting the positional relationship between an arm and a three-dimensional scanner. <P>SOLUTION: This working robot includes: an arm information obtaining means for obtaining the position information on the tool flat surface of a plate-like tool provided in a predetermined position and the position information on the origin of the tool on the tool flat surface using an arm; a scanner information obtaining means scanning the tool flat surface using the three-dimensional scanner to obtain the data of a dot group of the tool flat surface and obtaining the position information of the arm in scanning; a vector information obtaining means obtaining the vector information of a normal vector on the tool flat surface having a predetermined relationship to the origin of the tool from the data of a dot group; and a position adjusting means for adjusting the positional relationship between the arm and the three-dimensional scanner using the position information on the tool flat surface, the position information on the origin of the tool, the vector information on the normal vector and the position information on the arm in scanning. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、作業用のアームに3次元スキャナを備える作業用ロボット及びそのキャリブレーション方法に関する。   The present invention relates to a working robot having a three-dimensional scanner on a working arm and a calibration method thereof.

最近の作業用ロボットは、作業用ロボットのアームに3次元スキャナを備え、3次元スキャナからの情報により溶接等を行う位置を特定し、アームを駆動させている。溶接等を正確に行うためには、アームと3次元スキャナとの位置関係を把握し、それらの関係を調整するキャリブレーションを行う必要がある。   Recent work robots include a three-dimensional scanner on the arm of the work robot, specify a position for welding or the like based on information from the three-dimensional scanner, and drive the arm. In order to accurately perform welding or the like, it is necessary to grasp the positional relationship between the arm and the three-dimensional scanner and perform calibration to adjust the relationship.

従来のアームに3次元スキャナを備える作業用ロボットでのキャリブレーションは、キャリブレーションを行うための治具の平面(治具平面)に原点を定めて行っていた。このキャリブレーションを行うために、まず、作業用ロボットのアームを、治具平面上の原点と所定の関係を有する部分に当接させつつ移動させることで、治具平面の情報(ベクトル情報)を得る。次に、作業用ロボットの座標系と同じベクトル上に3次元スキャナを取り付け、治具平面上の原点を3次元スキャナでスキャンする。そして、作業用ロボットの座標系の情報、ベクトル情報及び3次元スキャナの原点の情報によりキャリブレーションを行っていた。
尚、この先行技術は、文献公知に係るものでないため、記載すべき先行技術文献情報はない。
Calibration with a working robot having a three-dimensional scanner on a conventional arm has been performed by setting the origin on the plane of the jig (jig plane) for calibration. In order to perform this calibration, first, information on the jig plane (vector information) is obtained by moving the arm of the working robot in contact with a portion having a predetermined relationship with the origin on the jig plane. obtain. Next, a three-dimensional scanner is attached on the same vector as the coordinate system of the working robot, and the origin on the jig plane is scanned with the three-dimensional scanner. Then, calibration is performed based on information on the coordinate system of the working robot, vector information, and information on the origin of the three-dimensional scanner.
In addition, since this prior art is not related to literature public knowledge, there is no prior art literature information to be described.

しかしながら、従来の作業用ロボットのキャリブレーションで、作業用ロボットのアームを治具の表面に正確に当接させつつ移動させることは困難で、慎重に作業を行わざるをえず、キャリブレーションのための情報を取得するのに時間が掛かってしまった。また、正確にアームを移動させることは難しく、キャリブレーションの精度を高めることは困難であった。   However, it is difficult to move the arm of the work robot while accurately contacting the surface of the jig with the calibration of the conventional work robot. It took a long time to get the information. In addition, it is difficult to move the arm accurately, and it is difficult to increase the accuracy of calibration.

本発明は、このような事情に鑑みてなされたもので、アームと3次元スキャナとの位置関係を容易かつ正確に調整することができる作業用ロボット及びそのキャリブレーション方法を提供することにある。   The present invention has been made in view of such circumstances, and it is an object of the present invention to provide a working robot capable of easily and accurately adjusting the positional relationship between an arm and a three-dimensional scanner and a calibration method thereof.

請求項1記載の作業用ロボットは、アームを用いて、所定の位置に設けられた板状の治具の治具平面の位置情報と、治具平面上の治具原点の位置情報とを取得するアーム情報取得手段と、3次元スキャナを用いて、治具平面をスキャンし、治具平面の点群のデータを取得すると共に、スキャン時のアームの位置情報を取得するスキャナ情報取得手段と、点群のデータから、治具原点と所定の関係を有する治具平面上の法線ベクトルのベクトル情報を取得するベクトル情報取得手段と、治具平面の位置情報、治具原点の位置情報、法線ベクトルのベクトル情報及びスキャン時のアームの位置情報を用いて、アームと3次元スキャナとの位置関係を調整する位置調整手段とを備えることを特徴とする。   The work robot according to claim 1 uses the arm to acquire the position information of the jig plane of the plate-shaped jig provided at a predetermined position and the position information of the jig origin on the jig plane. Scanning the jig plane using a three-dimensional scanner to acquire the data of the point plane of the jig plane, and the scanner information acquisition means for acquiring the position information of the arm at the time of scanning, Vector information acquisition means for acquiring vector information of normal vectors on the jig plane having a predetermined relationship with the jig origin from the point cloud data, jig plane position information, jig origin position information, method Position adjustment means for adjusting the positional relationship between the arm and the three-dimensional scanner using the vector information of the line vector and the position information of the arm at the time of scanning is provided.

請求項2記載の作業用ロボットは、アーム情報取得手段が、アームを治具平面の任意の3点に当接させることにより、治具平面上の3点の情報を取得して治具平面の位置情報を取得し、アームを治具平面上の治具原点に当接させることにより、治具原点の位置情報を取得することを特徴とする。   The working robot according to claim 2, wherein the arm information acquisition unit acquires information on three points on the jig plane by bringing the arm into contact with any three points on the jig plane. Position information is acquired, and the position information of the jig origin is acquired by bringing the arm into contact with the jig origin on the jig plane.

請求項3記載の作業用ロボットは、スキャナ情報取得手段が、アームを治具原点に当接させた状態で、治具平面のスキャンを行うことを特徴とする。   The working robot according to a third aspect is characterized in that the scanner information acquiring means scans the jig plane in a state where the arm is in contact with the jig origin.

請求項4記載の作業用ロボットは、3次元スキャナで治具平面上に描かれた2つの円をスキャンして、法線ベクトルのベクトル情報を取得することを特徴とする。   According to a fourth aspect of the present invention, the working robot scans two circles drawn on the jig plane with a three-dimensional scanner, and acquires vector information of normal vectors.

請求項5記載の作業用ロボットのキャリブレーション方法は、アームを用いて、所定の位置に設けられた板状の治具の治具平面の位置情報と、治具平面上の治具原点の位置情報とを取得すると共に、3次元スキャナを用いて、治具平面をスキャンし、治具平面の点群のデータを取得すると共に、スキャン時のアームの位置情報を取得した後、点群のデータから、治具原点と所定の関係を有する治具平面上の法線ベクトルのベクトル情報を取得し、その後、治具平面の位置情報、治具原点の位置情報、法線ベクトルのベクトル情報及びスキャン時のアームの位置情報を用いて、アームと3次元スキャナとの位置関係を調整することを特徴とする。   The work robot calibration method according to claim 5, wherein the position information of the jig plane of the plate-like jig provided at a predetermined position and the position of the jig origin on the jig plane is obtained using an arm. Information, and using a three-dimensional scanner to scan the jig plane, acquire point cloud data on the jig plane, acquire arm position information at the time of scanning, and then obtain point cloud data. From this, the vector information of the normal vector on the jig plane having a predetermined relationship with the jig origin is acquired, and then the position information of the jig plane, the position information of the jig origin, the vector information of the normal vector, and the scan The positional relationship between the arm and the three-dimensional scanner is adjusted using the positional information of the arm at the time.

請求項6記載の作業用ロボットのキャリブレーション方法は、アームを治具平面の任意の3点に当接させることにより、治具平面上の3点の情報を取得して治具平面の位置情報を取得し、アームを治具平面上の治具原点に当接させることにより、治具原点の位置情報を取得することを特徴とする。   The work robot calibration method according to claim 6, wherein the arm is brought into contact with any three points on the jig plane to acquire information on three points on the jig plane, and position information on the jig plane. And the position information of the jig origin is obtained by bringing the arm into contact with the jig origin on the jig plane.

請求項7記載の作業用ロボットのキャリブレーション方法は、アームを治具原点に当接させた状態で、治具平面のスキャンを行うことを特徴とする。   The work robot calibration method according to claim 7 is characterized in that the jig plane is scanned in a state where the arm is in contact with the jig origin.

請求項8記載の作業用ロボットのキャリブレーション方法は、3次元スキャナで治具平面上に描かれた2つの円をスキャンして、法線ベクトルのベクトル情報を取得することを特徴とする。   The working robot calibration method according to claim 8 is characterized in that the vector information of the normal vector is acquired by scanning two circles drawn on the jig plane with a three-dimensional scanner.

請求項1の発明によれば、3次元スキャナを用いて、治具平面の点群のデータを取得すると共に、スキャン時のアームの位置情報を取得してベクトル情報を取得している。このため、アームを移動させつつ情報を取得する必要が無く、キャリブレーションのための情報を取得する時間を抑え、キャリブレーションの精度の向上が図られる。   According to the first aspect of the present invention, the data of the point group on the jig plane is acquired using the three-dimensional scanner, and the position information of the arm at the time of scanning is acquired to acquire the vector information. For this reason, it is not necessary to acquire information while moving the arm, the time for acquiring information for calibration is suppressed, and the accuracy of calibration is improved.

請求項2の発明によれば、治具平面上の各点にアームを当接させることで各種の位置情報を取得していることから、アームを移動させつつ情報を取得する場合に比べ、容易で正確に位置情報の取得が可能である。   According to the second aspect of the invention, since various types of position information are obtained by bringing the arm into contact with each point on the jig plane, it is easier than when obtaining information while moving the arm. The position information can be obtained accurately.

請求項3の発明によれば、アームを治具原点に当接させた状態で、治具平面のスキャンを行うことで、治具原点の位置情報の取得の回数を1回にすることができ、作業の効率化が図られる。   According to the invention of claim 3, the number of times of acquisition of the position information of the jig origin can be reduced to one by scanning the jig plane while the arm is in contact with the jig origin. The work efficiency is improved.

請求項4の発明によれば、点群データから中心点の位置を算出しやすい2つの円を用いることで、2つの円の中心を通る法線ベクトルの算出が容易で、ベクトル情報の取得を正確かつ迅速に行うことができる。   According to the invention of claim 4, by using two circles that can easily calculate the position of the center point from the point cloud data, it is easy to calculate a normal vector that passes through the centers of the two circles, and to acquire vector information. It can be done accurately and quickly.

請求項5の発明によれば、3次元スキャナを用いて、治具平面の点群のデータを取得すると共に、スキャン時のアームの位置情報を取得してベクトル情報を取得している。このため、アームを移動させつつ情報を取得する必要が無く、キャリブレーションのための情報を取得する時間を抑え、キャリブレーションの精度の向上が図られる。   According to the invention of claim 5, using the three-dimensional scanner, the data of the point group on the jig plane is acquired, and the position information of the arm at the time of scanning is acquired to acquire the vector information. For this reason, it is not necessary to acquire information while moving the arm, the time for acquiring information for calibration is suppressed, and the accuracy of calibration is improved.

請求項6の発明によれば、治具平面上の各点にアームを当接させることで各種の位置情報を取得していることから、アームを移動させつつ情報を取得する場合に比べ、容易で正確に位置情報の取得が可能である。   According to the invention of claim 6, since various position information is acquired by bringing the arm into contact with each point on the jig plane, it is easier than when acquiring information while moving the arm. The position information can be obtained accurately.

請求項7の発明によれば、アームを治具原点に当接させた状態で、治具平面のスキャンを行うことで、治具原点の位置情報の取得の回数を1回にすることができ、作業の効率化が図られる。   According to the seventh aspect of the present invention, the number of times of acquisition of the position information of the jig origin can be reduced to one by scanning the jig plane while the arm is in contact with the jig origin. The work efficiency is improved.

請求項8の発明によれば、点群データから中心点の位置を算出しやすい2つの円を用いることで、2つの円の中心を通る法線ベクトルの算出が容易で、ベクトル情報の取得を正確かつ迅速に行うことができる。   According to the invention of claim 8, by using two circles that can easily calculate the position of the center point from the point cloud data, it is easy to calculate a normal vector that passes through the centers of the two circles, and to acquire vector information. It can be done accurately and quickly.

以下、本発明の形態について図面を参照しながら具体的に説明する。本形態で説明する作業用ロボットは、工業製品の溶接や組み立てや塗装等を行う作業用ロボットであって、作業用ロボットのアームに3次元スキャナを備えている。   Hereinafter, embodiments of the present invention will be specifically described with reference to the drawings. The work robot described in this embodiment is a work robot for welding, assembling, and painting industrial products, and includes a three-dimensional scanner on the arm of the work robot.

図1は、本発明に係る作業用ロボットの構成例を示す構成図である。図2は同作業用ロボットのキャリブレーションの様子を示す説明図、図3は治具を示す平面図である。図4は、キャリブレーションの動作を示すフローチャートである。図5はキャリブレーション演算の詳細を示す説明図である。図6は3次元スキャナにより取得した点群を示す説明図、図7はキャリブレーションに必要なパラメータの設定を示す説明図である。図8は、点群によりキャリブレーションの結果を示す説明図である。   FIG. 1 is a configuration diagram showing a configuration example of a working robot according to the present invention. FIG. 2 is an explanatory view showing the calibration of the working robot, and FIG. 3 is a plan view showing the jig. FIG. 4 is a flowchart showing the calibration operation. FIG. 5 is an explanatory diagram showing details of the calibration calculation. FIG. 6 is an explanatory diagram showing a point cloud acquired by a three-dimensional scanner, and FIG. 7 is an explanatory diagram showing parameter settings necessary for calibration. FIG. 8 is an explanatory diagram showing the result of calibration using point clouds.

図において、作業用ロボット1は、工業製品の溶接、組み立て、塗装等を行うためのロボットであり、3次元的に駆動されるアーム5を備えている。本実施の形態では、アーム5の先端にトーチ6を備える溶接を行う作業用ロボットとして説明する。作業用ロボット1のトーチ5の上端付近のアーム5には、3次元スキャナ7が取り付けられている。3次元スキャナ7は、トーチ6での溶接位置を認識するものであり、作業用ロボット1の目に相当するものである。   In the figure, a working robot 1 is a robot for welding, assembling, painting, and the like of industrial products, and includes an arm 5 that is driven three-dimensionally. In the present embodiment, a description will be given as a working robot performing welding with a torch 6 at the tip of the arm 5. A three-dimensional scanner 7 is attached to the arm 5 near the upper end of the torch 5 of the working robot 1. The three-dimensional scanner 7 recognizes the welding position on the torch 6 and corresponds to the eyes of the work robot 1.

作業用ロボット1は、アーム5やトーチ6の位置を自ら把握するロボット座標系を有し、また、同様に3次元スキャナ7もスキャナ座標系を備えている。そして、両者の座標系の情報を取り込んで、実際に溶接作業を制御するためのツール座標系を備えて、作業用ロボット1の制御を行うのが、アーム5及び3次元スキャナ7に接続された演算装置10である。演算装置10は、コンピュータで構成され、以下で説明する作業用ロボット1のキャリブレーション及び溶接作業の制御をプログラムによって行う。しかしながら、演算装置10がコンピュータに限定されるものではなく、ハードウェアの組み合わせや、ハードウェアとソフトウェアとの組み合わせで構成させることも可能である。   The working robot 1 has a robot coordinate system that grasps the positions of the arm 5 and the torch 6 by itself, and similarly, the three-dimensional scanner 7 also has a scanner coordinate system. Then, it is connected to the arm 5 and the three-dimensional scanner 7 that takes in the information of both coordinate systems and has a tool coordinate system for actually controlling the welding operation and controls the working robot 1. This is an arithmetic unit 10. The arithmetic unit 10 is configured by a computer, and performs calibration of the working robot 1 and control of welding work described below by a program. However, the arithmetic device 10 is not limited to a computer, and may be configured by a combination of hardware or a combination of hardware and software.

また、作業用ロボット1のアーム5の作業範囲には、溶接の対象物を固定する固定台15が配置されている。キャリブレーションを行うためには、この固定台15の上に、キャリブレーションを行うための治具20が固定される。   In addition, a fixed base 15 for fixing an object to be welded is disposed in the work range of the arm 5 of the work robot 1. In order to perform calibration, a jig 20 for performing calibration is fixed on the fixing table 15.

ここで、キャリブレーションとは、アーム5と3次元スキャナ7との位置関係を把握し、それらの関係を調整することであり、3次元スキャナ7で認識した対象物の位置に、トーチ6を正確に誘導するための各座標系のオフセット量の把握とも言い換えることができる。すなわち、このキャリブレーションが正しく行われないと、3次元スキャナ7で認識した対象物の位置にトーチ6が向かわず、正確な溶接ができないことになってしまう。   Here, calibration refers to grasping the positional relationship between the arm 5 and the three-dimensional scanner 7 and adjusting the relationship. In other words, it can also be understood as grasping the offset amount of each coordinate system for guiding to. That is, if this calibration is not performed correctly, the torch 6 will not be directed to the position of the object recognized by the three-dimensional scanner 7 and accurate welding will not be possible.

次に、治具20について説明する。治具20は、略長方形の薄板状で、表面の治具平面21は、平滑で、図3に示すように、大円22と小円23とが描かれている。また、かならずしも必須ではないが、直行する2本の線を描いている。尚、この2本が直交する点を治具平面21上の治具原点PAと定める。但し、この直交する点を必ずしも原点と定める必要はなく、治具平面21上の任意の点に定めればよい。また、治具20は、治具平面21が水平になるように固定する必要は必ずしもない。   Next, the jig 20 will be described. The jig 20 is a substantially rectangular thin plate, the jig plane 21 on the surface is smooth, and a large circle 22 and a small circle 23 are drawn as shown in FIG. In addition, although it is not always necessary, two straight lines are drawn. The point where these two are orthogonal is defined as the jig origin PA on the jig plane 21. However, this orthogonal point does not necessarily have to be determined as the origin, and may be determined as an arbitrary point on the jig plane 21. Further, the jig 20 is not necessarily fixed so that the jig plane 21 is horizontal.

次に、作業用ロボット1のキャリブレーションについて説明する。尚、以後の説明において、括弧内の符号は図4のフローチャートの符号に対応している。まず、作業用ロボット1に治具平面21の必要位置の教示を行う(S101)。教示すべき情報は、治具平面21が作業用ロボット1にとってどの位置にあるかの治具平面21の位置情報(3次元情報)と、治具平面21上の治具原点の位置情報(3次元情報)とである。治具平面21の位置情報には、治具平面21の傾き情報も含まれる。すなわち、この教示(S101)は、アーム情報取得手段を構成している。治具平面21の位置情報を取得するためには、アーム5を治具平面21の3点に当接させて行う。具体的には、アーム5を直接治具平面21に当てるのではなく、トーチ6の先端を治具平面21に当接させることによって行う。また、トーチ6を、トーチ6のダミーとなる棒材に置き換えて行う方がより好ましい。   Next, calibration of the working robot 1 will be described. In the following description, the reference numerals in parentheses correspond to the reference numerals in the flowchart of FIG. First, the required position of the jig plane 21 is taught to the work robot 1 (S101). Information to be taught includes position information (three-dimensional information) of the jig plane 21 on which position the jig plane 21 is located with respect to the work robot 1 and position information (3 of the jig origin on the jig plane 21). Dimension information). The position information of the jig plane 21 includes tilt information of the jig plane 21. That is, this teaching (S101) constitutes arm information acquisition means. In order to acquire position information of the jig plane 21, the arm 5 is brought into contact with three points of the jig plane 21. Specifically, the arm 5 is not directly applied to the jig plane 21, but the tip of the torch 6 is brought into contact with the jig plane 21. Further, it is more preferable to replace the torch 6 with a bar material that becomes a dummy of the torch 6.

具体的にトーチ6を当接させる3点は、図3に示すP0、P1及びP2である。これらは、治具平面21上の任意の点であり、特にそれぞれの相互関係は有していない。但し、P0は、原点PAと同一の点である。そして、アーム5を操作して、各点の位置情報を取得する。尚、取得した情報は、一旦作業用ロボット1内で、ロボット座標系(座標データ)として記憶しておく(S102)。尚、治具平面21の位置を把握するためには、治具平面21上の3点の位置情報を取得すれば足りる。すなわち、3点のうち2点が1つの直線上に存在する関係で、残りの1点は、その直線に垂線をおろすことができる関係に必ずなることから、治具平面21の位置情報であるx軸、y軸、z軸を把握できることとなるからである。   Specifically, the three points where the torch 6 abuts are P0, P1, and P2 shown in FIG. These are arbitrary points on the jig plane 21 and have no particular mutual relationship. However, P0 is the same point as the origin PA. And the arm 5 is operated and the positional information on each point is acquired. The acquired information is once stored as a robot coordinate system (coordinate data) in the work robot 1 (S102). In order to grasp the position of the jig plane 21, it is sufficient to acquire position information of three points on the jig plane 21. That is, since two of the three points are present on one straight line, and the remaining one point is necessarily in a relation in which a perpendicular line can be placed on the straight line, the position information of the jig plane 21 is obtained. This is because the x-axis, y-axis, and z-axis can be grasped.

次に、3次元スキャナ7で治具平面21をスキャンして、点群のデータを取得する(S103)。すなわち、この点群のデータの取得(S103)は、スキャン情報取得手段を構成している。スキャンする位置は、図3に示すように、トーチ6が治具原点PAに当接した位置である。尚、スキャン時の治具原点PAのトーチ6の位置情報も同時に保存しておく。尚、点群のデータを取得する時のトーチ6の位置は、必ずしも治具原点PAである必要はない。   Next, the jig plane 21 is scanned by the three-dimensional scanner 7 to acquire point cloud data (S103). That is, the acquisition of the point cloud data (S103) constitutes scan information acquisition means. As shown in FIG. 3, the scanning position is a position where the torch 6 contacts the jig origin PA. In addition, the position information of the torch 6 of the jig origin PA at the time of scanning is also saved simultaneously. It should be noted that the position of the torch 6 when acquiring the point cloud data is not necessarily the jig origin PA.

次に、作業用ロボット1から、演算装置10に、取得した情報(座標データ)を送信する(S104)。送信された情報の具体例は、図7の上段及び中段に示されているものである。すなわち、スキャン座標(X,Y,Z,Rx,Ry,Rz)ロボット座標が、スキャン時のトーチ6の位置情報であり、“指標のロボット座標 P0,P1,P2”が、治具平面21に係るアーム5の位置情報である。尚、Rx、Ry、Rzは、トーチ6の回転角を表す。   Next, the acquired information (coordinate data) is transmitted from the work robot 1 to the arithmetic unit 10 (S104). Specific examples of the transmitted information are shown in the upper and middle sections of FIG. That is, the scan coordinates (X, Y, Z, Rx, Ry, Rz) robot coordinates are the position information of the torch 6 at the time of scanning, and the “index robot coordinates P0, P1, P2” are on the jig plane 21. This is position information of the arm 5. Rx, Ry, and Rz represent the rotation angle of the torch 6.

また、治具20の原点と、大円22の中心22aとのオフセット量を演算装置10に入力する(S105)。尚、このオフセット量は、治具20作成時に決まる値である。具体的には、図7の下段の“ジグのマーク中心位置オフセット”に示されている値である。   Further, the offset amount between the origin of the jig 20 and the center 22a of the great circle 22 is input to the arithmetic unit 10 (S105). The offset amount is a value determined when the jig 20 is created. Specifically, the value is shown in “Jig mark center position offset” in the lower part of FIG.

次に、点群の中で、大円22及び小円23に該当する部分を手入力で指定する(S106)。そして、キャリブレーション演算を実施する(S107)。このキャリブレーション演算(S107)は、位置調整手段を構成している。   Next, in the point group, portions corresponding to the great circle 22 and the small circle 23 are designated manually (S106). Then, a calibration calculation is performed (S107). This calibration calculation (S107) constitutes a position adjusting means.

次に、キャリブレーション演算の詳細を、図5を参照しながら説明する。まず、上述で得られた位置情報等の情報(図5−A)から、スキャナ座標系での処理を行う(図5−B)。スキャナ座標系での処理(図5−B)では、まず、治具20の大円22及び小円23の点群のデータに対してクラスタ処理を実施して、治具平面21と大円22及び小円23を認識し、大円22の中心22a、小円23の中心23a及び治具平面21の座標を取得する(図6参照)。尚、ここでの座標系はスキャナ座標系である。クラスタ処理によって、治具原点PA(P0)と、治具平面21上の大円22及び小円23のそれぞれの中心22a,23aによって明らかになる治具平面21上の法線ベクトル24が算出される。すなわち、この法線ベクトル24の算出は、ベクトル情報取得手段を構成している。そして、法線ベクトル24の情報や、治具原点PAと大円22の中心22aとのオフセット量を参照して、スキャナ座標系での治具平面21のローカル座標系(治具平面21の座標系)と治具原点PAの座標を取得する。さらに、スキャナ座標系と、スキャナ座標系における治具平面21のローカル座標系との変換マトリクスを作成する。   Next, details of the calibration calculation will be described with reference to FIG. First, processing in the scanner coordinate system is performed from the information (FIG. 5-A) such as position information obtained above (FIG. 5-B). In the processing in the scanner coordinate system (FIG. 5-B), first, cluster processing is performed on the point group data of the great circle 22 and the small circle 23 of the jig 20 to obtain the jig plane 21 and the great circle 22. Then, the small circle 23 is recognized, and the coordinates of the center 22a of the large circle 22, the center 23a of the small circle 23, and the jig plane 21 are obtained (see FIG. 6). The coordinate system here is a scanner coordinate system. By the cluster processing, a normal vector 24 on the jig plane 21 that is revealed by the jig origin PA (P0) and the centers 22a and 23a of the great circle 22 and the small circle 23 on the jig plane 21 is calculated. The That is, the calculation of the normal vector 24 constitutes a vector information acquisition unit. Then, with reference to information on the normal vector 24 and the offset amount between the jig origin PA and the center 22a of the great circle 22, the local coordinate system of the jig plane 21 in the scanner coordinate system (the coordinates of the jig plane 21) System) and the coordinates of the jig origin PA. Further, a conversion matrix between the scanner coordinate system and the local coordinate system of the jig plane 21 in the scanner coordinate system is created.

次に、上述で得られた位置情報等の情報(図5−A)から、ロボット座標系での処理を行う(図5−C)。ロボット座標系での処理(図5−C)では、まず、治具平面21の原点P0、P1、P2から、ロボット座標系での治具平面21のローカル座標系(治具平面21の座標系)と治具原点PA(P0)の座標を取得する。さらに、ロボット座標系と、ロボット座標系における治具平面21のローカル座標系との変換マトリクスを作成する。   Next, processing in the robot coordinate system is performed from the information (FIG. 5-A) such as position information obtained as described above (FIG. 5-C). In the processing in the robot coordinate system (FIG. 5-C), first, from the origins P0, P1, P2 of the jig plane 21, the local coordinate system of the jig plane 21 in the robot coordinate system (the coordinate system of the jig plane 21). ) And the coordinates of the jig origin PA (P0). Further, a conversion matrix between the robot coordinate system and the local coordinate system of the jig plane 21 in the robot coordinate system is created.

次に、スキャナ座標系の処理(図5−B)とロボット座標系の処理(図5−C)とから、ロボット座標系とスキャナ座標系の変換マトリクスを作成する(図5−D)。具体的には、ロボット座標系における治具平面21のローカル座標系とスキャナ座標系における治具平面21のローカル座標系とが同一の座標系であることを利用して、ロボット座標系とスキャナ座標系の変換マトリクスを作成する。   Next, a conversion matrix between the robot coordinate system and the scanner coordinate system is created from the process of the scanner coordinate system (FIG. 5-B) and the process of the robot coordinate system (FIG. 5-C) (FIG. 5-D). Specifically, using the fact that the local coordinate system of the jig plane 21 in the robot coordinate system and the local coordinate system of the jig plane 21 in the scanner coordinate system are the same coordinate system, the robot coordinate system and the scanner coordinates. Create a system transformation matrix.

次に、ロボット座標系とツール座標系の変換マトリクスを作成する(図5−E)。具体的には、スキャン時のトーチ6の位置情報であるX,Y,Z,Rx,Ry,Rzから、ロボット座標系とツール座標系の変換マトリクスを作成する。   Next, a conversion matrix between the robot coordinate system and the tool coordinate system is created (FIG. 5-E). Specifically, a conversion matrix between the robot coordinate system and the tool coordinate system is created from X, Y, Z, Rx, Ry, and Rz that are position information of the torch 6 at the time of scanning.

次に、ツール座標系とスキャナ座乗系の変換マトリクスを作成する(図5−F)。具体的には、ロボット座標系とツール座標系の変換マトリクス及びロボット座標系とスキャナ座標系の変換マトリクスから作成する。ツール座標系とスキャナ座標系とが、ロボット座標系を介して変換可能であることから作成されるものである。この変換マトリクスが、最終的には、アーム5と3次元スキャナ7との位置関係を調整し、3次元スキャナ7からの情報によりアーム5を正確に駆動させるためのものとなる。すなわち、本発明の最終的な目的は、このツール座標系とスキャナ座標系の変換マトリクスにある。   Next, a conversion matrix between the tool coordinate system and the scanner seating system is created (FIG. 5-F). Specifically, it is created from a conversion matrix between the robot coordinate system and the tool coordinate system and a conversion matrix between the robot coordinate system and the scanner coordinate system. The tool coordinate system and the scanner coordinate system are created because they can be converted via the robot coordinate system. This conversion matrix is finally used to adjust the positional relationship between the arm 5 and the three-dimensional scanner 7 and to accurately drive the arm 5 based on information from the three-dimensional scanner 7. That is, the final object of the present invention is the conversion matrix between the tool coordinate system and the scanner coordinate system.

以上のように、3次元スキャナ7を用いて、治具平面21の点群のデータを取得すると共に、スキャン時のアーム5の位置情報を取得してベクトル情報を取得している。このため、アーム5を移動させつつ情報を取得する必要が無く、キャリブレーションのための情報を取得する時間を抑え、キャリブレーションの精度の向上が図られる。   As described above, the three-dimensional scanner 7 is used to acquire the point cloud data of the jig plane 21 and the position information of the arm 5 at the time of scanning to acquire the vector information. For this reason, it is not necessary to acquire information while moving the arm 5, and it is possible to reduce the time for acquiring information for calibration and improve the accuracy of calibration.

また、治具平面21上の各点にアーム5(トーチ6)を当接させることで各種の位置情報を取得していることから、アーム5を移動させつつ情報を取得する場合に比べ、容易で正確に位置情報の取得が可能である。   Further, since various pieces of position information are acquired by bringing the arm 5 (torch 6) into contact with each point on the jig plane 21, it is easier than when acquiring information while moving the arm 5. The position information can be obtained accurately.

さらに、アーム5を治具原点PA(P0)に当接させた状態で、治具平面のスキャンを行うことで、治具原点の位置情報の取得の回数を1回にすることができ、作業の効率化が図られる。但し、治具原点PAやP0でなくても、キャリブレーションは可能である。   Furthermore, by scanning the jig plane while the arm 5 is in contact with the jig origin PA (P0), the number of times of obtaining the position information of the jig origin can be reduced to one. Efficiency. However, calibration is possible even if it is not the jig origin PA or P0.

さらに、点群データから中心点の位置を算出しやすい2つの円を用いることで、大円22と小円23の2つの円の中心を通る法線ベクトル24の算出が容易で、ベクトル情報の取得を正確かつ迅速に行うことができる。尚、ベクトル情報が取得しやすい図形が治具平面21に描かれておればよく、必ずしも円である必要はないが、円がより好ましい。   Furthermore, by using two circles that can easily calculate the position of the center point from the point cloud data, it is easy to calculate the normal vector 24 passing through the centers of the two circles, the great circle 22 and the small circle 23, and the vector information Acquisition can be performed accurately and quickly. It should be noted that a figure from which vector information can be easily acquired has only to be drawn on the jig plane 21 and is not necessarily a circle, but a circle is more preferable.

尚、実際にキャリブレーションを行い、図示したのが図8である。図8は、中央に山部を有する2枚の対象物(点群27a及び点群27b)を3次元スキャナ7でスキャンした点群27である。そして、キャリブレーションを行った後に、スキャナ座標系で把握した対象物位置28とツール座標系で把握した溶接する溶接位置29とを示したものである、対象物位置28と溶接位置29とが、ほぼ一致しており、高精度なキャリブレーションが行われたことを示している。   FIG. 8 shows the actual calibration performed. FIG. 8 shows a point group 27 obtained by scanning two objects (a point group 27 a and a point group 27 b) having a peak at the center with the three-dimensional scanner 7. And after performing calibration, the object position 28 and the welding position 29 showing the object position 28 grasped in the scanner coordinate system and the welding position 29 grasped in the tool coordinate system, It is almost the same, indicating that high-precision calibration has been performed.

アーム情報取得手段と、スキャナ情報取得手段と、ベクトル情報取得手段と、位置調整手段とを備えるものであれば、ソフトウェアに限ったものではなく、アナログ回路や論理回路の組み合わせであるデジタル回路で実現し適用することができる。   As long as it has arm information acquisition means, scanner information acquisition means, vector information acquisition means, and position adjustment means, it is not limited to software, it is realized by a digital circuit that is a combination of analog circuits and logic circuits And can be applied.

本発明に係る作業用ロボットの構成例を示す構成図である。It is a block diagram which shows the structural example of the working robot which concerns on this invention. 同作業用ロボットのキャリブレーションの様子を示す説明図である。It is explanatory drawing which shows the mode of the calibration of the robot for work. 治具を示す平面図である。It is a top view which shows a jig | tool. キャリブレーションの動作を示すフローチャートである。It is a flowchart which shows the operation | movement of a calibration. キャリブレーション演算の詳細を示す説明図である。It is explanatory drawing which shows the detail of a calibration calculation. 3次元スキャナにより取得した点群を示す説明図である。It is explanatory drawing which shows the point cloud acquired by the three-dimensional scanner. キャリブレーションに必要なパラメータの設定を示す説明図である。It is explanatory drawing which shows the setting of the parameter required for calibration. 点群によりキャリブレーションの結果を示す説明図である。It is explanatory drawing which shows the result of calibration by a point group.

符号の説明Explanation of symbols

1・・・・・・・作業用ロボット
5・・・・・・・アーム
6・・・・・・・トーチ
7・・・・・・・3次元スキャナ
10・・・・・・演算装置
15・・・・・・固定台
20・・・・・・治具
22・・・・・・大円
23・・・・・・小円
24・・・・・・法線ベクトル
26〜27・・・点群
1... Working robot 5... Arm 6... Torch 7... 3D scanner 10. ············································ Jig 22 ·················································・ Point cloud

Claims (8)

作業用のアームと、該アームに設けられた3次元スキャナとを備える作業用ロボットにおいて、
該アームを用いて、所定の位置に設けられた板状の治具の治具平面の位置情報と、該治具平面上の治具原点の位置情報とを取得するアーム情報取得手段と、
該3次元スキャナを用いて、該治具平面をスキャンし、該治具平面の点群のデータを取得すると共に、スキャン時の該アームの位置情報を取得するスキャナ情報取得手段と、
該点群のデータから、該治具原点と所定の関係を有する該治具平面上の法線ベクトルのベクトル情報を取得するベクトル情報取得手段と、
該治具平面の位置情報、該治具原点の位置情報、該法線ベクトルのベクトル情報及びスキャン時の該アームの位置情報を用いて、該アームと該3次元スキャナとの位置関係を調整する位置調整手段とを備えることを特徴とする作業用ロボット。
In a working robot comprising a working arm and a three-dimensional scanner provided on the arm,
Arm information acquisition means for acquiring the position information of the jig plane of the plate-shaped jig provided at a predetermined position and the position information of the jig origin on the jig plane using the arm;
Using the three-dimensional scanner, scan the jig plane, acquire point cloud data of the jig plane, and acquire scanner arm position information at the time of scanning;
Vector information acquisition means for acquiring vector information of normal vectors on the jig plane having a predetermined relationship with the jig origin from the data of the point group;
Using the jig plane position information, the jig origin position information, the normal vector vector information, and the arm position information during scanning, the positional relationship between the arm and the three-dimensional scanner is adjusted. A working robot comprising a position adjusting means.
前記アーム情報取得手段は、前記アームを前記治具平面の任意の3点に当接させることにより、該治具平面上の3点の情報を取得して該治具平面の位置情報を取得し、
該アームを該治具平面上の前記治具原点に当接させることにより、該治具原点の位置情報を取得することを特徴とする請求項1記載の作業用ロボット。
The arm information acquisition means acquires information on three points on the jig plane by bringing the arm into contact with any three points on the jig plane, and acquires position information on the jig plane. ,
2. The work robot according to claim 1, wherein position information of the jig origin is acquired by bringing the arm into contact with the jig origin on the jig plane.
前記スキャナ情報取得手段が、前記アームを前記治具原点に当接させた状態で、前記治具平面のスキャンを行うことを特徴とする請求項1又は請求項2記載の作業用ロボット。   The work robot according to claim 1 or 2, wherein the scanner information acquisition unit scans the jig plane in a state where the arm is in contact with the jig origin. 前記3次元スキャナで前記治具平面上に描かれた2つの円をスキャンして、前記法線ベクトルのベクトル情報を取得することを特徴とする請求項1〜請求項3のいずれかに記載の作業用ロボット。   4. The vector information of the normal vector is acquired by scanning two circles drawn on the jig plane with the three-dimensional scanner. 5. Robot for work. 作業用のアームと、該アームに設けられた3次元スキャナとの位置関係を調整する作業用ロボットのキャリブレーション方法において、
該アームを用いて、所定の位置に設けられた板状の治具の治具平面の位置情報と、該治具平面上の治具原点の位置情報とを取得すると共に、
該3次元スキャナを用いて、該治具平面をスキャンし、該治具平面の点群のデータを取得すると共に、スキャン時の該アームの位置情報を取得した後、
該点群のデータから、該治具原点と所定の関係を有する該治具平面上の法線ベクトルのベクトル情報を取得し、
その後、該治具平面の位置情報、該治具原点の位置情報、該法線ベクトルのベクトル情報及びスキャン時の該アームの位置情報を用いて、該アームと該3次元スキャナとの位置関係を調整することを特徴とする作業用ロボットのキャリブレーション方法。
In the calibration method of the working robot for adjusting the positional relationship between the working arm and the three-dimensional scanner provided on the arm,
Using the arm, the position information of the jig plane of the plate-like jig provided at a predetermined position and the position information of the jig origin on the jig plane,
Using the three-dimensional scanner, the jig plane is scanned to obtain point cloud data of the jig plane, and after acquiring the position information of the arm at the time of scanning,
Obtaining vector information of normal vectors on the jig plane having a predetermined relationship with the jig origin from the data of the point group;
Then, using the position information of the jig plane, the position information of the jig origin, the vector information of the normal vector, and the position information of the arm at the time of scanning, the positional relationship between the arm and the three-dimensional scanner is determined. A method for calibrating a working robot, characterized by adjusting.
前記アームを前記治具平面の任意の3点に当接させることにより、該治具平面上の3点の情報を取得して該治具平面の位置情報を取得し、
該アームを該治具平面上の前記治具原点に当接させることにより、該治具原点の位置情報を取得することを特徴とする請求項5記載の作業用ロボットのキャリブレーション方法。
By bringing the arm into contact with any three points on the jig plane, information on three points on the jig plane is obtained, and position information on the jig plane is obtained,
6. The work robot calibration method according to claim 5, wherein the position information of the jig origin is acquired by bringing the arm into contact with the jig origin on the jig plane.
前記アームを前記治具原点に当接させた状態で、前記治具平面のスキャンを行うことを特徴とする請求項5又は請求項6記載の作業用ロボットのキャリブレーション方法。   The work robot calibration method according to claim 5, wherein the jig plane is scanned in a state where the arm is in contact with the jig origin. 前記3次元スキャナで前記治具平面上に描かれた2つの円をスキャンして、前記法線ベクトルのベクトル情報を取得することを特徴とする請求項5〜請求項7のいずれかに記載の作業用ロボットのキャリブレーション方法。   The vector information of the normal vector is acquired by scanning two circles drawn on the jig plane by the three-dimensional scanner. Calibration method for work robots.
JP2004085257A 2004-03-23 2004-03-23 Working robot and calibration method thereof Pending JP2005271103A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004085257A JP2005271103A (en) 2004-03-23 2004-03-23 Working robot and calibration method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004085257A JP2005271103A (en) 2004-03-23 2004-03-23 Working robot and calibration method thereof

Publications (1)

Publication Number Publication Date
JP2005271103A true JP2005271103A (en) 2005-10-06

Family

ID=35171290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004085257A Pending JP2005271103A (en) 2004-03-23 2004-03-23 Working robot and calibration method thereof

Country Status (1)

Country Link
JP (1) JP2005271103A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588974B2 (en) 2008-12-24 2013-11-19 Canon Kabushiki Kaisha Work apparatus and calibration method for the same
US9239234B2 (en) 2008-11-26 2016-01-19 Canon Kabushiki Kaisha Work system and information processing method
WO2017141849A1 (en) * 2016-02-17 2017-08-24 株式会社入曽精密 Cutting device, imaging method, program, and imaging device
KR101801546B1 (en) * 2015-11-16 2017-11-28 디아이티 주식회사 System and method for matching coordinate systems, specimen for the same, spray system and method using the same
US10606410B2 (en) 2016-01-29 2020-03-31 Abb Schweiz Ag Method for calibrating touchscreen panel with industrial robot and system, industrial robot and touchscreen using the same
WO2020076922A1 (en) * 2018-10-12 2020-04-16 Teradyne, Inc. System and method for weld path generation
JP6796899B1 (en) * 2020-08-07 2020-12-09 リンクウィズ株式会社 Information processing method, information processing system, program
WO2022009710A1 (en) * 2020-07-06 2022-01-13 ジャパンマリンユナイテッド株式会社 Operation automatic generation method and operation automatic generation system for welding robot

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6396504A (en) * 1986-09-29 1988-04-27 アセア アクチーボラグ Method and device of industrial robot for calibrating sensor
JPS63300843A (en) * 1987-05-30 1988-12-08 Sony Corp Coordinate correction for visual recognition device
JPH01166106A (en) * 1987-12-22 1989-06-30 Aisin Seiki Co Ltd Conversion system for position and attitude of work of robot coordinate system and visual coordinate system
JPH08132373A (en) * 1994-11-08 1996-05-28 Fanuc Ltd Coordinate system coupling method in robot-sensor system
JPH09222913A (en) * 1996-02-20 1997-08-26 Komatsu Ltd Teaching position correcting device for robot
JPH1085937A (en) * 1996-09-09 1998-04-07 Kawasaki Heavy Ind Ltd Arc welding device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6396504A (en) * 1986-09-29 1988-04-27 アセア アクチーボラグ Method and device of industrial robot for calibrating sensor
JPS63300843A (en) * 1987-05-30 1988-12-08 Sony Corp Coordinate correction for visual recognition device
JPH01166106A (en) * 1987-12-22 1989-06-30 Aisin Seiki Co Ltd Conversion system for position and attitude of work of robot coordinate system and visual coordinate system
JPH08132373A (en) * 1994-11-08 1996-05-28 Fanuc Ltd Coordinate system coupling method in robot-sensor system
JPH09222913A (en) * 1996-02-20 1997-08-26 Komatsu Ltd Teaching position correcting device for robot
JPH1085937A (en) * 1996-09-09 1998-04-07 Kawasaki Heavy Ind Ltd Arc welding device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9239234B2 (en) 2008-11-26 2016-01-19 Canon Kabushiki Kaisha Work system and information processing method
US8588974B2 (en) 2008-12-24 2013-11-19 Canon Kabushiki Kaisha Work apparatus and calibration method for the same
KR101801546B1 (en) * 2015-11-16 2017-11-28 디아이티 주식회사 System and method for matching coordinate systems, specimen for the same, spray system and method using the same
US10606410B2 (en) 2016-01-29 2020-03-31 Abb Schweiz Ag Method for calibrating touchscreen panel with industrial robot and system, industrial robot and touchscreen using the same
WO2017141849A1 (en) * 2016-02-17 2017-08-24 株式会社入曽精密 Cutting device, imaging method, program, and imaging device
WO2020076922A1 (en) * 2018-10-12 2020-04-16 Teradyne, Inc. System and method for weld path generation
US11440119B2 (en) 2018-10-12 2022-09-13 Teradyne, Inc. System and method for weld path generation
WO2022009710A1 (en) * 2020-07-06 2022-01-13 ジャパンマリンユナイテッド株式会社 Operation automatic generation method and operation automatic generation system for welding robot
JP2022014138A (en) * 2020-07-06 2022-01-19 ジャパンマリンユナイテッド株式会社 Automatic operation-generation method and automatic operation-generation system for welding robot
JP6796899B1 (en) * 2020-08-07 2020-12-09 リンクウィズ株式会社 Information processing method, information processing system, program
JP2022030588A (en) * 2020-08-07 2022-02-18 リンクウィズ株式会社 Information processing method, information processing system, and program

Similar Documents

Publication Publication Date Title
JP5670416B2 (en) Robot system display device
JP6108860B2 (en) Robot system and control method of robot system
JP3733364B2 (en) Teaching position correction method
US8155789B2 (en) Device, method, program and recording medium for robot offline programming
JP5664629B2 (en) Robot system and method of manufacturing processed product
JP4737668B2 (en) 3D measurement method and 3D measurement system
JP2005300230A (en) Measuring instrument
JPWO2018092243A1 (en) Work position correction method and work robot
JP2007160486A (en) Off-line programming device
JP2015136770A (en) Data creation system of visual sensor, and detection simulation system
JP2016187846A (en) Robot, robot controller and robot system
JP2012101306A (en) Apparatus and method for calibration of robot
CN114643578B (en) Calibration device and method for improving robot vision guiding precision
CN112833792A (en) Precision calibration and verification method for six-degree-of-freedom mechanical arm
US7957834B2 (en) Method for calculating rotation center point and axis of rotation, method for generating program, method for moving manipulator and positioning device, and robotic system
JP2005271103A (en) Working robot and calibration method thereof
JP2008020993A (en) Teaching data preparation device for working robot
JPWO2018092236A1 (en) Work robot and work position correction method
KR100754008B1 (en) Robot controlling device and robot controlling method
JP6912529B2 (en) How to correct the visual guidance robot arm
JP5343609B2 (en) Motion trajectory generation device, motion trajectory generation method, robot control device, and robot control method
JP5565503B2 (en) Motion trajectory generation device, motion trajectory generation method, robot control device, and robot control method
JP2003044109A (en) Numerical controller for multiaxial machine tool with work coordinate system setting means
Dinham et al. A low cost hand-eye calibration method for arc welding robots
TWI710441B (en) Coordinate calibration method of manipulator

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050722

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070703

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071218