JP2022181810A

JP2022181810A - robot system

Info

Publication number: JP2022181810A
Application number: JP2021088980A
Authority: JP
Inventors: 恵莉松野; Eri Matsuno; 裕貴田所; Yuki Tadokoro; 豊小西; Yutaka Konishi; 哲史林; Tetsushi Hayashi
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2021-05-27
Filing date: 2021-05-27
Publication date: 2022-12-08

Abstract

To provide a robot system that is able to correct a posture of a robot relative to a workpiece easily and correctly while reducing equipment cost and improving a degree of freedom in layout.SOLUTION: Based on images of a calibration plate 70 attached to a slave robot 20, captured in a plurality of postures of a master robot 10 to which a stereo camera 60 is attached, position and posture of the calibration plate 70 viewed from a master robot coordinate system ΣMR are calculated. Based on images of a calibration plate 70, captured in a plurality of postures of the slave robot 20, position and posture of the calibration plate 70 viewed from a slave robot coordinate system ΣSR are calculated, and relative positions of the master robot 10 and the slave robot 20 are calculated. Based on the relative positions and an amount of correction to the master robot 10, calculated from an image of the main body W1, the posture of each robot 10, 20 is corrected.SELECTED DRAWING: Figure 1

Description

本発明は、ワークに対して、複数のロボットを用いて所定作業を行うロボットシステムに関するものである。 The present invention relates to a robot system that uses a plurality of robots to perform predetermined work on a workpiece.

例えば車両のメインボデーに対して複数の溶接ロボットにて同時併行的に溶接を行うといった具合に、ワークに対して、複数のロボットを用いて所定作業を行うロボットシステムが従来から知られている。 2. Description of the Related Art Conventionally, there has been known a robot system in which a plurality of robots are used to perform a predetermined work on a workpiece, such as simultaneous welding of a main body of a vehicle by a plurality of welding robots.

このようなロボットシステムでは、仮に、各ロボットが設計通りの位置に配置され、且つ、ワークが設計通りに位置決めされている場合には、初期セットアップ時に登録された教示データ通りに、各ロボットを動作させることで、ワークに対して溶接や組立等の所定作業を正確に行うことが可能となる。 In such a robot system, if each robot is positioned as designed and the workpiece is positioned as designed, each robot operates according to the teaching data registered during the initial setup. By doing so, it becomes possible to accurately perform predetermined work such as welding and assembly on the work.

これに対し、各ロボットに設置誤差がある場合や、ワークが位置決めされていない場合には、各ロボットを教示データ通りに動作させるだけでは、溶接個所や組立位置が正規の位置からずれるため、ワークに対する各ロボットの姿勢を補正する必要がある。 On the other hand, if each robot has an installation error or if the workpiece is not positioned, simply operating each robot according to the teaching data will cause the welding points and assembly positions to deviate from the normal positions. It is necessary to correct the posture of each robot with respect to

例えば特許文献１には、キャリブレーション済みの第１ロボットによって正確に把持された専用の冶具を、第２ロボットで同時に把持することで、第１ロボットの座標系と第２ロボットの座標系とのズレ量を確認し、第２ロボットの座標系の原点位置および座標軸を第１ロボットの座標系に合わせるようにしたロボットシステムが開示されている。 For example, in Patent Document 1, by simultaneously gripping a dedicated jig that has been accurately gripped by a calibrated first robot by a second robot, the coordinate system of the first robot and the coordinate system of the second robot are aligned. A robot system is disclosed that confirms the amount of deviation and aligns the origin position and coordinate axes of the coordinate system of the second robot with those of the coordinate system of the first robot.

また、特許文献２には、先導ロボットに取り付けられた第１のカメラで検出した把持ズレを補正するための補正量ＴＬを算出するとともに、追従ロボットに取り付けられた第２のカメラで検出した把持ズレを補正するための補正量ＴＦを算出し、協調制御時は、補正量ＴＬを用いて先導ロボットの位置姿勢を補正し、補正量ＴＬおよびＴＦの双方を用いて追従ロボットの位置姿勢を補正するロボットシステムが開示されている。 Further, in Patent Document 2, a correction amount TL for correcting a gripping deviation detected by a first camera attached to a leading robot is calculated, and a gripping amount detected by a second camera attached to a following robot is calculated. A correction amount TF for correcting the deviation is calculated. During cooperative control, the correction amount TL is used to correct the position and orientation of the leading robot, and both the correction amounts TL and TF are used to correct the position and orientation of the following robot. is disclosed.

特開２０１４－１７６９４４号公報JP 2014-176944 A 特開２０１８－０９４６４９号公報JP 2018-094649 A

上記特許文献１および２のロボットシステムによれば、複数のロボットの校正を容易かつ正確に行うことができるとされているが、これら特許文献１および２のものには、以下のような問題がある。 According to the robot systems of Patent Documents 1 and 2, it is said that a plurality of robots can be easily and accurately calibrated. However, these Patent Documents 1 and 2 have the following problems. be.

すなわち、特許文献１のものでは、ロボット同士の相対位置計測の際に、専用の冶具を２台のロボットで同時に把持することから、物理的に届く範囲に設置されたロボット同士にしか適用することができず、ロボットシステムにおけるレイアウトの自由度が制限されるという問題がある。 That is, in Patent Document 1, when measuring the relative position between robots, two robots hold a dedicated jig at the same time. There is a problem that the degree of freedom of layout in the robot system is limited.

さらに、特許文献１のものでは、ロボット同士の相対位置計測の際に物理的な接触を伴うことから、ロボットや治具のたわみの影響を受け易い上、繊細な操作が必要であり、作
業者の個人差により精度がバラつくため、ロボットの姿勢の補正を容易かつ正確に行うことが困難であるという問題もある。 Furthermore, in Patent Document 1, since physical contact is involved when measuring the relative position between robots, it is easily affected by the deflection of the robots and jigs, and delicate operations are required. There is also the problem that it is difficult to easily and accurately correct the posture of the robot because the accuracy varies due to individual differences.

また、特許文献２のものでは、ロボット毎にカメラおよび画像データを処理する処理装置（例えばパーソナルコンピュータ）が必要になることから、設備コストが増大するという問題がある。 Further, in Patent Document 2, since each robot requires a camera and a processing device (for example, a personal computer) for processing image data, there is a problem that the equipment cost increases.

さらに、特許文献２のものでは、追従ロボットの位置姿勢の補正を行う際に、先導ロボットの把持ズレを補正するための補正量ＴＬと、追従ロボットの把持ズレを補正するための補正量ＴＦと、を用いることから、補正の度に全ロボットの把持ズレを計測する必要があるため、位置姿勢の補正を容易に行うことが困難であるという問題もある。 Further, in Patent Document 2, when correcting the position and orientation of the following robot, a correction amount TL for correcting the gripping deviation of the leading robot and a correction amount TF for correcting the gripping deviation of the following robot are used. , it is necessary to measure the gripping deviation of all the robots each time the correction is performed. Therefore, it is difficult to easily correct the position and orientation.

本発明はかかる点に鑑みてなされたものであり、その目的とするところは、複数のロボットを用いる場合でも、設備コストの低減およびレイアウトの自由度の向上を図りつつ、ワークに対するロボットの姿勢を容易かつ正確に補正することが可能なロボットシステムを提供することにある。 The present invention has been made in view of this point, and its object is to reduce equipment costs and improve the degree of freedom in layout, even when using a plurality of robots, while adjusting the posture of the robots relative to the workpiece. To provide a robot system capable of easy and accurate correction.

前記目的を達成するため、本発明に係るロボットシステムでは、スレーブロボットに取り付けられた基準物体を、マスターロボットに取り付けられたステレオカメラによって撮像することで、１台のステレオカメラおよび１台の処理装置のみで、マスターロボットとスレーブロボットとの相対位置を算出するようにしている。 In order to achieve the above object, in the robot system according to the present invention, a reference object attached to a slave robot is imaged by a stereo camera attached to a master robot. only, the relative positions of the master robot and the slave robot are calculated.

具体的には、本発明は、ワークに対して、複数のロボットを用いて所定作業を行うロボットシステムを対象としている。 Specifically, the present invention is directed to a robot system that uses a plurality of robots to perform predetermined work on a workpiece.

そして、このロボットシステムは、ステレオカメラが取り付けられたマスターロボットと、基準物体が取り付けられたスレーブロボットと、上記マスターロボットおよびスレーブロボットを制御可能で、且つ、上記ステレオカメラによって撮像された画像を取得可能な処理装置と、を備え、上記処理装置は、上記スレーブロボットを静止させた状態で、上記マスターロボットに複数の姿勢をとらせた際に上記ステレオカメラによって撮像された上記基準物体の複数の画像に基づいて、上記マスターロボットの座標系から見た上記ステレオカメラの位置姿勢と、上記ステレオカメラの座標系から見た上記基準物体の位置姿勢と、を算出し、且つ、上記マスターロボットを静止させた状態で、上記スレーブロボットに複数の姿勢をとらせた際に上記ステレオカメラによって撮像された上記基準物体の複数の画像に基づいて、上記スレーブロボットの座標系から見た当該基準物体の位置姿勢を算出し、これらの算出結果を座標変換することで、上記マスターロボットと上記スレーブロボットとの相対位置を算出するとともに、上記ステレオカメラによって撮像された、上記ワークにおける特徴部の画像に基づき、当該ワークに対する上記マスターロボットの補正量を算出し、上記マスターロボットと上記スレーブロボットとの相対位置と、上記補正量と、に基づいて、上記マスターロボットおよびスレーブロボットの姿勢を補正するように構成されていることを特徴とするものである。 This robot system is capable of controlling a master robot to which a stereo camera is attached, a slave robot to which a reference object is attached, the master robot and the slave robot, and acquiring an image captured by the stereo camera. and a processing device capable of capturing a plurality of images of the reference object captured by the stereo camera when the master robot is caused to assume a plurality of postures while the slave robot is stationary. Based on the images, the position and orientation of the stereo camera seen from the coordinate system of the master robot and the position and orientation of the reference object seen from the coordinate system of the stereo camera are calculated, and the master robot is kept stationary. position of the reference object viewed from the coordinate system of the slave robot, based on a plurality of images of the reference object captured by the stereo camera when the slave robot is caused to assume a plurality of postures. By calculating the posture and transforming the coordinates of these calculation results, the relative position between the master robot and the slave robot is calculated, and based on the image of the characteristic part of the work captured by the stereo camera, A correction amount of the master robot for the workpiece is calculated, and the postures of the master robot and the slave robot are corrected based on the relative positions of the master robot and the slave robot and the correction amount. It is characterized by

この構成によれば、スレーブロボットを静止させた状態で、換言すると、基準物体を固定した状態で、ステレオカメラが取り付けられたマスターロボットに複数の姿勢をとらせて、奥行き方向の情報も記録可能なステレオカメラによって基準物体を複数の方向から撮像することから、マスターロボットの座標系から見たステレオカメラの位置姿勢を算出することができる。また、基準物体の大きさ・形状は既知であることから、ステレオカメラによって基準物体を複数の方向から撮像することにより、ステレオカメラの座標系から見た基準物体の位置姿勢も算出することができる。 According to this configuration, with the slave robot stationary, in other words, with the reference object fixed, the master robot attached with the stereo camera can be made to take multiple postures, and depth information can also be recorded. Since the stereo camera images the reference object from a plurality of directions, the position and orientation of the stereo camera viewed from the coordinate system of the master robot can be calculated. In addition, since the size and shape of the reference object are known, the position and orientation of the reference object viewed from the coordinate system of the stereo camera can be calculated by imaging the reference object from multiple directions with the stereo camera. .

同様に、マスターロボットを静止させた状態で、換言すると、ステレオカメラを固定した状態で、基準物体が取り付けられたスレーブロボットに複数の姿勢をとらせて、複数の位置における基準物体を静止したステレオカメラによって撮像することから、スレーブロボットの座標系から見た基準物体の位置姿勢を算出することができる。 Similarly, with the master robot stationary, in other words, with the stereo camera fixed, the slave robot to which the reference object is attached is allowed to assume a plurality of postures, and the reference object at a plurality of positions is captured in a stationary stereo camera. Since the image is captured by the camera, the position and orientation of the reference object viewed from the coordinate system of the slave robot can be calculated.

ここで、（１）マスターロボットの座標系から見たステレオカメラの位置姿勢、（２）ステレオカメラの座標系から見た基準物体の位置姿勢、および（３）スレーブロボットの座標系から見た基準物体の位置姿勢は、それぞれ行列で表せることから、（３）を表す行列の逆行列を算出することで、（３’）基準物体の座標系から見たスレーブロボットの位置姿勢を容易に算出することができる。 Here, (1) the position and orientation of the stereo camera viewed from the coordinate system of the master robot, (2) the position and orientation of the reference object viewed from the coordinate system of the stereo camera, and (3) the reference viewed from the coordinate system of the slave robot Since the position and orientation of an object can each be represented by a matrix, by calculating the inverse matrix of the matrix representing (3), (3') the position and orientation of the slave robot viewed from the coordinate system of the reference object can be easily calculated. be able to.

そうして、（１）、（２）および（３’）を表す行列の掛け合わせにより、マスターロボット→ステレオカメラ→基準物体→スレーブロボットという座標変換を行うことで、マスターロボットの座標系から見たスレーブロボットの位置姿勢、換言すると、マスターロボットとスレーブロボットとの相対位置を、１台のステレオカメラを用いて容易に算出することができる。 Then, by multiplying the matrices representing (1), (2) and (3'), the coordinate transformation of master robot→stereo camera→reference object→slave robot is performed. The position and orientation of the slave robot, in other words, the relative position between the master robot and the slave robot can be easily calculated using one stereo camera.

一方、ワークにおける特徴部をステレオカメラによって撮像し、かかる特徴部の画像から取得されるワークの位置姿勢と、例えば予め記憶された設計値とを比較することで、マスターロボットのワークに対する補正量（ズレ量）を容易に算出することができる。そうして、マスターロボットとスレーブロボットとの相対位置は既に算出（計測）されていることから、マスターロボットのワークに対する補正量に基づいて、スレーブロボットのワークに対する補正量も容易に算出することができるので、マスターロボットのみならずスレーブロボットの姿勢をも容易かつ正確に補正することが可能となる。 On the other hand, the characteristic part of the workpiece is imaged by a stereo camera, and the position and orientation of the workpiece obtained from the image of the characteristic part are compared with, for example, pre-stored design values. deviation) can be easily calculated. Since the relative positions of the master robot and the slave robot have already been calculated (measured), it is possible to easily calculate the correction amount for the work of the slave robot based on the correction amount for the work of the master robot. Therefore, it is possible to easily and accurately correct the posture of not only the master robot but also the slave robot.

つまり、本発明によれば、スレーブロボットが何台であっても、マスターロボットに取り付けられた１台のステレオカメラ、および、その画像データを処理する１台の処理装置を用いて、マスターロボットとスレーブロボットとの相対位置を取得することができるとともに、全ロボットの姿勢を容易に補正することが可能となることから、設備コストの低減を図ることができる。 In other words, according to the present invention, no matter how many slave robots there are, a single stereo camera attached to the master robot and a single processing device for processing the image data can be used together with the master robot. Since it is possible to acquire the relative position with respect to the slave robot and to easily correct the postures of all the robots, it is possible to reduce the equipment cost.

しかも、ステレオカメラが取り付けられたマスターロボットを、スレーブロボットに取り付けられた基準物体を見渡せる位置に設置さえすれば、マスターロボットとスレーブロボットとの相対位置を取得可能であることから、マスターロボットとスレーブロボットとの相対位置計測の際にロボット同士の物理的な接触を伴うロボットシステムに比して、レイアウトの自由度を高めることができる。加えて、マスターロボットとスレーブロボットとの相対位置計測の際にロボット同士の物理的な接触を伴わないことから、ワークに対するロボットの姿勢を正確に補正することができる。 Moreover, the relative positions of the master robot and the slave robot can be obtained simply by setting the master robot, which is equipped with a stereo camera, in a position where it can overlook the reference object attached to the slave robot. The degree of freedom in layout can be increased compared to a robot system that involves physical contact between robots when measuring relative positions with the robots. In addition, since there is no physical contact between the robots when measuring the relative position between the master robot and the slave robot, the posture of the robot with respect to the workpiece can be accurately corrected.

したがって、本発明によれば、複数のロボットを用いる場合でも、設備コストの低減およびレイアウトの自由度の向上を図りつつ、ワークに対するロボットの姿勢を容易かつ正確に補正することが可能となる。 Therefore, according to the present invention, even when a plurality of robots are used, it is possible to easily and accurately correct the posture of the robots with respect to the workpiece while reducing equipment costs and improving the degree of freedom in layout.

ところで、ワークにおける特徴部が立体形状であれば、かかる特徴部の画像からワークの姿勢を算出することが可能であるが、ワークにおける特徴部が例えば孔（特徴点）等であれば、ワークの姿勢を算出するには、３つ以上の特徴点が必要となる。しかも、姿勢の算出精度を高めるには、できるだけ離れた（できるだけ遠い位置にある）特徴点を撮像することが好ましい。 By the way, if the characteristic portion of the workpiece is a three-dimensional shape, it is possible to calculate the posture of the workpiece from the image of the characteristic portion. To calculate the orientation, three or more feature points are required. Moreover, in order to improve the accuracy of posture calculation, it is preferable to capture an image of a feature point that is as far away as possible (located as far away as possible).

ここで、相対的に小さなワークの場合には、マスターロボットに取り付けられた１台のステレオカメラだけで、ワークに形成された３つ以上の特徴点を撮像することが可能であるが、例えば車両のメインボデー等といった相対的に大きなワークの場合には、１台のステレオカメラだけでは、ワークに形成された、互いに離れた３つ以上の特徴点を撮像することが困難なケースも生じ得る。 Here, in the case of a relatively small work, it is possible to image three or more feature points formed on the work with only one stereo camera attached to the master robot. In the case of a relatively large work such as the main body of a , there may be cases where it is difficult to image three or more feature points separated from each other formed on the work with only one stereo camera.

そこで、上記ロボットシステムでは、上記スレーブロボットを複数備え、上記複数のスレーブロボットには、上記基準物体およびステレオカメラが取り付けられたものが含まれており、上記処理装置は、上記マスターロボットおよびスレーブロボットに取り付けられたステレオカメラによって撮像された、上記ワークにおける複数の特徴部の画像に基づき、当該ワークに対する当該マスターロボットの補正量を算出するとともに、当該マスターロボットと上記複数のスレーブロボットとの相対位置と、当該補正量とに基づいて、当該マスターロボットおよび複数のスレーブロボットの姿勢を補正するように構成されていてもよい。 Therefore, the robot system includes a plurality of slave robots, and the plurality of slave robots include those to which the reference object and the stereo camera are attached. Based on the images of the plurality of characteristic parts of the work taken by the stereo camera attached to the work, the correction amount of the master robot for the work is calculated, and the relative positions of the master robot and the plurality of slave robots and the correction amounts, the postures of the master robot and the plurality of slave robots may be corrected.

この構成によれば、マスターロボットに取り付けられたステレオカメラのみならず、スレーブロボットに取り付けられたステレオカメラをも用いることで、相対的に大きなワークに形成された、互いに離れた３つ以上の特徴点を撮像することが可能となるので、ワークの大小に左右されることなく、ワークに対するロボットの姿勢を容易かつ正確に補正することができる。 According to this configuration, by using not only the stereo camera attached to the master robot, but also the stereo camera attached to the slave robot, three or more separate features formed on a relatively large workpiece can be detected. Since it is possible to image a point, it is possible to easily and accurately correct the posture of the robot with respect to the work regardless of the size of the work.

しかも、マスターロボットと複数のスレーブロボットとの相対位置は、飽く迄マスターロボットに取り付けられた１台のステレオカメラおよび１台の処理装置を用いて算出される上、すべてのスレーブロボットにステレオカメラを取り付ける訳ではなく、特徴点を撮像するのに必要な分だけステレオカメラを増やすことから、設備コストの増大を抑えることができる。 Moreover, the relative positions of the master robot and a plurality of slave robots are calculated using one stereo camera and one processing device attached to the master robot, and stereo cameras are attached to all the slave robots. Instead, the increase in equipment cost can be suppressed by increasing the number of stereo cameras necessary to capture the feature points.

また、上記ロボットシステムでは、上記スレーブロボットのアーム先端に取り付けられるツールには、測定点が設けられており、上記処理装置は、上記マスターロボットと上記スレーブロボットとの相対位置に基づいて算出された上記測定点の位置と、上記ステレオカメラにより撮像された上記測定点の位置と、を比較することによって、上記マスターロボットと上記スレーブロボットとの相対位置の算出精度を確認するように構成されていてもよい。 Further, in the robot system, the tool attached to the tip of the arm of the slave robot is provided with a measurement point, and the processing device calculates the relative positions of the master robot and the slave robot. By comparing the position of the measurement point with the position of the measurement point captured by the stereo camera, the calculation accuracy of the relative position between the master robot and the slave robot is confirmed. good too.

この構成によれば、（Ａ）マスターロボット→スレーブロボット→測定点、および、（Ｂ）マスターロボット→ステレオカメラ→測定点という、異なる手法で取得された測定点の位置（座標）を比較することで、マスターロボットとスレーブロボットとの相対位置の算出精度を確認することができ、これにより、ワークに対するロボットの姿勢をより一層正確に補正することが可能となる。 According to this configuration, it is possible to compare the positions (coordinates) of the measurement points obtained by different methods of (A) master robot→slave robot→measurement point and (B) master robot→stereo camera→measurement point. , it is possible to check the calculation accuracy of the relative positions of the master robot and the slave robot, thereby making it possible to more accurately correct the posture of the robot with respect to the workpiece.

以上説明したように、本発明に係るロボットシステムによれば、複数のロボットを用いる場合でも、設備コストの低減およびレイアウトの自由度の向上を図りつつ、ワークに対するロボットの姿勢を容易かつ正確に補正することができる。 As described above, according to the robot system of the present invention, even when a plurality of robots are used, it is possible to easily and accurately correct the posture of the robots with respect to the workpiece while reducing equipment costs and improving the degree of freedom in layout. can do.

本発明の実施形態に係るロボットシステムの概要を模式的に示す図である。1 is a diagram schematically showing an overview of a robot system according to an embodiment of the present invention; FIG. ロボットシステムを模式的に示すブロック図である。1 is a block diagram schematically showing a robot system; FIG. 姿勢補正手順の一例を示すフローチャートである。6 is a flow chart showing an example of a posture correction procedure; ロボットシステムの応用例１を模式的に示す図である。1 is a diagram schematically showing an application example 1 of a robot system; FIG. ロボットシステムの応用例２を模式的に示す図である。FIG. 10 is a diagram schematically showing an application example 2 of the robot system; 車両のメインボデーにおける特徴点を模式的に示す図である。FIG. 2 is a diagram schematically showing feature points on a main body of a vehicle; スレーブロボットに取り付けられるマテリアルハンドを模式的に示す図である。FIG. 4 is a diagram schematically showing a material hand attached to a slave robot;

以下、本発明を実施するための形態を図面に基づいて説明する。 EMBODIMENT OF THE INVENTION Hereinafter, the form for implementing this invention is demonstrated based on drawing.

－ロボットシステムの概略構成－
図１は、本実施形態に係るロボットシステム１の概要を模式的に示す図であり、図２は、ロボットシステム１を模式的に示すブロック図である。なお、図２では、４台のスレーブロボット２１，２２，２３，２４のうちの１台のスレーブロボット（以下、特に区別しない場合には「スレーブロボット２０」と称する）のみを示している。－Schematic configuration of the robot system－
FIG. 1 is a diagram schematically showing an outline of a robot system 1 according to this embodiment, and FIG. 2 is a block diagram schematically showing the robot system 1. As shown in FIG. Note that FIG. 2 shows only one of the four slave robots 21, 22, 23, and 24 (hereinafter referred to as "slave robot 20" unless otherwise specified).

このロボットシステム１は、ワークＷ（図１の例では車両のメインボデーＷ１）に対して、マスターロボット１０およびスレーブロボット２０を含む複数台のロボットを用いて、溶接や組立等といった所定作業を行うものである。なお、マスターロボット１０とスレーブロボット２０とは、後述するように、ワークＷに対する各ロボット１０，２０の姿勢を補正する際には主従関係となるが、それ以外では、マスターロボット１０もスレーブロボット２０と同様に、ロボットアーム１０ａの先端部に取り付けられたツール３０（図１の例では抵抗溶接機）を用いて、所定作業を行うように構成されている。 This robot system 1 uses a plurality of robots including a master robot 10 and a slave robot 20 to perform predetermined work such as welding and assembly on a workpiece W (main body W1 of a vehicle in the example of FIG. 1). It is. As will be described later, the master robot 10 and the slave robot 20 have a master-slave relationship when correcting the posture of each robot 10, 20 with respect to the work W. Similarly, a tool 30 (a resistance welder in the example of FIG. 1) attached to the tip of the robot arm 10a is used to perform a predetermined work.

ロボットシステム１は、図１および図２に示すように、１台のマスターロボット１０と、４台のスレーブロボット２０と、マスターロボット１０を制御するためのロボット制御盤４０と、各スレーブロボット２０を制御するためのロボット制御盤５０と、１台のステレオカメラ６０と、照明６３と、４枚のキャリブレーションプレート７０と、ＨＵＢ８０と、１台の画像処理装置９０と、を備えている。 As shown in FIGS. 1 and 2, the robot system 1 includes one master robot 10, four slave robots 20, a robot control panel 40 for controlling the master robot 10, and each slave robot 20. A robot control panel 50 for control, one stereo camera 60, lighting 63, four calibration plates 70, a HUB 80, and one image processing device 90 are provided.

マスターロボット１０およびスレーブロボット２０は、６軸多関節ロボットであり、複数のリンクとこれら複数のリンクを接続する６つの回転関節とで構成されるロボットアーム１０ａ，２０ａを有している。ロボットアーム１０ａ，２０ａの先端には、メインボデーＷ１に対して所定作業を行うためのツール（エンドエフェクタ）３０が取り付けられている。各回転関節には、サーボモータ（図示せず）が設けられていて、各サーボモータが個別に角変位することによって、ロボットアーム１０ａ，２０ａが駆動し、メインボデーＷ１に対するツール３０の位置および姿勢を３次元的に変更することが可能になっている。 The master robot 10 and the slave robot 20 are 6-axis multi-joint robots, and have robot arms 10a and 20a each composed of a plurality of links and six rotary joints connecting the plurality of links. A tool (end effector) 30 for performing a predetermined operation on the main body W1 is attached to the tip of the robot arms 10a and 20a. A servomotor (not shown) is provided at each rotary joint, and the robot arms 10a and 20a are driven by individual angular displacement of each servomotor, and the position and posture of the tool 30 with respect to the main body W1 are controlled. can be changed three-dimensionally.

ロボット制御盤４０，５０は、サーボモータを駆動させるサーボドライバ（図示せず）や、各種の演算処理を実行するロボットＣＰＵ４０ａ，５０ａや、プログラムやデータが記憶されたＲＯＭ（Read Only Memory）や、ロボットＣＰＵ４０ａ，５０ａによる演算処理の実行中に生成されたデータや情報を一時的に保持するＲＡＭ（Random Access Memory）等で構成されている。ロボット制御盤４０，５０は、初期セットアップ時にＲＯＭに記憶（登録）された教示データを、ロボットＣＰＵ４０ａ，５０ａが演算処理し、サーボドライバ等に動作指令を出力することで、マスターロボット１０およびスレーブロボット２０の動作をそれぞれ制御するように構成されている。 The robot control boards 40 and 50 include servo drivers (not shown) that drive servo motors, robot CPUs 40a and 50a that execute various arithmetic processes, ROMs (Read Only Memories) that store programs and data, It is composed of a RAM (Random Access Memory) and the like for temporarily holding data and information generated during execution of arithmetic processing by the robot CPUs 40a and 50a. The robot control panels 40 and 50 operate the master robot 10 and the slave robots by processing the teaching data stored (registered) in the ROM during the initial setup by the robot CPUs 40a and 50a and outputting operation commands to the servo drivers and the like. It is configured to control 20 operations respectively.

ステレオカメラ６０および照明６３は、マスターロボット１０のロボットアーム１０ａにおけるツール３０の近傍に取り付けられている。ステレオカメラ６０は、対象物を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録することができるように構成されたカメラである。ステレオカメラ６０は、対象物における照明６３に
よって照らされた部位を撮像して、画像データを画像処理装置９０に送信するように構成されている。 Stereo camera 60 and lighting 63 are attached near tool 30 on robot arm 10 a of master robot 10 . The stereo camera 60 is a camera configured to record information in the depth direction by photographing an object from a plurality of different directions at the same time. The stereo camera 60 is configured to capture an image of a portion of the object illuminated by the illumination 63 and transmit image data to the image processing device 90 .

キャリブレーションプレート（基準物体）７０は、平面上に分布した教示点を有するプレートであり、スレーブロボット２１，２２，２３，２４のロボットアーム２０ａにそれぞれ取り付けられている。なお、キャリブレーションプレート７０の形状（教示点の位置等）や寸法は、画像処理装置９０のＲＯＭに記憶されている。 A calibration plate (reference object) 70 is a plate having teaching points distributed on a plane, and is attached to the robot arms 20a of the slave robots 21, 22, 23, and 24, respectively. The shape (positions of teaching points, etc.) and dimensions of the calibration plate 70 are stored in the ROM of the image processing device 90 .

画像処理装置（処理装置）９０は、パーソナルコンピュータであり、各種プログラム等に基づいて演算処理を実行するＣＰＵ（Central Processing Unit）や、各種プログラムや各種プログラムを実行する際に参照されるマップなどが記憶されているＲＯＭや、ＣＰＵによる演算結果などを一時的に記憶するメモリであるＲＡＭ等で構成されている。画像処理装置９０は、ディスプレイ９０ａと、ＲＯＭにインストールされたアプリケーションソフト９０ｂと、を備えている。 The image processing device (processing device) 90 is a personal computer, and includes a CPU (Central Processing Unit) that executes arithmetic processing based on various programs and the like, various programs, maps that are referred to when executing various programs, and the like. It is composed of a ROM in which data is stored, a RAM that temporarily stores calculation results and the like by the CPU, and the like. The image processing device 90 includes a display 90a and application software 90b installed in a ROM.

ディスプレイ９０ａは、指令を与えた際のマスターロボット１０およびスレーブロボット２０の動きや、マスターロボット１０およびスレーブロボット２０とメインボデーＷ１との位置関係等を表す、ＣＡＤ（Computer Aided Design）等で作成されたヴァーチャルな画像を表示するように構成されている。これにより、画像処理装置９０から指令を与えた場合に、マスターロボット１０やスレーブロボット２０がどのような動きをするかを、事前に確認することができるようになっている。 The display 90a is created by CAD (Computer Aided Design) or the like, and shows the movements of the master robot 10 and the slave robot 20 when a command is given, the positional relationship between the master robot 10 and the slave robot 20, and the main body W1. It is configured to display a virtual image. As a result, it is possible to confirm in advance how the master robot 10 and the slave robot 20 will move when a command is given from the image processing device 90 .

画像処理装置９０は、ＰｏＥ（Power over Ethernet）８１を介して、ステレオカメラ６０と接続されていて、これにより、ステレオカメラ６０によって撮像された画像データがアプリケーションソフト９０ｂに入力されるようになっている。また、画像処理装置９０は、イーサネット（Ethernet-IP）８３およびＨＵＢ８０を介して、ロボット制御盤４０，５０のロボットＣＰＵ４０ａ，５０ａと無線通信を行うことが可能に構成されている。これにより、画像処理装置９０は、例えばキーボード（図示せず）から入力した指令や、アプリケーションソフト９０ｂによる解析結果等をロボット制御盤４０，５０に送信することで、マスターロボット１０およびスレーブロボット２０を制御することが可能となっている。 The image processing device 90 is connected to the stereo camera 60 via PoE (Power over Ethernet) 81, so that the image data captured by the stereo camera 60 is input to the application software 90b. there is Also, the image processing device 90 is configured to be able to wirelessly communicate with the robot CPUs 40 a and 50 a of the robot control panels 40 and 50 via Ethernet-IP 83 and HUB 80 . As a result, the image processing device 90 can control the master robot 10 and the slave robot 20 by transmitting to the robot control panels 40 and 50 commands input from a keyboard (not shown), analysis results by the application software 90b, and the like. It is possible to control.

－姿勢補正手順－
以上のように構成されたロボットシステム１では、仮に、各ロボット１０，２０が設計通りの位置に配置され、且つ、ワークＷが設計通りに位置決めされている場合には、初期セットアップ時にロボット制御盤４０，５０のＲＯＭに記憶された教示データ通りに、各ロボット１０，２０を動作させることで、溶接や組立等の所定作業を正確に行うことが可能となる。 -Posture Correction Procedure-
In the robot system 1 configured as described above, if the robots 10 and 20 are positioned as designed, and the workpiece W is positioned as designed, the robot control panel is set at the time of initial setup. By operating the respective robots 10 and 20 according to the teaching data stored in the ROMs of 40 and 50, it is possible to accurately perform predetermined work such as welding and assembly.

これに対し、各ロボット１０，２０に設置誤差がある場合や、ワークＷが位置決めされていない場合には、各ロボット１０，２０を教示データ通りに動作させるだけでは、溶接個所や組立位置が正規の位置からずれるため、ワークＷに対する各ロボット１０，２０の姿勢を補正する必要がある。 On the other hand, if there is an installation error in each robot 10, 20 or if the work W is not positioned, the welding points and assembly positions will not be correct if the robots 10, 20 are only operated according to the teaching data. , the posture of each robot 10, 20 with respect to the work W must be corrected.

この点、従来のロボットシステムでは、キャリブレーション済みのマスターロボットに、スレーブロボットを物理的に接触させることで、マスターロボットの座標系とスレーブロボットの座標系とのズレ量を確認する手法（「従来１の手法」という。）や、ロボット毎に、把持ズレを検出するためのカメラおよび画像データを処理するためのパーソナルコンピュータを設ける手法（「従来２の手法」という。）が採られていた。 In this regard, in the conventional robot system, by physically bringing the slave robot into contact with the calibrated master robot, the amount of deviation between the coordinate system of the master robot and the coordinate system of the slave robot is confirmed ("Conventional method 1”), and a method of providing each robot with a camera for detecting grip deviation and a personal computer for processing image data (referred to as “conventional method 2”).

しかしながら、従来１の手法には、物理的に届く範囲に設置されたロボット同士にしか適用することができず、ロボットシステムにおけるレイアウトの自由度が制限されるという問題がある。さらに、ロボット同士の物理的な接触を伴うことから、ロボット等のたわみの影響を受け易い上、繊細な操作が必要であり、作業者の個人差により精度がバラつくため、ロボットの姿勢の補正を容易かつ正確に行うことが困難であるという問題もある。 However, the conventional method 1 can only be applied to robots installed within a physically reachable range, and there is a problem that the degree of freedom of layout in the robot system is limited. Furthermore, since the robots are in physical contact with each other, they are easily affected by the bending of the robots, etc., and delicate operations are required. There is also the problem that it is difficult to easily and accurately perform

また、従来２の手法には、ロボット毎にカメラおよびパーソナルコンピュータが必要となることから、設備コストが増大するという問題がある。 In addition, the conventional method 2 requires a camera and a personal computer for each robot, so there is a problem that the facility cost increases.

そこで、本実施形態のロボットシステム１では、スレーブロボット２０に取り付けられたキャリブレーションプレート７０を、マスターロボット１０に取り付けられたステレオカメラ６０によって撮像することで、１台のステレオカメラ６０および１台の画像処理装置９０のみで、マスターロボット１０とスレーブロボット２０との相対位置を算出（計測）するようにしている。 Therefore, in the robot system 1 of the present embodiment, the calibration plate 70 attached to the slave robot 20 is imaged by the stereo camera 60 attached to the master robot 10, so that one stereo camera 60 and one The relative position between the master robot 10 and the slave robot 20 is calculated (measured) only by the image processing device 90 .

具体的には、本実施形態のロボットシステム１では、
（１）スレーブロボット２０を静止させた状態で、マスターロボット１０に複数の姿勢をとらせた際にステレオカメラ６０によって撮像されたキャリブレーションプレート７０の複数の画像データに基づいて、マスターロボット１０の座標系（マスターロボット座標系Σ_MR）から見たステレオカメラ６０の位置姿勢と、ステレオカメラ６０の座標系（カメラ座標系Σ_C）から見たキャリブレーションプレート７０の位置姿勢と、を算出し、
（２）マスターロボット１０を静止させた状態で、スレーブロボット２０に複数の姿勢をとらせた際にステレオカメラ６０によって撮像されたキャリブレーションプレート７０の複数の画像データに基づいて、スレーブロボット２０の座標系（スレーブロボット座標系Σ_SR）から見たキャリブレーションプレート７０の位置姿勢を算出し
（３）（１）および（２）の算出結果を座標変換することで、マスターロボット１０とスレーブロボット２０との相対位置を算出するとともに、
（４）ステレオカメラ６０によって撮像された、ワークＷにおける特徴部の画像データに基づき、ワークＷに対するマスターロボット１０の補正量を算出し、
（５）（３）で算出したマスターロボット１０とスレーブロボット２０との相対位置と、（４）で算出した補正量と、に基づいて、マスターロボット１０およびスレーブロボット２０の姿勢を補正するように、画像処理装置９０を構成している。 Specifically, in the robot system 1 of this embodiment,
(1) Based on a plurality of image data of the calibration plate 70 captured by the stereo camera 60 when the master robot 10 assumes a plurality of postures while the slave robot 20 is stationary, the master robot 10 calculating the position and orientation of the stereo camera 60 viewed from the coordinate system (master robot coordinate system Σ _MR ) and the position and posture of the calibration plate 70 viewed from the coordinate system (camera coordinate system Σ _C ) of the stereo camera 60;
(2) Based on a plurality of image data of the calibration plate 70 captured by the stereo camera 60 when the master robot 10 is stationary and the slave robot 20 is caused to assume a plurality of postures, the The position and orientation of the calibration plate 70 viewed from the coordinate system (slave robot coordinate system Σ _SR ) are calculated, and (3) the calculation results of (1) and (2) are coordinate-transformed so that the master robot 10 and the slave robot 20 Along with calculating the relative position with
(4) calculating the correction amount of the master robot 10 for the work W based on the image data of the characteristic portion of the work W captured by the stereo camera 60;
(5) Correct the postures of the master robot 10 and the slave robot 20 based on the relative positions of the master robot 10 and the slave robot 20 calculated in (3) and the correction amount calculated in (4). , constitute an image processing device 90 .

以下、このような画像処理装置９０による姿勢補正手順（１）～（５）について、図３のフローチャートを参照しながら、詳細に説明する。なお、図１では、４台のスレーブロボット２１，２２，２３，２４を示しているが、以下では、ロボットシステム１が、ｎ台（ｎは正の整数）のスレーブロボット２０を備えている場合について説明を行う。 The posture correction procedures (1) to (5) by the image processing device 90 will be described in detail below with reference to the flowchart of FIG. Although FIG. 1 shows four slave robots 21, 22, 23, and 24, the robot system 1 below includes n slave robots 20 (where n is a positive integer). I will explain about.

〈手順（１）について〉
先ず、ステップＳ１では、画像処理装置９０が、スレーブロボット２０の番号として、ｉ＝０を読み込む。次のステップＳ２では、画像処理装置９０が、ｉ＝ｉ＋１を計算して、スレーブロボット２０の番号として１番を設定する。なお、１番のスレーブロボット２０は、例えば図１のスレーブロボット２１に対応している。次のステップＳ３では、画像処理装置９０が、スレーブロボット２１に対応するロボット制御盤５０に指令を出して、スレーブロボット２１を静止させる。 <Regarding procedure (1)>
First, in step S<b>1 , the image processing device 90 reads i=0 as the number of the slave robot 20 . In the next step S2, the image processing device 90 calculates i=i+1 and sets number 1 as the slave robot 20 number. The first slave robot 20 corresponds to the slave robot 21 in FIG. 1, for example. In the next step S3, the image processing device 90 issues a command to the robot control panel 50 corresponding to the slave robot 21 to make the slave robot 21 stand still.

ここで、スレーブロボット２１を静止させた状態で、スレーブロボット２１に取り付けられたキャリブレーションプレート７０をステレオカメラ６０によって撮像した後、マスターロボット１０の姿勢を変更し、再びキャリブレーションプレート７０をステレオカメラ６０によって撮像すると、当然、姿勢の変更の前後で、キャリブレーションプレート７
０の画像データは異なることになる。そうして、例えばマスターロボット１０のロボットアーム１０ａ先端部の変化量に対して、キャリブレーションプレート７０の画像データの変化量が小さければ、ステレオカメラ６０がロボットアーム１０ａ先端部よりも基端側に位置していることが推定される。 Here, after the calibration plate 70 attached to the slave robot 21 is imaged by the stereo camera 60 while the slave robot 21 is stationary, the posture of the master robot 10 is changed, and the calibration plate 70 is again captured by the stereo camera. 60, naturally before and after the change in posture, the calibration plate 7
0 image data will be different. Then, for example, if the amount of change in the image data of the calibration plate 70 is small with respect to the amount of change in the tip of the robot arm 10a of the master robot 10, the stereo camera 60 will move closer to the proximal side than the tip of the robot arm 10a. presumed to be located.

それ故、マスターロボット１０に複数の姿勢をとらせて、その都度、キャリブレーションプレート７０を異なる方向からステレオカメラ６０によって撮像して、このような推定を繰り返すことで、マスターロボット座標系Σ_MRにおけるステレオカメラ６０の位置姿勢が算出される（絞り込まれる）ことになる。なお、ステレオカメラ６０の位置姿勢の算出精度は、マスターロボット１０の姿勢を変更すれば変更するほど上がる訳ではなく、約１３回の撮像により収束することが、実験等で確認されている。 Therefore, by allowing the master robot 10 to assume a plurality of postures, capturing images of the calibration plate 70 from different directions with the stereo camera 60 each time, and repeating such estimation, the position of the master robot 10 in the master robot coordinate system Σ _MR The position and orientation of the stereo camera 60 are calculated (narrowed down). Experiments and the like confirm that the calculation accuracy of the position and orientation of the stereo camera 60 does not increase as the orientation of the master robot 10 is changed, and converges after about 13 times of imaging.

そこで、次のステップＳ４では、画像処理装置９０が、撮像回数ｊ＝０を読み込む。次のステップＳ５では、画像処理装置９０が、ｊ＝ｊ＋１を計算して、撮像回数ｊとして１回を設定した後、ステップＳ６に進む。次のステップＳ６では、１番のキャリブレーションプレート７０（１番のスレーブロボット２１に取り付けられたキャリブレーションプレート７０）をステレオカメラ６０で撮像した後、ステップＳ７に進む。 Therefore, in the next step S4, the image processing device 90 reads the number of imaging times j=0. In the next step S5, the image processing device 90 calculates j=j+1 and sets 1 as the number of imaging times j, and then proceeds to step S6. In the next step S6, after imaging the first calibration plate 70 (the calibration plate 70 attached to the first slave robot 21) with the stereo camera 60, the process proceeds to step S7.

次のステップＳ７では、画像処理装置９０が、撮像回数ｊが所定回数ｌ（ｌは正の整数で、例えば１３）に達したか否かを判定する。このステップＳ７での判定がＮＯの場合には、ステップＳ８に進む。次のステップＳ８では、画像処理装置９０が、ロボット制御盤４０に指令を出して、マスターロボット１０の姿勢を変更させた後、ステップＳ５に進み、撮像回数ｊに１を加算した後、ステップＳ６でスレーブロボット２１に取り付けられたキャリブレーションプレート７０を再びステレオカメラ６０で撮像するという流れを繰り返す。 In the next step S7, the image processing device 90 determines whether or not the number of imaging times j has reached a predetermined number of times l (l is a positive integer, for example 13). If the determination in step S7 is NO, the process proceeds to step S8. In the next step S8, the image processing device 90 issues a command to the robot control panel 40 to change the attitude of the master robot 10, and then proceeds to step S5, adds 1 to the number of times of imaging j, and then step S6. The flow of capturing images of the calibration plate 70 attached to the slave robot 21 by the stereo camera 60 is repeated.

一方、ステップＳ７での判定がＹＥＳの場合、すなわち、撮像回数ｊが所定回数ｌに達した場合には、ステップＳ９に進む。次のステップＳ９では、画像処理装置９０のアプリケーションソフト９０ｂが、マスターロボット座標系Σ_MRから見たステレオカメラ６０の位置姿勢を算出する。 On the other hand, if the determination in step S7 is YES, that is, if the number of times j of imaging has reached the predetermined number of times l, the process proceeds to step S9. In the next step S9, the application software 90b of the image processing device 90 calculates the position and orientation of the stereo camera 60 viewed from the master robot coordinate system _ΣMR .

ここで、「マスターロボット座標系Σ_MRから見たステレオカメラ６０の位置姿勢を算出する」とは、マスターロボット座標系Σ_MRからカメラ座標系Σ_Cまでの位置・姿勢を表す行列^MRＴ_Cを算出することを意味する。つまり、行列^MRＴ_Cは、マスターロボット１０の位置・姿勢をステレオカメラ６０の位置・姿勢に変換する行列である。それ故、行列^MRＴ_Cにマスターロボット１０の位置・姿勢の制御量を掛ければ、ステレオカメラ６０の位置・姿勢を算出することができる。逆に、行列^MRＴ_Cの逆行列^MRＴ_C ^-1（＝^CＴ_MR）に、ステレオカメラ６０の目標位置・目標姿勢を掛ければ、マスターロボット１０の位置・姿勢の制御量を算出することができる。 Here, "calculating the position and orientation of the stereo camera 60 viewed from the master robot coordinate system Σ _MR " means that the matrix MR T _C representing the position and orientation from the master robot coordinate system Σ _MR to the camera coordinate system Σ _C is ^calculated . means to calculate That is, the matrix ^MRTC is a matrix for converting the position/orientation of the master robot 10 into the position/orientation of _the stereo camera 60 . Therefore, the position/orientation of the stereo camera 60 can be calculated by multiplying _the matrix ^MRTC by the control amount of the position/orientation of the master robot 10 . Conversely, by multiplying ^the inverse _matrix ^MRTC _- ¹ (= ^CTMR ) of the matrix _MRTC by the target position/target orientation of the stereo camera 60, the position/attitude control amount of the master robot 10 can be calculated. can be done.

そうして、次のステップＳ１０では、画像処理装置９０のアプリケーションソフト９０ｂが、カメラ座標系Σ_Cから見た１番のキャリブレーションプレート７０の位置姿勢を算出する。 Then, in the next step S10, the application software 90b of the image processing device 90 calculates the position and orientation of the first calibration plate 70 viewed from the camera coordinate system _ΣC .

上述の如く、キャリブレーションプレート７０の形状（教示点の位置等）や寸法は、画像処理装置９０のＲＯＭに記憶されていることから、キャリブレーションプレート７０を異なる方向からステレオカメラ６０によって撮像することで、アプリケーションソフト９０ｂが、カメラ座標系Σ_Cから見たキャリブレーションプレート７０の位置姿勢をも算出することが可能となる。なお、「カメラ座標系Σ_Cから見たキャリブレーションプレート７０の位置姿勢を算出する」とは、カメラ座標系Σ_Cからプレート座標系Σ_Pまでの位置・
姿勢を表す行列^CＴ_Pを算出することを意味する。 As described above, since the shape (positions of teaching points, etc.) and dimensions of the calibration plate 70 are stored in the ROM of the image processing device 90, the stereo camera 60 can capture images of the calibration plate 70 from different directions. , the application software 90b can also calculate the position and orientation of the calibration plate 70 viewed from the camera coordinate system _ΣC . Note that "calculating the position and orientation of the calibration plate 70 viewed from the camera coordinate system _ΣC " means that the position and orientation from the camera coordinate system _ΣC to the plate coordinate system _ΣP are calculated.
This means calculating _the matrix ^CTP that represents the orientation.

〈手順（２）について〉
上記手順（１）と同様の理屈で、マスターロボット１０を静止させた状態で、スレーブロボット２０に複数の姿勢をとらせて、その都度、静止したステレオカメラ６０によって、キャリブレーションプレート７０を異なる方向から撮像することで、スレーブロボット座標系Σ_SRにおけるキャリブレーションプレート７０の位置姿勢が算出される（絞り込まれる）ことになる。 <Regarding procedure (2)>
Based on the same logic as the above procedure (1), the slave robot 20 is allowed to assume a plurality of postures while the master robot 10 is stationary. , the position and orientation of the calibration plate 70 in the slave robot coordinate system Σ _SR are calculated (narrowed down).

それ故、ステップＳ１１では、画像処理装置９０が、ロボット制御盤４０に指令を出して、マスターロボット１０を静止させる。次のステップＳ１２では、画像処理装置９０が、撮像回数ｋ＝０を読み込む。次のステップＳ１３では、画像処理装置９０が、ｋ＝ｋ＋１を計算して、撮像回数ｋとして１回を設定した後、ステップＳ１４に進む。次のステップＳ１４では、１番のキャリブレーションプレート７０を静止したステレオカメラ６０で撮像した後、ステップＳ１５に進む。 Therefore, in step S11, the image processing device 90 issues a command to the robot control panel 40 to make the master robot 10 stand still. In the next step S12, the image processing device 90 reads the imaging count k=0. In the next step S13, the image processing device 90 calculates k=k+1 and sets 1 as the number of imaging times k, and then proceeds to step S14. In the next step S14, after the first calibration plate 70 is imaged by the stationary stereo camera 60, the process proceeds to step S15.

次のステップＳ１５では、画像処理装置９０が、撮像回数ｋが所定回数ｍ（ｍは正の整数で、例えば１３）に達したか否かを判定する。このステップＳ１５での判定がＮＯの場合には、ステップＳ１６に進む。次のステップＳ１６では、画像処理装置９０が、スレーブロボット２１に対応するロボット制御盤５０に指令を出して、スレーブロボット２１の姿勢を変更させた後、ステップＳ１３に進み、撮像回数ｋに１を加算した後、ステップＳ１４でスレーブロボット２１に取り付けられたキャリブレーションプレート７０を静止したステレオカメラ６０で再び撮像するという流れを繰り返す。 In the next step S15, the image processing device 90 determines whether or not the number of times k of imaging has reached a predetermined number of times m (m is a positive integer, for example 13). If the determination in step S15 is NO, the process proceeds to step S16. In the next step S16, the image processing device 90 issues a command to the robot control panel 50 corresponding to the slave robot 21 to change the posture of the slave robot 21. Then, the process proceeds to step S13, and 1 is added to the number of times of imaging k. After the addition, in step S14, the calibration plate 70 attached to the slave robot 21 is imaged again by the stationary stereo camera 60, and the flow is repeated.

一方、ステップＳ１５での判定がＹＥＳの場合、すなわち、撮像回数ｋが所定回数ｍに達した場合には、ステップＳ１７に進む。次のステップＳ１７では、画像処理装置９０のアプリケーションソフト９０ｂが、スレーブロボット座標系Σ_SR21から見たキャリブレーションプレート７０の位置姿勢を算出する。 On the other hand, if the determination in step S15 is YES, that is, if the number of imaging times k has reached the predetermined number of times m, the process proceeds to step S17. In the next step S17, the application software 90b of the image processing device 90 calculates the position and orientation of the calibration plate 70 viewed from the slave robot coordinate system _ΣSR21 .

ここで、「スレーブロボット座標系Σ_SR21から見たキャリブレーションプレート７０の位置姿勢を算出する」とは、スレーブロボット座標系Σ_SR21からプレート座標系Σ_Pまでの位置・姿勢を表す行列^SR21Ｔ_Pを算出することを意味する。それ故、行列^SR21Ｔ_Pの逆行列^SR21Ｔ_P ^-1（＝^PＴ_SR21）も容易に算出することができる。 Here, "calculate the position and orientation ^of the calibration plate 70 viewed from the slave robot coordinate system Σ _SR21 " means the matrix _SR21 T _P representing the position and orientation from the slave robot coordinate system Σ SR21 to the plate coordinate system _{Σ P} means to calculate Therefore, ^the inverse matrix ^SR21TP _- ¹ (= ^PTSR21 ) of the _matrix _SR21TP can also be easily calculated.

〈手順（３）について〉
次のステップＳ１８では、画像処理装置９０のアプリケーションソフト９０ｂが、マスターロボット１０と１番のスレーブロボット２１との相対位置を算出する。具体的には、アプリケーションソフト９０ｂは、ステップＳ９で算出した行列^MRＴ_Cと、ステップＳ１０で算出した行列^CＴ_Pと、ステップＳ１７で算出した行列^SR21Ｔ_Pの逆行列（行列^PＴ_SR21）と、に基づいて、下記の式（１）により、マスターロボット座標系Σ_MRからスレーブロボット座標系Σ_SR21までの位置・姿勢を表す行列^MRＴ_SR21を算出して、マスターロボット１０とスレーブロボット２１との相対位置を算出（計測）する。 <Regarding procedure (3)>
In the next step S18, the application software 90b of the image processing device 90 calculates the relative positions of the master robot 10 and the first slave robot 21. FIG. Specifically, the application software 90b calculates the matrix ^MRTC calculated in step S9, the matrix _CTP _calculated in step S10, and the inverse matrix ( ^matrix ^PTSR21 ₎ of the matrix ^SR21TP calculated in step _S17 . , the matrix ^MR T _SR21 representing the position and orientation from the master robot coordinate system Σ _MR to the slave robot coordinate system Σ _SR21 is calculated by the following equation (1), and the master robot 10 and the slave robot 21 Calculate (measure) the relative position with

^MRＴ_C・^CＴ_P・^PＴ_SR21＝^MRＴ_SR21・・・・式（１）
このようにして、マスターロボット１０とスレーブロボット２１との相対位置を算出した後、ステップＳ１９に進む。次のステップＳ１９では、画像処理装置９０が、スレーブロボット２０の番号ｉがｎに達したか否かを判定する。このステップＳ１９での判定がＮＯの場合には、ステップＳ２に戻り、マスターロボット１０との相対位置関係が算出されたスレーブロボット２０がｎ台に達するまで、ステップＳ２からステップＳ１８の手順が繰り返される。 ^MR T _C・^C T _P・^P T _SR21 = ^MR T _SR21 Expression (1)
After calculating the relative positions of the master robot 10 and the slave robot 21 in this manner, the process proceeds to step S19. In the next step S19, the image processing device 90 determines whether or not the number i of the slave robot 20 has reached n. If the determination in step S19 is NO, the process returns to step S2, and the procedure from step S2 to step S18 is repeated until the number of slave robots 20 for which the relative positional relationship with the master robot 10 has been calculated reaches n. .

これにより、スレーブロボット座標系Σ_SR22から見たキャリブレーションプレート７０の位置姿勢に基づいて、マスターロボット１０とスレーブロボット２２との相対位置が算出され、スレーブロボット座標系Σ_SR23から見たキャリブレーションプレート７０の位置姿勢に基づいて、マスターロボット１０とスレーブロボット２３との相対位置が算出され、スレーブロボット座標系Σ_SR24から見たキャリブレーションプレート７０の位置姿勢に基づいて、マスターロボット１０とスレーブロボット２４との相対位置が算出され、といった具合に、マスターロボット１０とｎ台のスレーブロボット２０との相対位置が次々と算出されていく。一方、ステップＳ１９での判定がＹＥＳの場合には、ステップＳ２０へ進む。 As a result, the relative position between the master robot 10 and the slave robot 22 is calculated based on the position and orientation of the calibration plate 70 viewed from the slave robot coordinate system _ΣSR22 , and the calibration plate viewed from the slave robot coordinate system _ΣSR23 is calculated. 70, the relative positions of the master robot 10 and the slave robot 23 are calculated, and based on the position and orientation of the calibration plate 70 viewed from the slave robot coordinate system Σ _{SR 24} , the master robot 10 and the slave robot 24 are calculated. , and the relative positions of the master robot 10 and the n slave robots 20 are calculated one after another. On the other hand, if the determination in step S19 is YES, the process proceeds to step S20.

〈手順（４）について〉
次のステップＳ２０では、ステレオカメラ６０がワークＷの特徴部を撮像する。なお、ワークＷにおける特徴部が立体形状であれば、かかる特徴部の画像データからワークＷの姿勢を算出することが可能であるが、ワークＷにおける特徴部が例えば孔（特徴点）等であれば、ワークＷの姿勢を算出するには、３つ以上の特徴点の画像データが必要となる。 <Regarding procedure (4)>
In the next step S20, the stereo camera 60 images the characteristic portion of the workpiece W. FIG. If the characteristic portion of the workpiece W is a three-dimensional shape, the posture of the workpiece W can be calculated from the image data of the characteristic portion. For example, in order to calculate the posture of the work W, image data of three or more feature points are required.

次のステップＳ２１では、画像処理装置９０のアプリケーションソフト９０ｂが、ワークＷに対するマスターロボット１０の補正量を算出する。具体的には、ワークＷにおける特徴部をステレオカメラ６０によって撮像し、かかる画像データから取得される特徴部の位置と、例えば予め記憶された設計位置とを比較することで、マスターロボット１０のワークＷに対する補正量（ズレ量）を算出する。 In the next step S21, the application software 90b of the image processing device 90 calculates the correction amount of the master robot 10 with respect to the work W. FIG. Specifically, the characteristic portion of the workpiece W is imaged by the stereo camera 60, and the position of the characteristic portion obtained from the image data is compared with, for example, a pre-stored design position, whereby the workpiece of the master robot 10 is detected. A correction amount (deviation amount) for W is calculated.

〈手順（５）について〉
次のステップＳ２２では、画像処理装置９０のアプリケーションソフト９０ｂが、マスターロボット１０およびｎ台のスレーブロボット２０を含む全ロボットの姿勢を補正した後、ＥＮＤする。 <Regarding procedure (5)>
In the next step S22, the application software 90b of the image processing device 90 corrects the postures of all robots including the master robot 10 and n slave robots 20, and then ENDs.

より詳しくは、ステップＳ１８においてマスターロボット１０とｎ台のスレーブロボット２０との相対位置が算出されているとともに、ステップＳ２１においてワークＷに対するマスターロボット１０の補正量が算出されていることから、マスターロボット１０と各スレーブロボット２０との相対位置に補正量を合算することで、ワークＷに対する各スレーブロボット２０の補正量を容易に算出することができる。そうして、かかる補正量を、図１の二点鎖線矢印で示すように、画像処理装置９０からロボット制御盤４０，５０へ送信することで、各ロボット制御盤４０，５０のＲＯＭに記憶された教示データが修正され、修正された教示データ通りに、各ロボット１０，２０を動作させることで、ワークＷに対して溶接や組立等の所定作業を正確に行うことが可能となる。 More specifically, since the relative positions of the master robot 10 and the n slave robots 20 are calculated in step S18, and the correction amount of the master robot 10 with respect to the workpiece W is calculated in step S21, the master robot 10 and each slave robot 20, the correction amount of each slave robot 20 with respect to the workpiece W can be easily calculated. Then, the correction amount is stored in the ROM of each robot control panel 40, 50 by transmitting it from the image processing device 90 to the robot control panels 40, 50 as indicated by the two-dot chain line arrows in FIG. By correcting the teaching data and operating the robots 10 and 20 according to the corrected teaching data, it is possible to accurately perform predetermined work such as welding and assembly on the workpiece W. FIG.

以上のように、本実施形態に係るロボットシステム１によれば、スレーブロボット２０が何台であっても、マスターロボット１０に取り付けられた１台のステレオカメラ６０を用いて、マスターロボット１０とスレーブロボット２０との相対位置を取得（計測）することができるとともに、全ロボットの姿勢を容易に補正することが可能であることから、設備コストの低減を図ることができる。 As described above, according to the robot system 1 according to the present embodiment, regardless of the number of slave robots 20, one stereo camera 60 attached to the master robot 10 can be used to Since it is possible to obtain (measure) the relative position with respect to the robot 20 and to easily correct the postures of all the robots, the equipment cost can be reduced.

しかも、１台の画像処理装置９０で処理可能であることから、従来はロボット毎に必要とされたパーソナルコンピュータをＨＵＢ８０で共有することができるので、従来のロボットシステムに比して、設備コストの低減をより一層図ることができる。 Moreover, since processing can be performed by one image processing apparatus 90, a personal computer, which was conventionally required for each robot, can be shared by the HUB 80. Therefore, compared with the conventional robot system, the facility cost can be reduced. Further reduction can be achieved.

また、ステレオカメラ６０が取り付けられたマスターロボット１０を、スレーブロボット２０に取り付けられたキャリブレーションプレート７０を見渡せる位置に設置さえすれ
ば、マスターロボット１０とスレーブロボット２０との相対位置を計測可能であることから、ロボット同士の物理的な接触を伴う従来のロボットシステムに比して、レイアウトの自由度を高めることができる。 In addition, the relative position between the master robot 10 and the slave robot 20 can be measured only by setting the master robot 10 to which the stereo camera 60 is attached at a position where the calibration plate 70 attached to the slave robot 20 can be seen. Therefore, the degree of freedom in layout can be increased compared to conventional robot systems involving physical contact between robots.

加えて、マスターロボット１０とスレーブロボット２０との相対位置計測の際にロボット同士の物理的な接触を伴わないことから、ワークＷに対するロボット１０，２０の姿勢を正確に補正することができる。 In addition, since the relative positions of the master robot 10 and the slave robot 20 are measured without physical contact between the robots, the postures of the robots 10 and 20 with respect to the workpiece W can be accurately corrected.

したがって、本実施形態によれば、複数のロボット１０，２０を用いる場合でも、設備コストの低減およびレイアウトの自由度の向上を図りつつ、ワークＷに対するロボット１０，２０の姿勢を容易かつ正確に補正することが可能となる。 Therefore, according to the present embodiment, even when a plurality of robots 10 and 20 are used, the posture of the robots 10 and 20 with respect to the workpiece W can be easily and accurately corrected while reducing equipment costs and improving the degree of freedom in layout. It becomes possible to

－実施形態の応用例－
〈応用例１〉
図４は、ロボットシステム１の応用例１を模式的に示す図である。この応用例１は、セル３内に収容された複数台のロボット１０，２０が溶接や組立等の種々の作業を行う、セル生産方式にロボットシステム１を適用したものである。図４に示すロボットシステム１は、１台のマスターロボット１０と、８台のスレーブロボット２１～２８と、を備えている。８台のロボット制御盤５１，５２，５３，５４，５５，５６，５７，５８は、スレーブロボット２１，２２，２３，２４，２５，２６，２７，２８にそれぞれ対応している。なお、マスターロボット１０およびスレーブロボット２１，２２，２３，２５，２６，２７，２８には、ツール３０として抵抗溶接機（図示せず）が取り付けられている。これに対し、クロスハッチングが施されたスレーブロボット２４には、ツール３０として、溶接作業の際にメインボデーＷ１を固定するためのマテリアルハンド３１（図７参照）が取り付けられている。 - Application example of the embodiment -
<Application example 1>
FIG. 4 is a diagram schematically showing an application example 1 of the robot system 1. As shown in FIG. This application example 1 is an application of the robot system 1 to a cell production system in which a plurality of robots 10 and 20 housed in a cell 3 perform various operations such as welding and assembly. The robot system 1 shown in FIG. 4 includes one master robot 10 and eight slave robots 21-28. Eight robot control panels 51, 52, 53, 54, 55, 56, 57 and 58 correspond to slave robots 21, 22, 23, 24, 25, 26, 27 and 28, respectively. A resistance welder (not shown) is attached as a tool 30 to the master robot 10 and the slave robots 21, 22, 23, 25, 26, 27, and 28. FIG. On the other hand, the cross-hatched slave robot 24 is attached with a material hand 31 (see FIG. 7) as a tool 30 for fixing the main body W1 during welding.

上述の如く、ワークＷにおける特徴部が例えば孔（特徴点）等であれば、ワークＷの姿勢を算出するには、３つ以上の特徴点の画像データが必要となる。しかも、姿勢の算出精度を高めるには、できるだけ離れた（できるだけ遠い位置にある）特徴点を撮像することが好ましい。 As described above, if the characteristic portion of the workpiece W is, for example, a hole (characteristic point), image data of three or more characteristic points are required to calculate the posture of the workpiece W. FIG. Moreover, in order to improve the accuracy of posture calculation, it is preferable to capture an image of a feature point that is as far away as possible (located as far away as possible).

ここで、相対的に小さなワークＷの場合には、例えばマスターロボット１０に取り付けられた１台のステレオカメラ６０だけで、ワークＷに形成された３つ以上の特徴点を撮像することが可能であるが、図４に示すような、相対的に大きなメインボデーＷ１の場合には、１台のステレオカメラ６０だけでは、メインボデーＷ１に形成された、互いに離れた３つ以上の特徴点Ｐ１，Ｐ２，Ｐ３を撮像することが困難となる。 Here, in the case of a relatively small work W, for example, only one stereo camera 60 attached to the master robot 10 can image three or more feature points formed on the work W. However, in the case of a relatively large main body W1 as shown in FIG. 4, only one stereo camera 60 can detect three or more feature points P1, P1, It becomes difficult to image P2 and P3.

そこで、図４に示すロボットシステム１では、スレーブロボット２７，２８に、キャリブレーションプレート７０のみならず、ステレオカメラ６１，６２を取り付けるようにしている。なお、請求項との関係では、本応用例のスレーブロボット２７，２８が、本発明でいうところの「基準物体およびステレオカメラが取り付けられたもの」に相当する。 Therefore, in the robot system 1 shown in FIG. 4, not only the calibration plate 70 but also the stereo cameras 61 and 62 are attached to the slave robots 27 and 28 . In relation to the claims, the slave robots 27 and 28 of this application example correspond to "to which a reference object and a stereo camera are attached" in the present invention.

この場合も、マスターロボット１０と複数のスレーブロボット２１，２２，２３，…との相対位置は、飽く迄マスターロボット１０に取り付けられた１台のステレオカメラ６０を用いて算出される。そうして、スレーブロボット座標系Σ_SR27から見たステレオカメラ６１の位置姿勢、および、スレーブロボット座標系Σ_SR28から見たステレオカメラ６２の位置姿勢は、セル３内に設置されたキャリブレーションプレート（図示せず）をステレオカメラ６１，６２で撮像した画像データに基づいて算出される。 Also in this case, the relative positions of the master robot 10 and the plurality of slave robots 21, 22, 23, . Then, the position and orientation of the stereo camera 61 viewed from the slave robot coordinate system _ΣSR27 and the position and orientation of the stereo camera 62 viewed from the slave robot coordinate system _ΣSR28 are obtained from the calibration plate ( (not shown) is calculated based on image data captured by the stereo cameras 61 and 62 .

図４に示すように、マスターロボット１０に取り付けられたステレオカメラ６０で特徴
点Ｐ１を撮像し、且つ、スレーブロボット２７に取り付けられたステレオカメラ６１で特徴点Ｐ２を撮像し、且つ、スレーブロボット２８に取り付けられたステレオカメラ６２で特徴点Ｐ３を撮像する。こように、マスターロボット１０に取り付けられたステレオカメラ６０のみならず、スレーブロボット２７，２８に取り付けられたステレオカメラ６１，６２をも用いることで、相対的に大きなメインボデーＷ１に形成された、互いに離れた３つの特徴点Ｐ１，Ｐ２，Ｐ３を撮像することが可能となる。 As shown in FIG. 4, the stereo camera 60 attached to the master robot 10 captures the feature point P1, the stereo camera 61 attached to the slave robot 27 captures the feature point P2, and the slave robot 28 The feature point P3 is imaged by the stereo camera 62 attached to the . Thus, by using not only the stereo camera 60 attached to the master robot 10 but also the stereo cameras 61 and 62 attached to the slave robots 27 and 28, a relatively large main body W1 is formed, It becomes possible to image three feature points P1, P2, and P3 that are separated from each other.

画像処理装置９０は、マスターロボット１０およびスレーブロボット２７，２８に取り付けられたステレオカメラ６０，６１，６２によって撮像された、メインボデーＷ１における３つの特徴点Ｐ１，Ｐ２，Ｐ３のデータに基づき、メインボデーＷ１に対するマスターロボット１０の補正量を算出するとともに、マスターロボット１０と複数のスレーブロボット２１，２２，２３，…との相対位置と、当該補正量とに基づいて、マスターロボット１０および複数のスレーブロボット２１，２２，２３，…の姿勢を補正するように構成されている。これにより、ワークＷの大小に左右されることなく、メインボデーＷ１に対するロボット１０，２１，２２，２３，…の姿勢を容易かつ正確に補正することができる。 The image processing device 90 is based on the data of the three feature points P1, P2, P3 on the main body W1 captured by the stereo cameras 60, 61, 62 attached to the master robot 10 and the slave robots 27, 28. A correction amount of the master robot 10 with respect to the body W1 is calculated, and based on the relative positions of the master robot 10 and the plurality of slave robots 21, 22, 23, . . . It is configured to correct the postures of the robots 21, 22, 23, . Thus, the postures of the robots 10, 21, 22, 23, .

なお、図４に示す相対的に小さなワークＷ２に対して所定作業を行う場合に、すべてのロボット１０，２１，２２，２３，…の姿勢を補正すると、無駄が多くなる。それ故、この場合には、例えば、ワークＷ２に一番近いスレーブロボット２７に取り付けられたステレオカメラ６１を用いて、ワークＷ２における３つの特徴点Ｐ１’，Ｐ２’，Ｐ３’を撮像し、撮像された画像データに基づいて算出された補正量をロボット制御盤５５のみに送信し、スレーブロボット２５のみで溶接等を行うようにしてもよい。 It should be noted that correcting the postures of all the robots 10, 21, 22, 23, . Therefore, in this case, for example, using the stereo camera 61 attached to the slave robot 27 closest to the work W2, the three feature points P1', P2', P3' on the work W2 are imaged and imaged. The correction amount calculated based on the obtained image data may be transmitted only to the robot control panel 55, and the welding or the like may be performed only by the slave robot 25.

〈応用例２〉
図５は、ロボットシステム１の応用例２を模式的に示す図である。この応用例２は、搬送装置によって流れてくるワークＷに所定作業を行うライン生産方式にロボットシステム１を適用したものである。 <Application example 2>
FIG. 5 is a diagram schematically showing an application example 2 of the robot system 1. As shown in FIG. In this application example 2, the robot system 1 is applied to a line production system in which a predetermined work is performed on a workpiece W conveyed by a conveying device.

図６は、車両のメインボデーＷ１における特徴点Ｐ１，Ｐ２を模式的に示す図である。メインボデーＷ１には、図６の太枠で示すように、車幅方向左側のＡピラーＡＰに特徴点Ｐ１としての孔が形成されているとともに、車幅方向左側のＣピラーＣＰに特徴点Ｐ２としての孔が形成されている。なお、車幅方向右側のＡピラーおよびＣピラー（共に図示せず）にも同様に、特徴点Ｐ１および特徴点Ｐ２としての孔がそれぞれ形成されている。 FIG. 6 is a diagram schematically showing characteristic points P1 and P2 on the main body W1 of the vehicle. In the main body W1, as shown by the thick frame in FIG. 6, a hole as a characteristic point P1 is formed in the A-pillar AP on the left side in the vehicle width direction, and a characteristic point P2 is formed in the C-pillar CP on the left side in the vehicle width direction. A hole is formed as Similarly, the A pillar and the C pillar (both not shown) on the right side in the vehicle width direction are similarly formed with holes as characteristic points P1 and P2, respectively.

そうして、図５の太枠で示すように、メインボデーＷ１の左側に配置されたマスターロボット１０に取り付けられたステレオカメラ６０で、左側の特徴点Ｐ１および特徴点Ｐ２を撮像するとともに、メインボデーＷ１の右側に配置されたスレーブロボット２０に取り付けられたステレオカメラ６１で、右側の特徴点Ｐ１および特徴点Ｐ２を撮像することで、インラインでの、メインボデーＷ１に対するマスターロボット１０および複数のスレーブロボット２０の姿勢の補正が可能となる。 Then, as shown by the thick frame in FIG. 5, the stereo camera 60 attached to the master robot 10 arranged on the left side of the main body W1 picks up the image of the characteristic point P1 and the characteristic point P2 on the left side. The stereo camera 61 attached to the slave robot 20 arranged on the right side of the body W1 picks up the feature point P1 and the feature point P2 on the right side of the body W1, thereby in-line the master robot 10 and the plurality of slaves for the main body W1. The posture of the robot 20 can be corrected.

－実施形態の変形例－
上記実施形態では、ステレオカメラ６０とキャリブレーションプレート７０とを用いて、マスターロボット１０とスレーブロボット２０との相対位置を算出（計測）するに止めたが、本変形例では、相対位置の算出精度を確認する点が、上記実施形態と異なるものである。以下、実施形態と異なる点を中心に説明する。 -Modified example of embodiment-
In the above embodiment, the stereo camera 60 and the calibration plate 70 are used to calculate (measure) the relative position between the master robot 10 and the slave robot 20. However, in this modified example, the relative position calculation accuracy is different from the above embodiment in that the In the following, the points different from the embodiment will be mainly described.

図７は、スレーブロボット２０に取り付けられるマテリアルハンド３１を模式的に示す図である。スレーブロボット２０のロボットアーム２０ａ先端に取り付けられるマテリア
ルハンド３１には、図７の太枠で示すように、２つの孔からなる測定点ＭＰ１，ＭＰ２が設けられている。 FIG. 7 is a diagram schematically showing the material hand 31 attached to the slave robot 20. As shown in FIG. The material hand 31 attached to the tip of the robot arm 20a of the slave robot 20 is provided with measurement points MP1 and MP2 consisting of two holes, as indicated by the thick frame in FIG.

そうして、本変形例では、マスターロボット１０とスレーブロボット２０との相対位置に基づいて算出された測定点ＭＰ１，ＭＰ２の位置と、ステレオカメラ６０により撮像された測定点ＭＰ１，ＭＰ２の位置と、を比較することによって、マスターロボット１０とスレーブロボット２０との相対位置の算出精度を確認するように、画像処理装置９０を構成している。 Then, in this modification, the positions of the measurement points MP1 and MP2 calculated based on the relative positions of the master robot 10 and the slave robot 20 and the positions of the measurement points MP1 and MP2 captured by the stereo camera 60 are , to check the calculation accuracy of the relative positions of the master robot 10 and the slave robot 20 .

具体的には、スレーブロボット座標系Σ_SRから見た測定点ＭＰ１，ＭＰ２の位置姿勢は、ロボット固有値やマテリアルハンド３１の諸元から既知であるとともに、マスターロボット１０とスレーブロボット２０との相対位置は算出済みであることから、（Ａ）マスターロボット１０→スレーブロボット２０→測定点ＭＰ１，ＭＰ２というルートで、マスターロボット座標系Σ_MRにおける測定点ＭＰ１，ＭＰ２の位置（座標）を算出することができる。 Specifically, the positions and orientations of the measurement points MP1 and MP2 viewed from the slave robot coordinate system Σ _SR are known from the robot eigenvalues and specifications of the material hand 31, and the relative positions of the master robot 10 and the slave robot 20 are has already been calculated, it is possible to calculate the positions (coordinates) of the measurement points MP1 and MP2 in the master robot coordinate system Σ _MR by (A) the route of master robot 10→slave robot 20→measurement points MP1 and MP2. can.

一方、（Ｂ）マスターロボット１０→ステレオカメラ６０→測定点ＭＰ１，ＭＰ２というルートでも、マスターロボット座標系Σ_MRにおける測定点ＭＰ１，ＭＰ２の位置（座標）を算出することができる。 On the other hand, the positions (coordinates) of the measurement points MP1 and MP2 in the master robot coordinate system _.SIGMA.MR can also be calculated by (B) the route of master robot 10.fwdarw.stereo camera 60.fwdarw.measuring points MP1 and MP2.

このように、異なるルート（Ａ）および（Ｂ）で取得された測定点ＭＰ１，ＭＰ２の位置（座標）を比較することで、マスターロボット１０とスレーブロボット２０との相対位置の算出精度を確認することができ、これにより、ワークＷに対するロボット１０，２０の姿勢をより一層正確に補正することが可能となる。 By comparing the positions (coordinates) of the measurement points MP1 and MP2 obtained by different routes (A) and (B) in this way, the calculation accuracy of the relative position between the master robot 10 and the slave robot 20 is confirmed. As a result, the posture of the robots 10 and 20 with respect to the workpiece W can be corrected more accurately.

（その他の実施形態）
本発明は、実施形態に限定されず、その精神又は主要な特徴から逸脱することなく他の色々な形で実施することができる。 (Other embodiments)
This invention is not limited to embodiments and can be embodied in various other forms without departing from its spirit or essential characteristics.

上記実施形態のフローチャートでは、或るスレーブロボット２０におけるキャリブレーションプレート７０の撮像および相対位置の算出を行った後、次のスレーブロボット２０におけるキャリブレーションプレート７０の撮像および相対位置の算出を行うようにしたが、これに限らず、すべてのスレーブロボット２０におけるキャリブレーションプレート７０の撮像を行った後、すべてのスレーブロボット２０における相対位置の算出を行うようにしてもよい。 In the flowchart of the above embodiment, after imaging the calibration plate 70 in a certain slave robot 20 and calculating the relative position, imaging the calibration plate 70 in the next slave robot 20 and calculating the relative position are performed. However, without being limited to this, the relative positions of all the slave robots 20 may be calculated after the images of the calibration plates 70 of all the slave robots 20 are captured.

また、上記実施形態の変形例では、マテリアルハンド３１に測定点ＭＰ１，ＭＰ２を設けたが、これに限らず、マテリアルハンド３１以外のツール３０に測定点を設けてもよい。 Further, in the modified example of the above embodiment, the measurement points MP1 and MP2 are provided on the material hand 31, but the measurement points are not limited to this, and the measurement points may be provided on the tool 30 other than the material hand 31.

このように、上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。 Thus, the above-described embodiments are merely examples in all respects and should not be construed in a restrictive manner. Furthermore, all modifications and changes within the equivalent range of claims are within the scope of the present invention.

本発明によると、複数のロボットを用いる場合でも、設備コストの低減およびレイアウトの自由度の向上を図りつつ、ワークに対するロボットの姿勢を容易かつ正確に補正することができるので、ワークに対して、複数のロボットを用いて所定作業を行うロボットシステムに適用して極めて有益である。 According to the present invention, even when a plurality of robots are used, it is possible to easily and accurately correct the posture of the robots with respect to the work while reducing equipment costs and improving the degree of freedom in layout. It is extremely useful when applied to a robot system that uses a plurality of robots to perform a predetermined task.

１ロボットシステム
１０マスターロボット
１０ａロボットアーム
２０スレーブロボット
２０ａロボットアーム
３１マテリアルハンド（ツール）
６０，６１，６２ステレオカメラ
７０キャリブレーションプレート（基準物体）
９０画像処理装置（処理装置）
Ｐ１，Ｐ２，Ｐ３特徴点（特徴部）
Ｐ１’，Ｐ２’，Ｐ３’ 特徴点（特徴部）
Ｗ１メインボデー（ワーク）
Ｗ２ワーク
ＭＰ１，ＭＰ２測定点 1 robot system 10 master robot 10a robot arm 20 slave robot 20a robot arm 31 material hand (tool)
60, 61, 62 stereo camera 70 calibration plate (reference object)
90 image processing device (processing device)
P1, P2, P3 feature point (feature part)
P1', P2', P3' feature point (feature part)
W1 Main body (workpiece)
W2 Workpiece MP1, MP2 Measurement point

Claims

A robot system that performs predetermined work on a workpiece using a plurality of robots,
A master robot with a stereo camera attached,
a slave robot to which a reference object is attached;
a processing device capable of controlling the master robot and the slave robot and capable of acquiring images captured by the stereo camera;
The processing device is
Based on a plurality of images of the reference object captured by the stereo camera when the master robot is caused to take a plurality of postures while the slave robot is stationary, a view from the coordinate system of the master robot is obtained. calculating the position and orientation of the stereo camera and the position and orientation of the reference object viewed from the coordinate system of the stereo camera; and
Based on a plurality of images of the reference object captured by the stereo camera when the master robot is kept stationary and the slave robot is caused to take a plurality of postures, a view from the coordinate system of the slave robot is obtained. calculating the position and orientation of the reference object;
By transforming the coordinates of these calculation results, the relative positions of the master robot and the slave robot are calculated,
calculating the correction amount of the master robot for the work based on the image of the characteristic part of the work taken by the stereo camera;
A robot system configured to correct postures of the master robot and the slave robot based on the relative positions of the master robot and the slave robot and the correction amount.

In the robot system according to claim 1,
Equipped with multiple slave robots,
The plurality of slave robots include those to which the reference object and the stereo camera are attached,
The processing device calculates a correction amount of the master robot for the work based on images of a plurality of characteristic portions of the work captured by stereo cameras attached to the master robot and the slave robot, and calculates the correction amount of the master robot for the work. A robot system configured to correct postures of a master robot and a plurality of slave robots based on relative positions of the robot and the plurality of slave robots and correction amounts.

In the robot system according to claim 1,
The tool attached to the tip of the arm of the slave robot is provided with a measurement point,
The processing device compares the position of the measurement point calculated based on the relative positions of the master robot and the slave robot with the position of the measurement point captured by the stereo camera, thereby A robot system configured to check the calculation accuracy of the relative positions of a master robot and the slave robot.