JP2022530589A

JP2022530589A - Robot-mounted mobile devices, systems and machine tools

Info

Publication number: JP2022530589A
Application number: JP2021526426A
Authority: JP
Inventors: 勇太大場; 努櫻井; 秀樹長末; 昌昭中川; コータウィーバー; アーナンドパルワル
Original assignee: Skylla Technologies
Current assignee: Skylla Technologies
Priority date: 2019-09-11
Filing date: 2020-09-10
Publication date: 2022-06-30
Anticipated expiration: 2040-09-10
Also published as: WO2021048579A1

Abstract

工作機械１０と、カメラ３１を有するロボット２５と、ロボット２５を搭載した搬送装置３５とがあり、工作機械１０の加工領域内に識別図形が配置される。There are a machine tool 10, a robot 25 having a camera 31, and a transfer device 35 on which the robot 25 is mounted, and an identification figure is arranged in a machining area of the machine tool 10.

Description

本開示は、ワークを加工する工作機械、工作機械に対して作業を行うロボット、ロボットを搭載し、工作機械に対して設定された作業位置に移動可能な移動装置、これらから構成されるシステム等に関する。 The present disclosure discloses a machine tool that processes a work, a robot that works on the machine tool, a moving device that is equipped with the robot and can move to a work position set for the machine tool, a system composed of these, and the like. Regarding.

従来、上述したシステムの一例として、特開２０１７－１３２００２号公報（日本国特許出願公開公報、下記特許文献１）に開示されたシステムが知られている。このシステムでは、ロボットを搭載した無人搬送車が、工作機械に対して設定された作業位置に移動し、当該作業位置において、ロボットにより工作機械に対してワークの着脱等の作業が実行される。 Conventionally, as an example of the above-mentioned system, a system disclosed in Japanese Patent Application Laid-Open No. 2017-13202 (Japanese Patent Application Publication No. 1, the following Patent Document 1) is known. In this system, an automatic guided vehicle equipped with a robot moves to a work position set for the machine tool, and at the work position, the robot executes work such as attaching / detaching the work to the machine tool.

このようなシステムでは、無人搬送車によって移動する一台のロボットにより、複数の工作機械に対してワークの着脱等の作業を実施することができるので、工作機械に対してロボットを固定した状態で配設する場合に比べて、工作機械のレイアウトの自由度が増すため、工作機械のレイアウトをより生産効率を高めることが可能なレイアウトに設定することができる。また、ロボットを固定状態で配設した旧来のシステムに比べて、一台のロボットにより、より多くの工作機械に対して作業を行うことができるので、設備費用の低廉化を図ることができる。 In such a system, one robot moved by an unmanned carrier can perform work such as attaching / detaching a work to a plurality of machine tools, so that the robot is fixed to the machine tools. Since the degree of freedom in the layout of the machine tool is increased as compared with the case of disposing the machine tool, the layout of the machine tool can be set to a layout capable of further improving the production efficiency. Further, as compared with the conventional system in which the robots are arranged in a fixed state, one robot can work on more machine tools, so that the equipment cost can be reduced.

その一方、無人搬送車は車輪を用いて自走する構造であるが故に、前記作業位置に停止するその位置決め精度は必ずしも高いものとは言えない。このため、ロボットが工作機械に対して正確な作業を行うためには、無人搬送車を前記作業位置へ位置決めした際のロボットの姿勢と、制御上の基準となる所謂ティーチング時に設定されたロボットの基準姿勢とを比較して、その誤差量を検出し、当該誤差量に応じてロボットの作業姿勢を補正する必要がある。 On the other hand, since the automatic guided vehicle has a structure of self-propelled using wheels, its positioning accuracy of stopping at the working position is not always high. Therefore, in order for the robot to perform accurate work on the machine tool, the posture of the robot when the automatic guided vehicle is positioned at the work position and the robot set at the time of so-called teaching, which is a control reference, are used. It is necessary to compare with the reference posture, detect the amount of the error, and correct the working posture of the robot according to the amount of the error.

このようなロボットの姿勢を補正する技術として、従来、特開２０１６－２２１６２２号公報（日本国特許出願公開公報、下記特許文献２）に開示されるような位置補正手法が知られている。具体的には、この位置補正手法は、２つの較正用マーカからなる視覚ターゲットを工作機械の外表面に配設し、ロボットの可動部に設けられたカメラにより、前記視覚ターゲットを撮像し、得られた画像と、カメラの位置及び姿勢とを基に、ロボットと工作機械との相対的な位置関係を測定し、測定された位置関係に基づいて、ロボットの作業姿勢を補正するというものである。 As a technique for correcting the posture of such a robot, a position correction method as disclosed in Japanese Patent Application Laid-Open No. 2016-221622 (Japanese Patent Application Publication No. 2, the following Patent Document 2) is conventionally known. Specifically, in this position correction method, a visual target consisting of two calibration markers is arranged on the outer surface of the machine tool, and the visual target is imaged by a camera provided on a movable part of the robot. The relative positional relationship between the robot and the machine tool is measured based on the captured image and the position and posture of the camera, and the working posture of the robot is corrected based on the measured positional relationship. ..

ところが、上述した従来の位置補正手法では、例えば、ロボットのハンドなどを工作機械内に進入させ、当該ハンドを用いて工作機械のチャックなどに対してワークの着脱を行う際に、この着脱作業を行うロボットの姿勢を正確に補正することができなかった。 However, in the conventional position correction method described above, for example, when a robot hand or the like is made to enter the machine tool and the work is attached or detached to or from the chuck of the machine tool by using the hand, this attachment / detachment work is performed. It was not possible to accurately correct the posture of the robot to perform.

即ち、前記無人搬送車は、比較的自由度の高い車輪の動作によって移動するように構成されているため、ロボットが搭載された載置面は床面に対して傾き易く、また、搭載するロボットの姿勢の変化に応じて、言い換えれば、ロボットの重心位置の変化に応じて、当該傾きが変動し易いという特性を有している。 That is, since the automatic guided vehicle is configured to move by the movement of wheels having a relatively high degree of freedom, the mounting surface on which the robot is mounted tends to tilt with respect to the floor surface, and the robot on which the robot is mounted. In other words, it has the characteristic that the inclination is likely to change according to the change in the position of the center of gravity of the robot according to the change in the posture of the robot.

このため、上述したワークの着脱を行う際に、ロボットがそのハンドを工作機械内に進入させた姿勢を取るとき、言い換えれば、ロボットのアームが前記無人搬送車から大きくオーバハングした状態となるときの前記載置面の傾きは、ロボットのハンドが工作機械の機外に在り、アームが前記無人搬送車からオーバハングしていないか、或いはオーバハングしていたとしても少量である場合の傾きよりも大きなものとなる。 Therefore, when the robot takes a posture in which the hand is inserted into the machine tool when attaching / detaching the work described above, in other words, when the arm of the robot is in a state of being greatly overhung from the automatic guided vehicle. The inclination of the above-mentioned mounting surface is larger than the inclination when the hand of the robot is outside the machine tool and the arm is not overhung from the automatic guided vehicle, or even if it is overhung, it is a small amount. Will be.

したがって、上述した従来の位置補正手法のように、較正用マーカである視覚ターゲットを工作機械の外表面に配設し、ロボットが工作機械の機外に在る状態で、ロボットの位置補正量（姿勢補正量）を取得しても、得られた位置補正量を用いては、ロボットのハンドが工作機械内にあるときに実行されるワークの着脱動作については、当該ロボットの姿勢を正確には補正することができない。 Therefore, as in the conventional position correction method described above, the position correction amount of the robot (the position correction amount of the robot) when the visual target, which is a calibration marker, is arranged on the outer surface of the machine tool and the robot is outside the machine tool. Even if the posture correction amount) is acquired, the obtained position correction amount is used to accurately determine the posture of the robot for the work attachment / detachment operation performed when the robot's hand is inside the machine tool. Cannot be corrected.

そして、ワークを着脱する際のロボットの姿勢を正確に補正することができなければ、チャックに対してロボットハンドを正確に位置決めすることができず、例えば、前記チャックがコレットチャックなど、把持部の動き代（ストローク）が極僅か、即ち、ワークとチャックとの間のクリアランスが極僅かであるチャックの場合には、当該チャックに対してワークを確実に把持させることができない可能性が生じる。 If the posture of the robot when attaching and detaching the work cannot be accurately corrected, the robot hand cannot be accurately positioned with respect to the chuck. For example, the chuck is a collet chuck or the like. In the case of a chuck having a very small movement allowance (stroke), that is, a chuck having a very small clearance between the work and the chuck, there is a possibility that the work cannot be reliably gripped by the chuck.

そして、ワークの着脱を確実に実行することができなければ、当該システムの稼働率が低下することになる。当該システムにおいては、生産効率の良い無人化を実現することはできない。 If the work cannot be reliably attached and detached, the operating rate of the system will decrease. In this system, it is not possible to realize unmanned production efficiency.

さらに、特許文献２に開示された位置補正手法では、２つの較正用マーカをそれぞれカメラによって撮像するようにしているので、較正用マーカを撮像するためのロボットの動作時間が長く、このため、当該システムにおける生産効率が低くなる。 Further, in the position correction method disclosed in Patent Document 2, since each of the two calibration markers is imaged by the camera, the operation time of the robot for imaging the calibration markers is long, and therefore, the present invention is concerned. The production efficiency in the system is low.

そこで、本開示は、請求の範囲に記載したシステム、移動装置、工作機械などを提供するものである。 Therefore, the present disclosure provides the systems, mobile devices, machine tools, etc. described in the claims.

以上のように、本開示によれば、ロボットが実際に作業する工作機械内に配置された識別図形を用いて、ロボットの姿勢を補正するようにしているので、当該姿勢を正確に補正することができ、これにより、ロボットは、高い動作精度が求められる作業でも、当該作業を精度良く実行することができる。 As described above, according to the present disclosure, since the posture of the robot is corrected by using the identification figure arranged in the machine tool in which the robot actually works, the posture should be corrected accurately. As a result, the robot can perform the work with high accuracy even if the work requires high operation accuracy.

本発明の一実施形態に係るシステムの概略構成を示した平面図である。It is a top view which showed the schematic structure of the system which concerns on one Embodiment of this invention.

本実施形態に係るシステムの構成を示したブロック図である。It is a block diagram which showed the structure of the system which concerns on this embodiment.

本実施形態に係る無人搬送車及びロボットを示した斜視図である。It is a perspective view which showed the automatic guided vehicle and the robot which concerns on this embodiment.

本実施形態に係るロボットの撮像姿勢について説明するための説明図である。It is explanatory drawing for demonstrating the image pickup posture of the robot which concerns on this embodiment.

本実施形態に係る識別図形を示した説明図である。It is explanatory drawing which showed the identification figure which concerns on this embodiment.

本実施形態における補正量算出手法を説明するための説明図である。It is explanatory drawing for demonstrating the correction amount calculation method in this embodiment.

本実施形態における位置補正について説明するための説明図である。It is explanatory drawing for demonstrating the position correction in this embodiment.

識別図形を工作機械中に配置する変形例を示した説明図である。It is explanatory drawing which showed the modification example which arranges the identification figure in a machine tool.

以下、具体的な実施の形態について、図面を参照しながら説明する。 Hereinafter, specific embodiments will be described with reference to the drawings.

（第１の実施形態）
図１及び図２に示すように、第１の実施形態のシステム１は、工作機械１０、周辺装置としての材料ストッカ２０及び製品ストッカ２１、無人搬送車３５、この無人搬送車３５に搭載されるロボット２５、ロボット２５に装着されるカメラ３１、並びにロボット２５及び無人搬送車３５を制御する制御装置４０などから構成される。 (First Embodiment)
As shown in FIGS. 1 and 2, the system 1 of the first embodiment is mounted on a machine tool 10, a material stocker 20 as a peripheral device, a product stocker 21, an automatic guided vehicle 35, and the automatic guided vehicle 35. It is composed of a robot 25, a camera 31 mounted on the robot 25, a control device 40 for controlling the robot 25 and an automatic guided vehicle 35, and the like.

第１の実施形態の工作機械は、工作機械内に識別図形を配置する構成である。特に、識別画像が加工領域内に配置されている形態が好ましい。 The machine tool of the first embodiment has a configuration in which an identification figure is arranged in the machine tool. In particular, a form in which the identification image is arranged in the processing region is preferable.

第１の実施形態のロボット搭載移動装置は、カメラとハンド部と第１アーム部と第２アーム部とを有するロボットと、ロボットのハンド部の位置を制御する制御部と、ロボットが搭載された移動部と、を有する。移動部は工作機械の周辺などを移動可能な構成になっている。 The robot-mounted mobile device of the first embodiment is equipped with a robot having a camera, a hand unit, a first arm unit, and a second arm unit, a control unit for controlling the position of the hand unit of the robot, and a robot. It has a moving part and. The moving part is configured to be movable around the machine tool.

図４に示すように、前記工作機械１０は、ワークＷ（Ｗ’）を把持するチャック１２が装着される主軸１１を備え、この主軸１１が鉛直方向に沿って設けられた立形のＮＣ（数値制御）旋盤であり、ワークＷ（Ｗ’）に対して旋削加工を行うことができるようになっている。また、主軸１１の近傍には接触子１４及びこれを支持する支持バー１５を備えたツールプリセッタ１３が設けられており、この支持バー１５は、当該主軸１１の軸線に沿って、加工領域に対して進退可能に設けられており、その加工領域側の端面にセラミック製の表示板１６が設けられ、この表示板１６に、図５に示した識別図形が描画されている。尚、表示板１６は水平面上に位置するように設けられている。 As shown in FIG. 4, the machine tool 10 includes a spindle 11 on which a chuck 12 for gripping a work W (W') is mounted, and the spindle 11 is provided along a vertical direction in a vertical NC ( Numerical control) It is a lathe, and it is possible to perform turning on a work W (W'). Further, a tool presetter 13 provided with a contact 14 and a support bar 15 for supporting the contact 14 is provided in the vicinity of the spindle 11, and the support bar 15 is provided in a machining region along the axis of the spindle 11. On the other hand, it is provided so as to be able to advance and retreat, and a ceramic display plate 16 is provided on the end surface on the processing region side, and the identification figure shown in FIG. 5 is drawn on the display plate 16. The display plate 16 is provided so as to be located on a horizontal plane.

尚、図４では、支持バー１５及び接触子１４が加工領域内に進出した状態を図示しているが、支持バー１５及び接触子１４が後退して、接触子１４及び表示板１６が収納領域内に収納された状態で、シャッタ１７が閉じることにより、接触子１４及び表示板１６は加工領域から隔離される。 Although FIG. 4 shows a state in which the support bar 15 and the contact 14 are advanced into the processing region, the support bar 15 and the contact 14 are retracted, and the contact 14 and the display plate 16 are stored in the storage area. When the shutter 17 is closed while being housed inside, the contact 14 and the display plate 16 are isolated from the processing region.

また、本例の識別図形は複数の正方形をした画素が二次元に配列されたマトリクス構造を有するものであり、各画素が白または黒で表示される。図５では、黒色の画素に斜線を付している。このような識別図形には、ＡＲマーカやＡｐｒｉｌＴａｇと称されるものがある。また、識別図形が小さい場合には、当該識別図形上にレンズを設けるなどして、後述するカメラ３１により拡大された画像が撮像されるようにしても良い。 Further, the identification figure of this example has a matrix structure in which a plurality of square pixels are arranged two-dimensionally, and each pixel is displayed in white or black. In FIG. 5, black pixels are shaded. Some such identification figures are called AR markers or AprilTags. Further, when the identification figure is small, a lens may be provided on the identification figure so that an enlarged image can be captured by the camera 31 described later.

前記材料ストッカ２０は、図１において工作機械１０の左隣に配設され、当該工作機械１０で加工される複数の材料（加工前ワークＷ）をストックする装置である。また、前記製品ストッカ２１は、図１において工作機械１０の右隣に配設され、当該工作機械１０で加工された複数の製品、又は半製品（加工済ワークＷ’）をストックする装置である。 The material stocker 20 is a device arranged on the left side of the machine tool 10 in FIG. 1 and stocks a plurality of materials (work W before processing) processed by the machine tool 10. Further, the product stocker 21 is a device arranged on the right side of the machine tool 10 in FIG. 1 and stocking a plurality of products or semi-finished products (processed work W') processed by the machine tool 10. ..

図１に示すように、前記無人搬送車３５には、その上面である載置面３６に前記ロボット２５が搭載され、また、オペレータが携帯可能な操作盤３７が付設されている。尚、この操作盤３７は、データの入出力を行う入出力部、当該無人搬送車３５及びロボット２５を手動操作する操作部、並びに画面表示可能なディスプレイなどを備えている。 As shown in FIG. 1, the automatic guided vehicle 35 is provided with the robot 25 mounted on a mounting surface 36 which is an upper surface thereof, and an operation panel 37 which can be carried by an operator. The operation panel 37 includes an input / output unit for inputting / outputting data, an operation unit for manually operating the automatic guided vehicle 35 and the robot 25, a display capable of displaying a screen, and the like.

また、無人搬送車３５は、工場内における自身の位置を認識可能なセンサ（例えば、レーザ光を用いた距離計測センサ）を備えており、前記制御装置４０による制御の下で、前記工作機械１０、材料ストッカ２０及び製品ストッカ２１が配設される領域を含む工場内を無軌道で走行するように構成され、本例では、前記工作機械１０、材料ストッカ２０及び製品ストッカ２１のそれぞれに対して設定された各作業位置に経由する。 Further, the automatic guided vehicle 35 includes a sensor (for example, a distance measurement sensor using a laser beam) capable of recognizing its own position in the factory, and the machine tool 10 is controlled by the control device 40. , The material stocker 20 and the product stocker 21 are configured to travel on a non-track in the factory including the area where the material stocker 20 and the product stocker 21 are arranged. Via each work position.

図１及び図３に示すように、本実施形態のロボット２５は、第１アーム２６、第２アーム２７及び第３アーム２８の３つのアームを備えた多関節型のロボットであり、第３アーム２８の先端部にはエンドエフェクタとしてのハンド２９が装着され、また、支持バー３０を介して１つのカメラ３１が装着されている。 As shown in FIGS. 1 and 3, the robot 25 of the present embodiment is an articulated robot provided with three arms of a first arm 26, a second arm 27, and a third arm 28, and is a third arm. A hand 29 as an end effector is attached to the tip of the 28, and one camera 31 is attached via the support bar 30.

ただし、この形態に限定されない。ロボットは、(i)カメラと、(ii)ワークまたは工具を把持するためのハンド部と、(iii)前記ハンド部を可動可能に繋いでいる第２アーム部と、(iv)第２アーム部と可動可能に繋いでいる第１アーム部と、を有していればよい。本実施形態のロボット２５と対比すると、ハンド部はハンド２９が相当し、第２アーム部は、第２アーム２７と回転可能（可動可能）に結合するジョイント部とが相当し、第１アーム部は、第１アーム２６と回転可能（可動可能）に結合するジョイント部とが相当する。なお、本実施形態のロボットの第３アーム２８と回転可能や進退可能（可動可能）に結合するジョイント部とが第２アーム部に相当すると解してもよい。つまり、本実施形態では、アームが３つあるが、少なくとも２つのアームがあればよい。 However, the present invention is not limited to this form. The robot has (i) a camera, (ii) a hand part for gripping a work or a tool, (iii) a second arm part that movably connects the hand part, and (iv) a second arm part. It suffices to have a first arm portion that is movably connected to the robot. Compared to the robot 25 of the present embodiment, the hand portion corresponds to the hand 29, and the second arm portion corresponds to the second arm 27 and the joint portion rotatably (movably) coupled to the first arm portion. Corresponds to the first arm 26 and the joint portion rotatably (movably) coupled to the first arm 26. It may be understood that the third arm 28 of the robot of the present embodiment and the joint portion that is rotatably and reciprocally (movably) coupled to the third arm portion correspond to the second arm portion. That is, in the present embodiment, there are three arms, but at least two arms are sufficient.

図２に示すように、本実施形態の制御装置４０は、動作プログラム記憶部４１、移動位置記憶部４２、動作姿勢記憶部４３、マップ情報記憶部４４、基準画像記憶部４５、手動運転制御部４６、自動運転制御部４７、マップ情報生成部４８、位置認識部４９、補正量算出部５０及び入出力インターフェース５１から構成される。そして、制御装置４０は、この入出力インターフェース５１を介して、前記工作機械１０、材料ストッカ２０、製品ストッカ２１、ロボット２５、カメラ３１、無人搬送車３５及び操作盤３７に接続している。なお、制御装置４０は、この形態に限定されるものではない。制御装置４０は、少なくとも、ロボットのハンド部の位置を制御する制御部を有していればよく、他の記憶部等は別の装置が有していてもよい。 As shown in FIG. 2, the control device 40 of the present embodiment has an operation program storage unit 41, a moving position storage unit 42, an operation posture storage unit 43, a map information storage unit 44, a reference image storage unit 45, and a manual operation control unit. It is composed of 46, an automatic operation control unit 47, a map information generation unit 48, a position recognition unit 49, a correction amount calculation unit 50, and an input / output interface 51. The control device 40 is connected to the machine tool 10, the material stocker 20, the product stocker 21, the robot 25, the camera 31, the automatic guided vehicle 35, and the operation panel 37 via the input / output interface 51. The control device 40 is not limited to this form. The control device 40 may have at least a control unit that controls the position of the hand portion of the robot, and another storage unit or the like may be possessed by another device.

尚、制御装置４０は、ＣＰＵ、ＲＡＭ、ＲＯＭなどを含むコンピュータから構成され、前記手動運転制御部４６、自動運転制御部４７、マップ情報生成部４８、位置認識部４９、補正量算出部５０及び入出力インターフェース５１は、コンピュータプログラムによってその機能が実現され、後述する処理を実行する。また、動作プログラム記憶部４１、移動位置記憶部４２、動作姿勢記憶部４３、マップ情報記憶部４４及び基準画像記憶部４５はＲＡＭなどの適宜記憶媒体から構成される。本例では、制御装置４０は無人搬送車３５に付設され、適宜通信手段によって工作機械１０、材料ストッカ２０及び製品ストッカ２１と接続されるとともに、ロボット２５、カメラ３１、無人搬送車３５及び操作盤３７とは有線又は無線によって接続されている。但し、このような態様に限られるものではなく、制御装置４０は無人搬送車３５以外の適宜位置に配設されていても良い。この場合、制御装置４０は適宜通信手段によって各部と接続される。 The control device 40 is composed of a computer including a CPU, RAM, ROM, etc., and includes the manual operation control unit 46, the automatic operation control unit 47, the map information generation unit 48, the position recognition unit 49, the correction amount calculation unit 50, and the correction amount calculation unit 50. The function of the input / output interface 51 is realized by a computer program, and the processing described later is executed. Further, the operation program storage unit 41, the moving position storage unit 42, the operation posture storage unit 43, the map information storage unit 44, and the reference image storage unit 45 are composed of an appropriate storage medium such as a RAM. In this example, the control device 40 is attached to the automatic guided vehicle 35, is appropriately connected to the machine tool 10, the material stocker 20, and the product stocker 21 by communication means, and is connected to the robot 25, the camera 31, the automatic guided vehicle 35, and the operation panel. It is connected to 37 by wire or wirelessly. However, the present invention is not limited to such an embodiment, and the control device 40 may be arranged at an appropriate position other than the automatic guided vehicle 35. In this case, the control device 40 is appropriately connected to each unit by communication means.

前記手動運転制御部４６は、オペレータにより前記操作盤３７から入力される操作信号に従って、前記無人搬送車３５、ロボット２５及びカメラ３１を動作させる機能部である。即ち、オペレータは、この手動運転制御部４６による制御の下で、操作盤３７を用いた、前記無人搬送車３５、ロボット２５及びカメラ３１の手動操作を実行することができる。 The manual operation control unit 46 is a functional unit that operates the automatic guided vehicle 35, the robot 25, and the camera 31 according to an operation signal input from the operation panel 37 by the operator. That is, the operator can manually operate the automatic guided vehicle 35, the robot 25, and the camera 31 using the operation panel 37 under the control of the manual operation control unit 46.

前記動作プログラム記憶部４１は、生産時に前記無人搬送車３５及び前記ロボット２５を自動運転するための自動運転用プログラム、並びに後述する工場内のマップ情報を生成する際に前記無人搬送車３５を動作させるためのマップ生成用プログラムを記憶する機能部である。自動運転用プログラム及びマップ生成用プログラムは、例えば、前記操作盤３７に設けられた入出力部から入力され、当該動作プログラム記憶部４１に格納される。 The operation program storage unit 41 operates the automatic guided vehicle 35 when generating an automatic driving program for automatically driving the automatic guided vehicle 35 and the robot 25 at the time of production, and map information in a factory to be described later. It is a functional part that stores a program for generating a map for making it. The automatic operation program and the map generation program are, for example, input from the input / output unit provided in the operation panel 37 and stored in the operation program storage unit 41.

尚、この自動運転用プログラムには、無人搬送車３５が移動する目標位置としての移動位置、移動速度及び無人搬送車３５の向きに関する指令コードが含まれ、また、ロボット２５が順次動作する当該動作に関する指令コード、及び前記カメラ３１の操作に関する指令コードが含まれる。また、マップ生成用プログラムは、前記マップ情報生成部４８においてマップ情報を生成できるように、無人搬送車３５を無軌道で工場内を隈なく走行させるための指令コードが含まれる。 In addition, this automatic driving program includes a command code regarding a moving position, a moving speed, and a direction of the automatic guided vehicle 35 as a target position for the automatic guided vehicle 35 to move, and the operation of the robot 25 in which the robot 25 operates sequentially. A command code relating to the operation of the camera 31 and a command code relating to the operation of the camera 31 are included. In addition, the map generation program includes a command code for running the automatic guided vehicle 35 without a track in the factory so that the map information generation unit 48 can generate map information.

前記マップ情報記憶部４４は、無人搬送車３５が走行する工場内に配置される機械、装置、機器など（装置等）の配置情報を含むマップ情報を記憶する機能部であり、このマップ情報は前記マップ情報生成部４８によって生成される。 The map information storage unit 44 is a functional unit that stores map information including arrangement information of machines, devices, devices, etc. (devices, etc.) arranged in the factory where the unmanned carrier 35 travels. It is generated by the map information generation unit 48.

前記マップ情報生成部４８は、詳しくは後述する前記制御装置４０の自動運転制御部４７による制御の下で、前記動作プログラム記憶部４１に格納されたマップ生成用プログラムに従って無人搬送車３５を走行させた際に、前記センサによって検出される距離データから工場内の空間情報を取得するとともに、工場内に配設される装置等の平面形状を認識し、例えば、予め登録された装置等の平面形状を基に、工場内に配設された具体的な装置、本例では、工作機械１０、材料ストッカ２０及び製品ストッカ２１の位置、平面形状等（配置情報）を認識する。そして、マップ情報生成部４８は、得られた空間情報及び装置等の配置情報を工場内のマップ情報として前記マップ情報記憶部４４に格納する。 The map information generation unit 48 runs the unmanned carrier 35 according to the map generation program stored in the operation program storage unit 41 under the control of the automatic operation control unit 47 of the control device 40, which will be described in detail later. At that time, the spatial information in the factory is acquired from the distance data detected by the sensor, and the planar shape of the device or the like arranged in the factory is recognized, for example, the planar shape of the device or the like registered in advance. Based on the above, a specific device arranged in the factory, in this example, the position, plane shape, etc. (arrangement information) of the machine tool 10, the material stocker 20, and the product stocker 21 are recognized. Then, the map information generation unit 48 stores the obtained spatial information and the arrangement information of the device and the like in the map information storage unit 44 as map information in the factory.

前記位置認識部４９は、前記センサによって検出される距離データ、及び前記マップ情報記憶部４４に格納された工場内のマップ情報を基に、工場内における無人搬送車３５の位置を認識する機能部であり、この位置認識部４９によって認識される無人搬送車３５の位置に基づいて、当該無人搬送車３５の動作が前記自動運転制御部４７によって制御される。 The position recognition unit 49 recognizes the position of the automatic guided vehicle 35 in the factory based on the distance data detected by the sensor and the map information in the factory stored in the map information storage unit 44. The operation of the automatic guided vehicle 35 is controlled by the automated guided vehicle 47 based on the position of the automatic guided vehicle 35 recognized by the position recognition unit 49.

前記移動位置記憶部４２は、前記無人搬送車３５が移動する具体的な目標位置としての移動位置であって、前記動作プログラム中の指令コードに対応した具体的な移動位置を記憶する機能部であり、この移動位置には、上述した工作機械１０、材料ストッカ２０及び製品ストッカ２１に対して設定される各作業位置が含まれる。尚、この移動位置は、例えば、前記手動運転制御部４６による制御の下、前記操作盤３７により前記無人搬送車３５を手動運転して、目標とする各位置に移動させた後、前記位置認識部４９によって認識される位置データを前記移動位置記憶部４２に格納する操作によって設定される。この操作は所謂ティーチング操作と呼ばれる。 The moving position storage unit 42 is a moving position as a specific target position for the automatic guided vehicle 35 to move, and is a functional unit that stores a specific moving position corresponding to a command code in the operation program. The moving position includes each working position set for the machine tool 10, the material stocker 20, and the product stocker 21 described above. The moving position is determined, for example, by manually driving the automatic guided vehicle 35 with the operation panel 37 under the control of the manual operation control unit 46 to move the automatic guided vehicle 35 to each target position, and then recognizing the position. It is set by an operation of storing the position data recognized by the unit 49 in the moving position storage unit 42. This operation is a so-called teaching operation.

前記動作姿勢記憶部４３は、前記ロボット２５が所定の順序で動作することによって順次変化するロボット２５の姿勢（動作姿勢）であって、前記動作プログラム中の指令コードに対応した動作姿勢に係るデータを記憶する機能部である。この動作姿勢に係るデータは、前記手動運転制御部４６による制御の下で、前記操作盤３７を用いたティーチング操作により、当該ロボット２５を手動運転して、目標とする各姿勢を取らせたときの、当該各姿勢におけるロボット２５の各関節（モータ）の回転角度データであり、この回転角度データが動作姿勢に係るデータとして前記動作姿勢記憶部４３に格納される。 The motion posture storage unit 43 is a posture (motion posture) of the robot 25 that changes sequentially when the robot 25 operates in a predetermined order, and is data related to the motion posture corresponding to the command code in the motion program. It is a functional part that memorizes. The data related to this operating posture is obtained when the robot 25 is manually operated by the teaching operation using the operation panel 37 under the control of the manual operation control unit 46 to take each target posture. It is the rotation angle data of each joint (motor) of the robot 25 in each posture, and this rotation angle data is stored in the motion posture storage unit 43 as data related to the motion posture.

ロボット２５の具体的な動作姿勢は、前記材料ストッカ２０、工作機械１０及び製品ストッカ２１において、それぞれ設定される。例えば、材料ストッカ２０では、当該材料ストッカ２０において作業を開始するときの作業開始姿勢（取出開始姿勢）、当該材料ストッカ２０に収納された加工前ワークＷをハンド２９により把持して、当該材料ストッカ２０から取り出すための各作業姿勢（各取出姿勢）及び取出を完了したときの姿勢（取出完了姿勢であり、本例では、取出開始姿勢と同じ姿勢）が取出動作姿勢として設定される。 The specific operating posture of the robot 25 is set in the material stocker 20, the machine tool 10, and the product stocker 21, respectively. For example, in the material stocker 20, the work start posture (take-out start posture) when the work is started in the material stocker 20 and the unprocessed work W stored in the material stocker 20 are gripped by the hand 29, and the material stocker 20 is used. Each work posture (each take-out posture) for taking out from 20 and a posture when the take-out is completed (a take-out complete posture, which is the same as the take-out start posture in this example) are set as the take-out operation postures.

また、工作機械１０では、加工済のワークＷ’を工作機械１０から取り出すワーク取出動作姿勢、及び加工前ワークＷを工作機械１０に取り付けるワーク取付動作姿勢が設定される。 Further, in the machine tool 10, a work taking-out operation posture for taking out the machined work W'from the machine tool 10 and a work mounting operation posture for attaching the pre-machined work W to the machine tool 10 are set.

具体的には、ワーク取出動作姿勢では、例えば、工作機械１０に進入する前の作業開始姿勢、ハンド２９及びカメラ３１を工作機械１０の加工領域内に進入させて、支持バー１５に設けられた識別図形にカメラ３１を正対させ、当該カメラ３１によって識別図形を撮像する姿勢（撮像姿勢）（図４参照）、工作機械１０のチャック１２に把持された加工済ワークＷ’に対してハンド２９を対向させた姿勢（取出準備姿勢）、ハンド２９をチャック１２側に移動させて、当該チャック１２に把持された加工済ワークＷ’をハンド２９によって把持する姿勢（把持姿勢）、ハンド２９をチャック１２から離隔させて加工済ワークＷ’をチャック１２から取り外した姿勢（取外姿勢）、ハンド２９及びカメラ３１を工作機械１０から抜け出させた姿勢（作業完了姿勢）の各姿勢が設定される。尚、カメラ３１を水平な識別図形に対して正対させたときのカメラ３１の姿勢は、そのレンズと識別図形とが略平行になる姿勢である。 Specifically, in the work taking-out operation posture, for example, the work start posture before entering the machine tool 10, the hand 29 and the camera 31 are made to enter the machining area of the machine tool 10 and are provided on the support bar 15. The hand 29 with respect to the posture (imaging posture) (see FIG. 4) in which the camera 31 faces the identification figure and the identification figure is imaged by the camera 31, and the processed work W'held by the chuck 12 of the machine tool 10. (Preparation for taking out), the hand 29 is moved to the chuck 12 side, and the processed work W'held by the chuck 12 is gripped by the hand 29 (grasping posture), and the hand 29 is chucked. Each posture is set, that is, a posture in which the processed work W'is separated from the chuck 12 (removal posture) and a posture in which the hand 29 and the camera 31 are pulled out from the machine tool 10 (work completion posture). The posture of the camera 31 when the camera 31 is made to face the horizontal identification figure is a posture in which the lens and the identification figure are substantially parallel to each other.

また、ワーク取付動作姿勢では、例えば、工作機械１０に進入する前の作業開始姿勢、ハンド２９及びカメラ３１を工作機械１０の加工領域内に進入させて、支持バー１５に設けられた識別図形にカメラ３１を正対させ、当該カメラ３１によって識別図形を撮像する姿勢（撮像姿勢）（図４参照）、工作機械１０のチャック１２に対してハンド２９に把持された加工前ワークＷを対向させた姿勢（取付準備姿勢）、ハンド２９をチャック１２側に移動させて、加工前ワークＷを当該チャック１２によって把持可能にした姿勢（取付姿勢）、ハンド２９をチャック１２から離隔させた姿勢（離隔姿勢）、ハンド２９及びカメラ３１を工作機械１０から抜け出させた姿勢（作業完了姿勢）の各姿勢が設定される。 Further, in the work mounting operation posture, for example, the work start posture before entering the machine tool 10, the hand 29 and the camera 31 are made to enter the machining area of the machine tool 10, and the identification figure provided on the support bar 15 is formed. The camera 31 is faced to face the posture (imaging posture) (see FIG. 4) in which the identification figure is imaged by the camera 31, and the unmachined work W held by the hand 29 is opposed to the chuck 12 of the machine tool 10. Posture (mounting preparation posture), posture in which the hand 29 is moved to the chuck 12 side so that the machine tool W before machining can be gripped by the chuck 12 (mounting posture), and posture in which the hand 29 is separated from the chuck 12 (separation posture). ), The posture in which the hand 29 and the camera 31 are pulled out from the machine tool 10 (work completion posture) are set.

前記製品ストッカ２１では、当該製品ストッカ２１において作業を開始するときの作業開始姿勢（収納開始姿勢）、ハンド２９に把持した加工済ワークＷ’を製品ストッカ２１内に収納するための各作業姿勢（収納姿勢）及び収納を完了したときの姿勢（収納完了姿勢であり、本例では、収納開始姿勢と同じ姿勢）が収納動作姿勢として設定される。 In the product stocker 21, the work start posture (storage start posture) when the work is started in the product stocker 21, and each work posture for storing the processed work W'held by the hand 29 in the product stocker 21 (storing start posture). The storage posture) and the posture when the storage is completed (the storage completion posture, which is the same as the storage start posture in this example) are set as the storage operation postures.

前記自動運転制御部４７は、前記動作プログラム記憶部４１に格納された自動運転用プログラム及びマップ生成用プログラムの何れかを用い、当該プログラムに従って無人搬送車３５、ロボット２５及びカメラ３１を動作させる機能部である。その際、前記移動位置記憶部４２及び動作姿勢記憶部４３に格納されたデータが必要に応じて使用される。 The automatic driving control unit 47 uses one of the automatic driving program and the map generation program stored in the operation program storage unit 41, and operates the automatic guided vehicle 35, the robot 25, and the camera 31 according to the program. It is a department. At that time, the data stored in the moving position storage unit 42 and the operating posture storage unit 43 are used as needed.

前記基準画像記憶部４５は、ティーチング操作時に、無人搬送車３５が工作機械１０に対して設定された作業位置に在り、ロボット２５が前記撮像姿勢にあるときに、前記ツールプリセッタ１３の支持バー１５に設けられた識別図形を前記カメラ３１により撮像して得られた画像を、基準画像として記憶する機能部である。 The reference image storage unit 45 is a support bar of the tool presetter 13 when the automatic guided vehicle 35 is in the working position set with respect to the machine tool 10 and the robot 25 is in the imaging posture during the teaching operation. It is a functional unit that stores an image obtained by imaging the identification figure provided in 15 with the camera 31 as a reference image.

前記補正量算出部５０は、前記自動運転制御部４７による制御の下で、前記動作プログラム記憶部４１に格納された自動運転用プログラムに従って前記ロボット２５が自動運転される際に、当該ロボット２５が撮像姿勢に在り、カメラ３１によって前記識別図形が撮像されると、当該自動運転時に得られた現在の識別図形の画像と、前記基準画像記憶部４５に格納された基準画像（ティーチング操作時に撮像された画像）とに基づいて、ロボット２５の現在の姿勢とティーチング操作時の姿勢との間におけるカメラ３１の位置誤差量であって、識別図形と平行な平面内で設定される相互に直交する２軸方向におけるカメラ３１の位置誤差量、及び該平面と直交する垂直軸回りのカメラ３１の回転誤差量を推定し、推定された各誤差量に基づいて、前記作業姿勢における前記作用部に対する補正量を算出する。 When the robot 25 is automatically operated according to the automatic operation program stored in the operation program storage unit 41 under the control of the automatic operation control unit 47, the correction amount calculation unit 50 causes the robot 25 to operate. When the identification figure is captured by the camera 31 in the imaging posture, the image of the current identification figure obtained during the automatic operation and the reference image stored in the reference image storage unit 45 (captured during the teaching operation). The amount of positional error of the camera 31 between the current posture of the robot 25 and the posture during the teaching operation based on the above image), which is set in a plane parallel to the identification figure and is orthogonal to each other 2. The amount of positional error of the camera 31 in the axial direction and the amount of rotation error of the camera 31 around the vertical axis orthogonal to the plane are estimated, and the amount of correction for the working portion in the working posture is based on each estimated error amount. Is calculated.

図６に、ティーチング操作時にカメラ３１によって撮像された識別図形の画像、即ち、前記基準画像を示している。図中、実線で示した矩形線はカメラ３１の視野、言い換えれば基準画像の輪郭である。また、図７に、自動運転時に得られた現在の識別図形の画像を実線で示している。尚、図７において、実線で示した矩形線は現在の画像の輪郭であり、一点鎖線で示した矩形線は、基準画像の輪郭である。この図７では、ロボット２５のティーチング操作時における前記撮像姿勢と、現在の撮像姿勢にズレが生じたことによって、基準画像と現在の画像との間にズレが生じていることを表している。 FIG. 6 shows an image of the identification figure captured by the camera 31 during the teaching operation, that is, the reference image. In the figure, the rectangular line shown by the solid line is the field of view of the camera 31, in other words, the outline of the reference image. Further, FIG. 7 shows an image of the current identification figure obtained during automatic operation with a solid line. In FIG. 7, the rectangular line shown by the solid line is the contour of the current image, and the rectangular line shown by the alternate long and short dash line is the contour of the reference image. FIG. 7 shows that the deviation between the reference image and the current image is caused by the deviation between the imaging posture at the time of the teaching operation of the robot 25 and the current imaging posture.

前記補正量算出部５０は、まず、ティーチング操作時における図６に示した基準画像を解析することにより、例えば、この基準画像、言い換えれば、カメラ３１のフレーム上における識別図形から設定される図形座標系（ｘ_ｔ軸－ｙ_ｔ軸座標系）に基づいて、予め設定された図形座標系（ｘ_ｔ軸－ｙ_ｔ軸座標系）とロボット座標系（ｘ軸－ｙ軸座標系）との間の変換式に従って、ロボット座標系（ｘ軸－ｙ軸座標系）におけるティーチング時のカメラ３１の位置（ｘ_{ｔｅａｃｈ}，ｙ_{ｔｅａｃｈ}，ｒｚ_{ｔｅａｃｈ}）を算出する。尚、ｘ軸及びｙ軸は、識別図形と平行な相互に直交する２軸であって、ティーチング操作時におけるロボット２５の座標系であり、ｒｚは、ｘ軸及びｙ軸に直交するｚ軸回りのカメラ３１の回転角度である。また、本例において、前記ｘ_ｔ軸，ｙ_ｔ軸、及びｘ軸，ｙ軸は水平面内で設定される（後述のｘ’軸及びｙ’軸も同様）。 The correction amount calculation unit 50 first analyzes the reference image shown in FIG. 6 during the teaching operation, so that, for example, the reference image, in other words, the graphic coordinates set from the identification figure on the frame of the camera 31. Between a preset graphic coordinate system (x _t -axis-y _t -axis coordinate system) and a robot coordinate system (x-axis-y-axis coordinate system) based on the system (x- _t -axis-y- _t -axis coordinate system). According to the conversion formula of, the position (x- _teach , y- _teach , rz- _teach ) of the camera 31 at the time of teaching in the robot coordinate system (x-axis-y-axis coordinate system) is calculated. It should be noted that the x-axis and the y-axis are two axes parallel to the identification figure and orthogonal to each other, and are the coordinate systems of the robot 25 at the time of the teaching operation, and rz is around the z-axis orthogonal to the x-axis and the y-axis. It is the rotation angle of the camera 31 of. Further, in this example, the _xt axis, the yt axis, and the x-axis and the _y -axis are set in the horizontal plane (the same applies to the x'axis and the y'axis described later).

次に、補正量算出部５０は、同様にして、現在の画像を解析し、カメラ３１のフレーム上における識別図形から設定される図形座標系（ｘ_ｔ軸－ｙ_ｔ軸座標系）に基づいて、前記変換式に従って、ティーチング操作時におけるロボット２５の座標系（ｘ軸－ｙ軸座標系）における現在のカメラ３１の位置（ｘ_ｃｕｒｒ，ｙ_ｃｕｒｒ，ｒｚ_ｃｕｒｒ）を算出する。 Next, the correction amount calculation unit 50 analyzes the current image in the same manner, and based on the graphic coordinate system ( _xt -axis- _yt -axis coordinate system) set from the identification figure on the frame of the camera 31. , The current position (x _curr , y _curr , rz _curr ) of the camera 31 in the coordinate system (x-axis − y-axis coordinate system) of the robot 25 at the time of the teaching operation is calculated according to the above conversion formula.

そして、補正量算出部５０は、ｘ軸－ｙ軸座標系におけるカメラ３１のティーチング操作時の位置と、現在の位置との間の位置誤差量Δｘ，Δｙ及び回転誤差量Δｒｚを以下の数式１－数式３によって推定する。
（数式１）

（数式２）

（数式３）

Then, the correction amount calculation unit 50 calculates the position error amounts Δx, Δy and the rotation error amount Δrz between the position at the time of teaching operation of the camera 31 in the x-axis − y-axis coordinate system and the current position by the following mathematical formula 1. -Estimate by formula 3.
(Formula 1)

(Formula 2)

(Formula 3)

ここで、図７に示すように、現在のロボット２５の座標系をｘ’軸－ｙ’軸座標系とし、図８に示すように、ティーチング時のロボット２５の座標系であるｘ軸－ｙ軸座標系との間に、ｔ_ｘ，ｔ_ｙの並進誤差が存在すると考えると、ｘ’軸－ｙ’軸座標系における現在のカメラ３１の位置（ｘ’，ｙ’）は、以下の数式４によって算出される。尚、下式中のｘ，ｙはそれぞれｘ軸－ｙ軸座標系におけるティーチング時のカメラ３１の位置（ｘ_{ｔｅａｃｈ}，ｙ_{ｔｅａｃｈ}）であり、初期設定の値として既知である。
（数式４）

Here, as shown in FIG. 7, the current coordinate system of the robot 25 is the x'axis-y'axis coordinate system, and as shown in FIG. 8, the x-axis-y, which is the coordinate system of the robot 25 at the time of teaching. Considering that there is a translational error of t _x , _ty with the axis coordinate system, the current position (x', y') of the camera 31 in the x'axis-y'axis coordinate system is calculated by the following formula. Calculated by 4. Note that x and y in the following equation are the positions (x _touch , y _touch ) of the camera 31 at the time of teaching in the x-axis − y-axis coordinate system, respectively, and are known as initial setting values.
(Formula 4)

そして、上記の数式４を変形した下記数式５によって上記並進誤差ｔ_ｘ，ｔ_ｙを算出することができ、補正量算出部５０は、この数式５に従って、並進誤差量ｔ_ｘ，ｔ_ｙを算出して、この並進誤差量ｔ_ｘ，ｔ_ｙ及び前記回転誤差量Δｒｚを前記作業姿勢における補正量とする。
（数式５）

但し、ｘ’軸－ｙ’軸座標系における現在のカメラ３１の位置（ｘ’，ｙ’）は、ｘ軸－ｙ軸座標系における現在のカメラ３１の位置（ｘ＋Δｘ，ｙ＋Δｙ）と一致する。 Then, the translational error t _x , _ty can be calculated by the following formula 5 which is a modification of the above formula 4, and the correction amount calculation unit 50 calculates the translational error amount t _x , _ty according to this formula 5. Then, the translational error amount t _x , ty and the rotation error amount _Δrz are used as the correction amount in the working posture.
(Formula 5)

However, the current position (x', y') of the camera 31 in the x'axis-y'axis coordinate system coincides with the current position (x + Δx, y + Δy) of the camera 31 in the x-axis-y-axis coordinate system.

そして、前記自動運転制御部４７は、ロボット２５が工作機械１０で作業する際の作業姿勢、例えば、前記ワーク取出動作姿勢における前記取出準備姿勢、把持姿勢及び取外姿勢、並びに前記ワーク取付動作姿勢における取付準備姿勢、取付姿勢及び離隔姿勢について、前記補正量算出部５０において算出された補正量に基づいて、ロボット２５のハンド２９に位置を補正する。 Then, the automatic operation control unit 47 has a working posture when the robot 25 works on the machine tool 10, for example, the taking-out preparation posture, the gripping posture and the removing posture in the work taking-out operation posture, and the work mounting operation posture. With respect to the mounting preparation posture, the mounting posture, and the separation posture in the above, the position of the hand 29 of the robot 25 is corrected based on the correction amount calculated by the correction amount calculation unit 50.

例えば、ロボット２５のハンド２９をチャック１２に対して位置決めする際には、現在のロボット２５の座標系であるｘ’軸－ｙ’軸座標系におけるハンド２９の位置決め位置が、ティーチング操作時に設定されたｘ軸－ｙ軸座標系におけるハンド２９の位置決め位置と一致するように、ｘ’軸－ｙ’軸座標系におけるハンド２９の位置決め位置が補正される。 For example, when positioning the hand 29 of the robot 25 with respect to the chuck 12, the positioning position of the hand 29 in the x'axis-y'axis coordinate system, which is the current coordinate system of the robot 25, is set at the time of the teaching operation. The positioning position of the hand 29 in the x'axis-y'axis coordinate system is corrected so as to match the positioning position of the hand 29 in the x-axis-y-axis coordinate system.

この補正の態様を図９に示している。図９において、位置ｘｐ_ｐ，ｙｐ_ｐ、及び位置ｘｐ_ｃ，ｙｐ_ｃはティーチング操作時のロボット座標系であるｘ軸－ｙ軸座標系におけるハンド２９の設定位置であり、ハンド２９は撮像姿勢における位置ｘｐ_ｐ，ｙｐ_ｐからチャック１２に対して設定された位置ｘｐ_ｃ，ｙｐ_ｃに位置決めされる設定となっている。前記作業位置に位置決めされた無人搬送車３５及びロボット２５に位置ズレが無ければ、ハンド２９は位置ｘｐ_ｐ，ｙｐ_ｐから位置ｘｐ_ｃ，ｙｐ_ｃに移動する。 The mode of this correction is shown in FIG. In FIG. 9, the positions xp _p , yp _p , and the positions xp _c , yp _c are the set positions of the hand 29 in the x-axis-y-axis coordinate system, which is the robot coordinate system at the time of teaching operation, and the hand 29 is in the imaging posture. It is set to be positioned from the positions xp _p and yp _p to the positions xp _c and yp _c set with respect to the chuck 12. If there is no positional deviation between the automatic guided vehicle 35 and the robot 25 positioned at the working position, the hand 29 moves from the positions xp _p and yp _p to the positions xp _c and yp _c .

図９において、位置ｘｐ’_ｐ，ｙｐ’_ｐは、現在の動作時のロボット座標系であるｘ’軸－ｙ’軸座標系における撮像姿勢時のハンド２９の位置である。この位置ｘｐ’_ｐ，ｙｐ’_ｐは、前記作業位置に位置決めされた無人搬送車３５及びロボット２５に位置ズレが生じているため、ティーチング操作時の位置ｘｐ_ｐ，ｙｐ_ｐに対して、位置誤差Δｘ，Δｙ、及び回転誤差Δｒｚを生じており、ｘ’軸－ｙ’軸座標系において、前記ｘｐ_ｐ，ｙｐ_ｐに対応する位置である。そして、このｘ’軸－ｙ’軸座標系において、前記ｘｐ_ｃ，ｙｐ_ｃに対応する位置はｘｐ’_ｃ，ｙｐ’_ｃであるが、この位置は、チャック１２の真の位置からズレた位置となっている。そこで、自動運転制御部４７は、このｘｐ_ｃ，ｙｐ_ｃを、前記補正量算出部５０によって算出された並進誤差量ｔ_ｘ，ｔ_ｙと、前記回転誤差量Δｒｚに基づき、下記数式６に従って補正したｘｐｈ’_ｃ，ｙｐｈ’_ｃを算出し、この補正された位置ｘｐｈ’_ｃ，ｙｐｈ’_ｃにハンド２９を移動させる。また、前記回転誤差量Δｒｚに基づいてＺ軸回りのハンド２９の回転姿勢を補正する。
（数式６）

In FIG. 9, the positions _xp'p and _yp'p are the positions of the hands 29 in the imaging posture in the x'axis-y'axis coordinate system, which is the robot coordinate system at the time of the current operation. This position _{xp'p, yp'p has a position error with respect to the position xp p} _{, yp p} _at _the time of teaching operation because the automatic guided vehicle 35 and the robot 25 positioned at the work position are displaced from each other. Δx, Δy, and a rotation error Δrz are generated, and the positions correspond to the xp _p and yp _p in the x'axis-y'axis coordinate system. Then, in this x'axis-y'axis coordinate system, the positions corresponding to the xp _c and yp _c are _xp'c and _yp'c , but this position is a position deviated from the true position of the chuck 12. It has become. Therefore, the automatic operation control unit 47 corrects the xp _c and yp _c according to the following mathematical formula 6 based on the translation error amounts t _x and ty calculated by the correction amount calculation unit 50 and the rotation error amount _Δrz . The _xph'c and _yph'c are calculated, and the hand 29 is moved to the corrected positions _xph'c and _yph'c . Further, the rotation posture of the hand 29 around the Z axis is corrected based on the rotation error amount Δrz.
(Formula 6)

尚、この位置データｘｐｈ’_ｃ，ｙｐｈ’_ｃは、予め設定された変換式により、ロボット２５の各関節の角度データに変換され、変換された角度データに従って、ロボット２５は制御される。 The position data _xph'c and _yph'c are converted into angle data of each joint of the robot 25 by a preset conversion formula, and the robot 25 is controlled according to the converted angle data.

そして、ロボット２５が工作機械１０で作業する各作業姿勢としてティーチング操作時において設定されたハンド２９の各位置ｘｐ_ｉ，ｙｐ_ｉに対応する補正された位置ｘｐｈ’_ｉ，ｙｐｈ’_ｉは、上記数式６を一般化した以下の数式７によって算出することができ、自動運転制御部４７は、前記回転誤差量Δｒｚに基づいてＺ軸回りのハンド２９の回転姿勢を補正するとともに、このようにして算出される各補正位置ｘｐｈ’_ｉ，ｙｐｈ’_ｉにハンド２９を移動させる。但し、ｉは１以上の自然数である。
（数式７）

Then, the corrected positions _{xph'i and yph'i corresponding to the respective positions xpi i} _and _{ypi i} _of the hand 29 set at the time of teaching operation as each work posture in which the robot 25 works on the machine tool 10 are calculated by the above equations. It can be calculated by the following formula 7 which is a generalization of 6, and the automatic operation control unit 47 corrects the rotational posture of the hand 29 around the Z axis based on the rotation error amount Δrz, and calculates in this way. The hand 29 is moved to each correction position _xph'i and _yph'i . However, i is a natural number of 1 or more.
(Formula 7)

以上の構成を備えた本例のシステム１によれば、以下のようにして、無人自動生産が実行される。 According to the system 1 of this example having the above configuration, unmanned automatic production is executed as follows.

即ち、前記制御装置４０の自動運転制御部４７による制御の下で、前記動作プログラム記憶部４１に格納された自動運転用プログラムが実行され、この自動運転用プログラムに従って、例えば、無人搬送車３５及びロボット２５が以下のように動作する。 That is, under the control of the automatic operation control unit 47 of the control device 40, the automatic operation program stored in the operation program storage unit 41 is executed, and according to this automatic operation program, for example, the unmanned transport vehicle 35 and The robot 25 operates as follows.

まず、無人搬送車３５は、工作機械１０に対して設定された作業位置に移動するとともに、ロボット２５は上述したワーク取出動作の作業開始姿勢を取る。尚、この時、工作機械１０は所定の加工を完了して、ロボット２５が加工領域内に侵入可能なようにドアカバーを開いており、また、自動運転制御部４７からの指令を受信して、前記ツールプリセッタ１３の支持バー１５を加工領域内に進出させているものとする。 First, the automatic guided vehicle 35 moves to the work position set for the machine tool 10, and the robot 25 takes the work start posture of the work take-out operation described above. At this time, the machine tool 10 completes the predetermined machining, opens the door cover so that the robot 25 can enter the machining area, and receives a command from the automatic operation control unit 47. It is assumed that the support bar 15 of the tool presetter 13 is advanced into the machining area.

ついで、ロボット２５は前記撮像姿勢に移行し、前記支持バー１５に設けられた識別図形をカメラ３１によって撮像する。そして、このようにして、カメラ３１によって識別図形が撮像されると、前記補正量算出部５０において、当該識別図形の画像と、前記基準画像記憶部４５に格納された基準画像とを基に、上記数式１－３に従ってロボット２５のティーチング操作時における撮像姿勢と、現在の撮像姿勢との間の位置誤差量Δｘ，Δｙ及び回転誤差量Δｒｚが推定され、推定された各誤差量に基づき、上述した数式４－５に従って、ロボット２５の以降のワーク取出動作姿勢に対する並進誤差の補正量ｔ_ｘ，ｔ_ｙ及び回転誤差の補正量Δｒｚが算出される。 Then, the robot 25 shifts to the imaging posture, and the identification figure provided on the support bar 15 is imaged by the camera 31. Then, when the identification figure is imaged by the camera 31 in this way, the correction amount calculation unit 50 uses the image of the identification figure and the reference image stored in the reference image storage unit 45 as a reference. The position error amount Δx, Δy and the rotation error amount Δrz between the image pickup posture at the time of teaching operation of the robot 25 and the current image pickup posture are estimated according to the above formula 1-3, and the above-mentioned is described based on each estimated error amount. According to the mathematical formula 4-5, the correction amount t _x , ty of the translational error and the correction amount _Δrz of the rotation error with respect to the subsequent work taking-out operation posture of the robot 25 are calculated.

そして、自動運転制御部４７は、補正量算出部５０により算出された各補正量に基づいて、以降のワーク取出動作姿勢、即ち、上述した取出準備姿勢、把持姿勢、取外姿勢及び作業完了姿勢におけるハンド２９の位置を数式７に従って補正するとともに、Ｚ軸回りの回転位置を補正して、工作作機械１０のチャック１２に把持された加工済ワークＷ’をハンド２９に把持して当該工作機械１０から取り出す。尚、ロボット２５に前記把持姿勢を取らせた後に、自動運転制御部４７から工作機械１０にチャック開指令を送信することで、当該チャック１２が開かれる。 Then, the automatic operation control unit 47 is based on each correction amount calculated by the correction amount calculation unit 50, and the subsequent work take-out operation posture, that is, the above-mentioned take-out preparation posture, gripping posture, removal posture, and work completion posture. The position of the hand 29 in the above is corrected according to the equation 7, and the rotation position around the Z axis is corrected, and the machined work W'held by the chuck 12 of the machine tool 10 is gripped by the hand 29 and the machine tool is concerned. Take out from 10. After the robot 25 is made to take the gripping posture, the chuck 12 is opened by transmitting a chuck opening command from the automatic operation control unit 47 to the machine tool 10.

次に、自動運転制御部４７は、無人搬送車３５を、製品ストッカ２１に対して設定された作業位置に移動させるとともに、ロボット２５に、当該製品ストッカ２１において作業を開始するときの収納開始姿勢、ハンド２９に把持した加工済ワークを製品ストッカ２１内に収納するための各収納姿勢及び収納を完了したときの収納完了姿勢を順次取らせて、ハンド２９に把持した加工済ワークを製品ストッカ２１に収納する。 Next, the automatic operation control unit 47 moves the automatic guided vehicle 35 to the work position set for the product stocker 21, and causes the robot 25 to start the storage start posture when starting work on the product stocker 21. , Each storage posture for storing the processed work held by the hand 29 in the product stocker 21 and the storage completion posture when the storage is completed are sequentially taken, and the processed work held by the hand 29 is stored in the product stocker 21. Store in.

ついで、自動運転制御部４７は、無人搬送車３５を、材料ストッカ２０に対して設定された作業位置に移動させるとともに、ロボット２５に、当該材料ストッカ２０において作業を開始するときの取出開始姿勢、当該材料ストッカ２０に収納された加工前ワークをハンド２９によって把持して、当該材料ストッカ２０から取り出すための各取出姿勢及び取出を完了したときの取出完了姿勢を順次取らせて、ハンド２９に加工前ワークを把持させる。 Next, the automatic operation control unit 47 moves the automatic guided vehicle 35 to the work position set for the material stocker 20, and causes the robot 25 to take out the take-out start posture when starting work on the material stocker 20. The unprocessed work stored in the material stocker 20 is grasped by the hand 29, and each take-out posture for taking out from the material stocker 20 and the take-out completion posture when the take-out is completed are sequentially taken, and the hand 29 is processed. Grip the front work.

次に、自動運転制御部４７は、再度、無人搬送車３５を工作機械１０に対して設定された作業位置に移動させるとともに、ロボット２５に上述したワーク取付動作の作業開始姿勢を取らせる。ついで、ロボット２５を前記撮像姿勢に移行させ、前記支持バー１５に設けられた識別図形をカメラ３１によって撮像させる。そして、このようにして、カメラ３１によって識別図形が撮像されると、前記補正量算出部５０において、当該識別図形の画像と、前記基準画像記憶部４５に格納された基準画像とを基に、上記数式１－３に従ってロボット２５のティーチング操作時における撮像姿勢と、現在の撮像姿勢との間の位置誤差量Δｘ，Δｙ及び回転誤差量Δｒｚが推定され、推定された各誤差量に基づき、上述した数式４－５に従って、ロボット２５の以降のワーク取付動作姿勢に対する並進誤差の補正量ｔ_ｘ，ｔ_ｙ及び回転誤差の補正量Δｒｚが算出される。 Next, the automatic operation control unit 47 moves the automatic guided vehicle 35 to the work position set for the machine tool 10 again, and causes the robot 25 to take the work start posture of the work mounting operation described above. Then, the robot 25 is moved to the imaging posture, and the identification figure provided on the support bar 15 is imaged by the camera 31. Then, when the identification figure is imaged by the camera 31 in this way, the correction amount calculation unit 50 uses the image of the identification figure and the reference image stored in the reference image storage unit 45 as a reference. The position error amount Δx, Δy and the rotation error amount Δrz between the image pickup posture at the time of teaching operation of the robot 25 and the current image pickup posture are estimated according to the above formula 1-3, and the above-mentioned is described based on each estimated error amount. According to the mathematical formula 4-5, the correction amount t _x , ty of the translational error and the correction amount _Δrz of the rotation error with respect to the subsequent work mounting operation posture of the robot 25 are calculated.

この後、自動運転制御部４７は、補正量算出部５０により算出された各補正量に基づいて、以降のロボット２５のワーク取付動作姿勢、即ち、上述した取付準備姿勢、取付姿勢、離隔姿勢及び作業完了姿勢におけるハンド２９の位置を数式７に従って補正するとともに、Ｚ軸回りの回転位置を補正して、ロボット２５に、ハンド２９に把持された加工前ワークＷを工作機械１０のチャック１２に取り付けた後、機外に退出する動作を行わせる。この後、自動運転制御部４７は、工作機械１０に加工開始指令を送信して、工作機械１０に加工動作を行わせる。尚、ロボット２５に前記取付姿勢を取らせた後に、自動運転制御部４７から工作機械１０にチャック閉指令を送信することで、当該チャック１２が閉じられ、当該チャック１２によって加工前ワークＷが把持される。 After that, the automatic operation control unit 47 determines the work mounting operation posture of the subsequent robot 25, that is, the mounting preparation posture, the mounting posture, the separation posture, and the above-mentioned mounting posture, based on each correction amount calculated by the correction amount calculation unit 50. The position of the hand 29 in the work completion posture is corrected according to the equation 7, and the rotation position around the Z axis is corrected, and the unmachined work W gripped by the hand 29 is attached to the chuck 12 of the machine tool 10 to the robot 25. After that, the aircraft is made to move out of the aircraft. After that, the automatic operation control unit 47 sends a machining start command to the machine tool 10 to cause the machine tool 10 to perform the machining operation. After the robot 25 is made to take the mounting posture, the chuck 12 is closed by transmitting a chuck closing command from the automatic operation control unit 47 to the machine tool 10, and the work W before machining is gripped by the chuck 12. Will be done.

そして、以上を繰り返すことにより、本例のシステム１では、無人自動生産が連続して実行される。 Then, by repeating the above, in the system 1 of this example, unmanned automatic production is continuously executed.

そして、本例のシステム１では、ロボット２５が実際に作業する工作機械１０の加工領域内に配置された識別図形を用いて、ロボット２５の作業姿勢を補正するようにしているので、当該作業姿勢を正確に補正することができ、これにより、ロボット２５は、高い動作精度が求められる作業でも、当該作業を精度良く実行することができる。 Then, in the system 1 of this example, the working posture of the robot 25 is corrected by using the identification figure arranged in the machining area of the machine tool 10 in which the robot 25 actually works. With this, the robot 25 can accurately execute the work even if the work requires high operation accuracy.

また、このように、ロボット２５が精度の良い作業を実行することで、当該システム１は不要な中断を招くことなく高い稼働率で稼働し、結果、当該システム１によれば、信頼性が高く、生産効率の高い無人化を図ることが可能となる。 Further, as the robot 25 executes the work with high accuracy in this way, the system 1 operates at a high operating rate without causing unnecessary interruption, and as a result, the system 1 has high reliability. It is possible to achieve high production efficiency and unmanned operation.

また、動作プログラムに従って動作するロボット２５は、カメラ３１によって識別図形を撮像する際に、一度の動作でこれを実行するように構成されているので、従来に比べて、短時間で精度の良い補正を行うことができる。 Further, since the robot 25 that operates according to the operation program is configured to execute the identification figure by the camera 31 in one operation, the correction is performed in a short time and with high accuracy as compared with the conventional case. It can be performed.

また、本例では、工作機械１０が加工を実行しているときには、加工領域外に格納されるツールプリセッタ１３の支持バー１５に識別図形を設けているので、当該識別図形が加工時に発生する切屑等によって汚損されるのを防止することができ、この結果、上記補正を精度良く行うことができる。 Further, in this example, when the machine tool 10 is performing machining, the identification figure is provided on the support bar 15 of the tool presetter 13 stored outside the machining area, so that the identification figure is generated at the time of machining. It is possible to prevent it from being soiled by chips and the like, and as a result, the above correction can be performed with high accuracy.

また、本例では、前記識別図形を、複数の画素が二次元に配列されたマトリクス構造を有するものとしているので、前記位置誤差量Δｘ，Δｙ、及び回転誤差量Δｒｚを高精度に、しかも高い繰り返し精度で推定することができる。 Further, in this example, since the identification figure has a matrix structure in which a plurality of pixels are arranged two-dimensionally, the position error amounts Δx, Δy and the rotation error amount Δrz are highly accurate and high. It can be estimated with repeatability.

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本例のシステムの構成は、図２において、符号１’で示される。同図２に示すように、本例のシステム１’は、制御装置４０’における補正量算出部５０’が第１の実施形態に係るシステム１とは異なるもので、他の構成については、第１の実施形態に係るシステム１と同じである。したがって、以下では、補正量算出部５０’以外の構成については、その説明を省略する。尚、本例では、前記ロボット２５の撮像姿勢において、第１の実施形態と同様に、カメラ３１を識別図形に対して正対させる方がより高精度な補正ができて好ましいが、正対させることなく、カメラ３１の撮像光軸が識別図形に対して斜めに傾斜した姿勢としても、実用的な補正を行うことができる。 (Second embodiment)
Next, a second embodiment of the present invention will be described. The configuration of the system of this example is shown by reference numeral 1'in FIG. As shown in FIG. 2, in the system 1'of this example, the correction amount calculation unit 50'in the control device 40' is different from the system 1 according to the first embodiment, and the other configurations are the first. It is the same as the system 1 according to the embodiment of 1. Therefore, in the following, the description of the configurations other than the correction amount calculation unit 50'will be omitted. In this example, in the imaging posture of the robot 25, it is preferable to have the camera 31 face the identification figure in the same manner as in the first embodiment, because more accurate correction can be performed, but the camera 31 faces the identification figure. Without this, even if the image pickup optical axis of the camera 31 is tilted diagonally with respect to the identification figure, practical correction can be performed.

本例の補正量算出部５０’は、前記補正量算出部５０における誤差量の算出手法を一般化した手法によって、前記ロボット２５の現在の姿勢とティーチング操作時の姿勢との間における前記カメラ３１の位置誤差量及び回転誤差量を算出するとともに、得られた位置誤差量及び回転誤差量に基づいて、ロボット２５の各作業姿勢を補正する。 The correction amount calculation unit 50'of this example is a method that generalizes the error amount calculation method in the correction amount calculation unit 50, and the camera 31 between the current posture of the robot 25 and the posture at the time of teaching operation. The position error amount and the rotation error amount of the robot 25 are calculated, and each working posture of the robot 25 is corrected based on the obtained position error amount and the rotation error amount.

具体的には、補正量算出部５０’は、自動運転時に得られた現在の識別図形の画像と、前記基準画像記憶部４５に格納された基準画像（ティーチング操作時に撮像された画像）等に基づいて、以下の処理を実行して、ロボット２５の現在の姿勢とティーチング操作時の姿勢との間におけるカメラ３１の位置誤差量であって、識別図形と平行な平面内で設定される相互に直交するｘ軸及びy軸、並びにこれらｘ軸及びy軸に直交するｚ軸方向におけるカメラ３１の位置誤差量と、ｘ軸、ｙ軸及びｚ軸回りのカメラ３１の回転誤差量とを推定するとともに、推定した位置誤差量及び回転誤差量に基づいて、ロボット２５の各作業姿勢を補正する。 Specifically, the correction amount calculation unit 50'is used for an image of the current identification figure obtained during automatic operation, a reference image stored in the reference image storage unit 45 (an image captured during the teaching operation), and the like. Based on this, the following processing is executed to determine the amount of position error of the camera 31 between the current posture of the robot 25 and the posture during the teaching operation, which is set in a plane parallel to the identification figure. Estimate the amount of positional error of the camera 31 in the x-axis and y-axis orthogonal to each other, and the z-axis direction orthogonal to these x-axis and y-axis, and the amount of rotational error of the camera 31 around the x-axis, y-axis, and z-axis. At the same time, each working posture of the robot 25 is corrected based on the estimated position error amount and rotation error amount.

（前処理）
前記補正量算出部５０’は、まず、前処理として、前記ティーチング操作時に撮像された前記基準画像に基づいて、カメラ３１に対応した座標系であるカメラ座標系から、前記識別図形に対した座標系である図形座標系に変換するための座標変換行列

を取得する。尚、この座標変換行列

は、カメラ３１の内部パラメータ、識別図形から認識されるホモグラフィ行列、中心座標、コーナ座標及び識別図形の大きさなどから取得することができる。 (Preprocessing)
First, as a preprocessing, the correction amount calculation unit 50'has coordinates with respect to the identification figure from the camera coordinate system, which is a coordinate system corresponding to the camera 31, based on the reference image captured during the teaching operation. Coordinate transformation matrix for converting to a graphic coordinate system that is a system

To get. This coordinate transformation matrix

Can be obtained from the internal parameters of the camera 31, the homography matrix recognized from the identification figure, the center coordinates, the corner coordinates, the size of the identification figure, and the like.

また、前記カメラ座標系は、カメラの平面状の撮像素子群について設定される３次元の座標系であり、例えば、撮像素子群の中心位置に原点が設定される。また、前記図形座標系は、識別図形について設定される３次元の座標系であり、例えば、識別図形の中心位置に原点が設定される。また、後述するロボット座標系は、制御装置４０’がロボット２５を制御するために設定された３次元の座標系であり、適宜位置に原点が設定されている。 Further, the camera coordinate system is a three-dimensional coordinate system set for the planar image pickup element group of the camera, and the origin is set at the center position of the image pickup element group, for example. Further, the graphic coordinate system is a three-dimensional coordinate system set for the identification figure, and for example, the origin is set at the center position of the identification figure. Further, the robot coordinate system described later is a three-dimensional coordinate system set for the control device 40'to control the robot 25, and the origin is set at an appropriate position.

次に、補正量算出部５０’は、取得された座標変換行列

と、前記カメラ座標系におけるカメラ位置であって、前記ティーチング操作における撮像時のカメラ位置

とに基づいて、前記図形座標系におけるティーチング操作時のカメラ位置

を以下の数式８によって算出する。
（数式８）

Next, the correction amount calculation unit 50'is the acquired coordinate transformation matrix.

And the camera position in the camera coordinate system, which is the camera position at the time of imaging in the teaching operation.

Based on the above, the camera position during the teaching operation in the graphic coordinate system.

Is calculated by the following formula 8.
(Formula 8)

（ティーチング操作時のカメラ位置算出処理）
次に、補正量算出部５０’は、ティーチング操作時のロボット座標系におけるカメラ位置

を以下の数式９によって算出する。
（数式９）

続いて、補正量算出部５０’は、ティーチング操作時のカメラ座標系からティーチング操作時のロボット座標系へ変換するための座標変換行列

を以下の数式１０によって算出する。
（数式１０）

ここで、

の回転行列成分

を基に、ｘ軸、ｙ軸及びｚ軸回りの各回転角度

、

を算出する。
尚、

は、図形座標系からティーチング操作時のロボット座標系へ変換するための座標変換行列である。例えば、図形座標系からティーチング操作時のカメラ座標系へ変換するための座標変換行列

と、前記カメラ座標系からティーチング操作時のロボット座標系へ変換するための座標変換行列

に基づいて、以下の数式１１によって取得することができる。
（数式１１）

(Camera position calculation processing during teaching operation)
Next, the correction amount calculation unit 50'is the camera position in the robot coordinate system during the teaching operation.

Is calculated by the following formula 9.
(Formula 9)

Subsequently, the correction amount calculation unit 50'is a coordinate conversion matrix for converting the camera coordinate system during the teaching operation to the robot coordinate system during the teaching operation.

Is calculated by the following formula 10.
(Formula 10)

here,

Rotation matrix component of

Each rotation angle around the x-axis, y-axis and z-axis based on

,

Is calculated.
still,

Is a coordinate conversion matrix for converting from the graphic coordinate system to the robot coordinate system at the time of teaching operation. For example, a coordinate transformation matrix for converting from a graphic coordinate system to a camera coordinate system during a teaching operation.

And the coordinate transformation matrix for converting from the camera coordinate system to the robot coordinate system at the time of teaching operation.

Based on, it can be obtained by the following formula 11.
(Formula 11)

（自動運転時のカメラ位置算出処理）
次に、補正量算出部５０’は、自動運転時（実動作時）に得られる現在の識別図形の画像に基づいて、上記と同様にして、カメラ座標系から図形座標系に変換するための座標変換行列

を取得した後、当該現在の画像に基づいて、図形座標系における現在のカメラ位置

を以下の数式１２によって算出するとともに、前記ティーチング操作時のロボット座標系における現在のカメラ位置

を以下の数式１３によって算出する。
（数式１２）

（数式１３）

続いて、補正量算出部５０’は、現在のカメラ座標系からティーチング操作時のロボット座標系へ変換するための座標変換行列

を以下の数式１４によって算出する。
（数式１４）

ここで、

の回転行列成分

を基に、ｘ軸、ｙ軸及びｚ軸回りの各回転角度

、

を算出する。
(Camera position calculation processing during automatic driving)
Next, the correction amount calculation unit 50'is used to convert the camera coordinate system to the graphic coordinate system in the same manner as above based on the image of the current identification graphic obtained during automatic operation (actual operation). Coordinate transformation matrix

Then, based on the current image, the current camera position in the graphic coordinate system

Is calculated by the following formula 12, and the current camera position in the robot coordinate system at the time of the teaching operation.

Is calculated by the following formula 13.
(Formula 12)

(Formula 13)

Subsequently, the correction amount calculation unit 50'is a coordinate conversion matrix for converting the current camera coordinate system to the robot coordinate system at the time of teaching operation.

Is calculated by the following formula 14.
(Formula 14)

here,

Rotation matrix component of

Each rotation angle around the x-axis, y-axis and z-axis based on

,

Is calculated.

（誤差量算出処理）
次に、補正量算出部５０’は、上記のようにして算出したティーチング操作時の座標系におけるティーチング操作時のカメラ角度

、

と、ティーチング操作時の座標系における現在のカメラ角度

、

とに基づいて、これらの差分を算出することによって、ｘ軸、ｙ軸及びｚ軸回りの各回転誤差Δｒｘ、Δｒｙ及びΔｒｚを算出する。
但し、

(Error amount calculation process)
Next, the correction amount calculation unit 50'is the camera angle at the time of the teaching operation in the coordinate system at the time of the teaching operation calculated as described above.

,

And the current camera angle in the coordinate system during the teaching operation

,

By calculating these differences based on the above, the rotation errors Δrx, Δry and Δrz around the x-axis, y-axis and z-axis are calculated.
however,

次に、補正量算出部５０’は、上記のようにして算出した各回転誤差Δｒｘ、Δｒｙ及びΔｒｚに基づいて、ティーチング操作時におけるロボット座標系と、現在のロボット座標系との間の回転行列

、即ち、回転誤差量を以下の数式１５によって算出するとともに、ティーチング操作時のロボット座標系から現在のロボット座標系への並進行列

、即ち、位置誤差量を以下の数式１６により算出する。
（数式１５）

（数式１６）

Next, the correction amount calculation unit 50'is a rotation matrix between the robot coordinate system at the time of teaching operation and the current robot coordinate system based on the rotation errors Δrx, Δry and Δrz calculated as described above.

That is, the amount of rotation error is calculated by the following formula 15, and the parallel traveling matrix from the robot coordinate system at the time of teaching operation to the current robot coordinate system.

That is, the amount of position error is calculated by the following formula 16.
(Formula 15)

(Formula 16)

（補正量算出処理）
次に、補正量算出部５０’は、上記のようにして算出した誤差量に基づいて、この誤差量を補正するための補正量

を以下の数式１７によって算出する。
（数式１７）

(Correction amount calculation process)
Next, the correction amount calculation unit 50'is a correction amount for correcting this error amount based on the error amount calculated as described above.

Is calculated by the following formula 17.
(Formula 17)

そして、前記自動運転制御部４７は、補正量算出部５０’により算出された補正量に基づいて、以降のロボット２５の動作姿勢におけるハンド２９の位置

を以下の数式１８に従って補正する。
（数式１８）

Then, the automatic operation control unit 47 determines the position of the hand 29 in the subsequent operating posture of the robot 25 based on the correction amount calculated by the correction amount calculation unit 50'.

Is corrected according to the following formula 18.
(Formula 18)

（第３の実施形態）
本例のシステムの構成は、図２に示において、符号１”で示される。図２に示すように、本例のシステム１”は、制御装置４０”を構成する補正量算出部５０”及び動作プログラム記憶部４１”が第１及び第２の実施形態に係るシステム１とは異なるもので、他の構成については、第１及び第２の実施形態に係るシステム１と同じである。したがって、以下では、補正量算出部５０”及び動作プログラム記憶部４１”以外の構成については、その説明を省略する。 (Third embodiment)
The configuration of the system of this example is shown by reference numeral 1 "in FIG. 2. As shown in FIG. 2, the system 1" of this example includes the correction amount calculation unit 50 "which constitutes the control device 40" and the correction amount calculation unit 50 ". The operation program storage unit 41 ”is different from the system 1 according to the first and second embodiments, and the other configurations are the same as the system 1 according to the first and second embodiments. Hereinafter, the description of the configurations other than the correction amount calculation unit 50 "and the operation program storage unit 41" will be omitted.

本例の動作プログラム記憶部４１”には、第１及び第２の実施形態とは異なる自動運転用プログラムが格納されている。この自動運転用プログラムは、工作機械１０に対して作業を行うロボット２５の動作の内、前記識別図形を撮像する動作が２回連続して実行される点が、第１及び第２の実施形態とは異なる。即ち、本例の自動運転プログラムでは、前記ｘ軸及びｙ軸方向の位置誤差量、及びｚ軸回りの回転誤差量を算出するための１回目の撮像動作と、算出された位置誤差量及び回転誤差量に基づいて、ロボット２５の撮像姿勢を補正した状態で、前記ｚ軸方向の位置誤差量、及びｘ軸及びｙ軸回りの各回転誤差量を算出するための２回目の撮像動作とを実行するように設定されている。 The operation program storage unit 41 "of this example stores an automatic operation program different from that of the first and second embodiments. This automatic operation program is a robot that performs work on the machine tool 10. Of the 25 operations, the operation of imaging the identification figure is executed twice in succession, which is different from the first and second embodiments. That is, in the automatic operation program of this example, the x-axis is used. The imaging posture of the robot 25 is corrected based on the first imaging operation for calculating the position error amount in the y-axis direction and the rotation error amount around the z-axis, and the calculated position error amount and rotation error amount. In this state, the position error amount in the z-axis direction and the second imaging operation for calculating each rotation error amount around the x-axis and the y-axis are set to be executed.

前記補正量算出部５０”は、前記第２の実施形態に係る補正量算出部５０’における「前処理」及び「ティーチング操作時のカメラ位置算出処理」を実行するとともに、前記自動運転制御部４７による制御の下で実行された１回目の撮像動作及び２回目の撮像動作によって得られる各画像に基づいて、それぞれ補正量を算出する処理を実行する。 The correction amount calculation unit 50 ”executes“ pre-processing ”and“ camera position calculation processing at the time of teaching operation ”in the correction amount calculation unit 50 ′ according to the second embodiment, and also performs the automatic operation control unit 47. A process of calculating a correction amount is executed based on each image obtained by the first image pickup operation and the second image pickup operation executed under the control of.

（１回目の補正量算出処理）
前記補正量算出部５０”は、１回目の撮像画像に基づいて、前記補正量算出部５０’における「前処理」、「ティーチング操作時のカメラ位置算出処理」、「自動運転時のカメラ位置算出処理」、「誤差量算出処理」及び「補正量算出処理」を実行して、前記ｘ軸及びｙ軸方向の各位置誤差量、及びｚ軸回りの回転誤差量を算出するとともに、これらの誤差量を補正するための補正量を算出する。 (First correction amount calculation process)
The correction amount calculation unit 50 ”is based on the first captured image, and the correction amount calculation unit 50 ′ is used for “pre-processing”, “camera position calculation processing during teaching operation”, and “camera position calculation during automatic operation”. "Processing", "Error amount calculation processing" and "Correction amount calculation processing" are executed to calculate each position error amount in the x-axis and y-axis directions and the rotation error amount around the z-axis, and these errors. Calculate the correction amount for correcting the amount.

その際、前記図形座標系におけるカメラ位置、及び前記ロボット座標系の各カメラ位置は、それぞれ以下として、前記「前処理」、「ティーチング操作時のカメラ位置算出処理」、「自動運転時のカメラ位置算出処理」、「誤差量算出処理」及び「補正量算出処理」を実行する。

At that time, the camera position in the graphic coordinate system and each camera position in the robot coordinate system are as follows, and the above-mentioned "pre-processing", "camera position calculation processing at the time of teaching operation", and "camera position at the time of automatic operation" are set as follows. "Calculation process", "Error amount calculation process" and "Correction amount calculation process" are executed.

以上の処理により、ｘ軸方向の位置誤差量Δｘ、ｙ軸方向の位置誤差量Δｙ、及びｚ軸回りの回転誤差量Δｒｚのみが得られ、これを補正するための補正量が上記の数式１７によって算出される。そして、自動運転制御部４７は、上記数式１８に従って、ロボット２５の２回目の撮像姿勢を補正する。 By the above processing, only the position error amount Δx in the x-axis direction, the position error amount Δy in the y-axis direction, and the rotation error amount Δrz around the z-axis are obtained, and the correction amount for correcting these is the above equation 17 Calculated by. Then, the automatic operation control unit 47 corrects the second imaging posture of the robot 25 according to the above mathematical formula 18.

（２回目の補正量算出処理）
次に、前記補正量算出部５０”は、２回目の撮像画像に基づいて、前記「前処理」、「ティーチング操作時のカメラ位置算出処理」、「自動運転時のカメラ位置算出処理」、「誤差量算出処理」及び「補正量算出処理」を実行して、前記ｘ軸、ｙ軸及びｚ軸方向の各位置誤差量、及びｘ軸、ｙ軸及びｚ軸回りの各回転誤差量を算出するとともに、これらの誤差量を補正するための補正量を算出する。 (Second correction amount calculation process)
Next, the correction amount calculation unit 50 "is based on the second captured image, and the" pre-processing "," camera position calculation processing at the time of teaching operation "," camera position calculation processing at the time of automatic operation ",""Error amount calculation process" and "correction amount calculation process" are executed to calculate each position error amount in the x-axis, y-axis and z-axis directions, and each rotation error amount around the x-axis, y-axis and z-axis. At the same time, the correction amount for correcting these error amounts is calculated.

その際、前記図形座標系におけるティーチング操作時のカメラ位置、及び前記ロボット座標系の各カメラ位置は、それぞれ以下として、前記「前処理」、「ティーチング操作時のカメラ位置算出処理」、「自動運転時のカメラ位置算出処理」、「誤差量算出処理」及び「補正量算出処理」を実行する。

At that time, the camera position at the time of teaching operation in the graphic coordinate system and each camera position of the robot coordinate system are as follows, respectively, and the above-mentioned "pre-processing", "camera position calculation processing at the time of teaching operation", and "automatic operation". Executes "camera position calculation process", "error amount calculation process", and "correction amount calculation process".

以上の処理により、ｘ軸方向の位置誤差量Δｘ、ｙ軸方向の位置誤差量Δｙ、ｚ軸方向の位置誤差量Δｚ、ｘ軸回りの回転誤差量Δｒｘ、ｙ軸回りの回転誤差量Δｒｙ、及びｚ軸回りの回転誤差量Δｒｚが得られ、これを補正するための補正量が上記の数式１７によって算出される。そして、自動運転制御部４７は、上記数式１８に従って、ロボット２５の姿勢を補正する。尚、ｘ軸方向の位置誤差量Δｘ、ｙ軸方向の位置誤差量Δｙ、及びｚ軸回りの回転誤差量Δｒｚについての補正量は、１回目に算出された値を維持しても良く、或いは、１回目に算出された値と２回目に算出された値を足し合わせた値で置き換えても良い。 By the above processing, the position error amount Δx in the x-axis direction, the position error amount Δy in the y-axis direction, the position error amount Δz in the z-axis direction, the rotation error amount Δrx around the x-axis, the rotation error amount Δry around the y-axis, And the rotation error amount Δrz around the z-axis is obtained, and the correction amount for correcting this is calculated by the above equation 17. Then, the automatic operation control unit 47 corrects the posture of the robot 25 according to the above mathematical formula 18. The correction amount for the position error amount Δx in the x-axis direction, the position error amount Δy in the y-axis direction, and the rotation error amount Δrz around the z-axis may maintain the values calculated at the first time, or may be maintained. The value calculated at the first time and the value calculated at the second time may be added and replaced with a value.

以上のように２段階で補正量を算出するのは、識別図形を撮像する際に、識別図形がカメラ３１の視野内において、その中心位置から遠い位置にある場合には、図形座標系から得られるｚ軸方向の位置データのばらつき、ｘ軸回りの回転データのばらつき、ｙ軸回りの回転データのばらつきが大きくなる傾向にあるため、これに起因して、ｘ軸及びｙ軸方向における位置精度が悪化する虞があるからである。 The correction amount is calculated in two steps as described above, when the identification figure is imaged, if the identification figure is located far from the center position in the field of view of the camera 31, it is obtained from the graphic coordinate system. The variation of the position data in the z-axis direction, the variation of the rotation data around the x-axis, and the variation of the rotation data around the y-axis tend to be large. This is because there is a risk that

そこで、上記のようにして、１回目の補正量算出処理では、ｘ軸及びｙ軸方向における位置誤差量、並びにｚ軸回りの回転誤差量Δｒｚを補正するための補正量を算出するとともに、この補正量に基づいて、ロボット２５の撮像姿勢を補正して、識別図形がカメラ３１の視野の中心に位置する状態にする。そして、２回目の補正量算出処理では、このように識別図形がカメラ３１の視野の中心に位置した画像に基づいて、残りのｚ軸方向における位置誤差量、並びにｘ軸及びｙ軸回りの回転誤差量Δｒｘ，Δｒｙに対する補正量を得るようにしている。以上により、正確なｘ軸、ｙ軸及びｚ軸方向における位置誤差量、並びにｘ軸、ｙ軸及びｚ軸回りの回転誤差量Δｒｘ，Δｒｙ，Δｒｚを算出することができ、これらの誤差量に対する正確な補正量を算出することができる。そして、この結果、ロボット２５の姿勢を高精度に制御することが可能となる。 Therefore, as described above, in the first correction amount calculation process, the correction amount for correcting the position error amount in the x-axis and y-axis directions and the rotation error amount Δrz around the z-axis is calculated, and this correction amount is calculated. Based on the correction amount, the imaging posture of the robot 25 is corrected so that the identification figure is located at the center of the field of view of the camera 31. Then, in the second correction amount calculation process, based on the image in which the identification figure is located at the center of the field of view of the camera 31, the remaining amount of position error in the z-axis direction and rotation around the x-axis and y-axis are performed. The correction amount for the error amounts Δrx and Δry is obtained. From the above, it is possible to calculate the exact amount of position error in the x-axis, y-axis and z-axis directions, and the amount of rotational error around the x-axis, y-axis and z-axis Δrx, Δry, Δrz. An accurate correction amount can be calculated. As a result, the posture of the robot 25 can be controlled with high accuracy.

（第４の実施形態）
これまでの実施形態では、位置誤差量Δｘ，Δｙ、及び回転誤差量Δｒｚを算出して、ロボット搭載移動装置の姿勢を補正しているが、この形態に限定されない。基準になる識別図形の位置である第１識別位置と、作業を行う前に位置を確認するためにカメラで撮影した識別図形を含む画像から算出される識別図形の位置である第２識別位置と、に基づいて、ワークなどの対象の対象位置を取得し、ロボットのハンド部の位置を補正する形態でもよい。つまり、位置誤差量Δｘ，Δｙ、及回転誤差量Δｒｚを算出せず、直接、対象位置を取得する形態でもよい。 (Fourth Embodiment)
In the embodiments so far, the position error amount Δx, Δy and the rotation error amount Δrz are calculated to correct the posture of the robot-mounted mobile device, but the present invention is not limited to this embodiment. The first identification position, which is the position of the reference figure, and the second identification position, which is the position of the identification figure calculated from the image including the identification figure taken by the camera to confirm the position before performing the work. , The target position of the target such as a work may be acquired and the position of the hand portion of the robot may be corrected. That is, the target position may be directly acquired without calculating the position error amount Δx, Δy and the rotation error amount Δrz.

また、これまでの実施形態では、ワークの着脱を例に主に説明したが、これに限定されない。対象は、ワークの他に、工具、ＡＴＣカメラ、計測器などがある。工作機械内に着脱して用いられるものを対象とする。これらの対象は、ロボット搭載移動装置で搬送することができるためである。 Further, in the embodiments so far, the attachment / detachment of the work has been mainly described as an example, but the present invention is not limited to this. Targets include tools, ATC cameras, measuring instruments, etc., in addition to workpieces. It is intended for items that are attached to and detached from the machine tool. This is because these objects can be transported by the robot-mounted mobile device.

そこで、まず、ロボット搭載移動装置は、工作機械内に配された識別図形と平行な平面内で設定される第１軸と第２軸とにおける識別図形の位置を第１識別位置（例えば、平面内の２軸を基準にした位置座標）をティーチングで記憶する。第１識別位置は、工作機械内からワーク、工具、ＡＴＣカメラ、計測器などの対象を取り出す動作、または、工作機械内にワーク、工具、ＡＴＣカメラ、計測器などの対象を設置する動作を行う際のロボット搭載移動装置の位置として第１装置位置と関連付けられた情報である。ここで、第１軸と第２軸とは交差していればよく、直交していなくてもよい。平面内で位置（座標）が判別できる情報を提供できる軸であればよい。もちろん、直交するｘ軸とｙ軸の関係が好ましい形態ではある。また、本実施形態のロボット搭載移動装置の第１装置位置は、回転などの位置変化も含めた位置情報である。 Therefore, first, the robot-mounted mobile device sets the position of the identification figure on the first axis and the second axis set in the plane parallel to the identification figure arranged in the machine tool to the first identification position (for example, the plane). (Position coordinates based on the two axes) are memorized by teaching. The first identification position performs an operation of taking out an object such as a work, a tool, an ATC camera, or a measuring instrument from the machine tool, or an operation of installing an object such as a work, a tool, an ATC camera, or a measuring instrument in the machine tool. This is information associated with the position of the first device as the position of the robot-mounted mobile device. Here, the first axis and the second axis may intersect with each other and may not be orthogonal to each other. Any axis may be used as long as it can provide information that can determine the position (coordinates) in the plane. Of course, the relationship between the x-axis and the y-axis that are orthogonal to each other is a preferable form. Further, the position of the first device of the robot-mounted mobile device of the present embodiment is position information including a position change such as rotation.

第１識別位置は、対象の位置である対象位置と関連付けられている。対象位置は、工具の位置、ワークの位置などの対象自体の位置情報でも良いし、ワークを取り付けている主軸のワーク取付位置、工具を取り付けている主軸や刃物台の工具取付位置などの設置位置や取り外し位置などの位置情報でもよい。 The first identification position is associated with the target position, which is the target position. The target position may be the position information of the target itself such as the position of the tool and the position of the work, or the installation position such as the work mounting position of the spindle on which the work is mounted, the tool mounting position of the spindle on which the tool is mounted, and the tool post. Or position information such as removal position may be used.

ロボット搭載移動装置は、例えば、他の第２工作機械の前から移動し、ワークを設置する第１工作機械の前に移動し、第１工作機械の前で停止する。ロボット搭載移動装置が停止した停止位置は、第２装置位置になる。この第２装置位置は、第１装置位置と同じであれば、補正を行うことなく、ワークを設置できる。本実施形態のロボット搭載移動装置は、移動し停止した際の停止位置が第１装置位置と異なる場合があるため、そのような場合、第２装置位置を基準にして見た場合のワーク設置位置も変わるため、ハンドの位置の補正を行う必要がある。 The robot-mounted moving device moves, for example, from the front of another second machine tool, moves in front of the first machine tool in which the work is installed, and stops in front of the first machine tool. The stop position at which the robot-mounted mobile device is stopped is the second device position. If the position of the second device is the same as the position of the first device, the work can be installed without correction. In the robot-mounted mobile device of the present embodiment, the stop position when moving and stopping may be different from the position of the first device. In such a case, the work installation position when viewed with reference to the position of the second device. Therefore, it is necessary to correct the position of the hand.

そこで、ロボット搭載移動装置は、第２装置位置においてカメラで撮影を行う。ロボット搭載移動装置のカメラで撮影された画像の中に識別図形があれば、ロボット搭載移動装置は、第２装置位置における識別図形の第２識別位置を取得する。ロボット搭載移動装置は、記憶している第１識別位置とカメラ撮影で取得した第２識別位置とを用いて、第２装置位置における対象位置の情報を取得する。そして、ロボット搭載移動装置は、対象位置の情報に基づいてロボットのハンド部の位置を、識別図形を含む平面内での(a)第１軸上の移動と(b)第２軸上の移動と(c)前記平面内での回転移動とで補正し、ハンド部で把持していたワークを工作機械内の所定位置に設置する。 Therefore, the robot-mounted mobile device takes a picture with a camera at the position of the second device. If there is an identification figure in the image taken by the camera of the robot-mounted moving device, the robot-mounted moving device acquires the second identification position of the identification figure at the second device position. The robot-mounted mobile device acquires information on the target position at the second device position by using the stored first identification position and the second identification position acquired by camera photography. Then, the robot-mounted moving device determines the position of the hand portion of the robot based on the information of the target position by (a) moving on the first axis and (b) moving on the second axis in the plane including the identification figure. And (c) the rotational movement in the plane is corrected, and the work held by the hand portion is installed at a predetermined position in the machine tool.

ここで、第１識別位置は、例えば、第１装置位置を原点と考えた場合に第１軸をＸ１軸とし第２軸をＹ１軸とすると、（ｘ１，ｙ１，ｒｚ１）となる。第１識別位置は、対象の位置である対象位置（ｘ１１，y１１，ｒｚ１１）と関連付けられている。第２識別位置は、第２装置位置を原点と考えた場合に第１軸をＸ２軸とし第２軸をＹ２軸とすると（ｘ２,ｙ２,ｒｚ２）となる。第１装置位置と第２装置位置とが同じであれば、（ｘ２,ｙ２,ｒｚ２）と（ｘ１,ｙ１,ｒｚ１）とは同じ位置となる。そのため、第２装置位置を基準にして見た場合の対象位置も（ｘ１１，ｙ１１，ｒｚ１１）位置情報と同じである。 Here, the first identification position is (x1, y1, rz1), for example, when the position of the first device is considered as the origin and the first axis is the X1 axis and the second axis is the Y1 axis. The first identification position is associated with the target position (x11, y11, rz11), which is the target position. The second identification position is (x2, y2, rz2) when the first axis is the X2 axis and the second axis is the Y2 axis when the position of the second device is considered as the origin. If the position of the first device and the position of the second device are the same, (x2, y2, rz2) and (x1, y1, rz1) are the same positions. Therefore, the target position when viewed with reference to the position of the second device is also the same as the position information (x11, y11, rz11).

しかし、前述したようにロボット搭載移動装置は、工作機械間を移動するため、第１装置位置と第２装置位置が異なる場合がある。ここでは、第１識別位置が（ｘ１，ｙ１，０（ｒｚ１＝０））で、対象位置が（ｘ１１，ｙ１１，ｒｚ１１）の場合の説明を行う。この場合、第２識別位置は、第２装置位置を原点と考えた場合に第１軸をＸ２軸とし第２軸をＹ２軸とした場合で（ｘ２，ｙ２，０）ではなくなる。これは、第１識別位置と第２識別位置とは、実空間では同じ位置であるが、ロボット搭載移動装置（特に、ロボット搭載移動装置の移動部）の位置が異なるためである。特に、移動部の向きが異なっているためである。 However, as described above, since the robot-mounted moving device moves between machine tools, the position of the first device and the position of the second device may be different. Here, the case where the first identification position is (x1, y1,0 (rz1 = 0)) and the target position is (x11, y11, rz11) will be described. In this case, the second identification position is not (x2, y2, 0) when the first axis is the X2 axis and the second axis is the Y2 axis when the second device position is considered as the origin. This is because the first identification position and the second identification position are the same position in the real space, but the positions of the robot-mounted moving device (particularly, the moving portion of the robot-mounted moving device) are different. This is especially because the directions of the moving parts are different.

そこで、本実施形態では、(i)第１軸をＸ２軸とし第２軸をＹ２軸とした場合の（ｘ２，ｙ２，ｒｚ２）の第２識別位置と、(ii)第１識別位置（ｘ１,Ｙ１，０）との関係から、Ｘ２軸とＹ２軸とのＸ２－Ｙ２座標系における対象の位置である対象位置の位置情報に変換する行列を用いて、対象位置（ｘ２２，ｙ２２，ｒｚ２２）を取得する。変換行列は、予め作成し、ロボット搭載移動装置に記憶させておいたものである。取得したＸ２軸とＹ２軸とにおける対象位置である（ｘ２２，ｙ２２,ｒｚ２２）の位置情報に基づいて、制御部は、ロボットのハンド部の位置を前記平面内での、(a)Ｘ２軸上の移動と、(b)Ｙ２軸上の移動と、(c)識別図形を含む平面内での回転移動とで補正し、ハンド部でワークや工具の交換などを行うように制御している。 Therefore, in the present embodiment, (i) the second identification position of (x2, y2, rz2) when the first axis is the X2 axis and the second axis is the Y2 axis, and (ii) the first identification position (x1). , Y1,0), the target position (x22, y22, rz22) is converted into the position information of the target position, which is the position of the target in the X2-Y2 coordinate system of the X2 axis and the Y2 axis. To get. The transformation matrix is created in advance and stored in the robot-mounted mobile device. Based on the acquired position information (x22, y22, rz22) of the target position on the X2 axis and the Y2 axis, the control unit sets the position of the hand unit of the robot on the (a) X2 axis in the plane. The movement of the work, (b) movement on the Y2 axis, and (c) rotational movement in a plane including the identification figure are corrected, and the hand portion is controlled to exchange workpieces and tools.

本実施形態では、対象位置である（ｘ２２，ｙ２２，ｒｚ２２）の位置情報に変換する行列をロボット搭載移動装置が予め記憶して、それを用いて対象位置を取得しているが、これに限定されない。例えば、カメラ撮影で取得した画像から得られる識別図形の位置である（ｘ２，ｙ２，ｒｚ２）の位置情報と、その位置情報（第２識別位置）に対応付けした対象位置である（ｘ２２，ｙ２２，ｒｚ２２）の位置情報が記述されたテーブルを予めロボット搭載位置装置に記憶させておいてもよい。 In the present embodiment, the robot-mounted mobile device stores in advance a matrix that is converted into position information of the target position (x22, y22, rz22), and uses the matrix to acquire the target position, but the present invention is limited to this. Not done. For example, the position information (x2, y2, rz2) which is the position of the identification figure obtained from the image acquired by the camera shooting, and the target position (x22, y22) associated with the position information (second identification position). , Rz22) may be stored in the robot-mounted position device in advance in a table in which the position information is described.

また、本実施形態では、位置誤差量Δｘ，Δｙ、及回転誤差量Δｒｚの３つを算出せず、ハンドの位置補正を行っているが、位置誤差量Δｘ，Δｙを算出せず、回転誤差量Δｒｚを算出するような形態でもよい。例えば、第１識別位置と第２識別位置と変換行列とを用いて、第２装置位置におけるワークなどの対象のＸ座標（ｘ２２）とＹ座標（ｙ２２）、回転誤差量Δｒｚを算出する。そして、第１識別位置における対象位置の回転位置（ｒｚ１１）に、回転誤差量Δｒｚを加えることで、対象位置（ｘ２２，ｙ２２，ｒｚ１１＋Δｒｚ）を取得してもよい。 Further, in the present embodiment, the position error amount Δx, Δy and the rotation error amount Δrz are not calculated and the hand position correction is performed, but the position error amount Δx, Δy is not calculated and the rotation error is performed. It may be in the form of calculating the quantity Δrz. For example, using the first identification position, the second identification position, and the transformation matrix, the X coordinate (x22), the Y coordinate (y22), and the rotation error amount Δrz of the object such as a work at the second device position are calculated. Then, the target position (x22, y22, rz11 + Δrz) may be acquired by adding the rotation error amount Δrz to the rotation position (rz11) of the target position in the first identification position.

本実施形態の位置情報は、ｘ座標、ｙ座標、回転座標（または回転量）の３つの情報である（ｘ，ｙ，ｒｚ）の位置情報を用いているがこれに限られない。例えば、座標（ｘ，ｙ，ｚ）３つと、回転座標または回転量（ｒｘ，ｒｙ，ｒｚ）３つとの６つの情報（ｘ，ｙ,ｚ，ｒｘ，ｒｙ,ｒｚ）を用いてもよい。情報の数は、必要に応じて、適宜選択・調整できる。例えば、対象位置として、(i)（ｘ２２,ｙ２２,ｚ１１,ｒｘ１１,ｒｙ１１,ｒｚ１１＋Δｒｚ）の位置情報や、(ii)（ｘ２２，ｙ２２，ｚ１１，０，０，ｒｚ１１＋Δｒｚ）の位置情報などを出力や取得する形態でもよい。（ｘ２２，ｙ２２，ｚ１１，０，０，ｒｚ１１＋Δｒｚ）の位置情報の例では、ｚ軸上での位置があるためｚ１１を残してある。基準を０とすればｒｘ１１とｒｙ１１とは０となり、平面内での移動では変化しないため０からの変更がない。このため、０と設定できる。このような位置情報を用いてもよいし、さらに、０の情報を削除し、４つ情報である（ｘ２２，ｙ２２，ｚ１１，ｒｚ１１＋Δｒｚ）の位置情報を対象位置として出力や取得する形態でもよい。 The position information of the present embodiment uses three pieces of information (x, y, rz) of x-coordinate, y-coordinate, and rotation coordinate (or rotation amount), but is not limited to this. For example, six pieces of information (x, y, z, rx, ry, rz) of three coordinates (x, y, z) and three rotating coordinates or rotation amounts (rx, ry, rz) may be used. The number of information can be appropriately selected and adjusted as needed. For example, as the target position, the position information of (i) (x22, y22, z11, rx11, ry11, rz11 + Δrz) and the position information of (ii) (x22, y22, z11, 0,0, rz11 + Δrz) can be output. It may be in the form of acquisition. In the example of the position information of (x22, y22, z11, 0, 0, rz11 + Δrz), z11 is left because there is a position on the z-axis. If the reference is 0, rx11 and ry11 become 0, and since they do not change when moving in a plane, there is no change from 0. Therefore, it can be set to 0. Such position information may be used, or further, the information of 0 may be deleted, and the position information of four pieces of information (x22, y22, z11, rz11 + Δrz) may be output or acquired as the target position.

なお、いろいろな変形例を説明したが、各本実施形態でも説明したように、識別図形を含む平面内（ｘ，ｙ，ｒｚ）で、ハンド位置の補正を行うため、識別図形を含む平面内で高い精度でハンドの位置補正ができることが共通する効果である。 Although various modification examples have been described, as described in each embodiment, in order to correct the hand position in the plane including the identification figure (x, y, rz), in the plane including the identification figure. It is a common effect that the position of the hand can be corrected with high accuracy.

以上、本発明の一実施の形態について説明したが、本発明が採り得る具体的な態様は、何らこれに限定されるものではない。 Although one embodiment of the present invention has been described above, the specific embodiments that the present invention can take are not limited thereto.

例えば、上述した各実施形態では、前記識別図形として、複数の画素が二次元に配列されたマトリクス構造を備えたものを採用したが、これに限られるものではなく、撮像画像からロボット２５の姿勢の補正量を算出することができるものであれば、様々な図形を採用することができる。 For example, in each of the above-described embodiments, as the identification figure, a figure having a matrix structure in which a plurality of pixels are arranged two-dimensionally is adopted, but the present invention is not limited to this, and the posture of the robot 25 is determined from the captured image. Various figures can be adopted as long as the correction amount of can be calculated.

また、第１の実施形態において、識別図形を含む平面内の第１軸と第２軸について、第１軸をｘ軸とし、第２軸をｙ軸として、各軸方向の位置誤差、及び平面内の回転軸をｚ軸としてその軸回り回転誤差を補正するようにしたが、これに限られるものではい。前記補正量算出部５０は、識別図形の位置によっては、第１軸または第２軸をｚ軸にしてもよい。この場合は、ｚ軸方向の位置誤差量を推定して、これに対応する補正量を算出するように構成し、また、前記自動運転制御部４７は、算出されたｚ軸方向の補正量に基づいて、ロボット２５の各作業姿勢におけるｚ軸方向の位置を補正するように構成されていても良い。尚、ｚ軸方向の位置誤差量は、例えば、基本画像大きさと現在の画像大きさとの倍率から算出することもできる。 Further, in the first embodiment, regarding the first axis and the second axis in the plane including the identification figure, the position error in each axis direction and the plane with the first axis as the x-axis and the second axis as the y-axis. The rotation axis inside is used as the z-axis to correct the rotation error around the axis, but it is not limited to this. The correction amount calculation unit 50 may set the first axis or the second axis as the z-axis depending on the position of the identification figure. In this case, the position error amount in the z-axis direction is estimated and the correction amount corresponding to the estimation amount is calculated, and the automatic operation control unit 47 uses the calculated correction amount in the z-axis direction. Based on this, the robot 25 may be configured to correct the position in the z-axis direction in each working posture. The amount of position error in the z-axis direction can also be calculated, for example, from the magnification of the basic image size and the current image size.

また、上記の各実施形態では、無人搬送車３５を用いた態様を例示したが、これに限定されるものではない。一般的な台車のように人が押して移動可能な搬送装置でもよい。この搬送装置上にロボット２５を搭載し、人力により当該搬送装置を工作機械１０の作業位置に搬送して、当該ロボット２５により工作機械１０に対してワークの着脱を実行させる態様としても良い。 Further, in each of the above embodiments, the embodiment in which the automatic guided vehicle 35 is used has been exemplified, but the present invention is not limited thereto. It may be a transport device that can be pushed and moved by a person like a general trolley. The robot 25 may be mounted on the transfer device, the transfer device may be manually transported to the work position of the machine tool 10, and the robot 25 may cause the machine tool 10 to attach / detach the work.

また、上記の各実施形態では、工作機械として立形の旋盤を例示したが、これに限られるものではなく、横形の旋盤、立形及び横形のマシニングセンタの他、工具主軸とワーク主軸を備えた複合加工型の加工機械など、従前公知のあらゆる工作機械を適用することができる。 Further, in each of the above embodiments, a vertical lathe is exemplified as a machine tool, but the present invention is not limited to this, and a horizontal lathe, vertical and horizontal machining centers, as well as a tool spindle and a work spindle are provided. Any previously known machine tool, such as a compound machining type machine tool, can be applied.

例えば、図１０に示すような、工具を回転させる工具主軸１０５を備えた横形の旋盤１００の場合、前記表示板１６をホルダ１０６によって水平に支持するとともに、このホルダ１０６を工具主軸１０５に装着するようにした態様を採ることができる。この場合、旋盤１００により加工を行うときには、ホルダ１０６を工具収容部である工具マガジンに格納しておき、前記ロボット２５により作業を行うときに、ホルダ１０６を工具マガジンから取り出して工具主軸１０５に装着する。尚、図１０において、符号１０１は第１主軸、符号１０３は第２主軸であり、これらは同軸且つ相互に対向するように配設される。また、符号１０２は第１主軸１０１に装着された第１チャック、符号１０４は第２主軸１０３に装着された第２チャックである。また、符号１０７は刃物台であり、符号１０８は刃物台１０７に設けられたタレット、符号１０９は、ワークＷ”を支持する支持治具であり、タレット１０８の外面に取り付けられている。 For example, in the case of a horizontal lathe 100 provided with a tool spindle 105 for rotating a tool as shown in FIG. 10, the display plate 16 is horizontally supported by a holder 106, and the holder 106 is mounted on the tool spindle 105. It is possible to take such an embodiment. In this case, when machining is performed by the lathe 100, the holder 106 is stored in the tool magazine which is the tool accommodating portion, and when the work is performed by the robot 25, the holder 106 is taken out from the tool magazine and mounted on the tool spindle 105. do. In FIG. 10, reference numeral 101 is a first spindle and reference numeral 103 is a second spindle, which are coaxially arranged so as to face each other. Further, reference numeral 102 is a first chuck mounted on the first spindle 101, and reference numeral 104 is a second chuck mounted on the second spindle 103. Further, reference numeral 107 is a turret, reference numeral 108 is a turret provided on the turret 107, and reference numeral 109 is a support jig for supporting the work W ”, which is attached to the outer surface of the turret 108.

また、上記の各実施形態では、ロボット座標系の内、ｘ軸及びｙ軸（ｘ’軸及びｙ’軸）を水平面内で設定し、ｚ軸を垂直方向に設定したが、これに限られるものではなく、座標軸の方向は任意に設定することができる。識別図形の座標軸ｘ_ｔ軸，ｙ_ｔ軸についても同様である。 Further, in each of the above embodiments, the x-axis and the y-axis (x'axis and y'axis) are set in the horizontal plane and the z-axis is set in the vertical direction in the robot coordinate system, but the present invention is limited to this. The direction of the coordinate axis can be set arbitrarily. The same applies to the coordinate axes _xt axis and _yt axis of the identification figure.

繰り返しになるが、上述した実施形態の説明は、すべての点で例示であって、制限的なものではない。当業者にとって変形および変更が適宜可能である。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲内と均等の範囲内での実施形態からの変更が含まれる。 Again, the description of the embodiments described above is exemplary in all respects and not restrictive. Modifications and changes can be made as appropriate for those skilled in the art. The scope of the invention is indicated by the claims, not by the embodiments described above. Further, the scope of the present invention includes modifications from the embodiments within the scope of the claims and within the scope of the claims.

Claims

Distributed in the machine tool as related information related to the position of the first device as the position of the robot-mounted mobile device when performing the operation of taking out the object from the machine tool or the operation of installing the object in the machine tool. Mounted on a robot that can move around the machine tool by storing the position of the identification figure in the position of the first device on the first axis and the second axis set in a plane parallel to the identification figure as the first identification position. It ’s a mobile device,
(i) A camera, (ii) a hand part for gripping a work or a tool, (iii) a second arm part movably connected to the hand part, and (iv) a movably connected second arm part. With a robot that has a first arm
A control unit that controls the position of the hand unit of the robot,
It is equipped with the robot and has a movable moving part.
The control unit has a second identification position, which is a position of the identification figure in the plane when the identification image is taken by the camera, at a second device position different from the first device position, and the second identification position. Based on the 1 identification position, the position of the hand portion of the robot in the second device position is determined by (a) movement on the first axis and (b) movement on the second axis in the plane. (c) A robot-mounted moving device controlled by rotational movement in the plane.

A machine tool that performs predetermined processing on the work, and
A camera that captures an image, a robot that has a working part that acts on the work, and works on the machine tool.
A transfer device equipped with the robot and configured to be movable to a work position set for the machine tool.
By facing the camera to the robot for the work start posture and the posture correction identification figure provided in the machine tool according to the operation program including the preset operation command, the identification figure is caused by the camera. It is provided with an imaging posture for imaging a work, and a control device configured to sequentially take one or more working postures for causing the action unit to act on the work.
The work start posture, the image pickup posture, and the work posture are systems that are preset by the teaching operation of the robot.
The identification figure is formed on a predetermined plane and is arranged in the machining area of the machine tool.
At the time of the teaching operation, the control device operates the camera in a state where the robot is shifted to the imaging posture to capture an image of the identification figure as a reference image, and actually operates the robot according to the operation program. The image of the identification figure and the reference image captured by the camera after the robot is moved from the work start posture to the image pickup posture while the transport device is moved to the work position. The amount of error in the position of the camera between the current posture of the robot and the posture during the teaching operation based on the above, and is the first axis orthogonal to each other set in a plane parallel to the identification figure. And the amount of positional error of the camera in the second axis direction, and the amount of rotation error of the camera around the third axis orthogonal to the first axis and the second axis are estimated, and based on each estimated error amount, A system configured to calculate a correction amount for the working part in the working posture and correct the position of the working part in the working posture based on the calculated correction amount.

The control device is
The first axis and the second axis are x-axis and y-axis, which are coordinate systems corresponding to the posture of the robot during the teaching operation, and the amount of positional error of the camera in the x-axis − y-axis coordinate system Δx, Δy. , And the amount of rotational error Δrz of the camera around the z-axis as the third axis orthogonal to the x-axis and y-axis.
Based on the estimated position error amount Δx, Δy and rotation error amount Δrz, the translational error amount t _x , ty of the working part between the time of the teaching operation and the present in the x-axis _−y axis coordinate system is calculated. Calculated by the following formula,
The system according to claim 2, wherein the position of the working part in each working posture is corrected based on the calculated translation error amount t _x , ty, and the rotation error amount _Δrz .

However, in this formula, x and y are the positions of the camera during the teaching operation in the x-axis-y-axis coordinate system, and x'and y'are the coordinate systems corresponding to the current posture of the robot. The current position of the camera in the x'axis-y'axis coordinate system.

The transfer device is an automatic guided vehicle controlled by the control device, and is characterized by being configured to pass through the work position set for the machine tool under the control of the control device. 2. The system according to claim 2.

The system according to claim 2, wherein the identification figure has a matrix structure in which a plurality of pixels are arranged two-dimensionally.

The control device calculates the estimated position error amount of the camera in the first axis and the second axis direction and the rotation error amount of the camera around the third axis, and then further calculates the first. After correcting the image pickup posture of the robot based on the position error amount in the axis and the second axis direction and the rotation error amount around the third axis, and operating the robot so as to take the corrected image pickup posture, the above-mentioned The camera is operated to image the identification figure, and based on the obtained image of the identification figure and the reference image, the position of the camera between the current posture of the robot and the posture at the time of teaching operation. The amount of error, that is, the amount of position error of the camera in the third axis direction orthogonal to the first and second axis directions, the amount of rotation error of the camera around the first axis, and the amount of error around the second axis. The amount of rotation error of the camera is estimated, and the estimated amount of position error in the first axis, second axis, and third axis directions, and each rotation error amount around the first axis, second axis, and third axis. 2. The system according to claim 2, wherein the position of the acting portion in the working posture is corrected based on the above.

A machine tool that performs predetermined processing on the work, and
A camera that captures an image, a robot that has a working part that acts on the work, and works on the machine tool.
A transfer device equipped with the robot and configured to be movable to a work position set for the machine tool.
According to an operation program including a preset operation command, the robot has a work start posture, and an imaging posture in which an identification figure for posture correction provided in the machine tool is imaged by a camera.
A control device configured to sequentially take an imaging posture in which an identification figure for posture correction provided in the machine tool is imaged by a camera, and one or more working postures for causing the acting unit to act on the work. And with
The work start posture, the image pickup posture, and the work posture are systems that are preset by the teaching operation of the robot.
The identification figure is formed on a predetermined plane and is arranged in the machining area of the machine tool.
At the time of the teaching operation, the control device operates the camera in a state where the robot is shifted to the imaging posture to capture an image of the identification figure as a reference image, and actually operates the robot according to the operation program. The image of the identification figure and the reference image captured by the camera after the robot is moved from the work start posture to the image pickup posture while the transport device is moved to the work position. The amount of error in the position of the camera between the current posture of the robot and the posture during the teaching operation based on the above, and is the first axis orthogonal to each other set in a plane parallel to the identification figure. And the amount of each position error of the camera in the second axis direction and the third axis direction orthogonal to the first axis and the second axis, and each of the cameras around the first axis, the second axis, and the third axis. A system configured to estimate a rotation error amount and correct the position of the working portion in the working posture based on each estimated position error amount and each post-rotation error amount.

The control device is
Based on the reference image, the robot coordinate system corresponding to the robot, and the camera position at the time of imaging by the teaching operation in the robot coordinate system at the time of the teaching operation.

And the process of calculating
Based on the image of the identification figure obtained in the actual operation, the camera position at the time of imaging by the actual operation in the robot coordinate system at the time of the teaching operation.

And the process of calculating
The camera position in the robot coordinate system during the teaching operation

, And the camera position

Based on, the amount of position error in the first axis, the second axis, and the third axis direction of the camera in the robot coordinate system during the actual operation, and the rotation around the first axis, the second axis, and the third axis. Processing to estimate the amount of error and
The system according to claim 7, wherein the process of correcting the position of the acting portion in the working posture is executed based on the estimated position error amount and rotation error amount.

The control device is
The camera position in the robot coordinate system during the teaching operation

, And the camera position

After calculating
Camera angle during teaching operation in the coordinate system during teaching operation

,

By calculating these differences based on Based on the calculated rotation error amounts Δrx, Δry and Δrz, the rotation error amount of the camera in the robot coordinate system during actual operation is the robot coordinate system at the time of teaching operation. Rotation matrix between and the robot coordinate system in actual operation

And the process of calculating
As the amount of position error of the camera in the robot coordinate system during the actual operation, a parallel traveling matrix from the robot coordinate system during the teaching operation to the robot coordinate system during the actual operation.

And the process of calculating
The rotation matrix

And translation matrix

Correction amount based on

And the process of calculating
The correction amount

Corrected position of the working part in the working posture based on

8. The system of claim 8, configured to perform the process of calculating.

The control device is the rotation matrix.

, Parallel matrix

,Correction amount

And correction position

9. The system according to claim 9, wherein the system is configured to calculate by the following formula.

however,

Is the position of the action unit during the teaching operation in the robot coordinate system during the teaching operation.

A robot having a camera for capturing an image including an identification figure provided on the machine tool and an action unit acting on the work is mounted, and the robot is placed in a first position where the robot can hold the work. After the transport device for transport transports the robot to the first position, the camera captures an image including the identification figure provided on the machine machine, and the position information of the identification figure in the image is used. Correspondingly, the second position of the action part on the X-axis and the Y-axis in the three-dimensional space of the X-axis, the Y-axis, and the Z-axis is corrected by causing the action part to perform linear movement and rotational movement. It is a machine tool for machining a work, in which the working part is made to act on the work inside the machine machine after correcting two positions.
The machine tool, characterized in that the identification figure is arranged within the machining area of the machine tool.