JP2023088409A - Calibration method and robot system - Google Patents

Calibration method and robot system Download PDF

Info

Publication number
JP2023088409A
JP2023088409A JP2021203085A JP2021203085A JP2023088409A JP 2023088409 A JP2023088409 A JP 2023088409A JP 2021203085 A JP2021203085 A JP 2021203085A JP 2021203085 A JP2021203085 A JP 2021203085A JP 2023088409 A JP2023088409 A JP 2023088409A
Authority
JP
Japan
Prior art keywords
calibration
robot
camera
robot arm
arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021203085A
Other languages
Japanese (ja)
Inventor
一幸 宮下
Kazuyuki Miyashita
修一 若林
Shuichi Wakabayashi
真希子 日野
Makiko Hino
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2021203085A priority Critical patent/JP2023088409A/en
Publication of JP2023088409A publication Critical patent/JP2023088409A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

To provide a calibration method and robot system which can easily perform calibration.SOLUTION: A calibration method comprises: a movement step of arranging a body for calibration at a position that is a position different from a work area where a robot performs work to an object and is included in a field angle of a camera when driving a robot arm around one rotation shaft from the work attitude in which the robot arm is located in the work area, and arranging the body for calibration within the field angle of the camera by driving the robot arm in the work attitude around one rotation shaft; an imaging step of imaging the body for calibration with the camera; and a calibration step of performing calibration between the robot arm and the camera on the basis of an image obtained in the imaging step.SELECTED DRAWING: Figure 5

Description

本発明は、キャリブレーション方法およびロボットシステムに関する。 The present invention relates to a calibration method and a robot system.

ロボット分野において、ロボットアームに取り付けられたカメラによる撮像結果を用いてロボットに作業を行わせる技術が広く知られている。そして、この際には、作業前にカメラとロボットとの座標系を合わせるキャリブレーションを行う必要がある。例えば、特許文献1には、キャリブレーションのために、キャリブレーションボードを有する治具を用意し、治具に取り付けられたキャリブレーションボードをカメラで撮像し、その撮像結果に基づいてカメラとロボットのキャリブレーションを行う方法が記載されている。 2. Description of the Related Art In the field of robots, there is a well-known technology for causing a robot to perform a task using the results of imaging by a camera attached to a robot arm. In this case, it is necessary to perform calibration for aligning the coordinate systems of the camera and the robot before work. For example, in Patent Document 1, for calibration, a jig having a calibration board is prepared, the calibration board attached to the jig is imaged by a camera, and the camera and the robot are connected based on the imaging result. A method for performing the calibration is described.

特開平8-210816号公報JP-A-8-210816

しかしながら、キャリブレーション用の治具を別途用意することは手間となる。 However, it is troublesome to separately prepare a jig for calibration.

本発明のキャリブレーション方法は、基台および前記基台に接続され少なくとも1つの回動軸を有するロボットアームを有するロボットと、前記ロボットアームに配置されているカメラと、を有するロボットシステムにおいて、前記ロボットアームと前記カメラとを校正用物体を用いてキャリブレーションするキャリブレーション方法であって、
前記ロボットが対象物に対して作業を行う作業エリアとは異なる位置であって、前記ロボットアームが前記作業エリア内に位置する作業姿勢から1つの前記回動軸まわりに前記ロボットアームを駆動させた時に前記カメラの画角内に含まれる位置に前記校正用物体を配置し、
前記作業姿勢の前記ロボットアームを1つの前記回動軸まわりに駆動させて前記校正用物体を前記カメラの画角内に収める移動ステップと、
前記カメラで前記校正用物体を撮像する撮像ステップと、
前記撮像ステップで得られた画像に基づいて前記ロボットアームと前記カメラとのキャリブレーションを行うキャリブレーションステップと、を含む。
A calibration method of the present invention provides a robot system having a robot having a base and a robot arm connected to the base and having at least one pivot shaft, and a camera arranged on the robot arm, wherein the A calibration method for calibrating a robot arm and the camera using a calibration object,
The robot arm is driven around one of the rotation axes from a working posture in which the robot arm is positioned within the work area at a position different from the work area where the robot works on the object. sometimes placing the calibration object at a position included within the angle of view of the camera;
a moving step of driving the robot arm in the working posture around one of the rotation axes to fit the calibration object within the angle of view of the camera;
an imaging step of imaging the calibration object with the camera;
and a calibration step of calibrating the robot arm and the camera based on the image obtained in the imaging step.

本発明のロボットシステムは、基台および前記基台に接続され少なくとも1つの回動軸を有するロボットアームを備えるロボットと、
前記ロボットアームに配置されるカメラと、
制御装置と、
前記ロボットが対象物に対して作業を行う作業エリアとは異なる位置であって、前記ロボットアームが前記作業エリア内に位置する作業姿勢から1つの前記回動軸まわりに前記ロボットアームを駆動させた時に前記カメラの画角内に含まれる位置に配置されている校正用物体と、を有し、
前記制御装置は、
前記作業姿勢の前記ロボットアームを1つの前記回動軸まわりに駆動させて前記校正用物体を前記カメラの画角内に収める移動ステップと、
前記カメラで前記校正用物体を撮像する撮像ステップと、
前記撮像ステップで得られた画像に基づいて前記ロボットアームと前記カメラとのキャリブレーションを行うキャリブレーションステップと、を行う。
A robot system of the present invention comprises a robot comprising a base and a robot arm connected to the base and having at least one pivot shaft;
a camera disposed on the robot arm;
a controller;
The robot arm is driven around one of the rotation axes from a working posture in which the robot arm is positioned within the work area at a position different from the work area where the robot works on the object. a calibration object positioned at a position sometimes included within the angle of view of the camera;
The control device is
a moving step of driving the robot arm in the working posture around one of the rotation axes to fit the calibration object within the angle of view of the camera;
an imaging step of imaging the calibration object with the camera;
and a calibration step of calibrating the robot arm and the camera based on the image obtained in the imaging step.

好適な実施形態に係るロボットシステムの全体構成図である。1 is an overall configuration diagram of a robot system according to a preferred embodiment; FIG. 三次元形状計測装置の装置構成を示す図である。It is a figure which shows the device structure of a three-dimensional shape measuring device. 縞パターンを示す図である。It is a figure which shows a striped pattern. 校正用物体を示す図である。FIG. 10 is a diagram showing a calibration object; 校正用物体の配置を示した上面図である。FIG. 4 is a top view showing the arrangement of calibration objects; キャリブレーション方法を示すフローチャートである。It is a flow chart which shows a calibration method. 画像Di、Djでの各点の座標を示す図である。FIG. 4 is a diagram showing the coordinates of each point in images Di and Dj;

以下、本発明のキャリブレーション方法およびロボットシステムを添付図面に示す好適な実施形態に基づいて詳細に説明する。 Hereinafter, the calibration method and robot system of the present invention will be described in detail based on preferred embodiments shown in the accompanying drawings.

図1は、好適な実施形態に係るロボットシステムの全体構成図である。図2は、三次元形状計測装置の装置構成を示す図である。図3は、縞パターンを示す図である。図4は、校正用物体を示す図である。図5は、校正用物体の配置を示した上面図である。図6は、キャリブレーション方法を示すフローチャートである。図7は、画像Di、Djでの各点の座標を示す図である。 FIG. 1 is an overall configuration diagram of a robot system according to a preferred embodiment. FIG. 2 is a diagram showing the device configuration of the three-dimensional shape measuring device. FIG. 3 is a diagram showing a stripe pattern. FIG. 4 is a diagram showing a calibration object. FIG. 5 is a top view showing the arrangement of calibration objects. FIG. 6 is a flow chart showing the calibration method. FIG. 7 is a diagram showing the coordinates of each point in the images Di and Dj.

図1に示すロボットシステム1は、ロボット2と、対象物Wの三次元形状計測を行う三次元形状計測装置4と、三次元形状計測装置4の計測結果に基づいてロボット2の駆動を制御する制御装置5と、を有する。これら各部は、有線または無線により通信可能とされている。通信は、インターネットのようなネットワークを介してなされてもよい。このようなロボットシステム1では、テーブルT1に山積みにされた対象物Wの位置および姿勢を三次元形状計測装置4で計測し、その計測結果に基づいてロボット2が対象物Wをピックアップし、ピックアップした対象物WをテーブルT2まで搬送し、搬送した対象物WをテーブルT2上に整列させる作業を行う。ただし、ロボットシステム1が行う作業は、特に限定されない。 The robot system 1 shown in FIG. 1 includes a robot 2, a three-dimensional shape measuring device 4 that measures the three-dimensional shape of an object W, and controls the driving of the robot 2 based on the measurement results of the three-dimensional shape measuring device 4. and a control device 5 . These units can communicate by wire or wirelessly. Communication may occur over a network such as the Internet. In such a robot system 1, the three-dimensional shape measuring device 4 measures the positions and orientations of the objects W piled up on the table T1, and the robot 2 picks up the objects W based on the measurement results. The object W thus carried is conveyed to the table T2, and the conveyed object W is aligned on the table T2. However, the work performed by the robot system 1 is not particularly limited.

-ロボット2-
ロボット2は、例えば、精密機器やこれを構成する部品の給材、除材、搬送および組立等の作業を行うロボットである。ただし、ロボット2の用途としては、特に限定されない。ロボット2は、6つの回動軸Oを有する6軸ロボットであり、床、天井等に固定された基台としてのベース21と、ベース21に連結されたロボットアーム22と、を有する。
-Robot 2-
The robot 2 is, for example, a robot that performs operations such as supplying, removing, transporting, and assembling precision equipment and parts constituting the same. However, the application of the robot 2 is not particularly limited. The robot 2 is a six-axis robot having six rotation axes O, and has a base 21 as a base fixed to the floor, ceiling, or the like, and a robot arm 22 connected to the base 21 .

ロボットアーム22は、ベース21に対して第1回動軸O1まわりに回動自在に連結された第1アーム221と、第1アーム221に対して第2回動軸O2まわりに回動自在に連結された第2アーム222と、第2アーム222に対して第3回動軸O3まわりに回動自在に連結された第3アーム223と、第3アーム223に対して第4回動軸O4まわりに回動自在に連結された第4アーム224と、第4アーム224に対して第5回動軸O5まわりに回動自在に連結された第5アーム225と、第5アーム225に対して第6回動軸O6まわりに回動自在に連結された第6アーム226と、を有する。そして、第6アーム226の先端部には、ロボット2に実行させる作業に応じたエンドエフェクター24が装着されている。本実施形態のエンドエフェクター24は、対象物Wを把持するハンドである。 The robot arm 22 includes a first arm 221 rotatably connected to the base 21 around a first rotation axis O1, and a first arm 221 rotatably coupled to the first arm 221 around a second rotation axis O2. The connected second arm 222, the third arm 223 connected to the second arm 222 so as to be rotatable about the third rotation axis O3, and the third arm 223 to the fourth rotation axis O4. a fourth arm 224 rotatably connected to the fourth arm 224; a fifth arm 225 rotatably connected to the fourth arm 224 about the fifth rotation axis O5; and a sixth arm 226 rotatably connected about a sixth rotation axis O6. An end effector 24 corresponding to the work to be executed by the robot 2 is attached to the tip of the sixth arm 226 . The end effector 24 of this embodiment is a hand that grips the object W. As shown in FIG.

また、ロボット2は、ベース21に対して第1アーム221を回動させる第1駆動装置251と、第1アーム221に対して第2アーム222を回動させる第2駆動装置252と、第2アーム222に対して第3アーム223を回動させる第3駆動装置253と、第3アーム223に対して第4アーム224を回動させる第4駆動装置254と、第4アーム224に対して第5アーム225を回動させる第5駆動装置255と、第5アーム225に対して第6アーム226を回動させる第6駆動装置256と、を有する。第1~第6駆動装置251~256は、それぞれ、例えば、モーターと、モーターの駆動を制御するコントローラーと、モーターの回転量を検出するエンコーダーと、を有する。第1~第6駆動装置251~256の駆動は、制御装置5によって独立して制御される。 The robot 2 also includes a first drive device 251 that rotates the first arm 221 with respect to the base 21, a second drive device 252 that rotates the second arm 222 with respect to the first arm 221, and a second drive device 252 that rotates the second arm 222 with respect to the first arm 221. A third driving device 253 for rotating the third arm 223 with respect to the arm 222 , a fourth driving device 254 for rotating the fourth arm 224 with respect to the third arm 223 , and a fourth driving device 254 for rotating the fourth arm 224 with respect to the fourth arm 224 . It has a fifth driving device 255 that rotates the fifth arm 225 and a sixth driving device 256 that rotates the sixth arm 226 with respect to the fifth arm 225 . Each of the first to sixth drive devices 251 to 256 has, for example, a motor, a controller that controls driving of the motor, and an encoder that detects the amount of rotation of the motor. The driving of the first to sixth driving devices 251 to 256 is independently controlled by the control device 5. FIG.

ロボット2として6軸ロボットを用いることにより、複雑な動きが可能で、幅広い作業に対応可能なロボット2となる。ただし、ロボット2としては、特に限定されず、例えば、ロボットアーム22が有するアームの数が1本~5本あるいは7本以上であってもよい。また、ロボット2は、例えば、スカラロボット(水平多関節ロボット)、2つのロボットアーム22を有する双腕ロボット等であってもよい。また、ロボット2は、床、天井等に固定されない自走式のロボットであってもよい。 By using a 6-axis robot as the robot 2, the robot 2 can perform complex movements and can handle a wide range of tasks. However, the robot 2 is not particularly limited, and for example, the robot arm 22 may have one to five arms, or seven or more arms. Further, the robot 2 may be, for example, a SCARA robot (horizontal articulated robot), a dual-arm robot having two robot arms 22, or the like. Also, the robot 2 may be a self-propelled robot that is not fixed to the floor, ceiling, or the like.

-三次元形状計測装置-
三次元形状計測装置4は、位相シフト干渉法を用いて対象物Wの三次元形状を計測する。図2に示すように、三次元形状計測装置4は、対象物Wを含む領域にレーザー光LLにより形成した縞パターンPLを投影するプロジェクター41と、対象物Wを含む領域を撮像した画像を取得するカメラ46と、これら各部の駆動を制御し、カメラ46が取得した画像に基づいて対象物Wの三次元形状を計測する計測部47と、を有する。
-Three-dimensional shape measuring device-
The three-dimensional shape measuring device 4 measures the three-dimensional shape of the object W using phase shift interferometry. As shown in FIG. 2, the three-dimensional shape measuring device 4 acquires an image of a region including the object W, and a projector 41 that projects a fringe pattern PL formed by laser light LL onto the area including the object W. and a measurement unit 47 that controls the driving of these units and measures the three-dimensional shape of the object W based on the image acquired by the camera 46 .

これら各構成要素のうち、少なくともプロジェクター41およびカメラ46は、それぞれ、ロボット2の第5アーム225に固定されている。また、プロジェクター41およびカメラ46の相対的な位置関係は、固定されている。また、プロジェクター41は、第5アーム225の先端側すなわちエンドエフェクター24側に向けてレーザー光LLを照射するように配置され、カメラ46は、第5アーム225の先端側を向き、レーザー光LLの照射範囲を含む領域を撮像するように配置されている。 Among these components, at least the projector 41 and the camera 46 are each fixed to the fifth arm 225 of the robot 2 . Also, the relative positional relationship between the projector 41 and the camera 46 is fixed. In addition, the projector 41 is arranged to irradiate the laser light LL toward the tip side of the fifth arm 225, that is, toward the end effector 24 side, and the camera 46 faces the tip side of the fifth arm 225 and emits the laser light LL. It is arranged so as to image an area including an irradiation range.

第5アーム225の先端側にエンドエフェクター24が位置する関係は、第5アーム225以外のアーム221~224、226がそれぞれどのように動いても維持される。そのため、第5アーム225にプロジェクター41およびカメラ46を固定することにより、三次元形状計測装置4は、常に、エンドエフェクター24の先端側にレーザー光LLを出射することができると共に、エンドエフェクター24の先端側を撮像することができる。したがって、エンドエフェクター24で対象物Wを把持しようとするときの姿勢、つまり、エンドエフェクター24が対象物Wに対して如何なる姿勢で対向しても、当該姿勢において対象物Wに縞パターンPLを投影することができると共に、対象物Wを撮像することができる。そのため、より確実に対象物Wの三次元形状の計測を行うことができる。 The position of the end effector 24 on the distal end side of the fifth arm 225 is maintained no matter how the arms 221 to 224 and 226 other than the fifth arm 225 move. Therefore, by fixing the projector 41 and the camera 46 to the fifth arm 225, the three-dimensional shape measuring device 4 can always emit the laser light LL to the tip side of the end effector 24, The tip side can be imaged. Therefore, regardless of the posture when the end effector 24 tries to grip the object W, that is, whatever posture the end effector 24 faces the object W, the stripe pattern PL is projected onto the object W in that posture. In addition, the object W can be imaged. Therefore, the three-dimensional shape of the object W can be measured more reliably.

ただし、プロジェクター41およびカメラ46の配置は、特に限定されず、第1~第4アーム221~224や第6アーム226に固定されていてもよい。 However, the arrangement of the projector 41 and the camera 46 is not particularly limited, and they may be fixed to the first to fourth arms 221 to 224 or the sixth arm 226.

プロジェクター41は、対象物Wに向けてレーザー光LLを走査することにより、対象物Wに対し図3に示すような輝度値の明暗で表現した正弦波の縞パターンPLを投影する。プロジェクター41は、図2に示すように、レーザー光LLを出射する光源42と、光源42から出射されたレーザー光LLが通過する複数のレンズを含む光学系43と、光学系43を通過したレーザー光LLを対象物Wに向けて走査する光走査部44と、を有する。光源42としては、例えば、垂直共振器面発光レーザー(VCSEL)、外部共振器型垂直面発光レーザー(VECSEL)等の半導体レーザーを用いることができる。 The projector 41 scans the object W with the laser light LL, thereby projecting a sinusoidal fringe pattern PL represented by brightness values as shown in FIG. As shown in FIG. 2, the projector 41 includes a light source 42 that emits a laser beam LL, an optical system 43 that includes a plurality of lenses through which the laser beam LL emitted from the light source 42 passes, and a laser beam that has passed through the optical system 43. and an optical scanning unit 44 that scans the object W with the light LL. As the light source 42, for example, a semiconductor laser such as a vertical cavity surface emitting laser (VCSEL) or an external cavity vertical surface emitting laser (VECSEL) can be used.

光学系43は、光源42から出射されるレーザー光LLを対象物W付近に集光する集光レンズ431と、集光レンズ431によって集光されたレーザー光LLを揺動軸Jと平行な方向すなわち図2の紙面奥行き方向に延びるライン状とするロッドレンズ432と、を有する。 The optical system 43 includes a condensing lens 431 that converges the laser light LL emitted from the light source 42 near the object W, and directs the laser light LL condensed by the condensing lens 431 in a direction parallel to the swing axis J. That is, it has a line-shaped rod lens 432 extending in the depth direction of the paper surface of FIG.

光走査部44は、揺動軸Jまわりに回動するミラー441を有し、このミラー441でレーザー光LLを反射することにより、ライン状のレーザー光LLを面状に走査する。 The light scanning unit 44 has a mirror 441 that rotates around the swing axis J. By reflecting the laser light LL on the mirror 441, the line-shaped laser light LL is scanned in a plane.

プロジェクター41としては、対象物W上に縞パターンPLを投影することができれば、特に限定されない。例えば、ロッドレンズ432ではなく、MEMSやガルバノミラーを用いて線状のレーザー光LLをライン状に拡散してもよい。つまり、2つの光走査部44を用いてレーザー光LLを二次元走査してもよい。また、例えば、2軸自由度を有するジンバル型の1つのMEMSを用いてレーザー光LLを二次元走査してもよい。また、プロジェクター41は、光走査型以外、例えば、液晶型のプロジェクターであってもよい。 The projector 41 is not particularly limited as long as it can project the stripe pattern PL onto the object W. FIG. For example, instead of the rod lens 432, a MEMS or a galvanomirror may be used to diffuse the linear laser light LL into a line. That is, the two optical scanning units 44 may be used to two-dimensionally scan the laser light LL. Alternatively, for example, one gimbal-type MEMS having two degrees of freedom may be used to two-dimensionally scan the laser light LL. Further, the projector 41 may be, for example, a liquid crystal projector other than the optical scanning projector.

計測部47は、位相シフト法を用いて、対象物Wの三次元形状を計測する。位相シフト法によれば、対象物Wの深度を精度よく計測することができるため、対象物Wの三次元形状を精度よく計測することができる。なお、本実施形態では、計測部47は、制御装置5に含まれているが、これに限定されない。 The measurement unit 47 measures the three-dimensional shape of the object W using the phase shift method. According to the phase shift method, since the depth of the object W can be measured with high accuracy, the three-dimensional shape of the object W can be measured with high accuracy. It should be noted that although the measurement unit 47 is included in the control device 5 in this embodiment, the present invention is not limited to this.

-制御装置-
制御装置5は、カメラ46で撮像した複数の画像に基づいて対象物Wの三次元形状を計測し、その計測結果に基づいて各アーム221~226およびエンドエフェクター24の駆動をそれぞれ独立して制御する。なお、対象物Wの三次元形状の計測は、計測部47によって行われる。このような制御装置5は、例えば、コンピューターから構成され、情報を処理するプロセッサーと、プロセッサーに通信可能に接続されたメモリーと、外部インターフェースと、を有する。メモリーにはプロセッサーにより実行可能な各種プログラムが保存され、プロセッサーは、メモリーに記憶された各種プログラム等を読み込んで実行する。
-Control device-
The control device 5 measures the three-dimensional shape of the object W based on a plurality of images captured by the camera 46, and independently controls the driving of the arms 221 to 226 and the end effector 24 based on the measurement results. do. Note that the measurement of the three-dimensional shape of the object W is performed by the measurement unit 47 . Such a control device 5 is composed of, for example, a computer, and has a processor for processing information, a memory communicably connected to the processor, and an external interface. The memory stores various programs that can be executed by the processor, and the processor reads and executes the various programs stored in the memory.

以上、ロボットシステム1の構成について説明した。次に、三次元形状の計測方法および三次元形状計測装置4の校正方法について順に説明する。 The configuration of the robot system 1 has been described above. Next, a method for measuring a three-dimensional shape and a method for calibrating the three-dimensional shape measuring device 4 will be described in order.

-三次元形状の計測方法-
制御装置5は、プロジェクター41を駆動させて、輝度値の明暗で表現した正弦波の縞パターンPLを対象物W上にπ/2ずつ位相をずらして4回投影し、その都度、縞パターンが投影された対象物Wをカメラ46で撮像する。そして、制御装置5は、カメラ46で撮像された4枚の画像に基づいて3D点群データを生成し、生成した3D点群データに基づいて対象物Wの三次元形状計測を行う。
- Three-dimensional shape measurement method -
The control device 5 drives the projector 41 to project a sinusoidal fringe pattern PL represented by brightness values onto the object W four times while shifting the phase by π/2. The projected object W is imaged by the camera 46 . Then, the control device 5 generates 3D point cloud data based on the four images captured by the camera 46, and performs three-dimensional shape measurement of the object W based on the generated 3D point cloud data.

ただし、縞パターンPLの位相のずらし幅や投影回数は、特に限定されない。また、本実施形態では、1つの周期を有する縞パターンPLを用いる「単数周期位相シフト法」を用いているが、これに限定されず、異なる周期を有する複数の縞パターンを用いる「複数周期位相シフト法」を用いてもよい。 However, the shift width of the phase of the fringe pattern PL and the number of times of projection are not particularly limited. Further, in the present embodiment, the "single-period phase shift method" using a fringe pattern PL having one period is used, but the present invention is not limited to this, and the "multi-period phase shift method" using a plurality of fringe patterns having different periods is used. shift method" may be used.

位相シフト法においては、縞パターンの周期が長い程、計測レンジが拡大するが深度分解能が低下し、縞パターンの周期が短い程、計測レンジが縮小するが深度分解能が向上する。そこで、複数周期位相シフト法を用いることにより、広い計測レンジと高い深度分解能との両立を図ることができる。複数周期位相シフト法としては、特に限定されず、例えば、複数周期で周期毎に複数回計測する手法であってもよいし、複数周期で周期毎に異なった回数計測する手法であってもよい。 In the phase shift method, the longer the fringe pattern period, the wider the measurement range, but the lower the depth resolution. Therefore, by using the multi-cycle phase shift method, it is possible to achieve both a wide measurement range and high depth resolution. The multi-cycle phase shift method is not particularly limited. For example, it may be a method of measuring a plurality of times in each cycle in a plurality of cycles, or a method of measuring a different number of times in each cycle in a plurality of cycles. .

-ロボット2のキャリブレーション方法-
ロボットシステム1を出荷する際に三次元形状計測装置4とロボット2との座標系を合わせる、つまり相対的位置関係を既知とするキャリブレーション(以下、単に「キャリブレーション」とも言う)を行うが、ロボットシステム1の使用環境、経年変化、衝突等の外力印加等、種々の要因によって、これらの相対的位置関係が出荷時からずれる場合がある。相対的位置関係がずれると、ロボット2の作業精度が悪化するため、このような場合には、再度のキャリブレーションが必要となる。そこで、出荷後、ロボットシステム1が工場等の施設に設置された状態であっても、その状態で容易にキャリブレーションを行えることが好ましい。以下、このキャリブレーション方法について詳細に説明する。
-Robot 2 calibration method-
When the robot system 1 is shipped, the coordinate systems of the three-dimensional shape measuring device 4 and the robot 2 are aligned, that is, calibration (hereinafter simply referred to as "calibration") is performed to make the relative positional relationship known. Due to various factors such as the use environment of the robot system 1, secular change, application of external force such as collision, etc., the relative positional relationship may deviate from that at the time of shipment. If the relative positional relationship deviates, the work accuracy of the robot 2 deteriorates, so in such a case, recalibration is required. Therefore, even if the robot system 1 is installed in a facility such as a factory after shipment, it is preferable that the calibration can be easily performed in that state. This calibration method will be described in detail below.

キャリブレーション方法に先立って、校正用物体9について簡単に説明すると、校正用物体9は、板状であり、その一方の主面には、図4に示すように、複数の黒点91が行列状に等ピッチで配置されたドットパターンDPを有する。このような校正用物体9は、キャリブレーションボードとも呼ばれる。このようなドットパターンDPを有する校正用物体9を用いることにより、三次元形状計測装置4とロボット2とのキャリブレーションを容易に行うことができる。なお、校正用物体9の位置(座標)および隣り合う黒点91のピッチPすなわち中心間距離は、それぞれ、既知であり、制御装置5に予め記憶されている。 Prior to the calibration method, the calibration object 9 will be briefly described. The calibration object 9 is plate-shaped, and on one principal surface thereof, as shown in FIG. 4, a plurality of black dots 91 are arranged in a matrix. has dot patterns DP arranged at equal pitches. Such a calibration object 9 is also called a calibration board. By using the calibration object 9 having such a dot pattern DP, the three-dimensional shape measuring device 4 and the robot 2 can be easily calibrated. Note that the position (coordinates) of the calibration object 9 and the pitch P between the adjacent black dots 91, ie, the center-to-center distance, are known and stored in the control device 5 in advance.

このような校正用物体9は、図5に示すように、ロボット2の作業エリアEwと異なる場所に配置されている。作業エリアEwとは、ロボット2が所定の作業を行う空間をいい、本実施形態の場合には一点鎖線で示すエリアとなる。作業エリアEwは、テーブルT1の上方にエンドエフェクター24を位置させて対象物Wを把持する動作を行う空間と、テーブルT2の上方にエンドエフェクター24を位置させて対象物Wを離す動作を行う空間と、を含む。この作業エリアEwについては、作業の内容、安全マージン等に基づいて、使用者で自由に設定することができる。 Such a calibration object 9 is placed at a location different from the work area Ew of the robot 2, as shown in FIG. The work area Ew refers to a space in which the robot 2 performs a predetermined work, and in the case of this embodiment, it is an area indicated by a dashed line. The work area Ew consists of a space in which the end effector 24 is positioned above the table T1 to grip the object W, and a space in which the end effector 24 is positioned above the table T2 to release the object W. and including. The work area Ew can be freely set by the user based on the contents of work, safety margins, and the like.

このように、作業エリアEw外に校正用物体9を配置することにより、校正用物体9が作業の邪魔にならない。また、作業の邪魔にならないことから校正用物体9を常設することができる。つまり、固定したままにすることができる。したがって、キャリブレーション毎の校正用物体9の取り付け/取り外しが不要となり、キャリブレーションの時間短縮を図ることができる。また、校正用物体9の位置が保たれるため、キャリブレーション毎の誤差が実質的に生じず、キャリブレーション精度が高まる。また、校正用物体9とロボット2との接触を防ぐことができ、傷、破損、汚れ、異物の付着等によるキャリブレーション精度の低下を効果的に抑制することができる。 By arranging the calibration object 9 outside the work area Ew in this way, the calibration object 9 does not interfere with the work. Further, the calibration object 9 can be permanently installed because it does not interfere with the work. That is, it can remain stationary. Therefore, it becomes unnecessary to attach/detach the calibration object 9 for each calibration, and the calibration time can be shortened. In addition, since the position of the calibration object 9 is maintained, substantially no error occurs in each calibration, and the accuracy of calibration is enhanced. In addition, contact between the calibration object 9 and the robot 2 can be prevented, and deterioration in calibration accuracy due to scratches, damage, dirt, adhesion of foreign matter, etc. can be effectively suppressed.

さらに、校正用物体9は、ロボットアーム22が作業エリアEw内に位置する作業姿勢から1つの回動軸Oまわりにロボットアーム22を駆動させた時にカメラ46の画角内に含まれる位置に配置されている。そのため、作業姿勢からスムーズにキャリブレーション作業に移行することができる。 Further, the calibration object 9 is arranged at a position included in the angle of view of the camera 46 when the robot arm 22 is driven around one rotation axis O from the working posture in which the robot arm 22 is positioned within the work area Ew. It is Therefore, it is possible to smoothly shift from the working posture to the calibration work.

前記「1つの回動軸O」としては、特に限定されず、第1~第6回動軸O1~O6から任意に選択することができる。特に、本実施形態では、前記「1つの回動軸O」として第1回動軸O1が選択されている。第1回動軸O1は、ロボットアーム22の最も基端側の回動軸Oである。そのため、第1回動軸O1を回動させることにより、ロボットアーム22全体を大きく動かすことができる。したがって、校正用物体9の配置可能エリアを広く確保することができ、校正用物体9の配置自由度が向上する。 The "single rotation axis O" is not particularly limited, and can be arbitrarily selected from the first to sixth rotation axes O1 to O6. In particular, in this embodiment, the first rotation axis O1 is selected as the "single rotation axis O". The first rotation axis O<b>1 is the rotation axis O of the robot arm 22 closest to the proximal end. Therefore, the entire robot arm 22 can be largely moved by rotating the first rotating shaft O1. Therefore, a wide area in which the calibration object 9 can be arranged can be secured, and the degree of freedom in arranging the calibration object 9 is improved.

特に、本実施形態では、作業開始時のホームポジションHPを作業姿勢としており、この作業姿勢から第1回動軸O1まわりにロボットアーム22を駆動させた時にカメラ46の画角内に含まれる位置に校正用物体9が配置されている。そのため、作業開始前にキャリブレーションを行い易くなり、その後の作業を高精度に行うことができる。ただし、どの姿勢を作業基準とするかは、特に限定されず、例えば、校正用物体9の配置可能エリアとの関係で適宜設定することができる。例えば、把持動作時に含まれるホームポジション以外の所定の姿勢であってもよいし、往路移動時に含まれる所定の姿勢であってもよいし、復路移動時に含まれる所定の姿勢であってもよい。 In particular, in the present embodiment, the home position HP at the start of work is the working posture, and the position included in the angle of view of the camera 46 when the robot arm 22 is driven around the first rotation axis O1 from this working posture. , the calibration object 9 is arranged. Therefore, it becomes easier to perform calibration before starting work, and subsequent work can be performed with high accuracy. However, which posture is used as the work reference is not particularly limited, and can be appropriately set, for example, in relation to the arrangement possible area of the calibration object 9 . For example, it may be a predetermined posture other than the home position included during the gripping motion, a predetermined posture included during outward movement, or a predetermined posture included during backward movement.

以上、校正用物体9の構成について説明した。次に、キャリブレーション方法について説明する。図6に示すように、キャリブレーション方法は、作業姿勢のロボットアーム22を第1回動軸O1まわりに駆動させて校正用物体9をカメラ46の画角内に収める移動ステップS1と、カメラ46で校正用物体9を撮像する撮像ステップS2と、撮像ステップS2で得られた画像に基づいてキャリブレーションを行うキャリブレーションステップS3と、を含む。 The configuration of the calibration object 9 has been described above. Next, a calibration method will be described. As shown in FIG. 6, the calibration method includes a moving step S1 in which the robot arm 22 in the working posture is driven around the first rotation axis O1 to fit the calibration object 9 within the angle of view of the camera 46; and a calibration step S3 for performing calibration based on the image obtained in the imaging step S2.

≪移動ステップS1≫
制御装置5は、作業を開始するために、ロボット2の駆動を制御してロボットアーム22をホームポジションHPとする。次に、制御装置5は、ロボット2の駆動を制御してロボットアーム22を第1回動軸O1まわりに回動させて校正用物体9をカメラ46の画角内に収める。なお、図6の構成では、ロボットアーム22を第1回動軸O1の時計回りに90°回動させている。
<<Movement step S1>>
In order to start work, the control device 5 controls the driving of the robot 2 to bring the robot arm 22 to the home position HP. Next, the control device 5 controls the driving of the robot 2 to rotate the robot arm 22 around the first rotation axis O<b>1 to bring the calibration object 9 within the angle of view of the camera 46 . In addition, in the configuration of FIG. 6, the robot arm 22 is rotated clockwise about the first rotation axis O1 by 90 degrees.

≪撮像ステップS2≫
制御装置5は、ロボットアーム22を駆動させてカメラ46の位置および姿勢を変化させながらカメラ46で校正用物体9を複数枚撮像する。これにより、互いに異なる向きおよび大きさで写る校正用物体9の画像Dを複数枚取得することができる。
<<imaging step S2>>
The control device 5 drives the robot arm 22 to change the position and posture of the camera 46 and takes a plurality of images of the calibration object 9 with the camera 46 . Thereby, it is possible to obtain a plurality of images D of the calibration object 9 in different directions and sizes.

≪キャリブレーションステップS3≫
制御装置5は、まず、撮像ステップS2で得られた複数の画像Dから任意の2つを選択する。以下では、説明の便宜上、選択した任意の2つの画像DをDi、Djとする。次に、制御装置5は、画像Diに基づいて、ロボット2の原点G0からロボットアーム22の先端G1までの座標Aiと、校正用物体9の基準点G2からカメラ46の基準点G3までの座標Biと、を求める。なお、ロボット2の原点G0は、ベース21の中心に設定され、ロボットアーム22の先端G1は、第6アーム226の先端面中心に設定され、校正用物体9の基準点G2は、ドットパターンDPの中心に設定され、カメラ46の基準点G3は、撮像面の中心に設定されている。ただし、これら各点G0~G3をどこに設定するかは、任意であり、特に限定されない。
<<Calibration step S3>>
The control device 5 first selects two arbitrary images from the plurality of images D obtained in the imaging step S2. In the following, for convenience of explanation, two arbitrary selected images D are assumed to be Di and Dj. Next, based on the image Di, the control device 5 calculates coordinates Ai from the origin G0 of the robot 2 to the tip G1 of the robot arm 22 and coordinates from the reference point G2 of the calibration object 9 to the reference point G3 of the camera 46. Bi and . The origin G0 of the robot 2 is set at the center of the base 21, the tip G1 of the robot arm 22 is set at the center of the tip surface of the sixth arm 226, and the reference point G2 of the calibration object 9 is set at the dot pattern DP , and the reference point G3 of the camera 46 is set at the center of the imaging plane. However, where these points G0 to G3 are set is arbitrary and not particularly limited.

座標Aiは、例えば、画像Diを取得した際のロボットアーム22の姿勢から求めることができる。なお、ロボットアーム22の姿勢は、各駆動装置251~256のエンコーダーからの出力に基づいて求めることができる。一方、座標Biは、画像Diから求めることができる。例えば、制御装置5は、まず、画像Diを2値化し、黒点91の図心計算を行なって画像Diの各画素の深度を求める。ここで、前述したように、校正用物体9の座標およびピッチPは既知である。そのため、制御装置5は、次に、求めた各画素の深度、校正用物体9の座標およびピッチPに基づいて座標Biを求める。 The coordinates Ai can be obtained, for example, from the posture of the robot arm 22 when the image Di was acquired. The posture of the robot arm 22 can be determined based on the output from the encoders of the drive devices 251-256. On the other hand, the coordinates Bi can be obtained from the image Di. For example, the control device 5 first binarizes the image Di, calculates the centroid of the black point 91, and obtains the depth of each pixel of the image Di. Here, as described above, the coordinates and pitch P of the calibration object 9 are known. Therefore, the control device 5 next obtains the coordinates Bi based on the obtained depth of each pixel, the coordinates of the calibration object 9, and the pitch P. FIG.

制御装置5は、座標Ai、Biと同様にして、画像Djに基づいて、ロボット2の原点からロボットアーム22の先端までの座標Ajと、校正用物体9からカメラ46までの座標Bjと、を求める。 Similarly to the coordinates Ai and Bi, the control device 5 calculates the coordinates Aj from the origin of the robot 2 to the tip of the robot arm 22 and the coordinates Bj from the calibration object 9 to the camera 46 based on the image Dj. demand.

図7に示すように、Ai、Aij、Aj-1(Ajの逆行列)を順に内積するとAiの原点に戻るため、Ai・Aij・Aj-1=I(Iは単位行列)が成り立ち、この式から下記式(1)が導き出される。同様に、Bi、Bij、Bj-1(Bjの逆行列)を順に内積するとBiの原点に戻るため、Bi・Bij・Bj-1=Iが成り立ち、下記式(2)が導き出される。なお、座標の計算には、座標の回転と平行移動の両方を表現する同次座標を用いている。 As shown in FIG. 7, when the inner product of Ai, Aij, and Aj −1 (the inverse matrix of Aj) returns to the origin of Ai in order, Ai·Aij·Aj −1 =I (where I is the identity matrix) holds, and this The following formula (1) is derived from the formula. Similarly, the inner product of Bi, Bij, and Bj −1 (inverse matrix of Bj) returns to the origin of Bi. Homogeneous coordinates expressing both rotation and parallel movement of coordinates are used for coordinate calculation.

Figure 2023088409000002
Figure 2023088409000002

Figure 2023088409000003
Figure 2023088409000003

さらに、ロボットアーム22の先端からカメラ46までの座標をXとしたとき、Aij、X、Bij-1、X-1を順に内積するとAijの原点に戻るため、Aij・X・Bij-1・X-1=Iが成り立ち、この式から下記式(3)が導き出される。 Further, when the coordinate from the tip of the robot arm 22 to the camera 46 is X, the inner product of Aij , X, Bij −1 , and X −1 returns to the origin of Aij. −1 =I holds, and the following equation (3) is derived from this equation.

Figure 2023088409000004
Figure 2023088409000004

制御装置5は、画像Di、Djの組み合わせを変えて複数の上記式(3)を用意し、これら複数の式(3)に基づいて、ロボットアーム22の先端からカメラ46までの座標Xを求める。そして、求めた座標Xに基づいてキャリブレーションを行う。つまり、カメラ46とロボット2との座標系を合わせる。なお、式(3)の数が多い程、より正確なキャリブレーションを行うことができる。そのため、本実施形態では、81枚の画像Dを取得し、3240個(81)の式(3)に基づいて座標Xを求めている。 The control device 5 prepares a plurality of equations (3) by changing combinations of the images Di and Dj, and obtains the coordinate X from the tip of the robot arm 22 to the camera 46 based on these multiple equations (3). . Then, calibration is performed based on the obtained coordinate X. That is, the coordinate systems of the camera 46 and the robot 2 are aligned. It should be noted that the greater the number of equations (3), the more accurate calibration can be performed. Therefore, in the present embodiment, 81 images D are acquired, and the coordinate X is obtained based on 3240 ( 81 C 2 ) equations (3).

以上、キャリブレーション方法について説明した。このように、作業エリアEw外に校正用物体9を配置することにより、校正用物体9が作業の邪魔にならないため、校正用物体9を常設することができる。したがって、キャリブレーション毎の校正用物体9の取り付け/取り外しが不要となる。また、校正用物体9の位置が保たれるため、キャリブレーション毎の誤差が実質的に生じず、キャリブレーション精度が高まる。また、校正用物体9とロボット2との接触を防ぐことができ、傷、異物の付着等によるキャリブレーション精度の低下を効果的に抑制することができる。加えて、作業姿勢から1つの回動軸Oまわりにロボットアーム22を駆動させれば校正用物体9をカメラ46の画角内に収めることができるため、作業姿勢からスムーズにキャリブレーション作業に移行することができる。以上の効果より、上述のキャリブレーション方法によれば、キャリブレーションを容易、高精度かつ短時間で行うことができる。 The calibration method has been described above. By arranging the calibration object 9 outside the work area Ew in this way, the calibration object 9 does not interfere with the work, so the calibration object 9 can be permanently installed. Therefore, it becomes unnecessary to attach/detach the calibration object 9 for each calibration. In addition, since the position of the calibration object 9 is maintained, substantially no error occurs in each calibration, and the accuracy of calibration is enhanced. In addition, contact between the calibration object 9 and the robot 2 can be prevented, and deterioration in calibration accuracy due to scratches, adherence of foreign matter, or the like can be effectively suppressed. In addition, if the robot arm 22 is driven around one rotation axis O from the working posture, the calibration object 9 can be kept within the angle of view of the camera 46, so that the working posture can be smoothly shifted to the calibration work. can do. From the above effects, according to the calibration method described above, calibration can be performed easily, with high accuracy, and in a short period of time.

以上、ロボットシステム1およびキャリブレーション方法について説明した。キャリブレーション方法は、前述したように、基台としてのベース21およびベース21に接続され少なくとも1つの回動軸Oを有するロボットアーム22を有するロボット2と、ロボットアーム22に配置されているカメラ46と、を有するロボットシステム1において、ロボットアーム22とカメラ46とを校正用物体9を用いてキャリブレーションするキャリブレーション方法であって、ロボット2が対象物Wに対して作業を行う作業エリアEwとは異なる位置であって、ロボットアーム22が作業エリアEw内に位置する作業姿勢から1つの回動軸Oまわりにロボットアーム22を駆動させた時にカメラ46の画角内に含まれる位置に校正用物体9を配置し、作業姿勢のロボットアーム22を1つの回動軸Oまわりに駆動させて校正用物体9をカメラ46の画角内に収める移動ステップS1と、カメラ46で校正用物体9を撮像する撮像ステップS2と、撮像ステップS2で得られた画像Dに基づいてロボットアーム22とカメラ46とのキャリブレーションを行うキャリブレーションステップS3と、を含む。 The robot system 1 and the calibration method have been described above. As described above, the calibration method includes the robot 2 having the base 21 as a base and the robot arm 22 connected to the base 21 and having at least one rotation axis O, and the camera 46 arranged on the robot arm 22. and a calibration method for calibrating the robot arm 22 and the camera 46 using the calibration object 9 in the robot system 1 having a work area Ew in which the robot 2 works on the object W; is a different position, and is a position included in the angle of view of the camera 46 when the robot arm 22 is driven around one rotation axis O from the work posture in which the robot arm 22 is located within the work area Ew. A moving step S1 in which the object 9 is arranged and the robot arm 22 in the working posture is driven around one rotation axis O to fit the calibration object 9 within the angle of view of the camera 46, and the camera 46 moves the calibration object 9. It includes an imaging step S2 for imaging, and a calibration step S3 for calibrating the robot arm 22 and the camera 46 based on the image D obtained in the imaging step S2.

このように、作業エリアEw外に校正用物体9を配置することにより、校正用物体9が作業の邪魔にならないため、校正用物体9を常設することができる。したがって、キャリブレーション毎の校正用物体9の取り付け/取り外しが不要となる。また、校正用物体9の位置が保たれるため、キャリブレーション毎の誤差が実質的に生じず、キャリブレーション精度が高まる。また、校正用物体9とロボット2との接触を防ぐことができ、傷、異物の付着等によるキャリブレーション精度の低下を効果的に抑制することができる。加えて、作業姿勢から1つの回動軸Oまわりにロボットアーム22を駆動させれば校正用物体9をカメラ46の画角内に収めることができるため、作業姿勢からスムーズにキャリブレーション作業に移行することができる。以上の効果より、上述のキャリブレーション方法によれば、キャリブレーションを容易、高精度かつ短時間で行うことができる。 By arranging the calibration object 9 outside the work area Ew in this way, the calibration object 9 does not interfere with the work, so the calibration object 9 can be permanently installed. Therefore, it becomes unnecessary to attach/detach the calibration object 9 for each calibration. In addition, since the position of the calibration object 9 is maintained, substantially no error occurs in each calibration, and the accuracy of calibration is enhanced. In addition, contact between the calibration object 9 and the robot 2 can be prevented, and deterioration in calibration accuracy due to scratches, adherence of foreign matter, or the like can be effectively suppressed. In addition, if the robot arm 22 is driven around one rotation axis O from the working posture, the calibration object 9 can be kept within the angle of view of the camera 46, so that the working posture can be smoothly shifted to the calibration work. can do. From the above effects, according to the calibration method described above, calibration can be performed easily, with high accuracy, and in a short period of time.

また、前述したように、ロボットアーム22は、ベース21に接続され、ベース21に対して第1回動軸O1まわりに回動する第1アーム221を有し、移動ステップS1では、第1回動軸O1まわりにロボットアーム22を駆動させる。第1回動軸O1は、ロボットアーム22の最も基端側の回動軸Oである。そのため、第1回動軸O1を回動させることにより、ロボットアーム22全体を大きく動かすことができる。したがって、校正用物体9の配置可能エリアを広く確保することができ、校正用物体9の配置自由度が向上する。 Further, as described above, the robot arm 22 has the first arm 221 that is connected to the base 21 and that rotates about the first rotation axis O1 with respect to the base 21. The robot arm 22 is driven around the driving axis O1. The first rotation axis O<b>1 is the rotation axis O of the robot arm 22 closest to the proximal end. Therefore, the entire robot arm 22 can be largely moved by rotating the first rotating shaft O1. Therefore, a wide area in which the calibration object 9 can be placed can be secured, and the degree of freedom in arranging the calibration object 9 is improved.

また、前述したように、ロボットアーム22は、6つの回動軸Oを有する。これにより、移動ステップS1で回動させる回動軸Oを6つの中から任意に選択することができるため、校正用物体9の配置の自由度が高まる。 Further, the robot arm 22 has six rotation axes O as described above. As a result, the rotation axis O to be rotated in the moving step S1 can be arbitrarily selected from among the six, so that the degree of freedom in arranging the calibration object 9 increases.

また、前述したように、ロボットシステム1は、基台としてのベース21およびベース21に接続され少なくとも1つの回動軸Oを有するロボットアーム22を備えるロボット2と、ロボットアーム22に配置されるカメラ46と、制御装置5と、ロボット2が対象物Wに対して作業を行う作業エリアEwとは異なる位置であって、ロボットアーム22が作業エリアEw内に位置する作業姿勢から1つの回動軸Oまわりにロボットアーム22を駆動させた時にカメラ46の画角内に含まれる位置に配置されている校正用物体9と、を有する。そして、制御装置5は、作業姿勢のロボットアーム22を1つの回動軸Oまわりに駆動させて校正用物体9をカメラ46の画角内に収める移動ステップS1と、カメラ46で校正用物体9を撮像する撮像ステップS2と、撮像ステップS2で得られた画像Dに基づいてロボットアーム22とカメラ46とのキャリブレーションを行うキャリブレーションステップS3と、を行う。 Further, as described above, the robot system 1 includes a robot 2 including a base 21 as a base and a robot arm 22 connected to the base 21 and having at least one rotation axis O, and a camera arranged on the robot arm 22. 46, the control device 5, and a position different from the work area Ew where the robot 2 works on the target object W, and the robot arm 22 is positioned within the work area Ew by one rotation axis. and a calibration object 9 arranged at a position included within the angle of view of the camera 46 when the robot arm 22 is driven around O. Then, the control device 5 moves the robot arm 22 in the working posture around one rotation axis O to move the calibration object 9 within the angle of view of the camera 46 in a moving step S1, and moves the calibration object 9 with the camera 46. and a calibration step S3 for calibrating the robot arm 22 and the camera 46 based on the image D obtained in the imaging step S2.

このように、作業エリアEw外に校正用物体9を配置することにより、校正用物体9が作業の邪魔にならないため、校正用物体9を常設することができる。したがって、キャリブレーション毎の校正用物体9の取り付け/取り外しが不要となる。また、校正用物体9の位置が保たれるため、キャリブレーション毎の誤差が実質的に生じず、キャリブレーション精度が高まる。また、校正用物体9とロボット2との接触を防ぐことができ、傷、異物の付着等によるキャリブレーション精度の低下を効果的に抑制することができる。加えて、作業姿勢から1つの回動軸Oまわりにロボットアーム22を駆動させれば校正用物体9をカメラ46の画角内に収めることができるため、作業姿勢からスムーズにキャリブレーション作業に移行することができる。以上の効果より、上述のキャリブレーション方法によれば、キャリブレーションを容易、高精度かつ短時間で行うことができる。 By arranging the calibration object 9 outside the work area Ew in this way, the calibration object 9 does not interfere with the work, so the calibration object 9 can be permanently installed. Therefore, it becomes unnecessary to attach/detach the calibration object 9 for each calibration. In addition, since the position of the calibration object 9 is maintained, substantially no error occurs in each calibration, and the accuracy of calibration is enhanced. In addition, contact between the calibration object 9 and the robot 2 can be prevented, and deterioration in calibration accuracy due to scratches, adherence of foreign matter, or the like can be effectively suppressed. In addition, if the robot arm 22 is driven around one rotation axis O from the working posture, the calibration object 9 can be kept within the angle of view of the camera 46, so that the working posture can be smoothly shifted to the calibration work. can do. From the above effects, according to the calibration method described above, calibration can be performed easily, with high accuracy, and in a short period of time.

以上、本発明のキャリブレーション方法およびロボットシステムを図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物が付加されていてもよい。 Although the calibration method and robot system of the present invention have been described above based on the illustrated embodiments, the present invention is not limited to this, and the configuration of each part may be any configuration having similar functions. can be replaced with Also, other optional components may be added to the present invention.

1…ロボットシステム、2…ロボット、21…ベース、22…ロボットアーム、221…第1アーム、222…第2アーム、223…第3アーム、224…第4アーム、225…第5アーム、226…第6アーム、24…エンドエフェクター、251…第1駆動装置、252…第2駆動装置、253…第3駆動装置、254…第4駆動装置、255…第5駆動装置、256…第6駆動装置、4…三次元形状計測装置、41…プロジェクター、42…光源、43…光学系、431…集光レンズ、432…ロッドレンズ、44…光走査部、441…ミラー、46…カメラ、47…計測部、5…制御装置、9…校正用物体、91…黒点、Ai…座標、Aj…座標、Aij…座標、Bi…座標、Bj…座標、Bij…座標、D…画像、Di…画像、Dj…画像、DP…ドットパターン、Ew…作業エリア、G0…原点、G1…先端、G2…基準点、G3…基準点、HP…ホームポジション、J…揺動軸、LL…レーザー光、O…回動軸、O1…第1回動軸、O2…第2回動軸、O3…第3回動軸、O4…第4回動軸、O5…第5回動軸、O6…第6回動軸、P…ピッチ、PL…縞パターン、S1…移動ステップ、S2…撮像ステップ、S3…キャリブレーションステップ、T1…テーブル、T2…テーブル、W…対象物、X…座標 Reference Signs List 1 robot system 2 robot 21 base 22 robot arm 221 first arm 222 second arm 223 third arm 224 fourth arm 225 fifth arm 226 Sixth arm 24 End effector 251 First driving device 252 Second driving device 253 Third driving device 254 Fourth driving device 255 Fifth driving device 256 Sixth driving device , 4... three-dimensional shape measuring device, 41... projector, 42... light source, 43... optical system, 431... condenser lens, 432... rod lens, 44... optical scanning unit, 441... mirror, 46... camera, 47... measurement Part, 5... Control device, 9... Calibration object, 91... Black point, Ai... Coordinates, Aj... Coordinates, Aij... Coordinates, Bi... Coordinates, Bj... Coordinates, Bij... Coordinates, D... Image, Di... Image, Dj ... image, DP ... dot pattern, Ew ... work area, G0 ... origin, G1 ... tip, G2 ... reference point, G3 ... reference point, HP ... home position, J ... oscillation axis, LL ... laser beam, O ... rotation Driving shaft, O1... 1st rotation axis, O2... 2nd rotation axis, O3... 3rd rotation axis, O4... 4th rotation axis, O5... 5th rotation axis, O6... 6th rotation axis , P... Pitch, PL... Stripe pattern, S1... Moving step, S2... Imaging step, S3... Calibration step, T1... Table, T2... Table, W... Object, X... Coordinates

Claims (4)

基台および前記基台に接続され少なくとも1つの回動軸を有するロボットアームを有するロボットと、前記ロボットアームに配置されているカメラと、を有するロボットシステムにおいて、前記ロボットアームと前記カメラとを校正用物体を用いてキャリブレーションするキャリブレーション方法であって、
前記ロボットが対象物に対して作業を行う作業エリアとは異なる位置であって、前記ロボットアームが前記作業エリア内に位置する作業姿勢から1つの前記回動軸まわりに前記ロボットアームを駆動させた時に前記カメラの画角内に含まれる位置に前記校正用物体を配置し、
前記作業姿勢の前記ロボットアームを1つの前記回動軸まわりに駆動させて前記校正用物体を前記カメラの画角内に収める移動ステップと、
前記カメラで前記校正用物体を撮像する撮像ステップと、
前記撮像ステップで得られた画像に基づいて前記ロボットアームと前記カメラとのキャリブレーションを行うキャリブレーションステップと、を含むことを特徴とするキャリブレーション方法。
A robot system comprising a robot having a base and a robot arm connected to the base and having at least one pivot axis, and a camera arranged on the robot arm, wherein the robot arm and the camera are calibrated. A calibration method for calibrating using an object for
The robot arm is driven around one of the rotation axes from a working posture in which the robot arm is positioned within the work area at a position different from the work area where the robot works on the object. sometimes placing the calibration object at a position included within the angle of view of the camera;
a moving step of driving the robot arm in the working posture around one of the rotation axes to fit the calibration object within the angle of view of the camera;
an imaging step of imaging the calibration object with the camera;
and a calibration step of calibrating the robot arm and the camera based on the image obtained in the imaging step.
前記ロボットアームは、前記基台に接続され、前記基台に対して第1回動軸まわりに回動する第1アームを有し、
前記移動ステップでは、前記第1回動軸まわりに前記ロボットアームを駆動させる請求項1に記載のキャリブレーション方法。
The robot arm has a first arm that is connected to the base and rotates about a first rotation axis with respect to the base,
2. The calibration method according to claim 1, wherein in said moving step, said robot arm is driven around said first rotation axis.
前記ロボットアームは、6つの前記回動軸を有する請求項1または2に記載のキャリブレーション方法。 3. The calibration method according to claim 1, wherein said robot arm has six said rotation axes. 基台および前記基台に接続され少なくとも1つの回動軸を有するロボットアームを備えるロボットと、
前記ロボットアームに配置されるカメラと、
制御装置と、
前記ロボットが対象物に対して作業を行う作業エリアとは異なる位置であって、前記ロボットアームが前記作業エリア内に位置する作業姿勢から1つの前記回動軸まわりに前記ロボットアームを駆動させた時に前記カメラの画角内に含まれる位置に配置されている校正用物体と、を有し、
前記制御装置は、
前記作業姿勢の前記ロボットアームを1つの前記回動軸まわりに駆動させて前記校正用物体を前記カメラの画角内に収める移動ステップと、
前記カメラで前記校正用物体を撮像する撮像ステップと、
前記撮像ステップで得られた画像に基づいて前記ロボットアームと前記カメラとのキャリブレーションを行うキャリブレーションステップと、を行うことを特徴とするロボットシステム。
a robot comprising a base and a robot arm connected to the base and having at least one pivot axis;
a camera disposed on the robot arm;
a controller;
The robot arm is driven around one of the rotation axes from a working posture in which the robot arm is positioned within the work area at a position different from the work area where the robot works on the object. a calibration object positioned at a position sometimes included within the angle of view of the camera;
The control device is
a moving step of driving the robot arm in the working posture around one of the rotation axes to fit the calibration object within the angle of view of the camera;
an imaging step of imaging the calibration object with the camera;
and a calibration step of calibrating the robot arm and the camera based on the image obtained in the imaging step.
JP2021203085A 2021-12-15 2021-12-15 Calibration method and robot system Pending JP2023088409A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021203085A JP2023088409A (en) 2021-12-15 2021-12-15 Calibration method and robot system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021203085A JP2023088409A (en) 2021-12-15 2021-12-15 Calibration method and robot system

Publications (1)

Publication Number Publication Date
JP2023088409A true JP2023088409A (en) 2023-06-27

Family

ID=86935468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021203085A Pending JP2023088409A (en) 2021-12-15 2021-12-15 Calibration method and robot system

Country Status (1)

Country Link
JP (1) JP2023088409A (en)

Similar Documents

Publication Publication Date Title
CN109940267B (en) Calibration method and calibration device
JP6429473B2 (en) Robot system, robot system calibration method, program, and computer-readable recording medium
EP3619498B1 (en) Triangulation scanner having flat geometry and projecting uncoded spots
JP5949242B2 (en) Robot system, robot, robot control apparatus, robot control method, and robot control program
US9221176B2 (en) Robot system and method for controlling the same
US20150363935A1 (en) Robot, robotic system, and control device
US20150025683A1 (en) Robot system and calibration method of the robot system
JP2016099257A (en) Information processing device and information processing method
JP2013036988A (en) Information processing apparatus and information processing method
WO2018043525A1 (en) Robot system, robot system control device, and robot system control method
JP5450242B2 (en) Manipulator calibration method and robot control system
JP6674655B2 (en) Relative data calibration device and method
JP7258516B2 (en) Calibration method and gripping system
US11312029B2 (en) Three-dimensional measuring apparatus, robot, and robot system
JP2004050356A (en) Position and attitude sensor of movable structure
JP2011067889A (en) Calibration device and calibration method
JP2017100202A (en) Robot system, control device, control method, and program
CN115446847A (en) System and method for improving 3D eye-hand coordination accuracy of a robotic system
JP2023088409A (en) Calibration method and robot system
JP7180783B2 (en) CALIBRATION METHOD FOR COMPUTER VISION SYSTEM AND 3D REFERENCE OBJECT USED FOR CALIBRATION METHOD
JP7310218B2 (en) Three-dimensional measuring method, three-dimensional measuring device and robot system
US20230123629A1 (en) 3d computer-vision system with variable spatial resolution
KR101484920B1 (en) Apparatus for calibrating an assembly error of a robot hand
JP2023003591A (en) Calibration method and robot system
JP3160443B2 (en) Non-contact point teaching device