JP2020089927A - Robot control system - Google Patents

Robot control system Download PDF

Info

Publication number
JP2020089927A
JP2020089927A JP2018226621A JP2018226621A JP2020089927A JP 2020089927 A JP2020089927 A JP 2020089927A JP 2018226621 A JP2018226621 A JP 2018226621A JP 2018226621 A JP2018226621 A JP 2018226621A JP 2020089927 A JP2020089927 A JP 2020089927A
Authority
JP
Japan
Prior art keywords
robot
hand
target position
error
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018226621A
Other languages
Japanese (ja)
Inventor
貞夫 川村
Sadao Kawamura
貞夫 川村
亮介 西田
Ryosuke Nishida
亮介 西田
京 立花
Miyako Tachibana
京 立花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ritsumeikan Trust
Original Assignee
Ritsumeikan Trust
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ritsumeikan Trust filed Critical Ritsumeikan Trust
Priority to JP2018226621A priority Critical patent/JP2020089927A/en
Publication of JP2020089927A publication Critical patent/JP2020089927A/en
Pending legal-status Critical Current

Links

Images

Abstract

To provide a robot control system which can shorten time for movement to a predetermined position by a hand tip part of a robot while suppressing vibration.SOLUTION: A robot control system includes a camera 2 which images a position of a hand tip part of a robot and a target position as a movement destination, and control means which controls the robot on the basis of an imaging result of the camera 2. In this system, an arm of the robot is controlled in real time so that the hand tip part of the robot moves to the target position on the basis of an error by calculating the error between the position of the hand tip part of the robot and the target position on the basis of the imaging result obtained by the camera 2 during movement of the hand tip part of the robot in a state that calibration of the robot and the camera 2 is not carried out.SELECTED DRAWING: Figure 2

Description

本発明は、先端部の手先を移動可能に構成された産業用ロボットの手先位置の制御システムに関するものである。特に、カメラなどで計測されたロボットの情報に基づいて、ロボットの手先の位置を制御するロボット制御システムに関するものである。 BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a hand position control system for an industrial robot that is configured to be able to move the hand of its tip. In particular, the present invention relates to a robot control system that controls the position of the hand of the robot based on the robot information measured by a camera or the like.

本件発明者は、先に、下記特許文献１に開示されるロボット制御システムを提案している。このロボット制御システムは、カメラで検出されたロボットの手先部の位置とカメラで検出されたロボットの手先部の目標位置との誤差を、カメラ座標系からロボット座標系へ変換後、エンコーダにより検出されたロボットの手先部の位置に加えて仮想目標位置を設定し、その仮想目標位置へロボットの手先部を移動させるものである。なお、通常、ロボットの手先部の位置および目標位置のカメラによる検出から、ロボットの手先部の仮想目標位置への移動までをワンステップとすると、このステップが繰り返し実行される。この際、各ステップにおいて、ロボットの手先部が停止した状態で、仮想目標位置の設定までが行われ、ステップごとにロボットが停止されることになる。 The present inventor has previously proposed a robot control system disclosed in Patent Document 1 below. This robot control system converts the error between the position of the robot's hand detected by the camera and the target position of the robot's hand detected by the camera from the camera coordinate system to the robot coordinate system, and then the error is detected by the encoder. In addition to the position of the hand of the robot, a virtual target position is set, and the hand of the robot is moved to the virtual target position. Note that, usually, if one step from detection of the position of the hand of the robot and the target position by the camera to movement of the hand of the robot to the virtual target position is performed, this step is repeatedly executed. At this time, in each step, the setting of the virtual target position is performed with the hand of the robot stopped, and the robot is stopped at each step.

このような制御であるから、ロボットの手先部の位置と目標位置との間の最終的な誤差に、ロボットおよびカメラのキャリブレーション誤差が直接に影響しないようにすることができる。すなわち、下記特許文献１に記載のロボット制御システムでは、時間やコストのかかるロボットおよびカメラのキャリブレーションを行う必要がない。 Because of such control, it is possible to prevent the final error between the position of the hand of the robot and the target position from being directly affected by the calibration error of the robot and the camera. That is, in the robot control system described in Patent Document 1 below, it is not necessary to perform time-consuming and costly calibration of the robot and the camera.

特開２０１６−５２６９９号公報JP, 2016-52699, A

しかしながら、従来では、指令値を与えることで現時点から台形速度パターンが計算され、目標値に収束させることになるので、ステップの数が多い場合には、目標値への収束までに時間が長くかかることになる。一方、ステップの数が少ない場合には、ある程度収束時間を短くすることができるが、振動現象が発生することになり、結局は収束時間を短くすることができない。いずれにしても、従来の場合では、ロボットの手先部が目標位置へ移動するのにかかる時間が長くなり、ロボットによる作業効率が悪くなる。ところが、ロボットを用いた実際の作業現場では、作業全体のスピード化が求められており、そのためにロボットの作業効率の向上が望まれている。 However, conventionally, the trapezoidal speed pattern is calculated from the present time by giving the command value and converges to the target value. Therefore, when the number of steps is large, it takes a long time to converge to the target value. It will be. On the other hand, when the number of steps is small, the convergence time can be shortened to some extent, but an oscillation phenomenon occurs, and eventually the convergence time cannot be shortened. In any case, in the conventional case, it takes a long time for the hand portion of the robot to move to the target position, and the work efficiency of the robot is deteriorated. However, in an actual work site using a robot, speeding up of the whole work is required, and therefore, improvement of work efficiency of the robot is desired.

本発明は、このような事情に鑑みてなされたものであり、その主たる目的は、振動を抑制しつつ、ロボットの手先部の所定位置までの移動にかかる時間を短縮することができるロボット制御システムを提供することにある。 The present invention has been made in view of the above circumstances, and its main purpose is to reduce the time required to move a hand portion of a robot to a predetermined position while suppressing vibration. To provide.

上記目的を達成するための本発明に係るロボット制御システムは、手先部を有し、前記手先部を移動させるアームを有するロボットと、前記手先部の位置と、前記手先部の移動先である目標位置とを撮像する撮像手段と、前記ロボットおよび前記撮像手段のキャリブレーションが行われていない状態において、前記手先部の移動中に、前記撮像手段により得られた撮像結果に基づき、前記手先部の位置と前記目標位置との誤差をリアルタイムで算出することで、前記誤差に基づき、前記手先部が前記目標位置へ移動するよう前記アームを実時間で制御する制御手段とを備えることを特徴とする。 A robot control system according to the present invention for achieving the above object, includes a robot having a hand part and an arm for moving the hand part, a position of the hand part, and a target which is a movement destination of the hand part. In a state in which the image pickup means for picking up the position and the robot and the image pickup means are not calibrated, based on the image pickup result obtained by the image pickup means during movement of the handtip portion, By calculating the error between the position and the target position in real time, a control means for controlling the arm in real time so that the hand portion moves to the target position based on the error is provided. ..

さらに、本発明に係るロボット制御システムは、前記制御手段は、前記手先部の前記目標位置への目標軌道を時間の５次関数で与え、前記手先部の移動中において、サンプリングタイム毎に前記目標軌道を求めることで、前記誤差をリアルタイムで算出することを特徴とする。 Further, in the robot control system according to the present invention, the control means gives a target trajectory of the hand portion to the target position by a quintic function of time, and while the hand portion is moving, the target is provided at each sampling time. It is characterized in that the error is calculated in real time by obtaining a trajectory.

本発明に係るロボット制御システムによれば、ロボットおよび撮像手段のキャリブレーションが行われていない状態において、ロボットの手先部が目標位置へ移動するようにロボットのアームが実時間で制御される。具体的には、ロボットの手先部の移動中に、撮像手段により得られた撮像結果に基づき、手先部の位置と目標位置との誤差をリアルタイムで算出することで、その誤差に基づいてアームが実時間で制御される。これにより、従来では、ロボットの手先部と目標位置との誤差を算出するたびにロボットが停止されたが、本発明では、ロボットを停止させることなく、ロボットの手先部を目標位置までスムーズに移動させることができる。従って、従来と比較して、振動を抑制することができ、ロボットの手先部の目標位置までの移動にかかる時間を短縮することができる。 According to the robot control system of the present invention, the arm of the robot is controlled in real time so that the hand of the robot moves to the target position when the robot and the imaging unit are not calibrated. Specifically, while the hand of the robot is moving, the error between the position of the hand and the target position is calculated in real time based on the imaging result obtained by the imaging means, and the arm is moved based on the error. Controlled in real time. As a result, conventionally, the robot is stopped every time the error between the hand part of the robot and the target position is calculated, but in the present invention, the hand part of the robot is smoothly moved to the target position without stopping the robot. Can be made Therefore, as compared with the related art, it is possible to suppress vibration, and it is possible to shorten the time required to move the hand portion of the robot to the target position.

さらに、本発明に係るロボット制御システムによれば、ロボットの手先部の移動中に、サンプリングタイム毎に時間の５次関数で与えられた目標軌道が求められる。従って、ロボットの移動時の加速度を滑らかなものとすることができ、ロボットの手先部を安全に目標位置へ移動させることができる。 Further, according to the robot control system of the present invention, a target trajectory given by a quintic function of time is obtained for each sampling time while the hand of the robot is moving. Therefore, the acceleration when the robot moves can be made smooth, and the hand of the robot can be safely moved to the target position.

本発明のロボット制御システムが適用されるロボットの一例を示す概略斜視図である。It is a schematic perspective view showing an example of a robot to which the robot control system of the present invention is applied. 本発明のロボット制御システムの一実施例を示す概略ブロック図である。It is a schematic block diagram which shows one Example of the robot control system of this invention. 本発明のロボット制御システムにおいて与えられた時間の５次関数を示すグラフであり、ロボットの手先部の移動状態での場合を示している。It is a graph which shows the quintic function of the time given in the robot control system of this invention, and shows the case in the moving state of the hand part of a robot. 産業用ロボットの制御に用いられる時間関数を示すグラフである。It is a graph which shows the time function used for control of an industrial robot.

以下、本発明のロボット制御システムの具体的実施例を図面に基づいて詳細に説明する。 Hereinafter, specific embodiments of the robot control system of the present invention will be described in detail with reference to the drawings.

図１は、本発明のロボット制御システムが適用されるロボットの一例を示す概略斜視図である。図２は、本発明のロボット制御システムの一実施例を示す概略ブロック図である。本実施例のロボット制御システムは、ロボット１と、撮像手段２と、内界センサ３と、撮像手段２および内界センサ３からの検出信号に基づきロボット１を制御できる制御手段４とを主要部として備える。以下では、ロボット１は、工場などで用いられている産業用ロボットとされ、この産業用ロボットに本実施例のロボット制御システムが適用される場合について説明する。 FIG. 1 is a schematic perspective view showing an example of a robot to which the robot control system of the present invention is applied. FIG. 2 is a schematic block diagram showing an embodiment of the robot control system of the present invention. The robot control system according to the present embodiment mainly includes a robot 1, an imaging unit 2, an internal sensor 3, and a control unit 4 capable of controlling the robot 1 based on detection signals from the imaging unit 2 and the internal sensor 3. To prepare for. In the following, the case where the robot 1 is an industrial robot used in a factory or the like and the robot control system of the present embodiment is applied to this industrial robot will be described.

ロボット１は、土台５と、土台５に回転自在に設けられるアーム６と、アーム６に設けられる手先部７とを有して構成される。アーム６は、複数のリンク棒８と、隣接するリンク棒８，８同士を互いに回転自在に接続する関節９とを有する。本実施例のアーム６は、３本のリンク棒８を有し、隣接するリンク棒８，８同士が関節９を介して互いに回転自在に接続される。アーム６は、基端部が関節９を介して土台５に回転自在に接続されて外方へ延出され、先端に手先部７が固定される。各関節９には、モータ１０が設けられており、このモータ１０を駆動させることで、関節９を回転させることができ、ひいてはリンク棒８を回転させることができる。なお、図１に示される座標系ＸＹＺは、３次元のロボット座標系とされる。 The robot 1 includes a base 5, an arm 6 rotatably provided on the base 5, and a hand portion 7 provided on the arm 6. The arm 6 has a plurality of link rods 8 and a joint 9 that rotatably connects the adjacent link rods 8 and 8 to each other. The arm 6 of the present embodiment has three link rods 8, and adjacent link rods 8 and 8 are rotatably connected to each other via a joint 9. The arm 6 has a base end portion rotatably connected to the base 5 via a joint 9 and extends outward, and a hand portion 7 is fixed to the tip end. Each joint 9 is provided with a motor 10. By driving this motor 10, the joint 9 can be rotated, and by extension, the link rod 8 can be rotated. The coordinate system XYZ shown in FIG. 1 is a three-dimensional robot coordinate system.

撮像手段２は、ロボット１の手先部７の位置と、ロボット１の手先部７の移動先である目標位置とを撮像するものである。撮像手段２は、本実施例ではカメラとされる。本実施例では、カメラ２は２台用いられ、それらのカメラ２は、像面ＩＭ１，ＩＭ２同士が互いに直交するように配置される。 The imaging means 2 images the position of the hand portion 7 of the robot 1 and the target position to which the hand portion 7 of the robot 1 is moved. The imaging means 2 is a camera in this embodiment. In this embodiment, two cameras 2 are used, and the cameras 2 are arranged so that the image planes IM1 and IM2 are orthogonal to each other.

具体的には、一方のカメラ２は、ロボット座標系のＹＺ平面を撮影できるように配置され、他方のカメラ２は、ロボット座標系のＺＸ平面を撮影できるように配置される。なお、図１に示されるように、一方のカメラ２には、互いに直交するＵ１軸、Ｖ１軸およびＷ１軸からなる３次元のカメラ座標系が設けられ、他方のカメラ２には、互いに直交するＵ２軸、Ｖ２軸およびＷ２軸からなる３次元のカメラ座標系が設けられる。各カメラ２は、前述したように像面ＩＭ１，ＩＭ２同士が互いに直交するように配置され、ロボット１の手先部７の現在の位置と、手先部７の移動先である目標位置とを撮影することができる。 Specifically, one camera 2 is arranged so that the YZ plane of the robot coordinate system can be photographed, and the other camera 2 is arranged so that the ZX plane of the robot coordinate system can be photographed. Note that, as shown in FIG. 1, one camera 2 is provided with a three-dimensional camera coordinate system composed of U1, V1, and W1 axes that are orthogonal to each other, and the other camera 2 is orthogonal to each other. A three-dimensional camera coordinate system including U2 axis, V2 axis, and W2 axis is provided. As described above, the cameras 2 are arranged so that the image planes IM1 and IM2 are orthogonal to each other, and images the current position of the hand 7 of the robot 1 and the target position to which the hand 7 is moved. be able to.

内界センサ３は、ロボット１のアーム６を計測して手先部７の位置を検出するものである。内界センサ３は、本実施例ではエンコーダとされ、各関節９に設けられる。本実施例のエンコーダ３は、モータ１０の回転位置を検出し、この検出結果から現在の手先部７の位置を求めることができる。 The inner world sensor 3 measures the arm 6 of the robot 1 and detects the position of the hand portion 7. The internal sensor 3 is an encoder in this embodiment, and is provided at each joint 9. The encoder 3 of this embodiment can detect the rotational position of the motor 10 and determine the current position of the hand portion 7 from the detection result.

制御手段４は、カメラ２で検出されたロボット１の手先部７の位置と、カメラ２で検出されたロボット１の手先部７の移動先である目標位置との誤差を算出し、この誤差を、カメラ座標系からロボット座標系へ変換するものである。制御手段４は、ロボット１の手先部７の真の位置と、カメラ２により検出されたロボット１の手先部７の位置との手先誤差を算出することができる。制御手段４は、カメラ２に接続されており、これらのカメラ２からロボット１の手先部７の位置情報を取得することができる。この取得したロボット１の手先部７の位置と、ロボット１の手先部７の真の位置との誤差である手先誤差を、制御手段４により算出することができる。ここで、手先誤差について説明する。カメラ２からロボット１の手先部７をとらえたときには、カメラ２のひずみなどが原因で、ロボット１の手先部７の実際の位置である真の位置との間に誤差が生じることになり、これが手先誤差となる。 The control means 4 calculates an error between the position of the hand portion 7 of the robot 1 detected by the camera 2 and the target position which is the movement destination of the hand portion 7 of the robot 1 detected by the camera 2, and calculates this error. , From the camera coordinate system to the robot coordinate system. The control means 4 can calculate the hand end error between the true position of the hand end portion 7 of the robot 1 and the position of the hand end portion 7 of the robot 1 detected by the camera 2. The control means 4 is connected to the cameras 2 and can acquire the position information of the hand 7 of the robot 1 from these cameras 2. The control unit 4 can calculate a hand end error that is an error between the acquired position of the hand end part 7 of the robot 1 and the true position of the hand end part 7 of the robot 1. Here, the hand error will be described. When the hand portion 7 of the robot 1 is caught by the camera 2, an error occurs between the hand portion 7 of the robot 1 and the true position of the hand portion 7 of the robot 1 due to distortion of the camera 2 or the like. It is a hand error.

また、制御手段４は、ロボット１の手先部７の真の目標位置と、カメラ２により検出されたロボット１の手先部７の目標位置との目標誤差を算出することができる。制御手段４は、前述したようにカメラ２に接続されており、これらのカメラ２からのロボット１の手先部７の目標位置と、ロボット１の手先部７の真の目標位置との誤差である目標誤差を算出できる。この目標誤差は、カメラ２のひずみなどの原因により、カメラ２からロボット１の手先部７の目標位置をとらえたときに、ロボット１の手先部７の実際の目標位置である真の目標位置との間に生じる誤差である。 The control means 4 can also calculate a target error between the true target position of the hand 7 of the robot 1 and the target position of the hand 7 of the robot 1 detected by the camera 2. The control means 4 is connected to the camera 2 as described above, and is an error between the target position of the hand portion 7 of the robot 1 and the true target position of the hand portion 7 of the robot 1 from these cameras 2. A target error can be calculated. This target error is a true target position which is the actual target position of the hand 7 of the robot 1 when the target position of the hand 7 of the robot 1 is captured from the camera 2 due to the distortion of the camera 2 or the like. This is the error that occurs between.

具体的には、次のとおりである。ロボット１の手先部７の真の位置をｘ＝（ｘ，ｙ，ｚ）、ロボット１の手先部７の真の目標位置をｘｄ＝（ｘｄ，ｙｄ，ｚｄ）、カメラ２で計測されたロボット１の手先部７の位置をｘｃ＝（ｘｃ，ｙｃ，ｚｃ）、カメラ２で計測されたロボット１の手先部７の目標位置をｘｃｄ＝（ｘｃｄ，ｙｃｄ，ｚｃｄ）とする。カメラ２で計測されたロボット１の手先部７の位置およびカメラ２で計測されたロボット１の手先部７の目標位置は、キャリブレーション誤差を含んでいる。このとき、カメラ２のキャリブレーションによる誤差Δｘｃ、すなわち真値からのずれである手先誤差および目標誤差は、以下の式で表される。なお、以下の式において、左肩に設けられた「ｗ」は、基準となるワールド座標系からみたことを示している。本実施例では、ロボット座標系をワールド座標系としている。また、左肩に設けられた「ｃ」は、カメラ座標系からみたことを示している。 Specifically, it is as follows. The true position of the hand portion 7 of the robot 1 is x=(x, y, z), and the true target position of the hand portion 7 of the robot 1 is x d =(x d , y d , z d ). The measured position of the hand part 7 of the robot 1 is x c =(x c , y c , z c ), and the target position of the hand part 7 of the robot 1 measured by the camera 2 is x cd =(x cd , y cd , z cd ). The position of the hand portion 7 of the robot 1 measured by the camera 2 and the target position of the hand portion 7 of the robot 1 measured by the camera 2 include a calibration error. At this time, the error Δx c due to the calibration of the camera 2, that is, the hand error and the target error that are deviations from the true value are expressed by the following formulas. In the equation below, “w” provided on the left shoulder indicates that it is viewed from the reference world coordinate system. In this embodiment, the robot coordinate system is the world coordinate system. Further, “c” provided on the left shoulder indicates that it is viewed from the camera coordinate system.

Figure 2020089927
Figure 2020089927

Figure 2020089927
Figure 2020089927

Figure 2020089927
Figure 2020089927

ここで、チルダは誤差を含んだ値を示しており、その他は以下のとおりである。

Figure 2020089927
Here, the tilde indicates a value including an error, and the others are as follows.
Figure 2020089927

数１、数２および数３においては、手先誤差および目標誤差は、カメラ座標系からロボット座標系に変換されている。一方、エンコーダ３で計測されたロボット１の手先部７の現在の位置をｘｍ＝（ｘｍ，ｙｍ，ｚｍ）とすると、ロボット１のキャリブレーションによる誤差Δｘｍ、すなわち真値からのずれは、以下の式で表される。 In Formula 1, Formula 2 and Formula 3, the hand error and the target error are converted from the camera coordinate system to the robot coordinate system. On the other hand, the current position x m = the hand part 7 of the robot 1, which is measured by the encoder 3 (x m, y m, z m) When the error [Delta] x m according to the calibration of the robot 1, i.e. from the true value The shift is expressed by the following formula.

Figure 2020089927
Figure 2020089927

ここで、ｆ（ｑ）は、各関節角度からロボット１の手先部７の位置へ変換する関数を示している。なお、ロボット１の幾何情報が正確、かつ各リンク棒８が十分な剛性を有する場合には、Δｘｍはゼロに近づくことになる。同様に、エンコーダ３で計測されたロボット１の手先部７の目標位置をｘｍｄ＝（ｘｍｄ，ｙｍｄ，ｚｍｄ）として、目標位置近傍における誤差、すなわち真値からのずれは、以下の式で定義される。 Here, f(q) indicates a function for converting each joint angle to the position of the hand portion 7 of the robot 1. If the geometric information of the robot 1 is accurate and each link rod 8 has sufficient rigidity, Δx m will approach zero. Similarly, assuming that the target position of the hand 7 of the robot 1 measured by the encoder 3 is x md =(x md , y md , z md ), the error near the target position, that is, the deviation from the true value is It is defined by an expression.

Figure 2020089927
Figure 2020089927

Figure 2020089927
Figure 2020089927

このように、エンコーダ３で計測されたロボット１の手先部７の位置およびエンコーダ３で計測されたロボット１の手先部７の目標位置と、それぞれの真値との間には、リンク棒８の歪みや弛みなどが原因とされる誤差が生じる。 In this way, between the position of the hand 7 of the robot 1 measured by the encoder 3 and the target position of the hand 7 of the robot 1 measured by the encoder 3 and the respective true values, the link rod 8 An error caused by distortion or slack occurs.

次に、ロボット１の手先部７の位置および姿勢の制御時に生じる誤差は、以下の式で定義される。これは、静止摩擦や重力などの影響による誤差とされる。 Next, the error that occurs when controlling the position and orientation of the hand 7 of the robot 1 is defined by the following equation. This is an error due to the effects of static friction and gravity.

Figure 2020089927
Figure 2020089927

ここでは、以下のとおりである。

Figure 2020089927
Here, it is as follows.
Figure 2020089927

数８で示される誤差は、静止摩擦などの影響が小さく、ロボット１の各関節角が目標位置に正確に制御可能であるとき、Δｘｍ２＝０となる。ここでは、産業用ロボットを対象とするため、この値はゼロとする。ただし、式の展開中では記述することとする。これにより、ロボット１に後述の目標位置を与えた際、制御後のロボット１の手先部７の位置は、数８より以下のようになる。 The error represented by Expression 8 has a small influence of static friction and the like, and Δx m2 =0 when each joint angle of the robot 1 can be accurately controlled to the target position. Here, this value is set to zero because the target is an industrial robot. However, it will be described during the expansion of the formula. As a result, when the target position described later is given to the robot 1, the position of the hand portion 7 of the robot 1 after control is as follows from Equation 8.

Figure 2020089927
Figure 2020089927

また、制御手段４は、エンコーダ３により検出されたロボット１の手先部７の位置に、前述したように座標系が変換された誤差を加えることで、ロボット１の手先部７の仮想目標位置を設定することができる。制御手段４は、エンコーダ３に接続されており、このエンコーダ３からのロボット１の手先部７の位置情報を取得することができる。そして、エンコーダ３からのロボット１の手先部７の位置に前述した誤差を加えることで、ロボット１の手先部７の仮想目標位置を設定することができる。 In addition, the control unit 4 adds the error obtained by converting the coordinate system to the position of the hand portion 7 of the robot 1 detected by the encoder 3 to determine the virtual target position of the hand portion 7 of the robot 1. Can be set. The control means 4 is connected to the encoder 3 and can acquire the position information of the hand portion 7 of the robot 1 from the encoder 3. Then, by adding the aforementioned error to the position of the hand portion 7 of the robot 1 from the encoder 3, the virtual target position of the hand portion 7 of the robot 1 can be set.

具体的には、次のとおりである。仮想目標位置ｘｖｄを以下のように設定し、数１、数２および数４により、仮想目標位置ｘｖｄは以下のようになる。 Specifically, it is as follows. The virtual target position x vd is set as follows, and the virtual target position x vd becomes as follows by the formulas 1, 2 and 4.

Figure 2020089927
Figure 2020089927

さらに、制御手段４は、設定された仮想目標位置へロボット１の手先部７が移動するように、ロボット１のアーム６を制御することができる。制御手段４は、モータ１０と接続されており、このモータ１０を制御することで、関節９ひいてはリンク棒８を回転させて、ロボット１の手先部７を設定された仮想目標位置へ到達させることができる。 Further, the control means 4 can control the arm 6 of the robot 1 so that the hand portion 7 of the robot 1 moves to the set virtual target position. The control means 4 is connected to the motor 10, and controls the motor 10 to rotate the joint 9 and thus the link rod 8 so that the hand portion 7 of the robot 1 reaches the set virtual target position. You can

このようにして、ロボット１の手先部７は、停止した初期位置から仮想目標位置へ移動することになる。本実施例では、ロボット１の手先部７は、そのようにして一旦移動を始めたら、停止することなく目標位置まで到達するように制御される。具体的には、ロボット１の手先部７は、次のようにして、制御手段４により制御される。 In this way, the hand portion 7 of the robot 1 moves from the stopped initial position to the virtual target position. In this embodiment, the hand portion 7 of the robot 1 is controlled so that once it starts moving in this way, it reaches the target position without stopping. Specifically, the hand portion 7 of the robot 1 is controlled by the control means 4 as follows.

図３は、本発明のロボット制御システムにおいて与えられた時間の５次関数を示すグラフであり、ロボットの手先部の移動状態での場合を示している。図４は、産業用ロボットの制御に用いられる時間関数のグラフである。多くの産業用ロボットの制御では、速度の台形パターン以外にも、下記の数１２の式および図４で示されるような時間関数を設定することが可能とされている。 FIG. 3 is a graph showing a quintic function of a given time in the robot control system of the present invention, showing a case where the hand of the robot is in a moving state. FIG. 4 is a graph of a time function used for controlling an industrial robot. In many industrial robot controls, in addition to the trapezoidal pattern of speed, it is possible to set the equation (12) below and the time function as shown in FIG.

Figure 2020089927
Figure 2020089927

カメラ２とロボット１との座標系が正確にキャリブレーションされている場合には、ロボット１の手先部７の現在の位置と目標位置とを一旦決定して、ロボット１の指令値の運動の時間関数として設定すればよい。具体的には、ロボット１の手先部７が速度を持った状態で、サンプリングタイムごとに終点である目標位置に向かって軌道を計画し、その軌道に沿って手先部７を移動させることになる。この際、ロボット１およびカメラ２のキャリブレーションが行われていれば、カメラ座標系での目標位置は、各サンプリングタイムで同じ位置となり、サンプリングタイム間でずれが生じることがない。従って、ロボット１の手先部７の運動前に設定された目標軌道に沿って、ロボット１の手先部７を移動させればよい。 When the coordinate system between the camera 2 and the robot 1 is accurately calibrated, the current position of the hand 7 of the robot 1 and the target position are once determined, and the time of movement of the command value of the robot 1 is determined. It can be set as a function. Specifically, with the hand portion 7 of the robot 1 having a speed, a trajectory is planned toward the target position which is the end point at each sampling time, and the hand portion 7 is moved along the trajectory. .. At this time, if the robot 1 and the camera 2 have been calibrated, the target position in the camera coordinate system will be the same position at each sampling time, and there will be no deviation between sampling times. Therefore, the hand portion 7 of the robot 1 may be moved along the target trajectory set before the movement of the hand portion 7 of the robot 1.

一方、本実施例の場合には、前述したようにロボット１およびカメラ２のキャリブレーション誤差が含まれており、ロボット１とカメラ２との座標系がキャリブレーションされていない。従って、ロボット１の手先部７は、運動前に設定されたロボット座標系での目標軌道に追従しても、カメラ座標系の目標位置に収束しない。そこで、本実施例では、ロボット１の手先部７の運動前にロボット座標系の目標軌道を決定するのではなく、運動中に常にカメラ座標系における手先部７の位置と目標位置との偏差情報が利用される。そのために、ロボット１の手先部７の運動中の実時間で軌道計画を行う制御がなされる。すなわち、ロボット１の移動中にロボットセンサ情報が更新され、新たな目標軌道が演算される。目標軌道の設定は、特に限定されないが、本実施例では、加速度も連続となる時間の５次関数による軌道の場合について説明する。なお、時間の５次関数は、以下の数１３の式で示される。この数１３において、ｉはロボット１の関節角の数、ｔは時間を示している。 On the other hand, in the case of the present embodiment, the calibration error of the robot 1 and the camera 2 is included as described above, and the coordinate system of the robot 1 and the camera 2 is not calibrated. Therefore, the hand portion 7 of the robot 1 does not converge to the target position in the camera coordinate system even if it follows the target trajectory in the robot coordinate system set before exercise. Therefore, in the present embodiment, the target trajectory of the robot coordinate system is not determined before the movement of the hand portion 7 of the robot 1, but the deviation information between the position of the hand portion 7 and the target position in the camera coordinate system is always calculated during the movement. Is used. Therefore, control is performed to perform trajectory planning in real time during movement of the hand portion 7 of the robot 1. That is, the robot sensor information is updated while the robot 1 is moving, and a new target trajectory is calculated. The setting of the target trajectory is not particularly limited, but in the present embodiment, the case of a trajectory using a quintic function of the time when the acceleration is also continuous will be described. The quintic function of time is represented by the following expression (13). In Equation 13, i represents the number of joint angles of the robot 1 and t represents time.

Figure 2020089927
Figure 2020089927

ここでは、まず、一旦運動が開始されてロボット１の手先部７が運動中と想定する。この際、ロボット１の手先部７の位置、現在の速度および加速度は、予め設定された各サンプリングタイムで計測可能とされる。また、前述したようにロボット１およびカメラ２のキャリブレーションが行われていないので、各サンプリングタイムにおいて、ロボット１の手先部７の移動先である目標位置が変更される。目標位置、速度および加速度が条件とされた場合、初期条件の３つのパラメータと終端条件の３つのパラメータの合計６つのパラメータが時間の５次軌道の係数として決定される。たとえば、目標位置での停止を想定する場合には、各サンプリングタイムでの位置、速度および加速度と目標位置、目標速度（ゼロとする）および目標加速度（ゼロとする）と設定すればよい。 Here, it is assumed that the exercise is started once and the hand portion 7 of the robot 1 is in action. At this time, the position of the hand portion 7 of the robot 1, the current speed, and the acceleration can be measured at each preset sampling time. Further, since the robot 1 and the camera 2 are not calibrated as described above, the target position, which is the movement destination of the hand portion 7 of the robot 1, is changed at each sampling time. When the target position, velocity, and acceleration are used as conditions, a total of six parameters, which are the three parameters of the initial condition and the three parameters of the end condition, are determined as the coefficients of the fifth-order trajectory of time. For example, when stopping at the target position, the position, velocity and acceleration at each sampling time and the target position, target velocity (zero) and target acceleration (zero) may be set.

具体的には、ロボット１の手先部７が速度を持った状態で、サンプリングタイムごとに終点である目標位置に向かって軌道を計画し、その軌道に沿って手先部７を移動させることになる。本実施例では、ロボット１およびカメラ２のキャリブレーションがなされていないので、それがなされている場合と異なり、カメラ２で検出される目標位置は、各サンプリングタイムで異なる。従って、サンプリングタイムごとに数１３の係数を求め、サンプリングタイムごとに軌道が計画される。すなわち、ロボット１の手先部７が移動している状態において、サンプリングタイムごとに軌道計画が更新され、時間関数が実時間で計算される。 Specifically, with the hand portion 7 of the robot 1 having a speed, a trajectory is planned toward the target position which is the end point at each sampling time, and the hand portion 7 is moved along the trajectory. .. In this embodiment, since the robot 1 and the camera 2 are not calibrated, the target position detected by the camera 2 is different at each sampling time, unlike the case where the calibration is performed. Therefore, the coefficient of Equation 13 is obtained for each sampling time, and the trajectory is planned for each sampling time. That is, in the state where the hand portion 7 of the robot 1 is moving, the trajectory plan is updated every sampling time, and the time function is calculated in real time.

このようにして、ロボット１およびカメラ２のキャリブレーションが行われていない状態において、制御手段４により制御される。制御手段４は、ロボット１の手先部７の移動中に、カメラ２により得られた撮像結果に基づき、ロボット１の手先部７の位置と目標位置との誤差をリアルタイムで算出することで、その誤差に基づき、ロボット１の手先部７がその目標位置へ移動するようアーム６を実時間で制御する。この際、制御手段４は、ロボット１の手先部７の目標位置への目標軌道を時間の５次関数で与え、ロボット１の手先部７の移動中において、サンプリングタイム毎に目標軌道を求めることで、前記誤差をリアルタイムで算出する。 In this way, the control means 4 controls the robot 1 and the camera 2 in a state where the calibration is not performed. The control means 4 calculates the error between the position of the hand part 7 of the robot 1 and the target position in real time based on the imaging result obtained by the camera 2 while the hand part 7 of the robot 1 is moving, thereby Based on the error, the arm 6 is controlled in real time so that the hand portion 7 of the robot 1 moves to its target position. At this time, the control means 4 gives a target trajectory to the target position of the hand portion 7 of the robot 1 by a quintic function of time, and obtains the target trajectory at each sampling time while the hand portion 7 of the robot 1 is moving. Then, the error is calculated in real time.

この新たな軌道は、最初の軌道と現在時間においてスムーズにつながり、また、新たな目標位置に収束するための軌道とされる。本実施例の場合、これをロボット１の移動中に各サンプリングタイムで繰り返すことで、ロボット座標系において変動し続ける目標位置に対して、振動がなく、収束までの時間が速いスムーズな制御を実現することができる。これは、ロボット１の手先部７から目標位置までの誤差をリアルタイムで導出することにより、常に手先部７を移動させるべき最適な位置および軌道上を移動させることができるからである。さらに、本実施例の場合、ロボット１の手先部７の移動中において、サンプリングタイムごとに目標軌道である時間の５次関数が求められるので、加速度を滑らかにすることができ、振動を防止することができる。 This new trajectory is a trajectory that smoothly connects to the first trajectory at the current time and converges to a new target position. In the case of the present embodiment, this is repeated at each sampling time while the robot 1 is moving, so that there is no vibration with respect to the continuously changing target position in the robot coordinate system, and smooth control is achieved in a short time until convergence. can do. This is because by deriving the error from the hand part 7 of the robot 1 to the target position in real time, the hand part 7 can always be moved on the optimum position and on the trajectory. Further, in the case of the present embodiment, while the hand portion 7 of the robot 1 is moving, the quintic function of the target trajectory is obtained for each sampling time, so that the acceleration can be smoothed and vibration can be prevented. be able to.

本発明のロボット制御システムは、前記実施例の構成に限らず、適宜変更可能である。たとえば、前記実施例では、目標軌道は、時間の５次関数で与えられたが、これに限定されるものではなく、ロボット１の手先部７が滑らかな軌道をとる関数であればよい。一例としては、速度と時間との関係が、図４のように釣鐘型ではなく、台形状になる関数が好ましい。この場合、ロボット１に定められたスピードリミットに早く近づくことができ、ロボット１の手先部７の移動の高速化をより向上させることができる。さらに、ロボット１およびカメラ２のキャリブレーションが行われない制御方法は、前述した方法に限定されるものではなく、たとえば、国際公開番号ＷＯ２０１３／１７６２１２号に開示される方法であってもよい。 The robot control system of the present invention is not limited to the configuration of the above embodiment, but can be modified as appropriate. For example, in the above-described embodiment, the target trajectory is given by a quintic function of time, but the present invention is not limited to this, and any function may be used as long as the hand portion 7 of the robot 1 takes a smooth trajectory. As an example, a function in which the relationship between speed and time is trapezoidal rather than the bell shape as shown in FIG. 4 is preferable. In this case, the speed limit set for the robot 1 can be quickly approached, and the movement speed of the hand portion 7 of the robot 1 can be further improved. Furthermore, the control method in which the robot 1 and the camera 2 are not calibrated is not limited to the method described above, and may be the method disclosed in International Publication No. WO2013/176212, for example.

１ ロボット
２ カメラ（撮像手段）
４ 制御手段
６ アーム
７ 手先部 1 robot 2 camera (imaging means)
4 Control means 6 Arm 7 Hand part

Claims (2)

手先部を有し、前記手先部を移動させるアームを有するロボットと、
前記手先部の位置と、前記手先部の移動先である目標位置とを撮像する撮像手段と、
前記ロボットおよび前記撮像手段のキャリブレーションが行われていない状態において、前記手先部の移動中に、前記撮像手段により得られた撮像結果に基づき、前記手先部の位置と前記目標位置との誤差をリアルタイムで算出することで、前記誤差に基づき、前記手先部が前記目標位置へ移動するよう前記アームを実時間で制御する制御手段と
を備えることを特徴とするロボット制御システム。 A robot having a hand part and having an arm for moving the hand part;
Image pickup means for picking up an image of the position of the hand portion and the target position which is the movement destination of the hand portion,
In a state where the robot and the image pickup means are not calibrated, an error between the position of the handtip portion and the target position is calculated based on the image pickup result obtained by the image pickup means while the hand portion is moving. A robot control system comprising: a control unit that controls the arm in real time so that the hand portion moves to the target position based on the error, by calculating in real time. 前記制御手段は、前記手先部の前記目標位置への目標軌道を時間の５次関数で与え、前記手先部の移動中において、サンプリングタイム毎に前記目標軌道を求めることで、前記誤差をリアルタイムで算出する
ことを特徴とする請求項１に記載のロボット制御システム。 The control means gives a target trajectory of the hand portion to the target position by a quintic function of time, and obtains the target trajectory at each sampling time while the hand portion is moving, thereby obtaining the error in real time. It calculates, The robot control system of Claim 1 characterized by the above-mentioned.
JP2018226621A 2018-12-03 2018-12-03 Robot control system Pending JP2020089927A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018226621A JP2020089927A (en) 2018-12-03 2018-12-03 Robot control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018226621A JP2020089927A (en) 2018-12-03 2018-12-03 Robot control system

Publications (1)

Publication Number Publication Date
JP2020089927A true JP2020089927A (en) 2020-06-11

Family

ID=71012225

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018226621A Pending JP2020089927A (en) 2018-12-03 2018-12-03 Robot control system

Country Status (1)

Country Link
JP (1) JP2020089927A (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04279901A (en) * 1991-03-07 1992-10-06 Hitachi Ltd Controller for industrial robot
JPH10296630A (en) * 1997-04-28 1998-11-10 Seiko Seiki Co Ltd Polishing energy control device
JP2008302496A (en) * 2006-07-04 2008-12-18 Panasonic Corp Device and method for controlling robot arm, robot, and control program of the robot arm
JP2015074061A (en) * 2013-10-10 2015-04-20 セイコーエプソン株式会社 Robot control device, robot system, robot, robot control method and robot control program
JP2016052699A (en) * 2014-09-03 2016-04-14 学校法人立命館 Robot control system and robot control method
US9776325B1 (en) * 2013-03-13 2017-10-03 Hrl Laboratories, Llc Method for tele-robotic operations over time-delayed communication links
JP2018126857A (en) * 2017-02-09 2018-08-16 キヤノン株式会社 Control method of robot, teaching method of the robot, robot system, program, and recording medium
JP2018158391A (en) * 2017-03-22 2018-10-11 株式会社東芝 Object handling device and calibration method for the same

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04279901A (en) * 1991-03-07 1992-10-06 Hitachi Ltd Controller for industrial robot
JPH10296630A (en) * 1997-04-28 1998-11-10 Seiko Seiki Co Ltd Polishing energy control device
JP2008302496A (en) * 2006-07-04 2008-12-18 Panasonic Corp Device and method for controlling robot arm, robot, and control program of the robot arm
US9776325B1 (en) * 2013-03-13 2017-10-03 Hrl Laboratories, Llc Method for tele-robotic operations over time-delayed communication links
JP2015074061A (en) * 2013-10-10 2015-04-20 セイコーエプソン株式会社 Robot control device, robot system, robot, robot control method and robot control program
JP2016052699A (en) * 2014-09-03 2016-04-14 学校法人立命館 Robot control system and robot control method
JP2018126857A (en) * 2017-02-09 2018-08-16 キヤノン株式会社 Control method of robot, teaching method of the robot, robot system, program, and recording medium
JP2018158391A (en) * 2017-03-22 2018-10-11 株式会社東芝 Object handling device and calibration method for the same

Similar Documents

Publication Publication Date Title
JP5949242B2 (en) Robot system, robot, robot control apparatus, robot control method, and robot control program
JP6657469B2 (en) Automatic calibration method for robot system
TWI572468B (en) Automatic adjustment method of offset automatic adjustment device and robot
JP6623286B2 (en) Automatic calibration method for robot system
JP6430986B2 (en) Positioning device using robot
JP6167622B2 (en) Control system and control method
KR101643314B1 (en) Imaging inspection device, and control device and control method therefor
US20180229364A1 (en) Robot system having learning control function and learning control method
JP6317618B2 (en) Information processing apparatus and method, measuring apparatus, and working apparatus
JP6298026B2 (en) Deflection measurement system for measuring the deflection of articulated robots
JP2015066603A (en) Robot calibration device and robot calibration method, and robot device and robot device control method
JP5849451B2 (en) Robot failure detection method, control device, and robot
WO2018043525A1 (en) Robot system, robot system control device, and robot system control method
JP2015062991A (en) Coordinate system calibration method, robot system, program, and recording medium
JP6485620B2 (en) Robot control system and robot control method
KR102561103B1 (en) Robot calibration system and calibration method thereof
JP2020089927A (en) Robot control system
JP3981778B2 (en) Visual feedback method of mechanical device using imaging device and mechanical device
WO2023013740A1 (en) Robot control device, robot control system, and robot control method
US20230123629A1 (en) 3d computer-vision system with variable spatial resolution
JP7011805B2 (en) Robot control device and robot control method for setting robot control points
JP2016203282A (en) Robot with mechanism for changing end effector attitude
WO2020179507A1 (en) Control device and alignment device
JP7310358B2 (en) Overshoot amount detection method, overshoot amount detection system, robot system, and overshoot amount adjustment method
JP2005186193A (en) Calibration method and three-dimensional position measuring method for robot

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211201

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230330