JP2019063955A - Robot system, operation control method and operation control program - Google Patents
Robot system, operation control method and operation control program Download PDFInfo
- Publication number
- JP2019063955A JP2019063955A JP2017193420A JP2017193420A JP2019063955A JP 2019063955 A JP2019063955 A JP 2019063955A JP 2017193420 A JP2017193420 A JP 2017193420A JP 2017193420 A JP2017193420 A JP 2017193420A JP 2019063955 A JP2019063955 A JP 2019063955A
- Authority
- JP
- Japan
- Prior art keywords
- hand
- robot
- holding
- workpiece
- laser sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 33
- 238000003384 imaging method Methods 0.000 claims abstract description 31
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 description 40
- 238000013459 approach Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Landscapes
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
Description
本発明は、ロボットシステム、動作制御方法及び動作制御プログラムに関する。 The present invention relates to a robot system, an operation control method, and an operation control program.
従来から、ロボットのマニピュレータの先端に撮像装置が取り付けられ、この撮像装置から得られる情報に基づいてマニピュレータの動作が制御される、いわゆるオンハンド方式のロボットシステムが開発されている。例えば下記特許文献１には、撮像装置によって撮像された画像に基づいて、把持対象となるワークの位置や姿勢を検出することにより、ハンドをワークに近付ける動作（いわゆる、アプローチ動作）を自動的に制御するロボットが開示されている。当該ロボットでは、アプローチ動作が完了したときのワークに対するハンドの相対的な位置を示すデータを事前に登録することにより、撮像装置から順次得られるデータと、当該登録されたデータとを比較して、ハンドの軌跡を算出することができる。 Conventionally, a so-called on-hand robot system has been developed in which an imaging device is attached to the tip of a robot manipulator, and the operation of the manipulator is controlled based on information obtained from the imaging device. For example, in Patent Document 1 below, an operation (so-called approach operation) for bringing a hand close to a workpiece is automatically performed by detecting the position and orientation of a workpiece to be gripped based on an image captured by an imaging device. A controlling robot is disclosed. The robot compares the data sequentially obtained from the imaging device with the registered data by registering in advance data indicating the relative position of the hand to the workpiece when the approach operation is completed. The trajectory of the hand can be calculated.
しかしながら、上述のロボットにおいては、ロボットにアプローチ動作を教示するために、事前に登録すべきデータを取得しなければならず、一度は作業者がティーチペンダントと呼ばれる教示操作盤を操作して、アプローチ動作が完了した位置までハンドを移動させる工程が必要となる。この工程では、ロボットがワークを含む外部環境と接触しないよう、作業者がロボットやワークを目視しながら手動操作する必要がある。従って、ロボットを低速度で動作させることとなり、作業者の手間や時間を要していた。 However, in the above-mentioned robot, in order to teach the robot approach operation, it is necessary to acquire data to be registered in advance, and once the operator operates the teaching operation panel called teaching pendant to approach The process of moving the hand to the position where the operation is completed is required. In this process, it is necessary for the operator to manually operate the robot or the workpiece while visually observing the robot so that the robot does not contact the external environment including the workpiece. Therefore, the robot is operated at a low speed, requiring labor and time for the operator.
また、作業者は、アプローチ動作を完了させた後に、撮像装置によってワークを撮像し、得られた画像を登録する必要があり、これによっても手間や時間を要していた。 In addition, after completing the approach operation, the worker needs to image the work with the imaging device and register the obtained image, which also requires time and effort.
そこで、本発明は、ロボットの動作の教示に要する手間及び時間を削減することができるロボットシステム、動作制御方法及び動作制御プログラムを提供することを目的とする。 Therefore, an object of the present invention is to provide a robot system, an operation control method, and an operation control program capable of reducing the time and effort required for teaching the operation of the robot.
本発明の一態様に係るロボットシステムは、ロボット及びロボットの動作を制御する制御装置を備え、ロボットは、載置面に載置された対象物を撮像する撮像装置と、距離を測定するレーザセンサと、撮像装置、レーザセンサ、及び対象物を保持可能なハンドが取り付けられたアームと、を備え、制御装置は、レーザセンサから得られる距離情報に基づいて、ハンドが対象物及び載置面のいずれとも接触せず、且つ、ハンドの動作によって対象物を保持可能なアームの目標位置を算出し、目標位置にアームを移動させる命令と、目標位置においてハンドに対象物を保持させる命令とを含むプログラムを生成する。 A robot system according to an aspect of the present invention includes a robot and a control device that controls operations of the robot, and the robot is an imaging device that images an object placed on a mounting surface, and a laser sensor that measures a distance And an arm attached with an imaging device, a laser sensor, and a hand capable of holding an object, and the control device is configured to control the hand of the object and the mounting surface based on distance information obtained from the laser sensor. It includes a command to move the arm to the target position, and a command to hold the object on the hand at the target position. Generate a program
この態様によれば、レーザセンサから得られる距離情報に基づいて、ハンドが対象物及び載置面のいずれとも接触しないアームの目標位置を自動的に算出し、ハンドに対象物を保持させるプログラムを生成することができる。従って、作業者がロボットを目視しつつ手動でハンドを移動させる必要がなく、ロボットの動作の教示に要する手間及び時間を削減することができる。 According to this aspect, based on the distance information obtained from the laser sensor, a program for automatically calculating the target position of the arm in which the hand does not contact either the object or the placement surface and causing the hand to hold the object Can be generated. Therefore, it is not necessary for the operator to move the hand manually while viewing the robot, and it is possible to reduce the time and effort required for teaching the operation of the robot.
上記態様において、ハンドは、対象物を保持する複数のフィンガと、複数のフィンガを支持する支持部とを備え、複数のフィンガは、それぞれ、対象物を保持する際に、載置面と交差する第１方向に沿う領域であって、対象物と当接し得る保持領域を有し、制御装置は、レーザセンサから得られる距離情報に基づいて、対象物における第１方向の高さを算出し、対象物の高さが、フィンガの保持領域における第１方向の長さよりも長い場合、対象物におけるハンドと対向する第１対向領域と、ハンドにおける対象物と対向する第２対向領域との間に間隔が設けられるように目標位置を算出し、対象物の高さが、フィンガの保持領域における第１方向の長さよりも短い場合、載置面とフィンガの先端部との間に間隔が設けられるように目標位置を算出してもよい。 In the above aspect, the hand includes a plurality of fingers for holding the object and a support portion for supporting the plurality of fingers, and the plurality of fingers respectively intersect the mounting surface when holding the object. The control device calculates the height in the first direction of the object based on the distance information obtained from the laser sensor, which is an area along the first direction and can be in contact with the object. When the height of the object is longer than the length in the first direction in the holding area of the finger, the distance between the first facing area facing the hand on the object and the second facing area facing the object on the hand The target position is calculated to be spaced, and if the height of the object is shorter than the length in the first direction in the holding area of the finger, a space is provided between the mounting surface and the tip of the finger Target position Calculation may be.
この態様によれば、アームが目標位置に到達した際に、ハンドと対象物及び載置面とのいずれの間にも間隔が設けられる。従って、ハンドと対象物及び載置面との接触が回避され、ハンドの故障や対象物の破損を防ぐことができる。 According to this aspect, when the arm reaches the target position, a space is provided between any of the hand and the object and the mounting surface. Therefore, contact between the hand and the object and the mounting surface can be avoided, and failure of the hand and breakage of the object can be prevented.
上記態様において、制御装置は、撮像装置によって撮像された画像に基づいて対象物の形状を算出し、ハンドによる保持が可能か否かを判定してもよい。 In the above aspect, the control device may calculate the shape of the object based on the image captured by the imaging device and determine whether or not the holding by the hand is possible.
この態様によれば、ハンドによる対象物の保持が不可能であると判定された場合に、ハンドによる保持動作を停止させることができる。従って、ハンドの故障や対象物の破損を防ぐことができる。 According to this aspect, the holding operation by the hand can be stopped when it is determined that the holding of the object by the hand is impossible. Therefore, it is possible to prevent the failure of the hand and the damage of the object.
上記態様において、制御装置は、レーザセンサから得られる距離情報に基づいて、対象物におけるハンドと対向する第１対向領域の載置面に対する傾きを算出し、撮像装置の光軸が第１対向領域と略直交するようにアームの角度を調整してもよい。 In the above aspect, the control device calculates the inclination of the first opposing area facing the hand in the object with respect to the mounting surface based on the distance information obtained from the laser sensor, and the optical axis of the imaging apparatus is the first opposing area The angle of the arm may be adjusted to be substantially orthogonal to
この態様によれば、対象物の第１対向領域の傾きに応じて、アームの角度が調整される。これにより、撮像装置の視野面が第１対向領域と略平行となるため、第１対向領域の寸法を適切に算出することができ、ハンドによる保持が可能か否かの判定を適切に行うことができる。 According to this aspect, the angle of the arm is adjusted according to the inclination of the first opposing area of the object. As a result, the field of view of the imaging apparatus becomes substantially parallel to the first opposing area, so that the dimensions of the first opposing area can be appropriately calculated, and it is appropriately determined whether or not the holding by the hand is possible. Can.
上記態様において、撮像装置とレーザセンサは、別体であってもよい。 In the above aspect, the imaging device and the laser sensor may be separate.
この態様によれば、レーザセンサによって距離が測定されるため、例えば測距機能を兼ねた撮像装置によって距離が測定される構成に比べて、測距の精度が高くなる。従って、アームの目標位置の算出を高い精度で行うことができる。 According to this aspect, since the distance is measured by the laser sensor, the accuracy of distance measurement is higher than, for example, a configuration in which the distance is measured by the imaging device having a distance measuring function. Therefore, it is possible to calculate the target position of the arm with high accuracy.
本発明によれば、ロボットの動作の教示に要する手間及び時間を削減することができるロボットシステム、動作制御方法及び動作制御プログラムを提供することができる。 According to the present invention, it is possible to provide a robot system, an operation control method, and an operation control program capable of reducing the time and effort required for teaching the operation of the robot.
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。 Embodiments of the present invention will be described with reference to the accompanying drawings. In addition, what attached the same code | symbol in each figure has the same or same structure.
図１は、本発明の一実施形態に係るロボットシステムの構成例を示す図である。図１に示されるロボットシステム１は、ロボットが、作業台の上に載置されたワーク（対象物）に対して所定の作業を行うように制御されたシステムである。具体的に、ロボットシステム１は、例えば各種の作業を行うロボット１０と、ロボット１０の動作を制御する制御装置２０とを備える。図１に示されるように、ロボット１０の動作が及び得る作業領域には、作業台３０と、当該作業台３０上の載置面３１に載置されたワーク４０が配置されている。なお、作業台３０及びワーク４０は、ロボットシステム１に含まれてもよいし、含まれなくてもよい。ロボット１０が行う各種の作業は、例えばワーク４０を保持し、所定の場所まで運搬し、解放することを含むが、以下では保持する動作について説明する。 FIG. 1 is a view showing a configuration example of a robot system according to an embodiment of the present invention. The robot system 1 shown in FIG. 1 is a system in which a robot is controlled to perform a predetermined work on a work (object) placed on a workbench. Specifically, the robot system 1 includes, for example, a robot 10 that performs various tasks, and a control device 20 that controls the operation of the robot 10. As shown in FIG. 1, a workbench 30 and a work 40 placed on a placement surface 31 on the workbench 30 are disposed in a work area where the operation of the robot 10 can extend. The work platform 30 and the work 40 may or may not be included in the robot system 1. The various operations performed by the robot 10 include, for example, holding the workpiece 40, transporting it to a predetermined place, and releasing it, but the holding operation will be described below.
ロボット１０は、例えばロボット１０の本体部を構成するマニピュレータ１１と、当該マニピュレータ１１に取り付けられたハンド１２、視覚センサ１３及びレーザセンサ１４とを備える。ロボット１０は、空間座標（図１においてはＸＹＺ座標）によって表される作業空間内において動作する。 The robot 10 includes, for example, a manipulator 11 constituting a main body of the robot 10, a hand 12 attached to the manipulator 11, a visual sensor 13 and a laser sensor 14. The robot 10 operates in a work space represented by space coordinates (XYZ coordinates in FIG. 1).
マニピュレータ１１は、フロア等に設置されるベース１５と、複数の関節を有するアーム１６とを備える。複数の関節にはサーボモーター等が取り付けられており、このサーボモーターを駆動制御することにより、アーム１６の多関節動作が実現される。当該関節の数によってアーム１６の可動範囲が変化するが、本実施形態では、例えば６軸の多関節構造であるものとする。 The manipulator 11 includes a base 15 installed on a floor or the like, and an arm 16 having a plurality of joints. A servomotor or the like is attached to the plurality of joints, and the articulated movement of the arm 16 is realized by controlling the drive of the servomotor. The movable range of the arm 16 changes according to the number of joints, but in this embodiment, it is assumed to be, for example, a six-axis articulated structure.
ハンド１２は、アーム１６の先端１７（すなわち、マニピュレータ１１の先端）に取り付けられる。ハンド１２は、各種の作業を行うためのエンドエフェクタの一具体例である。本実施形態におけるハンド１２は、開閉動作によってワーク４０を外側から内側に向かって把持する複数のフィンガ１８を有する多指ハンドである。フィンガ１８の数は特に限定されないが、例えば４本であってもよい。図１では、Ｘ軸方向に開閉動作する２本のフィンガ１８が図示されており、Ｙ軸方向に開閉動作する２本のフィンガは図示が省略されている。なお、ハンド１２の機構は多指ハンドに限られず、グリッパやマグネットハンド等、ワークを保持できるものであれば他の機構であってもよい。ここで、本明細書において「保持」とは、フィンガによってワークを外側から内側に向かって把持することに限られず、例えばワークが開口部を有する場合に、当該開口部の内側から外側に向かって力を加えて保持することや、磁力や空気圧によってワークを吸着して保持することも含むものとする。 The hand 12 is attached to the tip 17 of the arm 16 (ie, the tip of the manipulator 11). The hand 12 is a specific example of an end effector for performing various tasks. The hand 12 in the present embodiment is a multi-fingered hand having a plurality of fingers 18 which grip the work 40 from the outside to the inside by the opening / closing operation. The number of fingers 18 is not particularly limited, but may be four, for example. In FIG. 1, two fingers 18 that open and close in the X-axis direction are illustrated, and two fingers that open and close in the Y-axis direction are not illustrated. The mechanism of the hand 12 is not limited to a multi-fingered hand, and may be another mechanism such as a gripper or a magnet hand as long as it can hold a work. Here, in the present specification, “holding” is not limited to gripping the work from the outside to the inside by the finger, and for example, when the work has an opening, the opening is from the inside to the outside Including applying and holding force, and attracting and holding a work by magnetic force or air pressure.
視覚センサ１３（撮像装置）は、アーム１６の先端１７に取りけられ、アーム１６の移動と同期して移動しながら撮像を行う。視覚センサ１３は、撮像装置の一具体例であり、例えば、撮像素子及びレンズを含むカメラである。図１において、視覚センサ１３のレンズの光軸はＺ軸に沿うように配置され、視覚センサ１３の視野範囲はＸＹ平面に広がっている。視覚センサ１３によって撮像された画像は、例えばケーブル等（不図示）を介して制御装置２０に出力され、当該制御装置２０において処理される。ロボット１０は、視覚センサ１３から得られる情報に基づいて動作が制御される、いわゆるオンハンド方式のロボットである。ロボットシステム１がワーク４０の保持動作に用いられる場合、作業台３０の載置面３１上に載置されたワーク４０が視覚センサ１３によって撮像され、得られた画像からワーク４０が検出される。これにより、載置面３１におけるワーク４０の位置、姿勢、ワーク４０のＸＹ平面の平面視における形状（以下、単に「平面形状」とも呼ぶ。）及び寸法が算出される。従って、ロボットシステム１では、視覚センサ１３を備えることによって、ワーク４０を高精度に保持することができる。 The visual sensor 13 (imaging device) is mounted on the tip 17 of the arm 16 and performs imaging while moving in synchronization with the movement of the arm 16. The visual sensor 13 is a specific example of an imaging device, and is, for example, a camera including an imaging element and a lens. In FIG. 1, the optical axis of the lens of the visual sensor 13 is disposed along the Z axis, and the field of view of the visual sensor 13 extends in the XY plane. The image captured by the visual sensor 13 is output to the control device 20 via, for example, a cable (not shown) and processed in the control device 20. The robot 10 is a so-called on-hand robot whose operation is controlled based on information obtained from the visual sensor 13. When the robot system 1 is used for the holding operation of the workpiece 40, the workpiece 40 mounted on the mounting surface 31 of the work table 30 is imaged by the visual sensor 13, and the workpiece 40 is detected from the obtained image. As a result, the position and posture of the workpiece 40 on the placement surface 31 and the shape (hereinafter, also simply referred to as “planar shape”) and dimensions in plan view of the XY plane of the workpiece 40 are calculated. Therefore, in the robot system 1, the workpiece 40 can be held with high accuracy by providing the visual sensor 13.
レーザセンサ１４は、視覚センサ１３とともにアーム１６の先端１７に取り付けれ、アーム１６及び視覚センサ１３の移動と同期して移動する。レーザセンサ１４は、距離センサの一具体例であり、例えば三角測定式又は時間計測式のレーザセンサや、受光量判別式のレーザセンサを含む。具体的には、レーザセンサ１４は照射部及び受光部（不図示）を有し、対象物に対して照射部からレーザを照射し、対象物において反射されたレーザを受光部において受光することによって、当該対象物までの距離を測定する。本実施形態において、レーザセンサ１４は、例えばワーク４０や載置面３１までの距離の測定に用いられる。レーザセンサ１４によって得られた距離の値は、例えばケーブル等（不図示）を介して制御装置２０に出力されて処理される。なお、レーザセンサ１４が照射するレーザの具体的な構成は特に限定されず、例えば図１に示されるようにポイント状のレーザであってもよく、あるいはライン状のレーザであってもよい。 The laser sensor 14 is attached to the tip 17 of the arm 16 together with the visual sensor 13 and moves in synchronization with the movement of the arm 16 and the visual sensor 13. The laser sensor 14 is a specific example of a distance sensor, and includes, for example, a trigonometric measurement type or time measurement type laser sensor, and a light reception amount differential type laser sensor. Specifically, the laser sensor 14 has an irradiation unit and a light receiving unit (not shown), irradiates the laser from the irradiation unit to the object, and receives the laser reflected from the object by the light reception unit. Measure the distance to the object. In the present embodiment, the laser sensor 14 is used, for example, to measure the distance to the work 40 or the mounting surface 31. The value of the distance obtained by the laser sensor 14 is output to the control device 20 via, for example, a cable (not shown) and processed. The specific configuration of the laser irradiated by the laser sensor 14 is not particularly limited, and may be, for example, a point-like laser as shown in FIG. 1 or a line-like laser.
なお、視覚センサ１３及びレーザセンサ１４が取り付けられる位置はアーム１６の先端１７に限られない。例えば、視覚センサ１３及びレーザセンサ１４は、アーム１６の他の位置や、ハンド１２に取り付けられてもよい。また、視覚センサ１３及びレーザセンサ１４は、ロボット１０の一部としてロボット本体に組み込まれていてもよく、又はロボット１０に外付けされていてもよい。また、本実施形態においては視覚センサ１３とレーザセンサ１４とが別体である構成が示されているが、当該構成の代わりに、撮像機能と測距機能が一体となった装置（例えば、測距機能を兼ねた撮像装置等）が用いられてもよい。 The position at which the visual sensor 13 and the laser sensor 14 are attached is not limited to the tip 17 of the arm 16. For example, the vision sensor 13 and the laser sensor 14 may be attached to the other position of the arm 16 or the hand 12. Further, the visual sensor 13 and the laser sensor 14 may be incorporated in the robot body as a part of the robot 10 or may be externally attached to the robot 10. Further, although a configuration in which the visual sensor 13 and the laser sensor 14 are separate bodies is shown in the present embodiment, an apparatus in which an imaging function and a distance measuring function are integrated instead of the configuration (for example, measurement) An imaging device or the like having a distance measuring function may be used.
制御装置２０は、例えばコンピュータにより構成され、マニピュレータ１１、ハンド１２、視覚センサ１３及びレーザセンサ１４の動作を制御する。具体的に、制御装置２０は、例えば制御部２１及び記憶部２２を備える。制御部２１は、マニピュレータ制御部２１０、視覚センサ制御部２１１、レーザセンサ制御部２１２、保持判定部２１３及び目標位置算出部２１４を含む。 The control device 20 is configured by, for example, a computer, and controls operations of the manipulator 11, the hand 12, the visual sensor 13 and the laser sensor 14. Specifically, the control device 20 includes, for example, a control unit 21 and a storage unit 22. The control unit 21 includes a manipulator control unit 210, a visual sensor control unit 211, a laser sensor control unit 212, a holding determination unit 213, and a target position calculation unit 214.
マニピュレータ制御部２１０は、ロボット１０の各関節のサーボモーターの駆動を制御し、マニピュレータ１１を作業空間において動作させる。また、マニピュレータ制御部２１０は、ハンド１２が備えるフィンガ１８の開閉動作も制御する。 The manipulator control unit 210 controls the drive of the servomotor of each joint of the robot 10, and operates the manipulator 11 in the work space. The manipulator control unit 210 also controls the open / close operation of the finger 18 provided in the hand 12.
視覚センサ制御部２１１は、視覚センサ１３の撮像を制御して、画像を取得する。また、視覚センサ制御部２１１は、取得された画像に画像処理を施し、ワーク４０の位置、姿勢、平面形状及び寸法を算出する。 The visual sensor control unit 211 controls the imaging of the visual sensor 13 to acquire an image. Further, the visual sensor control unit 211 performs image processing on the acquired image to calculate the position, posture, planar shape, and dimensions of the workpiece 40.
レーザセンサ制御部２１２は、レーザセンサ１４にレーザの照射及び受光をさせて、レーザセンサ１４から対象物（例えば、ワーク４０や載置面３１等）までの距離を取得する。 The laser sensor control unit 212 causes the laser sensor 14 to emit and receive a laser, and acquires the distance from the laser sensor 14 to an object (for example, the workpiece 40 or the mounting surface 31).
保持判定部２１３は、視覚センサ制御部２１１によって取得されたワーク４０の平面形状及び寸法に基づき、ハンド１２がワーク４０を保持可能か否かの判定を行う。 The holding determination unit 213 determines whether the hand 12 can hold the workpiece 40 based on the planar shape and dimensions of the workpiece 40 acquired by the visual sensor control unit 211.
目標位置算出部２１４は、保持判定部２１３においてワーク４０が保持可能と判定された場合に、ワーク４０の高さに基づいてアーム１６の目標位置を算出する。そして、目標位置算出部２１４は、アーム１６を現在位置から目標位置に移動させる命令と、この目標位置からハンド１２を動作させてハンド１２にワーク４０を保持させる命令とを含むプログラムを自動的に生成する。なお、アーム１６の「目標位置」とは、ハンド１２がワーク４０を保持する直前のアーム１６の位置であり、より具体的には、ハンド１２がワーク４０及び載置面３１のいずれとも接触せず、且つハンド１２の動作によってワーク４０を保持可能な位置である。 The target position calculation unit 214 calculates the target position of the arm 16 based on the height of the work 40 when the holding determination unit 213 determines that the work 40 can be held. Then, the target position calculation unit 214 automatically performs a program including an instruction to move the arm 16 from the current position to the target position, and an instruction to operate the hand 12 from the target position to hold the workpiece 40 on the hand 12. Generate The “target position” of the arm 16 is the position of the arm 16 immediately before the hand 12 holds the work 40, and more specifically, the hand 12 is in contact with both the work 40 and the mounting surface 31. And the position where the work 40 can be held by the operation of the hand 12.
記憶部２２には、例えばアーム１６の先端１７に対する視覚センサ１３及びレーザセンサ１４の相対的な位置及び姿勢が記憶される。これにより、レーザセンサ１４を用いて対象物までの距離が測定された場合、当該距離に基づいて視覚センサ１３から対象物までの距離を算出することができる。また、記憶部２２には、視覚センサ１３のワークディスタンスや、フィンガ１８の可動範囲等が記憶される。 The storage unit 22 stores, for example, the relative positions and orientations of the visual sensor 13 and the laser sensor 14 with respect to the tip 17 of the arm 16. Thus, when the distance to the object is measured using the laser sensor 14, the distance from the visual sensor 13 to the object can be calculated based on the distance. The storage unit 22 also stores the work distance of the vision sensor 13, the movable range of the finger 18, and the like.
これらの制御部２１に含まれる各機能は、例えば、記憶部２２に格納された所定のプログラムを制御装置２０に含まれるプロセッサが実行することにより実現される。なお、制御装置２０の機能は、これに限定されることなく、必要に応じて任意の機能が適宜追加されていてもよい。また、図１においては、制御部２１に含まれる各機能が１つの制御装置２０において実現される構成が示されているが、当該各機能は複数の装置に分散されて実現されてもよい。 Each function included in the control unit 21 is realized, for example, by a processor included in the control device 20 executing a predetermined program stored in the storage unit 22. In addition, the function of the control apparatus 20 is not limited to this, Arbitrary functions may be added suitably as needed. Although FIG. 1 shows a configuration in which each function included in the control unit 21 is realized by one control device 20, each function may be dispersed and realized in a plurality of devices.
次に、ロボットシステム１におけるワーク４０の保持動作の制御方法について、図２及び図３Ａ〜図３Ｅを参照しつつ説明する。図２は、本発明の一実施形態に係るロボットシステムにおける保持動作の手順を示すフローチャートであり、図３Ａ〜図３Ｅは、本発明の一実施形態に係るロボットシステムにおける保持動作の手順を説明するための説明図である。 Next, a control method of the holding operation of the work 40 in the robot system 1 will be described with reference to FIGS. 2 and 3A to 3E. FIG. 2 is a flowchart showing the procedure of the holding operation in the robot system according to one embodiment of the present invention, and FIGS. 3A to 3E illustrate the procedure of the holding operation in the robot system according to one embodiment of the present invention. FIG.
なお、図２に示されるフローチャートは、マニピュレータ１１の所定の位置（例えば、先端１７）に対するハンド１２、視覚センサ１３及びレーザセンサ１４の相対的な位置関係が予め記憶部２２に記憶された状態で開始する。また、視覚センサ１３から得られる情報がマニピュレータ１１の動作に反映されるように、視覚センサ１３によって撮像される画像上のピクセル座標と、ロボットが作業する空間座標（すなわち、図１に示されるＸＹＺ座標）とを対応付けるキャリブレーションが完了済みであるものとする。 In the flowchart shown in FIG. 2, the relative positional relationship between the hand 12, the visual sensor 13 and the laser sensor 14 with respect to a predetermined position (for example, the tip 17) of the manipulator 11 is stored in the storage unit 22 in advance. Start. Also, pixel coordinates on the image captured by the vision sensor 13 and space coordinates at which the robot works (ie, XYZ shown in FIG. 1) so that the information obtained from the vision sensor 13 is reflected in the operation of the manipulator 11. It is assumed that calibration for correlating with coordinates) has been completed.
また、以下では、図３Ａに示されるように、作業台３０の載置面３１の上に載置されたワーク４０を保持する場合について説明する。ワーク４０の形状は特に限定されないが、本実施形態においては、ワーク４０は複数の面を有する直方体形状を成す。ワーク４０は、ハンド１２がワーク４０を保持する際にハンド１２と対向する領域４１（第１対向領域）を有し、この領域４１の周囲に輪郭（エッジ）を有する。なお、以下では領域４１を「上面４１」と呼ぶ。 Moreover, below, as FIG. 3A shows, the case where the workpiece | work 40 mounted on the mounting surface 31 of the working table 30 is hold | maintained is demonstrated. Although the shape of the workpiece 40 is not particularly limited, in the present embodiment, the workpiece 40 has a rectangular parallelepiped shape having a plurality of faces. The workpiece 40 has a region 41 (first facing region) facing the hand 12 when the hand 12 holds the workpiece 40, and has a contour (edge) around the region 41. Hereinafter, the region 41 is referred to as the “upper surface 41”.
ロボット１０がワーク４０を保持する工程は、以下の２つの工程を含む。すなわち、アーム１６を現在位置から目標位置まで移動させる第１工程と、この目標位置からハンド１２のフィンガ１８を閉じ、ワーク４０を保持する第２工程である。第１工程ではロボット１０とワーク４０の接触を伴わないため、比較的高速にロボット１０を動作させることができる。他方、第２工程では当該接触を伴うため、比較的低速にロボット１０を動作させる必要がある。このように、ロボット１０の保持動作を複数の工程に分けることにより、全工程を低速で動作させる場合に比べて、作業時間を短縮することができる。以下、第１及び第２工程についてさらに詳細に述べる。 The process in which the robot 10 holds the workpiece 40 includes the following two processes. That is, the first step of moving the arm 16 from the current position to the target position, and the second step of closing the fingers 18 of the hand 12 from the target position and holding the workpiece 40. In the first step, since the robot 10 and the workpiece 40 do not contact each other, the robot 10 can be operated at a relatively high speed. On the other hand, since the second step involves the contact, it is necessary to operate the robot 10 at a relatively low speed. As described above, by dividing the holding operation of the robot 10 into a plurality of steps, the operation time can be shortened as compared with the case where all the steps are operated at a low speed. Hereinafter, the first and second steps will be described in more detail.
まず、ステップＳ１において、視覚センサ制御部２１１は、視覚センサ１３を用いて、視覚センサ１３の視野内に存在するワーク４０を含む画像を撮像し、撮像された画像からワーク４０を検出する。マニピュレータ制御部２１０は、検出されたワーク４０のＺ軸上の領域にレーザセンサ１４が位置するようにアーム１６をＸＹ平面方向に移動させる（図３Ａ参照）。なお、ワーク４０のＺ軸上の領域とは、レーザセンサ１４によってワーク４０までの距離を測定可能な領域である。視覚センサ１３の視野範囲は、レーザセンサ１４の測定範囲（すなわち、レーザが照射される一点）より広い。従って、視覚センサ１３を用いてワーク４０の位置を検出することにより、レーザセンサ１４のみを用いてワーク４０の位置を走査する場合に比べて、ワーク４０の検出に要する時間を短縮することができる。 First, in step S <b> 1, the visual sensor control unit 211 captures an image including the workpiece 40 present in the field of view of the visual sensor 13 using the vision sensor 13, and detects the workpiece 40 from the captured image. The manipulator control unit 210 moves the arm 16 in the XY plane direction so that the laser sensor 14 is positioned in the area on the Z axis of the detected workpiece 40 (see FIG. 3A). The region on the Z axis of the workpiece 40 is a region where the distance to the workpiece 40 can be measured by the laser sensor 14. The visual field range of the visual sensor 13 is wider than the measurement range of the laser sensor 14 (that is, one point where the laser is irradiated). Therefore, by detecting the position of the workpiece 40 using the visual sensor 13, the time required to detect the workpiece 40 can be shortened as compared with the case where the position of the workpiece 40 is scanned using only the laser sensor 14. .
なお、ステップＳ１では、必ずしも視覚センサ１３の焦点がワーク４０に合っている必要はなく、取得された画像からワーク４０のおおよその位置が判別できればよい。この判別は、例えばテンプレートマッチング等によって行ってもよい。また、画像におけるワーク４０の位置に応じてアーム１６を移動させるプログラムは、予め記憶部２２に記憶されていてもよい。また、ステップＳ１の開始時に、ワーク４０のＺ軸上の領域にレーザセンサ１４が予め位置している場合は、アーム１６を移動させなくてもよい。 In step S1, the focus of the visual sensor 13 does not necessarily have to match the workpiece 40, as long as the approximate position of the workpiece 40 can be determined from the acquired image. This determination may be performed by, for example, template matching or the like. Further, a program for moving the arm 16 in accordance with the position of the workpiece 40 in the image may be stored in the storage unit 22 in advance. In addition, when the laser sensor 14 is located in advance in the area on the Z axis of the workpiece 40 at the start of step S1, the arm 16 may not be moved.
次に、ステップＳ２において、レーザセンサ制御部２１２は、レーザセンサ１４を用いて、載置面３１を基準としたワーク４０のＺ軸方向の高さｈを算出する（図３Ｂ参照）。具体的には、マニピュレータ制御部２１０及びレーザセンサ制御部２１２は、ＸＹ平面に沿ってアーム１６を移動させつつ、レーザセンサ１４からワーク４０に向かってレーザを照射させて、ワーク４０の上面４１を含むワーク４０の周辺領域を走査させる。そして、レーザセンサ１４から載置面３１までの距離ａと、レーザセンサ１４からワーク４０の上面４１までの距離ｂを測定する。これらの距離の差（＝ａ−ｂ）がワーク４０のＺ軸方向の高さｈとなり、記憶部２２に記憶される。なお、本実施形態においては、ワーク４０が直方体形状であり、上面４１が載置面３１と平行となっているため、上面４１のどの位置の高さを高さｈとしてもよい。一方、ワークの上面が載置面と平行でない場合は、例えば上面の載置面から最も離れた位置における高さを高さｈとすることができる。 Next, in step S2, the laser sensor control unit 212 uses the laser sensor 14 to calculate the height h in the Z-axis direction of the workpiece 40 based on the mounting surface 31 (see FIG. 3B). Specifically, while moving the arm 16 along the XY plane, the manipulator control unit 210 and the laser sensor control unit 212 cause the laser sensor 14 to emit a laser toward the workpiece 40 to move the upper surface 41 of the workpiece 40. The peripheral area of the workpiece 40 including is scanned. Then, the distance a from the laser sensor 14 to the mounting surface 31 and the distance b from the laser sensor 14 to the upper surface 41 of the workpiece 40 are measured. The difference between the distances (= a−b) is the height h of the workpiece 40 in the Z-axis direction, and is stored in the storage unit 22. In the present embodiment, since the workpiece 40 has a rectangular parallelepiped shape and the upper surface 41 is parallel to the mounting surface 31, the height of any position on the upper surface 41 may be the height h. On the other hand, when the upper surface of the work is not parallel to the mounting surface, for example, the height at the position farthest from the mounting surface of the upper surface can be set to the height h.
なお、ステップＳ２において、視覚センサ１３からワーク４０の上面４１までの距離が、予め記憶部２２に記憶された視覚センサ１３のワークディスタンスと一致していない場合は、当該ワークディスタンスと一致するようにアーム１６をＺ軸方向に移動させる。 If the distance from the visual sensor 13 to the upper surface 41 of the work 40 does not match the working distance of the visual sensor 13 stored in advance in the storage unit 22 in step S2, the working distance is matched with the working distance. The arm 16 is moved in the Z-axis direction.
次に、ステップＳ３において、視覚センサ制御部２１１は、視覚センサ１３を用いて、ワーク４０を含む画像を撮像する（図３Ｃ参照）。 Next, in step S3, the visual sensor control unit 211 captures an image including the work 40 using the visual sensor 13 (see FIG. 3C).
次に、ステップＳ４において、保持判定部２１３は、ステップＳ３で撮像された画像に基づいてワーク４０の平面形状及び寸法を算出し、ハンド１２による保持が可能か否かを判定する。この判定は、図３Ｄ（ａ）〜（ｅ）に示されるように、画像から算出されるワーク４０の平面形状及び寸法と、予め記憶部２２に記憶されたフィンガ１８の可動範囲との比較によって行われる。具体的には、例えばフィンガ１８の本数を４本（１８ａ〜１８ｄ）とすると、図３Ｄ（ａ）〜（ｃ）に示されるワーク４０Ａ〜４０Ｃのように、ワークの平面形状及び寸法が４本のフィンガ１８ａ〜１８ｄの可動範囲内であれば、ハンド１２によって保持可能であると判定される（Ｓ４：Ｙｅｓ）。一方、図３Ｄ（ｄ）、（ｅ）に示されるワーク４０Ｄ，４０Ｅのように、ワークの平面形状及び寸法が過度に小さいか、又は過度に大きく、フィンガ１８ａ〜１８ｄの可動範囲外であれば、ハンド１２によって保持不可能であると判定される（Ｓ４：Ｎｏ）。なお、ハンド１２が備えるフィンガ１８ａ〜１８ｄの本数は例示であり、４本に限定されない。 Next, in step S4, the holding determination unit 213 calculates the planar shape and dimensions of the workpiece 40 based on the image captured in step S3, and determines whether or not the holding by the hand 12 is possible. As shown in FIG. 3D (a) to (e), this determination is made by comparing the planar shape and size of the workpiece 40 calculated from the image with the movable range of the finger 18 stored in advance in the storage unit 22. To be done. Specifically, for example, assuming that the number of fingers 18 is four (18a to 18d), the planar shape and size of the workpiece are four, as in workpieces 40A to 40C shown in FIGS. 3D (a) to (c). If it is within the movable range of the fingers 18a to 18d, it is determined that the hand 12 is capable of holding (S4: Yes). On the other hand, as in the workpieces 40D and 40E shown in FIG. 3D (d) and (e), if the planar shape and size of the workpiece are excessively small or excessively large and outside the movable range of the fingers 18a to 18d It is determined that the hand 12 can not be held (S4: No). The number of fingers 18 a to 18 d included in the hand 12 is an example, and is not limited to four.
次に、ワーク４０がハンド１２によって保持可能であると判定された場合（Ｓ４：Ｙｅｓ）、ステップＳ５に進み、目標位置算出部２１４は、ハンド１２にワーク４０を保持させるプログラムを生成する。なお、プログラムの具体的な生成方法については後述する。 Next, when it is determined that the workpiece 40 can be held by the hand 12 (S4: Yes), the process proceeds to step S5, and the target position calculation unit 214 generates a program for causing the hand 12 to hold the workpiece 40. The specific method of generating the program will be described later.
次に、ステップＳ６において、マニピュレータ制御部２１０は、ステップＳ５において生成されたプログラムを実行し、ロボット１０を動作させる（図３Ｅ参照）。詳しくは、アーム１６が現在位置から目標位置まで移動するアプローチ動作と、その位置でハンド１２がワーク４０を保持する保持動作が実行される。 Next, in step S6, the manipulator control unit 210 executes the program generated in step S5 to operate the robot 10 (see FIG. 3E). Specifically, an approach operation in which the arm 16 moves from the current position to the target position and a holding operation in which the hand 12 holds the workpiece 40 at that position are performed.
他方、ワーク４０がハンド１２によって保持不可能であると判定された場合（Ｓ４：Ｎｏ）、ステップＳ７に進み、制御装置２０においてエラーが出力され、当該ハンド１２による保持動作が停止する。そして、ステップＳ８において、フィンガの可動範囲に応じてワークを交換するか、ワークの形状及び寸法に応じてハンドを交換し、ステップＳ１に戻る。 On the other hand, when it is determined that the workpiece 40 can not be held by the hand 12 (S4: No), the process proceeds to step S7, an error is output in the control device 20, and the holding operation by the hand 12 is stopped. Then, in step S8, the work is replaced according to the movable range of the finger, or the hand is replaced according to the shape and size of the work, and the process returns to step S1.
次に、図４、図５Ａ及び図５Ｂを参照して、ワーク４０を保持するプログラムの生成における、目標位置を算出する手順について詳細に説明する。図４は、本発明の一実施形態に係るロボットシステムにおけるアームの目標位置を算出する手順を示すフローチャートであり、図５Ａ及び図５Ｂは、本発明の一実施形態に係るロボットシステムにおけるアームの目標位置を算出する手順を説明するための説明図である。なお、図４に示されるフローチャートは、図２に示されるフローチャートにおけるステップＳ５に含まれる手順である。 Next, with reference to FIGS. 4, 5 </ b> A and 5 </ b> B, the procedure for calculating the target position in the generation of the program holding the workpiece 40 will be described in detail. FIG. 4 is a flowchart showing a procedure for calculating a target position of an arm in a robot system according to an embodiment of the present invention, and FIGS. 5A and 5B are targets of an arm in a robot system according to an embodiment of the present invention. It is explanatory drawing for demonstrating the procedure which calculates a position. The flowchart shown in FIG. 4 is the procedure included in step S5 in the flowchart shown in FIG.
まず、図４に示されるフローチャートについて説明する前に、図５Ａを参照してハンド１２の構造について説明する。図５Ａに示されるように、ハンド１２は、開閉動作によってワーク４０Ｆを保持する複数のフィンガ１８と、アームに固定され、複数のフィンガ１８を上方から支える支持部１９とを有する。本実施形態において、複数のフィンガ１８は、支持部１９に対して水平方向（図５ＡにおいてはＸ軸方向）に沿って摺動する構造を有する。これにより、ワーク４０Ｆが複数のフィンガ１８によって両側から挟み込まれ、ワーク４０Ｆが保持される。なお、複数のフィンガ１８の開閉動作は摺動する構造に限られず、例えば各フィンガが関節を有し、関節を基点として回転する構造であってもよい。 First, before describing the flowchart shown in FIG. 4, the structure of the hand 12 will be described with reference to FIG. 5A. As shown in FIG. 5A, the hand 12 has a plurality of fingers 18 for holding the work 40F by an opening and closing operation, and a support 19 fixed to the arm and supporting the plurality of fingers 18 from above. In the present embodiment, the plurality of fingers 18 have a structure that slides along the horizontal direction (the X axis direction in FIG. 5A) with respect to the support portion 19. As a result, the workpiece 40F is sandwiched from both sides by the plurality of fingers 18, and the workpiece 40F is held. The open / close operation of the plurality of fingers 18 is not limited to the sliding structure. For example, each finger may have a joint and may rotate about the joint.
複数のフィンガ１８は、それぞれ、ＸＺ平面の平面視において屈曲した形状を成し、載置面３１を基準とした鉛直方向（載置面３１と交差する第１方向の一具体例）に沿う鉛直部分と、載置面３１を基準とした水平方向に沿う水平部分とを有する。当該鉛直部分は、その内側（ワーク４０Ｆ側）において、ハンド１２がワーク４０Ｆを保持する際にワーク４０Ｆに当接し得る保持領域１８１を有する。なお、保持領域１８１は、ハンド１２がワーク４０Ｆを保持する際に、ワーク４０Ｆに実際に当接する領域と、ワーク４０Ｆに当接しない領域の双方を含む。また、各フィンガ１８及び支持部１９は、それぞれ、ハンド１２がワーク４０Ｆを保持する際にワーク４０Ｆの上面４１と対向する対向領域１８２（第２対向領域），１９１（第２対向領域）を有する。当該対向領域１８２，１９１は、ハンド１２がワーク４０Ｆを保持する際であっても、ワーク４０Ｆに当接しない領域である。 Each of the plurality of fingers 18 has a shape bent in a plan view of the XZ plane, and is perpendicular along a vertical direction (one specific example of a first direction intersecting the mounting surface 31) based on the mounting surface 31 It has a portion and a horizontal portion along the horizontal direction with respect to the mounting surface 31. The vertical portion has a holding area 181 which can be in contact with the workpiece 40F when the hand 12 holds the workpiece 40F on the inner side (the workpiece 40F side). The holding area 181 includes both an area that actually abuts on the workpiece 40F and an area that does not abut on the workpiece 40F when the hand 12 holds the workpiece 40F. Further, each finger 18 and the support portion 19 respectively have opposing regions 182 (second opposing region) and 191 (second opposing region) facing the upper surface 41 of the workpiece 40F when the hand 12 holds the workpiece 40F. . The opposing areas 182 and 191 are areas not in contact with the workpiece 40F even when the hand 12 holds the workpiece 40F.
次に図４に示されるフローチャートについて説明する。なお、図４に示されるフローの開始前に、各フィンガ１８における保持領域１８１の鉛直方向の長さｆが予め記憶部２２に記憶されているものとする。まず、ステップＳ１０において、記憶部２２に記憶されたワーク４０の鉛直方向の高さｈと、フィンガ１８の保持領域１８１の鉛直方向の長さｆを比較する。そして、図５Ａに示されるように、ワーク４０Ｆの高さｈ１がフィンガ１８の保持領域１８１の長さｆよりも長い場合（Ｓ１０：Ｙｅｓ）、ステップＳ２０に進み、ワーク４０Ｆの上面４１とハンド１２におけるワーク４０Ｆと対向する領域（すなわち、フィンガ１８の対向領域１８２及び支持部１９の対向領域１９１）との間に、少なくとも間隔ｄ１が設けられるようにアームの目標位置を算出する。他方、図５Ｂに示されるように、ワーク４０Ｇの高さｈ２がフィンガ１８の保持領域１８１の長さｆよりも短い場合（Ｓ１０：Ｎｏ）、ステップＳ３０に進み、載置面３１とフィンガ１８の先端部１８３との間に間隔ｄ２が設けられるようにアームの目標位置を算出する。この間隔ｄ１，ｄ２は、ハンド１２と、ワーク４０及び載置面３１との接触を回避し、ハンドの故障やワークの破損を防ぐための安全距離である。当該安全距離の長さ（例えば、数ｍｍ程度）は、予め作業者が設定し、記憶部２２に記憶させてもよい。 Next, the flowchart shown in FIG. 4 will be described. In addition, before the start of the flow shown in FIG. 4, it is assumed that the length f of the holding area 181 in each finger 18 in the vertical direction is stored in the storage unit 22 in advance. First, in step S10, the vertical height h of the workpiece 40 stored in the storage unit 22 is compared with the vertical length f of the holding area 181 of the finger 18. Then, as shown in FIG. 5A, when the height h1 of the workpiece 40F is longer than the length f of the holding area 181 of the finger 18 (S10: Yes), the process proceeds to step S20, and the upper surface 41 of the workpiece 40F and the hand 12 The target position of the arm is calculated such that at least the distance d1 is provided between the workpiece 40F and the area facing the workpiece 40F (that is, the facing area 182 of the finger 18 and the facing area 191 of the support 19). On the other hand, as shown in FIG. 5B, when the height h2 of the workpiece 40G is shorter than the length f of the holding area 181 of the finger 18 (S10: No), the process proceeds to step S30 and the mounting surface 31 and the finger 18 are The target position of the arm is calculated such that a distance d2 is provided between the end portion 183 and the tip end portion 183. The intervals d1 and d2 are safety distances for avoiding contact between the hand 12 and the work 40 and the mounting surface 31, and for preventing failure of the hand and breakage of the work. The length of the safety distance (for example, about several mm) may be set in advance by an operator and stored in the storage unit 22.
なお、ワーク４０の高さｈとフィンガ１８の保持領域１８１の長さｆが等しい場合（Ｓ１０：Ｎｏ）、上述のステップＳ２０，Ｓ３０のいずれによっても、ハンド１２と、ワーク４０の上面４１及び載置面３１との間に安全距離が設けられるため、ステップＳ２０，Ｓ３０のいずれに従ってもよい。 When the height h of the workpiece 40 and the length f of the holding area 181 of the finger 18 are equal (S10: No), the hand 12 and the upper surface 41 of the workpiece 40 and the loading are obtained in any of steps S20 and S30 described above. Since a safe distance is provided between the mounting surface 31 and either of the steps S20 and S30 may be followed.
以上の手順により、ロボットシステム１は以下の効果を奏する。すなわち、ロボット１０は、ワーク４０までの距離を測定するレーザセンサ１４を備える。これにより、ワーク４０の高さによらず、当該レーザセンサ１４から得られる距離情報に基づいて、ハンド１２がワーク４０にも載置面３１にも接触しない目標位置にアーム１６を自動的に移動させることができる。従って、特許文献１に開示されるロボットのように、作業者がロボットを目視しつつ手動でアームを移動させる必要がなく、ロボットの動作の教示に要する手間及び時間を削減することができる。また、ハンド１２がワーク４０及び載置面３１に接触しないため、これらへの干渉を回避し、ハンド１２の故障やワーク４０の破損を防ぐことができる。 By the above-described procedure, the robot system 1 has the following effects. That is, the robot 10 includes the laser sensor 14 that measures the distance to the workpiece 40. Thereby, the arm 16 is automatically moved to a target position where the hand 12 does not contact either the workpiece 40 or the mounting surface 31 based on the distance information obtained from the laser sensor 14 regardless of the height of the workpiece 40 It can be done. Therefore, as in the robot disclosed in Patent Document 1, there is no need for the operator to move the arm manually while viewing the robot, and it is possible to reduce the time and effort required for teaching the operation of the robot. Moreover, since the hand 12 does not contact the work 40 and the mounting surface 31, interference with these can be avoided, and failure of the hand 12 and breakage of the work 40 can be prevented.
また、ロボットシステム１では、保持判定部２１３が、視覚センサ１３によって撮像された画像と、記憶部２２に記憶されたフィンガ１８の可動範囲に基づいて、ワーク４０の保持が可能か否かを判定する。これにより、保持が不可能であると判定された場合に、ハンド１２による保持動作を停止させることができる。従って、これによってもハンド１２の故障やワーク４０の破損を防ぐことができる。 Further, in the robot system 1, the holding determination unit 213 determines whether or not the workpiece 40 can be held based on the image captured by the visual sensor 13 and the movable range of the finger 18 stored in the storage unit 22. Do. Thereby, when it is determined that the holding is impossible, the holding operation by the hand 12 can be stopped. Accordingly, this also can prevent the hand 12 from being broken or the work 40 from being broken.
本実施形態においては、視覚センサ１３とレーザセンサ１４とが別体として設けられているが、当該構成の代わりに、例えば測距機能を兼ねた撮像装置によって距離が測定される構成であってもよい。なお、撮像装置に備えられた測距機能は、一般的に、外乱の影響を受けやすく、レーザセンサに比べて測距の精度が劣ってしまう。特に、ロボットシステムが例えば溶接現場等において用いられる場合、当該現場には不規則に発光する光源が存在し、明るさが大きく変動するため、測距の精度が不十分となり得る。この点、本実施形態では、レーザセンサ１４が視覚センサ１３とは別体として設けられているため、上述のような測距機能を兼ねた撮像装置が用いられる構成に比べて、高い精度で距離を測定することができる。従って、アームの目標位置の算出を高い精度で行うことができる。 In the present embodiment, the visual sensor 13 and the laser sensor 14 are separately provided, but instead of the configuration, for example, the distance may be measured by an imaging device having a distance measuring function. Good. In addition, the ranging function provided in the imaging device is generally easily affected by disturbance, and the accuracy of ranging is inferior to that of the laser sensor. In particular, when a robot system is used at, for example, a welding site, a light source emitting light irregularly exists at the site and the brightness largely fluctuates, so that the accuracy of distance measurement may be insufficient. In this respect, in the present embodiment, since the laser sensor 14 is provided separately from the visual sensor 13, the distance can be increased with high accuracy as compared with the configuration in which the imaging device also serving as the distance measuring function as described above is used. Can be measured. Therefore, it is possible to calculate the target position of the arm with high accuracy.
次に、図６Ａ及び図６Ｂを参照し、本発明の一実施形態に係るロボットシステムにおける角度調整機能について説明する。図６Ａ及び図６Ｂは、本発明の一実施形態に係るロボットシステムにおける角度調整機能について説明するための説明図である。なお、上述の実施形態と同一の要素には同一の符号を付して説明を省略する。また、以降では上述の実施形態と共通の事柄についての記述を省略し、異なる点についてのみ説明する。特に、同様の構成による同様の作用効果については実施形態毎には逐次言及しない。 Next, referring to FIGS. 6A and 6B, an angle adjustment function in a robot system according to an embodiment of the present invention will be described. 6A and 6B are explanatory diagrams for explaining an angle adjustment function in a robot system according to an embodiment of the present invention. In addition, the same code | symbol is attached | subjected to the element same as the above-mentioned embodiment, and description is abbreviate | omitted. In the following, descriptions of matters common to the above-described embodiment will be omitted, and only different points will be described. In particular, the same operation and effect by the same configuration will not be sequentially referred to in each embodiment.
図６Ａは、ワーク４０の一具体例であるワーク４０Ｈを含むＸＺ平面の平面視を示している。ワーク４０Ｈの上面４２は、載置面３１に対して傾斜角θを成す傾斜面である。レーザセンサ１４を用いてこのような上面４２を走査すると、レーザセンサ１４から上面４２までの距離がＸＹ平面の位置に応じて変動するため、上面４２の傾きは、当該変動に基づいて自動的に検出することができる。 FIG. 6A shows a plan view of an XZ plane including a workpiece 40H which is an example of the workpiece 40. The upper surface 42 of the work 40 H is an inclined surface that forms an inclination angle θ with respect to the mounting surface 31. When scanning the upper surface 42 with the laser sensor 14, the distance from the laser sensor 14 to the upper surface 42 fluctuates according to the position of the XY plane, so the inclination of the upper surface 42 is automatically based on the fluctuation. It can be detected.
このように、ワーク４０Ｈの上面４２が傾斜している場合に上述の保持動作の制御方法を適用すると、ワーク４０Ｈの高さが一定ではないため、図４に示されるステップＳ２０，Ｓ３０において目標位置算出部２１４が目標位置の算出を誤り、ハンド１２と上面４２が接触するおそれがある。また、図６Ａに示されるように、視覚センサ１３のレンズの光軸ｃがＺ軸に沿うように撮像されると、画像に基づいて算出される上面４２の寸法と、上面４２の実際の寸法が異なるため、図２に示されるステップＳ４において保持判定部２１３が判定を誤るおそれがある。 As described above, when the control method of the holding operation described above is applied when the upper surface 42 of the workpiece 40H is inclined, the height of the workpiece 40H is not constant, so the target position is obtained in steps S20 and S30 shown in FIG. The calculation unit 214 may miscalculate the target position, and the hand 12 may come in contact with the upper surface 42. Further, as shown in FIG. 6A, when the optical axis c of the lens of the vision sensor 13 is imaged along the Z axis, the dimensions of the upper surface 42 calculated based on the image and the actual dimensions of the upper surface 42 However, in the step S4 shown in FIG. 2, the holding determination unit 213 may make an incorrect determination.
この点、本実施形態では、図６Ｂに示されるように、上面４２の傾斜角θに応じてアーム１６が移動した後に、保持の判定や目標位置の算出が行われる。具体的には、レーザセンサ制御部２１２が、レーザセンサ１４を用いてレーザセンサ１４から上面４２までの距離を測定し、当該距離に基づいて載置面３１に対する上面４２の傾斜角θを算出する。そして、マニピュレータ制御部２１０が、ワーク４０Ｈの上面４２と視覚センサ１３のレンズの光軸ｃが略直交するように、アーム１６の関節の角度を調整する。これにより、レーザセンサ１４から上面４２までの距離が一定となるため、ステップＳ２０，Ｓ３０において、ハンド１２と上面４２が接触しない適切な目標位置を算出することができる。また、視覚センサ１３の視野面が上面４２と平行となるため、上面４２の寸法を適切に算出することができ、ハンド１２による保持が可能か否かの判定を適切に行うことができる。 In this respect, in the present embodiment, as shown in FIG. 6B, after the arm 16 moves in accordance with the inclination angle θ of the upper surface 42, the holding determination and the calculation of the target position are performed. Specifically, the laser sensor control unit 212 measures the distance from the laser sensor 14 to the upper surface 42 using the laser sensor 14 and calculates the inclination angle θ of the upper surface 42 with respect to the mounting surface 31 based on the distance. . Then, the manipulator control unit 210 adjusts the angle of the joint of the arm 16 such that the upper surface 42 of the workpiece 40H and the optical axis c of the lens of the visual sensor 13 are substantially orthogonal to each other. Thereby, since the distance from the laser sensor 14 to the upper surface 42 becomes constant, it is possible to calculate an appropriate target position at which the hand 12 and the upper surface 42 do not contact in steps S20 and S30. In addition, since the visual field of the visual sensor 13 is parallel to the upper surface 42, the dimension of the upper surface 42 can be appropriately calculated, and it can be appropriately determined whether the hand 12 can be held.
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。 The embodiments described above are for the purpose of facilitating the understanding of the present invention, and are not for the purpose of limiting the present invention. The elements included in the embodiment and the arrangement, the material, the conditions, the shape, the size, and the like of the elements are not limited to those illustrated, and can be changed as appropriate. In addition, configurations shown in different embodiments can be partially substituted or combined with each other.
１…ロボットシステム、１０…ロボット、１１…マニピュレータ、１２…ハンド、１３…視覚センサ、１４…レーザセンサ、１５…ベース、１６…アーム、１７…先端、１８…フィンガ、１８１…保持領域、１８２…対向領域、１８３…先端部、１９…支持部、１９１…対向領域、２０…制御装置、２１…制御部、２２…記憶部、２１０…マニピュレータ制御部、２１１…視覚センサ制御部、２１２…レーザセンサ制御部、２１３…保持判定部、２１４…目標位置算出部、３０…作業台、３１…載置面、４０…ワーク、４１，４２…上面 DESCRIPTION OF SYMBOLS 1 ... Robot system, 10 ... Robot, 11 ... Manipulator, 12 ... Hand, 13 ... Vision sensor, 14 ... Laser sensor, 15 ... Base, 16 ... Arm, 17 ... Tip, 18 ... Finger, 181 ... Holding area, 182 ... Opposite region, 183: tip portion, 19: support portion, 191: opposite region, 20: control device, 21: control portion, 22: storage portion, 210: manipulator control portion, 211: visual sensor control portion, 212: laser sensor Control part, 213 ... holding judgment part, 214 ... target position calculation part, 30 ... work bench, 31 ... mounting surface, 40 ... work, 41, 42 ... top surface
Claims (5)
前記ロボットは、
載置面に載置された対象物を撮像する撮像装置と、
距離を測定するレーザセンサと、
前記撮像装置、前記レーザセンサ、及び前記対象物を保持可能なハンドが取り付けられたアームと、
を備え、
前記制御装置は、
前記レーザセンサから得られる距離情報に基づいて、前記ハンドが前記対象物及び前記載置面のいずれとも接触せず、且つ、前記ハンドの動作によって前記対象物を保持可能な前記アームの目標位置を算出し、
前記目標位置に前記アームを移動させる命令と、前記目標位置において前記ハンドに前記対象物を保持させる命令とを含むプログラムを生成する、
ロボットシステム。 A robot system comprising a robot and a control device for controlling the operation of the robot, the robot system comprising:
The robot is
An imaging device for imaging an object placed on the placement surface;
Laser sensor to measure distance,
An arm on which the imaging device, the laser sensor, and a hand capable of holding the object are attached;
Equipped with
The controller is
Based on distance information obtained from the laser sensor, the hand does not contact either the object or the mounting surface, and the target position of the arm can hold the object by the operation of the hand. Calculate
Generating a program including an instruction to move the arm to the target position and an instruction to cause the hand to hold the object at the target position;
Robot system.
前記複数のフィンガは、それぞれ、前記対象物を保持する際に、前記載置面と交差する第１方向に沿う領域であって、前記対象物と当接し得る保持領域を有し、
前記制御装置は、
前記レーザセンサから得られる距離情報に基づいて、前記対象物における前記第１方向の高さを算出し、
前記対象物の前記高さが、前記フィンガの前記保持領域における前記第１方向の長さよりも長い場合、前記対象物における前記ハンドと対向する第１対向領域と、前記ハンドにおける前記対象物と対向する第２対向領域との間に間隔が設けられるように前記目標位置を算出し、
前記対象物の前記高さが、前記フィンガの前記保持領域における前記第１方向の長さよりも短い場合、前記載置面と前記フィンガの先端部との間に間隔が設けられるように前記目標位置を算出する、
請求項１に記載のロボットシステム。 The hand includes a plurality of fingers for holding the object, and a support for supporting the plurality of fingers.
Each of the plurality of fingers has a holding area which can be in contact with the object, which is an area along a first direction intersecting the mounting surface when holding the object.
The controller is
Calculating the height in the first direction of the object based on distance information obtained from the laser sensor;
When the height of the object is longer than the length in the first direction of the holding area of the finger, the first opposing area of the object facing the hand, and the object of the hand facing the object Calculating the target position such that a space is provided between the second opposing area
When the height of the object is shorter than the length in the first direction of the holding area of the finger, the target position is such that a space is provided between the mounting surface and the tip of the finger. Calculate
The robot system according to claim 1.
請求項１又は２に記載のロボットシステム。 The control device calculates the shape of the object based on the image captured by the imaging device, and determines whether or not the holding by the hand is possible.
A robot system according to claim 1 or 2.
請求項１から３のいずれか一項に記載のロボットシステム。 The control device calculates, based on distance information obtained from the laser sensor, an inclination of the first facing area in the object facing the hand with respect to the mounting surface, and an optical axis of the imaging device is (1) adjust the angle of the arm so as to be substantially orthogonal to the opposing region,
The robot system according to any one of claims 1 to 3.
請求項１から４のいずれか一項に記載のロボットシステム。 The imaging device and the laser sensor are separate.
The robot system according to any one of claims 1 to 4.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017193420A JP6900290B2 (en) | 2017-10-03 | 2017-10-03 | Robot system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017193420A JP6900290B2 (en) | 2017-10-03 | 2017-10-03 | Robot system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019063955A true JP2019063955A (en) | 2019-04-25 |
| JP6900290B2 JP6900290B2 (en) | 2021-07-07 |
Family
ID=66340231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017193420A Active JP6900290B2 (en) | 2017-10-03 | 2017-10-03 | Robot system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6900290B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102029058B1 (en) * | 2019-06-19 | 2019-10-07 | 권순홍 | Brake disk auto supply apparatus for vehicle |
| CN110480295A (en) * | 2019-07-31 | 2019-11-22 | 徐州德坤电气科技有限公司 | A kind of bolt of rack connecting rod automatic welding production system is placed in unit automatically |
| CN110640768A (en) * | 2019-10-14 | 2020-01-03 | 孔潇箫 | Intelligent obstacle avoidance device for production line robot |
| CN112720577A (en) * | 2020-12-25 | 2021-04-30 | 中研(山东)测控技术有限公司 | High-precision detection device for industrial robot |
| CN113352313A (en) * | 2020-03-06 | 2021-09-07 | 思特威(上海)电子科技股份有限公司 | Multi-level sensor decision control system of robot |
| CN114326477A (en) * | 2021-12-02 | 2022-04-12 | 四川广目科技有限公司 | Control system of intelligent sensing industrial robot based on open source framework |
| JP7467984B2 (en) | 2020-02-27 | 2024-04-16 | オムロン株式会社 | Mobile manipulator, control method and control program for mobile manipulator |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61182786A (en) * | 1985-02-08 | 1986-08-15 | 株式会社日立製作所 | Body automatic gripping system by parallel gripper |
| JPS63196394A (en) * | 1987-02-11 | 1988-08-15 | 豊田工機株式会社 | Work shifter using robot |
| US4980626A (en) * | 1989-08-10 | 1990-12-25 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Method and apparatus for positioning a robotic end effector |
| JPH04300180A (en) * | 1991-02-04 | 1992-10-23 | Fujitsu Ltd | System for positioning robot |
| JPH0623685A (en) * | 1991-10-02 | 1994-02-01 | Fujitsu Ltd | Automatic positioning device |
| JPH07314365A (en) * | 1994-05-27 | 1995-12-05 | Hitachi Ltd | Chuck device |
| JPH10296669A (en) * | 1997-05-02 | 1998-11-10 | Kawasaki Heavy Ind Ltd | Position detecting method and position detecting device for object |
| JP2007069316A (en) * | 2005-09-07 | 2007-03-22 | Fanuc Ltd | Article transporting robot |
| JP2009274204A (en) * | 2008-05-13 | 2009-11-26 | Samsung Electronics Co Ltd | Robot, robot hand, and control method of robot hand |
| US20100185315A1 (en) * | 2007-08-31 | 2010-07-22 | Abb Technology Ab | Robot tool, robot system and method for machining workpieces |
| JP2016215322A (en) * | 2015-05-20 | 2016-12-22 | ファナック株式会社 | Gripping device having protective member protecting object and robot device equipped with the same |
| JP2017170560A (en) * | 2016-03-23 | 2017-09-28 | 日産自動車株式会社 | Work-piece transfer method and work-piece transfer device using robot |
-
2017
- 2017-10-03 JP JP2017193420A patent/JP6900290B2/en active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61182786A (en) * | 1985-02-08 | 1986-08-15 | 株式会社日立製作所 | Body automatic gripping system by parallel gripper |
| JPS63196394A (en) * | 1987-02-11 | 1988-08-15 | 豊田工機株式会社 | Work shifter using robot |
| US4980626A (en) * | 1989-08-10 | 1990-12-25 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Method and apparatus for positioning a robotic end effector |
| JPH04300180A (en) * | 1991-02-04 | 1992-10-23 | Fujitsu Ltd | System for positioning robot |
| JPH0623685A (en) * | 1991-10-02 | 1994-02-01 | Fujitsu Ltd | Automatic positioning device |
| JPH07314365A (en) * | 1994-05-27 | 1995-12-05 | Hitachi Ltd | Chuck device |
| JPH10296669A (en) * | 1997-05-02 | 1998-11-10 | Kawasaki Heavy Ind Ltd | Position detecting method and position detecting device for object |
| JP2007069316A (en) * | 2005-09-07 | 2007-03-22 | Fanuc Ltd | Article transporting robot |
| US20100185315A1 (en) * | 2007-08-31 | 2010-07-22 | Abb Technology Ab | Robot tool, robot system and method for machining workpieces |
| JP2009274204A (en) * | 2008-05-13 | 2009-11-26 | Samsung Electronics Co Ltd | Robot, robot hand, and control method of robot hand |
| JP2016215322A (en) * | 2015-05-20 | 2016-12-22 | ファナック株式会社 | Gripping device having protective member protecting object and robot device equipped with the same |
| JP2017170560A (en) * | 2016-03-23 | 2017-09-28 | 日産自動車株式会社 | Work-piece transfer method and work-piece transfer device using robot |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102029058B1 (en) * | 2019-06-19 | 2019-10-07 | 권순홍 | Brake disk auto supply apparatus for vehicle |
| CN110480295A (en) * | 2019-07-31 | 2019-11-22 | 徐州德坤电气科技有限公司 | A kind of bolt of rack connecting rod automatic welding production system is placed in unit automatically |
| CN110480295B (en) * | 2019-07-31 | 2024-02-13 | 浩德重工科技(江苏)有限公司 | Automatic bolt inserting unit of grid connecting rod automatic welding production system |
| CN110640768A (en) * | 2019-10-14 | 2020-01-03 | 孔潇箫 | Intelligent obstacle avoidance device for production line robot |
| JP7467984B2 (en) | 2020-02-27 | 2024-04-16 | オムロン株式会社 | Mobile manipulator, control method and control program for mobile manipulator |
| CN113352313A (en) * | 2020-03-06 | 2021-09-07 | 思特威(上海)电子科技股份有限公司 | Multi-level sensor decision control system of robot |
| CN112720577A (en) * | 2020-12-25 | 2021-04-30 | 中研(山东)测控技术有限公司 | High-precision detection device for industrial robot |
| CN114326477A (en) * | 2021-12-02 | 2022-04-12 | 四川广目科技有限公司 | Control system of intelligent sensing industrial robot based on open source framework |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6900290B2 (en) | 2021-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6900290B2 (en) | Robot system | |
| JP6966582B2 (en) | Systems and methods for automatic hand-eye calibration of vision systems for robot motion | |
| US10618166B2 (en) | Teaching position correction device and teaching position correction method | |
| JP6869159B2 (en) | Robot system | |
| JP5815761B2 (en) | Visual sensor data creation system and detection simulation system | |
| US11964396B2 (en) | Device and method for acquiring deviation amount of working position of tool | |
| JP2018126857A (en) | Control method of robot, teaching method of the robot, robot system, program, and recording medium | |
| US20080252248A1 (en) | Device and Method for Calibrating the Center Point of a Tool Mounted on a Robot by Means of a Camera | |
| CN109648603B (en) | Measuring system | |
| CN109551518B (en) | Measurement system | |
| JP2011031346A (en) | Apparatus and method for measuring position of tool end point of robot | |
| US20180161985A1 (en) | Control device, robot, and robot system | |
| US20170339335A1 (en) | Finger camera offset measurement | |
| JPWO2018043525A1 (en) | Robot system, robot system control apparatus, and robot system control method | |
| CN110978056B (en) | Plane calibration system and method for robot movement | |
| JPH041505A (en) | Three-dimensional position measuring method and acquiring method for work | |
| US10935968B2 (en) | Robot, robot system, and method for setting coordinate system of robot | |
| JP2021088003A (en) | Robot coordinate system alignment method, alignment system, and alignment device | |
| JP6031368B2 (en) | Correlation positioning method with workpiece | |
| JP2006297559A (en) | Calibration system and robot's calibration method | |
| KR101452437B1 (en) | Method for setting the mobile manipulator onto the workbench | |
| JP7477633B2 (en) | Robot System | |
| JP5351083B2 (en) | Teaching point correction apparatus and teaching point correction method | |
| JP2016187851A (en) | Calibration device | |
| US20240066701A1 (en) | Simulation device using three-dimensional position information obtained from output from vision sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200520 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210331 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210331 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210521 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210616 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6900290 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |