JP2020157461A

JP2020157461A - Robot system and control method of robot system

Info

Publication number: JP2020157461A
Application number: JP2019062580A
Authority: JP
Inventors: 優作中村; Yusaku Nakamura; 神谷　俊幸; Toshiyuki Kamiya; 俊幸神谷
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2019-03-28
Filing date: 2019-03-28
Publication date: 2020-10-01

Abstract

To provide a robot system which hardly loses sight of a work object and which can perform work more surely in a shorter time, and to provide a control method of robot system.SOLUTION: A robot system includes: a robot including an arm; a light irradiation part for radiating light for discriminating a work object from objects other than the work object out of a plurality of objects; a camera arranged in the arm, and for imaging the work object when the light is radiated; and a control device for discriminating the work object from among the plurality of work objects on the basis of the imaged data of the camera, and for controlling the operation of the arm.SELECTED DRAWING: Figure 1

Description

本発明は、ロボットシステムおよびロボットシステムの制御方法に関するものである。 The present invention relates to a robot system and a control method for the robot system.

特許文献１に記載されているロボットシステムは、アームに取り付けられたカメラによるビジュアルフィードバックを用いてロボットの動作を補正するシステムである。このようなロボットシステムでは、対象物が基準位置とは異なる位置に載置されている場合には、ビジュアルフィードバックを用いて、アームと対象物との相対的位置関係が、対象物が基準位置にある場合のアームと対象物との相対的位置関係と同じ位置関係となるようにアームの動作を制御する。例えば、対象物が複数載置されている場合、複数の対象の中から１つの作業対象を選択し、この作業対象をカメラで捉えながら、アームと作業対象とが所定の相対的位置関係となるようにアームの動作を制御する。 The robot system described in Patent Document 1 is a system that corrects the movement of a robot by using visual feedback from a camera attached to an arm. In such a robot system, when the object is placed in a position different from the reference position, visual feedback is used to change the relative positional relationship between the arm and the object so that the object is in the reference position. The movement of the arm is controlled so that the relative positional relationship between the arm and the object in a certain case is the same. For example, when a plurality of objects are placed, one work object is selected from the plurality of objects, and the arm and the work object have a predetermined relative positional relationship while capturing the work object with a camera. The movement of the arm is controlled so as to.

特開２０１５−１５０６３６号公報Japanese Unexamined Patent Publication No. 2015-150636

しかしながら、アームを駆動している最中に、不測の事態によってカメラの撮像領域から作業対象が外れた場合には、複数の対象物の中から、作業対象を再び探し出すことは困難であり、作業対象を選択し直すことから再開しなければならず、作業効率の低下を招くおそれがあった。 However, if the work target is removed from the imaging area of the camera due to an unexpected situation while the arm is being driven, it is difficult to find the work target again from among a plurality of objects, and the work is performed. It was necessary to restart from reselecting the target, which could lead to a decrease in work efficiency.

本発明のロボットシステムは、アームを備えるロボットと、
複数の対象を作業対象と前記作業対象以外とに区別する光を照射する光照射部と、
前記アームに配置され、前記光が照射されているときに前記作業対象を撮像するカメラと、
前記カメラの撮像データに基づいて前記複数の対象から前記作業対象を区別し、前記アームの動作を制御する制御装置と、を有することを特徴とする。 The robot system of the present invention includes a robot provided with an arm and
A light irradiation unit that irradiates light that distinguishes a plurality of objects from a work object and a non-work object.
A camera that is placed on the arm and captures the work object when the light is irradiated.
It is characterized by having a control device that distinguishes the work target from the plurality of targets based on the image data of the camera and controls the operation of the arm.

本発明の第１実施形態に係るロボットシステムを示す全体図である。It is an overall view which shows the robot system which concerns on 1st Embodiment of this invention. 対象物の一例を示す斜視図である。It is a perspective view which shows an example of an object. 制御方法を示すフローチャートである。It is a flowchart which shows the control method. カメラの撮像データの一例を示す図である。It is a figure which shows an example of the image pickup data of a camera. カメラの撮像データの一例を示す図である。It is a figure which shows an example of the image pickup data of a camera. カメラの撮像データの一例を示す図である。It is a figure which shows an example of the image pickup data of a camera. 本発明の第２実施形態に係る光の照射方法を示す図である。It is a figure which shows the light irradiation method which concerns on 2nd Embodiment of this invention. 本発明の第３実施形態に係る光の照射方法を示す図である。It is a figure which shows the light irradiation method which concerns on 3rd Embodiment of this invention. 本発明の第４実施形態に係る光の照射方法を示す図である。It is a figure which shows the light irradiation method which concerns on 4th Embodiment of this invention. 本発明の第５実施形態に係る光の照射方法を示す図である。It is a figure which shows the light irradiation method which concerns on 5th Embodiment of this invention. 制御方法を示すフローチャートである。It is a flowchart which shows the control method. 本発明の第６実施形態に係るロボットシステムを示す全体図である。It is an overall view which shows the robot system which concerns on 6th Embodiment of this invention. 本発明の第７実施形態に係るロボットシステムを示す全体図である。It is an overall view which shows the robot system which concerns on 7th Embodiment of this invention.

以下、本発明のロボットシステムおよびロボットシステムの制御方法を添付図面に示す好適な実施形態に基づいて詳細に説明する。 Hereinafter, the robot system of the present invention and the control method of the robot system will be described in detail based on the preferred embodiments shown in the accompanying drawings.

＜第１実施形態＞
図１は、本発明の第１実施形態に係るロボットシステムを示す全体図である。図２は、対象物の一例を示す斜視図である。図３は、制御方法を示すフローチャートである。図４ないし図６は、それぞれ、カメラの撮像データの一例を示す図である。 <First Embodiment>
FIG. 1 is an overall view showing a robot system according to the first embodiment of the present invention. FIG. 2 is a perspective view showing an example of the object. FIG. 3 is a flowchart showing a control method. 4 to 6 are diagrams showing an example of image pickup data of the camera, respectively.

図１に示すロボットシステム１は、精密機器やこれを構成する部品の給材、除材、搬送および組立等の作業を行うことができる。ロボットシステム１は、対象物１００に対して所定の作業を実行するロボット２と、ロボット２に装着され、対象物１００を撮像するカメラ３と、対象物１００に向けて光を照射する光照射部７と、ホストコンピューター９からの指令に基づいて、これら各部の駆動を制御する制御装置８と、を有する。 The robot system 1 shown in FIG. 1 can perform operations such as supplying, removing, transporting, and assembling precision equipment and parts constituting the precision equipment. The robot system 1 includes a robot 2 that executes a predetermined work on the object 100, a camera 3 that is attached to the robot 2 and images the object 100, and a light irradiation unit that irradiates light toward the object 100. It has 7 and a control device 8 that controls the drive of each of these parts based on a command from the host computer 9.

ロボット２は、６軸ロボットであり、床、壁、天井等に固定されるベース２０と、アーム２００と、を有する。また、アーム２００は、ベース２０に回動自在に連結されている第１アーム２１と、第１アーム２１に回動自在に連結されている第２アーム２２と、第２アーム２２に回動自在に連結されている第３アーム２３と、第３アーム２３に回動自在に連結されている第４アーム２４と、第４アーム２４に回動自在に連結されている第５アーム２５と、第５アーム２５に回動自在に連結されている第６アーム２６と、第６アーム２６に装着されているハンド２７と、を有する。ただし、ロボット２の構成は、特に限定されず、例えば、アームの数は、５本以下であってもよいし、７本以上であってもよい。また、例えば、ロボット２は、スカラロボット、双腕ロボット等であってもよい。 The robot 2 is a 6-axis robot, and has a base 20 fixed to a floor, a wall, a ceiling, or the like, and an arm 200. Further, the arm 200 is rotatable to the first arm 21 rotatably connected to the base 20, the second arm 22 rotatably connected to the first arm 21, and the second arm 22. A third arm 23 rotatably connected to the third arm 23, a fourth arm 24 rotatably connected to the third arm 23, a fifth arm 25 rotatably connected to the fourth arm 24, and a first It has a sixth arm 26 rotatably connected to the fifth arm 25, and a hand 27 attached to the sixth arm 26. However, the configuration of the robot 2 is not particularly limited, and for example, the number of arms may be 5 or less, or 7 or more. Further, for example, the robot 2 may be a SCARA robot, a dual-arm robot, or the like.

カメラ３は、ロボット２の第５アーム２５に固定されている。また、カメラ３は、第５アーム２５の先端側すなわちハンド２７側を向き、ハンド２７の先にある対象物１００を撮像できるように配置されている。ここで、第５アーム２５の先端側にハンド２７が位置する関係は、第５アーム２５以外のアーム２１〜２４、２６がどのような姿勢であっても維持される。そのため、第５アーム２５にカメラ３を固定することにより、カメラ３は、常に、ハンド２７の先端側を撮像することができる。したがって、ハンド２７が対象物１００に対して如何なる姿勢で対向しても、当該姿勢において対象物１００を撮像することができる。そのため、より確実に対象物１００を撮像することができる。ただし、カメラ３の配置は、特に限定されない。 The camera 3 is fixed to the fifth arm 25 of the robot 2. Further, the camera 3 faces the tip end side of the fifth arm 25, that is, the hand 27 side, and is arranged so that the object 100 at the tip of the hand 27 can be imaged. Here, the relationship in which the hand 27 is located on the tip end side of the fifth arm 25 is maintained regardless of the postures of the arms 21 to 24 and 26 other than the fifth arm 25. Therefore, by fixing the camera 3 to the fifth arm 25, the camera 3 can always take an image of the tip end side of the hand 27. Therefore, no matter what posture the hand 27 faces the object 100, the object 100 can be imaged in that posture. Therefore, the object 100 can be imaged more reliably. However, the arrangement of the camera 3 is not particularly limited.

光照射部７は、対象物１００に選択的に光Ｌを照射することができる。なお、光照射部７としては、特に限定されないが、本実施形態ではプロジェクター７１が用いられている。これにより、光照射部７の構成が簡単となる。なお、光Ｌの波長としては、カメラ３で認識可能であれば、特に限定されず、４００〜７００ｎｍの可視光であってもよいし、４００ｎｍ以下の不可視光（紫外線）であってもよいし、７００ｎｍ以上の不可視光（赤外線）であってもよい。 The light irradiation unit 7 can selectively irradiate the object 100 with light L. The light irradiation unit 7 is not particularly limited, but the projector 71 is used in the present embodiment. This simplifies the configuration of the light irradiation unit 7. The wavelength of the light L is not particularly limited as long as it can be recognized by the camera 3, and may be visible light of 400 to 700 nm or invisible light (ultraviolet light) of 400 nm or less. , 700 nm or more invisible light (infrared light) may be used.

制御装置８は、ロボット２の駆動を制御するロボット制御部８１と、カメラ３で撮像される撮像データに基づいて対象物１００を認識する対象物認識部８２と、光照射部７の駆動を制御する光照射部制御部８３と、を有する。このような制御装置８は、例えば、コンピューターから構成され、情報を処理するプロセッサー（ＣＰＵ）と、プロセッサーに通信可能に接続されたメモリーと、外部インターフェースと、を有する。メモリーにはプロセッサーにより実行可能な各種プログラムが保存され、プロセッサーは、メモリーに記憶された各種プログラム等を読み込んで実行することができる。 The control device 8 controls the drive of the robot control unit 81 that controls the drive of the robot 2, the object recognition unit 82 that recognizes the object 100 based on the imaging data captured by the camera 3, and the light irradiation unit 7. It has a light irradiation unit control unit 83 and a light irradiation unit. Such a control device 8 includes, for example, a processor (CPU) composed of a computer and processing information, a memory communicably connected to the processor, and an external interface. Various programs that can be executed by the processor are stored in the memory, and the processor can read and execute various programs and the like stored in the memory.

また、アーム２１〜２６、ハンド２７のうちの少なくとも１カ所には、図示しない力覚センサー、近接センサー等のセンサーが配置されており、制御装置８は、これらセンサーからの出力信号に基づいて、ハンド２７またはその把持物の他所への接触を検出ことができる。 Further, sensors such as a force sensor and a proximity sensor (not shown) are arranged at at least one of the arms 21 to 26 and the hand 27, and the control device 8 is based on the output signals from these sensors. The contact of the hand 27 or its gripped object with another part can be detected.

以上、ロボットシステム１の全体構成について簡単に説明した。次に、制御装置８によるロボットシステム１の制御方法について詳細に説明する。以下では、図２に示すように、対象物１００が、貫通孔で構成されている４つ対象１１１を有する基板１１０と、基板１１０に形成されている対象１１１に挿入する４つのワーク１２０と、を有する構成となっており、ロボット２が各対象１１１に１個ずつワーク１２０を挿入する動作を行う場合について代表して説明する。なお、対象物１００の構成やロボット２の動作は、これに限定されない。 The overall configuration of the robot system 1 has been briefly described above. Next, the control method of the robot system 1 by the control device 8 will be described in detail. In the following, as shown in FIG. 2, the object 100 includes a substrate 110 having four objects 111 formed of through holes, four workpieces 120 to be inserted into the objects 111 formed on the substrate 110, and the like. The case where the robot 2 inserts one work 120 into each target 111 will be described as a representative. The configuration of the object 100 and the operation of the robot 2 are not limited to this.

図３に示すように、制御装置８は、まず、ステップＳ１として、ロボット２の駆動を制御して、ハンド２７で１つのワーク１２０を把持させる。次に、制御装置８は、ステップＳ２として、ロボット２の駆動を制御して、少なくとも１つの対象１１１がカメラ３の視野（撮像領域）に入るようにアーム２００を移動させる。次に、制御装置８は、ステップＳ３として、カメラ３で基板１１０、特に対象１１１を撮像し、その撮像データＤ１に含まれている対象１１１を認識する。 As shown in FIG. 3, first, as step S1, the control device 8 controls the drive of the robot 2 so that the hand 27 grips one work 120. Next, in step S2, the control device 8 controls the drive of the robot 2 to move the arm 200 so that at least one target 111 enters the field of view (imaging region) of the camera 3. Next, in step S3, the control device 8 images the substrate 110, particularly the target 111, with the camera 3, and recognizes the target 111 included in the imaged data D1.

次に、制御装置８は、ステップＳ４として、ステップＳ３で得られた撮像データＤ１に含まれる対象１１１から、１つの対象１１１を「作業対象１１１Ａ」として選択する。図４に、ステップＳ３で得られた撮像データＤ１の一例を示す。この図では、ステップＳ４において、制御装置８は、左上に位置する対象１１１を作業対象１１１Ａとして選択している。なお、ステップＳ３では、プロジェクター７１は、基板１１０に光Ｌを照射しない。 Next, in step S4, the control device 8 selects one target 111 as the “work target 111A” from the target 111 included in the imaging data D1 obtained in step S3. FIG. 4 shows an example of the imaging data D1 obtained in step S3. In this figure, in step S4, the control device 8 selects the target 111 located at the upper left as the work target 111A. In step S3, the projector 71 does not irradiate the substrate 110 with light L.

制御装置８は、次に、ステップＳ５として、前ステップＳ４で選択した作業対象１１１Ａに光Ｌが照射され、それ以外の対象１１１には光Ｌが照射されないように、プロジェクター７１の駆動を制御する。例えば、各対象１１１の位置座標を予め記憶しておくことで、光Ｌを作業対象１１１Ａに選択的に照射することができる。また、ロボット２の姿勢とカメラ３の撮像データＤ１とに基づいて作業対象１１１Ａの三次元位置座標を算出し、その結果に基づいてプロジェクター７１の駆動を制御することにより、光Ｌを作業対象１１１Ａに選択的に照射することもできる。ただし、作業対象１１１Ａへの光Ｌの照射方法は、特に限定されない。また、作業対象１１１Ａへの光Ｌの照射は、後述するステップＳ９が終わるまで維持される。 Next, in step S5, the control device 8 controls the drive of the projector 71 so that the work target 111A selected in the previous step S4 is irradiated with the light L and the other targets 111 are not irradiated with the light L. .. For example, by storing the position coordinates of each target 111 in advance, the light L can be selectively applied to the work target 111A. Further, the light L is converted to the work target 111A by calculating the three-dimensional position coordinates of the work target 111A based on the posture of the robot 2 and the image pickup data D1 of the camera 3 and controlling the driving of the projector 71 based on the result. Can also be selectively irradiated. However, the method of irradiating the work target 111A with the light L is not particularly limited. Further, the irradiation of the work target 111A with the light L is maintained until the end of step S9, which will be described later.

制御装置８は、次に、ステップＳ６として、作業対象１１１Ａに光Ｌが照射されている状態をカメラ３で撮像する。これにより、作業対象１１１Ａが撮像されて認識され、撮像データＤ２が得られる。制御装置８は、次に、ステップＳ７として、前ステップＳ６で得られた撮像データＤ２に基づいて、ワーク１２０が作業対象１１１Ａに近づくようにロボット２の駆動を制御する。図５に撮像データＤ２の一例を示す。ここで、ステップＳ４において、そのときのアーム２００の姿勢でカメラ３によって認識可能な対象１１１から作業対象１１１Ａを選択しているため、ステップＳ７におけるアーム２００の無駄な動きが抑制される。つまり、ステップＳ７でのアーム２００の移動量を効果的に減らすことができ、ステップＳ７をより迅速に完了することができる。 Next, in step S6, the control device 8 captures a state in which the work target 111A is irradiated with light L by the camera 3. As a result, the work target 111A is imaged and recognized, and the imaged data D2 is obtained. Next, in step S7, the control device 8 controls the drive of the robot 2 so that the work 120 approaches the work target 111A based on the imaging data D2 obtained in the previous step S6. FIG. 5 shows an example of the imaging data D2. Here, in step S4, since the work target 111A is selected from the target 111 that can be recognized by the camera 3 in the posture of the arm 200 at that time, unnecessary movement of the arm 200 in step S7 is suppressed. That is, the amount of movement of the arm 200 in step S7 can be effectively reduced, and step S7 can be completed more quickly.

このように、作業対象１１１Ａにだけ光Ｌを照射することにより、作業対象１１１Ａに影ができ易く、陰を特徴として追加できるため、撮像データＤ２中の作業対象１１１Ａの特徴量が増加する。また、光Ｌの輪郭Ｌ０による特徴を追加することができるため、撮像データＤ２中の作業対象１１１Ａの特徴量が増加する。したがって、撮像データＤ２に基づく画像認識精度が向上し、ステップＳ７をより精度よく行うことができる。なお、例えば、図６に示すように、光Ｌの輪郭Ｌ０をより複雑な形状とすることにより、光Ｌの輪郭による特徴がより大きくなるため、撮像データＤ２中の作業対象１１１Ａの特徴量がより増加する。なお、光Ｌの輪郭としては、円形や星形に限定されず、例えば、三角形、四角形、五角形以上の多角形等であってもよい。 By irradiating the work target 111A with the light L in this way, shadows are likely to be formed on the work target 111A, and shadows can be added as features, so that the feature amount of the work target 111A in the imaging data D2 increases. Further, since the feature of the light L due to the contour L0 can be added, the feature amount of the work target 111A in the imaging data D2 increases. Therefore, the image recognition accuracy based on the image pickup data D2 is improved, and step S7 can be performed more accurately. For example, as shown in FIG. 6, by making the contour L0 of the light L a more complicated shape, the features due to the contour of the light L become larger, so that the feature amount of the work target 111A in the imaging data D2 becomes larger. More. The outline of the light L is not limited to a circle or a star, and may be, for example, a triangle, a quadrangle, a polygon of a pentagon or more, and the like.

制御装置８は、次に、ステップＳ８として、ワーク１２０が基板１１０、特に作業対象１１１Ａに接触したか否かを判断する。当該判断は、例えば、アーム２１〜２６、ハンド２７のいずれかに配置されている前記の力覚センサーが出力する信号に基づいて行うことができる。制御装置８は、ステップＳ８で、ワーク１２０が作業対象１１１Ａに接触したと判断するまで、ステップＳ６〜Ｓ８を繰り返す。そして、制御装置８は、ステップＳ８でワーク１２０が作業対象１１１Ａに接触したと判断すると、ステップＳ９として、ロボット２の駆動を制御して、ワーク１２０を作業対象１１１Ａに挿入する。この際、制御装置８は、インピーダンス制御を用いてロボット２を駆動することにより、当該作業を比較的容易に行うことができる。また、ワーク１２０を作業対象１１１Ａに挿入し終えるまでは、作業対象１１１Ａに光Ｌを照射した状態が維持される。 Next, in step S8, the control device 8 determines whether or not the work 120 has come into contact with the substrate 110, particularly the work target 111A. The determination can be made based on, for example, a signal output by the force sensor located on any of the arms 21 to 26 and the hand 27. The control device 8 repeats steps S6 to S8 until it is determined in step S8 that the work 120 has come into contact with the work target 111A. Then, when the control device 8 determines that the work 120 has come into contact with the work target 111A in step S8, in step S9, the control device 8 controls the drive of the robot 2 and inserts the work 120 into the work target 111A. At this time, the control device 8 can perform the work relatively easily by driving the robot 2 using impedance control. Further, the state in which the work target 111A is irradiated with the light L is maintained until the work 120 is completely inserted into the work target 111A.

制御装置８は、次に、ステップＳ１０として、全対象１１１にワーク１２０が挿入されたか否かを判断する。この判断結果がＮｏである場合、他の対象１１１から新たな作業対象１１１Ａを設定し、ステップＳ１〜Ｓ９を繰り返し行う。そして、制御装置８は、全対象１１１にワーク１２０が挿入されたと判断するまで、ステップＳ１〜Ｓ１０を繰り返す。 Next, in step S10, the control device 8 determines whether or not the work 120 has been inserted into all the objects 111. If the determination result is No, a new work target 111A is set from the other target 111, and steps S1 to S9 are repeated. Then, the control device 8 repeats steps S1 to S10 until it is determined that the work 120 has been inserted into all the objects 111.

以上、制御装置８による制御方法について説明した。このような制御方法によれば、ステップＳ５〜Ｓ９の間、光Ｌによって作業対象１１１Ａが他の対象１１１と区別されているため、ワーク１２０を作業対象１１１Ａに挿入し終えるまでに、外部からの衝撃等の不測の事態によってカメラ３の視野から作業対象１１１Ａが外れてしまった場合でも、カメラ３の撮像データに基づいて、容易に、作業対象１１１Ａを再び探し出すことができる。そのため、ワーク１２０の作業対象１１１Ａへの挿入をより確実に行うことができる。特に、制御装置８の制御方法によれば、作業対象１１１Ａを見失っても再び探し出して作業を再開することができるため、従来のように、ステップＳ２まで戻ってやり直す必要がない。そのため、作業時間が短縮され、ロボット２の作業効率が高まる。 The control method by the control device 8 has been described above. According to such a control method, since the work target 111A is distinguished from the other target 111 by the light L during steps S5 to S9, it is necessary to insert the work 120 into the work target 111A from the outside. Even if the work target 111A is out of the field of view of the camera 3 due to an unexpected situation such as an impact, the work target 111A can be easily searched for again based on the imaging data of the camera 3. Therefore, the work 120 can be more reliably inserted into the work target 111A. In particular, according to the control method of the control device 8, even if the work target 111A is lost, it can be found again and the work can be restarted, so that it is not necessary to return to step S2 and start over as in the conventional case. Therefore, the work time is shortened and the work efficiency of the robot 2 is improved.

以上、ロボットシステム１およびロボットシステム１の制御方法について説明した。ロボットシステム１は、前述したように、アーム２００を備えるロボット２と、複数の対象１１１を作業対象１１１Ａと作業対象１１１Ａ以外とに区別する光Ｌを照射する光照射部７と、アーム２００に配置され、光Ｌが照射されているときに作業対象１１１Ａを撮像するカメラ３と、カメラ３の撮像データＤ２に基づいて複数の対象１１１から作業対象１１１Ａを区別し、アーム２００の動作を制御する制御装置８と、を有する。 The control method of the robot system 1 and the robot system 1 has been described above. As described above, the robot system 1 is arranged on the arm 200, the robot 2 provided with the arm 200, the light irradiation unit 7 that irradiates the light L that distinguishes the plurality of targets 111 into the work target 111A and other than the work target 111A. Control that controls the operation of the arm 200 by distinguishing the work target 111A from the plurality of targets 111 based on the camera 3 that images the work target 111A when the light L is irradiated and the image data D2 of the camera 3. It has a device 8 and.

このような構成によれば、光Ｌによって作業対象１１１Ａが他の対象１１１と区別されているため、ロボット２の動作中に、外部からの衝撃等の不測の事態によってカメラ３の視野から作業対象１１１Ａが外れても、カメラ３を用いて、容易に、作業対象１１１Ａを再び探し出すことができる。そのため、ロボット２による作業をより確実に行うことができる。特に、作業対象１１１Ａを見失っても、作業対象１１１Ａを再び探し出して作業を再開することができるため、従来のように、再び、作業対象１１１Ａを選択するステップまで戻ってやり直す必要がない。そのため、作業時間が短縮され、ロボット２の作業効率が高まる。 According to such a configuration, since the work target 111A is distinguished from the other target 111 by the light L, the work target is viewed from the field of view of the camera 3 due to an unexpected situation such as an external impact during the operation of the robot 2. Even if the 111A comes off, the work target 111A can be easily searched for again by using the camera 3. Therefore, the work by the robot 2 can be performed more reliably. In particular, even if the work target 111A is lost, the work target 111A can be found again and the work can be restarted, so that it is not necessary to return to the step of selecting the work target 111A and start over again as in the conventional case. Therefore, the work time is shortened and the work efficiency of the robot 2 is improved.

また、前述したように、光照射部７は、作業対象１１１Ａに光Ｌを照射し、作業対象１１１Ａ以外の対象１１１には光Ｌを照射しない。このような構成によれば、明暗によって、複数の対象１１１を、作業対象１１１Ａとそれ以外とに容易に区別することができる。また、作業対象１１１Ａに影ができ易く、作業対象１１１Ａのコントラストが高まるため、その分、作業対象１１１Ａの特徴量が増加する。したがって、撮像データＤ２に基づく画像認識精度が向上し、ステップＳ７をより精度よく行うことができる。 Further, as described above, the light irradiation unit 7 irradiates the work target 111A with the light L, and does not irradiate the target 111 other than the work target 111A with the light L. According to such a configuration, the plurality of objects 111 can be easily distinguished from the work object 111A and the others by the lightness and darkness. In addition, shadows are likely to be formed on the work target 111A, and the contrast of the work target 111A is increased, so that the feature amount of the work target 111A is increased accordingly. Therefore, the image recognition accuracy based on the image pickup data D2 is improved, and step S7 can be performed more accurately.

また、前述したように、光照射部７は、プロジェクター７１である。これにより、光照射部７の構成が簡単となる。 Further, as described above, the light irradiation unit 7 is the projector 71. This simplifies the configuration of the light irradiation unit 7.

また、前述したように、ロボットシステム１の制御方法は、複数の対象１１１を作業対象１１１Ａと作業対象１１１Ａ以外とに区別する光Ｌを光照射部７から照射するステップＳ５と、ロボット２が備えるアーム２００に配置されているカメラ３によって光Ｌが照射されているときに作業対象１１１Ａを撮像するステップＳ６と、カメラ３の撮像データＤ２に基づいて複数の対象１１１から作業対象１１１Ａを区別し、アーム２００の動作を制御するステップＳ７〜Ｓ９と、を含む。 Further, as described above, the control method of the robot system 1 includes the step S5 of irradiating the light L from the light irradiation unit 7 to distinguish the plurality of targets 111 into the work target 111A and other than the work target 111A, and the robot 2. The work target 111A is distinguished from the plurality of targets 111 based on the step S6 in which the work target 111A is imaged when the light L is irradiated by the camera 3 arranged on the arm 200 and the image data D2 of the camera 3. Steps S7 to S9 for controlling the operation of the arm 200 are included.

このような制御方法によれば、光Ｌによって作業対象１１１Ａが他の対象１１１と区別されているため、ロボット２の動作中に、外部からの衝撃等の不測の事態によってカメラ３の視野から作業対象１１１Ａが外れても、カメラ３を用いて、容易に、作業対象１１１Ａを再び探し出すことができる。そのため、ロボット２による作業をより確実に行うことができる。特に、作業対象１１１Ａを見失っても、作業対象１１１Ａを再び探し出して作業を再開することができるため、従来のように、再び、作業対象１１１Ａを選択するステップまで戻ってやり直す必要がない。そのため、作業時間が短縮され、ロボット２の作業効率が高まる。 According to such a control method, since the work target 111A is distinguished from the other target 111 by the light L, the work is performed from the field of view of the camera 3 due to an unexpected situation such as an external impact during the operation of the robot 2. Even if the target 111A is removed, the work target 111A can be easily searched for again by using the camera 3. Therefore, the work by the robot 2 can be performed more reliably. In particular, even if the work target 111A is lost, the work target 111A can be found again and the work can be restarted, so that it is not necessary to return to the step of selecting the work target 111A and start over again as in the conventional case. Therefore, the work time is shortened and the work efficiency of the robot 2 is improved.

また、前述したように、光照射部７から光Ｌを照射するステップＳ５の前に、カメラ３によって少なくとも１つの対象１１１を撮像するステップＳ３と、カメラ３の撮像データＤ１に含まれる対象１１１から少なくとも１つの作業対象１１１Ａを選択するステップＳ４と、を含む。このようなステップを有することにより、作業対象１１１Ａを容易に選択することができる。また、現在のアーム２００の姿勢においてカメラ３で認識可能な対象１１１から作業対象１１１Ａを選択するため、その後の作業におけるアーム２００の無駄な動きが抑制される。つまり、ステップＳ７でのアーム２００の移動量を効果的に減らすことができ、ステップＳ７をより迅速に完了することができる。 Further, as described above, before the step S5 of irradiating the light L from the light irradiating unit 7, the step S3 of imaging at least one object 111 by the camera 3 and the object 111 included in the imaging data D1 of the camera 3 Includes step S4, which selects at least one work target 111A. By having such a step, the work target 111A can be easily selected. Further, since the work target 111A is selected from the target 111 that can be recognized by the camera 3 in the current posture of the arm 200, unnecessary movement of the arm 200 in the subsequent work is suppressed. That is, the amount of movement of the arm 200 in step S7 can be effectively reduced, and step S7 can be completed more quickly.

＜第２実施形態＞
図７は、本発明の第２実施形態に係る光の照射方法を示す図である。 <Second Embodiment>
FIG. 7 is a diagram showing a light irradiation method according to a second embodiment of the present invention.

本実施形態は、光照射部７による光Ｌの照射方法が異なること以外は、前述した第１実施形態と同様である。なお、以下の説明では、本実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図７において、前述した実施形態と同様の構成については、同一符号を付している。 The present embodiment is the same as the above-described first embodiment except that the method of irradiating the light L by the light irradiating unit 7 is different. In the following description, the present embodiment will be mainly described with respect to the differences from the above-described embodiment, and the description of the same matters will be omitted. Further, in FIG. 7, the same reference numerals are given to the same configurations as those in the above-described embodiment.

図７に、ステップＳ５において基板１１０の所定位置に光照射部７からの光Ｌが照射されている状態を示す。なお、図７は、ステップＳ６においてカメラ３が撮像した撮像データＤ２として図示している。 FIG. 7 shows a state in which the light L from the light irradiation unit 7 is irradiated to a predetermined position of the substrate 110 in step S5. Note that FIG. 7 is shown as the imaging data D2 captured by the camera 3 in step S6.

同図に示すように、光照射部７は、作業対象１１１Ａに光Ｌを照射せず、作業対象１１１Ａ以外の対象１１１に光Ｌを照射している。このような構成によっても、明暗によって、複数の対象１１１を、作業対象１１１Ａとそれ以外とに容易に区別することができる。 As shown in the figure, the light irradiation unit 7 does not irradiate the work target 111A with the light L, but irradiates the target 111 other than the work target 111A with the light L. Even with such a configuration, the plurality of objects 111 can be easily distinguished from the work object 111A and the others by light and darkness.

以上のように、本実施形態の光照射部７は、作業対象１１１Ａに光Ｌを照射せず、作業対象１１１Ａ以外の対象１１１に光Ｌを照射する。このような構成によれば、明暗によって、複数の対象１１１を、作業対象１１１Ａとそれ以外とに容易に区別することができる。 As described above, the light irradiation unit 7 of the present embodiment does not irradiate the work target 111A with the light L, but irradiates the target 111 other than the work target 111A with the light L. According to such a configuration, the plurality of objects 111 can be easily distinguished from the work object 111A and the others by the lightness and darkness.

このような第２実施形態においても、前述した第１実施形態と同様の効果を発揮することができる。 Also in such a second embodiment, the same effect as that of the first embodiment described above can be exhibited.

＜第３実施形態＞
図８は、本発明の第３実施形態に係る光の照射方法を示す図である。 <Third Embodiment>
FIG. 8 is a diagram showing a light irradiation method according to a third embodiment of the present invention.

本実施形態は、光照射部７による光Ｌの照射方法が異なること以外は、前述した第１実施形態と同様である。なお、以下の説明では、本実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図８において、前述した実施形態と同様の構成については、同一符号を付している。 The present embodiment is the same as the above-described first embodiment except that the method of irradiating the light L by the light irradiating unit 7 is different. In the following description, the present embodiment will be mainly described with respect to the differences from the above-described embodiment, and the description of the same matters will be omitted. Further, in FIG. 8, the same reference numerals are given to the same configurations as those in the above-described embodiment.

図８に、ステップＳ５において基板１１０の所定位置に光照射部７からの光Ｌが照射されている状態を示す。なお、図８は、ステップＳ６においてカメラ３が撮像した撮像データＤ２として図示している。 FIG. 8 shows a state in which the light L from the light irradiation unit 7 is irradiated to a predetermined position of the substrate 110 in step S5. Note that FIG. 8 is shown as the imaging data D2 captured by the camera 3 in step S6.

同図に示すように、光照射部７は、全ての対象１１１に光Ｌを照射し、作業対象１１１Ａと、作業対象１１１Ａ以外の対象１１１と、で光Ｌの照度を異ならせている。具体的には、作業対象１１１Ａに照射する光Ｌ’を、それ以外の対象１１１に照射する光Ｌ”よりも明るくしている。このような構成によっても、明暗によって、複数の対象１１１を、作業対象１１１Ａとそれ以外とに容易に区別することができる。 As shown in the figure, the light irradiation unit 7 irradiates all the objects 111 with the light L, and makes the illuminance of the light L different between the work object 111A and the object 111 other than the work object 111A. Specifically, the light L'irradiating the work object 111A is made brighter than the light L" irradiating the other objects 111. Even with such a configuration, a plurality of objects 111 can be displayed depending on the brightness. The work target 111A and the others can be easily distinguished.

なお、本実施形態とは逆に、作業対象１１１Ａに照射する光Ｌ’を、それ以外の対象１１１に照射する光Ｌ”よりも暗くしてもよい。ただし、本実施形態の方が、作業対象１１１Ａに影ができ易く、その分、作業対象１１１Ａの特徴量が増加する。したがって、撮像データＤ２に基づく画像認識精度が向上し、ステップＳ７をより精度よく行うことができる。 Contrary to the present embodiment, the light L'irradiating the work object 111A may be darker than the light L" irradiating the other objects 111. However, the work in the present embodiment is used. Shadows are likely to be formed on the target 111A, and the feature amount of the work target 111A is increased accordingly. Therefore, the image recognition accuracy based on the imaging data D2 is improved, and the step S7 can be performed more accurately.

以上のように、本実施形態の光照射部７は、作業対象１１１Ａと作業対象１１１Ａ以外とで異なる照度の光Ｌを照射する。このような構成によれば、明暗によって、複数の対象１１１を、作業対象１１１Ａとそれ以外とに容易に区別することができる。 As described above, the light irradiation unit 7 of the present embodiment irradiates the work target 111A and the light L having different illuminances other than the work target 111A. According to such a configuration, the plurality of objects 111 can be easily distinguished from the work object 111A and the others by the lightness and darkness.

このような第３実施形態においても、前述した第１実施形態と同様の効果を発揮することができる。 Also in such a third embodiment, the same effect as that of the first embodiment described above can be exhibited.

＜第４実施形態＞
図９は、本発明の第４実施形態に係る光の照射方法を示す図である。 <Fourth Embodiment>
FIG. 9 is a diagram showing a light irradiation method according to a fourth embodiment of the present invention.

本実施形態は、光照射部７による光Ｌの照射方法が異なること以外は、前述した第１実施形態と同様である。なお、以下の説明では、本実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図９において、前述した実施形態と同様の構成については、同一符号を付している。 The present embodiment is the same as the above-described first embodiment except that the method of irradiating the light L by the light irradiating unit 7 is different. In the following description, the present embodiment will be mainly described with respect to the differences from the above-described embodiment, and the description of the same matters will be omitted. Further, in FIG. 9, the same reference numerals are given to the same configurations as those in the above-described embodiment.

図９に、ステップＳ５において基板１１０の所定位置に光照射部７からの光Ｌが照射されている状態を示す。なお、図９は、ステップＳ６においてカメラ３が撮像した撮像データＤ２として図示している。 FIG. 9 shows a state in which the light L from the light irradiation unit 7 is irradiated to a predetermined position of the substrate 110 in step S5. Note that FIG. 9 is shown as the imaging data D2 captured by the camera 3 in step S6.

同図に示すように、光照射部７は、全ての対象１１１に光Ｌを照射し、作業対象１１１Ａと、作業対象１１１Ａ以外の対象１１１と、で光Ｌの色（波長）を異ならせている。例えば、作業対象１１１Ａに青色の光Ｌｂを照射し、それ以外の対象１１１に赤色の光Ｌｒを照射している。このような構成によれば、光Ｌの色の異なりによって、複数の対象１１１を、作業対象１１１Ａとそれ以外とに容易に区別することができる。ただし、光Ｌの色の組み合わせは、特に限定されない。 As shown in the figure, the light irradiation unit 7 irradiates all the objects 111 with the light L, and makes the color (wavelength) of the light L different between the work object 111A and the object 111 other than the work object 111A. There is. For example, the work target 111A is irradiated with blue light Lb, and the other target 111 is irradiated with red light Lr. According to such a configuration, the plurality of objects 111 can be easily distinguished from the work object 111A and the others by the difference in the color of the light L. However, the color combination of the light L is not particularly limited.

以上のように、本実施形態の光照射部７は、作業対象１１１Ａと作業対象１１１Ａ以外とで異なる色の光Ｌを照射する。このような構成によれば、色の異なりによって、複数の対象１１１を、作業対象１１１Ａとそれ以外とに容易に区別することができる。 As described above, the light irradiation unit 7 of the present embodiment irradiates the light L of a different color between the work target 111A and other than the work target 111A. According to such a configuration, the plurality of objects 111 can be easily distinguished from the work object 111A and the others by the difference in color.

このような第４実施形態においても、前述した第１実施形態と同様の効果を発揮することができる。 Also in such a fourth embodiment, the same effect as that of the first embodiment described above can be exhibited.

＜第５実施形態＞
図１０は、本発明の第５実施形態に係る光の照射方法を示す図である。図１１は、制御方法を示すフローチャートである。 <Fifth Embodiment>
FIG. 10 is a diagram showing a light irradiation method according to a fifth embodiment of the present invention. FIG. 11 is a flowchart showing a control method.

本実施形態は、光照射部７による光Ｌの照射方法とそれに伴う制御方法とが異なること以外は、前述した第１実施形態と同様である。なお、以下の説明では、本実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図１０において、前述した実施形態と同様の構成については、同一符号を付している。 The present embodiment is the same as the first embodiment described above, except that the method of irradiating the light L by the light irradiating unit 7 and the control method associated therewith are different. In the following description, the present embodiment will be mainly described with respect to the differences from the above-described embodiment, and the description of the same matters will be omitted. Further, in FIG. 10, the same reference numerals are given to the same configurations as those in the above-described embodiment.

図１０に、ステップＳ５において基板１１０の所定位置に光照射部７からの光Ｌが照射されている状態を示す。なお、図１０は、ステップＳ６においてカメラ３が撮像した撮像データＤ２として図示している。 FIG. 10 shows a state in which the light L from the light irradiation unit 7 is irradiated to a predetermined position of the substrate 110 in step S5. Note that FIG. 10 is shown as the imaging data D2 captured by the camera 3 in step S6.

同図に示すように、光照射部７は、全ての対象１１１に光Ｌを照射し、各対象１１１に照射する光Ｌの色（波長）を異ならせている。例えば、作業対象１１１Ａに青色の光Ｌｂを照射し、１つの対象１１１に赤色の光Ｌｒを照射し、１つの対象１１１に緑色の光Ｌｇを照射し、１つの対象１１１に黄色の光Ｌｙを照射する。このような構成によれば、光Ｌの色の異なりによって、複数の対象１１１を、作業対象１１１Ａとそれ以外とに容易に区別することができると共に、残りの対象１１１についてもそれぞれ区別することができる。ただし、光Ｌの色の組み合わせは、特に限定されない。 As shown in the figure, the light irradiation unit 7 irradiates all the objects 111 with the light L, and makes the color (wavelength) of the light L to irradiate each object 111 different. For example, the work target 111A is irradiated with blue light Lb, one target 111 is irradiated with red light Lr, one target 111 is irradiated with green light Lg, and one target 111 is irradiated with yellow light Ly. Irradiate. According to such a configuration, a plurality of objects 111 can be easily distinguished from the work object 111A and others by the difference in the color of the light L, and the remaining objects 111 can also be distinguished from each other. it can. However, the color combination of the light L is not particularly limited.

このような構成によれば、各ワーク１２０を対象１１１に挿入する度に、作業対象１１１Ａを選択し直す手間が省け、ロボット２の作業効率がさらに向上する。以下、具体的に説明する。図１１に示すように、制御装置８は、まず、ステップＳ１として、ロボット２の駆動を制御して、ハンド２７で１つのワーク１２０を把持させる。次に、制御装置８は、ステップＳ２として、ロボット２の駆動を制御して、少なくとも１つの対象１１１がカメラ３の視野（撮像領域）に入るようにアーム２００を移動させる。次に、制御装置８は、ステップＳ３として、カメラ３で基板１１０、特に対象１１１を撮像し、その撮像データＤ１に含まれている対象１１１を認識する。 According to such a configuration, it is possible to save the trouble of reselecting the work target 111A each time each work 120 is inserted into the target 111, and the work efficiency of the robot 2 is further improved. Hereinafter, a specific description will be given. As shown in FIG. 11, first, as step S1, the control device 8 controls the drive of the robot 2 so that the hand 27 grips one work 120. Next, in step S2, the control device 8 controls the drive of the robot 2 to move the arm 200 so that at least one target 111 is in the field of view (imaging region) of the camera 3. Next, in step S3, the control device 8 images the substrate 110, particularly the target 111, with the camera 3, and recognizes the target 111 included in the imaged data D1.

次に、制御装置８は、ステップＳ４として、ステップＳ３で得られた撮像データＤ１に含まれる対象１１１から、１つの対象１１１を「作業対象１１１Ａ」として選択する。さらに、制御装置８は、作業対象１１１Ａとして選択しなかった残りの対象１１１に順番を付け、付けた順番に従って次の「作業対象１１１Ａ」とすることを決定する。 Next, in step S4, the control device 8 selects one target 111 as the “work target 111A” from the target 111 included in the imaging data D1 obtained in step S3. Further, the control device 8 assigns an order to the remaining targets 111 that have not been selected as the work target 111A, and determines to set the remaining target 111 as the next "work target 111A" according to the assigned order.

次に、制御装置８は、ステップＳ５として、撮像データＤ１に含まれる全ての対象１１１に光Ｌが照射されるように、プロジェクター７１の駆動を制御する。この状態では、図１０に示すように、作業対象１１１Ａには青色の光Ｌｂが照射され、１つの対象１１１には赤色の光Ｌｒが照射され、１つの対象１１１には緑色の光Ｌｇが照射され、１つの対象１１１には黄色の光Ｌｙが照射されている。なお、光Ｌの色と作業対象１１１Ａになる順番は関係付けられており、光Ｌの色を判断することにより、どの対象１１１が何番目の作業対象１１１Ａとなるかを制御装置８が記憶している。以下では、説明の便宜上、赤色の光Ｌｒが照射されている対象１１１を「対象１１１ｒ」とも言い、緑色の光Ｌｇが照射されている対象１１１を「対象１１１ｇ」とも言い、黄色の光Ｌｙが照射されている対象１１１を「対象１１１ｙ」とも言う。 Next, in step S5, the control device 8 controls the drive of the projector 71 so that all the objects 111 included in the imaging data D1 are irradiated with the light L. In this state, as shown in FIG. 10, the work target 111A is irradiated with blue light Lb, one target 111 is irradiated with red light Lr, and one target 111 is irradiated with green light Lg. Then, one object 111 is irradiated with yellow light Ly. The color of the light L and the order of becoming the work target 111A are related, and by determining the color of the light L, the control device 8 stores which target 111 becomes which work target 111A. ing. In the following, for convenience of explanation, the target 111 irradiated with the red light Lr is also referred to as the “target 111r”, the target 111 irradiated with the green light Lg is also referred to as the “target 111g”, and the yellow light Ly is referred to. The irradiated target 111 is also referred to as "target 111y".

制御装置８は、次に、ステップＳ６として、作業対象１１１Ａに光Ｌｂが照射されている状態をカメラ３で撮像する。制御装置８は、次に、ステップＳ７として、前ステップＳ６で得られた撮像データＤ２に基づいて、ワーク１２０が作業対象１１１Ａに近づくようにロボット２の駆動を制御する。制御装置８は、次に、ステップＳ８として、前記のセンサーの出力信号に基づいて、ワーク１２０が作業対象１１１Ａに接触したか否かを判断する。制御装置８は、ステップＳ８で、ワーク１２０が作業対象１１１Ａに接触したと判断するまで、ステップＳ６〜Ｓ８を繰り返す。そして、制御装置８は、ステップＳ８でワーク１２０が作業対象１１１Ａに接触したと判断すると、ステップＳ９として、ロボット２の駆動を制御して、ワーク１２０を作業対象１１１Ａに挿入する。 Next, in step S6, the control device 8 captures a state in which the work target 111A is irradiated with the light Lb by the camera 3. Next, in step S7, the control device 8 controls the drive of the robot 2 so that the work 120 approaches the work target 111A based on the imaging data D2 obtained in the previous step S6. Next, in step S8, the control device 8 determines whether or not the work 120 has come into contact with the work target 111A based on the output signal of the sensor. The control device 8 repeats steps S6 to S8 until it is determined in step S8 that the work 120 has come into contact with the work target 111A. Then, when the control device 8 determines that the work 120 has come into contact with the work target 111A in step S8, in step S9, the control device 8 controls the drive of the robot 2 and inserts the work 120 into the work target 111A.

制御装置８は、次に、ステップＳ１０として、光Ｌが照射されている対象１１１の全てを作業対象１１１Ａとしたか否かを判断する。そして、制御装置８は、対象１１１ｒ、１１１ｇ、１１１ｙを順に作業対象１１１Ａとし、ステップＳ１１として、ワーク１２０を新たにハンド２７で把持させた後、対象１１１ｒ、１１１ｇ、１１１ｙごとにステップＳ６〜Ｓ１１を繰り返し行う。なお、光Ｌが照射されている対象１１１の全てを作業対象１１１Ａとし終えるまでは、光Ｌが照射された状態が維持される。制御装置８は、光Ｌが照射されている対象１１１の全てを作業対象１１１Ａとした後、ステップＳ１２として、基板１１０に含まれる全ての対象１１１にワーク１２０が挿入されたか否かを判断する。制御装置８は、全ての対象１１１にワーク１２０が挿入されたと判断するまで、ステップＳ１〜Ｓ１２を繰り返す。 Next, in step S10, the control device 8 determines whether or not all of the objects 111 irradiated with the light L are the work objects 111A. Then, the control device 8 sets the target 111r, 111g, 111y as the work target 111A in order, and as step S11, after newly grasping the work 120 with the hand 27, steps S6 to S11 are performed for each of the targets 111r, 111g, 111y. Repeat. The state of being irradiated with the light L is maintained until all the objects 111 irradiated with the light L are set as the work objects 111A. The control device 8 determines whether or not the work 120 has been inserted into all the objects 111 included in the substrate 110 in step S12 after setting all the objects 111 irradiated with the light L as the work objects 111A. The control device 8 repeats steps S1 to S12 until it is determined that the work 120 has been inserted into all the objects 111.

以上、制御装置８による制御方法について説明した。このような制御方法によれば、ワーク１２０毎に、作業対象１１１Ａを選択し直す必要がなくなるため、前述した第１実施形態と比べて、ロボット２の作業効率が高まる。 The control method by the control device 8 has been described above. According to such a control method, it is not necessary to reselect the work target 111A for each work 120, so that the work efficiency of the robot 2 is improved as compared with the first embodiment described above.

＜第６実施形態＞
図１２は、本発明の第６実施形態に係るロボットシステムを示す全体図である。 <Sixth Embodiment>
FIG. 12 is an overall view showing a robot system according to a sixth embodiment of the present invention.

本実施形態は、光照射部７による光Ｌの照射方法が異なること以外は、前述した第１実施形態と同様である。なお、以下の説明では、本実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図１２において、前述した実施形態と同様の構成については、同一符号を付している。 The present embodiment is the same as the above-described first embodiment except that the method of irradiating the light L by the light irradiating unit 7 is different. In the following description, the present embodiment will be mainly described with respect to the differences from the above-described embodiment, and the description of the same matters will be omitted. Further, in FIG. 12, the same reference numerals are given to the same configurations as those in the above-described embodiment.

図１２に示すように、本実施形態の光照射部７は、カメラ３から見て裏側から作業対象１１１Ａに光Ｌを照射する。本実施形態では、カメラ３が作業対象１１１Ａの図１２中の上側に位置する状態でロボット２の作業が行われるため、光照射部７は、作業対象１１１Ａの下側から光Ｌを照射する。このような構成によれば、アーム２００で光Ｌが遮蔽されることがないため、光Ｌを作業対象１１１Ａにより確実に照射することができる。また、作業対象１１１Ａに影が生じ易く、作業対象１１１Ａのコントラストが高まるため、その分、作業対象１１１Ａの特徴量が増加する。したがって、撮像データＤ２に基づく画像認識精度が向上し、ステップＳ７をより精度よく行うことができる。 As shown in FIG. 12, the light irradiation unit 7 of the present embodiment irradiates the work target 111A with light L from the back side when viewed from the camera 3. In the present embodiment, since the work of the robot 2 is performed in a state where the camera 3 is located on the upper side of the work target 111A in FIG. 12, the light irradiation unit 7 irradiates the light L from the lower side of the work target 111A. According to such a configuration, since the light L is not shielded by the arm 200, the light L can be reliably irradiated by the work target 111A. In addition, shadows are likely to occur on the work target 111A, and the contrast of the work target 111A is increased, so that the feature amount of the work target 111A is increased accordingly. Therefore, the image recognition accuracy based on the image pickup data D2 is improved, and step S7 can be performed more accurately.

このような第６実施形態においても、前述した第１実施形態と同様の効果を発揮することができる。 Also in such a sixth embodiment, the same effect as that of the first embodiment described above can be exhibited.

＜第７実施形態＞
図１３は、本発明の第７実施形態に係るロボットシステムを示す全体図である。 <7th Embodiment>
FIG. 13 is an overall view showing a robot system according to a seventh embodiment of the present invention.

本実施形態は、光照射部７およびカメラ３の構成が異なること以外は、前述した第１実施形態と同様である。なお、以下の説明では、本実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図１３において、前述した実施形態と同様の構成については、同一符号を付している。 This embodiment is the same as the above-described first embodiment except that the configurations of the light irradiation unit 7 and the camera 3 are different. In the following description, the present embodiment will be mainly described with respect to the differences from the above-described embodiment, and the description of the same matters will be omitted. Further, in FIG. 13, the same reference numerals are given to the same configurations as those in the above-described embodiment.

本実施形態では、環境光と異なる波長の光、具体的には赤外線を用いている。これにより、環境光と光Ｌとを区別することができ、カメラ３によって光Ｌをより精度よく認識することができる。また、図１３に示すように、カメラ３には、環境光をカットして光Ｌを透過する波長フィルター４が設けられており、光Ｌ以外の光を効果的に除去できるようになっている。そのため、光Ｌの輪郭がより鮮明となり、撮像データＤ２の特徴量が増加する。したがって、撮像データＤ２に基づく画像認識精度が向上し、ステップＳ７をより精度よく行うことができる。 In this embodiment, light having a wavelength different from that of ambient light, specifically infrared light is used. Thereby, the ambient light and the light L can be distinguished, and the light L can be recognized more accurately by the camera 3. Further, as shown in FIG. 13, the camera 3 is provided with a wavelength filter 4 that cuts ambient light and transmits the light L so that light other than the light L can be effectively removed. .. Therefore, the outline of the light L becomes clearer, and the feature amount of the imaging data D2 increases. Therefore, the image recognition accuracy based on the image pickup data D2 is improved, and step S7 can be performed more accurately.

以上のように、本実施形態のロボットシステム１では、カメラ３は、所定領域内の波長の光を透過する波長フィルター４を有し、光照射部７が照射する光Ｌの波長は、前記所定領域内の波長を含む。つまり、カメラ３は、光Ｌを透過する波長フィルター４を有する。これにより、例えば、環境光等の光Ｌ以外の光を効果的に除去することができる。そのため、カメラ３で光Ｌの輪郭をより鮮明に認識することができ、撮像データＤ２の特徴量が増加する。したがって、撮像データＤ２に基づく画像認識精度が向上し、ステップＳ７をより精度よく行うことができる。 As described above, in the robot system 1 of the present embodiment, the camera 3 has a wavelength filter 4 that transmits light having a wavelength within a predetermined region, and the wavelength of the light L emitted by the light irradiation unit 7 is the predetermined wavelength. Includes wavelengths within the region. That is, the camera 3 has a wavelength filter 4 that transmits light L. Thereby, for example, light other than light L such as ambient light can be effectively removed. Therefore, the contour of the light L can be recognized more clearly by the camera 3, and the feature amount of the imaging data D2 increases. Therefore, the image recognition accuracy based on the image pickup data D2 is improved, and step S7 can be performed more accurately.

以上、本発明のロボットシステムおよびロボットシステムの制御方法について、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物が付加されていてもよい。また、各実施形態を適宜組み合わせてもよい。 The robot system of the present invention and the control method of the robot system have been described above based on the illustrated embodiment, but the present invention is not limited to this, and the configuration of each part is arbitrary having the same function. It can be replaced with the one of the configuration. Further, any other constituents may be added to the present invention. In addition, each embodiment may be combined as appropriate.

１…ロボットシステム、２…ロボット、２０…ベース、２００…アーム、２１…第１アーム、２２…第２アーム、２３…第３アーム、２４…第４アーム、２５…第５アーム、２６…第６アーム、２７…ハンド、３…カメラ、４…波長フィルター、７…光照射部、７１…プロジェクター、８…制御装置、８１…ロボット制御部、８２…対象物認識部、８３…光照射部制御部、９…ホストコンピューター、１００…対象物、１１０…基板、１１１、１１１ｇ、１１１ｒ、１１１ｙ…対象、１１１Ａ…作業対象、１２０…ワーク、Ｄ１、Ｄ２…撮像データ、Ｌ、Ｌ’、Ｌ”、Ｌｂ、Ｌｇ、Ｌｒ、Ｌｙ…光、Ｓ１〜Ｓ１２…ステップ 1 ... Robot system, 2 ... Robot, 20 ... Base, 200 ... Arm, 21 ... 1st arm, 22 ... 2nd arm, 23 ... 3rd arm, 24 ... 4th arm, 25 ... 5th arm, 26 ... 6 arm, 27 ... hand, 3 ... camera, 4 ... wavelength filter, 7 ... light irradiation unit, 71 ... projector, 8 ... control device, 81 ... robot control unit, 82 ... object recognition unit, 83 ... light irradiation unit control Department, 9 ... Host computer, 100 ... Object, 110 ... Board, 111, 111g, 111r, 111y ... Target, 111A ... Work target, 120 ... Work, D1, D2 ... Imaging data, L, L', L ", Lb, Lg, Lr, Ly ... light, S1 to S12 ... steps

Claims

A robot with an arm and
A light irradiation unit that irradiates light that distinguishes a plurality of objects from a work object and a non-work object.
A camera that is placed on the arm and captures the work object when the light is irradiated.
A robot system comprising a control device that distinguishes the work object from the plurality of objects based on the image data of the camera and controls the operation of the arm.

The robot system according to claim 1, wherein the light irradiation unit irradiates the work object with the light and does not irradiate the light to anything other than the work object.

The robot system according to claim 1, wherein the light irradiation unit does not irradiate the work target with the light, but irradiates the light to other than the work target.

The robot system according to claim 1, wherein the light irradiation unit irradiates the light having different illuminance between the work target and the non-work target.

The robot system according to claim 1, wherein the light irradiation unit irradiates the light of a different color between the work target and the non-work target.

The robot system according to any one of claims 1 to 5, wherein the light irradiation unit irradiates the light from the back side when viewed from the camera.

The camera has a wavelength filter that transmits light of a wavelength within a predetermined region.
The robot system according to any one of claims 1 to 6, wherein the wavelength of the light emitted by the light irradiation unit includes a wavelength within the predetermined region.

The robot system according to any one of claims 1 to 7, wherein the light irradiation unit is a projector.

A step of irradiating a light irradiation unit with light that distinguishes a plurality of objects into a work object and a non-work object.
A step of imaging the work object when the light is irradiated by a camera arranged on an arm provided by the robot, and
A method for controlling a robot system, which comprises a step of distinguishing the work target from the plurality of targets based on image data of the camera and controlling the operation of the arm.

Before the step of irradiating the light from the light irradiation unit,
The step of imaging at least one object by the camera,
The control method for a robot system according to claim 9, further comprising a step of selecting the work target from at least one target included in the image data of the camera.