JP2016147330A - Control apparatus based on object recognition - Google Patents

Control apparatus based on object recognition Download PDF

Info

Publication number
JP2016147330A
JP2016147330A JP2015024481A JP2015024481A JP2016147330A JP 2016147330 A JP2016147330 A JP 2016147330A JP 2015024481 A JP2015024481 A JP 2015024481A JP 2015024481 A JP2015024481 A JP 2015024481A JP 2016147330 A JP2016147330 A JP 2016147330A
Authority
JP
Japan
Prior art keywords
robot
recognition
unit
workpiece
object recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015024481A
Other languages
Japanese (ja)
Inventor
徐　剛
Xu Gang
剛 徐
朋弘 仲道
Tomohiro Nakamichi
朋弘 仲道
涼太郎 高見
Ryotaro Takami
涼太郎 高見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyoto Robotics Corp
Original Assignee
3D Media Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3D Media Co Ltd filed Critical 3D Media Co Ltd
Priority to JP2015024481A priority Critical patent/JP2016147330A/en
Publication of JP2016147330A publication Critical patent/JP2016147330A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a control apparatus based on object recognition capable of shortening the communication time to the start of respective operations by obtaining the position attitude of a recognition object and directly controlling the operations of a robot performing work on the recognition object and each part provided in a production system.SOLUTION: A control apparatus based on object recognition comprises: an image acquisition unit 5 which acquires an image by imaging a workpiece W from a prescribed direction in a production system having a robot 2 performing work on the workpiece W; and a control unit 6 which has an object recognition unit 81 of obtaining the position attitude of the workpiece W using the image acquired by the image acquisition unit 5 and operation control means 10 of controlling the operation of the robot 2 on the basis of the result of the position attitude of the workpiece W obtained by the object recognition unit 81 and controlling the operation of each part provided in the production system.SELECTED DRAWING: Figure 1

Description

本発明は、認識対象物の位置姿勢を求め、認識対象物に対して作業を行うロボット等の動作を制御する物体認識に基づく制御装置に関する。   The present invention relates to a control device based on object recognition that determines the position and orientation of a recognition target object and controls the operation of a robot or the like that performs work on the recognition target object.

生産ラインにおいて、ロボットのハンド等により部品等に対して正確な操作を可能とするために、バラ積みにされた部品等を個々に認識し、各部品の位置及び姿勢を認識するための３次元物体認識装置が近年開発されている。   3D for recognizing individual parts in a production line and recognizing the position and orientation of each part individually to enable accurate operations on parts, etc. using robot hands Object recognition devices have been developed in recent years.

従来、このような３次元物体認識装置では、例えば、３次元形状を有する認識対象物を所定方向からカメラで撮影した画像から認識対象物のエッジすなわち輪郭等の特徴を抽出し、撮影画像を構成する各画素について最も近いエッジまでの距離をそれぞれ計算し、認識対象物の輪郭形状を表わす３次元モデルを撮影画像上に射影して照合することにより認識対象物の位置姿勢を認識するもの等がある（例えば、特許文献１参照）。そして、生産ライン等においては、このように３次元物体認識装置によって得られた認識対象物の位置姿勢の情報に基づいて、ロボットコントローラ等によって認識対象物に対して正確な作業を行うようにロボットの動作が制御される。   Conventionally, in such a three-dimensional object recognition device, for example, a feature such as an edge of a recognition object, that is, a contour, is extracted from an image obtained by photographing a recognition object having a three-dimensional shape with a camera from a predetermined direction, thereby forming a photographed image. For example, the distance to the nearest edge is calculated for each pixel to be recognized, and a three-dimensional model representing the outline shape of the recognition target object is projected onto the captured image and collated to recognize the position and orientation of the recognition target object, etc. Yes (for example, see Patent Document 1). In a production line or the like, the robot performs an accurate operation on the recognition target object by the robot controller or the like based on the position / orientation information of the recognition target object obtained by the three-dimensional object recognition device. Is controlled.

特開２０１０−２０５０９５号公報JP 2010-205095 A

しかしながら、従来の３次元物体認識装置では、このような認識対象物の位置姿勢を求める処理は行われるが、認識対象物に対して作業を行うためのロボットの制御や生産システム内に設けられる認識対象物を搬送するためのコンベア等のマニピュレータやセンサ等の制御は、３次元物体認識装置とは別に設けられるロボットコントローラやＰＬＣ等によって行われていた。そのため、３次元物体認識装置によって認識対象物の位置姿勢の情報が得られてから、３次元物体認識装置とは別に設けられるロボットコントローラやＰＬＣ等によってロボットや他のマニピュレータに制御信号が送られるため、通信時間がその分余計に掛かってしまうという問題がある。   However, in the conventional three-dimensional object recognition apparatus, such processing for obtaining the position and orientation of the recognition target object is performed, but the robot control for performing the operation on the recognition target object and the recognition provided in the production system are performed. Control of a manipulator such as a conveyor for conveying an object, a sensor, and the like has been performed by a robot controller, a PLC, or the like provided separately from the three-dimensional object recognition device. Therefore, since information on the position and orientation of the recognition target object is obtained by the three-dimensional object recognition device, a control signal is sent to the robot and other manipulators by a robot controller, PLC, etc. provided separately from the three-dimensional object recognition device. There is a problem that the communication time is excessive.

本発明は、上記のような課題に鑑みてなされたものであって、認識対象物の位置姿勢を求め、且つ、認識対象物に対して作業を行うロボット及び生産システム内に設けられる各部の動作を直接制御することにより、それぞれの動作が開始されるまでの通信時間を短縮することができる物体認識に基づく制御装置を提供することを目的とする。   The present invention has been made in view of the problems as described above, and obtains the position and orientation of the recognition target object, and operates each part provided in the production system and the robot that performs the work on the recognition target object. It is an object of the present invention to provide a control device based on object recognition that can shorten the communication time until each operation is started by directly controlling.

上記目的を達成するために、本発明に係る物体認識に基づく制御装置は、認識対象物に対して作業を行うロボットを有する生産システム内で前記認識対象物を所定方向から撮影して画像を取得する画像取得部と、前記画像取得部が取得した前記画像を用いて前記認識対象物の位置姿勢を求める物体認識部と、前記物体認識部によって求められる前記認識対象物の位置姿勢の結果に基づいて前記ロボットの動作を制御し、且つ、前記生産システム内に設けられる各部の動作を制御する動作制御手段とを有する制御部と、を備えることを特徴としている。   In order to achieve the above object, a control device based on object recognition according to the present invention acquires an image by photographing the recognition object from a predetermined direction in a production system having a robot that operates on the recognition object. Based on the result of the position and orientation of the recognition target obtained by the object recognition unit, the object recognition unit for obtaining the position and orientation of the recognition target using the image obtained by the image acquisition unit And a control unit having operation control means for controlling the operation of the robot and controlling the operation of each unit provided in the production system.

また、本発明に係る物体認識に基づく制御装置は、前記各部には、前記認識対象物を搬送及び／又は加工する機構と、前記生産システム内に設けられる各種センサとのいずれか、又は、双方が含まれることを特徴としている。   Further, in the control device based on object recognition according to the present invention, each of the units includes one or both of a mechanism for conveying and / or processing the recognition object and various sensors provided in the production system. Is included.

また、本発明に係る物体認識に基づく制御装置は、前記制御部が、前記認識対象物の位置姿勢を求める物体認識部と、前記ロボットの動作及び前記各部の動作を制御する動作制御手段とが一体化されてなることを特徴としている。   In the control device based on object recognition according to the present invention, the control unit includes an object recognition unit that obtains a position and orientation of the recognition target object, and an operation control unit that controls the operation of the robot and the operation of each unit. It is characterized by being integrated.

本発明に係る物体認識に基づく制御装置によれば、物体認識部によって画像取得部が取得した画像を用いて認識対象物の位置姿勢が求められ、動作制御手段は、物体認識部によって求められた認識対象物の位置姿勢の結果に基づいてロボットの動作を制御し、且つ、生産システム内に設けられる各部の動作を制御するので、それぞれの動作が開始されるまでの通信時間を短縮することができる。   According to the control device based on object recognition according to the present invention, the position and orientation of the recognition target object is obtained using the image acquired by the image acquisition unit by the object recognition unit, and the motion control unit is obtained by the object recognition unit. The robot operation is controlled based on the result of the position and orientation of the recognition object, and the operation of each unit provided in the production system is controlled, so that the communication time until each operation is started can be shortened. it can.

また、本発明に係る物体認識に基づく制御装置によれば、動作制御手段は、認識対象物を搬送及び／又は加工する機構と、前記生産システム内に設けられる各種センサとのいずれか、又は、双方を直接制御するので、効率的に認識対象物に対して作業を行うことができる。   Further, according to the control device based on object recognition according to the present invention, the operation control means is one of a mechanism for conveying and / or processing a recognition object and various sensors provided in the production system, or Since both are directly controlled, the work can be efficiently performed on the recognition object.

また、本発明に係る物体認識に基づく制御装置によれば、制御部は、認識対象物の位置姿勢を求める物体認識部と、ロボットの動作及び生産システム内に設けられる各部の動作を制御する動作制御手段とが一体化されて構成されているので、別途ＰＬＣ等を設ける必要がなく、それぞれの動作が開始されるまでの通信時間をより効率的に短縮することができる。   Further, according to the control device based on object recognition according to the present invention, the control unit controls the operation of the object recognition unit for obtaining the position and orientation of the recognition target object, the operation of the robot, and each unit provided in the production system. Since the control means is integrated with the control means, it is not necessary to provide a separate PLC or the like, and the communication time until each operation is started can be shortened more efficiently.

本発明の実施形態に係る物体認識に基づく制御装置を備える生産システムの一例を示す概略模式図である。It is a schematic diagram showing an example of a production system provided with a control device based on object recognition concerning an embodiment of the present invention. 本発明の実施形態に係る物体認識に基づく制御装置を備える生産システムの一例を示す概略平面図である。It is a schematic plan view which shows an example of a production system provided with the control apparatus based on the object recognition which concerns on embodiment of this invention.

以下に本発明の実施形態に係る物体認識に基づく制御装置１（以下、制御装置１とする）について、図面を参照しつつ説明する。
制御装置１は、例えば、図１に示すように、ロボット２を有する生産システム内に設けられるものであって、コンベア（搬送機構）３によって搬送されてくるトレー４にバラ積みにされているワーク（認識対象物）Ｗの画像を取得するための画像取得部５（５ａ、５ｂ）と、この画像取得部５（５ａ、５ｂ）によって取得した画像データに基づいて、ワークＷの位置及び姿勢を求める物体認識部８１を有する制御部６とを備えている。 A control device 1 based on object recognition (hereinafter referred to as a control device 1) according to an embodiment of the present invention will be described below with reference to the drawings.
For example, as shown in FIG. 1, the control device 1 is provided in a production system having a robot 2, and is a workpiece stacked on a tray 4 conveyed by a conveyor (conveying mechanism) 3. (Recognition object) Based on the image acquisition unit 5 (5a, 5b) for acquiring an image of W and the image data acquired by the image acquisition unit 5 (5a, 5b), the position and orientation of the workpiece W are determined. And a control unit 6 having an object recognition unit 81 to be obtained.

ロボット２は、ワークＷに対して所定の作業を行うためのものであって、図１及び図２に示すように、ワークＷに対して作業を行えるように、ワークＷがバラ積みされているトレー４が搬送されてくるコンベア３の近傍に配置されている。このロボット２は、生産システム内の床や壁等の設置面に固定される土台２１と、土台２１に対して基端が回転可能に連結されているロボットアーム部２２と、ロボットアーム部２２の先端に取り付けられ、ワークＷを把持するためのロボットハンド２３等を備えている。   The robot 2 is for performing a predetermined operation on the workpiece W. As shown in FIGS. 1 and 2, the workpieces W are stacked so that the operation can be performed on the workpiece W. The tray 4 is disposed in the vicinity of the conveyor 3 on which the tray 4 is conveyed. The robot 2 includes a base 21 fixed to an installation surface such as a floor or a wall in the production system, a robot arm unit 22 whose base end is rotatably connected to the base 21, and a distal end of the robot arm unit 22. And a robot hand 23 for gripping the workpiece W.

ロボット２は、詳しくは図示しないが、それぞれの回転軸にサーボモータ及びそれぞれの回転位置を検出するエンコーダ等が設けられており、制御部６からロボットコントローラ１２を介して送られる制御信号に基づいて、それぞれのサーボモータが動作するように構成されている。尚、ワークＷに対して作業を行うロボット２は、これに限定されるものではなく、例えば、ロボットハンド２３として真空ポンプ等の吸引装置を用いてワークＷを吸着して保持するようなものであっても良い。   Although not shown in detail, the robot 2 is provided with a servo motor and an encoder for detecting each rotational position on each rotational axis, and based on a control signal sent from the control unit 6 via the robot controller 12. Each servo motor is configured to operate. The robot 2 that performs work on the workpiece W is not limited to this. For example, the robot 2 is a robot hand 23 that sucks and holds the workpiece W using a suction device such as a vacuum pump. There may be.

コンベア３は、例えば、図１及び図２に示すように、ベルト３１に載置されているトレー４をロボット２が作業可能な位置へと搬送するための搬送機構であって、詳しくは図示しないが、搬送ローラを回転させることによりベルト３１を搬送方向へと動作させるものである。このコンベア３では、制御部６から送られる制御信号に基づいて、搬送ローラの回転速度が調節されることによって、搬送速度が制御される。   For example, as shown in FIGS. 1 and 2, the conveyor 3 is a transport mechanism for transporting the tray 4 placed on the belt 31 to a position where the robot 2 can work, and is not shown in detail. However, the belt 31 is moved in the transport direction by rotating the transport roller. In the conveyor 3, the conveyance speed is controlled by adjusting the rotation speed of the conveyance roller based on a control signal sent from the control unit 6.

また、コンベア３には、ベルト３１が動作することにより搬送路上の所定の位置を通過するワークＷがバラ積みされているトレー４を検出する光電センサ（検出センサ）７が設けられており、トレー４を検出した情報は制御部６へと送られ、ロボットがワークＷに対して作業可能な位置にトレー４が来るようにコンベア３が制御される。尚、トレー４を検出する検出センサは、光電センサ７に限定されるものではなく、例えば、画像センサや力覚センサ等の他のセンサによってトレー４を検出するようにしても良い。また、搬送装置は、本実施形態のようなコンベア３に限定されるものではなく、ワークＷがバラ積みされているトレー４をロボット２が作業可能な位置に搬送することができるものであれば良く、例えば、トレーチェンジャー等であっても良い。   Further, the conveyor 3 is provided with a photoelectric sensor (detection sensor) 7 for detecting the tray 4 on which the workpieces W passing through a predetermined position on the conveyance path by the operation of the belt 31 are stacked. 4 is sent to the control unit 6, and the conveyor 3 is controlled so that the tray 4 comes to a position where the robot can work on the workpiece W. The detection sensor for detecting the tray 4 is not limited to the photoelectric sensor 7, and the tray 4 may be detected by another sensor such as an image sensor or a force sensor, for example. Further, the conveying device is not limited to the conveyor 3 as in the present embodiment, and may be any device that can convey the tray 4 on which the workpieces W are stacked to a position where the robot 2 can work. For example, a tray changer or the like may be used.

画像取得部５は、例えば、図１及び図２に示すように、コンベア３によって搬送されてくるトレー４にバラ積みにされているワークＷを異なる方向から撮像する２台のカメラ５ａ、５ｂであって、このカメラ５ａ、５ｂによって取得した画像データは制御部６へと送られる。尚、画像取得部５は、本実施形態に限定されるものではなく、例えば、レーザのワークＷによる反射を用いてワークＷの表面の点の３次元座標を示す３次元点群を計測するもの等、ワークＷの位置姿勢を求めるために、ワークＷの各種画像やワークＷの表面の点の３次元座標を示す３次元点群を取得できるものであれば良く、従来公知のものを用いることができる。また、カメラの台数は、２台に限定されるものではなく、３台以上設けられていても良い。   For example, as shown in FIGS. 1 and 2, the image acquisition unit 5 includes two cameras 5 a and 5 b that pick up images of the workpieces W stacked on the tray 4 conveyed by the conveyor 3 from different directions. The image data acquired by the cameras 5a and 5b is sent to the control unit 6. The image acquisition unit 5 is not limited to this embodiment, and measures, for example, a three-dimensional point group indicating the three-dimensional coordinates of the points on the surface of the workpiece W using reflection of the laser workpiece W. In order to obtain the position and orientation of the workpiece W, it is only necessary to be able to acquire various images of the workpiece W and a three-dimensional point group indicating the three-dimensional coordinates of the points on the surface of the workpiece W. Can do. The number of cameras is not limited to two, and three or more cameras may be provided.

制御部６は、図１に示すように、カメラ５ａ、５ｂによって取得した画像データを用いてワークＷの位置姿勢を求める物体認識部８１と、物体認識部８１によって求められたワークＷの位置姿勢の結果に基づいてロボット２の動作を制御するためのロボット制御部８２とを有するＦＡコンピュータ８と、ＦＡコンピュータ８に接続され、生産システム内に設けられる各部の動作を制御するＰＬＣ（プログラマブルコントローラ）９とが一体化されて構成されるものである。本実施形態に係る制御装置１では、ロボット２の動作及び生産システム内に設けられる各部の動作を制御する動作制御手段１０は、ロボット制御部８２とＰＬＣ９とによって構成されている。また、ＦＡコンピュータ８とＰＬＣ９とは、例えば、ＬＡＮ１０を介して接続されており、ＥｔｈｅｒＮｅｔ／ＩＰ（登録商標）等の産業用の汎用通信プロトコルを用いて高速な通信が可能に構成されている。これにより、制御部６では、ＰＬＣで一般的に用いられるラダー言語と、ＦＡコンピュータで一般的に用いられるその他の高級言語との双方を使用できる。   As illustrated in FIG. 1, the control unit 6 includes an object recognition unit 81 that obtains the position and orientation of the workpiece W using image data acquired by the cameras 5 a and 5 b, and the position and orientation of the workpiece W that are obtained by the object recognition unit 81. FA computer 8 having a robot control unit 82 for controlling the operation of the robot 2 based on the result of the above, and a PLC (programmable controller) connected to the FA computer 8 and controlling the operation of each unit provided in the production system 9 is integrated. In the control device 1 according to the present embodiment, the operation control means 10 that controls the operation of the robot 2 and the operation of each unit provided in the production system is constituted by the robot control unit 82 and the PLC 9. The FA computer 8 and the PLC 9 are connected via, for example, a LAN 10 and are configured to be capable of high-speed communication using an industrial general-purpose communication protocol such as EtherNet / IP (registered trademark). Thereby, the control unit 6 can use both a ladder language generally used in the PLC and other high-level languages generally used in the FA computer.

ＦＡコンピュータ８は、例えば、カメラ５ａ、５ｂによるワークＷの撮像タイミング等の制御を行ったり、カメラ５ａ、５ｂによって取得した画像データを用いて、物体認識部８１によりワークＷの位置姿勢を求めたり、物体認識部８１によって求めたワークＷの位置姿勢の結果に基づいて、ロボット制御部８２によりロボット２の動作を制御する等、各種の演算処理等を行うものである。   For example, the FA computer 8 controls the imaging timing of the workpiece W by the cameras 5a and 5b, and obtains the position and orientation of the workpiece W by the object recognition unit 81 using the image data acquired by the cameras 5a and 5b. Based on the result of the position and orientation of the workpiece W obtained by the object recognizing unit 81, various arithmetic processes such as controlling the operation of the robot 2 by the robot control unit 82 are performed.

物体認識部８１では、ロボット２がコンベア３によって搬送されてきたトレー４内にバラ積みされているワークＷに対して所定の作業を行うために、カメラ５ａ、５ｂによって取得した画像データを用いてワークＷの位置姿勢が求められる。この物体認識部８１によるワークＷの位置姿勢を求めるための方法として、従来公知の方法を用いることができ、カメラ５ａ、５ｂによって取得した画像データや、３次元点群を用いて、例えば、特開２０１０−２０５０９５号公報、特開２０１１−１２９０８２号公報、特開２０１２−０２６９７４号公報等に開示されている位置姿勢を求める方法等を用いることができる。また、ＦＡコンピュータ８は、所望のロボットプログラムに従って、物体認識部８１によって求められたワークＷの位置姿勢に基づいて、ロボット制御部８２によりロボット２を制御するための制御信号を生成し、ロボットコントローラ１２を介してロボット２へと送信する。   In the object recognition unit 81, the robot 2 uses image data acquired by the cameras 5 a and 5 b in order to perform a predetermined operation on the workpieces W stacked in the tray 4 conveyed by the conveyor 3. The position and orientation of the workpiece W is obtained. As a method for obtaining the position and orientation of the workpiece W by the object recognition unit 81, a conventionally known method can be used. For example, using the image data acquired by the cameras 5a and 5b and a three-dimensional point group, for example, A method for obtaining a position and orientation disclosed in Japanese Unexamined Patent Application Publication No. 2010-205095, Japanese Unexamined Patent Application Publication No. 2011-129082, Japanese Unexamined Patent Application Publication No. 2012-026974, and the like can be used. Further, the FA computer 8 generates a control signal for controlling the robot 2 by the robot control unit 82 based on the position and orientation of the workpiece W obtained by the object recognition unit 81 in accordance with a desired robot program. 12 to the robot 2.

ＰＬＣ９は、生産システム内に設けられる各部の制御を行うためのものであって、図１に示すように、例えば、コンベア３や光電センサ７等に接続されている。ＰＬＣ９では、例えば、ＦＡコンピュータ８から受信した制御信号に応じて、トレー４が搬送路上の所定の位置にいるかを検出して結果を出力するように、光電センサ７に指令を送って制御したり、ロボット２がワークＷに対して作業可能な位置にトレー４が来るように、コンベア３に指令を送って制御する。また、詳しくは図示しないが、このＰＬＣ９が制御する各部は、コンベア３及び光電センサ７に限定されるものではなく、ＰＬＣ９は、生産システムに応じて、その他のコントローラやセンサ、及びワークＷに対して切断や組立等の加工を行うための加工機構等も制御するように構成されていても良い。   The PLC 9 is for controlling each part provided in the production system, and is connected to, for example, the conveyor 3 and the photoelectric sensor 7 as shown in FIG. In the PLC 9, for example, in response to a control signal received from the FA computer 8, an instruction is sent to the photoelectric sensor 7 to control whether the tray 4 is in a predetermined position on the conveyance path and output the result. The robot 2 is controlled by sending a command to the conveyor 3 so that the tray 4 comes to a position where the robot 2 can work on the workpiece W. Although not shown in detail, each part controlled by the PLC 9 is not limited to the conveyor 3 and the photoelectric sensor 7, and the PLC 9 is connected to other controllers, sensors, and workpieces W according to the production system. In addition, a processing mechanism for performing processing such as cutting and assembly may be controlled.

以下、本実施形態における生産システム内での制御装置１の処理の一例について説明する。制御装置１は、例えば、まずＰＬＣ９によって、ロボット２がワークＷに対して作業可能な位置にトレー４が来るように、コンベア３の動作を制御する。この際、ＰＬＣ９は、トレー４が搬送路上の所定の位置にいるかを検出して結果を出力するように、光電センサ７の動作を制御する。そして、ＰＬＣ９は、光電センサ７からトレー４を検出した情報に基づいて、ロボット２がワークＷに対して作業可能な位置にトレー４が来た際に、コンベア３のベルト３１の動作が停止するように制御する。   Hereinafter, an example of processing of the control device 1 in the production system in the present embodiment will be described. For example, the control apparatus 1 first controls the operation of the conveyor 3 by the PLC 9 so that the tray 4 comes to a position where the robot 2 can work on the workpiece W. At this time, the PLC 9 controls the operation of the photoelectric sensor 7 so as to detect whether the tray 4 is at a predetermined position on the conveyance path and output the result. Then, the PLC 9 stops the operation of the belt 31 of the conveyor 3 when the tray 4 comes to a position where the robot 2 can work with respect to the workpiece W based on the information detected from the photoelectric sensor 7. To control.

その後、２台のカメラ５ａ、５ｂによってトレー４にバラ積みにされているワークＷを異なる方向から撮像し、このカメラ５ａ、５ｂによって取得した画像データがＦＡコンピュータ８へと送られ、物体認識部８１によってワークＷの位置姿勢が求められる。そして、ＦＡコンピュータ８では、所望のロボットプログラムに従って、物体認識部８１によって求められたワークＷの位置姿勢に基づいて、ロボット制御部８２によりロボット２を制御するための制御信号を生成し、ロボットコントローラ１２を介してロボット２へと送信し、ロボット２の動作を制御することにより、ロボット２にワークＷに対して所定の作業を行わせる。   Thereafter, the workpieces W stacked on the tray 4 by the two cameras 5a and 5b are imaged from different directions, and the image data acquired by the cameras 5a and 5b is sent to the FA computer 8, and the object recognition unit 81, the position and orientation of the workpiece W are obtained. Then, the FA computer 8 generates a control signal for controlling the robot 2 by the robot control unit 82 based on the position and orientation of the workpiece W obtained by the object recognition unit 81 in accordance with a desired robot program. 12 to the robot 2 and control the operation of the robot 2 to cause the robot 2 to perform a predetermined work on the workpiece W.

そして、トレー４にバラ積みされている全てのワークＷに対してロボット２による作業が完了すると、再度、ＰＬＣ９によってコンベア３を動作させ、ロボット２がワークＷに対して作業可能な位置に次のトレー４が来るように制御する。このように本実施形態に係る制御装置１では、生産システム内に設けられる各部の動作を直接制御することができるので、それぞれの動作が開始されるまでの通信時間を短縮することができる。   When the work by the robot 2 is completed for all the workpieces W stacked on the tray 4, the conveyor 3 is operated again by the PLC 9, and the robot 2 moves to the next position where the robot 2 can work on the workpiece W. Control the tray 4 to come. As described above, since the control device 1 according to the present embodiment can directly control the operation of each unit provided in the production system, the communication time until each operation is started can be shortened.

尚、本実施形態では、制御部６として、ＦＡコンピュータ８と、ＰＬＣ９とをＬＡＮ１０で接続することにより一体化させている例を示しているが、制御部６は、これに限定されるものではなく、例えば、ＦＡコンピュータ８の基板とＰＬＣ９の基板とを並べて処理できるように構成しても良い。また、制御部６としてリアルタイムＯＳが搭載されているＦＡコンピュータを用いるようにしても良い。このように制御部６を構成することにより、本実施形態と同様に生産システム内に設けられる各部の動作を直接制御することができる。   In the present embodiment, an example is shown in which the FA computer 8 and the PLC 9 are integrated by connecting them via the LAN 10 as the control unit 6, but the control unit 6 is not limited to this. For example, the board of the FA computer 8 and the board of the PLC 9 may be arranged side by side for processing. Further, an FA computer equipped with a real-time OS may be used as the control unit 6. By configuring the control unit 6 in this way, it is possible to directly control the operation of each unit provided in the production system as in the present embodiment.

尚、本発明の実施の形態は上述の形態に限るものではなく、本発明の思想の範囲を逸脱しない範囲で適宜変更することができる。   The embodiment of the present invention is not limited to the above-described embodiment, and can be appropriately changed without departing from the scope of the idea of the present invention.

本発明に係る物体認識に基づく制御装置は、生産システムにおけるワークの位置及び姿勢を認識して、ワークに対して作業を行うロボット等の動作を制御するための技術として有効に利用することができる。   The control device based on object recognition according to the present invention can be effectively used as a technique for recognizing the position and posture of a workpiece in a production system and controlling the operation of a robot or the like that performs work on the workpiece. .

１ 物体認識に基づく制御装置
２ ロボット
３ コンベア（搬送機構）
５ 画像取得部（カメラ）
６ 制御部
７ 光電センサ
８ ＦＡコンピュータ
８１ 物体認識部
９ ＰＬＣ（プログラマブルコントローラ）
１０ 動作制御手段 1 Control device based on object recognition 2 Robot 3 Conveyor (conveyance mechanism)
5 Image acquisition unit (camera)
6 Control Unit 7 Photoelectric Sensor 8 FA Computer 81 Object Recognition Unit 9 PLC (Programmable Controller)
10 Operation control means

Claims (3)

認識対象物に対して作業を行うロボットを有する生産システム内で前記認識対象物を所定方向から撮影して画像を取得する画像取得部と、
前記画像取得部が取得した前記画像を用いて前記認識対象物の位置姿勢を求める物体認識部と、前記物体認識部によって求められる前記認識対象物の位置姿勢の結果に基づいて前記ロボットの動作を制御し、且つ、前記生産システム内に設けられる各部の動作を制御する動作制御手段とを有する制御部と、を備えることを特徴とする物体認識に基づく制御装置。 An image acquisition unit that captures an image by capturing the recognition object from a predetermined direction in a production system having a robot that operates on the recognition object;
An object recognition unit that obtains the position and orientation of the recognition target object using the image acquired by the image acquisition unit; and the operation of the robot based on the result of the position and orientation of the recognition target object obtained by the object recognition unit. And a control unit having an operation control unit that controls and controls the operation of each unit provided in the production system. 前記各部には、前記認識対象物を搬送及び／又は加工する機構と、前記生産システム内に設けられる各種センサとのいずれか、又は、双方が含まれることを特徴とする請求項１に記載の物体認識に基づく制御装置。   The said each part contains either the both of the mechanism which conveys and / or processes the said recognition target object, and the various sensors provided in the said production system, Both are characterized by the above-mentioned. Control device based on object recognition. 前記制御部は、前記認識対象物の位置姿勢を求める物体認識部と、前記ロボットの動作及び前記各部の動作を制御する動作制御手段とが一体化されてなることを特徴とする請求項１又は２に記載の物体認識に基づく制御装置。   2. The control unit according to claim 1, wherein an object recognition unit for obtaining a position and orientation of the recognition target object and an operation control unit for controlling the operation of the robot and the operation of each unit are integrated. 3. A control device based on object recognition according to 2.
JP2015024481A 2015-02-10 2015-02-10 Control apparatus based on object recognition Pending JP2016147330A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015024481A JP2016147330A (en) 2015-02-10 2015-02-10 Control apparatus based on object recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015024481A JP2016147330A (en) 2015-02-10 2015-02-10 Control apparatus based on object recognition

Publications (1)

Publication Number Publication Date
JP2016147330A true JP2016147330A (en) 2016-08-18

Family

ID=56690989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015024481A Pending JP2016147330A (en) 2015-02-10 2015-02-10 Control apparatus based on object recognition

Country Status (1)

Country Link
JP (1) JP2016147330A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019025618A (en) * 2017-08-01 2019-02-21 オムロン株式会社 Robot control apparatus, robot control method, and robot control program
DE112017007392T5 (en) 2017-04-04 2019-12-12 Mujin, Inc. Control device, gripping system, distribution system, program, control process and manufacturing process
DE112017007394T5 (en) 2017-04-04 2019-12-12 Mujin, Inc. Information processing apparatus, gripping system, distribution system, program and information processing method
DE112017007397T5 (en) 2017-04-04 2019-12-12 Mujin, Inc. Control device, gripping system, distribution system, program, control method and manufacturing method
DE112017007398T5 (en) 2017-04-04 2020-01-02 Mujin, Inc. Control device, gripping system, distribution system, program and control method
DE112017007399T5 (en) 2017-04-04 2020-01-02 Mujin, Inc. Control device, gripping system, distribution system, program, control process and manufacturing process
WO2020049765A1 (en) * 2018-09-07 2020-03-12 オムロン株式会社 Mobile manipulator, mobile robot, server, and mobile manipulator system
WO2020079886A1 (en) 2018-10-15 2020-04-23 Mujin, Inc. Control apparatus, work robot, program, and control method
WO2020079885A1 (en) 2018-10-15 2020-04-23 Mujin, Inc. Shape information generation apparatus, control apparatus, loading/unloading apparatus, logistics system, program, and control method
JP2020091773A (en) * 2018-12-07 2020-06-11 アズビル株式会社 Stability determination device and stability determination method
JP2020199605A (en) * 2019-06-11 2020-12-17 ファナック株式会社 Robot system

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112017007392B4 (en) 2017-04-04 2021-11-04 Mujin, Inc. Control device, gripping system, distribution system, program, control method and manufacturing method
DE112017007398B4 (en) 2017-04-04 2021-11-18 Mujin, Inc. Control device, gripping system, distribution system, program and control method
DE112017007394T5 (en) 2017-04-04 2019-12-12 Mujin, Inc. Information processing apparatus, gripping system, distribution system, program and information processing method
DE112017007397T5 (en) 2017-04-04 2019-12-12 Mujin, Inc. Control device, gripping system, distribution system, program, control method and manufacturing method
US11007643B2 (en) 2017-04-04 2021-05-18 Mujin, Inc. Control device, picking system, distribution system, program, control method and production method
DE112017007399T5 (en) 2017-04-04 2020-01-02 Mujin, Inc. Control device, gripping system, distribution system, program, control process and manufacturing process
US11679503B2 (en) 2017-04-04 2023-06-20 Mujin, Inc. Control device, picking system, distribution system, program, control method and production method
US11007649B2 (en) 2017-04-04 2021-05-18 Mujin, Inc. Information processing apparatus, picking system, distribution system, program and information processing method
DE112017007392T5 (en) 2017-04-04 2019-12-12 Mujin, Inc. Control device, gripping system, distribution system, program, control process and manufacturing process
US11027427B2 (en) 2017-04-04 2021-06-08 Mujin, Inc. Control device, picking system, distribution system, program, and control method
DE112017007397B4 (en) 2017-04-04 2021-09-30 Mujin, Inc. Control device, gripping system, distribution system, program, control method and manufacturing method
DE112017007399B4 (en) 2017-04-04 2021-09-23 Mujin, Inc. Control device, gripping system, distribution system, program, control method and manufacturing method
DE112017007394B4 (en) * 2017-04-04 2020-12-03 Mujin, Inc. Information processing device, gripping system, distribution system, program and information processing method
US11097421B2 (en) 2017-04-04 2021-08-24 Mujin, Inc. Control device, picking system, distribution system, program, control method and production method
US11090808B2 (en) 2017-04-04 2021-08-17 Mujin, Inc. Control device, picking system, distribution system, program, control method and production method
DE112017007398T5 (en) 2017-04-04 2020-01-02 Mujin, Inc. Control device, gripping system, distribution system, program and control method
JP2019025618A (en) * 2017-08-01 2019-02-21 オムロン株式会社 Robot control apparatus, robot control method, and robot control program
JP7116901B2 (en) 2017-08-01 2022-08-12 オムロン株式会社 ROBOT CONTROL DEVICE, ROBOT CONTROL METHOD AND ROBOT CONTROL PROGRAM
JP2020040147A (en) * 2018-09-07 2020-03-19 オムロン株式会社 Mobile manipulator, mobile robot, server and mobile manipulator system
WO2020049765A1 (en) * 2018-09-07 2020-03-12 オムロン株式会社 Mobile manipulator, mobile robot, server, and mobile manipulator system
JP7059872B2 (en) 2018-09-07 2022-04-26 オムロン株式会社 Mobile manipulators, mobile robots, servers, and mobile manipulator systems
DE112019001256B3 (en) 2018-10-15 2022-08-18 Mujin, Inc. Control device, working robot, program and control method
DE112019000097B4 (en) * 2018-10-15 2020-12-17 Mujin, Inc. Control device, working robot, program and control method
US11839977B2 (en) 2018-10-15 2023-12-12 Mujin, Inc. Control apparatus, work robot, non-transitory computer-readable medium, and control method
WO2020079886A1 (en) 2018-10-15 2020-04-23 Mujin, Inc. Control apparatus, work robot, program, and control method
US11045948B2 (en) 2018-10-15 2021-06-29 Mujin, Inc. Control apparatus, work robot, non-transitory computer-readable medium, and control method
US10970866B2 (en) 2018-10-15 2021-04-06 Mujin, Inc. Shape information generation apparatus, control apparatus, loading/unloading apparatus, logistics system, non-transitory computer-readable medium, and control method
WO2020079885A1 (en) 2018-10-15 2020-04-23 Mujin, Inc. Shape information generation apparatus, control apparatus, loading/unloading apparatus, logistics system, program, and control method
US11836939B2 (en) 2018-10-15 2023-12-05 Mujin, Inc. Shape information generation apparatus, control apparatus, loading/unloading apparatus, logistics system, non-transitory computer-readable medium, and control method
JP2020064335A (en) * 2018-10-15 2020-04-23 株式会社Ｍｕｊｉｎ Shape information generation device, control device, unloading device, distribution system, program, and control method
JP2020091773A (en) * 2018-12-07 2020-06-11 アズビル株式会社 Stability determination device and stability determination method
JP7178889B2 (en) 2018-12-07 2022-11-28 アズビル株式会社 STABILITY DETERMINATION DEVICE AND STABILITY DETERMINATION METHOD
JP2020199605A (en) * 2019-06-11 2020-12-17 ファナック株式会社 Robot system
JP7328017B2 (en) 2019-06-11 2023-08-16 ファナック株式会社 Robot system and controller

Similar Documents

Publication Publication Date Title
JP2016147330A (en) Control apparatus based on object recognition
US10232512B2 (en) Coordinate system setting method, coordinate system setting apparatus, and robot system provided with coordinate system setting apparatus
JP4174342B2 (en) Work transfer device
JP5561260B2 (en) Robot system and imaging method
JP6579498B2 (en) Automation device and position detection device
JP5201411B2 (en) Bulk picking device and control method thereof
JP5582126B2 (en) Work take-out system, robot apparatus, and workpiece manufacturing method
CN108372503B (en) Article transport device using at least one sensor
KR20130085438A (en) Image processing apparatus and image processing system
CN109249390B (en) Robot system
JP2013078825A (en) Robot apparatus, robot system, and method for manufacturing workpiece
JP2016016915A (en) Article alignment device for aligning articles on conveyer
JP6748126B2 (en) Work robot system
US10780600B2 (en) Method for cutting gate formed on molded article
JP2008087074A (en) Workpiece picking apparatus
JP6549655B2 (en) Article transport device
JP2009291895A (en) Handling apparatus, control device, and control method
JP6703018B2 (en) Work robot system
JP2006224291A (en) Robot system
JP2003311670A (en) Positioning control method of robot arm and robot equipment
JP2008023590A (en) Core setting apparatus and core setting method
JP6697510B2 (en) Robot system
WO2021053750A1 (en) Work robot and work system
JP5198161B2 (en) Handling apparatus and work handling method
US20230224450A1 (en) Imaging device for acquiring three-dimensional information of workpiece surface and two-dimensional image of workpiece