JP2019188587A - Robot control device and system - Google Patents

Robot control device and system Download PDF

Info

Publication number
JP2019188587A
JP2019188587A JP2019011349A JP2019011349A JP2019188587A JP 2019188587 A JP2019188587 A JP 2019188587A JP 2019011349 A JP2019011349 A JP 2019011349A JP 2019011349 A JP2019011349 A JP 2019011349A JP 2019188587 A JP2019188587 A JP 2019188587A
Authority
JP
Japan
Prior art keywords
robot
gripping
article
control device
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019011349A
Other languages
Japanese (ja)
Other versions
JP6836606B2 (en
Inventor
竜裕 山崎
Tatsuhiro Yamazaki
竜裕 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to US16/372,922 priority Critical patent/US11584016B2/en
Priority to CN201910295319.4A priority patent/CN110394797A/en
Priority to DE102019109880.7A priority patent/DE102019109880B4/en
Publication of JP2019188587A publication Critical patent/JP2019188587A/en
Application granted granted Critical
Publication of JP6836606B2 publication Critical patent/JP6836606B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

To provide a robot control device capable of properly changing gripping intervals or gripping force of a plurality of gripping sections to be robot fingers or the like according to a state of an article so as to properly grip a soft article by a robot hand.SOLUTION: A robot control device controls a robot hand 30 for gripping an article A by a plurality of gripping sections 31 through a hand control device 40. The robot control device includes: size information acquisition means which obtains size information on the article A on the basis of images obtained by a visual sensor 50 to detect the article A; and gripping adjustment means which changes gripping intervals to be intervals of the plurality of gripping sections 31 in a gripping state according to the size information and gripping force by the plurality of gripping sections 31 in a gripping state.SELECTED DRAWING: Figure 1

Description

本発明はロボット制御装置およびシステムに関する。   The present invention relates to a robot control apparatus and system.

従来、金属光沢を有するボルト等の物品を先端部に設けられたロボットハンドによって取出すロボットが知られている(例えば、特許文献1参照。)。このように、従来は、容易に形状が変化しない物品の取出作業にロボットハンドが用いられ、これにより作業効率の向上が図られていた。   Conventionally, a robot that takes out an article such as a bolt having metallic luster by a robot hand provided at a tip portion is known (for example, see Patent Document 1). Thus, conventionally, a robot hand has been used for taking out an article whose shape does not easily change, thereby improving work efficiency.

特開2015−182184号公報JP2015-182184A

近年、ロボットハンドによって食品等の容易に形状が変化する物品の取出作業の実現が検討されている。例えば、シュークリーム、パン、ケーキ等の食品のロボットハンドによる取出しが試みられている。このような物品を把持するためにシリコン製又はゴム製のロボット指が用いられる場合もあるが、このような指もシュークリーム、パン、ケーキ等に比べるとかなり硬い場合が多い。このため、把持状態におけるロボット指の間隔である把持間隔又は把持力が適切でないと、物品に変形、破損等が簡単に生ずる。   In recent years, realization of an operation for taking out an article whose shape easily changes with a robot hand has been studied. For example, foods such as cream puffs, breads and cakes are being taken out by robot hands. Silicon fingers or rubber robot fingers may be used to hold such articles, but such fingers are often much harder than cream puffs, breads, cakes, and the like. For this reason, if the gripping distance or gripping force, which is the distance between the robot fingers in the gripping state, is not appropriate, the article is easily deformed or damaged.

解決案の一つとして、把持間隔を適切に設定することが考えられる。しかし、シュークリーム、パン、ケーキ等の物品は形状が一定でない場合が多い。このため、その日の製造を開始する際に把持間隔の設定が適切であっても、製造を行っている間に物品の硬さ、形状等の状態が僅かに変化し、当該変化によって把持間隔が適切ではなくなる場合が多くある。   One possible solution is to set the gripping interval appropriately. However, articles such as cream puffs, breads and cakes are often not uniform in shape. For this reason, even if the setting of the gripping interval is appropriate when starting the production of the day, the state of the article such as hardness and shape slightly changes during the manufacturing, and the gripping interval is changed by the change. Often not appropriate.

また、前述のようにロボット指によって出来るだけ優しく物品を把持する必要がある。しかし、このような物品はその硬さに比べて重量が大きい場合も多い。このため、物品を適切に把持できる把持間隔又は把持力の範囲は狭い。このような課題を解決するために、各ロボット指の先端部に触覚センサを設けることも考えられる。しかし、ロボットハンドの構造および制御が複雑になり、コスト上昇にも繋がる。さらに、扱う物品に含まれる成分によるセンサの故障の懸念がある。また、制御が複雑になることによって作業効率が低下すると、ロボットハンドを用いるメリットが少なくなる又は無くなる。   Further, as described above, it is necessary to grip the article as gently as possible with the robot finger. However, such articles often have a large weight compared to their hardness. For this reason, the range of the holding | grip space | interval or holding | grip force which can hold | grip an article | item appropriately is narrow. In order to solve such a problem, it is conceivable to provide a tactile sensor at the tip of each robot finger. However, the structure and control of the robot hand become complicated, leading to an increase in cost. Furthermore, there is a concern of sensor failure due to components contained in the handled article. Further, when the work efficiency is lowered due to complicated control, the merit of using the robot hand is reduced or eliminated.

前述の事情に鑑み、ロボットハンドによって軟らかい物品を適切に把持するために、ロボット指等である複数の把持部の把持間隔又は把持力を物品の状態に応じて適宜変更することができるロボット制御装置およびシステムの提供が望まれている。   In view of the circumstances described above, a robot control apparatus capable of appropriately changing the gripping interval or gripping force of a plurality of gripping parts such as robot fingers in order to appropriately grip a soft article by a robot hand. And the provision of a system is desired.

本開示の第1態様のロボット制御装置は、複数の把持部によって物品を把持するロボットハンドを制御するロボット制御装置であって、前記物品を検出するための視覚センサによって得られた画像に基づき前記物品のサイズ情報を得るサイズ情報取得手段と、前記サイズ情報に応じて、把持状態における前記複数の把持部の間隔である把持間隔又は前記把持状態における前記複数の把持部による把持力を変化させる把持調整手段と、を備える。
このように、サイズ情報に応じて把持間隔又は把持力が変化するので、形状が一定ではない軟らかい物品が、複数の把持部によって適切に把持されるようになる。
A robot control apparatus according to a first aspect of the present disclosure is a robot control apparatus that controls a robot hand that grips an article with a plurality of gripping units, and is based on an image obtained by a visual sensor for detecting the article. Size information acquisition means for obtaining size information of an article, and gripping that changes a gripping interval that is an interval between the plurality of gripping units in a gripping state or a gripping force by the plurality of gripping units in the gripping state, according to the size information Adjusting means.
As described above, since the gripping interval or the gripping force changes according to the size information, a soft article having a non-constant shape is appropriately gripped by the plurality of gripping units.

上記態様において、好ましくは、前記サイズ情報が、前記画像中において前記物品として検出された領域の面積値である。
ここで、物品がシュークリーム、パン、ケーキ等の食品である場合、物品の形状、硬さ等は一定ではない。また、中にクリーム等の粘性が高い液体が封入されている物品は特に、その外周面の一部を凹ませると外周面の他の部分が膨らむ傾向を有する場合が多い。この場合、外周面の一部を凹ませた場合の平面視における物品の面積の変化が比較的小さいとも言える。
当該態様では、画像中において物品として検出された領域の面積値に応じて把持間隔又は把持力が変化し、これは形状が一定ではない物品を適切に把持するために有利である。
In the above aspect, preferably, the size information is an area value of a region detected as the article in the image.
Here, when the article is a food such as cream puff, bread, cake, etc., the shape, hardness, etc. of the article are not constant. In addition, in particular, an article in which a highly viscous liquid such as cream is encapsulated has a tendency to swell the other part of the outer peripheral surface when a part of the outer peripheral surface is recessed. In this case, it can be said that the change in the area of the article in a plan view when a part of the outer peripheral surface is recessed is relatively small.
In this aspect, the gripping interval or gripping force changes according to the area value of the region detected as an article in the image, which is advantageous for appropriately gripping an article whose shape is not constant.

上記態様において、好ましくは、前記サイズ情報が、前記画像中において前記物品として検出された領域の寸法データである。
寸法データは、画像中の物品の最大直径、平均直径等である。この場合でも、形状が一定ではない物品を適切に把持することが可能である。
In the above aspect, preferably, the size information is dimension data of a region detected as the article in the image.
The dimension data is the maximum diameter, the average diameter, etc. of the article in the image. Even in this case, it is possible to appropriately hold an article whose shape is not constant.

上記態様において、前記寸法データが、前記画像中において前記物品として検出された領域の周長データであることが好ましい。
寸法データが画像中の物品の最大直径、平均直径等である場合、寸法を測定する方向によってばらつきが生ずる可能性があるが、寸法データとして周長データを用いると、上記のばらつきの発生可能性を低減することができる。
In the above aspect, it is preferable that the dimension data is circumference data of a region detected as the article in the image.
If the dimension data is the maximum diameter, average diameter, etc. of the article in the image, there may be variations depending on the direction in which the dimensions are measured. However, if the circumference data is used as the dimension data, the above-mentioned variation may occur. Can be reduced.

上記態様において、好ましくは、前記ロボットハンドが、前記把持間隔又は前記把持力を複数のレベルに変化させるハンド制御装置を有するものであり、前記サイズ情報の値と前記複数のレベルとを対応付けるテーブル又は式が格納された記憶部を備え、前記把持調整手段が、前記テーブル又は前記式を用いて、前記複数のレベルのうち前記サイズ情報に応じたレベルに設定するための制御信号を前記ハンド制御装置に送信する。   In the above aspect, preferably, the robot hand has a hand control device that changes the gripping interval or the gripping force to a plurality of levels, and a table that associates the value of the size information with the plurality of levels or A storage unit that stores an expression, and the grip adjustment means uses the table or the expression to generate a control signal for setting a level corresponding to the size information among the plurality of levels. Send to.

複数の把持部の把持間隔又は把持力を複数のレベルに変化させるロボットハンドは、その制御が容易であり、構造の簡素化も容易である。このため、このようなロボットハンドが取出対象の物品の製造会社で用いられる場合が多い。
上記態様では、把持間隔又は把持力とサイズ情報の値とを対応づけるテーブル又は式を用いて、サイズ情報に応じたレベルに設定するための制御信号がハンド制御装置に送信される。このため、ロボット制御装置側の制御も簡素化することができ、把持間隔又は把持力の調整の手間も低減することができる。
The robot hand that changes the gripping intervals or gripping forces of the plurality of gripping portions to a plurality of levels is easy to control and simplifies the structure. For this reason, such a robot hand is often used by a manufacturer of an article to be taken out.
In the above aspect, a control signal for setting a level corresponding to the size information is transmitted to the hand control device using a table or expression that associates the gripping interval or gripping force with the value of the size information. For this reason, the control on the robot control apparatus side can be simplified, and the labor for adjusting the gripping interval or gripping force can be reduced.

上記態様において、好ましくは、前記把持調整手段が、単一又は複数の前記画像中の複数の前記物品の各々のサイズ情報の分布に基づき、前記複数のレベルに各々対応する前記サイズ情報の値を変える。
このように、把持調整手段が、画像中の物品の前記サイズ情報の分布に基づき、把持間隔又は把持力の各レベルに対応するサイズ情報の値を変えることは、物品の取出しミスの低減、物品に生ずる破損、変形、および接触痕の低減等のために有利である。
In the above aspect, preferably, the grip adjustment means sets the value of the size information corresponding to each of the plurality of levels based on the distribution of the size information of each of the plurality of articles in the single or the plurality of images. Change.
As described above, the grip adjusting means changes the value of the size information corresponding to each level of the grip interval or the grip force based on the distribution of the size information of the article in the image. This is advantageous for reducing damage, deformation, contact marks, and the like.

本開示の第2態様は、複数の把持部によって物品を把持するロボットハンドを制御するロボット制御装置であって、前記物品のサイズ情報を得るサイズ情報取得手段と、前記サイズ情報に応じて、把持状態における前記複数の把持部の間隔である把持間隔又は前記把持状態における前記複数の把持部による把持力を変化させる把持調整手段と、前記サイズ情報と、前記ロボットハンドによって前記物品を把持した時の把持状態の情報とに基づき、前記把持状態を改善するための学習を行う学習部と、を備える。   A second aspect of the present disclosure is a robot control device that controls a robot hand that grips an article with a plurality of gripping units, and includes a size information acquisition unit that obtains size information of the article, and grips according to the size information. Gripping adjustment means for changing a gripping interval that is an interval between the plurality of gripping parts in the state or a gripping force by the plurality of gripping parts in the gripping state, the size information, and when the article is gripped by the robot hand A learning unit that performs learning for improving the gripping state based on the gripping state information.

本開示の第3態様は、管理システムであって、物品を把持するロボットハンドを制御するロボット制御装置と、前記ロボット制御装置と通信可能な上位制御システムと、を備え、前記ロボット制御装置は、前記物品のサイズ情報と、前記ロボットハンドによって前記物品を把持した時の把持状態の情報とに基づき、前記把持状態を改善するための学習を行う学習部と、前記学習の結果を前記上位制御システムに出力する出力部と、を有し、前記上位制御システムは、前記ロボット制御装置から受信する前記学習の結果を蓄積する。   A third aspect of the present disclosure is a management system including a robot control device that controls a robot hand that grips an article, and a host control system that can communicate with the robot control device, and the robot control device includes: A learning unit that performs learning for improving the gripping state based on the size information of the article and information on a gripping state when the article is gripped by the robot hand, and the learning control result that indicates the learning result. And the upper control system accumulates the learning results received from the robot control device.

上記態様では、ロボットハンドによって軟らかい物品を適切に把持するために、ロボット指等である複数の把持部の把持間隔又は把持力を物品の状態に応じて適宜変更することができる。   In the above aspect, in order to appropriately hold a soft article by the robot hand, the holding intervals or holding forces of a plurality of holding portions such as robot fingers can be appropriately changed according to the state of the article.

一実施形態のロボットシステムの全体構成図である。1 is an overall configuration diagram of a robot system according to an embodiment. 本実施形態のロボットシステムに用いるロボットハンドの正面図である。It is a front view of the robot hand used for the robot system of this embodiment. 本実施形態のロボットハンドの動作説明図である。It is operation | movement explanatory drawing of the robot hand of this embodiment. 本実施形態のロボット制御装置のブロック図である。It is a block diagram of the robot control apparatus of this embodiment. 本実施形態のロボット制御装置の制御部の作動を示すフローチャートである。It is a flowchart which shows the action | operation of the control part of the robot control apparatus of this embodiment. 本実施形態のロボット制御装置の制御部の処理を示すフローチャートである。It is a flowchart which shows the process of the control part of the robot control apparatus of this embodiment. 本実施形態のロボット制御装置の記憶部に格納されているテーブルの例である。It is an example of the table stored in the memory | storage part of the robot control apparatus of this embodiment. 本実施形態のロボット制御装置の記憶部に格納されているテーブルの例である。It is an example of the table stored in the memory | storage part of the robot control apparatus of this embodiment. 本実施形態のロボット制御装置の記憶部に格納されているテーブルの例である。It is an example of the table stored in the memory | storage part of the robot control apparatus of this embodiment. 本実施形態のロボット制御装置を有する管理システムのブロック図である。It is a block diagram of the management system which has the robot control apparatus of this embodiment. 本実施形態のロボット制御装置を有する管理システムのブロック図である。It is a block diagram of the management system which has the robot control apparatus of this embodiment. 本実施形態のロボット制御装置を有するシステムのブロック図である。It is a block diagram of the system which has the robot control apparatus of this embodiment. 本実施形態のロボット制御装置を有するシステムのブロック図である。It is a block diagram of the system which has the robot control apparatus of this embodiment. 本実施形態のロボット制御装置を有するシステムのブロック図である。It is a block diagram of the system which has the robot control apparatus of this embodiment.

一実施形態に係るロボット制御装置20およびロボットシステムについて、図面を用いながら以下説明する。
本実施形態のロボットシステムは、図1に示されるように、コンベヤ等の搬送装置2によって搬送される物品Aが、ロボット10に取付けられたロボットハンド30によって、搬送装置2上から取出される。本実施形態では、物品Aはシュークリーム、パン、ケーキ等の形状が一定でない軟らかいものである。
A robot controller 20 and a robot system according to an embodiment will be described below with reference to the drawings.
In the robot system according to the present embodiment, as shown in FIG. 1, an article A transported by a transport apparatus 2 such as a conveyor is taken out from the transport apparatus 2 by a robot hand 30 attached to the robot 10. In the present embodiment, the article A is a soft product having a non-constant shape such as cream puff, bread, cake or the like.

本実施形態ではロボット10はパラレルリンクロボットであり、ロボット10は、本体部11と、本体部11の下方に配置された可動プレート12と、本体部11と可動プレート12とを連結する3つのリンク部13と、可動プレート12に取付けられた手首部14とを有する。なお、ロボット10は垂直多関節ロボット、水平多関節ロボット(スカラロボット)等であってもよい。   In the present embodiment, the robot 10 is a parallel link robot, and the robot 10 includes a main body 11, a movable plate 12 disposed below the main body 11, and three links that connect the main body 11 and the movable plate 12. And a wrist portion 14 attached to the movable plate 12. The robot 10 may be a vertical articulated robot, a horizontal articulated robot (scalar robot), or the like.

本体部11は、図1に示されるように、略水平方向に延びるベース部材11aと、ベース部材11aの下面に固定された3つの駆動部11bとを有する。各駆動部11b内には、減速機付きのサーボモータ15(図4)が収容され、各駆動部11bの出力軸にリンク部13の駆動リンク13aの一端部が固定されている。また、複数のリンク部13のうち1つには手首部14の手首フランジ14aを鉛直軸線周りに回転させるサーボモータ16(図1、図4)が取付けられている。   As shown in FIG. 1, the main body 11 includes a base member 11a extending in a substantially horizontal direction and three driving portions 11b fixed to the lower surface of the base member 11a. Each drive unit 11b accommodates a servo motor 15 (FIG. 4) with a speed reducer, and one end of the drive link 13a of the link unit 13 is fixed to the output shaft of each drive unit 11b. A servo motor 16 (FIGS. 1 and 4) for rotating the wrist flange 14a of the wrist portion 14 around the vertical axis is attached to one of the plurality of link portions 13.

図1に示されるように、各リンク部13は、駆動リンク13aと、駆動リンク13aの他端に一端が連結された従動リンク13bとを有する。駆動リンク13aの他端と従動リンク13bの一端とは球面ベアリングを用いて連結されている。また、各従動リンク13bの他端は球面ベアリングを用いて可動プレート12に連結されている。   As shown in FIG. 1, each link portion 13 includes a drive link 13a and a driven link 13b having one end connected to the other end of the drive link 13a. The other end of the drive link 13a and one end of the driven link 13b are connected using a spherical bearing. The other end of each driven link 13b is connected to the movable plate 12 using a spherical bearing.

本体部11のベース部材11aは例えば図示しないフレームによって支持され、これによりロボット10が搬送装置2の上方に配置されている。
ロボットハンド30は手首フランジ14aに支持されている。つまり、ロボットハンド30は手首フランジ14aと共に前記鉛直軸線周りに回転する。なお、手首部14がロボットハンド30の一部分であってもよい。
The base member 11 a of the main body 11 is supported by a frame (not shown), for example, and the robot 10 is disposed above the transport device 2.
The robot hand 30 is supported by the wrist flange 14a. That is, the robot hand 30 rotates around the vertical axis together with the wrist flange 14a. The wrist portion 14 may be a part of the robot hand 30.

図1、図2等に示されるように、ロボットハンド30は複数の把持部31を有しており、各把持部31はゴム状弾性を有する材料から形成されている。ゴム状弾性を有する材料として、ゴム、シリコン等を用いることができる。本実施形態では各把持部31は内部空間31aを有するロボット指であり、各内部空間31aに供給されるエアの圧力に応じて各把持部31が屈曲する(図3)。ロボットハンド30として、例えば、Soft Robotics社製のM4FC、M5FC等を用いることができる。   As shown in FIGS. 1 and 2, the robot hand 30 has a plurality of gripping portions 31, and each gripping portion 31 is made of a material having rubber-like elasticity. Rubber, silicon, or the like can be used as the material having rubber-like elasticity. In this embodiment, each grip part 31 is a robot finger having an internal space 31a, and each grip part 31 bends according to the pressure of air supplied to each internal space 31a (FIG. 3). As the robot hand 30, for example, M4FC, M5FC, etc. manufactured by Soft Robotics can be used.

図1に示されるように、ロボットハンド30の各把持部31はエア供給管32を経由してハンド制御装置40に接続されており、ハンド制御装置40は図示しないエア供給源に接続されている。ハンド制御装置40は圧力調整弁を有し、ロボットハンド30の各把持部31に供給されるエア圧は、圧力調整弁によって複数レベルに調整される。本実施形態では、一例として、ハンド制御装置40は各把持部31に供給するエア圧をレベル1からレベル5の5段階に調整することができる。なお、エア圧のレベルの数は5段階に限定されない。   As shown in FIG. 1, each grip portion 31 of the robot hand 30 is connected to a hand control device 40 via an air supply pipe 32, and the hand control device 40 is connected to an air supply source (not shown). . The hand control device 40 has a pressure adjusting valve, and the air pressure supplied to each gripping portion 31 of the robot hand 30 is adjusted to a plurality of levels by the pressure adjusting valve. In the present embodiment, as an example, the hand control device 40 can adjust the air pressure supplied to each gripping portion 31 in five levels from level 1 to level 5. The number of air pressure levels is not limited to five.

ハンド制御装置40によって複数の把持部31にエアが供給されると、図3に示されるように、複数の把持部31の先端部が互いに近付き、複数の把持部31が物品Aを把持するための把持状態となる。ハンド制御装置40によって複数の把持部31の内部空間31aが大気圧又は負圧になると、複数の把持部31が物品Aを離すための非把持状態となる。なお、図3では、各把持部31に適切な圧力よりも高いエア圧が加えられることによって、物品Aに望ましくない変形が生じている。   When air is supplied to the plurality of gripping portions 31 by the hand control device 40, as shown in FIG. 3, the tips of the plurality of gripping portions 31 approach each other, and the plurality of gripping portions 31 grip the article A. The gripping state is established. When the internal spaces 31a of the plurality of gripping portions 31 are at atmospheric pressure or negative pressure by the hand control device 40, the plurality of gripping portions 31 are in a non-gripping state for releasing the article A. In FIG. 3, an undesirable deformation occurs in the article A by applying an air pressure higher than an appropriate pressure to each grip portion 31.

ハンド制御装置40から複数の把持部31に供給するエア圧をレベル1にした時よりも、ハンド制御装置40から複数の把持部31に供給するエア圧をレベル5にした時の方が、複数の把持部31の先端部の互いの距離が近くなり、複数の把持部31による物品Aの把持力が大きくなる。レベル2〜4のエア圧は、レベル1とレベル5の間で複数の把持部31の先端部の互いの距離を段階的に変えるものである。つまり、レベル1〜5のエア圧は、複数の把持部31の先端部の互いの間隔である把持間隔を複数のレベルに変化させ、複数の把持部31による把持力も複数のレベルに変化させる。   When the air pressure supplied from the hand control device 40 to the plurality of gripping portions 31 is set to level 1, the air pressure supplied from the hand control device 40 to the plurality of gripping portions 31 is set to multiple levels. The distance between the tips of the gripping portions 31 becomes closer, and the gripping force of the article A by the plurality of gripping portions 31 increases. The air pressures at levels 2 to 4 change the distance between the tip portions of the plurality of gripping portions 31 stepwise between level 1 and level 5. That is, the air pressures of levels 1 to 5 change the gripping interval, which is the distance between the tip portions of the plurality of gripping portions 31, to a plurality of levels, and also change the gripping force by the plurality of gripping portions 31 to a plurality of levels.

搬送装置2の上方には視覚センサ50が設けられている。視覚センサ50は搬送装置2上の物品Aの画像を得られるものであればよく、視覚センサ50として二次元カメラ、三次元カメラ、三次元センサ等が用いられる。視覚センサ50によって撮像された画像はロボット制御装置20に逐次送信される。   A visual sensor 50 is provided above the transport device 2. The visual sensor 50 only needs to be able to obtain an image of the article A on the transport device 2, and a 2D camera, a 3D camera, a 3D sensor, or the like is used as the visual sensor 50. Images captured by the visual sensor 50 are sequentially transmitted to the robot controller 20.

ロボット制御装置20は、図4に示されるように、プロセッサ等を有する制御部21と、表示装置22と、不揮発性ストレージ、ROM、RAM等を有する記憶部23と、キーボード、タッチパネル、操作盤等である入力装置24と、信号の送受信を行うための送受信部25と、各サーボモータ15にそれぞれ接続されたサーボ制御器26と、サーボモータ16に接続されたサーボ制御器27とを備えている。入力装置24および送受信部25は入力部として機能する。   As shown in FIG. 4, the robot control device 20 includes a control unit 21 having a processor and the like, a display device 22, a storage unit 23 having nonvolatile storage, ROM, RAM, and the like, a keyboard, a touch panel, an operation panel, and the like. , An input / output unit 24, a transmission / reception unit 25 for transmitting / receiving signals, a servo controller 26 connected to each servo motor 15, and a servo controller 27 connected to the servo motor 16. . The input device 24 and the transmission / reception unit 25 function as an input unit.

記憶部23にはシステムプログラム23aが格納されており、システムプログラム23aはロボット制御装置20の基本機能を担っている。また、記憶部23には取出プログラム23b、サイズ情報取得プログラム(サイズ情報取得手段)23c、および把持調整プログラム(把持調整手段)23dが格納されている。制御部21は、取出プログラム23b、サイズ情報取得プログラム23c、および把持調整プログラム23dに基づき、各サーボモータ15,16を制御し、ロボットハンド30による把持を調整するための制御信号をハンド制御装置40に送信する。   A system program 23 a is stored in the storage unit 23, and the system program 23 a has a basic function of the robot control device 20. The storage unit 23 stores an extraction program 23b, a size information acquisition program (size information acquisition means) 23c, and a grip adjustment program (grip adjustment means) 23d. The control unit 21 controls the servo motors 15 and 16 based on the take-out program 23b, the size information acquisition program 23c, and the grip adjustment program 23d, and sends a control signal for adjusting grip by the robot hand 30 to the hand control device 40. Send to.

以下、ロボット10がロボットハンド30によって搬送装置2上の物品Aの取出作業を行う際の制御部21の処理を、図5および図6のフローチャートを参照しながら説明する。なお、下記制御は、搬送装置2によって物品Aが搬送されている状態で行われる。   Hereinafter, the processing of the control unit 21 when the robot 10 performs the operation of taking out the article A on the transfer device 2 by the robot hand 30 will be described with reference to the flowcharts of FIGS. 5 and 6. The following control is performed in a state where the article A is being transported by the transport device 2.

制御部21は、入力装置24又は送受信部25から開始信号を受付けると(ステップS1−1)、視覚センサ50から送信される画像に周知の画像処理を行いながら、当該画像中の物品Aを取出すための取出処理を行う(ステップS1−2)。   When the control unit 21 receives a start signal from the input device 24 or the transmission / reception unit 25 (step S1-1), the control unit 21 takes out the article A in the image while performing known image processing on the image transmitted from the visual sensor 50. Is taken out (step S1-2).

ステップS1−2の取出処理の一例が図6に説明されている。図6の例では、先ず、制御部21は、取出プログラム23bに基づき、周知の画像処理が行われた画像において物品Aの位置検出を開始する(ステップS2−1)。また、制御部21は、取出プログラム23bに基づき、複数の画像中の同一の物品Aの位置に基づき搬送装置2の移動速度を算出し、算出した移動速度に基づく物品Aの位置追跡(トラッキング)を開始する(ステップS2−2)。   An example of the extraction process in step S1-2 is illustrated in FIG. In the example of FIG. 6, first, the control unit 21 starts position detection of the article A in an image on which known image processing has been performed based on the extraction program 23b (step S2-1). Further, the control unit 21 calculates the moving speed of the conveying device 2 based on the position of the same article A in the plurality of images based on the take-out program 23b, and tracks the position of the article A based on the calculated moving speed (tracking). Is started (step S2-2).

そして、制御部21は、サイズ情報取得プログラム23cに基づき、位置の追跡が行われている物品Aの面積情報(サイズ情報)を画像処理が行われた画像を用いて得る(ステップS2−3)。追跡されている物品Aが複数存在する場合は、制御部21は複数の物品Aのそれぞれの面積情報を得る。一例では、前記画像処理は二値化処理であり、物品Aの面積情報は二値化処理によって抽出される領域の面積値(サイズ情報)である。   Then, based on the size information acquisition program 23c, the control unit 21 obtains area information (size information) of the article A whose position is being tracked using the image that has been subjected to image processing (step S2-3). . When there are a plurality of tracked articles A, the control unit 21 obtains area information of each of the plurality of articles A. In one example, the image processing is binarization processing, and the area information of the article A is an area value (size information) of a region extracted by the binarization processing.

続いて、制御部21は、把持調整プログラム23dに基づき、複数の把持部31に供給するエア圧をレベル1からレベル5の何れかすべきかを決定する(ステップS2−4)。   Subsequently, based on the grip adjustment program 23d, the control unit 21 determines whether the air pressure supplied to the plurality of grip units 31 is from level 1 to level 5 (step S2-4).

ステップS2−4では、例えば、記憶部23に格納されている図7に示されるようなテーブル23eを用いて、制御部21が物品Aの面積値に対応するエア圧のレベルを決定する。テーブル23eでは、複数の面積範囲が設定されており、複数の面積範囲にそれぞれレベル1からレベル5のエア圧が対応している。制御部21は、記憶部23に格納されているテーブル23eを用いて、追跡している各物品Aの面積値に対応するエア圧のレベルを決定する。なお、テーブル23eにおいて、25〜27の意味は25以上27未満である。   In step S2-4, for example, the control unit 21 determines the air pressure level corresponding to the area value of the article A using the table 23e as shown in FIG. In the table 23e, a plurality of area ranges are set, and air pressures of level 1 to level 5 correspond to the plurality of area ranges, respectively. The control unit 21 uses the table 23e stored in the storage unit 23 to determine the air pressure level corresponding to the area value of each article A being tracked. In the table 23e, the meanings of 25 to 27 are 25 or more and less than 27.

ここで、シュークリーム等である物品Aはロボットハンド30の把持部31に比べて軟らかい。把持部31は柔軟性を有する材料から形成されているが、物品Aに比べるとかなり硬い。このため、ステップS2−4で決定されるエア圧は、複数の把持部31によって物品Aに破損、変形、接触痕等を生じさせないエア圧であることが望ましい。つまり、図3のように物品Aを大きく変形させるエア圧は適切ではない。一方、シュークリーム等の物品Aはその硬さに比べて重量が大きい。このため、複数の把持部31によって物品Aを破壊せずに持ち上げるために、テーブル23eの各面積範囲が狭いことが好ましい。   Here, the article A such as cream puff is softer than the grip portion 31 of the robot hand 30. The grip portion 31 is formed of a flexible material, but is considerably harder than the article A. For this reason, it is desirable that the air pressure determined in step S2-4 is an air pressure that does not cause damage, deformation, contact marks, or the like on the article A by the plurality of gripping portions 31. That is, the air pressure that greatly deforms the article A as shown in FIG. 3 is not appropriate. On the other hand, the article A such as cream puff has a larger weight than its hardness. For this reason, it is preferable that each area range of the table 23e is narrow in order to lift the article A without breaking it by the plurality of gripping portions 31.

続いて、制御部21は、取出プログラム23bに基づき、追跡している物品Aを取出すための制御信号を各サーボ制御器26,27に送信する(ステップS2−5)。また、制御部21は、把持調整プログラム23dに基づき、当該物品Aに関して決定されたレベルのエア圧を各把持部31に供給するための制御信号をハンド制御装置40に送信する(ステップS2−6)。これにより、当該物品Aが搬送装置2から取出される。   Subsequently, the control unit 21 transmits a control signal for taking out the article A being tracked to each of the servo controllers 26 and 27 based on the take-out program 23b (step S2-5). Further, the control unit 21 transmits a control signal for supplying air pressure of a level determined for the article A to each gripping unit 31 based on the gripping adjustment program 23d to the hand control device 40 (step S2-6). ). Thereby, the said article | item A is taken out from the conveying apparatus 2. FIG.

制御部21は、取出プログラム23bに基づき、把持している物品Aを搬送先であるコンベヤ3上に載置するための制御信号を各サーボ制御器26,27に送信する(ステップS2−7)。そして、制御部21は、入力装置24又は送受信部25から終了信号を受付けるまで(ステップS2−8)、ステップS2−3〜S2−7を繰り返す。   Based on the take-out program 23b, the control unit 21 transmits a control signal for placing the gripped article A on the conveyor 3 that is the transport destination to the servo controllers 26 and 27 (step S2-7). . And the control part 21 repeats step S2-3-S2-7 until it receives an end signal from the input device 24 or the transmission / reception part 25 (step S2-8).

なお、テーブル23eの代わりに、物品Aの面積値からエア圧のレベルを決定する式が記憶部23に格納されていてもよい。この場合、ステップS2−4において、制御部21は、記憶部23に格納されている式を用いて、エア圧レベル1〜5の中において追跡している各物品Aの面積値に対応するエア圧のレベルを決定する。
なお、エア圧レベル1〜5の中において追跡している各物品Aの面積値に対応するエア圧のレベルを他の周知の手段、方法等を用いて決定することも可能である。
Instead of the table 23e, an expression for determining the air pressure level from the area value of the article A may be stored in the storage unit 23. In this case, in step S2-4, the control unit 21 uses the formula stored in the storage unit 23 to perform air corresponding to the area value of each article A being tracked in the air pressure levels 1 to 5. Determine the pressure level.
Note that the air pressure level corresponding to the area value of each article A being tracked in the air pressure levels 1 to 5 can be determined using other well-known means and methods.

このように、本実施形態では、物品Aを検出するための視覚センサ50によって得られた画像に基づき、物品Aのサイズ情報として物品Aの面積値を得る。そして、制御部21は、面積値に応じて、把持状態における複数の把持部31の間隔である把持間隔又は把持状態における複数の把持部31による把持力を変化させる。
このように、制御部21がサイズ情報に応じて把持間隔又は把持力を変化させるので、形状が一定ではない軟らかい物品Aが、複数の把持部31によって適切に把持されるようになる。
Thus, in this embodiment, the area value of the article A is obtained as the size information of the article A based on the image obtained by the visual sensor 50 for detecting the article A. And the control part 21 changes the gripping force by the some holding | grip part 31 in the holding | grip space | interval which is the space | interval of the some holding | grip part 31 in a holding state, or a holding state according to an area value.
As described above, since the control unit 21 changes the gripping interval or gripping force according to the size information, the soft article A whose shape is not constant is properly gripped by the plurality of gripping units 31.

ここで、シュークリーム、パン、ケーキ等の食品である物品Aの形状、硬さ等は一定ではない。また、中にクリーム等の粘性が高い液体が封入されている物品Aは特に、その外周面の一部を凹ませると外周面の他の部分が膨らむ傾向を有する場合が多い。この場合、外周面の一部を凹ませた場合の平面視における物品Aの面積の変化が比較的小さいとも言える。
本実施形態では、制御部21は、画像中において物品Aとして検出された領域の面積値に応じて把持間隔又は把持力を変化させており、これは形状が一定ではない物品Aを適切に把持するために有利である。
Here, the shape, hardness, etc. of the article A, which is a food such as cream puff, bread, cake, etc., are not constant. Further, in particular, the article A in which a highly viscous liquid such as cream is enclosed has a tendency that other parts of the outer peripheral surface swell when a part of the outer peripheral surface is recessed. In this case, it can be said that the change in the area of the article A in a plan view when a part of the outer peripheral surface is recessed is relatively small.
In the present embodiment, the control unit 21 changes the gripping interval or gripping force in accordance with the area value of the region detected as the article A in the image, which appropriately grips the article A whose shape is not constant. It is advantageous to

なお、制御部21は、画像中において物品Aとして検出された領域の寸法データに応じて把持間隔又は把持力を変化させることも可能である。寸法データは、画像中の物品Aの最大直径、平均直径等である。この場合でも、形状が一定ではない物品Aを適切に把持することが可能であるが、寸法を測定する方向によってばらつきが生ずる可能性もある。これに対し、面積値を用いる場合、上記のばらつきの発生可能性を低減することができる。なお、寸法データとして周長データを用いると、上記のばらつきの発生可能性を低減することができる。   Note that the control unit 21 can also change the gripping interval or gripping force according to the dimension data of the area detected as the article A in the image. The dimension data is the maximum diameter, the average diameter, etc. of the article A in the image. Even in this case, it is possible to appropriately grasp the article A whose shape is not constant, but there may be variations depending on the direction in which the dimensions are measured. On the other hand, when the area value is used, the possibility of the above variation can be reduced. In addition, if circumference data is used as dimension data, the possibility of occurrence of the above-described variation can be reduced.

本実施形態では、ロボットハンド30が、把持間隔又は把持力を複数のレベル1〜5に変化させるハンド制御装置40を有するものであり、サイズ情報である面積値と前記複数のレベル1〜5とを対応付けるテーブル23e又は式が格納された記憶部23を備え、制御部21が、テーブル23e又は式を用いて、前記複数のレベル1〜5のうち追跡している物品Aの面積値に応じたレベルに設定するための制御信号をハンド制御装置40に送信する。   In the present embodiment, the robot hand 30 includes a hand control device 40 that changes the gripping interval or gripping force to a plurality of levels 1 to 5, and the area value that is size information and the plurality of levels 1 to 5 Is stored in the storage unit 23 storing the table 23e or the formula, and the control unit 21 uses the table 23e or the formula in accordance with the area value of the article A being tracked among the plurality of levels 1 to 5. A control signal for setting the level is transmitted to the hand control device 40.

複数の把持部31の把持間隔又は把持力を複数のレベルに変化させるロボットハンド30は、その制御が容易であり、構造の簡素化も容易である。このため、このようなロボットハンド30が取出対象の物品Aの製造会社で用いられる場合が多い。
本実施形態では、把持間隔又は把持力と面積値とを対応づけるテーブル23e又は式を用いて、面積値に応じたレベルに設定するための制御信号がハンド制御装置40に送信される。このため、ロボット制御装置20側の制御も簡素化することができ、把持間隔又は把持力の調整の手間も低減可能である。
The robot hand 30 that changes the gripping interval or gripping force of the plurality of gripping portions 31 to a plurality of levels is easy to control and simplifies the structure. For this reason, such a robot hand 30 is often used in a manufacturer of the article A to be taken out.
In the present embodiment, a control signal for setting the level according to the area value is transmitted to the hand control device 40 using the table 23e or the expression that associates the gripping interval or gripping force with the area value. For this reason, the control on the robot control device 20 side can be simplified, and the labor for adjusting the gripping interval or gripping force can be reduced.

前述のように、例えばシュークリーム、パン、ケーキ等である物品Aの形状、硬さ等は一定ではなく、その形状、硬さ等は日々変化する。このため、把持間隔又は把持力が日々調整されることが好ましい。
このために、記憶部23に複数種類のテーブルが保存されていてもよい。例えば、図8に示されるように、レベル1〜5に各々対応する面積値の範囲が図7のテーブル23eに対して異なるテーブル23fがさらに保存されていてもよい。図8のテーブル23fは、例えば物品Aが通常よりも硬い時に用いられるものである。
As described above, the shape, hardness, and the like of the article A such as cream puff, bread, cake, and the like are not constant, and the shape, hardness, and the like vary from day to day. For this reason, it is preferable that a holding | grip space | interval or a holding force is adjusted every day.
For this purpose, a plurality of types of tables may be stored in the storage unit 23. For example, as illustrated in FIG. 8, a table 23 f in which the range of area values corresponding to levels 1 to 5 respectively differs from the table 23 e in FIG. 7 may be further stored. The table 23f in FIG. 8 is used, for example, when the article A is harder than usual.

物品Aの形状のばらつき幅が小さい日は、ハンド制御装置40の圧力調整弁の複数レベルの保持圧を互いに近付けると共に、記憶部23に保存されている図9のテーブル23gを用いてもよい。当該調整は、物品Aのばらつき幅が小さい時に行われる。
複数のテーブル23e,23f,23gの代わりに、レベル1〜5に対応する面積値が互いに異なる複数の式が記憶部23に格納されていてもよい。
On the day when the variation width of the shape of the article A is small, the holding pressures of the plurality of levels of the pressure regulating valve of the hand control device 40 may be brought close to each other, and the table 23g of FIG. The adjustment is performed when the variation width of the article A is small.
Instead of the plurality of tables 23e, 23f, and 23g, a plurality of expressions having different area values corresponding to levels 1 to 5 may be stored in the storage unit 23.

さらに、制御部21が、単一又は複数の画像に基づき求められる複数の物品Aの面積値の分布に基づいて、テーブル23e,23fのうち一方を選択して用いてもよく、同様に、記憶部23に格納されている複数の式のうち一つを選択して用いてもよい。
このように、制御部21が、画像中の物品Aの面積値の分布に基づき、各レベル1〜5に対応する面積値を変えることは、物品Aの取出しミスの低減、物品Aに生ずる破損、変形、および接触痕の低減等のために有利である。
Furthermore, the control unit 21 may select and use one of the tables 23e and 23f based on the distribution of the area values of the plurality of articles A obtained based on a single image or a plurality of images. One of a plurality of expressions stored in the unit 23 may be selected and used.
As described above, when the control unit 21 changes the area value corresponding to each level 1 to 5 based on the distribution of the area value of the article A in the image, the removal error of the article A is reduced, and the article A is damaged. This is advantageous for deformation, reduction of contact marks, and the like.

なお、搬送装置2におけるロボット10の作業エリア又はその下流側を撮像する観察撮像装置をさらに設けることも可能である。この場合、ロボット10により取出すことができなかった物品Aが撮像装置によって検出される。このような物品Aが閾値よりも多い場合に、制御部21は、各レベル1〜5の把持間隔又は把持力に対応する面積値の範囲を変える。例えば、ステップS2−4において用いる基準をテーブル23fからテーブル23eに変更する。当該構成を用いると、調整作業の手間が低減され、物品Aの生産効率が向上する。   It is also possible to further provide an observation imaging device for imaging the work area of the robot 10 in the transport device 2 or the downstream side thereof. In this case, the article A that could not be taken out by the robot 10 is detected by the imaging device. When the number of such articles A is larger than the threshold value, the control unit 21 changes the range of area values corresponding to the gripping intervals or gripping forces of the levels 1 to 5. For example, the reference used in step S2-4 is changed from the table 23f to the table 23e. If the said structure is used, the effort of adjustment work will be reduced and the production efficiency of the article | item A will improve.

また、物品Aがエクレア等の長手軸を有するものである場合でも、前述のように面積値に応じた把持間隔又は把持力の調整が可能であり、前述と同様の効果が得られる。なお、長手軸を有する物品Aの場合は、制御部21は、ステップS2−1において、物品Aの位置および姿勢(長手軸が向いている方向)を検出する。制御部21が、ステップS2−1において、さらに物品Aの重心位置を検出してもよい。   Even when the article A has a longitudinal axis such as eclair, the gripping interval or gripping force can be adjusted according to the area value as described above, and the same effect as described above can be obtained. In the case of the article A having the longitudinal axis, the control unit 21 detects the position and posture (the direction in which the longitudinal axis is directed) of the article A in step S2-1. The control unit 21 may further detect the center of gravity position of the article A in step S2-1.

なお、ロボットハンド30の把持部31が金属製又は硬質プラスチック製の周知のロボット指であってもよい。この場合、物品Aのサイズ情報としての物品Aの面積値に応じて、制御部21は複数のロボット指の先端部の間隔である把持間隔又は複数のロボット指による把持力を変化させる。この場合でも前述と同様の作用効果が達成され得る。   Note that the grip portion 31 of the robot hand 30 may be a known robot finger made of metal or hard plastic. In this case, according to the area value of the article A as the size information of the article A, the control unit 21 changes the gripping interval that is the interval between the tip portions of the plurality of robot fingers or the gripping force by the plurality of robot fingers. Even in this case, the same effect as described above can be achieved.

また、ロボットハンド30が球形であってもよい。この場合、ロボットハンド30は、その内部に封入されるエア圧に応じて、球の複数個所が互いに近付いて物品Aを把持し、球の複数個所の各々が把持部として機能する。   Further, the robot hand 30 may be spherical. In this case, according to the air pressure sealed in the robot hand 30, the plurality of spheres approach each other to grip the article A, and each of the plurality of spheres functions as a gripper.

前記実施形態において、ロボット制御装置20が学習機能を持っていてもよい。例えば、記憶部23に学習プログラム(学習部)23hが格納されており、制御部21が学習プログラム23hに基づき学習を行ってもよい。   In the embodiment, the robot control device 20 may have a learning function. For example, a learning program (learning unit) 23h may be stored in the storage unit 23, and the control unit 21 may perform learning based on the learning program 23h.

例えば、学習は前述のステップS2−1〜S2−7のように物品Aの取出処理が行われる時に行われる。制御部21は、学習用情報を用いて、面積値とエア圧のレベルとを対応させるテーブル又は式を作成し、作成されたテーブル又は式を記憶部23に格納する。このようなテーブル又は式の作成は、把持状態を改善するための学習の成果である。   For example, learning is performed when the takeout process of the article A is performed as in steps S2-1 to S2-7 described above. Using the learning information, the control unit 21 creates a table or formula that associates the area value with the air pressure level, and stores the created table or formula in the storage unit 23. The creation of such a table or expression is a result of learning for improving the gripping state.

学習用情報の例は、取出処理に用いられているサイズ情報とエア圧のレベルとを対応させたテーブル又は式である。学習用情報の他の例は、サイズ情報およびエア圧情報である。サイズ情報には、前述のように物品Aについて検出された面積値、寸法データ、周長データ、重心位置等の情報が含まれる。また、サイズ情報には、他の工程、例えば検査工程における検査装置で得られた各物品Aの面積、寸法、重量等の情報が含まれる。また、サイズ情報には、測定によって得られた各物品Aの面積、寸法、重量等に基づきオペレータが入力装置24に入力する情報も含まれる。他の学習用情報の例は、取出処理に用いられているロボットハンド30および把持部31の仕様である。他の学習用情報の例は、取出処理に用いられているロボット10および搬送装置2の仕様である。他の学習用情報の例は、取出処理の際の搬送装置2の搬送速度である。他の学習用情報の例は、各物品Aの硬さ、平均重量等の物品の品質情報である。他の学習用情報の例は、前記観察撮像装置に基づき得られた把持状態の情報である。把持状態の情報には、把持の成否の情報、各物品Aの変形度合の情報等が含まれる。作成されたテーブル又は式は前記学習用情報と共に記憶部23に格納される。   An example of the learning information is a table or an expression in which the size information used in the extraction process is associated with the air pressure level. Other examples of learning information are size information and air pressure information. The size information includes information such as the area value, dimension data, circumference data, and barycentric position detected for the article A as described above. The size information includes information such as the area, dimensions, and weight of each article A obtained by the inspection apparatus in another process, for example, an inspection process. The size information also includes information that the operator inputs to the input device 24 based on the area, size, weight, and the like of each article A obtained by measurement. Another example of the learning information is the specifications of the robot hand 30 and the gripper 31 used for the extraction process. Another example of the learning information is the specifications of the robot 10 and the transfer device 2 that are used in the extraction process. Another example of the learning information is the transport speed of the transport device 2 during the extraction process. Another example of learning information is quality information of an article such as the hardness and average weight of each article A. Another example of learning information is grip state information obtained based on the observation imaging apparatus. The information on the gripping state includes information on the success or failure of the gripping, information on the degree of deformation of each article A, and the like. The created table or expression is stored in the storage unit 23 together with the learning information.

制御部21は、例えば、取出処理を行った際のサイズ情報とエア圧との関係と、把持状態との対比を行う。制御部21が、取出処理を行った際のサイズ情報とエア圧との関係および物品Aの種類又は物品Aの品質と、把持状態との対比を行ってもよい。   For example, the control unit 21 compares the relationship between the size information and the air pressure when the extraction process is performed, and the gripping state. The control unit 21 may compare the relationship between the size information and the air pressure when the extraction process is performed, the type of the article A or the quality of the article A, and the gripping state.

上記のロボットハンド30および把持部31の仕様、搬送装置2の搬送速度、および物品の品質情報等は、オペレータがロボット制御装置20に入力してもよい。また、取出処理を行っている際にオペレータが把持の成否、各物品Aの変形度合等を観察し、観察結果がロボット制御装置20に入力され、入力された情報が上記学習に用いられてもよい。また、品質検査工程において得られた結果がロボット制御装置20に入力され、入力された情報が上記学習に用いられてもよい。   The operator may input the specifications of the robot hand 30 and the gripper 31, the conveyance speed of the conveyance device 2, the quality information of the article, and the like to the robot control device 20. Further, even when the operator performs the take-out process, the operator observes the success / failure of the gripping, the degree of deformation of each article A, etc., and the observation result is input to the robot controller 20, and the input information is used for the learning. Good. Moreover, the result obtained in the quality inspection process may be input to the robot control device 20, and the input information may be used for the learning.

このようにロボット制御装置20において学習が行われると、ロボットハンド30による物品Aの把持がより適切となる。   When learning is performed in the robot control device 20 in this way, the gripping of the article A by the robot hand 30 becomes more appropriate.

図11に示されるように、複数のロボット制御装置20が上位制御システム100に接続されていてもよい。上位制御システム100は、例えば、複数のロボット制御装置20と有線で接続されたコンピュータ、複数のロボット制御装置20と同じ敷地内に配置されたコンピュータ等である。上位制御システム100はフォグコンピュータと称される時もある。上位制御システム100は、生産管理システム、出荷管理システム、ロボット用管理システム、部門管理システム等であり得る。   As shown in FIG. 11, a plurality of robot control devices 20 may be connected to the host control system 100. The host control system 100 is, for example, a computer connected to the plurality of robot control devices 20 by wire, a computer arranged in the same site as the plurality of robot control devices 20, or the like. The host control system 100 is sometimes called a fog computer. The host control system 100 can be a production management system, a shipment management system, a robot management system, a department management system, or the like.

複数の上位制御システム100が他の上位制御システム200等に接続されていてもよい。上位制御システム200は、例えば、複数の上位制御システム100と有線又は無線で接続されたクラウドサーバである。複数のロボット制御装置20と上位制御システム100,200とによって例えば管理システムが形成される。 上位制御システム100および上位制御システム200は、それぞれ、プロセッサ等を有する制御部と、表示装置と、不揮発性ストレージ、ROM、RAM等を有する記憶部と、キーボード、タッチパネル、操作盤等である入力装置等を備えている。   A plurality of host control systems 100 may be connected to other host control systems 200 and the like. The host control system 200 is, for example, a cloud server connected to a plurality of host control systems 100 by wire or wireless. For example, a management system is formed by the plurality of robot control devices 20 and the host control systems 100 and 200. The host control system 100 and the host control system 200 are respectively a control unit having a processor and the like, a display device, a storage unit having nonvolatile storage, ROM, RAM, and the like, and an input device such as a keyboard, a touch panel, and an operation panel. Etc.

このようなシステムは、例えば図12に示されるように、複数のエッジコンピュータ8、複数の上位制御システム100、および単一又は複数の上位制御システム200を含んでいてもよい。図12のシステムにおいて、制御装置、ロボット制御装置、およびロボットは、エッジコンピュータ8であり得る。制御装置、ロボット制御装置、およびロボットの一部が上位制御システム100であってもよい。図12のシステムは、有線又は無線のネットワークを備えている。   Such a system may include a plurality of edge computers 8, a plurality of host control systems 100, and a single or a plurality of host control systems 200, as shown in FIG. 12, for example. In the system of FIG. 12, the control device, the robot control device, and the robot may be the edge computer 8. The control device, the robot control device, and a part of the robot may be the host control system 100. The system of FIG. 12 includes a wired or wireless network.

複数のエッジコンピュータ8が、前記学習機能を有する他のエッジコンピュータ8、上位制御システム100、又は上位制御システム200に前記学習用情報を送信してもよい。例えば図13に示される構成で当該送信が行われる。この場合、学習機能を有する他のエッジコンピュータ8、上位制御システム100、又は上位制御システム200は、受信した学習用情報を用いて学習を行い、各エッジコンピュータ8によるロボットの制御のための動作パラメータ(学習結果)、動作プログラム(学習結果)等を自動的且つ正確に求めることが可能である。   A plurality of edge computers 8 may transmit the learning information to another edge computer 8 having the learning function, the host control system 100, or the host control system 200. For example, the transmission is performed with the configuration shown in FIG. In this case, the other edge computer 8, the host control system 100, or the host control system 200 having a learning function performs learning using the received learning information, and operation parameters for controlling the robot by each edge computer 8. (Learning results), operation programs (learning results) and the like can be obtained automatically and accurately.

また、学習機能を有する他のエッジコンピュータ8、上位制御システム100、又は上位制御システム200は、受信した学習用情報を用いて、複数のエッジコンピュータ8がそれぞれ制御する複数のロボットの共通の動作パラメータ(学習結果)、動作プログラム(学習結果)等を求めることが可能である。つまり、前記複数のロボットが共通の動作パラメータ又は動作プログラムを有することになる。当該システムによれば、多様なデータ集合を用いて、学習の速度、信頼性等を向上することができる。   Further, the other edge computer 8, the host control system 100, or the host control system 200 having a learning function uses the received learning information, and common operation parameters of a plurality of robots controlled by the plurality of edge computers 8 respectively. (Learning results), operation programs (learning results), and the like can be obtained. That is, the plurality of robots have a common operation parameter or operation program. According to the system, learning speed, reliability, and the like can be improved using various data sets.

また、前記学習機能を有するエッジコンピュータ8および上位制御システム100の複数が、前記学習機能を有する他のエッジコンピュータ8、上位制御システム100、又は上位制御システム200に前記学習用情報、学習において作成された学習モデル、および学習結果の少なくとも一つを送信してもよい。例えば図14に示される構成で当該送信が行われる。学習機能を有する他のエッジコンピュータ8、上位制御システム100、又は上位制御システム200は、受信した情報に基づく知識の最適化や効率化の処理を行うことで、新たに最適化又は効率化された学習モデル又は学習結果を生成する。生成された学習モデル又は学習結果はロボットを制御するエッジコンピュータ8に配布される。学習結果が配布される場合、配布先のエッジコンピュータ8は学習機能を持っていなくてもよい。   In addition, a plurality of edge computers 8 and higher-level control systems 100 having the learning function are created in the learning information and learning in the other edge computer 8, higher-level control system 100, or higher-level control system 200 having the learning function. At least one of the learning model and the learning result may be transmitted. For example, the transmission is performed with the configuration shown in FIG. The other edge computer 8, the host control system 100, or the host control system 200 having the learning function is newly optimized or made efficient by performing knowledge optimization and efficiency processing based on the received information. A learning model or a learning result is generated. The generated learning model or learning result is distributed to the edge computer 8 that controls the robot. When learning results are distributed, the distribution-destination edge computer 8 may not have a learning function.

エッジコンピュータ8の間で前記学習用情報、学習モデル、および学習結果を共有することが可能である。例えば図14に示される構成で当該共有が行われる。これは、機械学習の効率の向上に繋がる。また、互いにネットワークで接続された複数のエッジコンピュータ8のうちの一部のエッジコンピュータ8に学習機能を実装し、一部のエッジコンピュータの学習結果を他のエッジコンピュータ8によるロボットの制御に用いることも可能である。これは、機械学習に要するコストの低減に繋がる。   The learning information, the learning model, and the learning result can be shared between the edge computers 8. For example, the sharing is performed with the configuration shown in FIG. This leads to an improvement in the efficiency of machine learning. In addition, a learning function is implemented in some edge computers 8 among a plurality of edge computers 8 connected to each other via a network, and learning results of some edge computers are used for robot control by other edge computers 8. Is also possible. This leads to a reduction in cost required for machine learning.

上記実施形態に即した例を以下説明する。
例えば、図10のようにロボット制御装置20が他のロボット制御装置20に接続されていてもよい。この場合、前述のように学習によって得られたテーブル(学習結果)又は式(学習結果)が、ロボット制御装置20の無線又は有線の送受信部(出力部)25によって、他のロボット制御装置20に必要な情報と共に送られてもよい。必要な情報は、当該テーブル又は式の作成に関連するロボット10および搬送装置2の仕様、ロボットハンド30および把持部31の仕様、物品の品質情報等である。他のロボット制御装置20も同様にロボット制御装置20に学習結果を送信する。
ロボット制御装置20および他のロボット制御装置20は、受信したテーブル又は式を物品Aの取出作業に用いることができる。また、ロボット制御装置20および他のロボット制御装置20は、受信したテーブル又は式を学習用情報として用いることができる。
An example according to the above embodiment will be described below.
For example, the robot control device 20 may be connected to another robot control device 20 as shown in FIG. In this case, the table (learning result) or the expression (learning result) obtained by learning as described above is transferred to another robot control device 20 by the wireless or wired transmission / reception unit (output unit) 25 of the robot control device 20. It may be sent with the necessary information. Necessary information includes the specifications of the robot 10 and the transfer device 2 related to the creation of the table or expression, the specifications of the robot hand 30 and the gripper 31, the quality information of the article, and the like. Similarly, the other robot control devices 20 transmit the learning results to the robot control device 20.
The robot control device 20 and other robot control devices 20 can use the received table or expression for the work of taking out the article A. Further, the robot control device 20 and other robot control devices 20 can use the received table or expression as learning information.

また、学習によって得られたテーブル又は式が、ロボット制御装置20から上位制御システム100又は上位制御システム200に必要な情報と共に送られてもよい(図11)。必要な情報は、当該テーブル又は式の作成に関連するロボット10および搬送装置2の仕様、ロボットハンド30および把持部31の仕様、物品Aの品質情報等である。   Further, a table or expression obtained by learning may be sent from the robot control device 20 together with necessary information to the host control system 100 or the host control system 200 (FIG. 11). Necessary information includes the specifications of the robot 10 and the transfer device 2 related to the creation of the table or expression, the specifications of the robot hand 30 and the gripping unit 31, the quality information of the article A, and the like.

上位制御システム100又は上位制御システム200は、同一又は同種のロボットハンド30又は把持部31の仕様に関する複数のテーブル又は式を用いて学習を行い、新たなテーブル又は式を作成することができる。
上位制御システム100又は上位制御システム200は、作成したテーブル又は式をロボット制御装置20に送信する。
ロボット制御装置20は、受信したテーブル又は式を物品Aの取出作業に用いることができる。また、他のロボット制御装置20は、当該ロボット制御装置20が学習を行う時に、受信したテーブル又は式を学習用情報として用いることもできる。
The host control system 100 or the host control system 200 can learn using a plurality of tables or formulas relating to the specifications of the same or the same type of robot hand 30 or the gripper 31, and can create a new table or formula.
The host control system 100 or the host control system 200 transmits the created table or formula to the robot controller 20.
The robot control device 20 can use the received table or expression for the work of taking out the article A. The other robot control device 20 can also use the received table or expression as learning information when the robot control device 20 performs learning.

なお、ロボット制御装置20、上位制御システム100、又は上位制御システム200は、作成したテーブル又は式を、学習機能を持たないロボット制御装置に送信することも可能である。これにより、学習機能を持たないロボット制御装置およびそのロボットハンドによる物品の把持が改善される。   Note that the robot control device 20, the host control system 100, or the host control system 200 can also transmit the created table or formula to a robot control device that does not have a learning function. Thereby, the gripping of the article by the robot control device having no learning function and the robot hand is improved.

2 搬送装置
10 ロボット
11 本体部
14 手首部
14a 手首フランジ
15,16 サーボモータ
20 ロボット制御装置
21 制御部
22 表示装置
23 記憶部
23h 学習プログラム(学習部)
24 入力装置
25 送受信部
26,27 サーボ制御器
30 ロボットハンド
31 把持部
31a 内部空間
32 エア供給管
40 ハンド制御装置
50 視覚センサ
100 上位制御システム
200 上位制御システム
A 物品
2 Conveying device 10 Robot 11 Body portion 14 Wrist portion 14a Wrist flanges 15 and 16 Servo motor 20 Robot control device 21 Control portion 22 Display device 23 Storage portion 23h Learning program (learning portion)
24 Input Device 25 Transmitter / Receiver 26, 27 Servo Controller 30 Robot Hand 31 Holding Unit 31a Inner Space 32 Air Supply Pipe 40 Hand Controller 50 Visual Sensor 100 Host Control System 200 Host Control System A Article

Claims (13)

複数の把持部によって物品を把持するロボットハンドを制御するロボット制御装置であって、
前記物品を検出するための視覚センサによって得られた画像に基づき前記物品のサイズ情報を得るサイズ情報取得手段と、
前記サイズ情報に応じて、把持状態における前記複数の把持部の間隔である把持間隔又は前記把持状態における前記複数の把持部による把持力を変化させる把持調整手段と、を備えるロボット制御装置。
A robot control device for controlling a robot hand that grips an article by a plurality of gripping units,
Size information acquisition means for obtaining size information of the article based on an image obtained by a visual sensor for detecting the article;
A robot control apparatus comprising: a grip adjustment unit that changes a gripping interval that is an interval between the plurality of gripping units in a gripping state or a gripping force by the plurality of gripping units in the gripping state according to the size information.
前記サイズ情報が、前記画像中において前記物品として検出された領域の面積値である、請求項1に記載のロボット制御装置。   The robot control apparatus according to claim 1, wherein the size information is an area value of a region detected as the article in the image. 前記サイズ情報が、前記画像中において前記物品として検出された領域の寸法データである、請求項1に記載のロボット制御装置。   The robot control apparatus according to claim 1, wherein the size information is dimension data of a region detected as the article in the image. 前記寸法データが、前記画像中において前記物品として検出された領域の周長データである、請求項3に記載のロボット制御装置。   The robot control device according to claim 3, wherein the dimension data is circumference data of a region detected as the article in the image. 前記ロボットハンドが、前記把持間隔又は前記把持力を複数のレベルに変化させるハンド制御装置を有するものであり、
前記サイズ情報の値と前記複数のレベルとを対応付けるテーブル又は式が格納された記憶部を備え、
前記把持調整手段が、前記テーブル又は前記式を用いて、前記複数のレベルのうち前記サイズ情報に応じたレベルに設定するための制御信号を前記ハンド制御装置に送信する、請求項1〜4の何れかに記載のロボット制御装置。
The robot hand has a hand control device that changes the grip interval or the grip force to a plurality of levels,
A storage unit storing a table or an expression that associates the size information value with the plurality of levels;
The grip adjustment means transmits a control signal for setting a level according to the size information among the plurality of levels to the hand control device using the table or the formula. The robot controller according to any one of the above.
前記把持調整手段が、単一又は複数の前記画像中の複数の前記物品の各々の前記サイズ情報の分布に基づき、前記複数のレベルに各々対応する前記サイズ情報の値を変える、請求項5に記載のロボット制御装置。   The grip adjustment means changes the value of the size information corresponding to each of the plurality of levels based on a distribution of the size information of each of the plurality of articles in the single or a plurality of the images. The robot control device described. 複数の把持部によって物品を把持するロボットハンドを制御するロボット制御装置であって、
前記物品のサイズ情報を得るサイズ情報取得手段と、
前記サイズ情報に応じて、把持状態における前記複数の把持部の間隔である把持間隔又は前記把持状態における前記複数の把持部による把持力を変化させる把持調整手段と、
前記サイズ情報と、前記ロボットハンドによって前記物品を把持した時の把持状態の情報とに基づき、前記把持状態を改善するための学習を行う学習部と、を備えるロボット制御装置。
A robot control device for controlling a robot hand that grips an article by a plurality of gripping units,
Size information acquisition means for obtaining size information of the article;
A gripping adjusting means for changing a gripping interval that is an interval between the plurality of gripping portions in a gripping state or a gripping force by the plurality of gripping portions in the gripping state according to the size information;
A robot control device comprising: a learning unit that performs learning for improving the gripping state based on the size information and information on a gripping state when the article is gripped by the robot hand.
前記学習の結果を出力する出力部をさらに備える、請求項7に記載のロボット制御装置。   The robot control apparatus according to claim 7, further comprising an output unit that outputs a result of the learning. 前記学習の結果を他のロボット制御装置に出力するように構成され、前記他のロボット制御装置から学習の結果を受信するように構成されている、請求項7又は8に記載のロボット制御装置。   The robot control device according to claim 7 or 8, wherein the robot control device is configured to output the learning result to another robot control device and receive the learning result from the other robot control device. 前記学習の結果を上位制御システムに出力するように構成され、前記上位制御システムから学習の結果を受信するように構成されている、請求項7又は8に記載のロボット制御装置。   The robot control device according to claim 7 or 8, wherein the robot control device is configured to output the learning result to a host control system and to receive the learning result from the host control system. システムであって、
物品を把持するロボットハンドを制御するロボット制御装置と、
前記ロボット制御装置と通信可能な上位制御システムと、を備え、
前記ロボット制御装置は、
前記物品のサイズ情報と、前記ロボットハンドによって前記物品を把持した時の把持状態の情報とに基づき、前記把持状態を改善するための学習を行う学習部と、
前記学習の結果を前記上位制御システムに出力する出力部と、を有し、
前記上位制御システムは、前記ロボット制御装置から受信する前記学習の結果を蓄積する、システム。
A system,
A robot controller that controls a robot hand that grips an article;
A host control system capable of communicating with the robot control device,
The robot controller is
A learning unit that performs learning for improving the gripping state based on the size information of the article and information on a gripping state when the article is gripped by the robot hand;
An output unit that outputs the learning result to the host control system;
The host control system accumulates the learning results received from the robot control device.
前記上位制御システムは、前記学習の結果を用いて前記上位制御システムにおいて行われた学習の結果を、前記ロボット制御装置に送信するように構成されている、請求項11に記載のシステム。   The system according to claim 11, wherein the host control system is configured to transmit a result of learning performed in the host control system using the learning result to the robot control device. 前記上位制御システムは、前記学習の結果、又は、前記学習の結果を用いて前記上位制御システムにおいて行われた学習の結果を、学習機能を持たないロボット制御装置に送信するように構成されている、請求項11又は12に記載のシステム。   The upper control system is configured to transmit a result of learning or a result of learning performed in the upper control system using the learning result to a robot control device having no learning function. The system according to claim 11 or 12.
JP2019011349A 2018-04-24 2019-01-25 Robot control and system Active JP6836606B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/372,922 US11584016B2 (en) 2018-04-24 2019-04-02 Robot controller and system
CN201910295319.4A CN110394797A (en) 2018-04-24 2019-04-12 Robot controller and system
DE102019109880.7A DE102019109880B4 (en) 2018-04-24 2019-04-15 Robot controller and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018083184 2018-04-24
JP2018083184 2018-04-24

Publications (2)

Publication Number Publication Date
JP2019188587A true JP2019188587A (en) 2019-10-31
JP6836606B2 JP6836606B2 (en) 2021-03-03

Family

ID=68389749

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019011349A Active JP6836606B2 (en) 2018-04-24 2019-01-25 Robot control and system

Country Status (1)

Country Link
JP (1) JP6836606B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021090643A1 (en) * 2019-11-06 2021-05-14 日本電気株式会社 Control device, control system, control method, and program storage medium
JPWO2021124388A1 (en) * 2019-12-16 2021-06-24
WO2022085408A1 (en) * 2020-10-19 2022-04-28 三菱電機株式会社 Robot control device and robot control method
CN114551968A (en) * 2022-02-25 2022-05-27 上海兰钧新能源科技有限公司 Battery cell module glue fixing system and method
CN114803472A (en) * 2022-04-22 2022-07-29 深圳航天科技创新研究院 Robot-based clamping control method and control system
WO2022168258A1 (en) * 2021-02-05 2022-08-11 三菱電機株式会社 Production management device, production system, production management method, and production management program
WO2023167003A1 (en) 2022-03-02 2023-09-07 オムロン株式会社 Control device, control method, and control program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018027581A (en) * 2016-08-17 2018-02-22 株式会社安川電機 Picking system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018027581A (en) * 2016-08-17 2018-02-22 株式会社安川電機 Picking system

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021090643A1 (en) * 2019-11-06 2021-05-14 日本電気株式会社 Control device, control system, control method, and program storage medium
JPWO2021124388A1 (en) * 2019-12-16 2021-06-24
JP7385303B2 (en) 2019-12-16 2023-11-22 株式会社FingerVision Gripping device, control method and program
WO2022085408A1 (en) * 2020-10-19 2022-04-28 三菱電機株式会社 Robot control device and robot control method
WO2022168258A1 (en) * 2021-02-05 2022-08-11 三菱電機株式会社 Production management device, production system, production management method, and production management program
JPWO2022168258A1 (en) * 2021-02-05 2022-08-11
JP7237262B2 (en) 2021-02-05 2023-03-10 三菱電機株式会社 Production control device, production system, production control method, and production control program
CN114551968A (en) * 2022-02-25 2022-05-27 上海兰钧新能源科技有限公司 Battery cell module glue fixing system and method
WO2023167003A1 (en) 2022-03-02 2023-09-07 オムロン株式会社 Control device, control method, and control program
CN114803472A (en) * 2022-04-22 2022-07-29 深圳航天科技创新研究院 Robot-based clamping control method and control system
CN114803472B (en) * 2022-04-22 2023-12-26 深圳航天科技创新研究院 Clamping control method and system based on robot

Also Published As

Publication number Publication date
JP6836606B2 (en) 2021-03-03

Similar Documents

Publication Publication Date Title
JP6836606B2 (en) Robot control and system
US11584016B2 (en) Robot controller and system
CN108000524B (en) Simulation device, simulation method, simulation program, and storage medium
US11312581B2 (en) Object grasp system and method
US10864632B2 (en) Direct teaching method of robot
US11565406B2 (en) Multi-tentacular soft robotic grippers
US10279485B2 (en) Robot system and method of detecting deformation of end effector
JP5887383B2 (en) Article alignment apparatus for aligning articles on a conveyor
US20140031978A1 (en) Robot hand, robot system provided with the robot hand, method of production using the robot system and product produced by the method
US10625953B2 (en) Robot
CN116834040A (en) Robot system with object loss management mechanism
US12036673B2 (en) Systems and methods for a passive grasping surface on an active grasping robotic manipulator
JP2020189392A (en) Method for controlling robot
US10427301B2 (en) Robot system and robot controller
US11597083B2 (en) Robot apparatus, robot system, control method of robot apparatus, product manufacturing method using robot apparatus, and storage medium
KR20190062583A (en) Gripping force setting system, gripping force setting method, and gripping force estimation system
JP6653064B2 (en) Simulation apparatus, robot, simulation method, and program therefor
US11685058B2 (en) Soft robotic tentacle gripper
EP3466846A1 (en) Foodstuff packing device
US20180215044A1 (en) Image processing device, robot control device, and robot
US20200139551A1 (en) Robot system
US11173603B2 (en) Robot system and robot
JP6809025B2 (en) Gripping device and grip transfer device
JP7414987B2 (en) Control device, robot system, and control method for causing a robot to perform work on a workpiece
JP7377684B2 (en) robot system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210205

R150 Certificate of patent or registration of utility model

Ref document number: 6836606

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150