JP2019188587A - Robot control device and system - Google Patents
Robot control device and system Download PDFInfo
- Publication number
- JP2019188587A JP2019188587A JP2019011349A JP2019011349A JP2019188587A JP 2019188587 A JP2019188587 A JP 2019188587A JP 2019011349 A JP2019011349 A JP 2019011349A JP 2019011349 A JP2019011349 A JP 2019011349A JP 2019188587 A JP2019188587 A JP 2019188587A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- gripping
- article
- control device
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
Description
本発明はロボット制御装置およびシステムに関する。 The present invention relates to a robot control apparatus and system.
従来、金属光沢を有するボルト等の物品を先端部に設けられたロボットハンドによって取出すロボットが知られている(例えば、特許文献1参照。)。このように、従来は、容易に形状が変化しない物品の取出作業にロボットハンドが用いられ、これにより作業効率の向上が図られていた。 Conventionally, a robot that takes out an article such as a bolt having metallic luster by a robot hand provided at a tip portion is known (for example, see Patent Document 1). Thus, conventionally, a robot hand has been used for taking out an article whose shape does not easily change, thereby improving work efficiency.
近年、ロボットハンドによって食品等の容易に形状が変化する物品の取出作業の実現が検討されている。例えば、シュークリーム、パン、ケーキ等の食品のロボットハンドによる取出しが試みられている。このような物品を把持するためにシリコン製又はゴム製のロボット指が用いられる場合もあるが、このような指もシュークリーム、パン、ケーキ等に比べるとかなり硬い場合が多い。このため、把持状態におけるロボット指の間隔である把持間隔又は把持力が適切でないと、物品に変形、破損等が簡単に生ずる。 In recent years, realization of an operation for taking out an article whose shape easily changes with a robot hand has been studied. For example, foods such as cream puffs, breads and cakes are being taken out by robot hands. Silicon fingers or rubber robot fingers may be used to hold such articles, but such fingers are often much harder than cream puffs, breads, cakes, and the like. For this reason, if the gripping distance or gripping force, which is the distance between the robot fingers in the gripping state, is not appropriate, the article is easily deformed or damaged.
解決案の一つとして、把持間隔を適切に設定することが考えられる。しかし、シュークリーム、パン、ケーキ等の物品は形状が一定でない場合が多い。このため、その日の製造を開始する際に把持間隔の設定が適切であっても、製造を行っている間に物品の硬さ、形状等の状態が僅かに変化し、当該変化によって把持間隔が適切ではなくなる場合が多くある。 One possible solution is to set the gripping interval appropriately. However, articles such as cream puffs, breads and cakes are often not uniform in shape. For this reason, even if the setting of the gripping interval is appropriate when starting the production of the day, the state of the article such as hardness and shape slightly changes during the manufacturing, and the gripping interval is changed by the change. Often not appropriate.
また、前述のようにロボット指によって出来るだけ優しく物品を把持する必要がある。しかし、このような物品はその硬さに比べて重量が大きい場合も多い。このため、物品を適切に把持できる把持間隔又は把持力の範囲は狭い。このような課題を解決するために、各ロボット指の先端部に触覚センサを設けることも考えられる。しかし、ロボットハンドの構造および制御が複雑になり、コスト上昇にも繋がる。さらに、扱う物品に含まれる成分によるセンサの故障の懸念がある。また、制御が複雑になることによって作業効率が低下すると、ロボットハンドを用いるメリットが少なくなる又は無くなる。 Further, as described above, it is necessary to grip the article as gently as possible with the robot finger. However, such articles often have a large weight compared to their hardness. For this reason, the range of the holding | grip space | interval or holding | grip force which can hold | grip an article | item appropriately is narrow. In order to solve such a problem, it is conceivable to provide a tactile sensor at the tip of each robot finger. However, the structure and control of the robot hand become complicated, leading to an increase in cost. Furthermore, there is a concern of sensor failure due to components contained in the handled article. Further, when the work efficiency is lowered due to complicated control, the merit of using the robot hand is reduced or eliminated.
前述の事情に鑑み、ロボットハンドによって軟らかい物品を適切に把持するために、ロボット指等である複数の把持部の把持間隔又は把持力を物品の状態に応じて適宜変更することができるロボット制御装置およびシステムの提供が望まれている。 In view of the circumstances described above, a robot control apparatus capable of appropriately changing the gripping interval or gripping force of a plurality of gripping parts such as robot fingers in order to appropriately grip a soft article by a robot hand. And the provision of a system is desired.
本開示の第1態様のロボット制御装置は、複数の把持部によって物品を把持するロボットハンドを制御するロボット制御装置であって、前記物品を検出するための視覚センサによって得られた画像に基づき前記物品のサイズ情報を得るサイズ情報取得手段と、前記サイズ情報に応じて、把持状態における前記複数の把持部の間隔である把持間隔又は前記把持状態における前記複数の把持部による把持力を変化させる把持調整手段と、を備える。
このように、サイズ情報に応じて把持間隔又は把持力が変化するので、形状が一定ではない軟らかい物品が、複数の把持部によって適切に把持されるようになる。
A robot control apparatus according to a first aspect of the present disclosure is a robot control apparatus that controls a robot hand that grips an article with a plurality of gripping units, and is based on an image obtained by a visual sensor for detecting the article. Size information acquisition means for obtaining size information of an article, and gripping that changes a gripping interval that is an interval between the plurality of gripping units in a gripping state or a gripping force by the plurality of gripping units in the gripping state, according to the size information Adjusting means.
As described above, since the gripping interval or the gripping force changes according to the size information, a soft article having a non-constant shape is appropriately gripped by the plurality of gripping units.
上記態様において、好ましくは、前記サイズ情報が、前記画像中において前記物品として検出された領域の面積値である。
ここで、物品がシュークリーム、パン、ケーキ等の食品である場合、物品の形状、硬さ等は一定ではない。また、中にクリーム等の粘性が高い液体が封入されている物品は特に、その外周面の一部を凹ませると外周面の他の部分が膨らむ傾向を有する場合が多い。この場合、外周面の一部を凹ませた場合の平面視における物品の面積の変化が比較的小さいとも言える。
当該態様では、画像中において物品として検出された領域の面積値に応じて把持間隔又は把持力が変化し、これは形状が一定ではない物品を適切に把持するために有利である。
In the above aspect, preferably, the size information is an area value of a region detected as the article in the image.
Here, when the article is a food such as cream puff, bread, cake, etc., the shape, hardness, etc. of the article are not constant. In addition, in particular, an article in which a highly viscous liquid such as cream is encapsulated has a tendency to swell the other part of the outer peripheral surface when a part of the outer peripheral surface is recessed. In this case, it can be said that the change in the area of the article in a plan view when a part of the outer peripheral surface is recessed is relatively small.
In this aspect, the gripping interval or gripping force changes according to the area value of the region detected as an article in the image, which is advantageous for appropriately gripping an article whose shape is not constant.
上記態様において、好ましくは、前記サイズ情報が、前記画像中において前記物品として検出された領域の寸法データである。
寸法データは、画像中の物品の最大直径、平均直径等である。この場合でも、形状が一定ではない物品を適切に把持することが可能である。
In the above aspect, preferably, the size information is dimension data of a region detected as the article in the image.
The dimension data is the maximum diameter, the average diameter, etc. of the article in the image. Even in this case, it is possible to appropriately hold an article whose shape is not constant.
上記態様において、前記寸法データが、前記画像中において前記物品として検出された領域の周長データであることが好ましい。
寸法データが画像中の物品の最大直径、平均直径等である場合、寸法を測定する方向によってばらつきが生ずる可能性があるが、寸法データとして周長データを用いると、上記のばらつきの発生可能性を低減することができる。
In the above aspect, it is preferable that the dimension data is circumference data of a region detected as the article in the image.
If the dimension data is the maximum diameter, average diameter, etc. of the article in the image, there may be variations depending on the direction in which the dimensions are measured. However, if the circumference data is used as the dimension data, the above-mentioned variation may occur. Can be reduced.
上記態様において、好ましくは、前記ロボットハンドが、前記把持間隔又は前記把持力を複数のレベルに変化させるハンド制御装置を有するものであり、前記サイズ情報の値と前記複数のレベルとを対応付けるテーブル又は式が格納された記憶部を備え、前記把持調整手段が、前記テーブル又は前記式を用いて、前記複数のレベルのうち前記サイズ情報に応じたレベルに設定するための制御信号を前記ハンド制御装置に送信する。 In the above aspect, preferably, the robot hand has a hand control device that changes the gripping interval or the gripping force to a plurality of levels, and a table that associates the value of the size information with the plurality of levels or A storage unit that stores an expression, and the grip adjustment means uses the table or the expression to generate a control signal for setting a level corresponding to the size information among the plurality of levels. Send to.
複数の把持部の把持間隔又は把持力を複数のレベルに変化させるロボットハンドは、その制御が容易であり、構造の簡素化も容易である。このため、このようなロボットハンドが取出対象の物品の製造会社で用いられる場合が多い。
上記態様では、把持間隔又は把持力とサイズ情報の値とを対応づけるテーブル又は式を用いて、サイズ情報に応じたレベルに設定するための制御信号がハンド制御装置に送信される。このため、ロボット制御装置側の制御も簡素化することができ、把持間隔又は把持力の調整の手間も低減することができる。
The robot hand that changes the gripping intervals or gripping forces of the plurality of gripping portions to a plurality of levels is easy to control and simplifies the structure. For this reason, such a robot hand is often used by a manufacturer of an article to be taken out.
In the above aspect, a control signal for setting a level corresponding to the size information is transmitted to the hand control device using a table or expression that associates the gripping interval or gripping force with the value of the size information. For this reason, the control on the robot control apparatus side can be simplified, and the labor for adjusting the gripping interval or gripping force can be reduced.
上記態様において、好ましくは、前記把持調整手段が、単一又は複数の前記画像中の複数の前記物品の各々のサイズ情報の分布に基づき、前記複数のレベルに各々対応する前記サイズ情報の値を変える。
このように、把持調整手段が、画像中の物品の前記サイズ情報の分布に基づき、把持間隔又は把持力の各レベルに対応するサイズ情報の値を変えることは、物品の取出しミスの低減、物品に生ずる破損、変形、および接触痕の低減等のために有利である。
In the above aspect, preferably, the grip adjustment means sets the value of the size information corresponding to each of the plurality of levels based on the distribution of the size information of each of the plurality of articles in the single or the plurality of images. Change.
As described above, the grip adjusting means changes the value of the size information corresponding to each level of the grip interval or the grip force based on the distribution of the size information of the article in the image. This is advantageous for reducing damage, deformation, contact marks, and the like.
本開示の第2態様は、複数の把持部によって物品を把持するロボットハンドを制御するロボット制御装置であって、前記物品のサイズ情報を得るサイズ情報取得手段と、前記サイズ情報に応じて、把持状態における前記複数の把持部の間隔である把持間隔又は前記把持状態における前記複数の把持部による把持力を変化させる把持調整手段と、前記サイズ情報と、前記ロボットハンドによって前記物品を把持した時の把持状態の情報とに基づき、前記把持状態を改善するための学習を行う学習部と、を備える。 A second aspect of the present disclosure is a robot control device that controls a robot hand that grips an article with a plurality of gripping units, and includes a size information acquisition unit that obtains size information of the article, and grips according to the size information. Gripping adjustment means for changing a gripping interval that is an interval between the plurality of gripping parts in the state or a gripping force by the plurality of gripping parts in the gripping state, the size information, and when the article is gripped by the robot hand A learning unit that performs learning for improving the gripping state based on the gripping state information.
本開示の第3態様は、管理システムであって、物品を把持するロボットハンドを制御するロボット制御装置と、前記ロボット制御装置と通信可能な上位制御システムと、を備え、前記ロボット制御装置は、前記物品のサイズ情報と、前記ロボットハンドによって前記物品を把持した時の把持状態の情報とに基づき、前記把持状態を改善するための学習を行う学習部と、前記学習の結果を前記上位制御システムに出力する出力部と、を有し、前記上位制御システムは、前記ロボット制御装置から受信する前記学習の結果を蓄積する。 A third aspect of the present disclosure is a management system including a robot control device that controls a robot hand that grips an article, and a host control system that can communicate with the robot control device, and the robot control device includes: A learning unit that performs learning for improving the gripping state based on the size information of the article and information on a gripping state when the article is gripped by the robot hand, and the learning control result that indicates the learning result. And the upper control system accumulates the learning results received from the robot control device.
上記態様では、ロボットハンドによって軟らかい物品を適切に把持するために、ロボット指等である複数の把持部の把持間隔又は把持力を物品の状態に応じて適宜変更することができる。 In the above aspect, in order to appropriately hold a soft article by the robot hand, the holding intervals or holding forces of a plurality of holding portions such as robot fingers can be appropriately changed according to the state of the article.
一実施形態に係るロボット制御装置20およびロボットシステムについて、図面を用いながら以下説明する。
本実施形態のロボットシステムは、図1に示されるように、コンベヤ等の搬送装置2によって搬送される物品Aが、ロボット10に取付けられたロボットハンド30によって、搬送装置2上から取出される。本実施形態では、物品Aはシュークリーム、パン、ケーキ等の形状が一定でない軟らかいものである。
A
In the robot system according to the present embodiment, as shown in FIG. 1, an article A transported by a
本実施形態ではロボット10はパラレルリンクロボットであり、ロボット10は、本体部11と、本体部11の下方に配置された可動プレート12と、本体部11と可動プレート12とを連結する3つのリンク部13と、可動プレート12に取付けられた手首部14とを有する。なお、ロボット10は垂直多関節ロボット、水平多関節ロボット(スカラロボット)等であってもよい。
In the present embodiment, the
本体部11は、図1に示されるように、略水平方向に延びるベース部材11aと、ベース部材11aの下面に固定された3つの駆動部11bとを有する。各駆動部11b内には、減速機付きのサーボモータ15(図4)が収容され、各駆動部11bの出力軸にリンク部13の駆動リンク13aの一端部が固定されている。また、複数のリンク部13のうち1つには手首部14の手首フランジ14aを鉛直軸線周りに回転させるサーボモータ16(図1、図4)が取付けられている。
As shown in FIG. 1, the
図1に示されるように、各リンク部13は、駆動リンク13aと、駆動リンク13aの他端に一端が連結された従動リンク13bとを有する。駆動リンク13aの他端と従動リンク13bの一端とは球面ベアリングを用いて連結されている。また、各従動リンク13bの他端は球面ベアリングを用いて可動プレート12に連結されている。
As shown in FIG. 1, each
本体部11のベース部材11aは例えば図示しないフレームによって支持され、これによりロボット10が搬送装置2の上方に配置されている。
ロボットハンド30は手首フランジ14aに支持されている。つまり、ロボットハンド30は手首フランジ14aと共に前記鉛直軸線周りに回転する。なお、手首部14がロボットハンド30の一部分であってもよい。
The
The
図1、図2等に示されるように、ロボットハンド30は複数の把持部31を有しており、各把持部31はゴム状弾性を有する材料から形成されている。ゴム状弾性を有する材料として、ゴム、シリコン等を用いることができる。本実施形態では各把持部31は内部空間31aを有するロボット指であり、各内部空間31aに供給されるエアの圧力に応じて各把持部31が屈曲する(図3)。ロボットハンド30として、例えば、Soft Robotics社製のM4FC、M5FC等を用いることができる。
As shown in FIGS. 1 and 2, the
図1に示されるように、ロボットハンド30の各把持部31はエア供給管32を経由してハンド制御装置40に接続されており、ハンド制御装置40は図示しないエア供給源に接続されている。ハンド制御装置40は圧力調整弁を有し、ロボットハンド30の各把持部31に供給されるエア圧は、圧力調整弁によって複数レベルに調整される。本実施形態では、一例として、ハンド制御装置40は各把持部31に供給するエア圧をレベル1からレベル5の5段階に調整することができる。なお、エア圧のレベルの数は5段階に限定されない。
As shown in FIG. 1, each
ハンド制御装置40によって複数の把持部31にエアが供給されると、図3に示されるように、複数の把持部31の先端部が互いに近付き、複数の把持部31が物品Aを把持するための把持状態となる。ハンド制御装置40によって複数の把持部31の内部空間31aが大気圧又は負圧になると、複数の把持部31が物品Aを離すための非把持状態となる。なお、図3では、各把持部31に適切な圧力よりも高いエア圧が加えられることによって、物品Aに望ましくない変形が生じている。
When air is supplied to the plurality of
ハンド制御装置40から複数の把持部31に供給するエア圧をレベル1にした時よりも、ハンド制御装置40から複数の把持部31に供給するエア圧をレベル5にした時の方が、複数の把持部31の先端部の互いの距離が近くなり、複数の把持部31による物品Aの把持力が大きくなる。レベル2〜4のエア圧は、レベル1とレベル5の間で複数の把持部31の先端部の互いの距離を段階的に変えるものである。つまり、レベル1〜5のエア圧は、複数の把持部31の先端部の互いの間隔である把持間隔を複数のレベルに変化させ、複数の把持部31による把持力も複数のレベルに変化させる。
When the air pressure supplied from the
搬送装置2の上方には視覚センサ50が設けられている。視覚センサ50は搬送装置2上の物品Aの画像を得られるものであればよく、視覚センサ50として二次元カメラ、三次元カメラ、三次元センサ等が用いられる。視覚センサ50によって撮像された画像はロボット制御装置20に逐次送信される。
A
ロボット制御装置20は、図4に示されるように、プロセッサ等を有する制御部21と、表示装置22と、不揮発性ストレージ、ROM、RAM等を有する記憶部23と、キーボード、タッチパネル、操作盤等である入力装置24と、信号の送受信を行うための送受信部25と、各サーボモータ15にそれぞれ接続されたサーボ制御器26と、サーボモータ16に接続されたサーボ制御器27とを備えている。入力装置24および送受信部25は入力部として機能する。
As shown in FIG. 4, the
記憶部23にはシステムプログラム23aが格納されており、システムプログラム23aはロボット制御装置20の基本機能を担っている。また、記憶部23には取出プログラム23b、サイズ情報取得プログラム(サイズ情報取得手段)23c、および把持調整プログラム(把持調整手段)23dが格納されている。制御部21は、取出プログラム23b、サイズ情報取得プログラム23c、および把持調整プログラム23dに基づき、各サーボモータ15,16を制御し、ロボットハンド30による把持を調整するための制御信号をハンド制御装置40に送信する。
A
以下、ロボット10がロボットハンド30によって搬送装置2上の物品Aの取出作業を行う際の制御部21の処理を、図5および図6のフローチャートを参照しながら説明する。なお、下記制御は、搬送装置2によって物品Aが搬送されている状態で行われる。
Hereinafter, the processing of the
制御部21は、入力装置24又は送受信部25から開始信号を受付けると(ステップS1−1)、視覚センサ50から送信される画像に周知の画像処理を行いながら、当該画像中の物品Aを取出すための取出処理を行う(ステップS1−2)。
When the
ステップS1−2の取出処理の一例が図6に説明されている。図6の例では、先ず、制御部21は、取出プログラム23bに基づき、周知の画像処理が行われた画像において物品Aの位置検出を開始する(ステップS2−1)。また、制御部21は、取出プログラム23bに基づき、複数の画像中の同一の物品Aの位置に基づき搬送装置2の移動速度を算出し、算出した移動速度に基づく物品Aの位置追跡(トラッキング)を開始する(ステップS2−2)。
An example of the extraction process in step S1-2 is illustrated in FIG. In the example of FIG. 6, first, the
そして、制御部21は、サイズ情報取得プログラム23cに基づき、位置の追跡が行われている物品Aの面積情報(サイズ情報)を画像処理が行われた画像を用いて得る(ステップS2−3)。追跡されている物品Aが複数存在する場合は、制御部21は複数の物品Aのそれぞれの面積情報を得る。一例では、前記画像処理は二値化処理であり、物品Aの面積情報は二値化処理によって抽出される領域の面積値(サイズ情報)である。
Then, based on the size
続いて、制御部21は、把持調整プログラム23dに基づき、複数の把持部31に供給するエア圧をレベル1からレベル5の何れかすべきかを決定する(ステップS2−4)。
Subsequently, based on the
ステップS2−4では、例えば、記憶部23に格納されている図7に示されるようなテーブル23eを用いて、制御部21が物品Aの面積値に対応するエア圧のレベルを決定する。テーブル23eでは、複数の面積範囲が設定されており、複数の面積範囲にそれぞれレベル1からレベル5のエア圧が対応している。制御部21は、記憶部23に格納されているテーブル23eを用いて、追跡している各物品Aの面積値に対応するエア圧のレベルを決定する。なお、テーブル23eにおいて、25〜27の意味は25以上27未満である。
In step S2-4, for example, the
ここで、シュークリーム等である物品Aはロボットハンド30の把持部31に比べて軟らかい。把持部31は柔軟性を有する材料から形成されているが、物品Aに比べるとかなり硬い。このため、ステップS2−4で決定されるエア圧は、複数の把持部31によって物品Aに破損、変形、接触痕等を生じさせないエア圧であることが望ましい。つまり、図3のように物品Aを大きく変形させるエア圧は適切ではない。一方、シュークリーム等の物品Aはその硬さに比べて重量が大きい。このため、複数の把持部31によって物品Aを破壊せずに持ち上げるために、テーブル23eの各面積範囲が狭いことが好ましい。
Here, the article A such as cream puff is softer than the
続いて、制御部21は、取出プログラム23bに基づき、追跡している物品Aを取出すための制御信号を各サーボ制御器26,27に送信する(ステップS2−5)。また、制御部21は、把持調整プログラム23dに基づき、当該物品Aに関して決定されたレベルのエア圧を各把持部31に供給するための制御信号をハンド制御装置40に送信する(ステップS2−6)。これにより、当該物品Aが搬送装置2から取出される。
Subsequently, the
制御部21は、取出プログラム23bに基づき、把持している物品Aを搬送先であるコンベヤ3上に載置するための制御信号を各サーボ制御器26,27に送信する(ステップS2−7)。そして、制御部21は、入力装置24又は送受信部25から終了信号を受付けるまで(ステップS2−8)、ステップS2−3〜S2−7を繰り返す。
Based on the take-out
なお、テーブル23eの代わりに、物品Aの面積値からエア圧のレベルを決定する式が記憶部23に格納されていてもよい。この場合、ステップS2−4において、制御部21は、記憶部23に格納されている式を用いて、エア圧レベル1〜5の中において追跡している各物品Aの面積値に対応するエア圧のレベルを決定する。
なお、エア圧レベル1〜5の中において追跡している各物品Aの面積値に対応するエア圧のレベルを他の周知の手段、方法等を用いて決定することも可能である。
Instead of the table 23e, an expression for determining the air pressure level from the area value of the article A may be stored in the
Note that the air pressure level corresponding to the area value of each article A being tracked in the air pressure levels 1 to 5 can be determined using other well-known means and methods.
このように、本実施形態では、物品Aを検出するための視覚センサ50によって得られた画像に基づき、物品Aのサイズ情報として物品Aの面積値を得る。そして、制御部21は、面積値に応じて、把持状態における複数の把持部31の間隔である把持間隔又は把持状態における複数の把持部31による把持力を変化させる。
このように、制御部21がサイズ情報に応じて把持間隔又は把持力を変化させるので、形状が一定ではない軟らかい物品Aが、複数の把持部31によって適切に把持されるようになる。
Thus, in this embodiment, the area value of the article A is obtained as the size information of the article A based on the image obtained by the
As described above, since the
ここで、シュークリーム、パン、ケーキ等の食品である物品Aの形状、硬さ等は一定ではない。また、中にクリーム等の粘性が高い液体が封入されている物品Aは特に、その外周面の一部を凹ませると外周面の他の部分が膨らむ傾向を有する場合が多い。この場合、外周面の一部を凹ませた場合の平面視における物品Aの面積の変化が比較的小さいとも言える。
本実施形態では、制御部21は、画像中において物品Aとして検出された領域の面積値に応じて把持間隔又は把持力を変化させており、これは形状が一定ではない物品Aを適切に把持するために有利である。
Here, the shape, hardness, etc. of the article A, which is a food such as cream puff, bread, cake, etc., are not constant. Further, in particular, the article A in which a highly viscous liquid such as cream is enclosed has a tendency that other parts of the outer peripheral surface swell when a part of the outer peripheral surface is recessed. In this case, it can be said that the change in the area of the article A in a plan view when a part of the outer peripheral surface is recessed is relatively small.
In the present embodiment, the
なお、制御部21は、画像中において物品Aとして検出された領域の寸法データに応じて把持間隔又は把持力を変化させることも可能である。寸法データは、画像中の物品Aの最大直径、平均直径等である。この場合でも、形状が一定ではない物品Aを適切に把持することが可能であるが、寸法を測定する方向によってばらつきが生ずる可能性もある。これに対し、面積値を用いる場合、上記のばらつきの発生可能性を低減することができる。なお、寸法データとして周長データを用いると、上記のばらつきの発生可能性を低減することができる。
Note that the
本実施形態では、ロボットハンド30が、把持間隔又は把持力を複数のレベル1〜5に変化させるハンド制御装置40を有するものであり、サイズ情報である面積値と前記複数のレベル1〜5とを対応付けるテーブル23e又は式が格納された記憶部23を備え、制御部21が、テーブル23e又は式を用いて、前記複数のレベル1〜5のうち追跡している物品Aの面積値に応じたレベルに設定するための制御信号をハンド制御装置40に送信する。
In the present embodiment, the
複数の把持部31の把持間隔又は把持力を複数のレベルに変化させるロボットハンド30は、その制御が容易であり、構造の簡素化も容易である。このため、このようなロボットハンド30が取出対象の物品Aの製造会社で用いられる場合が多い。
本実施形態では、把持間隔又は把持力と面積値とを対応づけるテーブル23e又は式を用いて、面積値に応じたレベルに設定するための制御信号がハンド制御装置40に送信される。このため、ロボット制御装置20側の制御も簡素化することができ、把持間隔又は把持力の調整の手間も低減可能である。
The
In the present embodiment, a control signal for setting the level according to the area value is transmitted to the
前述のように、例えばシュークリーム、パン、ケーキ等である物品Aの形状、硬さ等は一定ではなく、その形状、硬さ等は日々変化する。このため、把持間隔又は把持力が日々調整されることが好ましい。
このために、記憶部23に複数種類のテーブルが保存されていてもよい。例えば、図8に示されるように、レベル1〜5に各々対応する面積値の範囲が図7のテーブル23eに対して異なるテーブル23fがさらに保存されていてもよい。図8のテーブル23fは、例えば物品Aが通常よりも硬い時に用いられるものである。
As described above, the shape, hardness, and the like of the article A such as cream puff, bread, cake, and the like are not constant, and the shape, hardness, and the like vary from day to day. For this reason, it is preferable that a holding | grip space | interval or a holding force is adjusted every day.
For this purpose, a plurality of types of tables may be stored in the
物品Aの形状のばらつき幅が小さい日は、ハンド制御装置40の圧力調整弁の複数レベルの保持圧を互いに近付けると共に、記憶部23に保存されている図9のテーブル23gを用いてもよい。当該調整は、物品Aのばらつき幅が小さい時に行われる。
複数のテーブル23e,23f,23gの代わりに、レベル1〜5に対応する面積値が互いに異なる複数の式が記憶部23に格納されていてもよい。
On the day when the variation width of the shape of the article A is small, the holding pressures of the plurality of levels of the pressure regulating valve of the
Instead of the plurality of tables 23e, 23f, and 23g, a plurality of expressions having different area values corresponding to levels 1 to 5 may be stored in the
さらに、制御部21が、単一又は複数の画像に基づき求められる複数の物品Aの面積値の分布に基づいて、テーブル23e,23fのうち一方を選択して用いてもよく、同様に、記憶部23に格納されている複数の式のうち一つを選択して用いてもよい。
このように、制御部21が、画像中の物品Aの面積値の分布に基づき、各レベル1〜5に対応する面積値を変えることは、物品Aの取出しミスの低減、物品Aに生ずる破損、変形、および接触痕の低減等のために有利である。
Furthermore, the
As described above, when the
なお、搬送装置2におけるロボット10の作業エリア又はその下流側を撮像する観察撮像装置をさらに設けることも可能である。この場合、ロボット10により取出すことができなかった物品Aが撮像装置によって検出される。このような物品Aが閾値よりも多い場合に、制御部21は、各レベル1〜5の把持間隔又は把持力に対応する面積値の範囲を変える。例えば、ステップS2−4において用いる基準をテーブル23fからテーブル23eに変更する。当該構成を用いると、調整作業の手間が低減され、物品Aの生産効率が向上する。
It is also possible to further provide an observation imaging device for imaging the work area of the
また、物品Aがエクレア等の長手軸を有するものである場合でも、前述のように面積値に応じた把持間隔又は把持力の調整が可能であり、前述と同様の効果が得られる。なお、長手軸を有する物品Aの場合は、制御部21は、ステップS2−1において、物品Aの位置および姿勢(長手軸が向いている方向)を検出する。制御部21が、ステップS2−1において、さらに物品Aの重心位置を検出してもよい。
Even when the article A has a longitudinal axis such as eclair, the gripping interval or gripping force can be adjusted according to the area value as described above, and the same effect as described above can be obtained. In the case of the article A having the longitudinal axis, the
なお、ロボットハンド30の把持部31が金属製又は硬質プラスチック製の周知のロボット指であってもよい。この場合、物品Aのサイズ情報としての物品Aの面積値に応じて、制御部21は複数のロボット指の先端部の間隔である把持間隔又は複数のロボット指による把持力を変化させる。この場合でも前述と同様の作用効果が達成され得る。
Note that the
また、ロボットハンド30が球形であってもよい。この場合、ロボットハンド30は、その内部に封入されるエア圧に応じて、球の複数個所が互いに近付いて物品Aを把持し、球の複数個所の各々が把持部として機能する。
Further, the
前記実施形態において、ロボット制御装置20が学習機能を持っていてもよい。例えば、記憶部23に学習プログラム(学習部)23hが格納されており、制御部21が学習プログラム23hに基づき学習を行ってもよい。
In the embodiment, the
例えば、学習は前述のステップS2−1〜S2−7のように物品Aの取出処理が行われる時に行われる。制御部21は、学習用情報を用いて、面積値とエア圧のレベルとを対応させるテーブル又は式を作成し、作成されたテーブル又は式を記憶部23に格納する。このようなテーブル又は式の作成は、把持状態を改善するための学習の成果である。
For example, learning is performed when the takeout process of the article A is performed as in steps S2-1 to S2-7 described above. Using the learning information, the
学習用情報の例は、取出処理に用いられているサイズ情報とエア圧のレベルとを対応させたテーブル又は式である。学習用情報の他の例は、サイズ情報およびエア圧情報である。サイズ情報には、前述のように物品Aについて検出された面積値、寸法データ、周長データ、重心位置等の情報が含まれる。また、サイズ情報には、他の工程、例えば検査工程における検査装置で得られた各物品Aの面積、寸法、重量等の情報が含まれる。また、サイズ情報には、測定によって得られた各物品Aの面積、寸法、重量等に基づきオペレータが入力装置24に入力する情報も含まれる。他の学習用情報の例は、取出処理に用いられているロボットハンド30および把持部31の仕様である。他の学習用情報の例は、取出処理に用いられているロボット10および搬送装置2の仕様である。他の学習用情報の例は、取出処理の際の搬送装置2の搬送速度である。他の学習用情報の例は、各物品Aの硬さ、平均重量等の物品の品質情報である。他の学習用情報の例は、前記観察撮像装置に基づき得られた把持状態の情報である。把持状態の情報には、把持の成否の情報、各物品Aの変形度合の情報等が含まれる。作成されたテーブル又は式は前記学習用情報と共に記憶部23に格納される。
An example of the learning information is a table or an expression in which the size information used in the extraction process is associated with the air pressure level. Other examples of learning information are size information and air pressure information. The size information includes information such as the area value, dimension data, circumference data, and barycentric position detected for the article A as described above. The size information includes information such as the area, dimensions, and weight of each article A obtained by the inspection apparatus in another process, for example, an inspection process. The size information also includes information that the operator inputs to the
制御部21は、例えば、取出処理を行った際のサイズ情報とエア圧との関係と、把持状態との対比を行う。制御部21が、取出処理を行った際のサイズ情報とエア圧との関係および物品Aの種類又は物品Aの品質と、把持状態との対比を行ってもよい。
For example, the
上記のロボットハンド30および把持部31の仕様、搬送装置2の搬送速度、および物品の品質情報等は、オペレータがロボット制御装置20に入力してもよい。また、取出処理を行っている際にオペレータが把持の成否、各物品Aの変形度合等を観察し、観察結果がロボット制御装置20に入力され、入力された情報が上記学習に用いられてもよい。また、品質検査工程において得られた結果がロボット制御装置20に入力され、入力された情報が上記学習に用いられてもよい。
The operator may input the specifications of the
このようにロボット制御装置20において学習が行われると、ロボットハンド30による物品Aの把持がより適切となる。
When learning is performed in the
図11に示されるように、複数のロボット制御装置20が上位制御システム100に接続されていてもよい。上位制御システム100は、例えば、複数のロボット制御装置20と有線で接続されたコンピュータ、複数のロボット制御装置20と同じ敷地内に配置されたコンピュータ等である。上位制御システム100はフォグコンピュータと称される時もある。上位制御システム100は、生産管理システム、出荷管理システム、ロボット用管理システム、部門管理システム等であり得る。
As shown in FIG. 11, a plurality of
複数の上位制御システム100が他の上位制御システム200等に接続されていてもよい。上位制御システム200は、例えば、複数の上位制御システム100と有線又は無線で接続されたクラウドサーバである。複数のロボット制御装置20と上位制御システム100,200とによって例えば管理システムが形成される。 上位制御システム100および上位制御システム200は、それぞれ、プロセッサ等を有する制御部と、表示装置と、不揮発性ストレージ、ROM、RAM等を有する記憶部と、キーボード、タッチパネル、操作盤等である入力装置等を備えている。
A plurality of
このようなシステムは、例えば図12に示されるように、複数のエッジコンピュータ8、複数の上位制御システム100、および単一又は複数の上位制御システム200を含んでいてもよい。図12のシステムにおいて、制御装置、ロボット制御装置、およびロボットは、エッジコンピュータ8であり得る。制御装置、ロボット制御装置、およびロボットの一部が上位制御システム100であってもよい。図12のシステムは、有線又は無線のネットワークを備えている。
Such a system may include a plurality of
複数のエッジコンピュータ8が、前記学習機能を有する他のエッジコンピュータ8、上位制御システム100、又は上位制御システム200に前記学習用情報を送信してもよい。例えば図13に示される構成で当該送信が行われる。この場合、学習機能を有する他のエッジコンピュータ8、上位制御システム100、又は上位制御システム200は、受信した学習用情報を用いて学習を行い、各エッジコンピュータ8によるロボットの制御のための動作パラメータ(学習結果)、動作プログラム(学習結果)等を自動的且つ正確に求めることが可能である。
A plurality of
また、学習機能を有する他のエッジコンピュータ8、上位制御システム100、又は上位制御システム200は、受信した学習用情報を用いて、複数のエッジコンピュータ8がそれぞれ制御する複数のロボットの共通の動作パラメータ(学習結果)、動作プログラム(学習結果)等を求めることが可能である。つまり、前記複数のロボットが共通の動作パラメータ又は動作プログラムを有することになる。当該システムによれば、多様なデータ集合を用いて、学習の速度、信頼性等を向上することができる。
Further, the
また、前記学習機能を有するエッジコンピュータ8および上位制御システム100の複数が、前記学習機能を有する他のエッジコンピュータ8、上位制御システム100、又は上位制御システム200に前記学習用情報、学習において作成された学習モデル、および学習結果の少なくとも一つを送信してもよい。例えば図14に示される構成で当該送信が行われる。学習機能を有する他のエッジコンピュータ8、上位制御システム100、又は上位制御システム200は、受信した情報に基づく知識の最適化や効率化の処理を行うことで、新たに最適化又は効率化された学習モデル又は学習結果を生成する。生成された学習モデル又は学習結果はロボットを制御するエッジコンピュータ8に配布される。学習結果が配布される場合、配布先のエッジコンピュータ8は学習機能を持っていなくてもよい。
In addition, a plurality of
エッジコンピュータ8の間で前記学習用情報、学習モデル、および学習結果を共有することが可能である。例えば図14に示される構成で当該共有が行われる。これは、機械学習の効率の向上に繋がる。また、互いにネットワークで接続された複数のエッジコンピュータ8のうちの一部のエッジコンピュータ8に学習機能を実装し、一部のエッジコンピュータの学習結果を他のエッジコンピュータ8によるロボットの制御に用いることも可能である。これは、機械学習に要するコストの低減に繋がる。
The learning information, the learning model, and the learning result can be shared between the
上記実施形態に即した例を以下説明する。
例えば、図10のようにロボット制御装置20が他のロボット制御装置20に接続されていてもよい。この場合、前述のように学習によって得られたテーブル(学習結果)又は式(学習結果)が、ロボット制御装置20の無線又は有線の送受信部(出力部)25によって、他のロボット制御装置20に必要な情報と共に送られてもよい。必要な情報は、当該テーブル又は式の作成に関連するロボット10および搬送装置2の仕様、ロボットハンド30および把持部31の仕様、物品の品質情報等である。他のロボット制御装置20も同様にロボット制御装置20に学習結果を送信する。
ロボット制御装置20および他のロボット制御装置20は、受信したテーブル又は式を物品Aの取出作業に用いることができる。また、ロボット制御装置20および他のロボット制御装置20は、受信したテーブル又は式を学習用情報として用いることができる。
An example according to the above embodiment will be described below.
For example, the
The
また、学習によって得られたテーブル又は式が、ロボット制御装置20から上位制御システム100又は上位制御システム200に必要な情報と共に送られてもよい(図11)。必要な情報は、当該テーブル又は式の作成に関連するロボット10および搬送装置2の仕様、ロボットハンド30および把持部31の仕様、物品Aの品質情報等である。
Further, a table or expression obtained by learning may be sent from the
上位制御システム100又は上位制御システム200は、同一又は同種のロボットハンド30又は把持部31の仕様に関する複数のテーブル又は式を用いて学習を行い、新たなテーブル又は式を作成することができる。
上位制御システム100又は上位制御システム200は、作成したテーブル又は式をロボット制御装置20に送信する。
ロボット制御装置20は、受信したテーブル又は式を物品Aの取出作業に用いることができる。また、他のロボット制御装置20は、当該ロボット制御装置20が学習を行う時に、受信したテーブル又は式を学習用情報として用いることもできる。
The
The
The
なお、ロボット制御装置20、上位制御システム100、又は上位制御システム200は、作成したテーブル又は式を、学習機能を持たないロボット制御装置に送信することも可能である。これにより、学習機能を持たないロボット制御装置およびそのロボットハンドによる物品の把持が改善される。
Note that the
2 搬送装置
10 ロボット
11 本体部
14 手首部
14a 手首フランジ
15,16 サーボモータ
20 ロボット制御装置
21 制御部
22 表示装置
23 記憶部
23h 学習プログラム(学習部)
24 入力装置
25 送受信部
26,27 サーボ制御器
30 ロボットハンド
31 把持部
31a 内部空間
32 エア供給管
40 ハンド制御装置
50 視覚センサ
100 上位制御システム
200 上位制御システム
A 物品
2 Conveying
24
Claims (13)
前記物品を検出するための視覚センサによって得られた画像に基づき前記物品のサイズ情報を得るサイズ情報取得手段と、
前記サイズ情報に応じて、把持状態における前記複数の把持部の間隔である把持間隔又は前記把持状態における前記複数の把持部による把持力を変化させる把持調整手段と、を備えるロボット制御装置。 A robot control device for controlling a robot hand that grips an article by a plurality of gripping units,
Size information acquisition means for obtaining size information of the article based on an image obtained by a visual sensor for detecting the article;
A robot control apparatus comprising: a grip adjustment unit that changes a gripping interval that is an interval between the plurality of gripping units in a gripping state or a gripping force by the plurality of gripping units in the gripping state according to the size information.
前記サイズ情報の値と前記複数のレベルとを対応付けるテーブル又は式が格納された記憶部を備え、
前記把持調整手段が、前記テーブル又は前記式を用いて、前記複数のレベルのうち前記サイズ情報に応じたレベルに設定するための制御信号を前記ハンド制御装置に送信する、請求項1〜4の何れかに記載のロボット制御装置。 The robot hand has a hand control device that changes the grip interval or the grip force to a plurality of levels,
A storage unit storing a table or an expression that associates the size information value with the plurality of levels;
The grip adjustment means transmits a control signal for setting a level according to the size information among the plurality of levels to the hand control device using the table or the formula. The robot controller according to any one of the above.
前記物品のサイズ情報を得るサイズ情報取得手段と、
前記サイズ情報に応じて、把持状態における前記複数の把持部の間隔である把持間隔又は前記把持状態における前記複数の把持部による把持力を変化させる把持調整手段と、
前記サイズ情報と、前記ロボットハンドによって前記物品を把持した時の把持状態の情報とに基づき、前記把持状態を改善するための学習を行う学習部と、を備えるロボット制御装置。 A robot control device for controlling a robot hand that grips an article by a plurality of gripping units,
Size information acquisition means for obtaining size information of the article;
A gripping adjusting means for changing a gripping interval that is an interval between the plurality of gripping portions in a gripping state or a gripping force by the plurality of gripping portions in the gripping state according to the size information;
A robot control device comprising: a learning unit that performs learning for improving the gripping state based on the size information and information on a gripping state when the article is gripped by the robot hand.
物品を把持するロボットハンドを制御するロボット制御装置と、
前記ロボット制御装置と通信可能な上位制御システムと、を備え、
前記ロボット制御装置は、
前記物品のサイズ情報と、前記ロボットハンドによって前記物品を把持した時の把持状態の情報とに基づき、前記把持状態を改善するための学習を行う学習部と、
前記学習の結果を前記上位制御システムに出力する出力部と、を有し、
前記上位制御システムは、前記ロボット制御装置から受信する前記学習の結果を蓄積する、システム。 A system,
A robot controller that controls a robot hand that grips an article;
A host control system capable of communicating with the robot control device,
The robot controller is
A learning unit that performs learning for improving the gripping state based on the size information of the article and information on a gripping state when the article is gripped by the robot hand;
An output unit that outputs the learning result to the host control system;
The host control system accumulates the learning results received from the robot control device.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/372,922 US11584016B2 (en) | 2018-04-24 | 2019-04-02 | Robot controller and system |
CN201910295319.4A CN110394797A (en) | 2018-04-24 | 2019-04-12 | Robot controller and system |
DE102019109880.7A DE102019109880B4 (en) | 2018-04-24 | 2019-04-15 | Robot controller and system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018083184 | 2018-04-24 | ||
JP2018083184 | 2018-04-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019188587A true JP2019188587A (en) | 2019-10-31 |
JP6836606B2 JP6836606B2 (en) | 2021-03-03 |
Family
ID=68389749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019011349A Active JP6836606B2 (en) | 2018-04-24 | 2019-01-25 | Robot control and system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6836606B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021090643A1 (en) * | 2019-11-06 | 2021-05-14 | 日本電気株式会社 | Control device, control system, control method, and program storage medium |
JPWO2021124388A1 (en) * | 2019-12-16 | 2021-06-24 | ||
WO2022085408A1 (en) * | 2020-10-19 | 2022-04-28 | 三菱電機株式会社 | Robot control device and robot control method |
CN114551968A (en) * | 2022-02-25 | 2022-05-27 | 上海兰钧新能源科技有限公司 | Battery cell module glue fixing system and method |
CN114803472A (en) * | 2022-04-22 | 2022-07-29 | 深圳航天科技创新研究院 | Robot-based clamping control method and control system |
WO2022168258A1 (en) * | 2021-02-05 | 2022-08-11 | 三菱電機株式会社 | Production management device, production system, production management method, and production management program |
WO2023167003A1 (en) | 2022-03-02 | 2023-09-07 | オムロン株式会社 | Control device, control method, and control program |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018027581A (en) * | 2016-08-17 | 2018-02-22 | 株式会社安川電機 | Picking system |
-
2019
- 2019-01-25 JP JP2019011349A patent/JP6836606B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018027581A (en) * | 2016-08-17 | 2018-02-22 | 株式会社安川電機 | Picking system |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021090643A1 (en) * | 2019-11-06 | 2021-05-14 | 日本電気株式会社 | Control device, control system, control method, and program storage medium |
JPWO2021124388A1 (en) * | 2019-12-16 | 2021-06-24 | ||
JP7385303B2 (en) | 2019-12-16 | 2023-11-22 | 株式会社FingerVision | Gripping device, control method and program |
WO2022085408A1 (en) * | 2020-10-19 | 2022-04-28 | 三菱電機株式会社 | Robot control device and robot control method |
WO2022168258A1 (en) * | 2021-02-05 | 2022-08-11 | 三菱電機株式会社 | Production management device, production system, production management method, and production management program |
JPWO2022168258A1 (en) * | 2021-02-05 | 2022-08-11 | ||
JP7237262B2 (en) | 2021-02-05 | 2023-03-10 | 三菱電機株式会社 | Production control device, production system, production control method, and production control program |
CN114551968A (en) * | 2022-02-25 | 2022-05-27 | 上海兰钧新能源科技有限公司 | Battery cell module glue fixing system and method |
WO2023167003A1 (en) | 2022-03-02 | 2023-09-07 | オムロン株式会社 | Control device, control method, and control program |
CN114803472A (en) * | 2022-04-22 | 2022-07-29 | 深圳航天科技创新研究院 | Robot-based clamping control method and control system |
CN114803472B (en) * | 2022-04-22 | 2023-12-26 | 深圳航天科技创新研究院 | Clamping control method and system based on robot |
Also Published As
Publication number | Publication date |
---|---|
JP6836606B2 (en) | 2021-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6836606B2 (en) | Robot control and system | |
US11584016B2 (en) | Robot controller and system | |
CN108000524B (en) | Simulation device, simulation method, simulation program, and storage medium | |
US11312581B2 (en) | Object grasp system and method | |
US10864632B2 (en) | Direct teaching method of robot | |
US11565406B2 (en) | Multi-tentacular soft robotic grippers | |
US10279485B2 (en) | Robot system and method of detecting deformation of end effector | |
JP5887383B2 (en) | Article alignment apparatus for aligning articles on a conveyor | |
US20140031978A1 (en) | Robot hand, robot system provided with the robot hand, method of production using the robot system and product produced by the method | |
US10625953B2 (en) | Robot | |
CN116834040A (en) | Robot system with object loss management mechanism | |
US12036673B2 (en) | Systems and methods for a passive grasping surface on an active grasping robotic manipulator | |
JP2020189392A (en) | Method for controlling robot | |
US10427301B2 (en) | Robot system and robot controller | |
US11597083B2 (en) | Robot apparatus, robot system, control method of robot apparatus, product manufacturing method using robot apparatus, and storage medium | |
KR20190062583A (en) | Gripping force setting system, gripping force setting method, and gripping force estimation system | |
JP6653064B2 (en) | Simulation apparatus, robot, simulation method, and program therefor | |
US11685058B2 (en) | Soft robotic tentacle gripper | |
EP3466846A1 (en) | Foodstuff packing device | |
US20180215044A1 (en) | Image processing device, robot control device, and robot | |
US20200139551A1 (en) | Robot system | |
US11173603B2 (en) | Robot system and robot | |
JP6809025B2 (en) | Gripping device and grip transfer device | |
JP7414987B2 (en) | Control device, robot system, and control method for causing a robot to perform work on a workpiece | |
JP7377684B2 (en) | robot system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6836606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |