JP2009125920A - Robot work operation optimization device - Google Patents
Robot work operation optimization device Download PDFInfo
- Publication number
- JP2009125920A JP2009125920A JP2007307281A JP2007307281A JP2009125920A JP 2009125920 A JP2009125920 A JP 2009125920A JP 2007307281 A JP2007307281 A JP 2007307281A JP 2007307281 A JP2007307281 A JP 2007307281A JP 2009125920 A JP2009125920 A JP 2009125920A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- work
- unit
- work command
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 23
- 238000011156 evaluation Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003466 welding Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000000546 chi-square test Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Numerical Control (AREA)
- Manipulator (AREA)
Abstract
Description
この発明は、産業ロボットの作業軌道計画において、作業環境と干渉せず、かつ最短タクトタイムを実現するロボットの作業動作最適化装置に関するものである。 The present invention relates to a robot work operation optimizing apparatus that achieves the shortest tact time without interfering with the work environment in a work trajectory plan for an industrial robot.
産業ロボットは、主として各種工場内作業の自動化を目的とする産業装置である。このような産業ロボットの作業軌道計画において、作業ミスをせず、作業環境と干渉せず、かつ最短タクトタイムを実現することは重要であるが、シミュレータを用いて作業計画を行うオフラインプログラミングにあっては、作業環境の物理形状と動作タイミングの完全なモデル化は困難であり、適当なマージンによる妥協が行われていた。
これを改善するためにはオフラインプログラミングの登場以前から行われていたオンラインプログラミングにより作業軌道計画を行うが、これは作業者が実施する必要があり、作業者の技量に応じて得られる結果と、その結果を得るために必要な作業時間がばらつくという問題があった。
An industrial robot is an industrial device mainly for the purpose of automating various factory operations. In such industrial robot work trajectory planning, it is important not to make work mistakes, to interfere with the work environment, and to achieve the shortest tact time, but it is suitable for offline programming that uses a simulator to plan work. For this reason, it was difficult to completely model the physical shape and operation timing of the work environment, and a compromise was made with an appropriate margin.
In order to improve this, work trajectory planning is done by online programming that had been done before the advent of offline programming, but this needs to be performed by the worker, and results obtained according to the skill of the worker, There was a problem that the work time required to obtain the results varied.
例えば、特許文献1には、ロボットの手先位置誤差をニューラルネットワークによるシステムモデルを用いて推定し、補正をかけることで精度を向上させるロボットコントローラが例示されており、当該ニューラルネットは、シミュレータ、あるいは何点かの所定の位置における誤差の実測値を教師信号として用いて学習させる手段が示されている。
For example,
また、例えば、特許文献2には、ロボットシミュレーション装置にてレーザ溶接ロボットと溶接点の干渉チェックを行って、干渉する部分をプログラミング作業者に例示し、ロボットの移動速度の調節を支援する手段が示されている。 Further, for example, in Patent Document 2, there is a means for performing interference check between a laser welding robot and a welding point using a robot simulation apparatus, exemplifying the interfering portion as a programming operator, and supporting adjustment of the moving speed of the robot. It is shown.
しかしながら、上記従来の技術では、システムモデルの学習に用いる教師信号(システムに対する入力と出力のペアを複数用意したもの)は作業者が選択する必要があるが、学習速度および推定精度を向上させる教師信号の選択は困難であると共に、推定精度を向上させるためには教師信号を多数用意する必要があり、これに伴ってますます学習速度が遅くなる傾向にあった。また、ロボット移動速度の修正についても作業者の介在が不可欠で、しかもシステムモデルが実際のシステムの実物と一致しないマージンを含んでいるため、解の最適性には問題があった。 However, in the above conventional technique, an operator needs to select a teacher signal used for learning a system model (a plurality of input / output pairs for the system), but the teacher improves the learning speed and the estimation accuracy. The selection of signals is difficult, and in order to improve the estimation accuracy, it is necessary to prepare a large number of teacher signals, and accordingly, the learning speed tends to become slower. In addition, the operator's intervention is indispensable for the correction of the robot moving speed, and the system model includes a margin that does not match the actual system, so there is a problem in the optimality of the solution.
この発明は、以上のような問題点を解決するためのなされたもので、産業ロボットの作業軌道計画において、少ない作業試行数で迅速に最良の作業指令を自動的に決定することのできるロボットの作業動作最適化装置を得ることを目的とする。 The present invention has been made to solve the above-described problems, and in a work trajectory plan of an industrial robot, a robot capable of automatically determining the best work command quickly and with a small number of work trials. The object is to obtain a work motion optimization device.
この発明に係るロボットの作業動作最適化装置は、ロボット部の動作結果を観測し、動作結果が適切なものであるかを評価する作業結果評価部と、ロボット部の動作が最も好ましいものになると推定される作業指令の候補を発生させる改良作業指令候補発生部とを備え、改良作業指令候補発生部は、作業指令の候補を発生させたことによるロボット部の動作状態に対する作業結果評価部の評価結果に基づいて新たな作業指令を発生させ、これを繰り返すことで、最適化された作業指令を求めるようにしたものである。 The robot work operation optimizing device according to the present invention observes the operation result of the robot unit and evaluates whether the operation result is appropriate, and the operation of the robot unit is most preferable. An improved work command candidate generation unit that generates estimated work command candidates, and the improved work command candidate generation unit evaluates the work result evaluation unit for the operation state of the robot unit caused by generating the work command candidates. Based on the result, a new work command is generated and repeated to obtain an optimized work command.
この発明のロボットの作業動作最適化装置は、ロボット部の動作が最も好ましいものになると推定される作業指令の候補を発生させると共に、これによるロボット部の動作状態に対する作業結果評価部の評価結果に基づいて新たな作業指令を発生させ、これを繰り返すようにしたので、少ない作業試行数で迅速に最良の作業指令を自動的に決定することができる。 The robot work operation optimizing device according to the present invention generates work command candidates that are estimated to be the most preferable operation of the robot unit, and the evaluation result of the work result evaluation unit for the operation state of the robot unit by this is generated. Based on this, a new work command is generated and repeated, so that the best work command can be automatically determined quickly with a small number of work trials.
実施の形態1.
図示の装置は、ロボット部1、ロボットコントローラ部2、作業結果評価部3、改良作業指令候補発生部4、作業指示部5とを備えており、改良作業指令候補発生部4は、システムモデル部6、システムモデル再構成部7、作業指令候補最適化部8を備えている。
ロボット部1は、ロボットとその周辺の作業環境からなり、本発明の対象とする各種自動作業を実行する産業用装置である。このロボット部1としては、例えば、山積み状態の部品桶から個々の部品をつまみ上げるビンピッキング作業、部品の搬送作業、組立作業、塗装作業、溶接作業など工場内各種作業の自動化に用いられる。
The illustrated apparatus includes a
The
ロボットコントローラ部2は、入力された作業指令により示された作業内容を、実際にロボットを動かすことで実現するために、ロボットに取付けられたモータなどに電気エネルギーを供給するものである。供給するエネルギーはロボットの動きが適切なものになるように制御される。このためにはロボットに取付けられたセンサ、あるいは外部に取付けられたセンサからのフィードバック信号を用いてロボットの動作状態を常時監視し制御動作を実行するよう構成されている。 The robot controller unit 2 supplies electric energy to a motor or the like attached to the robot in order to realize the work content indicated by the inputted work command by actually moving the robot. The supplied energy is controlled so that the robot moves appropriately. For this purpose, the operation state of the robot is constantly monitored by using a feedback signal from a sensor attached to the robot or a sensor attached to the outside, and a control operation is executed.
作業結果評価部3は、ロボットコントローラ部2に対する作業指令と、ロボット部1の実際の動きとを入力とし、それらの組み合わせデータ、およびそれらの誤差の大きさといった評価値を改良作業指令候補発生部4に出力するよう構成されている。
改良作業指令候補発生部4は、作業結果評価部3からのデータに基づき、次にロボットに対して指示を出すべき改良作業指令を出力する。即ち、改良作業指令候補発生部4は、ロボット部1の動作が最も好ましいものになると推定される作業指令の候補を発生させると共に、作業指令の候補を発生させたことによるロボット部1の動作状態に対する作業結果評価部3の評価結果に基づいて新たな作業指令を発生させ、これを繰り返すことで、最適化された作業指令を求めるよう構成されている。
作業指示部5は、作業指示部5から出力された改良作業指令に基づいて、ロボットコントローラ部2に対して作業指令を出力するよう構成されている。
The work result evaluation unit 3 receives a work command for the robot controller unit 2 and an actual movement of the
Based on the data from the work result evaluation unit 3, the improved work command
The
改良作業指令候補発生部4におけるシステムモデル部6は、作業結果評価部3からのデータに基づき、ロボット自体、ロボットを設置した周辺の環境の形状情報、周辺機器の動作タイミングといった情報をモデル化している。モデルであるので、ある入力に対する出力を推定することが出来るよう構成されている。例えば、ロボットの周辺環境物体の干渉チェックや、ある作業指示に基づくロボットのタクトタイムをモデル化したとき、実際に作業結果を計測していない作業指令を与えたときのタクトタイムの予測値を推定出力することが出来る。
Based on the data from the work result evaluation unit 3, the
システムモデル再構成部7は、作業結果評価部3からのデータに基づき、システムモデル部6の内部状態(システムモデル)を新たなものに更新する。この操作により、システムモデル部6の予測精度は、より広範囲な入力に対して向上していく。
The system
作業指令候補最適化部8は、システムモデル部6を用いることで、次にロボットに行わせる作業候補を一つないし複数選択し、作業指示部5に出力するよう構成されている。この選択方法としては、数多くの作業指令候補に対して、その作業指令候補がシステムモデル部6を用いて、システムモデル部6の推定精度をより正確にすると予想される度合いを数値化し、あるいはタクトタイムが短くなると予想される度合いを数値化し、それら数値が最も好ましい値を示している作業指令候補を一つあるいは複数選択する。タクトタイムであれば短いほうが好ましく、推定誤差であっても小さいほうが良いので最小値を選ぶことになる。このとき、数値化した度合いが複数あるので、先ずタクトタイムについて値の小さなもの順にいくつかを選んだ上で、その中から推定誤差が小さいものを選び出すようにするなどの方法を用いる。あるいは、二つの度合いの数値を掛け算し、その掛け算の結果が最も小さいもの順に選んでいくといった方法を用いる。
The work command
尚、本発明のロボットの作業動作最適化装置はコンピュータを用いて実現され、上記のロボットコントローラ部2〜作業指令候補最適化部8は、それぞれの機能に対応するソフトウェアと、これを実行するためのCPUやメモリ等のハードウェアから構成されている。
The robot work operation optimizing device of the present invention is realized by using a computer, and the robot controller unit 2 to the operation command
次に、実施の形態1の動作について説明する。
図2は、上記の候補選択に関する動作内容を示した説明図である。
図2のモデルでは、ロボットが周辺の物体と干渉すると推定される領域(現状の干渉識別境界)fを描いている。尚、横軸、縦軸の値は、作業指令パラメータを示している。また、タクトタイムの推定モデルはF(Sn+1)で表わしている。Snというのは作業動作をn回実行して、n回の動作の観測結果の集合である。F(Sn)およびf(Sn)というのはn回の動作の観測結果の集合から最も妥当な推測結果を与えるモデルのことを表している。
Next, the operation of the first embodiment will be described.
FIG. 2 is an explanatory diagram showing the operation content related to the candidate selection.
In the model of FIG. 2, a region (current interference identification boundary) f where the robot is estimated to interfere with surrounding objects is drawn. The values on the horizontal and vertical axes indicate work command parameters. The tact time estimation model is represented by F (S n + 1 ). S n is a set of observation results of n times of operations performed n times. F (S n ) and f (S n ) represent models that give the most appropriate estimation result from a set of observation results of n operations.
F(Sn+1)およびf(Sn+1)は、次に作業してみる候補Sn+1を仮に観測結果の集合に加えてみたときに更新される推定モデルである。候補Sn+1により干渉が発生した場合と干渉が発生しない場合は不明であるので、両方の場合を想定して、それぞれの場合にもたらされる現状のf(Sn)との差Afh,Afgを次式で数値化し、その数値が最も大きくなるような候補Sn+1を最終的に選ぶようにしている。尚、図2において、識別境界hとは、識別境界fに基づいて、ある条件で作業を行った場合に干渉が発生すると観測される新たな識別境界であり、識別境界gとは、干渉が発生しないと観測される新たな識別境界である。
尚、上記の式では、掛け算を用いているが、F(Sn+1)を先ず計算して小さいものから100個程度選び、選んだ100個について
作業指令の候補であるが、例えばロボットの動作上の経由点の羅列として与えられる。但し空間内の点は無限にあるため、適当な間隔で離散化しておくことにする。これにより選択可能な候補は有限な点の集合になり、各候補はそれらの中の1点となる。 Although it is a candidate of a work command, for example, it is given as an enumeration of waypoints in the operation of the robot. However, since there are an infinite number of points in space, they are discretized at appropriate intervals. As a result, selectable candidates are a finite set of points, and each candidate is one of them.
F(Sn+1)およびf(Sn+1)には、例えば重回帰分析、サポートベクターマシン、サポートベクター回帰、カーネル回帰、ベイズポイントマシン、ベイズ推定、最尤推定、応答曲面、ラジアスベイシスファンクションネットワーク、ニューラルネットワーク、といった関数モデルおよびパラメータ決定アルゴリズムの組み合わせを用いる。 F (S n + 1 ) and f (S n + 1 ) include, for example, multiple regression analysis, support vector machine, support vector regression, kernel regression, Bayes point machine, Bayesian estimation, maximum likelihood estimation, response surface, radius basis A combination of a function model and a parameter determination algorithm such as a function network and a neural network is used.
図3は、図1に示したロボットの作業動作最適化装置の動作を示すフローチャートである。
先ず、ステップST11において、数点の作業指令条件にてロボット部1が初期動作実験を行う。次に、ステップST12にて、システムモデル再構成部7は、その時点で得られている動作結果(複数の実験点毎の動作結果)からシステムモデル部6の干渉識別境界を決定する。次に、ステップST13にて、作業指令候補最適化部8は、ステップST12で定めた識別境界付近の点を次の実験候補点とする。そして、既に全ての候補となる点を実験しつくしているかを判定し(ステップST14)、そうである場合には終了するが、そうでない場合にはステップST15に進む。ステップST15では、システムモデル部6により、発生した全ての候補点について、上記の式(1)または式(2)を計算する。次に、ステップST16にて、作業指令候補最適化部8は、この値が最大になる候補点を次の実験点として選択する。次に、ステップST17にて、ステップST16にて選択された実験点によって実際に動作実験を行い動作結果を取得する。そしてステップST12に戻り、以下これらの処理を繰り返す。
FIG. 3 is a flowchart showing the operation of the robot work movement optimizing apparatus shown in FIG.
First, in step ST11, the
ところで、本実施の形態で計算するAfh,Afgの和÷(Afh,Afgの差+1.0)という値が大きいということは、その候補点による作業を行った結果、干渉が発生する場合と干渉が発生しない場合の識別境界の変化量がほぼ同等であり、かつその変化量が大きいということである。即ち、変化量が同等になれば差の値(分母)は小さくなり、かつ、変化量が大きければ和の値(分子)は大きくなるからである。このような点から、次の実験点の候補として、識別境界が正しくはそこを通過するのであろうという予測が確からしい点を選択することができる。 By the way, the large value of the sum of A fh and A fg calculated in this embodiment / (difference between A fh and A fg +1.0) means that interference occurs as a result of the work by the candidate points. That is, the amount of change in the identification boundary is almost the same when the interference occurs and when the interference does not occur, and the amount of change is large. That is, the difference value (denominator) becomes smaller if the amount of change becomes equal, and the sum value (numerator) becomes larger if the amount of change is large. From these points, as the candidate of the next experimental point, it is possible to select a point that is likely to be predicted that the identification boundary will correctly pass therethrough.
尚、上記実施の形態において、和÷(差+1.0)における1.0の値については、差が0であった場合に、和÷差の値が無限大になってしまうのを避けるためであり、1.0以外の数値であってもよい。但し、値を小さくすると、差の大小の影響を大きく評価し、値を大きくすると差の大小の影響を小さく評価することになる。従って、条件等に合わせて適宜値は選択する。 In the above embodiment, the value of 1.0 in the sum / (difference + 1.0) is avoided in order to prevent the sum / difference value from becoming infinite when the difference is 0. It may be a numerical value other than 1.0. However, if the value is decreased, the effect of the difference is greatly evaluated, and if the value is increased, the effect of the difference is evaluated small. Therefore, a value is appropriately selected according to conditions and the like.
また、最初にシステムモデル部6を構築する際、Snを作っておく必要がある。これは、直交表を用いて実験を行うものである。尚、L8に限らず、L4、L16、L32、L64、L9、L27、L81、L243、L12、L18、L36、L72などを使ってもよく、あるいは、多元配置、ラテン方格、グレコラテン方格、一様計画、D最適、G最適、A最適などの最適計画、応答曲面計画における複合計画、Box and Behnken計画、あるいはまったくのランダムな計画などを適宜用いてもよい。あるいは、作業者が経験的に有望と考える作業指令を選択し、Snを作っておいてもよい。
Also, when constructing the
また、次の作業指令の候補を発生する場合に、それまでの実験点が一様に分布しているかを調べ、一様に分布していなかった場合は、まだ実験していない候補点のなかでいずれかの点をランダムに選択して実験を行うようにしてもよい。例えば、これまでの実験点が実験可能な空間内に一様に分布しているかどうかをカイ二乗検定により検定する。検定の結果、実験点に偏在が見られる場合にはまだ実験していない格子点の中からランダムに一つ選択する。この場合、探索可能な空間をまんべんなく探索しようとするため、正しい干渉識別境界が離れ小島のように点在している場合であっても、識別境界が正しい位置に収束する速度を速くすることを期待できる効果がある。 When the next work command candidate is generated, it is checked whether the previous experimental points are uniformly distributed. If not, the candidate points that have not been tested yet are found. The experiment may be performed by randomly selecting one of the points. For example, whether or not the experimental points so far are uniformly distributed in the space where the experiment can be performed is tested by the chi-square test. If the test points are unevenly distributed as a result of the test, one of the lattice points not yet tested is selected at random. In this case, in order to search the searchable space evenly, even if the correct interference identification boundary is scattered like a small island, the speed at which the identification boundary converges to the correct position should be increased. There is an expected effect.
サポートベクターマシンをモデルとして用いる場合、サポートベクターマシンのいくつかのパラメータを調整することが出来る。簡単に言えば識別境界の表現力を調節できる。例えば複雑な識別境界を描きたいときにはあるパラメータの値を大きくすれば良い。しかしその際の欠点としてサポートベクターマシンの数式を処理するのに要する時間が増大する。そのパラメータの値を小さくすれば計算時間は短くなるが、すべての実験点の結果を正しく識別できる識別境界を作れないことが起きる。
そこで該当するパラメータの値を、最初は小さなものにしておいて計算時間の削減をはかる。そして識別境界を決定するステップにおいて、その時点までに得られている実験点による結果を、完全に分離する識別境界を得ることが出来なくなった時点で該当するパラメータの値を、完全に分離できるようになるまで増やすように構成する。同時に完全に分離できなくなる直前まで減らすように構成する。これにより実験点候補の選択に要する計算時間が短いロボットの作業動作最適化装置を得ることができる効果がある。
When using a support vector machine as a model, several parameters of the support vector machine can be adjusted. Simply put, the expressive power of the identification boundary can be adjusted. For example, when it is desired to draw a complicated identification boundary, a certain parameter value may be increased. However, as a disadvantage, the time required to process the support vector machine formula increases. If the value of the parameter is reduced, the calculation time is shortened, but it may not be possible to create an identification boundary that can correctly identify the results of all experimental points.
Therefore, the value of the corresponding parameter is initially made small to reduce the calculation time. And in the step of determining the identification boundary, the value of the corresponding parameter can be completely separated when it becomes impossible to obtain the identification boundary that completely separates the result of the experimental points obtained up to that point. Configure to increase until At the same time, it is configured to reduce until just before it can not be completely separated. Accordingly, there is an effect that it is possible to obtain a robot work motion optimization device that requires a short calculation time for selecting an experimental point candidate.
以上のように、実施の形態1のロボットの作業動作最適化装置によれば、ロボットとロボットの周辺作業環境とからなるロボット部と、入力された作業指令に従ってロボット部を動作させるロボットコントローラ部と、ロボット部の動作結果を観測し、動作結果が適切なものであるかを評価する作業結果評価部と、ロボット部の動作が最も好ましいものになると推定される作業指令の候補を発生させる改良作業指令候補発生部と、改良作業指令候補発生部により発生させた作業指令候補に基づいて、ロボットコントローラ部に対して作業指令を出力する作業指示部とを備え、改良作業指令候補発生部は、作業指令の候補を発生させたことによるロボット部の動作状態に対する作業結果評価部の評価結果に基づいて新たな作業指令を発生させ、これを繰り返すことで、最適化された作業指令を求めるようにしたので、少ない作業試行数で迅速に最良の作業指令を自動的に決定することができる。 As described above, according to the robot operation optimization device of the first embodiment, the robot unit including the robot and the surrounding work environment of the robot, the robot controller unit that operates the robot unit according to the input operation command, An operation result evaluation unit that observes the operation result of the robot unit and evaluates whether the operation result is appropriate, and an improvement operation that generates candidate operation commands that are estimated to be the most preferable operation of the robot unit A command candidate generation unit and a work instruction unit that outputs a work command to the robot controller unit based on the work command candidate generated by the improved work command candidate generation unit. A new work command is generated based on the evaluation result of the work result evaluation unit for the operation state of the robot unit due to the generation of the command candidate, By repeating Les, since to obtain the optimized work order, it is possible to automatically determine quickly best work command with less work number of trials.
また、実施の形態1のロボットの作業動作最適化装置によれば、改良作業指令候補発生部は、ロボット部におけるロボット自体とロボットの周辺環境物体の干渉チェックと作業動作時間の算出を行うためのシステムモデルを有するシステムモデル部と、作業結果評価部からのロボット部の動作結果の観測に基づく評価結果を用いてシステムモデルを更新するシステムモデル再構成部と、ある時点でのシステムモデルを用いてロボット部の動作が最も好ましいものになると推定される作業指令の候補を発生させる作業指令候補最適化部とを備えたので、実際の動作結果が反映されたシステムモデルに基づいて実験点候補を選択するため、迅速に最良の作業指令を決定することができる。なお、ロボットの動作はいわゆるロボットシミュレータ内で実施し、同シミュレータ内に構築された環境モデルとロボットモデルの間で干渉チェック演算を行うことで干渉チェックを行うよう構成しても、実際のロボットの手先,あるいは腕各部に距離センサを取り付ける、または関節トルクセンサないし関節トルク推定演算により、実際のロボットが実際の環境下で動作しているときに環境とロボットが接触したことを検知して干渉チェックをするよう構成しても、同等の効果が得られる。 In addition, according to the robot work operation optimizing apparatus of the first embodiment, the improved work command candidate generation unit performs the interference check between the robot itself and the surrounding environment object of the robot and the calculation of the work operation time in the robot unit. Using a system model unit that has a system model, a system model reconfiguration unit that updates the system model using an evaluation result based on observation of the operation result of the robot unit from the work result evaluation unit, and a system model at a certain point in time It has a work command candidate optimization unit that generates candidate work commands that are estimated to be the most favorable motion of the robot part, so it selects experiment point candidates based on the system model that reflects the actual motion results Therefore, the best work command can be quickly determined. Even if the robot is operated in a so-called robot simulator and the interference check is performed by performing an interference check operation between the environment model built in the simulator and the robot model, A distance sensor is attached to each hand or arm, or a joint torque sensor or joint torque estimation calculation is used to detect that the actual robot is in contact with the environment and check for interference. Even if configured so as to achieve the same effect, the same effect can be obtained.
さらに、上記は、ロボットが障害物と干渉することを避ける例について述べてきたが、別の形態にすることもできる。ロボットとビジョンセンサを組合せたシステムにおいて、固定的に設置されたビジョンセンサが対象物を撮像する際、ロボットは、ロボットのボディがビジョンセンサの視界に入らない位置に移動する必要がある。つまり、ロボットがビジョンセンサの撮像を妨げないように、ビジョンセンサの視野の外に移動し、そこで待機している必要がある。ビジョンセンサによる把持対象物の撮像が終了すると、ロボットは、その作業対象物を把持するため、再びビジョンセンサの視野内に移動して、把持動作を行うことになる。このとき、ロボットが、ビジョンセンサの視野のぎりぎり外側で待機していることが、全体の作業時間を短縮するのに有利であると考えられる。すなわち、ビジョンセンサの視野内に入っているか、否かが、先に述べた干渉チェックと同等の判定であるとして、処理することによって、ビジョンセンサの干渉を避けながら、短いタクトタイムで動作できる作業軌道が得られる効果がある。 Furthermore, while the above has been described with respect to an example where the robot avoids interference with obstacles, other forms may be employed. In a system in which a robot and a vision sensor are combined, when a vision sensor installed in a fixed manner captures an object, the robot needs to move to a position where the body of the robot does not enter the field of vision of the vision sensor. In other words, the robot needs to move out of the field of view of the vision sensor and be on standby so as not to interfere with the imaging of the vision sensor. When the imaging of the grasped object by the vision sensor is completed, the robot moves again within the field of view of the vision sensor and performs a grasping operation in order to grasp the work object. At this time, it is considered that it is advantageous for shortening the entire working time that the robot is waiting outside the visual field of the vision sensor. That is, it is possible to operate in a short tact time while avoiding the interference of the vision sensor by processing, assuming that it is the same judgment as the interference check described above whether it is in the vision sensor field of view or not. There is an effect that an orbit is obtained.
実施の形態2.
実施の形態2の図面上の構成は実施の形態1と同様であるため、図1を援用して説明する。
ロボットの作業指令は、通常、ロボット言語と呼ばれるプログラミング言語の一種により記述される。その文法はBASIC言語のそれを踏襲するものが多い。ロボット作業には、それら言語の各行に割り当てられる。数値演算などロボット作業以外の情報も記述されているが、ここではロボットの作業に関する記述、および周辺機器との通信に関する指令のみに着目する。
Embodiment 2. FIG.
Since the configuration of the second embodiment on the drawing is the same as that of the first embodiment, FIG.
A robot work command is usually described in a kind of programming language called a robot language. The grammar often follows that of the BASIC language. Robot work is assigned to each line of those languages. Information other than the robot operation such as numerical calculation is also described, but here, only the description regarding the robot operation and the command regarding the communication with the peripheral device are focused.
本実施の形態では、ロボット部1が作業を行う度に、作業結果評価部3において、各作業について、それの実行回数、実行に要する時間を記録する。この記録は、ロボット実機を実際の環境下で動作させた状態で行われる.その記録に基づいて、改良作業指令候補発生部4では、実行に要する時間×実行回数の積値を集計計算し、大きいものから順に並べる。
尚、このランキングは作業者に提示することが可能であり、自動最適化の観点からは外れるが、ランキング上位の作業について、ロボットによる作業から専用工具作業、専用加工装置への置き換えをしたほうがよいかどうかを検討することもできる。
In the present embodiment, each time the
Note that this ranking can be presented to the operator and is out of the viewpoint of automatic optimization. However, it is better to replace the work at the top of the ranking from robot work to dedicated tool work or dedicated processing equipment. You can also consider whether.
さて、本題の自動的な作業動作の改良であるが、本実施の形態では、改良作業指令候補発生部4は、作業結果評価部3で観測された動作の手順各々の実行時間の情報に基づいて、作業実行に支障がない限り、全体の動作におけるタクトタイムを短縮するよう動作の手順を入れ替えて作業指令を発生させる。具体的には、次のような項目が当てはまるか否かを順に判定し、当てはまる場合には実際に作業動作の改良を実施する。
In the present embodiment, the improvement work command
(1)実行頻度の高い動作の最適化
実行される頻度の高い作業動作について、実施の形態1に示した方法を用いて、より高速な作業動作に向かって改良していく。これは、例えば障害物ぎりぎりを通る動作を実現することに相当する。
(1) Optimization of operation with high execution frequency Using the method described in the first embodiment, work operation with high execution frequency is improved toward higher-speed operation. This corresponds to, for example, realizing an operation that passes through an obstacle.
(2)複合分岐の最適化
例えば、上流工程からのワーク到着待ち位置がプログラムされており、上流工程から到着する実際の位置がばらつくという状況において、作業動作を重ねていくと、統計的に実際の到着位置の確率分布が得られる。この分布の中心にワーク到着待ち位置を移動させる。
あるいは、到着するワークが複数種類あり、それをハンドリングできるハンドがそれぞれ異なる場合にハンドを付け替える必要がある。作業動作を重ねていくと、統計的に実際の到着種類の確率分布および到着順序に関する条件付確率が得られる。この分布に従って予めハンドを装着しておくようにロボットプログラムを書き換える。
(2) Optimization of compound branch For example, in the situation where the work arrival waiting position from the upstream process is programmed and the actual position arriving from the upstream process varies, it is statistically Probability distribution of arrival positions is obtained. The workpiece arrival waiting position is moved to the center of this distribution.
Alternatively, when there are a plurality of types of workpieces that arrive and the hands that can handle them are different, it is necessary to change the hands. As the work operations are repeated, the probability distribution of the actual arrival type and the conditional probability regarding the arrival order are obtained statistically. According to this distribution, the robot program is rewritten so that the hand is attached in advance.
(3)条件分岐の判定処理の最適化
加工後の検査など、状況判断にある程度の時間がかかる場合がある。観測された分岐確率が真か偽かは統計的に確率が定まってくる。この確率に応じて判定が早く済む検査動作へと切り替えていく。あるいは複数の検査工程がある場合に、総合的な最終判定結果の確率が高い検査順序を生成し、これを実現する作業動作をプログラミングし直す。
(3) Optimization of conditional branch decision processing It may take some time to judge the situation, such as inspection after machining. The probability is statistically determined whether the observed branching probability is true or false. In accordance with this probability, the operation is switched to an inspection operation that can be quickly determined. Alternatively, when there are a plurality of inspection processes, an inspection sequence with a high probability of a comprehensive final determination result is generated, and a work operation for realizing this is reprogrammed.
(4)実行順序の交換
観測された作業結果情報に基づき、トータルで実行が早く終わる順序に交換する。周辺機器からの作業完了待ち時間の間に、先に出来る作業を済ませておくよう、順序を交換する。交換して意味があるかどうかは、観測されたそれぞれの作業時間から判断できる。
(4) Execution order exchange Based on the observed work result information, the execution order is exchanged in order that finishes earlier. The order is changed so that the work that can be done first is completed during the work completion waiting time from the peripheral device. Whether it is meaningful to exchange can be judged from each observed work time.
(5)作業のインライン化
ハンドを付け替える必要がある作業を、予め同じハンドで複数ワークを作業してバッファエリアに置いておく、何度も使う冶具は組み立てておいて使いまわすなどが実現されるようロボットプログラムを書き換える。
(5) Work in-line The work that needs to be changed can be done in advance by placing multiple workpieces in the buffer area with the same hand in advance, and assembling and reusing jigs that are used many times. Rewrite the robot program.
(6)資源割り当て最適化
仮置き台の使用最適化、ダブルハンド使用時の指の割付の最適化、プレスなど専用機工程の割り当て最適化を実施する。
(6) Resource allocation optimization Optimization of temporary table use, optimization of finger assignment when using double hands, and optimization of dedicated machine processes such as pressing.
改良作業指令候補発生部4は、以上の項目を実施した結果を改良作業指令として、作業指示部5に出力する。作業指示部5からロボットコントローラ部2に作業指令が出力され、ロボット部1が動作し、以下、これを繰り返す。
繰り返しの終了条件であるが、タクトタイムの更新が長らく行われなくなったとき、作業指令候補最適化部8における動作において、Afh,Afgの大きさが予め定めたある値より小さくなったときに終了することにする。
The improved work command
Although it is an end condition for repetition, when the tact time is not updated for a long time, when the magnitudes of A fh and A fg become smaller than a predetermined value in the operation in the work command candidate optimization unit 8 I will end it.
以上のように、実施の形態2のロボットの作業動作最適化装置によれば、改良作業指令候補発生部は、作業指令をロボットプログラミング言語により一連の動作の手順を羅列して作成すると共に、作業結果評価部で観測された動作の手順各々の実行時間の情報に基づいて、作業実行に支障がない限り、全体の動作におけるタクトタイムを短縮するよう動作の手順を入れ替えて作業指令を発生するようにしたので、少ない作業試行数で迅速に最良の作業指令を自動的に決定することのできるロボットの作業動作改良装置が得られる効果がある。 As described above, according to the robot work motion optimizing device of the second embodiment, the improved work command candidate generation unit creates a work command by enumerating a series of motion procedures in the robot programming language, Based on the information on the execution time of each operation procedure observed by the result evaluation unit, unless there is a hindrance to work execution, the operation procedure is changed so as to shorten the tact time in the entire operation so that a work command is generated. As a result, there is an effect of obtaining a robot work motion improvement device capable of automatically determining the best work command quickly and with a small number of work trials.
1 ロボット部、2 ロボットコントローラ部、3 作業結果評価部、4 改良作業指令候補発生部、5 作業指示部、6 システムモデル部、7 システムモデル再構成部、8 作業指令候補最適化部。
DESCRIPTION OF
Claims (3)
入力された作業指令に従って前記ロボット部を動作させるロボットコントローラ部と、
前記ロボット部の動作結果を観測し、当該動作結果が適切なものであるかを評価する作業結果評価部と、
前記ロボット部の動作が最も好ましいものになると推定される作業指令の候補を発生させる改良作業指令候補発生部と、
前記改良作業指令候補発生部により発生させた作業指令候補に基づいて、前記ロボットコントローラ部に対して作業指令を出力する作業指示部とを備え、
前記改良作業指令候補発生部は、作業指令の候補を発生させたことによるロボット部の動作状態に対する前記作業結果評価部の評価結果に基づいて新たな作業指令を発生させ、これを繰り返すことで、最適化された作業指令を求めることを特徴とするロボットの作業動作最適化装置。 A robot section composed of a robot and a surrounding work environment of the robot;
A robot controller for operating the robot in accordance with the input work command;
An operation result evaluation unit that observes the operation result of the robot unit and evaluates whether the operation result is appropriate;
An improved work command candidate generating unit for generating a work command candidate that is estimated to be the most preferable operation of the robot unit;
A work instruction unit that outputs a work command to the robot controller unit based on the work command candidate generated by the improved work command candidate generation unit;
The improved work command candidate generation unit generates a new work command based on the evaluation result of the work result evaluation unit for the operation state of the robot unit caused by generating the work command candidate, and repeats this, A robot work motion optimizing device characterized by obtaining an optimized work command.
ロボット部におけるロボット自体と当該ロボットの周辺環境物体の干渉チェックと作業動作時間の算出を行うためのシステムモデルを有するシステムモデル部と、
作業結果評価部からの前記ロボット部の動作結果の観測に基づく評価結果を用いて前記システムモデルを更新するシステムモデル再構成部と、
ある時点でのシステムモデルを用いて前記ロボット部の動作が最も好ましいものになると推定される作業指令の候補を発生させる作業指令候補最適化部とを備えたことを特徴とする請求項1記載のロボットの作業動作最適化装置。 The improvement work command candidate generator is
A system model unit having a system model for performing interference check and calculation of work operation time between the robot itself and the surrounding environment object of the robot in the robot unit;
A system model reconfiguration unit that updates the system model using an evaluation result based on observation of an operation result of the robot unit from a work result evaluation unit;
The work command candidate optimizing unit for generating a work command candidate that is estimated to be the most preferable operation of the robot unit using a system model at a certain point in time. Robot work motion optimization device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007307281A JP5137537B2 (en) | 2007-11-28 | 2007-11-28 | Robot work motion optimization device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007307281A JP5137537B2 (en) | 2007-11-28 | 2007-11-28 | Robot work motion optimization device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009125920A true JP2009125920A (en) | 2009-06-11 |
JP5137537B2 JP5137537B2 (en) | 2013-02-06 |
Family
ID=40817340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007307281A Active JP5137537B2 (en) | 2007-11-28 | 2007-11-28 | Robot work motion optimization device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5137537B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016140958A (en) * | 2015-02-03 | 2016-08-08 | キヤノン株式会社 | Offline teaching device, offline teaching method, and robot system |
WO2018180004A1 (en) * | 2017-03-30 | 2018-10-04 | シチズン時計株式会社 | Control device for work machine |
JP2019202404A (en) * | 2018-05-25 | 2019-11-28 | 川崎重工業株式会社 | Robot system and robot control method |
WO2019225746A1 (en) * | 2018-05-25 | 2019-11-28 | 川崎重工業株式会社 | Robot system and supplemental learning method |
US10730182B2 (en) | 2017-03-31 | 2020-08-04 | Fanuc Corporation | Action information learning device, robot control system and action information learning method |
JP2020185631A (en) * | 2019-05-13 | 2020-11-19 | 日立Geニュークリア・エナジー株式会社 | Simulation device, and simulation program |
JP7124947B1 (en) | 2021-11-08 | 2022-08-24 | 株式会社安川電機 | Planning Systems, Planning Methods, and Planning Programs |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6457421B2 (en) | 2016-04-04 | 2019-01-23 | ファナック株式会社 | Machine learning device, machine system, manufacturing system, and machine learning method for learning using simulation results |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04365104A (en) * | 1991-06-13 | 1992-12-17 | Toshiba Corp | Optimum course planning device and autonomously moving robot |
JP2006048372A (en) * | 2004-08-04 | 2006-02-16 | Toyota Motor Corp | Path-planning method |
JP2007280251A (en) * | 2006-04-11 | 2007-10-25 | Yaskawa Electric Corp | Mobile robot |
-
2007
- 2007-11-28 JP JP2007307281A patent/JP5137537B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04365104A (en) * | 1991-06-13 | 1992-12-17 | Toshiba Corp | Optimum course planning device and autonomously moving robot |
JP2006048372A (en) * | 2004-08-04 | 2006-02-16 | Toyota Motor Corp | Path-planning method |
JP2007280251A (en) * | 2006-04-11 | 2007-10-25 | Yaskawa Electric Corp | Mobile robot |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016140958A (en) * | 2015-02-03 | 2016-08-08 | キヤノン株式会社 | Offline teaching device, offline teaching method, and robot system |
WO2016125464A1 (en) * | 2015-02-03 | 2016-08-11 | Canon Kabushiki Kaisha | Teaching device, teaching method, and robot system |
CN107206594A (en) * | 2015-02-03 | 2017-09-26 | 佳能株式会社 | Instruct equipment, method taught and robot system |
CN107206594B (en) * | 2015-02-03 | 2020-08-11 | 佳能株式会社 | Teaching apparatus, teaching method, and robot system |
US10556342B2 (en) | 2015-02-03 | 2020-02-11 | Canon Kabushiki Kaisha | Teaching device, teaching method, and robot system |
WO2018180004A1 (en) * | 2017-03-30 | 2018-10-04 | シチズン時計株式会社 | Control device for work machine |
KR102481220B1 (en) * | 2017-03-30 | 2022-12-23 | 시티즌 도케이 가부시키가이샤 | Machine tool control device (CONTROL DEVICE FOR WORK MACHINE) |
KR20190134679A (en) * | 2017-03-30 | 2019-12-04 | 시티즌 도케이 가부시키가이샤 | CONTROL DEVICE FOR WORK MACHINE |
JPWO2018180004A1 (en) * | 2017-03-30 | 2020-02-06 | シチズン時計株式会社 | Machine tool control device |
CN110431497A (en) * | 2017-03-30 | 2019-11-08 | 西铁城时计株式会社 | The control device of lathe |
US11054809B2 (en) | 2017-03-30 | 2021-07-06 | Citizen Watch Co., Ltd. | Control device for machine tool |
TWI753130B (en) * | 2017-03-30 | 2022-01-21 | 日商西鐵城時計股份有限公司 | Control devices for working machines |
DE102018204740B4 (en) | 2017-03-31 | 2023-11-02 | Fanuc Corporation | Action information learning device, robot control system and action information learning method |
US10730182B2 (en) | 2017-03-31 | 2020-08-04 | Fanuc Corporation | Action information learning device, robot control system and action information learning method |
WO2019225746A1 (en) * | 2018-05-25 | 2019-11-28 | 川崎重工業株式会社 | Robot system and supplemental learning method |
JPWO2019225746A1 (en) * | 2018-05-25 | 2021-06-10 | 川崎重工業株式会社 | Robot system and additional learning method |
KR20210006431A (en) * | 2018-05-25 | 2021-01-18 | 카와사키 주코교 카부시키가이샤 | Robot system and additional learning methods |
JP7039389B2 (en) | 2018-05-25 | 2022-03-22 | 川崎重工業株式会社 | Robot system and robot control method |
KR102403073B1 (en) * | 2018-05-25 | 2022-05-30 | 카와사키 주코교 카부시키가이샤 | Robotic systems and further learning methods |
JP7167141B2 (en) | 2018-05-25 | 2022-11-08 | 川崎重工業株式会社 | Robot system and additional learning method |
WO2019225747A1 (en) * | 2018-05-25 | 2019-11-28 | 川崎重工業株式会社 | Robot system and robot control method |
JP2019202404A (en) * | 2018-05-25 | 2019-11-28 | 川崎重工業株式会社 | Robot system and robot control method |
JP2020185631A (en) * | 2019-05-13 | 2020-11-19 | 日立Geニュークリア・エナジー株式会社 | Simulation device, and simulation program |
JP7223630B2 (en) | 2019-05-13 | 2023-02-16 | 日立Geニュークリア・エナジー株式会社 | Simulation device and simulation program |
JP7124947B1 (en) | 2021-11-08 | 2022-08-24 | 株式会社安川電機 | Planning Systems, Planning Methods, and Planning Programs |
JP2023069759A (en) * | 2021-11-08 | 2023-05-18 | 株式会社安川電機 | Planning system, planning method, and planning program |
Also Published As
Publication number | Publication date |
---|---|
JP5137537B2 (en) | 2013-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5137537B2 (en) | Robot work motion optimization device | |
US20230060472A1 (en) | Teaching device, teaching method, and robot system | |
US10962960B2 (en) | Chip removal apparatus and information processing apparatus | |
CN110116371B (en) | Abrasive tool wear amount prediction device, machine learning device, and system | |
JP2018202564A (en) | Controller and machine learning device | |
CN110722552B (en) | Automatic route generation device | |
JP2019139755A (en) | Polishing tool wear loss prediction device, machine learning device and system | |
JP6781242B2 (en) | Controls, machine learning devices and systems | |
JP2005521127A (en) | Intelligent STEP-NC controller | |
JPWO2010092981A1 (en) | Industrial robot system | |
JP2009510574A (en) | Control behavior of machine tool or production machine or simulation method of machine behavior | |
JP6841852B2 (en) | Control device and control method | |
CN117021082A (en) | Control device and non-transitory computer readable medium | |
JP2019200661A (en) | Simulation device | |
JP2019136818A (en) | Control device and machine learning device | |
CN106557072B (en) | The aided programming method of numerically controlled processing equipment execution program | |
JP2019204369A (en) | Programmable controller and machine learning device | |
JP5641243B2 (en) | Work support system | |
CN110340884B (en) | Measuring operation parameter adjusting device, machine learning device, and system | |
JP6792184B1 (en) | Simulation systems, simulation methods, simulation programs, robot manufacturing methods, and robot systems | |
Alatartsev et al. | Improving the sequence of robotic tasks with freedom of execution | |
JP2020055095A (en) | Control device and control system | |
JP6179198B2 (en) | Planning data generation apparatus, planning data generation method, and planning data generation program | |
JP6829271B2 (en) | Measurement operation parameter adjustment device, machine learning device and system | |
JP2010046751A (en) | Moving route calculation method for multi-articular robot and robot system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121016 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5137537 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151122 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |