JP2019164484A - 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 - Google Patents
機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 Download PDFInfo
- Publication number
- JP2019164484A JP2019164484A JP2018051219A JP2018051219A JP2019164484A JP 2019164484 A JP2019164484 A JP 2019164484A JP 2018051219 A JP2018051219 A JP 2018051219A JP 2018051219 A JP2018051219 A JP 2018051219A JP 2019164484 A JP2019164484 A JP 2019164484A
- Authority
- JP
- Japan
- Prior art keywords
- feedforward
- machine learning
- calculation unit
- feedforward calculation
- command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/404—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for compensation, e.g. for backlash, overshoot, tool offset, tool wear, temperature, machine construction errors, load, inertia
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/33—Director till display
- G05B2219/33116—Configuration of motion control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/33—Director till display
- G05B2219/33327—Self diagnostic of control system, servo system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/34—Director, elements to supervisory
- G05B2219/34013—Servocontroller
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Feedback Control In General (AREA)
- Numerical Control (AREA)
Abstract
Description
特許文献1は、位置指令値から速度指令のフィードフォワード項を計算して、位置制御部から出力される速度指令に加算する神経回路網と、速度指令値からトルク指令のフィードフォワード項を計算して、速度制御部から出力されるトルク指令に加算する神経回路網とを記載している。そして、各神経回路網は駆動系の慣性モーメントの変動及び駆動系の持つ共振特性などを学習して、最適なフォードフォワード項を演算する。
しかしながら、位置フィードフォワード制御に対する学習と速度フィードフォワード制御に対する学習とを同時に行うと、学習のための情報処理量が増大する。一方の学習制御器が位置偏差を低減すべく、位置偏差に基づいて速度指令に対するフィードフォワード項を変更しても、他方の学習制御器が位置偏差に基づいてトルク速度指令に対するフィードフォワード項を変更すると、その変更の影響を受けて位置偏差が変わる。このため、二つの学習制御器の学習が相互に干渉して、二つの学習制御器の学習のための情報処理量が増大する。
前記少なくとも二つのフィードフォワード計算部のうちの一のフィードフォワード計算部により計算されるフィードフォワード項により補正される一つの指令が、前記少なくとも二つのフィードフォワード計算部のうちの他のフィードフォワード計算部により計算されるフィードフォワード項により補正される他の指令よりも、前記サーボモータから見て内側の指令である場合、
先ず、前記一のフィードフォワード計算部の係数の最適化に係る機械学習を行い、その次に、前記一のフィードフォワード計算部の係数の最適化に係る機械学習により得られる前記一のフィードフォワード計算部の最適化された係数に基づいて、前記他のフィードフォワード計算部の係数の最適化に係る機械学習を行う機械学習装置である。
前記一の指令及び前記他の指令は、前記速度指令、前記トルク指令及び前記電流指令のうちの二つの指令であり、
前記サーボモータは前記トルク指令又は前記電流指令により駆動されてもよい。
前記一のフィードフォワード計算部は前記速度フィードフォワード計算部又は前記電流フィードフォワード計算部であり、前記他のフィードフォワード計算部は前記位置フィードフォワード計算部であってもよい。
前記状態情報に含まれる前記係数の組み合わせの調整情報を含む行動情報を前記サーボ制御装置に出力する行動情報出力手段(例えば、後述の行動情報出力部203)と、
前記状態情報に含まれる前記位置偏差に基づく、強化学習における報酬の値を出力する報酬出力手段(例えば、後述の報酬出力部2021)と、
前記報酬出力手段により出力される報酬の値と、前記状態情報と、前記行動情報とに基づいて行動価値関数を更新する価値関数更新手段(例えば、後述の価値関数更新部2022)と、
を備えてもよい。
前記少なくとも二つ以上のフィードフォワード計算部が多重ループを構成するフィードフォワード制御を用いて、工作機械又は産業機械の軸を駆動するサーボモータを制御するサーボ制御装置である。
前記少なくとも二つのフィードフォワード計算部のうちの一のフィードフォワード計算部により計算されるフィードフォワード項により補正される一つの指令が、前記少なくとも二つのフィードフォワード計算部のうちの他のフィードフォワード計算部により計算されるフィードフォワード項により補正される他の指令よりも、前記サーボモータから見て内側の指令である場合、
先ず、前記一のフィードフォワード計算部の係数の最適化に係る機械学習を行い、その次に、前記一のフィードフォワード計算部の係数の最適化に係る機械学習により得られる前記一のフィードフォワード計算部の最適化された係数に基づいて、前記他のフィードフォワード計算部の係数の最適化に係る機械学習を行う機械学習方法である。
(第1の実施形態)
図1は発明の第1の実施形態のサーボ制御システムを示すブロック図である。サーボ制御システム10は、図1に示すように、n台のサーボ制御装置100−1〜100−n、n台の機械学習装置200−1〜200−n、及びネットワーク400を備えている。なお、nは任意の自然数である。第1の実施形態の機械学習装置200−1〜200−nは、機械学習の一例として、後述するように、サーボ制御装置100−1〜100−nにおいて多重ループを構成する、位置フィードフォワード計算部109と速度フィードフォワード計算部110の係数に係る強化学習を行うものとして説明する。
なお、本発明は、これに限定されない。すなわち、本発明は位置フィードフォワード計算部109と速度フィードフォワード計算部110以外の多重ループを構成するフィードフォワード計算部に係る機械学習に対しても適用できる。また、本発明における機械学習は強化学習に限定されず、他の機械学習(例えば教師あり学習)を行う場合にも適用できる。
サーボモータ300は、サーボ制御装置の制御対象となる、例えば工作機械,ロボット,産業機械等に含まれる。サーボ制御装置100はサーボモータ300とともに、工作機械,ロボット,産業機械等の一部として設けられてもよい。
サーボ制御装置100は、位置指令作成部101、減算器102、位置制御部103、加算器104、減算器105、速度制御部106、加算器107、積分器108、位置フィードフォワード計算部109、及び速度フィードフォワード計算部110を備えている。位置フィードフォワード計算部109は微分器1091と位置フィードフォワード処理部1092とを備えている。また、速度フィードフォワード計算部110は2回微分器1101と速度フィードフォワード処理部1102とを備えている。
位置指令作成部101は位置指令値を作成し、作成した位置指令値を、減算器102、位置フィードフォワード計算部109、速度フィードフォワード計算部110、及び機械学習装置200に出力する。減算器102は位置指令値と位置フィードバックされた検出位置との差を求め、その差を位置偏差として位置制御部103及び機械学習装置200に出力する。
位置指令作成部101は、加工プログラムにより指定される加工形状となるように、送り速度を設定して位置指令値を作成する。
位置フィードフォワード計算部109の微分器1091は、位置指令値を微分して定数βを掛け、位置フィードフォワード処理部1092は微分器1091の出力に、数式1(以下に数1として示す)で示す伝達関数G(s)で示された位置フィードフォワード処理を行い、その処理結果を位置フィードフォワード項として、加算器104に出力する。数式1の係数ai、bj(i,j≧0)は位置フィードフォワード処理部1092の伝達関数の各係数である。
以上のように、サーボ制御装置100は構成される。
図3はサーボ制御装置100の制御対象500の一例となる、モータを含む工作機械の一部を示すブロック図である。
サーボ制御装置100は、サーボモータ300で連結機構302を介してテーブル303を移動させることで、テーブル303の上に搭載された被加工物(ワーク)を加工する。連結機構302は、サーボモータ300に連結されたカップリング3021と、カップリング3021に固定されるボールねじ3023とを有し、ボールねじ3023にナット3022が螺合されている。サーボモータ300の回転駆動によって、ボールねじ3023に螺着されたナット3022がボールねじ3023の軸方向に移動する。ナット3022の移動によってテーブル303が移動する。
機械学習装置200は、例えば、位置フィードフォワード処理部1092の伝達関数の係数と、速度フィードフォワード処理部1102の伝達関数の係数とを機械学習(以下、学習という)する。既に特許文献2に関する説明で述べたように、位置フィードフォワード項に対する学習と速度フィードフォワード項に対する学習とを同時に行うと、二つの学習が相互に干渉して、位置フィードフォワード制御の係数の学習と速度フィードフォワード制御の係数の学習のための情報処理量が増大する。
そこで、本実施形態では、機械学習装置200は、速度フィードフォワード計算部110の伝達関数の係数の学習と、位置フィードフォワード計算部109の伝達関数の係数の学習とは別に行い、位置フィードフォワード計算部109より内側(インナーループ)にある速度フィードフォワード計算部110の伝達関数の係数の学習を位置フィードフォワード計算部109の伝達関数の係数の学習よりも先に行う。具体的には、位置フィードフォワード計算部109の位置フィードフォワード処理部1092の伝達関数の係数を固定し、速度フィードフォワード計算部110の速度フィードフォワード処理部1102の伝達関数の係数の最適な値を学習する。その後に、機械学習装置200は、速度フィードフォワード処理部1102の伝達関数の係数を学習で得られた最適な値に固定して、位置フィードフォワード処理部1092の伝達関数の係数を学習する。
サーボモータ300から見た場合、トルク指令は速度指令を用いて作成されるために、トルク指令は速度指令よりも内側(インナー)の指令である。そのためトルク指令に含まれる速度フィードフォワード項の計算は、速度指令に含まれる位置フィードフォワード項の計算より内側(インナー)に位置する処理である。具体的には、位置フィードフォワード計算部109の出力(位置フィードフォワード項)は加算器104に入力され、速度フィードフォワード計算部110の出力(速度フィードフォワード項)は加算器107に入力される。加算器104は、減算器105、速度制御部106、及び加算器107を介してサーボモータ300に接続される。
位置フィードフォワード処理部1092の伝達関数の係数の最適化に係る学習が速度フィードフォワード処理部1102の伝達関数の係数の最適化に係る学習より先であると、後に行われる速度フィードフォワード処理部1102の伝達関数の係数の最適化に係る学習によって、速度フィードフォワード項が変わってしまう。位置偏差を充分に抑制するためには、変わった速度フィードフォワード項の条件下で位置フィードフォワード処理部1092の伝達関数の係数の最適化に係る学習を再度行う必要がでてくる。
これに対して、速度フィードフォワード処理部1102の伝達関数の係数の最適化に係る学習が位置フィードフォワード処理部1092の伝達関数の係数の最適化に係る学習より先であると、学習により最適化された速度フィードフォワード項の条件下で、位置フィードフォワード処理部1092の伝達関数の係数の最適化に係る学習を行うことができ、位置偏差の変動を抑制することができる。
このため、位置フィードフォワード計算部109より内側(インナーループ)にある速度フィードフォワード処理部1102の伝達関数の係数の学習が位置フィードフォワード処理部1092の伝達関数の係数の学習より先にした方が、位置偏差の変動を抑制し、高精度化を実現できる。
ここで、学習時の加工プログラムにより指定される加工形状は、例えば、八角形、又は八角形の角が一つ置きに円弧に置き換えられた形等である。
角の位置A2で、テーブルをY軸方向に移動するモータは、回転方向が反転し、テーブルはY軸方向に直線反転するように移動する。また、テーブルをX軸方向に移動するモータは、位置A1から位置A2及び位置A2から位置A3にかけて、同じ回転方向で、等速度で回転する。
角の位置A3で、テーブルをY軸方向に移動するモータは回転速度が速くなり、テーブルをX軸方向に移動するモータは回転速度が遅くなる。
角の位置A4で、テーブルをX軸方向に移動するモータは、回転方向が反転し、テーブルはX軸方向に直線反転するように移動する。また、テーブルをY軸方向に移動するモータは、位置A3から位置A4及び位置A4から次の角の位置にかけて、同じ回転方向で、等速度で回転する。
円弧の位置B2で、テーブルをY軸方向に移動するモータは、回転方向が反転し、テーブルはY軸方向に直線反転するように移動する。また、テーブルをX軸方向に移動するモータは位置B1から位置B3にかけて同じ回転方向で、等速度で回転する。図4に示した加工形状が八角形の場合と異なり、テーブルをY軸方向に移動するモータは位置B2の前後で円弧の加工形状が形成されるように、位置B2に向かって徐々に減速され、位置B2で回転が停止され、位置B2を過ぎると回転方向が徐々に増加していく。
角の位置B3で、テーブルをY軸方向に移動するモータは回転速度が速くなり、テーブルをX軸方向に移動するモータは回転速度が遅くなる。
円弧の位置B4で、テーブルをX軸方向に移動するモータは、回転方向が反転し、テーブルはX軸方向に直線反転するように移動する。また、テーブルをY軸方向に移動するモータは位置B3から位置B4、及び位置B4から次の角の位置にかけて同じ回転方向で、等速度で回転する。テーブルをX軸方向に移動するモータは位置B4の前後で円弧の加工形状が形成されるように、位置B4に向かって徐々に減速され、位置B4で回転が停止され、位置B4を過ぎると回転方向が徐々に増加していく。
以下の説明では機械学習装置200が強化学習を行う場合について説明するが、機械学習装置200が行う学習は特に強化学習に限定されず、例えば、教師あり学習を行う場合にも本発明は適用可能である。
教師あり学習が、完全な正解を示すのに対して、強化学習における報酬は、環境の一部の変化に基づく断片的な値であることが多い。このため、エージェントは、将来にわたっての報酬の合計を最大にするように行動を選択するように学習する。
Q学習では、或る状態Sのとき、取り得る行動Aのなかから、価値Q(S,A)の最も高い行動Aを最適な行動として選択することを目的とする。
この更新式は、状態Stにおける行動Atの価値Q(St,At)よりも、行動Atによる次の状態St+1における最良の行動の価値maxa Q(St+1,A)の方が大きければ、Q(St,At)を大きくし、逆に小さければ、Q(St,At)を小さくすることを示している。つまり、或る状態における或る行動の価値を、それによる次の状態における最良の行動の価値に近づける。ただし、その差は、割引率γと報酬rt+1のあり方により変わってくるが、基本的には、ある状態における最良の行動の価値が、それに至る一つ前の状態における行動の価値に伝播していく仕組みになっている。
「Human-level control through deep reinforcement learning」、Volodymyr Mnih1著[online]、[平成29年1月17日検索]、インターネット〈URL:http://files.davidqiu.com/research/nature14236.pdf〉
機械学習装置200は、まず速度フィードフォワード処理部1102の伝達関数の各係数ci、dj(i,j≧0)の値の学習を行い、その後に、位置フィードフォワード処理部1092の伝達関数の各係数ai、bj(i,j≧0)の値の学習を行う。以下の説明では、速度フィードフォワード処理部1102の伝達関数の各係数ci、dj(i,j≧0)の値の学習の説明が行われるが、位置フィードフォワード処理部1092の伝達関数の各係数ai、bj(i,j≧0)の値の学習も同様にして行われる。
上述した強化学習を行うために、図6に示すように、機械学習装置200は、状態情報取得部201、学習部202、行動情報出力部203、価値関数記憶部204、及び最適化行動情報出力部205を備える。学習部202は報酬出力部2021、価値関数更新部2022、及び行動情報生成部2023を備える。
状態情報取得部201は、取得した状態情報Sを学習部202に対して出力する。
なお、位置フィードフォワード計算部109の微分器1091の係数βも固定値とし、例えばβ=1とする。また、位置フィードフォワード処理部1092の係数ai、bjは例えば、初期設定値として、数式1のa0=1、a1=0、a2=0、ax=0、b0=1、b1=0、b2=0、bx=0とする。また、係数ai、bjの次元m、nを予め設定する。すなわち、aiについては0≦i≦m bjについては0≦j≦nとする。係数ai、bjの初期設定値は、上記速度フィードフォワード処理部1102の伝達関数の係数ci、djの初期設定値と同じ値を適用してもよい。
なお、係数ai、bjは及び係数ci、djは予め操作者が工作機械を調整している場合には、調整済の値を初期値として機械学習してもよい。
評価関数fとしては、例えば、
位置偏差の絶対値の積算値を算出する関数
∫|e|dt
位置偏差の絶対値に時間の重み付けをして積算値を算出する関数
∫t|e|dt
位置偏差の絶対値の2n(nは自然数)乗の積算値を算出する関数
∫e2ndt(nは自然数)
位置偏差の絶対値の最大値を算出する関数
Max{|e|}
等を適用することができる。
なお、行動情報Aにより修正された状態情報S´に係る修正後の速度フィードフォワード計算部110に基づいて動作したサーボ制御装置100の位置偏差の値f(PD(S´))が、行動情報Aにより修正される前の状態情報Sに係る修正前の速度フィードフォワード計算部110に基づいて動作したサーボ制御装置100の位置偏差の値f(PD(S))と等しい場合は、報酬出力部2021は、報酬の値をゼロとする。
価値関数Qの更新は、オンライン学習で行ってもよく、バッチ学習で行ってもよく、ミニバッチ学習で行ってもよい。
オンライン学習とは、或る行動Aを現在の状態Sに適用することにより、状態Sが新たな状態S´に遷移する都度、即座に価値関数Qの更新を行うという学習方法である。また、バッチ学習とは、或る行動Aを現在の状態Sに適用することにより、状態Sが新たな状態S´に遷移することを繰り返すことにより、学習用のデータを収集し、収集した全ての学習用データを用いて、価値関数Qの更新を行うという学習方法である。更に、ミニバッチ学習とは、オンライン学習と、バッチ学習の中間的な、ある程度学習用データが溜まるたびに価値関数Qの更新を行うという学習方法である。
より具体的には、最適化行動情報出力部205は、価値関数記憶部204が記憶している価値関数Qを取得する。この価値関数Qは、上述したように価値関数更新部2022がQ学習を行うことにより更新したものである。そして、最適化行動情報出力部205は、価値関数Qに基づいて、行動情報を生成し、生成した行動情報をサーボ制御装置100(速度フィードフォワード計算部110の速度フィードフォワード処理部1102)に対して出力する。この最適化行動情報には、行動情報出力部203がQ学習の過程において出力する行動情報と同様に、速度フィードフォワード処理部1102の各係数ci、djを修正する情報が含まれる。
機械学習装置200は、以上の動作で、速度フィードフォワード処理部1102の係数ci、djの最適化を行った後に、速度フィードフォワード処理部1102の係数の学習と最適化と同様に、位置フィードフォワード処理部1092の係数ai、bjの学習及び最適化を行い、位置偏差の値を低減するように動作することができる。
以上のように、本発明に係る機械学習装置200を利用することで、サーボ制御装置100の速度フィードフォワード計算部110及び位置フィードフォワード計算部109のパラメータ調整を簡易化することができる。
これらの機能ブロックを実現するために、サーボ制御装置100、及び機械学習装置200のそれぞれは、CPU(Central Processing Unit)等の演算処理装置を備える。また、サーボ制御装置100、及び機械学習装置200のそれぞれは、アプリケーションソフトウェアやOS(Operating System)等の各種の制御用プログラムを格納したHDD(Hard Disk Drive)等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのRAM(Random Access Memory)といった主記憶装置も備える。
なお、ステップS18はオンライン更新を例示しているが、オンライン更新に替えてバッチ更新又はミニバッチ更新に置き換えてもよい。
次に、図8のフローチャートを参照して、最適化行動情報出力部205による最適化行動情報の生成時の動作について説明をする。
まず、ステップS21において、最適化行動情報出力部205は、価値関数記憶部204に記憶している価値関数Qを取得する。価値関数Qは、上述したように価値関数更新部2022がQ学習を行うことにより更新したものである。
機械学習装置200は、以上の動作で、速度フィードフォワード処理部1102の係数ci、djの最適化を行った後に、同様な動作で、位置フィードフォワード処理部1092の係数ai、bjの学習及び最適化を行う。
しかし、報酬の値の算出にあたっては位置偏差以外の他の要素を加えてもよい。
例えば、機械学習装置200に、減算器102の出力となる位置偏差の他に、加算器104の出力となる位置フォワード制御された速度指令、位置フォワード制御された速度指令と速度フィードバックとの差、及び加算器107の出力となる位置フォワード制御されたトルク指令等の少なくとも1つが加えられてもよい。
第1の実施形態では、位置フィードフォワード計算部109と、速度フィードフォワード計算部110とを有するサーボ制御装置に対する機械学習装置について説明した。本実施形態は、位置フィードフォワード計算部及び速度フィードフォワード計算部に加えて、電流フォードフォワード計算部を有するサーボ制御装置に対する機械学習装置について説明する。
減算器111は、加算器107から出力された、速度フィードフォワード制御されたトルク指令値と、電流フィードバックされた電流検出値との差をとり、その差を電流偏差として電流制御部112に出力する。電流制御部112は電流偏差に基づいて電流指令値を求め、その電流指令値を加算器113に出力する。
電流フィードフォワード計算部114は、位置指令値に基づいて電流指令値を求め、加算器113に出力する。加算器113は、電流指令値と電流フィードフォワード計算部114の出力値とを加算して、フィードフォワード制御された電流指令値としてサーボモータ300に出力してサーボモータ300を駆動する。
機械学習装置200は、速度フィードフォワード処理部1102の各係数ci、djと同様に、電流フィードフォワード計算部114の伝達関数の係数を学習する。
しかし、本発明は、線形動作時の学習に限定されず、非線形動作の学習に適用することもできる。例えば、バックラッシュ補正のために、位置フィードフォワード計算部と速度フィードフォワード計算部の係数の最適化に係る学習、又は位置フィードフォワード計算部と速度フィードフォワード計算部と電流フィードフォワード計算部の最適化に係る学習フィードフォワード計算部の係数の最適化に係る学習を行う場合、前述した加工形状の位置A2と位置A4、及び位置B2と位置B4における、位置指令値と積分器108から出力される検出位置との差を位置偏差として抽出して、これを判定情報として報酬を与えて強化学習することができる。
位置A2と位置A4、及び位置B2と位置B4とでは、Y軸方向又はX軸方向のサーボモータの回転方向は反転して非線形動作となってバックラッシが生じ、機械学習装置は非線形動作時のフィードフォワード処理部の伝達関数の係数の学習を行うことができる。
上述した実施形態では、機械学習装置200を、サーボ制御装置100とは別体の装置により構成したが、機械学習装置200の機能の一部又は全部をサーボ制御装置100により実現するようにしてもよい。
上述した実施形態では、機械学習装置200とサーボ制御装置100とが1対1の組として通信可能に接続されているが、例えば1台の機械学習装置200が複数のサーボ制御装置100とネットワーク400を介して通信可能に接続され、各サーボ制御装置100の機械学習を実施するようにしてもよい。
その際、機械学習装置200の各機能を、適宜複数のサーバに分散する、分散処理システムとしてもよい。また、クラウド上で仮想サーバ機能等を利用して、機械学習装置200の各機能を実現してもよい。
また、複数の同じ型名、同一仕様、又は同一シリーズのサーボ制御装置100−1〜100−nとそれぞれ対応する複数の機械学習装置200−1〜200−nがあった場合に、各機械学習装置200−1〜200−nにおける学習結果を共有するように構成するようにしてもよい。そうすることで、より最適なモデルを構築することが可能となる。
100 サーボ制御装置
101 位置指令作成部
102 減算器
103 位置制御部
104 加算器
105 減算器
106 速度制御部
107 加算器
108 積分器
109 位置フィードフォワード計算部
110 速度フィードフォワード計算部
200 機械学習装置
201 状態情報取得部
202 学習部
203 行動情報出力部
204 価値関数記憶部
205 最適化行動情報出力部
300 モータ
400 ネットワーク
Claims (11)
- 少なくとも二つ以上のフィードフォワード計算部が多重ループを構成するフィードフォワード制御を用いて、工作機械又は産業機械の軸を駆動するサーボモータを制御するサーボ制御装置に対して、前記少なくとも二つ以上のフィードフォワード計算部の係数の最適化に係る機械学習を行う機械学習装置であって、
前記少なくとも二つのフィードフォワード計算部のうちの一のフィードフォワード計算部により計算されるフィードフォワード項により補正される一つの指令が、前記少なくとも二つのフィードフォワード計算部のうちの他のフィードフォワード計算部により計算されるフィードフォワード項により補正される他の指令よりも、前記サーボモータから見て内側の指令である場合、
先ず、前記一のフィードフォワード計算部の係数の最適化に係る機械学習を行い、その次に、前記一のフィードフォワード計算部の係数の最適化に係る機械学習により得られる前記一のフィードフォワード計算部の最適化された係数に基づいて、前記他のフィードフォワード計算部の係数の最適化に係る機械学習を行う機械学習装置。 - 前記少なくとも二つ以上のフィードフォワード計算部は、位置指令に基づいて速度指令の第1のフィードフォワード項を計算する位置フィードフォワード計算部、位置指令に基づいてトルク指令の第2の第2のフィードフォワード項を計算する速度フィードフォワード計算部、及び位置指令に基づいて電流指令の第3のフィードフォワード項を計算する電流フィードフォワード計算部のうちの少なくとも二つのフィードフォワード計算部であり、
前記一の指令及び前記他の指令は、前記速度指令、前記トルク指令及び前記電流指令のうちの二つの指令であり、
前記サーボモータは前記トルク指令又は前記電流指令により駆動される、請求項1に記載の機械学習装置。 - 前記一のフィードフォワード計算部は前記速度フィードフォワード計算部であり、前記他のフィードフォワード計算部は前記位置フィードフォワード計算部である、請求項2に記載の機械学習装置。
- 前記サーボ制御装置は、前記位置フィードフォワード計算部、前記速度フィードフォワード計算部、及び前記電流フィードフォワード計算部を備え、
前記一のフィードフォワード計算部は前記速度フィードフォワード計算部又は前記電流フィードフォワード計算部であり、前記他のフィードフォワード計算部は前記位置フィードフォワード計算部である、請求項2に記載の機械学習装置。 - 前記他のフィードフォワード計算部の伝達関数の係数の初期設定値は、前記一のフィードフォワード計算部の伝達関数の係数の初期設定値と同じ値とする、請求項1から4のいずれか1項に記載の機械学習装置。
- 所定の加工プログラムを前記サーボ制御装置に実行させることにより、少なくとも位置偏差を含むサーボ状態と、前記一又は他のフィードフォワード計算部の伝達関数の係数の組み合わせと、を含む状態情報を、前記サーボ制御装置から取得する状態情報取得部と、
前記状態情報に含まれる前記係数の組み合わせの調整情報を含む行動情報を前記サーボ制御装置に出力する行動情報出力部と、
前記状態情報に含まれる前記位置偏差に基づく、強化学習における報酬の値を出力する報酬出力部と、
前記報酬出力部により出力される報酬の値と、前記状態情報と、前記行動情報とに基づいて行動価値関数を更新する価値関数更新部と、
を備える請求項1から5のいずれか1項に記載の機械学習装置。 - 前記報酬出力部は、前記位置偏差の絶対値に基づいて前記報酬の値を出力する請求項6に記載の機械学習装置。
- 前記価値関数更新部により更新された価値関数に基づいて、前記一又は他のフィードフォワード計算部の伝達関数の係数の組み合わせを生成して出力する最適化行動情報出力部を備えた請求項6又は7に記載の機械学習装置。
- 請求項1から請求項8のいずれか1項に記載の機械学習装置と、少なくとも二つ以上のフィードフォワード計算部が多重ループを構成するフィードフォワード制御を用いて、工作機械又は産業機械の軸を駆動するサーボモータを制御するサーボ制御装置と、を備えたサーボ制御システム。
- 請求項1から請求項8のいずれか1項に記載の機械学習装置と、少なくとも二つ以上のフィードフォワード計算部と、を備え、
前記少なくとも二つ以上のフィードフォワード計算部が多重ループを構成するフィードフォワード制御を用いて、工作機械又は産業機械の軸を駆動するサーボモータを制御するサーボ制御装置。 - 少なくとも二つ以上のフィードフォワード計算部が多重ループを構成するフィードフォワード制御を用いて、工作機械又は産業機械の軸を駆動するサーボモータを制御するサーボ制御装置に対して、前記少なくとも二つ以上のフィードフォワード計算部の係数の最適化に係る機械学習を行う機械学習装置の機械学習方法であって、
前記少なくとも二つのフィードフォワード計算部のうちの一のフィードフォワード計算部により計算されるフィードフォワード項により補正される一つの指令が、前記少なくとも二つのフィードフォワード計算部のうちの他のフィードフォワード計算部により計算されるフィードフォワード項により補正される他の指令よりも、前記サーボモータから見て内側の指令である場合、
先ず、前記一のフィードフォワード計算部の係数の最適化に係る機械学習を行い、その次に、前記一のフィードフォワード計算部の係数の最適化に係る機械学習により得られる前記一のフィードフォワード計算部の最適化された係数に基づいて、前記他のフィードフォワード計算部の係数の最適化に係る機械学習を行う機械学習方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018051219A JP6748135B2 (ja) | 2018-03-19 | 2018-03-19 | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 |
US16/272,099 US11023827B2 (en) | 2018-03-19 | 2019-02-11 | Machine learning device, servo control device, servo control system, and machine learning method for suppressing variation in position error using feedforward control |
DE102019201758.4A DE102019201758A1 (de) | 2018-03-19 | 2019-02-12 | Vorrichtung für maschinelles lernen; vorrichtung zurservosteuerung; system zur servosteuerung; undverfahren für maschinelles lernen |
CN201910197184.8A CN110286645B (zh) | 2018-03-19 | 2019-03-15 | 机器学习装置、伺服控制装置、伺服控制系统以及机器学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018051219A JP6748135B2 (ja) | 2018-03-19 | 2018-03-19 | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019164484A true JP2019164484A (ja) | 2019-09-26 |
JP6748135B2 JP6748135B2 (ja) | 2020-08-26 |
Family
ID=67774682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018051219A Active JP6748135B2 (ja) | 2018-03-19 | 2018-03-19 | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11023827B2 (ja) |
JP (1) | JP6748135B2 (ja) |
CN (1) | CN110286645B (ja) |
DE (1) | DE102019201758A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021070971A1 (ja) * | 2019-10-11 | 2021-04-15 | 株式会社タダノ | 制御システムおよびクレーン |
DE112022000329T5 (de) | 2021-03-02 | 2023-09-14 | Fanuc Corporation | Einstellungs-Unterstützungs-Vorrichtung, Steuersystem und Verfahren zur Einstellungs-Unterstützung |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7229686B2 (ja) * | 2017-10-06 | 2023-02-28 | キヤノン株式会社 | 制御装置、リソグラフィ装置、測定装置、加工装置、平坦化装置及び物品製造方法 |
JP6536978B1 (ja) * | 2018-03-15 | 2019-07-03 | オムロン株式会社 | 学習装置、学習方法、及びそのプログラム |
JP6748135B2 (ja) * | 2018-03-19 | 2020-08-26 | ファナック株式会社 | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 |
JP2021070101A (ja) * | 2019-10-31 | 2021-05-06 | セイコーエプソン株式会社 | 制御方法および算出装置 |
JP7357537B2 (ja) * | 2019-12-24 | 2023-10-06 | 本田技研工業株式会社 | 制御装置、制御装置の制御方法、プログラム、情報処理サーバ、情報処理方法、並びに制御システム |
JP2024107945A (ja) * | 2023-01-30 | 2024-08-09 | 株式会社東芝 | 磁気ディスク装置、制御方法およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0315911A (ja) * | 1989-03-20 | 1991-01-24 | Fanuc Ltd | サーボモータのフィードフォワード制御方法 |
JPH07129535A (ja) * | 1993-11-08 | 1995-05-19 | Mitsubishi Electric Corp | 学習制御方法 |
JP2017102613A (ja) * | 2015-11-30 | 2017-06-08 | ファナック株式会社 | 機械の送り軸の送りの滑らかさを最適化する機械学習装置および方法ならびに該機械学習装置を備えたモータ制御装置 |
JP2017117366A (ja) * | 2015-12-25 | 2017-06-29 | 株式会社ジェイテクト | モータ制御装置 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0285902A (ja) | 1988-09-22 | 1990-03-27 | Mitsubishi Electric Corp | フィードフォワード制御装置 |
JPH03289385A (ja) * | 1990-04-03 | 1991-12-19 | Fanuc Ltd | モータ制御のゲイン調整方法 |
JP2923000B2 (ja) | 1990-07-27 | 1999-07-26 | 株式会社日立製作所 | サーボ制御装置 |
JP2607838B2 (ja) * | 1994-03-30 | 1997-05-07 | 東芝機械株式会社 | 射出成形機におけるバレル温度制御装置 |
US5771476A (en) * | 1995-12-29 | 1998-06-23 | Dbb Fuel Cell Engines Gmbh | Power control system for a fuel cell powered vehicle |
JP3633095B2 (ja) * | 1996-04-22 | 2005-03-30 | 富士通株式会社 | 光学的記憶装置 |
US6556980B1 (en) * | 1998-08-28 | 2003-04-29 | General Cyberation Group, Inc. | Model-free adaptive control for industrial processes |
US6965578B1 (en) * | 1998-09-30 | 2005-11-15 | Conexant Systems, Inc. | Echo canceling method and apparatus for digital data communication system |
DE60135586D1 (de) * | 2000-05-15 | 2008-10-09 | Yaskawa Denki Kitakyushu Kk | Positionerungs-Servosteuerung |
KR100408288B1 (ko) * | 2001-06-20 | 2003-12-03 | 삼성전자주식회사 | 편심 보상을 위한 디스크 드라이브 서보 시스템 및 외란보상 방법 |
JP2003084804A (ja) | 2001-09-10 | 2003-03-19 | Yaskawa Electric Corp | 最適指令作成装置 |
JP4391218B2 (ja) * | 2003-02-20 | 2009-12-24 | 三菱電機株式会社 | サーボ制御装置 |
DE112005001789T5 (de) * | 2004-07-27 | 2007-07-12 | Kabushiki Kaisha Yaskawa Denki, Kitakyushu | Servosteuervorrichtung |
US7451004B2 (en) * | 2005-09-30 | 2008-11-11 | Fisher-Rosemount Systems, Inc. | On-line adaptive model predictive control in a process control system |
CN100430844C (zh) | 2005-10-21 | 2008-11-05 | 浙江工业大学 | 多道次拉拔设备的收卷机控制装置 |
US8014881B2 (en) * | 2007-02-15 | 2011-09-06 | Asml Netherlands B.V. | Lithographic apparatus and device manufacturing method |
JP2010033172A (ja) | 2008-07-25 | 2010-02-12 | Yaskawa Electric Corp | フィードフォワード信号を用いたディジタルサーボ制御装置 |
CN103180790B (zh) * | 2010-10-27 | 2016-04-20 | 株式会社牧野铣床制作所 | 数值控制方法 |
JP5750657B2 (ja) * | 2011-03-30 | 2015-07-22 | 株式会社国際電気通信基礎技術研究所 | 強化学習装置、制御装置、および強化学習方法 |
JP5772345B2 (ja) * | 2011-07-25 | 2015-09-02 | 富士通株式会社 | パラメータ設定装置、コンピュータプログラム及びパラメータ設定方法 |
US8902535B1 (en) * | 2012-12-12 | 2014-12-02 | Western Digital Technologies, Inc. | Disk drive adapting feed-forward compensation using iterative learning control over segments of seek length |
WO2015004885A1 (ja) | 2013-07-09 | 2015-01-15 | パナソニックIpマネジメント株式会社 | 電動機の制御装置 |
JP5897645B2 (ja) | 2014-06-05 | 2016-03-30 | ファナック株式会社 | 機械先端点のたわみを低減するサーボ制御装置 |
DE102014212747A1 (de) * | 2014-07-01 | 2016-01-07 | Siemens Aktiengesellschaft | Interaktives Assistenzsystem und Verfahren zur rechnergestützten Steuerungsoptimierung für ein technisches System |
US10133246B2 (en) * | 2014-09-12 | 2018-11-20 | Canon Kabushiki Kaisha | Position control device and position control method, optical device, and image pickup apparatus |
JP6106226B2 (ja) | 2015-07-31 | 2017-03-29 | ファナック株式会社 | ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法 |
WO2017171592A1 (en) * | 2016-03-30 | 2017-10-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Control link definition in networked control system |
JP6490127B2 (ja) * | 2017-03-15 | 2019-03-27 | ファナック株式会社 | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 |
JP6474449B2 (ja) * | 2017-04-07 | 2019-02-27 | ファナック株式会社 | 調整装置及び調整方法 |
CN107276465B (zh) | 2017-06-26 | 2019-06-28 | 桂林电子科技大学 | 一种转矩-电流神经网络开关磁阻电机控制方法与系统 |
JP6538766B2 (ja) * | 2017-07-18 | 2019-07-03 | ファナック株式会社 | 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法 |
DE112017008009B4 (de) * | 2017-09-08 | 2022-03-31 | Mitsubishi Electric Corporation | Servosteuerungsvorrichtung |
JP6680756B2 (ja) * | 2017-12-26 | 2020-04-15 | ファナック株式会社 | 制御装置及び機械学習装置 |
US10439511B2 (en) * | 2018-02-03 | 2019-10-08 | S&C Electric Company | Three phase inverter grid voltage feed forward method under unbalanced operating conditions |
JP6748135B2 (ja) * | 2018-03-19 | 2020-08-26 | ファナック株式会社 | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 |
US10787984B2 (en) * | 2018-08-08 | 2020-09-29 | Caterpillar Inc. | Power system optimization calibration |
JP6860541B2 (ja) * | 2018-10-29 | 2021-04-14 | ファナック株式会社 | 出力装置、制御装置、及び評価関数値の出力方法 |
-
2018
- 2018-03-19 JP JP2018051219A patent/JP6748135B2/ja active Active
-
2019
- 2019-02-11 US US16/272,099 patent/US11023827B2/en active Active
- 2019-02-12 DE DE102019201758.4A patent/DE102019201758A1/de active Pending
- 2019-03-15 CN CN201910197184.8A patent/CN110286645B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0315911A (ja) * | 1989-03-20 | 1991-01-24 | Fanuc Ltd | サーボモータのフィードフォワード制御方法 |
JPH07129535A (ja) * | 1993-11-08 | 1995-05-19 | Mitsubishi Electric Corp | 学習制御方法 |
JP2017102613A (ja) * | 2015-11-30 | 2017-06-08 | ファナック株式会社 | 機械の送り軸の送りの滑らかさを最適化する機械学習装置および方法ならびに該機械学習装置を備えたモータ制御装置 |
JP2017117366A (ja) * | 2015-12-25 | 2017-06-29 | 株式会社ジェイテクト | モータ制御装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021070971A1 (ja) * | 2019-10-11 | 2021-04-15 | 株式会社タダノ | 制御システムおよびクレーン |
DE112022000329T5 (de) | 2021-03-02 | 2023-09-14 | Fanuc Corporation | Einstellungs-Unterstützungs-Vorrichtung, Steuersystem und Verfahren zur Einstellungs-Unterstützung |
Also Published As
Publication number | Publication date |
---|---|
US11023827B2 (en) | 2021-06-01 |
JP6748135B2 (ja) | 2020-08-26 |
CN110286645A (zh) | 2019-09-27 |
US20190287007A1 (en) | 2019-09-19 |
DE102019201758A1 (de) | 2019-09-19 |
CN110286645B (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6490127B2 (ja) | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 | |
JP6748135B2 (ja) | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 | |
CN109274314B (zh) | 机器学习装置、伺服电动机控制装置、伺服电动机控制系统以及机器学习方法 | |
JP6499720B2 (ja) | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 | |
US10824121B2 (en) | Machine learning device, servo motor controller, servo motor control system, and machine learning method | |
JP6474456B2 (ja) | 機械学習装置、サーボ制御システム及び機械学習方法 | |
JP6740277B2 (ja) | 機械学習装置、制御装置、及び機械学習方法 | |
JP6740278B2 (ja) | 機械学習装置、制御装置、及び機械学習方法 | |
JP6784722B2 (ja) | 出力装置、制御装置、及び評価関数値の出力方法 | |
US11914333B2 (en) | Machine learning device, servo control device, servo control system, and machine learning method | |
US11029650B2 (en) | Machine learning device, control system, and machine learning method | |
JP2020177257A (ja) | 機械学習装置、制御装置及び機械学習方法 | |
JP6978452B2 (ja) | 機械学習装置、制御装置、及び機械学習の探索範囲の設定方法 | |
CN111722530B (zh) | 机器学习装置、控制系统以及机器学习方法 | |
JP6740263B2 (ja) | 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法 | |
WO2022030346A1 (ja) | 制御支援装置、制御システム及び制御支援方法 | |
JP6740290B2 (ja) | 機械学習装置、制御装置、及び機械学習方法 | |
WO2021210483A1 (ja) | 機械学習装置、制御装置及び機械学習方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190710 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191021 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200714 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200806 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6748135 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |