JP2021117699A - 制御装置、制御方法、及びモータ制御装置 - Google Patents
制御装置、制御方法、及びモータ制御装置 Download PDFInfo
- Publication number
- JP2021117699A JP2021117699A JP2020010335A JP2020010335A JP2021117699A JP 2021117699 A JP2021117699 A JP 2021117699A JP 2020010335 A JP2020010335 A JP 2020010335A JP 2020010335 A JP2020010335 A JP 2020010335A JP 2021117699 A JP2021117699 A JP 2021117699A
- Authority
- JP
- Japan
- Prior art keywords
- control
- unit
- amount
- operation amount
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000013016 learning Effects 0.000 claims abstract description 159
- 238000012937 correction Methods 0.000 claims abstract description 72
- 230000002787 reinforcement Effects 0.000 claims abstract description 52
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000012800 visualization Methods 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 49
- 238000011156 evaluation Methods 0.000 description 45
- 238000005259 measurement Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 17
- 210000002569 neuron Anatomy 0.000 description 15
- 230000008878 coupling Effects 0.000 description 10
- 238000010168 coupling process Methods 0.000 description 10
- 238000005859 coupling reaction Methods 0.000 description 10
- JCYWCSGERIELPG-UHFFFAOYSA-N imes Chemical compound CC1=CC(C)=CC(C)=C1N1C=CN(C=2C(=CC(C)=CC=2C)C)[C]1 JCYWCSGERIELPG-UHFFFAOYSA-N 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000009530 blood pressure measurement Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Feedback Control In General (AREA)
- Control Of Electric Motors In General (AREA)
Abstract
Description
図1は、本発明による制御システム1の構成を示すブロック図である。図1を用いて、制御システム1の構成を説明する。図1に示すように、本実施形態に係る制御システム1は、学習機能を有するシステムであり、制御装置10と、制御対象12と、表示部14とを備えて構成される。
第2実施形態では、制御対象12をモータ12aとしたモータ制御装置10aについて説明する。モータ12aに対応する各制御量を用いて各処理部の動作を説明する。
Claims (12)
- 操作量に応じて実動する制御対象の制御装置であって、
制御指令値と、前記制御指令値に対して前記制御対象が実動することにより生じた制御量と、を用いた強化学習により前記操作量を出力する制御モデルを学習する制御部であって、前記制御モデルを用いて前記制御指令値、及び前記制御量に基づく前記操作量を出力する制御部と、
前記制御対象を前記操作量で操作したときの所定時間後の前記制御量が所定範囲内か否かを推定する推定部と、
前記所定の範囲外の場合に、前記所定時間後の前記制御量が前記所定範囲内となる補正操作量に補正した前記操作量を出力する補正部と、
を備える制御装置。 - 前記所定の範囲外の場合における前記制御指令値、及び前記制御量を入力とし、前記補正操作量を教師データとする教師学習により前記制御モデルを学習する制御モデル学習部を更に備え、
前記制御部は、前記制御モデル学習部が学習した前記制御モデルを用いて前記操作量を出力する、請求項1に記載の制御装置。 - 前記所定の範囲内の場合における前記制御指令値、及び前記制御量を用いて、前記制御指令値と、前記制御量との偏差が小さくなるに従い大きくなる報酬値を算出し、前記報酬値が大きくなるように、前記制御モデルを強化学習により学習する強化学習部を更に備え、
前記制御部と前記制御モデル学習部は、前記強化学習部が学習した同一の前記制御モデルを用いる、請求項2に記載の制御装置。 - 前記強化学習部は、前記制御対象が実働する期間中に前記制御モデルを強化学習しており、
前記制御部と前記制御モデル学習部は、前記強化学習部が学習した前記制御モデルに逐次置き換える、請求項3に記載の制御装置。 - 前記制御モデルは、ニューラルネットワークで構成する、請求項4に記載の制御装置。
- 前記制御モデル学習部における前記制御モデルの教師有り学習は、前記報酬値が所定値以上の場合のみ、実行する、請求項5に記載の制御装置。
- 前記所定範囲は、強化学習の実行回数に応じて可変とする、請求項6に記載の制御装置。
- 前記所定範囲は、強化学習の学習進行に応じて可変とする、請求項7に記載の制御装置。
- 前記学習進行は、前記制御指令値と、前記制御指令値に対して前記制御対象が実動することにより生じた前記制御量との誤差とする、請求項8に記載の制御装置。
- 前記学習進行の状態を表示装置に可視化する可視化部を備える、請求項9に記載の制御装置。
- 操作量に応じて実動する制御対象の制御方法であって、
制御指令値と、前記制御指令値に対して前記制御対象が実動することにより生じた制御量と、を用いた強化学習により前記操作量を出力する制御モデルを学習する制御部であって、前記制御モデルを用いて前記制御指令値、及び前記制御量に基づく前記操作量を出力する制御工程と、
前記制御対象を前記操作量で操作したときの所定時間後の前記制御量が所定範囲内か否かを推定する推定工程と、
前記所定の範囲外の場合に、前記所定時間後の前記制御量が前記所定範囲内となる補正操作量に補正した前記操作量を出力する補正工程と、
を備える制御方法。 - 操作量に応じて実動するモータのモータ制御装置であって、
回転速度を指令する制御指令値と、前記制御指令値に対して前記モータが回転することにより生じた回転速度を含む制御量と、を用いた強化学習により前記操作量を出力する制御モデルを学習した制御部であって、前記制御指令値、及び前記制御量を用いて前記操作量を出力する制御部と、
前記モータを前記操作量で操作したときの所定時間後の前記制御量が所定範囲内か否かを推定する推定部と、
前記所定範囲外の場合に、前記所定時間後の前記制御量が前記所定範囲内となる補正操作量に補正した前記操作量を出力する補正部と、
を備えるモータ制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020010335A JP7467133B2 (ja) | 2020-01-24 | 2020-01-24 | 制御装置、制御方法、及びモータ制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020010335A JP7467133B2 (ja) | 2020-01-24 | 2020-01-24 | 制御装置、制御方法、及びモータ制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021117699A true JP2021117699A (ja) | 2021-08-10 |
JP7467133B2 JP7467133B2 (ja) | 2024-04-15 |
Family
ID=77174925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020010335A Active JP7467133B2 (ja) | 2020-01-24 | 2020-01-24 | 制御装置、制御方法、及びモータ制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7467133B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220317636A1 (en) * | 2021-03-31 | 2022-10-06 | Yokogawa Electric Corporation | Learning processing apparatus, control apparatus, learning processing method, control method, non-transitory computer-readable medium having learning program recorded thereon, and non-transitory computer-readable medium having control program recorded thereon |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019200453A (ja) * | 2018-05-14 | 2019-11-21 | オムロン株式会社 | 制御システム、学習データ作成装置、学習装置および判定装置 |
JP2020092490A (ja) * | 2018-12-03 | 2020-06-11 | 富士通株式会社 | 強化学習プログラム、強化学習方法、および強化学習装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4270218B2 (ja) | 2006-03-31 | 2009-05-27 | 株式会社日立製作所 | 燃焼装置を有する制御対象物の制御装置、及びボイラを有するプラントの制御装置 |
-
2020
- 2020-01-24 JP JP2020010335A patent/JP7467133B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019200453A (ja) * | 2018-05-14 | 2019-11-21 | オムロン株式会社 | 制御システム、学習データ作成装置、学習装置および判定装置 |
JP2020092490A (ja) * | 2018-12-03 | 2020-06-11 | 富士通株式会社 | 強化学習プログラム、強化学習方法、および強化学習装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220317636A1 (en) * | 2021-03-31 | 2022-10-06 | Yokogawa Electric Corporation | Learning processing apparatus, control apparatus, learning processing method, control method, non-transitory computer-readable medium having learning program recorded thereon, and non-transitory computer-readable medium having control program recorded thereon |
JP2022156797A (ja) * | 2021-03-31 | 2022-10-14 | 横河電機株式会社 | 学習処理装置、制御装置、学習処理方法、制御方法、学習プログラムおよび制御プログラム |
JP7409345B2 (ja) | 2021-03-31 | 2024-01-09 | 横河電機株式会社 | 学習処理装置、制御装置、学習処理方法、制御方法、学習プログラムおよび制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7467133B2 (ja) | 2024-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10148211B2 (en) | Machine learning apparatus and method for learning correction value in motor current control, correction value computation apparatus including machine learning apparatus and motor driving apparatus | |
JP6774637B2 (ja) | 制御装置及び制御方法 | |
Tesauro | Extending Q-learning to general adaptive multi-agent systems | |
CN110574048B (zh) | 训练动作选择神经网络 | |
JP6193961B2 (ja) | 機械の送り軸の送りの滑らかさを最適化する機械学習装置および方法ならびに該機械学習装置を備えたモータ制御装置 | |
US10416618B2 (en) | Machine learning apparatus for learning gain optimization, motor control apparatus equipped with machine learning apparatus, and machine learning method | |
CN106560997B (zh) | 机械学习装置以及电动机控制装置 | |
US11009837B2 (en) | Machine learning device that adjusts controller gain in a servo control apparatus | |
US9952574B2 (en) | Machine learning device, motor control system, and machine learning method for learning cleaning interval of fan motor | |
US20170091675A1 (en) | Production equipment including machine learning system and assembly and test unit | |
CN113168566A (zh) | 通过使用熵约束来控制机器人 | |
CN110018722B (zh) | 用于热控制的机器学习装置、系统和方法 | |
CN111665747A (zh) | 基于推断状态对物理系统的控制 | |
JP7467133B2 (ja) | 制御装置、制御方法、及びモータ制御装置 | |
WO2022192352A1 (en) | Multi-critic based enhanced vector control optimization with multi-q learning for motor control | |
US11287801B2 (en) | Control device, CNC device, and control method | |
KR20210121790A (ko) | 강화학습 기반의 분류기 학습 장치 및 방법 | |
WO2021149435A1 (ja) | 自動操縦ロボットの制御装置及び制御方法 | |
US20230176532A1 (en) | Control assist device, control device, and control assist method | |
KR20220101152A (ko) | 위치 결정 제어 장치 및 위치 결정 제어 방법 | |
JP2017033040A (ja) | Plcプログラムの最適化機能を備えた制御装置及び機械学習器 | |
Ninomiya | Dynamic sample size selection based quasi-Newton training for highly nonlinear function approximation using multilayer neural networks | |
JP2020064491A (ja) | 学習システム、学習方法、およびプログラム | |
WO2022049672A1 (ja) | 学習装置、学習方法、制御システムおよび記録媒体 | |
US20040207346A1 (en) | Linear motor comprising an improved function approximator in the controlling system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7467133 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |