JP2017070105A - パラメータを自動調整する機能を有する機械学習装置及び電動機制御装置 - Google Patents
パラメータを自動調整する機能を有する機械学習装置及び電動機制御装置 Download PDFInfo
- Publication number
- JP2017070105A JP2017070105A JP2015193828A JP2015193828A JP2017070105A JP 2017070105 A JP2017070105 A JP 2017070105A JP 2015193828 A JP2015193828 A JP 2015193828A JP 2015193828 A JP2015193828 A JP 2015193828A JP 2017070105 A JP2017070105 A JP 2017070105A
- Authority
- JP
- Japan
- Prior art keywords
- motor
- machine learning
- unit
- reward
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
- H02P23/00—Arrangements or methods for the control of AC motors characterised by a control method other than vector control
- H02P23/0077—Characterised by the use of a particular software algorithm
Abstract
【解決手段】本発明の一実施例に係る機械学習装置は、モータを駆動する電動機制御部が検出したモータ回転数、トルク、電流、電圧の各値を観測する状態観測部と、状態観測部が観測したモータ回転数、トルク、電流、電圧の各値からモータ出力を計算するモータ出力計算部と、モータ出力に基づいて報酬を計算する報酬計算部と、モータ回転数、トルク、電流、電圧の各値に基づいて行動価値テーブルを更新する学習部と、を有することを特徴とする。
【選択図】図1
Description
W=(2×π×T×N)/60
・電動機制御部は環境の状態を観測し、行動を決定する。
・環境は何らかの規則に従って変化し、さらに自分の行動が、環境に変化を与えることもある。
・行動するたびに報酬信号が帰ってくる。
・最大化したいのは将来にわたっての(割引)報酬の合計である。
・行動が引き起こす結果を全く知らない、または不完全にしか知らない状態から学習はスタートする。電動機制御部はモータを実際に動作して初めて、その結果をデータとして得ることが出来る。つまり、試行錯誤しながら最適な行動を探索する必要がある。
・人間の動作を真似るように事前学習(前述の教師あり学習や、逆強化学習といった手法)した状態を初期状態として、良いスタート地点から学習をスタートさせることもできる。
2 モータ出力計算部
3 報酬計算部
4 学習部
5 意思決定部
10 機械学習装置
20 電動機制御部
Claims (6)
- モータを駆動する電動機制御部が検出したモータ回転数、トルク、電流、電圧の各値を観測する状態観測部と、
前記状態観測部が観測したモータ回転数、トルク、電流、電圧の各値からモータ出力を計算するモータ出力計算部と、
前記モータ出力に基づいて報酬を計算する報酬計算部と、
前記モータ回転数、トルク、電流、電圧の各値に基づいて行動価値テーブルを更新する学習部と、
を有することを特徴とする機械学習装置。 - 前記行動価値テーブルに基づいて最適なパラメータを決定する意思決定部をさらに備える、請求項1に記載の機械学習装置。
- 前記報酬計算部が、前記モータ出力がモータの目標出力の規定範囲を超えて大きいか又は小さいときにマイナスの報酬を与え、モータの目標出力の規定範囲内であるときにプラスの報酬を与える、請求項1または2に記載の機械学習装置。
- 前記学習部が、前記状態観測部で観測された状態変数を多層構造で演算し、前記行動価値テーブルをリアルタイムで更新する、請求項1乃至3のいずれか一項に記載の機械学習装置。
- 他の機械学習装置の学習部で更新された行動価値テーブルを用いて自己の前記行動価値テーブルを更新する、請求項1乃至4のいずれか一項に記載の機械学習装置。
- 請求項1乃至5のいずれか一項の機械学習装置と、
前記電動機制御部と、
を具備する電動機制御装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015193828A JP6457369B2 (ja) | 2015-09-30 | 2015-09-30 | パラメータを自動調整する機能を有する機械学習装置及び電動機制御装置 |
CN201610819636.8A CN106560997B (zh) | 2015-09-30 | 2016-09-12 | 机械学习装置以及电动机控制装置 |
DE102016011526.2A DE102016011526B4 (de) | 2015-09-30 | 2016-09-23 | Maschinenlernsystem und Motorsteuersystem mit Funktion des automatischen Justierens eines Parameters |
US15/280,989 US10353351B2 (en) | 2015-09-30 | 2016-09-29 | Machine learning system and motor control system having function of automatically adjusting parameter |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015193828A JP6457369B2 (ja) | 2015-09-30 | 2015-09-30 | パラメータを自動調整する機能を有する機械学習装置及び電動機制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017070105A true JP2017070105A (ja) | 2017-04-06 |
JP6457369B2 JP6457369B2 (ja) | 2019-01-23 |
Family
ID=58281951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015193828A Active JP6457369B2 (ja) | 2015-09-30 | 2015-09-30 | パラメータを自動調整する機能を有する機械学習装置及び電動機制御装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10353351B2 (ja) |
JP (1) | JP6457369B2 (ja) |
CN (1) | CN106560997B (ja) |
DE (1) | DE102016011526B4 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170227950A1 (en) * | 2016-02-09 | 2017-08-10 | Fanuc Corporation | Production control system and integrated production control system |
JP2019128830A (ja) * | 2018-01-25 | 2019-08-01 | ファナック株式会社 | 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法 |
CN111483237A (zh) * | 2019-01-25 | 2020-08-04 | 精工爱普生株式会社 | 印刷装置、学习装置及学习方法 |
JP6850458B1 (ja) * | 2019-11-22 | 2021-03-31 | ディエスピーテクノロジ株式会社 | Ai搭載型モータ状態量推定システムおよびモータモデル用機械学習方法 |
KR20210108144A (ko) * | 2020-02-25 | 2021-09-02 | 서울시립대학교 산학협력단 | 학습 및 시뮬레이션 기반 lms 시스템의 제어방법 |
WO2023008082A1 (ja) * | 2021-07-26 | 2023-02-02 | パナソニックIpマネジメント株式会社 | 故障予測システム、故障予測方法、及び故障予測プログラム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11616390B2 (en) * | 2018-06-19 | 2023-03-28 | Tsinghua University | Micro-grid reconstruction method and device, micro-grid protection control center, and storage medium |
JP6806746B2 (ja) * | 2018-09-21 | 2021-01-06 | ファナック株式会社 | モータ制御装置 |
JP7256703B2 (ja) * | 2019-06-21 | 2023-04-12 | ファナック株式会社 | 制御装置、制御システム、及び機械学習装置 |
US20230070826A1 (en) * | 2021-09-08 | 2023-03-09 | Honeywell International Inc. | Autonomous instrument management |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04264664A (ja) * | 1991-02-19 | 1992-09-21 | Nippon Telegr & Teleph Corp <Ntt> | 神経回路網型パターン処理装置 |
JPH10247087A (ja) * | 1997-03-06 | 1998-09-14 | Fujitsu Ltd | 三次元空間の能動騒音/振動制御システム及びその事前学習方法 |
JP2004312894A (ja) * | 2003-04-08 | 2004-11-04 | Matsushita Electric Ind Co Ltd | モータ制御機器用コンソール |
JP2005313701A (ja) * | 2004-04-27 | 2005-11-10 | Koyo Seiko Co Ltd | 電動パワーステアリング装置 |
JP2006141092A (ja) * | 2004-11-10 | 2006-06-01 | Mitsubishi Motors Corp | モータ制御装置 |
JP2006172141A (ja) * | 2004-12-15 | 2006-06-29 | Univ Waseda | 情報処理システムおよび情報処理方法、並びにプログラム |
JP2009149425A (ja) * | 2007-12-21 | 2009-07-09 | Mitsubishi Electric Corp | エレベータ制御装置 |
WO2011040591A1 (ja) * | 2009-09-30 | 2011-04-07 | 国立大学法人長崎大学 | Dc/dcコンバータの制御装置 |
WO2015029158A1 (ja) * | 2013-08-28 | 2015-03-05 | 株式会社日立製作所 | データ変換装置およびデータ変換方法ならびにデータ変換プログラム |
JP2015167041A (ja) * | 2015-05-20 | 2015-09-24 | 大澤 昇平 | 機械学習モデル設計支援装置、機械学習モデル設計支援方法、機械学習モデル設計支援装置用プログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6252367B1 (en) | 1999-01-11 | 2001-06-26 | Fanuc Ltd. | Servo controller |
WO2002063402A1 (fr) * | 2001-02-05 | 2002-08-15 | Honda Giken Kogyo Kabushiki Kaisha | Appareil, procede et programme d'apprentissage pour agent |
JP4974330B2 (ja) | 2006-02-28 | 2012-07-11 | 株式会社日立製作所 | 制御装置 |
JP2007280054A (ja) * | 2006-04-06 | 2007-10-25 | Sony Corp | 学習装置および学習方法、並びにプログラム |
JP2010086405A (ja) | 2008-10-01 | 2010-04-15 | Fuji Heavy Ind Ltd | 制御パラメータの適合化システム |
JP5346701B2 (ja) * | 2009-06-12 | 2013-11-20 | 本田技研工業株式会社 | 学習制御システム及び学習制御方法 |
JP5733166B2 (ja) | 2011-11-14 | 2015-06-10 | 富士通株式会社 | パラメータ設定装置、コンピュータプログラム及びパラメータ設定方法 |
CN104521136B (zh) * | 2012-08-09 | 2017-03-29 | 松下知识产权经营株式会社 | 电动机控制装置、电动机控制方法以及送风装置 |
US9904889B2 (en) * | 2012-12-05 | 2018-02-27 | Applied Brain Research Inc. | Methods and systems for artificial cognition |
JP6374274B2 (ja) * | 2014-09-04 | 2018-08-15 | 国立大学法人長岡技術科学大学 | 制御装置及び減速機システム |
-
2015
- 2015-09-30 JP JP2015193828A patent/JP6457369B2/ja active Active
-
2016
- 2016-09-12 CN CN201610819636.8A patent/CN106560997B/zh active Active
- 2016-09-23 DE DE102016011526.2A patent/DE102016011526B4/de active Active
- 2016-09-29 US US15/280,989 patent/US10353351B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04264664A (ja) * | 1991-02-19 | 1992-09-21 | Nippon Telegr & Teleph Corp <Ntt> | 神経回路網型パターン処理装置 |
JPH10247087A (ja) * | 1997-03-06 | 1998-09-14 | Fujitsu Ltd | 三次元空間の能動騒音/振動制御システム及びその事前学習方法 |
JP2004312894A (ja) * | 2003-04-08 | 2004-11-04 | Matsushita Electric Ind Co Ltd | モータ制御機器用コンソール |
JP2005313701A (ja) * | 2004-04-27 | 2005-11-10 | Koyo Seiko Co Ltd | 電動パワーステアリング装置 |
JP2006141092A (ja) * | 2004-11-10 | 2006-06-01 | Mitsubishi Motors Corp | モータ制御装置 |
JP2006172141A (ja) * | 2004-12-15 | 2006-06-29 | Univ Waseda | 情報処理システムおよび情報処理方法、並びにプログラム |
JP2009149425A (ja) * | 2007-12-21 | 2009-07-09 | Mitsubishi Electric Corp | エレベータ制御装置 |
WO2011040591A1 (ja) * | 2009-09-30 | 2011-04-07 | 国立大学法人長崎大学 | Dc/dcコンバータの制御装置 |
WO2015029158A1 (ja) * | 2013-08-28 | 2015-03-05 | 株式会社日立製作所 | データ変換装置およびデータ変換方法ならびにデータ変換プログラム |
JP2015167041A (ja) * | 2015-05-20 | 2015-09-24 | 大澤 昇平 | 機械学習モデル設計支援装置、機械学習モデル設計支援方法、機械学習モデル設計支援装置用プログラム |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170227950A1 (en) * | 2016-02-09 | 2017-08-10 | Fanuc Corporation | Production control system and integrated production control system |
US9958861B2 (en) * | 2016-02-09 | 2018-05-01 | Fanuc Corporation | Production control system and integrated production control system |
JP2019128830A (ja) * | 2018-01-25 | 2019-08-01 | ファナック株式会社 | 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法 |
US10824121B2 (en) | 2018-01-25 | 2020-11-03 | Fanuc Corporation | Machine learning device, servo motor controller, servo motor control system, and machine learning method |
CN111483237A (zh) * | 2019-01-25 | 2020-08-04 | 精工爱普生株式会社 | 印刷装置、学习装置及学习方法 |
JP2020116869A (ja) * | 2019-01-25 | 2020-08-06 | セイコーエプソン株式会社 | 印刷装置、学習装置、学習方法および学習プログラム |
US11165915B2 (en) | 2019-01-25 | 2021-11-02 | Seiko Epson Corporation | Printer, learning device, and learning method |
JP6850458B1 (ja) * | 2019-11-22 | 2021-03-31 | ディエスピーテクノロジ株式会社 | Ai搭載型モータ状態量推定システムおよびモータモデル用機械学習方法 |
KR20210108144A (ko) * | 2020-02-25 | 2021-09-02 | 서울시립대학교 산학협력단 | 학습 및 시뮬레이션 기반 lms 시스템의 제어방법 |
KR102316924B1 (ko) | 2020-02-25 | 2021-10-22 | 서울시립대학교 산학협력단 | 학습 및 시뮬레이션 기반 lms 시스템의 제어방법 |
WO2023008082A1 (ja) * | 2021-07-26 | 2023-02-02 | パナソニックIpマネジメント株式会社 | 故障予測システム、故障予測方法、及び故障予測プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN106560997A (zh) | 2017-04-12 |
US20170090434A1 (en) | 2017-03-30 |
DE102016011526A1 (de) | 2017-03-30 |
US10353351B2 (en) | 2019-07-16 |
JP6457369B2 (ja) | 2019-01-23 |
DE102016011526B4 (de) | 2021-12-23 |
CN106560997B (zh) | 2021-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6457369B2 (ja) | パラメータを自動調整する機能を有する機械学習装置及び電動機制御装置 | |
JP6506219B2 (ja) | モータの電流指令を学習する機械学習器,モータ制御装置および機械学習方法 | |
JP6235543B2 (ja) | 加工機のサイクル加工時間を最適化する機械学習装置、モータ制御装置、加工機、および機械学習方法 | |
JP6174649B2 (ja) | ファンモータの予防保全機能を備えたモータ駆動装置 | |
JP6055058B1 (ja) | 機械学習器及び組み立て・試験器を備えた生産設備 | |
JP6140236B2 (ja) | 機械学習装置及び電動機用着磁装置 | |
JP6063016B1 (ja) | 電動機に対する動作指令を学習する機械学習方法および機械学習装置並びに該機械学習装置を備えた工作機械 | |
JP6193961B2 (ja) | 機械の送り軸の送りの滑らかさを最適化する機械学習装置および方法ならびに該機械学習装置を備えたモータ制御装置 | |
JP6110451B1 (ja) | 機械学習装置およびコイル製造装置 | |
JP2018097680A (ja) | 制御システム及び機械学習装置 | |
JP2017079514A (ja) | モータ電流制御における補正値を学習する機械学習装置および方法ならびに該機械学習装置を備えた補正値計算装置およびモータ駆動装置 | |
JP2017100203A (ja) | 機械学習を使った中子の溶着位置決定機能を備えたワイヤ放電加工機のシミュレーション装置 | |
WO2018215344A1 (en) | Noisy neural network layers | |
JP2017099227A (ja) | ファンモータの清掃間隔を学習する機械学習器、モータ制御システムおよび機械学習方法 | |
JP6088613B1 (ja) | ロータにおける磁石の配置位置を学習する機械学習装置および方法ならびに該機械学習装置を備えたロータ設計装置 | |
JP7448683B2 (ja) | マルチタスク強化学習におけるメタ勾配を用いたアクション選択のための学習オプション | |
JP6110452B1 (ja) | 機械学習装置およびコイル通電加熱装置 | |
JP2018130798A (ja) | 数値制御装置 | |
JP6538573B2 (ja) | 抵抗回生開始電圧および抵抗回生停止電圧の値を学習する機械学習器,モータ制御装置,モータ制御システムおよび機械学習方法 | |
Tseng et al. | Active learning on service providing model: Adjustment of robot behaviors through human feedback | |
Liu et al. | Forward-looking imaginative planning framework combined with prioritized-replay double DQN | |
Zhan et al. | Relationship explainable multi-objective optimization via vector value function based reinforcement learning | |
Guez et al. | Better optimism by bayes: Adaptive planning with rich models | |
Dutech | Self-organizing developmental reinforcement learning | |
Lira et al. | Applying Reinforcement Learning to Combine Multiple Swarm-based Algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170119 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170328 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170907 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170914 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20171110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6457369 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |