JP2017046487A - 磁束制御部を有する電動機制御装置、ならびに機械学習装置およびその方法 - Google Patents

Abstract

【課題】誘導電動機の磁束が立ち上がるまでの待ち時間をなくすことができる電動機制御装置、並びにこの電動機制御装置に用いられる機械学習装置及びその方法を実現する。【解決手段】電動機制御装置による電動機に対する励磁電流指令および励磁開始タイミングに関連付けられる条件を学習する機械学習装置１は、所定の運転モードの開始指令時点から電動機の磁束が所定の運転モードに対応する最大磁束に到達するまでに要する磁束立ち上げ待ち時間に関するデータと、電動機がオーバーヒートしたことを示すオーバーヒートアラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部１１と、状態変数によって構成される訓練データセットに従って、励磁電流指令増分及び励磁開始タイミング調整分に関連付けられる条件を学習する学習部１２とを備える。【選択図】図１

Description

本発明は、磁束制御部を有する電動機制御装置、ならびに機械学習装置およびその方法に関する。

誘導電動機では、固定子に１次電流を流して回転磁界を発生させ、回転磁界による磁束を回転子がきることにより、回転子に電圧が誘起されて２次電流が流れ、この２次電流と磁束との相互作用により、トルクを発生させる。従来より、誘導電動機の制御として、固定子に流す一次電流を、磁束方向の励磁電流と２次電流すなわちトルク電流に分けて制御するベクトル制御が用いられている。発生するトルクは、励磁電流によって発生する磁束とトルク電流の積に比例する。

誘導電動機における磁束の大きさは、定常状態においては、磁束を作るための電流である励磁電流に比例した値となるが、誘導電動機にかかる負荷や動作条件の変化に伴い磁束の大きさを変化させる場合は、励磁電流の変化に対し磁束は１次遅れで変化する。

図８は、ドリル加工機を駆動する誘導電動機にかかる負荷を説明する図である。また、図９は、図８のドリル加工機を駆動する誘導電動機における運転モード、励磁電流および磁束を例示する図であって、（Ａ）は誘導電動機の運転モード（ドリル加工）を示し、（Ｂ）は誘導電動機に流れる励磁電流およびこの励磁電流によって発生する磁束を示す。ドリル加工機８１が部材９１に対して穴９２を開ける際（ドリル加工運転モード）にドリル加工機８１を駆動する誘導電動機（図示せず）にかかる負荷は、穴開け加工が終わってドリル加工機８１のドリルを穴９２から引き抜く際やドリル加工機８を次の加工箇所まで移動させる際（ドリル移動運転モード）にドリル加工機８１を駆動する誘導電動機（図示せず）にかかる負荷よりも大きい。したがって、ドリル加工機８１が部材９１に対して穴９２を開けるときは、高負荷に対応できるよう誘導電動機の運転モードがドリル移動運転モードからドリル加工運転モードへ切り換えられる。図９（Ａ）に示すように、ドリル加工機８１による穴あけ加工をするために時刻ｔ₁でドリル加工機８１を駆動する誘導電動機をドリル加工運転モードに切り換える場合、時刻ｔ₁で励磁が開始されて電動機制御装置（図示せず）からは当該ドリル加工運転モード用の励磁電流指令が出力され、これに応じて誘導電動機には図９（Ｂ）に示すような当該ドリル加工運転モード用の励磁電流（一点鎖線で示す。）が流れる。しかしながら、励磁電流によって発生する磁束（実線で示す。）は励磁電流に対して誘導電動機の回路定数を時定数とする１次遅れで変化するので、例えば穴あけ加工に必要なトルクがフルトルクになる最大磁束が発生する時刻をｔ₂としたとき、時刻ｔ₁で励磁が開始されてから穴あけ加工に必要なトルクがフルトルクになる最大磁束に到達するまで「ｔ₂−ｔ₁」の時間を要することになる。

このように誘導電動機の磁束は励磁電流に対して遅れて確立することになるが、この１次遅れ分を考慮しないで電流制御を行うと、誘導電動機の加減速時に磁束が変化する際に、トルクが不連続に変化することで、速度波形に、うねりが生じる過渡現象が発生する場合がある。したがって、誘導電動機の制御においては、負荷や動作条件の変化に対応してすばやく磁束を立ち上げたり変更したりすることが求められる。

例えば、磁束の立ち上がりを早めるため電動機の制御方法として、運転モードの切換えなどのような磁束の立ち上げ開始タイミング時点から、定格以上の励磁電流を流す技術がある（例えば、特許文献１参照。）。

特開２００８−３０６７９８号公報

しかしながら、特許文献１に記載された発明によれば、磁束の立ち上げ開始タイミングがきた時点から磁束を立ち上げるため、磁束が立ち上がるまでの待ち時間（以下、「磁束の立ち上げ待ち時間」と称する。）を完全に無くすことができない。

また、多種多様な運転パターンにて駆動される誘導電動機の磁束を容易に最適制御することが依然として広く求められている。

従って本発明の目的は、上記問題に鑑み、誘導電動機の磁束を最適に制御し、磁束が立ち上がるまでの待ち時間をなくすことができる電動機制御装置、ならびにこの電動機制御装置に用いられる機械学習装置およびその方法を提供することにある。

上記目的を実現するために、本発明においては、電動機制御装置による電動機の磁束制御のための励磁電流指令および磁束制御による磁束の立ち上げ開始のタイミングである励磁開始タイミングに関連付けられる条件を学習する機械学習装置は、所定の運転モードの開始指令時点から電動機の磁束が所定の運転モードに対応する最大磁束に到達するまでに要する時間である磁束立ち上げ待ち時間に関するデータと、電動機がオーバーヒートしたことを示すオーバーヒートアラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部と、状態変数によって構成される訓練データセットに従って、所定の運転モードの実行前の運転モードについて予め設定されていた電動機の励磁電流指令に加えられる励磁電流指令増分、および、所定の運転モードについて予め設定されていた励磁開始タイミングを調整するための励磁開始タイミング調整分、に関連付けられる条件を学習する学習部と、を備える。

ここで、学習部は、状態変数に基づいて報酬を計算する報酬計算部と、報酬に基づいて、励磁電流指令増分および励磁開始タイミング調整分を変更するための関数を更新する関数更新部と、を備えてもよい。

また、報酬計算部は、状態観測部によりオーバーヒートアラームの発生無しを観測したときにおいて、状態観測部により観測された磁束立ち上げ待ち時間が、規定時間内であるとき報酬を増やすようにしてもよい。

また、報酬計算部は、状態観測部により観測された磁束立ち上げ待ち時間が、規定時間外であるとき報酬を減らすようにしてもよい。

また、報酬計算部は、所定の運転モードの開始後、オーバーヒートアラームの発生有りを観測したときは報酬を減らすようにしてもよい。

また、学習部は、複数の電動機制御装置に対して取得される訓練データセットに従って、条件を学習するように構成されてもよい。

また、上述の機械学習装置を備えた電動機制御装置は、所定の運転モードの開始指令が入力される運転モード指令入力部と、電動機に流れる実電流を検出する電流検出部と、電流検出部により検出された電動機の実電流から、電動機の磁束を計算する磁束計算部と、電動機の温度を測定する温度測定部と、温度測定部により測定された温度がオーバーヒート温度に達したとき、オーバーヒートアラームを出力するアラーム出力部と、磁束立ち上げ待ち時間を測定する時間測定部と、磁束計算部により算出された電動機の磁束を所定の運転モードに対応する最大磁束に追従させる磁束制御を行う磁束制御部と、学習部が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、励磁電流指令増分および励磁開始タイミング調整分を決定する意思決定部と、をさらに備え、磁束制御部は、励磁電流指令に意思決定部により決定された励磁電流指令増分を加えることにより得られた指令と、意思決定部により決定された励磁開始タイミング調整分により調整された励磁開始タイミングとに基づいて、磁束制御を行う。

ここで、学習部は、現在の状態変数によって構成される追加の訓練データセットに従って、条件を再学習して更新するように構成されてもよい。

また、電動機制御装置による電動機の磁束制御のための励磁電流指令および磁束制御による磁束の立ち上げ開始のタイミングである励磁開始タイミングに関連付けられる条件を学習する機械学習方法は、所定の運転モードの開始指令時点から電動機の磁束が所定の運転モードに対応する最大磁束に到達するまでに要する時間である磁束立ち上げ待ち時間に関するデータと、電動機がオーバーヒートしたことを示すオーバーヒートアラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測ステップと、状態変数によって構成される訓練データセットに従って、所定の運転モードの実行前の運転モードについて予め設定されていた電動機の励磁電流指令に加えられる励磁電流指令増分、および、所定の運転モードについて予め設定されていた励磁開始タイミングを調整するための励磁開始タイミング調整分、に関連付けられる条件を学習する学習ステップと、を備える。

本発明によれば、誘導電動機の磁束を最適に制御し、磁束が立ち上がるまでの待ち時間をなくすことができる電動機制御装置、ならびにこの電動機制御装置に用いられる機械学習装置およびその方法を実現することができる。

本発明によれば、動作している電動機制御装置に対し、誘導電動機の磁束が最適になるよう、高負荷運転モードの実行前の低負荷運転モードについて予め設定されていた電動機の励磁電流指令に加えられる励磁電流指令増分および高負荷運転モードについて予め設定されていた励磁開始タイミングを調整するための励磁開始タイミング調整分を、機械学習装置が自ら学習して調整していくので、多種多様な運転パターンにて駆動される誘導電動機の磁束を容易に最適制御することができる。

また、本発明によれば、誘導電動機の運転モードが低負荷運転モードから高負荷運転モードに切り換えられる時点よりも前に励磁を開始して高負荷運転モードに切り換えられた時点になったときにフルトルクが得られるような最大磁束が発生するよう、励磁電流指令増分および励磁開始タイミングを調整するための励磁開始タイミング調整分を、機械学習装置が自ら学習して調整していくので、磁束の立ち上げ待ち時間を容易に無くすことができる。

高負荷と低負荷とが交互に印加される誘導電動機では、電動機制御装置の磁束制御においては磁束を頻繁に変化させる必要があるが、本発明によれば、誘導電動機の磁束を最適に制御し、磁束が立ち上がるまでの待ち時間をなくすことができる。

本発明の実施例による機械学習装置の原理ブロック図である。 本発明の実施例による機械学習装置の動作原理を説明する図であって、（Ａ）は誘導電動機の運転モードを示し、（Ｂ）は誘導電動機に流れる励磁電流およびこの励磁電流によって発生する磁束を示す。 本発明の実施例による機械学習方法の動作フローを示すフローチャートである。 本発明の実施例による、強化学習を用いた機械学習装置の原理ブロック図である。 本発明の実施例による、強化学習を用いた機械学習方法の動作フローを示すフローチャートである。 本発明の実施例による機械学習装置を備える電動機制御装置を示す原理ブロック図である。 本発明の実施例による、強化学習を用いた機械学習装置を備える電動機制御装置の動作フローを示すフローチャートである。 ドリル加工機を駆動する誘導電動機にかかる負荷を説明する図である。 図８のドリル加工機を駆動する誘導電動機における運転モード、励磁電流および磁束を例示する図であって、（Ａ）は誘導電動機の運転モード（ドリル加工）を示し、（Ｂ）は誘導電動機に流れる励磁電流およびこの励磁電流によって発生する磁束を示す。

図１は、本発明の実施例による機械学習装置の原理ブロック図である。以降、異なる図面において同じ参照符号が付されたものは同じ機能を有する構成要素であることを意味するものとする。

本発明の実施例による機械学習装置１は、電動機制御装置による電動機の磁束制御のための励磁電流指令および磁束制御による磁束の立ち上げ開始のタイミングである励磁開始タイミングに関連付けられる条件を学習するものとして構成される。

機械学習装置１は、状態観測部１１と学習部１２とを備える。

状態観測部１１は、訓練データセットとして、所定の運転モードの開始指令時点から電動機の磁束が所定の運転モードに対応する最大磁束に到達するまでに要する時間である磁束立ち上げ待ち時間に関するデータと、電動機がオーバーヒートしたことを示すオーバーヒートアラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。最大磁束とは、駆動する誘導電動機にフルトルクを発生させる磁束である。

学習部１２は、状態変数によって構成される訓練データセットに従って、所定の運転モードの実行前の運転モードについて予め設定されていた電動機の励磁電流指令に加えられる励磁電流指令増分、および、所定の運転モードについて予め設定されていた励磁開始タイミングを調整するための励磁開始タイミング調整分を学習する。なお、訓練データセットを、複数の電動機制御装置から取得してもよく、この場合、学習部１２は、複数の電動機制御装置に対して取得される訓練データセットに従って、励磁電流指令増分および励磁開始タイミング調整分を学習する。

図２は、本発明の実施例による機械学習装置の動作原理を説明する図であって、（Ａ）は誘導電動機の運転モードを示し、（Ｂ）は誘導電動機に流れる励磁電流およびこの励磁電流によって発生する磁束を示す。

既に説明したように、誘導電動機に流れる励磁電流によって発生する磁束は、励磁電流に対して誘導電動機の回路定数を時定数とする１次遅れで変化する。本発明の実施例では、この磁束の１次遅れを考慮し、誘導電動機の運転モードが低負荷運転モードから高負荷運転モードに切り換えられる時点よりも前に励磁を開始して高負荷運転モードに切り換えられた時点になったときにフルトルクが得られるような最大磁束が発生するよう、励磁開始タイミングを調整し、かつ高負荷運転モードの前に実行される低負荷運転モードの励磁電流指令を調整する。具体的には次の通りである。

図２（Ａ）に示すように、時刻ｔ₁で誘導電動機の運転モードが低負荷運転モードから高負荷運転モードに切り換えられる場合を考える。一般に、励磁開始タイミングは、低負荷運転モードから高負荷運転モードに切り換わるタイミング（すなわち時刻ｔ₁）と同じになるように予め設定されているが、本発明の実施例では、図２（Ｂ）に示すように、誘導電動機の運転モードが低負荷運転モードから高負荷運転モードに切り換えられる時刻ｔ₁よりも時間Δｔだけ先立って励磁を開始し、高負荷運転モードに切り換えられた時点になったときにフルトルクが得られるような最大磁束が発生するようにし、磁束立ち上げ待ち時間を無くすようにする。すなわち、高負荷運転モードについて予め設定された励磁開始タイミングを、励磁開始タイミング調整分Δｔを用いて調整する。またさらに、本発明の実施例では、高負荷運転モードの前に実行される低負荷運転モードにおける励磁電流指令を、低負荷運転モードについて予め設定された励磁電流指令よりもΔＩだけ高く設定することで、低負荷運転モードにおいて誘導電動機に流れる励磁電流を従前よりも多く流れるようにし、高負荷運転モードに対応する最大磁束に到達するまでの時間が短縮されるようにする。すなわち、ΔＩを励磁電流指令増分とし、これを高負荷運転モードの前に実行される低負荷運転モードにおける励磁電流指令に加える。図２（Ｂ）では、誘導電動機に流れる励磁電流を一点破線で示し、本発明を適用した調整後の磁束を実線で示し、本発明を適用しない調整前の磁束を破線で示している。

本発明の実施例では、上述した所定の運転モード（高負荷運転モード）の実行前の運転モード（低負荷運転モード）について予め設定されていた電動機の励磁電流指令に加えられる励磁電流指令増分ΔＩおよび所定の運転モード（高負荷運転モード）について予め設定されていた励磁開始タイミングを調整するための励磁開始タイミング調整分Δｔを、機械学習装置１が自ら学習して調整していくこで、磁束立ち上げ待ち時間を無くし、誘導電動機の磁束が最適になるようにする。

図３は、本発明の実施例による機械学習方法の動作フローを示すフローチャートである。電動機制御装置による電動機の磁束制御のための励磁電流指令および磁束制御による磁束の立ち上げ開始のタイミングである励磁開始タイミングに関連付けられる条件を学習する機械学習方法は、状態観測ステップＳ１０１と、機械学習ステップＳ１０２とを備える。

状態観測ステップＳ１０１は、状態観測部１１により実行されるものであり、すなわち、所定の運転モードの開始指令時点から電動機の磁束が所定の運転モードに対応する最大磁束に到達するまでに要する時間である磁束立ち上げ待ち時間に関するデータと、電動機がオーバーヒートしたことを示すオーバーヒートアラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。

機械学習ステップＳ１０２は、学習部１２により実行されるものであり、状態変数によって構成される訓練データセットに従って、所定の運転モードの実行前の運転モードについて予め設定されていた電動機の励磁電流指令に加えられる励磁電流指令増分ΔＩ、および、所定の運転モードについて予め設定されていた励磁開始タイミングを調整するための励磁開始タイミング調整分Δｔに関連付けられる条件を学習する。

学習部１２が用いる学習アルゴリズムはどのようなものを用いてもよい。一例として、強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ）を適用した場合について説明する。強化学習は、ある環境内におけるエージェント（行動主体）が、現在の状態を観測し、取るべき行動を決定する、というものである。エージェントは行動を選択することで環境から報酬を得て、一連の行動を通じて報酬が最も多く得られるような方策を学習する。強化学習の代表的な手法として、Ｑ学習（Ｑ−ｌｅａｒｎｉｎｇ）やＴＤ学習（ＴＤ−ｌｅａｒｎｉｎｇ）が知られている。例えば、Ｑ学習の場合、行動価値関数Ｑ（ｓ，ａ）の一般的な更新式（行動価値テーブル）は式１で表される。

式１において、ｓ_tは時刻ｔにおける環境を表し、ａ_tは時刻ｔにおける行動を表す。行動ａ_tにより、環境はｓ_t+1に変わる。ｒ_t+1はその環境の変化によってもらえる報酬（ｒｅｗａｒｄ）を表し、γは割引率を表し、αは学習係数を表す。Ｑ学習を適用した場合、励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔが行動ａ_tとなる。

図４は、本発明の実施例による、強化学習を用いた機械学習装置の原理ブロック図である。学習部１２は、報酬計算部２１と関数更新部２２とを備える。報酬計算部２１は、状態変数に基づいて報酬を計算する。関数更新部２２は、報酬に基づいて、励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを変更するための関数を更新する。例えばＱ学習の場合、式１で表される行動価値関数Ｑ（ｓ，ａ）を、行動ａ_tである励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを変更するための関数として用いる。なお、これら以外の構成要素については図１に示す構成要素と同様であるので、同一の構成要素には同一符号を付して当該構成要素についての詳細な説明は省略する。

図５は、本発明の実施例による、強化学習を用いた機械学習方法の動作フローを示すフローチャートである。

まず、状態観測ステップＳ１０１において、状態観測部１１は、所定の運転モードの開始指令時点から電動機の磁束が所定の運転モードに対応する最大磁束に到達するまでに要する時間である磁束立ち上げ待ち時間に関するデータと、電動機がオーバーヒートしたことを示すオーバーヒートアラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。

次いで、報酬計算ステップＳ１０２−１において、報酬計算部２１は、ステップＳ１０１において観測された状態変数に基づいて報酬を計算する。

次いで、関数更新ステップＳ１０２−２において、関数更新部２２は、報酬に基づいて、励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを変更するための関数を更新する。

続いて、上述の機械学習装置を備える電動機制御装置について説明する。ここでは一例として、学習部の学習アルゴリズムとして強化学習を用いた場合について説明する。

図６は、本発明の実施例による機械学習装置を備える電動機制御装置を示す原理ブロック図である。ここでは、１個の誘導電動機１０４を駆動制御する電動機制御装置１０００について説明する。また、誘導電動機１０４の運転モードとして、低負荷運転モードと高負荷運転モードが交互に実行されるものとする。

電動機制御装置１０００は、その主回路構成として、順変換器１０１と、逆変換器１０２と、ＤＣリンクコンデンサ１０５とを備える。電動機制御装置１０００の三相交流入力側には交流電源１０３が接続され、電動機制御装置１０００の交流電動機側には三相の誘導電動機１０４が接続される。

順変換器１０１は、交流電源１０３側から供給された交流電力を直流電力に変換してＤＣリンクへ出力する。本発明では、用いられる順変換器１０１の実施形態は特に限定されず、例えばダイオード整流器、あるいはＰＷＭ制御方式の整流回路などがある。

逆変換器１０２は、ＤＣリンクに接続され、ＤＣリンクにおける直流電力を交流電力に変換して誘導電動機１０４へ供給するものであるが、一般的には交直双方向に変換可能である電力変換器である。すなわち、逆変換器１０２は、ＤＣリンクの直流電力と誘導電動機１０４の駆動電力もしくは回生電力である交流電力との間で双方向に電力変換することができるものであり、電動機制御部１４から受信した電動機駆動指令に従い、直流電力を交流電力に変換する回生動作（逆変換動作）および交流電力を直流電力に変換する力行動作（順変換動作）のいずれかを行う。具体的には、逆変換器１０２は、ＤＣリンク側から供給される直流電力を、電動機制御部１４から受信した電動機駆動指令に基づき内部のスイッチング素子をスイッチング動作させ、誘導電動機１０４を駆動するための所望の電圧および所望の周波数の三相交流電力に変換する。これにより、誘導電動機１０４は、供給された電圧可変および周波数可変の三相交流電力に基づいて動作することになる。また、誘導電動機１０４の減速時には回生電力が発生するが、この場合は電動機制御部１４から受信した電動機駆動指令に基づき、誘導電動機１０４で発生した交流の回生電力を直流電力へ変換してＤＣリンクへ戻す。逆変換器１０２は、例えばＰＷＭインバータなどのような、スイッチング素子およびこれに逆並列に接続されたダイオードのブリッジ回路からなる。

また、電動機制御装置１０００は、その制御系および測定系として、図４および図５を参照して説明した強化学習を用いた機械学習装置１と、意思決定部１３と、磁束制御部３７を有する電動機制御部１４と、運転モード指令入力部３１と、電流検出部３２と、磁束計算部３３と、温度測定部３４と、アラーム出力部３５と、時間測定部３６とを備える。

運転モード指令入力部３１は、所定の運転モード（高負荷運転モード）の開始指令が入力される。すなわち、この開始指令は、誘導電動機１０４の運転モードを低負荷運転モードから高負荷運転モードへ切り換える指令であり、電動機制御部１４から入力される。

電流検出部３２は、誘導電動機１０４に流れる実電流を検出する。

磁束計算部３３は、電流検出部３２により検出された誘導電動機１０４の実電流から、誘導電動機１０４の磁束を計算する。

温度測定部３４は、誘導電動機１０４の温度を測定する。

アラーム出力部３５は、温度測定部３４により測定された温度がオーバーヒート温度に達したとき、オーバーヒートアラームを出力する。

時間測定部３６は、所定の運転モード（高負荷運転モード）の開始指令時点から誘導電動機１０４の磁束が所定の運転モードに対応する最大磁束に到達するまでに要する時間である磁束立ち上げ待ち時間を測定する。

電動機制御部１４は、誘導電動機１０４をベクトル制御するための磁束制御部３７を備える。磁束制御部３７は、磁束計算部３３により算出された誘導電動機１０４の磁束を、各運転モードに対応する磁束に追従させる磁束制御を行う。電動機制御部１４の詳細については後述する。

機械学習装置１は、状態観測部１１と学習部１２とを備える。また、学習部１２は、報酬計算部２１と関数更新部２２とを備える。

状態観測部１１は、所定の運転モードの開始指令時点から誘導電動機１０４の磁束が所定の運転モードに対応する最大磁束に到達するまでに要する時間である磁束立ち上げ待ち時間に関するデータと、誘導電動機１０４がオーバーヒートしたことを示すオーバーヒートアラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。観測された状態変数は訓練データセットとして学習部１２における学習に用いられる。磁束立ち上げ待ち時間は、磁束計算部３３により算出された誘導電動機１０４の磁束から、時間測定部３６により測定される。オーバーヒートアラームは、アラーム出力部３５から出力される。

学習部１２内の報酬計算部２１は、状態観測部１１により観測された状態変数に基づいて、報酬を計算する。

磁束立ち上げ待ち時間に関するデータを状態変数とした場合、報酬計算部２１は、状態観測部１１によりオーバーヒートアラームの発生無しを観測したときにおいて、状態観測部１１により観測された磁束立ち上げ待ち時間が規定時間内であるとき報酬を増やす。また、報酬計算部２１は、状態観測部１１により観測された磁束立ち上げ待ち時間が規定時間外であるとき報酬を減らす。このように磁束立ち上げ待ち時間が規定時間内であるとき報酬を増やし規定時間外であるとき報酬を減らすのは、磁束立ち上げ待ち時間が短いほど、誘導電動機１０４の磁束を最適に制御できているということを意味するからである。

誘導電動機１０４がオーバーヒートしたことを示すオーバーヒートアラームの発生の有無に関するデータを状態変数とした場合、報酬計算部２１は、所定の運転モード（高負荷運転モード）の開始後、状態観測部１１によりオーバーヒートアラームの発生有りを観測したときは報酬を減らす。このようにオーバーヒートアラームの発生有りを観測したときは報酬を減らすのは、機械学習装置１による学習の結果として誘導電動機１０４に発生した磁束を用いたために、誘導電動機１０４がオーバーヒートすることになったからであり、好ましい学習結果とはいえないからである。

学習部１２内の関数更新部２２は、報酬計算部２１によって算出された報酬に基づいて、励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを変更するための関数を更新する。例えばＱ学習の場合、式１で表される行動価値関数Ｑ（ｓ，ａ）を励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを変更するための関数として用いる。

意思決定部１３は、学習部１２が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを決定する。本実施例では、一例として学習アルゴリズムとして強化学習を用いているので、学習部１２内の報酬計算部２１によって算出された報酬に基づいて学習部１２内の関数更新部２２は励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを変更するための関数を更新し、意思決定部１３は、更新された関数に基づき、報酬が最も多く得られる励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを選択する。

電動機制御部１４内の磁束制御部３７では、所定の運転モード（高負荷運転モード）の実行前の運転モード（低負荷運転モード）について予め設定されていた励磁電流指令に、意思決定部１３により決定された励磁電流指令増分ΔＩを加えることで、低負荷運転モードについての新たなる励磁電流指令が得られる（図２参照。）。また、誘導電動機の運転モードが低負荷運転モードから高負荷運転モードに切り換えられる時刻よりも時間Δｔだけ先立った時刻を、高負荷運転モードについての新たなる励磁開始タイミングとする（図２参照。）。すなわち、磁束制御部３７は、所定の運転モード（高負荷運転モード）の実行前の運転モード（低負荷運転モード）について予め設定されていた励磁電流指令に、意思決定部１３により決定された励磁電流指令増分ΔＩを加えることにより得られた指令と、意思決定部１３により決定された励磁開始タイミング調整分Δｔにより調整された励磁開始タイミングとに基づいて、磁束計算部３３により算出された誘導電動機１０４の磁束を所定の運転モード（高負荷運転モード）に対応する磁束に追従させる磁束制御を行う。磁束制御部３７の磁束制御により、磁束指令が生成される。

電動機制御部１４は、磁束制御部３７が生成した磁束指令に基づいて、所定の速度指令、誘導電動機１０４の動作プログラム、逆変換器１０２の交流電動機側の交流電流もしくは交流電圧および／または誘導電動機１０４の回転速度などを用いて、誘導電動機１０４の速度、トルク、もしくは回転子の位置を制御するための駆動指令として、交流電力を直流電力に変換する力行動作（順変換動作）および直流電力を交流電力に変換する回生動作（逆変換動作）のいずれかを、逆変換器１０２に対して指令する。

図７は、本発明の実施例による、強化学習を用いた機械学習装置を備える電動機制御装置の動作フローを示すフローチャートである。

一般に、強化学習では行動の初期値はランダムに選択される。本発明の実施例では、ステップＳ２０１において、行動である励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔをランダムに選択する。

ステップＳ２０２では、電動機制御部１４は、逆変換器１０２に対し、設定された励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを用いて磁束制御部３７が生成した磁束指令に基づいて、所定の速度指令、誘導電動機１０４の動作プログラム、逆変換器１０２の交流電動機側の交流電流もしくは交流電圧および／または誘導電動機１０４の回転速度などを用いて、誘導電動機１０４の速度、トルク、もしくは回転子の位置を制御するための駆動指令として、交流電力を直流電力に変換する力行動作（順変換動作）および直流電力を交流電力に変換する回生動作（逆変換動作）のいずれかを、逆変換器１０２に対して指令する。これにより誘導電動機１０４は駆動することになる。本実施例では、誘導電動機１０４の運転モードとして、低負荷運転モードと高負荷運転モードが交互に実行され、低負荷運転モードと高負荷運転モードとからなる１組を１サイクルとする。この間、電流検出部３２は誘導電動機１０４に流れる実電流を検出し、磁束計算部３３は誘導電動機１０４の実電流から誘導電動機１０４の磁束を計算し、温度測定部３４は誘導電動機１０４の温度を測定し、アラーム出力部３５は温度測定部３４により測定された温度がオーバーヒート温度に達したときはオーバーヒートアラームを出力し、時間測定部３６は磁束立ち上げ待ち時間を測定する。

ステップＳ２０３において、状態観測部１１は、磁束立ち上げ待ち時間に関するデータと、誘導電動機１０４がオーバーヒートしたことを示すオーバーヒートアラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。なお、本実施例では、一例としてこれら２つのデータを状態変数としたが、これら２つのデータのうち少なくとも１つを状態変数とすればよい。

ステップＳ２０４では、低負荷運転モードと高負荷運転モードとからなる１サイクルが終了したか否かが判定される。この判定は、例えば電動機制御部１４によって実行される。

ステップＳ２０４において低負荷運転モードと高負荷運転モードとからなる１サイクルが終了したと判定されると、ステップＳ２０５へ進む。

ステップＳ２０６では、状態観測部１１は、誘導電動機１０４がオーバーヒートしたことを示すオーバーヒートアラームの発生の有無に関するデータに基づいて、オーバーヒートアラームが発生したか否かを判別する。状態観測部１１によりオーバーヒートアラームが観測されたときは、ステップＳ２０８において報酬計算部２１は報酬を減らす。一方、状態観測部１１によりオーバーヒートアラームが観測されなかったときはステップＳ２０６へ進む。

ステップＳ２０６では、状態観測部１１は、磁束立ち上げ待ち時間に関するデータに基づき、観測した磁束立ち上げ待ち時間が規定時間内であるか否かを判別する。状態観測部１１により磁束立ち上げ待ち時間が規定時間内であることが観測されたときは、ステップＳ２０７において報酬計算部２１は報酬を増やす。一方、状態観測部１１により磁束立ち上げ待ち時間が規定時間外であることが観測されたときは、ステップＳ２０８において報酬計算部２１は報酬を減らす。

ステップＳ２０９では、関数更新部２２は、報酬計算部２１によって算出された報酬に基づいて、報酬計算部２１によって算出された報酬に基づいて、励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを変更するための関数を更新する。

続くステップＳ２１０では、意思決定部１３は、ステップＳ２０９において更新された関数に基づいて、報酬が最も多く得られる励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを選択する。その後、ステップＳ２０２へ戻り、これ以降、ステップＳ２０２〜Ｓ２１０の処理が繰り返し実行される。これにより、機械学習装置１は、誘導電動機の磁束が最適になるような励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを学習していく。なお、訓練データセットを、複数の順変換器１０１から取得してもよく、この場合、学習部１２は、複数の順変換器１０１に対して取得される訓練データセットに従って、ステップＳ２０１〜Ｓ２１０の処理を繰り返し実行し、励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを学習していく。複数の順変換器１０１に対して訓練データセットを取得することで機械学習装置１の学習精度をさらに向上させることができる。

なお、上述した状態観測部１１、学習部１２、および意思決定部１３は、例えばソフトウェアプログラム形式で構築されてもよく、あるいは各種電子回路とソフトウェアプログラムとの組み合わせで構築されてもよい。例えばこれらをソフトウェアプログラム形式で構築する場合は、電動機制御装置１０００内にある演算処理装置をこのソフトウェアプログラムに従って動作させることで上述の各部の機能が実現される。またあるいは、状態観測部１１および学習部１２を備える機械学習装置１を、各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路として実現してもよい。またあるいは、状態観測部１１および学習部１２を備える機械学習装置１のみならず意思決定部１３も含めた形で、各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路を実現してもよい。

また、本発明による機械学習処理は、電動機制御装置１０００が誘導電動機１０４の駆動制御のために本来的に備える電流検出部３２により検出される誘導電動機１０４の実電流に関するデータおよび温度測定部３４により測定される誘導電動機１０４の温度に関するデータを用いて実行されるので、従来技術のように新たなハードウェア装置を設ける必要がないことから、既存の電動機制御装置にも後付けで適用することも可能である。この場合、機械学習装置１や意思決定部１３の各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路を当該既存の電動機制御装置に組み込んだり、機械学習装置１や意思決定部１３の各部の機能を実現するソフトウェアプログラムそのものを当該既存の電動機制御装置内の演算処理装置に追加的にインストールすればよい。また、ある電動機制御装置に関して励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを学習した機械学習装置１を、これとは別の電動機制御装置に取り付け、当該別の電動機駆動装置に関して励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを再学習して更新するようにしてもよい。

１ 機械学習装置
１１ 状態観測部
１２ 学習部
１３ 意思決定部
１４ 電動機制御部
２１ 報酬計算部
２２ 関数更新部
３１ 運転モード指令入力部
３２ 電流検出部
３３ 磁束計算部
３４ 温度測定部
３５ アラーム出力部
３６ 時間測定部
３７ 磁束制御部
１０１ 順変換器
１０２ 逆変換器
１０４ 誘導電動機
１０５ ＤＣリンクコンデンサ
１０００ 電動機制御装置

図８は、ドリル加工機を駆動する誘導電動機にかかる負荷を説明する図である。また、図９は、図８のドリル加工機を駆動する誘導電動機における運転モード、励磁電流および磁束を例示する図であって、（Ａ）は誘導電動機の運転モード（ドリル加工）を示し、（Ｂ）は誘導電動機に流れる励磁電流およびこの励磁電流によって発生する磁束を示す。ドリル加工機８１が部材９１に対して穴９２を開ける際（ドリル加工運転モード）にドリル加工機８１を駆動する誘導電動機（図示せず）にかかる負荷は、穴開け加工が終わってドリル加工機８１のドリルを穴９２から引き抜く際やドリル加工機８１を次の加工箇所まで移動させる際（ドリル移動運転モード）にドリル加工機８１を駆動する誘導電動機（図示せず）にかかる負荷よりも大きい。したがって、ドリル加工機８１が部材９１に対して穴９２を開けるときは、高負荷に対応できるよう誘導電動機の運転モードがドリル移動運転モードからドリル加工運転モードへ切り換えられる。図９（Ａ）に示すように、ドリル加工機８１による穴あけ加工をするために時刻ｔ₁でドリル加工機８１を駆動する誘導電動機をドリル加工運転モードに切り換える場合、時刻ｔ₁で励磁が開始されて電動機制御装置（図示せず）からは当該ドリル加工運転モード用の励磁電流指令が出力され、これに応じて誘導電動機には図９（Ｂ）に示すような当該ドリル加工運転モード用の励磁電流（一点鎖線で示す。）が流れる。しかしながら、励磁電流によって発生する磁束（実線で示す。）は励磁電流に対して誘導電動機の回路定数を時定数とする１次遅れで変化するので、例えば穴あけ加工に必要なトルクがフルトルクになる最大磁束が発生する時刻をｔ₂としたとき、時刻ｔ₁で励磁が開始されてから穴あけ加工に必要なトルクがフルトルクになる最大磁束に到達するまで「ｔ₂−ｔ₁」の時間を要することになる。

本発明の実施例では、上述した所定の運転モード（高負荷運転モード）の実行前の運転モード（低負荷運転モード）について予め設定されていた電動機の励磁電流指令に加えられる励磁電流指令増分ΔＩおよび所定の運転モード（高負荷運転モード）について予め設定されていた励磁開始タイミングを調整するための励磁開始タイミング調整分Δｔを、機械学習装置１が自ら学習して調整していくことで、磁束立ち上げ待ち時間を無くし、誘導電動機の磁束が最適になるようにする。

ステップＳ２０５では、状態観測部１１は、誘導電動機１０４がオーバーヒートしたことを示すオーバーヒートアラームの発生の有無に関するデータに基づいて、オーバーヒートアラームが発生したか否かを判別する。状態観測部１１によりオーバーヒートアラームが観測されたときは、ステップＳ２０８において報酬計算部２１は報酬を減らす。一方、状態観測部１１によりオーバーヒートアラームが観測されなかったときはステップＳ２０６へ進む。

続くステップＳ２１０では、意思決定部１３は、ステップＳ２０９において更新された関数に基づいて、報酬が最も多く得られる励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを選択する。その後、ステップＳ２０２へ戻り、これ以降、ステップＳ２０２〜Ｓ２１０の処理が繰り返し実行される。これにより、機械学習装置１は、誘導電動機１０４の磁束が最適になるような励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを学習していく。なお、訓練データセットを、複数の順変換器１０１から取得してもよく、この場合、学習部１２は、複数の順変換器１０１に対して取得される訓練データセットに従って、ステップＳ２０１〜Ｓ２１０の処理を繰り返し実行し、励磁電流指令増分ΔＩおよび励磁開始タイミング調整分Δｔを学習していく。複数の順変換器１０１に対して訓練データセットを取得することで機械学習装置１の学習精度をさらに向上させることができる。

Claims (9)

1. 電動機制御装置による電動機の磁束制御のための励磁電流指令および前記磁束制御による磁束の立ち上げ開始のタイミングである励磁開始タイミングに関連付けられる条件を学習する機械学習装置であって、
   所定の運転モードの開始指令時点から電動機の磁束が前記所定の運転モードに対応する最大磁束に到達するまでに要する時間である磁束立ち上げ待ち時間に関するデータと、電動機がオーバーヒートしたことを示すオーバーヒートアラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部と、
   前記状態変数によって構成される訓練データセットに従って、前記所定の運転モードの実行前の運転モードについて予め設定されていた電動機の励磁電流指令に加えられる励磁電流指令増分、および、前記所定の運転モードについて予め設定されていた励磁開始タイミングを調整するための励磁開始タイミング調整分、に関連付けられる条件を学習する学習部と、
   を備えることを特徴とする機械学習装置。
2. 前記学習部は、
   前記状態変数に基づいて報酬を計算する報酬計算部と、
   前記報酬に基づいて、前記励磁電流指令増分および前記励磁開始タイミング調整分を変更するための関数を更新する関数更新部と、
   を備える請求項１に記載の機械学習装置。
3. 前記報酬計算部は、前記状態観測部により前記オーバーヒートアラームの発生無しを観測したときにおいて、前記状態観測部により観測された磁束立ち上げ待ち時間が、規定時間内であるとき報酬を増やす請求項２に記載の機械学習装置。
4. 前記報酬計算部は、前記状態観測部により観測された磁束立ち上げ待ち時間が、前記規定時間外であるとき報酬を減らす請求項２に記載の機械学習装置。
5. 前記報酬計算部は、前記所定の運転モードの開始後、前記オーバーヒートアラームの発生有りを観測したときは報酬を減らす請求項２に記載の機械学習装置。
6. 前記学習部は、複数の電動機制御装置に対して取得される前記訓練データセットに従って、前記条件を学習するように構成される請求項１〜５のいずれか一項に記載の機械学習装置。
7. 請求項１〜６のいずれか一項に記載の機械学習装置を備えた電動機制御装置であって、
   前記所定の運転モードの開始指令が入力される運転モード指令入力部と、
   電動機に流れる実電流を検出する電流検出部と、
   前記電流検出部により検出された前記電動機の実電流から、電動機の磁束を計算する磁束計算部と、
   電動機の温度を測定する温度測定部と、
   前記温度測定部により測定された温度がオーバーヒート温度に達したとき、オーバーヒートアラームを出力するアラーム出力部と、
   前記磁束立ち上げ待ち時間を測定する時間測定部と、
   前記磁束計算部により算出された電動機の磁束を前記所定の運転モードに対応する最大磁束に追従させる磁束制御を行う磁束制御部と、
   前記学習部が前記訓練データセットに従って学習した結果に基づいて、現在の前記状態変数の入力に応答して、前記励磁電流指令増分および前記励磁開始タイミング調整分を決定する意思決定部と、
   をさらに備え、
   前記磁束制御部は、前記励磁電流指令に前記意思決定部により決定された前記励磁電流指令増分を加えることにより得られた指令と、前記意思決定部により決定された前記励磁開始タイミング調整分により調整された励磁開始タイミングとに基づいて、前記磁束制御を行うことを特徴とする電動機制御装置。
8. 前記学習部は、前記現在の状態変数によって構成される追加の訓練データセットに従って、前記条件を再学習して更新するように構成される請求項７に記載の電動機制御装置。
9. 電動機制御装置による電動機の磁束制御のための励磁電流指令および前記磁束制御による磁束の立ち上げ開始のタイミングである励磁開始タイミングに関連付けられる条件を学習する機械学習方法であって、
   所定の運転モードの開始指令時点から電動機の磁束が前記所定の運転モードに対応する最大磁束に到達するまでに要する時間である磁束立ち上げ待ち時間に関するデータと、電動機がオーバーヒートしたことを示すオーバーヒートアラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測ステップと、
   前記状態変数によって構成される訓練データセットに従って、前記所定の運転モードの実行前の運転モードについて予め設定されていた電動機の励磁電流指令に加えられる励磁電流指令増分、および、前記所定の運転モードについて予め設定されていた励磁開始タイミングを調整するための励磁開始タイミング調整分、に関連付けられる条件を学習する学習ステップと、
   を備えることを特徴とする機械学習方法。

Images