JP2019145086A

JP2019145086A - 制御装置、機械学習装置及びシステム

Info

Publication number: JP2019145086A
Application number: JP2018242793A
Authority: JP
Inventors: 小川　賢一; Kenichi Ogawa; 賢一小川
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2018-02-19
Filing date: 2018-12-26
Publication date: 2019-08-29
Anticipated expiration: 2038-12-26
Also published as: JP6781242B2; US11059142B2; US20190275629A1

Abstract

【課題】高価な設備を用いることなく、クランプ力の変化に対応することが可能な制御装置、機械学習装置及びシステムを提供すること。【解決手段】本発明の制御装置１は、切削加工の加工条件を示す加工条件データ、切削加工中のスピンドルトルクを示すスピンドルトルクデータ、及びワークに加わる切削力に対する切削抵抗の切削分力方向情報を示す切削分力方向データを、環境の現在状態を表す状態変数として観測し、該状態変数に基づいて、加工治具のクランプ力で押さえることが可能な範囲の切削力をワークに加える切削加工の加工条件をモデル化した学習モデルを用いた学習乃至意思決定をする機械学習装置１００を備える。【選択図】図２

Description

本発明は、制御装置、機械学習装置及びシステムに関する。

工作機械では、加工治具上にワークを固定して加工を行うが、ワークの固定方法として、駆動源に油圧や空圧を利用してシリンダを動作させて、ワークをクランプ／アンクランプすることが多い（例えば、特許文献１等）。この時、クランプ力が不足していると、切削抵抗によりワークが動いてしまい、加工精度不良となる。

加工治具によるワークのクランプ力は、刃物ごとの切削抵抗に安全率を考慮して決めることが一般的である。この時、設定する安全率により、必要以上に大きなシリンダを選択することがあり、加工治具の価格の上昇や加工治具の重量増加等の問題がある。

特開平０９−２０１７４２号公報

安全率を考慮しなければならない要因の一つとして、クランプ力の変動がある。一般的に、加工治具に使用されているクランプ力には、空圧と油圧を用いている。

空圧を使用した場合、通常１次エア（工場エア）を分岐して使用しており、ある分岐先で大量にエアを使用すると、他の箇所のエア圧が一時的に下がり、圧力が変動する。通常はエアタンクを付属させることで対応するが、エアタンクは高価な設備となるのでコスト面で問題となる。

油圧を使用した場合、例えば作動油の温度変化により動粘度が変化する。作動油の温度が高くなると、動粘度が小さくなり、ロータリジョイントやシリンダ等からの漏れ量が増大する。これにより、油圧の圧力低下が発生する。そのため、通常は油温上昇を抑えるために、冷却装置を付属させることがあるが、これが高価な設備となる。

そこで、高価な設備を用いることなく、クランプ力の変動に対応することが可能な制御装置、機械学習装置及びシステムが望まれている。

本発明の一態様は、加工治具上にクランプされているワークを工具で切削加工する工作機械を制御する制御装置であって、前記切削加工の加工条件を示す加工条件データ、切削加工中のスピンドルトルクを示すスピンドルトルクデータ、及び前記ワークに加わる切削力に対する切削抵抗の切削分力方向情報を示す切削分力方向データを、環境の現在状態を表す状態変数として観測し、該状態変数に基づいて、前記加工治具のクランプ力で押さえることが可能な範囲の切削力を前記ワークに加える前記切削加工の加工条件をモデル化した学習モデルを用いた学習乃至意思決定をする機械学習装置を備える制御装置である。

本発明の他の態様は、加工治具上にクランプされているワークを工具で切削加工する際の、前記切削加工の加工条件を示す加工条件データ、切削加工中のスピンドルトルクを示すスピンドルトルクデータ、及び前記ワークに加わる切削力に対する切削抵抗の切削分力方向情報を示す切削分力方向データを、環境の現在状態を表す状態変数として観測し、該状態変数に基づいて、前記加工治具のクランプ力で押さえることが可能な範囲の切削力を前記ワークに加える前記切削加工の加工条件をモデル化した学習モデルを用いた学習乃至意思決定をする、機械学習装置である。

本発明の他の態様は、複数の装置がネットワークを介して相互に接続されたシステムであって、前記複数の装置は、少なくとも第１の工作機械を制御する機械学習装置を備えた制御装置を含むシステムである。

本発明の一態様により、機械学習の技術を用いて、高価な設備を用いることなくクランプ力の変動に対応して切削送り速度や主軸回転数などの加工条件を調整し、精度の高い加工を実現することができる。

第１の実施形態による制御装置の概略的なハードウェア構成図である。第１の実施形態による制御装置の概略的な機能ブロック図である。加工条件データＳ１、スピンドルトルクデータＳ２、及び切削分力方向データＳ３の関係を示す図である。制御装置の一形態を示す概略的な機能ブロック図である。機械学習方法の一形態を示す概略的なフローチャートである。ニューロンを説明する図である。ニューラルネットワークを説明する図である。クラウドサーバ、フォグコンピュータ、エッジコンピュータを含む３階層構造のシステムの例を示す図である。制御装置を組み込んだシステムの一形態を示す概略的な機能ブロック図である。制御装置を組み込んだシステムの他の形態を示す概略的な機能ブロック図である。図９で示したコンピュータの概略的なハードウェア構成図である。制御装置を組み込んだシステムの他の形態を示す概略的な機能ブロック図である。

以下、本発明の実施形態を図面と共に説明する。
図１は一実施形態による制御装置の要部を示す概略的なハードウェア構成図である。制御装置１は、例えば工作機械を制御する制御装置として実装することができる。また、制御装置１は、例えば工作機械を制御する制御装置に併設されたパソコンや、制御装置に有線／無線のネットワークを介して接続されたセルコンピュータ、エッジコンピュータ、フォグコンピュータ、ホストコンピュータ、クラウドサーバ等のコンピュータとして実装することができる。本実施形態では、制御装置１を、工作機械を制御する制御装置として実装した場合の例を示す。

本実施形態による制御装置１が備えるＣＰＵ１１は、制御装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、ＲＯＭ１２に格納されたシステム・プログラムをバス２０を介して読み出し、該システム・プログラムに従って制御装置１の全体を制御する。ＲＡＭ１３には一時的な計算データや表示データ、図示しない入力部を介してオペレータが入力した各種データ等が一時的に格納される。

不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされるなどして、制御装置１の電源がオフされても記憶状態が保持されるメモリとして構成される。不揮発性メモリ１４には、インタフェース１５を介して外部機器７２から読み込まれたプログラムや表示器／ＭＤＩユニット７０を介して入力されたプログラム、制御装置１の各部やロボットから取得された各種データ（例えば、工具の種類や工具の寿命などの工具に係る情報、切削条件等の加工に係る情報、ワーク材質等のワークに係る情報、主軸のトルク値等）が記憶されている。不揮発性メモリ１４に記憶されたプログラムや各種データは、実行時／利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、公知の解析プログラムなどの各種のシステム・プログラム（後述する機械学習装置１００とのやりとりを制御するためのシステム・プログラムを含む）があらかじめ書き込まれている。

インタフェース１５は、制御装置１とアダプタ等の外部機器７２と接続するためのインタフェースである。外部機器７２側からはプログラムや各種パラメータ等が読み込まれる。また、制御装置１内で編集したプログラムや各種パラメータ等は、外部機器７２を介して外部記憶手段に記憶させることができる。ＰＭＣ（プログラマブル・マシン・コントローラ）１６は、制御装置１に内蔵されたシーケンス・プログラムで工作機械及び該工作機械の周辺装置にＩ／Ｏユニット１７を介して信号を出力し制御する。また、工作機械の本体に配備された操作盤の各種スイッチ等の信号を受け、必要な信号処理をした後、ＣＰＵ１１に渡す。

表示器／ＭＤＩユニット７０はディスプレイやキーボード等を備えた手動データ入力装置であり、インタフェース１８は表示器／ＭＤＩユニット７０のキーボードからの指令，データを受けてＣＰＵ１１に渡す。インタフェース１９は各軸を手動で駆動させる際に用いる手動パルス発生器等を備えた操作盤７１に接続されている。

工作機械の各軸を制御するための軸制御回路３０はＣＰＵ１１からの軸の移動指令量を受けて、軸の指令をサーボアンプ４０に出力する。サーボアンプ４０はこの指令を受けて、工作機械が備える軸を移動させるサーボモータ５０を駆動する。軸のサーボモータ５０は位置・速度検出器を内蔵し、この位置・速度検出器からの位置・速度フィードバック信号を軸制御回路３０にフィードバックし、位置・速度のフィードバック制御を行う。なお、図１のハードウェア構成図では軸制御回路３０、サーボアンプ４０、サーボモータ５０は１つずつしか示されていないが、実際には制御対象となる工作機械に備えられた軸の数（例えば、直線３軸を備えた工作機械であれば３つ、５軸加工機であれば５つ）だけ用意される。

スピンドル制御回路６０は、工作機械の主軸への主軸回転指令を受け、スピンドルアンプ６１にスピンドル速度信号を出力する。スピンドルアンプ６１はこのスピンドル速度信号を受けて、主軸のスピンドルモータ６２を指令された回転速度で回転させ、工具を駆動する。スピンドルモータ６２にはポジションコーダ６３が結合され、ポジションコーダ６３が主軸の回転に同期して帰還パルスを出力し、その帰還パルスはＣＰＵ１１によって読み取られる。

インタフェース２１は、制御装置１と機械学習装置１００とを接続するためのインタフェースである。機械学習装置１００は、機械学習装置１００全体を統御するプロセッサ１０１と、システム・プログラム等を記憶したＲＯＭ１０２、機械学習に係る各処理における一時的な記憶を行うためのＲＡＭ１０３、及び学習モデル等の記憶に用いられる不揮発性メモリ１０４を備える。機械学習装置１００は、インタフェース２１を介して制御装置１で取得可能な各情報（例えば、工具の種類や工具の寿命などの工具に係る情報、切削条件等の加工に係る情報、ワーク材質等のワークに係る情報、主軸のトルク値等）を観測することができる。また、制御装置１は、機械学習装置１００から出力される、加工条件の変更指令を受けて、工作機械を動作を制御する。

図２は、第１実施形態による制御装置１と機械学習装置１００の概略的な機能ブロック図である。図２に示した各機能ブロックは、図１に示した制御装置１が備えるＣＰＵ１１、及び機械学習装置１００のプロセッサ１０１が、それぞれのシステム・プログラムを実行し、制御装置１及び機械学習装置１００の各部の動作を制御することにより実現される。

本実施形態の制御装置１は、機械学習装置１００から出力された加工条件の変更指令に基づいて工作機械２を制御する制御部３４を備える。制御部３４は、一般にプログラム等による指令に従って工作機械２の動作を制御するが、その際に、機械学習装置１００から加工条件の変更指令が出力されると、前記プログラム等による指令に代えて、機械学習装置１００から出力された加工条件となるように工作機械２を制御する。

一方、制御装置１が備える機械学習装置１００は、切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報に対する切削加工の加工条件を、いわゆる機械学習により自ら学習するためのソフトウェア（学習アルゴリズム等）及びハードウェア（プロセッサ１０１等）を含む。制御装置１が備える機械学習装置１００が学習するものは、切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報と、切削加工の加工条件との、相関性を表すモデル構造に相当する。

図２に機能ブロックで示すように、制御装置１が備える機械学習装置１００は、切削加工の加工条件を示す加工条件データＳ１、切削加工中のスピンドルトルクを示すスピンドルトルクデータＳ２、及び切削抵抗の切削分力方向情報を示す切削分力方向データＳ３を含む環境の現在状態を表す状態変数Ｓとして観測する状態観測部１０６と、決定された切削加工の加工条件に基づいて加工されたワークの品質を判定するためのワーク品質判定データＤ１及びワークの加工に掛けた時間を判定するためのサイクルタイム判定データＤ２を含む判定データＤを取得する判定データ取得部１０８と、状態変数Ｓと判定データＤとを用いて、切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報と、切削加工の加工条件を関連付けて学習する学習部１１０とを備える。

状態観測部１０６が観測する状態変数Ｓのうち、加工条件データＳ１は、切削加工の加工条件として取得することができる。切削加工の加工条件は、例えば工作機械２による加工における実切削送り速度、主軸回転数、切り込み量、すくい角等が例示され、工作機械２の動作を制御するプログラムや、制御装置１に設定され、不揮発性メモリ１４に記憶されている加工パラメータ等から取得することができる。

加工条件データＳ１は、機械学習装置１００が学習部１１０の学習結果に基づいて１つ前の学習周期における切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報に対して、当該学習周期において決定した切削加工の加工条件をそのまま用いることができる。このような手法を取る場合には、機械学習装置１００は切削加工の加工条件を学習周期毎にＲＡＭ１０３に一時的に記憶しておき、状態観測部１０６は、ＲＡＭ１０３から１つ前の学習周期における切削加工の加工条件を今回の学習周期の加工条件データＳ１として取得するようにしても良い。

状態観測部１０６が観測する状態変数Ｓのうち、スピンドルトルクデータＳ２は、工作機械２の主軸を駆動するスピンドルモータに掛かる負荷として取得することができる。スピンドルトルクデータＳ２は、工作機械２から取得することができる。

状態観測部１０６が観測する状態変数Ｓのうち、切削分力方向データＳ３は、切削加工中のスピンドルトルクの方向に対する切削分力の方向として取得することができる。スピンドルトルクの方向に対する切削分力の方向は、ワークに対する工具の刃先の角度（すくい角）に基づいて求めることができ、工具の仕様（主軸の方向に対する刃先の角度）と、切削時のワークに対する工具の角度（主軸の角度）から算出することができる。

図３は、加工条件データＳ１、スピンドルトルクデータＳ２、切削分力方向データＳ３の関係を示す図である。一般に、切削工具に対するワークからの反力は、２次元切削モデル等の公知のモデルを用いて算出することができる。図３の例では、工具の刃先が切削方向へと進行する速度である切削送り速度Ｖ_pは、プログラム等により指令される指令切削送り速度Ｆと、主軸の回転による刃先の移動速度の切削送り方向成分の速度との合成速度であり、指令切削送り速度Ｆ、主軸回転数Ｓ、切削送りの方向に対する主軸の傾き等を用いて算出することができ、また、切削送りの方向への反力である切削分力Ｐは、スピンドルトルクＲ、すくい角α、切削送りの方向に対する主軸の傾き等を用いて算出することができる。

状態観測部１０６は、学習部１１０がオンライン学習を行う場合には、各状態変数を工作機械２やセンサ３、制御装置１の各部から逐次取得するようにしても良い。一方、学習部１１０がオフライン学習を行う場合には、ワークの加工中に取得された各情報を制御装置１が不揮発性メモリ１４にログデータとして記憶するようにしておき、状態観測部１０６は、記録したログデータを解析して各状態変数を取得するようにすれば良い。

判定データ取得部１０８は、ワーク品質判定データＤ１として、決定された切削加工の加工条件に基づいて加工が行われた場合のワークの品質の判定結果を用いることができる。判定データ取得部１０８が用いるワーク品質判定データＤ１としては、例えばオンライン学習においては、治具によりテーブルに設置されたワークの位置にズレがないか（適）、ズレが生じたか（否）といったものを使用すれば良く、また、オフライン学習においては、加工後のワークの各部の寸法誤差が予め定めた閾値以下に収まっているか（適）、閾値を超えているか（否）といったものを使用すれば良い。

また、判定データ取得部１０８は、サイクルタイム判定データＤ２として、決定された切削加工の加工条件に基づいて行われるワークの加工に掛かった時間の判定結果を用いることができる。判定データ取得部１０８が用いるサイクルタイム判定データＤ２としては、例えば決定された切削加工の加工条件に基づいて行われたワークの加工に掛かった時間が、予め定めた所定の閾値よりも短いか（適）、長いか（否）といったような、適宜設定された判定基準により判定された結果を用いればよい。

なお、判定データ取得部１０８は、学習部１１０による学習の段階では必須の構成となるが、学習部１１０による切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報と切削加工の加工条件とを関連付けた学習が完了した後には必ずしも必須の構成ではない。例えば、学習が完了した機械学習装置１００を顧客に出荷する場合等には、判定データ取得部１０８を取り外して出荷するようにしても良い。

学習部１１０に対して同時に入力される状態変数Ｓは、学習部１１０による学習周期で考えた場合、判定データＤが取得された１学習周期前のデータに基づくものとなる。このように、制御装置１が備える機械学習装置１００が学習を進める間、環境においては、スピンドルトルクデータＳ２及び切削分力方向データＳ３の取得、取得した各データに基づいて決定された加工条件データＳ１に基づいた工作機械２によるワークの加工、判定データＤの取得が繰り返し実施される。

学習部１１０は、機械学習と総称される任意の学習アルゴリズムに従い、切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報に対する、切削加工の加工条件を学習する。学習部１１０は、前述した状態変数Ｓと判定データＤとを含むデータ集合に基づく学習を反復実行することができる。切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報に対する、切削加工の加工条件の学習サイクルの反復中、状態変数Ｓは、上記したように１学習周期前における切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報、及び１学習周期前において決定された切削加工の加工条件から取得し、また判定データＤは、決定された切削加工の加工条件に基づいて行われたワークの加工の適否判定結果とする。

学習部１１０は、オンライン学習を行う際には、例えば、加工中に取得された状態変数Ｓと、距離センサ等で取得されたワークの設置位置のズレ等のワーク品質判定データＤ１とを用いて、逐次学習を繰り返す。また、学習部１１０は、オフライン学習を行う際には、例えば、加工中に記録されたログデータを解析して加工の流れに沿って所定周期毎の状態変数Ｓの系列を作成すると共に、当該状態変数の中でスピンドルトルクデータＳ２に急な変化が発生した箇所を特定し、当該箇所の状態変数Ｓに対して、否と判定された加工後のワークの各部の寸法誤差等のワーク品質判定データＤ１を割り当て（他の状態変数Ｓについては適とする）、また、サイクルタイム判定データＤ２についてはその判定結果を全ての状態変数Ｓに対して分配して割り当てるようにすれば良く、この様にして作成された状態変数Ｓと判定データＤの系列を用いて学習を行う。

このような学習サイクルを繰り返すことにより、学習部１１０は、切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報と、切削加工の加工条件との相関性を暗示する特徴を識別することができるようになる。学習アルゴリズムの開始時には切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報と、切削加工の加工条件の相関性は実質的に未知であるが、学習部１１０は、学習を進めるに従い徐々に特徴を識別して相関性を解釈する。切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報と、切削加工の加工条件との相関性が、ある程度信頼できる水準まで解釈されると、学習部１１０が反復出力する学習結果は、現在状態（つまり切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報）に対して、切削加工の加工条件をどう決定するべきかという行動の選択（つまり意思決定）を行うために使用できるものとなる。つまり学習部１１０は、学習アルゴリズムの進行に伴い、切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報に対して切削加工の加工条件をどのように設定するべきかという行動との、相関性を最適解に徐々に近づけることができる。

意思決定部１２２は、学習部１１０が学習した結果に基づいて、切削加工の加工条件を決定し、決定した切削加工の加工条件を制御部３４へと出力する。意思決定部１２２は、学習部１１０による学習が利用可能な状態になった段階において、機械学習装置１００に切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報が入力されると、切削加工の加工条件（切削送り速度、主軸回転数、切り込み量、すくい角等）を出力する。意思決定部１２２が出力する切削加工の加工条件は、治具からのクランプ力の範囲内で押さえつけることが可能な切削力をワークに加える加工条件である。意思決定部１２２は、状態変数Ｓと学習部１１０が学習した結果に基づいて、適切な切削加工の加工条件を決定する。

上記したように、制御装置１が備える機械学習装置１００は、状態観測部１０６が観測した状態変数Ｓと判定データ取得部１０８が取得した判定データＤとを用いて、学習部１１０が機械学習アルゴリズムに従い、切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報に対する切削加工の加工条件を学習するものである。状態変数Ｓは、加工条件データＳ１、スピンドルトルクデータＳ２、及び切削分力方向データＳ３といったデータで構成され、また判定データＤは、ワークを計測した情報や制御装置１が工作機械２から取得した情報を解析することで一義的に求められる。したがって、制御装置１が備える機械学習装置１００によれば、学習部１１０の学習結果を用いることで、切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報に応じた、切削加工の加工条件を、自動的かつ正確に行うことが可能となる。

そして、切削加工の加工条件の決定を、自動的に行うことができれば、切削加工中のスピンドルトルク（スピンドルトルクデータＳ２）及び切削抵抗の切削分力方向情報（切削分力方向データＳ３）を把握するだけで、切削加工の加工条件の適切な値を迅速に決定することができる。したがって、切削加工の加工条件の決定を効率よく行うことができる。

制御装置１が備える機械学習装置１００の一変形例として、状態観測部１０６は、加工条件データＳ１、スピンドルトルクデータＳ２、及び切削分力方向データＳ３に加えて、作動油の油温を示す作動油状態データＳ４を状態変数Ｓとして観測するようにしても良い。治具からのクランプ力に油圧を用いている場合、作動油の温度の変化は油圧の圧力低下の原因となり得るので、これを状態変数Ｓとして観測することで、学習部１１０の学習の精度を向上させることができる。

制御装置１が備える機械学習装置１００の他の変形例として、状態観測部１０６は、加工条件データＳ１、スピンドルトルクデータＳ２、及び切削分力方向データＳ３に加えて、工具の状態を示す工具状態データＳ５を状態変数Ｓとして観測するようにしても良い。同じ切削条件であっても、工具の種類や工具の寿命（刃先の鈍り具合）によってワークに加わる切削力に違いが生じるので、これを状態変数Ｓとして観測することで、学習部１１０の学習の精度を向上させることができる。

制御装置１が備える機械学習装置１００の他の変形例として、状態観測部１０６は、加工条件データＳ１、スピンドルトルクデータＳ２、及び切削分力方向データＳ３に加えて、ワークの材質を示すワーク材質データＳ６を状態変数Ｓとして観測するようにしても良い。同じ切削条件であっても、ワークの材質によってワークに加わる切削力（ワークからの反力）に違いが生じるので、これを状態変数Ｓとして観測することで、学習部１１０の学習の精度を向上させることができる。

上記構成を有する機械学習装置１００では、学習部１１０が実行する学習アルゴリズムは特に限定されず、機械学習として公知の学習アルゴリズムを採用できる。図４は、図２に示す制御装置１の一形態であって、学習アルゴリズムの一例として強化学習を実行する学習部１１０を備えた構成を示す。強化学習は、学習対象が存在する環境の現在状態（つまり入力）を観測するとともに現在状態で所定の行動（つまり出力）を実行し、その行動に対し何らかの報酬を与えるというサイクルを試行錯誤的に反復して、報酬の総計が最大化されるような方策（本願の機械学習装置では切削加工の加工条件）を最適解として学習する手法である。

図３に示す制御装置１が備える機械学習装置１００において、学習部１１０は、状態変数Ｓに基づいて切削加工の加工条件の決定がされ、決定された切削加工の加工条件に基づく工作機械２によるワークの加工の適否判定結果（状態変数Ｓが取得された次の学習周期で用いられる判定データＤに相当）に関連する報酬Ｒを求める報酬計算部１１２と、報酬Ｒを用いて、切削加工の加工条件の価値を表す関数Ｑを更新する価値関数更新部１１４とを備える。学習部１１０は、価値関数更新部１１４が関数Ｑの更新を繰り返すことによって切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報に対する切削加工の加工条件を学習する。

学習部１１０が実行する強化学習のアルゴリズムの一例を説明する。この例によるアルゴリズムは、Ｑ学習（Ｑ−ｌｅａｒｎｉｎｇ）として知られるものであって、行動主体の状態ｓと、その状態ｓで行動主体が選択し得る行動ａとを独立変数として、状態ｓで行動ａを選択した場合の行動の価値を表す関数Ｑ（ｓ，ａ）を学習する手法である。状態ｓで価値関数Ｑが最も高くなる行動ａを選択することが最適解となる。状態ｓと行動ａとの相関性が未知の状態でＱ学習を開始し、任意の状態ｓで種々の行動ａを選択する試行錯誤を繰り返すことで、価値関数Ｑを反復して更新し、最適解に近付ける。ここで、状態ｓで行動ａを選択した結果として環境（つまり状態ｓ）が変化したときに、その変化に応じた報酬（つまり行動ａの重み付け）ｒが得られるように構成し、より高い報酬ｒが得られる行動ａを選択するように学習を誘導することで、価値関数Ｑを比較的短時間で最適解に近付けることができる。

価値関数Ｑの更新式は、一般に下記の数１式のように表すことができる。数１式において、ｓ_t及びａ_tはそれぞれ時刻ｔにおける状態及び行動であり、行動ａ_tにより状態はｓ_t+1に変化する。ｒ_t+1は、状態がｓ_tからｓ_t+1に変化したことで得られる報酬である。ｍａｘＱの項は、時刻ｔ＋１で最大の価値Ｑになる（と時刻ｔで考えられている）行動ａを行ったときのＱを意味する。α及びγはそれぞれ学習係数及び割引率であり、０＜α≦１、０＜γ≦１で任意設定される。

学習部１１０がＱ学習を実行する場合、状態観測部１０６が観測した状態変数Ｓ及び判定データ取得部１０８が取得した判定データＤは、更新式の状態ｓに該当し、現在状態（つまり、切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報）に対する切削加工の加工条件をどのように決定するべきかという行動は、更新式の行動ａに該当し、報酬計算部１１２が求める報酬Ｒは、更新式の報酬ｒに該当する。よって価値関数更新部１１４は、現在状態に対する切削加工の加工条件の価値を表す関数Ｑを、報酬Ｒを用いたＱ学習により繰り返し更新する。

報酬計算部１１２が求める報酬Ｒは、例えば、切削加工の加工条件を決定した後に行われる、決定された切削加工の加工条件に基づくワークの加工の適否判定結果が「適」と判定される場合（例えば、ワークがずれることなく加工が行われた場合、ワークの加工のサイクルタイムが予め定めた閾値や、１つ前の学習周期におけるサイクルタイムよりも短かった場合等）に正（プラス）の報酬Ｒとし、切削加工の加工条件を決定した後に行われる、決定された切削加工の加工条件に基づくワークの加工の適否判定結果が「否」と判定される場合（例えば、ワークにずれが発生した場合、ワークの加工のサイクルタイムが予め定めた閾値や、１つ前の学習周期におけるサイクルタイムよりも長かった場合等）に負（マイナス）の報酬Ｒとすることができる。正負の報酬Ｒの絶対値は、互いに同一であってもよいし異なっていてもよい。また、判定の条件として、判定データＤに含まれる複数の値を組み合わせて判定するようにしても良い。

また、設定された切削加工の加工条件に基づくワークの加工の適否判定結果を、「適」及び「否」の二通りだけでなく複数段階に設定することができる。例として、ワークの加工のサイクルタイムの閾値がＴ_maxである場合、作業者の組立作業のサイクルタイムＴが、０≦Ｔ＜Ｔ_max／５のときは報酬Ｒ＝５を与え、Ｔ_max／５≦Ｔ＜Ｔ_max／２のときは報酬Ｒ＝３を与え、Ｔ_max／２≦Ｔ＜Ｔ_maxのときは報酬Ｒ＝１を、Ｔ_max≦Ｔのときは報酬Ｒ＝−３（マイナスの報酬）を与えるような構成とすることができる。

更に、学習の初期段階は判定に用いる閾値を比較的大きく設定し、学習が進行するにつれて判定に用いる閾値を縮小する構成とすることもできる。

価値関数更新部１１４は、状態変数Ｓと判定データＤと報酬Ｒとを、関数Ｑで表される行動価値（例えば数値）と関連付けて整理した行動価値テーブルを持つことができる。この場合、価値関数更新部１１４が関数Ｑを更新するという行為は、価値関数更新部１１４が行動価値テーブルを更新するという行為と同義である。Ｑ学習の開始時には環境の現在状態と切削加工の加工条件との相関性は未知であるから、行動価値テーブルにおいては、種々の状態変数Ｓと判定データＤと報酬Ｒとが、無作為に定めた行動価値の値（関数Ｑ）と関連付けた形態で用意されている。なお報酬計算部１１２は、判定データＤが分かれば、これに対応する報酬Ｒを直ちに算出でき、算出した値Ｒが行動価値テーブルに書き込まれる。

工作機械２の動作の適否判定結果に応じた報酬Ｒを用いてＱ学習を進めると、より高い報酬Ｒが得られる行動を選択する方向へ学習が誘導され、選択した行動を現在状態で実行した結果として変化する環境の状態（つまり状態変数Ｓ及び判定データＤ）に応じて、現在状態で行う行動についての行動価値の値（関数Ｑ）が書き換えられて行動価値テーブルが更新される。この更新を繰り返すことにより、行動価値テーブルに表示される行動価値の値（関数Ｑ）は、適正な行動（本発明の場合、ワークの加工に係るサイクルタイムを極端に長くしない範囲で、切削送り速度を落としたり、主軸回転数を落としたり、切り込み量を減らしたり、すくい角を大きくしたりする等、治具からのクランプ力の範囲内で押さえつけることが可能な切削力をワークに加える切削加工の加工条件を決定する行動）であるほど大きな値となるように書き換えられる。このようにして、未知であった環境の現在状態（切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報）とそれに対する行動（切削加工の加工条件）との相関性が徐々に明らかになる。つまり行動価値テーブルの更新により、切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報と、切削加工の加工条件との関係が最適解に徐々に近づけられる。

図５を参照して、学習部１１０が実行する上記したＱ学習のフロー（つまり機械学習方法の一形態）をさらに説明する。まずステップＳＡ０１で、価値関数更新部１１４は、その時点での行動価値テーブルを参照しながら、状態観測部１０６が観測した状態変数Ｓが示す現在状態で行う行動として切削加工の加工条件を無作為に選択する。次に価値関数更新部１１４は、ステップＳＡ０２で、状態観測部１０６が観測している現在状態の状態変数Ｓを取り込み、ステップＳＡ０３で、判定データ取得部１０８が取得している現在状態の判定データＤを取り込む。次に価値関数更新部１１４は、ステップＳＡ０４で、判定データＤに基づき、切削加工の加工条件が適当であったか否かを判断し、適当であった場合、ステップＳＡ０５で、報酬計算部１１２が求めた正の報酬Ｒを関数Ｑの更新式に適用し、次いでステップＳＡ０６で、現在状態における状態変数Ｓ及び判定データＤと報酬Ｒと行動価値の値（更新後の関数Ｑ）とを用いて行動価値テーブルを更新する。ステップＳＡ０４で、切削加工の加工条件が適当でなかったと判断した場合、ステップＳＡ０７で、報酬計算部１１２が求めた負の報酬Ｒを関数Ｑの更新式に適用し、次いでステップＳＡ０６で、現在状態における状態変数Ｓ及び判定データＤと報酬Ｒと行動価値の値（更新後の関数Ｑ）とを用いて行動価値テーブルを更新する。学習部１１０は、ステップＳＡ０１〜ＳＡ０７を繰り返すことで行動価値テーブルを反復して更新し、切削加工の加工条件の学習を進行させる。なお、ステップＳＡ０４からステップＳＡ０７までの報酬Ｒを求める処理及び価値関数の更新処理は、判定データＤに含まれるそれぞれのデータについて実行される。

前述した強化学習を進める際に、例えばニューラルネットワークを応用することができる。図６Ａは、ニューロンのモデルを模式的に示す。図６Ｂは、図６Ａに示すニューロンを組み合わせて構成した三層のニューラルネットワークのモデルを模式的に示す。ニューラルネットワークは、例えば、ニューロンのモデルを模した演算装置や記憶装置等によって構成できる。

図６Ａに示すニューロンは、複数の入力ｘ（ここでは一例として、入力ｘ₁〜入力ｘ₃）に対する結果ｙを出力するものである。各入力ｘ₁〜ｘ₃には、この入力ｘに対応する重みｗ（ｗ₁〜ｗ₃）が掛けられる。これにより、ニューロンは、次の数２式により表現される出力ｙを出力する。なお、数２式において、入力ｘ、出力ｙ及び重みｗは、すべてベクトルである。また、θはバイアスであり、ｆ_kは活性化関数である。

図６Ｂに示す三層のニューラルネットワークは、左側から複数の入力ｘ（ここでは一例として、入力ｘ１〜入力ｘ３）が入力され、右側から結果ｙ（ここでは一例として、結果ｙ１〜結果ｙ３）が出力される。図示の例では、入力ｘ１、ｘ２、ｘ３のそれぞれに対応の重み（総称してｗ１で表す)が乗算されて、個々の入力ｘ１、ｘ２、ｘ３がいずれも３つのニューロンＮ１１、Ｎ１２、Ｎ１３に入力されている。

図６Ｂでは、ニューロンＮ１１〜Ｎ１３の各々の出力を、総称してｚ１で表す。ｚ１は、入カベクトルの特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ１のそれぞれに対応の重み（総称してｗ２で表す）が乗算されて、個々の特徴ベクトルｚ１がいずれも２つのニューロンＮ２１、Ｎ２２に入力されている。特徴ベクトルｚ１は、重みＷ１と重みＷ２との間の特徴を表す。

図６Ｂでは、ニューロンＮ２１〜Ｎ２２の各々の出力を、総称してｚ２で表す。ｚ２は、特徴ベクトルｚ１の特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ２のそれぞれに対応の重み（総称してｗ３で表す）が乗算されて、個々の特徴ベクトルｚ２がいずれも３つのニューロンＮ３１、Ｎ３２、Ｎ３３に入力されている。特徴ベクトルｚ２は、重みＷ２と重みＷ３との間の特徴を表す。最後にニューロンＮ３１〜Ｎ３３は、それぞれ結果ｙ１〜ｙ３を出力する。
なお、三層以上の層を為すニューラルネットワークを用いた、いわゆるディープラーニングの手法を用いることも可能である。

制御装置１が備える機械学習装置１００においては、ニューラルネットワークをＱ学習における価値関数として用い、状態変数Ｓと行動ａとを入力ｘとして、学習部１１０が上記したニューラルネットワークに従う多層構造の演算を行うことで、当該状態における当該行動の価値（結果ｙ）を出力することもできる。なお、ニューラルネットワークの動作モードには、学習モードと価値予測モードとがあり、例えば学習モードで学習データセットを用いて重みｗを学習し、学習した重みｗを用いて価値予測モードで行動の価値判断を行うことができる。なお価値予測モードでは、検出、分類、推論等を行うこともできる。

上記した制御装置１の構成は、プロセッサ１０１が実行する機械学習方法（或いはソフトウェア）として記述できる。この機械学習方法は、切削加工の加工条件を学習する機械学習方法であって、コンピュータのＣＰＵが、加工条件データＳ１、スピンドルトルクデータＳ２、及び切削分力方向データＳ３を、工作機械２が動作する環境の現在状態を表す状態変数Ｓとして観測するステップと、決定された切削加工の加工条件に基づくワークの加工の適否判定結果を示す判定データＤを取得するステップと、状態変数Ｓと判定データＤとを用いて、スピンドルトルクデータＳ２、切削分力方向データＳ３と、切削加工の加工条件とを関連付けて学習するステップとを有する。

以下の第２〜４実施形態では、第１実施形態による制御装置１が、クラウドサーバやホストコンピュータ、フォグコンピュータ、エッジコンピュータ（ロボットコントローラ、制御装置等）を含む複数の装置と有線／無線のネットワークを介して相互に接続した実施形態について説明する。図７に例示されるように、以下の第２〜４実施形態では、複数の装置のそれぞれがネットワークに接続された状態でクラウドサーバ６等を含む層、フォグコンピュータ７等を含む層、エッジコンピュータ８（セル９に含まれるロボットコントローラ、制御装置等）等を含む層の、３つの階層に論理的に分けて構成されているシステムを想定する。この様なシステムに於いて、制御装置１は、クラウドサーバ６、フォグコンピュータ７、エッジコンピュータ８のいずれの上にも実装することが可能であり、それぞれの複数の装置との間でネットワークを介して相互に学習データを共有して分散学習をしたり、生成した学習モデルをフォグコンピュータ７やクラウドサーバ６に収集して大規模な解析を行ったり、更に、生成した学習モデルの相互再利用等をしたりすることができる。図７に例示されるシステムにおいて、セル９は各地の工場にそれぞれ複数設けられ、それぞれのセル９を所定の単位（工場単位、同じ製造業者の複数の工場単位等）で上位層のフォグコンピュータ７が管理する。そして、これらフォグコンピュータ７が収集、解析したデータを、更に上位層のクラウドサーバ６で収集、解析等を行い、その結果として得られた情報を各々のエッジコンピュータの制御等に活用することができる。

図８は、制御装置１を備えた第２実施形態によるシステム１７０を示す。システム１７０は、エッジコンピュータやフォグコンピュータ、ホストコンピュータ、クラウドサーバ等のコンピュータの一部として実装された少なくとも１台の制御装置１と、制御の対象となる複数の工作機械２と、制御装置１、工作機械２を互いに接続する有線／無線のネットワーク１７２とを備える。

上記構成を有するシステム１７０は、機械学習装置１００を備える制御装置１が、学習部１１０の学習結果を用いて、切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報に対する切削加工の加工条件を、それぞれの工作機械２毎に自動的かつ正確に求めることができる。また、制御装置１の機械学習装置１００が、複数の工作機械２のそれぞれについて得られた状態変数Ｓ及び判定データＤに基づき、全ての工作機械２に共通する切削加工の加工条件を学習し、その学習結果を全ての工作機械２の動作において共有するように構成できる。したがってシステム１７０によれば、より多様なデータ集合（状態変数Ｓ及び判定データＤを含む）を入力として、切削加工の加工条件の学習の速度や信頼性を向上させることができる。

図９は、制御装置１を備えた第３実施形態によるシステム１７０を示す。システム１７０は、エッジコンピュータやフォグコンピュータ、ホストコンピュータ、クラウドサーバ等のコンピュータ５の上に実装された少なくとも１台の機械学習装置１００’と、工作機械２を制御する制御装置（エッジコンピュータ）として実装された少なくとも１台の制御装置１と、コンピュータ５及び工作機械２を互いに接続する有線／無線のネットワーク１７２とを備える。

上記構成を有するシステム１７０では、機械学習装置１００を備えるコンピュータ５が、各々の工作機械２を制御する制御装置１から、該制御装置１が備える機械学習装置１００による機械学習の結果として得られた学習モデルを取得する。そして、コンピュータ５が備える機械学習装置１００’は、これら複数の学習モデルに基づく知識の最適化や効率化の処理を行うことで、新たに最適化乃至効率化された学習モデルを生成し、生成した学習モデルを各々の工作機械２を制御する制御装置１に対して配布する。

機械学習装置１００’が行う学習モデルの最適化乃至効率化の例としては、各制御装置１から取得した複数の学習モデルに基づいた蒸留モデルの生成が挙げられる。この場合、本実施形態による機械学習装置１００’は、学習モデルに対して入力する入力データを作成し、該入力モデルを各々の学習モデルに対して入力した結果として得られる出力を用いて、１から学習を行う（このような学習工程を蒸留と言う）ことで新たに学習モデル（蒸留モデル）を生成する。この蒸留において、元の学習モデルを教師モデル、新たに作成する蒸留モデルを生徒モデルとも言う。このようにして生成された蒸留モデルは、一般に元の学習モデルよりもサイズが小さく、それでいて元の学習モデルと同等の正確度を出せるため、外部記憶媒体やネットワーク等を介した他のコンピュータに対する配布により適している。

機械学習装置１００’が行う学習モデルの最適化乃至効率化の他の例としては、各制御装置１から取得した複数の学習モデルに対して蒸留を行う過程において、入力データに対する各学習モデルの出力の分布を一般的な統計的手法で解析し、入力データと出力データの組の外れ値を抽出し、該外れ値を除外した入力データと出力データの組を用いて蒸留を行うことも考えられる。このような過程を経ることで、それぞれの学習モデルから得られる入力データと出力データの組から例外的な推定結果を除外し、例外的な推定結果を除外した入力データと出力データの組を用いて蒸留モデルを生成することができる。このようにして生成された蒸留モデルは、複数の制御装置１で生成された学習モデルから、当該制御装置１が制御する工作機械２に対して汎用的な蒸留モデルを生成することができる。
なお、他の一般的な学習モデルの最適化乃至効率化の手法（各学習モデルを解析し、その解析結果に基づいて学習モデルのハイパパラメータを最適化する等）も適宜導入することが可能である。

本実施形態によるシステムでは、例えばエッジとしての複数の工作機械２（制御装置１）に対して設置されたフォグコンピュータ上に機械学習装置１００’を配置し、各々の工作機械２（制御装置１）で生成された学習モデルをフォグコンピュータ上に集約して記憶しておき、記憶した複数の学習モデルに基づいた最適化乃至効率化を行った上で記憶装置へと保存しておき、保存した最適化乃至効率化された学習モデルを必要に応じて各工作機械２（制御装置１）に対して再配布するという運用を行うことができる。

また、本実施形態によるシステムでは、例えばフォグコンピュータ上に集約して記憶された学習モデルや、フォグコンピュータ上で最適化乃至効率化された学習モデルを、更に上位のホストコンピュータやクラウドサーバ上に集め、これら学習モデルを用いて工場や工作機械２のメーカでの知的作業への応用（上位サーバでの更なる汎用的な学習モデルの構築及び再配布、学習モデルの解析結果に基づく保守作業の支援、各々の工作機械２の性能等の分析、新しい機械の開発への応用等）を行うことができる。

図１０は、図９で示したコンピュータ５の概略的なハードウェア構成図である。
コンピュータ５が備えるＣＰＵ５１１は、コンピュータ５を全体的に制御するプロセッサである。ＣＰＵ５１１は、ＲＯＭ５１２に格納されたシステム・プログラムをバス５２０を介して読み出し、該システム・プログラムに従ってコンピュータ５全体を制御する。ＲＡＭ５１３には一時的な計算データ、入力装置５３１を介して作業者が入力した各種データ等が一時的に格納される。

不揮発性メモリ５１４は、例えば図示しないバッテリでバックアップされたメモリやＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等で構成され、コンピュータ５の電源がオフされても記憶状態が保持される。不揮発性メモリ５１４には、コンピュータ５の動作に係る設定情報が格納される設定領域や、入力装置５３１から入力されたデータ、各工作機械２（の制御装置）から取得される学習モデル、図示しない外部記憶装置やネットワークを介して読み込まれたデータ等が記憶される。不揮発性メモリ５１４に記憶されたプログラムや各種データは、実行時／利用時にはＲＡＭ５１３に展開されても良い。また、ＲＯＭ５１２には、各種データを解析するための公知の解析プログラム等を含むシステム・プログラムが予め書き込まれている。

コンピュータ５は、インタフェース５１６を介してネットワーク１７２と接続されている。ネットワーク１７２には、少なくとも１つの工作機械２や他のコンピュータ等が接続され、コンピュータ５との間で相互にデータのやり取りを行っている。

表示装置５３０には、メモリ上に読み込まれた各データ、プログラム等が実行された結果として得られたデータ等がインタフェース５１７を介して出力されて表示される。また、キーボードやポインティングデバイス等から構成される入力装置５３１は、作業者による操作に基づく指令，データ等をインタフェース５１８を介してＣＰＵ５１１に渡す。
なお、機械学習装置１００については、コンピュータ５のＣＰＵ５１１と協働して学習モデルの最適化乃至効率化に用いられる点を除けば、図１で説明したものと同様である。

図１１は、制御装置１を備えた第４実施形態によるシステム１７０を示す。システム１７０は、工作機械２を制御する制御装置（エッジコンピュータ）として実装された複数台の制御装置１と、複数台の工作機械２（制御装置１）を互いに接続する有線／無線のネットワーク１７２とを備える。

上記構成を有するシステム１７０では、機械学習装置１００を備える制御装置１は、制御対象となる工作機械２から取得された状態データや判定データ、他の（機械学習装置１００を備えていない）工作機械２から取得した状態データや判定データに基づいた機械学習を行い、学習モデルを生成する。このようにして生成された学習モデルは、自身の工作機械２の加工動作における適切な切削加工の加工条件を決定に用いられる他、機械学習装置１００を備えていない工作機械２からの依頼に応じて該工作機械２（の制御装置）による加工動作における適切な切削加工の加工条件を決定にも用いられる。また、新たに学習モデル生成前の機械学習装置１００を備えた制御装置１が導入された際には、ネットワーク１７２を介して他の制御装置１から学習モデルを取得して利用することも可能となる。

本実施形態によるシステムでは、いわゆるエッジとしての複数の工作機械２（制御装置１）の間で学習に用いるデータや学習モデルを共有して活用することが可能となるため、機械学習の効率の向上や、機械学習にかけるコストの削減（工作機械２を制御する１台の制御装置にのみ機械学習装置１００を導入し、他の工作機械２との間で共有するなど）をすることができる。

以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。

例えば、機械学習装置１００が実行する学習アルゴリズムや演算アルゴリズム、制御装置１が実行する制御アルゴリズム等は、上述したものに限定されず、様々なアルゴリズムを採用できる。

また、上記した実施形態では制御装置１と機械学習装置１００が異なるＣＰＵを有する装置として説明しているが、機械学習装置１００は制御装置１が備えるＣＰＵ１１と、ＲＯＭ１２に記憶されるシステム・プログラムにより実現するようにしても良い。

１制御装置
２工作機械
３センサ
５コンピュータ
６クラウドサーバ
７フォグコンピュータ
８エッジコンピュータ
９セル
１１ＣＰＵ
１２ＲＯＭ
１３ＲＡＭ
１４不揮発性メモリ
１５，１８，１９インタフェース
１６ＰＭＣ
１７Ｉ／Ｏユニット
２０バス
２１インタフェース
３０軸制御回路
３４制御部
４０サーボアンプ
５０サーボモータ
６０スピンドル制御回路
６１スピンドルアンプ
６２スピンドルモータ
６３ポジションコーダ
７０表示器／ＭＤＩユニット
７１操作盤
１００機械学習装置
１０１プロセッサ
１０２ＲＯＭ
１０３ＲＡＭ
１０４不揮発性メモリ
１０６状態観測部
１０８判定データ取得部
１１０学習部
１１２報酬計算部
１１４価値関数更新部
１２２意思決定部
１７０システム
１７２ネットワーク
５１１ＣＰＵ
５１２ＲＯＭ
５１３ＲＡＭ
５１４不揮発性メモリ
５１６，５１７，５１８インタフェース
５２０バス
５３０表示装置
５３１入力装置

Claims

加工治具上にクランプされているワークを工具で切削加工する工作機械を制御する制御装置であって、
前記切削加工の加工条件を示す加工条件データ、切削加工中のスピンドルトルクを示すスピンドルトルクデータ、及び前記ワークに加わる切削力に対する切削抵抗の切削分力方向情報を示す切削分力方向データを、環境の現在状態を表す状態変数として観測し、該状態変数に基づいて、前記加工治具のクランプ力で押さえることが可能な範囲の切削力を前記ワークに加える前記切削加工の加工条件をモデル化した学習モデルを用いた学習乃至意思決定をする機械学習装置を備える
制御装置。
前記機械学習装置は、
前記切削加工の加工条件を示す加工条件データ、切削加工中のスピンドルトルクを示すスピンドルトルクデータ、及び前記切削力に対する切削抵抗の切削分力方向情報を示す切削分力方向データを、環境の現在状態を表す状態変数として観測する状態観測部と、
前記切削加工の加工条件に基づいて加工されたワークの品質を判定するワーク品質判定データ、及び前記ワークの加工に掛かった時間を判定するサイクルタイム判定データを、前記ワークの加工の適否判定結果を示す判定データとして取得する判定データ取得部と、
前記状態変数と前記判定データとを用いて、切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報と、切削加工の加工条件を関連付けて学習した前記学習モデルを生成する学習部と、
を備える請求項１に記載の制御装置。
前記学習部は、
前記適否判定結果に関連する報酬を求める報酬計算部と、
前記報酬を用いて、切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報に対する切削加工の加工条件の価値を表す関数を更新する価値関数更新部と、
を備え、
前記報酬計算部は、前記ワークの品質が高い程、及び前記ワークの加工に係る時間が短い程高い報酬を与える、
請求項２に記載の制御装置。
前記学習部は、前記状態変数と前記判定データとを多層構造で演算する、
請求項２または３に記載の制御装置。
前記機械学習装置は、
前記切削加工の加工条件を示す加工条件データ、切削加工中のスピンドルトルクを示すスピンドルトルクデータ、及び前記切削力に対する切削抵抗の切削分力方向情報を示す切削分力方向データを、環境の現在状態を表す状態変数として観測する状態観測部と、
切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報と、切削加工の加工条件を関連付けて学習した前記学習モデルを備えた学習部と、
前記状態観測部が観測した状態変数と、前記学習モデルとに基づいて、切削加工の加工条件を決定する意思決定部と、
を備える請求項１に記載の制御装置。
前記機械学習装置は、クラウドサーバに存在する、
請求項１〜４のいずれか１つに記載の制御装置。
加工治具上にクランプされているワークを工具で切削加工する際の、前記切削加工の加工条件を示す加工条件データ、切削加工中のスピンドルトルクを示すスピンドルトルクデータ、及び前記ワークに加わる切削力に対する切削抵抗の切削分力方向情報を示す切削分力方向データを、環境の現在状態を表す状態変数として観測し、該状態変数に基づいて、前記加工治具のクランプ力で押さえることが可能な範囲の切削力を前記ワークに加える前記切削加工の加工条件をモデル化した学習モデルを用いた学習乃至意思決定をする、
機械学習装置。
前記切削加工の加工条件を示す加工条件データ、切削加工中のスピンドルトルクを示すスピンドルトルクデータ、及び前記切削力に対する切削抵抗の切削分力方向情報を示す切削分力方向データを、環境の現在状態を表す状態変数として観測する状態観測部と、
前記切削加工の加工条件に基づいて加工されたワークの品質を判定するワーク品質判定データ、及び前記ワークの加工に掛かった時間を判定するサイクルタイム判定データを、前記ワークの加工の適否判定結果を示す判定データとして取得する判定データ取得部と、
前記状態変数と前記判定データとを用いて、切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報と、切削加工の加工条件を関連付けて学習した前記学習モデルを生成する学習部と、
を備える請求項７に記載の機械学習装置。
前記切削加工の加工条件を示す加工条件データ、切削加工中のスピンドルトルクを示すスピンドルトルクデータ、及び前記切削力に対する切削抵抗の切削分力方向情報を示す切削分力方向データを、環境の現在状態を表す状態変数として観測する状態観測部と、
切削加工中のスピンドルトルク及び切削抵抗の切削分力方向情報と、切削加工の加工条件を関連付けて学習した前記学習モデルを備えた学習部と、
前記状態観測部が観測した状態変数と、前記学習モデルとに基づいて、切削加工の加工条件を決定する意思決定部と、
を備える請求項７に記載の機械学習装置。
複数の装置がネットワークを介して相互に接続されたシステムであって、
前記複数の装置は、少なくとも第１の工作機械を制御する請求項２に記載された制御装置を含む
システム。
前記複数の装置は、機械学習装置を備えたコンピュータを含み、
前記コンピュータは、前記制御装置の前記学習部における学習により生成された少なくとも１つの学習モデルを取得し、
前記機械学習装置は、取得した前記学習モデルに基づいて最適化乃至効率化を行う、
請求項１０に記載のシステム。
前記複数の装置は、前記第１の工作機械とは異なる第２の工作機械を含み、
前記第１の工作機械を制御する制御装置が備える学習部による学習結果は、前記第２の工作機械と共有される、
請求項１０に記載のシステム。
前記複数の装置は、前記第１の工作機械とは異なる第２の工作機械を含み、
前記第２の工作機械において観測されたデータは、前記ネットワークを介して前記第１の工作機械を制御する制御装置が備える学習部による学習に利用可能である、
請求項１０に記載のシステム。