JP2019141869A - 制御装置及び機械学習装置 - Google Patents

Abstract

【課題】サーボプレス機によるワークの加工において、必要以上にサイクルタイムを延ばすことなく加工の品質を向上させることが可能な制御装置及び機械学習装置を提供すること。【解決手段】本発明の制御装置１が備える機械学習装置１００は、サーボプレス機の制御用の指令を示す制御指令データ、及び制御に対するフィードバックを示す制御フィードバックデータを、環境の現在状態を表す状態変数として観測する状態観測部１０６と、サーボプレス機の制御用の指令に基づいて加工されたワークの品質を判定するワーク品質判定データ、及びワークの加工に掛かった時間を判定するサイクルタイム判定データを、ワークの加工に関する判定結果を示す判定データとして取得する判定データ取得部１０８と、サーボプレス機の制御に対するフィードバックと、サーボプレス機の制御用の指令を関連付けて学習する学習部１１０と、を備える。【選択図】図２

Description

本発明は、制御装置及び機械学習装置に関する。

軸制御にサーボモータを採用したプレス機（サーボプレス機）では、制御装置から毎サイクル同じ指令値（位置指令値、速度指令値、圧力指令値、トルク指令値等）をサーボモータに与え、これによりスライドの位置及び速度を精度良く制御して上下に駆動して、ワークの加工を行う（例えば、特許文献１等）。

特開２００４−０１７０９８号公報

サーボプレス機では、サーボモータへの指令値を毎サイクル同じ値にしても、サーボプレス機の機械的な状態（金型のダメージの蓄積等）や、パンチプレスであれば打ち抜き時の機械への衝撃による振動（ブレークスルー）などの外因があり、毎サイクル同じ結果が得られない場合があり、例えば加工精度の低下や、加工の失敗、最悪の場合、上下の金型が直接衝突するなど、機械に対して深刻なダメージを与えてしまう場合も考えられる。

従来は、これらの問題の発生を抑えるために、作業者の経験等で指令値や金型の調整を行ってきたが、経験の少ない作業者が、これらの指令値や金型の調整を行うことは困難であるという課題があった。

そこで本発明の目的は、サーボプレス機によるワークの加工において、必要以上にサイクルタイムを延ばすことなく加工の品質を向上させることが可能な制御装置及び機械学習装置を提供することである。

本発明の一態様は、金型によりワークを加工するサーボプレス機を制御する制御装置であって、前記サーボプレス機の制御用の指令を学習する機械学習装置を備え、前記機械学習装置は、前記サーボプレス機の制御用の指令を示す制御指令データ、及び前記サーボプレス機の制御に対するフィードバックを示す制御フィードバックデータを、環境の現在状態を表す状態変数として観測する状態観測部と、前記サーボプレス機の制御用の指令に基づいて加工されたワークの品質を判定するワーク品質判定データを、前記ワークの加工に関する判定結果を示す判定データとして取得する判定データ取得部と、前記状態変数と前記判定データとを用いて、前記サーボプレス機の制御に対するフィードバックと、サーボプレス機の制御用の指令を関連付けて学習する学習部と、を備える制御装置である。
ある。

本発明の他の態様は、金型によりワークを加工するサーボプレス機を制御する制御装置であって、前記サーボプレス機の制御用の指令を学習した機械学習装置を備え、前記機械学習装置は、前記サーボプレス機の制御用の指令を示す制御指令データ、及び前記サーボプレス機の制御に対するフィードバックを示す制御フィードバックデータを、環境の現在状態を表す状態変数として観測する状態観測部と、前記サーボプレス機の制御に対するフィードバックと、サーボプレス機の制御用の指令を関連付けて学習した学習部と、前記状態観測部が観測した状態変数と、前記学習部による学習結果に基づいて、サーボプレス機の制御用の指令を決定する意思決定部と、を備える制御装置である。

本発明の他の態様は、金型によりワークを加工するサーボプレス機の制御用の指令を学習する機械学習装置であって、前記サーボプレス機の制御用の指令を示す制御指令データ、及び前記サーボプレス機の制御に対するフィードバックを示す制御フィードバックデータを、環境の現在状態を表す状態変数として観測する状態観測部と、前記サーボプレス機の制御用の指令に基づいて加工されたワークの品質を判定するワーク品質判定データを、前記ワークの加工に関する判定結果を示す判定データとして取得する判定データ取得部と、前記状態変数と前記判定データとを用いて、前記サーボプレス機の制御に対するフィードバックと、サーボプレス機の制御用の指令を関連付けて学習する学習部と、を備える機械学習装置である。

本発明の他の態様は、金型によりワークを加工するサーボプレス機の制御用の指令を学習した機械学習装置であって、前記サーボプレス機の制御用の指令を示す制御指令データ、及び前記サーボプレス機の制御に対するフィードバックを示す制御フィードバックデータを、環境の現在状態を表す状態変数として観測する状態観測部と、前記サーボプレス機の制御に対するフィードバックと、サーボプレス機の制御用の指令を関連付けて学習した学習部と、前記状態観測部が観測した状態変数と、前記学習部による学習結果に基づいて、サーボプレス機の制御用の指令を決定する意思決定部と、を備える機械学習装置である。

本発明では、サーボプレス機の制御用の指令を決定するために機械学習を導入することで、制御装置から与える指令値が改善され、不良率の低減、加工精度の向上、不良時の金型へのダメージの低減、及び、これらの加工品質の向上とサイクルタイムとのバランスが取れるようになる。

第１の実施形態による制御装置の概略的なハードウェア構成図である。 第１の実施形態による制御装置の概略的な機能ブロック図である。 制御指令データＳ１、及び制御フィードバックデータＳ２の例を示す図である。 制御装置の一形態を示す概略的な機能ブロック図である。 機械学習方法の一形態を示す概略的なフローチャートである。 ニューロンを説明する図である。 ニューラルネットワークを説明する図である。 第２の実施形態による制御装置の概略的な機能ブロック図である。 制御装置を組み込んだシステムの一形態を示す概略的な機能ブロック図である。

以下、本発明の実施形態を図面と共に説明する。
図１は第１の実施形態による制御装置の要部を示す概略的なハードウェア構成図である。制御装置１は、例えばサーボプレス機を制御する制御装置として実装することができる。また、制御装置１は、例えばサーボプレス機を制御する制御装置に併設されたパソコンや、制御装置に有線／無線のネットワークを介して接続されたセルコンピュータ、ホストコンピュータ、エッジサーバ、クラウドサーバ等のコンピュータとして実装することができる。本実施形態では、制御装置１を、サーボプレス機を制御する制御装置として実装した場合の例を示す。

本実施形態による制御装置１が備えるＣＰＵ１１は、制御装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、ＲＯＭ１２に格納されたシステム・プログラムをバス２０を介して読み出し、該システム・プログラムに従って制御装置１の全体を制御する。ＲＡＭ１３には一時的な計算データや表示データ、図示しない入力部を介してオペレータが入力した各種データ等が一時的に格納される。

不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされるなどして、制御装置１の電源がオフされても記憶状態が保持されるメモリとして構成される。不揮発性メモリ１４には、インタフェース１５を介して外部機器７２から読み込まれたプログラムや表示器／ＭＤＩユニット７０を介して入力されたプログラム、制御装置１の各部やサーボプレス機から取得された各種データ（例えば、位置指令値、速度指令値、圧力指令値、トルク指令値、位置フィードバック、速度フィードバック、圧力フィードバック、トルクフィードバック、モータ電流値、モータ温度、機械温度、周囲温度、金型の使用回数、ワークの形状、ワークの素材、金型の形状、金型の素材、加工のサイクルタイム等）が記憶されている。不揮発性メモリ１４に記憶されたプログラムや各種データは、実行時／利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、公知の解析プログラムなどの各種のシステム・プログラム（後述する機械学習装置１００とのやりとりを制御するためのシステム・プログラムを含む）があらかじめ書き込まれている。

インタフェース１５は、制御装置１とアダプタ等の外部機器７２と接続するためのインタフェースである。外部機器７２側からはプログラムや各種パラメータ等が読み込まれる。また、制御装置１内で編集したプログラムや各種パラメータ等は、外部機器７２を介して外部記憶手段に記憶させることができる。ＰＭＣ（プログラマブル・マシン・コントローラ）１６は、制御装置１に内蔵されたシーケンス・プログラムでサーボプレス機及び該サーボプレス機の周辺装置（ワークを入れ替えるロボット等）にＩ／Ｏユニット１７を介して信号を出力し制御する。また、サーボプレス機の本体に配備された操作盤の各種スイッチや各種センサ等の信号を受け、必要な信号処理をした後、ＣＰＵ１１に渡す。

表示器／ＭＤＩユニット７０はディスプレイやキーボード等を備えた手動データ入力装置であり、インタフェース１８は表示器／ＭＤＩユニット７０のキーボードからの指令，データを受けてＣＰＵ１１に渡す。インタフェース１９は各軸を手動で駆動させる際に用いる手動パルス発生器等を備えた操作盤７１に接続されている。

サーボプレス機の各軸を制御するための軸制御回路３０はＣＰＵ１１からの軸の移動指令量を受けて、軸の指令をサーボアンプ４０に出力する。サーボアンプ４０はこの指令を受けて、サーボプレス機が備える軸を移動させるサーボモータ５０を駆動する。軸のサーボモータ５０は位置・速度検出器を内蔵し、この位置・速度検出器からの位置・速度フィードバック信号を軸制御回路３０にフィードバックし、位置・速度のフィードバック制御を行う。なお、図１のハードウェア構成図では軸制御回路３０、サーボアンプ４０、サーボモータ５０は１つずつしか示されていないが、実際には制御対象となるサーボプレス機に備えられた軸の数（１つの場合も、複数の場合もある）だけ用意される。

インタフェース２１は、制御装置１と機械学習装置１００とを接続するためのインタフェースである。機械学習装置１００は、機械学習装置１００全体を統御するプロセッサ１０１と、システム・プログラム等を記憶したＲＯＭ１０２、機械学習に係る各処理における一時的な記憶を行うためのＲＡＭ１０３、及び学習モデル等の記憶に用いられる不揮発性メモリ１０４を備える。機械学習装置１００は、インタフェース２１を介して制御装置１で取得可能な各情報（例えば、位置指令値、速度指令値、圧力指令値、トルク指令値、位置フィードバック、速度フィードバック、圧力フィードバック、トルクフィードバック、モータ電流値、モータ温度、機械温度、周囲温度、金型の使用回数、ワークの形状、ワークの素材、金型の形状、金型の素材、加工のサイクルタイム等）を観測することができる。また、制御装置１は、機械学習装置１００から出力される、制御用の指令を受けて、サーボプレス機の動作を制御する。

図２は、第１の実施形態による制御装置１と機械学習装置１００の概略的な機能ブロック図である。図２に示した各機能ブロックは、図１に示した制御装置１が備えるＣＰＵ１１、及び機械学習装置１００のプロセッサ１０１が、それぞれのシステム・プログラムを実行し、制御装置１及び機械学習装置１００の各部の動作を制御することにより実現される。

本実施形態の制御装置１は、機械学習装置１００から出力されたサーボプレス機２の制御用の指令に基づいてサーボプレス機２を制御する制御部３４を備える。制御部３４は、一般にプログラム等による指令に従ってサーボプレス機２の動作を制御するが、その際に、機械学習装置１００からサーボプレス機２の制御用の指令が出力されると、前記プログラム等による指令に代えて、機械学習装置１００から出力され指令に基づいてサーボプレス機２を制御する。

一方、制御装置１が備える機械学習装置１００は、サーボプレス機２の制御に対するフィードバック及び切削抵抗の切削分力方向情報に対するサーボプレス機２の制御用の指令を、いわゆる機械学習により自ら学習するためのソフトウェア（学習アルゴリズム等）及びハードウェア（プロセッサ１０１等）を含む。制御装置１が備える機械学習装置１００が学習するものは、サーボプレス機２の制御に対するフィードバック及び切削抵抗の切削分力方向情報と、サーボプレス機２の制御用の指令との、相関性を表すモデル構造に相当する。

図２に機能ブロックで示すように、制御装置１が備える機械学習装置１００は、サーボプレス機２の制御用の指令を示す制御指令データＳ１、及びサーボプレス機２の制御に対するフィードバックを示す制御フィードバックデータＳ２を含む環境の現在状態を表す状態変数Ｓとして観測する状態観測部１０６と、決定されたサーボプレス機２の制御用の指令に基づいて加工されたワークの品質を判定するためのワーク品質判定データＤ１及びワークの加工に掛けた時間を判定するためのサイクルタイム判定データＤ２を含む判定データＤを取得する判定データ取得部１０８と、状態変数Ｓと判定データＤとを用いて、サーボプレス機２のサーボプレス機２の制御に対するフィードバックと、サーボプレス機２の制御用の指令を関連付けて学習する学習部１１０とを備える。

状態観測部１０６が観測する状態変数Ｓのうち、制御指令データＳ１は、サーボプレス機２の制御用の指令として取得することができる。サーボプレス機２の制御用の指令は、例えばサーボプレス機２による加工における位置指令値、速度指令値、圧力指令値、トルク指令値等が例示され、サーボプレス機２の動作を制御するプログラムや１つ前の学習周期において出力したサーボプレス機２の制御用の指令から取得することができる。

制御指令データＳ１は、機械学習装置１００が学習部１１０の学習結果に基づいて１つ前の学習周期におけるサーボプレス機２の制御に対するフィードバックに対して、当該学習周期において決定したサーボプレス機２の制御用の指令をそのまま用いることができる。このような手法を取る場合には、機械学習装置１００はサーボプレス機２の制御用の指令を学習周期毎にＲＡＭ１０３に一時的に記憶しておき、状態観測部１０６は、ＲＡＭ１０３から１つ前の学習周期におけるサーボプレス機２の制御用の指令を今回の学習周期の制御指令データＳ１として取得するようにしても良い。

状態観測部１０６が観測する状態変数Ｓのうち、制御フィードバックデータＳ２は、サーボプレス機２を駆動するサーボモータ５０からのフィードバック値として取得することができる。サーボモータ５０からのフィードバック値は、位置フィードバック値、速度フィードバック値、圧力フィードバック値、トルクフィードバック値等が例示される。

図３は、制御指令データＳ１、及び制御フィードバックデータＳ２の例を示す図である。図３に例示されるように、制御指令データＳ１、及び制御フィードバックデータＳ２は、観測された各値を所定のサンプリング周期Δｔでサンプリングした時間的に連続した離散値としたデータとして観測することができる。状態観測部１０６は、制御指令データＳ１、及び制御フィードバックデータＳ２として、１加工サイクルに取得されたデータを用いても良いし、サーボプレス機２の上金型がワークに接触する直前から、プレス動作が完全に終了するまでの間に取得されたデータを用いるようにしても良い。状態観測部１０６は、学習部１１０による１回の学習周期において、同じ時間範囲で取得された制御指令データＳ１、及び制御フィードバックデータＳ２の各データを学習部１１０に対して出力する。

状態観測部１０６は、ワークの加工中に取得された各情報を制御装置１が不揮発性メモリ１４にログデータとして記憶するようにしておき、状態観測部１０６は、記録したログデータを解析して各状態変数を取得するようにすれば良い。

判定データ取得部１０８は、ワーク品質判定データＤ１として、決定されたサーボプレス機２の制御用の指令に基づいて加工が行われた場合のワークの品質の判定結果を用いることができる。判定データ取得部１０８が用いるワーク品質判定データＤ１としては、例えば、ワークが良品であるか（適）、キズや割れ等が生じた不良品であるか（否）、ワークの寸法誤差が予め定めた閾値以内か（適）、閾値を超えているか（否）といったような、適宜設定された判定基準により判定された結果を用いればよい。

また、判定データ取得部１０８は、サイクルタイム判定データＤ２として、決定されたサーボプレス機２の制御用の指令に基づいて行われるワークの加工に掛かった時間の判定結果を用いることができる。判定データ取得部１０８が用いるサイクルタイム判定データＤ２としては、例えば決定されたサーボプレス機２の制御用の指令に基づいて行われたワークの加工に掛かった時間が、予め定めた所定の閾値よりも短いか（適）、長いか（否）といったような、適宜設定された判定基準により判定された結果を用いればよい。

なお、判定データ取得部１０８は、学習部１１０による学習の段階では必須の構成となるが、学習部１１０によるサーボプレス機２の制御に対するフィードバックとサーボプレス機２の制御用の指令とを関連付けた学習が完了した後には必ずしも必須の構成ではない。例えば、学習が完了した機械学習装置１００を顧客に出荷する場合等には、判定データ取得部１０８を取り外して出荷するようにしても良い。

学習部１１０に対して同時に入力される状態変数Ｓは、学習部１１０による学習周期で考えた場合、判定データＤが取得された１学習周期前のデータに基づくものとなる。このように、制御装置１が備える機械学習装置１００が学習を進める間、環境においては、制御フィードバックデータＳ２の取得、取得した各データに基づいて決定された制御指令データＳ１に基づいたサーボプレス機２によるワークの加工、判定データＤの取得が繰り返し実施される。

学習部１１０は、機械学習と総称される任意の学習アルゴリズムに従い、サーボプレス機２の制御に対するフィードバックに対する、サーボプレス機２の制御用の指令を学習する。学習部１１０は、前述した状態変数Ｓと判定データＤとを含むデータ集合に基づく学習を反復実行することができる。サーボプレス機２の制御に対するフィードバックに対する、サーボプレス機２の制御用の指令の学習サイクルの反復中、状態変数Ｓは、上記したように１学習周期前におけるサーボプレス機２の制御に対するフィードバック、及び１学習周期前において決定されたサーボプレス機２の制御用の指令から取得し、また判定データＤは、決定されたサーボプレス機２の制御用の指令に基づいて行われたワークの加工に関する様々な観点（加工品質、加工に掛かる時間等）での判定結果とする。

このような学習サイクルを繰り返すことにより、学習部１１０は、サーボプレス機２の制御に対するフィードバックと、サーボプレス機２の制御用の指令との相関性を暗示する特徴を識別することができるようになる。学習アルゴリズムの開始時にはサーボプレス機２の制御に対するフィードバックと、サーボプレス機２の制御用の指令の相関性は実質的に未知であるが、学習部１１０は、学習を進めるに従い徐々に特徴を識別して相関性を解釈する。サーボプレス機２の制御に対するフィードバックと、サーボプレス機２の制御用の指令との相関性が、ある程度信頼できる水準まで解釈されると、学習部１１０が反復出力する学習結果は、現在状態（つまりサーボプレス機２の制御に対するフィードバック）に対して、サーボプレス機２の制御用の指令をどう決定するべきかという行動の選択（つまり意思決定）を行うために使用できるものとなる。つまり学習部１１０は、学習アルゴリズムの進行に伴い、サーボプレス機２の制御に対するフィードバックに対してサーボプレス機２の制御用の指令をどのように設定するべきかという行動との、相関性を最適解に徐々に近づけることができる。

意思決定部１２２は、学習部１１０が学習した結果に基づいて、サーボプレス機２の制御用の指令を決定し、決定したサーボプレス機２の制御用の指令を制御部３４へと出力する。意思決定部１２２は、学習部１１０による学習が利用可能な状態になった段階において、機械学習装置１００にサーボプレス機２の制御に対するフィードバックが入力されると、サーボプレス機２の制御用の指令（位置指令値、速度指令値、圧力指令値、トルク指令値等）を出力する。意思決定部１２２が出力するサーボプレス機２の制御用の指令は、現在の状態において、加工のサイクルタイムをある程度維持できる範囲で、ワークの品質を良くすることができる制御用の指令である。意思決定部１２２は、状態変数Ｓと学習部１１０が学習した結果に基づいて、適切なサーボプレス機２の制御用の指令を決定する。

上記したように、制御装置１が備える機械学習装置１００は、状態観測部１０６が観測した状態変数Ｓと判定データ取得部１０８が取得した判定データＤとを用いて、学習部１１０が機械学習アルゴリズムに従い、サーボプレス機２の制御に対するフィードバックに対するサーボプレス機２の制御用の指令を学習するものである。状態変数Ｓは、制御指令データＳ１、及び制御フィードバックデータＳ２といったデータで構成され、また判定データＤは、ワークの加工の工程や加工されたワークを計測した結果から取得した情報を解析することで一義的に求められる。したがって、制御装置１が備える機械学習装置１００によれば、学習部１１０の学習結果を用いることで、サーボプレス機２の制御に対するフィードバックに応じた、サーボプレス機２の制御用の指令を、自動的かつ正確に行うことが可能となる。

そして、サーボプレス機２の制御用の指令の決定を、自動的に行うことができれば、サーボプレス機２の制御に対するフィードバック（制御フィードバックデータＳ２）を把握するだけで、サーボプレス機２の制御用の指令の適切な値を迅速に決定することができる。したがって、サーボプレス機２の制御用の指令の決定を効率よく行うことができる。

制御装置１が備える機械学習装置１００の一変形例として、状態観測部１０６は、制御指令データＳ１、及び制御フィードバックデータＳ２に加えて、金型の状態を示す金型状態データＳ３を状態変数Ｓとして観測するようにしても良い。金型の状態としては、例えば、金型の素材、金型の形状（金型の深さや最大曲率等）、金型の使用回数などが例示される。金型の素材が柔らかい場合、金型の使用回数が多い場合には金型が摩耗・変形し易く、また、金型が深い場合や急な角を持つものである場合には加工時にワークを損傷させ易くなるので、これを状態変数Ｓとして観測することで、学習部１１０の学習の精度を向上させることができる。

制御装置１が備える機械学習装置１００の他の変形例として、状態観測部１０６は、制御指令データＳ１、及び制御フィードバックデータＳ２に加えて、ワークの状態を示すワーク状態データＳ４を状態変数Ｓとして観測するようにしても良い。ワークの素材や、ワークの加工前の形状、ワークの温度によって、加工の結果に違いが生じることもあるので、これを状態変数Ｓとして観測することで、学習部１１０の学習の精度を向上させることができる。

制御装置１が備える機械学習装置１００の他の変形例として、状態観測部１０６は、制御指令データＳ１、及び制御フィードバックデータＳ２に加えて、モータの状態を示すモータ状態データＳ５を状態変数Ｓとして観測するようにしても良い。モータの状態としては、モータに流れる電流値やモータの温度等が例示される。ワークの加工時における１加工サイクル内でのサーボモータ５０に流れる電流値や温度の変化はワークの加工の状態を間接的に示すデータとして有効であると考えられるので、加工のサイクル中のサーボモータ５０の電流値や温度を所定のサンプリング周期Δｔでサンプリングした時間的に連続した離散値を状態変数Ｓとして観測することで、学習部１１０の学習の精度を向上させることができる。

制御装置１が備える機械学習装置１００の他の変形例として、状態観測部１０６は、制御指令データＳ１、及び制御フィードバックデータＳ２に加えて、サーボプレス機２の状態を示す機械状態データＳ６を状態変数Ｓとして観測するようにしても良い。サーボプレス機２の状態としては、サーボプレス機２の温度等が例示され、これらの状態は加工の結果に違いが生じさせる原因となることもあるので、これを状態変数Ｓとして観測することで、学習部１１０の学習の精度を向上させることができる。

制御装置１が備える機械学習装置１００の他の変形例として、状態観測部１０６は、制御指令データＳ１、及び制御フィードバックデータＳ２に加えて、サーボプレス機２の周辺の状態を示す周辺状態データＳ７を状態変数Ｓとして観測するようにしても良い。サーボプレス機２の周辺の状態としては、周辺温度や周辺湿度等が例示され、これらの状態は加工の結果に違いが生じさせる原因となることもあるので、これを状態変数Ｓとして観測することで、学習部１１０の学習の精度を向上させることができる。

制御装置１が備える機械学習装置１００の他の変形例として、判定データ取得部１０８は、ワーク品質判定データＤ１、及びサイクルタイム判定データＤ２に加えて、サーボプレス機２によるワークの加工時に発生するブレークスルーの程度を判定するブレークスルー判定データＤ３を取得するようにしても良い。ブレークスルーは、サーボプレス機による加工において、プレス軸からワークに圧力を与えた際に、ワークと金型が分離（破断）すると、プレス軸が逆変形力を一気に受けてしまう現象であり、所謂せん断加工における衝撃、騒音の最大の原因であって、ワークの加工品質やサーボプレス機の状態（故障等）に影響を与える。判定データ取得部１０８は、ワークの加工時におけるサーボモータ５０のトルク値等を解析し、ブレークスルーが発生している場合、その大きさが予め定めた閾値以下である場合に適、そうで無い場合に否としたブレークスルー判定データＤ３を取得するようにすれば良い。

上記構成を有する機械学習装置１００では、学習部１１０が実行する学習アルゴリズムは特に限定されず、機械学習として公知の学習アルゴリズムを採用できる。図４は、図２に示す制御装置１の一形態であって、学習アルゴリズムの一例として強化学習を実行する学習部１１０を備えた構成を示す。強化学習は、学習対象が存在する環境の現在状態（つまり入力）を観測するとともに現在状態で所定の行動（つまり出力）を実行し、その行動に対し何らかの報酬を与えるというサイクルを試行錯誤的に反復して、報酬の総計が最大化されるような方策（本願の機械学習装置ではサーボプレス機２の制御用の指令）を最適解として学習する手法である。

図３に示す制御装置１が備える機械学習装置１００において、学習部１１０は、状態変数Ｓに基づいてサーボプレス機２の制御用の指令の決定がされ、決定されたサーボプレス機２の制御用の指令に基づくサーボプレス機２によるワークの加工に関する判定結果（状態変数Ｓが取得された次の学習周期で用いられる判定データＤに相当）に関連する報酬Ｒを求める報酬計算部１１２と、報酬Ｒを用いて、サーボプレス機２の制御用の指令の価値を表す関数Ｑを更新する価値関数更新部１１４とを備える。学習部１１０は、価値関数更新部１１４が関数Ｑの更新を繰り返すことによってサーボプレス機２の制御に対するフィードバックに対するサーボプレス機２の制御用の指令を学習する。

学習部１１０が実行する強化学習のアルゴリズムの一例を説明する。この例によるアルゴリズムは、Ｑ学習（Ｑ−ｌｅａｒｎｉｎｇ）として知られるものであって、行動主体の状態ｓと、その状態ｓで行動主体が選択し得る行動ａとを独立変数として、状態ｓで行動ａを選択した場合の行動の価値を表す関数Ｑ（ｓ，ａ）を学習する手法である。状態ｓで価値関数Ｑが最も高くなる行動ａを選択することが最適解となる。状態ｓと行動ａとの相関性が未知の状態でＱ学習を開始し、任意の状態ｓで種々の行動ａを選択する試行錯誤を繰り返すことで、価値関数Ｑを反復して更新し、最適解に近付ける。ここで、状態ｓで行動ａを選択した結果として環境（つまり状態ｓ）が変化したときに、その変化に応じた報酬（つまり行動ａの重み付け）ｒが得られるように構成し、より高い報酬ｒが得られる行動ａを選択するように学習を誘導することで、価値関数Ｑを比較的短時間で最適解に近付けることができる。

価値関数Ｑの更新式は、一般に下記の数１式のように表すことができる。数１式において、ｓ_t及びａ_tはそれぞれ時刻ｔにおける状態及び行動であり、行動ａ_tにより状態はｓ_t+1に変化する。ｒ_t+1は、状態がｓ_tからｓ_t+1に変化したことで得られる報酬である。ｍａｘＱの項は、時刻ｔ＋１で最大の価値Ｑになる（と時刻ｔで考えられている）行動ａを行ったときのＱを意味する。α及びγはそれぞれ学習係数及び割引率であり、０＜α≦１、０＜γ≦１で任意設定される。

学習部１１０がＱ学習を実行する場合、状態観測部１０６が観測した状態変数Ｓ及び判定データ取得部１０８が取得した判定データＤは、更新式の状態ｓに該当し、現在状態（つまり、サーボプレス機２の制御に対するフィードバック）に対するサーボプレス機２の制御用の指令をどのように決定するべきかという行動は、更新式の行動ａに該当し、報酬計算部１１２が求める報酬Ｒは、更新式の報酬ｒに該当する。よって価値関数更新部１１４は、現在状態に対するサーボプレス機２の制御用の指令の価値を表す関数Ｑを、報酬Ｒを用いたＱ学習により繰り返し更新する。

報酬計算部１１２が求める報酬Ｒは、例えば、サーボプレス機２の制御用の指令を決定した後に行われる、決定されたサーボプレス機２の制御用の指令に基づくワークの加工に関する判定結果が「適」と判定される場合（例えば、加工後のワークに破損が無い場合、ワークの寸法誤差が予め定めた閾値以下である場合、加工のサイクルタイムが予め定めた閾値や、１つ前の学習周期におけるサイクルタイムよりも短かった場合等）に正（プラス）の報酬Ｒとし、サーボプレス機２の制御用の指令を決定した後に行われる、決定されたサーボプレス機２の制御用の指令に基づくワークの加工に関する判定結果が「否」と判定される場合（例えば、加工後のワークに破損がある場合、ワークの寸法誤差が予め定めた閾値を越えている場合、加工のサイクルタイムが予め定めた閾値や、１つ前の学習周期におけるサイクルタイムよりも長かった場合等）に負（マイナス）の報酬Ｒとすることができる。正負の報酬Ｒの絶対値は、互いに同一であってもよいし異なっていてもよい。また、判定の条件として、判定データＤに含まれる複数の値を組み合わせて判定するようにしても良い。

また、設定されたサーボプレス機２の制御用の指令に基づくワークの加工に関する判定結果を、「適」及び「否」の二通りだけでなく複数段階に設定することができる。例として、ワークの加工のサイクルタイムの閾値がＴ_maxである場合、作業者の組立作業のサイクルタイムＴが、０≦Ｔ＜Ｔ_max／５のときは報酬Ｒ＝５を与え、Ｔ_max／５≦Ｔ＜Ｔ_max／２のときは報酬Ｒ＝３を与え、Ｔ_max／２≦Ｔ＜Ｔ_maxのときは報酬Ｒ＝１を、Ｔ_max≦Ｔのときは報酬Ｒ＝−３（マイナスの報酬）を与えるような構成とすることができる。

更に、学習の初期段階は判定に用いる閾値を比較的大きく設定し、学習が進行するにつれて判定に用いる閾値を縮小する構成とすることもできる。

価値関数更新部１１４は、状態変数Ｓと判定データＤと報酬Ｒとを、関数Ｑで表される行動価値（例えば数値）と関連付けて整理した行動価値テーブルを持つことができる。この場合、価値関数更新部１１４が関数Ｑを更新するという行為は、価値関数更新部１１４が行動価値テーブルを更新するという行為と同義である。Ｑ学習の開始時には環境の現在状態とサーボプレス機２の制御用の指令との相関性は未知であるから、行動価値テーブルにおいては、種々の状態変数Ｓと判定データＤと報酬Ｒとが、無作為に定めた行動価値の値（関数Ｑ）と関連付けた形態で用意されている。なお報酬計算部１１２は、判定データＤが分かれば、これに対応する報酬Ｒを直ちに算出でき、算出した値Ｒが行動価値テーブルに書き込まれる。

サーボプレス機２の動作に関する判定結果に応じた報酬Ｒを用いてＱ学習を進めると、より高い報酬Ｒが得られる行動を選択する方向へ学習が誘導され、選択した行動を現在状態で実行した結果として変化する環境の状態（つまり状態変数Ｓ及び判定データＤ）に応じて、現在状態で行う行動についての行動価値の値（関数Ｑ）が書き換えられて行動価値テーブルが更新される。この更新を繰り返すことにより、行動価値テーブルに表示される行動価値の値（関数Ｑ）は、適正な行動（本発明の場合、ワークの加工に係るサイクルタイムを極端に長くしない範囲で、サーボモータ５０に対する指令値を調整する行動）であるほど大きな値となるように書き換えられる。このようにして、未知であった環境の現在状態（サーボプレス機２の制御に対するフィードバック）とそれに対する行動（サーボプレス機２の制御用の指令）との相関性が徐々に明らかになる。つまり行動価値テーブルの更新により、サーボプレス機２の制御に対するフィードバックと、サーボプレス機２の制御用の指令との関係が最適解に徐々に近づけられる。

図５を参照して、学習部１１０が実行する上記したＱ学習のフロー（つまり機械学習方法の一形態）をさらに説明する。まずステップＳＡ０１で、価値関数更新部１１４は、その時点での行動価値テーブルを参照しながら、状態観測部１０６が観測した状態変数Ｓが示す現在状態で行う行動としてサーボプレス機２の制御用の指令を無作為に選択する。次に価値関数更新部１１４は、ステップＳＡ０２で、状態観測部１０６が観測している現在状態の状態変数Ｓを取り込み、ステップＳＡ０３で、判定データ取得部１０８が取得している現在状態の判定データＤを取り込む。次に価値関数更新部１１４は、ステップＳＡ０４で、判定データＤに基づき、サーボプレス機２の制御用の指令が適当であったか否かを判断し、適当であった場合、ステップＳＡ０５で、報酬計算部１１２が求めた正の報酬Ｒを関数Ｑの更新式に適用し、次いでステップＳＡ０６で、現在状態における状態変数Ｓ及び判定データＤと報酬Ｒと行動価値の値（更新後の関数Ｑ）とを用いて行動価値テーブルを更新する。ステップＳＡ０４で、サーボプレス機２の制御用の指令が適当でなかったと判断した場合、ステップＳＡ０７で、報酬計算部１１２が求めた負の報酬Ｒを関数Ｑの更新式に適用し、次いでステップＳＡ０６で、現在状態における状態変数Ｓ及び判定データＤと報酬Ｒと行動価値の値（更新後の関数Ｑ）とを用いて行動価値テーブルを更新する。学習部１１０は、ステップＳＡ０１〜ＳＡ０７を繰り返すことで行動価値テーブルを反復して更新し、サーボプレス機２の制御用の指令の学習を進行させる。なお、ステップＳＡ０４からステップＳＡ０７までの報酬Ｒを求める処理及び価値関数の更新処理は、判定データＤに含まれるそれぞれのデータについて実行される。

前述した強化学習を進める際に、例えばニューラルネットワークを応用することができる。図６Ａは、ニューロンのモデルを模式的に示す。図６Ｂは、図６Ａに示すニューロンを組み合わせて構成した三層のニューラルネットワークのモデルを模式的に示す。ニューラルネットワークは、例えば、ニューロンのモデルを模した演算装置や記憶装置等によって構成できる。

図６Ａに示すニューロンは、複数の入力ｘ（ここでは一例として、入力ｘ₁〜入力ｘ₃）に対する結果ｙを出力するものである。各入力ｘ₁〜ｘ₃には、この入力ｘに対応する重みｗ（ｗ₁〜ｗ₃）が掛けられる。これにより、ニューロンは、次の数２式により表現される出力ｙを出力する。なお、数２式において、入力ｘ、出力ｙ及び重みｗは、すべてベクトルである。また、θはバイアスであり、ｆ_kは活性化関数である。

図６Ｂに示す三層のニューラルネットワークは、左側から複数の入力ｘ（ここでは一例として、入力ｘ１〜入力ｘ３）が入力され、右側から結果ｙ（ここでは一例として、結果ｙ１〜結果ｙ３）が出力される。図示の例では、入力ｘ１、ｘ２、ｘ３のそれぞれに対応の重み（総称してｗ１で表す）が乗算されて、個々の入力ｘ１、ｘ２、ｘ３がいずれも３つのニューロンＮ１１、Ｎ１２、Ｎ１３に入力されている。

図６Ｂでは、ニューロンＮ１１〜Ｎ１３の各々の出力を、総称してｚ１で表す。ｚ１は、入カベクトルの特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ１のそれぞれに対応の重み（総称してｗ２で表す）が乗算されて、個々の特徴ベクトルｚ１がいずれも２つのニューロンＮ２１、Ｎ２２に入力されている。特徴ベクトルｚ１は、重みＷ１と重みＷ２との間の特徴を表す。

図６Ｂでは、ニューロンＮ２１〜Ｎ２２の各々の出力を、総称してｚ２で表す。ｚ２は、特徴ベクトルｚ１の特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ２のそれぞれに対応の重み（総称してｗ３で表す）が乗算されて、個々の特徴ベクトルｚ２がいずれも３つのニューロンＮ３１、Ｎ３２、Ｎ３３に入力されている。特徴ベクトルｚ２は、重みＷ２と重みＷ３との間の特徴を表す。最後にニューロンＮ３１〜Ｎ３３は、それぞれ結果ｙ１〜ｙ３を出力する。
なお、三層以上の層を為すニューラルネットワークを用いた、いわゆるディープラーニングの手法を用いることも可能である。

制御装置１が備える機械学習装置１００においては、ニューラルネットワークをＱ学習における価値関数として用い、状態変数Ｓと行動ａとを入力ｘとして、学習部１１０が上記したニューラルネットワークに従う多層構造の演算を行うことで、当該状態における当該行動の価値（結果ｙ）を出力することもできる。なお、ニューラルネットワークの動作モードには、学習モードと価値予測モードとがあり、例えば学習モードで学習データセットを用いて重みｗを学習し、学習した重みｗを用いて価値予測モードで行動の価値判断を行うことができる。なお価値予測モードでは、検出、分類、推論等を行うこともできる。

上記した制御装置１の構成は、プロセッサ１０１が実行する機械学習方法（或いはソフトウェア）として記述できる。この機械学習方法は、サーボプレス機２の制御用の指令を学習する機械学習方法であって、コンピュータのＣＰＵが、制御指令データＳ１、及び制御フィードバックデータＳ２を、サーボプレス機２が動作する環境の現在状態を表す状態変数Ｓとして観測するステップと、決定されたサーボプレス機２の制御用の指令に基づくワークの加工に関する判定結果を示す判定データＤを取得するステップと、状態変数Ｓと判定データＤとを用いて、制御フィードバックデータＳ２と、サーボプレス機２の制御用の指令とを関連付けて学習するステップとを有する。

図７は、第２の実施形態による制御装置１と機械学習装置１００の概略的な機能ブロック図であって、学習アルゴリズムの他の例として教師あり学習を実行する学習部１１０を備えた構成を示したものである。教師あり学習は、入力とそれに対応する出力との既知のデータセット（教師データと称する）が与えられ、それら教師データから入力と出力との相関性を暗示する特徴を識別することで、新たな入力に対する所要の出力を推定するための相関性モデルを学習する手法である。

本実施形態の制御装置１が備える機械学習装置１００は、判定データ取得部１０８に代えて、環境の状態に対して適切に加工を行ったサーボプレス機２の制御用の指令を示す制御指令データＬ１を含むラベルデータＬを取得するラベルデータ取得部１０９を備える。ラベルデータ取得部１０９は、ある状態において適切であるとされるサーボプレス機２の制御用の指令を利用することができる。このデータは、過去に行われたサーボプレス機２の動作時に、サーボプレス機２の制御に対するフィードバック（制御フィードバックデータＳ２）をログデータとして記録しておき、該ログデータを解析し、加工のサイクルタイムを必要以上に長くすること無くワークの加工で良い評価が得られたサーボプレス機２の制御用の指令のデータを、適切な制御用の指令データ（制御指令データＬ１）として取得するようにすれば良い。何を以って適切な制御用の指令データであるとするかは、第１の実施形態における判定データＤに対する判定と同様に考えればよい。

本実施形態の状態観測部１０６は、制御指令データＳ１を観測する必要は無い。また、ラベルデータ取得部１０９は、判定データ取得部１０８と同様に、学習部１１０による学習の段階では必須の構成となるが、学習部１１０によるサーボプレス機２の制御に対するフィードバックとサーボプレス機２の制御用の指令とを関連付けた学習が完了した後には必ずしも必須の構成ではない。

図６に示す制御装置１が備える機械学習装置１００において、学習部１１０は、サーボプレス機２の制御に対するフィードバックからサーボプレス機２の制御用の指令を推定する相関性モデルＭと過去に取得されたサーボプレス機２の制御に対するフィードバック及び適切なサーボプレス機２の制御用の指令の結果から得られた教師データＴから識別される相関性特徴との誤差Ｅを計算する誤差計算部１１６と、誤差Ｅを縮小するように相関性モデルＭを更新するモデル更新部１１８とを備える。学習部１１０は、モデル更新部１１８が相関性モデルＭの更新を繰り返すことによってサーボプレス機２の制御に対するフィードバックからのサーボプレス機２の制御用の指令の推定を学習する。

相関性モデルＭの初期値は、例えば、状態変数ＳとラベルデータＬとの相関性を単純化して（例えばＮ次関数で）表現したものであり、教師あり学習の開始前に学習部１１０に与えられる。教師データＴは、本発明では上述したように過去に取得されたサーボプレス機２の制御に対するフィードバックとそれに対して適切なサーボプレス機２の制御用の指令のデータとを利用することができ、制御装置１の運用時に随時学習部１１０に与えられる。誤差計算部１１６は、学習部１１０に随時与えられた教師データＴにより、サーボプレス機２の制御に対するフィードバックとサーボプレス機２の制御用の指令との相関性を暗示する相関性特徴を識別し、この相関性特徴と、現在状態における状態変数Ｓ及びラベルデータＬに対応する相関性モデルＭとの誤差Ｅを求める。モデル更新部１１８は、例えば予め定めた更新ルールに従い、誤差Ｅが小さくなる方向へ相関性モデルＭを更新する。

次の学習サイクルでは、誤差計算部１１６は、更新後の相関性モデルＭに従って状態変数Ｓを用いてサーボプレス機２の制御用の指令の推定が行われ、該推定の結果と実際に取得されたラベルデータＬの誤差Ｅを求め、モデル更新部１１８が再び相関性モデルＭを更新する。このようにして、未知であった環境の現在状態とそれに対する推定との相関性が徐々に明らかになる。なお、第２の実施形態においても、第１の実施形態と同様に、状態変数Ｓとして、様々なものを観測するようにできる。

図７は、制御装置１を備えた第３の実施形態によるシステム１７０を示す。システム１７０は、セルコンピュータやホストコンピュータ、クラウドサーバ等のコンピュータの一部として実装された少なくとも１台の制御装置１と、制御の対象となる複数のサーボプレス機２と、制御装置１、サーボプレス機２を互いに接続する有線／無線のネットワーク１７２とを備える。

上記構成を有するシステム１７０は、機械学習装置１００を備える制御装置１が、学習部１１０の学習結果を用いて、サーボプレス機２の制御に対するフィードバックに対するサーボプレス機２の制御用の指令を、それぞれのサーボプレス機２毎に自動的かつ正確に求めることができる。また、制御装置１の機械学習装置１００が、複数のサーボプレス機２のそれぞれについて得られた状態変数Ｓ及び判定データＤに基づき、全てのサーボプレス機２に共通するサーボプレス機２の制御用の指令を学習し、その学習結果を全てのサーボプレス機２の動作において共有するように構成できる。したがってシステム１７０によれば、より多様なデータ集合（状態変数Ｓ及び判定データＤを含む）を入力として、サーボプレス機２の制御用の指令の学習の速度や信頼性を向上させることができる。

以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。

例えば、機械学習装置１００が実行する学習アルゴリズムや演算アルゴリズム、制御装置１が実行する制御アルゴリズム等は、上述したものに限定されず、様々なアルゴリズムを採用できる。

また、上記した実施形態では制御装置１と機械学習装置１００が異なるＣＰＵを有する装置として説明しているが、機械学習装置１００は制御装置１が備えるＣＰＵ１１と、ＲＯＭ１２に記憶されるシステム・プログラムにより実現するようにしても良い。

１ 制御装置
２ サーボプレス機
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 不揮発性メモリ
１５，１８，１９ インタフェース
１６ ＰＭＣ
１７ Ｉ／Ｏユニット
２０ バス
２１ インタフェース
３０ 軸制御回路
３４ 制御部
４０ サーボアンプ
５０ サーボモータ
７０ 表示器／ＭＤＩユニット
７１ 操作盤
１００ 機械学習装置
１０１ プロセッサ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 不揮発性メモリ
１０６ 状態観測部
１０８ 判定データ取得部
１０９ ラベルデータ取得部
１１０ 学習部
１１２ 報酬計算部
１１４ 価値関数更新部
１１６ 誤差計算部
１１８ モデル更新部
１２２ 意思決定部
１２４ 推定結果出力部
１７０ システム
１７２ ネットワーク

Claims (8)

1. 金型によりワークを加工するサーボプレス機を制御する制御装置であって、
   前記サーボプレス機の制御用の指令を学習する機械学習装置を備え、
   前記機械学習装置は、
   前記サーボプレス機の制御用の指令を示す制御指令データ、及び前記サーボプレス機の制御に対するフィードバックを示す制御フィードバックデータを、環境の現在状態を表す状態変数として観測する状態観測部と、
   前記サーボプレス機の制御用の指令に基づいて加工されたワークの品質を判定するワーク品質判定データを、前記ワークの加工に関する判定結果を示す判定データとして取得する判定データ取得部と、
   前記状態変数と前記判定データとを用いて、前記サーボプレス機の制御に対するフィードバックと、サーボプレス機の制御用の指令を関連付けて学習する学習部と、
   を備える制御装置。
2. 前記判定データ取得部は、更に前記ワークの加工に掛かった時間を判定するサイクルタイム判定データを、判定データとして取得する、
   請求項１に記載の制御装置。
3. 前記学習部は、
   前記判定結果に関連する報酬を求める報酬計算部と、
   前記報酬を用いて、前記サーボプレス機の制御に対するフィードバックに対する前記サーボプレス機の制御用の指令の価値を表す関数を更新する価値関数更新部と、
   を備え、
   前記報酬計算部は、前記ワークの品質が高いほど、及び前記ワークの加工に係る時間が短い程高い報酬を与える、
   請求項１または２に記載の制御装置。
4. 前記学習部は、前記状態変数と前記判定データとを多層構造で演算する、
   請求項１〜３のいずれか１つに記載の制御装置。
5. 金型によりワークを加工するサーボプレス機を制御する制御装置であって、
   前記サーボプレス機の制御用の指令を学習した機械学習装置を備え、
   前記機械学習装置は、
   前記サーボプレス機の制御用の指令を示す制御指令データ、及び前記サーボプレス機の制御に対するフィードバックを示す制御フィードバックデータを、環境の現在状態を表す状態変数として観測する状態観測部と、
   前記サーボプレス機の制御に対するフィードバックと、サーボプレス機の制御用の指令を関連付けて学習した学習部と、
   前記状態観測部が観測した状態変数と、前記学習部による学習結果に基づいて、サーボプレス機の制御用の指令を決定する意思決定部と、
   を備える制御装置。
6. 前記機械学習装置は、クラウドサーバに存在する、
   請求項１〜５のいずれか１つに記載の制御装置。
7. 金型によりワークを加工するサーボプレス機の制御用の指令を学習する機械学習装置であって、
   前記サーボプレス機の制御用の指令を示す制御指令データ、及び前記サーボプレス機の制御に対するフィードバックを示す制御フィードバックデータを、環境の現在状態を表す状態変数として観測する状態観測部と、
   前記サーボプレス機の制御用の指令に基づいて加工されたワークの品質を判定するワーク品質判定データを、前記ワークの加工に関する判定結果を示す判定データとして取得する判定データ取得部と、
   前記状態変数と前記判定データとを用いて、前記サーボプレス機の制御に対するフィードバックと、サーボプレス機の制御用の指令を関連付けて学習する学習部と、
   を備える機械学習装置。
8. 金型によりワークを加工するサーボプレス機の制御用の指令を学習した機械学習装置であって、
   前記サーボプレス機の制御用の指令を示す制御指令データ、及び前記サーボプレス機の制御に対するフィードバックを示す制御フィードバックデータを、環境の現在状態を表す状態変数として観測する状態観測部と、
   前記サーボプレス機の制御に対するフィードバックと、サーボプレス機の制御用の指令を関連付けて学習した学習部と、
   前記状態観測部が観測した状態変数と、前記学習部による学習結果に基づいて、サーボプレス機の制御用の指令を決定する意思決定部と、
   を備える機械学習装置。

Images