JP2018202564A - 制御装置及び機械学習装置 - Google Patents

制御装置及び機械学習装置 Download PDF

Info

Publication number
JP2018202564A
JP2018202564A JP2017112191A JP2017112191A JP2018202564A JP 2018202564 A JP2018202564 A JP 2018202564A JP 2017112191 A JP2017112191 A JP 2017112191A JP 2017112191 A JP2017112191 A JP 2017112191A JP 2018202564 A JP2018202564 A JP 2018202564A
Authority
JP
Japan
Prior art keywords
robot
teaching position
data
teaching
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017112191A
Other languages
English (en)
Other versions
JP6542839B2 (ja
Inventor
哲士 上田
Tetsushi Ueda
哲士 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2017112191A priority Critical patent/JP6542839B2/ja
Priority to US15/995,384 priority patent/US10668619B2/en
Priority to CN201810570347.8A priority patent/CN109002012B/zh
Priority to DE102018006946.0A priority patent/DE102018006946B4/de
Publication of JP2018202564A publication Critical patent/JP2018202564A/ja
Application granted granted Critical
Publication of JP6542839B2 publication Critical patent/JP6542839B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/414—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller
    • G05B19/4142—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller characterised by the use of a microprocessor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/425—Teaching successive positions by numerical control, i.e. commands being entered to control the positioning servo of the tool head or end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33321—Observation learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/34—Director, elements to supervisory
    • G05B2219/34013—Servocontroller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36162—Pendant control box
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39443—Portable, adapted to handpalm, with joystick, function keys, display
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40499—Reinforcement learning algorithm

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)
  • Feedback Control In General (AREA)

Abstract

【課題】ロボットのマニピュレータに余計な外乱がかからないように教示位置を最適化することが可能な制御装置及び機械学習装置を提供すること。【解決手段】本発明の制御装置１が備える機械学習装置１００は、教示位置に従ったロボットの制御における該教示位置の補正量を示す教示位置補正量データ、及びロボットの制御における該ロボットが備える各モータの外乱値を示すモータ外乱値データを、環境の現在状態を表す状態変数として観測する状態観測部１０６と、ロボットの制御における該ロボットが備える各モータの外乱値の適否判定結果を示す判定データを取得する判定データ取得部１０８と、状態変数と判定データとを用いて、ロボットの教示位置の補正量をモータ外乱値データと関連付けて学習する学習部１１０と、を備える。【選択図】図２

Description

本発明は、制御装置及び機械学習装置に関し、特に教示位置を最適化する制御装置及び機械学習装置に関する。
一般的な産業用のロボットは、予め作成された動作プログラムに従って駆動されたり、又は、ティーチングペンダントなどにより予め教示された教示点を通るようにロボットが駆動されたりする。すなわち、ロボットは、予め定められた軌道に沿って駆動する。ロボットの教示動作に係る従来技術として、例えば特許文献１には、制御装置からの位置決め目標値に対して実際の位置データとの偏差について統計的処理を行い、偏差を解消する補正量を決定する発明が開示されている。
特開平０２−２８４８８６号公報
産業用ロボットは、ワークの設置や加工済みワークの取り出し、加工機への工具の取り付けなど、様々な目的で利用される。産業用ロボットで加工機に対してワークを設置する場合、例えば上記したように、ロボットに対して教示点を教示することにより、ロボットがワークを把持してから加工領域の治具に対して設置するまでの動きを教示する。例えば、図９に示すように、凸型の治具に筒状のワークをセットする場合、ワークの穴が治具の方向と平行になるようにした状態で、アプローチ位置から目標位置へと治具の方向と水平に下ろすことで、ワークを治具に対してセットすることができる。
しかしながら、ロボットに動作を教示する作業者が教示の初心者である場合、アプローチ位置に正確に位置決めできなかったり、アプローチ位置におけるワークの向きが傾いていたり、アプローチ位置から目標位置へと下ろす方向がずれていたりすることで、ワークが治具に引っかかったり、ワークと治具とが接触することで摩擦力が生じたりして、ワークを把持するロボットの手首軸などに外乱（負荷）が発生することがある。このような教示を行うと、教示された動作に基づいてワークの設置を繰り返すたびにロボットの各関節に負荷が掛かり、可動を続けるうちに障害が発生したり、ロボットが故障したりする原因となる。
そこで本発明の目的は、ロボットのマニピュレータに余計な外乱がかからないように教示位置を最適化することが可能な制御装置及び機械学習装置を提供することである。
本発明の制御装置では、ロボットの各関節を駆動するモータに掛かる外乱に対する該ロボットの教示位置の補正量を機械学習し、機械学習した結果に基づいて、ロボットが教示位置へと移動する際に外乱を抑えるように教示位置を補正しながら制御することで、上記課題を解決する。
そして、本発明の一態様は、教示データに含まれる教示位置に従ったロボットの制御における該教示位置の補正量を決定する制御装置であって、前記教示位置に従った前記ロボットの制御における該教示位置の補正量を学習する機械学習装置を備え、前記機械学習装置は、前記教示位置に従った前記ロボットの制御における該教示位置の補正量を示す教示位置補正量データ、及び前記ロボットの制御における該ロボットが備える各モータの外乱値を示すモータ外乱値データを、環境の現在状態を表す状態変数として観測する状態観測部と、前記ロボットの制御における該ロボットが備える各モータの外乱値の適否判定結果を示す判定データを取得する判定データ取得部と、前記状態変数と前記判定データとを用いて、前記ロボットの教示位置の補正量を前記モータ外乱値データと関連付けて学習する学習部と、を備える制御装置である。
本発明の他の態様は、教示データに含まれる教示位置に従ったロボットの制御における該教示位置の補正量を学習する機械学習装置であって、前記教示位置に従った前記ロボットの制御における該教示位置の補正量を示す教示位置補正量データ、及び前記ロボットの制御における該ロボットが備える各モータの外乱値を示すモータ外乱値データを、環境の現在状態を表す状態変数として観測する状態観測部と、前記ロボットの制御における該ロボットが備える各モータの外乱値の適否判定結果を示す判定データを取得する判定データ取得部と、前記状態変数と前記判定データとを用いて、前記ロボットの教示位置の補正量を前記モータ外乱値データと関連付けて学習する学習部と、を備える機械学習装置である。
本発明により、学習結果に基づいてロボットの教示位置を補正することで、該ロボットの各関節を駆動するモータに掛かる外乱値を抑え、ロボットの故障発生等の障害を防止することができる。
第１の実施形態による制御装置の概略的なハードウェア構成図である。 第１の実施形態による制御装置の概略的な機能ブロック図である。 制御装置の一形態を示す概略的な機能ブロック図である。 機械学習方法の一形態を示す概略的なフローチャートである。 ニューロンを説明する図である。 ニューラルネットワークを説明する図である。 第２の実施形態による制御装置の概略的な機能ブロック図である。 制御装置を組み込んだシステムの一形態を示す概略的な機能ブロック図である。 制御装置を組み込んだシステムの他の形態を示す概略的な機能ブロック図である。 従来技術における教示の問題点を説明する図である。
以下、本発明の実施形態を図面と共に説明する。
図１は第１の実施形態による制御装置と該制御装置によって制御される工作機械の要部を示す概略的なハードウェア構成図である。制御装置１は、例えばワークの設置や加工済みワークの取り出し、加工機への工具の取り付けなどを行う産業用ロボット（図示せず）を制御する制御装置として実装することができる。本実施形態による制御装置１が備えるＣＰＵ１１は、制御装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、ＲＯＭ１２に格納されたシステム・プログラムをバス２０を介して読み出し、該システム・プログラムに従って制御装置１全体を制御する。ＲＡＭ１３には一時的な計算データや表示データ及び後述する教示操作盤６０を介してオペレータが入力した各種データ等が一時的に格納される。
不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされるなどして、制御装置１の電源がオフされても記憶状態が保持されるメモリとして構成される。不揮発性メモリ１４には、インタフェース１９を介して教示操作盤６０から入力された教示データや、図示しないインタフェースを介して入力されたロボット制御用のプログラムなどが記憶されている。不揮発性メモリ１４に記憶されたプログラムや各種データは、実行時／利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、ロボットの制御や教示位置の教示に掛かる処理などを実行するための各種のシステム・プログラム（後述する機械学習装置１００とのやりとりを制御するためのシステム・プログラムを含む）があらかじめ書き込まれている。
教示操作盤６０はディスプレイやハンドル、ハードウェアキー等を備えた手動データ入力装置であり、インタフェース１９を介して制御装置１からの情報を受けて表示すると共に、ハンドルやハードウェアキー等から入力されたパルスや指令、各種データをＣＰＵ１１に渡す。
ロボットが備える関節等の軸を制御するための軸制御回路３０はＣＰＵ１１からの軸の移動指令量を受けて、軸の指令をサーボアンプ４０に出力する。サーボアンプ４０はこの指令を受けて、ロボットが備える軸を移動させるサーボモータ５０を駆動する。軸のサーボモータ５０は位置・速度検出器を内蔵し、この位置・速度検出器からの位置・速度フィードバック信号を軸制御回路３０にフィードバックし、位置・速度のフィードバック制御を行う。なお、図１のハードウェア構成図では軸制御回路３０、サーボアンプ４０、サーボモータ５０は１つずつしか示されていないが、実際には制御対象となるロボットに備えられた軸の数だけ用意される。例えば、６つの軸を備えたロボットの場合には、軸制御回路３０、サーボアンプ４０、サーボモータ５０は、それぞれの軸に対して用意される。
インタフェース２１は、制御装置１と機械学習装置１００とを接続するためのインタフェースである。機械学習装置１００は、機械学習装置１００全体を統御するプロセッサ１０１と、システム・プログラム等を記憶したＲＯＭ１０２、機械学習に係る各処理における一時的な記憶を行うためのＲＡＭ１０３、及び学習モデル等の記憶に用いられる不揮発性メモリ１０４を備える。機械学習装置１００は、インタフェース２１を介して制御装置１で取得可能な各情報（サーボモータ５０の位置情報や電流値、ＲＡＭ１３等に記憶される実行中のプログラムや教示位置に関する設定情報等）を観測することができる。また、制御装置１は、機械学習装置１００から出力される、サーボモータ５０、ロボットの周辺装置を制御するための指令を受けて、プログラムや教示データに基づくロボットの制御指令の修正等を行う。
図２は、第１の実施形態による制御装置１と機械学習装置１００の概略的な機能ブロック図である。機械学習装置１００は、ロボットの各関節を駆動するモータに掛かる外乱値に対する該ロボットの教示位置の補正量を、いわゆる機械学習により自ら学習するためのソフトウェア（学習アルゴリズム等）及びハードウェア（プロセッサ１０１等）を含む。制御装置１が備える機械学習装置１００が学習するものは、ロボットの各関節を駆動するモータに掛かる外乱値と、該ロボットの教示位置の補正量との、相関性を表すモデル構造に相当する。
図２に機能ブロックで示すように、制御装置１が備える機械学習装置１００は、ロボットを教示データに含まれる教示位置に従って制御する際の該ロボットが備える各モータの教示位置の補正量を示す教示位置補正量データＳ１と、ロボットを教示データに含まれる教示位置に従って制御する際の該ロボットが備える各モータの外乱値を示すモータ外乱値データＳ２を含む環境の現在状態を表す状態変数Ｓとして観測する状態観測部１０６と、補正された教示位置に従ってロボットを制御した際の各モータの外乱値の適否判定結果を示す判定データＤを取得する判定データ取得部１０８と、状態変数Ｓと判定データＤとを用いて、各モータの外乱値に教示位置補正量データＳ１を関連付けて学習する学習部１１０とを備える。
状態観測部１０６は、例えばプロセッサ１０１の一機能として構成できる。或いは状態観測部１０６は、例えばプロセッサ１０１を機能させるためのＲＯＭ１０２に記憶されたソフトウェアとして構成できる。状態観測部１０６が観測する状態変数Ｓのうち、教示位置補正量データＳ１は、教示データに含まれる教示位置（ロボットが備える各モータの座標値の組み）に対する補正量として取得することができる。教示位置補正量データＳ１は、最終的にロボットが移動する教示位置（例えば、図９の例で言えばワークを治具にはめ込んだときの最終的な位置）の補正量だけであっても良いし、これに加えて最終的にロボットが移動する前の教示位置であるアプローチ位置の補正量を含んでいても良い。また、教示位置補正量データＳ１は、教示位置への移動中にそれぞれのモータに加わった外乱値の最大値を用いても良いし、教示位置への移動中にそれぞれのモータに加わった外乱値を所定周期（例えば、１０ｍｓ）毎に取得した系列値を用いるようにしても良い。
教示位置補正量データＳ１は、例えば熟練した作業者により申告されて制御装置１に与えられたロボットが備える各モータの教示位置の補正量を用いることができる。なお、ここで言うところのロボットが備える各モータの教示位置の補正量は、モータを補正する方向（正負の値）を含む。また、教示位置補正量データＳ１は、学習がある程度進んだ段階では、機械学習装置１００が学習部１１０の学習結果に基づいて１つ前の学習周期において決定したロボットが備える各モータの教示位置の補正量を用いることができ、このような場合においては、機械学習装置１００は決定したロボットが備える各モータの教示位置の補正量を学習周期毎にＲＡＭ１０３に一時的に記憶しておき、状態観測部１０６は、ＲＡＭ１０３から１つ前の学習周期において機械学習装置１００が決定したロボットが備える各モータの教示位置の補正量を取得するようにしても良い。
また、状態変数Ｓのうち、モータ外乱値データＳ２は、例えば教示データに含まれる教示位置に従ってロボットを制御した際のサーボモータ５０に流れる電流値などから間接的に求めた負荷値などを用いることができる。モータ外乱値データＳ２は、モータに組みつけられたトルク計測器等を用いて直接的に求めても良い。
判定データ取得部１０８は、例えばプロセッサ１０１の一機能として構成できる。或いは判定データ取得部１０８は、例えばプロセッサ１０１を機能させるためのＲＯＭ１０２に記憶されたソフトウェアとして構成できる。判定データ取得部１０８は、判定データＤとして、補正された教示位置に従ってロボットを制御した際の各モータの外乱値に対する適否判定値Ｄ１を用いることができる。判定データ取得部１０８は、状態観測部１０６がモータ外乱値データＳ２を観測するのと同様の手段を用いて、補正された教示位置に従ってロボットを制御した際の各モータの外乱値を取得することができる。判定データＤは、状態変数Ｓの下での教示位置に従ってロボットの制御を行った場合における結果を表す指標である。
学習部に１１０対して同時に入力される状態変数Ｓは、学習部１１０による学習周期で考えた場合、判定データＤが取得された１学習周期前のデータに基づくものとなる。このように、制御装置１が備える機械学習装置１００が学習を進める間、環境においては、モータ外乱値データＳ２の取得、教示位置補正量データＳ１に基づいて補正された教示位置に従ったロボットの制御の実行、判定データＤの取得が繰り返し実施される。
学習部１１０は、例えばプロセッサ１０１の一機能として構成できる。或いは学習部１１０は、例えばプロセッサ１０１を機能させるためのＲＯＭ１０２に記憶されたソフトウェアとして構成できる。学習部１１０は、機械学習と総称される任意の学習アルゴリズムに従い、教示データに含まれる教示位置に従ったロボットの制御におけるロボットが備える各モータの外乱値に対する教示位置補正量データＳ１を学習する。学習部１１０は、前述した状態変数Ｓと判定データＤとを含むデータ集合に基づく学習を反復実行することができる。教示データに含まれる教示位置に従ったロボットの制御におけるロボットが備える各モータの外乱値に対する教示位置補正量データＳ１の学習サイクルの反復中、状態変数Ｓのうち、モータ外乱値データＳ２は、上記したように１学習周期前に取得された教示データに含まれる教示位置に従ったロボットの制御における該ロボットが備える各モータの外乱値とし、教示位置補正量データＳ１は、前回までの学習結果に基づいて得られた教示データに含まれる教示位置に従ったロボットの制御における該ロボットが備える各モータの教示位置の補正量とし、また判定データＤは、教示位置補正量データＳ１に基づく教示位置の補正が為された状態での今回の学習周期における（補正された）教示位置に従ったロボットの制御における該ロボットが供える各モータの外乱値に対する適否判定結果とする。
このような学習サイクルを繰り返すことにより、学習部１１０は、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値（モータ外乱値データＳ２）と該教示位置に対する補正量との相関性を暗示する特徴を自動的に識別することができる。学習アルゴリズムの開始時にはモータ外乱値データＳ２と教示位置に対する補正量との相関性は実質的に未知であるが、学習部１１０は、学習を進めるに従い徐々に特徴を識別して相関性を解釈する。モータ外乱値データＳ２と教示位置に対する補正量との相関性が、ある程度信頼できる水準まで解釈されると、学習部１１０が反復出力する学習結果は、現在状態（つまりロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値）に対して、該教示位置の補正量をどの程度の値とするべきかと言う行動の選択（つまり意思決定）を行うために使用できるものとなる。つまり学習部１１０は、学習アルゴリズムの進行に伴い、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値と、当該状態に対してロボットの該教示位置の補正量をどの程度の値とするべきかという行動との、相関性を最適解に徐々に近づけることができる。
上記したように、制御装置１が備える機械学習装置１００は、状態観測部１０６が観測した状態変数Ｓと判定データ取得部１０８が取得した判定データＤとを用いて、学習部１１０が機械学習アルゴリズムに従い、ロボットの教示位置の補正量を学習するものである。状態変数Ｓは、教示位置補正量データＳ１及びモータ外乱値データＳ２といった、外乱の影響を受け難いデータで構成され、また判定データＤは、制御装置１で実測されたサーボモータ５０の電流値等を取得することにより一義的に求められる。したがって、制御装置１が備える機械学習装置１００によれば、学習部１１０の学習結果を用いることで、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値に応じた、ロボットの該教示位置の補正量を、演算や目算によらずに自動的に、しかも正確に求めることができるようになる。
そして、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量を、演算や目算によらずに自動的に求めることができれば、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値（モータ外乱値データＳ２）を把握するだけで、ロボットの該教示位置の補正量の適切な値を迅速に決定することができる。したがって、ロボットの教示位置の補正量の決定を効率よく行うことができる。
制御装置１が備える機械学習装置１００の一変形例として、状態観測部１０６は、状態変数Ｓとして、教示データによる教示位置を含む教示位置データＳ３を更に観測することができる。教示位置データＳ３は、教示データに含まれる教示位置（ロボットが備える各モータの座標値の組み）として取得することができる。教示位置データＳ３は、最終的にロボットが移動する教示位置（例えば、図９の例で言えばワークを治具にはめ込んだときの最終的な位置）だけであって良いし、これに加えて、最終的にロボットが移動する前の教示位置であるアプローチ位置を含んでいても良い。
上記変形例によれば、機械学習装置１００は、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値と、該教示位置との双方に対する、該教示位置に対する補正量とを学習することができる。このようにすることで、教示データに基づいたロボットの制御において、該ロボットの姿勢を考慮しながら教示位置の補正量を適切な値へと変更することが可能となるため、より適切にロボットが備えるモータへの外乱を抑えることができるようになる。
制御装置１が備える機械学習装置１００の他の変形例として、判定データ取得部１０８は、判定データＤとして、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値に対する適否判定値Ｄ１に加えて、最終的にロボットが移動する教示位置の適否判定値Ｄ２や、振動センサや音センサ等のセンサにより検出された値の適否判定値Ｄ３、補正後の教示位置に従ったロボットの制御におけるサイクルタイムの評価値Ｄ４などを用いることができる。
上記変形例によれば、機械学習装置１００は、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値に対する、ロボットの該教示位置の補正量の学習に際して、教示位置のズレ度合いや、振動や異音の発生、サイクルタイムの向上等を考慮することができる。
制御装置１が備える機械学習装置１００の他の変形例として、学習部１１０は、同一の作業を行う複数のロボットのそれぞれについて得られた状態変数Ｓ及び判定データＤを用いて、それらロボットにおける教示データに含まれる教示位置に従って制御をする際の該教示位置の補正量を学習することができる。この構成によれば、一定時間で得られる状態変数Ｓと判定データＤとを含むデータ集合の量を増加できるので、より多様なデータ集合を入力として、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量の学習の速度や信頼性を向上させることができる。
上記構成を有する機械学習装置１００では、学習部１１０が実行する学習アルゴリズムは特に限定されず、機械学習として公知の学習アルゴリズムを採用できる。図３は、図１に示す制御装置１の一形態であって、学習アルゴリズムの一例として強化学習を実行する学習部１１０を備えた構成を示す。強化学習は、学習対象が存在する環境の現在状態（つまり入力）を観測するとともに現在状態で所定の行動（つまり出力）を実行し、その行動に対し何らかの報酬を与えるというサイクルを試行錯誤的に反復して、報酬の総計が最大化されるような方策（本願の機械学習装置ではロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量）を最適解として学習する手法である。
図３に示す制御装置１が備える機械学習装置１００において、学習部１１０は、状態変数Ｓに基づいて補正後の教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値の適否判定結果（状態変数Ｓが取得された次の学習周期で用いられる判定データＤに相当）に関連する報酬Ｒを求める報酬計算部１１２と、報酬Ｒを用いて、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量の価値を表す関数Ｑを更新する価値関数更新部１１４とを備える。学習部１１０は、価値関数更新部１１４が関数Ｑの更新を繰り返すことによってロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値に対するロボットの該教示位置の補正量を学習する。
学習部１１０が実行する強化学習のアルゴリズムの一例を説明する。この例によるアルゴリズムは、Ｑ学習（Ｑ−ｌｅａｒｎｉｎｇ）として知られるものであって、行動主体の状態ｓと、その状態ｓで行動主体が選択し得る行動ａとを独立変数として、状態ｓで行動ａを選択した場合の行動の価値を表す関数Ｑ（ｓ，ａ）を学習する手法である。状態ｓで価値関数Ｑが最も高くなる行動ａを選択することが最適解となる。状態ｓと行動ａとの相関性が未知の状態でＱ学習を開始し、任意の状態ｓで種々の行動ａを選択する試行錯誤を繰り返すことで、価値関数Ｑを反復して更新し、最適解に近付ける。ここで、状態ｓで行動ａを選択した結果として環境（つまり状態ｓ）が変化したときに、その変化に応じた報酬（つまり行動ａの重み付け）ｒが得られるように構成し、より高い報酬ｒが得られる行動ａを選択するように学習を誘導することで、価値関数Ｑを比較的短時間で最適解に近付けることができる。
価値関数Ｑの更新式は、一般に下記の数１式のように表すことができる。数１式において、ｓt及びａtはそれぞれ時刻ｔにおける状態及び行動であり、行動ａtにより状態はｓt+1に変化する。ｒt+1は、状態がｓtからｓt+1に変化したことで得られる報酬である。ｍａｘＱの項は、時刻ｔ＋１で最大の価値Ｑになる（と時刻ｔで考えられている）行動ａを行ったときのＱを意味する。α及びγはそれぞれ学習係数及び割引率であり、０＜α≦１、０＜γ≦１で任意設定される。
Figure 2018202564
学習部１１０がＱ学習を実行する場合、状態観測部１０６が観測した状態変数Ｓ及び判定データ取得部１０８が取得した判定データＤは、更新式の状態ｓに該当し、現在状態（つまりロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値）に対するロボットの該教示位置の補正量をどのように決定するべきかという行動は、更新式の行動ａに該当し、報酬計算部１１２が求める報酬Ｒは、更新式の報酬ｒに該当する。よって価値関数更新部１１４は、現在状態に対するロボットの教示位置の補正量の価値を表す関数Ｑを、報酬Ｒを用いたＱ学習により繰り返し更新する。
報酬計算部１１２が求める報酬Ｒは、例えば、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量を決定した後に決定した教示位置の補正量に基づく補正を行った教示位置に従ってロボットの制御を行ったときに、該ロボットの動作の適否判定結果が「適」と判定される場合（例えば、該ロボットが備える各モータの外乱値が許容できる範囲内の場合、最終的に該ロボットが移動する教示位置が許容できる範囲内の場合など）に正（プラス）の報酬Ｒとし、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量を決定した後に決定した教示位置の補正量に基づく補正を行った教示位置に従ってロボットの制御を行ったときに、該ロボットの動作の適否判定結果が「否」と判定される場合（例えば、該ロボットが備える各モータの外乱値が許容できる範囲外の場合、最終的に該ロボットが移動する教示位置が許容できる範囲外の場合など）に負（マイナス）の報酬Ｒとすることができる。正負の報酬Ｒの絶対値は、互いに同一であってもよいし異なっていてもよい。また、判定の条件として、判定データＤに含まれる複数の値を組み合わせて判定するようにしても良い。
また、ロボットの動作の適否判定結果を、「適」及び「否」の二通りだけでなく複数段階に設定することができる。例として、ロボットが備える各モータの外乱値の許容範囲の最大値がＶmaxの場合、ロボットが備える各モータの外乱値Ｖが、０≦Ｖ＜Ｖmax／５のときは報酬Ｒ＝５を与え、Ｖmax／５≦Ｖ＜Ｖmax／２のときは報酬Ｒ＝２を与え、Ｖmax／２≦Ｖ≦Ｖmaxのときは報酬Ｒ＝１を与えるような構成とすることができる。さらに、学習の初期段階はＶmaxを比較的大きく設定し、学習が進行するにつれてＶmaxを縮小する構成とすることもできる。
価値関数更新部１１４は、状態変数Ｓと判定データＤと報酬Ｒとを、関数Ｑで表される行動価値（例えば数値）と関連付けて整理した行動価値テーブルを持つことができる。この場合、価値関数更新部１１４が関数Ｑを更新するという行為は、価値関数更新部１１４が行動価値テーブルを更新するという行為と同義である。Ｑ学習の開始時には環境の現在状態とロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量との相関性は未知であるから、行動価値テーブルにおいては、種々の状態変数Ｓと判定データＤと報酬Ｒとが、無作為に定めた行動価値の値（関数Ｑ）と関連付けた形態で用意されている。なお報酬計算部１１２は、判定データＤが分かればこれ対応する報酬Ｒを直ちに算出でき、算出した値Ｒが行動価値テーブルに書き込まれる。
ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値の適否判定結果に応じた報酬Ｒを用いてＱ学習を進めると、より高い報酬Ｒが得られる行動を選択する方向へ学習が誘導され、選択した行動を現在状態で実行した結果として変化する環境の状態（つまり状態変数Ｓ及び判定データＤ）に応じて、現在状態で行う行動についての行動価値の値（関数Ｑ）が書き換えられて行動価値テーブルが更新される。この更新を繰り返すことにより、行動価値テーブルに表示される行動価値の値（関数Ｑ）は、適正な行動ほど大きな値となるように書き換えられる。このようにして、未知であった環境の現在状態（ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値）とそれに対する行動（ロボットの該教示位置の補正量の決定）との相関性が徐々に明らかになる。つまり行動価値テーブルの更新により、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値と、ロボットの該教示位置の補正量の決定との関係が最適解に徐々に近づけられる。
図４を参照して、学習部１１０が実行する上記したＱ学習のフロー（つまり機械学習方法の一形態）をさらに説明する。まずステップＳＡ０１で、価値関数更新部１１４は、その時点での行動価値テーブルを参照しながら、状態観測部１０６が観測した状態変数Ｓが示す現在状態で行う行動としてロボットの該教示位置の補正量を無作為に選択する。次に価値関数更新部１１４は、ステップＳＡ０２で、状態観測部１０６が観測している現在状態の状態変数Ｓを取り込み、ステップＳＡ０３で、判定データ取得部１０８が取得している現在状態の判定データＤを取り込む。次に価値関数更新部１１４は、ステップＳＡ０４で、判定データＤに基づき、ロボットの該教示位置の補正量が適当であったか否かを判断し、適当であった場合、ステップＳＡ０５で、報酬計算部１１２が求めた正の報酬Ｒを関数Ｑの更新式に適用し、次いでステップＳＡ０６で、現在状態における状態変数Ｓ及び判定データＤと報酬Ｒと行動価値の値（更新後の関数Ｑ）とを用いて行動価値テーブルを更新する。ステップＳＡ０４で、ロボットの該教示位置の補正量が適当でなかったと判断した場合、ステップＳＡ０７で、報酬計算部１１２が求めた負の報酬Ｒを関数Ｑの更新式に適用し、次いでステップＳＡ０６で、現在状態における状態変数Ｓ及び判定データＤと報酬Ｒと行動価値の値（更新後の関数Ｑ）とを用いて行動価値テーブルを更新する。学習部１１０は、ステップＳＡ０１〜ＳＡ０７を繰り返すことで行動価値テーブルを反復して更新し、ロボットの該教示位置の補正量の学習を進行させる。なお、ステップＳＡ０４からステップＳＡ０７までの報酬Ｒを求める処理及び価値関数の更新処理は、判定データＤに含まれるそれぞれのデータについて実行される。
前述した強化学習を進める際に、例えばＱ学習の代わりに、ニューラルネットワークを用いることができる。図５Ａは、ニューロンのモデルを模式的に示す。図５Ｂは、図５Ａに示すニューロンを組み合わせて構成した三層のニューラルネットワークのモデルを模式的に示す。ニューラルネットワークは、例えば、ニューロンのモデルを模した演算装置や記憶装置等によって構成できる。
図５Ａに示すニューロンは、複数の入力ｘ（ここでは一例として、入力ｘ1〜入力ｘ3）に対する結果ｙを出力するものである。各入力ｘ1〜ｘ3には、この入力ｘに対応する重みｗ（ｗ1〜ｗ3）が掛けられる。これにより、ニューロンは、次の数２式により表現される出力ｙを出力する。なお、数２式において、入力ｘ、出力ｙ及び重みｗは、すべてベクトルである。また、θはバイアスであり、ｆkは活性化関数である。
Figure 2018202564
図５Ｂに示す三層のニューラルネットワークは、左側から複数の入力ｘ（ここでは一例として、入力ｘ１〜入力ｘ３）が入力され、右側から結果ｙ（ここでは一例として、結果ｙ１〜結果ｙ３）が出力される。図示の例では、入力ｘ１、ｘ２、ｘ３のそれぞれに対応の重み（総称してｗ１で表す)が乗算されて、個々の入力ｘ１、ｘ２、ｘ３がいずれも３つのニューロンＮ１１、Ｎ１２、Ｎ１３に入力されている。
図５Ｂでは、ニューロンＮ１１〜Ｎ１３の各々の出力を、総称してｚ１で表す。ｚ１は、入カベクトルの特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ１のそれぞれに対応の重み（総称してｗ２で表す）が乗算されて、個々の特徴ベクトルｚ１がいずれも２つのニューロンＮ２１、Ｎ２２に入力されている。特徴ベクトルｚ１は、重みＷ１と重みＷ２との間の特徴を表す。
図５Ｂでは、ニューロンＮ２１〜Ｎ２２の各々の出力を、総称してｚ２で表す。ｚ２は、特徴ベクトルｚ１の特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルｚ２のそれぞれに対応の重み（総称してｗ３で表す）が乗算されて、個々の特徴ベクトルｚ２がいずれも３つのニューロンＮ３１、Ｎ３２、Ｎ３３に入力されている。特徴ベクトルｚ２は、重みＷ２と重みＷ３との間の特徴を表す。最後にニューロンＮ３１〜Ｎ３３は、それぞれ結果ｙ１〜ｙ３を出力する。
なお、三層以上の層を為すニューラルネットワークを用いた、いわゆるディープラーニングの手法を用いることも可能である。
制御装置１が備える機械学習装置１００においては、状態変数Ｓと判定データＤとを入力ｘとして、学習部１１０が上記したニューラルネットワークに従う多層構造の演算を行うことで、ロボットの教示位置の補正量（結果ｙ）を出力することができる。また、制御装置１が備える機械学習装置１００においては、ニューラルネットワークを強化学習における価値関数として用い、状態変数Ｓと行動ａとを入力ｘとして、学習部１１０が上記したニューラルネットワークに従う多層構造の演算を行うことで、当該状態における当該行動の価値（結果ｙ）を出力することもできる。なおニューラルネットワークの動作モードには、学習モードと価値予測モードとがあり、例えば学習モードで学習データセットを用いて重みｗを学習し、学習した重みｗを用いて価値予測モードで行動の価値判断を行うことができる。なお価値予測モードでは、検出、分類、推論等を行うこともできる。
上記した制御装置１の構成は、プロセッサ１０１が実行する機械学習方法（或いはソフトウェア）として記述できる。この機械学習方法は、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量を学習する機械学習方法であって、コンピュータのＣＰＵが、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量を示す教示位置補正量データＳ１、及びロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値を示すモータ外乱値データＳ２を、ロボットの制御を行う環境の現在状態を表す状態変数Ｓとして観測するステップと、補正された教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値の適否判定結果を示す判定データＤを取得するステップと、状態変数Ｓと判定データＤとを用いて、モータ外乱値データＳ２とロボットの教示位置の補正量とを関連付けて学習するステップとを有する。
図６は、第２の実施形態による制御装置２を示す。制御装置２は、機械学習装置１２０と、状態観測部１０６が観測する状態変数Ｓの教示位置補正量データＳ１及びモータ外乱値データＳ２を状態データＳ０として取得する状態データ取得部３とを備える。状態データ取得部３が取得する状態データＳ０は、教示データによる教示位置を含む教示位置データＳ３等を含むこともできる。状態データ取得部３は、制御装置２の各部や、工作機械が備える各種センサ、作業者による適宜のデータ入力等から、状態データＳ０を取得することができる。
制御装置２が有する機械学習装置１２０は、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量を機械学習により自ら学習するためのソフトウェア（学習アルゴリズム等）及びハードウェア（プロセッサ１０１等）に加えて、学習したロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量を制御装置２への指令として出力するためのソフトウェア（演算アルゴリズム等）及びハードウェア（プロセッサ１０１等）を含むものである。制御装置２が含む機械学習装置１２０は、１つの共通のプロセッサが、学習アルゴリズム、演算アルゴリズム等の全てのソフトウェアを実行する構成を有することもできる。
意思決定部１２２は、例えばプロセッサ１０１の一機能として構成できる。或いは意思決定部１２２は、例えばプロセッサ１０１を機能させるためのＲＯＭ１０２に記憶されたソフトウェアとして構成できる。意思決定部１２２は、学習部１１０が学習した結果に基づいて、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値に対する、ロボットの該教示位置の補正値を決定する指令を含む指令値Ｃを生成し、生成した指令値Ｃとして出力する。意思決定部１２２が指令値Ｃを制御装置２に対して出力した場合、これに応じて、環境の状態が変化する。
状態観測部１０６は、意思決定部１２２による環境への指令値Ｃを出力した後に変化した状態変数Ｓを次の学習周期において観測する。学習部１１０は、変化した状態変数Ｓを用いて、例えば価値関数Ｑ（すなわち行動価値テーブル）を更新することで、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量を学習する。なお、その際に状態観測部１０６は、教示位置補正量データＳ１を状態データ取得部３が取得する状態データＳ０から取得するのではなく、第１の実施形態で説明したように機械学習装置１２０のＲＡＭ１０３から観測するようにしても良い。
意思決定部１２２は、学習したロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量の下で状態変数Ｓに応じて指令値Ｃを制御装置２へと出力する。この学習周期を繰り返すことにより、機械学習装置１２０はロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量の学習を進め、自身が決定するロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量の信頼性を徐々に向上させる。
上記構成を有する制御装置２が備える機械学習装置１２０は、前述した機械学習装置１００と同等の効果を奏する。特に機械学習装置１２０は、意思決定部１２２の出力によって環境の状態を変化させることができる。他方、機械学習装置１００では、学習部１１０の学習結果を環境に反映させるための意思決定部に相当する機能を、外部装置に求めることができる。
図７は、ロボット１６０を備えた一実施形態によるシステム１７０を示す。システム１７０は、少なくとも同一の作業を行う複数のロボット１６０、１６０’と、それらロボット１６０、１６０’を互いに接続する有線／無線のネットワーク１７２とを備え、複数のロボット１６０のうち少なくとも１つが、上記した制御装置２を備えるロボット１６０として構成される。またシステム１７０は、制御装置２を備えないロボット１６０’を含むことができる。ロボット１６０、１６０’は、同じ目的の作業に必要とされる機構を有する。
上記構成を有するシステム１７０は、複数のロボット１６０、１６０’のうちで制御装置２を備えるロボット１６０が、学習部１１０の学習結果を用いて、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値に対する、ロボットの該教示位置の補正量を、演算や目算によらずに自動的に、しかも正確に求めることができる。また、少なくとも１つのロボット１６０の制御装置２が、他の複数のロボット１６０、１６０’のそれぞれについて得られた状態変数Ｓ及び判定データＤに基づき、全てのロボット１６０、１６０’に共通するロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量を学習し、その学習結果を全てのロボット１６０、１６０’が共有するように構成できる。したがってシステム１７０によれば、より多様なデータ集合（状態変数Ｓ及び判定データＤを含む）を入力として、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量の学習の速度や信頼性を向上させることができる。
図８は、ロボット１６０’を備えた他の実施形態によるシステム１７０’を示す。システム１７０’は、機械学習装置１２０（又は１００）と、同一の機械構成を有する複数のロボット１６０’と、それらロボット１６０’と機械学習装置１２０（又は１００）とを互いに接続する有線／無線のネットワーク１７２とを備える。
上記構成を有するシステム１７０’は、機械学習装置１２０（又は１００）が、複数のロボット１６０’のそれぞれについて得られた状態変数Ｓ及び判定データＤに基づき、全てのロボット１６０’に共通するロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値に対するロボットの該教示位置の補正量を学習し、その学習結果を用いて、ロボットの教示データに含まれる教示位置に従った該ロボットの制御における該ロボットが備える各モータの外乱値に対するロボットの該教示位置の補正量を、演算や目算によらずに自動的に、しかも正確に求めることができる。
システム１７０’は、機械学習装置１２０（又は１００）が、ネットワーク１７２に用意されたクラウドサーバ等に存在する構成を有することができる。この構成によれば、複数のロボット１６０’のそれぞれが存在する場所や時期に関わらず、必要なときに必要な数のロボット１６０’を機械学習装置１２０（又は１００）に接続することができる。
システム１７０、１７０’に従事する作業者は、機械学習装置１２０（又は１００）による学習開始後の適当な時期に、機械学習装置１２０（又は１００）によるロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量の学習の到達度（すなわちロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量の信頼性）が要求レベルに達したか否かの判断を実行することができる。
以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
例えば、機械学習装置１００，１２０が実行する学習アルゴリズム、機械学習装置１２０が実行する演算アルゴリズム、制御装置１、２が実行する制御アルゴリズム等は、上述したものに限定されず、様々なアルゴリズムを採用できる。
また、上記した実施形態では制御装置１（又は２）と機械学習装置１００（又は１２０）が異なるＣＰＵを有する装置として説明しているが、機械学習装置１００（又は１２０）は制御装置１（又は２）が備えるＣＰＵ１１と、ＲＯＭ１２に記憶されるシステム・プログラムにより実現するようにしても良い。
更に、上記した実施形態では機械学習装置１２０が出力する指令値Ｃに基づいて制御装置２がロボットの教示データに含まれる教示位置に従った該ロボットの制御における該教示位置の補正量を制御する構成を示したが、機械学習装置１２０が出力する指令値Ｃを教示操作盤が備える表示装置に表示して、作業者が教示を行う際の参考となるようにしても良い。
１，２ 制御装置
３ 状態データ取得部
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 不揮発性メモリ
１９，２１ インタフェース
２０ バス
３０ 軸制御回路
４０ サーボアンプ
５０ サーボモータ
６０ 教示操作盤
１００ 機械学習装置
１０１ プロセッサ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 不揮発性メモリ
１０６ 状態観測部
１０８ 判定データ取得部
１１０ 学習部
１１２ 報酬計算部
１１４ 価値関数更新部
１２０ 機械学習装置
１２２ 意思決定部
１６０，１６０’ ロボット
１７０，１７０’ システム
１７２ ネットワーク

Claims (9)

  1. 教示データに含まれる教示位置に従ったロボットの制御における該教示位置の補正量を決定する制御装置であって、
    前記教示位置に従った前記ロボットの制御における該教示位置の補正量を学習する機械学習装置を備え、
    前記機械学習装置は、
    前記教示位置に従った前記ロボットの制御における該教示位置の補正量を示す教示位置補正量データ、及び前記ロボットの制御における該ロボットが備える各モータの外乱値を示すモータ外乱値データを、環境の現在状態を表す状態変数として観測する状態観測部と、
    前記ロボットの制御における該ロボットが備える各モータの外乱値の適否判定結果を示す判定データを取得する判定データ取得部と、
    前記状態変数と前記判定データとを用いて、前記ロボットの教示位置の補正量を前記モータ外乱値データと関連付けて学習する学習部と、
    を備える制御装置。
  2. 前記状態観測部は、前記状態変数として、教示データによる教示位置を含む教示位置データを更に観測し、
    前記学習部は、前記状態観測部が観測したデータを、前記モータ外乱値データと関連付けて学習する、
    請求項１に記載の制御装置。
  3. 前記判定データには、前記ロボットの制御における該ロボットが備える各モータの外乱値の適否判定結果に加えて、最終的に前記ロボットが移動する教示位置の適否判定結果、センサにより検出された値の適否判定結果、及び補正後の教示位置に従った前記ロボットの制御におけるサイクルタイムの適否判定結果の少なくともいずれかを含む、
    請求項１又は２のいずれか１つに記載の制御装置。
  4. 前記学習部は、
    前記適否判定結果に関連する報酬を求める報酬計算部と、
    前記報酬を用いて、前記ロボットの制御における該ロボットが備える各モータの外乱値に対する前記教示位置の補正量の価値を表す関数を更新する価値関数更新部とを備える、
    請求項１〜３のいずれか１つに記載の制御装置。
  5. 前記学習部は、前記状態変数と前記判定データとを多層構造で演算する、
    請求項１〜４のいずれか１つに記載の制御装置。
  6. 前記学習部による学習結果に基づいて、前記教示位置に従った前記ロボットの制御における該教示位置の補正量に基づく指令値を出力する意思決定部を更に備える、
    請求項１〜５のいずれか１つに記載の制御装置。
  7. 前記学習部は、複数のロボットのそれぞれについて得られた前記状態変数及び前記判定データを用いて、該複数のロボットのそれぞれにおける前記教示位置に従った前記ロボットの制御における該教示位置の補正量を学習する、
    請求項１〜６のいずれか１つに記載の制御装置。
  8. 前記機械学習装置は、クラウドサーバに存在する、
    請求項１〜７のいずれか１つに記載の制御装置。
  9. 教示データに含まれる教示位置に従ったロボットの制御における該教示位置の補正量を学習する機械学習装置であって、
    前記教示位置に従った前記ロボットの制御における該教示位置の補正量を示す教示位置補正量データ、及び前記ロボットの制御における該ロボットが備える各モータの外乱値を示すモータ外乱値データを、環境の現在状態を表す状態変数として観測する状態観測部と、
    前記ロボットの制御における該ロボットが備える各モータの外乱値の適否判定結果を示す判定データを取得する判定データ取得部と、
    前記状態変数と前記判定データとを用いて、前記ロボットの教示位置の補正量を前記モータ外乱値データと関連付けて学習する学習部と、
    を備える機械学習装置。
JP2017112191A 2017-06-07 2017-06-07 制御装置及び機械学習装置 Active JP6542839B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017112191A JP6542839B2 (ja) 2017-06-07 2017-06-07 制御装置及び機械学習装置
US15/995,384 US10668619B2 (en) 2017-06-07 2018-06-01 Controller and machine learning device
CN201810570347.8A CN109002012B (zh) 2017-06-07 2018-06-05 控制装置以及机器学习装置
DE102018006946.0A DE102018006946B4 (de) 2017-06-07 2018-08-30 Steuerung und maschinelle Lernvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017112191A JP6542839B2 (ja) 2017-06-07 2017-06-07 制御装置及び機械学習装置

Publications (2)

Publication Number Publication Date
JP2018202564A true JP2018202564A (ja) 2018-12-27
JP6542839B2 JP6542839B2 (ja) 2019-07-10

Family

ID=64334632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017112191A Active JP6542839B2 (ja) 2017-06-07 2017-06-07 制御装置及び機械学習装置

Country Status (4)

Country Link
US (1) US10668619B2 (ja)
JP (1) JP6542839B2 (ja)
CN (1) CN109002012B (ja)
DE (1) DE102018006946B4 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3828651A1 (en) 2019-11-26 2021-06-02 Yokogawa Electric Corporation Apparatus, method and program
EP3901709A1 (en) 2020-04-24 2021-10-27 Yokogawa Electric Corporation Control apparatus, control method, and control program
EP4053651A1 (en) 2021-03-03 2022-09-07 Yokogawa Electric Corporation Determination apparatus, determination method, and determination program
EP4057085A1 (en) 2021-03-09 2022-09-14 Yokogawa Electric Corporation Control apparatus, control method and control program
EP4057084A1 (en) 2021-03-10 2022-09-14 Yokogawa Electric Corporation Control apparatus, control method, and control program
EP4060431A1 (en) 2021-03-17 2022-09-21 Yokogawa Electric Corporation Controller, control method, and control program
EP4138005A1 (en) 2021-08-05 2023-02-22 Yokogawa Electric Corporation Learning device, learning method, learning program, and control
JP7503741B2 (ja) 2020-02-15 2024-06-21 博幸 田中 スマートペンダント

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6646025B2 (ja) * 2017-09-15 2020-02-14 ファナック株式会社 制御装置及び機械学習装置
US11826902B2 (en) * 2018-02-01 2023-11-28 Honda Motor Co., Ltd. Robot system and method for controlling robot
JP6703020B2 (ja) * 2018-02-09 2020-06-03 ファナック株式会社 制御装置及び機械学習装置
CN111819037B (zh) 2018-02-26 2023-06-02 三菱电机株式会社 校正函数生成装置、机器人控制系统及机器人系统
JP6751790B1 (ja) * 2019-03-15 2020-09-09 Dmg森精機株式会社 工作機械の切り屑処理装置及び切り屑処理方法
DE112019006917B4 (de) * 2019-03-28 2023-07-06 Mitsubishi Electric Corporation Numerische Steuerung und Maschinenlernvorrichtung
CN109870162B (zh) * 2019-04-04 2020-10-30 北京航空航天大学 一种基于竞争深度学习网络的无人机飞行路径规划方法
EP3839443B1 (de) * 2019-12-16 2022-06-08 Sick Ag Gebervorrichtung und verfahren zur bestimmung einer kinematischen grösse
DE102020200165B4 (de) * 2020-01-09 2022-05-19 Robert Bosch Gesellschaft mit beschränkter Haftung Robotersteuereinrichtung und Verfahren zum Steuern eines Roboters
US11586983B2 (en) 2020-03-02 2023-02-21 Nxp B.V. Data processing system and method for acquiring data for training a machine learning model for use in monitoring the data processing system for anomalies
US11820014B2 (en) 2020-05-21 2023-11-21 Intrinsic Innovation Llc Simulated local demonstration data for robotic demonstration learning
US11986958B2 (en) 2020-05-21 2024-05-21 Intrinsic Innovation Llc Skill templates for robotic demonstration learning
US11679497B2 (en) 2020-05-21 2023-06-20 Intrinsic Innovation Llc Distributed robotic demonstration learning
US11685047B2 (en) 2020-05-21 2023-06-27 Intrinsic Innovation Llc Skill template distribution for robotic demonstration learning
US11534913B2 (en) 2020-05-21 2022-12-27 Intrinsic Innovation Llc Integrating sensor streams for robotic demonstration learning
US11524402B2 (en) 2020-05-21 2022-12-13 Intrinsic Innovation Llc User feedback for robotic demonstration learning
US11472025B2 (en) 2020-05-21 2022-10-18 Intrinsic Innovation Llc Robotic demonstration learning device
DE102020206913B4 (de) 2020-06-03 2022-12-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben eines Roboters
DE102021124215A1 (de) 2021-09-20 2023-03-23 linrob GmbH Verfahren zur Kompensation von Positionierungsungenauigkeiten eines Linearroboters und Linearroboter
DE102021126188A1 (de) 2021-10-08 2023-04-13 Dürr Systems Ag Überwachungsverfahren für einen Roboter und zugehörige Roboteranlage

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09258814A (ja) * 1996-03-22 1997-10-03 Kayaba Ind Co Ltd 組み立てロボットの位置決め制御装置及び位置決め制御方法
JPH09319420A (ja) * 1996-05-31 1997-12-12 Ricoh Co Ltd 組立ロボット
JPWO2009034957A1 (ja) * 2007-09-14 2010-12-24 株式会社安川電機 ロボットの力制御方法、制御装置およびロボットシステム
JP2016059971A (ja) * 2014-09-16 2016-04-25 キヤノン株式会社 ロボット装置、ロボット制御方法、プログラム及び記録媒体
JP2017030137A (ja) * 2015-07-31 2017-02-09 ファナック株式会社 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
JP2017030135A (ja) * 2015-07-31 2017-02-09 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
JP2018103309A (ja) * 2016-12-26 2018-07-05 ファナック株式会社 組付動作を学習する機械学習装置および部品組付システム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6284886A (ja) 1985-10-09 1987-04-18 Kawasaki Steel Corp 耐食性および耐中性子照射脆化特性に優れる肉盛金属を得るためのエレクトロスラグ肉盛溶接法
JPH02284886A (ja) 1989-04-27 1990-11-22 Nissan Motor Co Ltd ワーク位置決め装置の位置教示補正方法
JPH06284886A (ja) * 1993-04-01 1994-10-11 Amano Pharmaceut Co Ltd 酵素の溶液中での安定化方法
JP3215086B2 (ja) * 1998-07-09 2001-10-02 ファナック株式会社 ロボット制御装置
JP4174517B2 (ja) * 2006-03-13 2008-11-05 ファナック株式会社 教示位置修正装置および教示位置修正方法
US8886359B2 (en) * 2011-05-17 2014-11-11 Fanuc Corporation Robot and spot welding robot with learning control function
JP2014167681A (ja) * 2013-02-28 2014-09-11 Fanuc Ltd 着脱可能な操作盤を備えた制御システム
JP5785284B2 (ja) * 2014-02-17 2015-09-24 ファナック株式会社 搬送対象物の落下事故を防止するロボットシステム
JP5946859B2 (ja) * 2014-04-14 2016-07-06 ファナック株式会社 力に応じて動かすロボットのロボット制御装置およびロボットシステム
JP5890477B2 (ja) * 2014-07-09 2016-03-22 ファナック株式会社 ロボットプログラム修正システム
JP5905537B2 (ja) * 2014-07-30 2016-04-20 ファナック株式会社 教示操作盤が着脱可能なロボット制御装置
JP6081981B2 (ja) * 2014-12-19 2017-02-15 ファナック株式会社 教示プログラムの自動表示手段を備える数値制御装置
JP6166305B2 (ja) * 2015-05-08 2017-07-19 ファナック株式会社 負荷パラメータ設定装置および負荷パラメータ設定方法
DE102016009030B4 (de) * 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
DE102016008987B4 (de) * 2015-07-31 2021-09-16 Fanuc Corporation Maschinenlernverfahren und Maschinenlernvorrichtung zum Lernen von Fehlerbedingungen, und Fehlervorhersagevorrichtung und Fehlervorhersagesystem, das die Maschinenlernvorrichtung einschließt
JP6154444B2 (ja) * 2015-08-27 2017-06-28 ファナック株式会社 複数のティーチング装置からロボットを操作するロボットシステム
JP6333790B2 (ja) * 2015-10-21 2018-05-30 ファナック株式会社 ネットワークを介して接続された複数の制御装置を備えるロボットシステム
JP6328599B2 (ja) * 2015-11-20 2018-05-23 ファナック株式会社 ロボットの動作可能範囲を算出するロボットの手動送り装置
JP6706489B2 (ja) * 2015-11-24 2020-06-10 川崎重工業株式会社 ロボットのダイレクト教示方法
JP6285405B2 (ja) * 2015-12-04 2018-02-28 ファナック株式会社 工作機械及びロボットを備えた複合システム
DE102017000063B4 (de) * 2016-01-14 2019-10-31 Fanuc Corporation Robotereinrichtung mit Lernfunktion
JP6309990B2 (ja) * 2016-03-24 2018-04-11 ファナック株式会社 複数の機構ユニットにより構成されたロボットを制御するロボットシステム、該機構ユニット、およびロボット制御装置
JP6360105B2 (ja) * 2016-06-13 2018-07-18 ファナック株式会社 ロボットシステム
JP6457441B2 (ja) * 2016-07-12 2019-01-23 ファナック株式会社 ロボットの重心表示装置、ロボット制御装置およびロボットシミュレーション装置
JP6392825B2 (ja) * 2016-11-01 2018-09-19 ファナック株式会社 学習制御機能を備えたロボット制御装置
JP6438512B2 (ja) * 2017-03-13 2018-12-12 ファナック株式会社 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09258814A (ja) * 1996-03-22 1997-10-03 Kayaba Ind Co Ltd 組み立てロボットの位置決め制御装置及び位置決め制御方法
JPH09319420A (ja) * 1996-05-31 1997-12-12 Ricoh Co Ltd 組立ロボット
JPWO2009034957A1 (ja) * 2007-09-14 2010-12-24 株式会社安川電機 ロボットの力制御方法、制御装置およびロボットシステム
JP2016059971A (ja) * 2014-09-16 2016-04-25 キヤノン株式会社 ロボット装置、ロボット制御方法、プログラム及び記録媒体
JP2017030137A (ja) * 2015-07-31 2017-02-09 ファナック株式会社 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
JP2017030135A (ja) * 2015-07-31 2017-02-09 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
JP2018103309A (ja) * 2016-12-26 2018-07-05 ファナック株式会社 組付動作を学習する機械学習装置および部品組付システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3828651A1 (en) 2019-11-26 2021-06-02 Yokogawa Electric Corporation Apparatus, method and program
JP7503741B2 (ja) 2020-02-15 2024-06-21 博幸 田中 スマートペンダント
EP3901709A1 (en) 2020-04-24 2021-10-27 Yokogawa Electric Corporation Control apparatus, control method, and control program
US11960267B2 (en) 2020-04-24 2024-04-16 Yokogawa Electric Corporation Control apparatus, control method, and storage medium
EP4053651A1 (en) 2021-03-03 2022-09-07 Yokogawa Electric Corporation Determination apparatus, determination method, and determination program
EP4057085A1 (en) 2021-03-09 2022-09-14 Yokogawa Electric Corporation Control apparatus, control method and control program
EP4057084A1 (en) 2021-03-10 2022-09-14 Yokogawa Electric Corporation Control apparatus, control method, and control program
EP4060431A1 (en) 2021-03-17 2022-09-21 Yokogawa Electric Corporation Controller, control method, and control program
EP4138005A1 (en) 2021-08-05 2023-02-22 Yokogawa Electric Corporation Learning device, learning method, learning program, and control

Also Published As

Publication number Publication date
CN109002012A (zh) 2018-12-14
DE102018006946A1 (de) 2018-12-13
DE102018006946B4 (de) 2020-10-08
US20180354125A1 (en) 2018-12-13
CN109002012B (zh) 2020-05-29
US10668619B2 (en) 2020-06-02
JP6542839B2 (ja) 2019-07-10

Similar Documents

Publication Publication Date Title
JP6542839B2 (ja) 制御装置及び機械学習装置
JP6577522B2 (ja) 制御装置及び機械学習装置
CN109960219B (zh) 控制装置以及机器学习装置
US10962960B2 (en) Chip removal apparatus and information processing apparatus
JP6557285B2 (ja) 制御装置及び機械学習装置
US20190299406A1 (en) Controller and machine learning device
TWI711982B (zh) 控制裝置及機器學習裝置
CN109849025B (zh) 振动抑制装置
JP6767416B2 (ja) 加工条件調整装置及び機械学習装置
JP6841852B2 (ja) 制御装置及び制御方法
US11897066B2 (en) Simulation apparatus
JP2019168973A (ja) 駆動装置及び機械学習装置
JP6564426B2 (ja) 部品供給装置及び機械学習装置
JP2019141869A (ja) 制御装置及び機械学習装置
CN110125955B (zh) 控制装置以及机器学习装置
CN109725597B (zh) 测试装置以及机器学习装置
JP6490132B2 (ja) ロボットの制御装置、機械学習装置及び機械学習方法
CN109507879B (zh) 控制装置以及机器学习装置
JP6940425B2 (ja) 制御装置及び機械学習装置

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180920

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190613

R150 Certificate of patent or registration of utility model

Ref document number: 6542839

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150