JP2019000942A - 学習装置、制御装置及び制御システム - Google Patents

学習装置、制御装置及び制御システム Download PDF

Info

Publication number
JP2019000942A
JP2019000942A JP2017117865A JP2017117865A JP2019000942A JP 2019000942 A JP2019000942 A JP 2019000942A JP 2017117865 A JP2017117865 A JP 2017117865A JP 2017117865 A JP2017117865 A JP 2017117865A JP 2019000942 A JP2019000942 A JP 2019000942A
Authority
JP
Japan
Prior art keywords
robot
state
learning
acquired
force sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017117865A
Other languages
English (en)
Other versions
JP6577527B2 (ja
Inventor
酒井 保
Tamotsu Sakai
保 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2017117865A priority Critical patent/JP6577527B2/ja
Priority to DE102018113656.0A priority patent/DE102018113656B4/de
Priority to US16/008,143 priority patent/US10730183B2/en
Priority to CN201810616200.8A priority patent/CN109129462B/zh
Publication of JP2019000942A publication Critical patent/JP2019000942A/ja
Application granted granted Critical
Publication of JP6577527B2 publication Critical patent/JP6577527B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/005Manipulators for mechanical processing tasks
    • B25J11/006Deburring or trimming
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/005Manipulators for mechanical processing tasks
    • B25J11/0065Polishing or grinding
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

【課題】ツールの動作ノイズを排除して押付け力を繊細に制御できる学習装置、制御装置及び制御システムを提供する。【解決手段】制御装置10は、ロボット1の現在状態を状態変数として取得する状態観測部22と、アームに装着されて押付け力の制御に必要なデータを検出する力覚センサの検出値をラベルとして取得するラベルデータ取得部24と、無負荷状態で取得された状態変数と、無負荷状態で取得された状態変数のもとで取得されたラベルとの相関関係を示す学習モデルを生成し、学習モデルに基づいて、ロボット1の現在状態に対応する力覚センサの検出値を推定する学習部26とを有する。制御装置10は、負荷状態で取得されたロボット1の現在状態のもとで取得された力覚センサの検出値と、負荷状態で取得されたロボットの現在状態に基づいて学習部26が推定した力覚センサの検出値と、を用いて押付け力の制御を行う。【選択図】図1

Description

本発明は学習装置、制御装置及び制御システムに関し、特にツールの動作ノイズを排除して押付け力を繊細に制御できる学習装置、制御装置及び制御システムに関する。
ワークのバリ取りや研磨等を行うロボットが知られている。このようなロボットはアームの先端に加工を行うためのツールと力覚センサとを備えており、力覚センサの検出値を利用してツールの押付け力を一定に制御する。しかし、ツールの動作ノイズの影響により、ツールの押付け力を繊細に制御できないことがある。すなわち、振動などのノイズが押付け力よりも大きいと、力覚センサは押付け力を検知することができず、ツールがワークに接触しているか否かを判断できない。そのため、従来のロボットは、力覚センサでは検出不可能であった微小な力でツールを押付けることができず、本当に押付けたい力よりも大きな力で押付けるしかなかった。仮にゴムやバネなどで動作ノイズを吸収しようとすると、同時に押付け力の制御もできなくなってしまう。このような理由により、従来は微小なバリ取りなどを行うことが困難であった。
この点、特許文献1には、機械の動作情報を入力データとし、無負荷状態の機械の動作に伴って発生する外乱(力センサにかかる重力成分の装置の姿勢による変化、装置の動作に伴う慣性力など)を教師データとして機械学習を行うこと、負荷状態の機械の動作時には動作情報から外乱を推定し、実際に得られる力センサの検出値から外乱推定値を差し引くことで正味の外力を推定することが記載されている。
特開平07−319558号公報
しかしながら、機械の動作ノイズに影響する要素は必ずしも重力成分や慣性力だけではなく、特にバリ取りや研磨等の作業においては振動又は回転工具特有の動作ノイズを考慮する必要がある。また、ある動作を行う場合にロボットがとり得る姿勢は複数存在する、つまり関節軸の角度の組合せが複数あり得るが、このような姿勢によっても機械の動作ノイズは変化するという問題がある。
本発明はこのような問題点を解決するためになされたものであって、ツールの動作ノイズを排除して押付け力を繊細に制御できる学習装置、制御装置及び制御システムを提供することを目的とする。
本発明の一実施の形態にかかる制御装置は、ロボットのアームの先端に取付けられたツールの押付け力を制御してワークを加工する制御装置であって、前記ロボットの現在状態を、状態変数として取得する状態観測部と、前記アームに装着されて前記押付け力の制御に必要なデータを検出する力覚センサの検出値を、ラベルとして取得するラベルデータ取得部と、無負荷状態で取得された前記状態変数と、無負荷状態で取得された前記状態変数のもとで取得された前記ラベルとの相関関係を示す学習モデルを生成し、前記学習モデルに基づいて、前記ロボットの現在状態に対応する前記力覚センサの検出値を推定する学習部と、を有し、負荷状態で取得された前記ロボットの現在状態のもとで取得された前記力覚センサの検出値と、負荷状態で取得された前記ロボットの現在状態に基づいて前記学習部が推定した前記力覚センサの検出値と、を用いて前記押付け力の制御を行うことを特徴とする。
本発明の一実施の形態にかかる制御装置は、前記力覚センサの検出値は、前記力覚センサに作用する力又は前記力覚センサに作用する振動数のうち少なくともいずれか一方であることを特徴とする。
本発明の一実施の形態にかかる制御装置は、前記ロボットの現在状態は、前記ロボットの動作方向、速度、加速度、加加速度、姿勢、前記ツールの駆動部の回転数、振動数のうち少なくともいずれか1つを含むことを特徴とする。
本発明の一実施の形態にかかる制御装置は、前記ロボットは、前記ワークのバリ取り加工又は研磨加工のうち少なくともいずれか一方を行うことを特徴とする。
本発明の一実施の形態にかかる制御システムは、アームの先端に取付けられたツールの押付け力によりワークを加工するロボットと、前記ロボットの動作を制御する制御装置を有し、前記制御装置は、前記ロボットの現在状態を、状態変数として取得する状態観測部と、前記アームに装着されて前記押付け力の制御に必要なデータを検出する力覚センサの検出値を、ラベルとして取得するラベルデータ取得部と、無負荷状態で取得された前記状態変数と、無負荷状態で取得された前記状態変数のもとで取得された前記ラベルとの相関関係を示す学習モデルを生成し、前記学習モデルに基づいて、前記ロボットの現在状態に対応する前記力覚センサの検出値を推定する学習部と、を有し、負荷状態で取得された前記ロボットの現在状態のもとで取得された前記力覚センサの検出値と、負荷状態で取得された前記ロボットの現在状態に基づいて前記学習部が推定した前記力覚センサの検出値と、を用いて前記押付け力の制御を行うことを特徴とする。
本発明の一実施の形態にかかる学習装置は、ロボットの現在状態を、状態変数として取得する状態観測部と、前記ロボットのアームに装着されて、前記アームの先端に取付けられたツールの押付け力の制御に必要なデータを検出する力覚センサの検出値をラベルとして取得するラベルデータ取得部と、無負荷状態で取得された前記状態変数と、無負荷状態で取得された前記状態変数のもとで取得された前記ラベルとの相関関係を示す学習モデルを生成し、前記学習モデルに基づいて、前記ロボットの現在状態に対応する前記力覚センサの検出値を推定する学習部と、を有することを特徴とする。
本発明によれば、ツールの動作ノイズを排除して押付け力を繊細に制御できる学習装置、制御装置及び制御システムを提供することができる。
制御システム100の概略的な機能ブロック図である。 制御装置10の概略的な機能ブロック図である。 制御装置10の一形態を示す概略的な機能ブロック図である。 ニューロンを説明する図である。 ニューラルネットワークを説明する図である。
以下、本発明の実施の形態を図面を用いて説明する。まず、図1を用いて、本発明の実施の形態1にかかる制御システム100の構成について説明する。制御システム100は、ロボット1、ロボット1を制御する制御装置10を含む。制御装置10は、学習装置20を含む。
図2は実施の形態1による制御装置10の概略的な構成を示す機能ブロック図である。制御装置10は、典型的にはロボット1の動作を制御するロボットコントローラである。制御装置10は、入力データを取得して前処理を施す前処理部12と、いわゆる機械学習により自ら学習するためのソフトウェア(学習アルゴリズム等)及びハードウェア(コンピュータのCPU等)を含む学習装置20を備える。
制御装置10は、動作プログラムを解釈してロボット1の制御を行う。ロボット1のアームの先端には、力覚センサ及びツールが取り付けられている。ツールは、例えばサンダーや偏心回転するバフ、リュータ及び振動ヤスリなどであり、駆動部は、動作プログラムなどにおいて指定された振動数又は回転数でツールを駆動する。力覚センサは、ツールとワークとの間に働く力、特にツールの動作により発生する力や振動数などを検出する。力覚センサが検出する力には、ツールをワークに押付けたことで発生する押付け力のほか、回転や振動といったツールの動作自体により発生する力も含まれる。
学習装置20は、ロボット1の状態(動作方向、速度、加速度、加加速度、姿勢など)並びにロボット1に取り付けられたツールの駆動部の状態(回転数、振動数など)と、そのときの力覚センサの検出値(力、振動数など)との、相関性を表すモデル構造を機械学習により生成する。すなわち学習装置20は、ロボット1及び駆動部の現在状態を表す状態変数Sを観測する状態観測部22と、力覚センサの検出値を示すラベルデータLを取得するラベルデータ取得部24と、状態変数SとラベルデータLとを関連付けて学習する学習部26とを備える。
前処理部12は、例えばロボットコントローラのCPUの一機能として構成できる。或いは状態観測部22は、例えばロボットコントローラのCPUを機能させるためのソフトウェアとして構成できる。前処理部12は、ロボット1の動作プログラムから得られるデータ、ロボット1又は駆動部から得られるそれらの現在の状態を示すデータ、ロボット1に取り付けられた力覚センサから得られるデータなどに対して前処理を行い、前処理後のデータを状態観測部22、ラベルデータ取得部24へと出力する。前処理部12が行う前処理は、例えばサンプリングデータのデータ点数の調整が挙げられる。ここで言うところのサンプリングデータのデータ点数の調整とは、移動平均、データの間引き、あるいは部分抽出によるデータ点数の削減、または、中間点内挿、あるいは固定値追加によるデータ数の増加を組み合わせた処理である。前処理部12が行う前処理には、一般的な標準化などのスケーリングに対する処理を組み合わせても良い。
学習段階においては、制御装置10はワーク加工の前などに無負荷状態でロボット1を動作させ、前処理部12が所定のサンプリング周期でサンプリングデータを取得する。学習結果の利用段階においては、制御装置10はワーク加工中に負荷状態でロボット1を動作させ、前処理部12が所定のサンプリング周期でサンプリングデータを取得する。いずれにおいても前処理部12は、サンプリングデータのデータ点数を調整して状態観測部22、ラベルデータ取得部24へと受け渡すことで、動作設定の多様性に対して学習装置20による機械学習の精度を維持・向上させる役割を持つ。
状態観測部22は、例えばロボットコントローラのCPUの一機能として構成できる。或いは状態観測部22は、例えばロボットコントローラのCPUを機能させるためのソフトウェアとして構成できる。前処理部12は、ロボット1の動作方向、速度、加速度、加加速度、姿勢、ロボット1に取り付けられたツールの駆動部の状態回転数、振動数などの瞬間値をそのまま状態変数Sとして状態観測部22に出力して良い。又は、前処理部12は、データ点数などの調整が行われた前処理後のデータを状態変数Sとして状態観測部22に出力も良い。ロボット1の動作方向、速度、加速度、加加速度、姿勢、ロボット1に取り付けられたツールの駆動部の状態回転数、振動数などは、たとえばロボット1の動作プログラムから得られるデータ、ロボット1や駆動部から直接得られるデータ、及びこれらを利用乃至変換して得られるデータとして取得できる。なお、ロボット1の動作方向、速度、加速度、加加速度とは、一般にロボット1の先端の動作方向、速度、加速度、加加速度である。またロボット1の姿勢を示すデータは、たとえばアームの関節軸の角度の組み合わせとして取得できる。
ラベルデータ取得部24は、例えばロボットコントローラのCPUの一機能として構成できる。或いはラベルデータ取得部24は、例えばロボットコントローラのCPUを機能させるためのソフトウェアとして構成できる。ラベルデータ取得部24が取得するラベルデータLは、例えばロボット1の先端に取り付けられた力覚センサから取得される力及び振動数、又はこれらのデータを前処理部12が前処理をした後のデータである。すなわち簡潔に言えば、ラベルデータLは、状態変数Sの下で力覚センサが検知する力及び振動数を示すデータである。
学習装置20の学習段階においては、ロボット1の無負荷状態での動作の実施、その間のロボット1及び駆動部の状態の検出、及び力覚センサによる力及び振動数の検出が実施される。
学習部26は、例えばロボットコントローラのCPUの一機能として構成できる。或いは学習部26は、例えばロボットコントローラのCPUを機能させるためのソフトウェアとして構成できる。学習部26は、機械学習と総称される任意の学習アルゴリズムに従い、ロボット1及び駆動部の現在状態を表す状態変数Sと、力覚センサの検出値を示すラベルデータLとの関係を学習する。学習部26は、ロボット1が複数の動作を行う間、前述した状態変数SとラベルデータLとを含むデータ集合に基づく学習を反復実行することができる。このとき、ロボット1は、様々な姿勢、回転数、振動数などの組合せを網羅するように、複数の動作パターンで動作させることが好ましい。
このような学習サイクルを繰り返すことにより、学習部26は、ロボット1及び駆動部の現在状態を表す状態変数Sと、力覚センサの検出値を示すラベルデータLとの相関性を暗示する特徴を自動的に識別することができる。学習アルゴリズムの開始時には、状態変数SとラベルデータLとの相関性は実質的に未知であるが、学習部26は、学習を進めるに従い徐々に特徴を識別して相関性を解釈する。状態変数SとラベルデータLとの相関性が、ある程度信頼できる水準まで解釈されると、学習部26が反復出力する学習結果は、現在のロボット1及び駆動部の現在状態に対して、力覚センサの検出値を推定するために使用できる。
状態変数Sは外乱の影響を受け難いデータで構成され、またラベルデータLは一義的に求められる。したがって、制御装置10が備える学習装置20によれば、学習部26の学習結果を用いることで、ロボット1及び駆動部の現在状態に応じた力覚センサの検出値の推定を、自動的かつ正確に行うことができるようになる。
無負荷状態での力覚センサの検出値の推定を自動的かつ正確に行うことができれば、負荷状態において実測される力覚センサの検出値から、無負荷状態での力覚センサの検出値の推定を減算することで、加工に伴って発生した力や振動数のみを算出することができる。すなわち、バリ取りや研磨等のワークの加工時において、前処理部12及び状態観測部22は、学習段階と同様に、ロボット1の状態(動作方向、速度、加速度、加加速度、姿勢など)並びにロボット1に取り付けられたツールの駆動部の状態(回転数、振動数など)を状態変数Sとして取得する。学習部26は、状態変数Sを学習済みモデルに入力し、状態変数Sのもとでの力覚センサの推定値を出力する。一方、制御装置10は、力覚センサの現在の検出値(力、振動数など)を取得する。そして制御装置10は、力覚センサの現在の検出値から、学習部26が出力した推定値を減算する。こうして得られるデータは、バリ取りや研磨等のワークの加工時に起因して発生した力や振動数のみを示すデータとなる。
例えば制御装置10は、上述の処理を周期制御として実行することができる。すなわち学習部26が一定の周期で力覚センサの出力の推定値を算出する。制御装置10は、力覚センサの現在の検出値を取得したならば、1つ前の周期で算出された力覚センサの出力の推定値を用いて、加工に起因して発生した力や振動数を算出する。この手法によれば、ノイズのキャンセルに利用される推定値は1周期前のものであるが、ノイズはロボット1や駆動部の状態変化に応じて略線形に変化すると考えられるため、実用上大きな誤差は生じない。
あるいは制御装置10は、何度も同じ動作を繰り返すような加工を行う場合においては、上述のような周期ズレのない制御を行うことも可能である。この場合はロボット1及び駆動部の動作パターンは固定であるから、学習部26は学習段階において、加工で用いられるロボット1及び駆動部の動作パターンに特化した学習を行う。そして制御装置10は、学習結果の利用段階においては、加工の始めの段階から学習結果を用いたノイズのキャンセル処理を行う。
このように、本実施の形態によれば、学習装置20が、無負荷状態におけるロボット1及び駆動部の現在状態と、力覚センサの検出値との相関を示す学習モデルを構築する。また学習装置20は、学習済みモデルに基づいて、ロボット1及び駆動部の現在状態に対応する、無負荷状態における力覚センサの検出値を推定する。そして制御装置10が、加工時の力覚センサの検出値から、無負荷状態における力覚センサの検出推定値を減算することで、加工に伴う力のみを検出する。これにより、ツールの動作ノイズを排除して、バリ取りや研磨といった加工に伴い発生する小さな力を検出できるので、繊細な加工が可能となる。特にツールの動作ノイズは、ロボット1の動作(向き、速度、加速度、加加速度など)のみならず、駆動部の振動数又は回転数、ロボット1のアームの姿勢などによって大きく変動する。本実施の形態によれば、これらの要因による動作ノイズを除去できるので、特にバリ取りや研磨等の加工において有用である。
制御装置10が備える学習装置20の一変形例として、学習部26は、同一の構成を有する複数のロボット1のそれぞれについて得られた状態変数S及びラベルデータLを用いて、それらロボット1のそれぞれの動作状態に対する力覚センサの検出値を学習することができる。この構成によれば、一定時間で得られる状態変数SとラベルデータLとを含むデータ集合の量を増加できるので、より多様なデータ集合を入力として、射出成形機の動作状態に対する該射出成形機の異常に係る状態の学習の速度や信頼性を向上させることができる。
上記構成を有する学習装置20では、学習部26が実行する学習アルゴリズムは特に限定されず、機械学習として公知の学習アルゴリズムを採用できる。図3は、図2に示す制御装置10の一形態であって、学習アルゴリズムの一例として教師あり学習を実行する学習部26を備えた構成を示す。教師あり学習は、入力とそれに対応する出力との既知のデータセット(教師データと称する)が予め大量に与えられ、それら教師データから入力と出力との相関性を暗示する特徴を識別することで、新たな入力に対する所要の出力を推定するための相関性モデル(本願の学習装置20では、ロボット1及び駆動部の現在状態に対する力覚センサの検出値)を学習する手法である。
図3に示す制御装置10が備える学習装置20において、学習部26は、状態変数Sから力覚センサの検出値を導く相関性モデルMと予め用意された教師データTから識別される相関性特徴との誤差Eを計算する誤差計算部32と、誤差Eを縮小するように相関性モデルMを更新するモデル更新部34とを備える。学習部26は、モデル更新部34が相関性モデルMの更新を繰り返すことによってロボット1及び駆動部の現在状態に対する力覚センサの検出値を学習する。
相関性モデルMは、回帰分析、強化学習、深層学習などで構築することができる。相関性モデルMの初期値は、例えば、状態変数Sと力覚センサの検出値との相関性を単純化して表現したものとして、教師あり学習の開始前に学習部26に与えられる。教師データTは、例えば、過去のロボット1及び駆動部の現在状態に対する力覚センサの検出値を記録することで蓄積された経験値(ロボット1及び駆動部の現在状態と、力覚センサの検出値との既知のデータセット)によって構成でき、教師あり学習の開始前に学習部26に与えられる。誤差計算部32は、学習部26に与えられた大量の教師データTからロボット1及び駆動部の現在状態に対する力覚センサの検出値の相関性を暗示する相関性特徴を識別し、この相関性特徴と、現在状態における状態変数Sに対応する相関性モデルMとの誤差Eを求める。モデル更新部34は、例えば予め定めた更新ルールに従い、誤差Eが小さくなる方向へ相関性モデルMを更新する。
次の学習サイクルでは、誤差計算部32は、更新後の相関性モデルMに従ってロボット1の動作を実行することにより得られた状態変数S及びラベルデータLを用いて、それら状態変数S及びラベルデータLに対応する相関性モデルMに関し誤差Eを求め、モデル更新部34が再び相関性モデルMを更新する。このようにして、未知であった環境の現在状態(ロボット1及び駆動部の現在状態)とそれに対する状態の判定(力覚センサの検出値の判定)との相関性が徐々に明らかになる。つまり相関性モデルMの更新により、ロボット1及び駆動部の現在状態と、力覚センサの検出値との関係が、最適解に徐々に近づけられる。
前述した教師あり学習を進める際に、例えばニューラルネットワークを用いることができる。図4Aは、ニューロンのモデルを模式的に示す。図4Bは、図4Aに示すニューロンを組み合わせて構成した三層のニューラルネットワークのモデルを模式的に示す。ニューラルネットワークは、例えば、ニューロンのモデルを模した演算装置や記憶装置等によって構成できる。
図4Aに示すニューロンは、複数の入力x(ここでは一例として、入力x1〜入力x3)に対する結果yを出力するものである。各入力x1〜x3には、この入力xに対応する重みw(w1〜w3)が掛けられる。これにより、ニューロンは、次の数2式により表現される出力yを出力する。なお、数2式において、入力x、出力y及び重みwは、すべてベクトルである。また、θはバイアスであり、fkは活性化関数である。
Figure 2019000942
図4Bに示す三層のニューラルネットワークは、左側から複数の入力x(ここでは一例として、入力x1〜入力x3)が入力され、右側から結果y(ここでは一例として、結果y1〜結果y3)が出力される。図示の例では、入力x1、x2、x3のそれぞれに対応の重み(総称してw1で表す)が乗算されて、個々の入力x1、x2、x3がいずれも3つのニューロンN11、N12、N13に入力されている。
図4Bでは、ニューロンN11〜N13の各々の出力を、総称してz1で表す。z1は、入カベクトルの特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルz1のそれぞれに対応の重み(総称してw2で表す)が乗算されて、個々の特徴ベクトルz1がいずれも2つのニューロンN21、N22に入力されている。特徴ベクトルz1は、重みw1と重みw2との間の特徴を表す。
図4Bでは、ニューロンN21〜N22の各々の出力を、総称してz2で表す。z2は、特徴ベクトルz1の特徴量を抽出した特徴ベクトルと見なすことができる。図示の例では、特徴ベクトルz2のそれぞれに対応の重み(総称してw3で表す)が乗算されて、個々の特徴ベクトルz2がいずれも3つのニューロンN31、N32、N33に入力されている。特徴ベクトルz2は、重みw2と重みw3との間の特徴を表す。最後にニューロンN31〜N33は、それぞれ結果y1〜y3を出力する。
制御装置10が備える学習装置20においては、状態変数Sを入力xとして、学習部26が上記したニューラルネットワークに従う多層構造の演算を行うことで、力覚センサの検出値(結果y)を出力することができる。なおニューラルネットワークの動作モードには、学習モードと判定モードとがあり、例えば学習モードで学習データセットを用いて重みwを学習し、学習した重みwを用いて判定モードで力覚センサの検出値の判定を行うことができる。なお判定モードでは、検出、分類、推論等を行うこともできる。
上記した制御装置10の構成は、コンピュータのCPUが実行する機械学習方法(或いはソフトウェア)として記述できる。この機械学習方法は、ロボット1及び駆動部の現在状態に対する力覚センサの検出値を学習する機械学習方法であって、コンピュータのCPUが、ロボット1及び駆動部の現在状態を示す状態変数Sとして観測するステップと、力覚センサの検出値を示すラベルデータLを取得するステップと、状態変数SとラベルデータLとを用いて、ロボット1及び駆動部の現在状態と、力覚センサの検出値とを関連付けて学習するステップとを有する。
以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
例えば、学習装置20が実行する学習アルゴリズム、制御装置10が実行する制御アルゴリズム等は、上述したものに限定されず、様々なアルゴリズムを採用できる。
また、上記した実施形態では前処理部12を制御装置10上に設けた構成としていたが、前処理部12をロボット1上に設けるようにしても良い。このとき、前処理は、制御装置10、ロボット1のいずれか、あるいは両方で実行するようにしても良く、処理能力と通信の速度を鑑みて処理する場所を適宜設定できるようにしても良い。
また、上記した実施形態において状態変数S、ラベルデータLはあくまで例示にすぎない。状態変数Sとして、上述のデータの一部のみを用いること、ロボット1及び駆動装置の現在状態を示す他のデータを用いることも可能である。またラベルデータとして、上述のデータの一部のみを用いること、力覚センサが出力可能な他のデータを用いることも可能である。
100 制御システム
1 ロボット
10 制御装置
12 前処理部
20 学習装置
22 状態観測部
24 ラベルデータ取得部
26 学習部
32 誤差計算部
34 モデル更新部

Claims (6)

  1. ロボットのアームの先端に取付けられたツールの押付け力を制御してワークを加工する制御装置であって、
    前記ロボットの現在状態を、状態変数として取得する状態観測部と、
    前記アームに装着されて前記押付け力の制御に必要なデータを検出する力覚センサの検出値を、ラベルとして取得するラベルデータ取得部と、
    無負荷状態で取得された前記状態変数と、無負荷状態で取得された前記状態変数のもとで取得された前記ラベルとの相関関係を示す学習モデルを生成し、前記学習モデルに基づいて、前記ロボットの現在状態に対応する前記力覚センサの検出値を推定する学習部と、を有し、
    負荷状態で取得された前記ロボットの現在状態のもとで取得された前記力覚センサの検出値と、負荷状態で取得された前記ロボットの現在状態に基づいて前記学習部が推定した前記力覚センサの検出値と、を用いて前記押付け力の制御を行うことを特徴とする
    制御装置。
  2. 前記力覚センサの検出値は、前記力覚センサに作用する力又は前記力覚センサに作用する振動数のうち少なくともいずれか一方であることを特徴とする
    請求項1記載の制御装置。
  3. 前記ロボットの現在状態は、前記ロボットの動作方向、速度、加速度、加加速度、姿勢、前記ツールの駆動部の回転数、振動数のうち少なくともいずれか1つを含むことを特徴とする
    請求項1記載の制御装置。
  4. 前記ロボットは、前記ワークのバリ取り加工又は研磨加工のうち少なくともいずれか一方を行うことを特徴とする
    請求項1記載の制御装置。
  5. アームの先端に取付けられたツールの押付け力によりワークを加工するロボットと、
    前記ロボットの動作を制御する制御装置を有し、
    前記制御装置は、
    前記ロボットの現在状態を、状態変数として取得する状態観測部と、
    前記アームに装着されて前記押付け力の制御に必要なデータを検出する力覚センサの検出値を、ラベルとして取得するラベルデータ取得部と、
    無負荷状態で取得された前記状態変数と、無負荷状態で取得された前記状態変数のもとで取得された前記ラベルとの相関関係を示す学習モデルを生成し、前記学習モデルに基づいて、前記ロボットの現在状態に対応する前記力覚センサの検出値を推定する学習部と、を有し、
    負荷状態で取得された前記ロボットの現在状態のもとで取得された前記力覚センサの検出値と、負荷状態で取得された前記ロボットの現在状態に基づいて前記学習部が推定した前記力覚センサの検出値と、を用いて前記押付け力の制御を行うことを特徴とする
    制御システム。
  6. ロボットの現在状態を、状態変数として取得する状態観測部と、
    前記ロボットのアームに装着されて、前記アームの先端に取付けられたツールの押付け力の制御に必要なデータを検出する力覚センサの検出値をラベルとして取得するラベルデータ取得部と、
    無負荷状態で取得された前記状態変数と、無負荷状態で取得された前記状態変数のもとで取得された前記ラベルとの相関関係を示す学習モデルを生成し、前記学習モデルに基づいて、前記ロボットの現在状態に対応する前記力覚センサの検出値を推定する学習部と、を有することを特徴とする
    学習装置。
JP2017117865A 2017-06-15 2017-06-15 学習装置、制御装置及び制御システム Active JP6577527B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017117865A JP6577527B2 (ja) 2017-06-15 2017-06-15 学習装置、制御装置及び制御システム
DE102018113656.0A DE102018113656B4 (de) 2017-06-15 2018-06-08 Lernvorrichtung, steuerung und steuersystem
US16/008,143 US10730183B2 (en) 2017-06-15 2018-06-14 Learning device, controller, and control system
CN201810616200.8A CN109129462B (zh) 2017-06-15 2018-06-14 学习装置、控制装置以及控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017117865A JP6577527B2 (ja) 2017-06-15 2017-06-15 学習装置、制御装置及び制御システム

Publications (2)

Publication Number Publication Date
JP2019000942A true JP2019000942A (ja) 2019-01-10
JP6577527B2 JP6577527B2 (ja) 2019-09-18

Family

ID=64457731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017117865A Active JP6577527B2 (ja) 2017-06-15 2017-06-15 学習装置、制御装置及び制御システム

Country Status (4)

Country Link
US (1) US10730183B2 (ja)
JP (1) JP6577527B2 (ja)
CN (1) CN109129462B (ja)
DE (1) DE102018113656B4 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021000692A (ja) * 2019-06-21 2021-01-07 ファナック株式会社 ツールの状態を学習する機械学習装置、ロボットシステム、及び機械学習方法
WO2021060104A1 (ja) * 2019-09-24 2021-04-01 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
JP6949284B1 (ja) * 2021-01-26 2021-10-13 三菱電機株式会社 数値制御装置
WO2021261055A1 (ja) * 2020-06-25 2021-12-30 株式会社日立製作所 ロボット制御システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10976728B2 (en) * 2018-12-10 2021-04-13 Raytheon Technologies Corporation Automatic process planning for robotic deburring operations
WO2021029205A1 (ja) * 2019-08-09 2021-02-18 ソニー株式会社 情報処理装置、情報処理方法、プログラム、およびロボット
CN115884851A (zh) * 2020-06-30 2023-03-31 西门子(中国)有限公司 一种示教器、机器人、控制机器人的方法和装置
DE102021209867A1 (de) 2021-09-07 2023-03-09 Kuka Deutschland Gmbh Bewerten und/oder Steuern eines Roboterarbeitsprozesses

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07319558A (ja) * 1994-05-26 1995-12-08 Matsushita Electric Works Ltd 力制御装置における力の検出方法
JP2011189417A (ja) * 2010-03-12 2011-09-29 Ihi Corp 加工ロボットとその重力補償方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04148307A (ja) * 1990-10-11 1992-05-21 Hitachi Metals Ltd 力制御ロボットにおける加工力の検出法
JP3322826B2 (ja) * 1997-08-13 2002-09-09 ファナック株式会社 サーボモータによる加圧制御方法及び装置
JP4850956B2 (ja) 2010-02-19 2012-01-11 ファナック株式会社 学習制御機能を備えたロボット
US8843236B2 (en) 2012-03-15 2014-09-23 GM Global Technology Operations LLC Method and system for training a robot using human-assisted task demonstration
WO2013136599A1 (ja) * 2012-03-15 2013-09-19 オリンパスメディカルシステムズ株式会社 マニピュレータ装置
US9597797B2 (en) * 2013-11-01 2017-03-21 Brain Corporation Apparatus and methods for haptic training of robots
DE102015204641B4 (de) * 2014-06-03 2021-03-25 ArtiMinds Robotics GmbH Verfahren und System zur Programmierung eines Roboters
JP6240689B2 (ja) 2015-07-31 2017-11-29 ファナック株式会社 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
DE102016009030B4 (de) 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
JP6140229B2 (ja) * 2015-08-28 2017-05-31 ファナック株式会社 電動機の予測寿命を学習する機械学習装置および方法ならびに該機械学習装置を備えた寿命予測装置および電動機システム
JP6333795B2 (ja) 2015-11-24 2018-05-30 ファナック株式会社 学習による教示作業の簡易化及び動作性能向上機能を備えたロボットシステム
JP2018004473A (ja) * 2016-07-04 2018-01-11 ファナック株式会社 軸受の予測寿命を学習する機械学習装置、寿命予測装置および機械学習方法
JP2018126798A (ja) * 2017-02-06 2018-08-16 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP6564426B2 (ja) * 2017-07-07 2019-08-21 ファナック株式会社 部品供給装置及び機械学習装置
US20190291270A1 (en) * 2018-03-20 2019-09-26 Fanuc Corporation Controller, machine learning device, and system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07319558A (ja) * 1994-05-26 1995-12-08 Matsushita Electric Works Ltd 力制御装置における力の検出方法
JP2011189417A (ja) * 2010-03-12 2011-09-29 Ihi Corp 加工ロボットとその重力補償方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021000692A (ja) * 2019-06-21 2021-01-07 ファナック株式会社 ツールの状態を学習する機械学習装置、ロボットシステム、及び機械学習方法
US11712801B2 (en) 2019-06-21 2023-08-01 Fanuc Corporation Machine learning apparatus, robot system, and machine learning method of learning state of tool
JP7401207B2 (ja) 2019-06-21 2023-12-19 ファナック株式会社 ツールの状態を学習する機械学習装置、ロボットシステム、及び機械学習方法
WO2021060104A1 (ja) * 2019-09-24 2021-04-01 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
WO2021261055A1 (ja) * 2020-06-25 2021-12-30 株式会社日立製作所 ロボット制御システム
JP6949284B1 (ja) * 2021-01-26 2021-10-13 三菱電機株式会社 数値制御装置
WO2022162740A1 (ja) * 2021-01-26 2022-08-04 三菱電機株式会社 数値制御装置

Also Published As

Publication number Publication date
CN109129462B (zh) 2021-01-08
US20180361576A1 (en) 2018-12-20
JP6577527B2 (ja) 2019-09-18
DE102018113656A1 (de) 2018-12-20
DE102018113656B4 (de) 2020-12-10
CN109129462A (zh) 2019-01-04
US10730183B2 (en) 2020-08-04

Similar Documents

Publication Publication Date Title
JP6577527B2 (ja) 学習装置、制御装置及び制御システム
JP6542839B2 (ja) 制御装置及び機械学習装置
JP6680756B2 (ja) 制御装置及び機械学習装置
CN109382825B (zh) 控制装置以及学习装置
JP6431017B2 (ja) 機械学習により外力の検出精度を向上させた人協調ロボットシステム
JP6572265B2 (ja) 制御装置及び機械学習装置
CN108723889B (zh) 加减速控制装置
JP6557285B2 (ja) 制御装置及び機械学習装置
JP2019185125A (ja) 制御装置及び機械学習装置
CN109202394B (zh) 部件供给装置以及机器学习装置
JP2019139755A (ja) 研磨工具摩耗量予測装置、機械学習装置及びシステム
JP7401207B2 (ja) ツールの状態を学習する機械学習装置、ロボットシステム、及び機械学習方法
JP2019162712A (ja) 制御装置、機械学習装置及びシステム
JP7424777B2 (ja) 機械学習装置、制御装置、生成方法および制御方法
JP7173916B2 (ja) 機械学習装置および機械学習方法
CN108687766B (zh) 机器人的控制装置、机器学习装置以及机器学习方法
JP2019020959A (ja) 制御装置及び学習装置
JP2019141869A (ja) 制御装置及び機械学習装置
JP2019150932A (ja) 衝突位置推定装置及び機械学習装置
JP6603260B2 (ja) 数値制御装置
JP2019053594A (ja) 制御装置及び機械学習装置
CN110125955B (zh) 控制装置以及机器学习装置
Yue et al. Manipulating deformable linear objects: Sensor‐based skills of adjustment motions for vibration reduction
JP2023018765A (ja) ロボットの異常を検知する異常検知システム、ロボットの異常を検知する方法、及び、コンピュータープログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180822

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180920

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190822

R150 Certificate of patent or registration of utility model

Ref document number: 6577527

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150