JP2018086711A - レーザ加工ロボットの加工順序を学習する機械学習装置、ロボットシステムおよび機械学習方法 - Google Patents

レーザ加工ロボットの加工順序を学習する機械学習装置、ロボットシステムおよび機械学習方法 Download PDF

Info

Publication number
JP2018086711A
JP2018086711A JP2016231678A JP2016231678A JP2018086711A JP 2018086711 A JP2018086711 A JP 2018086711A JP 2016231678 A JP2016231678 A JP 2016231678A JP 2016231678 A JP2016231678 A JP 2016231678A JP 2018086711 A JP2018086711 A JP 2018086711A
Authority
JP
Japan
Prior art keywords
laser processing
machine learning
robot
processing
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016231678A
Other languages
English (en)
Other versions
JP6438450B2 (ja
Inventor
好丈 古屋
Yoshitake Furuya
好丈 古屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2016231678A priority Critical patent/JP6438450B2/ja
Priority to US15/808,921 priority patent/US10518357B2/en
Priority to DE102017010799.8A priority patent/DE102017010799B4/de
Priority to CN201711184024.7A priority patent/CN108115682B/zh
Publication of JP2018086711A publication Critical patent/JP2018086711A/ja
Application granted granted Critical
Publication of JP6438450B2 publication Critical patent/JP6438450B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/08—Devices involving relative movement between laser beam and workpiece
    • B23K26/0869—Devices involving movement of the laser head in at least one axial direction
    • B23K26/0876—Devices involving movement of the laser head in at least one axial direction in at least two axial directions
    • B23K26/0884—Devices involving movement of the laser head in at least one axial direction in at least two axial directions in at least in three axial directions, e.g. manipulators, robots
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03—Observing, e.g. monitoring, the workpiece
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03—Observing, e.g. monitoring, the workpiece
    • B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/36—Removing material
    • B23K26/38—Removing material by boring or cutting
    • B23K26/382—Removing material by boring or cutting by boring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/70—Auxiliary operations or equipment
    • B23K26/702—Auxiliary equipment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/005—Manipulators for mechanical processing tasks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Plasma & Fusion (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)
  • Laser Beam Processing (AREA)

Abstract

【課題】レーザ加工ロボットの加工順序を学習して最適解を効率的に教示することができる機械学習装置、ロボットシステムおよび機械学習方法の提供を図る。【解決手段】レーザ加工ロボット１の加工順序を学習する機械学習装置２であって、前記レーザ加工ロボットによるレーザ加工点のプラズマ光、および、前記レーザ加工ロボットによるレーザ加工点の加工音の少なくとも一方を、状態変数として観測する状態観測部２１と、前記レーザ加工ロボットが処理を行うサイクルタイムを、判定データとして受け取る判定データ取得部２２と、前記状態観測部の出力および前記判定データ取得部の出力に基づいて、前記レーザ加工ロボットの加工順序を学習する学習部２３と、を備える。【選択図】図３

Description

本発明は、レーザ加工ロボットの加工順序を学習する機械学習装置、ロボットシステムおよび機械学習方法に関する。
近年、レーザを利用して溶接，切断および穴あけ等を行うレーザ加工ロボットが様々な分野で利用されている。例えば、自動車の車体を溶接(レーザ溶接)する場合、１台または複数台のレーザ加工ロボットが使用される。
このようなレーザ加工ロボットは、例えば、作業者(教示者，人)がレーザ加工条件を調整し、作業者によって設定された加工条件および加工順序で加工が行われる。すなわち、教示者は、例えば、サイクルタイムが最短となるように、溶接個所および溶接加工順序等を教示する。
しかしながら、作業者が、例えば、サイクルタイムが最短となる溶接個所および溶接加工順序等の最適解を教示するのは難しいものとなっている。さらに、複数台のレーザ加工ロボットを使用する場合には、それぞれのロボットが干渉することなく、どのロボットによりどの溶接個所をどのような順序で行うかといった内容を教示することになるため、１台のレーザ加工ロボットを使用する場合よりも遥かに教示内容が複雑になり、最適解を効率的に教示することはより一層困難なものとなる。
ところで、従来、複数台のロボットの作業計画を自動化して労力を軽減するために、作業をグループ化し、作業の順序やロボットへの作業の配分をグループ単位で行うことで、ロボットと作業の組み合わせについての解の探索数を減少させ、現実的な時間で最適解と大きな差のない最良解を容易かつ自動的に得るようにした複数台ロボットの作業計画方法が提案されている(例えば、特許文献１参照)。
また、従来、複数のタスクからなる作業を複数の機械によって実施する場合に、それぞれのタスクを何れかの機械に割り付ける処理を、遺伝的アルゴリズムを適用した演算を適用して求めることで、タスクを各機械に適切に割り付けることを可能とするタスク割り付け方法が提案されている(例えば、特許文献２参照)。
さらに、従来、ロボットによる実際の作業時において、教示された教示データと実際のデータを比較して確認することで、センサに起因する問題か、ワークやジグに起因する問題かを切り分けてその不良原因を究明するようにしたロボットの補正データ確認装置も提案されている(例えば、特許文献３参照)。
特開平１０−０３９９０９号公報 特開２００２−１１６８１７号公報 特開２００５−１０８１４４号公報
上述したように、従来、例えば、自動車の車体をレーザ加工ロボットによりレーザ溶接する場合、人(作業者)が溶接個所や順序等を教示していた。しかしながら、例えば、サイクルタイムが最短となるように教示を行うのは難しく、さらに、複数台のレーザ加工ロボットを使用する場合には、教示内容が複雑なものとなるため、最適解を効率的に教示することはより一層困難なものとなっている。
さらに、例えば、１台または複数台のレーザ加工ロボットにより自動車の車体をレーザ溶接する場合、提案されている様々な技術を参酌しても、最適解を効率的に教示することは困難である。なお、本明細書では、レーザ加工ロボットとして、レーザ溶接ロボットを例として説明するが、レーザ加工ロボットは、レーザ溶接を行うためのロボットに限定されず、例えば、レーザ切断等を行うロボットもレーザ加工ロボットに含まれるのはいうまでもない。
本発明の目的は、上述した従来技術の課題に鑑み、レーザ加工ロボットの加工順序を学習して最適解を効率的に教示することができる機械学習装置、ロボットシステムおよび機械学習方法の提供にある。
本発明に係る第１実施形態によれば、レーザ加工ロボットの加工順序を学習する機械学習装置であって、前記レーザ加工ロボットによるレーザ加工点のプラズマ光、および、前記レーザ加工ロボットによるレーザ加工点の加工音の少なくとも一方を、状態変数として観測する状態観測部と、前記レーザ加工ロボットが処理を行うサイクルタイムを、判定データとして受け取る判定データ取得部と、前記状態観測部の出力および前記判定データ取得部の出力に基づいて、前記レーザ加工ロボットの加工順序を学習する学習部と、を備える機械学習装置が提供される。
前記判定データ取得部は、さらに、前記レーザ加工ロボットがレーザ加工を行う加工速度、レーザの焦点距離、加工ツールの姿勢およびアシストガスの流量の少なくとも１つを、前記判定データとして受け取ることができる。前記機械学習装置は、さらに、前記学習部が学習した前記レーザ加工ロボットの加工順序に基づいて、前記レーザ加工ロボットの動作を決定する意思決定部を備えてもよい。
前記学習部は、前記状態観測部の出力および前記判定データ取得部の出力に基づいて、報酬を計算する報酬計算部と、前記状態観測部の出力，前記判定データ取得部の出力および前記報酬計算部の出力に基づいて、前記レーザ加工ロボットの加工順序の価値を定める価値関数を更新する価値関数更新部と、を備えることができる。前記報酬計算部は、前記サイクルタイムが長いときにマイナスの報酬を設定し、前記サイクルタイムが短いときにプラスの報酬を設定してもよい。
前記報酬計算部は、さらに、前記レーザ加工点のプラズマ光が、プラズマ光適正値から遠いときにマイナスの報酬を設定し、前記レーザ加工点のプラズマ光が、前記プラズマ光適正値に近いときにプラスの報酬を設定し、或いは、前記レーザ加工点の加工音が、加工音適正値から遠いときにマイナスの報酬を設定し、前記レーザ加工点の加工音が、前記加工音適正値に近いときにプラスの報酬を設定することができる。前記報酬計算部は、さらに、前記レーザ加工ロボットがレーザ加工を行う加工速度が遅いときにマイナスの報酬を設定し、前記レーザ加工ロボットがレーザ加工を行う加工速度が速いときにプラスの報酬を設定することもできる。
前記機械学習装置は、ニューラルネットワークを備えることができる。前記機械学習装置は、それぞれの前記レーザ加工ロボットに対して設けられ、少なくとも１つの他の機械学習装置と接続可能であり、少なくとも１つの前記他の機械学習装置との間で機械学習の結果を相互に交換または共有するようにしてもよい。前記機械学習装置は、クラウドサーバまたはフォグサーバ上に設けられてもよい。
本発明に係る第２実施形態によれば、レーザ加工ロボット制御装置と、前記レーザ加工ロボット制御装置により制御される前記レーザ加工ロボットと、上述した第１実施形態の機械学習装置を備えるロボットシステムが提供される。前記レーザ加工ロボットは、複数台設けられ、前記判定データ取得部は、複数台の前記レーザ加工ロボットによるシステム全体の処理を行うシステムサイクルタイムを、前記判定データとして受け取り、前記学習部は、複数台の前記レーザ加工ロボットによるシステム全体の加工順序を学習するよういしてもよい。前記レーザ加工ロボットは、前記レーザ加工ロボットによるレーザ加工点のプラズマ光を、所定の波長範囲で検知する光センサ、および、前記レーザ加工ロボットによるレーザ加工点の加工音を、所定の周波数範囲で検知する音センサの少なくとも一方を備えることができる。
本発明に係る第３実施形態によれば、レーザ加工ロボットの加工順序を学習する機械学習方法であって、前記レーザ加工ロボットによるレーザ加工点のプラズマ光、および、前記レーザ加工ロボットによるレーザ加工点の加工音の少なくとも一方を、状態変数として観測し、前記レーザ加工ロボットが処理を行うサイクルタイムを、判定データとして受け取り、観測された前記状態変数および受け取った前記判定データに基づいて、前記レーザ加工ロボットの加工順序を学習する機械学習方法が提供される。
本発明に係る第４実施形態によれば、レーザ加工ロボットによるレーザ加工の状態を監視する方法であって、前記レーザ加工ロボットによるレーザ加工時におけるレーザ加工点の加工音を検出し、前記レーザ加工点の加工音における所定の周波数範囲を抽出し、抽出された所定の周波数範囲の前記レーザ加工点の加工音に基づいて、前記レーザ加工ロボットによるレーザ加工の状態を監視する方法が提供される。
本発明に係る機械学習装置、ロボットシステムおよび機械学習方法によれば、レーザ加工ロボットの加工順序を学習して最適解を効率的に教示することができるという効果を奏する。
図１は、本発明が適用されるロボットシステムの一例を説明するための図である。 図２は、本発明に係るロボットシステムの一実施形態を示すブロック図である。 図３は、本発明に係る機械学習装置の一実施例を示すブロック図である。 図４は、ニューロンのモデルを模式的に示す図である。 図５は、図４に示すニューロンを組み合わせて構成した三層のニューラルネットワークを模式的に示す図である。 図６は、２台のレーザ加工ロボットにおける加工順序とサイクルタイムの関係の一例を説明するための図である。 図７は、本発明に係るロボットシステムのレーザ加工ロボットにおける加工ツールを説明するための図である。 図８は、本発明に係るロボットシステムのレーザ加工ロボットにおけるレーザ加工時の状態の観測を説明するための図である。 図９は、図３に示す機械学習装置における処理の一例を示すフローチャートである。 図１０は、図３に示す機械学習装置における処理の他の例を示すフローチャートである。
以下、本発明に係る機械学習装置、ロボットシステムおよび機械学習方法の実施形態を、添付図面を参照して詳述する。図１は、本発明が適用されるロボットシステムの一例を説明するための図であり、２台のレーザ加工ロボットにより自動車の車体をレーザ溶接するロボットシステムを説明するためのものである。
図１において、参照符号１(Ｒ１，Ｒ２)はレーザ加工ロボット(ロボット)、１０はレーザ発振器、１１は光ファイバ、１２は加工ツール(レーザ加工ヘッド)、１３はロボット制御部(レーザ加工ロボット制御装置)、そして、１００は自動車の車体を示す。ロボットＲ１，Ｒ２(１)は、それぞれロボット制御部１３により制御され、例えば、ロボット１のアーム先端部に取り付けられた加工ツール(レーザ加工ヘッド)１２の動作を制御するようになっている。
それぞれのロボット１(Ｒ１，Ｒ２)の加工ツール１２には、光ファイバ１１を介して、レーザ発振器１０により生成されたレーザ光(ファイバレーザ光)が供給され、これにより、例えば、自動車の車体１００に対するレーザ溶接を行うようになっている。なお、図１では、自動車の車体１００を、２台のロボットＲ１，Ｒ２(１)によりレーザ溶接する様子を示しているが、ロボット１の数は、１台であってもよく、或いは、３台以上であってもよい。
図２は、本発明に係るロボットシステムの一実施形態を示すブロック図であり、図１を参照して説明したロボットシステムは、環境４に含まれる。すなわち、図２に示されるように、本実施形態のロボットシステムは、図１を参照して説明したロボット１(Ｒ１，Ｒ２)，レーザ発振器１０，光ファイバ１１，加工ツール１２およびロボット制御部１３と、機械学習装置２を含む。
ここで、機械学習装置２は、それぞれのロボット１(ロボット制御部１３：エッジ)に対して設けることもできるが、例えば、複数のロボット１(ロボットシステム)を有する工場ごと(例えば、フォグサーバ)、或いは、複数の工場とインターネット等の通信回線を介して接続されたクラウドサーバに設けることもできる。なお、それぞれのロボットに対して設けられた機械学習装置は、例えば、少なくとも１つの他の機械学習装置と接続可能とされ、その少なくとも１つの他の機械学習装置との間で機械学習の結果を相互に交換または共有するようにしてもよい。
図３は、本発明に係る機械学習装置の一実施例を示すブロック図である。図２および図３に示されるように、本実施例の機械学習装置２は、強化学習を行うもので、状態観測部２１、判定データ取得部２２、学習部２３および意思決定部２４を備え、学習部２３は、報酬計算部２３１および価値関数更新部２３２を備える。
状態観測部２１は、ロボット(レーザ加工ロボット)１によるレーザ加工点のプラズマ光、および、ロボット１によるレーザ加工点の加工音の少なくとも一方を状態変数として観測する。ここで、レーザ加工点のプラズマ光は、例えば、ロボット１のアーム先端部に取り付けられた加工ツール１２に設けられた光センサ(フォトセンサ)により検知され、また、レーザ加工点の加工音は、加工ツール１２に設けられた音センサ(マイクロフォン)により検知される。なお、レーザ加工点のプラズマ光および加工音の検知については、図８を参照して、後に詳述する。
判定データ取得部２２は、ロボット１が処理を行うサイクルタイムを判定データとして受け取る。ここで、例えば、図１に示すような２台のロボット１(Ｒ１，Ｒ２)によりレーザ溶接を行う場合、２台のロボットにより行われるレーザ溶接の全てをサイクルタイムとして設定することができる。なお、判定データ取得部２２は、さらに、ロボット１がレーザ加工を行う加工速度，レーザの焦点距離，加工ツール１２の姿勢およびアシストガスの流量の少なくとも１つを判定データとして受け取ることもできる。
学習部２３は、状態観測部２１の出力および判定データ取得部２２の出力に基づいて、ロボット１の加工順序を学習するもので、報酬計算部２３１および価値関数更新部２３２を含む。報酬計算部２３１は、状態観測部２１の出力および判定データ取得部２２の出力に基づいて報酬を計算し、価値関数更新部２３２は、状態観測部２１の出力，判定データ取得部２２の出力および報酬計算部２３１の出力に基づいて、ロボット１の加工順序の価値を定める価値関数を更新する。なお、意思決定部２４は、学習部２３が学習したロボット１の加工順序に基づいて、ロボット１の動作を決定する。
すなわち、報酬計算部２３１は、例えば、サイクルタイムが長いときにマイナスの報酬を設定し、サイクルタイムが短いときにプラスの報酬を設定する。また、報酬計算部２３１は、例えば、レーザ加工点のプラズマ光がプラズマ光適正値から遠いときにマイナスの報酬を設定し、レーザ加工点のプラズマ光がプラズマ光適正値に近いときにプラスの報酬を設定するか、或いは、レーザ加工点の加工音が加工音適正値から遠いときにマイナスの報酬を設定し、レーザ加工点の加工音が加工音適正値に近いときにプラスの報酬を設定することができる。さらに、報酬計算部２３１は、ロボット１がレーザ加工を行う加工速度(Ｖ)が遅いときにマイナスの報酬を設定し、ロボットがレーザ加工を行う加工速度が速いときにプラスの報酬を設定することもできる。
ところで、機械学習装置２は、装置に入力されるデータの集合から、その中にある有用な規則や知識表現、判断基準等を解析により抽出し、その判断結果を出力するとともに、知識の学習(機械学習)を行う機能を有する。機械学習の手法は様々であるが、大別すれば、例えば、「教師あり学習」、「教師なし学習」および「強化学習」に分けられる。さらに、これらの手法を実現するうえで、特徴量そのものの抽出を学習する、「深層学習(ディープラーニング：Deep Learning)」と呼ばれる手法がある。
なお、図３に示す機械学習装置２は、「強化学習(Ｑ学習)」を適用したものである。この機械学習装置２は、汎用の計算機若しくはプロセッサを用いることもできるが、例えば、ＧＰＧＰＵ(General-Purpose computing on Graphics Processing Units)や大規模ＰＣクラスター等を適用すると、より高速に処理することが可能になる。ここで、機械学習の全般に関して、概略を説明する。
まず、教師あり学習とは、教師データ、すなわち、ある入力と結果(ラベル)のデータの組を大量に機械学習装置に与えることで、それらのデータセットにある特徴を学習し、入力から結果を推定するモデル(誤差モデル)、すなわち、その関係性を帰納的に獲得するものである。例えば、後述のニューラルネットワーク等のアルゴリズムを用いて実現することが可能である。
また、教師なし学習とは、入力データのみを大量に機械学習装置に与えることで、入力データがどのような分布をしているか学習し、対応する教師出力データを与えなくても、入力データに対して圧縮・分類・整形等を行う装置で学習する手法である。例えば、それらのデータセットにある特徴を、似た者どうしにクラスタリングすること等ができる。この結果を使って、何らかの基準を設けてそれを最適化するような出力の割り当てを行うことにより、出力の予測を実現することができる。
なお、教師なし学習と教師あり学習との中間的な問題設定として、半教師あり学習と呼ばれるものもあり、これは、例えば、一部のみ入力と出力のデータの組が存在し、それ以外は入力のみのデータである場合が対応する。
次に、強化学習について、説明する。まず、強化学習の問題設定として、次のように考える。
・ロボットシステム(すなわち、レーザ加工ロボット１およびレーザ加工ロボット制御装置(ロボット制御部：例えば、機械学習装置２を含む))１３は、環境の状態を観測し、行動を決定する。
・環境は、何らかの規則に従って変化し、さらに、自分の行動が、環境に変化を与えることもある。
・行動するたびに、報酬信号が帰ってくる。
・最大化したいのは、将来にわたっての(割引)報酬の合計である。
・行動が引き起こす結果を全く知らない、または、不完全にしか知らない状態から学習はスタートする。すなわち、ロボット制御部は、実際に行動して初めて、その結果をデータとして得ることができる。つまり、試行錯誤しながら最適な行動を探索する必要がある。
・人間の動作を真似るように、事前学習(前述の教師あり学習や、逆強化学習といった手法)した状態を初期状態として、良いスタート地点から学習をスタートさせることもできる。
ここで、強化学習とは、判定や分類だけではなく、行動を学習することにより、環境に行動が与える相互作用を踏まえて適切な行動を学習、すなわち、将来的に得られる報酬を最大にするための学習する方法を学ぶものである。以下に、例として、Ｑ学習の場合で説明を続けるが、Ｑ学習に限定されるものではない。
Ｑ学習は、或る環境状態ｓの下で、行動ａを選択する価値Ｑ(ｓ，ａ)を学習する方法である。つまり、或る状態ｓのとき、価値Ｑ(ｓ，ａ)の最も高い行動ａを最適な行動として選択すればよい。しかし、最初は、状態ｓと行動ａとの組合せについて、価値Ｑ(ｓ，ａ)の正しい値は全く分かっていない。そこで、エージェント(行動主体)は、或る状態ｓの下で様々な行動ａを選択し、その時の行動ａに対して、報酬が与えられる。それにより、エージェントは、より良い行動の選択、すなわち、正しい価値Ｑ(ｓ，ａ)を学習していく。
さらに、行動の結果、将来にわたって得られる報酬の合計を最大化したいので、最終的にＱ(ｓ，ａ)＝Ｅ［Σ(γt)ｒt］となるようにすることを目指す。ここで、期待値は、最適な行動に従って状態変化したときについてとるものとし、それは、分かっていないので、探索しながら学習することになる。このような価値Ｑ(ｓ，ａ)の更新式は、例えば、次の式(１)により表すことができる。
Figure 2018086711
 上記の式(１)において、ｓtは、時刻ｔにおける環境の状態を表し、ａtは、時刻ｔにおける行動を表す。行動ａtにより、状態はｓt+1に変化する。rt+1は、その状態の変化により得られる報酬を表している。また、ｍａｘの付いた項は、状態ｓt+1の下で、その時に分かっている最もＱ値の高い行動ａを選択した場合のＱ値にγを乗じたものになる。ここで、γは、０＜γ≦１のパラメータで、割引率と呼ばれる。また、αは、学習係数で、０＜α≦１の範囲とする。
上述した式(１)は、試行ａtの結果、帰ってきた報酬ｒt+1を元に、状態ｓtにおける行動ａtの評価値Ｑ(ｓt，ａt)を更新する方法を表している。すなわち、状態ｓにおける行動ａの評価値Ｑ(ｓt，ａt)よりも、報酬ｒt+1 ＋ 行動ａによる次の状態における最良の行動ｍａｘ ａの評価値Ｑ(ｓt+1，ｍａｘ ａt+1)の方が大きければ、Ｑ(ｓt，ａt)を大きくし、反対に小さければ、Ｑ(ｓt，ａt)を小さくすることを示している。つまり、或る状態における或る行動の価値を、結果として即時帰ってくる報酬と、その行動による次の状態における最良の行動の価値に近付けるようにしている。
ここで、Ｑ(ｓ，ａ)の計算機上での表現方法は、すべての状態行動ペア(ｓ，ａ)に対して、その値をテーブルとして保持しておく方法と、Ｑ(ｓ，ａ)を近似するような関数を用意する方法がある。後者の方法では、前述の式(１)は、確率勾配降下法等の手法で近似関数のパラメータを調整していくことにより、実現することができる。なお、近似関数としては、後述のニューラルネットワークを用いることができる。
また、強化学習での価値関数の近似アルゴリズムとして、ニューラルネットワークを用いることができる。図４は、ニューロンのモデルを模式的に示す図であり、図５は、図４に示すニューロンを組み合わせて構成した三層のニューラルネットワークを模式的に示す図である。すなわち、ニューラルネットワークは、例えば、図４に示すようなニューロンのモデルを模した演算装置およびメモリ等で構成される。
図４に示されるように、ニューロンは、複数の入力ｘ(図４では、一例として入力ｘ1〜ｘ3)に対する出力(結果)ｙを出力するものである。各入力ｘ(ｘ1，ｘ2，ｘ3)には、この入力ｘに対応する重みｗ(ｗ1，ｗ2，ｗ3)が乗算される。これにより、ニューロンは、次の式(２)により表現される結果ｙを出力する。なお、入力ｘ、結果ｙおよび重みｗは、すべてベクトルである。また、下記の式(２)において、θは、バイアスであり、ｆkは、活性化関数である。
Figure 2018086711
図５を参照して、図４に示すニューロンを組み合わせて構成した三層のニューラルネットワークを説明する。図５に示されるように、ニューラルネットワークの左側から複数の入力ｘ(ここでは、一例として、入力ｘ1〜入力ｘ3)が入力され、右側から結果ｙ(ここでは、一例として、結果ｙ1〜入力ｙ3)が出力される。具体的に、入力ｘ1，ｘ2， ｘ3は、３つのニューロンＮ11〜Ｎ13の各々に対して、対応する重みが掛けられて入力される。これらの入力に掛けられる重みは、まとめてＷ１と標記されている。
ニューロンＮ11〜Ｎ13は、それぞれ、ｚ11〜ｚ13を出力する。図５において、これらｚ11〜ｚ13は、まとめて特徴ベクトルＺ１と標記され、入力ベクトルの特徴量を抽出したベクトルとみなすことができる。この特徴ベクトルＺ１は、重みＷ１と重みＷ２との間の特徴ベクトルである。ｚ11〜ｚ13は、２つのニューロンＮ21およびＮ22の各々に対して、対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてＷ２と標記されている。
ニューロンＮ21，Ｎ22は、それぞれｚ21，ｚ22を出力する。図５において、これらｚ21，ｚ22は、まとめて特徴ベクトルＺ２と標記されている。この特徴ベクトルＺ２は、重みＷ２と重みＷ３との間の特徴ベクトルである。ｚ21，ｚ22は、３つのニューロンＮ31〜Ｎ33の各々に対して、対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてＷ３と標記されている。
最後に、ニューロンＮ31〜Ｎ33は、それぞれ、結果ｙ１〜結果ｙ３を出力する。ニューラルネットワークの動作には、学習モードと価値予測モードとがある。例えば、学習モードにおいて、学習データセットを用いて重みＷを学習し、そのパラメータを用いて予測モードにおいて、ロボット制御部の行動判断を行う。なお、便宜上、予測と書いたが、検出・分類・推論等多様なタスクが可能なのはいうまでもない。
ここで、予測モードで実際にロボット制御部を動かして得られたデータを即時学習し、次の行動に反映させる(オンライン学習)ことも、予め収集しておいたデータ群を用いてまとめた学習を行い、以降はずっとそのパラメータで検知モードを行う(バッチ学習)こともできる。或いは、その中間的な、ある程度データが溜まるたびに学習モードを挟むということも可能である。
また、重みＷ１〜Ｗ３は、誤差逆伝搬法(誤差逆転伝播法：バックプロパゲーション：Backpropagation)により学習可能なものである。なお、誤差の情報は、右側から入り左側に流れる。誤差逆伝搬法は、各ニューロンについて、入力ｘが入力されたときの出力ｙと真の出力ｙ(教師)との差分を小さくするように、それぞれの重みを調整(学習)する手法である。このようなニューラルネットワークは、三層以上に、さらに層を増やすことも可能である(深層学習と称される)。また、入力の特徴抽出を段階的に行い、結果を回帰する演算装置を、教師データのみから自動的に獲得することも可能である。
ここで、図３を参照して説明したように、本実施例の機械学習装置２は、例えば、Ｑ学習を実施すべく、状態観測部２１、判定データ取得部２２，学習部２３、および、意思決定部２４を備えている。ただし、本発明に適用される機械学習方法は、Ｑ学習に限定されるものではなく、また、機械学習装置２は、例えば、ＧＰＧＰＵや大規模ＰＣクラスター等を適用することで実現可能なのは、前述した通りである。
図６は、２台のレーザ加工ロボットにおける加工順序とサイクルタイムの関係の一例を説明するための図であり、図６(a)は、加工順序交換前を示し、図６(b)は、加工順序交換後を示す。なお、このような加工順序の交換は、シミュレーションを行うことで確認することができる。図６(a)および図６(b)において、参照符号Ｐ１〜Ｐ４は、加工(レーザ溶接処理)に要する期間(時間)を示し、Ｍ１〜Ｍ５は、ロボット１のアーム先端部に取り付けられた加工ツール(レーザ加工ヘッド)１２を所定位置まで移動するのに要する期間を示し、Ｔ１〜Ｔ６は、ロボット１が加工も移動もしていない待機期間を示す。
図６(a)に示されるように、加工順序を交換する前において、第１ロボットＲ１は、Ｐ１→Ｍ１→Ｐ２→Ｍ２→Ｔ１と動作し、第２ロボットＲ２は、Ｍ３→Ｔ２→Ｐ３→Ｍ４→Ｔ３→Ｐ４→Ｍ５と動作し、２台のロボットＲ１およびＲ２は、タイミングＥＰａで両方の処理を完了する。このとき、例えば、図６(b)に示されるように、第１ロボットＲ１の「Ｐ１→Ｍ１」と「Ｐ２→Ｍ２」の順序を交換すると、第１ロボットＲ１は、Ｐ２→Ｍ２→Ｔ４→Ｐ１→Ｍ１→Ｔ６と動作し、第２ロボットＲ２は、Ｍ３→Ｔ２→Ｐ３→Ｍ４→Ｔ５→Ｐ４→Ｍ５と動作し、２台のロボットＲ１およびＲ２は、タイミングＥＰｂで両方の処理を完了する。
すなわち、図６(b)と図６(a)の比較から明らかなように、２台のロボットＲ１およびＲ２は、同じ加工Ｐ１〜Ｐ４および移動Ｍ１〜Ｍ５の処理を行っているが、第１ロボットＲ１の「Ｐ１→Ｍ１」と「Ｐ２→Ｍ２」の順序を交換することにより全体の処理時間(サイクルタイム)をＴｓ(Ｔｓ＝ＥＰａ−ＥＰｂ)だけ短縮することが可能なのが分かる。図６では、説明のために、簡略化した処理を例としているが、実際には、様々な要因に基づく複雑な処理を行うことになり、本実施形態の機械学習装置は、このようなレーザ加工ロボットの加工順序を学習するものである。
図７は、本発明に係るロボットシステムのレーザ加工ロボットにおける加工ツールを説明するための図である。加工ツール(レーザ加工ヘッド)１２は、例えば、ロボット(レーザ加工ロボット)１のアーム先端部に取り付けられ、ワークＷ(例えば、自動車の車体１００)に対するレーザ加工(例えば、レーザ溶接)を行う。加工ツール１２において、例えば、加工ツール１２(レーザ加工ロボット１)がレーザ加工を行うときの加工速度Ｖ、レーザの焦点距離Ｄ、加工ツール１２の姿勢Ｐｓおよびアシストガスの流量Ｆといった加工条件が、適正値になるように調整される。なお、加工速度Ｖ、焦点距離Ｄ、姿勢Ｐｓおよび流量Ｆは、それぞれ知られている加工監視センサの出力により求めることができる。
後に、図９および図１０に示すフローチャートを参照して詳述するが、加工監視センサの出力が適正値になるように加工条件を調整し、例えば、前述した機械学習装置２の学習部２３における報酬計算部２３１は、ロボット１による処理時間(システムサイクルタイム)が長いときにマイナスの報酬を設定し、サイクルタイムが短いときにプラスの報酬を設定する。また、報酬計算部２３１は、加工監視センサの出力が適正値から遠いときにマイナスの報酬を設定し、加工監視センサの出力が適正値に近いときにプラスの報酬を設定することもできる。さらに、報酬計算部２３１は、ロボット１がレーザ加工を行う加工速度Ｖが遅いときにマイナスの報酬を設定し、ロボット１がレーザ加工を行う加工速度Ｖが速いときにプラスの報酬を設定してもよい。
図８は、本発明に係るロボットシステムのレーザ加工ロボットにおけるレーザ加工時の状態の観測を説明するための図であり、図８(a)は、レーザ加工点のプラズマ光を観測する様子を示し、図８(b)は、レーザ加工点の加工音を観測する様子を示す。
まず、図８(a)に示されるように、加工ツール(レーザ加工ヘッド)１２には、所定の波長範囲の光を通過させる光フィルタ３１およびフォトセンサ(光センサ)３２が設けられ、レーザ加工点Ｐｐからのプラズマ光を所定の波長範囲で検知して信号Ｓｐを出力するようになっている。この検知信号Ｓｐが、予め設定された下限値と上限値の設定範囲に納まる(設定下限値＜Ｓｐ＜設定上限値)ように、加工条件(例えば、加工速度Ｖおよびレーザ出力等)を変更することができる。
また、図８(b)に示されるように、加工ツール１２には、音を検知するマイクロフォン(音センサ)４１が設けられ、レーザ加工点Ｐｐからの加工音を検知するようになっている。ここで、マイクロフォン４１の出力は、ＦＦＴ変換部４２により高速フーリエ変換(ＦＦＴ：Fast Fourier Transform)され、さらに、信号フィルタ部４３により所定の周波数範囲の検知信号Ｓｓを出力するようになっている。この検知信号Ｓｓが、予め設定された下限値と上限値の設定範囲に納まる(設定下限値＜Ｓｓ＜設定上限値)ように、加工条件(例えば、加工速度Ｖおよびレーザ出力等)を変更することができる。
ここで、レーザ加工ロボット１によるレーザ加工の状態を監視する手法として、ロボット１によるレーザ加工時におけるレーザ加工点Ｐｐの加工音を検出し、そのレーザ加工点Ｐｐの加工音における所定の周波数範囲を抽出し、そして、抽出された所定の周波数範囲のレーザ加工点Ｐｐの加工音に基づいて、ロボット１によるレーザ加工の状態を監視することも可能である。
図９は、図３に示す機械学習装置における処理の一例を示すフローチャートである。図９に示されるように、機械学習が開始(学習スタート)すると、ステップＳＴ１において、行動価値テーブルに基づいて加工条件と加工順序を決定し、ステップＳＴ２に進み、システムサイクルタイムを判定する。ここで、初期状態の行動価値テーブルは、例えば、それまでの経験やダミーとして行った結果等に基づいて、予め作成しておく。
ステップＳＴ２において、システムサイクルタイムが長いと判定すると、ステップＳＴ３ａに進んでマイナスの報酬(−５)を設定し、システムサイクルタイムが標準であると判定すると、ステップＳＴ３ｂに進んで零の報酬(０)を設定し、システムサイクルタイムが短いと判定すると、ステップＳＴ３ｃに進んでプラスの報酬(＋５)を設定する。
さらに、ステップＳＴ４に進んで、ステップＳＴ３ａ〜ＳＴ３ｃにより設定された報酬を積算し、ステップＳＴ５に進んで、行動価値テーブルを更新し、再び、ステップＳＴ１に戻って同様の処理を繰り返す。
図１０は、図３に示す機械学習装置における処理の他の例を示すフローチャートであり、上述した図９のフローチャートに対して、加工監視センサの出力に基づく判定、および、加工速度に基づく判定を追加したものに相当する。図１０に示されるように、機械学習が開始(学習スタート)すると、ステップＳＴ１において、行動価値テーブルに基づいて加工条件と加工順序を決定し、ステップＳＴ２，ＳＴ１２およびＳＴ２２の処理を行う。
すなわち、ステップＳＴ１２において、加工監視センサの出力と適正値の判定を行う。具体的に、ステップＳＴ１２において、例えば、フォトセンサから出力されるレーザ加工点のプラズマ光の値が適正値(プラズマ光適正値)から遠いと判定すると、ステップＳＴ１３ａに進んでマイナスの報酬(−１０)を設定し、レーザ加工点のプラズマ光が標準であると判定すると、ステップＳＴ１３ｂに進んで零の報酬(０)を設定し、そして、レーザ加工点のプラズマ光がプラズマ光適正値に近いと判定すると、ステップＳＴ１３ｃに進んでプラスの報酬(＋１０)を設定する。さらに、ステップＳＴ１４に進んで、ステップＳＴ１３ａ〜ＳＴ１３ｃにより設定された報酬を積算し、ステップＳＴ６に進む。
或いは、ステップＳＴ１２において、例えば、レーザ加工点の加工音が適正値(加工音適正値)から遠いと判定すると、ステップＳＴ２３ａに進んでマイナスの報酬(−１０)を設定し、レーザ加工点の加工音が標準であると判定すると、ステップＳＴ２３ｂに進んで零の報酬(０)を設定し、そして、レーザ加工点の加工音が加工音適正値に近いと判定すると、ステップＳＴ２３ｃに進んでプラスの報酬(＋１０)を設定する。さらに、ステップＳＴ１４に進んで、ステップＳＴ１３ａ〜ＳＴ１３ｃにより設定された報酬を積算し、ステップＳＴ６に進む。
また、ステップＳＴ２２では、ロボット(レーザ加工ロボット)がレーザ加工を行う加工速度の判定を行う。すなわち、ステップＳＴ２２において、加工速度が遅いと判定すると、ステップＳＴ２３ａに進んでマイナスの報酬(−５)を設定し、加工速度が標準であると判定すると、ステップＳＴ２３ｂに進んで零の報酬(０)を設定し、そして、加工速度が速いと判定すると、ステップＳＴ２３ｃに進んでプラスの報酬(＋５)を設定する。さらに、ステップＳＴ２４に進んで、ステップＳＴ２３ａ〜ＳＴ２３ｃにより設定された報酬を積算し、ステップＳＴ６に進む。
なお、ステップＳＴ２，ＳＴ３ａ〜ＳＴ３ｃおよびＳＴ４は、図９を参照して説明したのと同様であり、ステップＳＴ４において、ステップＳＴ３ａ〜ＳＴ３ｃにより設定された報酬を積算した後、ステップＳＴ６に進む。なお、ステップＳＴ６では、ステップＳＴ１４，ＳＴ２４およびＳＴ４で積算された報酬をさらに積算し、ステップＳＴ５に進んで、行動価値テーブルを更新し、再び、ステップＳＴ１に戻って同様の処理を繰り返す。
ここで、報酬値は、それぞれの判定項目により重み付けがなされているが、これは、それぞれ適切な値に変更することができる。すなわち、ステップＳＴ１２の加工監視センサの出力と適正値の判定は、大きな重み付け(『−１０，０，＋１０』)とされ、ステップＳＴ２２におけるレーザ加工ロボットがレーザ加工を行う加工速度の判定およびステップＳＴ２におけるシステムサイクルタイム(サイクルム)の判定は、同じ重み付け(『−５，０，＋５』)とされているが、適宜変更することが可能である。また、各判定項目による重み付けは、正側と負側で変更させることもでき、或いは、全ての項目に対して同じ重み付けをすることも可能である。
以上、詳述したように、本実施形態に係る機械学習装置、ロボットシステムおよび機械学習方法によれば、レーザ加工ロボットの加工順序を学習して最適解を効率的に教示することができる。これにより、レーザ加工ロボットによる処理時間(サイクルタイム)を短縮し、最適な加工条件により加工を行うことが可能になる。なお、本実施形態の適用は、レーザ溶接を始めとして、レーザ切断等のレーザ加工を行うロボットに対して幅広く適用することができるのはいうまでもない。
以上、実施形態を説明したが、ここに記載したすべての例や条件は、発明および技術に適用する発明の概念の理解を助ける目的で記載されたものであり、特に記載された例や条件は発明の範囲を制限することを意図するものではない。また、明細書のそのような記載は、発明の利点および欠点を示すものでもない。発明の実施形態を詳細に記載したが、各種の変更、置き換え、変形が発明の精神および範囲を逸脱することなく行えることが理解されるべきである。
１，Ｒ１，Ｒ２ ロボット
２ 機械学習装置
１０ レーザ発振器
１１ 光ファイバ
１２ 加工ツール(レーザ加工ヘッド)
１３ ロボット制御部(レーザ加工ロボット制御装置)
２１ 状態観測部
２２ 判定データ取得部
２３ 学習部
２３１ 報酬計算部
２３２ 価値関数更新部
２４ 意思決定部
或いは、ステップＳＴ１２において、例えば、レーザ加工点の加工音が適正値(加工音適正値)から遠いと判定すると、ステップＳＴ１３ａに進んでマイナスの報酬(−１０)を設定し、レーザ加工点の加工音が標準であると判定すると、ステップＳＴ１３ｂに進んで零の報酬(０)を設定し、そして、レーザ加工点の加工音が加工音適正値に近いと判定すると、ステップＳＴ１３ｃに進んでプラスの報酬(＋１０)を設定する。さらに、ステップＳＴ１４に進んで、ステップＳＴ１３ａ〜ＳＴ１３ｃにより設定された報酬を積算し、ステップＳＴ６に進む。
ここで、報酬値は、それぞれの判定項目により重み付けがなされているが、これは、それぞれ適切な値に変更することができる。すなわち、ステップＳＴ１２の加工監視センサの出力と適正値の判定は、大きな重み付け(『−１０，０，＋１０』)とされ、ステップＳＴ２２におけるレーザ加工ロボットがレーザ加工を行う加工速度の判定およびステップＳＴ２におけるシステムサイクルタイム(サイクルタイム)の判定は、同じ重み付け(『−５，０，＋５』)とされているが、適宜変更することが可能である。また、各判定項目による重み付けは、正側と負側で変更させることもでき、或いは、全ての項目に対して同じ重み付けをすることも可能である。

Claims (15)

  1. レーザ加工ロボットの加工順序を学習する機械学習装置であって、
    前記レーザ加工ロボットによるレーザ加工点のプラズマ光、および、前記レーザ加工ロボットによるレーザ加工点の加工音の少なくとも一方を、状態変数として観測する状態観測部と、
    前記レーザ加工ロボットが処理を行うサイクルタイムを、判定データとして受け取る判定データ取得部と、
    前記状態観測部の出力および前記判定データ取得部の出力に基づいて、前記レーザ加工ロボットの加工順序を学習する学習部と、を備える、
    ことを特徴とする機械学習装置。
  2. 前記判定データ取得部は、さらに、
    前記レーザ加工ロボットがレーザ加工を行う加工速度、レーザの焦点距離、加工ツールの姿勢およびアシストガスの流量の少なくとも１つを、前記判定データとして受け取る、
    ことを特徴とする請求項１に記載の機械学習装置。
  3. さらに、
    前記学習部が学習した前記レーザ加工ロボットの加工順序に基づいて、前記レーザ加工ロボットの動作を決定する意思決定部を備える、
    ことを特徴とする請求項１または請求項２に記載の機械学習装置。
  4. 前記学習部は、
    前記状態観測部の出力および前記判定データ取得部の出力に基づいて、報酬を計算する報酬計算部と、
    前記状態観測部の出力，前記判定データ取得部の出力および前記報酬計算部の出力に基づいて、前記レーザ加工ロボットの加工順序の価値を定める価値関数を更新する価値関数更新部と、を備える、
    ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の機械学習装置。
  5. 前記報酬計算部は、
    前記サイクルタイムが長いときにマイナスの報酬を設定し、前記サイクルタイムが短いときにプラスの報酬を設定する、
    ことを特徴とする請求項４に記載の機械学習装置。
  6. 前記報酬計算部は、さらに、
    前記レーザ加工点のプラズマ光が、プラズマ光適正値から遠いときにマイナスの報酬を設定し、前記レーザ加工点のプラズマ光が、前記プラズマ光適正値に近いときにプラスの報酬を設定し、或いは、
    前記レーザ加工点の加工音が、加工音適正値から遠いときにマイナスの報酬を設定し、前記レーザ加工点の加工音が、前記加工音適正値に近いときにプラスの報酬を設定する、
    ことを特徴とする請求項４または請求項５に記載の機械学習装置。
  7. 前記報酬計算部は、さらに、
    前記レーザ加工ロボットがレーザ加工を行う加工速度が遅いときにマイナスの報酬を設定し、前記レーザ加工ロボットがレーザ加工を行う加工速度が速いときにプラスの報酬を設定する、
    ことを特徴とする請求項４乃至請求項６のいずれか１項に記載の機械学習装置。
  8. 前記機械学習装置は、ニューラルネットワークを備える、
    ことを特徴とする請求項１乃至請求項７のいずれか１項に記載の機械学習装置。
  9. 前記機械学習装置は、それぞれの前記レーザ加工ロボットに対して設けられ、少なくとも１つの他の機械学習装置と接続可能であり、少なくとも１つの前記他の機械学習装置との間で機械学習の結果を相互に交換または共有する、
    ことを特徴とする請求項１乃至請求項８のいずれか１項に記載の機械学習装置。
  10. 前記機械学習装置は、クラウドサーバまたはフォグサーバ上に設けられる、
    ことを特徴とする請求項１乃至請求項８のいずれか１項に記載の機械学習装置。
  11. レーザ加工ロボット制御装置と、前記レーザ加工ロボット制御装置により制御される前記レーザ加工ロボットと、請求項１乃至請求項１０のいずれか１項に記載の機械学習装置と、を備える、
    ことを特徴とするロボットシステム。
  12. 前記レーザ加工ロボットは、複数台設けられ、
    前記判定データ取得部は、複数台の前記レーザ加工ロボットによるシステム全体の処理を行うシステムサイクルタイムを、前記判定データとして受け取り、
    前記学習部は、複数台の前記レーザ加工ロボットによるシステム全体の加工順序を学習する、
    ことを特徴とする請求項１１に記載のロボットシステム。
  13. 前記レーザ加工ロボットは、
    前記レーザ加工ロボットによるレーザ加工点のプラズマ光を、所定の波長範囲で検知する光センサ、および、
    前記レーザ加工ロボットによるレーザ加工点の加工音を、所定の周波数範囲で検知する音センサの少なくとも一方を備える、
    ことを特徴とする請求項１１または請求項１２に記載のロボットシステム。
  14. レーザ加工ロボットの加工順序を学習する機械学習方法であって、
    前記レーザ加工ロボットによるレーザ加工点のプラズマ光、および、前記レーザ加工ロボットによるレーザ加工点の加工音の少なくとも一方を、状態変数として観測し、
    前記レーザ加工ロボットが処理を行うサイクルタイムを、判定データとして受け取り、
    観測された前記状態変数および受け取った前記判定データに基づいて、前記レーザ加工ロボットの加工順序を学習する、
    ことを特徴とする機械学習方法。
  15. レーザ加工ロボットによるレーザ加工の状態を監視する方法であって、
    前記レーザ加工ロボットによるレーザ加工時におけるレーザ加工点の加工音を検出し、
    前記レーザ加工点の加工音における所定の周波数範囲を抽出し、
    抽出された所定の周波数範囲の前記レーザ加工点の加工音に基づいて、前記レーザ加工ロボットによるレーザ加工の状態を監視する、
    ことを特徴とする方法。
JP2016231678A 2016-11-29 2016-11-29 レーザ加工ロボットの加工順序を学習する機械学習装置、ロボットシステムおよび機械学習方法 Active JP6438450B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016231678A JP6438450B2 (ja) 2016-11-29 2016-11-29 レーザ加工ロボットの加工順序を学習する機械学習装置、ロボットシステムおよび機械学習方法
US15/808,921 US10518357B2 (en) 2016-11-29 2017-11-10 Machine learning device and robot system to learn processing order of laser processing robot and machine learning method thereof
DE102017010799.8A DE102017010799B4 (de) 2016-11-29 2017-11-22 Maschinenlernvorrichtung zum Lernen einer Bearbeitungsreihenfolge eines Robotersystems mit einer Mehrzahl von Laserbearbeitungsrobotern, dazugehöriges Robotersystem sowie Maschinenlernverfahren zum Lernen einer Bearbeitungsreihenfolge des Robotersystems mit einer Mehrzahl von Laserbearbeitungsrobotern
CN201711184024.7A CN108115682B (zh) 2016-11-29 2017-11-23 机械学习装置、机器人系统以及机械学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016231678A JP6438450B2 (ja) 2016-11-29 2016-11-29 レーザ加工ロボットの加工順序を学習する機械学習装置、ロボットシステムおよび機械学習方法

Publications (2)

Publication Number Publication Date
JP2018086711A true JP2018086711A (ja) 2018-06-07
JP6438450B2 JP6438450B2 (ja) 2018-12-12

Family

ID=62117305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016231678A Active JP6438450B2 (ja) 2016-11-29 2016-11-29 レーザ加工ロボットの加工順序を学習する機械学習装置、ロボットシステムおよび機械学習方法

Country Status (4)

Country Link
US (1) US10518357B2 (ja)
JP (1) JP6438450B2 (ja)
CN (1) CN108115682B (ja)
DE (1) DE102017010799B4 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6470456B1 (ja) * 2017-09-13 2019-02-13 日東電工株式会社 偏光膜、偏光板、および偏光膜の製造方法
JP2020028909A (ja) * 2018-08-24 2020-02-27 ファナック株式会社 加工条件調整装置及び機械学習装置
JP2020035404A (ja) * 2018-08-31 2020-03-05 ファナック株式会社 レーザ加工のための教示装置、教示方法、及び教示プログラム
JPWO2020031948A1 (ja) * 2018-08-06 2021-08-10 国立大学法人 東京大学 レーザ加工システムに用いられる機械学習方法、シミュレーション装置、レーザ加工システム並びにプログラム
WO2022014128A1 (ja) * 2020-07-16 2022-01-20 株式会社日立製作所 組立作業順序計画装置、及び組立作業順序計画方法
US11351630B2 (en) 2019-01-21 2022-06-07 Mitsubishi Electric Corporation Processing state detecting device, laser processing machine, and machine learning device
WO2022145106A1 (ja) * 2020-12-28 2022-07-07 東京ロボティクス株式会社 動作スケジュール生成装置、方法、プログラム及びシステム
WO2022196755A1 (ja) * 2021-03-18 2022-09-22 株式会社日本製鋼所 強化学習方法、コンピュータプログラム、強化学習装置及び成形機
DE112021003687T5 (de) 2020-07-10 2023-07-06 Fanuc Corporation Lernvorrichtung und lernverfahren zum laserbearbeiten

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019244484A1 (ja) * 2018-06-22 2019-12-26 三菱電機株式会社 レーザ加工装置
JP6740299B2 (ja) * 2018-08-24 2020-08-12 ファナック株式会社 加工条件調整装置及び機械学習装置
JP6770032B2 (ja) 2018-08-24 2020-10-14 ファナック株式会社 レーザ加工システム、及びレーザ加工方法
CN109116854B (zh) * 2018-09-16 2021-03-12 南京大学 一种基于强化学习的多组机器人协作控制方法及控制系统
CN109702768B (zh) * 2018-10-10 2024-08-13 李强 学习型机器人动作数据采集方法
CN109290679A (zh) * 2018-10-10 2019-02-01 南京理工大学 适于自动检测焊缝的激光焊接系统及其工作方法
US11487271B2 (en) * 2019-04-23 2022-11-01 Dassault Systemes Simulia Corp. Machine learning with fast feature generation for selective laser melting print parameter optimization
US11474512B2 (en) 2019-06-13 2022-10-18 Mitsubishi Electric Corporation Machining failure detection device, laser cutting apparatus, and electric discharge machining apparatus
JP7401207B2 (ja) * 2019-06-21 2023-12-19 ファナック株式会社 ツールの状態を学習する機械学習装置、ロボットシステム、及び機械学習方法
JP6835151B2 (ja) * 2019-06-28 2021-02-24 株式会社安川電機 評価装置、評価方法、評価システムおよび評価プログラム
JP7261682B2 (ja) * 2019-07-17 2023-04-20 株式会社日立製作所 溶接作業データ蓄積装置、溶接作業支援システムおよび溶接ロボット制御装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62114786A (ja) * 1985-11-14 1987-05-26 Fujitsu Ltd 加工状態監視方法
JP2007253197A (ja) * 2006-03-23 2007-10-04 Tokyu Car Corp レーザ溶接方法
JP2012509189A (ja) * 2008-11-21 2012-04-19 プレシテック カーゲー 工作物に対して実施されるべきレーザ加工作業をモニタリングするための方法および装置、ならびにかかる装置を有するレーザ加工ヘッド
JP5997330B1 (ja) * 2015-07-31 2016-09-28 ファナック株式会社 主軸交換の要否を判定できる機械学習装置、主軸交換判定装置、制御装置、工作機械及び生産システム、並びに機械学習方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5045669A (en) * 1990-03-02 1991-09-03 General Electric Company Method and apparatus for optically/acoustically monitoring laser materials processing
JP2984218B2 (ja) 1996-07-23 1999-11-29 川崎重工業株式会社 複数台ロボットの作業計画方法
JP4626043B2 (ja) 2000-10-11 2011-02-02 Ｊｆｅエンジニアリング株式会社 タスク割付方法およびこれを適用した制御装置
US6670574B1 (en) 2002-07-31 2003-12-30 Unitek Miyachi Corporation Laser weld monitor
JP2005108144A (ja) 2003-10-02 2005-04-21 Fanuc Ltd ロボットの補正データ確認装置
AT510886B1 (de) 2011-01-10 2012-10-15 Fronius Int Gmbh Verfahren zum einlernen/prüfen eines bewegungsablaufs eines schweissroboters, schweissroboter und steuerung dazu
KR102028770B1 (ko) 2011-09-15 2019-10-04 컨버전트 인포메이션 테크놀로지스 게엠베하 로봇 프로그램의 자동 생성을 위한 시스템 및 방법
JP5774223B2 (ja) * 2012-06-29 2015-09-09 三菱電機株式会社 ロボット制御装置およびロボット制御方法
CN103464344B (zh) 2013-09-23 2016-01-20 电子科技大学中山学院 一种经济型喷涂机器人喷枪轨迹规划方法
US9186794B2 (en) 2014-03-04 2015-11-17 Fanuc Corporation Robot controller having function to simplify teaching operation and improve motion performance of robot
DE102015204641B4 (de) 2014-06-03 2021-03-25 ArtiMinds Robotics GmbH Verfahren und System zur Programmierung eines Roboters
US9272417B2 (en) 2014-07-16 2016-03-01 Google Inc. Real-time determination of object metrics for trajectory planning
CN105328699A (zh) 2014-08-05 2016-02-17 罗伯特·博世有限公司 智能机器人焊接系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62114786A (ja) * 1985-11-14 1987-05-26 Fujitsu Ltd 加工状態監視方法
JP2007253197A (ja) * 2006-03-23 2007-10-04 Tokyu Car Corp レーザ溶接方法
JP2012509189A (ja) * 2008-11-21 2012-04-19 プレシテック カーゲー 工作物に対して実施されるべきレーザ加工作業をモニタリングするための方法および装置、ならびにかかる装置を有するレーザ加工ヘッド
JP5997330B1 (ja) * 2015-07-31 2016-09-28 ファナック株式会社 主軸交換の要否を判定できる機械学習装置、主軸交換判定装置、制御装置、工作機械及び生産システム、並びに機械学習方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6470456B1 (ja) * 2017-09-13 2019-02-13 日東電工株式会社 偏光膜、偏光板、および偏光膜の製造方法
JP2019053279A (ja) * 2017-09-13 2019-04-04 日東電工株式会社 偏光膜、偏光板、および偏光膜の製造方法
JPWO2020031948A1 (ja) * 2018-08-06 2021-08-10 国立大学法人 東京大学 レーザ加工システムに用いられる機械学習方法、シミュレーション装置、レーザ加工システム並びにプログラム
JP2020028909A (ja) * 2018-08-24 2020-02-27 ファナック株式会社 加工条件調整装置及び機械学習装置
US11958135B2 (en) 2018-08-24 2024-04-16 Fanuc Corporation Machining condition adjustment device and machine learning device
US11241759B2 (en) 2018-08-31 2022-02-08 Fanuc Corporation Teaching device, teaching method, and storage medium storing teaching program for laser machining
JP2020035404A (ja) * 2018-08-31 2020-03-05 ファナック株式会社 レーザ加工のための教示装置、教示方法、及び教示プログラム
US11351630B2 (en) 2019-01-21 2022-06-07 Mitsubishi Electric Corporation Processing state detecting device, laser processing machine, and machine learning device
DE112021003687T5 (de) 2020-07-10 2023-07-06 Fanuc Corporation Lernvorrichtung und lernverfahren zum laserbearbeiten
WO2022014128A1 (ja) * 2020-07-16 2022-01-20 株式会社日立製作所 組立作業順序計画装置、及び組立作業順序計画方法
JP7474653B2 (ja) 2020-07-16 2024-04-25 株式会社日立製作所 組立作業順序計画装置、及び組立作業順序計画方法
WO2022145106A1 (ja) * 2020-12-28 2022-07-07 東京ロボティクス株式会社 動作スケジュール生成装置、方法、プログラム及びシステム
WO2022196755A1 (ja) * 2021-03-18 2022-09-22 株式会社日本製鋼所 強化学習方法、コンピュータプログラム、強化学習装置及び成形機

Also Published As

Publication number Publication date
CN108115682A (zh) 2018-06-05
DE102017010799A1 (de) 2018-05-30
US20180147665A1 (en) 2018-05-31
DE102017010799B4 (de) 2021-03-25
US10518357B2 (en) 2019-12-31
JP6438450B2 (ja) 2018-12-12
CN108115682B (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
JP6438450B2 (ja) レーザ加工ロボットの加工順序を学習する機械学習装置、ロボットシステムおよび機械学習方法
US11511420B2 (en) Machine learning device, robot system, and machine learning method for learning operation program of robot
JP6616170B2 (ja) コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法
US11780095B2 (en) Machine learning device, robot system, and machine learning method for learning object picking operation
JP6453805B2 (ja) 製品の異常に関連する変数の判定値を設定する生産システム
US10603790B2 (en) Workpiece picking device and workpiece picking method for improving picking operation of workpieces
US10603797B2 (en) Machine learning device, robot system, and machine learning method for learning motion of robot engaged in task performed by human and robot in cooperate with each other
US10949740B2 (en) Machine learning device, numerical controller, machine tool system, manufacturing system, and machine learning method for learning display of operation menu
US10796226B2 (en) Laser processing apparatus and machine learning device
JP2018004473A (ja) 軸受の予測寿命を学習する機械学習装置、寿命予測装置および機械学習方法
JP6348098B2 (ja) 機械学習を使った中子の溶着位置決定機能を備えたワイヤ放電加工機のシミュレーション装置
JP2017064910A (ja) ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
JP6923484B2 (ja) 加工条件調整装置及び機械学習装置
JP2018181217A (ja) 加減速制御装置
US11897066B2 (en) Simulation apparatus
CN107301489A (zh) 实施生产计划的生产系统
US20180231953A1 (en) Numerical controller
CN108687766B (zh) 机器人的控制装置、机器学习装置以及机器学习方法
Kaur et al. Learning robotic skills through reinforcement learning
JP2020074177A (ja) 操作メニューの表示を学習する機械学習器，数値制御装置，工作機械システム，製造システムおよび機械学習方法

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181116

R150 Certificate of patent or registration of utility model

Ref document number: 6438450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150