JP6114421B1 - 複数の産業機械の作業分担を学習する機械学習装置，産業機械セル，製造システムおよび機械学習方法 - Google Patents

複数の産業機械の作業分担を学習する機械学習装置，産業機械セル，製造システムおよび機械学習方法 Download PDF

Info

Publication number
JP6114421B1
JP6114421B1 JP2016029605A JP2016029605A JP6114421B1 JP 6114421 B1 JP6114421 B1 JP 6114421B1 JP 2016029605 A JP2016029605 A JP 2016029605A JP 2016029605 A JP2016029605 A JP 2016029605A JP 6114421 B1 JP6114421 B1 JP 6114421B1
Authority
JP
Japan
Prior art keywords
industrial
work
machine learning
industrial machines
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016029605A
Other languages
English (en)
Other versions
JP2017146879A (ja
Inventor
雅文 大場
雅文 大場
丈嗣 津田
丈嗣 津田
智樹 大家
智樹 大家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2016029605A priority Critical patent/JP6114421B1/ja
Priority to CN201710007511.XA priority patent/CN107102619A/zh
Priority to US15/429,064 priority patent/US11036191B2/en
Priority to DE102017001290.3A priority patent/DE102017001290A1/de
Application granted granted Critical
Publication of JP6114421B1 publication Critical patent/JP6114421B1/ja
Publication of JP2017146879A publication Critical patent/JP2017146879A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/408—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by data handling or data format, e.g. reading, buffering or conversion of data
    • G05B19/4083—Adapting programme, configuration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4185—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31264—Control, autonomous self learn knowledge, rearrange task, reallocate resources
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33038—Real time online learning, training, dynamic network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39166—Coordinate activity by sending pheromone messages between robots, no central control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45104—Lasrobot, welding robot
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Manufacturing & Machinery (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • General Factory Administration (AREA)
  • Manipulator (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)

Abstract

【課題】複数の産業機械の作業分担を最適化することのできる機械学習装置，産業機械セル，製造システムおよび機械学習方法の提供を図る。【解決手段】複数の産業機械１１〜１ｎにより作業を行い、前記複数の産業機械に対する作業分担を学習する機械学習装置２であって、前記複数の産業機械の状態量を観測する状態量観測部２１と、前記状態量観測部により観測された前記状態量に基づいて、前記複数の産業機械に対する作業分担を学習する学習部２２と、を備える。【選択図】図１

Description

本発明は、複数の産業機械の作業分担を学習する機械学習装置，産業機械セル，製造システムおよび機械学習方法に関する。
従来、例えば、ロボット等の産業機械を複数備え、それら複数の産業機械により作業を行う産業機械セルが実用化されている。このとき、処理されていないワークの合計数を計算し、処理したワークの合計数の多いマシンから、上記合計数の少ないマシンへ１つ以上のワークを再割り当てすることで、各マシンの負荷を均一化するものが提案されている(例えば、特許文献１参照)。
また、従来、ロボットの動作経路や物品の搬送間隔が変化する場合であっても、効率よく物品をハンドリング可能とするものとして、各制御装置が制御するロボットがハンドリングするワークおよびハンドリングしないワークの個数を予め規定しておき、その規定された個数に基づいてワークのハンドリングを行うか否かを判断するものも提案されている(例えば、特許文献２参照)。
さらに、従来、予めワークや部品の情報およびロボットの情報を設定した上で、決められた作業に対して、複数のロボットにタスクを分配し、動作させる順序を決め、衝突回避を行って、作業の最適化を図るものも提案されている(例えば、特許文献３参照)。
また、従来、溶接ロボットの故障等によってスポット溶接ガンが動作不能に陥った場合でも、予め各スポット溶接ガンが動作不能になった場合を想定して、生産ラインの作業配分シミュレーションを行うことも提案されている(例えば、特許文献４参照)。
なお、ロボットの適用としては、製造作業を行うものだけでなく、例えば、搬送コンベヤ(コンベヤ)上の物品を受け渡す物流トラッキング装置(例えば、特許文献５参照)といった様々なものであってもよい。
特許第４８２７７３１号公報 特開２００８−２９６３３０号公報 特開２００４−２４３４６１号公報 特開２０００−１４１１４７号公報 特開２００７−０３００８７号公報
上述したように、従来、様々な提案がなされているが、例えば、特許文献１のように、或る作業を複数台のロボットで分担して行う際、各ロボットに対して作業量が均一になるように作業分担を決める場合、あるいは、特許文献２のように、作業個数を予め決めて作業を行うか否かを判断する場合、各ロボット固有の状態(例えば、作業領域や作業内容の違い等)により、いずれかのロボットで能力を超える作業が生じ得る。そして、いずれかのロボットにおいて、そのロボットの能力(許容値)を超える作業が生じると、結果として、ワークの見逃しや不完全な作業が行われることにもなる。
また、このような課題を防ぐために、各ロボット固有の状態を考慮して作業割合(それぞれのロボットが分担する作業の量)を予め決めておき、あるいは、その作業割合を動的に制御するといったことが考えられる。しかしながら、複数のロボットの作業内容等の条件の組み合わせは膨大になるため、例えば、作業割合を予め決めておくことや、予め作業割合を変更するプログラムを作って作業割合を動的に制御することは、現実的には困難である。
上述した課題は、例えば、生産中にいずれかのロボットが何らかの理由で停止し、残った他のロボットで作業を分担して生産を継続するといった場合に顕著なものになる。この場合、例えば、特許文献１のように、残った他のロボットで作業を均一に分担することが考えられるが、上述したように、いずれかのロボットで能力を超える作業が生じると、多くのワークの見逃しや不完全な作業が行われる虞が生じる。
また、例えば、複数のロボットでスポット溶接を行うシステムにおいて、何らかの原因でシステム内の任意のロボットが停止した場合、その停止したロボットの作業を他のロボットで分担する必要がある。しかしながら。例えば、特許文献３では、タスク(作業)が入力される以前にロボットの情報を入力しておく必要があるため、任意のロボットが停止した場合、ロボット情報を更新した上でタスクの再分配を行い、作業の最適化を再構築することになるため、システム全体の停止時間の増大を招く虞がある。
さらに、例えば、特許文献４では、予め各ロボットが停止した際に、他のロボットで作業を分担できるようにシミュレーションを行っているが、事前のシミュレーションを行うための工数が必要なだけでなく、シミュレーション結果に基づいた挙動しかとれないといった課題がある。
本発明の目的は、上述した従来技術の課題に鑑み、複数の産業機械の作業分担を最適化することのできる機械学習装置，産業機械セル，製造システムおよび機械学習方法の提供にある。
本発明に係る第１実施形態の第一構成例によれば、複数の産業機械により作業を行い、前記複数の産業機械におけるいずれかの産業機械が停止した場合に、停止した前記産業機械の作業を、停止した前記産業機械を除く残りの産業機械で分担するように、作業分担を学習する機械学習装置であって、前記複数の産業機械の状態量を観測する状態量観測部と、前記状態量観測部により観測された前記状態量に基づいて、前記複数の産業機械に対する作業分担を学習する学習部と、を備え、前記状態量観測部は、前記複数の産業機械により繰り返し行われる一連の作業の開始から終了までの作業時間、および、前記作業の開始から終了までの，前記複数の産業機械のそれぞれにおける作業負荷を観測し、前記学習部は、前記状態量観測部の出力に基づいて、前記作業負荷が、前記産業機械が許容する負荷を超えるときはマイナス報酬を設定し、前記作業時間を短縮できたときはプラス報酬を設定し、前記作業時間を短縮できなかったときは報酬なしを設定する報酬計算部と、前記状態量観測部の出力および前記報酬計算部の出力に基づいて、前記複数の産業機械に対する作業分担の価値を定める行動価値テーブルを、前記報酬に応じて更新する価値関数更新部と、を備える機械学習装置が提供される。
前記機械学習装置は、さらに、前記学習部が学習した前記作業分担を参照して、前記複数の産業機械に対して作業の分担内容を決定して指令する意思決定部を備えるのが好ましい。前記機械学習装置は、ネットワークを介して前記複数の産業機械のそれぞれに接続され、前記状態量観測部は、前記ネットワークを介して前記複数の産業機械の状態量を取得し、前記意思決定部は、前記ネットワークを介して前記複数の産業機械に対して前記作業の分担内容を送信することができる。
前記状態量観測部は、前記複数の産業機械により繰り返し行われる一連の作業の開始から終了までの作業時間、および、前記作業の開始から終了までの，前記複数の産業機械のそれぞれにおける作業負荷の少なくとも一方を観測し、あるいは、前記複数の産業機械が行う作業の達成度、および、前記複数の産業機械のそれぞれにおける作業量の差の少なくとも一方を観測するのが好ましい。前記状態量観測部は、さらに、上流の工程における生産量の変化、および、定期的に行われるメンテナンスによる前記産業機械の停止に伴う生産量の変化の少なくとも一方を取得してもよい。
前記学習部は、前記複数の産業機械による生産量の維持、前記複数の産業機械のそれぞれにおける負荷の平均化、ならびに、前記複数の産業機械による作業量の最大化を行うための作業分担を学習するのが好ましい。前記複数の産業機械のそれぞれは、ロボットであり、前記複数のロボットは、学習した前記作業分担に基づいて作業を行うことができる。
前記学習部は、前記状態量観測部の出力に基づいて報酬を計算する報酬計算部と、前記状態量観測部の出力および前記報酬計算部の出力に基づいて、前記複数の産業機械に対する作業分担の価値を定める価値関数を、前記報酬に応じて更新する価値関数更新部と、を備えることができる。また、前記学習部は、前記状態量観測部の出力および入力された教師データに基づいて誤差を計算する誤差計算部と、前記状態量観測部の出力および前記誤差計算部の出力に基づいて、前記複数の産業機械に対する作業分担の誤差を定める学習モデルを更新する学習モデル更新部と、を備えることもできる。前記機械学習装置は、ニューラルネットワークを備えてもよい。
本発明に係る第２実施形態によれば、前記複数の産業機械と、上述した第１実施形態による機械学習装置と、を備える、産業機械セルが提供される。
本発明に係る第３実施形態によれば、上述した第２実施形態による産業機械セルを複数備える製造システムであって、前記機械学習装置は、前記産業機械セルに対応して設けられ、前記産業機械セルに対応して設けられた前記機械学習装置は、通信媒体を介して相互にデータを共有または交換するようになっている製造システムが提供される。前記機械学習装置は、クラウドサーバ上に存在してもよい。
本発明に係る第４実施形態によれば、複数の産業機械により作業を行い、前記複数の産業機械に対する作業分担を学習する機械学習方法であって、前記複数の産業機械の状態量を観測し、観測された前記状態量に基づいて、前記複数の産業機械に対する作業分担を学習する機械学習方法が提供される。前記状態量を観測するのは、前記複数の産業機械により繰り返し行われる一連の作業の開始から終了までの作業時間、および、前記作業の開始から終了までの，前記複数の産業機械のそれぞれにおける作業負荷の少なくとも一方を観測し、あるいは、前記複数の産業機械が行う作業の達成度、および、前記複数の産業機械のそれぞれにおける作業量の差の少なくとも一方を観測するのが好ましい。
本発明に係る機械学習装置，産業機械セル，製造システムおよび機械学習方法によれば、複数の産業機械の作業分担を最適化することができるという効果を奏する。
図１は、本発明に係る産業機械セルの一実施形態を示すブロック図である。 図２は、図１に示す産業機械セルによる作業の一例を説明するための図である。 図３は、ニューロンのモデルを模式的に示す図である。 図４は、図３に示すニューロンを組み合わせて構成した三層のニューラルネットワークを模式的に示す図である。 図５は、本発明に係る機械学習装置の一実施例を示すブロック図である。 図６は、図５に示す機械学習装置の動作の一例を説明するためのフローチャートである。 図７は、本発明に係る機械学習装置の他の実施例を示すブロック図である。 図８は、複数の産業機械セルを備える製造システムの一例を示すブロック図である。 図９は、産業機械セルにおいて、１つの産業機械が停止した場合の処理の一例を説明するための図である。
まず、本発明に係る機械学習装置，産業機械セル，製造システムおよび機械学習方法の実施形態を詳述する前に、例えば、１つの産業機械が停止した場合における産業機械セルの処理の一例を、図９を参照して説明する。図９は、産業機械セルにおいて、１つの産業機械が停止した場合の処理の一例を説明するための図である。図９において、参照符号１１〜１４は産業機械(ロボット)、５０はコンベヤ(搬送コンベヤ)、５１〜５４はワーク載置部、６０はワーク、そして、２００は産業機械セルを示す。
図９に示されるように、産業機械セル２００は、複数のロボット１１〜１４を備え、それぞれのロボットは、コンベヤ５０により連続的に搬送されるワーク６０を順次取り出して、対応するワーク載置部５１〜５４の上面に載置するようになっている。ここで、図９は、例えば、メンテナンスのため１台のロボット１２が停止し、残り３台のロボット１１，１３，１４により、４台のロボット１１〜１４と同じ作業を行う場合を示している。
例えば、各ロボット１１〜１４の作業の能力(処理能力)、ならびに、各ロボット１１〜１４による作業の内容(処理内容)は同一で、しかも、産業機械セル２００による作業も同一作業の繰り返しであると仮定し、４台のロボット１１〜１４により産業機械セル２００全体の作業を１００％とすると、各ロボット１１〜１４が行う作業は、それぞれ２５％になる。そして、１台のロボット１２が停止し、残り３台のロボット１１，１３，１４により作業を行う場合、各ロボット１１，１３，１４が行う作業は、それぞれ２５％から約３３％に増加することになる。
しかしながら、実際の産業機械セル２００におけるロボット１１〜１４は、例えば、全て同一の作業を行うことは少なく、また、各ロボットの作業領域も異なっていることが多い。そのため、４台のロボット１１〜１４における１台のロボット１２が停止したとき、ロボット１２の作業を残りの３台のロボット１１，１３，１４に対して均等に割り振っても、それが最適な作業分担になるのは極めて稀である。さらに、例えば、所定のロボットにおいて、そのロボットの能力を超える作業が生じると、ワークの見逃しや不完全な作業が生じる虞もある。
また、ロボットの能力を超えないように余裕を持たせることも考えられるが、ロボットに余裕を持たせることは、本来の生産能力を発揮させないことでもあるため、産業機械セルにおける生産性の損失を招くことになる。
さらに、各ロボット固有の状態を考慮して作業割合を予め決めておき、あるいは、その作業割合を動的に制御することも考えられるが、複数のロボットの作業内容等の条件の組み合わせは膨大であり、各ロボットに最適な作業分担で作業を行わせて産業機械セル２００全体の生産量を最大化するのは、困難なものになっている。
以下、本発明に係る複数の産業機械の作業分担を学習する機械学習装置，産業機械セル，製造システムおよび機械学習方法の実施形態を、添付図面を参照して詳述する。図１は、本発明に係る産業機械セルの一実施形態を示すブロック図である。
図１に示されるように、産業機械セル１００は、作業を行う複数の産業機械１１〜１３、および、複数の産業機械１１〜１３に対する作業分担(作業割合(ロードバランス))を学習する機械学習装置２を含む。なお、図１では、説明を簡略化するために、３つの産業機械１１〜１３のみが描かれているが、産業機械の数は、３つに限定されるものではなく、様々な場合があり得るのはいうまでもない。ここで、産業機械としては、産業用およびサービス用のロボットに限定されず、例えば、旋盤，ボール盤，中ぐり盤，フライス盤，研削盤，歯切り盤・歯車仕上げ機械，マシニングセンタ，放電加工機，パンチプレス，レーザ加工機，搬送機およびプラスチック射出成形機といった工作機械等であってもよい。
図１に示されるように、機械学習装置２は、状態量観測部２１，学習部２２および意思決定部２３を備える。状態量観測部２１は、複数の産業機械１１〜１３の状態量(状態変数)を観測し、学習部２２は、状態量観測部２１により観測された状態量に基づいて、複数の産業機械１１〜１３に対する作業分担を学習する。意思決定部２３は、学習部２２が学習した作業分担を参照して、複数の産業機械１１〜１３に対して作業の分担内容を決定して指令する。
ここで、機械学習装置２は、例えば、ネットワーク３を介して複数の産業機械１１〜１３のそれぞれに接続されている。状態量観測部２１は、ネットワークを介して複数の産業機械１１〜１３の状態量を取得し、意思決定部２３は、ネットワークを介して、複数の産業機械１１〜１３に対する作業の分担内容を送信するようになっている。なお、学習部２２は、例えば、複数の産業機械１１〜１３による生産量の維持、複数の産業機械１１〜１３のそれぞれにおける負荷の平均化、ならびに、複数の産業機械１１〜１３による作業量の最大化等を行うための作業分担を学習する。
図２は、図１に示す産業機械セルによる作業の一例を説明するための図であり、ワーク６に対して、複数のロボットＲ１〜Ｒ８によりスポット溶接を行う産業機械セルを説明するためのものである。図２において、参照符号Ａ１〜Ａ８は、通常時(ロボットＲ３も動作しているとき)に、例えば、自動車等のワーク６に対して、各ロボットＲ１〜Ｒ８がスポット溶接を行う領域を示す。そのため、例えば、ロボットＲ３がメンテナンス等により停止している場合、ロボットＲ３が行っていた領域Ａ３の打点(スポット溶接個所)は、ロボットＲ３の周辺に位置するロボットＲ２，Ｒ４，Ｒ７(Ｒ６，Ｒ８)等により分担され、さらに、ロボットＲ２が通常時に行っていた領域Ａ２の打点も、ロボットＲ２の周辺に位置するロボットＲ１，Ｒ６(Ｒ５，Ｒ７)等により分担される。
本実施形態の機械学習装置２(４)は、例えば、８台のロボットＲ１〜Ｒ８を含む産業機械セルにおいて、１台のロボットＲ３が停止した場合に、残りの７台のロボットＲ１，Ｒ２およびＲ４〜Ｒ８により分担する作業を学習して、ロボットＲ１，Ｒ２およびＲ４〜Ｒ８の作業分担を最適化しようとするものである。なお、本実施形態の産業機械セル(１００)としては、例えば、図２に示すような、自動車等のワーク６に対して複数のロボットＲ１〜Ｒ８によりスポット溶接を行うものであってもよいが、図９を参照して説明したような複数のロボット１１〜１４で、コンベヤ５０により連続的に搬送されるワーク６０に対して順次作業を行うものであってもよい。
すなわち、本実施形態の機械学習装置２(４)は、様々な構成の産業機械セルに対して幅広く適用することが可能である。また、産業機械としては、様々な産業用ロボットや工作機械を用いることができ、さらに、産業機械セルとしては、これら産業用ロボットや工作機械等を必要に応じて混在させることができるのはいうまでもない。また、機械学習装置としては、図５および図６を参照して説明する「強化学習(Ｑ学習)」を適用した機械学習装置２、並びに、図７を参照して説明する「教師有り学習」を適用した機械学習装置４を始めとして、様々な機械学習を適用したものであってもよい。
すなわち、機械学習装置は、装置に入力されるデータの集合から、その中にある有用な規則や知識表現、判断基準等を解析により抽出し、その判断結果を出力するとともに、知識の学習(機械学習)を行う機能を有する。機械学習の手法は様々であるが、大別すれば、例えば、「教師あり学習」、「教師なし学習」および「強化学習」に分けられる。さらに、これらの手法を実現するうえで、特徴量そのものの抽出を学習する、「深層学習(ディープラーニング：Deep Learning)」と呼ばれる手法がある。
上述したように、図５に示す機械学習装置２は、「強化学習(Ｑ学習)」を適用した例を示し、また、図７に示す機械学習装置４は、「教師あり学習」を適用した例を示す。これらの機械学習装置２，４(機械学習)は、汎用の計算機若しくはプロセッサを用いることもできるが、例えば、ＧＰＧＰＵ(General-Purpose computing on Graphics Processing Units)や大規模ＰＣクラスター等を適用すると、より高速処理が可能になる。
まず、教師あり学習とは、教師データ、すなわち、ある入力と結果(ラベル)のデータの組を大量に機械学習装置に与えることで、それらのデータセットにある特徴を学習し、入力から結果を推定するモデル(誤差モデル)、すなわち、その関係性を帰納的に獲得するものである。例えば、後述のニューラルネットワーク等のアルゴリズムを用いて実現することが可能である。
また、教師なし学習とは、入力データのみを大量に機械学習装置に与えることで、入力データがどのような分布をしているか学習し、対応する教師出力データを与えなくても、入力データに対して圧縮・分類・整形等を行う装置で学習する手法である。例えば、それらのデータセットにある特徴を、似た者どうしにクラスタリングすること等ができる。この結果を使って、何らかの基準を設けてそれを最適化するような出力の割り当てを行うことにより、出力の予測を実現することできる。
なお、教師なし学習と教師あり学習との中間的な問題設定として、半教師あり学習と呼ばれるものもあり、これは、例えば、一部のみ入力と出力のデータの組が存在し、それ以外は入力のみのデータである場合が対応する。本実施形態においては、実際に産業機械セル(複数の産業機械)を動かさなくても取得することができるデータ(画像データやシミュレーションのデータ等)を教師なし学習で利用することにより、学習を効率的に行うことが可能になる。
次に、強化学習について、説明する。まず、強化学習の問題設定として、次のように考える。
・産業機械セル(すなわち、複数の産業機械(例えば、複数のロボットや複数の工作機械等))は、環境の状態を観測し、行動を決定する。
・環境は、何らかの規則に従って変化し、さらに、自分の行動が、環境に変化を与えることもある。
・行動するたびに、報酬信号が帰ってくる。
・最大化したいのは、将来にわたっての(割引)報酬の合計である。
・行動が引き起こす結果を全く知らない、または、不完全にしか知らない状態から学習はスタートする。すなわち、数値制御装置は、実際に行動して初めて、その結果をデータとして得ることができる。つまり、試行錯誤しながら最適な行動を探索する必要がある。
・人間の動作を真似るように、事前学習(前述の教師あり学習や、逆強化学習といった手法)した状態を初期状態として、良いスタート地点から学習をスタートさせることもできる。
ここで、強化学習とは、判定や分類だけではなく、行動を学習することにより、環境に行動が与える相互作用を踏まえて適切な行動を学習、すなわち、将来的に得られる報酬を最大にするための学習する方法を学ぶものである。以下に、例として、Ｑ学習の場合で説明を続けるが、Ｑ学習に限定されるものではない。
Ｑ学習は、或る環境状態ｓの下で、行動ａを選択する価値Ｑ(ｓ，ａ)を学習する方法である。つまり、或る状態ｓのとき、価値Ｑ(ｓ，ａ)の最も高い行動ａを最適な行動として選択すればよい。しかし、最初は、状態ｓと行動ａとの組合せについて、価値Ｑ(ｓ，ａ)の正しい値は全く分かっていない。そこで、エージェント(行動主体)は、或る状態ｓの下で様々な行動ａを選択し、その時の行動ａに対して、報酬が与えられる。それにより、エージェントは、より良い行動の選択、すなわち、正しい価値Ｑ(ｓ，ａ)を学習していく。
さらに、行動の結果、将来にわたって得られる報酬の合計を最大化したいので、最終的にＱ(ｓ，ａ)＝Ｅ［Σ(γt)ｒt］となるようにすることを目指す。ここで、期待値は、最適な行動に従って状態変化したときについてとるものとし、それは、分かっていないので、探索しながら学習することになる。このような価値Ｑ(ｓ，ａ)の更新式は、例えば、次の式(１)により表すことができる。
Figure 0006114421
 上記の式(１)において、ｓtは、時刻ｔにおける環境の状態を表し、ａtは、時刻ｔにおける行動を表す。行動ａtにより、状態はｓt+1に変化する。rt+1は、その状態の変化により得られる報酬を表している。また、ｍａｘの付いた項は、状態ｓt+1の下で、その時に分かっている最もＱ値の高い行動ａを選択した場合のＱ値にγを乗じたものになる。ここで、γは、０＜γ≦１のパラメータで、割引率と呼ばれる。また、αは、学習係数で、０＜α≦１の範囲とする。
上述した式(１)は、試行ａtの結果、帰ってきた報酬ｒt+1を元に、状態ｓtにおける行動ａtの評価値Ｑ(ｓt，ａt)を更新する方法を表している。すなわち、状態ｓにおける行動ａの評価値Ｑ(ｓt，ａt)よりも、報酬ｒt+1 ＋ 行動ａによる次の状態における最良の行動ｍａｘ ａの評価値Ｑ(ｓt+1，ｍａｘ ａt+1)の方が大きければ、Ｑ(ｓt，ａt)を大きくし、反対に小さければ、Ｑ(ｓt，ａt)を小さくすることを示している。つまり、或る状態における或る行動の価値を、結果として即時帰ってくる報酬と、その行動による次の状態における最良の行動の価値に近付けるようにしている。
ここで、Ｑ(ｓ，ａ)の計算機上での表現方法は、すべての状態行動ペア(ｓ，ａ)に対して、その値をテーブルとして保持しておく方法と、Ｑ(ｓ，ａ)を近似するような関数を用意する方法がある。後者の方法では、前述の式(１)は、確率勾配降下法等の手法で近似関数のパラメータを調整していくことにより、実現することができる。なお、近似関数としては、後述のニューラルネットワークを用いることができる。
また、強化学習での価値関数の近似アルゴリズムとして、ニューラルネットワークを用いることができる。図３は、ニューロンのモデルを模式的に示す図であり、図４は、図３に示すニューロンを組み合わせて構成した三層のニューラルネットワークを模式的に示す図である。すなわち、ニューラルネットワークは、例えば、図３に示すようなニューロンのモデルを模した演算装置およびメモリ等で構成される。
図３に示されるように、ニューロンは、複数の入力ｘ(図３では、一例として入力ｘ1〜ｘ3)に対する出力(結果)ｙを出力するものである。各入力ｘ(ｘ1，ｘ2，ｘ3)には、この入力ｘに対応する重みＷ(Ｗ1，Ｗ2，Ｗ3)が乗算される。これにより、ニューロンは、次の式(２)により表現される結果ｙを出力する。なお、入力ｘ、結果ｙおよび重みｗは、すべてベクトルである。また、下記の式(２)において、θは、バイアスであり、ｆkは、活性化関数である。
Figure 0006114421
図４を参照して、図３に示すニューロンを組み合わせて構成した三層のニューラルネットワークを説明する。図４に示されるように、ニューラルネットワークの左側から複数の入力ｘ(ここでは、一例として、入力ｘ1〜入力ｘ3)が入力され、右側から結果ｙ(ここでは、一例として、結果ｙ1〜入力ｙ3)が出力される。具体的に、入力ｘ1，ｘ2， ｘ3は、３つのニューロンＮ11〜Ｎ13の各々に対して、対応する重みが掛けられて入力される。これらの入力に掛けられる重みは、まとめてＷ１と標記されている。
ニューロンＮ11〜Ｎ13は、それぞれ、ｚ11〜ｚ13を出力する。図４において、これらｚ11〜ｚ13は、まとめて特徴ベクトルＺ１と標記され、入力ベクトルの特徴量を抽出したベクトルとみなすことができる。この特徴ベクトルＺ１は、重みＷ１と重みＷ２との間の特徴ベクトルである。ｚ11〜ｚ13は、２つのニューロンＮ21およびＮ22の各々に対して、対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてＷ２と標記されている。
ニューロンＮ21，Ｎ22は、それぞれｚ21，ｚ22を出力する。図４において、これらｚ21，ｚ22は、まとめて特徴ベクトルＺ２と標記されている。この特徴ベクトルＺ２は、重みＷ２と重みＷ３との間の特徴ベクトルである。ｚ21，ｚ22は、３つのニューロンＮ31〜Ｎ33の各々に対して、対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてＷ３と標記されている。
最後に、ニューロンＮ31〜Ｎ33は、それぞれ、結果ｙ１〜結果ｙ３を出力する。ニューラルネットワークの動作には、学習モードと価値予測モードとがある。例えば、学習モードにおいて、学習データセットを用いて重みＷを学習し、そのパラメータを用いて予測モードにおいて、数値制御装置の行動判断を行う。なお、便宜上、予測と書いたが、検出・分類・推論等多様なタスクが可能なのはいうまでもない。
ここで、予測モードで実際に数値制御装置を動かして得られたデータを即時学習し、次の行動に反映させる(オンライン学習)ことも、予め収集しておいたデータ群を用いてまとめた学習を行い、以降はずっとそのパラメータで検知モードを行う(バッチ学習)こともできる。あるいは、その中間的な、ある程度データが溜まるたびに学習モードを挟むということも可能である。
また、重みＷ１〜Ｗ３は、誤差逆伝搬法(誤差逆転伝播法：バックプロパゲーション：Backpropagation)により学習可能なものである。なお、誤差の情報は、右側から入り左側に流れる。誤差逆伝搬法は、各ニューロンについて、入力ｘが入力されたときの出力ｙと真の出力ｙ(教師)との差分を小さくするように、それぞれの重みを調整(学習)する手法である。このようなニューラルネットワークは、三層以上に、さらに層を増やすことも可能である(深層学習と称される)。また、入力の特徴抽出を段階的に行い、結果を回帰する演算装置を、教師データのみから自動的に獲得することも可能である。
図５は、本発明に係る機械学習装置の一実施例を示すブロック図であり、「強化学習(Ｑ学習)」を適用した機械学習装置の例を示すものである。本実施例の機械学習装置２は、例えば、Ｑ学習を実施するために、状態量観測部２１、学習部２２、および、意思決定部２３を備えている。ただし、本発明に適用される機械学習方法は、Ｑ学習に限定されない。また、機械学習(機械学習装置２)は、例えば、ＧＰＧＰＵや大規模ＰＣクラスター等を適用することで実現可能なのは、前述した通りである。
図５に示されるように、機械学習装置２は、状態量観測部２１、学習部２２、ならびに、意思決定部２３を備え、学習部２２は、報酬計算部２２１および価値関数更新部２２２を含む。状態量観測部２１は、複数の産業機械(例えば、ロボットＲ１〜Ｒ８)の状態量を観測するが、具体的に、例えば、複数の産業機械により繰り返し行われる一連の作業の開始から終了までの作業時間(全体の作業時間)、および、作業の開始から終了までの間における複数の産業機械のそれぞれの作業負荷(例えば、各ロボットの消費電力等の負荷)を観測する。
あるいは、状態量観測部２１は、複数の産業機械が行う作業の達成度、および、複数の産業機械のそれぞれにおける作業量の差を観測することもできる。ここで、複数の産業機械が行う作業の達成度としては、例えば、ワークの見逃し数等であり、また、複数の産業機械のそれぞれにおける作業量の差としては、例えば、各産業機械が処理するワークの個数や打点数の差等である。
なお、状態量観測部２１は、全体の作業時間および各ロボットの作業負荷の一方、あるいは、複数の産業機械が行う作業の達成度および複数の産業機械のそれぞれにおける作業量の差の一方を観測してもよい。また、状態量観測部２１は、全体の作業時間および各ロボットの作業負荷、ならびに、複数の産業機械が行う作業の達成度および複数の産業機械のそれぞれにおける作業量の差を観測することもできる。さらに、状態量観測部２１は、例えば、その産業機械セル(１００)が行う作業の上流の工程における生産量の変化、および、定期的に行われるメンテナンスによる産業機械の停止に伴う生産量の変化の少なくとも一方を取得(観測)することもできる。
報酬計算部２２１は、状態量観測部２１の出力に基づいて報酬を計算し、価値関数更新部２２２は、状態量観測部２１の出力および報酬計算部２２１の出力に基づいて、複数の産業機械に対する作業分担の価値を定める価値関数を報酬に応じて更新する。
図６は、図５に示す機械学習装置の動作の一例を説明するためのフローチャートであり、状態量観測部２１が、上述した全体の作業時間および各ロボットの作業負荷を取得する例を示すものである。図６に示されるように、機械学習が開始(学習スタート)すると、行動価値テーブルに基づいた分担内容で作業を行う(ステップＳＴ１)。すなわち、産業機械セル１００に含まれる複数の産業機械(例えば、図１における産業機械１１〜１ｎ、あるいは、図２におけるロボットＲ１〜Ｒ８)は、機械学習装置２(意思決定部２３)から出力される作業の分担内容に基づいた作業を行って、ステップＳＴ２に進む。
ステップＳＴ２では、複数の産業機械(例えば、ロボットＲ１〜Ｒ８)により繰り返し行われる一連の作業の開始から終了までの作業時間(すなわち、産業機械セル１００全体の作業時間)、および、この作業の開始から終了までの，複数の産業機械のそれぞれにおける作業負荷(すなわち、各ロボットＲ１〜Ｒ８の作業負荷)を取得して、ステップＳＴ３に進む。ここで、例えば、ロボットＲ３が停止している場合には、ステップＳＴ２において、例えば、その停止しているロボットＲ３の作業負荷が零であることが取得される。なお、各ロボットの作業負荷の取得としては、ネットワークを介してそれぞれのロボットから取得するのに限定されず、例えば、メンテナンスを行うために停止するロボットを指定する上位の制御装置、あるいは、故障して停止したロボットから出力されるアラームの通知といった様々なものがあり得る。
ステップＳＴ３では、作業負荷がロボットの許容範囲内かどうかを判定し、作業負荷が許容範囲内である(ＳＴ３：ＹＥＳ)と判定すれば、ステップＳＴ４に進んで、作業時間を短縮できたかどうかを判定し、作業負荷が許容範囲内ではない(ＳＴ３：ＮＯ)と判定すれば、ステップＳＴ７に進んでマイナス報酬を設定する。すなわち、作業負荷が、そのロボットが許容する負荷を超えるのは好ましくないので、マイナス報酬を設定する。
ステップＳＴ４において、作業時間(産業機械セル１００全体の作業時間)を短縮できた(ＳＴ４：ＹＥＳ)と判定すると、ステップＳＴ５に進んでプラス報酬を設定し、作業時間を短縮できなかった(ＳＴ４：ＮＯ)と判定すると、ステップＳＴ６に進んで報酬なし(零報酬)を設定する。そして、ステップＳＴ８に進んで、ステップＳＴ５，ＳＴ６およびＳＴ７による「プラス報酬」，「報酬なし」および「マイナス報酬」による報酬計算を行い、ステップＳＴ９に進んで、行動価値テーブルを更新する。そして、ステップＳＴ１に戻り、同様の処理を繰り返す。これにより、複数のロボット(産業機械)の作業分担を最適化することが可能になる。
以上において、産業機械セル１００(２００)は、図２に示すような自動車等のワーク６にスポット溶接を行うもの、あるいは、図９に示すようなコンベヤ５０により連続的に搬送されるワーク６０を順次取り出すものに限定されず、例えば、コンベヤ上の物品を受け渡す物流トラッキング装置といった様々な構成のものに対して幅広く適用することができる。また、上述したステップＳＴ５，ＳＴ６およびＳＴ７における「プラス報酬」，「報酬なし」および「マイナス報酬」の値(大きさ)は、様々な条件に応じて適切なものが選ばれるのはいうまでもない。
図７は、本発明に係る機械学習装置の他の実施例を示すブロック図であり、教師あり学習を適用したものを示す。図７と、前述した図５の比較から明らかなように、図７に示す教師あり学習を適用した機械学習装置４は、図５に示すＱ学習(強化学習)を適用した機械学習装置２において、教師データ(結果(ラベル)付きデータ)が提供されるようになっている。
図７に示されるように、教師あり学習を適用した機械学習装置４は、状態量観測部４１、学習部４２、および、意思決定部４３を備える。学習部４２は、誤差計算部４２１、および、学習モデル更新部(誤差モデル更新部)４２２を備える。ここで、誤差計算部４２１および学習モデル更新部４２２は、それぞれ、図５に示すＱ学習を適用した機械学習装置２における報酬計算部２２１および価値関数更新部２２２に相当する。ただし、本実施形態における誤差計算部４２１には、外部から教師データが入力され、その教師データと学習モデル(誤差モデル)の差が小さくなるように、学習モデル更新部４２２により学習モデルが更新される構成等において、図５を参照して説明したものとは異なる。
すなわち、誤差計算部４２１は、状態量観測部４１の出力および教師データを受け取って、結果(ラベル)付きデータと学習部４２に実装されている学習モデルとの誤差を計算する。ここで、教師データとしては、例えば、同一の産業機械セルにより同じ作業を行わせる場合、実際に作業を行わせる所定日の前日までに得られたラベル付きデータを保持し、その所定日に、教師データとして誤差計算部４２１に提供することができる。
あるいは、産業機械セル(複数のロボットや工作機械等)の外部で行われたシミュレーション等により得られたデータ、または、他の産業機械セルのラベル付きデータを、メモリカードや通信回線により、その産業機械セルの誤差計算部４２１に教師データとして提供することも可能である。さらに、教師データ(ラベル付きデータ)を、例えば、学習部４２に内蔵したフラッシュメモリ(Flash Memory)等の不揮発性メモリに保持し、その不揮発性メモリに保持されたラベル付きデータを、そのまま学習部４２で使用することもできる。
図８は、複数の産業機械セルを備える製造システムの一例を示すブロック図である。図８に示されるように、製造システムは、複数の産業機械セル１０１〜１０ｍを備え、これら複数の産業機械セル１０１〜１０ｍは、例えば、インターネット１３０で利用される通信回線等の通信媒体１２０を介して接続されている。
機械学習装置２，４は、産業機械セル１０１〜１０ｍに対応して設けられ、産業機械セル１０１〜１０ｍに対応して設けられた機械学習装置２，４は、通信媒体１２０を介して相互にデータを共有または交換するようになっている。なお、図８では、産業機械セル１０１〜１０ｍに対応して設けられた機械学習装置２，４は、クラウドサーバ１１０上に存在するようになっている。従って、産業機械セル１０１〜１０ｍは、地理的に異なる場所に設けられていてもよい。
あるいは、複数の産業機械セル１０１〜１０ｍを地理的に近接した場所に設け、それぞれの産業機械セル１０１〜１０ｍに対して設けた複数の機械学習装置２，４により学習されたデータを、例えば、ＬＡＮ(Local Area Network)等の通信媒体(１２０)を介して相互に共有または交換することもできる。
以上、詳述したように、本発明の各実施形態によれば、機械学習の手法を使って産業機械セルにおける複数の産業機械(複数のロボットや複数の工作機械等)の作業分担を最適化することが可能になる。また、本発明の各実施形態によれば、例えば、機械学習装置は、産業機械セル内の生産量は維持しつつ、各産業機械の負荷を均一にする作業分担(作業割合)を学習して出力することができ、また、産業機械セル内の生産量を最大化するための作業分担を学習して出力することもできる。
なお、本発明に係る機械学習装置としては、「強化学習」や「教師あり学習」だけでなく、「教師なし学習」や「半教師あり学習」等の様々な機械学習の手法を適用することが可能である。
以上、実施形態を説明したが、ここに記載したすべての例や条件は、発明および技術に適用する発明の概念の理解を助ける目的で記載されたものであり、特に記載された例や条件は発明の範囲を制限することを意図するものではない。また、明細書のそのような記載は、発明の利点および欠点を示すものでもない。発明の実施形態を詳細に記載したが、各種の変更、置き換え、変形が発明の精神および範囲を逸脱することなく行えることが理解されるべきである。
２，４ 機械学習装置
３ ネットワーク
６，６０ ワーク
１１〜１ｎ，Ｒ１〜Ｒ８ 産業機械(ロボット)
２１，４１ 状態量観測部
２２，４２ 学習部
２３，４３ 意思決定部
５０ コンベヤ
５１〜５４ ワーク載置部
１００，１０１〜１０ｍ，２００ 産業機械セル
１１０ クラウドサーバ
１２０ 通信媒体
１３０ インターネット
２２１ 報酬計算部
２２２ 価値関数更新部
４２１ 誤差計算部
４２２ 学習モデル更新部

Claims (15)

  1. 複数の産業機械により作業を行い、前記複数の産業機械におけるいずれかの産業機械が停止した場合に、停止した前記産業機械の作業を、停止した前記産業機械を除く残りの産業機械で分担するように、作業分担を学習する機械学習装置であって、
    前記複数の産業機械の状態量を観測する状態量観測部と、
    前記状態量観測部により観測された前記状態量に基づいて、前記複数の産業機械に対する作業分担を学習する学習部と、を備え、
    前記状態量観測部は、
    前記複数の産業機械により繰り返し行われる一連の作業の開始から終了までの作業時間、および、前記作業の開始から終了までの，前記複数の産業機械のそれぞれにおける作業負荷を観測し、
    前記学習部は、
    前記状態量観測部の出力に基づいて、前記作業負荷が、前記産業機械が許容する負荷を超えるときはマイナス報酬を設定し、前記作業時間を短縮できたときはプラス報酬を設定し、前記作業時間を短縮できなかったときは報酬なしを設定する報酬計算部と、
    前記状態量観測部の出力および前記報酬計算部の出力に基づいて、前記複数の産業機械に対する作業分担の価値を定める行動価値テーブルを、前記報酬に応じて更新する価値関数更新部と、を備える、
    ことを特徴とする機械学習装置。
  2. 前記作業負荷は、前記産業機械の消費電力である、
    ことを特徴とする請求項１に記載の機械学習装置。
  3. さらに、
    前記学習部が学習した前記作業分担を参照して、前記複数の産業機械に対して作業の分担内容を決定して指令する意思決定部を備える、
    ことを特徴とする請求項１または請求項２に記載の機械学習装置。
  4. 前記機械学習装置は、ネットワークを介して前記複数の産業機械のそれぞれに接続され、
    前記状態量観測部は、前記ネットワークを介して前記複数の産業機械の状態量を取得し、
    前記意思決定部は、前記ネットワークを介して前記複数の産業機械に対して前記作業の分担内容を送信する、
    ことを特徴とする請求項３に記載の機械学習装置。
  5. 前記状態量観測部は、
    前記複数の産業機械が行う作業の達成度、および、前記複数の産業機械のそれぞれにおける作業量の差の少なくとも一方を観測する、
    ことを特徴とする請求項１乃至請求項４のいずれか１項に記載の機械学習装置。
  6. 前記状態量観測部は、さらに、
    上流の工程における生産量の変化、および、定期的に行われるメンテナンスによる前記産業機械の停止に伴う生産量の変化の少なくとも一方を取得する、
    ことを特徴とする請求項５に記載の機械学習装置。
  7. 前記学習部は、
    前記複数の産業機械による生産量の維持、前記複数の産業機械のそれぞれにおける負荷の平均化、ならびに、前記複数の産業機械による作業量の最大化を行うための作業分担を学習する、
    ことを特徴とする請求項１乃至請求項６のいずれか１項に記載の機械学習装置。
  8. 前記複数の産業機械のそれぞれは、ロボットであり、
    前記複数のロボットは、学習した前記作業分担に基づいて作業を行う、
    ことを特徴とする請求項１乃至請求項７のいずれか１項に記載の機械学習装置。
  9. 前記機械学習装置は、ニューラルネットワークを備える、
    ことを特徴とする請求項１乃至請求項８のいずれか１項に記載の機械学習装置。
  10. 前記複数の産業機械と、請求項１乃至請求項９のいずれか１項に記載の機械学習装置と、を備える、
    ことを特徴とする産業機械セル。
  11. 請求項１０に記載の産業機械セルを複数備える製造システムであって、
    前記機械学習装置は、前記産業機械セルに対応して設けられ、
    前記産業機械セルに対応して設けられた前記機械学習装置は、通信媒体を介して相互にデータを共有または交換するようになっている、
    ことを特徴とする製造システム。
  12. 前記機械学習装置は、クラウドサーバ上に存在する、
    ことを特徴とする請求項１１に記載の製造システム。
  13. 複数の産業機械により作業を行い、前記複数の産業機械におけるいずれかの産業機械が停止した場合に、停止した前記産業機械の作業を、停止した前記産業機械を除く残りの産業機械で分担するように、作業分担を学習する機械学習方法であって、
    前記複数の産業機械の状態量を観測し、
    観測された前記状態量に基づいて、前記複数の産業機械に対する作業分担を学習し、
    前記状態量の観測は、
    前記複数の産業機械により繰り返し行われる一連の作業の開始から終了までの作業時間、および、前記作業の開始から終了までの，前記複数の産業機械のそれぞれにおける作業負荷を観測し、
    前記複数の産業機械に対する作業分担の学習は、
    観測された前記複数の産業機械の前記状態量に基づいて、前記作業負荷が、前記産業機械が許容する負荷を超えるときはマイナス報酬を設定し、前記作業時間を短縮できたときはプラス報酬を設定し、前記作業時間を短縮できなかったときは報酬なしを設定して報酬を計算し、
    観測された前記複数の産業機械の前記状態量および計算された前記報酬に基づいて、前記複数の産業機械に対する作業分担の価値を定める行動価値テーブルを、前記報酬に応じて更新する、
    ことを特徴とする機械学習方法。
  14. 前記作業負荷は、前記産業機械の消費電力である、
    ことを特徴とする請求項１３に記載の機械学習方法。
  15. 前記状態量の観測は、
    前記複数の産業機械が行う作業の達成度、および、前記複数の産業機械のそれぞれにおける作業量の差の少なくとも一方を観測する、
    ことを特徴とする請求項１３または請求項１４に記載の機械学習方法。
JP2016029605A 2016-02-19 2016-02-19 複数の産業機械の作業分担を学習する機械学習装置，産業機械セル，製造システムおよび機械学習方法 Active JP6114421B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016029605A JP6114421B1 (ja) 2016-02-19 2016-02-19 複数の産業機械の作業分担を学習する機械学習装置，産業機械セル，製造システムおよび機械学習方法
CN201710007511.XA CN107102619A (zh) 2016-02-19 2017-01-05 机器学习装置、工业机械单元、制造系统及机器学习方法
US15/429,064 US11036191B2 (en) 2016-02-19 2017-02-09 Machine learning device, industrial machine cell, manufacturing system, and machine learning method for learning task sharing among plurality of industrial machines
DE102017001290.3A DE102017001290A1 (de) 2016-02-19 2017-02-10 Maschinenlernvorrichtung, Industriemaschinenzelle, Herstellungssystem und Maschinenlernverfahren zum Erlernen einer Aufgabenteilung unter einer Vielzahl von Industriemaschinen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016029605A JP6114421B1 (ja) 2016-02-19 2016-02-19 複数の産業機械の作業分担を学習する機械学習装置，産業機械セル，製造システムおよび機械学習方法

Publications (2)

Publication Number Publication Date
JP6114421B1 true JP6114421B1 (ja) 2017-04-12
JP2017146879A JP2017146879A (ja) 2017-08-24

Family

ID=58666706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016029605A Active JP6114421B1 (ja) 2016-02-19 2016-02-19 複数の産業機械の作業分担を学習する機械学習装置，産業機械セル，製造システムおよび機械学習方法

Country Status (4)

Country Link
US (1) US11036191B2 (ja)
JP (1) JP6114421B1 (ja)
CN (1) CN107102619A (ja)
DE (1) DE102017001290A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032078A (zh) * 2017-06-12 2018-12-18 发那科株式会社 机器学习装置、控制装置以及计算机可读介质
JP2020109377A (ja) * 2019-01-07 2020-07-16 ユニパルス株式会社 計量用機械学習装置、計量用機械学習システム及び計量システム

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6457473B2 (ja) * 2016-12-16 2019-01-23 ファナック株式会社 ロボットおよびレーザスキャナの動作を学習する機械学習装置，ロボットシステムおよび機械学習方法
JP6577542B2 (ja) 2017-09-05 2019-09-18 ファナック株式会社 制御装置
WO2019090264A1 (en) * 2017-11-03 2019-05-09 Drishti Technologies, Inc. Real time anomaly detection systems and methods
CN108227636B (zh) * 2018-01-17 2020-01-17 厦门理工学院 基于云端负载均衡控制的激光雕刻机工作系统及方法
TWI650714B (zh) 2018-01-19 2019-02-11 財團法人工業技術研究院 動態智能排程方法及裝置
JP6703020B2 (ja) * 2018-02-09 2020-06-03 ファナック株式会社 制御装置及び機械学習装置
DE112018007159B4 (de) * 2018-02-26 2022-10-06 Mitsubishi Electric Corporation Korrekturfunktion-erzeugungseinrichtung, robotersteuersystem und robotersystem
EP3540661A1 (en) 2018-03-15 2019-09-18 Siemens Industry Software Ltd. Method for balancing a production line
US11106211B2 (en) * 2018-04-02 2021-08-31 Sony Group Corporation Vision-based sample-efficient reinforcement learning framework for autonomous driving
CN112313043B (zh) * 2018-06-15 2024-04-02 谷歌有限责任公司 自我监督的机器人对象交互
US11966218B2 (en) 2018-06-15 2024-04-23 Mitsubishi Electric Corporation Diagnosis device, diagnosis method and program
DE102018211044A1 (de) * 2018-07-04 2020-01-09 Kuka Deutschland Gmbh Verfahren und System zum Analysieren und/oder Konfigurieren einer industriellen Anlage
US11292133B2 (en) * 2018-09-28 2022-04-05 Intel Corporation Methods and apparatus to train interdependent autonomous machines
CN113661035A (zh) * 2018-09-28 2021-11-16 艾利文Ai有限公司 用于机器人代理管理的系统和方法
JP7237551B2 (ja) * 2018-11-30 2023-03-13 住友重機械工業株式会社 射出成形機システム
US11693392B2 (en) 2019-01-30 2023-07-04 Hitachi, Ltd. System for manufacturing dispatching using deep reinforcement and transfer learning
JP7302226B2 (ja) * 2019-03-27 2023-07-04 株式会社ジェイテクト 研削盤の支援装置及び支援方法
WO2020225883A1 (ja) * 2019-05-08 2020-11-12 三菱電機株式会社 工程管理装置、工程管理方法および工程管理プログラム
DE102019207746A1 (de) * 2019-05-27 2020-12-03 Robert Bosch Gmbh Verfahren zum Ermitteln einer Zustandsinformation betreffend eine Bandschleifmaschine mittels eines maschinellen Lernsystems
JP6661065B1 (ja) * 2019-07-05 2020-03-11 三菱電機株式会社 機械学習装置、ワイヤ放電加工システム、および機械学習方法
US11413747B2 (en) * 2019-08-12 2022-08-16 Workshops for Warriors Machine learning driven computer numerical control of a robotic machine tool
KR20190104008A (ko) * 2019-08-14 2019-09-05 엘지전자 주식회사 인공 지능을 이용하여, 청소하는 로봇 청소기 및 그 동작 방법
JP2021094677A (ja) * 2019-12-19 2021-06-24 本田技研工業株式会社 ロボット制御装置、ロボット制御方法、プログラム及び学習モデル
DE102020204351A1 (de) * 2020-04-03 2021-10-07 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und verfahren zum planen einer mehrzahl von aufträgen für eine vielzahl von maschinen
EP4214584A4 (en) * 2020-08-20 2024-05-15 Hitachi Vantara Llc SYSTEMS AND METHODS FOR AN AUTOMATED DATA SCIENCE PROCESS
CN112434464B (zh) * 2020-11-09 2021-09-10 中国船舶重工集团公司第七一六研究所 基于maddpg算法的船舶多机械臂弧焊协同焊接方法
CN112427843B (zh) * 2020-11-09 2021-09-03 中国船舶重工集团公司第七一六研究所 基于qmix强化学习算法的船舶多机械臂焊点协同焊接方法
US11755003B2 (en) * 2021-09-30 2023-09-12 Hitachi, Ltd. Autonomous task management industrial robot

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4827731B1 (ja) 1965-07-12 1973-08-25
JPH05120300A (ja) * 1991-10-24 1993-05-18 Toshiba Corp 割当て装置
JP2000141147A (ja) 1998-11-04 2000-05-23 Honda Motor Co Ltd 生産ラインの作業配分シミュレーション方法
JP2001166803A (ja) * 1999-12-06 2001-06-22 Nippon Telegr & Teleph Corp <Ntt> ロボット行動ルール生成装置、ロボット制御装置、及びロボット教示装置、並びにセンサ付きロボット
JP2002006934A (ja) * 2000-06-27 2002-01-11 Matsushita Electric Works Ltd 製造ラインにおける作業者の配分調整方法とそのシステム
JP4788066B2 (ja) * 2001-06-18 2011-10-05 大日本印刷株式会社 材料発注システム
JP2004243461A (ja) 2003-02-13 2004-09-02 Yaskawa Electric Corp ロボットの教示システム
SE0301910L (sv) 2003-06-26 2004-12-27 Abb Ab Datorstyrd arbetsplats med robotar
CN1244801C (zh) * 2003-08-01 2006-03-08 重庆大学 旋转机械故障智能诊断方法与装置
JP2007030087A (ja) 2005-07-26 2007-02-08 Fanuc Ltd 物流トラッキング装置
JP2008296330A (ja) 2007-05-31 2008-12-11 Fanuc Ltd ロボットシミュレーション装置
JP5245852B2 (ja) * 2009-01-17 2013-07-24 日本電気株式会社 サーバ処理分散装置、サーバ処理分散方法及びサーバ処理分散プログラム
JP5436460B2 (ja) * 2009-02-12 2014-03-05 三菱電機株式会社 産業用ロボットシステム
CN101973031B (zh) * 2010-08-24 2013-07-24 中国科学院深圳先进技术研究院 云机器人系统及实现方法
JP5931685B2 (ja) * 2012-10-12 2016-06-08 日本電信電話株式会社 ロボット協調搬送計画装置、方法、プログラム
US9417625B2 (en) 2012-11-29 2016-08-16 Fanuc America Corporation Robot system calibration method
JP6136408B2 (ja) * 2013-03-15 2017-05-31 株式会社リコー 製品開発システム、情報処理装置、プログラム、記憶媒体
JP5741616B2 (ja) * 2013-03-18 2015-07-01 株式会社安川電機 生産システム及び製品の生産方法
JP5747931B2 (ja) * 2013-03-18 2015-07-15 株式会社安川電機 ワークの組立装置及び組立方法
JP6383537B2 (ja) * 2013-12-10 2018-08-29 川崎重工業株式会社 ロボットハンド、ロボット、およびロボットセル
US9958860B2 (en) * 2014-05-01 2018-05-01 Rockwell Automation Technologies, Inc. Systems and methods for broadcasting data and data tags associated with an industrial automation system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032078A (zh) * 2017-06-12 2018-12-18 发那科株式会社 机器学习装置、控制装置以及计算机可读介质
JP2019003271A (ja) * 2017-06-12 2019-01-10 ファナック株式会社 機械学習装置、制御装置及び機械学習プログラム
CN109032078B (zh) * 2017-06-12 2020-04-14 发那科株式会社 机器学习装置、控制装置以及计算机可读介质
US10705506B2 (en) 2017-06-12 2020-07-07 Fanuc Corporation Reinforcement learning to allocate processes to a machine tool controller
JP2020109377A (ja) * 2019-01-07 2020-07-16 ユニパルス株式会社 計量用機械学習装置、計量用機械学習システム及び計量システム
JP7178659B2 (ja) 2019-01-07 2022-11-28 ユニパルス株式会社 計量用機械学習装置、計量用機械学習システム及び計量システム

Also Published As

Publication number Publication date
JP2017146879A (ja) 2017-08-24
US20170243135A1 (en) 2017-08-24
CN107102619A (zh) 2017-08-29
DE102017001290A1 (de) 2017-08-24
US11036191B2 (en) 2021-06-15

Similar Documents

Publication Publication Date Title
JP6114421B1 (ja) 複数の産業機械の作業分担を学習する機械学習装置，産業機械セル，製造システムおよび機械学習方法
Zhou et al. Multi-agent reinforcement learning for online scheduling in smart factories
Wang et al. A proactive material handling method for CPS enabled shop-floor
JP6059375B1 (ja) 生産制御システムおよび統合生産制御システム
JP6438450B2 (ja) レーザ加工ロボットの加工順序を学習する機械学習装置、ロボットシステムおよび機械学習方法
JP6453805B2 (ja) 製品の異常に関連する変数の判定値を設定する生産システム
JP6174669B2 (ja) 複数の製造機械を有する製造セルを制御するセルコントロールシステム、生産システム、制御方法及び制御プログラム
Asokan et al. Application of adaptive genetic algorithm and particle swarm optimisation in scheduling of jobs and AS/RS in FMS
CN108227482A (zh) 控制系统以及机器学习装置
JP2017138881A (ja) 操作メニューの表示を学習する機械学習器，数値制御装置，工作機械システム，製造システムおよび機械学習方法
CN111260181B (zh) 一种基于分布式智能制造单元的车间自适应生产调度装置
Xu et al. Optimization approaches for solving production scheduling problem: A brief overview and a case study for hybrid flow shop using genetic algorithms
JP6659652B2 (ja) 加工条件調整装置及び機械学習装置
Saric et al. Estimation of machining time for CNC manufacturing using neural computing
Zhang et al. Stochastic models for performance analysis of multistate flexible manufacturing cells
Zhang et al. Scenarios in multi-objective optimisation of process parameters for sustainable machining
CN110531705A (zh) 可编程控制器以及机器学习装置
CN108427378B (zh) 数值控制装置
Zhang et al. Real-time batching in job shops based on simulation and reinforcement learning
Burduk et al. Simulation modeling in production effectiveness improvement–case study
JP6898479B2 (ja) 操作メニューの表示を学習する機械学習器，数値制御装置，工作機械システム，製造システムおよび機械学習方法
Zhang et al. Mission reliability analysis of flexible manufacturing cells considering component reliability, task demand, and product quality
Niekurzak et al. Production line modelling in accordance with the industry 4.0 concept as an element of process management in the iron and steel industry
Atia et al. An ANN parametric approach for the estimation of total production operation time
AU2021105079A4 (en) The controlling machine tools system by using machine learning techniques.

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170316

R150 Certificate of patent or registration of utility model

Ref document number: 6114421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150