JP2017030088A

JP2017030088A - 機械学習装置、ネジ締付システムおよびその制御装置

Info

Publication number: JP2017030088A
Application number: JP2015151953A
Authority: JP
Inventors: 山本　和弘; Kazuhiro Yamamoto; 和弘山本
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2015-07-31
Filing date: 2015-07-31
Publication date: 2017-02-09
Also published as: DE102016008993A1; CN106392602A; US20170028521A1

Abstract

【課題】生産効率が低下するのを防ぐ。
【解決手段】ドライバ（１１）によりネジ（４５）を締付ける動作を学習する機械学習装置（３０）は、ドライバの回転速度、ドライバの回転方向、ドライバの位置およびドライバの傾きのうちの少なくとも一つと、ドライバにより締付けられたネジの締付品質およびドライバによりネジが締付けられる締付時間のうちの少なくとも一つとから構成される状態変数を観測する状態観測部（３１）と、状態観測部により観測された回転速度、回転方向、位置および傾きのうちの少なくとも一つと、状態観測部により観測された締付品質の変化および締付時間の変化のうちの少なくとも一つとを関連付けて学習する学習部（３５）とを含む。
【選択図】図１

Description

本発明は、機械学習装置、そのような機械学習装置を含むネジ締付システムおよびその制御装置に関する。

ネジ回しを用いてネジを自動的に締付ける自動ネジ締付作業が行われている。ところが、自動ネジ締付作業においてはネジを一定の高速度で締付けるので、噛みこんだりすることが起こる。

特許文献１においては、ワークにネジ込まれたネジの高さを求め、ネジの高さが所定の範囲から逸脱した場合に不適切であると判断している。

特開2011-073105号公報

このような場合には、自動組立ラインを停止させてアラームを出力して作業者に通知する。そして、作業者はネジ締付箇所を手作業で修正し、その後、自動組立ラインを再開させている。

しかしながら、ネジが噛みこむ度に自動組立ラインを停止させると、生産効率が著しく低下する。

本発明はこのような事情に鑑みてなされたものであり、生産効率が低下するのを防ぐことのできる機械学習装置、そのような機械学習装置を含むネジ締付システムおよびその制御装置を提供することを目的とする。

前述した目的を達成するために１番目の発明によれば、ドライバによりネジを締付ける動作を学習する機械学習装置において、前記ドライバの回転速度、前記ドライバの回転方向、前記ドライバの位置および前記ドライバの傾きのうちの少なくとも一つと、前記ドライバにより締付けられた前記ネジの締付品質および前記ドライバにより前記ネジが締付けられる締付時間のうちの少なくとも一つとから構成される状態変数を観測する状態観測部と、前記状態観測部により観測された前記回転速度、前記回転方向、前記位置および前記傾きのうちの少なくとも一つと、前記状態観測部により観測された前記締付品質の変化および前記締付時間の変化のうちの少なくとも一つとを関連付けて学習する学習部と、を具備する機械学習装置が提供される。
２番目の発明によれば、１番目の発明において、前記学習部は、前記状態観測部により観測された前記締付品質および前記締付時間のうちの少なくとも一つに基づいて報酬を計算する報酬計算部と、該報酬計算部により計算された報酬に基づいて、現在の前記状態変数から、前記ドライバの最適回転速度、前記ドライバの最適回転方向、前記ドライバの最適位置、前記ドライバの最適傾きのうちの少なくとも一つを決定する関数を更新する関数更新部とを含む。
３番目の発明によれば、２番目の発明において、前記報酬計算部は、前記締付時間が規定時間より大きい場合に報酬を減らすようにした。
４番目の発明によれば、２番目または３番目の発明において、前記報酬計算部は、前記締付時間が規定時間より大きくない場合に報酬を増やすようにした。
５番目の発明によれば、２番目から４番目のいずれかの発明において、前記締付品質はネジ締付トルクおよび締付後のネジ位置のうちの少なくとも一つを含んでおり、前記報酬計算部は、前記ネジ締付トルクが所定範囲内に無い場合および前記ネジ位置が規定値より大きい場合のうちの少なくとも一方において報酬を減らすようにした。
６番目の発明によれば、２番目から５番目のいずれかの発明において、前記締付品質はネジ締付トルクおよび締付後のネジ位置のうちの少なくとも一つを含んでおり、前記報酬計算部は、前記ネジ締付トルクが所定範囲内にある場合および前記ネジ位置が規定値より大きくない場合のうちの少なくとも一方において報酬を増やすようにした。
７番目の発明によれば、ドライバによりネジを締付けるネジ締付システムの制御装置において、前記ドライバの回転速度を調整する回転速度調整部と、前記ドライバの回転方向を調整する回転方向調整部と、前記ドライバの位置および傾きを調整する位置調整部と、前記ドライバにより締付けられた前記ネジの締付品質を検出する締付品質検出部と、前記ドライバにより前記ネジが締付けられるのに要した締付時間を検出する締付時間検出部と、１番目から６番目のいずれかの機械学習装置と、前記ドライバの最適回転速度、前記ドライバの最適回転方向ならびに前記ドライバの最適位置および最適傾きのうちの少なくとも一つが定まるように、前記学習部の学習結果に基づいて、現在の前記状態変数から、前記回転速度調整部、前記回転方向調整部、および前記位置調整部のうちの少なくとも一つの調整量を決定して出力する意思決定部とを具備する制御装置が提供される。
８番目の発明によれば、７番目の発明の制御装置と、前記ドライバを備えたネジ締付装置とを含むネジ締付システムが提供される。

１番目および２番目の発明においては、より最適なドライバの回転速度などを自動的に決定することのできる機械学習装置を提供できる。
３番目から６番目の発明においては、報酬をより適切に定めることができる。
７番目および８番目の発明においては、機械学習をネジ締付システムまたはその制御装置に導入しているので、ドライバの最適回転速度などを自動的に決定でき、その結果、組立工程を停止させることなしに、自動組立を行うことが可能になる。その結果、生産効率を向上させられる。また、最適回転速度などでネジ締付を行うことにより、ネジ締付間を短縮することもできる。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれら目的、特徴および利点ならびに他の目的、特徴および利点がさらに明解になるであろう。

本発明に基づくネジ締付システムの機能ブロック図である。機械学習器を拡大して示す図である。機械学習器の動作を示すフローチャートである。

以下、添付図面を参照して本発明の実施形態を説明する。以下の図面において同様の部材には同様の参照符号が付けられている。理解を容易にするために、これら図面は縮尺を適宜変更している。
図１は本発明に基づくネジ締付システムの機能ブロック図である。図１に示されるように、ネジ締付システム１は、ドライバ１１（ネジ回し）を備えたネジ締付装置１０と、ネジ締付装置１０を制御する制御装置２０とを主に含んでいる。

図１の下方においては互いに重ね合わされた二つの平板４１、４２が示されている。これら平板４１、４２には複数のネジ山付き貫通孔（図示しない）が形成されており、平板４１の貫通孔にネジ４５が挿入されている。これら平板４１、４２は図１の矢印Ａ１方向に所定距離ずつ搬送されている。そして、或るネジ４５がネジ締付装置１０のドライバ１１に対応した位置に到達すると、ドライバ１１が矢印Ａ２方向に下降して或る方向に回転し、それにより、ネジ４５が平板４１、４２に螺合される。

制御装置２０はデジタルコンピュータであり、ドライバ１１の回転速度を調整する回転速度調整部２１と、ドライバ１１の回転方向を調整する回転方向調整部２２と、ドライバ１１の位置および傾きを調整する位置調整部２３とを含んでいる。これら回転速度調整部２１、回転方向調整部２２、および位置調整部２３のそれぞれの調整量は、後述する機械学習器３０により決定される。なお、以下においては、ドライバ１１の位置および傾きを単に「ドライバ１１の位置」と呼ぶ場合がある。

さらに、制御装置２０は、ドライバ１１により締付けられたネジ４５の締付品質を検出する締付品質検出部２４を含んでいる。締付品質検出部２４により検出される締付品質はトルクセンサ２４ａにより検出されるネジ締付トルクおよび距離センサ２４ｂにより検出される締付後のネジ位置を含んでいる。ここで、図１から分かるように、距離センサ２４ｂにより検出されるネジ位置は、ネジ４５の頭部下端と平板４１との間の距離を意味するする。

さらに、制御装置２０は、ドライバ１１によりネジ４５が締付けられるのに要した締付時間を検出する締付時間検出部２５を含んでいる。締付時間検出部２５はドライバ１１がネジ４５を回転させ始めた時刻から締付終了までの時刻を締付時間として検出する。

図１に示されるように、制御装置２０はさらに、機械学習器３０を含んでいる。この機械学習器３０は、機械学習装置として制御装置２０に外付けされていてもよい。機械学習器を拡大して示す図２を参照すると、機械学習器３０は、ネジを締付けるドライバ１１の回転速度、ドライバ１１の回転方向、ドライバ１１の位置およびドライバ１１の傾きのうちの少なくとも一つと、ドライバ１１により締付けられたネジの締付品質およびドライバ１１によりネジが締付けられる締付時間のうちの少なくとも一つとから構成される状態変数を観測する状態観測部３１を含んでいる。状態観測部３１は、前述した状態変数を観測された時間と共に順次記憶できる。

さらに、機械学習器３０は、状態観測部３１により観測された回転速度、回転方向、位置および傾きのうちの少なくとも一つと、状態観測部３１により観測された締付品質の変化および締付時間の変化のうちの少なくとも一つとを関連付けて学習する学習部３５とを含んでいる。

ここで、学習部３５は、教師あり学習、教師なし学習、半教師あり学習、強化学習、トランスダクション、マルチタスク学習など各種の機械学習を行い得る。以下においては、学習部３５はＱ学習（Ｑ−ｌｅａｒｎｉｎｇ）により強化学習を行うものとして説明を続ける。

ここで、図２を参照して分かるように、機械学習器３０は、強化学習におけるエージェントに相当する。また、回転速度調整部２１、回転方向調整部２２、位置調整部２３は、締付品質検出部２４および締付時間検出部２５は環境の状態を検出する。

強化学習を行う学習部３５は、状態観測部３１により観測された締付品質および締付時間のうちの少なくとも一つに基づいて報酬を計算する報酬計算部３２と、報酬計算部３２により計算された報酬に基づいて、現在の状態変数から、ドライバ１１の最適回転速度、ドライバ１１の最適回転方向、ドライバ１１の最適位置、ドライバ１１の最適傾きのうちの少なくとも一つを決定する関数、例えば行動価値関数（行動価値テーブル）を更新する関数更新部３３（人工知能）を含んでいる。当然のことながら、関数更新部３３が他の関数を更新するようにしてもよい。

さらに、機械学習器３０は、ドライバ１１の最適回転速度、ドライバ１１の最適回転方向ならびにドライバ１１の最適位置および最適傾きのうちの少なくとも一つが定まるように、学習部３５の学習結果に基づいて、現在の状態変数から、回転速度調整部２１、回転方向調整部２２、および位置調整部２３のうちの少なくとも一つの調整量を決定して出力する意思決定部３４を含んでいる。意思決定部３４は、より良い行動の選択（意思決定）を学習するものである。なお、意思決定部３４が機械学習器３０に含まれなくて制御装置２０に含まれていてもよい。

図３は機械学習器の動作を示すフローチャートである。以下、図１〜図３を参照しつつ、機械学習器３０の動作について説明する。図３に示される動作は、ネジ締付装置１０がネジ４５を平板４１、４２に締付ける度に、実施されるものとする。

はじめに、図３のステップＳ１１において、ドライバ１１の回転速度Ｖ、回転方向Ｄ、位置Ｐを選択する。ドライバ１１の回転速度Ｖおよび位置Ｐはそれぞれの所定範囲からランダムに選択される。ドライバ１１の回転方向Ｄについては、時計回り、反時計回りのうちの一方がランダムに選択される。

あるいは、ドライバ１１の回転速度Ｖは所定範囲内の最小値がはじめに選択され、次いで、微少量だけ増加させた値が次のサイクルのときに選択されるようにしてもよい。ドライバ１１の位置Ｐについても同様である。回転速度Ｖ、回転方向Ｄ、位置Ｐの全ての組み合わせが選択されるように、図３の処理を繰返してもよい。

次いで、ステップＳ１２においては、締付時間検出部２５により一つのネジ４５を締付けるのに要した締付時間が検出され、締付時間と規定時間とが比較される。締付時間が規定時間よりも小さい場合には、ステップＳ１３において報酬が増える。これに対し、締付時間が規定時間よりも小さくない場合には、ステップＳ１８において報酬が減るかまたはそのままとなる。

次いで、ステップＳ１４においては、トルクセンサ２４ａにより検出されたネジ締付トルクが規定範囲内に在るか否かが判定される。そして、ネジ締付トルクが規定範囲内に在る場合には、ステップＳ１５において報酬が増え、ネジ締付トルクが規定範囲内にない場合には、ステップＳ１８において報酬が減るかまたはそのままとなる。

次いで、ステップＳ１６においては、距離センサ２４ｂにより検出されたネジ位置が規定値よりも小さいか否かが判定される。そして、ネジ位置が規定値よりも小さい場合には、ステップＳ１７において報酬が増え、ネジ位置が規定値よりも小さくない場合には、ステップＳ１８において報酬が減るかまたはそのままとなる。

このような報酬の増減は報酬計算部３２によって算出される。また、報酬の増減の額については、ステップに応じてその値が異なるように設定されていても良い。また、ステップＳ１２、Ｓ１４、Ｓ１６のうちの少なくとも一つの判定ステップおよび関連する報酬のステップを省略することもできる。

その後、ステップＳ１９においては、関数更新部３３が行動価値関数を更新する。ここで、学習部３５が実施するＱ学習は、或る環境状態ｓの下で、行動ａを選択する価値（行動の価値）Ｑ（ｓ、ａ）を学習する方法である。そして、或る状態ｓのときに、Ｑ（ｓ、ａ）の最も高い行動ａを選択する。Ｑ学習では、試行錯誤により、或る状態ｓの下で様々な行動ａをとり、そのときの報酬を用いて正しいＱ（ｓ、ａ）を学習する。行動価値関数Ｑ（ｓ、ａ）の更新式は以下の式（１）で表される。

ここでｓ_ｔ，ａ_ｔは、時刻ｔにおける環境と行動を表す。行動ａ_ｔにより、環境はｓ_ｔ＋１に変化し、その環境の変化によって、報酬ｒ_ｔ＋１が算出される。また、ｍａｘの付いた項は、環境ｓ_ｔ＋１の下で、最も（その時に分かっている）Ｑ値の高い行動ａを選んだ場合のＱ値にγを掛けたものになる。ここでγは０＜γ≦１（通常は０．９〜０．９９）の割引率であり、αは０＜α≦１（通常は０．１程度）の学習係数である。

この更新式は、状態ｓに於ける行動ａの評価値Ｑ（ｓ_ｔ，ａ_ｔ）よりも、ａによる次の環境状態に於ける最良の行動の評価値Ｑ（ｓ_ｔ＋１，ｍａｘａ_ｔ＋１）の方が大きければ、Ｑ（ｓ_ｔ，ａ_ｔ）を大きくするし、逆に小さければ、Ｑ（ｓ_ｔ，ａ_ｔ）も小さくする事を示している。つまり、或る状態に於ける或る行動の価値を、それによる次の状態に於ける最良の行動の価値に近づけるようにしている。言い換えれば、学習部３５は、ネジ４５の締付動作に最も適した状態、つまりドライバ１１の最適回転速度、ドライバ１１の最適回転方向、ドライバ１１の最適位置、ドライバ１１の最適傾きを更新する。

このようにして、ステップＳ１９においては、前述した式（１）を用いて関数更新部３３が行動価値関数を更新する。そして、ステップＳ１１に戻り、ドライバ１１の他の回転速度Ｖ、位置Ｐ、回転方向Ｄが選択され、同様にして行動価値関数が更新される。なお、行動価値関数の代わりに、行動価値テーブルを更新するようにしてもよい。

強化学習においてはエージェントとしての学習部３５が環境の状況に基づいて、行動を決定する。この場合における行動とは、意思決定部３４が、回転速度調整部２１、回転方向調整部２２および位置調整部２３のそれぞれの調整量を選択し、各調整量に従って動作させることである。そして、これら調整量で調整されたドライバ１１の回転速度、回転方向および位置によって図２に示される環境、例えば締付品質および締付時間が変化する。そのような環境の変化に伴って、前述したように報酬が機械学習器３０に与えられ、機械学習器３０の意思決定部３４は、例えばより高い報酬が得られるように、より良い行動の選択（意志決定）を学習する。

このため、図３に示される処理が多数回にわたって繰返し行われることにより、行動価値関数の信頼度が高められる。そして、ステップＳ１１において、信頼性の高い行動価値関数に基づいて、例えばＱ値が高くなるようにドライバ１１の回転速度Ｖ、回転方向Ｄおよび位置Ｐを選択することによって、ドライバ１１の回転速度Ｖなどをより最適に決定することが可能となる。

このようにして、本発明の機械学習部３０の関数更新部３３により更新された内容を、ネジ４５を締付けるときの、より最適なドライバ１１の回転速度、回転方向および位置として自動的に決定することができる。そして、そのような機械学習部３０をネジ締付システムの制御装置２０に導入することによって、ネジが噛み込みそうになったときには、ドライバ１１の最適回転速度などを自動的に調整できる。このため、ネジ締付装置１０を含む組立工程を停止させることなしに、自動組立を行うことが可能になる。その結果、生産効率を向上させられる。また、最適回転速度などでネジ締付を行うことにより、ネジ締付間を短縮することもできる。

典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、前述した変更および種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

１ネジ締付システム
１０ネジ締付装置
１１ドライバ
２０制御装置
２１回転速度調整部
２２回転方向調整部
２３位置調整部
２４締付品質検出部
２４ａトルクセンサ
２４ｂ距離センサ
２５締付時間検出部
３０機械学習器
３１状態観測部
３２報酬計算部
３３関数更新部
３４意思決定部
４５ネジ

前述した目的を達成するために１番目の発明によれば、ドライバによりネジを締付ける動作を学習する機械学習装置において、前記ドライバの回転速度、前記ドライバの回転方向、前記ドライバの位置および前記ドライバの傾きのうちの少なくとも二つと、前記ドライバにより締付けられた前記ネジの締付品質および前記ドライバにより前記ネジが締付けられる締付時間とから構成される状態変数を観測する状態観測部と、前記状態観測部により観測された前記回転速度、前記回転方向、前記位置および前記傾きのうちの少なくとも二つと、前記状態観測部により観測された前記締付品質の変化および前記締付時間の変化とを関連付けて学習する学習部と、を具備する機械学習装置が提供される。
２番目の発明によれば、１番目の発明において、前記学習部は、前記状態観測部により観測された前記締付品質および前記締付時間に基づいて報酬を計算する報酬計算部と、該報酬計算部により計算された報酬に基づいて、現在の前記状態変数から、前記ドライバの最適回転速度、前記ドライバの最適回転方向、前記ドライバの最適位置、前記ドライバの最適傾きのうちの少なくとも二つを決定する関数を更新する関数更新部とを含む。
３番目の発明によれば、２番目の発明において、前記報酬計算部は、前記締付時間が規定時間より大きい場合に報酬を減らすようにした。
４番目の発明によれば、２番目または３番目の発明において、前記報酬計算部は、前記締付時間が規定時間より大きくない場合に報酬を増やすようにした。
５番目の発明によれば、２番目から４番目のいずれかの発明において、前記締付品質はネジ締付トルクおよび締付後のネジ位置のうちの少なくとも一つを含んでおり、前記報酬計算部は、前記ネジ締付トルクが所定範囲内に無い場合および前記ネジ位置が規定値より大きい場合のうちの少なくとも一方において報酬を減らすようにした。
６番目の発明によれば、２番目から５番目のいずれかの発明において、前記締付品質はネジ締付トルクおよび締付後のネジ位置のうちの少なくとも一つを含んでおり、前記報酬計算部は、前記ネジ締付トルクが所定範囲内にある場合および前記ネジ位置が規定値より大きくない場合のうちの少なくとも一方において報酬を増やすようにした。
７番目の発明によれば、ドライバによりネジを締付けるネジ締付システムの制御装置において、前記ドライバの回転速度を調整する回転速度調整部と、前記ドライバの回転方向を調整する回転方向調整部と、前記ドライバの位置および傾きを調整する位置調整部と、前記ドライバにより締付けられた前記ネジの締付品質を検出する締付品質検出部と、前記ドライバにより前記ネジが締付けられるのに要した締付時間を検出する締付時間検出部と、１番目から６番目のいずれかの機械学習装置と、前記ドライバの最適回転速度、前記ドライバの最適回転方向ならびに前記ドライバの最適位置および最適傾きのうちの少なくとも二つが定まるように、前記学習部の学習結果に基づいて、現在の前記状態変数から、前記回転速度調整部、前記回転方向調整部、および前記位置調整部のうちの少なくとも二つの調整量を決定して出力する意思決定部とを具備する制御装置が提供される。
８番目の発明によれば、７番目の発明の制御装置と、前記ドライバを備えたネジ締付装置とを含むネジ締付システムが提供される。

Claims

ドライバ（１１）によりネジ（４５）を締付ける動作を学習する機械学習装置（３０）において、
前記ドライバの回転速度、前記ドライバの回転方向、前記ドライバの位置および前記ドライバの傾きのうちの少なくとも一つと、前記ドライバにより締付けられた前記ネジの締付品質および前記ドライバにより前記ネジが締付けられる締付時間のうちの少なくとも一つとから構成される状態変数を観測する状態観測部（３１）と、
前記状態観測部により観測された前記回転速度、前記回転方向、前記位置および前記傾きのうちの少なくとも一つと、前記状態観測部により観測された前記締付品質の変化および前記締付時間の変化のうちの少なくとも一つとを関連付けて学習する学習部（３５）と、を具備する機械学習装置。
前記学習部は、前記状態観測部により観測された前記締付品質および前記締付時間のうちの少なくとも一つに基づいて報酬を計算する報酬計算部（３２）と、
該報酬計算部により計算された報酬に基づいて、現在の前記状態変数から、前記ドライバの最適回転速度、前記ドライバの最適回転方向、前記ドライバの最適位置、前記ドライバの最適傾きのうちの少なくとも一つを決定する関数を更新する関数更新部（３３）とを含む、請求項１に記載の機械学習装置。
前記報酬計算部は、前記締付時間が規定時間より大きい場合に報酬を減らすようにした請求項２に記載の機械学習装置。
前記報酬計算部は、前記締付時間が規定時間より大きくない場合に報酬を増やすようにした請求項２または３に記載の機械学習装置。
前記締付品質はネジ締付トルクおよび締付後のネジ位置のうちの少なくとも一つを含んでおり、
前記報酬計算部は、前記ネジ締付トルクが所定範囲内に無い場合および前記ネジ位置が規定値より大きい場合のうちの少なくとも一方において報酬を減らすようにした請求項２から４のいずれか一項に記載の機械学習装置。
前記締付品質はネジ締付トルクおよび締付後のネジ位置のうちの少なくとも一つを含んでおり、
前記報酬計算部は、前記ネジ締付トルクが所定範囲内にある場合および前記ネジ位置が規定値より大きくない場合のうちの少なくとも一方において報酬を増やすようにした請求項２から５のいずれか一項に記載の機械学習装置。
ドライバ（１１）によりネジ（４５）を締付けるネジ締付システム（１）の制御装置（２０）において、
前記ドライバの回転速度を調整する回転速度調整部（２１）と、
前記ドライバの回転方向を調整する回転方向調整部（２２）と、
前記ドライバの位置および傾きを調整する位置調整部（２３）と、
前記ドライバにより締付けられた前記ネジの締付品質を検出する締付品質検出部（２４）と、
前記ドライバにより前記ネジが締付けられるのに要した締付時間を検出する締付時間検出部（２５）と、
請求項１から６のいずれか一項に記載の機械学習装置（３０）と、
前記ドライバの最適回転速度、前記ドライバの最適回転方向ならびに前記ドライバの最適位置および最適傾きのうちの少なくとも一つが定まるように、前記学習部の学習結果に基づいて、現在の前記状態変数から、前記回転速度調整部、前記回転方向調整部、および前記位置調整部のうちの少なくとも一つの調整量を決定して出力する意思決定部（３４）とを具備する制御装置。
請求項７に記載の制御装置と、
前記ドライバ（１１）を備えたネジ締付装置（１０）とを含むネジ締付システム。