JP2015085437A - 判定装置、判定方法、および判定プログラム - Google Patents

Abstract

【課題】 容易に作業単位を検出することができる。
【解決手段】 判定装置は、対象物に対して作業を行う作業部の力または変位を検出するセンサの出力値の標準偏差を指標として用いて、前記作業部が作業を行う動的区間を抽出する動的区間抽出部を備えることを特徴とする。
【選択図】 図１

Description

本件は、判定装置、判定方法、および判定プログラムに関する。

特許文献１は、吸着搬送ロボットが搬送物を吸着してから吸着パッドに吸着された搬送物が移動開始するまでの区間を決めて、圧力センサが検出した吸着圧力の過渡データに基づいて、吸着パッドの摩耗を判断する技術を開示している。

特開２０１２−１５２８４３号公報

しかしながら、特許文献１の技術では、作業単位の指定に手間がかかる。

１つの側面では、本件は、容易に作業単位を検出することができる判定装置、判定方法、および判定プログラムを提供することを目的とする。

１つの態様では、判定装置は、対象物に対して作業を行う作業部の力または変位を検出するセンサの出力値の標準偏差を指標として用いて、前記作業部が作業を行う動的区間を抽出する動的区間抽出部を備える。

容易に作業単位を検出することができる。

実施例１に係る作業装置の全体構成を説明するための図である。 （ａ）〜（ｃ）は動的指標の作成手順を表す図である。 （ａ）〜（ｄ）は動的指標から動的区間の適格出現パターンを作成する手順を表す図である。 識別器群を表す図である。 （ａ）および（ｂ）はエラー発生のタイミングを表す図である。 識別器作成のフローチャートである。 判定装置の判定処理の一例を表すフローチャートである。 判定装置の判定処理の一例を表すフローチャートである。 学習の詳細を表すフローチャートである。 （ａ）は計算例を表し、（ｂ）は良否判定を表す。 （ａ）は計算例を表し、（ｂ）は良否判定を表す。 判定装置のハードウェア構成を説明するためのブロック図である。

以下、図面を参照しつつ、実施例について説明する。

図１は、実施例１に係る作業装置１００の全体構成を説明するための図である。図１で例示するように、作業装置１００は、作業ロボット１０、コントローラ２０、カメラ３０、判定装置４０などを備える。

作業ロボット１０は、エンドエフェクタ１１、センサ１２などを備える。エンドエフェクタ１１は、対象物に対して所定の作業を行う装置であり、一例として、対象物に貼付されたテープを剥がす作業を行う。センサ１２は、エンドエフェクタ１１の力、変位等を検出するセンサであり、一例として、力覚センサ、加速度センサなどである。コントローラ２０は、所定のタイミングで作業ロボット１０に作業指示を行う制御装置である。カメラ３０は、作業ロボット１０の作業を撮像する装置である。

判定装置４０は、カメラ３０が取得した画像データ、センサ１２が検出するデータ、エンドエフェクタ１１の座標位置などに基づいて、作業ロボット１０の作業状況の良否を判定する。判定装置４０は、測定値格納部４１、第１良否判定部４２、作業状態認識部４３、第２良否判定部４４、およびデータベース４５を備える。

データベース４５には、良判定測定データ群、不良判定測定データ群、および検証用良判定測定データ群が格納されている。良判定測定データ群には、予め作業ロボット１０に作業を行わせ、目視等で作業状況が「良」と判定された場合のセンサ１２の出力値波形（測定データ）が含まれている。不良判定測定データ群には、予め作業ロボット１０に作業を行わせ、目視で作業状況が「不良」と判定された場合のセンサ１２の出力値波形（測定データ）が含まれている。なお、不良判定測定データ群には、判定装置４０が「不良」と判定した場合のセンサ１２の出力値波形（測定データ）が追加される。検証用良判定測定データ群は、後述する識別器の性能を検査するために予め作成しておいた良判定データである。良判定測定データ群と、検証用良判定測定データ群とは、一部が重複していてもよい。

測定値格納部４１は、センサ１２の出力値を一時的に格納する。第１良否判定部４２は、センサ１２の出力値が、基準値の範囲内にあれば、作業ロボット１０の作業が「良」であると判定する。この基準値の範囲として、例えば、上述した良判定測定データ群の３σの範囲を用いてもよい。σは、標準偏差である。第１良否判定部４２は、センサ１２の出力値が基準値範囲から外れた場合に、作業ロボット１０の作業が「不良」であると判定する。

作業状態認識部４３は、センサ１２の出力値から動的指標を求め、作業ロボット１０が作業行う動的区間を自動的に抽出し、動的区間の出現パターンを基に良否判定を行う。図２（ａ）〜図２（ｃ）は、動的指標の作成手順を表す図である。図２（ａ）〜図２（ｃ）において、横軸は時刻を表し、縦軸はセンサ１２の出力値を表す。センサ１２は、エンドエフェクタ１１の力または変位を検出するため、エンドエフェクタ１１が対象物に対して作業を行うと、センサ１２の出力値が大きくなり、変動する。

まず、図２（ａ）で例示するように、作業状態認識部４３は、注目点を設定し、当該注目点に対して予め決定した固定幅（ｗｉｎｄｏｗ）を設定する。次に、図２（ｂ）で例示するように、設定されたｗｉｎｄｏｗ内において、注目点よりも前（過去）の出力値の平均値μ_１および標準偏差σ_１を算出し、注目点よりも後（未来）の出力値の平均値μ_２および標準偏差σ_２を算出する。

次に、作業状態認識部４３は、標準偏差σ_１，σ_２から動的指標値εを算出する。一例として、作業状態認識部４３は、平均値μ_１，μ_２および標準偏差σ_１，σ_２から動的指標値εを算出する。動的指標値εは、一例として、下記式（１）で表すことができる。また、ΔμおよびΔσは、下記式（２）および下記式（３）で表すことができる。
ε＝（Δμ^２＋Δσ^２）^０．５ （１）
Δμ＝｜μ_２−μ_１｜ （２）
Δσ＝｜σ_２−σ_１｜ （３）

次に、作業状態認識部４３は、図２（ｃ）で例示するように、所定の時間間隔後の時刻を次の注目点に設定し、図２（ａ）および図２（ｂ）で説明した手順で次の動的指標εを算出する。図２（ａ）〜図２（ｃ）の手順を繰り返すことにより、動的指標εの時系列データを得ることができる。

図３（ａ）〜図３（ｄ）は、動的指標εから動的区間の適格出現パターンを作成する手順を表す図である。まず、図３（ａ）は、上述した良判定測定データ群の各測定データを表す。点線は、これらの測定データの３σの範囲の上限および下限を表す。図３（ｂ）は、図３（ａ）の各測定データから得られた動的指標εの算出値である。なお、図３（ｂ）の値は、最大値を「１」とし、最小値を「０」とした正規化値である。

図３（ｃ）は、図３（ｂ）の正規化値に対してしきい値を用いて２値化したものである。図３（ｂ）で例示するように、一例として、しきい値は０．３に設定してある。しきい値以上の出力値は「１」に変換され、しきい値未満の出力値は「０」に変換される。その結果、図３（ｃ）で例示すような２値の出現パターンが得られる。

これら複数の出現パターンを動的区間の適格出現パターンとして用いてもよいが、これら複数の出現パターンから単一の適格出現パターンを求めてもよい。例えば、図３（ｄ）で例示するように、複数の出現パターンによって得られる最大幅を適格出現パターンとして求めてもよい。なお、複数の出現パターンの重複部分（最小幅）を適格出現パターンとして求めてもよい。

適格出現パターンを予め求めておくことによって、作業ロボット１０の実際の作業が行われる際の動的区間の出現パターンと適格出現パターンとの照合に基づいて、作業ロボット１０の動的区間の良否を判定することができる。例えば、実際の作業の際の動的区間の出力パターンと適格出現パターンとが一致している場合に、実際の作業の動的区間を「良」と判定することができる。なお、上記一致には、許容範囲を設定してもよい。

第２良否判定部４４は、各動的区間内の作業状況の良否を判定する。本実施例においては、各動的区間内の作業状況の良否を判定する個別の主体を識別器と称する。したがって、第２良否判定部４４は、複数の動的区間が存在する場合には、複数の識別器として機能する。また、識別器を設けることは、各働的区間の作業良否を判定するための個別の基準を作成することと同義である。

各識別器は、各動的区間におけるセンサ１２の測定データから抽出される特徴量ごとに設けられていてもよい。特徴量として、例えば、振幅値、微分波形、積分波形、周波数などが挙げられる。図４は、識別器群を表す図である。図４で例示するように、特徴量ａ，ｂ，ｃが設定されている場合に、各動的区間に特徴量ａ，ｂ，ｃのそれぞれに対して個別の識別器が設けられている。または、各動的区間に、特徴量ａ，ｂ，ｃのいずれかの識別器だけが設けられていてもよい。

以下、機械学習による識別器の作成の一例について説明する。識別器の作成に、データベース４５に格納されている良判定測定データ群と、不良判定測定データ群とを用いる。識別器の作成に用いられる良判定測定データ群および不良判定測定データ群を、訓練データと称する。なお、各訓練データには、作業状況の「良」または「不良」がラベルとして付されている。上述した機械学習とは、この訓練データを基にして、未知の測定データのラベルを推定することである。本実施例においては、学習とは、実際の作業における動的区間内のセンサ出力値波形（測定データ）に対して、「良」または「不良」のラベルを推定することである。

しかしながら、測定データが時系列データである場合には工夫を施すことが好ましい。工夫を施すことが好ましい理由について、図５（ａ）および図５（ｂ）を用いて説明する。図５（ａ）は、動的区間１でエラーが発生した場合を表し、図５（ｂ）は、動的区間１よりも後の動的区間２でエラーが発生した場合を表す。図５（ａ）および図５（ｂ）において、点線は不良判定測定データであり、実線は良判定測定データであり、破線が３σ範囲を表す。

図５（ａ）では、動的区間１でエラーが発生しているため、波形の変化が動的区間１から生じている。したがって、動的区間１，２内のデータで学習をしても問題ない。しかしながら、図５（ｂ）では、動的区間２でエラーが発生しているため、動的区間１では不良判定センサ出力値と良判定センサ出力値とでは区別がつかない。このため、図５（ｂ）の不良判定測定データを用いて動的区間1内で識別器を作成すると識別性能が悪化するおそれがある。

この現象を防ぐために、不良と判定された測定データ（不良判定測定データ）を１つずつ機械学習していき、その都度、検証用良判定測定データ群（検証データ）で識別器の性能を計算する。性能の悪い動的区間内の識別器と当該識別器に対応する測定データとを破棄することで、動的区間ごとに良否判定に適切な不良判定測定データおよび適切な識別器を残すことが可能となる。

この手法の詳細に関し、図６のフローチャートを用いて説明する。まず複数の良判定測定データと１個の不良判定測定データとが用意されていたとする。第２良否判定部４４は、これらの用意された訓練データに対し動的区間ごとに各測定データを抽出する（ステップＳ１）。次に、第２良否判定部４４は、動的区間ごとに識別器を作成する（ステップＳ２）。次に、第２良否判定部４４は、作成した識別器に対して検証用良判定測定データ群で識別器の性能を計算する（ステップＳ３）。計算手法としては単純に識別器に１以上の検証用測定データを入力して正解率を求めるとしてもよい。次に、第２良否判定部４４は、しきい値以上の正解率となる識別器のうち、最良の識別器を選択する（ステップＳ４）。

次に、第２良否判定部４４は、ステップＳ４で選択された識別器を新たな識別器として更新する（ステップＳ５）。なお、対象となる動的区間に識別器がまだ設けられていなければ、しきい値以上の正解率の識別器を追加する。それ以外の識別器および不良判定測定データは破棄する。あるいは、ある正解率以上の識別器を選択してもよい。次に、第２良否判定部４４は、追加の不良判定測定データがあれば追加する（ステップＳ６）。追加方法としては、訓練段階で多数の不良判定測定データを用いていれば、その不良判定測定データを投入してもよい。また、実際の作業で判定装置４０によって「不良」と判定された測定データを用いてもよい。

図７および図８は、判定装置４０の判定処理の一例を表すフローチャートである。なお、図７および図８のフローチャートは、作業ロボット１０による実際の作業が行われる際に実行される。図７で例示するように、測定値格納部４１は、センサ１２の出力値波形（測定データ）を格納する（ステップＳ１１）。次に、第１良否判定部４２は、測定値格納部４１に格納されている測定データが、良判定測定データ群の３σの範囲内に入っているか否かを判定する（ステップＳ１２）。ステップＳ１２で「Ｎｏ」と判定された場合、第１良否判定部４２は、作業ロボット１０の作業が「不良」であると判定する。

ステップＳ１２で「Ｙｅｓ」と判定された場合、作業状態認識部４３は、測定値格納部４１に格納されている測定データから動的指標εを算出する（ステップＳ１３）。次に、作業状態認識部４３は、ステップＳ１３で算出された動的指標εを用いて、動的区間の時系列を抽出する（ステップＳ１４）。次に、作業状態認識部４３は、良判定測定データ群から作成された適格出現パターンの時系列と、ステップＳ１４で抽出された動的区間の時系列とが一致するか否かを判定する（ステップＳ１５）。なお、作業状態認識部４３は、一致に許容範囲を設定する。ステップＳ１５で「Ｎｏ」と判定された場合、作業状態認識部４３は、作業ロボット１０の作業が「不良」であると判定する。

ステップＳ１５で「Ｙｅｓ」と判定された場合、図８で例示するように、第２良否判定部４４は、ステップＳ１４で抽出された動的区間の時系列から、各動的区間を抽出する（ステップＳ１６）。次に、各動的区間に対応する識別器が、対応する動的区間の作業状況が良好であるか否かを判定する（ステップＳ１７）。ステップＳ１７で「Ｎｏ」と判定された場合、第２良否判定部４４は、作業ロボット１０の作業が「不良」であると判定する。ステップＳ１７で「Ｙｅｓ」と判定された場合、ユーザの視覚などによる最終的な良否確認が行われる（ステップＳ１８）。

ステップＳ１８で作業状況が「不良」と判定された場合、第２良否判定部４４は、当該測定データを識別器の機械学習に用いる（ステップＳ１９）。ステップＳ１９では、良判定測定データ群および不良判定測定データ群が機械学習に用いられる。次に、第２良否判定部４４は、検証用良判定測定データ群を用いて、機械学習が成立したか否かを判定する（ステップＳ２０）。ステップＳ２０で「Ｙｅｓ」と判定された場合、識別器の更新が行われる。

図９は、図８のステップＳ１９およびステップＳ２０の詳細を表すフローチャートである。一例として、３つの動的区間に対して、３つの特徴量ａ，ｂ，ｃで識別器を学習する例について説明する。第２良否判定部４４は、良判定測定データ群、およびステップＳ１８で「不良」と判定された不良判定データから、各動的区間のデータを抽出する（ステップＳ３１）。次に、第２良否判定部４４は、さらに不良判定済測定データ群を用いて、動的区間ごとかつ特徴量ごとに識別器を作成する（ステップＳ３２）。

それにより、動的区間１〜３に対して、特徴量ａ，ｂ，ｃのそれぞれに対して識別器が作成される（ステップＳ３３）。次に、第２良否判定部４４は、検証用良判定測定データ群を用いて、各識別器の性能を計算する（ステップＳ３４）。ステップＳ３４では、正解率を計算してもよい。次に、第２良否判定部４４は、各動的区間において、最良の識別器を選択する（ステップＳ３５）。次に、第２良否判定部４４は、識別器を更新する（ステップＳ３６）。

図１０（ａ）は、ステップＳ３４における性能計算例を表す図である。図１０（ａ）の性能計算の際には、動的区間１〜３のいずれにも未だ識別器が設けられていないものとする。しきい値（正解率８５％）以上の識別器のうち最も正解率の高いものが、最良の識別器として選択される。図１０（ａ）の例では、動的区間３の特徴量ｃの識別器だけが追加される。したがって、図１０（ｂ）で例示するように、動的区間１および動的区間２については動的区間の作業状況の良否判定が行われず、動的区間３の作業状況の良否判定だけが行われる。

図１１（ａ）は、追加の不良判定データが発生した場合のステップＳ３４における性能計算例を表す図である。図１１（ａ）の例では、動的区間１の特徴量ｂの識別器が追加される。したがって、図１１（ｂ）で例示するように、動的区間２については動的区間の作業状況の良否判定が行われず、動的区間１および動的区間３の作業状況の良否判定だけが行われる。

図１２は、判定装置４０のハードウェア構成を説明するためのブロック図である。図１２を参照して、判定装置４０は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、表示装置１０４等を備える。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、中央演算処理装置である。

ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。記憶装置１０３は、判定プログラムを記憶している。表示装置１０４は、液晶ディスプレイ、エレクトロルミネッセンスパネルなどであり、判定結果を表示する。なお、本実施例においては判定装置４０の各部は、プログラムの実行によって実現されているが、専用の回路などのハードウェアを用いてもよい。

本実施例によれば、対象物に対して作業を行うエンドエフェクタ１１の力または変位を検出するセンサ１２の出力値の標準偏差を指標として用いて、動的区間を抽出していることから、容易に作業単位を抽出することができる。それにより、作業単位での不良原因箇所の推定が容易となる。また、センサ１２の出力値の標準偏差および平均値を用いて動的区間を抽出することによって、動的区間の抽出精度が向上する。また、抽出された動的区間と、予め作成された動的区間との照合により、前記作業部の作業の良否を判定することから、動的区間の出現パターンの良否を判定することができる。

また、動的区間の各々について識別器を設けることによって、全データを特定の識別器に投入することなく、リアルタイムに良否判定を行うことができる。動的区間の各々について、センサ１２の出力値の特徴量の良否を判定する基準データを機械学習により作成することで、識別器の精度が向上する。さらに、動的区間の各々について、センサ１２の出力値のうち所定の基準から外れるものを用いて基準データを機械学習することで、識別器の精度を向上させることができる。

上記例においては、エンドエフェクタ１１が、対象物に対して作業を行う作業部として機能する。作業状態認識部４３が、作業部の力または変位を検出するセンサの出力値の標準偏差を指標として用いて、作業部が作業を行う動的区間を抽出する動的区間抽出部として機能する。作業状態認識部４３が、動的区間抽出部が抽出した動的区間と予め作成された動的区間との照合により、作業部の作業の良否を判定する第１判定部として機能する。第１良否判定部４２が、センサの出力値が基準範囲から外れるか否かで作業部の作業の良否を判定する第２判定部として機能する。第２良否判定部４４が、動的区間の各々についてセンサの出力値の特徴量の良否を判定する第３判定部として機能する。

以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ 作業ロボット
１１ エンドエフェクタ
１２ センサ
２０ コントローラ
３０ カメラ
４０ 判定装置
４１ 測定値格納部
４２ 第１良否判定部
４３ 作業状態認識部
４４ 第２良否判定部
４５ データベース
１００ 作業装置

Claims (12)

1. 対象物に対して作業を行う作業部の力または変位を検出するセンサの出力値の標準偏差を指標として用いて、前記作業部が作業を行う動的区間を抽出する動的区間抽出部を備えることを特徴とする判定装置。
2. 前記動的区間抽出部は、前記センサの出力値の標準偏差および平均値を用いて、前記動的区間を抽出することを特徴とする請求項１記載の判定装置。
3. 前記動的区間抽出部が抽出した動的区間と、予め作成された動的区間との照合により、前記作業部の作業の良否を判定する第１判定部を備えることを特徴とする請求項１または２記載の判定装置。
4. 前記予め作成された動的区間は、前記作業部が行った複数回の作業における前記センサの出力値から得られた動的区間のうち所定の基準を満たす動的区間に基づいて作成されたものであることを特徴とする請求項３記載の判定装置。
5. 前記予め作成された動的区間は、前記所定の基準を満たす動的区間の最大幅または最小幅であることを特徴とする請求項４記載の判定装置。
6. 前記センサの出力値が基準範囲から外れるか否かで前記作業部の作業の良否を判定する第２判定部を備えることを特徴とする請求項１〜５のいずれか一項に記載の判定装置。
7. 前記基準範囲は、前記作業部が行った複数回の作業における前記センサの出力値のうち所定の基準を満たすものの３σの範囲であることを特徴とする請求項６記載の判定装置。
8. 前記動的区間の各々について、前記センサの出力値の特徴量の良否を判定する第３判定部を備えることを特徴とする請求項１〜７のいずれか一項に記載の判定装置。
9. 前記第３判定部は、前記動的区間の各々について、前記センサの出力値の特徴量の良否を判定する基準データを機械学習により作成することを特徴とする請求項８記載の判定装置。
10. 前記第３判定部は、前記動的区間の各々について、前記センサの出力値のうち所定の基準から外れるものを用いて、前記基準データを機械学習することを特徴とする請求項９記載の判定装置。
11. 対象物に対して作業を行う作業部の力または変位を検出するセンサの出力値の標準偏差を指標として用いて、前記作業部が作業を行う動的区間を抽出することを特徴とする判定方法。
12. 対象物に対して作業を行う作業部の力または変位を検出するセンサの出力値の標準偏差を指標として用いて、前記作業部が作業を行う動的区間を抽出する、処理をコンピュータに実行させることを特徴とする判定プログラム。

Images