JP2022101324A - ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法 - Google Patents

Abstract

【課題】ツールがツール条件を満たすか精度良く判定できるロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法を提供する。【解決手段】ロボットアーム用のツールチェック装置は、ロボットアームに装着されたツールの撮影画像に対して、ツールが満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、ツール条件に関連付けられた関連領域を抽出した処理済画像を生成するための画像処理部と、処理済画像に基づき、ロボットアームに装着されたツールがツール条件を満たすかを判定するための判定部とを備える。【選択図】図１

Description

本開示は、ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法に関する。

従来、物体に対して加工又は操作を実行するためのツールが交換可能に装着されるロボットアームが知られている。例えば、特許文献１に開示されるロボットアームでは、物体に対する加工などに応じて、複数種類のいずれかのツールがロボットアームに装着される。上記ロボットアームは、ツールを開閉させることによって物体を把持することが可能である。

特開２０１８－１５８４０５号公報

上記ロボットアームによる加工などの作業が適切になされるためには、実行される加工に応じて、装着されたツールが適正な種別であること、装着されたツールが適正な状態（例えば開状態又は閉状態）であること、といったツール条件を満たす必要がある。この点、特許文献１には、ツールがツール条件を満たすか精度良く判定するための具体的構成の開示はない。

本開示に係る一実施形態は、ツールがツール条件を満たすか精度良く判定できるロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法を提供することである。

本発明の少なくとも一実施形態に係るロボットアーム用のツールチェック装置は、
ロボットアームに装着されたツールの撮影画像に対して、前記ツールが満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域を抽出した処理済画像を生成するための画像処理部と、
前記処理済画像に基づき、前記ロボットアームに装着された前記ツールが前記ツール条件を満たすかを判定するための判定部と
を備える。

本発明の少なくとも一実施形態に係るロボットアーム用のツールチェックプログラムは、
ロボットアーム用のツールをチェックするためのプログラムであって、
コンピュータに、
ロボットアームに装着された前記ツールの撮影画像に対して、前記ツールが満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域を抽出した処理済画像を生成するための画像処理ステップと、
前記処理済画像に基づき、前記ロボットアームに装着された前記ツールが前記ツール条件を満たすかを判定するための判定ステップと
を実行させる。

本発明の少なくとも一実施形態に係るロボットアーム用のツールチェック方法は、
ロボットアーム用のツールをチェックするための方法であって、
ロボットアームに装着された前記ツールの撮影画像に対して、前記ツールが満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域を抽出した処理済画像を生成するための画像処理工程と、
前記処理済画像に基づき、前記ロボットアームに装着された前記ツールが前記ツール条件を満たすかを判定するための判定工程と
を備える。

幾つかの実施形態によれば、ツールがツール条件を満たすか精度良く判定できるロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法を提供できる。

第１の実施形態に係るワーク加工システムを示す図である。 一実施形態に係る画像処理を実行するための基準画像のデータである基準画像データを示す図である。 第１の実施形態に係る判定部による判定手法を説明する図である。 第１の実施形態に係る判定部による判定手法を説明する別の図である。 一実施形態に係るワーク加工システムの電気的構成を示すブロック図である。 一実施形態に係る加工制御処理のフローチャートである。 第２の実施形態に係るワーク加工システムを示す図である。 一実施形態に係るツール条件に対応付けられた学習済モデルを示す図である。 一実施形態に係る学習済モデルの生成過程を示す図である。 第２の実施形態に係る判定部による判定手法を説明する図である。 第３の実施形態に係るワーク加工システムを示す図である。 一実施形態に係る関連領域データ２１を示す図である。 第３の実施形態に係る判定部による判定手法を説明する図である。

以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載され又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
例えば、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
例えば、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
一方、一つの構成要素を「備える」、「具える」、「具備する」、「含む」、又は「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。

一実施形態に係るワーク加工システム１を説明する。一実施形態のワーク加工システム１は、ツール４０を用いてワーク５を加工するために設けられる。ワーク５はツール４０の加工対象である。一例として、ワーク５は農産物、畜産物、水産物などの食品である。食品は生鮮食品又は加工食品のいずれであってもよい。以下では、ワーク５が生鮮肉となる第１～第３の実施形態を説明する。

（第１の実施形態）
図１で例示される第１の実施形態に係るワーク加工システム１ａ（１）は、ワーク５を搬送するための搬送装置７、ワーク５を加工するためのロボットアーム３０、ツール４０を撮影するための撮影装置８、撮影装置８の撮影領域を照らすための照明部４、及びロボットアーム用のツールチェック装置５０ａ（５０）を備える。
一実施形態の搬送装置７はワーク５を水平方向に搬送するベルトコンベアである。
一実施形態の撮影装置８は、上方からツール４０を撮影するように設けられる。この実施形態では撮影装置８の撮影画像１５は平面視の画像となる。図１では、ツール４０の一例であるクランパ４１（後述）の撮影画像１５を例示している。
一実施形態では、ロボットアーム３０はツール４０を装着するように構成される。一実施形態では、ツールチェック装置５０は該ツール４０が適正かどうか撮影画像１５を用いてチェックする。ロボットアーム３０、ツール４０、及びツールチェック装置５０ａの構成の詳細は後述する。
なお他の実施形態では、搬送装置７は、ワーク５を吊り下げた姿勢で把持して搬送してもよい。また、撮影装置８は水平方向に沿ってツール４０を撮影するよう構成されてもよいし、水平方向に対して傾斜する方向に沿ってツール４０を撮影するよう構成されてもよい。さらに、ワーク加工システム１ａは照明部４を備えなくてもよい。この場合、照明部４の機能が撮影装置８に含まれてもよい。

ロボットアーム３０の構成を説明する。一実施形態のロボットアーム３０は、産業用ロボットである。より詳細には一例として、ロボットアーム３０は多関節ロボットである。ロボットアーム３０は、垂直多関節ロボット、水平多関節ロボット、又はこれらの組み合わせであってもよい。

一実施形態のロボットアーム３０は、ロボットアーム３０ａ、３０ｂ、３０ｃを含む。一実施形態において、このロボットアーム３０に装着されるツール４０は、金属材料により形成される。また、一実施形態のツール４０は、例えばワーク５などに比べて、光を反射し易い表面を有する。
一実施形態のツール４０は、ワーク５を掴むためのクランパ４１、ワーク５をチャックするためのチャック４２、及びワーク５を切断するためのナイフ４３を含む。
一実施形態では、クランパ４１はロボットアーム３０ａに装着され、チャック４２とナイフ４３はロボットアーム３０ｂ又はロボットアーム３０ｃに装着される。
一実施形態では、ワーク５の種類に応じた使い分けがなされるよう左右対称なツール４０が用意される。具体的な一例として、チャック４２はチャック４２Ｌ、４２Ｒを含み、ナイフ４３はナイフ４３Ｌ、４３Ｒを含み、これらのツール４０が選択的にロボットアーム３０ｂ、３０ｃに装着される。例えば、搬送装置７により搬送されるワーク５が家畜の左肢肉又は右肢肉のいずれか一方である場合には、ロボットアーム３０ｂ、３０ｃの各々にチャック４２Ｌ、ナイフ４３Ｒが装着される。また、ワーク５がいずれか他方である場合には、ロボットアーム３０ｂ、３０ｃの各々にナイフ４３Ｌ、チャック４２Ｒが装着される。一実施形態では、これらの装着作業は作業者により行われる。他の実施形態では、これらの装着作業が別のロボットによって行われてもよい。
一実施形態のクランパ４１とチャック４２は駆動源から駆動力を得て開閉動作を行う。一実施形態では、駆動源として、図示外のエアシリンダが採用される。この場合、クランパ４１とチャック４２の各々に設けられた流入口及び流出口が空気管を介してエアシリンダに接続される。なお、駆動源として油圧シリンダ又はモータが採用されてもよい。

他の実施形態では、ワーク加工システム１ａは、左右対称なツール４０を備えなくてもよい。例えば、チャック４２はチャック４２Ｌ、４２Ｒのいずれか一方しか含まなくてもよい。同様にナイフ４３もいずれか一方しか含まなくてもよい。さらに別の実施形態では、複数のロボットアーム３０は各々、単一のツール４０しか装着しなくてもよい。
また、ロボットアーム３０が複数設けられることにワーク加工システム１ａは限定されない。単一のロボットアーム３０が、複数種類のツール４０を選択的に装着してもよいし、単一のツール４０しか装着しなくてもよい。

ロボットアーム用のツールチェック装置５０（以下、ツールチェック装置５０という場合がある）の構成を説明する。ツールチェック装置５０はチェックの判定基準として、ツール４０が満たすべきツール種別又はツール状態に関するツール条件を採用する。一実施形態では、撮影画像１５に画像処理が施された処理済画像１８（後述）に基づきツールチェックは行われる。

ツール種別は、ロボットアーム３０に装着されるべきツール４０の種別である。一実施形態のツール種別は、クランパ４１、チャック４２、又はナイフ４３のいずれかである。例えば、チャック４２Ｌが装着されるべきであるにも関わらず、ナイフ４３Ｌがロボットアーム３０ｂに装着された場合には、ツール種別に関するツール条件は満たされない。こういった事例は、例えば作業者によるツール４０の交換作業に不備があると生じ得る。

ツール状態は、ロボットアーム３０に装着されているツール４０が満たすべき状態である。一実施形態のツール状態は、クランパ４１及びチャック４２の開状態又は閉状態と、ナイフ４３の正常状態とを含む。例えば、クランパ４１又はチャック４２が閉状態であるべきにも関わらず、これらのツール４０が開状態である場合には、ツール状態に関するツール条件は満たされない。こういった事例は、例えば、クランパ４１又はチャック４２とエアシリンダとを空気管で接続させる作業に不備があると生じ得る。あるいは、ナイフ４３が正常状態であるべきにも関わらず、ナイフ４３が欠損している場合には、ツール状態に関するツール条件は満たされない。こういった事例は、例えば、ナイフ４３が継続的に使用されることで生じ得る。

一実施形態では、上記のツール種別とツール状態が対応付けて管理される。従って、ツールチェック装置５０は、一度のチェックで、ツール４０の種別と状態のそれぞれが適正かチェックできる。具体的な一例として、ツールチェック装置５０は、ツール種別としてクランパ４１、ツール状態として開状態が対応付けられたツール条件の充足の有無を一度のチェックで判定できる。あるいは、ツール種別としてナイフ４３Ｌ、ツール状態として正常状態が対応付けられたツール条件の充足の有無を一度のチェックで判定できる。

なお他の実施形態では、ツール種別とツール状態は対応付けられなくてもよい。例えば、ツールチェック装置５０は、ツール種別に関するツール条件と、ツール状態に関するツール条件との各々の条件が充足されるか、個別に判定してもよい。
他の実施形態では、ツール条件はツール種別のみに関する条件であってもよい。つまり、ロボットアーム３０に装着されたツール４０の種別が適正かどうかだけ、判定されてもよい。あるいは、ツール条件はツール状態のみに関する条件であってもよい。例えば、ロボットアーム３０が単一のツール４０しか装着しない実施形態においては、ツール４０の状態が適正かどうかだけ、判定されればよい。

ツールチェック装置５０ａ（５０）の構成を説明する。一実施形態のツールチェック装置５０ａは、条件取得部５１、ツール移動制御部５２、撮影制御部５３、画像処理部５５ａ（５５）、輝度値取得部５６、及び判定部５９ａ、５９ｂ（５９）を備える。これらの構成要素の機能は後述するようにプロセッサ９１（図４参照）によって実現される。

一実施形態の条件取得部５１は、ツール条件が充足されると判定された後のロボットアーム３０の作業予定（動作予定）に応じて、ツール条件を取得するように構成される。例えば、ツール条件が充足されると判定された後の作業として、開状態のクランパ４１による作業が予定されているのであれば、ツール種別がクランパ４１で、且つツール状態が開状態となるツール条件を条件取得部５１は取得する。

一実施形態のツール移動制御部５２は、撮影装置８の撮影領域に含まれる規定位置にツール４０が移動するようロボットアーム３０を制御するために設けられる。一実施形態の規定位置は、ロボットアーム３０ａ、３０ｂ、３０ｃのそれぞれに応じて異なる位置である。なお、ロボットアーム３０ａ、３０ｂ、３０ｃのいずれにも同じ規定位置が設定されてもよい。あるいは、ツール条件に応じて規定位置が設定されてもよい。

一実施形態の撮影制御部５３は、規定位置まで移動したツール４０が撮影されるように撮影装置８を制御するために設けられる。

一実施形態の画像処理部５５ａ（５５）は、ロボットアーム３０に装着されたツール４０の撮影画像１５に対して、ツール４０が満たすべきツール条件に関連付けられた画像処理を施すように構成される。一実施形態では、画像処理部５５ａは、予め用意された複数のツール条件のうち、条件取得部５１によって取得されたツール条件に関連付けられた画像処理を撮影画像１５に対して施す。
一実施形態の画像処理部５５ａは、上記の画像処理を施して、関連領域１７ａ（１７）を抽出した処理済画像１８ａ（１８）を生成するように構成される（図３Ａ、図３Ｂ参照）。一実施形態の関連領域１７ａは、ツール条件が満たされる場合と満たされない場合とで、画像に違いが生じるように設定された領域である。この関連領域１７ａを抽出した処理済画像１８ａが、ツール条件が満たされるかの判定に利用される。
一実施形態の関連領域１７ａはツール条件に対応付けて設定される。例えば、クランパ４１のツール状態に関するツール条件に対応付けられた関連領域１７ａは、クランパ４１の状態（開状態又は閉状態）に応じて、クランパ４１の可動部の少なくとも一部が進入又は退出する領域となるよう設定される。なお、関連領域１７ａは、判定部５９ａの判定時に設定されてもよいし、判定前に予め設定されてもよい。
一実施形態の関連領域１７ａは、ツール条件を満たすツール４０の輪郭の少なくとも一部に沿った領域であり、トリミング対象となる領域である。一実施形態では、画像処理部５５ａは、関連領域１７ａを抽出するマスク処理を実行する。

一実施形態の輝度値取得部５６は、処理済画像１８ａ（１８）の輝度値を取得するように構成される。一実施形態では、処理済画像１８ａの各々の画素のＲＧＢ輝度値が取得される。

一実施形態の判定部５９ａ、５９ｂ（５９）は、処理済画像１８ａ（１８）に基づきロボットアーム３０に装着されたツール４０がツール条件を満たすか判定するように構成される。一実施形態では、判定部５９ａ、５９ｂは、条件取得部５１により取得されたツール条件の充足の有無を、輝度値取得部５６により取得された輝度値に基づき判定する。判定部５９ａ、５９ｂの判定手法は後述する。

なお、他の実施形態では、条件取得部５１が設けられなくてもよい。例えば、ツール条件が一意に定まっているのであれば、画像処理部５５ａは、該ツール条件に関連付けられた画像処理を施して処理済画像１８ａを生成すればよいし、判定部５９ａ、５９ｂは該処理済画像１８ａに基づきツール条件を満たすか判定すればよい。
また、他の実施形態では、ツール移動制御部５２が設けられなくてもよい。例えば、ツールチェック装置５０ａが、ロボットアーム３０に対して遠隔となる場所に設けられている場合、ツールチェック装置５０ａはツール移動制御部５２を備えていなくてもよい。

図２は、一実施形態に係る画像処理を実行するための基準画像１４のデータである基準画像データ９６を示す図である。
一実施形態の基準画像１４はツール条件に関連付けられる。
一実施形態の画像処理部５５ａは、撮影画像１５に対して、ツール条件に関連付けられた基準画像１４を用いてマスク処理を施す。これにより、ツール条件に関連付けられた関連領域１７ａを抽出した画像が処理済画像１８ａとして生成される（図３Ａ、図３Ｂ参照）。
一実施形態では、一例として、ツール条件に対応付けて計８種の基準画像１４ａ～１４ｈが用意されている。
なお、一実施形態の基準画像１４は、撮影装置８で生成される撮影画像１５と同一サイズの画像であってもよい。あるいは、撮影画像１５よりも小さなサイズの画像であってもよく、この場合、撮影画像１５の一部がクロップ処理されてから、基準画像１４を用いたマスク処理が施される。例えば、撮影時のツール４０の規定位置がツール条件に応じて異なる場合、撮影画像１５のクロップ対象となる領域は、ツール種別に応じて変わってもよい。

図３Ａ、図３Ｂは、一実施形態に係る判定部５９ａ、５９ｂ（５９）による判定手法を説明する図である。
図３Ａ、図３Ｂで示される判定においては、満たされるべきツール条件が開状態のクランパ４１であるとする。図中の「チェックＡ」は上記ツール条件を満たす開状態のクランパ４１のチェック過程を示す。また、同図の「チェックＢ」は、上記ツール条件を満たさない閉状態のクランパ４１のチェック過程を示す。
一実施形態では、チェックＡ、Ｂのいずれにおいても、撮影装置８による撮影時にワーク５がツール４０の下方に配置されている（図３Ａ、図３Ｂでは、図面を見易くする都合、ワーク５にハッチングを施している）。なお、撮影装置８による撮影時、ツール４０の背景にワーク５が写らなくてもよい。
一実施形態では、チェックＡ、Ｂの実行時に、画像処理部５５ａが、上記ツール条件に関連付けられた基準画像１４ａを用いて各々の撮影画像１５にマスク処理を施し、各々の処理済画像１８ａ（１８）を生成する。その後、この処理済画像１８ａの輝度値を輝度値取得部５６ａ、５６ｂ（５６）が取得する。

図３Ａで示される輝度値取得部５６ａは、処理済画像１８ａにおける輝度値の総和Ｘ_２を取得するよう構成される。
例えば処理済画像１８ａのｘ方向（横方向）の画素数をＭとし、ｙ方向（縦方向）の画素数をＮとし、任意の画素における輝度値をＢとすると、輝度値取得部５６ａによって取得される輝度値の総和Ｘ_２は、式（２）によって定義される。なお、ｉは処理済画像１８ａの横方向における画素数以下の任意の自然数であり、ｊは縦方向における画素数以下の任意の自然数である。

処理済画像１８ａにおけるマスク領域の輝度値は０であるので、式（２）によって、処理済画像１８ａの関連領域１７ａにおける輝度値が取得される。
なお、他の実施形態では、関連領域１７ａのみのピクセルの輝度値を取得する処理が実行されてもよい。この場合であっても、式（２）と同じ値が取得される。

一実施形態の判定部５９ａは、取得された輝度値の総和Ｘ_２に基づき、ツール条件の充足の有無を判定するように構成される。
一実施形態では、判定部５９ａは、チェックＡ、Ｂの各々において輝度値取得部５６ａによって取得された輝度値の総和Ｘ_２に基づき、チェックＡ、Ｂでツール条件が充足されるかを判定する。例えば、チェックＡでは、処理済画像１８ａの関連領域１７ａのほぼ全域にわたってクランパ４１が写り、クランパ４１以外の物体（例えばワーク５）は関連領域１７ａには殆ど映らない。この場合、輝度値取得部５６ａによって取得される処理済画像１８ａの輝度値の総和Ｘ_２は判定基準となる閾値Ｔ_２を超え、判定部５９ａはツール条件が満たされていると判定できる。
一方、チェックＢでは、処理済画像１８ａの関連領域１７ａにおいてクランパ４１が占める割合は小さくなる（クランパ４１の可動部の殆どは関連領域１７ａから退出する）。結果、関連領域１７ａにおいて、他の物体（例えばワーク５）が占める割合が大きくなる。これにより、処理済画像１８ａにおける輝度値の総和Ｘ_２は閾値Ｔ_２以下となり、判定部５９ａはツール条件が満たされていないと判定できる。

図３Ｂで示される輝度値取得部５６ｂは、処理済画像１８ａにおける画素ごとの輝度値Ｂ_ｉｊと、ツール条件に対応して該画素ごとに設定された輝度値Ｂｓ_ｉｊとを用いた以下の式（１）によって特定される輝度値の差分の総和Ｘ_１を取得するように構成される。

一実施形態の輝度値取得部５６ｂは、チェックＡ、Ｂの各々において、処理済画像１８ａの各画素における輝度値Ｂ_ｉｊと、処理済画像１８の各画素に対応する正常画像１２の各画素の輝度値Ｂｓ_ｉｊとの差分の総和Ｘ_１を取得する。
一実施形態では、事前準備として、ツール条件を満たすことが確定しているツール４０の撮影画像１５に対して画像処理部５５ａがマスク処理を施す。これにより、ツール条件に関連する関連領域１７ａを抽出した処理済みの画像である正常画像１２が予め生成されている。輝度値取得部５６ｂは、正常画像１２を取得することで、輝度値Ｂｓ_ｉｊを取得する。
なお、他の実施形態では、画像処理部５５ａが正常画像１２を生成しなくてもよい。例えば、処理済画像１８ｂの各画素に対応付けて設定された輝度値Ｂｓ_ｉｊが予め何かしらのメモリに記憶されていればよい。
また、他の実施形態では、Ｂ_ｉｊが、処理済画像１８ａにおける画素ごとの輝度値の代わりに、関連領域１７ａのみにおける画素ごとの輝度値であってもよい。この場合、Ｂｓ_ｉｊも関連領域１７ａのみに対応する画素の輝度値を示す。

一実施形態の判定部５９ｂは、取得された輝度値の差分の総和Ｘ_１に基づき、ツール条件の充足の有無を判定する。
一実施形態の判定部５９ｂは、チェックＡ、Ｂの各々において輝度値取得部５６ｂによって取得された輝度値の差分の総和Ｘ_１に基づき、各々のチェックでツール条件が充足されるかを判定する。例えば、チェックＡでは、処理済画像１８ａと正常画像１２との間で画像の違いが小さいため、輝度値の差分の総和Ｘ_１は判定基準となる閾値Ｔ_１を下回り、判定部５９ｂはツール条件が満たされていると判定できる。
一方、チェックＢでは、処理済画像１８ａと正常画像１２との画像の違いが大きいため、輝度値の差分の総和Ｘ_１は、閾値Ｔ_１以上となる。これにより、判定部５９ｂはツール条件が満たされていないと判定できる。

なお、図３Ａ、図３Ｂでは、ツール条件を満たさないツール４０が、閉状態のクランパ４１である例を示したが、ツール条件を満たさない他のツール４０が判定対象になっても、同様の判定手法が適用されて、同様の判定結果が得られる。
また、図３Ａ、図３Ｂでは、満たされるべきツール条件の例として、開状態のクランパ４１を挙げたが、その他のツール条件が判定対象になっても、同様の判定手法が適用されて、同様の判定結果が得られる。

図４は、一実施形態に係るワーク加工システム１ａの電気的構成を示すブロック図である。既述のツールチェック装置５０ａ（５０）の構成要素は、図４で示される加工制御部９０によって実現される。具体的な実現の仕方は、図５を用いて後述する。

ワーク加工システム１は、プロセッサ９１を含む加工制御部９０を備える。
プロセッサ９１は、ＲＯＭ９２に記憶される加工制御プログラム（ツールチェックプログラム）９５を読み出してＲＡＭ９３にロードし、ロードした加工制御プログラム９５に含まれる命令を実行するように構成される。プロセッサ９１は、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＤＳＰ、これら以外の各種演算装置、又はこれらの組み合わせである。プロセッサ９１は、ＰＬＤ、ＡＳＩＣ、ＦＰＧＡ、及びＭＣＵ等の集積回路により実現されてもよい。ＲＯＭ９２は記憶装置の一例である。
加工制御部９０の構成要素であるメモリ９４は、基準画像データ９６を記憶する不揮発性メモリである。

一実施形態のプロセッサ９１は、図示外のインターフェースを介して、受付ボタン６、搬送装置７、ロボットアーム３０、撮影装置８、及び発報装置９に接続されている。

一実施形態の受付ボタン６は、ツール４０が満たすべきツール条件を受付ける。受付ボタン６は、機械的な構造を有するボタンであってもよいし、タッチパネルボタンであってもよい。
一実施形態では、作業者が、ツール４０をロボットアーム３０に装着する際に、ツール条件を受付ボタン６に入力する。入力されるツール条件は、例えばロボットアーム３０の個数に応じた複数条件であってもよい。受付ボタン６は受付けたツール条件をプロセッサ９１に出力する。なお、作業者は、ツール条件を受付ボタン６に入力する際、該ツール条件に対応するロボットアーム３０も併せて入力してもよい。
プロセッサ９１は、受付ボタン６から出力されるデータを取得することで、ツール条件を取得する。
なお他の実施形態では、受付ボタン６が設けられなくてもよい。この場合、プロセッサ９１は、例えば加工制御プログラム９５に含まれるデータが示すツール条件を取得してもよい。

一実施形態の搬送装置７、ロボットアーム３０、撮影装置８、及び発報装置９は、各々、プロセッサ９１から受信する制御信号に応じて作動する。一実施形態のロボットアーム３０は、受信する制御信号に応じてツール４０を規定位置まで移動させる。一実施形態ではさらに、ロボットアーム３０は、受信する制御信号に応じて、ワーク５に対して加工作業を行う。
一実施形態の撮影装置８は、受信した制御信号に応じて撮影を実行し、生成した撮影画像１５をプロセッサ９１に出力する。一実施形態のプロセッサ９１は、撮影装置８から取得した画像をＲＡＭ９３に出力する。なお、撮影画像１５は、ＲＡＭ９３に代えてメモリ９４に記憶されてもよい。
一実施形態の発報装置９は、ツール条件が満たされていないとプロセッサ９１が判定した場合、受信した制御信号に応じて発報するための装置である。一実施形態の発報装置９は、画像表示装置、スピーカ、発光装置、又はこれらの組み合わせであってもよい。

図５は、一実施形態に係る加工制御処理のフローチャートを示す。加工制御処理は、プロセッサ９１がＲＯＭ９２に記憶される加工制御プログラム９５をＲＡＭ９３にロードすることによって、以下のステップを実行する。処理の実行に伴いプロセッサ９１が処理する情報は、適宜、ＲＡＭ９３又はメモリ９４に記憶される。以下の説明では、「ステップ」を「Ｓ」と略記する。

プロセッサ９１は、加工領域までワーク５が搬送されるよう、搬送装置７を制御する（Ｓ１１）。
次いで、プロセッサ９１は、ツール４０が満たすべきツール条件を取得する（Ｓ１３）。例えば、プロセッサ９１は、受付ボタン６から出力されるデータに基づき、ツール条件を取得する。Ｓ１１を実行するプロセッサ９１が条件取得部５１として機能する。なお、ロボットアーム３０が複数設けられる実施形態においては、プロセッサ９１は、各々のロボットアーム３０に応じたツール条件を取得してもよい。

プロセッサ９１は、Ｓ１３で取得したツール条件に応じてツール４０が規定位置まで移動するよう、ロボットアーム３０を制御する（Ｓ１５）。例えば、Ｓ１１で取得されたツール条件に「開状態のクランパ４１」が含まれる場合、プロセッサ９１による制御によって、ロボットアーム３０ａに装着されたクランパ４１は規定位置まで移動し、ロボットアーム３０ｂ、３０ｃに装着されたチャック４２、ナイフ４３は他の位置まで退避する。Ｓ１５を実行するプロセッサ９１はツール移動制御部５２として機能する。
プロセッサ９１は、Ｓ１５の実行によって規定位置まで移動したツール４０が撮影されるよう撮影装置８を制御する（Ｓ１７）。プロセッサ９１は、撮影装置８で生成された撮影画像１５を例えばＲＡＭ９３に記憶する。Ｓ１７を実行するプロセッサ９１は撮影制御部５３として機能する。

プロセッサ９１はＳ１７で生成された撮影画像１５を画像処理する（Ｓ１９）。一実施形態では、プロセッサ９１は、メモリ９４に記憶された基準画像データ９６を参照し、Ｓ１３で取得されたツール条件に応じた基準画像１４を取得する。そして、取得した基準画像１４を用いて、Ｓ１７で取得された撮影画像１５に対してマスク処理を施す。これにより、プロセッサ９１は、ツール条件に関連付けられた関連領域１７ａ（１７）を抽出した画像を処理済画像１８ａ（１８）として生成する。なお、Ｓ１９を実行するプロセッサ９１が画像処理部５５ａ（５５）として機能する。

プロセッサ９１は、生成された処理済画像１８ａに基づき、処理済画像１８ａ（１７）の輝度値を取得する（Ｓ２１）。一実施形態では、プロセッサ９１は、例えば上述の式（１）又は式（２）に基づき、輝度値の差分の総和Ｘ_１又は輝度値の総和Ｘ_２を取得する。
なお、プロセッサ９１は、輝度値の差分の総和Ｘ_１を取得する場合、メモリ９４に記憶された正常画像１２を参照し、各画素の輝度値Ｂｓ_ｉｊを取得してもよい。
Ｓ２１を実行するプロセッサ９１は輝度値取得部５６ａ、５６ｂ（５６）として機能する。

プロセッサ９１は取得された輝度値に基づき、Ｓ１３で取得されたツール条件が満たされているかを判定する（Ｓ２３）。
例えば、プロセッサ９１は、上述の輝度値の差分の総和Ｘ_１又は輝度値の総和Ｘ_２と、閾値Ｔ_１又は閾値Ｔ_２とを比較することによって、ツール条件の充足の有無を判定する。Ｓ２３を実行するプロセッサ９１が判定部５９ａ、５９ｂ（５９）として機能する。

ツール条件が満たされていないと判定された場合（Ｓ２３：ＮＯ）、プロセッサ９１は、発報が実行されるように発報装置９を制御し（Ｓ２５）、本制御処理を終了する。
一実施形態では、発報がなされることにより、作業者は、ツール条件が満たされていないことを認識し、ツール条件が満たされるようロボットアーム３０に対してツール４０の交換作業などを行うことができる。

一実施形態では、ツール条件が満たされていると判定された場合（Ｓ２３：ＹＥＳ）、プロセッサ９１はツールチェックが完了したかを判定する（Ｓ２７）。例えば、Ｓ１３で取得された複数のツール条件のうちで、充足の有無を判定していないツール条件が残っている場合（Ｓ２７：ＮＯ）、プロセッサ９１はＳ１５～Ｓ２３を繰り返す。一方、全てのツール条件の判定が完了した場合（Ｓ２７：ＹＥＳ）、プロセッサ９１は処理をＳ２９に進める。

プロセッサ９１は、規定位置にあったツール４０が別の位置まで退避するようロボットアーム３０を制御する（Ｓ２９）。その後、プロセッサ９１は、ワーク５が撮影されるよう撮影装置８を制御し（Ｓ３１）、撮影装置８で生成された画像を分析する（Ｓ３３）。一実施形態では、プロセッサ９１は、撮影されたワーク５に適した加工を行うための画像分析を実行する。具体的な一例として、ワーク５が家畜の骨付き肢肉である場合には、ワーク５に含まれる骨の位置を特定するための画像分析が実行される。該分析は、例えば、予め機械学習された学習モデルに対して、Ｓ３１で撮影された画像が入力されることで実行されてもよい。この場合、プロセッサ９１は、機械学習された学習モデルに基づき演算処理を実行するためのＧＰＵを備えてもよい。プロセッサ９１は、画像分析の結果に基づいたワーク５の加工作業がなされるよう、ロボットアーム３０を制御する（Ｓ３５）。ワーク５の加工が終了した後、プロセッサ９１は本制御処理を終了する。

なお、他の実施形態では、Ｓ１１の実行タイミングは、ツールチェックが完了したと判定された後（Ｓ２７：ＹＥＳ）であってもよい。この場合、Ｓ１７で実行される撮影では、撮影画像１５にワーク５は映らない。
他の実施形態では、例えば、判定対象となるツール条件が一意に定まっている場合、Ｓ１３とＳ２７がいずれも実行されてなくてもよい。なお、一意に定まるツール条件とは、単一のツール条件を意味するだけでなく、複数のツール条件をも意味する。

（第２実施形態）
図６は、第２の実施形態に係るワーク加工システム１ｂ（１）を示す図である。第１実施形態と同一の構成要素については図面において同一の符号が付与されており、詳細な説明は省略する（後述の第３実施形態も同様である）。
ワーク加工システム１ｂは、ツールチェック装置５０ａ（５０）に代えて、ツールチェック装置５０ｂ（５０）を備える。

ツールチェック装置５０ｂは、輝度値取得部５６、及び判定部５９ａ（５９）に代えて、記憶部５４、評価データ取得部５８、及び判定部５９ｃ（５９）を備える。
一実施形態では、記憶部５４に記憶される学習済モデル５７は、画像処理部５５ａにより生成された処理済画像１８ａ（１８）に関するデータが入力されると、ツール４０がツール条件を満たすかに関する評価データを出力するように構成される。
一実施形態の学習済モデル５７は、深層学習がなされたモデルである。一例として、学習済モデル５７はＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）である。より詳細には、ＧＡＮは、ＥＧＢＡＤ（Ｅｆｆｉｃｉｅｎｔ ＧＡＮ－Ｂａｓｅｄ Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ）である。なお、他の実施形態では、学習済モデル５７は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）又は、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であってもよい。
一実施形態の評価データ取得部５８は、画像処理部５５ａによって生成された処理済画像１８ａを学習済モデル５７に入力することで出力される評価データを取得するように構成される。なお、評価データ取得部５８の機能を果たすプロセッサユニットとして、条件取得部５１、ツール移動制御部５２などとは別に専用のＧＰＵユニットが設けられてもよい。
一実施形態の判定部５９ｃ（５９）は、取得された評価データに基づき、ツール条件の充足の有無を判定するように構成される。判定手法の詳細は後述する。

図７は、一実施形態に係るツール条件に対応付けられた学習済モデル５７を示す図である。
一実施形態の学習済モデル５７は、ツール条件に対応付けて記憶部５４に記憶される。例えば、図７に示すように、一実施形態の学習済モデル５７ａ～５７ｆ（５７）は、ツール種別とツール状態とに関するツール条件に対応付けて記憶部５４に記憶される。
なお他の実施形態では、ツール種別又はツール状態のいずれかに関するツール条件に対応付けて学習済モデル５７が記憶部５４に記憶されてもよい。あるいは、記憶部５４は、単一の学習済モデル５７のみを記憶してもよい。

図８は一実施形態に係る学習済モデル５７ａ（５７）の生成過程を示す図である。
例えば、開状態のクランパ４１のツール条件に対応する学習済モデル５７ａの学習前モデル６７ａ（６７）が用意される。さらに、該ツール状態を満たしていることが確定している複数の撮影画像１５に対して画像処理部５５ａが画像処理を施した正常画像１２を、教師データ６５として学習前モデル６７ａに入力する。これにより、学習前モデル６７ａは機械学習を行い、学習済モデル５７ａが生成される。
その他の学習済モデル５７ｂ～５７ｈの生成過程も同様であるので、詳細な説明は省略する。
他の実施形態では、教師データ６５となる画像は画像処理前の撮影画像１５であってもよい。

図９は、一実施形態に係る判定部５９ｃ（５９）による判定手法を説明する図である。
図９において、満たされるべきツール条件、及びチェックＡ、Ｂの各々において判定対象となるツール４０と画像処理対象となる撮影画像１５は、いずれも図３Ａ、図３Ｂと同様である。
図９で示される判定では、チェックＡ、Ｂの各々を通じて、画像処理部５５ａ（５５）により図３Ａ、３Ｂと同様の処理済画像１８ａ（１８）が生成される。
上記処理済画像１８ａを取得する評価データ取得部５８は、ツール状態（開状態のクランパ４１）に対応する学習済モデル５７ａを用いる。具体的には、評価データ取得部５８は、それぞれの処理済画像１８ａを学習済モデル５７ａに入力し、各々の評価データである値Ｘ_３を取得する。
一実施形態では、判定部５９ｃは、取得された値Ｘ_３と、判定基準となる閾値Ｔ_３とを比較することによってツール条件の充足の有無を判定する。例えば、学習済モデル５７としてＥＧＢＡＤが採用されている実施形態では、学習済モデル５７の構成要素であるＤｉｓｃｒｉｍｉｎａｔｏｒ（図示外）から出力される値Ｘ_３は、チェックＡでは閾値Ｔ_３未満となり、チェックＢでは閾値Ｔ_３以上となる。これにより、判定部５９ｃは、チェックＡではツール条件が満たされていると判定でき、チェックＢでは満たされていないと判定できる。
なお、学習済モデル５７の具体的なモデルに応じて、チェックＡにおいて評価データの値Ｘ_３が閾値Ｔ_３を超えることがあってもよい。

（第３実施形態）
図１０は、第３実施形態に係るワーク加工システム１ｃ（１）を示す図である。ワーク加工システム１ｃは、ワーク加工システム１ａのクランパ４１（ツール４０）とツールチェック装置５０ａ（５０）に代えて、クランパ４１ａ（ツール４０）とツールチェック装置５０ｃ（５０）を備える。
クランパ４１ａは、支持部４４と、支持部４４によって回転可能に支持された一対の可動部４７を含む。一実施形態では、図示外のエアシリンダから供給される駆動力によって、一対の可動部４７は開閉する。なお、他の実施形態では、一対の可動部４７の一方は、支持部４４に固定された固定部であってもよい。
クランパ４１ａはマーク４５が付された外表面４６をさらに含む。一実施形態では、外表面４６は支持部４４と一対の可動部４７の各々の表面に含まれる。一実施形態のマーク４５は、支持部４４と、一方の可動部４７のそれぞれに形成される。マーク４５は、文字、図形、記号、又はこれらの組み合わせである。一実施形態のマーク４５は文字である。
一実施形態では、マーク４５はツール４０に電解マーキングが施されることによって形成される。この実施形態では、シールがツール４０に貼付されることでマーク４５が付される実施形態に比べてツール４０の清潔性を保つことができ、レーザ刻印によってマーク４５が付される実施形態に比べてコストの増大を抑制することができる。

ツールチェック装置５０ｃは、画像処理部５５ａ（５５）、輝度値取得部５６、及び判定部５９ａ（５９）に代えて、画像処理部５５ｂ（５５）、記憶装置６６、特定処理部６４、及び判定部５９ｄ（５９）を備える。
一実施形態の画像処理部５５ｂは、マーク４５が付された外表面４６を有するツール４０のツール条件に関連付けられた画像処理を撮影画像１５に対して施すように構成される。画像処理部５５ｂは、基準画像（図示外）を用いたマスク処理を撮影画像１５に対して施してもよいし、クロップ処理を撮影画像１５に対して施してもよい。撮影画像１５に対する画像処理によって、関連領域１７ｂを抽出した処理済画像１８ｂ（１８）が生成される。
一実施形態の記憶装置６６は、画像処理部５５ｂによって抽出される関連領域１７ｂをツール条件に対応付けた関連領域データ２１を記憶する。一実施形態の関連領域１７ｂは、ツール条件を満たすツール４０の輪郭の内側領域であり、より詳細には、ツール条件を満たすツール４０のマーク４５を含む領域である。一実施形態の関連領域１７ｂは、ツール４０の輪郭に沿った領域であってもよいし、輪郭に沿った領域でなくてもよい。

一実施形態の特定処理部６４は、生成された処理済画像１８ｂ（１８）に対して、マーク４５を特定する処理を実行するように構成される。例えば、マーク４５が文字である実施形態では、特定処理部６４は、マーク４５としての文字を特定する処理を処理済画像１８ｂに対して実行するように構成される。文字を特定する処理は、一例として、光学文字認識処理である。
一実施形態の判定部５９ｄは、特定処理部６４による処理の結果に基づき、ツール条件の充足の有無を判定するように構成される。例えば、特定処理部６４が光学文字認識処理を実行する実施形態においては、判定部５９ｄは、処理済画像１８ｂに文字であるマーク４５が含まれるかに応じて、ツール条件の充足の有無を判定してもよい。
なお、他の実施形態では、判定部５９ｄは、特定処理部６４によって認識された具体的な文字に応じて、ツール条件の充足の有無を判定してもよい。
また、他の実施形態では、マーク４５は文字の代わりに直線又は円などの図形であってもよい。この場合であっても、特定処理部６４がマーク４５の有無を特定することで、判定部５９ｄは、ツール条件の充足の有無を判定できる。

図１１は、一実施形態に係る関連領域データ２１を示す。一実施形態では、関連領域データ２１は、ツール種別に関するツール条件の判定時に参照される関連領域データ２１ａと、ツール状態に関するツール条件の判定時に参照される関連領域データ２１ｂを含む。
一実施形態では、関連領域データ２１ａに記憶されるデータは、ツール４０の種別（クランパ４１、チャック４２Ｌ、４２Ｒ、ナイフ４３Ｌ、４３Ｒ）ごとに割り当てられる。例えば、クランパ４１に割り当てられたデータＡ１が示す関連領域１７ｂは、クランパ４１が開状態であるか閉状態であるかによらずマーク４５が含まれる領域を示す。より詳細には一例として、データＡ１は、支持部４４に付されたマーク４５を含む関連領域１７ｂである。
一実施形態では、関連領域データ２１ｂに記憶されるデータは、ツール４０の種別（クランパ４１、チャック４２Ｌ、４２Ｒ）ごとに割り当てられる。例えば、クランパ４１に割り当てられたデータＡ２が示す関連領域１７ｂは、クランパ４１が開状態である場合にのみマーク４５が内側に配置される領域を示す。なお、データＡ２が示す関連領域１７ｂは、クランパ４１が閉状態である場合にのみマーク４５が内側に配置される領域であってもよい。
なお、他の実施形態では、関連領域データ２１ｂでは、ツール４０の状態（例えば、クランパ４１の開状態と閉状態）の各々に応じてデータが割り当てられてもよい。この場合、ツール４０の状態ごとに割り当てられたデータが示す関連領域１７ｂは、いずれも、マーク４５が内側に配置される領域であってもよい。

図１２は、一実施形態に係る判定部５９ｄ（５９）による判定手法を示す図である。図１２において、満たされるべきツール条件、及びチェックＡ、Ｂの各々において判定対象となるツール４０と画像処理対象となる撮影画像１５は、いずれも図３Ａ、図３Ｂと同様である。

図１２で示される判定では、チェックＡ、Ｂの各々を通じて、画像処理部５５ｂ（５５）により処理済画像１８ｂ（１８）が生成される。
一実施形態のチェックＡ、Ｂにおいて、画像処理部５５ｂは、満たされるべきツール条件に対応した基準画像（図示外）を用いて撮影画像１５に対してマスク処理を施し、関連領域１７ｂを抽出した処理済画像１８ｂを取得する。図１２では、マスクされた画像領域の図示は省略している。そして、特定処理部６４は、画像処理部５５ｂから取得した処理済画像１８ｂ（撮影画像１５の画像）のうちで、関連領域データ２１のデータＡ１、Ａ２が示す各々の関連領域１７ｂで、マーク４５を特定する処理（例えば光学文字認識処理）を実行する。
例えば、チェックＡでは、ツール種別とツール状態のそれぞれに関する関連領域１７ｂ内にマーク４５（具体的には「Ａ」という文字）があると認識される。判定部５９ｄは、ツール種別とツール状態のそれぞれに関しマーク４５を認識できていることを理由に、ツール条件が満たされていると判定する。
一方、チェックＢでは、特定処理部６４は、ツール種別に関する関連領域１７ｂ内にマーク４５があると認識するものの、ツール状態に関する関連領域１７ｂにマーク４５がないと認識する。この場合、ツール状態に関するツール条件が充足されていないことを理由に、判定部５９ｄはツール条件が非充足であると判定する。なお、チェックＢでは、判定部５９は、ツール種別に関するツール条件は満たされていると判定し、ツール状態に関するツール条件は満たされないという判定をしてもよい。
なお、他の実施形態では、画像処理部５５ｂは、撮影画像１５に対して、関連領域データ２１のデータＡ１、Ａ２が示す各々の関連領域１７ｂを抽出するクロップ処理を実行することで、処理済画像１８ｂを生成してもよい。この場合、関連領域１７ｂと処理済画像１８ｂは、図１２に示すように同一画像となる。この場合であっても、特定処理部６４がマーク４５を特定する処理を実行することにより、判定部５９ｄは上記と同様の判定結果を得ることができる。

以下、幾つかの実施形態に係るロボットアーム用のツールチェック装置５０、ロボットアーム用のツールチェックプログラム９５、ロボットアーム用のツールチェック方法を説明する。

（１）本発明の少なくとも一実施形態に係るロボットアーム用のツールチェック装置５０は、
ロボットアーム３０に装着されたツール４０の撮影画像１５に対して、前記ツール４０が満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域１７を抽出した処理済画像１８を生成するための画像処理部５５と、
前記処理済画像１８に基づき、前記ロボットアーム３０に装着された前記ツール４０が前記ツール条件を満たすかを判定するための判定部５９と
を備える。

上記（１）の構成によれば、ツール条件に関連付けられた関連領域１７が抽出されて、処理済画像１８が生成され、この生成された処理済画像１８に基づき、判定部５９はツール条件の充足の有無を判定する。よって、ツール４０がツール条件を満たすか精度良く判定できる。
また、処理済画像１８の元となる撮影画像１５を生成する撮影装置８は、画像分析処理（Ｓ３１）に利用される別の画像の生成も行う。つまり、撮影装置８が、ツール条件の充足の有無を判定するための画像を生成する機能と、画像分析処理用の画像を生成する機能とを兼用する。これにより、ツールチェック装置５０の構成の複雑化が回避され、ワーク加工システム１のコストの増大は抑制される。
また、上記の構成によれば、ツール条件の充足の有無を判定するための専用のセンサをツール４０に設ける必要がなくなる。例えばワーク５が生鮮肉となる実施形態では、ワーク５を加工する空間が湿潤になる傾向がある。このような実施形態においても、上記構成によれば、電子部品であるセンサがツール４０に設けられることに伴う防水対策及び防汚対策をツール４０に施す必要がなくなり、ツール条件の充足の有無を簡便に判定することができる。
また、ツール条件の充足の有無を判定する方法として、特定のツール４０しかロボットアーム３０に装着できない係合機構を、ロボットアーム３０とツール４０に設けることが考えられる。しかしながら、この方法では機構の複雑化を招き、また、ロボットアーム３０に装着させるツール４０の種類が制限されてしまう。さらに上記方法では、ツール種別に関するツール条件について判定することは可能であるが、ツール状態に関するツール条件について判定することは困難である（例えばクランパ４１の開閉状態を適正に判定することは困難である）。この点、上記の構成に係る一実施形態によれば、機構の複雑化、及び、ツール４０の種類の減少を回避しつつ、ツール種別だけでなくツール状態に関するツール条件についても判定が可能となる。

（２）幾つかの実施形態では、上記（１）の構成において、
ツールチェック装置５０ａは、前記処理済画像１８ａ（１８）の輝度値を取得するための輝度値取得部５６ａ、５６ｂ（５６）を備え、
前記判定部５９ａ、５９ｂ（５９）は、取得された前記輝度値に基づき、前記ツール条件の充足の有無を判定するように構成される。

上記（２）の構成によれば、ツール条件の充足の有無について、判定部５９ａ、５９ｂは処理済画像１８ａの輝度値に基づいて定量的な判定を実行できる。よって、ツール４０がツール条件を満たすか精度良く判定できる。

（３）幾つかの実施形態では、上記（２）の構成において、
前記輝度値取得部５６ａは、前記処理済画像１８ａ（１８）における輝度値の総和Ｘ_２を取得するように構成され、
前記判定部５９ａは、取得された前記輝度値の前記総和Ｘ_２に基づき、前記ツール条件の充足の有無を判定するように構成される。

上記（３）の構成によれば、判定部５９ａは、処理済画像１８ａの全領域にわたる輝度値の総和に基づき、ツール条件の充足の有無を判定する。従って、ツール４０の撮影条件が変化したときであっても、ツール条件の充足の有無について精度良く判定することができる。
なお、ツール４０の撮影条件は、撮影時のツール４０の位置、ツール４０以外の物体（例えばワーク５）の映り込みの程度、撮影装置８の位置の微小な変化、又はこれらの組み合わせを含む。

（４）幾つかの実施形態では、上記（２）の構成において、
前記輝度値取得部５６ｂは、前記処理済画像１８ａ（１８）における画素ごとの輝度値であるＢ_ｉｊ（ｉは前記処理済画像１８の横方向における画素数以下の任意の自然数であり、ｊは縦方向における画素数以下の任意の自然数）及び、前記ツール条件に対応して前記画素ごとに設定された輝度値であるＢｓ_ｉｊとを用いた以下の式（１）によって特定される輝度値の差分の総和Ｘ_２を取得するように構成され、
前記判定部５９ｂは、取得された前記輝度値の差分の総和Ｘ_１に基づき、前記ツール条件の充足の有無を判定するように構成される。

上記（４）の構成によれば、式（１）で特定される差分の総和Ｘ_１はツール条件の充足の有無に応じて変化するので、ツール４０がツール条件を満たすか精度良く判定できる。

（５）幾つかの実施形態では、上記（１）の構成において、
ツールチェック装置５０ｂは、
前記処理済画像１８に関するデータが入力されると、前記ツール４０が前記ツール条件を満たすかに関する評価データを出力するように構成された学習済モデル５７を記憶した記憶部と、
前記画像処理部５５ａ（５５）によって生成された前記処理済画像１８ａ（１８）を前記学習済モデル５７に入力することで出力される前記評価データを取得するための評価データ取得部５８とを備え、
前記判定部５９ｃ（５９）は、取得された前記評価データに基づき、前記ツール条件の充足の有無を判定するように構成される。

上記（５）の構成によれば、判定部５９ｃは、学習済モデル５７から出力される評価データに基づき、ツール条件の充足の有無を判定する。従って、ツール４０がツール条件を満たすか精度良く判定できる。

（６）幾つかの実施形態では、上記（１）の構成において、
前記画像処理部５５は、マーク４５が付された外表面４６を有する前記ツール４０の前記ツール条件に関連付けられた前記画像処理を前記撮影画像１５に対して施し、
ツールチェック装置５０ｃ（５０）は、生成された前記処理済画像１８ｂ（１８）に対して、前記マーク４５を特定する処理を実行するための特定処理部６４を備え、
前記判定部５９ｄは、前記特定処理部６４による処理の結果に基づき、前記ツール条件の充足の有無を判定するように構成される。

上記（６）の構成によれば、上記構成によれば、ツール条件の充足の有無に応じて特定処理部６４の特定結果が変化するよう、ツール条件に関連付けられた処理済画像１８ｂ（１８）が生成されれば、ツール４０がツール条件を満たすか精度良く判定できる。

（７）幾つかの実施形態では、上記（６）の構成において、
前記特定処理部６４は、前記マーク４５としての文字を特定する処理を前記処理済画像１８ｂに対して実行するように構成される。

上記（７）の構成によれば、特定処理部６４によるマーク４５としての文字を特定する処理の結果に基づき、判定部５９ｄはツール条件の充足の有無を判定する。よって、ツール４０がツール条件を満たすか精度良く判定できる。

（８）幾つかの実施形態では、上記（１）から（７）のいずれかの構成において、
ツールチェック装置５０は、
前記判定部５９ａ、５９ｂ（５９）により前記ツール条件が充足されると判定された後の前記ロボットアーム３０の作業予定に応じて、前記ツール条件を取得するための条件取得部５１と、
前記画像処理部５５ａ（５５）は、予め用意された複数の前記ツール条件のうち、前記条件取得部５１により取得された前記ツール条件に関連付けられた前記画像処理を前記撮影画像１５に対して施し、
前記判定部５９ａ、５９ｂ（５９）は、前記条件取得部５１により取得された前記ツール条件の充足の有無を判定するように構成される。

上記（８）の構成によれば、ロボットアーム３０の作業予定に対応したツール条件について、判定部５９ａ、５９ｂは充足の有無を判定する。よって、予定されている作業をロボットアーム３０が実行すべきかどうか、判定部５９ａ、５９ｂは精度良く判定できる。

（９）幾つかの実施形態では、上記（１）から（８）のいずれかの構成において、
前記画像処理部５５ａ（５５）は、前記撮影画像１５に対して、前記ツール条件に関連付けられた基準画像１４を用いてマスク処理を施し、前記ツール条件に関連付けられた前記関連領域１７を抽出した画像を前記処理済画像１８として生成するように構成される。

上記（９）の構成によれば、判定部５９ａ、５９ｂは、ツール４０がツール条件を満たすか処理済画像１８ａ（１８）に基づいて精度良く判定できる。

（１０）本発明の少なくとも一実施形態に係るロボットアーム用のツール４０をチェックするためのツールチェックプログラム９５は、
コンピュータに、
ロボットアーム３０に装着された前記ツール４０の撮影画像１５に対して、前記ツール４０が満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域１７を抽出した処理済画像１８を生成するための画像処理ステップ（Ｓ１９）と、
前記処理済画像１８に基づき、前記ロボットアーム３０に装着された前記ツール４０が前記ツール条件を満たすかを判定するための判定ステップ（Ｓ２３）と
を実行させる。

上記（１０）の構成によれば、上記（１）と同様の理由により、ツール４０がツール条件を満たすか精度良く判定できる。

（１１）本発明の少なくとも一実施形態に係るロボットアーム用のツール４０をチェックするための方法は、
ロボットアーム３０に装着された前記ツール４０の撮影画像１５に対して、前記ツール４０が満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域１７を抽出した処理済画像１８を生成するための画像処理工程（Ｓ１９）と、
前記処理済画像１８に基づき、前記ロボットアーム３０に装着された前記ツール４０が前記ツール条件を満たすかを判定するための判定工程（Ｓ２３）と
を備える。

上記（１１）の構成によれば、上記（１）と同様の理由により、ツール４０がツール条件を満たすか精度良く判定できる。

以上、本開示の実施形態について説明したが、本開示は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態も含む。

例えば、上述した第１～第３の実施形態の少なくとも２つが組み合わさった実施形態が採用されてもよい。
具体的な一例として、輝度値取得部５６の取得結果と、学習済モデル５７の出力結果に基づいて、ツール条件の充足の有無が判定されてもよい。この場合、輝度値取得部５６の取得結果と、学習済モデル５７の出力結果の双方がツール条件を満たしていることを示している場合のみ、判定部５９はツール条件が満たされていると判定してもよい。これにより、実際のツール４０はツール条件を満たしていないにも関わらず、判定部５９がツール条件を満たしていると誤判定することを抑制できる。
別の一例として、輝度値取得部５６の取得結果と、学習済モデル５７の出力結果のいずれか一方だけでもツール条件を満たしていることを示いれば、ツール条件が満たされていると判定されてもよい。これにより、実際のツール４０がツール条件を満たしているにも関わらず、判定部５９がツール条件を満たしていないと誤判定することを抑制できる。

１４ ：基準画像
１７ ：関連領域
１８ ：処理済画像
３０ ：ロボットアーム
４０ ：ツール
４１、４１ａ：クランパ
４２、４２Ｌ、４２Ｒ ：チャック
４３、４３Ｌ、４３Ｒ ：ナイフ
４５ ：マーク
４６ ：外表面
５０ ：ツールチェック装置
５１ ：条件取得部
５４ ：記憶部
５５ ：画像処理部
５６ ：輝度値取得部
５７ ：学習済モデル
５７ａ～５７ｈ ：学習済モデル
５８ ：評価データ取得部
５９ ：判定部
６４ ：特定処理部
９５ ：ツールチェックプログラム

Claims (11)

1. ロボットアームに装着されたツールの撮影画像に対して、前記ツールが満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域を抽出した処理済画像を生成するための画像処理部と、
   前記処理済画像に基づき、前記ロボットアームに装着された前記ツールが前記ツール条件を満たすかを判定するための判定部と
   を備えるロボットアーム用のツールチェック装置。
2. 前記処理済画像の輝度値を取得するための輝度値取得部を備え、
   前記判定部は、取得された前記輝度値に基づき、前記ツール条件の充足の有無を判定するように構成された請求項１に記載のロボットアーム用のツールチェック装置。
3. 前記輝度値取得部は、前記処理済画像における輝度値の総和を取得するように構成され、
   前記判定部は、取得された前記輝度値の前記総和に基づき、前記ツール条件の充足の有無を判定するように構成された請求項２に記載のロボットアーム用のツールチェック装置。
4. 前記輝度値取得部は、前記処理済画像における画素ごとの輝度値であるＢ_ｉｊ（ｉは前記処理済画像の横方向における画素数以下の任意の自然数であり、ｊは縦方向における画素数以下の任意の自然数）及び、前記ツール条件に対応して前記画素ごとに設定された輝度値であるＢｓ_ｉｊとを用いた以下の式（１）によって特定される輝度値の差分の総和Ｘ_１を取得するように構成され、
   前記判定部は、取得された前記輝度値の差分の総和Ｘ_１に基づき、前記ツール条件の充足の有無を判定するように構成された請求項２に記載のロボットアーム用のツールチェック装置。
   

   
5. 前記処理済画像に関するデータが入力されると、前記ツールが前記ツール条件を満たすかに関する評価データを出力するように構成された学習済モデルを記憶した記憶部と、
   前記画像処理部によって生成された前記処理済画像を前記学習済モデルに入力することで出力される前記評価データを取得するための評価データ取得部とを備え、
   前記判定部は、取得された前記評価データに基づき、前記ツール条件の充足の有無を判定するように構成された請求項１に記載のロボットアーム用のツールチェック装置。
6. 前記画像処理部は、マークが付された外表面を有する前記ツールの前記ツール条件に関連付けられた前記画像処理を前記撮影画像に対して施し、
   生成された前記処理済画像に対して、前記マークを特定する処理を実行するための特定処理部を備え、
   前記判定部は、前記特定処理部による処理の結果に基づき、前記ツール条件の充足の有無を判定するように構成された請求項１に記載のロボットアーム用のツールチェック装置。
7. 前記特定処理部は、前記マークとしての文字を特定する処理を前記処理済画像に対して実行するように構成された請求項６に記載のロボットアーム用のツールチェック装置。
8. 前記判定部により前記ツール条件が充足されると判定された後の前記ロボットアームの作業予定に応じて、前記ツール条件を取得するための条件取得部と、
   前記画像処理部は、予め用意された複数の前記ツール条件のうち、前記条件取得部により取得された前記ツール条件に関連付けられた前記画像処理を前記撮影画像に対して施し、
   前記判定部は、前記条件取得部により取得された前記ツール条件の充足の有無を判定するように構成された請求項１から７のいずれかに記載のロボットアーム用のツールチェック装置。
9. 前記画像処理部は、前記撮影画像に対して、前記ツール条件に関連付けられた基準画像を用いてマスク処理を施し、前記ツール条件に関連付けられた前記関連領域を抽出した画像を前記処理済画像として生成するように構成された請求項１から８のいずれかに記載のロボットアーム用のツールチェック装置。
10. ロボットアーム用のツールをチェックするためのプログラムであって、
    コンピュータに、
    ロボットアームに装着された前記ツールの撮影画像に対して、前記ツールが満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域を抽出した処理済画像を生成するための画像処理ステップと、
    前記処理済画像に基づき、前記ロボットアームに装着された前記ツールが前記ツール条件を満たすかを判定するための判定ステップと
    を実行させるためのロボットアーム用のツールチェックプログラム。
11. ロボットアーム用のツールをチェックするための方法であって、
    ロボットアームに装着された前記ツールの撮影画像に対して、前記ツールが満たすべきツール種別又はツール状態に関するツール条件に関連付けられた画像処理を施し、前記ツール条件に関連付けられた関連領域を抽出した処理済画像を生成するための画像処理工程と、
    前記処理済画像に基づき、前記ロボットアームに装着された前記ツールが前記ツール条件を満たすかを判定するための判定工程と
    を備えるロボットアーム用のツールチェック方法。

Images