JP2010184308A - ワーク取り出し装置 - Google Patents

Abstract

【課題】パレットからワークを１つ１つ取り出す際に、重なっているワークの上下を実用的な時間で安定的に判断するワーク取り出し装置を提供する。
【解決手段】複数のワークの少なくとも一部が上下方向で重なっている場合に、複数のワークから任意の２個のワークを選択し、取得されている個々のワークの位置と姿勢、及びワークの寸法情報から、２個のワークが重なる重なり領域を求める重なり領域推定部８と、重なり領域推定部８によって求められた重なり領域に、２個のワークのうちのいずれかのワークの円柱形状部分が含まれる場合に、重なり箇所の画像の個々の画素に対する勾配情報を算出する勾配情報算出部９と、勾配情報算出部９によって算出された勾配情報から、２個のワークのうちのいずれかのワークが上側に位置するかを判断する上下関係判断部１０と、を備える。
【選択図】図４

Description

本発明は、パレットなどからワークを取り出すためのワーク取り出し装置に関する。

パレットやかごなどからワークをロボットにより取り出すためのワーク取り出し装置又は方法の一例が、特許文献１〜５で開示されている。特許文献１〜５には、重なっているワークの上下を判断することが記載されており、パレットなどにばら積みされている多数のワーク中から、上側から順番にワークを取り出すことを可能とするものである。

特許文献1は、画像からワークの中心線を検出し、その検出された中心線の長さで最上位のワークを選択し、触覚センサによる接触によってワークの状態（位置および姿勢）を把握する、重なり部品の位置姿勢計測装置を開示する。部品の位置及び姿勢が計測されることで、重なり合った部品の中から所望の部品を選択され、その部品がロボットにより取り出される。特許文献１の第２頁の右欄の第１４行〜第２４行には、「機能の異なる複数のセンサを組み合わせて用いれば、より簡単に３次元的情報の収集が行えると思われる。そこでこの発明では視覚センサに加えて触覚センサを併用し、前者の触覚系において、ばら積みされた部品の中から把持対象となる最上位の部品を認識し、その存在領域を探査範囲として後者の触覚系に与える。触覚系においては、与えられた探査区範囲内で部品と接触することにより、その部品の位置および姿勢の情報が得られる。このようにすれば、触覚センサはある限定された領域のみを検出すればよいので効率良く３次元情報を得ることができる。」と記載されている。

特許文献２は、ワーク全体の形状および部分の形状を代表する特徴の見え方（特に数）によってワークを取り出す優先度を決定する、ワーク取出し装置を開示する。ロボットによって、優先度の最も高いワークから順番に取り出される。特許文献２の段落番号［００２２］には、ワークを取り出す優先度を決定するために検出される全体特徴情報と部分特徴情報の記載があり、「・・・図２（ａ）に示した全体特徴情報は、１個のワーク４１の特定の部分を代表するのではなく、全体を代表するものとなっている。本例では、ワーク４１の全体を上方から見た場合の主要な輪郭線が全体特徴情報を構成している。これに対して、図２（ｂ）に示した部分特徴情報は、全体特徴情報であるワーク全体の主要輪郭線から、６つの部分の輪郭線が選択され、それぞれが部分特徴とされている。そして、６個の部分特徴のそれぞれが存在する部分領域が、符号５１〜５６で示された「部分特徴検出領域」となっている。換言すれば、各部分特徴検出領域５１〜５６の中に示されたワーク輪郭線が、本例における部分特徴情報である。なお、符号５０は全体特徴情報の原点を示しており、この原点と部分特徴情報５１〜５６の相対位置関係も部分特徴検出領域情報に含まれる。」と記載されている。

特許文献３では、検出した複数の平板状のワークの位置と姿勢から重なり領域をもとめ、その重なり領域で局所的特徴マッチングを行うことによって、重なっているワークの上下を判断する、重なり状態認識方法を開示する。特許文献３の段落番号［００１１］の第１１行〜第２５行には、局所的特徴マッチングについての記載があり、「・・・この重なり領域内にて特徴マッチングしたシーンの特徴長さの成分の合計が大きい（長い）方を上位物体のマッチングとする。重なり領域で抽出した全特徴について、この重なり領域でマッチングした特徴が少ない場合は更に次の処理を行なう。すなわち、重なり領域で抽出した特徴で上下どちらのモデルにもマッチングしなかった特徴を上下どちらかのモデルに振り分ける。この場合モデルの仮設位置の特徴とマッチングしていない特徴との距離を求め、設定値以下であれば、どちらかのモデルにマッチング特徴として帰属させる。この場合の距離は、特徴中心の距離と、特徴長さの差と、特徴方向の差との全ての和とする。（ｊ）対象物体候補全ての重なり領域抽出と局所的特徴マッチングを行なった後、候補全ての上下関係を求める。」と記載されている。

特許文献４は、複数のステレオ画像によって得たワークの３次元計測結果を基に、最上位置のワークを選択する、ピッキング装置を開示する。特許文献４の段落番号［００１４］〜［００１８］には、ステレオマッチング方法におけるステレオペア毎の物体の位置・姿勢を求める方法が記載されている。段落番号［００１５］には、ステレオ３次元計測についての記載があり、「・・・ステレオ３次元計測は、基準画像中から抽出した直線上に設定した小領域３２ａ〜３２ｄに対応する領域が、もう一方の画像（以降、「参照画像」と呼ぶ）の中のどこにあるかを求める、いわゆるエリアベースのステレオマッチングにより行われ、各領域毎に３次元データが計測される。その際に得られる対応する小領域同士の類似度を各領域毎に記憶しておく。その後、直線３１上の各領域３次元データから、直線３１の３次元情報（位置・方向）を求めると同時に、直線３１上の各領域のステレオマッチング時の類似度を全て加算して、その直線の計測信頼度とする。次に、直線３１ａ〜３１ｄが基準画像の水平方向となす角度を各々求め、（式１）により算出される係数αを、各々の直線の計測信頼度に乗じる。」と記載されている。

特許文献５は、ワークの輪郭線の周囲のエッジを求め、ワークが重なっている領域の輪郭線を選択し、その輪郭線の近傍かつそれに直交する方向のエッジ強度を求め、それらの合計値を元にワークの上下を判断する、物体の位置認識装置を開示する。特許文献５の段落番号［００１９］〜［００２１］には、ワークの上下を判断する上下判定部１５の処理についての記載がある。段落番号［００２０］には、濃淡画像にソーベルフィルタを施し、水平方向及び垂直方向における勾配値Ｇｈ，Ｇｖを求め、この勾配値Ｇｈ，Ｇｖからエッジの方向θとエッジ強度Ｇθを算出することにより、重なっているワークの重なり領域Ｒの境界を示すエッジを求めることが記載されている。すなわち、「エッジ検出機能について説明する。上下判定部１５は，濃淡画像に含まれる画像に対して，図４に示すソーベルフィルタを施し，水平方向，垂直方向における勾配値Ｇｈ，Ｇｖを求める。（ａ）は水平方向の，（ｂ）は垂直方向の勾配値を算出するためのソーベルフィルタである。そして，上下判定部１５は，エッジの方向θを式（１）にて算出し，更に，エッジ方向の勾配値であるエッジ強度Ｇθを式（２）にて算出する。・・・図５は，エッジの分布を表す模式図であり，例として，エッジ検出領域Ｒａ1の内部について示している。図５にて，エッジは矢印ａ10〜ａ19のように分布している。エッジ検出領域Ｒａ1 では，検出部品Ｐ1 と検出部品Ｐ2 とが重なる部分で検出部品の表面の段差が生じる。従って，この部分を撮像して得られた濃淡画像では，２つの検出部品Ｐ1 ，Ｐ2 の輪郭線Ｆ8 ，Ｆ9 の境界部分で高濃度領域Ｒｈ（斜線にて示す）が生じる。この高濃度領域Ｒｈと周辺の低濃度領域との間でエッジ強度は最大となるので，エッジが矢印ａ11，ａ13，ａ14，ａ15，ａ17，ａ19のように分布する。」と記載されている。また、段落番号［００２１］には、エッジ強度の合計値を算出して部品の上下を判定する記載、すなわち「上下判定部１５は，これらのエッジａ10〜ａ19の内，検出部品Ｐ1 の輪郭線Ｆ8 に直交する方向に近いエッジを選択する。これにより，異なる検出部品が重なった段差によるエッジａ11，ａ13，ａ14，ａ15，ａ17，ａ19のみが選択され，表面の模様，汚れや表面反射等によるエッジａ10，ａ12，ａ16，ａ18は除外される。そして，上下判定部１５は，選択したエッジの強度の合計値を算出する。選択したエッジａ11，ａ13，ａ14，ａ15，ａ17，ａ19のそれぞれの強度をＧａ11，Ｇａ13，Ｇａ14，Ｇａ15，Ｇａ17，Ｇａ19とすると，エッジ強度の合計値Ｓａ1 は，Ｓａ1 ＝Ｇａ11＋Ｇａ13＋Ｇａ14＋Ｇａ15＋Ｇａ17＋Ｇａ19の式にて算出される。上下判定部１５は，上述した処理と同様の処理を他のエッジ検出領域Ｒａ2 ，Ｒｂ1 ，Ｒｂ2 に対しても施し，それぞれでエッジ強度の合計値Ｓａ2 ，Ｓｂ1，Ｓｂ2 を算出する。そして，上下判定部１５は，強度合計値Ｓａ1 ，Ｓａ2 ，Ｓｂ1 ，Ｓｂ2 について，Ｓａ1 ＋Ｓａ2 ＞Ｓｂ1 ＋Ｓｂ2 であれば，検出部品Ｐ2 の上にＰ1 があり，Ｓａ1 ＋Ｓａ2 ＜Ｓｂ1 ＋Ｓｂ2 であれば，検出部品Ｐ1 の上にＰ2 があると判定する。これにより，ロボットによりピックアップする部品の順序が決定される。」という記述がある。

特公平７−２７５５９号公報 特開２００４−０５０３９０号公報 特開平９−５３９１５号公報 特開２０００−０９４３７４号公報 特開平８−２７１２２３号公報

しかしながら、特許文献１については、例えばワーク同士がつながった場合、求められた中心線の長さは必ずしも正確ではなく、また、その照合のために触覚センサを移動させる際には、接触時にワークの位置が変わらないように低速で動かす必要があり、サイクルタイムの面でも問題がある。特許文献2は、本願が対象としている円柱形状のワークに対しては、それが一般的に外周部に明確な特徴がなく文献2の発明で必要としているワークを代表する特徴を持たないため、適用することが難しい。特許文献3は、扱うワークが平板状、その中でも特に円形状のものに限定した手法であり、円柱形状のワークだと一般的外周部に明確な特徴がなく、文献２と同様、本願で意図しているワークに適用することは難しい。特許文献4は、３次元計測を行うために、直線など明確な形状特徴を必要としており、円柱形状のような特徴の乏しいワークには向かない上、複数台のカメラを特定の位置関係に配置することが求められ、装置が複雑で高価になりやすいという構成上の制約がある。特許文献5は、円柱形状のワークである場合、ワークの輪郭線自体があいまいなため、輪郭線の周囲を特定したり、輪郭線に直交するエッジを選択すること自体が困難である。また、エッジの強度の合計値で比較するため、一部に輪郭線に直交するような強いノイズがあると、その判断がそのノイズに引きずられ易いという問題がある。

本発明は、上記した点に鑑み、円柱形状部分を有する複数のワークを、パレットなどにランダムに置かれている状態からワークを１つ１つ取り出す際に、重なっているワークの上下を実用的な時間で安定的に判断し、安全かつ確実にワークを取り出すことができるワーク取り出し装置を提供することを目的とする。

上記目的を達成するために、請求項１記載のワーク取り出し装置は、カメラにより撮像されたワークの画像を処理することにより、円柱形状部分を有する前記ワークの位置及び姿勢を求めて、前記ワークをロボットにより取り出すワーク取り出し装置であって、複数のワークから任意に選択された２個のワークが上下方向で重なっている場合に、個々のワークの位置と姿勢及び寸法情報から重なり箇所の領域を求める重なり領域推定部と、該重なり領域推定部によって求められた前記重なり箇所に、前記２個のワークのうちのいずれかのワークの前記円柱形状部分が含まれる場合に、前記重なり箇所の画像の個々の画素に対する勾配情報を算出する勾配情報算出部と、該勾配情報算出部によって算出された前記勾配情報に基づいて、前記２個のワークのうちのいずれかのワークが上側に位置するかを判断する上下関係判断部と、を備えている。

また、請求項２記載の発明は、請求項１記載のワーク取り出し装置において、前記ワークの位置及び姿勢は、前記ワークの少なくとも一部の画像に基づいて求められたものである。

また、請求項３記載の発明は、請求項１又は２に記載のワーク取り出し装置において、前記ワークの寸法情報は、前記ワークの少なくとも一部の画像に基づいて求められたもの、または予め求められているものである。

また、請求項４記載の発明は、請求項１〜３のいずれか１項に記載のワーク取り出し装置において、前記勾配情報が算出される前記重なり箇所の画像は、前記ワークの位置及び姿勢を求めた際に用いた画像の一部である。

また、請求項５記載の発明は、請求項１〜３のいずれか１項に記載のワーク取り出し装置において、前記勾配情報が算出される前記重なり箇所の画像は、前記ワークの位置及び姿勢を求める際に用いた画像とは別に、前記重なり箇所を含むように前記カメラによって別途撮像された画像である。

また、請求項６記載の発明は、請求項１〜５のいずれか１項に記載のワーク取り出し装置において、さらに、前記上下関係判断部によって判断された個々の結果を総合し、個々のワークに対して前記複数のワークの中から上側に位置する前記ワークを順次取り出す際の取り出し優先度を決定する取り出し優先度決定部を備えている。

また、請求項７記載の発明は、請求項１〜６のいずれか１項に記載のワーク取り出し装置において、前記勾配情報が算出される画像は濃度変化を示す濃淡画像であり、前記勾配情報の勾配は前記濃度変化の度合いである。

また、請求項８記載の発明は、請求項１〜６のいずれか１項に記載のワーク取り出し装置において、前記勾配情報が算出される画像は高さ変化を示す距離画像であり、前記勾配情報の勾配は前記高さ変化の度合いである。

また、請求項９記載の発明は、請求項１〜６のいずれか１項に記載のワーク取り出し装置において、前記勾配情報が算出される画像は色変化を示すカラー画像であり、前記勾配情報の勾配は前記色変化の度合いである。

本発明で開示している、2つの円柱形状部分を有するワークの上下の判断は、重なり箇所の領域全体を利用しているため、特許文献５のように一部の限定された箇所のノイズに大きく左右されることがなく、安定した信頼性の高い判断を行うことができる。また、特許文献１のようにワークに対する接触を伴わないため、実用的な短い時間で上下の判断を行うことができる。さらに特許文献４のように複雑な構成を必要としないため、安価に実現することができる。その結果、安定的に、実用的な時間で、安価な構成で、円柱形状部を有する複数個のワークを、パレット内にランダムに置かれている状態から安全かつ確実に１つ１つ取り出す装置を実現することができる。

本発明の一実施形態のワーク取り出し装置の全体構成を示す図である。 本実施形態のワーク取り出し装置の機能ブロック図である。 ワーク取り出し装置の変形例を示す機能ブロック図である。 画像処理装置の詳細図である。 ワークを取り出す一連の流れを示すフローチャートである。 ワークを取り出し優先度を決める流れを示すフローチャートである。 （ａ）は円柱形状のワークを示す平面図、（ｂ）は（ａ）の側面図である。 図７に示すワークの中心線を示す図である。 二つのワークが重なり合っている状態を示す平面図である。 図９に示す二つのワークの中心線が交差している状態を示す図である。 同じく図９に示す二つのワークの重なり合っている領域を示す図である。 重なり合っている二つのワークを含む画像に対してソーベルフィルタを掛けて得られた勾配の向きを示す図である。 ワークの変形例を示す平面図である。 ワークの他の変形例を示す平面図である。 図１４に示す二つのワークの重なり合っている領域が画像の外であることを示す図である。

図１は、本発明に係るワーク取り出し装置の一実施形態の全体構成を示した図である。多数の円柱状のワークＷは、パレット６内でランダムにばら積みされた状態で収容されている。個々のワークＷは、本発明に係るワーク取り出し装置により、上下の判断がなされると共に、位置及び姿勢が求められ、ロボット２により上から順番に取り出されるようになっている。ワークＷは全体が円柱状をなすものに制限されるものではなく、図１３や図１４に示されるように、少なくとも一部に円柱状部分を有するものや、少なくとも一部に曲面部分を有するもの全てを対象とすることができる。本発明のワーク取り出し装置は、ワークＷを把持するハンドを備えたロボット２と、ロボット２を制御するロボット制御装置１２と、カメラ３などで撮像されたワークＷの画像を処理して、重なっているワークＷの上下判断やワークＷの位置及び姿勢を求める画像処理装置１３とを含んでいる。以下において、本発明に係るワーク取り出し装置の一実施形態について、図面を参照しながら詳細な説明を行うが、本発明に係るワーク取り出し装置は、以下の実施形態に限定されるものではない。

ロボット２は公知のロボットマニピュレータ（以下、ロボット１）であり、ハンド５が作業を行う位置及び姿勢に到達可能であればその機構は制限されるものではない。ロボット２は、ハンド５によりパレット６から取り出されるワークＷの位置及び姿勢を検出するセンサとして、カメラ３と三次元視覚センサ４を備えている。カメラ３は、この例ではロボット２に取り付けられているが、パレット６上方のカメラ架台（図示せず）に固定することも可能である。カメラ３で撮像されたワークＷの画像から、モノトーンの濃淡画像及びカラー画像がモニタのディスプレイに表示されるようになっている。三次元視覚センサ４は、カメラ（不図示）と、レーザスリット投光器（不図示）とからなっており、レーザが投光されている箇所の高さの計測及び、平面や円柱といったモデルが幾何学的に定まっているワークＷについての位置及び姿勢の計測が可能である。また、三次元視覚センサ４は、ロボット２の動作と組み合わせて、ワークＷの距離画像を取得可能となっている。距離画像も濃淡画像及びカラー画像と同様に処理されて、重なっているワークＷの上下の判断に使用されることができる。なお、カメラ３と三次元視覚センサ４のカメラは同種のものでもよく、またカラーカメラでもモノクロカメラでもよく、カラーカメラの場合は、ワークＷの特定の色情報を取り出して、モノクロカメラと同じ処理を行うことで、特定された色の濃淡画像を得ることができる。また、カメラ３と三次元視覚センサ４を二つ備える必要はないが、二つ備えることでワークＷの取り出しをより正確で安全に行うことができる。

図２及び図３には、ワーク取り出し装置１と１Ａの機能ブロック図がそれぞれ示されているが、これに制限されるものではない。図２のワーク取り出し装置１では、ロボット制御装置１２と画像処理装置１３が独立しており、通信インターフェースを介して装置間の情報がやり取りされる。ロボット２の動作教示は教示操作盤１４を用いて行われ、カメラ３や三次元視覚センサ４の設定は画像処理装置１３を介してインターフェースとしてのモニタ１５や入力補助装置１７を用いてそれぞれ行われる。また、ロボット２の状態は教示操作盤１４のディスプレイに表示され、カメラ３や三次元視覚センサ４の状態はモニタ１５のディスプレイに表示される。図２のワーク取り出し装置１の変形例として示された図３のワーク取り出し装置１Ａでは、画像処理装置１３がロボット制御装置１６に内蔵されており、ロボット２とカメラ３や三次元視覚センサ４は同一の制御装置１６で制御される。ロボット２の動作教示、カメラ３や三次元視覚センサ４の設定はともに教示操作盤１４を用いて行われる。ロボット２の状態及びカメラ３や三次元視覚センサ４の状態は、教示操作盤１４に表示することができる。また、通信インターフェースを介して、カメラ３や三次元視覚センサ４の設定や状態の確認を容易にする目的で入力補助装置１７及びモニタ１５を使用することもできる。入力補助装置１７及びモニタ１５は自動運転中に取り外すことも可能である。また、画像処理装置１３内にはメモリが内蔵されており、ワークＷの寸法情報のデータ等を格納すること、及び格納したデータを参照することができる。

図４には、ワーク取り出し装置１に含まれる画像処理装置１３の詳細図が示されている。画像処理装置１３は、複数（多数）のワークＷから任意の二つのワークＷを選択（特定）し、個々のワークＷの位置及び姿勢と寸法情報から、二つのワークＷが上下に重なっているかどうかを判断する重なり判断部７と、重なり判断部７で二つのワークＷが重なっていると判断された場合に、二つのワークＷが上下に重なっている画像にソーベルフィルタを掛けて重なり箇所のエッジ（線要素）を検出して、重なり箇所の領域を求める重なり領域推定部８と、重なり領域推定部８によって求められた重なり箇所の画像の個々の画素に対する濃淡の変化率の度合いを示す勾配の方向ベクトルを重なり箇所の領域全体について算出する勾配情報算出部９と、勾配情報算出部９によって算出された勾配の方向ベクトルと二つのワークＷの中心線ＣＬに沿う方向の単位ベクトルとの内積をそれぞれ算出し、内積の絶対値が小さい方の画素数の総和と重なり箇所の領域全体の画素数との比率を算出し、算出された比率とワークＷの形状などにより定まる閾値とを比較して二つのワークＷのうちのいずれかのワークＷが上側に位置するかを判断する上下関係判断部１０と、上下関係判断部１０によって判断された個々の結果を総合し、個々のワークＷに対して順次取り出す際の取り出し優先度を付す取り出し優先度決定部１１と、を備えている。

図５には、図７に示す円柱形状のワークＷをパレット６から取り出す際のワーク取り出し装置１の処理の流れが示されている。ステップＳ１では、ロボット２によってカメラ３をパレット６上に移動し、パレット６内の画像を取得し、検出されたワークＷの数をＮ個とする。ステップＳ２では、画像から検出されたワークＷの数が０個ならば、カメラ３の位置を変えて、ステップＳ１に戻る。画像からワークＷが検出された場合は、ステップＳ３において、検出された多数のワークＷに対して、ワーク１〜ワークＮというように仮の識別番号を付けて区別する。仮の識別番号は、後述する取り出し優先度に相当する値であり、その初期値を０とする。ステップＳ４では、多数のワークＷの中から任意に二つのワークＷを順次選んで、その二つのワークＷ同士の重なり判断を行い、重なり判断の結果によって、それぞれのワークＷの取り出し優先度を変更する。パレット６に収容されている多数のワークＷの中で、上に位置するワークＷの優先度は高くなり、下に位置するワークＷの優先度は低くなる。ステップＳ５では取り出し優先度が一番高いワークＷを選択し、ステップＳ６で選択したワークＷを三次元視覚センサ４で計測し、空間内に存するワークＷを正確に認識して、ステップＳ７でその結果を使ってワークＷをパレット６から取り出す。なお、空間内に存するワークＷの位置及び姿勢を認識する方法の一例として、本出願人により開示された特開２００８−２４６６３１号公報（特願２００７−０９１７３０）の「対象物取出装置」がある。この文献で開示されている方法では、円柱形状部分を形状モデルとして予め登録しておき、カメラにより取得された画像と登録された形状モデルとを照合することで、取り出す実際のワークを検出（認識）し、検出したワークの位置及び姿勢、形状モデルに対する大きさの推定を可能とするものである。形状モデルは、登録時に形状モデルと円柱形状部分の長手方向の中心線の位置及び方向とが関連付けて定義されることで、ワークの検出結果から中心線の位置と方向を決定することができる。

図６には、二つのワークＷの重なり判断及び取り出し優先度を決定する処理の流れが示されている。ステップＴ１では、検出した任意の二つのワークＷ、すなわちワークＩとワークＪが重なっているかどうかを判断する。ワークＩ（Ｗ）とワークＪ（Ｗ）とが図９のような状態で撮像されているものとして、それぞれのワークＩ（Ｗ），Ｊ（Ｗ）の全体を形状モデルとして登録し、事前に形状モデルと関連付けされた中心線ＣＬの位置と姿勢を求める。重なっている場合に交差する二本の中心線ＣＬとワークＩ，Ｊの寸法情報とから、ワークＩ，Ｊが重なっているかを判断する。ワークＩ，Ｊの寸法情報は、検出結果から得られるワークＩ，Ｊの大きさから求めても良いし、ステップＴ１の前にメモリ内の設定値から読み出す方法もあり（ステップＴ１０）、特定の方法に制限することを意図するものではない。ワークＩ，Ｊの重なりを判断する方法は複数考えられるが、本実施形態では、二本の中心線ＣＬの長さを、ワークＩ，Ｊの両端からワークＩ，Ｊの幅の半分だけ短く設定し、中心線同士が交わるかどうかで判断するようにしている。図８の例では、ワークＩ，Ｊの長さがＬ、直径がＤであったとき、本来Ｌの長さの中心線ＣＬを、ワークＩ，Ｊの両端からＤ／２ずつ、それぞれ短く設定している。この方法は、重なり判断の精度は若干低下するものの、演算量が少なく、高速な処理に適している。他にも、中心線ＣＬを直接使わずに、長さＬ、幅Ｄの長方形と考え、それぞれのワークＩ，Ｊに対応する長方形同士に重なり部があるかどうかで判断する方法も考えられるが、この方法は、重なり判断の精度は相対的には高いものの、演算量が多く、高速な処理には適さない。それぞれ、サイクルタイムや用途に応じて、使い分けることになる。

図９の例では、各ワークＩ，Ｊの中心線ＣＬは、図１０のようになることが分かる。これら二本の中心線ＣＬが交わるならば、ワークＩ，Ｊは重なっていると判断して、ステップＴ３に進む。中心線ＣＬが交わらない場合は、重なりがないものとして、ワークＩとワークＪの取り出し優先度の値をそれぞれ１だけ大きくして（ステップＴ２）重なり判断の処理を終える。図１０では中心線ＣＬが交わっているのでワークＩ，Ｊが重なっていると判断する。ワークＩ，Ｊが重なっていると判断された場合は、ステップＴ３において画像表示領域２０内で重なっているかどうかを判定する（図１５参照）。これは、二本の中心線ＣＬの交点の位置が、画像表示領域２０内の上下左右端から内側に向ってＤ／２の距離にある境界より外側にあるかどうかで判定する。交点がこの境界の外にあると判断された場合は、次に計算する重なり箇所の近傍領域が画像表示領域２０内に全て含まれていないものとし、ロボット２を移動するなどして、カメラ３あるいは三次元視覚センサ４で、交点近傍が画像の中心となるような画像を新たに撮像する（ステップＴ４）。交点近傍の箇所が定まったら、次に、重なり箇所の近傍領域を計算する（ステップＴ５）。図９の画像の場合、中心線ＣＬの位置及び姿勢と寸法情報から、重なっている箇所の近傍領域として、図１１に示されるように、ハッチングされた菱形形状の領域Ｕを求めることができる。次に、ステップＴ６でこの菱形形状の重なり領域Ｕの勾配方向の分布を求める。重なり領域Ｕの勾配方向の分布は、この領域Ｕにソーベルフィルタを掛けることで得ることができる。ソーベルフィルタに関しては、既に知られた技術であるので、ここでは説明しない。

図１２は、図９全体にソーベルフィルタを掛けて得られたワークＩ，Ｊの勾配方向の分布、すなわち、濃淡画像における濃淡の変化率の度合いとしての勾配の方向ベクトルの分布を視覚的に分かりやすくするために、矢印で示したものである。次に、ステップＴ７において、勾配方向の分布から二本のワークＩ，Ｊのどちらが上にあるかを決定する。図１１のように、ワークＩ，Ｊの中心線ＣＬと平行になるように、ワークＩの単位方向ベクトルＤＩと、ワークＪの単位方向ベクトルＤＪを定義する。円柱形状のワークの場合は、逆向きのベクトル−ＤＩ、−ＤＪも単位方向ベクトルと言えるが、どちらの方向のベクトルを採用しても構わない。領域Ｕに含まれる個々の画素について、その画素の勾配方向の単位方向ベクトルをΦとした時、内積（Φ，ＤＩ）の絶対値と、内積（Φ，ＤＪ）の絶対値とを比較し、内積（Φ，ＤＩ）の絶対値の方が小さい画素数の、領域Ｕ全体の画素数に対する割合（比率）Ｒを求める。割合Ｒに関して、０≦α＜β≦１が成立する。ワークの位置や姿勢や形状などに応じた閾値α，βを事前に定めておき、β≦Ｒ≦１ならば、一方のワークＩは他方のワークＪより上側にあると判断し、０≦Ｒ≦αならば他方のワークＪが一方のワークＩより上側にあると判断する。どちらでもない、つまり、α＜Ｒ＜βならば、上下の判断できなかったものとして終了する。

簡単な例として、図９の画像に基づいてワークＩ，Ｊの上下の判断をすると、図９の画像では、領域Ｕの中の全ての画素について、勾配の方向ベクトルΦはベクトルＤＩに直交しているため、内積（Φ，ＤＩ）は０であり、一方ΦはベクトルＤＪに直交しておらず内積（Φ，ＤＪ）の絶対値は０より大きいため、Ｒ＝１となり、ワークＩが上側にあると判断される。このワークＩとワークＪの重なり判断において、ワークＩが上側にあると判断された場合は、ワークＩの取り出し優先度の値を１大きくして、ワークＪの取り出し優先度の値を１小さくする（ステップＴ７）。逆に、ワークＪが上側にあると判断された場合は、ワークＪの取り出し優先度の値を１大きくして、ワークＩの取り出し優先度の値を１小さくする（ステップＴ９）。検出したワークの、全ての組み合わせに関して、このような上下の判断を行うことで、結果として、孤立しているワーク、または、相対的に上方にあるワークの優先度が高くなり、そうしたワークを優先的に選択できるので、安全かつ確実に安定したワークの取り出しを行うことができる。

上の例では、ワーク全体を形状モデルとしたが、ワークの一部分だけをモデルとすることも可能であり、図１３に示されるワークＷＡを扱うこともできる。このようなワークＷＡを扱う場合、ワーク全体を形状モデルとして登録せずに、図１４のようにワークＷＡの一部を形状モデルとし、それを検出することによって、検出するための画像処理の時間を高速化し、ワークＷＡの位置と姿勢を決定することもできる。このようにワークＷＡの一部分を形状モデルとして扱う場合でも、図１３の例と同様に中心線ＣＬをモデルに関連付けておくことで、検出結果から重なりの有無を正しく判断し、それぞれの上下関係を判断することが可能である。図１５では、図１４で示されたワークＷＡの一部を検出することによって、形状が同一の二つのワークＷＡの位置及び姿勢を検出し、これらのワークＷＡの重なり箇所が画像の外であることが特定できたことを表している。

このように本実施形態によれば、重なっているワークＷの上下の判断は、重なり箇所の領域全体を利用しているため、一部の限定された箇所のノイズに大きく左右されることがなく、安定した信頼性の高い判断を行うことができる。また、実用的な短い時間で上下の判断を行うことができる。装置を比較的簡単に構成することができ、安価に実現することができる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。本実施形態では、濃淡画像における勾配の方向ベクトルを求めて、重なっているワークの上下の判断を行っているが、距離画像において高さ変化の度合いである勾配の方向ベクトルを求めたり、カラー画像において勾配は色変化の度合いである勾配の方向ベクトルを求めたりすることも可能である。

１ ワーク取り出し装置
２ ロボット
３ カメラ
４ 三次元視覚センサ
５ ハンド
６ パレット
７ 重なり判断部
８ 重なり領域推定部
９ 勾配情報算出部
１０ 上下関係判断部
１１ 取り出し優先度決定部
１２ ロボット制御装置
１３ 画像処理装置
１４ 教示操作盤
１５ モニタ
１６ ロボット制御装置
１７ 入力補助装置
ＣＬ 中心
Ｗ ワーク

Claims (9)

1. カメラにより撮像されたワークの画像を処理することにより、円柱形状部分を有する前記ワークの位置及び姿勢を求めて、前記ワークをロボットにより取り出すワーク取り出し装置であって、
   複数のワークから任意に選択された２個のワークが上下方向で重なっている場合に、個々のワークの位置と姿勢及び寸法情報から重なり箇所の領域を求める重なり領域推定部と、
   該重なり領域推定部によって求められた前記重なり箇所に、前記２個のワークのうちのいずれかのワークの前記円柱形状部分が含まれる場合に、前記重なり箇所の画像の個々の画素に対する勾配情報を算出する勾配情報算出部と、
   該勾配情報算出部によって算出された前記勾配情報に基づいて、前記２個のワークのうちのいずれかのワークが上側に位置するかを判断する上下関係判断部と、
   を備えた、ワーク取り出し装置。
2. 前記ワークの位置及び姿勢は、前記ワークの少なくとも一部の画像に基づいて求められたものである、請求項１に記載のワーク取り出し装置。
3. 前記ワークの寸法情報は、前記ワークの少なくとも一部の画像に基づいて求められたもの、または予め求められているものである、請求項１又は２に記載のワーク取り出し装置。
4. 前記勾配情報が算出される前記重なり箇所の画像は、前記ワークの位置及び姿勢を求めた際に用いた画像の一部である、請求項１〜３のいずれか１項に記載のワーク取り出し装置。
5. 前記勾配情報が算出される前記重なり箇所の画像は、前記ワークの位置及び姿勢を求める際に用いた画像とは別に、前記重なり箇所を含むように前記カメラによって別途撮像された画像である、請求項１〜３のいずれか１項に記載のワーク取り出し装置。
6. さらに、前記上下関係判断部によって判断された個々の結果を総合し、個々のワークに対して順次取り出す際の取り出し優先度を付す取り出し優先度決定部を備えている、請求項１〜５のいずれか１項に記載のワーク取り出し装置。
7. 前記勾配情報が算出される画像は濃度変化を示す濃淡画像であり、前記勾配情報の勾配は前記濃度変化の度合いである、請求項１〜６のいずれか１項に記載のワーク取り出し装置。
8. 前記勾配情報が算出される画像は高さ変化を示す距離画像であり、前記勾配情報の勾配は前記高さ変化の度合いである、請求項１〜６のいずれか１項に記載のワーク取り出し装置。
9. 前記勾配情報が算出される画像は色変化を示すカラー画像であり、前記勾配情報の勾配は前記色変化の度合いである、請求項１〜６のいずれか１項に記載のワーク取り出し装置。

Images