JP2010184308A - ワーク取り出し装置 - Google Patents

ワーク取り出し装置 Download PDF

Info

Publication number
JP2010184308A
JP2010184308A JP2009028968A JP2009028968A JP2010184308A JP 2010184308 A JP2010184308 A JP 2010184308A JP 2009028968 A JP2009028968 A JP 2009028968A JP 2009028968 A JP2009028968 A JP 2009028968A JP 2010184308 A JP2010184308 A JP 2010184308A
Authority
JP
Japan
Prior art keywords
workpiece
image
workpieces
gradient information
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009028968A
Other languages
English (en)
Other versions
JP5289087B2 (ja
Inventor
Kazukuni Ban
Ichiro Kanno
Kyohei Kokubo
一訓 伴
恭平 小窪
一郎 管野
Original Assignee
Fanuc Ltd
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Ltd, ファナック株式会社 filed Critical Fanuc Ltd
Priority to JP2009028968A priority Critical patent/JP5289087B2/ja
Publication of JP2010184308A publication Critical patent/JP2010184308A/ja
Application granted granted Critical
Publication of JP5289087B2 publication Critical patent/JP5289087B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】パレットからワークを1つ1つ取り出す際に、重なっているワークの上下を実用的な時間で安定的に判断するワーク取り出し装置を提供する。
【解決手段】複数のワークの少なくとも一部が上下方向で重なっている場合に、複数のワークから任意の2個のワークを選択し、取得されている個々のワークの位置と姿勢、及びワークの寸法情報から、2個のワークが重なる重なり領域を求める重なり領域推定部8と、重なり領域推定部8によって求められた重なり領域に、2個のワークのうちのいずれかのワークの円柱形状部分が含まれる場合に、重なり箇所の画像の個々の画素に対する勾配情報を算出する勾配情報算出部9と、勾配情報算出部9によって算出された勾配情報から、2個のワークのうちのいずれかのワークが上側に位置するかを判断する上下関係判断部10と、を備える。
【選択図】図4

Description

本発明は、パレットなどからワークを取り出すためのワーク取り出し装置に関する。

パレットやかごなどからワークをロボットにより取り出すためのワーク取り出し装置又は方法の一例が、特許文献1〜5で開示されている。特許文献1〜5には、重なっているワークの上下を判断することが記載されており、パレットなどにばら積みされている多数のワーク中から、上側から順番にワークを取り出すことを可能とするものである。

特許文献1は、画像からワークの中心線を検出し、その検出された中心線の長さで最上位のワークを選択し、触覚センサによる接触によってワークの状態(位置および姿勢)を把握する、重なり部品の位置姿勢計測装置を開示する。部品の位置及び姿勢が計測されることで、重なり合った部品の中から所望の部品を選択され、その部品がロボットにより取り出される。特許文献1の第2頁の右欄の第14行〜第24行には、「機能の異なる複数のセンサを組み合わせて用いれば、より簡単に3次元的情報の収集が行えると思われる。そこでこの発明では視覚センサに加えて触覚センサを併用し、前者の触覚系において、ばら積みされた部品の中から把持対象となる最上位の部品を認識し、その存在領域を探査範囲として後者の触覚系に与える。触覚系においては、与えられた探査区範囲内で部品と接触することにより、その部品の位置および姿勢の情報が得られる。このようにすれば、触覚センサはある限定された領域のみを検出すればよいので効率良く3次元情報を得ることができる。」と記載されている。

特許文献2は、ワーク全体の形状および部分の形状を代表する特徴の見え方(特に数)によってワークを取り出す優先度を決定する、ワーク取出し装置を開示する。ロボットによって、優先度の最も高いワークから順番に取り出される。特許文献2の段落番号[0022]には、ワークを取り出す優先度を決定するために検出される全体特徴情報と部分特徴情報の記載があり、「・・・図2(a)に示した全体特徴情報は、1個のワーク41の特定の部分を代表するのではなく、全体を代表するものとなっている。本例では、ワーク41の全体を上方から見た場合の主要な輪郭線が全体特徴情報を構成している。これに対して、図2(b)に示した部分特徴情報は、全体特徴情報であるワーク全体の主要輪郭線から、6つの部分の輪郭線が選択され、それぞれが部分特徴とされている。そして、6個の部分特徴のそれぞれが存在する部分領域が、符号51〜56で示された「部分特徴検出領域」となっている。換言すれば、各部分特徴検出領域51〜56の中に示されたワーク輪郭線が、本例における部分特徴情報である。なお、符号50は全体特徴情報の原点を示しており、この原点と部分特徴情報51〜56の相対位置関係も部分特徴検出領域情報に含まれる。」と記載されている。

特許文献3では、検出した複数の平板状のワークの位置と姿勢から重なり領域をもとめ、その重なり領域で局所的特徴マッチングを行うことによって、重なっているワークの上下を判断する、重なり状態認識方法を開示する。特許文献3の段落番号[0011]の第11行〜第25行には、局所的特徴マッチングについての記載があり、「・・・この重なり領域内にて特徴マッチングしたシーンの特徴長さの成分の合計が大きい(長い)方を上位物体のマッチングとする。重なり領域で抽出した全特徴について、この重なり領域でマッチングした特徴が少ない場合は更に次の処理を行なう。すなわち、重なり領域で抽出した特徴で上下どちらのモデルにもマッチングしなかった特徴を上下どちらかのモデルに振り分ける。この場合モデルの仮設位置の特徴とマッチングしていない特徴との距離を求め、設定値以下であれば、どちらかのモデルにマッチング特徴として帰属させる。この場合の距離は、特徴中心の距離と、特徴長さの差と、特徴方向の差との全ての和とする。(j)対象物体候補全ての重なり領域抽出と局所的特徴マッチングを行なった後、候補全ての上下関係を求める。」と記載されている。

特許文献4は、複数のステレオ画像によって得たワークの3次元計測結果を基に、最上位置のワークを選択する、ピッキング装置を開示する。特許文献4の段落番号[0014]〜[0018]には、ステレオマッチング方法におけるステレオペア毎の物体の位置・姿勢を求める方法が記載されている。段落番号[0015]には、ステレオ3次元計測についての記載があり、「・・・ステレオ3次元計測は、基準画像中から抽出した直線上に設定した小領域32a〜32dに対応する領域が、もう一方の画像(以降、「参照画像」と呼ぶ)の中のどこにあるかを求める、いわゆるエリアベースのステレオマッチングにより行われ、各領域毎に3次元データが計測される。その際に得られる対応する小領域同士の類似度を各領域毎に記憶しておく。その後、直線31上の各領域3次元データから、直線31の3次元情報(位置・方向)を求めると同時に、直線31上の各領域のステレオマッチング時の類似度を全て加算して、その直線の計測信頼度とする。次に、直線31a〜31dが基準画像の水平方向となす角度を各々求め、(式1)により算出される係数αを、各々の直線の計測信頼度に乗じる。」と記載されている。

特許文献5は、ワークの輪郭線の周囲のエッジを求め、ワークが重なっている領域の輪郭線を選択し、その輪郭線の近傍かつそれに直交する方向のエッジ強度を求め、それらの合計値を元にワークの上下を判断する、物体の位置認識装置を開示する。特許文献5の段落番号[0019]〜[0021]には、ワークの上下を判断する上下判定部15の処理についての記載がある。段落番号[0020]には、濃淡画像にソーベルフィルタを施し、水平方向及び垂直方向における勾配値Gh,Gvを求め、この勾配値Gh,Gvからエッジの方向θとエッジ強度Gθを算出することにより、重なっているワークの重なり領域Rの境界を示すエッジを求めることが記載されている。すなわち、「エッジ検出機能について説明する。上下判定部15は,濃淡画像に含まれる画像に対して,図4に示すソーベルフィルタを施し,水平方向,垂直方向における勾配値Gh,Gvを求める。(a)は水平方向の,(b)は垂直方向の勾配値を算出するためのソーベルフィルタである。そして,上下判定部15は,エッジの方向θを式(1)にて算出し,更に,エッジ方向の勾配値であるエッジ強度Gθを式(2)にて算出する。・・・図5は,エッジの分布を表す模式図であり,例として,エッジ検出領域Ra1の内部について示している。図5にて,エッジは矢印a10〜a19のように分布している。エッジ検出領域Ra1 では,検出部品P1 と検出部品P2 とが重なる部分で検出部品の表面の段差が生じる。従って,この部分を撮像して得られた濃淡画像では,2つの検出部品P1 ,P2 の輪郭線F8 ,F9 の境界部分で高濃度領域Rh(斜線にて示す)が生じる。この高濃度領域Rhと周辺の低濃度領域との間でエッジ強度は最大となるので,エッジが矢印a11,a13,a14,a15,a17,a19のように分布する。」と記載されている。また、段落番号[0021]には、エッジ強度の合計値を算出して部品の上下を判定する記載、すなわち「上下判定部15は,これらのエッジa10〜a19の内,検出部品P1 の輪郭線F8 に直交する方向に近いエッジを選択する。これにより,異なる検出部品が重なった段差によるエッジa11,a13,a14,a15,a17,a19のみが選択され,表面の模様,汚れや表面反射等によるエッジa10,a12,a16,a18は除外される。そして,上下判定部15は,選択したエッジの強度の合計値を算出する。選択したエッジa11,a13,a14,a15,a17,a19のそれぞれの強度をGa11,Ga13,Ga14,Ga15,Ga17,Ga19とすると,エッジ強度の合計値Sa1 は,Sa1 =Ga11+Ga13+Ga14+Ga15+Ga17+Ga19の式にて算出される。上下判定部15は,上述した処理と同様の処理を他のエッジ検出領域Ra2 ,Rb1 ,Rb2 に対しても施し,それぞれでエッジ強度の合計値Sa2 ,Sb1,Sb2 を算出する。そして,上下判定部15は,強度合計値Sa1 ,Sa2 ,Sb1 ,Sb2 について,Sa1 +Sa2 >Sb1 +Sb2 であれば,検出部品P2 の上にP1 があり,Sa1 +Sa2 <Sb1 +Sb2 であれば,検出部品P1 の上にP2 があると判定する。これにより,ロボットによりピックアップする部品の順序が決定される。」という記述がある。

特公平7−27559号公報 特開2004−050390号公報 特開平9−53915号公報 特開2000−094374号公報 特開平8−271223号公報

しかしながら、特許文献1については、例えばワーク同士がつながった場合、求められた中心線の長さは必ずしも正確ではなく、また、その照合のために触覚センサを移動させる際には、接触時にワークの位置が変わらないように低速で動かす必要があり、サイクルタイムの面でも問題がある。特許文献2は、本願が対象としている円柱形状のワークに対しては、それが一般的に外周部に明確な特徴がなく文献2の発明で必要としているワークを代表する特徴を持たないため、適用することが難しい。特許文献3は、扱うワークが平板状、その中でも特に円形状のものに限定した手法であり、円柱形状のワークだと一般的外周部に明確な特徴がなく、文献2と同様、本願で意図しているワークに適用することは難しい。特許文献4は、3次元計測を行うために、直線など明確な形状特徴を必要としており、円柱形状のような特徴の乏しいワークには向かない上、複数台のカメラを特定の位置関係に配置することが求められ、装置が複雑で高価になりやすいという構成上の制約がある。特許文献5は、円柱形状のワークである場合、ワークの輪郭線自体があいまいなため、輪郭線の周囲を特定したり、輪郭線に直交するエッジを選択すること自体が困難である。また、エッジの強度の合計値で比較するため、一部に輪郭線に直交するような強いノイズがあると、その判断がそのノイズに引きずられ易いという問題がある。

本発明は、上記した点に鑑み、円柱形状部分を有する複数のワークを、パレットなどにランダムに置かれている状態からワークを1つ1つ取り出す際に、重なっているワークの上下を実用的な時間で安定的に判断し、安全かつ確実にワークを取り出すことができるワーク取り出し装置を提供することを目的とする。

上記目的を達成するために、請求項1記載のワーク取り出し装置は、カメラにより撮像されたワークの画像を処理することにより、円柱形状部分を有する前記ワークの位置及び姿勢を求めて、前記ワークをロボットにより取り出すワーク取り出し装置であって、複数のワークから任意に選択された2個のワークが上下方向で重なっている場合に、個々のワークの位置と姿勢及び寸法情報から重なり箇所の領域を求める重なり領域推定部と、該重なり領域推定部によって求められた前記重なり箇所に、前記2個のワークのうちのいずれかのワークの前記円柱形状部分が含まれる場合に、前記重なり箇所の画像の個々の画素に対する勾配情報を算出する勾配情報算出部と、該勾配情報算出部によって算出された前記勾配情報に基づいて、前記2個のワークのうちのいずれかのワークが上側に位置するかを判断する上下関係判断部と、を備えている。

また、請求項2記載の発明は、請求項1記載のワーク取り出し装置において、前記ワークの位置及び姿勢は、前記ワークの少なくとも一部の画像に基づいて求められたものである。

また、請求項3記載の発明は、請求項1又は2に記載のワーク取り出し装置において、前記ワークの寸法情報は、前記ワークの少なくとも一部の画像に基づいて求められたもの、または予め求められているものである。

また、請求項4記載の発明は、請求項1〜3のいずれか1項に記載のワーク取り出し装置において、前記勾配情報が算出される前記重なり箇所の画像は、前記ワークの位置及び姿勢を求めた際に用いた画像の一部である。

また、請求項5記載の発明は、請求項1〜3のいずれか1項に記載のワーク取り出し装置において、前記勾配情報が算出される前記重なり箇所の画像は、前記ワークの位置及び姿勢を求める際に用いた画像とは別に、前記重なり箇所を含むように前記カメラによって別途撮像された画像である。

また、請求項6記載の発明は、請求項1〜5のいずれか1項に記載のワーク取り出し装置において、さらに、前記上下関係判断部によって判断された個々の結果を総合し、個々のワークに対して前記複数のワークの中から上側に位置する前記ワークを順次取り出す際の取り出し優先度を決定する取り出し優先度決定部を備えている。

また、請求項7記載の発明は、請求項1〜6のいずれか1項に記載のワーク取り出し装置において、前記勾配情報が算出される画像は濃度変化を示す濃淡画像であり、前記勾配情報の勾配は前記濃度変化の度合いである。

また、請求項8記載の発明は、請求項1〜6のいずれか1項に記載のワーク取り出し装置において、前記勾配情報が算出される画像は高さ変化を示す距離画像であり、前記勾配情報の勾配は前記高さ変化の度合いである。

また、請求項9記載の発明は、請求項1〜6のいずれか1項に記載のワーク取り出し装置において、前記勾配情報が算出される画像は色変化を示すカラー画像であり、前記勾配情報の勾配は前記色変化の度合いである。

本発明で開示している、2つの円柱形状部分を有するワークの上下の判断は、重なり箇所の領域全体を利用しているため、特許文献5のように一部の限定された箇所のノイズに大きく左右されることがなく、安定した信頼性の高い判断を行うことができる。また、特許文献1のようにワークに対する接触を伴わないため、実用的な短い時間で上下の判断を行うことができる。さらに特許文献4のように複雑な構成を必要としないため、安価に実現することができる。その結果、安定的に、実用的な時間で、安価な構成で、円柱形状部を有する複数個のワークを、パレット内にランダムに置かれている状態から安全かつ確実に1つ1つ取り出す装置を実現することができる。

本発明の一実施形態のワーク取り出し装置の全体構成を示す図である。 本実施形態のワーク取り出し装置の機能ブロック図である。 ワーク取り出し装置の変形例を示す機能ブロック図である。 画像処理装置の詳細図である。 ワークを取り出す一連の流れを示すフローチャートである。 ワークを取り出し優先度を決める流れを示すフローチャートである。 (a)は円柱形状のワークを示す平面図、(b)は(a)の側面図である。 図7に示すワークの中心線を示す図である。 二つのワークが重なり合っている状態を示す平面図である。 図9に示す二つのワークの中心線が交差している状態を示す図である。 同じく図9に示す二つのワークの重なり合っている領域を示す図である。 重なり合っている二つのワークを含む画像に対してソーベルフィルタを掛けて得られた勾配の向きを示す図である。 ワークの変形例を示す平面図である。 ワークの他の変形例を示す平面図である。 図14に示す二つのワークの重なり合っている領域が画像の外であることを示す図である。

図1は、本発明に係るワーク取り出し装置の一実施形態の全体構成を示した図である。多数の円柱状のワークWは、パレット6内でランダムにばら積みされた状態で収容されている。個々のワークWは、本発明に係るワーク取り出し装置により、上下の判断がなされると共に、位置及び姿勢が求められ、ロボット2により上から順番に取り出されるようになっている。ワークWは全体が円柱状をなすものに制限されるものではなく、図13や図14に示されるように、少なくとも一部に円柱状部分を有するものや、少なくとも一部に曲面部分を有するもの全てを対象とすることができる。本発明のワーク取り出し装置は、ワークWを把持するハンドを備えたロボット2と、ロボット2を制御するロボット制御装置12と、カメラ3などで撮像されたワークWの画像を処理して、重なっているワークWの上下判断やワークWの位置及び姿勢を求める画像処理装置13とを含んでいる。以下において、本発明に係るワーク取り出し装置の一実施形態について、図面を参照しながら詳細な説明を行うが、本発明に係るワーク取り出し装置は、以下の実施形態に限定されるものではない。

ロボット2は公知のロボットマニピュレータ(以下、ロボット1)であり、ハンド5が作業を行う位置及び姿勢に到達可能であればその機構は制限されるものではない。ロボット2は、ハンド5によりパレット6から取り出されるワークWの位置及び姿勢を検出するセンサとして、カメラ3と三次元視覚センサ4を備えている。カメラ3は、この例ではロボット2に取り付けられているが、パレット6上方のカメラ架台(図示せず)に固定することも可能である。カメラ3で撮像されたワークWの画像から、モノトーンの濃淡画像及びカラー画像がモニタのディスプレイに表示されるようになっている。三次元視覚センサ4は、カメラ(不図示)と、レーザスリット投光器(不図示)とからなっており、レーザが投光されている箇所の高さの計測及び、平面や円柱といったモデルが幾何学的に定まっているワークWについての位置及び姿勢の計測が可能である。また、三次元視覚センサ4は、ロボット2の動作と組み合わせて、ワークWの距離画像を取得可能となっている。距離画像も濃淡画像及びカラー画像と同様に処理されて、重なっているワークWの上下の判断に使用されることができる。なお、カメラ3と三次元視覚センサ4のカメラは同種のものでもよく、またカラーカメラでもモノクロカメラでもよく、カラーカメラの場合は、ワークWの特定の色情報を取り出して、モノクロカメラと同じ処理を行うことで、特定された色の濃淡画像を得ることができる。また、カメラ3と三次元視覚センサ4を二つ備える必要はないが、二つ備えることでワークWの取り出しをより正確で安全に行うことができる。

図2及び図3には、ワーク取り出し装置1と1Aの機能ブロック図がそれぞれ示されているが、これに制限されるものではない。図2のワーク取り出し装置1では、ロボット制御装置12と画像処理装置13が独立しており、通信インターフェースを介して装置間の情報がやり取りされる。ロボット2の動作教示は教示操作盤14を用いて行われ、カメラ3や三次元視覚センサ4の設定は画像処理装置13を介してインターフェースとしてのモニタ15や入力補助装置17を用いてそれぞれ行われる。また、ロボット2の状態は教示操作盤14のディスプレイに表示され、カメラ3や三次元視覚センサ4の状態はモニタ15のディスプレイに表示される。図2のワーク取り出し装置1の変形例として示された図3のワーク取り出し装置1Aでは、画像処理装置13がロボット制御装置16に内蔵されており、ロボット2とカメラ3や三次元視覚センサ4は同一の制御装置16で制御される。ロボット2の動作教示、カメラ3や三次元視覚センサ4の設定はともに教示操作盤14を用いて行われる。ロボット2の状態及びカメラ3や三次元視覚センサ4の状態は、教示操作盤14に表示することができる。また、通信インターフェースを介して、カメラ3や三次元視覚センサ4の設定や状態の確認を容易にする目的で入力補助装置17及びモニタ15を使用することもできる。入力補助装置17及びモニタ15は自動運転中に取り外すことも可能である。また、画像処理装置13内にはメモリが内蔵されており、ワークWの寸法情報のデータ等を格納すること、及び格納したデータを参照することができる。

図4には、ワーク取り出し装置1に含まれる画像処理装置13の詳細図が示されている。画像処理装置13は、複数(多数)のワークWから任意の二つのワークWを選択(特定)し、個々のワークWの位置及び姿勢と寸法情報から、二つのワークWが上下に重なっているかどうかを判断する重なり判断部7と、重なり判断部7で二つのワークWが重なっていると判断された場合に、二つのワークWが上下に重なっている画像にソーベルフィルタを掛けて重なり箇所のエッジ(線要素)を検出して、重なり箇所の領域を求める重なり領域推定部8と、重なり領域推定部8によって求められた重なり箇所の画像の個々の画素に対する濃淡の変化率の度合いを示す勾配の方向ベクトルを重なり箇所の領域全体について算出する勾配情報算出部9と、勾配情報算出部9によって算出された勾配の方向ベクトルと二つのワークWの中心線CLに沿う方向の単位ベクトルとの内積をそれぞれ算出し、内積の絶対値が小さい方の画素数の総和と重なり箇所の領域全体の画素数との比率を算出し、算出された比率とワークWの形状などにより定まる閾値とを比較して二つのワークWのうちのいずれかのワークWが上側に位置するかを判断する上下関係判断部10と、上下関係判断部10によって判断された個々の結果を総合し、個々のワークWに対して順次取り出す際の取り出し優先度を付す取り出し優先度決定部11と、を備えている。

図5には、図7に示す円柱形状のワークWをパレット6から取り出す際のワーク取り出し装置1の処理の流れが示されている。ステップS1では、ロボット2によってカメラ3をパレット6上に移動し、パレット6内の画像を取得し、検出されたワークWの数をN個とする。ステップS2では、画像から検出されたワークWの数が0個ならば、カメラ3の位置を変えて、ステップS1に戻る。画像からワークWが検出された場合は、ステップS3において、検出された多数のワークWに対して、ワーク1〜ワークNというように仮の識別番号を付けて区別する。仮の識別番号は、後述する取り出し優先度に相当する値であり、その初期値を0とする。ステップS4では、多数のワークWの中から任意に二つのワークWを順次選んで、その二つのワークW同士の重なり判断を行い、重なり判断の結果によって、それぞれのワークWの取り出し優先度を変更する。パレット6に収容されている多数のワークWの中で、上に位置するワークWの優先度は高くなり、下に位置するワークWの優先度は低くなる。ステップS5では取り出し優先度が一番高いワークWを選択し、ステップS6で選択したワークWを三次元視覚センサ4で計測し、空間内に存するワークWを正確に認識して、ステップS7でその結果を使ってワークWをパレット6から取り出す。なお、空間内に存するワークWの位置及び姿勢を認識する方法の一例として、本出願人により開示された特開2008−246631号公報(特願2007−091730)の「対象物取出装置」がある。この文献で開示されている方法では、円柱形状部分を形状モデルとして予め登録しておき、カメラにより取得された画像と登録された形状モデルとを照合することで、取り出す実際のワークを検出(認識)し、検出したワークの位置及び姿勢、形状モデルに対する大きさの推定を可能とするものである。形状モデルは、登録時に形状モデルと円柱形状部分の長手方向の中心線の位置及び方向とが関連付けて定義されることで、ワークの検出結果から中心線の位置と方向を決定することができる。

図6には、二つのワークWの重なり判断及び取り出し優先度を決定する処理の流れが示されている。ステップT1では、検出した任意の二つのワークW、すなわちワークIとワークJが重なっているかどうかを判断する。ワークI(W)とワークJ(W)とが図9のような状態で撮像されているものとして、それぞれのワークI(W),J(W)の全体を形状モデルとして登録し、事前に形状モデルと関連付けされた中心線CLの位置と姿勢を求める。重なっている場合に交差する二本の中心線CLとワークI,Jの寸法情報とから、ワークI,Jが重なっているかを判断する。ワークI,Jの寸法情報は、検出結果から得られるワークI,Jの大きさから求めても良いし、ステップT1の前にメモリ内の設定値から読み出す方法もあり(ステップT10)、特定の方法に制限することを意図するものではない。ワークI,Jの重なりを判断する方法は複数考えられるが、本実施形態では、二本の中心線CLの長さを、ワークI,Jの両端からワークI,Jの幅の半分だけ短く設定し、中心線同士が交わるかどうかで判断するようにしている。図8の例では、ワークI,Jの長さがL、直径がDであったとき、本来Lの長さの中心線CLを、ワークI,Jの両端からD/2ずつ、それぞれ短く設定している。この方法は、重なり判断の精度は若干低下するものの、演算量が少なく、高速な処理に適している。他にも、中心線CLを直接使わずに、長さL、幅Dの長方形と考え、それぞれのワークI,Jに対応する長方形同士に重なり部があるかどうかで判断する方法も考えられるが、この方法は、重なり判断の精度は相対的には高いものの、演算量が多く、高速な処理には適さない。それぞれ、サイクルタイムや用途に応じて、使い分けることになる。

図9の例では、各ワークI,Jの中心線CLは、図10のようになることが分かる。これら二本の中心線CLが交わるならば、ワークI,Jは重なっていると判断して、ステップT3に進む。中心線CLが交わらない場合は、重なりがないものとして、ワークIとワークJの取り出し優先度の値をそれぞれ1だけ大きくして(ステップT2)重なり判断の処理を終える。図10では中心線CLが交わっているのでワークI,Jが重なっていると判断する。ワークI,Jが重なっていると判断された場合は、ステップT3において画像表示領域20内で重なっているかどうかを判定する(図15参照)。これは、二本の中心線CLの交点の位置が、画像表示領域20内の上下左右端から内側に向ってD/2の距離にある境界より外側にあるかどうかで判定する。交点がこの境界の外にあると判断された場合は、次に計算する重なり箇所の近傍領域が画像表示領域20内に全て含まれていないものとし、ロボット2を移動するなどして、カメラ3あるいは三次元視覚センサ4で、交点近傍が画像の中心となるような画像を新たに撮像する(ステップT4)。交点近傍の箇所が定まったら、次に、重なり箇所の近傍領域を計算する(ステップT5)。図9の画像の場合、中心線CLの位置及び姿勢と寸法情報から、重なっている箇所の近傍領域として、図11に示されるように、ハッチングされた菱形形状の領域Uを求めることができる。次に、ステップT6でこの菱形形状の重なり領域Uの勾配方向の分布を求める。重なり領域Uの勾配方向の分布は、この領域Uにソーベルフィルタを掛けることで得ることができる。ソーベルフィルタに関しては、既に知られた技術であるので、ここでは説明しない。

図12は、図9全体にソーベルフィルタを掛けて得られたワークI,Jの勾配方向の分布、すなわち、濃淡画像における濃淡の変化率の度合いとしての勾配の方向ベクトルの分布を視覚的に分かりやすくするために、矢印で示したものである。次に、ステップT7において、勾配方向の分布から二本のワークI,Jのどちらが上にあるかを決定する。図11のように、ワークI,Jの中心線CLと平行になるように、ワークIの単位方向ベクトルDIと、ワークJの単位方向ベクトルDJを定義する。円柱形状のワークの場合は、逆向きのベクトル−DI、−DJも単位方向ベクトルと言えるが、どちらの方向のベクトルを採用しても構わない。領域Uに含まれる個々の画素について、その画素の勾配方向の単位方向ベクトルをΦとした時、内積(Φ,DI)の絶対値と、内積(Φ,DJ)の絶対値とを比較し、内積(Φ,DI)の絶対値の方が小さい画素数の、領域U全体の画素数に対する割合(比率)Rを求める。割合Rに関して、0≦α<β≦1が成立する。ワークの位置や姿勢や形状などに応じた閾値α,βを事前に定めておき、β≦R≦1ならば、一方のワークIは他方のワークJより上側にあると判断し、0≦R≦αならば他方のワークJが一方のワークIより上側にあると判断する。どちらでもない、つまり、α<R<βならば、上下の判断できなかったものとして終了する。

簡単な例として、図9の画像に基づいてワークI,Jの上下の判断をすると、図9の画像では、領域Uの中の全ての画素について、勾配の方向ベクトルΦはベクトルDIに直交しているため、内積(Φ,DI)は0であり、一方ΦはベクトルDJに直交しておらず内積(Φ,DJ)の絶対値は0より大きいため、R=1となり、ワークIが上側にあると判断される。このワークIとワークJの重なり判断において、ワークIが上側にあると判断された場合は、ワークIの取り出し優先度の値を1大きくして、ワークJの取り出し優先度の値を1小さくする(ステップT7)。逆に、ワークJが上側にあると判断された場合は、ワークJの取り出し優先度の値を1大きくして、ワークIの取り出し優先度の値を1小さくする(ステップT9)。検出したワークの、全ての組み合わせに関して、このような上下の判断を行うことで、結果として、孤立しているワーク、または、相対的に上方にあるワークの優先度が高くなり、そうしたワークを優先的に選択できるので、安全かつ確実に安定したワークの取り出しを行うことができる。

上の例では、ワーク全体を形状モデルとしたが、ワークの一部分だけをモデルとすることも可能であり、図13に示されるワークWAを扱うこともできる。このようなワークWAを扱う場合、ワーク全体を形状モデルとして登録せずに、図14のようにワークWAの一部を形状モデルとし、それを検出することによって、検出するための画像処理の時間を高速化し、ワークWAの位置と姿勢を決定することもできる。このようにワークWAの一部分を形状モデルとして扱う場合でも、図13の例と同様に中心線CLをモデルに関連付けておくことで、検出結果から重なりの有無を正しく判断し、それぞれの上下関係を判断することが可能である。図15では、図14で示されたワークWAの一部を検出することによって、形状が同一の二つのワークWAの位置及び姿勢を検出し、これらのワークWAの重なり箇所が画像の外であることが特定できたことを表している。

このように本実施形態によれば、重なっているワークWの上下の判断は、重なり箇所の領域全体を利用しているため、一部の限定された箇所のノイズに大きく左右されることがなく、安定した信頼性の高い判断を行うことができる。また、実用的な短い時間で上下の判断を行うことができる。装置を比較的簡単に構成することができ、安価に実現することができる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。本実施形態では、濃淡画像における勾配の方向ベクトルを求めて、重なっているワークの上下の判断を行っているが、距離画像において高さ変化の度合いである勾配の方向ベクトルを求めたり、カラー画像において勾配は色変化の度合いである勾配の方向ベクトルを求めたりすることも可能である。

1 ワーク取り出し装置
2 ロボット
3 カメラ
4 三次元視覚センサ
5 ハンド
6 パレット
7 重なり判断部
8 重なり領域推定部
9 勾配情報算出部
10 上下関係判断部
11 取り出し優先度決定部
12 ロボット制御装置
13 画像処理装置
14 教示操作盤
15 モニタ
16 ロボット制御装置
17 入力補助装置
CL 中心
W ワーク

Claims (9)

  1. カメラにより撮像されたワークの画像を処理することにより、円柱形状部分を有する前記ワークの位置及び姿勢を求めて、前記ワークをロボットにより取り出すワーク取り出し装置であって、
    複数のワークから任意に選択された2個のワークが上下方向で重なっている場合に、個々のワークの位置と姿勢及び寸法情報から重なり箇所の領域を求める重なり領域推定部と、
    該重なり領域推定部によって求められた前記重なり箇所に、前記2個のワークのうちのいずれかのワークの前記円柱形状部分が含まれる場合に、前記重なり箇所の画像の個々の画素に対する勾配情報を算出する勾配情報算出部と、
    該勾配情報算出部によって算出された前記勾配情報に基づいて、前記2個のワークのうちのいずれかのワークが上側に位置するかを判断する上下関係判断部と、
    を備えた、ワーク取り出し装置。
  2. 前記ワークの位置及び姿勢は、前記ワークの少なくとも一部の画像に基づいて求められたものである、請求項1に記載のワーク取り出し装置。
  3. 前記ワークの寸法情報は、前記ワークの少なくとも一部の画像に基づいて求められたもの、または予め求められているものである、請求項1又は2に記載のワーク取り出し装置。
  4. 前記勾配情報が算出される前記重なり箇所の画像は、前記ワークの位置及び姿勢を求めた際に用いた画像の一部である、請求項1〜3のいずれか1項に記載のワーク取り出し装置。
  5. 前記勾配情報が算出される前記重なり箇所の画像は、前記ワークの位置及び姿勢を求める際に用いた画像とは別に、前記重なり箇所を含むように前記カメラによって別途撮像された画像である、請求項1〜3のいずれか1項に記載のワーク取り出し装置。
  6. さらに、前記上下関係判断部によって判断された個々の結果を総合し、個々のワークに対して順次取り出す際の取り出し優先度を付す取り出し優先度決定部を備えている、請求項1〜5のいずれか1項に記載のワーク取り出し装置。
  7. 前記勾配情報が算出される画像は濃度変化を示す濃淡画像であり、前記勾配情報の勾配は前記濃度変化の度合いである、請求項1〜6のいずれか1項に記載のワーク取り出し装置。
  8. 前記勾配情報が算出される画像は高さ変化を示す距離画像であり、前記勾配情報の勾配は前記高さ変化の度合いである、請求項1〜6のいずれか1項に記載のワーク取り出し装置。
  9. 前記勾配情報が算出される画像は色変化を示すカラー画像であり、前記勾配情報の勾配は前記色変化の度合いである、請求項1〜6のいずれか1項に記載のワーク取り出し装置。
JP2009028968A 2009-02-10 2009-02-10 ワーク取り出し装置 Active JP5289087B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009028968A JP5289087B2 (ja) 2009-02-10 2009-02-10 ワーク取り出し装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009028968A JP5289087B2 (ja) 2009-02-10 2009-02-10 ワーク取り出し装置

Publications (2)

Publication Number Publication Date
JP2010184308A true JP2010184308A (ja) 2010-08-26
JP5289087B2 JP5289087B2 (ja) 2013-09-11

Family

ID=42765278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009028968A Active JP5289087B2 (ja) 2009-02-10 2009-02-10 ワーク取り出し装置

Country Status (1)

Country Link
JP (1) JP5289087B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012152870A (ja) * 2011-01-27 2012-08-16 Hitachi Ltd マニプレータ装置およびマニプレータ付き作業装置
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法
JP2013119121A (ja) * 2011-12-06 2013-06-17 Ihi Corp 対象物取り出し装置と方法
JP2015032001A (ja) * 2013-07-31 2015-02-16 キヤノン株式会社 情報処理装置および情報処理手法、プログラム
JP2016045088A (ja) * 2014-08-22 2016-04-04 西部電機株式会社 不定形体位置推定方法、不定形体位置推定装置及びプログラム
WO2018131108A1 (ja) * 2017-01-12 2018-07-19 株式会社Fuji 作業機および採取位置選択方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02189691A (en) * 1989-01-18 1990-07-25 Nippondenso Co Ltd Device for recognizing object
JPH05127722A (ja) * 1991-10-30 1993-05-25 Nippondenso Co Ltd 山積み部品の高速ピツキング装置
JPH0727559B2 (ja) * 1985-10-04 1995-03-29 倉敷紡績株式会社 重なり部品の位置姿勢計測装置
JPH08271223A (ja) * 1995-02-03 1996-10-18 Kobe Steel Ltd 物体の位置認識装置
JPH0953915A (ja) * 1995-08-18 1997-02-25 Meidensha Corp 重なり状態認識方法
JP2000094374A (ja) * 1998-09-25 2000-04-04 Matsushita Electric Works Ltd ピッキング装置
JP2004050390A (ja) * 2002-07-24 2004-02-19 Fanuc Ltd ワーク取出し装置
JP2005305613A (ja) * 2004-04-23 2005-11-04 Fanuc Ltd 物品取出し装置
JP2008246631A (ja) * 2007-03-30 2008-10-16 Fanuc Ltd 対象物取出装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0727559B2 (ja) * 1985-10-04 1995-03-29 倉敷紡績株式会社 重なり部品の位置姿勢計測装置
JPH02189691A (en) * 1989-01-18 1990-07-25 Nippondenso Co Ltd Device for recognizing object
JPH05127722A (ja) * 1991-10-30 1993-05-25 Nippondenso Co Ltd 山積み部品の高速ピツキング装置
JPH08271223A (ja) * 1995-02-03 1996-10-18 Kobe Steel Ltd 物体の位置認識装置
JPH0953915A (ja) * 1995-08-18 1997-02-25 Meidensha Corp 重なり状態認識方法
JP2000094374A (ja) * 1998-09-25 2000-04-04 Matsushita Electric Works Ltd ピッキング装置
JP2004050390A (ja) * 2002-07-24 2004-02-19 Fanuc Ltd ワーク取出し装置
JP2005305613A (ja) * 2004-04-23 2005-11-04 Fanuc Ltd 物品取出し装置
JP2008246631A (ja) * 2007-03-30 2008-10-16 Fanuc Ltd 対象物取出装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012152870A (ja) * 2011-01-27 2012-08-16 Hitachi Ltd マニプレータ装置およびマニプレータ付き作業装置
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法
JP2013119121A (ja) * 2011-12-06 2013-06-17 Ihi Corp 対象物取り出し装置と方法
JP2015032001A (ja) * 2013-07-31 2015-02-16 キヤノン株式会社 情報処理装置および情報処理手法、プログラム
JP2016045088A (ja) * 2014-08-22 2016-04-04 西部電機株式会社 不定形体位置推定方法、不定形体位置推定装置及びプログラム
CN105513040A (zh) * 2014-08-22 2016-04-20 西部电机株式会社 不定形体位置推定方法、不定形体位置推定装置以及程序
CN105513040B (zh) * 2014-08-22 2020-05-05 西部电机株式会社 不定形体位置推定方法、不定形体位置推定装置以及程序
WO2018131108A1 (ja) * 2017-01-12 2018-07-19 株式会社Fuji 作業機および採取位置選択方法

Also Published As

Publication number Publication date
JP5289087B2 (ja) 2013-09-11

Similar Documents

Publication Publication Date Title
US9102055B1 (en) Detection and reconstruction of an environment to facilitate robotic interaction with the environment
EP2966595B1 (en) Systems and methods for enhancing dimensioning, for example volume dimensioning
US9089966B2 (en) Workpiece pick-up apparatus
US9635346B2 (en) Autonomous vehicle, and object recognizing method in autonomous vehicle
CN105608671B (zh) 一种基于surf算法的图像拼接方法
US9386302B2 (en) Automatic calibration of extrinsic and intrinsic camera parameters for surround-view camera system
US9327406B1 (en) Object segmentation based on detected object-specific visual cues
JP5229253B2 (ja) ロボットシステム及びロボット装置並びにワーク取り出し方法
US8180158B2 (en) Image processing device and image processing method for detecting a specific shape from an image
JP3842233B2 (ja) 画像処理装置及びロボットシステム
JP3977776B2 (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
US8180100B2 (en) Plane detector and detecting method
DE60301922T2 (de) Vorrichtung zur Entnahme von Objekten
US8331653B2 (en) Object detector
US6952488B2 (en) System and method for object localization
JP4865557B2 (ja) 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム
Wang et al. A vision-based obstacle detection system for unmanned surface vehicle
KR101699672B1 (ko) 컨테이너 크레인을 사용하여 랜딩 타깃 상에 컨테이너들을 자동적으로 랜딩하기 위한 방법 및 시스템
KR100693262B1 (ko) 화상 처리 장치
US9415511B2 (en) Apparatus and method for picking up article randomly piled using robot
JP2013065304A (ja) 高速障害物検出
US8144193B2 (en) Work piece tracking system and method
US8154594B2 (en) Mobile peripheral monitor
DE102014212304A1 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Speichermedium
JPWO2011070927A1 (ja) 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130604

R150 Certificate of patent or registration of utility model

Ref document number: 5289087

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150