JP2010012567A

JP2010012567A - 物品取り出し装置

Info

Publication number: JP2010012567A
Application number: JP2008175508A
Authority: JP
Inventors: Taro Arimatsu; 太郎有松; Kazukuni Ban; 一訓伴; Ichiro Kanno; 一郎管野; Keisuke Watanabe; 桂祐渡邊
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2008-07-04
Filing date: 2008-07-04
Publication date: 2010-01-21
Anticipated expiration: 2028-07-04
Also published as: US8295975B2; US20100004778A1; JP4565023B2; DE102009030461B4; CN101618544B; DE102009030461A1; CN101618544A

Abstract

【課題】安価でありながら高速かつ正確に、バラ積み状態からの物品の取り出しが可能な物品取り出し装置を提供する。
【解決手段】画像処理部２２の対象物検出部２２ａは、ビデオカメラ１８で撮影された画像を画像処理し、部品を検出する。対象物選定部２２ｂは、複数検出された部品の内、ある規則に従い取り出し対象の部品を選定する。視線方向計算部２２ｃは、選択された部品への視線方向を計算する。対象物位置推定部２２ｄは、選択された部品の画像上でのサイズ情報から高さを含む位置を推定し、次に把持補正量計算部２２ｅが、ロボットによる部品の把持に必要な補正量を計算する。
【選択図】図１

Description

本発明は、バラ積み状態の複数の物品を順次取り出すための装置に関する。

例えば自動車部品の製造工程においては、素材部品の鋳造、加工、組立等は各々別々の工程で行われ、それぞれの工程が異なるサイクルタイムで稼動している。また、工程ごとに作業場所が異なるため、工程間での部品の輸送が必要となることが多い。このため、各工程で作業完了した部品は、次工程に供給されるまでコンテナや籠等にまとめて保管される。特に加工前の素材部品に関しては、保管の際に多少の傷がついても問題がないことが多い等の理由から、多くの場合バラ積み状態に積載される。

現在、このようなバラ積み状態で籠等に入っている素材部品を取り出す手法として、大きく３つのものが挙げられる。第１の手法は、次工程に部品を供給する前に人手で部品を取り出して整列させたり、また、直接人手で取り出しながら加工機等にセットしたりする方法である。しかし、この方法は作業者への負担が大きいため、近年は以下の方法へと移行しつつある。

第２の手法は、ロボット等の取り出し用ハンドにマグネットを取り付け、該ハンドを籠の中に入れて部品を取り出すものである。しかしこれはロボットハンドを無造作に、或いはある程度の規則性を持たせながら籠の中を移動させることにより部品を拾い上げる方法なので、部品のない場所にロボットハンドを入れたり、部品を不安定に把持して落下させたり、複数の部品が同時に拾い上げられたりする等、信頼性や効率の面で不十分な場合がある。

第３の手法は、視覚センサを用いてロボットによる部品の取り出しを行う方法であり、部品を一つずつ取り出す作業の確実性の向上に伴い、この方法を採る例が増えてきている。一例として、特許文献１は、ロボットに搭載した３次元視覚センサにより、複数の部品の中から特定の部品の位置姿勢を計測し、該ロボットにより該特定部品を取り出すワーク取り出し装置を開示している。

また特許文献２は、箱内に収納された対象物体をロボットハンドにより取り出す視覚装置付ロボットを開示している。

特開２００４−１８８５６２号公報特開平２−２５６４８５号公報

特許文献１に記載の装置は、バラ積み状態で重なり合った複数の物品を順次取り出すために適しているものではあるが、部品の取り出しに関して、まず領域の高さ分布のデータを取得し、撮像した２次元画像より把持対象物を検出し、さらにロボットを移動させて３次元視覚センサにより該対象物の位置姿勢を求める必要があり、故に１つの部品を取り出すために要する時間が長くなる虞がある。

一方特許文献２に記載の装置では、複数のワークが層状に積まれてその高さが既知の場合はワークの取り出しが可能であるが、バラ積み取り出しのように部品の高さや傾きが一定でない積載状態からの取り出しでは、把持位置がずれたり、ロボットハンドが部品に衝突したりする等の取り出し不良が生じる虞がある。例えば図８に概略図示するように、カメラ１００の視線の先に位置する部品１０２をロボットハンド１０４でその直上から取り出そうとする場合を考える。ここで、部品１０２が所定の決められた高さ（Ｚ方向位置）Ｚ１に位置すると思われていたところ、実際にはＺ２に位置している場合には、部品１０２の把持位置のＸ座標及びＹ座標の少なくとも一方も異なったものとなる。このように高さが既知でない部品を取り出す必要があるバラ積み取り出しでは、Ｘ，Ｙ及びＺの各座標を正しく認識しないと適切な把持ができない。

そこで本発明は、安価でありながら高速かつ正確に、バラ積み状態からの物品の取り出しが可能な物品取り出し装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載の発明は、バラ積みされた同種の複数の部品の画像を含む２次元画像を撮像するカメラと、前記複数の部品から部品を１つずつ取り出すロボットと、前記カメラが撮像した画像の画像処理を行う画像処理部と、前記ロボットを制御するハンドリング制御部とを備える物品取り出し装置であって、前記画像処理部は、前記２次元画像から、前記複数の部品の画像の各々の２次元位置情報と、前記複数の部品の画像の各々のサイズ情報とを検出する対象物検出部と、基準位置にある部品の存在高さに関する情報を、前記基準位置にある部品についてのサイズ情報と関連付けて記憶する記憶部と、前記検出された部品の画像の各々のサイズ情報、前記部品の画像と特徴モデルとの一致度、及び前記部品の画像の特徴モデルに対する傾斜率の少なくとも１つを用いて求められる優先度が最も高い部品を取り出し対象として選定する対象物選定部と、前記選定された部品についての前記２次元位置情報に基づいて、該部品と前記カメラとを結ぶ３次元空間上のカメラの視線の方向を求める視線方向計算部と、前記選定された部品についてのサイズ情報と、前記記憶部に記憶された基準位置にある部品の存在高さに関する情報及びサイズ情報とに基づいて、前記選定された部品の存在高さを求め、さらに該存在高さと前記視線の方向に基づいて前記選定された部品の３次元位置を求める対象物位置推定部と、前記ロボットによる部品の把持に必要な前記ロボットの移動補正量を計算する把持補正量計算部と、を有し、前記ハンドリング制御部は、前記ロボットに装着されたロボットハンドを前記選定された部品の３次元位置に移動させるべく、該選定された部品についての前記カメラの視線方向に沿って前記ロボットハンドの移動制御を行う移動制御部と、前記ロボットハンドが前記選定された部品に接触したことを検出する接触検出部と、前記接触検出部により接触が検出されたときに前記ロボットハンドの移動を停止し、前記ロボットハンドによる前記選定された部品の把持を指示する対象物把持指示部と、前記ロボットハンドで把持した部品を前記ロボットハンドにより引き抜く引き抜き動作指示部と、を有する、物品取り出し装置を提供する。

請求項２に記載の発明は、請求項１に記載の物品取り出し装置において、前記優先度は、前記複数の部品の各々のサイズ情報、一致度及び傾斜率の少なくとも２つにそれぞれ重みを乗じた値の和である積和値である、物品取り出し装置を提供する。

請求項３に記載の発明は、請求項１に記載の物品取り出し装置において、前記優先度は、前記複数の部品の各々のサイズ情報、一致度及び傾斜率の少なくとも２つの乗算値である、物品取り出し装置を提供する。

請求項４に記載の発明は、請求項１〜３のいずれか１項に記載の物品取り出し装置において、前記ロボットハンドは、基部と、前記選定された部品を把持可能に構成された先端部と、前記選定された部品を把持する際に該部品から受ける力によって、前記選定された部品の姿勢に応じて前記先端部が姿勢変化できるように前記先端部を前記基部に接続するコンプライアンス機構とを備える、物品取り出し装置を提供する。

請求項５に記載の発明は、請求項４に記載の物品取り出し装置において、前記先端部は前記選定された部品に形成された孔又は凹部に係合可能な略半球状の形状を備えた電磁石を有する、物品取り出し装置を提供する。

請求項６に記載の発明は、請求項４に記載の物品取り出し装置において、前記先端部は前記選定された部品を吸着把持可能な真空吸着力を生ずる吸着パッドを有する、物品取り出し装置を提供する。

請求項７に記載の発明は、請求項４に記載の物品取り出し装置において、前記先端部は前記選定された部品を把持可能なチャック機構を有する、物品取り出し装置を提供する。

本発明に係る物品取り出し装置によれば、撮像した２次元画像及び優先度を用いて取り出し対象の部品を選定し、該部品の高さを含む位置を計算し、ロボットハンドと部品との接触を検知した上で部品を把持して取り出すことにより、安価かつ高速で、効率のよいバラ積み取り出しが可能となる。また選定された部品に対するロボットハンドの移動経路をカメラの視線方向に沿わせることにより、取り出し効率を向上させることができる。

本発明によれば、好ましい優先度の具体例として、複数の部品の各々のサイズ情報、一致度及び傾斜率の少なくとも２つにそれぞれ重みを乗じた値の和である積和値、或いはサイズ情報、一致度及び傾斜率の少なくとも２つの乗算値が提供される。

ロボットハンドの先端部が、選定された部品から受ける力によって、選定された部品の姿勢に応じて姿勢変化できるように構成されることにより、様々な角度でバラ積みされている部品を適切に把持することができる。

ロボットハンドの先端部が略半球状の形状を備えた電磁石を有する場合は、孔又は凹部を有する部品の吸着把持及び取り出しに特に好適である。

ロボットハンドの先端部が吸着パッドを有する場合は、一定面積以上の平面を有する部品の吸着把持及び取り出しに特に好適である。また、部品吸着時に吸着パッドの先端部の形状が部品形状に倣うものを選択することにより、円柱や球体等の曲面部分にも対応できる。

ロボットハンドの先端部がチャック機構を有する場合は、孔又は凸部等の把持しやすい形状を備える部品の把持及び取り出しに特に好適である。

図１は、本発明の好適な実施形態に係る部品取り出し装置１０の全体構成を示す。取り出し装置１０は、部品用コンテナ１２内の複数個の同種の部品１４の各々を把持して取り出すように構成されたロボット１６と、コンテナ１２の略真上に配置されて部品１４を広範囲に（例えばコンテナ１２全体が視野内に収まるように）撮像する撮像手段すなわちビデオカメラ１８と、ロボット１６を制御するとともにビデオカメラ１８が撮像した画像を処理するロボットコントローラ２０とを有する。なお本願明細書において使用される「把持」なる用語は、ロボットハンド等による部品の把持に加え、後述する電磁石や真空吸着パッド等による部品の吸着も含む（吸着把持と称することもある）ものを意味する。

ロボットコントローラ２０は、カメラ１８から入力される２次元画像を画像処理する。同ロボットコントローラ２０が有する処理機能を表すブロック図の内、点線２２で囲んだ部分が画像処理を行う画像処理部に相当する。なおロボットコントローラ２０内で行おうとしている画像処理を、画像処理専用の装置としてロボットコントローラ２０とは別に設置し、適当な通信手段を用いて画像処理の結果をロボットコントローラ２０に送信することも可能である。

ロボット１６は、部品用コンテナ１２内の部品１４を順次把持して取り出すのに適した位置に設置される。画像取り込み装置としてコンテナ１２内の広範囲を撮像するビデオカメラ１８は、コンテナ１２のほぼ真上で前記部品コンテナ１８が視野内に納まる位置に設置される。この際、ビデオカメラ１８を取り出しの邪魔にならない程度までコンテナ１２に近付けて配置することにより、ビデオカメラ１８の光軸方向の分解能を向上できる。すなわち、コンテナ１２内における各部品１４の実際の高さの違いが、ビデオカメラ１８により撮像された画像内に写る部品１４のサイズ（大きさ）の違いとして表れやすくなる。それにより、画像上の部品１４のサイズを基に実際の高さの推定を高精度に行うことができるようになる。また、カメラがコンテナ１２の中心位置の略直上に設置されていれば、部品への視線がコンテナの壁から離れるため、後述するアプローチ動作中のロボット（ハンド）と壁の干渉が発生し難くなる。或いは、カメラをロボット１６の先端部に装着されたハンドの近傍に取り付け、該カメラをロボット１６によって移動可能とし、この移動によってカメラをコンテナ１２の上方に位置決めした上で撮像を行う形態も可能である。

ロボットコントローラ２０の画像処理部２２の対象物検出部２２ａは、ビデオカメラ１８で撮影された画像を画像処理し、部品を検出する。対象物選定部２２ｂは、複数検出された部品の中から、後述する処理に従って取り出し対象の部品を選定する。この処理は、検出した部品の画像上でのサイズ情報、教示モデルとの整合性すなわち一致度（マッチング度合い）、部品の傾斜率、他の部品による隠蔽の有無、又はこれらの組み合わせにより定められる。例えば最も簡単なものとして、検出サイズが大きい部品ほど取り出しの優先度を高くし、すなわちより高い位置に存在すると推測される部品から取り出すという方法が考えられる。また、教示モデルとのマッチング度合いが高いほど、正しく検出された部品であると判断してもよい。またこれら両方を考慮して、よりコンテナの上部にありかつ正しく検出された部品から取り出すこともできる。そして後述するように、視線方向計算部２２ｃが選定された部品への視線方向を計算し、対象物位置推定部２２ｄが選定された部品の画像上でのサイズ情報から部品の高さを含む位置を推定し、次に把持補正量計算部２２ｅが、ロボットによる部品の把持に必要なロボットの移動補正量を計算する。またマッチング度合いや傾斜率を求めるための教示モデルは、記憶部２２ｆに格納しておくことができる。

画像処理部２２で処理された結果を利用して、次にロボットコントローラ２０のハンドリング制御部２４が、ロボットによる部品のハンドリング（すなわち部品へのアプローチ、部品の把持及び取り出しという一連の動作）を順次行う。図２に示すように、ロボットハンドのアプローチの経路は、ビデオカメラ１８と目標とする部品とを結ぶ線をビデオカメラ１８の視線として求めて、この視線方向にロボットハンド１７の作用方向を合わせることによって得られる。ロボットが把持位置へアプローチする際は、移動制御部２４ａが計算された把持位置に向かうロボットハンドの速度を指令し、かつロボットハンドに対する接触検知を有効にしながら移動制御を行う。接触検知部２４ｂがロボットハンドと部品との接触を検知した直後に、対象物把持指示部２４ｃが、ロボットを停止させ部品を把持させる。把持が確認できたところで引き抜き動作指示部２４ｄがロボットに引き抜き動作を行わせ、部品を所定の場所へ搬送させる。この引き抜き動作は上述のアプローチ経路に沿って逆向きに行うことが好ましい。この一連の動作を繰り返すことにより、部品コンテナ内の部品が順次取り出される。なお画像内で検出した部品に対してロボットハンドを部品への視線方向へ移動する際には、一定の高さ（例えば把持しようとている部品の高さに所定量を加えた高さ）までは高速で動き、それ以後は低速にするのがサイクルタイム短縮の点から好ましい。

カメラで検出した部品とカメラ（光学中心）を結ぶ視線を求めるには、カメラの光学系の内部パラメータと、カメラ及びロボットの作業空間として定義された作業座標系を表わす外部パラメータとが予め既知である必要がある。それらを求めるためにカメラを校正（キャリブレーション）する方法自体は周知技術であるので説明は省略するが、例えばRoger Y. Tsaiによる「An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision」（CVPR, pp.364-374, 1986 IEEE）に詳述されている。また具体的手段としては、例えば図３に示すような既知の幾何学的配置でドットが形成されたドットパターンプレート３０をカメラの光軸に直交させ、既知の２箇所の位置で計測を行うことによりカメラを校正することができる。

以下、画像処理の詳細について説明する。先ず取り出す対象となる部品を、撮像した画像中から検出するため、検出の基準となる部品のモデルを教示する。好適な教示モデル例は、画像の画素の明るさの変化が大きい部品のエッジ部分の特徴（形状、長さ等）を抽出したものである。さらに、バラ積み取り出しでは、部品の傾きが様々なものが混在するため、傾いた部品のモデルを複数教示しておくことにより、検出の成功率を高めることができる。

検出した複数の部品の中から、所定の条件を満たす１つの部品を選定する際、検出したスコア（教示モデルとの一致度）、検出された画像上でのサイズ、傾斜率、又はこれらを乗算した値を用いて、取り出し時のミスを減らすことができる。スコアは、教示モデルとの一致度を示すものであり、例えば完全に一致しているものを１００％とし、一致していない画素の割合に応じて減少させることができる。サイズは、教示モデルのサイズを１００％とした場合の、検出した部品のサイズを使用する。傾斜率は、教示モデルを傾き０度とした時に、検出部品の傾き角度のコサイン（余弦）をパーセントで表した数値を使用する。すなわち、傾き０度で検出された部品が傾斜率１００％となり、傾き角度が大きくなるに従って傾斜率の数値は小さくなる。こうした数値指標の内、優先度の決定において有効に機能するものを乗算して得られた値が大きい部品から順に取り出しを行なうことで、効率のよい取り出しが行える。

また上述の各数値指標に所定の重みを掛け、それらの総和を求める所謂積和演算の結果を用いて、取り出しの優先度を決めることも有効である。具体例として、上述のスコア、サイズ及び傾斜率の重みをそれぞれ０．５、０．２５及び０．２５と設定した場合に、ある部品がスコア９６％、サイズ１００％、傾斜率９５％で検出されたとき、その部品の積和値は９６．７５であり、他の部品がスコア９０％、サイズ１１０％、傾斜率９５％で検出されたとき、その部品の積和値は９６．２５となり、故に前者の方が優先度が高くなり、先に取り出されることになる。このように、各パラメータに重みをつける（この場合はスコアに最も大きい重みが付与されている）ことにより、アプリケーションに応じて最適な優先度を求めることができるようになる。

一方、上記と同じ２つの部品について、上述の乗算による優先度決定を行なった場合は、前者の部品の指標は９１．２、後者の部品の指標は９４．０５となる。後者の部品はスコアが低いことから、誤検出されているか、別の部品によって一部が隠蔽されている可能性があるが、サイズが大きい（つまり比較的高い位置に部品があると考えられる）ために結果的に高い優先度となっている。このように複数の数値指標の乗算に基づいて部品を取り出す優先度を決定する方法は、大きな重み付けをした特定の指標に優先度を左右されたくない場合に適している。

なお上述の例では３つのパラメータについて乗算又は積和計算をしているが、そのうちのいずれか２つについて乗算又は積和計算を行ってもよいし、択一的又は付加的に他のパラメータを使用してもよい。また１つのパラメータのみを優先度として利用することも可能である。

部品の存在高さの推定には、撮像した画像に写っている部品のサイズ情報を使用する。これは、予め決められた高さに置かれた部品の検出サイズを、高さの異なる２箇所において計測することで求めることができる。或いは、予め決められた基準位置に置かれた１つの部品の検出サイズと、ビデオカメラから部品までの距離とからでも求められる。この高さ情報と部品のサイズ情報（以降、基準データと称する）は、モデルの特徴量の一部としてロボットコントローラ２０の記憶部２２ｆ等のメモリに格納される。

図４を用いて、２箇所において求めた基準データを使用して撮像した画像に写る部品の存在高さを推定する方法を説明する。先ず基準データ取得時に、ある座標系で部品がＺ１の高さにあるときに画像に写るサイズをＳ１とし、Ｚ２の高さにあるときに画像に写るサイズをＳ２としたとき、画像に写るサイズは部品のカメラからの距離に反比例するため、次式（１）が成り立つ。但し、Ｄ１及びＤ２は、それぞれＺ１及びＺ２に位置する部品とカメラとの距離である。
Ｓ２／Ｓ１＝Ｄ１／Ｄ２＝（Ｚ０−Ｚ１）／（Ｚ０−Ｚ２）（１）

このとき、カメラの高さＺ０は以下の式（２）により算出できる。
Ｚ０＝（Ｓ２・Ｚ２−Ｓ１・Ｚ１）／（Ｓ２−Ｓ１）（２）

次に、通常の検出実行時等の基準データ取得時とは異なる時期において検出された部品の画像に写るサイズをＳ３とすると、部品の高さＺ３は次の式（３）により求められる。
Ｚ３＝（Ｓ１／Ｓ３）・（Ｚ１−Ｚ０）＋Ｚ０（３）

式（３）から、ある基準位置に置かれた１つの部品の検出サイズ（Ｓ１）、その存在高さ（Ｚ１）、及びビデオカメラからその部品までの距離（Ｄ１＝Ｚ０−Ｚ１）を予め求めておくことによっても、任意の部品の存在高さを推定可能であることがわかる。

なお、高さの推定にステレオカメラを利用したり、ストラクチャ光を利用した３次元位置計測を行ったりすることでも可能であるが、これらの方法は、ハードウェアのコストの面と計測時間の面からやや不利である。

ロボットコントローラには、基準となる部品への視線情報と、その部品を把持するためのロボットの動作に関する情報とが予め教示される。実際の取り出し動作時には、基準部品への視線情報と把持対象物に選定された部品への視線情報とから両者の相異を求め、この相異から部品を把持するためのロボットの動作に対する補正量を算出することができる。

アプローチ経路の終点は、計算上選定された部品が存在すると思われる高さより、ある一定量低い位置を指定する。これは、高さの推定に誤差が生じた場合でも、ロボットハンドが選定された部品に到達しないことを避けるためである。しかしながらこの方法では、選定された部品が推定された高さにある場合や、推定された高さよりも高い位置にある場合、ロボットハンドと選定された部品との好ましくない干渉が発生し、ロボットハンドが破損する可能性がある。これを避けるために、ロボットハンドには部品との接触を検出するセンサを設け、センサの信号を検知した位置でロボットの動作を止め、取り出し動作に移行する。このセンサには、ロボットハンドの形態によっても異なるが、吸着確認センサ、リミットスイッチ、近接スイッチ又はオートスイッチ等が使用できる。また、ロボットのモータにかかる負荷を常時監視することでロボットハンドと部品の接触検知を行うことも可能である。引き抜き動作に関しては、上述のアプローチ経路を逆戻りする動作とすることにより、別の部品との干渉を避けることができる。しかし引き抜き動作はもちろんこの限りではなく、把持した部品を垂直に持ち上げても問題ない場合もある。

図５〜図７は、上述のロボット１６のアーム先端部に適用可能なロボットハンドの好適な実施形態を示す。図５に示すロボットハンド４０は、略半球状の形状を有しかつ選定された部品を磁力によって吸着する先端部４２と、選定された部品に対する先端部４２の姿勢（傾き）を調節する姿勢調節機構すなわちコンプライアンス機構４４とを備える。先端部４２の形状は取り出す部品の形状に応じて種々選定可能であるが、図示した半球状の場合は、例えば半球状の先端部が係合可能な孔又は凹部が設けられたブレーキディスク等の吸着把持及び取り出しに特に適している。先端部４２は電磁石を有しており、金属部品を吸着できるようになっている。

姿勢調節機構４４は、先端部４２の傾きが可変となるように該先端部を基部４６に接続するジョイント機構である。ジョイント機構４４は例えばロータリージョイントであり、先端部４２が取り出すべき部品に当接したときに、該部品傾斜に応じて先端部４２が該部品の取り出しに適した傾きに傾斜できる（すなわち部品形状に倣う）ようになっている。またジョイント機構４４は、先端部４２に外力がかかっていないときは先端部４２が基部４６に対して初期の傾き（例えば直線状）に復帰又は保持されるような構造を有することが望ましい。このような構造は、ロータリージョイント以外にも、例えばゴムのような弾性体材料を用いたコンプライアンス機構により実現可能である。電磁石の磁力を調整することで、取り出しの際は部品が１つだけ吸着できる磁力に設定することが可能であり、これにより複数の部品が同時に取り出されることが回避される。吸着した部品の搬送中は、該部品の落下を防ぐために磁力を強めることもできる。また、部品の脱磁が必要な場合は、脱磁のための磁力印加が可能なマグネットハンドを使用することで対処できる。もちろん、別工程で脱磁を行うことも可能である。

図６に示すロボットハンド５０は、概略図示した基部５２に接続され任意に屈曲するコンプライアンス機構例えば柔軟な蛇腹機構５４と、蛇腹機構５４の先端に設けられて選定された部品を吸着可能な先端部５６とを有する。先端部５６は例えば吸着式パッドであり、選定された部品に当接したときに該部品から受ける力に応じて該部品に沿うように構成されている。吸着パッド５６は、蛇腹機構５４を介して図示しない真空発生装置により吸引力を生じさせ、部品１４を吸着する。さらに、吸着の安定性と吸着後の部品の姿勢の安定性を高めるために、吸着パッドを複数個並列に取り付けたロボットハンドも有効である。吸着パッドを有するロボットハンドは、一定面積以上の平面を有する部品の吸着把持及び取り出しに特に適している。また、部品吸着時にパッドの先端形状が部品形状に倣う比較的柔らかい吸盤状の部材や、スポンジ状の部材を選択することにより、円柱や球体等の曲面を備えた部品にも対応できる。

図７に示すロボットハンド６０は、概略図示した基部６２に接続された伸縮性の機構６４と、伸縮性機構６４の先端に取り付けられたチャック機構６６とを有する。伸縮性機構６４は、コンプライアンス機構を備えるものであれば、例えば蛇腹機構であってもよいし、コイルばねを１つ又は複数有するものでもよい。チャック機構６６は、例えば互いに接離可能な一対の爪６６ａ及び６６ｂを有し、両爪の間に選定された部品を把持することができる。チャック機構を有するロボットハンドは、孔又は凸部等の把持しやすい形状を備えている部品の把持及び取り出しに特に適している。またチャック機構６６は、選定された部品に当接したときにチャック機構が該部品の把持に適した姿勢（傾き）となるように構成される。従って、チャック機構６６の片方の爪のみが取り出すべき部品に当接した場合でも、伸縮性機構６２によりチャック機構６６が部品の姿勢に合わせて傾斜可能なので、把持の成功率が上がる。また、上述のように選定された部品の位置が計算上想定した位置よりもいくらか高い場所にある場合でも、このような緩衝性（伸縮性）を持つ機構を使用することにより、ロボットハンドに過剰な力がかかることが回避される。

上述の先端部の具体例とコンプライアンス機構の具体例との組み合わせ（例えば電磁石とロータリージョイント）は一例に過ぎず、他の組み合わせも勿論可能である。また上述のような様々な構成を複合的に使用することによっても、低コストで効率のよい部品取り出し装置が実現できるようになることは言うまでもない。

本発明に係る部品取り出し装置の概略構成を示す図である。カメラの視線方向及びロボットハンドのアプローチ経路を概略的に示す図である。ドットパターンプレートの一例を示す図である。部品の存在高さの計算方法を説明するための図である。ロボットハンドの好適な実施例を示す図である。ロボットハンドの他の好適な実施例を示す図である。ロボットハンドのさらなる他の好適な実施例を示す図である。カメラ、ロボットハンド及び部品の位置関係を概略的に示す図である。

符号の説明

１０部品取り出し装置
１２コンテナ
１４部品
１６ロボット
１８カメラ
２０ロボットコントローラ
２２画像処理部
２４ハンドリング制御部
４０、５０、６０ロボットハンド

Claims

バラ積みされた同種の複数の部品の画像を含む２次元画像を撮像するカメラと、前記複数の部品から部品を１つずつ取り出すロボットと、前記カメラが撮像した画像の画像処理を行う画像処理部と、前記ロボットを制御するハンドリング制御部とを備える物品取り出し装置であって、
前記画像処理部は、
前記２次元画像から、前記複数の部品の画像の各々の２次元位置情報と、前記複数の部品の画像の各々のサイズ情報とを検出する対象物検出部と、
基準位置にある部品の存在高さに関する情報を、前記基準位置にある部品についてのサイズ情報と関連付けて記憶する記憶部と、
前記検出された部品の画像の各々のサイズ情報、前記部品の画像と特徴モデルとの一致度、及び前記部品の画像の特徴モデルに対する傾斜率の少なくとも１つを用いて求められる優先度が最も高い部品を取り出し対象として選定する対象物選定部と、
前記選定された部品についての前記２次元位置情報に基づいて、該部品と前記カメラとを結ぶ３次元空間上のカメラの視線の方向を求める視線方向計算部と、
前記選定された部品についてのサイズ情報と、前記記憶部に記憶された基準位置にある部品の存在高さに関する情報及びサイズ情報とに基づいて、前記選定された部品の存在高さを求め、さらに該存在高さと前記視線の方向に基づいて前記選定された部品の３次元位置を求める対象物位置推定部と、
前記ロボットによる部品の把持に必要な前記ロボットの移動補正量を計算する把持補正量計算部と、を有し、
前記ハンドリング制御部は、
前記ロボットに装着されたロボットハンドを前記選定された部品の３次元位置に移動させるべく、該選定された部品についての前記カメラの視線方向に沿って前記ロボットハンドの移動制御を行う移動制御部と、
前記ロボットハンドが前記選定された部品に接触したことを検出する接触検出部と、
前記接触検出部により接触が検出されたときに前記ロボットハンドの移動を停止し、前記ロボットハンドによる前記選定された部品の把持を指示する対象物把持指示部と、
前記ロボットハンドで把持した部品を前記ロボットハンドにより引き抜く引き抜き動作指示部と、を有する、
物品取り出し装置。
前記優先度は、前記複数の部品の各々のサイズ情報、一致度及び傾斜率の少なくとも２つにそれぞれ重みを乗じた値の和である積和値である、請求項１に記載の物品取り出し装置。
前記優先度は、前記複数の部品の各々のサイズ情報、一致度及び傾斜率の少なくとも２つの乗算値である、請求項１に記載の物品取り出し装置。
前記ロボットハンドは、基部と、前記選定された部品を把持可能に構成された先端部と、前記選定された部品を把持する際に該部品から受ける力によって、前記選定された部品の姿勢に応じて前記先端部が姿勢変化できるように前記先端部を前記基部に接続するコンプライアンス機構とを備える、請求項１〜３のいずれか１項に記載の物品取り出し装置。
前記先端部は前記選定された部品に形成された孔又は凹部に係合可能な略半球状の形状を備えた電磁石を有する、請求項４に記載の物品取り出し装置。
前記先端部は前記選定された部品を吸着把持可能な真空吸着力を生ずる吸着パッドを有する、請求項４に記載の物品取り出し装置。
前記先端部は前記選定された部品を把持可能なチャック機構を有する、請求項４に記載の部品取り出し装置。