JP2014174629A - ワークピース認識方法 - Google Patents

ワークピース認識方法 Download PDF

Info

Publication number
JP2014174629A
JP2014174629A JP2013044563A JP2013044563A JP2014174629A JP 2014174629 A JP2014174629 A JP 2014174629A JP 2013044563 A JP2013044563 A JP 2013044563A JP 2013044563 A JP2013044563 A JP 2013044563A JP 2014174629 A JP2014174629 A JP 2014174629A
Authority
JP
Japan
Prior art keywords
workpiece
posture
patches
sample
patch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013044563A
Other languages
English (en)
Inventor
Makoto Furukawa
誠 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2013044563A priority Critical patent/JP2014174629A/ja
Publication of JP2014174629A publication Critical patent/JP2014174629A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】複雑に重なり合った状態のワークピースの位置及び姿勢を高い信頼性で求めることが可能なワークピース認識方法を提供する。
【解決手段】準備工程では、ワークピースWを非接触型のスキャナ12で測定して、各姿勢におけるワークピースWの点群データを求め、この点群データを複数のサンプルパッチに分割する。サンプルパッチ毎に点群データを分類し、複数のサンプルパッチ毎に、ワークピースWの基準位置情報と姿勢情報とを対応させて保存する。ワークピース推定工程では、複数のワークピースWをスキャナ12で測定して得た点群データをパッチに分割し、パッチを分類する。パッチ毎に、同じ分類の前記サンプルパッチに対応させて保存した、位置情報と姿勢情報とを集積する。集積結果に基いて、パッチにおけるワークピースの基準位置及び姿勢を推定する。
【選択図】図5

Description

本発明は、ワークピース認識方法に関する。
バラ積みされたワークピースをロボットなどでピックアップする場合には、最上部に位置するワークピースの位置及び姿勢を正確に検出する必要がある。従来、このような場合、CCDカメラからの2次元の濃淡画像を利用してパターンマッチングを行うことでピッキングするワークピースを検出していた。
例えば、特許文献1には、パターンマッチングを用いて、バラ積みされたワークピースの位置及び姿勢を検出する方法が記載されている。この方法では、まず、バラ積みされたワークピースを2次元CCDカメラで撮像した画像を、予め複数の方向から撮像したワークピースの輪郭形状とマッチングさせて、ワークピースとCCDカメラとの相対姿勢を求める。そして、求めた相対姿勢に基づいて、対象とするワークピースの特徴を明確に捕らえることができる位置姿勢に移動させた3次元視覚センサでワークピースの位置姿勢を計測する。これにより、ワークピースの位置姿勢を正確に計測することができる。
また、特許文献2には、ワークピースの撮影画像をアイコン(パッチ)に分割して、各アイコンの相対位置関係をタグ付けすることが記載されている。
米国特許第7177459号公報 米国特許第8150165号公報
しかしながら、複数のワークピースが複雑に重なり合った状態の撮像画像では、画像中の輝度の変化がランダムかつ特徴が曖昧になる。そのため、パターンマッチング法では輪郭形状の抽出ができず、ワークピースの正確な位置及び姿勢の特定ができない場合があった。
本発明は、以上の点に鑑み、複雑に重なり合った状態のワークピースの位置及び姿勢を高い信頼性で求めることが可能なワークピース認識方法を提供することを目的とする。
本発明は、ワークピースの位置及び姿勢を認識するワークピース認識方法であって、複数の姿勢における前記ワークピースを非接触型の3次元スキャン装置で測定して、各前記姿勢におけるワークピースの点群データを求める工程、前記点群データを複数のサンプルパッチに分割する工程、前記サンプルパッチ毎に、前記点群データを分類する工程、及び、前記複数のサンプルパッチ毎に、前記ワークピースの基準位置を示す位置情報と前記3次元スキャン装置で測定されたときの前記ワークピースの姿勢を示す姿勢情報とを対応させて保存する工程からなる準備工程と、複数の前記ワークピースを前記3次元スキャン装置で測定して得た点群データをパッチに分割して複数のパッチを得る工程と、前記複数のサンプルパッチを分類した方法と同じ方法で、前記複数のパッチを分類する分類工程と、前記複数のパッチ毎に、該パッチと同じ分類の前記サンプルパッチに対応させて保存した、前記位置情報と前記姿勢情報とを集積する集積工程と、前記位置情報及び前記姿勢情報の集積結果に基いて、前記パッチにおける少なくとも1つの前記ワークピースの基準位置及び姿勢を推定するワークピース推定工程とを含むことを特徴とする。
また、本発明は、ワークピースの位置及び姿勢を認識するワークピース認識方法であって、複数の姿勢における前記ワークピースを非接触型の3次元スキャン装置で測定したと仮定して、各前記姿勢におけるワークピースの点群データを当該ワークピースの3次元形状モデルから求める工程、前記点群データを複数のサンプルパッチに分割する工程、前記サンプルパッチ毎に、前記点群データを分類する工程、及び、前記複数のサンプルパッチ毎に、前記ワークピースの基準位置を示す位置情報と前記3次元スキャン装置で測定されたと仮定したときの前記ワークピースの姿勢を示す姿勢情報とを対応させて保存する工程からなる準備工程と、複数の前記ワークピースを前記3次元スキャン装置で測定して得た点群データをパッチに分割して複数のパッチを得る工程と、前記複数のサンプルパッチを分類した方法と同じ方法で、前記複数のパッチを分類する分類工程と、前記複数のパッチ毎に、該パッチと同じ分類の前記サンプルパッチに対応させて保存した、前記位置情報と前記姿勢情報とを集積する集積工程と、前記位置情報及び前記姿勢情報の集積結果に基いて、前記パッチにおける少なくとも1つの前記ワークピースの基準位置及び姿勢を推定するワークピース推定工程とを含むことを特徴とする。
これら本発明によれば、下方に存在するワークピースはその上方に存在する他のワークピースによって被覆されるので、最上部に位置するワークピースほど、集積工程で集積される位置情報及び姿勢情報の集積は大きくなる。よって、集積が大きな位置情報で表される位置に基準位置を有し、集積が大きな姿勢情報で表される姿勢にあるワークピースであるほど、上位にあると推定される。
このように、本発明では、複数のワークピースをスキャンして得た点群データを分割したパッチと同じ分類のサンプルパッチに対応させた位置情報及び姿勢情報を集積するので、分類又は対応付けが良好に行えないものがあっても、被覆部が小さなワークピースの基準位置の位置及び姿勢を、最終的に高い信頼性で推定することが可能となる。
例えば、本発明において、前記点群データを分類する工程では、前記サンプルパッチを構成する点群データを相互に比較することによって、前記点群データを分類すればよい。
本発明において、前記ワークピース推定工程で基準位置及び姿勢を求めた前記ワークピースの被覆部を、当該ワークピースの位置情報及び姿勢情報に集積された前記パッチに基づいて推定する被覆部推定工程をさらに含むことが好ましい。
この場合、集積が低くワークピースの一部が被覆されていると推定されるとき、被覆部推定工程では、このワークピースを示す位置情報及び姿勢情報に集積されたパッチを逆に展開して、被覆部を推定する。これにより、ロボット等がピックアップする部分が被覆されているか否かを推定することができる。
サンプルデータ取得装置の構成を示す図である。 (a)は、パッチに分割した状態を示す図であり、(b)は、サンプルパッチデータベースの一部の一例を示す。 ワークピース位置姿勢認識装置を備えたピッキングアップ・システムの構成を示す図である。 位置情報の集積結果に基いてワークピースの位置を推定する方法を示す説明図である。 ワークピース認識方法のフローチャートである。
本発明の実施形態における準備工程で使用するサンプルデータ取得装置10について説明する。
図1に示すように、サンプルデータ取得装置10は、ワークピースWを既知の姿勢で設置することが可能な設置台11と、設置台11に設置された1個のワークピースWを上方からスキャンするスキャナ12と、設置台11又はスキャナ12の姿勢を制御する制御部13とを備える。
設置台11は、例えば、回転ステージであり、制御部13によって回転制御可能に構成されている。スキャナ12は、ここでは、非接触型の3次元スキャン装置、例えばレーザスキャナであり3次元の点群データを生成する。スキャナ12は、図示しない支柱や天井などに支持されて設置台11の上方に配置されている。
制御部13によって設置台11又はスキャナ12の姿勢を制御して、また、必要に応じて設置台11に設置されたワークピースWを裏返して、スキャナ12に様々な姿勢のワークピースWをスキャンさせる。
スキャナ12でワークピースWを球状に包み込んだあらゆる方向からスキャンした点群データをサンプル点群データとして得る。ただし、連続的に全ての方向からワークピースWをスキャナしたサンプル点群データを得ることは現実的には不可能であるので、ある程度の小さな角度刻みでスキャン方向を変えたワークピースWの代表姿勢のサンプル点群データを得ることになる。
サンプルデータ取得装置10は、さらに、データ処理部14、パッチ分割部15、及びタグ付与部16を備え、記憶装置20に接続されている。
データ処理部14は、スキャナ12で得たサンプル点群データをスキャン時のワークピースWの姿勢情報と対応付けて記憶装置20に保存する。サンプル点群データは、例えば、XYZ座標系における位置を示すデータの集合である。
なお、図2(a)に示すように、ワークピースWに、1点の基準位置O、及び1つの基準姿勢(基準方向)を予め定めておく。基準位置Oは、例えば、ワークピースWの重心、ワークピースWに形成された穴の中心などに設定すればよい。そして、各サンプル点群データに対応付ける姿勢情報は、基準姿勢を基準とした、スキャンしてサンプル点群データを得たときにおけるワークピースWの姿勢の方向ずれを示す情報である。
パッチ分割部15は、サンプル点群データが示す点の集合からなる面をそれぞれパッチ(小領域)に分割して、複数のサンプルパッチを得る処理を行う。パッチは、例えば、予め定められた長さ×長さ分の長方形又は正方形の領域である。
タグ付与部16は、パッチ分割部15で分割された各サンプルパッチに対して、ワークピースWの位置関係情報、姿勢情報、及び位置関係情報と姿勢情報に関する信頼度情報をタグとして付与する。具体的には、位置関係情報は、サンプルパッチに係る部分のワークピースWの基準位置Oに対する相対座標情報(例えば、XYZ軸座標)である。姿勢情報は、位置関係情報と同様に、サンプルパッチに係るサンプル点群データを得たときのワークピースWの基準角度に対する相対角度情報であり、例えばRx,Ry、Rzの3軸回りの回転角度、あるいは3×3の回転行列である。
サンプルパッチによっては、ワークピースWの基準位置Oまでの関係が一義的に求まらない場合と求まる場合とがあるため、タグ付与部16は、信頼度情報として重み付け係数を付与する。
例えば、図2(a)を参照して、ワークピースWの側辺部の一部の面に係るサンプルパッチでは、具体的に側辺部のどの領域の面であるか不明である。このような場合には、信頼度が低いので、重み付け係数をそのぶんだけ低くしておく。さらに具体的には、あるサンプルパッチがワークピースWの2つの部分の何れか一方を特定の方向からスキャンしたものであることが分かる場合、信頼度は50%であるので、このサンプルパッチに付与する重み付け係数は0.5とする。一方、ワークピースWの角部などの特徴部分を特定の方向からスキャンしたサンプルパッチでは、基準位置O及び姿勢が一義的に定まるので、信頼度は高く、重み付け係数を1.0とする。
さらに、タグ付与部16は、サンプルパッチを、該サンプルパッチを構成する各点群データが予め定めた条件式を満たすか否かによって仕分けする二分木法によって分類する。そして、タグ付与部16は、サンプルパッチ毎に、分類に応じた番号付けしてラベリングを行う。
具体的には、タグ付与部16は、例えば、ある特定の点データのZ座標値と、他の特定の点データのZ座標値とを比較して、ある特定のZ座標値が他の特定の点データのZ座標値以上である場合には「0」、未満である場合には「1」として、仕分けする。これにより、各サンプルパッチに対して「100101・・・」などの数列が求まる。そして、この数列順にサンプルパッチを並び代えて、各サンプルパッチに番号を付与する。このように、数列を求めるための質問は、正否で回答され、その回答を0,1の2値に分類できるものであればよい。
このように二分木法を用いて仕分けすることで、膨大な数に及ぶサンプルパッチの分類を単純な2進法分類の繰り返しに帰着させることができる。よって、電子演算器を用いれば短時間で分類することが可能となる。ただし、二分木法を用いた分類することに限定されず、サンプルパッチの点群データから特徴パラメータを抽出するなどの周知の任意の分類方法で分類してもよい。
そして、タグ付与部16は、図2(b)に示すように、付与した番号順に、位置関係情報、姿勢情報、信頼度情報、及び数列を対応付けて、各サンプルパッチをサンプルパッチデータベースとして記憶装置20に保存する。
次に、本発明の実施形態におけるワークピース認識方法で使用するワークピース位置姿勢認識装置30を備えたピッキングアップ・システム40について説明する。
図3に示すように、ワークピース位置姿勢認識装置30は、ホッパ(貯留槽)41内に山積みされたワークピースWの基準位置及び姿勢を求める装置である。ここでは、ワークピースWは同一形状であり、ホッパ41内に3次元的に任意の位置及び姿勢で多数山積みされている。
ワークピース位置姿勢認識装置30は、山積みされたワークピースWのうち、最上部付近に位置し、ピックアップされるに適したワークピースWを決定する。なお、本ワークピース位置姿勢認識装置30は、ワークピースWが乱雑に山積みされている場合に限らず、ワークピースWが整列して配置されている場合でも、同様に適用可能である。
ピッキングアップ・システム40は、ワークピース位置姿勢認識装置30から供給されるワークピースWの基準位置O、姿勢、及び距離に応じて、ワークピースWを一つずつピックアップするロボット42を備える。ロボット42は、アーム43と、アーム43のエンドエフェクタであるハンド44と、アーム43及びハンド44の動作を制御するロボット制御部45とを備える。
ロボット制御部45は、ワークピース位置姿勢認識装置30から供給された、ピックアップすべきワークピースWの基準位置情報、姿勢情報及び距離情報を、ロボット座標系に変換して、このワークピースWをハンド44でピックアップするように、アーム43及びハンド44を制御する。
ピッキングアップ・システム40は、さらに、ホッパ41内に山積みされたワークピースWを上方からスキャンするスキャナ46を備える。スキャナ46は、ここでは、の非接触型の3次元スキャン装置、例えばレーザスキャナであり、スキャナ12と同型式であることが好ましい。スキャナ46は、図示しない支柱や天井などに支持され、離間してホッパ41の上方に配置されている。
ワークピース位置姿勢認識装置30は、データ処理部31、パッチ分割部32、対応サンプルパッチ分類部33、集積部34、ワークピース推定部35、被覆部推定部36、実ワークピース決定部37、及びピックアップ決定部38を備え、記憶装置20に接続されている。
データ処理部31は、スキャナ46で得た点群データを記憶装置20に格納する。
パッチ分割部32は、データ処理部31が記憶装置20に格納した点群データを複数のパッチ(小領域)に分割して、複数のパッチを得る処理を行う。このパッチは、サンプルデータ取得装置10のパッチ分割部15でサンプルパッチと同じ大きさの領域である。ここでは、パッチ分割部32で分割されたパッチの縮尺が、サンプルデータ取得装置10のパッチ分割部15で分割されたパッチの縮尺とほぼ同じになるように調整する。
対応サンプルパッチ分類部33は、パッチ分割部32で分割された各パッチが、パッチ分割部15で分割されたサンプルパッチの何れに最も類似するかを、記憶装置20に格納されたサンプルパッチデータベースから探索する。
ここでは、対応サンプルパッチ分類部33は、前述したタグ付与部16で求めた数列と同じ方法でパッチ分割部32で分割された各パッチに対応する数列を求める。対応サンプルパッチ分類部33は、各パッチに対応する数列と数列が一致するサンプルパッチを探索する。
対応サンプルパッチ分類部33は、タグ付与部16と同様に二分木法で数列を求め、求めた数列をタグ付与部16で付与した数列と対比するので、短時間で一致するサンプルパッチを探索することが可能となる。
そして、対応サンプルパッチ分類部33は、各パッチに対応する数列と数列が全て一致するサンプルパッチ、もしくは数列のうち閾値個以上の数列が一致するサンプルパッチを、最も類似するサンプルパッチとする。なお、2つのワークピースWが重なり合って、パッチに分岐が存在するような場合がある。このような場合は、数列が一致又は類似するサンプルパッチは存在しない。
対応サンプルパッチ分類部33は、パッチに最も類似するサンプルパッチを、当該パッチに対応するサンプルパッチとして分類する。
集積部34は、それぞれのパッチにより最も基準位置として示される地点がどこになるかを集積する。具体的には、対応サンプルパッチ分類部33で探索したサンプルパッチ領域にラベリングされた基準位置情報毎に、重み付け係数を集積する。
詳細には、集積部34は、スキャナ46で得た点群データを分割して得た全てのパッチにそれぞれ対応する、対応サンプルパッチ分類部33で探索したサンプルパッチに対応して保存されている基準位置情報毎に、重み付け係数の総和値(以下、この総和値を「得点」という)を算出する。
ワークピース推定部35は、図4に示すように、集積部34で集積された得点に基づいて、ワークピースWの基準位置Oを推定する。相対的にホッパ41の下方に存在するワークピースWは、上方のワークピースWに一部又は全部が隠される。そのため、下方に存在するワークピースWの基準位置Oは、高い得点を得ることができず、最上部に位置するワークピースWほど、基準位置Oが高い得点を得ることができる。
よって、高得点を得た基準位置情報が示す基準位置Oで姿勢情報が示す姿勢にあるワークピースWは、最上部付近にあり露出していると推定することができる。そこで、ワークピース推定部35は、集積部34で算出した得点が予め定めた閾値を超えた場合、その得点を獲得した基準位置情報が示す基準位置Oで姿勢情報が示す姿勢(これらを合せて、「推定位置姿勢」という)にあるであろうと推定されるワークピースWを選出する。前記閾値は、例えば、選出されたワークピースWは、全て露出しているものも、一部が露出していないものも含まれるように設定する。
なお、図4では、視覚的に理解を容易にするために、重み付け係数の総和値である基準位置情報のみから得点を集積した様子を概念的に示している。このように画面内にある得点を高さで順位づけすることにより、検出したい部品数のみに絞って探索をかけることが可能となりより高速な検出が可能となる。例えば、3つ検出したい場合には、得点集積が高い上位3つからのみ推定位置姿勢を算出すればよい。
ところで、集積部34で集積された得点が閾値よりは高いがある程度低いとき、その得点を得て選定されたワークピースWは少なくとも一部が他のワークピースW等によって被覆されていると考えられる。選定されたワークピースWの被覆部(非露出部)がロボット42のピックアップ部位(把持部位)である場合、このワークピースWはロボット42でピックアップできない。よって、ワークピースWの被覆部を特定することが望ましい。
そこで、被覆部推定部36は、記憶装置20に保存されたサンプルパッチデータベースを再度利用して、ワークピースWが推定位置姿勢にあるときのワークピースWの形状(どの場所のパッチから構成されているべきか)から、実際に重み付け係数を集積したパッチの集合を差し引いた領域を、被覆部と推定する。
例えば、ワークピース推定部35で推定された姿勢が、サンプルパッチA,B,C,D,Eからなる位置姿勢であるとすると、スキャナ46で撮影されているワークピースにおいてもA,B,C,D,Eの箇所のパッチから基準位置情報が集積されることが期待される。しかし、例えば、Bのサンプルパッチに対応するパッチの領域から、ワークピースWの基準位置Oを基準位置情報として重み付け係数を集積していなければ、Bの領域は被覆していると推定する。
なお、実際に山積みとなっているワークピースWの姿勢は任意であるため、サンプルパッチを得た姿勢とは一致しない状態の姿勢が存在する。すなわち、選出されワークピースWの姿勢情報が示す姿勢は、離散的なデータベースの中から選択された最も似た姿勢であるので、実際のワークピースWの姿勢とは少し異なる場合がある。そのため、ワークピース推定部35で選定されたワークピースWの推定位置姿勢が実際位置姿勢と異なり、ロボット42でのピックアップに影響が生じるおそれがある。
そこで、実ワークピース決定部37は、ワークピース推定部35で選出したワークピースWの実際の基準位置O及び姿勢(これらを合せて、「実際位置姿勢」という)を、実際のワークピースWを2台の撮像装置(図示しない)で撮像した画像をステレオ画像処理することによって求めることが好ましい。
具体的には、実ワークピース決定部37は、2台の撮像装置が撮像した画像から推定位置姿勢に基準位置Oの位置、姿勢が近似するワークピースWを選定し、その画像に微分処理を施すなどの周知の方法でエッジを抽出し、そのワークピースW全体の輪郭線を求める。
このとき、画像処理を行うべきワークピースWの基準位置Oの位置及び姿勢は予め推定されているので、2台の撮像装置で撮像された画像間における対応点を誤認識なく対応付けることができ、対応点の探索等に要する画像処理量も少ない。
また、実ワークピース決定部37は、ワークピースWまでの距離(図3における垂直方向位置)を求める。撮像装置から対応点(ワークピースWの基準位置O)までの距離Zは、2台の撮像装置間の距離L、撮像装置の焦点距離f、2台の撮像装置間の対応点の視差(ずれ量)dから、次式(1)によって求めることができる。
Z=L×f/d ・・・ (1)
これにより、ロボット42で選定したワークピースWをピックアップすることが可能となる。
なお、実ワークピース決定部37で、実際のワークピースWを2台の撮像装置で撮像した画像からワークピースWの輪郭線を求めて被覆部を特定してもよいが、被覆部がピックアップ部位であることが分かった場合、この画像処理は無駄となる。よって、実ワークピース決定部37は、被覆部推定部36で被覆部がピックアップ部位でないと推定されたワークピースWに対してのみ実際位置姿勢を求めればよい。
ピックアップ決定部38は、実ワークピース決定部37で求めた実際のワークピースWの実際位置姿勢及び距離に基いて、ロボット42での取り出しに適しているワークピースWを決定する。そして、決定したワークピースWの実際位置姿勢及び距離を示す情報をロボット制御部45に送信する。取り出すワークピースWの決定手法は特に問わないが、例えばピックアップする際のロボット42の制御が容易であるワークピースW、あるいは、ピックアップ後に裏返し等が必要ないワークピースWを選択すればよい。
以下、図5を参照して、本発明の実施形態におけるワークピース認識方法について説明する。
まず、上述したサンプルデータ取得装置10を用いて、準備工程を行う(S10)。
この準備工程では、最初に、1個のワークピースWを設置台11に設置する。そして、制御部13で設置台11を回転等させながら、様々な角度からワークピースWをスキャナ12でスキャンする(S11)。
そして、データ処理部14は、スキャンして得たサンプル点群データをワークピースWの姿勢情報と対応付けて記憶装置20に保存する(S12)。
次に、パッチ分割部15は、各サンプル点群データをそれぞれパッチに分割して、複数のサンプルパッチを得る(S13)。
次に、タグ付与部16は、S13で分割された各サンプルパッチに対して、ワークピースWの位置関係情報、姿勢情報、及び位置関係情報と姿勢情報に関する信頼度情報をタグとして付与すると共に、上述した条件式から数列を求めて番号付けしてラベリングを行う。さらに、タグ付与部16は、付与した番号順に、位置関係情報、姿勢情報、信頼度情報、及び数列を対応付けて、各サンプルパッチをサンプルパッチデータベースとして記憶装置20に保存する(S14)。
そして、準備工程(S10)完了後に、上述したピッキングアップ・システム40を用いて、ワークピースWのワークピース認識工程(S20)を行う。
このワークピース認識工程では、最初に、ホッパ41の上方から、ランダムに山積みされたワークピースWを2台のスキャナ46でスキャンする(S21)。
そして、データ処理部31は、スキャナ46により得た点群データを記憶装置20に格納する(S22)。
次に、パッチ分割部32は、S22で得た点群データを複数のパッチに分割に分割して、複数のパッチを得る(S23)。
次に、対応サンプルパッチ分類部33は、S23で分割された各パッチが、S13で分割されたサンプルパッチの何れに最も類似するかを記憶装置20に格納されたサンプルパッチデータベースから探索する。この探索結果に基づいて各パッチを分類する(S24)。このS24が、本発明の分類工程に相当する。
次に、集積部34は、対応サンプルパッチ分類部33で探索したサンプルパッチ領域にラベルングされた基準位置情報及び姿勢情報毎に、重み付け係数の総和を集積した得点を求める(S25)。このS25が本発明の集積工程に相当する。
次に、ワークピース推定部35は、S25で集積された得点が前記閾値を超えるワークピースWを選定し、選定したワークピースWの基準位置O及び姿勢を推定する(S26)。このS26が、本発明のワークピース推定工程に相当する。
次に、被覆部推定部36は、S26で選定したワークピースWのうち、得点が低いワークピースWの被覆部を推定する(S27)。このS27が本発明の被覆部推定工程に相当する。
次に、実ワークピース決定部37は、S27で被覆部がピックアップ部位であると推定されたワークピースWを除き、S26で選定したワークピースWの実際の基準位置O及び姿勢を求める(S28)。また、実ワークピース決定部37は、このワークピースWの実際の距離を求める(S29)。
そして、ピックアップ決定部38は、S28及びS29で求めた実際のワークピースWの基準位置O、姿勢及び距離から、ロボット42での取り出しに適しているワークピースWを決定する(S30)。
そして、最後に、ロボット42を用いて、S30で決定したワークピースWをピックアップするピックアップ工程(S31)を行う。
以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されず、本発明の主旨を逸脱しない範囲において適宜変形して適用可能である。
例えば、本実施形態では、ワークピース位置姿勢認識装置30は被覆部推定部36を備え、ワークピース認識方法はワークピースWの被覆部を推定する工程(S27)を備える場合について説明した。しかし、被覆部推定部36、及び被覆部を推定する工程を備えないものであってもよい。
また、本実施形態では、ワークピースWを実際にスキャナ12でスキャナして得た点群データをサンプル点群データとしている。しかし、サンプル点群データを得る手段はこれに限定されない。例えば、ワークピースWをスキャナ12で測定したと仮定して、ワークピースWの3次元形状モデルからサンプル点群データを求めてもよい。
10…サンプルデータ取得装置、 11…設置台、 12…スキャナ(3次元スキャン装置)、 13…制御部、 14…データ処理部、 15…パッチ分割部、 16…タグ付与部、 20…記憶装置、 30…ワークピース位置姿勢認識装置、 31…データ処理部、 32…パッチ分割部、 33…対応サンプルパッチ分類部、 34…集積部、 35…ワークピース推定部、 36…被覆部推定部、 37…実ワークピース決定部、 38…ピックアップ決定部、 40…ピッキングアップ・システム、 41…ホッパ、 42…ロボット、 43…アーム、 44…ハンド、 46…スキャナ(3次元スキャン装置)、 W…ワークピース。

Claims (4)

  1. ワークピースの位置及び姿勢を認識するワークピース認識方法であって、
    複数の姿勢における前記ワークピースを非接触型の3次元スキャン装置で測定して、各前記姿勢におけるワークピースの点群データを求める工程、
    前記点群データを複数のサンプルパッチに分割する工程、
    前記サンプルパッチ毎に、前記点群データを分類する工程、及び、
    前記複数のサンプルパッチ毎に、前記ワークピースの基準位置を示す位置情報と前記3次元スキャン装置で測定されたときの前記ワークピースの姿勢を示す姿勢情報とを対応させて保存する工程からなる準備工程と、
    複数の前記ワークピースを前記3次元スキャン装置で測定して得た点群データをパッチに分割して複数のパッチを得る工程と、
    前記複数のサンプルパッチを分類した方法と同じ方法で、前記複数のパッチを分類する分類工程と、
    前記複数のパッチ毎に、該パッチと同じ分類の前記サンプルパッチに対応させて保存した、前記位置情報と前記姿勢情報とを集積する集積工程と、
    前記位置情報及び前記姿勢情報の集積結果に基いて、前記パッチにおける少なくとも1つの前記ワークピースの基準位置及び姿勢を推定するワークピース推定工程とを含むことを特徴とするワークピース認識方法。
  2. ワークピースの位置及び姿勢を認識するワークピース認識方法であって、
    複数の姿勢における前記ワークピースを非接触型の3次元スキャン装置で測定したと仮定して、各前記姿勢におけるワークピースの点群データを当該ワークピースの3次元形状モデルから求める工程、
    前記点群データを複数のサンプルパッチに分割する工程、
    前記サンプルパッチ毎に、前記点群データを分類する工程、及び、
    前記複数のサンプルパッチ毎に、前記ワークピースの基準位置を示す位置情報と前記3次元スキャン装置で測定されたと仮定したときの前記ワークピースの姿勢を示す姿勢情報とを対応させて保存する工程からなる準備工程と、
    複数の前記ワークピースを前記3次元スキャン装置で測定して得た点群データをパッチに分割して複数のパッチを得る工程と、
    前記複数のサンプルパッチを分類した方法と同じ方法で、前記複数のパッチを分類する分類工程と、
    前記複数のパッチ毎に、該パッチと同じ分類の前記サンプルパッチに対応させて保存した、前記位置情報と前記姿勢情報とを集積する集積工程と、
    前記位置情報及び前記姿勢情報の集積結果に基いて、前記パッチにおける少なくとも1つの前記ワークピースの基準位置及び姿勢を推定するワークピース推定工程とを含むことを特徴とするワークピース認識方法。
  3. 前記点群データを分類する工程では、前記サンプルパッチを構成する点群データを相互に比較することによって、前記点群データを分類することを特徴とする記載の請求項1に記載のワークピース認識方法。
  4. 前記ワークピース推定工程で基準位置及び姿勢を求めた前記ワークピースの被覆部を、当該ワークピースの位置情報及び姿勢情報に集積された前記パッチに基づいて推定する被覆部推定工程をさらに含むことを特徴とする請求項1から3の何れか1項に記載のワークピース認識方法。
JP2013044563A 2013-03-06 2013-03-06 ワークピース認識方法 Pending JP2014174629A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013044563A JP2014174629A (ja) 2013-03-06 2013-03-06 ワークピース認識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013044563A JP2014174629A (ja) 2013-03-06 2013-03-06 ワークピース認識方法

Publications (1)

Publication Number Publication Date
JP2014174629A true JP2014174629A (ja) 2014-09-22

Family

ID=51695824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013044563A Pending JP2014174629A (ja) 2013-03-06 2013-03-06 ワークピース認識方法

Country Status (1)

Country Link
JP (1) JP2014174629A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670513A (zh) * 2018-11-27 2019-04-23 西安交通大学 一种基于词袋模型和支持向量机的活塞姿态检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004050390A (ja) * 2002-07-24 2004-02-19 Fanuc Ltd ワーク取出し装置
JP2010079453A (ja) * 2008-09-24 2010-04-08 Canon Inc 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法
JP2013010155A (ja) * 2011-06-28 2013-01-17 Canon Inc 対象物把持装置、対象物把持装置の制御方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004050390A (ja) * 2002-07-24 2004-02-19 Fanuc Ltd ワーク取出し装置
JP2010079453A (ja) * 2008-09-24 2010-04-08 Canon Inc 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法
JP2013010155A (ja) * 2011-06-28 2013-01-17 Canon Inc 対象物把持装置、対象物把持装置の制御方法、およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670513A (zh) * 2018-11-27 2019-04-23 西安交通大学 一种基于词袋模型和支持向量机的活塞姿态检测方法

Similar Documents

Publication Publication Date Title
JP5458885B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
EP2345515B1 (en) Method for picking up work pieces
JP6529302B2 (ja) 情報処理装置、情報処理方法、プログラム
US9044858B2 (en) Target object gripping apparatus, method for controlling the same and storage medium
US7283661B2 (en) Image processing apparatus
JP3768174B2 (ja) ワーク取出し装置
US7966094B2 (en) Workpiece picking apparatus
Nerakae et al. Using machine vision for flexible automatic assembly system
KR102056664B1 (ko) 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템
US9361695B2 (en) Method of recognizing a position of a workpiece from a photographed image
US9576363B2 (en) Object picking system, object detecting device, object detecting method
JP2015147256A (ja) ロボット、ロボットシステム、制御装置、及び制御方法
CN108126914B (zh) 一种基于深度学习的料框内散乱多物体机器人分拣方法
KR100823549B1 (ko) 조선소 소조립 용접부재 위치 인식 방법
CN105091885B (zh) 机器人及自身位置推定方法
US10434652B2 (en) Workpiece picking system
CN113927601B (zh) 一种基于视觉识别实现机械臂精准挑拣的方法及系统
US20230297068A1 (en) Information processing device and information processing method
CN113284178B (zh) 物体码垛方法、装置、计算设备及计算机存储介质
JP2022160363A (ja) ロボットシステム、制御方法、画像処理装置、画像処理方法、物品の製造方法、プログラム、及び記録媒体
US20230410362A1 (en) Target object detection method and apparatus, and electronic device, storage medium and program
JP6041710B2 (ja) 画像認識方法
CN113269112A (zh) 一种抓取区域的识别方法、装置、电子设备及存储介质
JP6124566B2 (ja) 画像認識方法および画像認識装置
JP2014174629A (ja) ワークピース認識方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170314