JP2013000854A - ピッキングシステム - Google Patents

ピッキングシステム Download PDF

Info

Publication number
JP2013000854A
JP2013000854A JP2011136328A JP2011136328A JP2013000854A JP 2013000854 A JP2013000854 A JP 2013000854A JP 2011136328 A JP2011136328 A JP 2011136328A JP 2011136328 A JP2011136328 A JP 2011136328A JP 2013000854 A JP2013000854 A JP 2013000854A
Authority
JP
Japan
Prior art keywords
workpiece
overlap
robot
detected
abnormality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011136328A
Other languages
English (en)
Other versions
JP5464176B2 (ja
Inventor
Tetsuo Izumi
哲郎 泉
Kenichi Koyanagi
健一 小▲柳▼
Kenji Matsukuma
研司 松熊
Yukio Hashiguchi
幸男 橋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaskawa Electric Corp
Original Assignee
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaskawa Electric Corp filed Critical Yaskawa Electric Corp
Priority to JP2011136328A priority Critical patent/JP5464176B2/ja
Priority to US13/337,818 priority patent/US8880217B2/en
Priority to CN201210017894.6A priority patent/CN102837317B/zh
Priority to EP12151739.5A priority patent/EP2538373B1/en
Publication of JP2013000854A publication Critical patent/JP2013000854A/ja
Application granted granted Critical
Publication of JP5464176B2 publication Critical patent/JP5464176B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Specific Conveyance Elements (AREA)

Abstract

【課題】ワークの取りこぼしを防止すること。
【解決手段】ロボット2が、コンベアによって搬送されるワークを保持する保持動作および保持したワークを所定の場所へ移動させる移動動作を行い、メインカメラ3aが、搬送路上の領域を撮像し、制御装置5が、メインカメラ3aによって撮像された画像に基づいて搬送路上のワークを検出するとともに、検出したワークの保持動作をロボット2に対して指示する。また、制御装置5の重なり検出部514が、ワークの重なりを検出し、制御装置5の動作指示部515が、重なり検出部514によってワークの重なりが検出された場合に、重なったワークの保持動作をロボット2に対して指示する。
【選択図】図2

Description

本発明は、ピッキングシステムに関する。
従来、ベルトコンベア等の搬送装置によって搬送されるワークをロボットによって保持して他の場所へ移動させるピッキングシステムが知られている。
たとえば、特許文献1には、ワークの供給量に応じて搬送装置の速度制御を行うピッキングシステムが開示されている。
特開2000−289852号公報
しかしながら、従来のピッキングシステムには、ワークの取りこぼしが発生する可能性があった。たとえば、従来のピッキングシステムでは、複数のワークが重なった状態で搬送されてきた場合に、これらの重なり合ったワークを不良品と判定し、ロボットによる保持動作を行わないようにしていた。このため、従来のピッキングシステムでは、良品であるワークを取りこぼしてしまう可能性があった。
開示の技術は、上記に鑑みてなされたものであって、ワークの取りこぼしを防止することができるピッキングシステムを提供することを目的とする。
本願の開示するピッキングシステムは、ワークを搬送する搬送装置と、前記搬送装置によって搬送されるワークを保持する保持動作および保持したワークを所定の場所へ移動させる移動動作を行うロボットと、前記ロボットよりも前記搬送装置の上流側へ設けられ、前記搬送装置の搬送路上を撮像する撮像装置と、前記撮像装置によって撮像された画像に基づいて前記搬送路上のワークを検出するとともに、検出したワークの保持動作を前記ロボットに対して指示する制御装置とを備え、前記制御装置は、前記ワークの重なりを検出する重なり検出部と、前記重なり検出部によって前記ワークの重なりが検出された場合に、重なった前記ワークの保持動作を前記ロボットに対して指示する動作指示部とを備える。
本願の開示するピッキングシステムの一つの態様によれば、ワークの取りこぼしを防止することができる。
図1は、本実施例に係るピッキングシステムの模式斜視図である。 図2は、本実施例に係る制御装置の構成を示すブロック図である。 図3は、ワーク検出部による検出結果の一例を示す図である。 図4は、サブカメラによって撮像される画像の一例を示す図である。 図5は、サブカメラによって撮像される画像の一例を示す図である。 図6は、制御装置が実行する処理手順を示すフローチャートである。
以下に添付図面を参照して、本願の開示するピッキングシステムのいくつかの実施例を詳細に説明する。ただし、これらの実施例における例示で本発明が限定されるものではない。
まず、本実施例に係るピッキングシステムの外観について図1を用いて説明する。図1は、本実施例に係るピッキングシステムの模式斜視図である。なお、以下では、ピッキングシステムが1台のロボットを備える場合の例について説明するが、ピッキングシステムは、2台以上のロボットを備えていてもよい。
図1に示すように、本実施例に係るピッキングシステムは、コンベア1と、ロボット2と、メインカメラ3aと、サブカメラ3bとを備える。コンベア1は、搬送路11上に載置されたワークwを上流から下流へ向けて搬送する搬送装置である。かかるコンベア1は、後述する制御装置によって搬送速度が制御される。ここでは、一例として、コンベア1がベルトコンベアであるものとするが、ワークwを所定方向へ搬送することができるものであれば他の搬送装置であってもよい。
ロボット2は、天井や壁面・床面等に固定された多関節ロボットであり、コンベア1によって搬送されるワークwを保持する保持動作および保持したワークwを所定の場所へ移動させる移動動作を行う。
たとえば、ロボット2は、真空ポンプ等の吸引装置を用いてワークwを吸着させる吸着部をエンドエフェクタ(保持部)として備えており、かかる吸着部を用いてワークwを保持する。また、ロボット2は、保持したワークwを他のコンベア(図示せず)へ移動させた後、吸引装置による吸引力を解除することにより、保持したワークwを他のコンベア上に載置する。
なお、ここでは、ロボット2がエンドエフェクタとして吸着部を備えることとしたが、ロボット2は、ワークwを保持することができれば他のエンドエフェクタを備えていてもよい。たとえば、ロボット2は、ワークwを把持するハンド型のエンドエフェクタを備えていてもよい。
本実施例では、ロボット2として垂直多関節ロボットを適用した例について説明するが、ロボットの構成はこれに限ったものではなく、ロボット2は、水平多関節ロボット、パラレルリンクロボット、直交ロボット等、ワークwを保持して移送できる構成であればよい。
メインカメラ3aは、ロボット2よりもコンベア1の上流側へ配置され、コンベア1の搬送路11上の所定領域を撮像する撮像装置である。メインカメラ3aによって撮像された画像は、LAN(Local Area Network)等の通信ネットワークを介して図示しない制御装置へ出力される。
サブカメラ3bは、メインカメラ3aとロボット2との間、具体的には、ロボット2の近傍へ配置され、コンベア1の搬送路11上の所定領域を撮像する補助撮像装置である。かかるサブカメラ3bは、後述する異常検出処理によってワークwの異常が検出された場合にのみ撮像処理を行う。サブカメラ3bによって撮像された画像も、LAN等の通信ネットワークを介して図示しない制御装置へ出力される。なお、サブカメラ3bは、メインカメラ3aよりも解像度の高いカメラであるものとする。
本実施例に係るピッキングシステムは、上記のように構成されており、メインカメラ3aが、搬送路11上を撮像し、図示しない制御装置が、メインカメラ3aによって撮像された画像に基づいて搬送路11上のワークwを検出するとともに、検出したワークwの保持動作をロボット2に対して指示する。そして、ロボット2が、制御装置からの指示に従って保持動作および移動動作を行う。
ここで、ピッキングシステムでは、たとえばメインカメラ3aよりも上流側で行われる作業工程での不具合等により、ワークwが重なって搬送されてくる可能性がある(図1参照)。このような場合、従来のピッキングシステムでは、重なって搬送されてきたワークを不良品と判定し、ロボットによる保持動作を行わないようにしていた。このため、従来のピッキングシステムでは、良品であるワークを取りこぼしてしまう可能性があった。
そこで、本実施例に係るピッキングシステムでは、制御装置が、ワークwの重なりを検出する処理を行い、ワークwの重なりが検出された場合に、重なったワークwを上から順に保持するようにロボット2に対して指示することとした。以下では、かかる制御装置の構成および動作について具体的に説明する。
図2は、本実施例に係る制御装置の構成を示すブロック図である。なお、図2では、制御装置の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載を省略している。
図2に示すように、制御装置5は、制御部51と、記憶部52とを備える。また、制御部51は、ワーク検出部511と、異常検出部512と、搬送制御部513と、重なり検出部514と、動作指示部515とを備え、記憶部52は、ワーク面積情報521と、エッジパターン情報522とを記憶する。
制御部51は、制御装置5全体を制御する制御部である。ワーク検出部511は、メインカメラ3aから入力される画像に基づいて搬送路11上のワークwを検出する処理部である。
本実施例において、ワーク検出部511は、搬送路11とワークwとの境界線、すなわち、ワークwのシルエットを検出する。したがって、たとえば図1に示すように、3つのワークwが重なって搬送されてきた場合、ワーク検出部511は、図3に示すような形状をワークwdとして検出する。
なお、ワーク検出部511によるワークwの検出処理は、これに限ったものではなく、いずれの公知技術を用いても構わない。
異常検出部512は、ワーク検出部511によるワークwの検出結果および記憶部52に記憶されたワーク面積情報521に基づいてワークwの異常を検出する処理部である。ワーク面積情報521は、搬送路11上のワークwを鉛直上方から見た場合におけるワークwの面積を示す情報であり、作業者等によってあらかじめ記憶部52に記憶される。
ここで、異常検出部512による異常検出処理の内容について図3を用いて説明する。図3は、ワーク検出部511による検出結果の一例を示す図である。
図3に示すように、異常検出部512は、ワーク検出部511によって検出されたワークwdの面積を計測する。また、異常検出部512は、計測した面積(以下、「計測ワーク面積」と記載する)を、ワーク面積情報521によって示されるワークwの面積(以下、「基準ワーク面積」と記載する)と比較する。そして、異常検出部512は、計測ワーク面積が基準ワーク面積を超える場合に、ワークwdの異常を検出する。
なお、ここでは、良品のワークwが重なって搬送されてきたために異常が検出された場合の例を示したが、たとえばプレス等の処理が適切になされなかったために基準ワーク面積を超える形状に成型された不良品のワークwが搬送されてきた場合にも、異常が検出される可能性がある。すなわち、この時点では、異常が検出されたワークwdが、良品であるか不良品であるかまでは判別されない。
異常検出部512は、ワークwdの異常を検出すると、異常が検出された旨の通知を重なり検出部514へ出力するとともに、搬送制御部513に対してコンベア1の速度制御を行うように指示する。一方、異常が検出されなかった場合、異常検出部512は、ワーク検出部511から受け取ったワークwの検出結果を動作指示部515へ出力する。
図2へ戻り、制御部51の説明を続ける。搬送制御部513は、異常検出部512によってワークwの異常が検出された場合に、コンベア1の搬送速度の制御を行う処理部である。具体的には、搬送制御部513は、コンベア1の搬送速度を減速させる処理を行う。
すなわち、通常の搬送速度のままでは重なったワークwの全てをロボット2に対して保持させる余裕がない場合であっても、搬送制御部513がコンベア1の搬送速度を減速させることにより、ロボット2は、重なったワークwの全てを保持することができる。
なお、搬送制御部513は、異常が検出されたワークwdがサブカメラ3bの撮像領域内に位置した時点でコンベア1を停止させることとしてもよい。このように、コンベア1を停止させることとすれば、ロボット2は、重なったワークwの全てをより確実に保持することができる。
重なり検出部514は、異常検出部512からワークwdの異常が検出された旨の通知を受け取った場合に、かかるワークwdについてワークwの重なりを検出する処理部である。具体的には、重なり検出部514は、サブカメラ3bによって撮像された画像および記憶部52に記憶されたエッジパターン情報522を用いてワークwの重なりを検出する。
エッジパターン情報522は、搬送路11上のワークwを鉛直上方から見た場合におけるワークwの輪郭の形状(以下、「基準エッジパターン」と記載する)を示す情報であり、作業者等によってあらかじめ記憶部52に記憶される。
ここで、重なり検出部514による重なり検出処理の内容について図4を用いて説明する。図4は、サブカメラ3bによって撮像される画像の一例を示す図である。
図4に示すように、重なり検出部514は、サブカメラ3bから異常が検出されたワークwd(実際には、3つのワークwが重なったもの)の画像を取得する。サブカメラ3bによるワークwdの撮像タイミングは、たとえばメインカメラ3aおよびサブカメラ3b間の距離およびコンベア1の搬送速度から割り出すことが可能である。
つづいて、重なり検出部514は、サブカメラ3bによって撮像された画像に対してエッジ検出処理を行う。これにより、重なって搬送されてきた各ワークwの輪郭が検出される。なお、エッジ検出処理には、いずれの公知技術を用いても構わない。
つづいて、重なり検出部514は、エッジパターン情報522を用いてエッジパターンマッチングを行う。図4に示す場合には、右斜線が付されたエッジパターンP1、左斜線が付されたエッジパターンP2および横線が付されたエッジパターンP3の3つのエッジパターンが検出される。このうち、エッジパターンP1が、エッジパターン情報522によって示される基準エッジパターンと一致するため、重なり検出部514は、ワークwの重なりを検出する。
なお、サブカメラ3bは、撮像処理を常には行っておらず、異常検出部512によってワークwの異常が検出された場合に、撮像処理を開始する。このようにすることで、ピッキングシステムの消費電力を抑えることができる。なお、サブカメラ3bによる撮像処理の開始および終了は、制御部51が制御を行う。
重なり検出部514は、ワークwの重なりを検出すると、エッジ検出処理の検出結果を動作指示部515へ出力する。一方、ワークwの重なりが検出されなかった場合、重なり検出部514は、異常が検出されたワークwが不良品であると判定し、その旨を図示しない上位装置等へ出力する。不良品と判定されたワークwは、ロボット2による保持動作が行われることなく、コンベア1の下流へ搬送されることとなる。
また、重なり検出部514は、重なったワークwに対する保持動作がロボット2によって行われるごとに、かかる保持動作後にサブカメラ3bによって撮像された画像を用いてワークwの重なりを再度検出する。ここで、図4に示すエッジパターンP1のワークwがロボット2によって保持された後にサブカメラ3bによって撮像される画像を図5に示す。
図5に示すように、重なり検出部514は、エッジパターンP1のワークwがロボット2によって保持された後のワークwd’(実際には、2つのワークwが重なったもの)の画像をサブカメラ3bから取得する。つづいて、重なり検出部514は、取得した画像に対してエッジ検出処理を行い、検出結果に対してエッジパターン情報522を用いたエッジパターンマッチングを行う。
図5に示す場合には、左斜線が付されたエッジパターンP4および横線が付されたエッジパターンP5の2つのエッジパターンが検出される。このうち、エッジパターンP4が、エッジパターン情報522によって示される基準エッジパターンと一致するため、重なり検出部514は、ワークwの重なりを検出する。なお、エッジパターンP4のワークwは、図4に示すエッジパターンP2のワークwと同一であり、エッジパターンP5のワークwは、図4に示すエッジパターンP3のワークwと同一である。
図2へ戻り、制御部51についての説明を続ける。動作指示部515は、ワーク検出部511によるワークwの検出結果または重なり検出部514によるエッジ検出処理の検出結果に基づき、ロボット2に対してワークwの保持動作および移動動作を指示する処理部である。
特に、動作指示部515は、エッジ検出処理の検出結果に基づき、重なり合ったワークwのうち最上部に位置するワークw、すなわち、エッジパターンマッチングにおいて基準エッジパターンと一致したエッジパターンに対応するワークwの保持動作をロボット2に対して指示する。
ここで、上述したように、重なり検出部514は、重なったワークwに対する保持動作がロボット2によって行われるごとに、重なり検出処理を行う。また、動作指示部515は、重なり検出部514によってワークwの重なりが検出されるごとに、重なったワークwのうち最上部に位置するワークwの保持動作をロボット2に対して指示する。このため、ロボット2は、重なって搬送されてきたワークwを上から順に保持していくこととなる。したがって、本実施例に係るピッキングシステムでは、ワークwが重なって搬送されてきた場合であっても、これらを不良品と判定することなく、ロボット2に対して保持させることができる。
図2へ戻り、記憶部52について説明する。記憶部52は、不揮発性メモリやハードディスクドライブといった記憶デバイスで構成され、ワーク面積情報521およびエッジパターン情報522を記憶する。ワーク面積情報521は、基準ワーク面積を示す情報であり、エッジパターン情報522は、基準エッジパターンを示す情報である。
次に、制御装置5の具体的動作について図6を用いて説明する。図6は、制御装置5が実行する処理手順を示すフローチャートである。
図6に示すように、制御装置5では、ワーク検出部511が、メインカメラ3aから画像を取得するとともに、取得した画像に基づいてワークwの検出を行う(ステップS101)。また、制御装置5では、異常検出部512が、ワーク検出部511による検出結果に基づいて異常判定処理を行う。
具体的には、異常検出部512は、ワーク検出部511による検出結果からワークwの面積を計測し、計測ワーク面積が基準ワーク面積を超えるか否かを判定する(ステップS102)。かかる処理において計測ワーク面積が基準ワーク面積を超えない場合(ステップS102,No)、動作指示部515は、ワーク検出部511によって検出されたワークwの保持動作をロボット2に対して指示し(ステップS103)、処理を終了する。
一方、制御装置5では、異常検出部512が、計測ワーク面積が基準ワーク面積を超えると判定すると(ステップS102,Yes)、搬送制御部513が、コンベア1の搬送速度を減速させ(ステップS104)、制御部51が、サブカメラ3bの撮像処理を開始させる(ステップS105)。なお、ステップS104の処理およびステップS105の処理の順番は、逆でもよい。
つづいて、制御装置5では、重なり検出部514が、サブカメラ3bによって撮像された画像を取得し、取得した画像に基づいてエッジ検出処理を行い(ステップS106)、検出したエッジパターンが基準エッジパターンと一致するか否かを判定する(ステップS107)。
かかる処理において、検出したエッジパターンが基準エッジパターンと一致すると判定された場合(ステップS107,Yes)、動作指示部515は、重なったワークwのうち最上部に位置するワークwの保持動作をロボット2に対して指示する(ステップS108)。
また、制御装置5では、制御部51が、重なったワークwの全てについて保持動作が完了したか否かを判定する(ステップS109)。たとえば、制御部51は、エッジ検出処理によって検出されたエッジパターンが他にも存在する場合には、重なったワークwの全てについて保持動作が完了していないと判定する(ステップS109,No)。かかる場合、制御装置5は、重なったワークwの全てについて保持動作が完了するまでステップS106〜S109の処理を繰り返し、重なったワークwの全てについて保持動作が完了したと判定された場合には(ステップS109,Yes)、処理を終了する。
また、ステップS107において、検出したエッジパターンが基準エッジパターンと一致しない場合(ステップS107,No)、制御部51は、たとえば不良品が搬送されてきた旨を図示しない上位装置等へ通知するといった所定の不良品対応処理を行ったうえで(ステップS110)、処理を終了する。
上述してきたように、本実施例では、重なり検出部が、ワークの重なりを検出し、動作指示部が、重なり検出部によってワークの重なりが検出された場合に、重なったワークの保持動作をロボットに対して指示することとした。したがって、ワークが重なって搬送されてきた場合であっても、これらのワークの取りこぼしを防止することができる。
また、本実施例では、異常検出部が、撮像装置によって撮像された画像およびワークの面積情報に基づいてワークの異常を検出することとした。したがって、比較的少ない処理量でワークの異常を検出することができる。
また、本実施例では、重なり検出部が、異常検出部によってワークの異常が検出された場合に、エッジ検出処理を行うことによってワークの重なりを検出することとした。
すなわち、搬送されてくるワークwに対してエッジ検出処理を常に行うこととすると、処理量が多くなり、ピッキングシステム全体としての作業効率が低下するおそれがある。したがって、エッジ検出処理よりも処理量の少ない異常検出処理(ワーク面積の計測処理)をまず行い、異常が検出されたワークに対してのみエッジ検出処理を行うことにより、作業効率を極力低下させることなく、ワークwの重なりを検出することができる。
また、本実施例では、サブカメラをロボットの近傍に設け、重なり検出部が、サブカメラによって撮像された画像に対してエッジ検出処理を行うことによってワークの重なりを検出することとした。すなわち、本実施例では、メインカメラによって撮像された画像を用いてワーク検出処理および異常検出処理を行い、サブカメラによって撮像された画像を用いてエッジ検出処理を行うこととしたため、ワーク検出処理および異常検出処理の処理速度の低下を抑えることができる。
具体的には、エッジ検出処理を行うためには、比較的高い解像度(情報量)が必要となる。このため、メインカメラによって撮像された画像を用いてワーク検出処理および異常検出処理だけでなくエッジ検出処理も行う場合には、ワーク検出処理および異常検出処理だけを行う場合と比較して高い解像度でワークを撮像することとなる。この結果、ワーク検出処理および異常検出処理も高い解像度で撮像された画像に基づいて行われることとなるため、処理量が無駄に増大し、処理速度が低下してしまう可能性がある。
このため、ワーク検出処理および異常検出処理用の画像についてはメインカメラで撮像し、これらの処理よりも高解像度の画像を必要とするエッジ検出処理用の画像についてはメインカメラよりも解像度の高いサブカメラで撮像することで、ワーク検出処理および異常検出処理の処理速度の低下を抑えることができる。
また、本実施例では、重なり検出部が、重なったワークに対する保持動作がロボットによって行われるごとに、かかる保持動作後にサブカメラによって撮像された画像を用いてワークの重なりを再度検出し、動作指示部が、重なり検出部によってワークの重なりが検出されるごとに、重なったワークのうち最上部に位置するワークの保持動作をロボットに対して指示することとした。したがって、ロボットは、重なって搬送されてきたワークを上から順に保持していくことができる。しかも、サブカメラがロボットの近傍に設けられているため、最上部に位置するワークがロボットによって保持された後に、重なったワークを再度撮像することができる。
ところで、上述してきた実施例では、ワークwが単純に重なっている場合の例について説明したが、ワークwの重なり具合によっては、ロボット2に対してワークwを上から順に保持させることが困難な場合もある。
このような場合には、たとえば、重なっているワークwの位置を僅かにずらすなどの重なりを解消するための動作をロボット2に行わせてもよい。かかる動作を行うことで、重なったワークwの保持が容易となる可能性がある。
また、重なりを解消するための動作をロボット2に行わせたにもかかわらず、重なったワークwの保持が依然として困難である場合には、これらのワークwの重なりを作業員等に解消させることとしてもよい。
たとえば、重なりを解消するための動作をロボット2に行わせたにもかかわらず、ロボット2がこれらのワークwの保持を行うことができない場合、制御部51は、図示しないスピーカから警報音を発する処理や、図示しないディスプレイに対してワークwの重なりが発生した旨を表示させる処理といった所定の報知処理を行ってもよい。このようにすれば、作業者等に対してワークwの重なりを発見させることができ、作業者等により重なりを解消させることができる。
また、上述してきた実施例では、サブカメラ3bをロボット2の近傍に設けることとしたが、サブカメラ3bの設置場所は、ロボット2に対して直接設けることとしてもよい。
また、上述してきた実施例では、ピッキングシステムが、メインカメラ3aおよびサブカメラ3bの2台のカメラを備える場合の例について説明したが、ピッキングシステムは、必ずしもサブカメラ3bを備えることを要しない。すなわち、メインカメラ3aによって撮像された画像を用いて、ワーク検出処理、異常検出処理およびエッジ検出処理を行うこととしてもよい。
また、かかる場合、重なったワークwのうち最上部に位置するワークwがロボット2によって保持された後に、残りの重なったワークwをメインカメラ3aに再度撮像するために、コンベア1を逆流させてもよい。
また、上述してきた実施例では、異常検出部512によって異常が検出された場合に、コンベア1の搬送速度を減速させることとしたが、さらに、重なり検出部514によるエッジ検出処理の検出結果に応じてコンベア1の搬送速度を制御することとしてもよい。
たとえば、搬送制御部513は、エッジ検出処理によって検出されたエッジパターンの数が、所定の閾値以上である場合に、コンベア1の搬送速度をさらに減速させ、あるいは、停止させる。このようにすれば、重なったワークwの全てに対するロボット2の保持動作を確実に間に合わせることができる。
また、上述してきた実施例では、異常検出部512が、ワーク検出部511によって検出されたワークwの面積と基準ワーク面積との比較により異常を検出することとしたが、これに限ったものではない。たとえば、異常検出部512は、ワーク検出部511によって検出されたワークwのシルエットが、基準となるワークwのシルエットと一致するか否かにより異常検出を行ってもよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施の形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
w ワーク
1 コンベア
11 搬送路
2 ロボット
3a メインカメラ
3b サブカメラ
5 制御装置
51 制御部
511 ワーク検出部
512 異常検出部
513 搬送制御部
514 重なり検出部
515 動作指示部
52 記憶部
521 ワーク面積情報
522 エッジパターン情報

Claims (8)

  1. ワークを搬送する搬送装置と、
    前記搬送装置によって搬送されるワークを保持する保持動作および保持したワークを所定の場所へ移動させる移動動作を行うロボットと、
    前記ロボットよりも前記搬送装置の上流側へ設けられ、前記搬送装置の搬送路上を撮像する撮像装置と、
    前記撮像装置によって撮像された画像に基づいて前記搬送路上のワークを検出するとともに、検出したワークの保持動作を前記ロボットに対して指示する制御装置と
    を備え、
    前記制御装置は、
    前記ワークの重なりを検出する重なり検出部と、
    前記重なり検出部によって前記ワークの重なりが検出された場合に、重なった前記ワークの保持動作を前記ロボットに対して指示する動作指示部と
    を備えることを特徴とするピッキングシステム。
  2. 前記制御装置は、
    前記撮像装置によって撮像された画像および前記ワークの面積情報に基づき、前記ワークの異常を検出する異常検出部
    を備えることを特徴とする請求項1に記載のピッキングシステム。
  3. 前記重なり検出部は、
    前記異常検出部によって前記ワークの異常が検出された場合に、エッジ検出処理を行うことによって前記ワークの重なりを検出することを特徴とする請求項2に記載のピッキングシステム。
  4. 前記ロボットの近傍あるいは前記ロボットに設けられ、前記搬送路上を撮像する補助撮像装置
    をさらに備え、
    前記重なり検出部は、
    前記補助撮像装置によって撮像された画像に対して前記エッジ検出処理を行うことによって前記ワークの重なりを検出することを特徴とする請求項3に記載のピッキングシステム。
  5. 前記重なり検出部は、
    重なった前記ワークに対する保持動作が前記ロボットによって行われるごとに、該保持動作後に前記補助撮像装置によって撮像された画像を用いて前記ワークの重なりを再度検出し、
    前記動作指示部は、
    前記重なり検出部によって前記ワークの重なりが検出されるごとに、重なった前記ワークのうち最上部に位置するワークの保持動作を前記ロボットに対して指示することを特徴とする請求項4に記載のピッキングシステム。
  6. 前記制御装置は、
    前記異常検出部によって前記ワークの異常が検出された場合に、前記搬送装置の搬送速度を減速または停止させる搬送制御部
    をさらに備えることを特徴とする請求項3〜5のいずれか一つに記載のピッキングシステム。
  7. 前記動作指示部は、
    前記重なり検出部によって前記ワークの重なりが検出されなかった場合に、前記異常検出部によって異常が検出されたワークが不良品であると判定することを特徴とする請求項3〜6のいずれか一つに記載のピッキングシステム。
  8. 前記制御装置は、
    前記異常検出部によって前記ワークの異常が検出された場合に、前記補助撮像装置による撮像処理を開始させることを特徴とする請求項3〜7のいずれか一つに記載のピッキングシステム。
JP2011136328A 2011-06-20 2011-06-20 ピッキングシステム Active JP5464176B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011136328A JP5464176B2 (ja) 2011-06-20 2011-06-20 ピッキングシステム
US13/337,818 US8880217B2 (en) 2011-06-20 2011-12-27 Picking system
CN201210017894.6A CN102837317B (zh) 2011-06-20 2012-01-19 拾取系统
EP12151739.5A EP2538373B1 (en) 2011-06-20 2012-01-19 Picking system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011136328A JP5464176B2 (ja) 2011-06-20 2011-06-20 ピッキングシステム

Publications (2)

Publication Number Publication Date
JP2013000854A true JP2013000854A (ja) 2013-01-07
JP5464176B2 JP5464176B2 (ja) 2014-04-09

Family

ID=45507565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011136328A Active JP5464176B2 (ja) 2011-06-20 2011-06-20 ピッキングシステム

Country Status (4)

Country Link
US (1) US8880217B2 (ja)
EP (1) EP2538373B1 (ja)
JP (1) JP5464176B2 (ja)
CN (1) CN102837317B (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018111140A (ja) * 2017-01-10 2018-07-19 オムロン株式会社 画像処理システム、画像処理装置、ワークのピックアップ方法、および、ワークのピックアッププログラム
DE102018101375A1 (de) 2017-01-30 2018-08-02 Fanuc Corporation Artikelbeförderungsvorrichtung, die mindestens einen Sensor nutzt
JP2019126885A (ja) * 2018-01-25 2019-08-01 ファナック株式会社 ロボットシステム
JP2020032521A (ja) * 2018-08-31 2020-03-05 ファナック株式会社 物品取出システム
JP2020108038A (ja) * 2018-12-27 2020-07-09 キヤノン株式会社 制御装置、その制御方法、産業用自動化システム、プログラム、および記憶媒体
JP2020146805A (ja) * 2019-03-14 2020-09-17 上銀科技股▲分▼有限公司 ランダムに積み重ねた複数の対象物の干渉を排除するシステム
JP2021057014A (ja) * 2019-09-27 2021-04-08 ファナック株式会社 ワークの搬送制御を行う機械システム
US11173603B2 (en) 2018-06-15 2021-11-16 Fanuc Corporation Robot system and robot
JP2022059301A (ja) * 2020-10-01 2022-04-13 株式会社ダイシン 搬送制御システム及び搬送装置
CN114535114A (zh) * 2022-01-19 2022-05-27 湖南视比特机器人有限公司 输送线上工件随动分拣系统

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10795335B2 (en) * 2011-11-18 2020-10-06 Nike, Inc. Automated manufacturing of shoe parts with a pickup tool
CN103659796A (zh) * 2013-06-21 2014-03-26 成都万先自动化科技有限责任公司 智能搬运码放定位机器人
US9785911B2 (en) 2013-07-25 2017-10-10 I AM Robotics, LLC System and method for piece-picking or put-away with a mobile manipulation robot
US11348066B2 (en) 2013-07-25 2022-05-31 IAM Robotics, LLC System and method for piece picking or put-away with a mobile manipulation robot
CN103895042A (zh) * 2014-02-28 2014-07-02 华南理工大学 一种基于视觉引导的工业机器人工件定位抓取方法及系统
CN104400788A (zh) * 2014-12-03 2015-03-11 安徽省库仑动力自动化科技有限公司 一种用于废旧铅电池拆解的视觉识别机器人系统
US10360531B1 (en) * 2016-12-19 2019-07-23 Amazon Technologies, Inc. Robot implemented item manipulation
WO2018131108A1 (ja) * 2017-01-12 2018-07-19 株式会社Fuji 作業機および採取位置選択方法
JP6438509B2 (ja) * 2017-02-28 2018-12-12 ファナック株式会社 ロボットシステムのシミュレーション装置、シミュレーション方法、およびコンピュータプログラム
JP6687591B2 (ja) * 2017-12-26 2020-04-22 ファナック株式会社 物品搬送装置、ロボットシステムおよび物品搬送方法
JP6748126B2 (ja) * 2018-02-08 2020-08-26 ファナック株式会社 作業ロボットシステム
JP6737827B2 (ja) * 2018-03-29 2020-08-12 ファナック株式会社 協働ロボットの制御装置及び制御方法
SE543130C2 (en) 2018-04-22 2020-10-13 Zenrobotics Oy A waste sorting robot gripper
SE544741C2 (en) 2018-05-11 2022-11-01 Genie Ind Bv Waste Sorting Gantry Robot and associated method
CN108805931B (zh) * 2018-06-08 2022-02-25 歌尔光学科技有限公司 Ar产品的定位检测方法、装置及计算机可读存储介质
CN109625922A (zh) * 2018-11-30 2019-04-16 安徽智训机器人技术有限公司 一种用于智能制造的自动上下料系统及方法
WO2020206457A1 (en) 2019-04-05 2020-10-08 IAM Robotics, LLC Autonomous mobile robotic systems and methods for picking and put-away
JP7328017B2 (ja) * 2019-06-11 2023-08-16 ファナック株式会社 ロボットシステム及び制御装置
KR102218894B1 (ko) * 2019-08-21 2021-02-23 한국생산기술연구원 중복인식 물체를 처리하는 컨베이어 벨트 영상 처리장치 및 방법
JP7149607B2 (ja) * 2019-10-25 2022-10-07 伊東電機株式会社 コンベヤシステム
CN111014594B (zh) * 2019-11-19 2021-11-26 中南大学 一种铸锭过程动态除渣的机器人轨迹规划方法
CN110963298A (zh) * 2019-12-21 2020-04-07 深圳市华成工业控制有限公司 基于视觉跟随的取料装置及方法
SE544165C2 (en) 2020-06-24 2022-02-15 Zenrobotics Oy Waste Sorting Robot
SE544103C2 (en) 2020-10-28 2021-12-21 Zenrobotics Oy Waste Sorting Robot with gripper that releases waste object at a throw position
JP7336678B2 (ja) 2020-12-15 2023-09-01 パナソニックIpマネジメント株式会社 ピッキング装置
WO2023092170A1 (en) * 2021-11-29 2023-06-01 Daifuku Oceania Limited Conveyance object controlling apparatus and method
CN116758017A (zh) * 2023-06-02 2023-09-15 北京工业大学 流水线上密集竖排的袋装食品精确数量与异常情况的视觉实时检测方法
CN116773546B (zh) * 2023-06-20 2024-03-22 上海感图网络科技有限公司 一种镀铜板叠料缺陷检测方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05165525A (ja) * 1991-12-18 1993-07-02 Pioneer Electron Corp 物体取出順決定方法
JPH08323669A (ja) * 1995-03-28 1996-12-10 Matsushita Electric Works Ltd 部品供給方法およびその装置
JPH09262784A (ja) * 1996-03-28 1997-10-07 Sony Corp 透明なワークの配列装置および配列方法
JPH11114860A (ja) * 1997-10-20 1999-04-27 Yamaha Motor Co Ltd 認識方法及びピッキング装置
JP2000326273A (ja) * 1999-05-17 2000-11-28 Pioneer Electronic Corp 水晶素板の配列装置
JP3225740B2 (ja) * 1994-05-25 2001-11-05 株式会社デンソー 山積み部品の高速ピッキング装置
JP2010091429A (ja) * 2008-10-08 2010-04-22 Honda Motor Co Ltd ワーク形状推定装置
JP2011167815A (ja) * 2010-02-19 2011-09-01 Ihi Corp 物体認識ロボットシステム
JP2012055995A (ja) * 2010-09-07 2012-03-22 Fuji Electric Co Ltd ロボット制御装置、物品取り出しシステム、プログラムおよびロボットの制御方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4876728A (en) * 1985-06-04 1989-10-24 Adept Technology, Inc. Vision system for distinguishing touching parts
US5040056A (en) * 1990-01-29 1991-08-13 Technistar Corporation Automated system for locating and transferring objects on a conveyor belt
JPH08271223A (ja) * 1995-02-03 1996-10-18 Kobe Steel Ltd 物体の位置認識装置
JPH1085868A (ja) * 1996-09-17 1998-04-07 Aida Eng Ltd ブランク材供給搬送装置の2枚ブランク排出制御装置
JP2000289852A (ja) 1999-03-31 2000-10-17 Shibuya Kogyo Co Ltd 物品処理システム
WO2003006969A1 (fr) * 2001-07-10 2003-01-23 Tokyo Seimitsu Co., Ltd. Procede et dispositif de detection des defauts d'un produit
FR2841487B1 (fr) * 2002-06-26 2004-08-20 Solystic Procede de detection de plis simples et de plis en prise multiple dans une installation de tri postal
JP3930490B2 (ja) * 2004-04-23 2007-06-13 ファナック株式会社 物品取出し装置
US8418830B2 (en) * 2005-11-10 2013-04-16 Mi Robotic Solutions (Mirs) Robot system and method for removing sticks and/or foreign elements from conveyor belts
JP5279172B2 (ja) * 2006-05-29 2013-09-04 凌和電子株式会社 搬送装置および搬送物検査装置
US7845483B2 (en) * 2006-07-25 2010-12-07 Honda Motor Co., Ltd. Conveying operation method and conveying operation device
US8805585B2 (en) * 2008-06-05 2014-08-12 Toshiba Kikai Kabushiki Kaisha Handling apparatus, control device, control method, and program
CN101576508B (zh) * 2009-05-27 2011-09-21 华南理工大学 芯片外观缺陷自动检测装置及检测方法
CN101907453B (zh) * 2010-07-23 2012-01-11 北京农业信息技术研究中心 基于机器视觉的块状农产品尺寸在线测量方法与装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05165525A (ja) * 1991-12-18 1993-07-02 Pioneer Electron Corp 物体取出順決定方法
JP3225740B2 (ja) * 1994-05-25 2001-11-05 株式会社デンソー 山積み部品の高速ピッキング装置
JPH08323669A (ja) * 1995-03-28 1996-12-10 Matsushita Electric Works Ltd 部品供給方法およびその装置
JPH09262784A (ja) * 1996-03-28 1997-10-07 Sony Corp 透明なワークの配列装置および配列方法
JPH11114860A (ja) * 1997-10-20 1999-04-27 Yamaha Motor Co Ltd 認識方法及びピッキング装置
JP2000326273A (ja) * 1999-05-17 2000-11-28 Pioneer Electronic Corp 水晶素板の配列装置
JP2010091429A (ja) * 2008-10-08 2010-04-22 Honda Motor Co Ltd ワーク形状推定装置
JP2011167815A (ja) * 2010-02-19 2011-09-01 Ihi Corp 物体認識ロボットシステム
JP2012055995A (ja) * 2010-09-07 2012-03-22 Fuji Electric Co Ltd ロボット制御装置、物品取り出しシステム、プログラムおよびロボットの制御方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018111140A (ja) * 2017-01-10 2018-07-19 オムロン株式会社 画像処理システム、画像処理装置、ワークのピックアップ方法、および、ワークのピックアッププログラム
JP7047249B2 (ja) 2017-01-10 2022-04-05 オムロン株式会社 画像処理システム、画像処理装置、ワークのピックアップ方法、および、ワークのピックアッププログラム
DE102018101375A1 (de) 2017-01-30 2018-08-02 Fanuc Corporation Artikelbeförderungsvorrichtung, die mindestens einen Sensor nutzt
DE102018101375B4 (de) * 2017-01-30 2020-12-10 Fanuc Corporation Artikelbeförderungsvorrichtung, die mindestens einen Sensor nutzt
US10377581B2 (en) 2017-01-30 2019-08-13 Fanuc Corporation Article conveying device using at least one sensor
CN110077810B (zh) * 2018-01-25 2020-10-30 发那科株式会社 机器人系统
CN110077810A (zh) * 2018-01-25 2019-08-02 发那科株式会社 机器人系统
JP2019126885A (ja) * 2018-01-25 2019-08-01 ファナック株式会社 ロボットシステム
US10807243B2 (en) 2018-01-25 2020-10-20 Fanuc Corporation Robot system
US11173603B2 (en) 2018-06-15 2021-11-16 Fanuc Corporation Robot system and robot
JP7022036B2 (ja) 2018-08-31 2022-02-17 ファナック株式会社 物品取出システム
JP2020032521A (ja) * 2018-08-31 2020-03-05 ファナック株式会社 物品取出システム
CN110871443A (zh) * 2018-08-31 2020-03-10 发那科株式会社 物品取出系统
US11679944B2 (en) 2018-08-31 2023-06-20 Fanuc Corporation Article picking system
JP2020108038A (ja) * 2018-12-27 2020-07-09 キヤノン株式会社 制御装置、その制御方法、産業用自動化システム、プログラム、および記憶媒体
JP2020146805A (ja) * 2019-03-14 2020-09-17 上銀科技股▲分▼有限公司 ランダムに積み重ねた複数の対象物の干渉を排除するシステム
JP2021057014A (ja) * 2019-09-27 2021-04-08 ファナック株式会社 ワークの搬送制御を行う機械システム
JP7364536B2 (ja) 2019-09-27 2023-10-18 ファナック株式会社 ワークの搬送制御を行う機械システム
JP2022059301A (ja) * 2020-10-01 2022-04-13 株式会社ダイシン 搬送制御システム及び搬送装置
JP7398709B2 (ja) 2020-10-01 2023-12-15 株式会社ダイシン 搬送制御システム及び搬送装置
CN114535114A (zh) * 2022-01-19 2022-05-27 湖南视比特机器人有限公司 输送线上工件随动分拣系统
CN114535114B (zh) * 2022-01-19 2023-11-21 湖南视比特机器人有限公司 输送线上工件随动分拣系统

Also Published As

Publication number Publication date
US8880217B2 (en) 2014-11-04
US20120323358A1 (en) 2012-12-20
JP5464176B2 (ja) 2014-04-09
EP2538373A2 (en) 2012-12-26
EP2538373B1 (en) 2023-04-12
EP2538373A3 (en) 2017-08-30
CN102837317A (zh) 2012-12-26
CN102837317B (zh) 2015-05-06

Similar Documents

Publication Publication Date Title
JP5464176B2 (ja) ピッキングシステム
JP6387760B2 (ja) ロボットシステム、ロボット装置およびワークピッキング方法
JP6715565B2 (ja) ロボットシステムおよびワークピッキング方法
JP5464177B2 (ja) ピッキングシステム
JP5472214B2 (ja) ピッキングシステム
JP5930037B2 (ja) ロボットシステムおよび物品移送方法
WO2020009148A1 (ja) ワーク搬送システムおよびワーク搬送方法
JP5881244B2 (ja) 部品実装装置、基板検出方法及び基板製造方法
JP2013078825A (ja) ロボット装置、ロボットシステムおよび被加工物の製造方法
JPWO2015019487A1 (ja) 実装装置及び部品検出方法
JP2013000861A (ja) ピッキングシステム
CN109502357A (zh) 一种码垛机器人工作站和板件码垛方法
US20140081458A1 (en) Robot system and article manufacturing method
JP2011119636A (ja) ウェハ搬送検査機台及びウェハ搬送検査方法
TW201940299A (zh) 異常音檢查裝置、異常音檢查方法、程式及工件之製造方法
JP2013001548A (ja) ピッキングシステム
JP5310665B2 (ja) 部品実装システム及び部品実装システムにおける基板搬送方法
JP2011091288A (ja) 部品実装装置および部品実装方法
JP2015095613A (ja) 基板の搬送方法及び部品実装装置
JP2013233639A (ja) ワークの位置検出方法及びそれを用いたワークの搬送方法
JP7511169B2 (ja) 物品搬送装置
JP2013173196A (ja) ロボットのハンドリングアームの位置補正方法
JP5375879B2 (ja) 電子部品実装装置および電子部品実装装置における基板搬送方法
JP2009141152A (ja) パネル搬送装置およびパネル搬送方法
US20220399218A1 (en) Transport system and determination method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140106

R150 Certificate of patent or registration of utility model

Ref document number: 5464176

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150