JP2009291895A - ハンドリング装置、制御装置及び制御方法 - Google Patents
ハンドリング装置、制御装置及び制御方法 Download PDFInfo
- Publication number
- JP2009291895A JP2009291895A JP2008148468A JP2008148468A JP2009291895A JP 2009291895 A JP2009291895 A JP 2009291895A JP 2008148468 A JP2008148468 A JP 2008148468A JP 2008148468 A JP2008148468 A JP 2008148468A JP 2009291895 A JP2009291895 A JP 2009291895A
- Authority
- JP
- Japan
- Prior art keywords
- data
- work
- workpiece
- robot
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
【解決手段】 ワーク10を搬送するベルトコンベア2と、ワーク10に対して所定の作業を行うロボット4と、搬送されているワーク10を撮像し、該撮像した画像中の各ワーク10を示すワークデータを生成する視覚センサ3と、ワークデータを画像毎にまとめてトラッキングデータを生成し、該トラッキングデータをデータベースに蓄積させ、ロボット4の位置に搬送されたワーク10に所定の作業を行うようにデータベースを用いてロボット4を制御するロボットコントローラ5とを有し、ロボットコントローラ5は、データベースからトラッキングデータ毎に読み出したワークデータに所定の演算を行って重複するワークデータを検出し、重複するワークデータに基づくロボット4の動作制御をキャンセルする。
【選択図】図1
Description
例えば、特許文献1に示された装置は、視覚センサがベルトコンベアによって搬送されている各ワークを撮像し、各々のワークに対応させたワークデータを作成してロボットコントローラへ送信する。
ロボットコントローラは、受信したワークデータのデータベースを作成し、ロボットの作業位置へ搬送されたワークに対し、前述のデータベースを用いた制御を行ってロボットに作業を行わせている。
視覚センサが連続して複数回の撮像を行ったとき、撮像した各画像に同一ワークが重複して写っている部分が含まれている。この重複部分のワークデータも、データベースに格納されていることからロボットに無駄な動作が生じる可能性がある。
第1の実施形態
図1は、本発明の第1の実施形態によるハンドリング装置の概略構成を示す説明図である。図示したハンドリング装置1は、ベルトコンベア2、視覚センサ3、ロボット4、ロボットコントローラ5、および、コンベアエンコーダ6によって構成されている。
視覚センサ3は、ベルトコンベア2の搬送上流側の位置において、当該ベルトコンベア2のベルト搬送面2aに搭載された複数のワーク10を撮像するように配設されている。
また、視覚センサ3は、出力データであるワークデータ、および、撮像タイミングを示すトリガ信号を、後述するロボットコントローラ5へ出力するように、例えばイーサネット(登録商標)などのLANを介して接続されている。
また、ロボットコントローラ5は、後述するコンベアエンコーダ6の出力信号、および、視覚センサ3から送信されたワークデータならびにトリガ信号を前述の通信線等を介して入力するように接続されている。
詳しくは、視覚センサ3から通信線へ送信されたワークデータ及びトリガ信号を受信する、例えばルータを備える。このルータに複数のロボットコントローラ5を接続する。
このように構成して、各ロボットコントローラ5が、自らの処理動作に用いるワークデータならびにトリガ信号を、上記のルータから入力して各々ロボット4を制御することも可能である。
視覚センサ3は、カメラ11および画像処理部12を備えている。カメラ11は、例えばCCDカメラ等からなる。
カメラ11は、ワーク10が載置されているベルト搬送面2aを撮像するように配設され、例えば図1に示したトラッキング範囲Sが1回の撮像範囲となるように設けられている。
また、視覚センサ3は、カメラ11の撮像タイミングを示すトリガ信号、および前述のワークデータを通信線へ送信する、図示を省略した通信部等を備えている。
入力部13は、ユーザに設定操作等を行わせるように構成され、当該設定内容を演算部15へ入力するように接続されている。表示部14は、前述の操作/設定内容、またロボット4の動作状況等を表示するように、演算部15へ接続されている。
データ管理部15aは、記憶部16に各データを記憶させる動作処理や、記憶部16からデータを読み出す動作を行うように構成されている。
ワークマネージャ15cは、トラッキング範囲Sに存在する複数のワーク10の中からロボット4に作業を行わせるワーク10を選択するように構成されている。
トラッキングデータD1は、視覚センサ3が1回の撮像で得た画像データから抽出されたワーク10の個数、各ワーク10のワークデータ、および、コンベアエンコーダ6の出力信号が示す移動量によって構成されている。
ロボット4は、保持部4aを駆動する保持用モータ18、保持部4aを支えているアーム部4bを駆動するアーム用モータ19を備えている。
視覚センサ3は、ベルトコンベア2の搬送上流側において、ベルト搬送面2aの上流端、もしくはその近傍の撮像原点20aから一定の撮像範囲の画像、例えばトラッキング範囲Sの画像を撮像する。
詳しくは、図2のカメラ11が、自らの撮像タイミングでベルト搬送面2aのトラッキング範囲Sを撮像する(ステップS1)。
この座標値は、カメラ11もしくは視覚センサ3が自ら行う各処理において使用される座標系において表現された値である。なお、視覚センサ3は、ワークデータにワークの姿勢を示す座標値を含めて生成してもよい。
このとき、視覚センサ3は、1つのトリガ信号に対応させて、1つの画像に含まれていた全てのワーク10のワークデータ、ならびにワークデータの個数を示すデータを送信する。
また、データ管理部15aは、図3のステップS4の工程において、コンベアエンコーダ6から入力したベルトコンベア2の移動量を示すデータを加味して、上記のトラッキングデータD1を生成し、これを記憶部16へ格納してデータベースを構築する。
また図4には、視覚センサ3が[i]番目に撮像した画像から生成されたトラッキングデータD1を、トラッキングデータTrk[i]として示している。
また図4には、視覚センサ3が[i+1]番目に撮像した画像から生成されたトラッキングデータD1を、トラッキングデータTrk[i+1]として示している。
またさらに、データ管理部15aは、順次、視覚センサ3から送られてくるワークデータWrk[0]〜[9]を、前述の記憶部16に確保したトラッキングデータTrk[i]の領域に記憶/格納する。
また、視覚センサ3が撮像した順番を示す上記の[i−1]、[i]、[i+1]等は、トラッキング番号として各トラッキングデータD1に付加される整数値である。
ワークデータWrk[0]〜[9]は、視覚センサ3が自らの動作処理において使用している座標系のX座標データ、Y座標データ、及びX−Y平面上における回転を表すC座標データを有する。
付加データ(1)〜(3)は、様々な動作処理に関連する条件等を表し、例えば、前述のように視覚センサ3が判別した品種などを示すデータである。この付加データ(1)〜(3)は、ユーザの所望により視覚センサ3に設定される。
カメラ11が、ベルトコンベア2の搬送面2aを順次撮像するとき、例えば、各画像に重複する部分が生じないように、各画像の端部を揃えて撮像すると、1つの画像の端部に写り込んだワーク10は、全体形状が画像中に収まっていない場合がある。
そのため、視覚センサ3は、ベルトコンベア2の搬送面2aを撮像するとき、各画像の端部が重複するように撮像して、ワーク10が部分的に欠落して写り込むことを抑制し、各ワーク10に対応するワークデータを確実に生成するようにしている。
即ち、前述のステップS4の工程において、ロボットコントローラ5のデータ管理部15aは、前述の重複する部分を含んだ各トラッキングデータD1を記憶部16に格納している。
ロボットコントローラ5は、記憶部16に蓄積されているデータベースを用いてロボット4の動作を制御し、当該ロボット4の位置に搬送されたワーク10にハンドリング作業を行う。
ロボット4のハンドリング作業は、図1に示したワーク検出エリア開始点20bとワーク検出エリア終了点20cとの間に設けられたワーク検出エリアにおいて行われる。
具体的には、トラッキングマネージャ15bは、データベースに格納されている各トラッキングデータD1の移動量を示すデータを抽出する。
トラッキングマネージャ15bは、上記の認識したトラッキングデータD1を、データ管理部15aを用いて記憶部16から読み出す。
ロボットコントローラ5の演算部15は、図3のステップS5の工程において、適宜、トラッキングマネージャ15bが順次データベースから読み出した各トラッキングデータD1から、重複部分を検出する処理動作を行う。
図6において、演算部15が、記憶部16から順次読み出したトラッキングデータD1を、例えば、トラッキングデータTrk[i−1]、また、これに続くトラッキングデータTrk[i]とする。
重複部分d0には、2つのワークデータが存在し、これらのワークデータはワーク10a、および、ワーク10bに各々対応している。
このとき、演算部15は、トラッキングデータTrk[i]と、トラッキングデータTrk[i−1]の重複部分d0に存在するワーク10a,10bを検出する処理を行う。
また、演算部15は、これらのトラッキングデータD1に含まれているワークデータの各座標値を使用して、各ワーク間の相対的な距離を求める。
具体的には、例えば、トラッキングデータTrk[i]のワーク10aと、トラッキングデータTrk[i−1]の各ワーク10a,10b,10cとの間の距離を求める。
演算部15は、前述のようにデータベースから読み出したトラッキングデータTrk[i]の中から、任意のワークデータを1つ、例えば図6において左下側のワーク10aのワークデータを選択する(ステップS11)。
次に、データベースから先に読み出されているトラッキングデータTrk[i−1]の中から、任意のワークデータを1つ、例えば図6において右下側のワーク10aを選択する(ステップS12)。
例えば、ステップS11の工程で選択したワークデータの座標値を(x2,y2)とし、ステップS12の工程で選択したワークデータの座標値を(x1,y1)とする。
これらのワークデータに対応する各ワークの間の距離Δは、次の(1)式によって求めることができる。
Δ=((x2−x1)2+(y2−y1)2)1/2 …(1)
演算部15は、ステップS14の工程において、距離Δが重複判定規定値Δmax以下であると判定したときには、ワークマネージャ15cによるワークへの作業をキャンセルする(ステップS15)。
演算部15が扱う座標値は、例えば、ロボット4の制御に用いるワールド座標系などの値で、前述のように求めた各ワーク間の距離Δは、相対値である。
演算部15は、相対値を用いることにより、視覚センサ3が、いかなる座標系を用いてワークデータを生成していても、各々のワーク間の距離Δを適切に比較することが可能になる。
トラッキングデータTrk[i]に含まれている座標値(x2,y2)を有するワーク10aと、トラッキングデータTrk[i−1]に含まれている座標値(x1,y1)を有するワーク10aは同一である、と判定する。
換言すると、演算部15は、ワークマネージャ15cが、トラッキングデータTrk[i]のワーク10aに対応する処理を行わないように、当該ワークマネージャ15cを制御する。
例えば、トラッキングデータTrk[i]のワーク10aに対して、トラッキングデータTrk[i−1]に含まれている、全てのワーク10a〜10cのワークデータを前述の演算に用いたか否かを判定する(ステップS17)。
トラッキングデータTrk[i−1]の中の、次のワークデータを選択し(ステップS18)、ステップS13の工程に戻り、以降の各工程を前述の説明と同様に行う。
演算部15は、ステップS19の工程において、全てのワークデータを演算に用いていないと判定したときには、次のような処理動作を行う。
トラッキングデータTrk[i]の中の、次のワークデータを選択し(ステップS20)、ステップS12の工程に戻り、以降の各工程を前述の説明と同様に行う。
演算部15は、図3のステップS6の工程において、重複していることを検出したワークデータを除いてワークマネージャ15cに処理を行わせ、ロボット4に作業を行わせる。
また、視覚センサ3がワークデータを生成するときに用いている座標系によらず、重複しているワークデータを検出することができる。
Claims (5)
- ワークを搬送する搬送手段と、
前記ワークに対して所定の作業を行うロボットと、
前記搬送されているワークを撮像し、該撮像した画像中の各ワークを示すワークデータを生成する視覚センサと、
前記ワークデータを前記画像毎にまとめてトラッキングデータを生成し、該トラッキングデータをデータベースに蓄積させ、前記ロボットの位置に搬送されたワークに所定の作業を行うように前記データベースを用いて前記ロボットを制御する制御手段と、
を有し、
前記制御手段は、前記データベースから前記トラッキングデータ毎に読み出したワークデータに所定の演算を行って重複するワークデータを検出し、前記重複するワークデータに基づく前記ロボットの動作制御をキャンセルする、
ハンドリング装置。 - 前記制御手段は、
前記画像毎に生成した各トラッキングデータをデータベースとして記憶する記憶部と、
前記トラッキングデータに含まれている各ワークデータから各ワーク間の距離を求め、前記各ワーク間の距離に基づいて前記重複するワークデータであるか否かを判定する演算部と、
前記演算部の判定結果に応じて前記各ワークに作業を行うように前記ロボットを制御する駆動制御部と、
を有する、
請求項1記載のハンドリング装置。 - 前記演算部は、
前記各ワークデータから求めたワーク間の距離が、所定の値よりも小さいときには、該距離を有するワークに対応するワークデータは重複していないと判定する、
請求項2記載のハンドリング装置。 - 搬送手段によって搬送されている複数のワークを撮像する視覚センサから送信された複数のワークデータを前記視覚センサが撮像した画像毎にまとめたトラッキングデータとして記憶する記憶手段と、
前記記憶手段から読み出した前記トラッキングデータに含まれているワークデータに所定の演算を行い、複数のトラッキングデータに重複して含まれているワークデータを検出する演算手段と、
前記演算手段によって検出された前記重複するワークデータをキャンセルして前記各ワークに作業を行うようにロボットを制御する駆動制御手段と、
を有する、
制御装置。 - 搬送手段によって搬送されている複数のワークを撮像する視覚センサから送信された複数のワークデータを前記視覚センサが撮像した画像毎にまとめたトラッキングデータとして記憶手段へ記憶させる工程と、
前記記憶手段から読み出した前記トラッキングデータに含まれているワークデータに演算手段が所定の演算を行い、複数のトラッキングデータに重複して含まれているワークデータを検出する工程と、
前記演算手段によって検出された前記重複するワークデータをキャンセルして前記各ワークに作業を行うように駆動制御手段がロボットを制御する工程と、
を有する、
制御方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008148468A JP5198155B2 (ja) | 2008-06-05 | 2008-06-05 | ハンドリング装置、ワークハンドリング方法および信号処理装置 |
GB1019223.5A GB2471819B (en) | 2008-06-05 | 2009-06-03 | Handling system,control device,control method,and program |
PCT/JP2009/060172 WO2009148089A1 (ja) | 2008-06-05 | 2009-06-03 | ハンドリング装置、制御装置、制御方法およびプログラム |
US12/995,960 US8805585B2 (en) | 2008-06-05 | 2009-06-03 | Handling apparatus, control device, control method, and program |
DE112009001414T DE112009001414T5 (de) | 2008-06-05 | 2009-06-03 | Bearbeitungssystem, Steuerungseinrichtung, Steuerungsverfahren und Programm |
GB1213595.0A GB2492257B (en) | 2008-06-05 | 2009-06-03 | Handling system, control device, control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008148468A JP5198155B2 (ja) | 2008-06-05 | 2008-06-05 | ハンドリング装置、ワークハンドリング方法および信号処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009291895A true JP2009291895A (ja) | 2009-12-17 |
JP5198155B2 JP5198155B2 (ja) | 2013-05-15 |
Family
ID=41540555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008148468A Active JP5198155B2 (ja) | 2008-06-05 | 2008-06-05 | ハンドリング装置、ワークハンドリング方法および信号処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5198155B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011140085A (ja) * | 2010-01-06 | 2011-07-21 | Seiko Epson Corp | 制御装置、ロボット、ロボットシステム及びロボットの追従制御方法 |
JP5003840B1 (ja) * | 2011-10-31 | 2012-08-15 | オムロン株式会社 | 画像処理装置および画像処理プログラム |
JP2012187651A (ja) * | 2011-03-09 | 2012-10-04 | Omron Corp | 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置 |
JP2013001548A (ja) * | 2011-06-20 | 2013-01-07 | Yaskawa Electric Corp | ピッキングシステム |
US8606400B2 (en) | 2011-06-20 | 2013-12-10 | Kabushiki Kaisha Yaskawa Denki | Robot system |
KR20190044496A (ko) * | 2017-10-20 | 2019-04-30 | 가부시키가이샤 야스카와덴키 | 자동화 장치 |
CN110871442A (zh) * | 2018-08-31 | 2020-03-10 | 发那科株式会社 | 检测系统 |
US10596707B2 (en) | 2017-08-03 | 2020-03-24 | Fanuc Corporation | Article transfer device |
JP2020151780A (ja) * | 2019-03-18 | 2020-09-24 | 株式会社東芝 | ハンドリングシステム、ロボット管理システム、およびロボットシステム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0748018A (ja) * | 1993-08-03 | 1995-02-21 | Omori Mach Co Ltd | 物品移載装置用物品検出装置 |
JP2005111607A (ja) * | 2003-10-07 | 2005-04-28 | Fanuc Ltd | ロボット物流トラッキング装置 |
JP2007015055A (ja) * | 2005-07-07 | 2007-01-25 | Toshiba Mach Co Ltd | ハンドリング装置、作業装置及びプログラム |
JP2009028818A (ja) * | 2007-07-25 | 2009-02-12 | Panasonic Electric Works Co Ltd | ロボットシステム |
-
2008
- 2008-06-05 JP JP2008148468A patent/JP5198155B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0748018A (ja) * | 1993-08-03 | 1995-02-21 | Omori Mach Co Ltd | 物品移載装置用物品検出装置 |
JP2005111607A (ja) * | 2003-10-07 | 2005-04-28 | Fanuc Ltd | ロボット物流トラッキング装置 |
JP2007015055A (ja) * | 2005-07-07 | 2007-01-25 | Toshiba Mach Co Ltd | ハンドリング装置、作業装置及びプログラム |
JP2009028818A (ja) * | 2007-07-25 | 2009-02-12 | Panasonic Electric Works Co Ltd | ロボットシステム |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011140085A (ja) * | 2010-01-06 | 2011-07-21 | Seiko Epson Corp | 制御装置、ロボット、ロボットシステム及びロボットの追従制御方法 |
JP2012187651A (ja) * | 2011-03-09 | 2012-10-04 | Omron Corp | 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置 |
JP2013001548A (ja) * | 2011-06-20 | 2013-01-07 | Yaskawa Electric Corp | ピッキングシステム |
US8606400B2 (en) | 2011-06-20 | 2013-12-10 | Kabushiki Kaisha Yaskawa Denki | Robot system |
JP5003840B1 (ja) * | 2011-10-31 | 2012-08-15 | オムロン株式会社 | 画像処理装置および画像処理プログラム |
WO2013065332A1 (ja) * | 2011-10-31 | 2013-05-10 | オムロン株式会社 | 画像処理装置および画像処理プログラム記録媒体 |
US10596707B2 (en) | 2017-08-03 | 2020-03-24 | Fanuc Corporation | Article transfer device |
KR20190044496A (ko) * | 2017-10-20 | 2019-04-30 | 가부시키가이샤 야스카와덴키 | 자동화 장치 |
KR102226986B1 (ko) * | 2017-10-20 | 2021-03-11 | 가부시키가이샤 야스카와덴키 | 자동화 장치 및 위치 검출 장치 |
US10974393B2 (en) | 2017-10-20 | 2021-04-13 | Kabushiki Kaisha Yaskawa Denki | Automation apparatus |
CN110871442A (zh) * | 2018-08-31 | 2020-03-10 | 发那科株式会社 | 检测系统 |
US11141864B2 (en) | 2018-08-31 | 2021-10-12 | Fanuc Corporation | Detection system |
JP2020151780A (ja) * | 2019-03-18 | 2020-09-24 | 株式会社東芝 | ハンドリングシステム、ロボット管理システム、およびロボットシステム |
JP7175808B2 (ja) | 2019-03-18 | 2022-11-21 | 株式会社東芝 | ハンドリングシステムおよびロボット管理システム |
Also Published As
Publication number | Publication date |
---|---|
JP5198155B2 (ja) | 2013-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2009148089A1 (ja) | ハンドリング装置、制御装置、制御方法およびプログラム | |
JP5198155B2 (ja) | ハンドリング装置、ワークハンドリング方法および信号処理装置 | |
JP4864363B2 (ja) | ハンドリング装置、作業装置及びプログラム | |
JP4174342B2 (ja) | ワーク搬送装置 | |
EP2538373B1 (en) | Picking system | |
US8014899B2 (en) | Article conveying robot system | |
US20070179671A1 (en) | Tracking and handling device | |
CN108372503B (zh) | 使用至少一个传感器的物品运送装置 | |
JP6748126B2 (ja) | 作業ロボットシステム | |
JP6549655B2 (ja) | 物品搬送装置 | |
JP5930037B2 (ja) | ロボットシステムおよび物品移送方法 | |
JP2008087074A (ja) | ワーク取り出し装置 | |
JP6478234B2 (ja) | ロボットシステム | |
JP2006035397A (ja) | 搬送ロボットシステム | |
JP2016016915A (ja) | 物品をコンベヤに整列させる物品整列装置 | |
EP2221152A1 (en) | A robot system and a method for picking and placing components | |
JP5198161B2 (ja) | ハンドリング装置およびワークハンドリング方法 | |
JP2016147330A (ja) | 物体認識に基づく制御装置 | |
JP2005262369A (ja) | ロボットシステム | |
WO2021065880A1 (ja) | ロボット制御システム、ロボット制御方法およびプログラム | |
JP2007033328A (ja) | 画像処理方法および該画像処理方法を用いたピッキング動作補正方法 | |
JP7436170B2 (ja) | ロボットシステム | |
JP5353718B2 (ja) | 制御装置、ロボット、ロボットシステム及びロボットの追従制御方法 | |
CN112318497B (zh) | 同时进行工件选择以及机器人作业的机器人控制系统 | |
WO2023223503A1 (ja) | 制御装置及び検出システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121002 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130206 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5198155 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |