JP2009297881A - ハンドリング装置、制御装置及び制御方法 - Google Patents
ハンドリング装置、制御装置及び制御方法 Download PDFInfo
- Publication number
- JP2009297881A JP2009297881A JP2008158038A JP2008158038A JP2009297881A JP 2009297881 A JP2009297881 A JP 2009297881A JP 2008158038 A JP2008158038 A JP 2008158038A JP 2008158038 A JP2008158038 A JP 2008158038A JP 2009297881 A JP2009297881 A JP 2009297881A
- Authority
- JP
- Japan
- Prior art keywords
- work
- data
- robot
- workpiece
- visual sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
- Specific Conveyance Elements (AREA)
Abstract
【解決手段】ベルトコンベア2によって搬送されているワーク10を撮像して該ワーク10の位置を示すワークデータを生成する視覚センサ3と、搬送されているワーク10に対して所定の作業を行うロボット4と、視覚センサ3から送信されたワークデータを蓄積してデータベースを作成し、該データベースを用いてロボット4の位置に搬送されたワーク10に所定の作業を行うように該ロボット4を制御するコントローラ5とを備え、コントローラ5がデータベースに格納されている各ワークデータに所定の演算を行って複数のワーク10に対してロボット4が作業を行う順番を並べ替える。
【選択図】図1
Description
第1の実施形態
図1は、本発明の第1の実施形態によるハンドリング装置の概略構成を示す説明図である。図示したハンドリング装置1は、ベルトコンベア2、視覚センサ3、ロボット4、ロボットコントローラ5、および、コンベアエンコーダ6によって構成されている。
視覚センサ3は、ベルトコンベア2の搬送上流側の位置において、当該ベルトコンベア2のベルト搬送面2aに搭載された複数のワーク10を撮像するように配設されている。また、視覚センサ3は、出力データであるワークデータ、および、撮像タイミングを示すトリガ信号を、後述するロボットコントローラ5へ出力するように、例えばイーサネット(登録商標)などのLANを介して接続されている。
視覚センサ3は、カメラ11および画像処理部12を備えている。カメラ11は、例えばCCDカメラ等からなる。
カメラ11は、ワーク10が載置されているベルト搬送面2aを撮像するように配設され、例えば図1に示したトラッキング範囲Sが1回の撮像範囲となるように設けられている。
画像処理部12は、カメラ11から出力された画像データを処理してワークデータを生成するように構成されている。
また、視覚センサ3は、カメラ11の撮像タイミングを示すトリガ信号、および前述のワークデータを通信線へ送信する、図示を省略した通信部等を備えている。
入力部13は、ユーザに設定操作等を行わせるように構成され、当該設定内容を演算部15へ入力するように接続されている。
表示部14は、前述の操作/設定内容、またロボット4の動作状況等を表示するように、演算部15へ接続されている。
データ管理部15aは、記憶部16に各データを記憶させる動作処理や、記憶部16からデータを読み出す動作を行うように構成されている。
トラッキングマネージャ15bは、各トラッキングデータD1が示す位置、換言するとトラッキング範囲Sを監視するように構成されている。
ワークマネージャ15cは、トラッキング範囲Sに存在する複数のワーク10の中からロボット4に作業を行わせるワーク10を選択するように構成されている。
トラッキングデータD1は、視覚センサ3が1回の撮像で得た画像データから抽出したワーク10の個数、コンベアエンコーダ6の出力信号が示す移動量、及び、上記の1回の撮像で得た画像データから抽出した各ワーク10のワークデータによって構成されている。
駆動制御部17は、後述するロボット4の各部を駆動させる制御信号を生成し、当該ロボット4を稼働させるように接続構成されている。
ロボット4は、保持部4aを駆動する保持用モータ18、保持部4aを支えているアーム部4bを駆動するアーム用モータ19を備えている。
ステップS1では、視覚センサ3のカメラ11が、前述のようにベルトコンベア2の搬送上流側において、ベルト搬送面2aに載置されているワーク10を撮像する。
ステップS3では、前述の図示を省略した視覚センサ3の通信部が、カメラ11の撮像タイミングを示すトリガ信号に対応させて上記のワークデータを送信する。
このとき、一つのトリガ信号に対応させて送られてきた各ワークデータを、一つのトラッキングデータD1としてまとめて記憶し、データベースが構築されるように格納する。
また、データ管理部15aは、トラッキングマネージャ15bの監視結果に応じて、図1に示したワーク検出エリアを移動しているワーク10を含んでいるトラッキングデータD1を記憶部16から読み出す。
ワークマネージャ15cは、データ管理部15aが記憶部16から読み出した前述のトラッキングデータD1を成す各ワークデータを用いて演算を行い、この演算結果に応じてロボット4がハンドリング作業を行う順番を並べ替える。
ハンドリング装置1は、概ねこのように動作する。
視覚センサ3は、ベルトコンベア2の搬送上流側において、ベルト搬送面2aの上流端、もしくはその近傍の撮像原点20aから一定の撮像範囲の画像、例えばトラッキング範囲Sの画像を撮像する。
詳しくは、図2のカメラ11が、自らの撮像タイミングでベルト搬送面2aのトラッキング範囲Sを撮像する(ステップS1)。
また、画像処理部12は、トラッキング範囲Sの画像の中からワーク10の任意の部分の座標値を検出し、当該ワーク10のワークデータを生成する(ステップS2)。
この座標値は、カメラ11もしくは視覚センサ3が自ら行う各処理において使用される座標系において表現された値である。
なお、視覚センサ3は、ワークデータにワークの姿勢を示す座標値を含めて生成してもよい。
視覚センサ3は、前述のように、生成したワークデータを順次ロボットコントローラ5へ送信する(ステップS3)。
また、データ管理部15aは、コンベアエンコーダ6から入力したベルトコンベア2の移動量を示すデータを加味して、上記のトラッキングデータD1を生成し、これを記憶部16へ格納してデータベースを構築する。
また、データ管理部15aは、ここでコンベアエンコーダ6から入力した信号、即ちベルトコンベア2の移動量を示すデータを、前述のトラッキングデータTrk[i]の構成要素として記憶部16に格納する。
またさらに、データ管理部15aは、順次視覚センサ3から送られてくるワークデータWrk[0]〜[9]を、前述の記憶部16に確保したトラッキングデータTrk[i]の領域に記憶/格納する。
また、視覚センサ3が撮像した順番を示す上記の[i−1]、[i]、[i+1]等は、トラッキング番号として各トラッキングデータD1に付記されるものである。
ワークデータWrk[0]〜[9]は、視覚センサ3が自らの動作処理において使用している座標系のX座標データ、Y座標データ、及びX−Y平面上における回転を表すC座標データを有する。
また、ワークデータWrk[0]〜[9]は、複数の付加データ、例えば付加データ(1)〜(3)を加えて構成されている。付加データ(1)〜(3)は、様々な動作処理に関連する条件等を表し、例えば、前述のように視覚センサ3が判別した品種などを示すデータである。この付加データ(1)〜(3)は、ユーザの所望により視覚センサ3に設定される。
ロボットコントローラ5は、記憶部16に蓄積されているデータベースを用いてロボット4の動作を制御し、当該ロボット4の位置に搬送されたワーク10にハンドリング作業を行う。
ロボット4のハンドリング作業は、図1に示したワーク検出エリア開始点20bとワーク検出エリア終了点20cとの間に設けられたワーク検出エリアにおいて行われる。
具体的には、トラッキングマネージャ15bは、データベースに格納されている各トラッキングデータD1の移動量を示すデータを抽出する。
またさらにトラッキングマネージャ15bは、上記の抽出した移動量を示すデータを用いて、ワーク検出エリア内を移動中のトラッキング範囲Sが、どのトラッキングデータD1に対応しているかを認識する。
トラッキングマネージャ15bは、上記の認識したトラッキングデータD1を、データ管理部15aを用いて記憶部16から読み出す。
ワークマネージャ15cは、入力したトラッキングデータD1に含まれている複数のワークデータの中から処理を行うものを選択する。
換言すると、ワーク検出エリアに到達している複数のワーク10の中からロボット4に保持させるものを選択する。
この図は、データベースに格納されている各ワークデータの順番とベルト搬送面2aに載置されている各ワーク10を対応させた状態B、および、ロボット4に保持させる順番とベルト搬送面2aに載置されている各ワーク10とを対応させた状態Cを表している。
なお、上記の状態Bは、視覚センサ3から送信されたワークデータを順次データベースに格納した順番の一例であり、図示した順番に限定されない。
具体的には、1つのトラッキング範囲Sにおいて、搬送下流側のワーク10から順番にロボット4が保持するように、各ワーク10に対応するワークデータの並べ替えを行う。
図示したOは、任意の基準点である。また、ベクトルCνは、例えばユーザ等によって定められた単位ベクトルであり、ベルトコンベア2の搬送動作を表すコンベアベクトルAと同一方向を示す。
基準点Oは、例えばワーク検出エリアの中を移動しているトラッキング範囲Sよりも搬送上流側に設定される。図6に例示した基準点Oは、ベルト搬送面2aの幅方向の中央部分に設けられている。
ベクトルPnとベクトルCνの成す角度をθとしたとき、ワーク10の写像ベクトルPnCは次の(1)式のように表される。
演算部15の例えばワークマネージャ15cは、このようにして一つのトラッキングデータD1に含まれている全てのワークデータに対して写像ベクトルPnCのスカラ量を求める。
また、視覚センサ3が撮像した画像の座標原点がどのように配置されていても、ロボット4の動作制御に用いることが可能になる。
演算部15は、例えば選択ソート法を用いて各スカラ量の並べ替えを行う。演算部15の例えばワークマネージャ15cは、データ列(5)の中の各スカラ量を比較し、値の大きな順に並べ替える。
ワークマネージャ15cは、データ列(5)の中に並べられている各スカラ量に対応させて、順にワークデータを選択する。
ワークマネージャ15cは、このように、大きな写像ベクトルPnCのスカラ量を有するワークデータから順に、ロボット4の動作制御に用いるワークデータとして選択する。
また、作業を行う順番を並べ替えて搬送下流側に位置するワーク10から作業を行うようにしたので、搬送中のワーク10に作業をし損ねることを抑制することができる。
また、ロボット4の無駄な動作を抑えることができる。
本発明の第2の実施形態によるハンドリング装置は、前述の第1の実施形態で説明したハンドリング装置と同様に構成されている。第1の実施形態で説明した装置と同様な構成について重複説明を省略する。
また、第2の実施形態によるハンドリング装置は、第1の実施形態で説明した装置と概ね同様に動作する。ここでは、第1の実施形態で説明した装置と同様な動作について重複説明を省略し、第2の実施形態によるハンドリング装置の特徴となる動作を説明する。
この図は、データベースに格納されている各ワークデータの順番とベルト搬送面2aに載置されている各ワーク10を対応させた状態B、および、ロボット4に保持させる順番とベルト搬送面2aに載置されている各ワーク10とを対応させた状態Dを表している。
なお、上記の状態Bは、図5に示した状態Bと同様に、視覚センサ3から送信されたワークデータを順次データベースに格納した順番の一例であり、図示した順番に限定されない。
具体的には、1つのトラッキング範囲Sにおいて、搬送下流側のワーク10から順番にロボット4が保持するように、各ワーク10に対応するワークデータの並べ替えを行う。
例えば、最も搬送下流側に載置されているワーク10を、前述の第1の実施形態で説明した演算によって求める。
次に、このワーク10から最も近い位置に載置されているワーク10を、例えば各ワークデータの座標値を比較して検知する。このようにして、近傍に載置されているワーク10を順に検知し、検知した順番に応じてワークデータを並べ替える。
また、作業を行う順番を並べ替えて搬送下流側に位置するワーク10から作業を開始し、順次近傍のワーク10に作業を行うようにしたので、搬送中のワーク10に作業をし損ねることを抑制することができる。
また、ロボット4の無駄な動作を抑えることができる。
Claims (5)
- ワークを搬送する搬送手段と、
前記ワークに対して所定の作業を行うロボットと、
前記搬送手段によって搬送されているワークを撮像して該ワークの位置を示すワークデータを生成する視覚センサと、
前記視覚センサから送信された前記ワークデータを蓄積してデータベースを作成し、前記ロボットの位置に搬送されたワークに所定の作業を行うように前記データベースを用いて前記ロボットを制御する制御手段と、
を有し、
前記制御手段は、前記データベースに格納されている前記ワークデータを読み出して所定の演算を行い、複数のワークに対して前記ロボットが作業を行う順番を並べ替える、
ハンドリング装置。 - 前記制御手段は、
前記搬送手段の搬送下流側のワークから作業を開始するように制御する、
請求項1記載のハンドリング装置。 - 前記制御手段は、
前記視覚センサから送信されたワークデータを前記視覚センサが撮像した画像毎にまとめたトラッキングデータをデータベースとして記憶する記憶部と、
前記トラッキングデータに含まれている各ワークデータから各ワークの写像ベクトルのスカラ量を求め、前記各ワークの写像ベクトルのスカラ量に基づいて前記ロボットが作業を行う順番を並べ替える演算部と、
前記演算部によって並べ替えられた順番に応じて前記各ワークに作業を行うように前記ロボットを制御する駆動制御部と、
を有する、
請求項1または請求項2記載のハンドリング装置。 - 搬送手段によって搬送されている複数のワークを撮像する視覚センサから送信された複数のワークデータを前記視覚センサが撮像した画像毎にまとめたトラッキングデータとして記憶する記憶手段と、
前記記憶手段に記憶されている前記トラッキングデータの各ワークデータに所定の演算を行って、前記搬送手段によって搬送されている各ワークに作業を行う順番を並べ替える演算手段と、
前記演算手段によって並べ替えられた順番に応じて前記各ワークに作業を行うようにロボットを制御する駆動制御手段と、
を有する、制御装置。 - 搬送手段によって搬送されている複数のワークを撮像する視覚センサから送信された複数のワークデータを前記視覚センサが撮像した画像毎にまとめたトラッキングデータとして記憶手段へ記憶させる工程と、
前記記憶手段に記憶されている前記トラッキングデータの各ワークデータに、演算手段が所定の演算を行って、前記搬送手段によって搬送されている各ワークに作業を行う順番を並べ替える工程と、
前記演算手段によって並べ替えられた順番に応じて前記各ワークに作業を行うように駆動制御手段がロボットを制御する工程と、
を有する、制御方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008158038A JP5198161B2 (ja) | 2008-06-17 | 2008-06-17 | ハンドリング装置およびワークハンドリング方法 |
DE112009001414T DE112009001414T5 (de) | 2008-06-05 | 2009-06-03 | Bearbeitungssystem, Steuerungseinrichtung, Steuerungsverfahren und Programm |
GB1213595.0A GB2492257B (en) | 2008-06-05 | 2009-06-03 | Handling system, control device, control method, and program |
US12/995,960 US8805585B2 (en) | 2008-06-05 | 2009-06-03 | Handling apparatus, control device, control method, and program |
PCT/JP2009/060172 WO2009148089A1 (ja) | 2008-06-05 | 2009-06-03 | ハンドリング装置、制御装置、制御方法およびプログラム |
GB1019223.5A GB2471819B (en) | 2008-06-05 | 2009-06-03 | Handling system,control device,control method,and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008158038A JP5198161B2 (ja) | 2008-06-17 | 2008-06-17 | ハンドリング装置およびワークハンドリング方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009297881A true JP2009297881A (ja) | 2009-12-24 |
JP5198161B2 JP5198161B2 (ja) | 2013-05-15 |
Family
ID=41545307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008158038A Active JP5198161B2 (ja) | 2008-06-05 | 2008-06-17 | ハンドリング装置およびワークハンドリング方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5198161B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011140085A (ja) * | 2010-01-06 | 2011-07-21 | Seiko Epson Corp | 制御装置、ロボット、ロボットシステム及びロボットの追従制御方法 |
WO2012111173A1 (ja) * | 2011-02-15 | 2012-08-23 | オムロン株式会社 | 画像処理装置および画像処理システム |
JP2016060004A (ja) * | 2014-09-18 | 2016-04-25 | 株式会社安川電機 | ロボットシステム、ロボット装置およびワークピッキング方法 |
US20180281181A1 (en) * | 2017-03-31 | 2018-10-04 | Fanuc Corporation | Robot controller, machine learning device and machine learning method |
US11084173B2 (en) | 2018-06-08 | 2021-08-10 | Fanuc Corporation | Robot system and control method for robot system |
US11679944B2 (en) | 2018-08-31 | 2023-06-20 | Fanuc Corporation | Article picking system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0748018A (ja) * | 1993-08-03 | 1995-02-21 | Omori Mach Co Ltd | 物品移載装置用物品検出装置 |
JPH0957670A (ja) * | 1995-08-23 | 1997-03-04 | Fujitsu Ltd | ロボット軌道制御装置及び耐久性試験装置 |
JPH10277969A (ja) * | 1997-01-31 | 1998-10-20 | Honda Motor Co Ltd | 脚式移動ロボットの制御装置 |
JP2005111607A (ja) * | 2003-10-07 | 2005-04-28 | Fanuc Ltd | ロボット物流トラッキング装置 |
JP2007015055A (ja) * | 2005-07-07 | 2007-01-25 | Toshiba Mach Co Ltd | ハンドリング装置、作業装置及びプログラム |
JP2009028818A (ja) * | 2007-07-25 | 2009-02-12 | Panasonic Electric Works Co Ltd | ロボットシステム |
-
2008
- 2008-06-17 JP JP2008158038A patent/JP5198161B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0748018A (ja) * | 1993-08-03 | 1995-02-21 | Omori Mach Co Ltd | 物品移載装置用物品検出装置 |
JPH0957670A (ja) * | 1995-08-23 | 1997-03-04 | Fujitsu Ltd | ロボット軌道制御装置及び耐久性試験装置 |
JPH10277969A (ja) * | 1997-01-31 | 1998-10-20 | Honda Motor Co Ltd | 脚式移動ロボットの制御装置 |
JP2005111607A (ja) * | 2003-10-07 | 2005-04-28 | Fanuc Ltd | ロボット物流トラッキング装置 |
JP2007015055A (ja) * | 2005-07-07 | 2007-01-25 | Toshiba Mach Co Ltd | ハンドリング装置、作業装置及びプログラム |
JP2009028818A (ja) * | 2007-07-25 | 2009-02-12 | Panasonic Electric Works Co Ltd | ロボットシステム |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011140085A (ja) * | 2010-01-06 | 2011-07-21 | Seiko Epson Corp | 制御装置、ロボット、ロボットシステム及びロボットの追従制御方法 |
WO2012111173A1 (ja) * | 2011-02-15 | 2012-08-23 | オムロン株式会社 | 画像処理装置および画像処理システム |
JP2012166308A (ja) * | 2011-02-15 | 2012-09-06 | Omron Corp | 画像処理装置および画像処理システム |
US9741108B2 (en) | 2011-02-15 | 2017-08-22 | Omron Corporation | Image processing apparatus and image processing system for conveyor tracking |
JP2016060004A (ja) * | 2014-09-18 | 2016-04-25 | 株式会社安川電機 | ロボットシステム、ロボット装置およびワークピッキング方法 |
US20180281181A1 (en) * | 2017-03-31 | 2018-10-04 | Fanuc Corporation | Robot controller, machine learning device and machine learning method |
CN108687766A (zh) * | 2017-03-31 | 2018-10-23 | 发那科株式会社 | 机器人的控制装置、机器学习装置以及机器学习方法 |
JP2018171684A (ja) * | 2017-03-31 | 2018-11-08 | ファナック株式会社 | ロボットの制御装置、機械学習装置及び機械学習方法 |
US10549422B2 (en) | 2017-03-31 | 2020-02-04 | Fanuc Corporation | Robot controller, machine learning device and machine learning method |
US11084173B2 (en) | 2018-06-08 | 2021-08-10 | Fanuc Corporation | Robot system and control method for robot system |
US11679944B2 (en) | 2018-08-31 | 2023-06-20 | Fanuc Corporation | Article picking system |
Also Published As
Publication number | Publication date |
---|---|
JP5198161B2 (ja) | 2013-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2009148089A1 (ja) | ハンドリング装置、制御装置、制御方法およびプログラム | |
JP6042860B2 (ja) | ロボットを用いて物品を移送する物品移送装置及び物品移送方法 | |
JP5198155B2 (ja) | ハンドリング装置、ワークハンドリング方法および信号処理装置 | |
JP4864363B2 (ja) | ハンドリング装置、作業装置及びプログラム | |
US8014899B2 (en) | Article conveying robot system | |
JP5887383B2 (ja) | 物品をコンベヤに整列させる物品整列装置 | |
JP5824173B1 (ja) | ロボットを用いて物品を整列させる物品整列装置及び物品整列方法、並びに物品整列装置を備えた物品移送システム | |
CN108372503B (zh) | 使用至少一个传感器的物品运送装置 | |
JP5198161B2 (ja) | ハンドリング装置およびワークハンドリング方法 | |
US20070179671A1 (en) | Tracking and handling device | |
JP6478234B2 (ja) | ロボットシステム | |
CN105437248A (zh) | 机器人系统、机器人装置以及工件拾取方法 | |
JP2006035397A (ja) | 搬送ロボットシステム | |
JP2004249391A (ja) | ワーク搬送装置 | |
JP6549655B2 (ja) | 物品搬送装置 | |
JP2016147330A (ja) | 物体認識に基づく制御装置 | |
JP2005262369A (ja) | ロボットシステム | |
JP2000219317A (ja) | 荷役仕分け装置 | |
JP2013132726A (ja) | ロボットの制御方法、及びロボット | |
WO2021065880A1 (ja) | ロボット制御システム、ロボット制御方法およびプログラム | |
JP2021045835A (ja) | ロボットシステム | |
US20230192421A1 (en) | Method for Controlling the Operation of an Industrial Robot | |
WO2023223503A1 (ja) | 制御装置及び検出システム | |
JP2020199605A (ja) | ロボットシステム | |
JP2024002367A (ja) | 運搬システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121002 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130206 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5198161 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |