JP2022061700A - ベルトコンベアキャリブレーション方法、ロボット制御方法、ロボットシステム、プログラム - Google Patents

ベルトコンベアキャリブレーション方法、ロボット制御方法、ロボットシステム、プログラム Download PDF

Info

Publication number
JP2022061700A
JP2022061700A JP2020169797A JP2020169797A JP2022061700A JP 2022061700 A JP2022061700 A JP 2022061700A JP 2020169797 A JP2020169797 A JP 2020169797A JP 2020169797 A JP2020169797 A JP 2020169797A JP 2022061700 A JP2022061700 A JP 2022061700A
Authority
JP
Japan
Prior art keywords
belt
marker
robot
camera
correction value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020169797A
Other languages
English (en)
Inventor
雅人 横田
Masahito Yokota
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2020169797A priority Critical patent/JP2022061700A/ja
Priority to CN202111159312.3A priority patent/CN114290324B/zh
Priority to US17/494,916 priority patent/US20220105641A1/en
Publication of JP2022061700A publication Critical patent/JP2022061700A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0093Programme-controlled manipulators co-operating with conveyor means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41815Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
    • G05B19/4182Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell manipulators and conveyor only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Conveyors (AREA)

Abstract

【課題】ベルトのたわみ等による蛇行を効率的に測定する方法を提供する。【解決手段】ベルトコンベアキャリブレーション方法はベルトコンベア3のベルト6がマーカー23を搬送し、第1カメラ13がマーカー23を撮影し、第1カメラ13の撮影画像から第1カメラ13の第1撮影領域21を分割した複数の区画21rのうちの1つの区画21rを通過するマーカー23を検出し、ロボット15が第2カメラ18を移動することで、検出したマーカー23を第2カメラ18が追従して撮影し、ベルト6の搬送量から推定されるマーカー23の位置と追従して撮影されたマーカー23の画像から検出するマーカー23の位置との差である補正値を算出して記憶する。【選択図】図4

Description

本発明は、ベルトコンベアキャリブレーション方法、ロボット制御方法、ロボットシステム、プログラムに関するものである。
ベルトコンベアによって搬送される対象物に対し、ロボットで作業を行うロボットシステムが知られている。ベルトコンベアはベルトが経年変化してたわむ。たわんだベルトに搬送される対象物は蛇行して移動する。ベルトのたわみ等による蛇行を考慮してロボットを制御するために、ベルトのたわみ等による対象物の蛇行を補正する方法が特許文献1に開示されている。それによると、ベルト上にマークが配置され、ベルトが間欠移動する。マークが停止しているときに、作業者がロボットハンドの先端をマークに接触させて、マークの座標を記憶する。つまり、マークの位置が測定される。ベルトの移動、ベルトの停止、マークの位置の測定を繰り返すことによりベルトのたわみ等によるマークの蛇行が測定された。
特開2015-174171号公報
しかしながら、特許文献1の方法では、作業領域が大きい場合にマークの位置を測定する回数が多くなってしまい、測定効率が良くなかった。詳しくは、当該方法では、作業者がティーチングペンダントを操作してロボットハンドの先端をマークの位置に移動していた。このため、マークの場所を測定する時間がかかる。従って、ベルトのたわみ等による蛇行を効率的に測定する方法が求められていた。
ベルトコンベアキャリブレーション方法は、ベルトコンベアのベルトがマーカーを搬送し、第1カメラが前記マーカーを撮影し、前記第1カメラの撮影画像から前記第1カメラの撮影領域を分割した複数の区画のうちの1つの区画を通過する前記マーカーを検出し、ロボットが第2カメラを移動することで、検出した前記マーカーを前記第2カメラが追従して撮影し、前記ベルトの搬送量から推定される前記マーカーの位置と追従して撮影された前記マーカーの画像から検出する前記マーカーの位置との差である補正値を算出して記憶する。
ロボット制御方法は、上記に記載のベルトコンベアキャリブレーション方法を用いて前記補正値を算出して記憶部に記憶し、前記ベルト上の対象物に前記ロボットが作業を行うとき、前記第1カメラが前記対象物を撮影し、前記複数の区画のうち前記対象物が通過する区画を検出し、前記対象物が通過する区画に対応する前記補正値を前記記憶部から取得し、前記ロボットは前記対象物の位置情報を前記補正値で補正し、補正した前記対象物の位置情報を用いて前記対象物に対する作業を行う。
ロボットシステムは、搬送用のベルトを有し、マーカー及び対象物を搬送するベルトコンベアと、動作範囲に前記ベルトが含まれるロボットと、前記ベルト上の前記マーカー及び前記対象物を撮影する第1カメラと、前記ロボットのアームまたはハンドに取付けられ、前記ベルト上の前記マーカーを追従して撮影する第2カメラと、前記ロボットの動作を制御し、記憶部を有する制御部と、を備え、前記制御部は、前記第1カメラの撮影領域を分割した複数の区画のうちの1つの区画を通過する前記マーカーを検出し、前記ベルトの搬送量から推定される前記マーカーの位置と追従して撮影された前記マーカーの画像から検出する前記マーカーの位置との差である補正値を算出して前記記憶部に記憶し、前記ベルト上の前記対象物に対して、前記ロボットが作業を行う際には、前記第1カメラに前記対象物を撮影させて、前記複数の区画のうち前記対象物が通過する区画を検出し、前記対象物が含まれる区画を通過する前記対象物に対応する前記補正値を前記記憶部から取得し、前記対象物の位置情報を前記補正値で補正し、補正した前記対象物の位置情報を用いて前記ロボットに、前記対象物に対する作業を行わせる。
プログラムは、ベルトがマーカー及び対象物を搬送するベルトコンベアと、動作範囲に前記ベルトが含まれるロボットと、前記ベルト上の前記マーカー及び前記対象物を撮影する第1カメラと、前記ロボットによって移動され前記ベルト上の前記マーカーを追従して撮影する第2カメラと、前記ロボットの動作を制御し、記憶部を有する制御部と、を備えるロボットシステムの前記ロボットの前記制御部が備えるコンピューターを、前記第1カメラの撮影領域を分割した複数の区画のうちの1つの区画を通過する前記マーカーを検出する第1検出手段と、前記ベルトの搬送量から推定される前記マーカーの位置と追従して撮影された前記マーカーの画像から検出する前記マーカーの位置との差である補正値を算出して記憶する補正値算出手段と、前記ベルト上の前記対象物に前記ロボットが作業を行うとき、前記第1カメラによって撮影された前記対象物を含む画像を入力し、前記複数の区画のうち前記対象物が通過する区画を検出する第2検出手段と、検出された区画を通過する前記対象物に対応する前記補正値を前記記憶部から取得し、前記対象物の位置情報を前記補正値で補正する補正手段と、補正した前記対象物の位置情報を用いて前記対象物に対する作業を前記ロボットに行わせる動作制御手段と、として機能させる。
第1実施形態にかかわるロボットシステムの構成を示す模式側面図。 ベルトコンベアの構成を示す模式平面図。 ベルトコンベアの構成を示す模式平面図。 ベルトコンベアの構成を示す模式平面図。 ロボットシステムの電気ブロック図。 キャリブレーション方法のフローチャート。 キャリブレーション結果の表示例を示す図。 ずれ量を近似式で近似した例を示す図。 ロボットの制御方法のフローチャート。 ロボットの制御方法を説明するための模式平面図。 ロボットの制御方法を説明するための模式平面図。 第2実施形態にかかわるベルトコンベアの構成を示す模式平面図。 ベルトコンベアの構成を示す模式平面図。
第1実施形態
本実施形態では、ロボットシステムとベルトコンベアのキャリブレーション方法及びロボット制御方法との特徴的な例について説明する。
図1に示すように、ロボットシステム1は土台2上にベルトコンベア3を備える。ベルトコンベア3は第1プーリー4及び第2プーリー5を備える。第1プーリー4及び第2プーリー5にはベルト6が掛けられている。ベルトコンベア3は第1モーター7を備える。第1モーター7のトルクはタイミングベルト8等を含む伝達機構により第1プーリー4に伝達される。第1モーター7の軸が回転するとき、第1プーリー4が回転し搬送用のベルト6が移動する。
第1プーリー4から第2プーリー5に向かう方向をX正方向とする。ベルトコンベア3の幅方向をY方向とする。土台2からベルトコンベア3に向かう方向をZ正方向とする。X方向、Y方向、Z方向はそれぞれ直交する。
ベルトコンベア3を土台2に設置するとき、ベルト6は蛇行しないように調整される。このときにベルト6が進行する方向を第1方向9とする。ベルト6に対して、第1プーリー4側が上流側であり、第2プーリー5側が下流側である。第1方向9はX正方向になっている。ベルト6上にはプレート11が載置される。プレート11はベルト6が移動するベルトコンベア3によって搬送される。ベルト6上にワークが載置されるときには、ワークはベルト6が移動するベルトコンベア3によって搬送される。ベルト6の進行方向は経年変化により蛇行することがある。ベルト6が蛇行するとき、ベルト6の進行方向は第1方向9とずれる。
第1プーリー4には第1エンコーダー12が設置されている。第1エンコーダー12はロータリーエンコーダーであり、第1プーリー4の回転角度を検出する。第1プーリー4の回転角度とベルト6の移動量とは正比例する。従って、第1エンコーダー12の出力からプレート11が第1方向9に移動する移動量が検出される。
第1プーリー4の下流側にはベルト6のZ正方向に第1カメラ13が配置される。第1カメラ13はベルト6の上流側を撮影する。
プレート11は第1カメラ13の撮影範囲に載置される。従って、プレート11がベルト6上に載置された後、プレート11は第1カメラ13に撮影される。
第1カメラ13と第2プーリー5との間にロボット15が設置される。ロボット15はロボット本体15a及び制御部としての制御装置15bを備える。ロボット本体15aは土台2上に設置された設置台16の上に設置される。ロボット本体15aは連結する複数のアーム15cを備える。アーム15cは先端にハンドとしてのアクチュエーター17を備える。
ロボット本体15aは各アーム15cを回転させる複数の第2モーター15d及び第2エンコーダー15eを備える。制御装置15bは第2モーター15d及び第2エンコーダー15eを駆動してアクチュエーター17の位置を制御する。
アーム15cは先端に昇降装置15fを備える。昇降装置15fはアクチュエーター17を昇降させる。制御装置15bは昇降装置15fを駆動してアクチュエーター17のZ方向の位置を制御する。
アクチュエーター17は、例えば、プレート11を把持するハンドや、モータードライバー等である。制御装置15bはアクチュエーター17の駆動を制御する。
ロボット15のアーム15cまたはアクチュエーター17には第2カメラ18が取り付けられる。第2カメラ18は第1方向9に移動するプレート11を撮影する。ロボット15の動作範囲にベルト6が含まれる。
図2ではロボット15が省略されている。図2に示すように、XY平面において第1方向9と直交する方向を第2方向19とする。第2方向19はY負方向になっている。図2には第1カメラ13が撮影する範囲である撮影領域としての第1撮影領域21が点線で示される。第2カメラ18が撮影する範囲である第2撮影領域22が点線で示される。第1撮影領域21及び第2撮影領域22は四角形である。第1撮影領域21の位置は固定される。
第1撮影領域21は7行7列の49の区画21rに分割される。Y正方向側からY負方向側に第1行21a、第2行21b、第3行21c、第4行21d、第5行21e、第6行21f、第7行21gが割り振られている。X負方向側からX正方向側に第1列21h、第2列21j、第3列21k、第4列21m、第5列21n、第6列21p、第7列21qが割り振られている。
X負方向側かつY正方向側の角の区画21rは第1行21a、第1列21hである。X正方向側かつY負方向側の角の区画21rは第7行21g、第7列21qである。
第2撮影領域22は第1撮影領域21より狭い範囲であり、分解能が高くなっている。第2カメラ18及び第2撮影領域22はロボット15により移動される。
図3に示すように、プレート11にはマーカー23が形成される。マーカー23は円形であり、重心が算出し易い形状である。
第1カメラ13はベルト6上のマーカー23を撮影する。ベルト6上にワークがあるときには第1カメラ13はベルト6上のワークを撮影する。
ベルトコンベア3のベルト6がマーカー23を搬送する。第1カメラ13がマーカー23を撮影する。第1カメラ13の撮影画像から第1カメラ13の撮影領域である第1撮影領域21を分割した複数の区画21rのうちの1つの区画21rを通過するマーカー23を制御装置15bが検出する。
図4に示すように、ベルトコンベア3のベルト6がマーカー23を第1方向9に搬送する。ロボット15が第2カメラ18を移動することで、検出したマーカー23を第2カメラ18が追従して撮影する。ベルト6の搬送量から推定されるマーカー23の位置が第2撮影領域22の中心になるように、ロボット15は第2カメラ18を移動する。
ベルト6の搬送量から推定されるマーカー23の位置と追従して撮影されたマーカー23の画像から検出するマーカー23の位置との差である補正値を制御装置15bが算出して記憶する。
図5に示すように、制御装置15bは各種の演算処理を行うコンピューターとしてのCPU24(中央演算処理装置)と、各種情報を記憶する記憶部としてのメモリー25を備える。ロボット駆動装置26、第1カメラ13、第2カメラ18、ベルトコンベア3、入力装置28及び出力装置29は入出力インターフェイス31及びデータバス32を介してCPU24に接続される。
ロボット駆動装置26はロボット本体15aを駆動する装置である。ロボット駆動装置26はロボット本体15aの第2モーター15d、第2エンコーダー15e、昇降装置15f及びアクチュエーター17を駆動する。
第1カメラ13及び第2カメラ18が撮影する画像のデータは入出力インターフェイス31及びデータバス32を介してCPU24に伝送される。
ベルトコンベア3の第1エンコーダー12の出力は入出力インターフェイス31及びデータバス32を介してCPU24に伝送される。
入力装置28はキーボードやジョイスティック等である。作業者は入力装置28を操作して各種の指示を入力する。
出力装置29は表示装置や外部出力装置等である。作業者は表示装置を見て各種の情報を確認する。出力装置29は外部装置と通信する外部インターフェイスを備える。
メモリー25は、RAM(Random Access Memory)、ROM(Read Only Memory)等の半導体メモリーにより構成されている。メモリー25はロボット本体15aの動作の手順が記述されたプログラム33を記憶する。他にも、メモリー25はベルト測定データ34を記憶する。ベルト測定データ34はベルト6の蛇行や位置ずれを示すデータである。他にも、メモリー25はワーク位置データ35を記憶する。ワーク位置データ35はベルト6上のワークの位置を示すデータである。他にも、メモリー25は画像データ36を記憶する。画像データ36は第1カメラ13及び第2カメラ18が撮影する画像のデータである。他にも、メモリー25は、CPU24が動作するためのワークエリアやテンポラリーファイル等として機能する記憶領域やその他各種の記憶領域を備える。
CPU24は、メモリー25内に記憶されたプログラム33に従って、ロボットシステム1を駆動させる。そして、プログラム33が動作するCPU24は具体的な機能実現部として動作制御手段としてのロボット制御部37を有する。制御装置15bではロボット制御部37がロボット本体15aの動作を制御する。ベルト6上のワークに対して、ロボット15が作業を行う際には、第1カメラ13にワークを撮影させる。
他にも、CPU24は撮影制御部38を有する。撮影制御部38は第1カメラ13及び第2カメラ18が撮影するタイミングを制御する。
第1検出手段としての第1検出部39は第1カメラ13の第1撮影領域21を分割した複数の区画21rのうちの1つの区画21rを通過するマーカー23を検出する。
補正値算出手段としての補正値算出部41はベルト6の搬送量から推定されるマーカー23の位置と追従して撮影されたマーカー23の画像から検出するマーカー23の位置との差である補正値を算出してメモリー25にべルト測定データ34の一部として記憶する。
詳しくは、第2カメラ18がマーカー23を撮影するとき、撮影制御部38は第2カメラ18が撮影した画像の中心とマーカー23の中心とのずれ量を検出する。ずれ量は第1方向9にずれた距離と第2方向19にずれた距離とを含む。
第2検出手段としての第2検出部42はベルト6上のワークにロボット15が作業を行うとき、第1カメラ13によって撮影されたワークを含む画像を入力し、複数の区画21rのうちワークが通過する区画21rを検出する。
他にも、CPU24は補正手段としての位置補正演算部43を有する。位置補正演算部43はベルト6のずれや蛇行により変化したワークの位置を算出する。位置補正演算部43は第1撮影領域21で検出された区画21rを通過するワークに対応する補正値をメモリー25から取得し、位置補正演算部43がワークの位置情報を補正値で補正する。
ロボット制御部37は、補正したワークの位置情報を用いてワークに対する作業をロボット15に行わせる。
他にも、CPU24はワーク位置演算部44を有する。ワーク位置演算部44は第1エンコーダー12の出力からベルト6が蛇行していないときのワークの位置を演算する。
他にも、CPU24はベルト制御部45を有する。ベルト制御部45はベルト6の移動速度を制御する。ベルト制御部45は第1エンコーダー12の出力を入力して、ベルト6の移動速度や移動量を認識する。
次に、ロボットシステム1のベルトコンベアキャリブレーション方法の手順について説明する。
図6にはロボットシステム1のベルトコンベア3のキャリブレーションを行う作業手順が示される。図6において、ステップS1にて作業者がベルト6上にプレート11を設置する。最初は第1列21hにプレート11が撮影されるようにプレート11が配置される。次にステップS2、及びステップS3に移行する。ステップS2及びステップS3は並行して行われる。
ステップS2ではベルト6がプレート11を移動する。ベルトコンベア3のベルト6がマーカー23を搬送する。ベルト6が蛇行するときにはマーカー23も蛇行する。次に、ステップS6に移行する。
ステップS3では第1カメラ13がマーカー23を撮影する。第1検出部39が第1カメラ13の撮影画像から第1カメラ13の第1撮影領域21を分割した複数の区画21rのうちの1つの区画21rを通過するマーカー23を検出する。第1検出部39は、まず、第1列21hの第1行21aの区画21rを通過するマーカー23を検出する。
ステップS4では撮影したマーカー23の1つを第2カメラ18が追従して測定する。ステップS3で検出した第1列21hの第1行21aの区画21rを通過するマーカー23を第2カメラ18が追従する。マーカー23の画像がベルト測定データ34の一部としてメモリー25に記憶される。換言すれば、ロボット15によって第2カメラ18を移動することで、検出したマーカー23を追従して第2カメラ18がマーカー23を撮影する。次にステップS5に移行する。
ステップS5では撮影範囲である第2撮影領域22の中心からの位置ずれのデータを補正値算出部41が算出する。位置ずれのデータはベルト測定データ34の一部としてメモリー25に記憶される。次にステップS6に移行する。
ステップS6では測定する予定のマーカー23をすべて測定したかを判定する。測定していない場所のマーカー23があるとき次にステップS1に移行する。
第1列21hでは第1行21aから第7行21gまで順番にマーカー23が測定される。第1列21hのマーカー23の測定がすべて終了したら、次に、ステップS1では第2列21jにプレート11のマーカー23が撮影されるようにプレート11が配置される。さらに、第3列21k~第7列21qまで順次プレート11のマーカー23が撮影されるようにプレート11が配置される。
ステップS3では1つの列において、行が順次切り替えられる。第1行21aのマーカー23の測定が終了したら、次に、第2行21bのマーカー23が撮影される。さらに、第3行21c~第7行21gまでマーカー23が撮影される。ステップS4ではステップS3で撮影されたマーカー23が追従される。ステップS6にてすべての区画21rを通過するマーカー23の測定が済んだことを判定したとき次にステップS7に移行する。
ステップS7では測定したデータを出力装置29の画面に表示する。次にステップS8に移行する。ステップS8ではずれ量補正の演算が行われる。第2カメラ18がマーカー23を追従して測定したマーカー23の軌跡からベルト6のずれ量補正の近似式を算出しベルト測定データ34の一部としてメモリー25に記憶する。
換言すれば、ベルト6の搬送量から推定されるマーカー23の位置と追従して撮影されたマーカー23の画像から検出するマーカー23の位置との差である補正値を補正値算出部41が算出して記憶する。
複数の区画21rのすべての区画21rの各区画21rにおいて通過するマーカー23を第2カメラ18が追従して撮影し、補正値算出部41が補正値を算出する。
この方法によれば、複数の区画21rにおける各区画21rを通過するマーカー23が移動する軌跡が検出される。そして、補正値が算出される。従って、複数の区画21rのいずれかを通過するワークの軌跡を精度良く推定することができる。
複数の区画21rの数は、作業者によって変更できる。この方法によれば、複数の区画21rの数は、作業者によって変更できる。区画21rの数を多くすると、各区画21rを細かくできるので、位置精度を精度良く検出することができる。しかし、測定回数が多くなるので、測定にかかる工数が多くなる。作業者は必要とされる位置精度を満たす区画21r数の内で少ない区画21r数を設定することにより、生産性良くベルトコンベア3のキャリブレーションを行うことができる。
図7にステップS7で表示する画面の例を示す。左側の枠内には第1カメラ13が撮影するマーカー23の画像が示される。右側の枠には2つのグラフが示される。右側の枠の上段には第1方向9のベルト6のずれ量が示される。グラフの横軸が第1方向9のマーカー23の位置を示す。縦軸は第1方向9のベルト6のずれ量を示す。右側の枠の下段には第2方向19のベルト6のずれ量が示される。グラフの横軸が第1方向9のマーカー23の位置を示す。縦軸は第2行21bのベルト6のずれ量を示す。グラフはベルト6が蛇行している例である。
中央には測定条件が示される。キャリブ区画列数は第1列21h~第7列21qのどの列をマーカー23が通過したデータであるかを示す。数字の5は第5列21nを示す。
ビジョンシーケンスはロボット15が第2カメラ18を移動させるプログラム33の識別名である。キャリブマーク数は第1行21a~第7行21gのどの行をマーカー23が通過したデータであるかを示す。数字の6は第6行21fを示す。
キャリブ番号は区画21rの識別番号を示す。オブジェクトは撮影した画像の識別名を示す。ずれ量は特定の位置のずれ量を示す。最大ずれ量は第2カメラ18が追従した行程内で最大のずれ量を示す。
図8はステップS8でずれ量補正の演算を行った結果のグラフの例である。横軸は第1方向9のベルト6の位置を示す。縦軸は第2方向19のずれ量を示す。詳しくは、第2撮影領域22の中心に対するマーカー23の重心のずれ量を示す。実線は測定値のプロットを通る折れ線グラフである。点線は測定値のプロットを用いて最小二乗法で算出した近似式を示す。近似式は3次方程式である。近似式は第1撮影領域21の49個の区画21rすべてに対して算出される。
第1撮影領域21の区画21rにおける行番号をCamXとし、列番号をCamYとする。第2撮影領域22の第1方向9の位置をCnvXとする。第1方向9のずれ量の近似式を関数FXとすると、第1方向9のずれ量の補正値はFX(CamX、CamY、CnvX)で示される。第2方向19のずれ量の近似式を関数FYとすると、第2方向19のずれ量の補正値はFY(CamX、CamY、CnvX)で示される。
FX(CamX、CamY、CnvX)及びFY(CamX、CamY、CnvX)はベルト測定データ34の一部としてメモリー25に記憶される。以上によりベルトコンベアキャリブレーション方法の手順が終了する。
次に、ベルトコンベアキャリブレーション方法の手順に続いて行われるロボット制御方法の手順について説明する。ロボット制御方法の手順はベルト6上のワークにロボット15が作業を行うときの手順である。既に、上記のベルトコンベアキャリブレーション方法を用いて補正値を算出してメモリー25に記憶することが行われている。
図9にはロボットシステム1のロボット15がベルト6により搬送されるワークに対して作業を行う作業手順が示される。
図9において、ステップS11にて第1カメラ13がワークを撮影する。次にステップS12に移行する。ステップS12にて複数の区画21rのうちワークが通過する区画21rを第2検出部42が検出する。次にステップS13に移行する。ステップS13ではワークが通過する区画21rに対応する補正値を位置補正演算部43がメモリー25から取得する。ワーク位置演算部44はベルト6が蛇行していないときのワークの位置を第1エンコーダー12の出力から算出する。位置補正演算部43は補正値を用いてワークが位置する座標を補正する。
ワークが通過する区画21rの行番号をCamXとし、列番号をCamYとする。第1エンコーダー12から求められるワークの第1方向9の位置をCnvXとする。第1方向9において補正前のワークの位置をRbXbとし、補正後のワークの位置をRbXaとする。RbXa=RbXb+FX(CamX、CamY、CnvX)で示される。第2方向19において補正前のワークの位置をRbYbとし、補正後のワークの位置をRbYaとする。RbYa=RbYb+FY(CamX、CamY、CnvX)で示される。次にステップS14に移行する。
ステップS14ではワークへアクチュエーター17が移動する。ロボット制御部37は補正後の(RbXa、RbYa)の座標へアクチュエーター17を移動させる。次にステップS15に移行する。
ステップS15ではアクチュエーター17が作業をする。例えば、アクチュエーター17がワークをピックアップする。このように、ロボット15はワークの位置情報を補正値で補正し、補正したワークの位置情報を用いてワークに対する作業を行う。
図10はステップS12に対応する図である。図10に示すように、対象物としてのワーク46が通過する区画21rを第2検出部42が検出する。例えば、ワーク46が第3行21cかつ第2列21jの区画21rを通過する。
図11はステップS14に対応する図である。図11に示すように、ワーク46はベルト6により搬送されるので、第1方向9に移動する。アクチュエーター17がワーク46に向かって移動する。
アクチュエーター17が移動する目標とするワーク46の位置はベルト6のずれ量が補正されているので、アクチュエーター17は位置精度良くワーク46に到達できる。
このベルトコンベアキャリブレーション方法、ロボットシステム1の構成及びプログラム33によれば、ベルト6に搬送されるマーカー23が所定の区画21rを通過するのが検出される。そして、第2カメラ18がマーカー23を追従する。従って、所定の区画21rを通過するマーカー23が移動する軌跡が測定される。ベルト6は第1エンコーダー12を備え、ベルト6の移動量からマーカー23の位置が推定される。推定されるマーカー23の移動は直線に沿って進行する。一方、測定されたマーカー23の軌跡にはベルト6の蛇行等による影響を含んでいる。測定したマーカー23の軌跡と推定される移動の軌跡との差が補正値として記憶される。
マーカー23に換えて所定の区画21rを通過するワーク46がベルト6に搬送されるとき、ロボット15は補正値を用いてワーク46が移動する軌跡を精度良く推定できる。つまり、ベルト6の蛇行による影響を含んでワーク46の位置を精度良く把握することができる。
マーカー23が移動する軌跡を測定する方法として、ロボット15のアクチュエーター17を使用する方法がある。ベルト6を間欠作動させて、マーカー23をロボット15のアクチュエーター17が接触し、ロボット15がマーカー23の位置を測定する。つまり、ロボット15を3次元測定器として活用することにより、ロボット15がマーカー23の軌跡を測定する。この方法に比べて、第1カメラ13及び第2カメラ18を活用する方法は、ベルト6を連続駆動しながらマーカー23の位置を測定できるので生産性良く、補正値を算出できる。従って、ベルト6のたわみ等による蛇行を効率的に測定する方法を提供することができる。
このロボット制御方法によれば、補正値を用いてワーク46の位置を補正する為、ロボット15はワーク46の位置を精度良く推定する。従って、ロボット15は位置精度良く認識しているワーク46に対して作業するため、予定した作業を品質良くできる。
第2実施形態
前記第1実施形態では第1撮影領域21を通過した区画21rの行列と第2方向19の位置により補正の近似式を算出した。第1方向9の位置を複数の区画に区切って各区画における補正値を算出しても良い。
図12に示すように、第1方向9においてロボット15がアクチュエーター17を移動できる動作範囲49が7つの区画に分けられる。各動作範囲49は第1区画49a~第7区画49gで構成される。ステップS5では撮影範囲である第2撮影領域22の中心からの位置ずれの各区画における平均値のデータを補正値算出部41が算出する。位置ずれの平均値のデータはベルト測定データ34の一部としてメモリー25に記憶される。
メモリー25のべルト測定データ34には、第1撮影領域21の各区画21rにおける第1区画49a~第7区画49gの平均値のデータの表が記憶される。この表における平均値のデータが補正値となる。平均値のデータの表には第1撮影領域21の49の各区画21rを通過したマーカー23における補正値が設定されている。第1区画49a~第7区画49gの区画をCnvLとする。第1方向9のずれ量の補正値のパラメーターはCamX、CamY、CnvLである。第2方向19のずれ量のパラメーターもCamX、CamY、CnvLである。
図13に示すように、ベルト6によりワーク46が搬送される。ステップS12にて第1撮影領域21の区画21rのうちワーク46が通過する区画21rを第2検出部42が検出する。ステップS13ではワーク46が通過する第1撮影領域21の区画21rに対応する補正値を位置補正演算部43がメモリー25から取得する。メモリー25には補正値のデータの表が記憶されている。
ワーク位置演算部44はベルト6が蛇行していないときのワークの位置を第1エンコーダー12の出力から算出する。位置補正演算部43はCnvLに対応する補正値を用いてワーク46が位置する座標を補正する。例えば、ワーク46が第4区画49dの区画内にいるとき、位置補正演算部43は表から第4区画49dにおける補正値を参照する。ステップS14ではワーク46へアクチュエーター17が移動する。ステップS15ではアクチュエーター17が作業をする。従って、補正値を表にして記憶してもベルト6のたわみ等による蛇行を効率的に測定するベルトコンベアキャリブレーション方法及び補正値を用いてロボット15が作業するロボット制御方法を提供することができる。
3…ベルトコンベア、6…ベルト、13…第1カメラ、15…ロボット、15b…制御部としての制御装置、15c…アーム、17…ハンドとしてのアクチュエーター、18…第2カメラ、21…撮影領域としての第1撮影領域、23…マーカー、24…コンピューターとしてのCPU、25…記憶部としてのメモリー、33…プログラム、37…動作制御手段としてのロボット制御部、39…第1検出手段としての第1検出部、41…補正値算出手段としての補正値算出部、42…第2検出手段としての第2検出部、43…補正手段としての位置補正演算部、46…対象物としてのワーク。

Claims (6)

  1. ベルトコンベアのベルトがマーカーを搬送し、
    第1カメラが前記マーカーを撮影し、
    前記第1カメラの撮影画像から前記第1カメラの撮影領域を分割した複数の区画のうちの1つの区画を通過する前記マーカーを検出し、
    ロボットが第2カメラを移動することで、検出した前記マーカーを前記第2カメラが追従して撮影し、
    前記ベルトの搬送量から推定される前記マーカーの位置と追従して撮影された前記マーカーの画像から検出する前記マーカーの位置との差である補正値を算出して記憶することを特徴とするベルトコンベアキャリブレーション方法。
  2. 請求項1に記載のベルトコンベアキャリブレーション方法であって、
    前記複数の区画のすべての区画の各区画において通過する前記マーカーを前記第2カメラが追従して撮影し、前記補正値を算出することを特徴とするベルトコンベアキャリブレーション方法。
  3. 請求項2に記載のベルトコンベアキャリブレーション方法であって、
    前記複数の区画の数は、作業者によって変更できることを特徴とするベルトコンベアキャリブレーション方法。
  4. 請求項1~3のいずれか一項に記載のベルトコンベアキャリブレーション方法を用いて前記補正値を算出して記憶部に記憶し、
    前記ベルト上の対象物に前記ロボットが作業を行うとき、前記第1カメラが前記対象物を撮影し、
    前記複数の区画のうち前記対象物が通過する区画を検出し、
    前記対象物が通過する区画に対応する前記補正値を前記記憶部から取得し、
    前記ロボットは前記対象物の位置情報を前記補正値で補正し、補正した前記対象物の位置情報を用いて前記対象物に対する作業を行うことを特徴とするロボット制御方法。
  5. 搬送用のベルトを有し、マーカー及び対象物を搬送するベルトコンベアと、
    動作範囲に前記ベルトが含まれるロボットと、
    前記ベルト上の前記マーカー及び前記対象物を撮影する第1カメラと、
    前記ロボットのアームまたはハンドに取付けられ、前記ベルト上の前記マーカーを追従して撮影する第2カメラと、
    前記ロボットの動作を制御し、記憶部を有する制御部と、を備え、
    前記制御部は、
    前記第1カメラの撮影領域を分割した複数の区画のうちの1つの区画を通過する前記マーカーを検出し、
    前記ベルトの搬送量から推定される前記マーカーの位置と追従して撮影された前記マーカーの画像から検出する前記マーカーの位置との差である補正値を算出して前記記憶部に記憶し、
    前記ベルト上の前記対象物に対して、前記ロボットが作業を行う際には、
    前記第1カメラに前記対象物を撮影させて、
    前記複数の区画のうち前記対象物が通過する区画を検出し、
    前記対象物が含まれる区画を通過する前記対象物に対応する前記補正値を前記記憶部から取得し、
    前記対象物の位置情報を前記補正値で補正し、補正した前記対象物の位置情報を用いて前記ロボットに、前記対象物に対する作業を行わせることを特徴とするロボットシステム。
  6. ベルトがマーカー及び対象物を搬送するベルトコンベアと、
    動作範囲に前記ベルトが含まれるロボットと、
    前記ベルト上の前記マーカー及び前記対象物を撮影する第1カメラと、
    前記ロボットによって移動され前記ベルト上の前記マーカーを追従して撮影する第2カメラと、
    前記ロボットの動作を制御し、記憶部を有する制御部と、を備えるロボットシステムの前記ロボットの前記制御部が備えるコンピューターを、
    前記第1カメラの撮影領域を分割した複数の区画のうちの1つの区画を通過する前記マーカーを検出する第1検出手段と、
    前記ベルトの搬送量から推定される前記マーカーの位置と追従して撮影された前記マーカーの画像から検出する前記マーカーの位置との差である補正値を算出して記憶する補正値算出手段と、
    前記ベルト上の前記対象物に前記ロボットが作業を行うとき、前記第1カメラによって撮影された前記対象物を含む画像を入力し、前記複数の区画のうち前記対象物が通過する区画を検出する第2検出手段と、
    検出された区画を通過する前記対象物に対応する前記補正値を前記記憶部から取得し、前記対象物の位置情報を前記補正値で補正する補正手段と、
    補正した前記対象物の位置情報を用いて前記対象物に対する作業を前記ロボットに行わせる動作制御手段と、として機能させることを特徴とするプログラム。
JP2020169797A 2020-10-07 2020-10-07 ベルトコンベアキャリブレーション方法、ロボット制御方法、ロボットシステム、プログラム Pending JP2022061700A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020169797A JP2022061700A (ja) 2020-10-07 2020-10-07 ベルトコンベアキャリブレーション方法、ロボット制御方法、ロボットシステム、プログラム
CN202111159312.3A CN114290324B (zh) 2020-10-07 2021-09-30 带式输送机校准方法、机器人控制方法、机器人系统及存储介质
US17/494,916 US20220105641A1 (en) 2020-10-07 2021-10-06 Belt Conveyor Calibration Method, Robot Control Method, and Robot System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020169797A JP2022061700A (ja) 2020-10-07 2020-10-07 ベルトコンベアキャリブレーション方法、ロボット制御方法、ロボットシステム、プログラム

Publications (1)

Publication Number Publication Date
JP2022061700A true JP2022061700A (ja) 2022-04-19

Family

ID=80930965

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020169797A Pending JP2022061700A (ja) 2020-10-07 2020-10-07 ベルトコンベアキャリブレーション方法、ロボット制御方法、ロボットシステム、プログラム

Country Status (3)

Country Link
US (1) US20220105641A1 (ja)
JP (1) JP2022061700A (ja)
CN (1) CN114290324B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078908B2 (en) * 2016-08-12 2018-09-18 Elite Robotics Determination of relative positions

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004253570A (ja) * 2003-02-19 2004-09-09 Yamagata Casio Co Ltd 部品搭載装置、位置ズレ補正方法、及びプログラム
JP2011157197A (ja) * 2010-02-02 2011-08-18 Canon Inc 記録装置および搬送制御方法
JP2012187651A (ja) * 2011-03-09 2012-10-04 Omron Corp 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置
JP5003840B1 (ja) * 2011-10-31 2012-08-15 オムロン株式会社 画像処理装置および画像処理プログラム
JP6210748B2 (ja) * 2013-06-17 2017-10-11 キヤノン株式会社 三次元位置計測装置、及び三次元位置計測装置のキャリブレーションずれ判定方法
JP5948396B2 (ja) * 2014-11-21 2016-07-06 理想科学工業株式会社 画像記録装置の搬送量補正値算出方法
JP6042860B2 (ja) * 2014-12-02 2016-12-14 ファナック株式会社 ロボットを用いて物品を移送する物品移送装置及び物品移送方法
JP2018001393A (ja) * 2016-07-08 2018-01-11 キヤノン株式会社 ロボット装置、ロボット制御方法、プログラム及び記録媒体
US11285609B2 (en) * 2016-11-17 2022-03-29 Fuji Corporation Working position correcting method and working robot
DE102018116413A1 (de) * 2017-07-12 2019-01-17 Fanuc Corporation Robotersystem
JP6869159B2 (ja) * 2017-10-03 2021-05-12 株式会社ダイヘン ロボットシステム
JP6646026B2 (ja) * 2017-10-16 2020-02-14 ファナック株式会社 作業システム、物品に対する作業実施方法、およびロボット
JP6859967B2 (ja) * 2018-02-16 2021-04-14 オムロン株式会社 コンベアトラッキングシステムおよびキャリブレーション方法
CN110948491B (zh) * 2019-12-21 2021-05-18 深圳市华成工业控制股份有限公司 一种基于视觉跟随的工业机器人抓取方法

Also Published As

Publication number Publication date
US20220105641A1 (en) 2022-04-07
CN114290324A (zh) 2022-04-08
CN114290324B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
US10035268B2 (en) Measurement system used for calibrating mechanical parameters of robot
US9857786B2 (en) System and method for aligning a coordinated movement machine reference frame with a measurement system reference frame
JP6235664B2 (ja) ロボットの機構パラメータを校正するために使用される計測装置
JP6426725B2 (ja) 移動可能な対象物体の場所を追跡するためのシステム及び方法
JP4267005B2 (ja) 計測装置及びキャリブレーション方法
US10974393B2 (en) Automation apparatus
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
US8306660B2 (en) Device and a method for restoring positional information of robot
JP2019111640A (ja) 物品搬送装置、ロボットシステムおよび物品搬送方法
EP2894012B1 (en) Work device
US20050273199A1 (en) Robot system
US10507583B2 (en) Robot control device
CN111390901B (zh) 机械臂自动标定方法以及标定装置
US20140156072A1 (en) Apparatus and method for measuring tool center point position of robot
EP2570241A2 (en) Robot system and imaging method
US10513036B2 (en) Calibration system and calibration method
CN104827480A (zh) 机器人系统的自动标定方法
JP2008021092A (ja) ロボットシステムのシミュレーション装置
JP2008296330A (ja) ロボットシミュレーション装置
EP2070664A1 (en) Object processing system
JP2017056503A (ja) 多関節ロボットのたわみを計測するたわみ計測システム
JP2022044608A (ja) ロボットシステム、デバイス製造装置、デバイス製造方法
JP2022061700A (ja) ベルトコンベアキャリブレーション方法、ロボット制御方法、ロボットシステム、プログラム
JP6568172B2 (ja) キャリブレーションを行うロボット制御装置、計測システム及びキャリブレーション方法
JP5572247B2 (ja) 画像歪補正方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210916

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240806