JP2022061700A - ベルトコンベアキャリブレーション方法、ロボット制御方法、ロボットシステム、プログラム - Google Patents
ベルトコンベアキャリブレーション方法、ロボット制御方法、ロボットシステム、プログラム Download PDFInfo
- Publication number
- JP2022061700A JP2022061700A JP2020169797A JP2020169797A JP2022061700A JP 2022061700 A JP2022061700 A JP 2022061700A JP 2020169797 A JP2020169797 A JP 2020169797A JP 2020169797 A JP2020169797 A JP 2020169797A JP 2022061700 A JP2022061700 A JP 2022061700A
- Authority
- JP
- Japan
- Prior art keywords
- belt
- marker
- robot
- camera
- correction value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 239000003550 marker Substances 0.000 claims abstract description 116
- 230000032258 transport Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 description 17
- 238000005452 bending Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000003028 elevating effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41815—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
- G05B19/4182—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell manipulators and conveyor only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Robotics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Control Of Conveyors (AREA)
Abstract
Description
本実施形態では、ロボットシステムとベルトコンベアのキャリブレーション方法及びロボット制御方法との特徴的な例について説明する。
図6にはロボットシステム1のベルトコンベア3のキャリブレーションを行う作業手順が示される。図6において、ステップS1にて作業者がベルト6上にプレート11を設置する。最初は第1列21hにプレート11が撮影されるようにプレート11が配置される。次にステップS2、及びステップS3に移行する。ステップS2及びステップS3は並行して行われる。
図9にはロボットシステム1のロボット15がベルト6により搬送されるワークに対して作業を行う作業手順が示される。
前記第1実施形態では第1撮影領域21を通過した区画21rの行列と第2方向19の位置により補正の近似式を算出した。第1方向9の位置を複数の区画に区切って各区画における補正値を算出しても良い。
Claims (6)
- ベルトコンベアのベルトがマーカーを搬送し、
第1カメラが前記マーカーを撮影し、
前記第1カメラの撮影画像から前記第1カメラの撮影領域を分割した複数の区画のうちの1つの区画を通過する前記マーカーを検出し、
ロボットが第2カメラを移動することで、検出した前記マーカーを前記第2カメラが追従して撮影し、
前記ベルトの搬送量から推定される前記マーカーの位置と追従して撮影された前記マーカーの画像から検出する前記マーカーの位置との差である補正値を算出して記憶することを特徴とするベルトコンベアキャリブレーション方法。 - 請求項1に記載のベルトコンベアキャリブレーション方法であって、
前記複数の区画のすべての区画の各区画において通過する前記マーカーを前記第2カメラが追従して撮影し、前記補正値を算出することを特徴とするベルトコンベアキャリブレーション方法。 - 請求項2に記載のベルトコンベアキャリブレーション方法であって、
前記複数の区画の数は、作業者によって変更できることを特徴とするベルトコンベアキャリブレーション方法。 - 請求項1~3のいずれか一項に記載のベルトコンベアキャリブレーション方法を用いて前記補正値を算出して記憶部に記憶し、
前記ベルト上の対象物に前記ロボットが作業を行うとき、前記第1カメラが前記対象物を撮影し、
前記複数の区画のうち前記対象物が通過する区画を検出し、
前記対象物が通過する区画に対応する前記補正値を前記記憶部から取得し、
前記ロボットは前記対象物の位置情報を前記補正値で補正し、補正した前記対象物の位置情報を用いて前記対象物に対する作業を行うことを特徴とするロボット制御方法。 - 搬送用のベルトを有し、マーカー及び対象物を搬送するベルトコンベアと、
動作範囲に前記ベルトが含まれるロボットと、
前記ベルト上の前記マーカー及び前記対象物を撮影する第1カメラと、
前記ロボットのアームまたはハンドに取付けられ、前記ベルト上の前記マーカーを追従して撮影する第2カメラと、
前記ロボットの動作を制御し、記憶部を有する制御部と、を備え、
前記制御部は、
前記第1カメラの撮影領域を分割した複数の区画のうちの1つの区画を通過する前記マーカーを検出し、
前記ベルトの搬送量から推定される前記マーカーの位置と追従して撮影された前記マーカーの画像から検出する前記マーカーの位置との差である補正値を算出して前記記憶部に記憶し、
前記ベルト上の前記対象物に対して、前記ロボットが作業を行う際には、
前記第1カメラに前記対象物を撮影させて、
前記複数の区画のうち前記対象物が通過する区画を検出し、
前記対象物が含まれる区画を通過する前記対象物に対応する前記補正値を前記記憶部から取得し、
前記対象物の位置情報を前記補正値で補正し、補正した前記対象物の位置情報を用いて前記ロボットに、前記対象物に対する作業を行わせることを特徴とするロボットシステム。 - ベルトがマーカー及び対象物を搬送するベルトコンベアと、
動作範囲に前記ベルトが含まれるロボットと、
前記ベルト上の前記マーカー及び前記対象物を撮影する第1カメラと、
前記ロボットによって移動され前記ベルト上の前記マーカーを追従して撮影する第2カメラと、
前記ロボットの動作を制御し、記憶部を有する制御部と、を備えるロボットシステムの前記ロボットの前記制御部が備えるコンピューターを、
前記第1カメラの撮影領域を分割した複数の区画のうちの1つの区画を通過する前記マーカーを検出する第1検出手段と、
前記ベルトの搬送量から推定される前記マーカーの位置と追従して撮影された前記マーカーの画像から検出する前記マーカーの位置との差である補正値を算出して記憶する補正値算出手段と、
前記ベルト上の前記対象物に前記ロボットが作業を行うとき、前記第1カメラによって撮影された前記対象物を含む画像を入力し、前記複数の区画のうち前記対象物が通過する区画を検出する第2検出手段と、
検出された区画を通過する前記対象物に対応する前記補正値を前記記憶部から取得し、前記対象物の位置情報を前記補正値で補正する補正手段と、
補正した前記対象物の位置情報を用いて前記対象物に対する作業を前記ロボットに行わせる動作制御手段と、として機能させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020169797A JP2022061700A (ja) | 2020-10-07 | 2020-10-07 | ベルトコンベアキャリブレーション方法、ロボット制御方法、ロボットシステム、プログラム |
CN202111159312.3A CN114290324B (zh) | 2020-10-07 | 2021-09-30 | 带式输送机校准方法、机器人控制方法、机器人系统及存储介质 |
US17/494,916 US20220105641A1 (en) | 2020-10-07 | 2021-10-06 | Belt Conveyor Calibration Method, Robot Control Method, and Robot System |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020169797A JP2022061700A (ja) | 2020-10-07 | 2020-10-07 | ベルトコンベアキャリブレーション方法、ロボット制御方法、ロボットシステム、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022061700A true JP2022061700A (ja) | 2022-04-19 |
Family
ID=80930965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020169797A Pending JP2022061700A (ja) | 2020-10-07 | 2020-10-07 | ベルトコンベアキャリブレーション方法、ロボット制御方法、ロボットシステム、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220105641A1 (ja) |
JP (1) | JP2022061700A (ja) |
CN (1) | CN114290324B (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10078908B2 (en) * | 2016-08-12 | 2018-09-18 | Elite Robotics | Determination of relative positions |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004253570A (ja) * | 2003-02-19 | 2004-09-09 | Yamagata Casio Co Ltd | 部品搭載装置、位置ズレ補正方法、及びプログラム |
JP2011157197A (ja) * | 2010-02-02 | 2011-08-18 | Canon Inc | 記録装置および搬送制御方法 |
JP2012187651A (ja) * | 2011-03-09 | 2012-10-04 | Omron Corp | 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置 |
JP5003840B1 (ja) * | 2011-10-31 | 2012-08-15 | オムロン株式会社 | 画像処理装置および画像処理プログラム |
JP6210748B2 (ja) * | 2013-06-17 | 2017-10-11 | キヤノン株式会社 | 三次元位置計測装置、及び三次元位置計測装置のキャリブレーションずれ判定方法 |
JP5948396B2 (ja) * | 2014-11-21 | 2016-07-06 | 理想科学工業株式会社 | 画像記録装置の搬送量補正値算出方法 |
JP6042860B2 (ja) * | 2014-12-02 | 2016-12-14 | ファナック株式会社 | ロボットを用いて物品を移送する物品移送装置及び物品移送方法 |
JP2018001393A (ja) * | 2016-07-08 | 2018-01-11 | キヤノン株式会社 | ロボット装置、ロボット制御方法、プログラム及び記録媒体 |
US11285609B2 (en) * | 2016-11-17 | 2022-03-29 | Fuji Corporation | Working position correcting method and working robot |
DE102018116413A1 (de) * | 2017-07-12 | 2019-01-17 | Fanuc Corporation | Robotersystem |
JP6869159B2 (ja) * | 2017-10-03 | 2021-05-12 | 株式会社ダイヘン | ロボットシステム |
JP6646026B2 (ja) * | 2017-10-16 | 2020-02-14 | ファナック株式会社 | 作業システム、物品に対する作業実施方法、およびロボット |
JP6859967B2 (ja) * | 2018-02-16 | 2021-04-14 | オムロン株式会社 | コンベアトラッキングシステムおよびキャリブレーション方法 |
CN110948491B (zh) * | 2019-12-21 | 2021-05-18 | 深圳市华成工业控制股份有限公司 | 一种基于视觉跟随的工业机器人抓取方法 |
-
2020
- 2020-10-07 JP JP2020169797A patent/JP2022061700A/ja active Pending
-
2021
- 2021-09-30 CN CN202111159312.3A patent/CN114290324B/zh active Active
- 2021-10-06 US US17/494,916 patent/US20220105641A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220105641A1 (en) | 2022-04-07 |
CN114290324A (zh) | 2022-04-08 |
CN114290324B (zh) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10035268B2 (en) | Measurement system used for calibrating mechanical parameters of robot | |
US9857786B2 (en) | System and method for aligning a coordinated movement machine reference frame with a measurement system reference frame | |
JP6235664B2 (ja) | ロボットの機構パラメータを校正するために使用される計測装置 | |
JP6426725B2 (ja) | 移動可能な対象物体の場所を追跡するためのシステム及び方法 | |
JP4267005B2 (ja) | 計測装置及びキャリブレーション方法 | |
US10974393B2 (en) | Automation apparatus | |
JP5815761B2 (ja) | 視覚センサのデータ作成システム及び検出シミュレーションシステム | |
US8306660B2 (en) | Device and a method for restoring positional information of robot | |
JP2019111640A (ja) | 物品搬送装置、ロボットシステムおよび物品搬送方法 | |
EP2894012B1 (en) | Work device | |
US20050273199A1 (en) | Robot system | |
US10507583B2 (en) | Robot control device | |
CN111390901B (zh) | 机械臂自动标定方法以及标定装置 | |
US20140156072A1 (en) | Apparatus and method for measuring tool center point position of robot | |
EP2570241A2 (en) | Robot system and imaging method | |
US10513036B2 (en) | Calibration system and calibration method | |
CN104827480A (zh) | 机器人系统的自动标定方法 | |
JP2008021092A (ja) | ロボットシステムのシミュレーション装置 | |
JP2008296330A (ja) | ロボットシミュレーション装置 | |
EP2070664A1 (en) | Object processing system | |
JP2017056503A (ja) | 多関節ロボットのたわみを計測するたわみ計測システム | |
JP2022044608A (ja) | ロボットシステム、デバイス製造装置、デバイス製造方法 | |
JP2022061700A (ja) | ベルトコンベアキャリブレーション方法、ロボット制御方法、ロボットシステム、プログラム | |
JP6568172B2 (ja) | キャリブレーションを行うロボット制御装置、計測システム及びキャリブレーション方法 | |
JP5572247B2 (ja) | 画像歪補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210916 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20211108 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240806 |