JP2020097084A - ロボットシステムとその調整方法 - Google Patents
ロボットシステムとその調整方法 Download PDFInfo
- Publication number
- JP2020097084A JP2020097084A JP2018236309A JP2018236309A JP2020097084A JP 2020097084 A JP2020097084 A JP 2020097084A JP 2018236309 A JP2018236309 A JP 2018236309A JP 2018236309 A JP2018236309 A JP 2018236309A JP 2020097084 A JP2020097084 A JP 2020097084A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- work
- robot
- image
- timing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40584—Camera, non-contact sensor mounted on wrist, indep from gripper
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40604—Two camera, global vision camera, end effector neighbourhood vision camera
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
Description
この構成により、第2カメラにより取得された画像が画像処理部により処理されることにより、第1カメラとワークとの位置ずれ量が算出される。補正部は、画像処理部において算出された位置ずれ量をロボットの動作速度で除算することにより、時間補正量を算出することができ、算出された時間補正量だけ撮影タイミングをずらすことにより、第1カメラの画角内にワークが適正に収まる位置において撮影が行われるタイミングに、第1カメラによる撮影タイミングを簡易かつ精度よく補正することができる。
この構成により、ロボットの作動に伴って第1カメラが移動させられ、第1カメラの画角内をワークが通過する瞬間に第1カメラおよび第2カメラによる撮影が行われる。
この構成により、ロボットの作動に伴ってワークが移動させられ、ロボットの被設置面に対して固定されている第1カメラの画角内をワークが通過する瞬間に第1カメラおよび第2カメラによる撮影が行われる。
本実施形態に係るロボットシステム1は、図1に示されるように、ワークWに対して作業を行うロボット2と、ロボット2を制御する制御装置3と、ロボット2の動作によりワークWに対して相対移動させられつつ、ワークWを撮影する第1カメラ4と、第1カメラ4による撮影と同期して、第1カメラ4とワークWとの相対位置関係を表す画像を取得可能な第2カメラ5とを備えている。
ロボット2がワークWに対して行う処理は、ワークWのハンドリング等任意の処理でよい。ワークWのハンドリングの場合、ロボット2は、先端に取り付けた図示しないハンドによってワークWを把持する前に、ワークWの姿勢を把握する必要がある。
例えば、第1カメラ4によるワークWの撮影の瞬間に、第1カメラ4がワークWよりもロボット2の動作方向前方に位置ずれ量Aだけずれている場合には、補正部32は、位置ずれ量Aとロボット2の動作速度Vとにより、式(1)によって算出される時間補正量ΔTだけ第1カメラ4による撮影時刻を早める補正を行う。
ΔT=A/V (1)
本実施形態に係るロボットシステム1において、第1カメラ4によるワークWの撮影タイミングを調整するには、図6に示されるように、まず、第1カメラ4および第2カメラ5による撮影タイミングを初期設定する(ステップS1)。
この状態で、第2カメラ5により取得された画像G3を画像処理部31により処理して、第1カメラ4による撮影時における第1カメラ4とワークWとの位置ずれ量Aを検出する(ステップS4)。
ステップS5において、画像処理部31により検出された位置ずれ量Aが所定の閾値以下である場合には、補正を行うことなく終了する。
また、第2カメラ5として、ロボット2の外部に固定された場合を例示したが、これに代えて、第1カメラ4とワークWとの相対位置関係を表す画像G3を取得可能であれば、任意の位置に取り付けられていてもよい。例えば、第2カメラ5を第1カメラ4とともにロボット2に取り付けてもよい。この場合には、第1カメラ4と第2カメラ5との相対位置関係が既知であれば、第2カメラ5としては、ワークWの撮影時に第1カメラ4を画角内に収めなくてもよい。
2 ロボット
3 制御装置
4 第1カメラ
5 第2カメラ
31 画像処理部
32 補正部
A 位置ずれ量
G3 画像
ΔT 時間補正量
W ワーク
Claims (6)
- ワークに対して作業を行うロボットと、
該ロボットを制御する制御装置と、
前記ロボットの動作により前記ワークに対して相対移動させられつつ、前記ワークを撮影する第1カメラと、
該第1カメラによる撮影と同期して、該第1カメラと前記ワークとの相対位置関係を表す画像を取得可能な第2カメラとを備え、
前記制御装置が、前記第2カメラにより取得された前記画像に基づいて、前記第1カメラの画角内に前記ワークが適正に収まる位置において撮影が行われるタイミングに、前記第1カメラによる撮影タイミングを補正する補正部を備えるロボットシステム。 - ワークに対して作業を行うロボットと、
該ロボットを制御する制御装置と、
前記ロボットの動作により前記ワークに対して相対移動させられつつ、前記ワークを撮影する第1カメラとを備え、
前記制御装置が、前記第1カメラによる撮影と同期して、第2カメラにより取得された前記第1カメラと前記ワークとの相対位置関係を表す画像に基づいて、前記第1カメラの画角内に前記ワークが適正に収まる位置において撮影が行われるタイミングに、前記第1カメラによる撮影タイミングを補正する補正部を備えるロボットシステム。 - 前記制御装置が、前記画像を処理して前記第1カメラと前記ワークとの位置ずれ量を算出する画像処理部を備え、
前記補正部が、前記画像処理部により算出された前記位置ずれ量と前記ロボットの動作速度とに基づいて時間補正量を算出する請求項1または請求項2に記載のロボットシステム。 - 前記第1カメラが前記ロボットに取り付けられている請求項1から請求項3のいずれかに記載のロボットシステム。
- 前記第1カメラが、前記ロボットの被設置面に対して固定され、
前記ロボットが前記ワークをハンドリングする請求項1から請求項3のいずれかに記載のロボットシステム。 - ロボットの動作によりワークに対する第1カメラの相対位置を変化させつつ、該第1カメラによって前記ワークを撮影し、
前記第1カメラによる撮影と同期して、該第1カメラと前記ワークとの相対位置関係を表す画像を第2カメラにより取得し、
該第2カメラにより取得された前記画像に基づいて、前記第1カメラの画角内に前記ワークが適正に収まる位置において撮影が行われるタイミングに、前記第1カメラによる撮影タイミングを補正するロボットシステムの調整方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018236309A JP6878391B2 (ja) | 2018-12-18 | 2018-12-18 | ロボットシステムとその調整方法 |
US16/676,764 US11192254B2 (en) | 2018-12-18 | 2019-11-07 | Robot system and adjustment method therefor |
DE102019134115.9A DE102019134115B4 (de) | 2018-12-18 | 2019-12-12 | Robotersystem und Einstellverfahren dafür |
CN201911280777.7A CN111331578A (zh) | 2018-12-18 | 2019-12-13 | 机器人系统及其调整方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018236309A JP6878391B2 (ja) | 2018-12-18 | 2018-12-18 | ロボットシステムとその調整方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020097084A true JP2020097084A (ja) | 2020-06-25 |
JP6878391B2 JP6878391B2 (ja) | 2021-05-26 |
Family
ID=70859141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018236309A Active JP6878391B2 (ja) | 2018-12-18 | 2018-12-18 | ロボットシステムとその調整方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11192254B2 (ja) |
JP (1) | JP6878391B2 (ja) |
CN (1) | CN111331578A (ja) |
DE (1) | DE102019134115B4 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220176564A1 (en) | 2020-12-04 | 2022-06-09 | GM Global Technology Operations LLC | Accurate position control for fixtureless assembly |
US20230092863A1 (en) * | 2021-09-17 | 2023-03-23 | GM Global Technology Operations LLC | Calibration system comprising an end effector with an adjustable member and a measurement instrument for determining a location of the adjustable member, and a method of operating the same |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4402053A (en) * | 1980-09-25 | 1983-08-30 | Board Of Regents For Education For The State Of Rhode Island | Estimating workpiece pose using the feature points method |
JPH07237158A (ja) * | 1993-12-28 | 1995-09-12 | Hitachi Ltd | 位置・姿勢検出方法及びその装置並びにフレキシブル生産システム |
JP2004249391A (ja) * | 2003-02-19 | 2004-09-09 | Fanuc Ltd | ワーク搬送装置 |
JP2008083520A (ja) * | 2006-09-28 | 2008-04-10 | Fujifilm Corp | 露光装置およびアライメント方法 |
JP2012245568A (ja) * | 2011-05-25 | 2012-12-13 | Ihi Corp | 運動予測制御装置と方法 |
JP2014213348A (ja) * | 2013-04-25 | 2014-11-17 | 株式会社アマダ | 画像処理システム及びその方法 |
JP2015035715A (ja) * | 2013-08-08 | 2015-02-19 | キヤノン株式会社 | 画像撮像方法及び画像撮像装置 |
WO2017033350A1 (ja) * | 2015-08-25 | 2017-03-02 | 川崎重工業株式会社 | 遠隔操作ロボットシステム及びその運転方法 |
JP2017162133A (ja) * | 2016-03-09 | 2017-09-14 | キヤノン株式会社 | 撮像システム、計測システム、生産システム、撮像方法、プログラム、記録媒体および計測方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2686685B2 (ja) * | 1991-11-14 | 1997-12-08 | 株式会社エイ・ティ・アール通信システム研究所 | ロボットによる物体操作のための能動的カメラ探索装置 |
JP2008183690A (ja) * | 2007-01-31 | 2008-08-14 | Nachi Fujikoshi Corp | ロボット制御装置及びロボット制御システム |
JP4347386B2 (ja) * | 2008-01-23 | 2009-10-21 | ファナック株式会社 | 加工用ロボットプラグラムの作成装置 |
JP2009220184A (ja) | 2008-03-13 | 2009-10-01 | Nachi Fujikoshi Corp | 産業用ロボットの出力トルク制限回路 |
JP5203037B2 (ja) | 2008-05-09 | 2013-06-05 | アズビル株式会社 | 教示装置及び教示方法 |
US8352076B2 (en) * | 2009-06-03 | 2013-01-08 | Canon Kabushiki Kaisha | Robot with camera |
JP4837116B2 (ja) * | 2010-03-05 | 2011-12-14 | ファナック株式会社 | 視覚センサを備えたロボットシステム |
EP2708334B1 (en) | 2011-05-12 | 2020-05-06 | IHI Corporation | Device and method for controlling prediction of motion |
TWI490446B (zh) * | 2013-04-10 | 2015-07-01 | 致茂電子股份有限公司 | 發光模組檢測裝置以及發光模組檢測方法 |
JP6188440B2 (ja) * | 2013-06-17 | 2017-08-30 | キヤノン株式会社 | ロボット装置及びロボット制御方法 |
JP6073474B2 (ja) * | 2013-06-28 | 2017-02-01 | シャープ株式会社 | 位置検出装置 |
TW201603892A (zh) * | 2014-04-30 | 2016-02-01 | 鴻海精密工業股份有限公司 | 點膠裝置及點膠方法 |
CN104482924B (zh) * | 2014-12-11 | 2016-11-09 | 中国航天空气动力技术研究院 | 旋成体目标位姿视觉测量方法 |
CN204255295U (zh) * | 2014-12-15 | 2015-04-08 | 上海工业自动化仪表研究院 | 一种冰箱铰链尺寸采集装置 |
JP6878781B2 (ja) * | 2016-06-30 | 2021-06-02 | オムロン株式会社 | 検査システム |
JP6802961B2 (ja) | 2016-07-07 | 2020-12-23 | 旭サナック株式会社 | ロボットの動作制御データ生成方法、動作制御データ生成装置、及び、動作制御データ生成プログラム |
JP6741538B2 (ja) | 2016-09-28 | 2020-08-19 | 川崎重工業株式会社 | ロボット、ロボットの制御装置、及び、ロボットの位置教示方法 |
JP6964989B2 (ja) | 2017-02-09 | 2021-11-10 | キヤノン株式会社 | 制御方法、ロボットシステム、物品の製造方法、プログラム、及び記録媒体 |
JP7032050B2 (ja) * | 2017-03-14 | 2022-03-08 | 株式会社ディスコ | レーザー加工装置 |
CN108965690B (zh) | 2017-05-17 | 2021-02-26 | 欧姆龙株式会社 | 图像处理系统、图像处理装置及计算机可读存储介质 |
-
2018
- 2018-12-18 JP JP2018236309A patent/JP6878391B2/ja active Active
-
2019
- 2019-11-07 US US16/676,764 patent/US11192254B2/en active Active
- 2019-12-12 DE DE102019134115.9A patent/DE102019134115B4/de active Active
- 2019-12-13 CN CN201911280777.7A patent/CN111331578A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4402053A (en) * | 1980-09-25 | 1983-08-30 | Board Of Regents For Education For The State Of Rhode Island | Estimating workpiece pose using the feature points method |
JPH07237158A (ja) * | 1993-12-28 | 1995-09-12 | Hitachi Ltd | 位置・姿勢検出方法及びその装置並びにフレキシブル生産システム |
JP2004249391A (ja) * | 2003-02-19 | 2004-09-09 | Fanuc Ltd | ワーク搬送装置 |
JP2008083520A (ja) * | 2006-09-28 | 2008-04-10 | Fujifilm Corp | 露光装置およびアライメント方法 |
JP2012245568A (ja) * | 2011-05-25 | 2012-12-13 | Ihi Corp | 運動予測制御装置と方法 |
JP2014213348A (ja) * | 2013-04-25 | 2014-11-17 | 株式会社アマダ | 画像処理システム及びその方法 |
JP2015035715A (ja) * | 2013-08-08 | 2015-02-19 | キヤノン株式会社 | 画像撮像方法及び画像撮像装置 |
WO2017033350A1 (ja) * | 2015-08-25 | 2017-03-02 | 川崎重工業株式会社 | 遠隔操作ロボットシステム及びその運転方法 |
JP2017162133A (ja) * | 2016-03-09 | 2017-09-14 | キヤノン株式会社 | 撮像システム、計測システム、生産システム、撮像方法、プログラム、記録媒体および計測方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200189111A1 (en) | 2020-06-18 |
US11192254B2 (en) | 2021-12-07 |
DE102019134115A1 (de) | 2020-06-18 |
JP6878391B2 (ja) | 2021-05-26 |
DE102019134115B4 (de) | 2023-02-23 |
CN111331578A (zh) | 2020-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5448069B2 (ja) | ロボット制御装置及び方法 | |
JP5233601B2 (ja) | ロボットシステム、ロボット制御装置およびロボット制御方法 | |
JP2003211381A (ja) | ロボット制御装置 | |
JP2011201007A (ja) | 視覚センサを備えたロボットシステム | |
JP2014124765A (ja) | 自動ねじ締め装置 | |
US20220258352A1 (en) | Robot hand-eye calibration method and apparatus, computing device, medium and product | |
JP6878391B2 (ja) | ロボットシステムとその調整方法 | |
JP2003211382A (ja) | ロボット制御装置 | |
JP5509859B2 (ja) | ロボット制御装置及び方法 | |
JP6605611B2 (ja) | ロボットシステム | |
JP2006224291A (ja) | ロボットシステム | |
JP2019164338A5 (ja) | ||
JP6752977B2 (ja) | 部品装着機及び部品装着方法 | |
JP2017050376A (ja) | 電子部品実装装置及び電子部品実装方法 | |
JP5740648B2 (ja) | 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム | |
WO2021166818A1 (ja) | ロボットシステム | |
JP6708142B2 (ja) | ロボットの制御装置 | |
JP6735208B2 (ja) | キャリブレーション治具、板金搬入システム、及びキャリブレーション方法 | |
JP7205569B2 (ja) | ロボットシステム、作業方法およびピックアップ方法 | |
JPS63251192A (ja) | 手先視覚付ロボットの制御方法 | |
WO2023157477A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7387351B2 (ja) | レンズ装置、カメラおよび制御方法、プログラム | |
JP2010264560A (ja) | ロボットの干渉防止方法 | |
US10649312B2 (en) | Lens device, imaging apparatus, lens driving method, and lens driving program | |
JP2021030391A (ja) | 姿勢制御装置、ワーク処理装置、および、ワークの姿勢制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200513 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210428 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6878391 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |