DE102020109056A1 - Verfahren und steuerungssystem zum aktualisieren einer kamerakalibrierung zur robotersteuerung - Google Patents

Verfahren und steuerungssystem zum aktualisieren einer kamerakalibrierung zur robotersteuerung Download PDF

Info

Publication number
DE102020109056A1
DE102020109056A1 DE102020109056.0A DE102020109056A DE102020109056A1 DE 102020109056 A1 DE102020109056 A1 DE 102020109056A1 DE 102020109056 A DE102020109056 A DE 102020109056A DE 102020109056 A1 DE102020109056 A1 DE 102020109056A1
Authority
DE
Germany
Prior art keywords
calibration
camera
robot
image set
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020109056.0A
Other languages
German (de)
English (en)
Inventor
Russell Islam
Xutao Ye
Rosen Diankov
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mujin Inc
Original Assignee
Mujin Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mujin Inc filed Critical Mujin Inc
Publication of DE102020109056A1 publication Critical patent/DE102020109056A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1656—Program controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Program controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1679—Program controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39008—Fixed camera detects reference pattern held by end effector
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
DE102020109056.0A 2019-04-12 2020-04-01 Verfahren und steuerungssystem zum aktualisieren einer kamerakalibrierung zur robotersteuerung Pending DE102020109056A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/383,389 US10576636B1 (en) 2019-04-12 2019-04-12 Method and control system for and updating camera calibration for robot control
US16/383,389 2019-04-12

Publications (1)

Publication Number Publication Date
DE102020109056A1 true DE102020109056A1 (de) 2020-10-15

Family

ID=67918888

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020109056.0A Pending DE102020109056A1 (de) 2019-04-12 2020-04-01 Verfahren und steuerungssystem zum aktualisieren einer kamerakalibrierung zur robotersteuerung

Country Status (4)

Country Link
US (4) US10576636B1 (https=)
JP (3) JP6737520B1 (https=)
CN (3) CN111203915B (https=)
DE (1) DE102020109056A1 (https=)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019005547A1 (en) * 2017-06-28 2019-01-03 Panasonic Intellectual Property Corporation Of America MOBILE BODY CONTROL APPARATUS, MOBILE BODY CONTROL METHOD, AND LEARNING METHOD
CN109685856A (zh) * 2018-12-25 2019-04-26 上海联影智能医疗科技有限公司 医学扫描物体运动幅度计算方法、装置、设备和存储介质
US10399227B1 (en) 2019-03-29 2019-09-03 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
CN111890371B (zh) * 2019-03-29 2021-05-04 牧今科技 验证和更新机器人控制用校准信息的方法和控制系统
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US10576636B1 (en) * 2019-04-12 2020-03-03 Mujin, Inc. Method and control system for and updating camera calibration for robot control
US10766141B1 (en) 2019-05-09 2020-09-08 Mujin, Inc. Robotic system with a coordinated transfer mechanism
WO2021158773A1 (en) 2020-02-06 2021-08-12 Berkshire Grey, Inc. Systems and methods for camera calibration with a fiducial of unknown position on an articulated arm of a programmable motion device
DE102020212279B3 (de) * 2020-09-29 2021-10-28 Myestro Interactive Gmbh Vorrichtung zum Kalibrieren einer räumlichen Lage eines Zentrums einer Eintrittspupille einer Kamera, Kalibrierverfahren hierfür sowie System zur Bestimmung relativer Position von Zentren von Eintrittspupillen mindestens zweier Kameras, die an einem gemeinsamen Tragrahmen montiert sind, zueinander sowie Bestimmungsverfahren hierfür
CN112754616B (zh) * 2020-12-30 2022-05-10 诺创智能医疗科技(杭州)有限公司 超声定位穿刺系统和存储介质
JP7559580B2 (ja) * 2021-01-28 2024-10-02 セイコーエプソン株式会社 ロボットシステムの制御方法およびロボットシステム
US11931908B2 (en) * 2021-03-16 2024-03-19 Intrinsic Innovation Llc Detecting robotic calibration accuracy discrepancies
WO2022224358A1 (ja) * 2021-04-20 2022-10-27 ファナック株式会社 ロボット
US12544929B2 (en) 2021-07-21 2026-02-10 Mujin, Inc. Robotic system with depth-based processing mechanism and methods for operating the same
CN115570556B (zh) * 2021-07-21 2025-06-17 牧今科技 具有基于深度的处理机制的机器人系统及其操作方法
TWI799310B (zh) * 2022-06-30 2023-04-11 國立清華大學 機器人及機器人手眼校正方法
CN115984389B (zh) * 2023-03-17 2023-06-02 梅卡曼德（北京）机器人科技有限公司 标定方法、系统标定方法、装置和电子设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5086401A (en) * 1990-05-11 1992-02-04 International Business Machines Corporation Image-directed robotic system for precise robotic surgery including redundant consistency checking
US5740328A (en) * 1996-08-12 1998-04-14 The Regents Of The University Of California Apparatus for robotic positional referencing and calibration
JP2005138223A (ja) 2003-11-06 2005-06-02 Fanuc Ltd ロボット用位置データ修正装置
JP3946716B2 (ja) 2004-07-28 2007-07-18 ファナック株式会社 ロボットシステムにおける３次元視覚センサの再校正方法及び装置
JP2006110705A (ja) * 2004-09-15 2006-04-27 Yaskawa Electric Corp ロボットのキャリブレーション方法
JP5453859B2 (ja) * 2009-03-13 2014-03-26 株式会社デンソーウェーブ ロボットシステム
EP2269783A1 (de) 2009-06-30 2011-01-05 Leica Geosystems AG Kalibrierungsverfahren für ein Messsystem
US9393694B2 (en) * 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
US8442790B2 (en) * 2010-12-03 2013-05-14 Qbotix, Inc. Robotic heliostat calibration system and method
US9266241B2 (en) * 2011-03-14 2016-02-23 Matthew E. Trompeter Robotic work object cell calibration system
MX343142B (es) * 2011-09-28 2016-10-26 Universal Robots As Calibracion y programacion de robots.
US9713869B2 (en) * 2012-03-07 2017-07-25 Matthew E. Trompeter Calibration of robot work paths
JP5962394B2 (ja) * 2012-09-28 2016-08-03 株式会社デンソーウェーブ キャリブレーション装置、および撮像装置のキャリブレーション方法
CN103292709B (zh) * 2013-05-24 2015-09-09 深圳市华星光电技术有限公司 测长机日常检测与自动补正方法
JP6335460B2 (ja) * 2013-09-26 2018-05-30 キヤノン株式会社 ロボットシステムの制御装置及び指令値生成方法、並びにロボットシステムの制御方法
JP5897532B2 (ja) * 2013-11-05 2016-03-30 ファナック株式会社 三次元空間に置かれた物品をロボットで取出す装置及び方法
US9549781B2 (en) * 2014-05-30 2017-01-24 The Johns Hopkins University Multi-force sensing surgical instrument and method of use for robotic surgical systems
US9857869B1 (en) * 2014-06-17 2018-01-02 Amazon Technologies, Inc. Data optimization
JP6555351B2 (ja) * 2015-08-21 2019-08-07 株式会社安川電機 処理システム及びロボットの制御方法
US10350755B2 (en) 2016-02-08 2019-07-16 Berkshire Grey, Inc. Systems and methods for providing processing of a variety of objects employing motion planning
CN105773609A (zh) * 2016-03-16 2016-07-20 南京工业大学 一种基于视觉测量及距离误差模型的机器人运动学标定方法
JP2018012184A (ja) * 2016-07-22 2018-01-25 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP6396516B2 (ja) * 2017-01-12 2018-09-26 ファナック株式会社 視覚センサのキャリブレーション装置、方法及びプログラム
US11443441B2 (en) * 2017-02-24 2022-09-13 Brainlab Ag Deep inspiration breath-hold setup using x-ray imaging
WO2018163450A1 (ja) * 2017-03-09 2018-09-13 三菱電機株式会社 ロボット制御装置およびキャリブレーション方法
JP6967715B2 (ja) * 2017-04-18 2021-11-17 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
JP6815924B2 (ja) * 2017-04-19 2021-01-20 トヨタ自動車株式会社 キャリブレーション装置
US11358337B2 (en) * 2017-05-24 2022-06-14 Divergent Technologies, Inc. Robotic assembly of transport structures using on-site additive manufacturing
US10569105B2 (en) * 2017-05-26 2020-02-25 Accuray Incorporated Radiation based treatment beam position calibration and verification
US10576636B1 (en) * 2019-04-12 2020-03-03 Mujin, Inc. Method and control system for and updating camera calibration for robot control

Also Published As

Publication number Publication date
CN115122392A (zh) 2022-09-30
CN110253629A (zh) 2019-09-20
CN111203915B (zh) 2021-02-23
US20200324414A1 (en) 2020-10-15
US20250135649A1 (en) 2025-05-01
US10576636B1 (en) 2020-03-03
JP6737520B1 (ja) 2020-08-12
JP2020183035A (ja) 2020-11-12
US20230182308A1 (en) 2023-06-15
US11571816B2 (en) 2023-02-07
CN111203915A (zh) 2020-05-29
JP2024088632A (ja) 2024-07-02
JP2020172015A (ja) 2020-10-22
US12186918B2 (en) 2025-01-07

Similar Documents

Publication Publication Date Title
DE102020109056A1 (de) Verfahren und steuerungssystem zum aktualisieren einer kamerakalibrierung zur robotersteuerung
DE102020106973B4 (de) Verfahren und Steuerungssystem zum Verifizieren und Aktualisieren einer Kamerakalibrierung zur Robotersteuerung
DE102020127343A1 (de) Verfahren und Steuersystem zum Verifizieren und Aktualisieren von Kalibrierinformationen zur Robotersteuerung
DE102019003334B4 (de) Robotersystem und Steuerverfahren für ein Robotersystem zum Entnehmen von Werkstücken aus loser Schüttung
DE102015015638B4 (de) Vorrichtung und Verfahren zum Übertragen von Artikeln unter Verwendung eines Roboters
DE10113543A1 (de) Bearbeitungswerkzeug
DE602005000987T2 (de) Autofokussystem
DE102018009815A9 (de) Bildgebungsvorrichtung umfassend einen Sichtsensor zum Erfassen des Bildes eines Werkstücks
DE102014016033A1 (de) Vorrichtung und Verfahren zum Aufnehmen von regellos verteilten Gegenständen mit einem Roboter
DE102020127340A1 (de) Verfahren und system zum bestimmen von posen für eine kamerakalibrierung
DE112017007028T5 (de) Positionskontrollvorrichtung und Positionskontrollverfahren
DE10254435B4 (de) Verfahren zur dreidimensionalen Kantenerkennung mit Z-Höhenjustierung
WO2020225229A1 (de) Maschinelles lernen einer objekterkennung mithilfe einer robotergeführten kamera
DE112018007729T5 (de) Maschinelle Lernvorrichtung und mit dieser ausgestattetes Robotersystem
DE102009027848A1 (de) Selbstauslöserfotografiervorrichtung und Selbstauslöserfotografierverfahren, die ein Überprüfen der Anzahl von Personen umfassen
DE102022114864A1 (de) Verfahren und system zur vorrichtungslosen montage einer fahrzeugplattform
DE102020131808A1 (de) Vorrichtung zur Unterstützung von Kalibrierungsvorgängen bei Industriekameras
DE112021007326B4 (de) Abbildungsvorrichtung zur berechnung der dreidimensionalen lage auf der grundlage eines von einem bildsensor aufgenommenen bildes
EP1543471B1 (de) Erfassen und greifen von gegenst nden
DE112021005322B4 (de) Trainingsdaten-Erzeugungsvorrichtung, Maschinen-Lernvorrichtung und Roboter-Gelenkwinkel-Schätzvorrichtung
DE102014100538A1 (de) Verfahren zum Kalibrieren eines Roboters und einer Kamera und System zum Durchführen des Verfahrens
DE102022107959B4 (de) Bildverarbeitungsvorrichtung und Verfahren zur Steuerung dieser
DE3031507A1 (de) Verfahren zur automatisierung von technischen produktionsablaeufen
DE102014114272B4 (de) Verfahren zum Steuern einer durch Bilderfassung gelenkten Roboteranordnung
DE102024206920A1 (de) Verfahren zum Bestimmen einer Greifpose für einen Roboter

Legal Events

Date Code Title Description
R012 Request for examination validly filed