DE102021211185B4 - Vorrichtung und Verfahren zum Steuern eines Roboters - Google Patents

Vorrichtung und Verfahren zum Steuern eines Roboters Download PDF

Info

Publication number
DE102021211185B4
DE102021211185B4 DE102021211185.8A DE102021211185A DE102021211185B4 DE 102021211185 B4 DE102021211185 B4 DE 102021211185B4 DE 102021211185 A DE102021211185 A DE 102021211185A DE 102021211185 B4 DE102021211185 B4 DE 102021211185B4
Authority
DE
Germany
Prior art keywords
feature points
robot
pose
coordinates
descriptor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102021211185.8A
Other languages
German (de)
English (en)
Other versions
DE102021211185A1 (de
Inventor
Andras Gabor Kupcsik
Meng Guo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102021211185.8A priority Critical patent/DE102021211185B4/de
Priority to US17/935,879 priority patent/US20230107993A1/en
Priority to JP2022160018A priority patent/JP2023055217A/ja
Priority to CN202211220363.7A priority patent/CN115933455A/zh
Publication of DE102021211185A1 publication Critical patent/DE102021211185A1/de
Application granted granted Critical
Publication of DE102021211185B4 publication Critical patent/DE102021211185B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1628—Program controls characterised by the control loop
    • B25J9/163—Program controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1602—Program controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39546—Map human grasps to manipulator grasps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40116—Learn by operator observation, symbiosis, show, watch

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
DE102021211185.8A 2021-10-05 2021-10-05 Vorrichtung und Verfahren zum Steuern eines Roboters Active DE102021211185B4 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102021211185.8A DE102021211185B4 (de) 2021-10-05 2021-10-05 Vorrichtung und Verfahren zum Steuern eines Roboters
US17/935,879 US20230107993A1 (en) 2021-10-05 2022-09-27 Device and method for controlling a robot
JP2022160018A JP2023055217A (ja) 2021-10-05 2022-10-04 ロボットを制御するための装置及び方法
CN202211220363.7A CN115933455A (zh) 2021-10-05 2022-10-08 用于控制机器人的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021211185.8A DE102021211185B4 (de) 2021-10-05 2021-10-05 Vorrichtung und Verfahren zum Steuern eines Roboters

Publications (2)

Publication Number Publication Date
DE102021211185A1 DE102021211185A1 (de) 2023-04-06
DE102021211185B4 true DE102021211185B4 (de) 2024-05-02

Family

ID=85570984

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021211185.8A Active DE102021211185B4 (de) 2021-10-05 2021-10-05 Vorrichtung und Verfahren zum Steuern eines Roboters

Country Status (4)

Country Link
US (1) US20230107993A1 (https=)
JP (1) JP2023055217A (https=)
CN (1) CN115933455A (https=)
DE (1) DE102021211185B4 (https=)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023240129A1 (en) * 2022-06-07 2023-12-14 Objectvideo Labs, Llc Robot pose estimation
EP4289566A3 (en) * 2022-06-07 2024-01-03 Canon Kabushiki Kaisha Control method, control program, recording medium, method for manufacturing product, and system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10355283A1 (de) * 2002-11-21 2004-06-17 Samsung Electronics Co., Ltd., Suwon Hand/Auge-Kalibrierverfahren und zugehöriges Punktextraktionsverfahren
DE102008020579B4 (de) * 2008-04-24 2014-07-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur automatischen Objektlageerkennung und Bewegung einer Vorrichtung relativ zu einem Objekt
US20150331415A1 (en) * 2014-05-16 2015-11-19 Microsoft Corporation Robotic task demonstration interface
DE102014106210B4 (de) * 2014-04-14 2015-12-17 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Probabilistische Personennachführung unter Verwendung der Mehr- Ansichts-Vereinigung
US20200276703A1 (en) 2017-09-20 2020-09-03 Google Llc Optimizing policy controllers for robotic agents using image embeddings
DE102020110650A1 (de) 2019-06-27 2020-12-31 Intel Corporation Automatische Roboterwahrnehmungsprogrammierung durch Initiationslernen
DE112019001507T5 (de) 2018-03-23 2020-12-31 Amazon Technologies, Inc. Optimierungsbasiertes federgitterverformungsmodell für weiche materialien
DE102019216229A1 (de) 2019-10-07 2021-04-08 Robert Bosch Gmbh Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung
DE102020127508A1 (de) 2019-10-24 2021-04-29 Nvidia Corporation Posenverfolgung von objekten in der hand
DE102020128653A1 (de) 2019-11-13 2021-05-20 Nvidia Corporation Greifbestimmung für ein Objekt in Unordnung

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5699697B2 (ja) * 2011-03-07 2015-04-15 セイコーエプソン株式会社 ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法
US10974394B2 (en) * 2016-05-19 2021-04-13 Deep Learning Robotics Ltd. Robot assisted object learning vision system
EP3847617A4 (en) * 2018-09-04 2022-06-01 Fastbrick IP Pty Ltd VISION SYSTEM FOR A ROBOTIC MACHINE
DE102019216560B4 (de) * 2019-10-28 2022-01-13 Robert Bosch Gmbh Verfahren und Vorrichtung zum Trainieren von Manipulationsfertigkeiten eines Robotersystems
CN111055275B (zh) * 2019-12-04 2021-10-29 深圳市优必选科技股份有限公司 一种动作模仿方法、装置、计算机可读存储介质及机器人
US11813749B2 (en) * 2020-04-08 2023-11-14 Fanuc Corporation Robot teaching by human demonstration

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10355283A1 (de) * 2002-11-21 2004-06-17 Samsung Electronics Co., Ltd., Suwon Hand/Auge-Kalibrierverfahren und zugehöriges Punktextraktionsverfahren
DE102008020579B4 (de) * 2008-04-24 2014-07-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur automatischen Objektlageerkennung und Bewegung einer Vorrichtung relativ zu einem Objekt
DE102014106210B4 (de) * 2014-04-14 2015-12-17 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Probabilistische Personennachführung unter Verwendung der Mehr- Ansichts-Vereinigung
US20150331415A1 (en) * 2014-05-16 2015-11-19 Microsoft Corporation Robotic task demonstration interface
US20200276703A1 (en) 2017-09-20 2020-09-03 Google Llc Optimizing policy controllers for robotic agents using image embeddings
DE112019001507T5 (de) 2018-03-23 2020-12-31 Amazon Technologies, Inc. Optimierungsbasiertes federgitterverformungsmodell für weiche materialien
DE102020110650A1 (de) 2019-06-27 2020-12-31 Intel Corporation Automatische Roboterwahrnehmungsprogrammierung durch Initiationslernen
DE102019216229A1 (de) 2019-10-07 2021-04-08 Robert Bosch Gmbh Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung
DE102020127508A1 (de) 2019-10-24 2021-04-29 Nvidia Corporation Posenverfolgung von objekten in der hand
DE102020128653A1 (de) 2019-11-13 2021-05-20 Nvidia Corporation Greifbestimmung für ein Objekt in Unordnung

Also Published As

Publication number Publication date
US20230107993A1 (en) 2023-04-06
CN115933455A (zh) 2023-04-07
DE102021211185A1 (de) 2023-04-06
JP2023055217A (ja) 2023-04-17

Similar Documents

Publication Publication Date Title
DE112019002310B4 (de) Ausführen einer "peg in hole"-aufgabe mit unbekannter neigung
DE102021204961B4 (de) Verfahren zur Steuerung einer Robotervorrichtung
DE102019216229B4 (de) Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung
DE102020214301A1 (de) Vorrichtung und verfahren zum steuern eines roboters zum aufnehmen eines objekts in verschiedenen lagen
DE102021204846B4 (de) Verfahren zum Steuern einer Robotervorrichtung
DE102022202144B4 (de) Vorrichtung und Verfahren zur Steuerung eines Roboters zur Durchführung einer Aufgabe
DE102020207085A1 (de) Verfahren zum steuern eines roboters und robotersteuereinheit
DE102022130652A1 (de) Anlernen eines roboters durch vorführen mit visualservoing
DE102021204697B4 (de) Verfahren zum Steuern einer Robotervorrichtung
DE102021107351A1 (de) System zur eigenschaftserkennung durch deep-learning und vektorfeldschätzung
DE102021211185B4 (de) Vorrichtung und Verfahren zum Steuern eines Roboters
DE102021109333B4 (de) Vorrichtung und Verfahren zum Trainieren eines Neuronalen Netzes zum Steuern eines Roboters für eine Einsetzaufgabe
DE102020209080A1 (de) Bildverarbeitungssystem
DE102021107479A1 (de) Erfassung einer dreidimensionalen pose durch mehrere 2d-kameras
DE102022202142B3 (de) Vorrichtung und Verfahren zum Trainieren eines maschinellen Lernmodells zum Ableiten eines Bewegungsvektors für einen Roboter aus Bilddaten
DE102020214300A1 (de) Vorrichtung und verfahren zum trainieren eines maschinellen lernmodells zum erkennen einer objekttopologie eines objekts aus einem bild des objekts
DE102021209761A1 (de) Verfahren zum Trainieren einer Steuerungsstrategie
DE102021202759B4 (de) Vorrichtung und Verfahren zum Trainieren eines maschinellen Lernmodells zum Steuern eines Roboters
DE102023201140B4 (de) Vorrichtung und Verfahren zur Steuerung einer Robotervorrichtung
DE102021212906A1 (de) Verfahren zum Steuern eines Agenten
DE102023207208A1 (de) Verfahren zum Trainieren eines maschinellen Lernmodells für die Steuerung eines Roboters zum Manipulieren eines Objekts
DE102022207847A1 (de) Verfahren zum Steuern eines Roboters zum Manipulieren, insbesondere Aufnehmen, eines Objekts
DE102022202145A1 (de) Roboter und Verfahren zum Steuern eines Roboters
DE102022206274A1 (de) Verfahren zum Steuern eines Roboters zum Manipulieren, insbesondere Aufnehmen, eines Objekts
DE102022202143B4 (de) Vorrichtung und Verfahren zur Steuerung eines Roboters zur Durchführung einer Aufgabe

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final