DE112011101730B4 - System und Verfahren zur robusten Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter - Google Patents

System und Verfahren zur robusten Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter Download PDF

Info

Publication number
DE112011101730B4
DE112011101730B4 DE112011101730.8T DE112011101730T DE112011101730B4 DE 112011101730 B4 DE112011101730 B4 DE 112011101730B4 DE 112011101730 T DE112011101730 T DE 112011101730T DE 112011101730 B4 DE112011101730 B4 DE 112011101730B4
Authority
DE
Germany
Prior art keywords
feature
robot
image
calibration
expected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE112011101730.8T
Other languages
English (en)
Other versions
DE112011101730T5 (de
Inventor
Lifeng LIU
Xiangyun Ye
Aaron Wallack
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Publication of DE112011101730T5 publication Critical patent/DE112011101730T5/de
Application granted granted Critical
Publication of DE112011101730B4 publication Critical patent/DE112011101730B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39008—Fixed camera detects reference pattern held by end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39022—Transform between measuring and manipulator coordinate system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/09—Closed loop, sensor feedback controls arm movement

Abstract

Verfahren zur Festlegung der Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter, wobei das Verfahren Folgendes umfasst: Aufnahme eines Anfangsbildes eines an einem Endeffektor des Roboters befestigten Kalibrierobjekts mittels einer im Raum fixierten Kamera, während der Roboter eine Anfangslage innerhalb eines Arbeitsplatzes des Roboters einnimmt, sowie Aufnahme eines Folgebildes des Kalibrierobjekts, während der Roboter eine nachfolgende Lage innerhalb des Arbeitsplatzes des Roboters einnimmt, wobei die Anfangslage und die nachfolgende Lage unterschiedlich sind, wobei das Kalibrierobjekt ein erstes Kalibrierobjektmerkmal und ein zweites Kalibrierobjektmerkmal aufweist, wobei das erste und das zweite Kalibrierobjektmerkmal eine feststehende, bekannte Distanz relativ zueinander aufweisen, wobei der Roboter ein Roboterkoordinatensystem, die Kamera ein Kamerakoordinatensystem, der Endeffektor ein Endeffektorkoordinatensystem und das Kalibrierobjekt ein Kalibrierobjektkoordinatensystem besitzt; Bestimmung einer Kamera-Roboter-Transformation zwischen dem Kamerakoordinatensystem und dem Roboterkoordinatensystem; Bestimmung einer Kalibrierobjekt-Endeffektor-Transformation zwischen dem Kalibrierobjektkoordinatensystem und dem Endeffektorkoordinatensystem; Lokalisierung eines ersten Anfangsbildmerkmals und eines zweiten Anfangsbildmerkmals in dem Anfangsbild sowie eines ersten Folgebildmerkmals und eines zweiten Folgebildmerkmals in dem Folgebild, wobei das erste Anfangsbildmerkmal und das erste Folgebildmerkmal mit dem ersten Kalibrierobjektmerkmal und das zweite Anfangsbildmerkmal sowie das zweite Folgebildmerkmal mit dem zweiten Kalibrierobjektmerkmal korrespondieren; ...

Description

  • GEBIET DER ERFINDUNG
  • Beispielhafte Ausführungsformen der vorliegenden Erfindung beziehen sich auf die Kalibrierung eines Bildverarbeitungssystems und insbesondere auf ein System und ein Verfahren zur Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter.
  • HINTERGRUND DER ERFINDUNG
  • Gelenkarme sind steuerbare Maschinen, die einen Endeffektor genau und wiederholbar durch einen Bearbeitungsraum in eine festgelegte Pose bewegen können. Der hier verwendete Begriff Pose bezieht sich auf beispielhafte Weise auf eine Kombination aus dreidimensionaler Position und dreidimensionaler Rotation. Eine Roboterpose entspricht auf beispielhafte Weise der Pose des Endeffektors hinsichtlich des Koordinatensystems des Roboters. Auf beispielhafte Weise sind Endeffektoren steuerbare Maschinen, die Werkstücke greifen und loslassen können und bspw. mechanische Greifer, Vakuumsauger, elektromagnetische Kontakte etc. umfassen können. Üblicherweise, wie hier verwendet, wird die Kombination aus einem Gelenkarm und einem Endeffektor als Roboter bezeichnet. Der dreidimensionale Bereich, der für den Roboter zur Ausführung von Tätigkeiten zugänglich ist, wird als Arbeitsplatz des Roboters bezeichnet.
  • Roboter werden auf beispielhafte Weise eingesetzt, um Aufgaben wie das Bewegen eines Werkstücks innerhalb des Bearbeitungsraumes zu erfüllen, indem eine vorbestimmte Schrittfolge ausgeführt wird. Beispielsweise kann der Endeffektor entlang der Bahnkurve T1 zur Endeffektorpose P1 bewegt werden. Der Endeffektor kann anschließend vor der Bewegung entlang der Bahnkurve T2 zur Endeffektorpose P2 ein Werkstück greifen. In Pose P2 kann der Endeffektor das Werkstück loslassen. Ein bekannter Nachteil des Einsatzes solcher Roboter ist, dass das Werkstück sich in einer bekannten Lage befinden muss, damit der Roboter die Aufgabe erfolgreich durchführen kann. Beispielsweise kann der Endeffektor gegebenenfalls das Werkstück nicht greifen, wenn dieses sich nicht zu Beginn in der erwarteten Lage befindet. Ungenauigkeiten bei der Werkstückslage sind ein bekannter Nachteil solcher Robotersysteme und ein häufiger Grund, warum Roboter nicht für die Durchführung von Entnahme-, Ablage- und Montagetätigkeiten ausgewählt werden.
  • Eine bekannte Technik zur Behebung von Ungenauigkeiten bei der Werkstückslage ist der Einsatz von Sensoren, um zuerst die Werkstückslage zu messen, und diese gemessene Werkstückslage anschließend einzusetzen, um die Bahnkurve des Roboters anzugleichen. Die Bildverarbeitung ist eine gängige Technik zur Messung von Werkstückspositionen, da die Bildverarbeitung üblicherweise ein schnelles, kostengünstiges, berührungsloses Messverfahren ist. Der Begriff bildgeführte Robotertechnik (Vision Guided Robotics, VGR) veranschaulicht den Vorgang des Einsatzes eines Bildverarbeitungssystems zur Unterstützung des Roboters bei der Ausführung seiner Aufgaben.
  • Ein bekannter Nachteil des Einsatzes von Bildverarbeitung zur Messung einer Werkstückslage ist, dass das Bildverarbeitungssystem üblicherweise die Werkstückslage hinsichtlich des Koordinatensystems des Bildverarbeitungssystems misst, wohingegen der Roboter den Endeffektor hinsichtlich des Koordinatensystems des Roboters bewegt. Daher muss die Werkstückslage, die vom Bildverarbeitungssystem berechnet wurde, in das Koordinatensystem des Roboters übertragen werden, damit der Roboter die vom Bildverarbeitungssystem berechnete Werkstückslage nutzen kann. Der Begriff Hand-Augen-Kalibrierung veranschaulicht die Aufgabe, die Beziehung zwischen dem Koordinatensystem des Bildverarbeitungssystems und dem Koordinatensystem des Roboters zu bestimmen.
  • Wie Fachleuten bekannt sein wird, wirkt sich die Genauigkeit der Hand-Augen-Kalibrierung direkt auf die Genauigkeit der VGR-Verfahren aus. Wenn die Hand-Augen-Kalibrierung die tatsächliche Beziehung zwischen dem Koordinatensystem des Bildverarbeitungssystems und dem Koordinatensystem des Roboters genau widerspiegelt, bewirken genaue Bildverarbeitungsmessungen der Werkstückslage genaue Endeffektorposen zur Entnahme, Ablage und Montage des Werkstücks. Dementsprechend, falls die Hand-Augen-Kalibrierung ungenau ist und nicht die tatsächliche Beziehung zwischen dem Koordinatensystem des Bildverarbeitungssystems und dem Koordinatensystem des Roboters widerspiegelt, führt eine genaue Bildverarbeitungsmessung des Werkstücks nicht zwangsläufig zu genauen Endeffektorposen zur Entnahme, Ablage und Montage des Werkstücks. Diese ungenauen Roboterposen können zur Folge haben, dass der Roboter die vorgesehenen Aufgaben nicht ausführen kann.
  • Aus der DE 198 26 395 A1 ist ein Verfahren zur Festlegung der Kalibrierung zwischen einem Bildverarbeitungssystem mit Kameras und einem Roboter bekannt. Dabei werden die Kameras im Raum befestigt und jede der Kameras weist ein Sichtfeld auf, das zumindest einen Teil des Arbeitsplatzes des Roboters abdeckt. Zur Kalibrierung wird ein Kalibrierobjekt an einem Endeffektor des Roboters befestigt, es werden Bilder des Kalibrierobjekts aufgenommen, während der Roboter das Kalibrierobjekt in verschiedene Soll-Lagen innerhalb des Roboterarbeitsplatzes bewegt, und es erfolgt eine Kalibrierung des Bildverarbeitungssystems und des Roboters mittels ermittelter Abweichungen zwischen der Soll- und der tatsächlichen räumlichen Ist-Stellung des Roboters.
  • Die US 2004/0102911 A1 betrifft ein Hand-Auge-Kalibrierverfahren, bei dem ein projektiver Formdeskriptors eines zweidimensionalen Bildes verwendet wird, welches von einer an einer Roboterhand montierten Kamera aufgenommen wird. Es wird eine Rotationsmatrix sowie ein Translationsvektor berechnet, und darauf basierend wird eine Beziehung zwischen der Roboterhand und der Kamera berechnet.
  • Aus der US 5,297,238 A ist ein Verfahren zur Kalibrierung eines Werkzeug-Steuerrahmens auf einem Roboter relativ zu einer bekannten Kalibrierungsreferenz bekannt. Es wird ein sensorisches Werkzeug, z. B. eine Kamera an einem Roboterglied angeordnet, und dieses wird anhand von Aufnahmen eines Kalibrierungsmerkmals kalibriert. Das Kalibrierungsmerkmal wird durch die Kamera in verschiedenen Roboterposen aufgenommen und unter Anwendung einer Koordinatentransformation mit jeweiligen Sollpositionen verglichen, und es wird hieraus ein Korrekturmaß zur Verbesserung der Genauigkeit der Roboterposition berechnet.
  • Druckschrift EP 2 070 664 A1 betrifft eine Vorrichtung zur Bearbeitung eines Objekts mit einer Messeinrichtung zur Ausführung einer Messung an einem Referenzkörper, einen von der Messeinrichtung getrennt angeordneten Roboter zur Bearbeitung eines Objekts, und eine Kalibriereinrichtung zur Kalibrierung der Bearbeitung durch direktes Abbilden eines Koordinatensystems der Messeinrichtung auf ein Koordinatensystem des Roboters auf Grundlage der Messung an dem Referenzkörper.
  • Aus der US-Patentschrift US 6,101,455 A ist eine Arbeitszelle bekannt, die Roboter, Videokameras und strukturierte Lichtquellen enthält. Die Arbeitszelle wird kalibriert, indem Zielobjekte mit der Kamera aufgenommen werden, während der Roboter eine Anzahl von bekannten Relativbewegungen zwischen den Zielobjekten, den Kameras und den Lichtquellen ausführt.
  • Die Druckschrift US 6,816,187 B1 betrifft ein Kamera-Kalibrierungssystem, bei dem ein Muster mit bekannter geometrischer Konfiguration durch eine Kamera aufgenommen und mit einem per Computergrafik erzeugten, korrespondierenden Muster verglichen wird, um auf diese Weise einen Leuchtdichtefehler zu minimieren, der eine Parameterschätzung ermöglicht.
  • Tsai und Lenz haben eine bekannte Technik zur Ausführung der Hand-Augen-Kalibrierung entwickelt. Ihre Technik wird im Aufsatz „A new technique for fully autonomous and efficient 3D robotics hand/eye calibration”, veröffentlicht in IEEE Transactions on Robotics Automation, Volume 5, Issue 3, Seiten 345–348, beschrieben, dessen Inhalte hierin unter Bezugnahme aufgenommen sind. Die Technik von Tsai und Lenz erzielt auf beispielhafte Weise eine Reihe von Roboterposen und zugehörige aufgenommene Bilder. Für jedes der aufgenommenen Bilder schätzt die Technik die Lage der Kamera hinsichtlich des Kalibrierobjekts ab. Dadurch wird eine Reihe von Roboterposen und abgeschätzten Kameralagen hinsichtlich des Kalibrierobjekts erhalten. Die Technik von Tsai und Lenz bestimmt anschließend die Lage der Kamera hinsichtlich des Gelenkarms aus der Reihe von Roboterposen und den entsprechenden abgeschätzten Kameralagen.
  • In einem exemplarischen Fall einer ortsfesten Kameraumgebung ist ein bekannter Nachteil der Technik von Tsai und Lenz (sowie der Lehre der eingangs genannten Druckschriften aus dem Stand der Technik), dass sie nicht ausdrücklich die Bedingung enthalten, dass es nur eine einzige Lage der Kamera hinsichtlich der Roboterbasis gibt und dass es nur eine einzige Lage des Kalibrierobjekts hinsichtlich des Endeffektors gibt. Stattdessen lässt die Technik von Tsai und Lenz unabhängige und daher möglicherweise uneinheitliche Abschätzungen der Kameralagen zu sowie ferner unabhängige und daher möglicherweise uneinheitliche Abschätzungen der Lage des Kalibrierobjekts.
  • Ein weiterer bekannter Nachteil der Technik von Tsai und Lenz sowie der Lehren der oben genannten Druckschriften ist, dass sie Kalibrierungen in einem Bildverarbeitungssystem nur für jeweils eine Kamera gleichzeitig durchführt. Daher muss die Technik von Tsai und Lenz, sollte die Durchführung einer Kalibrierung für eine Vielzahl von Kameras in einem Bildverarbeitungssystem gewünscht werden, für jede Kamera nacheinander durchgeführt werden. Dadurch wird mehr Zeit für die Durchführung der Kalibrierung benötigt und eine unabhängige und dadurch möglicherweise uneinheitliche Kalibrierung der verschiedenen Kameras zugelassen.
  • Tsai und Lenz haben paarweise Bewegungen und den Ausdruck AiX = XBi untersucht, wobei Ai die wahrgenommene Bewegung der Kamera und Bi eine relative Bewegung des Endeffektors beschreibt. Dadurch konnten sie die Transformation zwischen dem Endeffektor und der Kamera X durch Auflösen von X berechnen, was die Gesamtabweichungen zwischen Paaren von AXi und XBi minimierte. Im Aufsatz „Optimal Hand-Eye Calibration”, veröffentlicht im Protokoll der „IEEE/RSJ International Conference on Intelligent Robots and Systems”, die im Jahr 2006 stattfand, 2008, Seiten 4647–4653, erwähnten Strobl und Hirzinger eine Technik für die Hand-Augen-Kalibrierung, die den Ausdruck AX = ZB untersucht, um die Endeffektor-Kamera-Transformation und die Roboter-Kalibrierplatte-Transformationen abzuschätzen und das Problem wird auf ein System von starren Transformationen reduziert: AiX = ZBi, wobei Ai die wahrgenommene Transformation zwischen der Kamera und der Kalibrierplatte, X die Endeffektor-Kamera-Transformation, Z die Roboterbasis-Kalibrierplatten-Transformation und Bi die Endeffektorpose (die Transformation vom Endeffektor zur Roboterbasis) beschreibt. Der Nachteil von diesen beiden Ansätzen (und allen anderen Ansätzen, die auf der Grundtechnik aufbauen) ist, dass sie die Abschätzung von Unterschieden zwischen zwei starren Transformationen beinhalten, diff(Transformation1, Transformationation2), und es gibt keine bekannte, physikalisch sinnvolle Methode für die Messung des Unterschieds zwischen zwei Transformationen.
  • Ein weiterer Nachteil von Verfahren, wie sie von Tsai & Lenz, Strobl und Hirzinger sowie von den vorgenannten Druckschriften aus dem Stand der Technik beschrieben werden, ist, dass die Abschätzung der Hand-Augen-Kalibrierung auf der Grundlage von Lagen der Kalibrierplatte nicht optimal ist. Der Grund dafür ist, dass jede berechnete Kamera-Kalibrierplatten-Lage üblicherweise in manche Richtungen genauer ist als in andere, aber dass keine Informationen zur Richtungsgenauigkeit in den Kamera-Kalibrierplatten-Lagen enthalten sind. Die Tatsache, dass Kamera-Kalibrierplatten-Lagen üblicherweise in manche Richtungen genauer sind als in andere, kann so erklärt werden, dass die Orientierung der Kalibrierplatte üblicherweise genauer abgeschätzt werden kann als die Neigung der Kalibrierplatte.
  • Schließlich besitzt der vorgenannte Stand der Technik insgesamt noch den Nachteil, dass im Allgemeinen lediglich zwei Koordinatensysteme verwendet werden, nämlich das Roboterkoordinatensystem sowie das Kamerakoordinatensystem. Im Zusammenhang mit dem vorgenannten Effekt der genaueren Abschätzbarkeit der Orientierung eines kamerabasiert verfolgten Objekts im Vergleich zu dessen Neigung relativ zur Kamera kann sich der Fehler in der Hand-Auge-Kalibrierung damit noch weiter vergrößern, da sich zwischen dem Koordinatensystem des Roboters und dem Koordinatensystem der Kamera jeweils noch der Roboter-Endeffektor (die Roboter-Hand) sowie das Kalibrierobjekt (die Kalibrierplatte) mit ebenfalls jeweils eigenen Koordinatensystemen als weitere Fehlerquellen befinden.
  • Mit diesem Hintergrund ist es die Aufgabe der vorliegenden Erfindung, Verfahren zur Festlegung der Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter zu schaffen, mit dem die vorgenannten Nachteile der aus dem Stand der Technik bekannten Verfahren, insbesondere die teilweise mehrdeutige Abschätzung der Kameralagen bzw. des Kalibrierobjekts, die gleichzeitige Kalibriermöglichkeit jeweils nur einer Kamera, die Begrenzung auf starre Koordinatentransformationen sowie die unbefriedigende Genauigkeit bei der Bestimmung der Kamera-Kalibrierplatten-Lagen, überwunden werden.
  • ÜBERBLICK ÜBER DIE ERFINDUNG
  • Eine beispielhafte Ausführungsform der vorliegenden Erfindung überwindet die vorstehend genannten Nachteile des Stands der Technik, indem ein System und ein Verfahren zur robusten Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter zur Verfügung gestellt wird. Auf beispielhafte Weise wird der Roboter in eine Mehrzahl von Posen bewegt und es werden in einer Anfangslage und in einer nachfolgenden Lage des Roboters Bilder eines Kalibrierobjekts aufgenommen, wie etwa einer Kalibrierplatte, die an einem Endeffektor des Roboters befestigt wird und erste sowie zweite Merkmale mit genau bekannten Abständen voneinander enthält. Dabei besitzt der Roboter ein Roboter ein Roboterkoordinatensystem, die Kamera ein Kamerakoordinatensystem, der Endeffektor ein Endeffektorkoordinatensystem und das Kalibrierobjekt ein Kalibrierobjektkoordinatensystem. Alternativ wird ein Kalibrierobjekt im Raum befestigt und eine Kamera wird am Roboter befestigt, der anschließend in eine Mehrzahl von Posen bewegt wird, bei denen in einer Anfangslage und in einer nachfolgenden Lage des Roboters Bilder des Kalibrierobjekts aufgenommen werden. Mittels des Bildverarbeitungssystems werden die aufgenommenen Bilder analysiert, indem die Positionen der Merkmale im Bild gemessen werden. Mittels der festgelegten Roboterposen und der gemessenen Bildmerkmalspositionen wird die Transformation zwischen dem Koordinatensystem des Bildverarbeitungssystems und dem Koordinatensystem des Roboters sowie die Transformation zwischen dem Koordinatensystem des Kalibrierobjekts und dem Koordinatensystem des Endeffektors bestimmt, es werden erwartete Bildmerkmale berechnet, es werden Abweichungen zwischen den von der Kamera aufgenommenen und den erwarteten Bildmerkmalen ermittelt, die Abweichungen werden durch Verfeinerung der Koordinatentransformationen minimiert, und schließlich erfolgt eine Kalibrierung des Bildverarbeitungssystems und des Roboters mittels der verfeinerten Transformationen.
  • In einem Beispiel für eine ortsfeste Kameraumgebung enthält die beispielhafte Ausführungsform der vorliegenden Erfindung auf beispielhafte Weise die Einschränkung, dass es eine einzige Transformation mit sechs Freiheitsgraden (six degree of freedom, 6DOF) zwischen jeder Kamera und dem Roboterbasis-Koordinatensystem gibt, und ausdrücklich die Einschränkung, dass es eine einzige 6DOF-Transformation zwischen dem Endeffektor des Roboters und der Kalibrierplatte gibt. Es sollte beachtet werden, dass bei einer alternativen Ausführungsform der vorliegenden Erfindung eine abweichende Anzahl von Freiheitsgraden eingesetzt werden kann. Daher sollte die Beschreibung von sechs Freiheitsgraden als lediglich exemplarisch angesehen werden. Beispielhafte Ausführungsformen der vorliegenden Erfindung ermöglichen auf beispielhafte Weise die gleichzeitige Kalibrierung einer Vielzahl von Kameras auf einen Roboter zusätzlich zu einer separaten Kamerakalibrierung, wodurch die Notwendigkeit aufgehoben wird, Kameras zuerst auf den Bearbeitungsraum eines Roboters und anschließend das Bildverarbeitungssystem auf den Roboter kalibrieren zu müssen.
  • Kameras können entweder im Raum mit einem Sichtfeld, das einen Teil des Arbeitsplatzes eines Roboters umfasst, oder an einem Gelenkarm und/oder einem Endeffektor des Roboters angebracht werden. Kameras, die im Raum angebracht werden, können hier als ortsfeste Kameras bezeichnet werden, während Kameras, die an einem Gelenkarm und/oder einem Endeffektor eines Roboters angebracht werden, hierin als bewegliche Kameras bezeichnet werden können. Wenn eine Kamera ortsfest im Raum angebracht wird, berechnen beispielhafte Ausführungsformen der vorliegenden Erfindung zwei Transformationen: die Transformation zwischen dem Roboterkoordinatensystem und dem Koordinatensystem der Kamera sowie die Transformation zwischen der Lage des Kalibrierobjekts und der Pose des Endeffektors. Wenn mehrere Kameras ortsfest im Raum angebracht werden, berechnen beispielhafte Ausführungsformen der vorliegenden Erfindung die Transformationen zwischen dem Roboterkoordinatensystem und den Koordinatensystemen jeder Kamera sowie die Transformation zwischen der Lage des Kalibrierobjekts und der Pose des Endeffektors. Es sollte beachtet werden, dass die Begriffe Kalibrierobjekt und Kalibrierplatte hierin austauschbar eingesetzt werden können. Das Koordinatensystem der Kamera wird bisweilen als die Lage der Kamera bezeichnet. Die Lage des Kalibrierobjekts wird bisweilen als das Koordinatensystem des Kalibrierobjekts bezeichnet. Das kanonische Koordinatensystem der Kalibrierplatte nach der Kalibrierung von der einen oder der Vielzahl von Kameras wird bisweilen als das Koordinatensystem des Bildverarbeitungssystems bezeichnet. Das Koordinatensystem des Bildverarbeitungssystems wird bisweilen als das Weltkoordinatensystem des Bildverarbeitungssystems bezeichnet. Die Pose des Endeffektors wird bisweilen als das Koordinatensystem des Endeffektors bezeichnet. Die Pose des Endeffektors hinsichtlich der Roboterbasis wird bisweilen als die Roboterpose bezeichnet. Das Koordinatensystem des Roboters wird bisweilen als das Roboterbasis-Koordinatensystem bezeichnet. Es muss beachtet werden, dass die Erfindung eine Situation, in der verschiedene Kameras hinsichtlich verschiedener kanonischer Kalibrierplatten-Transformationen kalibriert werden können, handhaben kann. Anders ausgedrückt können beispielhafte Ausführungsformen der vorliegenden Erfindung eine Situation handhaben, in der die eine Kamera oder die Vielzahl von Kameras hinsichtlich verschiedener Koordinatensysteme von Bildverarbeitungssystemen kalibriert wurden. Dem liegt zugrunde, dass die Erfindung die Lage von jeder Kamera abschätzt- und die Erfindung setzt die Einschränkung, dass die Kameras in derselben Lage hinsichtlich des Koordinatensystems des Bildverarbeitungssystems bleiben, nicht zwangsläufig durch.
  • Wenn eine Kamera am Roboter angebracht wird, werden ebenso zwei Transformationen berechnet: die Transformation zwischen dem Roboterkoordinatensystem und dem Kalibrierobjekt sowie die Transformation zwischen der Kameralage und der Pose des Endeffektors. Beim Einsatz von mehreren am Roboter angebrachten (beweglichen) Kameras berechnet die Erfindung die Transformation zwischen dem Roboterkoordinatensystem und dem Kalibrierobjekt sowie die Transformationen zwischen der Lage jeder Kamera und der Pose des Endeffektors.
  • Es muss beachtet werden, dass das Weltkoordinatensystem des Bildverarbeitungssystems üblicherweise als Platzhalter dient und dass das Weltkoordinatensystem des Bildverarbeitungssystems üblicherweise keine intrinsische physikalische Bedeutung hat. Demzufolge können Benutzer für eine einzige ortsfeste Kamera die von der vorliegenden Erfindung berechneten Hand-Augen-Kalibrierungs-Transformationen einsetzen, um das Weltkoordinatensystem des Bildverarbeitungssystems hinsichtlich des Roboterkoordinatensystems anzupassen (während die Transformation zwischen der Kamera und dem Weltkoordinatensystem des Bildverarbeitungssystems nicht verändert wird). Alternativ können Benutzer für eine einzige ortsfeste Kamera die von der vorliegenden Erfindung berechneten Hand-Augen-Kalibrierungs-Transformationen einsetzen, um die Transformation zwischen der Kamera und dem Weltkoordinatensystem des Bildverarbeitungssystems anzupassen (während die Transformation zwischen dem Weltkoordinatensystem des Bildverarbeitungssystems hinsichtlich des Roboterkoordinatensystems nicht verändert wird). Alternativ können Benutzer für eine einzige bewegliche Kamera die von der vorliegenden Erfindung berechneten Hand-Augen-Kalibrierungs-Transformationen einsetzen, um das Weltkoordinatensystem des Bildverarbeitungssystems hinsichtlich des Endeffektor-Koordinatensystems anzupassen (während die Transformation zwischen der Kamera und dem Weltkoordinatensystem des Bildverarbeitungssystems nicht verändert wird). Alternativ können Benutzer für eine einzige bewegliche Kamera die von der vorliegenden Erfindung berechneten Hand-Augen-Kalibrierungs-Transformationen einsetzen, um die Transformation zwischen der Kamera und dem Weltkoordinatensystem des Bildverarbeitungssystems anzupassen (während die Transformation zwischen dem Weltkoordinatensystem des Bildverarbeitungssystems hinsichtlich des Endeffektor-Koordinatensystems nicht verändert wird). Da die Kameralage und das Weltkoordinatensystem des Bildverarbeitungssystems auf diese Art und Weise ausgetauscht werden können, wird bisweilen auf die Abschätzung des Bildverarbeitungs-Weltkoordinatensystems Bezug genommen, um auf die Abschätzung der Kameralage Bezug zu nehmen, und bisweilen wird auf die Abschätzung der Kameralage Bezug genommen, um die Abschätzung des Bildverarbeitungs-Weltkoordinatensystems vorzunehmen.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Die oben genannten sowie die weiteren Vorteile der Erfindung können besser durch die folgende Beschreibung in Verbindung mit den dazugehörigen Zeichnungen verstanden werden, in denen gleiche Bezugszeichen auf identische oder funktionsmäßig ähnliche Elemente verweisen:
  • 1 ist eine schematische Darstellung einer exemplarischen Bildverarbeitungs-Roboter-Umgebung mit ortsfest im Raum angebrachten Kameras zur Verwendung bei einer Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung;
  • 2 ist eine schematische Darstellung einer exemplarischen Bildverarbeitungs-Roboter-Umgebung mit am Roboter angebrachten Kameras zur Verwendung bei einer Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung;
  • 3 ist ein Schaubild, das die Arbeitsschritte bei der Durchführung der Kalibrierung zwischen einem Roboter und einem Bildverarbeitungssystem detailliert beschreibt, wobei gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung fest angebrachte Kameras eingesetzt werden;
  • 4 ist ein Schaubild, das die Arbeitsschritte bei der Durchführung der Kalibrierung zwischen einem Roboter und einem Bildverarbeitungssystem detailliert beschreibt, wobei gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung am Roboter angebrachte Kameras eingesetzt werden; und
  • 5 ist ein schematisches Blockdiagramm, das exemplarische Steuerungssysteme für ein Bildverarbeitungssystem und einen Roboter gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung darstellt.
  • DETAILLIERTE BESCHREIBUNG EINER BEISPIELHAFTEN AUSFÜHRUNGSFORM
  • Beispielhafte Ausführungsformen der vorliegenden Erfindung stellen ein System und ein Verfahren zur genauen Verfeinerung der Hand-Augen-Kalibrierung zur Verfügung, während auf beispielhafte Weise eine Beschränkung enthalten ist, dass es eine einzige 6DOF-Transformation (Freiheitsgrade) zwischen jeder Kamera und dem Endeffektor für den Fall einer beweglichen Kamera gibt, oder dass es eine einzige 6DOF-Transformation zwischen jeder Kamera und der Roboterbasis für den Fall einer ortsfesten Kamera gibt. Es sollte beachtet werden, dass in einer alternativen Ausführungsform der vorliegenden Erfindung eine abweichende Anzahl von Freiheitsgraden eingesetzt werden kann. Daher sollte die Beschreibung von sechs Freiheitsgraden als lediglich exemplarisch angesehen werden. Ferner enthalten beispielhafte Ausführungsformen der vorliegenden Erfindung auf beispielhafte Weise die Einschränkung, dass es eine einzige 6DOF-Transformation zwischen dem Roboterkoordinatensystem und der Kalibrierplatte für den Fall einer beweglichen Kamera gibt. Alternativ enthalten beispielhafte Ausführungsformen der vorliegenden Erfindung für den Fall einer ortsfesten Kamera eine Beschränkung, dass es eine einzige 6DOF-Transformation zwischen dem Kalibrierplatten-Koordinatensystem und dem Endeffektor-Koordinatensystem gibt. Auf beispielhafte Weise wird der Roboter in festgelegte Posen bewegt und es werden Bilder von einem Kalibrierobjekt aufgenommen, das Merkmale an genau bekannten physikalischen Positionen enthält. Eine beispielhafte Ausführungsform der Erfindung beinhaltet die genaue Kenntnis der physikalischen Merkmalspositionen, alternative Ausführungsformen der Erfindung könnten ungenaue Kenntnisse von physikalischen Merkmalspositionen nutzen. Das Kalibrierobjekt ist nicht zwangsläufig ein flaches Objekt (mit allen Merkmalen auf derselben Ebene). Alternativ könnte das Kalibrierobjekt ein dreidimensionales Objekt wie etwa ein Würfel sein, dessen Merkmale an mehreren Flächen vorhanden sind. Alternativ könnte das Kalibrierobjekt eine dreidimensionale Schachtel sein (mit unterschiedlichen Seitenlängen), deren Merkmale an mehreren Flächen vorhanden sind. Alternativ könnte das Kalibrierobjekt eine Scheibe sein, deren Merkmale an einer oder beiden Seiten vorhanden sind. Alternativ könnte das Kalibrierobjekt eine Kugel mit Merkmalen sein. Alternativ könnte das Kalibrierobjekt ein Zylinder mit Merkmalen sein.
  • Das Bildverarbeitungssystem analysiert anschließend die aufgenommenen Bilder durch die Messung der Positionen der Merkmale in den Bildern und bringt die festgelegten Roboterposen mit den gemessenen Bildmerkmalspositionen in Beziehung, um die Beziehung zwischen dem Koordinatensystem des Bildverarbeitungssystems und dem Koordinatensystem des Roboters zu bestimmen. Beispielhafte Ausführungsformen der vorliegenden Erfindung nutzen auf beispielhafte Weise eine Analyse, die ausdrücklich die Einschränkung enthält, dass es eine einzige 6DOF-Transformation zwischen jeder Kamera und dem Endeffektor gibt, und die ausdrücklich die Einschränkung enthält, dass es eine einzige 6DOF-Transformation zwischen dem Roboterkoordinatensystem und der Kalibrierplatte für den Fall einer beweglichen Kamera gibt. Alternativ nutzen beispielhafte Ausführungsformen der vorliegenden Erfindung für den Fall einer ortsfesten Kamera auf beispielhafte Weise eine Analyse, die ausdrücklich die Einschränkung enthält, dass es eine einzige 6DOF-Transformation zwischen jeder Kamera und der Roboterbasis gibt, und die ausdrücklich die Einschränkung enthält, dass es eine einzige 6DOF-Transformation zwischen dem Kalibrierplatten-Koordinatensystem und dem Endeffektor-Koordinatensystem gibt.
  • Eine beispielhafte Ausführungsform der vorliegenden Erfindung beinhaltet den Einsatz einer ortsfesten Kalibrierplatte und eines ortsfesten Roboters, alternative Ausführungsformen der Erfindung könnten den Einsatz von nicht-ortsfesten Kalibrierplatten und/oder nicht-ortsfesten Robotern beinhalten, so dass mehrere 6DOF-Transformationen zur Wirkung kommen würden. Der Begriff Kamera bezieht sich auf beispielhafte Weise auf eine Kombination eines Sensor-Elementes zur Messung von elektromagnetischer Strahlung und einer Linse zur Ablenkung von elektromagnetischer Strahlung. Beispiele für Kamera-Sensor-Elemente beinhalten CCD-Sensoren, CMOS-Sensoren und Unterstützungsschaltungen (Support Circuitry), um eine zweidimensionale Darstellung der Belichtung zu bilden. Linsen werden üblicherweise genutzt, um elektromagnetische Strahlung von einem Motiv auf das Sensor-Element einer Kamera zu lenken. Kameras werden bisweilen als Bildverarbeitungskameras bezeichnet. Für die Hand-Augen-Kalibrierung werden die Kamera und die Linse üblicherweise aneinander befestigt, um einheitliche Beobachtungen zu gewährleisten.
  • Eine Ausführungsform der verfeinerten Technik beinhaltet die Untersuchung der Abweichungen zwischen Transformationen durch den Vergleich von Entfernungen zwischen anhand der Transformationen eingetragenen Punkten. Eine Ausführungsform der verfeinerten Technik beinhaltet die Untersuchung aller physikalischen Punkte pi auf der Kalibrierplatte und die Untersuchung des Unterschiedes im physikalischen Raum zwischen den sowohl anhand von AXB–1 als auch von Z eingetragenen Punkten. Jeder anhand von Z eingetragene physikalische Punkt pi, die Transformation zwischen der Roboterbasis und der Kalibrierplatte, entspricht der physikalischen Position von pi in Roboterkoordinaten. Zudem entspricht auch jeder anhand von AXW–1 eingetragene physikalische Punkt pi der physikalischen Position von pi in Roboterkoordinaten. Die Entfernung zwischen zwei physikalischen Punkten ist einzigartig und gut bekannt. Daher können wir die Abweichungs-Gesamtquadratsumme von allen Punkten, die anhand von allen Transformationen eingetragen werden, Σ(AXB–1pi – Zpi)2, untersuchen und dieser Ansatz ist gut definiert und beruht auf der Messung von Entfernungen zwischen 3D-Punkten und beruht nicht auf der Abschätzung von Abweichungen zwischen starren Transformationen.
  • Die Ausführungsform, die Σ(AXB–1pi – Zpi)2 minimiert, weist den Nachteil auf, dass sie auf Abschätzungen der Lage der Kalibrierplatte hinsichtlich der Kamera beruht, aber solche Verfahren sind nicht optimal, da die berechneten Kamera-Kalibrierplatten-Lagen weniger Informationen enthalten als die ursprünglichen Merkmalsdaten. Jede berechnete Kamera-Kalibrierplatten-Lage ist üblicherweise in manche Richtungen genauer als in andere, aber diese Informationen zur Richtungsgenauigkeit sind nicht in den Kamera-Kalibrierplatten-Lagen enthalten. Die Tatsache, dass Kamera-Kalibrierplatten-Lagen üblicherweise in manche Richtungen genauer sind als in andere Richtungen, kann so erklärt werden, dass die Orientierung der Kalibrierplatte üblicherweise genauer eingeschätzt werden kann als die Neigung der Kalibrierplatte.
  • Ein bekannter Nachteil von Verfahren, wie sie von Tsai und Lenz und Strobl und Hirzinger beschrieben werden, ist, dass sie auf die Kalibrierung einer einzigen Kamera ausgerichtet sind. Da diese Verfahren keine Regelung für die gleichzeitige Kalibrierung mehrerer Kameras aufweisen, muss jede Kamera unabhängig kalibriert werden. Der Nachteil bei der unabhängigen Kalibrierung jeder einzelnen Kamera ist, dass jede unabhängige Kalibrierung von einer unterschiedlichen Lage der Kalibrierplatte ausgehen kann – wohingegen es bekannt ist, dass die Lage der Kalibrierplatte für alle Kameras einheitlich ist. Kalibrierungsgenauigkeit wird fast immer verbessert durch die Einbeziehung aller relevanten physikalischen Einschränkungen.
  • Ein weiterer bekannter Nachteil des Verfahrens von Tsai und Lenz, das relative Bewegungen untersucht, ist, dass diese relativen Bewegungen auf zeitlich aufeinanderfolgenden Roboterposen beruhen. Demzufolge kann eine unterschiedliche zeitliche Anordnung der Roboterposen zu einer unterschiedlichen Hand-Augen-Kalibrierung führen. Auf beispielhafte Weise bringt die vorliegende Erfindung eine Hand-Augen-Kalibrierung hervor, die unabhängig von der Anordnung von Roboterposen ist.
  • Eine beispielhafte Ausführungsform dieser verfeinerten Technik schätzt die Hand-Augen-Kalibrierparameter direkt aus den beobachteten Bildmerkmalspositionen ab, anstatt sich auf die berechneten Kamera-Kalibrierplatten-Lagen zu stützen. Bei einer beispielhaften Ausführungsform der verfeinerten Technik schätzt das System die Projektion der 3D-Punkte auf die entsprechenden Kameras ab und vergleicht die abgeschätzten 2D-Positionen mit den gemessenen 2D-Positionen. Bei einer alternativen Ausführungsform der verfeinerten Technik werden die 3D-Strahlen ri, die Merkmalspositionen in jeder Kamera fi entsprechen, mit den 3D-Positionen der entsprechenden transformierten Punkte auf der Kalibrierplatte verglichen. Anschließend werden die Ergebnisse aus diesen einzelnen Vergleichen gesammelt und in einer Quadratsumme kombiniert, um die Hand-Augen-Kalibrierparameter abzuschätzen, die die Abweichungs-Quadratsumme minimieren. Bei einer weiteren alternativen Ausführungsform können die Ergebnisse aus den einzelnen Vergleichen nach ihren Entfernungen von der jeweiligen Kamera gewichtet werden, so dass die Entfernungen zwischen den 3D-Strahlen und den entsprechenden 3D-Punkten sich den Bildabweichungen annähern.
  • Es gibt zwei grundlegende Methoden, Bildverarbeitungskameras für bildgeführte Robotertechnik anzubringen. Bei einer ersten beispielhaften Ausführungsform können eine oder mehrere Bildverarbeitungskameras in ortsfesten Positionen angebracht werden, unten in Bezug auf 1 beschrieben, um den Bearbeitungsraum des Roboters zu sehen. Bei einer zweiten beispielhaften Ausführungsform können eine oder mehrere Bildverarbeitungskameras an den Gelenkarm und/oder den Endeffektor angebracht werden, so dass die eine Kamera oder die die Vielzahl von Kameras sich mit dem Roboter bewegen), unten in Bezug auf 2 beschrieben. Es muss beachtet werden, dass diese beiden grundlegenden Methoden zur Anbringung von Bildverarbeitungskameras eine Hand-Augen-Kalibrierung erfordern, damit die Bildverarbeitungsmessungen optisch vom Roboter genutzt werden können.
  • A. Kalibrierumgebungen
  • 1 ist eine schematische Darstellung einer exemplarischen Umgebung 100, die einen Roboter mit einer Kalibrierplatte aufweist, die an einem Endeffektor befestigt wird, mit einer Vielzahl von im Raum angebrachten Kameras zur Verwendung bei der Ausführung einer Bildverarbeitung für eine Roboter-Kalibrierung gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung. Die Umgebung 100 beinhaltet auf beispielhafte Weise eine Vielzahl von Kameras 105A, B, C, die im Raum befestigt sind, jeweils mit einem Sichtfeld von zumindest einem Teil der Umgebung 100. Jede der Kameras 105 nimmt Bilder von ihrem Sichtfeld in ihrem jeweiligen Kamerakoordinatensystem auf. Während drei Kameras 105A, B, C dargestellt sind, können die Grundlagen der vorliegenden Erfindung bei einer beliebigen Anzahl von Kameras eingesetzt werden. Es sollte beachtet werden, dass bei alternativen Ausführungsformen verschiedene Anzahlen von Kameras zum Einsatz kommen können. Daher sollte die Beschreibung von drei Kameras als lediglich exemplarisch angesehen werden. Der Roboter umfasst auf beispielhafte Weise eine Roboterbasis 110 und einen Gelenkarm 115 mit einem Endeffektor 120, der an einem äußeren Ende angeordnet ist. Auf beispielhafte Weise wird die Roboterbasis 110 in der Umgebung 100 befestigt. Gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung werden die Aufnahmen der Kamera 105 hinsichtlich der Roboterbasis 110 kalibriert. Dies bedeutet, dass die Roboterbasis 110 als Ursprung für ein Roboterkoordinatensystem zur Verwendung bei einer Kalibrierung dient. Wie Fachleuten bekannt sein wird, kann der Roboter wiederholbare Bewegungen seines Endeffektors in Posen hinsichtlich der Roboterbasis ausführen. Beispielhafte Ausführungsformen der vorliegenden Erfindung ermöglichen eine robuste Kalibrierung eines Bildverarbeitungssystems auf das Roboterkoordinatensystem.
  • Der Gelenkarm 115 wird auf beispielhafte Weise mit drei Abschnitten dargestellt. Es sollte jedoch beachtet werden, dass bei alternativen Ausführungsformen abweichende Anzahlen von Abschnitten zum Einsatz kommen können. Daher sollte die Beschreibung eines Gelenkarms 115 mit drei Abschnitten als lediglich exemplarisch angesehen werden. Es gibt neben einem Gelenkarm viele andere Möglichkeiten zur Positionierung eines Endeffektors: alternative Stellglieder zur Positionierung eines Endeffektors beinhalten Kombinationen aus Linearführungen, Stuart-Plattformen etc. Ferner kann der Endeffektor 120 eine beliebige Art von aus dem Stand der Technik bekannten Endeffektoren umfassen, bspw. mechanische, elektromagnetische, Vakuumsauger etc. Gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung wird die Kalibrierplatte 125 am Endeffektor 120 befestigt. Die Kalibrierplatte kann eine herkömmliche, üblicherweise bei Bildverarbeitungssystemen verwendete Kalibrierplatte umfassen. Exemplarische Kalibrierplatten werden von der Cognex Corporation aus Natick, MA, (USA) vertrieben. Eine exemplarische Kalibrierplatte ist das Modell Nr. 320-5029R der Cognex Corporation. Alternative Kalibrierplatten und Verfahren zum Messen von Merkmalen werden in der US-Patentschrift Nr. 6,137,893 A beschrieben. Alternative Kalibrierplatten und Verfahren zum Messen von Merkmalen werden in der US-Patentschrift Nr. 6,816,187 B1 beschrieben. Alternative Kalibrierplatten und Messmerkmale werden im Aufsatz „A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses” von Roger Y. Tsai, veröffentlicht im IEEE Journal of Robotics and Automation, Volume RA-3, No. 4, Seiten 323–344, beschrieben, dessen Inhalte hierin unter Bezugnahme aufgenommen sind.
  • Es sollte jedoch beachtet werden, dass gemäß alternativen Ausführungsformen der vorliegenden Erfindung abweichende Arten von Kalibrierplatten zum Einsatz kommen können. Ein Beispiel einer Kalibrierplatte könnte ein Anzeigegerät, auf dem ein Kalibriermuster angezeigt wird, sein. Ein weiteres Beispiel für eine Kalibrierplatte könnte ein Anzeigegerät sein, auf dem ein wechselndes Muster angezeigt wird – so dass eine Vielzahl von Bildern von den verschiedenen Mustern des Anzeigegerätes aufgenommen werden könnte – und die Zusammensetzung der Ergebnisse könnte als eine einzige Aufnahme einer Kalibrierplatte untersucht werden. Daher sollten die in der oben genannten US-Patentanmeldung beschriebenen Kalibrierplatten als lediglich exemplarisch angesehen werden. Die Kalibrierplatte 125 wird so am Endeffektor 120 befestigt, dass ein Verrutschen während der Bewegung des Endeffektors verhindert wird. Wie weiter unten beschrieben, werden der Gelenkarm 115 und der Endeffektor 120 in eine Vielzahl von Posen in den Sichtfeldern der Kameras 105 bewegt. Es sollte beachtet werden, dass die Kalibrierplatte anstatt am Endeffektor alternativ an einem beliebigen Abschnitt des Stellglieds angebracht werden kann, obwohl bei diesem alternativen Aufbau die vorgegebenen Roboterposen mit der Lage der entsprechenden Position am Stellglied übereinstimmen sollten. Bilddaten, die aus der Vielzahl von Posen bezogen werden, werden anschließend gemäß der Lehre der beispielhaften Ausführungsformen der vorliegenden Erfindung eingesetzt, um Kalibrierungstransformationen zu erstellen.
  • 2 ist eine schematische Darstellung einer exemplarischen Umgebung 200 zur Bildverarbeitungs-Roboter-Kalibrierung, bei der eine Vielzahl von Kameras gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung am Gelenkarm eines Roboters befestigt ist. Eine Kalibrierplatte 125 ist in der Umgebung 200 befestigt. Auf beispielhafte Weise wird die Kalibrierplatte so befestigt, dass sie während des Kalibriervorgangs gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung nicht bewegt werden kann. Eine Roboterbasis 110 ist ebenso in der Umgebung 200 befestigt. Ein Gelenkarm 115 ist mit der Roboterbasis 110 verbunden und ein Endeffektor 120 ist am äußersten Ende des Gelenkarms 115 angeordnet. Am Ende des Gelenkarms 115 sind eine Vielzahl von Kameras 205A, B, C befestigt. Die Kameras 205 sind auf beispielhafte Weise am Gelenkarm 115 und/oder am Endeffektor 120 befestigt. Die Kameras 205 sind starr befestigt, sodass sie nicht unabhängig vom Gelenkarm 115 und/oder dem Endeffektor 120 bewegt werden können. Es sollte beachtet werden, dass gemäß den Grundlagen der beispielhaften Ausführungsformen der vorliegenden Erfindung eine beliebige Anzahl von Kameras 205 zum Einsatz kommen kann. Daher sollte die Beschreibung von zwei eingesetzten Kameras 205A, B als lediglich exemplarisch angesehen werden. Wie weiter unten in Bezug auf 4 beschrieben, werden der Gelenkarm 115 und/oder der Endeffektor 120 in eine Vielzahl von Posen bewegt und es werden Bilder von der Kalibrierplatte 125 aufgenommen.
  • Es sollte beachtet werden, dass gemäß den Grundlagen der beispielhaften Ausführungsformen der vorliegenden Erfindung die Kameras anstatt am Endeffektor alternativ an einem beliebigen Abschnitt des Stellglieds angebracht werden könnten, obwohl in diesem alternativen Aufbau die vorgegebenen Roboterposen mit der Lage der entsprechenden Position am Stellglied übereinstimmen sollten. Des Weiteren können bei diesem alternativen Aufbau verschiedene Kameras an verschiedenen Abschnitten des Stellglieds angebracht werden. Aus den aufgenommenen Bildern können Kalibrierinformationen bezogen oder berechnet werden, um ein Steuerungssystem zu ermöglichen (nicht dargestellt), weiter unten in Bezug auf 5 beschrieben, um den Roboter hinsichtlich der Roboterbasis-Koordinaten zu steuern.
  • B. Kalibrierung mittels befestigter (ortsfester) Kameras
  • Auf beispielhafte Weise wird für die Hand-Augen-Kalibrierung für den Fall von einer oder mehreren ortsfesten Kameras ein Kalibrierobjekt wie etwa eine Kalibrierplatte starr entweder am Gelenkarm des Roboters und/oder am Endeffektor befestigt, und der Roboter wird in verschiedene Posen bewegt, so dass sich das Kalibrierobjekt im Sichtfeld von einer oder mehreren Kameras befindet. Die aufgenommenen Bilder des Kalibrierobjekts werden in Verbindung mit den Roboterposen erfasst.
  • Für den Fall einer einzigen ortsfesten Kamera wird die Hand-Augen-Kalibrierung auf beispielhafte Weise durch die Abschätzung von zwei Transformationen durchgeführt: (1) das Koordinatensystem des Roboters hinsichtlich des Weltkoordinatensystems des Bildverarbeitungssystems und (2) die Transformation zwischen der Lage des Kalibrierobjekts und der Pose des Endeffektors. Es wird davon ausgegangen, dass die Kameras sowohl für extrinsische als auch für intrinsische Parameter vorkalibriert sind und dass die Kamerakalibrierung während und nach der Hand-Augen-Kalibrierung gleich bleibt. Da die Kamerakalibrierung eine Transformation zwischen der Lage der Kamera und dem Weltkoordinatensystem des Bildverarbeitungssystems beinhaltet, umfasst eine Abschätzung des Weltkoordinatensystems des Bildverarbeitungssystems im Wesentlichen eine Abschätzung der Lage der Kamera, da die Kameralage durch die gleichbleibende Kamerakalibrierungstransformation mit dem Weltkoordinatensystem des Bildverarbeitungssystems verbunden ist.
  • Es muss beachtet werden, dass die für die Hand-Augen-Kalibrierung aufgenommenen Bilder für die Kalibrierung der Kameras genutzt werden könnten (d. h. für die Bestimmung der extrinsischen und intrinsischen Parameter), und auf diese Art und Weise müssten die Kameras nicht vor der Hand-Augen-Kalibrierung kalibriert werden, da der Hand-Augen-Kalibrierungs-Vorgang auf beispielhafte Weise eine Kamerakalibrierung als ersten Schritt beinhalten kann.
  • Da die Kamera und die Roboterbasis während des Hand-Augen-Kalibrierungs-Vorgangs fest an Ort und Stelle bleiben, sollten sowohl das Koordinatensystem des Roboters als auch das Koordinatensystem des Bildverarbeitungssystems gleich bleiben. Daher sollte es nur eine Transformation zwischen dem Koordinatensystem des Roboters und dem Koordinatensystem des Bildverarbeitungssystems geben. Gleichermaßen, da das Kalibrierobjekt während des Hand-Augen-Kalibrierungs-Vorgangs fest am Gelenkarm und/oder am Endeffektor angebracht bleibt, sollte es nur eine Transformation geben, die einen Zusammenhang zwischen der Pose des Endeffektors und der Lage des Kalibrierobjekts herstellt.
  • Die Transformation G bildet vom Koordinatensystem des Roboters auf das Koordinatensystem des Bildverarbeitungssystems ab. Die Transformation H bildet vom Kalibrierobjekt auf die Pose des Endeffektors ab. Es wird davon ausgegangen, dass die Kameras so kalibriert wurden, dass die Abbildung P von 3D-Punkten in Koordinaten des Bildverarbeitungssystems auf 2D-Punkte in einem aufgenommenen Bild abbildet. Es wird davon ausgegangen, dass die Kamerakalibrierung und die entsprechende Abbildung P während und nach dem Hand-Augen-Kalibrierungs-Vorgang gleich bleiben. Die Transformation Ri bildet von der Pose des Endeffektors (in Schritt i) auf das Roboterkoordinatensystem ab. Der Term x(i, u, v, w) soll sich auf die x-Koordinate der Bildmerkmalsposition beziehen, die von einem Bildmerkmals-Extraktor in Schritt i beobachtet wurde, entsprechend physikalischen Koordinaten (u, v, w) am Kalibrierobjekt. Der Term y(i, u, v, w) soll sich auf die y-Koordinate der Bildmerkmalsposition beziehen, die von einem Bildmerkmals-Extraktor in Schritt i beobachtet wurde, entsprechend physikalischen Koordinaten (u, v, w) am Kalibrierobjekt. Daher ist (x(i, u, v, w), y(i, u, v, w)) eine 2D-Position eines gefundenen Merkmals in einem aufgenommenen Bild. Diese 2D-Position in einem aufgenommenen Bild entspricht der 3D-Position (u, v, w) am Kalibrierobjekt. Die 3D-Position (u, v, w) am Kalibrierobjekt entspricht der 3D-Position H·(u, v, w) am Endeffektor. Die 3D-Position H·(u, v, w) am Endeffektor entspricht der 3D-Position Ri·H·(u, v, w) im Koordinatensystem des Roboters. Die 3D-Position Ri·H·(u, v, w) im Koordinatensystem des Roboters entspricht der 3D-Position G·Ri·H·(u, v, w) im Koordinatensystem des Bildverarbeitungssystems. Die 3D-Position G·Ri·H·(u, v, w) entspricht der 2D-Position P(G·Ri·H·(u, v, w)) im aufgenommenen Bild. Jede 2D-Position (x(i, u, v, w), y(i, u, v, w)) eines gefundenen Merkmals im aufgenommenen Bild entspricht einer erwarteten 2D-Position P(G·Ri·H·(u, v, w)). Für jede gefundene 2D-Merkmalsposition kann die gefundene 2D-Merkmalsposition mit der erwarteten 2D-Position verglichen werden, um eine Abweichung P(G·Ri·H·(u, v, w)) – (x(i, u, v, w), y(i, u, v, w)) in Bildkoordinaten zu erstellen. Die Summe aller Quadrat-Abweichungen lautet: Σ|P(G·Ri·H·(u, v, w)) – (x(i, u, v, w), y(i, u, v, w))|2 ist die kombinierte Abweichung zwischen den tatsächlich gemessenen Daten und den erwarteten Daten. Gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung wird die Hand-Augen-Kalibrierung durch die Auflösung der Parameter G und H verfeinert, die die minimale Rest-Quadratsumme zwischen den tatsächlich gemessenen Daten und den erwarteten Daten zur Folge haben. Es muss beachtet werden, dass H sechs Freiheitsgrade (6DOF) beinhaltet, um die Transformation zwischen dem Koordinatensystem des Bildverarbeitungssystems und dem Roboterkoordinatensystem (3 Freiheitsgrade der Translation und 3 Freiheitsgrade der Rotation) zu parametrisieren. Es muss beachtet werden, dass G sechs Freiheitsgrade (6DOF) beinhaltet, um die Transformation zwischen dem physikalischen Kalibrier-Koordinatensystem, das vom Kalibrierobjekt definiert wird, und dem Endeffektor-Koordinatensystem (3 Freiheitsgrade der Translation und 3 Freiheitsgrade der Rotation) zu parametrisieren.
  • Ga, Gb, Gc, Gx, Gy, Gz sollen sich auf eine 6-Variablen-Parametrisierung von G und Ha, Hb, Hc, Hx, Hy, Hz auf eine 6-Variablen-Parametrisierung von H beziehen. E(Ga, Gb, Gc, Gx, Gy, Gz, Ha, Hb, Hc, Hx, Hy, Hz| gemessene Bildmerkmalspositionen und entsprechende Kalibrierpositionen und entsprechende Roboterposen) soll sich auf die Fehlerfunktions-Quadratsumme beziehen, die von den 12 Variablen Ga, Gb, Gc, Gx, Gy, Gz, Ha, Hb, Hc, Hx, Hy, Hz sowie von den gemessenen Bildmerkmalspositionen und den entsprechenden Kalibrierpositionen und den entsprechenden Roboterposen abhängt. E kann auf der Grundlage von iterativen Additionen der einzelnen Ergebnisse von P(G·Ri·H·(u, v, w)) – (x(i, u, v, w), y(i, u, v, w))|2 numerisch berechnet werden.
  • Bei einer beispielhaften Ausführungsform werden die Hand-Augen-Kalibrierparameter zuerst mittels einer Variante des Verfahrens von Tsai und Lenz grob abgeschätzt. Die Technik, die im Aufsatz „Hand Eye Calibration Using Dual Quaternions” von Daniiliidis, veröffentlicht im International journal of Robotics Research, Volume 18, No. 3, Seiten 286–298, beschrieben wird, dessen Inhalte hierin unter Bezugnahme aufgenommen sind, wird auf beispielhafte Weise eingesetzt, um die Hand-Augen-Kalibrierparameter grob abzuschätzen. Bei alternativen Ausführungsformen könnte der Benutzer grobe Abschätzungen der Hand-Augen-Kalibrierparameter manuell eingeben. Bei anderen alternativen Ausführungsformen könnte ein Computerprogramm eine Vielzahl von groben Abschätzungen von Hand-Augen-Kalibrierparametern zählen, jede dieser groben Abschätzungen verfeinern und die verfeinerten Hand-Augen-Kalibrierparameter auswählen, die den geringsten Rest zur Folge haben.
  • Auf beispielhafte Weise verfeinern beispielhafte Ausführungsformen der vorliegenden Erfindung die Parameterwerte durch Verwendung von Gradientenabstiegs-Techniken weiter, um die Parameterwerte zu finden, die E minimieren. Die Parametrisierungen der 3D-Rotationen von G und H verwenden die groben Abschätzungen der Transformationen entsprechend der Hand-Augen-Kalibrierung. Quaternionen sind ein bekanntes und effizientes Verfahren zur Parametrisierung des Raums von 3D-Rotationen, allerdings haben sie den Nachteil, dass sie 4 Parameter beinhalten: s0, s1, s2, s3. Erfreulicherweise werden Quaternionen hinsichtlich projektiver Koordinatensysteme so definiert, dass ein Anpassen aller 4 Werte r·s0, r·s1, r·s2, r·s3 die 3D-Rotation nicht beeinflusst. Folglich kann eine 1-Variablen-befestigte Koordinatendarstellung dort definiert werden, wo einer der vier Quaternionen-Werte bei 1 oder –1 fest vorgegeben ist und die anderen drei Quaternionen-Koordinaten den 3 Parametern entsprechen. Diese Parametrisierung ist gültig, da die näherungsweise 3D-Rotation von den groben Abschätzungen her bekannt ist und daher die Auswahl der Quaternion-Koordinate, die fest als 1 oder –1 vorgegeben werden soll, entsprechend getroffen werden kann.
  • Insbesondere wird die Levenberg-Marquadt-Optimierungstechnik auf beispielhafte Weise eingesetzt, um die Gradientenabstiegs-Technik durchzuführen, mit dem Ziel, das globale Minimum zu finden, indem die Tatsache genutzt wird, dass die partiellen Ableitungen der Fehlerfunktion in einem lokalen Extremum 0 betragen werden und dass die Levenberg-Marquadt-Technik eine gleichzeitige Lösung für ein Gleichungssystem numerisch berechnet, was in diesem Fall die Reihe von partiellen Ableitungen ist: dE/dGa, dE/dGb, dE/dGc, dE/dGx, dE/dGy, dE/dGz, dE/dHa, dE/dHb, dE/dHc, dE/dHx, dE/dHy, dE/dHz. Es muss beachtet werden, dass, da EO eine Funktion aus Ga, Gb, Gc, Gx, Gy, Gz, Ha, Hb, Hc, Hx, Hy, Hz ist, alle ihre partiellen Ableitungen Funktionen von Ga, Gb, Gc, Gx, Gy, Gz, Ha, Hb, Hc, Hx, Hy, Hz sein können.
  • Um die Levenberg-Marquadt-Technik zu nutzen, müssen partielle Ableitungen von E bei willkürlichen Parameterwerten berechnet werden. Der Term Vektor J soll sich auf eine willkürliche Auswahl von Parameterwerten beziehen. Die partiellen Ableitungen ersten Grades von E können hinsichtlich jeder der unabhängigen Variablen numerisch abgeschätzt werden, indem der Unterschied zwischen der bei der Konfiguration J berechneten E und der bei einer naheliegenden Konfiguration berechneten E berechnet wird, welche symmetrisch um die Konfiguration J sind und sich lediglich leicht in einer der Variablen unterscheiden, und anschließend wird mittels des Unterschieds zwischen den Variabelwerten in den symmetrischen Konfiguration dividiert. Beispielsweise können die partiellen Ableitungen von E hinsichtlich Gc bei der Konfiguration J berechnet werden, indem das Verhältnis zwischen dem Unterschied der E-Werte und dem Unterschied bei der Variablen, (E(GaJ, GbJ, GcJ + d, GxJ, GyJ, GzJ, HaJ, HbJ, HcJ, HxJ, HyJ, HzJ) – E(GaJ, GbJ, GcJ – d, GxJ, GyJ, GzJ, HaJ, HbJ, HcJ, HxJ, HyJ, HzJ))/(2d), berechnet wird. Auf beispielhafte Weise wird ein Wert von 10^–4 für d eingesetzt, obwohl andere Ausführungsformen unterschiedliche Werte für d verwenden könnten. Bei einer alternativen Ausführungsform könnten die partiellen Ableitungen von E hinsichtlich einer Variablen bei der Konfiguration J berechnet werden, indem asymmetrische Beispielkonfigurationen verwendet werden, wie etwa die Berechnung des Verhältnisses zwischen dem Unterschied der E-Werte und dem Unterschied bei der Variablen, (E(GaJ, GbJ, GcJ + d, GxJ, GyJ, GzJ, HaJ, HbJ, HcJ, HxJ, HyJ, HzJ) – E(GaJ, GbJ, GcJ, GxJ, GyJ, GzJ, HaJ, HbJ, HcJ, HxJ, HyJ, HzJ))/d.
  • Eine alternative Ausführungsform könnte die partiellen Ableitungen von E hinsichtlich der Variablen analytisch berechnen, indem ein analytischer Ausdruck für die Fehlerfunktion E erstellt wird und anschließend die symbolischen Ableitungen berechnet werden. Die symbolisch berechnete Ableitung könnte genauer sein als die numerisch berechnete Ableitung – und würde ebenso nicht erfordern, dass der Benutzer eine Schrittgröße für die Berechnung einer numerischen Ableitung wählt. Zuerst wird eine generische algebraische Fehlerfunktion formuliert, die den Fehler zwischen einer 2D-Bildmerkmalsposition und der entsprechenden 3D-Kalibriermerkmalsposition und der Roboterpose als multivariaten algebraischen Ausdruck von unbekannten Parametern charakterisiert.
  • Das Levenberg-Marquadt-Optimierungsverfahren umfasst intern die Optimierung der partiellen Ableitungen des Gleichungssystems. Das Gleichungssystem besteht aus partiellen Ableitungen einer Fehlerfunktion, so dass die partiellen Ableitungen, die die Levenberg-Marquadt-Technik verwendet, partielle Ableitungen zweiten Grades der E-Funktion sind. Die partiellen Ableitungen zweiten Grades können numerisch abgeschätzt werden hinsichtlich zweier Variablen durch die numerische Berechnung des Verhältnisses zwischen dem Unterschied bei partiellen Ableitungen dE/dvar (unterschieden in einer kleinen Menge in einer der Variablen) und diese kleine Menge beträgt: Beispielsweise kann die partielle Ableitung zweiten Grades von E hinsichtlich Gc hinsichtlich Gc bei der Konfiguration J berechnet werden, indem (dE/dvar (GaJ, GbJ, GcJ + e, GxJ, GyJ, GzJ, HaJ, HbJ, HcJ, HxJ, HyJ, HzJ) – dE/dvar (GaJ, GbJ, GcJ, GxJ, GyJ, GzJ, HaJ, HbJ, HcJ, HxJ, HyJ, HzJ))/e berechnet wird. Bei einer beispielhaften Ausführungsform werden ein Maximum von 100 Wiederholungen, ein Wert von 10^–4 für e und ein Wert von 10^–2 für Lambda und ein Wert von 10^–6 für d für die Levenberg-Marquadt-Optimierung eingesetzt. Die Variable Lambda wird üblicherweise in Bezug auf den Dämpfungsfaktor für Levenberg-Marquadt-Verfahren verwendet.
  • Es muss beachtet werden, dass dieses Hand-Augen-Kalibrierverfahren ausdrücklich die Einschränkung enthält, dass es nur eine einzige 6DOF-Transformation zwischen jeder Kamera und dem Endeffektor gibt, während die Einschränkung enthalten ist, dass es nur eine einzige 6DOF-Transformation zwischen dem Roboterkoordinatensystem und dem physikalischen Koordinatensystem, das vom Kalibrierobjekt definiert wird, gibt. Dem liegt zugrunde, dass dieses Hand-Augen-Kalibrierverfahren die 6DOF-Transformation zwischen jeder Kamera und dem Endeffektor sowie die 6DOF-Transformation zwischen dem Roboterkoordinatensystem und der Kalibrierplatte parametrisiert. Da diese Einschränkungen das tatsächliche physikalische System genau widerspiegeln, sorgt die Einbindung dieser Einschränkungen in das Hand-Augen-Kalibrierverfahren für genauere Hand-Augen-Kalibriermodelle als Hand-Augen-Kalibrierverfahren, die diese Einschränkungen nicht enthalten.
  • Ein weiterer Aspekt von Ausführungsformen der vorliegenden Erfindung beinhaltet die gleichzeitige Kalibrierung für die Lage einer Vielzahl von Kameras und die Lage des Kalibrierobjekts hinsichtlich des Endeffektors. Bei diesem Aspekt der Erfindung wird die Lage jeder Kamera separat mittels 6 Parametern für jede Kamera parametrisiert. Dadurch beinhaltet das Gesamtsystem für die Hand-Augen-Kalibrierung von n Kameras 6·n + 6 Parameter, von denen 6·n Parameter für die n Kameras sind und 6 Parameter für die Lage des Kalibrierobjekts hinsichtlich des Endeffektors. Die Hand-Augen-Kalibrierung kann an einer Vielzahl von Kameras durchgeführt werden, indem ein unterschiedliches Bildverarbeitungs-Koordinatensystem für jede Kamera untersucht wird. Dies ist plausibel, da eine spezifische Kamerakalibrierung für jede Kamera angenommen wird, und eine leicht unterschiedliche Lage des Bildverarbeitungs-Koordinatensystems entspricht einer leicht unterschiedlichen Lage jeder Kamera im Vergleich zu der Spezifikation durch die Kamerakalibrierung dieser Kamera. Des Weiteren kann dieser Ansatz der Charakterisierung eines unterschiedlichen Bildverarbeitungs-Koordinatensystems für jede Kamera leicht in das Konzept zur Verfeinerung der Hand-Augen-Kalibrierung eingegliedert werden. Im Vergleich zu den 12 Parametern Ga, Gb, Gc, Gx, Gy, Gz, Ha, Hb, Hc, Hx, Hy, Hz, die zur Charakterisierung der Hand-Augen-Kalibrierung für eine einzige Kamera verwendet werden, verwendet die Hand-Augen-Kalibrierung 6·(n + 1) Parameter G1a, G1b, G1c, G1x, G1y, G1z, G2a, G2b, G2c, G2x, G2y, G2z, ... Gna, Gnb, Gnc, Gnx, Gny, Gnz, Ha, Hb, Hc, Hx, Hy, Hz, um die Hand-Augen-Kalibrierung zu charakterisieren.
  • Um die Hand-Augen-Kalibrierung an einem System mit einer Vielzahl von Kameras durchzuführen, soll (xk(i, u, v, w), yk(i, u, v, w)) eine 2D-Position eines gefundenen Merkmals in einem aufgenommenen Bild zugehörig zu Kamera k sein. Diese 2D-Position in einem aufgenommenen Bild entspricht der 3D-Position (u, v, w) am Kalibrierobjekt. Die SD-Position (u, v, w) am Kalibrierobjekt entspricht der 3D-Position H·(u, v, w) am Endeffektor. Die 3D-Position H·(u, v, w) am Endeffektor entspricht der 3D-Position Ri·H·(u, v, w) im Koordinatensystem des Roboters. Die 3D-Position Ri·H·(u, v, w) im Koordinatensystem des Roboters entspricht der 3D-Position Gk·Ri·H·(u, v, w) im Koordinatensystem des Bildverarbeitungssystems der Kamera k. Die 3D-Position Gk·Ri·H·(u, v, w) entspricht der 2D-Position Pk(Gk·Ri·H·(u, v, w)) im von Kamera k aufgenommenen Bild. Jede (xk(i, u, v, w), yk(i, u, v, w)) ist eine 2D-Position eines gefundenen Merkmals im aufgenommenen Bild und entspricht einer erwarteten 2D-Position Pk(Gk·Ri·H·(u, v, w)). Für jede gefundene 2D-Merkmalsposition kann die gefundene 2D-Merkmalsposition mit der erwarteten 2D-Position verglichen werden, um eine Abweichung Pk(Gk·Ri·H·(u, v, w)) – (xk(i, u, v, w), yk(i, u, v, w)) zu erstellen. Das Quadrat dieser Abweichung lautet |Pk(Gk·Ri·H·(u, v, w)) – (xk(i, u, v, w), yk(i, u, v, w))|2. Die Summe von all diesen Abweichungen im Quadrat lautet Σ|Pk(Gk·Ri·H·(u, v, w)) – (xk(i, u, v, w), yk(i, u, v, w))|2.
  • Bei einer beispielhaften Ausführungsform wird die Aufnahme von Bildern und die Positionierung des Kalibrierobjekts so vorgesehen, dass die Lage des Kalibrierobjekts, die das Bildverarbeitungs-Koordinatensystem definiert, verwendet wird, um eines der Bilder für die Hand-Augen-Kalibrierung aufzunehmen. Auf beispielhafte Weise wird dies erreicht, indem die für die Hand-Augen-Kalibrierung aufgenommenen Bilder als Bilder für die Kamerakalibrierung verwendet werden, wobei eines der für die Hand-Augen-Kalibrierung verwendeten Bilder das Bild ist, das zur Definierung des Bildverarbeitungs-Koordinatensystems für die Kamerakalibrierung verwendet wird. Alternativ wird dies erreicht, indem die Bilder für die Hand-Augen-Kalibrierung zuerst aufgenommen werden, und anschließend, während das Kalibrierobjekt in derselben Lage belassen wird, das erste aufgenommene Bild zur Kamerakalibrierung als das Bild zur Definition des Bildverarbeitungs-Koordinatensystems verwendet wird.
  • 3 ist ein Flussdiagramm, das die Schritte eines exemplarischen Vorgangs 300 zur Durchführung einer Bildverarbeitung für die Roboterkalibrierung detailliert beschreibt, wobei gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung befestigte Kameras eingesetzt werden. Der Vorgang 300 beginnt mit Schritt 305 und wird mit Schritt 310 fortgeführt, wobei eine oder mehrere Kameras im Raum befestigt werden. Wie oben angemerkt wurde, können beispielhafte Ausführungsformen der vorliegenden Erfindung gleichzeitig eine Vielzahl von Kameras kalibrieren. Auf beispielhafte Weise werden die Kameras, die zur Kalibrierung eingesetzt werden, in der Umgebung befestigt, in der sie eingesetzt werden sollen, auf eine Art und Weise, dass nicht anzunehmen ist, dass sie sich bewegen werden. Die Kalibrierplatte wird in Schritt 315 am Endeffektor des Gelenkarms befestigt. Bei alternativen Ausführungsformen kann die Kalibrierplatte an einem der Abschnitte des Gelenkarms anstatt am Endeffektor befestigt sein. Daher sollte die Beschreibung der am Endeffektor befestigten Kalibrierplatte als lediglich exemplarisch angesehen werden.
  • Der Endeffektor wird anschließend in eine Vielzahl von Posen bewegt und in Schritt 320 werden Bilder von der Kalibrierplatte in jeder der Vielzahl von Posen aufgenommen. Auf beispielhafte Weise beinhaltet die Bewegung zwischen diesen Posen Rotationen um zumindest zwei nicht parallele Achsen. Ferner, um bessere Kalibrierinformationen zu erhalten, sollte der Rotationswinkel zumindest 5° betragen. Dies ist keine festgelegte Regel; jedoch können mit größeren Rotationen oder Bewegungen zwischen verschiedenen Posen bessere Ergebnisse erzielt werden.
  • Eine Bildmerkmals-Extraktionstechnik wird anschließend an den aufgenommenen Bildern ausgeführt, um in Schritt 325 Merkmale an der Kalibrierplatte zu extrahieren. Auf beispielhafte Weise werden im Merkmalsextraktions-Schritt Techniken wie die von der Cognex Corporation als Merkmalsdetektor vertriebene Technik eingesetzt. Alternative Verfahren zur Messung von Merkmalen werden in der US-Patentschrift Nr. US 6,137,893 A beschrieben. Alternative Verfahren zur Messung von Merkmalen werden in der US-Patentschrift Nr. US 6,816,187 B1 beschrieben. Alternative Verfahren zur Messung von Merkmalen werden in „A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses” von Roger Y. Tsai, IEEE Journal of Robotics and Automation, Volume RA-3, No. 4, Seiten 323–344, beschrieben. Jedoch sollte beachtet werden, dass in alternativen Ausführungsformen verschiedene Merkmalsextraktions-Techniken eingesetzt werden können. Daher sollte die Beschreibung des Einsatzes von Techniken, die in den oben genannten US-Patenten beschrieben werden, als lediglich exemplarisch angesehen werden. Des Weiteren können bei alternativen Ausführungsformen der vorliegenden Erfindung bei der Merkmalsextraktion abweichende Techniken eingesetzt werden, einschließlich beispielsweise der Verwendung von dreidimensionalen Merkmalen aus einer dreidimensionalen Kamera, einer Range-Imaging-Kamera, einer Kombination aus strukturierter Belichtung und einer Kamera, die zusammenwirken, um dreidimensionale Informationen zu liefern, einer thermischen Merkmalsdetektion mittels wärmeempfindlicher Kameras etc. Beispielsweise kann ein Stereo-Kamerasystem eingesetzt werden, in dem zwei oder mehr Kameras die Kalibrierplatte aufnehmen und die 3D-Positionen jedes Merkmals messen.
  • Alternativ könnte ein einziges Sensorelement, das in Verbindung mit einer Vielzahl von bestimmten optischen Pfaden wie etwa nichteinheitlichen Linsen, Spiegeln oder holographischen Linsenelementen verwendet wird, als eine Vielzahl von einzelnen Kameras gelten. Alternativ könnte eine Vielzahl von Sensorelementen, die sich einen optischen Pfad teilen, als eine einzige Kamera gelten.
  • Daher sollte die Beschreibung der Merkmalsdetektion mittels herkömmlicher Bildverarbeitungssysteme als lediglich exemplarisch angesehen werden.
  • Für jede der Kameras werden anschließend in Schritt 330 Kalibrierplattenlagen (die Lagen der Kalibrierplatte hinsichtlich jeder Kamera) berechnet. Dies bedeutet, dass durch den Einsatz einer Reihe von intrinsischen Daten und Entsprechungen zwischen bekannten Merkmalspositionen und beobachteten Merkmalspositionen die Lage der Kamera hinsichtlich der Kalibrierplatte berechnet wird. Dieser Schritt geht von der Annahme aus, dass die intrinsischen Parameter der Kamera vorkalibriert wurden. Jedoch können bei einer alternativen Ausführungsform die Kameras mittels der gesammelten Daten kalibriert werden, wodurch ein Vorgang aus zwei Schritten nicht mehr erforderlich ist, in dem zuerst die Kameras kalibriert werden und anschließend die Kalibrierung zwischen dem Bildverarbeitungssystem und dem Roboter durchgeführt wird. Die Kamerakalibrierung kann mittels bekannten Techniken wie denjenigen, die in der US-Patentschrift Nr. US 6,816,187 B1 beschrieben werden, durchgeführt werden. Alternativ kann die Kamerakalibrierung mittels der Technik, die in „A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses” von Roger Y. Tsai, veröffentlicht im IEEE Journal of Robotics and Automation, Volume RA-3, No. 4, Seiten 323–344, beschrieben wird, durchgeführt werden. Es sollte beachtet werden, dass bei alternativen Ausführungsformen der vorliegenden Erfindung abweichende Arten von Kamerakalibrierung eingesetzt werden können. Daher sollte die Beschreibung der Kamerakalibrierung mittels der oben genannten US-Patentanmeldung als lediglich exemplarisch angesehen werden.
  • Die aufgenommenen Bilder sowie die entsprechenden Roboterposen werden anschließend in Schritt 335 vorverarbeitet. Diese Vorverarbeitung dokumentiert auf beispielhafte Weise die Bewegungen für die Platte und den Roboter. Jedes aus Bild und Roboterpose bestehende Paar wird anschließend erfasst, um die Bewegungen zu maximieren. Mit jeder Plattenlage, die in Schritt 330 mit den vorkalibrierten Kameraparametern berechnet wurde, wird die Bewegung zwischen jeweils zwei Plattenlagen berechnet. Gleichermaßen wird die Bewegung zwischen zwei Roboterposen berechnet. Alle Paare von Platten- und Roboterbewegungen werden anschließend berechnet, und die Paare, deren Abweichungen über einen vorbestimmten Grenzwert hinausgehen, werden auf beispielhafte Weise als Ausreißer gekennzeichnet und aus den Bewegungspaaren entfernt.
  • Für ein Paar aus Roboter- und Kalibrierplattenbewegung sollten die Rotationswinkel bei der Darstellung ihrer Rotationen mittels einer entsprechenden Rotation um eine einzige Achse oder bei Darstellung der Bewegungen mittels Schraubbewegungen in idealem Zustand gleich sein. Folglich kann der Unterschied der Rotationswinkel zwischen Roboterbewegung und Kalibrierplattenbewegung des gleichen Paares als die Abweichung verwendet werden. Die Erfassung ermöglicht es dem System, einheitliche Bewegungen aus Posen mit willkürlicher Anordnung abzuleiten und Bewegungen mit wesentlichen Rotationen zu verwenden, was zu stabileren, genaueren und robusteren Kalibrierfestlegungen führt.
  • Das Kalibriersystem löst anschließend das lineare System auf, um in Schritt 340 Transformationen in Roboterbasiskoordinaten zu bestimmen. Wie oben beschrieben, wird hier auf beispielhafte Weise eine Variante der Technik von Tsai und Lenz eingesetzt. Es sollte beachtet werden, dass die Schritte 330–340 bei alternativen Ausführungsformen der vorliegenden Erfindung optional sein können.
  • Bei einer alternativen Ausführungsform werden erste Abschätzungen der Kamera-Roboter-Transformation(en) und der Endeffektor-Kalibrierpositions-Transformationen in Schritt 342 erzielt. Die Transformationen werden anschließend in Schritt 345 verfeinert. Die Verfeinerung basiert auf der Minimierung der Summe von allen Abweichungen im Quadrat zwischen den erwarteten 2D-Bildmerkmalspositionen und den oben genannten gefundenen Merkmalspositionen. Alternativ kann die erste Abschätzung für die Transformation vom Endeffektor zur Kalibrierplatte und die Transformation von jeder Kamera zum Roboterbasissystem zuerst mittels einer unabhängigen Verfeinerung weiterentwickelt werden, die die Abweichungen unter den gemeldeten Roboterposen und den berechneten Roboterposen mittels der Transformationen minimiert. Anschließend können die verfeinerten Transformationen in die auf den 2D-Merkmalspositions-Abweichungen basierende Verfeinerung eingespeist werden. Alternativ kann ein Prüfungsschritt nach der Verfeinerung hinzugefügt werden, um die verfeinerten Ergebnisse nicht zu berücksichtigen, wenn die verfeinerten Ergebnisse hinsichtlich einer festgelegten Prüffunktion keine besseren Ergebnisse bringen als die unverfeinerten Ergebnisse.
  • Die Verfeinerung der Transformationeneinheitlichkeit (Minimierung der Abweichungen unter den gemeldeten Roboterposen und den berechneten Roboterposen mittels der Transformationen) bewirkt ebenso eine gleichzeitige Verfeinerung einer Vielzahl von Kameras, d. h. für eine Vielzahl von befestigten Kameras gibt es nur eine Transformation von der Kalibrierplattenkoordinate zum Koordinatensystem des Roboter-Endeffektors.
  • Ein Beispiel für die Verfeinerung der Transformationeneinheitlichkeit lautet wie folgt:
    Z soll die Transformation vom Kamerakoordinatensystem zum Roboterbasis-Koordinatensystem darstellen. X soll die Transformation vom Kalibrierplatten-System zum Koordinatensystem des Roboter-Endeffektors darstellen. Bi ist die Roboterpose (Transformation vom Koordinatensystem des Roboter-Endeffektors zum Roboterbasis-Koordinatensystem) in Schritt i. Al ist die Lage der Kalibrierplatte (die Transformation vom Kalibrierplatten-Koordinatensystem zum Kamerakoordinatensystem) für eine Kamera in Schritt i. Die Transformation Ai wird bisweilen als die gemessene Transformation bezeichnet. Die Struktur Z_inverse·Bi·X wird bisweilen als die erwartete Transformation bezeichnet. Die folgende Struktur sollte eine Identitäts-Transformation sein (da sie vom Kalibrierplatten-Koordinatensystem zum Kalibrierplatten-Koordinatensystem transformiert). Ai_inverse·Z_inverse·Bi·X
  • Das Ziel der Verfeinerung ist, die Gesamtabweichungen zwischen jeder Ai_inverse·Z_inverse·Bi·X und Identitäts-Transformation für alle Kameras und Bewegungen zu minimieren. Bei der Hand-Augen-Kalibrierungsanwendung basiert eine beispielhafte Methode, den Unterschied zwischen zwei Transformationen (oder zwei Posen) zu berechnen, auf der Verwendung der Dimensionen des Bearbeitungsraums wie folgt. Wenn davon ausgegangen wird, dass das Arbeitsvolumen der Roboter-Bildverarbeitungs-Anwendung durch einen Rahmen dargestellt werden kann, kann der Unterschied zwischen der Transformation X1 und der Transformation X2 durch den Vergleich der Positionen der acht eingetragenen Eckpunkte des Rahmens gemessen werden: v1 bis v8: (X1·vi – X2·vi) i = 1–8
  • Ein beispielhafter Schritt ist die Verwendung der verfeinerten Transformation aus der Verfeinerung der Transformationeneinheitlichkeit und deren Einspeisung in die auf den Bildmerkmalen basierende Verfeinerung. So werden viel bessere erste Abschätzungen zur Verfügung gestellt und die Annäherung der Verfeinerung, die auf der Verwendung der Bildmerkmale basiert, kann beschleunigt werden sowie der Einschluss in lokale Minima vermieden werden.
  • Ein Beispiel für eine Prüffunktion ist die Abweichungs des quadratischen Mittelwerts (RMS) der nach der Verfeinerung berechneten Bildkoordinaten im Vergleich zum quadratischen Mittelwert (RMS) vor der Verfeinerung. In manchen Fällen kann es auftreten, dass die Roboterbewegungen nicht so genau sind wie das Bildverarbeitungssystem und dass die Verfeinerung zu einer Überanpassung der Kamera-Endeffektor-Transformation und der Roboterbasis-Kalibrierplatten-Transformation, die auf den ungenauen Roboterposen basiert, führt. Durch den Vergleich der Restwerte vor und nach der Verfeinerung können wir bestimmen, ob wir die Ergebnisse aus der Verfeinerung annehmen wollen.
  • Ein weiteres Verfahren, um zu bestimmen, ob die Verfeinerung eine Verbesserung darstellt, ist der Vergleich der Abweichung des quadratischen Mittelwerts (RMS) der nach der Verfeinerung berechneten Bildkoordinaten mit dem quadratischen Mittelwert (RMS) der Bildkoordinaten der Kamerakalibrierung. Durch den Vergleich von Restwerten nach der Verfeinerung mit den Restwerten, die der Kamerakalibrierung zugehörig sind, können wir bestimmen, ob wir die Ergebnisse aus der Verfeinerung annehmen wollen.
  • Die Kameras/das Bildverarbeitungssystem werden/wird anschließend in Schritt 350 mit den Transformationen konfiguriert. Die Konfiguration der Kameras/des Bildverarbeitungssystems ermöglicht, dass das System Positionen, die vom Bildverarbeitungssystem hinsichtlich des Roboterbasis-Koordinatensystems aufgenommen wurden, melden kann. Der Vorgang 300 wird anschließend mit Schritt 355 abgeschlossen.
  • C. Kalibrierung mittels Bewegung von (am Roboter angebrachten) Kameras
  • Bei einer beispielhaften Ausführungsform wird/werden die Kamera/s an den Gelenkarm befestigt, so dass sie entsprechend dem Endeffektor transformiert werden kann/können. Ein Kalibrierobjekt wird so positioniert, dass es von den Kameras aufgenommen werden kann, und der Roboterarm/Endeffektor wird in verschiedene Posen bewegt, so dass das Kalibrierobjekt von einer Kamera oder mehreren Kameras aufgenommen wird. Die aufgenommenen Bilder des Kalibrierobjekts werden in Verbindung mit den Roboterposen erfasst.
  • Ähnlich zum Hand-Augen-Kalibrierverfahren für eine einzige ortsfeste Kamera wird die Hand-Augen-Kalibrierung für eine einzige bewegliche Kamera durch die Berechnung von zwei Transformationen durchgeführt: (1) die Transformation zwischen dem Koordinatensystem des Roboters und dem physikalischen Koordinatensystem, das vom Kalibrierobjekt definiert wird, und (2) die Transformation zwischen dem Bildverarbeitungs-Koordinatensystem der Kamera und der Pose des Endeffektors. Da die Roboterbasis und das Kalibrierobjekt während des Vorgangs der Hand-Augen-Kalibrierung ortsfest bleiben, sollte es nur eine Transformation zwischen dem Koordinatensystem des Roboters und dem Kalibrierobjekt geben. Gleichermaßen, da die Kamera während des Vorgangs der Hand-Augen-Kalibrierung fest positioniert hinsichtlich des Endeffektors bleibt, sollte es nur eine Transformation geben, die die Pose des Endeffektors mit der Lage der Kamera in Verbindung setzt.
  • Wiederum, ähnlich dem Hand-Augen-Kalibrierverfahren für eine ortsfeste Kamera (für ortsfeste Kameras), kann die Hand-Augen-Kalibrierung für bewegliche Kameras die Kamerakalibrierung unter Verwendung aller Hand-Augen-Kalibrierungs-Bilder durchführen, so dass die Kameras vor der Hand-Augen-Kalibrierung nicht vorkalibriert werden müssen. Die Transformation G bildet vom Koordinatensystem des Roboters zum Koordinatensystem des Kalibrierobjekts ab. Die Transformation G^–1 bildet vom Koordinatensystem des Kalibrierobjekts zum Koordinatensystem des Roboters ab. Die Transformation H bildet vom Bildverarbeitungs-Koordinatensystem der Kamera zur Endeffektorpose ab. Die Transformation H^–1 bildet von der Endeffektorpose zum Bildverarbeitungs-Koordinatensystem der Kamera ab. Es wird davon ausgegangen, dass die Kameras so kalibriert wurden, dass die Abbildung P von 3D-Punkten in Bildverarbeitungssystem-Koordinaten zu 2D-Punkten in einem aufgenommenen Bild abbildet. Es wird davon ausgegangen, dass die Kamerakalibrierung (intrinsische und extrinsische Parameter) und die entsprechende Abbildung P während und nach dem Vorgang der Hand-Augen-Kalibrierung gleich bleiben. Der Term Ri soll sich auf eine Transformation beziehen, die von der Endeffektorpose (in Schritt i) zum Roboterkoordinatensystem abbildet. Der Term Ri^–1 soll sich auf eine Transformation beziehen, die vom Roboterkoordinatensystem (in Schritt i) zur Endeffektorpose (in Schritt i) abbildet. Der Term x(i, u, v, w) soll sich auf die x-Koordinate der Bildmerkmalsposition in Schritt i entsprechend physikalischen Koordinaten (u, v, w) am Kalibrierobjekt beziehen. Der Term y(i, u, v, w) soll sich auf die y-Koordinate der Bildmerkmalsposition in Schritt i entsprechend der physikalischen Koordinaten (u, v, w) am Kalibrierobjekt beziehen. Jede (x(i, u, v, w), y(i, u, v, w)) ist eine 2D-Position eines gefundenen Merkmals in einem aufgenommenen Bild. Diese 2D-Position in einem aufgenommenen Bild entspricht der 3D-Position (u, v, w) am Kalibrierobjekt. Die 3D-Position (u, v, w) am Kalibrierobjekt entspricht der 3D-Position G^–1·(u, v, w) im Roboterkoordinatensystem. Die 3D-Position G^–1·(u, v, w) im Roboterkoordinatensystem entspricht der 3D-Position Ri^–1·G^–1·(u, v, w) im Koordinatensystem des Endeffektors. Die 3D-Position Ri^–1·G^–1·(u, v, w) im Koordinatensystem des Endeffektors entspricht der 3D-Position H^–1·Ri^–1·G^–1·(u, v, w) im Koordinatensystem des Bildverarbeitungssystems der Kamera. Die 3D-Position H^–1·Ri^–1·G^–1·(u, v, w) entspricht der 2D-Position P(H^–1·Ri^–1·G^–1·(u, v, w)) im aufgenommenen Bild. Jede 2D-Position (x(i, u, v, w), y(i, u, v, w)) eines gefundenen Merkmals im aufgenommenen Bild entspricht einer erwarteten 2D-Position P(H^–1·Ri^–1·G^–1·(u, v, w)). Für jede gefundene 2D-Merkmalsposition wird die gefundene 2D-Merkmalsposition mit der erwarteten 2D-Position verglichen, um eine Abweichung P(H^–1·Ri^–1·G^–1·(u, v, w)) – (x(i, u, v, w), y(i, u, v, w)) zu erstellen. Das Quadrat der Entfernung dieser Abweichung lautet |P(H^–1·Ri^–1·G^–1·(u, v, w)) – (x(i, u, v, w), y(i, u, v, w))|2. Die Summe von allen diesen Abweichungen im Quadrat lautet Σ|P(H^–1·Ri^–1·G^–1·(u, v, w)) – (x(i, u, v, w), y(i, u, v, w))|2 und entspricht der kombinierten Abweichung zwischen den tatsächlich gemessenen Daten und den erwarteten Daten in Bildkoordinaten. Auf beispielhafte Weise wird die Hand-Augen-Kalibrierung berechnet, indem die Parameter G und H aufgelöst werden, die die minimale Rest-Quadratsumme zwischen den tatsächlich gemessenen Daten und den erwarteten Daten bewirken. Die Parameterwerte werden für G und H gelöst, die die Rest-Quadratsumme zwischen den tatsächlich gemessenen Daten und den erwarteten Daten minimieren.
  • Das Hand-Augen-Kalibrierverfahren für bewegliche Kameras, d. h. Kameras, die am Roboter angebracht werden, ist dem Hand-Augen-Kalibrierverfahren für ortsfeste Kameras ähnlich. Wie das Hand-Augen-Kalibrierverfahren für eine einzige ortsfeste Kamera parametrisiert das Hand-Augen-Kalibrierverfahren für eine einzige angebrachte Kamera ebenso das System hinsichtlich 12 Variablen: Ga, Gb, Gc, Gx; Gy, Gz, Ha, Hb, Hc, Hx, Hy, Hz, und berechnet zuerst eine grobe Abschätzung der Hand-Augen-Kalibrierung und verwendet anschließend Optimierungsverfahren wie etwa Gradientenabstieg, um die Parameterabschätzungen zu verfeinern. Wie das Hand-Augen-Kalibrierverfahren für eine einzige ortsfeste Kamera berechnet das Hand-Augen-Kalibrierverfahren für eine einzige bewegliche Kamera ebenso eine Fehlerfunktion E(Ga, Gb, Gc, Gx, Gy, Gz, Ha, Hb, Hc, Hx, Hy, Hz), die die Abweichungssumme im Quadrat zwischen den tatsächlich gemessenen Merkmalspositionen und den erwarteten Merkmalspositionen charakterisiert und die Parameter verfeinert, indem Optimierungsverfahren wie etwa Gradientenabstieg verwendet werden. Wie das Hand-Augen-Kalibrierverfahren für eine einzige ortsfeste Kamera verwendet eine beispielhafte Ausführungsform für das Hand-Augen-Kalibrierverfahren für eine einzige bewegliche Kamera ebenso Levenberg-Marquadt bezüglich des Systems von partiellen Ableitungen der Fehlerfunktion, wobei diese partiellen Ableitungen numerisch berechnet werden.
  • Wie das Hand-Augen-Kalibrierverfahren für eine Vielzahl von ortsfesten Kameras handhabt die beispielhafte Ausführungsform für das Hand-Augen-Kalibrierverfahren für eine Vielzahl von beweglichen Kameras ebenso eine Vielzahl von Kameras, indem jeder Kamera ein unterschiedliches Bildverarbeitungssystem-Koordinatensystem zugehörig ist und indem 6n + 6 Parameter verwendet werden, um die Hand-Augen-Kalibrierung zu charakterisieren (obwohl es in diesem Fall eine G-Transformation und n H-Transformationen gibt) Ga, Gb, Gc, Gx, Gy, Gz, H1a, H1b, H1c, H1x, H1y, H1z, H2a, H2b, H2c, H2x, H2y, H2z, ... Hna, Hnb, Hnc, Hnx, Hny, Hnz, um die Hand-Augen-Kalibrierung zu charakterisieren.
  • Wie das Hand-Augen-Kalibrierverfahren für eine Vielzahl von ortsfesten Kameras bezieht sich bei der beispielhaften Ausführungsform für das Hand-Augen-Kalibrierverfahren für eine Vielzahl von beweglichen Kameras (xk(i, u, v, w), yk(i, u, v, w)) ebenso auf eine 2D-Position eines gefundenen Merkmals in einem aufgenommenen Bild für Kamera k. Diese 2D-Position in einem aufgenommenen Bild entspricht der 3D-Position (u, v, w) am Kalibrierobjekt. Die 3D-Position (u, v, w) am Kalibrierobjekt entspricht der 3D-Position G^–1·(u, v, w) im Roboterkoordinatensystem. Die 3D-Position G^–1·(u, v, w) im Roboterkoordinatensystem entspricht der 3D-Position Ri^–1·G^–1·(u, v, w) im Koordinatensystem des Endeffektors. Die 3D-Position Ri^–1·G^–1·(u, v, w) im Koordinatensystem des Endeffektors entspricht der 3D-Position Hk^–1·Ri^–1·G^–1·(u, v, w) im Koordinatensystem des Bildverarbeitungssystems der Kamera k. Die 3D-Position Hk^–1·Ri^–1·G^–1·(u, v, w) entspricht der 2D-Position Pk(Hk^–1·Ri^–1·G^–1·(u, v, w)) im von Kamera k aufgenommenen Bild. Jede 2D-Position (xk(i, u, v, w), yk(i, u, v, w)) eines gefundenen Merkmals im aufgenommenen Bild entspricht einer erwarteten 2D-Position Pk(Hk^–1·Ri^–1·G^–1·(u, v, w)). Für jede gefundene 2D-Merkmalsposition wird die gefundene 2D-Merkmalsposition mit der erwarteten 2D-Position verglichen, um eine Abweichung Pk(Hk^–1·Ri^–1·G^–1·(u, v, w)) – (xk(i, u, v, w), yk(i, u, v, w)) in Bildkoordinaten zu erstellen. Das Quadrat der Entfernung dieser Abweichung lautet |Pk(Hk^–1·Ri^–1·G^–1·(u, v, w)) – (xk(i, u, v, w), yk(i, u, v, w))|2. Die Summe von allen diesen Abweichungen im Quadrat lautet Σ|Pk(Hk^–1·Ri^–1·G^–1·(u, v, w)) – (xk(i, u, v, w), yk(i, u, v, w))|2 und entspricht der kombinierten Abweichung zwischen den tatsächlich gemessenen Daten und den erwarteten Daten. Die Hand-Augen-Kalibrierung wird auf beispielhafte Weise durch die Lösung der Parameter G und H1...Hn berechnet, die die minimale Rest-Quadratsumme zwischen den tatsächlich gemessenen Daten und den erwarteten Daten bewirken. Die Parameterwerte werden zu G und H1 hin gelöst, die die Rest-Quadratsumme zwischen den tatsächlich gemessenen Daten und den erwarteten Daten minimieren.
  • 4 ist ein Schaubild, das die Schritte eines exemplarischen Vorgangs 400 für die Durchführung einer Bildverarbeitung für die Roboterkalibrierung detailliert beschreibt, wobei gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung am Roboter angeordnete Kameras eingesetzt werden. Der Vorgang 400 beginnt mit Schritt 405 und wird mit Schritt 410 fortgeführt, wo eine oder mehrere Kameras am Roboter befestigt sind. Wie oben angemerkt wurde, kann eine beispielhafte Ausführungsform der vorliegenden Erfindung gleichzeitig eine Vielzahl von Kameras kalibrieren. Auf beispielhafte Weise sind die Kameras, die zur Kalibrierung eingesetzt werden, entweder an einem Gelenkarm und/oder am Endeffektor des Roboters befestigt. Die Kalibrierplatte ist in Schritt 415 im Raum befestigt. Auf beispielhafte Weise wird die Kalibrierplatte so befestigt, dass sie sich während des Kalibriervorgangs nicht bewegt. Der Endeffektor wird anschließend in eine Vielzahl von Posen bewegt und in Schritt 420 werden Bilder von der Kalibrierplatte in jeder der Vielzahl von Posen aufgenommen. Auf beispielhafte Weise beinhalten die Bewegungen zwischen allen Posen Rotationen um zumindest zwei nicht parallele Achsen. Um bessere Kalibrierinformationen zu erhalten, sollte der Rotationswinkel zumindest 5° betragen. Dies ist keine festgelegte Regel; jedoch können mit größeren Rotationen zwischen Bewegungen bessere Ergebnisse erzielt werden.
  • Eine Bilddetektionstechnik wird an den aufgenommenen Bildern ausgeführt, um in Schritt 425 Merkmale an der Kalibrierplatte zu ermitteln. Wie oben beschrieben, können bei der Merkmalsdetektion Techniken wie die von der Cognex Corporation als Merkmalsdetektor vertriebene Technik eingesetzt werden. Alternative Verfahren zur Messung von Merkmalen werden in der US-Patentschrift Nr. 6,137,893 beschrieben. Alternative Verfahren zur Messung von Merkmalen werden in der US-Patentschrift Nr. 6,816,187 beschrieben. Alternative Verfahren zur Messung von Merkmalen werden in „A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses” von Roger Y. Tsai, veröffentlicht im IEEE Journal of Robotics and Automation, Volume RA-3, No. 4, Seiten 323–344 beschrieben. Des Weiteren können, wie oben angemerkt, bei alternativen Ausführungsformen der vorliegenden Erfindung bei der Merkmals-Extraktion verschiedene Techniken eingesetzt werden, einschließlich beispielsweise der Verwendung von dreidimensionalen Merkmalen aus einer dreidimensionalen Kamera, einer thermischen Merkmalsdetektion mittels wärmeempfindlicher Kameras etc.
  • Für jede der Kameras werden anschließend in Schritt 430 Kalibrierplattenlagen berechnet. Dies bedeutet, dass durch den Einsatz einer Reihe von intrinsischen Daten und Entsprechungen zwischen bekannten Merkmalspositionen und beobachteten Merkmalspositionen die Lage der Kamera hinsichtlich der Kalibrierplatte berechnet wird. Dieser Schritt geht von der Annahme aus, dass die Kameras vorkalibriert wurden. Jedoch können in alternativen Ausführungsformen die Kameras mittels der gesammelten Daten kalibriert werden, wodurch ein Vorgang aus zwei Schritten nicht mehr erforderlich ist, in dem zuerst die Kameras kalibriert werden und anschließend die Kalibrierung zwischen dem Kopf-Bildverarbeitungssystem und dem Roboter durchgeführt wird. Die aufgenommenen Bilder sowie ihre entsprechenden Roboterposen werden anschließend in Schritt 435 vorverarbeitet. Diese Vorverarbeitung dokumentiert auf beispielhafte Weise die Bewegungen für jede Platte und den Roboter. Jedes Paar bestehend aus Bild und Roboterpose wird anschließend erfasst, um die Bewegungen zu maximieren. Bei jeder Kameralage, die in Schritt 430 mit den vorkalibrierten Kameraparametern berechnet wurde, wird die Bewegung zwischen jeweils zwei Kamerapositionen berechnet. Gleichermaßen wird die Bewegung zwischen zwei Roboterposen berechnet. Alle Paare von Kamerabewegungen und Roboterbewegungen werden berechnet und die Paare, deren Abweichungen über einen vorbestimmten Grenzwert hinausgehen, werden auf beispielhafte Weise als Ausreißer gekennzeichnet und aus den Bewegungspaaren entfernt.
  • Für ein Paar aus Roboterbewegung und Kamerabewegung sollten die Rotationswinkel bei der Darstellung ihrer Rotationen mittels einer entsprechenden Rotation um eine einzige Achse oder bei Darstellung der Bewegungen mittels Schraubbewegungen in idealem Zustand gleich sein. Daher kann der Unterschied der Rotationswinkel zwischen Roboterbewegung und Kamerabewegung des gleichen Paares als Abweichung verwendet werden.
  • Die Erfassung ermöglicht es dem System, einheitliche Bewegungen aus Posen mit willkürlicher Anordnung abzuleiten und Bewegungen mit wesentlichen Rotationen zu verwenden, was zu stabileren, genaueren und robusteren Kalibrierfestlegungen führt.
  • Es sollte beachtet werden, dass bei alternativen Ausführungsformen die Schritte 430–440 optional sein können. Das Kalibriersystem löst anschließend das lineare System auf, um in Schritt 440 Transformationen in Roboterbasis-Koordinaten zu berechnen. Bei einer alternativen Ausführungsform werden in Schritt 442 erste Abschätzungen der Kamera-Roboter-Transformation(en) und der Endeffektor-Kalibrierplatten-Transformationen erzielt. Die Transformationen werden anschließend in Schritt 445 verfeinert. Die Verfeinerung basiert auf der Minimierung der Summe von allen Abweichungen im Quadrat zwischen den erwarteten 2D-Bildmerkmalspositionen und den oben genannten gefundenen Merkmalspositionen. Alternativ kann die erste Abschätzung für die Transformation vom Endeffektor zur Kamera und für die Transformation von der Platte zum Roboterbasissystem zuerst mittels einer unabhängigen Verfeinerung weiterentwickelt werden, die die Abweichungen unter den gemeldeten Roboterposen und den berechneten Roboterposen mittels der Transformationen minimiert. Anschließend können die verfeinerten Transformationen in die auf den 2D-Merkmalspositions-Abweichungen basierende Verfeinerung eingespeist werden. Alternativ kann ein Prüfungsschritt nach der Verfeinerung hinzugefügt werden, um die verfeinerten Ergebnisse nicht zu berücksichtigen, sollten sie hinsichtlich einer Prüffunktion keine besseren Ergebnisse bringen als die unverfeinerten Ergebnisse.
  • Die Verfeinerung der Transformationeneinheitlichkeit (Minimierung der Abweichungen zwischen den gemeldeten Roboterposen und den berechneten Roboterposen mittels der Transformationen) bewirkt eine gleichzeitige Verfeinerung der Positionen für eine Vielzahl von Kameras. Mit anderen Worten gibt es für den Fall der Vielzahl von beweglichen Kameras nur eine Transformation vom Kalibrierplatten-Koordinatensystem zum Roboterbasis-Koordinatensystem.
  • Ein Beispiel für eine Verfeinerung der Transformationeneinheitlichkeit lautet wie folgt. Z soll sich auf die Transformation von der Kalibrierplatten-Koordinate zur Roboterbasis-Koordinate beziehen, X ist die Transformation vom Kamerakoordinatensystem zum Koordinatensystem des Roboter-Endeffektors. Bi ist die Roboterpose (Transformation vom Koordinatensystem des Roboter-Endeffektors zum Roboterbasis-Koordinatensystem) in Schritt i. Ai ist die Position der Kalibrierplatte (Transformation vom Kalibrierplatten-Koordinatensystem zum Kamerakoordinatensystem) für eine Kamera in Schritt i. Die Transformation Ai wird bisweilen als die gemessene Transformation bezeichnet. Die folgende Struktur sollte die Identitäts-Transformation sein (da sie die Struktur der Transformationen vom Kalibrierplatten-Koordinatensystem zum Kalibrierplatten-Koordinatensystem ist). Z_inverse·Bi·X·Ai
  • Das Ziel der Verfeinerung ist, die Gesamtabweichungen zwischen jeder Z_inverse·Bi·X·Ai und Identitäts-Transformation für alle Kameras und Bewegungen zu minimieren. Die Struktur (Z_inverse·Bi·X)_inverse wird bisweilen als die erwartete Transformation bezeichnet.
  • Bei der Hand-Augen-Kalibrieranwendung basiert eine beispielhafte Methode, den Unterschied zwischen zwei Transformationen (oder zwei Posen) zu berechnen, auf der Verwendung der Bearbeitungsraumdimensionen wie folgt. Wenn davon ausgegangen wird, dass das Arbeitsvolumen der Roboter-Bildverarbeitungs-Anwendung durch einen Rahmen dargestellt werden kann, kann der Unterschied zwischen der Transformation X1 und der Transformation X2 durch die Untersuchung der Entfernung zwischen durch die Transformationen abgebildeten Punkten – insbesondere der acht Eckpunkte des Rahmens – berechnet werden: v1 bis v8: (X1·vi – X2·vi) i = 1–8
  • Ein beispielhafter Schritt ist die Verfeinerung der Kamera-Endeffektor-Transformation und der Roboterbasis-Kalibrierplatten-Transformation vor der weiteren Verfeinerung dieser Transformationen mittels der Verwendung der auf Bildmerkmalen basierenden Verfeinerung. Durch die anfängliche Verfeinerung der Transformationen mittels der Abweichungs-Funktion zwischen den abgebildeten Punkten werden viel bessere erste Abschätzungen für die auf Bildmerkmalen basierende Verfeinerung zur Verfügung gestellt und die Hand-Augen-Kalibrierung kann beschleunigt sowie robuster gemacht werden.
  • Ein Beispiel für eine Prüffunktion ist die Abweichungs des quadratischen Mittelwerts (RMS) der nach der Verfeinerung berechneten Bildkoordinaten im Vergleich zum quadratischen Mittelwert (RMS) vor der Verfeinerung. In manchen Fällen kann es auftreten, dass die Roboterbewegungen nicht so genau sind wie das Bildverarbeitungssystem und dass die Verfeinerung zu einer Überanpassung der Kamera-Endeffektor-Transformation und der Roboterbasis-Kalibrierplatten-Transformation, die auf den ungenauen Roboterposen basiert, führt. Durch den Vergleich der Restwerte vor und nach der Verfeinerung können wir bestimmen, ob wir die Ergebnisse aus der Verfeinerung annehmen wollen.
  • Ein weiteres Verfahren, um zu bestimmen, ob die Verfeinerung eine Verbesserung darstellt, ist der Vergleich der Abweichung des quadratischen Mittelwerts (RMS) der nach der Verfeinerung berechneten Bildkoordinaten mit der Abweichung des quadratischen Mittelwerts (RMS) der Bildkoordinaten der Kamerakalibrierung. Durch den Vergleich von Restwerten nach der Verfeinerung mit den Restwerten, die zur Kamerakalibrierung zugehörig sind, können wir bestimmen, ob wir die Ergebnisse aus der Verfeinerung annehmen wollen.
  • Die Kameras/das Bildverarbeitungssystem werden/wird anschließend in Schritt 450 mit den Transformationen konfiguriert. Der Vorgang 400 wird anschließend mit Schritt 455 abgeschlossen.
  • D. Steuerungsmechanismen
  • 5 ist ein schematisches Blockdiagramm einer exemplarischen Umgebung 500, das Steuerungsmechanismen für ein Bildverarbeitungssystem und einen Roboter gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung illustriert. Eine Roboterbasis 110 wird operativ mit einem Gelenkarm gekoppelt, der einen Endeffektor 120 an seinem äußersten Endstück aufweist. Auf beispielhafte Weise wird der Roboter operativ mit einem Robotersteuerungssystem 505 gekoppelt. Auf beispielhafte Weise umfasst das Robotersteuerungssystem 500 einen Prozessor 515, eine Reihe von Input-Output-Adaptern 520 und ein Speichermedium 525. Auf dem Speichermedium 525 wird die Software 530 zur Steuerung des Robotersteuerungssystems 505 und des Roboters abgespeichert. Auf beispielhafte Weise kann das Robotersteuerungssystem 505 in verschiedenen Formaten verwendet werden einschließlich beispielsweise der Verwendung von programmierbaren Festwertspeichern (programmable read only memory, PROM), NVRAM-Speichern etc. Daher sollte die Beschreibung der Bestandteile des Robotersteuerungssystems 505 als lediglich exemplarisch angesehen werden. Des Weiteren sollte beachtet werden, dass bei alternativen Ausführungsformen das Robotersteuerungssystem 505 ohne Software etc. verbunden werden kann.
  • Ebenso in Umgebung 500 enthalten sind Kameras 105A, B. Es sollte beachtet werden, dass in Umgebung 500 die Kameras 105 als im Raum befestigt dargestellt werden; jedoch können bei alternativen Ausführungsformen die Kameras am Gelenkarm 115 und/oder am Endeffektor 120 des Roboters angebracht werden. Daher sollte die Beschreibung von im Raum befestigten Kameras 105 als lediglich exemplarisch angesehen werden. Die Kameras 105 sind operativ mit einem Bildverarbeitungssystem 510 gekoppelt. Das Bildverarbeitungssystem 510 beinhaltet auf beispielhafte Weise einen Prozessor 535, Input/Output-Adapter 540 und ein Speichermedium 545. Das Speichermedium 545 beinhaltet auf beispielhafte Weise Software 550, die die neue Kalibriertechnik gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung implementier. Wiederum, wie oben hinsichtlich des Robotersteuerungssystems 505 angemerkt, kann das Bildverarbeitungssystem 510 alternative oder zusätzliche und/oder unterschiedliche Bestandteile umfassen. Daher sollte die hier enthaltene Beschreibung als lediglich exemplarisch angesehen werden.
  • Vorstehend wurde eine detaillierte Beschreibung von beispielhaften Ausführungsformen der vorliegenden Erfindung zur Verfügung gestellt. Verschiedene Veränderungen an den Ausführungen können vorgenommen werden, ohne vom Kern der vorliegenden Erfindung abzuweichen. Zudem, wenngleich diese Beschreibung sich auf mit Hardware verwendete Software bezieht, ist ausdrücklich vorgesehen, dass die Lehre dieser Erfindung als Software implementiert werden kann, einschließlich eines programmierten, computerlesbaren Mediums oder der Ausführung an einem Computer, an Hardware, Firmware oder einer Kombination daraus. Dementsprechend sollte diese Beschreibung als lediglich exemplarisch angesehen werden, die den Umfang der Erfindung nicht einschränkt.

Claims (36)

  1. Verfahren zur Festlegung der Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter, wobei das Verfahren Folgendes umfasst: Aufnahme eines Anfangsbildes eines an einem Endeffektor des Roboters befestigten Kalibrierobjekts mittels einer im Raum fixierten Kamera, während der Roboter eine Anfangslage innerhalb eines Arbeitsplatzes des Roboters einnimmt, sowie Aufnahme eines Folgebildes des Kalibrierobjekts, während der Roboter eine nachfolgende Lage innerhalb des Arbeitsplatzes des Roboters einnimmt, wobei die Anfangslage und die nachfolgende Lage unterschiedlich sind, wobei das Kalibrierobjekt ein erstes Kalibrierobjektmerkmal und ein zweites Kalibrierobjektmerkmal aufweist, wobei das erste und das zweite Kalibrierobjektmerkmal eine feststehende, bekannte Distanz relativ zueinander aufweisen, wobei der Roboter ein Roboterkoordinatensystem, die Kamera ein Kamerakoordinatensystem, der Endeffektor ein Endeffektorkoordinatensystem und das Kalibrierobjekt ein Kalibrierobjektkoordinatensystem besitzt; Bestimmung einer Kamera-Roboter-Transformation zwischen dem Kamerakoordinatensystem und dem Roboterkoordinatensystem; Bestimmung einer Kalibrierobjekt-Endeffektor-Transformation zwischen dem Kalibrierobjektkoordinatensystem und dem Endeffektorkoordinatensystem; Lokalisierung eines ersten Anfangsbildmerkmals und eines zweiten Anfangsbildmerkmals in dem Anfangsbild sowie eines ersten Folgebildmerkmals und eines zweiten Folgebildmerkmals in dem Folgebild, wobei das erste Anfangsbildmerkmal und das erste Folgebildmerkmal mit dem ersten Kalibrierobjektmerkmal und das zweite Anfangsbildmerkmal sowie das zweite Folgebildmerkmal mit dem zweiten Kalibrierobjektmerkmal korrespondieren; Berechnung, unter Verwendung der feststehenden, bekannten Distanz, der Anfangslage, der nachfolgenden Lage, der Kamera-Roboter-Transformation und der Kalibrierobjekt-Endeffektor-Transformation, eines erwarteten ersten Anfangsbildmerkmals und eines erwarteten zweiten Anfangsbildmerkmals für das Anfangsbild sowie eines erwarteten ersten Folgebildmerkmals und eines erwarteten zweiten Folgebildmerkmals für das Folgebild, wobei das erwartete erste Anfangsbildmerkmal und das erwartete erste Folgebildmerkmal mit dem ersten Kalibrierobjektmerkmal und das erwartete zweite Anfangsbildmerkmal sowie das erwartete zweite Folgebildmerkmal mit dem zweiten Kalibrierobjektmerkmal korrespondieren; Minimierung, durch Verfeinerung der Kamera-Roboter-Transformation oder der Kalibrierobjekt-Endeffektor-Transformation, zumindest einer der folgenden Abweichungen: einer Abweichung zwischen dem ersten Anfangsbildmerkmal und dem erwarteten ersten Anfangsbildmerkmal, einer Abweichung zwischen dem zweiten Anfangsbildmerkmal und dem erwarteten zweiten Anfangsbildmerkmal, einer Abweichung zwischen dem ersten Folgebildmerkmal und dem erwarteten ersten Folgebildmerkmal und einer Abweichung zwischen dem zweiten Folgebildmerkmal und dem erwarteten zweiten Folgebildmerkmal, wodurch optimierte Transformationen erhalten werden; und Kalibrierung des Bildverarbeitungssystems und des Roboters mittels der bestimmten Transformationen.
  2. Verfahren nach Anspruch 1, wobei das Kalibrierobjekt eine Kalibrierplatte umfasst.
  3. Verfahren nach Anspruch 1, wobei eine Differenz zwischen der Anfangslage und der nachfolgenden Lage Rotationen um zumindest zwei nicht parallele Achsen umfasst.
  4. Verfahren nach Anspruch 3, wobei die Rotationen eine Rotation von zumindest fünf Grad umfassen.
  5. Verfahren nach Anspruch 1, ferner eine Vorverarbeitung einer Reihe aufgenommener Bilder umfassend, um Ausreißer zu entfernen, wobei die Vorverarbeitung ferner Folgendes umfasst: Bestimmung einer Reihe von Ausreißern; Ausschluss, infolge der Bestimmung einer Reihe von Ausreißern, von einem oder mehreren Bildern aus der Reihe aufgenommenen Bilder, die die Ausreißer aufweisen, um eine eingeschränkte Reihe von aufgenommenen Bildern zu erhalten; und Umordnung der eingeschränkten Reihe von aufgenommenen Bildern, um geeignete Bewegungen zu erreichen.
  6. Verfahren nach Anspruch 5, wobei die geeigneten Bewegungen Veränderungen zwischen einem bestimmten Paar der eingeschränkten Reihe von aufgenommenen Bildern umfassen.
  7. Verfahren nach Anspruch 1, wobei die Transformationen sechs Freiheitsgrade zulassen.
  8. Verfahren zur Festlegung der Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter, wobei das Verfahren Folgendes umfasst: Aufnahme eines Anfangsbildes eines im Raum fixierten Kalibrierobjekts mittels einer an einem Endeffektor des Roboters fixierten Kamera, während der Roboter eine Anfangslage innerhalb eines Arbeitsplatzes des Roboters einnimmt, sowie Aufnahme eines Folgebildes des Kalibrierobjekts, während der Roboter eine nachfolgende Lage innerhalb des Arbeitsplatzes des Roboters einnimmt, wobei die Anfangslage und die nachfolgende Lage unterschiedlich sind, wobei das Kalibrierobjekt ein erstes Kalibrierobjektmerkmal und ein zweites Kalibrierobjektmerkmal aufweist, wobei das erste und das zweite Kalibrierobjektmerkmal eine feststehende, bekannte Distanz relativ zueinander aufweisen, wobei der Roboter ein Roboterkoordinatensystem, die Kamera ein Kamerakoordinatensystem, der Endeffektor ein Endeffektorkoordinatensystem und das Kalibrierobjekt ein Kalibrierobjektkoordinatensystem besitzt; Bestimmung einer Kalibrierobjekt-Roboter-Transformation zwischen dem Kalibrierobjektkoordinatensystem und dem Roboterkoordinatensystem; Bestimmung einer Kamera-Endeffektor-Transformation zwischen dem Kalibrierobjektkoordinatensystem und dem Endeffektorkoordinatensystem; Lokalisierung eines ersten Anfangsbildmerkmals und eines zweiten Anfangsbildmerkmals in dem Anfangsbild sowie eines ersten Folgebildmerkmals und eines zweiten Folgebildmerkmals in dem Folgebild, wobei das erste Anfangsbildmerkmal und das erste Folgebildmerkmal mit dem ersten Kalibrierobjektmerkmal und das zweite Anfangsbildmerkmal sowie das zweite Folgebildmerkmal mit dem zweiten Kalibrierobjektmerkmal korrespondieren; Berechnung, unter Verwendung der feststehenden, bekannten Distanz, der Anfangslage, der nachfolgenden Lage, der Kalibrierobjekt-Roboter-Transformation und der Kamera-Endeffektor-Transformation, eines erwarteten ersten Anfangsbildmerkmals und eines erwarteten zweiten Anfangsbildmerkmals für das Anfangsbild sowie eines erwarteten ersten Folgebildmerkmals und eines erwarteten zweiten Folgebildmerkmals für das Folgebild, wobei das erwartete erste Anfangsbildmerkmal und das erwartete erste Folgebildmerkmal mit dem ersten Kalibrierobjektmerkmal und das erwartete zweite Anfangsbildmerkmal sowie das erwartete zweite Folgebildmerkmal mit dem zweiten Kalibrierobjektmerkmal korrespondieren; Minimierung, durch Verfeinerung der Kalibrierobjekt-Roboter-Transformation oder der Kamera-Endeffektor-Transformation, zumindest einer der folgenden Abweichungen: einer Abweichung zwischen dem ersten Anfangsbildmerkmal und dem erwarteten ersten Anfangsbildmerkmal, einer Abweichung zwischen dem zweiten Anfangsbildmerkmal und dem erwarteten zweiten Anfangsbildmerkmal, einer Abweichung zwischen dem ersten Folgebildmerkmal und dem erwarteten ersten Folgebildmerkmal und einer Abweichung zwischen dem zweiten Folgebildmerkmal und dem erwarteten zweiten Folgebildmerkmal, wodurch optimierte Transformationen erhalten werden; und Kalibrierung des Bildverarbeitungssystems und des Roboters mittels der bestimmten Transformationen.
  9. Verfahren nach Anspruch 8, wobei das Kalibrierobjekt eine Kalibrierplatte umfasst.
  10. Verfahren nach Anspruch 8, wobei eine Differenz zwischen der Anfangslage und der nachfolgenden Lage Rotationen um zumindest zwei nicht parallele Achsen umfasst.
  11. Verfahren nach Anspruch 10, wobei die Rotationen eine Rotation von zumindest fünf Grad umfassen.
  12. Verfahren nach Anspruch 8, ferner eine Vorverarbeitung einer Reihe aufgenommener Bilder umfassend, um Ausreißer zu entfernen, wobei die Vorverarbeitung ferner Folgendes umfasst: Bestimmung einer Reihe von Ausreißern; Ausschluss, infolge der Bestimmung einer Reihe von Ausreißern, von einem oder mehreren Bildern aus der Reihe aufgenommener Bilder, die die Ausreißer aufweisen, um eine eingeschränkte Reihe von aufgenommenen Bildern zu erhalten; und Umordnung der eingeschränkten Reihe von aufgenommenen Bildern, um geeignete Bewegungen zu erreichen.
  13. Verfahren nach Anspruch 12, wobei die geeigneten Bewegungen Veränderungen zwischen einem bestimmten Paar der eingeschränkten Reihe von aufgenommenen Bildern umfassen.
  14. Verfahren nach Anspruch 8, wobei die Transformationen sechs Freiheitsgrade zulassen.
  15. Verfahren zur Festlegung der Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter, wobei das Verfahren Folgendes umfasst: Aufnahme eines primären Anfangsbildes eines an einem Endeffektor des Roboters befestigten Kalibrierobjekts mittels einer im Raum fixierten primären Kamera, während der Roboter eine primäre Anfangslage innerhalb eines Arbeitsplatzes des Roboters einnimmt, sowie Aufnahme eines primären Folgebildes des Kalibrierobjekts, während der Roboter eine primäre nachfolgende Lage innerhalb des Arbeitsplatzes des Roboters einnimmt, wobei die primäre Anfangslage und die primäre nachfolgende Lage unterschiedlich sind, wobei das Kalibrierobjekt ein erstes Kalibrierobjektmerkmal und ein zweites Kalibrierobjektmerkmal aufweist, wobei das erste und das zweite Kalibrierobjektmerkmal eine feststehende, bekannte Distanz relativ zueinander aufweisen, wobei der Roboter ein Roboterkoordinatensystem, die primäre Kamera ein primäres Kamerakoordinatensystem, der Endeffektor ein Endeffektorkoordinatensystem und das Kalibrierobjekt ein Kalibrierobjektkoordinatensystem besitzt; Aufnahme eines sekundären Anfangsbildes des Kalibrierobjekts mittels einer im Raum fixierten sekundären Kamera, während der Roboter eine sekundäre Anfangslage innerhalb des Arbeitsplatzes des Roboters einnimmt, sowie Aufnahme eines sekundären Folgebildes des Kalibrierobjekts, während der Roboter eine sekundäre nachfolgende Lage innerhalb des Arbeitsplatzes des Roboters einnimmt, wobei die sekundäre Anfangslage und die sekundäre nachfolgende Lage unterschiedlich sind, wobei die sekundäre Kamera ein sekundäres Kamerakoordinatensystem besitzt; Bestimmung von Kamera-Roboter-Transformationen zwischen dem primären Kamerakoordinatensystem und dem Roboterkoordinatensystem sowie zwischen dem sekundären Kamerakoordinatensystem und dem Roboterkoordinatensystem; Bestimmung einer Kalibrierobjekt-Endeffektor-Transformation zwischen dem Kalibrierobjektkoordinatensystem und dem Endeffektorkoordinatensystem; Lokalisierung eines ersten primären Anfangsbildmerkmals und eines zweiten primären Anfangsbildmerkmals in dem primären Anfangsbild, eines ersten primären Folgebildmerkmals und eines zweiten primären Folgebildmerkmals in dem primären Folgebild, eines ersten sekundären Anfangsbildmerkmals und eines zweiten sekundären Anfangsbildmerkmals in dem sekundären Anfangsbild sowie eines ersten sekundären Folgebildmerkmals und eines zweiten sekundären Folgebildmerkmals in dem sekundären Folgebild, wobei das erste primäre Anfangsbildmerkmal, das erste primäre Folgebildmerkmal, das erste sekundäre Anfangsbildmerkmal und das erste sekundäre Folgebildmerkmal mit dem ersten Kalibrierobjektmerkmal korrespondieren und das zweite primäre Anfangsbildmerkmal, das zweite primäre Folgebildmerkmal, das zweite sekundäre Anfangsbildmerkmal und das zweite sekundäre Folgebildmerkmal mit dem zweiten Kalibrierobjektmerkmal korrespondieren; Berechnung, unter Verwendung der feststehenden, bekannten Distanz, der primären Anfangslage, der primären nachfolgenden Lage, der sekundären Anfangslage, der sekundären nachfolgenden Lage, der Kamera-Roboter-Transformationen und der Kalibrierobjekt-Endeffektor-Transformation, eines erwarteten ersten primären Anfangsbildmerkmals und eines erwarteten zweiten primären Anfangsbildmerkmals für das primäre Anfangsbild, eines erwarteten ersten primären Folgebildmerkmals sowie eines erwarteten zweiten primären Folgebildmerkmals für das primäre Folgebild, eines erwarteten ersten sekundären Anfangsbildmerkmals und eines erwarteten zweiten sekundären Anfangsbildmerkmals für das sekundäre Anfangsbild, eines erwarteten ersten sekundären Folgebildmerkmals und eines erwarteten zweiten sekundären Folgebildmerkmals für das sekundäre Folgebild, wobei das erwartete erste primäre Anfangsbildmerkmal, das erwartete erste primäre Folgebildmerkmal, das erwartete erste sekundäre Anfangsbildmerkmal und das erwartete erste sekundäre Folgebildmerkmal mit dem ersten Kalibrierobjektmerkmal korrespondieren und das erwartete zweite primäre Anfangsbildmerkmal, das erwartete zweite primäre Folgebildmerkmal, das erwartete zweite sekundäre Anfangsbildmerkmal sowie das erwartete zweite sekundäre Folgebildmerkmal mit dem zweiten Kalibrierobjektmerkmal korrespondieren; Minimierung, durch Verfeinerung der Kamera-Roboter-Transformationen und der Kalibrierobjekt-Endeffektor-Transformation, zumindest einer der folgenden Abweichungen: einer Abweichung zwischen dem ersten primären Anfangsbildmerkmal und dem erwarteten ersten primären Anfangsbildmerkmal, einer Abweichung zwischen dem zweiten primären Anfangsbildmerkmal und dem erwarteten zweiten primären Anfangsbildmerkmal, einer Abweichung zwischen dem ersten primären Folgebildmerkmal und dem erwarteten ersten primären Folgebildmerkmal und einer Abweichung zwischen dem zweiten primären Folgebildmerkmal und dem erwarteten zweiten primären Folgebildmerkmal, einer Abweichung zwischen dem ersten sekundären Anfangsbildmerkmal und dem erwarteten ersten sekundären Anfangsbildmerkmal, einer Abweichung zwischen dem zweiten sekundären Anfangsbildmerkmal und dem erwarteten zweiten sekundären Anfangsbildmerkmal, einer Abweichung zwischen dem ersten sekundären Folgebildmerkmal und dem erwarteten ersten sekundären Folgebildmerkmal und einer Abweichung zwischen dem zweiten sekundären Folgebildmerkmal und dem erwarteten zweiten sekundären Folgebildmerkmal, wodurch optimierte Transformationen erhalten werden; und Kalibrierung des Bildverarbeitungssystems und des Roboters mittels der bestimmten Transformationen.
  16. Verfahren nach Anspruch 15, wobei das Kalibrierobjekt eine Kalibrierplatte umfasst.
  17. Verfahren nach Anspruch 15, wobei eine Differenz zwischen der primären Anfangslage und der primären nachfolgenden Lage und eine Differenz zwischen der sekundären Anfangslage und der sekundären nachfolgenden Lage jeweils Rotationen um zumindest zwei nicht parallele Achsen umfasst.
  18. Verfahren nach Anspruch 17, wobei die Rotationen eine Rotation von zumindest fünf Grad umfassen.
  19. Verfahren nach Anspruch 15, ferner eine Vorverarbeitung einer Reihe aufgenommener Bilder umfassend, um Ausreißer zu entfernen, wobei die Vorverarbeitung ferner Folgendes umfasst: Bestimmung einer Reihe von Ausreißern; Ausschluss, infolge der Bestimmung einer Reihe von Ausreißern, von einem oder mehreren Bildern aus der Reihe aufgenommener Bilder, die die Ausreißer aufweisen, um eine eingeschränkte Reihe von aufgenommenen Bildern zu erhalten; und Umordnung der eingeschränkten Reihe von aufgenommenen Bildern, um geeignete Bewegungen zu erreichen.
  20. Verfahren nach Anspruch 19, wobei die geeigneten Bewegungen Veränderungen zwischen einem bestimmten Paar der eingeschränkten Reihe von aufgenommenen Bildern umfassen.
  21. Verfahren nach Anspruch 15, wobei die Bestimmung von Kamera-Roboter-Transformationen gleichzeitig die Transformationen für jede der primären und sekundären Kameras bestimmt.
  22. Verfahren nach Anspruch 15, wobei die Transformationen sechs Freiheitsgrade zulassen.
  23. Verfahren zur Festlegung der Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter, wobei das Verfahren Folgendes umfasst: Aufnahme eines primären Anfangsbildes eines im Raum fixierten Kalibrierobjekts mittels einer an einem Endeffektor eines Roboters befestigten primären Kamera, während der Roboter eine primäre Anfangslage innerhalb eines Arbeitsplatzes des Roboters einnimmt, sowie Aufnahme eines primären Folgebildes des Kalibrierobjekts, während der Roboter eine primäre nachfolgende Lage innerhalb des Arbeitsplatzes des Roboters einnimmt, wobei die primäre Anfangslage und die primäre nachfolgende Lage unterschiedlich sind, wobei das Kalibrierobjekt ein erstes Kalibrierobjektmerkmal und ein zweites Kalibrierobjektmerkmal aufweist, wobei das erste und das zweite Kalibrierobjektmerkmal eine feststehende, bekannte Distanz relativ zueinander aufweisen, wobei der Roboter ein Roboterkoordinatensystem, die primäre Kamera ein primäres Kamerakoordinatensystem, der Endeffektor ein Endeffektorkoordinatensystem und das Kalibrierobjekt ein Kalibrierobjektkoordinatensystem besitzt; Aufnahme eines sekundären Anfangsbildes des Kalibrierobjekts mittels einer an dem Endeffektor des Roboters befestigten sekundären Kamera, während der Roboter eine sekundäre Anfangslage innerhalb des Arbeitsplatzes des Roboters einnimmt, sowie Aufnahme eines sekundären Folgebildes des Kalibrierobjekts, während der Roboter eine sekundäre nachfolgende Lage innerhalb des Arbeitsplatzes des Roboters einnimmt, wobei die sekundäre Anfangslage und die sekundäre nachfolgende Lage unterschiedlich sind, wobei die sekundäre Kamera ein sekundäres Kamerakoordinatensystem besitzt; Bestimmung von Kamera-Endeffektor-Transformationen von dem primären Kamerakoordinatensystem in das Endeffektorkoordinatensystem sowie von dem sekundären Kamerakoordinatensystem in das Endeffektorkoordinatensystem; Bestimmung einer Kalibrierobjekt-Endeffektor-Transformation zwischen dem Kalibrierobjektkoordinatensystem und dem Roboterkoordinatensystem; Lokalisierung eines ersten primären Anfangsbildmerkmals und eines zweiten primären Anfangsbildmerkmals in dem primären Anfangsbild, eines ersten primären Folgebildmerkmals und eines zweiten primären Folgebildmerkmals in dem primären Folgebild, eines ersten sekundären Anfangsbildmerkmals und eines zweiten sekundären Anfangsbildmerkmals in dem sekundären Anfangsbild sowie eines ersten sekundären Folgebildmerkmals und eines zweiten sekundären Folgebildmerkmals in dem sekundären Folgebild, wobei das erste primäre Anfangsbildmerkmal, das erste primäre Folgebildmerkmal, das erste sekundäre Anfangsbildmerkmal und das erste sekundäre Folgebildmerkmal mit dem ersten Kalibrierobjektmerkmal korrespondieren und das zweite primäre Anfangsbildmerkmal, das zweite primäre Folgebildmerkmal, das zweite sekundäre Anfangsbildmerkmal sowie das zweite sekundäre Folgebildmerkmal mit dem zweiten Kalibrierobjektmerkmal korrespondieren; Berechnung, unter Verwendung der feststehenden, bekannten Distanz, der primären Anfangslage, der primären nachfolgenden Lage, der sekundären Anfangslage, der sekundären nachfolgenden Lage, der Kamera-Endeffektor-Transformationen und der Kalibrierobjekt-Roboter-Transformation, eines erwarteten ersten primären Anfangsbildmerkmals und eines erwarteten zweiten primären Anfangsbildmerkmals für das primäre Anfangsbild, eines erwarteten ersten primären Folgebildmerkmals sowie eines erwarteten zweiten primären Folgebildmerkmals für das primäre Folgebild, eines erwarteten ersten sekundären Anfangsbildmerkmals und eines erwarteten zweiten sekundären Anfangsbildmerkmals für das sekundäre Anfangsbild, eines erwarteten ersten sekundären Folgebildmerkmals und eines erwarteten zweiten sekundären Folgebildmerkmals für das sekundäre Folgebild, wobei das erwartete erste primäre Anfangsbildmerkmal, das erwartete erste primäre Folgebildmerkmal, das erwartete erste sekundäre Anfangsbildmerkmal und das erwartete erste sekundäre Folgebildmerkmal mit dem ersten Kalibrierobjektmerkmal korrespondieren und das erwartete zweite primäre Anfangsbildmerkmal, das erwartete zweite primäre Folgebildmerkmal, das erwartete zweite sekundäre Anfangsbildmerkmal sowie das erwartete zweite sekundäre Folgebildmerkmal mit denn zweiten Kalibrierobjektmerkmal korrespondieren; Minimierung, durch Verfeinerung der Kamera-Endeffektor-Transformationen und der Kalibrierobjekt-Roboter-Transformation, zumindest einer der folgenden Abweichungen: einer Abweichung zwischen dem ersten primären Anfangsbildmerkmal und dem erwarteten ersten primären Anfangsbildmerkmal, einer Abweichung zwischen dem zweiten primären Anfangsbildmerkmal und dem erwarteten zweiten primären Anfangsbildmerkmal, einer Abweichung zwischen dem ersten primären Folgebildmerkmal und dem erwarteten ersten primären Folgebildmerkmal und einer Abweichung zwischen dem zweiten primären Folgebildmerkmal und dem erwarteten zweiten primären Folgebildmerkmal, einer Abweichung zwischen dem ersten sekundären Anfangsbildmerkmal und dem erwarteten ersten sekundären Anfangsbildmerkmal, einer Abweichung zwischen dem zweiten sekundären Anfangsbildmerkmal und dem erwarteten zweiten sekundären Anfangsbildmerkmal, einer Abweichung zwischen dem ersten sekundären Folgebildmerkmal und dem erwarteten ersten sekundären Folgebildmerkmal und einer Abweichung zwischen dem zweiten sekundären Folgebildmerkmal und dem erwarteten zweiten sekundären Folgebildmerkmal, wodurch optimierte Transformationen erhalten werden; und Kalibrierung des Bildverarbeitungssystems und des Roboters mittels der bestimmten Transformationen.
  24. Verfahren nach Anspruch 23, wobei das Kalibrierobjekt eine Kalibrierplatte umfasst.
  25. Verfahren nach Anspruch 23, wobei eine Differenz zwischen der primären Anfangslage und der primären nachfolgenden Lage und eine Differenz zwischen der sekundären Anfangslage und der sekundären nachfolgenden Lage jeweils Rotationen um zumindest zwei nicht parallele Achsen umfasst.
  26. Verfahren nach Anspruch 25, wobei die Rotationen eine Rotation von zumindest fünf Grad umfassen.
  27. Verfahren nach Anspruch 23, ferner eine Vorverarbeitung einer Reihe aufgenommener Bilder umfassend, um Ausreißer zu entfernen, wobei die Vorverarbeitung ferner Folgendes umfasst: Bestimmung einer Reihe von Ausreißern; Ausschluss, infolge der Bestimmung einer Reihe von Ausreißern, von einem oder mehreren Bildern aus der Reihe aufgenommener Bilder, die die Ausreißer aufweisen, um eine eingeschränkte Reihe von aufgenommenen Bildern zu erhalten; und Umordnung der eingeschränkten Reihe von aufgenommenen Bildern, um geeignete Bewegungen zu erreichen.
  28. Verfahren nach Anspruch 27, wobei die geeigneten Bewegungen Veränderungen zwischen einem bestimmten Paar der eingeschränkten Reihe von aufgenommenen Bildern umfassen.
  29. Verfahren nach Anspruch 23, wobei die Bestimmung von Kamera-Endeffektor-Transformationen gleichzeitig die Transformationen für jede der primären und sekundären Kameras bestimmt.
  30. Verfahren nach Anspruch 23, wobei die Transformationen sechs Freiheitsgrade zulassen.
  31. Verfahren zur Festlegung der Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter, wobei das Verfahren Folgendes umfasst: Aufnahme einer Vielzahl von Bildern eines an einem Endeffektor des Roboters befestigten Kalibrierobjekts mittels zweier oder mehr im Raum fixierter Kameras, während der Roboter das Kalibrierobjekt in eine Vielzahl von verschiedenen Lagen innerhalb des Arbeitsplatzes des Roboters bewegt, wobei das Kalibrierobjekt ein erstes Kalibrierobjektmerkmal und ein zweites Kalibrierobjektmerkmal aufweist, wobei das erste und das zweite Kalibrierobjektmerkmal eine feststehende, bekannte Distanz relativ zueinander aufweisen, wobei der Roboter ein Roboterkoordinatensystem, die zwei oder mehr Kameras jeweils ein Kamerakoordinatensystem, der Endeffektor ein Endeffektorkoordinatensystem und das Kalibrierobjekt ein Kalibrierobjektkoordinatensystem besitzt; Bestimmung einer Kamera-Roboter-Transformation zwischen jedem der zwei oder mehr Kamerakoordinatensysteme und dem Roboterkoordinatensystem; Bestimmung einer Kalibrierobjekt-Endeffektor-Transformation zwischen dem Kalibrierobjektkoordinatensystem und dem Endeffektorkoordinatensystem; Bestimmung von Bildmerkmalen in der Vielzahl von Bildern, wobei die Bildmerkmale mit dem ersten Kalibrierobjektmerkmal und dem zweiten Kalibrierobjektmerkmal korrespondieren; Berechnung, unter Verwendung der feststehenden, bekannten Distanz, der Vielzahl an Lagen, der zwei oder mehr Kamera-Roboter-Transformationen und der Kalibrierobjekt-Endeffektor-Transformationen, von erwarteten Merkmalen in der Vielzahl an Bildern, wobei die erwarteten Merkmale mit dem ersten Kalibrierobjektmerkmal und mit dem zweiten Kalibrierobjektmerkmal korrespondieren; Minimierung, durch gleichzeitige Verfeinerung der zwei oder mehr Kamera-Roboter-Transformationen und der Kalibrierobjekt-Endeffektor-Transformationen, einer Abweichung zwischen den erwarteten Merkmalen und den Bildmerkmalen, wodurch optimierte Transformationen erhalten werden; und Kalibrierung des Bildverarbeitungssystems und des Roboters mittels der optimierten Transformationen.
  32. Verfahren zur Festlegung der Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter, wobei das Verfahren Folgendes umfasst: Aufnahme einer Vielzahl von Bildern eines im Raum fixierten Kalibrierobjekts mittels zweier oder mehr an einem Endeffektor des Roboters befestigter Kameras, während der Roboter die zwei oder mehr Kameras in eine Vielzahl von verschiedenen Lagen innerhalb des Arbeitsplatzes des Roboters bewegt, wobei das Kalibrierobjekt ein erstes Kalibrierobjektmerkmal und ein zweites Kalibrierobjektmerkmal aufweist, wobei das erste und das zweite Kalibrierobjektmerkmal eine feststehende, bekannte Distanz relativ zueinander aufweisen, wobei der Roboter ein Roboterkoordinatensystem, die zwei oder mehr Kameras jeweils ein Kamerakoordinatensystem, der Endeffektor ein Endeffektorkoordinatensystem und das Kalibrierobjekt ein Kalibrierobjektkoordinatensystem besitzt; Bestimmung einer Kamera-Endeffektor-Transformation zwischen jedem der zwei oder mehr Kamerakoordinatensysteme und dem Endeffektorkoordinatensystem; Bestimmung einer Kalibrierobjekt-Roboter-Transformation zwischen dem Kalibrierobjektkoordinatensystem und dem Roboterkoordinatensystem; Bestimmung von Bildmerkmalen in der Vielzahl von Bildern, wobei die Bildmerkmale mit dem ersten Kalibrierobjektmerkmal und dem zweiten Kalibrierobjektmerkmal korrespondieren; Berechnung, unter Verwendung der feststehenden, bekannten Distanz, der Vielzahl an Lagen, der zwei oder mehr Kamera-Endeffektor-Transformationen und der Kalibrierobjekt-Roboter-Transformationen, von erwarteten Merkmalen in der Vielzahl an Bildern, wobei die erwarteten Merkmale mit dem ersten Kalibrierobjektmerkmal und mit dem zweiten Kalibrierobjektmerkmal korrespondieren; Minimierung, durch gleichzeitige Verfeinerung der zwei oder mehr Kamera-Endeffektor-Transformationen und der Kalibrierobjekt-Roboter-Transformationen, einer Abweichung zwischen den erwarteten Merkmalen und den Bildmerkmalen, wodurch optimierte Transformationen erhalten werden; und Kalibrierung des Bildverarbeitungssystems und des Roboters mittels der optimierten Transformationen.
  33. Verfahren zur Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter, wobei das Verfahren Folgendes umfasst: Erhalt einer Reihe von Paaren von Kameralagen und Roboterposen; Analyse der entsprechenden Roboterbewegungen und Kamerabewegungen in der erhaltenen Reihe von Paaren; Erfassung von Ausreißern basierend auf der Analyse; Umordnung der Reihe von Paarean nach Entfernung der erfassten Ausreißer, um eine Reihe von Paaren von Kameralagen und Roboterposen mit geeigneten Bewegungen zu erhalten; Einsatz der Reihe von Paaren von Kameralagen und Roboterposen mit geeigneten Bewegungen zur Durchführung der Kalibrierung durch Aufnahme einer Vielzahl von Bildern eines Kalibrierobjekts in zumindest zwei Paaren von Kameralagen und Roboterposen und durch Minimierung von in der Vielzahl an Bildern identifizierten Abweichungen zwischen Kalibrierobjektmerkmalen und aufgrund der Roboterposen erwarteten Kalibrierobjektmerkmalen durch Einsatz eines Kamerakoordinatensystems für die Kamera, eines Kalibrierobjektkoordinatensystems für das Kalibrierobjekt, eines Roboterkoordinatensystems für einen stationären Teil des Roboters und eines Endeffektorkoordinatensystems für einen Teil des Roboters, der zur Einnahme der Roboterposen beweglich ist.
  34. Verfahren nach Anspruch 33, wobei geeignete Bewegungen eine Rotation von zumindest fünf Grad umfassen.
  35. Verfahren nach Anspruch 33, wobei geeignete Bewegungen eine Rotation entlang zumindest zwei nicht parallelen Achsen umfassen.
  36. Verfahren nach Anspruch 33, wobei die Reihe von Paaren zumindest drei Paare von Kameralagen und Roboterposen umfasst.
DE112011101730.8T 2010-05-14 2011-05-13 System und Verfahren zur robusten Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter Active DE112011101730B4 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/780,119 2010-05-14
US12/780,119 US9393694B2 (en) 2010-05-14 2010-05-14 System and method for robust calibration between a machine vision system and a robot
PCT/US2011/036460 WO2011143576A2 (en) 2010-05-14 2011-05-13 System and method for robust calibration between a machine vision system and a robot

Publications (2)

Publication Number Publication Date
DE112011101730T5 DE112011101730T5 (de) 2013-06-27
DE112011101730B4 true DE112011101730B4 (de) 2016-03-17

Family

ID=44121246

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112011101730.8T Active DE112011101730B4 (de) 2010-05-14 2011-05-13 System und Verfahren zur robusten Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter

Country Status (5)

Country Link
US (3) US9393694B2 (de)
JP (1) JP5904676B2 (de)
CN (1) CN103209809B (de)
DE (1) DE112011101730B4 (de)
WO (1) WO2011143576A2 (de)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10290118B2 (en) 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
DE102017217142B4 (de) 2016-09-28 2019-10-02 Cognex Corporation Gleichzeitige kinematische und Hand-Augen-Kalibrierung
US10647001B2 (en) 2017-01-12 2020-05-12 Fanuc Corporation Calibration device, calibration method, and computer readable medium for visual sensor
DE102019105466B3 (de) 2019-03-04 2020-08-06 Forward Ttc Gmbh Verfahren zum Betrieb eines Antriebssystems sowie Antriebssystem
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
DE102020106973B4 (de) * 2019-03-29 2021-04-22 Mujin, Inc. Verfahren und Steuerungssystem zum Verifizieren und Aktualisieren einer Kamerakalibrierung zur Robotersteuerung
DE102020105655B4 (de) * 2019-03-07 2021-04-22 Mujin, Inc. Verfahren und System zum Durchführen einer automatischen Kamerakalibrierung zur Robotersteuerung
US11376732B2 (en) 2018-03-27 2022-07-05 Fanuc Corporation Robot system for correcting teaching of robot using image processing
DE102021126517A1 (de) 2021-10-13 2023-04-13 Bayerische Motoren Werke Aktiengesellschaft Robotervorrichtung, Verfahren zum Betreiben einer Robotervorrichtung sowie Steuereinheit für eine Robotervorrichtung

Families Citing this family (139)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9610628B2 (en) * 2009-05-04 2017-04-04 Orametrix, Inc. Apparatus and method for customized shaping of orthodontic archwires and other medical devices
US9393694B2 (en) 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
JP5685027B2 (ja) * 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
US20120327214A1 (en) * 2011-06-21 2012-12-27 HNJ Solutions, Inc. System and method for image calibration
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
US20150142171A1 (en) * 2011-08-11 2015-05-21 Siemens Healthcare Diagnostics Inc. Methods and apparatus to calibrate an orientation between a robot gripper and a camera
US20150002855A1 (en) * 2011-12-19 2015-01-01 Peter Kovacs Arrangement and method for the model-based calibration of a robot in a working space
WO2013091596A1 (de) * 2011-12-19 2013-06-27 Isios Gmbh Anordnung und verfahren zur modellbasierten kalibration eines roboters in einem arbeitsraum
JP5938954B2 (ja) * 2012-03-06 2016-06-22 株式会社ジェイテクト ロボットのキャリブレーション方法及びキャリブレーション装置
JP5949242B2 (ja) * 2012-07-11 2016-07-06 セイコーエプソン株式会社 ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
DE102012014312A1 (de) * 2012-07-19 2014-05-15 Kuka Roboter Gmbh Robotergeführte Messanordnung
JP5620445B2 (ja) * 2012-09-13 2014-11-05 ファナック株式会社 選択条件に基づいてロボットの保持位置姿勢を決定する物品取出装置
JP6108860B2 (ja) * 2013-02-14 2017-04-05 キヤノン株式会社 ロボットシステム及びロボットシステムの制御方法
US10664994B2 (en) * 2013-02-25 2020-05-26 Cognex Corporation System and method for calibration of machine vision cameras along at least three discrete planes
EP2981397B1 (de) 2013-04-05 2017-06-14 ABB Schweiz AG Robotersystem und verfahren zur kalibrierung
CN103389699B (zh) * 2013-05-09 2015-08-12 浙江大学 基于分布式智能监测控制节点的机器人监控及自主移动系统的运行方法
US10725478B2 (en) * 2013-07-02 2020-07-28 The Boeing Company Robotic-mounted monument system for metrology systems
JP6335460B2 (ja) * 2013-09-26 2018-05-30 キヤノン株式会社 ロボットシステムの制御装置及び指令値生成方法、並びにロボットシステムの制御方法
US9628778B2 (en) * 2013-10-14 2017-04-18 Eys3D Microelectronics, Co. Calibration system of a stereo camera and calibration method of a stereo camera
US10380764B2 (en) * 2013-12-18 2019-08-13 Cognex Corporation System and method for performing vision system planar hand-eye calibration from straight line features
CN104827480A (zh) * 2014-02-11 2015-08-12 泰科电子(上海)有限公司 机器人系统的自动标定方法
FR3019909B1 (fr) * 2014-04-11 2016-04-01 Snecma Module porte mires pour la calibration du systeme de vision d'un moyen de production
US9856037B2 (en) * 2014-06-18 2018-01-02 The Boeing Company Stabilization of an end of an extended-reach apparatus in a limited-access space
US9511496B2 (en) * 2014-06-20 2016-12-06 The Boeing Company Robot alignment systems and methods of aligning a robot
US9211643B1 (en) * 2014-06-25 2015-12-15 Microsoft Technology Licensing, Llc Automatic in-situ registration and calibration of robotic arm/sensor/workspace system
CN105279775B (zh) * 2014-07-23 2019-09-17 广明光电股份有限公司 机器手臂的校正装置及方法
US10179407B2 (en) * 2014-11-16 2019-01-15 Robologics Ltd. Dynamic multi-sensor and multi-robot interface system
JP6507792B2 (ja) * 2015-03-30 2019-05-08 セイコーエプソン株式会社 ロボットおよびロボットシステム
JP6565175B2 (ja) * 2014-11-21 2019-08-28 セイコーエプソン株式会社 ロボットおよびロボットシステム
EP3221095B1 (de) * 2014-11-21 2020-08-19 Seiko Epson Corporation Roboter und robotersystem
TWI577493B (zh) 2014-12-26 2017-04-11 財團法人工業技術研究院 校正方法與應用此方法的自動化設備
US9616569B2 (en) * 2015-01-22 2017-04-11 GM Global Technology Operations LLC Method for calibrating an articulated end effector employing a remote digital camera
CN107530881B (zh) * 2015-01-29 2021-05-25 Abb瑞士股份有限公司 机器人系统和用于操作机器人的方法
EP3054265B1 (de) * 2015-02-04 2022-04-20 Hexagon Technology Center GmbH Koordinatenmessmaschine
CN104647390B (zh) * 2015-02-11 2016-02-10 清华大学 用于机械臂遥操作的多摄像机联合主动跟踪目标的方法
US10223589B2 (en) * 2015-03-03 2019-03-05 Cognex Corporation Vision system for training an assembly system through virtual assembly of objects
JP6562665B2 (ja) 2015-03-18 2019-08-21 蛇の目ミシン工業株式会社 ロボット
DE102015104587B4 (de) 2015-03-26 2022-04-28 Pi4_Robotics Gmbh Verfahren zum Kalibrieren eines Roboters an einem Arbeitsbereich und System zum Durchführen des Verfahrens
US9857786B2 (en) 2015-03-31 2018-01-02 Recognition Robotics, Inc. System and method for aligning a coordinated movement machine reference frame with a measurement system reference frame
US9878447B2 (en) * 2015-04-10 2018-01-30 Microsoft Technology Licensing, Llc Automated collection and labeling of object data
ZA201505409B (en) * 2015-07-27 2016-12-21 Csir A method of calibrating a helmet anda system therefor
US10173324B2 (en) * 2015-11-16 2019-01-08 Abb Schweiz Ag Facilitating robot positioning
JP2017100202A (ja) * 2015-11-30 2017-06-08 株式会社アイキューブテクノロジ ロボットシステム、制御装置、制御方法、及びプログラム
JP6674655B2 (ja) * 2016-01-12 2020-04-01 株式会社Ihi 相対データ較正装置と方法
US9815204B2 (en) * 2016-01-22 2017-11-14 The Boeing Company Apparatus and method to optically locate workpiece for robotic operations
DE102016103317B4 (de) * 2016-02-25 2018-12-06 Roboception Gmbh Verfahren zur Gewinnung von Kalibrierungsdaten
DE102016203701A1 (de) * 2016-03-07 2017-09-07 Kuka Roboter Gmbh Industrieroboter mit mindestens zwei Bilderfassungseinrichtungen
JP2017170571A (ja) * 2016-03-24 2017-09-28 セイコーエプソン株式会社 ロボット、ロボット制御装置、及びロボットシステム
CN105773661B (zh) * 2016-03-30 2018-08-21 广东速美达自动化股份有限公司 水平机器人固定相机下工件平移旋转标定方法
US10596706B2 (en) * 2016-04-08 2020-03-24 Delta Electronics, Inc. Mechanism-parameter-calibration method for robotic arm system
US11267125B2 (en) 2016-04-08 2022-03-08 Delta Electronics, Inc. Mechanism-parameter-calibration method for robotic arm system
US10322506B2 (en) 2016-05-06 2019-06-18 Kindred Systems Inc. Systems, devices, articles, and methods for using trained robots
DE102016212695B4 (de) * 2016-05-31 2019-02-21 Siemens Aktiengesellschaft Industrieroboter
WO2017220600A2 (de) * 2016-06-20 2017-12-28 Cognex Corporation Verfahren zur kalibrierung eines bilderfassenden sensors aus mindestens einer sensorkamera unter verwendung eines zeitlich kodierten mustertargets
CN107571290B (zh) * 2016-07-04 2020-04-28 北京航空航天大学 工业机器人末端执行器的校准装置、方法及系统
JP6490037B2 (ja) * 2016-10-04 2019-03-27 ファナック株式会社 移動可能な台車に支持されたロボットを備えるロボットシステム
SE540459C2 (en) * 2016-11-22 2018-09-18 Unibap Ab Measuring system and method of an industrial robot
CN106553195B (zh) * 2016-11-25 2018-11-27 中国科学技术大学 工业机器人抓取过程中的物体6自由度定位方法及系统
JP7179439B2 (ja) * 2016-11-28 2022-11-29 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR102576842B1 (ko) * 2017-01-04 2023-09-12 삼성전자주식회사 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치
AU2018211648B2 (en) 2017-01-24 2022-06-02 Angel Group Co., Ltd. Chip recognition system
US10661442B2 (en) * 2017-02-03 2020-05-26 Abb Schweiz Ag Calibration article for a 3D vision robotic system
JP6860843B2 (ja) * 2017-02-20 2021-04-21 株式会社安川電機 ロボットシステム、ロボット制御装置、及びロボット制御方法
US11679507B2 (en) * 2017-04-26 2023-06-20 Hewlett-Packard Development Company, L.P. Robotic structure calibrations
US11263779B2 (en) 2017-06-20 2022-03-01 Hewlett-Packard Development Company, L.P. Sensors positions determinations
JP7003463B2 (ja) * 2017-07-11 2022-01-20 セイコーエプソン株式会社 ロボットの制御装置、ロボットシステム、並びに、カメラの校正方法
FR3069691B1 (fr) * 2017-07-25 2020-07-10 Safran Procede de determination de la position et de l'orientation d'un capteur optique matriciel par rapport a un robot porteur
JP2019029820A (ja) 2017-07-31 2019-02-21 セイコーエプソン株式会社 カメラの校正方法および校正用具
JP6886620B2 (ja) * 2017-08-09 2021-06-16 オムロン株式会社 キャリブレーション方法、キャリブレーションシステム及びプログラム
TWI668541B (zh) 2017-09-29 2019-08-11 財團法人工業技術研究院 機器人工具中心點校正系統及其方法
WO2019095045A1 (en) 2017-11-20 2019-05-23 Kindred Systems Inc. Systems, devices, articles, and methods for calibration of rangefinders and robots
US11338441B2 (en) 2017-12-01 2022-05-24 Delta Electronics, Inc. Calibration system for robot tool and calibration method for the same
US11072074B2 (en) * 2017-12-13 2021-07-27 Cognex Corporation Calibration and operation of vision-based manipulation systems
CN107993227B (zh) * 2017-12-15 2020-07-24 深圳先进技术研究院 一种获取3d腹腔镜手眼矩阵的方法和装置
US11088004B2 (en) 2018-01-30 2021-08-10 Brooks Automation, Inc. Automatic wafer centering method and apparatus
CN108436909A (zh) * 2018-03-13 2018-08-24 南京理工大学 一种基于ros的相机和机器人的手眼标定方法
CN110349218A (zh) * 2018-04-03 2019-10-18 泰科电子(上海)有限公司 摄像机的标定方法和标定系统
CN112106110B (zh) * 2018-04-27 2023-02-10 上海趋视信息科技有限公司 标定相机的系统和方法
CN109048893A (zh) * 2018-07-27 2018-12-21 浙江工业大学 一种基于单目rgb相机的机械臂定位方法
CN111801198B (zh) * 2018-08-01 2023-07-04 深圳配天智能技术研究院有限公司 一种手眼标定方法、系统及计算机存储介质
CN108769673A (zh) * 2018-08-07 2018-11-06 布勒索特克斯光电设备（合肥）有限公司 一种相机对准和光学校准的装置及方法
US11002529B2 (en) 2018-08-16 2021-05-11 Mitutoyo Corporation Robot system with supplementary metrology position determination system
US11745354B2 (en) 2018-08-16 2023-09-05 Mitutoyo Corporation Supplementary metrology position coordinates determination system including an alignment sensor for use with a robot
US10751883B2 (en) 2018-08-16 2020-08-25 Mitutoyo Corporation Robot system with supplementary metrology position coordinates determination system
US10871366B2 (en) 2018-08-16 2020-12-22 Mitutoyo Corporation Supplementary metrology position coordinates determination system for use with a robot
CN111971529A (zh) * 2018-09-03 2020-11-20 Abb瑞士股份有限公司 用于管理机器人系统的方法和装置
US10913156B2 (en) 2018-09-24 2021-02-09 Mitutoyo Corporation Robot system with end tool metrology position coordinates determination system
CN110969665B (zh) * 2018-09-30 2023-10-10 杭州海康威视数字技术股份有限公司 一种外参标定方法、装置、系统及机器人
US11609574B2 (en) * 2018-11-13 2023-03-21 FLIR Belgium BVBA Extrinsic sensor calibration systems and methods
TWI677413B (zh) * 2018-11-20 2019-11-21 財團法人工業技術研究院 用於機械手臂系統之校正方法及裝置
US10926416B2 (en) * 2018-11-21 2021-02-23 Ford Global Technologies, Llc Robotic manipulation using an independently actuated vision system, an adversarial control scheme, and a multi-tasking deep learning architecture
TWI696529B (zh) * 2018-11-30 2020-06-21 財團法人金屬工業研究發展中心 自動定位方法以及自動控制裝置
TWI672206B (zh) * 2018-12-19 2019-09-21 財團法人工業技術研究院 機械手臂非接觸式工具中心點校正裝置及其方法以及具有校正功能的機械手臂系統
CN109719726B (zh) * 2018-12-30 2021-08-20 芜湖哈特机器人产业技术研究院有限公司 一种机械臂手眼标定装置及方法
CN109794963B (zh) * 2019-01-07 2021-06-01 南京航空航天大学 一种面向曲面构件的机器人快速定位方法
KR102577448B1 (ko) * 2019-01-22 2023-09-12 삼성전자 주식회사 핸드 아이 캘리브레이션 방법 및 시스템
US11911914B2 (en) 2019-01-28 2024-02-27 Cognex Corporation System and method for automatic hand-eye calibration of vision system for robot motion
DE102019102927B4 (de) 2019-02-06 2023-02-23 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zum Bestimmen von dimensionalen und/oder geometrischen Eigenschaften eines Messobjekts
US11254019B2 (en) * 2019-03-05 2022-02-22 The Boeing Company Automatic calibration for a robot optical sensor
GB2582139B (en) * 2019-03-11 2021-07-21 Arrival Ltd A method for determining positional error within a robotic cell environment
TWI706841B (zh) * 2019-03-22 2020-10-11 達明機器人股份有限公司 ３ｄ相機與機械手臂座標系統的校正裝置及方法
US10576636B1 (en) * 2019-04-12 2020-03-03 Mujin, Inc. Method and control system for and updating camera calibration for robot control
CN111823222B (zh) * 2019-04-16 2021-04-27 华中科技大学无锡研究院 单目相机多视场视觉引导装置及引导方法
CN110378937B (zh) * 2019-05-27 2021-05-11 浙江工业大学 基于Kinect摄像头的工业机械臂人机安全距离检测方法
WO2020261881A1 (ja) * 2019-06-27 2020-12-30 パナソニックＩｐマネジメント株式会社 エンドエフェクタの制御システムおよびエンドエフェクタの制御方法
KR20210004553A (ko) * 2019-07-05 2021-01-13 삼성전자주식회사 전자 장치, 이를 이용한 스테레오 영상 복원 방법 및 컴퓨터로 읽을 수 있는 기록 매체
TWI699264B (zh) * 2019-07-05 2020-07-21 上銀科技股份有限公司 視覺導引機器手臂校正方法
TWI758626B (zh) * 2019-08-01 2022-03-21 達明機器人股份有限公司 機器手臂的視覺系統定位方法
JP6785931B1 (ja) * 2019-08-30 2020-11-18 Dmg森精機株式会社 生産システム
EP3792012B1 (de) * 2019-09-12 2023-12-27 Bayerische Motoren Werke Aktiengesellschaft Verfahren und steuereinheit zum betreiben eines rotierenden kopfsystems mit mehreren kameras
TWI708667B (zh) * 2019-09-27 2020-11-01 國立臺灣大學 運動裝置之位置與姿態校正裝置及系統與方法
JP7443014B2 (ja) 2019-10-08 2024-03-05 大豊精機株式会社 ロボットアーム試験装置
CN110634164B (zh) * 2019-10-16 2022-06-14 易思维（杭州）科技有限公司 视觉传感器快速标定方法
US11370121B2 (en) 2019-10-29 2022-06-28 Mujin, Inc. Method and system for determining poses for camera calibration
CN111131813B (zh) * 2019-10-29 2020-12-25 牧今科技 用于确定相机校准的姿态的方法、系统和介质
EP4046099A1 (de) 2019-11-12 2022-08-24 Bright Machines, Inc. Softwaredefiniertes herstellungs-/montagesystem
CN111191546A (zh) * 2019-12-20 2020-05-22 广西柳州联耕科技有限公司 基于机器视觉识别的产品智能装配方法
TWI706843B (zh) * 2020-01-02 2020-10-11 台達電子工業股份有限公司 機器人工具的校正方法與校正系統
CN115552476A (zh) * 2020-02-06 2022-12-30 伯克希尔格雷营业股份有限公司 用于利用可编程运动装置的铰接臂上的位置未知的基准物的照相机校准的系统和方法
CN111591474B (zh) * 2020-02-28 2021-12-07 上海航天控制技术研究所 一种航天器在轨操作系统对准式手眼标定方法
US20210291376A1 (en) * 2020-03-18 2021-09-23 Cognex Corporation System and method for three-dimensional calibration of a vision system
CN111710002B (zh) * 2020-05-27 2022-09-16 华中科技大学 一种基于Optitrack系统的相机外参标定方法
CN111912337B (zh) * 2020-07-24 2021-11-09 上海擎朗智能科技有限公司 机器人位姿信息的确定方法、装置、设备和介质
US11548156B2 (en) * 2020-09-17 2023-01-10 Techman Robot Inc. Device and method for calibrating coordinate system of 3D camera and robotic arm
US20220134566A1 (en) * 2020-11-04 2022-05-05 X Development Llc Optimizing calibration with constraints between different coordinate frames
CN112847350B (zh) * 2020-12-30 2022-03-25 杭州思锐迪科技有限公司 手眼标定方法、系统、计算机设备和存储介质
US20220219328A1 (en) * 2021-01-08 2022-07-14 General Electric Company Method and device for creation of three dimensional tool frame
US20220264072A1 (en) * 2021-02-12 2022-08-18 Sony Group Corporation Auto-calibrating n-configuration volumetric camera capture array
CN112975973B (zh) * 2021-03-02 2022-07-26 中山大学 一种应用于柔性机器人的混合标定方法及装置
CN112936315B (zh) * 2021-03-18 2022-12-20 深圳市梯易易智能科技有限公司 一种基于成像方式的机械臂校准方法及装置
US11912513B1 (en) * 2021-04-14 2024-02-27 Amazon Technologies, Inc. Robotic system camera calibration and localization using robot-mounted registered patterns
EP4094897B1 (de) * 2021-05-26 2023-09-20 MVTec Software GmbH Hand-auge-kalibrierung von kamerageführten apparaturen
EP4116043A3 (de) * 2021-06-09 2023-02-15 Ebots, Inc. System und verfahren zur fehlerkorrektur und -kompensation für die 3d-augen-hand-koordination
CN113843792B (zh) * 2021-09-23 2024-02-06 四川锋准机器人科技有限公司 一种手术机器人的手眼标定方法
CN115890638A (zh) * 2021-09-30 2023-04-04 台达电子工业股份有限公司 自动化机械手臂系统
CN113787522B (zh) * 2021-10-12 2022-08-26 华侨大学 消除机械臂累积误差的手眼标定方法
CN114589698B (zh) * 2022-04-07 2023-06-06 北京信息科技大学 基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置
TWI799310B (zh) * 2022-06-30 2023-04-11 國立清華大學 機器人及機器人手眼校正方法
CN116673998B (zh) * 2023-07-25 2023-10-20 宿迁中矿智能装备研究院有限公司 一种工业机械手的定位校准装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5297238A (en) * 1991-08-30 1994-03-22 Cimetrix Incorporated Robot end-effector terminal control frame (TCF) calibration method and device
DE19826395A1 (de) * 1998-06-12 1999-12-23 Amatec Gmbh Verfahren zum Erfassen und Kompensieren von kinematischen Veränderungen eines Roboters
US6101455A (en) * 1998-05-14 2000-08-08 Davis; Michael S. Automatic calibration of cameras and structured light sources
US6137893A (en) * 1996-10-07 2000-10-24 Cognex Corporation Machine vision calibration targets and methods of determining their location and orientation in an image
US20040102911A1 (en) * 2002-11-21 2004-05-27 Samsung Electronics Co., Ltd. Hand/eye calibration method using projective invariant shape descriptor of 2-dimensional image
US6816187B1 (en) * 1999-06-08 2004-11-09 Sony Corporation Camera calibration apparatus and method, image processing apparatus and method, program providing medium, and camera
EP2070664A1 (de) * 2007-12-14 2009-06-17 Montanuniversität Leoben Objektverarbeitungssystem

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2598019B1 (fr) 1986-04-25 1992-09-11 Thomson Csf Procede d'utilisation d'une matrice photosensible a transfert de charge, et matrice photosensible ainsi utilisee
FR2604320B1 (fr) 1986-09-19 1988-11-04 Thomson Csf Systeme de prise de vues en videographie rapide utilisant un capteur optique matriciel a transfert de charges
US4831549A (en) * 1987-07-28 1989-05-16 Brigham Young University Device and method for correction of robot inaccuracy
FR2631188A1 (fr) 1988-05-03 1989-11-10 Thomson Csf Photodetecteur matriciel a transfert de charges avec dispositif integre de filtrage de charges
FR2711824B1 (fr) 1993-10-21 1996-01-05 Recif Sa Procédés et dispositifs d'identification de caractères inscrits sur des substrats.
JPH08201021A (ja) 1995-01-23 1996-08-09 Mazda Motor Corp キャリブレーション方法
US5742037A (en) 1996-03-07 1998-04-21 Cognex Corp. Method and apparatus for high speed identification of objects having an identifying feature
US5978502A (en) 1996-04-01 1999-11-02 Cognex Corporation Machine vision methods for determining characteristics of three-dimensional objects
US5859924A (en) 1996-07-12 1999-01-12 Robotic Vision Systems, Inc. Method and system for measuring object features
US6026172A (en) 1996-09-06 2000-02-15 Lewis, Jr.; Clarence A. System and method for zoom lens calibration and method using same
JPH1080882A (ja) 1996-09-06 1998-03-31 Fujitsu Ltd ロボット用座標変換パラメータ測定方法
US5960125A (en) * 1996-11-21 1999-09-28 Cognex Corporation Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object
US5918196A (en) 1996-11-29 1999-06-29 Cognex Corporation Vision system for analyzing solid-of-revolution radius profile
US6005965A (en) 1997-04-07 1999-12-21 Komatsu Ltd. Inspection apparatus for semiconductor packages
DE19734695C1 (de) * 1997-08-11 1998-11-05 Leica Mikroskopie & Syst Verfahren zur Korrektur der Messfehler einer Koodinaten-Messmaschine
US5978080A (en) * 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine an orientation, pixel width and pixel height of a field of view
US5978521A (en) 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object
US6044530A (en) 1997-10-02 2000-04-04 Stanley Fastening Systems, L.P. Slotted clip and method
US6658145B1 (en) 1997-12-31 2003-12-02 Cognex Corporation Fast high-accuracy multi-dimensional pattern inspection
US6856698B1 (en) 1997-11-26 2005-02-15 Cognex Corporation Fast high-accuracy multi-dimensional pattern localization
US6173070B1 (en) 1997-12-30 2001-01-09 Cognex Corporation Machine vision method using search models to find features in three dimensional images
US6850646B1 (en) 1997-12-31 2005-02-01 Cognex Corporation Fast high-accuracy multi-dimensional pattern inspection
US6070109A (en) * 1998-03-10 2000-05-30 Fanuc Robotics North America, Inc. Robot calibration system
DE19848765C2 (de) 1998-10-22 2000-12-21 Brainlab Med Computersyst Gmbh Positionsverifizierung in Kamerabildern
US7068825B2 (en) 1999-03-08 2006-06-27 Orametrix, Inc. Scanning system and calibration method for capturing precise three-dimensional information of objects
JP3421608B2 (ja) * 1999-04-08 2003-06-30 ファナック株式会社 教示モデル生成装置
GB9914918D0 (en) * 1999-06-26 1999-08-25 British Aerospace Method and apparatus for calibrating a first co-ordinate frame of an indexing means in a second frame of a sensing means
US6166811A (en) 1999-08-12 2000-12-26 Perceptron, Inc. Robot-based gauging system for determining three-dimensional measurement data
US6594623B1 (en) 1999-11-12 2003-07-15 Cognex Technology And Investment Corporation Determining three-dimensional orientation of objects
US6639624B1 (en) 1999-12-30 2003-10-28 Cognex Corporation Machine vision methods for inspection of leaded components
US6748104B1 (en) 2000-03-24 2004-06-08 Cognex Corporation Methods and apparatus for machine vision inspection using single and multiple templates or patterns
US7065242B2 (en) * 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
EP2258303B1 (de) 2000-04-19 2013-09-18 OraMetrix, Inc. System zur Erstellung eines individuellen virtuellen dreidimensionalen Modells eines Zahnes
WO2001080764A1 (en) 2000-04-25 2001-11-01 Align Technology, Inc. Systems and methods for varying elastic modulus appliances
US6701005B1 (en) 2000-04-29 2004-03-02 Cognex Corporation Method and apparatus for three-dimensional object segmentation
EP1285224A1 (de) 2000-05-16 2003-02-26 Steinbichler Optotechnik Gmbh Verfahren und vorrichtung zum bestimmen der 3d-form eines objektes
US6718074B1 (en) 2000-06-02 2004-04-06 Cognex Corporation Method and apparatus for inspection for under-resolved features in digital images
US6768509B1 (en) 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
US6624899B1 (en) 2000-06-29 2003-09-23 Schmitt Measurement Systems, Inc. Triangulation displacement sensor
JP4501239B2 (ja) * 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
US6771808B1 (en) * 2000-12-15 2004-08-03 Cognex Corporation System and method for registering patterns transformed in six degrees of freedom using machine vision
US6728582B1 (en) * 2000-12-15 2004-04-27 Cognex Corporation System and method for determining the position of an object in three dimensions using a machine vision system with two cameras
US6751338B1 (en) 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
US6681151B1 (en) 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
US6751361B1 (en) 2000-12-22 2004-06-15 Cognex Corporation Method and apparatus for performing fixturing in a machine vision system
US6798925B1 (en) * 2000-12-22 2004-09-28 Cognex Corporation Method and apparatus for calibrating an image acquisition system
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US6915008B2 (en) * 2001-03-08 2005-07-05 Point Grey Research Inc. Method and apparatus for multi-nodal, three-dimensional imaging
SE0103279L (sv) 2001-10-02 2003-04-03 Integrated Vision Prod Förfarande för mätning av ljusspridning och geometrisk profil
US6993177B1 (en) * 2001-11-02 2006-01-31 Cognex Technology And Investment Corporation Gauging based on global alignment and sub-models
US7046840B2 (en) * 2001-11-09 2006-05-16 Arcsoft, Inc. 3-D reconstruction engine
US7212228B2 (en) * 2002-01-16 2007-05-01 Advanced Telecommunications Research Institute International Automatic camera calibration method
AU2003239171A1 (en) * 2002-01-31 2003-09-02 Braintech Canada, Inc. Method and apparatus for single camera 3d vision guided robotics
US7085622B2 (en) 2002-04-19 2006-08-01 Applied Material, Inc. Vision system
AU2003241194A1 (en) 2002-07-25 2004-02-16 Solutionix Corporation Apparatus and method for automatically arranging three dimensional scan data using optical marker
US6822748B2 (en) * 2002-10-29 2004-11-23 Metron Systems, Inc. Calibration for 3D measurement system
JP3944091B2 (ja) 2003-02-06 2007-07-11 パルステック工業株式会社 ３次元画像データ生成方法
SE524818C2 (sv) * 2003-02-13 2004-10-05 Abb Ab En metod och ett system för att programmera en industrirobot att förflytta sig relativt definierade positioner på ett objekt
JP4021351B2 (ja) 2003-03-24 2007-12-12 株式会社新川 ボンディング用照明装置及びボンディング用照明装置の較正方法
US7373270B2 (en) 2003-03-26 2008-05-13 Sony Corporation Diagnosing device for stereo camera mounted on robot, and diagnostic method of stereo camera mounted on robot apparatus
JP4346950B2 (ja) * 2003-05-02 2009-10-21 キヤノン株式会社 情報処理方法および装置
JP2004354257A (ja) 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
DE10333802B4 (de) 2003-07-24 2005-09-08 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zum Prüfen von Reifen
JP3733364B2 (ja) * 2003-11-18 2006-01-11 ファナック株式会社 教示位置修正方法
WO2005065272A2 (en) * 2003-12-30 2005-07-21 Trustees Of Stevens Institute Of Technology Three-dimensional imaging system using optical pulses, non-linear optical mixers and holographic calibration
JP4021413B2 (ja) * 2004-01-16 2007-12-12 ファナック株式会社 計測装置
JP3930482B2 (ja) * 2004-01-19 2007-06-13 ファナック株式会社 ３次元視覚センサ
US7609893B2 (en) 2004-03-03 2009-10-27 Trw Automotive U.S. Llc Method and apparatus for producing classifier training images via construction and manipulation of a three-dimensional image model
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
JP3946716B2 (ja) * 2004-07-28 2007-07-18 ファナック株式会社 ロボットシステムにおける３次元視覚センサの再校正方法及び装置
JP2006110705A (ja) 2004-09-15 2006-04-27 Yaskawa Electric Corp ロボットのキャリブレーション方法
US7356425B2 (en) 2005-03-14 2008-04-08 Ge Security, Inc. Method and system for camera autocalibration
US7590218B2 (en) * 2005-03-23 2009-09-15 Best Medical International, Inc. System for monitoring the geometry of a radiation treatment apparatus, trackable assembly, program product, and related methods
JP2006289531A (ja) * 2005-04-07 2006-10-26 Seiko Epson Corp ロボット位置教示のための移動制御装置、ロボットの位置教示装置、ロボット位置教示のための移動制御方法、ロボットの位置教示方法及びロボット位置教示のための移動制御プログラム
US7801330B2 (en) 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
EP3007131A1 (de) * 2005-09-22 2016-04-13 3M Innovative Properties Company of 3M Center Verfahren zum raffinieren der kalibrierung eines abbildungssystems
DE102005048136B4 (de) * 2005-10-06 2010-01-21 Kuka Roboter Gmbh Verfahren zum Bestimmen eines virtuellen Tool-Center-Points
US8111904B2 (en) * 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
US7656425B2 (en) * 2006-03-31 2010-02-02 Mitutoyo Corporation Robust field of view distortion calibration
JP4267005B2 (ja) * 2006-07-03 2009-05-27 ファナック株式会社 計測装置及びキャリブレーション方法
US20080129894A1 (en) * 2006-12-02 2008-06-05 Electronics And Telecommunications Research Institute Geometric calibration apparatus for correcting image distortions on curved screen, and calibration control system and method using the same
CN101563709B (zh) * 2006-12-18 2013-07-31 皇家飞利浦电子股份有限公司 校准照相机系统
JP4298757B2 (ja) * 2007-02-05 2009-07-22 ファナック株式会社 ロボット機構のキャリブレーション装置及び方法
JP5230114B2 (ja) * 2007-03-13 2013-07-10 キヤノン株式会社 情報処理装置、情報処理方法
JP5270670B2 (ja) 2007-05-29 2013-08-21 コグネックス・テクノロジー・アンド・インベストメント・コーポレーション ２次元画像による３次元組立て検査
KR100918480B1 (ko) * 2007-09-03 2009-09-28 한국전자통신연구원 스테레오 비전 시스템 및 그 처리 방법
US7777300B2 (en) 2007-09-18 2010-08-17 Infineon Technologies Ag Semiconductor device with capacitor
US7979159B2 (en) * 2008-04-30 2011-07-12 Abb Technology Ab Method and system for determining the relation between a robot coordinate system and a local coordinate system located in the working range of the robot
US8248476B2 (en) * 2008-09-03 2012-08-21 University Of South Carolina Robust stereo calibration system and method for accurate digital image correlation measurements
GB2465793A (en) * 2008-11-28 2010-06-02 Sony Corp Estimating camera angle using extrapolated corner locations from a calibration pattern
US8442304B2 (en) 2008-12-29 2013-05-14 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
US11699247B2 (en) * 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
US9393694B2 (en) 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
US8743214B2 (en) * 2011-05-11 2014-06-03 Intel Corporation Display screen for camera calibration
JP6108860B2 (ja) * 2013-02-14 2017-04-05 キヤノン株式会社 ロボットシステム及びロボットシステムの制御方法
US9507995B2 (en) * 2014-08-29 2016-11-29 X Development Llc Combination of stereo and structured-light processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5297238A (en) * 1991-08-30 1994-03-22 Cimetrix Incorporated Robot end-effector terminal control frame (TCF) calibration method and device
US6137893A (en) * 1996-10-07 2000-10-24 Cognex Corporation Machine vision calibration targets and methods of determining their location and orientation in an image
US6101455A (en) * 1998-05-14 2000-08-08 Davis; Michael S. Automatic calibration of cameras and structured light sources
DE19826395A1 (de) * 1998-06-12 1999-12-23 Amatec Gmbh Verfahren zum Erfassen und Kompensieren von kinematischen Veränderungen eines Roboters
US6816187B1 (en) * 1999-06-08 2004-11-09 Sony Corporation Camera calibration apparatus and method, image processing apparatus and method, program providing medium, and camera
US20040102911A1 (en) * 2002-11-21 2004-05-27 Samsung Electronics Co., Ltd. Hand/eye calibration method using projective invariant shape descriptor of 2-dimensional image
EP2070664A1 (de) * 2007-12-14 2009-06-17 Montanuniversität Leoben Objektverarbeitungssystem

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Klaus H. Strobl, Gerd Hirzinger: "Optimal Hand-Eye Calibration", IEEE/RSJ International Converence on Intelliegent Robots and Systems, October 9 - 15, 2006, Beijing, China, Seiten 4647 - 4653 *
Konstantinos Daniilidis: "Hand-Eye Calibration Using Dual Quaternions", The International Journal of Robotics Research, Vol. 18, No. 3, März 1999, Seiten 286 - 298 *
Roger Y. Tsai, "A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses"; IEEE Journal of Robotics and Automation, Vol. RA-3, No. 4, August 1987, Seiten 323 - 344 *
Roger Y. Tsia, Reimar K. Lenz; " A New Technique for Fully Autonomous and Efficient 3D Robotics Hand/Eye Calibration", IEEE Transactions on Robotics and Automation, Vol. 5, No. 3, June 1989, Seiten 345 - 348 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11049280B2 (en) 2015-08-06 2021-06-29 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
DE102016114337B4 (de) 2015-08-06 2019-08-14 Cognex Corporation System und verfahren zum verknüpfen von koordinatenräumen maschinellen sehens in einer umgebung angeleiteten zusammenbaus
US10290118B2 (en) 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
DE102017217142B4 (de) 2016-09-28 2019-10-02 Cognex Corporation Gleichzeitige kinematische und Hand-Augen-Kalibrierung
US10647001B2 (en) 2017-01-12 2020-05-12 Fanuc Corporation Calibration device, calibration method, and computer readable medium for visual sensor
US11376732B2 (en) 2018-03-27 2022-07-05 Fanuc Corporation Robot system for correcting teaching of robot using image processing
DE102019001969B4 (de) 2018-03-27 2022-07-28 Fanuc Corporation Robotersystem zum Korrigieren des Anlernens eines Roboters durch Bildverarbeitung
DE102019105466B3 (de) 2019-03-04 2020-08-06 Forward Ttc Gmbh Verfahren zum Betrieb eines Antriebssystems sowie Antriebssystem
DE102020105655B4 (de) * 2019-03-07 2021-04-22 Mujin, Inc. Verfahren und System zum Durchführen einer automatischen Kamerakalibrierung zur Robotersteuerung
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
DE102020106973B4 (de) * 2019-03-29 2021-04-22 Mujin, Inc. Verfahren und Steuerungssystem zum Verifizieren und Aktualisieren einer Kamerakalibrierung zur Robotersteuerung
US11014241B2 (en) 2019-03-29 2021-05-25 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US11590656B2 (en) 2019-03-29 2023-02-28 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US11883964B2 (en) 2019-03-29 2024-01-30 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
DE102021126517A1 (de) 2021-10-13 2023-04-13 Bayerische Motoren Werke Aktiengesellschaft Robotervorrichtung, Verfahren zum Betreiben einer Robotervorrichtung sowie Steuereinheit für eine Robotervorrichtung

Also Published As

Publication number Publication date
US9393694B2 (en) 2016-07-19
US11077557B2 (en) 2021-08-03
US20110280472A1 (en) 2011-11-17
JP5904676B2 (ja) 2016-04-20
CN103209809A (zh) 2013-07-17
US20160039096A1 (en) 2016-02-11
WO2011143576A3 (en) 2012-08-09
WO2011143576A2 (en) 2011-11-17
DE112011101730T5 (de) 2013-06-27
JP2013526423A (ja) 2013-06-24
US10421189B2 (en) 2019-09-24
CN103209809B (zh) 2017-02-22
US20190084160A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
DE112011101730B4 (de) System und Verfahren zur robusten Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter
DE102015101710B4 (de) Verfahren zum Kalibrieren eines beweglichen Greiforgans unter Verwendung einer entfernten Digitalkamera
DE102017217142B4 (de) Gleichzeitige kinematische und Hand-Augen-Kalibrierung
DE102016114337B4 (de) System und verfahren zum verknüpfen von koordinatenräumen maschinellen sehens in einer umgebung angeleiteten zusammenbaus
DE102016212695B4 (de) Industrieroboter
DE102018112820B4 (de) Teach-Positionskorrekturvorrichtung und Teach-Positionskorrekturverfahren
DE102011009814B4 (de) Robotersystem mit visuellem Sensor
DE102010045752B4 (de) Visuelles Wahrnehmungssystem und -verfahren für einen humanoiden Roboter
EP2435217B1 (de) Verfahren und system zum hochpräzisen positionieren mindestens eines objekts in eine endlage im raum
EP1503874B1 (de) Fertigungseinrichtung mit einer biegepresse, und verfahren zum betrieb der fertigungseinrichtung
EP2075096A1 (de) Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum
EP2448722B1 (de) Kalibrierungsverfahren für ein Messsystem
DE102016103799A1 (de) Bildverarbeitungssystem zum Trainieren eines Montagesystems durch virtuelle Montage von Objekten
WO2013149916A2 (de) Verfahren und vorrichtung zur optischen bestimmung einer position und/oder orientierung eines objekts im raum
EP3426444A1 (de) Industrieroboter mit mindestens zwei bilderfassungseinrichtungen
DE102013017007B4 (de) Roboter mit einem Endmanipulatorarm mit Endeffektor sowie Verfahren zur Bestimmung eines Kraft- und Drehmomenteintrages auf einen Endeffektor eines Roboters
DE102012112025A1 (de) Verfahren und Vorrichtungen zur Positionsbestimmung einer Kinematik
DE112019005484T5 (de) Automatische Kalibrierung für ein Kamera-Robotersystem mit Werkzeugoffsets
DE102015104582A1 (de) Verfahren zum Kalibrieren eines Roboters an einem Arbeitsbereich und System zum Durchführen des Verfahrens
DE102021209178A1 (de) Verfahren und Vorrichtung zum Bestimmen von Relativposen und zur Kalibrierung bei einem Koordinatenmessgerät oder Roboter
DE102006005990B4 (de) Werkstückvermessung für 3-D Lageerkennung in mehreren Multi-Roboter-Stationen
WO2009018894A1 (de) Verfahren und vorrichtung zum bestimmen von geometriedaten eines messobjekts
EP1915239B1 (de) Verfahren zum erzeugen eines umgebungsbildes
DE102015104587A1 (de) Verfahren zum Kalibrieren eines Roboters an einem Arbeitsbereich und System zum Durchführen des Verfahrens
DE10118514B4 (de) Verfahren zur Arbeitspunktstabilisierung bei berührungsloser 3D- Positionserkennung eines zu vermessenden Objektes mittels Digitalkameras

Legal Events

Date Code Title Description
R409 Internal rectification of the legal status completed
R409 Internal rectification of the legal status completed
R012 Request for examination validly filed
R409 Internal rectification of the legal status completed
R082 Change of representative

Representative=s name: ADVOTEC. PATENT- UND RECHTSANWAELTE, DE

R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final