DE10159574B9

DE10159574B9 - Vorrichtung und Verfahren zur Korrektur der Bewegung von Greif- und Bearbeitungswerkzeugen

Info

Publication number: DE10159574B9
Application number: DE10159574A
Authority: DE
Inventors: Hermann Tropf
Original assignee: Individual
Current assignee: Individual
Priority date: 2001-10-15
Filing date: 2001-12-05
Publication date: 2009-04-30
Anticipated expiration: 2021-12-06
Also published as: DE10159574A1; DE10159574B4; DE10164944B4

Abstract

Verfahren zur dreidimensionalen Korrektur der Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstücken einerseits, und Greifer oder Werkzeugen andererseits, mit einer Bildaufnahmeeinrichtung aus einer oder mehreren Kameras, wobei die Bildaufnahmeeinrichtung und/oder das Werkstück reproduzierbar beweglich ist
– mit einem Einrichtbetrieb mit folgenden Schritten:
a) Abbilden von einem oder mehreren Bereichen des Werkstücks, über je mindestens einen den Bereichen zugeordneten Abbildungsstrahlengang,
b) Anordnen eines Werkstücks in einer systematisch gewählten oder zufälligen Standardlage,
c) Anordnen der Bildaufnahmeeinrichtung in einer Ausgangslage,
d) Aufnehmen mindestens eines Bildes über jeden Abbildungsstrahlengang,
e) Speichern der Bilder aus Schritt d) und/oder davon abgeleiteter Daten, und
f) Anordnen der Bildaufnahmeeinrichtung bzw. des Werkstücks in Relativlagen zur Ausgangslage bzw. Standardlage, wobei jeder Freiheitsgrad mindestens einmal gegenüber der Ausgangslage bzw. Standardlage variiert wird, wobei
für jede Relativlage:
– die Relativlage selbst explizit oder implizit gespeichert wird,
– die Schritte d) und e)...

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Korrektur der Bewegung von Greif- oder Bearbeitungswerkzeugen relativ zu Gegenstaenden in unbekannter oder ungenauer Lage, insbesondere mittels Robotern.
Wenn die Gegenstaende in fester Position und Orientierung praesentiert werden, kann das Greifen oder Bearbeiten mittels Roboter ohne Modifikation einer einmal einprogrammierten Bewegung geschehen. Ist die Lage der Gegenstaende unsicher, z. B. aufgrund von Unsicherheiten der Teileaufnahme, so muss fuer das Greifen oder Bearbeiten die Bewegung des Greif- bzw. Bearbeitungswerkzeugs und damit die des Roboters korrigiert werden.
Beispiele fuer das Greifen sind die Entnahme aus Formfolien, Regalen oder Gitterboxen. Beispiele fuer das Bearbeiten sind das Schleifen oder der Klebemittelauftrag; zur Bearbeitung sind ebenso zu zaehlen das Montieren und das Fuegen, wie beispielsweise das Montieren von Anbauteilen wie Scheiben oder Raedern an Automobil-Karossen oder das Einsetzen oder Anschweissen von Bolzen.
Zum besseren Verstaendnis der Erfindung werden im folgenden hier verwendete Begriffe naeher erlaeutert.
Da es sich bei den Gegenstaenden meist um Werkstuecke handelt, wird im folgenden von Werkstuecken gesprochen, im verallgemeindernden Sinn irgend eines, bezueglich der Genauigkeitsforderungen der Anwendung hinreichend starren Gegenstandes.
Unter Werkzeug ist im folgenden je nach Aufgabenstellung verallgemeinernd entweder der Greifer oder das Bearbeitungswerkzeug zu verstehen.
Als Lage wird im folgenden die dreidimensionale Position und Orientierung im Raum (englisch "position and attitude") bezeichnet. Die Lage eines Werkstuecks wird durch mindestens 6 Parameter beschrieben, i. d. R. durch drei translatorische und drei rotatorische, mit denen ein werkstuecksfestes Koordinatensystem in Bezug zu festen Raumkoordinaten steht.
Der mehrdimensionale endliche Raum der in der vorliegenden Aufgabenstellung moeglichen Lageabweichungen (i. d. R. ein 6-dimensionaler Hyperquader) wird im folgenden als Arbeitsbereich bezeichnet. Je genauer die Halterung der Werkstuecke, desto kleiner darf der Arbeitsbereich sein.
Der Begriff Roboter ist hier allgemein zu verstehen im Sinne eines mechanischen oder virtuellen Systems mit programmierbarer oder per Algorithmus steuerbarer oder regelbarer Bewegung. Durch die Bewegung wird die Relativlage von Werkzeug und Werkstueck veraendert, wahlweise Werkzeug gegen Werkstueck oder umgekehrt oder beides.
Unter der Anzahl der Freiheitsgrade ist die Achsenzahl des verwendeten Roboters zu verstehen. Normalerweise liegen 6 Freiheitsgrade vor. Es sind jedoch je nach Situation auch mehr Freiheitsgrade moeglich oder weniger. Es kann Roboterachsen geben, deren Bewegung/Stellung zur Lösung der hier gestellten Aufgabe grundsätzlich nicht verändert werden muss; sie zählen hier nicht zu den Freiheitsgraden.
Im Einrichtbetrieb (Offline-Betrieb) eines Systems wird – i. d. R. unter menschlicher Ueberwachung oder Fuehrung – das System fuer die Anwendung parametriert, einschliesslich z. B. Teachen einer Roboterbahn, Teachen eines Bildanalysesystems und Kalibrierung, sofern erforderlich.
Im Automatikbetrieb (Online-Betrieb) arbeitet das System selbsttaetig oder halbautomatisch entsprechend der vorliegenden Aufgabenstellung.
Unter der Standardlage eines Werkstuecks verstehen wir im folgenden eine zufaellig oder speziell gewaehlte Lage, fuer die der Roboter eingeteacht wird. Aufgabe ist es, das Werkstueck auch in einer von dieser Standardlage abweichenden Lage korrekt zu greifen oder zu bearbeiten. Die Standardlage braucht nicht in irgendeiner bekannten Beziehung zu den Raumkoordinaten zu stehen. Salopp gesprochen koennte man das Werkstueck auf einen Tisch werfen, und die so entstandene zufaellige und geometrisch unspezifizierte Lage als Standardlage zum Teachen verwenden.
Ausgangslage ist eine im allgemeinen beim Teachen festgelegte Lage von Systemkomponenten, in der im Automatikbetrieb die jeweils ersten Bildaufnahmen durchgefuehrt werden.
Als Fixmerkmale (hier speziell eingefuehrter Begriff) werden solche Merkmale eines Werkstuecks bezeichnet, die ortsfest auf den Werkstuecken vorhanden sind, wie "von Natur aus" vorhandene Formen wie Kanten, Ecken, Loecher, Sicken, aber auch kuenstliche Marken (werkstueckbezogen ortsfest angebrachte Aufdrucke, Praegungen, Klebepunkte oder werkstueckbezogen ortsfeste Projizierungen wie Laserpunkte oder Lasermuster).
Fixmerkmale sind auch solche, die unter Zuhilfenahme von strukturiertem Licht ein Muster erzeugen, das werkstueckbezogen ortsfest ist. Dies kann zur Erhoehung der Stoersicherheit sinnvoll sein: beispielsweise kann man, um Werkstueckkanten zuver laessiger darzustellen, ein duennes Linienmuster auf die Oberflaeche projizieren und mittels eines angepassten Softwarefilters die Regionen mit Streifenmuster hervorheben, um eine sichere Figur-Hintergrund-Trennung zu erhalten (auf dem Hintergrund befindet sich kein Streifenmuster mit passenden Linienabstaenden).
Als ausgezeichnete Punkte werden solche Fixmerkmale bezeichnet, die durch Punkte repraesentiert werden, z. B. die Mitte eines Kreises oder ein Eckpunkt einer Kontur, gegeben als Schnittpunkt von zwei Geradenstuecken.
Zusaetzlich zu den werkstueckbezogen ortsfesten Merkmalen koennen nicht ortsfeste, beleuchtungstechnisch erzeugte Merkmale verwendet werden. Diese werden in folgenden als Flexmerkmale bezeichnet (hier speziell eingefuehrter Begriff).
Beispiele fuer Flexmerkmale:

a) Woelbungen: Bei Bewegung der Kamera gegenueber dem Werkstueck und gerichteter Beleuchtung wandern die Reflexionskanten auf der Woelbung relativ zum Werkstueck und verformen sich ausserdem. Sie sind nicht werkstuecksbezogen fest, aber reproduzierbar und zur Gewinnung der Lageinformation geeignet.
b) Projektion von Lichtmustern (i. d. R. mittels Laser realisiert): die sich hierbei ergebenden Formen koennen grundsaetzlich zur dreidimensionalen Auswertung herangezogen werden; da normalerweise die Beleuchtung nicht parallel mit dem Werkstueck bewegt wird, sind die Formen nicht werkstuecksbezogen fest.

Merkmale sind Fixmerkmale oder Flexmerkmale.
Ein Merkmal ist i. a. dreidimensional; die Abbildung eines ein Merkmal umfassenden Werkstueckbereiches in ein zweidimensionales Koordinatensystem ueber ein Strahlenbuendel, im folgenden auch Abbildungsstrahlengang genannt, wird als Merkmalsbild bezeichnet.
Ein solches Merkmalsbild kann weiter ueberfuehrt werden in eine kompaktere Beschreibung in Form eines t-dimensionalen Bildbeschreibungsvektors von Werten, w1, w2, ... wt, mit t >= 1. In der Regel gilt t >= 2.
Die Komponenten des Bildbeschreibungsvektors sind Masszahlen, die Eigenschaften der Abbildung von Merkmalen in Merkmalsbildern erfassen. Einfachstes Beispiel, mit t = 2, ist die Messung des Schwerpunktes der Abbildung eines Lochs, der durch die beiden Schwerpunkts-Bildkoordinaten beschrieben wird. Ein weiteres Beispiel ist die Berechnung von Verschiebung und Verdrehung eines beliebig strukturierten Bildmusters ueber Korrelationsverfahren (t = 3). Wie weiter unten anhand der Ausfuehrungsbeispiele zu der Erfindung erlaeutert wird, sind fuer den Bildbeschreibungsvektor auch Masse geeignet wie Groessenveraenderung, Helligkeits- und Farbveraenderung, Ortsfrequenzveraenderungen – also Werte, die keine Verschiebung oder Verdrehung in Bildkoordinaten beschreiben.
Die triviale Art, einen Merkmalsvektor aus einem Grauwert-Merkmalsbild mit der Groesse nx mal ny Pixel zu bestimmen, besteht darin, einfach alle Pixelgrauwerte direkt in einen Bildbeschreibungsvektor mit nx mal ny Komponenten zu ueberfuehren.
Durch die Zusammenfassung mehrerer Bildbeschreibungsvektoren, die derselben (i. a. unbekannten) mechanischen Werkstueckaufnahmesituation (z. B. der Ausgangslage) zuzuordnen sind, entsteht ein Vektor, der im folgenden als Lagebeschreibungsvektor bezeichnet wird.
Wohlgemerkt beschreibt der Lagebeschreibungsvektor die zu bestimmende Lageabweichung nicht direkt, sondern implizit!
Eine Korrektur der Roboterbewegung kann abgeleitet werden aus der Abweichung der aktuellen Lage von der Standardlage.
Diese Abweichung wird nach der konventionellen Vorgehensweise ermittelt, indem ein werkstueckeigenes Koordinatensystem definiert wird, und indem die absolute Lage des Werkstuecks sowohl fuer die Standardlage als auch fuer die aktuelle Lage bestimmt wird. Fuer die Bestimmung einer absoluten Lage mittels optischer Sensoren, speziell Bildverarbeitungssystemen, werden in der Literatur zweierlei Methoden angegeben:

a) modellbasierte Methoden,
b) dreidimensional messende Systeme.

Modellbasierte Systeme verwenden die bekannte Geometrie von Fixmerkmalen im werkstueckeigenen Koordinatensystem.
Zu modellbasierten Verfahren zaehlen zum Beispiel [GMR], [Fan], [Isr]. Bei allen drei Beispielen muss der Bezug der Merkmale zu einem koerpereigenen Koordinatensystem bekannt sein. [GMR] verwendet Punkte oder Punkte und Linien, eine oder mehrere Kameras. [Isr] verwendet nur Linien, drei oder mehr Kameras. [Fan] verwendet Punkte, drei oder mehr Kameras, ausserdem einen Eichkoerper, der fuer die Kalibrierung vor jede Kamera zu positionieren ist.
Nachteile der modellbasierten Methoden sind:

– die Lage der Merkmale im werkstueckseigenen Koordinatensystem muss bekannt sein,
– die Kamera muss aufwendig kalibriert werden,
– sie koennen grundsaetzlich keine Flexmerkmale handhaben.

Bei dreidimensional messenden Systemen braucht die Teilegeometrie nicht bekannt zu sein; mit ihnen werden beispielsweise handgefertigte Modelle abgetastet zur Generierung von CAD-Daten fuer die Serienproduktion.
Ein anderes Beispiel ist die Bahnregelung mittels Lichtschnittverfahren.
Die Messmethoden fuer dreidimensional messende Systeme sind:

b1) punktweise Abstandsmessung ueber gepulstes oder moduliertes Licht, zusammen mit Messung der Licht-Laufzeit bzw. Phasenverschiebung,
b2) Triangulation ueber mindestens eine Kamera und strukturiertes Licht,
b3) Triangulation ueber mindestens 2 Kameras (Stereo).

Nachteilig ist die Methode b1) mit einem sehr hohen apparativen Aufwand verbunden und erfordert eine aufwendige, stabile Messtechnik.
Nachteilig ist die Methode b2) mit hohem apparativem Aufwand verbunden und erfordert ueberdies einen sehr hohen Aufwand bei der Kalibrierung der Systeme; Kamera- und Beleuchtungsgeometrie muessen bekannt und sehr stabil sein.
Bei messenden Systemen zur Abtastung von Oberflaechen nach Methode b2) kann der Sensor definiert bewegt werden, um fuer grossflaechige Werkstuecke den Messbereich solcher Systeme in Verbindung mit einer bekannten mechanischen Bewegung zu erweitern:
Nach [Dif] wird der Sensor entweder entsprechend einer vorher bekannten Idealform bewegt und der (b2-)Sensor vermisst Abweichungen davon, oder der Sensor dient als Null-Indikator, um eine geregelte Bewegung in konstantem Abstand von der Oberflaeche zu erzeugen, wobei diese Bewegung als Messergebnis dient.
Nach [Per] dient ein Roboter zur Fuehrung eines (b2-)Sensors, wobei die im allgemeinen nicht ausreichende Genauigkeit des Roboters durch eine von Roboter und Sensor unabhaengige, nicht naeher beschriebene Zusatzeinrichtung (z. B. zusaetzliches "Photogrammetrie"-System oder "Kinematic correction module") erhoeht.
Bei Stereoverfahren (b3) werden die selben Merkmale von jeweils mindestens 2 Kameras erfasst; aus der Disparitaet der Abbildung der Merkmale in den Bildern und aus den bekannten Daten der Kamera-Geometrie wird die dreidimensionale Lage der Merkmale berechnet. Die Werkstueckgeometrie und die Lage der Merkmale im Werkstueckkoordinatensystem braucht im allgemeinen nicht bekannt zu sein.
Ein Nachteil der Stereoverfahren ist, dass verschiedene Kameras gleiche Merkmale erfassen muessen. Daraus ergibt sich ein Problem bei grossen Werkstuecken: Um die erforderliche Rotationsgenauigkeit zu erzielen, muessen mehrere moeglichst weit auseinander liegende Merkmale erfasst werden. Das fuehrt dazu, dass

– entweder die Bildfelder sehr gross werden, was nun doch wiederum zu Genauigkeitsproblemen wegen geringer Bildpunktaufloesung fuehrt,
– oder dass fuer weit auseinanderliegende Merkmale je zwei Kameras erforderlich sind, fuer drei weit auseinander liegende Merkmale also insgesamt mindestens 6 Kameras (s. z. B. [Lee]).

Ausserdem duerfen sich die Merkmale bei veraenderter Beleuchtungs- und Betrachtungsgeometrie nicht aendern. Flexmerkmale verbieten sich daher vielfach.
Stereoverfahren sind ausfuehrlich in [Kle] beschrieben.
Ein gravierender Nachteil der triangulierenden Messverfahren (b2 und b3) ist die Notwendigkeit der genauen Kalibrierung, Kamera(s) und ggf. strukturierte Beleuchtung betreffend; ausserdem muss der Aufbau sehr stabil sein, um die geforderte Messgenauigkeit auch im rauen Industriebetrieb aufrechterhalten zu koennen.
Anmerkung: Die Kalibrierung einer Kamera beschreibt die Abbildungsgeometrie; man unterscheidet ueblicherweise aeussere und innere Parameter. Die aeusseren Parameter beschreiben die Lage des Projektionszentrums und der optischen Achse im Raum, sowie den (skalaren) Abstand zwischen Projektionszentrum und Abbildungsebene. Die inneren Parameter beschreiben die Schraeglage der Abbildungsebene zur optischen Achse und die Lage des Durchstosspunktes der optischen Achse durch die Bildebene relativ zum Bildrahmen.
In juengerer Zeit entstand das Arbeitsgebiet "Visual Servoing", im folgenden kurz Servoverfahren genannt [Hut]. Hier wird versucht, mit unkalibrierten oder ungeau kalibrierten Systemen ueber optische Rueckkopplung eine Regelung von Robotern zu realisieren. Waehrend der Roboterbewegung wird versucht, die Position der Merkmale in den Merkmalsbildern moeglichst genau auf Soll zu bringen. Dies impliziert die Moeglichkeit der Berechnung der Position von Merkmalen im Bildbereich.
Anmerkung: bei einer Regelung wird im Gegensatz zu einer Steuerung durch die Rueckfuehrung einer Messgroesse (hier der Position der Merkmale in den Merkmalsbildern) auf eine Stellgroesse (hier der Roboterstellung) eingewirkt. Bei Servoverfahren sind daher laufende Bildaufnahmen Waehrend der Bewegung erforderlich, um die Abweichung der Messgroessen von den Sollwerten durch die Bewegung zu minimieren.
Bei Servoverfahren kann die folgende Fallunterscheidung getroffen werden:
Fall 1: Hand-Auge-Koordination ("hand-eye-coordination").
Bei Hand-Auge-Koordination wird das Werkzeug relativ zu den(r) Kamera(s) bewegt.
Die Kamera erfasst das Werkzeug oder Teile davon oder Markierungen oder mechanische Teile, die in geometrischer Beziehung zum Werkzeug stehen.
Unterscheidung nach Bewegung:

Fall 1a: Das Werkzeug wird bewegt und die Kamera steht fest.
Fall 1b: Das Werkzeug steht fest und die Kamera wird bewegt.
Fall 1c: Das Werkzeug und die Kamera werden beide bewegt, beispielsweise koennen verschiedene Freiheitsgrade verteilt werden auf Werkzeug und Kamera.

Unterscheidung nach Bilderfassung:

Fall 1x: Die Kamera erfasst das Werkstueck und das Werkzeug (Standardfall).
Fall 1y: Die Kamera erfasst das Werkstueck und nicht das Werkzeug.
Fall 1z: Die Kamera erfasst nicht das Werkstueck und erfasst das Werkzeug.

Im Fall 1x kann die Roboterposition in Bezug auf die aktuelle Werkstuecklage gesteuert oder geregelt werden.
Im Fall 1y kann die Roboterposition in Bezug auf die aktuelle Werkstuecklage gesteuert werden.
Im Fall 1z kann nur eine Regelung der Roboterbewegung an sich realisiert werden, nicht aber im Bezug auf die aktuelle Werkstueckposition.
Fall 2: Auge-in-Hand ("eye-in-hand"):
Bei Auge-in-Hand wird (werden) die Kamera(s) parallel mit dem Werkzeug relativ zum Werkstueck bewegt.
Unterscheidung nach Bewegung:

Fall 2a: Das Werkzeug und Kameras werden bewegt und das Werkstueck steht still.
Fall 2b: Das Werkzeug und Kameras stehen fest und das Werkstueck wird bewegt.
Fall 2c: Das Werkzeug und Kameras werden gemeinsam bewegt, und das Werkstueck wird bewegt, beispielsweise koennen verschiedene Freiheitsgrade verteilt werden auf Werkzeug und Kamera einerseits und Werkstueck andererseits.

Unterscheidung nach Bilderfassung:

Fall 2x: Die Kamera erfasst das Werkstueck und das Werkzeug.
Fall 2y: Die Kamera erfasst das Werkstueck und erfasst nicht das Werkzeug.

Im Fall 2x kann die Roboterposition in Bezug auf die aktuelle Werkstuecklage gesteuert oder geregelt werden, die Situation entspricht ungefaehr dem Fall 1x.
Im Fall 2y kann die Roboterposition in Bezug auf die aktuelle Werkstuecklage gesteuert oder geregelt werden.
Um bei Servoverfahren die Regelung zu optimieren, wird versucht, den Zusammenhang zwischen Bewegung der Roboterachsen und der oertlichen Verschiebung der Abbildung von Fixmerkmalen zu modellieren.
Vorgaenger der Servoverfahren sind einfache, steuernd arbeitende Systeme, die jeweils einen der folgenden Faelle betrachten:

– Stereo,
– Fall 1x,
– Tracking ohne exakte Tiefenschaetzung,

Die Lineare Approximation dieses Zusammenhangs um einen Arbeitspunkt wird durch sog. visuelle Jakobi-Matrix beschrieben. Fuer die Hand-Auge-Koordination wurde zur Gewinnung der Jakobi-Matrix vorgeschlagen, dass im Einrichtbetrieb ein Satz von orthogonalen Roboterbewegungen durchgefuehrt wird, bei gleichzeitiger Beobachtung der Bewegung der Position der Abbildung der Merkmale [Ja1].
Verschiedene bekannte Verfahren der Funktionsapproximation wurden vorgeschlagen: stueckweise lineare Naeherung, stueckweise mit Splines [Ja0], "Quasi-Newton"-Verfahren [Pie].
Bei all diesen Annaeherungen wird waehrend der Regelungvorgangs einer Hand-zu-Auge-Koordinationsaufgabe versucht, durch die Naeherung eine Schaetzung fuer die optimale Bewegung abzu leiten, um mit der naechsten Bildaufnahme eine weitere, erhofft genauere, Schaetzung durchfuehren zu koennen.
Servoverfahren haben die folgenden Nachteile:
Servoverfahren koennen in Fall 1x oder Fall 2x ohne Kalibrierung oder mit sehr ungenauer Kalibrierung arbeiten. Im hier eingeschlossenen Fall 2y jedoch benoetigen wir fuer Zwecke der Werkstueckhandhabung oder Werkstueckbearbeitung eine genaue Kalibrierung.
Fuer Zwecke der Zielverfolgung (Tracking) durch Auge-in-Hand Systeme mit Servoverfahren wird die Bewegung der Position der Abbildung von Merkmalen abhaengig von der Kamerabewegung bestimmt

a) analytisch [Mar]: das wiederum setzt Kenntnis der Kamerageometrie voraus (d. h. modellbasiert),
b) durch online Schaetzung; Problem ist die Schaetzung der Entfernungsabhaengigkeit der Parameter in der Jacobimatrix ([Hut] S. 26).; fuer das Tracking kommt man mit einer sehr groben Schaetzung dieser Parameter aus, indem man die Zielpositionen in die Naehe der optischen Achse verlegt. Ohne zuverlaessige Abstandsinformation sind jedoch Aufgaben der Werkstueckhandhabung oder Werkstueckbearbeitung nicht loesbar.

Servoverfahren sind auf die explizite Ableitung von Positionsinformation aus den Bildern angewiesen, wie dies beispielsweise bei Verwendung von ausgezeichneten Punkten realisierbar ist. Ohne solche explizite Positionsinformation kann kein visual Servoing realisiert werden.
Ausserdem ist bei Servoverfahren aufgrund der regelnden Vorgehensweise im Automatikbetrieb die laufende Aufnahme und Auswertung von Bildern erforderlich, und damit insbesondere eine sehr schnelle Auswertung. Damit ist der Ansatz auch auf relativ einfache oder hardwaremaessig unterstuetzte Bildauswertungsmethoden begrenzt.
Die DE 199 30 087 A1 betrifft ein Verfahren und eine Vorrichtung zur Regelung der Vorhalteposition eines Manipulators eines Handhabungsgeräts. Im Einzelnen wird die Vorhalteposition des in mehreren Freiheitsgraden bewegbaren Manipulators eines Handhabungsgeräts relativ zu einem Objekt entlang einer Verfahrbahn geregelt. Dabei werden mehrere Punkte zumindest eines Teils der IST-Verfahrbahn gespeichert und für eine vorausschauende Regelung der Vorhalteposition des Manipulators entlang dieses Teils der Verfahrbahn herangezogen. Während einer Trainingsphase wird der Manipulator um eine Soll-Vorhalteposition um jeweils einen Freiheitsgrad in unterschiedliche Vorhaltepositionen relativ zu dem Objekt bewegt. Sensoren, die an dem Manipulator befestigt sein können, liefern Messdaten anhand derer eine Vorhalteposition des Manipulators charakterisiert ist. Diese Messdaten können auch Bildmessdaten sein, die durch Vermessen von Bildern gewonnen werden. Eine spätere, im Rahmen eines Operations-Mode durchgeführte Regelung der Vorhalteposition wird in Abhängigkeit von den gespeicherten Messdaten durchgeführt.
Die EP 0 796 704 A1 betrifft eine Vorrichtung und ein Verfahren zum Korrigieren einer Verfahrstrecke für einen Roboter. Bei diesem Verfahren wird nach Aufnahme eines Werkzeugs durch einen Roboterarm in einer vorgegebenen Bildaufnahmeposition die Vorderseite und die Seite des Werkzeugs mittels einer Kamera aufgenommen. Die dadurch erhaltenen dreidimensionalen Konfigurationsdaten werden mit Standardkonfigurationsdaten verglichen, um eine Abweichungsgröße des Werkzeugs zu erkennen und daraufhin den Verfahrweg für einen Roboter zu modifizieren.
Aufgabe der Erfindung ist es, ein Verfahren und eine Vorrichtung zur Korrektur der Bewegung von Greif- oder Bearbeitungswerkzeugen relativ zu Werkstuecken bereitzustellen.
Die Aufgabe wird erfindungsgemaess nach Anspruch 1 bzw 18 geloest.
Die Erfindung ermoeglicht eine derartige Korrektur

– ohne eine Kamerakalibrierung durchfuehren zu muessen,
– ohne die Geometrie des Werkstueckes oder seiner Merkmale kennen zu muessen,
– ohne ueberhaupt ueber positionsmaessig erfassbare Merkmale in den Bildern verfuegen zu muessen (bei Servoverfahren nach bisherigen Ansaetzen erforderlich); es sind keine Ausgezeichneten Punkte erforderlich.
– unter Vermeidung des oben angegebenen Nachteils von Stereosystemen, dass grosse Werkstuecke nur ungenau oder mit sehr vielen Kameras gehandhabt werden koennen.

Die Korrektur der Roboterbewegung ist eine geometrische Transformation einer i. a. dreidimensionalen Bewegung

a) zum Greifen: die Modifikation einer vorgeteachten Bewegung von einer meist festen Ausgangslage bis zur Greifposition fuer das aktuelle Werkstueck,
a) zum Bearbeiten: die Modifikation einer vorgeteachten Bearbeitungsbahn.

Die Modifikation ist typischerweise als additive Korrektur (Verschiebung, Verdrehung) auf die vorgeteachte Greifposition bzw. die vorgeteachte Bear beitungsbahn realisiert. In Sonderfaellen kann es sinnvoll sein, daraus eine nichtlinare Verzerrung der Bewegung abzuleiten.
Das hier beschriebene Verfahren kann auch zur Vorkorrektur der Bewegung eingesetzt werden, um in Verbindung mit weiteren Verfahren, insbesondere zusaetzlichen Sensoren, eine genauere Feinkorrektur zu ermoeglichen, z. B. fuer die Schweissbahnkorrektur.
Im folgenden werden bevorzugte Ausfuehrungsformen der Erfindung unter Bezugnahme auf die Zeichnungen beschrieben, in denen:
1 eine Prinzipdarstellung einer ersten erfindungsgemaessen Ausfuehrungsform zeigt,
2 eine Prinzipdarstellung einer zweiten erfindungsgemaessen Ausfuehrungsform zeigt,
3 eine Prinzipdarstellung einer dritten erfindungsgemaessen Ausfuehrungsform zeigt,
4 eine Prinzipdarstellung einer vierten erfindungsgemaessen Ausfuehrungsform zeigt,
5 eine Prinzipdarstellung einer fuenften erfindungsgemaessen Ausfuehrungsform zeigt.
1 zeigt eine Anordnung mit drei Kameras 10, 11, 12 und einem Strahlenbuendel bzw. Abbildungsstrahlengang 20, 21, 22 pro Kamera. Die Merkmale sind Fixmerkmale (Loecher, Kontur) 30, 31, 32 am Werkstueck 2. Die Kameras 10, 11, 12 sind am Werkzeug 1 befestigt. Entweder wird das Werkzeug 1 mit den Kameras bewegt oder das Werkstueck 2 wird bewegt.
Die Fixmerkmale 30, 31, 32 sind hier zwar als Punkte repraesentierbar, es muessen jedoch keine Punktkoordinaten berechnet werden, es genuegen einfache Bildvergleichsmethoden, um die Werkstuecklage zu bestimmen. Ohne die erfindungsgemaessen Kennzeichen zu verlassen, koennen natuerlich auch Koordinatenwerte fuer Lagebeschreibungsvektoren (Definition siehe oben) herangezogen werden.
2 zeigt die prinzipiell gleiche Anordnung, jedoch sind nur zwei Kameras 10, 11 vorgesehen. Dabei sind zwei Strahlenbuendel 20a, 20b mit einer einzigen Kamera 10 realisiert.
3 zeigt die Verwendung eines Reflexes von einer Lichtquelle 40 auf glatter, konvexer Oberflaeche, als Beispiel fuer ein Flexmerkmal 34. Der Reflex stellt sich auf der Oberflaeche als Fleck dar, der bei Bewegung des Werkstueckes 2 relativ zum Werkstueck wandert, dennoch ist er geeignet, daraus die Werkstuecklage abzuleiten.
Es braucht weder die Position noch die Groesse noch die Form des Flecks bekannt zu sein; es genuegt die Tatsache, dass der Fleck sich bei Bewegung des Werkstuecks aus Sicht der Kamera 10 reproduzierbar aendert.
4 zeigt die Verwendung von strukturiertem Licht von Lichtquellen 50, 51, 52, zur Erzeugung von Flexmerkmalen. Die Flexmerkmale 60, 61, 62 sind projizierte Lichtmuster mit irgendeiner Struktur, die nicht weiter spezifiziert zu werden braucht; weder die geometrische Form noch irgendwelche Abmessungen brauchen bekannt zu sein. Willkuerlich wurde fuer das Beispiel ein "wildes" Punktemuster, ein Kreisring und ein Rechteck verwendet. Solcherart Flexmerkmale sind fuer die Lage des Werkstueckes 2 signifikant.
5 zeigt die gleiche Anordnung wie 4, jedoch ist die projizierende Einrichtung 50, 51, 52 nicht schraeg, sondern tangential ausgerichtet. Die Projizierende Einrichtung 50, 51, 52 ist weitwinklig, so dass sich bei Bewegung des Werkstuecks 2 INNERHALB der Betrachtungs-Strahlenbuendel eine Verzerrung der Projektionsmuster ergibt, was zur Einhaltung der Signifikanzbedingung zwar grundsaetzlich ausreicht, aber bezueglich Stabilitaet und Genauigkeit weniger empfehlenswert ist als die strenge Einhaltung des Tangentenverbots.
Die Berechnung der aktuellen Lage kann direkt aus den abgespeicherten Bildern abgeleitet werden, wenn man im Einrichtbetrieb den Arbeitsbereich in allen Freiheitsgraden mit ausreichend kleinen Schritten abtastet und Bildaufnahmen durchfuehrt, die Merkmalsbilder speichert und im Automatikbetrieb nach der Lage mit dem aehnlichsten Satz von Abbildungen sucht. Diese Brute-Force-Methode setzt lediglich voraus, dass sich in verschiedenen Lagen reproduzierbar unterschiedliche, der Lageinformation innerhalb des Arbeitsbereichs eindeutig zuordenbare k-Tupel (k = Anzahl der Abbildungsstrahlengaenge oder Strahlenbuendel) von Merkmalsbildern ergeben. Diese Voraussetzung wird im folgenden einfach Signifikanzbedingung genannt.
Die Einhaltung der Signifikanzbedingung ist eine allgemein notwendige Voraussetzung der Erfindung und wird weiter unten diskutiert.
Das Verfahren laeuft vorzugsweise auf das Durchsuchen einer mehr oder weniger grossen Datenbank von Lagebeschreibungsvektoren hinaus. Es kann eine grosse, hochdimensionale Datenbank erforderlich sein, insbesondere wenn man ohne Interpolation und mit langen Vektoren arbeitet. Fuer das effiziente Durchsuchen solcher Datenbanken stehen Methoden aus dem Arbeitsgebiet der Datenbanksys teme bereit.
Bezueglich Arbeitsweise im Automatikbetrieb kann man unterscheiden:

– Nach Abtastweite:
– Suche in einer Datenbank von Lagebeschreibungsvektoren, die durch feine Abtastung des Arbeitsbereiches entsteht.
– interpolierendes Arbeiten mit einer Datenbank, die durch grobe Abtastung des Arbeitsbereiches entsteht. Im letzten Fall ist die Datenbank wesentlich kleiner, da der Arbeitsbereich nur grob abgetastet wurde. Anschliessend wird aus mehreren benachbarten Lagekandidaten, ueber Interpolieren der Aehnlichkeitswerte, die Lage bestimmt.
– Nach Datenbankinhalt:
– Arbeiten mit grossen Lagebeschreibungsvektoren in Form von Merkmalsbildern
– Arbeiten mit kompakteren Lagebeschreibungsvektoren (grundsaetzlich sind nur 6 Vektorkomponenten erforderlich, um bei 6 Freiheitsgraden eine Lagekorrektur mit nur einer Bildaufnahme pro Buendel oder Abbildungsstrahlengang zu realisieren).

Diese Methoden koennen auch miteinander kombiniert werden.
Die Interpolation mit reinen Bilddaten ist unter bestimmten Voraussetzungen realisierbar: die Bildinhalte muessen – moeglichst in verschiedenen. Richtungen – strukturiert sein, es sollten grobe und moeglichst auch feine Strukturen vorhanden sein).
Die den Strahlenbuendeln (auch Abbildungsstrahlengang genannt) zugeordneten zweidimensionalen Koordinatensysteme sind normalerweise (aber nicht notwendigerweise) eben; sie koennen auch koplanar sein. Verschiedenen Strahlenbuendel werden entweder durch verschiedene Kameras realisiert (1) oder durch dieselbe Kamera realisiert (2, dort umfasst Kamera 11 das Buendel 31 und Kamera 10 die Buendel 20a und 20b).
Die Bereiche dürfen sich grundsätzlich überlappen, sind jedoch vorteilhafterweise disjunkt oder mit nur geringer Überlappung realisiert.
Die Abgrenzung der Strahlenbündel kann durch mechanische Begrenzung von Bildfeldern geschehen, aber auch – insbesondere bei Realisierung mehrerer Strahlenbündel durch dieselbe Kamera – verfahrensmäßig durch Aufteilung des gesamten Kamerabildes in Bereiche. Die den Bereichen entsprechenden Bildausschnitte (Merkmalsbilder) bzw. davon abgeleitete Daten werden im Einrichtbetrieb gespeichert bzw. im Automatikbetrieb weiterverarbeitet.
Falls alle Strahlenbündel durch dieselbe Kamera realisiert werden, ist zur Einhaltung der Signifikanzbedingung erforderlich, daß nicht alle Strahlen parallel sind; ein telezentrischer Strahlengang ist in diesem Fall also ausgeschlossen.
Bei Zentralprojektion ist die Signifikanzbedingung umso sicherer erfüllbar, je besser das Tangentenverbot erfüllt ist; dies wiederum ist bei Verwenden einer einzelnen Kamera umso besser erfüllbar; je weitwinkliger das Objektiv ist. In der Praxis reicht in diesem Fall ein Objektfeldwinkel von mehr als ca. 20 Grad; bevorzugt mindestens 45 Grad; bei ca. 90 Grad Objektfeldwinkel ist das Tangentenverbot am besten erfüllbar: dann können in einer Ebene liegende Werkstückbereiche alle mit ca. 45 Grad zur Tangente geschnitten werden.
Entsprechendes gilt für die Verwendung von insgesamt zwei Kameras, wobei zwei Strahlenbündel durch eine von diesen zwei Kameras realisiert sind: das Tangentenverbot ist umso sicherer erfüllbar, je weitwinkliger das Objektiv dieser Kamera ist.
Falls mehrere Strahlenbündel durch dieselbe Kamera realisiert werden, ist es auch ausreichend, das Herausgreifen der Werkstückbereiche dieser Kamera nicht explizit, sondern implizit durchzuführen: Der Bildvergleich zweier Werkstückbereiche mit den entsprechenden Bereichen aus dem Einrichtbetrieb kann zusammenfassend in einem einzigen Schritt mit je einem Bild aus Einrichtbetrieb und Automatikbetrieb realisiert werden.
In diesen Vergleich können schadlos durchaus andere Partien des Bildes außerhalb der Bereiche einbezogen sein; man kann dann z. B. auch mit Gesamtbildern arbeiten, denn wenn die Bildpartien, die nicht die Tangentenbedingung erfüllen, sich bei Bewegung der Bildaufnahmeeinrichtung gegen das Werkstück nicht verändern, liefern diese Bildpartien zur Bildauswertung zwar keinen Beitrag, es ist aber auch nicht schädlich. In diesem Fall werden die zusammengefaßten Bereiche als einzelner Bereich angesprochen, der über einen ihm zugeordneten Strahlengang abgebildet wird.
Ein Bereich kann im Sonderfall auch den ganzen aus dem Blickwinkel der betreffenden Kamera sichtbaren Teil der Werkstückoberfläche umfassen.
Die Strahlenbuendel entsprechen nicht notwendigerweise einer Zentralprojektion, wie in 1 dargestellt; sie koennen beispielsweise auch parallel sein, wie bei der Verwendung von telezentrischen Objektiven (Parallelprojektion).
Die Begrenzung der Strahlenbuendel ist nicht notwendigerweise kreisfoermig, wie in 1 dargestellt; die ausgewerteten Bereiche koennen be liebig abgegrenzt sein.
Verschiedene Strahlenbuendel koennen auch mit der selben Kamera in verschiedener Position und ggf. in verschiedener Einstellung (z. B. Zoom), zeitlich nacheinander realisiert werden.
Im Rahmen der vorliegenden Erfindung können die Bildaufnahmen sowohl im Stillstand als auch während der Bewegung erfolgen zu Zeitpunkten, wenn sich die Systemkomponenten in den betreffenden Lagen befinden.
Das erfindungsgemäße Verfahren ist in beiden Fällten dabei ohne Einschränkung einsetzbar. Die Praxis der industriellen Bildverarbeitung bietet viele bewährte Möglichkeiten der Bildaufnahme in der Bewegung, durch die z. B. das Problem der Bewegungsunschärfe unterbunden wird (z. B. Blitzbeleuchtung, Shuttertechnik, CMOS-Sensoren).
Das Verfahren kann auch mit alternativ "umschaltbaren" Werkstueckbereichen arbeiten. Beispiel: zur Lagekorrektur eines Schraubers fuer die Montage eines PKW-Rades mit 6 Schrauben, seien zwei alternative Saetze von je drei Werkstueckbereichen in einer einzigen, (kurzbrennweitigen, um das weiter unten erlaeuterte Tangentenverbot gut einzuhalten) Kamera definiert.
Die Bereiche sind so gewaehlt, dass unabhaengig von der Drehlage der Radnabe in mindestens einem der Saetze von Bildbereichen in jedem der drei Bereiche immer ein Schraubenloch sichtbar ist. Die den Saetzen zugeordneten Mengen von Bereichen brauchen grundsaetzlich nicht disjunkt zu sein.
Die Beziehung zwischen der Ausgangslage und den weiteren Lagen kann in beliebigen Einheiten gemessen sein, die diese Beziehung beschreiben, vorzugsweise in der Anzahl der Schritte von Verfahrachsen oder in Raumkoordinaten-Inkrementen.
Das Speichern von Relativlagen (Schritt f) kann explizit geschehen durch Abspeichern der Werte, aber auch implizit, indem man beispielsweise in einer Programmschleife lediglich entsprechende Schrittweiten und Endwerte angibt.
Im Automatikbetrieb kann zwischen Bildaufnahmen eine definierte Bewegung des Roboters liegen

a) um die Eindeutigkeit der Zuordnung mit weniger Kameras zu erreichen und/oder
b) zur Gewinnung von Redundanzen und dadurch Erhoehung der Genauigkeit und Stoersicherheit.

Unabhaengig davon koennen auch mehrere Bildaufnahmen in gleicher Roboterposition zur Erhoehung der Genauigkeit und Stoersicherheit sinnvoll sein.
Mit dem erfindungsgemaessen Verfahren kann sowohl eine Steuerung als auch eine Regelung (aehnlich visual Servoing, mit mehreren Bildaufnahmen pro Strahlenbuendel) realisiert werden.
Mit dem erfindungsgemaessen Verfahren kann vorzugsweise auch eine mehrstufige, hierarchische Bestimmung der Lage realisiert werden: Im einem ersten Schritt wird eine grobe Lagebestimmung realisiert, auf Basis einer Datenbasis mit grober Abtastung, worauf der Roboter die Lage dementsprechend zunaechst grob korrigiert. In den folgenden Schritten werden Datenbasen mit zunehmend kleineren Fangbereichen und zunehmend kleineren Abtastweiten verwendet.
Die Signifikanzbedingung ist wie nachfolgend beschrieben erzielbar:
Wir gehen zunaechst gedanklich von 3 ausgezeichneten Punkten aus.
In [Fis] wird gezeigt, dass aus der zweidimensionalen Abbildung von 3 ausgezeichneten Punkten mit bekanntem Abstand, ueber eine einzelne Kamera mit bekannten inneren Parametern, die aeusseren Kameraparameter berechnet werden koennen. Dies entpricht umgekehrt der Bestimmung der Lage des 3-D-Punktetripels bei bekannten Kameraparametern. Umformung der die Aufgabe beschreibenden geometrischen Gleichungen [Fis] fuehren zu einer Gleichung vierten Grades mit bis zu 4 diskreten, reellen positiven Loesungen. Diese Loesungen koennen jedoch grundsaetzlich nahe beisammen liegen.
Wenn es gelingt, durch Wahl der Geometrie der Strahlenbuendel zu garantieren, dass maximal eine Loesung im Arbeitsbereich liegen kann, ist bei 3 ausgezeichneten Punkten und einer Kamera die Signifikanzbedingung einhaltbar. Die Loesungen sollten also soweit auseinanderliegen, dass sich im Arbeitsbereich nur eine Loesung befinden kann.
Mehrdeutigkeiten entstehen

– wenn Strahlenbuendel parallel zu den translatorischen Freiheitsgraden des Roboters sind,
– aufgrund der Rotationsfreiheitsgrade.

Wenn bei Rotationen die ausgezeichneten Punkte die Strahlen der Strahlenbuendel tangential schneiden, fallen 2 diskrete Loesungen zusammen. Entsprechende anschauliche Betrachtungen werden in [Wil] durchgefuehrt fuer den 1-Kamera-Fall; sie sind fuer den hier vorliegenden Fall mit im allgemeinenen mehreren Kameras topologisch aequivalent: Wenn die rotierenden ausgezeichneten Punkte die Strahlenbuendel beinahe tangential schneiden, liegen die Schnittpunkte nah beisammen. Wenn sie sie in einem groesseren Winkel (z. B. > 20 Grad) schneiden, liegen sie weit auseinander.
Bei nicht zu grossem Arbeitsbereich kann also sichergestellt werden, dass im Arbeitsbereich nur eine Loesung liegt.
Bedingung ist bei ausgezeichneten Punkten also, dass bei Rotationen die ausgezeichneten Punkte die Strahlen der Strahlenbuendel nicht tangential, sondern moeglichst in einem groesseren Winkel (z. B. > 20 Grad) schneiden. Diese Bedingung, zusammen mit der Forderung, dass Strahlenbuendel nicht parallel zu den translatorischen Freiheitsgraden des Roboters sind, wird im folgenden Tangentenverbot genannt. Sie ist leicht und auf vielfaeltige Weise einzuhalten und beispielsweise dann erfuellt, wenn die Strahlenbuendel ein Dreibein darstellen und sich der Drehpunkt in der Mitte der Grundflaeche des Dreibeins befindet und die Drehachsen nicht durch die Merkmale gehen.
Das Tangentenverbot ist bei Flexmerkmalen auch dann erfuellt, wenn die LICHT-Strahlenbuendel dort, wo sie die Flexmerkmale treffen, nicht tangential zum Kreis um die Rotationsachsen sind.
Das Tangentenverbot ist ein Beispiel fuer die Erreichung der Signifikanzbedingung. Das Tangentenverbot ist also eine hinreichende, aber nicht notwendige Bedingung fuer die Erreichung der (notwendigen) Signifikanzbedingung. Siehe Beispiel 5: hier ist die Signifikanzbedingung auch ohne Einhaltung des Tangentenverbots erfuellt.
Andererseits ist die Einhaltung des Tangentenverbots vorteilhaft, wie man aus Vergleich von 4 und 5 entnehmen kann: in 5 verzerren sich bei Koerper-Rotation die abgebildeten Muster nur geringfuegig, waehrend sie sich in 4 deutlich veraendern.
Da es sich bei dieser Erfidnung um die KORREKTUR einer Bewegung handelt, sind die Arbeitsbereiche in der Regel ausreichend klein, um z. B. sicherstellen zu koennen, dass eine Rotationsachse nicht durch ein Merkmal hindurchgeht.
Fuer die geometrischen Betrachtungen setzen [Fis] und [Wil] die Kenntnis der Punkteabstaende im Raum voraus; für die vorliegende Erfindung ist diese Kenntnis nicht unbedingt erforderlich. Die Ueberlegungen von [Fis] und [Wil] sind hilfreich, um zu erkennen, unter welchen topologischen geometrischen Voraussetzungen die Signifikanzbedingung erzielbar ist.
Die Loesbarkeits- und Eindeutigkeits- und Stabilitaetsbetrachtungen sind abstrakt-geometrische Ueberlegungen und von den konkreten Abstandsmassen unabhaengig. Die fuer die Bestimmung der Lageabweichung erforderliche Zusatzinformation stammt aus den im Einrichtbetrieb gespeicherten Daten. Lageinformation wird nur implizit bestimmt.
Bleibt noch der Uebergang von der Vermessung der Abbildung von ausgezeichneten Punkten zum Abspeichern und Vergleichen von allgemeinen Lagebeschreibungsvektoren, die im Extremfall direkt als Merkmalsbilder gegeben sein koennen:
Ueber Korrelationsverfahren kann man bekanntermassen ohne ausgezeichnete Punkte die Verschiebung und Verdrehung eines Bildes gegenueber einem Referenzbild berechnen, vorausgesetzt die Bilder besitzen gewisse naeherungsweise reproduzierbare Strukturen, die in mindestens zwei Richtungen ausgepraegt sind. Solche Verfahren gestatten die Verschiebungsberechnung auch beim Vorhandensein von Stoerungen.
Im allgemeineren Fall verfuegt man ueber keinerlei positionsmaessig erfassbare Merkmale, also entweder nur direkt ueber Bilder oder Bildbeschreibungsvektoren mit Massen, die keine Positionen in Bildern angeben. Solche Masse sind z. B. Groessenveraenderung, Verdrehung, Verzerrung, Helligkeits- und Farbveraenderung, Ortsfrequenzveraenderungen. Diese Aenderungen koennen auch durch geeignete Beleuchtungsmassnahmen gezielt herbeigefuehrt werden, beispielsweise durch strukturiertes Licht oder Moire-Muster auf dem Werkstück.
Dieser allgemeine Fall kann auf den Fall mit ausgezeichneten Punkten zurueckgefuehrt werden, indem man sich vorstellt, dass bei Bewegung des Werkstuecks im Raum sich Bildstrukturen und damit verbundene Wertetupel mit in einem monotonen Zusammenhang tendenziell so veraendern, wie dies bei Vermessung der Bildkoordinaten von ausgezeichneten Punkten der Fall waere.

– Wertevergleich: Zur eindeutigen Zuordnung kann zum Beispiel ein auf dem Werkstueck festes Gittermuster verwendet werden, dessen Gitterweite und Orientierung sich bei der Roboterbewegung in der Abbildung veraendert; es genuegt die Berechnung der Gitterweite und der Orientierung, ohne Positionsdaten zu berechnen.
– Bildvergleich: Ein begrenztes Schachbrettmuster zum Beispiel, dessen Rastergroesse und Orientierung sich bei der Roboterbewegung in der Abbildung veraendert, kann durch Bildvergleich einem von mehreren vorher gespeicherten Schachbrettmustern zugeordnet werden, ohne die jeweilige Rastergroesse und die Orientierung direkt zu berechnen (ein Schachbrett ist fuer direkten Bildvergleich guenstiger als beispielsweise ein Gitter mit feinen Linien).

Damit ist plausibel gemacht, dass mit der an gegebenen Anordnung auch bei direktem Bildvergleich, ohne ueber irgendwelche von den Bildern abgeleitete Positionswerte zu verfuegen, die Signifikanzbedingung eingehalten werden kann.
Bleibt noch der Uebergang von Fixmerkmalen auf Flexmerkmale. Hier gilt eine aehnliche Ueberlegung: Auch hier sind Anordnungen realisierbar, mit denen Bildstrukturen entstehen, aufgrund derer skalare Wertetupel sich tendenziell so monoton veraendern, wie dies bei Vermessung der Bildkoordinaten von ausgezeichneten Punkten der Fall ist.
Beispiel eines Flexmerkmals: Die Erzeugung eines Gittermusters oder eines Schachbrettmusters mittels strukturierter Beleuchtung fuehrt bei geeigneter Beleuchtungsgeometrie auf den gleichen oben geschilderten Effekt, ohne dass solche Muster auf dem Werkstueck vorhanden sein muessen. Siehe Beispiele 4 und 5.
Zu Flexmerkmalen siehe auch das Beispiel 3.
Im folgenden werden Vorteile der Erfindung erlaeutert.
Es muessen nicht unbedingt konventionelle geometrische Merkmale wie Kanten, Ecken, Loecher aufgenommen werden. Es genuegen grundsaetzlich Abbildungen, aus denen sich irgendwelche reproduzierbare Bildstrukturen ergeben, die sich in irgendeiner Weise bei Veraenderung der Aufnahmegeometrie aendern und in ihrer Gesamtheit eine eindeutige Zuordnung zur Lage ermoeglichen.
Dazu gibt es vielerlei Moeglichkeiten.
Merkmale im oben angegebenen Sinn erfuellen diese Forderung bei Einhalten des oben geschilderten Tangentenverbots. Solche Merkmale koennen verwendet werden, ihre Geometrie braucht jedoch nicht bekannt zu sein.
Auch geeignet zur Auswahl der zu erfassenden Bereiche sind beispielsweise

– Oberflaechenformen wie Sicken, Woelbungen,
– kuenstlich erzeugte Flexmerkmale (s. o.),
– inhomogene Strukturen wie reproduzierbare Uebergaenge von Oberflaechenstrukturen; beliebige metrisch undefinierte, aber in der optischen Abbildung reproduzierbare Merkmale.

Eine analytisch oder experimentelle Bestimmung der visuellen Jakobimatrix oder eines funktionellen (z. B. stueckweise linear approximierenden) Zusammenhangs zwischen Roboterbewegung und der Bewegung konventioneller (d. h. mit Positionsdaten verknuepfbarer) Bildmerkmale ist nicht erforderlich. Im allgemeinen Fall des Arbeitens mit einer grossen Bild-Datenbasis werden von den Bildern ueberhaupt keine Daten abgeleitet. Eine Darstellung irgendeines funktionellen Zusammenhangs eruebrigt sich.
Das hier vorgestellte Verfahren ist nicht darauf angewiesen, dass gepulstes, moduliertes oder strukturiertes Licht eingesetzt wird. Das hier vorgestellte Verfahren kann grundsaetzlich mit beliebigem Licht arbeiten, z. B. dem Tageslicht. Wird eine spezielle Beleuchtung verwendet, so kann diese durchaus zur Erhoehung der Stoeranfaelligkeit gegen Fremdlicht zusaetzlich gepulst oder moduliert oder auf einen bestimmten Spektralbereich begrenzt oder strukturiert werden. Dies ist jedoch nicht grundsaetzlich erfoderlich; das Verfahren faellt also weder unter b1) noch unter b2) und ist – auch bei zusaetzlicher Verwendung von strukturiertem oder gepulstem oder moduliertem Licht – nicht mit den messtechnischen Problemen der Verfahren b1) und b2) verbunden.
Bei der hier vorgestellten Erfindung betrachten im Gegensatz zu Stereo-Verfahren die Kameras im allgemeinen unterschiedliche Merkmale, u. a. mit dem Vorteil, dass grosse Werkstuecke leichter und genauer zu erfassen sind. Je weiter die Merkmale auseinander liegen, desto genauer ist die Bewegungskorrektur moeglich. Grundsaetzlich reicht andererseits jedoch, im Gegensatz zu Stereosystemen, eine einzige Kamera aus.
Im Gegensatz zu modellbasierten Systemen braucht die Werkstueckgeometrie oder die Lage der Merkmale in einem Werkstueck-Koordinatensystem nicht bekannt zu sein, ja sogar ein Werkstueckkoordinatensystem braucht nicht definiert zu sein. Die Aufgabe ist geloest, indem die Abweichung der Werkstuecklage gegenueber der Standardlage implizit bestimmt wird, ohne dass die geometrischen Verhaeltnisse bei Standardlage bekannt zu sein brauchen. Die wirkliche Lage des Werkstuecks im Raum braucht prinzipiell weder in der Standardlage noch in der im Automatikbetrieb angetroffenen Lage bekannt zu sein und auch nicht berechnet zu werden.
Ein Kalibrieren des Robotersystems auf Weltkoordinaten, wie es beispielsweise in [Bon] mittels Bewegung von Kameras mit Blick auf eine Kalibrierplatte realisiert wird, entfaellt.
Im Gegensatz zu konventionellen Stereosystemen braucht die Kamerageometrie nicht bekannt zu sein. Die Lage der ebenen Koordinatensysteme im Raum braucht nicht bekannt zu sein. Eine Berechnung der inneren oder aeusseren Kamerakoordinaten entfaellt damit.
Ohne mathematische Mehrdeutigkeitsprobleme koennen auch Systeme mit mehr als 6 Roboter-Freiheitsgraden realisiert werden. Soll z. B. ein Knickarmroboter eine bestimmte Lage des Greifers oder Werkzeugs im Raum herstellen, so kann es vorkommen, dass bestimmte Lagen mit mehreren verschiedenen Roboterstellungen erreicht werden koennen. Die damit verbundenen mathematischen Probleme existieren hier nicht, da aufgrund des Vorzeigens in verschiedenen Robotereinstellungen eben nur diese (und ggf. dazu benachbarte) Einstellungen fuer den Automatikbetrieb in Frage kommen.
Es ist nicht erforderlich, kuenstliche Merkmale anzubringen, wie z. B. Klebepunkte.
Das Verfahren gestattet eine steuernde oder regelnde Vorgehensweise.
Das Verfahren ist einsetzbar, ohne dass positionsmaessig erfassbare Merkmale in den Bildern verfuegbar sein muessen.
In einem konkreten System ist der Uebergang von Fixmerkmalen zu Flexmerkmalen grundsaetzlich realisierbar allein durch Aendern der Beleuchtungseinrichtung, ohne an den restlichen Komponenten wie Roboter, Steuerung, insbesondere Bildauswertungsverfahren, etwas zu aendern.
Das Verfahren gestattet eine Selbstueberwachung, indem verschiedene Ausgangsstellungen des Roboters definiert werden und fuer diese Stellungen, jeweils nach einer korrigierenden Roboterbewegung, mit zusaetzlichen Bildaufnahmen, das Erreichen des Korrekturziels ueberprueft wird. Die Werkstuecklage braucht hierfuer nur konstant zu sein und braucht nicht der Standardlage zu entsprechen.
Die bei der Selbstueberwachung auftretende Abweichung kann fuer eine automatische Adaption an langsam oder geringfuegig veraenderliche Gegebenheiten verwendet werden.
Quellen:

[Dif] US 6 211 506 B1
[Fan] US 4 639 878
[Fis] M. A. Fischler, R. C. Bolles: Random Sample Consensus: A Paradigm for model Fitting with Applications to Image Analysis and Automated Cartography. Communications of the A. C. M. June 1981, Vol. 24, No. 6, pp. 381–395.
[GMR] US 4 942 539
[Hut] S. Hutchinson, G. Hager, P. Corke: A Tutorial on Visual Servo Control. IEEE Trans. on Robotics and Automation. Vol. 12 No. 5, S. 651–670, Oct. 1996.
[Isr] EP 0911 603 B1
[Ja0] www.cs.rochester.edu/u/jag/PercAct/dvfb.html Stand 23.09.2001
[Ja1] M. Jagersand, O. Fuentes, R. Nelson: Experi mental Evaluation of Uncalibrated Visual Servoing for Precision Manipulation. Proc. Int. Conf. on Robotics and Automation, April 1997, Vol. 4, pp 2874–2880
[Kle] R. Klette, A. Koschan, K. Schluens: Computer Vision; raeumliche Information aus digitalen Bildern. Vieweg Verlag Braunschweig, 1996.
[Lee] D. E. B. Lees, P. Trepagnier: Guiding Robots with Stereo Vision. Robotics Today, April 1984, S. 79–81.
[Mar] E. Marchand: VISP: a Software Environment for Eye-in-Hand Visual Servoing. IEEE Int. Conf. on Ro botics and Automation, ICRA, Vol. 4, pp 3224–3230, Detroit, Michigan, May 1999.
[Per] EP 1 076 221 A2
[Pie] J. A. Piepmeier, G. V. McMurray, H. Lipkin: Dynamic quasi-Newton Method for Uncalibrated Visual Servoing. 1999 IEEE Int. Conf. on Robotics & Automation, ICRA, Vol. 2, pp 1565–1600, Detroit, Michigan, May 1999.
[Wil] J. William, D. E. Wolfe: The Perspective View of Three Points. IEEE Trans. on Pattern Analysis and Machine Intelligence. Vol. 13, No. 1 Jan. 1991, pp 66–73.

Claims

Verfahren zur dreidimensionalen Korrektur der Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstücken einerseits, und Greifer oder Werkzeugen andererseits, mit einer Bildaufnahmeeinrichtung aus einer oder mehreren Kameras, wobei die Bildaufnahmeeinrichtung und/oder das Werkstück reproduzierbar beweglich ist – mit einem Einrichtbetrieb mit folgenden Schritten: a) Abbilden von einem oder mehreren Bereichen des Werkstücks, über je mindestens einen den Bereichen zugeordneten Abbildungsstrahlengang, b) Anordnen eines Werkstücks in einer systematisch gewählten oder zufälligen Standardlage, c) Anordnen der Bildaufnahmeeinrichtung in einer Ausgangslage, d) Aufnehmen mindestens eines Bildes über jeden Abbildungsstrahlengang, e) Speichern der Bilder aus Schritt d) und/oder davon abgeleiteter Daten, und f) Anordnen der Bildaufnahmeeinrichtung bzw. des Werkstücks in Relativlagen zur Ausgangslage bzw. Standardlage, wobei jeder Freiheitsgrad mindestens einmal gegenüber der Ausgangslage bzw. Standardlage variiert wird, wobei für jede Relativlage: – die Relativlage selbst explizit oder implizit gespeichert wird, – die Schritte d) und e) zum Erstellen einer Datenbank mit explizit oder implizit gespeicherten Relativlagen und den im Schritt e) gespeicherten Bildern und/oder davon abgeleiteten Daten wiederholt werden, und – mit einem Automatikbetrieb mit folgenden Schritten g) Aufnehmen mindestens eines Bildes von jedem der Bereiche des Werkstücks über je mindestens ei nen der ihnen zugeordneten Abbildungsstrahlengänge, in Ausgangslage der Bildaufnahmeeinrichtung oder einer zur Ausgangslage reproduzierbar abweichenden Lage h) Durchsuchen der im Einrichtbetrieb erstellten Datenbank und Vergleich der in Schritt g) aufgenommenen Bilder und/oder der davon abgeleiteten Daten mit in der Datenbank gespeicherten Bildern bzw. Daten der entsprechenden Abbildungsstrahlengänge aus dem Einrichtbetrieb, i) Bestimmen der aktuellen Relativlage des Werkstücks zur Standardlage auf Basis des Vergleichs in Schritt h) durch Auffinden des ähnlichsten Satzes von in der Datenbank gespeicherten Bildern bzw. davon abgeleiteten Daten, j) Korrigieren der Relativbewegung abhängig von der in Schritt i) bestimmten Relativlage.
Verfahren nach Anspruch 1, – wobei bei der Bildaufnahmeeinrichtung eine der folgenden Bedingungen erfüllt ist: – es wird eine einzelne Kamera mit Zentralprojektion verwendet und einem Objektfeldwinkel von mindestens 20 Grad, – es werden zwei Kameras verwendet, von denen mindestens eine mit Zentralprojektion und einem Objektfeldwinkel von mindestens 20 Grad arbeitet, – es werden drei oder mehr Kameras verwendet.
Verfahren nach Anspruch 1 oder 2, wobei von mindestens drei Werkstückbereichen sich keine zwei gegenseitig überlappen.
Verfahren nach einem der Ansprüche 1 bis 3, wobei fuer mindestens zwei Abbildungsstrahlengaenge getrennte Kameras verwendet werden.
Verfahren nach einem der Ansprüche 1 bis 4, wobei fuer mindestens zwei Abbildungsstrahlengaenge die selbe Kamera verwendet wird.
Verfahren nach einem der Ansprueche 1 bis 5, wobei zwei Abbildungsstrahlengaenge S1 und S2 untereinander parallele Strahlen besitzen und ein dritter Abbildungsstrahlengang S3 keine Strahlen besitzt, die parallel zu einer Mittelebene zwischen irgend zwei parallelen Strahlen aus S1 und S2 liegen.
Verfahren nach einem der Ansprueche 1 bis 5, wobei mindestens drei Abbildungsstrahlengaenge untereinander keine parallelen Strahlen besitzen.
Verfahren nach einem der Ansprueche 1 bis 7, wobei mindestens ein Bereich ein Merkmal aufweist, das auf dem Werkstueck fest ausgebildet ist.
Verfahren nach einem der Ansprueche 1 bis 8, wobei in mindestens einem Bereich ein Muster vorhanden ist, das mit Hilfe eines Beleuchtungsstrahlengangs auf dem Werkstueck erzeugt wird.
Verfahren nach einem der Ansprueche 1 bis 9, wobei das Werkstueck oder der Greifer bzw. das Werkzeug von einem Roboter gehalten wird und der Roboter mindestens einen Freiheitsgrad in einer translatorischen Koordinatenrichtung und/oder um eine oder mehrere Drehachsen aufweist, wobei der Roboter vorzugsweise insgesamt sechs Freiheitsgrade aufweist.
Verfahren nach Anspruch 10, wobei fuer mindestens drei Werkstueckbereiche entweder fuer mindestens einen Abbildungsstrahlengang und/oder fuer den Beleuchtungsstrahlengang nach Anspruch 9 gilt: der betreffende Strahlengang ist schraeg oder rechtwinklig zu den translatorischen Koordinaten des Roboters ausgerichtet.
Verfahren nach Anspruch 10, wobei fuer mindestens drei Werkstueckbereiche entweder fuer mindestens einen Abbildungsstrahlengang und/oder fuer den Beleuchtungsstrahlengang nach Anspruch 9 gilt: der betreffende Strahlengang ist schraeg oder rechtwinklig ausgerichtet zu der Tangente an die Kreise der Punkte des Werkstueckbereichs um die Drehachsen.
Verfahren nach einem der Ansprueche 1 bis 12, mit mehrstufiger Arbeitsweise, mit Ausfuehrung der Schritte g) bis j) in jeder Stufe, wobei, in der ersten Stufe eine grobe Lagekorrektur realisiert wird und in den weiteren Stufen, eine zunehmend genaue Lagekorrektur realisiert wird, mit einer jeweils zugehörigen Ausgangslage in jeder Stufe.
Verfahren nach einem der Ansprueche 1 bis 13, mit mehreren Saetzen von Bildbereichen, wobei abhaengig vom aktuellen Bildinhalt ein Satz von Bildbereichen zur Lagekorrektur gewaehlt wird.
Verfahren nach einem der Ansprueche 1 bis 14, mit einem Selbstueberwachungsbetrieb mit den Schritten: – Durchfuehren der Schritte g) bis j) und Korrigieren der Lage der Bildaufnahmeeinrichtung, und – erneutes Durchfuehren der Schritte g) bis j) fuer diese Lage und Pruefen, ob die neu berechnete Relativbewegung ausreichend klein ist.
Verfahren nach einem der Ansprueche 1 bis 14, mit einem Selbstueberwachungsbetrieb mit den Schritten: – Durchfuehren der Schritte g) bis i) und Speichern der Korrekturwerte K-Null – wiederholtes Anordnen der Bildaufnahmeeinrichtung in verschiedenen Lagen 1, mit bekannten Lageabweichungen Delta-I von der Ausgangslage – fuer jede dieser Lagen 1: – Durchfuehren der Schritte g) bis i), mit Berechnen der Korrekturen K-Neu-I, – Vergleichen der Korrekturen K-Neu-I mit der Superposition von K-Null und Delta-I.
Verfahren nach Anspruch 15 oder 16, wobei die Selbstueberwachung ein Pruefergebnis ueber eine Abweichung der erzielten Korrektur liefert, mit der eine automatische Adaption an langsam und/oder geringfuegig veraenderliche geometrische Gegebenheiten realisiert wird, vorzugsweise eine Aenderung der Befestigung und/oder Einstellung einer Bildaufnahmeeinrichtung und/oder eine Temperaturdrift der Kinematik des Roboters nach Anspruch 10.
Vorrichtung zur dreidimensionalen Korrektur der Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstuecken einerseits, und Greifer oder Werkzeugen andererseits, mit einer Bildaufnahmeeinrichtung aus einer oder mehreren Kameras, wobei die Bildaufnahmeeinrichtung und/oder das Werkstueck reproduzierbar beweglich ist – wobei in einem Einrichtbetrieb folgende Schritte durchfuehrbar sind: a) Abbilden von einem oder mehreren Bereichen des Werkstuecks, über je mindestens einen den Bereichen zugeordneten Abbildungsstrahlengang, b) Anordnen eines Werkstuecks in einer systematisch gewählten oder zufälligen Standardlage, c) Anordnen der Bildaufnahmeeinrichtung in einer Ausgangslage, d) Aufnehmen mindestens eines Bildes ueber jeden Abbildungsstrahlengang, e) Speichern der Bilder aus Schritt d) und/oder davon abgeleiteter Daten, und f) Anordnen der Bildaufnahmeeinrichtung bzw. des Werkstücks in Relativlagen zur Ausgangslage bzw. Standardlage, wobei jeder Freiheitsgrad mindestens einmal gegenueber der Ausgangslage bzw. Standardlage variiert wird, wobei fuer jede Relativlage: – die Relativlage selbst explizit oder implizit gespeichert wird, – die Schritte d) und e) zum Erstellen einer Datenbank mit explizit oder implizit gespeicherten Relativlagen und den im Schritt e) gespeicherten Bildern und/oder davon abgeleiteten Daten wiederholt werden, und in einem Automatikbetrieb folgende Schritte durchführbar sind: g) Aufnehmen mindestens eines Bildes von jedem der Bereiche des Werkstuecks ueber je mindestens einen der ihnen zugeordneten Abbildungsstrahlengaenge, in Ausgangslage der Bildaufnahmeeinrichtung oder einer zur Ausgangslage reproduzierbar abweichenden Lage h) Durchsuchen der im Einrichtbetrieb erstellten Datenbank und Vergleich der in Schritt g) aufgenommenen Bilder und/oder der davon abgeleiteten Daten mit in der Datenbank gespeicherten Bildern bzw. Daten der entsprechenden Abbildungsstrahlengänge aus dem Einrichtbetrieb, i) Bestimmen der aktuellen Relativlage des Werkstücks zur Standardlage auf Basis des Vergleichs in Schritt h), durch Auffinden des ähnlichsten Satzes von in der Datenbank gespeicherten Bildern bzw. davon abgeleiteten Daten, j) Korrigieren der Relativbewegung abhängig von der in Schritt i) bestimmten Relativlage.
Vorrichtung nach Anspruch 18, – wobei bei der Bildaufnahmeeinrichtung eine der folgenden Bedingungen erfüllt ist: – es wird eine einzelne Kamera mit Zentralprojektion verwendet und einem Objektfeldwinkel von mindestens 20 Grad, – es werden zwei Kameras verwendet, von denen mindestens eine mit Zentralprojektion und einem Objektfeldwinkel von mindestens 20 Grad arbeitet, – es werden drei oder mehr Kameras verwendet.
Vorrichtung nach Anspruch 18 oder 19, wobei von mindestens drei Werkstückbereichen sich keine zwei gegenseitig überlappen.
Vorrichtung nach einem der Ansprüche 18 bis 20, wobei fuer mindestens zwei Abbildungsstrahlengaenge getrennte Kameras vorgesehen sind.
Vorrichtung nach einem der Ansprüche 18 bis 21, wobei fuer mindestens zwei Abbildungsstrahlengaenge die selbe Kamera vorgesehen ist.
Vorrichtung nach einem der Ansprüche 18 bis 22, wobei zwei Abbildungsstrahlengaenge S1 und S2 untereinander parallele Strahlen besitzen und ein dritter Abbildungsstrahlengang S3 keine Strahlen besitzt, die parallel zu einer Mittelebene zwischen irgend zwei parallelen Strahlen aus S1 und S2 liegen.
Vorrichtung nach einem der Ansprüche 18 bis 22, wobei mindestens drei Abbildungsstrahlengaenge untereinander keine parallelen Strahlen besitzen.
Vorrichtung nach einem der Ansprueche 18 bis 24, wobei mindestens ein Bereich ein Merkmal aufweist, das auf dem Werkstueck fest ausgebildet ist.
Vorrichtung nach einem der Ansprueche 18 bis 25, wobei in mindestens einem Bereich ein Muster vorhanden ist, das mit Hilfe eines Beleuchtungsstrahlengangs auf dem Werkstueck erzeugt wird.
Vorrichtung nach einem der Ansprueche 18 bis 26, wobei das Werkstueck oder der Greifer bzw. das Werkzeug von einem Roboter gehalten wird und der Roboter mindestens einen Freiheitsgrad in einer translatorischen Koordinatenrichtung und/oder um eine oder mehrere Drehachsen aufweist, wobei der Roboter vorzugsweise insgesamt sechs Freiheitsgrade aufweist.
Vorrichtung nach Anspruch 27, wobei fuer mindestens drei Werkstueckbereiche entweder fuer mindestens einen Abbildungsstrahlengang und/oder fuer den Beleuchtungsstrahlengang nach Anspruch 26 gilt: der betreffende Strahlengang ist schraeg oder rechtwinklig zu den translatorischen Koordinaten des Roboters ausgerichtet.
Vorrichtung nach Anspruch 27, wobei fuer mindestens drei Werkstueckbereiche entweder fuer mindestens einen Abbildungsstrahlengang und/oder fuer den Beleuchtungsstrahlengang nach Anspruch 26 gilt: der betreffende Strahlengang ist schraeg oder rechtwinklig ausgerichtet zu der Tangente an die Kreise der Punkte des Werkstueckbereichs um die Drehachsen.
Vorrichtung nach einem der Ansprueche 18 bis 29, bei der eine mehrstufige Arbeitsweise durchfuehrbar ist, mit Ausfuehrung der Schritte g) bis i) in jeder Stufe, wobei, in der ersten Stufe eine grobe Lagekorrektur realisiert wird und in den weiteren Stufen, eine zunehmend genaue Lagekorrektur realisiert wird, mit einer jeweils zugehörigen Ausgangslage in jeder Stufe.
Verfahren nach einem der Ansprueche 18 bis 30, mit mehreren Saetzen von Bildbereichen, mit der Moeglichkeit, abhaengig vom aktuellen Bildinhalt einen Satz von Bildbereichen zur Lagekorrektur zu waehlen.
Vorrichtung nach einem der Ansprueche 18 bis 31, wobei in einem Selbstueberwachungsbetrieb folgende Schritte durchfuehrbar sind: – Durchfuehren der Schritte g) bis i) und Korrigieren der Lage der Bildaufnahmeeinrichtung, und – erneutes Durchfuehren der Schritte g) bis i) fuer diese Lage und Pruefen, ob die neu berechnete Relativbewegung ausreichend klein ist.
Vorrichtung nach einem der Ansprueche 18 bis 31, wobei in einem Selbstueberwachungsbetrieb folgende Schritte durchfuehrbar sind: – Durchfuehren der Schritte g) bis i) und Speichern der Korrekturwerte K-Null, – wiederholtes Anordnen der Bildaufnahmeeinrichtung in verschiedenen Lagen I, mit bekannten Lageabweichungen Delta-I von der Ausgangslage, – fuer jede dieser Lagen I: – Durchfuehren der Schritte g) bis i), mit Berechnen der Korrekturen K-Neu-I. – Vergleichen der Korrekturen K-Neu-I mit der Superposition von K-Null und Delta-I.
Vorrichtung nach Anspruch 32 oder 33, wobei die Selbstueberwachung ein Pruefergebnis ueber eine Abweichung der erzielten Korrektur liefert, mit der eine automatische Adaption an langsam und/oder geringfuegig veraenderliche geometrische Gegebenheiten realisiert wird, vorzugsweise eine Aenderung der Befestigung und/oder Einstellung einer Bildaufnahmeeinrichtung und/oder eine Temperaturdrift der Kinematik des Roboters nach Anspruch 27.