DE102016212694A1

DE102016212694A1 - Verfahren zur Orientierung eines Industrieroboters und Industrieroboter

Info

Publication number: DE102016212694A1
Application number: DE102016212694.6A
Authority: DE
Inventors: Georg von Wichert; Wendelin Feiten; Kai Wurm
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2016-05-31
Filing date: 2016-07-12
Publication date: 2017-11-30
Also published as: WO2017207436A1; DE102016212695A1; WO2017207312A1; EP3463766A1; DE102016212695B4; CN109153125A; US20200298411A1; CN109153125B

Abstract

Merkmale (31, 32, 33, 34) einer Umgebung werden aus Signalen von Sensoren (21, 22, 23, 24), welche an unterschiedlichen Achsen (11, 12, 13, 14) eines stationären Industrieroboters (1) montiert sind, extrahiert, wobei mittels eines SLAM-Algorithmus zur simultanen Lokalisierung und Kartenerstellung zugleich ein absolutes Koordinatensystem (2) und eine Karte der Umgebung bestimmt wird, wobei die Karte der Umgebung die extrahierten Merkmale abbildet und eine absolute Pose eines beweglichen Teils des Industrieroboters in dem absoluten Koordinatensystem bestimmt wird. Das Verfahren überträgt die Technik der gleichzeitigen Lokalisierung (d.h. Bestimmung der Position und Orientierung) und des Aufbaus einer Karte von Merkmalen der Umgebung von der mobilen Robotik auf die Orientierung eines stationären Industrieroboters. Dies beruht auf Messungen von Sensoren, die auf den beweglichen Teilen angebracht sind. Vorteilhafterweise werden zusätzlich auch Sensoren berücksichtigt, die die Stellungen der Gelenke ermitteln. Das Verfahren bietet den Vorteil, dass eine absolute Position und Orientierung auch bei ungenauen oder elastischen Industrierobotern und bei unterschiedlichen Lasten ermittelt wird. Weiterhin können Parameter in einem Modell des Industrieroboters bestimmt und so die Genauigkeit der Messung von Position und Orientierung sowie die Steuerung des Industrieroboters ggf. verbessert werden. Externe Kalibriervorrichtungen und spezielle Kalibriervorgänge werden nicht mehr zwingend benötigt.

Description

Laut VDI-Richtlinie 2860 handelt es sich bei Industrierobotern um universell einsetzbare Bewegungsautomaten mit mehreren Achsen, deren Bewegungen frei programmierbar und gegebenenfalls sensorgeführt sind. Derartige Roboter lassen sich beispielsweise mit Greifern oder anderen Werkzeugen als Effektor ausrüsten und können hierdurch Handhabungs- oder Fertigungsaufgaben ausführen. Industrieroboter bestehen folglich aus mehreren Gliedern bzw. Achsen, welche eine Basis mit einem Effektor verbinden und gemäß einer Kinematik beweglich sind.
Aus dem Stand der Technik ist bekannt, einen Industrieroboter als Roboterarm mit einer seriellen Kinematik zu konstruieren, welche aus mehreren Hauptachsen und Handachsen besteht. Die Hauptachsen dienen vorrangig dem Zweck, eine Position des Effektors einzustellen, welcher an einem Flansch am Ende des Roboterarms montiert ist. Demgegenüber haben die Handachsen die Aufgabe, eine Orientierung des Effektors einzustellen. Während die Hauptachsen je nach Konstruktionsart und Anwendungszweck des Industrieroboters wahlweise als Rotationsachsen oder Translationsachsen oder als Kombination dieser beiden Arten gewählt werden, handelt es sich bei den Handachsen stets um Rotationsachsen.
Ein weiteres Beispiel für Industrieroboter sind Deltaroboter. Diese bestehen aus mehreren kinematischen Ketten, welche eine Basis mit einem Effektor bzw. einer Arbeitsplattform verbinden. Beispielsweise besteht ein Deltaroboter aus drei Armen, die gemeinsam eine Arbeitsplattform mit einer Basis verbinden. Die mathematische Beschreibung der Bewegungsmöglichkeiten eines Deltaroboters ist hier eine geschlossene Kinematik, beispielsweise eine Parallelkinematik.
Bei derartigen Industrierobotern kann das Problem auftreten, dass die absolute Position und Orientierung des Effektors in Bezug auf eine Umgebung nicht hinreichend genau bekannt ist. Dies kann auch dann der Fall sein, wenn in die Gelenke bzw. Achsen des Industrieroboters Sensoren eingebaut sind, welche deren Stellung genau bestimmen können.
Dafür kann es verschiedene Gründe geben: Die Getriebe in den Gelenken oder die mechanischen Teile können elastisch sein, oder die Auslenkung kann unbekannt sein, etwa weil sie von einer unbekannten Last abhängt. Weiterhin können die kinematischen Modelle, aufgrund derer die Position und Orientierung errechnet wird, fehlerhaft sein.
Dem wird bei herkömmlichen Industrierobotern dadurch begegnet, diese so massiv auszulegen, dass möglichst auch bei hoher Last keine Elastizitäten auftreten. Dies führt zunächst zu hoher Wiederholgenauigkeit. Um hohe absolute Genauigkeit zu erzielen, wird der Industrieroboter von Hand in verschiedene Stellungen verfahren. Für jede dieser Stellungen wird die Position einer Achse von außen exakt mit einem Entfernungssensor ausgemessen, wie dies beispielsweise in der DE 10 2011 052 386 A1 offenbart ist. Im Rahmen einer solchen Kalibrierung wird ein Zusammenhang zwischen den Gelenkstellungen und der Position und Orientierung des Endeffektors ermittelt und gespeichert.
Beispielsweise aus S. Hutchinson, G. D. Hager, and P. I. Corke, "A tutorial on visual servo control", IEEE Transactions on Robotics and Automation, vol. 12, no. 5, pp. 651–670, 1996, ist der Ansatz bekannt, eine Kamera auf den Endeffektor zu montieren. Mittels der Kamera wird die relative Position und Orientierung zwischen einem Greifer und einem Werkstück oder zwischen zwei Werkstücken bestimmt.
Die Position und Orientierung, beispielsweise eines beliebigen Glieds, Merkmals oder Objekts, wird im Folgenden auch unter dem Begriff "Pose" zusammengefasst.
Durch die vorliegende Erfindung soll ein Verfahren zur Orientierung eines Industrieroboters und ein Industrieroboter geschaffen werden, welche eine Alternative zum Stand der Technik bereitstellen.
Die Aufgabe wird durch ein Verfahren zur Orientierung eines Industrieroboters gelöst,

– bei dem mindestens ein Merkmal einer Umgebung aus Signalen mindestens eines bildgebenden Sensors, welcher an einem beweglichen Teil eines stationären Industrieroboters montiert ist, extrahiert wird, bevor, während oder nachdem der Industrieroboter Bewegungen ausführt, und
– bei dem mittels eines SLAM-Algorithmus zur simultanen Lokalisierung und Kartenerstellung zugleich
– ein absolutes Koordinatensystem und eine Karte der Umgebung bestimmt wird, wobei die Karte der Umgebung das mindestens eine extrahierte Merkmal abbildet, und
– eine absolute Pose des beweglichen Teils des Industrieroboters bestimmt wird, wobei die absolute Pose eine Pose in dem absoluten Koordinatensystem ist.

Diese Aufgabe wird weiterhin durch einen Industrieroboter gelöst,

– mit mindestens einem bildgebenden Sensor, welcher an einem beweglichen Teil des Industrieroboters montiert ist, und
– mit einer Steuerung, welche eingerichtet ist, um das Verfahren mit dem Industrieroboter auszuführen.

Die im Folgenden genannten Vorteile müssen nicht notwendigerweise durch die Gegenstände der unabhängigen Patentansprüche erzielt werden. Vielmehr kann es sich hierbei auch um Vorteile handeln, welche lediglich durch einzelne Ausführungsformen, Varianten oder Weiterbildungen erzielt werden.
Beispielsweise werden auf den Gliedern des Industrieroboters bildgebende Sensoren angebracht, die in der Umgebung vorhandene Merkmale erfassen können und deren Messwerte geeignet sind, die Pose des bildgebenden Sensors und damit des den bildgebenden Sensor tragenden Roboterglieds in Bezug auf die Umgebung absolut zu bestimmen.
Die Umgebung weist hierzu Merkmale auf, die von den Sensoren erkannt werden können, und deren Position und Orientierung relativ zu den Sensoren zumindest teilweise ermittelt werden kann. Dies können sowohl speziell zum Zweck der Bestimmung von Position und Orientierung des Roboters angebrachte Merkmale sein, als auch solche, die ohnehin in der Umgebung vorhanden sind. Die Bestimmung der Position und Orientierung der Merkmale geschieht durch den Industrieroboter mit seinen Sensoren selbst. Die ermittelte absolute Pose ist eine Pose in einem absoluten, festen Koordinatensystem.
Das Verfahren überträgt die Technik der gleichzeitigen Lokalisierung (d.h. Bestimmung der Position und Orientierung) und des Aufbaus einer Karte von Merkmalen der Umgebung von der mobilen Robotik auf die Orientierung eines stationären Industrieroboters. Dabei wird vorzugsweise gleichzeitig das absolute Koordinatensystem ermittelt, die Position und Orientierung von Merkmalen der Umgebung bezüglich des absoluten Koordinatensystems bestimmt und die Position und Orientierung von beweglichen Teilen des Industrieroboters bezüglich des absoluten Koordinatensystems berechnet. Dies beruht auf Messungen von Sensoren, die auf den beweglichen Teilen angebracht sind. Vorteilhafterweise werden zusätzlich auch Sensoren berücksichtigt, die die Stellungen der Gelenke ermitteln.
Ausführungsformen oder Weiterbildung des Verfahrens können den Vorteil bieten, dass eine absolute Position und Orientierung auch bei ungenauen oder elastischen Industrierobotern und bei unterschiedlichen Lasten ermittelt wird. Weiterhin können Parameter in einem Modell des Industrieroboters bestimmt und so die Genauigkeit der Messung von Position und Orientierung sowie die Steuerung des Industrieroboters ggf. verbessert werden. Durch die Verwendung von ohnehin in der Umgebung vorhandenen Merkmalen können Kosten und Rüstzeiten reduziert werden. Die Bestimmung der Position und Orientierung der Merkmale geschieht durch den Industrieroboter mit den bildgebenden Sensoren selbst, externe Kalibriervorrichtungen und spezielle Kalibriervorgänge werden nicht mehr zwingend benötigt. Weil absolute Position und Orientierung zu dem absoluten Koordinatensystem verwendet werden, können Werkstücke von einem weiteren Agenten (Mensch oder Maschine) relativ zu dem absoluten Koordinatensystem platziert werden. Dazu kann die Information über Position und Orientierung einiger Merkmale der Umgebung verwendet werden.
Die Glieder des Industrieroboters können beispielsweise Linearachsen und/oder Rotationsachsen sein. Das letzte Glied in der Kinematik eines Gelenkarmroboters mit einer seriellen Kinematik ist beispielsweise ein Glied, welches einen Flansch als Werkzeugschnittstelle aufweist. Bei einem Deltaroboter mit einer Parallelkinematik ist das letzte Glied beispielsweise eine Arbeitsplattform.
Die bildgebenden Sensoren können beispielsweise auf den jeweiligen Gliedern montiert oder in diese eingelassen sein.
Das absolute Koordinatensystem besteht beispielsweise aus rechtwinkligen Koordinatenachsen, die fest und absolut im Raum stehen. Sein Ursprung ist vorzugsweise an einem einzigen Punkt im Raum fixiert. Das absolute Koordinatensystem verändert oder bewegt sich nicht im Verhältnis zum Industrieroboter, aber die Glieder des Industrieroboters können entsprechend der Kinematik innerhalb des absoluten Koordinatensystems bewegt werden.
Dem Industrieroboter können für die Kartenerstellung bei Bedarf Vorgaben gegeben werden, nach welchen Kriterien er sein absolutes Koordinatensystem wählen soll, z.B. in Übereinstimmung mit einer Raumecke oder dem Fußboden.
Gemäß einer Ausführungsform wird ein Verfahren geschaffen

– bei dem die Bestimmung der Karte der Umgebung eine statistische Schätzung ist, und
– bei dem die absolute Pose als Wahrscheinlichkeitsdichtefunktion modelliert wird.

Die absolute Pose muss nicht in allen Koordinaten bestimmt werden. Sie kann auch eine Unschärfe aufweisen und probabilistisch beschrieben sein, beispielsweise wie in dieser Ausführungsform als Wahrscheinlichkeitsdichtefunktion.
Gemäß einer Ausführungsform wird ein Verfahren geschaffen

– bei dem der SLAM-Algorithmus iterativ einen Kalmanfilter-Algorithmus, Extended-Kalmanfilter-Algorithmus, Unscented-Kalmanfilter-Algorithmus oder Particle-Filter-Algorithmus ausführt.

Iterative Verfahren beruhen auf iterativer Prädiktion und Korrektur.
Gemäß einer Ausführungsform wird ein Verfahren geschaffen

– bei dem der SLAM-Algorithmus auf einem Faktorgraph-Algorithmus, insbesondere einem GTSAM-Algorithmus beruht.

Gemäß einer Ausführungsform wird ein Verfahren geschaffen

– bei dem der Industrieroboter definierte Bewegungen, insbesondere Translationen oder Rotationen eines Glieds, wiederholt ausführt, und
– bei dem die Merkmale der Umgebung während und/oder nach jeder Bewegung aus den Signalen des mindestens einen bildgebenden Sensors extrahiert werden.

Gemäß einer Ausführungsform wird ein Verfahren geschaffen

– bei dem der Industrieroboter das absolute Koordinatensystem ausgibt.

Hierzu kann der Industrieroboter beispielsweise Punkte im absoluten Koordinatensystem anfahren und parallel deren Koordinaten ausgeben. Dies erlaubt es eine Transformation festzulegen zwischen dem durch den Industrieroboter bestimmten absoluten Koordinatensystem und einem Anwendungs-Koordinatensystem.
Gemäß einer Ausführungsform wird ein Verfahren geschaffen

– bei dem der mindestens eine bildgebende Sensor an einem Trägerglied montiert ist, und
– bei dem die absolute Pose für das Trägerglied bestimmt wird.

Gemäß einer Ausführungsform wird ein Verfahren geschaffen

– bei dem die Merkmale der Umgebung aus Signalen von mehreren bildgebenden Sensoren extrahiert werden, welche an dem Trägerglied montiert sind, wobei die bildgebenden Sensoren in unterschiedlichen Richtungen ausgerichtet sind.

Die unterschiedlichen Richtungen sind vorteilhaft, da Kameras einen seitlichen Versatz eines Merkmals besser als eine Entfernung oder Rotation des Merkmals bestimmen können.
Gemäß einer Ausführungsform wird ein Verfahren geschaffen

– bei dem das Trägerglied eines von mehreren Gliedern des Industrieroboters ist, wobei die Glieder gemäß einer Kinematik beweglich sind.

Gemäß einer Ausführungsform wird ein Verfahren geschaffen

– bei dem Antriebe der Glieder zur Einstellung einer in einem absoluten Koordinatensystem vorgegebenen Pose einer Werkzeugschnittstelle des Industrieroboters angesteuert werden.

Hierdurch wird eine Absolutpositionierung der Werkzeugschnittstelle in dem absoluten Koordinatensystem bereitgestellt. Die Einstellung der vorgegebenen Pose kann auch immer die gleiche Orientierung beinhalten, oder z.B. nur in zwei oder einer Dimension erfolgen, beispielsweise wenn die jeweilige Kinematik konstruktionsbedingt nur dies erlaubt und daher die Einstellmöglichkeiten beschränkt.
Die fortlaufend ermittelte absolute Pose wird so dazu genutzt, die Werkzeugschnittstelle des Industrieroboters in die vorgegebene Pose zu bringen. Diese ist mit einer gewünschten Pose für einen Effektor, welcher an der Werkzeugschnittstelle montiert ist, identisch oder lässt sich mit einer einfachen Transformation aus dieser berechnen.
Gemäß einer Ausführungsform wird ein Verfahren geschaffen

– bei dem die ermittelte absolute Pose bei der Einstellung der vorgegebenen Pose berücksichtigt wird.

Gemäß einer Ausführungsform wird ein Verfahren geschaffen

– bei dem Signale einer internen Sensorik des Industrieroboters bei der Einstellung der vorgegebenen Pose berücksichtigt werden.

Bei der internen Sensorik handelt es sich vorzugsweise um Sensoren, die die Stellungen von Gelenken oder Achsen des Industrieroboters ermitteln.
Gemäß einer Ausführungsform wird ein Verfahren geschaffen

– bei dem Parameter eines Bewegungsmodells, welches auf einer Kinematik des Industrieroboters basiert, in Abhängigkeit von der absoluten Pose und/oder Signalen einer internen Sensorik des Industrieroboters berechnet werden.

Hierbei werden die Parameter im Bewegungsmodell des Industrieroboters bestimmt, was einer laufenden Kalibrierung gleichkommt.
Gemäß einer Ausführungsform wird ein Verfahren geschaffen

– bei dem die vorgegebene Pose anhand des Bewegungsmodells eingestellt wird.

Gemäß einer Ausführungsform wird ein Verfahren geschaffen

– bei dem die Merkmale der Umgebung aus Signalen von mehreren bildgebenden Sensoren extrahiert werden, welche an mehreren, insbesondere allen, Gliedern des Industrieroboters montiert sind,
– bei dem absolute Posen für die jeweiligen Glieder anhand der extrahierten Merkmale bestimmt werden, wobei die absoluten Posen Posen in dem absoluten Koordinatensystem sind, und
– bei dem die absoluten Posen für die Berechnung von Parametern eines Bewegungsmodells und/oder die Einstellung einer vorgegebenen Pose einer Werkzeugschnittstelle des Industrieroboters in dem absoluten Koordinatensystem verwendet werden.

Das letzte Glied in der Kinematik des Industrieroboters kann ggf. ausgenommen sein und keinen bildgebenden Sensor tragen, um den Effektor bzw. Einsatz des Industrieroboters nicht zu behindern.
Auf dem computerlesbarer Datenträger ist ein Computerprogramm gespeichert welches das Verfahren ausführt, wenn es in einem Prozessor abgearbeitet wird. Das Computerprogramm wird in einem Prozessor abgearbeitet und führt dabei das Verfahren aus.
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand von Figuren näher erläutert. In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen, sofern nichts anderes angegeben ist. Es zeigen:
1 einen Industrieroboter 1 mit vier Kameras,
2 einen Industrieroboter 1 mit einer Kamera an einem letzten Glied 14, und
3 einen Industrieroboter 1 mit einer Kamera an einem dritten Glied 13.
1 zeigt einen Industrieroboter 1, welcher als Gelenkarmroboter mit vier Gliedern ausgeführt ist. Ein erstes Glied 11 ist auf einer stationären Basis 10 montiert. Darauf folgt in einer seriellen Kinematik des Industrieroboters 1 ein zweites Glied 12, an dem eine erste Kamera 21 montiert ist, ein drittes Glied 13, an dem eine zweite Kamera 22 montiert ist, und ein letztes Glied 14, an dem eine dritte Kamera 23 und vierte Kamera 24 montiert sind, welche in unterschiedlichen Richtungen ausgerichtet sind. Am letzten Glied 14 ist auch ein Effektor 15, hier ein Greifer, montiert, welcher ein erstes Werkstück 51 in ein zweites Werkstück 52 einsetzen soll. Beispielsweise weist das letzte Glied 14 eine Flanschplatte mit einem Mittelpunkt 3 auf, an der der Effektor 15 montiert ist. Die Flanschplatte bildet hierbei eine Werkzeugschnittstelle, an der auch eine Wechselaufnahme für unterschiedliche Werkzeuge montiert sein kann.
Grundsätzlich können die Kameras 21, 22, 23, 24 beliebig auf einem oder mehreren, insbesondere auch allen, Gliedern verteilt sein. Mehrere Kameras, die auf ein und demselben Trägerglied montiert sind, sind vorzugsweise in unterschiedlichen Richtungen ausgerichtet.
Die Kameras 21, 22, 23, 24 zeichnen, je nach Sichtbereich, ein erstes Merkmal 31, ein zweites Merkmal 32, ein drittes Merkmal 33 und ein viertes Merkmal 34 einer Umgebung auf. Bei den Merkmalen handelt es sich beispielsweise um rotationsinvariante ARToolkit-Marker, QR-Codes oder Schachbrettmuster. Die Merkmale können jedoch auch in der Umgebung ohnehin vorhandene Strukturen sein, welche sich als SIFT- oder SURF-Merkmale mit geeigneten Algorithmen extrahieren lassen.
Unter dem Begriff „Absolutpositionierung“ soll im Folgenden verstanden werden, einen definierten Punkt am Industrieroboter 1 an eine in einem absoluten Koordinatensystem 2 gegebene Position zu verfahren. Der definierte Punkt am Industrieroboter 1 ist im in 1 gezeigten Beispiel beispielsweise der Mittelpunkt 3 einer Flanschplatte bzw. der äußerste Punkt auf einer Rotationsachse des letzten Glieds 14, in der Regel also die Werkzeugschnittstelle, oder ein Punkt an dem Effektor 15 selbst.
Die Absolutpositionierung kann hierbei auch die Einstellung einer Orientierung beinhalten. In diesem Fall wird also eine absolute Pose, d.h. eine Position und Orientierung der Werkzeugschnittstelle oder des Effektors 15, in dem absoluten Koordinatensystem 2 eingestellt. Die einzustellende Pose kann hierbei als vorgegebene Pose vorgegeben sein und beispielsweise aus CAD-Daten des zweiten Werkstücks 52 für eine Reihe von Arbeitsschritten berechnet werden, wenn die Position des zweiten Werkstücks 52 im absoluten Koordinatensystem bekannt ist.
Das absolute Koordinatensystem 2 ist als ortsfestes Koordinatensystem beispielsweise auf die stationäre Basis 10 des Industrieroboters 1 oder auf eine Umgebung, z.B. einen Arbeitsbereich, einen Käfig um den Industrieroboter 1, Magazine, Regale etc., bezogen.
Wenn das absolute Koordinatensystem 2 auf den Industrieroboter 1 bezogen ist, hängt es beispielsweise wie in 1 gezeigt von der Kinematik des Industrieroboters 1 ab. Im in 1 gezeigten Ausführungsbeispiel ist der erste Bewegungsfreiheitsgrad des ersten Glieds 11 eine im Wesentlichen vertikale Rotationsachse 4. Hier kann diese Rotationsachse 4 z.B. als z-Achse des absoluten Koordinatensystems 2 verwendet werden, welche so eingestellt wird, dass der Winkelgeber dieser Achse 0° angibt. Die x-Achse des absoluten Koordinatensystems 2 wird orthogonal zum zweiten Glied 12, d.h. zur Rotationsachse des zweiten Freiheitsgrades, und zur z-Achse gewählt. Wenn wir diese Rotationsachse des zweiten Freiheitsgrades u nennen, dann ist die x-Achse das normalisierte Kreuzprodukt x = (u × z/||u × z||. Die y-Achse ist dann das Kreuzprodukt von z und x, also z × x. Als Ursprung des absoluten Koordinatensystems 2 wird beispielsweise der Schnitt der z-Achse mit einem Arbeitstisch 5 gewählt. Damit dieser sichtbar ist, werden das dritte Merkmal 33 und das vierte Merkmal 34 auf dem Arbeitstisch 5 angebracht, welche in den Kameras des Industrieroboters 1 gesehen werden.
Dies ist ein Ausführungsbeispiel für ein Roboter-zentriertes absolutes Koordinatensystem 2, d.h. die wesentlichen Merkmale zur Bestimmung des absoluten Koordinatensystems 2 finden sich in der Roboterkinematik. Die wesentlichen Merkmale zur Bestimmung des absoluten Koordinatensystems 2 können sich wie in 2 gezeigt aber auch in der Umgebung befinden, und sie können dort auf natürliche Weise vorkommen oder speziell installiert sein, d.h. sie können dort aus anderen Gründen als zum Zwecke der Ermittlung des absoluten Koordinatensystems 2 angebracht worden sein (als Arbeitstisch, Magazin, Schutzgatter etc.), oder es sind Gegenstände bzw. Strukturen oder Muster, die besonders gut von den Kameras erfasst werden können und deshalb in der Umgebung angebracht wurden. In letzterem Sinne kann man zum Beispiel den Arbeitstisch 5 mit einem Schachbrettmuster versehen, das besonders gut von Kameras erfasst wird. Dann wird dieser Arbeitstisch 5 die x-y-Ebene, und der Ursprung wird mit einem weiteren Muster festgelegt, beispielsweise mit einem Pfeil, der auf eine Ecke im Schachbrett zeigt.
In einer Variante gibt der Industrieroboter 1 das absolute Koordinatensystem 2 an einen Benutzer oder weitere Maschinen aus. Hierzu fährt der Industrieroboter 1 beispielsweise bestimmte Punkte im absoluten Koordinatensystem 2 an, z.B. (1, 1, 0), (1, –1, 0), (–1, 1, 0), (–1, –1, 0), (1, 1, 1), (1, –1, 1), (–1, 1, 1), (–1, –1, 1). Alternativ kann ein Benutzer manuell charakteristische Positionen mit dem Industrieroboter 1 anfahren (beispielsweise einen Punkt an einem Regal) und sich hierzu die absoluten Koordinaten als Sprachausgabe, digitalen Datensatz o.ä. ausgeben lassen. Der Industrieroboter 1 teilt hierbei richtige absolute Koordinaten mit, welche die Regeln der Geometrie in 3D einhalten. Wenn zwei Punkte A und B angegeben werden und im Arbeitsraum physikalisch angefahren werden, dann muss der euklidische Abstand zwischen den Punkten in Berechnung, ||A–B||, und Messung übereinstimmen. Entsprechendes gilt auch für Winkel.
Gemäß einem Anwendungsszenario montiert der Industrieroboter 1 einen Motor, für den es eine große Variantenvielfalt gibt. Ggf. ist auch die Konstruktion des Motors angepasst worden, und der Industrieroboter 1 sieht diesen Motor zum ersten Mal, kennt aber die CAD-Pläne. Die Positionen, die zur Montage sequentiell angefahren werden müssen, wurden zuvor nicht angefahren, weshalb keine relative Positionierung mit hoher Wiederholgenauigkeit genutzt werden kann. Stattdessen ist eine Absolutpositionierung mit ausreichender Genauigkeit erforderlich. Bezogen auf 1 ist der Motor beispielsweise das zweite Werkstück 52, in welches das erste Werkstück 51 eingesetzt werden soll. Dazu ist es erforderlich, dass die Position des zweiten Werkstücks 52 im absoluten Koordinatensystem 2 des Industrieroboters 1 genau bekannt ist. Vorzugsweise wird das zweite Werkstück 52 hierzu in eine Halterung mittels Zentrierstiften genau definiert eingesetzt, woraufhin in der Folge alle Teile an den wachsenden Motor montiert werden. Aus geeigneten CAD-Daten und der anfänglichen Position des zweiten Werkstücks 52 folgt dann die Position der Punkte im absoluten Koordinatensystem 2, an die der Industrieroboter 1 neue Werkstücke verfahren muss. Ebenso folgt die erforderliche Orientierung des Industrieroboters 1.
Der Industrieroboter 1 muss also mit dem Effektor 15 die jeweils notwendige genaue Position und Orientierung einnehmen können, und dazu bewegt er seine Motoren. Seine sogenannte interne Sensorik erfasst üblicherweise die Stellung seiner Gelenke. Aus dem Stand der Technik, beispielsweise aus dem Dokument „Roboterkalibrierung", erhältlich im Internet am 05.07.2016 unter https://de.wikipedia.org/wiki/Roboterkalibrierung, sind mathematische Grundlagen bekannt, um die Position und Orientierung aus diesen Sensormessungen zu berechnen. In Anlehnung an die Notation aus diesem Dokument kann die Position und Orientierung y als eine Funktion f der Gelenkstellungen x und etlicher weiterer Parameter p, welche die Funktion f näher bestimmen, beschrieben werden: f: (x, p) → y.
Dabei wird x über Sensoren der internen Sensorik gemessen und ist folglich fehlerbehaftet. Die auf diese Weise ermittelte Absolutpositionierung ist für zahlreiche Anwendungsfälle nicht genau genug. Zum einen sind die Parameter p nicht genau bekannt. Dies soll eine Kalibrierung verbessern, bei der die Parameter so verändert werden, dass für eine Anzahl von physikalisch gemessenen Punkten in absoluten Koordinaten die Summe der quadratischen Abweichungen von modelliertem Punkt und gemessenem Punkt minimiert wird.
Eine derartige Kalibrierung stößt jedoch an Grenzen. Erstens ist es schwierig, die physikalisch anzufahrenden Punkte zu vermessen. Zweitens ist das Modell des Industrieroboters 1 oft nicht vollständig, da es nicht alle Eigenschaften abbildet, von denen die Position und Orientierung des Industrieroboters 1 (beispielsweise des Mittelpunkts 3 seiner Flanschplatte) abhängt. Hierzu zählen Eigenschaften der Getriebe, ihre Elastizitäten oder ihr Hysterese-Verhalten, oder Elastizitäten der Glieder, Temperatureffekte, Ungenauigkeit der internen Sensorik etc. Mit entsprechendem Aufwand können genauere, d.h. vollständigere Modelle aufgestellt und kalibriert werden.
Zur Erzielung einer hohen Absolutgenauigkeit kann die Position und Orientierung des Industrieroboters 1 einerseits aus Messungen der Gelenkstellungen modellbasiert abgeleitet werden. Andererseits kann die Position und Orientierung auch am Effektor 15 oder am Mittelpunkt 3 der Flanschplatte direkt gemessen werden. Beispielsweise kann hierzu ein Messkörper zwischen dem Flansch und dem Effektor 15 angebracht werden, welcher durch einen externen Sensor in der Umgebung erfasst wird. Die genaue Position wird hierbei sowohl aus den Messungen der Gelenkstellungen als auch der Lokalisierung des Messkörpers ermittelt und der Industrieroboter 1 entsprechend in diese Position geregelt. Allerdings sind derartige Messkörper voluminös und können bei einigen Aufgaben im Weg sein.
Die auf den unterschiedlichen Gliedern des Industrieroboters 1 in 1 verteilte erste Kamera 21, zweite Kamera 22, dritte Kamera 23 und vierte Kamera 24 sind kleiner und kostengünstiger als derartige Messkörper und liefern weitere Messungen, aus denen die genaue Position des Effektors 15 bestimmt werden kann.
Die dritte Kamera 23 und die vierte Kamera 24 sind hierbei direkt in der Nähe des Effektors 15 am letzten Glied 14 montiert, also in einer ähnlichen Position wie der zuvor erläuterte Messkörper. Anstatt von außen auf einen solchen Messkörper zu blicken, zeichnen die dritte Kamera 23 und vierte Kamera 24 vom Industrieroboter 1 aus das dritte Merkmal 33 und das vierte Merkmal 34 der Umgebung auf.
Im Folgenden werden mehrere Beispiele erläutert, wie mittels einer simultanen Lokalisierung und Kartenerstellung zugleich das absolute Koordinatensystem 2, eine Karte der Umgebung und eine absolute Pose des Industrieroboters 1 bestimmt werden kann. Hierbei wird Bezug auf 2 und die bisherigen Ausführungen genommen. Bei der Karte der Umgebung handelt es sich beispielsweise um eine statistische Schätzung, während die absolute Pose gut als Wahrscheinlichkeitsdichtefunktion modellierbar ist.
2 zeigt erneut einen Industrieroboter 1, welcher als Gelenkarmroboter mit vier Gliedern ausgeführt ist. Selbstverständlich kann der Industrieroboter 1 in diesem wie in sämtlichen anderen Ausführungsbeispielen auch mit mehr oder weniger als vier Gliedern ausgeführt sein. Grundsätzlich kommt jede beliebige Kinematik für den Industrieroboter 1 in Frage, beispielsweise eine serielle Kinematik bestehend aus Rotationsachsen (R), Translationsachsen (T) oder einer Kombination dieser beiden Arten. Bei der seriellen Kinematik kann es sich beispielsweise um eine RRR/RRR-, RTR/RRR-, TRR/RRR-, RRT/RRR-, RTT/RRR-, RT/RRR- oder TR/RRR-Kinematik eines Roboters mit zwei oder drei Hauptachsen und drei Handachsen handeln. Weiterhin kann die Kinematik des Industrieroboters 1 auch eine Parallelkinematik sein.
Im in 2 gezeigten Einzelfall ist ein erstes Glied 11 des Industrieroboters 1 auf einer stationären Basis 10 montiert. Darauf folgt in einer seriellen Kinematik des Industrieroboters 1 ein zweites Glied 12, ein drittes Glied 13 und ein letztes Glied 14, an dem eine erste Kamera 21 montiert ist. Das letzte Glied 14 weist eine Flanschplatte mit einem Mittelpunkt 3 auf, an der ein Effektor 15, hier ein Greifer, montiert ist, welcher ein erstes Werkstück 51 in ein zweites Werkstück 52 einsetzen soll.
Im vorliegenden Ausführungsbeispiel gilt es, eine absolute Pose eines beweglichen Teils des Industrieroboters 1 zu bestimmen, wobei die absolute Pose eine Pose in einem absoluten Koordinatensystem 2 ist, welches zuvor bereits erläutert wurde und in einer neuen Variante in 2 eingezeichnet ist. Das bewegliche Teil ist beispielsweise das letzte Glied 14, die erste Kamera 21 oder der Effektor 15. Entsprechende Koordinaten lassen sich leicht ineinander umrechnen, da die entsprechenden Komponenten starr zueinander am letzten Glied 14 montiert sind.
2 zeigt zwar den Fall, dass die absolute Pose für das letzte Glied 14, die erste Kamera 21 oder den Effektor 15 berechnet wird, da die erste Kamera 21 am letzten Glied 14 montiert ist. Grundsätzlich könnte die erste Kamera 21 in Bezug auf die folgenden Ausführungen jedoch auch – und wie in 1 gezeigt – am zweiten Glied 12 oder am dritten Glied 13 montiert sein. In diesem Fall würde die absolute Pose für das zweite Glied 12 bzw. für das dritte Glied 13 berechnet, was ebenfalls vorteilhaft ist, um die Genauigkeit der Berechnungen des Industrieroboters 1 für die Absolutpositionierung zu verbessern.
In 2 ist die Basis 10 des Industrieroboters 1 erneut auf einem Arbeitstisch 5 montiert, welcher als erstes Merkmal 31 mit einem Schachbrett bemalt ist, welches im Sichtbereich der ersten Kamera 21 liegt. Die Kantenlänge der Felder des Schachbretts ist bekannt und die erste Kamera 21 kalibriert. Weiterhin liegt ein kinematisches Modell des Industrieroboters 1 vor. Sensoren einer internen Sensorik des Industrieroboters 1 zeichnen seine Gelenkstellungen auf, sind aber hierbei nicht genau genug für eine Absolutpositionierung.
In diesem Fall enthält die Karte der Umgebung lediglich das Referenzmuster „Schachbrett“ mit seinen intrinsischen Eigenschaften (rechtwinklig, Kantenlänge der Felder) und seiner Position und Orientierung in 3D. Im vorliegenden Szenario wird die Karte in 3D aufgebaut, weil der Industrieroboter 1 sich frei in 3D bewegen kann. In Abhängigkeit von den Freiheitsgraden des Industrieroboters 1 kann jedoch auch eine Karte in 2D ausreichend sein.
Entsprechend 2 gibt der Arbeitstisch 5 eine x-y-Ebene eines absoluten Koordinatensystems 2 vor, da dies die Kommunikation des absoluten Koordinatensystems 2 mit der Außenwelt vereinfacht. Hierzu definiert das Schachbrettmuster des ersten Merkmals 31 die x-y-Ebene des absoluten Koordinatensystems. Falls die x-Achse und y-Achse im Schachbrett aufgemalt sind, ist das komplette Mapping bereits abgeschlossen.
Die Lokalisierung des Effektors 15 wird nun mittels der ersten Kamera 21 durchgeführt. In dem in 1 gezeigten Aufbau lassen sich Position und Orientierung des ersten Merkmals 31 relativ zur ersten Kamera 21 aus dem Kamerabild ermitteln. Beispielsweise wird hierzu unter Annahmen über Position und Orientierung das Kamerabild vorhersagt und diese Prädiktion mit dem tatsächlichen Kamerabild verglichen. Dann werden Position und Orientierung so lange verändert, bis beides übereinstimmt. Da die Pose hierbei relativ zum Schachbrett des ersten Merkmals 1 ermittelt wird, welches auch das absolute Koordinatensystem 2 definiert, liegt sie in absoluten Koordinaten vor.
Im Rahmen der Bildverarbeitung lassen sich insbesondere der Abstand zum ersten Merkmal 31 und die Orientierung ggf. nur ungenau bestimmen. Um diese Genauigkeit zu verbessern, wird als zweites Merkmal 32 ein weiteres Schachbrett in etwa senkrecht zum ersten Merkmal 31 an eine Wand montiert. Im nächsten Schritt wird die Position und Orientierung des zweiten Merkmals 32 bestimmt. Beispielsweise wird hierzu das letzte Glied 14 gedreht, bis das zweite Merkmal 32 im Kamerabild der ersten Kamera 21 sichtbar wird. Eine Drehung um einen festen Winkelbereich (z.B. 60° oder 90°) kann mit herkömmlichen Industrierobotern sehr genau wiederholt werden, da die Wiederholgenauigkeit die absolute Genauigkeit übersteigt.
Die Position und Orientierung des zweiten Merkmals 32 wird wie folgt bestimmt. Zuerst wird die Position und Orientierung der ersten Kamera 21 relativ zum ersten Merkmal 31 ermittelt. Anschließend wird das letzte Glied 14 gedreht. In einem dritten Schritt wird die Position und Orientierung der ersten Kamera 21 nach der Drehung berechnet. Abschließend wird die Position und Orientierung des zweiten Merkmals 32 in Bezug auf die erste Kamera 21 in einem vierten Schritt bestimmt. Als Ergebnis wird die Position und Orientierung des zweiten Merkmals 32 im absoluten Koordinatensystem 2, also in Bezug auf das erste Merkmal 31 ermittelt.
Dies kann für viele verschiedene Positionen und Orientierungen des Industrieroboters 1 wiederholt werden, wobei jedes Mal eine andere Position und Orientierung des zweiten Merkmals 32 berechnet wird, obwohl diese konstant sein muss. Daher werden die Parameter der Kamerabewegung und die Position und Orientierung so eingestellt, dass die Schwankung von Position und Orientierung des zweiten Merkmals 32 minimiert wird, d.h. die Karte wird verbessert. Gleichzeitig wird damit auch die Schätzung der absoluten Pose des Industrieroboters 1 (hier der ersten Kamera 21) verbessert. Aus der absoluten Pose der ersten Kamera 21 kann auch unmittelbar die absolute Pose des Effektors 15 berechnet werden, da beide am letzten Glied 14 montiert sind.
In dem zuvor erläuterten Ausführungsbeispiel wird die Lage des absoluten Koordinatensystems 2 durch das erste Merkmal 31 vorgegeben. Das erste Merkmal 31 ist hierbei a priori bekannt. Das erste Merkmal 31 und ggf. das zweite Merkmal 32 können hierzu auch mit geeigneten Sensoren a priori genau vermessen werden.
3 zeigt einen weiteren Industrieroboter 1, welcher als Gelenkarmroboter mit vier Gliedern ausgeführt ist. Wie zuvor erläutert sind auch beliebige andere Kinematiken möglich, beispielsweise die eines sechs- oder siebenachsigen Gelenkarmroboters. Im Ausführungsbeispiel der 3 wird das absolute Koordinatensystem 2 erneut wie in 1 gezeigt gewählt, wobei aus dem ersten Glied 11, also der erste Rotationsachse des Industrieroboters 1, die z-Achse des absoluten Koordinatensystems 2 abgeleitet wird, wie dies im Kontext der 1 erläutert wurde. Im Sichtbereich des Industrieroboters 1 befinden sich ein erstes Merkmal 31, ein zweites Merkmal 32, ein drittes Merkmal 33 und ein viertes Merkmal 34, welche dem Industrieroboter 1 a priori bekannt sind. Der Sichtbereich des Industrieroboters 1 bezeichnet hierbei die Überdeckung der Sichtbereiche einer ersten Kamera 21 für alle möglichen Kamerapositionen. Bei den Merkmalen handelt es sich beispielsweise um rotationsinvariante ARToolkit-Marker, QR-Codes oder Schachbrettmuster. Die Merkmale können jedoch auch in der Umgebung ohnehin vorhandene Strukturen sein, welche sich als SIFT- oder SURF-Merkmale mit geeigneten Algorithmen extrahieren lassen.
Die erste Kamera 21 ist in 3 am dritten Glied 13 montiert. Dies dient lediglich der Veranschaulichung der Vielfalt möglicher Ausführungsformen. Selbstverständlich kann die Kamera 21 auch an einem anderen der Glieder 11, 12 oder 14 montiert sein.
Zum Aufbau der Karte und zur gleichzeitigen Lokalisierung wird die erste Kamera 21 auf dem dritten Glied 13 umherbewegt, wodurch die Merkmale 31, 32, 33, 34 erfasst werden. Es handelt sich hierbei um definierte Bewegungen, insbesondere Translationen oder Rotationen eines Glieds. Anhand der Roboterkinematik lässt sich hierbei eine Information über die Position und Orientierung der ersten Kamera 21 berechnen. Wenn eines der Merkmale 31, 32, 33, 34 im Kamerabild sichtbar ist, erhalten wir somit eine Schätzung der Position und Orientierung des Merkmals im Kamera-Koordinatensystem und über die Kinematik auch in absoluten Koordinaten. Mit dem Wissen, dass die Position und Orientierung der Merkmale 31, 32, 33, 34 in absoluten Koordinaten konstant ist, kann die Unsicherheit über diese Position und Orientierung minimiert werden. Gleichzeitig können dabei auch die Schätzungen der Parameter der Kinematik optimiert werden. Wenn schließlich Position und Orientierung der Merkmale 31, 32, 33, 34 über viele Messungen hinweg genau bestimmt wurden, kann auch die Position und Orientierung der ersten Kamera 21 aus den Bildern der Merkmale 31, 32, 33, 34 genau bestimmt werden (und zwar viel genauer als allein aus der Stellung der Gelenke und dem kinematischen Modell). Man muss mit der Verwendung der besseren Schätzung von Position und Orientierung der Merkmale 31, 32, 33, 34 zum Lokalisieren der dritten Kamera 23 jedoch nicht bis zu einem Abschluss der Einrichtung des Industrieroboters 1 warten – man kann die Schätzung auch gleich verwenden.
Der hierzu verwendete SLAM-Algorithmus ist aus dem Stand der Technik hinreichend bekannt. Im Folgenden wird ein geeignetes Ausführungsbeispiel des SLAM-Algorithmus – weiterhin mit Bezug auf 3 – erläutert.
Nennen wir cam(k) die Position und Orientierung der ersten Kamera 21 im absoluten Koordinatensystem 2 zu einem Zeitpunkt k, weiter nennen wir m_i die Position und Orientierung des iten Merkmals 31, 32, 33, 34 im absoluten Koordinatensystem 2. Diese Größen sollen geschätzt werden und bilden insgesamt den Zustandsvektor des gesamten Systems, (cam(1), cam(2), ..., cam(K), m₁, ..., m_M).
Dazu liegen als Messungen Gelenkstellungen x₁, ..., x_K und Sichtungen der Merkmale 31, 32, 33, 34 vor. Aus einer Gelenkstellung x_i folgt eine Messung der Kameraposition cam(i) mit einer gewissen Zuverlässigkeit. Das wird als Wahrscheinlichkeitsdichteverteilung für Position und Orientierung modelliert. Wir nehmen dabei an, dass der mittlere Fehler 0 ist, dass die Kinematik also kalibriert ist. Falls keine hochqualitative Kalibrierung vorliegt, funktioniert die Berechnung dennoch, da lediglich die Kovarianz für cam(i) entsprechend vergrößert wird.
Unter der Voraussetzung, dass das Merkmal i von der ersten Kamera 21 zum Zeitpunkt k gesehen wird, bezeichnen wir die Position und Orientierung des Merkmals i in Kamerakoordinaten s(k, i). Weil die Merkmale 31, 32, 33, 34 konstante Position und Orientierung haben, muss die Komposition der Position und Orientierung der ersten Kamera 21 in absoluten Koordinaten und der Position und Orientierung des jeweiligen Merkmals 31, 32, 33, 34 in Kamerakoordinaten konstant sein. Dies wird erreicht, indem ein eventuell auftretender Fehler ausgeglichen wird. Hierzu wird cam(k) + errorc(k) als erster Teil der Komposition und s(k, i) + errors(k, i) als zweiter Teil der Komposition verwendet. Diese Fehler ergeben sich, wenn man für cam(k) und m_i einen Wert (als Optimierungsvariable) einsetzt. Sie hängen von der Größe der Distanz zwischen dem Wert der Optimierungsvariablen und dem Messwert sowie von den für die Messungen angenommenen Kovarianzen ab. Die Kamerapositionen und Merkmalspositionen werden so gewählt, dass der gesamte Fehler minimal ist. Dabei werden andere Kamerapositionen berechnet als die aus der Kinematik allein bestimmten, das heißt, die Merkmale haben einen deutlichen Einfluss. Die Merkmalspositionen werden auch genauer bestimmt als aus einer einzelnen Sichtung heraus.
Hierbei wird zugleich die Karte verbessert und die Position bestimmt, wie dies bei Algorithmen zur simultanen Lokalisierung und Kartenerstellung (engl. „Simultanous Localization and Mapping“, SLAM) aus dem Stand der Technik bereits für andere Anwendungen bekannt ist. Eine günstige Implementierung dieses Ansatzes stellen Faktorgraph-Algorithmen wie der GTSAM-Algorithmus bereit, letzterer ist ausführlich erläutert in dem Dokument „Factor Graphs and GTSAM: A Hands-on Introduction", Georgia Institute of Technology, Center for Robotics and Intelligent Machines, CP&R Technical Report, 2012, erhältlich im Internet am 06.07.2016 unter http://hdl.handle.net/1853/45226.
Eine ähnliche Genauigkeit lässt sich für den SLAM-Algorithmus auch erreichen, wenn nicht gleichzeitig über alle Messungen optimiert wird, sondern jede Messung berücksichtigt wird, sobald sie durchgeführt wird. Die zuvor beschriebene Optimierung des Systemzustands (Lokalisierung und Kartographierung) wird also iterativ durchgeführt. Dazu geeignete Algorithmen sind beispielsweise als Kalmanfilter, Extended-Kalmanfilter, Unscented-Kalmanfilter oder Particle-Filter bekannt aus S. Thrun, W. Burgard, and D. Fox, Probabilistic Robotics, MIT-Press, 2005, S. 65–71, 96–102, 309–317.
In den letzten Ausführungsbeispielen wurde die Verwendung einer einzigen Kamera erläutert. Dies lässt sich verallgemeinern. Mit erneutem Bezug auf 1 wird im Folgenden ein Ausführungsbeispiel für die Verwendung von mehreren Kameras 21, 22, 23, 24 auf verschiedenen Gliedern 11, 12, 13, 14 des Industrieroboters 1 erläutert. Für dieses Ausführungsbeispiel wird der Industrieroboter 1 gegenüber der Darstellung in 1 verallgemeinert und als Roboter mit sechs bewegten Gliedern g₁, ..., g₆ in größerem Detail modelliert.
Anstatt nur der Position und Orientierung eines der Glieder, beispielsweise des letzten Gliedes g₆, wird nun die Position und Orientierung jedes Gliedes, auf dem eine Kamera montiert ist, in das Zustandsmodell aufgenommen. Die Pose des jeweiligen Gliedes kann durch eine Transformation eines Koordinatensystems des jeweiligen Gliedes in eine Pose der jeweiligen Kamera umgerechnet werden. Dies sind weitere Parameter, die ebenfalls durch Kalibrierung genauer bestimmen müssen. Das Koordinatensystem des jeweiligen Gliedes wird entsprechend dem Standardmodell von Denavit und Hartenberg gewählt, vgl. das Dokument „Denavit-Hartenberg-Transformation", erhältlich im Internet am 06.07.2016 unter https://de.wikipedia.org/wiki/Denavit-Hartenberg-Transformation.
Die Gelenkstellungen gehen nun nicht mehr insgesamt in die Berechnung ein, sondern wir berechnen die relative Position und Orientierung zwischen zwei Robotergliedern, die Kameras tragen, während dazwischen liegende Glieder keine Kameras tragen. Ansonsten entspricht die Berechnung den vorangegangenen Ausführungsbeispielen: die Fehler der Messungen werden genauso modelliert und minimiert wie im vorigen Fall, alle Roboterglieder werden gleichzeitig lokalisiert, und es können auch durchaus mehrere Glieder bzw. Kameras die gleichen Merkmale sehen. Auch hier kann die Optimierung sowohl gleichzeitig über alle Beobachtungen als auch iterativ durchgeführt werden.
In den letzten Ausführungsbeispielen wurde die Verwendung von a priori bekannten Merkmalen in der Umgebung erläutert. Hierzu eignen sich spezielle optische Marker, bei denen die möglichen Positionen und Orientierungen der Kamera relativ zum Marker am besten ermittelt werden können. Dies entspricht einer konzentrierten Wahrscheinlichkeitsdichteverteilung. Im Folgenden wird erläutert, wie in den bereits beschriebenen Ausführungsbeispielen jedoch auch andere Merkmale verwendet werden können.
Beispielsweise könnte als Merkmal statt eines Schachbrettes ein Plakat in der Umgebung vorhanden sein, auf dem durch Bildverarbeitungsmethoden ein Punkt genau bestimmt und auch wiedererkannt werden kann. Solche Bildmerkmale sind z.B. als SIFT-Feature oder SURF-Feature bekannt, vgl. das Dokument „Scale-invariant feature transform", erhältlich im Internet am 06.07.2016 unter https://en.wikipedia.org/wiki/Scaleinvariant_feature_transform.
In einem solchen Fall ist die Bestimmung der Entfernung sehr ungenau, und auch zwei der drei Rotationsparameter sind sehr ungenau. Aber diese Unsicherheit lässt sich wiederum als Wahrscheinlichkeitsdichteverteilung modellieren, und die Genauigkeit der Gesamtschätzung lässt sich wie im vorigen Beispiel ermitteln. Es liegen also schlechtere Informationen aus Einzelmessungen vor, welche aber durch mehr unabhängige Messungen kompensiert werden können.
In den bisherigen Ausführungsbeispielen wurden Kameras als bildgebende Sensoren erläutert, weil hier eine Tendenz zur Miniaturisierung und Kostensenkung bei gleichzeitig steigender Leistungsfähigkeit besteht. Anstelle der Kameras können in den jeweiligen Ausführungsbeispielen jedoch auch andere bildgebende Sensoren verwendet werden, da die beschriebenen Prinzipien auch für andere Sensoren gültig sind. So eignen sich neben 2D-Kameras auch 3D-Kameras, Infrarotkameras, Streifenprojektionssensoren, Ultraschallsensoren und Laserscanner als bildgebende Sensoren.
Weiterhin können als bildgebende Sensoren anstelle der in der vorangegangenen Ausführungsbeispielen genannten Kameras auch Mehr-Ebenen-Laserscanner eingesetzt werden, die eine dichte Punktwolke erzeugen. Eine solche Punktwolke enthält in der Regel charakteristische Strukturen, die als Merkmale für eine Lokalisierung und Kartographierung verwendet werden können. Auch ein Laserscanner mit einer Scanebene kann hier verwendet werden, wenn die Umgebung hinreichend viele charakteristische Strukturen aufweist. In diesem Fall kann es erforderlich werden, zum Zwecke der besseren Lokalisierung und Kartographierung spezifische Bewegungen auszuführen.
Weiterhin können auch aktive Merkmale z.B. in Form von Lichtquellen in der Umgebung angebracht werden. Wie zuvor erläutert ist es hilfreich, die absolute Position dieser Marker als a priori Information bereitzustellen, aber nicht unbedingt erforderlich. Auch hier kann durch simultane Lokalisierung und Kartographierung eine hohe Absolutgenauigkeit des Industrieroboters erreicht werden.
Eine mögliche Implementierung eines oder mehrerer der zuvor beschriebenen Ausführungsbeispiele besteht in einem Industrieroboter mit einer Steuerung, welche die entsprechenden Berechnungen ausführt. Die Steuerung kann hierzu einen elektronischen Speicher aufweisen, Signale einer internen Sensorik des Industrieroboters sowie der bildgebenden Sensoren auswerten und Motoren des Industrieroboters ansteuern. Die Steuerung kann hierbei auch eine Regelung durchführen, indem sie fortwährend aus den Kamerabildern und der internen Sensorik eine aktuelle absolute Pose ermittelt und diese so lange anpasst, bis eine vorgegebene Pose mit einer vorgegebenen Genauigkeit eingestellt ist.
Obwohl die Erfindung durch die Ausführungsbeispiele im Detail illustriert und beschrieben wurde, ist sie nicht durch die offenbarten Beispiele eingeschränkt. Andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Die beschriebenen Ausführungsbeispiele, Varianten, Ausführungsformen und Weiterbildungen können auch frei miteinander kombiniert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102011052386 A1 [0006]

Zitierte Nicht-Patentliteratur

VDI-Richtlinie 2860 [0001]
S. Hutchinson, G. D. Hager, and P. I. Corke, “A tutorial on visual servo control”, IEEE Transactions on Robotics and Automation, vol. 12, no. 5, pp. 651–670, 1996 [0007]
Dokument „Roboterkalibrierung“, erhältlich im Internet am 05.07.2016 unter https://de.wikipedia.org/wiki/Roboterkalibrierung [0059]
Dokument „Factor Graphs and GTSAM: A Hands-on Introduction“, Georgia Institute of Technology, Center for Robotics and Intelligent Machines, CP&R Technical Report, 2012, erhältlich im Internet am 06.07.2016 unter http://hdl.handle.net/1853/45226 [0085]
S. Thrun, W. Burgard, and D. Fox, Probabilistic Robotics, MIT-Press, 2005, S. 65–71, 96–102, 309–317 [0086]
Dokument „Denavit-Hartenberg-Transformation“, erhältlich im Internet am 06.07.2016 unter https://de.wikipedia.org/wiki/Denavit-Hartenberg-Transformation [0088]
Dokument „Scale-invariant feature transform“, erhältlich im Internet am 06.07.2016 unter https://en.wikipedia.org/wiki/Scaleinvariant_feature_transform [0091]

Claims

Verfahren zur Orientierung eines Industrieroboters, – bei dem mindestens ein Merkmal (31, 32, 33, 34) einer Umgebung aus Signalen mindestens eines bildgebenden Sensors (21, 22, 23, 24), welcher an einem beweglichen Teil des Industrieroboters (1) montiert ist, extrahiert wird, bevor, während oder nachdem der Industrieroboter (1) Bewegungen ausführt, und – bei dem mittels eines SLAM-Algorithmus zur simultanen Lokalisierung und Kartenerstellung zugleich – ein absolutes Koordinatensystem und eine Karte der Umgebung bestimmt wird, wobei die Karte der Umgebung das mindestens eine extrahierte Merkmal (31, 32, 33, 34) abbildet, und – eine absolute Pose des beweglichen Teils des Industrieroboters (1) bestimmt wird, wobei die absolute Pose eine Pose in dem absoluten Koordinatensystem ist.
Verfahren nach Anspruch 1, – bei dem die Bestimmung der Karte der Umgebung eine statistische Schätzung ist, und – bei dem die absolute Pose als Wahrscheinlichkeitsdichtefunktion modelliert wird.
Verfahren nach Anspruch 2, – bei dem der SLAM-Algorithmus iterativ einen Kalmanfilter-Algorithmus, Extended-Kalmanfilter-Algorithmus, Unscented-Kalmanfilter-Algorithmus oder Particle-Filter-Algorithmus ausführt.
Verfahren nach Anspruch 1 oder 2, – bei dem der SLAM-Algorithmus auf einem Faktorgraph-Algorithmus, insbesondere einem GTSAM-Algorithmus beruht.
Verfahren nach einem der vorhergehenden Ansprüche, – bei dem der Industrieroboter (1) definierte Bewegungen, insbesondere Translationen oder Rotationen eines Glieds, wiederholt ausführt, und – bei dem die Merkmale (31, 32, 33, 34) der Umgebung während und/oder nach jeder Bewegung aus den Signalen des mindestens einen bildgebenden Sensors (21, 22, 23, 24) extrahiert werden.
Verfahren nach einem der vorhergehenden Ansprüche, – bei dem der Industrieroboter das absolute Koordinatensystem ausgibt.
Verfahren nach einem der vorhergehenden Ansprüche, – bei dem der mindestens eine bildgebende Sensor (21, 22, 23, 24) an einem Trägerglied montiert ist, und – bei dem die absolute Pose für das Trägerglied bestimmt wird.
Verfahren nach Anspruch 7, – bei dem die Merkmale (31, 32, 33, 34) der Umgebung aus Signalen von mehreren bildgebenden Sensoren (21, 22, 23, 24) extrahiert werden, welche an dem Trägerglied montiert sind, wobei die bildgebenden Sensoren (21, 22, 23, 24) in unterschiedlichen Richtungen ausgerichtet sind.
Verfahren nach Anspruch 7 oder 8, – bei dem das Trägerglied eines von mehreren Gliedern (11, 12, 13, 14) des Industrieroboters (1) ist, wobei die Glieder (11, 12, 13, 14) gemäß einer Kinematik beweglich sind.
Verfahren nach Anspruch 9, – bei dem Antriebe der Glieder (11, 12, 13, 14) zur Einstellung einer in einem absoluten Koordinatensystem vorgegebenen Pose einer Werkzeugschnittstelle des Industrieroboters (1) angesteuert werden.
Verfahren nach Anspruch 10, – bei dem die ermittelte absolute Pose bei der Einstellung der vorgegebenen Pose berücksichtigt wird.
Verfahren nach Anspruch 10 oder 11, – bei dem Signale einer internen Sensorik des Industrieroboters (1) bei der Einstellung der vorgegebenen Pose berücksichtigt werden.
Verfahren nach einem der vorhergehenden Ansprüche, – bei dem Parameter eines Bewegungsmodells, welches auf einer Kinematik des Industrieroboters (1) basiert, in Abhängigkeit von der absoluten Pose und/oder Signalen einer internen Sensorik des Industrieroboters (1) berechnet werden.
Verfahren nach einem der Ansprüche 10 bis 12 in Verbindung mit Anspruch 13, – bei dem die vorgegebene Pose anhand des Bewegungsmodells eingestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, – bei dem die Merkmale (31, 32, 33, 34) der Umgebung aus Signalen von mehreren bildgebenden Sensoren (21, 22, 23, 24) extrahiert werden, welche an mehreren, insbesondere allen, Gliedern (11, 12, 13, 14) des Industrieroboters (1) montiert sind, – bei dem absolute Posen für die jeweiligen Glieder (11, 12, 13, 14) anhand der extrahierten Merkmale (31, 32, 33, 34) bestimmt werden, wobei die absoluten Posen Posen in dem absoluten Koordinatensystem sind, und – bei dem die absoluten Posen für die Berechnung von Parametern eines Bewegungsmodells und/oder die Einstellung einer vorgegebenen Pose einer Werkzeugschnittstelle des Industrieroboters (1) in dem absoluten Koordinatensystem verwendet werden.
Computerlesbarer Datenträger, – auf dem ein Computerprogramm gespeichert ist, welches das Verfahren nach einem der Ansprüche 1 bis 15 ausführt, wenn es in einem Prozessor abgearbeitet wird.
Computerprogramm, – welches in einem Prozessor abgearbeitet wird und dabei das Verfahren nach einem der Ansprüche 1 bis 15 ausführt.
Industrieroboter (1), – mit mindestens einem bildgebenden Sensor (21, 22, 23, 24), welcher an einem beweglichen Teil des Industrieroboters (1) montiert ist, und – mit einer Steuerung, welche eingerichtet ist, um das Verfahren nach einem der Ansprüche 1 bis 15 mit dem Industrieroboter auszuführen.