-
Die Erfindung betrifft ein Verfahren zur Erstellung einer Datenbank mit Greiferposen, ein Verfahren zum Steuern eines Roboters, ein entsprechendes computerlesbares Speichermedium und ein Handhabungssystem.
-
Moderne Handhabungssysteme, wie Mehrachs-Roboter, dienen dazu, Objekte von einem ersten Ort zu einem zweiten Ort zu transportieren. Hierzu ist es notwendig, dass der Roboter mittels eines Greifers das Objekt greift und sicher hält, damit es während des Transports nicht herunterfällt. In strukturierten Arbeitsumgebungen, wie z.B. in der Automobilproduktion üblich, liegen die zu greifenden Objekte immer an derselben Stelle mit derselben Orientierung, so dass ein Greifen nur einmal programmiert werden muss und dann wiederholt ausgeführt werden kann.
-
In unstrukturierten Arbeitsumgebungen können die Objekte jedoch an unterschiedlichen Stellen mit unterschiedlicher Orientierung vorkommen, so dass ein Roboter in der Lage sein muss, das Greifen der Objekte zu adaptieren. Ein Beispiel ist das Greifen verschiedener Teile aus einer Kiste (sog. „bin-picking“).
-
Um das Greifen von Objekten in unstrukturierten Arbeitsumgebungen zu ermöglichen, verfügen Robotersysteme über Perzeptionssysteme, z.B. über Stereokamerasysteme, die ein Detektieren der zu greifenden Objekte ermöglichen. Ferner können mittels dieser Perzeptionssysteme die Dimensionen und die Orientierung des zu greifenden Objekts festgestellt werden, so dass die Angriffspunkte für den Greifer ermittelt werden können.
-
Bevor ein Objekt gegriffen werden kann, kann der Roboter so verfahren werden, dass lediglich ein Greifer aktiviert werden kann. Die Orientierung und der Ort des Greifers kann durch eine Pose beschrieben werden. Eine Pose ist als eine Repräsentation zu verstehen, die drei Raumkoordinaten sowie drei Winkel umfasst, die die Lage und die Orientierung eines zweiten Koordinatensystems bezüglich eines Referenzkoordinatensystems beschreibt.
-
Beim Greifen treten eine Vielzahl von Schwierigkeiten auf.
-
Beispielsweise ist die Masseverteilung des zu greifenden Objekts mittels eines visuellen Perzeptionssystems meist nicht erkennbar. Dadurch kann es vorkommen, dass das Greifen des Objekts an bestimmten Stellen nicht möglich oder nur sehr schwer möglich ist. Darüber hinaus kann mittels eines rein visuell arbeitenden Perzeptionssystems nicht festgestellt werden, mit welcher Kraft ein Objekt gehalten werden muss. Zusätzlich erfordert das Berechnen von möglichen Greiferposen eine lange Rechenzeit und Rechenressourcen eines Computers.
-
In der Veröffentlichung
-
Porges O., Stouraitis T., Borst C., Roa M.A. (2014) „Reachability and Capability Analysis for Manipulation Tasks“. In: Armada M., Sanfeliu A., Ferre M. (eds) ROBOT2013: First Iberian Robotics Conference. Advances in Intelligent Systems and Computing, vol 253. Springer, Cham
-
wird die Analyse der Greiffähigkeiten eines Roboters vor dem Ausführen eines tatsächlichen Greifens beschrieben. Hierzu wird für den Roboter und den verwendeten Greifer eine Fähigkeitskarte erstellt, die für jeden Punkt des Arbeitsraums des Roboters angibt, aus wie vielen Richtungen ein Punkt im Arbeitsraum durch den Roboter angefahren werden kann. Dabei wird der Greifer ebenso wie die Kinematik des Roboters berücksichtigt. Die Fähigkeitskarte wird unabhängig von den zu greifenden Objekten erstellt. Die genannte Veröffentlichung beschreibt weiter, dass eine Datenbank verwendet werden kann, die Angaben zu möglichen Greifaktionen von bekannten Objekten enthält. Ein Nachteil der in der genannten Veröffentlichung beschriebenen Vorgehensweise ist, dass das Erstellen der Datenbank sehr aufwändig ist. Es ist nicht ausreichend, zu jedem Objekt nur eine einzelne Greiferpose zu speichern. Vielmehr müssen eine Vielzahl von Greiferposen manuell aufgezeichnet und in der Datenbank gespeichert werden, sodass das Greifen eines Objekts sicher ausgeführt werden kann.
-
Ausgehend von dem beschriebenen Stand der Technik ist es Aufgabe der Erfindung, ein Verfahren zur Erstellung einer Datenbank mit Greiferposen anzugeben, das die vorstehend genannten Nachteile adressiert. Insbesondere soll das effiziente Befüllen einer Datenbank ermöglicht werden. Darüber hinaus soll ein Verfahren zum Steuern eines Roboters angegeben werden, welches eine effiziente Steuerung des Roboters ermöglicht. Zusätzlich soll ein entsprechendes computerlesbares Speichermedium angegeben werden. Darüber hinaus soll ein Handhabungssystem angegeben werden, welches das effiziente Greifen eines Objekts ermöglicht.
-
Die Aufgabe wird gelöst durch ein Verfahren zur Erstellung einer Datenbank mit Greiferposen nach Anspruch 1.
-
Insbesondere wird die Aufgabe gelöst durch ein Verfahren zur Erstellung einer Datenbank mit Greiferposen, Folgendes umfassend:
- a. Speichern, insbesondere durch Aufzeichnen, mindestens einer Trainingsgreiferpose zum Greifen eines Trainingsobjekts, insbesondere bezüglich eines dem Trainingsobjekt zugeordneten Trainingsobjektkoordinatensystems;
- b. Generieren mindestens einer weiteren Greiferpose für das Trainingsobjekt unter Verwendung mindestens eines Objektprototypen und der Trainingsgreiferpose;
- c. Speichern der mindestens einen weiteren Greiferpose und der Trainingsgreiferpose mit einem Bezug zu dem Trainingsobjekt in der Datenbank, insbesondere in einer Objektdatenbank.
-
Ein Kern der Erfindung liegt also darin, dass für eine einzige Trainingsgreiferpose eine oder eine Vielzahl von weiteren Greiferposen generiert werden. Es muss also nur die Trainingsgreiferpose manuell vorgegeben werden. Besonders vorteilhaft ist, dass die weiteren Greiferposen unter Verwendung von Objektprototypen generiert werden. Es können also die Eigenschaften der Objektprototypen zur Ermittlung der weiteren Greiferposen herangezogen werden. Das beschriebene Verfahren erlaubt daher das effiziente Speichern mindestens einer weiteren Greiferpose zusätzlich zu der Trainingsgreiferpose.
-
Die Aufgabe wird ferner gelöst durch ein Verfahren zum Steuern eines Roboters nach Anspruch 2.
-
Insbesondere wird die Aufgabe gelöst durch ein Verfahren zum Steuern eines Roboters, Folgendes aufweisend:
- - Durchführen der Schritte des oben beschriebenen Verfahrens zum Erstellen einer Datenbank;
- - Abfragen mindestens einer Pose aus der Objektdatenbank;
- - Steuern des Roboters unter Verwendung der mindestens einen Pose.
-
Das Abfragen und Verwenden einer Greiferpose zum Steuern eines Roboters aus einer Datenbank, wie sie vorstehend beschrieben wurde, ermöglicht ein insgesamt besonders effizientes Greifverfahren.
-
In einer Ausführungsform kann eine Pose, insbesondere die Trainingsgreiferpose, als ein sechs-Tupel repräsentiert sein, das drei Raumkoordinaten und drei Winkel bezogen auf ein dem Trainingsobjekt zugeordneten Trainingsobjektkoordinatensystem aufweist.
-
Eine Pose kann besonders effizient in einer Datenstruktur gespeichert sein, die die Lage und Orientierung bezüglich des Trainingsobjekts angibt. Dadurch, dass die Angaben bezüglich des Trainingsobjekts gespeichert werden, kann eine Greiferpose verwendet werden, unabhängig davon, wo sich das zu greifende Objekt im Raum bzw. in einem Roboterkoordinatensystem befindet.
-
In einer Ausführungsform kann das Verfahren ein Auswählen des mindestens einen Objektprototyps aus einer Menge von Kandidatenprototypen umfassen.
-
Die Menge von Kandidatenprototypen kann einen Zylinder, eine Sphäre, einen Quader, einen Kegel, einen Kegelstumpf und/oder eine Pyramide umfassen.
-
Der mindestens eine Objektprototyp kann also eine geometrische Grundform sein, wodurch eine sehr flexible Handhabung des beschriebenen Verfahrens möglich ist. Die Objektprototypen können über geometrische Parameter, wie Länge, Tiefe, Breite, Höhe und/oder einem Radius, beschrieben sein. Die bekannte Geometrie des Objektprototyps kann dann zur automatischen Generierung der mindestens einen weiteren Greiferpose ausgenutzt werden.
-
In einer Ausführungsform kann dem mindestens einen Objektprototyp mindestens eine Symmetrieachse zugeordnet sein, wobei eine Vielzahl von Greiferposen unter Berücksichtigung der mindestens einen Symmetrieachse erzeugt werden kann, insbesondere durch Rotation um die mindestens eine Symmetrieachse, bevorzugt unter Verwendung einer Transformationsmatrix, wobei die Greiferposen jeweils gespeichert werden können.
-
Besonders vorteilhaft ist es, wenn eine bekannte Symmetrieachse des Objektprototyps zur Generierung der Vielzahl von Greiferposen verwendet wird. Hierbei wird ausgenutzt, dass beispielsweise ein rotationssymmetrischer Körper unter Verwendung einer Vielzahl von Posen gleichgut gegriffen werden kann. Dadurch kann eine Vielzahl von möglichen Greiferposen generiert werden, die ähnlich gute Greifergebnisse liefern. Das vereinfacht sehr stark den Aufbau einer Objektdatenbank. Ein Objektprototyp kann in einem CAD-Datenformat, wie z.B. IGES oder STL vorliegen. Das CAD-Datenformat kann direkt oder indirekt eine Symmetrieachse und/oder eine Symmetrieebene angeben, die zur Generierung der weiteren Greiferposen verwendet werden kann.
-
In einer Ausführungsform kann die Trainingsgreiferpose und die weiteren mindestens eine Greiferpose jeweils mit einer Objektidentifikationsnummer gespeichert werden, die dem Trainingsobjekt zugeordnet sein kann.
-
Die Zuordnung der Trainingsgreiferpose und der weiteren mindestens einen Greiferpose zu einer Objektidentifikationsnummer ermöglicht das Auffinden einer Vielzahl von möglichen Posen zum Greifen eines Objekts, wenn die Objektidentifikationsnummer bekannt ist. Dadurch ist es möglich, aus der Objektdatenbank eine Vielzahl von möglichen Greiferposen auf einmal für ein einziges Objekt abzufragen.
-
In einer Ausführungsform kann ein Speichern von Greifparametern zusammen mit den Posen in einer/der Objektdatenbank vorgesehen sein, insbesondere von Greiferinformationen, einer Greifart, einer Qualitätsangabe, einer Kraft, einer Greifstrategie und/oder einer Greifbeschreibung.
-
Es ist also möglich, dass zusätzlich zu den genannten Greiferposen weitere Daten in der Objektdatenbank gespeichert werden, die sich vorzugsweise einzelnen Posen zuordnen lassen. Dabei kann es sich um Daten handeln, die das Greifen näher spezifizieren. Beispielsweise kann durch eine Kraft angegeben sein, mit welcher Kraft ein Objekt gegriffen werden soll. Ferner kann eine Greifart gespeichert. Bei einem Mehrfingergreifer kann z.B. gespeichert werden, ob es sich um ein sog. Fingergreifen oder um ein sog. „power“-Greifen handelt. Beim Fingergreifen wird ein Objekt nur mit den Fingerspitzen des Mehrfingergreifers gegriffen. Beim „power“-Greifen wird das Objekt komplett umgriffen. Greiferinformationen können Informationen umfassen, die einen Greifertyp angeben oder auch ein bestimmtes Greiferprodukt.
-
Greiferinformationen können in einer Greifertabelle oder Greiferdatenbank gespeichert sein. Es kann also zu den Posen eine Referenz auf den entsprechenden Eintrag in der Greifertabelle bzw. Greiferdatenbank gespeichert werden. Der entsprechende Eintrag kann auch ein CAD Modell des Greifers oder Leistungsparameter, wie eine maximal aufbringbare Kraft, umfassen. Ferner kann mindestens eine Regel vorgesehen sein, die angibt, dass zu jeder Pose mindestens ein Greifer zugeordnet sein muss. Die Regel kann z.B. als Teil der Objektdatenbank implementiert sein.
-
Eine Greifstrategie kann angeben, wie ein Objekt gegriffen werden soll. Beispielsweise kann vorgesehen sein, dass zunächst mit einer hohen Kraft zugegriffen wird, und nach einer bestimmten Zeit mit einer geringeren Kraft. Eine Qualitätsangabe kann Angaben dazu umfassen, ob ein prozesssicheres Greifen möglich ist, d.h. ob sich in Experimenten herausgestellt hat, dass eine entsprechende Greiferpose besonders gut geeignet ist. Das Speichern der Greifparameter hat den Vorteil, dass ein Greifen eines Objekts leichter reproduziert bzw. ausgeführt werden kann.
-
In einer Ausführungsform kann das Verfahren ein Identifizieren des Trainingsobjekts umfassen, insbesondere mittels eines Perzeptionssystems, z.B. mittels einer Stereokamera.
-
Es ist also auch möglich, dass das Trainingsobjekt automatisch identifiziert wird, so dass Informationen über das Trainingsobjekt automatisch in die Objektdatenbank geschrieben werden können. Dadurch wird das Verfahren noch effizienter.
-
In einem Ausführungsbeispiel kann das Verfahren ein Speichern von Objektmerkmalen zum Erkennen des Trainingsobjekts umfassen, insbesondere von geometrischen Informationen, wie Ecken und/oder Kanten des Trainingsobjekts, vorzugsweise derart, dass Posen den Objektmerkmalen zuordenbar sind. Objektmerkmale können auch visuelle Informationen umfassen. Dazu zählen Bilddeskriptoren, wie Farb- bzw. Farbintensitätsgradienten, Farbwerte oder Grauwerte. Auch Bildausschnitte und sonstige Texturinformationen können als Objektmerkmale gespeichert werden.Um ein zu greifendes Objekt besser in der Objektdatenbank auffinden zu können, kann in der Datenbank eine Beschreibung des Trainingsobjekts gespeichert sein. Diese Beschreibung kann durch Objektmerkmale umgesetzt sein. Dabei kann die Lage und Orientierung von Ecken und/oder von Kanten abgespeichert sein, so dass ein Perzeptionssystem anhand der gespeicherten Objektmerkmale ein Objekt finden und/oder identifizieren kann. Die Objektmerkmale können derart gespeichert sein, dass sie den gespeicherten Greiferposen zuordenbar sind. Diese Zuordnung kann mittelbar oder unmittelbar umgesetzt sein. Z.B. können alle Posen in einer ersten Datenbanktabelle gespeichert sein. Alle Objekte können in einer zweiten Datenbanktabelle gespeichert sein und alle Objektmerkmale können in einer dritten Datenbanktabelle gespeichert sein. Eine Zuordnung kann dann über entsprechende Primärschlüssel und Verweise in den Tabellen ausgeführt werden.
-
In einer Ausführungsform kann eine Vielzahl von Perzeptionsverfahren vorgesehen sein, wobei ein Perzeptionsverfahren zur automatischen Identifizierung des Trainingsobjekts unter Verwendung von gespeicherten Objektmerkmalen ausgewählt werden kann.
-
Es ist also möglich, dass basierend auf den in der Objektdatenbank vorhandenen Objektmerkmalen ein Verfahren zur Identifizierung des Trainingsobjekts ausgewählt wird. Sind z.B. in der Objektdatenbank Objektmerkmale gespeichert, die Bildausschnitte betreffen, so wird ein Pezeptionsverfahren ausgewählt, welches Bildausschnitte zur Identifizierung von Objekten verwendet.
-
Ein Objekt kann derart erkannt werde, dass zunächst eine Hypothese aufgestellt wird, welches Objekt sich im Blick eines Perzeptionssystems befindet. Anschließend kann geprüft werden, ob die Hypothese zutrifft. Das bedeutet, dass nacheinander eine Vielzahl bekannter Objekte durchprobiert werden kann.
-
In einer Ausführungsform kann das Verfahren umfassen:
- - ein Identifizieren eines zu greifenden Zielobjekts, insbesondere einer dem Zielobjekt zugeordneten Objektidentifikationsnummer;
- - ein Bestimmen einer Zielgreiferpose, die dem Zielobjekt zuordenbar ist; und
- - ein Greifen des Zielobjekts unter Verwendung der Zielgreiferpose, insbesondere durch einen Endeffektor, z.B. einem Parallelgreifer, eines Roboters.
-
Die beschriebene Ausführungsform hat den Vorteil, dass das Greifen eines Objekts durch den Roboter vereinfacht wird. Nach dem Identifizieren des zu greifenden Objekts kann unter Verwendung einer zugeordneten Objektidentifikationsnummer eine Zielgreiferpose bestimmt werden.
-
In einer Ausführungsform kann das Bestimmen das Auslesen eine Vielzahl von Kandidatenposen umfassen, insbesondere aus einer/der Objektdatenbank, wobei das Auslesen unter Berücksichtigung einer Erreichbarkeitskarte und/oder einer Fähigkeitskarte eines Roboters durchgeführt werden kann.
-
Die beschriebene Ausführungsform hat den Vorteil, dass aus der Vielzahl von Kandidatenposen eine Zielgreiferpose ausgewählt werden kann, die zu besonders guten Greifergebnissen für einen speziellen Roboter führt. Dies kann über die Erreichbarkeitskarte und/oder die Fähigkeitskarte sichergestellt werden. Eine Erreichbarkeitskarte gibt an, welche Punkte im Raum durch den Roboter unter Berücksichtigung seiner Kinematik erreicht werden können. Eine Fähigkeitskarte gibt an, aus wie vielen Richtungen der Roboter einen Punkt innerhalb seines Arbeitsraums erreichen kann. Insgesamt wird mit der beschriebenen Ausführungsform das Greifen eines Zielobjekts sicherer und vereinfacht.
-
In einer Ausführungsform kann das Bestimmen ein Sortieren einer/der Vielzahl von Kandidatenposen umfassen, wobei das Sortieren unter Berücksichtigung der Fähigkeitskarte durchgeführt werden kann.
-
Von Vorteil ist, wenn ein Sortieren der Vielzahl von Kandidatenposen durchgeführt wird, so dass eine Ordnung entsteht. Dadurch können die Kandidatenposen nacheinander durchprobiert werden. Stellt sich beispielsweise heraus, dass eine erste Kandidatenpose nicht geeignet ist, so kann mit einer zweiten Kandidatenpose fortgefahren werden.
-
In einer Ausführungsform kann das Verfahren eine Bewegungsplanung zum Bewegen eines Roboters von einer Ausgangskonfiguration in eine Zielkonfiguration umfassen, wobei die Zielkonfiguration einer/der Zielgreiferpose zugeordnet sein kann.
-
Im Anschluss an das Sortieren kann unter Verwendung der ersten Kandidatenpose eine Bewegungsplanung durchgeführt werden. Die erste Kandidatenpose entspricht dabei der Pose, die beim Sortieren als geeignetste Pose ermittelt worden ist. Dabei kann beispielsweise festgestellt werden, dass die geeignetste Pose unter Berücksichtigung einer aktuellen Roboterkonfiguration, beispielsweise auf Grund von Hindernissen, nicht bzw. ungenügend gut erreicht werden kann. Es kann daher eine Schleife der Auswahl einer Zielgreiferpose und der Bewegungsplanung ausgeführt werden. Dadurch ist gewährleistet, dass genau jene Zielgreiferpose verwendet wird, die für den Roboter zum aktuellen Zeitpunkt am besten geeignet ist.
-
Die Aufgabe wird ferner gelöst durch ein computerlesbares Speichermedium nach Anspruch 15.
-
Insbesondere wird die Aufgabe gelöst durch ein computerlesbares Speichermedium, welches Instruktionen enthält, die mindestens einen Prozessor dazu veranlassen, ein Verfahren nach einem der vorhergehenden Ansprüche zu implementieren, wenn die Instruktionen durch den mindestens einen Prozessor ausgeführt werden.
-
Es ergeben sich ähnliche oder identische Vorteile, wie sie bereits im Zusammenhang mit den vorstehend beschriebenen Verfahren beschrieben wurden.
-
Die Aufgabe wird ferner gelöst durch ein Handhabungssystem nach Anspruch 16.
-
Insbesondere wird die Aufgabe gelöst durch ein Handhabungssystem, umfassend:
- - eine Objektdatenbank, insbesondere eine Objektdatenbank, die nach einem der vorhergehend beschriebenen Verfahren erstellt ist;
- - einen Roboter, der dazu ausgebildet ist, ein Objekt zu greifen;
- - ein Perzeptionssystem zur Erfassung eines Objekts, das insbesondere an dem Roboter angeordnet ist;
wobei der Roboter dazu ausgebildet ist,
- - unter Verwendung des erfassten Objekts eine Vielzahl von Kandidatenposen aus der Objektdatenbank abzufragen;
- - die Vielzahl von Kandidatenposen zu filtern, insbesondere unter Verwendung einer Erreichbarkeitskarte und/oder einer Fähigkeitskarte, um eine Zielgreiferpose zu bestimmen,
- - eine Roboterkonfiguration entsprechend der Zielgreiferpose einzustellen.
-
Es ergeben sich ähnliche oder identische Vorteile, wie sie bereits im Zusammenhang mit dem vorstehend beschriebenen Verfahren beschrieben sind.
-
Weitere vorteilhafte Ausführungsformen ergeben sich anhand der Unteransprüche.
-
Nachfolgend wird die Erfindung mittels mehrerer Ausführungsbeispiele beschrieben, die anhand von Abbildungen näher erläutert werden. Hierbei zeigen:
- 1 einen Roboter 10 in einer Ausgangskonfiguration vor dem Greifen eines Objekts 1;
- 2a ein Objekt 1 und einen Greifer 20 in einer Anfahrtspose;
- 2b das Objekt 1 der 2a und den Greifer 20 der 2a in einer Greiferpose;
- 3 eine schematische Darstellung einer Abbildung eines Objekts 1 auf einem Objektprototypen 30;
- 4a ein Objektprototyp 30 mit Symmetrieachse S;
- 4b das Generieren einer Vielzahl von Greiferposen P', P" unter Verwendung einer Symmetrieachse eines Objektprototypen 30;
- 5 eine schematische Darstellung einer Datenbanktabelle 41;
- 6 eine schematische Darstellung eines Handhabungssystems umfassend ein Objekt 1', einen Roboter 10 und eine Objektdatenbank 40; und
- 7 ein Flussdiagramm, welches ein Verfahren zur Steuerung eines Roboters 10 angibt.
-
In der nachfolgenden Beschreibung werden für gleiche und gleichwirkende Teile dieselben Bezugsziffern verwendet.
-
1 zeigt einen Roboter 10, der in einer Ausgangskonfiguration gezeigt ist. Der Roboter 10 verfügt über einen Greifer 20, der in dem gezeigten Ausführungsbeispiel als Parallelgreifer 20 ausgeführt ist. Das heißt, der Parallelgreifer 20 verfügt über zwei Backen, die parallel zueinander und voneinander wegbewegt werden können. Um eine Kraft zu messen, sind an den Backen des Parallelgreifers 20 Kraftsensoren vorgesehen, die dazu ausgebildet sind, zu messen, wie viel Kraft auf ein zu greifendes Objekt aufgebracht wird. Zur Erkennung von Objekten ist an dem Roboter 10 eine Stereokamera 11 angeordnet. Die Stereokamera 11 ist dabei so ausgerichtet, dass sie auch den Greifer 20 wahrnimmt. Also können auch gegriffene Objekte permanent erfasst werden. Daher kann auch der Griff des Objekts überwacht werden. Z.B. kann das rutschen (sog. „Slip detection“) festgestellt werden. Mittels der Stereokamera 11 ist es möglich, durch Bewegung des Roboters 10 eine dreidimensionale Karte der Umgebung anzufertigen. Die dreidimensionale Karte besteht in einem ersten Schritt aus einer Punktwolke, die die Lage einzelner diskreter Punkte in einem Koordinatensystem des Roboters 10 angibt.
-
In einem zweiten Schritt kann aus der dreidimensionalen Karte ein Weltmodell erstellt werden. Dabei kann unter Verwendung von Bildverarbeitung ermittelt werden, wo sich z.B. Oberflächen befinden. Auch können einzelne Objekte in der Umgebung des Roboters 10 erkannt werden und deren Pose innerhalb des Weltmodells gespeichert werden. Wenn die Pose eines Objektes in dem Weltmodell gespeichert ist, ist es nicht notwendig, dass zum Greifen des Objekts, ein Perzeptionssystem eingesetzt wird. Vielmehr kann auf die gespeicherte Pose des Objekts zurückgegriffen werden. In dem Ausführungsbeispiel der 1 ist in unmittelbarer Nähe zu dem Roboter 10 eine Flasche 1 angeordnet. Die Flasche 1 befindet sich innerhalb des Arbeitsraums des Roboters 10, also in dem Bereich, in dem der Roboter 10 Objekte theoretisch greifen kann. Die Stereokamera 11 detektiert nun die Umrisse der Flasche 1. Um eine möglichst gute Wahrnehmung der Flasche 1 durch die Stereokamera 11 zu ermöglichen, kann der Roboter 10 derart verfahren werden, dass die Flasche 1 aus möglichst vielen Winkeln durch die Stereokamera 11 aufgenommen wird.
-
Zum Aufzeichnen einer Trainingsgreiferpose kann der Roboter 10 derart verfahren werden, dass die Flasche 1 durch den Greifer 20 gegriffen werden kann. Zum Aufzeichnen einer Trainingsgreiferpose kann der Roboter 10 z.B. über ein Bedienteil, also eine Art Fernsteuerung, verfahren werden. In einem weiteren Ausführungsbeispiel handelt es sich bei dem Roboter 10 um einen drehmomentgeregelten Roboter, der in einem Gravitationskompensationsmodus handgeführt werden kann. Das Aufzeichnen der Trainingsgreiferpose erfolgt manuell durch einen Bediener.
-
In den 2a und 2b wird kurz dargelegt, wie das Greifen eines Objekts 1 ausgeführt wird. Die 2a zeigt dabei den Greifer 20 in einer Anfahrtspose. Die Anfahrtspose wird üblicherweise in Bezug auf ein Objektkoordinatensystem 2 gespeichert. Das Objektkoordinatensystem 2 ist dabei dem zu greifenden Objekt 1 zugeordnet. Die Anfahrtspose umfasst dabei einen dreidimensionalen Vektor V1 sowie drei Raumwinkel, die die Rotation um die von dem Objektkoordinatensystem 2 vorgegebenen Raumachsen angeben. Der Vektor V1 zeigt von dem Ursprung des Objektkoordinatensystem 2 zu dem sog. „tool center point“ (TCP) des Greifers. Dies entspricht dem Ursprung eines Greiferkoordinatensystems. Durch das Verwenden einer Anfahrtspose ist sichergestellt, dass das Heranfahren des Greifers 20 vor dem Greifen kontrolliert ausgeführt wird und es zu keiner Kollision mit abstehenden Teilen des Objekts 1 kommt. Die 2b zeigt den Greifer 20 der 2a in einer Greiferpose, d.h. in einer Pose, in der das Objekt 1 gegriffen werden kann. Auch die Greiferpose des Greifers 20 ist bezüglich des Objektkoordinatensystems 2 gespeichert. Die Greiferpose umfasst dabei den Vektor V2 sowie drei Raumwinkel. Auch der Vektor V2 zeigt von dem Ursprung des Objektkoordinatensystems 2 zu dem TCP des Greifers 20. Zum Greifen des Objekts 1 müssen in dem Ausführungsbeispiel der 2b lediglich die Greiferbacken des Greifers 20 zusammengedrückt werden. Zum Beispiel können die Greiferbacken solange zusammengedrückt werden, bis ein Schwellenkraftwert, z.B. 20 oder 50 Newton, überschritten ist. Nach dem Zugreifen durch den Greifer 20 kann das Objekt 1 durch ein Ändern der Roboterkonfiguration bewegt werden.
-
Die 3, 4a und 4b zeigen, wie für ein Objekt 1 eine Vielzahl von Greiferposen P, P', P" generiert werden kann. Zunächst wird in der 3 gezeigt, wie für ein Objekt 1 ein Objektprototyp bestimmt wird. Hierzu wird eine Vielzahl von unterschiedlichen Objektprototypen 30, 30', 30" bereitgestellt. Im Ausführungsbeispiel der 3 sind ein Zylinder 30, ein Quader 30' und eine Sphäre 30" dargestellt.
-
Die genaue Ausgestaltung der Objektprototypen 30, 30', 30" kann über eine Vielzahl von Parametern festgelegt werden. So kann die Höhe des Zylinders 30 mittels des Parameters L1 festgelegt werden. Der Radius des Zylinders kann mittels des Parameters R1 festgelegt werden. Auch der Quader 30' kann mittels der Parameter L2, L3 und L4 in seinen Dimensionen festgelegt werden. Die Sphäre 30" kann über den Radius R2 festgelegt werden.
-
Um einen Objektprototyp 30, 30', 30" für die Flasche 1 auszuwählen, werden die Parameter L1 bis L4 und R1, R2 derart verändert, dass ein maximales Volumen der Objektprototypen 30, 30', 30" durch die Flasche 1 ausgefüllt wird. Die Flasche 1 wird also in die Objektprototypen 30, 30', 30" hineingelegt. Dies kann über bekannte Optimierungsverfahren ausgeführt werden. Der Objektprototyp, der das größte Volumen der Flasche 1 ausfüllt und gleichzeitig die Flasche 1 komplett einschließt, wird als Objektprototyp für die Flasche 1 ausgewählt. Im dargestellten Ausführungsbeispiel der 3 wird daher der Zylinder 30 für die Flasche 1 als Objektprototyp ausgewählt.
-
Die Objektprototypen 30, 30', 30" der 3 verfügen über Symmetrien, die anhand von Symmetrieachsen S festlegbar sind. In der 4a ist die Symmetrieachse S für den Zylinder 30 dargestellt. Ein Zylinder ist rotationssymmetrisch um die Symmetrieachse S aufgebaut. Die Symmetrie wird im Folgenden zur Generierung einer Vielzahl möglicher Greiferposen P', P" zum Greifen des Zylinders 30 verwendet.
-
Dazu zeigt die 4b eine Greiferpose P eines Greifers, welche durch einen Bediener mittels des Roboters 10 manuell erstellt worden ist. Unter Verwendung der Symmetrieachse S können nun weitere Greiferposen P', P" generiert werden. Dazu wird die Greiferpose P mittels einer Transformationsmatrix um das Zentrum des Zylinders 30 in einer Draufsicht herum rotiert. Auf diese Art und Weise kann in beliebigen Winkelabständen, z.B. alle 1 Grad, alle 5 Grad oder alle 10 Grad, eine Greiferpose P', P" generiert werden. Selbstverständlich kann jedem Objektprototypen 30, 30', 30" eine Vielzahl von Symmetrieachsen S zugewiesen werden, so dass eine sehr große Anzahl von Greiferposen P', P" generiert werden kann. So ist es möglich, dass für eine aufgezeichnete Greiferpose P zum Greifen der Flasche 1 eine Vielzahl von weiteren Greiferposen P', P", generiert werden, die ebenfalls zum Greifen der Flasche 1 geeignet sind.
-
Die aufgezeichnete Greiferpose P sowie die generierten Greiferpose P', P" werden anschließend in einer Objektdatenbank 40 gespeichert. 5 zeigt eine schematische Darstellung einer Tabelle 41 der Objektdatenbank 40. Die Datenbanktabelle 41 umfasst die Spalten „Objekt“, „Greifer“, „PoseAnfahr“, „PoseGr.“ und „F“. Die Spalte „Objekt“ enthält Identifikationsnummern, die Objekten 1, 1' zugeordnet sind. Dabei kann es sich beispielsweise um die Identifikationsnummer in einer weiteren Datenbanktabelle handeln, in der Objektbeschreibungen abgelegt sind. Jede Zeile der Datenbanktabelle 41 entspricht einer Greiferpose. Dabei wird zu jeder Greiferpose P2, P4 der verwendete Greifer gespeichert. In dem gezeigten Ausführungsbeispiel ist in beiden Tabellenzeilen ein Parallelgreifer als Greifertyp gespeichert. Darüber hinaus wird zu den Greiferposen P2, P4 jeweils eine zugehörige Anfahrtspose P1, P3 gespeichert. Die zugehörigen Anfahrtsposen P1, P3 können wie die Greiferposen der 4b durch Ausnutzung von Symmetrieachsen generiert werden. Die Greiferposen P2, P4 entsprechen entweder aufgezeichneten Greiferposen P oder generierten Greiferposen P', P". Zusätzlich zu den Greiferposen P2, P4 kann auch noch optional ein Kraftwert F gespeichert werden, der angibt, mit welcher Kraft die Backen des verwendeten Parallelgreifers gegen das zu hebende Objekt 1 drücken sollen.
-
Die 6 zeigt ein Ausführungsbeispiel, bei dem die Objektdatenbank 40 zum Greifen eines Objekts 1' verwendet wird. Die 6 zeigt einen Roboter 10 mit einer Stereokamera 11 sowie einem Greifer 20. Der Roboter 10 umfasst ferner eine Steuereinrichtung 12, die die Steuerung des Roboters ausführt. Neben dem Roboter 10 angeordnet ist eine Flasche 1' dargestellt. In einem ersten Schritt erkennt die Stereokamera 11 das zu greifende Objekt 1' als eine Flasche. Die erkannte Flasche 1' kann einem Objekttyp zugeordnet werden. Anschließend wird aus der Objektdatenbank 40 eine Vielzahl von Kandidatenposen 52 abgefragt werden. Hierzu kommuniziert die Steuerung 12 über ein Netzwerk oder lokal mit der Objektdatenbank 40. Zur Abfrage sendet die Steuerung 12 eine Identifikationsnummer, die der erkannten Flasche 1' zugeordnet ist. Unter Verwendung der übermittelten Identifikationsnummer werden jene Kandidatenposen P2, P4 ausgewählt, die mit dem erkannten Objekt 1' kompatibel sind. Nachdem die Kandidatenposen P2, P4 durch die Steuereinrichtung 12 empfangen wurden, werden diese unter Verwendung einer Fähigkeitskarte gefiltert. Dabei werden jene Kandidatenposen aussortiert, die nicht erreicht werden können. Darüber hinaus findet eine Sortierung statt, die auch unter Verwendung der Fähigkeitskarte ausgeführt wird. Die Reihenfolge der Greiferposen wird durch die Anzahl der Richtungen bestimmt, aus denen die den Greiferposen zugeordneten Koordinaten erreicht werden können.
-
Auf der Steuereinrichtung 12 ist darüber hinaus ein Pfadplaner implementiert, der den Pfad des Roboters 10 von der aktuellen Konfiguration in die Zielkonfiguration, die einer ersten Kandidatenpose entspricht, berechnet. Kann der Pfadplaner einen Pfad von der aktuellen Roboterkonfiguration zu der Zielroboterkonfiguration berechnen, so wird die erste Kandidatenpose zum Greifen des Objekts 1' verwendet. Kann der Pfadplaner keinen Pfad berechnen, weil beispielsweise ein weiteres Objekt den Pfad versperrt, so wird die nächste Kandidatenpose in der sortierten Liste der Kandidatenposen ausgewählt. Dieses Verfahren wird solange ausgeführt, bis eine Kandidatenpose P2, P4 gefunden ist, für die der Pfadplaner einen Pfad berechnen kann.
-
Das beschriebene Verfahren dieser Anmeldung ist im Flussdiagramm der 7 noch einmal zusammengefasst.
-
Im ersten Schritt S1 werden Videodaten 51 analysiert, um Objekte 1, 1'in der Umgebung des Roboters 10 zu identifizieren. Bekannte Objekte 1, 1' sind zusammen mit Objektmerkmalen in der Objektdatenbank 40 gespeichert. Unter Verwendung der Objektmerkmale wird ein Perzeptionsalgorithmus ausgewählt, der zur Erkennung des Objekts 1, 1' eingesetzt wird. Es wird nun für das erste bekannte Objekt der Objektdatenbank 40 begonnen zu ermitteln, ob das Objekt in den Videodaten 51 erkennbar ist. Ist das Objekt nicht erkennbar, so wird mit dem zweiten Objekt aus der Objektdatenbank 40 fortgefahren. Evtl. wird für das zweite Objekt ein anderer Perzeptionsalgorithmus verwendet als für das erste Objekt. Wird festgestellt, dass das zweite Objekt der Objektdatenbank 40 in den Videodaten 51 erkennbar ist, ist der Schritt S1 beendet. Die resultierenden Objektdaten 52 werden im Schritt S2 verwendet, um für das erkannte Objekt aus der Objektdatenbank 40 eine Liste von Kandidatenposen P2, P4 abzufragen.
-
Die Liste der Kandidatenposen 53 wird im Schritt S3 unter Verwendung einer Fähigkeitskarte eines Roboters 10 gefiltert. Dabei werden jene Kandidatenposen entfernt, die sich mit dem verwendete Roboter 10 oder Greifer 20 nicht erreichen lassen. Darüber hinaus wird die Liste der Kandidatenposen 53 unter Verwendung der Fähigkeitskarte 54 sortiert. Die Liste der Kandidatenposen 53 wird ferner unter Verwendung von benutzerdefinierten Kriterien sortiert. Z.B. wird die zu den Kandidatenposen gespeicherte Greifart bei der Sortierung berücksichtigt. Hat ein Benutzer angegeben, dass bei Verwendung eines Mehrfingergreifers ein Fingergreifen zu bevorzugen ist, so wird die Liste der Kandidatenposen 53 entsprechend sortiert.
-
Die sortierte Liste von Kandidatenposen 55 wird im Schritt S4 zusammen mit einem Weltmodell 56, welches die Posen von Objekten in der Umgebung des Roboters 10 umfasst, zur Generierung eines Pfades für den Roboter 10 verwendet. Zur Pfadplanung wir die Inverskinematik des verwendeten Roboters 10 berücksichtigt, die die Roboterkonfiguration, also die Gelenkwinkel, bei Kenntnis der Pose des Greifers 20 angibt. Darüber hinaus wird bei der Pfadplanung eine Kollisionsprüfung ausgeführt, wobei Objekte, die im Weltmodell 56 gespeichert sind, bei der Pfadplanung berücksichtigt werden. Wird im Schritt S5 festgestellt, dass kein Pfad für die erste Kandidatenpose der Liste ermittelt werden kann, so wird eine erneute Pfadplanung mit der nächsten Kandidatenpose der Liste gestartet. Das Verfahren wiederholt sich solange, bis in Schritt S5 festgestellt wird, dass ein Roboterpfad 57 berechnet werden kann. Im Schritt S6 wird dann der Roboter 10 unter Verwendung des Roboterpfads 57 verfahren.
-
An dieser Stelle sei darauf hingewiesen, dass alle oben beschriebenen Teile für sich alleine gesehen und in jeder Kombination, insbesondere die in den Zeichnungen dargestellten Details, als erfindungswesentlich beansprucht werden. Abänderungen hiervon sind dem Fachmann geläufig.
-
Bezugszeichenliste
-
- 1
- Objekt, Flasche
- 2
- Objektkoordinatensystem
- 10
- Roboter
- 11
- 3D-Kamera
- 12
- Steuereinrichtung
- 20
- Parallelgreifer
- 30, 30', 30"
- Objektprototyp
- 40
- Objektdatenbank
- 41
- Datenbanktabelle
- 51
- Videodaten
- 52
- Objektdaten
- 53
- Liste von Kandidatenposen
- 54
- Fähigkeitskarte
- 55
- sortierte Liste von Kandidatenposen
- 56
- Weltmodel
- 57
- Roboterpfad
- L1, L2, L3, L4
- Länge
- T1, T2, T3
- Radius
- P, P'
- Kandidatenpose
- P1, P3
- Anfahrpose
- P2, P4
- Greiferpose
- V1, V2
- Vektor
- F
- Kraftangabe
- S
- Symmetrieachse
- S1-S6
- Verfahrensschritte
