DE102008042260B4

DE102008042260B4 - Verfahren zur flexiblen Handhabung von Objekten mit einem Handhabungsgerät und eine Anordnung für ein Handhabungsgerät

Info

Publication number: DE102008042260B4
Application number: DE102008042260.6A
Authority: DE
Inventors: Peter Schlaich; Sabine Sayler; Florian Haug; Christian Knoll; Holger Luetzler
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2008-09-22
Filing date: 2008-09-22
Publication date: 2018-11-15
Anticipated expiration: 2028-09-23
Also published as: DE102008042260A1

Abstract

Verfahren zur flexiblen Handhabung von Objekten (200) mit einem Handhabungsgerät (20), wobei ein räumliches Navigieren des Handhabungsgerätes (20) zum Greifen und/oder Ablegen eines Objektes (200) in eine Objektaufnahme (300) mit einem Sensorsystem (30) erfolgt, indem das Sensorsystem (30) eine Lage des Objektes (200) und/oder der Objektaufnahme (300) durch eine oder mehrere Einzelmessungen erfasst und dann ein oder mehrere Messwerte erhalten werden mit welchen die Lage des Objektes 200 und/oder der Objektaufnahme (300) zu einem Bezugssystem bestimmt wird, dadurch gekennzeichnet, dass für eine oder mehrere Einzelmessungen eine oder mehrere Kameras (41) mit einer strukturierten Beleuchtung (43) oder für mehrere Einzelmessungen eine oder mehrere Kameras (41) mit einer strukturierten Beleuchtung (43) und mit einer homogenen Beleuchtung (42) vorgesehen werden, wobei mit der einen oder den mehreren Kameras (41) mit einer strukturierten Beleuchtung (43) ein 3D-Abstandsbild des Objektes (200) und/ oder der Objektaufnahme (300) erzeugt wird und durch Vergleich des 3D-Abstandbildes mit einem aus einem Trainingsvorgang hinterlegten Referenzmodell die Lage des Objektes (200) und/oder der Objektaufnahme (300) zu einem Bezugssystem bestimmt wird.

Description

Stand der Technik
Die Erfindung betrifft ein Verfahren zur flexiblen Handhabung von Objekten mit einem Handhabungsgerät und eine für ein derartiges Verfahren geeignete Anordnung für ein Handhabungsgerät.
Die Automatisierungstechnik ist gekennzeichnet durch kürzere Produktlebenszyklen und eine erhöhte Typvarianz der zu fertigenden Erzeugnisse. Klassische Handhabungsgeräte, beispielsweise Industrierobotersysteme, decken aufgrund des hohen Engineeringaufwands diese Anforderungen immer unzureichender innerhalb eines Handhabungsprozesses ab. Die Realisierung von „pick und place“ Aufgaben erfordert heutzutage eine teilespezifische Greiferkonstruktion und eine typabhängige Programmierung des Handhabungsgerätes. Dies steht einem schnellen Umstellen der Fertigung auf zusätzliche Typvarianten entgegen. Durch einen vermehrten Einsatz von Sensorsystemen kann erreicht werden, dass beispielsweise der Bewegungsablauf des Handhabungsgerätes zumindest in Teilprozessen des Handhabungsprozesses nicht mehr starr hinterlegt sein muss. Damit wird ermöglicht, dass das sensorunterstützte Handhabungsgerät flexibler in der Fertigung von Erzeugnissen eingesetzt werden kann, insbesondere wenn verschiedene Teile zu handhaben sind.
Aus den Unterlagen des Workshops „4. Workshop für OTS-Systeme in der Robotik“ (Veranstalter: Fraunhofer Institut für Produktionstechnik und Automatisierung, Referenten: Peter Maschotta (Fa. Vision&Control), Bruno Fellhauer (Fa. Schunk), Vortrag: „Baukasten für intelligente, sehende und fühlende Greifer im OTS-Einsatz“, Stuttgart den 2. November 2005) ist ein Greifer mit einer Kamera und einer LED-Beleuchtung im Greifer zwischen den Greiferbacken bekannt. Zusätzlich ist in einem der Greiferbacken ein Linienlaser mit Strahlumlenkung angeordnet. Die Greiferbacken besitzen an der Innenseite ein bekanntes Muster, welches in der Kamera sichtbar ist. Die Überdeckung des Musters durch ein gegriffenes Objekt wird mit Bildverarbeitung erkannt. Die Überwachung des Nahumfeldes vor den Greiferbacken erfolgt mit Hilfe der Laserlinie. Der Sensoraufbau ist nur bedingt für ein Navigieren des Greifers einsetzbar. So kann nur für geometrisch exakt zum Greifer passende Objekte (zum Beispiel ein Quader bei geraden Greiferbacken) die Greifposition während des Greifvorganges indirekt über die Muster an den Greifflächen bestimmt werden. Zusätzlich ist der Sensoraufbau anfällig gegenüber Oberflächenreflexe und Fremdlicht und liefert bei geringem Kontrastunterschied zwischen Werkstück und Greiffläche nur geringe Signalpegel.
Aus den Unterlagen des Workshops „Schnelle 3-D-Objektlageerkennung für den Griff in die Kiste“ (Veranstalter: Fraunhofer Institut für Produktionstechnik und Automatisierung, Dipl.-Math. Techn. Thomas Ledermann, Stuttgart den 25. April 2008) wird ein sensorunterstütztes System zum Greifen unorientierter Objekte beschrieben. Die Sensorik ist stationär oberhalb der zu greifenden Objekte angebracht. Sie besteht aus einem schwenkbaren Laserscanner oder einem Triangulationsverfahren mit einer Kamera und einer Laserlinie. Die Sensorik nimmt in einem Scan-Vorgang eine 3D-Punktewolke der vorliegenden Objekte auf, segmentiert anhand dieser Daten die zu greifenden Objekte und ermittelt deren Lage. Die Lage wird entweder über Einfitten von regelmäßigen geometrischen Körpern (Kugel, Zylinder, Quader, etc.) in die 3D-Punkte-Wolke oder aber durch Umwandlung der 3D-Punkte-Wolke in ein Höhenbild gewonnen. Dabei wird das Höhenbild mit verschiedenen Ansichten einer Modelldatenbank (ermittelt aus einem CAD-Modell) verglichen. Anschließend wird ein Roboter mit passendem Greifer angesteuert und das erkannte Objekt gegriffen. Welche Position das gegriffene Objekt im Greifer einnimmt wird nicht erfasst. Ebenso ist für das Ablegen des Objektes in eine vorgesehene Ablage ein Lokalisieren der Ablage nicht vorgesehen. Des Weiteren wird auch beim Ablegen die relative Lage des Objektes zur Ablage nicht erfasst. Somit wird ein im Greifer verrutschtes Objekt bzw. ebenso Lage- und Fertigungstoleranzen des Objektes bzw. der Ablage beim Ablegen nicht berücksichtigt.
In DE 10 2005 009 606 A1 ist Sensoranordnung zur dreidimensionalen Lageerkennung und Überwachung eines Werkzeugs mit drei Kameras offenbart. Die drei Kameras sind derart angeordnet sind, dass der gemeinsame Sichtbereich aller Kameras einen Bereich von 360° um das Werkzeug herum erfasst, mit einer Beleuchtungseinrichtung, welche um die Kameras herum ausgebildet ist, und mit einem Durchlass zur Durchführung des Werkzeugs, um den herum die Kameras angeordnet sind. Um eine Sensoranordnung vorzusehen, welche bei ausreichend kompakter Anordnung zur Anbringung der Sensoreinheit um das Werkzeug herum eine flexiblere Lageerkennung ermöglicht, ist vorgesehen, dass die e Sensoranordnung einen Projektor zur Projektion eines Musters aufweist.
Die Druckschriften JP H07-96427 A und JP 2008-55 540 A beschreiben jeweils Vorrichtungen zur Positions- und/oder Schlupfbestimmung, wobei die Bestimmungsmethoden auf Kraft- und/oder Druckmessungen basieren.
Die Druckschrift DE 60 2005 003 147 T2 beschreibt ein Messsystem und ein Verfahren zum Messen der Position eines Zieles (ein Punkt auf einem zu messenden Objekt), indem Licht auf einer Licht empfangenden Oberfläche eines Licht empfangenden Gerätes, das an einem Roboter angebracht ist, empfangen wird.
Die Druckschrift DE 44 05 865 A1 , die den nächstkommenden Stand der Technik bildet, beschreibt ein schnelles Messsystem für die autonome Erfassung von Bahnkurven von Robotern vor. Das Messsystem besteht aus einem Bildsensor und einem Projektor zur strukturierten Beleuchtung der Objektoberfläche. Mit dem Messsystem können fünf Freiheitsgrade im Raum gemessen werden.
Der Stand der Technik beschreibt lediglich sensorunterstützte Einzellösungen innerhalb einzelner oder einiger zusammengefasster Teilprozesse eines kompletten Handhabungsprozesses. Eine durchgängige sensorunterstützte Umsetzung des kompletten Handhabungsprozesses, beispielsweise innerhalb eines Montageablaufes, ist bisher nicht berücksichtigt. Insbesondere zeigt der Stand der Technik kein durchgängiges ausschließlich sensorgeführtes Navigieren des Handhabungsgerätes während des kompletten Handhabungsprozesses.
Offenbarung der Erfindung
Vorteile
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren vorzuschlagen, mit welchem eine vollautomatische Handhabung von Objekten, beispielsweise in einem Montageablauf, über den kompletten Handhabungsprozess realisiert werden kann. Insbesondere soll ein über den kompletten Handhabungsprozess sensorgeführtes Navigieren mit hoher Positionspräzision umgesetzt werden, so dass eine koordinatenbasierte Programmierung vollkommen entfällt.
Des Weiteren ist die Aufgabe eine für ein solches Verfahren einzusetzende Anordnung für ein Handhabungsgerät vorzuschlagen.
Durch das automatische Erkennen und Korrigieren von Lageabweichungen zwischen Werkstück und Objekt ergibt sich als weiterer Vorteil der Wegfall der Referenzierung zwischen Applikation und Handhabungssystem. Somit ist die Grundlage geschaffen, dass das Handhabungssystem für wechselnde Applikationen wirtschaftlich einsetzbar ist, weil kein Aufwand für Einrichten oder Justage bei Wiederinbetriebnahme erforderlich ist.
Darüber hinaus kann bei der Handhabung von Objekten teilweise auf die Anfertigung von Ablagenestern verzichtet werden, da keine definierte, wiederholbare Bereitstellungslage des Werkstücks erforderlich ist.
Diese Aufgaben werden erfindungsgemäß gelöst mit einem Verfahren zur flexiblen Handhabung von Objekten mit einem Handhabungsgerät und einer Anordnung für ein Handhabungsgerät entsprechend den kennzeichnenden Merkmalen der unabhängigen Ansprüche.
Der Erfindung liegt der Gedanke zugrunde, dass bei einer koordinatenbasierten Programmierung der Nachteil besteht, dass der Bewegungsablauf eines Handhabungsgerätes, beispielsweise eines Roboters, starr ist und nicht auf Toleranzen in der Peripherie oder im zu handhabenden Objekt reagieren kann. Außerdem besteht grundsätzlich der Bedarf, dass die Handhabung unterschiedlicher Objekte durch eine angepasste Programmierung oder einen jeweils angepassten Greifertyp berücksichtigt werden muss.
Das erfindungsgemäße Verfahren sieht daher vor, dass ein räumliches Navigieren des Handhabungsgerätes während des kompletten Handhabungsprozesses durch ein Sensorsystem geführt wird. Dabei wird durch das Sensorsystem die Lage des Objektes und/oder einer Objektaufnahme gegenüber einem Bezugssystem des Handhabungsgerätes erfasst. Die Objektaufnahme entspricht dabei einer objektspezifisch zugeordneten Einheit, in welches das Objekt nach einem Greifen durch das Handhabungsgerät abgelegt wird und üblicher Weise dort in seiner Lage für weitere Fertigungsprozesse gehalten wird.
Das Sensorsystem wird in allen die Handhabung und Positionierung eines Objektes bestimmenden Teilprozessen innerhalb des Handhabungsprozesses eingesetzt. Dabei wird erfindungsgemäß vorgeschlagen, dass durch eine oder mehrere Einzelmessungen ein erster oder mehrere Messwerte über die Lage des Objektes und/oder der Objektaufnahme zu einem Bezugssystem erhalten werden. Bei mehreren Messwerten unterscheiden sich diese untereinander, indem sie auf unterschiedlichen Messinformationen bezogen auf das Objekt und/oder die Objektaufnahme basieren. Mehrere Messwerte werden dann mittels eines Auswertealgorithmus miteinander verknüpft, wobei dann die Lage des Objektes und/oder der Objektaufnahme genauer als bei den Einzelmessungen bestimmt wird. Dadurch ist ein Navigieren mit hoher Positionspräzision zu erreichen.
Des Weiteren wird erfindungsgemäß vorgeschlagen, dass für eine oder mehrere Einzelmessungen eine oder mehrere Kameras mit einer strukturierten Beleuchtung oder für mehrere Einzelmessungen eine oder mehrere Kameras mit einer strukturierten Beleuchtung und mit einer homogenen Beleuchtung vorgesehen werden.
Das erfindungsgemäße Verfahren geht davon aus, dass bei einem Handhabungsprozess ein Objekt innerhalb einer Szene mit einem Greifer gegriffen wird und in einer Objektaufnahme abgelegt wird. Als Szene ist das dem Handhabungsgerät vorliegende physikalische Umfeld gemeint. Dieses kann durch das Handhabungsgerät räumlich, insbesondere mit dem Greifer, erreicht werden. Zusätzlich beinhaltet der Handhabungsprozess folgende die Handhabung und Positionierung des Objektes bestimmenden Teilprozesse:

- Lokalisieren und Anfahren des Objektes und/oder der Objektaufnahme
- Überwachen des Greifraumes
- Erfassen der Lage des Objektes und/oder der Objektaufnahme vor dem Greifen
- Erfassen der Lage des Objektes und/oder der Objektaufnahme nach dem Greifen
- Erfassen der relativen Lage des Objektes zur Objektaufnahme

Das erfindungsgemäße Verfahren hat gegenüber dem Stand der Technik den Vorteil, dass eine vollautomatische Handhabung von Objekten über den kompletten Handhabungsprozess realisiert wird. Das Navigieren orientiert sich in günstiger Weise jederzeit sensorgeführt an der momentan vorliegenden Situation der Szene, insbesondere durch das Erfassen der Lage des Objektes und/oder der Objektaufnahme.
In vorteilhafter Weise kann somit ein Navigieren aus einer beliebigen Position des Greifers gestartet werden. Dies schließt auch einen Fernbereich zum Objekt mit ein, welcher nur durch die technische Möglichkeit des Sensorsystems zum Erfassen und Lokalisieren des Objektes in der Szene beschränkt wird.
Ein Vorteil zeigt sich auch darin, dass beliebige und/oder zueinander unterschiedliche Objekte flexibel gehandhabt werden können. Insbesondere auch dann, wenn deren örtliche Ausgangslage innerhalb der Szene zum Greifen und/oder die örtliche Lage der zum Ablegen zugehörigen Objektaufnahme in der Szene zueinander unterschiedlich sind.
Ein großer Vorteil ergibt sich auch dadurch, dass für ein zielsicheres Navigieren auch Störgrößen mitberücksichtigt werden. So können in günstiger Weise Störkanten in der Szene erkannt werden, beispielsweise beim Anfahren des Objektes und/oder der Objektaufnahme. Dadurch ist das Navigieren ohne Unterbrechung in einer beliebigen Szene möglich. Das gilt auch nach einem möglicherweise erfolgten Schlupf oder Verrutschen des Objektes beim oder nach dem Greifen. In vorteilhafter Weise erfolgt durch Berücksichtigung der Objektlage im Greifer ein nachfolgendes Ablegen des Objektes in die Objektaufnahme positionsgenau.
Besonders günstig erweist sich das Erfassen der relativen Lage des Objektes zur Objektaufnahme. Dadurch wird ermöglicht, dass ein Ablegen des Objektes in die Objektaufnahme weitgehend unabhängig von Lage- und Fertigungstoleranzen des Objektes und der Objektaufnahme durch ein positionskorrigiertes Navigieren zielgenau erfolgt. Gerade mit einer Spiel-, Übergangs- oder Presspassung zu fügendes Objekt innerhalb einer Objektaufnahme kann abgedeckt werden.
Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der in den unabhängigen Ansprüchen angegebenen kennzeichnenden Merkmale der Erfindung möglich.
Figurenliste
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnungen. Diese zeigen in:

1 ein Ausführungsbeispiel der erfindungsgemäßen Anordnung für ein Handhabungsgerät mit einem Greifer in perspektivischer Darstellung
2a die Anordnung aus 1 in perspektivischer Darstellung mit Blick auf eine erste Sensorgruppe
2b die Anordnung aus 1 in perspektivischer Darstellung mit Blick auf eine zweite Sensorgruppe
3 einen Ausschnitt des Greifers im Bereich der Grifffläche in perspektivischer Darstellung.

Ausführungsformen der Erfindung
In den Figuren sind gleiche Bauteile und Bauteile mit der gleichen Funktion mit den gleichen Bezugszeichen gekennzeichnet.
In 1 ist eine Anordnung 100 für ein Handhabungsgerät zur flexiblen Handhabung von Objekten gezeigt. Die Anordnung 100 umfasst einen Greifer 10. Dieser ist in Form eines Zweibackenzangengreifers ausgebildet und besteht aus Greiferbacken 11 und einem Greiferblock 12. Des Weiteren können alternativ auch 3-Backenzangengreifer und Sauggreifersysteme eingesetzt werden. Prinzipiell sind auch Mehrgelenkfinger denkbar.
Über eine Anschlussschnittstelle 13 ist der Greifer 10 an ein Handhabungsgerät 20 montiert. Das Handhabungsgerät 20 kann beispielsweise ein Roboter sein. Im Bereich des Greifers 10 ist ein Sensorsystem 30 angeordnet. Das Sensorsystem 30 besteht aus verschiedenen Sensorkomponenten, die - zur Vereinfachung der Erläuterung - hier zu einer ersten und einer zweiten Sensorgruppe 40 und 50 zusammengefasst werden. Außerdem ist zur Verdeutlichung die erfindungsgemäße Anordnung 100 in 1 zusätzlich mit einem vom Greifer 10 gegriffenen Objekt 200 dargestellt. In gleicher Weise ist in der 1 auch eine Objektaufnahme 300 dargestellt, in welche das Objekt 200 nach einem Greifen abgelegt wird.
Die Sensorgruppe 40 ist parallel zur Greifachse A des Greifers 10 angeordnet. Dabei kann die Sensorgruppe 40 oder Teile der Sensorkomponenten auch an anderen Stellen am oder außerhalb des Handhabungsgerätes 20 angeordnet sein. Es ist darauf zu achten, dass eine Sensorwirkung der Sensorgruppe 40 oder der Sensorkomponenten zumindest einen Bereich vor dem Greifer 10 erfasst, welche nicht vom gegriffenen Objekt 200 abgedeckt ist. Die Sensorgruppe 50 dagegen ist im Greifer 10 im Bereich der Greiferbacken 11 vorgesehen. Als eine weitere vorteilhafte Anordnungsmöglichkeit der Sensorgruppe 50 oder derer Sensorkomponenten bietet sich der Übergang der Greiferbacken 11 zum Greiferblock 12 an.
In 2a ist die Anordnung aus 1 in perspektivischer Darstellung mit Blick auf die erste Sensorgruppe 40 gezeigt. Dabei umfasst die erste Sensorgruppe 40 zwei Stereokameras 41 mit einer homogenen und einer strukturierten Beleuchtung 42,43. Als strukturierte Beleuchtung 43 wird ein Strukturprojektor vorgeschlagen. Eine alternative Ausführungsform sieht vor, dass nur eine homogene Beleuchtung angeordnet ist. Eine weitere Ausführungsform sieht den Einsatz nur der strukturierten Beleuchtung 43 in der Anordnung 100 vor. Ebenso können sich weitere Ausführungsformen zu den bisher genannten in der Anzahl der eingesetzten Kameras 41 unterscheiden. Denkbar ist der Einsatz einer Kamera 41. Hierbei muss jedoch die Kamera 41 zur strukturierten und/oder homogenen Beleuchtung kalibriert sein. Daher ist bevorzugt der Einsatz mehrerer Kameras 41, beispielsweise zwei Stereokameras vorgesehen.
Des Weiteren ist in der ersten Sensorgruppe 40 zusätzlich eine Monokamera 45 angeordnet.
In 2b ist die Anordnung aus 1 in perspektivischer Darstellung insbesondere mit Blick auf die zweite Sensorgruppe 50 gezeigt. Dabei umfasst die zweite Sensorgruppe 50 eine Monokamera 51 mit einer zur ihr kalibrierten strukturierten Beleuchtung 53. Für die strukturierte Beleuchtung wird ein Strukturprojektor vorgeschlagen. Die Monokamera 51 ist mittig an der Stirnseite des Greiferblocks 12 auf Seiten der Greiferbacken 11 angeordnet. Es sind weitere Anordnungsmöglichkeiten denkbar, bei welchen die Monokamera 51 das Objekt 200 in ihrem Sichtbereich erfasst. Des Weiteren sind in der zweiten Sensorgruppe 50 zusätzlich ein ortsauflösender Kraftsensor 55 und eine taktile Tastmatrix 56 vorgesehen. Dabei ist der ortsauflösende Kraftsensor 55 möglichst nah an den Griffflächen 57 in den Greiferbacken 11 angeordnet. Denkbar ist auch eine Anordnung im Übergang der Greiferbacken 11 zum Greiferblock 12 oder im Greiferblock 12 selbst.
In 3 ist ein Ausschnitt des Greifers 10 im Bereich der Grifffläche 57 gezeigt. Die Grifffläche 57 ist in einem großen Bereich als taktile Tastmatrix 56 ausgebildet.
Die taktile Tastmatrix 56 besteht aus Sensorelementen, die durch Detektion des Objektes 200 ansprechen. Durch eine Aneinanderreihung von vielen Sensorelementen in einer Matrixstruktur ergibt sich eine „fühlende“ Grifffläche 57. Die taktile Tastmatrix 56 kann dabei aus optischen, piezoelektrischen, magnetoelastischen, induktiven, kapazitiven oder einer mit resonanten Kraftsensoren aufgebauten Matrix bestehen.
Um einen vollautomatischen Handhabungsprozess mit einem Handhabungsgerät 20 zu ermöglichen, berücksichtigt das erfindungsgemäße Verfahren einen durchgängigen Einsatz eines Sensorsystems 30 innerhalb allen, insbesondere die Handhabung und Positionierung des Objektes 200 bestimmenden Teilprozessen eines kompletten Handhabungsprozesses.
So umfasst das Verfahren als einen Teilprozess das Lokalisieren und Anfahren des Objektes 200. Einerseits müssen zu Beginn des Handhabungsprozesses zueinander unterschiedliche Objekte 200 in der Szene identifiziert werden. Zum anderen können die Objekte 200 innerhalb der Szene beliebig angeordnet sein. Zum Lokalisieren eines Objektes 200 wird eine bildauswertende Einheit eingesetzt. Dafür eignet sich die Monokamera 45. Üblicherweise befindet sich der Greifer 10 in diesem Teilprozess in einem Fernbereich des Objektes 200. Der Fernbereich definiert hierbei einen Abstand des Greifers 10 zum Objekt 200 in welchem sich das Objekt 200 in der Regel nicht mehr im Schärfentiefenbereich der Stereokameras 41 befindet.
Zum Lokalisieren des Objektes werden mit Hilfe der Monokamera 45 (z.B. Weitwinkelobjektiv mit f= 4.2mm) beispielsweise mit sehr schnellen Referenz- bzw. Differenzbildmethoden von einem eingelernten Hintergrund der Szene abweichende Objekte 200 gesucht und mit dem Greifer 10 näher angefahren. Bei der Referenz- bzw. der Differenzbildmethode wird eine Referenzaufnahme aus einer Referenzlage von dem Hintergrund der Szene ohne die zu suchenden Objekte aufgenommen. Während des Handhabungsprozesses wird aus der Referenzlage erneut ein Bild aufgenommen, diesmal allerdings mit den zu suchenden Objekten 200. Da der Hintergrund der Selbe ist, kann man bei Abweichungen der Referenzaufnahme zur aktuellen Aufnahme auf ein oder mehrere Objekte 200 schließen. Die Abweichung wird im einfachsten Fall mittels der Differenz der beiden Bilder ermittelt und ein zu greifendes Objekt 200 identifiziert.
Bevorzugt nimmt die Monokamera 45 nur ein einzelnes Bild pro kompletten Handhabungsprozess eines Objektes 200 auf. Mittels dieses Bildes wird das gefundene mögliche zu greifende Objekt 200 in der Szene lokalisiert bzw. bei mehreren ein Objekt 200 entsprechend einer definierten Auswahlvorgabe (z.B. das nächste zum Greifer 10) bestimmt. Danach erfolgt ein grobes Platzieren des Greifers 10 und der Stereokameras 41 in den Nahbereich des Objektes 200. Der Nahbereich definiert hierbei einen Abstand des Greifers 10 zum Objekt 200 in welchem sich das Objekt 200 im Schärfentiefenbereich der Stereokameras 41 befindet.
Sollte kein Objekt 200 von der Monokamera 45 gefunden werden, so muss das Handhabungsgerät 20, beispielsweise ein Roboter, warten und weitere Bilder mit der Monokamera 45 aufnehmen bis mind. ein Objekt 200 gefunden wurde. Alternativ meldet der Roboter 20 einen Fehler, wendet sich anderen Aufgaben zu oder verfährt zu einer anderen Position um das Lokalisieren und Anfahren des Objektes 200 innerhalb der Szene mittels der Monokamera 45 erneut anstoßen zu können. In gleicher Weise lässt sich dieser Teilprozess auch beim Lokalisieren und Anfahren der zum gefundenen Objekt 200 zugehörigen Objektaufnahme 300 realisieren.
Erfindungsgemäß ist das Überwachen des Greifraumes als weiterer Teilprozess des kompletten Handhabungsprozesses berücksichtigt. Das Überwachen des Greifraumes erfolgt dabei vor und während einer Bewegung des Greifers 10. Ein Beispiel ist das Anfahren des Objektes 200 mit dem Greifer 10 aus dem Fernbereich. Als Greifraum wird vor allem der Raum vor und neben dem Greifer 10 verstanden. Die Gefahr einer Kollision mit Fremdobjekten innerhalb des Greifraumes kann vorzeitig erkannt werden. Entweder wird die Bewegung des Greifers angehalten oder es erfolgt ein Platzieren des Greifers 10 an den Fremdobjekten vorbei in den Nahbereich des zu greifenden Objektes 200. Zum Überwachen des Greifraumes wird eine bildauswertende Einheit eingesetzt. Geeignet sind hierzu die Stereokameras 41 mit einer homogenen und/oder strukturierten Beleuchtung 42, 43. Des Weiteren können für ein lückenloses Überwachen des 3D-Raumes in der Szene vor, neben und über dem Greifer 10 zusätzlich Kameras, beispielsweise im Ring um den Greifer 10, angeordnet sein. Das Erkennen eines Fremdobjektes kann dabei auf Basis von Abstandsdaten des Greifers 10 zum Fremdobjekt erfolgen. Dabei resultieren die Abstandsdaten aus einer Auswertung von mit diesen zusätzlichen Kameras und/oder den Stereokameras 41 aufgenommenen Bildaufnahmen.
Nach dem Grobpositionieren des Greifers 10 in den Nahbereich des Objektes 200 und/oder der Teilaufnahme 300 wird eine Feinpositionierung des Greifers 10 zum Objekt 200 bzw. der Objektaufnahme 300 durchgeführt. Zum Erfassen der Lage des Objektes 200 und/oder der Objektaufnahme 300, insbesondere wenn sich der Greifer 10 im Nahbereich des Objektes 200 oder der Objektaufnahme 300 befindet, bestehen verschiedene technische Möglichkeiten. Hierzu wird eine bildauswertende Einheit eingesetzt. Vorgeschlagen wird der Einsatz der Stereokameras 41. Dabei umfasst der Nahbereich des Objektes 200 bzw. der Objektaufnahme 300 einen Schärfentiefenbereich der Stereokameras 41.
Zur Beleuchtung des Objektes 200 und/oder der Objektaufnahme 300 wird hierzu die homogene Beleuchtung 42 vorgesehen (z.B. ein 100W-High-Power-LED-Array mit 6.500 lm). Als Auswertung wird zum Erfassen der Lage des Objektes 200 und/oder der Objektaufnahme 300 ein mit den Stereokameras 41 aufgenommenes Stereobild mit einem homogen ausgeleuchteten Objekt 200 verwendet. In den beiden Bildern werden lokale Merkmale (z.B. Ecken oder markant andersfarbige kleine Regionen, wie z.B. ein Loch) als Texturinformation des Objektes 200 und/oder der Objektaufnahme 300 extrahiert. Konkret werden aus den Stereobildern mit Texturinformationen 3D-Punkte erzeugt.
Zusätzlich oder Alternativ dazu kann die Beschreibung des Objektes 200 und/oder der Objektaufnahme 300 mittels eines äußeren und inneren Hüllumfangs verwendet werden. Prinzipiell muss in diesem Falle das Objekt 200 und/oder die Objektaufnahme 300 zuvor im Stereobild segmentiert werden. Eine weitere Möglichkeit ist ein Grauwerthistogramm über die zum Objekt 200 und/oder der Objektaufnahme 300 zugehörigen Bildpixel.
Durch Vergleich mit innerhalb einer Einlernphase aus einem Trainingsvorgang hinterlegten Ansichtsmodellen wird dann die Lage des Objektes 200 und/oder der Objektaufnahme 300 zu einem Bezugssystem ausgewertet. Dabei stellen die Ansichtsmodelle das Objekt 200 und/oder die Objektaufnahme 300 mit den Texturinformationen aus verschiedenen Ansichten bereit. Konkret enthalten die Ansichtsmodelle hinterlegte 3D-Punkte der verschiedenen Ansichten des Objektes 200 und/oder der Objektaufnahme 300.
Ebenso kann zur Beleuchtung des Objektes 200 und/oder der Objektaufnahme 300 die strukturierte Beleuchtung 43 eingesetzt werden. Als Auswertung wird dann zum Erfassen der Lage des Objektes 200 und/oder der Objektaufnahme 300 die Rekonstruktion eines 3D-Abstandsbildes mit einem das Objekt 200 und/oder die Objektaufnahme 300 überlagertem Strukturmuster vorgesehen. Weitere Details sind den DE-Patentanmeldungen 102008002730.8 und 102008002725.1 zu entnehmen, so dass von einer weiteren Beschreibung der Funktionsweise abgesehen wird. Das Verfahren liefert sehr gute 3D-Bilder sowohl bei glatten, metallischen Oberflächen als auch bei matten, reflexarmen Konturen. Eine Kombinationsmöglichkeit zusammen mit einer homogenen Beleuchtung 42 ist möglich. Das 3D-Bild beinhaltet dann insbesondere Tiefeninformationen zum Objekt 200 und/oder der Objektaufnahme 300. Durch Vergleich mit einem innerhalb einer Einlernphase aus einem Trainingsvorgang hinterlegtem Referenzmodell wird die Lage des Objektes 200 und/oder der Objektaufnahme 300 zu einem Bezugssystem ausgewertet. Dies kann z.B. durch ein Matchen des Referenzmodells in das 3D-Bild erfolgen.
Generell wird nach Auswertung des mit den Stereokameras 41 aufgenommenen 3D-Bildes der Lageunterschied des Handhabungsgerätes 20 mit dem Greifer 10 zur eingelernten Lage einer Referenzaufnahme bzw. dem Referenzmodel bezogen auf das Objekt 200 und/oder die Objektaufnahme 300 bestimmt. Danach kann durch eine Ausgleichsbewegung dieses Lageunterschiedes gegenüber dem eingelernten Zustand das Objekt 200 innerhalb eines hierfür vorgesehenen weiteren Teilprozess gegriffen werden.
Es wird auch die Lage des Objektes 200 nach dem Greifen im Greifer 10 als ein weiterer Teilprozess des kompletten Handhabungsprozesses erfasst. Für eine technische Umsetzung sind verschiedene Möglichkeiten gegeben. Hierzu wird eine bildauswertende Einheit eingesetzt.
Eine Ausführungsvariante des Verfahrens sieht hierfür vor, die Stereokameras 41 mit der homogenen und/oder der strukturierten Beleuchtung 42, 43 zu verwenden. Ihre Funktionsweise zum Erfassen der Lage des Objektes 200 und/oder der Objektaufnahme 300 entspricht der oben ausgeführten Beschreibung. Zur Bestimmung der Lage des Objektes 200 im Greifer 10 reicht im Allgemeinen das Erfassen nur eines Teiles des gegriffenen Objektes 200 aus. Das ist dann der Fall, wenn die Stereokameras 41 mit der Beleuchtung 42, 43 achsparallel seitlich am Greifer 10 angeordnet ist. Als Auswertung dient dann wiederum das Stereobildpaar mit einem homogen ausgeleuchtetem oder einem strukturüberlagerten Objekt 200 und/oder Objektaufnahme 300. Dadurch kann bezüglich einer innerhalb einer Einlernphase in einem Trainingsvorgang eingelernten Ideallage eine translatorische Verschiebung des Objektes 200 parallel zu den Greiferbacken 11 und/oder in Richtung der Greiferachse A bestimmt werden.
Eine weitere Ausführungsvariante des Verfahrens zum Erfassen der Lage des Objektes 200 und/oder der Objektaufnahme 300 sieht vor, die Monokamera 51 mit der zu ihr kalibrierten strukturierten Beleuchtung 53 zu verwenden. Alternativ kann die strukturierte Beleuchtung 53 auch durch die strukturierte Beleuchtung 43 ersetzt werden. Das mit der Monokamera 51 aufgenommene Ansichtsbild mit dem das Objekt 200 überlagerte Strukturmuster dient dann als Auswertung zur Bestimmung der Lage des Objektes 200. Dabei wird ein innerhalb einer Einlernphase in einem Trainingsvorgang hinterlegtes Referenzmodell, in das Abstandsbild des Objektes 200 aus der aktuellen Blickrichtung eingepasst. Somit kann die Lage des Objektes 200 zu einem Bezugssystem und/oder zu einer in den Referenzbildern aufgezeigten Ideallage bestimmt werden.
Eine weitere Ausführungsvariante des Verfahrens zum Erfassen der Lage des Objektes 200 im Greifer 10 ist der Einsatz der taktilen Tastmatrix 56. Bei einem Kontakt mit dem Objekt 200 nach dem Greifen sprechen die kontaktierten Sensorelemente an. Eine Auswertung der taktilen Tastmatrix 56 bezüglich der Positionen, an denen die Sensorelemente ansprechen, korrelieren mit der Lage des Objektes 200 im Greifer 10 zu einem gemeinsamen Bezugssystem.
Generell wird durch Erfassen der Lage des Objektes 200 im Greifer 10 eine Toleranzerfassung der Greiferposition erreicht. Ebenso wird ein Schlupf oder Verrutschen des Objektes 200 innerhalb des Greifers 10 auch in den nachfolgenden Teilprozessen erkannt. Dadurch wird ermöglicht, dass das Objekt 200 in einer während eines Trainingsvorganges eingelernten Greifposition des Greifers 10 mittels einer Ausgleichsbewegung des Greifers 10 aus der tatsächlichen zur eingelernten Greifposition gegriffen werden kann. Ebenso kann die Lage des Objektes 200 im Greifer 10 gespeichert werden und für einen Lageausgleich beim Ablegen des Objektes 200 in die Objektaufnahme 300 in allen sechs 3D-Raumfreiheitsgraden korrigierend berücksichtigt werden.
Vorzugsweise ist die Monokamera 51 mit einer festen Brennweite für den Nahbereich ausgeführt. Denkbar ist auch ein Motorzoom-Objektiv, so dass die bereits beschriebene Funktion der Monokamera 45 zur Lokalisierung eines Objektes 200 in einer Szene ersetzend übernommen wird. Im Vergleich zur festen Brennweite sind Motorzoom-Objektive jedoch schwerer, teurer und haben einen hohen Verschleiß. Zusätzlich erfolgt die Umstellung von Nah- auf Fernbereich sehr langsam.
Von Vorteil ist, wenn innerhalb des Teilprozesses des Greifens die Greifkraft, beispielsweise während der Schließbewegung der Greiferbacken 11, überwacht und geregelt wird. Dadurch kann das Objekt 200 mit der notwendigen Kraft sicher gehalten werden. Erfindungsgemäß sind hierzu kraftauflösende Sensoren in den Greifbacken 55 des Greifers 10 vorgesehen. In idealer Weise wird hierzu der oben beschriebene ortsauflösende Kraftsensor 55 verwendet. Eine weitere Möglichkeit zur Detektion der Greifkraft bietet eine Auswertung des Motorstroms. Ein ansteigender Motorstrom korreliert mit einer steigenden Greifkraft.
Die 1 zeigt in der Anordnung 100 eine Ausführungsform, in welcher die Stereokameras 41 mit der homogenen und der strukturierten Beleuchtung 42, 43, die Monokamera 51 und die taktile Tastmatrix 56 angeordnet sind. Zum Erfassen der Lage des Objektes 200 und/oder der Objektaufnahme 300, insbesondere wenn sich der Greifer 10 im Nahbereich des Objektes 200 oder der Objektaufnahme 300 befindet, sind somit in der Anordnung 100 redundante Einheiten vorhanden. Weitere Ausführungsvarianten der Anordnung 100 können eine Reduzierung dieser redundanten Einheiten vorsehen.
Als weiterer Teilprozess des kompletten Handhabungsprozesses ist das Ablegen des Objektes 200 in die Objektaufnahme 300 berücksichtigt. In einem ersten Schritt ist ein Lokalisieren der Objektaufnahme 300 notwendig. Wie bereits beim Lokalisieren des Objektes 200 wird in gleicher Weise die Monokamera 45 vorgesehen.
Eine alternative Ausführungsvariante des Verfahrens sieht dagegen die Verwendung der Stereokameras 41 mit der homogenen und/oder strukturierten Beleuchtung 42, 43 vor. Ihre Funktionsweise zum Lokalisieren des Objektes 200 und/oder der Objektaufnahme 300 ist bereits weiter oben beschrieben. In diesem Fall besteht eine erste Möglichkeit die Objektaufnahme 300 wie ein Objekt 200 zu behandeln. Dabei verfährt das Handhabungsgerät 20 entsprechend so lange, bis sich die mit den Stereokameras 41 aufgenommenen Bilder mit einer aus einem Trainingsvorgang hinterlegten Referenzaufnahme für die Objektaufnahme 300 decken. Konkret verfährt der Greifer 10 knapp über der Objektaufnahme 300 so lange, bis das projizierte Strukturmuster des Projektors 43 an der Objekt- und der Fügekante der Objektaufnahme 300 kontinuierlich übergehend ist. Dabei erscheint das auf die Objektaufnahme 300 projizierte Strukturmuster nicht mehr abgesetzt zum ebenfalls auf das Objekt 200 projizierten gleichen Strukturmuster. Besteht die Gefahr, dass die Objektaufnahme 300, beispielsweise durch das gegriffene Objekt 200, im Sichtbereich der Stereokameras 41 verdeckt wird, kann eine Vorposition der Objektaufnahme 300 gespeichert werden. Dabei wird die Objektaufnahme 300 noch vor dem Greifen des Objektes 200 mit dem Greifer 10 in der Vorposition erfasst.
Als eine weitere Möglichkeit zum Lokalisieren der Objektaufnahme 300 wird vorgeschlagen, die Objektaufnahme 200 mit Markern zu versehen und diese dann in aus einem Trainingsvorgang hinterlegten Referenzaufnahmen für die Objektaufnahme 300 zu nutzen. Die Marker sind an der Objektaufnahme 300 so zu positionieren, dass sie durch ein gegriffenes Objekt 200 nicht verdeckt werden.
Sobald aus dem mit den Stereokameras 41 aufgenonmenem Stereobild und dem daraus rekonstruierten 3D-Bild (bezogen auf das Objekt 200 und/oder die Objektaufnahme 300) die Unterschiedslage zu einer Referenzaufnahme bzw. dem Referenzmodell bestimmt worden ist, kann ein Korrekturwert für die Position des Greifers 10 bestimmt werden. Dadurch wird das Objekt 200 unter Berücksichtigung der zur Referenzaufnahme abweichenden Lage des gegriffenen Objektes 200 in die Objektaufnahme 300 abgelegt.
Sollte das Ablegen in eine Objektaufnahme 300 mit mehreren möglichen Ablagepositionen folgen, wird die Objektaufnahme 300 bis zur Übereinstimmung mit einer Referenzaufnahme für die Objektaufnahme 300 mit dem Greifer 10 angefahren. Danach verfährt der Greifer 10 je nach Ablageposition ein Offset, um ein gegriffenes Objekt 200 in eine vorgesehene Ablageposition der Objektaufnahme 300 abzulegen. Derartige Objektaufnahmen 300 mit mehreren Ablagepositionen sind beispielsweise in der Handhabungstechnik oft verwendete sogenannte Trays.
Generell sieht eine erfindungsgemäße Ausführungsform des Verfahrens vor, dass der ortsauflösende Kraftsensor 55 beim Ablegen des Objektes 200 in eine Objektaufnahme 300 dazu benutzt wird, den Kontakt des Objektes 200 mit der Objektaufnahme 300 zu erkennen und daraufhin den Ablegevorgang zu beenden.
Ebenfalls berücksichtigt sind Anwendungsfälle des Handhabungsprozesses, in welchen das Ablegen des Objektes 200 in die Objektaufnahme 300 in Form eines Fügens erfolgt. Dabei weisen das Objekt 200 und die Objektaufnahme 300 an Ihrer jeweiligen Fügestelle Maßtoleranzen auf. Diese bilden dann im gefügten Zustand des Objektes 200 und der Objektaufnahme 300 eine Spiel-, Übergangs- oder Presspassung auf. In diesem Fall wird der ortsauflösender Kraftsensor 55 verwendet. Für den ortsauflösenden Kraftsensor 55 wird der Einsatz von Dehnungsmessstreifen vorgeschlagen. Alternative Messverfahren wie piezoresistiv, kapazitiv, induktiv oder auch optisch sind ebenfalls denkbar. Der Kraftsensor 55 wird dann beim Fügen des Objektes 200 in die Objektaufnahme 300 dazu verwendet, Kontakte des Objektes 200 mit der Objektaufnahme 300 zu detektieren. Durch eine Auswertung der beim Fügen auf den Kraftsensor 55 wirkenden Fügekräfte wird der Fortschritt des Fügevorganges und die relative Lage des Objektes 200 zur Objektaufnahme 300 erkannt. Dadurch kann ein Korrekturwert bestimmt werden, durch welchen die Fügerichtung und -kraft des Greifers 10 derart angepasst werden, so dass ein ausgerichtetes, beispielsweise ein zentrisches Fügen des Objektes 200 in die Objektaufnahme 300 erfolgt.
Dabei bilden der ortsauflösende Kraftsensor 55 eine Alternative zum oben beschriebenen bildgeführten Fügen mit der Stereokameras 41. Insbesondere gilt das dann, wenn auf Grund von Abschattungen (verdecktes Fügen) keine verwertbare Bildaufnahme des Objektes 200 und/oder der Bildaufnahme 300 mit den Stereokameras 41 erhalten werden kann.
Die taktilen und bildauswertenden Sensoren können auch kombiniert werden. Hierbei erfolgt ein Fügevorgang in mehreren Stufen. Die Grobpositionierung wird anhand der Stereokameras 41 geregelt, die Feinpositionierung erfolgt kraftgeregelt anhand der Auswertung des Kraftsensors 55.
Generell unterstützt der Einsatz des Kraftsensors 55 die bildauswertenden Sensoren beim Erfassen der relativen Lage des Objektes 200 zur Objektaufnahme 300. Fertigungs- und Lagetoleranzen des Objektes 200 und/oder der Objektaufnahme 300 können somit für ein positionsgenaues Ablegen korrigierend berücksichtigt werden. Prinzipiell sollen bei Fertigungs- und/oder Lagetoleranzen, die geringer sind als die Genauigkeit der bildauswertenden Einheit, Kraftsensoren eingesetzt werden.
Grundsätzlich sieht das erfindungsgemäße Verfahren auch die Erstellung von Referenzbildern und/oder Referenzmodellen in einem Trainingsvorgang vor. Diese sind erforderlich, um durch einen Vergleich mit dem von der bildauswertenden Einheit 41, 45, 51 aufgenommenen Bilder auf die Lage des Objektes 200 und/oder Objektaufnahme 300 hinsichtlich eines Bezugssystems zu schließen.
Der Trainingsvorgang erfolgt in einer Einlernphase des Objektes 200 und/oder der Objektaufnahme 300, wobei die Referenzbilder bzw. Referenzmodelle vorzugsweise in einer Datenbank hinterlegt werden. Besonders günstig erweist es sich, wenn die Referenzaufnahmen für jede mögliche Griffposition des Objektes 200 mit dem Greifer 10 erstellt sind. Dadurch sind auch die Greifpunkte, insbesondere als eine Ideallage des Objektes 200 zum Greifer 10, definiert.
Es ist dabei möglich die Referenzbilder und -modelle durch das Sensorsystem 30 selbst zu erstellen. Daher kann das Sensorsystem 30 sowohl für die Handhabung verschiedenster Objekte 200 und/oder Objektaufnahmen 300, als auch für das Einlernen und die anschließende Erkennung dieser in der Szene genutzt werden.
Konkret erfolgt ein Trainingsvorgang zum Erstellen von Referenzbildern und -modellen für einen Vergleich mit den mit den Stereokameras 41 und der homogenen bzw. strukturierten Beleuchtung 42, 43 aufgenommenen 3D-Bilder, indem das Objekt 200 oder die Objektaufnahme 300 auf einen bekannten Hintergrund (z.B. Blue-Box-Prinzip) platziert wird. Das Handhabungsgerät 20 verfährt in einer Halbkugel oder - Sphäre um das Objekt 200 oder die Objektaufnahme 300. Dabei nimmt es viele verschiedene Ansichten des Objektes 200 oder der Objektaufnahme 300 mit der homogenen bzw. der strukturierten Beleuchtung 42, 43 auf. Durch eine Trennung des Objekts 200 oder der Objektaufnahme 300 vom Hintergrund (z.B. Farbsegmentierung bei homogener Farbunterlage) können charakteristische beschreibende Texturinformationen über das Objekt 200 oder die Objektaufnahme 300 extrahiert werden (z.B die geometrische Struktur oder die Textur des Objektes 200 oder der Objektaufnahme 300).
Ein Kalibriervorgang zum Erstellen von Referenzbildern für einen Vergleich mit dem mit der Monokamera 51 und der strukturierten Beleuchtung 43, 53 aufgenommenen 2D-Bild erfolgt, indem jedes Strukturmusterelement zum Kamerabild durch Projektion auf eine Referenzebene kalibriert wird. Dabei wird die Referenzebene während des Kalibriervorgangs in unterschiedlichen definierten Abständen zur Monokamera 51 aufgenommen. Durch Triangulation kann für jedes projizierte Strukturmusterelement der Abstand zur Kameraebene bestimmt werden. In der Einlernphase wird das Objekt 200 im Trainingsvorgang in einer Ideallage gegriffen und das Strukturmuster mit der Monokamera 51 aufgenommen. Daraus werden durch Triangulation das Abstandsbild und daraus die ideale 3D-Objektlage berechnet.
Prinzipiell erfolgt nach dem erfindungsgemäßen Verfahren ein räumliches Navigieren des Handhabungsgerätes zum Greifen und/oder Ablegen des Objektes 200 in die Objektaufnahme 300 mit dem Sensorsystem 30 durch Erfassen der Lage des Objektes 200 und/oder der Objektaufnahme 300. Besonders vorteilhaft erweist sich ein Navigieren, indem das Erfassen der Lage des Objektes 200 und/oder der Objektaufnahme 300 iterativ durchgeführt wird. Die Auswertung der von der bildauswertenden Einheit aufgenommenen Bildfolgen erhöht dabei zusätzlich die Genauigkeit und Robustheit des erfindungsgemäßen Verfahrens innerhalb der Teilprozesse.
In Weiterbildung des erfindungsgemäßen Verfahrens wird vorgeschlagen, dass durch eine oder mehrere Einzelmessungen ein oder mehrere Messwerte über die Lage des Objektes 200 und/oder der Objektaufnahme 300 zu einem Bezugssystem erhalten werden. Dabei basieren mehrere Messwerte auf zueinander unterschiedlichen Messinformationen. Mehrere Messwerte werden dann mittels eines Auswertealgorithmus miteinander verknüpft, wobei dann die Lage des Objektes 200 und/oder der Objektaufnahme 300 genauer als bei den Einzelmessungen bestimmt wird.
Letztendlich werden also verschiedene Messinformationen über dasselbe Objekt 200 und/oder dieselbe Objektaufnahme 300 miteinander verknüpft. Die Messinformationen bei den Einzelmessungen unterscheiden sich zueinander, indem zum Beispiel zueinander unterschiedliche Texturinformationen des Objektes 200 und/oder der Objektaufnahme 300 erfasst werden. Eine alternative Möglichkeit besteht darin, dass unterschiedliche Messverfahren verwendet werden.
Generell sind erfindungsgemäß für die Einzelmessungen zur Bestimmung der Lage des Objektes 200 und/oder der Objektaufnahme 300 die Kombination von mindestens zwei der oben jeweils für einen Teilprozess beschriebenen technischen Umsetzungen zum Erfassen der Lage des Objektes 200 und/oder der Objektaufnahme 300 möglich. Von einer Auflistung der Kombinationsmöglichkeiten wird an dieser Stelle abgesehen.
Prinzipiell ist die Kombination von rein bildauswertenden Verfahren, von bildauswertenden mit nicht bildauswertenden Verfahren und von rein nicht bildauswertenden Verfahren möglich. Entsprechende den Kombinationsmöglichkeiten sind demnach weitere Ausführungsformen der in 1 gezeigten Anordnung 100 möglich.
In Weiterbildung des erfindungsgemäßen Verfahrens wird vorgesehen, dass bei mehreren Einzelmessungen zur Bestimmung der Lage des Objektes 200 und/oder der Objektaufnahme 300 diese jeweils zueinander zeitunterschiedlich und/oder bei geometrisch unterschiedlicher Lage des Objektes 200 und/oder der Objektaufnahme 300 zum Bezugssystem durchgeführt werden. Somit kann das erfindungsgemäße Verfahren während einer Bewegung des Handhabungsgerätes 20 betrieben werden.
Beispielsweise sieht eine bevorzugte Ausführungsvariante vor, die homogene Beleuchtung 42 und die strukturierte Beleuchtung 43 im schnellen Wechsel, beispielsweise mit 1-10Hz, anzusteuern. Für eine Auswertung ist demnach ein mit den Stereokameras 41 aufgenommenes Stereobildpaar vorgesehen. Dabei liegt aus einer Einzelmessung ein Messwert bei einem homogen ausgeleuchtetem Objekt 200 und/oder Objektaufnahme 300 vor. Aus einer weiteren Einzelmessung liegt ein weiterer Messwert bei einem das Objekt 200 und/oder die Objektaufnahme 300 überlagerten Strukturmuster vor.
Als Alternative wird vorgeschlagen, bei mehreren Einzelmessungen diese zueinander jeweils zeitgleich und/oder bei einer gleichbleibenden geometrischen Lage des Objektes 200 und/oder der Objektaufnahme 300 zum Bezugssystem durchzuführen.
Für den Auswertealgorithmus wird die Verwendung vorzugsweise eines statistischen Algorithmus vorgeschlagen, insbesondere Approximationen des Bayes-Filter wie z.B. Kalman- oder Partikelfilter.
In Weiterbildung des erfindungsgemäßen Verfahrens ist vorgesehen, dass im Auswertealgorithmus bei mehreren Messwerten über die Lage des Objektes 200 und/oder der Objektaufnahme 300 diese jeweils mit unterschiedlicher Gewichtung berücksichtigt werden. Dadurch wird die Qualitätsgüte jeweils einer Einzelmessung gewichtet berücksichtigt. Zur Abschätzung einer Qualitätsgüte kann bei den Stereokameras 41 mit homogener Beleuchtung 42 die Differenz zwischen dem gefundenen Referenzbild und der aktuellen Ansicht des Objektes 200 und/oder der Objektaufnahme 300 herangezogen werden. Bei den Stereokameras 41 mit der strukturierten Beleuchtung 43 kann die Qualitätsgüte anhand des Vergleichsfehlers zum Referenzmodell abgeleitet werden. Die Schätzung der Qualitätsgüte ist Bestandteil des Auswertealgorithmuses.
Weiterhin kann sich das Sensorsystem 30 flexibel an verschiedene Objekte 200 unterschiedlicher Ausprägung anpassen. Weist ein Objekt 200 ausgeprägte Texturmerkmale auf, so wird eine Einzelmessung basierend auf einer Bildaufnahme mit einem homogen ausgeleuchteten Objekt 200 im Auswertealgorithmus mit mehr Gewicht berücksichtigt. Dominiert dagegen die Strukturinformation im Objekt 200 (z.B. ein einfarbiges Objekt) so wird eine Einzelmessung basierend auf einer Bildaufnahme mit einem strukturüberlagernden Objekt 200 im Auswertealgorithmus stärker gewichtet.
Generell werden alle Komponenten der erfindungsgemäßen Anordnung vorzugsweise zu einem fixen Referenzpunkt kalibriert. Bevorzugt wird bei einem Roboter 20 hierfür der Tool Center Point (TCP) bzw. der Gripper Center Point (GCP - Greifpunkt) vorgesehen.
Prinzipiell ist von Vorteil, wenn die für die Einzelmessungen verwendeten Sensorkomponenten in ihrer relativen Lage zueinander konstant gehalten werden. Dadurch ist eine Kalibrierung aller Sensorkomponenten zum Bezugssystem nur einmal vor Beginn der Messungen zum Erfassen der Lage des Objektes 200 und/oder der Objektaufnahme 300 erforderlich.
Der durchgängig sensorgeführte Ansatz für den kompletten Handhabungsprozess ermöglicht eine sehr flexible Handhabung unterschiedlichster Objekte 200. Dadurch, dass immer die Lage des Objektes 200 bis zum Ablegen in einer Objektaufnahme 300 erfasst wird, ist eine Positionsgenauigkeit auch bei Einsatz eines universellen Greifers 10 immer gewährleistet.
Bevorzugt arbeitet der Greifer 10 mit einem Kraftschluss, so dass keine Anpassung der Greiferbacken 11 an das Objekt 200 erfolgen muss. Um das Einsatzspektrum zu vergrößern kann auf den Greiferbacken 11 auch eine nachgiebige Schicht appliziert werden, um das Haftreibungsverhältnis zu verbessern. Diese Schicht enthält idealer Weise im Bereich der Griffflächen 57 die Tastmatrix 56.

Claims

Verfahren zur flexiblen Handhabung von Objekten (200) mit einem Handhabungsgerät (20), wobei ein räumliches Navigieren des Handhabungsgerätes (20) zum Greifen und/oder Ablegen eines Objektes (200) in eine Objektaufnahme (300) mit einem Sensorsystem (30) erfolgt, indem das Sensorsystem (30) eine Lage des Objektes (200) und/oder der Objektaufnahme (300) durch eine oder mehrere Einzelmessungen erfasst und dann ein oder mehrere Messwerte erhalten werden mit welchen die Lage des Objektes 200 und/oder der Objektaufnahme (300) zu einem Bezugssystem bestimmt wird, dadurch gekennzeichnet, dass für eine oder mehrere Einzelmessungen eine oder mehrere Kameras (41) mit einer strukturierten Beleuchtung (43) oder für mehrere Einzelmessungen eine oder mehrere Kameras (41) mit einer strukturierten Beleuchtung (43) und mit einer homogenen Beleuchtung (42) vorgesehen werden, wobei mit der einen oder den mehreren Kameras (41) mit einer strukturierten Beleuchtung (43) ein 3D-Abstandsbild des Objektes (200) und/ oder der Objektaufnahme (300) erzeugt wird und durch Vergleich des 3D-Abstandbildes mit einem aus einem Trainingsvorgang hinterlegten Referenzmodell die Lage des Objektes (200) und/oder der Objektaufnahme (300) zu einem Bezugssystem bestimmt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zum Navigieren die Bestimmung der Lage des Objektes (200) und/oder der Objektaufnahme (300) iterativ durchgeführt wird.
Verfahren nach Anspruch1 oder 2, dadurch gekennzeichnet, dass mit der einen oder den mehreren Kameras (41) mit einer homogenen Beleuchtung (42) ein Stereobild mit Texturinformationen erzeugt wird und durch Vergleich mit aus einem Trainingsvorgang hinterlegten Ansichtsmodellen die Lage des Objektes (200) und/oder der Objektaufnahme (300) zu einem Bezugssystem bestimmt wird, wobei durch die Ansichtsmodelle das Objekt (200) und/oder die Objektaufnahme (300) mit den Texturinformationen aus verschiedenen Ansichten bereitgestellt werden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass bei mehreren Einzelmessungen diese jeweils zeitunterschiedlich und/oder bei geometrisch unterschiedlicher Lage des Objektes (200) und/oder der Objektaufnahme (300) zum Bezugssystem durchgeführt werden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass bei mehreren Einzelmessungen diese jeweils zeitgleich und/oder bei einer gleichbleibenden geometrischen Lage des Objektes (200) und/oder der Objektaufnahme (300) zum Bezugssystem durchgeführt werden.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Messwerte mittels eines Auswertealgorithmus miteinander verknüpft werden, wobei dann die Lage des Objektes (200) und/oder der Objektaufnahme (300) genauer als bei den Einzelmessungen bestimmt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass für den Auswertealgorithmus ein statistischer Algorithmus verwendet wird, insbesondere ein Kalmanfilter.
Verfahren nach einem der Ansprüche 6 bis 7, dadurch gekennzeichnet, dass im Auswertealgorithmus die Messwerte über die Lage des Objektes (200) und/oder der Objektaufnahme (300) aus den Einzelmessungen mit unterschiedlicher Gewichtung berücksichtigt werden.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die eine oder die mehreren Kameras (41) für eine Greifraumüberwachung verwendet werden.
Anordnung für ein Handhabungsgerät (100), insbesondere für ein Verfahren nach einem der Ansprüche 1 bis 9, mit einem Sensorsystem (30) zum räumlichen Navigieren des Handhabungsgerätes (20) beim Greifen und Ablegen eines Objektes (200) in eine Objektaufnahme (300) mittels eines Greifers (10), wobei als Sensorsystem (30) zum Erfassen der Lage des Objektes (200) und/oder der Objektaufnahme (300) eine bildauswertende Einheit angeordnet ist, dadurch gekennzeichnet, dass die bildauswertende Einheit eine oder mehrere Kameras (41) mit einer strukturierten Beleuchtung (43), insbesondere einem Strukturprojektor, oder mit einer strukturierten und einer homogenen Beleuchtung (42, 43) umfasst, wobei als Auswertung bei einem mit einem Strukturmuster überlagerten Objekt (200) und/oder Objektaufnahme (300) ein rekonstruiertes 3D-Bild vorgesehen ist und bei einem homogen ausgeleuchteten Objekt (200) und/oder Objektaufnahme (300) extrahierte Texturinformationen aus Stereobildern vorgesehen sind.
Anordnung nach Anspruch 10, dadurch gekennzeichnet, dass die Auswertung die Lage des Objektes (200) und/oder der Objektaufnahme (300) zu einem Bezugssystem aufweist.
Anordnung nach einem der Ansprüche 11 bis 11, dadurch gekennzeichnet, dass für die Auswertung bei einem mit einem Strukturmuster überlagerten Objekt (200) und/oder Objektaufnahme (300) ein aus einem Trainingsvorgang hinterlegtes Referenzmodell vorgesehen ist.
Anordnung nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass für die Auswertung bei einem homogen ausgeleuchteten Objekt (200) und/oder Objektaufnahme (300) aus einem Trainingsvorgang hinterlegte Ansichtsmodelle vorgesehen sind.
Anordnung nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass die bildauswertende Einheit zum Erfassen der Lage des Objektes (200) im Greifer (10) eine Monokamera (51) mit einer zur Kamera (51) kalibrierten strukturierten Beleuchtung (43, 53), insbesondere einem Strukturprojektor, umfasst.
Anordnung nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass die bildauswertende Einheit für einen Trainingsvorgang in einer Einlernphase zum Erfassen der Lage eines Objektes (200) und/oder einer Objektaufnahme (300) vorgesehen ist.
Anordnung nach Anspruch 15, dadurch gekennzeichnet, dass der Trainingsvorgang Modellbilder des Objektes (200) und/oder der Objektaufnahme (300) aus verschiedenen Ansichten zu einem Bezugssystem und/oder die Erstellung eines Referenzmodelles umfasst.
Anordnung nach einem der Ansprüche 10 bis 16, dadurch gekennzeichnet, dass die bildauswertende Einheit zum Lokalisieren und Anfahren eines Objektes (200) und/oder Objektaufnahme (300) innerhalb einer Szene eine Monokamera (45), insbesondere eine weitwinklige Monokamera, umfasst.
Anordnung nach einem der Ansprüche 10 bis 17, dadurch gekennzeichnet, dass zum Erfassen der Lage des Objektes (200) im Greifer (10) eine taktile Tastmatrix (56) vorgesehen ist.
Anordnung nach Anspruch 18, dadurch gekennzeichnet, dass die taktile Tastmatrix (56) aus eine optischen, piezoelektrischen, magnetoelastischen, induktiven, kapazitiven oder eine mit resonanten Kraftsensoren aufgebauten Matrix besteht.
Anordnung nach einem der Ansprüche 10 bis 19, dadurch gekennzeichnet, dass zum Erfassen der relativen Lage des Objektes (200) zur Objektaufnahme (300) beim Ablegen des Objektes (200) in die Objektaufnahme (300) ein ortsauflösender Kraftsensor (55) angeordnet ist und eine Auswertung des ortsauflösender Kraftsensor (55) einen Korrekturwert für eine ausgerichtete relative Lage des Objektes (200) zur Objektaufnahme (300) aufweist.