DE10319253B4

DE10319253B4 - Dreidimensional lagegerechtes Zuführen mit Roboter

Info

Publication number: DE10319253B4
Application number: DE2003119253
Authority: DE
Original assignee: Individual
Current assignee: Individual
Priority date: 2003-04-28
Filing date: 2003-04-28
Publication date: 2005-05-19
Anticipated expiration: 2023-04-29
Also published as: DE10319253A1

Abstract

Verfahren zum lagegerechten Zuführen von Teilen in einer gewünschten dreidimensionalen Lage, wobei über einen oder mehrere an einem Roboter direkt oder indirekt befestigte und mit dem Roboter bewegbare Sensoren die Lage eines vom Roboter gegriffenen Teils bestimmt wird, dadurch gekennzeichnet, dass die Lage des gegriffenen Teils relativ zu einem roboterbezogenen Koordinatensystem bestimmt wird, die Abweichung der Lage des Teils von einer vorab bezüglich des Roboters definierten Standardlage ermittelt wird und eine für die vorab definierte Standardlage zuvor bestimmte Roboterbewegung anhand dieser Abweichung der Lage des Teils korrigiert wird, um die Zuführlage herbeizuführen.

Description

Die Erfindung betrifft das dreidimensional lagegerechte Zuführen von ungenau oder unbekannt gegriffenen Teilen.
Systeme zur automatischen Bearbeitung oder Montage von Teilen benötigen eine Zuführung der Teile in einer bestimmten gewünschten dreidimensionalen Lage, oft mit kleinen Lagetoleranzen. Zuführsysteme werden aus Flexibilitätsgründen zunehmend mit Robotern realisiert. Ein häufiges Problem bei solchen Anwendungen ist es, daß Teile aufgrund der konkreten Randbedingungen nur ungenau gegriffen werden können.
Die Aufgabe ist besonders vordringlich beim Greifen von ungeordneten Teilen aus einem Behälter, da aufgrund der Komplexität dieser Aufgabenstellung das genaue Greifen sehr schwierig ist; aber auch in einfacheren Fällen kann die Aufgabe aus konstruktiven Gründen relevant sein, wenn zum Beispiel bei ungenau vorpositionierten Teilen Sauggreifer mit großzügig dimensioniertem Faltenbalg oder Zangengreifer mit großzügig dimensionierter Maulweite verwendet werden müssen.
Hierfür wurde deshalb als Lösung mehrfach eine mehrschrittige Vorgehensweise vorgeschlagen: das Teil wird in einem ersten Schritt aus der Kiste isoliert herausgeholt, dann auf eine mechanische Ablage gelegt; im zweiten Schritt wird das Teil dann erneut gegriffen, jetzt unter vereinfachten Randbedingungen.

Nach (H. Geisselmann: Sensor-Roboter-System zum Vereinzeln und Ordnen von Werkstücken; FhG-Berichte 2–80, 1980, S. 26–28) wird beispielsweise ein Stahlgußteil mittels eines flexibel aufgehängten Magnetgreifers blind aus einer Kiste geangelt und dann auf einer Ebene abgelegt. Im zweiten Schritt wird die Lage des so isolierten und vor einem homogenen Hintergrund befindlichen Teil mittels Bildverarbeitung bestimmt, daraufhin vom Roboter erneut gegriffen und der weiteren Bearbeitung zugeführt.

Teile, die mittels Roboter nur ungenau gegriffen werden können, werden in der Industrie gelegentlich in eine selbstzentrierende Zwischenablage gelegt und dann erneut gegriffen.

Nach (M. Berger, G. Bachler et al.: A Vision Driven Automatic Assembly Unit: 23th int. Workshop of the Austrian Association for Pattern Recognition, Steyr, Austria, May 1999, Teil A: Robust Bin Picking, pp 205–214. Teil B: Pose Determination from a Single Image. pp 215–224) wurde für den "Griff in die Kiste" demonstriert, wie in einem ersten Schritt über ein Bildverarbeitungssystem gesteuert zunächst lediglich die Lage homogener Flächen bestimmt werden kann, an denen man mittels Sauggreifer ein Teil aus der Kiste holen und isolieren kann, ohne die genaue Lage des Teils bestimmen zu müssen. Das Teil wird dann auf eine ebene Ablage gelegt. Im zweiten Schritt wird über ein Bildverarbeitungssystem die dreidimensionale Lage des so isolierten Teils genau bestimmt, daraufhin vom Roboter erneut gegriffen und der weiteren Bearbeitung zugeführt.

Es wurde vorgeschlagen, ein gegriffenes Werkstück mit dem Roboter vor einer (zusätzlichen) fest installierten Kamera zu präsentieren und damit die tatsächliche absolute Lage des Werkstücks zu bestimmen, z.B, nach US 4,305,130 A .

Nachteil der bekannten Vorgehensweisen ist der Platzbedarf für die Ablage und/oder die fest montierten Kameras, und ggf. für zusätzlich erforderliche Beleuchtungen, außerdem der Zeitbedarf für den zweiten Schritt.

In DE 199 30 087 A1 wird zur lagegerechten Zuführung von Teilen (z.B. Montage eines Schiebedachs in die Schiebedachöffnung eines Autos) die Vorhalteposition relativ zu. einer Vorhalteposition auf einer gespeicherten Verfahrbahn geregelt, wobei Teile (z.B. Schiebedach 4) in einer gewünschten dreidimensionalen Lage zugeführt werden und mittels mehrerer Sensoren (CCD-Kamrrs 9), die direkt am Roboter befestigt sind, die Bewegung des Manipulators relativ zu einem Objekt (Kante der Schiebedach-Öffnung 3 des Autos) beeinflußt wird. Nachteil dieser Anordnung ist, daß ein fehlerhaft gegriffenes Teil nicht korrekt zugeführt wird.

Aus DE 198 49 720 A1 ist ein Verfahren zum präzisen Positionieren eines Bauteils bekannt, bei dem mittels eines mit einer Kamera versehenen optischen Systems eines Greifersystems die Position des Bauteils erfasst wird und dann der vorzunehmende Korrekturweg berechnet wird, wobei eine relative Positionsabweichung bestimmt wird. Bei diesem Verfahren wird die Abweichung des Bauteils von der Standardlage durch Vergleich des Bildes des Bauteils am Greifer und des Bildes einer Fügeposition und in einem iterativen Prozess der Korrekturweg ermittelt. Dies hat den Nachteil, dass sich bei der Korrektur die Fügeposition im Blickfeld der Kamera befinden muss. Außerdem hat das iterative Verfahren, das wegen des Vergleichs im Bildbereich notwendig ist, den Nachteil des hohen Zeitaufwandes

Aufgabe der Erfindung ist es, diese Nachteile zu vermeiden.

Die Aufgabe wird nach Anspruch 1 gelöst. Die nach Anspruch 1 bestimmte Abweichung wird verwendet, um, durch Korrektur einer vorzugsweise vorab für die Standardlage bestimmten Roboterbewegung, die gewünschte Zuführlage herbeizuführen. Wesentlich dabei ist, daß die Kamera (s) zur Bestimmung der Lageabweichung am Roboter montiert ist (sind), also mit dem Roboter bewegt werden, wodurch es ermöglicht wird, daß die Messung der Abweichung und die Korrektur der Zuführbewegung während der Bewegung zwischen Greifposition und Zuführposition realisiert werden kann. Die Abweichungsbestimmung geschieht vorzugsweise unter Bezug auf ein roboterbezogenes Koordinatensystem, besonders bevorzugt unter Bezug auf den Effektor, an dem die betreffenden Sensoren befestigt sind, denn dadurch wird die Rechnung von der aktuellen globalen Kameralage entkoppelt und für eine Realisierung in Bewegung vereinfacht.

Ein Ausführungsbeispiel wird in 1 bis 5 gezeigt; lediglich der einfacheren Darstellung halber ist alles zweidimensional gezeichnet, aus dem gleichen Grund ist der Roboter mit weniger als 6 Freiheitsgraden gezeichnet. Rechts des Roboters sei die Greifposition, links die Zuführposition.
1 und 2 zeigen den Einrichtbetrieb.
3 bis 5 den Automatikbetrieb.
1 zeigt einen Roboter 1, an dessen Endeffektor (vor dem Greifer) zwei Kameras 2 befestigt sind. Die Kameras sind so angeordnet, daß aus den Werkstückmerkmalen, die sie erfassen, die dreidimensionale Lage des Werkstücks bestimmt werden kann, relativ zu den Kameras bzw. dem Effektor, an dem sie befestigt sind. In dem Behälter 6 befinden sich Werkstücke 4. Das Werkstück 4a wurde aus dem Behälter gegriffen; es hängt etwas unsymmetrisch an dem Greifer 3. Diese Lage des Werkstücks 4a wird willkürlich als Standardlage definiert, vorzugsweise mit den Kameras vermessen, und gespeichert.
Der Roboter wird mit Teil in Standardlage in die Zuführposition (hier Montageposition) gebracht, siehe 2. Dort sollen die Werkstücke in ein Werkzeug 5 gesteckt werden. 2 zeigt den Roboter in Montageposition für Standardlage des Werkstücks; die zugehörige Roboterlage wird gespeichert. 3 zeigt das Aufnehmen eines Teils im Automatikbetrieb; das Teil sei trotz Kameraführung zufälligerweise etwas schief gegriffen worden. 4 zeigt die Ablageposition, die sich ohne Korrektur dadurch ergeben würde. Aus Zeitersparnisgründen vorzugsweise während der Bewegung zwischen dem Greifen und dem Zuführen, beispielsweise in der in 3 gezeigten Situation, wird über die Kameras mit Bildverarbeitung die Lageabweichung des Teils 4b gegenüber der Standardlage (4a) bestimmt. Die Montagebewegung des Roboters wird dieser Lageabweichung entprechend korrigiert. 5 zeigt die Systemkomponenten in dementprechend korrigierter Zuführlage.
Die Lageabweichung wird rechentechnisch vorteilhaft, aber nicht notwendigerweise, ausgedrückt in einem roboterbezogenen Koordinatensystem. Man verwendet vorteilhaft als Bezugspunkt für die rotatorischen Komponenten der Lageabweichung einen Punkt an dem Effektor, an dem die Kameras montiert sind. Dann gestaltet sich die Kamerakalibrierung besonders einfach (s.u.).
Hauptvorteil ist die Zeitersparnis, da Bildaufnahme, Bildauswertung, Korrekturrechnung und sogar die Aktualisierung der Roboterbahn während der ohnehin erforderlichen Bewegung durchgeführt werden können. Außerdem entfällt der für einen extra Korrekturschritt erforderliche Platz für eine Ablage und/oder fest montierte Kameras.
Bei Verwendung von Kameras hat die Bildaufnahme in Bewegung den zusätzlichen Vorteil, daß der Hintergrund aufgrund der Bewegungsunschärfe strukturlos wird, die Werkstückkanten sich also einfach vom Hintergrund trennen lassen.
Die Kameras sind über den Roboter definiert beweglich, also können ohne nennenswerten zusätzlichen Aufwand bekannte Methoden der Kamerakalibrierung verwendet werden, die auf defnierten Bewegungen beruhen, z.B. nach US 6101 455 mit raumfesten Targets. Diese Targets können, irgendwo in Reichweite der Kameras, platzsparend angebracht werden, z.B. an der Decke.
Je nach Teilegeometrie können Kameras verwendet werden, die ohnehin für die Lokalisierung der Teile im Behälter erforderlich sind; es kann aber auch sinnvoll sein, absichtlich verschiedene Kameras mit unterschiedlichen Bildfeldgrößen und sonstig unterschiedlichen Bildaufnahmeparametern zu verwenden, um z.B. Groblokalisierung der Teile im Behälter einerseits und Feinabgleich während der Bewegung andererseits getrennt optimal gestalten zu können.
Bevorzugt werden die Kameras an einem Effektor mit 6 Freiheitsgraden (normalerweise der Endeffektor) montiert; die Kameras können Sonderfällen auch an einem anderen Effektor als einem Effektor mit 6 Freiheitsgraden befestigt sein, wenn es die Freiheitsgrade der Montageaufgabe zulassen.
Unter Roboter ist in dieser Anmeldung ein beliebiges bewegungsprogrammierbares (steuerbares oder regelbares) System zu verstehen.
Unter Lage ist in dieser Anmeldung die dreidimensionale Position und Orientierung gemeint (engl.: position and attitude).
Die Standardlage ist eine in Einrichtbetrieb speziell oder zufällig (s. Beispiel oben) bestimmte Lage des Werkstücks im/am Greifer/Effektor. Die spezielle Bestimmung kann explizit durch Vorzeigen oder implizit rein konstruktiv erfolgen, z.B. mit Nullpunkt in der Mitte eines Zangengreifers.
Eine Roboterlage ist die dreidimensionale Lage von beweglichen Roboterkomponenten, bevorzugt einfach die momentane Position und Orientierung des "Tool Center Point".
Bei dem ungenau oder unbekannt gegriffenen Teil kann es sich natürlich auch um ein vom Roboter gegriffenes Werkzeug handeln, dessen Lage für die anstehende Bearbei tung korrigiert werden muß, z.B. eine Lötspitze.
Kameras haben gegenüber anderen Sensoren wie z.B. triangulierenden Abstandsmessern den Vorteil höherer Flexibilität und leichterer Projektierbarkeit bei wechselnden Aufgabenstellungen; insbesondere beim Griff in die Kiste ist mit großer Teilevielfalt zu rechnen. Zur dreidimensionalen Lageerkennung von Teilen, mit einer oder mehreren Kameras sind mehrere alternative Verfahren bekannt. Speziell vorteilhaft sind zwei oder drei nach außen gerichtete Kameras, die die Außenkonturen des Teils erfassen, gegen bewegten und damit unscharfen Hintergrund oder gegen eine (ohnehin vorhandene) homogene Hallendecke als Hintergrund; dadurch bleibt die Arbeitszelle von allen Seiten frei zugänglich.

Claims

Verfahren zum lagegerechten Zuführen von Teilen in einer gewünschten dreidimensionalen Lage, wobei über einen oder mehrere an einem Roboter direkt oder indirekt befestigte und mit dem Roboter bewegbare Sensoren die Lage eines vom Roboter gegriffenen Teils bestimmt wird, dadurch gekennzeichnet, dass die Lage des gegriffenen Teils relativ zu einem roboterbezogenen Koordinatensystem bestimmt wird, die Abweichung der Lage des Teils von einer vorab bezüglich des Roboters definierten Standardlage ermittelt wird und eine für die vorab definierte Standardlage zuvor bestimmte Roboterbewegung anhand dieser Abweichung der Lage des Teils korrigiert wird, um die Zuführlage herbeizuführen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Teile aus einem Behälter gegriffen werden und zum Lokalisieren der Teile zum Zweck des Greifens und zum Bestimmen der Lage der gegriffenen Teile die gleichen Sensoren verwendet werden.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Sensoren relativ zu einem roboterbezogenen Koordinatensystem kalibriert werden.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Sensoren relativ zu den Roboterkomponenten kalibriert werden, an denen sie befestigt sind.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Sensoren Kameras sind.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Kalibrierung durch Kamerabewegungen realisiert wird.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Bestimmung der Abweichung der aktuellen Teilelage von einer Standardlage durchgeführt wird, während sich der Roboter bewegt.
Verfahren nach einem der Ansprüche 1 bis 7, mit einer oder mehreren Kameras als Sensoren, dadurch gekennzeichnet, dass die Kameras während der für die Bestimmung der Lageabweichung realisierten Bildaufnahme zur Decke der Halle oder Arbeitszelle gerichtet sind.