DE10319253A1

DE10319253A1 - Dreidimensional lagegerechtes Zuführen mit Roboter

Info

Publication number: DE10319253A1
Application number: DE2003119253
Authority: DE
Original assignee: Individual
Current assignee: Individual
Priority date: 2003-04-28
Filing date: 2003-04-28
Publication date: 2004-12-02
Anticipated expiration: 2023-04-29
Also published as: DE10319253B4

Abstract

Zum lagegerechten Zuführen von Teilen, insbesondere von Teilen, die mittels Roboter aus einem Behälter gegriffen wurden, wird über am Roboter direkt oder indirekt befestigte und mit dem Roboter bewegbare Sensoren, vorzugsweise Kameras, in gegriffenem Zustand die Abweichung der aktuellen Teilelage von einer Standardlage bestimmt, vorzugsweise in Bewegung. Hauptvorteil ist die Zeitersparnis, da Bildaufnahme, Bildauswertung, Korrekturrechnung und sogar die Aktualisierung der Roboterbahn während der ohnehin erforderlichen Bewegung durchgeführt werden können. Außerdem entfällt der für einen extra Korrekturschritt erforderliche Platz für eine Ablage und/oder fest montierte Kameras.

Description

Die Erfindung betrifft das dreidimensional lagegerechte Zuführen von ungenau oder unbekannt gegriffenen Teilen.
Systeme zur automatischen Bearbeitung oder Montage von Teilen benötigen eine Zuführung der Teile in einer bestimmten gewünschten dreidimensionalen Lage, oft mit kleinen Lagetoleranzen. Zuführsysteme werden aus Flexibilitätsgründen zunehmend mit Robotern realisiert. Ein häufiges Problem bei solchen Anwendungen ist es, daß Teile aufgrund der konkreten Randbedingungen nur ungenau gegriffen werden können.
Die Aufgabe ist besonders vordringlich beim Greifen von ungeordneten Teilen aus einem Behälter, da aufgrund der Komplexität dieser Aufgabenstellung das genaue Greifen sehr schwierig ist; aber auch in einfacheren Fällen kann die Aufgabe aus konstruktiven Gründen relevant sein, wenn zum Beispiel bei ungenau vorpositionierten Teilen Sauggreifer mit großzügig dimensioniertem Faltenbalg oder Zangengreifer mit großzügig dimensionierter Maulweite verwendet werden müssen.
Hierfür wurde deshalb als Lösung mehrfach eine mehrschrittige Vorgehensweise vorgeschlagen: das Teil wird in einem ersten Schritt aus der Kiste isoliert herausgeholt, dann auf eine mechanische Ablage gelegt; im zweiten Schritt wird das Teil dann erneut gegriffen, jetzt unter vereinfachten Randbedingungen.
Nach (H. Geisselmann: Sensor-Roboter-System zum Vereinzeln und Ordnen von Werkstücken; FhG-Berichte 2-80, 1980, S. 26–28) wird beispielsweise ein Stahlgußteil mittels eines flexibel aufgehängten Magnetgreifers blind aus einer Kiste geangelt und dann auf einer Ebene abgelegt. Im zweiten Schritt wird die Lage des so isolierten und vor einem homogenen Hintergrund befindlichen Teil mittels Bildverarbeitung bestimmt, daraufhin vom Roboter erneut gegriffen und der weiteren Bearbeitung zugeführt.
Teile, die mittels Roboter nur ungenau gegriffen werden können, werden in der Industrie gelegentlich in eine selbstzentrierende Zwischenablage gelegt und dann erneut gegriffen.
Nach (M. Berger, G. Bachler et al.: A Vision Driven Automatic Assembly Unit: 23th int. Workshop of the Austrian Association for Pattern Recognition, Steyr, Austria, May 1999, Teil A: Robust Bin Picking, pp 205–214. Teil B: Pose Determination from a Single Image. pp 215–224) wurde für den "Griff in die Kiste" demonstriert, wie in einem ersten Schritt über ein Bildverarbeitungssystem gesteuert zunächst lediglich die Lage homogener Flächen bestimmt werden kann, an denen man mittels Sauggreifer ein Teil aus der Kiste holen und isolieren kann, ohne die genaue Lage des Teils bestimmen zu müssen. Das Teil wird dann auf eine ebene Ablage gelegt. Im zweiten Schritt wird über ein Bildverarbeitungssystem die dreidimensionale Lage des so isolierten Teils genau bestimmt, daraufhin vom Roboter erneut gegriffen und der weiteren Bearbeitung zugeführt.
Es wurde vorgeschlagen, ein gegriffenes Werkstück mit dem Roboter vor einer (zusätzlichen) fest installierten Kamera zu präsentieren und damit die tatsächliche absolute Lage des Werkstücks zu bestimmen, z.B, nach US 4305 130 .
Nachteil der bekannten Vorgehensweisen ist der Platzbedarf für die Ablage und/oder die fest montierten Kameras, und ggf. für zusätzlich erforderliche Beleuchtungen, außerdem der Zeitbedarf für den zweiten Schritt.
Aufgabe der Erfindung ist es, diese Nachteile zu vermeiden.
Die Aufgabe wird nach Anspruch 1 gelöst. Die nach Anspruch 1 bestimmte Abweichung wird verwendet, um, durch Korrektur einer vorzugsweise vorab für die Standardlage bestimmten Roboterbewegung, die gewünschte Zuführlage herbeizuführen. Wesentlich dabei ist, daß die Kameras) zur Bestimmung der Lageabweichung am Roboter montiert ist (sind), also mit dem Roboter bewegt werden, wodurch es ermöglicht wird, daß die Messung der Abweichung und die Korrektur der Zuführbewegung während der Bewegung zwischen Greifposition und Zuführposition realisiert werden kann. Die Abweichungsbestimmung geschieht vorzugsweise unter Bezug auf ein roboterbezogenes Koordinatensystem, besonders bevorzugt unter Bezug auf den Effektor, an dem die betreffenden Sensoren befestigt sind, denn dadurch wird die Rechnung von der aktuellen globalen Kameralage entkoppelt und für eine Realisierung in Bewegung vereinfacht.
Ein Ausführungsbeispiel wird in 1 bis 5 gezeigt; lediglich der einfacheren Darstellung halber ist alles zweidimensional gezeichnet, aus dem gleichen Grund ist der Roboter mit weniger als 6 Freiheitsgraden gezeichnet. Rechts des Roboters sei die Greifposition, links die Zuführposition.
1 und 2 zeigen den Einrichtbetrieb, 3 bis 5 den Automatikbetrieb.
1 zeigt einen Roboter 1, an dessen Endeffektor (vor dem Greifer) zwei Kameras 2 befestigt sind. Die Kameras sind so angeordnet, daß aus den Werkstückmerkmalen, die sie erfassen, die dreidimensionale Lage des Werkstücks bestimmt werden kann, relativ zu den Kameras bzw. dem Effektor, an dem sie befestigt sind. In dem Behälter 6 befinden sich Werkstücke 4. Das Werkstück 4a wurde aus dem Behälter gegriffen; es hängt etwas unsymmetrisch an dem Greifer 3. Diese Lage des Werkstücks 4a wird willkürlich als Standardlage definiert, vorzugsweise mit den Kameras vermessen, und gespeichert.
Der Roboter wird mit Teil in Standardlage in die Zuführposition (hier Montageposition) gebracht, siehe 2. Dort sollen die Werkstücke in ein Werkzeug 5 gesteckt werden. 2 zeigt den Roboter in Montageposition für Standardlage des Werkstücks; die zugehörige Roboterlage wird gespeichert. 3 zeigt das Aufnehmen eines Teils im Automatikbetrieb; das Teil sei trotz Kameraführung zufälligerweise etwas schief gegriffen worden. 4 zeigt die Ablageposition, die sich ohne Korrektur dadurch ergeben würde. Aus Zeitersparnisgründen vorzugsweise während der Bewegung zwischen dem Greifen und dem Zuführen, beispielsweise in der in 3 gezeigten Situation, wird über die Kameras mit Bildverarbeitung die Lageabweichung des Teils 4b gegenüber der Standardlage (4a) bestimmt. Die Montagebewegung des Roboters wird dieser Lageabweichung entprechend korrigiert. 5 zeigt die Systemkomponenten in dementprechend korrigierter Zuführlage.
Die Lageabweichung wird rechentechnisch vorteilhaft, aber nicht notwendigerweise, ausgedrückt in einem roboterbezogenen Koordinatensystem. Man verwendet vorteilhaft als Bezugspunkt für die rotatorischen Komponenten der Lageabweichung einen Punkt an dem Effektor, an dem die Kameras montiert sind. Dann gestaltet sich die Kamerakalibrierung besonders einfach (s.u.).
Hauptvorteil ist die Zeitersparnis, da Bildaufnahme, Bildauswertung, Korrekturrechnung und sogar die Aktualisierung der Roboterbahn während der ohnehin erforderlichen Bewegung durchgeführt werden können. Außerdem entfällt der für einen extra Korrekturschritt erforderliche Platz für eine Ablage und/oder fest montierte Kameras.
Bei Verwendung von Kameras hat die Bildaufnahme in Bewegung den zusätzlichen Vorteil, daß der Hintergrund aufgrund der Bewegungsunschärfe strukturlos wird, die Werkstückkanten sich also einfach vom Hintergrund trennen lassen.
Die Kameras sind über den Roboter definiert beweglich, also können ohne nennenswerten zusätzlichen Aufwand bekannte Methoden der Kamerakalibrierung verwendet werden, die auf defnierten Bewegungen beruhen, z.B. nach US 6101 455 mit raumfesten Targets. Diese Targets können, irgendwo in Reichweite der Kameras, platzsparend angebracht werden, z.B. an der Decke.
Je nach Teilegeometrie können Kameras verwendet werden, die ohnehin für die Lokalisierung der Teile im Behälter erforderlich sind; es kann aber auch sinnvoll sein, absichtlich verschiedene Kameras mit unterschiedlichen Bildfeldgrößen und sonstig unterschiedlichen Bildaufnahmeparametern zu verwenden, um z.B. Groblokalisierung der Teile im Behälter einerseits und Feinabgleich während der Bewegung andererseits getrennt optimal gestalten zu können.
Bevorzugt werden die Kameras an einem Effektor mit 6 Freiheitsgraden (normalerweise der Endeffektor) montiert; die Kameras können Sonderfällen auch an einem anderen Effektor als einem Effektor mit 6 Freiheitsgraden befestigt sein, wenn es die Freiheitsgrade der Montageaufgabe zulassen.
Unter Roboter ist in dieser Anmeldung ein beliebiges bewegungsgrogrammierbares (steuerbares oder regelbares) System zu verstehen.
Unter Lage ist in dieser Anmeldung die dreidimensionale Position und Orientierung gemeint (engl.: position and attitude).
Die Standardlage ist eine in Einrichtbetrieb speziell oder zufällig (s. Beispiel oben) bestimmte Lage des werkstücks im/am Greifer/Effektor. Die spezielle Bestimmung kann explizit durch vorzeigen oder implizit rein konstruktiv erfolgen, z.B. mit Nullpunkt in der Mitte eines Zangengreifers.
Eine Roboterlage ist die dreidimensionale Lage von beweglichen Roboterkomponenten, bevorzugt einfach die momentane Position und Orientierung des "Tool Center Point".
Bei dem ungenau oder unbekannt gegriffenen Teil kann es sich natürlich auch um ein vom Roboter gegriffenes Werkzeug handeln, dessen Lage für die anstehende Bearbei tung korrigiert werden muß, z.B. eine Lötspitze.
Kameras haben gegenüber anderen Sensoren wie z.B. triangulierenden Abstandsmessern den Vorteil höherer Flexibilität und leichterer Projektierbarkeit bei wechselnden Aufgabenstellungen; insbesondere beim Griff in die Kiste ist mit großer Teilevielfalt zu rechnen. Zur dreidimensionalen Lageerkennung von Teilen, mit einer oder mehreren Kameras sind mehrere alternative verfahren bekannt. Speziell vorteilhaft sind zwei oder drei nach außen gerichtete Kameras, die die Außenkonturen des Teils erfassen, gegen bewegten und damit unscharfen Hintergrund oder gegen eine (ohnehin vorhandene) homogene Hallendecke als Hintergrund; dadurch bleibt die Arbeitszelle von allen Seiten frei zugänglich.

Claims

Verfahren zum lagegerechten Zuführen von Teilen, insbesondere von aus einem Behälter gegriffenen Teilen, in einer gewünschten dreidimensionalen Lage, dadurch gekennzeichnet, daß über einen oder mehrere an einem Roboter direkt oder indirekt befestigte und mit dem Roboter bewegbare Sensoren, vorzugsweise eine oder mehrere Kameras, in gegriffenem Zustand die Abweichung der aktuellen Teilelage von einer Standardlage bestimmt wird.
Verfahren zum Positionieren von Teilen, die aus einem Behälter gegriffen wurden, nach Anspruch 1, wobei zum Lokalisieren der Teile zum Zweck des Greifens, einerseits, und zum Bestimmen der Abweichung der aktuellen Teilelage von einer Standardlage andererseits, die gleichen Sensoren verwendet werden.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, daß die Sensoren relativ zu einem roboterbezogenen Koordinatensystem kalibriert werden.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß die Sensoren relativ zu den Roboterkomponenten kalibriert werden, an denen sie befestigt sind.
Verfahren nach einem der Ansprüche 3 oder 4, dadurch gekennzeichnet, daß die Kalibrierung durch Kamerabewegungen realisiert wird.
verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die Bestimmung der Abweichung der aktuellen Teilelage von einer Standardlage durchgeführt wird während sich der Roboter bewegt, vorzugsweise mit Kameras als Sensoren.
Verfahren nach einem der Ansprüche 1 bis 6, mit einer oder mehreren Kameras als Sensoren, dadurch gekennzeichnet, daß die Kameras während der für die Bestimmung der Lageabweichung realisierten Bildaufnahme zur Decke der Halle oder Arbeitszelle gerichtet sind.