-
Die
Erfindung betrifft ein Verfahren und eine Anordnung zur Bildaufnahme
für die
Lageerkennung von ungeordneten oder schlecht geordneten Teilen, insbesondere
Schüttgut-Teilen,
vorzugsweise mittels Roboter oder sonstigen Handhabungssystemen.
-
Für diese
Aufgabe gibt es eine ausführliche, meist
akademische Literatur, die sich hauptsächlich mit den Bildverarbeitungsmethoden
auseinandersetzt. Die eingesetzten Bildauswerteverfahren sind meist
konturorientierte und modellbasierte Verfahren. Konturbasierte Verfahren
liefern gegenüber
flächenbasierten
Verfahren i. a. stabilere und genauere Ergebnisse und sind für teilweise
verdeckte Werkstücke
in der Regel erforderlich. Bei modellbasierten Verfahren wird vorab
die Werkstückgeometrie
(oder Teile davon) eingegeben, z. B. aus CAD-Daten.
-
Ein
entscheidendes Problem bei der praktischen Realisierung eines solchen
Systems besteht darin, daß sich
bei den bisher bekannten Kamera- und (ggf.) Beleuchtungsanordnungen
nur ein Teil der Werkstückkonturen
ausreichend zuverlässig
darstellt.
-
Nach
DE 3545960 wird versucht,
unter Verwendung einer einzelnen Kamera, mehrere Bilder mit unterschiedlichen
Beleuchtungen aufzunehmen; dadurch wird zwar die Wahrscheinlichkeit
erhöht,
daß sich
eine Kante in einer dieser Bildaufnahmen darstellt, sichergestellt
ist dies jedoch nicht, beispielsweise dann nicht, wenn an der Kante
der Hintergrund die gleichen Oberflächeneigenschaften hat wie das obere
Werkstück
und die gleiche räumliche
Orientierung.
-
Mit
bekannten Beleuchtungsanordnungen ergeben sich nur in Sonderfällen zuverlässige Bildmerkmale,
beispielsweise bei glänzenden
zylindrischen Teilen, bei denen sich eine zuverlässige, hell reflektierende
Mantellinie ergibt. Trotz des großen praktischen Bedarfs werden
daher bisher kaum Roboter zum dreidimensionalen Greifen von Schüttgut eingesetzt;
eine praxistaugliche allgemeingültige
Lösung
der Aufgabe ist bisher daran gescheitert, dass sich unter ungünstigen
Bedingungen bestimmte Konturen schlecht oder gar nicht darstellen.
Auswege sind mit grossem mechanischem Aufwand verbunden, beispielsweise
werden die Teile auf einem transpartenten und von unten durchleuchteten
Förderband
ausgebreitet und, falls sie übereinander
liegen, mit einer zusätzlichen
steuerbaren Einrichtung von unten angestossen in der Hoffnung, dass
sie danach getrennt liegen und sich damit mit vollständigen Konturen
darstellen; dann erst werden sie über ein Bildverarbeitungssystem
lokalisiert und durch einen Roboter gegriffen.
-
Welche
Konturen sich zuverlässig
darstellen und welche nicht, hängt
bei bekannten Kamera- und Beleuchtungsanordnungen
von der zufälligen
räumlichen
Orientierung der Werkstücke
ab. Damit wird die Realisierung einer zuverlässigen Bildauswertung äusserst
schwierig, insbesondere wenn die Aufgabe eine echte dreidimensionale
Lagebestimmung der Werkstücke
erfordert (i. a. drei Positionsparameter und drei Orientierungsparameter).
-
Ein
Ausweg ist der Übergang
von konturorientierter Verarbeitung zu flächiger 3D-Auswertung mittels strukturiertem Licht.
Diese Methode ist jedoch technisch äusserst aufwendig und erfordert ”exotische" Beleuchtungskomponenten.
-
DE-A 41 42 614 bezieht
sich auf eine Vorrichtung und ein Verfahren zum Erkennen von Objekten,
wie Unregelmäßigkeiten,
Schlagzahlen und -buchstaben auf Oberflächen, beispielsweise von Werkstücken. Vorgeschlagen
wird dort, dass mindestens zwei Kameras unter einem endlichen Winkel
zueinander ausgerichtet sind Und im Wesentlichen senkrecht auf einen
von einer ihnen zugeordneten Lichtquelle bewirkten Schlagschatten
gerichtet sind.
-
Raviv,
D.; Pao, Y. H.; Loparo, K. A. ”Segmentation
between overlapping parts; the moving shadows approach, IEEE Traans.
an Systems, Man and Cybernetics, Vol. 19(4), July-Aug. 1989, pp. 880–883 bezieht
sich auf ein Verfahren, mit dem dreidimensional überlappende Oberflächen segmentiert werden
sollen. Dabei wird eine einzige Kamera fest auf eine Menge von Teilen
gerichtet, die von einer Lichtquelle beleuchtet werden. Die Lichtquelle
ist drehbar um die Kamera und die Szene herum angebracht. Für die Aufnahmen
wird die Lichtquelle in einer Ebene gedreht, die im Wesentlichen
parallel zu den zu segmentierenden Oberflächen ist. Mit der Kamera werden
Aufnahmen aus ein und demselben Blickwinkel von der Oberfläche getätigt, welche
von der Lichtquelle jeweils aus verschiedenen Winkeln beleuchtet
wird. Zur Segmentierung werden diese Aufnahmen einer Schwellwertbildung
unterzogen. Die so entstandenen Binärbilder werden durch eine logische
Operation zu einem einzigen Ergebnisbild verknüpft.
-
Aufgabe
der Erfindung ist die Bereitstellung eines Verfahrens und einer
Anordnung, welche eine zuverlässige
Darstellung möglichst
vieler Konturen eines Werkstücks
ermöglichen,
und zwar unabhängig
von der zufälligen
räumlichen
Orientierung des Werkstücks,
zum Zweck der 3D-Lageerkennung von Werkstücken.
-
Die
Aufgabe wird durch das Verfahren nach Anspruch 1 bzw. die Anordnung
nach Anspruch 4 gelöst.
Vorteilhafte Ausführungsformen
sind in den abhängigen
Ansprüchen
definiert.
-
Das
Wort ”potentiell” ist so
zu verstehen, dass die Blickfelder der Kameras so eingerichtet sind,
dass sich ein gemeinsames Werkstück
mit je einer Kontur in den Blickfeldern befinden KANN (ist dies
nicht der Fall, so nimmt z. B. ein Roboter mit Kameras eine neue
Aus gangsstellung ein, um ein Werkstück zu suchen; bei fest montierten
Kameras fährt
z. B. ein Transportbend weiter, bis sich ein gemeinsames Werkstück in den
Bildfeldern befindet).
-
1 zeigt
eine Seitenansicht der Kamera- und Beleuchtungsanordnung, mit den
Kameras 1, 2, 3, und den ihnen zugeordneten,
(symbolisch gezeichneten) Beleuchtungen 11 (für 1), 12 (für 2)
und 13 (für 3),
sowie dem Schüttgut
mit den Werkstücken 4.
Die gezeichnete feste Unterlage kann natürlich beispielsweise durch
ein Tansportband oder einen Behälter
ersetzt werden.
-
2 zeigt,
um eventuell mögliche
Mißverständnisse
in 1 zu vermeiden, die Anordnung senkrecht von unten
gesehen.
-
3 zeigt
ausschnittsweise eine Kamera und die dazugehörige Beleuchtung und den damit
erzeugten Schlagschatten 5 an der Werkstückkante 6. Die
gegenüberliegende
Werkstückkante 7 ist
aus Sicht der Kamera 1 nur unter günstigen Umstäden erkennbar,
zum Beispiel bei einer dunklen Unterlage. Die Kanten 6 sind
aus Kamera 1 dagegen zuverlässig sichtbar, unabhängig von
der Materialhelligkeit und der dreidimensionalen Lage des Werkstücks, bei geeignet
angepaßter
Größe der Beleuchtung
gilt dies auch bei glänzenden
Werkstückoberflächen: Die Kanten 6 erzeugen
im Bild eine Kontur. Beide Seiten der Kontur sind von der Kamera
aus einsehbar, nämlich
einerseits die von der gegenüberliegenden
Beleuchtung beleuchtete Teilefläche 9 und
andererseits die von der gegenüberliegenden
Beleuchtung unbeleuchtete Teilefläche 8. Die Werkstückoberfläche 9 reflektiert
in jedem Falle hell, da sie sich zumindest näherungsweise im Glanzwinkel
befindet (bei matten Oberflächen
genügt
eine kleine Lichtquelle, um dies zu erreichen, bei glänzenden
Oberflächen
benötigt man
eine größere Lichquelle).
In Richtung Kamera befindet sich ein Schlagschatten 5,
in den die Kamera hineinblickt, der sichtbar ist (ein ggf. auf der
gegenüberliegenden
Seite des Werkstücks
liegender Schlagschatten wäre
z. B. nicht sichtbar): Darin erscheint die Fläche 8 immer dunkler
als die Fläche 9, unabhängig von
der Beschaffenheit des Werkstückmaterials.
Damit bildet sich die Werkstückkontur
immer zuverlässig
im Bild der Kamera ab, auch unabhängig vom Hintergrund, da die
Kontur durch zwei Seiten des selben Werkstücks berandet ist.
-
Das
Ende des Schlagschattens (Schattenkante 10) bildet allerdings
ebenfalls eine Kontur. Diese hat jedoch im Bild die umgekehrte Polarität: im Kamerabild
wechselt an der Werkstückkontur,
von oben nach unten gesehen, die Helligkeit von hell nach dunkel,
an der Schattenkante von dunkel nach hell. Damit sind bildauswertetechnisch
Werkstückkonturen von
Schattenkonturen sehr einfach voneinander zu unterscheiden (ein
ggf. auftretender Schlagschatten an Werkstückkante 7 hätte zwar
invertierte Polarität, doch
ist dieser von der Kamera aus nicht zu sehen).
-
4 zeigt,
von oben gesehen, eine Werkstückszene
und drei Kameras, gleichzeitig die drei getrennten Bilder 21 (für 1), 22 (für 2), 23 (für 3),
mit den Schlagschatten als dicke Kante eingezeichnet.
-
Ein
besonderer Vorteil der Erfindung besteht darin, daß mit der
Anordnung mit mindestens drei Kameras und entprechend eingerichteten
Bildfeldern jeder Konturabschnitt in mindestens einer Kamera sich in
der in 3 dargestellten Situation (Kante 6) befindet
und für
diese Kamera die Kontur also zuverlässig im Bild erscheint.
-
Ein
nachgeschaltetes Bildauswerteverfahren besitzt nun – von ggf.
vorhandenen grundsätzlichen geometrischen
Mehrdeutigkeiten abgesehen – alle Informationen,
die erforderlich sind, um eine Typerkennung oder Lageerkennung zu
realisieren. Alle unverdeckten Konturen der Werkstückoberseite
sind in mindestens einer Kamera zuverlässig dargestellt.
-
Die
sehr vorteilhaten Eigenschaften der Konturbildung bleiben auch prinzipiell
beibehalten, wenn die in Anspruch 4 oder 5 geschilderte Trennung
der Kanäle
nicht durchgeführt
wird, wenn sich also kein voll ausgeprägter Schlagschatten bildet,
sondern nur ein Halbschatten. Dies ist beispielsweise der Fall, wenn
die drei den Kameras gegenüberliegenden
Beleuchtungen durch ein einzelnes Ringlicht gebildet werden und
keine weiteren Massnahmen zur Kanaltrennung vorgenommen werden.
Der dann sich ausbildende Halbschatten ist zwar nicht so signifikant wie
ein Vollschatten, wie er bei Kanaltrennung erreicht wird, doch ist
dies in vielen Fällen
ausreichend.
-
Bei
der 3D-Auswertung besteht ein besonderer Vorteil der beschriebenen
Anordnung mit drei schräg
zueinander stehenden Kameras darin, daß sich, bei kleinen Drehungen
des Werkstücks
im Raum, mindestens ein Konturbild signifikant verändert (i.
a. verändern
sich mehrere Konturbilder gleichzeitig), dergestalt, daß eine 3D-Lagebestimmung auch
mit guter numerischer Genauigkeit erfolgen kann und ein einfaches
Einlernen nur durch Vorzeigen von Werkstücken in verschiedenen Lagen
ausreicht, ohne auf Modellinformation zurückgreifen zu müssen.
-
Besonders
vorteilhaft braucht für
eine 3D-Lageerkennung die Geometrie der Werkstückkanten nicht bekannt zu sein,
wenn die Erkennung durch einen Vergleich mit den im Einrichtbetrieb
in definierten Relativlagen aufgenommen Bildern oder davon abgeleiteten
Daten realisiert wird, denn bildauswertetechnisch sind Werkstückkonturen
von den umgebungsabhängigen
Schattenkonturen sehr einfach voneinander zu unterscheiden (s. o.),
ohne Vorwissen über
die Werkstückgeometrie
einsetzen zu müssen.
Nach den bisher bekannten Ansätzen
kann eine sichere Unterscheidung von Werkstück- und Schattenkanten erst
im Rahmen des (i. a. modellbasierten) Bildanalyseverfahrens geschehen;
hier geschieht diese Unterscheidung vorab und ohne Vorkenntnisse,
was wiederum die nachgeschaltete Analyse selbst wesentlich vereinfacht
und robuster macht.
-
Weitere
Vorteile ergeben sich daraus, daß Kameras und Beleuchtungen
gemeinsam gegen das Werkstück
bewegt werden. Z. B. wird bei Befestigung von Kamera und Beleuchtung
am Roboter im Einrichtbetrieb genau die gleiche relative Bildaufnahme- und
Beleuchtungssituation simuliert wie später bei feststehendem Roboter
und lageverändertem
Teil. Unvorhergesehene Effekte wie z. B. Glanzlichter und Schattenbildungen
treten damit beim Einlernen und beim Erkennen in genau der gleichen
Weise auf, was wiederum das Einlernen durch reines Vorzeigen und Vergleichen
(s. o.) erst praxisgerecht ermöglicht
(diese vorteilhafte Situation ist nicht gegeben, wenn Kameras und
Beleuchtungen getrennt bewegt werden). Einfaches Lernen durch Vorzeigen
und Erkennen durch Vergleichen mit dem Vorgezeigten, ohne Modellinformation,
wird also erreicht im Zusammenwirken von
- – zuverlässiger und
eindeutiger Konturextraktion, alleine an Körperkanten, aufgrund der gewählten Kamera- und Beleuchtungsanordnung,
und
- – exakt
reproduzierbarer Bildgewinnung durch gemeinsame Relativbewegung
von Beleuchtung und Kameras gegen das Werkstück.
-
(Letzeres
ist übrigens
auch erfüllt,
wenn zusätzlich
auch Kameras und Beleuchtungen gegeneinander beweglich sind, bei
Bildaufnahme jedoch immer in gleicher oder zumindest näherungsweise gleicher
Relativposition zueinander stehen).
-
Diese
Eigenschaft führt
auch dazu, da eine mehrstufige Arbeitsweise einfacher und sicherer
realisierbar wird, wobei der Roboter nach einer ersten Bildaufnahme
in einer ersten Bewegung zunächst
die Relativlage der Kameras zum Werkstück grob angepaßt, und über eine
nachgeschaltete Bildaufnahme und Bildauswertung eine Fein-Anpassung
für das
genaue Zugreifen realisiert wird. Natürlich kann das Ganze auch in
mehr als zwei hintereinandergeschalteten Stufen oder kontinuierlich
realisiert werden.
-
Mehrkamera-Anordnungen
mit Durchlicht anstelle von Auflicht erzeugen zwar ebenso zuverlässige Konturbilder,
sind jedoch nur in einfachen Sonderfällen realisierbar. Dies gilt
insbesondere für
eine mehrdimensionale Lageerkennung; bei Durchlicht-Anordnungen
sind keine beleuchteten Teileflächen
zu sehen: für
das Erkennen von ungeordnet übereinander
liegenden Teilen, wie in 1 dargestellt, sind Durchlicht-Anordnungen
praxisgerecht nicht realisierbar.
-
Die 2 zeigt
eine symmetrische Anordnung mit 3 Kameras. Die hier beschriebene
Anordnung und das hier beschriebene verfahren betreffen natürlich auch
sinngemäß gleichartige
Anordnungen, die von einer symmetrischen Geometrie abweichen. Kameras
und Lampen müssen
sich sowohl untereinander als auch gegeneinander nicht in gleicher
Höhe befinden;
die Teilung des 360-Grad-Umfangs braucht nicht in gleichen Winkeln
zu erfolgen. Die Bildfelder brauchen grundsätzlich den 360-Grad-Umfang nicht vollständig abzudecken
(Eindeutigkeit der Auswertung abhängig von der Werkstückgeometrie,
z. B. bei Symmetrien oder umgekehrt bei sehr signifikanten lokalen
Konturformen).
-
Die 1 und 2 zeigen
Anordnungen mit von außen
nach innen gerichteten Kameras. Die Kameras müssen nicht notwendigerweise
(alle) von außen
nach innen gerichtet sein (z. B. bei Werkstücken mit inneren Kanten, wie
z. B. Kreisringen).
-
Strukturierte
Beleuchtug ist nicht erforderlich; natürlich kann grundsätzlich zusätzlich eine strukturierte
Beleuchtung verwendet werden, um z. B. über nachgeschaltete Bildbearbeitungssoftwarefilter
eine bessere Trennung gegen Fremdlicht zu erreichen.
-
Die
beschriebene Anordnung kann anstelle von drei Kameras natürlich auch
mit sinngemäßen Spiegelanordnungen
und weniger Kameras realisiert werden, auch unter Zuhilfenahme von
starren oder flexiblen Bildleitern. Die gegenüber den Kameras befindlichen
Beleuchtungen können,
wie am Beispiel eines Ringlichts bereits erläutert, aus einer einzelnen Beleuchtung
bestehen, oder aus einer zufällig
gegenüber
den Kameras vorhandenen Umgebungsbeleuchtung.
-
Die
Ansprüche
beziehen sich neben Robotern natürlich
ebenso auf beliebige steuerbare/regelbare Bewegungs- und Handhabungssysteme.