-
Die
vorliegende Erfindung betrifft ein Verfahren zur Bestimmung der
Lage von durch regelgeometrische Körper beschreibbaren Objekten
sowie eine Vorrichtung, welche anhand der durch das Verfahren bestimmten
Daten die entsprechenden Objekte behandeln kann.
-
In
vielen Bereichen der Technik, wie zum Beispiel der Automatisierungstechnik
oder bei Servicerobotern welche Objekte aufnehmen oder greifen sollen,
besteht die Aufgabe, die räumliche
Lage von beliebig orientierten Objekten (Werkstücken, Bauteilen, ...) zu bestimmen.
Die Lage der Objekte im Raum ist unbekannt und muss in Position
und Orientierung bestimmt werden, um geeignete Greifpositionen zum Greifen
zu liefern. In der Problemstellung ist immer die Forderung nach
einer möglichst
kurzen Zeitspanne für
die Erkennung enthalten.
-
Eine
Erschwerung des Problems entsteht durch weitere Objekte in der Umgebung
der zu greifenden Objekte. Ein in der Praxis häufiger Fall sind zum Beispiel
in Kisten aufbewahrte Werkstücke,
die als vollkommen ungeordnetes Schüttgut vorliegen. Hierbei ist
jedes einzelne Objekt von einer Vielzahl anderer Objekte umgeben.
-
Das
zugrunde liegende technische Problem der Erfindung gliedert sich
in folgende Teilaspekte:
- • Das interessierende Objekt
muss vom Hintergrund absegmentiert werden, d.h. alle Punkte der Punktwolke,
die nicht zum Objekt gehören,
müssen
von den Punkten, die zum Objekt gehören, getrennt werden. Im Beispiel
von ungeordneten Teilen in Kisten muss unter den vielen (gleichen) Teilen
erst ein überhaupt
zum Greifen in Frage kommendes, d.h. voraussichtlich frei zugängliches,
Objekt gefunden werden.
- • Die
exakte Lage des Objektes im Raum muss mit Ihren Parametern wie Position
und Richtung bestimmt werden. Im Fall von zu greifenden Teilen kann
daraus dann die Greifposition bestimmt werden.
-
Nach
dem Stand der Technik erfolgt eine solche Bestimmung der Lage von
Objekten zum Beispiel unter Verwendung photogrammetrischer Methoden,
wie der „3D
ROBOT VISION" von
ISRA VISION SYSTEMS AG. Der Nachteil ist hier, dass auf den Objekten
Merkmale vorhanden sein müssen,
die es erlauben, photogrammetrische Verfahren anzuwenden.
-
Eine
andere Vorgehensweise nach dem Stand der Technik besteht darin,
aus einem CAD-Modell eine große
Zahl von Ansichten des zu manipulierenden Objektes zu Bestimmen
und anhand dieser das Objekt auszuwählen. Hierzu sind jedoch 4000
bis 12000 Bilder notwendig, was das Verfahren Zeit- und Rechenintensiv
macht.
-
Aufgabe
der vorliegenden Erfindung ist es daher, ein Verfahren anzugeben,
mit welchem Objekte, die zumindest teilweise durch regelgeometrische Elemente
beschreibbar sind, vor einem komplexen Hintergrund ohne detaillierte
Kenntnis der Form oder auf dem Objekt angebrachter Markierungen
möglichst
schnell erkannt werden können.
-
Die
Aufgabe wird gelöst
durch das Verfahren nach Anspruch 1 sowie durch die Behandlungsvorrichtung
nach Anspruch 31. Vorteilhafte Weiterbildungen des erfindungsgemäßen Verfahrens
und der erfindungsgemäßen Vorrichtung
werden durch die jeweiligen abhängigen
Ansprüche
gegeben.
-
Detaillierte Beschreibung
der Erfindung
-
Die
Erfindung bezieht sich auf Objekte, die durch regelgeometrische
Elemente, wie z.B. Zylinder oder Kegel beschrieben werden können. Solche
Objekte können
zum Beispiel Rohre sein. Weiter bezieht sich die Erfindung auf Objekte,
die aus regelgeometrischen Elementen aufgebaut sind oder regelgeometrische
Elemente enthalten.
-
Der
Ausdruck „regelgeometrisch" bedeutet hierbei,
dass die entsprechende Form oder Geometrie durch geschlossenen Formeln
und/oder parametrische Formeln und/oder implizite Formeln beschreibbar
ist.
-
Das
erfindungsgemäße Verfahren
nutzt eine Kombination aus Bildverarbeitung und 3D-Datenverarbeitung.
Die Grundlage für
die Bildverarbeitung sind in einer rechteckigen Matrix angeordnete
Pixelwerte, wobei ein einzelnes Pixel eine Tiefeninformation (das
ist dann ein Tiefenbild) oder eine Intensitätsinformation (das ist dann
ein Grauwert oder Farbbild) enthalten kann. Allgemeiner können die
3D- und Intensitätswerte
auf einem beliebigen anderen als einem rechteckigen regelmäßigen 2D-Gitter
angeordnet sein. Unter „regelmäßig" wird z.B. auch ein
Gitter, das durch Zentralprojektion (Modell für Kameraabbildung) eines äquidistanten,
orthogonalen Gitters auf eine dazu nicht parallele Ebene entsteht,
verstanden, obwohl in dieser Ebene die Abstände zwischen den Gitterpunkten
nicht mehr gleich sind. Regelmäßige Dreiecksgitter
oder deren Duale – Hexagonalgitter – sind auch
möglich.
Das entscheidende ist eine regelmäßige Nachbarschaftsstruktur.
Diese Daten werden im Folgenden als Bild bezeichnet. Die Grundlage
für die
3D-Datenverarbeitung
sind Punkte im Raum, denen jedem einzelnen 3D-Koordinaten (x, y,
z) zugeordnet sind. Solche Daten werden von 2,5D- und 3D-Sensoren
geliefert. Die Tiefenbilder sind nach der Voraussetzung in der Problemstellung
immer vorhanden bzw. errechenbar. Manche Sensoren zur 2,5D-/3D-Datenerfassung
liefern zusätzlich
noch Grauwertbilder, bei welchen dann jedem Grauwertpixel eine 3D-Koordinate
zugeordnet ist, was die Auswertung verbessern kann.
-
Im
Folgenden wird das erfindungsgemäße Verfahren
beschrieben, das aus mehreren Schritten besteht. Die einzelnen Schritte
sind nicht in allen Varianten des Verfahrens notwendig und es werden
Varianten genannt, in denen einzelne Schritte unterschiedlich ausgeprägt sein
können.
Zuerst wird das allgemeine Verfahren be schrieben, das für Objekte, die
regelgeometrische Elemente enthalten, vorgesehen ist.
-
Das
erfindungsgemäße Verfahren
dient zum Erkennen und Behandeln von mindestens einem in einem begrenzten
Bereich in einer Anordnung vorliegenden Objekt, dessen Form durch
ein oder mehrere in bekannter Beziehung zueinander stehende Elemente,
welche jeweils zumindest ein regelgeometrisches Element aufweisen,
beschreibbar ist. Dabei wird im folgenden überall, wo der Begriff des
regelgeometrischen Elementes verwendet wird, auch gemeint, dass
das entsprechende regelgeometrische Element bzw. Element mehrere
regelgeometrische Elemente aufweisen kann oder daraus bestehen kann.
-
Ein
Element oder regelgeometrisches Element kann auch zwei, drei, vier,
fünf oder
mehr regelgeometrische Elemente aufweisen oder daraus bestehen.
Der begrenzte Bereich ist hierbei im Wesentlichen durch den Aktionsbereich
der Behandlungsvorrichtung gegeben. Der Bereich kann aber auch zum
Beispiel durch die Wände
einer Verpackung oder Kiste, in welcher die Objekte untergebracht
sind, begrenzt sein. Die Behandlung eines Objektes kann z.B. das
Greifen, das Ansaugen, das Verändern
aber auch das Vermessen und Überprüfen des
entsprechenden Objektes sein.
-
Erfindungsgemäß muss das
zu manipulierende Objekt zunächst
ausgewählt
werden. Der Prozess des Auswählens
beinhaltet hier einerseits die Bestimmung eines Objektes aus mehreren,
das Auswählen
beinhaltet aber auch die Bestimmung von Eigenschaften des Objektes,
wie beispielsweise seiner Lage und/oder Eigenschaften seiner Form.
-
Um
ein Objekt in diesem Sinne auswählen
zu können, muss
zunächst
eine Datengrundlage geschaffen werden. Hierzu werden mit Hilfe eines
entsprechenden Sensors und eventueller Umrechnung die nötigen kombinierten
Daten, d.h. 3D-Daten und ein Tiefenbild oder 3D-Daten und ein Grauwertbild gewonnen.
Als Sensor zur Aufnahme der dreidimensionalen Daten eignen sich
z.B. Lichtschnitt, Streifenprojektion oder Time of Flight (ToF)-Sensoren.
Der Sensor nimmt Teile aus einer Ansicht auf und stellt die so erhaltenen
Daten digital zur Verfügung.
Das Tiefebild bzw. das Grauwertbild kann durch einen gesonderten
Sensor bestimmt werden, es kann aber auch aus den wie oben beschriebenen
dreidimensionalen Daten berechnet werden. Unter einem Tiefenbild
wird hier eine Anordnung von Daten in einer Matrix verstanden, in
welcher jeder Pixel, d.h. jeder Datenpunkt, einen Abstand enthält. Dieser
Abstand ist die Entfernung der Oberfläche der erfassten Anordnung
von Objekten zu einer bestimmten Ebene, welche z.B. durch den Sensor
definiert sein kann. Entsprechend enthält das Grauwertbild an den
einzelnen Pixeln die Helligkeit oder den Grauwert der Oberfläche des
Objektes an der entsprechenden Stelle. Wie oben beschrieben, muss
diese Anordnung von Pixeln nicht notwendigerweise rechteckig sein,
infrage kommt im allgemeinen jedes regelmäßige 2D-Gitter im obigen Sinne.
-
In
einem zweiten Schritt wird nun das zweidimensionale Bild auf Basis
der Grauwerte, der Farbe, des Abstandes und/oder den aus den dreidimensionalen
Koordinaten abgeleiteten Werten, wie z.B. der Krümmung oder dem Abstand zu einer
Ebene, einem Punkt oder einer Achse in einzelne Regionen zerlegt. Es
werden also in diesem zweiten Schritt in den zweidimensionalen Daten
zusammenhängende
Segmente mit einer ähnlichen
Eigenschaft bestimmt. Hierbei kommt es darauf an, dass die Werte
der betrachteten Eigenschaft innerhalb eines Segmentes miteinander in
Zusammenhang stehen. Der Zusammenhang kann z.B. darin bestehen,
dass die Werte gleich sind oder sich stetig ändern. Die Bildung von Segmenten kann
z.B. mittels des Regiongrowing-Verfahrens erreicht werden, bei dem
Bildpunkte mit ähnlichen
Eigenschaften zu Regionen zusammengefasst werden. Ähnliche
Pixelwerte bedeutet hier, dass sich die Werte benachbarter Pixel
um nicht mehr als einen vorgegebenen Wert unterscheiden.
-
Im
dritten Schritt werden die im zweiten Schritt bestimmten Segmente
in Abhängigkeit
von zumindest einer vorbestimmten Eigenschaft der Segmente zumindest
einem Element zugeordnet. Synonym zum Begriff „Segment" wird im Folgenden auch der Begriff „Region" verwendet. Von den
entstandenen Regionen werden Eigenschaften berechnet, die sowohl
aus der Kontur (dem Rand) der Region als auch aus der Region als
flächiges
Element bestimmt werden. Dies können
Eigenschaften, wie Fläche, Umfang,
Momente, kleinste und größte Breite,
Anordnung etc. sein. Bei der Auswahl auf der Basis des Inhaltes
der Region werden die Eigenschaften vor allem aus den 3D-Koordinaten
aller Punkte einer Region ermittelt, z.B. Minima, Maxima, Mittelwerte,
Varianz, etc. einer Koordinate oder der lokalen Krümmungen.
Nach diesen Eigenschaften werden Kriterien aufgestellt, nach denen
die zu findenden Objekte grob so ausgewählt werden, dass diese Eigenschaften
der ausgewählten
Regionen denen der gesuchten Objekte oder Teilen davon grob entsprechen.
Kriterien können
z.B. eine möglichst
exponierte Lage, eine relative Lage zu bereits gefundenen Teilgeometrien
oder ein bestimmter Flächentyp
sein. Enthält also
z.B. das gesuchte Objekt einen Zylinder, so entsteht in dem Bild
eine Region, die diesen Zylinder beschreibt. Diese Region kann z.B.
aufgrund ihrer Länge
und Breite dem Zylinder zugeordnet werden.
-
Im
vierten Schritt werden nun aus den Segmenten oder Regionen, welche
regelgeometrischen Elementen zugeordnet sind, ein oder mehrere Segmente
nach vorbestimmten Kriterien ausgewählt. Dies ist insbesondere
notwendig, wenn bei der Auswahl der Segmente nach den Kriterien
Ausgangsdaten für
mehrere Objekte gefunden werden. Im vierten Schritt können die
Objekte dann z.B. noch nach Gesichtspunkten für bessere Greifbarkeit sortiert
werden. So ist bei mehreren Teilen in Kisten ein möglichst
weit oben liegendes Objekt besser geeignet als ein weiter unten
liegendes.
-
Im
fünften
Schritt werden nun die den ausgewählten Segmenten zugeordneten
dreidimensionalen Daten bestimmt. Es werden also zu den nach dem
vierten Schritt ausgewählten
zweidimensionalen Daten, die zumindest einen Teil eines zu findenden Objektes
enthalten, die entsprechenden 3D-Daten gesucht. Hierbei werden den
ausgewählten
Segmenten jene im ersten Schritt aufgenommenen dreidimensionalen
Daten zugeordnet, welche bei der Projektion, welche zur Erlangung
der zweidimensionalen Daten durchgeführt wurde, in die entsprechenden Segmente
fallen. Es wird also entsprechend den Pixelindices des Bildes, d.h.
den zweidimensionalen Daten, die Werte der anderen Koordinaten hinzugenommen.
Das Ergebnis hiervon sind im Verhältnis zur gesamten Szene in
Bezug auf die Anzahl der Punkte kleine Punktwolken, die mindestens
einen Teil eines zu findenden Objektes enthalten.
-
Im
sechsten Schritt wird nun ausgehend von so ermittelten dreidimensionalen
Daten als Startbereich in die im ersten Schritt ermittelten dreidimensionalen Daten
zumindest ein Element eingepasst. Das Einpassen besteht hierbei
darin, an die aufgenommenen dreidimensionalen Daten die Geometrie des
einzupassenden Elements in Form und Lage in einem gewissen Sinne
möglichst
gut anzupassen. Die Anpassung kann iterativ erfolgen, beispielsweise in
einem Best-Fit-Verfahren oder nach dem Tschebyscheff-Verfahren.
Es können
aber auch andere, auch nicht iterative Verfahren Verwendung finden.
Bestandteil des Einpassens ist auch, aus den aufgenommenen dreidimensionalen
Daten jene Daten auszuwählen,
welche zusammen mit den im fünften Schritt
ausgewählten
Segmenten zugeordneten Daten das dem entsprechenden Segment zugeordnete Element
beschreiben. Dazu werden beim Einpassen jene Punkte, die nicht zum
Objekt gehören,
in eine separate Punktwolke absepariert. Es wird also in die Ergebnispunktwolke
aus dem fünften
Schritt als Startbereich das nach den Kriterien geeignete Element
eingepasst. Durch die Einpassung wird die Form und/oder die Lage
des Elementes bestimmt, wodurch zumindest die Lage und/oder Form
des Objektes zumindest zum Teil bestimmt wird. Dabei ist von Vorteil,
dass die gelieferten Startbereiche dank der vorangegangenen Schritte
im Verhältnis
zur gesamten Szene nur einen Bruchteil der Anzahl der Punkte der
Eingangsdaten enthält,
was die Einpassung schneller macht.
-
Wichtig
ist dabei, neben der Robustheit der Einpassung gegen Störungen und
Rauschen, eine in die Besteinpassung integrierte Elimination von
Punkten, die nicht zu dem Element gehören. Das geschieht durch eine
Iteration von Einpassung einer Regelgeometrie, Entfernen von Punkten
aus der Punktwolke und wieder Hinzufügen von Punkten. Dies ist wichtig,
da in den Bilddaten die Auswahl nur grob erfolgt ist und unter Umständen sogar
Teile fremder Objekte in der Auswahl mit enthalten sein können. Ist
die Einpassung erfolgreich, so ist das Ergebnis die Lage und Form
der Regelgeometrie, eine zugehörige
Punktmenge und eine Restpunktemenge. Bei Objekten, die durch genau
ein Element beschrieben werden, ist damit die Lagebestimmung vollendet.
Zum Beispiel reicht für
die Lagebestimmung eines Rohres die Einpassung eines Zylinders. Für komplexere
Objekte, die mehrere Elemente enthalten, ist normalerweise die Lage
durch das Kennen der Lage eines einzelnen Elements noch nicht eindeutig
festgelegt. In dem Fall werden solange iterativ weitere Objekte
eingepasst, bis die Lage des Objektes bis auf Symmetrie eindeutig
festgelegt ist.
-
Es
wird nun im siebten Schritt aus der so ermittelten Lage des zumindest
einen regelgeometrischen Elementes die Lage des auszuwählenden
Objektes bestimmt. Hierzu werden jene dreidimensionalen Daten ausgewählt, welche
zusammen mit den das zumindest eine regelgeometrische Element abbildenden
Daten das auszuwählende
Objekt beschreiben.
-
Ist
ein Objekt ausgewählt
und durch das obige Verfahren ausreichend bestimmt, so kann nun eine
Behandlungsvorrichtung anhand der das ausgewählte Objekt beschreibenden
Daten gesteuert werden. Die Behandlung kann beispielsweise in einem Greifen,
Verformen, Bedrucken, Verändern,
Ansaugen, Manipulieren, Vermessen und/oder Überprüfen bestehen.
-
Im
Fall von komplexen Objekten, die nicht durch genau ein regelgeometrisches
Element beschrieben werden können,
sind für
die iterative Einpassung weiterer Elemente auch weitere Bereiche aus
der Punktwolke der gesamten Szene notwendig, um dort die Einpassungen
vornehmen zu können.
Es müssen
also ähnlich
zum drit ten bis sechsten Schritt für die zweite bis zur maximal
notwendigen Iteration Startbereiche zur Verfügung gestellt werden. Die Anzahl
der nötigen
Iterationen richtet sich dabei nach den Freiheitsgraden von Objektrotationen
und Translationen. Dabei wird folgendermaßen vorgegangen.
-
Da
von dem zu findenden Objekt bekannt ist, wo weitere regelgeometrische
Elemente vorhanden sind und wie diese zu dem bereits gefundenen
in räumlicher
Beziehung stehen, können
in der gesamten Szene an den entsprechenden infrage kommenden Bereichen
Daten ausgewählt
werden. Die Auswahl der Daten kann entweder im Bild oder in den 3D-Daten
erfolgen, wobei vermutlich die Auswahl im Bild in der praktischen
Anwendung schneller sein wird. Für
die Auswahl im Bild werden zwei Varianten vorgeschlagen.
-
Die
erste Variante ist die Auswahl von einer an den vorhergehenden Startbereich
angrenzenden Region aus dem zweiten Schritt, die die festgelegten Kriterien
im dritten Schritt nicht erfüllt
hat oder für
die im dritten Schritt die Kriterien zur Auswahl neu definiert werden.
Bei mehreren gefundenen Regionen kann anhand von a priori Informationen über das
zu findende Objekt eine Auswahl getroffen werden.
-
Bei
der zweiten Variante wird auf der Basis von a priori Informationen
gezielt nach Bereichen gesucht. Dazu kann eventuell von dem gesuchten
Objekt ein Tiefen- oder Grauwertbild erzeugt und verwendet werden.
Anhand der bereits festgelegten regelgeometrischen Elemente und
damit eingeschränkten
Freiheitsgraden können
die Regionen gesucht werden.
-
Daran
müssen
sich noch die Schritte zur Festlegung der Startbereiche aus dem
Gesamtverfahren anschließen.
-
Die
direkte Auswahl der Startbereiche in den 3D-Daten ist ähnlich der
zweiten Variante denkbar. Dazu können
in diesem Fall Punkte, die beim Bewegen der Objekte um die verbliebenen
Freiheitsgrade überstrichen
werden, als Startbereiche für
die nächste
Iteration dienen.
-
Im
Folgenden werden einige weitere Ausführungsformen des erfindungsgemäßen Verfahrens
beschrieben.
-
In
einer ersten bevorzugten Ausführungsform
werden im zweiten Schritt nicht die Pixelwerte für die Segmentierung herangezogen,
sondern vorher aus den Pixelwerten berechnete Größen. Im Fall von Tiefenbildern
können
dies z.B. die Krümmungen sein.
-
Damit
kann auch die Auswahl der Startsegmente für die beschriebene iterative
Einpassung weiterer regelgeometrischer Elemente abgewandelt werden.
Jetzt wird von dem gesuchten Objekt die Krümmungsverteilung berechnet
und im Krümmungsbild
der Szene werden die entsprechenden Segmente bzw. Regionen gesucht.
-
In
zweiten bevorzugten Ausführungsform des
erfindungsgemäßen Verfahrens
können
im dritten Schritt die Kriterien automatisiert bestimmt werden aus
einem einzeln digitalisierten Objekt, von dem automatisch die interessierenden
Größen extrahiert werden.
Anstatt das Objekt zu digitalisieren, kann, falls vorhanden, ein
CAD-Modell im Rechner in ein entsprechend skaliertes Tiefen- oder
Grauwertbild umgewandelt werden.
-
Das
nach der Digitalisierung entstehende Bild gibt aufgrund der ungleichen örtlichen
Auflösung der
Matrix in den beiden Richtungen die Szene verzerrt wieder. Damit
die Kriterien im dritten Schritt und anderen Schritten in beiden
Richtungen der Matrix die gleiche Bedeutung haben, kann das Bild
in einer dritten bevorzugten Ausführungsform des Verfahrens in
einer Richtung gesubsampelt und/oder geresampelt werden. Es können aber
auch die Kriterien je nach der Lage der Regionen im Bild entsprechend skaliert
werden.
-
Bestimmte
Objekte werden im Bild charakteristische Muster erzeugen. Diese
können
in einer vierten bevorzugten Ausführungsform mit einer in der Bildverarbeitung
gängigen
Methode z.B. des Pattern Matching im Ergebnis vom zweiten Schritt
gefunden werden. Das zu findende Muster wird dazu ähnlich wie
oben beschrieben aus einem einzelnen digitalisierten Objekt und/oder
einem CAD-Modell erzeugt. Der dritte Schritt des Verfahrens kann
so in gewissen Fällen
ersetzt werden. Damit können
auf einmal mehrere Startbereiche für den sechsten Schritt erzeugt werden,
was unter Umständen
sogar eine Iteration zur vollständigen
Lagebestimmung erübrigt.
-
Im
Folgenden soll das erfindungsgemäße Verfahren
anhand einiger Beispiele veranschaulicht werden.
-
1 zeigt
ein Flussdiagramm des erfindungsgemäßen Verfahrens.
-
2 zeigt
eine Vorrichtung zur Implementierung des erfindungsgemäßen Verfahrens.
-
1 zeigt
ein Flussdiagramm des erfindungsgemäßen Verfahrens. Hierbei werden
zunächst
in einem ersten Schritt 1 3D-Daten auf einem regelmäßigen Gitter
aufgenommen. Darüber
hinaus wird im ersten Schritt 1 ein Tiefenbild gewonnen.
Wie oben beschrieben, kann anstelle des Tiefenbildes beispielsweise
auch ein Grauwertbild oder ein Farbbild gewonnen werden. Das entsprechende
zweidimensionale Bild kann aus dem dreidimensionalen Bild gewonnen
werden oder durch einen gesonderten Sensor aufgenommen werden. In
dem Tiefenbild wird nun in einem zweiten Schritt 2 eine
Segmentierung durch „Region-Growing" durchgeführt. Hierbei werden
zusammenhängende
Segmente mit ähnlichen
Eigenschaften bestimmt. Es werden nun in einem dritten Schritt 3 Regionen
bzw. Segmente nach Kriterien, wie Flächeninhalt, Länge oder
Breite ausgewählt.
Diese Regionen werden zumindest einem regelgeometrischen Element
zugeordnet. Es folgt ein Überprüfung 4,
ob im dritten Schritt 3 überhaupt eine Region einem
regel geometrischen Element zugeordnet wurde. Ist dies nicht der
Fall, so müssen
in einem Schritt 5 die Kriterien zur Regionsauswahl geändert werden
oder eine Fehlermeldung ausgegeben werden. Werden im Schritt 5 die
Kriterien geändert, so
muss der dritte Schritt 3 erneut ausgeführt werden. Dies geschieht
so lange, bis die Überprüfung 4 ergibt,
dass im dritten Schritt 3 eine Region einem regelgeometrischen
Element zugeordnet wurde.
-
Für den Fall,
dass im dritten Schritt 3 mehrere Regionen unterschiedlichen
regelgeometrischen Elementen zugeordnet wurden, kann nun im vierten Schritt 6 die
Region ausgewählt
werden, welche beispielsweise am Besten greifbar ist. Hierzu werden bestimmte
Krite- rien angewandt, welche die Greifbarkeit eines regelgeometrischen
Elementes beschreiben. Auf den vierten Schritt folgend wird ein Überprüfung 8 durchgeführt, ob
im vierten Schritt 6 ein regelgeometrisches Element als
das am besten geeignete ausgewählt
wurde. Ergibt diese Prüfung 8, dass
im vierten Schritt 6 kein Element als das am besten zu
greifende ausgewählt
wurde, so müssen
in einem Schritt 7 die Kriterien für die Auswahl im vierten Schritt 6 geändert werden
oder eine Fehlermeldung ausgegeben werden. Werden im Schritt 7 die Kriterien
geändert,
so erfolgt im vierten Schritt 6 die Regionsauswahl erneut.
Die Kriterien werden im Schritt 7 so lange geändert, bis
die Überprüfung 8 ergibt,
dass ein regelgeometrisches Element als das am Besten geeignete
ausgewählt
wurde. Es wird dann im sechsten Schritt 9 eine Besteinpassung
der regelgeometrischen Elemente vorgenommen. In einer Entscheidung 10 kann
jetzt noch entschieden werden, ob weitere Regionen regelgeometrischen Elementen
zugeordnet werden sollen oder nicht. Dies ist insbesondere interessant
für Objekte,
deren Form sich durch mehrere regelgeometrische Elemente beschreiben
lässt.
Für den
Fall, dass weitere Segmente regelgeometrischen Elementen zugeordnet
werden sollen, wird das Verfahren ab dem dritten Schritt 3 erneut
durchgeführt.
Ergibt die Entscheidung 10, dass keine weiteren Regionen
untersucht werden sollen, so werden im sechsten Schritt 11 die regelgeometrischen
Elemente in die dreidimensionalen Daten eingepasst, wobei aus den
dreidimensionalen Daten solche Daten ausgewählt werden, welche die regelgeometrischen
Elemente beschreiben.
-
2 zeigt
eine Anordnung mit einem Roboter, welche geeignet ist, das erfindungsgemäße Verfahren
auszuführen.
Die Aufgabe ist hierbei, mittels eines Roboterarms 3 in
Kisten 4 angeordnete Objekte zu greifen. Die Steuerung
des Roboters sowie die Aufnahme und Verarbeitung der Daten erfolgt
hier mittels eines Rechners 2. Die dreidimensionalen Daten
werden über
ein Scannsystem 1 aufgenommen. Das Scannsystem 1 ist
hierbei so ausgerichtet, dass es die Anordnung von Objekten in den
Kisten 4 erfassen kann. Das Scannsystem 1 kann
so ausgebildet sein, dass es über
den Kisten 4 bewegbar ist. Der Roboterarm 3 ist
an mehreren Gelenken bewegbar und kann in die Kisten 4 hineingreifen.
-
Es
nimmt nun im ersten Schritt das Scannsystem 1 dreidimensionale
Daten von der Anordnung der Objekte in den Kisten 4 auf.
Diese Daten werden zunächst
im Rechnersystem 2 gespeichert. Das Scannsystem 1 kann
so ausgebildet sein, dass es zusätzlich
zweidimensionale Daten, wie z.B. ein Tiefebild oder ein Grauwertbild
aufnimmt. Diese Daten werden dann ebenfalls im Rechner 2 gespeichert.
Es ist aber auch möglich,
dass der Rechner 2 aus den vom Scannsystem 1 ermittelten
dreidimensionalen Daten zweidimensionale Daten errechnet. Das Rechensystem 2 kann
nun die Einpassung der regelgeometrischen Elemente in die vom Scannsystem 1 übermittelten
Daten vornehmen. Daraus ergeben sich Informationen wie z.B. die
Lage und die Form der in den Kisten 4 angeordneten Objekte.
Das Rechnersystem 2 kann anhand dieser Informationen nun den
Roboterarm 3 so steuern, dass er die in den Kisten 4 angeordneten
Objekte greifen oder anders manipulieren kann.
-
Im
Folgenden werden nun noch einige Ausführungsbeispiele für eine Umsetzung
des erfindungsgemäßen Verfahrens
beschrieben.
-
Im
ersten Beispiel wird ein System beschrieben, welches ungeordnete
Teile, die nur aus einem regelgeometrischen Element bestehen, in
ihrer Lage bestimmen kann und welches für diese möglichst Kollisionsfreie Greifpunkte
bestimmen kann. Solche Teile können
z.B. Rohre sein. Es wird dabei folgendes Auswerteverfahren umgesetzt.
-
Durch
ein Regiongrowing-Verfahren wird das Tiefenbild in Regionen segmentiert.
Die Kriterien für die
Auswahl der Regionen sind z.B. der Flächeninhalt, der einem vollständig erfassten
Rohr entspricht plus/minus einer Toleranz. Werden mehrere geeignete
Regionen gefunden, dann werden diese nach Greifbarkeit sortiert,
also möglichst
freiliegende, d.h. obenliegende zuerst. In die den Pixelwerten entsprechenden
3D-Daten wird ein Zylinder eingepasst, wobei nicht zum Zylinder
gehörende
Punkte durch das Einpassverfahren segmentiert werden. Damit kann auch
leicht eine Kollisionsprüfung
durchgeführt
werden, indem wieder ins Tiefenbild gegangen wird und der Ort und
die Anzahl der nicht zum Zylinder gehörenden Punkte mit den zum Zylinder
gehörenden Punkten
verglichen wird. Wenn z.B. viele Punkte, die nicht zum Zylinder
gehören,
auf den errechneten Greifpunkt fallen, besteht Kollisionsgefahr.
-
Im
nächsten
Beispiel wird die Auswertung für komplexere
Teile mit mehr als einem regelgeometrischen Element beschrieben.
Das zu findende Objekt ist hier ein Zylinder mit einem an einem
Ende ausgesetzten Teller. Das Auswerteverfahren ist folgendermaßen umgesetzt:
Zunächst
findet die Segmentierung durch Regiongrowing statt. Die Kriterien
im dritten Schritt sind so festgelegt, dass Regionen, die zum großen Teil
sichtbare Zylinder- und Teller-Regionen beschreiben, gefunden werden.
Im Folgenden muss je nachdem, ob eine Zylinder- oder Teller-Region
gefunden wurde, in die zu den Pixelwerten des Bildes gehörenden 3D-Daten
ein Zylin der bzw. eine Ebene als regelgeometrisches Element eingepasst werden.
Danach wird im Tiefenbild im Fall eines gefundenen Zylinders nach
einem benachbarten Teller gesucht, der dann aufgrund von Perspektive
kleiner sein kann als nach den Kriterien. Je nach Variante der Suche
kann folgendes durchgeführt
werden. Für die
erste Variante der Suche werden in Achsenrichtung an beiden Enden
des Zylinders im Abstand des Tellers 3D-Daten über den Umweg der Pixelkoordinaten
Startbereiche bestimmt. Wenn auf beiden Seiten Startbereiche gefunden
werden, werden in diese je eine Ebene eingepasst. Aufgrund der a
priori Informationen über
die zu findenden Objekte kann die richtige Ebene ausgewählt werden,
nämlich
die, welche die gleiche relative Lage zum Zylinder hat, wie am Modellobjekt.
Wenn nur ein Startbereich gefunden wird, muss in diesen eine Ebene
eingepasst werden und damit die Lage des Objektes festlegt werden.
Für die
zweite Variante wird entsprechend dem beschriebenen Verfahren der
Startbereich erzeugt und dann wie in der ersten Variante vorgegangen. Bei
der Variante der Suche in den 3D-Daten wird das Objekt (Zylinder
mit Teller) um die Zylinderachse rotiert. Die Richtung des Objektes
ist noch nicht festgelegt, deshalb wird der Modellzylinder mit Tellern
an beiden Enden versehen und um die Zylinderachse rotiert. Die überstrichenen
Punkte werden in wie in der ersten Variante bei der Suche im Tiefenbild
weiterverarbeitet. Wenn das erste gefundene regelgeometrische Element
ein Teller ist, wird in umgekehrter Reihenfolge sinngemäß der Zylinder
als zweites Element eingepasst.
-
Des
weiteren kann in der ersten bevorzugten Ausführungsform des Gesamtverfahrens
anstatt mit Tiefenwerten mit den Krümmungen im Regiongrowing-Verfahren
gearbeitet werden, wobei die weitere Verarbeitung wie im obigen
Beispiel beschrieben erfolgt.
-
Als
Beispiel für
die vierte bevorzugte Ausführungsform
wird im Folgenden das Finden von Kurbelwellen beschrieben. Die Kurbelwellen
liegen waagrecht in Kisten. In einem Einlernschritt wird ein Exemplar
der Kurbelwellen in mehreren fast waagrechten Lagen digitalisiert.
Jeweils nach der Segmentierung wird das Pattern Matching-Verfahren
mit den Ergebnissen der Segmentierung eingelernt.
-
Als
Bereiche, die wiedergefunden werden sollen, werden die Regionen
ausgewählt,
die durch die Verbindungen der einzelnen zylindrischen Wellenteile
entstehen. In dem Erkennungsprozess wird nach der Segmentierung
in den entstandenen Regionen nach dem Muster gesucht. Damit können die
dazwischen liegenden Regionen, die Zylinder beschreiben, gefunden
werden. Wenn in diese die Zylinder eingepasst werden, ist die Lage
des Objektes festgelegt.
-
Ein
Vorteil der Kombination aus Bildverarbeitung und 3D-Datenauswertung
ist die Geschwindigkeitssteigerung, die gegenüber der reinen 3D-Datenauswertung
erreicht werden kann. Über
das beschriebene Verfahren der Einpassung eines ersten regelgeometrischen
Elementes und nachfolgender, dadurch eingeschränkter Suche, besteht als Vorteil z.B.
gegenüber
ansichtsbasierter Verfahren die Reduktion der zu überprüfenden Ansichten,
was die Rechenzeit deutlich verkürzt.
Der Hauptvorteil ist, dass die Lage von beliebigen Objekten bestimmt
werden kann, wenn die Objekte nur regelgeometrische Elemente enthalten.
-
Bei
Abwesenheit von mehreren punktförmigen
Merkmalen (Schnittpunkte von Kanten, Bohrungen, Passmarken) in einer
Ansicht (z.B. sind beide Stirnseiten eines Zylinders nicht in einer
Ansicht verfügbar)
zur Lagebestimmung ist mit dem flächigen Ansatz der Besteinpassung
eine genauere Lagebestimmung möglich,
als z.B. auf Basis der Elliptizität der Ansicht einer Stirnfläche eines
Zylinders.