-
Die
Erfindung betrifft ein Verfahren zur automatischen Erkennung von
dreidimensionalen Objekten sowie eine Vorrichtung zur Behandlung
von einzelnen Objekten, die in einer komplexen Umgebung vorliegen.
-
In
vielen Bereichen der Technik, wie z. B. in der Automatisierungstechnik,
besteht die Aufgabe, die räumliche
Lage von beliebig im Raum orientierten Objekten wie z. B. Werkstücken oder
Bauteilen zu bestimmen. Die Lage der Objekte ist unbekannt und es
muss ihre Position und Orientierung im Raum bestimmt werden, um
beispielsweise geeignete Greifpositionen für einen Roboter ermitteln zu
können.
In der Problemstellung enthalten ist immer die Forderung nach einer
weitgehenden Automatisierung der Objekterkennung und Lagebestimmung.
-
Eine
Erschwerung des Problems entsteht durch weitere Objekte in der Umgebung
der zu greifenden Objekte. Ein in der Praxis häufiger Fall sind z. B. in Kisten
aufbewahrte Werkstücke,
die als vollkommen ungeordnetes Schüttgut oder in beliebiger Packordnung
vorliegen. Hierbei ist jedes einzelne Objekt von einer Vielzahl
anderer Objekte umgeben.
-
Das
zugrunde liegende technische Problem der Erfindung gliedert sich
in folgende Teilaspekte:
- • Das zu erkennende Objekt muss
vom Hintergrund absegmentiert werden, d. h. alle Punkte der Punktwolke,
die nicht zum Objekt gehören,
müssen
von den Punkten, die zum Objekt gehören, getrennt werden. Im Beispiel
von ungeordneten Teilen in Kisten muss unter den vielen (gleichen) Teilen
erst ein überhaupt
zum Greifen in Frage kommendes, d. h. voraussichtlich frei zugängliches,
Objekt gefunden werden.
- • Die
exakte Lage im Raum des Objektes muss mit Ihren Parametern, wie
Position und Richtung, bestimmt werden. Im Fall von zu greifenden
Teilen kann daraus dann die Greifposition bestimmt werden.
-
Nach
dem Stand der Technik werden hierzu beispielsweise photogrammetrische
Methoden, wie „3D
Robot Vision” von
ISRA VISION SYSTEMS AG verwendet. Hierbei ist es allerdings notwendig,
dass auf den Objekten Merkmale vorhanden sind, die es erlauben,
photogrammetrische Verfahren anzuwenden.
-
Es
ist darüber
hinaus bekannt, beispielsweise aus CAD-Modellen eine große Anzahl
von Bildern aus verschiedenen Ansichten, die das Modell abbilden,
zu generieren. Hierbei müssen
jedoch 4000 bis 12000 Bilder eingelernt werden, was mit einem großen Aufwand
an Rechenleistung, Zeit und Speicherplatz verbunden ist.
-
US 6,246,468 B1 beschreibt
ein integriertes System, welches ein Modell eines dreidimensionalen Objektes
generiert. Hierbei scannt ein Lasergerät das dreidimensionale Objekt
und generiert eine Punktwolke. Die Punkte der Punktwolke geben jeweils
einen Ort eines korrespondierenden Punktes auf einer Oberfläche des
Objektes an.
-
K.
G. Stanley, Q. M. J. Wu, W. A. Gruver, „An intelligent dual mode
vision guided robotic system” in IEEE
International Conf. an Systems, Man and Cybernetics, Vol. 3, S.
2248–2253,
Oktober 2005 beschreibt ein Hybridsystem zur Steuerung eines Roboters,
welches ein grob kalibriertes Look-and-Move-System aufweist, das
eine lineare Approximation verwendet und außerdem eine Steuerung, die
visuelles Servoing durchführt.
-
Johnson
A. et al. „3-D
Objekt Modeling and Recognition for Telerobotic Manipulation”, in Proceedings
of the 1995 IEEE/RSJ International Conference an Intelligent Robots
and Systems, Vol. 1, 5. August 1995, S. 103–110, beschreibt ein System,
das semiautomatisch eine virtuelle Welt für ferngesteuerte Operationen
aufbaut, indem sie 3D-Modelle einer Arbeitsumgebung eines Roboters
konstruiert. Planare und quadrische Oberflächenrepräsentationen von Objekten, wie
sie typischerweise in Fabriken gefunden werden, werden aus mittels
Laser ermittelten Abstandsdaten gewonnen. Die Oberflächenrepräsentationen
werden verwendet, um komplexe Modelle von Objekten in der Szene
zu erkennen.
-
Rabbani
T., Heuvel F. „Methods
for Fitting CSG Models to Point Clouds and Their Comparison”, in The
7th IASTED International Conference an Computer Graphics and Imaging,
Kauai, Hawaii, USA, S. 279–284,
August 17–19,
2004 beschreibt Verfahren zum Anpassen von CAD-Modellen an Punktwolken. Constructive
Solid Geometry (CSG) wird zur Repräsentierung der Modelle verwendet.
-
Rabbani
T., Heuvel F. „3D
Industrial Reconstruction by Fitting Csg Models to a combination of
Images and Point Clouds” in
Conference proceedings ISPRS conference in Istanbul, Turkey, International
Archives of Photogrammetry and Remote Sensing, Vol. XXXV, 35, S.
7–12,
12–23
Juli 2004 beschreibt ein Verfahren zur dreidimensionalen Rekonstruierung
von Industrieanlagen unter Verwendung einer Kombination von Bildern
und Punktwolken. Die Punktwolken und Bilder werden in Kombination
mit einer Bibliothek von CAD-Grundformen, wie sie in industriellen
Szenarien auftreten, verwendet.
-
Ahn
S. J., Effenberger I., Bolboacã L. „Automatic
feature identification in 3-D measuring data” in „Presentation held at the
8th Int. Symp. an Measurement and Quality Control in Production
(ISMQC), Erlangen, 12–15
Oktober 2004 beschreibt ein Softwarewerkzeug zur automatischen Objekterkennung und
Parameterschätzung
in Punktwolken. Die Software besteht aus drei Modulen jeweils für Modellauswahl,
Punktsegmentierung und Modellanpassung, wobei Algorithmen zur orthogonalen
Abstandsanpassung verwendet werden. Diese Algorithmen schätzen die
Modellparameter durch Minimierung der quadratischen Summe der kürzesten
Abstände
zwischen dem Merkmal des Modells und den gemessenen Punkten.
-
Westkämper E.,
Stotz M., Effenberger I. „Automatische
Segmentierung von Messpunktwolken in regelgeometrische Elemente” in Technisches
Messen, Vol. 73, No. 1, S. 60–66,
2006 beschreibt krümmungsbasierte
Segmentierung von Messpunktwolken in einzelne regelgeometrische
Elemente. Die Anwendbarkeit einer solchen Segmentierung wurde anhand
von Datensätzen
industriell hergestellter Teile untersucht.
-
Die
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren anzugeben,
welches die Erkennung und Lagebestimmung von Objekten und eine Behandlung
der Objekte ermöglicht,
ohne dass auf den Objekten besondere Merkmale angebracht sein müssen und
ohne, dass ein detailliertes CAD-Modell von dem zu erkennenden Objekt
existieren muss.
-
Diese
Aufgabe wird durch das Verfahren mit den Merkmalen des Anspruchs
1 und die Vorrichtung mit den Merkmalen des Anspruchs 18 gelöst. Vorteilhafte
Weiterbildungen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung sind
in den jeweiligen abhängigen
Ansprüchen
gegeben.
-
Detaillierte Beschreibung
der Erfindung
-
Die
Erfindung bezieht sich auf Objekte, die sich durch regelgeometrische
Elemente wie z. B. Ebenen, Zylinder oder Kegel beschreiben lassen oder
die sich zumindest teilweise durch regelgeometrische Elemente beschreiben
lassen und anhand dieser identifiziert werden können.
-
Um
die Erkennungsprozedur durchführen
zu können,
wird die Szene, in der die Objekte erkannt werden müssen, mit
Hilfe eines geeigneten Erfassungssystems digitalisiert. Als Erfassungssystem kommt
zum Beispiel eine 2,5D- oder 3D-Datenerfassungseinheit, wie z. B.
Lichtschnitt, Streifenprojektion oder Time of Flight (ToF) in Frage.
Diese Systeme liefern Tiefenbilder bzw. Punktwolken. Im Folgenden werden
solche Daten immer als 3D-Daten bezeichnet. Die entsprechende Auswertung kann
mit einem Rechnersystem durchgeführt
werden.
-
Im
Folgenden wird das erfindungsgemäße Verfahren
zur Erkennung und Lagebestimmung beliebig komplexer Objekte, die
nicht nur aus einem regelgeometrischen Element bestehen müssen, sondern
aus verschiedenen regelgeometrischen und freigeformten Bereichen
aufgebaut sein können,
beschrieben. Unter „regelgeometrischen” Elementen werden
solche Elemente verstanden, deren Form bzw. deren Geometrie durch
geschlossene Formeln beschreibbar ist, d. h. zum Beispiel durch
parametrische oder implizite Formeln. Im erfindungsgemäßen Verfahren
wird auf Basis einer automatisierten Erkennung einzelner regelgeometrischer
Elemente unter Einhaltung bestimmter geometrischer Bedingungen,
was die Form- und Lageparameter der einzelnen Objekte betrifft,
eine 3D-Objekterkennung und Lagebestimmung im Raum realisiert.
-
Das
erfindungsgemäße Verfahren
dient dem Manipulieren und/oder Vermessen, allgemeiner dem Behandeln,
von mindestens einem in einem begrenzten Bereich in einer Anordnung
vorliegenden Objekt, das durch ein oder mehrere in Beziehung, vorzugsweise
in bestimmter und/oder bekannter Beziehung, zueinander stehende
regelgeometrische Elemente beschreibbar ist und dessen Lage und
Position durch Anordnungsparameter beschreibbar ist. Die Anordnungsparameter
können
zum Beispiel Koordinaten, Drehwinkel, Tangentialität, Orthogonalität, Parallelität und/oder
Winkel zu Objekten enthalten oder sein. Auch die Abmessungen der
Objekte können
darin beschrieben werden. Das Behandeln kann beispielsweise in einem
Greifen, im Bewegen, aber auch im Verändern des Objektes selbst bestehen.
So kann das Objekt beispielsweise auch umgeformt werden. Erfindungsgemäß ist aber
auch, das Objekt nur zu vermessen. Der begrenzte Bereich ist hierbei
im Wesentlichen durch den Einflussbereich der Behandlungsvorrichtung
gegeben. Er kann aber beispielsweise auch in einer Kiste bestehen,
in welcher die zu behandelnden, auszuwählenden oder zu vermessenden
Objekte untergebracht sind.
-
Erfindungsgemäß muss nun
zunächst
das zu behandelnde Objekt ausgewählt
werden. Beim Vorliegen von mehreren Objekten im begrenzten Bereich
bedeutet das Auswählen
zunächst
die Bestimmung eines Objektes unter den mehreren, für welches
dann anschließend
Daten bestimmt werden, die die Form und die Lage des Objektes beschreiben.
-
Die
Aufnahme von das Objekt und seine Lage beschreibenden Daten wird
hier auch zur Auswahl des Objektes gezählt.
-
Im
ersten Schritt ist es hierbei notwendig, Daten aufzunehmen, welche
die Anordnung der Objekte abbilden. Solche Daten können vom
gesamten begrenzten Bereich oder von einem Teil dieses Bereichs
aufgenommen werden. Sie sind vorzugsweise dreidimensionale Daten,
welche die Objekte für
jeden Punkt des Raumes beschreiben. Die 3D-Messdaten werden unter
Einsatz eines entsprechenden 3D-Sensors aufgenommen. Hierbei kann
jeglicher Sensor verwendet werden, der dichte 3D-Punktwolken erzeugt.
-
In
einem optionalen ersten Teilschritt können nun regelgeometrische
Elemente in die dreidimensionalen Daten eingepasst werden, durch
welche das auszuwählende
Objekt beschreibbar ist. Vorzugsweise werden in den 3D-Messdaten
einzelne regelgeometrische Elemente unter Verwendung eines Best-Fit-Verfahrens
automatisch eingepasst und dadurch eine erste Segmentierung vor genommen.
Als Ergebnis dieses Teilschritts enthält man auch die Form-, Positions-,
Rotations- und/oder Anordnungsparameter der einzelnen regelgeometrischen
Elemente und/oder die jeweils zum Element zugehörigen 3D-Punkte.
-
In
einem (optionalen) zweiten Teilschritt, welcher auf den optionalen
ersten Teilschritt folgt, kann nun in den im ersten Teilschritt
eingepassten regelgeometrischen Elementen ein regelgeometrisches
Element als Startelement ausgewählt
werden. Die Anordnungsparameter dieses regelgeometrischen Elementes
können
automatisch bestimmt werden oder sind bekannt. Es kann also in den
bereits durch den ersten Teilschritt vorsegmentierten Bereichen
regelgeometrischer Einzelelemente ein Startelement ausgewählt werden.
-
Es
können
nun optional regelgeometrische Elemente in der Nähe des Startelementes ausgewählt werden,
die zu dem auszuwählenden
Objekt gehören
könnten.
Dadurch kann das Verfahren beschleunigt werden. Durch diese regelgeometrischen Elemente,
lässt sich
zumindest ein Teil des auszuwählenden
Objektes darstellen. Bei dieser Suche nach weiteren Elementen in
der Umgebung des Startelements, die zum zu findenden Objekt gehören könnten, werden
u. a. zunächst
Kriterien wie Anzahl und Typ der jeweiligen Elemente überprüft. Weiterhin kann
gegebenenfalls anhand der im ersten Teilschritt ermittelten Form-
und/oder Lageparameter analysiert werden, welche einzelnen regelgeometrischen
Elemente zum zu findenden Objekt gehören können.
-
In
einem (optionalen) dritten Teilschritt, welcher auf den optionalen
zweiten Teilschritt folgt, kann dann anhand der Beziehung der regelgeometrischen Elemente
zueinander im auszuwählenden
Objekt entschieden werden, welche der im ersten Teilschritt oder
gegebenenfalls bei der Auswahl in der Nähe der Startteilmenge gefundenen
regelgeometrischen Elemente Bestandteil desselben Objekts sind,
wie das Startelement.
-
Im
zweiten Schritt wird dann das auszuwählende Objekt als Ganzes in
alle oder einen Teil jener regelgeometrischen Elemente kombiniert
eingepasst, welche das auszuwählende
Objekt beschreiben und/oder von welchen in den optionalen ersten bis
dritten Teilschritten gefunden wurde, dass sie Bestandteil desselben
Objektes sind. Hierzu werden die Anordnungsparameter des auszuwählenden
Objektes, wie zum Beispiel seine Lage und seine Orientierung, dadurch
bestimmt, dass die das Objekt beschreibenden regelgeometrischen
Elemente oder die im dritten Teilschritt ausgewählten regelgeometrischen Elemente
gemeinsam unter Berücksichtigung der
Beziehungen der entsprechenden regelgeometrischen Elemente im auszuwählenden
Objekt in die dreidimensionalen Daten eingepasst werden.
-
Von
dem zu findenden Objekt kann bekannt sein oder ermittelt werden,
welche regelgeometrischen Elemente zum Objekt gehören und
in welcher räumlichen
Beziehung diese untereinander stehen. Anhand dieser Informationen
können
die entsprechenden Bedingungen für
die kombinierte Einpassung generiert werden. Die Einpassung des
gesamten auszuwählenden
Objektes kann also unter Berücksichtigung
der geometrischen Nebenbedingungen durchgeführt werden, welche sich aus
der Information über
die zum Objekt gehörenden
regelgeometrischen Elemente und ihrer Lage zueinander ergeben. Es
wird dabei das aus den einzelnen regelgeometrischen Elementen „kombinierte” Objekt
als Ganzes eingepasst. Auf diese Weise wird das auszuwählende Objekt
endgültig
identifiziert und ein qualitativ besseres Einpassungsergebnis erzielt.
Hierdurch kann eine ausreichend genaue Positions- und Lagebestimmung
des Werkstücks
erreicht werden.
-
Es
liegen im Anschluss an die oben beschriebene Auswahl des Objektes
Daten vor, welche das ausgewählte
Objekt beschreiben. Diese Daten können, wie beschrieben, Anordnungsparamter
wie Lage- und Positionsparameter und/oder die Form des Objektes
enthalten. Anhand dieser Daten kann nun eine Behandlungsvorrichtung
gesteuert werden. Diese Behandlungsvorrichtung kann ein Greifer,
eine Saugvorrichtung zum Ansaugen eines Objektes oder auch eine
andere Vorrichtung zum Verändern
oder Erfassen des Objektes sein. Auch eine Vorrichtung zur Untersuchung
von Objekten ist möglich.
-
Erfindungsgemäß kann das
Verfahren auf verschiedene Weise variiert oder erweitert werden.
-
In
einer bevorzugten Ausführungsform
kann zur Beschleunigung des optionalen ersten Teilschritts des oben
beschriebenen Verfahrens, in welchem regelgeometrische Elemente
in die dreidimensionalen Daten eingepasst werden, d. h. wo eine
Besteinpassung der einzelnen regelgeometrischen Elemente vorgenommen
wird, zunächst
ein Startsegment der 3D-Messdaten festgelegt und abgeteilt werden.
Diese Festlegung kann beispielsweise unter Verwendung von Höheninformationen
oder, falls vorhanden, einer Vorsegmentierung im Tiefenbild erfolgen.
Höheninformationen
und ein Tiefenbild lassen sich beispielsweise aus den dreidimensionalen
Daten ableiten oder mit einem geeigneten Sensor aufnehmen.
-
Der
optionale erste Teilschritt des Verfahrens lässt sich weiterhin dadurch
beschleunigen, dass vor der Besteinpassung eine Krümmungsanalyse
in den 3D-Daten durchgeführt
wird. In jedem Punkt wird die Krümmung
näherungsweise
ermittelt und anschließend
eine Unterteilung in Bereiche verschiedener Krümmung als Vorsegmentierung
durchgeführt.
Nun wird in den vorsegmentierten Teilen eine Besteinpassung einzelner
regelgeometrischer Elemente durchgeführt.
-
Wie
beschrieben, werden einzelne regelgeometrische Elemente dem auszuwählenden
Objekt dadurch zugeordnet, dass Informationen darüber hinzugezogen
werden, welche regelgeometrischen Elemente zum Objekt gehören und
in welcher räumlichen
Beziehung diese untereinander stehen. Erfindungsgemäß können diese
geometrischen Bedingungen, also die Anordnungsparameter (z. B. bezüglich Form
und Lage der im zu findenden Objekt vorhandenen regelgeometrischen
Elemente), automatisch ermittelt werden. Dies ist beispielsweise
anhand eines CAD-Modells möglich,
aus welchem für
die Erkennung und Lagebestimmung charakteristische Merkmale ermittelt
werden, die eine eindeutige Lagebestimmung des Objektes im Raum
erlauben, unabhängig
davon, wie das Objekt in dem abgegrenzten Bereich (z. B. der Kiste
oder im Raum) liegt.
-
In
einer weiteren Ausführungsform
des erfindungsgemäßen Verfahrens
kann die Auswahl des Startelementes im optionalen zweiten Teilschritt durch
die Verwendung zusätzlicher
Informationen unterstützt
werden, die beispielsweise aus einer Vorverarbeitung unter Verwendung
von Tiefenbildern resultieren können.
-
Generell
gilt, dass das erfindungsgemäße Verfahren
auf einem System ausgeführt
werden kann, welches eine 2,5D- oder 3D-Datenerfassungseinheit,
z. B. Lichtschnitt, Streifenprojektion oder Time of Flight (ToF),
enthält,
welche die Teile aus einer oder mehreren Ansichten aufnimmt und
digital zur Verfügung
stellt. Darüber
hinaus kann das System einen Rechner aufweisen, auf welchem das
Auswertungsverfahren implementiert ist.
-
Im
Folgenden werden das erfindungsgemäße Verfahren und seine Implementierung
in einer Manipulationsvorrichtung anhand einiger Beispiele beschrieben.
-
Als
erstes Beispiel wird ein System beschrieben, mit welchem ungeordnete
Teile, die aus mehreren regelgeometrischen Elementen bestehen, in
ihrer Lage identifiziert werden können und mit welchem für diese
Greifpunkte bestimmt werden können.
Solche Teile können
beispielsweise Gussteile wie Gerüsthalter
sein. Es wird folgendes Auswerteverfahren umgesetzt.
-
Zunächst werden
die 3D-Daten in verschiedene Regionen unterteilt und eine Startregion
ausgewählt.
In der Startregion werden nun die einzelnen regelgeometrischen Objekte
automatisch eingepasst, für
einen Gerüsthalter
beispielsweise Zylinder und Ebenen. Als Ergebnis erhält man die
Form- und Lageparameter der einzelnen regelgeometrischen Elemente.
Es wird nun ein gefundenes regelgeometrisches Element als Startelement
ausgewählt,
beispielsweise das am weitesten oben liegende, also am besten zugängliche.
Ausgehend von diesem Element wird in einer Umgebung nach zum Objekt
gehörigen
weiteren regelgeometrischen Objekten gesucht, also im Fall eines
Gerüsthalters
nach umliegenden Zylindern und Ebenen. Dabei dienen als schnelle
Kriterien zunächst
z. B. der Typ und die Anzahl der in der Nähe des Startelements liegenden
regelgeome trischen Einzelelemente. Sind auf diese Weise mögliche zum
Objekt gehörige
regelgeometrische Einzelelemente gefunden worden, wird anhand der
Form- und Lageparameter die Objektzugehörigkeit genauer bestimmt. Schließlich wird
in die zu den einzelnen regelgeometrischen Elementen gehörenden Punkte
eine Besteinpassung unter Einhaltung geometrischer Nebenbedingungen
durchgeführt,
um die Lage im Raum möglichst
gut ermitteln zu können. Die
geometrischen Nebenbedingungen werden anhand der Geometrie des zu
erkennenden Objekts vorab so festgelegt, dass die Lage des Objekts
dadurch auch aus verschiedenen Ansichten bestimmt werden kann. Für den Gerüsthalter
können
diese geometrischen Bedingungen sich beispielsweise auf drei Ebenen
beziehen, die zueinander senkrecht stehen müssen oder auf Zylinder mit
gleichem Radius und parallelen Achsen, die senkrecht zur Grundebene
liegen.
-
In
einem zweiten Beispiel ist derselbe Ablauf vorgesehen, allerdings
erfolgt die Festlegung der geometrischen Nebenbedingungen automatisch
anhand eines vorhandenen CAD-Modells oder indem ein Objekt vorab
gescannt wird und anhand dieser Scan-Daten eine automatische Festlegung
der geometrischen Bedingungen zwischen einzelnen regelgeometrischen
Elementen erfolgt. Es wird sukzessive ermittelt, welche und wie
viele Elemente notwendig sind, um die Lage des zu erkennenden Objekts eindeutig
bestimmen zu können.
-
In
einem weiteren Beispiel wird das Startelement mit Hilfe von Tiefenbildinformationen
ausgewählt.
Hier kann z. B. eine Vorsegmentierung mit einem Regiongrowing-Verfahren
in Kombination mit der Höheninformation
hilfreich sein.
-
Weiterhin
kann zunächst
im Startsegment der 3D-Mess daten eine Krümmungsanalyse durchgeführt werden.
Für jeden
Punkt wird näherungsweise
die Krümmung
berechnet und es werden dann Bereiche mit ähnlicher Krümmung zusammengefasst und absegmentiert.
Erst in den auf diese Weise vorsegmentierten Daten erfolgt die automatische
Besteinpassung einzelner regelgeometrischer Elemente. Dadurch wird
das Verfahren beschleunigt und eine zu große Ausdehnung der einzelnen
regelgeometrischen Elemente verhindert. Der weitere Ablauf entspricht
dem im ersten Beispiel beschriebenen.
-
Die
Anwendungsmöglichkeiten
des erfindungsgemäßen Verfahrens
reichen vom Greifen von ungeordneten Objekten über die 3D-Szenenanalyse bis
hin zu messtechnischen Anwendungen (z. B. Form- und Lageprüfung), welche
hier neben anderen Anwendungen unter dem Begriff des Behandelns
zusammengefasst sind.