DE102008020579B4

DE102008020579B4 - Verfahren zur automatischen Objektlageerkennung und Bewegung einer Vorrichtung relativ zu einem Objekt

Info

Publication number: DE102008020579B4
Application number: DE102008020579.6A
Authority: DE
Inventors: Thomas Ledermann; Matthias Palzkill
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2008-04-24
Filing date: 2008-04-24
Publication date: 2014-07-31
Anticipated expiration: 2028-04-25
Also published as: DE102008020579A1

Abstract

Verfahren zum Steuern einer beweglichen Vorrichtung relativ zu mindestens einem in einer Anordnung angeordneten Objekt, wobei in einem ersten Schritt Tiefenbilder mit einer Vielzahl von Bildpunkten von zumindest einem positiven und zumindest einem negativen Volumen eines Modells des Objektes für eine Vielzahl von Orientierungen und/oder Positionen des Modells gelesen werden, wobei das zumindest eine positive Volumen so definiert ist, dass es vollständig von dem Modell ausgefüllt ist, und wobei das zumindest eine negative Volumen so definiert ist, dass es keinen Teil des Modells enthält, in einem zweiten Schritt, der vor, nach oder während des ersten Schrittes durchgeführt werden kann, Daten aufgenommen werden, welche die Anordnung und/oder das Objekt beschreiben, in einem dritten Schritt zumindest ein Teil der Daten zumindest einem Teil der Bildpunkte der Tiefenbilder für zumindest einige der Orientierungen des Modells zugeordnet werden, in einem vierten Schritt die Orientierung und/oder Position des Objektes in der Anordnung anhand eines Vergleiches zumindest einiger der Daten mit zumindest einigen der Tiefenbilder bestimmt wird, und in einem fünften Schritt eine bewegliche Vorrichtung anhand der im vierten Schritt bestimmten Orientierung gesteuert wird, wobei im vierten Schritt die Orientierung und/oder Position des Objektes in der Anordnung bestimmt wird, indem für zumindest einige der Orientierungen des Modells und/oder für zumindest einige der Tiefenbilder bestimmt wird, für welchen Anteil des zumindest einen positiven Volumens die Daten das Erfülltsein mit dem Objekt anzeigen und für welchen Anteil des zumindest einen negativen Volumens die Daten das nicht Erfülltsein mit dem Objekt anzeigen und wobei im vierten Schritt jene Orientierung ausgewählt wird, für welche der Anteil des positiven Volumens und/oder der Anteil des negativen Volumens und/oder die Summe der beiden Anteile maximal ist.

Description

Die Erfindung betrifft ein Verfahren, mit welchem ein in einer Anordnung angeordnetes Objekt erkannt werden kann, seine Lage erfasst werden kann und eine Vorrichtung anhand der Erkennung gesteuert werden kann. Die Erfindung betrifft außerdem eine Vorrichtung, welche das erfindungsgemäße Verfahren durchführt.
Die Bestimmung der räumlichen Lage, d. h. der Position und Orientierung, eines Objektes, spielt in vielen Bereichen der Automatisierungstechnik, insbesondere der Handhabung von Objekten, eine wichtige Rolle. Ein typisches Beispiel ist das Greifen und Handhaben eines Objektes, wie beispielsweise eines Werkstückes. Um automatisch einen Greifpunkt bestimmen zu können, an welchem beispielsweise ein Roboter oder ein anderer Handhabungseinheit ein Objekt greifen kann, ist eine weitgehend automatische Objekterkennung und Lagebestimmung notwendig.
Probleme treten hierbei insbesondere dann auf, wenn das zu greifende Objekt nicht separiert liegt, sondern weitere Objekte in der Umgebung vorliegen. Dies ist beispielsweise bei dem in der Praxis häufig anzutreffenden Fall der Anlieferung von Objekten als ungeordnetes Schüttgut oder mit teilgeordneter Packordnung der Fall, Hier hat jedes Objekt noch mehrere andere Objekte oder die Kiste in der näheren Umgebung.
Bisherige Lösungen zur Bestimmung der Lage, die auch Entfernungsdaten nutzen, lassen sich in zwei Gruppen einteilen. Die eine Gruppe arbeitet mit einer Kombination aus 2D-Datenauswertung, wie sie beispielsweise durch Kameras erhalten wird, mit 3D-Daten. Die zweite Gruppe arbeitet direkt auf den 3D-Daten, in denen auf der Basis von speziellen geometrischen Merkmalen, wie Kreisen, Konturen, Ecken, Flächen, Steigungen, Krümmungen usw., die aus der digitalisierten Szene extrahiert werden, die Lage bestimmt wird.
Verfahren der ersten Gruppe, in welchen 2D-Daten mit 3D-Daten kombiniert werden, sind beispielsweise

• ISRA VISION SYSTEMS AG WO 2005/075936 A1 : Diese Druckschrift beschreibt ein Verfahren zur Bestimmung der Lage von Objekten unter Verwendung photogrammetrischer Methoden („3D Robot Vision”). Ein Nachteil, der auf Verwendung der Photogrammmetrie beruht, ist, dass auf dem Objekt entsprechende Merkmale vorhanden sein müssen, die es erlauben, photogrammetrische Verfahren anzuwenden.
• EADS: Dieses Verfahren basiert auf einer Kombination aus 3D- mit 2D-Auswertung für Kurbelwellen. Die 3D-Daten liegen relativ ungenau vor. Deshalb wird der Roboter auf eine Position über der Kiste vorpositioniert aufgrund des Höhenprofils der 3D-Daten bei gleichzeitiger Kollisionsvermeidung mit Hilfe der 3D-Daten beim Anfahren der Vorposition. An dieser Position findet eine 2D-Auswertung der Lage und eine Griffberechnung für die gefundene Kurbelwelle statt. Für den Griff wird mit Hilfe der 3D-Daten eine Betrachtung möglicher Kollisionen zwischen dem Greifer und den 3D-Daten durchgeführt. Bei der anschließenden Roboterbewegung für den Greifvorgang für die in den 2D-Daten ermittelte Lage einer Kurbelwelle wird die Vorschubbewegung des Roboters automatisch mit einem weiteren (taktilen) Sensor gestoppt. Abschließend wird eine Lagebestimmung des gegriffenen Objekts im Greifer an einem separaten Platz mit Kameraauswertung durchgeführt bevor die Kurbelwelle abgelegt wird.
• FANUC EP 1 589 483 A2 : Ein gesamtes Modell und Teilmodelle (bestimmte Regionen auf einer Kontur) eines Objekts werden als 2D-Daten (Kameradaten) in verschiedenen Orientierungen in einer Datenbank abgelegt. Die Auswahl eines Greifobjekts und Bestimmung seiner Lage erfolgt aufgrund dieser Gesamtmodelle und Teilmodelle des Objekts in 2D-Daten, die von einer Kamera aufgenommen werden (bekannte Korrelationsverfahren). 3D-Daten, die anschließend mit einem entsprechenden 3D-Sensor am Roboterarm aufgenommen werden, dienen dazu, den Greifer am Roboter senkrecht zum gefundenen Objekt auszurichten.

Verfahren der zweiten Gruppe, die direkt auf 3D-Daten arbeiten, sind beispielsweise:

• In Y. Zhang, „Superquadric representation of scenes from multi-view range data”, University of Tennessee, Knoxville, 2003, wird eine krümmungsbasierte Segmentierung auf Dreiecksnetzen und Einpassung von Superquadriken vorgenommen. Es werden triangulierte Daten (Dreiecksnetze) vorausgesetzt.
• In E. Wahl et al. „Surflet-Pair-Relation Histograms: A Statistical 3D-Shape Representation for Rapid Classification”, in proceedings Forth International Conference an 3D-Digital Imaging and Modeling (3DIM 2003), 6–10 October 2003, Banff, Alberta, Canada, IEEE Computer Society Press, pages 474–481, wird eine statistische Darstellung von 3-dimensionalen Formen mit Hilfe von 4-dimensionaler Merkmalen vorgenommen, die die lokalen und globalen Charakteristiken der Oberflächen der betrachteten Objekte beschreiben. Dieses Verfahren wurde jedoch nur auf Einzelobjekten entwickelt. Außerdem ist ein großer Rechenaufwand zur Erstellung der 4-dimensionalen Merkmale nötig und ist eher zur schnellen Szeneninterpretation mit Objektsegmentierung und Klassifizierung geeignet.
• Fraunhofer IPA: DE 10 2006 036 346 A1 : „Verfahren zur automatisierten 3D-Objekterkennung und Lagebestimmung” nutzt mathematische Verfahren, um Regelgeometrien in 3D-Daten einzupassen.

Allen diesen Verfahren ist gemein, dass sie Intensitätsinformationen (2D-Auswertung) oder geometrische Merkmale des Objekts selbst für die Lageerkennung nutzen.
DE 101 59 574 B4 beschreibt eine Vorrichtung und ein Verfahren zur Korrektur der Bewegung von Greif- und Bearbeitungswerkzeugen.
US 4 694 404 A beschreibt HochgeschwindigkeitsBilderzeugung komplexer fester Objekte.
US 6 262 738 B1 beschreibt ein Verfahren zum Bestimmen volumetrischer Abstandskarten aus 2D-Tiefenbildern.
US 7 295 697 B1 beschreibt eine Vorrichtung zur Mes- sung von Tiefeninformationen und ein Mixed-Reality-Präsentationssystem.
DE 198 05 794 A1 beschreibt ein Verfahren zur schnellen planaren Segmentierung von Entfernungsdaten für mobile Roboter.
US 2007/0122027 A1 betrifft ein Verfahren zur Erzeugung von Bildern mit virtuellem Standpunkt und ein Verfahren zur Anzeige von 3D-Bildern.
US 2003/0052878 A1 beschreibt eine hierarchische bildbasierte Darstellung von unbewegten und animierten dreidimensionalen Objekten.
US 2005/0195191 A1 beschreibt ein Verfahren zum Codieren und Decodieren von 3D Volumendaten.
E. Grosso und G. Vercelli, Proceedings of the IEEE/RSJ International Workshop an Intelligent Robots and Systems 1991, 3.–5. November, Vol. 1, Seite 70–75 beschreibt Greifstrategien für rekonstruierte unbekannte 3D-Objekte.
Yu und Gupta, Proceeding of the 1998 IEEE International Conference an Robotics and Automation, May 1998, Page 3079–3084 beschreibt einen Onlinealgorithmus für die Direct Octree Konstruktion aus Abstandsbildern.
Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zur Steuerung einer beweglichen Vorrichtung relativ zu einem in einer Anordnung angeordneten Objekt anzugeben, welches eine schnellere und genauere Bestimmung der Lage des Objektes ermöglicht und durch welches eine bewegliche Vorrichtung präziser gesteuert werden kann. Es ist außerdem Aufgabe der vorliegenden Erfindung, eine entsprechende Vorrichtung anzugeben.
Diese Aufgabe wird gelöst durch das Verfahren zum Steuern einer beweglichen Vorrichtung relativ zu mindestens einem in einer Anordnung angeordneten Objekt nach Anspruch 1 sowie die Vorrichtung, welche relativ zu mindestens einem in einer Anordnung angeordnetem Objekt steuerbar ist, nach Anspruch 26. Vorteilhafte Weiterbildungen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung werden durch die jeweiligen abhängigen Ansprüche gegeben.
Erfindungsgemäß ist ein Verfahren zum Steuern einer beweglichen Vorrichtung relativ zu mindestens einem in einer Anordnung angeordneten Objekt. Unter Anordnung soll hier jede Ansammlung von einem oder mehreren Objekten verstanden werden, sowohl geordnete wie auch ungeordnete. Insbesondere wird auch ungeordnetes Schüttgut als Anordnung verstanden. Die Anordnung kann unbegrenzt sein. Sie kann ohne eine Abgrenzung oder auch in einem Behältnis, wie beispielsweise einer Kiste, vorliegen. Die Anordnung kann identische und/oder unterschiedliche Objekte enthalten. Das Verfahren ist auch auf mehrere unterschiedliche Objekte anwendbar.
In einem ersten Schritt des erfindungsgemäßen Verfahrens werden Tiefenbilder mit einer Vielzahl von Bildpunkten von zumindest einem positiven und zumindest einem negativen Volumen eines Modells des Objektes für eine Vielzahl von Orientierungen und/oder Positionen des Modells gelesen.
Unter einem Tiefenbild soll hier ein Bild verstanden werden, welches zumindest einen Teil des Objektes in seiner räumlichen Ausdehnung, Position und/oder Orientierung abbildet. Derartige Tiefenbilder weisen jeweils eine Vielzahl von Bildpunkten auf. Ist das Tiefenbild dreidimensional, können derartige Bildpunkte auch Punktwolken oder Voxel sein.
Für eine schnelle Durchführung des Verfahrens ist es bevorzugt, wenn die Tiefenbilder zweidimensionale Bilder in einer Bildebene sind, wobei jeder Bildpunkt den zur Bildebene senkrechten Abstand eines abgebildeten Gegenstandes angibt. Solche zweidimensionalen Tiefenbilder sind also eine Abbildung jener der Bildebene zugewandten Oberfläche des durch sie abgebildeten Gegenstandes.
Im ersten Schritt des erfindungsgemäßen Verfahrens werden derartige Tiefenbilder von zumindest einem positiven und zumindest einem negativen Volumen für eine Vielzahl von Orientierungen und/oder Positionen des Modells gelesen. Unter einem positiven Volumen wird hierbei ein Volumen verstanden, welches vollständig von dem Modell des Objektes ausgefüllt ist. Das Volumen liegt also im Inneren des Modells vor. Unter einem negativen Volumen wird ein Volumen verstanden, welches von dem Modell nicht erfüllt ist, also keine Überschneidung mit dem Modell aufweist. Im Inneren des negativen Volumens liegt also kein Teil des Models vor.
Die positiven und negativen Volumina sind anhand des Models des Objektes festgelegt. Sie sind relativ zum Model fest fixiert. Die Anzahl der positiven und negativen Volumina hängt dabei von der Form des Models ab und davon, wie genau das Model beschrieben werden soll.
Die Tiefenbilder sind nun Abbildungen zumindest eines Teils der positiven und negativen Volumina. Die Tiefenbilder können separat vor dem erfindungsgemäßen Verfahren oder im Verfahren erstellt werden. Sie werden erstellt, indem, nachdem das zumindest eine negative und zumindest eine positive Volumen relativ zum Model des Objektes definiert ist, das Model in verschiedene Orientierungen und/oder Positionen gedreht bzw. verschoben wird und für diese Orientierungen bzw. Positionen jeweils ein Tiefenbild bestimmt wird, welches zumindest einen Teil der positiven und negativen Volumina abbildet. Sind die Tiefenbilder wie oben beschrieben zweidimensionale Abstandsdaten, so ist für eine gegebene Orientierung bzw. Position das Tiefenbild der senkrechte Abstand des positiven bzw. negativen Volumens von der Bildebene des Tiefenbildes. In diesem Fall tragen nur Teile der Volumina zum Tiefenbild bei, die der Bildebene zugewandt liegen.
Im ersten Schritt des Verfahrens werden die Tiefenbilder gelesen. Im einfachsten Fall bedeutet das, dass die Tiefenbilder aus einem Speicher gelesen werden, in welchem sie gespeichert sind. In den Speicher können sie, nachdem sie wie oben beschrieben aufgenommen wurden, eingelesen worden sein. Das Festlegen bzw. Bestimmen der Tiefenbilder kann zu einem früheren Zeitpunkt geschehen, es ist aber auch möglich, die Tiefenbilder unmittelbar vor der Durchführung des Verfahrens jeweils neu zu berechnen.
Die Tiefenbilder können auf verschiedene Weise bestimmt werden. Zum einen ist eine rechnerische Bestimmung der Tiefenbilder möglich. Hierzu wird das Objekt, relativ zu welchem die bewegliche Vorrichtung gesteuert werden soll, beispielsweise als CAD-Modell, dargestellt. Eine solche Darstellung ist beispielsweise im STL- oder VRML-Format möglich, insbesondere in einer OpenGL-Umgebung. Zu diesem CAD-Modell werden dann, wie oben beschrieben, zumindest ein positives und ein negatives Volumen definiert. Auch diese Volumina können in der CAD-Darstellung dargestellt werden. Die Volumina werden nun gemeinsam mit dem Modell des Objektes gedreht und/oder verschoben. Eine solche Drehung oder Verschiebung ist in der CAD-Darstellung ohne weiteres möglich. Für eine Vielzahl von Orientierungen und/oder Positionen des Modells zusammen mit den positiven und negativen Volumina wird nun jeweils zumindest ein Tiefenbild berechnet. Hierzu wird relativ zu dem Modell des Objektes eine für alle Orientierungen gleiche Ebene oder Fläche festgelegt, welche dann die Bildebene oder Bildfläche bildet. Relativ zu dieser Bildebene wird dann für die Punkte des Bildes in der Bildebene der jeweils senkrecht zur Bildebene stehende Abstand des CAD-Modells zur Bildebene bestimmt und das so erhaltene Bild für die entsprechende Orientierung des Modells gespeichert.
Die Tiefenbilder können aber auch bestimmt werden, indem mit einem Tiefenbildsensor ein reales Modell des Objektes in einer Vielzahl von Orientierungen aufgenommen wird und als Tiefenbild gespeichert wird. Auf diese Weise kann die Erstellung eines CAD-Modells umgangen werden.
In einem zweiten Schritt des erfindungsgemäßen Verfahrens werden nun Daten aufgenommen, welche die Anordnung und/oder das Objekt beschreiben. Erster und zweiter Schritt können in beliebiger Reihenfolge durchgeführt werden. Sie können auch gleichzeitig durchgeführt werden. Die im zweiten Schritt aufgenommenen Daten des realen Objektes, relativ zu welchem die bewegliche Vorrichtung gesteuert werden soll, sind vorzugsweise Daten, welche die räumliche Lage, Position, Orientierung und/oder Form des Objektes wiedergeben. Besonders geeignet sind, insbesondere wenn die Tiefenbilder zweidimensionale Tiefendaten enthalten, Tiefenbilder des Objektes, welche den Abstand des Objektes zum zur Aufnahme der Daten verwendeten Sensor und/oder zu einer Detektionsebene angeben.
Nach dem ersten und dem zweiten Schritt liegen nun sowohl Tiefenbilder für eine Vielzahl von Orientierungen bzw. Positionen als auch Daten, die das Objekt beschreiben, vor. In einem dritten Schritt werden nun zumindest ein Teil der Daten zumindest einem Teil der Bildpunkte der Tiefenbilder für zumindest einige der Orientierungen und/oder Positionen des Modells bzw. des Objektes zugeordnet. Die Zuordnung erfolgt vorzugsweise so, dass ein bestimmter Ort relativ zum Modell des Objektes, der durch das Tiefenbild abgebildet wurde, mit einem entsprechenden Ort relativ zum tatsächlichen Objekt, der in den Daten des zweiten Schritts abgebildet wurde, übereinstimmt. Auf diese Weise können die Orte in den Tiefenbildern direkt mit den Orten in den Daten verglichen werden.
In einem vierten Schritt des erfindungsgemäßen Verfahrens wird nun die Position und/oder die Orientierung, d. h. die Lage, des Objektes bestimmt, indem zumindest einige der im zweiten Schritt aufgenommenen Daten mit zumindest einigen der Tiefenbilder verglichen wird. Hierbei wird vorzugsweise ausgenutzt, dass ein Tiefenbild, welches von dem Modell aufgenommen wurde, als dieses sich in einer ähnlichen oder der gleichen Lage befand wie das tatsächliche Objekt, bei der Aufnahme der Daten eine besonders hohe Korrelation mit den aufgenommenen Daten zeigen wird.
Wurde nun die Orientierung und/oder Position bestimmt, so kann die bewegliche Vorrichtung relativ zum Objekt anhand der bestimmten Orientierung und/oder Position gesteuert werden. Die bewegliche Vorrichtung kann eine Behandlungsvorrichtung sein, mit welcher das Objekt behandelbar ist. Eine solche Vorrichtung kann beispielsweise ein Werkzeug sein, mit welchem das Objekt bearbeitet wird. Es kann aber auch einfach ein Greifer sein, der das Objekt greift, um es umzulagern. Die bewegliche Vorrichtung kann aber auch beispielsweise ein Roboter sein, der sich durch die Anordnung der Objekte oder relativ zu dem Objekt bewegen kann.
Wie beschrieben sind die Tiefenbilder vorzugsweise die Abstände des Modells von einer Bildebene in Abhängigkeit zweier Koordinaten. Die Koordinaten werden hierbei vorzugsweise so gewählt, dass sie mit den Koordinaten, in welchen die Daten aufgenommen werden, übereinstimmen, korrespondieren oder in diese Koordinaten überführbar sind. Alternativ können aber auch die Koordinaten der Daten in die für die Tiefenbilder verwendeten Koordinaten überführt werden. Möglich ist es beispielsweise, die Tiefenbilder in zweidimensionalen kartesischen Koordinaten aufzunehmen, so dass beispielsweise die Bildpunkte des Tiefenbildes den senkrecht zur Bildebene stehenden Abstand des Modells von dem entsprechenden Bildpunkt darstellen. In diesem Falle können die Daten im zweiten Schritt mit einem Sensor aufgenommen werden, der die Abstände des Objektes von einer Detektionsebene bestimmt. Es ist dabei auch möglich, die Daten mit einem punktförmigen Sensor aufzunehmen, so dass sie zunächst in Kugelkoordinaten vorliegen. Die Daten können dann rechnerisch in kartesische Koordinaten umgerechnet werden. Es ist auch möglich, die Tiefenbilder direkt in Kugelkoordinaten zu bestimmen und dann direkt mit den in Kugelkoordinaten aufgenommenen Daten zu vergleichen. Da Koordinatensysteme generell weitgehend beliebig umrechenbar sind, ist die Durchführung des Verfahrens auch mit vielen anderen Kombinationen von Koordinatensystemen möglich.
Wie beschrieben wird im vierten Schritt des erfindungsgemäßen Verfahrens die Position und/oder die Orientierung des Objektes in der Anordnung anhand eines Vergleiches zumindest einiger der Daten mit zumindest einigen der Tiefenbilder bestimmt. Bevorzugt wird diese Bestimmung durchgeführt, indem für zumindest einige der Orientierungen, für welche Tiefenbilder bestimmt wurden, bestimmt wird, für welchen Anteil des zumindest einen positiven Volumens in dieser Orientierung die Daten das Erfülltsein mit dem Objekt anzeigen, und für welchen Anteil des zumindest einen negativen Volumens die Daten das Nichterfülltsein mit dem Objekt in dieser Orientierung bzw. Position anzeigen. Es wird zum Vergleich also jeweils ein Tiefenbild betrachtet, welches eine Orientierung bzw. Position des Modells wiedergibt. Dieses Tiefenbild wird dann mit den aufgenommenen Daten verglichen. Hierzu wird dann, nachdem die Daten den Bildpunkten des Tiefenbildes zugeordnet wurden, im Tiefenbild das positive Volumen betrachtet und bestimmt, zu welchem Anteil in den das positive Volumen abbildenden Bildpunkten des Tiefenbildes in den Daten das Objekt vorliegt. Außerdem wird im Tiefenbild das zumindest eine negative Volumen betrachtet und bestimmt, welcher Anteil der den das negative Volumen beschreibenden Bildpunkte zugeordneten Daten das Nichtvorliegen des Objektes anzeigen.
Um die Berechnungen zu vereinfachen, ist es bevorzugt, wenn das zumindest eine positive und zumindest eine negative Volumen durch eine Vielzahl von Voxeln dargestellt wird. Ein Voxel ist hierbei eine kleine, vorzugsweise würfelförmige Volumeneinheit. Benachbarte Voxel grenzen vorzugsweise über ihre Oberflächen aneinander. Vorzugsweise sind die Voxel des zumindest einen positiven Volumens dann alle von dem Modell ausgefüllt, während kein Voxel des zumindest einen negativen Volumens von dem Modell ausgefüllt ist. Bei der Beschreibung der Volumina durch Voxel kann dann im vierten Schritt für die verschiedenen Orientierungen des Modells der Anteil der Voxel des positiven Volumens bestimmt werden, für welche die Daten das Vorliegen des Modells anzeigen, und der Anteil der Voxel des negativen Volumens bestimmt werden, für welche die Daten das Nichtvorliegen des Objektes anzeigen.
Wird hierbei die Orientierung ausgewählt, indem die Anteile der positiven und negativen Volumina bestimmt werden, in welchen das Objekt vorliegt bzw. nicht vorliegt, so wird vorzugsweise jene Position und/oder Orientierung als Position bzw. Orientierung des Objektes ausgewählt, in welcher der Anteil für das positive Volumen und/oder der Anteil für das negative Volumen und/oder die Summe der beiden Anteile maximal ist.
Abhängig von der Geometrie des Objektes können unter bestimmten Umständen positive Volumina besser zur Beschreibung des Objektes geeignet sein oder negative Volumina besser geeignet sein. Insbesondere kann es auch sein, dass zwar negative Volumina besser für das Objekt anzugeben sind, die positiven Volumina die Lage des Objektes aber besser beschreiben. Auch der umgekehrte Fall ist selbstverständlich möglich. Insbesondere für solche Fälle ist es bevorzugt, wenn bei der oben beschriebenen Berechnung der Anteile von durch das Objekt ausgefüllten Teilen der entsprechenden Volumina und nicht ausgefüllten Teilen die entsprechenden Anteile mit Gewichtungsfaktoren gewichtet werden. Auf diese Weise kann einem entsprechenden Umstand Rechnung getragen werden, in welchem die positiven oder die negativen Volumina zur Lagebestimmung unterschiedlich gut geeignet sind. Liegen mehrere positive und/oder negative Volumina vor, so können auch die positiven bzw. negativen Volumina untereinander unterschiedlich gewichtet werden.
Das Verfahren kann optimiert werden, indem nicht immer alle Voxel geprüft werden, sondern nur ein Teil der Voxel. Wenn es beispielsweise bei der Auswertung der ersten n Voxel bereits keine Übereinstimmung gibt, kann man den Vergleich bereits abbrechen und die Orientierung verwerfen.
Die Berechnungen können vereinfacht werden, wenn die Ausdehnung der Voxel in Richtung parallel zur Ebene des Tiefenbildes, also zur Bildebene, gleich oder im Wesentlichen gleich der Ausdehnung von Pixeln eines zur Aufnahme der Daten im zweiten Schritt verwendeten Detektors ist oder gleich dem Abstand benachbarter Koordinaten des zur Darstellung der Daten verwendeten Koordinatensystems ist.
Zur Bestimmung der Tiefenbilder verschiedener Orientierungen des Modells ist es einerseits möglich, die Voxel relativ zum Modell festzulegen, so dass die Voxel zusammen mit dem Modell gedreht werden. Es ist aber auch möglich, die Voxel relativ zur Bildebene bzw. Bildfläche des Tiefenbildes festzulegen, so dass die Voxel für alle Orientierungen und/oder Positionen des Modells gleich angeordnet sind und das Modell durch die Voxel gedreht wird. Hier wird dann vorzugsweise der gesamte dem Modell in allen in Frage kommenden Lagen zur Verfügung stehende Raum in Voxeln dargestellt.
Die Voxel relativ zum Modell anzuordnen und mit dem Modell zu drehen hat den Vorteil, dass die positiven und negativen Volumina stets durch die gleichen Voxel repräsentiert werden. Die Voxel relativ zu Bildebene bzw. Bildfläche des Tiefenbildes festzulegen, hat den Vorteil, dass gleiche Voxel für alle Orientierungen gleichen Bildpunkten des Tiefenbildes entsprechen. Für den Fall, dass das Tiefenbild eine Punktwolke ist, können als Daten im zweiten Schritt ebenfalls Punktwolken aufgenommen werden. Bei feststehenden, nicht mit dem Objekt gedrehten Voxeln, kann dann die Information des Tiefenbildes darin bestehen, welche Voxel von dem positiven bzw. negativen Volumen ausgefüllt sind und welche nicht. Die Punkte der Punktwolke der Daten können nun anhand ihrer dreidimensionalen Koordinaten direkt Voxeln zugeordnet werden und es kann bestimmt werden, ob ein Punkt der Punktwolke in einem Voxel liegt, welches in der entsprechenden Orientierung des Modells zum positiven oder zum negativen Volumen gehört.
Für den Fall, dass die Tiefenbilder Punktwolken sind, ist daher die Zuordnung zwischen den Daten und den Bildpunkten der Tiefenbilder besonders vorteilhaft möglich. Zu beachten ist, dass, für den Fall, dass die Tiefenbilder Punktwolken sind, die Bildpunkte ebenfalls Voxel sind.
Die Form der positiven und negativen Volumina ist grundsätzlich weitgehend frei gestaltbar und wird vorzugsweise an die Form des betreffenden Objektes angepasst. Als besonders geeignet haben sich u. a. Volumina herausgestellt, die sich zumindest zu Teilen der Oberfläche des Objektes bzw. des Modells wie Hüllen oder Mäntel verhalten. Negative Volumina sind hierbei als flächige Volumina mit im Wesentlichen konstanter Dicke über zumindest einen Teil der Oberfläche des Modells angeordnet. Die Dicke sei hierbei die Ausdehnung in Richtung senkrecht zur flächigen Ausdehnung. Die flächig ausgedehnten Oberflächen dieses Volumens haben dann jeweils einen im Wesentlichen konstanten Abstand zur Oberfläche des Objektes. Die negativen Volumina folgen also in ihrem Verlauf dem Verlauf der Oberfläche des Modells. Entsprechend können auch die positiven Volumina als flächige Volumina mit im Wesentlichen konstanter Dicke sein. Diese positiven Volumina sind dann vorzugsweise im Inneren des Modells unterhalb der Oberfläche des Objektes angeordnet. Der Abstand ihrer flächigen Oberflächen ist dann wieder jeweils im Wesentlichen konstant zur Oberfläche des Objektes in dem Bereich, unter welchem sie angeordnet sind.
Als positive und negative Volumina kommen jedoch auch einzelne Punkte in und außerhalb des Objektes in Frage. Für eine möglichst genaue Bestimmbarkeit der Lage des Objektes ist es aber bevorzugt, wenn die positiven und negativen Volumina in der Nähe der Oberfläche des Objektes angeordnet sind.
Sind die Volumina Hüllvolumina mit einer dünnen, flächigen Form, so hat die dünne Fläche in Richtung senkrecht zu ihrer flächigen Ausdehnung vorzugsweise eine Dicke d, welche vorzugsweise 1, 2, 3, 4, besonders bevorzugt jedoch weniger als 10 Bildpunkte dick ist. Die Größe der Bildpunkte wird hierbei durch die Bildpunkte des zur Aufnahme der Daten verwendeten Sensors und/oder der Tiefenbilder gegeben. Liegen hier Volumendaten vor, so sind die Bildpunkte Voxel.
Die Volumina können in zumindest einer Richtung, beispielsweise der Dicke, auf eine Ausdehnung der Breite eines Voxels beschränkt sein. Dies ist insbesondere bei den oben erwähnten flächigen Hüllvolumina möglich. Durch eine derartige geringe Ausdehnung kann der Rechenaufwand bei der Lageerkennung verringert werden.
Die Berechnung kann weiter vereinfacht werden, wenn die positiven und/oder negativen Volumina regelgeometrische Formen haben. In diesem Falle müssen die Volumina nicht Punkt für Punkt angegeben werden, sondern können durch geometrische Vorschriften definiert werden. Auch die Rotation des CAD-Modells in die benötigten Orientierungen ist dann über geometrische Vorschriften möglich. Die Drehung kann dann beispielsweise durch Euler-Winkel angegeben werden, wobei die Rotationsachsen mitgedreht werden.
Grundsätzlich wird die Zahl der Volumina vorzugsweise entsprechend den Erfordernissen der Geometrie des zu beschreibenden Objektes gewählt. Es ist jedoch bevorzugt, wenn die Zahl der Volumina die kleinste Zahl an Volumina ist, mit der das Volumina in seiner Orientierung und/oder Position so eindeutig wie durch die Anwendung des Verfahrens erforderlich gegenüber dem Objekt in anderen Orientierungen und Positionen abgrenzbar ist.
Der Detektor zur Aufnahme der Daten im zweiten Schritt wird im Allgemeinen keine kontinuierliche Auflösung haben, so dass die Daten in diskreter Form Vorliegen. Unabhängig davon können die Daten jedoch auch auf ein Gitter diskretisiert werden. Ein solches Gitter weist dann eine Vielzahl von Gitterpunkten in einer Gitterebene auf. Die Gitterebene entspricht dabei vorzugsweise der Detektionsebene. Der Abstand benachbarter Gitterpunkte wird vorzugsweise durch den Abstand der Bildpunkte im Tiefenbild gegeben, Auf diese Weise ist es dann möglich, je einem Bildpunkte des Tiefenbildes einen Punkt der Daten zuzuordnen. Für dreidimensionale Daten, wie z. B. Punktwolken gilt Entsprechendes.
Darüber hinaus ist es aber auch möglich, dass die Periode der Gitterstützstellen des Gitters ein ganzzahliges Vielfaches der Periode der Bildpunkte des Tiefenbildes ist oder dass die Periode der Bildpunkte des Tiefenbildes ein ganzzahliges Vielfaches von der Periode der Gitterpunkte ist. In diesem Falle werden dann mehrere Punkte des Tiefenbildes einem Gitterpunkte zugeordnet oder andersherum entsprechend. Werden die Volumina in Voxeln angegeben, so ist es besonders vorteilhaft, wenn der Abstand zweier benachbarter Gitterpunkte des Gitters gleich der Ausdehnung der Voxel entlang zumindest einer derer Kanten ist, insbesondere entlang einer Kante parallel zur Ebene des Gitters.
Eine besonders geeignete Ausführungsform sieht vor, die Tiefendaten durch Abbildung des Modells des Objektes auf eine Bildfläche wie oben beschrieben zu bestimmen. Da die Punkte des Modells auf die Bildebene entlang paralleler Linien abgebildet werden, entspricht eine solche Abbildung einer Parallelprojektion des Modells auf die Bildfläche. Gleichzeitig ist es jedoch für die Aufnahme der Daten bevorzugt, wenn hier ein in einem Punkt angeordneter Detektor verwendet wird, der durch Schwenken um zwei Winkel die Oberfläche des Objektes abtastet. Eine solche Abtastung ist vorteilhaft, weil hier der Detektor nicht entlang von Längssachsen verschoben werden muss. Eine solche Abtastung liefert jedoch die Daten der Oberfläche des Objektes in Kugelkoordinaten. Es liegt also eine Zentralprojektion vor. Um im dritten Schritt die Daten den Bildpunkten zuordnen zu können, ist es dann vorteilhaft, die in Kugelkoordinaten vorliegenden Daten in kartesische Koordinaten umzurechnen. Die umgerechneten Daten liegen dann so vor, wie Daten, die durch Parallelprojektion auf eine Detektorebene gewonnen worden wären. Die kartesischen Koordinaten des Tiefenbildes können dann direkt den kartesischen Koordinaten der Daten zugeordnet werden.
Die Umrechnung der in Kugelkoordinaten vorliegenden Daten in kartesische Koordinaten kann zu Mehrdeutigkeiten bezüglich der Tiefe, d. h. des Abstandes des gemessenen Punktes des Objektes von der Detektionsebene führen. Ist für die Lagebestimmung im erfindungsgemäßen Verfahren nur die Information über die Oberfläche des Objektes gewünscht, so kann aus den mehrdeutigen Abstandswerten jener der Detektionsebene zunächstliegende ausgewählt werden, indem der Messwinkel zum Lot der Sensormessrichtung berücksichtigt wird, unter welchem der entsprechende Punkt des Objektes bei der Aufnahme in Kugelkoordinaten durch den Sensor erschien. Jene Punkte des Objektes, die in der Zentralprojektion einen größeren Messwinkel zum Lot der Sensormessrichtung aufweisen, werden dann als der Detektorebene näher liegend erkannt und solche mit einem kleineren Messwinkel zum Lot der Sensormessrichtung als weiter entfernt. Auf diese Weise kann aus der Messwinkelinformation auf den Abstand eines fraglichen Punktes des Objektes zur Detektionsebene geschlossen werden.
Wie beschrieben werden im dritten Schritt des erfindungsgemäßen Verfahrens zumindest ein Teil der Daten in zumindest einem Teil der Bildpunkte der Tiefenbilder für zumindest einige der Orientierungen und/oder Positionen des Modells zugeordnet. Ist in dem zu behandelnden Fall die Detektionsfläche relativ zum zu erkennenden Objekt so orientiert, wie die Bildfläche des Tiefenbildes zum Modell des Objektes bei der Bestimmung der Tiefenbilder orientiert ist, so kann eine Zuordnung einfach dadurch erfolgen, dass die Punkte der Detektionsfläche den Bildpunkten der Bildfläche fest zugeordnet werden.
Wegen der Flexibilität bezüglich der Position des Objektes ist es bevorzugt, wenn in den Tiefenbildern jeweils zumindest ein Bezugspunkt gegeben ist, anhand dessen die Position des Modells im Tiefenbild bestimmbar ist. Entsprechend kann dann in den Daten zumindest ein Referenzpunkt bestimmt oder definiert werden, relativ zu welchem die Lage des Objektes angebbar ist oder angegeben wird. Werden die Bezugspunkte und die Referenzpunkte jeweils in Beziehung zueinander gebracht, so kann beim Vergleich der Daten mit den Bildpunkten des Tiefenbildes die Lage des Objektes und des Modells im Voraus bestimmt werden.
Besonders vorteilhaft ist es hierbei, wenn der Bezugspunkt am Modell im Tiefenbild anhand einer bestimmten Vorschrift festgelegt wird, und der Referenzpunkt am Objekt anhand der gleichen Vorschrift in den Daten festgelegt wird. In diesem Fall ist es nämlich möglich, die Position des Objektes bei der Zuordnung der Daten zu den Bildpunkten sofort dadurch festzulegen, dass der zumindest eine Referenzpunkt und der zumindest eine Bezugspunkt in Übereinstimmung gebracht werden. Eine solche Vorschrift kann dabei wie folgt aussehen. Zunächst wird als Bezugspunkt jener Punkt des Modells gesucht, der den kleinsten Abstand zur Bildfläche des Tiefenbildes hat. Haben mehrere Punkte diesen kleinsten Abstand, so wird als Bezugspunkt weiter jener Punkt bestimmt, welcher in einer Koordinatenrichtung parallel zur Bildfläche den kleinsten Koordinatenwert hat. Haben wiederum mehrere Punkte diesen kleinsten Koordinatenwert, so wird als Bezugspunkt jener Punkt bestimmt, der in hierzu orthogonalen Koordinaten parallel zur Bildfläche den kleinsten Koordinatenwert hat. Da der Punkt auf diese Weise in drei Koordinaten festgelegt wird, ist er eindeutig. Der Referenzpunkt kann nun entsprechend jener Punkt sein, welcher den kleinsten Abstand zur Gitterebene bzw. zur Detektionsebene hat. Haben mehrere Punkte des Objektes diesen kleinsten Abstand, so wird dann der Referenzpunkt gesucht, der den kleinsten Koordinatenwert in einer Richtung parallel zur Ebene der Detektionsfläche hat. Haben außerdem mehrere Punkte diesen kleinsten Koordinatenwert, so wird dann der Referenzpunkt bestimmt, welcher außerdem in einer hierzu orthogonalen Koordinatenrichtung parallel zur entsprechenden Ebene den kleinsten Koordinatenwert hat. Die Lage des Objektes relativ zum Modell im Tiefenbild ist dann bestimmbar, indem Bezugspunkt und Referenzpunkt in Übereinstimmung gebracht werden.
Eine andere Möglichkeit, Bezugspunkte und Referenzpunkte festzulegen, besteht darin, als Bezugspunkte bestimmte ausgewählte Merkmale des Objektes bzw. des Modells auszuwählen. So kann beispielsweise eine Kante, eine Ecke, ein Mittelpunkt eines Querschnitts oder ein anderer Punkt des Modells der Bezugspunkt sein und ein entsprechender Punkt des Objektes der genannte Referenzpunkt.
Vorteilhaft ist es in bestimmten Situationen auch, wenn mehrere Bezugspunkte bestimmt werden. Auf diese Weise kann auch die rotatorische Lage des Objektes und des Modells in bestimmten Freiheitsgraden von vorneherein in Übereinstimmung gebracht werden. Besonders vorteilhaft ist es auch, die positiven und negativen Hüllvolumina relativ zu dem oder den Bezugspunkten anzugeben oder zu definieren. Insbesondere wenn die Hüllvolumina durch geometrische Vorschriften definiert werden, ist dies günstig.
In einer Ausgestaltungsform kann das erfindungsgemäße Verfahren also wie folgt aussehen: Zunächst wird ein CAD-Modell des Objektes in geeigneter Darstellung (beispielsweise VRML, STL oder andere) erzeugt. Das CAD-Modell wird dann in alle benötigten Orientierungen rotiert und/oder Positionen verschoben. Hierbei kann dann automatisch der Bezugspunkt für die definierten Hüllvolumina gesucht werden und die positiven und negativen Hüllvolumina definiert werden. Die Hüllvolumina können bei Bedarf unterschiedlich gewichtet werden. Die hierbei erhaltenen Informationen werden dann (als Tiefenbild) gespeichert. Die vorgenannten Schritte können dem erfindungsgemäßen Verfahren vorausgehen oder Teil dieses Verfahrens sein. Die gespeicherten Informationen werden nun zur Durchführung des Verfahrens gelesen. Eine Aufnahme von Tiefenbildern für verschiedene translatorische Positionen des Modells kann entfallen, wenn die Referenz- und Bezugspunkte geeignet in Übereinstimmung gebracht werden. Außerdem wird die Anordnung der Objekte, in welcher das fragliche Objekt vorliegt, beispielsweise als 3D-Punktwolke mit geeignetem Sensor digitalisiert. Bei Bedarf wird dann eine Simulation einer Parallelprojektion zur Darstellung der Punktwolke als gerastete Oberfläche vorgenommen. Es kann dann automatisch der Referenzpunkt gesucht werden und mit dem Bezugspunkt in Übereinstimmung gebracht werden. Es können dann die vorher generierten Objektorientierungen bzw. Positionen durch Vergleich mit den Daten bewertet werden und die am besten bewertete Orientierung bzw. Position ausgewählt werden.
Das Neuartige an der erfindungsgemäßen Lösung ist u. a. die Kombination aus Daten, die sich einerseits auf das Objekt und andererseits auch auf die Umgebung beziehen. Dieses ist ein grundsätzlicher Unterschied der Konzeption gegenüber existierenden Verfahren. Das neue Verfahren sieht vor, dass bereits bei der Objektbeschreibung ein Bezug zwischen dem Objekt und seiner Umgebung beschrieben wird.
Es müssen keine geometrischen Merkmale wie Kontur, Ecke, Kreis, Ellipse, etc. berechnet werden, sondern es wird direkt auf Tiefenwerten gearbeitet.
Durch Vorgabe von Mindestbewertungen für die einzelnen Hüllvolumen kann noch eine abschließende Klassifikation der als bestes bewerteten Objektlage durchgeführt werden. Wenn nicht alle für eine Objektlage definierten Hüllvolumen diese Mindestbewertung erhalten, kann die Objektlage wieder verworfen werden. Natürlich kann diese Klassifikation feiner gestuft werden, je nachdem wie viele Hüllvolumen die Mindestbewertung erhalten, oder indem nicht nur eine, sondern mehrere Bewertungsschranken eingeführt werden.
Als weitere Möglichkeit könnten statt CAD-Daten des Objekts neben anderen Optionen auch durch einen 3D-Sensor erstellte Ansichten für die Erstellung der Datenbank genutzt werden. Vorteilhaft ist bei der Anwendung des Verfahrens, dass es möglich ist, für die erstellten Hüllvolumen Messwerte des Objekts (positives Hüllvolumen) oder das Nichtvorhandensein von Messwerten (negatives Hüllvolumen) zuzuweisen.
Statt den Sensor über der Kiste zu befestigen, kann er neben anderen Möglichkeiten auch am Roboterarm oder an der Handhabungseinheit befestigt werden, um von dort eine Punktewolke zu erstellen. Der Sichtbereich würde sich zwar ändern, das grundlegende Verfahren mit Bezugspunktsuche und Auswertung der positiven und negativen Hüllvolumen wäre allerdings ebenso möglich.
Im Folgenden soll das erfindungsgemäße Verfahren anhand einiger Figuren beispielhaft erläutert werden.
Es zeigt
1 positive und negative Hüllvolumina für ein reifenförmiges Objekt,
2 positive und negative Hüllvolumina für eine Welle,
3 alternative positive und negative Hüllvolumina an einer gekippten Welle,
4 positive und negative Hüllvolumina an einem Rohr,
5 eine Möglichkeit, einen Bezugspunkt festzulegen und
6 die Aufnahme eines Objektes mit einem punktförmigen Sensor.
Es zeigt 1 ein reifenförmiges Objekt 1. Das gezeigte Objekt fungiert hier als Modell des Objektes, in welchem ein positives Hüllvolumen 2 und ein negatives Hüllvolumen 3 angeordnet ist. Im gezeigten Fall ist das positive Hüllvolumen 2 im Inneren des Reifens 1 entlang dessen Umfang angeordnet. Das positive Hüllvolumen 2 hat hier eine Tiefe, die der Tiefe des Reifens 1 entspricht und eine Länge, die dem Umfang am Radius des Reifens 1 entspricht. Die Breite des Hüllvolumens d ist hier 1 Voxel, so dass das Hüllvolumen 2 in der Zeichenebene als Linie dargestellt ist. Die Breite der Linie entspricht also der Breite eines Voxels. Das positive Hüllvolumen 2 ist von dem Objekt 1 vollständig ausgefüllt.
Im von dem Reifen 1 umgebenen Bereich 3 ist entlang des Umfangs des Reifens 1, jedoch außerhalb des vom Reifen 1 aufgefüllten Volumens das negative Volumen 3 angeordnet. Das negative Volumen 3 weist keine Überschneidung mit dem Objekt 1 auf, ist also von dem Objekt 1 zu keinem Teil erfüllt. Die Ausdehnung des negativen Hüllvolumens 3 kann in Richtung senkrecht zur Zeichenebene weitgehend beliebig gewählt werden. In der Zeichenebene ist die Breite d dieses negativen Hüllvolumens 3 wiederum die Breite eines Voxels.
2 zeigt beispielhaft eine Möglichkeit, positive Hüllvolumina 2 und negative Hüllvolumina 3 an einer Welle 7 anzuordnen. Zu erkennen ist, dass das positive Hüllvolumen 2 vollständig von der Welle 7 ausgefüllt ist. Außerdem verläuft das Hüllvolumen 2 entlang der Oberfläche der Welle in deren Innerem mit zur Oberfläche der Welle 7 konstantem Abstand. Die negativen Hüllvolumina 3 sind zu keinem Teil von der Welle 7 ausgefüllt. Im gezeigten Beispiel verlaufen auch die negativen Hüllvolumina 3 entlang der Oberfläche der Welle 7 mit zu dieser Oberfläche konstantem Abstand.
3 zeigt eine alternative Möglichkeit, positive Volumina 2 und negativer Volumina 3 an einer Welle 7, wie jener in 2 gezeigten, anzuordnen. Die Welle 7 ist hier um eine zu ihrer Längsachse senkrecht stehende Achse gedreht dargestellt. An der gezeigten Welle 7 sind zwei positive Volumina 2a und 2b angeordnet. Die positiven Hüllvolumina 2a und 2b sind nicht entlang der ganzen Oberfläche der Welle 7 angeordnet. Das Hüllvolumen 2a ist nur an einem Ende der Welle 7 entlang der Oberfläche der Welle 7 in deren Innerem angeordnet, während dort, wo die Welle 7 ihren Durchmesser vergrößert, kein positives Hüllvolumen angeordnet ist. Das positive Hüllvolumen 2b ist dort angeordnet, wo die Welle ihren maximalen Durchmesser hat. Das negative Hüllvolumen 3 umläuft ebenso nur einen Teil der Oberfläche der Welle 7. Das negative Hüllvolumen 3 umläuft die Oberfläche der Welle 7 mit im Wesentlichen konstantem Abstand dort, wo die Welle 7 den maximalen Durchmesser hat, im gezeigten Fall im Wesentlichen parallel zum positiven Hüllvolumen 2b, welches unterhalb der Oberfläche angeordnet ist.
4 zeigt ein Rohr 11 in der Seitenansicht, so dass die Zylinderachse des Rohres 11 in der Zeichenebene liegt. An diesem Rohr 11 ist ein positives Hüllvolumen 2 entlang einem Teil der Oberfläche des Rohres 11 in dem Mantel des Rohres 11 angeordnet. Das positive Hüllvolumen 2 erstreckt sich jedoch auch hier nicht entlang der gesamten Oberfläche des Rohres 11. Das Hüllvolumen 2 wird also nicht um den ganzen Rand des Objektes 11 gelegt. Am Rohr 11 ist außerdem ein negatives Hüllvolumen 3 entlang einem Teil der Oberfläche des Rohres 11 angeordnet. Auch das Hüllvolumen 3 ist nicht um den ganzen Rand des Objektes 11 gelegt, sondern umgibt das Rohr 11 nur über einem Teil seiner Oberfläche.
5 beschreibt eine Möglichkeit, einen Bezugspunkt 6 am Modell 5 des Objektes oder einen Referenzpunkt 6 am Objekt 5 festzulegen. Die Figur zeigt hierbei die der Detektorebene oder der Bildebene zunächst liegende Oberfläche des Objektes 5. Im linken Teilbild ist das Objekt 5 also ein Zylinder und im rechten Teilbild ein nach oben und unten offener Quader. Die der Detektorebene oder der Bildebene zunächst liegende Oberfläche ist hier ein kreisförmiger Ring bzw. ein Quadrat. Alle Punkte auf diesem kreisförmigen Ring und dem Quadrat haben zur Detektorebene bzw. Bildebene den gleichen Abstand. Um hier einen eindeutigen Bezugspunkt 6 auszuwählen, wird im linken Teilbild zunächst jener Punkt 6 der Vielzahl von Punkten mit gleichem z-Wert bestimmt, der den kleinsten y-Wert hat. Im linken Teilbild ist dies nur ein Punkt, so dass hierdurch der Bezugspunkt 6 bzw. der Referenzpunkt 6 bereits eindeutig bestimmt ist.
Im rechten Teilbild haben alle auf der Kante mit konstantem y-Wert angeordneten Punkte den gleichen y-Wert, so dass ein solcher Bezugs- bzw. Referenzpunkt 6 noch nicht eindeutig ist. Als zusätzliches Kriterium wird daher jener Punkt 6 bestimmt, welcher außerdem den kleinsten x-Wert hat. Dieser Punkt ist eindeutig und daher als Bezugspunkt 6 und Referenzpunkt 6 geeignet.
6 zeigt die Detektion eines Objektes 8 mit einem punktförmigen Sensor 7. Die Zeichenebene entspricht hierbei der xz-Ebene, während die y-Richtung senkrecht zur Zeichenebene steht. Da der Sensor 7 punktförmig ist, nimmt er ein Bild des Objektes 8 in Kugelkoordinaten auf. Hierbei erscheinen dem Sensor 7 in z-Richtung höher liegende Messwerte 9 also Messwerte mit einem größeren z-Wert) unter einem größeren Messwinkel als Messwerte mit kleinem z-Wert, die also weiter unten liegen.
Werden nun die mit dem punktförmigen Sensor aufgenommenen Messwerte 9 und 10 in kartesische Koordinaten überführt, so entsteht zwischen den Messwerten 9 und 10 eine Mehrdeutigkeit, da die Messwerte 9 und 10 mit den gleichen Werten für x und y abgebildet werden. Um hier jene Messwerte auf der Oberfläche des Objektes 8 auswählen zu können, wird der Messwinkel bestimmt, unter welchem die Messwerte 9 und 10 erscheinen. Jene Messwerte, die unter einem größeren Messwinkel erscheinen, sind dann die Messwerte mit einem größeren z-Wert und daher der Detektionsebene, in welche die Daten aus den Kugelkoordinaten umgerechnet werden, näher liegt.

Claims

Verfahren zum Steuern einer beweglichen Vorrichtung relativ zu mindestens einem in einer Anordnung angeordneten Objekt, wobei in einem ersten Schritt Tiefenbilder mit einer Vielzahl von Bildpunkten von zumindest einem positiven und zumindest einem negativen Volumen eines Modells des Objektes für eine Vielzahl von Orientierungen und/oder Positionen des Modells gelesen werden, wobei das zumindest eine positive Volumen so definiert ist, dass es vollständig von dem Modell ausgefüllt ist, und wobei das zumindest eine negative Volumen so definiert ist, dass es keinen Teil des Modells enthält, in einem zweiten Schritt, der vor, nach oder während des ersten Schrittes durchgeführt werden kann, Daten aufgenommen werden, welche die Anordnung und/oder das Objekt beschreiben, in einem dritten Schritt zumindest ein Teil der Daten zumindest einem Teil der Bildpunkte der Tiefenbilder für zumindest einige der Orientierungen des Modells zugeordnet werden, in einem vierten Schritt die Orientierung und/oder Position des Objektes in der Anordnung anhand eines Vergleiches zumindest einiger der Daten mit zumindest einigen der Tiefenbilder bestimmt wird, und in einem fünften Schritt eine bewegliche Vorrichtung anhand der im vierten Schritt bestimmten Orientierung gesteuert wird, wobei im vierten Schritt die Orientierung und/oder Position des Objektes in der Anordnung bestimmt wird, indem für zumindest einige der Orientierungen des Modells und/oder für zumindest einige der Tiefenbilder bestimmt wird, für welchen Anteil des zumindest einen positiven Volumens die Daten das Erfülltsein mit dem Objekt anzeigen und für welchen Anteil des zumindest einen negativen Volumens die Daten das nicht Erfülltsein mit dem Objekt anzeigen und wobei im vierten Schritt jene Orientierung ausgewählt wird, für welche der Anteil des positiven Volumens und/oder der Anteil des negativen Volumens und/oder die Summe der beiden Anteile maximal ist.
Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass vor dem ersten Schritt die Tiefenbilder der Vielzahl von Orientierungen und/oder Positionen bestimmt werden und/oder gespeichert und/oder zum Lesen bereitgestellt werden und das im ersten Schritt zumindest einige der gespeicherten Tiefenbilder gelesen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Tiefenbilder die Abstände des Modells von einer Bildebene in Abhängigkeit zweier Koordinaten sind, vorzugsweise dass sie die senkrecht zur Bildebene stehenden Abstände des Modells von dem entsprechenden durch die zweidimensionalen Koordinaten gegebenen Bildpunkt in Abhängigkeit von zweidimensionalen kartesischen Koordinaten sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die im zweiten Schritt aufgenommenen Daten Tiefendaten sind, welche den Abstand des Objektes und/oder der Anordnung von einem Sensor zur Aufnahme der Daten und/oder von einer Detektionsebene in Abhängigkeit von zwei Koordinaten angeben, oder dass die im zweiten Schritt aufgenommenen Daten Punktwolken sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zumindest eine positive Volumen ein Volumen mit einer Vielzahl von Voxeln ist, in welchem jedes Voxel von dem Modell ausgefüllt ist, und wobei das zumindest eine negative Volumen ein Volumen mit einer Vielzahl von Voxeln ist, in welchem kein Voxel von dem Modell ausgefüllt ist, und dass im dritten Schritt zumindest ein Teil der Daten für zumindest einige der Orientierungen zumindest einem Teil der Voxel zugeordnet wird.
Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Ausdehnung der Voxel in Ebenen parallel zur Ebene des Tiefenbildes gleich oder im Wesentlichen gleich der Ausdehnung von Pixeln eines zur Aufnahme der Daten im zweiten Schritt verwendeten Detektors ist.
Verfahren nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass im vierten Schritt die Orientierung und/oder Position des Objektes in der Anordnung bestimmt wird, indem für eine Vielzahl oder jede der Orientierungen der Anteil an Voxeln des zumindest einen positiven Volumens an den Voxeln dieses Volumens bestimmt wird, für welche die Daten das Vorliegen des Objekts anzeigen, und der Anteil an Voxeln des zumindest einen negativen Volumens an den Voxeln diese Volumens bestimmt wird, für welche die Daten das Nichtvorliegen des Objekts anzeigen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest eines, mehrere oder alle der positiven und/oder negativen Volumina flächige Hüllvolumina mit im Wesentlichen konstanter Dicke sind, deren Oberflächen zu zumindest einem Teil der Oberfläche des Modells, auf dem sie angeordnet sind, einen im Wesentlichen konstanten Abstand haben.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest eines der positiven und/oder negativen Volumina die Form eines Rohres hat, welches einen kreisförmigen, ringförmigen und/oder rechteckigen Querschnitt hat, wobei das entsprechende Volumen durch die Wandung des Rohres gegeben wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im ersten Schritt die Anzahl der Volumina im Wesentlichen die kleinste Zahl an Volumina ist, mit der das Objekt in seiner Orientierung eindeutig gegenüber dem Objekt in anderen Orientierungen abgrenzbar ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest eines, mehrere oder alle der positiven und/oder negativen Volumina Hüllvolumina sind, welche eine aus zumindest einer dünnen Fläche zusammengesetzte Form haben, wobei die dünne Fläche eine Dicke d senkrecht zu ihrer flächigen Ausdehnung hat.
Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Dicke d die Größe von 1, 2, 3, 4 oder mehr Bildpunkten, vorzugsweise jedoch weniger als 10 Bildpunkten, eines zur Aufnahme der Daten verwendeten Sensors und/oder der Tiefenbilder hat und/oder dass die Dicke d die Größe von 1, 2, 3, 4 oder mehr Voxeln, vorzugsweise jedoch weniger als 10 Voxeln, hat.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ausdehnung zumindest eines negativen Volumens in Richtung des Abstandes von der Ebene des Tiefenbildes weg durch die Oberfläche des Modells des Objektes begrenz ist, und/oder dass die Ausdehnung zumindest eines positiven Volumens in Richtung des Abstandes durch eine Oberfläche des Modells und in entgegengesetzter Richtung durch eine gegenüberliegende Oberfläche des Modells begrenzt ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Daten im zweiten Schritt in einer Zentralprojektion aufgenommen werden und in eine Parallelprojektion auf eine Detektionsebene umgerechnet werden.
Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die im zweiten Schritt aufgenommenen Daten in oder vor dem dritten Schritt auf ein Gitter mit einer Vielzahl von Gitterpunkten in der Gitterebene, welche vorzugsweise in der Detektionsebene liegt, diskretisiert werden.
Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass der Abstand zweier benachbarter Gitterpunkte des Gitters gleich einer Ausdehnung der Voxel entlang zumindest einer derer Kanten ist und/oder dass die Ausdehnung der Gitterteilflächen der Ausdehnung der Pixel eines zur Aufnahme der Daten verwendeten Sensors und/oder der Bildpunkte der Tiefenbilder ist.
Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass, wenn sich für einen Punkt der Detektionsebene bei der Umrechnung zwischen der Zentralprojektion und der Parallelprojektion mehrere Abstände des Objektes von der Detektionsebene ergeben, jener Abstand ausgewählt wird, welcher in der Zentralprojektion einen größeren Messwinkel zum Lot der Sensormessrichtung hat.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Tiefenbilder jeweils relativ zu zumindest einem Bezugspunkt gelesen und/oder gespeichert werden und/oder dass die Orientierungen des Modells jeweils relativ zu einem Bezugspunkt gelesen und/oder gespeichert werden.
Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass der zumindest eine Bezugspunkt eine Ecke des entsprechenden Modells des Objektes, der Mittelpunkt eines Querschnitts des Modells des Objektes und/oder ein Punkt des Modells des Objektes mit geringstem Abstand zur Bildebene des entsprechenden Tiefenbildes ist.
Verfahren nach einem der beiden vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Bezugspunkt jener Punkt des Modells ist, der den kleinsten Abstand zur Ebene des entsprechenden Tiefenbildes hat und, wenn mehrere Punkte diesen kleinsten Abstand haben, außerdem den kleinsten Koordinatenwert in einer Koordinatenrichtung hat und, wenn mehrere Punkte außerdem diesen kleinsten Koordinatenwert haben, außerdem den kleinsten Koordinatenwert in einer hierzu orthogonalen Koordinatenrichtung hat.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Daten im zweiten Schritt mittels eines Abstandmessers aufgenommen werden, welcher über das Objekt und/oder die Anordnung gescannt wird, wobei der Abstandsensor vorzugsweise ein Laufzeitsensor, ein Laser-Sensor oder ein bewegter Lichtschnittsensor ist und/oder dass die Daten im zweiten Schritt mittels Streifenprojektion aufgenommen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nach dem zweiten Schritt in der Anordnung und/oder am Objekt zumindest ein Referenzpunkt definiert wird.
Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass der Referenzpunkt definiert wird, indem zunächst jener Punkt gesucht wird, welcher den kleinsten Abstand zur Detektionsebene hat, und wenn mehrere Punkte diesen kleinsten Abstand haben, außerdem den kleinsten Koordinatenwert in einer Richtung parallel zur Detektionsebene hat und wenn mehrere Punkte außerdem diesen kleinsten Koordinatenwert haben, außerdem den kleinsten Koordinatenwert in einer hierzu senkrechten Richtung parallel zur Detektionsebene hat.
Verfahren nach einem der beiden vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im dritten Schritt die Daten so den Bildpunkten der Tiefenbilder zugeordnet werden, dass der Bezugspunkt des entsprechenden Tiefenbildes dem Referenzpunkt entspricht.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die bewegliche Vorrichtung ein Greifer ist.
Vorrichtung, welche relativ zu mindestens einem in einer Anordnung angeordneten Objekt steuerbar ist, welche aufweist: eine Einlesevorrichtung zum Einlesen von Tiefenbildern von zumindest einem positiven und zumindest einem negativen Volumen eines Modells des Objektes für eine Vielzahl von Orientierungen des Modells, wobei das zumindest eine positive Volumen so definiert ist, dass es vollständig von dem Modell ausgefüllt ist, und wobei das zumindest eine negative Volumen so definiert ist, dass es keinen Teil des Modells enthält, zumindest einem Sensor zur Aufnahme von Daten, welche die Anordnung und/oder das Objekt beschreiben, einer Zuordnungsvorrichtung zum Zuordnen der Daten zu den Voxeln, einer Bestimmungsvorrichtung zum Bestimmen der Orientierung des Objektes anhand eines Vergleiches der Daten mit den Tiefenbildern, und einer Bewegungsvorrichtung, welche basierend auf der so bestimmten Orientierung steuerbar ist, wobei mit der Vorrichtung ein Verfahren nach einem der Ansprüche 1 bis 25 durchführbar ist.