-
Die Erfindung betrifft ein Verfahren zum Bestimmen einer Lage eines wenigstens eine ebene Fläche aufweisenden Objekts relativ zu einer Erfassungseinrichtung gemäß dem Patentanspruch 1. Ferner betrifft die Erfindung ein Computerprogramm gemäß dem Patentanspruch 9. Schließlich betrifft die Erfindung einen elektronisch lesbaren Datenträger gemäß dem Patentanspruch 10.
-
In der Logistik, beispielsweise bei der Fertigung von Fahrzeugen, können für einen Transport von Waren beziehungsweise zu fertigenden Teilen Ladungsträger eingesetzt werden. Ladungsträger können als Kleinladungsträger, beispielsweise als Transportboxen, ausgebildet sein. Diese werden beispielsweise über Fördereinrichtungen an Produktionsorte transportiert und/oder gehalten, an welchen sie beispielsweise für die Fahrzeugfertigung gebraucht werden.
-
Dabei schreitet eine Automatisierung in der Fertigung, beispielsweise mittels Robotern, immer weiter voran, so dass mittlerweile ganze Fertigungsstraßen beziehungsweise Logistikeinrichtungen automatisiert betrieben werden. Dabei ist es von Vorteil eine Lage, also eine Position und eine Orientierung im Raum, von verwendeten Objekten, wie den Ladungsträgern, beispielsweise gegenüber den Robotern möglichst genau zu kennen.
-
So zeigt die
US 2021/0 004 984 A1 ein Verfahren zum Trainieren eines 6D-Positionsschätznetzwerks aufgrund von iterativem Deep Learning. Ferner zeigt die
US 11,182,924 B1 ein System zum Schätzen einer 3-dimensionalen Pose und zum Bestimmen eines oder mehrerer biochemischer Leistungsparameter von mindestens einer Person in einer Szene. Ferner zeigt die
DE 10 2009 007 024 A1 ein Verfahren zum Vereinzeln von Bauteilen.
-
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Computerprogramm sowie einen Datenträger bereitzustellen, durch welche es ermöglicht wird, ein wenigstens eine ebene Fläche aufweisendes Objekt, wie beispielsweise einen Kleinladungsträger, besonders vorteilhaft erkennen zu können und dadurch auf besonders präzise Weise seine Lage und somit seine Position und Orientierung zu einer Logistikeinrichtung beziehungsweise Drehung bestimmen zu können.
-
Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen sowie in der Beschreibung und in der Zeichnung angegeben.
-
Ein erster Aspekt der Erfindung betrifft ein Verfahren. Das Verfahren dient zum Bestimmen einer Lage eines wenigstens eine ebene Fläche aufweisenden Objekts, wie beispielsweise einen Kleinladungsträger mit einer ebenen Bodenfläche, relativ zu einer Logistikeinrichtung, welche beispielsweise eine Transporteinrichtung und/oder einen Roboter, umfassen kann. Zusätzlich oder alternativ kann zur Bodenfläche beispielsweise auch eine Seitenfläche des Kleinladungsträgers für das Verfahren verwendet werden.
-
Um die Lage des Objekts besonders vorteilhaft bestimmen zu können, umfasst das erfindungsgemäße Verfahren mehrere Schritte:
- In einem ersten Schritt erfolgt ein Erfassen wenigstens einer eine Tiefeninformation und eine Bildinformation umfassenden Aufnahme des Objekts mittels einer Kamera. In einem zweiten Schritt erfolgt ein Erkennen des Objekts in der Bildinformation durch eine Objekterkennungseinrichtung. In einem dritten Schritt erfolgt ein Abrufen eines insbesondere 3-dimensionalen Modells des Objekts, wobei das Modell wenigstens zwei Markerpunkte umfasst, deren Eigenlage zu der wenigstens einen ebenen Fläche vorgegeben und somit insbesondere fixiert und/oder bekannt ist, aufgrund des Erkennens im zweiten Schritt. Dabei erfolgt ein Identifizieren der wenigstens zwei in dem Modell hinterlegten Markerpunkte an dem Objekt in der Aufnahme und somit eine Markerpunkte-Identifizierung. In einem vierten Schritt wird eine Plausibilitätsüberprüfung für die zuvor identifizierten Markerpunkte durchgeführt. In einem fünften Schritt erfolgt ein Berechnen einer zweidimensionalen Pose beziehungsweise Orientierung der wenigstens einen ebenen Fläche des Objekts anhand der wenigstens zwei identifizierten Markerpunkte in der Aufnahme, wobei vorteilhafterweise wenigstens drei Markerpunkte zum Berechnen verwendet werden. In einem sechsten Schritt erfolgt eine Auswahl einer Punktmenge, welche der Fläche des Objekts zugeordnet ist beziehungsweise in der wenigstens eine Fläche orientiert ist, aus der Tiefeninformation der Aufnahme. Schließlich erfolgt in einem siebten Schritt ein Berechnen der 6-dimensionalen Lage des Objekts durch Anpassen der Punktmenge, beziehungsweise einer aus der Punktemenge bestimmten Fläche, an die berechnete Orientierung, wobei die Lage eine Position und eine Drehung beziehungsweise Orientierung des Objekts relativ zur Logistikeinrichtung beschreibt.
-
Bei dem ersten Schritt des Erfassens kann die Aufnahme selbst durch die Kamera erzeugt werden, zusätzlich oder alternativ können die Daten der Aufnahme von einer zumindest Teile des Verfahrens ausführenden elektronischen Recheneinrichtung empfangen werden. Die Erfassungseinrichtung umfasst die Kamera und kann beispielweise zusätzlich einen Halterung aufweisen, an welcher die Kamera beispielsweise relativ zu einem Logistikroboter befestigt ist. Dabei die Halterung gegenüber beispielweise ruhend oder beweglich ausgebildet sein.
-
Die Kamera ist insbesondere als RGB-D-Kamera und/oder als stereoskopische Kamera ausgebildet, so dass die durch die Kamera gemachte Aufnahmen Bildinformationen, also beispielsweise klassische Farbinformationen wie bei einer konventionellen Fotografie, umfassen. Zusätzlich dazu umfasst die Aufnahme Tiefeninformationen, welche beispielsweise mittels Infrarotlichtreflexion und Flugzeit (Time-of-Flight) angefertigt werden, wobei die Tiefeninformation in der Aufnahme beispielsweise als Punktwolken der Umgebung in der Aufnahme enthalten sein kann. Um das Verfahren durchführen zu können, sollte das Objekt so zur Kamera orientiert sein, dass zumindest ein Teil der wenigstens einen ebenen Fläche in der Aufnahme erscheint.
-
Die Kamera kann beispielsweise eine Komponente der Logistikeinrichtung sein oder ist zumindest gegenüber entsprechenden Komponenten der Logistikeinrichtung, welche die Objekte aufnehmen, wie beispielsweise Förderbänder, ortsfest montiert. Somit ist eine Orientierung der Kamera bekannt. Das Erkennen des Objekts in Schritt 2 des erfindungsgemäßen Verfahrens erfolgt insbesondere durch einen Bilderkennungsbeziehungsweise Objekterkennungsalgorithmus in den Bildinformationen und dient dazu das richtige Modell bereithalten zu können.
-
Das Modell des Objekts kann als 2-dimensionales oder als 3D-Modell hinterlegt sein, wobei die wenigstens zwei Markerpunkte wenigstens ein charakteristisches Merkmal des Objekts beschreiben. Das Modell kann auf Basis eines Neuronalen Netzwerkes auf die Anwendung von Kleinladungsträgern trainiert werden. Vorteilhafterweise weist das Modell wenigstens drei Markerpunkte und insbesondere wenigstens vier Markerpunkte auf, da die zweidimensionale Pose eindeutig bestimmt werden kann. So können die Markerpunkte beispielsweise Eckpunkte der wenigstens einen ebenen Fläche beschreiben.
-
Hierfür wird ein weiterer Algorithmus eingesetzt, welcher ebenfalls durch die Objekterkennungseinrichtung ausgeführt werden kann. Die Algorithmen der Objekterkennungseinrichtung werden insbesondere durch neuronale Netz ausgeführt.
-
Im vierten Schritt erfolgt ein Plausibilisieren der wenigstens zwei Markerpunkte an dem Objekt in der Aufnahme. Mit anderen Worten erfolgt eine Plausibilitätsüberprüfung, dabei werden auf Basis von logistik-spezifischen Post-Processing-Regeln die identifizierten Markerpunkte überprüft und zu Markerpunktkombinationen zusammengefasst.
-
Im fünften Schritt, dem Berechnen, erfolgt eine Projizierung der anhand der Markerpunkte erkannten und identifizierten Fläche in die Bildebene der Aufnahme. Dadurch kann beispielsweise eine Verzerrung aufgrund einer schrägen Lage zur Bildfläche erkannt werden, wodurch beispielsweise besonders vorteilhaft die zweidimensionale Pose beziehungsweise Orientierung der Fläche bestimmt, insbesondere projiziert, werden kann.
-
Bei der Auswahl der Punktmenge werden die Tiefeninformationen der Aufnahme verwendet, wobei bei der Auswahl entsprechende Punkte verwendet werden, welche in der ebenen Fläche des Objekts liegen beziehungsweise dieser zumindest anhand der Aufnahme zugeordnet werden können. Anhand der ausgewählten Punkte kann ein Flächenmodell einer Fläche bestimmt werden, welches die wenigstens eine ebenen Flächen des Objekts beschreibt. Schließlich wird im letzten Schritt die 6-dimensionale Lage des Objekts und somit seine Position und Orientierung beziehungsweise Drehung im Raum berechnet, wobei eine Anpassung der ausgewählten Punktmenge mit der berechneten Orientierung beziehungsweise Pose erfolgt. Dabei wird vorteilhafterweise das anhand der Punktmenge bestimmte Flächenmodell verwendet, sodass im siebten Schritt des Verfahrens eine Anpassung des Flächenmodells an die 2-dimensionale Pose erfolgt.
-
Mit anderen Worten werden bei dem Verfahren ein RGB-Bild (also ein Farbbild) und ein zugehöriges Tiefenbild als Aufnahme erzeugt. Des Weiteren wird ein lernbasierter Ansatz zur Objekterkennung verwendet, welcher des Weiteren auch für die 2-dimensionale Markerpunkte-Identifizierung (englisch: „key point extraction“) verwendet wird. Durch einen Domaintransfer beziehungsweise eine Bereichsanpassung können dann beispielsweise insbesondere für Kleinladungsträger spezifische beziehungsweise charakterisierende Markerpunkte erkannt werden.
-
Die Berechnung der 2-dimensionalen Pose erfolgt beispielsweise mit den Koordinaten u, v und Φ anhand der Bildinformation, also insbesondere im RGB-Bild, beispielsweise mittels projektiver Geometrie. Die Bildinformation sind insbesondere zuvor identifizierte Markerpunkte und/oder zuvor identifizierte Markerpunktkombination. Zusätzlich oder alternativ erfolgt das Berechnen eines 2-dimensionalen Rasters anhand der Bildinformation in der Aufnahme im Bereich der zweidimensionalen Pose der Fläche. Die Auswahl der Punktmengen, welche insbesondere 3D-Tiefenpunkten aufgrund der Tiefeninformation entsprechen, erfolgt beispielsweise zufallsbasiert innerhalb des 2-dimensionalen Rasters, welches insbesondere im Schritt 5 berechnet wurde. Eine weitere Möglichkeit und ein robuster Ansatz zur 3D-Ebenenbestimmung ist beispielsweise die Ebenengleichung, wobei beispielsweise mittels des sogenannten RANSAC-Algorithmus eine Berechnung durchgeführt werden kann. RANSAC ist Englisch und steht für „random sample consensus“, was eine Übereinstimmung mit einer zufälligen Stichprobe bedeutet.
-
Um nun im letzten Schritt die Lage des Objekts zu berechnen, kann insbesondere eine Projektion der zweidimensionalen Translation entlang einer Normalen und einer Ebene, insbesondere der Bildebene, erfolgen, wobei zusätzlich eine Projektion der zweidimensionalen Rotation um die Normale erfolgen kann. Durch das Zusammenführen der Translation und der Rotation wird nun somit eine vollständige 6-dimensionale Lage beziehungsweise Pose erhalten. „6-dimensional“ bedeutet, dass Dreiraumkoordinaten die Position, also den Abstand und die Richtung des Objekts beispielsweise zu einem Ursprung eines Koordinatensystems und insbesondere zur Erfassungseinrichtung beinhalten und weitere drei Koordinaten eine Verdrehung beispielsweise gegenüber den drei Koordinatenachsen eines kartesischen Koordinatensystems, wodurch somit die vollständige Lage, das heißt die Position und Orientierung des Objekts, beschrieben werden kann.
-
Dabei liegt der Erfindung die Erkenntnis zugrunde, dass bei konventionellen Ansätzen, beispielsweise zweidimensionale Computervision und 3D-Matching, ein Einsatz unter Werksbedingungen, beispielsweise bei der Fahrzeugproduktion, schwer möglich ist. So können beispielsweise in Werkshallen Lichtbedingungen für die Kamera schlecht sein, was zu Sensorrauschen führen kann. Eine zugrunde gelegte Annahme geht ferner davon aus, dass eindeutige und bekannte Objekte in der Kameraaufnahme „gefunden“ werden sollen und in jedem Durchlauf eine im Wesentlichen gleiche Eingaben, betreffen Objekt und Aufnahme, vorliegt, wobei dieser Idealfall nicht der Praxis entspricht.
-
Von Vorteil ist, wenn die Kamera möglichst einfach und somit kostengünstig ausgebildet werden kann, dass das Verfahren besonders robust ist, was durch eine in dem erfindungsgemäßen Verfahren realisierbare Kombination aus klassischer Berechnung und Methoden des maschinellen Lernens und somit mittels künstlicher Intelligenz ermöglicht wird.
-
Daher ist es ein Vorteil des erfindungsgemäßen Verfahrens, dass dieses beispielsweise auf Kleinladungsträger als Objekte optimiert werden kann und somit vorteilhaft in der Logistik verwendet werden kann. Dies führt insbesondere zu einer besonders hohen Präzision und/oder Robustheit. Dabei sind beispielsweise in der Fahrzeugproduktion mehrere unterschiedliche Objekte im Einsatz, welche präzise erkannt werden können, so ist das Verfahren besonders vorteilhaft auf diverse Anzahlen und Kombinationen von Kleinladungsträgern skalierbar und somit auch bei hoher Produkt- und/oder Behälterkomplexität beziehungsweise Objektkomplexität anwendbar. Dabei kann bei dem erfindungsgemäßen Verfahren vorteilhaft eine Zerlegung des Problems in einen lernbasierten Ansatz und eine mathematische Berechnung der Pose erfolgen. Somit ist ein weiterer Vorteil des erfindungsgemäßen Verfahrens, dass dieses besonders günstig skaliert und somit eine günstige und/oder wartungsarme Implementierung realisierbar ist. So können beispielsweise günstige Kameras verwendet werden. Darüber hinaus kann beispielsweise die Beschaffenheit der Objekte, insbesondere wenn es sich um Kleinladungsträger handelt, berücksichtigt werden, beziehungsweise spielt diese nur eine untergeordnete Rolle. So kann das Objekt eine Beschädigung, eine Farbe, einen Aufkleber und/oder dergleichen aufweisen und trotzdem erkannt werden.
-
In vorteilhafter Ausgestaltung der Erfindung erfolgt, bevor das Berechnen der Orientierung und/oder der Lage durchgeführt wird, als ein Schritt des Verfahren eine Plausibilitätsüberprüfung der wenigstens zwei identifizierten Markerpunkte insbesondere durch eine Nachbearbeitungseinheit (Engl. post-processing unit). Mit anderen Worten erfolgt insbesondere eine Definition von logistikspezifischen Post-Processing Regeln. Insbesondere werden für die Bestimmung beziehungsweise Prüfung der Plausibilität vier Markerpunkte verwendet. Zur Sicherstellung der Robustheit können hier beliebig viele Markerpunktkombinationen (4 Markerpunkte) gelernt werden.
-
Für die industrielle Praxis ist dies jedoch ein Trade-Off zwischen notwendiger Anzahl an Markerpunktkombinationen und dem Aufwand zum Einlernen. Daher können insbesondere zwei Markerpunktkombinationen (also 8 Markerpunkte) verwendet werden.
-
Beschreiben die Markerpunkte beispielsweise die Ecken einer rechteckigen, nichtquadratischen Fläche des Objekts, weisen zwei Markerpunkte, welche sich an der kurzen Seite gegenüberliegen einen kürzeren Abstand zueinander auf, als zwei Merkpunkte, welche sich an der langen Seite des Rechtecks gegenüberliegen. Wird nun bei der Plausibilitätsüberprüfung ermittelt, dass der Abstand zwischen den beiden, identifizierten Markerpunkten, welche den kürzeren Abstand aufweisen sollten, länger ist als der eigentlich längere Abstand, ergibt sich daraus, dass eine Konsistenz, welche durch die logistikspezifischen Post-Processing Regeln definiert wurde, nicht eingehalten werden kann. Es kann sein, dass zwei Markerpunkte, (Engl. key points) optisch übereinander liegend ermittelt werden, welche in Wirklichkeit nicht einen solch geringen Abstand zueinander aufweisen können. Somit ist durch den weiteren Verfahrensschritt der Plausibilitätsüberprüfung auf besonders vorteilhafte Weise gewährleistet, dass Fehler bei der Bestimmung der Lage des Objekts vermieden werden können. Solch ein Fehler könnte zu einem Zusammenstoß mit einem Roboter führen.
-
In weiterer vorteilhafter Ausgestaltung der Erfindung wird bei der Plausibilitätsüberprüfung eine Geometrie und/oder eine Konfidenz und/oder eine Konsistenz der wenigstens zwei identifizierten Markerpunkte bestimmt. Mit anderen Worten werden als die logistikspezifischen Post-Processing Regeln eine Geometrie, ein Abstand, ein Konfidenz und/oder eine Konsistenz bestimmt, sodass einfach überprüft werden kann, ob die identifizierten Markerpunkte Sinn ergeben. Die Konfidenz kann, insbesondere mittels künstlicher Intelligenz, zunächst für jeden Markerpunkt separat ermittelt werden. In der Plausibilitätsprüfung wird anschließend jeder Markerpunkt gegenüber einem Mindestwert verglichen. Wenn beispielsweise für vier zugeordnete Markerpunkte (Markerpunktkombinationen) mindestens ein Markerpunkt unter einem Schwellwert beziehungsweise dem Mindestwert liegt, wird die Markerpunktkombination verworfen. In der industriellen Praxis könnte ein neuronales Netzwerk gut trainiert werden, sodass das Verwerfen beider Markerpunktkombinationen selten sein wird. Dadurch kann die Plausibilitätsüberprüfung besonders vorteilhaft erfolgen.
-
In weiterer vorteilhafter Ausgestaltung der Erfindung werden für das Erkennen des Objekts und/oder für das Identifizieren der wenigstens zwei Markerpunkte Methoden des maschinellen Lernens verwendet, insbesondere tiefgehendes Lernen (Engl. Deep Learning) und/oder wenigstens ein faltendes neuronales Netzwerk (Engl. Convolutional Neural Network). Mit anderen Worten wird die vornehmlich maschinelle Verarbeitung der Aufnahme durch künstliche Intelligenz, das heißt mit einer Automatisierung dergestalt durchgeführt, dass beispielsweise ein Algorithmus verwendet wird, welcher eigenständig Probleme erfassen und bearbeiten kann. Das Convolutional Neural Network umfasst eine oder mehrere Convolutional Neural Layers gefolgt von einem Pooling Layer. Diese bilden eine Einheit, welche sich prinzipiell beliebig oft wiederholen kann. Bei ausreichender Wiederholung wird der Bereich des Deep Learnings erreicht, welches dadurch gekennzeichnet ist, dass zwischen einer Eingabe und einer Ausgabeschicht verschiedene Zwischenschichten an neuronalen Netzen angeordnet sind. Dabei wird vorteilhafter Weise das Erkennen des Objekts mit einem ersten Convolutional Neural Network durchgeführt und das Identifizieren der wenigstens zwei Markerpunkte erfolgt beispielsweise durch ein von dem ersten neuronalen Netz verschiedenen zweiten Convolutional Neural Network, welches insbesondere ein Convolutional Neural Network (CNN) mit key feature extraction darstellen kann. Durch die Verwendung der Methoden des maschinellen Lernens wird das Erkennen beziehungsweise das Identifizieren auf besonders vorteilhafte Weise und/oder effiziente Weise durchgeführt. Als Trainingsdaten können sich beispielsweise unter anderem bisher gemachte, markierte (Engl. Labeling) Aufnahmen eigenen, wobei als Input für das Training insbesondere auch das jeweilige Modell des jeweiligen Objekts hinterlegt sein kann. Dabei wird insbesondere überwachtes Lernen verwendet.
-
In weiterer vorteilhafter Ausgestaltung der Erfindung erfolgt die Auswahl der Punktmenge aus den Tiefeninformationen zufallsbasiert und/oder anhand einer Ebenengleichung. Mit anderen Worten werden Tiefeninformationen, welche der wenigstens einen ebenen Fläche zugeordnet werden und welche beispielsweise aus einer Punktwolke bestehen, welche in der Fläche liegende Punkte umfasst, zufällig ausgewählt. Zusätzlich oder alternativ erfolgt die Auswahl anhand einer Ebenengleichung. Dadurch ergibt sich beispielsweise der Vorteil, dass beispielsweise systematische Fehler bei der Berechnung der Lage minimiert werden können.
-
In weiterer vorteilhafter Ausgestaltung der Erfindung wird wenigstens einer der Verfahrensschritte durch Bereichsanpassung (Engl. Domain Transfer) einer dreidimensionalen beziehungsweise sechsdimensionalen Lagebestimmung von einem, insbesondere menschlichen, Körper zu dem Objekt ausgeführt beziehungsweise zumindest realisiert. Zusätzlich oder alternativ wird das Erkennen des Objekts und/oder das Identifizieren und/oder das Berechnen der Orientierung beziehungsweise Pose anhand eines Mustervergleichs (Engl. Template Matching) beziehungsweise Vorlagenabgleichs durchgeführt.
-
Bei der Bereichsanpassung kann insbesondere auf Human Pose Estimation Algorithmen zurückgegriffen werden, welche typischerweise Bildkoordinaten (2D) und somit die Bildinformation der Aufnahmen verarbeiten. So können bei der Bereichsanpassung beispielsweise bekannte trainierte Mechanismen des maschinellen Lernens, welche verwendet werden um beispielsweise die Pose von Personen in Aufnahmen zu erkennen, auf das Objekt angepasst werden. Bei dem Mustervergleich, also dem Template Matching, werden kleine Bereiche der Aufnahme beispielsweise in der Bildinformation oder einem Schablonenbild, welches beispielsweise in dem Modell des Objekts enthalten sein kann, abgeglichen. In der Regel wird bei klassischer Computer Vision beim Template Matching (2D oder 3D) kein lernbasierter Algorithmus verwendet, sondern ein starres „übereinstimmen“: Der Vorlagenabgleich ist eine Technik in der digitalen Bildverarbeitung zum Auffinden kleiner Teile eines Bildes, die mit einem Vorlagenbild übereinstimmen. Für das hier vorgestellte Verfahren wird ein lernbasiertes Ansatz mit neuronalen Netzwerken / Künstlicher Intelligenz bevorzugt. Dadurch wird einen Transfer ermöglicht, das heißt Muster müssen nicht exakt zu 100% identisch sein. Somit kann die vorhandene Varianz zuverlässig abgebildet werden.
-
Durch die Verwendung der Bereichsanpassung und/oder des Mustervergleichs kann das Verfahren auf besonders vorteilhafte Weise durchgeführt werden, wobei beispielsweise Rechenressourcen vorteilhaft eingespart werden können.
-
In weiterer vorteilhafter Ausgestaltung der Erfindung erfolgt das Berechnen der zweidimensionalen Pose der Fläche durch projektive Geometrie. Zusätzlich oder alternativ wird ein zweidimensionales Raster im Bereich der Pose eingefügt. Mit anderen Worten werden in der Bildinformation der Aufnahme perspektivische Darstellungen dreidimensionaler Gegenstände in einer zweidimensionalen Ebene dargestellt. Beim Berechnen der Lage beziehungsweise der Pose liegt das Objekt somit in einer projektiven Ebene beziehungsweise einem projektiven Raum, wodurch besonders effizient und/oder effektiv und somit mit hoher Genauigkeit der Pose gerechnet werden kann. Durch das Einfügen des zweidimensionalen Rasters kann beispielsweise auf besonders vorteilhafte Weise das Berechnen im siebten Schritt des Verfahrens erfolgen, da beispielsweise die Punktmenge der Fläche besonders vorteilhaft an die berechnete Orientierung beziehungsweise Pose angepasst werden kann. Dadurch ergibt sich der Vorteil, dass das Verfahren besonders vorteilhaft die Lage des Objekts bestimmen kann.
-
In weiterer vorteilhafter Ausgestaltung der Erfindung ist beim Erfassen der Aufnahme die Orientierung der Kamera zu einer Logistikeinrichtung vorgegeben beziehungsweise bekannt. Die Logistikeinrichtung kann beispielsweise einen Roboter, mit Roboterarm, Linearachse und insbesondere ein beweglicher Transportroboter, umfassen, an welchem die Kamera beziehungsweise die Erfassungseinrichtung angebracht ist. Die Kamera kann beispielweise stationär an einer Decke über der Logistikeinrichtung positioniert sein. Zusätzlich oder alternativ wird das Verfahren in der Fahrzeugproduktion eingesetzt. Somit ergibt sich zum einen der Vorteil, dass die Lage des Objekts besonders präzise bestimmt werden kann und zum anderen die Logistik in der Fahrzeugproduktion verbessert werden kann.
-
Ein zweiter Aspekt der Erfindung umfasst ein Computerprogramm. Das Computerprogramm kann beispielsweise in einer elektronischen Recheneinrichtung einer Anlage geladen werden und umfasst Programmmittel, um die Schritte des Verfahrens gemäß dem ersten Aspekt der Erfindung auszuführen, wenn das Computerprogramm in der elektronischen Recheneinrichtung beziehungsweise beispielsweise einer Steuereinrichtung ausgeführt wird.
-
Dabei sind Vorteile und vorteilhafte Ausgestaltungen des ersten Aspekts der Erfindung als Vorteile und vorteilhafte Ausgestaltungen des zweiten Aspekts der Erfindung anzusehen und umgekehrt.
-
Ein dritter Aspekt der Erfindung betrifft einen elektronisch lesbaren Datenträger. Der elektronisch lesbare Datenträger umfasst darauf gespeicherte elektronisch lesbare Steuerinformationen, die zumindest ein Computerprogramm gemäß dem zweiten Aspekt der Erfindung umfassen und derart ausgestaltet sind, dass sie bei der Verwendung des Datenträgers in einer elektronischen Recheneinrichtung ein hier vorgestelltes Verfahren gemäß dem ersten Aspekt der Erfindung ausführen können.
-
Dabei sind Vorteile und vorteilhafte Ausgestaltungen des dritten Aspekts der Erfindung als Vorteile und vorteilhafte Ausgestaltungen sowohl des zweiten Aspekts als auch des ersten Aspekts der Erfindung anzusehen und jeweils umgekehrt.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar.
-
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die Zeichnungen näher erläutert. Es zeigt:
- 1 ein schematisches Ablaufdiagramm eines Verfahrens zum Bestimmen einer Lage eines Objekts relativ zu einer Logistikeinrichtung; und
- 2 eine Abfolge von Verfahrensschritten des Verfahrens gemäß 1 anhand von Aufnahmen einer Kamera.
-
In der Regel kommen bei der Fertigung von Kraftfahrzeugen im entsprechenden Logistikbereich beziehungsweise bei einer Logistikeinrichtung, wie beispielsweise einem Sortierroboter, Kleinladungsträger KLT zum Einsatz, in welchen beispielsweise Bauteile transportiert werden. Diese Kleinladungsträger KLT können als Objekte angesehen werden, wobei es wichtig ist deren Position und Orientierung und somit Lage relativ zu der Logistikeinrichtung zu kennen. Dadurch kann beispielsweise auf besonders vorteilhafte Weise eine Automatisierung beispielsweise des Roboters erfolgen. Hier soll im Folgenden ein Verfahren vorgestellt werden, das die Aufgabe lösen soll, eine robuste Objekterkennung und Lokalisierung zu ermöglichen. Dabei soll entschieden werden, um welchen Typ von Kleinladungsträger KLT es sich bei dem Objekt handelt, da verschiedene Arten von Kleinladungsträgern KLT in einer Fahrzeugproduktion beziehungsweise der Logistikeinrichtung verwendet werden können. Dabei soll auf besonders vorteilhafte Weise und somit mit besonders hoher Präzision eine Lokalisierung das heißt eine vollständige Bestimmung der sechsdimensionalen Pose beziehungsweise Lage und somit der Translation und Rotation des Objekts.
-
Das hier vorgestellte Verfahren wird in einem schematischen Ablaufdiagramm der 1 gezeigt und umfasst folgende Schritte, die zum Bestimmen eine Lage eines wenigstens eine ebene Fläche aufweisenden Objekts relativ zu einer Logistikeinrichtung führen:
- In einem ersten Schritt S1 des Verfahrens erfolgt ein Erfassen wenigstens einer eine Tiefeninformation und eine Bildinformation umfassenden Aufnahme des Objekts mittels einer Kamera, welche beispielsweise Teil der Logistikeinrichtung sein kann.
-
In einem zweiten Schritt S2 erfolgt ein Erkennen des Objekts in der Bildinformation durch eine Objekterkennungseinrichtung, welche insbesondere einen Objekterkennungsalgorithmus, der beispielsweise auf maschinellem Lernen basiert, ausführen kann.
-
In einem dritten Schritt S3 erfolgt ein Abrufen eines insbesondere dreidimensionalen Modells des Objekts, aufgrund der Objekterkennung, sodass dem erkannten Objekt das richtige Modell zugeordnet werden kann, welches wenigstens zwei Markerpunkte KP umfasst, dessen Eigenlage, also Lage, zu der wenigstens einen ebenen Fläche fixiert beziehungsweise bekannt und somit vorgegeben ist.
-
Hierbei erfolgt ein Identifizieren von wenigstens zwei der Markerpunkte KP an dem Objekt in der Aufnahme, wobei eine Identifiziereinrichtung verwendet werden kann. Diese kann analog zur Objekterkennungseinrichtung ausgebildet sein und einen Algorithmus, welcher insbesondere auf maschinellem Lernen basiert, ausführen, welcher eine Erweiterung der Objekterkennungseinrichtung darstellen kann.
-
In einem vierten Schritt S4 des Verfahrens erfolgt eine Plausibilitätsüberprüfung der identifizierten Markerpunkte auf Basis von logistik-spezifischen Post-Processing-Regeln. Weiterhin werden die Markerpunkte KP zu Markerpunktkombinationen zusammengefasst.
-
In einem fünften Schritt S5 erfolgt ein Berechnen einer zweidimensionalen Orientierung beziehungsweise Pose der Fläche in der Aufnahme und somit in der Bildebene anhand der wenigstens zwei identifizierten Markerpunkte KP, wobei vorteilhafterweise wenigstens drei und insbesondere vier Markerpunkte KP identifiziert werden.
-
In einem sechsten Schritt S6 des Verfahrens erfolgt eine Auswahl einer Punktmenge aus den Tiefeninformationen der Aufnahme, wobei die Punktmenge der wenigstens einen Ebene der Fläche des Objekts zugeordnet ist beziehungsweise wird, sodass aus der Punktmenge die Fläche beschreibendes Flächenmodell abgeleitet werden kann.
-
Schließlich erfolgt in einem siebten Schritt S7 des Verfahrens ein Berechnen der insbesondere sechsdimensionalen Lage des Objekts durch Anpassen der Punktmenge beziehungsweise des daraus abgeleiteten Flächenmodells an die berechnete Pose beziehungsweise Orientierung, wobei die Lage eine Position und eine Orientierung beziehungsweise Drehung des Objekts relativ zur Logistikeinrichtung beschreibt.
-
Ein Vorteil des vorgestellten Verfahrens ist beispielsweise dass ein Zusammenführen eines berechneten Ansatzes sowie eines maschinellen Lernens, durch die neuronalen Netze, eine besonders robuste Erkennung ermöglicht ist. So kann beispielsweise Problemen, welche bei Verwendung von Kleinladungsträgern als Objekte auftreten, begegnet werden. So kann beispielsweise eine besonders hohe Komplexität gegeben sein, da eine hohe Anzahl unterschiedlicher Kleinladungsträger KLT in der Logistikeinrichtung verwendet werden können. Als Sensor für die Aufnahme, also die Kamera, kann ferner nur eine einfache RGB-D-Kamera verwendet werden, wodurch ein wartungsarmer Betrieb möglich ist, welcher vorteilhafterweise ferner gut skalieren kann. Darüber hinaus sind beispielsweise nicht überall an einer Logistikeinrichtung vorteilhafte Lichtbedingungen gegeben, wodurch es zu Sensorrauschen kommen kann, was durch das vorgestellte Verfahren ebenfalls besonders vorteilhaft kompensiert werden kann. Ferner spielen die Beschaffenheit der Kleinladungsträger, ob diese beispielsweise unterschiedliche Abnutzungserscheinungen wie Aufkleber, Kratzer, Schmutz, Öl, abgebrochene Kanten, weitere Beschädigungen, eine falsche Farbe etc., eine untergeordnete Rolle, da dies auch anhand der Kombination der Tiefeninformation mit einer neuronalen Netz-Posenbestimmung besonders vorteilhaft eliminiert werden können. Hier zeigt sich der Vorteil des vorgestellten Verfahrens gegenüber klassischer Computer Vision mit Template Matching, wo mit den unterschiedlichen Abnutzungserscheinungen Schwierigkeiten zu erwarten sind.
-
Dabei ist es von Vorteil, wenn bevor das Berechnen der Orientierung und/oder der Lage durchgeführt wird, als ein Schritt des Verfahrens eine Plausibilitätsüberprüfung der wenigstens zwei identifizierten Markerpunkte KP, beispielsweise durch eine Nachbearbeitungseinrichtung, erfolgt. Insbesondere werden bei der Plausibilitätsüberprüfung mehrere Markerpunkte und Markerpunktkombinationen betrachtet. Dabei ist es von Vorteil, wenn für die Plausibilitätsüberprüfung eine Geometrie und/oder eine Konvergenz und/oder eine Konsistenz der wenigstens zwei identifizierten Markerpunkte KP bestimmt werden.
-
Die 2 zeigt anhand einer Aufnahme der Kamera, wie die einzelnen Schritte des Verfahrens durchgeführt werden. So zeigt Teil a) der 2 die Bildinformation der Aufnahme, in welcher zwei unterschiedliche Kleinladungsträger KLT dargestellt sind. Dabei weist der jeweilige Kleinladungsträger KLT wenigstens eine ebene Fläche auf, welche in der 2 der Boden des jeweiligen Kleinladungsträgers KLT bildet.
-
Im Teil b) der 2 ist zu erkennen, dass die Objekterkennungseinrichtung für den Schritt S2 des Verfahrens jeweils einen Begrenzungsrahmen, englisch eine Bounding Box BB, um wenigstens einen der Kleinladungsträger KLT gelegt hat. Dabei soll im Beispiel der linke, größere Kleinladungsträger KLT weiter betrachtet werden. Die Verfahrensschritte können für jeden erkannten Kleinladungsträger durchlaufen werden.
-
Nach der Objekterkennung anhand der Bounding Box BB wird der Schritt S3 ausgeführt und das Modell abgerufen, welche die Markerpunkte KP umfasst. Diese werden nun durch eine Methode des maschinellen Lernens identifiziert und sind entsprechend, wie in Teil c) der 2 zu sehen markiert.
-
Nun kann eine Plausibilitätsüberprüfung erfolgen, wobei zum Beispiel erkannt wird, dass das Identifizieren der wenigstens zwei Markerpunkte KP, insbesondere der mehreren Markerpunkte KP, im englischen Key Points, erfolgreich war, wodurch diese in Teil d) der 2 weiter eingetragen sind. Nun wird, wie in Teil e) der 2 gezeigt, eine zweidimensionale Pose der Fläche berechnet, was durch die gezeigten Achsen des Koordinatensystems KOS dargestellt wird.
-
Nun kann ein Punktsampling erfolgen, wobei eine Auswahl einer Punktmenge getroffen wird, welche die Fläche des Kleinladungsträgers repräsentiert. Dabei kann die Auswahl der Punkte zufallsbasiert sein und liegt innerhalb eines Rasters, welches beispielsweise bei der zweidimensionalen Pose mit angegeben wurde. Dies ist in Teil f) der 2 durch den eingezeichneten Flächenbereich FB dargestellt.
-
Dies wird nun abgeglichen mit der in Teil g) der 2 gezeigten Tiefeninformation der Aufnahme. Schließlich wird wie in Fig. h) gezeigt und anhand der Achse der dritten Raumdimension des Koordinatensystems KOS dargestellt, die sechsdimensionalen Lage des Objekts, des Kleinladungsträgers, berechnet, was durch Anpassen der Punktmenge an die berechnete Pose geschieht, wobei die Lage eine Position und/oder Orientierung des Objekts zur Logistikeinrichtung beschreibt.
-
Bei den Schritten S2 und S3 kommen vorteilhafterweise Methoden des maschinellen Lernens zum Einsatz, wobei insbesondere tiefgehendes Lernen verwendet wird, beziehungsweise wenigstens ein faltendes neuronales Netzwerk zum Erkennen und insbesondere ein weiteres, faltendes neuronales Netzwerk zum Identifizieren, wobei diese beiden Netzwerke auch zu einem Netzwerk zusammengefasst sein könnten.
-
Ferner ist bei wenigstens einem der Verfahrensschritte eine Bereichsanpassung und somit ein Domain Transfer erfolgt, beispielsweise wird ein neuronales Netzwerk, das ursprünglich beispielsweise auf die Erkennung der Pose eines Menschen in einem Bild trainiert war, angepasst. Darüber hinaus kann die Objekterkennung und/oder die Identifizierung der wenigstens zwei Markerpunkte und/oder das Berechnen der Orientierung der zweidimensionalen Pose anhand eines Mustervergleichs, einem Template Matching, durchgeführt werden. Bei der Berechnung der zweidimensionalen Pose kann eine projektive Geometrie verwendet werden und vorteilhafterweise wird ein zweidimensionales Raster im Bereich der Pose eingefügt.
-
Somit zeigt das vorgestellte Verfahren einen vorteilhaften, robusten, hybriden 2,5D-Ansatz für die 6D-Positionsschätzung von Kleinladungsträgern KLT in der Logistik mittels Deep Learning.
