DE102017220634B4 - Anordnung und Verfahren - Google Patents

Anordnung und Verfahren Download PDF

Info

Publication number
DE102017220634B4
DE102017220634B4 DE102017220634.9A DE102017220634A DE102017220634B4 DE 102017220634 B4 DE102017220634 B4 DE 102017220634B4 DE 102017220634 A DE102017220634 A DE 102017220634A DE 102017220634 B4 DE102017220634 B4 DE 102017220634B4
Authority
DE
Germany
Prior art keywords
data
localization
structural
ceiling
surface structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102017220634.9A
Other languages
English (en)
Other versions
DE102017220634A1 (de
Inventor
Daniel Ammon
Tobias Fink
Christian Pfitzner
Michael Schmidpeter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evocortex GmbH
Original Assignee
Evocortex GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evocortex GmbH filed Critical Evocortex GmbH
Priority to DE102017220634.9A priority Critical patent/DE102017220634B4/de
Publication of DE102017220634A1 publication Critical patent/DE102017220634A1/de
Application granted granted Critical
Publication of DE102017220634B4 publication Critical patent/DE102017220634B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/80Recognising image objects characterised by unique random patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

Anordnung umfassend einen Warenträger oder ein Transportgut sowie eine an dem Warenträger oder an dem Transportgut befestigte Lokalisierungseinrichtung (2) zur Bestimmung einer Position innerhalb eines vorbestimmten Lokalisierungsbereichs (19), wobei die Lokalisierungseinrichtung (2) über eine Bildsensoranordnung (3) zur Aufnahme von Bilddaten einer Oberflächenstruktur (4) eines Bodens (5) und/oder einer Decke (6) verfügt und ausgebildet ist, aus den aufgenommenen Bilddaten Strukturmerkmale (7) der Oberflächenstruktur (4) des Bodens (5) und/oder der Decke zu extrahieren, basierend auf den extrahierten Strukturmerkmalen (7) Strukturdaten bereitzustellen und Positionsdaten bereitzustellen, die die Position innerhalb des Lokalisierungsbereichs (19) anzeigen und die auf einem Vergleich der Strukturdaten mit Referenzdaten des Lokalisierungsbereichs (19) basieren.

Description

  • Die Erfindung betrifft eine Anordnung mit einer Lokalisierungseinrichtung zur Bestimmung einer Position innerhalb eines vorbestimmten Lokalisierungsbereichs.
  • Die Positionsbestimmung von Fahrzeugen findet im Außenbereich üblicherweise mit Hilfe von GPS statt. Im Innenbereich wird für die Positionsbestimmung von Fahrzeugen oft auf funkbasierte Systeme zurückgegriffen.
  • Die DE 10 2011 115 354 A1 betrifft ein Verfahren zur absoluten Positionsbestimmung zwecks Navigieren eines Fahrzeugs auf einem Untergrund mit Hilfe von dort vorhandenen aus Muster-Merkmalen bestehenden Mustern. Ein Gesamtmuster für den gesamten potentiellen Fahrbereich wird in einer Datenbank hinterlegt. Mit einer Kamera werden Bodenbilder aufgenommen und wenigstens eines der im Bodenbild enthaltenen Muster wird mit den in der Datenbank hinterlegten, im Gesamtmuster enthaltenen, Mustern verglichen.
  • Die US 4,933,864 beschreibt einen mobilen Roboter mit einer nach oben gerichteten Kamera zur Aufnahme von Bildern einer Decke.
  • Die US 2017/0069092 A1 beschreibt ein industrielles Fahrzeug mit einer Kamera und einem Navigationsmodul. Die Kamera ist konfiguriert, ein Eingabebild einer Lagerhausdecke aufzunehmen.
  • Die WO 2015/090670 A1 beschreibt eine Fahrzeugkamera für ein Motorfahrzeug.
  • Die US 2017/0295356 A1 beschreibt eine Vorrichtung und ein Verfahren zum Charakterisieren von panoramischem Inhalt.
  • Eine Aufgabe der Erfindung besteht darin, eine Anordnung mit einer Lokalisierungseinrichtung bereitzustellen, mit der die Position innerhalb eines vorbestimmten Lokalisierungsbereichs zuverlässig bestimmt werden kann.
  • Die Aufgabe wird gelöst durch die im Anspruch 1 angegebenen Merkmale.
  • Erfindungsgemäß wird folglich die Oberflächenstruktur des Bodens und/oder der Decke des Lokalisierungsbereichs genutzt, um die Position der Anordnung in dem Lokalisierungsbereich zu bestimmen. Diese Herangehensweise beruht auf der Erkenntnis, dass die Oberflächenstruktur eines Bodens und/oder einer Decke eines Lokalisierungsbereichs in der Regel Strukturmerkmale aufweist, die über den Lokalisierungsbereich hinweg variieren, so dass extrahierte Strukturmerkmale in eindeutiger Weise Positionen innerhalb des Lokalisierungsbereichs zugeordnet werden können, wodurch es wiederum möglich wird, anhand der extrahierten Strukturmerkmale eine Positionsbestimmung vorzunehmen.
  • Gegenüber den vorgenannten konventionellen Positionsbestimmungssystemen, wie beispielsweise einem GPS-gestützten System oder einem funkbasierten System, hat die erfindungsgemäße Positionsbestimmung den Vorteil, dass sie insbesondere im Innenbereich eingesetzt werden kann und dass sie - im Gegensatz zu dem funkbasierten Verfahren - gegenüber magnetischen Interferenzen, wie sie insbesondere in Produktionsumgebungen auftreten können, robust ist.
  • Die erfindungsgemäße Positionsbestimmung auf Basis der Oberflächenstruktur des Bodens und/oder der Decke ist ferner gegenüber anderen optischen Positionsbestimmungstechniken von Vorteil, da die Oberflächenstruktur des Bodens und/oder der Decke eher selten Änderungen ausgesetzt ist. Selbst wenn beispielsweise die Einrichtung eines Innenbereichs verändert wird, beispielsweise durch ein Umstellen von Maschinen, so bleiben die meisten Strukturmerkmale der Oberflächenstruktur des Bodens und/oder der Decke in der Regel erhalten, so dass auch weiterhin eine zuverlässige Positionsbestimmung möglich ist.
  • Die erfindungsgemäße Positionsbestimmung ist insbesondere nicht rein Marker-gestützt, vorzugsweise überhaupt nicht Marker-gestützt. Bei einer Marker-gestützten Positionsbestimmung ist es erforderlich, dass in dem Lokalisierungsbereich spezielle bzw. „künstliche“ Marker vorhanden sind, beispielsweise Klebestreifen (in einer bestimmten Farbe) und/oder bestimmte graphische Markierungen, Codes oder Muster, insbesondere QR-Codes. Bei der Marker-gestützten Positionsbestimmung wird dann in den aufgenommenen Bilddaten nach den (bereits vorbekannten) Markern gesucht. Werden diese speziellen Marker nicht gefunden, ist auch keine Positionsbestimmung möglich.
  • Im Gegensatz dazu benötigt die erfindungsgemäße Lokalisierungseinrichtung zur erfolgreichen Positionsbestimmung keine speziellen Marker, wie QR-Codes und/oder bestimmte Klebestreifen. Dies liegt daran, dass die beschriebene Lokalisierungseinrichtung in den aufgenommenen Bilddaten nicht nach „künstlichen“ bzw. bereits vorbekannten Markern sucht, sondern stattdessen aus den Bilddaten Strukturmerkmale der Oberflächenstruktur des Bodens und/oder der Decke extrahiert. Bei den extrahierten Strukturmerkmalen handelt es sich insbesondere um „natürliche“ bzw. „inhärente“ Strukturmerkmalen der Oberflächenstruktur, also um Strukturmerkmale, die in der Regel immer vorhanden sind. Beispielsweise handelt es sich bei den Strukturmerkmalen um Kratzer, Furchen, Unebenheiten, Reifenspuren und/oder inhärente Farbvariationen, usw. Beispielsweise bestimmt die Lokalisierungseinrichtung Farb- und/oder Helligkeitsgradienten von aufgenommenen Bilddaten und extrahiert dann diejenigen Bildbereiche als die Strukturmerkmale, die (relativ zu den anderen Bildbereichen) den größten Gradienten aufweisen und/oder deren Gradient größer ist als ein vorbestimmter Schwellenwert. Die erfindungsgemäße Lokalisierungseinrichtung kann sich folglich an den stets vorhandenen Strukturmerkmalen der Oberflächenstruktur des Bodens und/oder der Decke orientieren und benötigt daher keine „künstlichen“ Marker. Aus diesem Grund kann die erfindungsgemäße Positionsbestimmung auch als „markerlose“ Positionsbestimmung bezeichnet werden.
  • Die Lokalisierungseinrichtung kann ausgebildet sein, zusätzlich zu den „natürlichen“ Strukturmerkmalen der Oberflächenstruktur auch spezielle bzw. „künstliche“ Marker der vorgenannten Art - insbesondere auch Markierungen in der Logistik, die Fahrwege markieren - zu berücksichtigen. Zweckmäßigerweise ist die Lokalisierungseinrichtung ausgebildet, auch Strukturmerkmale solcher spezieller bzw. „künstlicher“ Marker zu extrahieren.
  • Auf Basis der extrahierten Strukturmerkmale werden die Strukturdaten erzeugt. Die Strukturdaten enthalten beispielsweise für jedes Strukturmerkmal einen Identifikator und eine Position. Zweckmäßigerweise enthalten die Strukturdaten die relativen Positionen extrahierter Strukturmerkmale zueinander. Ferner kann eine Klassifikation der Strukturmerkmale erfolgen, bei der jedes Strukturmerkmal einer bestimmten Klasse zugeordnet wird. In den Strukturdaten können den Strukturmerkmale dann Klassenidentifikatoren zugeordnet sein, die den jeweiligen Klassen der Strukturmerkmale entsprechen. Zweckmäßigerweise sind in den Strukturdaten keine Bilddaten enthalten.
  • Wie vorstehend bereits erwähnt, werden zur Positionsbestimmung die Strukturdaten mit Referenzdaten des Lokalisierungsbereichs verglichen. Mit den Referenzdaten des Lokalisierungsbereichs sind insbesondere Referenzdaten gemeint, die den Lokalisierungsbereich, insbesondere den gesamten Lokalisierungsbereich, abbilden; vorzugsweise Referenzdaten, die auf Basis von Strukturmerkmalen der Oberflächenstruktur des Bodens und/oder der Decke des Lokalisierungsbereichs, insbesondere des gesamten Lokalisierungsbereichs, im Voraus erstellt wurden. Die Referenzdaten umfassen vorzugsweise Referenzstrukturdaten. Die Referenzstrukturdaten können beispielsweise in Entsprechung zu den vorgenannten Strukturdaten ausgebildet sein. In den Referenzdaten sind den Referenzstrukturdaten, insbesondere den Strukturmerkmalen, zweckmäßigerweise Positionen innerhalb des Lokalisierungsbereichs zugeordnet.
  • Zweckmäßigerweise enthalten die Referenzdaten Referenzstrukturdaten aus dem gesamten Lokalisierungsbereich, so dass die Position an einer Vielzahl von Positionen, insbesondere jeder beliebigen Position, im Lokalisierungsbereich bestimmt werden kann. Der Lokalisierungsbereich ist vorzugsweise mindestens 10 qm, insbesondere mindestens 50 qm, zweckmäßigerweise mindestens 100 qm groß. Die Referenzstrukturdaten können den Lokalisierungsbereich komplett, also insbesondere lückenlos abdecken oder alternativ dazu Lücken aufweisen - also über den Lokalisierungsbereich so verteilt sein, dass es innerhalb des Lokalisierungsbereichs Bereiche gibt, zu denen keine Referenzstrukturdaten vorliegen. Zweckmäßigerweise liegen Bereiche, zu denen es keine Referenzstrukturdaten gibt, jeweils zwischen Bereichen, zu denen Referenzstrukturdaten vorhanden sind. Vorzugsweise sind die Bereiche, zu denen Referenzstrukturdaten vorhanden sind, gemäß einem bestimmten Muster angeordnet, beispielsweise gemäß einem Gitter-Muster, also zwei sich kreuzenden Gruppen von parallelen Bahnen, einem Zick-Zack-Muster oder einem Mäander-Muster.
  • Bei dem Vergleich der Strukturdaten mit den Referenzdaten wird beispielsweise bestimmt, welche in den Referenzdaten enthaltenen Referenzstrukturdaten den Strukturdaten am ehesten entsprechen. Beispielsweise kann ein Korrelationsfaktor zwischen den Strukturdaten und den Referenzstrukturdaten berechnet werden und dann diejenigen Referenzstrukturdaten mit dem höchsten Korrelationsfaktor bestimmt werden. Auf Basis der den bestimmten Referenzstrukturdaten zugeordneten Position können dann die Positionsdaten bereitgestellt werden, die die Position innerhalb des Lokalisierungsbereichs anzeigen. Bei den Positionsdaten handelt es sich beispielsweise um Koordinaten innerhalb des Lokalisierungsbereichs.
  • Zweckmäßigerweise kann auf Basis des Vergleichs der Strukturdaten mit den Referenzdaten ferner eine Orientierungsinformation - also eine Information über die Ausrichtung -bereitgestellt werden. Die Orientierungsinformation kann zweckmäßigerweise ebenfalls in den Positionsdaten enthalten sein.
  • Zudem kann auf Basis eines Vergleichs von sukzessive bereitgestellten Strukturdaten und/oder Bilddaten eine Geschwindigkeitsinformation bereitgestellt werden. Die Geschwindigkeitsinformation kann zweckmäßigerweise ebenfalls in den Positionsdaten enthalten sein.
  • Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.
  • Vorzugsweise umfasst die Lokalisierungseinrichtung eine Datenbank, in der die Referenzdaten gespeichert sind. Wie vorstehend bereits erläutert, können die Referenzdaten im Voraus gewonnen werden. Diese Referenzdaten können dann direkt in der Datenbank der Lokalisierungseinrichtung abgespeichert sein, sodass die Anordnung stets in der Lage ist, innerhalb des vorbestimmten Lokalisierungsbereichs selbständig seine Position zu bestimmen.
  • Vorzugsweise verfügt die Lokalisierungseinrichtung über ein Lokalisierungsmodul. Zweckmäßigerweise kann die Lokalisierungseinrichtung auch zwei oder mehr Lokalisierungsmodule umfassen. Zweckmäßigerweise sind in einem Lokalisierungsmodul jeweils ein Bildsensor oder zwei Bildsensoren der Bildsensoranordnung und eine Datenverarbeitungseinheit zur Bereitstellung der Strukturdaten und/oder der Positionsdaten enthalten. Zweckmäßigerweise handelt es sich bei einem Lokalisierungsmodul um eine selbständige - also autonom - funktionierende Einheit, die für sich genommen bereits in der Lage ist, die Positionsdaten bereitzustellen. Das Lokalisierungsmodul ist vorzugsweise derart ausgebildet, dass das Lokalisierungsmodul in einfacher Weise, beispielsweise werkzeuglos, angebracht und/oder abgenommen werden kann. Durch die Ausgestaltung der Lokalisierungseinrichtung als Lokalisierungsmodul wird es möglich, ein Fahrzeug je nach Bedarf damit auszustatten.
  • Vorzugsweise weist das Lokalisierungsmodul eine quaderförmige Grundgestalt auf. Die Länge der beiden orthogonal zueinander ausgerichteten längsten Kanten des Lokalisierungsmoduls sind jeweils maximal 15 cm, insbesondere maximal 10 cm, vorzugsweise maximal 5 cm lang. Ein derart ausgestaltetes Lokalisierungsmodul kann besonders einfach gehandhabt werden und in praktischer Weise an verschiedenen Stellen eines Fahrzeugs angebracht werden.
  • Vorzugsweise verfügt die Bildsensoranordnung über wenigstens zwei Bildsensoren, wobei ein erster Bildsensor auf den Boden gerichtet ist und zur Aufnahme von ersten Bilddaten einer Oberflächenstruktur des Bodens dient, und ein zweiter Bildsensor auf die Decke gerichtet ist und zur Aufnahme von zweiten Bilddaten einer Oberflächenstruktur der Decke dient. Vorzugsweise wird sowohl die Oberflächenstruktur des Bodens als auch die Oberflächenstruktur der Decke zur Positionsbestimmung genutzt. Hierbei findet zweckmäßigerweise sowohl für den Boden als auch für die Decke jeweils eine eigene Erfassung von Bilddaten, Extraktion von Strukturmerkmalen und ein Vergleich mit Referenzdaten statt. Dadurch, dass sowohl die Oberflächenstruktur des Bodens als auch die Oberflächenstruktur der Decke zur Positionsbestimmung genutzt wird, kann die Genauigkeit der Positionsbestimmung insgesamt erhöht werden.
  • Die Bilddaten, die von dem Boden aufgenommen werden, sind zweckmäßigerweise 2D-Bilddaten. Bei den von der Decke aufgenommenen Bilddaten kann es sich ebenfalls um 2D-Bilddaten oder auch um 3D-Bilddaten handeln. Die 3D-Information kann beispielsweise dadurch gewonnen werden, dass aus wenigstens zwei verschiedenen Positionen des Bildsensors relativ zur Decke wenigstens zwei sich überlappende Bilder der Decke aufgenommen werden und dann auf Basis der beiden Bilder mittels bekannter Bildverarbeitungsverfahren eine Tiefeninformation gewonnen wird. Auf diese Weise können bei der Decke als „natürliche“ Strukturmerkmale auch 3D-Strukturen, wie beispielsweise Lampen, Leitungen, Rohre usw. extrahiert und für die Lokalisierung genutzt werden.
  • Zweckmäßigerweise ist die Lokalisierungseinrichtung ausgebildet, aus den aufgenommenen ersten Bilddaten erste Strukturmerkmale der Oberflächenstruktur des Bodens zu extrahieren und basierend auf den ersten extrahierten Strukturmerkmalen erste Strukturdaten bereitzustellen. Ferner ist die Lokalisierungseinrichtung zweckmäßigerweise ausgebildet, aus den aufgenommenen zweiten Bilddaten zweite Strukturmerkmale der Oberflächenstruktur der Decke zu extrahieren, basierend auf den zweiten extrahierten Strukturmerkmalen zweite Strukturdaten bereitzustellen und die Positionsdaten basierend auf einem Vergleich der ersten Strukturdaten mit ersten Referenzdaten und einem Vergleich der zweiten Strukturdaten mit zweiten Referenzdaten bereitzustellen. Die ersten Referenzdaten und die zweiten Referenzdaten sind beispielsweise gemäß den vorstehend genannten Referenzdaten ausgebildet, wobei sich die ersten Referenzdaten auf die Oberflächenstruktur des Bodens beziehen und die zweiten Referenzdaten auf die Oberflächenstruktur der Decke.
  • Vorzugsweise ist die Lokalisierungseinrichtung ausgebildet, ihre Ausrichtung relativ zum Boden zu beurteilen und gemäß dem Ergebnis der Beurteilung ein Ausrichtungssignal bereitzustellen. Die Ausrichtung der Bildsensoranordnung relativ zum Boden kann Auswirkungen darauf haben, welche Bilddaten aufgenommen werden und kann auch beeinflussen, welche Strukturmerkmale aus den Bilddaten extrahiert werden. Nach Möglichkeit sollte die Ausrichtung der Bildsensoranordnung einer vorbestimmten Ausrichtung entsprechen, beispielsweise derjenigen Ausrichtung, mit der Referenzbilddaten aufgenommen wurden, auf denen die Referenzdaten basieren. Gemäß der beschriebenen Ausgestaltung ist die Lokalisierungseinrichtung ausgebildet, ihre Ausrichtung relativ zum Boden zu beurteilen, beispielsweise anhand eines aufgenommenen Bildes, beispielsweise einer Aufnahme eines der Lokalisierungseinrichtung bekannten Testbildes, das unter die Lokalisierungseinrichtung gelegt wird, und/oder unter Verwendung einer inertialen Messeinheit, beispielsweise eines Beschleunigungssensors, um die Ausrichtung der Lokalisierungseinrichtung relativ zur Gravitation zu erfassen. Die Lokalisierungseinrichtung kann ferner über eine Signaleinheit verfügen, beispielsweise eine LED, über die ein entsprechendes Signal ausgegeben werden kann, um anzuzeigen, ob die Ausrichtung korrekt ist oder nicht.
  • Die Erfindung betrifft ferner ein Verfahren gemäß Anspruch 9.
  • Exemplarische Details sowie beispielhafte Ausführungsformen werden nachstehend unter Bezugnahme auf die Zeichnungen erläutert. Dabei zeigen:
    • 1 eine schematische Seitenansicht eines Fahrzeugs mit einer Lokalisierungseinrichtung,
    • 2 eine schematische Draufsicht eines Lokalisierungsmoduls,
    • 3 eine schematische Seitenansicht des Lokalisierungsmoduls,
    • 4 eine schematische Darstellung einer Oberflächenstruktur mit Strukturmerkmalen,
    • 5 eine schematische Darstellung eines Systems mit zwei ersten Fahrzeugen und einem zweiten Fahrzeug,
    • 6 eine schematische Darstellung einer Produktionslinie mit zwei Industrierobotern und einem Förderband
    • 7 ein Flussdiagramm eines Verfahrens und
    • 8 eine schematische Darstellung eines Lokalisierungsbereichs, für den nur abschnittsweise Referenzdaten vorhanden sind.
  • Die 1 zeigt eine schematische Seitenansicht eines Fahrzeugs 1. Bei dem Fahrzeug 1 handelt es sich insbesondere um ein Transportfahrzeug, vorzugsweise um ein Flurförderfahrzeug, beispielsweise um einen Gabelstapler. Alternativ kann es sich bei dem Fahrzeug auch um ein Luftfahrzeug, insbesondere ein Flugzeug handeln. Bei dem Fahrzeug 1 kann es sich um ein manuell gesteuertes und/oder um ein autonom fahrendes Fahrzeug handeln. Exemplarisch ist das Fahrzeug 1 für den Einsatz in einem Innenbereich, beispielsweise einer Produktionshalle, ausgebildet. In der 1 steht das Fahrzeug 1 auf einem Boden 5 und hat eine Decke 6 über sich. Alternativ oder zusätzlich dazu kann das Fahrzeug 1 auch in einem Außenbereich eingesetzt werden. In diesem Fall würde sich über dem Fahrzeug 1 keine Decke 6 befinden.
  • Das Fahrzeug 1 verfügt über eine Lokalisierungseinrichtung 2. Exemplarisch umfasst die Lokalisierungseinrichtung 2 ein erstes Lokalisierungsmodul 10 und ein zweites Lokalisierungsmodul 20. Alternativ dazu kann die Lokalisierungseinrichtung 2 auch nur das Lokalisierungsmodul 10 oder nur das Lokalisierungsmodul 20 umfassen. Die Lokalisierungseinrichtung 2 verfügt über eine Bildsensoranordnung 3 zur Aufnahme von Bilddaten einer Oberflächenstruktur 4 des Bodens 5 unter dem Fahrzeug 1 und einer Oberflächenstruktur der Decke 6 über dem Fahrzeug 1.
  • Exemplarisch umfasst die Bildsensoranordnung 3 zwei Bildsensoren 8 und 9, wobei der erste Bildsensor 8 hier Teil des ersten Lokalisierungsmoduls 10 ist und der zweite Bildsensor 9 Teil des zweiten Lokalisierungsmoduls 20 ist. Der erste Bildsensor 8 ist auf den Boden 5 gerichtet (zweckmäßigerweise ausschließlich auf den Boden) und dient zur Aufnahme von ersten Bilddaten der Oberflächenstruktur 4 des Bodens 5. Der zweite Bildsensor 9 ist auf die Decke 6 (zweckmäßigerweise ausschließlich auf die Decke) gerichtet und dient zur Aufnahme von zweiten Bilddaten der Oberflächenstruktur der Decke 6.
  • Alternativ zu der in der 1 gezeigten Ausgestaltung, bei der die Bildsensoren 8, 9 in verschiedenen Lokalisierungsmodulen 10, 20 angeordnet sind, können die beiden Bildsensoren 8 und 9 auch in demselben Lokalisierungsmodul untergebracht sein, wie exemplarisch in der 3 gezeigt. Zweckmäßigerweise ist ein solches Lokalisierungsmodul dann derart am Fahrzeug 1 angeordnet, dass gleichzeitig mit dem ersten Bildsensor 8 die Oberflächenstruktur des Bodens 5 aufgenommen werden kann und mit dem zweiten Bildsensor 9 die Oberflächenstruktur der Decke 6 aufgenommen werden kann. Beispielsweise ist das Lokalisierungsmodul 10, 20 vorne, hinten oder seitlich am Fahrzeug angebracht.
  • Zweckmäßigerweise ist das Lokalisierungsmodul derart am Fahrzeug angebracht, dass die optische Achse des Bildsensors 8, 9 senkrecht zum Boden 5 und/oder der Decke 6 ausgerichtet ist. In dem in der 1 gezeigten Beispiel dient das erste Lokalisierungsmodul 10 jedoch nur zur Aufnahme von Bilddaten des Bodens 5. Dementsprechend ist das erste Lokalisierungsmodul 10 exemplarisch am Fahrzeugunterboden 16 des Fahrzeugs 1 angebracht. Vorzugsweise ist am Fahrzeugunterboden 16 eine mechanische Schnittstelle 25 vorgesehen, an die das Lokalisierungsmodul 10 abnehmbar, insbesondere werkzeuglos abnehmbar, angebracht ist.
  • Optional kann die mechanische Schnittstelle 25 eine Stelleinrichtung umfassen, mit der der Abstand zwischen dem Lokalisierungsmodul 10 und dem Boden 5 eingestellt werden kann. Zweckmäßigerweise verfügt die Stelleinrichtung über einen Motor, mit dem die Einstellung des Abstands automatisch erfolgen kann. Beispielsweise erfolgt die Einstellung des Abstands basierend auf Bilddaten, die von der Lokalisierungseinrichtung 2 aufgenommen wurden. Zweckmäßigerweise ist die Lokalisierungseinrichtung 2 ausgebildet, auf Basis der aufgenommenen Bilddaten zu erkennen, ob es sich um einen Boden 5 in einem Innenbereich oder einem Außenbereich handelt, und basierend auf dieser Erkennung den Abstand vom Lokalisierungsmodul 10 zum Boden 5 einzustellen. Zweckmäßigerweise wird der Abstand bei einem erkannten Außenbereich höher eingestellt als bei einem erkannten Innenbereich.
  • Zweckmäßigerweise ist das erste Lokalisierungsmodul 10 derart angeordnet und/oder ausgebildet, dass der Bildsensor 8 hauptsächlich, vorzugsweise ausschließlich, Bilddaten des Bodens 5 aufnimmt. In Entsprechung dazu kann das zweite Lokalisierungsmodul 20 derart angeordnet und/oder ausgebildet sein, dass der zweite Bildsensor 9 hauptsächlich, vorzugsweise ausschließlich, Bilddaten der Decke 6 aufnimmt. Zweckmäßigerweise verfügt die Bildsensoranordnung 3 über eine Optikeinrichtung, die gewährleistet, dass die aufgenommenen Bilddaten ausschließlich den Boden 5 und/oder die Decke 6 zeigen. Beispielsweise stellt die Optikeinrichtung einen diagonalen Bildwinkel von vorzugsweise maximal 120°, insbesondere maximal 80°, zweckmäßigerweise maximal 40° bereit. Vorzugsweise ist die Bildsensoranordnung 3 derart ausgebildet und/oder an dem Fahrzeug 1 angeordnet, dass mit dem auf den Boden 5 gerichteten Bildsensor 8 mit einer einzigen Bildaufnahme ein maximal 20 cm x 20 cm großer Abschnitt, vorzugsweise ein 15 cm x 10 cm großer Abschnitt, des Bodens 5 aufgenommen werden kann.
  • Das Lokalisierungsmodul 10 ist vorzugsweise derart am Fahrzeug 1 angeordnet, dass es sich bei dem auf dem ebenen Boden 5 abgestellten Fahrzeug 1 maximal 20 cm, insbesondere maximal 10 cm, vorzugsweise maximal 3 cm über dem Boden 5 befindet.
  • Die 2 und 3 zeigen eine exemplarische Ausgestaltung eines Lokalisierungsmoduls, das als das Lokalisierungsmodul 10 und/oder das Lokalisierungsmodul 20 eingesetzt werden kann. Die 2 zeigt das Lokalisierungsmodul 10, 20 in einer schematische Draufsicht, wobei in dem Lokalisierungsmodul 10, 20 enthaltene Einheiten (die von außen eigentlich nicht sichtbar sind) durch gestrichelte Linien angedeutet sind. Die 3 zeigt das Lokalisierungsmodul 10, 20 in einer schematische Seitenansicht. Auch hier sind eigentlich von außen nicht sichtbare Einheiten durch gestrichelte Linien angedeutet.
  • Das Lokalisierungsmodul 10, 20 verfügt über eine quaderförmige Grundgestalt. Vorzugsweise handelt es sich um eine flache quaderförmige Grundgestalt, d.h., dass eine Seitenlänge - insbesondere die Höhe - der quaderförmigen Grundgestalt wesentlich kleiner ist als die beiden anderen Seitenlängen. Exemplarisch ist die kürzeste Seitenlänge kleiner als ein Viertel der beiden längeren Seitenlängen. Vorzugsweise verfügt das Lokalisierungsmodul 10, 20 über eine quadratische Grundfläche, die insbesondere die größte Seitenfläche des Lokalisierungsmoduls 10, 20 darstellt. Vorzugsweise ist das Lokalisierungsmodul 10, 20 mit der größten Seitenfläche parallel zum Boden 5 und/oder der Decke 6 ausgerichtet. Der erwähnte Bildsensor 8 und/oder Bildsensor 9 ist insbesondere an dieser größten Seitenfläche des Lokalisierungsmoduls 10 angeordnet.
  • Zweckmäßigerweise betragen die beiden orthogonal zueinander ausgerichteten längsten Seitenlängen des Lokalisierungsmoduls jeweils maximal 15 cm, insbesondere maximal 10 cm, vorzugsweise maximal 5 cm.
  • Exemplarisch verfügt das Lokalisierungsmodul 10, 20 über eine Datenverarbeitungseinheit 15. Bei der Datenverarbeitungseinheit 15 handelt es sich beispielsweise um einen Prozessor. Die Datenverarbeitungseinheit 15 ist zweckmäßigerweise kommunikativ mit dem Bildsensor 8 verbunden und insbesondere ausgebildet, die zur Bestimmung der Position des Fahrzeugs benötigte Datenverarbeitung durchzuführen.
  • Exemplarisch verfügt das Lokalisierungsmodul 10, 20 ferner über eine Beleuchtungseinrichtung 14 zur Beleuchtung der Oberflächenstruktur, von der die Bilddaten aufgenommen werden sollen. Zweckmäßigerweise ist das Lokalisierungsmodul 10 ausgebildet, die Beleuchtungsstärke der Beleuchtungseinrichtung 14 auf Basis aufgenommener Bilddaten anzupassen. Bei der Beleuchtungseinrichtung 14 handelt es sich beispielsweise um eine oder mehrere LEDs. Die Beleuchtungseinrichtung 14 befindet sich optional auf derselben Seitenfläche des Lokalisierungsmoduls 10 wie der Bildsensor 8 oder 9.
  • Exemplarisch verfügt das Lokalisierungsmodul 10, 20 ferner über einen elektrischen Energiespeicher 21, beispielsweise einen Akkumulator. Zweckmäßigerweise verfügt das Lokalisierungsmodul 10 über eine Ladeschnittstelle 22, über die der elektrische Energiespeicher 21 geladen werden kann. Der elektrische Energiespeicher 21 dient insbesondere dazu, eine oder mehrere, vorzugsweise sämtliche Einheiten des Lokalisierungsmoduls 10, 20 mit Energie zu versorgen.
  • Das Lokalisierungsmodul 10, 20 verfügt ferner zweckmäßigerweise über eine inertiale Messeinheit 11 zur Bereitstellung von Inertialdaten. Die inertiale Messeinheit 11 umfasst beispielsweise einen Beschleunigungssensor und/oder einen Drehratensensor. Vorzugsweise können die Inertialdaten bei der Bereitstellung von Positionsdaten berücksichtigt werden. Dies erfolgt beispielsweise in der Datenverarbeitungseinheit 15.
  • Exemplarisch verfügt das Lokalisierungsmodul 10, 20 ferner über eine Sensorik- und/oder Bus-Schnittstelle 12. Die Sensorik- und/oder Bus-Schnittstelle 12 dient insbesondere dazu, das Lokalisierungsmodul 10, 20 an einen Bus und oder einen Sensor des Fahrzeugs 1 kommunikativ anzubinden. Die Sensorik- und/oder Bus-Schnittstelle 12 umfasst insbesondere einen Ethernet-Anschluss, einen M12-Anschluss, einen Industriebus-Anschluss, einen CAN-Anschluss, einen Modbus-Anschluss, einen Profinet-Anschluss und/oder einen Profibus-Anschluss. Zweckmäßigerweise können Sensordaten, die über den Sensorik- und/oder Bus-Anschluss 12 empfangen wurden, bei der Bereitstellung der Positionsdaten berücksichtigt werden.
  • Exemplarisch verfügt das Lokalisierungsmodul 10 ferner über eine Eingabeeinheit 26, die beispielsweise eine Taste und/oder einen Schalter umfasst. Zweckmäßigerweise kann das Lokalisierungsmodul 10 über die Eingabeeinheit 26 eingeschaltet, ausgeschaltet und/oder in einen ursprünglichen Betriebszustand zurückversetzt werden.
  • Zweckmäßigerweise verfügt das Lokalisierungsmodul 10, 20 über eine Signaleinheit 24, die insbesondere dazu dient, einem Benutzer Signale bereitzustellen, beispielsweise Signale bezüglich der Ausrichtung und/oder Anordnung des Lokalisierungsmoduls 10, 20 am Fahrzeug 1. Die Signaleinheit 24 kann beispielsweise eine oder mehrere LEDs umfassen. Alternativ oder zusätzlich dazu kann die Signaleinheit 24 auch ein grafisches Display umfassen. In bevorzugter Ausgestaltung umfasst die Signaleinheit 24, und zweckmäßigerweise auch das Lokalisierungsmodul 10, 20 jedoch kein grafisches Display.
  • Exemplarisch verfügt das Lokalisierungsmodul 10, 20 ferner über eine Kommunikationseinheit 23. Die Kommunikationseinheit 23 ist vorzugsweise zur drahtlosen Kommunikation ausgebildet und umfasst beispielsweise eine WLAN-Einheit, eine Mobilfunkeinheit und/oder eine Bluetooth-Einheit. Die Kommunikationseinheit 23 dient insbesondere dazu, die Positionsdaten bereitzustellen und/oder die Referenzdaten zu empfangen. Sofern mehr als ein Lokalisierungsmodul 10, 20 vorhanden ist, kann über die Kommunikationseinheit 23 beispielsweise ein Datenaustausch zwischen den Lokalisierungsmodulen 10, 20 stattfinden, insbesondere ein Austausch von Strukturdaten und/oder Positionsdaten und/oder Referenzdaten.
  • Die Lokalisierungseinrichtung 10, 20 kann zweckmäßigerweise als Smartphone ausgebildet sein, das mit einer entsprechenden Software ausgestattet ist, um die hier beschriebene Datenverarbeitung zur Erzeugung der Positionsdaten durchzuführen. Gemäß einer bevorzugten Ausgestaltung handelt es sich bei dem Lokalisierungsmodul 10, 20 jedoch nicht um ein Smartphone. Insbesondere verfügt das Lokalisierungsmodul 10, 20 über kein grafisches Display, kein Touchscreen und/oder keine Mobilfunkeinheit.
  • Die 3 zeigt eine rein exemplarische Ausgestaltung, bei der das Lokalisierungsmodul 10, 20 über zwei Bildsensoren 8, 9 verfügt, die vorzugsweise an zwei entgegengesetzten Seitenflächen, beispielsweise den beiden größten Seitenflächen, angeordnet sind. Alternativ dazu ist es aber auch möglich, dass das Lokalisierungsmodul 10, 20 nur über einen Bildsensor 8 oder 9 verfügt.
  • Sofern das Lokalisierungsmodul 10, 20 zwei Bildsensoren 8, 9 umfasst, kann das Lokalisierungsmodul 10, 20 zweckmäßigerweise über zwei oder drei verschiedene Lokalisierungsmodi verfügen. In einem ersten Lokalisierungsmodus kann die Lokalisierung beispielsweise nur auf Basis des ersten Bildsensors 8 und in einem zweiten Lokalisierungsmodul nur auf Basis des zweiten Bildsensors 3 erfolgen, während in einem optionalen dritten Lokalisierungsmodus die Lokalisierung auf Basis beider Bildsensoren 8, 9 erfolgt. Vorzugsweise verfügt das Lokalisierungsmodul 10, 20 über eine Einstellmöglichkeit, mit der eingestellt werden kann, in welchem Lokalisierungsmodus das Lokalisierungsmodul 10, 20 betrieben werden soll.
  • Alternativ oder zusätzlich dazu kann das Lokalisierungsmodul 10, 20 auch ausgebildet sein, automatisch einen Lokalisierungsmodus zu wählen. Die automatische Wahl des Lokalisierungsmodus kann zweckmäßigerweise auf Basis von aufgenommenen Bilddaten erfolgen. Beispielsweise kann das Lokalisierungsmodul 10, 20 ausgebildet sein, zu erkennen, dass einer der Bildsensoren 8, 9 stets ein im Wesentlichen statisches Bild liefert (beispielsweise wenn das Lokalisierungsmodul 10, 20 am Fahrzeugunterboden 16 angeordnet ist und einer der Bildsensoren 8, 9 stets auf den Fahrzeugunterboden 16 gerichtet ist) und diesen Bildsensor bei der Lokalisierung dann nicht einzusetzen.
  • Unter Bezugnahme auf die 4 soll nachstehend näher erläutert werden, wie unter Verwendung des Lokalisierungsmoduls 10, 20 eine Bestimmung der Position des Fahrzeugs 1 erfolgen kann.
  • Wie vorstehend bereits erläutert, werden mittels der Bildsensoranordnung 3, insbesondere des Bildsensor 8 und/oder des Bildsensors 9, Bilddaten einer Oberflächenstruktur 4 eines Bodens 5 unter dem Fahrzeug 1 und/oder einer Oberflächenstruktur einer Decke 6 über dem Fahrzeug 1 aufgenommen. Die 4 zeigt schematisch eine solche aufgenommene Oberflächenstruktur 4. Die Oberflächenstruktur 4 verfügt über eine Vielzahl von zufällig angeordneten Strukturmerkmalen 7, beispielsweise Furchen, Kratzern, Bodenunebenheiten und/oder Farbvariationen.
  • Das Lokalisierungsmodul 10, 20 ist ausgebildet, die die Oberflächenstruktur 4 abbildenden Bilddaten einer Bildverarbeitung zu unterziehen, bei der aus den aufgenommenen Bilddaten die Strukturmerkmale 7 extrahiert werden.
  • Bei der Bildverarbeitung handelt es sich insbesondere um einen Algorithmus, der „natürliche“ bzw. inhärente Strukturmerkmale 7 der Oberflächenstruktur 4 erkennt. Beispielsweise werden in den Bilddaten diejenigen Bildbereiche als Strukturmerkmale 7 erkannt, die eine größere räumliche Änderung in der Farbe und/oder Helligkeit aufweisen als andere Bildbereiche. Der Algorithmus umfasst beispielsweise eine Gradientenerkennung, zweckmäßigerweise eine zweidimensionale Gradientenerkennung. In der 4 sind die extrahierten Strukturmerkmale 7 exemplarisch mit schwarzen Ringen markiert.
  • Zweckmäßigerweise ist das Lokalisierungsmodul 10, 20 ausgebildet, vor der Extraktion der Strukturmerkmale 7 eine Gradientenverstärkung durchzuführen.
  • Exemplarisch ist das Lokalisierungsmodul 10, 20 ausgebildet, die Strukturmerkmale 7 mit einem AKAZE-Algorithmus, einem ORB-Algorithmus und/oder einem auf einem AKAZE-Algorithmus und/oder ORB-Algorithmus basierenden Algorithmus zu extrahieren.
  • Ein AKAZE-Algorithmus wird beispielsweise beschrieben in:
    • Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces. Pablo F. Alcantarilla, Jesús Nuevo and Adrien Bartoli. In British Machine Vision Conference (BMVC), Bristol, UK, September 2013.
  • Ein ORB-Algorithmus wird beispielsweise beschrieben in:
    • Ethan Rublee, Vincent Rabaud, Kurt Konolige, and Gary Bradski. 2011. ORB: An efficient alternative to SIFT or SURF. In Proceedings of the 2011 International Conference on Computer Vision (ICCV '11). IEEE Computer Society, Washington, DC, USA, 2564-2571 . DOI=http://dx.doi.org/10.1109/ICCV.2 011.612 6544
  • Zweckmäßigerweise ist das Lokalisierungsmodul 10, 20 ausgebildet, Strukturmerkmale 7 zu extrahieren, die rotationsinvariant aber nicht zwingend skalierungsinvariant sind.
  • Das Lokalisierungsmodul 10, 20 ist ferner ausgebildet, auf Basis der extrahierten Strukturmerkmale 7 Strukturdaten zu erzeugen.
  • Gemäß einer exemplarischen Ausgestaltung enthalten die Strukturdaten für jedes Strukturmerkmal 7 folgende Informationen: 1) einen Identifikator, beispielsweise eine eindeutig zugeordnete Information, beispielsweise einen Code, eine Nummerierung und/oder eine Zahl, 2) Koordinaten, die die Position des Strukturmerkmals 7 anzeigen, beispielsweise die Position innerhalb eines aufgenommenen Bildes, und optional 3) einen Klassenidentifikator, durch den ein Strukturmerkmal einer bestimmten Klasse zugeordnet wird.
  • Die Strukturdaten können ferner die relativen Positionen extrahierter Strukturmerkmale 7 zueinander enthalten.
  • Zur Gewinnung des erwähnten Klassenidentifikators kann das Lokalisierungsmodul 10, 20 vorzugsweise ausgebildet sein, eine Klassifikation der Strukturmerkmale 7 durchführen, bei der jedes Strukturmerkmal 7 einer bestimmten Klasse zugeordnet wird. Die Klassifikation wird beispielsweise auf Basis der Erkennbarkeit der Strukturmerkmale 7 durchgeführt, beispielsweise auf Basis einer Größe eines Strukturmerkmals 7 und/oder eines einem Strukturmerkmal 7 zugehörigen Gradienten.
  • Zweckmäßigerweise sind in den Strukturdaten keine Bilddaten, also insbesondere keine grafischen Daten, vorzugsweise keine Rastergrafikdaten enthalten. Gemäß einer bevorzugten Ausgestaltung ist die Lokalisierungseinrichtung 2 ausgebildet, die Bilddaten, auf deren Basis die Strukturdaten erzeugt werden, zu verwerfen bzw. nicht zu speichern. Die Positionsdaten werden dann auf Basis der Strukturdaten und insbesondere nicht auf Basis der (nicht mehr vorhandenen) Bilddaten bereitgestellt.
  • Das Lokalisierungsmodul 10, 20 ist ausgebildet, die Positionsdaten bereitzustellen, die die Position des Fahrzeugs 1 in einem Lokalisierungsbereich 19 anzeigen. Die Positionsdaten basieren insbesondere auf einem Vergleich der Strukturdaten mit Referenzdaten des Lokalisierungsbereichs 19. Die Referenzdaten bilden den Lokalisierungsbereich 19, insbesondere die darin enthaltenen Strukturmerkmale 7, ab.
  • Die Referenzdaten werden zweckmäßigerweise im Voraus erzeugt, beispielsweise indem Referenzbilddaten der Oberflächenstruktur sowie Referenzpositionsdaten über den gesamten Lokalisierungsbereich 19 aufgenommen werden und auf Basis der Referenzbilddaten und der Referenzpositionsdaten die Referenzdaten erzeugt werden.
  • Zweckmäßigerweise umfassen die Referenzdaten Referenzstrukturdaten, die auf Basis der Referenzbilddaten erzeugt werden, insbesondere in entsprechender Weise wie die Strukturdaten auf Basis der Bilddaten erzeugt werden.
  • Vorzugsweise umfassen die Referenzstrukturdaten extrahierte Strukturmerkmale der Oberflächenstruktur eines Bodens und/oder einer Decke. Zweckmäßigerweise sind in den Referenzstrukturdaten, insbesondere in den Referenzdaten, keine Bilddaten, also insbesondere keine grafischen Daten, vorzugsweise keine Rastergrafikdaten enthalten.
  • Zweckmäßigerweise verfügt das Lokalisierungsmodul 10, 20, insbesondere die Datenverarbeitungseinheit 15, über eine Datenbank, in der die Referenzdaten gespeichert sind. Das Lokalisierungsmodul 10, 20, insbesondere die Datenverarbeitungseinheit 15, ist zweckmäßigerweise ausgebildet, den Vergleich zwischen den Strukturdaten und den Referenzdaten durchzuführen, um die Positionsdaten zu erhalten, die die Position des Fahrzeugs 1 anzeigen.
  • Ferner können die Referenzdaten auch extern, beispielsweise in einem externen Server 35, gespeichert sein. In diesem Fall kann das Lokalisierungsmodul 10, 20 die Referenzdaten beispielsweise über die Kommunikationseinheit 23 empfangen und dann auf Basis der empfangenen Referenzdaten und den erzeugten Strukturdaten die Positionsdaten bereitstellen.
  • Vorzugsweise umfasst das Fahrzeug 1 wenigstens zwei Bildsensoren 8, 9, wobei ein erster Bildsensor 8 zweckmäßigerweise nach unten - also auf den Boden 5 - gerichtet ist und ein zweiter Bildsensor 9 zweckmäßigerweise nach oben - also auf die Decke 6 - gerichtet ist. Die beiden Bildsensoren 8, 9 sind vorzugsweise in demselben Lokalisierungsmodul 10, 20 untergebracht.
  • Werden zwei Bildsensoren 8, 9 eingesetzt, so können unter Verwendung jedes Bildsensors 8, 9 jeweilige Strukturdaten und/oder Positionsdaten bereitgestellt werden.
  • Zweckmäßigerweise ist das Fahrzeug 1 ausgebildet, mit dem nach unten gerichteten Bildsensor 8 Positionsdaten mit einer höheren Genauigkeit und/oder Auflösung bereitzustellen als mit dem nach oben gerichteten Bildsensor 9. Zweckmäßigerweise wird mit dem nach unten gerichteten Bildsensor 8 eine Positionsauflösung im Submillimeterbereich erzielt.
  • Zweckmäßigerweise wird mit dem nach oben gerichteten Bildsensor 9 (insbesondere dadurch bedingt, dass der Abstand von dem Bildsensor 9 zur Decke größer ist als der Abstand von dem Bildsensor 8 zum Boden) mit einem einzigen Bild ein größerer Flächenabschnitt aufgenommen als mit dem nach unten gerichteten Bildsensor 8.
  • Das Lokalisierungsmodul 10, 20 kann ausgebildet sein, mit dem ersten Bildsensor 8 erste Bilddaten aufzunehmen, aus den aufgenommenen ersten Bilddaten erste Strukturmerkmale der Oberflächenstruktur des Bodens 5 zu extrahieren und basierend auf den ersten extrahierten Strukturmerkmalen erste Strukturdaten bereitzustellen. Ferner kann das Lokalisierungsmodul 10, 20 ausgebildet sein, mit dem zweiten Bildsensor 9 zweite Bilddaten aufzunehmen, aus den aufgenommenen zweiten Bilddaten zweite Strukturmerkmale der Oberflächenstruktur der Decke 6 zu extrahieren und basierend auf den zweiten extrahierten Strukturmerkmalen zweite Strukturdaten bereitzustellen. In dem Lokalisierungsmodul 10, 20 können dann Positionsdaten basierend auf einem ersten Vergleich der ersten Strukturdaten mit ersten Referenzdaten und einem zweiten Vergleich der zweiten Strukturdaten mit zweiten Referenzdaten bereitgestellt werden.
  • Beispielsweise können auf Basis des ersten Vergleichs erste Positionsdaten und auf Basis des zweiten Vergleichs zweite Positionsdaten bereitgestellt werden. Auf Basis der ersten Positionsdaten und der zweiten Positionsdaten kann dann die Position des Fahrzeugs 1 mit einer höheren Genauigkeit bestimmt werden. Zweckmäßigerweise ist das Lokalisierungsmodul 10, 20 ausgebildet, die beiden Positionsdaten zusammenzuführen, um die Bestimmung der Position des Fahrzeugs 1 durchzuführen, beispielsweise durch eine Mittelung, insbesondere eine gewichtete Mittelung, der ersten und zweiten Positionsdaten. Die Gewichte der gewichteten Mittelung können beispielsweise auf Basis von aufgenommenen Bilddaten gewählt werden, zweckmäßigerweise auf Basis der Zahl und/oder Klasse von extrahierten Strukturmerkmalen 7. So können beispielsweise Positionsdaten, die auf Basis von Bilddaten mit vielen Strukturmerkmalen 7 gewonnen wurden, stärker gewichtet werden als solche, die auf Basis von Bilddaten mit weniger Strukturmerkmalen 7 gewonnen wurden.
  • Alternativ oder zusätzlich dazu ist es auch möglich, dass das Fahrzeug über zwei Lokalisierungsmodule 10, 20 verfügt und die beiden Bildsensoren 8, 9 auf die beiden Lokalisierungsmodule 10, 20 verteilt sind. In dem Beispiel der 1 umfasst das Fahrzeug 1 ein erstes Lokalisierungsmodul 10 zur Positionsbestimmung anhand der Oberflächenstruktur des Bodens 5 und ein zweites Lokalisierungsmodul 20 zur Positionsbestimmung anhand der Oberflächenstruktur der Decke 6. Alternativ oder zusätzlich dazu können auch mehrere Lokalisierungsmodule zur Positionsbestimmung anhand der Oberflächenstruktur des Bodens 5 und/oder mehrere Lokalisierungsmodule zur Positionsbestimmung anhand der Oberflächenstruktur der Decke 6 am Fahrzeug 1 vorhanden sein.
  • Werden mehrere Lokalisierungsmodule 10, 20 eingesetzt, so kann jedes Lokalisierungsmodul 10, 20 jeweilige Strukturdaten und/oder Positionsdaten bereitstellen.
  • Beispielsweise kann ein erstes Lokalisierungsmodul 10 erste Positionsdaten und ein zweites Lokalisierungsmodul 20 zweite Positionsdaten bereitstellen. Auf Basis der ersten Positionsdaten und der zweiten Positionsdaten kann dann die Position des Fahrzeugs 1 mit einer höheren Genauigkeit bestimmt werden. Zweckmäßigerweise sind die beiden Lokalisierungsmodule 10 und 20 ausgebildet, miteinander zu kommunizieren, so dass die ersten und zweiten Positionsdaten in dem ersten Lokalisierungsmodul 10 und/oder dem zweiten Lokalisierungsmodul 20 zusammengeführt werden können. Dort, wo die beiden Positionsdaten zusammengeführt wurden, kann dann die Bestimmung der Position des Fahrzeugs 1 erfolgen, beispielsweise durch eine Mittelung der ersten und zweiten Positionsdaten.
  • Ferner ist es auch möglich, dass jedes Lokalisierungsmodul 10, 20 jeweilige Strukturdaten bereitstellt, diese dann zusammengeführt werden und auf Basis der zusammengeführten Strukturdaten die Positionsdaten bestimmt werden, die die Position des Fahrzeugs 1 anzeigen.
  • Sind zwei Lokalisierungsmodule 10, 20 vorgesehen, so kann das erste Lokalisierungsmodul 10 ausgebildet sein, erste Bilddaten aufzunehmen, aus den aufgenommenen ersten Bilddaten erste Strukturmerkmale der Oberflächenstruktur des Bodens 5 zu extrahieren und basierend auf den ersten extrahierten Strukturmerkmalen erste Strukturdaten bereitzustellen. Das zweite Lokalisierungsmodul 20 kann ausgebildet sein, zweite Bilddaten aufzunehmen, aus den aufgenommenen zweiten Bilddaten zweite Strukturmerkmale der Oberflächenstruktur der Decke 6 zu extrahieren und basierend auf den zweiten extrahierten Strukturmerkmalen zweite Strukturdaten bereitzustellen. In dem ersten Lokalisierungsmodul 10 und/oder dem zweiten Lokalisierungsmodul 20 können dann Positionsdaten basierend auf einem Vergleich der ersten Strukturdaten mit ersten Referenzdaten und einem Vergleich der zweiten Strukturdaten mit zweiten Referenzdaten bereitgestellt werden.
  • Eine hier beschriebene Lokalisierungseinrichtung 2, insbesondere ein hier beschriebenes Lokalisierungsmodul 10, 20 kann zweckmäßigerweise auch ohne das Fahrzeug 1 - also für sich genommen - bereitgestellt werden.
  • Vorzugsweise verfügt die Lokalisierungseinrichtung 2 über ein Filter mit dem die Positionsdaten bereitgestellt werden. Zweckmäßigerweise ist die Lokalisierungseinrichtung 2 ausgebildet, in dem Filter Schätzungen der Position, Orientierung und/oder Geschwindigkeit zu vereinen. Das Filter vereint die vorhandenen Informationen. Das Ergebnis ist eine fusionierte Schätzung des aktuellen Zustands, die vorzugsweise in den Positionsdaten bereitgestellt wird. Neben den Bilddaten und/oder Strukturdaten von den beiden Bildsensoren 8, 9 können dem Filter auch externe Signale zur Schätzung zugeführt werden. Bei den externen Signalen kann es sich um Sensordaten handeln, beispielsweise von einer vorhandenen Odometrie des Fahrzeugs 1. Ferner können die externen Signale von einem Funksystem zur Lokalisierung stammen.
  • Als Filter zur Erzeugung der Positionsdaten kann insbesondere ein Kalman-Filter eingesetzt werden. Ein Kalman-Filter ist beispielsweise beschrieben in:
    • R.E. Kalman; R.S. Bucy (1961). „New results in linear filtering and prediction theory“ (PDF). Journal of Basic Engineering: 95-108.
  • Die 5 zeigt ein System 30, das exemplarisch zwei erste Fahrzeuge 1 umfasst, die sich in einem Lokalisierungsbereich 19, beispielsweise einem Innenbereich, zweckmäßigerweise einer Produktionshalle, befinden. Alternativ kann das System 30 auch nur ein erstes Fahrzeug 1 oder mehr als zwei erste Fahrzeuge 1 umfassen. Jedes erste Fahrzeug 1 ist insbesondere wie das vorstehend diskutierte Fahrzeug 1 ausgebildet. Insbesondere umfasst jedes erste Fahrzeug 1 eine vorstehend beschriebene Lokalisierungseinrichtung 2, insbesondere ein Lokalisierungsmodul 10. Folglich ist jedes erste Fahrzeug 1 ausgebildet, Bilddaten der Oberflächenstruktur des Bodens und/oder der Decke aufzunehmen und basierend auf den Bilddaten und bereitgestellten Referenzdaten wie vorstehend beschrieben seine Position innerhalb des Lokalisierungsbereichs 19 zu bestimmen.
  • Zur Bereitstellung der Referenzdaten ist nun zusätzlich das zweite Fahrzeug 32 vorhanden. Das zweite Fahrzeug 32 verfügt über eine Bildsensoranordnung 33, mit der Bilddaten der Oberflächenstruktur des Bodens und/oder der Decke des Lokalisierungsbereichs 19 aufgenommen werden können. Optional kann das zweite Fahrzeug 32 über eine (in der 5 nicht gezeigte) Lokalisierungseinrichtung 2, beispielsweise ein (in der 5 nicht gezeigtes) Lokalisierungsmodul 10, 20 umfassen. Die Bildsensoranordnung 33 kann in diesem Fall Teil der Lokalisierungseinrichtung 2 sein und insbesondere die Bildsensoranordnung 3 darstellen.
  • Zusätzlich verfügt das zweite Fahrzeug 32 über eine Positionsbestimmungseinrichtung 34, die zur Positionsbestimmung ein anderes physikalisches und/oder technisches Funktionsprinzip einsetzt als die Lokalisierungseinrichtung 2 des ersten Fahrzeugs 1. Beispielsweise umfasst die Positionsbestimmungseinrichtung 34 eine LIDAR-Einheit, um die Position des zweiten Fahrzeugs 32 im Lokalisierungsbereich 19 zu bestimmen.
  • Das zweite Fahrzeug 32 ist vorzugsweise ausgebildet, den Lokalisierungsbereichs 19 insbesondere autonom abzufahren und Referenzbilddaten des Lokalisierungsbereichs 19 aufzunehmen. Ferner ist das zweite Fahrzeug 32 ausgebildet, beim Abfahren des Lokalisierungsbereichs 19 mit der Positionsbestimmungseinrichtung 34 Referenzpositionsdaten bereitzustellen und diese in Zuordnung zu den Referenzbilddaten zu speichern. Auf Basis der Referenzbilddaten werden durch die Extraktion von Strukturmerkmalen Referenzstrukturdaten erzeugt. Auf Basis der Referenzstrukturdaten und der Referenzpositionsdaten können dann die Referenzdaten bereitgestellt werden.
  • Das zweite Fahrzeug 32 kann insbesondere konfiguriert sein, autonom den gesamten Lokalisierungsbereich 19 lückenlos abzufahren und dabei lückenlos Referenzbilddaten, Referenzstrukturdaten und/oder Referenzdaten des gesamten Lokalisierungsbereichs 19 bereitzustellen. Ferner kann das zweite Fahrzeug 32 auch konfiguriert sein, den Lokalisierungsbereich 19 so abzufahren, dass Lücken verbleiben und insbesondere die Referenzbilddaten, Referenzstrukturdaten und/oder die Referenzdaten Lücken aufweisen.
  • Die bereitgestellten Referenzbilddaten, Referenzstrukturdaten und/oder Referenzdaten können über den Lokalisierungsbereich 19 so verteilt sein, dass es innerhalb des Lokalisierungsbereichs 19 Flächenbereiche gibt, zu denen keine Referenzbilddaten, Referenzstrukturdaten und/oder Referenzdaten vorliegen. Zweckmäßigerweise liegen Flächenbereiche, zu denen es keine Referenzbilddaten, Referenzstrukturdaten und/oder Referenzdaten gibt, jeweils zwischen Flächenbereichen, zu denen Referenzbilddaten, Referenzstrukturdaten und/oder Referenzdaten vorhanden sind.
  • Die 8 zeig exemplarisch einen Lokalisierungsbereich 19, für den die Referenzbilddaten, Referenzstrukturdaten und/oder Referenzdaten nur für Flächenbereiche vorhanden sind, die auf einem sich über den gesamten Lokalisierungsbereich 19 erstreckenden Gitter-Muster liegen. Das Gitter-Muster umfasst eine Mehrzahl von parallel zueinander, voneinander beabstandet angeordneten ersten Bahnen 41 und einer Mehrzahl von parallel zueinander, voneinander beabstandet angeordneten zweiten Bahnen 42. Die ersten Bahnen 41 und die zweiten Bahnen 42 schneiden sich, vorzugsweise orthogonal. Es ergeben sich Zwischenflächenbereiche 43, die zwischen den ersten Bahnen 41 und den zweiten Bahnen 42 - also weder auf den ersten Bahnen 41 noch auf den zweiten Bahnen 42 - liegen. Vorzugsweise liegen Referenzbilddaten, Referenzstrukturdaten und/oder Referenzdaten für die von den Bahnen 41, 42 abgedeckten Flächenbereiche vor, jedoch nicht für die Zwischenflächenbereiche 43.
  • Vorzugsweise ist das zweite Fahrzeug 32 konfiguriert, den Positionierungsbereich 19 zur Gewinnung der Referenzbilddaten und/oder Referenzdaten gemäß einem bestimmten Muster abzufahren, beispielsweise gemäß einem Gitter-Muster, also zwei sich kreuzenden Gruppen von parallelen Bahnen, einem Zick-Zack-Muster oder einem Mäander-Muster.
  • Die Referenzdaten werden beispielsweise in einem Server 35 bereitgestellt und/oder direkt an ein erstes Fahrzeug 1 übertragen.
  • Die beschriebenen Referenzdaten können auch im Voraus in einer Lokalisierungseinrichtung 2, insbesondere einem Lokalisierungsmodul 10, 20 bereitgestellt sein, unabhängig von dem beschriebenen System 30
  • Das erste Fahrzeug 1 kann die Referenzdaten dazu nutzen, um seine Position im Lokalisierungsbereich 19 zu bestimmen.
  • Die 6 zeigt ein System 40, das exemplarisch zwei Industrieroboter 17 umfasst. Die Industrieroboter 17 sind in einem Lokalisierungsbereich 19 angeordnet, beispielsweise einem Innenbereich, z.B. einer Produktionshalle. Die Industrieroboter 17 können zum Beispiel zusammen mit einem Förderband 18 eine Produktionslinie bilden. Exemplarisch ist jeder der Industrieroboter 17 mit einer Lokalisierungseinrichtung 2, insbesondere einem Lokalisierungsmodul 10, ausgestattet. Mithilfe der Lokalisierungsmodule 10 kann anhand der Oberflächenstruktur des Bodens und/oder der Decke des Lokalisierungsbereichs 19 die jeweilige Position der Industrieroboter 17 bestimmt werden.
  • Gemäß einer nicht gezeigten Ausführungsform wird eine Anordnung aus einem Warenträger, insbesondere einer Palette, und einer an dem Warenträger, insbesondere direkt an dem Warenträger, befestigten Lokalisierungseinrichtung 2, insbesondere einem Lokalisierungsmodul 10, 20 bereitgestellt. Insbesondere ist das Lokalisierungsmodul 10, 20 derart an dem Warenträger befestigt, dass in Gebrauchsstellung des Warenträgers die Bildsensoranordnung 3 auf einen Boden und/oder eine Decke einer Umgebung, insbesondere eines Innenbereichs, in dem sich der Warenträger befindet, ausgerichtet ist. Mit einer derartigen Anordnung kann auf einfache und praktische Art und Weise die Position des Warenträgers innerhalb des vorbestimmten Positionierungsbereichs bestimmt werden.
  • Gemäß einer weiteren nicht gezeigten Ausführungsform wird eine Anordnung aus einem Transportgut und einer an dem Transportgut, insbesondere direkt an dem Transportgut, befestigten Lokalisierungseinrichtung 2, insbesondere einem Lokalisierungsmodul 10, 20 bereitgestellt. Insbesondere ist das Lokalisierungsmodul 10, 20 derart an dem Transportgut befestigt, dass in Transportstellung des Transportguts die Bildsensoranordnung 3 auf einen Boden und/oder eine Decke einer Umgebung, insbesondere eines Innenbereichs, in dem sich das Transportgut befindet, ausgerichtet ist. Mit einer derartigen Anordnung kann auf einfache und praktische Art und Weise die Position des Transportguts innerhalb des vorbestimmten Positionierungsbereichs bestimmt werden. Bei dem Transportgut kann es sich beispielsweise um eine Ware, ein Werkstück und/oder eine Karosserie handeln.
  • Gemäß einer weiteren nicht gezeigten Ausführungsform wird eine Anordnung aus einer Krananlage, insbesondere einem Portalkran, und einer an der Krananlage, insbesondere direkt an der Krananlage, befestigten Lokalisierungseinrichtung 2, insbesondere einem Lokalisierungsmodul 10, 20 bereitgestellt. Insbesondere ist das Lokalisierungsmodul 10, 20 derart an der Krananlage befestigt, dass in Betriebsstellung der Krananlage die Bildsensoranordnung 3 auf einen Boden und/oder eine Decke einer Umgebung, insbesondere eines Innenbereichs, in dem sich die Krananlage befindet, ausgerichtet ist.
  • Die 7 zeigt ein Flussdiagramm eines Verfahrens, das insbesondere mittels der vorstehend beschriebenen Lokalisierungseinrichtung 2 und/oder dem Fahrzeug 1 durchgeführt werden kann. Das Verfahren umfasst die Schritte: Aufnehmen, S1, von Bilddaten einer Oberflächenstruktur 4 eines Bodens 5 und/oder einer Decke 6, Extrahieren, S2, von Strukturmerkmalen 7 der Oberflächenstruktur 4 des Bodens 5 und/oder der Decke 6 aus den aufgenommenen Bilddaten, Bereitstellen, S3, von Strukturdaten basierend auf den extrahierten Strukturmerkmalen 7, und Bereitstellen, S4, von Positionsdaten, die die Position innerhalb des Lokalisierungsbereichs 19 anzeigen und die auf einem Vergleich der Strukturdaten mit Referenzdaten des Lokalisierungsbereichs basieren.
  • Vorzugsweise umfasst das Verfahren die weiteren Schritte: Aufnehmen von Referenzbilddaten der Oberflächenstruktur des Bodens und/oder der Decke des Lokalisierungsbereichs, vorzugsweise des gesamten Lokalisierungsbereichs, Erfassen von Referenzpositionsdaten, Zuordnen der Referenzpositionsdaten zu den Referenzbilddaten und Bereitstellen der Referenzdaten auf Basis der Referenzbilddaten und der Referenzpositionsdaten. Die Aufnahme der Referenzbilddaten und die Erfassung der Referenzpositionsdaten kann wie vorstehend erwähnt durch das Fahrzeug 32 durchgeführt werden.
  • Gemäß einer weiteren Ausführungsform wird ein System mit wenigstens einer Lokalisierungseinrichtung 2, insbesondere einem Lokalisierungsmodul 10, 20, vorzugsweise gemäß einer vorgenannten Ausgestaltung, sowie einer Positionsbestimmungseinrichtung, die zur Positionsbestimmung ein anderes physikalisches und/oder technisches Funktionsprinzip einsetzt als die Lokalisierungseinrichtung 2. Zweckmäßigerweise ist die Positionsbestimmungseinrichtung ausgebildet, auf Basis von von der Lokalisierungseinrichtung 2 bereitgestellten Positionsdaten eine Kalibrierung der Positionsbestimmungseinrichtung vorzunehmen.
  • Gemäß einer weiteren Ausführungsform ist eine der vorstehend erläuterten Lokalisierungseinrichtungen 2, insbesondere ein Lokalisierungsmodul 10, 20, ausgebildet, Referenzdaten zu erzeugen. Die Erzeugung der Referenzdaten erfolgt insbesondere selbständig; d.h. autonom. Beispielsweise kann die Lokalisierungseinrichtung zunächst über keine Referenzdaten verfügen - also beispielsweise eine leere Datenbank für Referenzdaten aufweisen - und ausgebildet sein, im Betrieb selbständig Referenzdaten zu erzeugen und in der Datenbank abzulegen. Zweckmäßigerweise ist die Lokalisierungseinrichtung ausgebildet, die Erzeugung der Referenzdaten in Entsprechung zu der Erzeugung der Strukturdaten durchzuführen; d.h., dass bei der Erzeugung von Referenzdaten in entsprechender Weise zunächst Bilddaten aufgenommen werden, aus den aufgenommenen Bilddaten Strukturmerkmale der Oberflächenstruktur des Bodens und/oder der Decke extrahiert werden und basierend auf den extrahierten Strukturmerkmalen Referenzstrukturdaten erzeugt werden. Auf Basis der Referenzstrukturdaten werden dann die Referenzdaten erzeugt. Zweckmäßigerweise kann dabei auf eine Zuordnung der Referenzstrukturdaten zu einem externen oder relativ zu einem externen Referenzpunkt absoluten Koordinatensystem verzichtet werden. Beispielsweise würde die vorstehend erläuterte Positionsbestimmungseinrichtung 34 für die autonome Erzeugung von Referenzdaten nicht zwingend benötigt werden.
  • Vorzugsweise ist die Lokalisierungseinrichtung ausgebildet, Referenzdaten entlang einem abgefahrenen Pfad zu erzeugen.
  • Bei dem Pfad kann es sich um einen gedachten Pfad - also einen physisch nicht vorhandenen Pfad - handeln. Beispielsweise ist die Lokalisierungseinrichtung ausgebildet, in Ansprechen auf ein bestimmtes Ereignis, beispielsweise eine Betätigung der Eingabeeinheit 26, die Erzeugung von Referenzdaten an einem Ausgangspunkt zu beginnen und die Erzeugung von Referenzdaten beim Bewegen der Lokalisierungseinrichtung entlang des Pfads bis zu einem von dem Ausgangspunkt entfernt angeordneten Endpunkt fortzusetzen. Die Lokalisierungseinrichtung ist ausgebildet, diese erzeugten Referenzdaten in der Datenbank abzulegen. Zweckmäßigerweise enthält die Datenbank dann ausschließlich Referenzdaten die dem zuvor abgefahrenen Pfad zugehörig sind. Dieser Betrieb der Lokalisierungseinrichtung kann auch als „Teach“-Betrieb bezeichnet werden.
  • Vorzugsweise ist die Lokalisierungseinrichtung ausgebildet, auf Basis der abgelegten Referenzdaten eine Navigation bereitzustellen, insbesondere eine Navigation innerhalb des zuvor abgefahrenen Pfads, zweckmäßigerweise von dem Endpunkt zu dem Anfangspunkt und/oder umgekehrt und/oder eine Navigation zwischen zwei innerhalb des Pfads befindlichen Punkte. Zweckmäßigerweise ist die Lokalisierungseinrichtung ausgebildet, die Navigation dadurch bereitzustellen, dass eine Navigationsinformation bereitgestellt wird. Auf Basis der Navigationsinformation kann z.B. ein Antrieb und/oder ein Fahrzeug, beispielsweise das Fahrzeug 1, und/oder die Signaleinheit gesteuert werden. Beispielsweise kann die Signaleinheit eine Abweichung von dem Pfad anzeigen und/oder einen Navigationspfad zu einem Ziel anzeigen. Die Anzeige kann über eine LED, insbesondere eine Farbe und/oder Helligkeit, und oder über ein graphisches Display erfolgen. Zweckmäßigerweise ist die Navigation nur innerhalb der zuvor erzeugten Referenzdaten, insbesondere nur innerhalb des zuvor abgefahrenen Pfads, möglich.
  • Die Positionierung der Lokalisierungseinrichtung kann automatisch oder manuell auf Basis der Navigationsinformation erfolgen.
  • Ferner kann die Lokalisierungseinrichtung auch ausgebildet sein, insbesondere auf Basis von selbständig erzeugten Referenzdaten, zu bestimmen, ob ihre aktuelle Pose, vorzugsweise eine Position und/oder Ausrichtung im Raum, einer zuvor eingelernten Pose entspricht und auf Basis der Bestimmung eine entsprechende Information bereitzustellen.
  • Zweckmäßigerweise ist die Lokalisierungseinrichtung ausgebildet bei der Bereitstellung der Navigationsinformation zusätzlich zu den „natürlichen“ Strukturmerkmalen der Oberflächenstruktur auch spezielle bzw. „künstliche“ Marker zu berücksichtigen, insbesondere die eingangs erwähnten „künstlichen“ Marker. Solche nicht der natürlichen Oberflächenstruktur zugehörigen Merkmale sollen hier allgemein als „Marker“ bezeichnet werden.
  • Beispielsweise kann am Ausgangspunkt der Lokalisierungseinrichtung ein entsprechender Marker, insbesondere eine am Boden und/oder der Decke angebrachte Markierung, beispielsweise ein Code, insbesondere ein QR-Code, angebracht sein.
  • Zweckmäßigerweise ist die Lokalisierungseinrichtung ausgebildet, aus aufgenommenen Bilddaten zusätzlich zu den Strukturmerkmalen einen Marker zu extrahieren. Zweckmäßigerweise kann der Marker dabei einer anderen Klasse zugeordnet werden als die Strukturmerkmale. Die Referenzdaten und/oder Strukturdaten können dann auch unter Berücksichtigung des extrahierten Markers erzeugt werden.
  • Zweckmäßigerweise ist die Lokalisierungseinrichtung ausgebildet, auf Basis von extrahierten Strukturmerkmalen eine erste Navigation bzw. erste Navigationsinformation bereitzustellen und auf Basis eines extrahierten Markers eine zweite Navigation bzw. zweite Navigationsinformation bereitzustellen.
  • Der Marker kann dabei insbesondere beweglich, beispielsweise drehbar, am Boden und/oder der Decke der Umgebung der Lokalisierungseinrichtung angebracht sein. Vorzugsweise ist die Lokalisierungseinrichtung ausgebildet, auf Basis der Position und/oder Ausrichtung des Markers die Navigationsinformation bereitzustellen.
  • Wird mittels der Navigationsinformation automatisch eine Positionierung der Lokalisierungseinrichtung durchgeführt, kann durch Ändern der Position und/oder Ausrichtung des Markers die Position und/oder Ausrichtung der Lokalisierungseinrichtung verändert werden.

Claims (10)

  1. Anordnung umfassend einen Warenträger oder ein Transportgut sowie eine an dem Warenträger oder an dem Transportgut befestigte Lokalisierungseinrichtung (2) zur Bestimmung einer Position innerhalb eines vorbestimmten Lokalisierungsbereichs (19), wobei die Lokalisierungseinrichtung (2) über eine Bildsensoranordnung (3) zur Aufnahme von Bilddaten einer Oberflächenstruktur (4) eines Bodens (5) und/oder einer Decke (6) verfügt und ausgebildet ist, aus den aufgenommenen Bilddaten Strukturmerkmale (7) der Oberflächenstruktur (4) des Bodens (5) und/oder der Decke zu extrahieren, basierend auf den extrahierten Strukturmerkmalen (7) Strukturdaten bereitzustellen und Positionsdaten bereitzustellen, die die Position innerhalb des Lokalisierungsbereichs (19) anzeigen und die auf einem Vergleich der Strukturdaten mit Referenzdaten des Lokalisierungsbereichs (19) basieren.
  2. Anordnung nach Anspruch 1, wobei der Warenträger eine Palette ist.
  3. Anordnung nach Anspruch 1 oder 2, wobei die Lokalisierungseinrichtung (2) eine Datenbank umfasst, in der die Referenzdaten gespeichert sind
  4. Anordnung nach einem der voranstehenden Ansprüche, wobei die Lokalisierungseinrichtung (2) über ein Lokalisierungsmodul (10, 20) verfügt, in dem ein Bildsensor (8, 9) der Bildsensoranordnung (3) und eine Datenverarbeitungseinheit (15) zur Bereitstellung der Strukturdaten und/oder der Positionsdaten enthalten sind.
  5. Anordnung nach Anspruch 4, wobei das Lokalisierungsmodul (10, 20) eine quaderförmige Grundgestalt aufweist und die Länge der beiden orthogonal zueinander ausgerichteten längsten Kanten des Lokalisierungsmoduls (10, 20) jeweils maximal 15 cm oder maximal 10 cm oder maximal 5 cm beträgt.
  6. Anordnung nach einem der voranstehenden Ansprüche, wobei die Bildsensoranordnung (3) über zwei Bildsensoren (8, 9) verfügt, wobei ein erster Bildsensor (8) auf den Boden (5) gerichtet ist und zur Aufnahme von ersten Bilddaten einer Oberflächenstruktur des Bodens (5) dient und ein zweiter Bildsensor (9) auf die Decke (6) gerichtet ist und zur Aufnahme von zweiten Bilddaten einer Oberflächenstruktur der Decke (6) dient.
  7. Anordnung nach Anspruch 6, wobei die Lokalisierungseinrichtung (2) ausgebildet ist, aus den aufgenommenen ersten Bilddaten erste Strukturmerkmale der Oberflächenstruktur des Bodens (5) zu extrahieren, basierend auf den ersten extrahierten Strukturmerkmalen erste Strukturdaten bereitzustellen, aus den aufgenommenen zweiten Bilddaten zweite Strukturmerkmale der Oberflächenstruktur der Decke (6) zu extrahieren, basierend auf den zweiten extrahierten Strukturmerkmalen zweite Strukturdaten bereitzustellen und die Positionsdaten basierend auf einem Vergleich der ersten Strukturdaten mit ersten Referenzdaten und einem Vergleich der zweiten Strukturdaten mit zweiten Referenzdaten bereitzustellen.
  8. Anordnung nach einem der voranstehenden Ansprüche, wobei die Lokalisierungseinrichtung (2) ausgebildet ist, ihre Ausrichtung relativ zum Boden (5) zu beurteilen und gemäß dem Ergebnis der Beurteilung ein Ausrichtungssignal bereitzustellen.
  9. Verfahren zur Bestimmung einer Position innerhalb eines vorbestimmten Lokalisierungsbereichs (19) unter Verwendung einer Anordnung nach einem der voranstehenden Ansprüche, umfassend die Schritte: Aufnehmen (S1), mit der Lokalisierungseinrichtung (2), von Bilddaten einer Oberflächenstruktur (4) eines Bodens (5) und/oder einer Decke (6), Extrahieren (S2), mit der Lokalisierungseinrichtung (2), von Strukturmerkmalen (7) der Oberflächenstruktur (4) des Bodens (5) und/oder der Decke (6) aus den aufgenommenen Bilddaten, Bereitstellen (S3), mit der Lokalisierungseinrichtung (2) von Strukturdaten basierend auf den extrahierten Strukturmerkmalen (7) und Bereitstellen (S4), mit der Lokalisierungseinrichtung (2), von Positionsdaten, die die Position innerhalb des Lokalisierungsbereichs (19) anzeigen und die auf einem Vergleich der Strukturdaten mit Referenzdaten des Lokalisierungsbereichs (19) basieren.
  10. Verfahren nach Anspruch 9, ferner umfassend die Schritte: Aufnehmen von Referenzbilddaten der Oberflächenstruktur des Bodens und/oder der Decke des Lokalisierungsbereichs (19), Erfassen von Referenzpositionsdaten, Zuordnen der Referenzpositionsdaten zu den Referenzbilddaten und Bereitstellen der Referenzdaten auf Basis der Referenzbilddaten und der Referenzpositionsdaten.
DE102017220634.9A 2017-11-17 2017-11-17 Anordnung und Verfahren Active DE102017220634B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017220634.9A DE102017220634B4 (de) 2017-11-17 2017-11-17 Anordnung und Verfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017220634.9A DE102017220634B4 (de) 2017-11-17 2017-11-17 Anordnung und Verfahren

Publications (2)

Publication Number Publication Date
DE102017220634A1 DE102017220634A1 (de) 2019-05-23
DE102017220634B4 true DE102017220634B4 (de) 2021-09-16

Family

ID=66336312

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017220634.9A Active DE102017220634B4 (de) 2017-11-17 2017-11-17 Anordnung und Verfahren

Country Status (1)

Country Link
DE (1) DE102017220634B4 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020214002B3 (de) 2020-11-08 2022-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Vorrichtung und Verfahren zur Bestimmung einer Position einer Erfassungseinheit und Verfahren zur Hinterlegung von Extraktionsinformationen in einer Datenbank

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4933864A (en) 1988-10-04 1990-06-12 Transitions Research Corporation Mobile robot navigation employing ceiling light fixtures
US5642571A (en) 1995-04-18 1997-07-01 Samsung Display Devices Co., Ltd. Coating layer drying system for a cathode ray tube
DE102011115354A1 (de) 2011-10-07 2013-04-11 Telejet Kommunikations Gmbh Navigation anhand von zufälligen Mustern
WO2015090670A1 (en) 2013-12-21 2015-06-25 Connaught Electronics Ltd. Vehicle camera constructed according to the modular concept and motor vehicle with such a camera
US20170069092A1 (en) 2015-09-04 2017-03-09 Crown Equipment Corporation Industrial vehicle with feature-based localization and navigation
US20170295356A1 (en) 2016-04-11 2017-10-12 Gopro, Inc. Systems, methods and apparatus for compressing video content

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4933864A (en) 1988-10-04 1990-06-12 Transitions Research Corporation Mobile robot navigation employing ceiling light fixtures
US5642571A (en) 1995-04-18 1997-07-01 Samsung Display Devices Co., Ltd. Coating layer drying system for a cathode ray tube
DE102011115354A1 (de) 2011-10-07 2013-04-11 Telejet Kommunikations Gmbh Navigation anhand von zufälligen Mustern
WO2015090670A1 (en) 2013-12-21 2015-06-25 Connaught Electronics Ltd. Vehicle camera constructed according to the modular concept and motor vehicle with such a camera
US20170069092A1 (en) 2015-09-04 2017-03-09 Crown Equipment Corporation Industrial vehicle with feature-based localization and navigation
US20170295356A1 (en) 2016-04-11 2017-10-12 Gopro, Inc. Systems, methods and apparatus for compressing video content

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ethan Rublee, Vincent Rabaud, Kurt Konolige, and Gary Bradski. 2011. ORB: An efficient alternative to SIFT or SURF. In Proceedings of the 2011
Pablo F. Alcantarilla, Jesús Nuevo and Adrien Bartoli. In British Machine Vision Conference (BMVC), Bristol, UK, September 2013

Also Published As

Publication number Publication date
DE102017220634A1 (de) 2019-05-23

Similar Documents

Publication Publication Date Title
EP3056923B1 (de) Scananordnung und verfahren zum scannen eines objektes
DE102016114337B4 (de) System und verfahren zum verknüpfen von koordinatenräumen maschinellen sehens in einer umgebung angeleiteten zusammenbaus
EP3105547B1 (de) Verfahren zur ermittlung der absoluten position einer mobilen einheit und mobile einheit
EP2916106B1 (de) Verfahren zur Positions- und Lagebestimmung mittels virtueller Referenzbilder
DE112017008358B3 (de) Visionsbasiertes Robotersteuerungssystem
EP3182065A1 (de) Handhaltbares entfernungsmessgerät und verfahren zum erfassen relativer positionen
DE102014016069A1 (de) Vorrichtung und Verfahren zum Aufnehmen eines Gegenstandes im 3- dimensionalen Raum mit einem Roboter
DE102017213601A1 (de) Verfahren zum Erstellen einer Objektkarte für eine Fabrikumgebung
WO2013171069A1 (de) Verfahren zur fahrzeuglokalisierung
DE102007043534A1 (de) Anordnung zum Erfassen einer Umgebung
DE10220936A1 (de) Vorrichtung zur Lokalisierung mit festen und/oder veränderlichen Landmarken
EP3482622A1 (de) Verfahren zur automatischen führung eines fahrzeugs entlang eines virtuellen schienensystems
DE102016216196A1 (de) Sensoranlage mit einer optischen Sensoreinheit und eine Automatisierungsanlage
DE102017220634B4 (de) Anordnung und Verfahren
DE102017216554A1 (de) Verfahren und Anordnung zum Lokalisieren und/oder Bewegen eines Objekts in einer Umgebung
DE102013000964A1 (de) Verfahren zum Erfassen und Darstellen von dreidimensionalen Objekten und Vorrichtung zur Durchführung eines solchen Verfahrens
EP3543901B1 (de) Vorrichtung und verfahren zur robusten ermittlung der position, ausrichtung, identität und ausgewählter zustandsinformationen von objekten
WO2010006352A1 (de) Verfahren und vorrichtung zum erfassen der position eines fahrzeuges in einem definierten bereich
EP3809228B1 (de) Verfahren zum navigieren eines flurförderzeugs
DE102012214579A1 (de) Containeranlage und deren Betrieb
DE102010042821A1 (de) Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems
DE102020213111A1 (de) Verfahren und System zur Bestimmung einer Pose oder Position eines mobilen Endgeräts
DE102018109845A1 (de) Kartierungsverfahren
EP4239428A2 (de) Verfahren und system zur navigation eines flurförderzeugs
Hößler et al. Automated traffic analysis in aerial images

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R020 Patent grant now final