-
Die Erfindung betrifft ein Verfahren zur Positionsbestimmung, wobei mittels zumindest einer an der zu bestimmenden Position angeordneten Bilderfassungseinheit eine Umgebung erfasst wird, wobei mittels der Bilderfassungseinheit erfasste Bilder analysiert und Bildmerkmale dieser Bilder in einem Vergleich mit in einer Datenbank hinterlegten Vergleichsmerkmalen verglichen werden, wobei für jedes Vergleichsmerkmal Positionsdaten hinterlegt sind.
-
Die Erfindung betrifft weiterhin eine Verwendung eines solchen Verfahrens zur Positionsbestimmung für ein Fahrzeug und eine Verwendung einer mittels eines solchen Verfahrens bestimmten Position zur autonomen Navigation eines Fahrzeugs.
-
Aus der
DE 102 48 534 A1 ist ein Verfahren zur Positionsbestimmung eines mobilen Endgerätes unter Einbeziehung eines Verfahrens zur Standortbestimmung bekannt. Dabei werden mittels einer, einem mobilen Endgerät zugeordneten, optischen Aufnahmeeinrichtung Bilder oder Bildfolgen der Umgebung eines Teilnehmers, welcher sich in einem definierten Suchgebiet befindet, aufgenommen. Die Bilder oder Bildfolgen werden zusammen mit Daten zur Geräteeinstellung des mobilen Endgerätes und Einstellungsdaten zur optischen Aufnahmeeinrichtung über eine drahtlose Verbindung des mobilen Endgerätes zu einem Positions- und Navigationsserver gesendet, wobei die vom Positions- und Navigationsserver empfangenen Bilder oder Bildfolgen mit den in einer Bild-Datenbank gespeicherten Bilder oder Bildfolgen aus dem Suchgebiet verglichen werden. Den in der Bild-Datenbank gespeicherten Bildern oder Bildfolgen sind Positionsdaten zugeordnet, die aus den bereits zum betreffenden Suchgebiet vorhandenen exakten Vermessungsdaten resultieren. Der Vergleich erfolgt als Bildmustervergleich auf der Basis von Suchalgorithmen, wobei bei Übereinstimmung eines vom Teilnehmer gesendeten Bildes mit einem Bild oder einem Bildbereich eines Bildes der Bild-Datenbank im Positions- und Navigationsserver aus den zum Bild gehörenden Positionsdaten und den vom Teilnehmer empfangenen Daten zur Engeräteeinstellung und den Daten zur Einstellung der optischen Aufnahmeeinrichtung über einen Rechenalgorithmus die genaue Position des mobilen Endgerätes und damit auch des Teilnehmers ermittelt wird. Die Daten der genauen Position des mobilen Endgerätes und das dazugehörende Bild aus der Bild-Datenbank werden anhand des Positions- und Navigationsservers zum mobilen Endgerät des Teilnehmers übertragen und angezeigt. Ein Bestand der Bild-Datenbank wird durch von Nutzern an die Bild-Datenbank gelieferten Bilder oder Bildfolgen mittels einer entsprechenden Funktion ständig erweitert und ergänzt. Im Falle einer baulichen Änderung in einem Stadtgebiet werden alte Bilder oder Bildfolgen unter Beibehaltung von alten Positionsangaben durch neue aktuelle Bilder oder Bildfolgen ersetzt.
-
Weiterhin sind aus der
US 2009/0228204 A1 ein Verfahren zum Abgleich von Kartendaten mit mittels eines Sensors erfassten Objektdaten bekannt.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Positionsbestimmung, eine Verwendung eines solchen Verfahrens zur Positionsbestimmung für ein Fahrzeug und eine Verwendung einer mittels eines solchen Verfahrens bestimmten Position zur autonomen Navigation eines Fahrzeugs anzugeben.
-
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale, hinsichtlich der Verwendung eines solchen Verfahrens zur Positionsbestimmung für ein Fahrzeug durch die im Anspruch 5 angegebenen Merkmale und hinsichtlich der Verwendung einer mittels eines solchen Verfahrens bestimmten Position zur autonomen Navigation eines Fahrzeugs durch die in Anspruch 6 angegebenen Merkmale gelöst.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In einem Verfahren zur Positionsbestimmung wird mittels zumindest einer an der zu bestimmenden Position angeordneten Bilderfassungseinheit eine Umgebung erfasst, wobei mittels der Bilderfassungseinheit erfasste Bilder analysiert und Bildmerkmale dieser Bilder in einem Vergleich mit in einer Datenbank hinterlegten Vergleichsmerkmalen verglichen werden, wobei für jedes Vergleichsmerkmal Positionsdaten hinterlegt sind.
-
Erfindungsgemäß wird in dem Vergleich zusätzlich eine ermittelte Anordnung der Bildmerkmale zueinander berücksichtigt und mit einer Anordnung der hinterlegten Vergleichsmerkmale verglichen und/oder in dem Vergleich wird zusätzlich eine Folge nacheinander erfasster Bildmerkmale mit den Vergleichsmerkmalen verglichen. Bei einer Übereinstimmung der Bildmerkmale mit den Vergleichsmerkmalen und einer Übereinstimmung der Anordnung der Bildmerkmale zueinander mit der Anordnung der hinterlegten Vergleichsmerkmale und/oder einer Übereinstimmung der Folge nacheinander erfasster Bildmerkmale mit einer Folge hinterlegter Vergleichsmerkmale wird die Position aus den hinterlegten Positionsdaten des jeweils übereinstimmenden Vergleichsmerkmals und/oder der jeweils übereinstimmenden Folge von Vergleichsmerkmalen ermittelt.
-
Dadurch, dass zusätzlich zu dem Vergleich der Bildmerkmale mit den Vergleichsmerkmalen auch deren Anordnung verglichen wird, werden Fehlzuordnungen der Bildmerkmale zu hinterlegten Vergleichsdaten vermieden oder zumindest reduziert, so dass eine genaue Positionsermittlung ohne Mehrdeutigkeit bei der Lokalisierung realisierbar ist. Der alternative oder zusätzliche Vergleich der nacheinander erfassten Bildmerkmale mit den Vergleichsmerkmalen ermöglicht ebenso die Vermeidung oder zumindest die Reduzierung der Fehlzuordnungen der Bildmerkmale zu den hinterlegten Vergleichsdaten. In besonders vorteilhafter Weise ermöglicht das erfindungsgemäße Verfahren weiterhin, dass mittels einer satellitengestützten Positionsermittlung ermittelte Positionsdaten präzisiert werden oder eine Nutzung einer solchen satellitengestützten Positionsermittlung vollständig entfallen kann.
-
Eine Verwendung des erfindungsgemäßen Verfahrens zur Positionsbestimmung für ein Fahrzeug ermöglicht aufgrund der besonders genauen Bestimmung der Fahrzeugposition einen optimierten Betrieb von die Fahrzeugposition verwendenden Fahrzeugfunktionen, beispielsweise Fahrerassistenzsystemen. Bei der Verwendung einer bereits im Fahrzeug verbauten Kamera oder Stereokamera einer Fahrerassistenzvorrichtung zur Erfassung der Bilder im erfindungsgemäßen Verfahren ist dieses mit geringem Material- und Kostenaufwand realisierbar.
-
Insbesondere ermöglicht die Verwendung der mittels des erfindungsgemäßen Verfahrens bestimmten Position zur autonomen Navigation eines Fahrzeugs aufgrund der hohen Genauigkeit der Position eine sehr präzise Steuerung des Fahrzeug, welche mit herkömmlichen, auf einer satellitengestützten Positionsermittlung basierenden Verfahren aufgrund deren geringer Präzision und aufgrund von Abschattungsproblemen nicht oder nur in unzureichender Weise realisierbar ist.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 schematisch eine perspektivische Ansicht eines Fahrzeugs und einer Fahrbahn, auf welcher sich das Fahrzeug befindet,
-
2 schematisch einen Datenfluss von einer Erfassung eines Bildes bis zu einer Übertragung von Daten an eine Datenbank,
-
3 schematisch ein Histogramm mittels des erfindungsgemäßen Verfahrens ermittelter Positionen nach einer definierten, zurückgelegten Wegstrecke,
-
4 schematisch einen Datenfluss eines ersten Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
-
5 schematisch einen Datenfluss eines zweiten Ausführungsbeispiels des erfindungsgemäßen Verfahrens, und
-
6 schematisch einen Datenfluss eines dritten Ausführungsbeispiels des erfindungsgemäßen Verfahrens.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist eine perspektivische Ansicht eines Fahrzeugs 1 und einer Fahrbahn FB, auf welcher sich das Fahrzeug 1 befindet, dargestellt.
-
Das Fahrzeug 1 umfasst eine Bilderfassungseinheit 2 zur Erfassung einer Umgebung des Fahrzeugs 1. Bei der Bilderfassungseinheit 2 handelt es sich insbesondere um eine Kamera, beispielsweise ein Mono-Kamera oder Stereo-Kamera. Die Bilderfassungseinheit 2 ist im dargestellten Ausführungsbeispiel zur Erfassung von Bildern B1 bis Bn einer im Wesentlichen vor dem Fahrzeug 1 befindlichen Umgebung vorgesehen und weist einen Erfassungsbereich EB auf. In nicht näher dargestellten Ausführungsbeispielen sind weitere Bilderfassungseinheiten zur Erfassung der Umgebung des Fahrzeugs 1 vorgesehen.
-
In der Umgebung befindliche Objekte und Strukturen, im dargestellten Ausführungsbeispiel auf der Fahrbahn FB und unmittelbar neben dieser befindliche Straßenmerkmale, sind in den erfassten Bildern B1 bis Bn als Bildmerkmale M1 bis M7 dargestellt.
-
Die Bildmerkmale M1 bis M7 umfassen spezielle Merkmale, wie beispielsweise einen Straßenablauf (= Bildmerkmal M1), unterschiedliche Fahrbahnmarkierungen (= Bildmerkmal M2) und Leitpfosten (= Bildmerkmal M3), wobei zur Wahrung der Übersichtlichkeit lediglich ein Leitpfosten mit einem Bezugszeichen versehen ist. Weiterhin umfassen die Bildmerkmale M1 bis M7 eine Haltelinie (= Bildmerkmal M4), Markierungen eines Fußgängerüberweges (= Bildmerkmal M5), eine Lichtzeichenanlage (= Bildmerkmal M6) und einen auf die Fahrbahn FB aufgebrachten Richtungspfeil (= Bildmerkmal M7).
-
In nicht gezeigten Ausführungsbeispielen umfassen die Bildmerkmale M1 bis M7 weitere Merkmale, insbesondere eine in der Umgebung des Fahrzeugs 1 befindliche Verkehrsinfrastruktur, wie beispielsweise Leitplanken, Fahrbahnbegrenzungen und Verkehrszeichen, aber auch in der Umgebung befindliche weitere Objekte, wie Bäume und Bauwerke.
-
Zur Analyse und Verarbeitung der erfassten Bilder B1 bis Bn ist die Bilderfassungseinheit 2 mit einer Bildverarbeitungseinheit 3 gekoppelt. Bei der in den 2 und 4 bis 6 näher dargestellten Bildverarbeitung BV werden die Bildmerkmale M1 bis M7, deren Typ, Position in der Umgebung und deren Anordnung zueinander ermittelt.
-
Anschließend werden die Bildmerkmale M1 bis M7, deren Typ, Position in der Umgebung und deren Anordnung zueinander kodiert und als Daten D an eine mit der Bildverarbeitungseinheit 3 gekoppelte Übertragungseinheit 4 übermittelt.
-
Mittels dieser Übertragungseinheit 4 werden die Daten D, welche die Bildmerkmale M1 bis M7, deren Typ, Position in der Umgebung und deren Anordnung zueinander umfassen, als so genannter optischer Fingerabdruck der Umgebung an eine in den 2 und 4 bis 6 näher dargestellte zentrale Datenbank 5 übertragen.
-
2 zeigt einen solchen Datenfluss F von der Erfassung eines Bildes B1 bis zur Übertragung an die Datenbank 5.
-
Nach der Erfassung des Bildes B1 werden in der Bildverarbeitung BV die Bildmerkmale M1 bis M7, deren Typ, Position in der Umgebung und deren Anordnung zueinander ermittelt.
-
Anschließend werden die Bildmerkmale M1 bis M7, deren Typ, Position in der Umgebung und deren Anordnung zueinander zu den Daten D kodiert, so dass ein optischer Fingerabdruck der Umgebung des Fahrzeugs 1 gebildet wird. Diese Kodierung erfolgt beispielsweise analog zu dem aus ”Avery Li-Chun Wang: An Industrial-Strength Audio Search Algorithm; Shazam Entertainment, Ltd.” bekannten Verfahren zur Kodierung von Audiodaten. Hierbei wird eine aufgenommene Sequenz eines Musiktitels analysiert und es wird ein mit dieser Sequenz übereinstimmender Eintrag in einer Datenbank basierend auf einem so genannten akustischen Fingerabdruck gesucht. Bei einer Übereinstimmung wird das Ergebnis, nämlich der gesuchte Musiktitel und ein Interpret, in Form einer Nachricht an einen Nutzer übersendet.
-
Analog hierzu werden die Daten D aus den Bildmerkmalen M1 bis M7 kodiert, wobei sich die Daten D durch eine große Robustheit auszeichnen. Während der Kodierung wird ein so genanntes diskriminatives und schnelles Hashen durchgeführt.
-
Die Daten D werden anschließend als so genannte Hash-Werte an die Datenbank 5 gesendet, in welcher die Daten D mit in der Datenbank 5 hinterlegten Vergleichsmerkmalen V1 bis Vm verschiedener Orte, d. h. verschiedener Positionen POS1 bis POSx, verglichen werden.
-
In dem Vergleich werden die Bildmerkmale M1 bis M7 und deren Anordnung zueinander mit den hinterlegten Vergleichsmerkmalen V1 bis Vm und deren hinterlegter Anordnung verglichen. Bei einer Übereinstimmung der Bildmerkmale M1 bis M7 und deren Anordnung zueinander mit den hinterlegten Vergleichsmerkmalen V1 bis Vm und deren hinterlegter Anordnung werden den jeweiligen Bildmerkmalen M1 bis M7 und deren Anordnung eine Position POS1 bis POSx zugeordnet. Die jeweilige Position POS1 bis POSx wird aus für jedes Vergleichmerkmal V1 bis Vm sowie für verschiedene Anordnungen der Vergleichsmerkmale V1 bis Vm zueinander hinterlegten Positionsdaten DP ermittelt.
-
In 3 ist ein Histogramm mittels des erfindungsgemäßen Verfahrens ermittelter Positionen POS1 bis POSx nach einer definierten zurückgelegten Wegstrecke des Fahrzeugs 1 dargestellt, wobei zur Ermittlung der Position POS1 bis POSx des Fahrzeugs 1 eine Folge nacheinander erfasster Bildmerkmale M1 bis M7 und deren Anordnung zueinander betrachtet wird. Das heißt, in dem Vergleich werden während einer Eigenbewegung des Fahrzeugs 1 und somit der Bilderfassungseinheit 2 Bildmerkmale M1 bis M7 nacheinander erfasster Bilder B1 bis Bn mit den Vergleichsmerkmalen V1 bis Vm verglichen, so dass akkumulativ bei jedem Zugriff auf die Datenbank 5 weniger hinterlegte POS1 bis POSx die gleiche Merkmalskombinatorik wie die Bildmerkmale M1 bis M7 aufweisen. Mit anderen Worten: Ergebnisse aufeinanderfolgender, während der Eigenbewegung des Fahrzeugs 1 durchgeführter Vergleiche werden akkumuliert, so dass sich die Anzahl der Positionen POS1 bis POSx, welche als Aufenthaltsort des Fahrzeugs 1 in Frage kommen, verringert.
-
Bei einer Übereinstimmung der Folge nacheinander erfasster Bildmerkmale M1 bis M7 und deren Anordnung zueinander mit einer Folge hinterlegter Vergleichsmerkmale V1 bis Vm und deren Anordnung zueinander wird die Position POS1 bis POSx aus den hinterlegten Positionsdaten der jeweils übereinstimmenden Folge von Vergleichsmerkmalen V1 bis Vm und deren Anordnung zueinander ermittelt.
-
Somit ergibt sich im dargestellten Ausführungsbeispiel, dass sich das Fahrzeug 1 an der Position POS1 befindet.
-
Wie in 4 dargestellt, wird die ermittelte Position POS1 an eine Navigationsvorrichtung 6 des Fahrzeugs 1 übermittelt, welche in nicht näher dargestellter Weise mit der Übertragungseinheit 4 gekoppelt ist.
-
Die Navigationsvorrichtung 6 des Fahrzeugs 1 ist zusätzlich mit einer Intertialsensorik 7 des Fahrzeugs 1 verbunden, mittels welcher translatorische und rotatorische Beschleunigungsdaten des Fahrzeugs 1 ermittelt werden. Aus diesen Beschleunigungsdaten wird eine Bewegung des Fahrzeugs 1 abgeleitet, wobei aus der Bewegung wiederum ein Verlauf der Fahrbahn FB und somit die Position POS1 bis POSx abgeleitet werden. Die mittels der Intertialsensorik 7 erfassten Beschleunigungsdaten werden somit zur Plausibilisierung der aus den Bildmerkmalen M1 bis M7 ermittelten Positionen POS1 bis POSx verwendet.
-
Weiterhin ist die Navigationsvorrichtung 6 mit einer Empfangseinheit 8 gekoppelt, mittels welcher satellitengestützte Positionsdaten erfasst werden. Auch mittels der satellitengestützten Positionsdaten werden die aus den Bildmerkmalen M1 bis M7 ermittelten Positionen POS1 bis POSx plausibilisiert oder umgekehrt.
-
Die so plausibilisierten Positionen POS1 bis POSx und die aus der Plausibilisierung und der Ermittlung aus den Bildmerkmalen M1 bis M7 folgende hohe Genauigkeit und Zuverlässigkeit der Positionen POS1 bis POSx ermöglichen in besonders vorteilhafter Weise eine Verwendung der Positionen POS1 bis POSx zur autonomen Navigation des Fahrzeugs 1.
-
Aufgrund der Akkumulation beim Vergleich der Bildmerkmale M1 bis M7 und deren Anordnung zueinander mit den Vergleichsmerkmalen V1 bis Vm und deren Anordnung zueinander werden die Datenübertragungsmengen zwischen dem Fahrzeug 1 und der Datenbank 5 verringert und Mehrdeutigkeiten bei der Ermittlung der Position POS1 bis POSx vermieden. Weiterhin wird die Datenbank 5 fortlaufend mit den Daten D aktualisiert und automatisch ergänzt, wobei die in der Datenbank 5 hinterlegten Vergleichsmerkmale V1 bis Vm automatisch mit neu erfassten Bildmerkmalen M1 bis M7 ergänzt werden.
-
Die Aktualisierung und Ergänzung zeigt der in 5 dargestellte Datenfluss F eines zweiten Ausführungsbeispiels des erfindungsgemäßen Verfahrens, wobei bei der Aktualisierung auch bauliche Änderungen in der Umgebung des Fahrzeugs 1 ständig erfasst und berücksichtigt werden können.
-
6 zeigt einen Datenfluss F eines dritten Ausführungsbeispiels des erfindungsgemäßen Verfahrens. Im Unterschied zu dem in 4 dargestellten Datenfluss F des ersten Ausführungsbeispiels des erfindungsgemäßen Verfahrens ist zusätzlich zur zentralen Datenbank 5 eine lokale Datenbank 9 im Fahrzeug 1 vorgesehen, welche die Daten D mit der zentralen Datenbank 5 austauscht und Positionen POS1 bis POSx insbesondere für Kartenabschnitte von dieser empfängt.
-
An welcher Position POS1 bis POSx sich das Fahrzeug 1 befindet, wird von der lokalen Datenbank 9 ermittelt und an die Navigationsvorrichtung 6 übermittelt.
-
Auch bei diesem Ausführungsbeispiel ist zusätzlich eine Aktualisierung der zentralen Datenbank 5 und der lokalen Datenbank 9 mit den Bildmerkmalen M1 bis M7 möglich.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Bilderfassungseinheit
- 3
- Bildverarbeitungseinheit
- 4
- Übertragungseinheit
- 5
- Datenbank
- 6
- Navigationsvorrichtung
- 7
- Inertialsensorik
- 8
- Empfangseinheit
- 9
- Datenbank
- B1 bis Bn
- Bild
- BV
- Bildverarbeitung
- D
- Daten
- DP
- Positionsdaten
- EB
- Erfassungsbereich
- F
- Datenfluss
- FB
- Fahrbahn
- M1 bis M7
- Bildmerkmale
- POS1 bis POSx
- Position
- V1 bis Vm
- Vergleichsmerkmal
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 10248534 A1 [0003]
- US 2009/0228204 A1 [0004]
-
Zitierte Nicht-Patentliteratur
-
- Avery Li-Chun Wang: An Industrial-Strength Audio Search Algorithm; Shazam Entertainment, Ltd. [0032]
