DE102015004923A1

DE102015004923A1 - Verfahren zur Selbstlokalisation eines Fahrzeugs

Info

Publication number: DE102015004923A1
Application number: DE102015004923.2A
Authority: DE
Inventors: Fridtjof Stein
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2015-04-17
Filing date: 2015-04-17
Publication date: 2015-12-03

Abstract

Die Erfindung betrifft ein Verfahren zur Selbstlokalisation eines Fahrzeugs (1), wobei zeitlich aufeinanderfolgend Bilder (Bn) erfasst, verarbeitet und gespeichert werden und eine aktuelle Position (Pn + 1) des Fahrzeugs (1) anhand von hinterlegten und den Bildern (Bn) zugeordneten Positionen (Pn) ermittelt wird. Erfindungsgemäß wird auf und/oder in eine Bodenoberfläche eines Bodens (8) entlang einer ersten Trajektorie (T1) ein zumindest in einem vorgegebenen Zeitraum zumindest im Wesentlichen beständiges und mittels zumindest einer Bilderfassungseinheit (2.1 bis 2.4) des Fahrzeugs (1) eindeutig identifizierbares und sich entlang der ersten Trajektorie (T1) veränderndes Muster aufgebracht bzw. eingebracht und mittels der zumindest einen Bilderfassungseinheit (2.1 bis 2.4), deren optische Achse (OA1 bis OA4) auf den Boden (8) in der Umgebung des Fahrzeugs (1) gerichtet ist, werden entlang der ersten Trajektorie (T1) Bilder (Bn) von dem überfahrenen Boden (8) aufgenommen und optional mittels einer Bodenprojektion entzerrt und positionsbezogen gespeichert, wobei bei einer Wiederbefahrung der ersten Trajektorie (T1) momentan aufgenommene Bilder (Bn + 1) mit den gespeicherten Bildern (Bn) verglichen werden und anhand des Vergleichs die aktuelle Position (Pn + 1) und/oder eine aktuelle Ausrichtung des Fahrzeugs (1) ermittelt werden bzw. wird.

Description

Die Erfindung betrifft ein Verfahren zur Selbstlokalisation eines Fahrzeugs nach den Merkmalen des Oberbegriffs des Anspruchs 1.
Aus dem Stand der Technik ist, wie in der DE 10 2013 003 117 A1 beschrieben, ein Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs bekannt. In diesem Verfahren wird die Umgebung mittels zumindest einer Bilderfassungseinheit erfasst. Mittels der Bilderfassungseinheit erfasste Bilder werden analysiert, wobei Bildmerkmale der Bilder mit in einer Datenbank hinterlegten Vergleichsmerkmalen und/oder ermittelte Anordnungen von Bildmerkmalen zueinander mit Anordnungen hinterlegter Vergleichsmerkmale verglichen werden. Bei einer Übereinstimmung von Bildmerkmalen mit den Vergleichsmerkmalen und/oder von Anordnungen von Bildmerkmalen mit Anordnungen von Vergleichsmerkmalen wird eine Position des Fahrzeugs aus zu den Vergleichsmerkmalen und/oder Anordnungen von Vergleichsmerkmalen hinterlegten Positionsdaten ermittelt. Als Bildmerkmale und Vergleichsmerkmale werden durch Merkmalssignaturen beschriebene pixelbasierte Bereiche in den Bildern verwendet.
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Selbstlokalisation eines Fahrzeugs anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Selbstlokalisation eines Fahrzeugs mit den Merkmalen des Anspruchs 1.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Bei einem Verfahren zur Selbstlokalisation eines Fahrzeugs werden zeitlich aufeinanderfolgend Bilder aufgenommen, indem die Bilder erfasst, verarbeitet und gespeichert werden. Beispielsweise werden die Bilder in einer Datenbank hinterlegt. Eine Position des Fahrzeugs wird anhand von gespeicherten, insbesondere in der Datenbank hinterlegten, und den Bildern zugeordneten Positionsdaten ermittelt. Erfindungsgemäß werden auf und/oder in eine Bodenoberfläche eines Bodens entlang einer ersten Trajektorie ein zumindest in einem vorgegebenen Zeitraum zumindest im Wesentlichen beständiges und mittels zumindest einer Bilderfassungseinheit des Fahrzeugs eindeutig identifizierbares und sich entlang der ersten Trajektorie veränderndes Muster aufgebracht bzw. eingebracht und es werden mittels der zumindest einen Bilderfassungseinheit, in deren Blickbereich der Boden neben dem Fahrzeug liegt, d. h. sichtbar ist, entlang der Trajektorie Bilder von dem überfahrenen Boden aufgenommen und optional mittels einer Bodenflächenprojektion entzerrt und positionsbezogen gespeichert, wobei bei einer Wiederbefahrung entlang der Trajektorie momentan aufgenommene Bilder mit den gespeicherten Bildern verglichen werden und anhand des Vergleichs die aktuelle Position und/oder eine aktuelle Ausrichtung des Fahrzeugs ermittelt wird.
In einer Weiterbildung des erfindungsgemäßen Verfahrens zur Selbstlokalisation werden dabei aus den aufgenommenen Bildern bei deren Verarbeitung als Bildmerkmale Bodenmerkmale des überfahrenen Bodens in der Umgebung des Fahrzeugs extrahiert. Der Boden, insbesondere eine Fahrbahn, weist eine große Anzahl ortsfester Bodenmerkmale auf, die für eine Wiedererkennung und eine Selbstlokalisation geeignet sind. Solche Bodenmerkmale sind beispielsweise Oberflächenstrukturen oder Farbabweichungen eines Fahrbahnbelags, eines Bordsteins, eine Fahrbahnmarkierung, ein Deckel eines Kanalschachtes und/oder ein Regeneinlauf.
Durch die Ermittlung und Verwendung von Bodenmerkmalen wird gegenüber Landmarken in einem Landmarken-basierten Verfahren zur Selbstlokalisation gemäß dem Stand der Technik eine Verbesserung der Genauigkeit der Selbstlokalisierung erreicht. Diese Genauigkeit liegt bis zu zwei Größenordnungen über der aktuell genutzter SLAM-Verfahren (Simultaneous Localization and Mapping; Simultane [oder: Synchrone] Lokalisierung und Kartierung), die auf zylindrischen Projektionen der erfassten Bilder beruhen.
Unter dem Begriff des Bodens wird hier jeder Untergrund des Fahrzeugs verstanden, auf dem das Fahrzeug steht oder auf dem sich das Fahrzeug bewegt. Der Boden kann beispielsweise eine befestigte Fahrbahn, ein unbefestigter Weg, ein Parkplatz oder ein Garagenboden sein.
Die Bilderfassungseinheit ist vorteilhaft so ausgerichtet, dass der Boden unterhalb der Kamera neben dem Auto sichtbar ist, um eine hohe Auflösung der Bodenmerkmale und eine hohe Genauigkeit der Selbstlokalisation des Fahrzeugs sicherzustellen.
Das erfindungsgemäße Verfahren ermöglicht insbesondere die Durchführung automatischer Parkmanöver des Fahrzeugs. Die erste Trajektorie ist dann eine Parktrajektorie für einen automatischen Einpark- und/oder Ausparkvorgang des automatischen Parkmanövers des Fahrzeugs, so dass die Wiederbefahrung der ersten Trajektorie dann während des automatischen Parkmanövers des Fahrzeugs durchgeführt wird. Das Fahrzeug wird dann entlang der ersten Trajektorie geführt, indem die aktuelle Ausrichtung des Fahrzeugs zur ersten Trajektorie ermittelt wird und durch Steuerbewegungen des Fahrzeugs an eine jeweilige hinterlegte erwartete Ausrichtung des Fahrzeugs zur ersten Trajektorie angeglichen wird.
Somit ermöglicht das erfindungsgemäße Verfahren beispielsweise ein kostengünstiges Betreiben eines Parkhauses, eines Parkplatzes oder einer anderen Parkstruktur ohne eine kostenintensive Zusatzsensorik installieren zu müssen. Dabei wird das Fahrzeug beispielsweise an einer Ein-/Ausstiegsstelle abgestellt und parkt dann automatisch ein, indem es mittels des erfindungsgemäßen Verfahrens automatisch entlang der ersten Trajektorie zu einer jeweils freien Parklücke geführt wird. Ein Ausparkvorgang erfolgt dann auf analoge Weise in umgekehrter Richtung, d. h. das Fahrzeug parkt automatisch aus, indem es mittels des erfindungsgemäßen Verfahrens automatisch entlang der ersten Trajektorie zurück zur Ein-/Ausstiegsstelle geführt wird, an welcher es ein Fahrzeugführer des Fahrzeugs wieder übernehmen kann.
Während dieser automatischen Parkmanöver, d. h. während des Einparkvorgangs und/oder während des Ausparkvorgangs, kann der Fahrzeugführer im Fahrzeug anwesend sein, so dass dann beispielsweise mittels des erfindungsgemäßen Verfahrens nicht nur vollautomatische, d. h. autonome, Parkmanöver des Fahrzeugs möglich sind, sondern beispielsweise auch teilautomatische Parkmanöver, bei welchen beispielsweise lediglich eine Lenkvorrichtung des Fahrzeugs mittels des Verfahrens automatisch gesteuert und/oder geregelt wird, während der Fahrzeugführer ein Beschleunigen und Bremsen des Fahrzeugs durchführt.
Besonders vorteilhaft ist jedoch das mittels des erfindungsgemäßen Verfahrens ermöglichte Durchführen vollautomatischer, d. h autonomer, Parkvorgänge, bei welchen sowohl eine Querführung als auch eine Längsführung des Fahrzeugs durch eine entsprechende automatische Steuerung und/oder Regelung sowohl der Lenkvorrichtung als auch eines Antriebsstrangs und/oder einer Bremsvorrichtung des Fahrzeugs automatisch durchgeführt wird, so dass keine Anwesenheit eines Fahrzeugführers im Fahrzeug erforderlich ist. Dadurch ist insbesondere das Einparken von Fahrzeugen auf engstem Raum ermöglicht, insbesondere unmittelbar nebeneinander mit einem geringstmöglichen Abstand. Dieser Abstand muss lediglich groß genug sein, um direkte Berührungen der Fahrzeuge zu vermeiden. Ein größerer Abstand ist nicht erforderlich, da bei derartigen autonomen Parkmanövern keine Anwesenheit eines Fahrzeugführers im Fahrzeug und daher kein Ein- und Aussteigen mit einem entsprechenden Platzbedarf neben dem Fahrzeug erforderlich ist. Das erfindungsgemäße Verfahren ermöglicht somit eine optimierte Nutzung eines vorhandenen Parkraums durch eine Maximierung der Anzahl auf diesem Parkraum zu parkender Fahrzeuge. Des Weiteren ist beispielsweise bei einem Parkdienst oder Parkservice, auch als Valet-Parken oder Valet-Parking bezeichnet, eine erhebliche Personalreduzierung möglich, da mittels des erfindungsgemäßen Verfahrens vollautomatische Parkmanöver ohne die Anwesenheit eines Mitarbeiters des Parkdienstes als Fahrzeugführer ermöglicht sind.
Zudem können derartige automatisierte Parkmanöver beispielsweise auch durchgeführt werden, um auf diese Weise eine Tankstation oder Waschstation oder eine andere Zielposition automatisch anzufahren, insbesondere bei Nutzfahrzeugen beispielsweise einen Belade- und/oder Entladeplatz.
Durch das erfindungsgemäße Aufbringen und/oder Einbringen des zumindest in einem vorgegebenen Zeitraum zumindest im Wesentlichen beständigen und mittels der zumindest einen Bilderfassungseinheit des Fahrzeugs eindeutig identifizierbaren und sich entlang der ersten Trajektorie verändernden Musters auf und/oder in die Bodenoberfläche des Bodens entlang der ersten Trajektorie wird ein sicherer und eindeutiger Vergleich erfasster und gespeicherter Bilder des Bodens mit bei der Wiederbefahrung der ersten Trajektorie momentan aufgenommene Bildern und anhand des Vergleichs die sichere und eindeutige Ermittlung der aktuellen Position und/oder der aktuellen Ausrichtung des Fahrzeugs ermöglicht. Vorteilhafterweise wird dies durch eine Bemalung, Lackierung und/oder Beschichtung der Bodenoberfläche mit einem kontrastreichen zufälligen Punktmuster erreicht. Alternativ oder zusätzlich kann das Muster beispielsweise als eine zufällige Texturierung der Bodenoberfläche ausgebildet werden, d. h. beispielsweise als eine Oberflächenstruktur aus zufällig verteilten Erhebungen und/oder Vertiefungen.
Vorzugsweise ist das Muster derart ausgebildet, dass es von der zumindest einen Bilderfassungseinheit des Fahrzeugs als so genanntes „Weißes Rauschen” wahrgenommen wird. „Weißes Rauschen” ist ein Rauschen mit einem konstanten Leistungsdichtespektrum in einem bestimmten Frequenzbereich. Das Muster muss derart ausgebildet werden, dass dieser Frequenzbereich in der zumindest einen Bilderfassungseinheit des Fahrzeugs abbildbar ist, d. h. von ihr erfassbar ist. Zu feines Punktrauschen, welches von der zumindest einen Bilderfassungseinheit des Fahrzeugs als eine gleichfarbige Fläche abgebildet wird, d. h. erfasst wird, ist daher zu vermeiden.
Unter dem Begriff eindeutig identifizierbares und sich entlang der ersten Trajektorie veränderndes Muster ist insbesondere zu verstehen, dass sich das Muster entlang der ersten Trajektorie nicht wiederholt, d. h. Repetitionen des Musters werden vermieden. Dadurch wird die eindeutige Zuordnung eines bei einer Wiederbefahrung der ersten Trajektorie momentan aufgenommenen Bildes zu einem bei der Erstbefahrung der ersten Trajektorie erfassten und gespeicherten Bild und somit die eindeutige Ermittlung der aktuellen Position und/oder der aktuellen Ausrichtung des Fahrzeugs ermöglicht.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:
1 gemäß dem Stand der Technik eine schematische Darstellung eines Fahrzeugs sowie Erfassungsbereiche von an dem Fahrzeug angeordneten Bilderfassungseinheiten und schematisch dargestellte Bilder, die von den Bilderfassungseinheiten in den jeweiligen Erfassungsbereichen erfasst worden sind,
2 gemäß dem Stand der Technik eine schematische Darstellung des Fahrzeugs mit Erfassungsbereichen sowie mittels Zylinderprojektion verarbeiteten und erfassten Bilder,
3 gemäß dem Stand der Technik eine schematische Darstellung des Fahrzeugs und Erfassungsbereiche von am Fahrzeug angeordneten Bilderfassungseinheiten sowie durch die jeweiligen Bilderfassungseinheiten erfasste Flächen des Bodens in der Umgebung des Fahrzeugs,
4 gemäß dem Stand der Technik eine schematische Darstellung eines Fahrzeugs mit einer Bilderfassungseinheit in Form einer Außenspiegelkamera, dem Erfassungsbereich der Bilderfassungseinheit sowie ein erfasstes Bild in Zylinderprojektion,
5 gemäß dem Stand der Technik eine schematische Darstellung des Fahrzeugs, Erfassungsbereiche von am Fahrzeug angeordneten Bilderfassungseinheiten sowie durch die jeweilige Bilderfassungseinheit erfasste Flächen des Bodens in der Umgebung des Fahrzeugs und Bodenprojektionsflächen der Bilder der erfassten Fläche des Bodens in der Umgebung des Fahrzeugs,
6 eine schematische Darstellung des Fahrzeugs mit der Bilderfassungseinheit in Form der Außenspiegelkamera, dem Erfassungsbereich der Bilderfassungseinheit sowie einer in einem ersten Ausführungsbeispiel des erfindungsgemäßen Verfahrens erfassten Fläche des Bodens in der Umgebung des Fahrzeugs,
7 eine schematische Darstellung des Fahrzeugs und der erfassten Fläche des Bodens in der Umgebung des Fahrzeugs sowie eines interessierenden Bereichs der erfassten Fläche und ein Ausschnitt des erfassten Bildes mit dem interessierenden Bereich gemäß des ersten Ausführungsbeispiels des beanspruchten Verfahrens,
8 eine schematische Darstellung zweier mittels als Außenspiegelkameras ausgebildeter Bilderfassungseinheiten aufgenommener Bilder eines Bodens der Umgebung des Fahrzeugs an dessen linker und rechter Fahrzeugseite,
9 eine schematische Darstellung korrespondierender Bildmerkmale der aufgenommenen Bilder eines Bodens im feuchten Zustand und von in der Datenbank gespeicherten Bildern des Bodens im trockenen Zustand gemäß eines zweiten Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
10 eine schematische Darstellung von Zylinderprojektionsflächen aufgenommener Bilder in einer Garage,
11 eine schematische Darstellung von Bodenprojektionen der in der Garage an der linken und rechten Fahrzeugseite aufgenommenen aktuellen Bilder und in der Datenbank gespeicherter Bilder gemäß eines dritten Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
12 eine schematische Darstellung einer Selbstlokalisation des Fahrzeugs und einer Korrektur einer aktuellen Position des Fahrzeugs anhand einer erwarteten Position des Fahrzeugs gemäß eines vierten Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
13 eine schematische Darstellung einer Erstbefahrung eines Fahrzeugs entlang einer ersten Trajektorie sowie eine schematische Darstellung von interessierenden Bereichen entlang der Trajektorie und einer Datenbank gemäß eines fünften Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
14 eine schematische Darstellung einer Wiederbefahrung eines Fahrzeugs entlang einer von der ersten Trajektorie entfernt beginnenden zweiten Trajektorie gemäß des sechsten Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
15 eine schematische Darstellung einer Lokalisierungsfahrt eines Fahrzeugs eines siebenten Ausführungsbeispiels des erfindungsgemäßen Verfahrens entlang einer nah an der ersten Trajektorie beginnenden zweiten Trajektorie,
16 eine schematische Darstellung eines achten Ausführungsbeispiels des Verfahrens mit einer in der Datenbank gespeicherten Fläche aus einer Vielzahl aufgenommener Bilder,
17 eine schematische Darstellung für das Verfahren nicht geeigneter Bodenoberflächen,
18 eine schematische Darstellung für das Verfahren geeigneter Bodenoberflächen,
19 eine schematische Darstellung von Bodenprojektionen der an einer ersten Position in einer Parkgarage an der linken und rechten Fahrzeugseite aufgenommenen aktuellen Bilder und in der Datenbank gespeicherter Bilder,
20 eine schematische Darstellung von Bodenprojektionen der an einer zweiten Position in einer Parkgarage an der linken und rechten Fahrzeugseite aufgenommenen aktuellen Bilder und in der Datenbank gespeicherter Bilder,
21 eine schematische Darstellung von Bodenprojektionen der an einer dritten Position in einer Parkgarage an der linken und rechten Fahrzeugseite aufgenommenen aktuellen Bilder und in der Datenbank gespeicherter Bilder,
22 eine schematische Darstellung von Bodenprojektionen der an einer vierten Position in einer Parkgarage an der linken und rechten Fahrzeugseite aufgenommenen aktuellen Bilder und in der Datenbank gespeicherter Bilder,
23 eine schematische Darstellung von Bodenprojektionen der an einer fünften Position in einer Parkgarage an der linken und rechten Fahrzeugseite aufgenommenen aktuellen Bilder und in der Datenbank gespeicherter Bilder,
24 eine schematische Darstellung von Bodenprojektionen der an einer sechsten Position in einer Parkgarage an der linken und rechten Fahrzeugseite aufgenommenen aktuellen Bilder und in der Datenbank gespeicherter Bilder,
25 eine schematische Darstellung einer Erstbefahrung eines Fahrzeugs entlang einer ersten Trajektorie in einer Parkgarage sowie eine schematische Darstellung von interessierenden Bereichen entlang der Trajektorie und einer Datenbank,
26 eine schematische Darstellung einer Lokalisierungsfahrt eines Fahrzeugs entlang einer nah an der ersten Trajektorie beginnenden zweiten Trajektorie,
27 eine schematische Darstellung einer Parkgarage und eines einzuparkenden Fahrzeugs,
28 eine schematische Darstellung der Situation aus 27 mit einer als Einparktrajektorie ausgebildeten ersten Trajektorie,
29 eine schematische Darstellung der Parkgarage und des Fahrzeugs während des Befahrens der ersten Trajektorie,
30 eine schematische Darstellung der Parkgarage mit einer als Ausparktrajektorie ausgebildeten ersten Trajektorie zum Ausparken des Fahrzeugs,
31 eine schematische Darstellung eines an einer Zielposition zu positionierenden Fahrzeugs und einer ersten Trajektorie zu dieser Zielposition,
32 eine schematische Darstellung des Fahrzeugs an der Zielposition, und
33 eine schematische Darstellung des Fahrzeugs an der Zielposition und einer ersten Trajektorie zum Verlassen der Zielposition.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
Aus dem Stand der Technik ist ein in 1 schematisch dargestelltes Fahrzeug 1 bekannt, an dem vier nicht näher dargestellte Bilderfassungseinheiten 2.1 bis 2.4 angeordnet sind. Dabei ist eine erste Bildererfassungseinheit 2.1 mit einem ersten Erfassungsbereich 3.1 und einer ersten optischen Achse OA1 an der rechten Fahrzeugseite, eine zweite Bildererfassungseinheit 2.2 mit einem zweiten Erfassungsbereich 3.2 und einer zweiten optischen Achse OA2 an der linken Fahrzeugseite, eine dritte Bildererfassungseinheit 2.3 mit einem dritten Erfassungsbereich 3.3 und einer dritten optischen Achse OA3 im Frontbereich des Fahrzeugs 1 und eine vierte Bildererfassungseinheit 2.4 mit einem vierten Erfassungsbereich 3.4 und einer vierten optischen Achse OA4 im Heckbereich des Fahrzeugs 1 angeordnet. Die optischen Achsen OA1 bis OA4 der Bilderfassungseinheiten 2.1 bis 2.4 sind von dem Fahrzeug 1 im Wesentlichen horizontal in eine Umgebung des Fahrzeugs 1 gerichtet.
Eine schematische Darstellung des Fahrzeugs 1, der Erfassungsbereiche 3.1 bis 3.4 sowie von erfassten Bildern Bn ist in der 2 gezeigt. Durch die gebogenen Zylinderabschnitte sind die jeweiligen virtuellen Zylinderprojektionsflächen Pz symbolisiert, auf welche die in den Erfassungsbereichen 3.1 bis 3.4 erfassten Bilder Bn durch eine Zylinderprojektion abgebildet sind. Dabei werden durch die Bilderfassungseinheiten 2.1 bis 2.4, die üblicherweise als Objektiv ein sogenanntes „Fischaugenobjektiv” aufweisen, auch Bereiche des Bodens 8 nahe am Fahrzeug 1 erfasst. Nah an dem Fahrzeug 1 befindliche Bereiche sind in den Bildern Bn stark verzerrt abgebildet, während weiter entfernte Bereiche geringere Verzerrungen aufweisen.
Die auftretenden Verzerrungen in den Bildern Bn sind in der 2 beispielhaft im Bereich des Bodens 8 nahe am Fahrzeug 1 zur Verdeutlichung der größeren Verzerrungen durch Striche und zu den weiter vom Fahrzeug 1 entfernten Bereichen aufgrund der abnehmenden Verzerrungen als Punkte abgebildet.
Die durch die jeweiligen Bilderfassungseinheiten 2.1 bis 2.4 gemäß dem Stand der Technik erfassten Flächen des Bodens 8 in der Umgebung des Fahrzeugs 1 sind schematisch und näherungsweise in 3 in Form von Trapezen dargestellt.
In der 4 ist eine erste Bilderfassungseinheit 2.1 schematisch dargestellt, die in Form einer in dem rechten Seitenspiegel 5 des Fahrzeugs 1 angeordneten Außenspiegelkamera des Fahrzeugs 1 gemäß dem Stand der Technik ausgebildet ist.
Der erste Erfassungsbereich 3.1 ist jeweils durch äußere Flächen begrenzt, die einen Erfassungswinkel α der ersten Bilderfassungseinheit 2.1 einschließen. Dabei sind die virtuelle Zylinderprojektionsfläche Pz der Zylinderprojektion des in dem ersten Erfassungsbereich 3.1 erfassten Bildes Bn und das aufgenommene Bild Bn in Zylinderprojektion dargestellt.
Eine durch die erste Bilderfassungseinheit 2.1 erfasste Fläche des Bodens 8 ist in der 5 in Form eines Trapezes gezeigt.
Nachfolgend wird die Erfindung zum Zweck der besseren Übersichtlichkeit anhand der ersten Bilderfassungseinheit 2.1 beschrieben, deren optische Achse OA1 schräg nach unten auf den Boden 8 gerichtet ist, wie in 4 und 5 gezeigt. Alternativ kann die optische Achse OA1 senkrecht auf den Boden 8 ausgerichtet sein.
In weiteren möglichen Ausgestaltungen des Verfahrens können auch die zweite Bilderfassungseinheit 2.2, die dritte Bilderfassungseinheit 2.3 und/oder die vierte Bilderfassungseinheit 2.4 verwendet werden, wenn deren optische Achsen OA2, OA3 und/oder OA4 auf den Boden 8 in der Umgebung des Fahrzeugs 1 gerichtet sind.
Eine Ausgestaltung des erfindungsgemäßen Verfahrens zur Selbstlokalisation sieht vor, dass die räumlich aufgenommenen Bilder Bn derart verarbeitet, insbesondere entzerrt, werden, dass diese anstelle der bekannten Zylinderprojektion mittels einer Bodenprojektion verarbeitet und eindeutig zweidimensional als Bodenprojektionsflächen Pb abgebildet werden. In der Bodenprojektionsfläche Pb sind auftretende Verzerrungen von Bildinhalten in Bereichen nahe dem Fahrzeug 1 gering, wie dies beispielhaft in 6 in einem ersten Ausführungsbeispiel des Verfahrens anhand der Bodenprojektionsflächen Pb erfasster Bilder Bn des Bodens 8 in der Umgebung des Fahrzeugs 1 dargestellt ist.
Die für die Durchführung des Verfahrens zur Selbstlokalisation erforderlichen Bildinformationen sind in einem mittels des Fischaugenobjektivs erfassten Bildes Bn vorhanden, jedoch ist ein Identifizieren von Bildmerkmalen Mi durch die auftretenden Verzerrungen erschwert.
Durch die Abbildung der räumlich aufgenommenen Bilder Bn in der Bodenprojektionsfläche Pb mittels Bodenprojektion ist die Wiedererkennung von Bildmerkmalen Mi erleichtert und kann durch translatorische und rotatorische Verschiebungen von Bildpunkten mit geringem Rechenaufwand erreicht werden.
Als erste Bilderfassungseinheit 2.1 ist eine übliche Außenspiegelkamera mit einem Fischaugenobjektiv in dem Seitenspiegel 5 vorhanden, deren Erfassungsbereich 3.1 mit der größten Schärfentiefe etwa parallel zur Längsachse des Fahrzeugs 1 und nahe, beispielsweise in einem Abstand zum Fahrzeug 1 von weniger als 2 m, entlang der Fahrzeugseite des Fahrzeugs 1 verläuft. Die Kamera ist in einem PKW in einer Höhe von ca. 1 m angebracht, in einem LKW deutlich höher. Die Bodenmerkmale direkt unter der Kamera werden am schärfsten abgebildet. Die Schärfe fällt naturgemäß zum Rand des Bildes ab. Die erste Bilderfassungseinheit 2.1 ist derart ausgerichtet, dass deren zugehörige erste optische Achse OA1 im Wesentlichen senkrecht auf den Boden 8 gerichtet ist.
In weiteren möglichen Ausführungen kann die erste Bilderfassungseinheit 2.1 als eine Kamera mit einem sogenannten Normalobjektiv, beispielsweise als eine Monokamera oder eine Stereokamera, ausgebildet sein.
In dem ersten Ausführungsbeispiel des Verfahrens wird in der erfassten Fläche, vorzugsweise in einem Sichtbereich SB der ersten Bilderfassungseinheit 2.1, der zugleich der Bereich der größten Schärfentiefe ist, ein interessierender Bereich ROI, auch als region of interest bezeichnet, bestimmt, wie dies in 7 schematisch dargestellt ist.
Ein interessierender Bereich ROI ist beispielsweise durch festgelegte Bildkoordinaten bestimmt, durch die der interessierende Bereich ROI begrenzt ist.
In dem gezeigten Ausschnitt des erfassten Bildes Bn erstreckt sich die Lage und Ausdehnung des interessierenden Bereichs ROI etwa parallel zur rechten Fahrzeugseite. Der interessierende Bereich ROI erstreckt sich dabei in Längsrichtung des Fahrzeugs 1 etwa von der Vorderachse 6 des rechten Vorderrads bis zur Hinterachse 7 des rechten Hinterrads.
Aus dem interessierenden Bereich ROI werden Bildmerkmale Mi extrahiert. Als Bildmerkmale Mi werden sogenannte pixelbasierte Bildbereiche, die insbesondere ortsfeste Bodenmerkmale, die für eine Wiedererkennung und eine Selbstlokalisation geeignet sind, repräsentieren, aus den aufgenommenen Bildern Bn extrahiert. Beispielsweise werden als Bildmerkmale Mi pixelbasierte Oberflächenstrukturen oder Farbabweichungen eines Fahrbahnbelags, eines Bordsteins, eine Fahrbahnmarkierung, ein Deckel eines Kanalschachtes und/oder ein Regeneinlauf extrahiert.
Durch die Begrenzung der Bildanalyse und -verarbeitung auf den interessierenden Bereich ROI im aufgenommenen Bild Bn werden vorteilhaft einerseits die für das Verfahren erforderlichen Speicher- und Rechenkapazitäten begrenzt, andererseits werden nur scharf abgebildete Bereiche der Bilder Bn verwendet, wodurch eine höhere Genauigkeit der Selbstlokalisation erzielt wird. Wichtig ist in diesem Zusammenhang auch die Wiedererkennbarkeit einer Bodenregion.
Der interessierende Bereich ROI ist durch die Anzahl von Bildmerkmalen Mi gekennzeichnet, durch deren Lage, Form und relativer Anordnung zueinander ein Bild Bn, insbesondere dessen interessierender Bereich ROI, individualisiert ist.
In einer möglichen Ausgestaltung des Verfahrens wird wenigstens von diesem interessierenden Bereich ROI mittels Bodenprojektion eine virtuelle Bodenprojektionsfläche Pb der Bilddaten des Bodens 8 erzeugt. Vorteilhaferweise werden aus der virtuellen Bodenprojektionsfläche Pb des interessierenden Bereichs ROI die Bildmerkmale Mi extrahiert.
Die extrahierten Bildmerkmale Mi werden anschließend in einer Datenbank 4 oder einem anderen geeigneten Speicher hinterlegt, mit der die Bilderfassungseinheiten 2.1 bis 2.4 in einer für die Übertragung von Daten geeigneten, hier nicht näher dargestellten Verbindung, zum Beispiel eine Datenbusverbindung oder eine Drahtverbindung, stehen. Dabei ist es vorteilhaft, wenn den Bildern Bn zugeordnete Informationen über die in ihnen enthaltenen Bildmerkmale Mi sowie Positionen Pn der Bilder Bn und/oder der Bildmerkmale Mi gespeichert werden. Dabei werden die gespeicherten Bildmerkmale Mi als Vergleichsmerkmale Vi hinterlegt und stehen für eine später durchzuführende Selbstlokalisationen zur Verfügung.
In einer weiteren möglichen Ausgestaltung des Verfahrens werden die Bildmerkmale Mi in Form von sogenannten Signaturen gespeichert. Solche Signaturen sind detailliert in der DE 10 2013 003 117 A1 der Anmelderin beschrieben, deren vollständiger Inhalt hiermit durch Referenz aufgenommen wird. Dabei kann aus einem Bildmerkmal Mi eine Merkmalssignatur erzeugt und in der Datenbank 4 als Vergleichsmerkmal Vi in Form eines Schlüssels für Positionen Pn, beispielsweise Koordinaten, und Art, beispielsweise Oberflächenstruktur, des Bildmerkmals Mi gespeichert werden.
Bei dem hinterlegten Bildmerkmal Mi und/oder dem hinterlegten Vergleichsmerkmal Vi kann es sich in einer weiteren möglichen Ausgestaltung des Verfahrens um durch die Merkmalssignaturen beschriebene pixelbasierte Bereiche in den erfassten Bildern Bn handeln, wie diese ebenfalls in der DE 10 2013 003 117 A1 beschrieben sind.
Durch die Wahl einer geeigneten Signatur der Bildmerkmale Mi wird der Tatsache Rechnung getragen, dass der Boden 8 zu verschiedenen Zeitpunkten, bei denen das Verfahren durchgeführt wird, unterschiedlichen Beleuchtungssituationen unterworfen sein kann. Die Bildmerkmale Mi sind daher vorteilhaft so gewählt, dass diese invariant gegenüber Helligkeitsunterschieden sind. Außerdem ist eine teilweise Invarianz gegenüber Rotation günstig. Eine Skalierungsinvarianz ist dagegen nicht von Bedeutung, da die Bilder Bn immer aus der gleichen Höhe, beispielsweise aus etwa 80 cm Höhe, aufgenommen werden.
Durch das Verfahren zur Selbstlokalisation ist vorteilhaft erreicht, dass zur Selbstlokalisation keine mobilen Objekte aus den Bildern Bn gefiltert werden müssen. Sollten die Bildmerkmale Mi nicht detektierbar sein, weil diese beispielsweise durch Laub überdeckt sind, kann auf alternative Verfahren der Selbstlokalisation, wie beispielsweise Abstandsmessungen, zurückgegriffen werden, die aus dem Stand der Technik bekannt sind.
Beim Verfahren zur Selbstlokalisation des Fahrzeugs 1 werden zeitlich aufeinanderfolgend Bilder Bn, Bn + 1 der Umgebung des Fahrzeugs 1 erfasst. In den erfassten aktuellen Bildern Bn + 1 (siehe 9) werden jeweils mindestens aus einem bestimmten interessierenden Bereich ROI aktuelle Bildmerkmale Mi extrahiert. Die ermittelten aktuellen Bildmerkmale Mi werden mit in der Datenbank 4 hinterlegten Vergleichsmerkmalen Vi verglichen und bei einer hinreichenden Übereinstimmung von Bildmerkmalen Mi und Vergleichsmerkmalen Vi wird anhand von Positionen Pn, die den Vergleichsmerkmalen Vi zugeordnet gespeichert sind, eine Selbstlokalisation des Fahrzeugs 1 durchgeführt. Als Vergleichsmerkmale Vi werden dabei während einer Lernfahrt oder Erstfahrt (auch Teach-Fahrt genannt) ermittelte Bildmerkmale Mi in der Datenbank 4 gespeichert.
Ein Beispiel zweier Bilder Bn mit je einem ausgewählten interessierenden Bereich ROI ist in 8 dargestellt. Die interessierenden Bereiche ROI befinden sich neben der linken beziehungsweise neben der rechten Fahrzeugseite des Fahrzeugs 1 und erstrecken sich jeweils parallel zur linken beziehungsweise zur rechten Fahrzeugseite etwa von der jeweiligen Vorderachse 6 bis etwa zur Hinterachse 7 des Fahrzeugs 1.
Bei unterschiedlichen Witterungs- und Beleuchtungsbedingungen und somit zeitlich versetzt aufgenommene aktuelle Bilder Bn + 1 und vorangegangene Bilder Bn – 1 von denselben Bereichen des Bodens 8 neben dem Fahrzeug 1 sind in 9 schematisch und beispielhaft gezeigt. Das Fahrzeug 1 befindet sich zu beiden Zeitpunkten der Bildaufnahmen an nahezu derselben Position. Die Bilder Bn + 1 sind dabei bei wolkigem Wetter und entsprechend reduzierter Beleuchtung aufgenommen. Der Boden 8 ist feucht und weist dunkel erscheinende Wasserflecken WF auf. Die vorangegangenen Bilder Bn – 1 sind dagegen bereits zu einem früheren Zeitpunkt bei sonnigem Wetter und guter Beleuchtung aufgenommen worden. Wasserflecke WF sind nicht vorhanden. In dem interessierenden Bereich ROI sind die extrahierten Bildmerkmale Mi zur verbesserten Anschaulichkeit durch Punkte hervorgehoben. Einige Bildmerkmale M1 bis M4 sind in diesem zweiten Ausführungsbeispiel des Verfahrens beispielhaft in den jeweils auf der rechten Seite dargestellten Bildern Bn + 1, Bn – 1 durch die Symbole Dreieck, Quadrat, Kreisring und Stern individualisiert dargestellt.
Die Bildmerkmale M1 bis M4 werden dabei sowohl aus den aktuellen Bildern Bn + 1 als auch aus den vorangegangenen Bildern Bn – 1 extrahiert. Die Bildmerkmale M1 bis M4 der vorangegangenen Bilder Bn – 1 werden als Vergleichsmerkmale V1 bis V4 in der Datenbank 4 gespeichert. Bei einem Vergleich der extrahierten momentanen Bildmerkmale M1 bis M4 aus den momentan aufgenommenen aktuellen Bildern Bn + 1 mit den in der Datenbank 4 vorhandenen Vergleichsmerkmalen Vi (= Bildmerkmale M1 bis M4 der vorangegangenen Bildern Bn – 1) werden Korrespondenzen K1 bis K4 (siehe 12) zwischen den Bildmerkmalen M1 bis M4 des aktuellen Bildes Bn + 1 und den Vergleichsmerkmalen V1 bis V4 festgestellt. Anhand der den Vergleichsmerkmalen V1 bis V4 zugeordnet gespeicherten Positionen Pn, die durch die Bezugszeichen P1 bis P4 in 9 symbolisiert sind, wird eine Selbstlokalisation des Fahrzeugs 1 durchgeführt.
In einem weiteren Beispiel befindet sich das Fahrzeugs 1 auf einer gewünschten Parkposition in einer Garage. Lediglich zur Unterstützung des Verständnisses sind in 10 durch die Bilderfassungseinheiten 2.1 bis 2.4 bei einem erstmaligen Einnehmen der Parkposition durch das Fahrzeug 1 aufgenommene Bilder Bn als Zylinderprojektionen schematisch dargestellt.
In einem in 11 schematisch dargestellten dritten Ausführungsbeispiel des beanspruchten Verfahrens sind zu einem früheren Zeitpunkt vorangegangene Bilder Bn – 1 aufgenommen, die mittels Bodenprojektionen entzerrt werden und als Bodenprojektionsflächen Pb dargestellt sind. Aus den interessierenden Bereichen ROI der Bodenprojektionsflächen Pb werden die Bildmerkmale Mi extrahiert. Bei einem erstmaligen Befahren einer Strecke werden die extrahierten Bildmerkmale Mi als Vergleichsmerkmale Vi in der Datenbank 4 gespeichert. Vier der Vergleichsmerkmale V1 bis V4 sind durch Symbole hervorgehoben und individualisiert dargestellt.
In nachfolgenden, momentan aufgenommenen aktuellen Bildern Bn + 1 werden erneut aus den interessierenden Bereichen ROI Bildmerkmale Mi ermittelt und mit den beim erstmaligen Befahren hinterlegten Vergleichsmerkmalen Vi verglichen. Bei Übereinstimmung der beispielhaft gezeigten Bildmerkmale M1 bis M4 mit den Vergleichsmerkmalen V1 bis V4 wird die den Vergleichsmerkmalen V1 bis V4 zugeordnete Position Pn zur Selbstlokalisation des Fahrzeugs 1 verwendet.
Alternativ oder zusätzlich kann, wie in 12 gezeigt, eine Selbstlokalisation des Fahrzeugs 1 derart ausgeführt werden, dass eine aktuelle Position Pn + 1 des Fahrzeugs 1 anhand einer erwarteten oder hinterlegten Position Pn des Fahrzeugs 1 gemäß eines vierten Ausführungsbeispiels des erfindungsgemäßen Verfahrens angepasst oder korrigiert wird.
Anhand der in dem interessierenden Bereich ROI extrahierten aktuellen Bildmerkmale Mi bis M4 werden während eines Vergleichs mit den in der Datenbank 4 gespeicherten Vergleichsmerkmalen Vi vier durch Pfeile dargestellte Korrespondenzen K1 bis K4 zwischen den aktuellen Bildmerkmalen M1 bis M4 und den hinterlegten Vergleichsmerkmalen V1 bis V4 ermittelt.
Unter den Korrespondenzen K1 bis K4, auch als Match bezeichnet, wird jeweils ein Tupel zwischen einem Bildmerkmal Mi aus einem momentan mittels der Bilderfassungseinheiten 2.1 erfassten aktuellen Bild Bn + 1 und einem korrespondierenden hinterlegten Vergleichsmerkmal V1 bis V4 aus der Datenbank 4 verstanden.
Anhand der relativen translatorischen und rotatorischen Abweichungen der Bildmerkmale M1 bis M4 von den Vergleichsmerkmalen V1 bis V4 ist eine aktuelle Position Pn + 1 des Fahrzeugs 1 relativ zu einer durch die Vergleichsmerkmale V1 bis V4 definierten erwarteten und hinterlegten Position Pn ermittelbar. Weiterhin können diejenigen translatorischen Bewegungen und Rotationen des Fahrzeugs 1 berechnet werden, die auszuführen sind, um das Fahrzeug 1 von seiner aktuellen Position Pn + 1 in die erwartete Position Pn zu bringen.
Eine schematische Darstellung einer Erstbefahrung (Lernfahrt) einer ersten Trajektorie T1 durch ein Fahrzeug 1 gemäß eines fünften Ausführungsbeispiels des erfindungsgemäßen Verfahrens sowie eine schematische Darstellung von interessierenden Bereichen ROI entlang der ersten Trajektorie T1 ist in der 13 gegeben.
Während der Erstbefahrung entlang der ersten Trajektorie T1 werden von Aufnahmepositionen des Fahrzeugs 1 in bestimmten Abständen Bilder Bn, Bn – 1, Bn + 1 des überfahrenen Bodens 8 aufgenommen, von denen nur die interessierenden Bereiche ROI dargestellt sind. Vorteilhaft wird ein Abstand der Aufnahmepositionen kleiner als ein Abstand zwischen Vorderachse 6 und Hinterachse 7 des Fahrzeugs 1 gewählt, wodurch eine überlappende Aufnahme der interessierenden Bereiche ROI sichergestellt ist und Erfassungslücken vermieden werden. Aus den interessierenden Bereichen ROI werden Bildmerkmale Mi extrahiert und als Vergleichsmerkmale Vi in der Datenbank 4 gespeichert. Ein dabei erforderlicher Datenfluss ist durch Pfeile zur Datenbank 4 dargestellt.
Die Datenbank 4 umfasst separate Speichereinheiten L und R zum Speichern von Daten verschiedener Bilderfassungseinheiten 2.1 bis 2.2.
Die Bildmerkmale Mi werden als Vergleichsmerkmale Vi zusammen mit einer jeweiligen Ausrichtung des Fahrzeugs 1 zur ersten Trajektorie T1 und mit zugeordneten Positionen Pn (zum Beispiel Koordinaten) in der Datenbank 4 hinterlegt.
In einer zu einem späteren Zeitpunkt erfolgenden und schematisch in 14 dargestellten Wiederbefahrung soll das Fahrzeug 1 wieder entlang der ersten Trajektorie T1 geführt werden. Die erste Trajektorie T1 ist zum besseren Verständnis mit den während der Erstbefahrung ausgewählten interessierenden Bereichen ROI dargestellt.
Das Fahrzeug 1 befindet sich zum dargestellten Zeitpunkt an einer aktuellen Position Pn + 1 auf einer zweiten Trajektorie T2, die so weit von der ersten Trajektorie T1 entfernt beginnt, dass an der aktuellen Position Pn + 1 des Fahrzeugs 1 aus den jeweiligen interessierenden Bereichen ROI keine Bildmerkmale Mi extrahiert werden können, für die Korrespondenzen zu Vergleichsmerkmalen Vi bestehen.
In diesem Fall werden beispielsweise bekannte SLAM-Verfahren unter Nutzung von Zylinderprojektionen und/oder auf Radar- oder Laserstrahlung basierende Lokalisierungsverfahren eingesetzt. Ziel ist dabei, das Fahrzeug 1 auf der zweiten Trajektorie T2 so nahe an die erste Trajektorie T1 heranzuführen, bis Bildmerkmale Mi wenigstens eines interessierenden Bereichs ROI Korrespondenzen K1 bis K4 mit Vergleichsmerkmalen Vi aufweisen. Mittels der zu 11 beschriebenen Vorgehensweise ist ein „Aufgleisen” des Fahrzeugs 1 auf die erste Trajektorie T1 ermöglicht, indem eine ermittelte aktuelle Ausrichtung des Fahrzeugs 1 zur ersten Trajektorie T1 durch Steuerbewegungen des Fahrzeugs 1 während seiner weiteren Fahrtbewegung an die in der Datenbank 4 hinterlegte und jeweils erwartete Position Pn und Ausrichtung des Fahrzeugs 1 relativ zur ersten Trajektorie T1 angeglichen wird.
Befindet sich das Fahrzeug 1, wie schematisch in 15 dargestellt, dagegen bereits zu Beginn einer Selbstlokalisierung so nahe an der ersten Trajektorie T1, dass, hier nicht dargestellt, wenigstens Bildmerkmale Mi einer der interessierenden Bereiche ROI, hier nicht dargestellte Korrespondenzen mit Vergleichsmerkmalen Vi ergeben, erfolgt eine Selbstlokalisation und eine Ausrichtung des Fahrzeugs 1, wie zu den 12, 13 und 14 beschrieben. Durch die Pfeile ist vereinfachend eine Übermittlung der Bildmerkmale Mi an die Datenbank 4 sowie Anweisungen für die auszuführenden Steuerbewegungen des Fahrzeugs 1 zum Erreichen der ersten Trajektorie T1 gezeigt.
In der 16 ist schematisch ein achtes Ausführungsbeispiel des Verfahrens mit einer in der Datenbank 4 gespeicherten und aus einer Vielzahl von Vergleichsmerkmalen Vi aufgenommener vorangegangener Bilder Bn – 1 zusammengesetzten Fläche F dargestellt. Es sind nur die interessierenden Bereiche ROI dargestellt. Durch einen Vergleich von aktuellen Bildmerkmalen Mi mit den hinterlegten Vergleichsmerkmalen Vi wird eine Selbstlokalisation des Fahrzeugs 1 durchgeführt. Es ist dabei möglich, das Fahrzeug 1 in einer gewünschten Weise auf der Fläche F auszurichten und/oder eine beliebige, nicht dargestellte Trajektorie auf der Fläche F festzulegen, entlang der das Fahrzeug 1 geführt wird.
Das Verfahren zur Selbstlokalisation ist in weiteren möglichen Ausgestaltungen des Verfahrens neben den Bilderfassungseinheiten 2.1 bis 2.4 auch mit weiteren und/oder anders angeordneten Bilderfassungseinheiten durchführbar.
In einer weiteren möglichen Ausgestaltung des Verfahrens ist mindestens der jeweils interessierende Bereich ROI beleuchtet. Dazu wird beispielsweise eine in einem Außenspiegel angeordnete Lichtquelle, beispielsweise eine Leuchtdiode, verwendet.
Das Verfahren kann in einer weiteren möglichen Ausgestaltung in einem Assistenzsystem zur Unterstützung eines Parkvorganges oder in einem Verfahren zum automatisierten Einparken des Fahrzeugs 1 eingesetzt werden, wie im Folgenden anhand der 17 bis 33 näher beschrieben wird.
In einer weiteren möglichen Ausgestaltung des Verfahrens wird eine Selbstlokalisation auch während einer Fahrt des Fahrzeugs 1 durchgeführt. Dabei wird vorteilhaft das Muster des Bodens 8, insbesondere einer Oberfläche einer befestigten Fahrbahn, als Bildmerkmale Mi erfasst, beispielsweise abgescannt, und als Vergleichsmerkmale Vi in der Datenbank 4 gespeichert.
Wie bereits geschildert, kann es bei manchen Bodenoberflächen schwierig oder unmöglich sein, Bildmerkmale Mi zu detektieren, weil diese beispielsweise durch Laub überdeckt oder nicht vorhanden sind. Beispiele für solche Bodenoberflächen sind in 17 gezeigt. Derartige Bodenoberflächen weisen beispielsweise ein repetitives Muster auf, wie im ersten Beispiel (in 17 ganz links), spiegeln sehr stark, wie im zweiten Beispiel, ändern sich ständig, zum Beispiel durch sehr starke Verschmutzung, beispielsweise durch Blätter, wie im dritten Beispiel, oder sind texturfrei, zum Beispiel glatt und weiß, wie im vierten Beispiel (in 17 ganz rechts). Im Gegensatz dazu sind in 18 Beispiele für Bodenoberflächen gezeigt, welche für das Verfahren besonders gut geeignet sind, da bei derartigen Bodenoberflächen Bildmerkmale Mi besonders gut zu detektieren sind. Eine derartige Bodenoberfläche ist vorteilhafterweise texturiert, beispielsweise in Form texturierter Kacheln, wie im ersten und zweiten Beispiel (in 18 im linken Bereich), in Form groben Betons mit einer Feinstruktur, wie im dritten Beispiel, oder in Form von Platten mit eingelassenen Punkten, wie im vierten Beispiel (in 18 ganz rechts). Zwar kann in manchen Situationen, wenn die Bildmerkmale Mi nicht zu detektieren sind, auf alternative Verfahren der Selbstlokalisation, wie beispielsweise Abstandsmessungen, zurückgegriffen werden, doch insbesondere bei der Durchführung automatischer oder zumindest teilautomatischer Parkmanöver mittels des Verfahrens ist dies unvorteilhaft und kann gerade derartige Situationen auf besonders einfach zu realisierende Weise vermieden werden.
Hierzu wird, zweckmäßigerweise vor der ersten Befahrung der ersten Trajektorie T1, d. h. vor der Lernfahrt oder Erstfahrt (auch Teach-Fahrt oder Teach-in-Fahrt genannt), bei welcher die Bildmerkmale Mi erfasst und in der Datenbank 4 gespeichert werden sollen, auf und/oder in die Bodenoberfläche des Bodens 8 entlang der ersten Trajektorie T1 ein zumindest in einem vorgegebenen Zeitraum zumindest im Wesentlichen beständiges und mittels zumindest einer Bilderfassungseinheit 2.1 bis 2.4 des Fahrzeugs 1 eindeutig identifizierbares und sich entlang der ersten Trajektorie T1 veränderndes Muster aufgebracht bzw. eingebracht. Auf diese Weise wird sichergestellt, dass die zu erfassenden und in der Datenbank 4 zu speichernden Bildmerkmale Mi vorhanden sind, denn sie sind in dem eindeutig identifizierbaren und sich entlang der ersten Trajektorie T1 verändernden Muster enthalten. Durch das sich im Verlauf der ersten Trajektorie T1 verändernde Muster wird eine eindeutige Positionsbestimmung ermöglicht, da das Muster nicht an zwei oder mehr Positionen entlang der ersten Trajektorie T1 gleich ausgebildet ist.
Der vorgegebene Zeitraum, innerhalb dessen das Muster zumindest im Wesentlichen beständig ist, ist zweckmäßigerweise ein insbesondere unter wirtschaftlichen Gesichtspunkten sinnvoll lang gewählter Zeitraum von beispielsweise mehreren Jahren oder zumindest mehreren Monaten. Dies kann beispielsweise durch die Verwendung einer geeigneten, gegen Abnutzung ausreichend widerstandsfähigen Farbe, Lackierung und/oder Beschichtung sichergestellt werden. Innerhalb dieses Zeitraums nutzt sich die Bodenoberfläche mit dem Muster beispielsweise ab, jedoch ist die Abnutzung derart gering, dass das Muster im Wesentlichen unverändert bleibt, so dass die Mustererkennung anhand der vorangegangenen Bilder Bn – 1, welche während der Lernfahrt ermittelt wurden, und nachfolgend ermittelter aktueller Bilder Bn + 1 weiterhin gegeben ist. Verändert sich das Muster zu stark, so dass die Wiedererkennung in nachfolgend aufgenommenen aktuellen Bildern Bn + 1 nicht mehr gegeben ist, so muss eine neue Lernfahrt durchgeführt werden. Ist das Muster beispielsweise nach dem vorgegebenen Zeitraum, innerhalb dessen es im Wesentlichen beständig ist, zum Beispiel durch Abnutzung nicht mehr erkennbar, so kann beispielsweise auf die oben beschriebene Weise ein neues Muster auf und/oder in der Bodenoberfläche erzeugt werden. Danach ist dann eine neue Lernfahrt erforderlich, um das neue Muster anzulernen.
Zur Aufbringung und/oder Einbringung des Musters wird die Bodenoberfläche des Bodens 8 beispielsweise bemalt, lackiert und/oder beschichtet. Das Muster wird vorzugsweise als ein zufälliges Punktmuster ausgebildet. Das Muster ist dabei vorzugsweise ein kontrastreiches Muster. Besonders bevorzugt wird das Muster daher als ein kontrastreiches zufälliges Punktmuster ausgebildet, beispielsweise durch Bemalung, Lackierung und/oder Beschichtung der Bodenoberfläche. Alternativ oder zusätzlich kann das Muster beispielsweise als eine zufällige Texturierung der Bodenoberfläche ausgebildet werden, d. h. beispielsweise als eine Oberflächenstruktur aus zufällig verteilten Erhebungen und/oder Vertiefungen. Insbesondere das Bemalen, Lackieren und/oder Beschichten der Bodenoberfläche ermöglicht ein besonders einfaches und preisgünstiges Nachrüsten von Parkhäusern, Parkplätzen, Parkgaragen und anderen Parkeinrichtungen, um danach automatisierte Parkmanöver durchführen zu können, wie in den 27 bis 33 gezeigt. Wie in den 31 bis 33 dargestellt, ist es dabei nicht erforderlich, dieses Muster auf die gesamte Bodenoberfläche der jeweiligen Parkeinrichtung oder anderen Einrichtung aufzubringen oder in sie einzubringen, sondern es muss beispielsweise lediglich in Bereichen auf die Bodenoberfläche aufgebracht und/oder in diese eingebracht werden, welche von der zumindest einen Bilderfassungseinheit 2.1 bis 2.4 des Fahrzeugs 1 während der Lernfahrt und während des Befahrens der ersten Trajektorie T1 erfasst werden könnten.
Durch dieses Aufbringen und/oder Einbringen des zumindest in einem vorgegebenen Zeitraum zumindest im Wesentlichen beständigen und mittels der zumindest einen Bilderfassungseinheit 2.1 bis 2.4 des Fahrzeugs 1 eindeutig identifizierbaren und sich entlang der ersten Trajektorie T1 verändernden Musters auf und/oder in die Bodenoberfläche des Bodens 8 entlang der ersten Trajektorie T1 wird ein sicherer und eindeutiger Vergleich erfasster und gespeicherter vorangegangener Bilder Bn – 1 des Bodens 8 mit bei der Wiederbefahrung der ersten Trajektorie T1 momentan aufgenommenen aktuellen Bildern Bn + 1 und anhand des Vergleichs die sichere und eindeutige Ermittlung der aktuellen Position und/oder der aktuellen Ausrichtung des Fahrzeugs 1 ermöglicht.
Vorzugsweise ist das Muster derart ausgebildet, dass es von der zumindest einen Bilderfassungseinheit 2.1 bis 2.4 des Fahrzeugs 1 als so genanntes „Weißes Rauschen” wahrgenommen wird. „Weißes Rauschen” ist ein Rauschen mit einem konstanten Leistungsdichtespektrum in einem bestimmten Frequenzbereich. Das Muster muss derart ausgebildet werden, dass dieser Frequenzbereich in der zumindest einen Bilderfassungseinheit 2.1 bis 2.4 des Fahrzeugs 1 abbildbar ist, d. h. von ihr erfassbar ist. Zu feines Punktrauschen, welches von der zumindest einen Bilderfassungseinheit 2.1 bis 2.4 des Fahrzeugs 1 als eine gleichfarbige Fläche abgebildet wird, d. h. erfasst wird, ist daher zu vermeiden.
Unter dem Begriff eindeutig identifizierbares und sich entlang der ersten Trajektorie T1 veränderndes Muster ist insbesondere zu verstehen, dass sich das Muster entlang der ersten Trajektorie T1 nicht wiederholt, d. h. Repetitionen des Musters werden vermieden. Dadurch wird die eindeutige Zuordnung eines bei einer Wiederbefahrung der ersten Trajektorie T1 momentan aufgenommenen aktuellen Bildes Bn + 1 zu einem bei der Erstbefahrung der ersten Trajektorie T1 erfassten und gespeicherten vorangegangenen Bild Bn – 1 und somit die eindeutige Ermittlung der aktuellen Position und/oder der aktuellen Ausrichtung des Fahrzeugs 1 ermöglicht.
In den 19 bis 24 sind Bodenprojektionen der an verschiedenen Position in einer Parkgarage an der linken und rechten Fahrzeugseite aufgenommenen aktuellen Bilder Bn + 1 und in der Datenbank 4 gespeicherter vorangegangenen Bilder Bn – 1 dargestellt, wobei auf und/oder in die Bodenoberfläche des Bodens 8 dieser Parkgarage auf die oben beschriebene Weise entlang der ersten Trajektorie T1 ein zumindest in einem vorgegebenen Zeitraum beständiges und mittels zumindest einer Bilderfassungseinheit 2.1 bis 2.4 des Fahrzeugs 1 eindeutig identifizierbares und sich entlang der ersten Trajektorie T1 veränderndes Muster aufgebracht bzw. eingebracht wurde. Dabei zeigen 19 eine Einfahrt der Parkgarage, 20 eine enge Kurve in der Parkgarage, 21 eine Rampenabfahrt in der Parkgarage und die 22 bis 24 eine Zielanfahrt einer Parkposition PP in der Parkgarage.
Wie in diesen 19 bis 24 zu erkennen, konnten die Bildmerkmale Mi auf die oben bereits beschriebene Weise extrahiert und bei einem erstmaligen Befahren der ersten Trajektorie T1 als Vergleichsmerkmale Vi in der Datenbank 4 gespeichert werden. Vier der Vergleichsmerkmale V1 bis V4 sind auch hier durch Symbole hervorgehoben und individualisiert dargestellt. In nachfolgenden, momentan aufgenommenen aktuellen Bildern Bn + 1 konnten diese Bildmerkmale Mi dann wieder ermittelt und mit den beim erstmaligen Befahren hinterlegten Vergleichsmerkmalen Vi verglichen werden.
Besonders bevorzugt ist die erste Trajektorie T1, wie in den 25 bis 33 gezeigt, eine Parktrajektorie für einen automatischen Einpark- und/oder Ausparkvorgang eines automatischen Parkmanövers des Fahrzeugs 1, wobei die Wiederbefahrung der ersten Trajektorie T1 während des automatischen Parkmanövers des Fahrzeugs 1 durchgeführt wird. In den 27 bis 30 ist die Durchführung eines solchen automatischen Parkmanövers in einer Parkgarage dargestellt, beispielsweise in einem Parkhaus oder in einer Tiefgarage. Alternativ kann es sich bei der in den 27 bis 30 dargestellten Situation beispielsweise auch um einen Parkplatz handeln. In den 31 bis 33 ist die Durchführung eines solchen automatischen Parkmanövers zum Positionieren des Fahrzeugs 1 auf einer vorgegebenen Zielposition ZP und zum Verlassen dieser Zielposition ZP dargestellt. Die Zielposition ZP kann beispielsweise als Tankstation oder Waschstation oder bei Nutzfahrzeugen beispielsweise als Belade- und/oder Entladeplatz ausgebildet sein. Dabei weist der Boden 8 in den 25 bis 33 die Bodenoberfläche mit dem besonders vorteilhaften zumindest in einem vorgegebenen Zeitraum zumindest im Wesentlichen beständigen und mittels zumindest einer Bilderfassungseinheit 2.1 bis 2.4 des Fahrzeugs 1 eindeutig identifizierbaren und sich entlang der ersten Trajektorie T1 verändernden Muster auf, welches auf und/oder in die Bodenoberfläche aufgebracht bzw. eingebracht wurde.
Das Verfahren ermöglicht eine solche Durchführung automatischer Parkmanöver des Fahrzeugs 1. Die Wiederbefahrung der ersten Trajektorie T1 wird dann während des automatischen Parkmanövers des Fahrzeugs 1 durchgeführt. Das Fahrzeug 1 wird dann entlang der ersten Trajektorie T1 geführt, indem die aktuelle Ausrichtung des Fahrzeugs 1 zur ersten Trajektorie T1 ermittelt wird und durch Steuerbewegungen des Fahrzeugs 1 an eine jeweilige hinterlegte erwartete Ausrichtung des Fahrzeugs 1 zur ersten Trajektorie T1 angeglichen wird.
Somit ermöglicht das Verfahren beispielsweise ein kostengünstiges Betreiben eines Parkhauses, eines Parkplatzes oder einer anderen Parkstruktur, ohne eine kostenintensive Zusatzsensorik installieren zu müssen. Dabei wird das Fahrzeug 1 beispielsweise an einer Ein-/Ausstiegsstelle EA abgestellt und parkt dann automatisch ein, indem es mittels des Verfahrens automatisch entlang der ersten Trajektorie T1 zu einer jeweils freien Parklücke geführt wird. Ein Ausparkvorgang erfolgt dann auf analoge Weise in umgekehrter Richtung, d. h. das Fahrzeug 1 parkt automatisch aus, indem es mittels des Verfahrens automatisch entlang der ersten Trajektorie T1 zurück zur Ein-/Ausstiegsstelle EA geführt wird, an welcher es ein Fahrzeugführer des Fahrzeugs 1 wieder übernehmen kann.
Während dieser automatischen Parkmanöver, d. h. während des Einparkvorgangs und/oder während des Ausparkvorgangs, kann der Fahrzeugführer im Fahrzeug 1 anwesend sein, so dass dann beispielsweise mittels des Verfahrens nicht nur vollautomatische, d. h. autonome, Parkmanöver des Fahrzeugs 1 möglich sind, sondern beispielsweise auch teilautomatische Parkmanöver, bei welchen beispielsweise lediglich eine Lenkvorrichtung des Fahrzeugs 1 mittels des Verfahrens automatisch gesteuert und/oder geregelt wird, während der Fahrzeugführer ein Beschleunigen und Bremsen des Fahrzeugs 1 durchführt.
Besonders vorteilhaft ist jedoch das mittels des Verfahrens ermöglichte Durchführen vollautomatischer, d. h. autonomer, Parkvorgänge, bei welchen sowohl eine Querführung als auch eine Längsführung des Fahrzeugs 1 durch eine entsprechende automatische Steuerung und/oder Regelung sowohl der Lenkvorrichtung als auch eines Antriebsstrangs und/oder einer Bremsvorrichtung des Fahrzeugs 1 automatisch durchgeführt wird, so dass keine Anwesenheit eines Fahrzeugführers im Fahrzeug 1 erforderlich ist. Dadurch ist insbesondere das Einparken von Fahrzeugen 1 auf engstem Raum ermöglicht, insbesondere unmittelbar nebeneinander mit einem geringstmöglichen Abstand. Dieser Abstand muss lediglich groß genug sein, um direkte Berührungen der Fahrzeuge 1 zu vermeiden. Ein größerer Abstand ist nicht erforderlich, da bei derartigen autonomen Parkmanövern keine Anwesenheit eines Fahrzeugführers im Fahrzeug 1 und daher kein Ein- und Aussteigen mit einem entsprechenden Platzbedarf neben dem Fahrzeug 1 erforderlich ist. Das Verfahren ermöglicht somit eine optimierte Nutzung eines vorhandenen Parkraums durch eine Maximierung der Anzahl auf diesem Parkraum zu parkender Fahrzeuge 1. Des Weiteren ist beispielsweise bei einem Parkdienst oder Parkservice, auch als Valet-Parken oder Valet-Parking bezeichnet, eine erhebliche Personalreduzierung möglich, da mittels des Verfahrens vollautomatische Parkmanöver ohne die Anwesenheit eines Mitarbeiters des Parkdienstes als Fahrzeugführer ermöglicht sind.
Zudem können derartige automatisierte Parkmanöver beispielsweise auch durchgeführt werden, um auf diese Weise eine Tankstation oder Waschstation oder eine andere Zielposition ZP automatisch anzufahren, insbesondere bei Nutzfahrzeugen beispielsweise einen Belade- und/oder Entladeplatz, wie in den 31 bis 33 gezeigt.
Die 25 und 26 zeigen nochmals die bereits in den 13 bis 15 dargestellte und oben beschriebene grundlegende Vorgehensweise, hier in Bezug auf die durchzuführenden automatischen Parkmanöver. Dabei ist in den 25 und 26 der Ablauf zur Durchführung eines automatischen Parkmanövers dargestellt, bei welchem das Fahrzeug 1 an einer Ein-/Ausstiegsstelle EA abgestellt wird und dann automatisch auf einer Parkposition PP oder einer anderen Zielposition ZP einparkt, indem es mittels des Verfahrens automatisch entlang der ersten Trajektorie T1 geführt wird.
25 zeigt dabei die Erstbefahrung (Lernfahrt) der ersten Trajektorie T1 durch das Fahrzeug 1, wobei entlang der ersten Trajektorie T1 interessierende Bereiche ROI dargestellt sind.
Während der Erstbefahrung entlang der ersten Trajektorie T1 werden, wie oben zu den 13 bis 15 bereits beschrieben, von Aufnahmepositionen des Fahrzeugs 1 in bestimmten Abständen Bilder Bn des überfahrenen Bodens 8 aufgenommen, von denen nur die interessierenden Bereiche ROI dargestellt sind. Vorteilhaft wird ein Abstand der Aufnahmepositionen kleiner als ein Abstand zwischen Vorderachse 6 und Hinterachse 7 des Fahrzeugs 1 gewählt, wodurch eine überlappende Aufnahme der interessierenden Bereiche ROI sichergestellt ist und Erfassungslücken vermieden werden. Aus den interessierenden Bereichen ROI werden Bildmerkmale Mi extrahiert und als Vergleichsmerkmale Vi in der Datenbank 4 gespeichert. Ein dabei erforderlicher Datenfluss ist durch Pfeile zur Datenbank 4 dargestellt.
Die Datenbank 4 umfasst, wie oben bereits beschrieben, separate Speichereinheiten L und R zum Speichern von Daten verschiedener Bilderfassungseinheiten 2.1 bis 2.2.
Die Bildmerkmale Mi werden als Vergleichsmerkmale Vi zusammen mit einer jeweiligen Ausrichtung des Fahrzeugs 1 zur ersten Trajektorie T1 und mit zugeordneten Positionen Pn (zum Beispiel Koordinaten) in der Datenbank 4 hinterlegt.
In einer zu einem späteren Zeitpunkt erfolgenden Wiederbefahrung soll das Fahrzeug 1 wieder entlang der ersten Trajektorie T1 geführt werden, wie in 26 gezeigt. Die erste Trajektorie T1 ist zum besseren Verständnis mit den während der Erstbefahrung ausgewählten interessierenden Bereichen ROI dargestellt. Das Fahrzeug 1 wird so nahe an die erste Trajektorie T1 herangeführt, bis Bildmerkmale Mi wenigstens eines interessierenden Bereichs ROI Korrespondenzen K1 bis K4 mit Vergleichsmerkmalen Vi aufweisen. Im dargestellten Beispiel für die als Parktrajektorie ausgebildete erste Trajektorie T1 erfolgt dies durch Abstellen des Fahrzeugs 1 im Bereich der Ein-/Ausstiegsstelle EA. Dadurch befindet sich das Fahrzeug 1 so nahe an der ersten Trajektorie T1, dass, hier nicht dargestellt, wenigstens Bildmerkmale Mi einer der interessierenden Bereiche ROI, hier nicht dargestellte Korrespondenzen mit Vergleichsmerkmalen Vi ergeben, so dass eine Selbstlokalisation und eine Ausrichtung des Fahrzeugs 1 erfolgt, wie bereits zu den 12, 13 und 14 beschrieben. Durch die Pfeile ist auch hier vereinfachend eine Übermittlung der Bildmerkmale Mi an die Datenbank 4 sowie Anweisungen für die auszuführenden Steuerbewegungen des Fahrzeugs 1 zum Erreichen der ersten Trajektorie T1 gezeigt.
Nach dem Aufgleisen auf die erste Trajektorie T1 wird das Fahrzeug 1 dann automatisch entlang der ersten Trajektorie T1 geführt, wie beispielsweise in 29 gezeigt.
In den 27 bis 29 ist die Durchführung eines automatischen Parkmanövers in Form eines automatischen Einparkvorgangs entlang der ersten Trajektorie T1 dargestellt. Dabei wird das Fahrzeug 1 auf der Ein-/Ausstiegsstelle EA abgestellt, wie in 27 gezeigt, und dann entlang der in 28 dargestellten ersten Trajektorie T1 zur Parkposition PP geführt. Das automatische Parkmanöver wird dabei beispielsweise mittels eines Eingabebefehls auf einem Smartphone oder einem anderen fahrzeugexternen Gerät gestartet oder am Fahrzeug 1 selbst. Die erste Trajektorie T1 umfasst dabei alle vorhandenen Parkpositionen PP. Während des automatischen Parkvorgangs wird das Fahrzeug 1 dann automatisch zur ersten freien Parkposition PP geführt. Hierzu fährt das Fahrzeug 1 entlang der ersten Trajektorie T1 und überprüft mittels der zumindest einen Bilderfassungseinheit 2.1 bis 2.4 und/oder mittels anderer Sensoren, beispielsweise Ultraschall, Radar, Lidar und/oder einer oder mehreren weiteren Bilderfassungseinheiten, welche zum Beispiel jeweils als Monokamera oder Stereokamera ausgebildet sind, ob die jeweils nächste entlang der ersten Trajektorie T1 erreichbare Parkposition PP besetzt oder frei ist. Stellt es dabei fest, dass die überprüfte Parkposition PP frei ist, so wird das Fahrzeug 1 entlang des Abzweigs der ersten Trajektorie T1 zu dieser freien Parkposition PP geführt. Die erste Trajektorie T1 umfasst somit Abzweige zu allen vorhandenen Parkpositionen PP, auch als optische Weichen bezeichnet.
Die erste Trajektorie T1 mit allen vorhandenen Parkpositionen PP wurde dabei vorher auf die oben beschriebene Weise durch deren Erstbefahrung während einer Lernfahrt ermittelt. Dies kann mittels des Fahrzeugs 1 selbst erfolgen, welches dann später das automatische Parkmanöver durchführen soll. Alternativ kann die erste Trajektorie T1 auch mit einem Fahrzeug 1 angelernt und dann an andere Fahrzeuge 1 übertragen werden. Hierzu werden die erste Trajektorie T1 und die entlang der ersten Trajektorie T1 von dem überfahrenen Boden 8 aufgenommenen und optional mittels der Bodenprojektion entzerrten und positionsbezogen gespeicherten Bilder Bn an zumindest ein anderes Fahrzeug 1 übertragen, beispielsweise mittels einer mobilen Speichereinheit und/oder über zumindest eine drahtlose und/oder drahtgebundene Kommunikationsverbindung von dem Fahrzeug 1 an das andere Fahrzeug 1 und/oder von dem Fahrzeug 1 über zumindest einen fahrzeugexternen Datenbankserver an das andere Fahrzeug 1.
Diese Übertragung an das jeweilige Fahrzeug 1, welches das Parkmanöver durchführen soll, ist besonders vorteilhaft beispielsweise bei gewerblich betriebenen Parkeinrichtungen, beispielsweise bei Parkplätzen, Parkhäusern oder Parkgaragen. Die erste Trajektorie T1 und die positionsbezogen gespeicherten Bilder Bn sind dabei Infrastrukturwissen des Betreibers der jeweiligen Parkgarage, beispielsweise gespeichert auf mobilen Speichereinheiten oder zumindest einem fahrzeugexternen Datenbankserver, welches dieser den zu parkenden Fahrzeugen 1 zur Verfügung stellt. Hierfür ist dann lediglich eine einmalige Lernfahrt erforderlich, um die erste Trajektorie T1 und die zugehörigen Bilder Bn zu ermitteln, welche dann von allen zu parkenden Fahrzeugen 1 genutzt werden kann. Das Anlernen jedes einzelnen Fahrzeugs 1 in einer eigenen Lernfahrt ist auf diese Weise nicht nötig.
Zur Durchführung des automatischen Parkmanövers wird das Fahrzeug 1 dann entlang der ersten Trajektorie T1 zur ersten erreichbaren freien Parkposition PP geführt, wie in 29 gezeigt, und dort eingeparkt. In 30 ist als automatisches Parkmanöver das Ausparken des Fahrzeugs 1 aus der Parkposition PP dargestellt. Dies erfolgt auf analoge Weise zum Einparken. Das Fahrzeug 1 wird hierbei entlang der vorher durch das Fahrzeug 1 selbst angelernten oder durch ein anderes Fahrzeug 1 angelernten und an das auszuparkende Fahrzeug 1 auf die oben beschriebene Weise übermittelten ersten Trajektorie T1 aus der Parkposition PP ausgeparkt und automatisch entlang der ersten Trajektorie T1 zur Ein-/Ausstiegsstelle EA geführt, an welcher dann ein jeweiliger Fahrzeugführer das Fahrzeug 1 wieder übernehmen kann.
In den 31 bis 33 ist eine ähnliche Vorgehensweise dargestellt. Das Anlernen und/oder das Einspeisen der ersten Trajektorie T1 und der zugehörigen gespeicherten vorangegangenen Bilder Bn – 1 und das Starten des automatischen Parkmanöver mittels eines Eingabebefehls auf einem Smartphone oder einem anderen fahrzeugexternen Gerät oder am Fahrzeug 1 selbst kann dabei ebenfalls auf die oben beschriebene Weise erfolgen. Der Unterschied zum oben beschriebenen Beispiel ist lediglich, dass in diesem Beispiel nicht das Einparken eines Fahrzeugs 1 auf einer Parkposition PP in einer Parkgarage und das Ausparken dieses Fahrzeugs 1 dargestellt ist, sondern das Einparken auf einer anderen Zielposition ZP und das Ausparken des Fahrzeugs 1, ausgehend von dieser Zielposition ZP. Das Fahrzeug 1 ist im dargestellten Beispiel als ein Nutzfahrzeug ausgebildet. Die Zielposition ZP ist beispielsweise ein Belade- und/oder Entladeplatz zum Be- und/oder Entladen des Nutzfahrzeugs. Alternativ kann eine derartige Zielposition ZP beispielsweise als Tankstation oder Waschstation für ein Fahrzeug 1 ausgebildet sein.
In 31 ist die erste Trajektorie T1 dargestellt, entlang welcher das Fahrzeug 1, nachdem es auf der Ein-/Ausstiegsstelle EA abgestellt wurde, mittels des Verfahrens automatisch zur Zielposition ZP bewegt wird. Wie gezeigt, beinhaltet diese erste Trajektorie T1 dabei auch ein Wenden des Fahrzeugs 1 und das Einparken rückwärts auf der Zielposition ZP. Das Verfahren ermöglicht somit beispielsweise auch das exakte Positionieren des Fahrzeugs 1 rückwärts an einer Laderampe, um es Beladen und Entladen zu können. In 32 ist das Fahrzeug 1 auf der Zielposition ZP dargestellt, nachdem es mittels des Verfahrens entlang der als Einparktrajektorie ausgebildeten ersten Trajektorie T1 automatisch zur Zielposition ZP geführt wurde. In 33 ist das Ausparken dargestellt, wobei das Fahrzeug 1 entlang der als Ausparktrajektorie ausgebildeten ersten Trajektorie T1 automatisch von der Zielposition ZP zur Ein-/Ausstiegsstelle EA geführt wird, an welcher es der Fahrzeugführer wieder übernehmen kann.
Wie insbesondere anhand der 28 und 30 sowie 31 und 33 verdeutlicht, können dabei die jeweilige als Einparktrajektorie ausgebildete erste Trajektorie T1 zum Erreichen der Parkposition PP bzw. der Zielposition ZP und die jeweilige als Ausparktrajektorie ausgebildete erste Trajektorie T1 zum Verlassen der Parkposition PP bzw. der Zielposition ZP einen unterschiedlichen Verlauf aufweisen. In diesem Fall ist sowohl eine Lernfahrt zum Anlernen der jeweiligen Einparktrajektorie als auch zum Anlernen der jeweiligen Ausparktrajektorie erforderlich. In anderen Beispielen können die Einparktrajektorie und die Ausparktrajektorie auch identisch sein, so dass das Fahrzeug 1 entlang derselben ersten Trajektorie T1 zur Parkposition PP oder Zielposition ZP geführt und zurück zur Ein-/Ausstiegsstelle EA geführt wird. Es wird dann beispielsweise in Vorwärtsfahrt entlang der ersten Trajektorie T1 zur Parkposition PP oder Zielposition ZP geführt und in Rückwärtsfahrt entlang der gleichen ersten Trajektorie T1 zur Ein-/Ausstiegsstelle EA geführt oder umgekehrt.
Mittels der oben angegebenen Sensoren zur Ermittlung der freien Parkposition PP und/oder mittels weiterer Sensoren können des Weiteren beispielsweise auch Hindernisse oder Personen im Bereich der ersten Trajektorie T1 vom Fahrzeug 1 erfasst werden, so dass eine Kollisionsgefahr des automatisch bewegten Fahrzeugs 1 insbesondere mit bei der Lernfahrt nicht vorhandenen Hindernissen vermieden oder zumindest erheblich reduziert ist.
Zur Durchführung des Verfahrens, insbesondere zur Erfassung der Bilder Bn – 1, Bn, Bn + 1, ist eine ausreichende Beleuchtung insbesondere des Bodens 8 erforderlich. Diese Beleuchtung kann beispielsweise durch zumindest eine Beleuchtungseinrichtung des Fahrzeugs 1 erfolgen, welche vorteilhafterweise insbesondere seitliche Umgebungsbereiche des Fahrzeugs 1 beleuchtet, und/oder durch eine Beleuchtungseinrichtung der jeweiligen Umgebung der Zielposition ZP oder der Parkeinrichtung, beispielsweise der Parkgarage, des Parkplatzes oder der Tiefgarage. Diese Beleuchtungseinrichtung der Umgebung der Zielposition ZP oder der Parkeinrichtung kann Leuchtmittel und/oder einen selbstleuchtenden Boden 8 umfassen, beispielsweise einen lumineszierenden Boden 8.
Die Gegenstände der beschriebenen Ausführungsbeispiele sind im Rahmen fachmännischer Erwägungen frei miteinander kombinierbar.
Bezugszeichenliste

1: Fahrzeug
2.1: erste Bilderfassungseinheit
2.2: zweite Bilderfassungseinheit
2.3: dritte Bilderfassungseinheit
2.4: vierte Bilderfassungseinheit
3.1: erster Erfassungsbereich
3.2: zweiter Erfassungsbereich
3.3: dritter Erfassungsbereich
3.4: vierter Erfassungsbereich
4: Datenbank
5: Seitenspiegel
6: Vorderachse
7: Hinterachse
8: Boden
Bn – 1: vorangegangenes Bild
Bn: Bild
Bn + 1: aktuelles Bild
EA: Ein-/Ausstiegsstelle
Mi: Bildmerkmal
M1: erstes Bildmerkmal
M2: zweites Bildmerkmal
M3: drittes Bildmerkmal
M4: viertes Bildmerkmal
Vi: Vergleichsmerkmal
V1: erstes Vergleichsmerkmal
V2: zweites Vergleichsmerkmal
V3: drittes Vergleichsmerkmal
V4: viertes Vergleichsmerkmal
Pn: Position
Pn + 1: aktuelle Position
OA1: erste optische Achse
OA2: zweite optische Achse
OA3: dritte optische Achse
OA4: vierte optische Achse
K1: erste Korrespondenz
K2: zweite Korrespondenz
K3: dritte Korrespondenz
K4: vierte Korrespondenz
α: Erfassungswinkel
T1: erste Trajektorie
T2: zweite Trajektorie
F: Fläche
SB: Sichtbereich
WF: Wasserflecken
L: Speichereinheit (für Daten aus interessierenden Bereich ROI links)
R: Speichereinheit (für Daten aus interessierenden Bereich ROI rechts)
ROI: interessierender Bereich
Pz: Zylinderprojektionsfläche
Pb: Bodenprojektionsfläche
PP: Parkposition
ZP: Zielposition

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102013003117 A1 [0002, 0077, 0078]

Claims

Verfahren zur Selbstlokalisation eines Fahrzeugs (1), – wobei zeitlich aufeinanderfolgend Bilder (Bn) erfasst, verarbeitet und gespeichert werden und – eine aktuelle Position (Pn + 1) des Fahrzeugs (1) anhand von hinterlegten und den Bildern (Bn) zugeordneten Positionen (Pn) ermittelt wird, dadurch gekennzeichnet, dass – auf und/oder in eine Bodenoberfläche eines Bodens (8) entlang einer ersten Trajektorie (T1) ein zumindest in einem vorgegebenen Zeitraum zumindest im Wesentlichen beständiges und mittels zumindest einer Bilderfassungseinheit (2.1 bis 2.4) des Fahrzeugs (1) eindeutig identifizierbares und sich entlang der ersten Trajektorie (T1) veränderndes Muster aufgebracht bzw. eingebracht wird und – mittels der zumindest einen Bilderfassungseinheit (2.1 bis 2.4), deren optische Achse (OA1 bis OA4) auf den Boden (8) in der Umgebung des Fahrzeugs (1) gerichtet ist, entlang der ersten Trajektorie (T1) Bilder (Bn) von dem überfahrenen Boden (8) aufgenommen und optional mittels einer Bodenprojektion entzerrt und positionsbezogen gespeichert werden, – wobei bei einer Wiederbefahrung der ersten Trajektorie (T1) momentan aufgenommene Bilder (Bn + 1) mit den gespeicherten Bildern (Bn) verglichen und anhand des Vergleichs die aktuelle Position (Pn + 1) und/oder eine aktuelle Ausrichtung des Fahrzeugs (1) ermittelt werden bzw. wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Aufbringung und/oder Einbringung des Musters die Bodenoberfläche bemalt, lackiert und/oder beschichtet wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Muster als ein zufälliges Punktmuster ausgebildet wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Muster als kontrastreiches Muster ausgebildet wird, insbesondere als ein kontrastreiches zufälliges Punktmuster.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste Trajektorie (T1) eine Parktrajektorie für einen automatischen Einpark- und/oder Ausparkvorgang eines automatischen Parkmanövers des Fahrzeugs (1) ist, wobei die Wiederbefahrung der ersten Trajektorie (T1) während des automatischen Parkmanövers des Fahrzeugs (1) durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste Trajektorie (T1) und die entlang der ersten Trajektorie (T1) von dem überfahrenen Boden (8) aufgenommenen und optional mittels der Bodenprojektion entzerrten und positionsbezogen gespeicherten Bilder (Bn) an zumindest ein anderes Fahrzeug (1) übertragen werden.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die erste Trajektorie (T1) und die entlang der ersten Trajektorie (T1) von dem überfahrenen Boden (8) aufgenommenen und optional mittels der Bodenprojektion entzerrten und positionsbezogen gespeicherten Bilder (Bn) mittels einer mobilen Speichereinheit und/oder über zumindest eine drahtlose und/oder drahtgebundene Kommunikationsverbindung von dem Fahrzeug (1) an das andere Fahrzeug (1) und/oder von dem Fahrzeug (1) über zumindest einen fahrzeugexternen Datenbankserver an das andere Fahrzeug (1) übertragen werden.
Verfahren nach Anspruch einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus einem aufgenommenen Bild (Bn – 1, Bn, Bn + 1) ein interessierender Bereich (ROI) ausgewählt wird, wenigstens von diesem interessierenden Bereich (ROI) mittels Bodenprojektion eine virtuelle Bodenprojektionsfläche (Pb) des Bildes (Bn – 1, Bn, Bn + 1) auf den Boden (8) erzeugt wird und aus der virtuellen Bodenprojektionsfläche (Pb) des interessierenden Bereichs (ROI) Bildmerkmale (Mi) ermittelt werden.
Verfahren nach Anspruch einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass – bei einer Erstbefahrung einer Fahrbahn mit dem Fahrzeug (1) entlang der ersten Trajektorie (T1) Bilder (Bn) aufgenommen werden, – die Bildmerkmale (Mi) zusammen mit einer jeweiligen Ausrichtung des Fahrzeugs (1) zur ersten Trajektorie (T1) und mit zugeordneten Positionsdaten (Pn – 1) als Vergleichsmerkmale (Vi) in der Datenbank (4) hinterlegt werden, – bei einer Wiederbefahrung der Fahrbahn entlang der ersten Trajektorie (T1) aktuelle Bilder (Bn + 1) aufgenommen und deren Bildmerkmale (Mi) mit den in der Datenbank (4) hinterlegten Vergleichsmerkmalen (Vi) verglichen werden, – Korrespondenzen (K1 bis K4) zwischen den Bildmerkmalen (Mi) und den Vergleichsmerkmalen (Vi) ermittelt werden, und – anhand der Korrespondenzen (K1 bis K4) eine aktuelle Ausrichtung des Fahrzeugs (1) zur ersten Trajektorie (T1) ermittelt wird.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass das Fahrzeug (1) entlang der ersten Trajektorie (T1) geführt wird, indem die ermittelte aktuelle Ausrichtung des Fahrzeugs (1) zur ersten Trajektorie (T1) durch Steuerbewegungen des Fahrzeugs (1) an eine jeweilige hinterlegte und durch die Positionen (Pn) der Vergleichsmerkmale (Vi) bestimmte erwartete Ausrichtung des Fahrzeugs (1) zur ersten Trajektorie (T1) angeglichen wird.