-
Die Erfindung bezieht sich auf ein Verfahren zu Lokalisierung eines Kraftfahrzeuges, insbesondere zur Bestimmung einer Pose eines Kraftfahrzeuges. Ferner betrifft die Erfindung ein System zur Lokalisierung eines Kraftfahrzeuges, insbesondere zur Bestimmung einer Pose eines Kraftfahrzeuges.
-
In steigendem Maße erfordern moderne Fahrerassistenzsysteme (Advanced Driver Assistance Systems (ADAS)) und insbesondere hochautomatisierte Kraftfahrzeugsysteme für das sogenannte Urban Automated Driving (UAD) eine hinreichend genaue und zuverlässige Lokalisierung des Kraftfahrzeuges. Häufig kommen dabei Lokalisierungssysteme zum Einsatz, welche eine globale Lokalisierungskarte und eine, insbesondere aus einem Umfeldmodell des Kraftfahrzeugsystems gewonnene, lokale Lokalisierungskarte verwenden. Die globale Lokalisierungskarte kann zum Beispiel von einer externen Quelle wie einem Backend-Server abrufbar sein.
-
Stand der Technik
-
Aus Heigele et al., „Accurate and fast localization in unstructured environments based on shape context keypoints“ in „2014 17th International Conference on Information Fusion (FUSION)“ ist ein Lokalisierungsansatz für ein Lokalisierungsverfahren bekannt, nach welchem zur Bestimmung einer kartenrelativen Kraftfahrzeugpose aus der globalen Lokalisierungskarte und der lokalen Lokalisierungskarte Kartenabgleichs-Algorithmen, auch Map-Matching-Algorithmen genannt, verwendet werden, welche auf den konkreten Anwendungszweck hin optimiert sind. Dazu werden sogenannte dichte Belegungskarten für die Umfeldrepräsentation verwendet.
-
Aus Rohde et al. „Model-based Derivation of Perception Accuracy Requirements for Vehicle Localization in Urban Environments“, in „2015 IEEE 18th International Conference on Intelligent Transportation Systems (ITSC)“ ist bekannt, bei einer landmarkenbasierten Lokalisierung mit einem Kartenabgleich zwischen einer lokalen Lokalisierungskarte und einer globalen landmarkenbasierten Lokalisierungskarte die geschlossene Lösung des „Prokrustes-Problems“ zu verwenden, um die Transformation beziehungsweise den Abgleich zwischen der lokalen und der globalen Lokalisierungskarte zu berechnen.
-
Landmarken sind statische Objekte, welche wiederholt von einer kraftfahrzeugseitigen Sensorik detektiert werden können, zum Beispiel Straßenlaternen. Gegenüber Belegungskarten zeichnet sich diese Art der Umfeldrepräsentation durch einen geringen Speicherbedarf aus. Landmarken können über eine drahtlose Kommunikationsschnittstelle von einer externen Quelle, beispielsweise von einem Backend-Server, an ein Fahrzeugsystem übertragen werden. Aufgrund des geringeren Speicherbedarfes ist aus Gründen der Datenübertragungsrate oft eine landmarkenbasierte Lokalisierung einer belegungskartenbasierten Lokalisierung vorzuziehen.
-
Offenbarung der Erfindung
-
Der Erfindung liegt die Aufgabe zugrunde, eine hinreichend genaue und zuverlässige Fahrzeuglokalisierung zu ermöglichen unter gleichzeitiger vorteilhafter Beeinflussung der Menge an, insbesondere von einer externen Quelle an ein Fahrzeugsystem, zu übertragenden Kartendaten.
-
Die Aufgabe wird mit einem Verfahren zur Lokalisierung eines Kraftfahrzeuges, insbesondere zur Bestimmung einer Pose eines Kraftfahrzeuges, gelöst, wobei ein bedingungsabhängiger Wechsel eines Lokalisierungsmodus erfolgt, wobei zwischen einem belegungskartenbasierten Lokalisierungsmodus und einem landmarkenbasierten Lokalisierungsmodus unter Berücksichtigung einer Robustheit der Lokalisierung und/oder einer Bandbreitenanforderung und/oder einer Datenübertragungsrate und/oder einer Landmarken-Detektionsrate gewechselt wird.
-
Eine Pose eines Kraftfahrzeuges umfasst neben der räumlichen Position in zwei oder drei Dimensionen auch die Ausrichtung des Kraftfahrzeugs in zwei oder drei Dimensionen, wobei beispielsweise ein Gierwinkel, ein Nickwinkel und ein Rollwinkel zur Beschreibung der Ausrichtung verwendet werden können.
-
Eine Belegungskarte bzw. eine dichte Belegungskarte ist eine Repräsentation der Umwelt, welche eine hohe Genauigkeit beziehungsweise eine hohe Auflösung, insbesondere im Zentimeterbereich, aufweist. Eine Belegungskarte kann beispielsweise eine hochgenaue Straßenkarte sein, ähnlich einer bekannten Straßenkarte, jedoch mit deutlich höherer Auflösung. Ferner kann eine solche Belegungskarte weitere hochgenaue Informationen betreffend den Verlauf von Hauswänden, Bordsteinen, Bäumen etc. umfassen. In diesem Fall können die Informationen als Linien und Kanten bzw. Vektoren abgespeichert sein. Zudem kann eine Belegungskarte auch als eine dreidimensionale Punktwolke ausgebildet sein, welche beispielsweise aus den mit einem Laserscanner, einem Radarscanner, oder mit einer Kamera bzw. Stereokamera gewonnenen Daten eines Umfeldscans erstellt wird.
-
Landmarken können in Landmarkenkarten hinterlegt werden. Eine Landmarkenkarte umfasst im Wesentlichen die Ortskoordinaten von repräsentativen Landmarken, wie beispielsweise Straßenlaternen, Straßenschildern, Hausecken oder ähnliches. Zusätzlich können auch noch weitere charakteristische Informationen zu den Landmarken wie beispielsweise eine Höhe oder eine Formgebung hinterlegt sein. Der wesentliche Unterschied zu einer Belegungskarte besteht in der Beschränkung auf Informationen zu einer Anzahl von Landmarken, ohne dass ein vollständiges zwei- oder dreidimensionales Abbild der Umgebung verwendet wird.
-
Das vorgeschlagene System bietet den Vorteil der Kombination eines belegungskartenbasierten Lokalisierungsmodus mit einem landmarkenbasierten Lokalisierungsmodus, wodurch eine hinreichend genaue und zuverlässige Fahrzeuglokalisierung ermöglicht wird, unter gleichzeitiger vorteilhafter Beeinflussung der Menge an zu übertragenden Kartendaten.
-
Unter dem Begriff „Karte“ wie in Belegungskarte, Landmarkenkarte oder Lokalisierungskarte kann im Folgenden stets eine vollständige Karte oder auch nur ein Kartenausschnitt verstanden werden.
-
Bevorzugt ist vorgesehen, dass kraftfahrzeugseitig ein Umfeldmodell, insbesondere eine lokale Belegungskarte, aus Sensordaten erstellt wird, wobei bevorzugt auf Basis des Umfeldmodells, insbesondere kraftfahrzeugseitig, Landmarkenhypothesen erstellt werden, wobei die Landmarkenhypothesen ganz besonders bevorzugt in Form von zusammenhängenden Bereichen, insbesondere in Form von Blobs, im Umfeldmodell repräsentiert werden.
-
Das kraftfahrzeugseitig erstellte Umfeldmodell kann dabei auf Sensordaten wie Radardaten, Laserdaten, Kameradaten, insbesondere Daten einer Stereokamera, beruhen. Darüber hinaus kann das Umfeldmodell auch alternativ oder zusätzlich unter Verwendung zusätzlicher nicht von einem Sensor bereitgestellten Daten, welche beispielsweise von einer externen Quelle wie einem Backend-Server übertragen werden oder welche auf einem Speichermedium dem Fahrzeugsystem zugänglich hinterlegt sind, erstellt werden. Das Umfeldmodell kann eine lokale Belegungskarte darstellen, welche beispielsweise als zwei- oder dreidimensionale Punktwolke oder als Gitterrepräsentation oder ähnliches ausgebildet ist.
-
Unter Verwendung des Umfeldmodells, insbesondere unter Verwendung der lokalen Belegungskarte, kann ein Kartenabgleich entweder im belegungskartenbasierten Lokalisierungsmodus oder im landmarkenbasierten Lokalisierungsmodus stattfinden. Im belegungskartenbasierten Lokalisierungsmodus kann ein Kartenabgleich zwischen dem Umfeldmodell, insbesondere der lokalen Belegungskarte, und einer globalen Belegungskarte stattfinden, wobei die globale Belegungskarte beispielsweise von einer externen Quelle wie einem Backend-Server oder von einem, einem zur Durchführung des Verfahrens ausgebildetem System zugänglichen Datenspeicher geladen oder übertragen wird. Insbesondere ist die lokale Belegungskarte eine relativ zum Kraftfahrzeug erstellte Karte, wohingegen die globale Belegungskarte auf ein ortsfestes Koordinatensystem bezogen ist.
-
Wenn kraftfahrzeugseitig Landmarkenhypothesen erstellt werden, kann ein landmarkenbasierter Lokalisierungsmodus durchgeführt werden. Die Landmarkenhypothesen werden besonders bevorzugt in Form von zusammenhängenden Bereichen, insbesondere zwei- oder dreidimensionalen Gebieten, weiter insbesondere als zwei- oder dreidimensionale Kugeln, innerhalb des Umfeldmodells repräsentiert. Derartige zwei- oder dreidimensionale zusammenhängende Gebiete oder Bereiche werden auch als Blobs bezeichnet.
-
Bevorzugt ist vorgesehen, dass im belegungskartenbasierten Lokalisierungsmodus, insbesondere in einem Initialisierungsmodus und/oder in einem Fehlerbeseitigungsmodus, eine globale Belegungskarte, bevorzugt von einer entfernten Quelle, insbesondere von einem Backend-Server, übertragen wird, wobei die globale Belegungskarte bevorzugt Markierungen, insbesondere Label, umfasst, welche Bereiche mit mindestens einer Landmarke in der globalen Belegungskarte kennzeichnen.
-
Im belegungskartenbasierten Lokalisierungsmodus, insbesondere in einem Initialisierungsmodus und/oder in einem Fehlerbeseitigungsmodus, wird somit eine globale Belegungskarte, bzw. ein globaler Belegungskartenausschnitt an ein zur Durchführung des Verfahrens ausgebildetes System übertragen. Beispielsweise kann eine globale Belegungskarte von einem Kartendienst bereitgestellt werden und bei Bedarf an das System zur Lokalisierung des Kraftfahrzeuges übertragen werden. Durch die zentrale Verwaltung der globalen Belegungskarte kann diese immer aktualisiert werden.
-
Durch die bevorzugt vorgesehenen Bereiche mit Landmarken kennzeichnenden Markierungen liegt gewissermaßen eine Mischung einer Belegungskarte mit den einer Landmarkenkarte vor. Es können daher die Vorteile sowohl des belegungskartenbasierten Lokalisierungsmodus als auch des landmarkenbasierten Lokalisierungsmodus genutzt werden. Der belegungskartenbasierte Lokalisierungsmodus wird insbesondere in einem Initialisierungsmodus und/oder in einem Fehlerbeseitigungsmodus verwendet.
-
Dadurch kann von dem hohen Informationsgehalt in einer Belegungskarte profitiert werden. Dies ist insbesondere zu Beginn einer Fahrt und zur Rückgewinnung einer Posenschätzung im Falle eines Lokalisierungsfehlers von großer Bedeutung.
-
Bevorzugt kann vorgesehen sein, dass in einem Initialisierungsmodus und/oder in einem Fehlerbeseitigungsmodus ein Kartenabgleich zwischen dem Umfeldmodell, insbesondere der lokalen Belegungskarte, und der globalen Belegungskarte durchgeführt wird, wobei der Kartenabgleich durch Abgleich der Sensordaten mit der globalen Belegungskarte und/oder durch Abgleich von kraftfahrzeugseitigen Landmarkenhypothesen und Markierungen, insbesondere Labeln, der globalen Belegungskarte durchgeführt wird, wobei besonders bevorzugt die Landmarkenhypothesen auf Basis der Sensordaten und/oder auf Basis einer Schätzung einer Kraftfahrzeugposition, insbesondere einer Pose eines Kraftfahrzeuges, in der globalen Belegungskarte erstellt werden.
-
Wird der Kartenabgleich durch Abgleich der Sensordaten, also insbesondere durch Abgleich des Umfeldmodells beziehungsweise der lokalen Belegungskarte, mit der globalen Belegungskarte durchgeführt, so bedeutet dies beispielsweise, dass fahrzeugseitig erkannte Kanten und Ecken oder Hauswände oder Bordsteine etc. mit den in der globalen Belegungskarte repräsentierten Strukturen abgeglichen werden. Alternativ oder zusätzlich kann ein Kartenabgleich durch Abgleich von kraftfahrzeugseitigen Landmarkenhypothesen und Markierungen der globalen Belegungskarte durchgeführt werden. Dies bedeutet, dass kraftfahrzeugseitig aus dem Umfeldmodell Landmarkenhypothesen erzeugt werden. Beispielsweise ist es möglich, dass, bevorzugt auf Basis von Daten einer Kamera, eines Laserscanners oder eines Radargeräts erstellte, insbesondere zwei- oder dreidimensionalen, Punktwolken ausgewertet werden und Strukturen gesucht werden. Für bestimmte Strukturen wird dann eine Landmarkenhypothese erstellt. In der globalen Belegungskarte sind die Landmarkenpositionen mit Markierungen, sogenannten Labeln, versehen. Hierdurch kann ein Abgleich zwischen den Landmarkenhypothesen aus dem Umfeldmodell sowie den Markierungen in der globalen Belegungskarte durchgeführt werden.
-
Die Landmarkenhypothesen können auch zusätzlich unter Verwendung einer Schätzung einer Kraftfahrzeugposition erstellt werden. Ist beispielsweise eine herkömmliche GPS-Lokalisierung (Global Positioning System) dem Verfahren zugänglich, so kann mittels der relativ groben GPS-Lokalisierung eine ungefähre Lokalisierung und Ausrichtung, das heißt, eine ungefähre Pose, des Kraftfahrzeuges, in der globalen Belegungskarte bestimmt werden. Aus dieser ungefähren Pose in der globalen Belegungskarte kann die ungefähre Position von Landmarken in der lokalen Belegungskarte unter Verwendung der Markierungen in der globalen Belegungskarte abgeschätzt werden. Durch Verwendung dieser Abschätzung und/oder durch Kombination dieser Abschätzung mit einem bereits vorliegenden Umfeldmodell können Landmarkenhypothesen gebildet werden, welche dann mit den Markierungen in der globalen Belegungskarte in einem Kartenabgleichsverfahren beziehungsweise in einem Map Matching Verfahren hochgenau abgeglichen werden.
-
Ein Initialisierungsmodus kann bevorzugt wie folgt ablaufen.
-
In einem ersten Schritt wird ein bekanntes, „consumer-grade“ GPS-System verwendet, um einen entsprechenden Ausschnitt einer globalen Belegungskarte, insbesondere ein Belegungsgitterausschnitt, von einer externen Quelle, beispielsweise von einem Backend-Server, angefordert. Dieser globale Belegungskartenausschnitt ist gelabelt, das heißt, Bereiche in der globalen Belegungskarte, welche zu einer Landmarke gehören, sind gekennzeichnet. Mit Hilfe eines Map Matching- oder Kartenabgleichsalgorithmus wird lokal auf Kraftfahrzeugseite eine Schätzung der globalen Fahrzeugpose durchgeführt. Das heißt, dass insbesondere ein Kartenabgleich der fahrzeugseitig erzeugten lokalen Belegungskarte mit der globalen Belegungskarte durchgeführt wird. Aus dem Matching zwischen der lokalen und der gelabelten globalen Belegungskarte wird eine Schätzung der Landmarkenpositionen im Sensordetektionsbereich durchgeführt. Im hier dargestellten Fall wird somit nach dem belegungskartenbasierten Kartenabgleich ein erster Schritt für einen Übergang zu einem landmarkenbasierten Lokalisierungsmodus durchgeführt. Wurde eine Schätzung der Fahrzeugposition beziehungsweise der Fahrzeugpose durch Vergleich der lokalen Belegungskarte mit der globalen Belegungskarte beziehungsweise dem globalen Belegungskartenausschnitt durchgeführt, so kann dann durch Übertragung der Markierungen aus der globalen Belegungskarte eine Abschätzung für die Landmarken oder zu erwartenden Landmarkenpositionen in der lokalen, kraftfahrzeugseitig erstellten, Belegungskarte erfolgen, das heißt, dass Landmarkenhypothesen erstellt werden können. Sollten sich keine Landmarken im Detektionsbereich des Sensorsystems des Kraftfahrzeuges befinden, ist so lange auf Basis der Belegungskarten zu lokalisieren, bis Landmarken im Detektionsbereich liegen. Diese Phase sollte jedoch möglichst kurz gehalten werden, um die Datenrate von der externen Quelle, beispielsweise von dem Backend-Server an das Fahrzeugsystem möglichst gering zu halten.
-
Besonders bevorzugt ist vorgesehen, dass im landmarkenbasierten Lokalisierungsmodus, insbesondere in einem regulären Modus, eine globale Landmarkenkarte und/oder globale Landmarkeninformationen, bevorzugt von einer entfernten Quelle, insbesondere bevorzugt von einem Backend-Server, geladen wird, wobei auf Basis des Umfeldmodells und/oder der globalen Landmarkenkarte und/oder der globalen Landmarkeninformationen, insbesondere kraftfahrzeugseitig, Landmarkenhypothesen erstellt werden, und wobei eine Lokalisation durch Kartenabgleich zwischen den Landmarkenhypothesen und der globalen Landmarkenkarte und/oder den globalen Landmarkeninformationen erfolgt.
-
Somit kann während des regulären Betriebs von der geringen benötigten Datenrate durch Verwendung von Landmarkenkarten profitiert werden.
-
im landmarkenbasierten Lokalisierungsmodus, insbesondere im regulären Betrieb, werden somit laufend Landmarkeninformationen und/oder eine globale Landmarkenkarte und/oder Ausschnitte einer globalen Landmarkenkarte von einer externen Quelle übertragen. Während der Lokalisierung wird ständig ein Umfeldmodell, insbesondere kraftfahrzeugseitig, erstellt. Aus den Daten des Umfeldmodells, beispielsweise aus den Kameradaten oder Sensordaten eines Lasersensors oder eines Radarsensors, können Landmarkenhypothesen erstellt werden, wobei durch Vergleich der Landmarkenhypothesen mit den globalen Landmarkeninformationen eine Lokalisierung des Kraftfahrzeuges beziehungsweise eine Pose des Kraftfahrzeuges bestimmt werden kann. Die Landmarkenhypothesen können jedoch auch zusätzlich oder alternativ unter Verwendung der globalen Landmarkenkarte und/oder der globalen Landmarkeninformationen erstellt werden. Sind bereits eine bestimmte Anzahl, beispielsweise zwei, drei oder mehr Landmarken kraftfahrzeugseitig erkannt bzw. plausibilisiert worden und sind diese in einem Kartenabgleich mit der globalen Landmarkenkarte abgeglichen worden, so können die Informationen der globalen Landmarkenkarte verwendet werden, um abzuschätzen, wo im Umfeldmodell beziehungsweise insbesondere in der lokalen Belegungskarte weitere Landmarken zu erwarten sind. Diese aus den Landmarkenkarteninformationen abgeleitete Abschätzung fließt somit in die Landmarkenhypothese ein, sodass eine präzisere Landmarkenhypothese erfolgen kann.
-
Die Landmarkenhypothesen werden dabei in Form von zusammenhängenden Bereichen, insbesondere in Form von Blobs, im Umfeldmodell repräsentiert. Diese zusammenhängenden Bereiche, insbesondere die Blobs des Umfeldmodells, stellen Regionen und Bereiche dar, in denen mit größerer Wahrscheinlichkeit als in anderen Bereichen eine Landmarke zu detektieren ist.
-
Werden neben der reinen daten- oder sensordatenbasierten Landmarkenhypothesenerstellung auch Informationen aus der globalen Landmarkenkarte verwendet, können die zusammenhängenden Bereiche, insbesondere die Blobs, räumlich begrenzter gefasst werden, was eine präzisere und schnellere Detektion der Landmarken beziehungsweise einen schnelleren und zuverlässigeren Abgleich der Landmarkenhypothesen mit den Landmarken aus der globalen Landmarkenkarte ermöglicht.
-
Bevorzugt ist vorgesehen, dass eine Datenübertragungsrate für die globale Landmarkenkarte und/oder für die globalen Landmarkeninformationen an eine, insbesondere kraftfahrzeugseitige, Landmarken-Detektionsrate angepasst wird, wobei bevorzugt eine Datenübertragungsrate, insbesondere eine Anzahl der übertragenen Landmarken, eingestellt wird, welche bei einer Landmarken-Detektionsrate von 100 % zu einer vorbestimmten hinreichenden Lokalisierungsgenauigkeit führt.
-
Sollten kraftfahrzeugseitig sämtliche Landmarken detektiert werden, braucht nur eine Anzahl von Landmarken bzw. deren Koordinaten an das Fahrzeugsystem gesendet zu werden, welche bei einer kraftfahrzeugseitigen Landmarken-Detektionsrate von 100 % zu einer hinreichenden vorbestimmten Lokalisierungsgenauigkeit führt. Entsprechend bedeutet dies eine Anpassung der Datenübertragungskarte für die globale Landmarkenkarte und/oder für die globalen Landmarkeninformationen.
-
Bevorzugt kann vorgesehen sein, dass die Datenübertragungsrate für die globale Landmarkenkarte und/oder für die globalen Landmarkeninformationen, insbesondere die Anzahl der übertragenen Landmarken, erhöht wird, wenn die Landmarken-Detektionsrate unter einen vorbestimmten Wert fällt, und/oder dass ein Wechsel in einen Fehlerbeseitigungsmodus stattfindet, wenn die Datenübertragungsrate der für die globale Landmarkenkarte und/oder für die globalen Landmarkeninformationen und/oder die Anzahl der übertragenen und/oder der, insbesondere in einem Sensorbereich, vorhandenen Landmarken, nicht ausreicht, um eine vorbestimmte hinreichende Lokalisierungsgenauigkeit zu ermöglichen, wobei der Fehlerbeseitigungsmodus bevorzugt ein belegungskartenbasierter Lokalisierungsmodus ist.
-
Sollte es aufgrund widriger Umfeldbedingungen, zum Beispiel aufgrund schlechter Lichtverhältnisse oder einer hohen Verdeckungsrate durch andere Verkehrsteilnehmer, zu einer geringen Landmarken-Detektionsrate kraftfahrzeugseitig kommen, muss dies Anzahl der übertragenen Landmarken entsprechend erhöht werden. Dies kann in Folge einer Anfrage des Fahrzeugsystems bei dem Backend-Server oder der externen Quelle erfolgen. Die benötigte Anzahl oder Dichte der Landmarken kann auf Basis eines statistischen Modells ermittelt werden.
-
Werden nicht genügend Landmarken detektiert, bzw. befinden sich nicht genügend Landmarken im Sensorbereich des Kraftfahrzeugs, um eine vorbestimmte hinreichende Lokalisierungsgenauigkeit zu ermöglichen, wird in einen bevorzugt belegungskartenbasierten Lokalisierungsmodus, insbesondere in einen Fehlerbeseitigungsmodus, gewechselt. Da dies zu einem erhöhten Datenaufkommen zwischen dem Backend-Server und dem Fahrzeugsystem sorgt, ist möglichst schnell wieder in den regulären Betrieb überzugehen.
-
Mit besonderem Vorteil kann vorgesehen sein, dass für eine Landmarke, insbesondere für eine Landmarke aus einer globalen Landmarkenkarte, mindestens eine, bevorzugte mehrere, insbesondere kraftfahrzeugseitige, Landmarkenhypothesen, verfolgt, insbesondere getrackt und/oder plausibilisiert und/oder deplausibilisiert werden.
-
Plausibilisierte Landmarken werden bevorzugt in der kraftfahrzeugseitigen lokalen Belegungskarte verfolgt, insbesondere getrackt. Dies ist insbesondere dann von Vorteil, wenn für die Erstellung neuer Landmarkenhypothesen die globale Landmarkenkarte hinzugezogen wird. Es werden dann neue Landmarkenhypothesen erstellt, zum Beispiel mittels einer Multi-Bernoulli-Filterung.
-
Es kann dabei vorkommen, dass für eine Landmarkenposition aus der Landmarkenkarte mehrere Landmarkenhypothesen erstellt werden, sodass für diese eine Landmarke aus der globalen Lokalisierungskarte mehrere Blobs der lokalen Belegungskarte getrackt und plausibilisiert beziehungsweise deplausibilisiert werden. Umgekehrt ist es auch möglich, dass für eine Landmarkenhypothese mehrere Landmarken der globalen Landmarkenkarte in Frage kommen, welche dann plausibilisiert beziehungsweise deplausibilisiert werden.
-
Mit besonderem Vorteil kann vorgesehen sein, dass bevorzugt in einem robusten Modus, zur Erhöhung der Robustheit der Lokalisierung, Landmarkenhypothesen kraftfahrzeugseitig überprüft werden, wobei bevorzugt Landmarken dreidimensional detektiert werden, wobei die Überprüfung besonders bevorzugt in zusammenhängenden Bereichen, insbesondere in Blobs im Umfeldmodell durchgeführt wird.
-
Ein bevorzugter robuster Modus sieht dabei so aus, dass zur Erhöhung der Robustheit des Lokalisierungsalgorithmus Landmarkenhypothesen fahrzeuglokal überprüft werden können. Dazu wird kraftfahrzeugseitig versucht, im Bereich der zusammenhängenden Bereiche in dem Belegungskartengitter eine dreidimensionale Landmarke mit gegebenen Eigenschaften zu detektieren. Dafür wird nicht die zweidimensionale Projektion der Sensormessung verwendet, sondern die 3D-Sensordaten. Auf diese Weise können, zu Lasten der Recheneffizienz, Landmarkenhypothesen effektiv plausibilisiert beziehungsweise deplausibilisiert werden.
-
Dies kann bedeuten, dass mögliche Landmarken direkt aus den 3D-Informationen der Sensordaten rekonstruiert werden. Hierdurch kann beispielsweise sichergestellt oder überprüft werden, dass eine aus den globalen Landmarkenkartendaten zu erwartende Landmarke nicht fehlerhaft erkannt wurde. Ist beispielsweise nach den globalen Landmarkenkartendaten mit einem rechteckig ausgeformten Verkehrsschild zu rechnen, so besteht grundsätzlich die Möglichkeit, dass ein an dem entsprechenden Ort falsch erkannte rechteckige Struktur als jenes Straßenschild erkannt wird. Hier kann eine falsche Detektion vermieden werden, wenn aus den 3D-Daten beispielsweise noch die vertikale Höhe der rechteckigen Struktur ermittelt wird, was einen genauere Plausibilisierung der Hypothese eines Straßenschildes ermöglicht.
-
Mit besonderem Vorteil können die Resultate aus dem robusten Modus an die externe Quelle, beispielsweise an den Backend-Server, übermittelt werden. Dies ermöglicht die Verifizierung von Markierungen in der globalen Belegungskarte beziehungsweise von Landmarken in der globalen Landmarkenkarte.
-
Ferner kann bevorzugt ein Wechsel von dem landmarkenbasierten Lokalisierungsmodus zu dem belegungskartenbasierten Lokalisierungsmodus oder umgekehrt aufgrund einer Sensorperformance durchgeführt werden.
-
Eine weitere Lösung der der Erfindung zugrundeliegenden Aufgabe besteht in einem System zur Lokalisierung eines Kraftfahrzeuges, insbesondere zur Bestimmung einer Pose eines Kraftfahrzeuges, wobei das System zur Durchführung eines vorbeschriebenen Verfahrens ausgebildet ist.
-
Bevorzugt umfasst das System ein Navigationssystem und/oder eine Recheneinheit und/oder eine Datenübertragungsvorrichtung und/oder einen Sensor.
-
Der Sensor kann insbesondere ein GPS-Sensor, ein Lasersensor, ein Radarsensor, eine Kamera, sowie jeder weitere geeignete Sensor sein. Die Recheneinheit ist bevorzugt ausgebildet, eine kraftfahrzeugseitige Landmarkenhypothese zu erstellen und/oder einen Kartenabgleich zwischen einer lokalen und einer globalen Lokalisierungskarte durchzuführen, wobei die Lokalisierungskarten sowohl Belegungskarten als auch Landmarkenkarten sein können. Die Datenübertragungsvorrichtung ist dazu ausgebildet, globale Lokalisierungskarten von einer externen Quelle, insbesondere von einem Backend-Server, an das System zu übertagen.
-
Figurenliste
-
Ein Ausführungsbeispiel der Erfindung wird nachstehend anhand der Zeichnungen näher erläutert. Es zeigen:
- 1 ein System zur Lokalisierung eines Kraftfahrzeuges,
- 2 ein Flussdiagramm eines Verfahrens zur Lokalisierung eines Kraftfahrzeuges,
- 3 eine erste graphische Darstellung eines regulären Modus sowie eines Fehlerbeseitigungsmodus, und
- 4 eine zweite graphische Darstellung eines regulären Betriebs sowie eines Fehlerbeseitigungsmodus.
-
Ausführliche Beschreibung der Zeichnungen
-
1 zeigt ein System 100 zur Durchführung eines Verfahrens zur Lokalisierung eines Kraftfahrzeuges, insbesondere zur Bestimmung einer Kraftfahrzeugpose.
-
Das System 100 umfasst eine Recheneinheit 10, welche Daten von einem GPS-System 11, einem weiteren Sensor 12, beispielsweise einem Lasersensor 13 erhält. Ferner weist das System 100 eine Datenübertragungsvorrichtung 14 auf. Mittels der Datenübertragungsvorrichtung 14 können globale Belegungskarten und Landmarkenkarten von einem Backend-Server 15 an das System 100 übertragen werden. Sämtliche Daten können über Datenleitungen 24 oder über eine Drahtlosverbindung 25 übertragen werden. Das System 100 ist ausgebildet, sowohl einen belegungskartenbasierten Lokalisierungsmodus als auch einen landmarkenbasierten Lokalisierungsmodus durchzuführen und zur Optimierung der Robustheit der Lokalisierung und/oder der Datenübertragungsrate und/oder der Bandbreitenanforderungen zwischen dem belegungskartenbasierten Lokalisierungsmodus und dem landmarkenbasierten Lokalisierungsmodus zu wechseln.
-
Ferner führt die Recheneinheit 10 des Systems 100 eine Erstellung von Landmarkenhypothesen sowie einen Kartenabgleich zwischen einer lokalen Belegungskarte und einer globalen Belegungskarte beziehungsweise zwischen lokalen Landmarkenhypothesen und einer globalen Landmarkenkarte durch.
-
2 zeigt einen Ablauf eines Verfahrens zur Lokalisierung eines Kraftfahrzeuges.
-
In einem ersten Schritt 16 wird das System 100 initialisiert, das heißt, dass das Verfahren in einem Initialisierungsmodus beginnt. Hierfür wird auf Basis eines Signals eines GPS-Systems 11 ein entsprechender, gelabelter globaler Belegungsgitterausschnitt von einem Backend-Server 15 angefordert. Mit Hilfe eines Map-Matching-Algorithmus zwischen einem Umfeldmodell und der globalen Belegungskarte wird eine Schätzung der globalen Fahrzeugpose durchgeführt. Aus dem Abgleich zwischen der lokalen und der gelabelten globalen Belegungskarte wird eine Schätzung der Landmarkenposition im Sensordetektionsbereich durchgeführt. Sollten sich keine Landmarken im Detektionsbereich befinden, ist solange auf Basis der Belegungskarten zu lokalisieren, bis Landmarken im Detektionsbereich liegen.
-
In einem zweiten Schritt 17 wird ein als landmarkenbasierter Lokalisierungsmodus ausgebildeter regulärer Modus durchgeführt. Von einem Backend-Server 15 werden die benötigten Landmarken an das System 100 gesendet. Dabei kann die Datenübertragungsrate an eine Landmarken-Detektionsrate DL der kraftfahrzeugseitigen Perzeption angepasst werden. Sollten kraftfahrzeugseitig sämtliche Landmarken detektiert werden, braucht nur eine Anzahl von Landmarken bzw. deren Koordinaten an das System gesendet zu werden, welche bei einer kraftfahrzeugseitigen Landmarken-Detektionsrate DL von 100 % zu einer hinreichenden vorbestimmten Lokalisierungsgenauigkeit führt. Sollte es aufgrund widriger Umfeldbedingungen, zum Beispiel aufgrund schlechter Lichtverhältnisse oder einer hohen Verdeckungsrate durch andere Verkehrsteilnehmer, zu einer geringen Landmarken-Detektionsrate DL kraftfahrzeugseitig kommen, muss dies Anzahl der übertragenen Landmarken entsprechend erhöht werden. Dies kann in Folge einer Anfrage des Systems bei dem Backend-Server 15 oder der externen Quelle erfolgen. Die benötigte Anzahl oder Dichte der Landmarken kann auf Basis eines statistischen Modells ermittelt werden.
-
Werden nicht genügend Landmarken detektiert, um eine vorbestimmte hinreichende Lokalisierungsgenauigkeit zu ermöglichen, wird in einem weiteren Schritt 18 in einen als belegungskartenbasierten Lokalisierungsmodus ausgebildeten Fehlerbeseitigungsmodus gewechselt. Da dies zu einem erhöhten Datenaufkommen zwischen dem Backend-Server 15 und dem System 100 führt, ist möglichst schnell wieder in den regulären Modus überzugehen.
-
Zur Erhöhung der Robustheit der Lokalisierung kann zwischenzeitig in einem weiteren Schritt 19 in einen robusten Modus gewechselt werden.
-
3 und 4 zeigen den Ablauf des regulären Modus, wobei es im Verlauf der Zeit t zu einer unzureichenden Lokalisation kommt, sodass in den Fehlerbeseitigungsmodus gewechselt wird. In den 3 und 4 ist auf der X-Achse die Zeit t abgetragen. Die Y-Achse der 3 zeigt die vom Kartenabgleichs-Algorithmus ermittelte Wahrscheinlichkeit einer fehlerhaften Lokalisierung PF. Auf der Y-Achse der 4 ist die Landmarken-Detektionsrate DL aufgetragen. Zunächst wird das Verfahren im landmarkenbasierten regulären Lokalisationsmodus durchgeführt. Zwar liegt die Landmarken-Detektionsrate DL für die ersten sechs Lokalisationsergebnisse 20 unterhalb 100%, jedoch liegt gleichzeitig die Wahrscheinlichkeit einer fehlerhaften Lokalisierung PF jeweils unter einer vorgegebenen Fehlergrenze GF. Die Fehlergrenze GF ist so gewählt, dass eine hinreichende Lokalisierungsgenauigkeit erzielt wird.
-
Beim siebten Lokalisierungsergebnis 21 wird eine Landmarken-Detektionsrate DL von 100% erzielt, die Wahrscheinlichkeit einer fehlerhaften Lokalisierung PF liegt zwar auf der Fehlergrenze GF, jedoch ist damit immer noch eine hinreichende Lokalisierungsgenauigkeit gegeben. Beim achten Lokalisierungsergebnis 22 ist ebenfalls die maximale Landmarken-Detektionsrate DL von 100% erreicht, jedoch liegt die Wahrscheinlichkeit einer fehlerhaften Lokalisierung PF über der Fehlergrenze GF. Eine hinreichende Lokalisierungsgenauigkeit ist nicht gegeben, so dass in einen belegungskartenbasierten Fehlerbeseitigungsmodus gewechselt wird. Da die nächsten folgenden Lokalisierungsergebnisse 23 wieder eine hinreichende Lokalisierungsgenauigkeit bieten, wird wieder in den regulären Modus gewechselt.
