DE102021004528A1

DE102021004528A1 - Verfahren zur Bestimmung einer Position eines Fahrzeugs

Info

Publication number: DE102021004528A1
Application number: DE102021004528.9A
Authority: DE
Inventors: Christian Schneider
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2021-09-07
Filing date: 2021-09-07
Publication date: 2021-10-28

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung einer Position (EP') eines Fahrzeugs, wobei:- eine absolute Ego-Position (EP) des Fahrzeugs satelliten-gestützte bestimmt wird,- die absolute Ego-Position (EP) in definierte Kartenlayer (KL) einer Karte projiziert werden,- Schlüsselkategorien auf dem Kartenlayer (KL) berechnet und Bezugskoordinaten der Schlüsselkategorien zur absoluten Ego-Position (EP) bestimmt werden,- eine Sensorkalibrierung mindestens eines Sensors (S) eines Fahrerassistenzsystems berücksichtigt wird,- absolute Attribute aus der Karte in ein jeweils definiertesSensorkoordinatensystem (SKS) des Sensors (S) projiziert werden,- die Attribute auf Sensorebene aus Sensordaten durch bereits existierende Algorithmik oder durch mindestens einen Panoptischen Segmentierungsalgorithmus bestimmt werden,- eine Fehlerfunktion aus einer orthogonalen Distanz (d) von Silhouette (SK, SSE) eines aus der Karte projizierten und eines auf der Sensorebene bestimmten Attributs definiert wird,- ein globales Minimum durch Änderung der absoluten Ego-Position (EP) bezogen auf eine räumliche Position in einer x-Richtung und einer y-Richtung berechnet, die Fehlerfunktion ausgewertet und bis zum Erreichen des globalen Minimums mit der Projektion absoluter Attribute fortgesetzt wird,- eine Korrektur der absoluten Ego-Position (EP) und eine zyklische Wiederholung in Abhängigkeit von einer definierten Zykluszeit erfolgt, wobei eine korrigierte Ego-Position (EP') erhalten wird.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung einer Position eines Fahrzeugs.
In modernen Fahrzeugen finden Fahrerassistenzsysteme Anwendung, die teilweise teilautomatisierte Funktionen erlauben, beispielsweise aktive Park-Assistenten.
In zukünftigen Systemauslegungen kann neben assistierenden Funktionen auch ein Pilot implementiert werden, der es unter anderem erlauben soll, das Fahrzeug selbständig zu Parkplätzen sowie zurück zum Kunden manövrieren zu lassen. Dies ist auch als sogenannter Smart-Summon-Ansatz bekannt. Ein wesentlicher Bestandteil hierfür ist die Kenntnis über Parkplätze in urbanen Regionen. Solch eine Datenbasis kann durch weitere Fahrzeuge akkumuliert oder aber durch Dienstleister befüllt werden. In beiden Fällen ist die Notierung der Parkplatzposition in einer absoluten Referenz erwünscht (beispielsweise GPS - Bezugssystem WGS84). Ebenso sollte das Fahrzeug über eine möglichst genaue satelliten-gestützte Lokalisierung verfügen, um jene absolute Position anzusteuern. Alternativ kann die Parkplatzposition auch durch eigene Sensorik des Fahrzeugs vermessen werden (beispielsweise in der Nähe des finalen Parkplatzes), bedarf jedoch dann einer vollständige Vorbeifahrt. Ist die Position hochgenau bekannt, so kann bereits bei der Anfahrt direkt in die Parklücke eingeparkt werden. Bekannte GPS-Lokalisierung degradieren jedoch signifikant in urbanen Geländen (sogenannte Urban Canyons), was mitunter zu mehreren Metern Offset führt. Mit solchen Fehlerbildern ist keine akkurate Umsetzung der zuvor genannten Funktionalitäten möglich. Es bedarf daher eines Zusammenspiels mit der Bordsensorik, was jedoch wie oben erwähnt den Funktionskomfort aufgrund der notwendigen Vorbeifahrt zur Vermessung degradiert.
Zur absoluten Lokalisierung eines Ego-Fahrzeugs zu einer Bezugsreferenz wird über IMU (Inertial Measurement Units) zumeist GPS (Global Positioning System) genutzt. GPS funktioniert im Wesentlichen nach dem Laufzeitprinzip. Elektromagnetische Wellen werden von einem Bezugssatelliten emittiert und über ein Atom-TimeStamp die Laufzeit der reflektierte Welle gemessen und entsprechend ein Range abgeleitet. Zur exakten räumlichen Bestimmung des Ego-Fahrzeugs wird hierbei das Konzept der Trilateration verwendet, bei welcher über mehrere Satelliten und anhand jeweiliger berechneter Distanzen die räumlichen Position geschätzt werden kann. Neben dem beschriebenen Global Position System stellt das Differential GPS eine Weiterentwicklung des GPS dar, bei dem neben den Satelliten auch die Position einer Referenzstation berücksichtigt wird. Die Position dieser Referenz ist im Bezugssystem hochgenau bestimmt, hierdurch können bei der Messung die auftretenden Abweichungen real gemessen und die berechnete Lokalisierung zum Ego-Fahrzeug entsprechend bestimmt werden. Die zuvor beschriebene Beeinträchtigung vor allem im urbanen Gelände wirkt sich jedoch auch hier aus.
Aus der EP 3 819 663 A1 ist ein Verfahren zum Bestimmen einer Position eines Fahrzeugs bekannt, wobei das Fahrzeug einen Sensor zum Erfassen einer Fahrzeugumgebung umfasst. In dem Verfahren erfolgt ein Erfassen eines Scans der Fahrzeugumgebung mittels des Sensors mit einer Vielzahl von Sensordatenproben, welche in einer Sensordatendarstellung angegeben sind. Weiterhin wird aus einer Datenbank eine vordefinierte Karte mit mindestens einem Element in einer Kartendatendarstellung bestimmt. Weiterhin wird eine transformierte Karte durch Transformieren des mindestens einen Elements der vordefinierten Karte aus der Kartendatendarstellung in die Sensordatendarstellung bestimmt. Ferner erfolgen ein Abgleich einer Teilmenge der Sensordatenproben und des mindestens einen Elements der transformierten Karte und ein Bestimmen der Position des Fahrzeugs basierend auf dem Abgleich.
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Bestimmung einer Position eines Fahrzeugs anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Bei einem erfindungsgemäßen Verfahren zur Bestimmung einer Position eines Fahrzeugs weist das Fahrzeug mindestens einen Sensor zum Erfassen einer Fahrzeugumgebung und eine Karte auf, wobei ein Abgleich von vom mindestens einen Sensor erfassten Sensordaten und der Karte und ein Bestimmen einer korrigierten Position des Fahrzeugs basierend auf dem Abgleich erfolgt. Erfindungsgemäß ist vorgesehen, dass:

- in einem ersten Verfahrensschritt eine satelliten-gestützte Positionsbestimmung einer absoluten Ego-Position des Fahrzeugs durchgeführt wird,
- in einem zweiten Verfahrensschritt eine Projektion der absoluten Ego-Position in definierte Kartenlayer einer Karte erfolgt,
- in einem dritten Verfahrensschritt eine Berechnung von Schlüsselkategorien auf dem Kartenlayer und eine Bestimmung von Bezugskoordinaten der Schlüsselkategorien zur absoluten Ego-Position erfolgt,
- in einem vierten Verfahrensschritt eine Sensorkalibrierung mindestens eines Sensors eines Fahrerassistenzsystems berücksichtigt wird,
- in einem fünften Verfahrensschritt eine Projektion absoluter Attribute aus der Karte in ein jeweils definiertes Sensorkoordinatensystem des Sensors erfolgt,
- in einem sechsten Verfahrensschritt eine Bestimmung der Attribute auf Sensorebene aus Sensordaten durch bereits existierende Algorithmik oder durch mindestens einen Panoptischen Segmentierungsalgorithmus erfolgt,
- in einem siebten Verfahrensschritt eine Fehlerfunktion aus einer orthogonalen Distanz einer Silhouette aus einem aus der Karte projizierten Attribut und einer Silhouette eines auf der Sensorebene bestimmten Attributs definiert wird,
- in einem achten Verfahrensschritt eine Optimierung erfolgt, indem ein globales Minimum durch Änderung der absoluten Ego-Position bezogen auf eine räumliche Position in einer x-Richtung und einer y-Richtung berechnet, die Fehlerfunktion ausgewertet und bis zum Erreichen des globalen Minimums beim fünften Verfahrensschritt fortgesetzt wird,
- in einem neunten Verfahrensschritt eine Korrektur der absoluten Ego-Position auf Basis des achten Verfahrenschrittes und eine zyklische Wiederholung in Abhängigkeit von einer definierten Zykluszeit erfolgt, wobei eine korrigierte Ego-Position erhalten wird.

Die vorliegende Erfindung stellt einen Ansatz dar, welcher es ermöglicht, absolute Lokalisierungsinformation, welche beispielsweise durch GPS ermittelt werden, durch Kopplung mit einem Sensorsystem eines Fahrerassistenzsystems weiter zu präzisieren. Dieser Ansatz soll hierbei beispielsweise Smart-Summon-Ansätze unterstützen, bei welchen hochgenau Parkplatz- und Egoinformationen notwendig sind, um eine präzise und komfortable Trajektorie zu berechnen. Die vorliegende Erfindung sieht hierzu zunächst die Bestimmung einer Fahrzeugposition in einem übergeordneten Bezugs/Referenzsystem dar (beispielsweise WGS 84). Im weiteren Schritt werden nun die Ego-Position des Fahrzeugs in eine Karte übertragen und Schlüssel-Kategorien bestimmt, beispielsweise umfassend Straßen, Verkehrsschilder oder Gebäudezüge. Sind diese Kategorien in der Karte nicht bekannt, so können diese mit aus der Bildverarbeitung bekannten Algorithmen herausgelöst werden, beispielsweise durch Anwendung von Region Growing oder Wasserscheidentransformation etc. Durch diese Berücksichtigung sind Attribute der Welt (beispielsweise Straßenzüge) im Verhältnis zur Ego-Position, die mit fehlerbehaftetem GPS gemessen sein kann, bekannt. In einem weiteren Schritt werden die Anbaupositionen der Sensoren des Fahrerassistenzsystems berücksichtigt, beispielsweise eine Kamera. Diese Positionen sind durch statische Produktionskalibrierung sowie durch Online-Kalibrieralgorithmen bekannt. Auf Basis dieser Information werden nun die Attribute aus der Karte (Schlüssel-Kategorien) in das jeweilige Sensorkoordinatensystem (bekannt aus den Kalibrierdaten) projiziert. Demgemäß sind beispielsweise die Straßenzüge in einem Kamerabild des Fahrerassistenzsystems sichtbar. In einem weiteren Schritt werden nun aus dem realen Kamerabild jene Attribute extrahiert, die zuvor aus den Karten (Schlüssel-Kategorien) bestimmt wurden (beispielsweise Straßenzüge etc.). In heutigen Fahrerassistenzsystemen wird eine derartige Klassifikation/Segmentierung bereits in einem Sensorkopf gerechnet - alternative könnten die Information mit bekannten Algorithmen herausgelöst werden (beispielsweise durch Panoptische Segmentierung Panoptic FCN etc.). Durch dieses Vorgehen besteht nun ein Komplement eines Attributs aus der Karte, welche ins Kamerabild projiziert wurde, und eines Attributs, welches aus dem Kamerabild segmentiert wurde. Wäre die GPS Lokalisierung nicht fehlerbehaftet, so würde die Projektion auf der 2D-Bildebene übereinstimmen. Durch die zuvor beschriebenen Lokalisierungsfehler ist jedoch von einem räumlichen Offset auszugehen, der sich auf der 2D-Bildebene darstellt. Um dieses Offset zu minimieren, wird ein Optimierungsproblem definiert, bei welchem auf einer Fehlerfunktion die räumlichen Positionen x, y (und wahlweise z) derart optimiert werden, dass die Fehlerfunktion gegen ein globales Minimum konvergiert. Als Fehlerfunktion könnte beispielweise die orthogonale Distanz der Silhouetten des Komplements definiert werden. Ist das globale Minimum erreicht, stellen die optimierten x, y-Positionen den Fehler dar, um welche die Ego-Position korrigiert wird. Dieser Ansatz kann wahlweise für sämtliche GPS-Fixes (ImageFrame oder zyklisch für n=30 Frames etc.) durchgeführt werden. Durch diesen Ansatz ergeben sich vor allem unter dem Hintergrund eines Smart-Summon-Assists-Ansatzes folgende Vorteile:

Es wird eine hochgenaue Ego-Positionsbestimmung ermöglicht, die unabhängig von einem eingesetzten Sensorsystem und dessen Position (auf Basis der Kalibrierinformation), unabhängig von einer definierten Parkplatzart, -form und Orientierung, unabhängig von vorherrschenden Licht- und Wetterverhältnissen in der Umgebung, unabhängig von Wetter- und Lichtverhältnissen und unabhängig vom jeweiligen Bezugssystem (WGS84, EPSG3857 etc.) funktioniert und auf Basis existenter Sensorsysteme und Algorithmen umgesetzt werden kann. Ferner wird so eine Vielzahl von Schlüssel-Kategorien (soweit die Position exakt umrissen werden kann) ermöglicht.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:

1 schematisch einen Ablauf eines Verfahrens zur Bestimmung einer Position eines Fahrzeugs,
2 schematisch eine Visualisierung eines ersten Verfahrensschritts des Verfahrens gemäß 1,
3 schematisch eine Visualisierung eines zweiten Verfahrensschritts des Verfahrens gemäß 1,
4 schematisch eine Visualisierung eines dritten Verfahrensschritts des Verfahrens gemäß 1,
5 schematisch eine Visualisierung eines vierten Verfahrensschritts des Verfahrens gemäß 1,
6 schematisch eine Visualisierung eines fünften Verfahrensschritts des Verfahrens gemäß 1,
7 schematisch eine Visualisierung eines sechsten Verfahrensschritts des Verfahrens gemäß 1,
8 schematisch eine Visualisierung eines siebten Verfahrensschritts des Verfahrens gemäß 1,
9 schematisch eine Visualisierung eines achten Verfahrensschritts des Verfahrens gemäß 1 und
10 schematisch eine Visualisierung eines neunten Verfahrensschritts des Verfahrens gemäß 1.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In 1 ist ein Ablauf eines möglichen Ausführungsbeispiels eines Verfahrens zur Bestimmung einer Position eines Fahrzeugs dargestellt. Die 2 bis 10 zeigen Visualisierungen eines zweiten bis neunten Verfahrensschritts VS 1 bis VS 9.
In einem ersten Verfahrensschritt VS 1 erfolgt eine satelliten-gestützte Positionsbestimmung einer absoluten Ego-Position EP des Fahrzeugs.
In einem zweiten Verfahrensschritt VS 2 erfolgt eine Projektion der absoluten Ego-Position EP in definierte Kartenlayer KL einer Karte (beispielsweise OSM: OpenStreetMap).
In einem dritten Verfahrensschritt VS 3 erfolgt eine Berechnung von Schlüsselkategorien, beispielsweise Straßenzüge SZ, Verkehrsschilder, Häuserreihen etc., auf dem Kartenlayer KL und eine Bestimmung von Bezugskoordinaten der Schlüsselkategorien zur absoluten Ego-Position EP.
In einem vierten Verfahrensschritt VS 4 erfolgt eine Berücksichtigung einer Sensorkalibrierung mindestens eines Sensors S, beispielsweise einer Kamera, eines Fahrerassistenzsystems aus einer Offline- Kalibrierroutine und/oder einer Online-Kalibrierroutine, beispielsweise unter Berücksichtigung intrinsischer und extrinsischer Parameter.
In einem fünften Verfahrensschritt VS 5 erfolgt eine Projektion absoluter Attribute aus der Karte (siehe Verfahrensschritt VS 3) in ein jeweils definiertes Sensorkoordinatensystem SKS.
In einem sechsten Verfahrensschritt VS 6 erfolgt eine Bestimmung, insbesondere Berechnung, der Attribute auf Sensorebene, beispielsweise einer Kamerabildebene, entweder durch bereits existierende Algorithmik oder durch Panoptische Segmentierungsalgorithmen etc.
In einem siebten Verfahrensschritt VS 7 wird eine Fehlerfunktion definiert, beispielsweise eine orthogonale Distanz d einer Silhouette SK aus einem projizierten Attribut (aus der Karte) und einer Silhouette SSE eines auf der Sensorebene bestimmten Attributs.
In einem achten Verfahrensschritt VS 8 erfolgt eine Optimierung, indem ein globales Minimum durch Änderung der absoluten Ego-Position EP bezogen auf eine räumliche Position in einer x-Richtung, einer y-Richtung (und wahlweise einer z-Richtung) berechnet und die Fehlerfunktion ausgewertet wird. Dies kann mit einem iterativen Rücksprung zum fünften Verfahrensschritt VS 5 verbunden sein.
In einem neunten Verfahrensschritt VS 9 erfolgt eine Korrektur der absoluten Ego-Position EP auf Basis des Verfahrensschrittes VS 8 und eine zyklische Wiederholung in Abhängigkeit von einer definierten Zykluszeit. Dabei wird eine korrigierte Ego-Position EP' erhalten. Auf diese Weise kann beispielsweise eine Trajektorie zu einem Zielparkplatz bestimmt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 3819663 A1 [0005]

Claims

Verfahren zur Bestimmung einer Position (EP') eines Fahrzeugs, wobei das Fahrzeug mindestens einen Sensor (S) zum Erfassen einer Fahrzeugumgebung und eine Karte umfasst, wobei ein Abgleich von vom mindestens einen Sensor (S) erfassten Sensordaten und der Karte und ein Bestimmen einer korrigierten Position (EP') des Fahrzeugs basierend auf dem Abgleich erfolgt, dadurch gekennzeichnet, dass: - in einem ersten Verfahrensschritt (VS 1) eine satelliten-gestützte Positionsbestimmung einer absoluten Ego-Position (EP) des Fahrzeugs durchgeführt wird, - in einem zweiten Verfahrensschritt (VS 2) eine Projektion der absoluten Ego-Position (EP) in definierte Kartenlayer (KL) einer Karte erfolgt, - in einem dritten Verfahrensschritt (VS 3) eine Berechnung von Schlüsselkategorien auf dem Kartenlayer (KL) und eine Bestimmung von Bezugskoordinaten der Schlüsselkategorien zur absoluten Ego-Position (EP) erfolgt, - in einem vierten Verfahrensschritt (VS 4) eine Sensorkalibrierung mindestens eines Sensors (S) eines Fahrerassistenzsystems berücksichtigt wird, - in einem fünften Verfahrensschritt (VS 5) eine Projektion absoluter Attribute aus der Karte in ein jeweils definiertes Sensorkoordinatensystem (SKS) des Sensors (S) erfolgt, - in einem sechsten Verfahrensschritt (VS 6) eine Bestimmung der Attribute auf Sensorebene aus Sensordaten durch bereits existierende Algorithmik oder durch mindestens einen Panoptischen Segmentierungsalgorithmus erfolgt, - in einem siebten Verfahrensschritt (VS 7) eine Fehlerfunktion aus einer orthogonalen Distanz (d) einer Silhouette (SK) aus einem aus der Karte projizierten Attribut und einer Silhouette (SSE) eines auf der Sensorebene bestimmten Attributs definiert wird, - in einem achten Verfahrensschritt (VS 8) eine Optimierung erfolgt, indem ein globales Minimum durch Änderung der absoluten Ego-Position (EP) bezogen auf eine räumliche Position in einer x-Richtung und einer y-Richtung berechnet, die Fehlerfunktion ausgewertet und bis zum Erreichen des globalen Minimums beim fünften Verfahrensschritt (VS 5) fortgesetzt wird, - in einem neunten Verfahrensschritt (VS 9) eine Korrektur der absoluten Ego-Position (EP) auf Basis des achten Verfahrensschrittes (VS 8) und eine zyklische Wiederholung in Abhängigkeit von einer definierten Zykluszeit erfolgt, wobei eine korrigierte Ego-Position (EP') erhalten wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Schlüsselkategorien Straßenzüge (SZ), Verkehrsschilder und/oder Häuserreihen verwendet werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als Sensor (S) eine Kamera verwendet wird, wobei die Sensordaten Kameradaten sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensorkalibrierung aus einer Offline-Kalibrierroutine und/oder einer Online-Kalibrierroutine resultiert.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das globale Minimum durch Änderung der absoluten Ego-Position (EP) zusätzlich bezogen auf die räumliche Position in einer z-Richtung bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren zur Bestimmung einer Trajektorie zu einem Zielparkplatz verwendet wird.