-
Die Erfindung betrifft ein Verfahren zur sensorbasierten Lokalisation eines Egofahrzeuges. Ferner betrifft die Erfindung ein Egofahrzeug mit einem solchen Verfahren, ein Computerprogramm und ein Datenträgersignal.
-
Bei Fahrzeug-Navigationssystemen wird die Position des Fahrzeugs meist mit Unterstützung des Satellitenortungssystems GPS (Global Positioning System) gemessen. Die Richtigkeit der gemessenen und der tatsächlichen Position wird bei GPS mit 15 Metern angegeben. Aufgrund der ungenauen Natur der GPS-Koordinaten kann es jedoch schwierig sein, einen genauen Fahrzeugstandort in einer digitalen Karte auf einer mehrspurigen Straße mit hoher Verkehrsdichte zu bestimmen.
-
Für beispielsweise das Navigationsgerät muss nun die Position des Fahrzeugs in der digitalen Karte ermittelt werden, damit zum Beispiel eine sinnvolle Routenberechnung vom aktuellen Standort zum Fahrziel bestimmt werden kann. Ohne ein Abgleich der gemessenen Position mit den Karteninformationen könnte sich das Fahrzeug außerhalb der digitalisierten Straßen oder auf der falschen Straße in der Karte befinden. Ein solcher Abgleich wird jedoch durch eine hohe Verkehrsdichte erschwert.
-
Die
DE 10 2016 205 871 A1 offenbart in Verfahren zum Lokalisieren eines Fahrzeugs mit einem Lokalisierungsmodul zum Ausführen zumindest eines Lokalisierungsverfahrens zum Lokalisieren des Fahrzeugs. Hierbei wird zunächst ein Landmarkendichtewert, der eine Dichte von Landmarken im Bereich eines dem Fahrzeug zugeordneten Streckenabschnitts repräsentiert, eingelesen. In einem weiteren Schritt wird unter Verwendung des Landmarkendichtewerts ein erster Teil einer Rechenkapazität des Lokalisierungsmoduls zu einem ersten Lokalisierungsverfahren zugewiesen. Zusätzlich oder alternativ wird dabei ein zweiter Teil der Rechenkapazität zu einem von dem ersten Lokalisierungsverfahren abweichenden zweiten Lokalisierungsverfahren zugewiesen. Schließlich wird das erste Lokalisierungsverfahren unter Verwendung des ersten Teils bzw. das zweite Lokalisierungsverfahren unter Verwendung des zweiten Teils ausgeführt, um das Fahrzeug zu lokalisieren.
-
Der Erfindung liegt nunmehr die Aufgabe zugrunde, Mittel zur Lokalisation eines Egofahrzeugs bei sehr hohen Verkehrsaufkommen beispielsweise bei Stau / bei Rush Hour in einer verkehrsreichen Stadt, anzugeben.
-
Diese Aufgabe wird durch ein Verfahren zur sensorbasierten Lokalisation eines Objektes mit den Merkmalen des Anspruchs 1 sowie ein Egofahrzeug mit den Merkmalen des Anspruchs 13 gelöst. Ferner wird die Aufgabe durch ein Computerprogramm mit den Merkmalen des Anspruchs 14 und ein Datenträgersignal mit den Merkmalen des Anspruchs 15 gelöst.
-
In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die beliebig geeignet miteinander kombiniert werden können, um weitere Vorteile zu erzielen.
-
Die Aufgabe wird gelöst durch ein Verfahren zur sensorbasierten Lokalisation eines Egofahrzeuges mit den Schritten:
- - Generierung von aufeinanderfolgenden Frames von Umfeldsensordaten eines Umfelds des Egofahrzeugs durch ein Sensorsystem,
- - Extraktion von Merkmalen in zumindest einem Frame durch ein Merkmalsextraktionsverfahren,
- - Zusammenfassen der Merkmale zu einzelnen dynamischen Objekten von Interesse,
- - Klassifikation der einzelnen dynamischen Objekte von Interesse,
- - Bestimmung von kinematischen Daten der einzelnen dynamischen Objekte von Interesse aus den aufeinanderfolgenden Frames unter Berücksichtigung der Egodaten des Egofahrzeugs und zuordnen der kinematischen Daten zu den einzelnen dynamischen Objekten von Interesse,
- - Transformieren der erfassten Umfeldsensordaten der dynamischen Objekte von Interesse der einzelnen Frames unter Verwendung der kinematischen Daten in eine lokale Karte,
- - Clustern der transformierten Umfeldsensordaten der dynamischen Objekte von Interesse in der lokalen Karte zu Trajektorien und zuweisen der Trajektorien zu den einzelnen dynamischen Objekten von Interesse,
- - Bestimmen von statischen Umgebungsdaten von statischen Umgebungsobjekten aus zumindest einem der Frames und vervollständigen der lokalen Karte anhand der statischen Umgebungsdaten von statischen Umgebungsobjekten zu einer vervollständigten lokalen Umgebungskarte und zuweisen der einzelnen dynamischen Objekte von Interesse zu den statischen Umgebungsdaten von statischen Umgebungsobjekten,
- - Bereitstellen einer Referenzstraßenkarte und abbilden der vervollständigten lokalen Umgebungskarte auf die Referenzstraßenkarte.
-
Unter einem Frame sind zusammengefasste Umfeldsensordaten, welche zu einem bestimmten Zeitpunkt aufgenommen werden, zu verstehen.
-
Merkmale sind vor allem L-, oder I-förmige, Bounding boxen, Cluster mit Referenzpunkten, Sensordatensegmente. Die Merkmale welche zu extrahieren sind, können vorgegeben sein.
-
Das Klassifikationsverfahren wird genutzt, um die dynamischen Objekte in Klasse wie beispielsweise PKW, Fußgänger etc. einzuteilen als auch vorteilhafterweise die anhand der statischen Umgebungsdaten erfassten statistischen Objekte in Klasse wie beispielsweise Randsteine, Straßenschilder etc. einzuteilen.
-
Egodaten können vor allem die Bewegungsrichtung (Orientierung und Position) und/oder die Eigengeschwindigkeit des Egofahrzeugs sein. Mit Hilfe der Egodaten können die Umfeldsensordaten besser interpretiert werden, da die im Egofahrzeug verbauten Umfeldsensoren sich mit dem Fahrzeug bewegen, so dass sich ihre Lage und Position stets ändern. Für die zeitliche Korrelation der Umfeldsensordaten ist das Wissen über den vom Egofahrzeug zurückgelegten Weg sowie die Position vorteilhaft. Die Egodaten können auch durch eine Eigenbewegungsschätzung (Ego Motion Estimation), welche die Beschleunigungen und die Drehraten des Egofahrzeugs, beispielsweise mittels eines Trägheitsnavigationssystem schätzt, ermittelt werden.
-
Unter Clusterverfahren versteht man Verfahren zur Bestimmung von Ähnlichkeitsstrukturen in Datenbeständen. Die so gefundenen Gruppen von Daten werden als Cluster bezeichnet.
-
Eine lokale Karte kann beispielsweise durch das Egofahrzeug selbst erstellt werden. Vorzugsweise ist eine lokale Karte basierend auf den Trajektorien (zeitliche referenziertes Objekt mit allen seinen Eigenschaften wie dessen Position, Klasse, Geometrie). Darüber hinaus wird die statische Umgebung auch in einer lokalen Karte fusioniert. Dazu zählen die Straßenbegrenzungen durch eine Straßenmarkierung, den Randstein, Verkehrsschilder, etc..
-
Statische Umgebungsdaten sind bevorzugt als semantische Informationen oder geometrische Informationen ausgebildet, die die lokale Karte mit beispielsweise statischen Informationen, wie Fahrbahn (Anzahl, Lage, Breite), Bordstein, Fahrbahnberandung etc. zu einer Umgebungskarte vervollständigen.
-
Wird einer oder mehrere Sensoren, insbesondere ein Frontsensor von anderen Verkehrsteilnehmern blockiert, und können beispielsweise Fahrbahnen nicht erkannt werden, so ist es möglich die ermittelten Trajektorien der dynamischen Objekte von Interesse für eine genaue Lokalisation des Egofahrzeuges zu verwenden. Durch das erfindungsgemäße Verfahren können daher, wenn der oder die Sensoren von anderen Verkehrsteilnehmern blockiert werden und beispielsweise die Fahrbahnen/Stra-ßenbegrenzungen nicht erkannt werden können, die Trajektorien der dynamischen Objekte von Interesse für eine genaue Lokalisierung des Egofahrzeuges (in einer Referenzstraßenkarte) verwendet werden.
-
Somit kann anhand des erfindungsgemäßen Verfahrens eine Lokalisierung des Egofahrzeuges in einer gegebenen Referenzstraßenkarte erfolgen. Dabei kann die Lokalisation auf den Trajektorien der erkannten dynamischen Objekte von Interesse basieren. Die Lokalisierung auf der Grundlage von dynamisch verfolgten Objekten von Interesse ist notwendig, wenn das Sichtfeld der oder des Sensors, insbesondere das Frontsichtfeld von vielen Verkehrsteilnehmern in belebten Stadtgebieten oder Staus auf der Autobahn verdeckt wird.
-
Das Abbilden wird bevorzugt unter Verwendung von einem Map Matching-Algorithmus durchgeführt. Als Map Matching, auch Kartenabgleich, Karteneinpassung genannt, wird ein Verfahren bezeichnet, welches die durch eine Ortung gemessene Position eines Objektes mit den Ortsinformationen einer digitalen Karte abgleicht. Die Ausrichtung der vervollständigten lokalen Umgebungskarte mit der Referenzkarte kann auf einer Transformation unter Verwendung von Schlüsseldatenpunkten, also Features oder Objekten, die eindeutig zwischen zwei gegebenen Mengen abgeglichen werden können und zu einer Minimierung einer Fehlerfunktion für eine Assoziation der beiden gegebenen Mengen / Sets an Features / Objekten. Zusätzlich kann eine grobe Schätzung der Pose basierend auf GPS- Daten (Globales Positionsbestimmungssystem) oder einer verbesserten Bewegungseinschätzung des Egofahrzeuges als Startpunkt für das Optimierungsproblem verwendet werden. Das Matching kann mittels eines Optimierungsverfahren beispielsweise des Nearest-Neighbor-Algorithmus unter Verwendung einer Entfernungsfunktion wie dem quadratischen euklidischen Abstand erfolgen. Auch kann ein ICP (Iterative Closest Point)-Algorithmus oder ein anderes Optimierungsverfahren angewendet werden.
-
Vorzugsweise ist die Referenzstraßenkarte als eine HDMap (High Definition-Karte) ausgebildet. Dabei sind diese Karten hochpräzise und zeigen die Umgebung auf bis zu zehn bis 20 Zentimeter genau. HDMap können ebenfalls ein Abbild der Straßenoberfläche, die Anzahl der Fahrbahnen als auch deren Breite zeigen. Darüber hinaus können diese sowohl die Neigung und Krümmung der Fahrbahnen als auch Fahrbahnmarkierungen und statische Objekte am Straßenrand zeigen wie zum Beispiel Straßenschilder, Bäume, Randsteine, etc..
-
Bevorzugt umfasst die HDMap zumindest statische Infrastrukturdaten. Diese können beispielsweise ein Straßenmodell, Verkehrsschilder, Ampeln, Straßenmarkierungen, Spurmodell (linke, rechte Spur) als auch geometrische Informationen wie Straßenverläufe, Höhenprofil, Krümmung, Breite sowie Vorfahrtsregeln, Zebrastreifen, Geschwindigkeitsbegrenzungen und Bebauungen wie Ampeln, Verkehrsschilder, Tunnel, Häuser etc. umfassen.
-
Vorzugsweise ist die Referenzkarte als selbstlernende Straßenkarte ausgebildet. Eine solche aktualisiert sich kontinuierlich, wodurch das aktuelle Verkehrsgeschehen und/oder das Umfeld in Echtzeit abgebildet werden kann.
-
Vorzugsweise sind die statischen Umgebungsdaten von statischen Umgebungsobjekten als Fahrbahnen und/oder Fahrbahnberandung ausgebildet. Weiterhin vorzugsweise sind die statischen Umgebungsdaten von statischen Umgebungsobjekten als aktive Verkehrsanzeigedaten wie Ampelanlagen und/oder passive Verkehrsanzeigedaten wie Schilder ausgebildet. Weiterhin vorzugsweise sind die statischen Umgebungsdaten von statischen Umgebungsobjekten als Umgebungsmerkmale ausgebildet. Durch solche markanten Objekte/Punkte/Merkmale kann eine Transformation schneller bewerkstelligt werden.
-
In bevorzugter Ausgestaltung wird als Clusterverfahren ein dichtebasiertes Verfahren eingesetzt. Insbesondere vorteilhafterweise wird als Clusterverfahren der DBSCAN (Density-Based Spatial Clustering of Applications with Noise) eingesetzt. Der DBSCAN arbeitet dichtebasiert und ist in der Lage, mehrere Cluster zu erkennen. Ferner muss nicht im vornherein bekannt sein, wie viele Cluster existieren. Der Algorithmus kann auch beliebige Cluster beliebiger Form erkennen. Ein weiterer Vorteil bei Verwendung des DBSCAN liegt darin, dass der Algorithmus weitgehend deterministisch und reihenfolgeunabhängig arbeitet. Auch andere Algorithmen, welche auf dem DBSAN basieren können verwendet werden. Dies ist beispielsweise der HDBSCAN - Alogithmus (Hierarchical Density Based Clustering), welcher den Algorithmus erweitert, indem er in einen hierarchischen Clustering-Algorithmus konvertiert wird.
-
Vorzugsweise wird zu jedem dynamischen Objekt von Interesse ein Referenzpunkt bestimmt.
-
Zur Bestimmung von kinematischen Daten der einzelnen dynamischen Objekte von Interesse aus den aufeinanderfolgenden Frames ist die Bestimmung der Position, der Größe und der Orientierung des dynamischen Objektes von Interesse sinnvoll. Die Bestimmung der Position wird vorzugsweise durch einen geeigneten Referenzpunkt aus den einzelnen Entfernungsmessungen des Objektes berechnet. Dies ist speziell bei Objekten von Bedeutung, die ihre Orientierung zum Sensorsystem ändern.
-
Weiterhin vorzugsweise erfolgt die Bestimmung von kinematischen Daten der einzelnen dynamischen Objekte von Interesse aus den aufeinanderfolgenden Frames anhand des Referenzpunktes. Dadurch ist eine Verfahrensbeschleunigung möglich.
-
Ferner wird die Aufgabe gelöst durch ein Egofahrzeug, welches zum Durchführen des wie oben beschriebenen Verfahrens ausgelegt ist, umfassend zumindest eines Lidarsensors, eines Radarsensors und eines Bildsensors. Die Lidar-/ Radarsensoren erfassen die Umgebung immer mehrdimensional, d.h. es werden nicht nur Detektionen im 3D-Raum geliefert, sondern auch beim Radarsensor die RadarCrossSection (RCS), die Dopplergeschwindigkeit und weitere Signale (SNR, Leistung, etc.). Ein Lidarsensor liefert typischerweise noch eine Echo-Pulse-Weite und eine Intensität.
-
Ferner wird die Aufgabe gelöst durch ein Computerprogramm, umfassend Befehle, die bewirken, dass das wie oben beschriebene Egofahrzeug das wie oben beschriebene Verfahren ausführt.
-
Ferner wird die Aufgabe gelöst durch ein Datenträgersignal, das ein wie oben beschriebenes Computerprogramm überträgt. Dadurch ist auch ein einfaches nachträgliches Installieren des Verfahrens in dafür geeignete Egofahrzeuge möglich.
-
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch:
- 1: ein Egofahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem,
- 2: einen Grobüberblick über das erfindungsgemäße Verfahren,
- 3: den ersten Verfahrensschritt S1 im Detail,
- 4: die zu verfolgenden Objekte, in Klassen eingeteilt,
- 5: den zweiten Verfahrensschritt S2 im Detail,
- 6: die dynamischen klassifizierten Objekte von Interesse und deren Trajektorien,
- 7: den dritten Verfahrensschritt S3 im Detail,
- 8: eine lokale Umgebungskarte,
- 9: die lokale Umgebungskarte in Draufsicht zu einem späteren Zeitpunkt,
- 10: den vierten Verfahrensschritt S4 im Detail ,
- 11: teilweise das erfindungsgemäße Verfahren grafisch.
-
Obwohl die Erfindung im Detail durch die bevorzugten Ausführungsbeispiele näher illustriert und beschrieben wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt.
-
1 zeigt ein Egofahrzeug 1 mit einem Fahrerassistenzsystem 2, welches ein erfindungsgemäßes Verfahren aufweist. Das Egofahrzeug 1 weist ein Sensorsystem 3 auf, welches beispielsweise Radarsensoren 4, Lidarsensoren 5 und Bildsensoren 6 umfasst. Das Umfeld des Egofahrzeuges 1 wird anhand des Sensorsystems 3 als Umfeldsensordaten zu einem Zeitpunkt aufgenommen und dann zu einem gemeinsamen Frame fusioniert. Dabei gibt es für die Sensordatenfusion unterschiedliche Möglichkeiten. So können die aufgenommenen Umfeldsensordaten beispielsweise auf Signalebene fusioniert werden. Hierbei werden die Rohdaten oder minimal vorverarbeitete Daten miteinander verknüpft. Eine andere Fusion kann beispielsweise eine Fusion auf Merkmalsebene oder Objektebene sein. Die fusionierten Umfeldsensordaten werden vorzugsweise zu dem Fahrerassistenzsystem 2 weitergeleitet.
-
2 zeigt einen groben Überblick über das erfindungsgemäße Verfahren. Dabei werden zunächst mittels des Sensorsystems 3 mehrere Frames zu aufeinanderfolgenden Zeitpunkten von dem Umfeld des Egofahrzeuges 1 erstellt. Anschließend werden verschiedene Merkmale in einem ersten Verfahrensschritt S1 mittels eines Merkmalsextraktionsverfahrens aus zumindest einem der Frames extrahiert. Hierfür können bekannte Merkmalsextraktionsverfahren verwendet werden. Diese Merkmale können beispielsweise eine L-Form oder eine I-Form, oder eine Bounding Box etc. von zusammenhängenden Umfeldsensordaten sein. Die extrahierten Merkmale können entsprechend als zusammenhängende dynamische Objekte von Interesse zusammengefasst werden. Ziel der Merkmalsextraktion ist es, eine aus den Umfeldsensordaten abstrahierende Objektbeschreibung von Objekten von Interesse zu liefern. Um Positionsangaben für ausgedehnte Objekte machen zu können, wird zudem ein Referenzpunkt, der das Objekt repräsentiert, bestimmt. Dieser wird in einem jeweiligen Sensordatensegment, welches ein Objekt von Interesse repräsentiert, bestimmt.
-
Anschließend werden die dynamischen Objekte von Interesse klassifiziert. Dabei können als Klasse beispielsweise Fahrzeug, Fahrrad, Motorrad definiert werden. Die Klassifikation auf Merkmalsebene dient vor allem dazu, unerwünschte fälschlicherweise identifizierte Objekte frühzeitig herauszufiltern und diese zu löschen. Dies spart zum einen Rechenzeit und erhöht zum anderen die Robustheit des Verfahrens, da weniger unrelevante Objekte entstehen. Als Klassifikationsverfahren können beispielsweise der Bayes-Klassifikator, Gaussian Mixture Models, Neuronale Netze, Support Vector Machines oder Entscheidungsbäume, herangezogen werden. Entscheidungsbäume sind geordnete, gerichtete Bäume, die der Darstellung von Entscheidungsregeln dienen. Auch andere Klassifikationsverfahren sind möglich.
-
Ferner wird den Objekten von Interesse noch bestimmte Bewegungsannahmen bezogen auf den kinematischen Zustand des Objektes von Interesse zugeordnet, beispielsweise, dass es sich mit annähernd konstanter Geschwindigkeit in Richtung seiner Längsachse bewegt und mit welcher Geschwindigkeit es sich weiterbewegt. Diese Annahme oder Schätzung wird vorzugsweise zumindest unter Verwendung der Egogeschwindigkeit des Egofahrzeugs 1 und der Egoposition des Egofahrzeuges 1 bestimmt. Der kinematische Zustand, das heißt beispielsweise Bewegung/Position und Bewegungsrichtung wird nun den einzelnen dynamischen Objekten von Interesse zugeordnet.
-
In einem zweiten Verfahrensschritt S2 wird die Trajektorie von den einzelnen dynamischen Objekten von Interesse bestimmt und diesen jeweils zugeordnet. Hierzu werden die Umfeldsensordaten der dynamischen Objekte von Interesse über verschiedene aufeinanderfolgende Frames in einer lokale Karte 11 (6) akkumuliert. Dabei ist eine lokale Karte 11 (6) eine Karte von der Umgebung des Egofahrzeugs 1, welche vorzugsweise vom Egofahrzeug 1 (6) selber erstellt wird. Der Einfachheitshalber ist die lokale Karte 11 (6) beispielsweise bei Beginn des Verfahrens der erste Frame. Bei Fortschreiten des Verfahrens kann ein nachfolgender Frame oder eine Referenzkarte, wie sie nachfolgend noch beschrieben wird, herangezogen werden. Die Akkumulation der dynamischen Objekte wird unter Zuhilfenahme einer ersten Vorhersage/Schätzung der Pose, das heißt Position und Orientierung der dynamischen Objekte von Interesse durch das Egofahrzeug 1, vorgenommen. Die endgültige Schätzung kann beispielsweise durch ein Kalman-Filter erfolgen. Sind die Umfeldsensordaten in der lokalen Karte 11 (6) akkumuliert, werden diese mithilfe eines Clusteringverfahrens geclustert. Ein Clusteringverfahren sucht im Kontext der akkumulierten Umfeldsensordaten nach Gruppen von Tracks. Daraus können die Trajektorien bestimmt werden, welche den einzelnen dynamischen Objekten von Interesse zugeordnet werden können.
-
Dadurch wird eine lokale Karte 11 (6) in denen die klassifizierten, dynamischen Objekte und deren Trajektorien enthalten sind, erstellt. Durch das Clusterverfahren kann ebenfalls eine Verifikation der dynamischen Objekte von Interesse erzielt werden. Erscheint ein identifiziertes Objekt durch das Clusterverfahren als unplausibel, so kann es gelöscht werden. Auch andere Plausibilitätsverfahren können zur Löschung angewendet werden. Durch das Löschen von Objekten wird die Robustheit und die Schnelligkeit des Verfahrens erhöht. Weitere Löschungsgründe, welche nachfolgend beschrieben werden, können ebenfalls vorliegen.
-
Ein weiterer Löschungsgrund ist beispielsweise das Herabstufen des dynamischen Objektes von Interesse als uninteressant. Aufgrund des beschränkten Sichtfelds und der Bewegung der Objekte verlassen diese regelmäßig den relevanten Bereich und werden somit uninteressant.
-
Ferner können Objekte gelöscht werden, wenn die Lebensdauer des dynamischen Objektes von Interesse einen vorgegebenen Schwellenzeitwert überschreitet.
-
Daneben können vorzugsweise auch falsche Objekte identifiziert und gelöscht werden. Aufgrund von zufälligen Formen in den Umfeldsensordaten oder durch Fehlinterpretationen kann es immer wieder vorkommen, dass Objekte erzeugt werden, die in der Realität nicht existieren. Dies wird beispielsweise, wie oben beschrieben, durch das Clusterverfahren oder die Klassifizierung erkannt. So kann als Plausibilitätsprüfung beispielsweise überprüft werden, ob die gemessenen Dimensionen der einzelnen Objekte von Interesse mit den erwarteten Dimensionen von Verkehrsteilnehmern übereinstimmt. Ist dies nicht der Fall, so wird das Objekt vorzugsweise gelöscht.
-
Das Löschen von Objekten, welche nicht mehr von Interesse sind, trägt zur Schnelligkeit des Verfahrens bei der Verfolgung von mehreren, wechselnden Objekten bei.
-
Anschließend wird in einem weiterem Verfahrensschritt S3 die lokale Karte 11 ( 6) durch Hintergrundinformationen vervollständigt. Dabei sind die Hintergrundinformationen als vorzugsweise klassifizierte, statische Umgebungsdaten von statischen Umgebungsobjekten wie Fahrbahnberandungen, beispielsweise Randsteine, Stra-ßenmarkierungen, einzelne Fahrbahnen ausgebildet. Ferner können statische Umgebungsdaten von statischen Umgebungsobjekten wie aktive Verkehrsanzeigedaten wie Ampelanlagen und/oder passive Verkehrsanzeigedaten wie Schilder detektiert und der lokalen Karte 11 (6) hinzugefügt werden.
-
Dadurch kann eine vervollständigte lokale Umgebungskarte 12 (8) durch eine Komplettierung der Verkehrsszene und damit eine vollständige Szenenbeschreibung erzielt werden. Wenn die zu erkennenden Straßen über keine Markierung verfügen, wird beispielsweise neben Kanten und der Straßenfarbe noch die Textur ausgewertet. Eine solche vollständige Szenenbeschreibung und Szenenerfassung kann beispielsweise mittels einer bottom-up Methodik erzielt werden.
-
Dadurch wird eine konsistente vervollständigte lokale Umgebungskarte 12 (8) erzeugt, die die aktuelle Verkehrsszene mit Fahrbahnen 13 (8), Fahrbahnberandungen etc. und den dynamischen Objekten sowie deren Trajektorien aufweist.
-
In einem nachfolgenden Verfahrensschritt S4 wird die vervollständigte lokale Umgebungskarte 12 (8) auf eine vorgegebene Referenzstraßenkarte, vorzugsweise eine HDMap (High Definition Map) 14 (10) unter Verwendung eines Map Matching-Algorithmus abgebildet. Durch ein Map Matching (Kartenabgleich, Karteneinpassung)-Algorithmus wird die durch eine Ortung gemessene Position eines Objektes mit den Ortsinformationen einer digitalen Karte abgeglichen. Die Abbildung der vervollständigten lokalen Umgebungskarte 12 (8) auf die HDMap 14 (10) kann auf einer Transformation unter Verwendung von Schlüsseldatenpunkten, also Sensordatenpunkten, die eindeutig zwischen zwei gegebenen Mengen abgeglichen werden können, oder aber auf der Minimierung einer Fehlerfunktion basieren. Zusätzlich kann eine grobe Schätzung der Pose basierend auf GPS-Daten (Globales Positionsbestimmungssystem) oder basierend auf einer verbesserten Bewegungseinschätzung des Egofahrzeuges 1 (1) als Startpunkt für das Optimierungsproblem verwendet werden.
-
Dadurch ist eine schnellere Abbildung der lokalen Umgebungskarte 12 (8) auf die Referenzstraßenkarte möglich.
-
Das Optimierungsverfahren kann auf der Grundlage des Nearest-Neighbor-Algorithmus mit, beispielsweise zu einer optimierenden Entfernungsfunktion wie dem quadratischen euklidischen Abstand zwischen erkannten Schlüsseldatenpunkten auf der lokalen Karte und den korrespondierenden Schlüsseldatenpunkten auf der Referenzstraßenkarte erfolgen. Auch kann ein ICP (Itertiv Closest Point)- Algorithmus oder ein anderes Optimierungsverfahren angewendet werden.
-
Anhand des erfindungsgemäßen Verfahrens kann eine Lokalisierung des Egofahrzeuges 1 in einer gegebenen Referenzstraßenkarte erfolgen, wobei die Lokalisation auf den Trajektorien der erkannten dynamischen Objekte und den statischen Umgebungsdaten basiert.
-
Die Lokalisierung auf der Grundlage von dynamisch verfolgten Objekten ist notwendig, wenn das Sichtfeld der oder des Sensors, insbesondere das Frontsichtfeld, von vielen Verkehrsteilnehmern in belebten Stadtgebieten oder Staus auf der Autobahn verdeckt wird.
-
Wird daher einer oder mehrere Sensoren, insbesondere ein Frontsensor, von anderen Verkehrsteilnehmern blockiert, und können beispielsweise Fahrbahnen nicht erkannt werden, so ist es durch das Verfahren möglich, die Trajektorien der dynamischen Objekte von Interesse für eine Lokalisation des Egofahrzeuges 1 zu verwenden.
-
Durch das erfindungsgemäße Verfahren können, wenn der oder die Sensoren von anderen Verkehrsteilnehmern blockiert werden und beispielsweise die Fahrbahnen/ Straßenbegrenzungen nicht erkannt werden können, die Trajektorien der dynamischen Objekte für eine Lokalisierung des Egofahrzeuges 1 (1) verwendet werden. Diese Trajektorien sind vorzugsweise einer bestimmten Fahrbahn zugeordnet.
-
Die optimale Transformation zwischen der lokalen Karte 11 (8) und der Referenzkarte wird durch das Minimum dieses Optimierungsproblems erreicht.
-
Eine solche Transformation kann auch mittels einer Pose Graph-Optimierung mit sogenannten Knoten erzielt werden. Dabei wird die Abbildung der lokalen Karte 11 (8) auf die Referenzstraßenkarte als Knoten herangezogen, welcher für die Erstellung einer neuen lokalen Karte verwendet wird. Bei der Pose Graph-Optimierung können Einschränkungen, welche durch das Verbinden von zwei aufeinanderfolgenden lokalen Karten entstehen, verwendet werden. Dadurch kann eine bessere Übereinstimmung zwischen einer lokalen Karte 11 (8) und einer Referenzstraßenkarte bewirkt werden.
-
3 zeigt den ersten Verfahrensschritt S1 im Detail. In einem ersten Verfahrensschritt wird als ein Frame, Umfeldsensordaten von einem Sensorsystem welches in und/oder an einem Egofahrzeug 1 (1) angeordnet ist, zu einem ersten Zeitpunkt aufgenommen. Vorzugsweise werden mehrere Frames 1,..,N zu aufeinanderfolgenden Zeitpunkten 1,..,N aufgenommen. Die Umfeldsensordaten sind dabei Rohdaten, das heißt unverarbeitete, vom Sensor gelieferte Daten. Das Sensorsystem 3 kann Bildsensoren 6, Lidarsensoren 5, und Radarsensoren 4 aufweisen. Die Umfeldsensordaten werden zu einem Zeitpunkt aufgenommen und dann zu einem gemeinsamen Frame fusioniert.
-
Ein erster Frame weist somit eine durch Sensordaten fusionierte Aufnahme von dem Umfeld des Egofahrzeugs 1 (1) zu einem ersten Zeitpunkt auf.
-
In dem Frame werden Merkmale, sogenannte Features, extrahiert. Diese Features werden anhand von einem Merkmalsextraktionsverfahren aus den fusionierten Umfeldsensordaten des Frames extrahiert.
-
Bei der Merkmalsextraktion wird versucht, in dem Frame bestimmte Objekte oder Formen zu erkennen und deren Merkmale wie Position, Orientierung und Ausdehnung zu ermitteln. Meistens können die Sensordaten davor bereits in zusammengehörige Sensordatensegmente unterteilt werden. Features für die dynamische Objektverfolgung können beispielsweise geometrische Eigenschaften wie L-, I -Formen, oder Begrenzungsrahmen (Bounding Box) oder Ellipsen, Cluster mit Referenzpunkten, Sensordatensegmente etc. sein.
-
Zur Merkmalsextraktion gibt es unterschiedlich komplexe Ansätze. Ziel der Merkmalsextraktion ist es, eine Objektbeschreibung von Objekten von Interesse zu liefern.
-
Diese wird als Eingabe für nachfolgende Verarbeitungsschritte herangezogen und kann dadurch die Laufzeit des Verfahrens deutlich reduzieren.
-
Um Positionsangaben für ausgedehnte Objekte machen zu können, wird vorzugsweise zudem ein Referenzpunkt, der das Objekt repräsentiert, bestimmt. Anhand ihres Referenzpunktes werden Sensordaten in jedem Frame ihnen zugehörigen Objekten zugeordnet, was eine räumlich-zeitliche Verfolgung der Objekte ermöglichen kann. Der Referenzpunkt kann ein einzelner Sensordatenpunkt bzw. ein virtueller Referenzpunkt, der die Bewegung des zugrundeliegenden Objektes nachvollziehen kann, sein.
-
Anschließend werden die einzelnen dynamisch, zu verfolgende Objekte von Interesse in Objektklassen klassifiziert. Die Klassifikation dient vor allem dazu, unerwünschte Objekte frühzeitig herauszufiltern und sie somit der Tracking-Stufe zu entziehen. Diese Klassen können beispielsweise als Auto (Kraftfahrzeug), Lastwagen, Fahrrad, Fußgänger etc. ausgebildet sein. Ferner können auch im ersten Verfahrensschritte S1 statische Elemente wie Ampel etc. extrahiert werden.
-
Als Klassifikationsverfahren können beispielsweise Bayes-Klassifikator, Gaussian Mixture Models, Neuronale Netze, Support Vector Machines-Algorithmen oder Entscheidungsbäume herangezogen werden, da diese effizient zu implementieren sind. Bei einem Entscheidungsbaum handelt es sich um ein statisches Klassifikationsverfahren, welches leicht zu implementieren ist. Durch die Klassifizierung können erkannte Objekte plausibilisiert werden. So kann als Plausibilitätsprüfung beispielsweise überprüft werden, ob die gemessenen Dimensionen der einzelnen Objekte von Interesse explizit mit den erwarteten Dimensionen von Verkehrsteilnehmern übereinstimmt. Damit ein Objekt als dynamisches Objekt von Interesse, beispielsweise ein Fahrzeug von Interesse, in Frage kommt, muss nicht nur der erkannte Umriss einem vorgegebenen Umriss entsprechen, sondern beispielsweise auch die Abmessung mit den erwarteten Werten übereinstimmen. Wird beispielsweise eine L-Form mit 8 m Breite und 8 m Länge erkannt, handelt es sich wahrscheinlich um ein Haus. Vorzugsweise wird anhand der Dimensionen entschieden, ob aus der Form ein Objekt von Interesse erzeugt wird.
-
Ist dies nicht der Fall, so wird das Objekt vorzugsweise gelöscht. Somit kann durch das Klassifikationsverfahren eine erste Löschung von fälschlicherweise erkannten Objekten vorgenommen werden. Dies erhöht die Schnelligkeit als auch die Robustheit des Verfahrens.
-
Den dynamisch, zu verfolgenden Objekten von Interesse wird zudem die Objektgeschwindigkeit und eine Position (Positionsdaten), das heißt also der kinematische Zustand zugewiesen, welche aus den Frames unter Zuhilfenahme der Eigengeschwindigkeit und der Position (Drehbewegung) des Egofahrzeugs 1 ermittelt/abgeschätzt werden kann.
-
4 zeigt die klassifizierten, zu verfolgenden Objekte, wobei jedem der Objekte zur Visualisierung ein Objektframe zugewiesen wurde. Jedes dieser Objektframes stellt somit ein zu verfolgendes dynamisches Objekt von Interesse dar.
-
Durch den ersten Verfahrensschritt S1 wird zur Objektverfolgung somit eine Liste von dynamischen Objekten von Interesse erzeugt, wobei jedes Objekt, die Geometrie (beispielsweise Länge, Breite, Ellipse, L- Form, I- Form, etc.) mit dem dazugehörenden Referenzpunkt, den kinematischen Zustand (Geschwindigkeit und Position) und die Klasse beinhaltet.
-
5 zeigt den anschließenden zweiten Verfahrensschritt S2 im Detail. In dem zweiten Verfahrensschritt S2 werden die verschiedenen aufgenommenen Objekte von Interesse der 1,.., N-Frames akkumuliert und die jeweilige Trajektorie jedes, der zu verfolgenden dynamischen Objekte, von Interesse bestimmt.
-
Dazu werden zunächst alle Umfeldsensordaten der Objekte von Interesse in eine lokale Karte 11 (6) transformiert. Eine lokale Karte 11 (6) wird bevorzugt vom Egofahrzeug 1 (1) durch beispielsweise das Sensorsystem 3 (1) selbst erzeugt. Auch kann einer der Frames als lokale Karte 11 (6) verwendet werden.
-
Dabei ist eine lokale Karte 11 eine Karte von der Umgebung des Egofahrzeugs 1 (1), welche vorzugsweise vom Egofahrzeug 1 (1) selber erstellt wird. Der Einfachheitshalber ist die lokale Karte 11 (6) beispielsweise bei Beginn des Verfahrens der erste Frame. Bei Fortschreiten des Verfahrens kann ein nachfolgender Frame herangezogen werden.
-
Die Akkumulation der dynamischen Objekte wird unter Zuhilfenahme einer ersten Vorhersage/Schätzung der Pose, das heißt Position und Orientierung der dynamischen Objekte von Interesse durch das Egofahrzeug 1 (1), vorgenommen. Die endgültige Schätzung kann beispielsweise durch ein Kalman-Filter erfolgen. Sind die entsprechenden Umfeldsensordaten in der lokalen Karte 11 (6) akkumuliert, so werden diese mithilfe eines Clusteringverfahrens geclustert.
-
Das Clustering kann beispielsweise mittels eines DBSCAN-Algorithmus durchgeführt werden.
-
Dabei ist ein DBSCAN ein dichtebasiertes Verfahren. Dabei steht DBSCAN für Density-Based Spatial Clustering of Applications with Noise (Dichtebasierte räumliche Clusteranalyse mit Rauschen). Ein mehrdimensionales-Sensordatenbild kann mehrere Cluster-Schwerpunkte aufweisen. Der DBSCAN arbeitet dichtebasiert und ist in der Lage, mehrere Cluster zu erkennen. Ferner muss nicht im vornherein bekannt sein, wie viele Cluster existieren. Der Algorithmus kann auch beliebige Cluster beliebiger Form erkennen. Ein weiterer Vorteil bei Verwendung des DBSCAN liegt darin, dass der Algorithmus weitgehend deterministisch und reihenfolgeunabhängig arbeitet. Auch andere Algorithmen, welche auf dem DBSAN basieren können verwendet werden. Dies ist beispielsweise der HDBSCAN - Alogithmus (Hierarchical Density Based Clustering), welcher den Algorithmus erweitert, indem er in einen hierarchischen Clustering-Algorithmus konvertiert wird. Der HDBSCAN-Algorithmus ist eine sehr datenabhängige Methode der Cluster-Bildung und erfordert sehr wenig Benutzereingaben. Ein anderer Algorithmus ist beispielsweise der OPTICS (Ordering Points To Identify the Clustering Structure) -algorithmus, welcher Cluster unterschiedlicher Dichte erkennen kann. Auch andere Algorithmen, welche auf DBSCAN basieren, wie Shared-Nearest-Neighbor-Clustering- Algorithmus, sind möglich.
-
Mittels der Clusteranalyse können nun einerseits die Trajektorien der dynamischen Objekte von Interesse ermittelt werden und den Objekten von Interesse zugeordnet werden. Ferner wird durch das Clustering anhand einer Plausibilitätsprüfung eine Verifizierung erzielt, ob das aus dem Frame ermittelte Objekt von Interesse auch ein solches ist. So kann beispielsweise ein durch den ersten Verfahrensschritt identifiziertes Objekt von Interesse beispielsweise folgende Fälle annehmen: das Objekt ist im ersten Fall ein verifiziertes Objekt von Interesse, also beispielsweise ein Personenkraftwagen, Fußgänger etc.; das Objekt wurde im zweiten Fall fälschlicherweise als Objekt von Interesse identifiziert; und im dritten Fall ist weiterhin keine eindeutige Aussage möglich. In dem zweiten Fall in dem das Objekt fälschlicherweise als dynamisches Objekt von Interesse identifiziert wurde, wird das Objekt gelöscht. In dem letzten Fall kann anhand einer Wahrscheinlichkeitsfunktion oder ähnlichen das Objekt als Objekt von Interesse eingestuft oder als kein Objekt von Interesse eingestuft werden. Dadurch werden die Robustheit und die Schnelligkeit des Verfahrens erhöht.
-
6 zeigt die dynamischen klassifizierten Objekte von Interesse und deren Trajektorien in einer lokalen Karte 11. So sind in 6 ein erster Personenkraftwagen 7 mit dazugehöriger Trajektorie sowie ein zweiter Personenkraftwagen 8 mit dazugehöriger Trajektorie sowie ein Bus 9 und auch ein Fahrrad 10 mit jeweils dazugehöriger Trajektorie zu sehen.
-
Somit wird durch den zweiten Verfahrensschritt S2 eine lokale Karte 11 (6) mit den klassifizierten dynamischen Objekten von Interesse, den zu den dynamischen Objekten dazugehörigen Trajektorien, als auch mit der Orientierung und der Position der dynamischen Objekte erzeugt.
-
7 zeigt den vierten Verfahrensschritt S4 grafisch. In dem vierten Verfahrensschritt S4 wird die im zweiten Verfahrensschritt S2 erstellte lokale Karte 11 (4) durch verkehrsrelevante statische Umgebungsdaten von statischen Umgebungsobjekten, wie Fahrbahnen 13 (8) ergänzt. Dabei können als statische Umgebungsdaten von statischen Umgebungsobjekten ferner Fahrbahnberandungen, beispielsweise Randsteine, Straßenmarkierungen, einzelne, mehrspurige Fahrbahnen etc. ausgebildet sein. Ferner können statische Umgebungsdaten von statischen Umgebungsobjekten wie aktive Verkehrsanzeigedaten wie Ampelanlagen und/oder passive Verkehrsanzeigedaten wie Schilder detektiert und der lokalen Karte 11 (6) hinzugefügt werden. Statische Umgebungsdaten von statischen Umgebungsobjekten können auch als Umgebungsmerkmale wie ein Bauwerk, insbesondere ein Tunnel, eine Brücke, ein Gebäude, eine Tankstelle, ein See, ein Fluss, ein Bach, ein Wald, eine Parkbucht, ein Gebirge etc. ausgebildet sein.
-
Dadurch kann durch eine Komplettierung der Verkehrsszene eine vollständige lokale Umgebungskarte 12 mit einer vollständigen Szenenbeschreibung erzielt werden.
-
Die Erkennung der Fahrbahn 13 (8) und der Fahrbahnberandung können ebenfalls mit Methoden der digitalen Bildverarbeitung, beispielsweise durch einen Spurhalteassistenten, realisiert werden.
-
8 zeigt eine solche vervollständigte lokale Umgebungskarte 12, die ein vollständiges Verkehrsszenario mit Fahrbahn 13 und den Trajektorien der dynamischen Objekte sowie der dynamischen Objekte selber aufweist. Hier sind die dynamischen Objekte der erste Personenkraftwagen 7 mit dazugehöriger Trajektorie, der zweite Personenkraftwagen 8 mit dazugehöriger Trajektorie sowie der Bus 9 und das Fahrrad 10 mit jeweils dazugehöriger Trajektorie. Durch die Ergänzungen wird eine konsistente vollständige lokale Umgebungskarte 12 der aktuellen Verkehrsszene erzeugt. Die dynamischen Objekte von Interesse können vorzugsweise einer der erkannten Fahrbahn 13 etc. zugeordnet werden.
-
9 zeigt die vervollständigte lokale Umgebungskarte 12 in Draufsicht und zu einem späteren Zeitpunkt mit einer Fahrbahn 13 und mit dem ersten Personenkraftwagen 7 mit dazugehöriger Trajektorie, dem zweiten Personenkraftwagen 8 mit dazugehöriger Trajektorie sowie dem Bus 9 und dem Fahrrad 10 mit jeweils dazugehöriger Trajektorie. Ferner sind als statische Umgebungsdaten von statischen Umgebungsobjekten noch Parkplätze 15 erkannt und der vervollständigten lokalen Umgebungskarte 12 hinzugefügt. Für die Erkennung von statischen Umgebungsdaten von statischen Umgebungsobjekten können Bildverarbeitungsverfahren eingesetzt werden. Typische Verfahren zur Extraktion von Fahrbahnen und Straßenbegrenzungen sind maschinelle Lernverfahren auf Basis von Kamerabildern oder die semantische Segmentierung eines hochauflösenden punktwolkenbasierten Sensors, wie dem Lidarsensor 5 (1) und dem Radarsensor 4 (1).
-
10 zeigt den vierten Verfahrensschritt S4 im Detail. In dem nachfolgenden Verfahrensschritt S4 wird die vervollständigte lokale Umgebungskarte 12 auf eine vorgegebene Referenzstraßenkarte, vorzugsweise eine HDMap (High Defintion Map) 14 abgebildet. HDMaps 14 weisen eine extrem hohe Präzision auf Zentimeter-Ebene auf und sind vor allem für autonom fahrende Fahrzeuge sinnvoll. Die Abbildung kann unter Verwendung eines Map Matching-Algorithmus, vorzugsweise eines Optimierungsverfahrens vorgenommen werden. Bei einem solchen Map Matching-Algorithmus in der digitalen Bildverarbeitung werden einander annähernd korrelierende Muster in der vervollständigten lokalen Umgebungskarte 12 (8) und der vorgegebenen HDMap 14 gesucht. Auf Grundlage dieser Korrelation wird eine projektive Transformation berechnet, die es ermöglicht, die vervollständigte lokale Umgebungskarte 12 und die HDMap 14 bestmöglich aufeinander abzubilden.
-
11 zeigt das erfindungsgemäße Verfahren abschnittsweise, wobei hier nur ein Radarsensor 4 (1) zur Aufnahme von Umfeldsensordaten verwendet wurde. Dabei wird zunächst ein erster Frame von Umfeldsensordaten des Umfeldes des Egofahrzeugs 1 (1) aufgenommen (I). Anschließend werden Merkmale aus dem Frame durch ein Merkmalsextraktionsverfahren extrahiert und diese zu dynamischen Objekten von Interesse zusammengefasst. Anschließend werden die dynamischen Objekte von Interesse klassifiziert und eine Zuordnung von kinematischen Daten zu den einzelnen dynamischen Objekten von Interesse vorgenommen. Bild II zeigt die zusammengefassten Objekte von Interesse. Danach werden die Trajektorien der einzelnen Objekte von Interesse durch Clustern bestimmt und eine lokale Karte 11 mit Objekten und deren Trajektorien erstellt (III).
-
Anschließend werden Fahrbahnen als statische Umgebungsdaten von statischen Umgebungsobjekten bestimmt (IV), welche der lokalen Karte 11 zur Vervollständigung hinzugefügt werden können.
-
Bezugszeichenliste
-
- 1
- Egofahrzeug
- 2
- Fahrerassistenzsystem
- 3
- Sensorsystem
- 4
- Radarsensor
- 5
- Lidarsensor
- 6
- Bildsensor
- 7
- erster Personenkraftwagen mit dazugehöriger Trajektorie
- 8
- zweiter Personenkraftwagen mit dazugehöriger Trajektorie
- 9
- Bus mit dazugehöriger Trajektorie
- 10
- Fahrrad mit dazugehöriger Trajektorie
- 11
- lokale Karte
- 12
- vervollständigte lokale Umgebungskarte
- 13
- Fahrbahn
- 14
- HDMap
- 15
- Parkplätze
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102016205871 A1 [0004]
