-
Die vorliegende Erfindung betrifft eine Vorrichtung zum Ermitteln einer Trajektorie eines Fahrzeugs sowie ein entsprechendes Verfahren. Weiterhin betrifft die Erfindung ein Fahrzeug.
-
Moderne Fahrzeuge (Autos, Transporter, Lastwagen, Motorräder etc.) umfassen eine Vielzahl von Fahrerassistenzsystemen, die dem Fahrer Informationen zur Verfügung stellen und einzelne Funktionen des Fahrzeugs teil- oder vollautomatisiert steuern. Sensoren erfassen die Umgebung des Fahrzeugs sowie andere Verkehrsteilnehmer. Basierend auf den erfassten Daten kann ein Modell der Fahrzeugumgebung erzeugt werden. Durch die fortschreitende Entwicklung im Bereich der autonom und teilautonom fahrenden Fahrzeuge werden der Einfluss und der Wirkungsbereich von Fahrerassistenzsystemen immer größer. Durch die Entwicklung immer präziserer Sensoren ist es möglich, die Umgebung und den Verkehr zu erfassen und einzelne Funktionen des Fahrzeugs vollständig oder teilweise ohne Eingriff des Fahrers zu kontrollieren. Fahrerassistenzsysteme können dabei insbesondere zur Erhöhung der Sicherheit im Verkehr sowie zur Verbesserung des Fahrkomforts beitragen.
-
Eine wichtige Voraussetzung ist hierbei die Erfassung einer Umgebung und die Ermittlung einer Position des eigenen Fahrzeugs relativ zu dieser Umgebung. Mittels Umgebungssensoren, wie beispielsweise Radar-, Lidar-, Ultraschall- und Kamerasensoren, werden Daten der Umgebung erfasst. Basierend auf den erfassten Daten sowie auf im Fahrzeug verfügbaren Daten des eigenen Fahrzeugs, wie beispielsweise Beschleunigungen etc., kann dann eine Positionsschätzung erfolgen.
-
In diesem Zusammenhang bezeichnet die simultane Lokalisierung und Kartographierung (englisch: Simultaneous Localization and Mapping, SLAM) die gleichzeitige Erzeugung einer Umgebungskarte und Ermittlung einer Position des eignen Fahrzeugs in dieser Umgebungskarte. Hierbei werden Daten unterschiedlicher Quellen ausgewertet.
-
In diesem Zusammenhang wird beispielsweise in Markus Hammarsten, „3D Localisation and Mapping Using Alternative Radar“, 2016, ein Ansatz zum Lokalisieren eines Fahrzeugs basierend auf Radardaten beschrieben. Zudem gibt es unterschiedliche Ansätze aus dem Automobilbereich, bei denen Kamera- und/oder Lidardaten verwendet werden.
-
Ein Nachteil von bisherigen Ansätzen, die auf Kamera- oder Lidardaten basieren, ist die starke Abhängigkeit von externen Einflüssen wie Wetterbedingungen und Emissionen anderer Fahrzeuge. Zudem erlauben Lidarsensoren lediglich eine Schätzung der eigenen Geschwindigkeit basierend auf mehreren Messungen. Weiterhin sind Lidarsensoren in ihrer Reichweite limitiert und erfordern ein ausreichend reflektierendes Umfeld, das nicht immer gegeben ist.
-
Ausgehend hiervon stellt sich der vorliegenden Erfindung das Problem, einen Ansatz zum Ermitteln einer Trajektorie eines Fahrzeugs bereitzustellen. Insbesondere soll eine möglichst hohe Robustheit gegenüber externen Einflüssen, wie beispielsweise das Wetter oder wechselnde Umgebungsbedingungen, sichergestellt werden. Eine zuverlässige und präzise Lokalisierung soll ermöglicht werden.
-
Zum Lösen dieser Aufgabe betrifft die vorliegende Erfindung in einem ersten Aspekt eine Vorrichtung zum Ermitteln einer Trajektorie eines Fahrzeugs, mit:
- einer Eingangsschnittstelle zum Empfangen von Sensordaten von einem Radarsensor, wobei die Sensordaten Informationen über eine Umgebung des Fahrzeugs umfassen;
- einer Vorverarbeitungseinheit zum Erzeugen eines Sensordatensatzes basierend auf den Sensordaten, wobei der Sensordatensatz akkumulierte Sensordaten mindestens eines Messzyklus des Radarsensors umfasst;
- einer Überlagerungseinheit zum Erzeugen eines Umgebungsabbilds auf Basis einer Überlagerung mehrerer Sensordatensätze;
- einer Auswerteeinheit zum iterativen Ermitteln einer Position und Orientierung des Fahrzeugs basierend auf dem Umgebungsabbild;
- einer Kartierungseinheit zum Ermitteln einer Rasterkarte der Umgebung basierend auf dem Umgebungsabbild und zum Extrahieren von Umgebungsmerkmalen aus der Rasterkarte; und
- einer Optimierungseinheit zum Ermitteln einer Trajektorie des Fahrzeugs basierend auf der ermittelten Position und Orientierung sowie auf den Umgebungsmerkmalen.
-
Weiterhin betrifft ein Aspekt der Erfindung ein Fahrzeug mit einer Vorrichtung wie zuvor beschrieben und mit einem Radarsensor zum Erfassen von Informationen über die Umgebung des Fahrzeugs. Weitere Aspekte der Erfindung betreffen ein entsprechend der Vorrichtung ausgebildetes Verfahren und ein Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte des Verfahrens, wenn der Programmcode auf einem Computer ausgeführt wird, sowie ein Speichermedium, auf dem ein Computerprogramm gespeichert ist, das, wenn es auf einem Computer ausgeführt wird, eine Ausführung des hierin beschriebenen Verfahrens bewirkt.
-
Bevorzugte Ausgestaltungen der Erfindung werden in den abhängigen Ansprüchen beschrieben. Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Insbesondere können das Fahrzeug und das Verfahren entsprechend der für die Vorrichtung in den abhängigen Ansprüchen beschriebenen Ausgestaltung ausgeführt sein.
-
Erfindungsgemäß ist es vorgesehen, dass Sensordaten eines Radarsensors über eine Eingangsschnittstelle empfangen und verarbeitet werden. Diese Sensordaten umfassen Informationen über eine Umgebung des Fahrzeugs. Insbesondere können die Daten eines am Fahrzeug bereits vorhandenen Radarsensors verwendet werden. Zunächst findet in einer Vorverarbeitungseinheit eine Vorverarbeitung der Sensordaten statt, wobei vorzugsweise Daten mehrerer Messzyklen des Radarsensors akkumuliert werden, um die Erzeugung eines zuverlässigen Umgebungsabbilds zu erlauben. Mehrere der erzeugten Sensordatensätze werden überlagert, um darauf basierend ein Umgebungsabbild zu erstellen. Das Umgebungsabbild ist dabei insbesondere eine Darstellung der Umgebung, wie sie vom Fahrzeug aus wahrgenommen wird. In einer Auswerteeinheit wird iterativ eine Position und Orientierung (auch als Pose bezeichnet) des Fahrzeugs berechnet. Ein iterativer Ansatz ist dabei ein Ansatz, bei dem eine bestehende Schätzung wiederkehrend in regelmäßigen oder unregelmäßigen Schritten aktualisiert wird. Bei der Aktualisierung wird jeweils das aktuelle Umgebungsabbild, also die aktuellen Sensordaten, berücksichtigt und miteinbezogen. Parallel oder sequenziell wird eine Rasterkarte der Umgebung ermittelt, aus der Umgebungsmerkmale extrahiert werden können. Basierend auf den extrahierten Umgebungsmerkmalen sowie auf der ermittelten Position und Orientierung des Fahrzeugs kann dann eine Trajektorie des Fahrzeugs ermittelt bzw. geschätzt werden. Die Trajektorie wird ausgegeben und steht für die weitere Verarbeitung zur Verfügung. Beispielsweise kann die ermittelte Trajektorie eine Grundlage für die Steuerung eines autonomen Fahrzeugs darstellen.
-
Der erfindungsgemäße Ansatz sieht vor, dass die Rohdaten des Radarsensors direkt verarbeitet werden. Ausgehend hiervon wird auf der einen Seite eine Position und Orientierung des eigenen Fahrzeugs in Bezug zu einer mittels des Radarsensors observierten Umgebung ermittelt. Auf der anderen Seite wird eine Rasterkarte der Umgebung erzeugt. Die Informationen beider Seiten werden zusammengefügt, um eine zuverlässige und präzise Ermittlung einer Trajektorie des eigenen Fahrzeugs zu erreichen. Durch die unmittelbare Verarbeitung der Radardaten wird eine Unabhängigkeit von Wetterbedingungen erreicht. Zudem ermöglichen die Radardaten eine direkte Abschätzung der eigenen Geschwindigkeit sowie eine unmittelbare Erzeugung einer Umgebungskarte aus der Vogelperspektive. Durch den erfindungsgemäßen Ansatz kann eine effiziente und zuverlässige Berechnung der Trajektorie des eigenen Fahrzeugs erfolgen.
-
In einer bevorzugten Ausgestaltung ist die Vorverarbeitungseinheit zum Transformieren der Sensordaten von einem sphärischen Koordinatensystem in ein kartesisches Koordinatensystem ausgebildet. Zusätzlich oder alternativ ist die Vorverarbeitungseinheit zum Ausfiltern rauschbehafteter und unzuverlässiger Sensordaten vor dem Erzeugen des Sensordatensatzes ausgebildet. Durch die Koordinatentransformation kann eine effiziente Berechnung erfolgen. Durch die Ausfilterung kann die Genauigkeit und Zuverlässigkeit des Systems erhöht werden.
-
In einer weiteren bevorzugten Ausgestaltung ist die Eingangsschnittstelle zum Empfang von Fahrzeugbewegungsdaten ausgebildet. Weiterhin ist die Vorverarbeitungseinheit zum Erzeugen eines Sensordatensatzes mit akkumulierten Messdaten mehrerer Messzyklen des Radarsensors und zum Kompensieren einer Fahrzeugbewegung basierend auf den Fahrzeugbewegungsdaten ausgebildet. Hierbei umfassen die Fahrzeugbewegungsdaten vorzugsweise Odometriedaten eines Odometriesensors und/oder Drehratendaten eines Drehratensensors. Zumeist verfügen moderne Fahrzeuge über einen Odometriesensor und/oder über einen Drehratensensor bzw. eine andere Art von Inertialsensor. Die Daten dieser Sensoren können als Fahrzeugbewegungsdaten zusätzlich berücksichtigt werden. Hierdurch kann eine Bewegung des Fahrzeugs kompensiert werden, sodass mehrere Messzyklen des Radarsensors zusammengefasst werden können. Die Zuverlässigkeit bei der Erkennung der Umgebung des Fahrzeugs kann erhöht werden. Die Zusammenschau mehrerer Messzyklen des Radarsensors ermöglicht eine verbesserte Ermittlung der Position und Orientierung des eigenen Fahrzeugs.
-
In einer vorteilhaften Ausgestaltung ist die Überlagerungseinheit zum Ausrichten der mehreren Sensordatensätze ausgebildet. Vorzugsweise ist die Überlagerungseinheit zum Ausführen eines Iterative Closest Point (ICP) und/oder eines Normal Distribution Transform (NDT)-Algorithmus ausgebildet. Unter einer Ausrichtung versteht sich eine Zusammenschau mehrerer Sensordatensätze durch einen entsprechenden Ausrichtungsalgorithmus. Dadurch, dass die Sensordatensätze zu unterschiedlichen Zeitpunkten erzeugt wurden und sich das Fahrzeug währenddessen weiterbewegt hat oder haben kann, ist es erforderlich, diese Bewegung algorithmisch zu korrigieren bzw. zu kompensieren. Durch die Ausrichtung kann eine solche Kompensation erfolgen, wodurch die Qualität des Umgebungsabbilds weiter verbessert wird. In der Überlagerungseinheit werden vorzugsweise Translations- und Rotationsparameter ermittelt. Diese Parameter beschreiben die Bewegung des Fahrzeugs und können in einem folgenden Schritt dann zur Positionsschätzung bzw. zum Ermitteln der Trajektorie verwendet werden.
-
In einer weiteren vorteilhaften Ausgestaltung ist die Auswerteeinheit zum Ermitteln der Position und Orientierung basierend auf einem Bayes'schen Informationsfilter ausgebildet. Insbesondere kann ein Kalman- oder Partikelfilter verwendet werden. Vorzugsweise wird ein Aktualisierungsschritt durchgeführt, wenn ein neues Umgebungsabbild zur Verfügung steht. In einem Bayes'schen Informationsfilter werden Ungenauigkeiten in Form von Wahrscheinlichkeitsverteilungen berücksichtigt, um zu einer optimalen Verarbeitung der eingehenden Sensordaten zu gelangen. Durch die Verwendung eines Bayes'schen Informationsfilters kann demnach eine verbesserte Schätzung der eigenen Position und Orientierung des Fahrzeugs erreicht werden. Die Zuverlässigkeit bei der Ermittlung der Trajektorie des eigenen Fahrzeugs wird erhöht. Die Robustheit gegenüber fehlerbehafteten Sensordaten wird verbessert.
-
In einer weiteren vorteilhaften Ausgestaltung ist die Kartierungseinheit zum Ermitteln mehrerer Rasterkarten der Umgebung mit unterschiedlichem Informationsgehalt ausgebildet. Insbesondere kann ein Evidential Grid, ein Power Grid, ein Intensity Grid und/oder ein Occupancy Grid ermittelt werden. Die verschiedenen Rasterkarten bzw. Rasterdarstellungen haben unterschiedliche Vor- und Nachteile. Durch die Ermittlung mehrerer Rasterkarten kann daher eine verbesserte Auswertung erfolgen und ein erhöhter Informationsgewinn realisiert werden. Die Zuverlässigkeit bei der Lokalisierung wird verbessert.
-
In einer weiteren vorteilhaften Ausgestaltung ist die Kartierungseinheit zum Ermitteln einer Rasterkarte der Umgebung basierend auf mehreren Umgebungsabbildern ausgebildet. Zusätzlich oder alternativ ist die Kartierungseinheit zum Extrahieren von Umgebungsmerkmalen basierend auf einem Bildverarbeitungsalgorithmus ausgebildet. Durch die Berücksichtigung mehrerer Umgebungsabbilder kann die Zuverlässigkeit verbessert werden. Eine genaue Abbildung der Umgebung wird erzeugt. Eine präzise und zuverlässige Lokalisierung bzw. Ermittlung einer Trajektorie kann erfolgen.
-
Vorzugsweise ist die Optimierungseinheit zum Ermitteln eines Abhängigkeitsdiagramms ausgebildet. Bei dem Abhängigkeitsdiagramm wird eine Abhängigkeit der ermittelten Position und Orientierung von den Umgebungsmerkmalen hergestellt.
-
Weiter vorzugsweise ist die Optimierungseinheit zum Ermitteln der Trajektorie basierend auf einer Anpassung des Abhängigkeitsdiagramms über eine vordefinierte Anzahl von Zeitschritten ausgebildet. Es wird ein Graph mit einer Zuordnung zwischen den Posen (Position und Orientierung) zu einem bestimmten Zeitpunkt sowie den observierten Umgebungsmerkmalen hergestellt. Dieser Graph kann über mehrere Zeitschritte optimiert werden. Es erfolgt sozusagen eine nachträgliche Korrektur und Verbesserung der Schätzung basierend auf später empfangenen Sensorwerten. Hierdurch kann die Genauigkeit bei der Ermittlung der eigenen Trajektorie auch für die weiteren Zeitschritte erhöht werden.
-
In einer weiteren vorteilhaften Ausgestaltung ist die Eingangsstützstelle zum Empfangen von Zusatzdaten ausgebildet. Die Zusatzdaten umfassen Positionsdaten von einem Positionssensor mit Informationen über eine absolute Position des Fahrzeugs und/oder Inertialsensordaten von einem Inertialsensor mit Informationen über eine Bewegung des Fahrzeugs. Die Auswerteeinheit ist zum Ermitteln der Position und Orientierung basierend auf den Zusatzdaten ausgebildet. Zusätzlich zu den Daten des Radarsensors und dem darauf basierenden Umgebungsabbild werden weitere Daten (Zusatzdaten) berücksichtigt. Hierbei können insbesondere Daten von Sensoren, die ohnehin in einem Fahrzeug vorhanden sind, berücksichtigt werden. Durch die Berücksichtigung der Zusatzdaten kann die Genauigkeit bei der Ermittlung der Position und Orientierung verbessert werden. Die Ermittlung einer genauen eigenen Trajektorie wird ermöglicht.
-
In einer weiteren vorteilhaften Ausgestaltung umfasst die Vorrichtung eine Ausgabeschnittstelle zum Weiterleiten der extrahierten Umgebungsmerkmale und der ermittelten Trajektorie an eine zentrale Kartierungsstelle zum Ermitteln einer Welt-Rasterkarte. In der zentralen Kartierungsstelle können die Daten mehrerer Fahrzeuge berücksichtigt werden. Eine umfassende Informationsverarbeitung kann erfolgen, sodass eine zuverlässige und genaue Erstellung einer Welt-Rasterkarte, also einer Karte, die auch Bereiche umfasst, die vom eigenen Fahrzeug nicht observiert werden, ermöglicht wird. Durch die Ermittlung einer Welt-Rasterkarte steht eine zusätzliche Informationsquelle zur Verbesserung der Lokalisierung und der Ermittlung der eigenen Trajektorie zur Verfügung.
-
In einer vorteilhaften Ausgestaltung ist die Auswerteeinheit zum Ermitteln der Position und Orientierung des Fahrzeugs basierend auf einem Partikelfilter, den extrahierten Umgebungsmerkmalen und vorbekannten Kartendaten ausgebildet. Es ist möglich, dass in der Auswerteeinheit zusätzlich vorbekannte Kartendaten berücksichtigt werden. Beispielsweise kann eine Welt-Rasterkarte als vorbekannte Kartendaten verwendet werden. Durch die Kombination der ermittelten Kartendaten mit einem Partikelfilter und den extrahierten Umgebungsmerkmalen kann die Zuverlässigkeit erhöht werden. Eine zuverlässige Ermittlung einer eigenen Trajektorie wird erreicht.
-
In einer weiteren vorteilhaften Ausgestaltung ist die Optimierungseinheit zum Ermitteln der Trajektorie des Fahrzeugs basierend auf einer Detektion einer zu einem vorigen Zeitpunkt passierten Position des Fahrzeugs ausgebildet. Es wird festgestellt, dass die aktuelle Position einer bereits vorher befahrenen bzw. passierten Position entspricht. Durch einen so genannten Ringschlussansatz (englisch: Loop Closure), kann die Ermittlung der Trajektorie verbessert werden.
-
Eine Trajektorie eines Fahrzeugs bezeichnet hierin eine Angabe über Positionen, die das Fahrzeug zu zurückliegenden Zeitschritten erreicht hat. Insoweit entspricht eine Trajektorie einer Zuordnung von Zeiten und Positionsangaben. Eine Umgebung des Fahrzeugs umfasst insbesondere einen von einem am Fahrzeug angebrachten Radarsensor aus sichtbaren Bereich im Umfeld des Fahrzeugs. Insbesondere kann ein Radarsensor hierin auch mehrere Sensoren umfassen, die beispielsweise eine 360° Rundumsicht ermöglichen und somit ein vollständiges Umgebungsbild aufzeichnen können. Die Sensordaten eines Radarsensors umfassen insbesondere einen Abstand, eine Radialgeschwindigkeit, einen Höhenwinkel und einen Azimutwinkel für verschiedene Detektionen des Radarsensors. Unter einem Messzyklus wird ein einmaliges Durchlaufen des sichtbaren Bereichs verstanden. Die in einem Messzyklus erfassten Sensordaten können als Radar-Zielliste (radar target list) bezeichnet werden. Ein Umgebungsabbild bezeichnet insbesondere eine Repräsentation einer aktuell vom Fahrzeug aus wahrnehmbaren Umgebung. Vorzugsweise wird hierbei ein auf das eigene Fahrzeug bezogenes Koordinatensystem verwendet. Unter einer Position kann insbesondere eine Position in Bezug auf dieses Umgebungsabbild bzw. in der Umgebung des Fahrzeugs oder relativ zur Umgebung des Fahrzeugs verstanden werden. Unter einer Orientierung versteht sich vorzugsweise ebenfalls eine Ausrichtung in Bezug zu der wahrgenommenen Umgebung bzw. zum Umgebungsabbild. Unter einer Rasterkarte wird eine Karte verstanden, in Bezug zu der sich das eigene Fahrzeug bewegt. Demnach umfasst eine Rasterkarte vorzugsweise eine Art Ankerpunkt, durch den die relative Karte in eine ortsfeste Karte umgewandelt werden kann.
-
Die Erfindung wird nachfolgend anhand einiger ausgewählter Ausführungsbeispiele im Zusammenhang mit den beiliegenden Zeichnungen näher beschrieben und erläutert. Es zeigen:
- 1 eine schematische Darstellung eines Fahrzeugs gemäß einem Aspekt der vorliegenden Erfindung;
- 2 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zum Ermitteln einer Trajektorie eines Fahrzeugs;
- 3 eine schematische Darstellung eines erfindungsgemäßen Verfahrens;
- 4 eine schematische Darstellung eines Abhängigkeitsdiagramms;
- 5 eine schematische Darstellung einer weiteren Ausführungsform einer erfindungsgemäßen Vorrichtung;
- 6 eine schematische Darstellung einer weiteren Ausführungsform eines erfindungsgemäßen Verfahrens;
- 7 eine schematische Darstellung einer weiteren Ausführungsform eines erfindungsgemäßen Verfahrens;
- 8 eine schematische Darstellung eines Ringschlussverfahrens; und
- 9 eine schematische Darstellung einer weiteren Ausführungsform eines erfindungsgemäßen Fahrzeugs.
-
In der 1 ist schematisch ein erfindungsgemäßes Fahrzeug 10 dargestellt. Das Fahrzeug umfasst eine Vorrichtung 12 zum Ermitteln einer Trajektorie des Fahrzeugs 10 sowie einen Radarsensor 14. Mit dem Radarsensor 14 wird eine Umgebung 16 des Fahrzeugs wahrgenommen. Die Umgebung 16 umfasst dabei die verschiedenen Objekte, die durch den Radarsensor detektiert werden können (Bäume, Häuser, Verkehrsschilder, andere Verkehrsteilnehmer etc.). Die verschiedenen Objekte in der Umgebung 16 reflektieren die Radarwellen. Die Reflektionen werden im Radarsensor ausgewertet. Unter einem Messzyklus des Radarsensors wird dabei ein komplettes Abbild des vom Radarsensor 14 aus sichtbaren Bereichs verstanden, wobei die entsprechenden Sensordaten auch als Radar-Zielliste (radar target list) bezeichnet werden können.
-
Basierend auf mittels des Radarsensors 14 erfassten Sensordaten kann in der Vorrichtung 12 eine Trajektorie des Fahrzeugs 10 berechnet werden. Die Trajektorie kann in einem Fahrassistenzsystem weiterverarbeitet werden. Insbesondere kann ein autonomes Fahrzeug basierend auf einer mittels der erfindungsgemäßen Vorrichtung 12 ermittelten Trajektorie gesteuert werden. Durch die Ermittlung einer möglichst genauen Trajektorie kann hierbei der Automatisierungsgrad erhöht sowie die Sicherheit der Fahrzeuginsassen verbessert werden.
-
In der 2 ist eine erfindungsgemäße Vorrichtung 12 schematisch dargestellt. Die Vorrichtung umfasst eine Eingangsschnittstelle 18, eine Vorverarbeitungseinheit 20, eine Überlagerungseinheit 22, eine Auswerteeinheit 24, eine Kartierungseinheit 26 sowie eine Optimierungseinheit 28. Die erfindungsgemäße Vorrichtung 12 kann beispielsweise in einem Fahrzeugsteuergerät integriert sein oder auch als separates Modul implementiert sein. Es ist dabei möglich, dass die erfindungsgemäße Vorrichtung teilweise oder vollständig in Soft- und/oder Hardware umgesetzt ist.
-
Über die Eingangsschnittstelle 18 werden Sensordaten eines Radarsensors empfangen. Hierzu ist die Eingangsschnittstelle 18 beispielsweise als Steckverbindung in Hardware umgesetzt. Es versteht sich, dass die Eingangsschnittstelle ebenfalls als entsprechende Softwareschnittstelle zum Datenempfang ausgebildet sein kann. Vorzugsweise werden Daten des Radarsensors in Form einzelner Messzyklen empfangen. Insbesondere werden so genannte Ziellisten (englisch: Target List) empfangen, die jeweils einen Abstand, eine Radialgeschwindigkeit, einen Höhenwinkel sowie einen Azimutwinkel (r, ṙ, θ, ϕ) für Detektionen des Radarsensors umfassen. Es versteht sich, dass es auch möglich ist, dass die Sensordaten Zusatzinformationen, wie z. B. ein Signalrauschverhältnis, eine Intensität etc., umfassen, die ebenfalls während eines Messzyklus des Radarsensors ermittelt wurden. Die empfangenen Sensordaten umfassen dabei insoweit Informationen über eine Umgebung des Fahrzeugs, als basierend auf den Sensordaten eine Rekonstruktion von Hindernissen in der Umgebung des Fahrzeugs möglich ist. Beispielsweise kann ein Radarsensor 400-500 oder auch mehrere Tausend Messungen pro Messzyklus vornehmen. Üblicherweise werden mehrere Messzyklen pro Sekunde durchgeführt. Beispielsweise kann eine Messfrequenz bei 16 bis 18 Hz liegen.
-
Die Vorverarbeitungseinheit 20 entspricht vorzugsweise einem Prozessor bzw. einem entsprechenden Softwaremodul, das von einem Prozessor umgesetzt wird. In der Vorverarbeitungseinheit 20 werden die empfangenen Sensordaten ausgewertet, um einen Sensordatensatz (auch als Scan bezeichnet) zu erzeugen. Hierzu können die Sensordaten mehrerer Messzyklen akkumuliert, also zusammenfasst, werden. Zunächst werden die im sphärischen Koordinatensystem empfangenen Sensordaten des Radarsensors in ein kartesisches Koordinatensystem transformiert. In einem weiteren Schritt kann dann eine Filterung der Punkte erfolgen. Insbesondere werden nur statische Detektionen genutzt, da dynamische Detektionen im Zusammenhang mit der simultanen Lokalisierung und Kartographierung nur einen sehr geringen bzw. keinen Nutzen haben. Zudem werden nur Detektionen mit hoher Intensität genutzt. Vorzugsweise wird ein so genanntes Stördatenunterdrückungsverfahren (clutter suppression) eingesetzt, um rauschbehaftete und unzuverlässige Sensordaten auszufiltern. Dieses Verfahren basiert auf einer Zusammenfassung mehrerer Punkte mittels eines DBSCAN-Verfahrens oder eines anderen Verfahrens. Das Stördatenunterdrückungsverfahren wird auf Daten eines vollständigen Scan (mehrere Zyklen) angewendet.
-
Optional ist es möglich, dass über die Eingangsschnittstelle zusätzlich Fahrzeugbewegungsdaten empfangen werden. Insbesondere können Odometriedaten, also Daten, die einen Rückschluss auf eine innerhalb des Fahrzeugs gemessene Fahrzeugbewegung erlauben, empfangen werden. Ebenfalls ist es möglich, dass Drehratendaten empfangen werden, die eine Aussage über eine Drehung des Fahrzeugs erlauben. Basierend auf diesen Bewegungsdaten kann in der Vorverarbeitungseinheit 20 eine Kompensation einer Fahrzeugbewegung erfolgen, wodurch es ihr möglich wird, dass mehrere Messzyklen in einem Sensordatensatz zusammengefasst werden können. Durch die Zusammenfassung kann dann eine Auswertung mit höherer Aussagekraft erfolgen.
-
Die Überlagerungseinheit 22 ist ebenfalls vorzugsweise als Prozessor, Prozessormodul oder Software für einen Prozessor ausgebildet. In der Überlagerungseinheit 22 wird mittels einer Überlagerung mehrerer Sensordatensätze ein Umgebungsabbild erzeugt. Insbesondere werden hierbei sogenannte Scan-to-Scan-Abgleichverfahren eingesetzt, wie beispielsweise ein Iterative-Closest Point (ICP)-Algorithmus, ein Normalverteilungstransformationsalgorithmus (NDT) oder andere Ansätze zum Ausrichten mehrerer Sensordatensätze bzw. Punktewolken der Radar-Detektionen. Üblicherweise werden mehrere Sensordatensätze abgeglichen, um das Umgebungsabbild zu erzeugen.
-
Die Auswerteeinheit 24 umfasst vorzugsweise ebenfalls einen Prozessor bzw. eine entsprechende Software und dient zum iterativen Ermitteln einer Position und Orientierung des Fahrzeugs. Das Umgebungsbild wird in der Auswerteeinheit 24 ausgewertet. Die Schätzung der Pose erfolgt ausgehend von der geschätzten Bewegung, die sich aus dem Scan-to-Scan-Abgleich bei der Erzeugung des Umgebungsabbilds ergibt. Unter einem iterativen Ermitteln versteht sich dabei eine Ermittlung, bei der schrittweise neue Daten einer vorher erzeugten Positions- und Orientierungsschätzung hinzugefügt werden. Üblicherweise werden hierzu Algorithmen der Bayes'schen Informationsverarbeitung eingesetzt, wie beispielsweise ein Kalmanfilter oder ein Partikelfilter etc. Sobald ein neues Ergebnis des Scan-to-Scan-Abgleichs verfügbar ist, wird die Schätzung der Pose aktualisiert.
-
Die Kartierungseinheit 26 ist ebenfalls beispielsweise als Prozessor oder als Prozessorteil umgesetzt. Ebenfalls ist es möglich, dass die Kartierungseinheit in Software implementiert ist. Die Kartierungseinheit 26 wertet ebenfalls das Umgebungsabbild aus, um eine Rasterkarte der Umgebung zu ermitteln. Weiterhin werden aus der ermittelten Rasterkarte Umgebungsmerkmale extrahiert. Die Kartierungseinheit 26 ist dabei vorzugsweise dazu ausgebildet, mehrere Rasterkartendarstellungen zu verwenden. Insbesondere können sogenannte Evidential Grid, Power Grid, Intensity Grid und Occupancy Grid Darstellungen verwendet werden, die die Umgebung des Fahrzeugs aus einer Vogelperspektive darstellen und unterschiedliche Informationen umfassen. Die Rasterkarte wird dabei mindestens basierend auf einem Messzyklus ermittelt. Üblicherweise werden jedoch mehrere Messzyklen verarbeitet, um eine Rasterkartendarstellung der Umgebung zu erzeugen. Hierdurch kann die Informationsdichte über einen längeren Zeitraum erhöht werden. Es wird sozusagen eine Punktewolke basierend auf mehreren Sensordatensätzen gebildet, die dann in eine Rasterkarte umgewandelt wird.
-
Eine Evidential Grid-Darstellung umfasst eine Rasterkarte, bei der jede Zelle die Anzahl an Detektionen in der Zelle enthält. Eine geänderte Darstellung könnte beispielsweise Zellen mit einer Angabe eines Minimum-, Maximum-, Median- oder Durchschnittswerts des Signalrauschverhältnisses oder auch eine Intensität beinhalten. In einem Occupancy Grid wird ein sensortypisches Verhalten nachgebildet (ein Ray-Tracer im Falle eines Radarsensors), wobei das Occupancy Grid die aktuelle Umgebung widerspiegelt.
-
Basierend auf der Rasterkarte können Umgebungsmerkmale identifiziert bzw. extrahiert werden. Hierzu können insbesondere entsprechende Merkmalsextraktionsansätze eingesetzt werden. Beispielsweise können Algorithmen der Bildverarbeitung wie ORB, BRISK, SURF, SIFT etc. eingesetzt werden. Alternativ können auch Ansätze des maschinellen Lernens wie beispielsweise künstliche neuronale Netze etc. eingesetzt werden. Die Merkmalsextraktion erfolgt dabei basierend auf mindestens einer Rasterkarte, wobei es ebenfalls möglich ist, dass ein Verfahren verwendet wird, bei dem als Eingang verschiedene Rasterkartendarstellungen der Umgebung verwendet werden. Die Umgebungsmerkmale werden basierend auf Rasterkarten mit abgeglichenen bzw. ausgerichteten Punkten ermittelt. Folglich steht nach mehreren Messzyklen des Radarsensors eine Rasterkarte der Umgebung zur Verfügung, die für die Extraktion von Umgebungsmerkmalen eingesetzt werden kann.
-
Die Optimierungseinheit 28 ist vorzugsweise als Prozessor oder als Software für einen Prozessor implementiert. In der Optimierungseinheit 28 wird eine Trajektorie des Fahrzeugs basierend auf der ermittelten Pose sowie auf den extrahierten Umgebungsmerkmalen ermittelt. Üblicherweise werden beide Informationen in einem sogenannten Abhängigkeitsdiagramm (Pose Graph) verbunden.
-
Durch die Darstellung im Abhängigkeitsdiagramm kann eine Optimierung mittels Verfahrens des Standes der Technik wie g2o etc. erfolgen. Das Ergebnis der Optimierung ist eine verbesserte Schätzung der Pose über die Zeit. Beispielsweise kann eine Drift in der Schätzung der Pose mittels der Betrachtung mehrerer Zeitschritte im Abhängigkeitsdiagramm reduziert werden. Auf Basis der Optimierung des Abhängigkeitsdiagramms kann eine Trajektorie ermittelt werden, die bezüglich der geschätzten Posen sowie der entsprechenden Umgebungsmerkmale konsistent ist. Wenn beispielsweise in Pose 1 und Pose 2 ein Auto als Umgebungsmerkmal detektiert wird, bewirkt die Verbindung zwischen den Umgebungsmerkmalen eine Bedingung dahingehend, wie sich das System zwischen Pose 1 und Pose 2 bewegt haben kann. Die Optimierung des Abhängigkeitsdiagramms kann dabei über ein bestimmtes Zeitfenster erfolgen, das vorab unter Berücksichtigung des Systems beliebig festgelegt werden kann. Durch die Festlegung eines entsprechenden Zeitfensters kann von einer lokalen Optimierung des Abhängigkeitsdiagramms gesprochen werden (Local Pose Graph Optimisation).
-
Das von der erfindungsgemäßen Vorrichtung 12 ausgeführte Verfahren ist ein Verfahren zum simultanen Lokalisieren und Kartographieren (SLAM), da die Pose und die Karte gleichzeitig ermittelt bzw. geschätzt werden.
-
In der 3 ist schematisch ein erfindungsgemäßes Verfahren zum Ermitteln einer Trajektorie eines Fahrzeugs dargestellt. Im Wesentlichen setzen die einzelnen Verfahrensschritte dabei die von den zuvor beschriebenen Einheiten der Vorrichtung durchgeführten Schritte um. Das dargestellte Verfahren umfasst die Schritte des Empfangens S10 von Sensordaten, des Erzeugens S12 eines Sensordatensatzes, des Erzeugens S14 eines Umgebungsabbilds, des iterativen Ermittelns S16 einer Position und Orientierung des Fahrzeugs, des Ermittelns S18 einer Rasterkarte und das Extrahierens S20 von Umgebungsmerkmalen aus der Rasterkarte sowie des Ermittelns S22 einer Trajektorie des Fahrzeugs. Hierbei wird in den Schritten S12 bis S16 auf Basis eines lokalen, fahrzeugzentrierten Koordinatensystems gearbeitet. Die Schritte S18 bis S22 beziehen sich auf eine Datenverarbeitung in einer ortsfesten Karte der Umgebung.
-
In der 4 ist ein Beispiel für ein Abhängigkeitsdiagramm 30 schematisch dargestellt. Grundsätzlich stellt das Abhängigkeitsdiagramm 30 dabei eine Abhängigkeit zwischen der ermittelten Pose und den Umgebungsmerkmalen her. In der Darstellung bezeichnen p0 ...pN dabei die Posen zu einem Zeitschritt. Z0:nF(p0) ... Z0:nF(pN) T bezeichnen die zum jeweiligen Zeitpunkt in der entsprechenden Pose detektierten Umgebungsmerkmale. Zwischen den Posen findet jeweils eine Transformation statt. Zwischen den detektierten Umgebungsmerkmalen erfolgt eine Überlagerung (Matching).
-
In der 5 ist schematisch eine weitere Ausführungsform einer erfindungsgemäßen Vorrichtung 12 dargestellt. Die Vorrichtung 12 umfasst zusätzlich eine Ausgabeschnittstelle 32, die dazu ausgebildet ist, die extrahierten Umgebungsmerkmale sowie die ermittelte Trajektorie an eine zentrale Kartierungsstelle weiterzuleiten und mit dieser zentralen Kartierungsstelle zu kommunizieren. Die Ausgabeschnittstelle 32 kann dabei ebenfalls in Hard- und/oder in Software implementiert werden.
-
In der 6 ist schematisch eine entsprechende Ausführungsform des erfindungsgemäßen Verfahrens dargestellt. Zusätzlich zu den zuvor beschriebenen Schritten erfolgt eine Weiterleitung S24 der extrahierten Umgebungsmerkmale sowie der ermittelten Trajektorie an die zentrale Kartierungsstelle.
-
In der 7 ist eine weitere Ausführungsform des erfindungsgemäßen Verfahrens schematisch dargestellt. Der Schritt des iterativen Ermittelns S16 erfolgt nun auf der rechten Seite in der Darstellung und entspricht einer direkten Lokalisierung des eigenen Fahrzeugs in Bezug auf eine ortsfeste bzw. globale Karte, also eine Karte, die sich auf ein ortsfestes Koordinatensystem bezieht, in dem sich das Fahrzeug bewegt. Im Schritt des iterativen Ermittelns S16 wird dabei ein Partikelfilter ausgeführt. Die Partikel werden durch eine Zuordnung der extrahierten Umgebungsmerkmale zu den Merkmalen einer vorbekannten Karte (vorbekannte Kartendaten) gewichtet. Hierbei können die vorbekannten Kartendaten insbesondere von einer zentralen Kartierungsstelle empfangen werden und der zuvor beschriebenen Welt-Rasterkarte entsprechen. Zudem werden die basierend auf mehreren Umgebungsabbildern erzeugten Bewegungsschätzungen zum Aktualisieren der Partikel verwendet, solange keine neuen Umgebungsmerkmale verfügbar sind. Üblicherweise erfolgt das Erzeugen des Umgebungsabbilds mit einer höheren Aktualisierungsrate als das Extrahieren der Umgebungsmerkmale.
-
In der 8 ist eine weitere mögliche Erweiterung schematisch dargestellt. Ein Ringschlussverfahren kann zur Optimierung der Trajektorienschätzung eingesetzt werden. Ein Ring der Trajektorie 34 wird detektiert, wenn ein Fahrzeug einen erkannten Punkt in der Umgebung ein zweites Mal passiert. Normalerweise würden sich aufgrund des Abdriftens der Schätzung der eigenen Position über die Zeit die geschätzte Trajektorie und die entsprechenden Merkmale nicht überlagern. Dadurch, dass ein Ringschluss detektiert wird, kann eine weitere Verbesserung der Positionsschätzung erreicht werden.
-
In der 9 ist schematisch ein erfindungsgemäßes Fahrzeug 10 in Kommunikation mit einer zentralen Kartierungsstelle 36 dargestellt. Die zentrale Kartierungsstelle 36 kann dabei beispielsweise als Internetserver bzw. auf einem Internetserver laufende Software ausgebildet sein.
-
Das dargestellte Fahrzeug umfasst neben der Vorrichtung 12 und dem Radarsensor 14 zusätzlich einen Positionssensor 38, der beispielsweise einem GPS-, GA-LILEO- oder GLONASS-Sensor entsprechen kann. Sofern ein derartiger Positionssensor 38 in einem Empfangsbereich eines entsprechenden Positionierungssystems ist, kann eine absolute Position mit einer vergleichsweise hohen Genauigkeit ermittelt werden. Diese absolute Position kann zur Verbesserung der ermittelten Pose in der Auswerteeinheit zusätzlich berücksichtigt werden.
-
Zudem umfasst das dargestellte Fahrzeug 10 weiterhin einen Inertialsensor 40, dessen Daten ebenfalls in der Vorrichtung 12 weiterverarbeitet werden, um die Ermittlung der Position und Orientierung zu verbessern. Der Inertialsensor 40 entspricht dabei vorzugsweise einer Inertialsensor-Messeinheit (IMU).
-
Die Erfindung wurde anhand der Zeichnungen und der Beschreibung umfassend beschrieben und erklärt. Die Beschreibung und Erklärung sind als Beispiel und nicht einschränkend zu verstehen. Die Erfindung ist nicht auf die offenbarten Ausführungsformen beschränkt. Andere Ausführungsformen oder Variationen ergeben sich für den Fachmann bei der Verwendung der vorliegenden Erfindung sowie bei einer genauen Analyse der Zeichnungen, der Offenbarung und der nachfolgenden Patentansprüche.
-
In den Patentansprüchen schließen die Wörter „umfassen“ und „mit“ nicht das Vorhandensein weiterer Elemente oder Schritte aus. Der undefinierte Artikel „ein“ oder „eine“ schließt nicht das Vorhandensein einer Mehrzahl aus. Ein einzelnes Element oder eine einzelne Einheit kann die Funktionen mehrerer der in den Patentansprüchen genannten Einheiten ausführen. Ein Element, eine Einheit, eine Schnittstelle, eine Vorrichtung und ein System können teilweise oder vollständig in Hard- und/oder in Software umgesetzt sein. Die bloße Nennung einiger Maßnahmen in mehreren verschiedenen abhängigen Patentansprüchen ist nicht dahingehend zu verstehen, dass eine Kombination dieser Maßnahmen nicht ebenfalls vorteilhaft verwendet werden kann. Ein Computerprogramm kann auf einem nichtflüchtigen Datenträger gespeichert/vertrieben werden, beispielsweise auf einem optischen Speicher oder auf einem Halbleiterlaufwerk (SSD). Ein Computerprogramm kann zusammen mit Hardware und/oder als Teil einer Hardware vertrieben werden, beispielsweise mittels des Internets oder mittels drahtgebundener oder drahtloser Kommunikationssysteme. Bezugszeichen in den Patentansprüchen sind nicht einschränkend zu verstehen.
-
Bezugszeichenliste
-
- 10
- Fahrzeug
- 12
- Vorrichtung
- 14
- Radarsensor
- 16
- Umgebung
- 18
- Eingangsschnittstelle
- 20
- Vorverarbeitungseinheit
- 22
- Überlagerungseinheit
- 24
- Auswerteeinheit
- 26
- Kartierungseinheit
- 28
- Optimierungseinheit
- 30
- Abhängigkeitsdiagramm
- 32
- Ausgabeschnittstelle
- 34
- Trajektorie
- 36
- zentrale Kartierungsstelle
- 38
- Positionssensor
- 40
- Inertialsensor
