-
Hintergrund der Erfindung
-
Fahrereassistenzsysteme zur Unterstützung eines Fahrers bei seinen Fahraufgaben finden weite Verbreitung.
-
Mit Radar-, Lidar-, Ultraschall- und Kamerasensoren wird dazu das Umfeld eines Fahrzeugs erfasst. Die erfassten Daten werden vorzugsweise in einem Umfeldmodell zusammengefasst. Das Umfeldmodell kann die Fahrzeugumgebung in räumliche Teilbereiche segmentiert darstellen, ein solcher Teilbereich wird auch Zelle eines (Umfeld-) Gitters genannt. In einem Umfeldmodell wird die einzelne Gitterzelle vorzugsweise mit einem oder mehreren Attributen wie frei, belegt, befahrbar, statisches Hindernis etc. belegt oder der Status der Zelle kann anhand von einer oder mehreren Wahrscheinlichkeiten für z. B. frei oder belegt, befahrbar und nicht befahrbar beschrieben werden.
-
Ein wichtiger Bestandteil der Umfeldanalyse ist die Erkennung des Straßenverlaufs. Um die Straße und ihre Begrenzung zu erkennen, unterteilen aktuelle Radar-Systeme ihre Sensordaten in statische und dynamische Detektionen.
-
Die statischen Detektionen werden entweder zu größeren Clustern (Ansammlungen) zusammengefasst und getrackt (verfolgt) oder sie werden in ein Grid (Umfeldmodell mit Gitterzellen, Belegungsgitter) eingetragen. Für die Detektion der Straße muss in den Daten die linke und die rechte Straßenseite bzw. die linke und die rechte Straßenbegrenzung identifiziert werden. Hierzu wird versucht, besonders markante Punkte zu identifizieren und mit komplexen Algorithmen in zur linken Straßenbegrenzung gehörende Punkte und zur rechten Straßenbegrenzung gehörende Punkte zu klassifizieren.
-
Diese Punkte werden vorzugsweise mit einem Kalmanfilter (oder einem beliebigen anderen Approximationsverfahren) in ein Modell zur Beschreibung des Straßenverlaufs, z. B. anhand eines Klothoidenmodell, überführt.
-
Aus der
DE102016200642A1 ist ein Verfahren zum Klassifizieren von Fahrbahnbegrenzungen in einem Fahrzeugumfeld eines Fahrzeugs bekannt.
-
Die
DE102018123896A1 offenbart ein Verfahren zum Betrieb eines zumindest teilautonomen Fahrzeugs, bei dem aus Umfeldsensordaten wenigstens ein Objekt in der Umgebung des Fahrzeugs erkannt und ein Umgebungsmodell des Fahrzeugs erstellt wird.
-
In der
DE102019213927A1 ist ein Verfahren zur Gewinnung von Informationen über einen Straßenverlauf beschrieben.
-
Aus der
DE102017208509A1 ist ein Verfahren zum Erzeugen eines Straßenmodells während einer Fahrt eines Kraftfahrzeugs bekannt.
-
Die verwendeten Modelle unterscheiden sich dabei in getrennte (der linke und rechte Straßenrand können gänzlich unterschiedliche Verläufe aufweisen) oder gekoppelte (linker und rechter Rand verhalten sich gleich und unterscheiden sich lediglich im Abstand zueinander) Straßenränder.
-
Die zuvor beschriebenen Verfahren (und gängige Modifikationen davon) sollen verbessert werden, insbesondere
- • Die Trennung von linkem und rechtem Straßenrand ist kompliziert, teilweise ungenau und vor allem fehleranfällig
- • Die „markanten Punkte“ sind zwar markant, stellen oftmals aber nicht die Begrenzung der Straße / des fahrbaren Bereichs dar, sondern sind lediglich besonders gut reflektierende statische Objekte (z. B. Leitplanke, Hauswände, Gartenzäune,...). Die eigentliche Fahrbahnbegrenzung liegt aber häufig weit näher als die markanten extrahierten Punkte
- • Kreuzungen, Abzweigungen, Ausfahrten, Verbreiterungen, ... werden nicht erkannt und führen zu fehlerhaften Straßenbegrenzungen
- • Die verwendeten mathematischen Modelle zur Beschreibung des Straßenrandes sind zu einschränkend und nur auf Autobahnen gut nutzbar
- • Oder die verwendeten Modelle sind zu flexibel und es können häufig nur über kurze Teile oder nur einseitige Straßenränder Aussagen getroffen werden
- • Aktuelle Ansätze sind auf einfache Umgebungen wie Autobahnen beschränkt und arbeiten nur ungenügend in städtischer Umgebung
-
Es ist demnach eine Aufgabe der vorliegenden Erfindung aus Sensordaten ein Straßenmodell zu erstellen, welches ausreichend Informationen liefert um alle damit verbundenen (Fahr-) funktionen verbessert abbilden zu können.
-
Insbesondere eine Verbesserung des Notfallbremsassistent (EBA) mit seinen verschiedenen Anwendungsgebieten, insbesondere in städtischen Bereichen, wird angestrebt. Diese stellt jedoch keine Einschränkung für das Anwendungsgebiet der nachfolgend dargestellten Erfindung dar, die für alle denkbaren Fahrfunktionen und Manöver verwendet werden kann.
-
Der grundlegende Gedankengang der Erfindung ist es, dass eine Straße genug Platz bieten muss um ein Auto darauf fahren lassen zu können. D. h. der am Ende resultierende Fahrschlauch (tatsächliche Fahrspur eines Fahrzeugs) benötigt eine Mindestbreite (z. B. 2,5m) damit sich ein Auto darauf bewegen kann.
-
Hierfür wird erfindungsgemäß ein Verfahren zur Erstellung eines Straßenmodells zur Planung einer Trajektorie eines Ego-Fahrzeugs mit den folgenden Schritten vorgeschlagen:
- - Erfassen eines Fahrzeugumfelds mittels zumindest eines Umfelderfassungssensors;
- - Detektieren von Objekten in dem Fahrzeugumfeld;
- - Erzeugen einer Grid-Map mit einer Vielzahl an Grid-Zellen
- - Eintragen der Detektionen in die Grid-Map, wobei die Detektionen vor dem Eintragen vergrößert werden;
- - Ermitteln von zumindest einem Pfad durch die Grid-Map, welcher nur aus freien Grid-Zellen besteht;
- - Schrittweise abtasten des zumindest einen Pfades, wobei beidseitig orthogonal zu einer Abtastrichtung des Pfades Detektionen ermittelt werden;
- - Zuordnen der Detektionen entlang des zumindest einen Pfades zu Straßenbegrenzungen;
- - Erstellen des Straßenmodells basierend auf den zuvor ermittelten Informationen.
-
Das zuvor beschriebene Verfahren verwendet bevorzugt zumindest einen Radarsensor, kann allerdings sehr einfach auf weitere Sensor-Typen als Radarsensoren erweitert werden. Es ist ohne weiteres möglich, Kamera-Detektionen oder gar Kartendaten auf gleiche Weise in das Grid einzubauen oder sogar für erweitertes Scoring/Gewichtungen zu verwenden. Damit wird sehr einfach aber effektiv eine Sensordatenfusion durchgeführt.
-
Hierbei werden für das Erstellen des Grids bzw. Course-Grids die (Radar-) Detektionen nicht wie üblich direkt in ein Grid (Belegungsgitter) eingetragen. Stattdessen werden alle Detektionen vergrößert. Zusätzlich zu Radardetektionen können auch andere Daten in das Grid eingetragen werden. Hierbei ergibt sich der Vorteil, dass der abzuhaltende Abstand für alle verschiedenen Sensordaten unterschiedlich in das Grid modelliert werden kann. So kann z. B. ein linker Bordstein um 1m nach rechts vergrößert werden (um die entsprechende Fahrschlauchbreite zu erhalten) aber um 5m nach links, um mit Sicherheit keinen freien Fahrschlauch hinter dem Bordstein zu erlauben.
-
Durch die Verwendung des Course-Grids können nun insbesondere einfache Pfade durch das Grid gesucht werden. Hierbei wird zumindest ein Pfad gesucht, der nur aus freien Zellen besteht. Dieser zumindest eine Pfad ist (durch das spezielle Eintragen in das Grid) breit genug, dass ein Auto durch passt.
-
Die Suche eines Pfades ist situationsabhängig, effizient und erlaubt insbesondere eine individuelle und feine Gewichtung des bevorzugten Pfades (und somit schlussendlich des Straßenverlaufs). Als Erweiterung können auch Pfade berücksichtigt werden, die einzelne belegt Zellen aufweisen, die als Fehldetektionen oder über bzw. unterfahrbar gewertet werden können.
-
Weiterhin ist bei dem Verfahren der Schritt des Abtastens des Pfades vorteilhaft. Dies bedeutet, dass in vorgebbaren regelmäßigen Abständen (beispielsweise alle 2m) orthogonal zum Verlauf des Pfades nach links und rechts abgetastet wird, bis man in den Sensordaten auf eine Detektion stößt. Dieser Punkt stellt dann insbesondere einen Teil des Straßenrandes dar. Trifft man auf keine Detektion, kann man z. B. auf Basis anderer Detektionen eine Schätzung vornehmen, der man eine sehr geringe Existenzwahrscheinlichkeit zuweist. Dieses Verfahren ermöglicht zum einen ein äußerst zuverlässiges Unterscheiden von Detektionen des linken bzw. rechten Straßenrands. Zum anderen ermöglicht es auch, bessere markante Punkte zu wählen, da insbesondere die so gefundenen Punkte nicht zwangsläufig nur „guten“ Detektionen (im Sinne einer starken Reflektanz / Radarmessung) entsprechen sondern sich dadurch auszeichnen, dass sie den befahrbaren vom nichtbefahrbaren Bereich trennen.
-
Alternativ zur orthogonalen Abtastung ist auch eine Abtastung in eine andere festgelegt Richtung z. B. y-Richtung möglich. Die einzelnen Punkte/Detektionen können anhand ihren Intensität, der Größer des zugehörigen Clusters, eine Sensorklassifizierung gewichtet und zum Teil in der Position verschoben werden. So kann z. B. ein Punkt, der zu einem Bordstein gehört und von einem Kamerasensor erfasst wird, sehr hoch gewichtet werden und ein Punkt, der zu einem sehr schwachem Radar cluster (Detektion) gehört, sehr niedrig gewichtet werden.
-
Die zuvor gefundenen Punkte können somit verwendet werden, um einen Straßenrand zu liefern. Dafür kann ein Approximationsverfahren (z. B. gewichtetes linear least squares) oder ein Trackingverfahren (z. B. Kalman-filter) verwendet werden, um mit Hilfe der Punkte den Straßenverlauf zu schätzen. Die Stärke oder Größe der Detektion im Grid kann zudem als Gewichtung Verwendung finden.
-
In einer bevorzugten Ausgestaltung wird das Straßenmodell in einem weiteren Schritt zumindest einer Fahrfunktion bereitgestellt.
-
Weiterhin weist besonders bevorzugt die Grid-Map eine Grid-Auflösung von wenigstens 0,5m pro Grid-Zelle auf.
-
Erfindungsgemäß ist vorgesehen, dass für den zumindest einen ermittelten Pfad eine Mindestbreite vorgegeben ist.
-
Weiter werden erfindungsgemäß die Detektionen um einen Betrag vergrößert, der zumindest der Hälfte der Differenz aus der Mindestbreite des Pfads und der Auflösung des Grids. Diese Vergrößerung ist vorteilhaft, da somit für leere Zellen der direkte Rückschluss gezogen werden kann, dass ein Auto in den freien Bereich passt. Dies wird nachfolgend an einem Beispiel näher erläutert.
-
Beispielsweise ist die Grid-Auflösung z. B. 0,5 m (G) (d. h. eine Gitterzelle repräsentiert einen Bereich mit dieser Abmessung in einem Fahrzeugumfeld) und die angenommene/gesuchte Fahrschlauchbreite ist z. B. 2,5 m (B_F). Alle Detektionen von Objekten in der Fahrzeugumgebung werden jetzt um (B_F-G)/2 (Beispiel: (2,5m - 0,5m) / 2 = 1 m) vergrößert. Die Vergrößerung findet sich in einer bevorzugten Raumrichtung oder alternativ in alle Raumrichtungen statt. Befindet sich jetzt ein Objekt in diesem Zahlenbeispiel bei y=-1m belegt es Zellen (um 1m vergrößert) bis 0m (-1m+1m=0m) bzw. bis -2 m. Ein anderes Objekt bei y = +1,5 belegt Zellen von 0,5m (1,5m-1m = 0,5) bzw. 2,5 m. Es bleibt also garantiert bei diesem Objektabstand von 2,5 m eine Zelle (von 0 m bis 0,5 m) frei.
-
In einer weiteren bevorzugten Ausgestaltung wird die Vergrößerung der Detektionen in einer bestimmten Raumrichtung oder in alle Raumrichtungen durchgeführt.
-
Weiter ist besonders bevorzugt die Vergrößerung der Detektion für jede Raumrichtung unterschiedlich. Beispielsweise kann die Vergrößerung auf der dem Fahrzeug abgewandten Seite kleiner sein als auf der dem Fahrzeug zugewandten Seite bzw. in Gebieten, die direkt an eine möglich Fahrtrajektorie des Fahrzeugs angrenzen.
-
Allgemein ist bei der Vergrößerung der Detektionen vor dem Eintragen vorteilhaft, dass die Mindestbreite, die als Bedingung angenommen wird, schon in das Grid (Belegungsgitter) selbst eingetragen wird. Eine freie Zelle signalisiert somit immer, dass ein Fahrzeug der angenommenen Breite dort durch passt. Im Gegensatz zum einfachem Eintragen der Objekte muss nicht mehr geprüft werden ob die Nachbarzellen frei sind und ob genug Platz ist.
-
Es entsteht zwar ein geringfügig größerer Rechenaufwand (durch das Vergrößern der Objekte) beim Eintragen der Objekte in das Grid aber dafür entfällt der Aufwand einer Prüfung, ob ausreichend Breite vorhanden ist, die für jede Zelle einzeln durchgeführt werden müsste sowie bei der Suche nach einem Pfad.
-
Alternativ zur Verbreiterung beim Eintragen kann die Verbreiterung der im Grid belegten Zellen auch nach dem Eintragen in das Grid erfolgen.
-
In einer weiteren besonders bevorzugten Ausführungsform werden mehrere, aber zumindest zwei, hypothetische Pfade vorberechnet, wobei diese Pfade basierend auf festlegbaren Merkmalen gewichtet werden. Für jeder dieser Hypothesen kann vorteilhafterweise im genau angegeben werden, welche Zellen entsprechend auf ihre Belegung geprüft werden müssen. D. h. die Berechnung, ob ein Pfad (die entsprechende Hypothese) durch das Grid (und somit ein Straßenverlauf durch die Sensordetektionen) möglich ist, reduziert sich auf lesende Speicherzugriffe im Grid.
-
Übliche Algorithmen zu Pfadsuche erlauben sehr viele mögliche Pfade und der Rechenaufwand ist trotz erheblicher Optimierung sehr groß. Durch die Beschränkung auf vorberechnete Hypothesen wird die Komplexität auf vorteilhafte Weise deutlich reduziert und die Suche auf relevante Pfade beschränkt. Hierdurch wird der Rechenaufwand deutlich reduziert.
-
Die Hypothesen müssen nicht einer spezifischen Klasse von Funktionen entsprechen (wie das in State-of-the-Art-Verfahren der Fall ist), sondern können aus verschiedenen Funktionsklassen gemischt werden und auch aus freien Pfaden bestehen. So können z. B. Polynome mit Kreisbögen, Splines,.. kombiniert werden und alle gemeinsam in die Gesamtmenge der Hypothesen aufgenommen werden.
-
Die verwendeten Funktionen und Klassen können abhängig vom ODD (operational domain, z. B. Autobahn, Landstraße, Stadt) gewählt bzw. auf gewisse Funktionen und Klassen beschränkt werden. um den Rechenaufwand zu reduzieren. Plötzliche 90°-Kurven sind auf der Autobahn nicht möglich, in der Stadt hingegen schon. Für jede Hypothese wird ein Score bestimmt, der grob seiner theoretischen Wahrscheinlich entspricht (z. B. sind gerade Straßenverläufe wahrscheinlicher als starke Kurven).
-
Wird geprüft, ob ein Pfad durch das Grid führt, wird zudem geprüft, wie weit dieser Pfad reicht bzw. wann er an ein Hindernis stößt. Diese Länge ergibt ein weiteres Gewicht, das zusammen mit dem Basis-Score der Hypothese (= des getesteten Pfads) eine Gesamt-Wahrscheinlichkeit ergibt. Für eine Zeitstabilisierung wird im Grid zusätzlich der Pfad des vorherigen Durchlaufens in ein separates Datenfeld eigetragen (es können auch zusätzlich benachbarte Zellen entsprechend gekennzeichnet werden). Pfade die diese Zelle passieren erhalten zusätzliche Scores. Dadurch werden bei der aktuellen Suche Pfade besser bewertet, die dem vorherigen Pfad ähneln. Hierdurch wird eine zeitliche Stabilisierung erreicht.
-
Der so erstellte Pfad kann als ein „Driving Corridor“ bzw. als potenzielle Trajektorie des Fahrzeugs direkt verwendet werden.
-
Erfindungsgemäß ist weiter ein Computerprogrammprodukt für ein Fahrzeug vorgesehen, welches zur Durchführung des Verfahrens gemäß der Ansprüche 1 bis 8 ausgestaltet ist.
-
Es können aber auch mehr oder weniger Schritte dazu beitragen. Die Schritte können einzeln je weiter optimiert und/oder abgewandelt werden. Zudem können die Schritte jeweils einzeln oder in Kombination mit anderen Schritten - genannt oder nicht genannt- umgesetzt werden. Z. B. Schritt 2 und 3 geben je Lösungen für Unterprobleme die je nach Anwendung ohne die restlichen Schritte einen erheblichen Mehrwert bieten.
-
Weitere vorteilhafte Ausgestaltungen und Ausführungsformen sind Gegenstand der Zeichnungen. Darin zeigen:
- 1: eine schematische Ansicht eines Grids gemäß einer Ausführungsform der Erfindung;
- 2: eine schematische Darstellung mehrerer hypothetischer Pfade;
- 3: eine weitere schematische Darstellung eines Grids gemäß einer Ausführungsform der Erfindung mit mehreren Pfaden;
- 4: eine weitere schematische Darstellung eines Grids gemäß einer Ausführungsform der Erfindung mit Straßenbegrenzungen;
- 5: eine schematische Darstellung einer Auswahl an hypothetischen Pfaden;
- 6: eine schematische Darstellung eines Straßenmodells gemäß einer Ausführungsform der Erfindung;
- 7: ein schematisches Ablaufdiagramm des Verfahrens gemäß einer Ausführungsform der Erfindung.
-
In 1 ist eine schematische Ansicht eines Grids 1 gemäß einer Ausführungsform der Erfindung gezeigt. Dieses Grid 1 bzw. die Grid-Map 1 besteht dabei aus freien 1a und belegten Grid-Zellen 1b. Die Detektionen, welche als belegte Grid-Zellen 1b dargestellt sind, werden beim Eintragen in die Grid-Map vergrößert. Entsprechend sind einige Grid-Zellen nicht direkt belegt, allerdings von der Vergrößerung V erfasst. Durch das Eintragen der Vergrößerung V der Detektionen kann sichergestellt werden, dass die freien Grid-Zellen 1a einen breit genugen Bereich repräsentieren, damit ein Fahrzeug die Detektionen problemlos passieren kann.
-
Die 2 zeigt eine schematische Darstellung mehrerer hypothetischer Pfade Pn. Die hier dargestellten hypothetischen Pfade Pn - Pn+1 können vorab im System berechnet werden, um zu einem späteren Zeitpunkt den Pfad Pn auszuwählen, welcher nur durch freie Grid-Zellen 1a durch die Grid-Map 1 verläuft.
-
In 3 ist eine weitere schematische Darstellung eines Grids 1 gemäß einer Ausführungsform der Erfindung mit mehreren Pfaden gezeigt. In dieser Darstellung wurden die Vergrößerungen V verwendet die belegten Grid-Zellen 1b zu erweitern. Nun wurden die in 2 gezeigten vorberechneten hypothetischen Pfade Pn - Pn+1 in die Grid-Map 1 eingetragen. Es wurden nun die Pfade P1 und P2 ausgewählt, welche nicht durch belegte Grid-Zellen 1b (mit einberechneter Vergrößerung V) blockiert werden. Diese beiden Pfade P1 und P2 verlaufen durch die Grid-Map 1 nur durch freie Grid-Zellen 1a. Die übrigen Pfade Pn werden durch die belegten Grid-Zellen 1b blockiert.
-
Die 4 zeigt eine weitere schematische Darstellung eines Grids 1 gemäß einer Ausführungsform der Erfindung mit Straßenbegrenzungen Sb. In dieser Darstellung wurde der Pfad P1 ausgewählt. Entlang dieses Pfades P1 wird nun in regelmäßigen Abständen der Pfad in orthogonaler Richtung zur Abfahrrichtung des Pfades P1 abgetastet. Durch das Abtasten werden Punkte ermittelt, welche zu Detektionen entlang der Fahrspur zugeordnet werden können. Diese Punkte werden dann als Straßenbegrenzung Sb eingestuft.
-
5 zeigt eine schematische Darstellung einer Auswahl an hypothetischen Pfaden. Diese Darstellung entspricht im Wesentlichen der Auswahl an Pfaden aus 3. Es sind die Pfade P1 und P2 auf Basis des Verlaufs durch die Grid-Map 1 ausgewählt.
-
Die 6 zeigt eine schematische Darstellung eines Straßenmodells gemäß einer Ausführungsform der Erfindung. In diesem Straßenmodell ist der Pfad P1 ausgewählt welcher nur durch freie Grid-Zellen 1a (hier nicht gezeigt) verläuft. Weiter sind die Punkte der Straßenbegrenzungen Sb gezeigt, welche im Wesentlichen einen Verlauf von Straßenrändern beschreiben. Dieses Straßenmodell kann dann beispielsweise einem Fahrerassistenzsystem bereitgestellt werden.
-
Die 7 zeigt schematisches Ablaufdiagramm des Verfahrens gemäß einer Ausführungsform der Erfindung. In Schritt S1 wird ein Fahrzeugumfeld mittels zumindest einem Umfelderfassungssensor erfasst. In Schritt S2 werden Objekte in dem Fahrzeugumfeld detektiert. Die Objekte werden dabei beispielsweise aus einem Kamerabild oder basierend auf Radardetektionen ermittelt. In Schritt S3 wird eine Grid-Map 1 mit einer Vielzahl an Grid-Zellen 1a, 1b erzeugt. In Schritt S4 werden die Detektionen in die Grid-Map 1 eingetragen, wobei die Detektionen vor dem Eintragen vergrößert werden. Es werden somit die Detektionen selbst als belegte Grid-Zellen 1b und zusätzlich ein bestimmbarer Betrag als Vergrößerung V in die Grid-Map 1 eingetragen. In einem weiteren Schritt S5 wird zumindest ein Pfad durch die Grid-Map 1 ermittelt, welcher nur aus freien Grid-Zellen 1a besteht. Weiter wird in Schritt S6 der zumindest eine Pfad schrittweise abgetastet, wobei beidseitig orthogonal zu einer Abtastrichtung des Pfades Detektionen ermittelt werden. In einem Schritt S7 werden die Detektionen entlang des zumindest einen Pfades zu Straßenbegrenzungen Sb zugeordnet. Abschließend kann in einem Schritt S8 das Straßenmodell basierend auf den zuvor ermittelten Informationen erstellt werden. Das Straßenmodell umfasst dann einen ausgewählten Pfad, welcher nur durch freie Grid-Zellen 1a verläuft, sowie einen Verlauf von Straßenbegrenzungen basierend auf dem Abtastergebnis. Auf diese Weise wird sichergestellt, dass der ausgewählte Pfad breit genug für das Ego-Fahrzeug ist.
-
Bezugszeichenliste
-
- 1
- Grid-Map
- 1a
- freie Grid-Zellen
- 1b
- belegte Grid-Zellen
- Pn-Pn+1
- hypothetische Pfade
- P1, P2
- Ausgewählte Pfade
- Sb
- Straßenbegrenzungen
- S1-S8
- Verfahrensschritte
- V
- Vergrößerung
