-
Die Erfindung betrifft ein Verfahren zum Erstellen einer Datenbank zur Fahrkontexterkennung sowie die Verwendung einer Datenbank in einem Fahrerassistenzsystem.
-
Heutige Sensoren und Wahrnehmungssysteme, welche im assistierten und autonomen Fahrsystemen verwendet werden, arbeiten hauptsächlich unabhängig und bauen keinen Gesamtfahrkontext des Fahrzeugs auf. Fahrkontext bedeutet in diesem Zusammenhang z.B. „Das Fahrzeug fährt in einer städtischen Situation, in welcher Ampeln, Haltelinien und kreuzende Fußgänger wahrscheinlich und zu erwarten sind“.
-
Es gibt einige Kontexterkennungsmerkmale (z.B. eine Tunneldetektion bei Radarsensoren), aber diese werden nur für den Zweck der Detektion und der Vermeidung von False-Positives verwendet.
-
Aus der
DE102017212607A1 ist ein Verfahren zum Betreiben eines Kraftfahrzeugs unter Verwendung eines Fahrerassistenzsystems offenbart.
-
Die
DE102018112164A1 zeigt ein Verfahren zum Betreiben eines Fahrunterstützungssystems eines Fahrzeugs zum Identifizieren einer bestimmten Fahrsituation, das dazu geeignet ist, eine bestimmte Fahrsituation, bei der eine Fahrunterstützung erforderlich ist, mit einem hohen Grad an Genauigkeit zu erfassen, so dass eine geeignete Fahrunterstützung bereitgestellt werden kann.
-
Die
DE102020202627A1 beschreibt ein Verfahren zum Anpassen einer Parametrisierung mindestens eines Algorithmus für eine Sensordatenfusion, insbesondere für ein automatisiert betreibbares Fahrzeug.
-
Aus der
DE102020205315A1 sind ein Verfahren und eine Vorrichtung zur Identifikation kritischer Fahrsituationen beim Betreiben eines autonomen Fahrzeugs bekannt.
-
Es ist demnach eine Aufgabe der Erfindung eine Lösung vorzuschlagen, mittels welcher eine Fahrkontexterkennung ermöglicht wird.
-
Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche 1 und 7 gelöst. Weitere vorteilhafte Ausgestaltungen und Ausführungsformen sind Gegenstand der Unteransprüche.
-
Erste Überlegungen waren dahingehend, dass eine andere Fahrkontexterkennung, -detektion und -klassifizierung (z.B. Detektion von einem Straßentyp „Stadt“ vs. „Landstraße“ vs. „Autobahn“) keine anderen Eigenschaften beinhalten, welche zur Beschreibung der gesamten Szene und des gesamten Kontexts relevant sind.
-
Eine Überlegung war, dass die dynamische Abhängigkeit die verzögerten Interdependenzen zwischen Zeitreihen CPU & Mem-Nutzen eines Cloud-Service-Systems unter Verwendung eines RNN-basierten Deep-Learning-Modells untersucht. Eine weitere Überlegung war den statistischen Ansatz auf eine große Menge an verfügbaren realen Aufnahmedaten anzuwenden, um die Abhängigkeit zwischen verschiedenen semantischen Bezeichnungen der Szene zu erforschen und den Fahrkontext in einer umfassenden Umgebung abzuleiten.
-
Aus dem Stand der Technik sind weiterhin Ansätze bekannt, welche den Szenengraph für das Verstehen des Kontexts der Szene konstruieren, allerdings ist der Kontext beschränkter auf den Umfang der Szenenerfassung oder der Bilderfassung. Auch nutzen diese Ansätze die räumliche Nähe, um Labels zuzuordnen, um den Szenenkontext zu erzeugen. Der hier verwendete Ansatz verwendet keine räumliche Nähe, sondern es wird das Verhalten der Szenenlabels über die Zeit untersucht und es wird der gesamte Fahrkontext erfasst und ist nicht nur auf die Bild- oder Szenenerfassung beschränkt.
-
Heutige Fahrerassistenzsysteme haben eine begrenzte Möglichkeit zum Detektieren des Fahrkontexts eines Fahrzeugs. Die Fahrfunktion des assistierten / autonomen Fahrsystems kennen den Fahrkontext nicht und verhalten sich nicht korrekt oder verwenden diese Information nicht.
-
Diese Systeme berücksichtigen die Abhängigkeit der verschiedenen Fahrkontexte nicht und haben Probleme die Übergangspunkte von einem Fahrkontextzustand zu einem anderen zu identifizieren (z.B. Detektion des Verlassens einer Stadtautobahn und das direkte Annähern an eine Stadtkreuzung).
-
Viele typische false-positive-Detektionen werden daher hervorgerufen. Beispiele für solche false-positive-Detektionen sind:
- - „Stehende Fahrzeuge“ (z.B. vor einer Ampel oder Kreuzung) werden als „parkende Fahrzeuge“ eingestuft und anders herum;
- - Dehnfugen zwischen Segmenten einer Brücke werden falsch detektiert und als Hindernisse ausgegeben (bezogen auf Radardetektionen)
- - Dehnfugen zwischen Segmenten einer Brücke werden falsch detektiert und als Haltelinien ausgegeben (Bezogen auf eine optische Detektion)
- - Ein Kontrollschacht / Gully auf der Straße wird falsch detektiert und als Hindernis klassifiziert;
- - Es wird ein falsches Fahrspurmodel in Baustellenabschnitten erzeugt, da die Baustelle nicht identifiziert wurde.
-
Erfindungsgemäß wird demnach ein Verfahren zum Erstellen einer Datenbank zur Fahrkontexterkennung für ein Fahrerassistenzsystem eines Ego-Fahrzeugs vorgeschlagen, umfassend die folgenden Schritte:
- - Erzeugen einer Datenbank mit Sensordaten basierend auf einer Vielzahl von Sensoraufzeichnungen;
- - Labeln der Sensordaten in der Datenbank;
- - Erzeugen von Abhängigkeitsgraphen zwischen den Labeln;
- - Ermitteln von Abhängigkeiten zwischen den Labeln basierend auf den Abhängigkeitsgraphen;
- - Identifizieren von logischen Sequenzen der Label;
- - Festlegen von bestimmten Fahrkontexten basierend auf den logischen Sequenzen;
- - Abspeichern der festgelegten Fahrkontexte in der Datenbank.
-
Die Vielzahl an Sensoraufzeichnungen wird bevorzugt von einer Vielzahl an Fahrzeugen erzeugt. Es wäre auch denkbar, dass die Sensoraufzeichnungen von einem Fahrzeug über einen bestimmten Zeitraum hinweg erzeugt und in der Datenbank abgelegt werden. Jedoch ist die Verwendung von Sensordaten von einer Vielzahl an Fahrzeugen aufgrund der möglichen Menge an verschiedenen Daten vorteilhaft.
-
Ein Label beschreibt im Lichte dieser Offenbarung eine einzelne, klar kennzeichenbare Beobachtung, die zur Erkennung und Beschreibung eines Gesamtkontextes verwendet werden kann. Ein Label alleine beschreibt für sich aber noch nicht zwingend einen Kontext vollständig und unabhängig. Labels können auch im Widerspruch zueinanderstehen.
-
Die in der Datenbank abgelegten Sensordaten werden in einem Schritt des Verfahrens gelabelt. So sind beispielsweise in einer Sensoraufzeichnung bzw. in einem Teil der Sensoraufzeichnung die Daten „Anzahl an Fahrspuren“, „Fahrspurbreite“ und die „beobachtete Fahrtrichtung der Fahrspuren“ vorhanden, welche beispielsweise mittels eines Algorithmus entsprechend klassifiziert werden. Aus diesen klassifizierten Daten kann dann entsprechend ein Label „Autobahn“ erzeugt werden. Weiterhin können aus den Daten weitere Labels wie beispielsweise „Stadt“, „Landstraße“, „Brücke“, „Tag“, „Nacht“, „Kreisverkehr/Verkehrsinsei“, „andere Verkehrsteilnehmer“, „Wetterlage“ und/oder „Tunnel“ etc. ermittelt werden. Die Label werden entweder durch einen Testfahrer während der Fahrt erzeugt oder werden in einem Nachverarbeitungsschritt nach dem Beenden der Aufnahme zugeordnet.
-
Zu den Labeln werden Abhängigkeitsgraphen erzeugt. Die Abhängigkeitsgraphen werden durch das Ergebnis einer Label Analyse ermittelt bzw. sind das Ergebnis der Optimierung der Label. Diese Analyse findet außerhalb des Fahrzeugs statt, typischerweise während der Entwicklungsphase oder bevor ein Software-Update an die Fahrzeuge ausgegeben werden soll. Durch diese Abhängigkeitsgraphen werden erste Zusammenhänge zwischen den Labeln hergestellt. Beispielsweise kann das Label „Kreisverkehr“ mit dem Label „Stadt“ oder „Landstraße“ auftreten. Durch die Ermittlung der Abhängigkeiten wird festgestellt, in welcher Form die Label voneinander Abhängen. Beispielsweise wird ermittelt, ob ein Label ein anderes triggert oder immer zusammen mit einem anderen auftritt etc.. Ein weiteres Beispiel wäre das Label „Ampel“. Dieses Label kann auf Autobahnen und im Stadtverkehr auftreten, auch wenn die Wahrscheinlichkeit für eine Ampel im Stadtverkehr höher ist als auf Autobahnen. Wenn nun beispielsweise eine rote Ampel auf der Autobahn erkannt wird, beispielsweise vor einem Tunneleingang, kann das zu erstellende Kontextwissen für die Plausibilisierung verwendet werden. Beispielsweise wird als erstes ein Tunnel auf der Autobahn erkannt, dies würde dann als erstes Label „Tunnel“ verwendet werden. Aus dem Abhängigkeitsgraph ist bekannt, dass im Umfeld von Tunneln auf Autobahnen Ampeln am Tunneleingang existieren können. Danach wird eine Ampel erkannt. Dies stellt dann das zweite Label dar. Die Kombination der Label „Tunnel“ und „Ampel“ auf einer „Autobahn“ existiert im Abhängigkeitsgraphen. Somit kann der Erkennung der „Ampel“ auf der Autobahn eine höhere Konfidenz zugeordnet werden, als bei einer Erkennung einer „Ampel“ auf einer Autobahn ohne Tunnelzusammenhang.
-
Basierend auf den Abhängigkeiten können logische Sequenzen von Labeln identifiziert werden. Beispielsweise könnte eine logische Sequenz bestehend aus den Labeln „Tag“, „Autobahn“ und „Brücke“ erstellt identifiziert werden. Basierend auf dieser logischen Sequenz kann der Fahrkontext festgelegt werden, dass das Auto bei Tag auf einer Autobahn über eine Brücke fährt. Entsprechend wird eine Vielzahl an Fahrkontexten festgelegt, in welchen verschiedene Labels, welche eine gewisse Abhängigkeit zueinander aufweisen, zu einer Sequenz zusammengefasst werden. Die festgelegten Fahrkontexte werden dann in einer Datenbank abgelegt.
-
In einer bevorzugten Ausgestaltung werden bei der Ermittlung der Abhängigkeiten zwischen den Labeln jeweils diskretisierte Zeitschlitze berücksichtigt. Die diskretisierten Zeitschlitze beschreiben feste Zeitintervalle, bspw. 5 Sekunden. Alle Labels die innerhalb eines Zeitschlitzes auftreten werden zusammengefasst zu einem einzelnen Zeitpunkt. Durch die Diskretisierung der Zeit kann die Komplexität des Problems reduziert werden.
-
Weiter ist bevorzugt, dass die diskretisierten Zeitschlitze analysiert und geclustert werden. Durch das Clustern der Zeitschlitze mit den darin enthaltenen Labels können wiederkehrende Abläufe erkannt werden bzw. die Information extrahiert werden, dass ein bestimmtes Label, oder eine Gruppe von Labels, nach einer häufig auftretenden Zeit, bzw. Distanz bei gegebener Eigengeschwindigkeit des Ego-Fahrzeugs v_ego, auftreten. Dies wird verwendet, um eine Vorhersage zu treffen, welche Labels und damit welcher Kontext wahrscheinlich an die aktuellen anschließen wird. Vereinfacht kann beispielsweise ein Verkehrsschild als erste Label festgelegt werden, welches eine Ausfahrt ankündigt. Auf dieses Schild folgt in einer gewissen Distanz die Ausfahrt, welche als zweites Label festgelegt wird. Ein weiteres Beispiel wäre, dass nach einer Einfahrt in einen Tunnel, erstes Label, Gullydeckel im Tunnel, zweites Label, folgen zur Entwässerung im Tunnel, selbst wenn es außerhalb vom Tunnel keinerlei Gullydeckel gibt. Vorteilhaft bei dieser Ausgestaltung ist demnach, dass hiermit auch Zusammenhänge erkannt werden, welche nicht direkt offensichtlich und klar sind.
-
In einer weiteren besonders bevorzugten Ausgestaltung der Erfindung wird die Datenbank einem Fahrerassistenzsystem des Ego-Fahrzeugs bereitgestellt.
-
Bevorzugt wird die Datenbank nach dem Bereitstellen an das Fahrerassistenzsystem mit Sensordaten des Ego-Fahrzeugs im Betrieb des Ego-Fahrzeugs aktualisiert. Dies ist vorteilhaft, da so beispielsweise die Bestimmung der Label bzw. die Merkmale, welche ein Label beschreiben erweitert und aktualisiert werden können. Weiterhin können auch neue Label auf diese Weise erzeugt bzw. nachträglich ergänzt werden. Die Aktualisierung kann beispielsweise auch über ein Over-The-Air-Update dem Fahrzeug bzw. der Datenbank bereitgestellt werden. Weiterhin kann auch verifiziert werden, ob die Abhängigkeiten bzw. die Sequenzen von Labeln noch zutreffend sind. Bei dem Generieren von neuen Labeln während des Betriebs des Fahrzeugs kann eine Labelgraphenanalyse durchgeführt werden. Diese Labelgraphenanalyse kann bevorzugt während der Entwicklung oder auch während des Betriebs des Fahrzeugs durchgeführt werden und kann zudem verwendet werden, um zirkuläre Abhängigkeiten zu identifizieren. Bei diesen zirkulären Abhängigkeiten kann bestimmt werden, welche weiteren Umfelddaten bzw. Umfeldmodelldaten notwendig sind, um ein Übergangskriterium von einem Labelzustand zu einem nächsten festzulegen.
-
Weiter wird besonders bevorzugt für die Bestimmung der diskretisierte Zeitschlitze eine Histogramm-Analyse durchgeführt. Mit der Histogramm-Analyse können Spitzencluster der Zeitschlitze ermittelt werden. Mit dem Histogramm kann gezielt untersucht werden, ob die Abhängigkeiten einen festen zeitlichen Bezug haben, oder ob diese losgekoppelt von der Zeit sind. Es gibt auch Label-Sequenzen, die bedeutsam sind ohne jeglichen speziellen Zeitbezug zwischen diesen.
-
Weiterhin ist erfindungsgemäß die Verwendung einer Datenbank zur Fahrkontexterkennung, welche durch ein Verfahren gemäß den Ansprüchen 1 bis 6 erstellt wurde, in einem Fahrerassistenzsystem eines Fahrzeugs vorgesehen.
-
Weitere vorteilhafte Ausgestaltungen und Ausführungsformen sind Gegenstand der Figuren. Darin zeigen:
- 1.: ein schematisches Ablaufdiagramm des Verfahrens gemäß einer Ausführungsform der Erfindung;
- 2.: eine schematische Darstellung eines Histogramms gemäß einer Ausführungsform der Erfindung;
- 3.: eine schematische Darstellung einer zirkulären Abhängigkeit gemäß einer weiteren Ausführungsform der Erfindung.
-
In 1 ist ein schematisches Ablaufdiagramm des Verfahrens gemäß einer Ausführungsform der Erfindung gezeigt. In einem Schritt S1 wird eine Datenbank mit Sensordaten basierend auf einer Vielzahl an Sensoraufzeichnungen erzeugt. In einem folgenden Schritt S2 werden die Sensordaten in der Datenbank gelabelt. In Schritt S3 werden Abhängigkeitsgraphen zwischen den Labeln erzeugt. In Schritt S4 werden Abhängigkeiten zwischen den Labeln basierend auf den Abhängigkeitsgraphen ermittelt. In einem weiteren Schritt S5 werden logische Sequenzen der Label identifiziert. Nachfolgend werden in Schritt S6 Fahrkontexte basierend auf den logischen Sequenzen festgelegt. Abschließend werden die festgelegten Fahrkontexte in einem Schritt S7 in der Datenbank abgespeichert.
-
Die 2 zeigt eine schematische Darstellung eines Histogramms gemäß einer Ausführungsform der Erfindung. Das Histogramm H zeigt die Anzahl des Auftretens bestimmter Label über einen bestimmten Zeitraum an. Weiterhin sind die Zeitschlitze T1-T3 in welchen Label auftreten angegeben. Die Zeitschlitze T1 bis T3 werden entsprechend in Cluster 1 bis Cluster 3 geclustert.
-
3 zeigt eine schematische Darstellung einer zirkulären Abhängigkeit gemäß einer weiteren Ausführungsform der Erfindung. In dieser Darstellung ist eine zirkuläre Abhängigkeit zwischen den Labeln A bis E gezeigt. Hierbei waren die Label C und E bereits früher gelabelt. Um die Übergänge von Label C auf Label E bzw. Label E auf Label C zu ermöglichen wurde mittels Umfeldmodelldaten 1 eine Label-Generierung2 durchgeführt und entsprechend aus den Daten 1 neue Label generiert. Mit den neuen Umfelddaten 1 bzw. den daraus erzeugten Labeln A, B und D kann eine zirkuläre Abhängigkeit der Label A bis E hergestellt werden. Derartige Analysen finden allerdings nur offline statt. Zur Laufzeit des Verfahrens im Zielfahrzeug müssen alle Label mit den zur Verfügung stehenden Informationen erkannt und identifiziert werden, da es kein manuelles Labeln mehr gibt. Zu jedem Label A-E muss entweder eine eindeutige Beobachtung bzw. Umfelddaten 1 mit Label-Generierung 2 zur Laufzeit oder das Folge-Label vorhanden sein, z. B. Label C nach B ergibt sich zwangsläufig aus der o.g. Abhängigkeitsanalyse, auch wenn für das Label C zur Laufzeit im Fahrzeug keine explizite Beobachtung/Messung verfügbar oder möglich ist.
Z.B.: Eine vereiste Fahrbahn (=Label) kann aktuell nicht vorausschauend erkannt werden mit den verwendeten Sensoren, aber dies kann aus anderen Labeln im gegebenen Kontext mit hoher Präzision vorhergesagt werden.
-
Ein weiteres Beispiel wäre, dass nicht direkt gemessen werden kann, ob ein stehendes Fahrzeug „geparkt“ ist oder ob es nur kurzfristig „angehalten hat. Der Status „Parken“ ist somit eine Schlussfolgerung aus dem Kontext. Wenn nun eine Ampel (=Label) erkannt ist und gleichzeitig ein „non-moving-vehicle“ (Label), dann ist es sehr unwahrscheinlich, dass das Fahrzeug unter der Ampel tatsächlich geparkt hat.
-
Bezugszeichenliste
-
- 1
- Umfeldmodelldaten
- 2
- Label-Generierung
- H
- Histogramm
- S1-S7
- Verfahrensschritte
- T1-T3
- Zeitschlitze
