DE102018203583B4

DE102018203583B4 - Verfahren, Fahrerassistenzsystem sowie Kraftfahrzeug zur Prädiktion einer Position oder einer Trajektorie mittels eines graphbasierten Umgebungsmodells

Info

Publication number: DE102018203583B4
Application number: DE102018203583.0A
Authority: DE
Inventors: Oleksandr Vorobiov; Simon Seitle
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2018-03-09
Filing date: 2018-03-09
Publication date: 2019-11-14
Anticipated expiration: 2038-03-10
Also published as: DE102018203583A1

Abstract

Die Erfindung betrifft ein Verfahren zur Prädiktion (P) einer Position (4) oder einer Trajektorie (5, 6) zumindest eines Objekts (7, 8, 9) in einer Umgebung (10) eines Kraftfahrzeugs (2), wobei mittels einer Erfassungseinrichtung (11) des Kraftfahrzeugs (2) das zumindest eine Objekt (7, 8, 9) in der Umgebung (10) des Kraftfahrzeugs (2) erfasst wird und mittels eines neuronalen Netzwerks (N) die Position (4) oder die Trajektorie (5, 6) des zumindest einen Objekts (7, 8, 9) prädiziert wird, wobei die Umgebung (10) zu einem graphbasierten Umgebungsmodell (1) mit zumindest einer Graphenkante (12) und zumindest einem Graphenknoten (13) modelliert wird und die Position (4) oder die Trajektorie (5, 6) mittels des neuronalen Netzwerks (N), mit dem das graphbasierte Umgebungsmodell (1) implementiert ist, abhängig von der zumindest einen Graphenkante (12) und/oder dem zumindest einen Graphenknoten (13) prädiziert wird. Ferner betrifft die Erfindung ein Fahrerassistenzsystem (3) und ein Kraftfahrzeug (2).

Description

Die Erfindung betrifft ein Verfahren zur Prädiktion einer Position oder einer Trajektorie zumindest eines Objekts in einer Umgebung eines Kraftfahrzeugs. Mittels einer Erfassungseinrichtung des Kraftfahrzeugs wird das zumindest eine Objekt in der Umgebung des Kraftfahrzeugs erfasst und mittels eines neuronalen Netzwerks die Trajektorie des zumindest einen Objekts prädiziert. Ferner betrifft die Erfindung ein Fahrerassistenzsystem sowie ein Kraftfahrzeug.
Aus dem heutigen Stand der Technik sind Ansätze zur Vorhersage der Trajektorien oder der Positionen der Verkehrsteilnehmer in die Zukunft bekannt, welche einen Kalmanfilter mit Berücksichtigung des physikalischen Modells des Kraftfahrzeugs nutzen. Ferner gibt es diverse Ansätze mit den Aufnahmen (Sampling) von möglichen Trajektorien (Trajektorienmuster) mit einer weiteren Gewichtung und einer Auswahl der am meisten wahrscheinlichen Trajektorien. Ebenfalls bekannt ist die Vorhersage des Bewegungsmusters auf der Straße mithilfe des neuronalen Netzes oder einem anderen maschinellen Lernen.
Die DE 103 27 869 A1 offenbart ein Navigationssystem für ein Kraftfahrzeug mit einer Recheneinheit, die mit einer Eingabeeinheit, einer Ausgabeeinheit zur Ausgabe von Zielführungsinformationen abhängig von der aktuellen Position des Fahrzeugs, einem Speicherelement, das Straßenkarten mit Informationen zu Fahrspuren enthält, und mit ihr zur Positionsbestimmung verbunden ist und zur Berechnung einer Route zwischen einem Start- und einem Zielort anhand der Straßenkartendaten und zur Bestimmung der Zielführungsinformation ausgelegt ist.
Ferner offenbart die DE 10 2011 122 297 A1 ein Verfahren zur Erzeugung verkehrsrelevanter Informationen durch zumindest ein Fahrzeug eines Fahrzeugpools zur Nutzung durch alle Fahrzeuge des Fahrzeugpools, die die verkehrsrelevanten Informationen über eine kommunikative Verbindung erhalten. Die verkehrsrelevanten Informationen werden zumindest teilweise durch eine Fahrzeugrecheneinheit aus fahrzeuggenerierten Daten bestimmt, die Betriebszustände von Aggregaten des Fahrzeugs, Umgebungsbedingungen des Fahrzeugs, auf die aus den Betriebszuständen der Aggregate geschlossen wird, und die Position des Fahrzeugs umfassen.
Des Weiteren offenbart die EP 3 151 213 A1 eine Fahrzeugvorrichtung zur Aufzeichnung eines Umgebungsbereichs eines Kraftfahrzeugs, mit einer Kameraeinheit zur Aufnahme von mindestens einem Bild des Umgebungsbereichs, mit einer Triggereinrichtung zur Ausgabe eines Aufzeichnungsstartsignals zum Auslösen der Aufzeichnung von mindestens einem aufgenommenen Bild durch die Kameraeinheit. Die Triggereinrichtung ist dazu ausgebildet, die Ausgabe des Aufzeichnungsstartsignals mit einer geografischen Position eines vorgegebenen, ortsgebundenen Interessensbereichs zu verknüpfen, wobei die Triggereinrichtung dazu ausgebildet ist, das Aufzeichnungsstartsignal bei einer ermittelten geografischen Übereinstimmung der Position des Kraftfahrzeugs und des vorgegebenen, ortsgebundenen Interessensbereichs auszugeben.
Die DE 10 2010 006 828 A1 offenbart eine Erstellung eines Modells des Umfelds eines Fahrzeugs. Dabei werden mit Hilfe mindestens eines Sensors das Umfeld des Fahrzeugs erfasst, und es werden ausgehend davon entsprechende Sensordaten erzeugt. Auf Grundlage dieser Sensordaten werden automatisch mindestens zwei Umfeldmodelle erzeugt und zu dem Modell, welches das Umfeld des Fahrzeugs beschreibt, kombiniert. Die mindestens zwei Umfeldmodelle sind dabei aus einer Menge ausgewählt, welche ein objektbasiertes Umfeldmodell, ein gitterbasiertes Umfeldmodell und ein graphenbasiertes Umfeldmodell umfasst. Das objektbasierte Umfeldmodell beschreibt diskrete Objekte in dem Umfeld des Fahrzeugs. Das gitterbasierte Umfeldmodell beschreibt das Umfeld mittels eines Gitters, wobei Eigenschaften des Umfelds über Gitterzellen des Gitters erfasst werden. Das graphenbasierte Umfeldmodell beschreibt das Umfeld mit einem Graph, bei welchem Kanten des Graphen Fahrwegen entsprechen und Knoten des Graphen jeweils am Ende der Kanten angeordnet sind. Attribute der Kanten stellen Eigenschaften des entsprechenden Fahrwegs dar, und Attribute der Knoten stellen Eigenschaften über das entsprechende Ende der Kante dar.
Die DE 10 2013 208 521 A1 beschreibt ein Verfahren zum kollektiven Erlernen und Erstellen eines digitalen Straßenmodells. Es werden dabei von einer Mehrzahl von Fahrzeugen Trajektorien- und Perzeptionsdaten erfasst. Es werden Assoziierungen zwischen den Trajektorien erstellt, indem für entsprechende, zu assoziierende Trajektorienpunkte Merkmalsraster und Wahrscheinlichkeitsfeld-Merkmalsraster gebildet werden und diese korreliert werden, um Assoziationshypothesen zu bilden. Basierend auf den Assoziierungen, sowie auf Basis von Odometrie- und Positionserfassungen wird ein Informationsgraph gebildet und das zugehörige Optimierungsproblem zur Schätzung optimaler Trajektorienpunkte gelöst. Die erfassten Perzeptionsdaten werden auf Basis der geschätzten Trajektorienpunkte bewertet, aggregiert und fusioniert, um ein hochgenaues Straßenmodell zu erstellen.
Die DE 10 2013 223 803 A1 betrifft ein Verfahren zur Segmentierung eines Belegungsgitters für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug. Das Verfahren umfasst einen Schritt des Einlesens eines Belegungsgitters mit einer Vielzahl von Gitterzellen, wobei jeder Gitterzelle der Vielzahl von Gitterzellen eine Gitterzelleninformation zugeordnet ist, die eine Information über einen Belegtheitsgrad und zumindest eine zusätzliche Information über die Gitterzelle umfasst, sowie einen Schritt des Zuordnens von zumindest einem Objekt und/oder einer Mehrzahl von Objekten zu der Vielzahl von Gitterzellen unter Verwendung der Gitterzelleninformation, um das Belegungsgitter für ein Umfeldmodell zu segmentieren
Der Stand der Technik lässt nur kurzfristige Vorhersagen zu, da die Komplexität exponentiell mit der Anzahl der Zukunftsschritte und der Genauigkeit abnimmt. Gleichzeitig stützen sich diese bereits aus dem Stand der Technik bekannten Methoden auf vordefinierte Regeln, Muster, Modelle, was die Übertragung auf die neue und nicht im Voraus modulierte und durchdachte Situation (Generalisierbarkeit) erschwert. Des Weiteren wird das Verhalten des Fahrers des Kraftfahrzeugs beziehungsweise der Verkehrsteilnehmer nicht berücksichtigt. Die Komplexität sowie die Laufzeit wachsen linear mit der Anzahl der Verkehrsteilnehmer, was die Anforderungen an die konstante Laufzeit nicht erfüllt.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug zu schaffen, mittels welchen die Prädiktion einer Position oder einer Trajektorie zumindest eines Objekts in einer Umgebung eines Kraftfahrzeugs realisiert werden kann.
Diese Aufgabe wird durch ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungsformen davon sind in den Unteransprüchen angegeben.
Ein Aspekt der Erfindung betrifft ein Verfahren zur Prädiktion einer Position oder einer Trajektorie zumindest eines Objekts in einer Umgebung eines Kraftfahrzeugs. Mittels einer Erfassungseinrichtung des Kraftfahrzeugs wird das zumindest eine Objekt in der Umgebung des Kraftfahrzeugs erfasst und mittels eines neuronalen Netzwerks wird die Trajektorie des zumindest einen Objekts prädiziert.
Es ist vorgesehen, dass die Umgebung zu einem graphbasierten Umgebungsmodell mit zumindest einer Graphenkante und zumindest einem Graphenknoten modelliert wird und die Trajektorie mittels des neuronalen Netzwerks, mit dem das graphbasierte Modell implementiert ist, abhängig von der zumindest einen Graphenkante und/oder dem zumindest einen Graphenknoten prädiziert wird.
Das neuronale Netzwerk kann auch als neuronales Netz bezeichnet werden.
Mittels des graphbasierten Umgebungsmodells ist es ermöglicht, dass eine Grundlage für pilotiertes und autonomes Fahren realisiert wird. Die Vorhersage der Position sowie der Trajektorien des zumindest einen Objekts in der Umgebung des Kraftfahrzeugs ist hierfür Grundlage für das pilotierte beziehungsweise das autonome Fahren. Es kann eine implizierte Modellierung des Verhaltens der Verkehrsteilnehmer, welche das zumindest eine Objekt darstellen können, durchgeführt werden. Die Repräsentation des zumindest einen Objekts im neuronalen Netzwerk berücksichtigt nicht nur den jetzigen Zustand, sondern auch den Zustand aus der Vergangenheit, was zur implizierten Verhaltensmodellierung führt.
Des Weiteren kann eine einfache und schnelle Datengenerierung durchgeführt werden. Für die Datengenerierung benötigt man eine Umgebungskarte, insbesondere eine HD (High-Definition, hochauflösend)-Karte der Umgebung oder andere Verfahren zur Erzeugung der Graphabbildung der Straße sowie ein herkömmliches Verfahren zur Objektdetektion. Somit kann man beliebig viele Daten für beliebig komplexe Situationen sammeln und für ein Training beziehungsweise Verbesserung des neuronalen Netzes verwenden.
Des Weiteren kann eine Generalisierbarkeit an die neue Situation durchgeführt werden. Durch das erfindungsgemäße Verfahren wird an dem Verhalten der realen Verkehrsteilnehmer gelernt und nicht davor programmiert, was mit genügend Trainingsdaten zur höheren Übertragbarkeit auf die neuen Situationen führt.
Des Weiteren sind durch das erfindungsgemäße Verfahren eine Effizienz und eine Echtzeitfähigkeit gesteigert. Das graphbasierte Umgebungsmodell basiert auf Abbildungen der Straße und ist somit mit einer kleinen Rechenleistung durchführbar. Dadurch können die Berechnungen schneller als mit konventionellen Methoden, wie aus dem Stand der Technik, durchgeführt werden, sodass die Echtzeitfähigkeit realisiert werden kann.
Ebenfalls vorteilhaft ist, dass eine konstante Laufzeit mittels des graphbasierten Umgebungsmodells realisiert werden kann. Dies hängt von der Anzahl. der Objekte in der Umgebung des Kraftfahrzeugs ab. Eine konstante Laufzeit ist insbesondere durch eine Einschränkung der Graphenknotenanzahl realisierbar.
Insbesondere zum Anlernen des neuronalen Netzwerks kann eine Graphabbildung der Straße beispielsweise aus einem Kartenmaterial, insbesondere einem High Definition (hochauflösenden) Kartenmaterial oder aus einem Straßengraphen, extrahiert werden. In einem weiteren Schritt kann das zumindest eine Objekt, welches beispielsweise dynamisch sein kann, mit anderen Worten beispielsweise ein Auto und/oder ein Fußgänger, mithilfe des beliebigen Objekterkennungssystems, beispielsweise einer Kamera, mit entsprechenden Koordinaten im Raum erkannt werden. Die erkannten Objekte werden anhand der Position zu der entsprechenden Graphenkante und/oder zu den entsprechenden Graphenknoten zugeordnet. Falls notwendig, können neue Graphenknoten mit dem zumindest einen Objekt in das graphbasierte Umgebungsmodell hinzugefügt werden. Die erkannten Objekte mit der Position werden für eine bestimmte Anzahl der Schritte gespeichert. Als Ergebnis wird die Menge von Graphen mit den Objekten für die bestimmte Anzahl der Zeitschritte in die Vergangenheit und Zukunft, insbesondere lediglich fürs Training, generiert. Insbesondere handelt es sich bei dem Training um ein Offline-Training. Es ist auch eine Anwendung auf das Fahrerassistenzsystem ermöglicht.
Die Trajektorie oder die Position des zumindest einen Objekts wird aus den Objektknoten mit entsprechenden Positionen und Geschwindigkeiten extrahiert. Dafür können diverse Kurvenanpassungsalgorithmen verwendet werden. Die Anzahl der Graphenknoten für das Kurvenfitting ist insbesondere sehr gering, sodass die Laufzeit des Kurvenanpassungsalgorithmus im Vergleich zur Laufzeit des neuronalen Netzes ebenfalls sehr gering ausfällt. Somit ist die Laufzeit des Verfahrens von diesen Teilen nicht beeinträchtigt.
Insbesondere kann vorgesehen sein, dass ein System aus einer Backend-Umgebung, mit anderen Worten eine elektronische Recheneinrichtung, zum Training des neuronalen Netzes und des Kraftfahrzeugs, auf denen das Verfahren ausgeführt wird, ausgebildet ist. Dazu weist das Kraftfahrzeug insbesondere eine Erfassungseinrichtung zur Erfassung der Umgebung des Kraftfahrzeugs auf. Die Erfassungseinrichtung kann beispielsweise als Kamera ausgebildet sein. Ferner weist das Kraftfahrzeug einen Datenspeicher mit einer Umgebungskarte der Umgebung beziehungsweise einen Empfänger für den Empfang einer Umgebungskarte vom Backend auf. Ferner ist insbesondere vorgesehen, dass das Kraftfahrzeug eine Einrichtung für die Lokalisierung innerhalb der Umgebungskarte aufweist. Ferner weist das Kraftfahrzeug eine Steuerungseinrichtung auf, welche zur Ausführung des neuronalen Netzes ausgebildet ist.
Insbesondere mithilfe der Erfassungseinrichtung wird das zumindest eine Objekt in der Umgebung des Kraftfahrzeugs erfasst. Weiterhin wird das zumindest eine erfasste Objekt in die bereitgestellte Umgebungskarte, welche beispielsweise direkt aus dem Kraftfahrzeug oder vom Backend empfangen werden kann, gespeichert. Das zumindest eine Objekt wird mit der Umgebungskarte im Kraftfahrzeug gespeichert oder an das Backend geschickt und weiter für das Training des neuronalen Netzes verwendet. Nach Abschluss des Trainings wird das neuronale Netz auf der Steuerungseinrichtung des Kraftfahrzeugs eingesetzt. Mithilfe des erfindungsgemäßen Verfahrens wird aus den Ergebnissen des neuronalen Netzes die Position des zumindest einen Objekts in der Umgebung des Kraftfahrzeugs extrahiert.
Gemäß einer vorteilhaften Ausgestaltungsform wird der zumindest einen Graphenkante eine Fahrbahn der Umgebung und/oder eine Fahrbahnmarkierung der Umgebung und dem zumindest einen Graphenknoten das zumindest eine Objekt zugewiesen. Insbesondere wird der Graphenkante eine Fahrbahnmarkierung mit den entsprechenden Attributen und/oder dem zumindest einen Graphenknoten das zumindest eine Objekt mit den entsprechenden Attributen zugewiesen. Insbesondere die Graphenkanten des graphbasierten Umgebungsmodells bilden die Fahrbahnen mit den notwendigen Attributen, wie beispielsweise eine Länge der Fahrbahn und/oder eine Krümmung der Fahrbahn und/oder eine Elevation der Fahrbahn und/oder • eine Klasse des Fahrbahnbelags und/oder ein Fahrbahntyp (Straßenrand) und/oder befahrbare/unbefahrbare Spur, ab. Es können beispielsweise auch die Kanten zwischen den Fahrbahnkanten sein, die den möglichen Fahrspurwechsel abbilden. Die Graphenknoten bestehen insbesondere aus Koordinaten sowie Objektbeschreibungen, falls ein Objekt zum Graphenknoten zugewiesen ist. Ein Graphenknoten kann mehrere Objekte beinhalten. Ein Objekt kann zu einem oder zu mehreren Graphenknoten mit aufgeteilter Probabilität zugewiesen sein. Die Objekte können beispielsweise ein Auto und/oder ein Fußgänger und/oder ein Hindernis und/oder ein Verkehrsschild und/oder eine Ampel sein und Attribute, wie beispielsweise eine Klasse und/oder eine Dimension und/oder eine Geschwindigkeit und/oder eine Probabilität, sein.
Es kann beispielsweise auch vorgesehen sein, dass das graphbasierte Umgebungsmodell orientiert sein kann, beispielsweise die Orientierung der Graphenkante entspricht der möglichen Bewegungsrichtung an der entsprechenden Fahrbahn. Ebenfalls möglich ist, dass das graphbasierte Umgebungsmodell zyklisch ausgebildet ist. Mittels der Zuweisungen zur Graphenkante und zum Graphenknoten kann verbessert ein graphbasiertes Umgebungsmodell erstellt werden, wodurch die Prädiktion einer Position oder einer Trajektorie des zumindest einen Objekts verbessert durchgeführt werden kann.
In einer weiteren vorteilhaften Ausgestaltungsform kann das neuronale Netzwerk als neuronales Netzwerk vom Gated-Graph-Sequenz-Typ oder als Graph-gefaltetes neuronales Netzwerk bereitgestellt werden. Insbesondere können die genannten neuronalen Netze die graphbasierten Informationen verarbeiten und entsprechende Positionen und Trajektorien generieren. Insbesondere ist vorgesehen, dass die Graphenknoten sowie auch die Graphenkanten unterschiedliche Arten von Attributen, beispielsweise numerische, wie die Geschwindigkeit, und kategorische, wie die Klasse, beinhalten, was in der internen Repräsentation berücksichtigt werden soll.
Beispielsweise kann eine Verwendung von Look-Up-Tables (Listen) für die kategorischen und normalen neuronalen Netze für die numerischen Attribute mit weiteren Kombinationen der Repräsentationen genutzt werden. Die Anzahl der Objekte pro Graphenknoten bei der Erfassung sowie auch bei der Ausgabe ist variierbar, was zum Beispiel mithilfe der verschiedenen Memoryansätze oder Dequeue-Algorithmen gelöst werden kann. Ferner kann die zukünftige Vorhersage von der gesamten Vergangenheit, insbesondere bis zu gewissen Zeitschritten, abhängig sein, was mit der Rekurrenz in dem Modell gelöst werden kann.
Insbesondere beim neuronalen Netzwerk vom Gated-Graph-Sequenz-Typ ist dies bereits integriert. Die Prädiktion kann insbesondere unterschiedlicher Arten sein, numerisch, zum Beispiel für die Geschwindigkeit, sowie kategorisch für die Klasse des Objekts, was zu der Kombination der unterschiedlichen Kostenfunktionen führt. Bei der Kostenfunktion handelt es sich insbesondere um die mathematische Funktion zur Optimierung der Prädiktion. Die Kostenfunktion wird auch als „Loss-Function“ (Verlustfunktion) bezeichnet. Insbesondere ist die Anzahl der Graphenknoten dynamisch beziehungsweise kann von einem ersten gebildeten graphbasierten Umgebungsmodell zu einem zweiten gebildeten graphbasierten Umgebungsmodell unterschiedlich sein, was zur dynamischen Gestaltung des neuronalen Netzes führt. Mittels der Nutzung des neuronalen Netzwerks vom Gated-Graph-Sequenz-Typ oder des graphgefalteten neuronalen Netzwerks kann somit verbessert das graphbasierte Umgebungsmodell erstellt werden, wodurch verbessert die Prädiktion einer Position oder der Trajektorie des zumindest einen Objekts durchgeführt werden kann.
Ebenfalls vorteilhaft ist, wenn die Trajektorie mit dem graphbasierten Umgebungsmodell dargestellt wird. Dadurch kann innerhalb des graphbasierten Umgebungsmodells auch das Ergebnis, mit anderen Worten die Prädiktion der Position oder der Trajektorie, innerhalb des graphbasierten Umgebungsmodells dargestellt werden. Insbesondere ist das graphbasierte Umgebungsmodell intuitiv für einen Nutzer des Kraftfahrzeugs erkennbar und benutzbar, sodass für diesen in vorteilhafter Weise die Prädiktion der Position oder der Trajektorie angezeigt werden kann.
Ebenfalls vorteilhaft ist, wenn die zumindest eine Graphenkante mittels einer Adjazenzmatrix und/oder der zumindest eine Graphenknoten mittels einer Knotenmatrix abgebildet werden. Bei der Adjazenzmatrix handelt es sich um eine Matrix der Konnektivität der Graphenknoten. Die Knotenmatrix wird auch als Inzidenzmatrix bezeichnet und beschreibt die Beziehung der Graphenknoten und Graphenkanten des Graphen zueinander. Beispielsweise besitzt der Graph M Graphenknoten und N Graphenkanten, ist seine Inzidenzmatrix eine MxN-Matrix. Durch die Nutzung der Adjazenzmatrix und/oder der Knotenmatrix kann vereinfacht das graphbasierte Umgebungsmodell mit den entsprechenden Attributen erstellt werden. Somit kann mit wenig Rechenleistung die Prädiktion der Position oder der Trajektorie des zumindest einen Objekts durchgeführt werden.
Insbesondere ist dadurch eine Echtzeitverarbeitung der Prädiktion möglich, sodass insbesondere beim autonomen Fahrbetrieb des Kraftfahrzeugs die Prädiktion der Position oder der Trajektorie durchgeführt werden kann. Somit kann ein zuverlässiger Betrieb des Kraftfahrzeugs für den autonomen Betrieb des Kraftfahrzeugs realisiert werden. Beispielsweise kann dazu das neuronale Netz mit dem Sequence-to-Sequence (Sequenz zu Sequenz)-Verfahren trainiert werden. Für das Training werden die Objekte für die n-Schritte aus der Vergangenheit sowie der Adjazenzmatrix des graphbasierten Umgebungsmodells als Eingangsgröße eingegeben und die Objekte für die m-Schritte in die Zukunft prädiziert. In der Phase des Trainings werden die prädizierten Objekte mit den Ground-Truth (Bodenwahrheit) des Feldversuchs, mit anderen Worten mit den trainierten Objekten, mithilfe der entsprechenden Kostenfunktionen verglichen und die Fehler zurückpropagiert. Des Weiteren können die Parameter des neuronalen Netzes aktualisiert und um diese Fehler minimiert werden. Dieses Verfahren kann auch als „Backpropagation through time“ (Fehlerrückführung oder Rückpropagierung) bezeichnet werden. Die prädizierten Objekte werden an die bestsehenden Graphenknoten zugeordnet beziehungsweise es können auch neue Graphenknoten generiert werden. Somit kann verbessert eine Vorhersage der Position oder der Trajektorie des zumindest einen Objekts durchgeführt werden.
Es hat sich weiterhin als vorteilhaft erwiesen, wenn das graphbasierte Umgebungsmodell auf Basis eines aufgenommenen Bilds der Erfassungseinrichtung und auf Basis einer Umgebungskarte der Umgebung modelliert wird. Insbesondere kann dabei die Straße in der Umgebung des Kraftfahrzeugs von der Erfassungseinrichtung, welche insbesondere als Kamera ausgebildet ist, in das graphbasierte Umgebungsmodell umgewandelt werden. Die Kamerabilder aus dem Kraftfahrzeug werden dann direkt zur Erzeugung des graphbasierten Umgebungsmodells der Straße in Echtzeit und insbesondere ohne Backend verwendet. Zur Erstellung der Daten kann insbesondere das graphbasierte Umgebungsmodell aus einer bestehenden Umgebungskarte extrahiert werden. Es erfolgt eine Aufnahme der Kamerabilder der Umgebung sowie der genauen Position auf der entsprechenden Umgebungskarte. Des Weiteren erfolgt ein Abschneiden der Umgebungskarte des Kamerabilds. Es erfolgt eine Generierung der Datenbasen von Paaren (Kamerabild und entsprechender Ausschnitt der Umgebungskarte) für das Training.
Insbesondere kann vorgesehen sein, dass das neuronale Netz dann aus zwei Teilen, insbesondere dem Encoder (Kodierer) und dem Decoder (Dekodierer), besteht. Das neuronale Netz kann ein Graubild oder ein Farbbild der Kamera als Eingangsinformation (Input) aufnehmen. Als Encoder für das Kamerabild kann ein beliebiger Typ des gefalteten neuronalen Netzes verwendet werden (beispielsweise convolution neural network). Hier wird eine komprimierte interne Repräsentation des Bildes erzeugt. Ziel des Decoders ist die Erzeugung der Graphenrepräsentation aus der inneren Repräsentation des Bildes nach dem Encoder. Die Knotenmatrix und die Adjazenzmatrix des graphbasierten Umgebungsmodells können in dem Decoder mithilfe von diversen neuronalen Netzwerken (zum Beispiel convolution neural network) generiert werden. Dabei kann das neuronale Netzwerk mithilfe einer Backpropagation trainiert werden.
Beispielsweise kann mithilfe des neuronalen Netzes das graphbasierte Umgebungsmodell für das Eingangsbild generiert werden. Das graphbasierte Umgebungsmodell wird mit dem Ground-Truth-Graph verglichen und die entsprechenden Fehler für die Knotenmatrix sowie die Adjazenzmatrix bestimmt. Diese Fehler werden für die Aktualisierung der Netzparameter verwendet. Insbesondere kann dadurch ein Umgebungsmodell der Straße für ein pilotiertes und autonomes Fahren des Kraftfahrzeugs realisiert werden. Dies ist relevant, da diese Abbildungen für die Verfolgung von anderen Objekten, Fehlerbehebung (Debugging) und Fahrfunktionen Grundlage ist. Des Weiteren kann dadurch eine einfache und schnelle Datengenerierung durchgeführt werden. Für die Datengenerierung benötigt man nur die Umgebungskarte und Aufnahmen von Kamerabildern aus dem Kraftfahrzeug. Somit kann man beliebig viele Daten für beliebig komplexe Umgebungen sammeln und für das Training/für die Verbesserung des neuronalen Netzes verwenden. Insbesondere ist des Weiteren somit eine Unabhängigkeit zum Backend gegeben. In der Ausführungsphase, insbesondere nach dem Training, wird das Umgebungsmodell der Straße direkt im Kraftfahrzeug und „on the fly“, und somit in Echtzeit, erzeugt, wodurch keine Kommunikation mit dem Backend benötigt wird.
Gemäß einer weiteren vorteilhaften Ausgestaltungsform kann das graphbasierte Umgebungsmodell kraftfahrzeugintern in Echtzeit modelliert werden. Insbesondere kann dadurch die Effizienz gesteigert werden. Insbesondere durch die Nutzung des gefalteten neuronalen Netzwerks kann eine effiziente und echtzeitfähige Generierung des graphbasierten Umgebungsmodells durchgeführt werden. Insbesondere kann die Laufzeit des Verfahrens nur von der Anzahl der Graphenknoten in dem erzeugten graphbasierten Umgebungsmodell abhängen. Diese kann nicht beliebig groß sein und kann somit vorbestimmt werden. Dadurch kann man eine maximale Laufzeit realisieren.
Beispielsweise kann vorgesehen sein, dass das Fahrerassistenzsystem aus einer Backend-Umgebung zum Trainieren des neuronalen Netzwerks ausgebildet ist. Das Kraftfahrzeug kann die Trainingsdaten aufnehmen. Das Kraftfahrzeug weist dann das neuronale Netz auf, auf welchem das Verfahren ausgeführt wird. Das Kraftfahrzeug wird als Trainingskraftfahrzeug bezeichnet und kann dazu die Kamera zur Erfassung der Umgebung des Kraftfahrzeugs aufweisen. Insbesondere kann dann das Trainingskraftfahrzeug eine Positionserfassungseinrichtung für die Lokalisierung innerhalb der Umgebungskarte aufweisen. Des Weiteren kann das Trainingskraftfahrzeug die Umgebungskarte der Umgebung zum Training aufweisen. Das Trainingskraftfahrzeug ist insbesondere ausgestattet mit der Positionserfassungseinrichtung und der Kamera, mittels welcher die Straßen aus der bestehenden Umgebungskarte abgefahren wird und die Umgebung aufgenommen wird. Mithilfe der Positionserfassungseinrichtung kann die eigene Position in der Umgebungskarte sehr präzise bestimmt werden und der entsprechende Ausschnitt aus der Umgebungskarte generiert werden. Diese Daten werden an das Backend geschickt und für das Training des neuronalen Netzes verwendet. Nach Abschluss des Trainings wird das neuronale Netz auf einer Steuerungseinrichtung des Kraftfahrzeugs eingesetzt. Mittels der Steuerungseinrichtung wird aus dem Kamerabild direkt das graphbasierte Umgebungsmodell der Straße generiert.
Gemäß einer weiteren vorteilhaften Ausgestaltungsform kann mittels der Erfassungseinrichtung eine Fahrbahnmarkierung und/oder eine Fahrbahnkante und/oder ein Fahrbahnmarkierungsobjekt erfasst werden und die erfasste Fahrbahnmarkierung und/oder die erfasste Fahrbahnkante und/oder das erfasste Fahrbahnmarkierungsobjekt mit dem graphbasierten Umgebungsmodell und/oder mit einer Umgebungskarte verglichen werden, wobei bei einer Abweichung bei dem Vergleich das graphbasierte Umgebungsmodell und/oder die Umgebungskarte abhängig von der Abweichung aktualisiert wird. Dadurch kann es zu einer Reduktion der Komplexität der Aktualisierung der Umgebungskarte beziehungsweise des graphbasierten Umgebungsmodells kommen.
Insbesondere kann dadurch eine Assoziation der Objekte mit Referenzobjekten als technische Hilfeleistung für eine Verbesserung des graphbasierten Umgebungsmodells und/oder der Umgebungskarte durchgeführt werden. Dadurch ist eine Konkatenation der im Backend aggregierten Linienobjekte stark vereinfacht. Insbesondere durch die Pflege des Kartenattributs „Spurmarkierung“ kann, solange ausreichend viel verifizierte Referenzobjekte, wie . zum Beispiel Punktattribute, vorhanden sind, mit einer Volumenfahrzeugflotte (Kamera, GPS und Datenausgleichsvorrichtung) die Umgebungskarte gewartet werden. Insbesondere für beispielsweise Assistenzsysteme, die für den autonomen Fahrbetrieb des Kraftfahrzeugs zuständig sind, kann somit eine spurgenaue Navigation durchgeführt werden.
Insbesondere kann durch die Übertragung von den extrahierten Linienfeatures ein positiver Abgleich mit erkannten Referenzpunkten, beispielsweise Verkehrszeichen und/oder Leitpfosten, an der Umgebungskarte im Kraftfahrzeug durchgeführt werden. Diese Daten können dann wiederum übertragen werden. Neben den Metainformationen des Linienfeatures sind neben der Art und Form zumindest die Position, der Zeitstempel sowie eine Identifikation und Abstände zu den eindeutigen Referenzpunkten notwendig. Es erfolgt eine Aggregation und Zuordnung der Linienfeatures zur Pflege der Karte. Somit kann eine verbessertes und verifiziertes graphbasierten Umgebungsmodell und/oder Umgebungskarte bereitgestellt werden, sodass die Prädiktion einer Position oder einer Trajektorie des zumindest einen Objekts in der Umgebung des Kraftfahrzeugs zuverlässig durchgeführt werden kann.
Ebenfalls vorteilhaft ist, wenn das graphbasierte Umgebungsmodell und/oder die Umgebungskarte auf einem Speichermedium des Kraftfahrzeugs und/oder auf einem weiteren, kraftfahrzeugexternen Speichermedium aktualisiert wird. Die externe Speicherung kann beispielsweise cloudbasiert ausgeführt sein. Das Speichermedium kann als Backend ausgebildet sein. Insbesondere ist es dadurch ermöglicht, dass innerhalb des Kraftfahrzeugs das graphbasierte Umgebungsmodell und/oder die Umgebungskarte aktualisiert wird. Des Weiteren kann beispielsweise, sollte ein Kraftfahrzeug nicht über eine entsprechende Steuerungseinrichtung verfügen, dieses Kraftfahrzeug das graphbasierte Umgebungsmodell und/oder die aktualisierte Umgebungskarte von dem externen Speichermedium herunterladen und somit dem Kraftfahrzeug die aktualisierte Version zur Verarbeitung zur Verfügung stellen.
Ein weiterer Aspekt der Erfindung betrifft ein Fahrerassistenzsystem. Das Fahrerassistenzsystem weist eine Erfassungseinrichtung zum Erfassen zumindest eines Objekts in einer Umgebung des Kraftfahrzeugs auf, wobei das Fahrerassistenzsystem dazu ausgebildet ist, ein Verfahren gemäß dem vorhergehenden Aspekt durchzuführen.
Ein nochmals weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem Fahrerassistenzsystem.
Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen des Fahrerassistenzsystems sowie des Kraftfahrzeugs anzusehen. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet. Das Fahrerassistenzsystem sowie das Kraftfahrzeug weisen dazu gegenständliche Merkmale auf, welche eine Durchführung des Verfahrens oder eine vorteilhafte Ausgestaltungsform davon ermöglichen.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Draufsicht auf eine Ausführungsform eines graphbasierten Umgebungsmodells;
2 eine schematische Ansicht einer Ausführungsform eines neuronalen Netzwerks;
3 eine schematische Draufsicht auf eine weitere Ausführungsform des graphbasierten Umgebungsmodells mit einer Trajektorie;
4 schematisch ein Ablaufdiagramm eines neuronalen Netzwerks; und
5 eine schematische Ansicht einer Ausführungsform eines Fahrerassistenzsystems.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um . bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
1 zeigt in einer schematischen Draufsicht eine Ausführungsform eines graphbasierten Umgebungsmodells 1. In dem graphbasierten Umgebungsmodell 1 ist ein Kraftfahrzeug 2 abgebildet. Das Kraftfahrzeug 2 weist ein Fahrerassistenzsystem 3 auf, welches dazu ausgebildet ist, eine Position 4 oder eine Trajektorie 5, 6 zumindest eines Objekts 7, 8, 9 in einer Umgebung 10 des Kraftfahrzeugs 1 zu prädizieren. Mittels einer Erfassungseinrichtung 11 des Kraftfahrzeugs 1 wird das zumindest eine Objekt 7, 8, 9 in der Umgebung 10 des Kraftfahrzeugs 1 erfasst in einem Erfassungsbereich E der Erfassungseinrichtung 11 und mittels eines neuronalen Netzwerks N (2) wird die Position der Trajektorie 5, 6 des zumindest einen Objekts 7, 8, 9 prädiziert. Das neuronale Netzwerk N kann auch als neuronales Netz N bezeichnet werden.
Es ist vorgesehen, dass die Umgebung 10 zu dem graphbasierten Umgebungsmodell 1 mit zumindest einer Graphenkante 12 und zumindest einem Graphenknoten 13 modelliert wird und die Position 4 oder die Trajektorie 5, 6 mittels des neuronalen Netzwerks N, mit dem das graphbasierte Umgebungsmodell 1 implementiert ist, abhängig von der zumindest einen Graphenkante 12 und/oder dem zumindest einen Graphenknoten 13 prädiziert wird.
Im Ausführungsbeispiel gemäß 1 ist insbesondere das Objekt 4 als Verkehrsschild 14 ausgebildet und das weitere Objekt 8 ist insbesondere als weiteres Kraftfahrzeug 15 ausgebildet. Ferner ist das Objekt 9 als nochmals weiteres Kraftfahrzeug 16 ausgebildet.
Das Kraftfahrzeug 2 weist eine Eigentrajektorie 17 auf. Das Kraftfahrzeug 2 fährt auf einer ersten Fahrspur 18. Das weitere Kraftfahrzeug 15 und das nochmals weitere Kraftfahrzeug 16 fahren auf einer weiteren Fahrspur 19 und kommen in diesem Ausführungsbeispiel dem Kraftfahrzeug 2 entgegen.
Insbesondere ist vorgesehen, dass eine Straße 20 im graphbasierten Umgebungsmodell 1 dargestellt ist. Die Graphenkanten 12 des graphbasierten Umgebungsmodells 1 bilden insbesondere die Fahrbahn mit den entsprechenden Attributen, wie beispielsweise eine Länge der Fahrbahn, eine Krümmung der Fahrbahn, eine Elevation der Fahrbahn, eine Klasse des Fahrbahnbelags, ein Fahrbahntyp wie beispielsweise Straßenrand, eine befahrbare/unbefahrbare Spur. Es können auch die Graphenkanten 12 Fahrbahnkanten sein, die den möglichen Fahrspurwechsel abbilden. Insbesondere kann vorgesehen sein, dass die Graphenkanten 12 durch eine Adjazenzmatrix, welche der Matrix der Konnektivität der Graphenknoten 13 entspricht, abgebildet werden.
Die Graphenknoten 13 des graphbasierten Umgebungsmodells 1 bestehen insbesondere aus Koordinaten sowie Objektbeschreibungen, falls ein Objekt 7, 8, 9 zum Graphenknoten 13 zugewiesen ist. Der Graphenknoten 13 kann mehrere Objekte 7, 8, 9 beinhalten. Ein Objekt 7, 8, 9 kann zu einem oder zu mehreren Graphenknoten 13 mit aufgeteilter Probabilität zugewiesen sein. Die Graphenknoten 13 können durch eine Inzidenzmatrix abgebildet werden. Die Objekte 7, 8, 9 können beliebig ausgebildet sein. Beispielsweise kann es sich bei den Objekten 7, 8, 9 jeweilig um ein Auto, einen Fußgänger, ein Hindernis, ein Verkehrsschild, eine Ampel oder dergleichen handeln. Des Weiteren können die Objekte 7, 8, 9 Attribute, wie beispielsweise eine Klasse, eine Dimension, eine Geschwindigkeit, eine Probabilität, aufweisen und an dem Graphenknoten 13 angehängt sein. Ferner kann vorgesehen sein, dass das graphbasierte Umgebungsmodell 1, wie 1 aufzeigt, eine Orien- . tierung aufweisen kann, wobei die Orientierung der Graphenkante 12 einer möglichen Bewegungsrichtung, die durch die Trajektorie 17 dargestellt sein kann, an der entsprechenden Fahrspur 18, 19 entsprechen kann. Das graphbasierte Umgebungsmodell 1 kann auch zyklisch ausgebildet sein.
Insbesondere kann vorgesehen sein, dass das graphbasierte Umgebungsmodell 1 der Straße 20 aus einer Umgebungskarte K (5) extrahiert wird. Die dynamischen Objekte 8, 9, welche in diesem Fall durch das weitere Kraftfahrzeug 15 und das nochmals weitere Kraftfahrzeug 16 ausgebildet sind, werden mithilfe der Erfassungseinrichtung 11 erfasst und mit entsprechenden Koordinaten in der Umgebung 10 erkannt. Die erkannten Objekte 7, 8, 9 werden anhand der Position 4 in das graphbasierte Umgebungsmodell 1 beziehungsweise zu den entsprechende Graphenkanten 12 und Graphenknoten 13 zugeordnet. Es kann möglich sein, dass neue Graphenknoten 13 mit Objekten 7, 8, 9 in das graphbasierte Umgebungsmodell 1 hinzugefügt werden. Die Objekte 7, 8, 9 mit der jeweiligen Position 4 werden für die bestimmte Anzahl der Schritte gespeichert. Als Ergebnis wird die Menge von Objekten 7, 8, 9 für die bestimmte Anzahl der Zeitschritte in die Vergangenheit und Zukunft, insbesondere nur für das Training, generiert. Insbesondere sind die dargelegten Schritte für ein Offlinetraining, aber auch für die Anwendung innerhalb des Fahrerassistenzsystems 3, realisiert.
Insbesondere kann vorgesehen sein, dass das neuronale Netz N die Knotenmatrix mit den entsprechenden Objekten 7, 8, 9 für alle Zeitschritte sowie die Adjazenzmatrix mit den Graphenkanten 12 als Eingangswerte erhält. Als neuronales Netz N kann beispielsweise ein Gated Graph Sequence Neural Network oder ein Graph Convolutional Network genutzt werden. Mit anderen Worten kann als neuronales Netzwerk N ein neuronales Netzwerk vom Gated-Graph-Sequenz-Typ oder als Graph-gefaltetes neuronales Netzwerk bereitgestellt werden.
Das neuronale Netzwerk N kann die graphbasierten Eingangswerte verarbeiten und graphbasierte Ausgangswerte generieren.
Insbesondere kann vorgesehen sein, dass die Graphenknoten 13, sowie auch die Graphenkanten 12, unterschiedliche Arten von Attributen, wie beispielsweise eine numerische, wie beispielsweise Geschwindigkeit, oder eine kategorische, wie beispielsweise die Klasse, aufweisen kann. Diese Attribute sollen in der internen Repräsentation berücksichtigt werden. Beispielsweise kann hierzu eine Verwendung von Look-up-Tables (Listen) für die kategorischen Attribute sowie für die normalen neuronalen Netzwerke N für die numerischen Attribute mit weiteren Kombinationen der Repräsentationen genutzt werden. Die Anzahl der Objekte 7, 8, 9 pro Graphenknoten 13 bei den Eingangswerten sowie auch bei den Ausgangswerten ist variierbar. Beispielsweise kann dies mithilfe verschiedener Memoryansätze oder mit Dequeue-Algorithmen gelöst werden. Die zukünftige Prädiktion P soll zu einer gesamten Vergangenheit, insbesondere bis zu einem gewissen Zeitschritt, durchgeführt werden, was mit der Rekurrenz in dem graphbasierten Umgebungsmodell 1 gelöst werden kann. Insbesondere bei der Nutzung des Gated Graph Sequence Neural Network ist dies bereits integriert. Die Vorhersagen sollen insbesondere unterschiedlicher Art, beispielsweise numerischer Art beziehungsweise kategorischer Art, sein, was zu einer Kombination der unterschiedlichen Kostenfunktionen führt. Die Anzahl der Graphknoten 13 ist dynamisch beziehungsweise kann vom graphbasierten Umgebungsmodell 1 zu einem weiteren graphbasierten Umgebungsmodell unterschiedlich sein, was zu einer dynamischen Gestaltung des neuronalen Netzes N führt.
Insbesondere kann vorgesehen sein, dass das graphbasierte Umgebungsmodell 1 auf Basis eines aufgenommenen Bilds der Erfassungseinrichtung 11 und auf Basis der Umgebungskarte K der Umgebung 10 modelliert wird. Insbesondere wird das graphbasierte Umgebungsmodell 1 kraftfahrzeugintern in Echtzeit modelliert.
Insbesondere sollte die Erfassungseinrichtung 3 beispielsweise als Kamera ausgebildet sein, so werden die Kamerabilder aus dem Kraftfahrzeug 2 direkt . zur Erzeugung des graphbasierten Umgebungsmodells 1 der Straße 20 in Echtzeit, beziehungsweise in Real-Time, und ohne kraftfahrzeugexterne Speichereinrichtung, welche auch als Backend bezeichnet wird, verwendet. Insbesondere ist vorgesehen, dass das graphbasierte Umgebungsmodell 1 aus der bestehenden Umgebungskarte K beziehungsweise der Aufnahme einer neuen Umgebungskarte K in diverse Fahrumgebungen extrahiert wird. Es wird die Umgebung 10 mit den Kamerabildern aufgenommen sowie eine genaue Position mittels einer Positionserfassungseinrichtung des Kraftfahrzeugs 2 auf der entsprechenden Umgebungskarte K bestimmt. Es wird die Umgebungskarte im sichtbaren Bereich des Kamerabilds abgeschnitten. Für das Training werden Datenbasen von Paaren (Kamerabild und entsprechender Ausschnitt in der Umgebungskarte K) generiert.
Zur Prädiktion P und zum Training des neuronalen Netzwerks N wird dieses insbesondere mit dem Sequence-to-Sequence (Sequenz-zu-Sequenz)-Verfahren trainiert. Dies ist in 2 schematisch abgebildet. Für das Training werden die Objekte 7, 8, 9 für die n-Schritte aus der Vergangenheit sowie die Adjazenzmatrix des graphbasierten Umgebungsmodells 1 als Eingangswert I (Input) eingegeben und die Objekte 7, 8, 9 für die m-Schritte in die Zukunft prädiziert. In der Phase des Trainings werden die prädizierten Objekte 7, 8, 9 mit den Ground-Truth-Objekten GT (Bodenwahrheiten) des Feldversuchs mithilfe der entsprechenden Kostenfunktionen verglichen und die Fehler zurückpropagiert. Weiter werden die Parameter des neuronalen Netzwerks N aktualisiert, um diese Fehler zu minimieren (Backpropagation through time). Die prädizierten Objekte 7, 8, 9 werden an die bestehenden Graphenknoten 13 zugeordnet beziehungsweise werden neue Graphenknoten 13 generiert.
3 zeigt eine schematische Draufsicht auf eine Ausführungsform einer Vorhersage einer Trajektorie 5, 6. In 3 ist die Vorhersage der Trajektorie 6 des nochmals weiteren Kraftfahrzeugs 16 angezeigt. Insbesondere zeigt die 3 die Position 4 des nochmals weiteren Kraftfahrzeugs 16 zu sechs unterschiedlichen Zeitpunkten (T=0 bis T=5). Die Trajektorie 6 des nochmals weiteren Kraftfahrzeugs 16 wird aus den Graphenknoten 13 des nochmals weiteren Kraftfahrzeugs 16 mit den entsprechenden Positionen 4 und den Geschwindigkeiten extrahiert. Insbesondere können dafür unterschiedliche Kurvenanpassungsalgorithmen, wie in der 3 dargestellt, verwendet werden. Die Anzahl der Graphenknoten 13 für das Kurvenfitting ist sehr gering, sodass die Laufzeit des Kurvenanpassungsalgorithmus im Vergleich zur Laufzeit des neuronalen Netzwerks N sehr gering ist. Dadurch ist die Laufzeit zur Prädiktion P einer Position 4 oder der Trajektorie 5, 6 ebenfalls sehr gering, da sie in diesem Teil nicht beeinträchtigt wird.
Insbesondere kann dadurch die Grundlage für ein pilotiertes und autonomes Fahren des Kraftfahrzeugs 2 generiert werden. Des Weiteren kann eine implizierte Modellierung des Verhaltens der Objekte 7, 8, 9 durchgeführt werden. Ferner kann eine einfache und schnelle Datengenerierung realisiert werden. Ebenfalls vorteilhaft ist, dass die Generalisierbarkeit an die neuen Situationen vorteilhaft durchgeführt werden kann. Des Weiteren sind eine Effizienzsteigerung und eine Echtzeitfähigkeit realisiert. Ferner kann eine konstante Laufzeit realisiert werden.
4 zeigt in einem Ablaufdiagramm eine Architektur des neuronalen Netzwerks N. In einem Schritt S1 wird mittels der Erfassungseinrichtung 11, welche im vorliegenden Beispiel insbesondere als Kamera ausgebildet ist, das Eingangsbild erzeugt. Das Eingangsbild kann dabei ein Graubild oder ein Farbbild sein. Im Schritt S2 wird ein Encoder (Kodierer) bereitgestellt. Als Encoder für das Kamerabild kann ein gefaltetes neuronales Netz N verwendet werden. Hier wird insbesondere eine komprimierte interne Repräsentation des Bildes erzeugt. Durch den Schritt S3 ist ein Decoder (Dekodierer) dargestellt. Ziel des Decoders ist die Erzeugung der Graphenrepräsentation aus der inneren Repräsentation des Bilds nach dem Schritt S2. Im Schritt S4.1 wird die Knotenmatrix und im Schritt S4.2 die Adjazenzmatrix des graphbasierten Umgebungsmodells 1 erzeugt. Diese können im Schritt S3 mithilfe von diversen neuronalen Netzen, zum Beispiel einem gefalteten neuronalen Netzwerk N, generiert werden.
Das neuronale Netzwerk N wird mithilfe der Backpropagation trainiert. Mithil- . fe des neuronalen Netzwerks N wird das graphbasierte Umgebungsmodell 1 für das Eingangsbild im Schritt S1 generiert. Das erzeugte graphbasierte Umgebungsmodell 1 wird mit dem entsprechenden Ground-Truth-Objekt GT verglichen und die entsprechenden Fehler für die Knotenmatrix sowie die Adjazenzmatrix ausgerechnet. Dieser Fehler wird für die Aktualisierung der Netzparameter verwendet. Dadurch kann die Grundlage für pilotiertes und autonomes Fahren realisiert werden. Des Weiteren kann eine einfache und schnelle Datengenerierung durchgeführt werden. Insbesondere ist das in 4 dargestellte Verfahren unabhängig vom Backend. Des Weiteren kann dadurch eine Effizienzsteigerung und eine Echtzeitfähigkeit realisiert werden. Des Weiteren kann die Laufzeit als konstante Laufzeit bereitgestellt werden.
5 zeigt in einer schematischen Draufsicht eine Ausführungsform des Fahrerassistenzsystems 3. Insbesondere zeigt die 5, dass mittels der Erfassungseinrichtung 11 eine Fahrbahnmarkierung 22 und/oder eine Fahrbahnkante 21 und/oder ein Fahrbahnmarkierungsobjekt 23 erfasst werden kann und die erfasste Fahrbahnmarkierung 22 und/oder die erfasste Fahrbahnkante 21 und/oder das erfasste Fahrbahnmarkierungsobjekt 23 mit dem graphbasierten Umgebungsmodell 1 und/oder mit der Umgebungskarte K verglichen wird, wobei bei einer Abweichung bei dem Vergleich das graphbasierte Umgebungsmodell 1 und/oder die Umgebungskarte K abhängig von der Abweichung aktualisiert wird.
Insbesondere kann vorgesehen sein, dass das graphbasierte Umgebungsmodell 1 und/oder die Umgebungskarte K auf einem Speichermedium 24 des Kraftfahrzeugs 2 und/oder auf einem weiteren, kraftfahrzeugexternen Speichermedium 25, beispielsweise dem Backend, welches insbesondere cloudbasiert sein kann, aktualisiert wird.
Insbesondere kann dies zur Reduktion der Komplexität des Erzeugens des graphbasierten Umgebungsmodells 1 und/oder der Umgebungskarte K führen. Insbesondere durch die Assoziation der Linienobjekte 21, 22 zusätzlich mit einem Referenzobjekt, welches im vorliegenden Ausführungsbeispiel als Fahrbahnmarkierungsobjekt 23 ausgebildet sein kann, kann eine technische Hilfestellung für die Aktualisierung realisiert werden. Somit ist eine Konkatenation der in dem als Backend bezeichneten kraftfahrzeugexternen Speichermedium 25 aggregierten Linienobjekte 21, 22 vereinfacht.
Die Pflege des Kartenattributs „Spurmarkierung“ kann, solange ausreichend viele verifizierte Referenzobjekte, wie zum Beispiel die gezeigten erfassten Fahrbahnmarkierungsobjekte 23, vorhanden sind, mit einer Volumenfahrzeugflotte mit beispielsweise jeweils einer Kamera, einer Positionserfassungseinrichtung und eine Datenausleitungsvorrichtung, gewartet beziehungsweise aktualisiert werden. Speziell für die assistierenden Anwendungsfälle, wie beispielsweise einer spurgenauen Navigation, beispielsweise beim autonomen Fahrbetrieb des Kraftfahrzeugs 2, hat man hiermit ein kostengünstiges Verfahren, welches eine verbesserte Funktions-Coverage (Deckung) verspricht.
Insbesondere kann eine Übertragung 27 als Aktualisierung, welche beispielsweise auftragsbasiert sein kann, von extrahierten Linienfeatures 21, 22 nach einem positiven Abgleich 26 mit den erkannten Referenzpunkten, welche beispielsweise die erfassten Fahrbahnmarkierungsobjekte 23 sein können, an die Umgebungskarte K durchgeführt werden. Nötige Metainformationen der Linienfeatures 21, 22 sind neben der Art und Form zumindest die Position 4, der Zeitstempel sowie die Identifikation und Abstände zu den eindeutigen Referenzpunkten. Insbesondere wird eine Aggregation und eine Zuordnung der Linienfeatures 21, 22 zur Pflege der Umgebungskarte K durchgeführt.
Insgesamt zeigen die Beispiele, wie durch die Erfindung ein Verfahren zur Prädiktion P der Position 4 und Trajektorien 5, 6 der Verkehrsteilnehmer mithilfe der graphbasierten Modelle, ein Verfahren zur Erzeugung der Graphstruktur der Straße 20 aus dem Kamerabild und ein Kartieren von Linienfeatures 21, 22 auf Basis von Fahrzeug-Sensorinformationen durchgeführt werden kann.

Claims

Verfahren zur Prädiktion (P) einer Position (4) oder einer Trajektorie (5, 6) zumindest eines Objekts (7, 8, 9) in einer Umgebung (10) eines Kraftfahrzeugs (2), wobei mittels einer Erfassungseinrichtung (11) des Kraftfahrzeugs (2) das zumindest eine Objekt (7, 8, 9) in der Umgebung (10) des Kraftfahrzeugs (2) erfasst wird und mittels eines neuronalen Netzwerks (N) die Position (4) oder die Trajektorie (5, 6) des zumindest einen Objekts (7, 8, 9) prädiziert wird, dadurch gekennzeichnet, dass die Umgebung (10) zu einem graphbasierten Umgebungsmodell (1) mit zumindest einer Graphenkante (12) und zumindest einem Graphenknoten (13) modelliert wird und die Position (4) oder die Trajektorie (5, 6) mittels des neuronalen Netzwerks (N), mit dem das graphbasierte Umgebungsmodell (1) implementiert ist, abhängig von der zumindest einen Graphenkante (12) und/oder dem zumindest einen Graphenknoten (13) prädiziert wird.
Verfahren nach Anspruch 1, wobei der zumindest einen Graphenkante (12) eine Fahrbahn (18, 19) der Umgebung (10) und/oder eine Fahrbahnmarkierung (22) der Umgebung (10) und dem zumindest einen Graphenknoten (13) das zumindest eine Objekt (7, 8, 9) zugewiesen werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das neuronale Netzwerk (N) als neuronales Netzwerk vom Gated-graph-Sequenz-Typ oder als Graph-gefaltetes neuronales Netzwerk bereitgestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Position (4) oder die Trajektorie (5, 6) mit dem graphbasierten Umgebungsmodells (1) dargestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die zumindest eine Graphenkante (12) mittels einer Adjazenzmatrix und/oder der zumindest eine Graphenknoten (13) mittels einer Knotenmatrix abgebildet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das graphbasierte Umgebungsmodell (1) auf Basis eines aufgenommenen Bilds der Erfassungseinrichtung (11) und auf Basis einer Umgebungskarte (K) der Umgebung (10) modelliert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das graphbasierte Umgebungsmodell (1) kraftfahrzeugintern in Echtzeit modelliert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels der Erfassungseinrichtung (11) eine Fahrbahnmarkierung (22) und/oder eine Fahrbahnkante (21) und/oder ein Fahrbahnmarkierungsobjekt (23) erfasst wird und die erfasste Fahrbahnmarkierung (22) und/oder die erfasste Fahrbahnkante (21) und/oder das erfasste Fahrbahnmarkierungsobjekt (23) mit dem graphbasierten Umgebungsmodell (1) und/oder mit einer Umgebungskarte (K) verglichen wird, wobei bei einer Abweichung bei dem Vergleich das graphbasierte Umgebungsmodell (1) und/oder die Umgebungskarte (K) abhängig von der Abweichung aktualisiert wird.
Verfahren nach Anspruch 8, wobei das graphbasierte Umgebungsmodell (1) und/oder die Umgebungskarte (K) auf einem Speichermedium (24) des Kraftfahrzeugs (2) und/oder auf einem weiteren, kraftfahrzeugexternen Speichermedium (25) aktualisiert wird.
Fahrerassistenzsystem (3), mit einer Erfassungseinrichtung (11) zum Erfassen zumindest eines Objekts (7, 8 9) in einer Umgebung des Kraftfahrzeugs (2), wobei das Fahrerassistenzsystem (3) dazu ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 9 durchzuführen.
Kraftfahrzeug (2) mit einem Fahrerassistenzsystem (3) nach Anspruch 10.