-
Die vorliegende Offenbarung betrifft ein Verfahren und System zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten, ein Verfahren zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten, ein Speichermedium zum Ausführen der Verfahren, und ein Fahrzeug mit einem solchen Speichermedium. Insbesondere betrifft die vorliegende Offenbarung eine Navigation eines automatisiert fahrenden Fahrzeugs basierend auf einer vorbestimmten Umgebungskarte.
-
Stand der Technik
-
Moderne Fahrzeuge umfassen eine Vielzahl von verschiedenen Sensorsystemen, wie zum Beispiel ein LiDAR-System, ein Radar-System, eine Kamera und ein Ultraschall-System. Derartige Sensorsysteme können für eine Vielzahl verschiedener Anwendungen eingesetzt werden, wie zum Beispiel für Fahrassistenzsysteme zum automatisierten Fahren. Beim automatisierten Fahren kann es sich um ein zeitlich längeres Fahren beispielsweise auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Zudem kann ein automatisiertes Fahren in urbanen Gegenden erfolgen, also im städtischen Verkehr. Ein solches Fahrassistenzsystem verwendet Kartendaten und Daten der Sensorsysteme, um das Fahrzeug zu steuern. Hier ist es unerlässlich, dass ein Umfeld des Fahrzeugs eindeutig und so genau wie möglich bestimmt wird.
-
Offenbarung der Erfindung
-
Es ist eine Aufgabe der vorliegenden Offenbarung, ein Verfahren und System zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten, ein Verfahren zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten, ein Speichermedium zum Ausführen der Verfahren, und ein Fahrzeug mit einem solchen Speichermedium anzugeben, die eine sichere Verwendung einer vorgegebenen Umgebungskarte ermöglichen. Insbesondere ist es eine Aufgabe der vorliegenden Erfindung, ein Fahrassistenzsystem zum automatisierten Fahren sicher und zuverlässig zu betreiben.
-
Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
-
Gemäß einem unabhängigen Aspekt der vorliegenden Offenbarung ist ein Verfahren zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten angegeben. Das Verfahren umfasst ein Bereitstellen von validen (bzw. gültigen) Umfelddaten in einer Feature-Darstellung aus Kartendaten und Sensordaten; ein Bereitstellen von nicht-validen (bzw. ungültigen) Umfelddaten in einer Feature-Darstellung aus Kartendaten und Sensordaten; und ein Trainieren eines neuronalen Netzes mit den validen Umfelddaten und den nicht-validen Umfelddaten zum Beispiel mittels einer Darstellung der validen Umfelddaten und nicht-validen Umfelddaten in einer gemeinsamen Repräsentation. Dies kann mittels Deep Learning, und insbesondere Repräsentationserlernen („representation learning“) erfolgen.
-
Der Begriff „Feature-Darstellung“ bedeutet im Rahmen der vorliegenden Offenbarung, dass Eingänge verschiedener Quellen, wie HD Kartendaten und Sensordaten, in einem niedrigdimensionalen Feature-Raum, wie einem gemeinsamen Latenzraum („joint latent space“), dargestellt werden.
-
Die Kartendaten sind vorgegebene Kartendaten, und insbesondere HD-Kartendaten, die eine digitale Karte angeben, die im Allgemeinen in Fahrzeugen hinterlegt ist und beispielsweise für den Betrieb eines Fahrassistenzsystems zum automatisierten Fahren verwendet wird. Die digitale Karte kann in einigen Ausführungsformen zum Beispiel online nachgeladen und/oder aktualisiert werden.
-
Die Sensordaten sind beispielsweise Bilddaten einer Kamera. Die Sensordaten können mittels eines Messfahrzeugs aufgenommen werden, um das neuronale Netz zu trainieren.
-
Erfindungsgemäß wird mittels Deep Learning ein neuronales Netz trainiert, mit dem eine vorgegebene Umgebungskarte im laufenden Betrieb eines Fahrzeugs direkt validiert werden kann, ohne dass beispielsweise zunächst ein Umgebungsmodell aus Sensordaten erstellt werden muss. Zur Erzeugung der Trainingsdaten können zum Beispiel während der Testfahrten Karteninformationen und verschiedene Sensormodalitäten des Fahrzeugs aufgezeichnet werden. Anschließend können diese in eine Bilddarstellung umgewandelt werden. Datenpaare mit gleicher Aufzeichnungszeit können als valide Umfelddaten indiziert werden. Invalide Umfelddaten können erzeugt werden, indem Karten- und Sensorbilder mit unterschiedlichen Zeitstempeln verglichen werden. Das auf diese Weise trainierte neuronale Netz kann eine vorgegebene Umgebungskarte im laufenden Betrieb eines Fahrzeugs direkt und auf eine zuverlässige Art und Weise validieren.
-
Vorzugsweise umfasst das Bereitstellen von validen Umfelddaten und nicht-validen Umfelddaten ein Erzeugen der jeweiligen Feature-Darstellung unter Verwendung eines ersten neuronalen Faltungsnetzes („Convolutional Neural Network“, CNN) und eines zweiten neuronalen Faltungsnetzes, wobei das erste neuronale Faltungsnetz die Kartendaten als Eingang verwendet und das zweite neuronale Faltungsnetz die Sensordaten als Eingang verwendet. Damit können die Kartendaten (d.h. Daten entsprechend der Umgebungskarte) und die Sensordaten (z.B. Bilddaten einer Kamera) in einen gemeinsamen Latenzraum („joint latent space“) überführt werden, so dass ein Vergleich möglich ist.
-
Vorzugsweise basieren die validen Umfelddaten und die nicht-validen Umfelddaten auf Bilddaten, wie zum Beispiel von wenigstens einer Kamera z.B. eines Messfahrzeugs. Die vorliegende Offenbarung ist jedoch nicht auf Kameradaten beschränkt und es können andere Arten von Sensoren verwendet werden, die eine Bilddarstellung erlauben.
-
Vorzugsweise erfolgt weiter ein Bestimmen einer Validität der Kartendaten in der Feature-Darstellung, beispielsweise unter Verwendung eines Siamesischen Neuronales Netzes. Siamesische Netzwerke beschreiben dabei einen Aufbau aus den zwei CNNs gleicher Architektur (normalerweise mit geteilten Gewichten, in einigen Ausführungsformen der vorliegenden Offenbarung jedoch nicht), optional mit Fully Connected Layern und dem anschließenden Vergleich durch eine Distanzmetrik.
-
Das Bestimmen der Validität kann in einigen Ausführungsformen als binäre Entscheidung erfolgen. Insbesondere entsprechen die validen Umfelddaten einer Übereinstimmung zwischen Messdaten eines Umfelds und vorgegebenen Kartendaten, und die nicht-validen Umfelddaten entsprechen einer fehlenden Übereinstimmung zwischen den Messdaten des Umfelds und den vorgegebenen Kartendaten. Die Paare aus Kartendaten und Sensordaten in der Feature-Darstellung können entsprechend gelabelt werden.
-
Beim Repräsentationslernen („representation learning“) mittels des CNN wird der Input verschiedener Quellen in einen gemeinsamen Latenzraum umgewandelt. Für Bilder derselben Domäne kann dies durch die Verwendung einer siamesischen Architektur geschehen. Da sich die Darstellung von Kartendaten und Sensordaten stark unterscheidet, kann diese Architektur nicht für eine Kartenvalidierung genutzt werden. Die Architektur kann dabei soweit noch siamesisch sein, als dass die Architektur beider CNNs noch identisch ist, jedoch wird auf das Teilen der Gewichte („weight sharing“) verzichtet. Um die On-Board-Sensormessungen mit den Kartendaten zu vergleichen, werden gemäß Ausführungsformen der vorliegenden Offenbarung neuronale Faltungsnetze verwendet, um die Feature-Darstellung der Kartendaten und Sensordaten zu erhalten.
-
Die binäre Entscheidung über die Gültigkeit der Karte basiert auf dem Vergleich von Karten- und Sensordaten in dieser komprimierten Darstellung. Die beiden neuronalen Faltungsnetze (CNN) der gleichen Architektur nehmen Karten- und Sensordaten als Input. Diese CNNs teilen ihre Gewichte nicht. Dies erhöht die Anzahl der trainierbaren Parameter um den Faktor zwei, führt aber dazu, dass jedes CNN seine eigene Transformationsfunktion in den gemeinsamen Latenzraum Raum erlernen kann, anstatt dass sich beide darauf zu verlassen, gemeinsame Merkmale in beiden Modalitäten zu finden. Somit verarbeitet jedes Faltungsnetz eine Eingangsquelle (z.B. Karten- oder Sensordaten) einzeln.
-
Basierend auf dieser Feature-Darstellung von Karten- und Sensordaten wird die binäre Klassifizierung durchgeführt. Eine Möglichkeit, dies zu tun, ist die Verwendung der euklidischen Distanz im latenten Raum: Wenn sie über einer Schwelle liegt, wird das Paar als ungültig betrachtet. Eine andere Möglichkeit besteht darin, vollständig verbundene Schichten zu verwenden, die für die binäre Klassifizierung trainiert wurden. Der Feature-Extraktor und das Klassifizierungsnetzwerk werden gleichzeitig und durchgängig trainiert.
-
Da zwischen Training und Einsatz im autonomen Fahrzeug ein Unterschied besteht, führt die am Trainingsset erhaltene Schwelle nicht immer zu genauen Ergebnissen. Daher kann eine Reihe von realen nicht-validen Paaren verwendet werden, um einen situationsspezifischen Schwellenwert zu bestimmen.
-
Vorzugsweise entsprechen die validen Umfelddaten Kartendaten und Sensordaten eines selben Zeitpunkts, und die nicht-validen Umfelddaten entsprechen Kartendaten und Sensordaten verschiedener Zeitpunkte. Insbesondere ist die begrenzte Anzahl ungültiger Proben für das Training eines Deep-Learning-Modells für die Kartenvalidierung eine Herausforderung. Trainings- und Testdaten können eine unterschiedliche Struktur aufweisen. In den Trainingsdaten können Karten- und Sensorbilder mit verschiedenen Zeitstempeln verwendet werden, um die nicht-validen Umfelddaten zu erzeugen.
-
Vorzugsweise betreffen die Umfelddaten wenigstens einen der folgenden Aspekte: eine bauliche Eigenschaft, insbesondere eine bauliche Eigenschaft einer Straße oder Fahrbahn und/oder eine Straßenführung und/oder bewegte Objekte und/oder unbewegte Objekte, insbesondere andere Verkehrsteilnehmer und/oder Verkehrszeichen, insbesondere Schilder und/oder Leuchtzeichen.
-
Gemäß einem weiteren Aspekt der vorliegenden Offenbarung ist ein Verfahren zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten angegeben. Das Verfahren umfasst ein Bereitstellen von Sensordaten durch wenigstens eine Sensoranordnung; und ein Validieren der vorgegebenen Umgebungskarte basierend auf den Sensordaten und unter Verwendung des mit dem zuvor beschriebenen Verfahren trainierten neuronalen Netzes.
-
Erfindungsgemäß werden durch Sensoren des Fahrzeugs erfasste Sensordaten verwendet, um eine Gültigkeit bzw. Richtigkeit einer vorgegebenen Umgebungskarte zu prüfen. Wenn die durch die Sensoren erfassten Sensordaten mit der vorgegebenen Umgebungskarte übereinstimmen, kann eine positive Validierung der vorgegebenen Umgebungskarte erfolgen. Wenn die durch die Sensoren erfassten Sensordaten mit der vorgegebenen Umgebungskarte jedoch nicht übereinstimmen, kann keine positive Validierung (also eine negative Validierung) der vorgegebenen Umgebungskarte erfolgen. Damit kann sichergestellt werden, dass die vorgegebene Umgebungskarte dem tatsächlichen Umfeld des Fahrzeugs entspricht. Insbesondere kann mittels der validierten vorgegebenen Umgebungskarte ein Fahrassistenzsystem zum automatisierten Fahren sicher und zuverlässig betrieben werden.
-
Der Begriff „vorgegebene Umgebungskarte“ bezieht sich im Rahmen der vorliegenden Offenbarung auf eine digitale Karte, die im Fahrzeug hinterlegt ist und beispielsweise für den Betrieb eines Fahrassistenzsystems zum automatisierten Fahren verwendet wird. Anders gesagt ist die vorgegebene Umgebungskarte keine Karte, die mittels der durch die Sensoren des Fahrzeugs erfassten Sensordaten erstellt wird.
-
Das Fahrzeug umfasst wenigstens eine Sensoranordnung (auch als „Umgebungssensorik“ bezeichnet), die eingerichtet ist, um die Umfelddaten zu erfassen. Vorzugsweise umfasst die wenigstens eine Sensoranordnung wenigstens ein LiDAR-System und/oder wenigstens ein Radar-System und/oder wenigstens eine Kamera und/oder wenigstens ein Ultraschall-System. Die wenigstens eine Sensoranordnung kann die Sensordaten (auch als „Umgebungsdaten“ oder „Umfelddaten“ bezeichnet) bereitstellen, die einen Umgebungsbereich des Fahrzeugs abbilden.
-
Vorzugsweise umfasst das Validieren der vorgegebenen Umgebungskarte eine binäre Einstufung der Gültigkeit der vorgegebenen Umgebungskarte.
-
Vorzugsweise umfasst das Validieren der vorgegebenen Umgebungskarte ein Bestimmen einer Wahrscheinlichkeit, mit der die vorgegebene Umgebungskarte korrekt ist.
-
Vorzugsweise umfasst das Validieren der vorgegebenen Umgebungskarte ein Bestimmen, dass die vorgegebene Umgebungskarte valide ist, wenn die Wahrscheinlichkeit gleich oder größer als ein vorbestimmter Schwellwert ist; und ein Bestimmen, dass die vorgegebene Umgebungskarte nicht valide ist, wenn die Wahrscheinlichkeit gleich oder kleiner als der vorbestimmte Schwellwert ist. Der vorbestimmte Schwellwert kann derart gewählt sein, dass zum Beispiel eine sichere Ansteuerung einer automatisierten Fahrfunktion ermöglicht wird.
-
Gemäß einem weiteren Aspekt der vorliegenden Offenbarung ist ein Speichermedium mit einem Software-Programm bereitgestellt. Das Software-Programm ist eingerichtet, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch die in diesem Dokument beschriebenen Verfahren auszuführen.
-
Gemäß einem weiteren Aspekt der vorliegenden Offenbarung ist ein System zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten angegeben. Das System umfasst ein Prozessormodul, das eingerichtet ist, um ein neuronales Netz mit validen Umfelddaten und nicht-validen Umfelddaten zu trainieren, wobei die validen Umfelddaten und die nicht-validen Umfelddaten jeweils in einer Feature-Darstellung aus Kartendaten und Sensordaten dargestellt sind.
-
Vorzugsweise ist das System zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten, also das Training, in einer zentralen Einheit z.B. eines Fahrzeugherstellers implementiert.
-
Das System kann Aspekte enthalten, die in Zusammenhang mit dem Verfahren zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten der vorliegenden Offenbarung beschrieben sind. Ähnlich kann das Verfahren die in Zusammenhang mit dem System beschriebenen Aspekte implementieren.
-
Vorzugsweise ist das System in einem Fahrassistenzsystem zum automatisierten Fahren umfasst.
-
Gemäß einem weiteren unabhängigen Aspekt ist ein Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das Fahrzeug ein Speichermedium mit einem Software-Programm, das eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das Verfahren zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten auszuführen.
-
Der Begriff Fahrzeug umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen. Insbesondere umfasst der Begriff Kraftfahrzeuge zur Personenbeförderung.
-
Vorzugsweise umfasst das Fahrzeug ein Fahrassistenzsystem zum automatisierten Fahren. Das Fahrassistenzsystem zum automatisierten Fahren kann die vorgegebene Umgebungskarte zur Steuerung des Fahrzeugs verwenden.
-
Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln, insbesondere im Stadtverkehr. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012).
-
Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich.
-
Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.
-
Figurenliste
-
Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
- 1 schematisch ein Flussdiagramm eines Verfahrens zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten gemäß Ausführungsformen der vorliegenden Offenbarung,
- 2 schematisch ein Flussdiagramm eines Verfahrens zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten gemäß Ausführungsformen der vorliegenden Offenbarung, und
- 3 schematisch ein Fahrzeug mit einem Fahrassistenzsystem zum automatisierten Fahren gemäß Ausführungsformen der vorliegenden Offenbarung.
-
Ausführungsformen der Offenbarung
-
Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.
-
1 zeigt schematisch ein Flussdiagramm eines Verfahrens 100 zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten gemäß Ausführungsformen der vorliegenden Offenbarung.
-
Das Verfahren 100 umfasst im Block 110 ein Bereitstellen von validen (bzw. gültigen) Umfelddaten in einer Feature-Darstellung aus Kartendaten und Sensordaten; im Block 120 ein Bereitstellen von nicht-validen (bzw. ungültigen) Umfelddaten in einer Feature-Darstellung aus Kartendaten und Sensordaten; und im Block 130 ein Trainieren eines neuronalen Netzes mit den validen Umfelddaten und den nicht-validen Umfelddaten z.B. mittels Deep Learning, und insbesondere Repräsentationserlemen.
-
Typischerweise basieren die validen Umfelddaten und die nicht-validen Umfelddaten, wie die Kartendaten und/oder Sensordaten, auf Bilddaten. Die Bilddaten können von wenigstens einer Kamera z.B. eines Messfahrzeugs stammen, sind jedoch nicht hierauf begrenzt. Wichtig ist nur, dass Training und Fahrzeugeinsatz auf derselben Modalität arbeiten.
-
In einigen Ausführungsformen umfasst das Bereitstellen von validen Umfelddaten und nicht-validen Umfelddaten ein Erzeugen der jeweiligen Feature-Darstellung unter Verwendung eines ersten neuronalen Faltungsnetzes und eines zweiten neuronalen Faltungsnetzes, wobei das erste neuronale Faltungsnetz die Kartendaten als Eingang verwendet und das zweite neuronale Faltungsnetz die Sensordaten als Eingang verwendet. Typischerweise erfolgt weiter ein Bestimmen einer Validität der Kartendaten in der Feature-Darstellung, beispielsweise unter Verwendung eines Siamesischen Neuronales Netzes. Das Siamesische NN umfasst dabei die beiden CNNs und die Entscheidung.
-
Das Bestimmen der Validität kann in einigen Ausführungsformen als binäre Entscheidung erfolgen. Insbesondere erfolgt die binäre Entscheidung über die Gültigkeit der Karte basiert auf dem Vergleich von Karten- und Sensordaten in dieser komprimierten Darstellung. Eine Möglichkeit, dies zu tun, ist die Verwendung der euklidischen Distanz im latenten Raum: Wenn sie über einer Schwelle liegt, wird das Paar als ungültig betrachtet. Eine andere Möglichkeit besteht darin, vollständig verbundene Schichten zu verwenden, die für die binäre Klassifizierung trainiert wurden.
-
In einigen Ausführungsformen entsprechen die validen Umfelddaten Kartendaten und Sensordaten eines selben Zeitpunkts, und die nicht-validen Umfelddaten entsprechen Kartendaten und Sensordaten verschiedener Zeitpunkte. Insbesondere ist die begrenzte Anzahl ungültiger Proben für das Training eines Deep-Learning-Modells für die Kartenvalidierung eine Herausforderung. Trainings- und Testdaten können eine unterschiedliche Struktur aufweisen. In den Trainingsdaten können Karten- und Sensorbilder mit verschiedenen Zeitstempeln verwendet werden, um die nicht-valide Umfelddaten zu erzeugen.
-
Gemäß einem weiteren Aspekt der vorliegenden Offenbarung ist ein System zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten angegeben. Das System umfasst ein Prozessormodul, das eingerichtet ist, um ein neuronales Netz mit validen Umfelddaten und nicht-validen Umfelddaten mittels Deep Learning zu trainieren.
-
Vorzugsweise ist das System in einer zentralen Einheit z.B. eines Fahrzeugherstellers implementiert.
-
Das auf die oben beschriebene Weise trainierte neuronale Netz kann eine vorgegebene Umgebungskarte im laufenden Betrieb eines Fahrzeugs direkt und auf eine zuverlässige Art und Weise validieren, wie im Folgenden unter Bezug auf die 2 beschrieben ist.
-
2 zeigt schematisch ein Flussdiagramm eines Verfahrens 200 zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten gemäß Ausführungsformen der vorliegenden Offenbarung.
-
Das Verfahren 200 umfasst im Block 210 ein Bereitstellen von Sensordaten durch wenigstens eine Sensoranordnung; und im Block 220 ein Validieren der vorgegebenen Umgebungskarte basierend auf den Sensordaten und unter Verwendung des mit dem zuvor beschriebenen Verfahren trainierten neuronalen Netzes.
-
Hier können durch Sensoren des Fahrzeugs erfasste Sensordaten verwendet werden, um eine Gültigkeit bzw. Richtigkeit einer vorgegebenen Umgebungskarte zu prüfen. Wenn die durch die Sensoren erfassten Sensordaten mit der vorgegebenen Umgebungskarte übereinstimmen, kann eine positive Validierung der vorgegebenen Umgebungskarte erfolgen. Wenn die durch die Sensoren erfassten Sensordaten mit der vorgegebenen Umgebungskarte jedoch nicht übereinstimmen, kann keine positive Validierung (also eine negative Validierung) der vorgegebenen Umgebungskarte erfolgen. Damit kann sichergestellt werden, dass die vorgegebene Umgebungskarte dem tatsächlichen Umfeld des Fahrzeugs entspricht. Insbesondere kann mittels der validierten vorgegebenen Umgebungskarte ein Fahrassistenzsystem zum automatisierten Fahren sicher und zuverlässig betrieben werden.
-
Das Fahrzeug umfasst wenigstens eine Sensoranordnung (auch als „Umgebungssensorik“ bezeichnet), die eingerichtet ist, um die Sensordaten zu erfassen. Vorzugsweise umfasst die wenigstens eine Sensoranordnung wenigstens ein LiDAR-System und/oder wenigstens ein Radar-System und/oder wenigstens eine Kamera und/oder wenigstens ein Ultraschall-System. Die wenigstens eine Sensoranordnung kann die Sensordaten (auch als „Umgebungsdaten“ oder „Umfelddaten“ bezeichnet) bereitstellen, die einen Umgebungsbereich des Fahrzeugs abbilden.
-
In einigen Ausführungsformen umfasst das Validieren der vorgegebenen Umgebungskarte eine binäre Einstufung der Gültigkeit der vorgegebenen Umgebungskarte.
-
In weiteren Ausführungsformen umfasst das Validieren der vorgegebenen Umgebungskarte ein Bestimmen einer Wahrscheinlichkeit, mit der die vorgegebene Umgebungskarte korrekt ist.
-
Beispielsweise umfasst das Validieren der vorgegebenen Umgebungskarte ein Bestimmen, dass die vorgegebene Umgebungskarte valide ist, wenn die Wahrscheinlichkeit gleich oder größer als ein vorbestimmter Schwellwert ist; und ein Bestimmen, dass die vorgegebene Umgebungskarte nicht valide ist, wenn die Wahrscheinlichkeit gleich oder kleiner als der vorbestimmte Schwellwert ist. Der vorbestimmte Schwellwert kann derart gewählt sein, dass zum Beispiel eine sichere Ansteuerung einer automatisierten Fahrfunktion ermöglicht wird.
-
3 zeigt schematisch ein Fahrzeug 1 mit einem Fahrassistenzsystem 300 zum automatisierten Fahren gemäß Ausführungsformen der vorliegenden Offenbarung,
-
Insbesondere umfasst ein Fahrzeug 1 das Fahrassistenzsystem 300 zum automatisierten Fahren. Beim automatisierten Fahren erfolgt die Längs- und Querführung des Fahrzeugs 1 automatisch. Das Fahrassistenzsystem 300 übernimmt also die Fahrzeugführung. Hierzu steuert das Fahrassistenzsystem 1 den Antrieb 20, das Getriebe 22, die hydraulische Betriebsbremse 24 und die Lenkung 26 über nicht dargestellte Zwischeneinheiten.
-
Das Fahrzeug umfasst wenigstens eine Sensoranordnung 12 (auch als „Umgebungssensorik“ bezeichnet), die eingerichtet ist, um die Sensordaten zu erfassen. Vorzugsweise umfasst die wenigstens eine Sensoranordnung 12 wenigstens ein LiDAR-System und/oder wenigstens ein Radar-System und/oder wenigstens eine Kamera und/oder wenigstens ein Ultraschall-System.
-
Zur Planung und Durchführung des automatisierten Fahrens werden Umfeldinformationen der wenigstens eine Sensoranordnung 12, die das Fahrzeugumfeld beobachtet, vom Fahrerassistenzsystem 300 entgegengenommen.
-
Zusätzlich umfasst das Fahrzeug 1 ein Speichermedium mit einem Software-Programm, das eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das Verfahren zum direkten Validieren einer Umgebungskarte durch Sensordaten gemäß der 2 auszuführen.
-
Erfindungsgemäß wird mittels Deep Learning ein neuronales Netz trainiert, mit dem eine vorgegebene Umgebungskarte im laufenden Betrieb eines Fahrzeugs direkt validiert werden kann, ohne dass beispielsweise zunächst ein Umgebungsmodell aus Sensordaten erstellt werden muss. Zur Erzeugung der Trainingsdaten können zum Beispiel während der Testfahrten Karteninformationen und verschiedene Sensormodalitäten des Fahrzeugs aufgezeichnet werden. Anschließend können diese in eine Bilddarstellung umgewandelt werden. Datenpaare mit gleicher Aufzeichnungszeit können als valide Umfelddaten indiziert werden. Invalide Umfelddaten können erzeugt werden, indem Karten- und Sensorbilder mit unterschiedlichen Zeitstempeln verglichen werden. Das auf diese Weise trainierte neuronale Netz kann eine vorgegebene Umgebungskarte im laufenden Betrieb eines Fahrzeugs direkt und auf eine zuverlässige Art und Weise validieren.