DE102022205084B3

DE102022205084B3 - Verfahren, Computerprogramm und Vorrichtung zur Umfeldwahrnehmung im Fahrzeug sowie entsprechendes Fahrzeug

Info

Publication number: DE102022205084B3
Application number: DE102022205084.3A
Authority: DE
Inventors: Jakob Spiegelberg; Jan Sonnenberg; Christian Bruns; Bernd Lehmann; Laura Fieback; Marius Spika; Tatjana Kruscha; Fabian Galetzka; Benjamin Gross; Jan Kempa; Christoph König; Marvin Schröder
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2022-05-20
Filing date: 2022-05-20
Publication date: 2023-10-12
Anticipated expiration: 2042-05-21
Also published as: CN117087685A; US20230373498A1

Abstract

Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm mit Instruktionen und eine Vorrichtung zur Umfeldwahrnehmung im Fahrzeug. Die Erfindung betrifft weiterhin ein Fahrzeug, in dem ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung eingesetzt wird. Für die Umfeldwahrnehmung werden Umfelddaten mit mindestens einem Fahrzeugsensor erfasst (11). Mittels eines trainierten Maschinenlernmodells wird basierend auf den erfassten Umfelddaten eine Vorhersage berechnet (12), wobei die Vorhersage ein Unsicherheitsmaß für die Vorhersage umfasst. Ebenso wird ein Abweichungswert für die erfassten Umfelddaten ermittelt (13), der ein Maß dafür angibt, wie deutlich die erfassten Umfelddaten von Trainingsdaten für das Maschinenlernmodell abweichen. Basierend auf dem Unsicherheitsmaß und dem Abweichungswert wird mindestens ein Konformitätswert ermittelt (14) und dann basierend auf dem mindestens einen ermittelten Konformitätswert ein Vorhersagesatz ermittelt (15). In Abhängigkeit von dem ermittelten Vorhersagesatz wird dann ein Steuersignal für eine Fahrzeugfunktion generiert (17, 18).

Description

Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm mit Instruktionen und eine Vorrichtung zur Umfeldwahrnehmung im Fahrzeug, das insbesondere zur Absicherung eines Wahrnehmungsmoduls des Fahrzeugs verwendet werden kann. Die Erfindung betrifft weiterhin ein Fahrzeug, in dem ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung eingesetzt wird.
Beim Maschinellen Lernen (ML) wird mittels geeigneter selbstadaptiver Algorithmen und basierend auf Trainingsdaten ein statistisches Modell aufgebaut, mit dem Muster und Gesetzmäßigkeiten erkannt werden können und Vorhersagen für zukünftige Daten oder Entscheidungen basierend auf erfassten Daten getroffen werden können. Ein Anwendungsgebiet des Maschinellen Lernens, dem immer mehr Bedeutung zukommt, ist der Einsatz in Fahrzeugen, beispielsweise für Fahrerassistenzsysteme beim teilautomatisierten Fahren oder für Sicherheitssysteme beim vollautomatisierten Fahren. So kann mit Fahrzeugsensoren das Umfeld des Fahrzeugs erfasst werden und basierend auf den erfassten Sensordaten mit einem geeigneten Maschinenlern-Modell ein Umfeldmodell erstellt werden.
Hierfür sind Wahrnehmungsmodule vorgesehen, mit denen erlernte Objekte in den erfassten Sensordaten des Umfelds erkannt werden können. Die Wahrnehmungsmodule leiten entsprechende Informationen üblicherweise an ein Planungsmodul weiter, ggfs. über ein Fusionsmodul, welches die Wahrnehmungsergebnisse mehrerer Wahrnehmungsmodule bzw. Sensoren integriert. Das Planungsmodul berücksichtigt dann für eine Trajektorienplanung und sichere Steuerung des Fahrzeugs die erkannten Objekte, wobei ggfs. mit Hilfe eines Entscheidungsmoduls zwischen mehreren möglichen Manövern entschieden werden kann. Diese Entscheidung wird dann an ein Steuermodul weitergeleitet, welches entsprechende Steuersignale für das Fahrzeug generiert.
Wie die Wahrnehmungsmodule kann hierbei auch das Planungsmodul auf einem Maschinenlern-Modell basieren. Aufgrund der Komplexität sind die Maschinenlern-Modelle üblicherweise als neuronale Netzwerke ausgestaltet, die beispielsweise auf einem zentralen Steuergerät des Fahrzeugs umgesetzt werden, welches hierfür ausreichende Rechenkapazitäten aufweist.
Insbesondere für autonom fahrende Fahrzeuge ist die Verlässlichkeit der Umfeldwahrnehmung von hoher Bedeutung, um Fehlfunktionen der Fahrzeuge zu verhindern und die Sicherheit von Passagieren des Fahrzeugs oder Personen im Umfeld des Fahrzeugs zu gewährleisten. Daraus leitet sich die Herausforderung ab, die im Fahrzeug verwendeten Maschinenlern-Modelle gegenüber Datenpunkten, die deutlich von den Trainingsdaten bzw. Verteilungen dieser Trainingsdaten abweichen (engl.: out-of-distribution (OOD) data) oder durch eine externe Störung zur Irreführung des Algorithmus manipuliert worden sind (engl.: adversarial attacks), abzusichern.
Hierfür sind verschiedene Ansätze bekannt. So kann beispielsweise mit einem vorgelagerten Detektor versucht werden, solche abweichenden OOD-Werte zu erkennen, die Definition eines Schwellwertes zur Abgrenzung von OOD-Punkten ist hierbei aber problematisch, beispielsweise wenn sich bei einer Drift eines Umfelddaten liefernden Sensors zunehmend schlechtere Vorhersagen graduell einstellen. Ebenso soll mittels Robustheitstests eine Absicherung erfolgen, dass sich eine Störung einer gewissen Amplitude empirisch nie stärker als ein gewisses Maß auf die Vorhersage auswirkt, ohne jedoch eine Garantie hierfür zu liefern. Ebenso kann vorgesehen werden, durch eine systemische Robustheit sicherzustellen, dass auch bei dem Ausfall eines ML-Moduls im Fahrzeug dennoch eine sichere Entscheidung möglich ist.
Eine Manipulation kann insbesondere durch eine Störung der verwendeten Sensoren oder auch durch eine Cyberattacke bzw. einen Cyberangriff über eine Verbindung mit dem Internet erfolgen. Der Schutz eines Steuersystems, das in Verbindung mit autonomen Fahrzeugen eingesetzt werden kann, vor Cyberangriffen wird beispielsweise in der US 2019/0222595 A1 offenbart. Hierbei wird für eine Vielzahl von Überwachungsknoten ein Klassifizierungsergebnis ermittelt, das angibt, ob sich der jeweilige Überwachungsknoten in einem normalen oder abnormalen Zustand befindet. Jedem Überwachungsknoten wird ein Hidden Markov Model zugeordnet. Für jeden Überwachungsknoten in einem anormalen Zustand wird das diesem Überwachungsknoten zugeordnete Hidden Markov Model ausgeführt, um zu ermitteln, ob der anormale Zustand das Ergebnis eines Angriffs oder einer Störung ist. Ähnlich beschreibt die US 2019/0260768 A1 die Erkennung, Lokalisierung und Neutralisierung von Cyberangriffen für unbemannte Luftfahrzeuge, die mit einer Vielzahl von Überwachungsknoten verbunden sind, wobei ein Computer auf ein Modell zur Angriffserkennung zugreift.
Ein Ansatz, welcher es ermöglicht, die Unsicherheit von Vorhersagen zu bewerten, die von einem Maschinenlern-Modell erzeugt werden, und damit das Maschinenlern-Modell gegenüber deutlich abweichenden Datenpunkten abzusichern, ist die konforme Vorhersage (engl.: conformal prediction). Hierbei wird beim Training des Maschinenlern-Modells ein Teil der Daten als Kalibrationsdatensatz zurückgehalten, um dann eine Konformitätsfunktion zu definieren, welche die Ausgabe des trainierten Maschinenlern-Modells einbezieht, und auf den Kalibrationsdatensatz anzuwenden. Auf diese Weise wird eine Konformitätswert-Verteilung erhalten. Diese kann dann dazu genutzt werden, ein Konfidenz-Set bzw. Intervall für einen vorherzusagenden Datenpunkt zu generieren. Hierfür wird ein Konformitätswert (engl. conformity score) des Datenpunkts ermittelt, der angibt, wie gut dieser Datenpunkt mit dem Rest des Datensatzes übereinstimmt. Es wird ein gewünschter Perzentilwert dafür definiert, dass der wahre Wert im Vorhersageintervall liegt, beispielsweise eine Sicherheit hierfür von 90%, und dann anhand der Konformitätsverteilung und einem statistischen Test ermittelt, wie groß die Menge von Vorhersagen, im Folgenden als Vorhersagesatz (engl. prediction set) bezeichnet, der diskreten Klassen, in die der Datenpunkt eingeordnet werden kann, sein muss, um das angeforderte Risiko zu erfüllen. Auf diese Weise können beliebige Maschinenlern-Funktionen kalibriert werden, und deren Unsicherheit korrekt, wenn auch ggf. pessimistisch, abgeschätzt werden.
Aus der DE 10 2020 202 974 A1 ist ein Fahrassistenzsystem mit Kamerasensor bekannt, der mittels eines neuronalen Netzes ausgewertet wird. Bei dem Verfahren ist vorgesehen, unerwünschte Einflüsse oder Eingriffe, sogenannte Adversariale Attacken, mittels eines vorgelagerten weiteren neuronalen Netzes zu erkennen und bei der Auswertung der Umfelddaten im für die eigentliche Auswertung vorgesehenen neuronalen Netzes zu berücksichtigen, insbesondere Gegenmaßnahmen einzuleiten.
Aus der DE 10 2019 219 925 A1 ist ein Verfahren bekannt, bei dem ein zur Verarbeitung von Sensordaten in einem Fahrassistenzsystem vorgesehenes neuronales Netz gegen Angriffe robustifiziert wird. Dabei die vorgesehen, die Ausgabedaten mittels Quilting stückweise zu ersetzen.
Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren zur Umfeldwahrnehmung im Fahrzeug, welches Vorhersagen mittels eines trainierten Maschinenlernmodells trifft, zur Verfügung zu stellen, sowie ein entsprechendes Computerprogramm, eine entsprechende Vorrichtung in einem Fahrzeug und ein entsprechendes Fahrzeug bereitzustellen
Diese Aufgabe wird durch die unabhängigen Ansprüche gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Das erfindungsgemäße Verfahren zur Umfeldwahrnehmung im Fahrzeug umfasst die folgenden Schritte:

- Erfassen von Umfelddaten mit mindestens einem Fahrzeugsensor;
- Berechnen einer Vorhersage mittels eines trainierten Maschinenlernmodells basierend auf den erfassten Umfelddaten, wobei die Vorhersage ein Unsicherheitsmaß für die Vorhersage umfasst;
- Ermitteln von einem Abweichungswert für die erfassten Umfelddaten, der ein Maß dafür angibt, wie deutlich die erfassten Umfelddaten von Trainingsdaten für das Maschinenlernmodell abweichen;
- Ermitteln von mindestens einem Konformitätswert basierend auf dem Unsicherheitsmaß und dem Abweichungswert;
- Ermitteln von einem Vorhersagesatz basierend auf dem mindestens einen ermittelten Konformitätswert und zuvor bestimmten Kalibrationsparametern; und
- Generieren eines Steuersignals für eine Fahrzeugfunktion in Abhängigkeit von dem ermittelten Vorhersagesatz.

Auf diese Weise ermöglicht es das erfindungsgemäße Verfahren, eine hohe Unsicherheit in der Vorhersage zu erzeugen, wenn deutlich von den Trainingsdaten bzw. Verteilungen dieser Trainingsdaten abweichende Datenpunkten oder gestörte Datenpunkte vorliegen, und damit eine Absicherung beim Vorliegen solcher Datenpunkte zu gewährleisten. Damit kann gewährleistet werden, dass nachgelagerte Planungs- und/oder Entscheidungsmodule in einem solchen Fall gar nicht oder aber angemessen reagieren.
Gemäß einer Ausführungsform der Erfindung wird hierbei nach der Ermittlung des Vorhersagesatzes unterschieden, ob der Vorhersagesatz leer ist oder mindestens einen Prädiktor enthält, wobei basierend darauf unterschiedliche Steuersignale generiert werden.
Vorteilhafterweise wird hierbei im Fall, dass der Vorhersagesatz leer ist, ein Steuersignal generiert, um ein Notmanöver für das Fahrzeug einzuleiten.
Ebenso wird vorteilhafterweise im Fall, dass der Vorhersagesatz mindestens einen Prädiktor enthält, ein Steuersignal generiert, um das Fahrzeug zu einer Reaktion entsprechend des mindestens einen Prädiktoren zu veranlassen.
Besonders vorteilhaft ist es dabei, wenn so reagiert wird, wie es die für die im aktuellen Vorhersagesatz enthaltenen Prädiktoren höchste Risikoklasse zulässt.
Weiterhin wird vorzugsweise der mindestens eine Konformitätswert basierend auf einer Funktion ermittelt, die größere Konformitätswerte für größere Abweichungswerte und/oder größere Werte für das Unsicherheitsmaß liefert.
Dabei werden vorteilhafterweise in einer Ausführungsform in der Funktion die Abweichungswerte und die Werte für das Unsicherheitsmaß additiv verknüpft.
In einer weiteren Ausführungsform werden vorteilhafterweise in der Funktion die Abweichungswerte und die Werte für das Unsicherheitsmaß multiplikativ verknüpft sind.
Insbesondere ist bei mindestens einer Ausführungsform das trainierte Maschinenlernmodell zur Umfeldwahrnehmung als neuronales Netzwerk ausgestaltet, wobei sich ein Vertrauensmaß für die Vorhersagen des neuronalen Netzwerks aus der Aktivierungsfunktion für die Ausgabe der Neuronen in der Ausgabeschicht des neuronalen Netzwerks ergibt und wobei sich das Unsicherheitsmaß aus 1 - Vertrauensmaß ergibt.
Das erfindungsgemäße Verfahren kann vorteilhafterweise in Echtzeit zur Umfeldwahrnehmung im Fahrzeug ausgeführt werden.
Weiterhin können die Kalibrationsparameter vorzugsweise bei einer Kalibrierung mittels der Verteilung der Konformitätswerte bestimmt werden.
Die Erfindung umfasst auch ein Computerprogramm mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte des erfindungsgemäßen Verfahrens veranlassen.
Eine erfindungsgemäße Vorrichtung zur Umfeldwahrnehmung im Fahrzeug umfasst:

- ein Erfassungsmodul zum Erfassen von Umfelddaten mit mindestens einem Fahrzeugsensor; und
- ein Wahrnehmungsmodul, welches eingerichtet ist,
- - eine Vorhersage mittels eines trainierten Maschinenlernmodells basierend auf den mit dem Erfassungsmodul erfassten Umfelddaten zu berechnen, wobei die Vorhersage ein Unsicherheitsmaß für die Vorhersage umfasst;
- - einen Abweichungswert für die erfassten Umfelddaten zu ermitteln, der ein Maß dafür angibt, wie deutlich die erfassten Umfelddaten von Trainingsdaten für das Maschinenlernmodell abweichen;
- - mindestens einen Konformitätswert basierend auf dem Unsicherheitsmaß und dem Abweichungswert zu ermitteln;
- - einen Vorhersagesatz basierend auf dem mindestens einen ermittelten Konformitätswert und zuvor bestimmten Kalibrationsparametern zu ermitteln; und
- - ein Steuersignal für eine Fahrzeugfunktion in Abhängigkeit von dem ermittelten Vorhersagesatz zu generieren.

Vorzugsweise wird das Wahrnehmungsmodul auf einem Steuergerät des Fahrzeugs umgesetzt.
Schließlich umfasst die Erfindung auch ein Fahrzeug, das eingerichtet ist, ein erfindungsgemäßes Verfahren auszuführen oder eine erfindungsgemäße Vorrichtung aufweist.
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den Ansprüchen in Verbindung mit den Figuren ersichtlich.

1 zeigt schematisch ein Ablaufdiagramm für ein durch ein Wahrnehmungsmodul im Fahrzeug ausgeführtes erfindungsgemäßes Verfahren;
2 zeigt eine schematische Übersicht über Komponenten eines Fahrzeuges, in dem das erfindungsgemäße Verfahren ausgeführt werden kann.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung, wie er in den Ansprüchen definiert ist, zu verlassen.
Ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens wird in 1 gezeigt. Hierbei wird davon ausgegangen, dass bereits ein trainiertes, performantes ML-Modell vorliegt. Dabei kommen unterschiedliche Methode des maschinellen Lernens in Betracht, wie insbesondere neuronale Netzwerke.
In einem Verfahrensschritt 10 werden mit mindestens einem Fahrzeugsensor Umfelddaten erfasst. Dieses können insbesondere Bild- oder Videodaten des Fahrzeugumfelds sein, die von einer oder mehreren Außenkameras des Fahrzeugs erfasst werden. Stattdessen oder zusätzlich kann das Fahrzeugumfeld aber auch mit anderen Sensoren erfasst werden, zum Beispiel mit einem Radarsensor, einem LIDAR-Sensor oder einem Ultraschallsensor. Bei der Erfassung der Umfelddaten oder der Weiterleitung der erfassten Umfelddaten kann hierbei eine Manipulation durch einen externen Störer 11 erfolgen, beispielsweise durch die Blendung einer Fahrzeugkamera mit einem Laserpointer.
Die erfassten und gegebenenfalls gestörten Umfelddaten werden dann in dem Wahrnehmungsmodul wie folgt verarbeitet. Einerseits werden diese Daten einem Maschinenlernmodell zugeführt, mit dem basierend auf den erfassten Umfelddaten in einem Verfahrensschritt 12 eine Vorhersage berechnet wird. Beispielsweise kann so eine semantische Segmentierung der erfassten Bilddaten erfolgen, bei der jedem Pixel im Bild eine Klasse zugewiesen wird, um das erfasste Bild in verschiedene Segmente zu unterteilen, wie beispielsweise Bereiche der Objektklassen „Fahrbahn“, „Auto“, „Fußgänger“, „Verkehrszeichen“, „Gebäude“, „Baum“ oder „Haus“ und basierend darauf Objekte im erfassten Fahrzeugumfeld zu erkennen und darauf reagieren zu können. Ebenso kann mit dem Maschinenlernmodell basierend auf den Umfelddaten auch eine Trajektorie für die weitere Fahrt des Fahrzeugs bzw. ein Fahrkommando für das Fahrzeug vorhergesagt werden. Die Vorhersage umfasst hierbei ein Unsicherheitsmaß σ für die Vorhersage, im Folgenden auch als naives Vertrauensmaß bezeichnet, die sich aus der Aktivierungsfunktion für die Ausgabe der Neuronen in der Ausgabeschicht (engl. output layer) des neuronalen Netzwerks, wie beispielsweise die Sigmoid- oder Softmaxfunktion, ergeben kann. Sollte dies nicht der Fall sein, kann zusätzlich ein Fehler-Prädiktor trainiert werden.
Parallel dazu werden in einem Verfahrensschritt 13 Abweichungswerte für die erfassten Umfelddaten ermittelt, die ein Maß dafür angeben, wie deutlich die erfassten Umfelddaten von Trainingsdaten für das Maschinenlernmodell abweichen und beispielsweise jeweils als Distanzmaß eines neuen Datenpunkts zu den nächsten Nachbarn berechnet werden können. Im Folgenden werden diese Abweichungswerte auch als OOD-Werte bezeichnet, da sie mit einem mit einem OOD-Detektor ermittelt werden.
Ebenso kann die Ermittlung der Abweichungswerte durch ein separates ML-Modell erfolgen. So kann ein separates ML-Modell antrainiert werden, adversalen Attacken zu erkennen und einen entsprechend höheren Abweichungswert vorherzusagen. Alternativ können auch Heuristiken herangezogen werden, wie zum Beispiel das Verhältnis von hohen zu tieffrequenten Komponenten im Bild angewandt werden, womit Bilder mit adversalen Störungen im automotiven Kontext erkannt werden können.
In einem Verfahrensschritt 14 wird dann je Klasse aus dem naiven Vertrauensmaß von Verfahrensschritt 12 und dem Abweichungswert aus Verfahrensschritt 13 ein Konformitätswert λ_1,2,3,... ermittelt. Anstatt jedoch wie bei der herkömmlichen konformen Vorhersage lediglich abzubilden, wie sehr das Modell der Prädiktion eines neuen Datenpunktes vertraut, wird also eine zusammengesetzte Funktion genutzt, bei der ein Maß für die Abweichung in die Konformitätsfunktion mit einbezogen wird. Obwohl dieses einer Grundannahme der bekannten Verfahren zur konformen Vorhersage, gemäß der die betrachteten Daten austauschbar und daher nicht „out-of-distribution“ sind, widerspricht, haben hier Untersuchungen der Erfinder gezeigt, dass dies für Konformitätsmaße mit intrinsischem OOD-Wert nicht zutrifft.
Allgemein gesprochen wird hierbei eine Funktion für die Ermittlung des Konformitätswerts gewählt, die höhere Konformitätswerte für größere Abweichungswerte aus Verfahrensschritt 13 bzw. geringere Werte für das Vertrauensmaß aus Verfahrensschritt 12 liefert. Auf diese Weise wird sichergestellt, dass bei einer Erfassung eines deutlich abweichenden Datenpunks durch den OOD-Detektor ein solcher Ausreißer zu einem höheren Konformitätswert führt.
Insbesondere kann eine Funktion für die Ermittlung des Konformitätswerts wie folgt lauten:

a) (1 - Vertrauensmaß [welches in [0,1] ist, z.B., softmax]) + OOD-Wert oder
b) (1 - Vertrauensmaß [welches in [0,1] ist, z.B., softmax]) * OOD-Wert [ggf. Gewichtung des OOD-Wertes, z.B. durch eine Exponentialfunktion]

Ebenso sind aber auch andere Wichtungen des Vertrauensmaßes basierend auf den OOD-Werten möglich.
Im darauffolgenden Verfahrensschritt 15 wird dann entsprechend der Konformitätswerte ein Vorhersagesatz (engl. prediction set) mit einem Satz von Prädiktoren ermittelt. Dieser Vorhersagesatz kann hierbei, in Abhängigkeit von dem gewählten Konformitätswert, keinen, einen einzelnen oder auch mehrere Prädiktoren enthalten. So kann bei einem gewählten Konformitätswert von beispielsweise 99% der Vorhersagesatz leer sein, d.h. keinen Prädiktor enthalten, wenn dem ML-Modell für den Datenpunkt keine Einordnung möglich ist. Ebenso kann der Vorhersagesatz bei diesem Konformitätswert einen Prädiktor enthalten, gemäß dem der Datenpunkt mit 99% Sicherheit einem Fußgänger zuzuordnen ist. Ebenso kann der Vorhersagesatz beispielsweise zwei Prädiktoren enthalten, gemäß dem der Datenpunkt mit 99% Sicherheit entweder einem Baum oder einem Fußgänger zuzuordnen ist.
Die Ermittlung des Vorhersagesatzes basierend auf den Konformitätswerten setzt eine vorausgehende Kalibrierung voraus, die üblicherweise bei dem Fahrzeughersteller erfolgt, noch bevor das Fahrzeug ausgeliefert wird. Anders als bei der konformen Vorhersage werden hierbei zur Berechnung der Konformitätswerte, wie oben beschrieben, zusätzlich zu dem Unsicherheitsmaß des Maschinenmodells auch die Abweichungswerte berücksichtigt.
Dabei wird zur Ermittlung der Verteilung der Konformitätsfunktion bzw. der Parameter der Konformitätsfunktion die Konformitätsfunktion auf einen Kalibrationsdatensatz angewandt. Hierfür wird von einem ursprünglich verfügbaren Datensatz während des Trainings des ML-Modells ein Teil der Daten als Kalibrationsdatensatz zurückgehalten. Anhand dieser Daten wird die Vorhersage des ML-Modell kalibriert, wobei, wie oben beschrieben, mit einer geeigneten Funktion Konformitätswerte ermittelt werden, welche jeweils angeben, wie sehr der Prädiktion basierend auf dem Datensatz vertraut werden kann im Sinne einer Risiko-Loss-Funktion, z.B. der Rate falscher Klassifikationen für eine Objekterkennung, oder auch komplexerer Funktionen wie das Auftreten gefährlicher Fahrtsituationen. Insgesamt erhält man hierbei eine Verteilung für die Konformitätswerte, beispielsweise entsprechend einer Glockenkurve. Anhand der Verteilung der Konformitätswerte werden Kalibrationsparameter bestimmt, mit Hilfe derer der Vorhersagesatz so erstellt werden kann, dass das vom Entwickler definierte Risiko nicht überschritten wird. Beispielweise kann ein Kalibrationsparameter für eine Objektklassifikation der Schwellwert sein, über dem eine Klasse in den Vorhersagesatz hinzugefügt wird, für eine Regression kann ein Kalibrationsparameter die Skalierung der Unsicherheit des ML Modells sein. Der oder die Kalibrationsparameter werden dann gespeichert. Dieses ermöglicht, für die spätere Anwendung des Wahrnehmungsmoduls in der Inferenz je nach Anwendung vorab zu definieren, wieviel Sicherheit oder Vertrauen diese Anwendung benötigt bzw. welches Risiko für diese Anwendung akzeptabel ist, sodass dann ein Vorhersagesatz generiert wird, bei dem mit vom Entwickler definierter Wahrscheinlichkeit garantiert wird, dass der korrekte Prädiktor enthalten ist. So kann hierfür beispielsweise ein vordefiniertes Perzentil der Verteilung verwendet werden.
Auf diese Weise kann in der Inferenz sichergestellt werden, dass nur solche Vorhersagesätze berücksichtigt werden, welche die definierte Sicherheitsanforderung erfüllen. So kann beispielsweise für eine besonders sicherheitskritische Einwendung definiert werden, dass für eine korrekte Klassifizierung eines Objekts im Fahrzeugumfeld basierend auf einer semantischen Segmentierung der erfassten Bilddaten eine Sicherheit von 99% vorliegen soll. Während der Inferenz wird dann für die erfassten Umfelddaten parallel das Unsicherheitsmaß und der Abweichungswert ermittelt und basierend darauf geprüft, welche Objektklassen als Teil des Vorhersagesatzes zugelassen werden oder nicht, beispielsweise, ob für einen Datenpunkt mit der geforderten Sicherheit davon ausgegangen werden kann, dass dieser entweder der Kategorie „Fußgänger“ oder der Kategorie „Baum“ entspricht.
Durch entsprechend ausgewählte Parameter kann so eine statistisch belastbare Aussage der Unsicherheit mit einem definierten Risiko erlangt werden. Die Garantien für das Risiko werden dabei möglicherweise sogar übererfüllt, d.h., Unsicherheiten werden größer eingeschätzt als tatsächlich vorliegend mit einem daraus folgenden kleineren tatsächlichen Risiko.
Werden mehrere verschiedene ML-Modelle angewandt, oder generiert ein ML Modell mehrere Ausgaben (engl. Outputs) um mehrere Aufgaben gleichzeitig zu lösen, so wird hierbei jeweils die oben beschriebene Kalibrierung durchgeführt, wobei jeweils eine Konformitätsfunktion erstellt wird. So kann beispielsweise ein Modell zur semantischen Segmentierung und ein Modell zur Klassifizierung vorliegen. Das Segmentierungsmodell liefert hierbei auf Pixelebene den genauen Umriss der Objekte innerhalb eines Bildes, im Gegensatz zu dem Klassifizierungsmodell, bei dem die Objekte identifiziert werden. Für die semantische Segmentierung kann dann beispielsweise eine Konformitätsfunktion basierend auf dem Intersection Over Union (IOU) Wert erstellt werden, für die Klassifizierung basierend auf false negative rate der Klassifizierung der detektierten Objekte. Bei einer Trajektorienplanung kann die Kalibrierung anhand von dem mittleren quadrierten Fehler (engl. Mean Squared Error) der Trajektorie und / oder der Wahrscheinlichkeit, mit einem Hindernis zu kollidieren, erfolgen. Daraus ergibt sich dann als Risiko jeweils die Wahrscheinlichkeit, dass der Konformitätswert einen Schwellwert über- bzw. unterschreitet. Für die Kollisionswahrscheinlichkeit ist das Risiko beispielsweise die Überschreitung eines Schwellwertes.
In einem Verfahrensschritt 16 wird dann basierend auf dem ermittelten Vorhersagesatz eine Entscheidung getroffen, wie das Fahrzeug basierend auf der vorliegenden, von den erfassten Umfelddaten abgeleiteten Information reagieren soll. In der dargestellten Ausführungsform wird hierbei unterschieden, ob der Vorhersagesatz leer ist oder mindestens einen Prädiktor enthält.
Liegt kein Prädiktor vor, so kann das ML-Modell für den Datenpunkt keine verlässliche Vorhersage treffen. Hierbei kann dann davon ausgegangen werden, dass dieser Datenpunkt von den Trainingsdaten stark abweicht oder durch eine externe Störung manipuliert worden ist. In diesem Fall wird dann in Verfahrensschritt 17 ein Steuersignal generiert, um ein Notmanöver für das Fahrzeug einzuleiten. So kann beispielsweise ein autonom fahrendes Fahrzeug abbremsen und bis auf weiteres ein besonders vorsichtiges Fahrverhalten verfolgen, bis ggfs. durch die Analyse darauffolgender Datenpunkte eine verlässliche Vorhersage möglich ist.
Wenn andererseits der Vorhersagesatz mindestens einen Prädiktor enthält, so wird in Verfahrensschritt 18 ein Steuersignal generiert, um das Fahrzeug zu einer Reaktion entsprechend dieser Prädiktoren zu veranlassen. Hierbei wird entsprechend einem Worst-Case-Scenario von dem ungünstigsten Fall ausgegangen, d.h., es wird so reagiert, wie es die für die aktuellen Prädiktoren höchste Risikoklasse zulässt.
Wenn beispielsweise der Vorhersagesatz die zwei oben genannten Prädiktoren enthält, gemäß dem mit 99% Sicherheit entweder ein Baum oder ein Fußgänger erkannt worden ist, so wird reagiert, als ob zweifelsfrei ein Fußgänger detektiert worden wäre, da einem Fußgänger aufgrund seiner Beweglichkeit im Vergleich zu einem Baum eine höhere Risikoklasse zugeordnet ist. Das Fahrzeug wird dann, im Vergleich zu einer zweifelsfreien Erkennung eines Baums, die unmittelbar vorausliegende Trajektorie und nächsten Fahrmanöver deutlich vorsichtiger wählen, um so auch bei einer unvorhergesehenen Bewegung des Fußgängers die Sicherheit von Fußgänger und Fahrzeug zu gewährleisten.
Ebenso kann im Beispiel der Segmentierung für den Fall, dass die Umrisse eines Objektes nicht gut erkannt werden, so reagiert werden, als ob es mit maximaler Ausdehnung detektiert wurde. Erfolgt mit dem Maschinenlernmodell basierend eine Trajektorienplanung, bei der im Prädiktions-Intervall der Trajektorie ein Hindernis erfasst wird, so kann beispielsweise ein Brems- und/oder Ausweichmanöver initiiert werden. Übersteigt der Konformitätswert für eine geschätzte Kollisionswahrscheinlichkeit: einen Schwellwert, so kann beispielsweise eine Notfallbremsung ausgelöst werden.
Die oben genannten Schritte des erfindungsgemäßen Verfahrens werden größtenteils durch ein Wahrnehmungsmodul im Fahrzeug ausgeführt. Hierbei können die Verfahrensschritte 12 bis 16 insbesondere durch eine zentrale Recheneinheit im Fahrzeug, beispielsweise durch ein zentrales Steuergerät oder einen sogenannten Fahrzeug-Server, umgesetzt werden, die auch bei neuronalen Netzen mit einer Vielzahl von Zwischenschichten (englisch hidden layers) zwischen Eingabeschicht und Ausgabeschicht und dadurch einer umfangreichen Komplexität mit einer sehr großen Zahl von Parametern und Rechenoperationen eine ausreichende Rechenkapazität aufweisen. Die Generierung der Steuersignale in den Verfahrensschritten 17 bzw. 18 kann ebenfalls durch eine solche zentrale Recheneinheit, aber ebenso durch ein auf einer separaten Recheneinheit implementiertes Steuermodul, umgesetzt werden.
Das in dem Fahrzeug ausgeführte erfindungsgemäße Verfahren kann beispielsweise als Computerprogramm auf der zentralen Recheneinheit ausgeführt werden. Das Computerprogramm umfasst Instruktionen, die das Steuergerät bei Ausführung durch einen Prozessor des Steuergeräts veranlassen, die Schritte gemäß dem erfindungsgemäßen Verfahren auszuführen. Der Prozessor kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.
2 zeigt eine schematische Übersicht über Komponenten eines Fahrzeuges F, in dem das erfindungsgemäße Verfahren ausgeführt werden kann.
Zum Erfassen des Fahrzeugumfelds sind in dem dargestellten Beispiel mehrere Kameras vorgesehen, von denen eine als Frontkamera K das vor dem Fahrzeug liegende Fahrzeugumfeld erfasst. Die Kameras können hierbei Licht im sichtbaren Bereich erfassen oder auch als Infrarotkameras ausgestaltet sein. Ebenso können diese auch als Stereokamera zusätzlich Tiefeninformationen liefern. Weiterhin sind in dem dargestellten Beispiel mehrere Ultraschallsensoren U und Radarsensoren R vorgesehen, die den Bereich vor, hinter und insbesondere auch neben dem Fahrzeug basierend auf den ausgesandten Ultraschall- bzw. Radarwellen und dem Auswerten des Echos erfassen.
Die mit den Sensoren erfassten Umfelddaten werden einem Wahrnehmungsmodul WM über den digitalen Datenbus B, beispielsweise einen CAN-, MOST-, FlexRay- oder Automotive Ethernet-Bus im Fahrzeug, zugeführt. So können beispielsweise als Eingabedaten für das Wahrnehmungsmodul einzelne Videobilder oder auch Videosequenzen verwendet werden, die mit der Frontkamera K aufgenommen werden, wobei mittels eines Maschinenlernmoduls ML des Wahrnehmungsmoduls in den Videosignalen Umfeldobjekte ermittelt werden.
Die Umfelddaten können aber auch mit mehreren in dem Fahrzeug implementierten Kameras erfasst werden. Stattdessen oder zusätzlich kann das Fahrzeugumfeld aber auch mit anderen Sensoren erfasst werden, zum Beispiel mit einem oder mehreren Radarsensoren, Ultraschallsensoren oder, in der Figur nicht dargestellten LIDAR-Sensoren. Ebenso können durch eine Sensorfusion Eingabedaten verschiedenartiger Sensoren gemeinsam verwendet werden. Ferner können die Daten aber auch den Zustand des jeweiligen Fahrzeugs betreffende Parameter umfassen. Hierfür können beispielsweise die Daten von IMU-Sensoren, Geschwindigkeitssensoren, Sensoren für den Betrieb von Verbrennungsmotoren und/oder Elektromotoren, Reifensensoren und/oder bremsenbezogenen Sensoren herangezogen werden.
Weiterhin ist eine Speichereinheit SM vorgesehen, in der beispielsweise die erfassten Sensordaten, Parameter der ML-Modelle oder das Computerprogramm zur Ausführung des erfindungsgemäßen Verfahrens abgespeichert werden können. Die Speichereinheit SM kann hierfür sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und beispielsweise als Halbleiterspeicher ausgestaltet sein. Dazu wird das Computerprogramm bei der Herstellung der zentralen Recheneinheit in einen Speicher des jeweiligen Steuergeräts übertragen und abgespeichert.
Weiterhin kann eine Mobilfunkeinheit MF vorgesehen sein, mittels der beispielsweise aktualisierte Parameter der ML-Modelle von einem zentralen Server empfangen werden können.
Bezugszeichenliste

11 - 18: Verfahrensschritte
MF: Mobilfunkeinheit
K: Kamera
F: Fahrzeug
R: Radarsensor
U: Ultraschallsensor
SM: Speichereinheit
WM: Wahrnehmungsmodul
ML: Maschinenlernmodell
B: digitaler Datenbus

Claims

Verfahren zur Umfeldwahrnehmung im Fahrzeug, bei dem die folgenden Schritte ausgeführt werden: - Erfassen (11) von Umfelddaten mit mindestens einem Fahrzeugsensor (K, R, U); - Berechnen (12) einer Vorhersage mittels eines trainierten Maschinenlernmodells basierend auf den erfassten Umfelddaten, wobei die Vorhersage ein Unsicherheitsmaß für die Vorhersage umfasst; - Ermitteln (13) von einem Abweichungswert für die erfassten Umfelddaten, der ein Maß dafür angibt, wie deutlich die erfassten Umfelddaten von Trainingsdaten für das Maschinenlernmodell abweichen; - Ermitteln (14) von mindestens einem Konformitätswert basierend auf dem Unsicherheitsmaß und dem Abweichungswert; - Ermitteln (15) von einem Vorhersagesatz basierend auf dem mindestens einen ermittelten Konformitätswert und zuvor bestimmten Kalibrationsparametern; und - Generieren (17, 18) eines Steuersignals für eine Fahrzeugfunktion in Abhängigkeit von dem ermittelten Vorhersagesatz.
Verfahren nach Anspruch 1, wobei nach der Ermittlung (15) des Vorhersagesatzes unterschieden (16) wird, ob der Vorhersagesatz leer ist oder mindestens einen Prädiktor enthält und basierend darauf unterschiedliche Steuersignale generiert (17, 18) werden.
Verfahren nach Anspruch 2, wobei im Fall, dass der Vorhersagesatz leer ist, ein Steuersignal generiert (17) wird, um ein Notmanöver für das Fahrzeug einzuleiten.
Verfahren nach Anspruch 2 oder 3, wobei im Fall, dass der Vorhersagesatz mindestens einen Prädiktor enthält, ein Steuersignal generiert (18) wird, um das Fahrzeug zu einer Reaktion entsprechend des mindestens einen Prädiktoren zu veranlassen.
Verfahren nach Anspruch 4, wobei so reagiert wird, wie es die für die im aktuellen Vorhersagesatz enthaltenen Prädiktoren höchste Risikoklasse zulässt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der mindestens eine Konformitätswert basierend auf einer Funktion ermittelt (14) wird, die größere Konformitätswerte für größere Abweichungswerte und/oder größere Werte für das Unsicherheitsmaß liefert.
Verfahren nach Anspruch 6, wobei in der Funktion die Abweichungswerte und die Werte für das Unsicherheitsmaß additiv verknüpft sind.
Verfahren nach Anspruch 6, wobei in der Funktion die Abweichungswerte und die Werte für das Unsicherheitsmaß multiplikativ verknüpft sind.
Verfahren nach einem der Ansprüche 6 bis 8, wobei das trainierte Maschinenlernmodell zur Umfeldwahrnehmung als neuronales Netzwerk ausgestaltet ist, wobei sich ein Vertrauensmaß für die Vorhersagen des neuronalen Netzwerks aus der Aktivierungsfunktion für die Ausgabe der Neuronen in der Ausgabeschicht des neuronalen Netzwerks ergibt und wobei sich das Unsicherheitsmaß aus 1 - Vertrauensmaß ergibt.
Verfahren gemäß einem der Ansprüche 1 bis 9, wobei das Verfahren in Echtzeit zur Umfeldwahrnehmung im Fahrzeug ausgeführt wird.
Verfahren gemäß einem der Ansprüche 1 bis 10, wobei die Kalibrationsparameter bei einer Kalibrierung mittels der Verteilung der Konformitätswerte bestimmt werden.
Computerprogramm mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 11 veranlassen.
Vorrichtung zur Umfeldwahrnehmung im Fahrzeug, mit - einem Erfassungsmodul zum Erfassen von Umfelddaten mit mindestens einem Fahrzeugsensor (K, R, U); und - einem Wahrnehmungsmodul (WM), welches eingerichtet ist, - eine Vorhersage mittels eines trainierten Maschinenlernmodells basierend auf den mit dem Erfassungsmodul erfassten Umfelddaten zu berechnen, wobei die Vorhersage ein Unsicherheitsmaß für die Vorhersage umfasst; - einen Abweichungswert für die erfassten Umfelddaten zu ermitteln, der ein Maß dafür angibt, wie deutlich die erfassten Umfelddaten von Trainingsdaten für das Maschinenlernmodell abweichen; - mindestens einen Konformitätswert basierend auf dem Unsicherheitsmaß und dem Abweichungswert zu ermitteln; - einen Vorhersagesatz basierend auf dem mindestens einen ermittelten Konformitätswert und zuvor bestimmten Kalibrationsparametern zu ermitteln; und - ein Steuersignal für eine Fahrzeugfunktion in Abhängigkeit von dem ermittelten Vorhersagesatz zu generieren.
Vorrichtung nach Anspruch 13, wobei das Wahrnehmungsmodul (WM) auf einem Steuergerät des Fahrzeugs umgesetzt wird.
Fahrzeug, welches eine Vorrichtung gemäß Anspruch 13 oder 14 aufweist oder eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 11 auszuführen.