DE102022119715A1

DE102022119715A1 - Verfahren, System und Computerprogrammprodukt zur objektiven Bewertung der Leistungsfähigkeit eines ADAS/ADS-Systems

Info

Publication number: DE102022119715A1
Application number: DE102022119715.8A
Authority: DE
Inventors: Moritz Markofsky
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2022-08-05
Filing date: 2022-08-05
Publication date: 2024-02-08
Also published as: US20240043022A1; CN117516956A

Abstract

Die Erfindung betrifft ein Verfahren zur objektiven Bewertung der Leistungsfähigkeit eines ADAS/ADS-Systems (210) eines Fahrzeugs (200) für eine festgelegte Fahraufgabe in zumindest einem ausgewählten Szenario (SZi), umfassend:- Identifizieren von realen Szenarien (SZri) aus in Echtzeit aufgenommenen Daten von Sensoren (220) während des Befahrens einer Teststrecke mit dem Fahrzeug (200) oder aus gespeicherten Daten;- Generieren von simulierten Szenarien (SZsi) von einem Simulationsmodul (400);- Berechnen eines Bewertungsindikators (570) für zumindest ein reales Szenario (SZri) und/oder eines Bewertungsindikators (570) für zumindest ein simuliertes Szenario (SZsci) von einem Bewertungsmodul (500), wobei der Bewertungsindikator (570) die Performance des ADAS/ADS-Systems (210) für die festgelegte Fahraufgabe repräsentiert;- Erzeugen (S50) von Auswertungsergebnissen (750) von einem Auswertungsmodul (700).

Description

Die Erfindung betrifft ein Verfahren, ein System und ein Computerprogrammprodukt zur objektiven Bewertung der Leistungsfähigkeit eines ADAS/ADS-Systems.
Moderne Fahrzeuge sind mit einer Vielzahl von Fahrerassistenzsystemen bzw. automatisierten Fahrassistenzfunktionen ausgestattet, um den Fahrer beim Fahren zu unterstützen und seine Sicherheit zu erhöhen. Fahrerassistenzsysteme unterstützen beispielsweise die Geschwindigkeits- und Abstandsregelung und beinhalten Spurhalte- und Spurwechselfunktionen. Hierbei kann eine bestimmte maximale Geschwindigkeit eingestellt werden, die nicht überschritten wird, solange die Geschwindigkeitsbegrenzungsfunktion aktiviert ist. Für die Abstandsregelung, bei der ein bestimmter Abstand insbesondere zu einem vorausfahrenden Fahrzeug eingestellt wird, werden Radarsensoren, aber auch Kamerasysteme eingesetzt. Hierdurch kann der Abstand zu vorausfahrenden Fahrzeugen, aber auch zu Fahrzeugen im Seitenbereich überwacht werden. Dies führt zu einem verbesserten Fahrkomfort und einer höheren Sicherheit insbesondere bei Fahrten auf der Autobahn und bei Überholmanövern.
Dieser Trend zu Fahrerassistenzsystemen (engl. Advanced Driver Assistance System, ADAS) und automatisierten Fahrsystemen (engl. Automated Driving System, ADS) bei Kraftfahrzeugen, aber auch bei Luftfahrzeugen oder Wasserfahrzeugen und anderen sich bewegenden Objekten, erfordert umfangreiche Absicherungsstrategien, da die Verantwortung über die Fahrzeugführung nicht mehr uneingeschränkt beim Fahrer liegt, sondern aktive Funktionen von Rechnereinheiten im Fahrzeug übernommen werden. Daher muss bei vollständig oder teilweise sich autonom bewegenden Objekten sichergestellt werden, dass diese Systeme eine sehr geringere Fehlerrate beim Fahrverhalten aufweisen. Um eine sichere Funktionsfähigkeit eines ADAS/ADS-Systems zu gewährleisten, sind die Erkennung und Klassifizierung von anderen Objekten und die Interpretation von Verkehrsszenarien im Umfeld eines sich bewegenden Objekts, insbesondere eines Fahrzeugs, wichtige Voraussetzungen. Hierfür ist das gezielte Testen und Trainieren der Fahrerassistenzsysteme und automatisierten Fahrsysteme sowohl in Extrem- und Ausnahmesituationen (engl. Corner Cases) als auch in alltäglichen Situationen erforderlich. Derartige Extremsituationen ergeben sich durch eine besondere Kombination von verschiedenen Faktoren. Beispiele hierfür sind infrastrukturelle Besonderheiten wie beispielsweise der Straßentyp, die Randbebauung an einer Straße, die Qualität der Markierungen aber auch Umgebungsbedingungen wie beispielsweise Witterungsbedingungen, die Tages- und die Jahreszeit. Des Weiteren spielen das Verhalten der anderen Verkehrsteilnehmer, die geographische Topographie und die Wetterverhältnisse eine große Rolle.
Um die Leistungs- und Funktionsfähigkeit von ein oder mehreren Funktionen bzw. die Gesamtperformance eines ADAS/ADS-Systems zu bewerten, werden Leistungsindikatoren wie Leistungskennzahlen (engl. Key-Performance-Indicator, KPI) verwendet. Bei den KPIs handelt es sich in erster Linie um numerische Werte, beispielsweise auf einer Skala von 1 bis 100. KPIs dienen zur Beschreibung der Leistung eines ADAS/ADS-Systems, wobei für verschiedene Bewertungskategorien wie Komfort, Sicherheit, Natürlichkeit des Fahrens und Effizienz unterschiedliche KPIs festgelegt werden können. Zusätzlich können weitere KPIs implementiert werden, um die korrekte Funktionalität eines ADAS/ADS-Systems zu verifizieren. Ein Beispiel für einen KPI-Kennwert ist die Bewertung einer minimalen Distanz zu anderem Fahrzeug oder einer mittleren Beschleunigung bei einem Verzögerungsszenario.
Da ADAS/ADS-Systeme von unterschiedlichen Herstellern üblicherweise unabhängig voneinander entwickelt werden, unterscheiden sie sich voneinander beispielsweise hinsichtlich der eingesetzten Bauteile, der Softwareversionen und der Applikationsdatensätzen. Die berechneten KPIs sind daher kontextabhängig, da sie sowohl von der Performance eines spezifischen ADAS/ADS-Systems als auch von dem jeweils betrachteten Szenario abhängig sind. Daher können KPIs für unterschiedlich ausgebildete ADAS/ADS-Systeme nur bedingt miteinander verglichen werden, da nicht immer klar ersichtlich ist, ob die ADAS/ADS-Systeme auch mit den gleichen Szenarien getestet worden sind und aus welchen Datenquellen die Szenarien generiert worden sind. Der Aussagewert eines KPI-Kennwertes bezieht sich daher oft nur auf ein bestimmtes ADAS/ADS-System, so dass die Vergleichbarkeit von KPIs für verschieden ausgebildete ADAS/ADS-Systeme schwierig ist und zu ungenauen Ergebnissen führt. Dies führt dazu, dass die Leistungsfähigkeit und Performance eines ADAS/ADS-Systems häufig nicht objektiv beurteilt werden kann, da es an einer einheitlichen Metrik zur Bewertung fehlt.
Die DE10 2019 209554 A1 offenbart ein Verfahren zum Testen der Robustheit eines simulierbaren technischen Systems, wobei das technische System in Abhängigkeit von einem Testszenario und einer Testkonfiguration simuliert wird und das Simulationsergebnis bewertet wird.
Die DE 10 2017 221971 A1 offenbart ein Verfahren zur Anpassung eines Fahrzeugregelsystems an einen veränderten Fahrzeugzustand, wobei eine Regelgüte des Fahrzeugregelsystems unter Berücksichtigung zumindest eines Regelungskriteriums beurteilt wird. Das Regelkriterium wird für ein spezifisches Fahrszenario mittels einer Simulation bestimmt.
Die DE 10 2020 120141A1 offenbart ein Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme, wobei relevante Parameter und relevante Systemantworten definiert und quasi-zufällige Parameterkombinationen der relevanten Parameter und Systemantworten des Testsystems erzeugt werden. Ein probabilistisches Systemmodell wird in Abhängigkeit von den erzeugten Parameterkombinationen und der Systemantworten erstellt und trainiert, wobei die von dem Systemmodell erzeugten Systemantworten des Modells bewertet werden.
Die DE 10 2018 215351 A1 offenbart ein Verfahren zum Erzeugen einer Informationssammlung von Fahrszenarien, wobei Daten der Fahrszenarien durch Sensordaten von zumindest einem Fahrzeug erzeugt werden.
Die der Erfindung zu Grunde liegende Aufgabe besteht nun darin, Möglichkeiten zur Analyse und zum Vergleich von Bewertungsindikatoren (KPIs) für verschiedene Testfahrten und unterschiedlich ausgebildete Fahrerassistenzsysteme (ADAS) und/oder automatisierte Fahrsysteme (ADS), die sich insbesondere hinsichtlich der verwendeten Softwareversionen und Applikationsdatensätze voneinander unterscheiden, anzugeben, um die Voraussetzungen für eine objektive Vergleichbarkeit der Leistungsfähigkeit und Performance von unterschiedlich ausgebildeten ADAS/ADS-Systemen und/oder Fahrfunktionen zu schaffen.
Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 10, hinsichtlich eines ADAS/ADS-System durch die Merkmale des Patentanspruchs 14 und hinsichtlich eines Computerprogrammprodukts durch die Merkmale des Patentanspruchs 15 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.
Durch die vorliegende Erfindung können Testergebnisse von unterschiedlich ausgebildeten ADAS/ADS-Systemen objektiv beurteilt und miteinander verglichen werden, indem Bewertungsindikatoren für Szenarien generiert werden. Bei den Szenarien kann es sich um reale Szenarien handeln, die in Echtzeit vermessen wurden oder aus historischen Daten erstellt werden, sowie um simulierte Szenarien, die von einer entsprechenden Simulationssoftware generiert wurden Für ein betrachtetes Szenario wird erfindungsgemäß ein berechneter Bewertungsindikator in Bezug zu einem Szenarioparameterwert eines ausgewählten Szenarioparameters des Szenarios gesetzt. Hierdurch ergibt sich eine objektive Metrik für einen berechneten Bewertungsindikator, so dass auf dieser Basis die Bewertungsindikatoren von verschiedenen ADAS/ADS-Systemen miteinander verglichen werden können. In einer Weiterentwicklung kann vorgesehen sein, dass die durch Simulation erzeugten simulierten Szenarien und die aus Messungen erstellten Szenarien miteinander verglichen werden, woraus wiederum die Güte eines Simulationsverfahrens abgeleitet werden kann. Die vorliegende Erfindung ermöglicht es somit, die Performance und Leistungsfähigkeit eines ADAS/ADS-Systems objektiv, präzise und nachvollziehbar zu bewerten, so dass auf dieser Grundlage ein Vergleich von verschieden ausgebildeten ADAS/ADS-Systemen ermöglicht wird und zudem mögliche Maßnahmen zur Verbesserung entwickelt werden können. Insgesamt kann somit die Abschätzung der Sicherheit und Funktionsfähigkeit einer oder mehrerer Fahrfunktionen eines ADAS/ADS-Systems für eine bestimmte Fahraufgabe deutlich verbessert werden.
Gemäß einem ersten Aspekt stellt die Erfindung ein Verfahren zur objektiven Bewertung der Leistungsfähigkeit eines ADAS/ADS-Systems eines Fahrzeugs für eine festgelegte Fahraufgabe in zumindest einem ausgewählten Szenario bereit, insbesondere zum Testen und Trainieren von zumindest einer Fahrfunktion des Fahrerassistenzsystems (ADAS) und/oder des automatisierten Fahrsystems (ADS). Ein Szenario stellt ein Verkehrsgeschehen in einer zeitlichen Sequenz dar und ist durch eine Auswahl von Szenarioparametern und zugehörigen Szenarioparameterwerten definiert. Das Verfahren umfasst die Verfahrensschritte:

- Identifizieren von konkreten realen Szenarien aus in Echtzeit aufgenommenen Daten von Sensoren während des Befahrens einer Teststrecke mit dem Fahrzeug oder aus gespeicherten Daten von einem Szenarienidentifikationsmodul;
- Generieren von simulierten Szenarien von einem Simulationsmodul;
- Übermitteln der realen Szenarien und/oder der simulierten Szenarien an ein Bewertungsmodul;
- Berechnen eines Bewertungsindikators für zumindest ein reales Szenario und/oder eines Bewertungsindikators für zumindest ein simuliertes Szenario von dem Bewertungsmodul, wobei der Bewertungsindikator die Performance des ADAS/ADS-Systems für die festgelegte Fahraufgabe repräsentiert;
- Erzeugen von Auswertungsergebnissen von einem Auswertungsmodul, wobei ein Auswertungsergebnis für ein reales Szenario und/oder ein simuliertes Szenario eine Zuordnung zwischen dem jeweils bestimmten Bewertungsindikator und dem Szenarioparameterwert eines ausgewählten Szenarioparameters des jeweiligen realen Szenarios und/oder des jeweiligen simulierten Szenarios beinhaltet.

In einer Weiterentwicklung ist vorgesehen, dass der Szenarioparameterwert des ausgewählten Szenarioparameters des jeweiligen realen Szenarios und/oder des jeweiligen simulierten Szenarios von dem Bewertungsmodul aus dem Datensatz des realen Szenarios und/oder des simulierten Szenarios extrahiert wird.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass die Bewertungsindikatoren als Key-Performance-Indicators (KPIs) ausgebildet sind.
In einer weiteren Ausführungsform ist vorgesehen, dass die Auswertungsergebnisse als KPI-Diagramme ausgebildet sind, wobei in einem KPI-Diagramm die Werte eines KPI in Abhängigkeit von den Parameterwerten eines Szenarioparameters für ein bestimmtes Szenario dargestellt werden und jeder Diagrammpunkt ein reales Szenario oder ein simuliertes Szenario beinhaltet.
Insbesondere werden die KPI-Diagramme für verschieden ausgebildete ADAS/ADS-Systeme und/oder die KPI-Diagramme für verschiedene reale Szenarien und/oder für simulierte Szenarien und reale Szenarien für ein ADAS/ADS-System miteinander verglichen.
Vorteilhafterweise sind die KPI-Diagramme als Histogramme mit Segmenten für eine Clusteranalyse ausgebildet.
In einer Weiterbildung ist vorgesehen, dass das Szenarienidentifikationsmodul eine Softwareapplikation umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet; dass das Simulationsmodul eine Softwareapplikation umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet; dass das Bewertungsmodul eine Softwareapplikation umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet; und dass das Auswertungsmodul eine Softwareapplikation umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet.
Insbesondere ist vorgesehen, dass die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz als Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, rückgekoppelte neuronale Netzwerke, und/oder gefaltete neuronale Netzwerke ausgebildet sind.
Vorteilhafterweise stellt ein Szenarioparameter eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, , eine Geschwindigkeit, eine Beschleunigung, einen Ruck, einen Bremswert, eine Richtung, einen Winkel, einen Radius, einen Ort, eine Zahl, ein bewegliches Objekt wie ein Kraftfahrzeug, eine Person oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung und/oder eine Jahreszeit dar.
Gemäß einem zweiten Aspekt stellt die Erfindung ein System zur objektiven Bewertung der Leistungsfähigkeit eines ADAS/ADS-Systems eines Fahrzeugs für eine festgelegte Fahraufgabe in zumindest einem ausgewählten Szenario bereit, insbesondere zum Testen und Trainieren von zumindest einer Fahrfunktion des Fahrerassistenzsystems (ADAS) und/oder des automatisierten Fahrsystems (ADS). Ein Szenario stellt ein Verkehrsgeschehen in einer zeitlichen Sequenz dar und ist durch eine Auswahl von Szenarioparametern und zugehörigen Szenarioparameterwerten definiert. Das System umfasst Sensoren, die mit dem Fahrzeug verbunden sind, ein Szenarienidentifikationsmodul, ein Simulationsmodul, ein Bewertungsmodul und ein Auswertungsmodul. Die Sensoren sind ausgebildet, Daten während des Befahrens einer Teststrecke mit dem Fahrzeug in Echtzeit aufzunehmen. Das Szenarienidentifikationsmodul ist ausgebildet, reale Szenarien aus den in Echtzeit aufgenommenen Daten der Sensoren oder aus gespeicherten Daten zu identifizieren. Das Simulationsmodul ist ausgebildet, simulierte Szenarien zu generieren. Das Bewertungsmodul ist ausgebildet, einen Bewertungsindikator für zumindest ein reales Szenario und/oder einen Bewertungsindikator für zumindest ein simuliertes Szenario zu berechnen, wobei der Bewertungsindikator die Performance des ADAS/ADS-Systems für die festgelegte Fahraufgabe repräsentiert. Das Auswertungsmodul ist ausgebildet, Auswertungsergebnissen zu erzeugen, wobei ein Auswertungsergebnis für ein reales Szenario und/oder ein simuliertes Szenario eine Zuordnung zwischen dem jeweils bestimmten Bewertungsindikator und dem Szenarioparameterwert eines ausgewählten Szenarioparameters des jeweiligen realen Szenarios und/oder des jeweiligen simulierten Szenarios beinhaltet.
In einer Weiterentwicklung ist vorgesehen, dass die Bewertungsindikatoren als Key-Performance-Indicators (KPIs) und die Auswertungsergebnisse als KPI-Diagramme ausgebildet sind.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass in einem KPI-Diagramm die Werte eines KPI in Abhängigkeit von den Parameterwerten eines Szenarioparameters für ein bestimmtes Szenario dargestellt werden und jeder Diagrammpunkt ein reales Szenario oder ein simuliertes Szenario beinhaltet.
Insbesondere ist vorgesehen, dass die KPI-Diagramme für verschieden ausgebildete ADAS/ADS-Systeme und/oder die KPI-Diagramme für verschiedene reale Szenarien und/oder für simulierte Szenarien und reale Szenarien für ein ADAS/ADS-System miteinander verglichen werden.
Gemäß einem dritten Aspekt stellt die Erfindung ein ADAS/ADS-System für ein Fahrzeug bereit, welches zum Testen und Trainieren und/oder zur Kalibrierung und Validierung des ADAS/ADS-Systems das Verfahren gemäß dem ersten Aspekt verwendet.
Gemäß einem vierten Aspekt stellt die Erfindung ein Computerprogrammprodukt bereit, das einen ausführbaren Programmcode umfasst, der derart konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.
Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.
Dabei zeigt:

1 ein Blockdiagramm zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Systems;
2 eine schematische Darstellung eines KPI-Diagramms;
3 eine schematische Darstellung eines KPI-Diagramms für ein Cut-In-Szenario;
4 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;
5 ein Blockdiagramm eines Computerprogrammprodukt gemäß einer Ausführungsform des dritten Aspekts der Erfindung.

Zusätzliche Kennzeichen, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden in der nachfolgenden Beschreibung in Verbindung mit den Ansprüchen erläutert.
Für das Testen, Trainieren und Absichern von Fahrerassistenzsystemen (ADAS) und automatisierten Fahrsystems (ADS) werden reale und zunehmend auch simulierte Verkehrsszenarien, die durch Programmierung erstellt werden, verwendet. Als Szenario wird im Rahmen der Erfindung ein Verkehrsgeschehen in einer zeitlichen Sequenz bezeichnet. Ein Beispiel für ein Szenario ist das Befahren einer Autobahnbrücke, das Abbiegen auf einer Abbiegespur, das Durchfahren eines Tunnels, das Einbiegen in einen Kreisverkehr oder das Halten vor einem Fußgängerübergang. Darüber hinaus können spezifische Sichtverhältnisse beispielsweise aufgrund der Dämmerung oder einer hohen Sonnenlichteinstrahlung sowie Umweltbedingungen wie das Wetter und die Jahreszeit, das Verkehrsaufkommen sowie bestimmte geographische topographische Verhältnisse ein Szenario beeinflussen. Beispielsweise kann ein Überholvorgang als ein Szenario beschrieben werden, bei dem ein erstes Fahrzeug sich zunächst hinter einem anderen Fahrzeug befindet, dann einen Spurwechsel auf die andere Fahrbahn durchführt und die Geschwindigkeit erhöht, um das andere Fahrzeug zu überholen. Ein derartiges Szenario wird auch als Cut-In-Szenario bezeichnet.
1 zeigt ein erfindungsgemäßes System 100 zur objektiven Bewertung der Leistungsfähigkeit eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS). Das erfindungsgemäße System 100 umfasst ein Fahrzeug 200 mit einem ADAS/ADS-System 210 mit ein oder mehreren Fahrfunktionen. Das Fahrzeug 10 ist mit Sensoren 220 verbunden, die Daten in Form von Messdaten und Bildern von der Umgebung des Fahrzeugs 200 und dem Verhalten des ADAS/ADS-Systems 210 entlang einer Teststrecke aufnehmen. Die Daten der Sensoren 220 können direkt an ein Szenarienidentifikationsmodul 300 weitergegeben werden oder in einer Datenbank 240 gespeichert werden. Die Datenbank 240 ist ebenfalls mit dem Szenarienidentifikationsmodul 300 verbunden zur Übermittlung von gespeicherten Daten. Des Weiteren ist ein Simulationsmodul 400 vorgesehen, das beispielsweise mit einer Testszenariendatenbank 410 für die Erstellung von simulierten Szenarien verbunden sein kann. Zudem ist ein Eingabemodul 250 vorgesehen, das mit dem Szenarienidentifikationsmodul 300 und dem Simulationsmodul 400 verbunden ist. Das Eingabemodul 250 weist eine Benutzerschnittstelle auf, insbesondere in Form eines Touchscreens, eines Mikrofons, einer Kamera, etc. Die von dem Szenarienidentifikationsmodul 300 identifizierten realen Szenarien SZr_i und die von dem Simulationsmodul 400 simulierten Szenarien SZs_i werden an ein Bewertungsmodul 500 weitergegeben. Die von dem Bewertungsmodul 500 erstellten Bewertungsergebnisse werden von einem Auswertungsmodul 700 ausgewertet. Das Eingangsmodul 250, das Szenarienidentifikationsmodul 300, das Simulationsmodul 400, das Bewertungsmodule 500 und das Auswertungsmodul 700 können jeweils mit einem Prozessor und/oder einer Speichereinheit versehen sein.
Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Prozessoreinheit und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Der Prozessor ist speziell dazu eingerichtet, die Programmbefehle derart auszuführen, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder zu realisieren. Insbesondere kann ein Modul in einer Cloud-Computing-Infrastruktur 800 integriert sein.
Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, des Systems, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert. Insbesondere kann der Prozessor hochparallele Recheneinheiten und leistungsfähige Grafikmodule enthalten.
Unter einer „Speichereinheit“ oder einem „Speichermodul“ kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form eines Arbeitsspeichers (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.
Unter „Datenbank“ ist sowohl ein Speicheralgorithmus als auch die Hardware in Form einer Speichereinheit zu verstehen. Insbesondere kann eine Datenbank als Teil einer Cloud-Computing-Infrastruktur ausgebildet sein.
Unter „Daten“ sind im Zusammenhang mit der Erfindung sowohl Rohdaten als auch bereits aufbereitete Daten aus Messergebnissen von Sensoren sowie aus weiteren Datenquellen zu verstehen.
Die objektive Bewertung der Leistungsfähigkeit eines ADS/ADS-Systems 210 und/oder einer Fahrfunktion erfolgt erfindungsgemäß auf der Basis von realen Szenarien SZr_i, die während des Testens und Erprobens des ADAS/ADS-Systems 210 entlang einer Fahrstrecke auftreten, und/oder simulierten Szenarien SZs_i . Sowohl ein reales Szenario SZr_i als auch ein simuliertes Szenario SZs_i wird durch verschiedene Szenarioparameter P₁, P₂, ... , P_n aus einer Menge von möglichen Szenarioparametern P_i und zugehörigen Szenarioparameterwerten PV₁, PV₂, ..., PV_n aus einer Menge von möglichen Szenarioparameterwerten PV_i definiert, wobei Szenarioparameterwerte PV_i den Wertebereich eines Szenarioparameters P_i festlegen. Ein Szenarioparameter P_i stellt beispielsweise eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, eine Beschleunigung, eine Geschwindigkeit, einen Bremswert, eine Richtung, einen Winkel, einen Radius, einen Ort, eine Zahl, ein bewegliches Objekt wie ein Kraftfahrzeug, eine Person oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung und/oder eine Jahreszeit dar. Szenarioparameter P_i kennzeichnen somit im Rahmen der vorliegenden Erfindung Eigenschaften und Merkmale eines Szenarios SZ_i. Ein Beispiel für einen Szenarioparameter P_i eines Szenarios SZ_i ist die Geschwindigkeit eines Ego-Fahrzeugs. Für diesen Szenarioparameter „Geschwindigkeit“ kann der Wertebereich des zugehörigen Szenarioparameterwertes PV_i den Bereich von 100 km/h bis 180 km/h umfassen. Für ein anderes Szenario SZ_k hingegen kann sich der Wertebereich des Parameterwertes PV_i für den Szenarioparameter „Geschwindigkeit“ von 40 km/h bis 70 km/h erstrecken.
Die auf realen Tests und Messungen beruhenden realen Szenarien SZr_i, die beim Befahren des mit dem ADAS/ADS-System 210 ausgestatteten Fahrzeugs 200 entlang einer Teststrecke entstehen bzw. auftreten, werden von dem Szenarienidentifikationsmodul 300 unter Verwendung der mittels der Sensoren 220 in Echtzeit aufgenommenen Daten und/oder mittels gespeicherter Daten in der Datenbank 240 und gegebenenfalls erweitert um zusätzliche Anforderungsspezifikationen, die insbesondere mittels des Eingabemoduls 250 eingegeben werden können, mittels einer Softwareapplikation 320 identifiziert.
Die Sensoren 220 können insbesondere als Radarsysteme mit ein oder mehreren Radarsensoren, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, und/oder GPS-Systeme ausgebildet sein. Des Weiteren können Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren, Drehmomentsensoren, Drehzahlsensoren, Niederschlagssensoren und/oder Temperatursensoren, etc. ausgebildet sein.
In der Datenbank 240 können insbesondere Daten in Form von Bildern, Graphiken, Zeitreihen, Kenngrößen, etc. gespeichert sein. So können beispielsweise Zielgrößen und Zielwerte in der Datenbank 240 abgelegt sein, die einen Sicherheitsstandard definieren. Des Weiteren können Daten über das Straßennetz mit Straßenspezifikationen wie beispielsweise Fahrspuren und Brücken, die Straßeninfrastruktur wie beispielsweise den Straßenbelag, die Randbebauung, die Straßenführung, länderspezifische Eigenschaften, Wetterverhältnisse, etc. vorgesehen sein. Die Datenbank 240 kann ebenfalls in der Cloud-Computing-Infrastruktur 800 integriert sein.
Aus den von den Sensoren 220 in Echtzeit an einem bestimmten geographischen Ort aufgenommenen Daten und/oder aus den in der Datenbank 240 gespeicherten Daten wird von der Softwareapplikation 320 des Szenarioidentifikationsmoduls 300 jeweils ein passendes reales Szenario SZr_i abgeleitet. Die Softwareapplikation 320 verwendet zur Identifikation der realen Szenarien SZr_i insbesondere Algorithmen der künstlichen Intelligenz. Bei den Algorithmen der künstlichen Intelligenz kann es sich insbesondere um Encoder und Decoder mit neuronalen Netzwerken handeln.
Ein neuronales Netzwerk besteht aus Neuronen, die in mehreren Schichten angeordnet und unterschiedlich miteinander verbunden sind. Ein Neuron ist in der Lage, an seinem Eingang Informationen von außerhalb oder von einem anderen Neuron entgegenzunehmen, die Information in einer bestimmten Art zu bewerten und sie in veränderter Form am Neuronen-Ausgang an ein weiteres Neuron weiterzuleiten oder als Endergebnis auszugeben. Hidden-Neuronen sind zwischen den Input-Neuronen und Output-Neuronen angeordnet. Je nach Netzwerktyp können mehrere Schichten von Hidden-Neuronen vorhanden sein. Sie sorgen für die Weiterleitung und Verarbeitung der Informationen. Output-Neuronen liefern schließlich ein Ergebnis und geben dieses an die Außenwelt aus. Neuronale Netzwerke lassen sich durch unbeaufsichtigtes oder überwachtes Lernen trainieren.
Durch die unterschiedliche Anordnung und Verknüpfung der Neuronen entstehen verschiedene Typen von neuronalen Netzwerken wie insbesondere ein vorwärtsgerichtetes Netzwerk (engl. Feedforward Neural Network, FNN), ein rückgekoppeltes Netzwerk (engl. Recurrent Neural Network, RNN) oder ein gefaltetes neuronales Netzwerk (engl. Convolutional Neural Network, CNN). Ein gefaltetes neuronales Netzwerk besitzt mehrere Faltungsschichten und ist für maschinelles Lernen und Anwendungen im Bereich der Mustererkennung und Bilderkennung sehr gut geeignet. Da ein großer Teil der von den Sensoren aufgenommenen Daten als Bilder vorliegen, werden insbesondere gefaltete neuronale Netzwerke (CNN) verwendet.
Die identifizierten realen Szenarien SZr_i können insbesondere in einer Szenariendatenbank 340 gespeichert werden. Die Daten für ein identifiziertes reales Szenario SZr_i können die Bezeichnung für das ausgewählte reale Szenario SZr_i enthalten. Insbesondere werden die wichtigen Szenarioparameter P_i.des Szenarios SZr_i gespeichert.
Das Simulationsmodul 400 verwendet ebenfalls eine Softwareapplikation 420, um simulierte Szenarien SZs_i zu generieren. Die Softwareapplikation 420 kann hierzu ebenfalls Algorithmen der künstlichen Intelligenz verwenden. Insbesondere kann vorgesehen sein, dass das Simulationsmodul 400 mit einer Testszenariendatenbank 410 verbunden ist, in der aus verschiedenen Datenquellen generierte Testszenarien SZt_i, Szenarioparameter P_i, Szenarioparameterwerte PV_i sowie weitere Informationen gespeichert sind. Die Testszenariendatenbank 410 kann ebenfalls in der Cloud-Computing-Infrastruktur 800 integriert sein. Zudem kann das Simulationsmodul 400 mit weiteren Datenbanken, insbesondere der Datenbank 240 verbunden sein, in der zusätzliche Informationen für die Durchführung einer Simulation gespeichert sind.
Beispielsweise kann die Softwareapplikation 420 des Simulationsmoduls 400 durch Auswahl von passenden Testszenarien SZt_i und Szenarioparametern P_i sowie Szenarioparameterwerte PV_i und gegebenenfalls weiteren Informationen eine Mehrzahl von Testfällen T_i für eine oder mehrere Fahraufgaben des zu testenden ADAS/ADS-Systems 210 erstellen. Die jeweilige Fahraufgabe wird vor dem Starten der Simulation formuliert, beispielsweise von einem Experten wie einem Ingenieur. Es kann aber auch vorgesehen sein, die Fahraufgabe von einer Softwareapplikation vorgegeben wird. Eine beispielhafte Fahraufgabe ist ein Überholmanöver auf einer Autobahn, das auch als Cut-In-Manöver bezeichnet wird.
Ein solches Cut-In-Szenario kann durch die Geschwindigkeit v_ego des Ego-Fahrzeugs 200, die Geschwindigkeit v_target eines Target-Fahrzeugs, die räumliche Distanz d_cutin zwischen den beiden Fahrzeugen und die räumliche Länge l_cutin des Überholmanövers beschrieben werden. Die Geschwindigkeit von einem oder beiden Fahrzeuge kann sich zudem während des Überholmanövers durch einen Beschleunigungs- oder Abbremsvorgang ändern. Dies gilt auch für die räumliche Distanz d_cutin zwischen den beiden Fahrzeugen.
In der folgenden Tabelle sind mögliche Szenarioparameter P_i und Szenarioparameterwerte PV_i eines Cut-In-Szenarios dargestellt:

Szenarioparameter P_i Szenarioparameterwert PV_i

v_ego 10 - 250 km/h

v_target 10 - 250 km/h

d_cutin 10-100 m

l_cutin 10-100 m
Insbesondere kann für die Auswahl und die Gestaltung der Testfälle T_i in der Simulation eine Teststrategie vorgesehen sein, die vorgibt, wie die Testfälle T_i erstellt werden. Für die Festlegung der Teststrategie können verschiedene Berechnungsverfahren und Algorithmen, insbesondere Algorithmen der künstlichen Intelligenz vorgesehen sein.
Nach der Auswahl eines Testfalls T_i erstellt die Softwareapplikation 420 für diesen Testfall T_i ein simuliertes Szenario SZs_i, das die Simulation des Verhaltens des ADAS/ADS-Systems 210 bzw. einer Fahrfunktion ADAS/ADS-Systems 210 für eine festgelegte Fahraufgabe widerspiegelt.
Um die Performance eines ADAS/ADS-Systems 210 bewerten zu können, werden die durch die Simulation erstellten simulierten Szenarien SZs_i an das Bewertungsmodul 500 zur Berechnung von Bewertungsindikatoren 570 insbesondere in Form von KPIs weitergeleitet. Das Bewertungsmodul 500 umfasst hierzu eine Softwareapplikation 520, die die simulierten Szenarien SZs_i hinsichtlich der Leistungs- und Funktionsfähigkeit von ein oder mehreren Funktionen bzw. der Gesamtperformance des betrachteten ADAS/ADS-Systems 210 insbesondere in Form von Leistungsindikatoren (KPIs) bewertet. Die Softwareapplikation 520 verwendet hierzu Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz wie insbesondere neuronale Netzwerke für die Erstellung der Bewertungsindikatoren 570.
KPI-Kennwerte dienen zur Beschreibung der Leistung des zu testenden ADAS/ADS-Systems 210, wobei für verschiedene Bewertungskategorien wie Komfort, Sicherheit, Natürlichkeit des Fahrens und Effizienz unterschiedliche KPI-Kennwerte festgelegt werden. Zusätzlich können weitere KPI-Kennwerte implementiert werden, um die korrekte Funktionalität des zu testenden ADAS/ADS-Systems 210 zu verifizieren. Ein Beispiel für einen KPI-Kennwert ist die Bewertung einer minimalen Distanz zu anderem Fahrzeug oder einer mittleren Beschleunigung bei einem Verzögerungsszenario. Die KPI-Kennwerte können durch Zahlenwerte aber auch durch boolesche Werte dargestellt werden. Beispielsweise kann für die KPI-Kennwerte eine Skala von 1 bis 100 vorgesehen sein.
Des Weiteren werden die von dem Szenarienidentifikationsmodul 300 identifizierten realen Szenarien SZr_i an das Bewertungsmodul 500 zur Bestimmung von Bewertungsindikatoren 570 insbesondere in Form von KPIs weitergeleitet, um die Qualität des eingesetzten ADAS/ADS-Systems 210 zu bewerten.
Um die bestimmten KPIs von verschiedenen realen Szenarien SZr_i oder die KPIs von simulierten Szenarien SZs_i mit realen Szenarien SZr_i miteinander vergleichen zu können, werden erfindungsgemäß die Szenarioparameter P_i und die Szenarioparameterwerte PV_i des jeweils betrachteten Szenarios SZ_i als Bewertungsmetriken verwendet. Hierzu werden die simulierten Szenarien SZs_i und die realen Szenarien SZr_i sowie die bestimmten KPIs an das Auswertungsmodul 700 weitergegeben. Das Auswertungsmodul 700 umfasst eine Softwareapplikation 720, die aus den übermittelten Informationen Auswertungsergebnisse 750 insbesondere in Form von KPI-Diagrammen erstellt.
In 2 ist ein beispielhaftes KPI-Diagramm dargestellt, bei dem die Werte eines KPI in Abhängigkeit von den Parameterwerten PV_i eines Szenarioparameters P₁ dargestellt sind. Jeder Punkt in dem Diagramm stellt ein reales Szenario SZr_i oder ein simuliertes Szenario SZs_i dar. Um eine Vergleichbarkeit der KPIs für eine mit dem ADAS/ADS-System 210 getestete Fahrsituation zu ermöglichen, wird beispielsweise ein erstes KPI-Diagramm mit realen Szenarien SZr_i und ein zweites KPI-Diagramm mit simulierten Szenarien SZs_i erstellt.
Für das Beispiel des bereits betrachteten Cut-In-Szenarios kann es sich bei einem ersten Parameter P₁ um die relative Geschwindigkeit v_rel zwischen dem Ego-Fahrzeug 200 und einem Target-Fahrzeug handeln und bei dem KPI um den Bremsruck, also die zeitliche Änderungsrate der Beschleunigung des Fahrzeugs 200 während des Cut-In-Szenarios. Ein solches KPI-Diagramm ist in 3 dargestellt. Da in dem KPI-Diagramm die Ergebnisse aus einer Vielzahl von Simulationen bzw. aus einer Vielzahl von gemessenen Szenarios dargestellt sind, können die berechneten KPIs für einen Parameterwert PV_i variieren. Zudem ist das KPI-Diagramm in Segmente unterteilt, um eine Clusterbildung in den einzelnen Segmenten zu visualisieren. Es ist denkbar, dass in Abhängigkeit von einem Wert der Clusterbildung die Segmente unterschiedlich gekennzeichnet werden, beispielsweise mit verschiedenen Farben, um auf diese Weise die Vergleichbarkeit von zwei KPI-Diagrammen zu vereinfachen.
Aus dem in 3 dargestelltem KPI-Diagramm kann abgeleitet werden, dass bei einer geringen relativen Geschwindigkeit zwischen den beiden Fahrzeugen sich ein geringer KPI-Wert ergibt. Je höher die relative Geschwindigkeit zwischen den beiden Fahrzeugen ist, desto höher ist auch der KPI-Wert. Wenn sich Abweichungen von dieser Regel ergeben, so kann dies ein Hinweis darauf sein, das damit verbundene reale Szenario SZr_i bzw. simulierte Szenario SZs_i genauer zu betrachten.
Insbesondere werden die KPI-Diagramme von verschieden ausgebildeten ADAS/ADS-Systemen 210 für eine Fahraufgabe miteinander verglichen, um auf diese Weise die Leistungsfähigkeit eines ADAS/ADS-Systems 210 objektiv, präzise und nachvollziehbar bewerten zu können.
In 4 sind die Verfahrensschritte zur objektiven Bewertung der Leistungsfähigkeit eines ADAS/ADS-Systems 210 eines Fahrzeugs 200 für eine festgelegte Fahraufgabe in zumindest einem ausgewählten Szenario SZ_i dargestellt.
In einem Schritt S10 werden reale Szenarien SZr_i aus in Echtzeit aufgenommenen Daten von Sensoren 220 während des Befahrens einer Teststrecke mit dem Fahrzeug 200 oder aus gespeicherten Daten von einem Szenarienidentifikationsmodul 300 identifiziert.
In einem Schritt S20 werden simulierte Szenarien SZs_i von einem Simulationsmodul 400 generiert.
In einem Schritt S30 werden die realen Szenarien SZr_i und/oder die simulierten Szenarien SZs_i an ein Bewertungsmodul 500 übermittelt.
In einem Schritt S40 berechnet das Bewertungsmodul 500 einen Bewertungsindikator 570 für zumindest ein reales Szenario SZr_i und/oder einen Bewertungsindikator 570 für zumindest ein simuliertes Szenario SZs_i, wobei der Bewertungsindikator 570 die Performance des ADAS/ADS-Systems 210 für die festgelegte Fahraufgabe repräsentiert.
In einem Schritt S50 werden Auswertungsergebnisse 750 von einem Auswertungsmodul 700 erzeugt, wobei ein Auswertungsergebnis 750 für ein reales Szenario SZr_i und/oder ein simuliertes Szenario SZs_i eine Zuordnung zwischen dem jeweils bestimmten Bewertungsindikator 570 und dem Szenarioparameterwert PVc_i eines ausgewählten Szenarioparameters Pc_i des jeweiligen realen Szenarios SZsr_i und/oder des jeweiligen simulierten Szenarios SZs_i beinhaltet.
5 stellt schematisch ein Computerprogrammprodukt 1000 dar, das einen ausführbaren Programmcode 1050 umfasst, der konfiguriert ist, das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung auszuführen.
Durch die vorliegende Erfindung können Testergebnisse von verschieden ausgebildeten ADAS/ADS-Systemen objektiv beurteilt und miteinander verglichen werden, indem Bewertungsindikatoren für aus Messungen erstellten Szenarien und/oder simulierten Szenarien berechnet werden. Hierzu ist vorgesehen, dass ein berechneter Bewertungsindikator für ein reales Szenario und/oder ein simuliertes Szenario in Bezug zu einem Szenarioparameterwert eines ausgewählten Szenarioparameters gesetzt wird, insbesondere in Form von KPI-Diagrammen. Hierdurch ergibt sich eine objektive Metrik, so dass auf dieser Basis die Bewertungsindikatoren von verschieden ausgebildeten ADAS/ADS-Systemen miteinander verglichen werden können. Die vorliegende Erfindung ermöglicht es somit, die Performance und Leistungsfähigkeit eines ADAS/ADS-Systems objektiv, präzise und nachvollziehbar zu bewerten, so dass auf dieser Grundlage mögliche Maßnahmen zur Verbesserung entwickelt werden können. Insgesamt kann somit die Abschätzung der Sicherheit und Funktionsfähigkeit einer oder mehrerer Fahrfunktionen eines ADAS/ADS-Systems für eine bestimmte Fahraufgabe deutlich verbessert werden. Hierdurch können Ressourcen eingespart werden, da sowohl das reale Abfahren von Teststrecken mit Standardverkehrssituationen als auch mit spezifischen Corner-Cases reduziert werden kann.
Bezugszeichen

100: System
200: Fahrzeug
210: ADAS/ADS-System
220: Sensoren
240: Datenbank
250: Eingabemodul
300: Szenarienidentifikationsmodul
320: Softwareapplikation
340: Szenariendatenbank
400: Simulationsmodul
410: Testszenariendatenbank
420: Softwareapplikation
500: Bewertungsmodul
520: Softwareapplikation
570: Bewertungsindikatoren
700: Auswertungsmodul
720: Softwareapplikation
750: Auswertungsergebnisse
800: Cloud-Computing-Infrastruktur
1000: Computerprogrammprodukt
1050: Programmcode

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102019209554 A1 [0006]
DE 102017221971 A1 [0007]
DE 102020120141 A1 [0008]
DE 102018215351 A1 [0009]

Claims

Verfahren zur objektiven Bewertung der Leistungsfähigkeit eines ADAS/ADS-Systems (210) eines Fahrzeugs (200) für eine festgelegte Fahraufgabe in zumindest einem ausgewählten Szenario (SZ_i), insbesondere zum Testen und Trainieren von zumindest einer Fahrfunktion des Fahrerassistenzsystems (ADAS) und/oder des automatisierten Fahrsystems (ADS), wobei ein Szenario (SZ_i) ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt und durch eine Auswahl von Szenarioparametern (P₁,P₂, ... , P_n) und zugehörigen Szenarioparameterwerten (PV₁, PV₂, ..., PV_n) definiert ist, umfassend: - Identifizieren (S10) von realen Szenarien (SZr_i) aus in Echtzeit aufgenommenen Daten von Sensoren (220) während des Befahrens einer Teststrecke mit dem Fahrzeug (200) und/oder aus gespeicherten Daten von einem Szenarienidentifikationsmodul (300); und/oder - Generieren (S20) von simulierten Szenarien (SZs_i) von einem Simulationsmodul (400); - Übermitteln (S30) der realen Szenarien (SZr_i) und/oder der simulierten Szenarien (SZs_i) an ein Bewertungsmodul (500); - Berechnen (S40) eines Bewertungsindikators (570) für zumindest ein reales Szenario (SZr_i) und/oder eines Bewertungsindikators (570) für zumindest ein simuliertes Szenario (SZs_i) von dem Bewertungsmodul (500), wobei der Bewertungsindikator (570) die Performance des ADAS/ADS-Systems (210) für die festgelegte Fahraufgabe repräsentiert; - Erzeugen (S50) von Auswertungsergebnissen (750) von einem Auswertungsmodul (700), wobei ein Auswertungsergebnis (750) für ein reales Szenario (SZr_i) und/oder ein simuliertes Szenario (SZs_i) eine Zuordnung zwischen dem jeweils bestimmten Bewertungsindikator (570) und dem Szenarioparameterwert (PVc_i) eines ausgewählten Szenarioparameters (Pc_i) des jeweiligen realen Szenarios (SZr_i) und/oder des jeweiligen simulierten Szenarios (SZs_i) beinhaltet.
Verfahren nach Anspruch 1, wobei der Szenarioparameterwert (PV_i) des ausgewählten Szenarioparameters (P_i) des jeweiligen realen Szenarios (SZr_i) und/oder des jeweiligen simulierten Szenarios (SZs_i) von dem Bewertungsmodul (500) aus dem Datensatz des realen Szenarios (SZr_i) und/oder des simulierten Szenarios (SZs_i) extrahiert wird.
Verfahren nach Anspruch 1 oder 2, wobei die Bewertungsindikatoren (570) als Key-Performance-Indicators (KPIs) ausgebildet sind.
Verfahren nach Anspruch 3, wobei die Auswertungsergebnisse (750) als KPI-Diagramme ausgebildet sind, wobei in einem KPI-Diagramm die Werte eines KPI in Abhängigkeit von den Parameterwerten (PV_i) eines Szenarioparameters (P₁) für ein bestimmtes Szenario (SZ_i) dargestellt werden und jeder Diagrammpunkt ein reales Szenario (SZr_i) oder ein konkretes simuliertes Szenario (SZs_i) beinhaltet.
Verfahren nach Anspruch 4, wobei die KPI-Diagramme für verschieden ausgebildete ADAS/ADS-Systeme (210) und/oder die KPI-Diagramme für verschiedene reale Szenarien (SZr_i) und/oder für simulierte Szenarien (SZs_i) und reale Szenarien (SZr_i) für ein ADAS/ADS-System (210) miteinander verglichen werden.
Verfahren nach Anspruch 4 oder 5, wobei die KPI-Diagramme als Histogramme mit Segmenten für eine Clusteranalyse ausgebildet sind.
Verfahren nach einem der Ansprüche 1 bis 6, wobei das Szenarienidentifikationsmodul (300) eine Softwareapplikation (320) umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet; wobei das Simulationsmodul (400) eine Softwareapplikation (420) umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet; wobei das Bewertungsmodul (500) eine Softwareapplikation (520) umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet; und wobei das Auswertungsmodul (700) eine Softwareapplikation (720) umfasst, die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet.
Verfahren nach Anspruch 7, wobei die Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz als Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, rückgekoppelte neuronale Netzwerke, und/oder gefaltete neuronale Netzwerke ausgebildet sind.
Verfahren nach einem der Ansprüche 1 bis 8, wobei ein Szenarioparameter (P_i) eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, , eine Geschwindigkeit, eine Beschleunigung, einen Ruck, einen Bremswert, eine Richtung, einen Winkel, einen Radius, einen Ort, eine Zahl, ein bewegliches Objekt wie ein Kraftfahrzeug, eine Person oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung und/oder eine Jahreszeit darstellt.
System (100) zur objektiven Bewertung der Leistungsfähigkeit eines ADAS/ADS-Systems (210) eines Fahrzeugs (200) für eine festgelegte Fahraufgabe in zumindest einem ausgewählten Szenario (SZ_i), insbesondere zum Testen und Trainieren von zumindest einer Fahrfunktion des Fahrerassistenzsystems (ADAS) und/oder des automatisierten Fahrsystems (ADS), wobei ein Szenario (SZ_i) ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt und durch eine Auswahl von Szenarioparametern (P₁, P₂, ..., P_n) und zugehörigen Szenarioparameterwerten (PV₁, PV₂, ..., PV_n) definiert ist, umfassend Sensoren (220), die mit dem Fahrzeug (200) verbunden sind, ein Szenarienidentifikationsmodul (300), ein Simulationsmodul (400), ein Bewertungsmodul (500) und ein Auswertungsmodul (700); wobei die Sensoren (220) ausgebildet sind, Daten während des Befahrens einer Teststrecke mit dem Fahrzeug (200) in Echtzeit aufzunehmen; wobei das Szenarienidentifikationsmodul (300) ausgebildet ist, reale Szenarien (SZr_i) aus den in Echtzeit aufgenommenen Daten der Sensoren (220) oder aus gespeicherten Daten zu generieren; wobei das Simulationsmodul (400) ausgebildet ist, simulierten Szenarien (SZs_i) zu generieren; wobei das Bewertungsmodul (500) ausgebildet ist, einen Bewertungsindikator (570) für zumindest ein reales Szenario (SZr_i) und/oder einen Bewertungsindikator (570) für zumindest ein simuliertes Szenario (SZs_i) zu berechnen, wobei der Bewertungsindikator (570) die Performance des ADAS/ADS-Systems (210) für die festgelegte Fahraufgabe repräsentiert; und wobei das Auswertungsmodul (700) ausgebildet ist, Auswertungsergebnissen (750) zu erzeugen, wobei ein Auswertungsergebnis (750) für ein reales Szenario (rSZs_i) und/oder ein simuliertes Szenario (SZs_i) eine Zuordnung zwischen dem jeweils bestimmten Bewertungsindikator (570) und dem Szenarioparameterwert (PV_i) eines ausgewählten Szenarioparameters (P_i) des jeweiligen realen Szenarios (SZr_i) und/oder des jeweiligen simulierten Szenarios (SZs_i) beinhaltet.
System (100) nach Anspruch 10, wobei die Bewertungsindikatoren (570) als Key-Performance-Indicators (KPIs) und die Auswertungsergebnisse (750) als KPI-Diagramme ausgebildet sind.
System (100) nach Anspruch 10 oder 11, wobei in einem KPI-Diagramm die Werte eines KPI in Abhängigkeit von den Parameterwerten (PV_i) eines Szenarioparameters (P₁) für ein bestimmtes Szenario (SZ_i) dargestellt werden und jeder Diagrammpunkt ein reales Szenario (SZr_i) oder ein simuliertes Szenario (SZs_i) beinhaltet.
System (100) nach einem der Ansprüche 10 bis 12, wobei die KPI-Diagramme für verschieden ausgebildete ADAS/ADS-Systeme (210) und/oder die KPI-Diagramme für verschiedene reale Szenarien (SZr_i) und/oder für simulierte Szenarien (SZs_i) und reale Szenarien (SZr_i) für ein ADAS/ADS-System (210) miteinander verglichen werden.
ADAS/ADS-System (210) für ein Fahrzeug (200), dadurch gekennzeichnet, dass zum Testen und Trainieren und/oder zur Kalibrierung und Validierung des ADAS/ADS-Systems (210) das Verfahren nach einem der Ansprüche 1 bis 9 verwendet wird.
Computerprogrammprodukt (1000), umfassend einen ausführbaren Programmcode (1050), der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren nach einem der Ansprüche 1 bis 9 ausführt.