DE102022117841B4

DE102022117841B4 - Verfahren, System und Computerprogrammprodukt zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) unter Berücksichtigung einer subjektiven Bewertung

Info

Publication number: DE102022117841B4
Application number: DE102022117841.2A
Authority: DE
Inventors: Moritz Markofsky
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2022-07-18
Filing date: 2022-07-18
Publication date: 2024-08-01
Anticipated expiration: 2042-07-19
Also published as: DE102022117841A1

Abstract

Verfahren zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion für eine festgelegte Fahraufgabe in zumindest einem Szenario (SZ_i) unter Berücksichtigung einer subjektiven Bewertung, wobei ein Szenario (SZ_i) ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt und durch eine Auswahl von Szenarioparametern (P₁, P₂, ..., P_n) und zugehörigen Szenarioparameterwerten (PV₁, PV₂, ..., PV_n) definiert ist, und wobei bei einem parametrisierten Szenario (SZp_i) die Szenarioparameter (P₁, P₂, ..., P_n) und zugehörigen Szenarioparameterwerte (PV₁, PV₂, ..., PV_n) frei wählbar sind, und bei einem konkreten Szenario (SZc_i) die konkreten Szenarioparameter (Pc₁, Pc₂, ..., P_cn) und zugehörigen konkreten Szenarioparameterwerte (PVc₁, PV_c2, ..., PVc_n) festgelegt sind, umfassend:
- Erstellen (S10) von ersten Testfällen (T_i) von einem Testagenten (220) durch Auswählen von parametrisierten Szenarien (SZp_i) und konkreten Szenarioparametern (Pc_i) sowie Kalibrierungsparametern (Pcal_i) mittels einer Teststrategie (230) für die Fahraufgabe, wobei die Teststrategie (230) und/oder der Testagent (220) zumindest eine Softwareapplikation mit Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet/verwenden;
- Weitergeben (S20) der ausgewählten ersten Testfälle (T_i) an ein Simulationsmodul (400), wobei das Simulationsmodul (400) zumindest ein Umgebungsmodellmodul (410), ein Fahrermodellmodul (420) und ein Fahrzeugmodellmodul (430) umfasst, und wobei das Fahrermodellmodul (420) mit einem Fahrsimulator (422) verbunden ist oder das Fahrermodellmodul (420) und das Fahrzeugmodellmodul (430) mit einem realen Fahrzeug (424) verbunden sind;
- Durchführen (S30) einer Driver-in-the-Loop-Simulation mit dem Fahrsimulator (422) und einem Nutzer oder einer Vehicle-in-the-Loop-Simulation mit dem realen Fahrzeug (424) und einem Nutzer jeweils für die ausgewählten ersten Testfälle (T_i) von dem Simulationsmodul (400) zur Bestimmung von Simulationsergebnissen (450);
- Weitergeben (S40) der Simulationsergebnisse (450) an ein Bewertungsmodul (500), wobei das Bewertungsmodul (500) ein Fahrfunktionsbewertungsmodul (510) zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion insbesondere mittels Leistungsindikatoren (KPIs) umfasst und das Fahrfunktionsbewertungsmodul (510) mit dem Fahrsimulator (422) und/oder dem realen Fahrzeug (424) verbunden ist;
- Generieren (S50) zumindest eines Bewertungsindex (515) von dem Fahrfunktionsbewertungsmodul (510), wobei der Bewertungsindex (515) eine subjektive Bewertung der durchgeführten Driver-in-the-Loop-Simulation durch den Nutzer des Fahrsimulators (422) oder der durchgeführten Vehicle-in-the-Loop-Simulation durch den Nutzer des realen Fahrzeugs (424) wiedergibt;
- Durchführen (S60) einer Bewertung der Simulationsergebnisse (450) unter Berücksichtigung des generierten Bewertungsindex (515) durch das Bewertungsmodul (500) zur Bestimmung von Bewertungsparametern (550);
- Anpassen (S70) der Teststrategie (230) an die Simulationsergebnisse (450) und die Bewertungsparameter (550);
- Erstellen (S80) von zweiten Testfällen (T_k) von dem Testagenten (220) mittels der angepassten Teststrategie (230);
- Beginnen (S90) eines neuen Simulationszyklus für die zweiten Testfälle (Tk);
- Wiederholen (S100) der Anpassung der Teststrategie (230) für die Durchführung eines weiteren Simulationszyklus, wenn ein bestimmtes Bewertungskriterium nicht erfüllt wird; oder
- Weitergeben (S110) der Testfälle (T_k) des letzten Simulationszyklus an ein Ausgabemodul (700), wenn ein bestimmtes Bewertungskriterium erfüllt wird;
- Generieren und Ausgeben (S120) von Ausgabeergebnissen (750) aus den Testfällen (T_k) für Kalibrierungs- und Validierungszwecke von dem Ausgabemodul (200), insbesondere in Form von Kalibrierungsparametern (Pcal_i) für das Fahrerassistenzsystem (ADAS) und/oder das automatisierte Fahrsystem (ADS) und/oder die Fahrfunktion für die Durchführung der festgelegten Fahraufgabe.

Description

Die Erfindung betrifft ein Verfahren, ein System und ein Computerprogrammprodukt zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion unter Berücksichtigung einer subjektiven Bewertung.
Moderne Fahrzeuge sind mit einer Vielzahl von Fahrerassistenzsystemen bzw. automatisierten Fahrerassistenzfunktionen ausgestattet, um den Fahrer beim Fahren zu unterstützen und seine Sicherheit zu erhöhen. Fahrerassistenzsysteme unterstützen beispielsweise die Geschwindigkeits- und Abstandsregelung sowie Spurhalte- und Spurwechselfunktionen. Hierbei kann eine bestimmte maximale Geschwindigkeit eingestellt werden, die nicht überschritten wird, solange die Geschwindigkeitsbegrenzungsfunktion aktiviert ist. Für die Abstandsregelung, bei der ein bestimmter Abstand insbesondere zu einem vorausfahrenden Fahrzeug eingestellt wird, werden Radarsensoren, aber auch Kamerasysteme eingesetzt. Hierdurch kann der Abstand zu vorausfahrenden Fahrzeugen, aber auch zu Fahrzeugen im Seitenbereich überwacht werden. Dies führt zu einem verbesserten Fahrkomfort und einer höheren Sicherheit insbesondere bei Fahrten auf der Autobahn und bei Überholmanövern.
Dieser Trend zu Fahrerassistenzsystemen (engl. Advanced Driver Assistance System, ADAS), automatisierten Fahrsystemen (Automated Driving Systems, ADS) bei Kraftfahrzeugen, aber auch bei Luftfahrzeugen oder Wasserfahrzeugen erfordert jedoch umfangreiche Absicherungsstrategien, da die Verantwortung über die Fahrzeugführung nicht mehr uneingeschränkt beim Fahrer liegt, sondern aktive Funktionen von Rechnereinheiten im Fahrzeug übernommen werden. Daher muss sichergestellt werden, dass autonom sich bewegende Objekte eine sehr geringere Fehlerrate beim Fahrverhalten aufweisen. Die Erkennung und Klassifizierung von Objekten und die Interpretation von Verkehrsszenarien im Umfeld eines Fahrzeugs sind wichtige Voraussetzungen für eine sichere Funktionsfähigkeit eines ADAS/ADS-Systems. Hierfür ist das gezielte Testen und Trainieren der verschiedenen Fahrfunktionen eines Fahrerassistenzsystems bzw. eines automatisierten Fahrsystems mit Testfahrzeugen sowohl mit Extrem- und Ausnahmesituationen (engl. Corner-Cases) als auch mit alltäglichen Situationen erforderlich. Derartige Extremsituationen ergeben sich durch eine besondere Kombination von verschiedenen Faktoren. Beispiele hierfür sind infrastrukturelle Besonderheiten wie beispielsweise der Straßentyp, die Randbebauung an einer Straße, die Qualität der Markierungen aber auch Umgebungsbedingungen wie beispielsweise Witterungsbedingungen, die Tages- und die Jahreszeit. Des Weiteren spielen das Verhalten der anderen Verkehrsteilnehmer, die geographische Topographie und die Wetterverhältnisse eine große Rolle.
Mit der zunehmenden Leistungsfähigkeit und der Vielzahl an Fahrfunktionen von ADAS/ADS-Systemen steigt allerdings auch die Anzahl der Fahrszenarien, die von den Systemen im Straßenverkehr bewältigt werden müssen. Für die Sicherstellung eines sicheren, komfortablen und effizienten Verhaltens eines ADAS/ADS-Systems durchlaufen daher einzelne Fahrfunktionen und das Gesamtsystem während der Fahrzeugentwicklung einen Kalibrierungs- und Validierungsprozess.
Allerdings stellt eine solche Kalibrierung und Validierung eine große Herausforderung bei der Integration moderner ADAS/ADS-Systeme in ein Fahrzeug dar aufgrund eines funktionalen Spezifikationsdefizits von Fahrerassistenzsystemen. Während in der Automobilindustrie für konventionelle Systeme ein anforderungsbasierter Testprozess etabliert ist, bei dem Testfälle anhand von Testspezifikationen implementiert werden, fehlt dies bisher für ADAS/ADS-Systeme, da im Gegensatz zu konventionellen Systemen eine wesentlich größere Anzahl von Einflussgrößen zu berücksichtigen ist, wie insbesondere die Fahrumgebung, die mittels Sensoren erfasst wird. Die Menge von Szenarien, die in der Fahrumgebung des Fahrzeugs auftreten können und die von einem ADAS/ADS-System korrekt erkannt und verarbeitet werden müssen, wird durch eine Operational Design Domain (ODD) dargestellt. Dazu gehören sowohl alltägliche Fahrszenarien als auch sehr selten auftretende Corner Cases. Um ein ADAS/ADS-System mit konventionellen Methoden zu testen, zu trainieren, zu kalibrieren und zu validieren, müsste die gesamte ODD für ein ADAS/ADS-System erfasst und in einem Anforderungskatalog dokumentiert werden. Dies ist jedoch aufgrund der Komplexität der Fahrumgebung und der daraus resultierenden großen Anzahl von Fahrszenarien nicht möglich. Dieses Problem wird als funktionales Spezifikationsdefizit bezeichnet. Es erschwert sowohl den Kalibrierungs- als auch den Validierungsprozess eines ADAS/ADS-Systems und erfordert alternative Ansätze zu den bestehenden Methoden.
Es werden daher zunehmend virtuelle Verfahren zur Simulation der Kalibrierung und Validierung eines ADAS/ADS-Systems verwendet, um den Fahrzeugentwicklungsprozess mit vertretbarem Aufwand und Kosten durchzuführen. Dabei ergeben sich Herausforderungen durch die Vielzahl an Szenarien, die verwendeten Simulationsverfahren und die Auswahl von passenden Metriken zur objektiven Bewertung der Simulationsergebnisse.
Darüber hinaus ist es jedoch erforderlich, auch die Bandbreite an möglichen subjektiven Bewertungen hinsichtlich der Funktionsfähigkeit eines ADAS/ADS-Systems durch menschliche Fahrer zu berücksichtigen, da nur bei einer ausreichenden Akzeptanz durch menschliche Fahrer ein ADAS/ADS-System auch in der Praxis eingesetzt und verwendet wird. Da durch die inzwischen hoch entwickelten ADAS/ADS-Systeme und Fahrfunktionen die Sicherheit und der Komfort beim Fahren deutlich verbessert werden kann, ist es daher wichtig, dass ein ADAS/ADS-System bzw. eine Fahrfunktion von einem menschlichen Fahrer auch tatsächlich beim Fahren genutzt wird.
Die DE 10 2016 220670 A1 offenbart ein Verfahren und ein System zum Testen von Software für autonome Fahrzeuge mittels einer Loop-Simulation, wobei für eine festgelegte Anzahl von autonomen Fahrzeugen die Durchführung von Software-Tests und Testfahrten automatisch geplant und koordiniert wird.
Die DE 10 2018 206188 A1 offenbart ein System zum Durchführen verschiedener X-in-the-Loop-Tests (XiL-Tests) von Komponenten selbstfahrender Kraftfahrzeuge mit einem Plattform-Interfacemodul für verschiedene XiL-Plattformen.
Die DE 10 2016 220913 A1 offenbart ein Verfahren zur Generierung von Testfällen für autonome Fahrzeuge.
Die DE 10 2017 107 396 A1 offenbart ein Verfahren zum Testen eines umfeldbasierten Assistenzsystems, wobei mindestens ein virtuelles Testfahrzeug simuliert wird, das in eine Umfeldsimulation eingebettet ist. Weiterhin wird in einem Testgelände eine Testperson mittels einer Sensorik erfasst und aus deren Positionsdaten ein virtuelles Objekt gebildet, wobei die Positionsdaten des virtuellen Objekts mit der Darstellung des virtuellen Testfahrzeugs lagerichtig synchronisiert werden. Eine Positionsänderung der Testperson im Testgelände führt somit zu einer entsprechenden Positionsänderung des virtuellen Objektes der Testperson in der Simulationsumgebung.
Die AT 514 754 A1 offenbart ein Verfahren zur Optimierung eines Fahrerassistenzsystems mit den Arbeitsschritten: Festlegen eines zu optimierenden Fahrerassistenzsystems, Ermitteln einer Fahrzeugparameterfunktion, welche einen Betriebszustand eines Fahrzeugs charakterisiert, und einer Umgebungsparameterfunktion, welche die Umgebung des Fahrzeugs charakterisiert; Berechnen einer Fahrsituationskennwertfunktion, welche eine Fahrsituationen des Fahrzeugs charakterisiert, und zwar auf der Grundlage der Fahrzeugparameterfunktion und/oder der Umgebungsparameterfunktion; Berechnen einer Steuereingriffskennwertfunktion, welche die Aktivität des Fahrerassistenzsystems charakterisier; Berechnen einer Korrekturfunktion, welche von der Fahrsituationskennwertfunktion abhängt und eine subjektive Wahrnehmung der Fahrsituation durch einen Fahrzeuginsassen charakterisiert, und zwar auf der Grundlage der Steuereingriffskennwertfunktion und der Fahrzeugparameterfunktion und/oder der Umgebungsparameterfunktion.
Die der Erfindung zu Grunde liegende Aufgabe besteht nun darin, Möglichkeiten zur virtuellen Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) oder einer Fahrfunktion anzugeben, bei denen weitere Faktoren wie die Bandbreite an möglichen subjektiven Bewertungen hinsichtlich der Funktionsfähigkeit eines ADAS/ADS-Systems und/oder einer Fahrfunktion durch einen menschlichen Fahrer bzw. Nutzer berücksichtigt werden, so dass die Akzeptanz eines ADAS/ADS-Systems und/oder einer Fahrfunktion verbessert wird und damit die Sicherheit und der Komfort beim Fahren erhöht werden kann.
Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 9, und hinsichtlich eines Computerprogrammprodukts durch die Merkmale des Patentanspruchs 14 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.
Durch die vorliegende Erfindung kann das subjektive Fahrempfinden bei einer virtuellen Kalibrierung und Validierung eines ADAS/ADS-Systems und/oder einer Fahrfunktion berücksichtigt werden, wodurch die Akzeptanz eines ADAS/ADS-Systems und/oder einer Fahrfunktion sowohl bei einem individuellen Fahrer als auch auf der gesellschaftlichen Ebene verbessert wird. Dies führt zu einer größeren Sicherheit und einem erhöhten Komfort beim Fahren, da ADAS/ADS-Systeme vermehrt bei Fahrzeugen implementiert und während des Fahrens auch genutzt werden.
Gemäß einem ersten Aspekt stellt die Erfindung ein Verfahren zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion für eine festgelegte Fahraufgabe in zumindest einem Szenario unter Berücksichtigung einer subjektiven Bewertung bereit. Ein Szenario stellt ein Verkehrsgeschehen in einer zeitlichen Sequenz dar und ist durch eine Auswahl von Szenarioparametern und zugehörigen Szenarioparameterwerten definiert, wobei bei einem parametrisierten Szenario die Szenarioparameter und zugehörigen Szenarioparameterwerte frei wählbar sind, und bei einem konkreten Szenario die konkreten Szenarioparameter und zugehörigen konkreten Szenarioparameterwerte festgelegt sind. Das Verfahren umfasst die folgenden Verfahrensschritte:

- Erstellen von ersten Testfällen von einem Testagenten durch Auswählen von parametrisierten Szenarien und konkreten Szenarioparametern sowie Kalibrierungsparametern mittels einer Teststrategie für die Fahraufgabe, wobei die Teststrategie und/oder der Testagent zumindest eine Softwareapplikation mit Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet/verwenden;
- Weitergeben der ausgewählten ersten Testfälle an ein Simulationsmodul, wobei das Simulationsmodul zumindest ein Umgebungsmodellmodul, ein Fahrermodellmodul und ein Fahrzeugmodellmodul umfasst, und wobei das Fahrermodellmodul mit einem Fahrsimulator verbunden ist oder das Fahrermodellmodul und das Fahrzeugmodellmodul mit einem realen Fahrzeug verbunden sind;
- Durchführen einer Driver-in-the-Loop-Simulation mit dem Fahrsimulator und einem Nutzer oder einer Vehicle-in-the-Loop-Simulation mit dem realen Fahrzeug und einem Nutzer jeweils für die ausgewählten ersten Testfälle von dem Simulationsmodul zur Bestimmung von Simulationsergebnissen;
- Weitergeben der Simulationsergebnisse an ein Bewertungsmodul, wobei das Bewertungsmodul ein Fahrfunktionsbewertungsmodul umfasst und das Fahrfunktionsbewertungsmodul mit dem Fahrsimulator oder dem realen Fahrzeug verbunden ist;
- Generieren zumindest eines Bewertungsindex von dem Fahrfunktionsbewertungsmodul, wobei der Bewertungsindex eine subjektive Bewertung der durchgeführten Driver-in-the-Loop-Simulation durch den Nutzer des Fahrsimulators oder der durchgeführten Vehicle-in-the-Loop-Simulation durch den Nutzer des realen Fahrzeugs wiedergibt;
- Durchführen einer Bewertung der Simulationsergebnisse unter Berücksichtigung des generierten Bewertungsindex durch das Bewertungsmodul zur Bestimmung von Bewertungsparametern;
- Anpassen der Teststrategie an die Simulationsergebnisse und die Bewertungsparameter;
- Erstellen von zweiten Testfällen von dem Testagenten mittels der angepassten Teststrategie;
- Beginnen eines neuen Simulationszyklus für die zweiten Testfälle;
- Wiederholen der Anpassung der Teststrategie für die Durchführung eines weiteren Simulationszyklus, wenn ein bestimmtes Bewertungskriterium nicht erfüllt wird; oder
- Weitergeben der Testfälle des letzten Simulationszyklus an ein Ausgabemodul, wenn ein bestimmtes Bewertungskriterium erfüllt wird;
- Generieren und Ausgeben von Ausgabeergebnissen aus den Testfällen für Kalibrierungs- und Validierungszwecke von dem Ausgabemodul, insbesondere in Form von Kalibrierungsparametern für das Fahrerassistenzsystem (ADAS) und/oder das automatisierte Fahrsystem (ADS) und/oder die Fahrfunktion für die Durchführung der festgelegten Fahraufgabe.

In einer vorteilhaften Ausführungsform ist vorgesehen, dass das Simulationsmodul ein Fahrfunktionsmodul aufweist für die Durchführung der Simulation einer Fahrfunktion mit einer Driver-in-the-Loop-Simulation.
In einer weiteren Ausführungsform ist vorgesehen, dass das reale Fahrzeug ein Fahrfunktionsmodul mit zumindest einer Fahrfunktion umfasst, wobei die zumindest eine Fahrfunktion während einer Vehicle-in-the-Loop-Simulation ausgeführt wird.
Insbesondere ist der Fahrsimulator mit Sensoren verbunden zur Aufnahme von Sensorsignalen über die Reaktionen des Nutzers während der Durchführung der Driver-in-the-Loop-Simulation, wobei die Sensorsignale an das Simulationsmodul weitergegeben werden.
Vorteilhafterweise ist das reale Fahrzeug mit Sensoren verbunden zur Aufnahme von Sensorsignalen über die Reaktionen des Nutzers während der Durchführung der Vehicle-in-the-Loop-Simulation, wobei die Sensorsignale an das Simulationsmodul weitergegeben werden.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass die Sensoren als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, GPS-Systeme, Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren, Drehmomentsensoren, Lenkwinkelsensoren, Niederschlagssensoren und/oder Temperatursensoren ausgebildet sind.
in einer Weiterentwicklung ist vorgesehen, dass das Bewertungsmodul das Fahrfunktionsbewertungsmodul zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels Leistungsindikatoren (KPIs) und ein Simulationsbewertungsmodul zur Bestimmung der Qualität der Simulation mittels Simulationsqualitätskriterien (SQCs) umfasst, und dass die Bewertungsparameter die Leistungsindikatoren (KPIs) und die Simulationsqualitätskriterien (SQCs) umfassen.
Insbesondere ist vorgesehen, dass die Testfälle in einer Testdatenbank, die Kalibrierungsparameter in einer Kalibrierungsparameterdatenbank, die parametrisierten Szenarien und die konkreten Szenarioparameter in einer Szenariendatenbank und die Bewertungsparameter in einer Bewertungsdatenbank gespeichert werden.
Gemäß einem zweiten Aspekt stellt die Erfindung ein System zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion für eine festgelegte Fahraufgabe in zumindest einem Szenario unter Berücksichtigung einer subjektiven Bewertung bereit. Ein Szenario stellt ein Verkehrsgeschehen in einer zeitlichen Sequenz dar und ist durch eine Auswahl von Szenarioparametern und zugehörigen Szenarioparameterwerten definiert, wobei bei einem parametrisierten Szenario die Szenarioparameter und zugehörigen Szenarioparameterwerte frei wählbar sind, und bei einem konkreten Szenario die konkreten Szenarioparameter und zugehörigen konkreten Szenarioparameterwerte festgelegt sind. Das System umfasst ein Testmodul mit einem Testagenten und einer Teststrategie, ein Simulationsmodul, ein Bewertungsmodul und ein Ausgabemodul, wobei die Teststrategie und/oder der Testagent ausgebildet ist/sind, zumindest eine Softwareapplikation mit Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz zu verwenden. Der Testagent ist ausgebildet, erste Testfälle durch Auswählen von parametrisierten Szenarien und konkreten Szenarioparametern sowie Kalibrierungsparametern mittels der Teststrategie für die Fahraufgabe zu erstellen und die ausgewählten ersten Testfälle an das Simulationsmodul weiterzugeben, wobei das Simulationsmodul zumindest ein Umgebungsmodellmodul, ein Fahrermodellmodul und ein Fahrzeugmodellmodul umfasst. Das Fahrermodellmodul ist mit einem Fahrsimulator verbunden oder das Fahrermodellmodul und das Fahrzeugmodellmodul sind mit einem realen Fahrzeug verbunden. Das Simulationsmodul ist ausgebildet, eine Driver-in-the-Loop-Simulation mit dem Fahrsimulator und einem Nutzer oder eine Vehicle-in-the-Loop-Simulation mit dem realen Fahrzeug und einem Nutzer jeweils für die ausgewählten ersten Testfälle zur Bestimmung von Simulationsergebnissen durchzuführen und die Simulationsergebnisse an das Bewertungsmodul weiterzugeben. Das Bewertungsmodul umfasst ein Fahrfunktionsbewertungsmodul zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion insbesondere mittels Leistungsindikatoren (KPIs), wobei das Fahrfunktionsbewertungsmodul mit dem Fahrsimulator und/oder dem realen Fahrzeug verbunden ist und ausgebildet ist, zumindest einen Bewertungsindex zu generieren, wobei der Bewertungsindex eine subjektive Bewertung der durchgeführten Driver-in-the-Loop-Simulation durch den Nutzer des Fahrsimulators oder der durchgeführten Vehicle-in-the-Loop-Simulation durch den Nutzer des realen Fahrzeugs wiedergibt. Das Bewertungsmodul ist ausgebildet, eine Bewertung der Simulationsergebnisse unter Berücksichtigung des generierten Bewertungsindex zur Bestimmung von Bewertungsparametern durchzuführen. Das Testmodul ist ausgebildet, die Teststrategie an die Simulationsergebnisse und die Bewertungsparameter anzupassen. Des Weiteren ist das System ausgebildet zum Erstellen von zweiten Testfällen mittels der angepassten Teststrategie, zum Beginnen eines neuen Simulationszyklus für die zweiten Testfälle, zum Wiederholen der Anpassung der Teststrategie für die Durchführung eines weiteren Simulationszyklus, wenn ein bestimmtes Bewertungskriterium nicht erfüllt wird, oder zum Weitergeben der Testfälle des letzten Simulationszyklus an ein Ausgabemodul, wenn ein bestimmtes Bewertungskriterium erfüllt wird, und zum Generieren und Ausgeben von Ausgabeergebnissen aus den Testfällen für Kalibrierungs- und Validierungszwecke von dem Ausgabemodul, insbesondere in Form von Kalibrierungsparametern für das Fahrerassistenzsystem (ADAS) und/oder das automatisierte Fahrsystem (ADS) und/oder die Fahrfunktion für die Durchführung der festgelegten Fahraufgabe.
In einer Weiterbildung ist vorgesehen, dass das Simulationsmodul ein Fahrfunktionsmodul aufweist für die Durchführung der Simulation einer Fahrfunktion mit einer Driver-in-the-Loop-Simulation.
In einer weiteren Ausführungsform ist vorgesehen, dass das reale Fahrzeug ein Fahrfunktionsmodul mit zumindest einer Fahrfunktion umfasst, wobei die zumindest eine Fahrfunktion während einer Vehicle-in-the-Loop-Simulation ausgeführt wird.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass der Fahrsimulator mit Sensoren verbunden ist zur Aufnahme von Sensorsignalen über die Reaktionen des Nutzers während der Durchführung der Driver-in-the-Loop-Simulation, wobei die Sensorsignale an das Simulationsmodul weitergegeben werden.
Vorteilhafterweise ist vorgesehen, dass das reale Fahrzeug mit Sensoren verbunden ist zur Aufnahme von Sensorsignalen über die Reaktionen des Nutzers während der Durchführung der Vehicle-in-the-Loop-Simulation, wobei die Sensorsignale an das Simulationsmodul weitergegeben werden.
Gemäß einem dritten Aspekt stellt die Erfindung ein Computerprogrammprodukt bereit, das einen ausführbaren Programmcode umfasst, der derart konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.
Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.
Dabei zeigt:

1 ein Blockdiagramm zur Erläuterung eines ersten Ausführungsbeispiels eines erfindungsgemäßen Systems;
2 ein Blockdiagramm zur Erläuterung eines zweiten Ausführungsbeispiels des erfindungsgemäßen Systems;
3 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;
4 ein Blockdiagramm eines Computerprogrammprodukt gemäß einer Ausführungsform des dritten Aspekts der Erfindung.

Zusätzliche Kennzeichen, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden in der nachfolgenden Beschreibung in Verbindung mit den Ansprüchen erläutert.
Für das Testen, Trainieren und Absichern von Fahrerassistenzsystemen (ADAS) und automatisierten Fahrsystemen (ADS) werden zunehmend simulierte Verkehrsszenarien, die durch Programmierung erstellt werden, verwendet. Als Szenario wird im Rahmen der Erfindung ein Verkehrsgeschehen in einer zeitlichen Sequenz bezeichnet. Ein Beispiel für ein Szenario ist das Befahren einer Autobahnbrücke, das Abbiegen auf einer Abbiegespur, das Durchfahren eines Tunnels, das Einbiegen in einen Kreisverkehr oder das Halten vor einem Fußgängerübergang. Darüber hinaus können spezifische Sichtverhältnisse beispielsweise aufgrund der Dämmerung oder einer hohen Sonnenlichteinstrahlung sowie Umweltbedingungen wie das Wetter und die Jahreszeit, das Verkehrsaufkommen sowie bestimmte geographische topographische Verhältnisse ein Szenario beeinflussen. Beispielsweise kann ein Überholvorgang als ein Szenario beschrieben werden, bei dem ein erstes Fahrzeug sich zunächst hinter einem anderen Fahrzeug befindet, dann einen Spurwechsel auf die andere Fahrbahn durchführt und die Geschwindigkeit erhöht, um das andere Fahrzeug zu überholen. Ein derartiges Szenario wird auch als Cut-In-Szenario bezeichnet.
Um Fahrerassistenzsysteme (ADAS), automatisierte Fahrsysteme (ADS) und/oder Fahrfunktionen in einem Kraftfahrzeug einsetzen zu können, müssen diese für einen verlässlichen Einsatz verifiziert, kalibriert und validiert werden. Die Kalibrierung dient dazu, die Fahrfunktionen an den jeweiligen Fahrzeugtyp anzupassen, ohne dabei den Softwarecode zu ändern. Dazu werden die Kalibrierungsparameter modifiziert und dem ADAS/ADS-System in einem Datensatz zur Verfügung gestellt. Dabei ist es erforderlich, einen geeigneten Datensatz von Kalibrierungsparametern für ein optimales Verhalten in möglichst vielen Szenarien der Operational Design Domain (ODD) zu finden.
Ziel der Validierung ist es, den bei der Kalibrierung gewonnenen Datensatz umfassend zu testen, die Zuverlässigkeit und Robustheit eines ADAS/ADS-Systems bzw. einer Fahrfunktion in der gesamten ODD nachzuweisen und anschließend eine Freigabe zu erteilen.
Um den Fahrzeugentwicklungsprozess mit vertretbarem Aufwand und Kosten durchzuführen, werden zunehmend virtuelle Verfahren zur Simulation der Kalibrierung und Validierung eines ADAS/ADS-Systems verwendet, Dabei ergeben sich Herausforderungen durch die Vielzahl an Szenarien, die verwendeten Simulationsverfahren und die Auswahl von passenden Metriken zur objektiven Bewertung der Simulationsergebnisse. Allerdings findet ein derartiger virtueller Kalibrierungsprozess nach einer Initialisierung automatisiert statt und das subjektive Fahrerempfinden eines menschlichen Fahrers wird nicht berücksichtigt. Es ist jedoch erforderlich, auch die Bandbreite an möglichen subjektiven Bewertungen hinsichtlich der Funktionsfähigkeit eines ADAS/ADS-Systems durch menschliche Fahrer zu berücksichtigen, da nur bei einer ausreichenden Akzeptanz durch menschliche Fahrer ein ADAS/ADS-System auch in der Praxis eingesetzt und verwendet wird. Da durch die inzwischen hoch entwickelten Fahrerassistenzfunktionen die Sicherheit und der Komfort beim Fahren deutlich verbessert werden kann, ist es daher wichtig, dass ein ADAS/ADS-System bzw. eine Fahrfunktion von einem menschlichen Fahrer auch tatsächlich genutzt wird. Zudem kann der serienmäßige Einbau von ADAS/ADS-Systemen in neuen Fahrzeugen gefördert werden.
Erfindungsgemäß wird daher für die virtuelle Kalibrierung und Validierung eines ADAS/ADS-Systems und/oder einer Fahrfunktion ein modularer Simulationsansatz verwendet, bei dem das subjektive Fahrerempfinden eines menschlichen Fahrers insbesondere bezogen auf Komfort, Sicherheit und Natürlichkeit des Fahrens berücksichtigt wird.
1 zeigt ein erstes Ausführungsbeispiel eines erfindungsgemäßen Systems 100 für die simulierte Kalibrierung und Validierung eines ADAS/ADS-Systems und/oder einer Fahrfunktion. Das erfindungsgemäße System 100 umfasst ein Testagentenmodul 200 mit einem Testagenten 220 und einer Teststrategie 230, eine Testdatenbank 300, eine Kalibrierungsparameterdatenbank 320, eine Szenariendatenbank 330, eine Bewertungsdatenbank 340, ein Simulationsmodul 400, ein Bewertungsmodul 500 und ein Ausgabemodul 700, die jeweils mit einem Prozessor und/oder einer Speichereinheit versehen sein können.
Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Prozessoreinheit und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Der Prozessor ist speziell dazu eingerichtet, die Programmbefehle derart auszuführen, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder zu realisieren. Insbesondere kann ein Modul in einer Cloud-Computing-Infrastruktur integriert sein.
Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, des Systems, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert. Insbesondere kann der Prozessor hochparallele Rechnereinheiten und leistungsfähige Grafikmodule enthalten.
Unter einer „Speichereinheit“ oder einem „Speichermodul“ kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form eines Arbeitsspeichers (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.
Unter „Datenbank“ ist sowohl ein Speicheralgorithmus als auch die Hardware in Form einer Speichereinheit zu verstehen. Insbesondere können die Datenbanken 300, 320, 330, 340 als Teil einer Cloud-Computing-Infrastruktur ausgebildet sein.
Unter Daten sind im Zusammenhang mit der Erfindung sowohl Rohdaten als auch bereits aufbereitete Daten aus Messergebnissen von Sensoren sowie aus weiteren Datenquellen zu verstehen.
Für die simulierte Kalibrierung und Validierung eines ADAS/ADS-Systems und/oder einer Fahrfunktion erstellt der Testagent 220 des Testagentenmoduls 200 mittels einer Softwareapplikation eine Mehrzahl von Testfällen T_i für eine oder mehrere Fahraufgaben. Die jeweilige Fahraufgabe wird vor dem Starten der Simulation formuliert, beispielsweise von einem Experten wie einem Ingenieur. Es kann aber auch vorgesehen sein, dass eine Liste von Fahraufgaben von einer Softwareapplikation generiert wird. Diese Liste kann dann sukzessive von dem erfindungsgemäßen System 100 bearbeitet werden. Eine beispielhafte Fahraufgabe ist ein Spurwechsel auf einer Autobahn.
Für die Auswahl und die Gestaltung der Testfälle T_i ist die Teststrategie 230 vorgesehen, die vorgibt, wie der Testagent 220 die Testfälle T_i erstellt. Für die Festlegung der Teststrategie 230 können verschiedene Berechnungsverfahren und Algorithmen, insbesondere Algorithmen der künstlichen Intelligenz vorgesehen sein. So können Algorithmen und Berechnungsverfahren wie Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, aber auch erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, und/oder rückgekoppelte neuronale Netzwerke verwendet werden, mit denen eine Anpassung der Strategie insbesondere durch Iterationsverfahren möglich ist.
Die erforderlichen Informationen für die Erstellung der Testfälle T_i entnimmt der Testagent 220 der Kalibrierungsparameterdatenbank 320, der Szenariendatenbank 330 und der Bewertungsdatenbank 340. Im Rahmen der Erfindung kann vorgesehen sein, dass darüber hinaus weitere Datenbanken verwendet werden. Die erstellten Testfälle T_i werden in der Testdatenbank 300 gespeichert.
Die Erstellung der Testfälle T_i erfolgt auf der Basis von parametrisierten Szenarien, die auch als logische Szenarien bezeichnet werden. Als ein parametrisiertes Szenario wird im Rahmen der Erfindung ein Szenario bezeichnet, das insbesondere in einem maschinenlesbaren Code geschrieben ist. Ein parametrisiertes Szenario SZp_i wird durch verschiedene Szenarioparameter P₁, P₂, ..., P_n aus einer Menge von möglichen Szenarioparametern P_i und zugehörigen Szenarioparameterwerten PV₁, PV₂, ..., PV_n aus einer Menge von möglichen Szenarioparameterwerten PV_i definiert, wobei Szeanrioparameterwerte PV_i den Wertebereich eines Szeanrioparameters P_i festlegen. Ein Szenarioparameter P_i stellt beispielsweise eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, eine Beschleunigung, eine Geschwindigkeit, einen Bremswert, eine Richtung, einen Winkel, einen Radius, einen Ort, eine Zahl, ein bewegliches Objekt wie ein Kraftfahrzeug, eine Person oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung und/oder eine Jahreszeit dar. Szenarioparameter P_i kennzeichnen somit im Rahmen der vorliegenden Erfindung Eigenschaften und Merkmale eines parametrisierten Szenarios SZp_i. Ein Beispiel für einen Szenarioparameter P_i ist die Geschwindigkeit eines Ego-Fahrzeugs und ein Wertebereich des zugehörigen Szenarioparameterwertes PV_i kann den Bereich von 100 km/h bis 180 km/h für ein Szenario SZp_i umfassen. Für ein anderes parametrisiertes Szenario SZp_k kann der Wertebereich des Szenarioparameterwertes PV_i sich von 40 km/h bis 70 km/h erstrecken.
Ein parametrisiertes Szenario SZp umfasst eine zeitliche Folge von Zeitintervallen Δt₁, Δt₂, ..., Δt_n, in denen jeweils verschiedene Szenen und Ereignisse stattfinden. Ein parametrisiertes Szenario SZp beginnt mit einer Startszene und entwickelt sich dann durch auftretende Ereignisse weiter, aus denen im zeitlichen Verlauf neue Folgeszenen entstehen. Die Startszene wird somit durch ein oder mehrere Ereignisse verändert. Bei einem Ereignis kann es sich sowohl um eine von einem Verkehrsteilnehmer aktiv ausgelöste Reaktion wie eine Beschleunigung handeln als auch um ein Ereignis, das zyklisch wiederkehrt, wie beispielsweise die Schaltvorgänge einer Ampel. Die Startszene und die einzelnen Folgeszenen umfassen somit jeweils nur ein kleines Zeitintervall Δt bzw. eine Momentaufnahme, während ein parametrisiertes Szenario SZp eine längere Zeitspanne umfasst. In einer Graphendarstellung eines Szenarios SZp können die Ereignisse als Kanten und die einzelnen Szenen als Knoten eines Graphen dargestellt werden.
Im Rahmen der vorliegenden Erfindung wird zwischen einem parametrisierten Szenario SZp und einem konkreten Szenario SZc unterschieden. Als ein parametrisiertes Szenario SZp wird im Rahmen dieser Erfindung ein Szenario definiert, bei dem sowohl die Szenarioparameter P_i als auch die zugehörigen Szenarioparameterwerte PV_i nicht alle festgelegt sind. Als ein konkretes Szenario SZc wird ein Szenario SZ bezeichnet, bei dem konkrete Szenarioparameter Pc_i und die zugehörigen konkreten Szenarioparameterwerte PVc_i bzw. Wertebereiche der konkreten Szenarioparameterwerte PVc_i festgelegt sind. Bei beiden Szenarien, sowohl dem parametrisierten Szenario SZp als auch dem konkreten Szenario SZc, handelt es sich jeweils um Szenarien, die insbesondere in einem maschinenlesbaren Code geschrieben sind.
Für die Erstellung von parametrisierten Szenarien SZp_i können verschiedene Quellen wie Anforderungsspezifikationen, Expertenwissen, und/oder Messungen im öffentlichen Straßenverkehr oder auf Testgeländen mittels Sensoren verwendet werden. Die verwendeten Sensoren können insbesondere als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, und/oder GPS-Systeme ausgebildet sein. Des Weiteren können Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren, Drehmomentsensoren, Drehzahlsensoren, Niederschlagssensoren, Lenkwinkelsensoren und/oder Temperatursensoren, etc. verwendet werden. So kann mittels einer Softwareapplikation aus aufgenommenen Messdaten an einem bestimmten geographischen Ort ein jeweils passendes parametrisiertes Szenario SZp_i. abgeleitet werden. Die Softwareapplikation verwendet insbesondere Algorithmen der künstlichen Intelligenz zur Identifikation der parametrisierten Szenarien SZp_i. Bei den Algorithmen der künstlichen Intelligenz kann es sich insbesondere um Encoder und Decoder mit neuronalen Netzen handeln.
Ein neuronales Netzwerk besteht aus Neuronen, die in mehreren Schichten angeordnet und unterschiedlich miteinander verbunden sind. Ein Neuron ist in der Lage, an seinem Eingang Informationen von außerhalb oder von einem anderen Neuron entgegenzunehmen, die Information in einer bestimmten Art zu bewerten und sie in veränderter Form am Neuronenausgang an ein weiteres Neuron weiterzuleiten oder als Endergebnis auszugeben. Hidden-Neuronen sind zwischen den Input-Neuronen und Output-Neuronen angeordnet. Je nach Netzwerktyp können mehrere Schichten von Hidden-Neuronen vorhanden sein. Sie sorgen für die Weiterleitung und Verarbeitung der Informationen. Output-Neuronen liefern schließlich ein Ergebnis und geben dieses an die Außenwelt aus. Neuronale Netzwerke lassen sich durch unbeaufsichtigtes oder überwachtes Lernen trainieren.
Durch die unterschiedliche Anordnung und Verknüpfung der Neuronen entstehen verschiedene Typen von neuronalen Netzwerken wie insbesondere ein vorwärtsgerichtetes Netzwerk (engl. Feedforward Neural Network, FNN), ein rückgekoppeltes Netzwerk (engl. Recurrent Neural Network, RNN) oder ein gefaltetes neuronales Netzwerk (engl. Convolutional Neural Network, CNN). Ein gefaltetes neuronales Netzwerk besitzt mehrere Faltungsschichten und ist für maschinelles Lernen und Anwendungen im Bereich der Mustererkennung und Bilderkennung sehr gut geeignet. Da ein großer Teil der von den Sensoren aufgenommenen Daten als Bilder vorliegen, werden insbesondere gefaltete neuronale Netzwerke (CNN) verwendet.
Im Rahmen der vorliegenden Erfindung erstellt der Testagent 220 aus der Menge an möglich parametrisierten Szenarien SZp_i diejenigen Testfälle T_i, die für die Kalibrierung und Validierung eines ADAS/ADS-Systems bzw. einer Fahrfunktion von Interesse sind. Hierzu wählt der Testagent 220 passende parametrisierte Szenarien SZp_i und konkrete Szenarioparameter Pc_i aus der Szenariendatenbank 330 sowie Kalibrierungsparameter Pcal_i aus der Kalibrierungsparameterdatenbank 320 aus. Diese von dem Testagenten 220 erstellten relevanten Testfälle T_i decken die in der „Operational Design Domain“ (ODD) festgelegten relevanten Verkehrssituationen ab, die von Fahrerassistenzsystemen und automatisierte Fahrfunktionen beherrscht werden müssen. Bei einem Testfall T_i handelt es sich somit um ein relevantes konkretes Szenario SZc durch die Festlegung von konkreten Szenarioparametern Pc_i und weiteren Kalibrierungsparametern Pcal_i.
Die Teststrategie 230 des Testagenten 220 entscheidet somit über die Konfiguration der Testfälle T_i durch die Auswahl von passenden parametrisierten Szenarien SZp_i und konkreten Szenarioparametern Pc_i sowie weiteren Kalibrierungsparametern Pcal_i. Die verwendete Teststrategie 230 wird durch den Zweck der Simulation vorgegeben, d.h. welche Erkenntnisse über das Verhalten eines ADAS/ADS-Systems bzw. einer bestimmten Fahrfunktion bei der Durchführung der festgelegten Fahraufgabe durch eine Simulation gewonnen werden sollen. Beispielsweise können für die virtuelle Kalibrierung und Validierung eines ADAS/ADS-Systems mit einem konstanten Datensatz an Kalibrierungsparametern Pcal_i. verschiedene parametrisierte Szenarien SZp_i und Szenarioparameterkombinationen mittels eines kombinatorischen Verfahrens erstellt werden. Darüber hinaus kann eine iterative Strategie auf der Grundlage mathematischer Optimierer implementiert werden, um die Kalibrierungsparameter Pcal_i für eine kleinere Menge von verschiedenen parametrisierten Szenarien SZp_i anzupassen.
Die auf diese Weise bestimmten Testfälle T_i speichert der Testagent 220 in der Testdatenbank 300. Die Daten für einen Testfall T_i können eine Test-Identifikationsnummer (Test-ID), einen Benutzernamen, eine Erstellungszeit und die Bezeichnung für das ausgewählte parametrisierte Szenario Szp_i enthalten. Des Weiteren werden diejenigen konkreten Szenarioparameter Pc_i.gespeichert, die das parametrisierte Szenario Szp_i in ein konkretes Szenario Szc_i transformieren. Darüber hinaus können Kalibrierungsparameter Pcal_i und weitere Daten wie Leistungsindikatoren (KPIs) hinsichtlich der Bewertung der Performance der jeweiligen Fahrfunktion bei der Simulation sowie Bewertungsindikatoren für die Bewertung der durchgeführten Simulation gespeichert werden. Des Weiteren können Informationen zum Status der Simulation wie „durchgeführt oder nicht durchgeführt“ einem Testfall T_i zugeordnet werden. Zusätzlich können weitere Textnachrichten, Videosequenzen und oder Audiosequenzen, etc. mit weiteren Informationen gespeichert werden. Insgesamt können somit alle relevanten Informationen zu einem Testfall T_i in der Testdatenbank 300 gespeichert werden.
Für die Durchführung einer Simulation der erstellten Testfälle T_i übergibt der Testagent 220 einen Testfall T_i oder mehrere Testfälle T_i an das Simulationsmodul 400. Zudem kann das Simulationsmodul 400 Informationen über die Kalibrierungsparameter Pcal_i aus der Kalibrierungsparameterdatenbank 320 sowie Informationen über die parametrisierten Szenarien SZp_i und konkreten Szenarioparameter Pc_i wie maschinenlesbare Skripte aus der Szenariendatenbank 330 abrufen, um die Simulation durchführen zu können.
Das Simulationsmodul 400 umfasst verschiedene Untermodule, die für die Simulation von spezifischen Eigenschaften der Testfälle T_i für die zu testende Fahraufgabe ausgebildet sind und miteinander interagieren können. Sie sind als austauschbare Untermodule ausgebildet und haben die Aufgabe, einzelne Aspekte eines jeweiligen Testfalls T_i oder einer Mehrzahl von Testfällen T_i zu simulieren. Ein erstes Untermodul ist als Umgebungsmodellmodul 410 ausgebildet, das sich auf die Umgebung bezieht und verschiedene Umgebungen eines Kraftfahrzeugs 10 abbildet. Ein zweites Untermodul ist als Fahrermodellmodul 420 ausgebildet, um beispielsweise den Fahrstil eines Fahrers wie sportlich oder komfortabel in die Simulation mit einzubeziehen. Ein drittes Untermodul ist als Fahrzeugmodellmodul 430 ausgebildet, das verschiedene Modelle eines Kraftfahrzeugs beispielsweise hinsichtlich der unterschiedlichen Ausbildung des Antriebsstrangs, der Fahrdynamik und weiterer Teilfunktionen umfasst. Die Untermodule 410, 420, 430 setzen die Beschreibung des jeweiligen Testfalls T_i für eine spezifische Situation bzw. Konfiguration um und stellen die notwendigen Eingangsdaten für die Simulation einer Fahrfunktion in einem Fahrfunktionsmodul 440 bereit.
Das Simulationsmodul 400 bzw. die verschiedenen Untermodule 410, 420, 430 sind mit ein oder mehreren Datenbanken 480 verbunden, in denen Sensorsignale von Sensoren 470 und weitere Daten gespeichert sind. Bei den Sensorsignalen handelt es sich insbesondere um Messdaten von Eigenschaften und Merkmalen eines Kraftfahrzeugs 10 und von Objekten und Ereignissen in der Umgebung des Kraftfahrzeugs 10, die beim Befahren einer Fahrstrecke jeweils während eines definierten Zeitfensters Δt_i und/oder eines definierten Fahrstreckenabschnitts Δx_i aufgenommen wurden. Bei den Objekten in der Verkehrsumgebung des Kraftfahrzeugs 10 handelt es sich insbesondere um andere Verkehrsteilnehmer wie Kraftfahrzeuge, Fußgänger, Radfahrer, und bei den Ereignissen beispielsweise um einen Beschleunigungsvorgang, einen Spurwechsel, oder ein Umschalten einer Ampel. Die Sensoren 470 können insbesondere als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, und/oder GPS-Systeme ausgebildet sein. Des Weiteren können die Sensoren als Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren, Drehmomentsensoren, Lenkwinkelsensoren, Niederschlagssensoren und/oder Temperatursensoren, etc. ausgebildet sein.
In der Datenbank 480 können zudem weitere historische Daten in Form von Bildern, Graphiken, Zeitreihen, Kenngrößen, etc. gespeichert sein. So können beispielsweise Zielgrößen und Zielwerte in der Datenbank 480 abgelegt sein, die einen Sicherheitsstandard für die Simulation definieren. Die Datenbank 480 kann ebenfalls in einer Cloud-Computing-Infrastruktur integriert sein.
Darüber hinaus können zusätzliche Datenquellen beziehungsweise Datenbanken verwendet werden. Hierzu zählen insbesondere Datenbanken, die Daten über das Straßennetz mit Straßenspezifikationen wie beispielsweise Fahrspuren und Brücken, die Straßeninfrastruktur wie beispielsweise den Straßenbelag, die Randbebauung, die Straßenführung, etc.
Die von dem Testagenten 220 ausgewählten Testfälle T_i werden in die verschiedenen Untermodule 410, 420, 430 integriert, wobei Eingangssignale wie Sensordaten, Informationen über den Fahrzeugzustand sowie Fahrereingaben von den Untermodulen 410, 420, 430 bereitgestellt werden, um eine Simulation der ausgewählten Testfälle T_i durchzuführen. Hierzu verwenden das Umgebungsmodellmodul 410, das Fahrermodellmodul 420 und das Fahrzeugmodellmodul 430 Simulationsalgorithmen wie X-in-the-Loop (XiL). Insbesondere die Modellierung der Sensoren 470 ist von besonderer Bedeutung, da Ungenauigkeiten und Messfehler der Sensorsignale der verwendeten Sensoren 470 bei der virtuellen Kalibrierung und Validierung berücksichtigt werden müssen. Wenn ein ausgewählter Testfall T_i bzw. eine Mehrzahl von Testfällen T_i eine festgelegte Fahraufgabe nicht abdecken kann, werden mittels der Untermodule 410, 420, 430 weitere Daten bereitgestellt, um ein ganzheitliches Fahrgeschehen abzubilden und damit simulieren zu können.
Das Simulationsmodul 400 führt somit eine Simulation der Testfälle T_i für eine festgelegte Fahraufgabe durch und übergibt die Simulationsergebnisse 450 dem Bewertungsmodul 500.
Das Bewertungsmodul 500 umfasst eine Funktionsbewertungsmodul 510, das die Simulationsergebnisse 450 hinsichtlich der Leistungs- und Funktionsfähigkeit von ein oder mehreren Funktionen bzw. der Gesamtperformance eines ADAS/ADS-Systems insbesondere in Form von Leistungsindikatoren (KPIs) bewertet. Zudem umfasst das Bewertungsmodul 500 ein Simulationsbewertungsmodul 520, das die Qualität des durchgeführten Simulationsverfahrens insbesondere in Form von Simulationsqualitätskriterien (SQCs) bewertet. Das Funktionsbewertungsmodul 510 und das Simulationsbewertungsmodul 520 erstellen somit Bewertungsparameter 550 insbesondere in Form von KPIs und SQCs.
KPIs dienen zur Beschreibung der Leistung eines zu testenden ADAS/ADS-Systems, wobei für verschiedene Bewertungskategorien wie Komfort, Sicherheit, Natürlichkeit des Fahrens und Effizienz unterschiedliche KPIs festgelegt werden. Zusätzlich können weitere KPIs implementiert werden, um die korrekte Funktionalität des zu testenden ADAS/ADS-Systems zu verifizieren. Ein Beispiel für einen KPI ist die Bewertung einer minimalen Distanz zu anderem Fahrzeug oder einer mittleren Beschleunigung bei einem Verzögerungsszenario.
Zusätzlich zu den KPIs werden SQCs verwendet, um die Qualität der Simulation zu bewerten. Beispielsweise können andere Verkehrsteilnehmer durch modellierte Simulationsvertreter abgebildet werden, die in Abhängigkeit von den Reaktionen des zu testenden ADAS/ADS-Systems unterschiedliche Entscheidungen treffen. Aus diesem Grund muss in einer Bewertung überprüft werden, ob das simulierte Szenario mit der Szenariobeschreibung des Testfalls T_i übereinstimmt. Zu diesem Zweck werden für die SQCs Metriken definiert, die eine Rückmeldung über die korrekte Ausführung einer Szenariosimulation geben. So kann die Art der Durchführung eines Überholmanövers mittels eines SQC bewertet werden, beispielsweise hinsichtlich der Frage, ob eine Kollision vermieden werden konnte. Die KPIs und SQCs können durch Zahlenwerte aber auch durch boolesche Werte darstellt werden.
Dabei können sowohl für die KPIs als auch für SQCs direkte und indirekte Bewertungsmetriken verwendet werden. Direkte Bewertungsmetriken enthalten Daten direkt aus simulierten Messdaten. Indirekte Bewertungsmetriken verwenden insbesondere konkrete Szenarioparameter und direkte KPIs als Datenquelle. Auf Basis der KPIs und SQCs lassen sich somit die Ergebnisse eines simulierten Testfalls T_i durch Zahlenwerte bzw. boolesche Werte darstellen.
Die Bewertungsparameter 550 in Form von Leistungsindikatoren (KPIs) und Simulationsqualitätskriterien (SQCs) werden an das Testagentenmodul 200 weitergegeben. Der Testagent 220 kann die Kalibrierungsparameter Pcal_i in der Kalibrierungsparameterdatenbank 320, die parametrisierten Szenarien Szp_i und die konkreten Szenarioparameter Pc_i in der Szenariendatenbank 330 und die Bewertungsparameter 550 in der Bewertungsdatenbank 340 mit Labeln wie Gewichten oder zur Kennzeichnung von besonderen Eigenschaften versehen, um neue Testfälle T_k für die festgelegte Fahraufgabe zu erstellen. Insbesondere kann die Teststrategie 230 mittels der durch die Bewertungsparameter 550 gelabelten Daten in der Kalibrierungsparameterdatenbank 320, der Szenariendatenbank 330 und der Bewertungsdatenbank 340 angepasst werden. Die Testfälle T_k werden wiederum in der Testdatenbank 300 abgelegt und können für einen neuen Simulationszyklus in dem Simulationsmodul 400 und einer anschließenden Bewertung in dem Bewertungsmodul 500 verwendet werden.
Zur Anpassung der Testfälle T_k für einen neuen Simulationsdurchlauf werden insbesondere die Kalibrierungsparameter Pcal_i geändert, während die konkreten Szenarioparameter Pc_i gleichbleiben. Die Kalibrierungsparameter Pcal_i werden insbesondere auf der Basis der Leistungsindikatoren (KPIs) geändert, die von dem Funktionsbewertungsmodul 510 erstellt werden. Durch Iteration der Kalibrierungsparameter Pcal_i für neue Testfälle T_k kann ein optimales Set an Kalibrierungsparametern Pcal_i ermittelt werden.
Des Weiteren kann der Testagent 220 bei konstanten Kalibrierungsparametern Pcal_i die konkreten Szenarioparameter Pc_i variieren, um iterativ die kritischen konkreten Szenarien Szc_i zu ermitteln.
Die Kombination aus dem Simulationsmodul 400 und dem Auswertungsmodul 500 bildet somit die Basis für die Bearbeitung von Testfällen T_i im Rahmen einer virtuellen Kalibrierung und Validierung. Vom Testagenten 220 erstellte Testfälle T_i werden in dem Simulationsmodul 400 simuliert, wobei das Simulationsmodul Zugriff auf die Kalibrierungsparameterdatenbank 320 und die Szenariendatenbank 330 hat, um die erforderlichen Informationen zu erhalten. Nach erfolgreicher Simulation werden die Simulationsergebnisse 450 an das Bewertungsmodul 500 übergeben. Das Bewertungsmodul 500 hat Zugriff auf die Bewertungsdatenbank 340 und die Szenariendatenbank 330, um die Bewertungsparameter 550 der Simulationsergebnisse 450zu bestimmen. Sowohl das Simulationsmodul 400 als auch das Bewertungsmodul 500 enthalten austauschbare Untermodule, so dass eine Anpassung an unterschiedliche Funktionen und Anwendungsfälle sowie die separate Weiterentwicklung der Untermodule ermöglicht ist.
Um das subjektive Fahrempfinden in dem Simulationsmodul 400 und dem Auswertungsmodul 500 zu berücksichtigen, ist erfindungsgemäß ein Fahrsimulator 422 über eine entsprechend ausgebildete Schnittstelle mit dem Fahrermodellmodul 420 verbunden, um eine Driver-in-the-Loop-Simulation mit einem Nutzer des Fahrsimulators 422 durchzuführen. Für die Durchführung einer Driver-in-the-Loop-Simulation wird der Fahrsimulator 422 von einem Nutzer bzw. menschlichen Fahrer bedient. Der Fahrsimulator 422 ist mit realen Bedienelementen wie einem Lenkrad, einer Schaltung, einem Bremspedal, einem Gaspedal, etc. ausgestattet. Die Frontscheibe dient üblicherweise als Monitor zur Anzeige einer virtuellen Simulationsumgebung. Es kann zudem vorgesehen sein, dass der menschliche Fahrer ein Augmented Reality Headset trägt für die Anzeige der Simulationsumgebung, die durch den ausgewählten Testfall T_i bzw. eine Mehrzahl von Testfällen T_i für eine festgelegte Fahraufgabe bestimmt wird. In Abhängigkeit von der Simulationsumgebung und der Fahrsituation bewegt sich der Fahrsimulator 422. Beispielsweise kann es sich bei dem simulierten Szenario um ein Cut-In-Szenario handeln. Der menschliche Fahrer lenkt, schaltet, beschleunigt oder bremst den Fahrsimulator 422 entsprechend der vorgegebenen Simulationsumgebung und der jeweiligen Fahraufgabe. Der Fahrsimulator 422 ist mit Sensoren 470 verbunden, die die Reaktionen des Fahrers wie den Lenkwinkel, die Beschleunigung bzw. die Bremsung messen. Die Messwerte der Sensoren 470 werden an das Fahrermodellmodul 420 weitergegeben, das daraus mittels einer Softwareapplikation ein Modell über das Verhalten des Fahrers erstellt.
Zudem ist der Fahrsimulator 422 mit dem Funktionsbewertungsmodul 510 über entsprechende Schnittstellen verbunden. Das Funktionsbewertungsmodul 510 kann eine Softwareapplikation aufweisen, die dem Fahrer eine Liste von Fragen zu seinem subjektiven Empfinden während des Erlebens des simulierten Szenarios vorlegt. Es kann beispielsweise vorgesehen sein, dass diese Fragen auf einem Display eingeblendet werden und der Fahrer mittels einer Touchfunktion eine Bewertung beispielsweise auf einer Skala von 1 bis 10 abgibt. Es kann aber auch vorgesehen sein, dass die Skala nur drei Bewertungen wie negativ, neutral und positive aufweist. Es kann aber auch vorgesehen sein, dass der Fahrer beispielsweise über ein Headset die Fragen als Sprachnachricht empfängt und der Fahrer ebenfalls mit einer Sprachnachricht antwortet, die von einem Mikrofon aufgenommen wird. Bei einem Cut-In-Szenario kann der Fahrer beispielsweise das Abbremsverhalten einer Adaptive-Cruise-Control-Fahrfunktion auf einer Skala von 1 bis 10 bewerten. Zudem kann der menschliche Fahrer selbst bezogen auf weitere Faktoren wie Gender, Alter, Bildungshintergrund, etc. kategorisiert werden. Aufgrund der von dem menschlichen Fahrer abgegebenen Bewertungen erstellt das Funktionsbewertungsmodul 510 nun zumindest einen Bewertungsindex 515, der diese Bewertungen jeweils wiedergibt.
Bei der Berechnung der Bewertungsparameter 550 insbesondere in Form von KPIs wird nun dieser Bewertungsindex 515 berücksichtigt. Durch die Verknüpfung eines Fahrsimulators 422 mit dem Simulationsmodul 400 können somit die Bewertungsmetriken um das subjektive Empfinden eines Fahrers bei der Durchführung einer Fahrfunktion eines ADAS/ADS-Systems erweitert werden.
In der 2 ist ein zweites Ausführungsbeispiel des erfindungsgemäßen Systems 100 mit einer Vehicle-in-the-Loop-Simulation dargestellt. Dabei ist zur Berücksichtigung des subjektiven Fahrempfindens eines menschlichen Fahrers ein reales Fahrzeug 424 über eine entsprechend ausgebildete Schnittstelle mit dem Fahrermodellmodul 420 verbunden, um eine Vehicle-in-the-Loop-Simulation mit einem Nutzer des realen Fahrzeugs 424 durchzuführen. Zudem ist das reale Fahrzeug 224 mit dem Fahrzeugmodellmodul 430 verbunden. Des Weiteren ist vorgesehen, dass das Fahrfunktionsmodul 440 nicht mit dem Simulationsmodul 400 verknüpft ist, sondern in dem realen Fahrzeug 424 integriert ist. Das Fahrfunktionsmodul 440 ist mit realen Sensoren 470, die am realen Fahrzeug 424 angeordnet sind, verbunden und wählt auf Basis dieser Sensorsignale die passende Fahrfunktion aus. In einer Weiterentwicklung kann jedoch auch vorgesehen sein, dass das Fahrfunktionsmodul 440 Sensorsignale aus einer Simulation erhält und eine Fahrfunktion basierend auf den simulierten Sensorsignalen auswählt.
Das Fahrzeug 424 wird nun von dem Nutzer bzw. Fahrer über Bedienelemente wie ein Lenkrad, eine Schaltung, ein Bremspedal, ein Gaspedal, etc. bedient, wobei üblicherweise eine Prüfstrecke abgefahren wird. Das reale Fahrzeug 424 ist zudem mit Anzeigeelementen wie einem Monitor zur Anzeige einer Simulationsumgebung ausgestattet. Zudem kann vorgesehen sein, dass der menschliche Fahrer ein Augmented Reality Headset trägt für die Anzeige der Simulationsumgebung, die durch den ausgewählten Testfall T_i bzw. eine Mehrzahl von Testfällen T_i für eine festgelegte Fahraufgabe bestimmt wird. Das Fahrzeug 424 bewegt sich somit gleichzeitig in einer realen Umgebung und in einer Simulationsumgebung. Beispielsweise kann es sich bei einem simulierten Szenario um ein Cut-In-Szenario handeln. Der menschliche Fahrer lenkt, schaltet, beschleunigt oder bremst das reale Fahrzeug 424 entsprechend der vorgegebenen Simulationsumgebung und der realen Umgebung. Der Fahrer interagiert somit sowohl mit einer insbesondere mittels einer Augmented Reality angezeigten Simulationsumgebung als auch mit dem realen Fahrzeug 424.
Das reale Fahrzeug 424 ist mit Sensoren 470 verbunden, die die Reaktionen des Fahrers wie den Lenkwinkel, die Beschleunigung bzw. die Bremsung messen. Die Messwerte der Sensoren 470 werden an das Fahrermodellmodul 420 weitergegeben, das daraus mittels einer Softwareapplikation ein Modell über das Verhalten des Fahrers erstellt. Zudem ist das reale Fahrzeug 424 mit dem Funktionsbewertungsmodul 510 über entsprechende Schnittstellen verbunden. Das Funktionsbewertungsmodul 510 kann eine Softwareapplikation aufweisen, die dem Fahrer eine Liste von Fragen zu seinem subjektiven Empfinden während des Erlebens des simulierten Szenarios vorlegt. Es kann beispielsweise vorgesehen sein, dass diese Fragen auf einem Display eingeblendet werden und der Fahrer mittels einer Touchfunktion eine Bewertung beispielsweise auf einer Skala von 1 bis 10 abgibt. Es kann aber auch vorgesehen sein, dass die Skala nur drei Bewertungen wie negativ, neutral und positive aufweist. Es kann aber auch vorgesehen sein, dass der Fahrer beispielsweise über ein Headset die Fragen als Sprachnachricht empfängt und der Fahrer ebenfalls mit einer Sprachnachricht antwortet, die von einem Mikrofon aufgenommen wird. Bei einem Cut-In-Szenario kann der Fahrer beispielsweise das Abbremsverhalten einer Adaptive-Cruise-Control-Fahrfunktion auf einer Skala von 1 bis 10 bewerten. Zudem kann der menschliche Fahrer selbst bezogen auf weitere Faktoren wie Gender, Alter, Bildungshintergrund, etc. kategorisiert werden. Aufgrund der von dem menschlichen Fahrer abgegebenen Bewertungen erstellt das Funktionsbewertungsmodul 510 nun zumindest einen Bewertungsindex 515, der diese Bewertungen jeweils wiedergibt.
Bei der Berechnung der Bewertungsparameter 550 insbesondere in Form von KPIs wird nun dieser Bewertungsindex 515 berücksichtigt. Durch die Verknüpfung eines realen Fahrzeugs 424 mit dem Simulationsmodul 400 können somit die Bewertungsmetriken um das subjektive Empfinden eines Fahrers bei der Durchführung einer Fahrfunktion eines ADAS/ADS-Systems erweitert werden.
Nach dem Durchlaufen eines ersten Simulationszyklus mit ersten Testfällen T_i, werden nun zweite Testfälle T_k von dem Testagenten 220 mittels der an die Simulationsergebnisse 450 und die Bewertungsparameter 550 des ersten Simulationsdurchlaufs angepassten Teststrategie 230 erstellt. Da die Bewertungsparameter 550 das subjektive Empfinden eines Fahrers durch den Bewertungsindex 515, der entweder auf der Grundlager einer Driver-in-the-Loop-Simulation oder einer Vehicle-in-the-Loop-Simulation erstellt wurde, berücksichtigen, können durch Optimierung von Applikationsparametern passende zweite Testfälle T_k ausgewählt werden. Mit diesen zweiten Testfällen T_k wird ein neuer Simulationsdurchlauf begonnen. Anhand der Bewertungsparameter 550 wird entschieden, ob die zweiten Testfälle T_k einem bestimmten Bewertungskriterium genügen oder ob eine weitere Anpassung der Teststrategie 230 für die Durchführung eines weiteren Simulationszyklus erforderlich ist. Falls die Bewertungsparameter 550 ergeben, dass die Simulationsergebnis 450 konvergieren, werden die Testfälle T_k des letzten Simulationszyklus an das Ausgabemodul 700 weitergegeben.
Basierend auf den von dem Bewertungsmodul 500 erstellten Bewertungsparametern 550 in Form von KPIs und SQCs kann dann für die Testfälle T_k des letzten Simulationszyklus ein optimaler Datensatz von Kalibrierungsparametern Pcal_i für das zu kalibrierende ADAS/ADS-System und/oder die Fahrfunktion für die Durchführung der festgelegten Fahraufgabe ermittelt werden. Dieser Datensatz an Kalibrierungsparametern Pcal_i definiert das Verhalten des Fahrerassistenzsystems (ADAS) und/oder des automatisierten Fahrsystems (ADS) und/oder der Fahrfunktion für die festgelegte Fahraufgabe unter Berücksichtigung des subjektiven Fahrerempfindens und kann dann als Ausgabeergebnisse 750 von dem Ausgabemodul 700 ausgegeben werden. Zudem enthalten die Ausgabeergebnisse 750 Informationen über die durchgeführte Simulation. Die Qualität der Ausgabeergebnisse 750 hängt dabei von der Qualität der Szenariobeschreibung und der Art der Simulation sowie der Definition der Bewertungsmetriken ab.
Da das Simulationsmodul 400 verschiedene Untermodule 410, 420, 430 umfasst, kann der Fahrsimulator 422 und/oder das reale Fahrzeug durch entsprechend ausgebildete Schnittstellen mit dem Fahrermodellmodul 420 und/oder dem Fahrzeugmodellmodul 430 und dem Funktionsbewertungsmodul 510 verbunden werden, um erfindungsgemäß das Simulationsmodul 400 um eine Driver-in-the-Loop-Simulation oder eine Vehicle-in-the-Loop-Simulation zu erweitern. Hierdurch kann eine subjektive Bewertung hinsichtlich der Funktionsfähigkeit und Sicherheit einer Fahrfunktion bzw. eines ADAS/ADS-Systems durch einen menschlichen Fahrer bei der virtuellen Kalibrierung und Validierung einfach berücksichtigt werden. Unterschiedliche Fahraufgaben können dabei durch eine Änderung der Teststrategie 230 des Testagenten 220 implementiert werden.
In 3 sind die Verfahrensschritte zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für eine festgelegte Fahraufgabe in zumindest einem Szenario SZ_i unter Berücksichtigung einer subjektiven Bewertung dargestellt.
In einem Schritt S10 werden erste Testfälle T_i von einem Testagenten 220 durch Auswählen von parametrisierten Szenarien SZp_i und konkreten Szenarioparametern Pc_i sowie Kalibrierungsparametern Pcal_i mittels einer Teststrategie 230 für die Fahraufgabe erstellt.
In einem Schritt S20 werden die ausgewählten ersten Testfälle T_i an ein Simulationsmodul weitergegeben, wobei das Simulationsmodul 400 zumindest ein Umgebungsmodellmodul 410, ein Fahrermodellmodul 420 und ein Fahrzeugmodellmodul 430 umfasst, und wobei das Fahrermodellmodul 420 mit einem Fahrsimulator 422 verbunden ist oder das Fahrermodellmodul 420 und das Fahrzeugmodellmodul 430 mit einem realen Fahrzeug 424 verbunden sind.
In einem Schritt S30 wird eine Driver-in-the-Loop-Simulation mit dem Fahrsimulator 422 und einem Nutzer oder eine Vehicle-in-the-Loop-Simulation mit dem realen Fahrzeug 424 und einem Nutzer jeweils für die ausgewählten ersten Testfälle T_i von dem Simulationsmodul 400 zur Bestimmung von Simulationsergebnissen 450 durchgeführt.
In einem Schritt S40 werden die Simulationsergebnisse 450 an ein Bewertungsmodul 500 weitergegeben, wobei das Bewertungsmodul 500 ein Fahrfunktionsbewertungsmodul 510 zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion insbesondere mittels Leistungsindikatoren (KPIs) umfasst und das Fahrfunktionsbewertungsmodul 510 mit dem Fahrsimulator 422 und/oder dem realen Fahrzeug 424 verbunden ist.
In einem Schritt S50 wird zumindest ein Bewertungsindex 515 von dem Fahrfunktionsbewertungsmodul 510 generiert, wobei der Bewertungsindex 515 eine subjektive Bewertung der durchgeführten Driver-in-the-Loop-Simulation durch den Nutzer des Fahrsimulators 422 oder der durchgeführten Vehicle-in-the-Loop-Simulation durch den Nutzer des realen Fahrzeugs 424 wiedergibt.
In einem Schritt S60 wird eine Bewertung der Simulationsergebnisse 450 unter Berücksichtigung des generierten Bewertungsindex 515 durch das Bewertungsmodul 500 zur Bestimmung von Bewertungsparametern 550 durchgeführt.
In einem Schritt S70 wird die Teststrategie 230 an die Simulationsergebnisse 450 und die Bewertungsparameter 550 angepasst.
4 stellt schematisch ein Computerprogrammprodukt 900 dar, das einen ausführbaren Programmcode 950 umfasst, der konfiguriert ist, das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung auszuführen.
Durch die vorliegende Erfindung kann ein optimaler Datensatz an Kalibrierungsparametern für die virtuelle Kalibrierung und Validierung von ADAS/ADS-Systemen und/oder Fahrfunktionen unter Berücksichtigung einer subjektiven Bewertung eines menschlichen Fahrers erzeugt werden. Hierdurch kann die Akzeptanz eines ADAS/ADS-Systems und/oder einer Fahrfunktion sowohl bei einem individuellen Fahrer als auch auf der gesellschaftlichen Ebene verbessert wird. Dies führt zu einer größeren Sicherheit und einem erhöhten Komfort beim Fahren, da ADAS/ADS-Systeme und automatisierte Fahrfunktionen vermehrt in Fahrzeugen implementiert und während des Fahrens auch genutzt werden.
Bezugszeichen

10: Kraftfahrzeug
100: System
200: Testagentenmodul
220: Testagent
230: Teststrategie
300: Testdatenbank
320: Kalibrierungsparameterdatenbank
330: Szenariendatenbank
340: Bewertungsdatenbank
400: Simulationsmodul
410: Umgebungsmodellmodul
420: Fahrermodellmodul
422: Fahrsimulator
424: reales Fahrzeug
430: Fahrzeugmodellmodul
440: Fahrfunktionsmodul
450: Simulationsergebnisse
470: Sensoren
480: Datenbank
500: Bewertungsmodul
510: Funktionsbewertungsmodul
515: Bewertungsindex
520: Simulationsbewertungsmodul
550: Bewertungsparameter
700: Ausgabemodul
750: Ausgabedaten
900: Computerprogrammprodukt
950: Programmcode

Claims

Verfahren zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion für eine festgelegte Fahraufgabe in zumindest einem Szenario (SZ_i) unter Berücksichtigung einer subjektiven Bewertung, wobei ein Szenario (SZ_i) ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt und durch eine Auswahl von Szenarioparametern (P₁, P₂, ..., P_n) und zugehörigen Szenarioparameterwerten (PV₁, PV₂, ..., PV_n) definiert ist, und wobei bei einem parametrisierten Szenario (SZp_i) die Szenarioparameter (P₁, P₂, ..., P_n) und zugehörigen Szenarioparameterwerte (PV₁, PV₂, ..., PV_n) frei wählbar sind, und bei einem konkreten Szenario (SZc_i) die konkreten Szenarioparameter (Pc₁, Pc₂, ..., P_cn) und zugehörigen konkreten Szenarioparameterwerte (PVc₁, PV_c2, ..., PVc_n) festgelegt sind, umfassend: - Erstellen (S10) von ersten Testfällen (T_i) von einem Testagenten (220) durch Auswählen von parametrisierten Szenarien (SZp_i) und konkreten Szenarioparametern (Pc_i) sowie Kalibrierungsparametern (Pcal_i) mittels einer Teststrategie (230) für die Fahraufgabe, wobei die Teststrategie (230) und/oder der Testagent (220) zumindest eine Softwareapplikation mit Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet/verwenden; - Weitergeben (S20) der ausgewählten ersten Testfälle (T_i) an ein Simulationsmodul (400), wobei das Simulationsmodul (400) zumindest ein Umgebungsmodellmodul (410), ein Fahrermodellmodul (420) und ein Fahrzeugmodellmodul (430) umfasst, und wobei das Fahrermodellmodul (420) mit einem Fahrsimulator (422) verbunden ist oder das Fahrermodellmodul (420) und das Fahrzeugmodellmodul (430) mit einem realen Fahrzeug (424) verbunden sind; - Durchführen (S30) einer Driver-in-the-Loop-Simulation mit dem Fahrsimulator (422) und einem Nutzer oder einer Vehicle-in-the-Loop-Simulation mit dem realen Fahrzeug (424) und einem Nutzer jeweils für die ausgewählten ersten Testfälle (T_i) von dem Simulationsmodul (400) zur Bestimmung von Simulationsergebnissen (450); - Weitergeben (S40) der Simulationsergebnisse (450) an ein Bewertungsmodul (500), wobei das Bewertungsmodul (500) ein Fahrfunktionsbewertungsmodul (510) zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion insbesondere mittels Leistungsindikatoren (KPIs) umfasst und das Fahrfunktionsbewertungsmodul (510) mit dem Fahrsimulator (422) und/oder dem realen Fahrzeug (424) verbunden ist; - Generieren (S50) zumindest eines Bewertungsindex (515) von dem Fahrfunktionsbewertungsmodul (510), wobei der Bewertungsindex (515) eine subjektive Bewertung der durchgeführten Driver-in-the-Loop-Simulation durch den Nutzer des Fahrsimulators (422) oder der durchgeführten Vehicle-in-the-Loop-Simulation durch den Nutzer des realen Fahrzeugs (424) wiedergibt; - Durchführen (S60) einer Bewertung der Simulationsergebnisse (450) unter Berücksichtigung des generierten Bewertungsindex (515) durch das Bewertungsmodul (500) zur Bestimmung von Bewertungsparametern (550); - Anpassen (S70) der Teststrategie (230) an die Simulationsergebnisse (450) und die Bewertungsparameter (550); - Erstellen (S80) von zweiten Testfällen (T_k) von dem Testagenten (220) mittels der angepassten Teststrategie (230); - Beginnen (S90) eines neuen Simulationszyklus für die zweiten Testfälle (Tk); - Wiederholen (S100) der Anpassung der Teststrategie (230) für die Durchführung eines weiteren Simulationszyklus, wenn ein bestimmtes Bewertungskriterium nicht erfüllt wird; oder - Weitergeben (S110) der Testfälle (T_k) des letzten Simulationszyklus an ein Ausgabemodul (700), wenn ein bestimmtes Bewertungskriterium erfüllt wird; - Generieren und Ausgeben (S120) von Ausgabeergebnissen (750) aus den Testfällen (T_k) für Kalibrierungs- und Validierungszwecke von dem Ausgabemodul (200), insbesondere in Form von Kalibrierungsparametern (Pcal_i) für das Fahrerassistenzsystem (ADAS) und/oder das automatisierte Fahrsystem (ADS) und/oder die Fahrfunktion für die Durchführung der festgelegten Fahraufgabe.
Verfahren nach Anspruch 1, wobei das Simulationsmodul (400) ein Fahrfunktionsmodul (440) aufweist für die Durchführung der Simulation einer Fahrfunktion mit einer Driver-in-the-Loop-Simulation.
Verfahren nach Anspruch 1, wobei das reale Fahrzeug (424) ein Fahrfunktionsmodul (440) mit zumindest einer Fahrfunktion umfasst, wobei die zumindest eine Fahrfunktion während einer Vehicle-in-the-Loop-Simulation ausgeführt wird.
Verfahren nach Anspruch 1 oder 2, wobei der Fahrsimulator (422) mit Sensoren (470) verbunden ist zur Aufnahme von Sensorsignalen über die Reaktionen des Nutzers während der Durchführung der Driver-in-the-Loop-Simulation, und wobei die Sensorsignale an das Simulationsmodul (400) weitergegeben werden.
Verfahren nach Anspruch 1 oder 3, wobei das reale Fahrzeug (424) mit Sensoren (470) verbunden ist zur Aufnahme von Sensorsignalen über die Reaktionen des Nutzers während der Durchführung der Vehicle-in-the-Loop-Simulation, und wobei die Sensorsignale an das Simulationsmodul (400) weitergegeben werden.
Verfahren nach Anspruch 4 oder 5, wobei die Sensoren (470) als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, GPS-Systeme, Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren, Drehmomentsensoren, Lenkwinkelsensoren, Niederschlagssensoren und/oder Temperatursensoren ausgebildet sind.
Verfahren nach einem der Ansprüche 1 bis 6, wobei das Bewertungsmodul (500) das Fahrfunktionsbewertungsmodul (510) zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion mittels Leistungsindikatoren (KPIs) und ein Simulationsbewertungsmodul (520) zur Bestimmung der Qualität der Simulation mittels Simulationsqualitätskriterien (SQCs) umfasst, und wobei die Bewertungsparameter (550) die Leistungsindikatoren (KPIs) und die Simulationsqualitätskriterien (SQCs) umfassen.
Verfahren nach einem der Ansprüche 1 bis 7, wobei die Testfälle (T_i) in einer Testdatenbank (300), die Kalibrierungsparameter (Pcal_i) in einer Kalibrierungsparameterdatenbank (320), die parametrisierten Szenarien (SZp_i) und die konkreten Szenarioparameter (Pc_i) in einer Szenariendatenbank (330) und die Bewertungsparameter (550) in einer Bewertungsdatenbank (340) gespeichert werden.
System (100) zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) und/oder einer Fahrfunktion für eine festgelegte Fahraufgabe in zumindest einem Szenario (SZ_i) unter Berücksichtigung einer subjektiven Bewertung, wobei ein Szenario (SZ_i) ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt und durch eine Auswahl von Szenarioparametern (P₁, P₂, ..., P_n) und zugehörigen Szenarioparameterwerten (PV₁, PV₂, ..., PV_n) definiert ist, und wobei bei einem parametrisierten Szenario (SZp_i) die Szenarioparameter (P₁, P₂, ..., P_n) und zugehörigen Szenarioparameterwerte (PV₁, PV₂, ..., PV_n) frei wählbar sind, und bei einem konkreten Szenario (SZc_i) die konkreten Szenarioparameter (Pc₁, Pc₂, ..., P_cn) und zugehörigen konkreten Szenarioparameterwerte (PV_c1, PV_c2, ..., PVc_n) festgelegt sind, umfassend ein Testmodul (200) mit einem Testagenten (220) und einer Teststrategie (230), wobei die Teststrategie (230) und/oder der Testagent (220) ausgebildet ist/sind, zumindest eine Softwareapplikation mit Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz zu verwenden, ein Simulationsmodul (400), ein Bewertungsmodul (500) und ein Ausgabemodul (700), wobei der Testagent (220) ausgebildet ist, erste Testfälle (T_i) durch Auswählen von parametrisierten Szenarien (SZp_i) und konkreten Szenarioparametern (Pc_i) sowie Kalibrierungsparametern (Pcal_i) mittels der Teststrategie (230) für die Fahraufgabe zu erstellen und die ausgewählten ersten Testfälle (T_i) an das Simulationsmodul (400) weiterzugeben, wobei das Simulationsmodul (400) zumindest ein Umgebungsmodellmodul (410), ein Fahrermodellmodul (420) und ein Fahrzeugmodellmodul (430) umfasst, und wobei das Fahrermodellmodul (420) mit einem Fahrsimulator (422) verbunden ist oder das Fahrermodellmodul (420) und das Fahrzeugmodellmodul (430) mit einem realen Fahrzeug (424) verbunden sind; wobei das Simulationsmodul (400) ausgebildet ist, eine Driver-in-the-Loop-Simulation mit dem Fahrsimulator (422) und einem Nutzer oder eine Vehicle-in-the-Loop-Simulation mit dem realen Fahrzeug (424) und einem Nutzer jeweils für die ausgewählten ersten Testfälle (T_i) zur Bestimmung von Simulationsergebnissen (450) durchzuführen und die Simulationsergebnisse (450) an das Bewertungsmodul (500) weiterzugeben, wobei das Bewertungsmodul (500) ein Fahrfunktionsbewertungsmodul (510) zur Bestimmung der Leistung und Sicherheit einer Fahrfunktion insbesondere mittels Leistungsindikatoren (KPIs) umfasst, und wobei das Fahrfunktionsbewertungsmodul (510) mit dem Fahrsimulator (422) und/oder dem realen Fahrzeug (424) verbunden ist und ausgebildet ist, zumindest einen Bewertungsindex (515) zu generieren, wobei der Bewertungsindex (515) eine subjektive Bewertung der durchgeführten Driver-in-the-Loop-Simulation durch den Nutzer des Fahrsimulators (422) oder der durchgeführten Vehicle-in-the-Loop-Simulation durch den Nutzer des realen Fahrzeugs (424) wiedergibt; und wobei das Bewertungsmodul (500) ausgebildet ist, eine Bewertung der Simulationsergebnisse (450) unter Berücksichtigung des generierten Bewertungsindex (515) zur Bestimmung von Bewertungsparametern (550) durchzuführen; wobei das Testmodul (200) ausgebildet ist, die Teststrategie (230) an die Simulationsergebnisse (450) und die Bewertungsparameter (550) anzupassen; und wobei das System ausgebildet ist zum Erstellen von zweiten Testfällen (T_k) mittels der angepassten Teststrategie (230), zum Beginnen eines neuen Simulationszyklus für die zweiten Testfälle (T_k), zum Wiederholen der Anpassung der Teststrategie (230) für die Durchführung eines weiteren Simulationszyklus, wenn ein bestimmtes Bewertungskriterium nicht erfüllt wird, oder zum Weitergeben der Testfälle (T_k) des letzten Simulationszyklus an ein Ausgabemodul (700), wenn ein bestimmtes Bewertungskriterium erfüllt wird, und zum Generieren und Ausgeben von Ausgabeergebnissen (750) aus den Testfällen (T_k) für Kalibrierungs- und Validierungszwecke von dem Ausgabemodul (200), insbesondere in Form von Kalibrierungsparametern (Pcal_i) für das Fahrerassistenzsystem (ADAS) und/oder das automatisierte Fahrsystem (ADS) und/oder die Fahrfunktion für die Durchführung der festgelegten Fahraufgabe.
System (100) nach Anspruch 9, wobei das Simulationsmodul (400) ein Fahrfunktionsmodul (440) aufweist für die Durchführung der Simulation einer Fahrfunktion mit einer Driver-in-the-Loop-Simulation.
System (100) nach Anspruch 9, wobei das reale Fahrzeug (424) ein Fahrfunktionsmodul (440) mit zumindest einer Fahrfunktion umfasst, wobei die zumindest eine Fahrfunktion während einer Vehicle-in-the-Loop-Simulation ausgeführt wird.
System (100) nach Anspruch 9 oder 10, wobei der Fahrsimulator (422) mit Sensoren (470) verbunden ist zur Aufnahme von Sensorsignalen über die Reaktionen des Nutzers während der Durchführung der Driver-in-the-Loop-Simulation, und wobei die Sensorsignale an das Simulationsmodul (400) weitergegeben werden.
System (100) nach Anspruch 9 oder 11, wobei das reale Fahrzeug (424) mit Sensoren (470) verbunden ist zur Aufnahme von Sensorsignalen über die Reaktionen des Nutzers während der Durchführung der Vehicle-in-the-Loop-Simulation, und wobei die Sensorsignale an das Simulationsmodul (400) weitergegeben werden.
Computerprogrammprodukt (900), umfassend einen ausführbaren Programmcode (950), der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren nach einem der Ansprüche 1 bis 8 ausführt.