DE102022132917A1

DE102022132917A1 - Method and system for determining the criticality and controllability of scenarios for automated driving functions

Info

Publication number: DE102022132917A1
Application number: DE102022132917.8A
Authority: DE
Inventors: Moritz Markofsky
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2022-12-12
Filing date: 2022-12-12
Publication date: 2024-06-13

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung der Kritikalität und Kontrollierbarkeit von Szenarien (Szi) insbesondere im Rahmen einer virtuellen Validierung von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug (10)zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems, wobei ein Szenario (SZi) ein Verkehrsgeschehen in einer zeitlichen Sequenz darstellt, umfassend:- Erstellen von Testfällen (Ti) mittels einer Teststrategie (230) von einem Testagenten (220), wobei die Teststrategie (230) für jeden Testfall (Ti) zumindest ein Szenario (SZi) auswählt;- Durchführen einer Simulation von einem Simulationsmodul (400) mit den erstellten Testfällen (Ti) zur Bestimmung von Simulationsergebnissen (450), wobei das Simulationsmodul (400) ein Fahrumgebungsmodul (410), ein Fahrermodul (420) und ein Kraftfahrzeugmodul (430) umfasst;- Durchführen einer Bewertung der Simulationsergebnisse (450) hinsichtlich der Kritikalität und Kontrollierbarkeit der Testfälle (Ti) durch ein Bewertungsmodul (500) zur Bestimmung von Bewertungsergebnissen (550);- Identifizieren und Ausgeben eines Datensatzes (750) von kritischen Szenarien (Szi(crit)) aus den Testfällen (Ti) mittels der Bewertungsergebnisse (550) durch ein Ausgabemodul (700).The invention relates to a method for determining the criticality and controllability of scenarios (Szi), in particular in the context of a virtual validation of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS) for a motor vehicle (10) for testing, training and applying the ADAS/ADS system, wherein a scenario (SZi) represents a traffic event in a temporal sequence, comprising:- creating test cases (Ti) by means of a test strategy (230) from a test agent (220), wherein the test strategy (230) selects at least one scenario (SZi) for each test case (Ti);- carrying out a simulation by a simulation module (400) with the created test cases (Ti) to determine simulation results (450), wherein the simulation module (400) comprises a driving environment module (410), a driver module (420) and a motor vehicle module (430);- carrying out an evaluation of the simulation results (450) with regard to the criticality and controllability of the test cases (Ti) by an evaluation module (500) to determine evaluation results (550);- identifying and outputting a data set (750) of critical scenarios (Szi(crit)) from the test cases (Ti) by means of the evaluation results (550) by an output module (700).

Description

Die Erfindung betrifft ein Verfahren, ein System, ein ADAS/ADS-System und ein Computerprogrammprodukt zur Bestimmung der Kritikalität und Kontrollierbarkeit von Szenarien insbesondere im Rahmen einer virtuellen Validierung von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS).The invention relates to a method, a system, an ADAS/ADS system and a computer program product for determining the criticality and controllability of scenarios, in particular in the context of a virtual validation of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS).

Moderne Fahrzeuge sind mit einer Vielzahl von Fahrassistenzsystemen bzw. automatisierten Fahrassistenzfunktionen ausgestattet, um den Fahrer beim Fahren zu unterstützen und seine Sicherheit zu erhöhen. Fahrassistenzsysteme unterstützen beispielsweise die Geschwindigkeits- und Abstandsregelung sowie Spurhalte- und Spurwechselfunktionen. Dies führt zu einem verbesserten Fahrkomfort und einer höheren Sicherheit insbesondere bei Fahrten auf der Autobahn und bei Überholmanövern.Modern vehicles are equipped with a variety of driver assistance systems or automated driver assistance functions to support the driver while driving and increase safety. Driver assistance systems support, for example, speed and distance control as well as lane keeping and lane change functions. This leads to improved driving comfort and greater safety, especially when driving on the motorway and when overtaking.

Dieser Trend zu Fahrerassistenzsystemen (engl. Advanced Driver Assistance System, ADAS), automatisierten Fahrsystemen (Automated Driving Systems, ADS) bei Kraftfahrzeugen, aber auch bei Luftfahrzeugen oder Wasserfahrzeugen erfordert jedoch umfangreiche Absicherungsstrategien, da die Verantwortung über die Fahrzeugführung nicht mehr uneingeschränkt beim Fahrer liegt, sondern aktive Funktionen von Rechnereinheiten im Fahrzeug übernommen werden. Daher muss sichergestellt werden, dass autonom sich bewegende Objekte eine sehr geringere Fehlerrate beim Fahrverhalten aufweisen. Für die Erkennung und Klassifizierung von Objekten und die Interpretation von Verkehrsszenarien im Umfeld eines Fahrzeugs ist das gezielte Testen, Trainieren und Applizieren der Fahrerassistenzsysteme und automatisierten Fahrsysteme sowohl in Extrem- und Ausnahmesituationen (engl. Corner-Cases) als auch in alltäglichen Situationen erforderlich. Mit der zunehmenden Leistungsfähigkeit von ADAS/ADS-Systemen steigt allerdings auch die Anzahl der Fahrszenarien, die von den Systemen im Straßenverkehr bewältigt werden müssen. Für die Sicherstellung eines sicheren, komfortablen und effizienten Verhaltens eines ADAS/ADS-Systems durchlaufen daher einzelne Funktionen und das Gesamtsystem während der Fahrzeugentwicklung einen Validierungsprozess.However, this trend towards advanced driver assistance systems (ADAS) and automated driving systems (ADS) in motor vehicles, aircraft and watercraft requires extensive security strategies, as responsibility for driving the vehicle no longer lies entirely with the driver, but active functions are taken over by computer units in the vehicle. It must therefore be ensured that autonomously moving objects have a very low error rate in their driving behavior. The detection and classification of objects and the interpretation of traffic scenarios in the vicinity of a vehicle require targeted testing, training and application of driver assistance systems and automated driving systems in both extreme and exceptional situations (corner cases) and in everyday situations. However, as the performance of ADAS/ADS systems increases, the number of driving scenarios that the systems have to handle in road traffic also increases. To ensure safe, comfortable and efficient behavior of an ADAS/ADS system, individual functions and the overall system undergo a validation process during vehicle development.

Allerdings stellt eine solche Validierung auch eine große Herausforderung dar durch die große Menge an Szenarien, die in der Fahrumgebung des Fahrzeugs auftreten können und die von einem ADAS/ADS-System korrekt erkannt und verarbeitet werden müssen. Diese Menge an Szenarien wird durch eine Operational Design Domain (ODD) dargestellt. Dazu gehören sowohl alltägliche Fahrszenarien als auch sehr selten auftretende Corner Cases. Um ein ADAS/ADS-System mit konventionellen Methoden zu testen und zu validieren, müsste die gesamte ODD für ein ADAS/ADS-System erfasst und in einem Anforderungskatalog dokumentiert werden. Dies ist aufgrund der Komplexität der Fahrumgebung und der daraus resultierenden großen Anzahl von Fahrszenarien nicht möglich. Es werden daher zunehmend virtuelle Verfahren zur Simulation der Validierung eines ADAS/ADS-Systems in verschiedenen Szenarien verwendet. Dabei werden die verwendeten Fahrszenarien mittels definierter Metriken hinsichtlich ihrer Kritikalität quantifiziert, um die kritischen Fahrszenarien zu bestimmen. Als kritische Szenarien werden Szenarien bezeichnet, die möglicherweise zu einem Schadensfall führen können. Für diese kritischen Szenarien wird erfindungsgemäß die Kontrollierbarkeit durch die an einem Szenario beteiligten Akteure wie der Egofahrer eines Kraftfahrzeugs, Fahrer anderer Fahrzeuge, Fußgänger bewertet. Unter Kontrollierbarkeit eines Szenarios ist die Fähigkeit der an dem Szenario beteiligten Akteure zu verstehen, ein kritisches Fahrszenario zu beherrschen und einen Schadensfall zu vermeiden, wobei optional ein oder mehrerer automatisierter Fahrfunktionen eines ADAS/ADS-Systems zur Verbesserung der Kontrollierbarkeit eingesetzt werden können.However, such validation also represents a major challenge due to the large number of scenarios that can occur in the vehicle's driving environment and that must be correctly recognized and processed by an ADAS/ADS system. This set of scenarios is represented by an Operational Design Domain (ODD). This includes both everyday driving scenarios and very rarely occurring corner cases. In order to test and validate an ADAS/ADS system using conventional methods, the entire ODD for an ADAS/ADS system would have to be recorded and documented in a requirements catalog. This is not possible due to the complexity of the driving environment and the resulting large number of driving scenarios. Virtual methods are therefore increasingly being used to simulate the validation of an ADAS/ADS system in different scenarios. The driving scenarios used are quantified in terms of their criticality using defined metrics in order to determine the critical driving scenarios. Critical scenarios are scenarios that could potentially lead to damage. For these critical scenarios, the controllability of the actors involved in a scenario, such as the driver of a motor vehicle, drivers of other vehicles, pedestrians, is assessed according to the invention. The controllability of a scenario is understood to mean the ability of the actors involved in the scenario to control a critical driving scenario and avoid an accident, whereby one or more automated driving functions of an ADAS/ADS system can optionally be used to improve controllability.

Die DE 10 2020 005 507 A1 offenbart ein Verfahren zum Testen einer automatisierten Fahrfunktion, insbesondere einer Notbremsfunktion, eines Fahrzeugs, wobei Kritikalitätsmetriken für die zu testende Fahrfunktion durch eine Korrelationsanalyse zwischen der Kritikalitätsschwelle aus synthetischen Fahrszenarien und Ereignissen aus den einzelnen gruppierten naturalistischen Fahrsituationen identifiziert werden, Simulationsrechnungen für definierte Testszenarien durchgeführt werden und die Kritikalitätsschwelle aus den Simulationsergebnissen unter Verwendung einer geeigneten Regressionsfunktion abgeleitet wird.The EN 10 2020 005 507 A1 discloses a method for testing an automated driving function, in particular an emergency braking function, of a vehicle, wherein criticality metrics for the driving function to be tested are identified by a correlation analysis between the criticality threshold from synthetic driving scenarios and events from the individually grouped naturalistic driving situations, simulation calculations are carried out for defined test scenarios and the criticality threshold is derived from the simulation results using a suitable regression function.

Die DE 10 2019 217 533 A1 offenbart ein Verfahren zur Abschätzung einer Abdeckung des Raums von Verkehrsszenarien, wobei eine Klassifizierung von gesammelten Verkehrsszenarien sowie eine Einteilung der Verkehrsszenarien in bekannte und unbekannte Verkehrsszenarien erfolgt und die Klassifizierung eine Abschätzung in der Szenarienraumabdeckung sowie die Abschätzung des Auftretens zukünftiger, unbekannter Verkehrsszenarien mittels definierter Kennzahlen erlaubt. Eine Kennzahl beschreibt die Kritikalität der unbekannten Verkehrsszenarien, bei denen der Eingriff eines Fahrassistenzsystems erforderlich ist.The EN 10 2019 217 533 A1 discloses a method for estimating coverage of the space of traffic scenarios, whereby a classification of collected traffic scenarios and a division of the traffic scenarios into known and unknown traffic scenarios is carried out and the classification allows an estimation of the scenario space coverage and the estimation of the occurrence of future, unknown traffic scenarios by means of defined key figures. A key figure describes the criticality of the unknown traffic scenarios in which the intervention of a driver assistance system is required.

Die WO 22 077 042 A1 offenbart ein Verfahren zum Testen eines Fahrerassistenzsystems für ein Fahrzeug, wobei die Güte eines simulierten Szenarios in Abhängigkeit von einem vordefinierten Kriterium bestimmt wird.The WO 22 077 042 A1 discloses a method for testing a driver assistance system for a vehicle, wherein the quality of a simulated scene narios is determined depending on a predefined criterion.

Die DE 10 2018 220 865 A1 offenbart ein Verfahren zum Trainieren eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs zur Umsetzung einer autonomen Fahrfunktion, wobei der Algorithmus ein selbstlernendes neuronales Netz umfasst, das durch Simulieren von kritischen Szenarien bis zum Erreichen eines Gütekriteriums trainiert wird.The EN 10 2018 220 865 A1 discloses a method for training an algorithm for a control unit of a motor vehicle for implementing an autonomous driving function, wherein the algorithm comprises a self-learning neural network that is trained by simulating critical scenarios until a quality criterion is reached.

Die der Erfindung zu Grunde liegende Aufgabe besteht nun darin, Möglichkeiten zur Bestimmung und Bewertung der Kritikalität und Kontrollierbarkeit von Szenarien insbesondere im Rahmen einer virtuellen Validierung von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) anzugeben, um die Sicherheit von ADAS/ADS-Systemen zu erhöhen und Ressourcen sowie Kosten beispielsweise bei der Durchführung der Validierung einsparen zu können.The object underlying the invention is to provide possibilities for determining and evaluating the criticality and controllability of scenarios, in particular in the context of a virtual validation of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS), in order to increase the safety of ADAS/ADS systems and to be able to save resources and costs, for example when carrying out the validation.

Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 11, hinsichtlich eines ADAS/ADS-Systems durch die Merkmale des Patentanspruchs 13, hinsichtlich eines Simulationsmoduls durch die Merkmale des Anspruchs 14 und hinsichtlich eines Computerprogrammprodukts durch die Merkmale des Patentanspruchs 15 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.This object is achieved according to the invention with regard to a method by the features of patent claim 1, with regard to a system by the features of patent claim 11, with regard to an ADAS/ADS system by the features of patent claim 13, with regard to a simulation module by the features of claim 14 and with regard to a computer program product by the features of patent claim 15. The further claims relate to preferred embodiments of the invention.

Durch die vorliegende Erfindung wird eine Bestimmung von kritischen Verkehrsszenarien und deren Kontrollierbarkeit ermöglicht, die für Validierungszwecke von automatisierten Fahrfunktionen erforderlich sind und eine hohe Relevanz für die Abschätzung der Sicherheit und Funktionsfähigkeit eines Fahrassistenzsystems und/oder automatisierten Fahrsystems (ADAS/ADS) bieten.The present invention enables a determination of critical traffic scenarios and their controllability, which are required for validation purposes of automated driving functions and are highly relevant for estimating the safety and functionality of a driver assistance system and/or automated driving system (ADAS/ADS).

Gemäß einem ersten Aspekt stellt die Erfindung ein Verfahren zur Bestimmung der Kritikalität und Kontrollierbarkeit von Szenarien insbesondere im Rahmen einer virtuellen Validierung von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug, insbesondere zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems, bereit. Dabei stellt ein Szenario ein Verkehrsgeschehen in einer zeitlichen Sequenz dar. Das Verfahren umfasst die Verfahrensschritte:

- Erstellen von Testfällen mittels einer Teststrategie von einem Testagenten, wobei die Teststrategie für jeden Testfall zumindest ein Szenario auswählt;
- Durchführen einer Simulation von einem Simulationsmodul mit den erstellten Testfällen zur Bestimmung von Simulationsergebnissen, wobei das Simulationsmodul ein Fahrumgebungsmodul, ein Fahrermodul und ein Kraftfahrzeugmodul umfasst;
- Durchführen einer Bewertung der Simulationsergebnisse hinsichtlich der Kritikalität und Kontrollierbarkeit der Testfälle durch ein Bewertungsmodul zur Bestimmung von Bewertungsergebnissen;
- Identifizieren und Ausgeben eines Datensatzes von kritischen Szenarien aus den Testfällen mittels der Bewertungsergebnisse durch ein Ausgabemodul, insbesondere für die Validierung des ADAS/ADS-Systems.

According to a first aspect, the invention provides a method for determining the criticality and controllability of scenarios, in particular in the context of a virtual validation of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS) for a motor vehicle, in particular for testing, training and applying the ADAS/ADS system. A scenario represents a traffic event in a temporal sequence. The method comprises the following method steps:

- Creating test cases using a test strategy from a test agent, whereby the test strategy selects at least one scenario for each test case;
- performing a simulation from a simulation module with the created test cases to determine simulation results, wherein the simulation module comprises a driving environment module, a driver module and a motor vehicle module;
- Carrying out an evaluation of the simulation results with regard to the criticality and controllability of the test cases by an evaluation module to determine evaluation results;
- Identifying and outputting a dataset of critical scenarios from the test cases using the evaluation results through an output module, in particular for the validation of the ADAS/ADS system.

In einer Weiterentwicklung ist vorgesehen, dass das Fahrumgebungsmodul zumindest ein Simulationsmodell umfasst, das die Fahrumgebung des Kraftfahrzeugs und die an einem Szenario beteiligten Akteure abbildet, wobei das Simulationsmodell eine Softwareapplikation enthält, die das mögliche Verhalten der Akteure in der durch den Testfall definierten Fahrsituation modelliert.In a further development, it is provided that the driving environment module comprises at least one simulation model that maps the driving environment of the motor vehicle and the actors involved in a scenario, wherein the simulation model contains a software application that models the possible behavior of the actors in the driving situation defined by the test case.

In einer weiteren Ausführungsform ist vorgesehen, dass das Fahrermodul zumindest ein Simulationsmodell umfasst, das sich auf das Fahrverhalten eines Fahrers wie dynamisch oder defensiv bezieht, wobei das Simulationsmodell eine Softwareapplikation enthält, die das mögliche Fahrverhalten des Fahrers in einer Fahrsituation wie einen Bremsvorgang oder einen Beschleunigungsvorgang modelliert.In a further embodiment, it is provided that the driver module comprises at least one simulation model that relates to the driving behavior of a driver, such as dynamic or defensive, wherein the simulation model contains a software application that models the possible driving behavior of the driver in a driving situation, such as a braking process or an acceleration process.

In einer vorteilhaften Ausführungsform ist vorgesehen, dass das Kraftfahrzeugmodul zumindest ein Simulationsmodell umfasst, das verschiedene Varianten des Kraftfahrzeugs beispielsweise hinsichtlich der unterschiedlichen Ausbildung des Antriebsstrangs, der Fahrdynamik und weiterer Teilfunktionen abbildet, wobei das Simulationsmodell eine Softwareapplikation enthält, die das mögliche Verhalten des Kraftfahrzeugs in einer Fahrsituation wie einen Warnhinweis an den Fahrer oder das Auslösen einer Notbremsung durch entsprechend ausgebildete Fahrassistenzfunktionen modelliert.In an advantageous embodiment, it is provided that the motor vehicle module comprises at least one simulation model that depicts different variants of the motor vehicle, for example with regard to the different design of the drive train, the driving dynamics and other sub-functions, wherein the simulation model contains a software application that models the possible behavior of the motor vehicle in a driving situation, such as a warning to the driver or the triggering of an emergency braking by appropriately designed driver assistance functions.

Vorteilhafterweise umfassen die Softwareapplikationen der verschiedenen Simulationsmodelle Algorithmen der künstlichen Intelligenz wie neuronale Netze und/oder Simulationsalgorithmen wie X-in-the-Loop (XiL).Advantageously, the software applications of the various simulation models include artificial intelligence algorithms such as neural networks and/or simulation algorithms such as X-in-the-Loop (XiL).

Insbesondere umfassen die Algorithmen der Softwareapplikationen Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, und/oder rückgekoppelte neuronale Netzwerke.In particular, the algorithms of the software applications include mean values, minimum and maximum values, lookup tables, models of expected values, linear regression methods, Gaussian processes, fast Fourier transformations, integral and differential calculus, Markov methods, probability methods such as Monte Carlo methods, temporal difference learning, extended Kalman filters, radial basis functions, data fields, convergent neural networks, deep neural networks, and/or feedback neural networks.

In einer Weiterentwicklung ist vorgesehen, dass die Teststrategie und/oder der Testagent zumindest eine Softwareapplikation mit Berechnungsverfahren und/oder Algorithmen der künstlichen Intelligenz verwendet/verwenden.In a further development, it is intended that the test strategy and/or the test agent use at least one software application with calculation methods and/or algorithms of artificial intelligence.

In einer weiteren Ausführungsform ist vorgesehen, dass das Fahrumgebungsmodul, das Fahrermodul und das Kraftfahrzeugmodul mit Sensoren und/oder einer Datenbank verbunden ist/sind, um weitere Informationen für die Erstellung der Simulationsmodelle zu erhalten.In a further embodiment, it is provided that the driving environment module, the driver module and the motor vehicle module is/are connected to sensors and/or a database in order to obtain further information for the creation of the simulation models.

In einer vorteilhaften Ausführungsform ist vorgesehen, dass das Bewertungsmodul ein Fahrfunktionsbewertungsmodul zur Bestimmung der Kritikalität und Kontrollierbarkeit eines Szenarios und der Leistung und Sicherheit einer Fahrfunktion mittels Leistungsindikatoren (KPIs) und Bewertungskennwerten und/oder ein Simulationsbewertungsmodul zur Bestimmung der Qualität der Simulation mittels Simulationsqualitätskriterien (SQCs) umfasst., und wobei die Bewertungsergebnisse die Leistungsindikatoren (KPls), die Bewertungskennwerte und/oder die Simulationsqualitätskriterien (SQCs) umfassen.In an advantageous embodiment, it is provided that the evaluation module comprises a driving function evaluation module for determining the criticality and controllability of a scenario and the performance and safety of a driving function by means of key performance indicators (KPIs) and evaluation parameters and/or a simulation evaluation module for determining the quality of the simulation by means of simulation quality criteria (SQCs), and wherein the evaluation results comprise the key performance indicators (KPIs), the evaluation parameters and/or the simulation quality criteria (SQCs).

Insbesondere ist vorgesehen, dass ein Parameter eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, eine Beschleunigung, eine Geschwindigkeit, einen Bremswert, eine Richtung, einen Winkel, einen Radius und/oder eine Zahl darstellt. In particular, it is intended that a parameter represents a physical quantity, a chemical quantity, a torque, a rotational speed, a voltage, a current, an acceleration, a speed, a braking value, a direction, an angle, a radius and/or a number.

Vorteilhafterweise sind die Sensoren als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, GPS-Systeme, Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren, Drehmomentsensoren, Niederschlagssensoren und/oder Temperatursensoren ausgebildet.Advantageously, the sensors are designed as radar systems, LIDAR systems for optical distance and speed measurement, image-recording 2D/3D cameras in the visible, IR and/or UV range, GPS systems, acceleration sensors, speed sensors, capacitive sensors, inductive sensors, voltage sensors, torque sensors, precipitation sensors and/or temperature sensors.

Gemäß einem zweiten Aspekt stellt die Erfindung ein System zur Bestimmung der Kritikalität und Kontrollierbarkeit von Szenarien insbesondere im Rahmen einer virtuellen Validierung von automatisierten Fahrfunktionen eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) für ein Kraftfahrzeug, zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems, bereit. Ein Szenario stellt ein Verkehrsgeschehen in einer zeitlichen Sequenz dar. Das System umfasst ein Testmodul mit einem Testagenten und einer Teststrategie, ein Simulationsmodul, ein Bewertungsmodul und ein Ausgabemodul. Der Testagent ist ausgebildet, Testfälle mittels einer Teststrategie zu erstellen, wobei die Teststrategie für jeden Testfall zumindest ein Szenario auswählt. Das Simulationsmodul ist ausgebildet, eine Simulation mit den erstellten Testfällen durchzuführen zur Bestimmung von Simulationsergebnissen, wobei das Simulationsmodul ein Fahrumgebungsmodul, ein Fahrermodul und ein Kraftfahrzeugmodul umfasst. Das Bewertungsmodul ist ausgebildet ist, eine Bewertung der Simulationsergebnisse hinsichtlich der Kritikalität und Kontrollierbarkeit der Testfälle zur Bestimmung von Bewertungsergebnissen durchzuführen. Das Ausgabemodul ist ausgebildet, einen Datensatz von kritischen Szenarien aus den Testfällen mittels der Bewertungsergebnisse zu identifizieren und auszugeben, insbesondere für die Validierung des ADAS/ADS-Systems.According to a second aspect, the invention provides a system for determining the criticality and controllability of scenarios, in particular in the context of a virtual validation of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS) for a motor vehicle, for testing, training and applying the ADAS/ADS system. A scenario represents a traffic event in a temporal sequence. The system comprises a test module with a test agent and a test strategy, a simulation module, an evaluation module and an output module. The test agent is designed to create test cases using a test strategy, wherein the test strategy selects at least one scenario for each test case. The simulation module is designed to carry out a simulation with the created test cases to determine simulation results, wherein the simulation module comprises a driving environment module, a driver module and a motor vehicle module. The evaluation module is designed to carry out an evaluation of the simulation results with regard to the criticality and controllability of the test cases to determine evaluation results. The output module is designed to identify and output a data set of critical scenarios from the test cases using the evaluation results, in particular for the validation of the ADAS/ADS system.

In einer Weiterbildung ist vorgesehen, dass das Fahrumgebungsmodul zumindest ein Simulationsmodell umfasst, das die Fahrumgebung des Kraftfahrzeugs und die an einem Szenario beteiligten Akteure abbildet, wobei das Simulationsmodell eine Softwareapplikation enthält, die das mögliche Verhalten der Akteure in der durch den Testfall definierten Fahrsituation modelliert.In a further development, it is provided that the driving environment module comprises at least one simulation model that maps the driving environment of the motor vehicle and the actors involved in a scenario, wherein the simulation model contains a software application that models the possible behavior of the actors in the driving situation defined by the test case.

Gemäß einem dritten Aspekt stellt die Erfindung ein ADAS/ADS-System für ein Kraftfahrzeug bereit, wobei zum Testen, Trainieren und Applizieren des ADAS/ADS-Systems das Verfahren gemäß dem ersten Aspekt verwendet wird.According to a third aspect, the invention provides an ADAS/ADS system for a motor vehicle, wherein the method according to the first aspect is used for testing, training and applying the ADAS/ADS system.

Gemäß einem vierten Aspekt stellt die Erfindung ein Simulationsmodul zum Testen, Trainieren und Applizieren eines ADAS/ADS-Systems mit einem Fahrumgebungsmodul, einem Fahrermodul und einem Kraftfahrzeugmodul bereit, wobei das Fahrumgebungsmodul zumindest ein Simulationsmodell umfasst, das die Fahrumgebung des Kraftfahrzeugs und die an einem Szenario beteiligten Akteure abbildet, wobei das Simulationsmodell eine Softwareapplikation enthält, die das mögliche Verhalten der Akteure in der durch einen Testfall definierten Fahrsituation modelliert; wobei das Fahrermodul zumindest ein Simulationsmodell umfasst, das sich auf das Fahrverhalten eines Fahrers wie dynamisch oder defensiv bezieht, wobei das Simulationsmodell eine Softwareapplikation enthält, die das mögliche Verhalten des Fahrers in einer Fahrsituation wie einen Bremsvorgang oder einen Beschleunigungsvorgang modelliert; und wobei das Kraftfahrzeugmodul zumindest ein Simulationsmodell umfasst, das verschiedene Varianten des Kraftfahrzeugs beispielsweise hinsichtlich der unterschiedlichen Ausbildung des Antriebsstrangs, der Fahrdynamik und weiterer Teilfunktionen abbildet, wobei das Simulationsmodell eine Softwareapplikation enthält, die das mögliche Verhalten des Kraftfahrzeugs in einer Fahrsituation wie einen Warnhinweis an den Fahrer oder das Auslösen einer Notbremsung durch entsprechend ausgebildete Fahrassistenzfunktionen modelliert.According to a fourth aspect, the invention provides a simulation module for testing, training and applying an ADAS/ADS system with a driving environment module, a driver module and a motor vehicle module, wherein the driving environment module comprises at least one simulation model that maps the driving environment of the motor vehicle and the actors involved in a scenario, wherein the simulation model contains a software application that models the possible behavior of the actors in the driving situation defined by a test case; wherein the driver module comprises at least one simulation model that relates to the driving behavior of a driver, such as dynamic or defensive, wherein the simulation model contains a software application that models the possible behavior of the driver in a driving situation, such as a braking process or an acceleration process; and wherein the motor vehicle module comprises at least one simulation model which depicts various variants of the motor vehicle, for example with regard to the different design of the drive train, the driving dynamics and other sub-functions, wherein the simulation model contains a software application which models the possible behavior of the motor vehicle in a driving situation, such as a warning to the driver or the triggering of an emergency braking by appropriately designed driver assistance functions.

Gemäß einem fünften Aspekt stellt die Erfindung ein Computerprogrammprodukt bereit, das einen ausführbaren Programmcode umfasst, der derart konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.According to a fifth aspect, the invention provides a computer program product comprising an executable program code configured to carry out the method according to the first aspect when executed.

Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.The invention is explained in more detail below with reference to embodiments shown in the drawing.

Dabei zeigt:

1 ein Blockdiagramm zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Systems;
2 ein Blockdiagramm eines erfindungsgemäßen Simulationsmoduls;
3 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;
4 ein Blockdiagramm eines Computerprogrammprodukt gemäß einer Ausführungsform des dritten Aspekts der Erfindung.

It shows:

1 a block diagram for explaining an embodiment of a system according to the invention;
2 a block diagram of a simulation module according to the invention;
3 a flow chart explaining the individual method steps of a method according to the invention;
4 a block diagram of a computer program product according to an embodiment of the third aspect of the invention.

Zusätzliche Kennzeichen, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden in der nachfolgenden Beschreibung in Verbindung mit den Ansprüchen erläutert.Additional features, aspects and advantages of the invention or embodiments thereof are explained in the following description in conjunction with the claims.

Für das Testen, Trainieren, Absichern und Applizieren von Fahrerassistenzsystemen (ADAS) und automatisierten Fahrsystemen (ADS) werden zunehmend simulierte Verkehrsszenarien, die durch Programmierung erstellt werden, verwendet. Als Szenario wird im Rahmen der Erfindung ein Verkehrsgeschehen in einer zeitlichen Sequenz bezeichnet. Ein Beispiel für ein Szenario ist das Befahren einer Autobahnbrücke, das Abbiegen auf einer Abbiegespur, das Durchfahren eines Tunnels, das Einbiegen in einen Kreisverkehr oder das Halten vor einem Fußgängerübergang. Darüber hinaus können spezifische Sichtverhältnisse beispielsweise aufgrund der Dämmerung oder einer hohen Sonnenlichteinstrahlung sowie Umweltbedingungen wie das Wetter und die Jahreszeit, das Verkehrsaufkommen sowie bestimmte geographische topographische Verhältnisse ein Szenario beeinflussen. Beispielsweise kann ein Überholvorgang als ein Szenario beschrieben werden, bei dem ein erstes Fahrzeug sich zunächst hinter einem anderen Fahrzeug befindet, dann einen Spurwechsel auf die andere Fahrbahn durchführt und die Geschwindigkeit erhöht, um das andere Fahrzeug zu überholen. Ein derartiges Szenario wird auch als Cut-In-Szenario bezeichnet.Simulated traffic scenarios created by programming are increasingly being used to test, train, secure and apply driver assistance systems (ADAS) and automated driving systems (ADS). In the context of the invention, a scenario refers to a traffic event in a temporal sequence. An example of a scenario is driving over a motorway bridge, turning into a turning lane, driving through a tunnel, turning into a roundabout or stopping in front of a pedestrian crossing. In addition, specific visibility conditions, for example due to twilight or high levels of sunlight, as well as environmental conditions such as the weather and the time of year, the volume of traffic and certain geographical topographical conditions can influence a scenario. For example, an overtaking maneuver can be described as a scenario in which a first vehicle is initially behind another vehicle, then changes lanes to the other lane and increases speed to overtake the other vehicle. Such a scenario is also referred to as a cut-in scenario.

Um Fahrerassistenzsysteme (ADAS) und automatisierte Fahrsysteme (ADS) in einem Kraftfahrzeug einsetzen zu können, müssen diese für einen verlässlichen Einsatz validiert werden. Ziel der Validierung ist es, für einen Datensatz oder mehrere Datensätze die Zuverlässigkeit und Robustheit eines Fahrerassistenzsystems (ADAS) bzw. eines automatisierten Fahrsystems (ADS) in der gesamten ODD nachzuweisen und anschließend eine Freigabe zu erteilen.In order to be able to use driver assistance systems (ADAS) and automated driving systems (ADS) in a motor vehicle, they must be validated for reliable use. The aim of the validation is to demonstrate the reliability and robustness of a driver assistance system (ADAS) or an automated driving system (ADS) in the entire ODD for one or more data sets and then to issue an approval.

Typischerweise werden die für eine Validierung verwendeten Fahrszenarien mittels definierter Metriken hinsichtlich ihrer Kritikalität quantifiziert, um die kritischen Fahrszenarien zu bestimmen. Beispielhafte Metriken sind Time-to-Collision, Distance-of-closest-encounter, ein erforderlicher Verzögerungswert zur Vermeidung einer Kollision, etc. Darüber hinaus können mittels computerimplementierter Simulationen Kollisionen simuliert werden, so dass mit geeigneten Simulationsmodellen analysiert werden kann, ob kritische Szenarien tatsächlich zu einer Kollision führen können, wenn die an einem Szenario beteiligten Akteure wie der Egofahrer eines Kraftfahrzeugs, Fahrer anderer Fahrzeuge, Fußgänger, etc. sich in einer bestimmten Weise verhalten. Erfindungsgemäß werden die beteiligten Akteure durch Simulationsmodelle abgebildet. Für die kritischen Szenarien wird mit den erstellten Simulationsmodellen eine Simulation durchgeführt, um festzustellen, ob die an dem kritischen Szenario beteiligten Akteure das jeweilige kritische Szenario kontrolliert können. Unter der Kontrollierbarkeit eines kritischen Szenarios ist somit die Fähigkeit der an dem Szenario beteiligten Akteure verstehen, dieses kritische Fahrszenario zu beherrschen und einen Schadensfall zu vermeiden, wobei optional ein oder mehrere automatisierte Fahrfunktionen eines ADAS/ADS-Systems zur Verbesserung der Kontrollierbarkeit eingesetzt werden können. Als Metriken für die Bewertung der Kontrollierbarkeit werden insbesondere Bewertungskennwerten wie ja/nein hinsichtlich des Auftretens einer Kollision verwendet. Darüber hinaus können weitere Bewertungskennwerte bezogen auf die jeweiligen Simulationsmodelle wie beispielsweise der erforderliche Aufwand für eine Kollisionsvermeidung, das Stressniveau für die beteiligten Akteure, etc. verwendet werden.Typically, the driving scenarios used for validation are quantified in terms of their criticality using defined metrics in order to determine the critical driving scenarios. Example metrics are time-to-collision, distance-of-closest-encounter, a required deceleration value to avoid a collision, etc. In addition, collisions can be simulated using computer-implemented simulations, so that suitable simulation models can be used to analyze whether critical scenarios can actually lead to a collision if the actors involved in a scenario, such as the ego driver of a motor vehicle, drivers of other vehicles, pedestrians, etc., behave in a certain way. According to the invention, the actors involved are represented by simulation models. For the critical scenarios, a simulation is carried out using the simulation models created to determine whether the actors involved in the critical scenario can control the respective critical scenario. The controllability of a critical scenario means rios is therefore the ability of the actors involved in the scenario to master this critical driving scenario and avoid an accident, whereby one or more automated driving functions of an ADAS/ADS system can optionally be used to improve controllability. The metrics used to assess controllability are in particular evaluation parameters such as yes/no with regard to the occurrence of a collision. In addition, other evaluation parameters related to the respective simulation models such as the effort required to avoid a collision, the stress level for the actors involved, etc. can be used.

1 zeigt ein erfindungsgemäßes System 100 für die Bestimmung der Kritikalität und Kontrollierbarkeit von Szenarien insbesondere im Rahmen einer simulierten Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS). Erfindungsgemäß wird ein modularer Simulationsansatz für die virtuelle Validierung von ADAS/ADS-Systemen verwendet, der für eine Bestimmung der Kritikalität von Szenarien und eine Untersuchung der Kontrollierbarkeit kritischer Szenarien durch die am Szenario beteiligten Akteure angepasst wird. Das erfindungsgemäße System 100 umfasst ein Testagentenmodul 200 mit einem Testagenten 220 und einer Teststrategie 230, eine Parameterdatenbank 320, eine Szenariendatenbank 330, eine Bewertungsdatenbank 340, eine Testdatenbank 300, ein Simulationsmodul 400, ein Bewertungsmodul 500 und ein Ausgabemodul 700, die jeweils mit einem Prozessor und/oder einer Speichereinheit versehen sein können. 1 shows a system 100 according to the invention for determining the criticality and controllability of scenarios, in particular in the context of a simulated validation of a driver assistance system (ADAS) and/or an automated driving system (ADS). According to the invention, a modular simulation approach is used for the virtual validation of ADAS/ADS systems, which is adapted for determining the criticality of scenarios and examining the controllability of critical scenarios by the actors involved in the scenario. The system 100 according to the invention comprises a test agent module 200 with a test agent 220 and a test strategy 230, a parameter database 320, a scenario database 330, an evaluation database 340, a test database 300, a simulation module 400, an evaluation module 500 and an output module 700, each of which can be provided with a processor and/or a memory unit.

Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Prozessoreinheit und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Der Prozessor ist speziell dazu eingerichtet, die Programmbefehle derart auszuführen, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder zu realisieren. Insbesondere kann ein Modul in einer Cloud-Computing-Infrastruktur integriert sein.In the context of the invention, a "module" can be understood as, for example, a processor and/or a processor unit and/or a memory unit for storing program instructions. The processor is specifically designed to execute the program instructions in such a way as to implement or realize the method according to the invention or a step of the method according to the invention. In particular, a module can be integrated into a cloud computing infrastructure.

Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, des Systems, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert. Insbesondere kann der Prozessor hochparallele Recheneinheiten und leistungsfähige Grafikmodule enthalten.In the context of the invention, a “processor” can be understood as, for example, a machine or an electronic circuit. A processor can in particular be a main processor (Central Processing Unit, CPU), a microprocessor or a microcontroller, for example an application-specific integrated circuit or a digital signal processor, possibly in combination with a memory unit for storing program instructions, etc. A processor can also be understood as a virtualized processor, a virtual machine or a soft CPU. It can also be, for example, a programmable processor that is equipped with configuration steps for carrying out the above-mentioned method according to the invention or is configured with configuration steps such that the programmable processor implements the inventive features of the method, the system, the modules, or other aspects and/or partial aspects of the invention. In particular, the processor can contain highly parallel computing units and powerful graphics modules.

Unter einer „Speichereinheit“ oder einem „Speichermodul“ kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form eines Arbeitsspeichers (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.In the context of the invention, a "memory unit" or a "memory module" can be understood to mean, for example, a volatile memory in the form of a random access memory (RAM) or a permanent memory such as a hard disk or a data carrier or, for example, a removable memory module. The memory module can also be a cloud-based storage solution.

Der Testagent 220 des Testagentenmoduls 200 erstellt mittels einer Softwareapplikation eine Mehrzahl von Testfällen T_i für eine oder mehrere Simulationen zur Bewertung der Kritikalität und Kontrollierbarkeit von Szenarien insbesondere für die virtuelle Validierung von ein oder mehreren Fahrfunktionen eines ADAS/ADS-Systems. Diese Zielsetzung der Simulation wird vor dem Starten der Simulation formuliert, beispielsweise von einem Experten wie einem Ingenieur.The test agent 220 of the test agent module 200 uses a software application to create a plurality of test cases T _i for one or more simulations to evaluate the criticality and controllability of scenarios, in particular for the virtual validation of one or more driving functions of an ADAS/ADS system. This objective of the simulation is formulated before starting the simulation, for example by an expert such as an engineer.

Für die Auswahl und die Gestaltung der Testfälle T_i ist die Teststrategie 230 vorgesehen, die vorgibt, wie der Testagent 220 die Testfälle T_i erstellt. Für die Festlegung der Teststrategie 230 können verschiedene Berechnungsverfahren und Algorithmen, insbesondere Algorithmen der künstlichen Intelligenz vorgesehen sein.The test strategy 230 is provided for the selection and design of the test cases T _i , which specifies how the test agent 220 creates the test cases T _i . Various calculation methods and algorithms, in particular artificial intelligence algorithms, can be provided for determining the test strategy 230.

Die erforderlichen Informationen für die Erstellung der Testfälle T_i entnimmt der Testagent 220 der Parameterdatenbank 320, der Szenariendatenbank 330 und der Bewertungsdatenbank 340. Im Rahmen der Erfindung kann vorgesehen sein, dass darüber hinaus weitere Datenbanken verwendet werden. Die erstellten Testfälle T_i werden in der Testdatenbank 300 gespeichert.The test agent 220 takes the information required for creating the test cases T _i from the parameter database 320, the scenario database 330 and the evaluation database 340. Within the scope of the invention, it can be provided that additional databases are used. The created test cases T _i are stored in the test database 300.

Unter „Datenbank“ ist sowohl ein Speicheralgorithmus als auch die Hardware in Form einer Speichereinheit zu verstehen. Insbesondere können die Datenbanken 300, 320, 330, 340 als Teil einer Cloud-Computing-Infrastruktur ausgebildet sein.The term “database” refers to both a storage algorithm and the hardware in the form of a storage unit. In particular, the databases 300, 320, 330, 340 can be designed as part of a cloud computing infrastructure.

Unter Daten sind im Zusammenhang mit der Erfindung sowohl Rohdaten als auch bereits aufbereitete Daten aus Messergebnissen von Sensoren sowie aus weiteren Datenquellen zu verstehen.In the context of the invention, data refers to both raw data and already processed data from measurement results from sensors and from other data sources.

Die Erstellung der Testfälle T_i erfolgt auf der Basis von parametrisierten Szenarien, die auch als logische Szenarien bezeichnet werden. Als ein parametrisiertes Szenario wird im Rahmen der Erfindung ein Szenario bezeichnet, das insbesondere in einem maschinenlesbaren Code geschrieben ist. Ein parametrisiertes Szenario SZ_pi wird durch verschiedene Parameter P₁, P₂, ..., P_n aus einer Menge von möglichen Parametern P_i und zugehörigen Parameterwerten PV₁, PV₂, ... ,PV_n aus einer Menge von möglichen Parameterwerten PV_i definiert, wobei Parameterwerte PV_i den Wertebereich eines Parameters P_i festlegen. Als ein konkretes Szenario SZc wird ein Szenario SZ bezeichnet, bei dem die Parameter Pc_i und die zugehörigen Parameterwerte PVc_i bzw. Wertebereiche der Parameterwerte PVc_i festgelegt sind. Bei beiden Szenarien, sowohl dem parametrisierten Szenario SZp als auch dem konkreten Szenario SZc, handelt es sich jeweils um Szenarien, die insbesondere in einem maschinenlesbaren Code geschrieben sind.The test cases T _i are created on the basis of parameterized scenarios, which are also referred to as logical scenarios. In the context of the invention, a parameterized scenario is a scenario that is written in particular in a machine-readable code. A parameterized scenario SZ _pi is defined by various parameters P ₁ , P ₂ , ..., P _n from a set of possible parameters P _i and associated parameter values PV ₁ , PV ₂ , ..., PV _n from a set of possible parameter values PV _i , where parameter values PV _i specify the value range of a parameter P _i . A concrete scenario SZc is a scenario SZ in which the parameters Pc _i and the associated parameter values PVc _i or value ranges of the parameter values PVc _i are specified. Both scenarios, the parameterized scenario SZp and the concrete scenario SZc, are scenarios that are written in particular in a machine-readable code.

Ein Parameter P_i stellt beispielsweise eine physikalische Größe, eine chemische Größe, ein Drehmoment, eine Drehzahl, eine Spannung, eine Stromstärke, eine Beschleunigung, eine Geschwindigkeit, einen Bremswert, eine Richtung, einen Winkel, einen Radius, einen Ort, eine Zahl, ein bewegliches Objekt wie ein Kraftfahrzeug, eine Person oder einen Radfahrer, ein unbewegliches Objekt wie ein Gebäude oder einen Baum, eine Straßenkonfiguration wie eine Autobahn, ein Straßenschild, eine Ampel, einen Tunnel, einen Kreisverkehr, eine Abbiegespur, ein Verkehrsaufkommen, eine topographische Struktur wie eine Steigung, eine Uhrzeit, eine Temperatur, einen Niederschlagswert, eine Witterung und/oder eine Jahreszeit dar. Parameter P_i kennzeichnen somit im Rahmen der vorliegenden Erfindung Eigenschaften und Merkmale eines Szenarios. Ein Beispiel für einen Parameter P_i ist die Geschwindigkeit eines Ego-Fahrzeugs und ein Wertebereich des zugehörigen Parameterwertes PV_i kann den Bereich von 100 km/h bis 180 km/h für ein Szenario SZ_pi umfassen. Für ein anderes Szenario SZp_k kann der Wertebereich des Parameterwertes PV_i sich von 40 km/h bis 70 km/h erstrecken.A parameter P _i represents, for example, a physical quantity, a chemical quantity, a torque, a rotational speed, a voltage, an amperage, an acceleration, a speed, a braking value, a direction, an angle, a radius, a location, a number, a moving object such as a motor vehicle, a person or a cyclist, an immovable object such as a building or a tree, a road configuration such as a motorway, a road sign, a traffic light, a tunnel, a roundabout, a turning lane, a traffic volume, a topographical structure such as a gradient, a time of day, a temperature, a precipitation value, a weather and/or a season. Parameters P _i thus characterize properties and characteristics of a scenario within the scope of the present invention. An example of a parameter P _i is the speed of an ego vehicle and a value range of the associated parameter value PV _i can cover the range from 100 km/h to 180 km/h for a scenario SZ _pi . For another scenario SZp _k , the value range of the parameter value PV _i can extend from 40 km/h to 70 km/h.

Ein parametrisiertes Szenario SZp umfasst eine zeitliche Folge von Zeitintervallen Δt₁,Δt_2-, ...,Δt_n, in denen jeweils verschiedene Szenen und Ereignisse stattfinden. Ein parametrisiertes Szenario SZp beginnt mit einer Startszene und entwickelt sich dann durch auftretende Ereignisse weiter, aus denen im zeitlichen Verlauf neue Folgeszenen entstehen. Die Startszene wird somit durch ein oder mehrere Ereignisse verändert. Bei einem Ereignis kann es sich sowohl um eine von einem Verkehrsteilnehmer aktiv ausgelöste Reaktion wie eine Beschleunigung handeln als auch um ein Ereignis, das zyklisch wiederkehrt, wie beispielsweise die Schaltvorgänge einer Ampel. Die Startszene und die einzelnen Folgeszenen umfassen somit jeweils nur ein kleines Zeitintervall Δt bzw. eine Momentaufnahme, während ein parametrisiertes Szenario SZp eine längere Zeitspanne umfasst.A parameterized scenario SZp comprises a temporal sequence of time intervals Δt ₁ ,Δt _2- , ...,Δt _n , in each of which different scenes and events take place. A parameterized scenario SZp begins with a start scene and then develops further through events that occur, from which new subsequent scenes arise over time. The start scene is thus changed by one or more events. An event can be a reaction actively triggered by a road user, such as acceleration, or an event that recurs cyclically, such as the switching of a traffic light. The start scene and the individual subsequent scenes therefore each only cover a small time interval Δt or a snapshot, whereas a parameterized scenario SZp covers a longer period of time.

Für die Erstellung von parametrisierten Szenarien SZp_i können verschiedene Quellen wie Anforderungsspezifikationen, Expertenwissen, und/oder Messungen im öffentlichen Straßenverkehr oder auf Testgeländen mittels Sensoren verwendet werden. Die verwendeten Sensoren können insbesondere als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, und/oder GPS-Systeme ausgebildet sein. Des Weiteren können Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren Niederschlagssensoren und/oder Temperatursensoren, etc. verwendet werden. So kann mittels einer Softwareapplikation aus aufgenommenen Daten an einem bestimmten geographischen Ort ein jeweils passendes parametrisiertes Szenario SZp_i. abgeleitet werden. Die Softwareapplikation verwendet insbesondere Algorithmen der künstlichen Intelligenz zur Identifikation der parametrisierten Szenarien SZp_i. Bei den Algorithmen der künstlichen Intelligenz kann es sich insbesondere um Encoder und Decoder mit neuronalen Netzen handeln.Various sources such as requirement specifications, expert knowledge, and/or measurements in public traffic or on test sites using sensors can be used to create parameterized scenarios SZp _i . The sensors used can in particular be radar systems, LIDAR systems for optical distance and speed measurement, image-recording 2D/3D cameras in the visible, IR and/or UV range, and/or GPS systems. Furthermore, acceleration sensors, speed sensors, capacitive sensors, inductive sensors, voltage sensors, precipitation sensors and/or temperature sensors, etc. can be used. In this way, a suitable parameterized scenario SZp _i can be derived from recorded data at a specific geographical location using a software application. The software application uses artificial intelligence algorithms in particular to identify the parameterized scenarios SZp _i . The artificial intelligence algorithms can in particular be encoders and decoders with neural networks.

Ein neuronales Netzwerk besteht aus Neuronen, die in mehreren Schichten angeordnet und unterschiedlich miteinander verbunden sind. Ein Neuron ist in der Lage, an seinem Eingang Informationen von außerhalb oder von einem anderen Neuron entgegenzunehmen, die Information in einer bestimmten Art zu bewerten und sie in veränderter Form am Neuronen-Ausgang an ein weiteres Neuron weiterzuleiten oder als Endergebnis auszugeben. Hidden-Neuronen sind zwischen den Input-Neuronen und Output-Neuronen angeordnet. Je nach Netzwerktyp können mehrere Schichten von Hidden-Neuronen vorhanden sein. Sie sorgen für die Weiterleitung und Verarbeitung der Informationen. Output-Neuronen liefern schließlich ein Ergebnis und geben dieses an die Außenwelt aus. Neuronale Netzwerke lassen sich durch unbeaufsichtigtes oder überwachtes Lernen trainieren. Durch die Anordnung und die Verknüpfung der Neuronen entstehen verschiedene Typen von neuronalen Netzwerken wie vorwärtsgerichtete Netzwerke (engl. feedforward neural network (RNN)) ohne Rückkopplung, rückgekoppelte Netzwerke (engl. recurrent neural network) mit Rückkopplung oder gefaltete neuronale Netze (engl. convolutional neural networks (CNN)).A neural network consists of neurons that are arranged in several layers and connected to one another in different ways. A neuron is able to receive information at its input from outside or from another neuron, evaluate the information in a certain way and pass it on in a modified form at the neuron output to another neuron or output it as the final result. Hidden neurons are arranged between the input neurons and output neurons. Depending on the type of network, there can be several layers of hidden neurons. They ensure that the information is forwarded and processed. Output neurons finally deliver a result and output it to the outside world. Neural networks can be trained using unsupervised or supervised learning. The arrangement and connection of the neurons creates different types of neural networks such as feedforward neural networks (RNN) without feedback, recurrent neural networks with feedback or convolutional neural networks (CNN).

Im Rahmen der vorliegenden Erfindung erstellt der Testagent 220 aus der Menge an möglich parametrisierten Szenarien SZp_i diejenigen Testfälle T_i, die für die Validierung eines ADAS/ADS-Systems von Interesse sind. Hierzu wählt der Testagent 220 passende parametrisierte Szenarien SZ_pi aus der Szenariendatenbank 330 und passende Kalibrierungsparameter Pcal_i aus der Parameterdatenbank 320 aus. Diese von dem Testagenten 220 erstellten relevanten Testfälle T_i decken die in der „Operational Design Domain“ (ODD) festgelegten relevanten Verkehrssituationen ab, die von Fahrassistenzsystemen und automatisierte Fahrfunktionen beherrscht werden müssen. Bei einem Testfall T_i handelt es sich somit um ein relevantes konkretes Szenario SZc durch die Festlegung von Kalibrierungsparametern Pcal_i und gegebenenfalls weiteren Parametern P_i, Insbesondere können zusätzlich Applikationsparameter Papp_i vorgesehen sein, die eine weitere Anpassung eines parametrisierten Szenarios SZp_i an einen spezifischen Anwendungsfall ermöglichen.Within the scope of the present invention, the test agent 220 creates those test cases T _i that are of interest for the validation of an ADAS/ADS system from the set of possible parameterized scenarios SZp _i . To do this, the test agent 220 selects suitable parameterized scenarios SZ _pi from the scenario database 330 and suitable calibration parameters Pcal _i from the parameter database 320. These relevant test cases T _i created by the test agent 220 cover the relevant traffic situations defined in the “Operational Design Domain” (ODD) that must be mastered by driver assistance systems and automated driving functions. A test case T _i is therefore a relevant concrete scenario SZc through the definition of calibration parameters Pcal _i and, if necessary, further parameters P _i . In particular, additional application parameters Papp _i can be provided, which enable further adaptation of a parameterized scenario SZp _i to a specific application case.

Die Teststrategie 230 des Testagenten 220 entscheidet somit, welche Testfälle T_i mit ausgewählten Kombinationen von parametrisierten Szenarien SZ_pi und Kalibrierungsparametern Pcal_i sowie gegebenenfalls weiteren Parametern P_i erstellt werden. Die verwendete Strategie wird durch den Zweck der Simulation vorgegeben. Beispielsweise können für die virtuelle Validierung eines ADAS/ADS-Systems mit einem konstantem Datensatz verschiedene parametrisierte Szenarien SZ_pi und Parameterkombinationen mit einem kombinatorischen Verfahren erstellt werden. Die auf diese Weise bestimmten Testfälle T_i speichert der Testagent 220 in der Testdatenbank 300.The test strategy 230 of the test agent 220 thus decides which test cases T _i are created with selected combinations of parameterized scenarios SZ _pi and calibration parameters Pcal _i and, if necessary, other parameters P _i . The strategy used is determined by the purpose of the simulation. For example, for the virtual validation of an ADAS/ADS system with a constant data set, various parameterized scenarios SZ _pi and parameter combinations can be created using a combinatorial method. The test cases T _i determined in this way are stored by the test agent 220 in the test database 300.

Für die Durchführung einer Simulation übergibt der Testagent 220 die erstellten Testfälle T_i an das Simulationsmodul 400. Erfindungsgemäß verfügt das Simulationsmodul 400 über ein Fahrumgebungsmodul 410, ein Fahrermodul 420 und ein Kraftfahrzeugmodul 430, die als austauschbare Untermodule ausgebildet sind und die Aufgabe haben, jeweils die im Folgenden genannten Teilaspekte eines jeweiligen Testfalls T_i oder einer Mehrzahl von Testfällen T_i zu simulieren. Durch diese drei Untermodule 410, 420, 430 kann die Kritikalität der Testfälle T_i bestimmt werden und die Kontrollierbarkeit der kritischen Szenarien Sz_i(crit) der Testfälle T_i detailliert untersucht werden, da eine Simulation im 3F-Parameterraum, der durch die Fahrumgebung, das Fahrzeug und den Fahrer bestimmt ist, durchgeführt wird.To carry out a simulation, the test agent 220 transfers the created test cases T _i to the simulation module 400. According to the invention, the simulation module 400 has a driving environment module 410, a driver module 420 and a motor vehicle module 430, which are designed as exchangeable sub-modules and have the task of simulating the partial aspects of a respective test case T _i or a plurality of test cases T _i mentioned below. These three sub-modules 410, 420, 430 can be used to determine the criticality of the test cases T _i and to examine the controllability of the critical scenarios Sz _i (crit) of the test cases T _i in detail, since a simulation is carried out in the 3F parameter space, which is determined by the driving environment, the vehicle and the driver.

Wie in der 2 dargestellt, umfasst das Fahrumgebungsmodul 410 zumindest ein Simulationsmodell 412, das die Fahrumgebung des Kraftfahrzeugs 10 und die an einem Szenario beteiligten Akteure abbildet. Bei den Akteuren handelt es sich um andere Verkehrsteilnehmer wie Fahrer von anderen Kraftfahrzeugen, Radfahrer und Fußgänger. Dieses Simulationsmodell 412 enthält eine Softwareapplikation, die das mögliche Verhalten der Akteure in der durch den Testfall T_i definierten Fahrsituation modelliert. Da Akteure sich sehr unterschiedlich in einer Fahrsituation verhalten können, kann somit die gesamte Bandbreite des möglichen Verhaltens der Akteure variiert werden, d.h. ein schneller Bremsvorgang, aber auch ein Beschleunigungsvorgang können gleichermaßen als mögliche Reaktionen der Akteure berücksichtigt werden. Das Simulationsmodell 412 verwendet insbesondere Algorithmen der künstlichen Intelligenz wie neuronale Netze und Simulationsalgorithmen wie X-in-the-Loop (XiL) zur Modellierung des Verhaltens der Akteure eines Szenarios. Insbesondere basiert das Simulationsmodell 412 auf einer objektorientierten Programmierung, um eine Mehrkörpersimulation vornehmen zu können. So kann jeder Akteur als Objekt betrachtet werden, dem zumindest ein Skript zugeteilt wird. Like in the 2 As shown, the driving environment module 410 comprises at least one simulation model 412 which maps the driving environment of the motor vehicle 10 and the actors involved in a scenario. The actors are other road users such as drivers of other motor vehicles, cyclists and pedestrians. This simulation model 412 contains a software application which models the possible behavior of the actors in the driving situation defined by the test case T _i . Since actors can behave very differently in a driving situation, the entire range of possible behavior of the actors can be varied, ie a rapid braking process, but also an acceleration process can equally be taken into account as possible reactions of the actors. The simulation model 412 uses in particular artificial intelligence algorithms such as neural networks and simulation algorithms such as X-in-the-Loop (XiL) to model the behavior of the actors in a scenario. In particular, the simulation model 412 is based on object-oriented programming in order to be able to carry out a multi-body simulation. Thus, each actor can be considered as an object to which at least one script is assigned.

Insbesondere werden in dem Simulationsmodell 412 drei Handlungsstränge der an einem Szenario beteiligten Akteure berücksichtigt, die in einer zeitlichen Reihenfolge nacheinander ablaufen. Ein erster Handlungsstrang bezieht sich auf das Erkennen eines möglichen Schadensfalls durch einen Akteur, beispielsweise bei einem Überholmanöver. Hierbei werden die Trajektorien der anderen Verkehrsteilnehmer aus der Sicht eines Akteurs modelliert und diese modellierten Trajektorien bezüglich ihrer Kritikalität, einen Schadensfall zu verursachen, mit Metriken wie eine zu geringe Distanz, eine zu hohe Relativgeschwindigkeit zwischen den Verkehrsteilnehmern, etc. analysiert.In particular, the simulation model 412 takes into account three courses of action of the actors involved in a scenario, which take place one after the other in a chronological order. A first course of action relates to the recognition of a possible case of damage by an actor, for example during an overtaking maneuver. Here, the trajectories of the other road users are modeled from the perspective of an actor and these modeled trajectories are analyzed with regard to their criticality in causing a case of damage, using metrics such as too short a distance, too high a relative speed between the road users, etc.

Der zweite Handlungsstrang bezieht sich auf die verschiedenen Handlungsoptionen der unterschiedlichen Akteure und die Planung der Handlungen der Akteure, wie beispielsweise die Durchführung einer Notbremsung oder eines Ausweichmanövers durch den Fahrer eines Kraftfahrzeugs, ein Stoppen der Vorwärtsbewegung oder ein Rückwärtsgehen eines Fußgängers, ein Warnverhalten der Akteure wie das Betätigen der Hupe. Das Verhalten der einzelnen Akteure hat wiederum eine Wechselwirkung auf das Verhalten der anderen Akteure, da die Handlungen der Akteure miteinander verknüpft sind und sich gegenseitig beeinflussen.The second strand of action relates to the various options for action of the different actors and the planning of the actions of the actors, such as the driver of a motor vehicle making an emergency stop or an evasive maneuver, a pedestrian stopping the vehicle from moving forward or walking backwards, or warning behavior by the actors such as honking the horn. The behavior of the individual actors in turn interacts with the behavior of the other actors, since the actions of the actors are linked and influence each other.

Der dritte Handlungsstrang bezieht sich auf die tatsächlich ausgeführten Handlungen der Akteure, wodurch das Geschehen dann festgelegt wird.The third storyline refers to the actual actions carried out by the actors, which then determine what happens.

Das Fahrermodul 420 umfasst zumindest ein Simulationsmodell 422, das sich auf das Fahrverhalten eines Fahrers wie dynamisch oder defensiv bezieht. Zudem enthält dieses Simulationsmodell 422 eine Softwareapplikation, die das mögliche Verhalten des Fahrers in einer Fahrsituation wie einen Bremsvorgang oder einen Beschleunigungsvorgang modelliert. Da ein Fahrer sich sehr unterschiedlich in einer Fahrsituation verhalten kann, kann somit die gesamte Bandbreite des möglichen Verhaltens eines Fahrers variiert werden. Des Weiteren kann das Übernahmeverhalten des Fahrers bei einer Übernahmeaufforderung durch das ADAS/ADS-System von dem Simulationsmodul 422 des Fahrermoduls 420 dargestellt werden. Beispielsweise kann eine kritische Situation bzw. ein kritisches Szenario dazu führen, dass das ADAS/ADS-System seine Betriebsgrenzen erreicht und eine Anforderung an den Fahrer, die Kontrolle über das Fahrzeug zu übernehmen, gerichtet wird. (engl. Take-over-Request). In Abhängigkeit von der jeweiligen Fahrsituation kann der Fahrer darauf unterschiedlich reagieren, beispielsweise durch eine sofortige Reaktion oder eine Verzögerung. Diese Handlungsoptionen des Fahrers können in dem Simulationsmodell 422 des Fahrermoduls 420 modelliert und erhöhen die Transparenz hinsichtlich Frage, ob ein kritisches Szenario von einem Fahrer kontrollierbar ist. Für die Berechnungsverfahren verwendet das Simulationsmodell 422 insbesondere Algorithmen der künstlichen Intelligenz wie neuronale Netze und Simulationsalgorithmen wie X-in-the-Loop (XiL). Insbesondere basiert das Simulationsmodell 422 auf einer objektorientierten Programmierung. So kann der Fahrer als ein Objekt betrachtet werden, dem zumindest ein Skript zugeteilt wird.The driver module 420 includes at least one simulation model 422 that relates to the driving behavior of a driver, such as dynamic or defensive. In addition, this simulation model 422 contains a software application that models the possible behavior of the driver in a driving situation, such as braking or accelerating. Since a driver can behave very differently in a driving situation, the entire range of possible behavior of a driver can be varied. Furthermore, the takeover behavior of the driver when requested to take over by the ADAS/ADS system can be represented by the simulation module 422 of the driver module 420. For example, a critical situation or a critical scenario can lead to the ADAS/ADS system reaching its operating limits and a request being made to the driver to take control of the vehicle (take-over request). Depending on the respective driving situation, the driver can react to this in different ways, for example by reacting immediately or by delaying. These options for action by the driver can be modeled in the simulation model 422 of the driver module 420 and increase transparency regarding the question of whether a critical scenario can be controlled by a driver. For the calculation methods, the simulation model 422 uses in particular artificial intelligence algorithms such as neural networks and simulation algorithms such as X-in-the-Loop (XiL). In particular, the simulation model 422 is based on object-oriented programming. The driver can thus be viewed as an object to which at least one script is assigned.

Das Kraftfahrzeugmodul 430 umfasst zumindest ein Simulationsmodell 432, das verschiedene Varianten eines Kraftfahrzeugs beispielsweise hinsichtlich der unterschiedlichen Ausbildung des Antriebsstrangs, der Fahrdynamik und weiterer Teilfunktionen abbildet. Des Weiteren enthält das Simulationsmodell 432 eine Softwareapplikation, die das mögliche Verhalten des Kraftfahrzeugs 10 in einer Fahrsituation wie einen Warnhinweis an den Fahrer oder das Auslösen einer Notbremsung durch entsprechend ausgebildete Fahrassistenzfunktionen modelliert. Dabei können die Ausprägung und die Reaktionen einer Fahrassistenzfunktion in einer Fahrsituation variiert werden. Auch diese Softwareapplikation umfasst insbesondere Algorithmen der künstlichen Intelligenz wie neuronale Netze und Simulationsalgorithmen wie X-in-the-Loop (XiL). Insbesondere basiert das Simulationsmodell 432 auf einer objektorientierten Programmierung. So kann das Kraftfahrzeug 10 als ein Objekt betrachtet werden, dem zumindest ein Skript zugeteilt wird.The motor vehicle module 430 comprises at least one simulation model 432, which depicts different variants of a motor vehicle, for example with regard to the different design of the drive train, the driving dynamics and other sub-functions. The simulation model 432 also contains a software application that models the possible behavior of the motor vehicle 10 in a driving situation, such as a warning to the driver or the triggering of an emergency braking by appropriately designed driver assistance functions. The characteristics and reactions of a driver assistance function can be varied in a driving situation. This software application also includes in particular artificial intelligence algorithms such as neural networks and simulation algorithms such as X-in-the-Loop (XiL). In particular, the simulation model 432 is based on object-oriented programming. The motor vehicle 10 can thus be viewed as an object to which at least one script is assigned.

Insbesondere können die Algorithmen der Softwareapplikationen Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren, Gauß-Prozesse, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netzwerke, tiefe neuronale Netzwerke, und/oder rückgekoppelte neuronale Netzwerke umfassen.In particular, the algorithms of the software applications can include mean values, minimum and maximum values, lookup tables, models of expected values, linear regression methods, Gaussian processes, fast Fourier transformations, integral and differential calculus, Markov methods, probability methods such as Monte Carlo methods, temporal difference learning, extended Kalman filters, radial basis functions, data fields, convergent neural networks, deep neural networks, and/or feedback neural networks.

Das Fahrumgebungsmodul 410, das Fahrermodul 420 und das Fahrzeugmodul 430 sind somit für die Simulation von spezifischen Eigenschaften der Testfälle T_i ausgebildet und interagieren miteinander, da es wechselseitige Abhängigkeiten gibt, wie beispielsweise die Reaktion eines Fahrers auf das Verhalten eines anderen Akteurs in einer Fahrsituation. Die Untermodule 410, 420, 430 setzen somit die Beschreibung des jeweiligen Testfalls T_i für eine spezifische Situation bzw. Konfiguration um und stellen die notwendigen Eingangsdaten für die Simulation einer Fahrassistenzfunktion in einem Fahrfunktionsmodul 440 bereit.The driving environment module 410, the driver module 420 and the vehicle module 430 are thus designed to simulate specific properties of the test cases T _i and interact with each other because there are mutual dependencies, such as the reaction of a driver to the behavior of another actor in a driving situation. The sub-modules 410, 420, 430 thus implement the description of the respective test case T _i for a specific situation or configuration and provide the necessary input data for the simulation of a driver assistance function in a driving function module 440.

Das Simulationsmodul 400 bzw. die verschiedenen Untermodule 410, 420, 430 sind mit ein oder mehreren Datenbanken 480 verbunden, in denen Sensorsignale von Sensoren 470 und weitere Daten gespeichert sind. Bei den Sensorsignalen handelt es sich insbesondere um Messdaten von Eigenschaften und Merkmalen eines Kraftfahrzeugs 10 sowie von Akteuren und Ereignissen in der Umgebung des Kraftfahrzeugs 10, die beim Befahren einer Fahrstrecke jeweils während eines definierten Zeitfensters Δt_i und/oder eines definierten Fahrstreckenabschnitts Δx_i aufgenommen wurden. Bei den Akteuren in der Verkehrsumgebung des Kraftfahrzeugs 10 handelt es sich insbesondere um andere Verkehrsteilnehmer wie Kraftfahrzeuge, Fußgänger, Radfahrer, und bei den Ereignissen beispielsweise um einen Beschleunigungsvorgang, einen Spurwechsel, oder ein Umschalten einer Ampel. Die Sensoren 470 können insbesondere als Radarsysteme, LIDAR-Systeme zur optischen Abstands- und Geschwindigkeitsmessung, bildaufnehmende 2D/3D-Kameras im sichtbaren, IR- und/oder UV-Bereich, und/oder GPS-Systeme ausgebildet sein. Des Weiteren können Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Spannungssensoren Niederschlagssensoren und/oder Temperatursensoren, etc. verwendet werden.The simulation module 400 or the various sub-modules 410, 420, 430 are connected to one or more databases 480 in which sensor signals from sensors 470 and other data are stored. The sensor signals are in particular measurement data of properties and characteristics of a motor vehicle 10 as well as of actors and events in the environment of the motor vehicle 10, which were recorded when driving along a route during a defined time window Δt _i and/or a defined route section Δx _i . The actors in the traffic environment of the motor vehicle 10 are in particular other road users such as motor vehicles, pedestrians, cyclists, and the events are, for example, an acceleration process, a lane change, or a traffic light switching. The sensors 470 can be designed in particular as radar systems, LIDAR systems for optical distance and speed measurement, image-recording 2D/3D cameras in the visible, IR and/or UV range, and/or GPS systems. Furthermore, acceleration sensors, speed sensors, capacitive sensors, inductive sensors, voltage sensors, precipitation sensors and/or temperature sensors, etc. can be used.

In der Datenbank 480 können zudem weitere historische Daten in Form von Bildern, Graphiken, Zeitreihen, Kenngrößen, etc. gespeichert sein. So können beispielsweise Zielgrößen und Zielwerte in der Datenbank 480 abgelegt sein, die einen Sicherheitsstandard für die Simulation definieren. Die Datenbank 480 kann ebenfalls in einer Cloud-Computing-Infrastruktur integriert sein.The database 480 can also store additional historical data in the form of images, graphics, time series, parameters, etc. For example, target variables and target values can be stored in the database 480 that provide a security security standard for the simulation. The database 480 can also be integrated into a cloud computing infrastructure.

Darüber hinaus können zusätzliche Datenquellen beziehungsweise Datenbanken verwendet werden. Hierzu zählen insbesondere Datenbanken, die Daten über das Straßennetz mit Straßenspezifikationen wie beispielsweise Fahrspuren und Brücken, die Straßeninfrastruktur wie beispielsweise den Straßenbelag, die Randbebauung, die Straßenführung, etc. beinhalten und von Behörden zur Verfügung gestellt werden. Zudem sind Daten über Verkehrszahlen wie das reale stündliche Verkehrsaufkommen an einem bestimmten Verkehrsschauplatz für bestimmte Szenarien-Typen, wie beispielsweise ein Stau, von Interesse. Da auch die Wetterverhältnisse einen Szenario-Typ definieren können, sind Wetterdaten eine weitere Datenquelle.In addition, additional data sources or databases can be used. These include in particular databases that contain data on the road network with road specifications such as lanes and bridges, the road infrastructure such as the road surface, the edge development, the road layout, etc. and are made available by authorities. In addition, data on traffic figures such as the real hourly traffic volume at a certain traffic location are of interest for certain types of scenarios, such as a traffic jam. Since weather conditions can also define a scenario type, weather data is another data source.

Die von dem Testagenten ausgewählten Testfälle T_i werden in das Fahrumgebungsmodul 410, das Fahrermodul 420 und das Kraftfahrzeugmodul 430 integriert, wobei Eingangssignale wie Sensordaten, Informationen über die Fahrumgebung, den Fahrzeugzustand sowie Fahrerreaktionen von den Untermodulen 410, 420, 430 bereitgestellt werden, um eine Simulation der ausgewählten Testfälle T_i durchzuführen. Hierzu verwenden die Untermodule 410, 420, 430 Simulationsalgorithmen wie X-in-the-Loop (XiL). Insbesondere die Modellierung der Sensoren 470 ist von besonderer Bedeutung, da Ungenauigkeiten und Messfehler der Sensorsignale der verwendeten Sensoren 470 bei der virtuellen Validierung berücksichtigt werden müssen. Wenn ein ausgewählter Testfall T_i bzw. eine Mehrzahl von Testfällen T_i für die Zielsetzung der Simulation nicht geeignet ist, werden mittels der Untermodule 410, 420, 430 weitere Daten bereitgestellt, um für einen Testfall T_i ein ganzheitliches Fahrgeschehen einschließlich der Reaktionen des Fahrers, des Kraftfahrzeugs 10 und der übrigen Verkehrsakteure zu simulieren, um somit simulieren zu können, ob ein kritisches Szenario durch die Verkehrsteilnehmer kontrollierbar, d.h. beherrschbar ist.The test cases T _i selected by the test agent are integrated into the driving environment module 410, the driver module 420 and the motor vehicle module 430, with input signals such as sensor data, information about the driving environment, the vehicle state and driver reactions being provided by the sub-modules 410, 420, 430 in order to carry out a simulation of the selected test cases T _i . For this purpose, the sub-modules 410, 420, 430 use simulation algorithms such as X-in-the-Loop (XiL). In particular, the modeling of the sensors 470 is of particular importance, since inaccuracies and measurement errors in the sensor signals of the sensors 470 used must be taken into account in the virtual validation. If a selected test case T _i or a plurality of test cases T _i is not suitable for the objective of the simulation, further data is provided by means of the sub-modules 410, 420, 430 in order to simulate a holistic driving event for a test case T _i including the reactions of the driver, the motor vehicle 10 and the other road actors in order to be able to simulate whether a critical scenario can be controlled, ie managed, by the road users.

Das Simulationsmodul 400 führt somit eine Simulation der Testfälle T_i für durch und übergibt die Simulationsergebnisse 450 dem Bewertungsmodul 500. Ein Simulationsergebnis kann beispielsweise eine simulierte Kollision beinhalten, die sich durch das Verhalten der am Szenario beteiligten Akteure ergeben hat. Hierin liegt gerade der Vorteil einer virtuellen Simulation, da die Kontrollierbarkeit von kritischen Szenarien durch die Variation des Verhaltens der Akteure in allen Facetten untersucht werden kann, ohne dass eine Gefährdung von Menschen und Fahrzeugen auftritt.The simulation module 400 thus carries out a simulation of the test cases T _i for and passes the simulation results 450 to the evaluation module 500. A simulation result can, for example, include a simulated collision that resulted from the behavior of the actors involved in the scenario. This is precisely the advantage of a virtual simulation, since the controllability of critical scenarios can be examined in all facets by varying the behavior of the actors, without endangering people and vehicles.

Das Bewertungsmodul 500 bewertet die Simulationsergebnisse 450 hinsichtlich der Kritikalität der Testfälle T_i und der Kontrollierbarkeit der identifizierten kritischen Szenarien Sz_i(crit) der Testfälle T_i aufgrund der Handlungen der simulierten Akteure sowie der Leistungs- und Funktionsfähigkeit von ein oder mehreren Fahrfunktionen bzw. der Gesamtperformance des simulierten ADAS/ADS-Systems insbesondere in Form von Leistungsindikatoren (KPIs) und Bewertungskennwerten. Zudem kann die Qualität des durchgeführten Simulationsverfahrens bewertet werden insbesondere in Form von Simulationsqualitätskriterien (SQCs). Aus diesen Bewertungen erstellt das Bewertungsmodul 500 Bewertungsergebnisse 550.The evaluation module 500 evaluates the simulation results 450 with regard to the criticality of the test cases T _i and the controllability of the identified critical scenarios Sz _i (crit) of the test cases T _i based on the actions of the simulated actors as well as the performance and functionality of one or more driving functions or the overall performance of the simulated ADAS/ADS system, in particular in the form of key performance indicators (KPIs) and evaluation parameters. In addition, the quality of the simulation process carried out can be evaluated, in particular in the form of simulation quality criteria (SQCs). The evaluation module 500 creates evaluation results 550 from these evaluations.

KPIs dienen zur Beschreibung der Leistung eines zu testenden ADAS/ADS-Systems, wobei für verschiedene Bewertungskategorien wie Komfort, Sicherheit, Natürlichkeit des Fahrens und Effizienz unterschiedliche KPIs festgelegt werden. KPIs stellen somit eine Metrik zur Verifizierung der korrekten Funktionalität eines zu testenden ADAS/ADS-Systems dar. Zusätzlich werden erfindungsgemäß weitere KPIs zur Bestimmung der Kritikalität und der Kontrollierbarkeit eines Testfalls T_i implementiert, um kritische Szenarien Sz_i(crit) in dem Pool der Testfälle T_i zu identifizieren. Ein Beispiel für ein KPI ist die Bewertung einer minimalen Distanz zu anderem Fahrzeug, einer mittleren Beschleunigung bei einem Verzögerungsszenario, der Art der Durchführung eines Überholmanövers oder der Frage, ob eine Kollision vermieden werden konnte.KPIs are used to describe the performance of an ADAS/ADS system to be tested, with different KPIs being defined for different evaluation categories such as comfort, safety, naturalness of driving and efficiency. KPIs thus represent a metric for verifying the correct functionality of an ADAS/ADS system to be tested. In addition, according to the invention, further KPIs are implemented to determine the criticality and controllability of a test case T _i in order to identify critical scenarios Sz _i (crit) in the pool of test cases T _i . An example of a KPI is the evaluation of a minimum distance to another vehicle, an average acceleration in a deceleration scenario, the manner in which an overtaking maneuver is carried out or the question of whether a collision could be avoided.

Bei den Bewertungskennwerten handelt es sich insbesondere um eine Ja/Nein-Metrik hinsichtlich des Auftretens einer Kollision bzw. der Vermeidung einer Kollision. Darüber hinaus können weitere Bewertungskennwerte bezogen auf die jeweiligen Simulationsmodelle 412, 422, 432 wie beispielsweise der erforderliche Aufwand für eine Kollisionsvermeidung, das Stressniveau für die beteiligten Akteure, etc. verwendet werden. Die KPIs, Bewertungskennwerte und SQCs können durch Zahlenwerte aber auch durch boolesche Werte darstellt werden. Auf Basis der KPIs, Bewertungskennwerte und SQCs lassen sich somit die Ergebnisse eines simulierten Testfalls T_i durch Zahlenwerte bzw. boolesche Werte darstellen und daraus die kritischen Testfälle T_i bzw. kritischen Szenarien Sz_i(crit) ableiten.The evaluation parameters are in particular a yes/no metric with regard to the occurrence of a collision or the avoidance of a collision. In addition, further evaluation parameters related to the respective simulation models 412, 422, 432 can be used, such as the effort required to avoid a collision, the stress level for the actors involved, etc. The KPIs, evaluation parameters and SQCs can be represented by numerical values but also by Boolean values. On the basis of the KPIs, evaluation parameters and SQCs, the results of a simulated test case T _i can be represented by numerical values or Boolean values and the critical test cases T _i or critical scenarios Sz _i (crit) can be derived from them.

Die Bewertungsergebnisse 550 in Form von Leistungsindikatoren (KPls), Bewertungskennwerten und Simulationsqualitätskriterien (SQCs) werden in dem Testfall T_i gespeichert und an den Testagenten 220 zurückgegeben. Der Testagent 220 kann nun wiederum auf die Parameterdatenbank 320, die Szenariendatenbank 330 und die Bewertungsdatenbank 340 zugreifen, um neue Testfälle T_k für eine festgelegte Fahraufgabe zu erstellen. Zudem können die Testfälle T_k von dem Testagenten 220 mit Labels zur Kennzeichnung von besonderen Eigenschaften versehen werden. Die Testfälle T_k werden wiederum in der Testdatenbank 300 abgelegt und können für einen neuen Simulationszyklus in dem Simulationsmodul 400 und einer anschließenden Bewertung in dem Bewertungsmodul 500 verwendet werden.The evaluation results 550 in the form of performance indicators (KPls), evaluation metrics and simulation quality criteria (SQCs) are stored in the test case T _i and returned to the test agent 220. The test agent 220 can now in turn access the parameter database 320, the scenario database 330 and the evaluation database 340 in order to create new test cases T _k for a specified specified driving task. In addition, the test cases T _k can be provided with labels by the test agent 220 to identify special properties. The test cases T _k are in turn stored in the test database 300 and can be used for a new simulation cycle in the simulation module 400 and a subsequent evaluation in the evaluation module 500.

Die Kombination aus dem Simulationsmodul 400 und dem Auswertungsmodul 500 bildet somit die Basis für die Bearbeitung von Testfällen T_i im Rahmen der virtuellen Validierung eines ADAS/ADS-Systems. Vom Testagenten 220 erstellte Testfälle T_i werden in dem Simulationsmodul 400 mittels des Fahrumgebungsmoduls 410, des Fahrermoduls 420 und des Kraftfahrzeugmoduls 430 simuliert. Das Simulationsmodul 400 hat zudem Zugriff auf die Parameterdatenbank 320 und die Szenariendatenbank 330, um die erforderlichen Informationen zu erhalten. Nach erfolgreicher Simulation werden die Simulationsergebnisse 450 an das Bewertungsmodul 500 übergeben.The combination of the simulation module 400 and the evaluation module 500 thus forms the basis for processing test cases T _i as part of the virtual validation of an ADAS/ADS system. Test cases T _i created by the test agent 220 are simulated in the simulation module 400 using the driving environment module 410, the driver module 420 and the motor vehicle module 430. The simulation module 400 also has access to the parameter database 320 and the scenario database 330 in order to obtain the required information. After a successful simulation, the simulation results 450 are transferred to the evaluation module 500.

Das Ausgabemodul 700 erstellt mittels der Bewertungsergebnisse 550 insbesondere in Form der Leistungsindikatoren (KPIs) eine Kritikalitäts- und Kontrollierbarkeitsanalyse 750 für die ausgewählten Testfälle T_i. Auf der Grundlage der Bewertungsergebnisse 550 in Form von KPIs, Bewertungskennwerten und SQCs können somit aus den simulierten Testfällen T_i diejenigen kritischen Szenarien Sz_i(crit) identifiziert werden, die schwierig zu kontrollieren sind. Dieser Datensatz 750 von kritischen Szenarien Sz_i(crit) kann dann als Ausgabeergebnis von dem Ausgabemodul 700 ausgegeben werden.The output module 700 uses the evaluation results 550, in particular in the form of key performance indicators (KPIs), to create a criticality and controllability analysis 750 for the selected test cases T _i . On the basis of the evaluation results 550 in the form of KPIs, evaluation parameters and SQCs, those critical scenarios Sz _i (crit) that are difficult to control can thus be identified from the simulated test cases T _i . This data set 750 of critical scenarios Sz _i (crit) can then be output as an output result by the output module 700.

Zudem enthält der Datensatz 750 bzw. das Ausgabeergebnis Informationen über die durchgeführte Simulation. Die Qualität des Datensatzes 750 hängt dabei von der Qualität der Szenariobeschreibung und der Art der Simulation durch das Fahrumgebungsmodul 410, das Fahrermodul 420 und das Kraftfahrzeugmodul 430 sowie der Definition der Bewertungsmetriken ab. Insbesondere die Qualität der verwendeten Algorithmen für die Softwareapplikationen der Simulationsmodelle 412, 422, 432 ist somit entscheidend für die Bewertung der Kritikalität und Kontrollierbarkeit von kritischen Szenarien Sz_i(crit). Da das Fahrumgebungsmodul 410, das Fahrermodul 420 und das Kraftfahrzeugmodul 430 als eigenständige Untermodule des Simulationsmoduls 400 ausgebildet sind, können diese Untermodule 410, 420, 430 zudem unabhängig voneinander weiterentwickelt werden, was zu einer höheren Qualität des Gesamtprozesses führt.In addition, the data set 750 or the output result contains information about the simulation carried out. The quality of the data set 750 depends on the quality of the scenario description and the type of simulation by the driving environment module 410, the driver module 420 and the motor vehicle module 430 as well as the definition of the evaluation metrics. In particular, the quality of the algorithms used for the software applications of the simulation models 412, 422, 432 is therefore crucial for the evaluation of the criticality and controllability of critical scenarios Sz _i (crit). Since the driving environment module 410, the driver module 420 and the motor vehicle module 430 are designed as independent sub-modules of the simulation module 400, these sub-modules 410, 420, 430 can also be further developed independently of one another, which leads to a higher quality of the overall process.

In 3 sind die Verfahrensschritte zur Bestimmung der Kritikalität und Kontrollierbarkeit von Szenarien Sz_i insbesondere im Rahmen einer virtuellen Validierung von automatisierten Fahrfunktionen eines ADAS/ADS-Systems dargestellt.In 3 The procedural steps for determining the criticality and controllability of scenarios Sz _i are presented, particularly in the context of a virtual validation of automated driving functions of an ADAS/ADS system.

In einem Schritt S10 werden Testfälle T_i mittels einer Teststrategie 230 von einem Testagenten 220 erstellt, wobei die Teststrategie 230 für jeden Testfall T_i zumindest ein Szenario SZ_i auswählt.In a step S10, test cases T _i are created by a test agent 220 using a test strategy 230, wherein the test strategy 230 selects at least one scenario SZ _i for each test case T _i .

In einem Schritt S20 wird eine Simulation von einem Simulationsmodul 400 mit den erstellten Testfällen T_i zur Bestimmung von Simulationsergebnissen 450 durchgeführt, wobei das Simulationsmodul 400 ein Fahrumgebungsmodul 410, ein Fahrermodul 420 und ein Kraftfahrzeugmodul 430 umfasst.In a step S20, a simulation is carried out by a simulation module 400 with the created test cases T _i to determine simulation results 450, wherein the simulation module 400 comprises a driving environment module 410, a driver module 420 and a motor vehicle module 430.

In einem Schritt S30 wird eine Bewertung der Simulationsergebnisse 450 hinsichtlich der Kritikalität und Kontrollierbarkeit der Testfälle T_i durch ein Bewertungsmodul 500 zur Bestimmung von Bewertungsergebnissen 550 durchgeführt.In a step S30, an evaluation of the simulation results 450 with regard to the criticality and controllability of the test cases T _i is carried out by an evaluation module 500 for determining evaluation results 550.

In einem Schritt S40 wird ein Datensatz 750 von kritischen Szenarien Sz_i(crit) aus den Testfällen T_i mittels der Bewertungsergebnisse 550 identifiziert und ausgegeben, insbesondere für die Validierung des ADAS/ADS-Systems.In a step S40, a data set 750 of critical scenarios Sz _i (crit) from the test cases T _i is identified and output using the evaluation results 550, in particular for the validation of the ADAS/ADS system.

4 stellt schematisch ein Computerprogrammprodukt 900 dar, das einen ausführbaren Programmcode 950 umfasst, der konfiguriert ist, das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung auszuführen. 4 schematically illustrates a computer program product 900 comprising an executable program code 950 configured to carry out the method according to the first aspect of the present invention.

Durch die erweiterten Simulationsmodelle in dem Simulationsmodul, die sich auf das Verhalten der verschiedenen Akteure eines Verkehrsszenarios, das Fahrverhalten eines Fahrers und das Kraftfahrzeug beziehen, kann simuliert werden, ob kritische Szenarien durch das Verhalten der Akteure beherrschbar sind oder zu einer Kollision führen können. Mittels verschiedener Bewertungsmetriken werden die Kritikalität und Kontrollierbarkeit der simulierten Szenarien bewertet, um aus den erstellten Testfällen T_i kritische und zugleich schwierig zu kontrollierende Szenarien Sz_i(crit) gezielt zu finden. Durch die Simulationsmodelle können kritische Fahrsituationen quantifiziert und die Kontrollierbarkeit durch die beteiligten Akteure bestimmt werden, ohne dass diese Fahrsituationen auch tatsächlich realisiert werden. Während beim realen Testen von kritischen Szenarien Sz_i(crit) ein hohes Gefährdungspotential für Personen und Sachgegenstände gegeben ist, können im Rahmen einer virtuellen Validierung kritische Szenarien Sz_i(crit) ohne eine solche Gefährdung umfassend untersucht werden. Hierdurch können Ressourcen eingespart werden, da sowohl das reale Abfahren von Teststrecken mit Standardverkehrssituationen als auch mit spezifischen Corner-Cases reduziert werden kann.The extended simulation models in the simulation module, which relate to the behavior of the various actors in a traffic scenario, the driving behavior of a driver, and the motor vehicle, can be used to simulate whether critical scenarios can be controlled by the behavior of the actors or whether they could lead to a collision. Various evaluation metrics are used to assess the criticality and controllability of the simulated scenarios in order to specifically find scenarios Sz _i (crit) that are critical and difficult to control from the test cases T _i created. The simulation models can be used to quantify critical driving situations and determine their controllability by the actors involved without these driving situations actually being realized. While real testing of critical scenarios Sz _i (crit) involves a high risk potential for people and property, virtual validation can be used to comprehensively investigate critical scenarios Sz _i (crit) without such a risk. This can save resources because the actual driving of test routes with standard traffic situations as well as with specific corner cases can be reduced.

BezugszeichenReference symbols

1010: KraftfahrzeugMotor vehicle
100100: Systemsystem
200200: TestagentenmodulTest agent module
220220: TestagentTest agent
230230: TeststrategieTest strategy
300300: TestdatenbankTest database
320320: ParameterdatenbankParameter database
330330: SzenariendatenbankScenario database
340340: BewertungsdatenbankRating database
400400: SimulationsmodulSimulation module
410410: FahrumgebungsmodellDriving environment model
412412: SimulationsmodellSimulation model
420420: FahrermodulDriver module
422422: SimulationsmodellSimulation model
430430: KraftfahrzeugmodulAutomotive module
432432: SimulationsmodellSimulation model
440440: FunktionsmodellFunctional model
450450: SimulationsergebnisseSimulation results
470470: SensorenSensors
480480: DatenbankDatabase
500500: BewertungsmodulEvaluation module
510510: FunktionsbewertungsmodulFunctional evaluation module
520520: SimulationsbewertungsmodulSimulation evaluation module
550550: BewertungsergebnisseEvaluation results
700700: AusgabemodulOutput module
750750: Datensatz mit kritischen SzenarienDataset with critical scenarios
900900: ComputerprogrammproduktComputer program product
950950: ProgrammcodeProgram code

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102020005507 A1 [0005]
DE 102019217533 A1 [0006]
WO 22077042 A1 [0007]
DE 102018220865 A1 [0008]

Claims

Method for determining the criticality and controllability of scenarios (SZ _i ), in particular in the context of a virtual validation of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS) for a motor vehicle (10) for testing, training and applying the ADAS/ADS system, wherein a scenario (SZ _i ) represents a traffic event in a temporal sequence, comprising: - creating (S10) test cases (T _i ) by means of a test strategy (230) from a test agent (220), wherein the test strategy (230) selects at least one scenario (SZ _i ) for each test case (T _i ); - Carrying out (S20) a simulation by a simulation module (400) with the created test cases (T _i ) to determine simulation results (450), wherein the simulation module (400) comprises a driving environment module (410), a driver module (420) and a motor vehicle module (430); - Carrying out (S30) an evaluation of the simulation results (450) with regard to the criticality and controllability of the test cases (T _i ) by an evaluation module (500) to determine evaluation results (550); - Identifying and outputting (S40) a data set (750) with critical scenarios (Sz _i (crit)) from the test cases (T _i ) by means of the evaluation results (550) by an output module (700), in particular for the validation of the ADAS/ADS system.

Procedure according to Claim 1 , wherein the driving environment module (410) comprises at least one simulation model (412) which depicts the driving environment of the motor vehicle (10) and the actors involved in a scenario (SZ _i ), wherein the simulation model (412) contains a software application which models the possible behavior of the actors in the driving situation defined by the test case (T _i ).

Procedure according to Claim 1 or 2 , wherein the driver module (420) comprises at least one simulation model (422) relating to the driving behavior of a driver, such as dynamic or defensive, wherein the simulation model (422) contains a software application that models the possible behavior of the driver in a driving situation, such as a braking operation or an acceleration operation.

Method according to one of the Claims 1 until 3 , wherein the motor vehicle module (430) comprises at least one simulation model (432) which depicts various variants of the motor vehicle (10), for example with regard to the different design of the drive train, the driving dynamics and other sub-functions, wherein the simulation model (432) contains a software application which models the possible behavior of the motor vehicle (10) in a driving situation, such as a warning to the driver or the triggering of an emergency braking by appropriately designed driver assistance functions.

Method according to one of the Claims 2 until 4 , wherein the software applications of the simulation model (412), the simulation model (422) and the simulation model (432) comprise artificial intelligence algorithms such as neural networks and/or simulation algorithms such as X-in-the-Loop (XiL).

Procedure according to Claim 5 , whereby the algorithms and calculation methods of the software applications include mean values, minimum and maximum values, lookup tables, models for expected values, linear regression methods, Gaussian processes, fast Fourier transformations, integral and differential calculus, Markov methods, probability methods such as Monte Carlo methods, temporal difference learning, extended Kalman filters, radial basis functions, data fields, convergent neural networks, deep neural networks, and/or feedback neural networks.

Method according to one of the Claims 1 until 6 , wherein the test strategy (230) and/or the test agent (220) uses/use at least one software application with calculation methods and/or algorithms of artificial intelligence.

Method according to one of the Claims 1 until 7 , wherein the driving environment module (410), the driver module (420) and the motor vehicle module (430) are connected to sensors (470) and/or a database (450) in order to obtain further information for the creation of the simulation models (412, 422, 432).

Method according to one of the Claims 1 until 8th , wherein the evaluation module (500) comprises a driving function evaluation module (510) for determining the criticality and controllability of a scenario (SZ _i ) and the performance and safety of a driving function by means of key performance indicators (KPIs) and evaluation parameters and/or a simulation evaluation module (520) for determining the quality of the simulation by means of simulation quality criteria (SQCs), and wherein the evaluation results (550) comprise the performance indicators (KPls), the evaluation parameters and/or the simulation quality criteria (SQCs).

Method according to one of the Claims 1 until 9 , where a parameter (P _i ) is a physical quantity, a chemical quantity, a torque, a speed, a voltage, a current, represents an acceleration, a speed, a braking value, a direction, an angle, a radius and/or a number, and wherein the sensors (470) are designed as radar systems, LIDAR systems for optical distance and speed measurement, image-recording 2D/3D cameras in the visible, IR and/or UV range, GPS systems, acceleration sensors, speed sensors, capacitive sensors, inductive sensors, voltage sensors, torque sensors, precipitation sensors and/or temperature sensors.

System (100) for determining the criticality and controllability of scenarios (SZ _i ), in particular in the context of a virtual validation of automated driving functions of a driver assistance system (ADAS) and/or an automated driving system (ADS) for a motor vehicle (10) for testing, training and applying the ADAS/ADS system, wherein a scenario (SZ _i ) represents a traffic event in a temporal sequence, comprising a test module (200) with a test agent (220) and a test strategy (230), a simulation module (400), an evaluation module (500) and an output module (700); wherein the test agent (220) is designed to create test cases (T _i ) by means of a test strategy (230), wherein the test strategy (230) selects at least one scenario (SZ _i ) for each test case (T _i ); wherein the simulation module (400) is designed to carry out a simulation with the created test cases (T _i ) to determine simulation results (450), wherein the simulation module (400) comprises a driving environment module (410), a driver module (420) and a motor vehicle module (430); wherein the evaluation module (500) is designed to carry out an evaluation of the simulation results (450) with regard to the criticality and controllability of the test cases (T _i ) to determine evaluation results (550); and wherein the output module (700) is designed to identify and output a data set (750) of critical scenarios (Sz _i (crit)) from the test cases (Ti) by means of the evaluation results (550), in particular for the validation of the ADAS/ADS system.

System (100) after Claim 11 , wherein the driving environment module (410) comprises at least one simulation model (412) which maps the driving environment of the motor vehicle (10) and the actors involved in a scenario (SZ _i ), wherein the simulation model (412) contains a software application which models the possible behavior of the actors in the driving situation defined by the test case (T _i ); wherein the driver module (420) comprises at least one simulation model (422) which relates to the driving behavior of a driver, such as dynamic or defensive, wherein the simulation model (422) contains a software application which models the possible behavior of the driver in a driving situation, such as a braking process or an acceleration process; and wherein the motor vehicle module (430) comprises at least one simulation model (432) which depicts various variants of the motor vehicle (10), for example with regard to the different design of the drive train, the driving dynamics and other sub-functions, wherein the simulation model (432) contains a software application which models the possible behavior of the motor vehicle (10) in a driving situation, such as a warning to the driver or the triggering of an emergency braking by appropriately designed driver assistance functions.

ADAS/ADS system for a motor vehicle (10), characterized in that for testing, training and applying an ADAS/ADS system, the method according to one of the Claims 1 until 11 is used.

Simulation module (400) for testing, training and applying an ADAS/ADS system with a driving environment module (410), a driver module (420) and a motor vehicle module (430), wherein the driving environment module (410) comprises at least one simulation model (412) which maps the driving environment of the motor vehicle (10) and the actors involved in a scenario (SZ _i ), wherein the simulation model (412) contains a software application which models the possible behavior of the actors in the driving situation defined by a test case (T _i ); wherein the driver module (420) comprises at least one simulation model (422) which relates to the driving behavior of a driver, such as dynamic or defensive, wherein the simulation model (422) contains a software application which models the possible behavior of the driver in a driving situation, such as a braking process or an acceleration process; and wherein the motor vehicle module (430) comprises at least one simulation model (432) which depicts various variants of the motor vehicle (10), for example with regard to the different design of the drive train, the driving dynamics and other sub-functions, wherein the simulation model (432) contains a software application which models the possible behavior of the motor vehicle (10) in a driving situation, such as a warning to the driver or the triggering of an emergency braking by appropriately designed driver assistance functions.

Computer program product (900) comprising an executable program code (950) configured to execute the method according to one of the Claims 1 until 11 executes.