EP4544528A1 - Auslegen eines automatischen fahrsteuersystems in massiv parallelen simulationen - Google Patents

Auslegen eines automatischen fahrsteuersystems in massiv parallelen simulationen

Info

Publication number
EP4544528A1
EP4544528A1 EP23721888.8A EP23721888A EP4544528A1 EP 4544528 A1 EP4544528 A1 EP 4544528A1 EP 23721888 A EP23721888 A EP 23721888A EP 4544528 A1 EP4544528 A1 EP 4544528A1
Authority
EP
European Patent Office
Prior art keywords
driving control
data
control system
road users
automatic driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23721888.8A
Other languages
English (en)
French (fr)
Inventor
Nico Weber
Christoph THIEM
Ulrich Eberle
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stellantis Auto SAS
Original Assignee
Stellantis Auto SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stellantis Auto SAS filed Critical Stellantis Auto SAS
Publication of EP4544528A1 publication Critical patent/EP4544528A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/012—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from other sources than vehicle or roadside beacons, e.g. mobile networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the invention relates to a method for designing and validating an automatic driving control system of a vehicle.
  • automated driving control functions can support a human driver of a vehicle in the sense of a driver assistance system, but in the future they will become significantly more important for highly automated and autonomous vehicles.
  • automated driving control functions intervene less or more in the driving control of a vehicle and completely take over vehicle control, especially in fully automated vehicles.
  • Driving control functions receive data from corresponding sensor units in order to use perception methods to detect the environment, in particular other road users and objects in the area, including traffic signs. Since highly complex software components are required to execute the automated driving control functions in order to take over vehicle control and make appropriate decisions in road traffic, proving the required safety is correspondingly difficult and extensive.
  • simulation-based methods are used and tested in particular in the operating areas that are critical for the automated driving control function, such as when hitting the end of a traffic jam or in highly frequented urban traffic areas.
  • scenario-based development and testing it is possible to estimate how safely the later real vehicle will operate in use in the open world (possibly within a limited operating range) by using the digital twin of the automated vehicle during early development phases.
  • simulation-based development and testing of automated vehicles with an automatic driving control system in particular the validation of a driving control function of an automatic driving control system for the automatic operation of a vehicle, is only possible with the help of simulation if the respective simulation modules demonstrably produce realistic results.
  • This also applies, among other things, to modeling traffic dynamics, i.e. simulating the behavior of other road users.
  • a realistic representation of the environmental dynamics is therefore a key component for finding potentially critical scenarios for an automated vehicle.
  • Neural networks are often used to operate a control device in a technical system.
  • the WO 2021/204983 A1 relates to a method for configuring a control device for a technical system, wherein a) a simulation module is provided for physically simulating the technical system based on physical variables of the technical system fed in as simulation input data, b) a temporal sequence of control signals and a temporal sequence of measured state data of the technical system are recorded, c) the temporal sequence of the control signals is fed into a neural network, d) output data of the neural network is fed into the simulation module as simulation input data, e) a physical simulation is carried out by the simulation module the output data of the neural network is carried out and simulated state data of the technical system is determined, f) the neural network is trained to reduce a distance between the measured state data and the simulated state data, g) by the neural network trained in this way and the simulation module a hybrid simulator for simulating the technical system is formed based on control signals of the technical system, h) a large number of different further control signals are generated, i) the further control signals are fed
  • the object of the invention is to improve the design and validation of an automatic driving control system of a vehicle.
  • a first aspect of the invention relates to a method for designing and validating a automatic driving control system of a vehicle, comprising the steps:
  • the data of the road users observed in reality can, on the one hand, be recorded with stationary sensors, especially in particularly interesting areas such as urban intersections, but on the other hand can also be recorded from an advantageous bird's eye view, for example with a balloon, a quadrocopter or a small-scale fixed-wing aircraft or another unmanned one aircraft can be detected.
  • This means that the real behavior of real road users is known and can form a realistic approach for the initial database for the simulations.
  • the respective associated scenario is recorded accordingly, for example in order to provide not only the real road users but also the background scenario such as intersection data for the simulations.
  • This scenario is advantageously included in the respective simulation in order to create a simulation that is as realistic as possible.
  • the respective associated scenario can also include weather data, for example prevailing light intensity, wind strength, precipitation, fog, etc.;
  • the trajectories of the real observing road users include a trajectory and associated time information, so that the temporally relative movement of the road users can be reproduced in the agent models of the simulations.
  • Preparing the data from real road users to ensure the completeness of the data ensures that the entirety of the traffic dynamics relevant to the automated vehicle can be observed within the identified traffic sections.
  • the calibration and validation of the simulation environment can then take place, which is able to model and simulate the dynamics of all relevant road users for the corresponding traffic area with sufficient validity.
  • the real road users are then modeled as traffic agents so that the actually observed behavior of the real road users can be depicted in the respective simulation and the respective simulation can depict dynamic scenarios.
  • the calibrated and validated simulation environment is the basis for the subsequent process step of massively parallel long-term simulation, in which the modeled traffic agents are used as the initial database with the addition of synthetic data from virtual road users.
  • long-term simulations are carried out with the initial database in multiple parallelization of the simulations and with a time scale factor greater than one for real time, integrating the automatic driving control system with simulation data instead of sensor data.
  • the fact that there is a time scale factor greater than one compared to real time means that the simulations are carried out significantly faster than real time and therefore huge amounts of data from very long simulated travel times can be processed in simulations in a relatively short time - hence the expression "long-term simulation” .
  • the multiple parallelization also contributes to this, meaning that several simulations are carried out in parallel at the same time.
  • a respective variation of the initial database or a respective set of variations is carried out with each individual simulation.
  • This step offers the opportunity to significantly expand the existing database in terms of scope, complexity and future mixed traffic scenarios.
  • probability distributions of relevant influencing parameters of traffic dynamics can be varied in a targeted manner.
  • the influencing parameters at this point include the accepted time gap of individual types of road users (aggressive/defensive behavior) or the reaction time (human limitations).
  • a future mixed traffic state in which automated road users and human road users meet in road traffic
  • the sum of the influencing parameters mentioned as examples as well as other meta-parameters such as the parallelization factor of the simulations and the simulation duration/distance to be simulated form the hyperparameters of the long-term simulation.
  • sufficiently large amounts of synthetic data can be generated in a targeted manner with regard to the traffic dynamics relevant to the driving function, for example by generating a higher and more aggressive traffic volume compared to reality.
  • Both the training data set and the validation data set advantageously consist of both the observed data of real road users and the synthetic data of virtual road users.
  • the real and synthetic databases are combined into a common database, whereby the proportion of synthetic data usually significantly exceeds the proportion of real data.
  • the automatic driving control system can learn a safe response within enormous amounts of realistic traffic situations in which the automated vehicle is expected to act during future operation. For example, end-to-end training strategies for Situation understanding, decision-making, regulation and actuation of the automated driving control system from the area of monitored machine learning can be advantageously implemented.
  • the validation data set is used to check whether the automatic driving control system operates safely across a very large number of realistic scenarios.
  • the generated validation data set defines the entire surrounding traffic dynamics relevant to the automated vehicle. Even if this methodology is particularly suitable for validating an algorithm of the driving control function of the automatic driving control system and thus for securing situational understanding, decision-making, regulation and actuation of the automatic driving control system, the use of the database to support the securing of the environment detection/perception of the automated vehicle is also possible. This can be done, for example, by combining the validation data set with a realistic visualization simulator.
  • the modeling of, for example, material properties and reflections of the relevant static and dynamic objects in the environment of the automated driving function is carried out by the visualization simulator, while the varied initial database defines the relevant traffic dynamics (type of movement of the dynamic objects) in the corresponding scenario.
  • a final check is preferably carried out to determine whether the previously defined validity criteria are met and the automatic driving control system is considered validated for the corresponding traffic areas. If this is not the case, either the hyperparameters of the simulation must be adjusted or additional real-world observations must be made. The following process steps can then be repeated for each case.
  • Recording trajectory data from real road users also offers an effective and efficient option compared to real driving with a prototype - the information about the trajectories of different road users involved in a scenario is often sufficient for the design and validation of various modules of a driving function.
  • a calibrated and validated traffic flow simulation also offers the possibility of enormously expanding the real data base in terms of scope, complexity and future mixed traffic scenarios. Very complex/critical traffic conditions can be reliably represented, as well as states that cannot (yet) be observed in order to test the automatic driving control system.
  • the synthetic data of the virtual road users are generated by modifying the data of the real road users.
  • the synthetic data of virtual road users are generated by completely synthetic generation without reference to the real road users.
  • the synthetic data of the virtual road users are generated partly by modifying the data of the real road users and partly by completely synthetic generation without reference to the real road users.
  • the variations of the initial database include a varying ratio between modeled human traffic agents and virtual traffic participants.
  • Varying the relationship between the virtual road users and the modeled human traffic agents allows a sensitivity analysis regarding the degree of penetration of automated road users, especially automated vehicles.
  • the free variation of this ratio is in a physically real situation not possible.
  • This embodiment can advantageously be used to determine the sensitivity of the automatic driving control system to the proportion of automatically guided vehicles in the traffic area around the vehicle. This is of great interest because automatically guided vehicles behave differently than human-driven vehicles.
  • the proportion of automatically driven vehicles in relation to all road users is also called the penetration level of automated vehicles.
  • the number of virtual road users in the output database is greater than the number of real road users used.
  • the proportion of virtual road users in the training data set is larger than in the validation data set.
  • strategic and tactical, or strategic, tactical and operational simulation elements for the vehicle are carried out in the simulations carried out.
  • the hybrid, varied initial database is used in particular for training at the strategic, tactical or operational level.
  • An example of the strategic level is the sensible choice of route based on a defined start and destination.
  • An example of the tactical level is the execution of the maneuver prediction module in the form of the future trajectories of the road users surrounding the automated vehicle in a specific traffic situation.
  • the behavior/trajectories of the real road users when safely passing the respective scenario can be used as ground truth.
  • the operational level relates in particular to a respective vehicle management function.
  • Another obvious use case is the training of a reinforcement learning agent, which is exposed to the corresponding traffic dynamics and, depending on its reaction, is rewarded or punished for its behavior and can thus learn safe behavior across the relevant traffic scenarios.
  • a sensitivity analysis is determined via the effect of variations in the output database on the respective reaction of the automatic driving control system and the result of the sensitivity analysis is used for a targeted adaptation process of parameters of a driving control function of the automatic driving control system.
  • This sensitivity analysis not only looks at a single data point in the simulation space, but varies the output data base around a data point to get a sense of the impact of these changes in multiple directions on the response of the automatic driving control system. This applies in particular to the number of modeled automated road users in relation to the total number of other road users simulated in the simulation. This level of penetration is of particular interest in sensitivity analysis.
  • a sensor unit of the automatic driving control system is validated by carrying out a new simulation and output data from the simulation form input data for the sensor unit.
  • an environment detection/perception of the automated vehicle is also validated using this embodiment.
  • a sensor unit with a connected perception module is preferably considered, with the sensor unit being artificially fed data from the simulator instead of real data in order to validate the environment detection and perception of the automated vehicle.
  • Material properties and reflections of the relevant static and dynamic objects in the environment of the automated driving function can also advantageously be used by a visualization module in the simulation in order to generate realistic states of detectable sensor data.
  • optical material properties and/or reflections of the vehicle's surroundings are therefore simulated in the simulation.
  • the variations of the initial database occur by imposing changed probability distributions of traffic agents.
  • the probability distributions (such as normal distribution, binomial distribution, because Weibull distribution) are varied accordingly in order to design scenarios differently. For example, the value of a Standard deviation of random variables such as pedestrian behavior can be increased to obtain more differentiated scenarios.
  • Fig. 1 A method for designing and validating an automatic driving control system of a vehicle according to an exemplary embodiment of the invention.
  • SO data is provided from road users observed in reality with the help of a drone (pedestrians, cyclists, automated and non-automated cars, etc.) with assignment to the respective prevailing scenario in which the road users were observed, in particular one intersection, a highway, a highway drive, etc.;
  • the data of the road users observed by the drone also includes the trajectories of the road users, ie their trajectories with time information.
  • the current weather situation in the scenario under consideration is registered by the drone in order to reproduce it in the later simulations.
  • step S1 the data of the real road users recorded by the drone is processed to ensure the completeness of the data, so that the data that can be recorded by it is actually made available to the automatic driving control system of the vehicle, including its sensor units in the simulation environment, without being made available by the To capture data gaps arising from the drone.
  • the real road users captured by the drone are modeled as traffic agents for the simulation environment.
  • step S3 several simulations are carried out with the hybrid simulation environment generated with the initial database in multiple parallelization of the simulations and with a time scale factor greater than one for real time, integrating the automatic driving control system with simulation data instead of sensor data.
  • the simulation speed is significantly faster than real time, so that an enormous number of road users, scenarios and kilometers driven by the automated vehicle can be simulated with the automatic driving control system for designing and/or validating the driving control system in order to work with a quantity of data that has been obtained through practical tests (ie a real journey of the vehicle) would be practically unachievable.
  • variations of the initial database are carried out in order to use a sensitivity analysis to determine the respective reaction of the automatic driving control system to the variations in the hybrid simulation environment. Based on these variations and the results, a training data set and a validation data set are generated in order to single out particularly critical and safety-relevant situations.
  • an adaptation process S5 of parameters of a driving control function of the automatic driving control system can be carried out on the basis of the training data set. This particularly affects parameters of an artificial neural network that can be adjusted multiple times using supervised learning methods.
  • S6 a validation of the automatic driving control system is carried out based on the validation data set, with at least one algorithm of the driving control function of the automatic driving control system being validated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Robotics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Auslegen und Validieren eines automatischen Fahrsteuersystems. Schritte sind: Bereitstellen (S0) von Daten von in der Realität beobachteten Verkehrsteilnehmern mit deren Trajektorien, Aufbereiten (S1) der Daten und Modellierung der realen Verkehrsteilnehmer als Verkehrsagenten, Erstellen (S2) einer hybriden Simulationsumgebung unter Hinzufügung von synthetischen Daten virtueller Verkehrsteilnehmer als Ausgangsdatenbasis, Durchführung (S3) von Simulationen in vielfacher Parallelisierung der Simulationen unter Einbindung des automatischen Fahrsteuersystems mit Simulationsdaten anstelle von Sensordaten, wobei in den Simulationen Variationen der Ausgangsdatenbasis durchgeführt werden, Erzeugung (S4) eines Trainingsdatensatzes und eines Validierungsdatensatzes aus der variierten Ausgangsdatenbasis, und Durchführen (S5) eines Anpassungsvorgangs von Parametern einer Fahrsteuerungsfunktion, und nach Abschluss aller Anpassungsvorgänge der Fahrsteuerungsfunktion: Ausführen (S6) einer Validierung des automatischen Fahrsteuersystems auf Basis des Validierungsdatensatzes, wobei zumindest ein Algorithmus der Fahrsteuerungsfunktion des automatischen Fahrsteuersystems validiert wird.

Description

AUSLEGEN EINES AUTOMATISCHEN FAHRSTEUERSYSTEMS IN MASSIV
PARALLELEN SIMULATIONEN
Die Erfindung betrifft ein Verfahren zum Auslegen und Validieren eines automatischen Fahrsteuersystems eines Fahrzeugs.
Automatisierte Fahrsteuerfunktionen können einerseits im Sinne eines Fahrerassistenzsystems einen menschlichen Fahrer eines Fahrzeugs unterstützen, in Zukunft werden sie jedoch erheblich an Bedeutung für hoch automatisierte und autonome Fahrzeuge gewinnen. Solche automatisierten Fahrsteuerfunktionen greifen je nach Autoritätsgrad minder oder mehr in die Fahrsteuerung eines Fahrzeugs ein und übernehmen die Fahrzeugführung insbesondere bei vollautomatisierten Fahrzeugen vollständig. Dies führt zu anspruchsvollen sicherheitstechnischen Anforderungen, da am Straßenverkehr teilnehmende Fahrzeuge ein grundsätzliches Risiko für andere Verkehrsteilnehmer bei Fehlverhalten darstellen. Fahrsteuerfunktionen erhalten hierbei von entsprechenden Sensoreinheiten Daten, um mit Perzeptionsverfahren die Umwelt, insbesondere andere Verkehrsteilnehmer und Objekte in der Umgebung einschließlich von Verkehrszeichen zu erfassen. Da dadurch hochkomplexe Softwarekomponenten zum Ausführen der automatisierten Fahrsteuerfunktionen notwendig sind, um die Fahrzeugführung zu übernehmen sowie entsprechende Entscheidungen im Straßenverkehr zu treffen, gestaltet sich der Nachweis der geforderten Sicherheit entsprechend schwierig und umfangreich. Um ausreichend viele reale Szenarien zur Entwicklung und abschließenden Validierung von automatisierten Fahrsteuersystemen in der Praxis zu testen, wären jedoch unvertretbar viele gefahrene Kilometer und entsprechend viele Fahrstunden eines mit einem automatisierten Fahrsteuersystems ausgerüsteten Fahrzeugs notwendig. Das Zurücklegen von beispielsweise Milliarden von Kilometern und die entsprechend zeitverzögerte Auswertung der dort erfahrenen Szenarien ist für Entwicklung und Validierung eines automatischen Fahrsteuersystems unverhältnismäßig lang und kann in der Praxis nicht durchgeführt werden. Ein rein streckenbasierter, statistischer Nachweis der Sicherheit der Fahrfunktion vor Markteinführung eines solchen Fahrzeugs ist daher technisch nicht umsetzbar. Dies wird auch in der folgenden Publikation erläutert: "W. Wachenfeld and H. Winner, “The release of autonomous vehicles,” in Autonomous Driving: Technical, Legal and Social Aspects, M. Maurer, J. C. Gerdes, B. Lenz, and H. Winner, Eds. Springer, 2016, pp. 425-449". Auch für die zukünftige Homologation z. B. nach NCAP wird eine immer aufwändigere Testprozedur vorgeschrieben, die nur mit Hilfe von realitätsnahen Simulationsumgebungen erfolgreich durchgeführt werden kann. Zudem ist es vor dem Hintergrund der Gefährdung dritter Personen nicht möglich, potenziell kritische Szenarien im Realverkehr zu testen. Gerade jedoch potenziell kritische Szenarien liefern diejenigen Daten, mit denen die Entwicklung eines automatischen Fahrsteuersystemen eines Fahrzeugs erfolgen muss, da gerade diese zu Unfällen führen. Auch für die Validierung eines fertig entwickelten automatischen Fahrsteuersystems sind diese kritischen Szenarien wichtig. In der Entwicklung und Validierung von automatischen Fahrsteuersystemen werden daher besonders die für die automatisierte Fahrsteuerfunktion kritischen Betriebsbereiche, wie z.B. beim Auftreffen auf ein Stauende oder in hochfrequentierten urbanen Verkehrsräumen, simulationsbasierte Methoden genutzt und geprüft. Durch z.B. szenarienbasiertes Entwickeln und Testen kann so schon durch Nutzung des digitalen Zwillings des automatisierten Fahrzeugs während früher Entwicklungsphasen eingeschätzt werden, wie sicher das spätere reale Fahrzeug im Einsatz in der offenen Welt (unter Umständen innerhalb eines beschränkten Betriebsbereichs) agieren wird.
Das simulationsbasierte Entwickeln und Testen automatisierter Fahrzeuge mit einem automatischen Fahrsteuersystem, insbesondere die Validierung einer Fahrsteuerungsfunktion eines automatischen Fahrsteuersystems für den automatischen Betrieb eines Fahrzeugs, ist jedoch nur mit Hilfe von Simulation möglich, wenn jeweilige Simulationsmodule nachweislich realitätsnahe Ergebnisse erzeugen. Dies betrifft unter anderem auch die Modellierung der Verkehrsdynamik, das heißt die Simulation des Verhaltens anderer Verkehrsteilnehmer. Eine realistische Abbildung der Umgebungsdynamik ist daher eine Schlüsselkomponente zum Auffinden potentiell kritischer Szenarien für ein automatisiertes Fahrzeug.
Für den zuverlässigen Einsatz dieser simulationsbasierten Methoden ist es eine notwendige Voraussetzung, alle für das jeweilige Szenario relevanten Entitäten hinreichend valide zu modellieren. Im Kontext der simulationsbasierten Absicherung automatisierter Fahrfunktionen wird die realistische Abbildung des Gesamtsystems, bestehend aus digitalem Zwilling und Umwelt, fortwährend wichtiger, da das automatisierte Fahrzeug in einem definierten Betriebsbereich die Verantwortung für die gesamte Fahraufgabe übernimmt. Dabei ist die valide Abbildung aller relevanten Eingangsgrößen für die Umfelderfassung des Ego-Fahrzeugs (System-under-Test) essenziell, wobei die Repräsentation einer realitätsnahen Verkehrsdynamik (Position, Verhalten und daraus resultierende Bewegung der umgebenden Verkehrsteilnehmer) eine herausragende Bedeutung für beispielsweise die Entscheidungsfindung des Ego-Fahrzeugs einnimmt. Im Stand der Technik ist es bekannt, neuronale Netze zu trainieren, um durch bekannte Zusammenhänge von Eingangswerten und Ausgangswerten im späteren Betrieb eines solchen künstlichen neuronalen Netzes auf Basis von Sensordaten aktuell gültige Ausgangswerte zu erzeugen. Neuronale Netze werden häufig dazu eingesetzt, um eine Steuereinrichtung eines technischen Systems zu betreiben.
Die WO 2021/204983 A1 betrifft hierzu ein Verfahren zum Konfigurieren einer Steuereinrichtung für ein technisches System, wobei a) ein Simulationsmodul bereitgestellt wird zum physikalischen Simulieren des technischen Systems anhand von als Simulationseingabedaten eingespeisten physikalischen Größen des technischen Systems, b) eine zeitliche Abfolge von Steuersignalen und eine zeitliche Abfolge von gemessenen Zustandsdaten des technischen Systems erfasst werden, c) die zeitliche Abfolge der Steuersignale in ein neuronales Netz eingespeist wird, d) Ausgabedaten des neuronalen Netzes in das Simulationsmodul als Simulationseingabedaten eingespeist werden, e) durch das Simulationsmodul eine physikalische Simulation anhand der Ausgabedaten des neuronalen Netzes durchgeführt wird und dabei simulierte Zustandsdaten des technischen Systems ermittelt werden, f) das neuronale Netz darauf trainiert wird, einen Abstand zwischen den gemessenen Zustandsdaten und den simulierten Zustandsdaten zu verringern, g) durch das derart trainierte neuronale Netz und das Simulationsmodul ein hybrider Simulator zum Simulieren des technischen Systems anhand von Steuersignalen des technischen Systems gebildet wird, h) eine Vielzahl von unterschiedlichen weiteren Steuersignalen generiert wird, i) die weiteren Steuersignale in den hybriden Simulator und in ein weiteres neuronales Netz eingespeist werden, j) mittels des hybriden Simulators daraus jeweils in Form von simulierten Zustandsdaten zugehörige simulierte Reaktionen des technischen Systems und von dem weiteren neuronalen Netz weitere Ausgabedaten ermittelt werden, k) das weitere neuronale Netz darauf trainiert wird, einen Abstand zwischen den von dem hybriden Simulator ermittelten simulierten Zustandsdaten und den weiteren Ausgabedaten zu verringern, I) die Steuereinrichtung dadurch konfiguriert wird, dass sie das derart trainierte weitere neuronale Netz umfasst.
Aufgabe der Erfindung ist es, das Auslegen und Validieren eines automatischen Fahrsteuersystems eines Fahrzeugs zu verbessern.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Auslegen und Validieren eines automatischen Fahrsteuersystems eines Fahrzeugs, aufweisend die Schritte:
- Bereitstellen von Daten von in der Realität beobachteten Verkehrsteilnehmern unter Zuordnung zum vorherrschenden Szenario einschließlich der von den Verkehrsteilnehmern ausgeführten Trajektorien,
- Aufbereiten der Daten der realen Verkehrsteilnehmer zur Sicherstellung der Vollständigkeit der Daten, und Modellierung der realen Verkehrsteilnehmer als Verkehrsagenten,
- Erstellen einer hybriden Simulationsumgebung auf Basis der aufbereiteten Daten und der modellierten Verkehrsagenten unter Hinzufügung von synthetischen Daten virtueller Verkehrsteilnehmer als Ausgangsdatenbasis,
- Durchführung von Langzeit-Simulationen mit der hybriden Simulationsumgebung mit der Ausgangsdatenbasis in vielfacher Parallelisierung der Simulationen und mit einem zeitlichen Skalenfaktor größer als Eins zur Echtzeit unter Einbindung des automatischen Fahrsteuersystems mit Simulationsdaten anstelle von Sensordaten, wobei in den Simulationen Variationen der Ausgangsdatenbasis durchgeführt werden und die Reaktion des automatischen Fahrsteuersystems auf die hybride Simulationsumgebung ermittelt wird,
- Erzeugung eines Trainingsdatensatzes und eines Validierungsdatensatzes aus der variierten Ausgangsdatenbasis abhängig von Simulationsergebnissen zu kritischen und sicherheitsrelevanten Situationen, und
- Durchführen eines Anpassungsvorgangs von Parametern einer Fahrsteuerungsfunktion des automatischen Fahrsteuersystems auf Basis des Trainingsdatensatzes, und nach Abschluss aller Anpassungsvorgänge der Fahrsteuerungsfunktion:
- Ausführen einer Validierung des automatischen Fahrsteuersystems auf Basis des Validierungsdatensatzes, wobei zumindest ein Algorithmus der Fahrsteuerungsfunktion des automatischen Fahrsteuersystems validiert wird.
Die Daten der in der Realität beobachteten Verkehrsteilnehmer können einerseits mit stationären Sensoren insbesondere in besonders interessanten Bereichen wie städtische Kreuzungen erfasst werden, können andererseits aber auch aus der vorteilhaften Vogelperspektive beispielsweise mit einem Ballon, von einem Quadrocopter oder einem kleins- kaligen Flächenflugzeug oder einem anderen unbemannten Flugzeug erfasst werden. Somit sind reale Verhalten von realen Verkehrsteilnehmern bekannt und können einen realitätsnahen Ansatz für die Ausgangsdatenbasis für die Simulationen bilden. Das jeweilige zugehörige Szenario wird entsprechend miterfasst, beispielsweise um neben den realen Verkehrsteilnehmern auch das Hintergrundszenario wie Daten der Kreuzung für die Simulationen bereitzustellen. Dieses Szenario wird vorteilhaft in der jeweiligen Simulation mitabgebildet, um eine möglichst realitätsgetreue Simulation zu erzeugen. Zu dem jeweiligen zugehörigen Szenario können auch Wetterdaten gehören, beispielsweise die vorherrschende Lichtstärke, Windstärke, Niederschläge, Nebel, etc.; die Trajektorien der realen beobachtenden Verkehrsteilnehmer umfassen hierbei eine Bahnkurve sowie zugehörige Zeitinformationen, sodass die zeitlich relative Bewegung der Verkehrsteilnehmer untereinander in den Agentenmodellen der Simulationen abgespielt werden kann.
Das Aufbereiten der Daten der realen Verkehrsteilnehmer zur Sicherstellung der Vollständigkeit der Daten gewährleistet, dass die Gesamtheit der für das automatisierte Fahrzeug relevanten Verkehrsdynamik innerhalb der ermittelten Verkehrsabschnitte beobachtbar ist. Mit Vorhandensein der Realdaten-Basis der relevanten Verkehrsdynamik realer Verkehrsteilnehmer kann im Anschluss die Kalibrierung und Validierung der Simulationsumgebung erfolgen, die in der Lage ist, die Dynamik aller relevanten Verkehrsteilnehmer für den entsprechenden Verkehrsraum hinreichend valide zu modellieren und simulieren. Anschließend erfolgt eine Modellierung der realen Verkehrsteilnehmer als Verkehrsagenten, sodass das real beobachtete Verhalten der realen Verkehrsteilnehmer in der jeweiligen Simulation abgebildet werden kann und die jeweilige Simulation dynamische Szenarien abbilden kann. Die kalibrierte sowie validierte Simulationsumgebung ist Grundlage für den anschließenden Prozessschritt der massiv parallelen Langzeit-Simulation, in der die modellierten Verkehrsagenten unter Hinzufügung von synthetischen Daten virtueller Verkehrsteilnehmer als Ausgangsdatenbasis verwendet werden.
Auf Basis der validierten Simulationsumgebung folgt die Durchführung von Langzeit-Simulationen mit der Ausgangsdatenbasis in vielfacher Parallelisierung der Simulationen und mit einem zeitlichen Skalenfaktor größer als Eins zur Echtzeit unter Einbindung des automatischen Fahrsteuersystems mit Simulationsdaten anstelle von Sensordaten. Dass ein zeitlicher Skalenfaktor größer als Eins zur Echtzeit vorliegt bedeutet, dass die Simulationen erheblich schneller als die reale Zeit ausgeführt werden und somit gewaltige Datenmengen von sehr langen simulierten Fahrzeiten in relativ kurzer Zeit in Simulationen verarbeitet werden können - daher der Ausdruck „Langzeit-Simulation“. Dazu trägt auch die vielfache Parallelisierung bei, d.h., dass mehrere Simulationen zeitlich parallel ausgeführt werden. Bevorzugt wird mit jeder einzelnen der Simulationen eine jeweilige Variation der Ausgangsdatenbasis oder einem jeweiligen Satz von Variationen ausgeführt. Es können aber auch in zeitlicher Abfolge mehrere Variationen je Simulation ausgeführt werden. Die vielfache Parallelisierung zusammen mit der Komprimierung der Realzeit in einen deutlich schnelleren Ablauf ermöglicht eine massiv parallele Langzeit-Simulation, sodass vorteilhaft Szenarien von Verkehrsteilnehmern simuliert werden können und damit das automatische Fahrsteuersystemen ausgelegt und validiert werden kann, deren Zahl in der Realität anhand von praktisch vorliegenden Szenarien realistisch gesehen nicht mehr getestet werden könnte. Die entsprechende Skalierung in den Simulationsabläufen erlaubt jedoch eine signifikant hohe Zahl von Szenarien, realen und virtuellen Verkehrsteilnehmern und Variationen der Umgebungsvariablen auszunutzen, um das automatische Fahrsteuersystemen auszulegen und zu validieren, wobei insbesondere kritische und sicherheitsrelevante Szenarien und Verhalten von anderen Verkehrsteilnehmern somit geprüft werden können. Diese massiv parallele Langzeit-Simulation wird hierfür beispielsweise auf einer Cloud-Plattform durchgeführt. Dieser Schritt bietet die Möglichkeit, die vorhandene Datenbasis signifikant hinsichtlich Umfang, Komplexität und zukünftigen Mischverkehrsszenarien zu erweitern. Hierbei können beispielsweise gezielt Wahrscheinlichkeitsverteilungen relevanter Einflussparameter der Verkehrsdynamik variiert werden. Beispielhaft seien für die Einflussparameter an dieser Stelle die akzeptierte Zeitlücke einzelner Verkehrsteilnehmer arten) (aggressives/defensives Verhalten) oder die Reaktionszeit (menschliche Limitierungen) genannt. Des Weiteren kann innerhalb der Langzeit-Simulation durch Einsatz von Agenten-Modellen für automatisierte Fahrzeuge ein im aktuellen Straßenverkehr nicht beobachtbarer, zukünftiger Mischverkehrs-Zustand (in dem sich automatisierte Verkehrsteilnehmer und menschliche Verkehrsteilnehmer im Straßenverkehr begegnen) simuliert werden. Die Summe der exemplarisch genannten Einflussparameter sowie weitere Meta- Parameter wie der Parallelisierungsfaktor der Simulationen und die Simulationsdauer / zu simulierende Strecke bilden die Hyperparameter der Langzeit-Simulation. Mit dieser Vorgehensweise können gezielt ausreichend große Mengen synthetischer Daten hinsichtlich der für die Fahrfunktion relevanten Verkehrsdynamik erzeugt werden, beispielsweise durch Erzeugung eines im Vergleich zur Realität höheren und aggressiveren Verkehrsaufkommens.
Hierauf folgt die Erzeugung eines Trainingsdatensatzes und eines Validierungsdatensatzes aus der variierten Ausgangsdatenbasis abhängig von Simulationsergebnissen zu kritischen und sicherheitsrelevanten Situationen. Sowohl der Trainingsdatensatz als auch der Validierungsdatensatz bestehen vorteilhaft sowohl aus den beobachteten Daten realer Verkehrsteilnehmer sowie den synthetischen Daten virtueller Verkehrsteilnehmer. Innerhalb dieses Prozessschritts werden die reale und die synthetische Datenbasis zu einer gemeinsamen Datenbasis kombiniert, wobei der Anteil synthetischer Daten den Anteil realer Daten in der Regel erheblich übersteigt.
Unter Nutzung des Trainingsdatensatzes kann das automatische Fahrsteuersystem eine sichere Reaktion innerhalb enormer Mengen realistischer Verkehrssituationen erlernen, in denen das automatisierte Fahrzeug während des zukünftigen Betriebs erwartungsgemäß agieren wird. Hierbei können beispielsweise End-to-End Trainingsstrategien für Situationsverständnis, Entscheidungsfindung, Regelung und Aktorik des automatisierten Fahrsteuersystems aus dem Bereich des überwachten maschinellen Lernens vorteilhaft umgesetzt werden.
Im weiteren Prozessschritt wird der Validierungsdatensatz genutzt, um zu überprüfen, ob das automatische Fahrsteuersystem über eine sehr große Menge realistischer Szenarien hinweg sicher agiert. Hierbei definiert der erzeugte Validierungsdatensatz die gesamte, für das automatisierte Fahrzeug relevante, umgebende Verkehrsdynamik. Auch wenn sich diese Methodik besonders für die Validierung eines Algorithmus der Fahrsteuerungsfunktion des automatischen Fahrsteuersystems und damit für die Absicherung von Situationsverständnis, Entscheidungsfindung, Regelung und Aktorik des automatischen Fahrsteuersystems eignet, ist eine Nutzung der Datenbasis zur Unterstützung der Absicherung der Umfelderfassung / Perzeption des automatisierten Fahrzeugs ebenfalls möglich. Dies kann beispielsweise durch Kombination des Validierungsdatensatzes mit einem realistischen Visualisierungs- Simulator erfolgen. Hierbei wird die Modellierung von beispielsweise Materialeigenschaften und Reflexionen der relevanten statischen und dynamischen Objekte in der Umgebung der automatisierten Fahrfunktion vom Visualisierungs-Simulator übernommen, während die variierte Ausgangsdatenbasis die relevante Verkehrsdynamik (Art und Weise der Bewegung der dynamischen Objekte) im entsprechenden Szenario definiert.
Nach diesem Prozessschritt wird bevorzugt abschließend geprüft, ob die zuvor definierten Validitätskriterien erfüllt sind und das automatische Fahrsteuersystem für die entsprechenden Verkehrsbereiche als validiert gilt. Sollte dies nicht der Fall sein, müssen entweder die Hyperparameter der Simulation angepasst werden oder zusätzliche Realweltbeobachtungen erfolgen. Im Anschluss können die für den jeweiligen Fall nachfolgenden Prozessschritte wiederholt werden.
Es ist eine vorteilhafte Wirkung der Erfindung, dass die Validität von Realdaten mit der Flexibilität, Effizienz und Sicherheit einer Simulation verbunden wird. Dadurch wird es möglich, ein automatisches Fahrsteuersystem mit einem im Vergleich zum rein realdatenbasierten Ansatz um mehrere Größenordnungen gesteigerten Datenumfang zu trainieren und zu validieren. Dies erlaubt weitere Möglichkeiten der Auslegung und der Validierung, wie beispielsweise das weiter unten genannte Mischverkehrszenario aus menschlichen Verkehrsteilnehmern und automatisierten Verkehrsteilnehmern näher zu untersuchen. Bei Beibehaltung einer hinreichenden Validität des gesamten Datenaufkommens bildet ein rein realdatenbasierter Testansatz nämlich nicht die Möglichkeit, solche zukünftig zu erwartenden Mischverkehrsszenarien zu untersuchen, in denen das betrachtete Fahrzeug während seines Betriebs bei unterschiedlichen Durchdringungsgraden automatisierter Fahrzeuge unter menschlichen Verkehrsteilnehmern sicher agieren können muss. Die sinnvolle Kombination aus Realweltbeobachtung und synthetischer Datengenerierung führt zu großen Effizienz- und Effektivitätssteigerungen beim Entwickeln und Testen automatisierter Fahrfunktionen. Die Aufzeichnung von Trajektoriendaten realer Verkehrsteilnehmer bietet zudem eine effektive und effiziente Möglichkeit im Vergleich zu Realfahrten mit einem Prototypen - die Information über die an einem Szenario beteiligten Trajekto- rien verschiedener Verkehrsteilnehmer ist für die Auslegung und Validierung verschiedener Module einer Fahrfunktion häufig hinreichend. Eine kalibrierte und validierte Verkehrsflusssimulation bietet ferner die Möglichkeit, die Realdaten-Basis hinsichtlich Umfang, Komplexität und zukünftigen Mischverkehrs-Szenarien enorm zu erweitern. Es können sehr komplexe / kritische Verkehrszustände sicher dargestellt werden, sowie (noch) nicht beobachtbare Zustände dargestellt werden, um das automatischen Fahrsteuersystem zu testen.
Gemäß einer vorteilhaften Ausführungsform werden die synthetischen Daten der virtuellen Verkehrsteilnehmer durch Modifikation der Daten der realen Verkehrsteilnehmer erzeugt.
Gemäß einer weiteren vorteilhaften Ausführungsform werden die synthetischen Daten virtueller Verkehrsteilnehmer durch vollständig synthetische Generierung erzeugt ohne Bezug zu den realen Verkehrsteilnehmern.
Gemäß einer weiteren vorteilhaften Ausführungsform werden die synthetischen Daten der virtuellen Verkehrsteilnehmer teils durch Modifikation der Daten der realen Verkehrsteilnehmer und teils durch vollständig synthetische Generierung ohne Bezug zu den realen Verkehrsteilnehmern erzeugt.
Gemäß einer weiteren vorteilhaften Ausführungsform umfassen die Variationen der Ausgangsdatenbasis ein variierendes Verhältnis zwischen modellierten menschlichen Verkehrsagenten zu virtuellen Verkehrsteilnehmern.
Das Verhältnis zwischen den virtuellen Verkehrsteilnehmern und den modellierten menschlichen Verkehrsagenten zu variieren erlaubt eine Sensitivitätsanalyse bezüglich des Durchdringungsgrads automatisierter Verkehrsteilnehmer, insbesondere automatisierter Fahrzeuge. Die freie Variation dieses Verhältnis ist in einer physisch realen Situation nicht möglich. Vorteilhaft kann mithilfe dieser Ausführungsform die Sensitivität des automatischen Fahrsteuersystems auf den Anteil automatisch geführter Fahrzeuge im Verkehrsbereich um das eigene Fahrzeug ermittelt werden. Dies ist insofern von hohem Interesse, da automatisch geführte Fahrzeuge ein anderes Verhalten als menschlich geführte Fahrzeuge aufweisen. Der Anteil der automatisch geführten Fahrzeuge in Bezug auf sämtliche Verkehrsteilnehmer wird auch Durchdringungsgrad der automatisierten Fahrzeuge genannt.
Gemäß einer weiteren vorteilhaften Ausführungsform ist in der Ausgangsdatenbasis die Zahl der virtuellen Verkehrsteilnehmer größer als die Zahl der verwendeten realen Verkehrsteilnehmer.
Gemäß einer weiteren vorteilhaften Ausführungsform ist im Trainingsdatensatz der Anteil der virtuellen Verkehrsteilnehmer größer als im Validierungsdatensatz.
Gemäß einer weiteren vorteilhaften Ausführungsform werden in den durchgeführten Simulationen strategische und taktische, oder strategische, taktische und operative Simulationselemente für das Fahrzeug ausgeführt.
Die hybride, variierte Ausgangsdatenbasis dient insbesondere einem Training auf der strategischen, taktischen oder operativen Ebene. Ein Beispiel für die strategische Ebene ist die sinnvolle Routenwahl basierend auf definiertem Start- und Zielort. Ein Beispiel für die taktische Ebene ist die Ausführung des Manöverprädiktionsmoduls in Form der zukünftigen Trajektorien der das automatisierte Fahrzeug umgebenden Verkehrsteilnehmer in einer spezifischen Verkehrssituation. Hierbei kann jeweils beispielsweise das Verhalten / die Trajektorien der realen Verkehrsteilnehmer bei sicherem Passieren des jeweiligen Szenarios als Ground Truth herangezogen werden. Die operative Ebene betrifft insbesondere eine jeweilige Fahrzeugführungsfunktion. Ein weiteren naheliegenden Anwendungsfall stellt das Training eines Reinforcement-Learning-Agenten dar, der der entsprechenden Verkehrsdynamik ausgesetzt wird und abhängig von dessen Reaktion für sein Verhalten belohnt oder bestraft wird und so ein sicheres Verhalten über die relevanten Verkehrsszenarien hinweg erlernen kann.
Gemäß einer weiteren vorteilhaften Ausführungsform wird zum Durchführen des Anpassungsvorgangs von Parametern einer Fahrsteuerungsfunktion des automatischen Fahrsteuersystems eine Sensititvitätsanalyse über die Wirkung von Variationen der Ausgangsdatenbasis auf die jeweilige Reaktion des automatischen Fahrsteuersystems ermittelt und das Ergebnis der Sensititvitätsanalyse für einen zielgerichteten Anpassungsvorgang von Parametern einer Fahrsteuerungsfunktion des automatischen Fahrsteuersystems verwendet.
Mithilfe dieser Sensitivitätsanalyse wird nicht nur ein einzelner Datenpunkt im Simulationsraum betrachtet, sondern die Ausgangsdatenbasis um einen Datenpunkt herum variiert, um ein Gefühl für die Auswirkungen dieser Änderungen in mehreren Richtungen auf die Reaktion des automatischen Fahrsteuersystems zu bekommen. Dies betrifft insbesondere die Anzahl der modellierten automatisierten Verkehrsteilnehmer bezogen auf die gesamte Anzahl anderer in der Simulation simulierten Verkehrsteilnehmer. Dieser Durchdringungsgrad ist von besonderem Interesse bei der Sensitivitätsanalyse.
Gemäß einer weiteren vorteilhaften Ausführungsform wird bei der Validierung des automatischen Fahrsteuersystems eine Sensoreinheit des automatischen Fahrsteuersystems validiert, indem eine erneute Simulation durchgeführt wird und Ausgangsdaten der Simulation Eingangsdaten für die Sensoreinheit bilden.
Neben dem Algorithmus einer Fahrsteuerungsfunktion des automatischen Fahrsteuersystems wird mithilfe dieser Ausführungsform auch eine Umfelderfassung / Perzeption des automatisierten Fahrzeugs validiert. Bevorzugt wird zu diesem Zweck eine Sensoreinheit mit angeschlossenem Perzeptionsmodul betrachtet, wobei der Sensoreinheit künstlich Daten aus dem Simulator statt realen Daten zugespielt werden, um die Umfelderfassung und Perzeption des automatisierten Fahrzeugs zu validieren. Dies betrifft insbesondere Bilderkennungssoftware sowie Umgebungserfassungs-Algorithmen auf Basis von anderen Sensoreinheiten wie Radar und/oder Lidar. Es können vorteilhaft hierbei auch Materialeigenschaften und Reflexionen der relevanten statischen und dynamischen Objekte in der Umgebung der automatisierten Fahrfunktion von einem Visualisierungs-Modul in der Simulation angewendet werden, um realistische Zustände von erfassbaren Sensordaten zu erzeugen. Gemäß einer weiteren vorteilhaften Ausführungsform werden daher in der Simulation optische Materialeigenschaften und/oder Reflexionen der Umgebung des Fahrzeugs simuliert.
Gemäß einer weiteren vorteilhaften Ausführungsform erfolgen die Variationen der Ausgangsdatenbasis durch Aufprägung geänderter Wahrscheinlichkeitsverteilungen von Verkehrsagenten. Die Wahrscheinlichkeitsverteilungen (wie beispielsweise Normalverteilung, Binomialverteilung, weil Weibullverteilung) werden hierbei entsprechend variiert, um Szenarien unterschiedlich zu gestalten. Beispielsweise kann der Wert einer Standardabweichung von Zufallsgrößen wie dem Verhalten von Fußgängern erhöht werden, um differenziertere Szenarien zu erhalten.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Es zeigt:
Fig. 1 : Ein Verfahren zum Auslegen und Validieren eines automatischen Fahrsteuersystems eines Fahrzeugs gemäß einem Ausführungsbeispiel der Erfindung.
Fig. 1 zeigt ein Verfahren zum Auslegen und Validieren eines automatischen Fahrsteuersystems eines automatisierten Fahrzeugs. In einem ersten Schritt erfolgt ein Bereitstellen SO von Daten von in der Realität mit Hilfe einer Drohne beobachteten Verkehrsteilnehmern (Fußgängern, Fahrradfahrern, automatisierten und nicht automatisierten Personenkraftwagen, etc.) unter Zuordnung zum jeweiligen vorherrschenden Szenario, in dem die Verkehrsteilnehmer beobachtet wurden, insbesondere eine Kreuzung, eine Überlandstraße, eine Autobahnfahrt, etc.; die Daten der von der Drohne beobachteten Verkehrsteilnehmer umfassen ferner die Trajektorien der Verkehrsteilnehmer, d. h. deren Bahnkurven mit einer Zeitinformation. Außerdem wird die aktuelle Wetterlage im jeweils betrachteten Szenario von der Drohne registriert, um diese in den späteren Simulationen wieder abzubilden. Im folgenden Schritt S1 werden die von der Drohne erfassten Daten der realen Verkehrsteilnehmer zur Sicherstellung der Vollständigkeit der Daten aufbereitet, sodass für das automatische Fahrsteuersystem des Fahrzeugs einschließlich seiner Sensoreinheiten in der Simulationsumgebung die von ihm erfassbaren Daten auch tatsächlich zur Verfügung gestellt bekommt, ohne durch die Erfassung von der Drohne entstehenden Datenlücken zu übernehmen. Die durch die Drohne erfassten realen Verkehrsteilnehmer werden für die Simulationsumgebung als Verkehrsagenten modelliert. Bei dieser Erstellung S2 der hybriden Simulationsumgebung werden neben den aufbereiteten Daten aus der beobachteten Realität mit den modellierten Verkehrsagenten zusätzlich synthetische Daten virtueller Verkehrsteilnehmer hinzugefügt, wobei die synthetischen Daten vorteilhaft einen größeren Raum einnehmen als die realen Daten, d.h. dass zwar die real beobachteten Verkehrsteilnehmer mit ihren Trajektorien und mit ihrem Verhalten die Grundlage der Simulationen bilden, jedoch durch entsprechende Duplizierungen und Variationen der Duplizierungen erst die erhebliche Größe der Simulationen mit einer enorm großen Vielzahl von simulierten Szenarien ermöglichen. Diese hybride Datenbasis aus modellierten realen Verkehrsteilnehmern sowie vollständig synthetischen Verkehrsteilnehmern (jedoch auf den Daten der realen Verkehrsteilnehmern basieren können und lediglich weiter modifiziert sind, um beispielsweise ein noch aggressiveres Verhalten der anderen Verkehrsteilnehmer zu provozieren) wird als Ausgangsdatenbasis verwendet. Es erfolgt im weiteren Schritt S3 die Durchführung von mehreren Simulationen mit der erzeugten hybriden Simulationsumgebung mit der Ausgangsdatenbasis in vielfacher Parallelisierung der Simulationen und mit einem zeitlichen Skalenfaktor größer als Eins zur Echtzeit unter Einbindung des automatischen Fahrsteuersystems mit Simulationsdaten anstelle von Sensordaten. Dies bedeutet, dass eine große Vielzahl von Simulationen zum Erzeugen einer künstlichen Umgebung für das automatische Fahrsteuersystem zu gleicher Zeit parallel ausgeführt wird, beispielsweise auf einem Rechencluster mit einer Vielzahl von CPU-Kernen und/oder einem Verbund von Grafikkarten. Die Simulationsgeschwindigkeit ist dabei deutlich schneller als Echtzeit, sodass eine ungeheure Menge von Verkehrsteilnehmern, Szenarien, und gefahrenen Kilometern des automatisierten Fahrzeugs mit dem automatischen Fahrsteuersystem zum Auslegen und/oder Validieren des Fahrsteuersystems simuliert werden kann, um mit einer Datenmenge zu arbeiten, die durch Praxistests (d. h. einer realen Fahrt des Fahrzeugs) praktisch nicht erreichbar wäre. In den Simulationen werden Variationen der Ausgangsdatenbasis durchgeführt, um mit einer Sensititvitätsanalyse die jeweilige Reaktion des automatischen Fahrsteuersystems auf die Variationen in der hybriden Simulationsumgebung zu ermitteln. Auf Basis dieser Variationen und der Ergebnisse erfolgt die Erzeugung S4 eines Trainingsdatensatzes und eines Validierungsdatensatzes, um besonders kritische und sicherheitsrelevante Situationen herauszugreifen. So kann die Durchführung S5 eines Anpassungsvorgangs von Parametern einer Fahrsteuerungsfunktion des automatischen Fahrsteuersystems auf Basis des Trainingsdatensatzes erfolgen. Dies betrifft insbesondere Parameter eines künstlichen neuronalen Netzes, die durch Supervised Learning Methoden mehrfach angepasst werden können. Nach Abschluss aller Anpassungsvorgänge der Fahrsteuerungsfunktion erfolgt das Ausführen S6 einer Validierung des automatischen Fahrsteuersystems auf Basis des Validierungsdatensatzes, wobei zumindest ein Algorithmus der Fahrsteuerungsfunktion des automatischen Fahrsteuersystems validiert wird.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungs- formen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.
Bezugszeichenliste
50 Bereitstellen
51 Aufbereiten
52 Erstellen
53 Durchführung
54 Erzeugung
55 Durchführen
56 Ausführen

Claims

Patentansprüche
1. Verfahren zum Auslegen und Validieren eines automatischen Fahrsteuersystems eines Fahrzeugs, aufweisend die Schritte:
- Bereitstellen (SO) von Daten von in der Realität beobachteten Verkehrsteilnehmern unter Zuordnung zum vorherrschenden Szenario einschließlich der von den Verkehrsteilnehmern ausgeführten Trajektorien,
- Aufbereiten (S1) der Daten der realen Verkehrsteilnehmer zur Sicherstellung der Vollständigkeit der Daten, und Modellierung der realen Verkehrsteilnehmer als Verkehrsagenten,
- Erstellen (S2) einer hybriden Simulationsumgebung auf Basis der aufbereiteten Daten und der modellierten Verkehrsagenten unter Hinzufügung von synthetischen Daten virtueller Verkehrsteilnehmer als Ausgangsdatenbasis,
- Durchführung (S3) von Langzeit-Simulationen mit der hybriden Simulationsumgebung mit der Ausgangsdatenbasis in vielfacher Parallelisierung der Simulationen und mit einem zeitlichen Skalenfaktor größer als Eins zur Echtzeit unter Einbindung des automatischen Fahrsteuersystems mit Simulationsdaten anstelle von Sensordaten, wobei in den Simulationen Variationen der Ausgangsdatenbasis durchgeführt werden und die Reaktion des automatischen Fahrsteuersystems auf die hybride Simulationsumgebung ermittelt wird,
- Erzeugung (S4) eines Trainingsdatensatzes und eines Validierungsdatensatzes aus der variierten Ausgangsdatenbasis abhängig von Simulationsergebnissen zu kritischen und sicherheitsrelevanten Situationen,
- Durchführen (S5) eines Anpassungsvorgangs von Parametern einer Fahrsteuerungsfunktion des automatischen Fahrsteuersystems auf Basis des Trainingsdatensatzes, und nach Abschluss aller Anpassungsvorgänge der Fahrsteuerungsfunktion:
- Ausführen (S6) einer Validierung des automatischen Fahrsteuersystems auf Basis des Validierungsdatensatzes, wobei zumindest ein Algorithmus der Fahrsteuerungsfunktion des automatischen Fahrsteuersystems validiert wird.
2. Verfahren nach Anspruch 1 , wobei die synthetischen Daten der virtuellen Verkehrsteilnehmer teils durch Modifikation der Daten der realen Verkehrsteilnehmer erzeugt werden und teils durch vollständig synthetische Generierung erzeugt werden ohne Bezug zu den realen Verkehrsteilnehmern.
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Variationen der Ausgangsdatenbasis ein variierendes Verhältnis zwischen modellierten menschlichen Verkehrsagenten zu virtuellen Verkehrsteilnehmern umfassen.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei in der Ausgangsdatenbasis die Zahl der virtuellen Verkehrsteilnehmer größer ist als die Zahl der verwendeten realen Verkehrsteilnehmer.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei im Trainingsdatensatz der Anteil der virtuellen Verkehrsteilnehmer größer ist als im Validierungsdatensatz.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei in den durchgeführten Simulationen strategische, taktische und operative Simulationselemente für das Fahrzeug ausgeführt werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei zum Durchführen des Anpassungsvorgangs von Parametern einer Fahrsteuerungsfunktion des automatischen Fahrsteuersystems eine Sensititvitätsanalyse über die Wirkung von Variationen der Ausgangsdatenbasis auf die jeweilige Reaktion des automatischen Fahrsteuersystems ermittelt wird und das Ergebnis der Sensititvitätsanalyse für einen zielgerichteten Anpassungsvorgang von Parametern einer Fahrsteuerungsfunktion des automatischen Fahrsteuersystems verwendet wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Validierung des automatischen Fahrsteuersystems eine Sensoreinheit des automatischen Fahrsteuersystems validiert wird, indem eine erneute Simulation durchgeführt wird und Ausgangsdaten der Simulation Eingangsdaten für die Sensoreinheit bilden.
9. Verfahren nach Anspruch 8, wobei in der Simulation optische Materialeigenschaften und/oder Reflexionen der Umgebung des Fahrzeugs simuliert werden.
10. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Variationen der Ausgangsdatenbasis durch Aufprägung geänderter Wahrscheinlichkeitsverteilungen von Verkehrsagenten erfolgt.
EP23721888.8A 2022-06-22 2023-04-24 Auslegen eines automatischen fahrsteuersystems in massiv parallelen simulationen Pending EP4544528A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022206238.8A DE102022206238A1 (de) 2022-06-22 2022-06-22 Auslegen eines automatischen Fahrsteuersystems in massiv parallelen Simulationen
PCT/EP2023/060623 WO2023247092A1 (de) 2022-06-22 2023-04-24 Auslegen eines automatischen fahrsteuersystems in massiv parallelen simulationen

Publications (1)

Publication Number Publication Date
EP4544528A1 true EP4544528A1 (de) 2025-04-30

Family

ID=86329133

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23721888.8A Pending EP4544528A1 (de) 2022-06-22 2023-04-24 Auslegen eines automatischen fahrsteuersystems in massiv parallelen simulationen

Country Status (3)

Country Link
EP (1) EP4544528A1 (de)
DE (1) DE102022206238A1 (de)
WO (1) WO2023247092A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102024200725A1 (de) 2024-01-26 2025-07-31 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Generieren von synthetischen Sensordaten einer spezifischen Sensorgeneration

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017007136A1 (de) 2017-07-27 2019-01-31 Opel Automobile Gmbh Verfahren und Vorrichtung zum Trainieren selbstlernender Algorithmen für ein automatisiert fahrbares Fahrzeug
DE102019206908B4 (de) 2019-05-13 2022-02-17 Psa Automobiles Sa Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt, Kraftfahrzeug sowie System
DE102019219241A1 (de) 2019-12-10 2021-06-10 Psa Automobiles Sa Verfahren zum Erstellen eines Verkehrsteilnehmeralgorithmus zur Computersimulation von Verkehrsteilnehmern, Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt sowie Kraftfahrzeug
US20210294944A1 (en) * 2020-03-19 2021-09-23 Nvidia Corporation Virtual environment scenarios and observers for autonomous machine applications
EP3893161A1 (de) 2020-04-09 2021-10-13 Siemens Aktiengesellschaft Steuereinrichtung zum steuern eines technischen systems und verfahren zum konfigurieren der steuereinrichtung

Also Published As

Publication number Publication date
WO2023247092A1 (de) 2023-12-28
DE102022206238A1 (de) 2023-12-28

Similar Documents

Publication Publication Date Title
EP3970077B1 (de) Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt, kraftfahrzeug sowie system
DE102022112059B3 (de) Verfahren, System und Computerprogrammprodukt zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS)
DE102018128290A1 (de) Verfahren und vorrichtung zum erzeugen von szenarien und parametrischen sweeps für die entwicklung und bewertung von autonomen antriebssystemen
DE102017213634A1 (de) Verfahren und Vorrichtung für die Durchführung von virtuellen Tests in einer virtuellen Realitätsumgebung für ein autonom fahrendes Fahrzeug
DE102007053501A1 (de) Verfahren zur Entwicklung und/oder zum Testen wenigstens eines Sicherheits- und/oder Fahrerassistenzsystems für ein Kraftfahrzeug und Simulationsumgebung
DE102018128289A1 (de) Verfahren und vorrichtung für eine autonome systemleistung und zur einstufung
DE102019203712B4 (de) Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt, Kraftfahrzeug sowie System
DE102022132917A1 (de) Verfahren und System zur Bestimmung der Kritikalität und Kontrollierbarkeit von Szenarien für automatisierte Fahrfunktionen
DE202022106107U1 (de) System zur Prüfung von automatisierten Fahrsystemen der Stufe 3 (ADS)
DE102022132922A1 (de) Verfahren und System zur virtuellen Verifikation von automatisierten Fahrfunktionen
DE102023200314A1 (de) Erzeugung maschinenlesbarer Szenariobeschreibungen aus menschlichen Beschreibungen
DE102022127857A1 (de) Verfahren, System und Computerprogrammprodukt zur Sensitivitätsanalyse von Applikationsparametern für automatisierte Fahrfunktionen
DE102022117841B4 (de) Verfahren, System und Computerprogrammprodukt zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS) unter Berücksichtigung einer subjektiven Bewertung
DE102022107338B3 (de) Verfahren zum Testen von automatisierten Fahrzeugfunktionen
WO2023247092A1 (de) Auslegen eines automatischen fahrsteuersystems in massiv parallelen simulationen
DE102022116564A1 (de) Verfahren, System und Computerprogrammprodukt zur Bewertung von Testfällen zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS)
DE102019212829A1 (de) Automatisierte Erkennung eines anormalen Verhaltens eines Verkehrsteilnehmers
EP4505304A1 (de) Test einer automatischen fahrsteuerfunktion mittels semi-realer verkehrsdaten
DE102020214596A1 (de) Verfahren zum Erzeugen von Trainingsdaten für ein Erkennungsmodell zum Erkennen von Objekten in Sensordaten einer Umfeldsensorik eines Fahrzeugs, Verfahren zum Erzeugen eines solchen Erkennungsmodells und Verfahren zum Ansteuern einer Aktorik eines Fahrzeugs
WO2024179732A1 (de) Limitierter agentenmodelleinsatz in hybrid-verkehrssimulation mit realtrajektorien
DE102023124870A1 (de) Verfahren und System zur erweiterten automatisierten Kalibrierung von Funktionen eines Fahrerassistenzsystems
DE102023105227A1 (de) Verfahren und System zur Generierung von Testfällen mit kritischen Szenarien für ADAS/ADS-Systeme
DE102023117943B3 (de) Verfahren zu einer statistischen virtuellen Validierung von Fahrerassistenzsystemen
WO2023274594A1 (de) Auslegen eines automatisierungsalgorithmus eines fahrzeugs
DE102021214095A1 (de) Verfahren und System zum Erkennen von kritischen Verkehrsszenarien und/oder Verkehrssituationen

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20241105

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)