EP4677451A1 - Universelle transformation von verkehrsszenariendaten in simulationseingangsdaten - Google Patents

Universelle transformation von verkehrsszenariendaten in simulationseingangsdaten

Info

Publication number
EP4677451A1
EP4677451A1 EP24705660.9A EP24705660A EP4677451A1 EP 4677451 A1 EP4677451 A1 EP 4677451A1 EP 24705660 A EP24705660 A EP 24705660A EP 4677451 A1 EP4677451 A1 EP 4677451A1
Authority
EP
European Patent Office
Prior art keywords
input data
data
vehicle component
simulation
tested
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24705660.9A
Other languages
English (en)
French (fr)
Inventor
Ulrich Eberle
Sebastian Frank
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stellantis Auto SAS
Original Assignee
Stellantis Auto SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stellantis Auto SAS filed Critical Stellantis Auto SAS
Publication of EP4677451A1 publication Critical patent/EP4677451A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Prevention of errors by analysis, debugging or testing of software
    • G06F11/3668—Testing of software
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Prevention of errors by analysis, debugging or testing of software
    • G06F11/3668—Testing of software
    • G06F11/3696—Methods or tools to render software testable
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Prevention of errors by analysis, debugging or testing of software
    • G06F11/3698—Environments for analysis, debugging or testing of software

Definitions

  • the invention relates to a system for generating input data for a vehicle component to be tested by means of a simulation from a description of a traffic scenario, and to a method for producing a system for generating input data for a vehicle component to be tested by means of a simulation from a description of a traffic scenario.
  • Modern and future vehicles especially passenger cars and trucks, typically have a large number of sensors and data processing devices. These are usually part of driver assistance systems to support manual vehicle control or of automation systems for highly automated to fully autonomous vehicles (collectively referred to as “automated driving control systems”; English: “Advanced Driver Assistance Systems” or systems for “Autonomous Driving”, abbreviated to ADAS/AD).
  • automated driving control systems English: “Advanced Driver Assistance Systems” or systems for "Autonomous Driving”, abbreviated to ADAS/AD.
  • ADAS/AD Advanced Driver Assistance Systems
  • the vehicle control and thus the determination of the movement behavior of the vehicle is essentially the responsibility of the human driver and is therefore largely based on human perception, possibly supported by available sensor data from the vehicle and its automated driving control function (ADAS systems).
  • ADAS systems automated driving control function
  • the vehicle is increasingly taking on the task of object detection in the sense of the OEDR and the initiation of driving maneuvers in the sense of the DDT.
  • SAE J3016 in level 3 of the automation of the driving control function the responsibility for controlling the vehicle is transferred from a human user to the manufacturer of the respective automatic driving control system.
  • simulation-based methods are used and tested, especially with regard to the operating areas that are critical for the automated driving control systems. For example, through scenario-based By using the digital twin of the automated vehicle during early development phases, it is possible to estimate how safely the later real vehicle will operate in the open world (possibly within a limited operating range).
  • Such simulations can be used for system analysis with a very large number of parameter variations and can include, for example, behavioral simulations of other road users, but can also be used for component tests using hardware-in-the-loop tests, software-in-the-loop tests, model-in-the-loop tests, prototype-in-the-loop tests, etc.
  • So-called "adaptive replay to sim” methods are also known in the state of the art. In such methods, real scenarios are recorded and information about them is made available for a simulation in order to be able to carry out tests of driving control systems (or their sensors) based on realistic data.
  • the advantage of transferring the data into a simulation is the possibility of safe virtual testing, as well as the possibility of deliberately changing the data from reality.
  • the traffic simulation is carried out as a simulation of the traffic situation from the perspective of the traffic environment, whereby behavior and technology models are provided for each individual road user in the traffic simulation, so that a future traffic situation is simulated based on a variation of the behavior and technology models provided and whereby past environmental and vehicle data are also varied in the traffic simulation.
  • scenario libraries are also known for testing and/or validating automated driving control systems. These ideally contain descriptions of a large number of (ideally as strongly as possible) varying scenarios, so that a vehicle does not encounter fundamentally untested situations in later regular operation.
  • scenario descriptions are typically stored in a machine-readable and automatically storable form.
  • Scenario description languages are usually used for this purpose, which use special documentation and programming languages.
  • An example of this is the established scenario description language of the "ASAM e.V.” association called 'OpenSCENARIO®' for use in scenario libraries.
  • scenario libraries with data in machine-readable formats but which also have a context that is understandable to humans, such as "ADScene” and "SafetyPool”.
  • a scenario library In order to be able to use such a scenario library to investigate the behavior of a driving control system or its sensor unit in a reactive manner to the environment of a road user under consideration, in particular an automated vehicle (typically called a "vehicle under test"), the journey of this selected
  • the behavior of the real road user under consideration can be simulated, while the behavior of the other real road users and the environmental parameters can be taken from the scenario library and in this case are based on real data.
  • a first aspect of the invention relates to a system for generating input data for a vehicle component to be tested by means of a simulation from a description of a traffic scenario, wherein the vehicle component to be tested has an input interface for receiving the input data, wherein the system has a computing unit with a first interface for receiving a specification with information about a necessary condition and/or about a necessary data format of the input data for Compatibility with the vehicle component and for obtaining information about a traffic scenario intended for the simulation, wherein the computing unit is designed to transform the information about the traffic scenario into the input data by executing a processing module with a pre-trained artificial neural network such that the input data is compatible with the vehicle component to be tested in accordance with the specification, wherein the processing module can transform a large number of different types of information about a respective traffic scenario in terms of nature and/or data format into input data, and wherein the computing unit is designed to execute a physics module to ensure the physical plausibility of the input data generated by the processing module in order to transform input data describing at least
  • the vehicle component to be tested is either integrated into the simulation as a physical device using a hardware-in-the-loop method, or is virtually mapped and also simulated.
  • a vehicle component (as a physical device or as a virtual image or in the form of an implementation of an algorithm) for testing in a simulation, which has an input interface to receive input data.
  • these input data are in particular information carriers, such as images (in which case the sensor corresponds to a camera) or radio waves (in which case the sensor corresponds to a radar sensor).
  • the input data can correspond to the output data of a sensor and can be transmitted, for example, as an image data stream in a data-technical video format to the vehicle component as input data in the vehicle, so that precisely this (generated) interface is deliberately used in the simulation to send artificial video data generated by the processing module to the vehicle component to be tested in the sense of the computing module processing the video images.
  • the specification with the information about the necessary compatibility includes, for example, the specification that the vehicle component to be tested has an input interface that has an Ethernet adapter or is an interface to a vehicle CAN bus, so that the input data must also be transmitted to the vehicle component to be tested via a CAN bus (physically or virtually represented in the simulation).
  • the vehicle component receives data via the input interface that is fully compatible for its intended use.
  • Cameras are designed to capture visual information, lidar sensors to capture reflections in the vicinity of an emitted laser beam, radar sensors to capture the reflected radar waves of the environment, ultrasonic sensors to capture reflected ultrasound, etc.
  • any interfaces in the downstream of a sensor can also be used with the corresponding formats of the data generated by the artificial neural network, with the coordination of time synchronization (preferably in real time) of the relevant vehicle component.
  • the vehicle component to be tested can be embedded in the simulation as a physical element (or its virtual image in the simulation) at any interface of a vehicle's data bus, and the protocol provided on this data bus can be adhered to in all its aspects in the data generated by the artificial neural network.
  • the vehicle component to be tested is always supplied with data that it could in principle also receive in a real journey of the vehicle with this vehicle component.
  • embedding the vehicle component to be tested in the simulation with the input data generated by the artificial neural network in a compatible manner opens up the possibility of arbitrarily varied data in order to create a simulation volume that would not be practicable in real test drives using a real vehicle due to the large amount of test time required.
  • the processing module is advantageously designed in such a way that it can receive a large number of different descriptions of a respective desired traffic scenario in order to convert these descriptions into the compatible form described above for the vehicle Component.
  • Such different descriptions are advantageously at least one of image sequences (from the ego perspective and/or from a bird's eye view), internal vehicle communication (such as from a real journey on a vehicle's CAN bus), descriptions in human language, descriptions in flow charts, text in natural language, data from internal vehicle communication, V2X data, specified description languages (e.g. OpenScenario), silent testing data, symbolic scenario descriptions, databases, image descriptions, video sequences from entertainment films or documentaries, etc.; what these data sources have in common is that information about a traffic event or parts of it is explicitly or implicitly included.
  • the computing unit By executing the pre-trained artificial neural network, the computing unit generates an abstracted internal representation of the information about the intended traffic scenario and, derived from this, suitable input data for the input interface.
  • the processing module therefore has a model for scenario representation, particularly internally.
  • This model for scenario representation is preferably based on a translation model based on a transformer network (known from: Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L, Gomez, A. N., . . . Polosukhin, I. (2017). "Attention is All you Need.” Proceedings of the 31st International Conference on Neural Information Processing Systems (pp. 6000-6010). Red Hook, NY, USA: Curran Associates Inc.), which, due to its network architecture, is able to convert the input data, which is available in various formats, into an internal representation (compare autoencoders for encoding and subsequent decoding of data).
  • the processing module includes the artificial neural network for the internal representation of scenarios based on different formats of information about a selected traffic scenario.
  • the tuples include, in particular on the input part side, one or more images of a driving scene in the sense of a snapshot or frame of a traffic scenario and associated description or from a text in natural language and simultaneously recorded vehicle communication data.
  • the information required by the input part is in particular generated synthetically in an upstream simulation and/or is obtained from silent testing recordings or real driving records or from data freely available on the Internet. This procedure can be used to obtain the amount of data required for machine learning models. The amount of data obtained is further increased by suitable permutations.
  • the processing module includes therefore either a very large artificial neural network, or is formed by an interconnection of several domain-specific artificial neural networks.
  • the physics module checks the current internal representation in particular, whereby the scenario representation model makes the current representation available to the physical model, which evaluates the physical plausibility of the internal representation and can thus, for example, monitor specified limits of the vehicle physics. If the metrics of the physical model (for example, maximum acceleration, speed) are below a threshold value, the input data can be output.
  • the metrics of the physical model for example, maximum acceleration, speed
  • the artificial neural network was pre-trained in particular with corresponding predefined pairs of input data and output data, preferably within the framework of the "supervised learning" method known in the broad field of machine learning.
  • an extremely high number of such pairs of various combinations of information about a traffic scenario intended for simulation with a large number of different vehicle components with their respective input interfaces are preferably specified and used to design parameters of the artificial neural network.
  • These parameters are designed in such a way that an execution of the artificial neural network on the basis of the input data also generates the associated and predefined output data, so that in the future usable output data can also be obtained with other input data.
  • the artificial neural network is designed and pre-trained in such a way that the transformation of information about a traffic scenario intended for simulation into the input data takes place with a high degree of realism.
  • the degree of realism is defined here in such a way that the differences between real recording and synthetically generated data are minimized.
  • Vehicle component means in particular that the input data is in a form that can be processed by a computer module of the vehicle component to be tested (e.g. as text, image file, video file, ...), and within these categories in the correct format with the corresponding conventions for the file structure or the structure of the data stream.
  • the data for the vehicle component to be tested can be, for example, video sequences from the front camera of a vehicle, wave patterns for radar or ultrasonic sensors, WLAN communication packets, messages from the internal vehicle communication (CAN, LIN, Ethernet, ...), or, depending on the desired application and vehicle component to be tested, other data formats.
  • the proposed invention makes it possible to generate domain-specific input data. For example, an automated vehicle on a test bench would require realistic image data for the camera. In this way, information about a traffic scenario intended for a simulation is used to generate physically plausible and temporally coordinated images that can be recorded by the vehicle camera, for example, as a vehicle component to be tested. Another example is the generation of radar data to embed the vehicle's radar system in a simulation in a situation-appropriate manner.
  • the road users present in the scenario described thus receive a radar echo that matches the current situation.
  • the input data also include control signals for simulation hardware, provided that the input data cannot directly represent the target format of the input interface. This includes, for example, the display of output image sequences using a projector or screen or, for example, modulation signals for radio network simulation devices. It is therefore also advantageous that the complexity of the required simulation hardware can be gradually reduced, depending on the performance of the computing unit used. This means that the corresponding input data for the vehicle component to be tested with its input interface is available for testing embedded in a simulation. Such testing of the vehicle component includes, in particular, a large number of scenarios in order to be able to test the vehicle component for safe operation and then validate it.
  • dynamic equations are implemented in the physics module, which have basic kinematic equations for the relationship between inertia, accelerations, and forces or moments.
  • the physics module comprises a physics model pre-trained by machine learning.
  • kinematic limit values can be specified.
  • maximum accelerations for starting and deceleration of road users are defined, maximum centrifugal forces and thus accelerations for cornering, maximum pedestrian speeds and the like. Inertia effects are also preferably taken into account, according to which jump signals, for example in speeds, cannot occur in nature.
  • the computing unit is designed to execute a synchronization module in order to coordinate a large number of temporally related pieces of information about the traffic scenario for the simulation and to transform the input data into a time scale suitable for the vehicle component to be tested in a synchronized manner, in particular in real time.
  • the information about the traffic scenario intended for the simulation comprises information from a scenario library.
  • the information about the traffic scenario intended for the simulation comprises information about a past real traffic scenario recorded at least with a camera unit.
  • the computing unit has a second interface for detecting a manually specified variation of the information about the traffic scenario, so that the processing module can generate compatible input data based on the manually specified variations of the information about the traffic scenario for the vehicle component to be tested.
  • the computing unit is designed to continuously generate new and current input data for the vehicle component to be tested during the runtime of the simulation.
  • a further aspect of the invention relates to a method for producing a system for generating input data for a vehicle component to be tested by means of a simulation from a description of a traffic scenario, comprising the steps:
  • a processing module of the system by training an artificial neural network of the processing module by specifying data pairs, wherein a predetermined input part of the data pairs comprises information about a traffic scenario and a predetermined output part of the data pairs comprises input data for (and compatible with) an input interface of a vehicle component to be tested, wherein sequentially different information is specified for different traffic scenarios and wherein sequentially different input data associated with the traffic scenarios are specified for different vehicle components, so that after completion of the training the processing module is able to process different information about traffic scenarios with regard to their nature and/or data format;
  • the physics module serves to ensure the physical plausibility of the input data generated by the processing module and is generated in the above-mentioned process by machine learning methods, in particular by training an artificial neural network.
  • Fig. 1 A method for producing a system for generating input data for a vehicle component to be tested by means of a simulation from a description of a traffic scenario according to an embodiment of the invention.
  • Fig. 2 A system for generating input data for a vehicle component, which is generated by the method of Fig. 1.
  • Fig. 1 shows a method for producing a system for generating input data for a vehicle component 1 to be tested by means of a simulation (see Fig. 2) from a description of a traffic scenario.
  • the generation S1 of a processing module of the system takes place by training an artificial neural network of the processing module by specifying data pairs, wherein a predetermined input part of the data pairs comprises information about a traffic scenario and a predetermined output part of the data pairs comprises input data for an input interface of a vehicle component 1 to be tested, wherein sequentially different information is specified for different traffic scenarios and wherein sequentially different input data associated with the traffic scenarios for different vehicle components 1 are specified, so that the After training is complete, the processing module is able to process various types of information about traffic scenarios in terms of their nature and/or data format.
  • the internal representation generated by this processing module to generate the input data does not have to follow the laws of physics.
  • the physics module is used.
  • the physics module is used to shape internal representations based on physically plausible processes.
  • the physics module receives an image of the internal representation and forms a reward function using a metric (for example, the extent to which a maximum acceleration is exceeded).
  • the reward is fed into the model for internal representation so that physical conditions can be memorized using reinforcement learning (e.g. deep Q-learning).
  • a physics module of the system is generated S2 by training an artificial neural network of the physics module; the input data generated by the processing module must also be generated taking into account the vehicle geometry and the physical and electronic architecture of the vehicle component to be tested.
  • Two approaches are used to take the vehicle geometry into account: A model trained without concrete vehicle geometry serves as an abstract basis for specialized forms of the proposed solution. This pre-trained network is then trained in a further process of reinforcement learning using a physical unit, which now takes the extended conditions of the vehicle geometry into account. Another approach is the use of recorded data from the target vehicle, which is now used to fine-tune the pre-trained model.
  • the integration S3 of the generated processing module and the generated physics module into a common system takes place by creating a common interface between the processing module and the physics module.
  • Fig. 2 shows a system for generating input data for a vehicle component 1 to be tested by means of a simulation from a description of a traffic scenario, wherein the vehicle component 1 to be tested has an input interface for receiving the input data.
  • the vehicle component 1 to be tested in this example of Fig. 2 is an automated driving control system for controlling the longitudinal and lateral movement of a vehicle. For the test, the vehicle component 1 is reduced to a front camera and the processing unit. Other components of the vehicle component 1 to be tested are in a simulation. The task is now to check the ability of the vehicle component 1 to be tested to drive through a given scenario without risk.
  • the system for generating the input data has a computing unit 3 with a first interface 5 for obtaining a specification with information about a necessary quality and/or a necessary data format of the input data for compatibility with the vehicle component 1 and for obtaining information about a traffic scenario intended for the simulation.
  • the input data is pre-recorded data from at least one past real traffic scenario, obtained from data from stationary traffic space observation and using drones. These describe trajectories of vehicles.
  • the computing unit 3 is also designed to transform the information about the traffic scenario into the input data by executing a processing module with a pre-trained artificial neural network so that the input data is compatible with the vehicle component 1 to be tested in accordance with the specification, wherein the processing module can transform a large number of different types of information about a respective traffic scenario in terms of quality and/or data format into input data.
  • the computing unit By executing the artificial neural network based on the information about the given traffic scenario, the computing unit generates a basic scene that can be displayed as a sequence of realistic images on a monitor for the camera of the system to be tested.
  • the computing unit 3 executes a physics module to ensure the physical plausibility of the input data generated by the processing module in order to transform input data describing at least physically impossible conditions for the vehicle component 1 to be tested into physically possible conditions.
  • the vehicle component 1 to be tested is part of a virtual vehicle that replaces one of the road users from the real traffic scenario and independently drives to a given target position in this traffic scenario and acts independently to reach this target position. It therefore replaces one of these vehicles and acts independently with a given target position in this scenario.
  • the behavior of the vehicle component 1 to be tested is also made available to the processing module. This behavior is transmitted in JavaScript object notation format (JSON). Due to the internal representation, the elements of the generated images are adaptable.
  • JSON JavaScript object notation format
  • Another software unit checks the plausibility of the created scenario and describes changes in the behavior of the road users. These can be transferred to the processing module in XML, for example.
  • the scenario representation is continuously updated according to the data in order to be able to depict the current state of all road users at any time.
  • a test engineer who is sporadically present wants to vary the parameters of the scenario in order to quickly check an incident. He expresses this in natural language: "Please increase the speed of the vehicle in front by 20 km/h for the next 10 minutes of the simulation.
  • the computing unit 3 adapts the generation of the input data via this command received via the second interface, so that the input data is adjusted according to the command and remains compatible with the input interface of vehicle component 1.
  • the vehicle in front would now accelerate when entered. This behavior is then shown in the realistic images. The change in behavior would also affect the images generated.
  • the output data is physically correct in all cases and adapted to the physical conditions of the scene and the sensor of vehicle component 1. In this example, the installation position of the camera and its specifications are also taken into account.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein System zum Erzeugen von Eingangsdaten für eine mittels einer Simulation zu testende Fahrzeugkomponente (1) aus einer Beschreibung eines Verkehrsszenarios, aufweisend eine Recheneinheit (3), die dazu ausgeführt ist, durch Ausführung eines Verarbeitungsmoduls mit einem vortrainierten künstlichen neuronalen Netz Informationen über ein Verkehrsszenario in zur Fahrzeugkomponente (1) kompatible Eingangsdaten zu transformieren, wobei durch das Verarbeitungsmodul eine Vielzahl bezüglich Beschaffenheit und/oder Datenformat verschiedenartiger Informationen über ein jeweiliges Verkehrsszenario in Eingangsdaten transformiert werden können, und wobei die Recheneinheit (3) dazu ausgeführt ist, ein Physikmodul auszuführen zur Sicherstellung der physikalischen Plausibilität der durch das Verarbeitungsmodul erzeugten Eingangsdaten.

Description

UNIVERSELLE TRANSFORMATION VON VERKEHRSSZENARIENDATEN IN SIMULATIONSEINGANGSDATEN
Die Erfindung betrifft ein System zum Erzeugen von Eingangsdaten für eine mittels einer Simulation zu testende Fahrzeugkomponente aus einer Beschreibung eines Verkehrsszenarios, sowie ein Verfahren zum Herstellen eines Systems für die Erzeugung von Eingangsdaten für eine mittels einer Simulation zu testende Fahrzeugkomponente aus einer Beschreibung eines Verkehrsszenarios.
Moderne und zukünftige Fahrzeuge, insbesondere Personenkraftwagen sowie Lastkraftwagen, verfügen typischerweise über eine Vielzahl von Sensoren und Datenverarbeitungseinrichtungen. Diese sind gewöhnlich Teil von Fahrerassistenzsystemen für die Unterstützung einer manuellen Fahrzeugführung der Fahrzeuge oder von Automatisierungssystemen für hochautomatisierte bis hin zu gänzlich autonomen Fahrzeugen (zusammengefasst unter „automatisierte Fahrsteuersysteme“; englisch: "Advanced Driver Assistance Systems" bzw. Systeme für "Autonomous Driving", zusammen abgekürzt ADAS/AD). Um einen sicheren Betrieb eines Fahrzeugs mit einem solchen Fahrsteuersystem sicherzustellen, müssen seine Hardware sowie Software, die für den Betrieb seines automatisierten Fahrsteuersystems nötig sind, ausreichend geprüft werden.
Bei Fahrzeugen, die von einem menschlichen Fahrer im Hinblick auf die sogenannte “Dynamic Driving Task” (DDT) und im Hinblick auf die sogenannte “Object and Event Detection and Response” (OEDR) geführt werden, obliegt die Fahrzeugführung und somit die Bestimmung des Bewegungs-Verhaltens des Fahrzeugs im Wesentlichen dem menschlichen Fahrer, und basiert damit größtenteils auf menschlicher Perzeption, unter Umständen unterstützt durch zur Verfügung stehende Sensordaten des Fahrzeugs und seiner automatisierten Fahrsteuerfunktion (ADAS-Systeme). Durch die fortschreitende Entwicklung von automatisierten Fahrsystemen übernimmt das Fahrzeug jedoch immer mehr die Aufgabe der Objekterkennung im Sinne der OEDR und der Einleitung von Fahrmanövern im Sinne der DDT. Somit geht ab SAE J3016 in der Stufe 3 der Automation der Fahrsteuerfunktion die Verantwortung über die Kontrolle des Fahrzeugs von einem menschlichen Anwender auf den Hersteller des jeweiligen automatischen Fahrsteuerungssystems über.
In der Entwicklung und Validierung von automatischen Fahrsteuerungssystemen werden besonders in Bezug auf die für die automatisierte Fahrsteuersysteme kritischen Betriebsbereiche simulationsbasierte Methoden genutzt und geprüft. Durch z.B. szenarienbasier- tes Entwickeln und Testen kann so schon durch Nutzung des digitalen Zwillings des automatisierten Fahrzeugs während früher Entwicklungsphasen eingeschätzt werden, wie sicher das spätere reale Fahrzeug im Einsatz in der offenen Welt (unter Umständen innerhalb eines beschränkten Betriebsbereichs) agieren wird. Solche Simulationen können mit einer sehr großen Vielzahl von Parametervariationen zur Systemanalyse verwendet werden und beispielsweise Verhaltenssimulationen von anderen Verkehrsteilnehmern umfassen, aber auch zu Komponententests durch Hardware-in-the-Loop Tests, Software-in-the- Loop Tests, Model-in-the-Loop Tests, Prototype-in-the-Loop Tests, etc. verwendet werden.
Im Stand der Technik sind auch sogenannte "Adaptive-Replay-to-Sim" Verfahren bekannt. In solchen Verfahren werden reale Szenarien aufgenommenen und Informationen darüber für eine Simulation zur Verfügung gestellt, um somit an realistischen Daten angelehnt Tests von Fahrsteuerungssystemen (oder ihrer Sensoren) durchführen zu können. Der Vorteil der Überführung der Daten in eine Simulation ist die Möglichkeit der gefahrlosen virtuellen Testung, sowie die Möglichkeit der bewussten Veränderung der Daten aus der Realität.
Die DE 102019206 908 B4 betrifft hierzu ein Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, wobei das Steuergerät zur Umsetzung einer automatisierten bzw. autonomen Fahrfunktion unter Eingriff in Aggregate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus vorgesehen ist, wobei der Algorithmus durch ein selbstlernendes neuronales Netz trainiert wird, umfassend folgende Schritte: a) Bereitstellen eines Computerprogrammproduktmoduls für die automatisierte bzw. autonome Fahrfunktion, wobei das Computerprogrammproduktmodul den zu trainierenden Algorithmus und das selbstlernende neuronale Netz enthält, b) Einbetten des trainierten Computerprogrammproduktmoduls in das Steuergerät des Kraftfahrzeugs, c) Fahren des Kraftfahrzeugs in einer real existierenden Verkehrsumgebung durch einen menschlichen Fahrer, wobei die Fahrt eine gefahrene Trajektorie bestimmt, d) Zuführen von Daten einer Umgebungssensorik und einer Kraftfahrzeugsensorik zu dem Steuergerät und Berechnen einer virtuellen Trajektorie durch den Algorithmus, e) Ableiten einer Metrik aus einem Vergleich der gefahrenen Trajektorie und der virtuellen Trajektorie sowie Speichern der Daten der Umgebungssensorik und der Kraftfahrzeugsensorik in einem Speicher, wenn für eine Verkehrssituation bestimmte Metrikkriterien erfüllt sind, f) Zurverfügungstellen von Informationen betreffend die Verkehrssituation an eine Verkehrssimulation, g) Analyse der Verkehrssituation durch die Verkehrssimulation, wobei anhand der Kartendaten, der Umgebungssensorik und der Kraftfahrzeugsensorik ein virtuelles Abbild der Verkehrssituation erstellt wird, wobei mittels der Verkehrssimulation die Daten der Verkehrssituation variiert werden, und h) Trainieren des Algorithmus durch die Variation der Verkehrssituation. Die Verkehrssimulation wird als eine Simulation der Verkehrssituation aus der Perspektive der Verkehrsumgebung durchführt, wobei in der Verkehrssimulation Verhaltens- und Technologiemodelle für jeden einzelnen Verkehrsteilnehmer bereitgestellt werden, so dass eine zukünftige Verkehrssituation basierend auf einer Variation der bereitgestellten Verhaltens- und Technologiemodellen simuliert werden und wobei ferner auch zeitlich vergangene Umgebungsund Kraftfahrzeugdaten in der Verkehrssimulation variiert werden.
Auch aus der Publikation "A Needle in a Haystack - How to Derive Relevant Scenarios for Testing Automated Driving Systems in Urban Areas" von Nico Weber, Dr.-lng. Christoph Thiem und Prof. Dr.-lng. Ulrich Konigorski des Preprints für "30th Aachen Colloquium Sustainable Mobility 2021" ist es bekannt, rigide Szenarien zur Verkehrssimulation zu verwenden und zu flexibilisieren. Darin wird basierend auf einem „Adaptive-Replay-to- Sim“ Ansatz eine simulationsbasierte Toolchain für die Entwicklung und den Test von mit automatischen Fahrsteuerungssystemen ausgestatteten Fahrzeugen im urbanen Umfeld vorgestellt. Multimodale Interaktionen verschiedener Verkehrsteilnehmer werden hierbei betrachtet und u.a. für eine Rückspeisung in eine Szenario-Datenbank bereitgestellt.
Zum Testen und/oder Validieren von automatisierten Fahrsteuersystem ist zudem die Verwendung von Szenarienbibliotheken bekannt, die idealerweise Beschreibungen einer Vielzahl von (idealerweise möglichst stark) variierenden Szenarien aufweist, sodass ein Fahrzeug im späteren Regelbetrieb möglichst nicht auf prinzipiell ungetestete Situationen trifft. In solchen Szenarienbibliotheken werden typischerweise Szenarien-Beschreibungen in maschinenlesbarer und automatisiert ablegbarer Form gespeichert gehalten. Dazu werden zumeist Szenariobeschreibungssprachen verwendet, welche spezielle Dokumentati- ons- und Programmsprachen verwenden. Ein Beispiel hierfür ist die etablierte Szenarien- beschreibungssprache des Vereins "ASAM e.V." mit dem Namen 'OpenSCENARIO®' für die Nutzung in Szenarien-Bibliotheken. Es existieren darüber hinaus Szenarienbibliotheken mit Daten in maschinen-lesbaren Formaten, die jedoch auch menschlich verständlichen Kontext aufweisen, etwa "ADScene" und "SafetyPool".
Um mit Hilfe einer solchen Szenarienbibliothek das Verhalten eines Fahrsteuerungssystems oder seiner Sensoreinheit in reaktiver Weise auf die Umgebung eines betrachteten Verkehrsteilnehmers, insbesondere eines automatisierten Fahrzeugs (typischerweise genannt "vehicle under test"), untersuchen zu können, kann die Fahrt dieses ausgewählten betrachteten realen Verkehrsteilnehmers simuliert werden, während das Verhalten der anderen realen Verkehrsteilnehmer sowie die Umgebungsparameter der Szenarienbiblio- thek entnommen werden können und in diesem Fall auf realen Daten basieren.
Aus der generellen Schwierigkeit heraus, die Informationen von Datenquellen wie die o.g. realen Verkehrsszenarien (vergleiche die oben eingeführten "Adaptive Replay to Sim" Ansätze) in eine für eine Simulation geeignete Datenstruktur und/oder Datenqualität zu übersetzen, besteht ein Bedarf, simulationsgerechte Daten leichter zur Verfügung zu stellen, da sich nicht notwendigerweise alle Datenquellen wie realitätsbasierte Daten aus echten Verkehrsszenarien sowie Variationen aus Informationen der Szenarienbibliotheken unmodifiziert dazu eignen, zum Systemtest in Simulationen verwendet zu werden, sei es in Hardware-in-the-Loop Tests oder Software-in-the-Loop Tests, oder Model-in-the-Loop Tests einzelner Komponenten des Fahrzeugs wie Sensoren oder Recheneinheiten eines automatisierten Fahrsteuerungssystems, oder sei es für systemische Tests von Verhalten automatisierter Fahrzeuge als Ganzes und mit all ihren Subsystemen bis hin zu automatisierten Fahrzeugen in Wechselbeziehung zueinander. Je nach Substitutionsgrad der zu testenden Fahrzeugkomponente (durch Hardware-in-the-Loop, Prototype-in-the-Loop, Software-in-the-Loop, Model-in-the-Loop, ...) kann es nötig sein, dass Eingangsdaten der in die Simulation eingebundenen Fahrzeugkomponente künstlich synthetisiert werden müssen. Sollen dagegen solche Szenarienbibliotheken bereits diese Eignung aufweisen, adäquate Daten als Systemeingang zum Testen einer Fahrzeugkomponente zu umfassen, besteht wiederum das Problem, solche adäquate Daten aus anderen Datenquellen für die Szenarienbibliotheken bilden zu müssen.
Es ist daher Aufgabe der Erfindung, diese Probleme zu beheben und leichter aus (vielfältigen) Datenquellen für einen Simulationstest einer Fahrzeugkomponente kompatible Daten bereitzustellen.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
Ein erster Aspekt der Erfindung betrifft ein System zum Erzeugen von Eingangsdaten für eine mittels einer Simulation zu testende Fahrzeugkomponente aus einer Beschreibung eines Verkehrsszenarios, wobei die zu testende Fahrzeugkomponente eine Eingangsschnittstelle zum Erhalt der Eingangsdaten aufweist, wobei das System eine Recheneinheit mit einer ersten Schnittstelle zum Erhalten einer Vorgabe mit Informationen über eine nötige Beschaffenheit und/oder über ein nötiges Datenformat der Eingangsdaten für Kompatibilität mit der Fahrzeugkomponente und zum Erhalten von Informationen über ein für die Simulation vorgesehenes Verkehrsszenario aufweist, wobei die Recheneinheit dazu ausgeführt ist, durch Ausführung eines Verarbeitungsmoduls mit einem vortrainierten künstlichen neuronalen Netz die Informationen über das Verkehrsszenario in die Eingangsdaten so zu transformieren, dass die Eingangsdaten zur zu testenden Fahrzeugkomponente gemäß der Vorgabe kompatibel sind, wobei durch das Verarbeitungsmodul eine Vielzahl bezüglich Beschaffenheit und/oder Datenformat verschiedenartiger Informationen über ein jeweiliges Verkehrsszenario in Eingangsdaten transformiert werden können, und wobei die Recheneinheit dazu ausgeführt ist, ein Physikmodul auszuführen zur Sicherstellung der physikalischen Plausibilität der durch das Verarbeitungsmodul erzeugten Eingangsdaten, um zumindest physisch unmögliche Gegebenheiten beschreibende Eingangsdaten für die zu testende Fahrzeugkomponente in physisch mögliche Gegebenheiten zu transformieren.
Die zu testende Fahrzeugkomponente wird entweder als physisches Gerät in der Verwendung in einer Hardware-in-the-Loop Methode in die Simulation integriert, oder virtuell abgebildet und ebenfalls simuliert.
Es wird daher insbesondere eine solche Fahrzeugkomponente (als physische Vorrichtung oder als virtuelles Abbild oder in Form einer Implementierung eines Algorithmus) für den Test in einer Simulation vorgesehen, welche eine Eingangsschnittstelle aufweist, um Eingangsdaten zu erhalten. Ist die Fahrzeugkomponente ein Sensor, so sind diese Eingangsdaten insbesondere Informationsträger, wie Bilder (dann entspricht der Sensor einer Kamera), oder Radiowellen (dann entspricht der Sensor einem Radarsensor). Ist die Fahrzeugkomponente ein Algorithmus oder ein Rechenmodul mit dem darauf implementierten Algorithmus, so können die Eingangsdaten den Ausgangsdaten eines Sensors entsprechen, und beispielsweise als Bilddatenstrom in einem datentechnischen Videoformat an die Fahrzeugkomponente als Eingangsdaten im Fahrzeug übermittelt werden, sodass genau diese (erzeugte) Schnittstelle in der Simulation bewusst genutzt wird, um künstliche Videodaten, welche von dem Verarbeitungsmodul erzeugt wurden, an die zu testende Fahrzeugkomponente im Sinne des verarbeitenden Rechenmoduls der Videobilder gesendet werden. Die Vorgabe mit den Informationen über die notwendige Kompatibilität umfasst dabei beispielsweise die Vorgabe, dass die zu testende Fahrzeugkomponente eine Eingangsschnittstelle aufweist, die einen Ethernet-Adapter aufweist, oder eine Schnittstelle an einen Fahrzeug CAN Bus ist, sodass die Eingangsdaten auch über einen CAN Bus (physisch oder virtuell in der Simulation abgebildet) an die zu testende Fahrzeugkomponente übermittelt werden müssen. Es ist daher insbesondere Aufgabe des künstlichen neuronalen Netzes des Verarbeitungsmoduls, jeweils abhängig von der Vorgabe über die nötige Beschaffenheit bzw. dem nötigen Datenformat der Eingangsdaten, kompatible und damit passende Daten für die Eingangsschnittstelle und die Fahrzeugkomponente als Ganzes zu erzeugen. Es wird daher vorteilhaft sichergestellt, dass die Fahrzeugkomponente über die Eingangsschnittstelle Daten erhält, welche vollumfänglich kompatibel für ihre bestimmungsgemäße Anwendung sind. Dies umfasst insbesondere, wie oben bereits beschrieben, ein entsprechendes Datenformat, da typischerweise sämtliche elektronischen Fahrzeugkomponenten auf eines oder eine begrenzte Anzahl von Datenformaten ausgelegt sind. Kameras sind auf die Erfassung von visuellen Informationen ausgelegt, Lidar- Sensoren auf die Erfassung von Reflexionen in der Umgebung eines ausgesendeten Laserstrahl, Radarsensoren entsprechend auf die reflektierten Radarwellen der Umgebung, Ultraschallsensoren auf reflektierten Ultraschall, usw.; sodass diesen Sensoren ihre entsprechenden Informationen, die sie in der Realität sonst natürlicherweise erfassen, basierend auf dem Ergebnis der Berechnungen des künstlichen neuronalen Netzes erhalten (in den obigen Beispielen entsprechend Umgebungsbilder (beispielsweise auf eine Leinwand projiziert), Ultraschallwellen, Radiowellen, Lichtwellen im Frequenzbereich des Lasers des Lidars, etc.); auch können beliebige Schnittstellen im Abstrom eines Sensors mit den entsprechenden Formaten der vom künstlichen neuronalen Netz erzeugten Daten unter Koordination einer Zeitsynchronisation (bevorzugt zur Echtzeit) der zutreffenden Fahrzeugkomponente angewendet werden. So kann an beliebigen Schnittstellen eines Datenbus eines Fahrzeugs beispielsweise die zu testende Fahrzeugkomponente als physisches Element (oder dessen virtuelles Abbild in der Simulation) in die Simulation eingebettet werden, und das an diesem Datenbus vorgesehene Protokoll in all seinen Aspekten in den vom künstlichen neuronalen Netz erzeugten Daten eingehalten werden. So wird in der Simulation in jedem Fall die zu testende Fahrzeugkomponente mit Daten versorgt, welche sie prinzipiell in einer realen Fahrt des Fahrzeugs mit dieser Fahrzeugkomponente auch erhalten könnte. Dazu eröffnet die Einbettung der zur testenden Fahrzeugkomponente in die Simulation mit den durch das künstliche neuronale Netz kompatibel erzeugten Eingangsdaten die Möglichkeit von beliebig variierten Daten, um ein Simulationsvolumen zu schaffen, wie es in realen Testfahrten mittels eines realen Fahrzeugs wegen der großen benötigten Testzeit praktikabler Weise nicht möglich wäre.
Das Verarbeitungsmodul ist dabei vorteilhaft so ausgelegt, dass es eine Vielzahl verschiedenartiger Beschreibungen eines jeweils gewünschten Verkehrsszenarios erhalten kann, um diese Beschreibungen in die oben beschriebene kompatible Form für die Fahrzeug- Komponente zu transformieren. Solche verschiedenartigen Beschreibungen sind vorteilhaft mindestens eines aus Bildsequenzen (aus der Ego- Perspektive und/oder aus der Vogelperspektive), eine interne Fahrzeugkommunikation (wie beispielsweise aus einer realen Fahrt an einem CAN Bus eines Fahrzeugs abgegriffen), Beschreibungen in menschlicher Sprache, Beschreibungen in Ablaufdiagrammen, Text in natürlicher Sprache, Daten interner Fahrzeugkommunikation, V2X Daten, spezifizierte Beschreibungssprachen (z.B. OpenScenario), Silent-Testing Daten, symbolische Szenarienbeschreibungen, Datenbanken, Bildbeschreibungen, Videosequenzen aus Unterhaltungsfilmen oder Dokumentationsfilmen, etc.; gemein haben diese Datenquellen, dass Informationen über ein Verkehrsgeschehen oder Teile davon explizit oder implizit enthalten sind. Die Recheneinheit generiert insofern durch Ausführung des vortrainierten künstlichen neuronalen Netzes eine abstrahierte interne Repräsentation der Informationen über das vorgesehene Verkehrsszenario und daraus abgeleitet passende Eingangsdaten für die Eingangsschnittstelle.
Das Verarbeitungsmodul verfügt daher insbesondere intern über ein Modell zur Szenari- enrepräsentation. Dieses Modell zur Szenarienrepräsentation basiert bevorzugt auf einem an ein Transformer Netzwerk (bekannt aus: Vaswani, A., Shazeer, N., Parmar, N., Uszko- reit, J., Jones, L, Gomez, A. N., . . . Polosukhin, I. (2017). "Attention is All you Need." Proceedings of the 31st International Conference on Neural Information Processing Systems (S. 6000-6010). Red Hook, NY, USA: Curran Associates Inc.) angelehntes Übersetzungsmodell, welches aufgrund seiner Netzwerkarchitektur in der Lage ist, die Eingangsdaten, welche in verschiedenen Formaten vorliegen, in eine interne Repräsentation zu überführen (vergleiche Autoencoder zur Kodierung und anschließenden Dekodierung von Daten).
Das Verarbeitungsmodul umfasst hierzu das künstliche neuronale Netz zur internen Repräsentation von Szenarien basierend auf unterschiedlichen Formaten von Informationen über ein ausgewähltes Verkehrsszenario. Um dieses Netz zu trainieren, werden zum Beispiel als Datenpaare zwei-elementige Tupel verwendet. Die Tupel umfassen insbesondere auf der Seite des Eingangsteils ein oder mehrere Bilder einer Fahrszene im Sinne eines Snapshot oder Frames eines Verkehrsszenarios und zugehöriger Beschreibung oder aus einem Text in natürlicher Sprache und gleichzeitig aufgezeichneten Fahrzeugkommunikationsdaten. Die benötigten Informationen des Eingangsteils werden insbesondere synthetisch in einer vorgelagerten Simulation erzeugt, und/oder werden aus Silent- Testing Aufzeichnungen oder realen Fahrtaufzeichnungen oder aus im Internet frei verfügbaren Daten erhalten. Durch dieses Vorgehen kann die benötigte Datenmenge für Modelle des maschinellen Lernens gewonnen werden. Die Menge der gewonnenen Daten wird durch geeignete Permutationen noch gesteigert. Das Verarbeitungsmodul umfasst daher entweder ein sehr großes künstliches neuronales Netz, oder wird durch eine Verschaltung mehrerer domänenspezifischer künstlicher neuronaler Netze gebildet.
Während das künstliche neuronale Netz selbst lediglich für eine adäquate Transformation in kompatible Eingangsdaten für die zu testende Fahrzeugkomponente und ihre Schnittstelle sorgt, könnten hierbei noch physikalisch absurde Szenarien für die zu testende Fahrzeugkomponente entstehen. Die Verhinderung solcher Fälle (da diese per Definition in der Realität nicht auftreten können und damit für eine zu testende Fahrzeugkomponente nicht abgesichert werden müssen) wird durch das Physikmodul übernommen.
Das Physikmodul überprüft insbesondere die aktuelle interne Repräsentation, indem das Modell zur Szenarienrepräsentation die aktuelle Repräsentation dem physikalischen Modell zur Verfügung stellt, welches die physikalische Plausibilität der internen Repräsentation bewertet und so zum Beispiel vorgegebene Grenzen der Fahrzeugphysik überwachen kann. Sollten die Metriken des physikalischen Modells (zum Beispiel maximale Beschleunigung, Geschwindigkeit) unterhalb eines Schwellwerts sein, kann die Ausgabebildung der Eingangsdaten vorgenommen werden.
Das künstliche neuronale Netz wurde zu diesem Zweck insbesondere mit entsprechenden vorgegebenen Paaren von Eingangsdaten und Ausgangsdaten bevorzugt im Rahmen der im breiten Feld des maschinellen Lernens bekannten Methode des "supervised learning" vortrainiert. Hierbei wird bevorzugt eine extrem hohe Anzahl solcher Paare von verschiedensten Kombinationen von Informationen über ein für eine Simulation vorgesehenes Verkehrsszenario mit einer Vielzahl von verschiedenartigen Fahrzeugkomponenten mit ihren jeweiligen Eingangsschnittstellen vorgegeben und benutzt, um Parameter des künstlichen neuronalen Netzes auszulegen. Die Auslegung dieser Parameter erfolgt dabei so, dass eine Ausführung des künstlichen neuronalen Netzes auf Basis der anliegenden Eingangsdaten auch die zugehörigen und vorgegebenen Ausgangsdaten erzeugt, sodass künftig auch mit weiteren Eingangsdaten verwendbare Ausgangsdaten erhalten werden.
Vorteilhaft ist das künstliche neuronale Netz so ausgebildet und so vortrainiert, dass die Transformation der Informationen über ein für eine Simulation vorgesehenes Verkehrsszenario in die Eingangsdaten mit einem hohen Grad an Realismus erfolgt. Der Grad des Realismus ist hier so definiert, dass die Unterschiede zwischen realer Aufzeichnung und synthetisch generierten Daten minimiert ist.
Kompatibel zur Eingangsschnittstelle bzw. zu weiteren Modulen der zu testenden Fahr- zeugkomponente bedeutet insbesondere, dass die Eingangsdaten in einer für ein der zu testenden Fahrzeugkomponente Computer-Modul verarbeitbaren Form (z.B. als Text, Bilddatei, Videodatei, ...), und innerhalb dieser Kategorien jeweils im korrekten Format mit den entsprechenden Konventionen zur Dateistruktur bzw. zur Struktur des Datenstroms vorliegt.
Es ist daher eine vorteilhafte Wirkung der Erfindung, dass eine Möglichkeit geboten wird, aus einer beliebigen Art von Szenarienbeschreibungen für eine Simulation zum Testen der Fahrzeugkomponente, seien es implizite oder explizite Szenarienbeschreibungen, realistische Daten mit Kompatibilität und Eignung als Systemeingang der zu testenden Fahrzeugkomponente zu erzeugen, und dass diese Daten unter Berücksichtigung des Realitätsgrades in hohem Maße variiert werden können. Die Daten, insbesondere Sensordaten, können vorteilhaft automatisiert aus solchen Szenarienbeschreibungen gebildet werden. Auch eine automatisierte Parametervariation und eine sinnvolle Parameterabtastrate der Eingangsdaten der Fahrzeugkomponente kann zur direkten Manipulation von realistischen Aufzeichnungen angewendet werden. Es kann sich bei den Daten für die zu testende Fahrzeugkomponente zum Beispiel um Videosequenzen der Frontkamera eines Fahrzeuges, Wellenmuster für Radar bzw. Ultraschallsensoren, WLan Kommunikationspakete, Botschaften der internen Fahrzeugkommunikation (CAN, LIN, Ethernet, ...), oder je nach gewünschter Anwendung und zu testende Fahrzeugkomponente um entsprechend andere Datenformate handeln. Mit der vorgeschlagenen Erfindung ist es möglich, domänenspezifische Eingangsdaten zu erzeugen. Zum Beispiel würde ein automatisiertes Fahrzeug auf einem Prüfstand realistische Bilddaten für die Kamera benötigen. So werden aus Informationen über ein für eine Simulation vorgesehenes Verkehrsszenario physikalisch plausible und im zeitlichen Fluss abgestimmte Bilder erzeugt, die von beispielsweise der Fahrzeugkamera als zu prüfende Fahrzeugkomponente aufgezeichnet werden können. Ein weiteres Beispiel ist die Erzeugung von Radardaten zur situationsgerechten Einbettung des Radarsystems des Fahrzeugs in eine Simulation. Die im beschriebenen Szenario vorhandenen Verkehrsteilnehmer erhalten so ein zur aktuellen Situation passendes Radarecho. Die Eingangsdaten umfassen ebenfalls Steuersignale für Simulationshardware, sofern die Eingangsdaten nicht direkt das Zielformat der Eingangsschnittstelle darstellen können. Die umfasst zum Beispiel die Darstellung von ausgegebenen Bildsequenzen mittels Projektor oder Bildschirm oder zum Beispiel Modulationssignale für Funknetzsimulationsgeräte. Es ist daher weiterhin vorteilhaft möglich, dass die Komplexität benötigter Simulationshardware schrittweise reduziert werden kann, je nach Leistungsfähigkeit der eingesetzten Recheneinheit. Somit liegen entsprechende Eingangsdaten für die zu testende Fahrzeugkomponente mit ihrer Eingangsschnittstelle vor, um in eine Simulation eingebettet getestet zu werden. Eine solche Testung der Fahrzeugkomponente umfasst insbesondere eine große Vielzahl von Szenarien, um die Fahrzeugkomponente auf sicheren Betrieb testen und abschließend validieren zu können.
Gemäß einer vorteilhaften Ausführungsform sind im Physikmodul Dynamikgleichungen implementiert, welche kinematische Grundgleichungen zum Zusammenhang zwischen Trägheiten, Beschleunigungen, und Kräften oder Momenten aufweisen.
Gemäß einer weiteren vorteilhaften Ausführungsform umfasst das Physikmodul ein durch Maschinenlernen vortrainiertes Physikmodell.
Unabhängig davon, ob dynamische Gleichungen implementiert werden und somit eine analytische Plausibilitätsrechnung vorgenommen werden, oder ob ein empirisches Modell im Form eines durch Maschinenlernen vortrainierten Physikmodells (beispielsweise ein künstliches neuronales Netz) verwendet wird, können kinematische Grenzwerte vorgegeben werden. So werden insbesondere maximale Beschleunigungen für das Anfahren und für Verzögerungen von Verkehrsteilnehmern definiert, maximale Zentrifugal- Kräfte und damit Beschleungigungen für Kurvenfahrten, maximale Fußgängergeschwindigkeiten und Ähnliches. Bevorzugt werden außerdem Trägheitseffekte berücksichtigt, nach denen Sprungsignale beispielsweise in Geschwindigkeiten nicht in der Natur vorkommen können.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, ein Synchronisationsmodul auszuführen, um eine Vielzahl von zeitlich zusammengehörigen Informationen über das Verkehrsszenario für die Simulation zeitlich zu koordinieren und die Eingangsdaten in eine für die zu testende Fahrzeugkomponente passende Zeitskala synchronisiert, insbesondere in Echtzeit, zu transformieren.
Gemäß einer weiteren vorteilhaften Ausführungsform umfassen die Informationen über das für die Simulation vorgesehene Verkehrsszenario Informationen aus einer Szenarien- bibliothek.
Gemäß einer weiteren vorteilhaften Ausführungsform umfassen die Informationen über das für die Simulation vorgesehene Verkehrsszenario zumindest mit einer Kameraeinheit aufgenommene Informationen über ein vergangenes reales Verkehrsszenario. Gemäß einer weiteren vorteilhaften Ausführungsform weist die Recheneinheit eine zweite Schnittstelle zum Erfassen einer manuell vorgegebenen Variation der Informationen über das Verkehrsszenario auf, sodass durch das Verarbeitungsmodul kompatible Eingangsdaten auf Basis der manuell vorgegebenen Variationen der Informationen über das Verkehrsszenario für die zu testende Fahrzeugkomponente erzeugt werden können.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, während der Laufzeit der Simulation laufend neue und aktuelle Eingangsdaten für die zu testende Fahrzeugkomponente zu erzeugen.
Gemäß einer weiteren vorteilhaften Ausführungsform weist die Recheneinheit eine dritte Schnittstelle zum Erhalten von aktuellen Simulationsdaten aus der Simulation zum Test der Fahrzeugkomponente auf, wobei die Recheneinheit dazu ausgeführt ist, die aktuellen Eingangsdaten abhängig von solchen aktuellen Simulationsdaten zu erzeugen, die das Verhalten eines simulierten Verkehrsteilnehmers mit der zu testenden Fahrzeugkomponente unter einer Vielzahl weiterer realdatenbasierter oder Agentenmodell- geführter Verkehrsteilnehmer beschreiben.
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Herstellen eines Systems für die Erzeugung von Eingangsdaten für eine mittels einer Simulation zu testende Fahrzeugkomponente aus einer Beschreibung eines Verkehrsszenarios, aufweisend die Schritte:
- Erzeugen eines Verarbeitungsmoduls des Systems durch Trainieren eines künstlichen neuronalen Netzes des Verarbeitungsmoduls durch Vorgeben von Datenpaaren, wobei ein vorgegebener Eingangsteil der Datenpaare Informationen über ein Verkehrsszenario umfasst und ein vorgegebener Ausgangsteil der Datenpaare Eingangsdaten für (und kompatibel zu) eine(r) Eingangsschnittstelle einer zu testenden Fahrzeugkomponente umfasst, wobei sequenziell verschiedenartige Informationen für verschiedene Verkehrsszenarien vorgegeben werden und wobei sequenziell zu den Verkehrszenarien zugehörige verschiedenartige Eingangsdaten für verschiedenartige Fahrzeugkomponenten vorgegeben werden, sodass das Verarbeitungsmodul nach Abschluss des Trainierens in der Lage ist, bezüglich ihrer Beschaffenheit und/oder Datenformat verschiedenartige Informationen über Verkehrsszenarien verarbeiten zu können;
- Erzeugen eines Physikmoduls des Systems durch Trainieren eines künstlichen neuronalen Netzes des Physikmoduls; und
- Integrieren des erzeugten Verarbeitungsmoduls und des erzeugten Physikmoduls in ein gemeinsames System durch Herstellen einer gemeinsamen Schnittstelle zwischen dem Verarbeitungsmodul und dem Physikmodul.
Das Physikmodul dient der Sicherstellung der physikalischen Plausibilität der durch das Verarbeitungsmodul erzeugten Eingangsdaten, und wird im genannten Verfahren durch Methoden des maschinellen Lernens erzeugt, insbesondere durch Trainieren eines künstlichen neuronalen Netzes.
Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Verfahrens ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen System vorstehend gemachten Ausführungen.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Es zeigen:
Fig. 1 : Ein Verfahren zum Herstellen eines Systems für die Erzeugung von Eingangsdaten für eine mittels einer Simulation zu testende Fahrzeugkomponente aus einer Beschreibung eines Verkehrsszenarios gemäß einem Ausführungsbeispiel der Erfindung.
Fig. 2: Ein System zum Erzeugen von Eingangsdaten für eine Fahrzeugkomponente, das mittels des Verfahrens nach Fig. 1 erzeugt wird.
Fig. 1 zeigt ein Verfahren zum Herstellen eines Systems für die Erzeugung von Eingangsdaten für eine mittels einer Simulation zu testende Fahrzeugkomponente 1 (vgl. Fig. 2) aus einer Beschreibung eines Verkehrsszenarios. In einem ersten Schritt erfolgt das Erzeugen S1 eines Verarbeitungsmoduls des Systems durch Trainieren eines künstlichen neuronalen Netzes des Verarbeitungsmoduls durch Vorgeben von Datenpaaren, wobei ein vorgegebener Eingangsteil der Datenpaare Informationen über ein Verkehrsszenario umfasst und ein vorgegebener Ausgangsteil der Datenpaare Eingangsdaten für eine Eingangsschnittstelle einer zu testenden Fahrzeugkomponente 1 umfasst, wobei sequenziell verschiedenartige Informationen für verschiedene Verkehrsszenarien vorgegeben werden und wobei sequenziell zu den Verkehrszenarien zugehörige verschiedenartige Eingangsdaten für verschiedenartige Fahrzeugkomponenten 1 vorgegeben werden, sodass das Verarbeitungsmodul nach Abschluss des Trainierens in der Lage ist, bezüglich ihrer Beschaffenheit und/oder Datenformat verschiedenartige Informationen über Verkehrsszenarien verarbeiten zu können. Die von diesem Verarbeitungsmodul generierte interne Repräsentation zur Erzeugung der Eingangsdaten muss nicht den physikalischen Gesetzen folgen. Um dies dennoch zu erreichen, wird das Physikmodul verwendet. Neben dem Lernprozess aus den Trainingsdaten dient das Physikmodul zur Prägung interner Repräsentationen auf physikalisch plausible Vorgänge. Das Physikmodul erhält ein Abbild der internen Repräsentation und bildet über eine Metrik (zum Beispiel das Maß der Überschreitung einer maximalen Beschleunigung) eine Belohnungsfunktion. Die Belohnung wird dem Modell zur internen Repräsentation zugeführt, sodass mittels bestärkenden Lernens (Reinforcement Learning, Bsp.: Deep Q-Learning) physikalische Gegebenheiten eingeprägt werden können. Dementsprechend erfolgt ein Erzeugen S2 eines Physikmoduls des Systems durch Trainieren eines künstlichen neuronalen Netzes des Physikmoduls; die vom Verarbeitungsmodul generierten Eingangsdaten müssen auch mit der Fahrzeuggeometrie sowie der physischen und elektronischen Architektur der zu testenden Fahrzeugkomponente berücksichtigt generiert werden. Um die Fahrzeuggeometrie zu berücksichtigen, werden zwei Ansätze verwendet: Ein ohne konkrete Fahrzeuggeometrie trainiertes Modell dient als abstrakte Grundlage für spezialisierte Ausprägungen der vorgeschlagenen Lösung. Dieses vortrainierte Netzwerk wird nun in einem weiteren Prozess des bestärkenden Lernens analog mittels physikalischer Einheit trainiert, welche nun die erweiterten Bedingungen der Fahrzeuggeometrie berücksichtigt. Ein weiterer Ansatz ist die Nutzung von aufgezeichneten Daten des Zielfahrzeuges, welche nun zur Feinabstimmung des vortrainierten Modells genutzt werden. Schließlich erfolgt das Integrieren S3 des erzeugten Verarbeitungsmoduls und des erzeugten Physikmoduls in ein gemeinsames System durch Herstellen einer gemeinsamen Schnittstelle zwischen dem Verarbeitungsmodul und dem Physikmodul.
Fig. 2 zeigt ein System zum Erzeugen von Eingangsdaten für eine mittels einer Simulation zu testende Fahrzeugkomponente 1 aus einer Beschreibung eines Verkehrsszenarios, wobei die zu testende Fahrzeugkomponente 1 eine Eingangsschnittstelle zum Erhalt der Eingangsdaten aufweist. Die zu testende Fahrzeugkomponente 1 ist in diesem Beispiel der Fig. 2 ein automatisiertes Fahrsteuerungssystem zur Steuerung der longitudinalen und lateralen Bewegung eines Fahrzeugs. Für die Überprüfung ist die Fahrzeugkomponente 1 auf eine Frontkamera und die Verarbeitungseinheit reduziert. Weitere Komponenten der zu testenden Fahrzeugkomponente 1 befinden sich in einer Simulation. Aufgabe ist es nun, die Fähigkeit der zu testenden Fahrzeugkomponente 1 , ein vorgegebenes Szenario risikofrei zu durchfahren, zu überprüfen. Das System zum Erzeugen der Eingangs- daten weist hierfür eine Recheneinheit 3 mit einer ersten Schnittstelle 5 zum Erhalten einer Vorgabe mit Informationen über eine nötige Beschaffenheit und/oder über ein nötiges Datenformat der Eingangsdaten für Kompatibilität mit der Fahrzeugkomponente 1 und zum Erhalten von Informationen über ein für die Simulation vorgesehenes Verkehrsszenario auf. Als Eingangsdaten dienen voraufgezeichnete Daten zumindest eines vergangenen realen Verkehrsszenarios, erhalten aus Daten aus der stationären Verkehrsraumbeobachtung und mittels Drohnen. Diese beschreiben Trajektorien von Fahrzeugen. Die Recheneinheit 3 ist ferner dazu ausgeführt, durch Ausführung eines Verarbeitungsmoduls mit einem vortrainierten künstlichen neuronalen Netz die Informationen über das Verkehrsszenario in die Eingangsdaten so zu transformieren, dass die Eingangsdaten zur zu testenden Fahrzeugkomponente 1 gemäß der Vorgabe kompatibel sind, wobei durch das Verarbeitungsmodul eine Vielzahl bezüglich Beschaffenheit und/oder Datenformat verschiedenartiger Informationen über ein jeweiliges Verkehrsszenario in Eingangsdaten transformiert werden können. Die Recheneinheit erzeugt durch die Ausführung des künstlichen neuronalen Netzes basierend auf den Informationen über das vorgegebene Verkehrsszenario eine grundlegende Szene, welche als Sequenz von realistischen Bildern auf einem Monitor für die Kamera des zu testenden Systems angezeigt werden kann. Außerdem wird von der Recheneinheit 3 ein Physikmodul ausgeführt zur Sicherstellung der physikalischen Plausibilität der durch das Verarbeitungsmodul erzeugten Eingangsdaten, um zumindest physisch unmögliche Gegebenheiten beschreibende Eingangsdaten für die zu testende Fahrzeugkomponente 1 in physisch mögliche Gegebenheiten zu transformieren. Die zu testende Fahrzeugkomponente 1 ist Teil eines virtuellen Fahrzeugs, welches einen der Verkehrsteilnehmer aus dem realen Verkehrsszenario ersetzt und selbstständig eine vorgegebene Zielposition in diesem Verkehrsszenario anfährt und zur Erreichung dieser Zielposition selbstständig agiert. Es ersetzt daher eines dieser Fahrzeuge und agiert selbstständig mit vorgegebener Zielposition in diesem Szenario. Das Verhalten der zu testenden Fahrzeugkomponente 1 wird ebenfalls dem Verarbeitungsmodul zur Verfügung gestellt. Dieses Verhalten wird im JavaScript object notation format (JSON) übertragen. Aufgrund der internen Repräsentation sind die Elemente der erzeugten Bilder adaptierbar. Eine weitere Softwareeinheit überprüft die Plausibilität des erstellten Szenarios und beschreibt Änderungen im Verhalten der Verkehrsteilnehmer. Diese können zum Beispiel in XML an das Verarbeitungsmodul übertragen werden. Durch die Rückführung des Verhaltens der zu testenden Fahrzeugkomponente 1 sowie die Daten der adaptierten Verhaltensmodelle wird die Szenarien-Repräsentation fortlaufend entsprechend der Daten erneuert, um so den aktuellen Zustand aller Verkehrsteilnehmer jederzeit abbilden zu können. Ein sporadisch anwesender Testingenieur möchte zur schnellen Überprüfung eines Vorfalls Parameter des Szenarios variieren. Er äußert dies in natürlicher Sprache: „Bitte die Geschwindigkeit des vorausfahrenden Fahrzeugs für die nächsten 10 Minuten der Simulation um 20km/h erhöhen. Auf diese Anweisung des Testingenieurs hin adaptiert die Recheneinheit 3 die Erzeugung der Eingangsdaten über dieses über die zweite Schnittstelle empfangene Kommando, sodass die Eingangsdaten entsprechend dem Kommando angepasst werden, und weiterhin kompatibel zur Eingangsschnittstelle der Fahrzeugkomponente 1 bleiben. Im Beispiel der Vorgabe des Testingenieurs würde das vorausfahrende Fahrzeug nun bei der Eingabe beschleunigen. Dieses Verhalten wird dann in den realistischen Bildern dargestellt. Die Änderung des Verhaltens würde sich auch auf die erzeugten Bilder auswirken. Die Ausgangsdaten sind in jedem Fall physikalisch korrekt und an die physikalischen Bedingungen der Szene sowie des Sensors der Fahrzeugkomponente 1 angepasst. Es wird in diesem Beispiel also auch die Einbauposition der Kamera sowie deren Spezifikationen berücksichtigt.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.
Bezugszeichenliste
1 Fahrzeugkomponente
3 Recheneinheit
5 erste Schnittstelle
7 zweite Schnittstelle
51 Erzeugen
52 Erzeugen
53 Integrieren

Claims

Patentansprüche
1. System zum Erzeugen von Eingangsdaten für eine mittels einer Simulation zu testende Fahrzeugkomponente (1) aus einer Beschreibung eines Verkehrsszenarios, wobei die zu testende Fahrzeugkomponente (1) eine Eingangsschnittstelle zum Erhalt der Eingangsdaten aufweist, wobei das System eine Recheneinheit (3) mit einer ersten Schnittstelle (5) zum Erhalten einer Vorgabe mit Informationen über eine nötige Beschaffenheit und/oder über ein nötiges Datenformat der Eingangsdaten für Kompatibilität mit der Fahrzeugkomponente (1) und zum Erhalten von Informationen über ein für die Simulation vorgesehenes Verkehrsszenario aufweist, wobei die Recheneinheit (3) dazu ausgeführt ist, durch Ausführung eines Verarbeitungsmoduls mit einem vortrainierten künstlichen neuronalen Netz die Informationen über das Verkehrsszenario in die Eingangsdaten so zu transformieren, dass die Eingangsdaten zur zu testenden Fahrzeugkomponente (1) gemäß der Vorgabe kompatibel sind, wobei durch das Verarbeitungsmodul eine Vielzahl bezüglich Beschaffenheit und/ oder Datenformat verschiedenartiger Informationen über ein jeweiliges Verkehrsszenario in Eingangsdaten transformiert werden können, und wobei die Recheneinheit (3) dazu ausgeführt ist, ein Physikmodul auszuführen zur Sicherstellung der physikalischen Plausibilität der durch das Verarbeitungsmodul erzeugten Eingangsdaten, um zumindest physisch unmögliche Gegebenheiten beschreibende Eingangsdaten für die zu testende Fahrzeugkomponente (1) in physisch mögliche Gegebenheiten zu transformieren.
2. System nach Anspruch 1 , wobei im Physikmodul Dynamikgleichungen implementiert sind, welche kinematische Grundgleichungen zum Zusammenhang zwischen Trägheiten, Beschleunigungen, und Kräften oder Momenten aufweisen.
3. System nach einem der vorhergehenden Ansprüche, wobei das Physikmodul ein durch Maschinenlernen vortrainiertes Physikmodell umfasst.
4. System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (3) dazu ausgeführt ist, ein Synchronisationsmodul auszuführen, um eine Vielzahl von zeitlich zusammengehörigen Informationen über das Verkehrsszenario für die Simulation zeitlich zu koordinieren und die Eingangsdaten in eine für die zu testende Fahrzeugkomponente (1) passende Zeitskala synchronisiert, insbesondere in Echtzeit, zu transformieren.
5. System nach einem der vorhergehenden Ansprüche, wobei die Informationen über das für die Simulation vorgesehene Verkehrsszenario Informationen aus einer Szenarienbibliothek umfassen.
6. System nach einem der vorhergehenden Ansprüche, wobei die Informationen über das für die Simulation vorgesehene Verkehrsszenario zumindest mit einer Kameraeinheit aufgenommene Informationen über ein vergangenes reales Verkehrsszenario umfassen.
7. System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (3) eine zweite Schnittstelle (7) zum Erfassen einer manuell vorgegebenen Variation der Informationen über das Verkehrsszenario aufweist, sodass durch das Verarbeitungsmodul kompatible Eingangsdaten auf Basis der manuell vorgegebenen Variationen der Informationen über das Verkehrsszenario für die zu testende Fahrzeugkomponente (1) erzeugt werden können.
8. System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (3) dazu ausgeführt ist, während der Laufzeit der Simulation laufend neue und aktuelle Eingangsdaten für die zu testende Fahrzeugkomponente (1) zu erzeugen.
9. System nach Anspruch 8, wobei die Recheneinheit (3) eine dritte Schnittstelle zum Erhalten von aktuellen Simulationsdaten aus der Simulation zum Test der Fahrzeugkomponente (1) aufweist, wobei die Recheneinheit (3) dazu ausgeführt ist, die aktuellen Eingangsdaten abhängig von solchen aktuellen Simulationsdaten zu erzeugen, die das Verhalten eines simulierten Verkehrsteilnehmers mit der zu testenden Fahrzeugkomponente (1) unter einer Vielzahl weiterer realdatenbasierter oder Agentenmodell- geführter Verkehrsteilnehmer beschreiben.
10. Verfahren zum Herstellen eines Systems für die Erzeugung von Eingangsdaten für eine mittels einer Simulation zu testende Fahrzeugkomponente (1) aus einer Beschreibung eines Verkehrsszenarios, aufweisend die Schritte:
- Erzeugen (S1) eines Verarbeitungsmoduls des Systems durch Trainieren eines künstlichen neuronalen Netzes des Verarbeitungsmoduls durch Vorgeben von Datenpaaren, wobei ein vorgegebener Eingangsteil der Datenpaare Informationen über ein Verkehrsszenario umfasst und ein vorgegebener Ausgangsteil der Datenpaare Eingangsdaten für eine Eingangsschnittstelle einer zu testenden Fahrzeugkompo- nente (1) umfasst, wobei die Eingangsdaten kompatibel zur Eingangsschnittstelle sind, wobei sequenziell verschiedenartige Informationen für verschiedene Verkehrsszenarien vorgegeben werden und wobei sequenziell zu den Verkehrszenarien zugehörige verschiedenartige Eingangsdaten für verschiedenartige Fahrzeugkomponenten (1) vorgegeben werden, sodass das Verarbeitungsmodul nach Abschluss des Trainierens in der Lage ist, bezüglich ihrer Beschaffenheit und/oder Datenformat verschiedenartige Informationen über Verkehrsszenarien verarbeiten zu können;
- Erzeugen (S2) eines Physikmoduls des Systems durch Trainieren eines künstlichen neuronalen Netzes des Physikmoduls; und - Integrieren (S3) des erzeugten Verarbeitungsmoduls und des erzeugten Physikmoduls in ein gemeinsames System durch Herstellen einer gemeinsamen Schnittstelle zwischen dem Verarbeitungsmodul und dem Physikmodul.
EP24705660.9A 2023-03-09 2024-02-15 Universelle transformation von verkehrsszenariendaten in simulationseingangsdaten Pending EP4677451A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023202130.7A DE102023202130A1 (de) 2023-03-09 2023-03-09 Universelle Transformation von Verkehrsszenariendaten in Simulationseingangsdaten
PCT/EP2024/053856 WO2024184041A1 (de) 2023-03-09 2024-02-15 Universelle transformation von verkehrsszenariendaten in simulationseingangsdaten

Publications (1)

Publication Number Publication Date
EP4677451A1 true EP4677451A1 (de) 2026-01-14

Family

ID=89977385

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24705660.9A Pending EP4677451A1 (de) 2023-03-09 2024-02-15 Universelle transformation von verkehrsszenariendaten in simulationseingangsdaten

Country Status (3)

Country Link
EP (1) EP4677451A1 (de)
DE (1) DE102023202130A1 (de)
WO (1) WO2024184041A1 (de)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169928B2 (en) * 2015-12-09 2019-01-01 Hitachi, Ltd. Apparatus for providing data to a hardware-in-the-loop simulator
DE102019206908B4 (de) 2019-05-13 2022-02-17 Psa Automobiles Sa Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt, Kraftfahrzeug sowie System
DE102019214200A1 (de) * 2019-09-18 2021-03-18 Robert Bosch Gmbh Übersetzung von Trainingsdaten zwischen Beobachtungsmodalitäten
JP7851548B2 (ja) * 2020-04-28 2026-04-27 ストロング フォース ティーピー ポートフォリオ ２０２２，エルエルシー 輸送システムのデジタルツインシステムおよび方法
DE102020207081A1 (de) * 2020-06-05 2021-12-09 Siemens Mobility GmbH Ferngesteuerter Eingriff in die Taktikplanung von autonomen Fahrzeugen
DE102020210600A1 (de) * 2020-08-20 2022-02-24 Ford Global Technologies, Llc System zum Durchführen einer XiL-basierten Simulation
WO2022061289A1 (en) * 2020-09-21 2022-03-24 Nvidia Corporation Simulating viewpoint transformations for sensor independent scene understanding in autonomous systems
DE102021206297A1 (de) * 2021-06-18 2022-12-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und System zum Betreiben eines wenigstens teilweise automatisierten Fahrzeugs

Also Published As

Publication number Publication date
DE102023202130A1 (de) 2024-09-12
WO2024184041A1 (de) 2024-09-12

Similar Documents

Publication Publication Date Title
EP3970077B1 (de) Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt, kraftfahrzeug sowie system
DE102019203712B4 (de) Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt, Kraftfahrzeug sowie System
EP2402827B1 (de) Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens
EP3729213B1 (de) Verhaltensmodell eines umgebungssensors
DE102023200314A1 (de) Erzeugung maschinenlesbarer Szenariobeschreibungen aus menschlichen Beschreibungen
EP3757792A2 (de) Verfahren und vorrichtung zum prüfen eines systems, zur auswahl realer tests und zum testen von systemen mit komponenten maschinellen lernens
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
DE102021214334B3 (de) Fahrzeugdatensystem und Verfahren zur Ermittlung von relevanten bzw. übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors
DE102019212617A1 (de) Verfahren zum Bewerten einer Software-Komponente einer SiL-Umgebung
DE102023200230A1 (de) Verfahren zum Trainieren eines Verhaltensmodells
EP4677451A1 (de) Universelle transformation von verkehrsszenariendaten in simulationseingangsdaten
DE102023124870B4 (de) Verfahren und System zur erweiterten automatisierten Kalibrierung von Funktionen eines Fahrerassistenzsystems
WO2024179732A1 (de) Limitierter agentenmodelleinsatz in hybrid-verkehrssimulation mit realtrajektorien
EP3985565A1 (de) Verfahren und vorrichtung zum überprüfen eines beim teilautomatisierten oder vollautomatisierten steuern eines fahrzeugs verwendeten ki-basierten informationsverarbeitungssystems
DE102023000357B3 (de) Verfahren zum Erzeugen von Testdaten für eine Simulation eines Assistenzsystems eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie elektronische Recheneinrichtung
EP4505304A1 (de) Test einer automatischen fahrsteuerfunktion mittels semi-realer verkehrsdaten
EP4544528A1 (de) Auslegen eines automatischen fahrsteuersystems in massiv parallelen simulationen
DE102018216172A1 (de) Verfahren zum automatischen Erzeugen eines Labels zum Trainieren eines selbstlernenden Systems sowie Kraftfahrzeug
DE202016107368U1 (de) Automobilprüfsystem und Computerprogrammprodukt
EP4191469A1 (de) Verfahren zum bestimmen ähnlicher szenarien,trainingsverfahren und trainingssteuergerät
DE112021007787T5 (de) Fahrzeugentwicklungs-unterstützungssystem
EP4451159A1 (de) Hybrid-verkehrssimulation mit agentenmodellen zum test teleoperierter fahrzeuge
DE102023206602A1 (de) Computer-implementiertes Verfahren und System zum Trainieren eines Planungsmodells
DE102023201241A1 (de) Verfahren zum Durchführen einer Verkehrssimulation
DE102023201784A1 (de) Adaptive realdatenbasierte Simulation eines zentralisiert koordinierten Verkehrsraums

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250912

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR