DE102021104077B3

DE102021104077B3 - Method, system and computer program product for the automated generation of traffic data

Info

Publication number: DE102021104077B3
Application number: DE102021104077.9A
Authority: DE
Inventors: Stefan Roos; Julian Schmidt; Simon Mates
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2021-02-22
Filing date: 2021-02-22
Publication date: 2022-05-25
Anticipated expiration: 2041-02-23

Abstract

Die Erfindung betrifft ein Verfahren zur automatisierten Generierung von Verkehrsdaten, wobei die Verkehrsdaten zumindest ein Verkehrsszenarium abbilden, umfassend:- Trainieren eines Feature-Extraktionsmoduls mit ersten realen Verkehrsdaten;- Auswählen einer Zieldomaine und Senden von zweiten realen Verkehrsdaten aus der ausgewählten Zieldomaine an das trainierte Extraktionsmodul;- Berechnen einer Feature-Codierung von dem Feature-Extraktionsmodul für die zweiten realen Verkehrsdaten;- Bestimmen von Simulationsparametern durch ein Parametrisierungsmodul;- Durchführen einer Simulation der zweiten Verkehrsdaten mit den Simulationsparametern durch das Simulationsmodul und Berechnen von simulierten Verkehrsdaten;- Berechnen einer Feature-Codierung durch das Feature-Extraktionsmodul für die simulierten Verkehrsdaten;- Vergleichen der Feature-Codierung der zweiten realen Verkehrsdaten mit der Feature-Codierung der simulierten Verkehrsdaten durch ein Differenzmodul;- Modifizieren der Simulationsparameter durch das Parametrisierungsmodul und Beginnen eines neuen Simulationszyklus, wenn das Differenzergebnis über einem bestimmten Schwellenwert liegt; oder- Ausgeben der simulierten Verkehrsdaten von einem Ausgabemodul, wenn das Differenzergebnis unter einem bestimmten Schwellenwert liegt.The invention relates to a method for the automated generation of traffic data, the traffic data depicting at least one traffic scenario, comprising:- training a feature extraction module with first real traffic data;- selecting a target domain and sending second real traffic data from the selected target domain to the trained extraction module ;- calculating a feature coding from the feature extraction module for the second real traffic data;- determining simulation parameters by a parameterization module;- performing a simulation of the second traffic data with the simulation parameters by the simulation module and calculating simulated traffic data;- calculating a feature Coding by the feature extraction module for the simulated traffic data;- comparing the feature coding of the second real traffic data with the feature coding of the simulated traffic data by a difference module;- modifying the simulati on parameters by the parameterization module and starting a new simulation cycle if the difference result is above a certain threshold; or- outputting the simulated traffic data from an output module if the difference result is below a certain threshold value.

Description

Die Erfindung betrifft ein Verfahren, ein System und ein Computerprogrammprodukt zur automatisierten Generierung von Verkehrsdaten.The invention relates to a method, a system and a computer program product for the automated generation of traffic data.

Der Trend zu Fahrassistenzsystemen und hochautomatisierten Fahrfunktionen bei Kraftfahrzeugen, aber auch unbemannten Luftfahrzeugen (Drohnen) oder Wasserfahrzeugen erfordert umfangreiche Absicherungsstrategien, da die Verantwortung über die Fahrzeugführung nicht mehr uneingeschränkt beim Fahrer liegt, sondern aktive Funktionen von Rechnereinheiten im Fahrzeug übernommen werden. Bei einem unbemannten Objekt ist zudem ein Fahrer gar nicht vorgesehen. Daher muss sichergestellt werden, dass autonom sich bewegende Objekte nur eine sehr geringere Fehlerrate aufweisen. Die Steuerungsalgorithmen für autonome und automatisierte Fahrfunktionen benötigen eine Vielzahl von Daten, die durch Sensor- und Kamerasysteme generiert werden. Allerdings müssen die Sensordaten, die beispielsweise von einem Kamerasystem, einem Radarsystem und/oder einem Lidarsystem während Testfahrten eines Fahrzeugs aufgenommen werden, mit Attributen zur Klassifizierung von statischen und sich bewegenden Objekten gekennzeichnet werden, um sie für das Training von auf Künstlicher Intelligenz (KI) beruhenden Modellen verwenden zu können, die für die Entwicklung und den Test von autonom fahrenden Fahrzeugen benötigt werden. Dieses Datenlabeling ist erforderlich, damit ein datengetriebenes KI-Modell die Bedeutung von Dateninhalten verstehen kann. Hierbei wird beispielsweise ein Foto, das eine Verkehrsampel zeigt, mit dem Label „Verkehrsampel“ versehen. Ein KI-Modell kann nun in einer Trainingsphase lernen, dass auf dem Foto eine Verkehrsampel dargestellt ist. Darüber hinaus können Bilddateien elektronisch markiert werden (Bildannotation) oder signifikanten Stellen auf Fotos hervorgehoben werden. Dieses Datenlabeling wird bisher weitgehend manuell von Experten durchgeführt. Da sehr große Datenmengen im Bereich des autonomen Fahrens benötigt werden, sind jedoch manuell gelabelte Daten zur Erstellung von datengetriebenen KI-Modellen sehr teuer und aufwändig. Darüber hinaus führt die manuelle Bearbeitung oftmals zu inkonsistenten Ergebnissen.The trend towards driver assistance systems and highly automated driving functions in motor vehicles, but also in unmanned aerial vehicles (drones) or watercraft, requires extensive security strategies, since the responsibility for driving the vehicle no longer lies unrestrictedly with the driver, but active functions are taken over by computer units in the vehicle. In the case of an unmanned object, a driver is not provided at all. It must therefore be ensured that autonomously moving objects only have a very low error rate. The control algorithms for autonomous and automated driving functions require a large amount of data that is generated by sensor and camera systems. However, the sensor data recorded, for example, by a camera system, a radar system and/or a lidar system during test drives of a vehicle, must be marked with attributes for the classification of static and moving objects in order to be able to use them for training on artificial intelligence (AI). based models that are required for the development and testing of autonomous vehicles. This data labeling is required for a data-driven AI model to understand the meaning of data content. Here, for example, a photo that shows a traffic light is provided with the label "traffic light". An AI model can now learn in a training phase that a traffic light is shown in the photo. In addition, image files can be marked electronically (image annotation) or significant points on photos can be highlighted. Up to now, this data labeling has largely been carried out manually by experts. However, since very large amounts of data are required in the field of autonomous driving, manually labeled data for the creation of data-driven AI models is very expensive and time-consuming. In addition, manual editing often leads to inconsistent results.

Aus diesem Grund wird zunehmend versucht, Simulationen bzw. Simulatoren für die Erstellung von Daten zu verwenden, um die Kosten zu reduzieren. Mittels Datensimulationen kann beispielsweise ein Autobahnabschnitt in der realen Welt simuliert werden, der für das Training datengetriebener KI-Modelle eignet ist. Außerdem kann bei den durch Simulation erzeugten Daten automatisch eine Datenannotation vorgenommen werden.For this reason, attempts are increasingly being made to use simulations or simulators to create data in order to reduce costs. For example, data simulations can be used to simulate a section of freeway in the real world that is suitable for training data-driven AI models. In addition, data annotation can be performed automatically on the data generated by simulation.

Des Weiteren ist es wichtig, im Bereich des autonomen Fahrens den Einsatzort des Fahrzeugs zu kennen. So wird ein datengetriebenes KI-Modell für ein Fahrzeug, welches für den Einsatz in einer bestimmten Domaine bzw. Region wie beispielsweise Europa, China oder den USA bestimmt ist, mit Trainingsdaten trainiert, die ebenfalls aus dieser Domaine stammen. Hierdurch wird das datengetrieben KI-Modell an die jeweilige Domaine adaptiert. Im Bereich des autonomen Fahrens stellen Verkehrsszenarien einen wichtigen Faktor dar, da diese jeweils spezifisch in der jeweiligen Domaine ausgebildet sind. So sehen Verkehrsszenarien in den USA anders aus als in Deutschland, beispielsweise bedingt durch andere Fahrzeuge, andere Verkehrsschilder, andere Straßenverhältnisse und/oder Lichtverhältnisse. Werden nun für das Training von KI-Modellen Simulationen für verschiedene Szenarien und Verkehrssituationen verwendet, dann ist es erforderlich, dass die Simulation in der Lage sein muss, das Verkehrsszenarium der jeweiligen Zieldomaine zu simulieren.It is also important to know where the vehicle will be used in the field of autonomous driving. A data-driven AI model for a vehicle intended for use in a specific domain or region such as Europe, China or the USA is trained with training data that also comes from this domain. This adapts the data-driven AI model to the respective domain. In the field of autonomous driving, traffic scenarios are an important factor, since they are specifically designed in the respective domain. Traffic scenarios in the USA look different than in Germany, for example due to other vehicles, other traffic signs, other road conditions and/or lighting conditions. If simulations for different scenarios and traffic situations are used to train AI models, the simulation must be able to simulate the traffic scenario of the respective target domain.

Die US 2020/0160178 A1 beschreibt ein generatives Modell, um Datensätze zum Trainieren eines maschinellen Lernmodells für die Ausführung einer zugehörigen Aufgabe zu synthetisieren. Die synthetisierten Datensätze werden erzeugt, indem ein Szenendiagramm aus einer Szenengrammatik abgetastet wird. Die synthetisch erzeugten Daten können anhand eines realen Validierungsdatensatzes validiert werden.the U.S. 2020/0160178 A1 describes a generative model to synthesize datasets to train a machine learning model to perform an associated task. The synthesized data sets are generated by sampling a scene diagram from a scene grammar. The synthetically generated data can be validated using a real validation data set.

Die US 2019/0244107 A1 beschreibt ein System zur Anpassung eines tiefen Convolutional Neural Networks (CNN). Ein tiefes CNN wird zunächst mit einer Ursprungsbilddomäne mit Kennzeichnungen (Label) trainiert. Das tiefe CNN wird an eine neue Zielbilddomäne angepasst, ohne dass neue Kennzeichnungen erforderlich sind. Hierzu werden domänenunabhängige Merkmale bestimmt.the U.S. 2019/0244107 A1 describes a system for adapting a deep convolutional neural network (CNN). A deep CNN is first trained with a raw image domain with labels. The deep CNN is adapted to a new target image domain without the need for new labels. For this purpose, domain-independent characteristics are determined.

Die US 2020/0130177 A1 beschreibt ein Verfahren zum Trainieren einer Steuereinrichtung für die Steuerung eines Robotersystems. Hierzu wird ein neuronales Netzwerk einer ursprünglichen Steuerungseinrichtung für das Robotersystem basierend auf Ursprungsdaten aus einer Ursprungsdomäne sowie Kennzeichnungen (Label) in einem Kennzeichnungsraum empfangen. Das neuronale Netzwerk enthält Codierungs- und Klassifizierparameter und wird trainiert, um Eingabedaten aus der Ursprungsdomäne auf einen Merkmalsvektor in einem Merkmalsraum mittels der Codierungsparameter abzubilden, und den Eingabedaten mittels des Merkmalsvektors basierend auf den Klassifizierparametern Kennzeichnungen zuzuordnen.the U.S. 2020/0130177 A1 describes a method for training a controller for controlling a robot system. For this purpose, a neural network of an original control device for the robot system based on original data from an original domain and identifiers (label) is received in an identifier space. The neural network contains coding and classification parameters and is trained to map input data from the originating domain to a feature vector in a feature space using the coding parameters and to assign labels to the input data using the feature vector based on the classification parameters.

Die DE 10 2019 219 241 A1 offenbart ein computerimplementiertes Verfahren zur Computersimulation von Verkehrsteilnehmern, wobei Daten einer Mehrzahl verschiedener, real existierender Verkehrsteilnehmer mithilfe von Sensoren erfasst und aus den Daten Bewegungstrajektorien der Verkehrsteilnehmer ermittelt werden.the DE 10 2019 219 241 A1 discloses a computer-implemented method for computing Simulation of road users, whereby data from a number of different, actually existing road users are recorded using sensors and movement trajectories of the road users are determined from the data.

Die EP 3 690 754 A1 offenbart ein Verfahren zur Erzeugung eines Verkehrsszenarios in einer virtuellen Fahrumgebung. Historische Verkehrsdaten werden in einen Szenenanalysator eingegeben, um Fahrumgebungsinformationen und Fahrzeugstatusinformationen über ein Ego-Fahrzeug zu extrahieren zur Erzeugung von sequentiellen Verkehrsprotokollen.the EP 3 690 754 A1 discloses a method for generating a traffic scenario in a virtual driving environment. Historical traffic data is fed into a scene analyzer to extract driving environment information and vehicle status information about a host vehicle to generate sequential traffic logs.

Die DE 10 2017 007 136 A1 offenbart eine Vorrichtung zum Trainieren selbstlernender Algorithmen für ein automatisiert fahrbares Fahrzeug mithilfe von Lernsituationen, wobei die Lernsituationen durch Simulationen einer virtuellen Umgebung einer Ego-Fahrzeugs erzeugt werden.the DE 10 2017 007 136 A1 discloses a device for training self-learning algorithms for an automated vehicle using learning situations, the learning situations being generated by simulating a virtual environment of an ego vehicle.

Eine Aufgabe der vorliegenden Erfindung besteht daher darin, ein Verfahren, ein System und ein Computerprogrammprodukt zur automatisierten Generierung von Verkehrsdaten zu schaffen, das sich durch eine hohe Qualität der simulierten Verkehrsdaten und eine effiziente Verwendung von Rechenkapazitäten auszeichnet.An object of the present invention is therefore to create a method, a system and a computer program product for the automated generation of traffic data, which is characterized by a high quality of the simulated traffic data and an efficient use of computing capacities.

Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 7, und hinsichtlich eines Computerprogrammprodukt durch die Merkmale des Patentanspruchs 13 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.This object is achieved according to the invention with regard to a method by the features of patent claim 1, with regard to a system by the features of patent claim 7, and with regard to a computer program product by the features of patent claim 13. The further claims relate to preferred embodiments of the invention.

Gemäß einem ersten Aspekt betrifft die Erfindung ein Verfahren zur automatisierten Generierung von Verkehrsdaten, wobei die Verkehrsdaten zumindest ein Verkehrsszenarium abbilden. Das Verfahren umfasst das Trainieren eines Feature-Extraktionsmoduls mit ersten realen Verkehrsdaten aus einer Vielzahl von Domainen; das Auswählen einer Zieldomaine und das Senden von zweiten realen Verkehrsdaten aus der ausgewählten Zieldomaine an das trainierte Feature-Extraktionsmodul; das Berechnen einer Feature-Codierung von dem Feature-Extraktionsmodul für die zweiten realen Verkehrsdaten; das Bestimmen von Simulationsparametern durch ein Parametrisierungsmodul und das Übergeben der Simulationsparameter an ein Simulationsmodul; das Durchführen einer Simulation der zweiten Verkehrsdaten mit den Simulationsparametern durch das Simulationsmodul und das Berechnen von simulierten Verkehrsdaten, die an das Feature-Extraktionsmodul übergeben werden; das Berechnen einer Feature-Codierung durch das Feature-Extraktionsmodul für die simulierten Verkehrsdaten; das Vergleichen der Feature-Codierung der zweiten realen Verkehrsdaten mit der Feature-Codierung der simulierten Verkehrsdaten durch ein Differenzmodul; das Modifizieren der Simulationsparameter durch das Parametrisierungsmodul und das Beginnen eines neuen Simulationszyklus, wenn das Differenzergebnis über einem bestimmten Schwellenwert liegt; oder das Ausgeben der simulierten Verkehrsdaten von einem Ausgabemodul, wenn das Differenzergebnis unter einem bestimmten Schwellenwert liegt. Die simulierten Verkehrsdaten werden für das Training von autonomen und automatisierten Fahrfunktionen verwendet.According to a first aspect, the invention relates to a method for the automated generation of traffic data, the traffic data depicting at least one traffic scenario. The method includes training a feature extraction module with first real traffic data from a plurality of domains; selecting a target domain and sending second real traffic data from the selected target domain to the trained feature extraction module; calculating a feature encoding from the feature extraction module for the second real traffic data; determining simulation parameters by a parameterization module and passing the simulation parameters to a simulation module; the simulation module performing a simulation of the second traffic data with the simulation parameters and computing simulated traffic data that is passed to the feature extraction module; calculating, by the feature extraction module, a feature encoding for the simulated traffic data; comparing the feature coding of the second real traffic data with the feature coding of the simulated traffic data by a difference module; the parameterization module modifying the simulation parameters and starting a new simulation cycle if the difference result is above a certain threshold; or outputting the simulated traffic data from an output module if the difference result is below a certain threshold. The simulated traffic data is used to train autonomous and automated driving functions.

In einer vorteilhaften Weiterentwicklung ist vorgesehen, dass die ersten realen Verkehrsdaten und die zweiten realen Verkehrsdaten mittels Testfahrten von Fahrzeugen mit einer oder mehreren Sensor- und/oder Kameraeinrichtungen erfasst wurden.In an advantageous further development, it is provided that the first real traffic data and the second real traffic data were recorded by means of test drives by vehicles with one or more sensor and/or camera devices.

In einer Ausführungsform umfasst das Feature-Extraktionsmodul neuronale Netzwerke.In one embodiment, the feature extraction module includes neural networks.

Insbesondere ist vorgesehen, das neuronale Netzwerk als gefaltetes neuronales Netzwerk (convolutional neural network) auszubilden.In particular, provision is made for the neural network to be in the form of a folded neural network (convolutional neural network).

In einer weiteren Ausführungsform ist vorgesehen, dass die ersten realen Verkehrsdaten und die zweiten realen Verkehrsdaten in einem Datenmodul gespeichert sind und/oder das Datenmodul als cloudbasierte Speicherlösung ausgebildet ist.A further embodiment provides that the first real traffic data and the second real traffic data are stored in a data module and/or the data module is designed as a cloud-based storage solution.

Vorteilhafterweise umfasst das Parametrisierungsmodul Optimierungsalgorithmen, insbesondere genetische Algorithmen und evolutionäre Algorithmen mit Operatoren wie Mutation, Selektion, Rekombination.The parameterization module advantageously includes optimization algorithms, in particular genetic algorithms and evolutionary algorithms with operators such as mutation, selection, recombination.

Gemäß einem zweiten Aspekt betrifft die Erfindung ein System zur automatisierten Generierung von Verkehrsdaten, wobei die Verkehrsdaten zumindest ein Verkehrsszenarium abbilden. Das System umfasst ein Feature-Extraktionsmodul, das ausgebildet ist, mit ersten realen Verkehrsdaten aus einer Vielzahl von Domainen trainiert zu werden, und eine Feature-Codierung für zweite reale Verkehrsdaten einer ausgewählten Zieldomaine durchzuführen. Zudem umfasst das System ein Parametrisierungsmodul, das ausgebildet ist, Simulationsparameter zu bestimmen und diese an ein Simulationsmodul zu übergeben. Das Simulationsmodul ist ausgebildet ist, eine Simulation der zweiten Verkehrsdaten mit den Simulationsparametern durchzuführen, simulierte Verkehrsdaten zu berechnen und diese an das Feature-Extraktionsmodul zu übergeben. Das Feature-Extraktionsmodul ist ausgebildet, eine Feature-Codierung für die simulierten Verkehrsdaten zu berechnen. Des Weiteren umfasst das System ein Differenzmodul und ein Ausgabemodul. Das Differenzmodul ist ausgebildet, die Feature-Codierung der zweiten realen Verkehrsdaten mit der Feature-Codierung der simulierten Verkehrsdaten zu vergleichen; wobei, wenn das Differenzergebnis über einem bestimmten Schwellenwert liegt, das Parametrisierungsmodul ausgebildet ist, die Simulationsparameter zu modifizieren und einen neuen Simulationszyklus zu beginnen, oder, wenn das Differenzergebnis unter einem bestimmten Schwellenwert liegt, das Ausgabemodul ausgebildet ist, die simulierten Verkehrsdaten auszugeben. Die simulierten Verkehrsdaten werden für das Training von autonomen und automatisierten Fahrfunktionen verwendet.According to a second aspect, the invention relates to a system for the automated generation of traffic data, the traffic data depicting at least one traffic scenario. The system includes a feature extraction module that is designed to be trained with first real traffic data from a large number of domains and to perform feature coding for second real traffic data of a selected target domain. In addition, the system includes a parameterization module that is designed to determine simulation parameters and transfer them to a simulation module. The simulation module is designed to carry out a simulation of the second traffic data using the simulation parameters, to calculate simulated traffic data and to transfer this to the feature extraction module. The feature extraction module is designed to feature coding for the simulated traffic data to calculate. The system also includes a differential module and an output module. The difference module is designed to compare the feature coding of the second real traffic data with the feature coding of the simulated traffic data; wherein, if the difference result is above a certain threshold, the parameterization module is designed to modify the simulation parameters and start a new simulation cycle, or if the difference result is below a certain threshold, the output module is designed to output the simulated traffic data. The simulated traffic data is used to train autonomous and automated driving functions.

In einer vorteilhaften Weiterbildung wurden die ersten realen Verkehrsdaten und die zweiten realen Verkehrsdaten mittels Testfahrten von Fahrzeugen mit einer oder mehreren Sensor- und/oder Kameraeinrichtungen erfasst.In an advantageous development, the first real traffic data and the second real traffic data were recorded by means of test drives by vehicles with one or more sensor and/or camera devices.

Insbesondere ist das neuronale Netzwerk als gefaltetes neuronales Netzwerk (convolutional neural network) ausgebildet.In particular, the neural network is designed as a folded neural network (convolutional neural network).

Gemäß einem dritten Aspekt betrifft die Erfindung ein Computerprogrammprodukt, umfassend einen ausführbaren Programmcode, der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.According to a third aspect, the invention relates to a computer program product, comprising an executable program code which is configured in such a way that when it is executed it carries out the method according to the first aspect.

Nachfolgend wird die Erfindung anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert.The invention is explained in more detail below using an exemplary embodiment illustrated in the drawing.

Dabei zeigt:

1 eine schematische Darstellung eines erfindungsgemäßen Systems zur automatischen Generierung von Verkehrsdaten für zumindest eine ausgewählte Zieldomaine;
2 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;
3 ein Computerprogrammprodukt gemäß einer Ausführungsform der des dritten Aspekts der Erfindung.

It shows:

1 a schematic representation of a system according to the invention for the automatic generation of traffic data for at least one selected target domain;
2 a flowchart to explain the individual steps of a method according to the invention;
3 a computer program product according to an embodiment of the third aspect of the invention.

Zusätzliche Merkmale, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden durch die ausführliche Beschreibung in Verbindung mit den Ansprüchen ersichtlich.Additional features, aspects and advantages of the invention or embodiments thereof will become apparent from the detailed description coupled with the claims.

1 ist eine schematische Darstellung eines erfindungsgemäßen Systems 100 zur automatischen Generierung von simulierten Verkehrsdaten für zumindest eine ausgewählte Domaine. Das System 100 umfasst mehrere Module, die sowohl integrierte oder zugeordnete Prozessoren und/oder Speichereinheiten umfassen können. 1 is a schematic representation of a system 100 according to the invention for the automatic generation of simulated traffic data for at least one selected domain. The system 100 includes multiple modules, which may include either integrated or dedicated processors and/or memory devices.

Unter einem „Modul“ kann daher im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Beispielsweise ist das Modul speziell dazu eingerichtet, die Programmbefehle derart auszuführen, damit das Modul ausführt, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder realisieren.In connection with the invention, a “module” can therefore be understood to mean, for example, a processor and/or a memory unit for storing program instructions. For example, the module is specially set up to execute the program instructions in such a way that the module executes them in order to implement or realize the method according to the invention or a step of the method according to the invention.

Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung oder ein leistungsfähiger Computer verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, der Komponente, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert. Außerdem können hochparallele Recheneinheiten und leistungsfähige Grafikmodule vorgesehen sein.In the context of the invention, a “processor” can be understood to mean, for example, a machine or an electronic circuit or a powerful computer. A processor can in particular be a central processing unit (CPU), a microprocessor or a microcontroller, for example an application-specific integrated circuit or a digital signal processor, possibly in combination with a memory unit for storing program instructions, etc . A processor can also be understood to mean a virtualized processor, a virtual machine or a soft CPU. It can also be a programmable processor, for example, which is equipped with configuration steps for executing the mentioned method according to the invention or is configured with configuration steps in such a way that the programmable processor has the inventive features of the method, the component, the modules, or other aspects and/or or implemented partial aspects of the invention. In addition, highly parallel computing units and powerful graphics modules can be provided.

Unter einer „Speichereinheit“ oder „Speichermodul“ und dergleichen kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form von Arbeitsspeicher (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.In the context of the invention, a “memory unit” or “memory module” and the like can mean, for example, a volatile memory in the form of random-access memory (RAM) or a permanent memory such as a hard disk or a data carrier or z. B. be understood as a removable memory module. However, the storage module can also be a cloud-based storage solution.

Ein Datenmodul 10 enthält erste Verkehrsdaten 12 von allen zugänglichen Domainen und zweite Verkehrsdaten 14, die jeweils spezifisch für eine bestimmte Domaine sind. Unter einer Domaine kann ein bestimmtes Land wie die USA, Deutschland, Frankreich oder China verstanden werden. Es kann sich aber auch um eine spezielle geographische Region wie ein Küstengebiet, eine Gebirgslandschaft oder eine Stadt handeln. Des Weiteren kann mit einer Domaine eine bestimmte Straßensituation wie eine Autobahn oder eine Landstraße bezeichnet werden. Eine Domaine kann somit durch bestimmte geographische Merkmale charakterisiert werden. Verkehrsszenarien sehen in den verschiedenen Domainen unterschiedlich aus. So ist die Zahl der Verkehrsteilnehmer auf einer Autobahn in der Regel höher als auf einer Landstraße. Das Verkehrsbild von Tokio sieht anders aus als von New York aufgrund der unterschiedlichen Anzahl an Fußgängern, anderer Fahrzeugtypen, anderer Straßenbeschilderungen, etc.A data module 10 contains first traffic data 12 from all accessible domains and second traffic data 14 each specific to a particular domain. A domain can be a specific country such as the USA, Germany, France or China. However, it can also be a specific geographic region such as a coastal area, a mountainous area or a city. Furthermore, a specific road situation such as a freeway or a country road can be designated with a domain. A domain can thus be characterized by certain geographic features. Traffic scenarios look different in different domains. As a rule, the number of road users on a motorway is higher than on a country road. Tokyo's traffic pattern looks different than New York due to the different number of pedestrians, different types of vehicles, different street signs, etc.

Im Rahmen der vorliegenden Erfindung sind unter Verkehrsdaten 12, 14 Daten zu verstehen, die beispielsweise durch in Testfahrzeugen eingebaute Datenerfassungseinrichtungen wie insbesondere Kameras, Radarsysteme und LIDAR-Systeme insbesondere im Rahmen von Testfahrten aufgenommen werden. Zudem ist in den Testfahrzeugen vorteilhafterweise eine GPS-Verbindung (Global Positioning System) für die Ermittlung des geographischen Standortes des jeweiligen Testfahrzeugs vorgesehen, so dass die aufgenommenen Verkehrsdaten 12, 14 automatisch mit geographischen Koordinaten verknüpft werden können. Als geodätisches Referenzsystem kann dabei beispielsweise das World Geodetic System 1984 (WGS 84) verwendet werden. Außerdem können weitere Daten wie die Geschwindigkeit des Fahrzeugs den Verkehrsdaten 12, 14 zugeordnet werden. Darüber hinaus können weitere Datenquellen wie Luftbildaufnahmen, wie sie beispielsweise von Google Maps zur Verfügung gestellt werden, Satellitenaufnahmen, und/oder Wetterdaten an das Datenmodul 10 übermittelt werden. Die Wetterdaten können historische Wettermessungen und zukünftige Wettervorhersagen umfassen.In the context of the present invention, traffic data 12, 14 is understood to mean data that is recorded, for example, by data acquisition devices installed in test vehicles, such as cameras, radar systems and LIDAR systems, in particular during test drives. In addition, a GPS connection (Global Positioning System) is advantageously provided in the test vehicles for determining the geographic location of the respective test vehicle, so that the recorded traffic data 12, 14 can be automatically linked to geographic coordinates. The World Geodetic System 1984 (WGS 84), for example, can be used as a geodetic reference system. In addition, further data such as the speed of the vehicle can be assigned to the traffic data 12, 14. In addition, other data sources such as aerial photographs, such as those provided by Google Maps, satellite photographs, and/or weather data can be transmitted to the data module 10 . The weather data may include historical weather measurements and future weather forecasts.

Ein Feature-Extraktionsmodul 20 wird mittels der ersten Verkehrsdaten 12 trainiert. Die Feature-Extraktion dient dazu, entweder die Anzahl der Features in einem Datensatz zu reduzieren, indem die ursprünglichen Features durch neue Features ersetzt werden, oder indem gänzlich neue Features generiert werden. Unter Features sind beispielsweise sich bewegende Objekte wie Fahrzeuge oder unbewegte Objekte wie eine Ampel, ein Baum oder Straßenbegrenzungen zu verstehen. Der erstellte Satz von Features fasst alle wesentlichen Informationen eines Datensatzes zusammen. In einem weiteren Schritt werden die Features hinsichtlich ihrer Bedeutung bewertet. Von dem Feature-Extraktionsmodul 20 als wichtig erachtete Features erhalten eine hohe Codierung wie beispielsweise 1, während die Codierung von weniger wichtigen Eigenschaften entsprechend niedriger angesetzt wird, beispielsweise mit 0,5. Hierdurch kann jedem Feature eine Codierung zugeordnet werden und unwichtige Features können aussortiert werden.A feature extraction module 20 is trained using the first traffic data 12 . Feature extraction is used to either reduce the number of features in a dataset by replacing the original features with new features, or by generating entirely new features. Features are, for example, moving objects such as vehicles or stationary objects such as a traffic light, a tree or road boundaries. The created set of features summarizes all essential information of a data set. In a further step, the features are evaluated with regard to their importance. Features considered important by the feature extraction module 20 are given a high coding, such as 1, while the coding of less important properties is set correspondingly lower, such as 0.5. As a result, each feature can be assigned a code and unimportant features can be sorted out.

Das Feature-Extraktionsmodul 20 kann verschiedene Algorithmen für die Feature-Extraktion verwenden. Denkbar ist beispielsweise der maschinelle Lernalgorithmus „t-distributed stochastic neighbor embedding“ (t-SNE), der auf stochastischer Nachbarschaftseinbettung (engl. Stochastic Neighbor Embedding) beruht. Der Algorithmus t-SNE ist eine nicht-lineare Dimensionsreduktionstechnik, die typischerweise zur Visualisierung von hochdimensionalen Datensätzen verwendet wird. Eine Hauptanwendungen liegt im Bereich der Sprachverarbeitung wie Natural Language Processing (NLP).The feature extraction module 20 can use various algorithms for feature extraction. For example, the machine learning algorithm “t-distributed stochastic neighbor embedding” (t-SNE), which is based on stochastic neighbor embedding, is conceivable. The t-SNE algorithm is a non-linear dimensionality reduction technique typically used to visualize high-dimensional data sets. A major application is in the area of language processing such as Natural Language Processing (NLP).

Weitere mögliche Algorithmen sind Autoencoder, die im Bereich des maschinellen Lernens für Dimensionsreduktionsverfahren verwendet werden. Ein Hauptunterschied zwischen Autoencodern und anderen Dimensionsreduktionstechniken besteht darin, dass Autoencoder nicht-lineare Transformationen verwenden, um Daten von einer hohen Dimension auf eine niedrigere zu projizieren. Es gibt wiederum verschiedene Arten von Autoencodern, aber für Verkehrsdaten mit einem hohen Anteil an Bilddaten ist insbesondere die Verwendung von Faltungs-Autoencodern, die gefaltete neuronale Netzwerke (engl.: convolutional neural networks) verwenden, vorteilhaft. Ein einfacher Autoencoder besteht aus einem Encoder und einem Decoder. Dem Encoder werden die Eingabedaten zugeführt und er komprimiert sie in der Weise, dass mögliche Artefakte und Störungen entfernt werden. Die Ausgangsdaten des Encoders werden dem Decoder als Eingabedaten zugeführt, der die ursprünglichen Eingabedaten in einer komprimierten Form reproduziert.Other possible algorithms are autoencoders, which are used in machine learning for dimensionality reduction methods. A key difference between autoencoders and other dimension reduction techniques is that autoencoders use non-linear transformations to project data from a high dimension to a lower one. Again, there are different types of autoencoders, but for traffic data with a high proportion of image data, the use of convolutional autoencoders using convolutional neural networks is particularly advantageous. A simple autoencoder consists of an encoder and a decoder. The encoder takes the input data and compresses it in a way that removes possible artefacts and glitches. The output data from the encoder is supplied as input data to the decoder, which reproduces the original input data in a compressed form.

Ein neuronales Netzwerk besteht aus Neuronen, die in mehreren Schichten angeordnet und unterschiedlich miteinander verbunden sind. Ein Neuron ist in der Lage, an seinem Eingang Informationen von außerhalb oder von einem anderen Neuron entgegenzunehmen, die Information in einer bestimmten Art zu bewerten und sie in veränderter Form am Neuronen-Ausgang an ein weiteres Neuron weiterzuleiten oder als Endergebnis auszugeben. Hidden-Neuronen sind zwischen den Input-Neuronen und Output-Neuronen angeordnet. Je nach Netzwerktyp können mehrere Schichten von Hidden-Neuronen vorhanden sein. Sie sorgen für die Weiterleitung und Verarbeitung der Informationen. Output-Neuronen liefern schließlich ein Ergebnis und geben dieses an die Außenwelt aus. Durch die Anordnung und die Verknüpfung der Neuronen entstehen verschiedene Typen von neuronalen Netzwerken wie Feedforward-Netzwerke, Rekurrente Netzwerke oder Convolutional Neural Networks. Die Netzwerke lassen sich durch unbeaufsichtigtes oder überwachtes Lernen trainierenA neural network consists of neurons that are arranged in several layers and connected to each other in different ways. A neuron is able to receive information from outside or from another neuron at its input, to evaluate the information in a certain way and to pass it on to another neuron in a changed form at the neuron output or to output it as the end result. Hidden neurons are located between the input neurons and output neurons. Depending on the network type, there can be several layers of hidden neurons. You take care of them Transmission and processing of the information. Finally, output neurons deliver a result and output it to the outside world. Different types of neural networks such as feedforward networks, recurrent networks or convolutional neural networks are created by the arrangement and linking of the neurons. The networks can be trained through unsupervised or supervised learning

Das Convolutional Neural Network besitzt mehrere Faltungsschichten und ist für maschinelles Lernen und Anwendungen mit Künstlicher Intelligenz (KI) im Bereich der Bild- und Spracherkennung sehr gut geeignet. Die Funktionsweise eines Convolutional Neural Networks ist zu einem gewissen Teil biologischen Vorgängen nachempfunden und der Aufbau ist vergleichbar der Sehrinde des Gehirns. Die einzelnen Schichten des CNN sind die Convolutional-Schicht, die Pooling-Schicht und die vollständig verknüpfte Schicht. Die Pooling-Schicht folgt der Convolutional-Schicht und kann in dieser Kombination mehrfach hintereinander vorhanden sein. Da die Pooling-Schicht und die Convolutional-Schicht lokal verknüpfte Teilnetze sind, bleibt die Anzahl an Verbindungen in diesen Schichten selbst bei großen Eingabemengen begrenzt und in einem beherrschbaren Rahmen. Den Abschluss bildet eine vollständig verknüpfte Schicht. Die Convolutional-Schicht ist die eigentliche Faltungsebene und in der Lage, in den Eingabedaten einzelne Features (Merkmale) zu erkennen und zu extrahieren. Bei der Bildverarbeitung können dies Merkmale wie Linien, Kanten oder bestimmte Formen sein. Die Verarbeitung der Eingabedaten erfolgt in Form von Tensoren wie einer Matrix oder Vektoren. Die Pooling-Schicht, auch Subsampling-Schicht genannt, verdichtet und reduziert die Auflösung der erkannten Merkmale durch passende Filterfunktionen. Insbesondere wird hierfür eine Maxpool-Funktion angewendet, die für einen (üblicherweise) nicht überlappenden Teilbereich der Daten den maximalen Wert jeweils berechnet. Neben dem Maximal-Pooling kann aber auch ein Mittelwert-Pooling verwendet werden. Das Pooling verwirft überflüssige Informationen und reduziert die Datenmenge. Die Leistungsfähigkeit beim maschinellen Lernen wird dadurch nicht verringert. Durch das reduzierte Datenaufkommen erhöht sich die Berechnungsgeschwindigkeit.The convolutional neural network has several convolutional layers and is very well suited for machine learning and artificial intelligence (AI) applications in the field of image and speech recognition. The functionality of a convolutional neural network is to a certain extent modeled on biological processes and the structure is comparable to the visual cortex of the brain. The individual layers of the CNN are the convolutional layer, the pooling layer and the fully linked layer. The pooling layer follows the convolutional layer and can exist multiple times in this combination. Since the pooling layer and the convolutional layer are locally linked subnets, the number of connections in these layers remains limited and manageable, even with large amounts of input. The final step is a fully linked layer. The convolutional layer is the actual convolution layer and is able to recognize and extract individual features (characteristics) in the input data. In image processing, these can be features such as lines, edges or specific shapes. The input data is processed in the form of tensors such as a matrix or vectors. The pooling layer, also known as the subsampling layer, compresses and reduces the resolution of the recognized features using appropriate filter functions. In particular, a maxpool function is used for this, which calculates the maximum value for a (usually) non-overlapping sub-area of the data. In addition to maximum pooling, mean pooling can also be used. Pooling discards superfluous information and reduces the amount of data. This does not reduce machine learning performance. The reduced data volume increases the calculation speed.

Das Convolutional Neural Network (CNN) bietet daher gegenüber herkömmlichen nicht gefalteten neuronalen Netzen zahlreiche Vorteile. Es eignet sich für maschinelles Lernen und Anwendungen der Künstlichen Intelligenz mit großen Mengen an Eingabedaten wie in der Bilderkennung. Das Netzwerk arbeitet zuverlässig und ist gegenüber Verzerrungen oder anderen optischen Veränderungen unempfindlich. Das CNN kann unter verschiedenen Lichtverhältnissen und in unterschiedlichen Perspektiven aufgenommene Bilder verarbeiten. Es erkennt dennoch die typischen Merkmale eines Bildes. Da das CNN in mehrere lokale, teilverknüpfte Schichten aufgeteilt ist, hat es einen wesentlich geringeren Speicherplatzbedarf als vollverknüpfte neuronale Netze. Die Faltungsschichten reduzieren die Speicheranforderungen drastisch. Ebenfalls stark verkürzt ist die Trainingszeit des Convolutional Neural Networks. Mit dem Einsatz moderner Grafikprozessoren lassen sich CNNs sehr effizient trainieren.The convolutional neural network (CNN) therefore offers numerous advantages over conventional non-convoluted neural networks. It is suitable for machine learning and artificial intelligence applications with large amounts of input data, such as in image recognition. The network works reliably and is not sensitive to distortions or other optical changes. CNN can process images captured under different lighting conditions and from different perspectives. It still recognizes the typical features of an image. Since the CNN is divided into several local, partially connected layers, it requires significantly less storage space than fully connected neural networks. The convolutional layers drastically reduce storage requirements. The training time of the convolutional neural network is also greatly reduced. With the use of modern graphics processors, CNNs can be trained very efficiently.

Nachdem das Feature-Extraktionsmodul 20 mit den ersten Verkehrsdaten 12 trainiert wurde, werden ihm die zweiten realen Verkehrsdaten 14 einer Zieldomaine zugeführt und für diese Verkehrsdaten 14 erstellt das Feature-Extraktionsmodul 20 eine Feature-Codierung. Die Zieldomaine kann beispielsweise zuvor durch einen Experten oder Benutzer mittels einer Benutzerschnittstelle 30 dem Feature-Extraktionsmodul 20 mitgeteilt werden. Es können aber auch Auswahlalgorithmen vorgesehen sein, so dass automatisch die Auswahl zumindest einer passenden Zieldomaine erfolgt. Ein Beispiel für eine Zieldomaine ist der chinesische Stadtverkehr.After the feature extraction module 20 has been trained with the first traffic data 12, it is supplied with the second real traffic data 14 of a target domain and the feature extraction module 20 creates a feature coding for this traffic data 14. The target domain can, for example, be communicated to the feature extraction module 20 beforehand by an expert or user using a user interface 30 . However, selection algorithms can also be provided so that at least one suitable target domain is selected automatically. An example of a target domain is Chinese city traffic.

Des Weiteren ist ein Simulationsmodul 40 vorgesehen, das simulierte Verkehrsdaten 18 der Zieldomaine erstellt. Als Algorithmus für das Simulationsmodul 40 kann wiederum ein neuronales Netzwerk, insbesondere ein Convolutional Neural Network vorgesehen sein. Das Simulationsmodul 40 erhält als Input Simulationsparameter, die das Ergebnis der simulierten Verkehrsdaten 18 beeinflussen. Als Simulationsparameter wird im Folgenden eine Größe bezeichnet, die eine direkte oder indirekte Auswirkung auf die simulierten Verkehrsdaten 18 hat. Beispiele von Simulationsparametern sind beispielsweise die Fahrzeugdichte, die Geschwindigkeitsverteilung der Verkehrsteilnehmer, die Fahrzeugklassenverteilung wie SUV, Sportwagen, Kraftfahrzeuge, Kleinfahrzeuge, Fußgänger, die Ampelzeiten insbesondere im Stadtverkehr, die Häufigkeit eines Spurwechsels in Abhängigkeit vom Fahrverhalten wie der Beschleunigung eines Fahrzeugs, die Wetterverhältnisse, die Beschilderung und die Straßeninfrastruktur. Die verschiedenen Parameter können neben einem linearen Einfluss auf ein Verkehrsszenarium auch komplexe Abhängigkeiten untereinander aufweisen und/oder einen nichtlinearen und/oder mehrdimensionalen Einfluss auf ein Verkehrsszenarium und damit die generierten Verkehrsdaten 18 ausüben. So kann eine Änderung der Wetterverhältnisse wie das Einsetzen von Dauerregen die Anzahl der Fußgänger drastisch senken und gleichzeitig das Fahrverhalten der Fahrzeuge ändern, da sich die Eigenschaften des Straßenbelags geändert haben und damit ein verändertes Brems- bzw. Beschleunigungsverhalten induzieren.Furthermore, a simulation module 40 is provided, which creates simulated traffic data 18 of the target domain. A neural network, in particular a convolutional neural network, can in turn be provided as the algorithm for the simulation module 40 . The simulation module 40 receives simulation parameters as input, which influence the result of the simulated traffic data 18 . A variable that has a direct or indirect effect on the simulated traffic data 18 is referred to below as a simulation parameter. Examples of simulation parameters are, for example, the vehicle density, the speed distribution of road users, the vehicle class distribution such as SUVs, sports cars, motor vehicles, small vehicles, pedestrians, the traffic light times, especially in city traffic, the frequency of lane changes depending on driving behavior such as the acceleration of a vehicle, the weather conditions, the signage and road infrastructure. In addition to having a linear influence on a traffic scenario, the various parameters can also have complex interdependencies and/or have a non-linear and/or multidimensional influence on a traffic scenario and thus the generated traffic data 18 . A change in the weather conditions, such as the onset of continuous rain, can drastically reduce the number of pedestrians and at the same time change the driving behavior of the vehicles, since the properties of the road surface have changed and thus induce a different braking or acceleration behavior.

Die Simulationsparameter werden in einem Parametrisierungsmodul 50 erstellt. Das Parametrisierungsmodul 50 wählt passende Simulationsparameter mittels Optimierungsalgorithmen aus. Bei den Optimierungsalgorithmen handelt es sich vorzugsweise um ableitungsfreie bzw. Black-Box Optimierungsverfahren. Als Optimierungsalgorithmen können Algorithmen zur Abschätzung von Verteilungen wie beispielsweise Bayesian Optimierung, evolutionäre Algorithmen wie genetische Algorithmen und evolutionäre Strategien mit Operatoren wie Mutation, Selektion, Rekombination, oder numerische Verfahren wie das Nelder-Meat-Verfahren, Ameisenalgorithmen (Ant Colony Optimierung), Partikelschwarmoptimierung, oder heuristische Approximationsverfahren wie simuliertes Ausglühen (Simulated Annealing) verwendet werden. Es sind somit eine Vielzahl von Optimierungsverfahren im Bereich des Maschinenlernens denkbar, die von dem Parametrisierungsmodul 50 zum Auffinden von passenden Simulationsparametern verwendet werden können.The simulation parameters are created in a parameterization module 50 . The parameterization module 50 selects suitable simulation parameters using optimization algorithms. The optimization algorithms are preferably derivation-free or black-box optimization methods. Algorithms for estimating distributions such as Bayesian optimization, evolutionary algorithms such as genetic algorithms and evolutionary strategies with operators such as mutation, selection, recombination, or numerical methods such as the Nelder-Meat method, ant algorithms (ant colony optimization), particle swarm optimization, or heuristic approximation methods such as simulated annealing can be used. A large number of optimization methods in the field of machine learning are therefore conceivable, which can be used by the parameterization module 50 to find suitable simulation parameters.

Das mittels der Simulationsparameter erstellte Simulationsergebnis von Verkehrsdaten 18 der Zieldomaine wird dem Feature-Extraktionsmodul 20 zugeführt, das für die simulierten Verkehrsdaten 18 eine Feature-Codierung erstellt. Das Ergebnis der Feature-Codierung für die realen Verkehrsdaten 14 der Zieldomaine und das Ergebnis der Feature-Codierung für die simulierten Verkehrsdaten 18 der Zieldomaine werden einem Differenzmodul 70 zugeführt. Das Differenzmodul 70 berechnet einen Differenzwert zwischen der Feature-Codierung für die realen Verkehrsdaten 14 der Zieldomaine und der Feature-Codierung für die simulierten Verkehrsdaten 18. Der Wert der Differenz ist ein Maß für die Güte des Parametrisierungsmoduls 50. Wenn die Differenz klein ausfällt, kann davon ausgegangen werden, dass die simulierten Verkehrsdaten 18 die realen Verkehrsdaten 14 gut wiedergeben. Ist jedoch die Differenz sehr hoch, so wird das Parametrisierungsmodul 50 die Simulationsparameter verändern und eine erneute Simulation wird im Simulationsmodul 40 durchgeführt. Die Iterationen werden solange durchgeführt, bis die Differenz zwischen der Feature-Codierung für die realen Verkehrsdaten 14 der Zieldomaine und der Feature-Codierung für die simulierten Verkehrsdaten 18 minimiert ist. Ist das Ergebnis für die simulierten Verkehrsdaten 18 akzeptabel, so können diese über ein Ausgabemodul 80 ausgeben werden, beispielsweise für die weitere Verwendung in autonomen und automatisierten Fahrfunktionen oder für die Verwendung in weiteren Simulationen. The simulation result of traffic data 18 of the target domain created by means of the simulation parameters is supplied to the feature extraction module 20 which creates a feature coding for the simulated traffic data 18 . The result of the feature coding for the real traffic data 14 of the target domain and the result of the feature coding for the simulated traffic data 18 of the target domain are fed to a difference module 70 . The difference module 70 calculates a difference value between the feature coding for the real traffic data 14 of the target domain and the feature coding for the simulated traffic data 18. The value of the difference is a measure of the quality of the parameterization module 50. If the difference is small, it can it can be assumed that the simulated traffic data 18 reproduces the real traffic data 14 well. However, if the difference is very high, the parameterization module 50 will change the simulation parameters and a new simulation is carried out in the simulation module 40 . The iterations are carried out until the difference between the feature coding for the real traffic data 14 of the target domain and the feature coding for the simulated traffic data 18 is minimized. If the result for the simulated traffic data 18 is acceptable, it can be output via an output module 80, for example for further use in autonomous and automated driving functions or for use in further simulations.

Ein Verfahren zum automatischen Generieren von Verkehrsdaten für zumindest ein Verkehrsszenarium für zumindest eine ausgewählte Zieldomaine umfasst die folgenden Verfahrensschritten:

In einem Schritt S10 wird ein Feature-Extraktionsmodul 20 mit ersten realen Verkehrsdaten 12 aus einer Vielzahl von Domainen trainiert.
In einem Schritt S20 wird zumindest eine Zieldomaine ausgewählt und zweite reale Verkehrsdaten 14 aus der ausgewählten Zieldomaine werden an das trainierte Feature-Extraktionsmodul 20 gesandt.
In einem Schritt S30 berechnet das Feature-Extraktionsmodul 20 eine Feature-Codierung für die zweiten realen Verkehrsdaten 14.
In einem Schritt S40 bestimmt ein Parametrisierungsmodul 50 Simulationsparameter und übergibt diese an ein Simulationsmodul 40.
In einem Schritt S50 führt das Simulationsmodul 40 eine Simulation der zweiten Verkehrsdaten 14 mit den Simulationsparametern durch und berechnet simulierte Verkehrsdaten 18, die an das Feature-Extraktionsmodul 20 übergeben werden.
In einem Schritt S60 berechnet das Feature-Extraktionsmodul 20 eine Feature-Codierung für die simulierten Verkehrsdaten 18.
In einem Schritt S70 vergleicht ein Differenzmodul 70 die Feature-Codierung der zweiten realen Verkehrsdaten 14 mit der Feature-Codierung der simulierten Verkehrsdaten 18.
In einem Schritt S80 modifiziert das Parametrisierungsmodul 50 die Simulationsparameter und ein neuer Simulationszyklus beginnt, wenn das Differenzergebnis über einem bestimmten Schwellenwert liegt.
In einem Schritt S90 wird das simulierte Verkehrsszenarium von einem Ausgabemodul 80 ausgegeben, wenn das Differenzergebnis unter einem bestimmten Schwellenwert liegt.

A method for automatically generating traffic data for at least one traffic scenario for at least one selected target domain includes the following method steps:

In a step S10, a feature extraction module 20 is trained with first real traffic data 12 from a large number of domains.
At least one target domain is selected in a step S20 and second real traffic data 14 from the selected target domain is sent to the trained feature extraction module 20 .
In a step S30, the feature extraction module 20 calculates a feature coding for the second real traffic data 14.
In a step S40, a parameterization module 50 determines simulation parameters and transfers them to a simulation module 40.
In a step S50 the simulation module 40 carries out a simulation of the second traffic data 14 with the simulation parameters and calculates simulated traffic data 18 which are transferred to the feature extraction module 20 .
In a step S60, the feature extraction module 20 calculates a feature coding for the simulated traffic data 18.
In a step S70, a difference module 70 compares the feature coding of the second real traffic data 14 with the feature coding of the simulated traffic data 18.
In a step S80, the parameterization module 50 modifies the simulation parameters and a new simulation cycle begins if the difference result is above a certain threshold value.
In a step S90, the simulated traffic scenario is output by an output module 80 if the difference result is below a specific threshold value.

Durch die vorliegende Erfindung kann die Sicherheit von autonomen bzw. automatisierten Fahrfunktionen signifikant erhöht werden, da deutlich mehr Simulations-Verkehrsszenarien zur Verfügung stehen, die für das Testen von autonom fahrenden Fahrzeugen von enormer Bedeutung sind. Insbesondere können seltene Ereignisse, sogenannten Corner-Cases simuliert werden, die in der Realität oft nicht einfach zu finden sind. Durch die Feature-Extraktion können aus bereits vorhandenen Verkehrsdaten relevante Informationen extrahiert werden, so dass auf eine aufwändige manuelle Datenannotation verzichtet werden kann. Zugleich kann auf Basis der erstellten Feature-Codierung eine Bewertung von simulierten Verkehrsszenarien erfolgen. Da die simulierten Verkehrsszenarien und die realen Verkehrsszenarien direkt miteinander anhand der Feature-Codierung verglichen werden, kann die Güte der Simulation bewertet werden. Wenn nach etlichen Iterationsschleifen die Simulationsparameter festgelegt wurden, können dann simulierte neue Verkehrsszenarien simuliert werden, ohne dass diese mit realen Verkehrsszenarien verglichen werden. Da die Güte der simulierten Verkehrsszenarien durch den iterativen Optimierungsprozess trainiert worden ist, können nun eine Vielzahl von simulierten Verkehrsszenarien entstehen, die für das Testen von autonomen und automatisierten Fahrfunktionen eine enorme Bereicherung darstellen. Simulierte Verkehrsszenarien können in einer nahezu grenzenlosen Anzahl generiert werden und das aufwändige Testabfahren einer Vielzahl von Teststrecken kann deutlich reduziert werden. Dies ist insbesondere für Zieldomainen von Vorteil, wo weniger reale Verkehrsdaten zur Verfügung stehen als in anderen Zieldomainen, in denen bereits zahlreiche Testfahrten vorgenommen wurden und die Datenmenge höher ist.The safety of autonomous or automated driving functions can be significantly increased by the present invention, since significantly more simulation traffic scenarios are available, which are of enormous importance for testing autonomously driving vehicles. In particular, rare events, so-called corner cases, which are often not easy to find in reality, can be simulated. With feature extraction, relevant information can be extracted from existing traffic data so that there is no need for time-consuming manual data annotation. At the same time, an evaluation of simulated traffic scenarios can be carried out on the basis of the feature coding created. Since the simulated traffic scenarios and the real traffic scenarios are directly compared with each other based on the feature coding, the quality of the simulation can be evaluated. If after several Iteration loops, the simulation parameters have been set, simulated new traffic scenarios can then be simulated without comparing them with real traffic scenarios. Since the quality of the simulated traffic scenarios has been trained through the iterative optimization process, a large number of simulated traffic scenarios can now be created, which represent an enormous enrichment for testing autonomous and automated driving functions. An almost unlimited number of simulated traffic scenarios can be generated and the time-consuming test driving of a large number of test routes can be significantly reduced. This is particularly advantageous for target domains where less real traffic data is available than in other target domains where numerous test drives have already been carried out and the amount of data is higher.

BezugszeichenlisteReference List

1010: Datenmoduldata module
1212: reale Verkehrsdaten einer Vielzahl von Domainenreal traffic data from a variety of domains
1414: reale Verkehrsdaten einer Zieldomainereal traffic data of a target domain
1818: simulierte Verkehrsdaten der Zieldomainesimulated traffic data of the target domain
2020: Feature-ExtraktionsmodulFeature Extraction Module
3030: Benutzerschnittstelleuser interface
4040: Simulationsmodulsimulation module
5050: Parametrisierungsmodulparameterization module
7070: Differenzmoduldifferential module
8080: Ausgabemoduloutput module
8080: Benutzerschnittstelleuser interface
9090: Ausgabedatenoutput data
100100: Systemsystem
200200: Computerprogrammproduktcomputer program product
250250: Programmcodeprogram code

Claims

Method for the automated generation of traffic data, the traffic data depicting at least one traffic scenario, comprising: - Training (S10) a feature extraction module (20) with first real traffic data (12) from a plurality of domains; - selecting (S20) a target domain and sending second real traffic data (14) from the selected target domain to the trained feature extraction module (20); - calculating (S30) a feature coding from the feature extraction module (20) for the second real traffic data (14); - Determination (S40) of simulation parameters by a parameterization module (50) and transfer of the simulation parameters to a simulation module (40); - performing (S50) a simulation of the second traffic data with the simulation parameters by the simulation module (40) and calculating simulated traffic data (18), which are transferred to the feature extraction module (20); - calculating (S60) a feature coding by the feature extraction module (20) for the simulated traffic data (18); - Comparing (S70) the feature coding of the second real traffic data (14) with the feature coding of the simulated traffic data (18) by a difference module (70); - modifying (S80) the simulation parameters by the parameterization module (50) and starting a new simulation cycle if the difference result is above a certain threshold; or - Outputting (S90) the simulated traffic data (18) from an output module (80) if the difference result is below a certain threshold value; the simulated traffic data (18) being used for training autonomous and automated driving functions.

procedure after claim 1 , wherein the first real traffic data (12) and the second real traffic data (14) were recorded by means of test drives by vehicles with one or more sensor and/or camera devices.

procedure after claim 1 or 2 , wherein the feature extraction module (20) comprises neural networks.

procedure after claim 3 , the neural networks being constructed as folded neural networks (convolutional neural networks).

Procedure according to one of Claims 1 until 4 , Wherein the first real traffic data (12) and the second real traffic data (14) are stored in a data module (10) and/or the data module (10) is designed as a cloud-based storage solution.

Procedure according to one of Claims 1 until 5 , wherein the parameterization module (50) includes optimization algorithms, in particular genetic algorithms and evolutionary algorithms with operators such as mutation, selection, recombination.

System (100) for the automated generation of traffic data, the traffic data depict at least one traffic scenario, comprising a feature extraction module (20) which is designed to be trained with first real traffic data (12) from a large number of domains, and to carry out feature coding for second real traffic data (14) of a selected target domain ; a parameterization module (50) which is designed to determine simulation parameters and to transfer them to a simulation module (40); wherein the simulation module (40) is designed to carry out a simulation of the second traffic data (14) with the simulation parameters, to calculate simulated traffic data (18) and to transfer them to the feature extraction module (20); wherein the feature extraction module (20) is designed to calculate a feature coding for the simulated traffic data (18); and a difference module (70) and an output module (80); wherein the difference module (70) is designed to compare the feature coding of the second real traffic data (14) with the feature coding of the simulated traffic data (18); wherein, if the difference result is above a certain threshold, the parameterization module (50) is configured to modify the simulation parameters and start a new simulation cycle, or, if the difference result is below a certain threshold, the output module (80) is configured to output simulated traffic data (18); the simulated traffic data (18) being used for training autonomous and automated driving functions.

system (100) after claim 7 , wherein the first real traffic data (12) and the second real traffic data (14) were recorded by means of test drives by vehicles with one or more sensor and/or camera devices.

system (100) after claim 7 or 8th , wherein the feature extraction module (20) comprises neural networks.

system (100) after claim 9 , the neural networks being constructed as folded neural networks (convolutional neural networks).

System (100) according to one of Claims 7 until 10 , Wherein the first real traffic data (12) and the second real traffic data (14) are stored in a data module (10) and/or the data module (10) is designed as a cloud-based storage solution.

System (100) according to one of Claims 7 until 11 , wherein the parameterization module (50) includes optimization algorithms, in particular genetic algorithms and evolutionary algorithms with operators such as mutation, selection, recombination.

Computer program product (200), comprising an executable program code (250), which is configured so that when it is executed it performs the method according to any one of Claims 1 until 6 executes