DE102020110358A1 - Formation of a neural transformation network for data transformation of a training data set - Google Patents

Formation of a neural transformation network for data transformation of a training data set Download PDF

Info

Publication number
DE102020110358A1
DE102020110358A1 DE102020110358.1A DE102020110358A DE102020110358A1 DE 102020110358 A1 DE102020110358 A1 DE 102020110358A1 DE 102020110358 A DE102020110358 A DE 102020110358A DE 102020110358 A1 DE102020110358 A1 DE 102020110358A1
Authority
DE
Germany
Prior art keywords
ultrasonic sensor
data set
vehicle
installation position
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020110358.1A
Other languages
German (de)
Inventor
Maximilian Poepperl
Niko Sommer
Raghavendra Gulagundi
Niko Moritz Scholz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102020110358.1A priority Critical patent/DE102020110358A1/en
Publication of DE102020110358A1 publication Critical patent/DE102020110358A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Acoustics & Sound (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Ausbilden eines neuronalen Transformationsnetzwerks zur Datentransformation eines Trainingsdatensatzes von Ultraschallsensordaten zur Anpassung an eine Ultraschallsensor-Installationsposition an einem Fahrzeug, aufweisend folgende Verfahrensschritte: Zurverfügungstellen (100) eines Messwertdatensatzes aus einer Vielzahl von Ultraschallsensor-Messkurven an einer Ultraschallsensor-Installationsposition an einem Fahrzeug; Erzeugen (200) eines Superdatensatzes von Ultraschallsensordaten basierend auf dem Messwertdatensatz und der dem Messwertdatensatz zugeordneten Ultraschallsensor-Installationsposition am Fahrzeug; und Trainieren (300) zumindest eines Transformationsnetzwerkes basierend auf dem Superdatensatz und zumindest einem weiteren Messwertdatensatz mit einer weiteren Vielzahl von Ultraschallsensor-Messkurven an einer weiteren Ultraschallsensor-Installationsposition am Fahrzeug.
Auch betrifft die vorliegende Erfindung ein Verfahren zur Bereitstellung eines Trainingsdatensatzes von Ultraschallsensordaten zur Anpassung an eine Ultraschallsensor-Installationsposition an einem Fahrzeug, ein Verfahren zum Trainieren eines Klassifikators, ein Fahrzeug mit dem Klassifikator, ein Computerprogramm, ein Datenträgersignal, und ein computerlesbares Medium.

Figure DE102020110358A1_0000
The present invention relates to a method for forming a neural transformation network for data transformation of a training data set of ultrasonic sensor data for adaptation to an ultrasonic sensor installation position on a vehicle, comprising the following method steps: Providing (100) a measured value data record from a plurality of ultrasonic sensor measurement curves at an ultrasonic sensor installation position on a vehicle; Generating (200) a super data set of ultrasonic sensor data based on the measured value data set and the ultrasonic sensor installation position on the vehicle assigned to the measured value data set; and training (300) at least one transformation network based on the super data set and at least one further measured value data set with a further plurality of ultrasonic sensor measurement curves at a further ultrasonic sensor installation position on the vehicle.
The present invention also relates to a method for providing a training data set of ultrasonic sensor data for adaptation to an ultrasonic sensor installation position on a vehicle, a method for training a classifier, a vehicle with the classifier, a computer program, a data carrier signal, and a computer-readable medium.
Figure DE102020110358A1_0000

Description

Die vorliegende Erfindung betrifft ein zum Ausbilden eines neuronalen Transformationsnetzwerks zur Datentransformation eines Trainingsdatensatzes von Ultraschallsensordaten zur Anpassung an eine Ultraschallsensor-Installationsposition an einem Fahrzeug.The present invention relates to a device for forming a neural transformation network for data transformation of a training data set of ultrasonic sensor data for adaptation to an ultrasonic sensor installation position on a vehicle.

Auch betrifft die vorliegende Erfindung ein Verfahren zur Bereitstellung eines Trainingsdatensatzes von Ultraschallsensordaten zur Anpassung an eine Ultraschallsensor-Installationsposition an einem Fahrzeug, für einen Klassifikator.The present invention also relates to a method for providing a training data set of ultrasonic sensor data for adaptation to an ultrasonic sensor installation position on a vehicle, for a classifier.

Des Weiteren betrifft die Erfindung ein Verfahren zum Trainieren eines Klassifikators.The invention also relates to a method for training a classifier.

Des Weiteren betrifft die vorliegende Erfindung ein Fahrzeug mit dem Klassifikator.The present invention also relates to a vehicle with the classifier.

Des Weiteren betrifft die vorliegende Erfindung ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, Schritte des Verfahrens auszuführen.The present invention also relates to a computer program, comprising instructions which, when the computer program is executed by a computer, cause the computer to carry out steps of the method.

Des Weiteren betrifft die vorliegende Erfindung ein Datenträgersignal, das das Computerprogramm überträgt.The present invention also relates to a data carrier signal which the computer program transmits.

Des Weiteren betrifft die vorliegende Erfindung ein computerlesbares Medium, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, Schritte des Verfahrens auszuführen.The present invention also relates to a computer-readable medium, comprising instructions which, when executed by a computer, cause the computer to carry out steps of the method.

Ultraschallsysteme sind im Automobilbereich weit verbreitet. Dabei wachsen die Anforderungen an die Ultraschallsensoren stetig. Waren am Anfang ausschließlich Abstandsmessungen in einem Bereich von wenigen Metern um das Auto beim Parken notwendig, müssen heutzutage Funktionen wie „Blind Spot Detection“ auf Autobahnen oder „Emergency Braking“ bei bis 30 km/h mit Ultraschall umgesetzt werden können. Diese neuen Funktionen stellen nicht nur neue Anforderungen die Sensorhardware, sondern insbesondere auch an die verwendeten Algorithmen. So kann mittels Software zum Beispiel zuverlässig die Einschränkung der Funktion der Sensoren, z.B. durch Verschmutzung oder Beschädigung, erkannt werden, verschiedene Objekttypen unterschieden werden oder die Objekthöhe zuverlässig bestimmt werden. Alle diese Funktionen können mittels maschinellem Lernen realisiert werden. Die Algorithmen für das maschinelle Lernen sind typischerweise auf einen bestimmten Einsatzbereich zugeschnitten. Dies resultiert meist daraus, dass für das maschinelle Lernen generell Trainingsdaten notwendig sind. Diese Trainingsdaten stammen üblicherweise aus einer Umgebung, die dem finalen Einsatzbereich des Sensors sehr ähnlich ist.Ultrasound systems are widely used in the automotive sector. The requirements for ultrasonic sensors are growing steadily. While in the beginning only distance measurements in an area of a few meters around the car were necessary when parking, nowadays functions such as “Blind Spot Detection” on motorways or “Emergency Braking” at up to 30 km / h must be implemented with ultrasound. These new functions not only place new demands on the sensor hardware, but also, in particular, on the algorithms used. For example, software can be used to reliably detect the limitation of the function of the sensors, e.g. due to contamination or damage, to differentiate between different object types or to reliably determine the object height. All of these functions can be implemented using machine learning. The machine learning algorithms are typically tailored to a specific area of application. This usually results from the fact that training data is generally required for machine learning. These training data usually come from an environment that is very similar to the final area of application of the sensor.

Folgendes Beispiel soll dies verdeutlichen: Für die Bestimmung der Objekthöhe in einem Kleinwagen werden über einen längeren Zeitraum mit diesem Kleinwagen Ultraschallmessungen mit Objekten mit verschiedenen Höhen in verschiedenen Szenarien aufgezeichnet. Diese Messungen werden dann für das Training eines Klassifikators verwendet. Anschließend kann dieser Klassifikator für die Unterscheidung verschiedener Höhen in dem Kleinwagen eingesetzt werden. Wird derselbe Klassifikator z.B. in einem SUV verwendet, wird im besten Fall die Performanz des Klassifikators um ein tolerierbares Maß reduziert. Im schlimmsten Fall führen die unterschiedlichen Einbaupositionen und -Arten dazu, dass keine Höhenschätzung möglich ist. Um dieses Problem zu umgehen, müssten auch für den SUV neue Trainingsdaten aufgezeichnet werden und ein neuer Klassifikator trainiert werden, der an die Voraussetzungen im SUV angepasst ist. Das Aufzeichnen von Trainingsdaten ist ein aufwändiger Prozess, der im Normalfall einige Tage bis Wochen in Anspruch nehmen kann, insbesondere dann, wenn unterschiedliche Umgebungsbedingungen, wie Kälte, Hitze, Schnee, Regen, etc. einbezogen werden müssen. Um die Funktionsfähigkeit der Algorithmen zu gewährleisten müssten demnach Trainingsdaten für jedes neue Fahrzeugmodell aufgenommen werden und die Algorithmen neu trainiert werden. Aufgrund des extremen Aufwandes verhindert dies aktuell den flächendeckenden Einsatz von Algorithmen, die auf maschinellem Lernen basieren in Ultraschallsystemen.The following example should clarify this: To determine the object height in a small car, ultrasonic measurements with objects with different heights in different scenarios are recorded over a longer period of time with this small car. These measurements are then used to train a classifier. This classifier can then be used to differentiate between different heights in the small car. If the same classifier is used, e.g. in an SUV, in the best case the performance of the classifier is reduced by a tolerable amount. In the worst case, the different installation positions and types mean that no height estimation is possible. In order to circumvent this problem, new training data would also have to be recorded for the SUV and a new classifier trained which is adapted to the requirements in the SUV. The recording of training data is a complex process that can normally take a few days to weeks, especially when different environmental conditions such as cold, heat, snow, rain, etc. have to be taken into account. In order to guarantee the functionality of the algorithms, training data would have to be recorded for each new vehicle model and the algorithms would have to be retrained. Due to the extreme effort, this currently prevents the widespread use of algorithms based on machine learning in ultrasound systems.

Je nach Einbauposition und Art von Sensoren in einem Fahrzeug ändern sich die reflektierten Signale von Objekten in Ultraschallsystemen. Die Vorhersage dieser Änderungen kann theoretisch mittels aufwändiger Simulationen bestimmt werden. Um Algorithmen, die auf maschinellem Lernen basieren, nutzen zu können, sind jedoch Trainings-Datensätze mit vielen Tausend Messungen notwendig, die nicht in einem vernünftigen zeitlichen Rahmen mit solchen Simulationen erzeugt werden können. Da das Aufzeichnen der Trainings-Datensätze mit jedem Fahrzeugmodell mindestens ähnlich aufwändig ist wie die Simulation, ist aktuell die Verwendung von Algorithmen, die auf maschinellem Lernen basieren, nur eingeschränkt möglich.The reflected signals from objects in ultrasonic systems change depending on the installation position and type of sensors in a vehicle. The prediction of these changes can theoretically be determined by means of complex simulations. In order to be able to use algorithms based on machine learning, however, training data sets with many thousands of measurements are necessary, which cannot be generated in a reasonable time frame with such simulations. Since the recording of the training data sets with each vehicle model is at least as complex as the simulation, the use of algorithms based on machine learning is currently only possible to a limited extent.

Ausgehend von dem oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein verbessertes Verfahren, ein verbessertes System, ein verbessertes Fahrzeug, ein verbessertes Computerprogramm, ein verbessertes Datenträgersignal und ein verbessertes computerlesbares Medium anzugeben.Proceeding from the above-mentioned prior art, the invention is therefore based on the object of specifying an improved method, an improved system, an improved vehicle, an improved computer program, an improved data carrier signal and an improved computer-readable medium.

Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.The object is achieved according to the invention by the features of the independent claims. Advantageous refinements of the invention are specified in the subclaims.

Erfindungsgemäß ist somit ein Verfahren zum Ausbilden eines neuronalen Transformationsnetzwerks zur Datentransformation eines Trainingsdatensatzes von Ultraschallsensordaten zur Anpassung an eine Ultraschallsensor-Installationsposition an einem Fahrzeug angegeben. Das Verfahren weist folgende Verfahrensschritte auf:

  • - Zurverfügungstellen eines Messwertdatensatzes aus einer Vielzahl von Ultraschallsensor-Messkurven an einer Ultraschallsensor-Installationsposition an einem Fahrzeug;
  • - Erzeugen eines Superdatensatzes von Ultraschallsensordaten basierend auf dem Messwertdatensatz und der dem Messwertdatensatz zugeordneten Ultraschallsensor-Installationsposition am Fahrzeug; und
  • - Trainieren zumindest eines Transformationsnetzwerkes basierend auf dem Superdatensatz und zumindest einem weiteren Messwertdatensatz mit einer weiteren Vielzahl von Ultraschallsensor-Messkurven an einer weiteren Ultraschallsensor-Installationsposition am Fahrzeug.
According to the invention, a method for forming a neural transformation network for data transformation of a training data set of ultrasonic sensor data for adaptation to an ultrasonic sensor installation position on a vehicle is thus specified. The procedure has the following procedural steps:
  • - Providing a measured value data set from a plurality of ultrasonic sensor measurement curves at an ultrasonic sensor installation position on a vehicle;
  • Generating a super data set of ultrasonic sensor data based on the measured value data set and the ultrasonic sensor installation position on the vehicle assigned to the measured value data set; and
  • - Training at least one transformation network based on the super data set and at least one further measured value data set with a further plurality of ultrasonic sensor measurement curves at a further ultrasonic sensor installation position on the vehicle.

Gemäß dem Verfahren erfolgt zunächst ein Zurverfügungstellen eines Messwertdatensatzes aus einer Vielzahl von Ultraschallsensor-Messkurven an einer Ultraschallsensor-Installationsposition an einem Fahrzeug.According to the method, a measured value data set from a multiplicity of ultrasonic sensor measurement curves is first made available at an ultrasonic sensor installation position on a vehicle.

Nach dem Zurverfügungstellen des Messwertdatensatzes erfolgt ein Erzeugen eines Superdatensatzes von Ultraschallsensordaten basierend auf dem Messwertdatensatz und der dem Messwertdatensatz zugeordneten Ultraschallsensor-Installationsposition am Fahrzeug.After the measured value data set has been made available, a super data set of ultrasonic sensor data is generated based on the measured value data set and the ultrasonic sensor installation position on the vehicle assigned to the measured value data set.

Nach dem Erzeugen des Superdatensatzes erfolgt ein Trainieren zumindest eines Transformationsnetzwerkes basierend auf dem Superdatensatz und zumindest einem weiteren Messwertdatensatz mit einer weiteren Vielzahl von Ultraschallsensor-Messkurven an einer weiteren Ultraschallsensor-Installationsposition am Fahrzeug.After generating the super data set, at least one transformation network is trained based on the super data set and at least one further measured value data set with a further plurality of ultrasonic sensor measurement curves at a further ultrasonic sensor installation position on the vehicle.

Somit ist es möglich effizient beliebig viele einzelne Messdaten zu erzeugen. Insbesondere durch Mischen der gemessenen Daten und Hinzufügen weiterer synthetischer Daten kann somit ein Superdatensatz mit sehr vielen Einzelmessungen erzeugt werden ohne dass diese tatsächlich zeitaufwändig gemessen werden müssen. Das Kombinieren kann sowohl ein einfaches Zusammenfügen der Datensätze oder ein Überlagern einzelner Elemente einer Messkurve umfassen, um realistischere synthetische Messkurven zu erzeugen.This makes it possible to efficiently generate any number of individual measurement data. In particular, by mixing the measured data and adding further synthetic data, a super data set with a large number of individual measurements can be generated without these actually having to be measured in a time-consuming manner. Combining can include simply combining the data sets or superimposing individual elements of a measurement curve in order to generate more realistic synthetic measurement curves.

Vorzugsweise wird zumindest der letzte Schritt des erfindungsgemäßen Verfahrens im Fahrzeug durchgeführt.At least the last step of the method according to the invention is preferably carried out in the vehicle.

Erfindungsgemäß ist außerdem ein Verfahren zur Bereitstellung eines Trainingsdatensatzes von Ultraschallsensordaten zur Anpassung an eine Ultraschallsensor-Installationsposition an einem Fahrzeug, für einen Klassifikator, angegeben. Das Verfahren weist folgende Verfahrensschritte auf:

  • - Bereitstellen eines Superdatensatzes, wobei der Superdatensatz Ultraschallsensor-Messwerte an einer Ultraschallsensor-Installationsposition an einem Fahrzeug und die Ultraschallsensor-Installationsposition am Fahrzeug umfasst;
  • - Transformieren des Superdatensatzes, mit dem Transformationsnetzwerk nach einem der vorgehenden Ansprüche, zu einem Trainingsdatensatz für eine Wunscheinbauposition; und
  • - Bereitstellen des Trainingsdatensatzes für einen Klassifikator.
According to the invention, a method for providing a training data set of ultrasonic sensor data for adaptation to an ultrasonic sensor installation position on a vehicle, for a classifier, is also specified. The procedure has the following procedural steps:
  • Provision of a super data set, the super data set comprising ultrasonic sensor measured values at an ultrasonic sensor installation position on a vehicle and the ultrasonic sensor installation position on the vehicle;
  • - Transforming the super data set, with the transformation network according to one of the preceding claims, to a training data set for a desired installation position; and
  • - Providing the training data set for a classifier.

Gemäß dem Verfahren erfolgt zunächst ein Bereitstellen eines Superdatensatzes, wobei der Superdatensatz Ultraschallsensor-Messwerte an einer Ultraschallsensor-Installationsposition an einem Fahrzeug und die Ultraschallsensor-Installationsposition am Fahrzeug umfasst.According to the method, a super data set is first provided, the super data set comprising ultrasonic sensor measured values at an ultrasonic sensor installation position on a vehicle and the ultrasound sensor installation position on the vehicle.

Nach dem Bereitstellen des Superdatensatzes erfolgt ein Transformieren des Superdatensatzes, mit dem Transformationsnetzwerk nach einem der vorgehenden Ansprüche, zu einem Trainingsdatensatz für eine Wunscheinbauposition. Die Wunscheinbauposition kann eine Position am Fahrzeug sein, an der der Ultraschallsensor am Fahrzeug installiert wird.After the super data set has been provided, the super data set is transformed, using the transformation network according to one of the preceding claims, into a training data set for a desired installation position. The desired installation position can be a position on the vehicle at which the ultrasonic sensor is installed on the vehicle.

Nach dem Transformieren des Superdatensatzes erfolgt ein Bereitstellen des Trainingsdatensatzes für einen Klassifikator. Ein Klassifikator ist eine Instanz, die Objekte klassifiziert, d. h. in Kategorien einordnet. Insbesondere ist der Klassifikator ein Algorithmus oder ein Programmobjekt. Beispielsweise kann es sich im Fall der Mustererkennung um eine mathematische Funktion handeln, die einen Merkmalsraum auf eine Menge von Klassen abbildet. Mithin ist unter Eingabe der Wunschposition ein künstlicher Datensatz an Sensormesswerten generierbar, ohne die Messungen an dieser Position durchgeführt zu haben. Somit kann zeit- und kostensparend ein Satz an Messwerten generiert werden, welcher dann im späteren Betrieb des Fahrzeugs wiederum bereitsteht, um dann mit echten Messwerten im Betrieb abgeglichen werden zu können. Auch ist beispielsweise möglich, eine optimale Installationsposition des Sensors für einen bestimmten Fahrzeugtyp einfach zu bestimmen.After the super data set has been transformed, the training data set is provided for a classifier. A classifier is an entity that classifies objects, that is, classifies them into categories. In particular, the classifier is an algorithm or a program object. For example, in the case of pattern recognition, it can be a mathematical function that maps a feature space onto a set of classes. Thus, by entering the desired position, an artificial data record of sensor measured values can be generated without having carried out the measurements at this position. In this way, a set of measured values can be generated in a time-saving and cost-saving manner, which is then available in the later operation of the vehicle in order to then be able to be compared with real measured values during operation. Also is for example possible to easily determine an optimal installation position of the sensor for a certain type of vehicle.

Vorzugsweise wird zumindest der letzte Schritt des erfindungsgemäßen Verfahrens im Fahrzeug durchgeführt.At least the last step of the method according to the invention is preferably carried out in the vehicle.

Weiter ist erfindungsgemäß ein Verfahren zum Trainieren eines Klassifikators angegeben, wobei für ein Training der Trainingsdatensatz, erzeugt gemäß dem erfindungsgemäßen Verfahren und bevorzugt zusätzlich gemäß einer der vorteilhaften Ausführungsformen, verwendet wird.Furthermore, according to the invention, a method for training a classifier is specified, the training data set generated according to the method according to the invention and preferably additionally according to one of the advantageous embodiments being used for training.

Weiter ist erfindungsgemäß ein Fahrzeug mit dem Klassifikator angegeben. Vorzugsweise ist das Fahrzeug ein Ego-Fahrzeug eines Fahrers.A vehicle with the classifier is also specified according to the invention. The vehicle is preferably a driver's ego vehicle.

Weiter ist erfindungsgemäß ein Computerprogramm angegeben, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, Schritte des Verfahrens auszuführen. Ein Computerprogramm ist eine Sammlung von Anweisungen zum Ausführen einer bestimmten Aufgabe, die dafür konzipiert ist, eine bestimmte Klasse von Problemen zu lösen. Die Anweisungen eines Programms sind dafür konzipiert, durch einen Computer ausgeführt zu werden, wobei es erforderlich ist, dass ein Computer Programme ausführen kann, damit es funktioniert.Furthermore, according to the invention, a computer program is specified, comprising commands which, when the computer program is executed by a computer, cause the computer to carry out steps of the method. A computer program is a collection of instructions for performing a particular task, designed to solve a particular class of problems. A program's instructions are designed to be carried out by a computer, which requires a computer to be able to run programs in order for it to function.

Weiter ist erfindungsgemäß ein Datenträgersignal angegeben, das das Computerprogramm überträgt.Furthermore, according to the invention, a data carrier signal is specified which the computer program transmits.

Weiter ist erfindungsgemäß ein computerlesbares Medium angegeben, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, Schritte des Verfahrens auszuführen.Furthermore, according to the invention, a computer-readable medium is specified, comprising instructions which, when executed by a computer, cause the computer to carry out steps of the method.

Grundidee der vorliegenden Erfindung ist es also, ein neuronales Netzwerk zur Datentransformation anzulernen. Dieses neuronale Netzwerk soll in der Lage sein, die gemessenen Daten so zu verändern, dass sie Daten entsprechen, die von einem Sensor stammen können, der von einer anderen Einbauposition aus misst. Wenn ein solches neuronales Netz zur Verfügung steht, ist es ausreichend ein einzigen Datensatz zu erzeugen, einen sogenannten Superdatensatz, der dann auf unterschiedliche Fahrzeugmodelle angewendet werden kann, da mithilfe des neuronalen Transformationsnetzwerks der Superdatensatz auf die Einbausituation in dem entsprechenden Fahrzeugmodell transformiert werden kann.The basic idea of the present invention is therefore to train a neural network for data transformation. This neural network should be able to change the measured data so that it corresponds to data that can come from a sensor that measures from a different installation position. If such a neural network is available, it is sufficient to generate a single data set, a so-called super data set, which can then be applied to different vehicle models, since the super data set can be transformed to the installation situation in the corresponding vehicle model with the help of the neural transformation network.

In anderen Worten, das neuronale Transformationsnetzwerk erhält als Eingabeinformation Messwerte, z. B. die gemessene Hüllkurve, und die gewünschte Einbauposition. Für die hier gewünschte Datentransformation sind die zugehörigen Informationen darüber welche Situation vorliegt, also Informationen über den Untergrund, was für ein Objekt detektiert wurde, z. B. Typ, größte Entfernung, usw., nicht notwendig. Das neuronale Transformationsnetzwerk wird künstliche Messwerte, die von der gewünschten Einbauposition stammen könnten, ausgeben.In other words, the neural transformation network receives measured values as input information, e.g. B. the measured envelope and the desired installation position. For the data transformation desired here, the associated information about which situation is present, i.e. information about the subsurface, what kind of object was detected, e.g. B. Type, greatest distance, etc., not necessary. The neural transformation network will output artificial measured values that could come from the desired installation position.

Mithilfe des beschriebenen Verfahrens ist es möglich, dass zum Beispiel während der Entwicklung eines Algorithmus ein Messwertdatensatz aufgezeichnet wird und keine weiteren Messdaten für neue Fahrzeugmodelle mehr aufgezeichnet werden müssen. With the aid of the method described, it is possible, for example, for a measured value data set to be recorded during the development of an algorithm and no further measurement data for new vehicle models have to be recorded.

Damit kann die Anpassung der Algorithmen für die jeweiligen Fahrzeugmodelle stark vereinfacht werden. Dies macht den Einsatz von Algorithmen auf Basis von maschinellem Lernen überhaupt erst sinnvoll möglich.This greatly simplifies the adaptation of the algorithms for the respective vehicle models. This is what makes the use of algorithms based on machine learning sensible in the first place.

Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass das Erzeugen des Superdatensatzes von den Ultraschallsensordaten zusätzlich basierend auf einem synthetischen Datensatz erfolgt. Der synthetische Datensatz kann durch eine Simulation oder generative Neuronale Netzwerke (NN) für eine bestimmte Ultraschallsensor-Installationsposition am Fahrzeug generiert werden.According to an advantageous embodiment of the invention, it is provided that the generation of the super data set from the ultrasound sensor data also takes place based on a synthetic data set. The synthetic data set can be generated by a simulation or generative neural networks (NN) for a specific ultrasonic sensor installation position on the vehicle.

Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass zum Erzeugen des synthetischen Datensatzes erfolgt: Trainieren von zumindest zwei generativen neuronalen Netzwerken, wobei die generativen neuronalen Netzwerke jeweils einen Ultraschallsignalanteil aus einem Messwertteildatensatz des Messwertdatensatzes zu einem synthetischen Signalanteil-Datensatz verarbeiten, wobei jeder Ultraschallsignalanteil einer Fahrzeugumgebungseigenschaft entspricht; und Kombinieren der durch die zumindest zwei generativen neuronalen Netzwerke erzeugten zwei synthetischen Signalanteil-Datensätze zu dem synthetischen Datensatz mit synthetischen Ultraschallsignalen aus kombinierten Signalanteilen.According to an advantageous embodiment of the invention it is provided that to generate the synthetic data set: Training of at least two generative neural networks, the generative neural networks each processing an ultrasonic signal component from a measured value partial data record of the measured value data record to a synthetic signal component data record, with each ultrasonic signal component one Vehicle environment property corresponds; and combining the two synthetic signal component data sets generated by the at least two generative neural networks to form the synthetic data set with synthetic ultrasonic signals from combined signal components.

Beispielsweise kann es sich bei dem Ultraschallsignalanteil um einen Teil einer Messkurve oder eine Messkurve oder die einen Signalanteil entsprechend den Bodenreflektionen oder einen Signalanteil entsprechend den Objektreflektionen handeln. Der synthetische Signalanteil-Datensatz enthält dann den Ultraschallsig nalanteil.For example, the ultrasound signal component can be a part of a measurement curve or a measurement curve, or a signal component corresponding to the floor reflections or a signal component corresponding to the object reflections. The synthetic signal component data record then contains the ultrasonic signal component.

Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass die generativen neuronalen Netzwerke aufweisen: zumindest ein Netzwerk zur Erzeugung von synthetischen Einzelmessungen in Form von Hüllkurven zu Bodenreflektionen abhängig von einem Bodenbelag in einer Fahrzeugumgebung und/oder zumindest ein Netzwerk zur Erzeugung von synthetischen Einzelmessungen in Form von Hüllkurven zu Objekt-Reflektionen. Somit ist mit Vorteil ein Datensatz mit sehr differenzierten Daten erstellbar.According to an advantageous embodiment of the invention it is provided that the generative neural networks have: at least one network for generating synthetic individual measurements in the form of envelope curves Floor reflections depending on a floor covering in a vehicle environment and / or at least one network for generating synthetic individual measurements in the form of envelope curves for object reflections. A data record with very differentiated data can thus advantageously be created.

Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass der, insbesondere synthetische oder gemessene, Ultraschallsignalanteil der Fahrzeugumgebungseigenschaft entspricht, die zu zumindest eines aufweist von: Fahrzeuguntergrund, Fahrzeugteil, an dem die Ultraschallsensor-Installationsposition ist, und/oder Objekteigenschaften, und/oder einem Abstand zwischen dem Ultraschallsensor an der Ultraschallsensor-Installationsposition und dem Objekt, und/oder Ultraschallsensorfehler, Informationen zu einem Bodenbelag.According to an advantageous embodiment of the invention, it is provided that the, in particular synthetic or measured, ultrasonic signal component corresponds to the vehicle environment property, which has at least one of: vehicle ground, vehicle part on which the ultrasonic sensor installation position is, and / or object properties, and / or a Distance between the ultrasonic sensor at the ultrasonic sensor installation position and the object, and / or ultrasonic sensor error, information on a floor covering.

Auch dies bevorteilt differenzierte Informationen in dem Datensatz, der schließlich für ein Fahrzeug zur Verfügung steht. Beispielsweise könnte man anhand der Boden- oder Objektreflektionen auf die Umweltbedingungen, wie zum Beispiel Nässe, Schnee, Trockenheit auf Boden schließen können, oder anhand einer Signalintensität, und z. B. entsprechend weniger Streuanteilen, in einem Signal könnte man auf einen Abstand zu einem Objekt schließen.This also favors differentiated information in the data record that is ultimately available for a vehicle. For example, one could use the ground or object reflections to infer the environmental conditions, such as wetness, snow, dryness on the ground, or a signal intensity, and z. B. correspondingly less scatter, in a signal one could deduce a distance to an object.

Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass das Konvertieren über Superposition erfolgt oder über ein weiteres Transformationsnetzwerk, wobei das Kombinationsnetzwerk das weitere Transformationsnetzwerk aufweist. Die Daten des späteren Superdatensatzes können somit bedarfsgerecht zusammengestellt werden.According to an advantageous embodiment of the invention it is provided that the conversion takes place via superposition or via a further transformation network, the combination network having the further transformation network. The data of the subsequent super data set can thus be compiled as required.

Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass vor dem Trainieren des zumindest einen Klassifikators erfolgt: Transformieren, durch das Transformationsnetzwerk, des Superdatensatzes.According to an advantageous embodiment of the invention it is provided that before the training of the at least one classifier takes place: Transforming, through the transformation network, of the super data set.

Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass den Ultraschallsensor-Messkurven an der Ultraschallsensor-Installationsposition Information zu zumindest einem von: Fahrzeuguntergrund, Fahrzeugteil, an dem die Ultraschallsensor-Installationsposition ist, und/oder Objekteigenschaften, und/oder einem Abstand zwischen dem Ultraschallsensor an der Ultraschallsensor-Installationsposition und dem Objekt, und/oder Ultraschallsensorfehler, Informationen zu einem Bodenbelag, zugeordnet sind. Zuvor beschriebene vorteilhafte Ausführungsform ermöglicht möglichst realistische Messwerte bereits vorab zur Hand zu haben, um diese später im Fahrzeugbetrieb abgleichen zu können.According to an advantageous embodiment of the invention, it is provided that the ultrasonic sensor measurement curves at the ultrasonic sensor installation position information on at least one of: vehicle ground, vehicle part on which the ultrasonic sensor installation position is, and / or object properties, and / or a distance between the ultrasonic sensor at the ultrasonic sensor installation position and the object, and / or ultrasonic sensor errors, information on a floor covering is assigned. The previously described advantageous embodiment makes it possible to have the most realistic measured values at hand in advance in order to be able to compare them later during vehicle operation.

Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, die weiteren Ultraschallsensor-Messwerte an der weiteren Ultraschallsensor-Installationsposition mit den Ultraschall-Messwerten erhalten durch das Zurverfügungstellen des Messwertdatensatzes zumindest gleichen in: Fahrzeuguntergrund, Fahrzeugteil, an dem die Ultraschallsensor-Installationsposition ist, und/oder Objekteigenschaften, und/oder einem Abstand zwischen dem Ultraschallsensor an der Ultraschallsensor-Installationsposition und dem Objekt, und/oder Ultraschallsensorfehler, Informationen zu einem Bodenbelag. Dies bevorteilt eine exaktere Erstellung von Datensätzen für den Superdatensatz.According to an advantageous embodiment of the invention, it is provided that the further ultrasonic sensor measured values at the further ultrasonic sensor installation position obtained with the ultrasonic measured values by providing the measured value data set are at least the same in: vehicle underground, vehicle part on which the ultrasonic sensor installation position is, and / or Object properties, and / or a distance between the ultrasonic sensor at the ultrasonic sensor installation position and the object, and / or ultrasonic sensor errors, information on a floor covering. This favors a more precise creation of data sets for the super data set.

Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass das Transformationsnetzwerk eine Hüllkurve der Ultraschallsensor-Messwerte verarbeitet. Dies bevorteilt eine zügigere Datenverarbeitung.According to an advantageous embodiment of the invention, it is provided that the transformation network processes an envelope curve of the ultrasonic sensor measured values. This favors faster data processing.

Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass das Transformationsnetzwerk ausgewählt wird basierend auf einem Abstand zwischen dem Ultraschallsensor und
einem Bodenbelag, und/oder
dem Objekt, und/oder
einer Ultraschallsensor-Installationsposition. Zum Beispiel für letzteren Fall kann eine solche Auswahl beispielsweise sinnvoll sein, wenn das Transformationsnetzwerk zuvor basierend auf Messkurven für Ultraschallsensor-Installationspositionen in einem bestimmten Abstandsabschnittbereich trainiert wurde. Beispielsweise kann das Transformationsnetzwerk basierend auf Messkurven für eine Ultraschallsensor-Installationsposition in einer Höhe von 0 bis 10 cm bezüglich eines fixen Bezugspunkts am Fahrzeug trainiert werden. Somit kann entsprechend dem Bedarf das adäquateste Netzwerk ausgewählt werden, so dass ein möglichst exakter Datensatz schließlich vorliegen kann.According to an advantageous embodiment of the invention it is provided that the transformation network is selected based on a distance between the ultrasonic sensor and
a floor covering, and / or
the object, and / or
an ultrasonic sensor installation position. For the latter case, for example, such a selection can be useful, for example, if the transformation network was previously trained on the basis of measurement curves for ultrasonic sensor installation positions in a specific distance segment area. For example, the transformation network can be trained based on measurement curves for an ultrasonic sensor installation position at a height of 0 to 10 cm with respect to a fixed reference point on the vehicle. In this way, the most adequate network can be selected according to requirements, so that a data set that is as exact as possible can ultimately be available.

Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass der Klassifikator ein Neuronales Netzwerk (NN) oder eine Support Vector Machine (SVM) ist. Eine Support Vector Machine dient als Klassifikator und Regressor. Eine Support Vector Machine unterteilt eine Menge von Objekten so in Klassen, dass um die Klassengrenzen herum ein möglichst breiter Bereich frei von Objekten bleibt. Damit ist sie ein sogenannter Large Margin Classifier (zu Deutsch: „Breiter-Rand-Klassifikator“). According to an advantageous embodiment of the invention it is provided that the classifier is a neural network (NN) or a support vector machine (SVM). A support vector machine serves as a classifier and regressor. A support vector machine divides a number of objects into classes in such a way that the broadest possible area around the class boundaries remains free of objects. This makes it a so-called large margin classifier.

Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegende Zeichnung anhand bevorzugter Ausführungsformen näher erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem Ausführungsbeispiel auf ein anderes.The invention is explained in more detail below with reference to the attached drawing on the basis of preferred embodiments. The features shown can represent an aspect of the invention both individually and in combination. Features of various Exemplary embodiments can be transferred from one exemplary embodiment to another.

Es zeigt

  • 1 ein Flussdiagramm eines Verfahrens zum Ausbilden eines neuronalen Transformationsnetzwerks zur Datentransformation nach einem Ausführungsbeispiel der Erfindung; und
  • 2 ein Flussdiagramm eines Verfahrens zur Bereitstellung eines Trainingsdatensatzes von Ultraschallsensordaten zur Anpassung an eine Ultraschallsensor-Installationsposition an einem Fahrzeug, für einen Klassifikator nach einem Ausführungsbeispiel der Erfindung.
It shows
  • 1 a flowchart of a method for forming a neural transformation network for data transformation according to an embodiment of the invention; and
  • 2 a flowchart of a method for providing a training data set of ultrasonic sensor data for adaptation to an ultrasonic sensor installation position on a vehicle, for a classifier according to an exemplary embodiment of the invention.

Die 1 zeigt ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel der Erfindung.the 1 shows a flow chart of a method according to an embodiment of the invention.

Gemäß einem Schritt mit der Bezugsziffer „100“ erfolgt ein Zurverfügungstellen eines Messwertdatensatzes aus einer Vielzahl von Ultraschallsensor-Messkurven an einer Ultraschallsensor-Installationsposition an einem Fahrzeug. Hierbei wird bei einer definierten Einbauhöhe und einem definierten Einbauwinkel ein Datensatz erstellt. Dieser Datensatz enthält bereits eine Vielzahl von einzelnen Messungen.According to a step with the reference number “100”, a measured value data set is made available from a multiplicity of ultrasonic sensor measurement curves at an ultrasonic sensor installation position on a vehicle. A data record is created with a defined installation height and a defined installation angle. This data set already contains a large number of individual measurements.

Gemäß einem Schritt mit der Bezugsziffer „150“ erfolgt ein Trainieren von zumindest zwei generativen neuronalen Netzwerken, wobei die generativen neuronalen Netzwerke jeweils einen Ultraschallsignalanteil aus einem Messwertteildatensatz des Messwertdatensatzes zu einem synthetischen Signalanteil-Datensatz verarbeiten, wobei jeder Ultraschallsignalanteil einer Fahrzeugumgebungseigenschaft entspricht. Die Fahrzeugumgebungseigenschaft umfasst zumindest eines von: Fahrzeuguntergrund, Fahrzeugteil, an dem die Ultraschallsensor-Installationsposition ist, Objekteigenschaften, einem Abstand zwischen dem Ultraschallsensor an der Ultraschallsensor-Installationsposition und dem Objekt, oder Ultraschallsensorfehler, Informationen zu einem Bodenbelag.According to a step with the reference number " 150 “At least two generative neural networks are trained, the generative neural networks each processing an ultrasound signal component from a partial measurement data record of the measurement data record to form a synthetic signal component data record, with each ultrasound signal component corresponding to a vehicle environment property. The vehicle environment property includes at least one of: vehicle ground, vehicle part on which the ultrasonic sensor installation position is, object properties, a distance between the ultrasonic sensor at the ultrasonic sensor installation position and the object, or ultrasonic sensor errors, information on a floor covering.

In anderen Worten, der Messwertdatensatz wird dazu genutzt um die generativen neuronale Netzwerke zu trainieren. Dabei werden generell zwei verschiedene Netzwerke verwendet. Zum einen soll gemäß dem Ausführungsbeispiel mindestens ein Netzwerk verwendet werden um Bodenreflexionen in Abhängigkeit des Bodenbelags sowie weiteren Umgebungsparametern zufällig zu erzeugen. Zum anderen soll gemäß dem Ausführungsbeispiel mindestens ein Netzwerk verwendet werden um die Reflexionen von verschiedenen Objekten ebenfalls in Abhängigkeit von verschiedenen Parametern zufällig zu erzeugen. Wie zuvor beschrieben können bei dem Training mehrere generative Netzwerke für verschiedene Signalanteile genutzt werden. Signalanteile können dabei z. B. Boden- und Objektreflexionen, aber auch beispielsweise verschiedene Abstandsbereiche oder Umweltbedingungen, wie Bodenbeläge oder Wettereinflüsse, sein.In other words, the measured value data set is used to train the generative neural networks. Two different networks are generally used for this. On the one hand, according to the exemplary embodiment, at least one network is to be used to randomly generate floor reflections as a function of the floor covering and other environmental parameters. On the other hand, according to the exemplary embodiment, at least one network is to be used in order to generate the reflections from different objects at random, likewise as a function of different parameters. As described above, several generative networks can be used for different signal components during training. Signal components can z. B. floor and object reflections, but also, for example, different distance ranges or environmental conditions, such as floor coverings or weather influences.

Gemäß einem Schritt mit der Bezugsziffer „160“ erfolgt ein Kombinieren (160) der durch die zumindest zwei generativen neuronalen Netzwerke erzeugten zwei synthetischen Signalanteil-Datensätze zu dem synthetischen Datensatz mit synthetischen Ultraschallsignalen aus kombinierten Signalanteilen. Die getrennt voneinander erzeugen Signalteil-Datensätze können dann entweder direkt über Superposition oder ein weiteres neuronales Netzwerk in realistische Daten mit Bodenreflexionen und Objektreflexionen konvertiert werden. Zur Kombination der getrennt voneinander erhaltenen Datensätze können die verschiedenen generativen Netzwerke mithilfe von weiteren Netzwerken oder Algorithmen aus der Signalverarbeitung kombiniert werden und somit die getrennt voneinander erhaltenen Datensätze zu realistischen Daten zusammengesetzt werden.According to a step with the reference number " 160 "There is a combination ( 160 ) the two synthetic signal component data sets generated by the at least two generative neural networks for the synthetic data set with synthetic ultrasonic signals from combined signal components. The signal part data records generated separately from one another can then either be converted directly via superposition or a further neural network into realistic data with floor reflections and object reflections. In order to combine the data records obtained separately from one another, the various generative networks can be combined with the aid of further networks or algorithms from signal processing and thus the separately obtained data records can be combined into realistic data.

Gemäß einem Schritt mit der Bezugsziffer „200“ erfolgt Erzeugen eines Superdatensatzes von Ultraschallsensordaten basierend auf dem Messwertdatensatz und der dem Messwertdatensatz zugeordneten Ultraschallsensor-Installationsposition am Fahrzeug. Das Erzeugen des Superdatensatzes von den Ultraschallsensordaten erfolgt zusätzlich zu dem Messwertdatensatz basierend auf dem synthetischen Datensatz, welcher aus den Verfahrensschritten 150 und 160 erhalten wird.According to a step with the reference number " 200 “A super data set of ultrasonic sensor data is generated based on the measured value data set and the ultrasonic sensor installation position on the vehicle assigned to the measured value data set. The generation of the super data set from the ultrasonic sensor data takes place in addition to the measured value data set based on the synthetic data set, which is made up of the method steps 150 and 160 is obtained.

In einem nächsten Schritt mit der Bezugsziffer „210“ werden dann weitere Messungen bei weiteren Ultraschallsensor-Installationspositionen am Fahrzeug erstellt. Dabei können die Datensätze der weiteren Messungen deutlich kleiner ausfallen als der Superdatensatz. Jedoch sollten die weiteren Messungen Ähnlichkeiten, beispielsweise dieselben Objekte in ähnlichen Abständen, zu dem ersten gemessenen Datensatz aufweisen. Es ist des Weiteren nicht notwendig sehr feine Raster der Einbauparameter abzudecken, da im Trainingsprozess von neuronalen Netzwerken in diesem Fall die Interpolation zwischen zwei Werten mitgelernt wird. Mit Hilfe des weiteren Messwertdatensatzes erzeugt durch weitere Messungen kann das Transformationsnetzwerk gelernt werden, das die Transformation von Messwertdaten aus dem Superdatensatz in einen Trainingsdatensatz überführt. Dabei können zum Beispiel verschiedene neuronale Netzwerke für unterschiedliche Abstandsbereiche verwendet werden.In a next step with the reference number " 210 “Further measurements are then made at additional ultrasonic sensor installation positions on the vehicle. The data sets of the further measurements can be significantly smaller than the super data set. However, the further measurements should have similarities, for example the same objects at similar distances, to the first measured data set. Furthermore, it is not necessary to cover very fine grids of the installation parameters, since in this case the interpolation between two values is also learned in the training process of neural networks. With the help of the further measured value data set generated by further measurements, the transformation network can be learned, which converts the transformation of measured value data from the super data set into a training data set. For example, different neural networks can be used for different distance ranges.

Gemäß einem Schritt mit der Bezugsziffer „250“ erfolgt ein Transformieren, durch das Transformationsnetzwerk, des Superdatensatzes.According to a step with the reference number " 250 “A transformation takes place through the transformation network of the super data set.

Die Transformation erlaubt schließlich die Konvertierung des Superdatensatzes in einem jeweiligen Trainingsdatensatz. Damit ist es nicht mehr notwendig für jedes Fahrzeugmodell neue Messungen durchzuführen. Es kann stattdessen aus einem Superdatensatz für jedes Fahrzeugmodell spezifisch ein Datensatz erzeugt werden, der wiederum für das Training verschiedener Klassifikationsalgorithmen genutzt werden kann.The transformation finally allows the conversion of the super data set in a respective training data set. This means that it is no longer necessary to carry out new measurements for each vehicle model. Instead, a data record can be generated specifically for each vehicle model from a super data record, which in turn can be used for training various classification algorithms.

Gemäß einem Schritt mit der Bezugsziffer „300“ erfolgt ein Trainieren zumindest eines Transformationsnetzwerkes basierend auf dem Superdatensatz und zumindest einem weiteren Messwertdatensatz mit einer weiteren Vielzahl von Ultraschallsensor-Messkurven an einer weiteren Ultraschallsensor-Installationsposition am Fahrzeug.According to a step with the reference number " 300 “At least one transformation network is trained based on the super data set and at least one further measured value data set with a further large number of ultrasonic sensor measurement curves at a further ultrasonic sensor installation position on the vehicle.

2 zeigt ein Flussdiagramm eines Verfahrens zur Bereitstellung eines Trainingsdatensatzes von Ultraschallsensordaten zur Anpassung an eine Ultraschallsensor-Installationsposition an einem Fahrzeug, für einen Klassifikator nach einem Ausführungsbeispiel der Erfindung. 2 shows a flowchart of a method for providing a training data set of ultrasonic sensor data for adaptation to an ultrasonic sensor installation position on a vehicle, for a classifier according to an embodiment of the invention.

Gemäß einem Schritt mit der Bezugsziffer „1000“ erfolgt ein Bereitstellen eines Superdatensatzes, wobei der Superdatensatz Ultraschallsensor-Messwerte an einer Ultraschallsensor-Installationsposition an einem Fahrzeug und die Ultraschallsensor-Installationsposition am Fahrzeug umfasst.According to a step with the reference number " 1000 “A super data set is provided, the super data set comprising ultrasonic sensor measured values at an ultrasonic sensor installation position on a vehicle and the ultrasonic sensor installation position on the vehicle.

Gemäß einem Schritt mit der Bezugsziffer „2000“ erfolgt ein Transformieren des Superdatensatzes, mit dem Transformationsnetzwerk nach einem der vorgehenden Ansprüche, zu einem Trainingsdatensatz für eine Wunscheinbauposition.According to a step with the reference number " 2000 “A transformation of the super data set takes place with the transformation network according to one of the preceding claims to a training data set for a desired installation position.

Gemäß einem Schritt mit der Bezugsziffer „3000“ erfolgt ein Bereitstellen des Trainingsdatensatzes für einen Klassifikator.According to a step with the reference number " 3000 “The training data set is made available for a classifier.

Abschließend ist feststellbar, dass beide Datensätze, d. h. sowohl ein Messwertdatensatz als auch ein weiterer Messwertdatensatz, nur ein einziges Mal z.B. während der Entwicklung aufgezeichnet werden müssen. Hierbei ist anzumerken, dass die jeweiligen Messwertdatensätze mehrere Messungen an einer jeweiligen Ultraschallsensor-Installationsposition aufweisen. Sobald über das Training der Transformationsnetzwerke der Zusammenhang zwischen Superdatensatz und einbauparameterspezifischen Datensatz einmal bekannt ist, können beliebige Superdatensätze in Trainingsdatensätze transformiert werden. Selbst wenn Änderungen am Messwertdatensatz durchgeführt werden, bleibt die allgemeine Transformation der Daten bekannt. Ein nochmaliges Aufnehmen der Daten bei diversen Einbau-Parametern ist nicht notwendig.Finally, it can be stated that both data sets, i. H. Both a measured value data set and a further measured value data set only need to be recorded once, e.g. during development. It should be noted here that the respective measured value data records have several measurements at a respective ultrasonic sensor installation position. As soon as the connection between the super data set and the data set specific to the installation parameters is known through the training of the transformation networks, any super data sets can be transformed into training data sets. Even if changes are made to the measured value data set, the general transformation of the data remains known. It is not necessary to record the data again for various installation parameters.

Mit dem Trainingsdatensatz können dann anschließend verschiedenste Klassifikations- oder Regressions-Algorithmen trainiert und validiert werden.A wide variety of classification or regression algorithms can then be trained and validated with the training data set.

Da alle zuvor beschriebenen Datensätze auf Ultraschallrohdaten, bzw. der Einhüllenden, basieren, entsteht mit diesem Ansatz auch keine Einschränkung der Nutzbarkeit für eine bestimmte Klassifikation-Aufgabe, sondern die erzeugten Daten können für beliebige Klassifikationen verwendet.Since all the data sets described above are based on raw ultrasound data or the envelope, this approach does not result in any restriction of usability for a specific classification task, but the data generated can be used for any classifications.

BezugszeichenlisteList of reference symbols

100100
Zurverfügungstellen eines Messwertdatensatzes aus einer Vielzahl von Ultraschallsensor-Messkurven an einer Ultraschallsensor-Installationsposition an einem FahrzeugProviding a measured value data set from a large number of ultrasonic sensor measurement curves at an ultrasonic sensor installation position on a vehicle
150150
Trainieren von zumindest zwei generativen neuronalen Netzwerken, wobei die generativen neuronalen Netzwerke jeweils einen Ultraschallsignalanteil aus einem Messwertteildatensatz des Messwertdatensatzes zu einem synthetischen Signalanteil-Datensatz verarbeiten, wobei jeder Ultraschallsignalanteil einer Fahrzeugumgebungseigenschaft entsprichtTraining of at least two generative neural networks, the generative neural networks each processing an ultrasound signal component from a measured value partial data set of the measured value data record to a synthetic signal component data record, each ultrasonic signal component corresponding to a vehicle environment property
160160
Kombinieren der durch die zumindest zwei generativen neuronalen Netzwerke erzeugten zwei synthetischen Signalanteil-Datensätze zu dem synthetischen Datensatz mit synthetischen Ultraschallsignalen aus kombinierten SignalanteilenCombining the two synthetic signal component data sets generated by the at least two generative neural networks to form the synthetic data set with synthetic ultrasonic signals from combined signal components
200200
Erzeugen eines Superdatensatzes von Ultraschallsensordaten basierend auf dem Messwertdatensatz und der dem Messwertdatensatz zugeordneten Ultraschallsensor-Installationsposition am FahrzeugGenerating a super data set of ultrasonic sensor data based on the measured value data set and the ultrasonic sensor installation position on the vehicle assigned to the measured value data set
210210
Erstellen weiterer Messungen an weiteren Ultraschallsensor-Installationspositionen am FahrzeugCreation of further measurements at further ultrasonic sensor installation positions on the vehicle
250250
Transformieren, durch das Transformationsnetzwerk, des SuperdatensatzesTransforming, through the transformation network, the super dataset
300300
Trainieren zumindest eines Transformationsnetzwerkes basierend auf dem Superdatensatz und zumindest einem weiteren Messwertdatensatz mit einer weiteren Vielzahl von Ultraschallsensor-Messkurven an einer weiteren Ultraschallsensor-Installationsposition am FahrzeugTraining at least one transformation network based on the super data set and at least one further measured value data set with a further plurality of ultrasonic sensor measurement curves at a further ultrasonic sensor installation position on the vehicle
10001000
Bereitstellen eines Superdatensatzes, wobei der Superdatensatz Ultraschallsensor-Messwerte an einer Ultraschallsensor-Installationsposition an einem Fahrzeug und die Ultraschallsensor-Installationsposition am Fahrzeug umfasstProviding a super data set, the super data set comprising ultrasonic sensor measured values at an ultrasonic sensor installation position on a vehicle and the ultrasonic sensor installation position on the vehicle
20002000
Transformieren des Superdatensatzes, mit dem Transformationsnetzwerk nach einem der vorgehenden Ansprüche, zu einem Trainingsdatensatz für eine WunscheinbaupositionTransforming the super data set, with the transformation network according to one of the preceding claims, into a training data set for a desired installation position
30003000
Bereitstellen des Trainingsdatensatzes für einen KlassifikatorProviding the training data set for a classifier

Claims (17)

Verfahren zum Ausbilden eines neuronalen Transformationsnetzwerks zur Datentransformation eines Trainingsdatensatzes von Ultraschallsensordaten zur Anpassung an eine Ultraschallsensor-Installationsposition an einem Fahrzeug, aufweisend folgende Verfahrensschritte: Zurverfügungstellen (100) eines Messwertdatensatzes aus einer Vielzahl von Ultraschallsensor-Messkurven an einer Ultraschallsensor-Installationsposition an einem Fahrzeug; Erzeugen (200) eines Superdatensatzes von Ultraschallsensordaten basierend auf dem Messwertdatensatz und der dem Messwertdatensatz zugeordneten Ultraschallsensor-Installationsposition am Fahrzeug; und Trainieren (300) zumindest eines Transformationsnetzwerkes basierend auf dem Superdatensatz und zumindest einem weiteren Messwertdatensatz mit einer weiteren Vielzahl von Ultraschallsensor-Messkurven an einer weiteren Ultraschallsensor-Installationsposition am Fahrzeug.Method for forming a neural transformation network for data transformation of a training data set of ultrasonic sensor data for adaptation to an ultrasonic sensor installation position on a vehicle, comprising the following method steps: Providing (100) a measured value data set from a plurality of ultrasonic sensor measurement curves at an ultrasonic sensor installation position on a vehicle; Generating (200) a super data set of ultrasonic sensor data based on the measured value data set and the ultrasonic sensor installation position on the vehicle assigned to the measured value data set; and Training (300) at least one transformation network based on the super data set and at least one further measured value data set with a further plurality of ultrasonic sensor measurement curves at a further ultrasonic sensor installation position on the vehicle. Verfahren nach dem vorgehenden Anspruch, wobei das Erzeugen (200) des Superdatensatzes von den Ultraschallsensordaten zusätzlich basierend auf einem synthetischen Datensatz erfolgt.Method according to the preceding claim, wherein the generation (200) of the super data set from the ultrasound sensor data also takes place based on a synthetic data set. Verfahren nach dem vorgehenden Anspruch, aufweisend, zum Erzeugen des synthetischen Datensatzes: Trainieren (150) von zumindest zwei generativen neuronalen Netzwerken, wobei die generativen neuronalen Netzwerke jeweils einen Ultraschallsignalanteil aus einem Messwertteildatensatz des Messwertdatensatzes zu einem synthetischen Signalanteil-Datensatz verarbeiten, wobei jeder Ultraschallsignalanteil einer Fahrzeugumgebungseigenschaft entspricht; und Kombinieren (160) der durch die zumindest zwei generativen neuronalen Netzwerke erzeugten zwei synthetischen Signalanteil-Datensätze zu dem synthetischen Datensatz mit synthetischen Ultraschallsignalen aus kombinierten Signalanteilen.Method according to the preceding claim, comprising, for generating the synthetic data set: Training (150) at least two generative neural networks, wherein the generative neural networks each process an ultrasound signal component from a measured value partial data set of the measured value data set to form a synthetic signal component data set, wherein each ultrasonic signal component corresponds to a vehicle environmental characteristic; and Combining (160) the two synthetic signal component data sets generated by the at least two generative neural networks to form the synthetic data set with synthetic ultrasonic signals from combined signal components. Verfahren nach dem vorgehenden Anspruch, wobei die generativen neuronalen Netzwerke aufweisen: zumindest ein Netzwerk zur Erzeugung von synthetischen Einzelmessungen in Form von Hüllkurven zu Bodenreflektionen abhängig von einem Bodenbelag in einer Fahrzeugumgebung und/oder zumindest ein Netzwerk zur Erzeugung von synthetischen Einzelmessungen in Form von Hüllkurven zu Objekt-Reflektionen.Method according to the preceding claim, wherein the generative neural networks have: at least one network for generating synthetic individual measurements in the form of envelope curves for floor reflections depending on a floor covering in a vehicle environment and / or at least one network for generating synthetic individual measurements in the form of envelopes for object reflections. Verfahren nach einem der Ansprüche 3 oder 4, wobei der, insbesondere synthetische oder gemessene, Ultraschallsignalanteil der Fahrzeugumgebungseigenschaft entspricht, die zu zumindest eines aufweist von: Fahrzeuguntergrund, Fahrzeugteil, an dem die Ultraschallsensor-Installationsposition ist, und/oder Objekteigenschaften, und/oder einem Abstand zwischen dem Ultraschallsensor an der Ultraschallsensor-Installationsposition und dem Objekt, und/oder Ultraschallsensorfehler, Informationen zu einem Bodenbelag.Method according to one of the Claims 3 or 4th , wherein the, in particular synthetic or measured, ultrasonic signal component corresponds to the vehicle environment property, which has at least one of: the vehicle surface, vehicle part on which the ultrasonic sensor installation position is, and / or object properties, and / or a distance between the ultrasonic sensor at the ultrasonic sensor Installation position and the object, and / or ultrasonic sensor error, information about a floor covering. Verfahren nach einem der vorgehenden Ansprüche 3 bis 5, wobei das Konvertieren (160) über Superposition erfolgt oder über ein weiteres neuronales NetzwerkMethod according to one of the preceding Claims 3 until 5 , the conversion (160) taking place via superposition or via a further neural network Verfahren nach mindestens einem der vorgenannten Ansprüche, wobei vor dem Trainieren (300) des zumindest einen Klassifikators erfolgt: Transformieren (250), durch das Transformationsnetzwerk, des Superdatensatzes.Method according to at least one of the preceding claims, wherein prior to training (300) the at least one classifier takes place: Transforming (250), through the transforming network, the super data set. Verfahren nach mindestens einem der vorgenannten Ansprüche, wobei den Ultraschallsensor-Messkurven an der Ultraschallsensor-Installationsposition Information zu zumindest einem von: Fahrzeuguntergrund, Fahrzeugteil, an dem die Ultraschallsensor-Installationsposition ist, und/oder Objekteigenschaften, und/oder einem Abstand zwischen dem Ultraschallsensor an der Ultraschallsensor-Installationsposition und dem Objekt, und/oder Ultraschallsensorfehler, Informationen zu einem Bodenbelag, zugeordnet sind.The method according to at least one of the preceding claims, wherein the ultrasonic sensor measurement curves at the ultrasonic sensor installation position provide information on at least one of: vehicle underground, vehicle part on which the ultrasonic sensor installation position is, and / or object properties, and / or a distance between the ultrasonic sensor the ultrasonic sensor installation position and the object, and / or ultrasonic sensor errors, information on a floor covering are assigned. Verfahren nach mindestens einem der vorgenannten Ansprüche, wobei die weiteren Ultraschallsensor-Messwerte an der weiteren Ultraschallsensor-Installationsposition mit den Ultraschall-Messwerten erhalten durch Schritt (100) zumindest gleichen in: Fahrzeuguntergrund, Fahrzeugteil, an dem die Ultraschallsensor-Installationsposition ist, und/oder Objekteigenschaften, und/oder einem Abstand zwischen dem Ultraschallsensor an der Ultraschallsensor-Installationsposition und dem Objekt, und/oder Ultraschallsensorfehler, Informationen zu einem Bodenbelag.Method according to at least one of the preceding claims, wherein the further ultrasonic sensor measured values at the further ultrasonic sensor installation position with the ultrasonic measured values obtained by step (100) are at least the same in: Vehicle ground, vehicle part on which the ultrasonic sensor installation position is, and / or object properties, and / or a distance between the ultrasonic sensor at the ultrasonic sensor installation position and the object, and / or ultrasonic sensor error, information about a floor covering. Verfahren nach mindestens einem der vorgenannten Ansprüche, wobei das Transformationsnetzwerk eine Hüllkurve der Ultraschallsensor-Messwerte verarbeitet.The method according to at least one of the preceding claims, wherein the Transformation network processes an envelope curve of the ultrasonic sensor measured values. Verfahren zur Bereitstellung eines Trainingsdatensatzes von Ultraschallsensordaten zur Anpassung an eine Ultraschallsensor-Installationsposition an einem Fahrzeug, für einen Klassifikator, das Verfahren aufweisend folgende Verfahrensschritte: Bereitstellen (1000) eines Superdatensatzes, wobei der Superdatensatz Ultraschallsensor-Messwerte an einer Ultraschallsensor-Installationsposition an einem Fahrzeug und die jeweilige Ultraschallsensor-Installationsposition am Fahrzeug umfasst; Transformieren (2000) des Superdatensatzes, mit dem Transformationsnetzwerk nach einem der vorgehenden Ansprüche, zu einem Trainingsdatensatz für eine Wunscheinbauposition; und Bereitstellen (3000) des Trainingsdatensatzes für einen Klassifikator.Method for providing a training data set of ultrasonic sensor data for adaptation to an ultrasonic sensor installation position on a vehicle, for a classifier, the method having the following method steps: Providing (1000) a super data set, the super data set comprising ultrasonic sensor measured values at an ultrasonic sensor installation position on a vehicle and the respective ultrasonic sensor installation position on the vehicle; Transforming (2000) the super data set, with the transformation network according to one of the preceding claims, to a training data set for a desired installation position; and Providing (3000) the training data set for a classifier. Verfahren zum Trainieren eines Klassifikators, wobei für ein Training der Trainingsdatensatz, erzeugt nach dem vorgehenden Anspruch, verwendet wird.Method for training a classifier, the training data set generated according to the preceding claim being used for training. Fahrzeug mit einem Klassifikator, erzeugt nach dem vorgenannten Anspruch.Vehicle with a classifier, produced according to the preceding claim. Fahrzeug nach dem vorgehenden Anspruch, wobei der Klassifikator ein Neuronales Netzwerk, NN, oder eine Support Vector Machine, SVM, ist.Vehicle according to the preceding claim, wherein the classifier is a neural network, NN, or a support vector machine, SVM. Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein Verfahren nach mindestens einem der vorgenannten Ansprüche auszuführen.Computer program, comprising instructions which, when the computer program is executed by a computer, cause the computer to carry out a method according to at least one of the preceding claims. Datenträgersignal, das das Computerprogramm nach dem vorgenannten Anspruch überträgt.Data carrier signal which the computer program according to the preceding claim transmits. Computerlesbares Medium, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, ein Verfahren nach mindestens einem der vorgenannten Ansprüche auszuführen.Computer-readable medium, comprising instructions which, when executed by a computer, cause the computer to carry out a method according to at least one of the preceding claims.
DE102020110358.1A 2020-04-16 2020-04-16 Formation of a neural transformation network for data transformation of a training data set Pending DE102020110358A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020110358.1A DE102020110358A1 (en) 2020-04-16 2020-04-16 Formation of a neural transformation network for data transformation of a training data set

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020110358.1A DE102020110358A1 (en) 2020-04-16 2020-04-16 Formation of a neural transformation network for data transformation of a training data set

Publications (1)

Publication Number Publication Date
DE102020110358A1 true DE102020110358A1 (en) 2021-10-21

Family

ID=77919310

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020110358.1A Pending DE102020110358A1 (en) 2020-04-16 2020-04-16 Formation of a neural transformation network for data transformation of a training data set

Country Status (1)

Country Link
DE (1) DE102020110358A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023232351A1 (en) * 2022-06-01 2023-12-07 Robert Bosch Gmbh Method and apparatus for providing training data sets for a classification model for object identification for an ultrasonic sensor system in a mobile device

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIU, Lichuan; KUO, Sen M.; ZHOU, MengChu. Virtual sensing techniques and their applications. In: 2009 International Conference on Networking, Sensing and Control. IEEE, 2009. S. 31-36.
SOLTANI, Mohammadreza; JAIN, Swayambhoo; SAMBASIVAN, Abhinav. Learning generative models of structured signals from their superposition using GANs with application to denoising and demixing. arXiv preprint arXiv:1902.04664, 2019.
VOSSIEK, Martin; MÁGORI, Valentin. Objekterkennung mit Ultraschall. In: Sensortechnik. Springer Vieweg, Berlin, Heidelberg, 2014. S. 1403-1448.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023232351A1 (en) * 2022-06-01 2023-12-07 Robert Bosch Gmbh Method and apparatus for providing training data sets for a classification model for object identification for an ultrasonic sensor system in a mobile device

Similar Documents

Publication Publication Date Title
DE102018204494B3 (en) Generation of synthetic radar signals
EP2402827B1 (en) Method and device for testing the functionality of an object recognition device of a motor vehicle
DE102018128289A1 (en) METHOD AND DEVICE FOR AUTONOMOUS SYSTEM PERFORMANCE AND CLASSIFICATION
EP3393875B1 (en) Method for the improved detection of objects by a driver assistance system
DE102019213546A1 (en) Generation of synthetic lidar signals
DE102020200169B3 (en) Method for merging several data sets for the generation of a current lane model of a roadway and device for data processing
DE102019208735B4 (en) Method for operating a driver assistance system for a vehicle and a driver assistance system for a vehicle
EP4212980A1 (en) Driving assistance device and method for carrying out an at least semiautomatic vehicle function depending on a route to be calculated
EP3983936A1 (en) Method and generator for generating disturbed input data for a neural network
DE102020110358A1 (en) Formation of a neural transformation network for data transformation of a training data set
DE102020214596A1 (en) Method for generating training data for a recognition model for recognizing objects in sensor data of an environment sensor system of a vehicle, method for generating such a recognition model and method for controlling an actuator system of a vehicle
DE102017208692A1 (en) Method for providing training data for a functional test of a recognition device and database system
DE102019209463A1 (en) Method for determining the trust value of an object of a class
WO2020048560A1 (en) Method and processing unit for tracking an object
WO2019002482A1 (en) Method and device for determining a quality of a surface in the surroundings of a vehicle
DE102021133977A1 (en) Method and system for classifying virtual test scenarios and training methods
DE102020127051A1 (en) Method for determining safety-critical output values using a data analysis device for a technical entity
DE102020127253A1 (en) QUANTIFYING PHOTOREALISM IN SIMULATED DATA WITH GAN
DE102020204321A1 (en) Method for operating a driver assistance system and driver assistance system for a vehicle
DE102019114049A1 (en) Method for validating a driver assistance system using further generated test input data sets
DE102019217951A1 (en) Method and apparatus for determining a domain distance between at least two data domains
DE102019130484A1 (en) Method and device for training an ensemble of neural networks
DE112021007341T5 (en) Control device and control method
DE102022004056A1 (en) Method and system for motion estimation of an object, computer program product, non-transitory computer-readable storage medium, motion estimation system
DE112020007816T5 (en) Dynamic map generating apparatus, learning apparatus, dynamic map generating method, and learning method

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication