EP4655765A1 - Erstellung von trainingsdaten, erstellung eines datenverarbeitungsmodells und steuerung eines fahrzeugbetriebs - Google Patents

Erstellung von trainingsdaten, erstellung eines datenverarbeitungsmodells und steuerung eines fahrzeugbetriebs

Info

Publication number
EP4655765A1
EP4655765A1 EP24700257.9A EP24700257A EP4655765A1 EP 4655765 A1 EP4655765 A1 EP 4655765A1 EP 24700257 A EP24700257 A EP 24700257A EP 4655765 A1 EP4655765 A1 EP 4655765A1
Authority
EP
European Patent Office
Prior art keywords
data
sensor
measurement data
vehicle
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24700257.9A
Other languages
English (en)
French (fr)
Inventor
Holger Wunsch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP4655765A1 publication Critical patent/EP4655765A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Definitions

  • the invention relates to a method for creating training data according to claim 1. Furthermore, the invention relates to a method for creating a data processing model and a method for controlling the operation of a vehicle.
  • DE 102011 085 976 A1 describes a device for operating a vehicle which sends control signals to control units depending on sensor signals from several vehicle sensors for detecting a vehicle's surroundings.
  • the high-resolution vehicle sensors can be replaced by cheaper vehicle sensors with lower resolution.
  • the assistance system software is based on a machine learning process (e.g. deep neural networks)
  • no fundamental change to the algorithms for replacing the vehicle sensors is required to switch to the lower-resolution sensors.
  • a method for creating training data with the features of claim 1 is proposed. This allows the training data for the data processing model to be provided more cost-effectively.
  • the training data can be synthetically generated from existing high-resolution additional first sensor data. This allows the data processing model to be trained more cost-effectively to process low-resolution sensor data.
  • the vehicle can be a motor-driven vehicle, preferably a motor vehicle or two-wheeler.
  • the vehicle can be an assistance-supported, semi-autonomous or autonomous Vehicle.
  • the control of the operation of the vehicle can involve a driver assistance system.
  • the operation of the vehicle, in particular of the driver assistance system can depend on input data formed from the sensor data, which are passed on to the data processing model.
  • the data processing model can calculate output data from this, on which the operation of the vehicle, in particular of the driver assistance system, depends.
  • the sensor data from the vehicle sensor can, if necessary, be prepared, i.e. further processed, to generate measurement data.
  • the ambient scene can be a detectable ambient situation of the respective sensor.
  • the ambient scene can be an ambient situation of an ambient area of a vehicle assigned to the sensor at a point in time or over a period of time.
  • the first and second measurement data can each indicate the same ambient scene in perspective. The only difference between the first and second measurement data in comparison to each other can be the resolution of the measurement data.
  • the at least one sensor that provides the first measurement data and/or the at least one sensor that provides the second measurement data may be a vehicle sensor.
  • the first measurement data can be provided by one or more sensors of the sensor class.
  • the further first measurement data can capture additional environmental scenes that differ from the environmental scenes of the first measurement data.
  • the second measurement data can be provided by one or more sensors of the sensor class.
  • a sensor class also called sensor modality or sensor type, includes sensors with the same measuring principle. Radar sensors, for example, are assigned to a different sensor class than lidar sensors or cameras.
  • the data conversion model is preferably a computer-implemented processing algorithm.
  • the data conversion model can be trained using deep learning.
  • the data conversion model can include PointNet, Pointnet++, Graph Neural Network, Continuous Convolutions, Kernel-Point Convolutions or other neural networks.
  • the method for creating training data and/or the method for creating a data processing model is preferably a computer-implemented method.
  • the further first measurement data have a similar or identical resolution to the first measurement data.
  • the Further first measurement data can originate from the at least one sensor that records the first measurement data or from a further sensor of the sensor class.
  • the further sensor can be a vehicle sensor.
  • a preferred embodiment of the invention is advantageous in which the first and second measurement data are present as point clouds describing the respective environmental scenes.
  • the point clouds of the second measurement data may have a smaller number of points than the point clouds of the first measurement data.
  • the measurements of the first and second sensors of the same environmental scene are linked to one another as associated first and second measurement data.
  • the measurements can be carried out in at least one test drive with a vehicle that has the first and second sensors, and the first and second measurement data can be prepared from these measurements.
  • the data conversion model is trained as target data by applying at least one loss function to reduce deviations between the output data of the data conversion model calculated on the basis of the first measurement data during the training and the second measurement data linked to the first measurement data. This allows unsupervised learning of the data conversion model.
  • the associated second measurement data can serve as target data and a measure of the calculation accuracy and abstraction performance of the data conversion model.
  • the output data and/or the sensor data have a similar or identical resolution to the second measurement data. This means that the vehicle can also be operated reliably with sensor data of lower resolution compared to the resolution used for the first measurement data.
  • the sensor class comprises radar sensors, the vehicle sensor is a radar sensor and the measurement data is radar measurement data.
  • the vehicle sensor can also be a camera, an ultrasonic sensor or a microphone.
  • the sensor class can comprise lidar sensors, the vehicle sensor can be a lidar sensor and the measurement data can be lidar measurement data.
  • a method for creating a data processing model for controlling an operation of a vehicle depending on sensor data from at least one vehicle sensor of the vehicle as input data of the Data processing model that is trained at least with the output data generated by a method with at least one of the previously described features as training data This allows the data processing model to be trained with training data that is generated more simply and quickly.
  • the data processing model can be trained using deep learning.
  • the data processing model can include PointNet, Pointnet++, Graph Neural Network, Continuous Convolutions, Kernel-Point Convolutions or other neural networks.
  • the data processing model is trained with additional second measurement data from at least one sensor of the sensor class as training data in addition to the output data.
  • the additional second measurement data can be provided by the at least one sensor that also provided the second measurement data or by another sensor of the sensor class.
  • a method for controlling the operation of a vehicle with a data processing model learned according to a method with at least one of the previously described features is also proposed, depending on sensor data from at least one vehicle sensor of the vehicle as input data of the data processing model.
  • the operation of the vehicle can include the operation of a driver assistance system, a partially autonomous driving system and/or an autonomous driving system of the vehicle, depending on the sensor data via the calculation with the data processing model.
  • a computer program which has machine-readable instructions which can be executed on at least one computer and which, when executed, executes a method having at least one of the features specified above.
  • a storage unit which is machine-readable and accessible by at least one computer and on which the said computer program is stored.
  • Figure 1 A method for creating training data, a method for creating a data processing model and a method for controlling an operation of a vehicle, each in a specific embodiment of the invention.
  • Figure 2 A learning process of the data conversion model in a special embodiment of the invention.
  • Figure 3 A calculation process of output data with the data conversion model in a special embodiment of the invention.
  • Figure 1 shows a method for creating training data in a specific embodiment of the invention.
  • the method 10 for creating training data for a data processing model 12 can be carried out before the data processing model 12 is used in a vehicle 14.
  • the method 10 is preferably used to create a new data processing model 12 or to adapt an existing data processing model 12.
  • the data processing model 12 serves to control an operation of the vehicle 14 depending on sensor data 16 of at least one vehicle sensor 18 of the vehicle 14.
  • the sensor data 16 is used to form input data 20 for the data processing model 12, which calculates output data 22 therefrom, which influence the operation of the vehicle 14.
  • the data processing model 12 is based in particular on deep learning.
  • the training data 24 for the data processing model 12 are created by the following steps. First, first measurement data 30, each of which captures environmental scenes 28, from at least one sensor 32 of a sensor class 34, to which the vehicle sensor 18 is also assigned, are provided 26.
  • the first measurement data 30 can be provided by one or more sensors of the sensor class 34 and are preferably present as point clouds 35. If the sensor 32 is, for example, a radar sensor 36, then the sensor class 34 exclusively includes sensors based on the same measurement principle, in this case radar sensors 36.
  • the first measurement data 30 can, for example, depict environmental scenes 28 of vehicle environments and be present as radar measurement data.
  • second measurement data 40 from at least one sensor 42 of sensor class 34 are provided 38, which have a lower resolution than the first measurement data 30, are temporally related to the first measurement data 30 and record the same environmental scenes 28 as the first measurement data 30. If the sensor 32 is a radar sensor 36, then the sensor 42 is also a radar sensor 36, since both sensors 32, 42 are assigned to the same sensor class 34.
  • the second measurement data 40 can be provided by one or more sensors of sensor class 34 and are preferably present as lower-resolution point clouds 35.
  • the first measurement data 30 and second measurement data 40 each indicate the same environmental scene 28 in perspective. The only difference between the first and second measurement data 30, 40 in comparison to one another can be the resolution, which is greater for the first measurement data 30 than for the second measurement data 40.
  • the first measurement data 30 are used as input data 48 and the second measurement data 40 as target data 50.
  • the measurements of the first and second sensors 32, 42 of the same environmental scene 28 are linked to one another as associated first and second measurement data 52.
  • the data conversion model 46 is trained as target data 50 by applying at least one loss function 54 to reduce deviations between the output data 60 of the data processing model 12 calculated on the basis of the first measurement data 30 during training 44 and the second measurement data 40 of the associated first and second measurement data 52 assigned to the first measurement data 30.
  • the data conversion model 46 is trained to calculate from measurement data having a similar or equal resolution to the first measurement data 30, data with lower resolution that have a similar or equal resolution to the second measurement data 40.
  • a calculation 59 of output data 62 is carried out with the data conversion model 46 and the further first measurement data 58 as input data 63.
  • the output data 62 have a similar or the same resolution as the second measurement data 40.
  • Figure 1 shows a method 68 for creating a data processing model 12 in a special embodiment of the invention, which is preferably carried out after the method 10 for creating training data 24, because the learning 69 of the data processing model 12 takes place at least with the training data 24 calculated by the data conversion model 46.
  • the data processing model 12 is learned with further second measurement data 70 of at least one sensor 42' of the sensor class 34 as training data.
  • Figure 1 shows a method 72 for controlling 73 an operation of a vehicle 14 in a special embodiment of the invention.
  • the sensor data 16 are comparable or consistent with the second measurement data 40 in terms of resolution.
  • the calculation result can be available as output data 22 more accurately and reliably.
  • Figure 2 shows a learning process of the data conversion model in a special embodiment of the invention.
  • the output data 60 calculated from the first measurement data 30 are iteratively compared with the second measurement data 40 as target data 50 and the deviation is back-propagated using the loss function 54.
  • Figure 3 shows a calculation process of output data with the data conversion model in a special embodiment of the invention.
  • the calculation process is part of the inference of the data conversion model 46.
  • the further first measurement data 58 are converted into the output data 62, which have a lower resolution than the further first measurement data 58.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (10) zur Erstellung von Trainingsdaten (24) für ein Datenverarbeitungsmodell (12) zur Steuerung eines Betriebs eines Fahrzeugs (14). Weiterhin betrifft die Erfindung ein Verfahren (68) zur Erstellung eines Datenverarbeitungsmodells (12) und ein Verfahren (72) zur Steuerung eines Betriebs eines Fahrzeugs (14).

Description

Erstellung von Trainingsdaten, Erstellung eines Datenverarbeitungsmodells und Steuerung eines Fahrzeugbetriebs
Die Erfindung betrifft ein Verfahren zur Erstellung von Trainingsdaten nach Anspruch 1. Weiterhin betrifft die Erfindung ein Verfahren zur Erstellung eines Datenverarbeitungsmodells und ein Verfahren zur Steuerung eines Betriebs eines Fahrzeugs.
Stand der Technik
In DE 102011 085 976 A1 ist eine Vorrichtung zum Betreiben eines Fahrzeugs beschrieben, die abhängig von Sensorsignalen mehrerer Fahrzeugsensoren zum Erfassen eines Fahrzeugumfelds Steuersignale an Steuergeräte sendet.
Um Fahrerassistenzsysteme der Fahrzeuge kostengünstiger auszuführen, können die hochauflösenden Fahrzeugsensoren durch günstigere Fahrzeugsensoren mit geringerer Auflösung ersetzt werden. Wenn die Software des Assistenzsystems auf einem maschinellen Lernverfahren aufbaut (beispielsweise Deep Neural Networks), ist keine grundsätzliche Änderung der Algorithmen für den Austausch der Fahrzeugsensoren zum Wechsel auf die geringer auflösenden Sensoren erforderlich. Es ist aber entscheidend, dass Daten in ausreichendem Umfang für Training und Test des für die hochauflösenden Sensoren vorhandenen Modells vorliegen, um dieses neu zu trainieren und an die Verarbeitung von Daten gering auflösender Fahrzeugsensoren anzupassen.
Offenbarung der Erfindung
Gemäß der vorliegenden Erfindung wird ein Verfahren zur Erstellung von Trainingsdaten mit den Merkmalen nach Anspruch 1 vorgeschlagen. Dadurch können die Trainingsdaten für das Datenverarbeitungsmodell kostengünstiger bereitgestellt werden. Die Trainingsdaten können aus vorhandenen hochaufgelösten weiteren ersten Sensordaten synthetisch erzeugt werden. Damit kann das Datenverarbeitungsmodell zur Verarbeitung niedrig aufgelöster Sensordaten kostengünstiger angelernt werden.
Das Fahrzeug kann ein motorbetriebenes Fahrzeug, bevorzugt ein Kraftfahrzeug oder Zweirad sein. Das Fahrzeug kann ein assistenzgestütztes, teilautonomes oder autonomes Fahrzeug sein. Die Steuerung des Betriebs des Fahrzeugs kann ein Fahrerassistenzsystem einbeziehen. Der Betrieb des Fahrzeugs, insbesondere des Fahrerassistenzsystems, kann abhängig von aus den Sensordaten gebildeten Eingabedaten sein, die dem Datenverarbeitungsmodell übergeben werden. Das Datenverarbeitungsmodell kann daraus Ausgabedaten berechnen, von denen der Betrieb des Fahrzeugs, insbesondere des Fahrerassistenzsystems, abhängig ist.
Die Sensordaten des Fahrzeugsensors können zur Bildung von Messdaten gegebenenfalls aufbereitet, das bedeutet weiterverarbeitet werden.
Die Umgebungsszene kann eine erfassbare Umgebungssituation des jeweiligen Sensors sein. Die Umgebungsszene kann eine Umgebungssituation eines Umgebungsbereichs eines dem Sensor zugeordneten Fahrzeugs zu einem Zeitpunkt oder über einen Zeitraum hinweg sein. Die ersten und zweiten Messdaten können perspektivisch jeweils die gleiche Umgebungsszene angeben. Der einzige Unterschied zwischen den ersten und zweiten Messdaten im Vergleich zueinander kann in der Auflösung der Messdaten bestehen.
Der wenigstens eine Sensor, der die ersten Messdaten bereitstellt und/oder der wenigstens eine Sensor, der die zweiten Messdaten bereitstellt, kann ein Fahrzeugsensor sein.
Die ersten Messdaten können von einem oder von mehreren Sensoren der Sensorklasse bereitgestellt werden. Die weiteren ersten Messdaten können von den Umgebungsszenen der ersten Messdaten abweichende weitere Umgebungsszenen erfassen. Die zweiten Messdaten können von einem oder von mehreren Sensoren der Sensorklasse bereitgestellt werden.
Eine Sensorklasse, auch als Sensormodalität oder Sensortyp bezeichnet, umfasst Sensoren mit dem gleichen Messprinzip. So sind Radarsensoren einer anderen Sensorklasse wie Lidarsensoren oder Kameras zugeordnet.
Das Datenwandlungsmodell ist bevorzugt ein computerimplementierter Verarbeitungsalgorithmus. Das Datenwandlungsmodell kann durch Tiefes Lernen (Deep Learning) angelernt werden. Das Datenwandlungsmodell kann PointNet, Pointnet++, Graph Neural Network, Continuous Convolutions, Kernel-Point Convolutions oder andere neuronale Netze einbeziehen.
Das Verfahren zur Erstellung von Trainingsdaten und/oder das Verfahren zur Erstellung eines Datenverarbeitungsmodells ist bevorzugt ein computerimplementiertes Verfahren.
Bei einer bevorzugten Ausführung der Erfindung ist es vorteilhaft, wenn die weiteren ersten Messdaten eine ähnliche oder gleiche Auflösung wie die ersten Messdaten aufweisen. Die weiteren ersten Messdaten können von dem wenigstens einen die ersten Messdaten erfassenden Sensor oder einem weiteren Sensor der Sensorklasse ausgehen. Der weitere Sensor kann ein Fahrzeugsensor sein.
Eine bevorzugte Ausgestaltung der Erfindung ist vorteilhaft, bei der die ersten und zweiten Messdaten als die jeweiligen Umgebungsszenen beschreibende Punktewolken vorliegen.
Die Punktewolken der zweiten Messdaten können eine geringere Punkteanzahl als die Punktewolken der ersten Messdaten aufweisen.
Bei einer bevorzugten Ausführung der Erfindung ist es vorteilhaft, wenn die Messungen des ersten und zweiten Sensors der jeweils gleichen Umgebungsszene als zugeordnete erste und zweite Messdaten miteinander verknüpft werden. Die Messungen können bei wenigstens einer Messfahrt mit einem Fahrzeug, das den ersten und zweiten Sensor aufweist, durchgeführt und aus diesen Messungen die ersten und zweiten Messdaten aufbereitet werden.
Bei einer vorzugsweisen Ausführung der Erfindung ist vorgesehen, dass das Datenwandlungsmodell durch Anwendung wenigstens einer Verlustfunktion zur Verringerung von Abweichungen zwischen den ausgehend von den ersten Messdaten berechneten Ausgabedaten des Datenwandlungsmodells während des Anlernens und den mit den ersten Messdaten verknüpften zweiten Messdaten als Solldaten angelernt wird. Dadurch kann ein unüberwachtes Lernen des Datenwandlungsmodells erfolgen. Die zugeordneten zweiten Messdaten können als Solldaten und Maßstab für die Berechnungsgenauigkeit und Abstraktionsleistung des Datenwandlungsmodells dienen.
Bei einer speziellen Ausgestaltung der Erfindung ist es vorteilhaft, wenn die Ausgabedaten und/oder die Sensordaten eine ähnliche oder gleiche Auflösung wie die zweiten Messdaten aufweisen. Dadurch kann der Betrieb des Fahrzeugs auch mit Sensordaten geringerer Auflösung im Vergleich zu der bei den ersten Messdaten verwendeten Auflösung zuverlässig erfolgen.
Bei einer vorzugsweisen Ausführung der Erfindung ist vorgesehen, dass die Sensorklasse Radarsensoren umfasst, der Fahrzeugsensor ein Radarsensor ist und die Messdaten Radarmessdaten sind. Auch kann der Fahrzeugsensor eine Kamera, ein Ultraschallsensor oder ein Mikrofon sein. Die Sensorklasse kann Lidarsensoren umfassen, der Fahrzeugsensor kann ein Lidarsensor und die Messdaten können Lidarmessdaten sein.
Gemäß der vorliegenden Erfindung wird weiterhin ein Verfahren zur Erstellung eines Datenverarbeitungsmodells zur Steuerung eines Betriebs eines Fahrzeugs abhängig von Sensordaten wenigstens eines Fahrzeugsensors des Fahrzeugs als Eingabedaten des Datenverarbeitungsmodells, das zumindest mit den durch ein Verfahren mit wenigstens einem der zuvor beschriebenen Merkmale gebildeten Ausgabedaten als Trainingsdaten angelernt wird, vorgeschlagen. Dadurch kann das Datenverarbeitungsmodell mit einfacher und schneller erzeugten Trainingsdaten angelernt werden.
Das Datenverarbeitungsmodell kann durch Tiefes Lernen (Deep Learning) angelernt werden. Das Datenverarbeitungsmodell kann PointNet, Pointnet++, Graph Neural Network, Continuous Convolutions, Kernel-Point Convolutions oder andere neuronale Netze einbeziehen.
Bei einer speziellen Ausführung der Erfindung ist es von Vorteil, wenn das Datenverarbeitungsmodell neben den Ausgabedaten mit weiteren zweiten Messdaten wenigstens eines Sensors der Sensorklasse als Trainingsdaten angelernt wird. Die weiteren zweiten Messdaten können durch den wenigstens einen Sensor, der auch die zweiten Messdaten bereitgestellt hat oder von einem anderen Sensor der Sensorklasse bereitgestellt werden.
Gemäß der vorliegenden Erfindung wird weiterhin ein Verfahren zur Steuerung eines Betriebs eines Fahrzeugs mit einem nach einem Verfahren mit wenigstens einem der zuvor beschriebenen Merkmale angelernten Datenverarbeitungsmodell abhängig von Sensordaten wenigstens eines Fahrzeugsensors des Fahrzeugs als Eingabedaten des Datenverarbeitungsmodells vorgeschlagen. Der Betrieb des Fahrzeugs kann abhängig von den Sensordaten über die Berechnung mit dem Datenverarbeitungsmodell den Betrieb eines Fahrerassistenzsystems, eines teilautonomen Fahrsystems und/oder eines autonomen Fahrsystems des Fahrzeugs einschließen.
Weiterhin wird ein Computerprogramm, das maschinenlesbare und auf wenigstens einem Computer ausführbare Anweisungen aufweist, bei deren Ausführung ein Verfahren mit wenigstens einem der zuvor angegebenen Merkmale abläuft, vorgeschlagen.
Weiterhin wird eine Speichereinheit, die maschinenlesbar und durch wenigstens einen Computer zugreifbar ausgeführt ist und auf der das genannte Computerprogramm gespeichert ist, vorgeschlagen.
Weitere Vorteile und vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus der Figurenbeschreibung und den Abbildungen. Figurenbeschreibung
Die Erfindung wird im Folgenden unter Bezugnahme auf die Abbildungen ausführlich beschrieben. Es zeigen im Einzelnen:
Figur 1 : Ein Verfahren zur Erstellung von Trainingsdaten, ein Verfahren zur Erstellung eines Datenverarbeitungsmodells und ein Verfahren zur Steuerung eines Betriebs eines Fahrzeugs jeweils in einer speziellen Ausführungsform der Erfindung.
Figur 2: Ein Anlernvorgang des Datenwandlungsmodells in einer speziellen Ausführungsform der Erfindung.
Figur 3: Ein Berechnungsvorgang von Ausgabedaten mit dem Datenwandlungsmodell in einer speziellen Ausführungsform der Erfindung.
Figur 1 zeigt ein Verfahren zur Erstellung von Trainingsdaten in einer speziellen Ausführungsform der Erfindung. Das Verfahren 10 zur Erstellung von Trainingsdaten für ein Datenverarbeitungsmodell 12 kann vor Anwendung des Datenverarbeitungsmodells 12 in einem Fahrzeug 14 durchgeführt werden. Bevorzugt wird das Verfahren 10 angewendet, um ein neues Datenverarbeitungsmodell 12 zu erstellen oder ein bestehendes Datenverarbeitungsmodell 12 anzupassen.
Das Datenverarbeitungsmodell 12 dient der Steuerung eines Betriebs des Fahrzeugs 14 abhängig von Sensordaten 16 wenigstens eines Fahrzeugsensors 18 des Fahrzeugs 14. Aus den Sensordaten 16 werden Eingabedaten 20 für das Datenverarbeitungsmodell 12 gebildet, das daraus Ausgabedaten 22 berechnet, die den Betrieb des Fahrzeugs 14 beeinflussen.
Das Datenverarbeitungsmodell 12 baut insbesondere auf Tiefem Lernen auf. Die Trainingsdaten 24 für das Datenverarbeitungsmodell 12 werden durch folgende Schritte erstellt. Zunächst erfolgt ein Bereitstellen 26 von jeweils Umgebungsszenen 28 erfassenden ersten Messdaten 30 wenigstens eines Sensors 32 einer Sensorklasse 34, welcher auch der Fahrzeugsensor 18 zugeordnet ist. Die ersten Messdaten 30 können von einem oder von mehreren Sensoren der Sensorklasse 34 bereitgestellt werden und liegen bevorzugt als Punktewolken 35 vor. Ist der Sensor 32 beispielsweise ein Radarsensor 36, dann umfasst die Sensorklasse 34 ausschließlich auf dem gleichen Messprinzip aufbauende Sensoren, hier also Radarsensoren 36. Die ersten Messdaten 30 können beispielsweise Umgebungsszenen 28 von Fahrzeugumgebungen abbilden und als Radarmessdaten vorliegen. Weiterhin erfolgt ein Bereitstellen 38 von gegenüber den ersten Messdaten 30 eine geringere Auflösung aufweisenden, zeitlich mit den ersten Messdaten 30 jeweils zusammenhängenden und die gleichen Umgebungsszenen 28 wie die ersten Messdaten 30 erfassenden zweiten Messdaten 40 wenigstens eines Sensors 42 der Sensorklasse 34. Ist der Sensor 32 ein Radarsensor 36, dann ist auch der Sensor 42 ein Radarsensor 36, da beide Sensoren 32, 42 der gleichen Sensorklasse 34 zugeordnet sind. Die zweiten Messdaten 40 können von einem oder von mehreren Sensoren der Sensorklasse 34 bereitgestellt werden und liegen bevorzugt als niedriger aufgelöste Punktewolken 35 vor. Die ersten Messdaten 30 und zweiten Messdaten 40 geben perspektivisch jeweils die gleiche Umgebungsszene 28 an. Der einzige Unterschied zwischen den ersten und zweiten Messdaten 30, 40 im Vergleich zueinander kann in der Auflösung bestehen, die bei den ersten Messdaten 30 größer als bei den zweiten Messdaten 40 ist.
Für ein Anlernen 44 eines Datenwandlungsmodells 46 werden die ersten Messdaten 30 als Eingabedaten 48 und die zweiten Messdaten 40 als Solldaten 50 verwendet. Die Messungen des ersten und zweiten Sensors 32, 42 der jeweils gleichen Umgebungsszene 28 werden als zugeordnete erste und zweite Messdaten 52 miteinander verknüpft. Das Datenwandlungsmodell 46 wird durch Anwendung wenigstens einer Verlustfunktion 54 zur Verringerung von Abweichungen zwischen den ausgehend von den ersten Messdaten 30 berechneten Ausgabedaten 60 des Datenverarbeitungsmodells 12 während des Anlernens 44 und den den ersten Messdaten 30 zugeordneten zweiten Messdaten 40 der zugeordneten ersten und zweiten Messdaten 52 als Solldaten 50 angelernt. Das Datenwandlungsmodell 46 wird angelernt, um aus Messdaten, die eine ähnliche oder gleiche Auflösung wie die ersten Messdaten 30 aufweisen, solche mit geringerer Auflösung, die eine ähnliche oder gleiche Auflösung wie die zweiten Messdaten 40 aufweisen, zu berechnen.
Mit Bereitstellen 56 von die ersten Messdaten 30 ergänzenden und die gleiche Auflösung wie die ersten Messdaten 30 aufweisenden und weitere Umgebungsszenen 28‘ erfassenden weiteren ersten Messdaten 58 wenigstens eines Sensors 32‘ der Sensorklasse 34 erfolgt eine Berechnung 59 von Ausgabedaten 62 mit dem Datenwandlungsmodell 46 und den weiteren ersten Messdaten 58 als Eingabedaten 63. Die Ausgabedaten 62 weisen dabei eine ähnliche oder gleiche Auflösung wie die zweiten Messdaten 40 auf.
Abschließend erfolgt ein Bereitstellen 64 der Ausgabedaten 62 als Trainingsdaten 24 für das Datenverarbeitungsmodell 12, das mit den Ausgabedaten 62 angelernt werden kann, um als angelerntes Datenverarbeitungsmodell 12 abhängig von den Sensordaten 16 einen Betrieb des Fahrzeugs 14 zu ermöglichen. Weiterhin ist in Figur 1 ein Verfahren 68 zur Erstellung eines Datenverarbeitungsmodells 12 in einer speziellen Ausführungsform der Erfindung dargestellt, das bevorzugt zeitlich nach dem Verfahren 10 zur Erstellung von Trainingsdaten 24 ausgeführt wird, denn das Anlernen 69 des Datenverarbeitungsmodells 12 erfolgt zumindest mit den durch das Datenwandlungsmodell 46 berechneten Trainingsdaten 24. Das Datenverarbeitungsmodell 12 wird neben den Ausgabedaten 62 des Datenwandlungsmodells 46 mit weiteren zweiten Messdaten 70 wenigstens eines Sensors 42‘ der Sensorklasse 34 als Trainingsdaten angelernt.
Weiterhin wird in Figur 1 ein Verfahren 72 zur Steuerung 73 eines Betriebs eines Fahrzeugs 14 in einer speziellen Ausführungsform der Erfindung dargestellt. Die Sensordaten 16 sind in Bezug auf eine Auflösung mit den zweiten Messdaten 40 vergleichbar oder übereinstimmend. Dadurch kann mit Inferenz des Datenverarbeitungsmodells 12 das Berechnungsergebnis als Ausgabedaten 22 genauer und zuverlässiger vorliegen.
Figur 2 zeigt einen Anlernvorgang des Datenwandlungsmodells in einer speziellen Ausführungsform der Erfindung. Während des Anlernvorgangs des Datenwandlungsmodells 46 werden iterativ die aus den ersten Messdaten 30 berechneten Ausgabedaten 60 mit den zweiten Messdaten 40 als Solldaten 50 verglichen und die Abweichung unter Anwendung der Verlustfunktion 54 zurückpropagiert.
Figur 3 zeigt einen Berechnungsvorgang von Ausgabedaten mit dem Datenwandlungsmodell in einer speziellen Ausführungsform der Erfindung. Der Berechnungsvorgang ist Bestandteil der Inferenz des Datenwandlungsmodells 46. Bei dem Berechnungsvorgang werden die weiteren ersten Messdaten 58 in die Ausgabedaten 62 umgerechnet, die eine geringere Auflösung aufweisen als die weiteren ersten Messdaten 58.

Claims

Patentansprüche
1. Verfahren (10) zur Erstellung von T rainingsdaten (24) für ein Datenverarbeitungsmodell (12) zur Steuerung eines Betriebs eines Fahrzeugs (14) abhängig von Sensordaten (16) wenigstens eines Fahrzeugsensors (18) des Fahrzeugs (14), aufweisend die folgenden Schritte:
Bereitstellen (26) von jeweils Umgebungsszenen (28) erfassenden ersten Messdaten (30) wenigstens eines Sensors (32) einer Sensorklasse (34), welcher auch der Fahrzeugsensor (18) zugeordnet ist,
Bereitstellen (38) von gegenüber den ersten Messdaten (30) eine geringere Auflösung aufweisenden, zeitlich mit den ersten Messdaten (30) jeweils zusammenhängenden und die gleichen Umgebungsszenen (28) wie die ersten Messdaten (30) erfassenden zweiten Messdaten (40) wenigstens eines Sensors (42) der Sensorklasse (34),
Anlernen (44) eines Datenwandlungsmodells (46) mit den ersten Messdaten (30) als Eingabedaten (48) und den zweiten Messdaten (40) als Solldaten (50), Bereitstellen (56) von die ersten Messdaten (30) ergänzenden weiteren ersten Messdaten (58) wenigstens eines Sensors (32‘) der Sensorklasse (34),
Berechnung (59) von Ausgabedaten (62) mit dem Datenwandlungsmodell (46) und den weiteren ersten Messdaten (58) als Eingabedaten (63) und
Bereitstellen (64) der Ausgabedaten (62) als Trainingsdaten (24) für das Datenverarbeitungsmodell (12).
2. Verfahren (10) zur Erstellung von Trainingsdaten (24) nach Anspruch 1 , dadurch gekennzeichnet, dass die weiteren ersten Messdaten (58) eine ähnliche oder gleiche Auflösung wie die ersten Messdaten (30) aufweisen.
3. Verfahren (10) zur Erstellung von Trainingsdaten (24) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die ersten und zweiten Messdaten (30, 40) als die jeweiligen Umgebungsszenen (28) beschreibende Punktewolken (35) vorliegen.
4. Verfahren (10) zur Erstellung von Trainingsdaten (24) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Messungen des ersten und zweiten Sensors (32, 42) der jeweils gleichen Umgebungsszene (28) als zugeordnete erste und zweite Messdaten (52) miteinander verknüpft werden.
5. Verfahren (10) zur Erstellung von Trainingsdaten (24) nach Anspruch 4, dadurch gekennzeichnet, dass das Datenwandlungsmodell (46) durch Anwendung wenigstens einer Verlustfunktion (54) zur Verringerung von Abweichungen zwischen den ausgehend von den ersten Messdaten (30) berechneten Ausgabedaten (60) des Datenwandlungsmodells (46) während des Anlernens (44) und den mit den ersten Messdaten (30) verknüpften zweiten Messdaten (40) als Solldaten (50) angelernt wird.
6. Verfahren (10) zur Erstellung von Trainingsdaten (24) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Ausgabedaten (62) und/oder die Sensordaten (16) eine ähnliche oder gleiche Auflösung wie die zweiten Messdaten (40) aufweisen.
7. Verfahren (10) zur Erstellung von Trainingsdaten (24) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Sensorklasse (34) Radarsensoren (36) umfasst, der Fahrzeugsensor (18) ein Radarsensor (36) ist und die ersten und zweiten Messdaten (30, 40) Radarmessdaten sind.
8. Verfahren (68) zur Erstellung eines Datenverarbeitungsmodells (12) zur Steuerung eines Betriebs eines Fahrzeugs (14) abhängig von Sensordaten (16) wenigstens eines Fahrzeugsensors (18) des Fahrzeugs (14) als Eingabedaten (20) des Datenverarbeitungsmodells (12), das zumindest mit den durch ein Verfahren (10) nach einem der vorangehenden Ansprüche gebildeten Ausgabedaten (62) als Trainingsdaten (24) angelernt wird.
9. Verfahren (68) zur Erstellung eines Datenverarbeitungsmodells (12) nach Anspruch 8, dadurch gekennzeichnet, dass das Datenverarbeitungsmodell (12) neben den Ausgabedaten (62) mit weiteren zweiten Messdaten (70) wenigstens eines Sensors (42‘) der Sensorklasse (34) als Trainingsdaten angelernt wird.
10. Verfahren (72) zur Steuerung eines Betriebs eines Fahrzeugs (14) mit einem nach einem Verfahren (68) nach einem der Ansprüche 8 bis 9 angelernten Datenverarbeitungsmodell (12) abhängig von Sensordaten (16) wenigstens eines Fahrzeugsensors (18) des Fahrzeugs (14) als Eingabedaten (20) des Datenverarbeitungsmodells (12).
EP24700257.9A 2023-01-24 2024-01-09 Erstellung von trainingsdaten, erstellung eines datenverarbeitungsmodells und steuerung eines fahrzeugbetriebs Pending EP4655765A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023200515.8A DE102023200515A1 (de) 2023-01-24 2023-01-24 Erstellung von Trainingsdaten, Erstellung eines Datenverarbeitungsmodells und Steuerung eines Fahrzeugbetriebs
PCT/EP2024/050369 WO2024156499A1 (de) 2023-01-24 2024-01-09 Erstellung von trainingsdaten, erstellung eines datenverarbeitungsmodells und steuerung eines fahrzeugbetriebs

Publications (1)

Publication Number Publication Date
EP4655765A1 true EP4655765A1 (de) 2025-12-03

Family

ID=89618962

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24700257.9A Pending EP4655765A1 (de) 2023-01-24 2024-01-09 Erstellung von trainingsdaten, erstellung eines datenverarbeitungsmodells und steuerung eines fahrzeugbetriebs

Country Status (6)

Country Link
EP (1) EP4655765A1 (de)
JP (1) JP2026502011A (de)
KR (1) KR20250135889A (de)
CN (1) CN120530431A (de)
DE (1) DE102023200515A1 (de)
WO (1) WO2024156499A1 (de)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011085976A1 (de) 2011-11-09 2013-05-16 Robert Bosch Gmbh Vorrichtung und verfahren zum betreiben eines fahrzeugs

Also Published As

Publication number Publication date
CN120530431A (zh) 2025-08-22
WO2024156499A1 (de) 2024-08-02
KR20250135889A (ko) 2025-09-15
JP2026502011A (ja) 2026-01-20
DE102023200515A1 (de) 2024-07-25

Similar Documents

Publication Publication Date Title
DE102008013366B4 (de) Verfahren zur Bereitstellung von Information für Fahrerassistenzsysteme
DE102020200911B3 (de) Verfahren zum Erkennen von Objekten in einer Umgebung eines Fahrzeugs
DE102020200499A1 (de) Verfahren zum Generieren von gelabelten Daten, insbesondere für das Training eines neuronalen Netzes, unter Verwendung ungelabelter, partitionierter Stichproben
EP3757792A2 (de) Verfahren und vorrichtung zum prüfen eines systems, zur auswahl realer tests und zum testen von systemen mit komponenten maschinellen lernens
EP3729213A1 (de) Verhaltensmodell eines umgebungssensors
WO2020126597A1 (de) Verfahren, computerprogramm, maschinenlesbares speichermedium sowie vorrichtung zur datenvorhersage
DE102020209538A1 (de) Vorrichtung und Verfahren zum Ermitteln einer physikalischen Eigenschaft eines physikalischen Objekts
WO2019242955A1 (de) Verfahren zur erzeugung eines testdatensatzes, verfahren zum testen, verfahren zum betreiben eines systems, vorrichtung, steuerungssystem, computerprogrammprodukt, computerlesbares medium, erzeugung und verwendung
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
DE102018216561A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Ermitteln einer Strategie eines Agenten
EP3985565B1 (de) Verfahren und vorrichtung zum überprüfen eines beim teilautomatisierten oder vollautomatisierten steuern eines fahrzeugs verwendeten ki-basierten informationsverarbeitungssystems
WO2024156499A1 (de) Erstellung von trainingsdaten, erstellung eines datenverarbeitungsmodells und steuerung eines fahrzeugbetriebs
DE102022105335A1 (de) Verfahren zum bestimmen eines drehmoments
DE102020209987A1 (de) Vorrichtung und Verfahren zum Verarbeiten von Umfeldsensordaten
DE102020132042A1 (de) Verfahren, System, Testsystem und Computerprogrammprodukt zur prädiktiven Bestimmung von Testergebnissen für ein technisches Testobjekt
DE102019218476A1 (de) Vorrichtung und Verfahren zum Messen, Simulieren, Labeln und zur Bewertung von Komponenten und Systemen von Fahrzeugen
DE102023004039A1 (de) Verfahren zum Erkennen einer Auslastung eines Fahrers eines Kraftfahrzeugs
DE202017105656U1 (de) Prädiktives Messsystem, Aktorsteuerungssystem und Vorrichtung zum Betreiben des prädiktiven Messsystems und/oder des Aktorsteuerungssystems
DE102019131722B3 (de) Verfahren zur Steuerung oder Regelung einer Klimatisierung eines Fahrzeugs
DE102021212732A1 (de) Überprüfen von test- und/oder trainings-datensätzen für ein computerbasiertes maschinenlernmodul
WO2021191120A1 (de) VERFAHREN ZUR BESTIMMUNG EINES WERTES EINER REGLERGRÖßE
DE202018104433U1 (de) Vorrichtung zum Stabilisieren von Aufnahmen einer Kamera
DE102024203873A1 (de) Verfahren zum Prädizieren einer zukünftigen Objektrepräsentation eines Objektes in einer Umgebung eines Fahrzeugs
DE102022212907A1 (de) Computerimplementiertes Verfahren und Vorrichtung zur Vorhersage eines Zustandes eines technischen Systems
DE102024209310A1 (de) Fahrzeugsteuervorrichtung und verfahren zum steuern eines fahrzeugs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250825

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)