WO2024012928A1 - Method for training a neural network - Google Patents

Method for training a neural network Download PDF

Info

Publication number
WO2024012928A1
WO2024012928A1 PCT/EP2023/068312 EP2023068312W WO2024012928A1 WO 2024012928 A1 WO2024012928 A1 WO 2024012928A1 EP 2023068312 W EP2023068312 W EP 2023068312W WO 2024012928 A1 WO2024012928 A1 WO 2024012928A1
Authority
WO
WIPO (PCT)
Prior art keywords
measurement data
vehicle
neural network
training
object surfaces
Prior art date
Application number
PCT/EP2023/068312
Other languages
German (de)
French (fr)
Inventor
Henrik Starkloff
Mohamed-Elamir MOHAMED
Original Assignee
Valeo Schalter Und Sensoren Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter Und Sensoren Gmbh filed Critical Valeo Schalter Und Sensoren Gmbh
Publication of WO2024012928A1 publication Critical patent/WO2024012928A1/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G01S15/876—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection

Definitions

  • the present invention relates to a method for training a neural network, a method for determining a position of object surfaces in an environment of a vehicle, a computer program product, a control device for a vehicle, and a vehicle.
  • Driving assistance systems with ultrasonic sensors support the driver, particularly when parking, where the vehicle is traveling at low speed.
  • the ultrasonic sensors determine the distance between the vehicle and objects or object surfaces that are in the area surrounding the vehicle.
  • the ultrasonic sensors are set up to detect a variety of objects.
  • the data from the ultrasonic sensors is evaluated and transmitted to the driving assistance system. This supports the driver in that it displays the distance of the vehicle to objects in the surrounding area, for example acoustically and/or visually.
  • a semi-autonomous or fully autonomous driving assistance system can use the ultrasound data to, for example, carry out parking operations semi-autonomously or fully autonomously.
  • the scope of application of ultrasonic sensors and the complexity of driving assistance systems are increasingly expanding.
  • the evaluation of the ultrasound measurement data is based on mathematical methods and therefore requires a relatively large amount of time and computing power. This means that the evaluation of the ultrasound data is only available with a time delay.
  • an almost instantaneous evaluation of the ultrasonic data is necessary.
  • an object of the present invention is to provide an improved approach for, in particular, faster evaluation of ultrasound data.
  • a method for training a neural network to determine a position of object surfaces in an environment of a vehicle as a function of ultrasound measurement data comprises the steps: a) providing a training measurement data set comprising ultrasound measurement data relating to object surfaces in an environment of a vehicle; b) providing a reference data set which describes the object surfaces with regard to their location; and c) training a neural network depending on the training measurement data set and the reference data set.
  • This method has the advantage that a neural network is trained so that the evaluation of the ultrasonic measurement data from the vehicle's ultrasonic sensors is carried out with the trained neural network. This means that the ultrasound measurement data can be evaluated more quickly than with the mathematical methods commonly used, such as the Gauss-Newton method.
  • the vehicle is, for example, a motor vehicle, such as a passenger car or a truck.
  • the ultrasonic measurement data can be recorded in step a), for example with an on-board ultrasonic sensor.
  • the reference data set describes the position of the object surfaces with high accuracy.
  • the reference data set is usually recorded before step a). It is recorded, for example, with a measuring system, such as a Lidar (Light Detection and Ranging) system, which is able to clearly and highly accurately record the object surfaces with regard to their position in space.
  • the reference data set can contain measurement data or based on those that were recorded by sensors that are in particular the (test) vehicle or integrated into the (test) vehicle.
  • the reference data set or the measurement data can also be recorded by a sensor temporarily attached to the (test) vehicle be recorded.
  • a sensor temporarily or permanently attached to the vehicle can be, for example, a lidar sensor.
  • a reference data set can include eyelid measurement data.
  • steps a) and b) of the method the vehicle's own and/or temporary sensors are each attached to the same vehicle.
  • steps a) and b) of the method the object surfaces in the area surrounding the vehicle are the same.
  • the training in step c) of the method is based on the comparison of the evaluation of the training measurement data set by the untrained neural network with the reference data set (corresponds to the target output data of the neural network after its training) and the subsequent adjustment of the weights within the neural network (so-called supervised learning ).
  • the training can consist of several iteration steps, each of which consists of a determination of the position of object surfaces in a vehicle environment from the ultrasound measurement data by the untrained neural network, the subsequent comparison with the reference data set and the subsequent adjustment of the weights within the neural network.
  • step c) of the method is completed as soon as the output data of the neural network approximates the reference data set sufficiently well.
  • the neural network is, for example, a feedforward neural network, in particular a multi-layer perceptron.
  • step a) comprises, instead of "providing a training measurement data set comprising ultrasound measurement data relating to object surfaces in an environment of a vehicle;” following steps: a1) Providing ultrasonic measurement data relating to object surfaces in an environment of a vehicle; a2) determining intersections of circles that are assigned to the ultrasound measurement data and/or tangents to such circles; a3) Providing a training measurement data set depending on the determined intersections and/or tangents;
  • steps b) and c) are then followed by steps b) and c).
  • a so-called “heat map” is created, which then represents the input data for training the neural network. Determining the intersection points or tangents according to step a2) can be done, for example, using a Gauss-Newton method.
  • the training measurement data set has ultrasound measurement data that are recorded at different times, with tracking data being generated using a tracking method depending on the ultrasound measurement data recorded at different times, with the training of the neural network in step c) also taking place depending on the tracking data.
  • the tracking data generated by using the tracking method includes, for example, the number of associations or the number of missed associations.
  • the ultrasound data can be checked for plausibility based on their temporal classification in physical and/or statistical models and implausible data points can be ignored or corrected.
  • step c) training in step c) can take place depending on the training measurement data set, the reference data set and the tracking data.
  • the tracking method has a Kalman filter.
  • the Kalman filter is a mathematical method for iteratively estimating parameters to describe system states.
  • a Bernoulli filter or a multi-Bernoulli filter can be used.
  • the training of the neural network in step c) also takes place depending on a tracking speed.
  • the tracking speed refers to the cycle time of the (iterative) tracking process. The shorter the cycle time, the more accurate the tracking. This in turn affects the quality of the output data of the neural network and is advantageously taken into account when training it.
  • the vehicle speed is determined when the ultrasound measurement data is acquired, with the training of the neural network in step c) also taking place as a function of the vehicle speed.
  • a signal-to-noise ratio is determined when acquiring the ultrasound measurement data, with the training of the neural network in step c) also taking place as a function of the signal-to-noise ratio.
  • a method for determining a position of object surfaces in an environment of a vehicle is provided as a function of ultrasound measurement data.
  • the procedure includes the steps: a) acquiring ultrasonic measurement data relating to object surfaces in an environment of the vehicle; and b) determining the position of the object surfaces using a trained first neural network and the acquired ultrasound measurement data.
  • This method has the advantage that a trained neural network is used to determine a position of object surfaces in an environment of a vehicle depending on ultrasonic measurement data recorded using ultrasonic sensors of a vehicle. This means that the ultrasound measurement data can be evaluated more quickly.
  • the ultrasound measurement data recorded in step a) of the method according to the second aspect are recorded using the same, the same or different ultrasound sensors as the training measurement data in the method according to the first aspect.
  • the neural network used in step b) has been trained according to the method according to the first aspect.
  • a second trained neural network in step b), can be applied to output data of the first trained neural network in order to generate features from these to define the position of the object surfaces.
  • the features generated can be, for example, geometric shapes. Furthermore, the features can be standardized geometric shapes.
  • the features have a plurality of ellipses with an assigned position and/or orientation, uncertainty and/or type.
  • the object surfaces can be described by a plurality of ellipses. There is at least one object surface in the area surrounding the vehicle Ellipse assigned.
  • the ellipses describe the properties of the object surfaces in the area surrounding the vehicle through their position, orientation, uncertainty and/or type.
  • a computer program product which comprises instructions which, when the program is executed by a computer, cause the computer to carry out the method described above according to a first aspect or the method described above according to a second aspect.
  • a computer program product can, for example, be provided on a computer-readable storage medium, such as a memory card, USB stick, CD-ROM or DVD. Furthermore, the computer program product can also be provided as a downloadable file from a server in a network. The transmission of the computer program product can take place, for example, in a wireless communication network by transmitting a corresponding file with the computer program product.
  • a control device for a vehicle which has a detection unit for detecting ultrasonic measurement data relating to object surfaces in an environment of the vehicle, and a determining unit for determining the position of the object surfaces using a first neural network trained as described above and the recorded ultrasound measurement data.
  • the control unit (for example in the form of the central vehicle control unit or electronic control unit - "ECU") is in particular set up to process the computer program product described above for determining a position of object surfaces in the surroundings of a vehicle, for example on the processor unit of the control unit.
  • the control device comprises a detection unit which serves to receive the ultrasonic sensor data detected by, in particular, the vehicle's own sensors. The reception of the ultrasonic sensor data by the detection unit can be wired and/or wirelessly.
  • the detection unit can be set up to receive, in addition to the ultrasonic sensor data, further sensor data from the vehicle's sensors.
  • the units described here can be implemented as hardware and/or software.
  • a vehicle which has one or more ultrasonic sensors and a control device according to the fourth aspect.
  • FIG. 1 shows a schematic top view of a vehicle with an ultrasonic sensor and a control device according to an exemplary embodiment
  • FIG. 2 shows a schematic representation of a control device of a vehicle according to an exemplary embodiment
  • FIG. 3 shows a flowchart of a method for training an untrained neural network according to an exemplary embodiment
  • FIG. 4 shows a flowchart of a method for determining a position of object surfaces in an environment of a vehicle as a function of ultrasound measurement data
  • FIG. 5 shows a schematic representation of an ellipse for describing a feature for defining the position of the object surfaces
  • Fig. 6 shows a schematic representation of an ultrasound measurement by ultrasonic sensors of a vehicle while driving on an object surface.
  • the vehicle 1 shows a schematic top view of a vehicle 1 according to an embodiment.
  • the vehicle 1 is a motor vehicle, in particular a passenger car.
  • the vehicle 1 may include ultrasonic sensors 2, which may be mounted at various positions.
  • the ultrasonic sensors 2 can be designed as part of a driving assistance system.
  • the driving assistance system is set up, for example, to determine a distance between the vehicle 1 and object surfaces 8. Furthermore, the driving assistance system can be set up to communicate the specific distance to the driver, for example acoustically and/or display it visually.
  • Ultrasonic measurement data 10 (FIG. 2), which are required to determine the distance of the vehicle 1 from object surfaces 8, are obtained by emitting ultrasonic waves 4 by means of the ultrasonic sensors 2 (illustrated here only for the one at the top in the figure) and by receiving them Object surfaces 8 reflected ultrasonic waves 4 are generated by means of the ultrasonic sensors 2.
  • the ultrasonic measurement data 10 generated in this way are transmitted wirelessly and/or wired by the ultrasonic sensors 2 to a control device 6 in the vehicle 1.
  • the control device 6 shown in FIG. 2 comprises a processor unit 14 (here also “determination unit”) and a memory unit 16.
  • the control device 6 is - preferably with With the help of software 18, which is stored on the memory unit 16 and is executed using the processor unit 14 - set up to carry out a method described below for determining a position of object surfaces 8 in an environment of a vehicle 1 depending on the ultrasound measurement data 10.
  • the control device 6 further comprises a detection unit 12 for detecting the ultrasonic measurement data 10 of the ultrasonic sensors 2, which are in particular vehicle-specific or firmly integrated into the vehicle.
  • the control device 6 can in particular have features 22 for defining the position of object surfaces 8 in an environment of the vehicle via an output -Unit 20 output to the driving assistance system or other systems of vehicle 1.
  • FIG. 3 shows a flowchart of a first exemplary embodiment of a method for training a neural network for determining a position of object surfaces in an environment of a vehicle as a function of ultrasound measurement data.
  • test vehicle 1' can be used for this purpose.
  • the test vehicle 1 ' can be the same, the same or a different vehicle as the vehicle 1.
  • the test vehicle 1′ can further comprise at least one, but preferably several, ultrasonic sensors 2 and, for example, at least one lidar sensor (not shown).
  • the neural network trained with the test vehicle 1 'can for example, be uploaded to the control unit 6 of the vehicle 1 produced on the production line at the end of the production line.
  • the training can be specific to the vehicle type.
  • a training measurement data set containing ultrasonic measurement data from object surfaces 8 of the objects in the surroundings of the test vehicle 1' is provided using the ultrasonic sensors 2 of the test vehicle 1'.
  • the training measurement data set can, for example, be the signal transit time of a respective ultrasonic signal, the current position of the transmitting and/or received ultrasonic sensor 2, the time stamp of a respective ultrasonic signal and/or information about which of the several ultrasonic sensors 2 have sent or received the respective ultrasonic signal.
  • a reference data set which describes the object surfaces with regard to their position.
  • the reference data set can, for example, also be recorded using the test vehicle 1 '.
  • the reference data set can be recorded, for example, with lidar sensors or other high-resolution sensors.
  • a sensor can be used, which is attached to the test vehicle 1 'only to record the reference data set.
  • an on-board sensor is used to create the reference data set.
  • the reference data set provided in S2 describes the same object surfaces 8 of the objects in the surroundings of the vehicle 1 as the training measurement data set provided in S1, but with higher accuracy.
  • the reference data set corresponds, for example, to an accurate mapping of the object surfaces.
  • the information about the object surfaces 8 has yet to be extracted from the training data set in a suitable manner, for which the neural network is trained accordingly, as explained in connection with step S3.
  • a tracking method is applied to the training measurement data set recorded in step S1.
  • several ultrasound measurements that are recorded at different times can be related to one another. This takes the form of so-called associations or missed associations within the ultrasound measurements.
  • the tracking method is based, for example, on a Kalman filter and in particular has a defined cycle time (tracking speed). As a result, data points within the training data set can be improved, added and/or eliminated.
  • a step S4 of the method the untrained first neural network is trained.
  • the training of the untrained neural network takes place over at least one iteration step.
  • the training data which may have been improved using the tracking method according to step S3, are entered into the neural network and the result output by the neural network is compared with the reference data set.
  • the weighting within the neural network is adjusted based on the comparison and the deviation between the output and the reference data set.
  • the output variable of the neural network is the position of the object surfaces 8 in an environment of the vehicle.
  • further input variables such as the vehicle speed when acquiring the ultrasonic measurement data 10, the tracking speed and/or a signal-to-noise ratio when acquiring the ultrasonic measurement data 10, can be provided to the first untrained or partially trained neural network.
  • the training of the neural network is completed when the deviation of the output of the neural network and the reference data set falls below a predetermined threshold value or the object surfaces 8 are approximated with sufficient accuracy.
  • the 4 shows a method for determining a position of object surfaces 8 in an environment of the vehicle 1 with the aid of two trained neural networks 24, 26.
  • the trained neural networks 24, 26 are, for example, as software 18 on the memory unit 16 of the control device 6 trained.
  • Ultrasonic measurement data 10 which are recorded using the ultrasonic sensors 2 of the vehicle 1, are analyzed using the tracking method S3 using a tracking algorithm 28.
  • the data from the tracking method and possibly additionally the ultrasound measurement data 10 as such (depending on the output of the tracking algorithm 28) are entered into the first trained neural network 24.
  • the output of the first trained neural network 24 is the position of the object surfaces 8 of the objects in the environment of the vehicle 1.
  • the output of the first neural network 24 is the input into the second trained neural network 26. Based on the input data, the second trained neural network 26 determines features 22 for defining the position of object surfaces 8.
  • FIG. 5 shows a feature 22 for defining the position of the object surfaces 8.
  • the feature for defining the position of the object surfaces 22 is shown as an example as an ellipse.
  • the feature for defining the position of the object surfaces 22 can also be a different geometric shape.
  • the ellipse shown in FIG. 5 describes the position of the object surface 8 of an object in the surroundings of the vehicle 1 by its position and its angle. Their axes describe the uncertainty of the position of the object surface.
  • FIG. 6 shows a schematic representation of an ultrasound measurement of the vehicle 1 on an object surface 8 in the surroundings of the vehicle 1.
  • the vehicle 1 travels along an object surface 8 in the direction of the arrow.
  • An ultrasonic sensor 2 emits ultrasonic waves 4. These are reflected by the object surface 8.
  • the ultrasonic measurement data 10 obtained in this way are evaluated by the ultrasonic sensors 2 and transmitted to the control device 6.
  • the software 18, which evaluates the received ultrasound measurement data 10 according to the scheme shown in FIG. 4, is stored on the memory unit 16 of the control device 6. Two trained neural networks 24, 26 are used.
  • the output size of the evaluation according to the scheme in FIG. 4 are the features 22 (here ellipses) for defining the position of the object surfaces 8.
  • FIG. 6 shows how two exemplary ellipses 22, 22 'describe the course of an object surface 8.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

The invention relates to a method for training a neural network for determining the position of object surfaces (8) in the surroundings of a vehicle (1) on the basis of ultrasonic measurement data (10), having the steps of: a) providing a training measurement data set comprising ultrasonic measurement data (10) relating to object surfaces (8) in the surroundings of the vehicle (1); b) providing a reference data set which describes the object surfaces (8) with respect to the position thereof; and c) training a neural network on the basis of the training measurement data set and the reference data set.

Description

VERFAHREN ZUM TRAINIEREN EINES NEURONALEN NETZES METHOD FOR TRAINING A NEURONAL NETWORK
Die vorliegende Erfindung betrifft ein Verfahren zum Trainieren eines neuronalen Netzes, ein Verfahren zum Bestimmen einer Lage von Objektoberflächen in einer Umgebung eines Fahrzeugs, ein Computerprogrammprodukt, ein Steuergerät für ein Fahrzeug, und ein Fahrzeug. The present invention relates to a method for training a neural network, a method for determining a position of object surfaces in an environment of a vehicle, a computer program product, a control device for a vehicle, and a vehicle.
Heutzutage werden in vielen Neuwagen Ultraschallsensoren und Fahrassistenzsysteme verbaut. Fahrassistenzsysteme mit Ultraschallsensoren unterstützen den Fahrer insbesondere bei Parkvorgängen, wobei das Fahrzeug eine geringe Fahrgeschwindigkeit aufweist. Die Ultraschallsensoren bestimmen dabei den Abstand zwischen dem Fahrzeug und Objekten beziehungsweise Objektoberflächen, die sich in der Umgebung des Fahrzeugs befinden. Die Ultraschallsensoren sind dazu eingerichtet, eine Vielzahl an Objekten zu erkennen. Die Daten der Ultraschallsensoren werden ausgewertet und an das Fahrassistenzsystem übermittelt. Dieses unterstützt den Fahrer insofern, dass es den Abstand des Fahrzeugs zu Objekten in der Umgebung beispielweise akustisch und/oder optisch angezeigt. Ein semi-autonomes oder vollautonomes Fahrassistenzsystem kann die Ultraschalldaten verwenden um beispielsweise Einparkvorgänge semi-autonom oder vollautonom durchzuführen. Nowadays, ultrasonic sensors and driving assistance systems are installed in many new cars. Driving assistance systems with ultrasonic sensors support the driver, particularly when parking, where the vehicle is traveling at low speed. The ultrasonic sensors determine the distance between the vehicle and objects or object surfaces that are in the area surrounding the vehicle. The ultrasonic sensors are set up to detect a variety of objects. The data from the ultrasonic sensors is evaluated and transmitted to the driving assistance system. This supports the driver in that it displays the distance of the vehicle to objects in the surrounding area, for example acoustically and/or visually. A semi-autonomous or fully autonomous driving assistance system can use the ultrasound data to, for example, carry out parking operations semi-autonomously or fully autonomously.
Der Anwendungsbereich von Ultraschallsensoren und die Komplexität von Fahrassistenzsystemen wird zunehmend erweitert. Die Auswertung der Ultraschallmessdaten beruht auf mathematischen Methoden und benötigt so relativ viel Zeit und Rechenleistung. Damit steht die Auswertung der Ultraschalldaten erst mit einer Zeitverzögerung zur Verfügung. Um Ultraschallsensoren allerdings bei höheren Geschwindigkeiten als beispielsweise bei Parkvorgängen verlässlich einzusetzen, ist eine nahezu instantane Auswertung der Ultraschalldaten notwendig. The scope of application of ultrasonic sensors and the complexity of driving assistance systems are increasingly expanding. The evaluation of the ultrasound measurement data is based on mathematical methods and therefore requires a relatively large amount of time and computing power. This means that the evaluation of the ultrasound data is only available with a time delay. However, in order to reliably use ultrasonic sensors at higher speeds than, for example, when parking, an almost instantaneous evaluation of the ultrasonic data is necessary.
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, einen verbesserten Ansatz zur insbesondere schnelleren Auswertung von Ultraschalldaten zur Verfügung zu stellen. Gemäß einem ersten Aspekt wird ein Verfahren zum Trainieren eines neuronalen Netzes für ein Bestimmen einer Lage von Objektoberflächen in einer Umgebung eines Fahrzeugs in Abhängigkeit von Ultraschallmessdaten bereitgestellt. Das Verfahren umfasst die Schritte: a) Bereitstellen eines Trainingsmessdatensatzes umfassend Ultraschallmessdaten betreffend Objektoberflächen in einer Umgebung eines Fahrzeugs; b) Bereitstellen eines Referenzdatensatzes, welcher die Objektoberflächen im Hinblick auf ihre Lage beschreibt; und c) Trainieren eines neuronalen Netzes in Abhängigkeit des Trainingsmessdatensatzes und des Referenzdatensatzes. Against this background, an object of the present invention is to provide an improved approach for, in particular, faster evaluation of ultrasound data. According to a first aspect, a method for training a neural network to determine a position of object surfaces in an environment of a vehicle as a function of ultrasound measurement data is provided. The method comprises the steps: a) providing a training measurement data set comprising ultrasound measurement data relating to object surfaces in an environment of a vehicle; b) providing a reference data set which describes the object surfaces with regard to their location; and c) training a neural network depending on the training measurement data set and the reference data set.
Dieses Verfahren hat den Vorteil, dass ein neuronales Netz trainiert wird, so dass die Auswertung der Ultraschallmessdaten der Ultraschallsensoren des Fahrzeugs mit dem trainierten neuronalen Netz erfolgt. Damit können die Ultraschallmessdaten schneller ausgewertet werden als mit den herkömmlicherweise verwendeten mathematischen Methoden, wie zum Beispiel das Gauß-Newton-Verfahren. This method has the advantage that a neural network is trained so that the evaluation of the ultrasonic measurement data from the vehicle's ultrasonic sensors is carried out with the trained neural network. This means that the ultrasound measurement data can be evaluated more quickly than with the mathematical methods commonly used, such as the Gauss-Newton method.
Das Fahrzeug ist zum Beispiel ein Kraftfahrzeug, wie beispielsweise ein Personenkraftwagen oder auch ein Lastkraftwagen. The vehicle is, for example, a motor vehicle, such as a passenger car or a truck.
Die Ultraschallmessdaten können in Schritt a) beispielweise mit einem fahrzeugeigenen Ultraschallsensor erfasst werden. The ultrasonic measurement data can be recorded in step a), for example with an on-board ultrasonic sensor.
Der Referenzdatensatz beschreibt die Lage der Objektoberflächen mit hoher Genauigkeit. Der Referenzdatensatz wird id R vor Schritt a) aufgezeichnet. Er wird beispielsweise mit einem Messsystem, wie etwa einem Lidar(Engl.: Light Detection and Ranging -System, aufgezeichnet, das in der Lage ist, die Objektoberflächen im Hinblick auf ihre Lage im Raum eindeutig und hochgenau zu erfassen. Der Referenzdatensatz kann Messdaten aufweisen oder auf solchen basieren, die durch insbesondere (test-)fahrzeugeigene bzw. in das (Test-)Fahr- zeug integrierte Sensoren erfasst wurden. Allerdings kann der Referenzdatensatz bzw. können die Messdaten auch durch einen temporär am (Test-) Fahrzeug angebrachten Sensor erfasst werden. Ein temporär oder dauerhaft an dem Fahrzeug angebrachter Sensor kann beispielsweise ein Lidarsensor sein. Demnach kann ein Referenzdatensatz Lidarmessdaten umfassen. The reference data set describes the position of the object surfaces with high accuracy. The reference data set is usually recorded before step a). It is recorded, for example, with a measuring system, such as a Lidar (Light Detection and Ranging) system, which is able to clearly and highly accurately record the object surfaces with regard to their position in space. The reference data set can contain measurement data or based on those that were recorded by sensors that are in particular the (test) vehicle or integrated into the (test) vehicle. However, the reference data set or the measurement data can also be recorded by a sensor temporarily attached to the (test) vehicle be recorded. A sensor temporarily or permanently attached to the vehicle can be, for example, a lidar sensor. Accordingly, a reference data set can include eyelid measurement data.
In den Schritten a) und b) des Verfahrens sind die fahrzeugeigenen und/oder temporären Sensoren jeweils an demselben Fahrzeug angebracht. In steps a) and b) of the method, the vehicle's own and/or temporary sensors are each attached to the same vehicle.
In den Schritten a) und b) des Verfahrens sind die Objektoberflächen in der Umgebung des Fahrzeugs dieselben. In steps a) and b) of the method, the object surfaces in the area surrounding the vehicle are the same.
Das Trainieren in Schritt c) des Verfahrens basiert auf dem Abgleich der Auswertung des Trainingsmessdatensatzes durch das untrainierte neuronale Netz mit dem Referenzdatensatz (entspricht den Sollausgabedaten des neuronalen Netzes nach dessen Training) und der anschließenden Anpassung der Gewichtungen innerhalb des neuronalen Netzes (sog. supervised learning). Das Training kann dabei mehrere Iterationsschritte, die jeweils aus einer Bestimmung der Lage von Objektoberflächen in einer Umgebung eines Fahrzeugs aus den Ultraschallmessdaten durch das untrainierte neuronale Netz, dem anschließenden Abgleich mit dem Referenzdatensatz und der anschließenden Anpassung der Gewichtungen innerhalb des neuronalen Netzes bestehen. The training in step c) of the method is based on the comparison of the evaluation of the training measurement data set by the untrained neural network with the reference data set (corresponds to the target output data of the neural network after its training) and the subsequent adjustment of the weights within the neural network (so-called supervised learning ). The training can consist of several iteration steps, each of which consists of a determination of the position of object surfaces in a vehicle environment from the ultrasound measurement data by the untrained neural network, the subsequent comparison with the reference data set and the subsequent adjustment of the weights within the neural network.
Das Trainieren in Schritt c) des Verfahrens ist abgeschlossen, sobald die Ausgabedaten des neuronalen Netzes den Referenzdatensatz ausreichend gut annähern. The training in step c) of the method is completed as soon as the output data of the neural network approximates the reference data set sufficiently well.
Das neuronale Netz ist beispielsweise ein feedforward neuronales Netz, insbesondere Multi- Layer-Perceptron. The neural network is, for example, a feedforward neural network, in particular a multi-layer perceptron.
Gemäß einer Variante umfasst Schritt a) anstelle von "Bereitstellen eines Trainingsmessdatensatzes umfassend Ultraschallmessdaten betreffend Objektoberflächen in einer Umgebung eines Fahrzeugs;" nachfolgende Schritte: a1 ) Bereitstellen von Ultraschallmessdaten betreffend Objektoberflächen in einer Umgebung eines Fahrzeugs; a2) Ermitteln von Schnittpunkten von Kreisen, die den Ultraschallmessdaten zugeordnet sind, und/oder von Tangenten an solchen Kreisen; a3) Bereitstellen eines Trainingsmessdatensatzes in Abhängigkeit der ermittelten Schnittpunkte und/oder Tangenten; According to a variant, step a) comprises, instead of "providing a training measurement data set comprising ultrasound measurement data relating to object surfaces in an environment of a vehicle;" following steps: a1) Providing ultrasonic measurement data relating to object surfaces in an environment of a vehicle; a2) determining intersections of circles that are assigned to the ultrasound measurement data and/or tangents to such circles; a3) Providing a training measurement data set depending on the determined intersections and/or tangents;
Hieran schließen sich dann die Schritte b) und c) an. Mit anderen Worten wird eine sogenannte "heat map" erstellt, die dann die Eingabedaten für das Training des neuronalen Netzes darstellt. Das Ermitteln der Schnittpunkte oder Tangenten gemäß Schritt a2) kann beispielsweise mithilfe einer Gauß-Newton-Methode erfolgen. This is then followed by steps b) and c). In other words, a so-called “heat map” is created, which then represents the input data for training the neural network. Determining the intersection points or tangents according to step a2) can be done, for example, using a Gauss-Newton method.
Gemäß einer Ausführungsform weist der Trainingsmessdatensatz Ultraschallmessdaten auf, die zu unterschiedlichen Zeitpunkten erfasst werden, wobei Trackingdaten mithilfe eines Trackingverfahrens in Abhängigkeit der zu unterschiedlichen Zeitpunkten erfassten Ultraschallmessdaten erzeugt werden, wobei das Trainieren des neuronalen Netzes in Schritt c) ferner in Abhängigkeit der Trackingdaten erfolgt. According to one embodiment, the training measurement data set has ultrasound measurement data that are recorded at different times, with tracking data being generated using a tracking method depending on the ultrasound measurement data recorded at different times, with the training of the neural network in step c) also taking place depending on the tracking data.
Die durch die Anwendung des Trackingverfahrens erzeugten Trackingdaten umfassen beispielsweise die Anzahl an Assoziationen oder die Anzahl an verpassten Assoziationen. Mithilfe eines Trackingverfahrens können die Ultraschalldaten aufgrund ihrer zeitlichen Einordnung in physikalische und/oder statistisch Modelle auf Plausibilität überprüft werden und unplausible Datenpunkte ignoriert oder korrigiert werden. The tracking data generated by using the tracking method includes, for example, the number of associations or the number of missed associations. Using a tracking process, the ultrasound data can be checked for plausibility based on their temporal classification in physical and/or statistical models and implausible data points can be ignored or corrected.
Demnach kann das Trainieren in Schritt c) in Abhängigkeit des Trainingsmessdatensatzes, des Referenzdatensatzes und der Trackingdaten erfolgen. Accordingly, training in step c) can take place depending on the training measurement data set, the reference data set and the tracking data.
Gemäß einer weiteren Ausführungsform weist das Trackingverfahren einen Kalman-Filter auf. Der Kalman-Filter ist dabei ein mathematisches Verfahren zur iterativen Schätzung von Parametern, um Systemzustände zu beschreiben. Alternativ oder zusätzlich kann ein Bernoulli- Filter oder ein Multi-Bernoulli-Filter eingesetzt werden. According to a further embodiment, the tracking method has a Kalman filter. The Kalman filter is a mathematical method for iteratively estimating parameters to describe system states. Alternatively or additionally, a Bernoulli filter or a multi-Bernoulli filter can be used.
Gemäß einer weiteren Ausführungsform erfolgt das Trainieren des neuronalen Netzes in Schritt c) ferner in Abhängigkeit einer Trackinggeschwindigkeit. According to a further embodiment, the training of the neural network in step c) also takes place depending on a tracking speed.
Die Trackinggeschwindigkeit bezeichnet die Zykluszeit des (iterativ) ablaufenden Trackingverfahrens. Je kürzer die Zykluszeit, desto genauer das Tracking. Dies wirkt sich wiederum auf die Qualität der Ausgabedaten des neuronalen Netzes aus und wird vorteilhaft bei dessen Training berücksichtigt. The tracking speed refers to the cycle time of the (iterative) tracking process. The shorter the cycle time, the more accurate the tracking. This in turn affects the quality of the output data of the neural network and is advantageously taken into account when training it.
Gemäß einer weiteren Ausführungsform wird die Fahrzeuggeschwindigkeit beim Erfassen der Ultraschallmessdaten bestimmt, wobei das Trainieren des neuronalen Netzes in Schritt c) ferner in Abhängigkeit der Fahrzeuggeschwindigkeit erfolgt. According to a further embodiment, the vehicle speed is determined when the ultrasound measurement data is acquired, with the training of the neural network in step c) also taking place as a function of the vehicle speed.
Dadurch kann das trainierte neuronale Netz bei einer größeren Bandbreite von Fahrzeuggeschwindigkeiten verwendet werden. This allows the trained neural network to be used at a wider range of vehicle speeds.
Gemäß einer weiteren Ausführungsform wird ein Signal-Rausch-Verhältnis beim Erfassen der Ultraschallmessdaten bestimmt, wobei das Trainieren des neuronalen Netzes in Schritt c) ferner in Abhängigkeit des Signal-Rausch-Verhältnisses erfolgt. According to a further embodiment, a signal-to-noise ratio is determined when acquiring the ultrasound measurement data, with the training of the neural network in step c) also taking place as a function of the signal-to-noise ratio.
Dadurch wird die (Un-)Genauigkeit der Ultraschallmessdaten bei der Anwendung des trainierten neuronalen Netzes im Fahrzeug berücksichtigt. This takes the (in)accuracy of the ultrasound measurement data into account when using the trained neural network in the vehicle.
Gemäß einem zweiten Aspekt wird ein Verfahren zum Bestimmen einer Lage von Objektoberflächen in einer Umgebung eines Fahrzeugs in Abhängigkeit von Ultraschallmessdaten bereitgestellt. Das Verfahren umfasst die Schritte: a) Erfassen von Ultraschallmessdaten betreffend Objektoberflächen in einer Umgebung des Fahrzeugs; und b) Bestimmen der Lage der Objektoberflächen unter Verwendung eines trainierten ersten neuronalen Netzes und der erfassten Ultraschallmessdaten. According to a second aspect, a method for determining a position of object surfaces in an environment of a vehicle is provided as a function of ultrasound measurement data. The procedure includes the steps: a) acquiring ultrasonic measurement data relating to object surfaces in an environment of the vehicle; and b) determining the position of the object surfaces using a trained first neural network and the acquired ultrasound measurement data.
Dieses Verfahren hat den Vorteil, dass ein trainiertes neuronales Netz zum Bestimmen einer Lage von Objektoberflächen in einer Umgebung eines Fahrzeugs in Abhängigkeit von Ultraschallmessdaten, die mithilfe von Ultraschallsensoren eines Fahrzeugs erfasst wurden, verwendet wird. Damit können die Ultraschallmessdaten schneller ausgewertet werden. This method has the advantage that a trained neural network is used to determine a position of object surfaces in an environment of a vehicle depending on ultrasonic measurement data recorded using ultrasonic sensors of a vehicle. This means that the ultrasound measurement data can be evaluated more quickly.
Die in Schritt a) des Verfahrens nach dem zweiten Aspekt erfassten Ultraschallmessdaten werden dabei mit denselben, den gleichen oder anderen Ultraschallsensoren wie die Trainingsmessdaten in dem Verfahren nach dem ersten Aspekt erfasst. The ultrasound measurement data recorded in step a) of the method according to the second aspect are recorded using the same, the same or different ultrasound sensors as the training measurement data in the method according to the first aspect.
Das in Schritt b) verwendete neuronale Netz ist gemäß dem Verfahren nach dem ersten Aspekt trainiert worden. The neural network used in step b) has been trained according to the method according to the first aspect.
In Ausführungsformen des Verfahrens nach dem zweiten Aspekt kann in Schritt b) ein zweites trainiertes neuronales Netz auf Ausgabedaten des ersten trainierten neuronalen Netzes angewendet werden, um aus diesen Merkmale zur Definition der Lage der Objektoberflächen zu erzeugen. In embodiments of the method according to the second aspect, in step b), a second trained neural network can be applied to output data of the first trained neural network in order to generate features from these to define the position of the object surfaces.
Die erzeugten Merkmale können beispielsweise geometrische Formen sein. Weiterhin können die Merkmale standardisierte geometrische Formen sein. The features generated can be, for example, geometric shapes. Furthermore, the features can be standardized geometric shapes.
Gemäß einer weiteren Ausführungsform weisen die Merkmale eine Mehrzahl Ellipsen mit zugeordneter Position und/oder Orientierung, Unsicherheit und/oder Typus auf. According to a further embodiment, the features have a plurality of ellipses with an assigned position and/or orientation, uncertainty and/or type.
Demgemäß können die Objektoberflächen durch eine Mehrzahl an Ellipsen beschrieben werden. Einer Objektoberfläche in der Umgebung des Fahrzeugs ist dabei mindestens eine Ellipse zugeordnet. Die Ellipsen beschreiben durch ihre Position, Orientierung, Unsicherheit und/oder Typus die Eigenschaften der Objektoberflächen in der Umgebung des Fahrzeugs. Accordingly, the object surfaces can be described by a plurality of ellipses. There is at least one object surface in the area surrounding the vehicle Ellipse assigned. The ellipses describe the properties of the object surfaces in the area surrounding the vehicle through their position, orientation, uncertainty and/or type.
Gemäß einem dritten Aspekt wird ein Computerprogrammprodukt bereitgestellt, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das vorstehend beschriebene Verfahren nach einem ersten Aspekt oder das vorstehend beschriebene Verfahren nach einem zweiten Aspekt auszuführen. According to a third aspect, a computer program product is provided which comprises instructions which, when the program is executed by a computer, cause the computer to carry out the method described above according to a first aspect or the method described above according to a second aspect.
Ein Computerprogrammprodukt nach einem dritten Aspekt kann beispielsweise auf einem computerlesbaren Speichermedium, wie beispielsweise einer Speicherkarte, USB-Stick, CD- ROM oder DVD bereitgestellt sein. Weiterhin kann das Computerprogrammprodukt auch als herunterladbare Datei von einem Server in einem Netzwerk bereitgestellt sein. Die Übertragung des Computerprogrammprodukts kann beispielsweise in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt erfolgen. A computer program product according to a third aspect can, for example, be provided on a computer-readable storage medium, such as a memory card, USB stick, CD-ROM or DVD. Furthermore, the computer program product can also be provided as a downloadable file from a server in a network. The transmission of the computer program product can take place, for example, in a wireless communication network by transmitting a corresponding file with the computer program product.
Gemäß einem vierten Aspekt wird ein Steuergerät für ein Fahrzeug bereitgestellt, das eine Erfassungs-Einheit zum Erfassen von Ultraschallmessdaten betreffend Objektoberflächen in einer Umgebung des Fahrzeugs, und eine Bestimm-Einheit zum Bestimmen der Lage der Objektoberflächen unter Verwendung eines wie vorstehend beschriebenen trainierten ersten neuronalen Netzes und der erfassten Ultraschallmessdaten aufweist. According to a fourth aspect, a control device for a vehicle is provided, which has a detection unit for detecting ultrasonic measurement data relating to object surfaces in an environment of the vehicle, and a determining unit for determining the position of the object surfaces using a first neural network trained as described above and the recorded ultrasound measurement data.
Das Steuergerät (beispielsweise in Form des zentralen Fahrzeugsteuergeräts bzw. electronic control unit - "ECU") ist insbesondere dazu eingerichtet, das vorstehend beschriebene Computerprogrammprodukt zum Bestimmen einer Lage von Objektoberflächen in einer Umgebung eines Fahrzeugs abzuarbeiten, beispielsweise auf der Prozessor-Einheit des Steuergeräts. Weiterhin umfasst das Steuergerät eine Erfassungs-Einheit, die dazu dient, die von insbesondere fahrzeugeigenen Sensoren erfassten Ultraschallsensordaten zu empfangen. Der Empfang der Ultraschallsensordaten durch die Erfassungs-Einheit kann drahtgebunden und/oder drahtlos erfolgen. Weiterhin kann die Erfassungs-Einheit dazu eingerichtet sein, neben den Ultraschallsensordaten, weitere Sensordaten der Sensoren des Fahrzeugs zu empfangen. The control unit (for example in the form of the central vehicle control unit or electronic control unit - "ECU") is in particular set up to process the computer program product described above for determining a position of object surfaces in the surroundings of a vehicle, for example on the processor unit of the control unit. Furthermore, the control device comprises a detection unit which serves to receive the ultrasonic sensor data detected by, in particular, the vehicle's own sensors. The reception of the ultrasonic sensor data by the detection unit can be wired and/or wirelessly. Furthermore, the detection unit can be set up to receive, in addition to the ultrasonic sensor data, further sensor data from the vehicle's sensors.
Die vorliegend beschriebenen Einheiten, wie etwa die Erfassungs-Einheit, können als Hardware und/oder Software implementiert sein. The units described here, such as the detection unit, can be implemented as hardware and/or software.
Gemäß einem fünften Aspekt wird ein Fahrzeug bereitgestellt, das ein oder mehrere Ultraschallsensoren und ein Steuergerät nach dem vierten Aspekt aufweist. According to a fifth aspect, a vehicle is provided which has one or more ultrasonic sensors and a control device according to the fourth aspect.
Im Folgenden wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf Figuren näher erläutert. The invention is explained in more detail below using preferred embodiments with reference to figures.
Fig. 1 zeigt eine schematische Aufsicht auf ein Fahrzeug mit einem Ultraschallsensor und einem Steuergerät gemäß einem Ausführungsbeispiel; 1 shows a schematic top view of a vehicle with an ultrasonic sensor and a control device according to an exemplary embodiment;
Fig. 2 zeigt eine schematische Darstellung eines Steuergeräts eines Fahrzeugs gemäß einem Ausführungsbeispiel; 2 shows a schematic representation of a control device of a vehicle according to an exemplary embodiment;
Fig. 3 zeigt ein Flussablaufdiagramm eines Verfahrens zum Trainieren eines untrainierten neuronalen Netzes gemäß einem Ausführungsbeispiel; 3 shows a flowchart of a method for training an untrained neural network according to an exemplary embodiment;
Fig. 4 zeigt ein Flussablaufdiagramm eines Verfahrens zum Bestimmen einer Lage von Objektoberflächen in einer Umgebung eines Fahrzeugs in Abhängigkeit von Ultraschallmessdaten; 4 shows a flowchart of a method for determining a position of object surfaces in an environment of a vehicle as a function of ultrasound measurement data;
Fig. 5 zeigt eine schematische Darstellung einer Ellipse zur Beschreibung eines Merkmals zur Definition der Lage der Objektoberflächen; und Fig. 6 zeigt eine schematische Darstellung einer Ultraschallmessung von Ultraschallsensoren eines Fahrzeugs während des Fahrens an einer Objektoberfläche. 5 shows a schematic representation of an ellipse for describing a feature for defining the position of the object surfaces; and Fig. 6 shows a schematic representation of an ultrasound measurement by ultrasonic sensors of a vehicle while driving on an object surface.
Gleiche oder funktionsgleiche Elemente sind in den Figuren, soweit nicht anders angegeben mit denselben Bezugszeichen versehen worden. Identical or functionally identical elements have been given the same reference numerals in the figures, unless otherwise stated.
Fig. 1 zeigt eine schematische Aufsicht auf ein Fahrzeug 1 gemäß einer Ausführungsform. Das Fahrzeug 1 ist in dem in Fig. 1 gezeigten Beispiel ein Kraftfahrzeug, insbesondere ein Personenkraftwagen. 1 shows a schematic top view of a vehicle 1 according to an embodiment. In the example shown in FIG. 1, the vehicle 1 is a motor vehicle, in particular a passenger car.
Das Fahrzeug 1 kann Ultraschallsensoren 2 umfassen, die an verschiedenen Positionen angebracht sein können. Die Ultraschallsensoren 2 können als Teil eines Fahrassistenzsystems ausgebildet sein. The vehicle 1 may include ultrasonic sensors 2, which may be mounted at various positions. The ultrasonic sensors 2 can be designed as part of a driving assistance system.
Das Fahrassistenzsystem ist beispielsweise dazu eingerichtet, einen Abstand des Fahrzeugs 1 zu Objektoberflächen 8 zu bestimmen. Weiterhin kann das Fahrassistenzsystem dazu eingerichtet sein, den bestimmten Abstand dem Fahrer beispielsweise akustisch mitzuteilen und/oder optisch anzuzeigen. The driving assistance system is set up, for example, to determine a distance between the vehicle 1 and object surfaces 8. Furthermore, the driving assistance system can be set up to communicate the specific distance to the driver, for example acoustically and/or display it visually.
Ultraschallmessdaten 10 (Fig. 2), die zur Bestimmung des Abstands des Fahrzeugs 1 von Objektoberflächen 8 benötigt werden, werden durch das Aussenden von Ultraschallwellen 4 mittels der Ultraschallsensoren 2 (hier nur für den in der Figure oberen illustriert) und durch Empfangen von an den Objektoberflächen 8 reflektierten Ultraschallwellen 4 mittels der Ultraschallsensoren 2 generiert. Die so generierten Ultraschallmessdaten 10, werden von dem Ultraschallsensoren 2 drahtlos und/oder drahtgebunden an ein Steuergerät 6 im Fahrzeug 1 übermittelt. Ultrasonic measurement data 10 (FIG. 2), which are required to determine the distance of the vehicle 1 from object surfaces 8, are obtained by emitting ultrasonic waves 4 by means of the ultrasonic sensors 2 (illustrated here only for the one at the top in the figure) and by receiving them Object surfaces 8 reflected ultrasonic waves 4 are generated by means of the ultrasonic sensors 2. The ultrasonic measurement data 10 generated in this way are transmitted wirelessly and/or wired by the ultrasonic sensors 2 to a control device 6 in the vehicle 1.
Das in Fig. 2 dargestellte Steuergerät 6 umfasst eine Prozessor-Einheit 14 (vorliegend auch "Bestimm-Einheit") und eine Speicher-Einheit 16. Das Steuergerät 6 ist - vorzugsweise mit Hilfe einer Software 18, die auf der Speicher-Einheit 16 abgelegt ist und mithilfe der Prozessoreinheit 14 ausgeführt wird - dazu eingerichtet, ein im folgenden beschriebenes Verfahren zum Bestimmen einer Lage von Objektoberflächen 8 in einer Umgebung eines Fahrzeugs 1 in Abhängigkeit der Ultraschallmessdaten 10 auszuführen. Das Steuergerät 6 umfasst ferner eine Erfassungs-Einheit 12 zum Erfassen der Ultraschallmessdaten 10 der insbesondere fahrzeugeignen bzw. in das Fahrzeug fest integrierten Ultraschallsensoren 2. Das Steuergerät 6 kann insbesondere Merkmale 22 zur Definition der Lage von Objektoberflächen 8 in einer Umgebung des Fahrzeugs über eine Ausgabe-Einheit 20 an das Fahrassistenzsystem oder sonstige Systeme des Fahrzeugs 1 ausgeben. The control device 6 shown in FIG. 2 comprises a processor unit 14 (here also “determination unit”) and a memory unit 16. The control device 6 is - preferably with With the help of software 18, which is stored on the memory unit 16 and is executed using the processor unit 14 - set up to carry out a method described below for determining a position of object surfaces 8 in an environment of a vehicle 1 depending on the ultrasound measurement data 10. The control device 6 further comprises a detection unit 12 for detecting the ultrasonic measurement data 10 of the ultrasonic sensors 2, which are in particular vehicle-specific or firmly integrated into the vehicle. The control device 6 can in particular have features 22 for defining the position of object surfaces 8 in an environment of the vehicle via an output -Unit 20 output to the driving assistance system or other systems of vehicle 1.
Fig. 3 zeigt ein Flussablaufdiagramm eines ersten Ausführungsbeispiels eines Verfahrens zum Trainieren eines neuronalen Netzes für ein Bestimmen einer Lage von Objektoberflächen in einer Umgebung eines Fahrzeugs in Abhängigkeit von Ultraschallmessdaten. 3 shows a flowchart of a first exemplary embodiment of a method for training a neural network for determining a position of object surfaces in an environment of a vehicle as a function of ultrasound measurement data.
Typischerweise wird das Training bereits vor der Fertigstellung des Fahrzeugs 1 durchgeführt. Dazu kann beispielsweise ein Testfahrzeug 1' verwendet werden. Das Testfahrzeug 1' kann dasselbe, das gleiche oder ein anderes Fahrzeug wie das Fahrzeug 1 sein. Das Testfahrzeug 1' kann weiterhin mindestens einen, jedoch bevorzugt mehrere Ultraschallsensoren 2 und beispielsweise mindestens einen Lidarsensor (nicht gezeigt) umfassen. Typically, the training is carried out before the vehicle 1 is completed. For example, a test vehicle 1' can be used for this purpose. The test vehicle 1 'can be the same, the same or a different vehicle as the vehicle 1. The test vehicle 1′ can further comprise at least one, but preferably several, ultrasonic sensors 2 and, for example, at least one lidar sensor (not shown).
Das mit dem Testfahrzeug 1' trainierte neuronale Netz kann beispielsweise am Ende der Fertigungslinie auf das Steuergerät 6 des auf der Fertigungslinie hergestellten Fahrzeugs 1 aufgespielt werden. Das Training kann fahrzeugtypenspezifisch erfolgen. The neural network trained with the test vehicle 1 'can, for example, be uploaded to the control unit 6 of the vehicle 1 produced on the production line at the end of the production line. The training can be specific to the vehicle type.
In einem ersten Schritt S1 des Verfahrens wird mithilfe der Ultraschallsensoren 2 des Testfahrzeugs 1' ein Trainingsmessdatensatz, der Ultraschallmessdaten von Objektoberflächen 8 der Objekte in der Umgebung des Testfahrzeugs 1 ' enthält, bereitgestellt. Der Trainingsmessdatensatz kann beispielsweise die Signallaufzeit eines jeweiligen Ultraschallsignals, die aktuelle Position des sendenden und/oder empfangenen Ultraschallsensors 2, den Zeitstempel eines jeweiligen Ultraschallsignals und/oder eine Information darüber, welcher von den mehreren Ultraschallsensoren 2 das jeweilige Ultraschallsignal gesendet oder empfangen hat, umfassen. In a first step S1 of the method, a training measurement data set containing ultrasonic measurement data from object surfaces 8 of the objects in the surroundings of the test vehicle 1' is provided using the ultrasonic sensors 2 of the test vehicle 1'. The training measurement data set can, for example, be the signal transit time of a respective ultrasonic signal, the current position of the transmitting and/or received ultrasonic sensor 2, the time stamp of a respective ultrasonic signal and/or information about which of the several ultrasonic sensors 2 have sent or received the respective ultrasonic signal.
In einem zweiten Schritt S2 des Verfahrens wird ein Referenzdatensatz bereitgestellt, der die Objektoberflächen im Hinblick auf ihre Lage beschreibt. Der Referenzdatensatz kann beispielsweise ebenfalls mithilfe des Testfahrzeugs 1 ' erfasst werden. Der Referenzdatensatz kann beispielsweise mit Lidarsensoren oder anderen hochauflösenden Sensoren erfasst werden. Dazu kann ein Sensor verwendet werden, der nur für die Erfassung des Referenzdatensatzes an dem Testfahrzeug 1' angebracht wird. Es ist allerdings auch denkbar, dass ein fahrzeugeigener Sensor zur Erstellung des Referenzdatensatzes verwendet wird. In a second step S2 of the method, a reference data set is provided which describes the object surfaces with regard to their position. The reference data set can, for example, also be recorded using the test vehicle 1 '. The reference data set can be recorded, for example, with lidar sensors or other high-resolution sensors. For this purpose, a sensor can be used, which is attached to the test vehicle 1 'only to record the reference data set. However, it is also conceivable that an on-board sensor is used to create the reference data set.
Der in S2 bereitgestellte Referenzdatensatz beschreibt dieselben Objektoberflächen 8 der Objekte in der Umgebung des Fahrzeugs 1 wie der in S1 bereitgestellte Trainingsmessdatensatz, allerdings mit höherer Genauigkeit. Letztlich entspricht der Referenzdatensatz beispielsweise einer genauen Kartierung der Objektoberflächen. Die Information über die Objektoberflächen 8 ist aus dem Trainingsdatensatz erst noch in geeigneter Weise zu extrahieren, wofür das neuronale Netz entsprechend trainiert wird, wie in Zusammenhang mit Schritt S3 erläutert. The reference data set provided in S2 describes the same object surfaces 8 of the objects in the surroundings of the vehicle 1 as the training measurement data set provided in S1, but with higher accuracy. Ultimately, the reference data set corresponds, for example, to an accurate mapping of the object surfaces. The information about the object surfaces 8 has yet to be extracted from the training data set in a suitable manner, for which the neural network is trained accordingly, as explained in connection with step S3.
In einem optionalen Schritt S3 wird ein Trackingverfahren auf den in Schritt S1 erfassten Trainingsmessdatensatz angewendet. Durch die Anwendung des Trackingverfahrens in Schritt S3 können mehrere Ultraschallmessungen, die zu unterschiedlichen Zeitpunkten erfasst werden, zueinander in Bezug gesetzt werden. Dies in Form sogenannter Assoziationen bzw. verpasster Assoziationen innerhalb der Ultraschallmessungen. Das Trackingverfahren basiert beispielsweise auf einem Kalman-Filter und weist insbesondere ein definierte Zykluszeit (Trackinggeschwindigkeit) auf. Im Ergebnis können dadurch Datenpunkte innerhalb des Trainingsdatensatzes verbessert, hinzugefügt und/oder eliminiert werden. In an optional step S3, a tracking method is applied to the training measurement data set recorded in step S1. By using the tracking method in step S3, several ultrasound measurements that are recorded at different times can be related to one another. This takes the form of so-called associations or missed associations within the ultrasound measurements. The tracking method is based, for example, on a Kalman filter and in particular has a defined cycle time (tracking speed). As a result, data points within the training data set can be improved, added and/or eliminated.
In einem Schritt S4 des Verfahrens wird das untrainierte erste neuronale Netz trainiert. Das Training des untrainierten neuronalen Netzes erfolgt über wenigstens einen Iterationsschritt. Dabei werden die ggf. mithilfe des Trackingverfahrens gemäß Schritt S3 verbesserten Trainingsdaten in das neuronale Netz eingegeben und das von dem neuronalen Netz ausgegebene Ergebnis mit dem Referenzdatensatz abgeglichen. Aus dem Abgleich und der Abweichung zwischen Ausgabe und Referenzdatensatz wird die Gewichtung innerhalb des neuronalen Netzes angepasst. Die Ausgabegröße des neuronalen Netzes ist dabei die Lage der Objektoberflächen 8 in einer Umgebung des Fahrzeugs. In a step S4 of the method, the untrained first neural network is trained. The training of the untrained neural network takes place over at least one iteration step. The training data, which may have been improved using the tracking method according to step S3, are entered into the neural network and the result output by the neural network is compared with the reference data set. The weighting within the neural network is adjusted based on the comparison and the deviation between the output and the reference data set. The output variable of the neural network is the position of the object surfaces 8 in an environment of the vehicle.
In Varianten des Verfahrens können weitere Eingabegrößen, wie beispielsweise die Fahrzeuggeschwindigkeit bei der Erfassung der Ultraschallmessdaten 10, die Trackinggeschwindigkeit und/oder ein Signal-Rausch-Verhältnis bei der Erfassung der Ultraschallmessdaten 10, an das erste untrainierte bzw. teilweise trainierte neuronale Netz bereitgestellt werden. In variants of the method, further input variables, such as the vehicle speed when acquiring the ultrasonic measurement data 10, the tracking speed and/or a signal-to-noise ratio when acquiring the ultrasonic measurement data 10, can be provided to the first untrained or partially trained neural network.
Das Training des neuronalen Netzes ist beendet, wenn die Abweichung der Ausgabe des neuronalen Netzes und dem Referenzdatensatz einen vorgegebenen Schwellwert unterschreitet bzw. die Objektoberflächen 8 hinreichend genau angenähert werden. The training of the neural network is completed when the deviation of the output of the neural network and the reference data set falls below a predetermined threshold value or the object surfaces 8 are approximated with sufficient accuracy.
Fig. 4 zeigt ein Verfahren zum Bestimmen einer Lage von Objektoberflächen 8 in einer Umgebung des Fahrzeugs 1 mit Hilfe von zwei trainierten neuronalen Netzen 24, 26. Die trainierten neuronalen Netze 24, 26 sind beispielsweise als Software 18 auf der Speicher-Einheit 16 des Steuergeräts 6 ausgebildet. 4 shows a method for determining a position of object surfaces 8 in an environment of the vehicle 1 with the aid of two trained neural networks 24, 26. The trained neural networks 24, 26 are, for example, as software 18 on the memory unit 16 of the control device 6 trained.
Ultraschallmessdaten 10, die mithilfe der Ultraschallsensoren 2 des Fahrzeugs 1 erfasst werden, werden mit dem Trackingverfahren S3 mithilfe eines Trackingalgorithmus 28 analysiert. Die Daten aus dem Trackingverfahren und ggf. zusätzlich die Ultraschallmessdaten 10 als solche (je nach Ausgabe des Trackingalgorithmus 28) werden in das erste trainierte neuronale Netz 24 eingegeben. Die Ausgabe des ersten trainierten neuronalen Netzes 24 ist die Lage der Objektoberflächen 8 der Objekte in der Umgebung des Fahrzeugs 1 . Die Ausgabe des ersten neuronalen Netzes 24 ist die Eingabe in das zweite trainierte neuronale Netz 26. Anhand der Eingabedaten bestimmt das zweite trainierte neuronale Netz 26 Merkmale 22 zur Definition der Lage von Objektoberflächen 8. Ultrasonic measurement data 10, which are recorded using the ultrasonic sensors 2 of the vehicle 1, are analyzed using the tracking method S3 using a tracking algorithm 28. The data from the tracking method and possibly additionally the ultrasound measurement data 10 as such (depending on the output of the tracking algorithm 28) are entered into the first trained neural network 24. The output of the first trained neural network 24 is the position of the object surfaces 8 of the objects in the environment of the vehicle 1. The output of the first neural network 24 is the input into the second trained neural network 26. Based on the input data, the second trained neural network 26 determines features 22 for defining the position of object surfaces 8.
Fig. 5 zeigt ein Merkmal 22 zur Definition der Lage der Objektoberflächen 8. In Fig. 5 ist das Merkmal zur Definition der Lage der Objektoberflächen 22 beispielhaft als Ellipse dargestellt. Das Merkmal zur Definition der Lage der Objektoberflächen 22 kann allerdings auch eine andere geometrische Form sein. 5 shows a feature 22 for defining the position of the object surfaces 8. In FIG. 5, the feature for defining the position of the object surfaces 22 is shown as an example as an ellipse. However, the feature for defining the position of the object surfaces 22 can also be a different geometric shape.
Die in Fig. 5 gezeigte Ellipse beschreibt die Lage der Objektoberfläche 8 eines Objekts in der Umgebung des Fahrzeugs 1 durch ihre Position und ihren Winkel. Ihre Achsen beschreiben dabei die Unsicherheit der Lage der Objektoberfläche. The ellipse shown in FIG. 5 describes the position of the object surface 8 of an object in the surroundings of the vehicle 1 by its position and its angle. Their axes describe the uncertainty of the position of the object surface.
Fig. 6 zeigt eine schematische Darstellung einer Ultraschallmessung des Fahrzeugs 1 an einer Objektoberfläche 8 in der Umgebung des Fahrzeugs 1 . 6 shows a schematic representation of an ultrasound measurement of the vehicle 1 on an object surface 8 in the surroundings of the vehicle 1.
Das Fahrzeug 1 fährt entlang der Pfeilrichtung an einer Objektoberfläche 8 entlang. Dabei sendet ein Ultraschallsensor 2 Ultraschallwellen 4 aus. Diese werden von der Objektoberfläche 8 reflektiert. Die so erhaltenen Ultraschallmessdaten 10 werden von den Ultraschallsensoren 2 ausgewertet und an das Steuergerät 6 übermittelt. The vehicle 1 travels along an object surface 8 in the direction of the arrow. An ultrasonic sensor 2 emits ultrasonic waves 4. These are reflected by the object surface 8. The ultrasonic measurement data 10 obtained in this way are evaluated by the ultrasonic sensors 2 and transmitted to the control device 6.
Auf der Speicher-Einheit 16 des Steuergeräts 6 ist die Software 18 abgelegt, die die empfangenen Ultraschallmessdaten 10 nach dem in Fig. 4 gezeigten Schema auswertet. Dabei werden zwei trainierte neuronale Netze 24, 26 verwendet. The software 18, which evaluates the received ultrasound measurement data 10 according to the scheme shown in FIG. 4, is stored on the memory unit 16 of the control device 6. Two trained neural networks 24, 26 are used.
Die Ausgabegröße der Auswertung nach dem Schema in Fig. 4 sind die Merkmale 22 (hier Ellipsen) zur Definition der Lage der Objektoberflächen 8. The output size of the evaluation according to the scheme in FIG. 4 are the features 22 (here ellipses) for defining the position of the object surfaces 8.
Fig. 6 zeigt, wie zwei beispielhafte Ellipsen 22, 22' den Verlauf einer Objektoberfläche 8 beschreiben. Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar. 6 shows how two exemplary ellipses 22, 22 'describe the course of an object surface 8. Although the present invention has been described using exemplary embodiments, it can be modified in many ways.
BEZUGSZEICHENLISTE REFERENCE SYMBOL LIST
1 Fahrzeug 1 vehicle
1' Testfahrzeug 1' test vehicle
2 Ultraschallsensor 2 ultrasonic sensor
4 Ultraschallwellen 4 ultrasonic waves
6 Steuergerät 6 control unit
8 Objektoberflächen 8 object surfaces
10 Ultraschallmessdaten 10 ultrasound measurement data
12 Erfassungs-Einheit 12 detection unit
14 Prozessor-Einheit 14 processor unit
16 Speicher-Einheit 16 storage unit
18 Software 18 software
20 Ausgabeeinheit 20 output unit
22 Merkmal 22 feature
24 erstes trainiertes neuronales Netz 24 first trained neural network
26 zweites trainiertes neuronales Netz 26 second trained neural network
28 Trackingalgorithmus 28 tracking algorithm
S1-S4 Verfahrensschritte S1-S4 procedural steps

Claims

PATENTANSPRÜCHE PATENT CLAIMS
1. Verfahren zum Trainieren eines neuronalen Netzes für ein Bestimmen einer Lage von1. Method for training a neural network to determine a location of
Objektoberflächen (8) in einer Umgebung eines Fahrzeugs (1 ) in Abhängigkeit von Ultraschallmessdaten (10), mit den Schritten: a) Bereitstellen eines Trainingsmessdatensatzes umfassend UltraschallmessdatenObject surfaces (8) in an environment of a vehicle (1) as a function of ultrasound measurement data (10), with the steps: a) providing a training measurement data set comprising ultrasound measurement data
(10) betreffend Objektoberflächen (8) in einer Umgebung eines Fahrzeugs (1); b) Bereitstellen eines Referenzdatensatzes, welcher die Objektoberflächen (8) im Hinblick auf ihre Lage beschreibt; und c) Trainieren eines neuronalen Netzes in Abhängigkeit des Trainingsmessdatensatzes und des Referenzdatensatzes. (10) relating to object surfaces (8) in an environment of a vehicle (1); b) providing a reference data set which describes the object surfaces (8) with regard to their position; and c) training a neural network depending on the training measurement data set and the reference data set.
2. Verfahren nach Anspruch 1 , wobei der Trainingsmessdatensatz Ultraschallmessdaten (10) aufweist, die zu unterschiedlichen Zeitpunkten erfasst werden, wobei Trackingdaten mithilfe eines Trackingverfahrens in Abhängigkeit der zu unterschiedlichen Zeitpunkten erfassten Ultraschallmessdaten (10) erzeugt werden, wobei das Trainieren des neuronalen Netzes in Schritt c) ferner in Abhängigkeit der Trackingdaten erfolgt. 2. The method according to claim 1, wherein the training measurement data set has ultrasound measurement data (10) which are recorded at different times, tracking data being generated using a tracking method depending on the ultrasound measurement data (10) recorded at different times, training the neural network in step c) also depends on the tracking data.
3. Verfahren nach Anspruch 2, wobei das Trackingverfahren einen Kalman-Filter aufweist. 3. The method according to claim 2, wherein the tracking method has a Kalman filter.
4. Verfahren nach Anspruch 2 oder 3, wobei das Trainieren des neuronalen Netzes in Schritt c) ferner in Abhängigkeit einer Trackinggeschwindigkeit erfolgt. 4. The method according to claim 2 or 3, wherein the training of the neural network in step c) also takes place as a function of a tracking speed.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Fahrzeuggeschwindigkeit beim Erfassen der Ultraschallmessdaten (10) bestimmt wird, wobei das Trainieren des neuronalen Netzes in Schritt c) ferner in Abhängigkeit der Fahrzeuggeschwindigkeit erfolgt. 5. The method according to any one of the preceding claims, wherein the vehicle speed is determined when acquiring the ultrasound measurement data (10), the training of the neural network in step c) also taking place as a function of the vehicle speed.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei ein Signal-Rausch-Verhältnis beim Erfassen der Ultraschallmessdaten (10) bestimmt wird, wobei das Trainieren des neuronalen Netzes in Schritt c) ferner in Abhängigkeit des Signal-Rausch-Verhältnisses erfolgt. 6. The method according to any one of the preceding claims, wherein a signal-to-noise ratio is determined when acquiring the ultrasound measurement data (10), the training of the neural network in step c) also taking place as a function of the signal-to-noise ratio.
7. Verfahren zum Bestimmen einer Lage von Objektoberflächen (8) in einer Umgebung eines Fahrzeugs (1) in Abhängigkeit von Ultraschallmessdaten (10), mit den Schritten: a) Erfassen von Ultraschallmessdaten (10) betreffend Objektoberflächen (8) in einer Umgebung des Fahrzeugs (1); und b) Bestimmen der Lage der Objektoberflächen (8) unter Verwendung eines gemäß einem der vorhergehenden Ansprüche trainierten ersten neuronalen Netzes (24) und der erfassten Ultraschallmessdaten (10). 7. Method for determining a position of object surfaces (8) in an environment of a vehicle (1) as a function of ultrasonic measurement data (10), with the steps: a) acquiring ultrasonic measurement data (10) relating to object surfaces (8) in an environment of the vehicle (1); and b) determining the position of the object surfaces (8) using a first neural network (24) trained according to one of the preceding claims and the recorded ultrasound measurement data (10).
8. Verfahren nach Anspruch 7, wobei in Schritt b) ein zweites trainiertes neuronales Netz (26) auf Ausgabedaten des ersten trainierten neuronalen Netzes (24) angewendet wird, um aus diesen Merkmale zur Definition der Lage der Objektoberflächen (22) zu erzeugen. 8. The method according to claim 7, wherein in step b) a second trained neural network (26) is applied to output data of the first trained neural network (24) in order to generate features from these to define the position of the object surfaces (22).
9. Verfahren nach Anspruch 8, wobei die Merkmale eine Mehrzahl Ellipsen mit zugeordneter Position und/oder Orientierung, Unsicherheit und/oder Typus aufweisen. 9. The method according to claim 8, wherein the features have a plurality of ellipses with associated position and/or orientation, uncertainty and/or type.
10. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der vorhergehenden Ansprüche auszuführen. 10. Computer program product, comprising instructions which, when the program is executed by a computer, cause it to carry out the method according to one of the preceding claims.
11 . Steuergerät (6) für ein Fahrzeug (1 ), aufweisend: eine Erfassungs-Einheit (12) zum Erfassen von Ultraschallmessdaten (10) betreffend Objektoberflächen (8) in einer Umgebung des Fahrzeugs; und eine Bestimm-Einheit (14) zum Bestimmen der Lage der Objektoberflächen (8) unter Verwendung eines gemäß einem der Ansprüche 1 - 6 trainierten ersten neuronalen Netzes (24) und der erfassten Ultraschallmessdaten (10). Fahrzeug (1), aufweisend: ein oder mehrere Ultraschallsensoren (2); und ein Steuergerät (6) nach Anspruch 11 . 11. Control device (6) for a vehicle (1), comprising: a detection unit (12) for detecting ultrasonic measurement data (10) relating to object surfaces (8) in an environment of the vehicle; and a determination unit (14) for determining the position of the object surfaces (8) using a first neural network (24) trained according to one of claims 1 - 6 and the recorded ultrasound measurement data (10). Vehicle (1), comprising: one or more ultrasonic sensors (2); and a control device (6) according to claim 11.
PCT/EP2023/068312 2022-07-12 2023-07-04 Method for training a neural network WO2024012928A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022117277.5 2022-07-12
DE102022117277.5A DE102022117277A1 (en) 2022-07-12 2022-07-12 METHOD FOR TRAINING A NEURONAL NETWORK

Publications (1)

Publication Number Publication Date
WO2024012928A1 true WO2024012928A1 (en) 2024-01-18

Family

ID=87136136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/068312 WO2024012928A1 (en) 2022-07-12 2023-07-04 Method for training a neural network

Country Status (2)

Country Link
DE (1) DE102022117277A1 (en)
WO (1) WO2024012928A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117740652A (en) * 2024-02-19 2024-03-22 中国地质大学（武汉） Method and system for rapidly determining sand penetration coefficient of vegetation porous concrete

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017157483A1 (en) * 2016-03-18 2017-09-21 Valeo Schalter Und Sensoren Gmbh Method for improving detection of at least one object in an environment of a motor vehicle by means of an indirect measurement using sensors, control device, driver assistance system, and motor vehicle
DE102018128535A1 (en) * 2018-11-14 2020-05-14 Valeo Schalter Und Sensoren Gmbh Training an artificial neural network with data captured by sensors of a vehicle
DE102019106204A1 (en) * 2019-03-12 2020-09-17 Elmos Semiconductor Se Decompression of ultrasonic signals that have been compressed using signal object classes
DE102020212861A1 (en) * 2020-10-12 2022-04-14 Robert Bosch Gesellschaft mit beschränkter Haftung Method for detecting and tracking an object using a sensor device
DE102020215773A1 (en) * 2020-12-14 2022-06-15 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for detecting objects in sensor data from an ultrasonic sensor system in a vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017157483A1 (en) * 2016-03-18 2017-09-21 Valeo Schalter Und Sensoren Gmbh Method for improving detection of at least one object in an environment of a motor vehicle by means of an indirect measurement using sensors, control device, driver assistance system, and motor vehicle
DE102018128535A1 (en) * 2018-11-14 2020-05-14 Valeo Schalter Und Sensoren Gmbh Training an artificial neural network with data captured by sensors of a vehicle
DE102019106204A1 (en) * 2019-03-12 2020-09-17 Elmos Semiconductor Se Decompression of ultrasonic signals that have been compressed using signal object classes
DE102020212861A1 (en) * 2020-10-12 2022-04-14 Robert Bosch Gesellschaft mit beschränkter Haftung Method for detecting and tracking an object using a sensor device
DE102020215773A1 (en) * 2020-12-14 2022-06-15 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for detecting objects in sensor data from an ultrasonic sensor system in a vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117740652A (en) * 2024-02-19 2024-03-22 中国地质大学（武汉） Method and system for rapidly determining sand penetration coefficient of vegetation porous concrete
CN117740652B (en) * 2024-02-19 2024-05-10 中国地质大学（武汉） Method and system for rapidly determining sand penetration coefficient of vegetation porous concrete

Also Published As

Publication number Publication date
DE102022117277A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
DE102018120789A1 (en) Method and device for monitoring an autonomous vehicle
WO2020216559A1 (en) Method for detecting a functionality of an environment sensor, control device and vehicle
WO2015139864A1 (en) Method and device for operating a vehicle
DE102016219455A1 (en) Motor vehicle, method and active infrastructure for checking an environment detection of a motor vehicle
EP3430423B1 (en) Method for improving detection of at least one object in an environment of a motor vehicle by means of an indirect measurement using sensors, control device, driver assistance system, and motor vehicle
DE102014106506A1 (en) Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle
DE102021128041A1 (en) IMPROVEMENT OF A VEHICLE NEURAL NETWORK
DE102016215541A1 (en) Testing an autonomously controllable motor vehicle
DE102014116014A1 (en) Method for operating a driver assistance system of a motor vehicle, driver assistance system and motor vehicle
WO2024012928A1 (en) Method for training a neural network
DE102008045618A1 (en) Method for calibrating sensors of vehicle, involves detecting sensor positioning data by calibrating sensor during drive of vehicle, and determining model positioning data
DE102018007960A1 (en) Method for matching map material with a detected environment of a vehicle, control device configured to carry out such a method, and vehicle having such a control device
DE102017201796A1 (en) Control device for determining a self-motion of a motor vehicle and motor vehicle and method for providing the control device
DE112020000325T5 (en) Estimation of trailer properties with vehicle sensors
WO2019211293A1 (en) Method for operating a driver assistance system of an ego vehicle having at least one surroundings sensor for detecting the surroundings of the ego vehicle, computer readable medium, system and vehicle
DE102018217000A1 (en) Process, computer program and measuring system for the evaluation of movement information
EP3673234A1 (en) Method and device for determining a highly precise position and for operating an automated vehicle
DE102018107819A1 (en) Method for operating an ultrasonic sensor of a motor vehicle with determination of a propagation velocity of the ultrasonic signal on the basis of distance data of a reference system and device
DE102019211006B4 (en) Evaluation of sensor data from a vehicle
DE102019126276A1 (en) Method for detecting at least one object in an area surrounding a vehicle by assigning object points, computing device and ultrasonic sensor device
DE102021100794A1 (en) Method for processing measurement data from an environment sensor of a vehicle with compensation for vehicle data affected by latency, computing device and computer program
DE102019128686A1 (en) Method and device for determining movement information in relation to an object
WO2019029969A1 (en) Sensor-controlled adjustment of odometric measurement parameters to weather conditions
DE102019207034B3 (en) Method and device for fusing a plurality of measurement signals from an ultrasonic sensor of a means of transportation
DE102019214345B4 (en) Method for detecting misalignment of at least one sensor of a motor vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23738023

Country of ref document: EP

Kind code of ref document: A1