EP4655611A1 - Verfahren zum überprüfen eines künstlichen neuronalen netzwerks zum auswerten von mittels eines sensors erfassten echos für ein kraftfahrzeug - Google Patents

Verfahren zum überprüfen eines künstlichen neuronalen netzwerks zum auswerten von mittels eines sensors erfassten echos für ein kraftfahrzeug

Info

Publication number
EP4655611A1
EP4655611A1 EP24700996.2A EP24700996A EP4655611A1 EP 4655611 A1 EP4655611 A1 EP 4655611A1 EP 24700996 A EP24700996 A EP 24700996A EP 4655611 A1 EP4655611 A1 EP 4655611A1
Authority
EP
European Patent Office
Prior art keywords
neural network
artificial neural
result information
sensor
motor vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24700996.2A
Other languages
English (en)
French (fr)
Inventor
Heinrich Gotzig
Mohamed Elamir Mohamed
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP4655611A1 publication Critical patent/EP4655611A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/10—Systems for measuring distance only using transmission of interrupted, pulse modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G01S15/10—Systems for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4021—Means for monitoring or calibrating of parts of a radar system of receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Definitions

  • the invention relates to a method for checking an artificial neural network for evaluating echoes detected by a sensor for a motor vehicle.
  • the invention also relates to a motor vehicle with a sensor, a control device for a motor vehicle and a computer program product for carrying out such a method.
  • a motor vehicle can have at least one sensor, the measuring principle of which is based on the sensor emitting at least one pulse or impulse into an environment of the sensor and then detecting an echo that was created, for example, when the pulse was reflected from an object in the environment.
  • An ultrasonic sensor, a radar device and/or a LIDAR device are based on such a pulse-emitting measuring principle.
  • the echo detected and provided by the sensor can be evaluated, for example to classify the object in the environment.
  • the evaluation can be based on machine learning methods, in particular on an artificial neural network.
  • the result of the evaluation can then be provided, for example, to a function of the motor vehicle, such as a driver assistance system for at least partially automatic, in particular fully automatic, control of the motor vehicle.
  • DE 10 2019 218 349 A1 shows a method for classifying at least one ultrasonic echo from echo signals.
  • a classified echo image is generated on the basis of received echo signals using a trained neural encoder-decoder network and an input matrix formed from a plurality of detected echo signals.
  • the object of the invention to provide a solution by means of which an evaluation of an echo, which was carried out by means of an artificial neural network, can be reliably checked.
  • a first aspect of the invention relates to a method for checking an artificial neural network for evaluating echoes detected by a sensor for a motor vehicle.
  • the sensor is, for example, an ultrasonic sensor.
  • the sensor can be a radar device and/or a LIDAR device.
  • the artificial neural network can be any neural network that has been trained at least to classify the data provided to it in connection with a motor vehicle-related task.
  • the data provided to it describes at least one echo detected by the sensor that was received by the sensor from an environment of the sensor and thus detected.
  • the environment of the sensor preferably corresponds to at least part of an environment of the motor vehicle in which the sensor is arranged.
  • Known methods for training and for designing a structure of the artificial neural network can be used.
  • the method comprises using the sensor to emit at least two pulses that differ from one another in at least one characteristic.
  • the ultrasonic sensor as the sensor, for example, at least two ultrasonic pulses are emitted by the ultrasonic sensor.
  • numerous pulses are emitted one after the other, i.e. more than two pulses.
  • a pulse can be emitted by the sensor.
  • a pulse can therefore alternatively or additionally be understood as a pulse.
  • the pulse is generated by the sensor.
  • the emitted pulses can differ from one another in terms of a frequency as a characteristic, for example.
  • a first pulse to be emitted at 50 kilohertz and then a second pulse at, for example, 52 kilohertz.
  • a second pulse at, for example, 52 kilohertz.
  • the senor is used to detect a respective echo for the respective emitted pulse. If, for example, the respective pulse is reflected by an object in the vicinity of the sensor, a corresponding An echo signal is sent back, which is referred to here as the detected echo. For example, if exactly two pulses are sent, two echoes are detected, one for the first pulse and one for the second pulse. The more pulses are sent, the more respective echoes are detected.
  • the method also includes checking whether the determined result information describes the same result. Only if this is the case, i.e. only if the determined result information describes the same result, is an evaluation of the echo recorded by the sensor using the artificial neural network assessed as reliable. It is therefore ultimately proposed to artificially vary the emitted pulses in order to be able to compare the results of the respective echoes with one another in order to check the reliability of the evaluation using the artificial neural network. Since noise occurs statistically, but the recorded echo is always a function of the emitted pulse, noise can be easily recognized as such.
  • the determined result information agrees with one another, this can be seen as proof that the results of the artificial neural network are reliable, regardless of, for example, ambient noise and/or another noise source.
  • the Ambient noise or the other noise source can be located in a certain frequency range, for example, so that by varying the characteristics of the pulse when evaluating the echoes, it can be determined whether a received echo is mainly or exclusively due to the noise or whether it contains information about the sensor's surroundings. An evaluation of the respective echo, which was carried out using the artificial neural network, is therefore reliably checked.
  • the determined result information is only provided to at least one function of the motor vehicle if the evaluation by means of the artificial neural network is assessed as reliable.
  • it is provided to a driver assistance system as a function. It is then possible, for example, to take the result information into account in operating a driver assistance system of the motor vehicle that is designed for at least partially automatic, in particular fully automatic, driving and can, for example, control at least a longitudinal and/or transverse guidance of the motor vehicle.
  • the function can, for example, rely on the classification provided by the artificial neural network and regard this as reliably correct information that it can, for example, use for its application. This ensures that only truly reliable evaluations can influence other functions of the vehicle.
  • the at least one feature in which the emitted pulses differ from one another is one of the following features: a pulse duration, a frequency, a shape and/or a code impressed on the pulse.
  • the pulse duration can be varied, for example, in such a way that the pulse duration of the first pulse, which is, for example, 50 microseconds, is doubled, so that the second pulse has, for example, a pulse duration of 100 microseconds.
  • a doubling of the pulse duration or the same pulse duration interval as between the first two pulses can also be selected, i.e. a third pulse could have a pulse duration of 200 microseconds or 150 microseconds in this example.
  • a frequency change can be specified in, for example, steps of one to two kilohertz between the individual pulses.
  • a width of the pulse can be changed, in particular deformed.
  • specified information in the form of a code can be impressed on the pulse.
  • a sweep can be varied, that is, a sampling rate that specifies, for example, frequency and/or pulse duration differences in which pulses varied over a frequency range or pulse duration range are emitted.
  • the sweep can specify that a certain number of further pulses are emitted, with an individual deviation from an initial pulse being specified for each of the further pulses. The deviations between any two of the further pulses are preferably always the same size.
  • a preferred embodiment provides that an F-measure is determined for the respective result information and it is checked whether the determined F-measure is smaller than a minimum value. If this is the case, at least one further pulse is sent out which differs in at least one feature from the at least two pulses sent out so far.
  • the result information is also determined and checked for the echo recorded for the further pulse. During the check, it is checked whether the result information determined for the further recorded echo describes the same result as the result information that was determined for the echoes recorded previously after the at least two pulses were sent out.
  • the F-measure is in particular an F1 measure. The F-measure provides a way of evaluating a measured value.
  • the F-measure is, for example, the harmonic mean of accuracy and hit rate, with the accuracy and hit rate being equally weighted in the F1 measure.
  • the F-measure is typically dependent on a signal-to-noise ratio of the echo.
  • the F-measure is therefore a measure of the reliability of the artificial neural network. If a classification, i.e. the result information determined by means of the artificial neural network, is correct, the F-measure and in particular the F1-measure is exactly 1. However, if the F-measure, in particular the F1-measure, is not equal to 1, for example less than 1, this indicates that the result information is not completely trustworthy.
  • the F-measure in particular the F1-measure, is not sufficiently high, new pulses are sent out and consequently the number of evaluated echoes is increased.
  • the minimum value specified for this can be 0.9, for example. A larger or smaller minimum value is possible.
  • the fact that at least one further pulse is sent out is based on the observation that a measurement result and in particular, a signal-to-noise ratio of a measurement can be improved by a factor that corresponds to the square root of the number of measurements performed. If the number of measurements is increased, the error and thus the noise is reduced. For this reason, depending on the F-measure, it can be determined whether further echoes should be evaluated or whether sufficient echoes have already been evaluated.
  • the F-measure is typically determined by the artificial neural network, so that this measure can be determined and evaluated with little effort.
  • the entire measurement is always carried out again, i.e. the previously detected echoes are discarded and the pulses are re-emitted, with the number of pulses being increased compared to before.
  • the described method for determining the reliability of the evaluation is then carried out with the newly detected echoes for the newly transmitted pulses. In other words, the testing of the artificial neural network can be repeated with a new measurement with the increased number of transmitted pulses.
  • an embodiment can provide that the artificial neural network has been trained to solve several tasks. For example, it can have been trained on two, three or even more different tasks.
  • the result information is determined and checked for each of the several tasks. This means that for each task it is checked whether the respective result information for the several echoes all describe the same result or not. If it is determined during the check for at least one of the several tasks that the determined result information does not describe the same result, the check is carried out again, with a larger number of pulses being sent out for the renewed check than before. If the results for at least one of the tasks indicate that the relevant evaluation by means of the artificial neural network was not reliable enough, the entire method is preferably carried out again, i.e.
  • Another embodiment provides that the checking of the artificial neural network is repeated in predetermined time periods during an activated state of the sensor.
  • the predetermined time periods are, for example, 1 minute, 2 minutes, 3 minutes, 5 minutes or in particular 10 minutes. Longer or shorter time intervals and in particular time intervals between the above are possible. It can therefore be provided that during operation of the motor vehicle, in which echoes are received and evaluated by means of the sensor and in which, for example, the function of the motor vehicle is active on the basis of the echoes provided, a variation of at least two pulses is repeatedly carried out, for example once per minute, and evaluated according to the method described above in order to check whether the artificial neural network continues to deliver reliable results. This can provide an additional safety check, in particular for the function of the vehicle designed for at least partially automatic driving.
  • the predetermined time interval between two checks depends on the current speed of the motor vehicle in which the sensor is arranged.
  • the artificial neural network is checked at shorter time intervals compared to a journey at a low speed compared to a journey on the highway, for example when driving in an inner-city area or on a country road. It is assumed here that at a high speed of the motor vehicle, an even greater reliability of the artificial neural network is required compared to a lower speed, in particular if the motor vehicle is controlled at least partially automatically based on the echoes detected by the sensor. For this reason, the frequency of the check is predetermined depending on the current journey and thus the speed. This can also save resources, since the checks are only carried out at short time intervals in situations where it is particularly relevant and otherwise at longer time intervals.
  • the speed of the motor vehicle can be recorded and provided, for example, by means of a speed sensor of the motor vehicle.
  • the respective result information at least describes whether the detected echo is real or noise.
  • a first task of the artificial neural network can therefore be to classify whether an echo or noise is present.
  • the artificial neural network can therefore have been trained to distinguish between recorded data that is typical of noise and recorded data that describes an echo of a transmitted pulse. It is assumed here that the noise is received by the sensor in the same way as the echo and is thus recorded.
  • the artificial neural network can therefore analyze the data provided to it by the sensor to determine whether it is typical of a noise spectrum or of an echo. This is a particularly useful task for an artificial neural network, for example to decide whether further evaluation is useful because an echo was actually detected, or not because only noise was detected.
  • An additional embodiment provides that the respective result information at least describes whether the detected echo describes an object that is relevant for a given target application or not.
  • a second task of the artificial neural network can therefore be to classify whether the echo, which has already been classified as such, describes an object that is relevant for a given target application or whether the object described by the echo is irrelevant for the given target application. It can therefore be determined whether the object is relevant for further evaluation in the motor vehicle or not. It can be assumed here that it has already been determined that the echo is not noise, but an actual echo that describes an object actually located in the environment.
  • the target application is, for example, the function of the motor vehicle and/or a determination of an object class of the object, so that, for example, another neural network is then used to determine whether the object is another road user or not. This is a useful task for an artificial neural network, for example to decide whether further evaluation of the echo should be carried out or not.
  • the respective result information also includes whether the detected echo describes an object that has a height and/or width that is greater than a respective predetermined maximum value.
  • the maximum value is greater than the minimum value.
  • the maximum value can be 60 centimeters, for example.
  • the maximum value can alternatively be any value greater or less than 60 centimeters. Different minimum values can be specified for the height and width.
  • the evaluation of the object in relation to the maximum value preferably leads to a further class being provided in the third task. It can now be determined whether the object is smaller than the minimum value, whether it is greater than or equal to the minimum value but less than or equal to the maximum value, or whether it is larger than the maximum value. This serves to accurately assess whether the object can represent an obstacle for the motor vehicle and should therefore be taken into account by the function, for example.
  • the respective result information also includes whether the detected echo describes an object that has a height and/or width that lies between the predetermined minimum value and the predetermined maximum value.
  • the object can therefore be checked whether the object is between 20 centimeters and 60 centimeters high and/or wide or whether the height and/or width lies outside this value range.
  • an intermediate value is specified between the minimum value and the maximum value.
  • the intermediate value can be 40 centimeters, for example.
  • the result information can then describe whether the received echo describes an object that has a height and/or width that between the minimum value and the intermediate value or whether it lies between the intermediate value and the maximum value.
  • a different intermediate value can be specified for the width than for the height.
  • a further aspect of the invention relates to a motor vehicle with a sensor.
  • the motor vehicle is designed to use the sensor to emit at least two pulses that differ from one another in at least one feature and to use the sensor to detect a respective echo for the respective emitted pulse.
  • it is designed to determine result information for each of the detected echoes by applying an artificial neural network to the detected echo, the result information describing a result of a predetermined task that the artificial neural network was trained to solve, and to check whether the determined result information describes the same result. If this is the case, the motor vehicle is designed to evaluate an evaluation using the artificial neural network as reliable.
  • the motor vehicle is, for example, a passenger car, a truck, a bus, a motorcycle and/or a moped.
  • the sensor is preferably an ultrasonic sensor.
  • the sensor is a radar device and/or LIDAR device.
  • the sensor is preferably arranged in a front area and/or in a rear area of the motor vehicle, for example in a bumper arranged there.
  • the sensor can be arranged, for example, on a windshield, a rear window, in doors of the motor vehicle and/or in side mirrors of the motor vehicle.
  • the sensor is arranged in the interior of the motor vehicle.
  • the invention further relates to a control device for a motor vehicle. This is designed to carry out the method described above.
  • control device can provide the sensor with commands on the basis of which the sensor, for example, sends out the at least two pulses and provides the echoes detected by it to the control device.
  • the artificial neural network is preferably stored in a memory unit of the control device and can be applied by this to the echoes provided by the sensor.
  • the control device carries out the described method, in particular an embodiment or a combination of embodiments of the described method.
  • the control device has a processor device.
  • the processor device can have at least one microprocessor and/or at least one microcontroller and/or at least one FPGA (Field Programmable Gate Array) and/or at least one DSP (Digital Signal Processor).
  • the processor device can have program code, which can alternatively be referred to as a computer program product.
  • the program code can be stored in a data memory of the processor device.
  • the invention also relates to a computer program product.
  • the computer program product is at least designed to carry out the checking using the artificial neural network.
  • the computer program product preferably receives the detected echoes from the sensor.
  • the computer program product thus relates at least to the steps according to the invention that are not clearly carried out by the sensor.
  • Fig- 1 is a schematic representation of a motor vehicle with several
  • Fig. 2 shows a schematic representation of a signal flow graph of a method for testing an artificial neural network for evaluating echoes detected by a sensor for a motor vehicle.
  • Fig. 1 shows a motor vehicle 1 that has a plurality of sensors 2 in a front area and a rear area.
  • the sensors 2 are arranged in a bumper of the motor vehicle 1.
  • the motor vehicle 1 can have more or fewer sensors 2 than the sensors 2 sketched here.
  • the respective sensor 2 is preferably an ultrasonic sensor.
  • the sensor 2 is a radar device, i.e. a radar sensor, and/or a LIDAR device.
  • the sensor 2 is a pulse-emitting sensor 2, the measuring principle of which is based on receiving echoes 8 (see reference number 8 in Fig. 2) as, for example, reflections of the emitted pulses 7 (see reference number 7 in Fig. 2) and/or impulses.
  • the motor vehicle 1 has a control device 3, which is, for example, a central computing device of the motor vehicle 1.
  • the control device 3 is preferably designed to control the respective sensor 2 of the motor vehicle 1, that is, to provide it with a control command, for example, and then to receive from the sensor 2, for example, the echoes 8 detected by the sensor 2.
  • the control device 3 can also be designed to provide a function 4 for the motor vehicle 1, such as a driver assistance system for at least partially automatic, in particular fully automatic, driving of the motor vehicle 1.
  • the motor vehicle 1 can comprise an output device 5, by means of which, for example, a result of a check of an artificial neural network 9 (see reference number 9 in Fig. 2) is output.
  • the output device 5 can be, for example, a screen, in particular a touch-sensitive screen, and/or a loudspeaker of the motor vehicle 1.
  • the output device 5 can be used, for example, to display whether the function 4 can currently be activated or not.
  • Fig. 2 shows steps of a method for checking an artificial neural network 9 for evaluating echoes 8 for the motor vehicle 1 detected by the sensor 2.
  • a method step S1 at least two pulses 7 are emitted, which differ from one another in at least one feature, by means of of the sensor 2.
  • the feature in which the at least two pulses 7 differ from one another is, for example, a pulse duration, a frequency, a shape and/or a code impressed on the pulse 7.
  • an artificial neural network 9 is applied to each of the detected echoes 8.
  • result information 11 is determined.
  • the result information 11 describes a result of a predetermined task 10, which the artificial neural network 9 was trained to solve.
  • the artificial neural network 9 specified here can, for example, have three tasks 10, i.e., have been trained to solve three tasks 10.
  • a first task 10 provides, for example, that the determined result information 11 at least describes whether the detected echo 8 is real or whether it is noise.
  • the second task 10 can, for example, provide that the respective result information 11 describes whether the detected echo 8 describes the object 6 that is relevant for a predetermined target application of the motor vehicle 1 or not.
  • the object 6 can, for example, be relevant for the target application if it is another motor vehicle 1, a pedestrian, a cyclist and/or an obstacle for the motor vehicle 1.
  • Another possible task 10 can provide that the respective result information 11 at least describes whether the received echo 8 describes an object 6 that has a height and/or width that is smaller than a respective predetermined minimum value, or that is greater than or equal to the minimum value but smaller than or equal to an intermediate value, or that is greater than the intermediate value but smaller than or equal to a maximum value, or that is greater than the maximum value.
  • a different minimum value, maximum value and/or intermediate value can be specified for the width than for the height. The minimum value is smaller than the intermediate value and this is smaller than the maximum value.
  • the third task 10 can therefore distinguish four different classes, for example, so that by applying the artificial neural network 9 is used to check which of these four height-dependent and/or width-dependent classes the object 6 is assigned to.
  • the individual tasks 10 can be solved by a common artificial neural network 9 or there can be a separate artificial neural network 9 for each task 10.
  • the result information 11 can be determined for several artificial neural networks 9 and then compared with one another, for example. It is possible that the artificial neural network 9 has even more tasks 10 than those mentioned as examples.
  • a check is made as to whether the determined result information 11 describes the same result. It is therefore checked whether, for example, the two echoes 8 each deliver the result “real echo” for the first task 10 or not. If this is the case, i.e. if all result information 11 describes the same result, the evaluation by means of the artificial neural network 9 is assessed as reliable in a method step S5. It is therefore determined that the artificial neural network 9 is reliably suitable for evaluating and classifying the echoes 8.
  • the determined result information 11 can be made available to the function 4 of the motor vehicle 1 in a method step S6.
  • the driver assistance system can then be operated as function 4, for example, taking into account the result information 11 and/or the echoes 8 that were determined by the sensor 2 and possibly evaluated by the artificial neural network 9.
  • an F-measure in particular an F1-measure, is determined for the result information 11. It is then checked whether the determined F-measure is smaller than a minimum value. If this is the case, at least one further pulse 7 is emitted, which differs in at least one feature from the at least two pulses 7 emitted so far. The result information 11 is also determined for the echo 8 recorded for the further pulse 7 and this is checked. If, for example, a If a higher F-measure is achieved, this may lead to the evaluation by the artificial neural network 9 being rated as reliable.
  • a method step S7 can also be provided which requires that the artificial neural network has been trained to solve multiple tasks 10.
  • the result information 11 for the multiple tasks 10 is then determined. It is then checked whether the result information 11 determined for at least one of the multiple tasks 10 does not describe the same result when checked. In this case, the check is carried out again, with a larger number of pulses 7 being sent out than before.
  • a method step S8 five pulses 7 are therefore sent out purely as an example and consequently five echoes 8 are received, which are then fed to the artificial neural network 9 to solve the respective tasks 10, so that, for example, five pieces of result information 11 are determined for each task 10, which can then be compared with one another with regard to their results.
  • the method can be terminated and the assessment updated in method step 5. Otherwise, it can be provided that, for example, the entire neural network 9 is assessed as unreliable because it was determined that at least one of the tasks 10 of the artificial neural network 9 could not be solved reliably.
  • the described check i.e. at least the method steps S1 to S9, to be repeated continuously while, for example, the sensor 2 is in an activated state.
  • the check is preferably repeated at predetermined time intervals of, for example, 1 minute, 2 minutes, 3 minutes, 5 minutes or, in particular, 10 minutes.
  • the time interval between two checks can depend on the current speed of the motor vehicle 1. The higher the speed, the more frequently the check can be carried out, for example.
  • the additional and novel solution is to work with different echo shapes of echoes 8.
  • This proposed solution can be applied to any type of pulse-echo detection sensor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Überprüfen eines künstlichen neuronalen Netzwerks (9) zum Auswerten von mittels eines Sensors (2) erfassten Echos (8) für ein Kraftfahrzeug (1). Das Verfahren umfasst: Aussenden (S1) von mindestens zwei Pulsen (7), die sich in mindestens einem Merkmal voneinander unterscheiden, mittels des Sensors (2); Erfassen (S2) von einem jeweiligen Echo (8) zu dem jeweiligen ausgesendeten Puls (7) mittels des Sensors (2); und für jedes der erfassten Echos (8), Ermitteln (S3) einer Ergebnisinformation (11) durch Anwenden des künstlichen neuronalen Netzwerks (9) auf das erfasste Echo (8), wobei die Ergebnisinformation (11) ein Ergebnis einer vorgegebenen Aufgabe (10) beschreibt, auf deren Lösen das künstliche neuronale Netzwerk (9) trainiert wurde. Es wird nun überprüft (S4), ob die ermittelten Ergebnisinformationen (11) das gleiche Ergebnis beschreiben, und nur falls dies der Fall ist, wird eine Auswertung mittels des künstlichen neuronalen Netzwerks (9) als zuverlässig bewertet (S5).

Description

Verfahren zum Überprüfen eines künstlichen neuronalen Netzwerks zum Auswerten von mittels eines Sensors erfassten Echos für ein Kraftfahrzeug
Die Erfindung betrifft ein Verfahren zum Überprüfen eines künstlichen neuronalen Netzwerks zum Auswerten von mittels eines Sensors erfassten Echos für ein Kraftfahrzeug. Die Erfindung betrifft zudem ein Kraftfahrzeug mit einem Sensor, eine Steuereinrichtung für ein Kraftfahrzeug sowie ein Computerprogrammprodukt zum Durchführen eines derartigen Verfahrens.
Ein Kraftfahrzeug kann zumindest einen Sensor aufweisen, dessen Messprinzip darauf basiert, dass der Sensor zumindest einen Puls oder Impuls in eine Umgebung des Sensors aussendet und daraufhin ein Echo erfasst, das beispielsweise bei einer Reflexion des Pulses an einem Objekt in der Umgebung entstanden ist. Auf einem solchen pulsaussendenden Messprinzip basieren beispielsweise ein Ultraschallsensor, ein Radargerät und/oder ein LIDAR-Gerät. Das von dem Sensor erfasste und bereitgestellte Echo kann ausgewertet werden, um zum Beispiel das Objekt in der Umgebung zu klassifizieren. Die Auswertung kann auf Methoden des maschinellen Lernens basieren, insbesondere auf einem künstlichen neuronalen Netzwerk. Das Ergebnis der Auswertung kann daraufhin beispielsweise einer Funktion des Kraftfahrzeugs bereitgestellt werden, wie zum Beispiel einem Fahrerassistenzsystem zum zumindest teilautomatischen, insbesondere vollautomatischen, Steuern des Kraftfahrzeugs.
Die DE 10 2019 218 349 A1 zeigt ein Verfahren zum Klassifizieren von zumindest einem Ultraschallecho aus Echosignalen. Hierbei wird ein klassifiziertes Echobild auf Basis von empfangenen Echosignalen mittels eines trainierten neuronalen Encoder-Decoder Netzwerks und einer Eingangsmatrix, die aus einer Mehrzahl von detektierten Echosignalen gebildet wurde, generiert.
Für die Auswertung des zumindest einen erfassten Echos mittels des künstlichen neuronalen Netzwerks ist bisher nicht zuverlässig aussagbar, ob ein Ergebnis der vom künstlichen neuronalen Netzwerk durchgeführten Klassifizierung tatsächlich korrekt ist oder ob sie beispielsweise aufgrund von Rauschen ein fehlerhaftes Ergebnis lieferte. Das künstliche neuronale Netzwerk sollte daher überprüft werden, um negative Einflüsse von zum Beispiel Rauschen auf die Ergebnisse zuverlässig ausschließen zu können. Es ist die Aufgabe der Erfindung, eine Lösung bereitzustellen, mittels derer eine Auswertung eines Echos, die mittels eines künstlichen neuronalen Netzwerks durchgeführt wurde, zuverlässig überprüft werden kann.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Überprüfen eines künstlichen neuronalen Netzwerks zum Auswerten von mittels eines Sensors erfassten Echos für ein Kraftfahrzeug. Der Sensor ist beispielsweise ein Ultraschallsensor. Alternativ oder zusätzlich dazu kann der Sensor ein Radargerät und/oder ein LIDAR-Gerät sein. Das künstliche neuronale Netzwerk kann ein beliebig ausgestaltetes neuronales Netzwerk sein, das zumindest darauf trainiert wurde, eine Klassifizierung der ihm bereitgestellten Daten im Zusammenhang mit einer kraftfahrzeugbezogenen Aufgabe durchzuführen. Die ihm bereitgestellten Daten beschreiben zumindest ein vom Sensor erfasstes Echo, das aus einer Umgebung des Sensors von diesem empfangen und somit erfasst wurde. Die Umgebung des Sensors entspricht bevorzugt zumindest einem Teil einer Umgebung des Kraftfahrzeugs, in dem der Sensor angeordnet ist. Es kann auf bekannte Verfahren zum Trainieren sowie zur Ausgestaltung einer Struktur des künstlichen neuronalen Netzwerks zurückgegriffen werden.
Das Verfahren umfasst ein Aussenden von mindestens zwei Pulsen, die sich in mindestens einem Merkmal voneinander unterscheiden, mittels des Sensors. Im Falle des Ultraschallsensors als Sensor werden beispielsweise mindestens zwei Ultraschallpulse vom Ultraschallsensor ausgesendet. Bevorzugt werden zahlreiche Pulse nacheinander ausgesendet, das heißt mehr als zwei Pulse. Alternativ oder zusätzlich kann ein Impuls vom Sensor ausgesendet werden. Unter einem Puls kann im Sinne der Erfindung daher alternativ oder zusätzlich ein Impuls verstanden werden. Der Puls wird vom Sensor generiert. Die ausgesendeten Pulse können sich beispielsweise hinsichtlich einer Frequenz als Merkmal voneinander unterscheiden. Es ist also beispielsweise möglich, dass ein erster Puls bei 50 Kilohertz und anschließend ein zweiter Puls bei beispielsweise 52 Kilohertz ausgesendet werden. Diese genannten Frequenzen sind rein exemplarisch zu verstehen. Andersartige Änderungen des Merkmals oder sogar mehrerer Merkmale der zumindest zwei Pulse sind möglich.
In einem weiteren Verfahrensschritt erfolgt mittels des Sensors ein Erfassen von einem jeweiligen Echo zu dem jeweiligen ausgesendeten Puls. Wird beispielsweise der jeweilige Puls an einem Objekt in der Umgebung des Sensors reflektiert, wird ein entsprechendes Echosignal zurückgesendet, das hier als erfasstes Echo bezeichnet wird. Falls genau zwei Pulse ausgesendet werden, werden beispielsweise zwei Echos, eines für den ersten Puls und eines für den zweiten Puls, erfasst. Desto mehr Pulse ausgesendet werden, desto mehr jeweilige Echos werden erfasst.
Für jedes der erfassten Echos erfolgt ein Ermitteln einer Ergebnisinformation. Dies erfolgt durch Anwenden des künstlichen neuronalen Netzwerks auf das erfasste Echo. Bei den genau zwei erfassten Echos werden also beide Echos mittels des künstlichen neuronalen Netzwerks ausgewertet. Die ermittelte Ergebnisinformation beschreibt ein Ergebnis einer vorgegebenen Aufgabe, auf deren Lösen das künstliche neuronale Netzwerk trainiert wurde. Die Aufgabe kann beispielsweise darauf gerichtet sein, das Objekt zu klassifizieren. Welcher Klasse das Objekt in der Umgebung zuzuordnen ist, ist also in diesem Beispiel die Aufgabe des künstlichen neuronalen Netzwerks. Dieses ermittelt daraufhin als Ergebnis eine der ihm bekannten Klassen als die Klasse, der das Objekt zuzuordnen ist. Es wird hierbei davon ausgegangen, dass für die mehreren Pulse, die sich in dem mindestens einen Merkmal jeweils voneinander unterscheiden, dennoch beim Auswerten ihrer Echos mittels des künstlichen neuronalen Netzwerks das gleiche Ergebnis und folglich übereinstimmende Ergebnisinformationen ermittelt werden. Die Ergebnisinformationen werden hierbei als übereinstimmend bewertet, wenn sie zumindest inhaltlich das gleiche Ergebnis beschreiben. Es wird also erwartet, dass, falls das künstliche neuronale Netzwerk zuverlässig die Echos auswerten kann, alle ermittelten Ergebnisse miteinander inhaltlich übereinstimmen.
Das Verfahren umfasst zudem, dass überprüft wird, ob die ermittelten Ergebnisinformationen das gleiche Ergebnis beschreiben. Nur falls dies der Fall ist, das heißt, nur falls die ermittelten Ergebnisinformationen das gleiche Ergebnis beschreiben, wird eine Auswertung des mittels des Sensors erfassten Echos mittels des künstlichen neuronalen Netzwerks als zuverlässig bewertet. Es wird also letztendlich vorgeschlagen, zum Überprüfen der Zuverlässigkeit der Auswertung mittels des künstlichen neuronalen Netzwerks künstlich die ausgesendeten Pulse zu variieren um die Ergebnisse der jeweiligen Echos miteinander abgleichen zu können. Da Rauschen statistisch auftritt, das erfasste Echo jedoch stets eine Funktion des ausgesendeten Pulses ist, kann hierdurch Rauschen gut als solches erkannt werden. Wenn trotz Variation der ausgesendeten Pulse die ermittelten Ergebnisinformationen miteinander übereinstimmen, kann dies als Nachweis dafür angesehen werden, dass die Ergebnisse des künstlichen neuronalen Netzwerks unabhängig von zum Beispiel einem Umgebungsrauschen und/oder einer anderen Rauschquelle zuverlässig sind. Es wird hierbei davon ausgegangen, dass das Umgebungsrauschen beziehungsweise die andere Rauschquelle beispielsweise in einem bestimmten Frequenzbereich zu verorten ist, sodass durch die Variation der Merkmale des Pulses beim Auswerten der Echos festgestellt werden kann, ob ein empfangenes Echo hauptsächlich oder ausschließlich auf das Rauschen zurückzuführen ist oder ob es eine Information zur Umgebung des Sensors umfasst. Es wird folglich eine Auswertung des jeweiligen Echos, die mittels des künstlichen neuronalen Netzwerks durchgeführt wurde, zuverlässig überprüft.
Ein vorteilhaftes Ausführungsbeispiel sieht vor, dass nur falls die Auswertung mittels des künstlichen neuronalen Netzwerks als zuverlässig bewertet wird, die ermittelten Ergebnisinformationen zumindest einer Funktion des Kraftfahrzeugs bereitgestellt werden. Bevorzugt werden sie einem Fahrerassistenzsystem als Funktion bereitgestellt. Es kann dann beispielsweise unter Berücksichtigung der Ergebnisinformationen ein zum zumindest teilautomatischen, insbesondere vollautomatischen, Fahren ausgebildetes Fahrerassistenzsystem des Kraftfahrzeugs, das beispielsweise zumindest eine Längs- und/oder Querführung des Kraftfahrzeugs steuern kann, betrieben werden. Die Funktion kann sich zum Beispiel auf die vom künstlichen neuronalen Netzwerk bereitgestellte Klassifikation verlassen und diese als zuverlässig richtige Information ansehen, die es für seine Anwendung beispielsweis verwenden kann. Hierdurch wird erreicht, dass nur tatsächlich zuverlässige Auswertungen Einfluss auf weitere Funktionen des Fahrzeugs haben können.
Ein zusätzliches Ausführungsbeispiel sieht vor, dass das mindestens eine Merkmal, in dem sich die ausgesendeten Pulse voneinander unterscheiden, eines von folgenden Merkmalen ist: Eine Pulsdauer, eine Frequenz, eine Form und/oder ein dem Puls aufgeprägter Code. Die Pulsdauer kann beispielsweise derart variiert werden, dass die Pulsdauer des ersten Pulses, die beispielsweise 50 Mikrosekunden beträgt, verdoppelt wird, sodass der zweite Puls beispielsweise eine Pulsdauer von 100 Mikrosekunden aufweist. Für weitere zweite Pulse kann ebenfalls eine Verdopplung der Pulsdauer oder ein gleicher Pulsdauerabstand wie zwischen den ersten beiden Pulsen gewählt werden, das heißt ein dritter Puls könnte in diesem Beispiel eine Pulsdauer von 200 Mikrosekunden beziehungsweise 150 Mikrosekunden aufweisen. Falls die Frequenz variiert wird, kann eine Frequenzänderung in beispielsweise Schritte von ein bis zwei Kilohertz zwischen den einzelnen Pulsen vorgegeben werden. Bei der Form kann beispielsweise eine Breite des Pulses verändert, insbesondere verformt, werden. Außerdem kann auf den Puls eine vorgegebene Information in Form eines Codes aufgeprägt werden. Es kann alternativ oder zusätzlich dazu ein Sweep variiert werden, das heißt eine Abtastrate, die zum Beispiel Frequenz- und/oder Pulsdauerunterschiede vorgibt, in denen über einen Frequenzbereich beziehungsweise Pulsdauerbereich variierte Pulse ausgesendet werden. Beispielsweise kann der Sweep vorgeben, dass eine bestimmte Anzahl an weiteren Pulsen ausgesendet wird, wobei für jeden der weiteren Pulse eine individuelle Abweichung zu einem Ausgangspuls vorgegeben ist. Die Abweichungen zwischen jeweils zwei der weiteren Pulse sind bevorzugt immer gleich groß. Andere Änderungen der Merkmale als die genannten Änderungen sind möglich. Es kann auf bekannte Methoden zur Merkmalsvariation von Pulsen zurückgegriffen werden. Es kann letztendlich auf verschiedene Merkmale zurückgegriffen werden, die einen von einem Sensor ausgesendeten Puls charakterisieren. Relevant ist hierbei, dass sich die mindestens zwei ausgesendeten Pulse zumindest in irgendeiner Art und Weise voneinander unterscheiden. Die Beeinflussung der Merkmale ist also besonders vielseitig realisierbar.
Ein bevorzugtes Ausführungsbeispiel sieht vor, dass für die jeweilige Ergebnisinformation ein F-Maß ermittelt und überprüft wird, ob das ermittelte F-Maß kleiner als ein Mindestwert ist. Falls dies der Fall ist, wird zumindest ein weiterer Puls ausgesendet, der sich in mindestens einem Merkmal von den bisher ausgesendeten zumindest zwei Pulsen unterscheidet. Für das zu dem weiteren Puls erfasste Echo wird ebenfalls die Ergebnisinformation ermittelt und überprüft. Bei dem Überprüfen wird hierbei überprüft, ob die für das weitere erfasste Echo ermittelte Ergebnisinformation das gleiche Ergebnis beschreibt, wie die Ergebnisinformationen, die für die zuvor nach Aussenden der mindestens zwei Pulse erfassten Echos ermittelt wurden. Das F-Maß ist insbesondere ein F1 -Maß. Das F-Maß stellt eine Möglichkeit der Bewertung eines Messwerts bereit. Das F- Maß ist beispielsweise das harmonische Mittel aus Genauigkeit und Trefferquote, wobei beim F1-Maß die Genauigkeit und Trefferquote gleich gewichtet sind. Das F-Maß ist typischerweise abhängig von einem Signal-zu-Rausch-Verhältnis des Echos. Das F-Maß ist daher ein Maß für die Zuverlässigkeit des künstlichen neuronalen Netzwerks. Ist eine Klassifikation, das heißt die Ergebnisinformation, die mittels des künstlichen neuronalen Netzwerks ermittelt wurde, korrekt, beträgt das F-Maß und insbesondere das F1-Maß genau 1. Ist das F-Maß, insbesondere das F1 -Maß, jedoch ungleich 1 , beispielsweise kleiner als 1 , deutet dies darauf hin, dass die Ergebnisinformation nicht vollständig vertrauenswürdig ist. Wird nun festgestellt, dass das F-Maß, insbesondere das F1 -Maß, nicht ausreichend hoch ist, werden neue Pulse ausgesendet und folglich eine Anzahl an ausgewerteten Echos erhöht. Der hierfür vorgegebene Mindestwert kann zum Beispiel bei 0,9 liegen. Ein größerer oder kleinerer Mindestwert ist möglich. Dass zumindest ein weiterer Puls ausgesendet wird, basiert auf der Beobachtung, dass sich ein Messergebnis und insbesondere ein Signal-zu-Rausch-Verhältnis einer Messung um einen Faktor verbessern kann, der der Wurzel der Anzahl der durchgeführten Messungen entspricht. Bei einer Erhöhung der Anzahl an Messungen wird also der Fehler und somit ein Rauschen reduziert. Aus diesem Grund kann abhängig vom F-Maß bestimmt werden, ob weitere Echos ausgewertet werden sollen oder ob bereits ausreichend Echos ausgewertet wurden. Das F-Maß wird typischerweise vom künstlichen neuronalen Netzwerk bestimmt, sodass dieses Maß mit geringem Aufwand ermittelt und ausgewertet werden kann.
Es kann vorgesehen sein, dass, falls das F-Maß kleiner als der Mindestwert ist, stets die gesamte Messung erneut durchgeführt wird, das heißt, dass die zuvor ermittelten Echos verworfen werden und die Pulse neu ausgesendet wird, wobei die Anzahl an Pulsen im Vergleich zu zuvor erhöht wurde. Das beschriebene Verfahren zum Ermitteln der Zuverlässigkeit der Auswertung wird dann mit den neu erfassten Echos zu den neu ausgesendeten Pulsen durchgeführt. Mit anderen Worten kann das Überprüfen des künstlichen neuronalen Netzwerks bei einer erneuten Messung mit der erhöhten Anzahl an ausgesendeten Pulsen wiederholt werden.
Ferner kann es ein Ausführungsbeispiel vorsehen, dass das künstliche neuronale Netzwerk für das Lösen mehrerer Aufgaben trainiert wurde. Beispielsweise kann es auf zwei, drei oder sogar mehr verschiedenen Aufgaben trainiert worden sein. Die Ergebnisinformationen werden für jede der mehreren Aufgaben ermittelt und überprüft. Das heißt, es wird für jede Aufgabe überprüft, ob die jeweiligen Ergebnisinformationen zu den mehreren Echos alle das gleiche Ergebnis beschreiben oder nicht. Falls für zumindest eine der mehreren Aufgaben beim Überprüfen festgestellt wird, dass die ermittelten Ergebnisinformationen nicht das gleiche Ergebnis beschreiben, wird das Überprüfen erneut durchgeführt, wobei für das erneute Überprüfen eine größere Anzahl an Pulsen ausgesendet wird als zuvor. Falls die Ergebnisse zu zumindest einer der Aufgaben darauf hindeutet, dass die diesbezügliche Auswertung mittels des künstlichen neuronalen Netzwerks nicht zuverlässig genug war, wird bevorzugt das gesamte Verfahren erneut durchgeführt, das heißt, es wird für alle Aufgaben, sogar für die, die übereinstimmende Ergebnisse geliefert hatten, die Überprüfung des künstlichen neuronalen Netzwerks wiederholt. Bei dem erneuten und somit wiederholten Überprüfen wird zudem die Anzahl an ausgesendeten Pulsen erhöht, um noch genauere Ergebnisse zu erhalten. Es wird dann beispielsweise erneut überprüft, ob die Auswertung mittels des künstlichen neuronalen Netzwerks nicht doch ausreichend zuverlässig ist und zuvor beispielsweise lediglich eine Rauschquelle vorlag. Vor dem erneuten Überprüfen kann beispielsweise ein Nachtrainieren des künstlichen neuronalen Netzwerks stattfinden, insbesondere des künstlichen neuronalen Netzwerks, dessen Aufgabe nicht zuverlässig gelöst werden konnte. Es sind also leicht zu realisierende Maßnahmen vorgesehen, um ein beispielsweise zuvor als unzuverlässig bewertetes künstliches neuronales Netzwerk erneut zu überprüfen.
Ein weiteres Ausführungsbeispiel sieht vor, dass das Überprüfen des künstlichen neuronalen Netzwerks während eines aktivierten Zustands des Sensors in vorgegebenen Zeitabschnitten wiederholt wird. Die vorgegebenen Zeitabschnitte betragen beispielsweise 1 Minute, 2 Minuten, 3 Minuten, 5 Minuten oder insbesondere 10 Minuten. Größere oder kleinere Zeitabstände und insbesondere Zeitabstände zwischen den genannten sind möglich. Es kann also vorgesehen sein, dass während eines Betriebs des Kraftfahrzeugs, bei dem mittels des Sensors Echos empfangen und ausgewertet werden und bei dem beispielsweise die Funktion des Kraftfahrzeugs auf Basis der bereitgestellten Echos aktiv ist, immer wieder, beispielsweise einmal pro Minute, eine Variation von mindestens zwei Pulsen erfolgt und gemäß dem oben beschriebenen Verfahren ausgewertet werden, um zu überprüfen, ob weiterhin das künstliche neuronale Netzwerk zuverlässig Ergebnisse liefert. Hierdurch kann insbesondere für die zum zumindest teilautomatischen Fahren ausgebildete Funktion des Fahrzeugs eine zusätzliche Sicherheitsüberprüfung bereitgestellt werden.
Außerdem ist es gemäß einem Ausführungsbeispiel vorgesehen, dass der vorgegebene Zeitabstand zwischen zwei Überprüfungen abhängig von einer aktuellen Geschwindigkeit des Kraftfahrzeugs ist, in dem der Sensor angeordnet ist. Es kann beispielsweise vorgesehen sein, dass bei einer Fahrt auf einer Schnellstraße in kürzeren Zeitabständen das künstliche neuronale Netzwerk überprüft wird verglichen mit einer Fahrt mit einer im Vergleich zur Fahrt auf der Schnellstraße niedrigen Geschwindigkeit, beispielsweise bei einer Fahrt in einem innerstädtischen Bereich oder auf einer Landstraße. Hierbei wird davon ausgegangen, dass bei einer hohen Geschwindigkeit des Kraftfahrzeugs eine noch größere Zuverlässigkeit des künstlichen neuronalen Netzwerks erforderlich ist verglichen mit einer niedrigeren Geschwindigkeit, insbesondere wenn auf Basis der mittels des Sensors erfassten Echos das Kraftfahrzeug zumindest teilautomatisch angesteuert wird. Aus diesem Grund ist abhängig von der aktuellen Fahrt und somit der Geschwindigkeit die Häufigkeit der Überprüfung vorgegeben. Hierdurch können ferner Ressourcen gespart werden, da nur in Situationen, in denen es besonders relevant ist, in kleinen Zeitabständen das Überprüfen erfolgt und sonst in größeren Zeitabständen. Die Geschwindigkeit des Kraftfahrzeugs kann zum Beispiel mittels eines Geschwindigkeitssensors des Kraftfahrzeugs erfasst und bereitgestellt werden.
Zudem sieht es ein Ausführungsbeispiel vor, dass die jeweilige Ergebnisinformation zumindest beschreibt, ob das erfasste Echo echt oder Rauschen ist. Es kann also eine erste Aufgabe des künstlichen neuronalen Netzwerks sein, zu klassifizieren, ob ein Echo oder Rauschen vorliegt. Das künstliche neuronale Netzwerk kann also darauf trainiert worden sein, zwischen erfassten Daten, die für ein Rauschen typisch sind, und erfassten Daten, die ein Echo eines ausgesendeten Pulses beschreiben, zu unterscheiden. Hierbei wird angenommen, dass das Rauschen ebenso wie das Echo vom Sensor empfangen und somit erfasst wird. Das künstliche neuronale Netz kann die ihm vom Sensor bereitgestellten Daten also dahingehend analysieren, ob sie typisch für ein Rauschspektrum oder für ein Echo sind. Dies ist eine besonders sinnvolle Aufgabe für ein künstliches neuronales Netzwerk, um zum Beispiel zu entscheiden, ob eine weitere Auswertung sinnvoll ist, da tatsächlich ein Echo erfasst wurde, oder nicht, da nur Rauschen erfasst wurde.
Ein zusätzliches Ausführungsbeispiel sieht vor, dass die jeweilige Ergebnisinformation zumindest beschreibt, ob das erfasste Echo ein Objekt beschreibt, das relevant für eine vorgegebene Zielanwendung ist oder nicht. Es kann also eine zweite Aufgabe des künstlichen neuronalen Netzwerks sein, zu klassifizieren, ob das insbesondere bereits als solches klassifizierte Echo ein Objekt beschreibt, das relevant für eine vorgegebene Zielanwendung ist oder ob das vom Echo beschriebene Objekt irrelevant für die vorgegebene Zielanwendung ist. Es kann also festgestellt werden, ob das Objekt für eine weitere Auswertung im Kraftfahrzeug von Relevanz ist oder nicht. Es kann hierbei davon ausgegangen werden, dass bereits festgestellt wurde, dass das Echo kein Rauschen ist, sondern ein tatsächliches Echo, das ein tatsächlich in der Umgebung angeordnetes Objekt beschreibt. Die Zielanwendung ist beispielsweise die Funktion des Kraftfahrzeugs und/oder eine Bestimmung einer Objektklasse des Objekts, sodass beispielsweise mittels eines weiteren neuronalen Netzwerks anschließend ermittelt wird, ob es sich bei dem Objekt um einen anderen Verkehrsteilnehmer handelt oder nicht. Dies ist eine sinnvolle Aufgabe für ein künstliches neuronales Netzwerk, um zum Beispiel zu entscheiden, ob eine weitere Auswertung des Echos durchgeführt werden sollte oder nicht.
Zudem kann es in einem Ausführungsbeispiel vorgesehen sein, dass die jeweilige Ergebnisinformation zumindest beschreibt, ob das erfasste Echo ein Objekt beschreibt, das eine Höhe und/oder Breite aufweist, die kleiner als ein jeweiliger vorgegebener Minimalwert ist. Es kann also eine dritte Aufgabe des künstlichen neuronalen Netzwerks sein, zu klassifizieren, ob die Höhe und/oder Breite des vom Echo beschriebenen Objekts kleiner als der Minimalwert einerseits oder größer als oder gleich dem Minimalwert andererseits ist. Es können für die Höhe und die Breite unterschiedliche Minimalwerte vorgegeben sein. Der Minimalwert für die Höhe und/oder Breite kann beispielsweise 20 Zentimeter betragen. Größere oder kleinere Minimalwerte als dieses Beispiel sind möglich. Diese Aufgabe ist besonders geeignet, um beispielsweise festzustellen, ob ein Objekt in der Umgebung des Sensors für die Funktion des Kraftfahrzeugs, insbesondere für eine Fahrfunktion, relevant ist. Bei einem Objekt, das kleiner als der Minimalwert ist, kann beispielsweise davon ausgegangen werden, dass dieses eine Bodenschwelle, ein Bordstein und/oder ein anderes überfahrbares Objekt ist. Es kann daher besonders sinnvoll sein, das Objekt hinsichtlich seiner Höhe und/oder Breite zu klassifizieren.
Darüber hinaus sieht es ein Ausführungsbeispiel vor, dass die jeweilige Ergebnisinformation zudem umfasst, ob das erfasste Echo ein Objekt beschreibt, das eine Höhe und/oder Breite aufweist, die größer als ein jeweiliger vorgegebener Maximalwert ist. Der Maximalwert ist größer als der Minimalwert. Der Maximalwert kann beispielsweise 60 Zentimeter betragen. Der Maximalwert kann alternativ einen beliebigen Wert größer oder kleiner als 60 Zentimeter betragen. Es können für die Höhe und die Breite unterschiedliche Minimalwerte vorgegeben sein. Die Bewertung des Objekts in Bezug auf den Maximalwert führt bevorzugt dazu, dass bei der dritten Aufgabe eine weitere Klasse bereitgestellt wird. Es kann also nun ermittelt werden, ob das Objekt kleiner als der Minimalwert ist, ob es größer als oder gleich dem Minimalwert aber kleiner als oder gleich dem Maximalwert ist, oder ob es größer als der Maximalwert ist. Dies dient zur genauen Einschätzung, ob das Objekt ein Hindernis für das Kraftfahrzeug darstellen kann und folglich zum Beispiel von der Funktion berücksichtigt werden sollte.
Ferner kann ein Ausführungsbeispiel vorgesehen sein, das umfasst, dass die jeweilige Ergebnisinformation zudem umfasst, ob das erfasste Echo ein Objekt beschreibt, das eine Höhe und/oder Breite aufweist, die zwischen dem vorgegebenen Minimalwert und dem vorgegebenen Maximalwert liegt. Es kann also im oben genannten Beispiel überprüft werden, ob das Objekt zwischen 20 Zentimeter und 60 Zentimetern hoch und/oder breit ist oder ob die Höhe und/oder Breite außerhalb dieses Wertebereichs liegt. Insbesondere ist es vorgesehen, dass zwischen dem Minimalwert und dem Maximalwert ein Zwischenwert vorgegeben ist. Der Zwischenwert kann beispielsweise bei 40 Zentimetern liegen. Es kann dann von der Ergebnisinformation beschrieben werden, ob das empfangene Echo ein Objekt beschreibt, das eine Höhe und/oder Breite aufweist, die zwischen dem Minimalwert und dem Zwischenwert liegt oder ob sie zwischen dem Zwischenwert und dem Maximalwert liegt. Letztendlich wird dadurch die dritte Aufgabe um eine vierte Kategorie ergänzt, sodass festgestellt werden kann, ob die Höhe und/oder Breite des Objekts kleiner als der Minimalwert ist, ob sie größer als oder gleich dem Minimalwert aber kleiner als oder gleich dem Zwischenwert ist, ob sie größer als der Zwischenwert aber kleiner als oder gleich dem Maximalwert ist, oder ob sie größer als der Maximalwert ist. Für die Breite kann ein anderer Zwischenwert vorgegeben sein als für die Höhe. Letztendlich ermöglicht dies eine besonders eindeutige und spezifische Unterteilung der Höhe des Objekts in verschiedene Klassen, die beispielsweise in weiteren Auswerteschritten mit verschiedenen Objektklassen oder Typen von Objekten verknüpft sein können. Es kann beispielsweise hierdurch für den Ultraschallsensor als Sensor auf Basis von dessen Messdaten eine Beschreibung der Umgebung des Sensors möglich sein, bei der das erfasste Objekt zumindest gemäß seiner räumlichen Ausdehnung ausgewertet wird.
Ein weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem Sensor. Das Kraftfahrzeug ist dazu ausgebildet mittels des Sensors mindestens zwei Pulse, die sich in mindestens einem Merkmal voneinander unterscheiden, auszusenden und mittels des Sensors ein jeweiliges Echo zu dem jeweiligen ausgesendeten Puls zu erfassen. Außerdem ist es dazu ausgebildet, für jedes der erfassten Echos eine Ergebnisinformation durch Anwenden eines künstlichen neuronalen Netzwerks auf das erfasste Echo zu ermitteln, wobei die Ergebnisinformation ein Ergebnis einer vorgegebenen Aufgabe beschreibt, auf deren Lösen das künstliche neuronale Netzwerk trainiert wurde, und zu überprüfen, ob die ermittelten Ergebnisinformationen das gleiche Ergebnis beschreiben. Das Kraftfahrzeug ist dazu ausgebildet, falls dies der Fall ist, eine Auswertung mittels des künstlichen neuronalen Netzwerks als zuverlässig zu bewerten.
Das Kraftfahrzeug ist beispielsweise ein Personenkraftwagen, ein Lastkraftwagen, ein Bus, ein Motorrad und/oder ein Moped. Der Sensor ist bevorzugt ein Ultraschallsensor. Alternativ oder zusätzlich dazu ist der Sensor ein Radargerät und/oder LIDAR-Gerät. Der Sensor ist bevorzugt in einem Frontbereich und/oder in einem Heckbereich des Kraftfahrzeugs angeordnet, beispielsweise in einer dort angeordneten Stoßstange. Alternativ oder zusätzlich dazu kann der Sensor beispielsweise an einer Windschutzscheibe, einer Heckscheibe, in Türen des Kraftfahrzeugs und/oder in Seitenspiegeln des Kraftfahrzeugs angeordnet sein. Alternativ oder zusätzlich dazu ist der Sensor im Innenraum des Kraftfahrzeugs angeordnet. Ferner betrifft die Erfindung eine Steuereinrichtung für ein Kraftfahrzeug. Diese ist dazu ausgebildet, das oben beschriebene Verfahren durchzuführen. Hierbei wird davon ausgegangen, dass die Steuereinrichtung dem Sensor Befehle bereitstellen kann, anhand derer der Sensor beispielsweise die mindestens zwei Pulse aussendet sowie die von ihm erfassten Echos der Steuereinrichtung bereitstellt. Das künstliche neuronale Netzwerk ist bevorzugt in einer Speichereinheit der Steuereinrichtung gespeichert und kann von dieser auf die vom Sensor bereitgestellten Echos angewendet werden. Die Steuereinrichtung führt das beschriebene Verfahren, insbesondere ein Ausführungsbeispiel oder eine Kombination von Ausführungsbeispielen des beschriebenen Verfahrens, durch. Die Steuereinrichtung weist eine Prozessoreinrichtung auf. Die Prozessoreinrichtung kann zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der alternativ als Computerprogrammprodukt bezeichnet werden kann. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.
Außerdem betrifft die Erfindung ein Computerprogrammprodukt. Das Computerprogrammprodukt ist zumindest dazu ausgebildet, das Überprüfen mittels des künstlichen neuronalen Netzwerks durchzuführen. Das Computerprogrammprodukt empfängt hierfür bevorzugt die erfassten Echos vom Sensor. Das Computerprogrammprodukt betrifft somit zumindest die erfindungsgemäßen Schritte die nicht eindeutig vom Sensor durchgeführt werden.
Die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschriebenen Ausführungsbeispiele, jeweils einzeln sowie in Kombination miteinander, gelten entsprechend, soweit anwendbar, für das erfindungsgemäße Kraftfahrzeug, die erfindungsgemäße Steuereinrichtung sowie das erfindungsgemäße Computerprogrammprodukt. Die Erfindung umfasst Kombinationen der beschriebenen Ausführungsbeispiele.
Dabei zeigen:
Fig- 1 eine schematische Darstellung eines Kraftfahrzeugs mit mehreren
Sensoren; und Fig. 2 in schematischer Darstellung einen Signalflussgraphen eines Verfahrens zum Überprüfen eines künstlichen neuronalen Netzwerks zum Auswerten von mittels eines Sensors erfassten Echos für ein Kraftfahrzeug.
Fig. 1 zeigt ein Kraftfahrzeug 1 , das in einem Frontbereich sowie in einem Heckbereich mehrere Sensoren 2 aufweist. Die Sensoren 2 sind hier in einer Stoßstange des Kraftfahrzeugs 1 angeordnet. Hier sind beispielsweise sechs Sensoren 2 im Frontbereich sowie sechs Sensoren 2 im Heckbereich skizziert. Das Kraftfahrzeug 1 kann mehr oder weniger Sensoren 2 als die hier skizzierten Sensoren 2 aufweisen. Der jeweilige Sensor 2 ist bevorzugt ein Ultraschallsensor. Alternativ oder zusätzlich dazu ist der Sensor 2 ein Radargerät, das heißt ein Radarsensor, und/oder ein LIDAR-Gerät. Letztendlich ist der Sensor 2 ein pulsaussendender Sensor 2, dessen Messprinzip auf dem Empfangen von Echos 8 (siehe Bezugszeichen 8 in Fig. 2) als beispielsweise Reflexionen der ausgesendeten Pulse 7 (siehe Bezugszeichen 7 in Fig. 2) und/oder Impulse basiert.
Das Kraftfahrzeug 1 weist eine Steuereinrichtung 3 auf, die beispielsweise eine zentrale Recheneinrichtung des Kraftfahrzeugs 1 ist. Die Steuereinrichtung 3 ist bevorzugt dazu ausgebildet, den jeweiligen Sensor 2 des Kraftfahrzeugs 1 anzusteuern, das heißt diesem beispielsweise einen Ansteuerbefehl bereitzustellen und daraufhin von dem Sensor 2 beispielsweise die vom Sensor 2 erfassten Echos 8 bereitgestellt zu bekommen. Die Steuereinrichtung 3 kann ferner dazu ausgebildet sein, eine Funktion 4 für das Kraftfahrzeug 1 bereitzustellen, wie beispielsweise ein Fahrerassistenzsystem zum zumindest teilautomatischen, insbesondere vollautomatischen, Fahren des Kraftfahrzeugs 1.
Das Kraftfahrzeug 1 kann eine Ausgabeeinrichtung 5 umfassen, mittels derer beispielsweise ein Ergebnis eines Überprüfens eines künstlichen neuronalen Netzwerks 9 (siehe Bezugszeichen 9 in Fig. 2) ausgegeben wird. Die Ausgabeeinrichtung 5 kann beispielsweise ein Bildschirm, insbesondere ein berührungssensitiver Bildschirm, und/oder ein Lautsprecher des Kraftfahrzeugs 1 sein. Mittels der Ausgabeeinrichtung 5 kann beispielsweise angezeigt werden, ob aktuell die Funktion 4 aktivierbar ist oder nicht.
Fig. 2 zeigt Schritte eines Verfahrens zum Überprüfen eines künstlichen neuronalen Netzwerks 9 zum Auswerten von mittels des Sensors 2 erfassten Echos 8 für das Kraftfahrzeug 1. In einem Verfahrensschritt S1 erfolgt ein Aussenden von mindestens zwei Pulsen 7, die sich in mindestens einem Merkmal voneinander unterscheiden, mittels des Sensors 2. Das Merkmal, in dem sich die mindestens zwei Pulse 7 voneinander unterscheiden, ist beispielsweise eine Pulsdauer, eine Frequenz, eine Form und/oder ein dem Puls 7 aufgeprägter Code.
Es ist hier ferner skizziert, dass die beiden Pulse 7 in Richtung eines Objekts 6 ausgesendet wird, das sich in einer Umgebung des Sensors 2 befindet. Die Umgebung des Sensors 2 entspricht hier zumindest einem Teil der Umgebung des Kraftfahrzeugs 1 , in dem der Sensor 2 angeordnet ist.
In einem Verfahrensschritt S2 erfolgt ein Erfassen von einem jeweiligen Echo 8 zu dem jeweiligen ausgesendeten Puls 7. Hier sind beispielsweise aufgrund von den zwei ausgesendeten Pulsen 7 genau zwei Echos 8 skizziert, die sich vom Objekt 6 in Richtung des Sensors 2 bewegen und vom Sensor 2 erfasst werden.
In einem Verfahrensschritt S3 erfolgt ein Anwenden eines künstlichen neuronalen Netzwerks 9 auf jedes der erfassten Echos 8. Hierbei wird eine Ergebnisinformation 11 ermittelt. Die Ergebnisinformation 11 beschreibt ein Ergebnis einer vorgegebenen Aufgabe 10, auf deren Lösen das künstliche neuronale Netzwerk 9 trainiert wurde. Das hier vorgegebene künstliche neuronale Netzwerk 9 kann beispielsweise drei Aufgaben 10 aufweisen, das heißt auf das Lösen von drei Aufgaben 10 trainiert worden sein. Eine erste Aufgabe 10 sieht beispielsweise vor, dass die ermittelte Ergebnisinformation 11 zumindest beschreibt, ob das erfasste Echo 8 echt ist oder ob es Rauschen ist. Die zweite Aufgabe 10 kann beispielsweise vorsehen, dass die jeweilige Ergebnisinformation 11 beschreibt, ob das erfasste Echo 8 das Objekt 6 beschreibt, das relevant für eine vorgegebene Zielanwendung des Kraftfahrzeugs 1 ist oder nicht. Das Objekt 6 kann beispielsweise dann relevant für die Zielanwendung sein, wenn es ein anderes Kraftfahrzeug 1 , ein Fußgänger, ein Radfahrer und/oder ein Hindernis für das Kraftfahrzeugs 1 ist. Eine weitere mögliche Aufgabe 10 kann vorsehen, dass die jeweilige Ergebnisinformation 11 zumindest beschreibt, ob das empfangene Echo 8 ein Objekt 6 beschreibt, das eine Höhe und/oder Breite aufweist, die kleiner als ein jeweiliger vorgegebener Minimalwert ist, oder die größer als oder gleich dem Minimalwert aber kleiner als oder gleich einem Zwischenwert ist, oder die größer als der Zwischenwert aber kleiner als oder gleich einem Maximalwert ist, oder die größer als der Maximalwert ist. Für die Breite kann ein anderer Minimalwert, Maximalwert und/oder Zwischenwert vorgegeben sein als für die Höhe. Der Minimalwert ist kleiner als der Zwischenwert und dieser ist kleiner als der Maximalwert. Die dritte Aufgabe 10 kann also zum Beispiel vier verschiedene Klassen unterscheiden, sodass durch Anwenden des künstlichen neuronalen Netzwerks 9 überprüft wird, welcher dieser vier höhenabhängigen und/oder Breitenabhängigen Klassen das Objekt 6 zuzuordnen ist. Bei den ersten beiden genannten Aufgaben 10 wurden jeweils nur zwei mögliche Klassen unterschieden, und zwar beispielsweise die Klasse „Echo echt“ und die Klasse „Rauschen“ beziehungsweise die Klasse „Objekt relevant für die vorgegebene Zielanwendung“ und die Klasse „Objekt nicht relevant für die vorgegebene Zielanwendung“. Die einzelnen Aufgaben 10 können von einem gemeinsamen künstlichen neuronalen Netzwerk 9 gelöst werden oder es kann für jede Aufgabe 10 ein eigenes künstliches neuronales Netzwerk 9 vorliegen. In diesem Fall können die Ergebnisinformationen 11 für mehrere künstliche neuronale Netzwerke 9 ermittelt und zum Beispiel anschließend miteinander verglichen werden. Es ist möglich, dass das künstliche neuronale Netzwerk 9 noch mehr Aufgaben 10 aufweist als die exemplarisch genannten.
In einem Verfahrensschritt S4 erfolgt ein Überprüfen, ob die ermittelten Ergebnisinformationen 11 das gleiche Ergebnis beschreiben. Es wird also überprüft, ob beispielsweise die beiden Echos 8 jeweils bei der ersten Aufgabe 10 das Ergebnis „Echo echt“ liefern oder nicht. Falls dies der Fall ist, das heißt, falls alle Ergebnisinformationen 11 das gleiche Ergebnis beschreiben, wird die Auswertung mittels des künstlichen neuronalen Netzwerks 9 in einem Verfahrensschritt S5 als zuverlässig bewertet. Es wird also festgestellt, dass sich das künstliche neuronale Netzwerk 9 zuverlässig dafür eignet, die Echos 8 auszuwerten und zu klassifizieren.
Falls dies im Verfahrensschritt S5 derart bewertet wurde, können in einem Verfahrensschritt S6 die ermittelten Ergebnisinformationen 11 der Funktion 4 des Kraftfahrzeugs 1 bereitgestellt werden. Es kann also daraufhin beispielsweise das Fahrerassistenzsystem als Funktion 4 unter Berücksichtigung der Ergebnisinformationen 11 und/oder der Echos 8, die vom Sensor 2 ermittelt und gegebenenfalls vom künstlichen neuronalen Netzwerk 9 ausgewertet wurden, betrieben werden.
Es kann vorgesehen sein, dass für die Ergebnisinformation 11 ein F-Maß, insbesondere ein F1 -Maß, ermittelt wird. Es wird daraufhin überprüft, ob das ermittelte F-Maß kleiner als ein Mindestwert ist. Falls dies der Fall ist, wird zumindest ein weiterer Puls 7 ausgesendet, der sich in mindestens einem Merkmal von den bisher ausgesendeten zumindest zwei Pulsen 7 unterscheidet. Für das zu dem weiteren Puls 7 erfasste Echo 8 wird ebenfalls die Ergebnisinformation 11 ermittelt und diese überprüft. Wird dann beispielsweise für den weiteren Puls 7 durch Auswerten des entsprechenden Echos 8 ein höheres F-Maß erzielt, kann dies gegebenenfalls dazu führen, dass das Auswerten durch das künstliche neuronale Netzwerk 9 als zuverlässig bewertet wird.
Es kann ferner ein Verfahrensschritt S7 vorgesehen sein, der voraussetzt, dass das künstliche neuronale Netzwerk auf das Lösen mehrerer Aufgaben 10 trainiert wurde. Es werden daraufhin die Ergebnisinformationen 11 für die mehreren Aufgaben 10 ermittelt. Es wird dann überprüft, ob für zumindest eine der mehreren Aufgaben 10 bei Überprüfen die ermittelten Ergebnisinformationen 11 nicht das gleiche Ergebnis beschreiben. In diesem Fall wird das Überprüfen erneut durchgeführt, wobei hierfür eine größere Anzahl an Pulsen 7 ausgesendet wird als zuvor. In einem Verfahrensschritt S8 werden hier daher rein exemplarisch fünf Pulse 7 ausgesendet und folglich fünf Echos 8 empfangen, die daraufhin dem künstlichen neuronalen Netzwerk 9 zum Lösen der jeweiligen Aufgaben 10 zugeführt werden, sodass beispielsweise pro Aufgabe 10 jeweils fünf Ergebnisinformationen 11 ermittelt werden, die daraufhin hinsichtlich ihres Ergebnisses miteinander verglichen werden können. Falls diese größere Anzahl von Pulsen 7 letztendlich dazu führt, dass alle Aufgaben 10 zuverlässig gelöst werden können und somit für jede Aufgabe 10 das künstliche neuronale Netzwerk 9 als zuverlässig bewertet wird, kann das Verfahren beendet werden und die Bewertung im Verfahrensschritt 5 aktualisiert werden. Ansonsten kann es vorgesehen sein, dass beispielsweise das gesamte neuronale Netzwerk 9 als nicht zuverlässig bewertet wird, da festgestellt wurde, dass zumindest eine der Aufgaben 10 des künstlichen neuronalen Netzwerks 9 nicht zuverlässig gelöst werden konnte.
Generell ist es möglich, dass das beschriebene Überprüfen, das heißt zumindest die Verfahrensschritte S1 bis S9, kontinuierlich wiederholt werden, während zum Beispiel der Sensor 2 in einem aktivierten Zustand ist. Es findet hierbei bevorzugt eine Wiederholung des Überprüfens in vorgegebenen Zeitabständen von beispielsweise 1 Minute, 2 Minuten, 3 Minuten, 5 Minuten oder insbesondere 10 Minuten statt. Der Zeitabstand zwischen zwei Überprüfungen kann hierbei abhängig von einer aktuellen Geschwindigkeit des Kraftfahrzeugs 1 sein. Je höher die Geschwindigkeit, desto häufiger kann beispielsweise das Überprüfen durchgeführt werden.
Insgesamt zeigen die Beispiele eine Qualitätsüberprüfung für Pulse Ranging Sensoren. Die zusätzliche und neuartige Lösung besteht darin, mit verschiedenen Echoformen von Echos 8 zu arbeiten. Das hier vorgeschlagene Prinzip besteht in der Durchführung von Messungen mit verschiedenen Echoformen. So werden zum Beispiel die Frequenz, die Dauer, die Form, der Sweep und so weiter variiert. Das Rauschen ist statistisch, aber das empfangene Echo 8 ist eine Funktion des Sendeimpulses (Puls 7). So kann nach mehreren Messungen eine eindeutige Klassifizierung erreicht werden (F1 -Maß = 1). Die Anzahl der Messungen und die Variation des Sendeimpulses werden durch eine parallele Messung des Signal-Rausch-Verhältnisses durchgeführt. Diese vorgeschlagene Lösung kann für jede Art von Puls-Echo-Detektionssensor angewendet werden.

Claims

Patentansprüche
1. Verfahren zum Überprüfen eines künstlichen neuronalen Netzwerks (9) zum Auswerten von mittels eines Sensors (2) erfassten Echos (8) für ein Kraftfahrzeug (1), umfassend:
- Aussenden (S1) von mindestens zwei Pulsen (7), die sich in mindestens einem Merkmal voneinander unterscheiden, mittels des Sensors (2);
- Erfassen (S2) von einem jeweiligen Echo (8) zu dem jeweiligen ausgesendeten Puls (7) mittels des Sensors (2); und
- für jedes der erfassten Echos (8), Ermitteln (S3) einer Ergebnisinformation (11) durch Anwenden des künstlichen neuronalen Netzwerks (9) auf das erfasste Echo (8), wobei die Ergebnisinformation (11) ein Ergebnis einer vorgegebenen Aufgabe (10) beschreibt, auf deren Lösen das künstliche neuronale Netzwerk (9) trainiert wurde; dadurch gekennzeichnet, dass überprüft wird (S4), ob die ermittelten Ergebnisinformationen (11) das gleiche Ergebnis beschreiben, und nur falls dies der Fall ist, eine Auswertung mittels des künstlichen neuronalen Netzwerks (9) als zuverlässig bewertet wird (S5).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass nur falls die Auswertung mittels des künstlichen neuronalen Netzwerks (9) als zuverlässig bewertet wird, die ermittelten Ergebnisinformationen (11) zumindest einer Funktion (4) des Kraftfahrzeugs (1), insbesondere einem Fahrerassistenzsystem des Kraftfahrzeugs (1), bereitgestellt werden (S6).
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das mindestens eine Merkmal, in dem sich die ausgesendeten Pulse (7) voneinander unterscheiden, eines von folgenden Merkmalen ist:
- eine Pulsdauer;
- eine Frequenz;
- eine Form; und/oder
- ein dem Puls (7) aufgeprägter Code.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die jeweilige Ergebnisinformation (11) ein F-Maß, insbesondere ein F1- Maß, ermittelt und überprüft wird, ob das ermittelte F-Maß kleiner als ein Mindestwert ist, wobei falls dies der Fall ist, zumindest ein weiterer Puls (7) ausgesendet wird, der sich in mindestens einem Merkmal von den bisher ausgesendeten zumindest zwei Pulsen (7) unterscheidet und für das zu dem weiteren Puls (7) erfasste Echo (8) die Ergebnisinformation (11) ermittelt und überprüft wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei das künstliche neuronale Netzwerk (9) auf das Lösen mehrerer Aufgaben (10) trainiert wurde und die Ergebnisinformationen (11) für die mehrere Aufgaben (10) ermittelt und überprüft werden, wobei falls für zumindest eine der mehreren Aufgaben (10) beim Überprüfen die ermittelten Ergebnisinformationen (11 ) nicht das gleiche Ergebnis beschreiben, das Überprüfen erneut durchgeführt wird, wobei für das erneute Überprüfen eine größere Anzahl an Pulsen (7) ausgesendet wird als zuvor.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Überprüfen des künstlichen neuronalen Netzwerks (9) während eines aktivierten Zustands des Sensors (2) in vorgegebenen Zeitabständen wiederholt wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der vorgegebene Zeitabstand zwischen zwei Überprüfungen abhängig von einer aktuellen Geschwindigkeit des Kraftfahrzeugs (1) ist, in dem der Sensor (2) angeordnet ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die jeweilige Ergebnisinformation (11) zumindest beschreibt, ob das erfasste Echo (8) echt oder Rauschen ist.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die jeweilige Ergebnisinformation (11) zumindest beschreibt, ob das erfasste Echo (8) ein Objekt (6) beschreibt, das relevant für eine vorgegebene Zielanwendung ist oder nicht.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die jeweilige Ergebnisinformation (11) zumindest beschreibt, ob das erfasste Echo (8) ein Objekt (6) beschreibt, das eine Höhe und/oder Breite aufweist, die kleiner als ein jeweiliger vorgegebener Minimalwert ist.
11 . Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die jeweilige Ergebnisinformation (11) zudem umfasst, ob das erfasste Echo (8) ein Objekt (6) beschreibt, das eine Höhe und/oder Breite aufweist, die größer als ein jeweiliger vorgegebener Maximalwert ist, wobei der Maximalwert größer als der Minimalwert ist.
12. Verfahren nach Anspruch 10 und 11 , dadurch gekennzeichnet, dass die jeweilige Ergebnisinformation (11) zudem umfasst, ob das erfasste Echo (8) ein Objekt (6) beschreibt, das eine Höhe und/oder Breite aufweist, die zwischen dem Minimalwert und dem Maximalwert liegt, insbesondere die zwischen dem Minimalwert und einem Zwischenwert, der zwischen dem Minimalwert und dem Maximalwert liegt, oder zwischen dem Zwischenwert und dem Maximalwert liegt.
13. Kraftfahrzeug (1) mit einem Sensor (2), dadurch gekennzeichnet, dass das Kraftfahrzeug (1) dazu ausgebildet ist:
- mittels des Sensors (2) mindestens zwei Pulse (7), die sich in mindestens einem Merkmal voneinander unterscheiden, auszusenden;
- mittels des Sensors (2) ein jeweiliges Echo (8) zu dem jeweiligen ausgesendeten Puls (7) zu erfassen,
- für jedes der erfassten Echos (8) eine Ergebnisinformation (11 ) durch Anwenden eines künstlichen neuronalen Netzwerks (9) auf das erfasste Echo (8) zu ermitteln, wobei die Ergebnisinformation (11 ) ein Ergebnis einer vorgegebenen Aufgabe (10) beschreibt, auf deren Lösen das künstliche neuronale Netzwerk (9) trainiert wurde,
- zu überprüfen, ob die ermittelten Ergebnisinformationen (11) das gleiche Ergebnis beschreiben, und
- falls dies der Fall ist, eine Auswertung mittels des künstlichen neuronalen Netzwerks (9) als zuverlässig zu bewerten.
14. Steuereinrichtung (3) für ein Kraftfahrzeugs (1 ), wobei die Steuereinrichtung (3) dazu ausgebildet ist, die für eine Steuereinrichtung (3) vorgesehenen Schritte eines Verfahrens nach einem der Ansprüche 1 bis 12 durchzuführen.
15. Computerprogrammprodukt umfassend Befehle, die bei der Ausführung des
Programms durch eine Steuereinrichtung (3) eines Kraftfahrzeugs (1 ) diese veranlassen, die für eine Steuereinrichtung (3) vorgesehenen Schritte eines Verfahrens nach einem der Ansprüche 1 bis 12 durchzuführen.
EP24700996.2A 2023-01-27 2024-01-17 Verfahren zum überprüfen eines künstlichen neuronalen netzwerks zum auswerten von mittels eines sensors erfassten echos für ein kraftfahrzeug Pending EP4655611A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023101976.7A DE102023101976A1 (de) 2023-01-27 2023-01-27 Verfahren zum Überprüfen eines künstlichen neuronalen Netzwerks zum Auswerten von mittels eines Sensors erfassten Echos für ein Kraftfahrzeug
PCT/EP2024/051013 WO2024156560A1 (de) 2023-01-27 2024-01-17 Verfahren zum überprüfen eines künstlichen neuronalen netzwerks zum auswerten von mittels eines sensors erfassten echos für ein kraftfahrzeug

Publications (1)

Publication Number Publication Date
EP4655611A1 true EP4655611A1 (de) 2025-12-03

Family

ID=89661641

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24700996.2A Pending EP4655611A1 (de) 2023-01-27 2024-01-17 Verfahren zum überprüfen eines künstlichen neuronalen netzwerks zum auswerten von mittels eines sensors erfassten echos für ein kraftfahrzeug

Country Status (5)

Country Link
EP (1) EP4655611A1 (de)
KR (1) KR20250139348A (de)
CN (1) CN120530337A (de)
DE (1) DE102023101976A1 (de)
WO (1) WO2024156560A1 (de)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004046589A1 (de) * 2004-08-05 2006-02-23 Volkswagen Ag Vorrichtung für ein Kraftfahrzeug
US11173921B2 (en) 2018-11-19 2021-11-16 Micron Technology, Inc. Sensor fusion to determine reliability of autonomous vehicle operation
DE102019218349A1 (de) 2019-11-27 2021-05-27 Robert Bosch Gmbh Verfahren zum Klassifizieren von zumindest einem Ultraschallecho aus Echosignalen
EP4095551A1 (de) 2021-05-28 2022-11-30 Infineon Technologies AG Verfahren und einrichtung zur auswertung von radarbildern und radarvorrichtung

Also Published As

Publication number Publication date
WO2024156560A1 (de) 2024-08-02
KR20250139348A (ko) 2025-09-23
DE102023101976A1 (de) 2024-08-01
CN120530337A (zh) 2025-08-22

Similar Documents

Publication Publication Date Title
EP2191293B1 (de) Objektklassifizierungsverfahren, einparkhilfeverfahren und einparkhilfesystem
EP1790519A1 (de) Verfahren und Vorrichtung zur Lenkradüberwachung
DE102018105875A1 (de) Verarbeitung von Radarsignalen
DE10252227A1 (de) Verfahren zur Ansteuerung von Rückhaltemitteln
EP3393875B1 (de) Verfahren zum verbesserten erkennen von objekten durch ein fahrerassistenzsystem
WO2018059817A1 (de) Verfahren zum erkennen eines objekts in einer umgebung eines kraftfahrzeugs unter berücksichtigung einer streuung von abstandswerten eines ultraschallsensors, steuergerät, fahrerassistenzsystem sowie kraftfahrzeug
DE102011109711A1 (de) Hands-On-Erkennung im Kraftfahrzeug
DE102019119586A1 (de) Ausrichtungs- und Einbaupositionserkennung von Ultraschallsensoren anhand einer statistischen Analyse von Bodenreflexionen
DE102012221591A1 (de) Verfahren und Vorrichtung zur Umfelderfassung eines Fahrzeugs
DE102018101324A1 (de) Verfahren zum Bestimmen einer Position eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs durch Aussenden eines Ultraschallsignals mit verschiedenen Frequenzen, Recheneinrichtung sowie Ultraschallsensorvorrichtung
DE3911830A1 (de) Verfahren und schaltung zur auswertung von kontinuierlich auftretenden zeitmarken
WO2024012928A1 (de) Verfahren zum trainieren eines neuronalen netzes
EP4308967A1 (de) Verfahren zum betreiben einer ultraschallsensorvorrichtung zum überwachen eines unterbodenbereichs eines kraftfahrzeugs, computerprogrammprodukt, computerlesbares speichermedium sowie ultraschallsensorvorrichtung
WO2019110541A1 (de) Verfahren zur abschätzung einer höhe eines objekts in einem umgebungsbereich eines kraftfahrzeugs mittels eines ultraschallsensors mit statistischer auswertung eines empfangssignals, steuergerät sowie fahrerassistenzsystem
WO2024156560A1 (de) Verfahren zum überprüfen eines künstlichen neuronalen netzwerks zum auswerten von mittels eines sensors erfassten echos für ein kraftfahrzeug
WO2020245178A1 (de) Verfahren und vorrichtung zum überwachen eines sensors zur umfelderfassung
DE102019128023A1 (de) Verfahren zum Klassifizieren der Höhe eines Objekts durch ein Fahrunterstützungssystem
EP4677393A1 (de) Verfahren zur erkennung eines lebewesens, auswerteeinheit und fahrzeug
DE102019123827A1 (de) Verfahren zum Klassifizieren des Bodenbelags durch ein Fahrunterstützungssystem
EP3018490B1 (de) Verfahren zur detektion einer interferenz in einem empfangssignal eines radarsensors eines kraftfahrzeugs, recheneinrichtung, fahrerassistenzsystem, kraftfahrzeug sowie computerprogrammprodukt
WO2021094065A1 (de) Verfahren zum betreiben eines abstandssensors eines fahrzeugs mit anpassung eines sendesignals in abhängigkeit von einer klassifizierung eines objekts, recheneinrichtung sowie sensorvorrichtung
EP3782868A2 (de) Verfahren zur kalibrierung eines geschwindigkeitssensors eines schienenfahrzeugs
DE102019120650B4 (de) Verfahren zum Erkennen eines blockierten Zustands einer Membran eines Ultraschallsensors eines Fahrzeugs durch Auswertung von statistischen Momenten einer Amplitudenverteilung, Recheneinrichtung sowie Ultraschallsensorvorrichtung
DE102018124055A1 (de) Verfahren zum Bestimmen eines Abstands eines Objekts in einem Ausschwingbereich eines Ultraschallsensors, Computerprogrammprodukt, elektronische Recheneinrichtung sowie Ultraschallsensor
WO2020239450A1 (de) Verfahren zum erkennen eines objekts in einem nahbereich einer umgebung eines fahrzeugs durch auswertung von statistischen parametern einer einhüllenden eines sensorsignals eines ultraschallsensors sowie ultraschallsensorvorrichtung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250708

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)