EP4168999A1 - Verfahren zur unterstützung eines betriebs eines fahrzeuges mit einer sensoreinheit, computerprogrammprodukt sowie system - Google Patents

Verfahren zur unterstützung eines betriebs eines fahrzeuges mit einer sensoreinheit, computerprogrammprodukt sowie system

Info

Publication number
EP4168999A1
EP4168999A1 EP22747600.9A EP22747600A EP4168999A1 EP 4168999 A1 EP4168999 A1 EP 4168999A1 EP 22747600 A EP22747600 A EP 22747600A EP 4168999 A1 EP4168999 A1 EP 4168999A1
Authority
EP
European Patent Office
Prior art keywords
sensor data
evaluation
sensor
behavior
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22747600.9A
Other languages
English (en)
French (fr)
Inventor
Serin VARGHESE
Jan David Schneider
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP4168999A1 publication Critical patent/EP4168999A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the invention relates to a method for supporting the operation of a vehicle with a sensor unit for acquiring sensor data for evaluation in a trained, artificial neural network, a computer program product and a system.
  • the quality of the sensor data is often not stable during operation of the vehicle due to various environmental influences. For example, disturbances such as fog, snow and/or heavy rain can lead to reduced data quality. If these disturbances are not recognized, this can lead to misinterpretations by the neural network. In particular, if the sensor data is to be interpreted for autonomous driving or for driver assistance systems, it is therefore desirable to recognize disruptions in sensor data.
  • a method for supporting operation of a vehicle has a sensor unit for acquiring sensor data that is intended for evaluation in a trained, artificial neural network.
  • the artificial neural network has a large number of network elements for intermediate evaluations of the sensor data, in particular within the neural network.
  • the procedure also includes the following steps:
  • the vehicle can advantageously be operated in an at least partially automated operating mode with a driver assistance system and/or in an autonomous operating mode.
  • the sensor unit can include one or more vehicle sensors.
  • the sensor unit includes a forward-looking sensor system for detecting a vehicle environment of the vehicle.
  • the sensor data can be image data, radar data and/or lidar data, for example.
  • the neural network can also be referred to as a neural network.
  • the neural network is in particular a so-called deep neural network.
  • the neural network is preferably a machine-learning-based network with a plurality, preferably three or more, layers and/or parameters for processing input data and for outputting output data.
  • the neural network can preferably be implemented in the processing unit in a trained form.
  • the neural network can be part of a recognition module of the processing unit.
  • the neural network can of a development process must be trained using reference data from the sensor data in order to be able to recognize the event.
  • the event can preferably be an event in a vehicle environment during operation of the vehicle.
  • the event may include an appearance of another road user, such as a pedestrian or another vehicle.
  • the event when the event is recognized, a traffic sign that the vehicle is approaching is recognized.
  • object recognition can be carried out when evaluating the sensor data for recognizing the event.
  • boxes can be rendered around objects in the vehicle environment.
  • the sensor data can preferably be classified according to events during the evaluation.
  • the sensor data when evaluating the sensor data, the sensor data can be evaluated pixel by pixel. The evaluation of the sensor data can be carried out completely until an overall evaluation is established.
  • the evaluation of the sensor data to be interrupted if a sensor fault is detected when the sensor data is being evaluated.
  • the network elements can be network nodes of the neural network, for example.
  • the network elements can preferably include kernels, network layers, network filters and/or weights of the neural network.
  • the intermediate evaluations can include scalars, for example, which are output by the network elements when evaluating the sensor data.
  • the evaluation behavior of the intermediate evaluations of part or all of the network elements of the neural network can be monitored, in particular analyzed.
  • the presence of the sensor fault can be checked and/or determined. For example, it can be determined whether the presence of the sensor fault is sufficiently probable based on the evaluation behavior.
  • the sensor data can be classified into sensor data with and/or without interference, or into stable and/or unstable sensor data. It is therefore conceivable that when evaluating the sensor data it is determined whether the neural network has a high error rate when evaluating the sensor data due to the data quality of the sensor data.
  • the sensor fault can in particular be an external fault in the sensor data.
  • the sensor malfunction can be caused by weather influences in the vehicle environment.
  • the sensor disturbance may include fog, heavy rain, and/or the like.
  • the response action may include affecting the operation of the vehicle.
  • the reaction measure includes a message to the driver of the vehicle in order to inform the driver that the sensor unit is faulty.
  • the reaction measure can include a request for further sensor data in order to validate or falsify the sensor fault.
  • the neural network itself can thus be analyzed in order to identify the sensor malfunction based on the behavior of the neural network.
  • an incorrect behavior of the neural network can be detected and/or predicted.
  • misinterpretations of the sensor data can be avoided, which improves safety when operating the vehicle.
  • the method comprises the following step:
  • Identifying key elements of the multiplicity of network elements in particular by the computing unit, a server and/or the vehicle.
  • the interim evaluations of the key elements are preferably monitored.
  • the key elements can be understood to mean, in particular, sensitive network elements whose intermediate evaluations behave in a characteristic manner when there is a sensor fault. In particular, only the interim evaluations of the key elements can be monitored when monitoring the evaluation behavior. A required computing capacity can thereby be reduced. It is conceivable that the identification of the key elements takes place in a separate process. However, it is also conceivable that a collection, in particular in the form of a list and/or a catalogue, of the key elements is obtained from the vehicle in order to identify the key elements. For example, the collection of the key elements can be provided by a server. A behavior of the interim evaluations of the key elements can thus represent a characteristic for detecting the sensor fault. Furthermore, by identifying the key elements, the required computing power when monitoring the evaluation behavior and/or when evaluating the sensor data can be reduced.
  • a calibration process is carried out to identify the key elements and/or to evaluate the sensor data, in which reference data affected by interference and reference data free of interference are evaluated by the neural network, preferably with the Calibration process behavioral deviations of the interim evaluations are recorded when evaluating the noisy and no-noise reference data.
  • the calibration process can be performed iteratively.
  • the reference data affected by interference can be understood to mean exemplary sensor data that have a sensor fault, as a result of which the evaluation of the sensor data is incorrect or error-prone.
  • the error-free reference data can be understood to mean exemplary sensor data which, when the sensor data is evaluated, lead to an error-free overall result or an overall result within a tolerance range.
  • a further artificial neural network can be trained during the calibration process in that the further neural network receives the intermediate evaluations and the reference data as input data in order to output output data in the form of an evaluation for detecting the sensor fault and/or the key elements.
  • the calibration process can thus improve accuracy when detecting the sensor malfunction.
  • the calibration process is carried out by a server, with the evaluation of the sensor data, the monitoring of the evaluation behavior and the evaluation of the sensor data being carried out by the vehicle.
  • the identified key elements, the neural network and/or an architecture of the neural network can be transmitted from the server to the vehicle. This allows the results of the calibration process to be made available to multiple vehicles. Furthermore, a computing load in the vehicle can be reduced as a result. Because the vehicle is responsible for evaluating the sensor data, monitoring the evaluation behavior and evaluating the sensor data, the sensor data can be evaluated in real time in the vehicle at the same time, in order to be able to react quickly in a particularly critical driving situation.
  • the key elements can be weighted when identifying the key elements, with the weighting being taken into account when evaluating the sensor data.
  • the weighting can, for example, include weighting factors when evaluating the sensor data for detecting the sensor fault.
  • the weights can be set during the calibration process. For example, it can be recognized during the calibration process that the behavior of the interim evaluations of certain key elements has a stronger influence on the evaluation of the sensor data with regard to the sensor disturbance than the behavior of the interim evaluations of other key elements. This can be done by weighting are taken into account, which means that the sensor fault can be detected with greater accuracy.
  • an averaging for several intermediate evaluations takes place.
  • the interim evaluations can be averaged for several network elements.
  • an averaging takes place. This can reduce the influence of measurement errors, for example.
  • the evaluation behavior is compared with a reference behavior of the intermediate evaluations, with at least one limit value for a deviation of the evaluation behavior from the reference behavior for detecting the sensor fault, i.e. in particular for Recognizing the presence of the sensor malfunction is specified.
  • the reference behavior can be determined during the calibration process using the interference-free reference data.
  • the limit value can be determined during the calibration process on the basis of the noisy reference data, in particular by comparing the evaluation behavior when evaluating the noisy and no-noise reference data. For example, provision can be made for the sensor fault to be detected when the limit value is reached or exceeded. In particular, several limit values can be specified for the interim evaluations. An advantageous detection of the sensor fault can thus be implemented.
  • the sensor data can be classified with regard to a fault classification when the sensor data are evaluated, with the reaction measure taking place as a function of the fault classification.
  • the fault classification can include the type of sensor fault. So it is conceivable that sensor data with fog receive a different fault classification than sensor data with heavy rain.
  • the reaction measure can thus be carried out individually for the fault classification. It can e.g. B. be provided that the reaction measure includes a control of driver assistance systems depending on the fault classification. In particular, a predetermined driver assistance system can be activated for a specific fault classification.
  • the reaction measure comprises a validation process for validating the assessment and/or the evaluation of the sensor data. Through the validation process, an intervention in the driving behavior of the vehicle can be avoided or postponed. In this way, in particular, additional security can be gained when detecting the sensor fault.
  • the validation process includes feeding the sensor data into a further, artificial neural network, which is trained to evaluate sensor data of the fault classification in order to recognize the event.
  • the further neural network can be specialized in the evaluation of sensor data that is disturbed by fog.
  • sensor data that exhibit a sensor fault can also be evaluated with regard to the event.
  • the further neural network can be implemented in the vehicle or in the server.
  • the validation process includes feeding the sensor data into several, further, trained artificial neural networks, with a consolidation process being carried out in order to obtain an overall evaluation of the sensor data with regard to the event and/or with regard to the sensor malfunction.
  • the evaluation behavior of intermediate evaluations of the further neural networks can be monitored and the sensor data can be evaluated for detecting the sensor fault as a function of the evaluation behavior of all further neural networks.
  • the evaluation can take into account whether a majority of the other neural networks classify the sensor data as being subject to interference or free of interference.
  • the additional neural networks can be trained using different training data.
  • the evaluation behavior of the intermediate evaluations of the other neural networks can differ.
  • errors in detecting the sensor malfunction can be detected and/or the accuracy in detecting the sensor malfunction can be improved.
  • the reaction measure includes an automatic triggering of a driving maneuver of the vehicle.
  • a driver assistance system of the vehicle can be activated.
  • the speed of the vehicle can be reduced and/or a driving maneuver can be carried out, in particular to carry out an emergency stop of the vehicle.
  • safe operation of the vehicle take place by intervening in normal operation of the vehicle when the sensor fault is detected, in order to avoid incorrect behavior of the vehicle due to an incorrect evaluation by the neural network caused by the sensor fault.
  • a computer program product includes instructions which, when executed by a processing unit, cause the processing unit to carry out a method according to the invention.
  • a computer program product thus entails the same advantages as have already been described in detail with reference to a method according to the invention.
  • the method can in particular be a computer-implemented method.
  • the computer program product may be implemented as computer-readable instruction code in any suitable programming language, such as JAVA, C++, C# and/or Python.
  • the computer program product can be stored on a computer-readable storage medium such as a data disk, a removable drive, a volatile or non-volatile memory, or a built-in memory/processor.
  • the instruction code can influence and/or control a computer or other programmable device such as a controller in such a way that the desired functions are carried out.
  • the computer program product can be made available or made available on a network such as the Internet, from which it can be downloaded by a user when required.
  • the computer program product can be implemented both by means of software and by means of one or more special electronic circuits, i. H. in hardware or in any hybrid form, i. H. by means of software components and hardware components.
  • a system has a vehicle with a sensor unit for acquiring sensor data. Furthermore, the system includes a computing unit for executing a method according to the invention.
  • the computing unit can advantageously have a processor and/or microprocessor. Furthermore, the computing unit can be integrated into the vehicle and/or a server. In particular, the arithmetic unit can have a number of arithmetic modules which are distributed in a decentralized manner. For example, a computing module of the computing unit in the vehicle and another computing module Arithmetic unit to be integrated into the server.
  • the vehicle preferably has a driver assistance system for automatically carrying out a driving maneuver.
  • FIG. 1 shows an artificial neural network
  • FIG. 2 shows a method according to the invention for supporting operation of a vehicle
  • FIG. 3 a validation process of the method
  • FIG. 4 a system with the vehicle
  • FIGS. 5, 6 reference data for a calibration process of the method.
  • FIG. 1 shows a trained, artificial neural network 10 for evaluating 103 sensor data 200 from a sensor unit 4 of a vehicle 2.
  • a system 1 according to the invention with the vehicle 2 and the sensor unit 4 is shown in FIG.
  • the neural network 10 can be implemented in a computing unit 3 .
  • the processing unit 3 is preferably integrated into the vehicle 2 and/or a server 5 .
  • the neural network 10 has a large number of network elements 11 for intermediate evaluations 210 for evaluating the sensor data 200 .
  • the network elements 11 can include network layers, network filters and/or weightings of the neural network 10, for example.
  • FIG. 2 shows a method 100 according to the invention for supporting the operation of the vehicle 2 with the sensor unit 4 in a schematic representation of method steps.
  • Method 100 is preferably executed by computing unit 3 .
  • a computer program product is advantageously provided for this purpose, which comprises instructions which, when executed by the processing unit 3, cause the processing unit 3 to carry out the method 100.
  • the method 100 comprises providing 102 the sensor data 200 for the neural network 10 and evaluating 103 the sensor data 200 for detecting the event by the neural network 10.
  • the event may be an occurrence of an object, such as B. another road user, act in a vehicle environment.
  • an identification 101 of key elements 11.1 of the multiplicity of network elements 11 is provided.
  • a calibration process 101.1 is carried out, in which reference data 201 subject to interference and reference data 202 free of interference are evaluated by the neural network 10.
  • the reference data 201, 202 can include image data.
  • An example of undisturbed reference data 202 is shown in FIG. 5, while an example of noisy reference data 201 with a sensor disturbance in the form of rain is shown in FIG.
  • the interference-free reference data 202 can correspond to the training data of the neural network 10, for example. Provision can be made for further reference parameters 203 to be fed into the neural network 10 during the calibration process 101.1.
  • the sensor malfunction can therefore be an external malfunction, e.g. B. an environmental impact act.
  • deviations in behavior of the intermediate evaluations 210 are recorded during the evaluation 103 of the reference data 201, 202 with and without interference.
  • a characteristic behavior of the neural network 10 in the form of characteristic interim evaluations 210 or a characteristic change in the interim evaluations 210 can be identified in order to identify the sensor malfunction.
  • the key elements 11.1 can preferably also be weighted, with key elements 11.1, for example, whose intermediate evaluations 210 behave more characteristically compared to other key elements 11.1, being given greater weight for detecting the sensor fault. In this way, in particular, a number of the key elements 11.1 can be reduced.
  • the method 100 also monitors 104 an evaluation behavior of the intermediate evaluations 210 during the evaluation 103 of the sensor data 200.
  • the intermediate evaluations 210 of the key elements 11.1 which have the characteristic behavior in the event of the sensor fault are monitored.
  • an evaluation 105 of the sensor data 200 for detecting the sensor fault as a function of the evaluation behavior, in particular taking into account the weighting of the key elements 11.1.
  • an averaging in particular over time and/or across elements, can be carried out for a plurality of intermediate evaluations 210 .
  • the sensor fault is detected during the evaluation 105 of the sensor data 200 in particular by comparing the evaluation behavior with a reference behavior of the intermediate evaluations 210 .
  • the reference behavior can be derived from the reference data 201, 202, which are in particular free of interference.
  • the sensor fault is detected in particular when the limit value 212 is reached or exceeded.
  • a plurality of limit values 212 are provided, through which a tolerance corridor is formed, in which the sensor data 200 is considered to be error-free. Provision can be made for the sensor data 200 to be classified with regard to a fault classification 213 .
  • the calibration process 101.1 is preferably carried out by the server 5 and the evaluation 103 of the sensor data 200, the monitoring 104 of the evaluation behavior and the evaluation 105 of the sensor data 200 by the vehicle 2 executed.
  • the server 5 and the vehicle 2 can each include computing modules of the computing unit 3 .
  • a reaction measure 106 is carried out, such as B. an automatic triggering of a driving maneuver of the vehicle 2 by a driver assistance system 6.
  • the vehicle 2 can be braked if the sensor malfunction is present in order to avoid impairment of the vehicle 2 by a misinterpretation of the sensor data 200.
  • the reaction measure 106 includes a validation process 106.1 for validating the evaluation and/or the evaluation of the sensor data 200.
  • the validation process 106.1 can include feeding the sensor data 200 into a further, artificial neural network 10.1.
  • the additional artificial neural network 10.1 can be specially trained to recognize the event when evaluating 103 sensor data 200 of the fault classification 213.
  • the validation process 106.1 can include feeding the sensor data 200 into a plurality of further trained artificial neural networks 10.2.
  • a consolidation process is carried out by the additional, trained artificial neural networks 10.2 in order to obtain an overall evaluation of the sensor data 200 with regard to the event and/or with regard to the sensor malfunction.
  • the neural network 10 By monitoring 104 the evaluation behavior, the neural network 10 itself can thus be analyzed to identify the sensor fault. As a result, an incorrect behavior of the neural network 10 can be detected and/or predicted in order to avoid misinterpretation of the sensor data 200 . As a result, the safety of the vehicle 2, in particular in an at least partially automated or autonomous driving mode, can be improved, in particular without a high computing capacity being required in the vehicle 2.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (100) zur Unterstützung eines Betriebs eines Fahrzeuges (2) mit einer Sensoreinheit (4) zum Erfassen von Sensordaten (200) für eine Auswertung in einem trainierten, künstlichen neuronalen Netz (10) mit einer Vielzahl von Netzelementen (11) für Zwischenauswertungen (210) der Sensordaten (200), umfassend folgende Schritte: Bereitstellen (102) der Sensordaten (200) für das neuronale Netz (10), Auswerten (103) der Sensordaten (200) durch das neuronale Netz (10) hinsichtlich eines Ereignisses. Ferner betrifft die Erfindung ein Computerprogrammprodukt, sowie ein System (1).

Description

Beschreibung
Verfahren zur Unterstützung eines Betriebs eines Fahrzeuges mit einer Sensoreinheit, Computerprogrammprodukt sowie System
Die Erfindung betrifft ein Verfahren zur Unterstützung eines Betriebs eines Fahrzeuges mit einer Sensoreinheit zum Erfassen von Sensordaten zur Auswertung in einem trainierten, künstlichen neuronalen Netz, ein Computerprogrammprodukt sowie ein System.
Der Einsatz von künstlichen, neuronalen Netzen zur Analyse von Daten ist aus dem Stand der Technik grundsätzlich bekannt. Aus der US 2016/0328643 A1 ist es beispielsweise bekannt, Bilddaten durch ein neuronales Netz auszuwerten, wobei ein Verhalten des Netzes analysiert wird, um Vereinfachungen des neuronalen Netzes zu ermöglichen.
Insbesondere beim Einsatz von neuronalen Netzen zur Analyse von Sensordaten für ein Fahrzeug, ist die Qualität der Sensordaten beim Betrieb des Fahrzeuges aufgrund verschiedener Umwelteinflüsse jedoch häufig nicht stabil. Beispielsweise können Störungen, wie Nebel, Schnee und/oder Starkregen, zu einer reduzierten Datenqualität führen. Werden diese Störungen nicht erkannt, kann dies zu Fehlinterpretationen durch das neuronale Netz führen. Insbesondere, wenn die Sensordaten zum autonomen Fahren oder für Fahrassistenzsysteme interpretiert werden sollen, ist es daher wünschenswert, Störungen von Sensordaten zu erkennen.
Es ist eine Aufgabe der vorliegenden Erfindung, voranstehende, aus dem Stand der Technik bekannte Nachteile zumindest teilweise zu beheben. Insbesondere ist es eine Aufgabe der vorliegenden Erfindung, eine Sicherheit bei einem Betrieb eines Fahrzeuges in Hinblick auf Sensorstörungen, vorzugsweise bei einem geringen Rechenaufwand, zu verbessern.
Die voranstehende Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1, ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 14, sowie ein System mit den Merkmalen des Anspruchs 15. Weitere Merkmale und Details der Erfindung ergeben sich aus den jeweiligen Unteransprüchen, der Beschreibung und den Zeichnungen. Dabei gelten Merkmale und Details, die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben sind, selbstverständlich auch im Zusammenhang mit dem erfindungsgemäßen Computerprogrammprodukt und/oder dem erfindungsgemäßen System und jeweils umgekehrt, so dass bezüglich der Offenbarung zu den einzelnen Erfindungsaspekten stets wechselseitig Bezug genommen wird bzw. werden kann.
Gemäß einem ersten Aspekt der Erfindung ist ein Verfahren zur Unterstützung eines Betriebs eines Fahrzeuges vorgesehen. Das Fahrzeug weist eine Sensoreinheit zum Erfassen von Sensordaten auf, die für eine Auswertung in einem trainierten, künstlichen neuronalen Netz vorgesehen sind. Das künstliche neuronale Netz weist eine Vielzahl von Netzelementen für Zwischenauswertungen der Sensordaten, insbesondere innerhalb des neuronalen Netzes, auf. Das Verfahren umfasst ferner folgende Schritte:
Bereitstellen der Sensordaten für das neuronale Netz, insbesondere durch die Sensoreinheit,
- Auswerten der Sensordaten zum Erkennen zumindest eines Ereignisses durch das neuronale Netz, insbesondere im Fahrzeug,
Überwachen eines Auswerteverhaltens der Zwischenauswertungen beim Auswerten der Sensordaten, insbesondere durch eine Recheneinheit,
Bewerten der Sensordaten zum Erkennen einer Sensorstörung in Abhängigkeit von dem Auswerteverhalten, insbesondere durch die Recheneinheit,
Durchführen einer Reaktionsmaßnahme in Abhängigkeit von dem Bewerten der Sensordaten, insbesondere durch die Recheneinheit und/oder ein Fahrassistenzsystem des Fahrzeuges.
Das Fahrzeug kann vorteilhafterweise in einem zumindest teilweise automatisierten Betriebsmodus mit einem Fahrassistenzsystem und/oder in einem autonomen Betriebsmodus betrieben werden. Die Sensoreinheit kann einen oder mehrere Fahrzeugsensoren umfassen. Insbesondere umfasst die Sensoreinheit eine vorausschauende Sensorik zum Erfassen einer Fahrzeugumgebung des Fahrzeuges. Bei den Sensordaten kann es sich z.B. um Bilddaten, Radardaten und/oder Lidardaten handeln.
Das neuronale Netz kann auch als neuronales Netzwerk bezeichnet werden. Bei dem neuronalen Netz handelt es sich insbesondere um ein sog. deep neural network. Vorzugsweise ist das neuronale Netz ein machine-learning basiertes Netzwerk mit mehreren, vorzugsweise drei oder mehr, Schichten und/oder Parametern zur Verarbeitung von Eingangsdaten und zur Ausgabe von Ausgangsdaten. Das neuronale Netz kann vorzugsweise in trainierter Form in die Recheneinheit implementiert sein. Dabei kann das neuronale Netz Teil eines Erkennungsmoduls der Recheneinheit sein. Beispielsweise kann das neuronale Netz während eines Entwicklungsprozesses durch Referenzdaten der Sensordaten trainiert sein, um das Ereignis erkennen zu können. Bei dem Ereignis kann es sich vorzugsweise um ein Ereignis in einer Fahrzeugumgebung bei dem Betrieb des Fahrzeuges handeln. Beispielsweise kann unter dem Ereignis ein Erscheinen eines anderen Verkehrsteilnehmers, wie eines Fußgängers oder eines anderen Fahrzeuges, umfassen. Es ist jedoch ebenso denkbar, dass beim Erkennen des Ereignisses ein Verkehrsschild erkannt wird, welchem sich das Fahrzeug nähert. Insbesondere kann vorgesehen sein, dass beim Auswerten der Sensordaten zum Erkennen des Ereignisses eine Objekterkennung ausgeführt wird. Dazu kann ein Rendern von Boxen um Objekte in der Fahrzeugumgebung erfolgen. Vorzugsweise können die Sensordaten beim Auswerten nach Ereignissen klassifiziert werden. Insbesondere kann beim Auswerten der Sensordaten eine pixelweise Auswertung der Sensordaten erfolgen. Das Auswerten der Sensordaten kann vollständig durchgeführt werden, bis eine Gesamtauswertung feststeht. Es ist jedoch ebenso denkbar, dass das Auswerten der Sensordaten unterbrochen wird, wenn eine Sensorstörung beim Bewerten der Sensordaten erkannt wird.
Die Netzelemente können beispielsweise Netzknoten des neuronalen Netzes sein. Vorzugsweise können die Netzelemente Kernel, Netzschichten, Netzfilter und/oder Gewichtungen des neuronalen Netzes umfassen. Die Zwischenauswertungen können beispielsweise Skalare umfassen, die von den Netzelementen beim Auswerten der Sensordaten ausgegeben werden. Beim Überwachen des Auswerteverhaltens kann das Auswerteverhaltens der Zwischenauswertungen eines Teils oder aller Netzelemente des neuronalen Netzes überwacht, insbesondere analysiert, werden. Beim Bewerten der Sensordaten zum Erkennen der Sensorstörung kann insbesondere ein Vorhandensein der Sensorstörung überprüft und/oder bestimmt werden. Beispielsweise kann festgestellt werden, ob das Vorhandensein der Sensorstörung anhand des Auswerteverhaltens hinreichend wahrscheinlich ist. Insbesondere können die Sensordaten beim Bewerten in störungsbehaftete und/oder störungsfreie oder in stabile und/oder instabile Sensordaten klassifiziert werden. Es ist somit denkbar, dass beim Bewerten der Sensordaten festgestellt wird, ob das neuronale Netz beim Auswerten der Sensordaten aufgrund einer Datenqualität der Sensordaten eine hohe Fehlerquote aufweist.
Bei der Sensorstörung kann es sich insbesondere um eine externe Störung der Sensordaten handeln. Insbesondere kann die Sensorstörung durch einen Wettereinfluss der Fahrzeugumgebung bedingt sein. Beispielsweise kann die Sensorstörung einen Nebel, einen Starkregen und/oder dergleichen umfassen. Die Reaktionsmaßnahme kann ein Einwirken auf den Betrieb des Fahrzeuges umfassen. Es ist jedoch ebenso denkbar, dass die Reaktionsmaßnahme einen Hinweis an den Fahrer des Fahrzeuges umfasst, um dem Fahrer mitzuteilen, dass die Sensoreinheit gestört ist. Weiterhin kann die Reaktionsmaßnahme eine Anforderung weiterer Sensordaten umfassen, um die Sensorstörung zu validieren oder zu falsifizieren.
Durch das Überwachen des Auswerteverhaltens kann somit das neuronale Netz selbst analysiert werden, um anhand des Verhaltens des neuronalen Netzes die Sensorstörung zu erkennen. Dadurch kann ein Fehlverhalten des neuronalen Netzes erkannt und/oder vorhergesagt werden. Dadurch können Fehlinterpretationen der Sensordaten vermieden werden, wodurch eine Sicherheit beim Betrieb des Fahrzeuges verbessert wird.
Es ist ferner bei einem erfindungsgemäßen Verfahren denkbar, dass das Verfahren folgenden Schritt umfasst:
Identifizieren von Schlüsselelementen der Vielzahl der Netzelemente, insbesondere durch die Recheneinheit, einen Server und/oder das Fahrzeug.
Vorzugsweise werden beim Überwachen des Auswerteverhaltens die Zwischenauswertungen der Schlüsselelemente überwacht. Unter den Schlüsselelementen können insbesondere sensitive Netzelemente verstanden werden, deren Zwischenauswertungen sich bei Vorliegen einer Sensorstörung charakteristisch verhalten. Insbesondere können beim Überwachen des Auswerteverhaltens nur die Zwischenauswertungen der Schlüsselelemente überwacht werden. Dadurch kann eine erforderliche Rechenkapazität reduziert werden. Es ist denkbar, dass das Identifizieren der Schlüsselelemente in einem separaten Prozess erfolgt. Es ist jedoch ebenso denkbar, dass zum Identifizieren der Schlüsselelemente eine Sammlung, insbesondere in Form einer Liste und/oder eines Kataloges, der Schlüsselelemente vom Fahrzeug erhalten wird. Beispielsweise kann die Sammlung der Schlüsselelemente durch einen Server bereitgestellt werden. Somit kann ein Verhalten der Zwischenauswertungen der Schlüsselelemente ein Charakteristikum zum Erkennen der Sensorstörung darstellen. Ferner kann durch das Identifizieren der Schlüsselelemente eine erforderliche Rechenleistung beim Überwachen des Auswerteverhaltens und/oder beim Bewerten der Sensordaten reduziert werden.
Es ist ferner bei einem erfindungsgemäßen Verfahren denkbar, dass zum Identifizieren der Schlüsselelemente und/oder zum Bewerten der Sensordaten ein Kalibrierungsvorgang ausgeführt wird, bei welchem störungsbehaftete Referenzdaten und störungsfreie Referenzdaten durch das neuronale Netz ausgewertet werden, vorzugsweise wobei beim Kalibrierungsvorgang Verhaltensabweichungen der Zwischenauswertungen beim Auswerten der störungsbehafteten und störungsfreien Referenzdaten erfasst werden. Der Kalibrierungsvorgang kann iterativ durchgeführt werden. Unter den störungsbehafteten Referenzdaten können exemplarische Sensordaten verstanden werden, die eine Sensorstörung aufweisen, durch welche das Auswerten der Sensordaten fehlerhaft oder fehleranfällig erfolgt. Unter den störungsfreien Referenzdaten können exemplarische Sensordaten verstanden werden, die beim Auswerten der Sensordaten zu einem fehlerfreien Gesamtergebnis oder einem Gesamtergebnis innerhalb eines Toleranzbereiches führen. Beispielsweise kann ein weiteres künstliches neuronales Netz beim Kalibrierungsvorgang trainiert werden, indem das weitere neuronale Netz die Zwischenauswertungen und die Referenzdaten als Eingangsdaten erhält, um Ausgangsdaten in Form einer Bewertung zum Erkennen der Sensorstörung und/oder die Schlüsselelemente auszugeben. Durch den Kalibrierungsvorgang kann somit eine Genauigkeit beim Erkennen der Sensorstörung verbessert werden.
Weiterhin ist es bei einem erfindungsgemäßen Verfahren denkbar, dass der Kalibrierungsvorgang durch einen Server ausgeführt wird, wobei das Auswerten der Sensordaten, das Überwachen des Auswerteverhaltens und das Bewerten der Sensordaten durch das Fahrzeug erfolgt. Dazu können die identifizierten Schlüsselelemente, das neuronale Netz und/oder eine Architektur des neuronalen Netzes vom Server an das Fahrzeug übertragen werden. Dadurch können mehreren Fahrzeugen die Ergebnisse des Kalibrierungsvorgangs bereitgestellt werden. Ferner kann dadurch eine Rechenlast im Fahrzeug reduziert werden. Dadurch, dass das Auswerten der Sensordaten, das Überwachen des Auswerteverhaltens und das Bewerten der Sensordaten durch das Fahrzeug erfolgt, kann gleichzeitig eine Echtzeit- Bewertung der Sensordaten im Fahrzeug erfolgen, um in einer, insbesondere kritischen, Fahrsituation schnell reagieren zu können.
Es ist ferner bei einem erfindungsgemäßen Verfahren denkbar, dass beim Identifizieren der Schlüsselelemente eine Wichtung der Schlüsselelemente erfolgt, wobei die Wichtung beim Bewerten der Sensordaten berücksichtigt wird. Die Wichtung kann beispielsweise Gewichtungsfaktoren beim Bewerten der Sensordaten zum Erkennen der Sensorstörung umfassen. Die Wichtungen können beim Kalibrierungsvorgang festgelegt werden. Beispielsweise kann beim Kalibrierungsvorgang erkannt werden, dass ein Verhalten der Zwischenauswertungen von bestimmten Schlüsselelementen einen stärkeren Einfluss auf die Bewertung der Sensordaten hinsichtlich der Sensorstörung hat, als ein Verhalten der Zwischenauswertungen von anderen Schlüsselelementen. Dies kann durch die Wichtung berücksichtigt werden, wodurch das Erkennen der Sensorstörung mit einer höheren Genauigkeit erfolgen kann.
Ferner kann bei einem erfindungsgemäßen Verfahren vorteilhafterweise vorgesehen sein, dass beim Bewerten der Sensordaten und/oder beim Überwachen eines Auswerteverhaltens der Zwischenauswertungen eine Mittelung für mehrere Zwischenauswertungen erfolgt. Die Mittelung der Zwischenauswertungen kann für mehrere Netzelemente erfolgen. Es ist jedoch ebenso denkbar, dass bei der Mittelung zeitlich aufeinanderfolgende Zwischenauswertungen für jedes Netzelement oder Schlüsselelement eine Mittelwertbildung erfolgt. Dadurch kann beispielsweise ein Einfluss von Messfehlern reduziert werden.
Vorzugsweise kann bei einem erfindungsgemäßen Verfahren vorgesehen sein, dass beim Bewerten der Sensordaten ein Vergleich des Auswerteverhaltens mit einem Referenzverhalten der Zwischenauswertungen erfolgt, wobei für die Bewertung der Sensordaten zumindest ein Grenzwert für eine Abweichung des Auswerteverhaltens von dem Referenzverhalten zum Erkennen der Sensorstörung, d.h. insbesondere zum Erkennen eines Vorliegens der Sensorstörung, vorgegeben wird. Das Referenzverhalten kann beim Kalibrierungsvorgang anhand der störungsfreien Referenzdaten ermittelt werden. Der Grenzwert kann beim Kalibrierungsvorgang anhand der störungsbehafteten Referenzdaten, insbesondere durch einen Vergleich des Auswerteverhaltens bei einer Auswertung der störungsbehafteten und störungsfreien Referenzdaten ermittelt werden. Beispielsweise kann vorgesehen sein, dass die Sensorstörung erkannt wird, wenn der Grenzwert erreicht oder überschritten wird. Insbesondere können mehrere Grenzwerte für die Zwischenauswertungen vorgegeben werden. Somit kann eine vorteilhafte Erkennung der Sensorstörung realisiert sein.
Vorzugsweise kann bei einem erfindungsgemäßen Verfahren vorgesehen sein, dass die Sensordaten beim Bewerten der Sensordaten hinsichtlich einer Störungsklassifikation klassifiziert werden, wobei die Reaktionsmaßnahme in Abhängigkeit von der Störungsklassifikation erfolgt. Beispielsweise kann die Störungsklassifikation die Art der Sensorstörung umfassen. So ist es denkbar, dass Sensordaten mit einem Nebel eine andere Störungsklassifikation erhalten, als Sensordaten mit einem Starkregen. Somit kann die Reaktionsmaßnahme individuell für die Störungsklassifikation erfolgen. Es kann z. B. vorgesehen sein, dass die Reaktionsmaßnahme eine Ansteuerung von Fahrassistenzsystemen in Abhängigkeit von der Störungsklassifikation umfasst. Insbesondere kann für eine bestimmte Störungsklassifikation eine Ansteuerung eines vorbestimmten Fahrassistenzsystems erfolgen. Vorzugsweise kann bei einem erfindungsgemäßen Verfahren vorgesehen sein, dass die Reaktionsmaßnahme einen Validierungsvorgang zum Validieren der Bewertung und/oder der Auswertung der Sensordaten umfasst. Durch den Validierungsvorgang kann ein Eingriff in das Fahrverhalten des Fahrzeuges vermieden oder aufgeschoben werden. Insbesondere kann dadurch eine zusätzliche Sicherheit beim Erkennen der Sensorstörung gewonnen werden.
Beispielsweise ist es denkbar, dass der Validierungsvorgang ein Einspeisen der Sensordaten in ein weiteres, künstliches neuronales Netz umfasst, welches zum Auswerten von Sensordaten der Störungsklassifikation zum Erkennen des Ereignisses trainiert ist. Beispielsweise kann das weitere neuronale Netz auf die Auswertung von Sensordaten, die durch Nebel gestört sind, spezialisiert sein. Dadurch können in Abhängigkeit von der Störungsklassifikation auch Sensordaten, die eine Sensorstörung aufweisen, hinsichtlich des Ereignisses ausgewertet werden. Das weitere neuronale Netz kann in das Fahrzeug oder im Server implementiert sein.
Im Rahmen der Erfindung ist es weiterhin denkbar, dass der Validierungsvorgang ein Einspeisen der Sensordaten in mehrere, weitere, trainierte künstliche neuronale Netze umfasst, wobei ein Konsolidierungsvorgang ausgeführt wird, um eine Gesamtbewertung der Sensordaten hinsichtlich des Ereignisses und/oder hinsichtlich der Sensorstörung zu erhalten. Beim Konsolidierungsvorgang kann ein Überwachen des Auswerteverhaltens von Zwischenauswertungen der weiteren neuronalen Netze und ein Bewerten der Sensordaten zum Erkennen der Sensorstörung in Abhängigkeit von dem Auswerteverhalten aller weiteren neuronalen Netze erfolgen. Beispielsweise kann bei der Bewertung berücksichtigt werden, ob eine Mehrheit der weiteren neuronalen Netze die Sensordaten als störungsbehaftet oder störungsfrei klassifiziert. Dadurch kann eine Validierung durch eine Konsolidierung erfolgen. Beispielsweise können die weiteren, neuronalen Netze durch unterschiedliche Trainingsdaten trainiert sein. Dadurch kann sich das Auswerteverhalten der Zwischenauswertungen der weiteren, neuronalen Netze unterscheiden. Dadurch können Fehler beim Erkennen der Sensorstörung erkannt und/oder eine Genauigkeit beim Erkennen der Sensorstörung verbessert werden.
Ferner kann bei einem erfindungsgemäßen Verfahren vorteilhafterweise vorgesehen sein, dass die Reaktionsmaßnahme ein automatisches Auslösen eines Fahrmanövers des Fahrzeuges umfasst. Dazu kann beispielsweise ein Fahrassistenzsystem des Fahrzeuges angesteuert werden. Beispielsweise kann beim Erkennen der Sensorstörung eine Geschwindigkeit des Fahrzeuges reduziert werden und/oder ein Fahrmanöver, insbesondere zum Durchführen eines Nothaltes des Fahrzeuges, ausgeführt werden. Somit kann ein sicherer Betrieb des Fahrzeuges erfolgen, indem beim Erkennen der Sensorstörung in einen Normalbetrieb des Fahrzeuges eingegriffen wird, um ein Fehlverhalten des Fahrzeuges aufgrund einer durch die Sensorstörung bedingten, fehlerhaften Auswertung durch das neuronale Netz zu vermeiden.
Gemäß einem weiteren Aspekt der Erfindung ist ein Computerprogrammprodukt vorgesehen. Das Computerprogrammprodukt umfasst Befehle, die bei einer Ausführung durch eine Recheneinheit die Recheneinheit veranlassen, ein erfindungsgemäßes Verfahren auszuführen.
Somit bringt ein erfindungsgemäßes Computerprogrammprodukt die gleichen Vorteile mit sich, wie sie bereits ausführlich mit Bezug auf ein erfindungsgemäßes Verfahren beschrieben worden sind. Bei dem Verfahren kann es sich insbesondere um ein computerimplementiertes Verfahren handeln. Das Computerprogrammprodukt kann als computerlesbarer Anweisungscode in jeder geeigneten Programmiersprache wie beispielsweise in JAVA, C++, C# und/oder Python implementiert sein. Das Computerprogrammprodukt kann auf einem computerlesbaren Speichermedium wie einer Datendisk, einem Wechsellaufwerk, einem flüchtigen oder nichtflüchtigen Speicher, oder einem eingebauten Speicher/Prozessor abgespeichert sein. Der Anweisungscode kann einen Computer oder andere programmierbare Geräte wie ein Steuergerät derart beeinflussen und/oder ansteuern, dass die gewünschten Funktionen ausgeführt werden. Ferner kann das Computerprogrammprodukt in einem Netz wie beispielsweise dem Internet bereitstellbar oder bereitgestellt sein, von dem es bei Bedarf von einem Nutzer heruntergeladen werden kann. Das Computerprogrammprodukt kann sowohl mittels einer Software, als auch mittels einer oder mehrerer spezieller elektronischer Schaltungen, d. h. in Hardware oder in beliebig hybrider Form, d. h. mittels Software- Komponenten und Hardware-Komponenten, realisiert sein.
Gemäß einem weiteren Aspekt der Erfindung ist ein System vorgesehen. Das System weist ein Fahrzeug mit einer Sensoreinheit zum Erfassen von Sensordaten auf. Ferner umfasst das System eine Recheneinheit zum Ausführen eines erfindungsgemäßen Verfahrens.
Somit bringt ein erfindungsgemäßes System die gleichen Vorteile mit sich, wie sie bereits ausführlich mit Bezug auf ein erfindungsgemäßes Verfahren und/oder ein erfindungsgemäßes Computerprogrammprodukt beschrieben worden sind. Die Recheneinheit kann vorteilhafterweise einen Prozessor und/oder Mikroprozessor aufweisen. Ferner kann die Recheneinheit in das Fahrzeug und/oder einen Server integriert sein. Insbesondere kann die Recheneinheit mehrere Rechenmodule aufweisen, die dezentral verteilt sind. Beispielsweise kann ein Rechenmodul der Recheneinheit in das Fahrzeug und ein weiteres Rechenmodul der Recheneinheit in den Server integriert sein. Vorzugsweise weist das Fahrzeug ein Fahrassistenzsystem zum automatischen Durchführen eines Fahrmanövers auf.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen Ausführungsbeispiele der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Es zeigen schematisch:
Figur 1 ein künstliches, neuronales Netz, Figur 2 ein erfindungsgemäßes Verfahren zur Unterstützung eines Betriebs eines Fahrzeuges,
Figur 3 ein Validierungsvorgang des Verfahrens, Figur 4 ein System mit dem Fahrzeug, Figuren 5, 6 Referenzdaten für einen Kalibrierungsvorgang des Verfahrens.
In der nachfolgenden Beschreibung zu einigen Ausführungsbeispielen der Erfindung werden für die gleichen technischen Merkmale auch in unterschiedlichen Ausführungsbeispielen die identischen Bezugszeichen verwendet.
Figur 1 zeigt ein trainiertes, künstliches neuronales Netz 10 zum Auswerten 103 von Sensordaten 200 einer Sensoreinheit 4 eines Fahrzeuges 2. Ein erfindungsgemäßes System 1 mit dem Fahrzeug 2 und der Sensoreinheit 4 ist in Figur 4 dargestellt. Das neuronale Netz 10 kann in eine Recheneinheit 3 implementiert sein. Die Recheneinheit 3 ist vorzugsweise in das Fahrzeug 2 und/oder einen Server 5 integriert. Wie in Figur 1 dargestellt, weist das neuronale Netz 10 eine Vielzahl von Netzelementen 11 für Zwischenauswertungen 210 für die Auswertung der Sensordaten 200 auf. Die Netzelemente 11 können beispielsweise Netzschichten, Netzfilter und/oder Gewichtungen des neuronalen Netzes 10 umfassen.
In Figur 2 ist ein erfindungsgemäßes Verfahren 100 zur Unterstützung eines Betriebs des Fahrzeuges 2 mit der Sensoreinheit 4 in schematischer Darstellung von Verfahrensschritten dargestellt. Das Verfahren 100 wird vorzugsweise durch die Recheneinheit 3 ausgeführt. Vorteilhafterweise ist dazu ein Computerprogrammprodukt vorgesehen, das Befehle umfasst, die bei einer Ausführung durch die Recheneinheit 3 die Recheneinheit 3 dazu veranlassen, das Verfahren 100 auszuführen.
Zum Erstellen einer Gesamtauswertung 211 für eine Interpretation und/oder Klassifikation der Sensordaten 200 in Hinblick auf ein Ereignis umfasst das Verfahren 100 ein Bereitstellen 102 der Sensordaten 200 für das neuronale Netz 10 und ein Auswerten 103 der Sensordaten 200 zum Erkennen des Ereignisses durch das neuronale Netz 10. Beispielsweise kann es sich bei dem Ereignis um ein Auftreten eines Objektes, wie z. B. eines anderen Verkehrsteilnehmers, in einer Fahrzeugumgebung handeln.
Zunächst ist jedoch ein Identifizieren 101 von Schlüsselelementen 11.1 der Vielzahl der Netzelemente 11 vorgesehen. Dabei wird zum Identifizieren 101 der Schlüsselelemente 11.1 ein Kalibrierungsvorgang 101.1 ausgeführt, bei welchem störungsbehaftete Referenzdaten 201 und störungsfreie Referenzdaten 202 durch das neuronale Netz 10 ausgewertet werden. Beispielsweise, wenn die Sensoreinheit 4 eine Kamera aufweist, können die Referenzdaten 201, 202 Bilddaten umfassen. Ein Beispiel für störungsfreie Referenzdaten 202 ist in Figur 5 dargestellt, während ein Beispiel für störungsbehaftete Referenzdaten 201 mit einer Sensorstörung in Form von Regen in Figur 6 gezeigt ist. Die störungsfreien Referenzdaten 202 können beispielsweise den Trainingsdaten des neuronalen Netzes 10 entsprechen. Es kann vorgesehen sein, dass beim Kalibrierungsvorgang 101.1 fernerweitere Referenzparameter 203 in das neuronale Netz 10 eingespeist werden. Somit kann es sich bei der Sensorstörung insbesondere um eine externe Störung, wie z. B. einen Umwelteinfluss, handeln. Insbesondere werden bei dem Kalibrierungsvorgang 101.1 Verhaltensabweichungen der Zwischenauswertungen 210 beim Auswerten 103 der störungsbehafteten und störungsfreien Referenzdaten 201, 202 erfasst. Dadurch kann ein charakteristisches Verhalten des neuronalen Netzes 10 in Form von charakteristischen Zwischenauswertungen 210 oder einer charakteristischen Änderung der Zwischenauswertungen 210 erkannt werden, um die Sensorstörung zu erkennen. Vorzugsweise kann beim Identifizieren 101 der Schlüsselelemente 11.1 ferner eine Wichtung der Schlüsselelemente 11.1 erfolgen, wobei beispielsweise Schlüsselelemente 11.1, deren Zwischenauswertungen 210 sich charakteristischer verhalten gegenüber anderen Schlüsselelementen 11.1, ein stärkeres Gewicht für das Erkennen der Sensorstörung erhalten. Dadurch kann insbesondere eine Anzahl der Schlüsselelemente 11.1 reduziert werden. Zum Erkennen der Sensorstörung erfolgt bei dem Verfahren 100 ferner ein Überwachen 104 eines Auswerteverhaltens der Zwischenauswertungen 210 beim Auswerten 103 der Sensordaten 200. Dabei werden insbesondere nur die Zwischenauswertungen 210 der Schlüsselelemente 11.1 überwacht, welche das charakteristische Verhalten bei der Sensorstörung aufweisen.
Daraufhin folgt ein Bewerten 105 der Sensordaten 200 zum Erkennen der Sensorstörung in Abhängigkeit von dem Auswerteverhalten, insbesondere unter Berücksichtigung der Wichtung der Schlüsselelemente 11.1. Zusätzlich oder alternativ kann beim Bewerten 105 der Sensordaten 200 und/oder beim Überwachen 104 des Auswerteverhaltens eine, insbesondere zeitliche und/oder elementübergreifende, Mittelung für mehrere Zwischenauswertungen 210 durchgeführt werden. Die Sensorstörung wird beim Bewerten 105 der Sensordaten 200 insbesondere durch einen Vergleich des Auswerteverhaltens mit einem Referenzverhalten der Zwischenauswertungen 210 erkannt. Das Referenzverhalten kann dabei aus den, insbesondere störungsfreien, Referenzdaten 201, 202 abgeleitet werden. Weiterhin kann vorgesehen sein, dass für die Bewertung der Sensordaten 200 zumindest ein Grenzwert 212 für eine Abweichung des Auswerteverhaltens von dem Referenzverhalten vorgegeben wird. Die Sensorstörung wird dabei insbesondere erkannt, wenn der Grenzwert 212 erreicht oder überschritten wird. Ferner ist es denkbar, dass mehrere Grenzwerte 212 vorgesehen sind, durch welche ein Toleranzkorridor gebildet wird, in welchem die Sensordaten 200 als störungsfrei angesehen werden. Es kann vorgesehen sein, dass die Sensordaten 200 hinsichtlich einer Störungsklassifikation 213 klassifiziert werden.
Um eine Echtzeit-Auswertung bei gleichzeitig geringer, notwendiger Rechenkapazität im Fahrzeug 2 zu ermöglichen, wird der Kalibrierungsvorgang 101.1 vorzugsweise durch den Server 5 und das Auswerten 103 der Sensordaten 200, das Überwachen 104 des Auswerteverhaltens und das Bewerten 105 der Sensordaten 200 durch das Fahrzeug 2 ausgeführt. Dazu können der Server 5 und das Fahrzeug 2 jeweils Rechenmodule der Recheneinheit 3 umfassen.
In Abhängigkeit von dem Bewerten 105 der Sensordaten 200 erfolgt ein Durchführen einer Reaktionsmaßnahme 106, wie z. B. ein automatisches Auslösen eines Fahrmanövers des Fahrzeuges 2 durch ein Fahrassistenzsystem 6. Beispielsweise kann das Fahrzeug 2 abgebremst werden, wenn die Sensorstörung vorliegt, um eine Beeinträchtigung des Fahrzeuges 2 durch eine Fehlinterpretation der Sensordaten 200 zu vermeiden. Ferner kann vorgesehen sein, dass die Reaktionsmaßnahme 106 einen Validierungsvorgang 106.1 zum Validieren der Bewertung und/oder der Auswertung der Sensordaten 200 umfasst. Wie in Figur 3 dargestellt, kann der Validierungsvorgang 106.1 ein Einspeisen der Sensordaten 200 in ein weiteres, künstliches neuronales Netz 10.1 umfassen. Das weitere künstliche, neuronale Netz 10.1 kann dabei speziell zum Erkennen des Ereignisses beim Auswerten 103 von Sensordaten 200 der Störungsklassifikation 213 trainiert sein. Zusätzlich oder alternativ kann der Validierungsvorgang 106.1 ein Einspeisen der Sensordaten 200 in mehrere, weitere, trainierte künstliche neuronale Netze 10.2 umfassen. Durch die weiteren, trainierten künstlichen neuronalen Netze 10.2 wird dabei ein Konsolidierungsvorgang ausgeführt, um eine Gesamtbewertung der Sensordaten 200 hinsichtlich des Ereignisses und/oder hinsichtlich der Sensorstörung zu erhalten.
Durch das Überwachen 104 des Auswerteverhaltens kann somit das neuronale Netz 10 selbst zur Erkennung der Sensorstörung analysiert werden. Dadurch kann ein Fehlverhalten des neuronalen Netzes 10 erkannt und/oder vorhergesagt werden, um Fehlinterpretationen der Sensordaten 200 zu vermeiden. Dadurch kann folglich die Sicherheit des Fahrzeuges 2, insbesondere in einem zumindest teilweise automatisierten oder autonomen Fahrmodus, verbessert werden, insbesondere ohne, dass eine hohe Rechenkapazität im Fahrzeug 2 erforderlich ist.
Bezugszeichenliste System Fahrzeug Recheneinheit Sensoreinheit Server Fahrassistenzsystem trainiertes, künstliches neuronales Netz trainiertes, künstliches neuronales Netz trainiertes, künstliches neuronales Netz Netzelementen Schlüsselelementen Verfahren Identifizieren Kalibrierungsvorgang Bereitstellen Auswerten Überwachen Bewerten Reaktionsmaßnahme Validierungsvorgang Sensordaten störungsbehaftete Referenzdaten störungsfreie Referenzdaten Referenzparameter Zwischenauswertungen Gesamtauswertung Grenzwert Störungsklassifikation

Claims

Patentansprüche
1. Verfahren (100) zur Unterstützung eines Betriebs eines Fahrzeuges (2) mit einer Sensoreinheit (4) zum Erfassen von Sensordaten (200) für eine Auswertung in einem trainierten, künstlichen neuronalen Netz (10) mit einer Vielzahl von Netzelementen (11) für Zwischenauswertungen (210) der Sensordaten (200), umfassend folgende Schritte:
Bereitstellen (102) der Sensordaten (200) für das neuronale Netz (10),
- Auswerten (103) der Sensordaten (200) zum Erkennen zumindest eines Ereignisses durch das neuronale Netz (10),
Überwachen (104) eines Auswerteverhaltens der Zwischenauswertungen (210) beim Auswerten (103) der Sensordaten (200),
Bewerten (105) der Sensordaten (200) zum Erkennen einer Sensorstörung in Abhängigkeit von dem Auswerteverhalten,
Durchführen einer Reaktionsmaßnahme (106) in Abhängigkeit von dem Bewerten (105) der Sensordaten (200).
2. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Netzelemente (11) Netzschichten, Netzfilter und/oder Gewichtungen des neuronalen Netzes (10) umfassen.
3. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren (100) folgenden Schritt umfasst:
Identifizieren (101) von Schlüsselelementen (11.1) der Vielzahl der Netzelemente
(11), wobei beim Überwachen (104) des Auswerteverhaltens die Zwischenauswertungen (210) der Schlüsselelemente (11.1) überwacht werden.
4. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Identifizieren (101) der Schlüsselelemente (11.1) und/oder zum Bewerten (105) der Sensordaten (200) ein Kalibrierungsvorgang (101.1) ausgeführt wird, bei welchem störungsbehaftete Referenzdaten (201) und störungsfreie Referenzdaten (202) durch das neuronale Netz (10) ausgewertet werden, wobei beim Kalibrierungsvorgang (101.1) Verhaltensabweichungen der Zwischenauswertungen (210) beim Auswerten (103) der störungsbehafteten und störungsfreien Referenzdaten (201, 202) erfasst werden.
5. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Kalibrierungsvorgang (101.1) durch einen Server (5) ausgeführt wird, wobei das Auswerten (103) der Sensordaten (200), das Überwachen (104) des Auswerteverhaltens und das Bewerten (105) der Sensordaten (200) durch das Fahrzeug (2) erfolgt.
6. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass beim Identifizieren (101) der Schlüsselelemente (11.1) eine Wichtung der Schlüsselelemente (11.1) erfolgt, wobei die Wchtung beim Bewerten (105) der Sensordaten (200) berücksichtigt wird.
7. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass beim Bewerten (105) der Sensordaten (200) und/oder beim Überwachen (104) eines Auswerteverhaltens der Zwischenauswertungen (210) eine Mittelung für mehrere Zwischenauswertungen (210) erfolgt.
8. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass beim Bewerten (105) der Sensordaten (200) ein Vergleich des Auswerteverhaltens mit einem Referenzverhalten der Zwischenauswertungen (210) erfolgt, wobei für die Bewertung der Sensordaten (200) zumindest ein Grenzwert (212) für eine Abweichung des Auswerteverhaltens von dem Referenzverhalten zum Erkennen der Sensorstörung vorgegeben wird.
9. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensordaten (200) beim Bewerten (105) der Sensordaten (200) hinsichtlich einer Störungsklassifikation (213) klassifiziert werden, wobei die Reaktionsmaßnahme (106) in Abhängigkeit von der Störungsklassifikation (213) erfolgt.
10. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Reaktionsmaßnahme (106) einen Validierungsvorgang (106.1) zum Validieren der Bewertung und/oder der Auswertung der Sensordaten (200) umfasst.
11. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Validierungsvorgang (106.1) ein Einspeisen der Sensordaten (200) in ein weiteres, künstliches neuronales Netz (10.1) umfasst, welches zum Auswerten (103) von Sensordaten (200) der Störungsklassifikation (213) zum Erkennen des Ereignisses trainiert ist.
12. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Validierungsvorgang (106.1) ein Einspeisen der Sensordaten (200) in mehrere, weitere, trainierte künstliche neuronale Netze (10.2) umfasst, wobei ein Konsolidierungsvorgang ausgeführt wird, um eine Gesamtbewertung der Sensordaten (200) hinsichtlich des Ereignisses und/oder hinsichtlich der Sensorstörung zu erhalten.
13. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Reaktionsmaßnahme (106) ein automatisches Auslösen eines Fahrmanövers des Fahrzeuges (2) umfasst.
14. Computerprogrammprodukt, umfassend Befehle, die bei einer Ausführung durch eine Recheneinheit (3) die Recheneinheit (3) veranlassen, ein Verfahren (100) nach einem der vorhergehenden Ansprüche auszuführen.
15. System (1) aufweisend ein Fahrzeug (2) mit einer Sensoreinheit (4) zum Erfassen von Sensordaten (200) und eine Recheneinheit (3) zum Ausführen eines Verfahrens (100) nach einem der vorhergehenden Ansprüche.
EP22747600.9A 2021-07-14 2022-07-04 Verfahren zur unterstützung eines betriebs eines fahrzeuges mit einer sensoreinheit, computerprogrammprodukt sowie system Pending EP4168999A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021207493.6A DE102021207493A1 (de) 2021-07-14 2021-07-14 Verfahren zur Unterstützung eines Betriebs eines Fahrzeuges mit einer Sensoreinheit, Computerprogrammprodukt sowie System
PCT/EP2022/068386 WO2023285179A1 (de) 2021-07-14 2022-07-04 Verfahren zur unterstützung eines betriebs eines fahrzeuges mit einer sensoreinheit, computerprogrammprodukt sowie system

Publications (1)

Publication Number Publication Date
EP4168999A1 true EP4168999A1 (de) 2023-04-26

Family

ID=82703128

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22747600.9A Pending EP4168999A1 (de) 2021-07-14 2022-07-04 Verfahren zur unterstützung eines betriebs eines fahrzeuges mit einer sensoreinheit, computerprogrammprodukt sowie system

Country Status (5)

Country Link
US (1) US20240403607A1 (de)
EP (1) EP4168999A1 (de)
CN (1) CN117693777A (de)
DE (1) DE102021207493A1 (de)
WO (1) WO2023285179A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023204261A1 (de) 2023-05-09 2024-11-14 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Steuergerät zum Überwachen eines Fahrzeugs
DE102024133950A1 (de) * 2024-11-19 2026-05-21 Cariad Se Verfahren zum Berechtigungsmanagement für zumindest eine erste Fahrzeugfunktion, Computerprogrammprodukt sowie Fahrzeug

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020249755A1 (de) * 2019-06-14 2020-12-17 Volkswagen Aktiengesellschaft Verfahren zum betreiben eines fahrassistenzsystems eines fahrzeugs und fahrerassistenzsystem für ein fahrzeug

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633306B2 (en) 2015-05-07 2017-04-25 Siemens Healthcare Gmbh Method and system for approximating deep neural networks for anatomical object detection
US10521677B2 (en) * 2016-07-14 2019-12-31 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of vision-based rain-detection algorithms
US10836379B2 (en) * 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking
DE202018104373U1 (de) 2018-07-30 2018-08-30 Robert Bosch Gmbh Vorrichtung, die zum Betreiben eines maschinellen Lernsystems eingerichtet ist
CN109760635B (zh) * 2019-01-08 2020-11-27 同济大学 一种基于gan网络的线控雨刷控制系统
DE102019201990A1 (de) * 2019-02-14 2020-08-20 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung einer Störung in einem Bild
JP7281923B2 (ja) * 2019-03-01 2023-05-26 キヤノン株式会社 制御装置、画像処理システム、制御方法及びプログラム
CN210822158U (zh) * 2019-09-27 2020-06-23 深圳市豪恩汽车电子装备股份有限公司 机动车雨刷自动控制系统
CN110689021A (zh) * 2019-10-17 2020-01-14 哈尔滨理工大学 一种基于深度学习的低可见度环境下实时目标检测方法
DE102019218613B4 (de) 2019-11-29 2021-11-11 Volkswagen Aktiengesellschaft Objektklassifizierungsverfahren, Objektklassifizierungsschaltung, Kraftfahrzeug
CN112801195A (zh) * 2021-02-04 2021-05-14 四川望村网络科技有限公司 一种基于深度学习的雾天能见度预测方法，存储装置及服务器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020249755A1 (de) * 2019-06-14 2020-12-17 Volkswagen Aktiengesellschaft Verfahren zum betreiben eines fahrassistenzsystems eines fahrzeugs und fahrerassistenzsystem für ein fahrzeug

Also Published As

Publication number Publication date
DE102021207493A1 (de) 2023-01-19
CN117693777A (zh) 2024-03-12
WO2023285179A1 (de) 2023-01-19
US20240403607A1 (en) 2024-12-05

Similar Documents

Publication Publication Date Title
DE102018222720B4 (de) Überwachung von auf neuronalen Netzwerken basierten Fahrfunktionen
EP3792150B1 (de) Erkennung von hands-off-situationen auf basis von schwarmdaten
DE102017009471A1 (de) Humankollaboratives robotersystem mit verbesserter genauigkeit der erfassung einer äusseren kraft durch maschinelles lernen
DE102022205084B3 (de) Verfahren, Computerprogramm und Vorrichtung zur Umfeldwahrnehmung im Fahrzeug sowie entsprechendes Fahrzeug
DE102019209462A1 (de) Verfahren zur Bestimmung eines Vertrauens-Wertes eines detektierten Objektes
EP3945338B1 (de) Vorrichtung zur umfelderkennung eines automatisiert betreibbaren fahrsystems
DE102020113611A1 (de) Verfahren und Sicherheitssystem zum Absichern einer automatisierten Fahrzeugfunktion und Kraftfahrzeug
DE102021202813A1 (de) Verfahren, Vorrichtung und Computerprogramm für eine Unsicherheitsbewertung einer Bildklassifikation
DE102017214531A1 (de) Verfahren und Vorrichtung zum Betreiben eines Kraftfahrzeugs in einem automatisierten Fahrbetrieb sowie Kraftfahrzeug
WO2023285179A1 (de) Verfahren zur unterstützung eines betriebs eines fahrzeuges mit einer sensoreinheit, computerprogrammprodukt sowie system
DE102017218438A1 (de) Verfahren und System zum Betreiben eines Fahrzeugs
DE102017204745A1 (de) Architektur und Vorrichtung für eine fortschrittliche Arbitration in integrierten Steuerungen
DE102018129563A1 (de) Verfahren zum Bestimmen des Steuermodus eines Lenkrads
DE102015224696A1 (de) Risikobasierte Steuerung eines Kraftfahrzeugs
DE112019007286T5 (de) Fahrzeuginterne steuerungsvorrichtung und fahrzeuginternes steuerungssystem
DE102022200729A1 (de) Verfahren zum Ermitteln eines aktuellen Steuermodus eines Lenkrades
WO2024002777A1 (de) Verfahren zur handdetektion, computerprogramm, und vorrichtung
DE102018216423A1 (de) Bestimmung eines Ansteuerungssignals für ein teilautonomes Fahrzeug
DE102017113478A1 (de) Verfahren zum Betreiben einer Steuerungseinrichtung für den Betrieb mit einer redundanten Sensorvorrichtung in einem Kraftfahrzeug
DE112023000537T5 (de) Bilderkennungssystem
EP3947100B1 (de) Verfahren und einrichtung zum erzeugen eines statussignals
DE102020203819B4 (de) Verfahren zum Betreiben eines zumindest teilautomatisiert fahrenden Fahrzeugs und Fahrzeug
DE102020204388A1 (de) Verfahren und Vorrichtung zum Ansteuern eines Agenten
DE102016208076A1 (de) Verfahren und vorrichtung zur auswertung eines eingabewerts in einem fahrerassistenzsystem, fahrerassistenzsystem und testsystem für ein fahrerassistenzsystem
DE102023204318A1 (de) Verfahren für eine Servereinheit zur Plausibilisierung eines Fahrverhaltens eines wenigstens teilweise automatisiert fahrenden Ego-Fahrzeugs und Verfahren zur Steuerung des Ego-Fahrzeugs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230719

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20251117