EP4449310A1 - Fahrzeugdatensystem und verfahren zur ermittlung von relevanten bzw. übertragenswerten fahrzeugdaten eines umgebungserfassungssensors - Google Patents

Fahrzeugdatensystem und verfahren zur ermittlung von relevanten bzw. übertragenswerten fahrzeugdaten eines umgebungserfassungssensors

Info

Publication number
EP4449310A1
EP4449310A1 EP22838636.3A EP22838636A EP4449310A1 EP 4449310 A1 EP4449310 A1 EP 4449310A1 EP 22838636 A EP22838636 A EP 22838636A EP 4449310 A1 EP4449310 A1 EP 4449310A1
Authority
EP
European Patent Office
Prior art keywords
data
environment detection
vehicle
input data
monitor system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22838636.3A
Other languages
English (en)
French (fr)
Inventor
Karl Matthias Nacken
Michelle Karg
Armin Staudenmaier
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Publication of EP4449310A1 publication Critical patent/EP4449310A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Definitions

  • the invention relates to a vehicle data system and a method for determining vehicle data worth transmitting from an environment detection sensor and can be used, for example, in the context of the further development of systems for assisted or automated driving.
  • the prior art includes the training of networks for detection functions and for vehicle functions based on training data, which are run in, for example, by test vehicles during development. This limits the data to scenarios that occurred here. For comprehensive coverage of road traffic scenarios, data collection in real vehicle operation is advantageous. This enables a wide diversity of data for the selection of training data.
  • a trigger classifier is applied to an intermediate result of the neural network to determine a classification score of the sensor data. Based at least in part on the classification score, a decision is made as to whether at least portions of the sensor data will be transmitted over a computer network. If the decision is positive, sensor data is transmitted and used to generate training data.
  • One aspect concerns the identification of relevant samples and edge cases from vehicle fleets for data-based algorithms or data-driven optimization of machine learning systems and processes.
  • a vehicle data system comprises an environment detection system and a monitoring system in the vehicle.
  • the environment detection system is configured to receive and evaluate input data X from an environment detection sensor.
  • the input data X are evaluated by means of a first trained artificial neural network K and environment detection data Y' are output as the result of the evaluation.
  • the monitor system is configured to evaluate the same input data X from the environment detection sensor using a second trained artificial neural network KR, and reconstruction data X′ are output as the result of the evaluation.
  • the monitor system In the event that the monitor system detects a deviation in the reconstruction data X' against the input data X that exceeds a threshold value ( ⁇ potential edge case), the monitor system causes the input data X to be transmitted to a separate data unit.
  • the separate data unit can be, for example, an external server, cloud storage or a backbone of a V2X system.
  • V2X, vehicle-to-X means a communication system or telematics system in which the vehicle communicates with other participants.
  • the second artificial neural network KR is an auto encoder.
  • non-safety-critical monitoring system described is implemented by an auto-encoder. This is developed based on the same input data as the detection algorithm or function under consideration. Due to its functional principle, the auto-encoder offers a significant advantage over other possible approaches.
  • the auto-encoder can thus be trained exclusively with the input signal without using additional labels. On the one hand, this offers the advantage that there is no additional effort in terms of annotation and, on the other hand, the decisive advantage that an error in relation to the input data can be determined in a quantified manner at any time (even on unknown data). A suitable threshold value formation is recommended here.
  • the autoencoder can be applied to the entire image or to parts of it.
  • the autoencoder can thus measure its own error with every possible input signal. In general, higher error values are to be expected with methods of machine learning on input data that do not sufficiently match the training data.
  • the fact that the autoencoder and the detection function are based on the same data results in the following advantage: unknown or uncertain scenarios identified by the autoencoder indicate that these scenarios are not sufficiently in the training data are included and are therefore relevant for a far-reaching coverage of traffic scenarios in function development.
  • the monitor system calculates a score that estimates a relevance of the input data X based on the deviation.
  • the first artificial neural network K has been trained using predetermined training data, with target output data Y_1, Y_2, . . . , Y_n being used for input data X_1, X_2, . . . , X_n.
  • a first error function was minimized by adjusting weights of the first neural network K, which indicates deviations between outputs of the first neural network K for input data X_1, X_2, . . . , X_n from corresponding target output data Y_1, Y_2, .
  • the second artificial neural network KR has been trained by adjusting weights of the second neural network KR, minimizing a second error function indicating the deviation of reconstruction data X' from input data X of the environment detection sensor.
  • Meta information is transmitted in addition to the input data X from the environment detection sensor.
  • Meta information corresponds to one or more pieces of information from the following group: current software version, calculated scores of the monitor system, GPS data, date, time, vehicle identification number (VIN) and cloud data that enable the scene and/or the vehicle situation to be understood .
  • the scene in development can be precisely reproduced (simulation with the same software version).
  • This information gain means that unknown scenarios and edge cases can be selected and integrated directly into the development process of the vehicle or vehicle.
  • Incorporate environment detection function This allows a continuous quality assurance process to be established. With each development step, more and more relevant data flows into the system.
  • the degree of maturity of the software can be derived from the number of incoming data transmissions. The lower the number of data transmission processes due to insufficiently accurate predictions, the higher the degree of maturity of the software.
  • the environment detection system is configured to receive input data X from a plurality of environment detection sensors and to evaluate them together.
  • Multi-sensor systems have the advantage of increasing the security of detection algorithms for road traffic by verifying the detections of several environment detection sensors.
  • Multi-sensor systems can, for example, be any combination of: one or more cameras, one or more radars, one or more ultrasound systems, one or more lidars, and/or one or more microphones.
  • a multi-sensor system consists of at least two sensors.
  • the data acquisition of one of these sensors s at time t can be denoted by D_(s,t).
  • the data D can be images and/or audio recordings, as well as measurements of angle, distance, speed and reflections of objects in the environment.
  • the monitor system is configured to process the input data X from the environment-sensing sensor in parallel with the environment-detection system.
  • the monitor system is integrated as an additional detector head in the environment detection system.
  • the monitor system and the environment detection system share a common encoder.
  • the input data from the environment sensing sensor is image data.
  • the monitor system is configured to reconstruct the entire image or a portion of the image. In addition, it can estimate and output a value for the error of the reconstruction.
  • the monitor system is configured to determine and output an uncertainty measure.
  • the degree of uncertainty indicates how certain the monitor system is when outputting its reconstruction data X'.
  • the monitor system is configured to take into account a temporal consistency of the reconstruction data X′.
  • the environment detection system and the monitor system are configured such that both are over the air updateable.
  • a further subject matter of the invention relates to a method for determining vehicle data worth transmitting from an environment detection sensor.
  • the procedure includes the steps:
  • the assessment of the relevance of traffic scenarios can be further improved by considering multi-sensor setups, the time course, and the estimation of certainty with which a network predicts an output. Furthermore, a low computing time requirement for embedded systems is advantageous.
  • FIG. 1 shows a vehicle with an environment detection sensor and a data system
  • FIG. 3 shows an exemplary embodiment of a classification system as an environment detection system and a monitoring system
  • FIG. 4 shows a vehicle that captures an unknown scene/situation
  • FIG. 5 shows a grayscale image from a vehicle camera that has overexposure due to incorrect exposure control
  • 6 shows a grayscale image from a vehicle camera containing a work of art, which can lead to an unexpected situation in the evaluation.
  • Fig. 1 shows a vehicle 2 with an environment detection sensor 1 and a data system 10.
  • the environment detection sensor 1 shown corresponds to a camera that is arranged inside the vehicle 2 - for example in the area of the rear-view mirror - and through the windshield of the vehicle 2 the environment of the vehicle recorded.
  • Further environment detection sensors 1 of the vehicle 2 can be, for example, camera, radar, lidar and/or ultrasonic sensors (not shown). All of the surroundings detection sensors 1 record data containing information about the surroundings of the vehicle 2 .
  • the data is transmitted to and processed by the vehicle's data system 10 .
  • the data system can, for example, include a control unit, e.g. a control unit for assisted or automated driving (ADAS or AD, e.g.
  • ADAS assisted or automated driving
  • ADCU Automated Driving Control Unit
  • Fig. 2 shows an environment detection sensor 1, a data system 10 and a separate data unit 20.
  • the data system 10 is electrically connected to at least one environment detection sensor 1 , for example an image recording device, in a vehicle 2 .
  • the imaging device may be a front camera of a vehicle.
  • the front camera serves as a sensor for capturing the surroundings in front of the vehicle.
  • the surroundings of vehicle 2 can be detected based on the signals or image data from the front camera.
  • ADAS or AD functions can be provided by an ADAS/AD control unit, e.g. lane recognition, lane departure warning, traffic sign recognition, speed limit assistance, Road user detection, collision warning, emergency braking assistance, distance control, construction site assistance, a highway pilot, a cruising chauffeur function and/or an autopilot.
  • the imaging device typically includes an optical system or lens and an imaging sensor, e.g. a CMOS sensor.
  • an imaging sensor e.g. a CMOS sensor.
  • the data or signals detected by the environment detection sensor 1 are transmitted to an input interface 12 of the data system 10 .
  • the data is processed in the data system 10 by a data processor 14 .
  • the 14 comprises an environment detection system 16 and a monitor system 15.
  • the environment detection system 16 may comprise a first artificial neural network, for example a CNN.
  • the environment detection system 16 can also create a more comprehensive understanding of the environment and situation, for example a prediction of trajectories of the own vehicle 2 but also of other objects or road users in the environment of the vehicle 2.
  • the detections of the environment detection system 16 can be safety-relevant because of them actions or warnings depend on an ADAS or AD system of the vehicle.
  • the monitor system 15 is not safety-critical because its main task is to monitor the environment detection system 16 and to decide whether data should be transmitted to a separate data unit 20 or not.
  • the monitor system 15 may include a second artificial neural network, such as an auto-encoder.
  • the data system 10 or data processor 14 may include one or more hardware artificial neural network accelerators.
  • a detection by the monitoring system 15 differs from the detection by the environment detection system 16, which, for example, exceeds a threshold value, then the data system 10 transmits the data wirelessly to a separate data unit 20 (cloud, backbone, infrastructure, etc.) via an output interface 18. . ) before.
  • 3 shows an exemplary embodiment of a classification system as an environment detection system and a monitoring system.
  • the classification system K classifies e.g.
  • FIG. 3a shows a flow chart of an exemplary embodiment of a method for training a classification system K and a monitoring system using machine learning. During training, both systems are trained with the same sensor data X.
  • Training input data X and training target values Y are provided for training the classification system K, which is, for example, a decision tree learning system, a support vector machine, a learning system based on regression analysis, a Bayesian network, a neural network or a convolutional neural network .
  • output data Y' are generated from the training input data X.
  • Reconstruction data X′ which are similar to training input data X, are generated from training input data X by means of monitor system KR (auto-encoder).
  • the aim of training the classification system K is that the output data Y' are as similar as possible to the training target values Y without overfitting.
  • the deviations still present between the output data Y and the training target values Y are determined from the generated output data Y' and the training target values Y using a first error function Loss. These deviations are used, for example, to adapt parameters of the classification system K via backpropagation. This is repeated until a predetermined match is achieved or until there are signs of overfitting.
  • the KR monitor system is based on an auto-encoder and therefore requires no further annotations apart from the actual sensor data X.
  • goal of the training of the monitor system KR is that the reconstruction data X' are as similar as possible to the training input data X.
  • the remaining deviations between the reconstruction data X' and the training input data X are determined from the generated reconstruction data X' and the training input data X by means of a second error function L0SS2. These deviations are used, for example, via backpropagation to adapt parameters of the monitor system KR. This is repeated until a predetermined match is achieved or until there are signs of overfitting.
  • the monitoring system KR can also be trained, for example, after the classification system K has been trained, whereby it must be noted that the same training input data X must be used.
  • the auto-encoder or the monitor system KR can at any time compare its output to the original sensor data and (by means of a metric) calculate a quantified error or a quantified uncertainty U.
  • the deviation of the reconstruction data X' from the input data X is determined using a metric.
  • the deviation value determined in this way quantifies the uncertainty U of the output data Y'.
  • FIG. 3b shows a flowchart of a method for using the classification system K and the monitoring system KR that is suitable for the exemplary embodiment in FIG. 3a.
  • ES enables the quantification of uncertainties U of the output data Y' of the classification system K.
  • This principle has the advantage that the monitor system KR itself in the application (inference) can measure the error in its reconstruction data X′ in relation to the input signal or the input data X by means of the metric, and that at any time.
  • both the classification system K and the monitoring system KR were developed on the same data, both systems have comparable deficits. However, since the deficits in the output data Y′ in the case of the classification system K can no longer be measured in the application, they can be identified from the relation with the monitor system KR.
  • the input data X be image data of an image
  • the output data Y' be classification data corresponding to objects represented on the image. If it is now possible to use the monitor system KR to generate a reconstructed image X' that is similar to the original image X, then this indicates that similar input data X were already present when the monitor system KR and the classification system K were trained, so that the uncertainty U of the output data Y' is small. However, if the reconstructed image X' differs greatly from the original image X, then this indicates that no similar input data X were used to train the monitor system KR and the classification system K and that the uncertainty U of the output data Y' is therefore large.
  • a large uncertainty U is therefore an indication that the input data could be an edge case.
  • FIG. 4 schematically shows a vehicle 2 which detects an unknown scene/situation.
  • An unusual object 42 namely an elephant
  • An unusual object 42 is located in the detection range 44 of the vehicle's environment detection sensor.
  • This borderline situation can be identified by the monitor system KR, symbolized by the exclamation mark or Attention! Symbol 46 in FIG. 4.
  • the data recorded by the environment detection sensor can then subsequently be used to develop the detection system K further.
  • the data can, for example, be transmitted wirelessly via a telematics device 48 to an external data unit, e.g to be prepared for such borderline cases.
  • FIG. 5 schematically shows a grayscale image of a vehicle camera, which has overexposure due to faulty exposure control. In most cases, it will not be possible to classify this too bright and low-contrast image. Such a situation often occurs in similar driving situations due to the limitations of exposure control, e.g. briefly when exiting a tunnel. The cause here is sensory in nature.
  • Fig. 6 schematically shows a greyscale image depicting unexpected effects of modern art on a traffic island of a road.
  • Artwork shown is Traffic Light Tree, 5TG, Trafalgar Way, Blackwall, London, UK.
  • the modern work of art consists of several traffic lights. These are not used for traffic control. A camera-based traffic light recognition system would be overwhelmed by assigning traffic-regulating information to this work of art.
  • the vehicle function to be implemented or monitored is extended by a second independent monitoring system, which is based on the same data.
  • the monitor system is thus also adapted when adjustments are made to the vehicle function.
  • the monitoring system then continuously monitors the coverage of the current situation in relation to the data covered by the system. If there is a sufficient deviation, e.g. via a threshold value control, the data for the development is recorded and transmitted for the further development of the vehicle function.
  • the monitoring system can evaluate the entire scene recorded by one or more sensors or sections of a scene, e.g. individual objects.
  • this data package also contains meta information such as the current software version, calculated scores from the monitoring system on the relevance of the data, GPS information, date, VIN (vehicle identification number), or connected-vehicle-cloud data. Based on this, the scene can be reproduced exactly during development (simulation with the same software version). This information gain allows unknown scenarios and edge cases to be selected and incorporated directly into the development process of the vehicle function. This allows a continuous quality assurance process to be established. With each development step, more and more relevant data flows into the system.
  • the degree of maturity of the software can be derived from the number of incoming data transmissions.
  • Multi-sensor systems have the advantage of increasing the security of detection algorithms for road traffic by verifying the detections of multiple sensors.
  • Multi-sensor systems can be any combination of: one or more cameras, one or more radars, one or more ultrasound systems, one or more lidars, and/or one or more microphones.
  • a multi-sensor system consists of at least two sensors.
  • the data acquisition of one of these sensors s at time t is referred to below as D_(s,t).
  • the data D can be images and/or audio recordings, as well as measurements of angle, distance, speed and reflections of objects in the environment.
  • the monitor system described is implemented by an auto-encoder. This is developed based on the same data as the detection algorithm or function under consideration.
  • the auto encoder can be implemented in different ways. One possibility is the parallel use of an auto-encoder in addition to the detection algorithm, another possibility is the implementation as an additional detector head, i.e. the use of a common encoder for detection and auto-encoder. Use as a subsequent system would also be conceivable, i.e. a monitor system that starts after the environment has been detected. Due to its functional principle, the auto-encoder offers a significant advantage over other approaches. Descriptively using the example of image data: If an image is given to the auto-encoder, it tries to reconstruct it in the output.
  • the auto-encoder can thus be trained exclusively with the input signal without using additional labels. On the one hand, this offers the advantage that there is no additional effort in terms of annotation and, on the other hand, the decisive advantage that an error in relation to the input data can be determined in a quantified manner at any time (even on unknown data). A suitable threshold value formation is recommended here.
  • the autoencoder can be applied to the entire image or to parts of it.
  • the autoencoder can thus measure its own error with every possible input signal. In general, higher error values are to be expected with methods of machine learning on input data that do not sufficiently match the training data.
  • the fact that the autoencoder and the detection function are based on the same data results in the following advantage: unknown or uncertain scenarios identified by the autoencoder indicate that these scenarios are not sufficiently contained in the training data and are therefore not sufficient for extensive coverage of traffic scenarios are relevant to functional development.
  • a measure of the security with which the autoencoder makes its decision is also relevant.
  • This so-called security measure is supplementary to the autoencoder output and is particularly relevant when the fusion of the autoencoder output via different sensors is considered and/or the temporal fusion of the autoencoder outputs.
  • Such a safety measure can be calculated via statistical calibration or uncertainty estimation.
  • the following are suitable for this: a) Statistical calibration methods, which weight the outputs of the autoencoder in such a way that they represent a probabilistic uncertainty. This method is suitable when hardly any computing resources are available.
  • a measurement uncertainty can be estimated, eg by adding a regularization to the error function (Loss; L0SS2), which measures the measurement uncertainty at runtime.
  • the autoencoder offers the possibility of identifying data that is not sufficiently represented in the training data. Combining this principle with the idea of temporal consistency results in further added value. If, for example, the identified data is filtered in terms of time and a distinction is made between continuously occurring sample data and only isolated outliers, valuable additional information is obtained.
  • Short outliers could, for example, indicate sensory causes.
  • the white balance of the camera could fluctuate greatly for individual points in time t. This data would be relevant for the respective sensor development.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Fahrzeugdatensystem (10) und ein Verfahren zur Ermittlung von übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors (1) und kann beispielsweise im Kontext der Weiterentwicklung von Systemen für Assistiertes oder Automatisiertes Fahren Anwendung finden. Das Fahrzeugdatensystem (10) umfasst ein Umgebungsdetektionssystem (16) und ein Monitorsystem (15) im Fahrzeug. Das Umgebungsdetektionssystem (16) ist dazu konfiguriert, Eingangsdaten X eines Umgebungserfassungssensors (1) zu empfangen und auszuwerten. Die Eingangsdaten X werden mittels eines ersten trainierten künstlichen neuronalen Netzwerks K ausgewertet und als Ergebnis der Auswertung werden Umgebungsdetektionsdaten Y' ausgegeben. Das Monitorsystem (15) ist dazu konfiguriert, dieselben Eingangsdaten X des Umgebungserfassungssensors (1) mittels eines zweiten trainierten künstlichen neuronalen Netzwerks KR auszuwerten und als Ergebnis der Auswertung werden Rekonstruktionsdaten X' ausgegeben. Im Fall, dass das Monitorsystem (15) eine Abweichung der Rekonstruktionsdaten X' gegenüber den Eingangsdaten X feststellt, die einen Schwellwert übersteigt, veranlasst das Monitorsystem (15) eine Übertragung der Eingangsdaten X an eine separate Dateneinheit (20). Dadurch können Szenarien und Objekte (44) gezielt abgedeckt werden, die während der Entwicklung des Umgebungsdetektionssystems unzureichend oder gar nicht waren und folglich beim Training der neuronalen Netze als Edge Cases (Grenzfälle) nicht (hinreichend) berücksichtigt worden waren.

Description

Beschreibung
Fahrzeugdatensystem und Verfahren zur Ermittlung von relevanten bzw. übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors
Die Erfindung betrifft ein Fahrzeugdatensystem und ein Verfahren zur Ermittlung von übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors und kann beispielsweise im Kontext der Weiterentwicklung von Systemen für Assistiertes oder Automatisiertes Fahren Anwendung finden.
Der Stand der Technik umfasst das Trainieren von Netzwerken für Detektionsfunktionen und für Fahrzeugfunktionen basierend auf Trainingsdaten, welche beispielsweise durch Testfahrzeuge während der Entwicklung eingefahren werden. Dies beschränkt die Daten auf Szenarien, welche hierbei aufgetreten sind. Für eine umfassende Abdeckung vorn Straßenverkehrsszenarien ist eine Datensammlung im Realbetrieb von Fahrzeugen vorteilhaft. Dies ermöglicht eine weitreichende Diversität der Daten für die Selektion von Trainingsdaten.
Eine Datenaufnahme mit Testfahrzeugen während der Entwicklung deckt die hierbei aufgenommenen Szenarien ab. Jedoch treten während des Betriebs in Serienfahrzeugen weitere Szenarien auf, die unzureichend oder kaum von den Szenarien während der Entwicklung abgedeckt werden. Dies sind insbesondere Edge Cases (gemeint sind hiermit Grenzfälle, Sonderfälle, Einzelfälle bzw. Spezialfälle, die so selten auftreten, dass sie typischerweise von Testfahrzeugen nicht oder nur vereinzelt aufgenommen werden). Um künstliche Intelligenz (Kl) zu entwickeln, welche auch die Edge Cases adressiert, ist eine Datenaufnahme im Realbetrieb der Kl hilfreich. Um hierbei die Anzahl der zu übertragenden Daten an die weiterführende Entwicklung zu reduzieren, ist eine Datenselektion in den Fahrzeugen notwendig. Hierbei ist es erforderlich den Rechenaufwand für die Datenselektion so gering wie möglich zu halten, da das Budget auf dem Embedded Systems in den Fahrzeugen hierfür begrenzt ist. Somit ist ein Verfahren vorteilhaft, welches wenig Rechenzeit benötigt, um die Relevanz von Straßenverkehrsszenarien für die Entwicklung von Kl-Algorithmen für ADAS und AD in den Serienfahrzeugen zu bewerten.
Ein allgemeines Verfahren zum Erhalten von Trainingsdaten aus Serienfahrzeugen wird in WO 2020/056331 A1 für einzelne Sensoren beschrieben.
Im Fahrzeug befindet sich ein künstliches neuronales Netzwerk, das Sensordaten auswertet. Ein Triggerklassifikator wird auf ein Zwischenergebnis des neuronalen Netzwerks angewandt, um einen Klassifikations-Score der Sensordaten zu bestimmen. Basierend zumindest teilweise auf dem Klassifikations-Score wird eine Entscheidung getroffen, ob über ein Computernetzwerk zumindest Teile der Sensordaten übertragen werden. Bei einer positiven Entscheidung werden Sensordaten übertragen und zur Generierung von Trainingsdaten verwendet.
Es ist eine Aufgabe der Erfindung, eine optimierte Möglichkeit zum effizienten Sammeln von relevanten Daten aus Fahrzeugen bereitzustellen.
Ein Aspekt betrifft die Identifikation von relevanten Samples und Edge Cases aus Fahrzeugflotten für eine datenbasierte Algorithm ik bzw. datengetriebene Optimierung von maschinellen Lernsystemen und Verfahren.
Ein erfindungsgemäßes Fahrzeugdatensystem umfasst ein Umgebungsdetektionssystem und ein Monitorsystem im Fahrzeug.
Das Umgebungsdetektionssystem ist dazu konfiguriert, Eingangsdaten X eines Umgebungserfassungssensors zu empfangen und auszuwerten. Die Eingangsdaten X werden mittels eines ersten trainierten künstlichen neuronalen Netzwerks K ausgewertet und als Ergebnis der Auswertung werden Umgebungsdetektionsdaten Y‘ ausgegeben.
Das Monitorsystem ist dazu konfiguriert, dieselben Eingangsdaten X des Umgebungserfassungssensors mittels eines zweiten trainierten künstlichen neuronalen Netzwerks KR auszuwerten und als Ergebnis der Auswertung werden Rekonstruktionsdaten X' ausgegeben.
Im Fall, dass das Monitorsystem eine Abweichung der Rekonstruktionsdaten X' gegenüber den Eingangsdaten X feststellt, die einen Schwellwert übersteigt (^potentieller Edge Case), veranlasst das Monitorsystem eine Übertragung der Eingangsdaten X an eine separate Dateneinheit. Die separate Dateneinheit kann beispielsweise ein externer Server, Cloudspeicher oder ein Backbone eines V2X-Systems sein. V2X, vehicle-to-X bedeutet ein Kommunikationssystem bzw. Telematiksystem, bei dem das Fahrzeug mit anderen Teilnehmern kommuniziert.
In einem Ausführungsbeispiel ist das zweite künstliche neuronale Netzwerk KR ein Auto-Encoder.
Das beschriebene „nicht sicherheitskritische“ (Monitoring-) System wird durch einen Auto-Encoder realisiert. Dieser wird basierend auf denselben Eingangsdaten wie der betrachtete Detektionsalgorithmus oder die Funktion entwickelt. Durch sein Funktionsprinzip bietet der Auto-Encoder einen signifikanten Vorteil gegenüber möglichen anderen Ansätzen.
Am Beispiel von Bilddaten als Sensordaten wird dies veranschaulicht:
Wird ein Bild in den Auto-Encoder gegeben, versucht er dieses in der Ausgabe zu rekonstruieren. Der Auto-Encoder kann somit ohne Verwendung von zusätzlichen Labeln ausschließlich mit dem Eingangssignal trainiert werden. Dies bietet zum einen den Vorteil, dass kein Mehraufwand hinsichtlich Annotation entsteht und zum anderen den entscheidenden Vorteil, dass zu jeder Zeit (auch auf unbekannten Daten) ein Fehler in Relation zu den Eingangsdaten quantifiziert ermittelt werden kann. Hierbei bietet sich eine geeignete Schwellwertbildung an. Der Autoencoder kann auf das gesamte Bild oder auf Teilausschnitte angewandt werden.
Der Autoencoder kann somit bei jeden möglichen Eingangssignal seinen eigenen Fehler messen. Im Allgemeinen sind bei Methoden des maschinellen Lernens höhere Fehlerwerte zu erwarten auf Eingabedaten die nicht hinreichend mit den Trainingsdaten übereinstimmen. Dadurch dass der Autoencoder und die Detektionsfunktion auf den gleichen Daten basieren ergibt sich hierbei folgender Vorteil: unbekannte oder ungewisse Szenarien identifiziert durch den Autoencoder weisen darauf hin, dass diese Szenarien nicht ausreichend in den Trainingsdaten enthalten sind und somit für eine weitreichende Abdeckung von Verkehrsszenarien der Funktionsentwicklung relevant sind.
Gemäß einer Ausführungsform berechnet das Monitorsystem einen Score, der auf Grundlage der Abweichung eine Relevanz der Eingangsdaten X abschätzt.
In einem Ausführungsbeispiel ist das erste künstliche neuronale Netzwerk K anhand von vorgegebenen Trainingsdaten trainiert worden ist, wobei zu Eingangsdaten X_1 , X_2, ... , X_n jeweils Soll-Ausgabedaten Y_1 , Y_2, ... , Y_n verwendet wurden. Durch Anpassen von Gewichten des ersten neuronalen Netzwerks K wurde eine erste Fehlerfunktion minimiert, die Abweichungen zwischen Ausgaben des ersten neuronalen Netzwerks K für Eingangsdaten X_1 , X_2, ... , X_n von korrespondierenden Soll-Ausgabedaten Y_1 , Y_2, ... , Y_n angibt.
Gemäß einer Ausführungsform ist das zweite künstliche neuronale Netzwerk KR trainiert worden durch Anpassen von Gewichten des zweiten neuronalen Netzwerks KR, wobei eine zweite Fehlerfunktion minimiert wurde, die die Abweichung von Rekonstruktionsdaten X' zu Eingangsdaten X des Umgebungserfassungssensors angibt.
In einem Ausführungsbeispiel werden zusätzlich zu den Eingangsdaten X des Umgebungserfassungssensors Metainformationen übertragen. Metainformationen entsprechen einer oder mehrerer Information(en) aus der folgenden Gruppe: aktuelle Softwareversion, berechnete Scores des Monitorsystems, GPS-Daten, Datum, Uhrzeit, Fahrzeugidentifikationsnummer (FIN) und Cloud-Daten, die ein Nachvollziehen der Szene und/oder der Fahrzeugsituation ermöglichen.
Basierend hierauf kann beispielsweise die Szene in der Entwicklung exakt nachvollzogen werden (Simulation mit demselben Softwarestand). Durch diesen Informationsgewinn können unbekannte Szenarien und Edge-Cases ausgewählt werden und direkt in den Entwicklungsprozess der Fahrzeug- bzw.
Umgebungsdetektionsfunktion einfließen. Dadurch kann ein kontinuierlicher Qualitätssicherungsprozess etabliert werden. Mit jedem Entwicklungsschritt fließen mehr und mehr relevante Daten in das System ein. Zusätzlich lässt sich auch ein Reifegrad der Software über die Anzahl der eintreffenden Datenübermittlungen ableiten. Je geringer die Anzahl der Datenübermittlungsvorgänge aufgrund nicht hinreichend zutreffender Prädiktionen, desto höher ist der Reifegrad der Software.
Gemäß einer Ausführungsform ist das Umgebungsdetektionssystem dazu konfiguriert, Eingangsdaten X einer Mehrzahl von Umgebungserfassungssensoren zu empfangen und diese gemeinsam auszuwerten.
Dies entspricht einem Multi-Sensor-Setup. Multi-Sensor Systeme haben den Vorteil durch Verifikation der Detektionen mehrerer Umgebungserfassungssensoren die Sicherheit von Detektionsalgorithmen für den Straßenverkehr zu erhöhen.
Multi-Sensorsysteme können beispielsweise eine beliebige Kombination aus: einer bis mehreren Kameras, einem bis mehreren Radaren, einem bis mehreren Ultraschallsystemen, einem bis mehreren Lidaren, und / oder einem bis mehreren Mikrofonen sein.
Ein Multi-Sensor-System besteht hierbei aus mindestens zwei Sensoren. Die Datenaufnahme eines dieser Sensoren s zum Zeitpunkt t kann mit D_(s,t) bezeichnet werden. Die Daten D können Bilder und/oder Audioaufnahmen, sowie Messungen von Winkel, Entfernung, Geschwindigkeit und Reflexionen von Objekten in der Umgebung sein.
In einem Ausführungsbeispiel ist das Monitorsystem dazu konfiguriert, die Eingangsdaten X des Umgebungserfassungssensors parallel zum Umgebungsdetektionssystem zu verarbeiten.
Gemäß einer Ausführungsform ist das Monitorsystem als zusätzlicher Detektor-Head im Umgebungsdetektionssystem integriert. Das Monitorsystem und das Umgebungsdetektionssystem nutzen einen gemeinsamen Encoder. In einem Ausführungsbeispiel sind die Eingangsdaten des Umgebungserfassungssensors Bilddaten. Das Monitorsystem ist dazu konfiguriert, das gesamte Bild oder einen Teilausschnitt des Bildes zu rekonstruieren. Es kann zusätzlich einen Wert für den Fehler der Rekonstruktion schätzen und auszugeben.
Gemäß einer Ausführungsform ist das Monitorsystem dazu konfiguriert, ein Unsicherheitsmaß zu bestimmen und auszugeben. Das Unsicherheitsmaß gibt an, wie sicher sich das Monitorsystem bei der Ausgabe seiner Rekonstruktionsdaten X' ist.
In einem Ausführungsbeispiel ist das Monitorsystem dazu konfiguriert, eine zeitliche Konsistenz der Rekonstruktionsdaten X' zu berücksichtigen.
Gemäß einer Ausführungsvariante wird dabei unterschieden, ob eine Abweichung der Rekonstruktionsdaten X' des Monitorsystems von den Eingangsdaten X kontinuierlich oder nur für begrenzte Zeiträume auftritt.
In einem Ausführungsbeispiel sind das Umgebungsdetektionssystem und das Monitorsystem derart konfiguriert, dass beide over the air - updatefähig sind.
Ein weiterer Gegenstand der Erfindung betrifft ein Verfahren zur Ermittlung von übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors. Das Verfahren umfasst die Schritte:
Auswerten von Eingangsdaten X des Umgebungserfassungssensors durch ein Umgebungsdetektionssystem mittels eines ersten trainierten künstlichen neuronalen Netzwerks;
Ausgeben der beim Auswerten ermittelten Umgebungsdetektionsdaten Y‘; Auswerten derselben Eingangsdaten X des Umgebungserfassungssensors durch ein Monitorsystem mittels eines zweiten trainierten künstlichen neuronalen Netzwerks KR;
Ausgeben der beim Auswerten ermittelten Rekonstruktionsdaten X‘; und
Veranlassen einer Übertragung der Eingangsdaten X an eine separate Dateneinheit in dem Fall, dass eine Abweichung der Rekonstruktionsdaten X' gegenüber den Eingangsdaten X festgestellt wird, die einen Schwellwert übersteigt.
Die Bewertung der Relevanz von Verkehrsszenarien kann weiterhin verbessert werden durch die Berücksichtigung von Multi-Sensor-Setups, des zeitlichen Verlaufs, und der Schätzung von Sicherheit, mit welchem ein Netzwerk eine Ausgabe prädiziert. Weiterhin ist ein geringer Rechenzeitaufwand für eingebettete Systeme vorteilhaft.
Diese Punkte werden z.B. dadurch adressiert, dass ein rechenarmer Monitorsystem bzw. Autoencoder-Ansatz gewählt wird und dieser für Multi-Sensor-Systeme, um Konfidenzschätzungen und um zeitliche Verifikation erweitert wird.
Im Folgenden werden Ausführungsbeispiele und Figuren näher erläutert. Dabei zeigen
Fig. 1 ein Fahrzeug mit einem Umgebungserfassungssensor und einem Datensystem,
Fig. 2 einen Umgebungserfassungssensor, ein Datensystem und eine separate Dateneinheit,
Fig. 3 ein Ausführungsbeispiel eines Klassifikationssystems als Umgebungsdetektionssystem und eines Monitorsystems,
Fig. 4 ein Fahrzeug, welches eine unbekannten Szene/ Situation erfasst, Fig. 5 ein Graustufenbild einer Fahrzeugkamera, welches eine Überbelichtung aufgrund von fehlerhafter Belichtungssteuerung aufweist und Fig. 6 ein Graustufenbild einer Fahrzeugkamera, welches ein Kunstwerk enthält, was zu einer unerwarteten Situation bei der Auswertung führen kann.
Fig. 1 zeigt ein Fahrzeug 2 mit einem Umgebungserfassungssensor 1 und einem Datensystem 10. Der dargestellte Umgebungserfassungssensor 1 entspricht einer Kamera, die im Inneren des Fahrzeugs 2 angeordnet ist - etwa im Bereich des Rückspiegels - und durch die Windschutzscheibe des Fahrzeugs 2 die Umgebung des Fahrzeugs erfasst. Weitere Umgebungserfassungssensoren 1 des Fahrzeugs 2 können beispielsweise Kamera-, Radar-, Lidar- und/oder Ultraschallsensoren sein (nicht dargestellt). Sämtliche Umgebungserfassungssensoren 1 zeichnen Daten auf, die Informationen über die Umgebung des Fahrzeugs 2 enthalten. Die Daten werden an das Datensystem 10 des Fahrzeugs übertragen und von diesem verarbeitet. Das Datensystem kann beispielsweise ein Steuergerät umfassen, z.B. ein Steuergerät für Assistiertes oder Automatisiertes Fahren (ADAS oder AD, z.B. eine Automated Driving Control Unit, ADCU), welches aus den Sensordaten Detektionen ableitet und ein gewisses Verständnis der Fahrzeugumgebung und der Verkehrssituation gewinnt. Aufgrund dieser Detektionen können beim Assistierten Fahren Warnungen an den Fahrer oder begrenzte Eingriffe in die Fahrzeugsteuerung erfolgen, beim Automatisierten Fahren kann eine ADCU die Kontrolle über das Fahrzeug 2 insgesamt ausüben.
Fig. 2 zeigt einen Umgebungserfassungssensor 1 , ein Datensystem 10 und eine separate Dateneinheit 20.
Das Datensystem 10 ist mit mindestens einem Umgebungserfassungssensor 1 , z.B. einer Bildaufnahmevorrichtung, in einem Fahrzeug 2 elektrisch verbunden ist. Die Bildaufnahmevorrichtung kann eine Frontkamera eines Fahrzeugs sein. Die Frontkamera dient als Sensor der Erfassung der Umgebung, die vor dem Fahrzeug liegt. Basierend auf den Signalen bzw. Bilddaten der Frontkamera kann die Umgebung des Fahrzeugs 2 detektiert werden. Auf Grundlage der Umgebungsdetektion können ADAS- oder AD-Funktionen durch eine ADAS/AD-Steuereinheit bereitgestellt werden, z.B. eine Fahrspurerkennung, Spurhalteunterstützung, Verkehrszeichenerkennung, Tempolimit-Assistenz, Verkehrsteilnehmererkennung, Kollisionswarnung, Notbremsassistenz, Abstandsfolgeregelung, Baustellenassistenz, ein Autobahnpilot, eine Cruising-Chauffeurfunktion und/oder ein Autopilot.
Die Bildaufnahmevorrichtung umfasst typischerweise eine Optik bzw. ein Objektiv und einen Bildaufnahmesensor, z.B. einen CMOS-Sensor.
Die vom Umgebungserfassungssensor 1 erfassten Daten bzw. -Signale werden an eine Eingangsschnittstelle 12 des Datensystems 10 übertragen. Die Daten werden im Datensystem 10 von einem Datenprozessor 14 prozessiert. Der Datenprozessor
14 umfasst ein Umgebungsdetektionssystem 16 und ein Monitorsystem 15. Das Umgebungsdetektionssystem 16 kann ein erstes künstliches neuronales Netzwerk umfassen, beispielsweise ein CNN. Das Umgebungsdetektionssystem 16 kann neben reinen Detektionen auch ein umfassenderes Umgebungs- und Situationsverständnis erstellen, beispielsweise eine Prädiktion von Trajektorien des eigenen Fahrzeugs 2 aber auch anderer Objekte oder Verkehrsteilnehmer in der Umgebung des Fahrzeugs 2. Die Detektionen des Umgebungsdetektionssystems 16 können sicherheitsrelevant sein, denn von ihnen hängen Aktionen oder Warnungen eine ADAS- bzw. AD-Systems des Fahrzeugs ab. Das Monitorsystem
15 ist dagegen nicht sicherheitskritisch, denn seine Hauptaufgabe ist eine Überwachung des Umgebungsdetektionssystems 16 und eine Entscheidung, ob Daten an eine separate Dateneinheit 20 übertragen werden soll oder nicht. Das Monitorsystem 15 kann ein zweites künstliches neuronales Netzwerk umfassen, beispielsweise einen Auto-Encoder.
Damit die künstlichen neuronalen Netzwerke die Daten im Fahrzeug in Echtzeit prozessieren kann, kann das Datensystem 10 oder der Datenprozessor 14 einen oder mehrere Hardwarebeschleuniger für künstliche neuronale Netzwerke umfassen.
Wenn eine Detektion des Monitorsystems 15 eine Abweichung gegenüber der Detektion des Umgebungsdetektionssystems 16 aufweist, die z.B. einen Schwellwert übersteigt, dann nimmt das Datensystem 10 über eine Ausgabeschnittstelle 18 eine drahtlose Übertragung der Daten an eine separate Dateneinheit 20 (Cloud, Backbone, Infrastruktur, ... ) vor. Fig. 3 zeigt ein Ausführungsbeispiel eines Klassifikationssystems als Umgebungsdetektionssystem und eines Monitorsystems.
Das Klassifikationssystem K klassifiziert z.B. Objekte auf Grundlage von Sensordaten X des Umgebungserfassungssensors 1. Zusätzlich zum Klassifikationssystem K wird ein zweites unabhängiges und zusätzliches Monitorsystem KR eingeführt.
Figur 3a zeigt ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens zum Trainieren eines Klassifikationssystems K und eines Monitorsystems mittels maschinellem Lernen. Beim Training werden beide Systeme mit den selben Sensordaten X trainiert.
Zum Trainieren des Klassifikationssystems K, das beispielsweise ein Entscheidungsbaum-Lernsystem, eine Support Vector Machine, ein auf einer Regressionsanalyse basierendes Lernsystem, ein Bayessches Netz, ein neuronales Netz oder ein Convolutional Neural Network ist, werden Trainings-Eingabedaten X und Trainings-Zielwerte Y bereitgestellt. Mittels des Klassifikationssystems K werden aus den Trainings-Eingabedaten X Ausgabedaten Y‘ erzeugt. Mittels des Monitorsystems KR (Auto-Encoder) werden aus den Trainings-Eingabedaten X Rekonstruktionsdaten X' erzeugt, die den Trainings-Eingabedaten X ähnlich sind. Ziel des Trainings des Klassifikationssystems K ist es, dass die Ausgabedaten Y‘ den Trainings-Zielwerten Y so ähnlich wie möglich sind, ohne eine Überanpassung vorzunehmen.
Dazu wird aus den erzeugten Ausgabedaten Y‘ und den Trainings-Zielwerten Y mittels einer ersten Fehlerfunktion Loss die noch vorhandenen Abweichungen zwischen den Ausgabedaten Y und den Trainings-Zielwerten Y ermittelt. Diese Abweichungen werden beispielsweise über eine Backpropagation zu einer Anpassung von Parametern des Klassifikationssystems K verwendet. Dies wird so lange wiederholt, bis eine vorgegebene Übereinstimmung erzielt worden ist oder bis Anzeichen einer Überanpassung auftreten.
Das Monitorsystem KR basiert auf einem Auto-Encoder und benötigt deshalb neben den eigentlichen Sensordaten X keine weiteren Annotationen. Ziel des Trainings des Monitorsystems KR ist es, dass die Rekonstruktionsdaten X' den Trainings-Eingabedaten X so ähnlich wie möglich sind. Dazu wird aus den erzeugten Rekonstruktionsdaten X' und den Trainings-Eingabedaten X mittels einer zweiten Fehlerfunktion L0SS2 die noch vorhandenen Abweichungen zwischen den Rekonstruktionsdaten X' und den Trainings-Eingabedaten X ermittelt. Diese Abweichungen werden beispielsweise über eine Backpropagation zu einer Anpassung von Parametern des Monitorsystems KR verwendet. Dies wird so lange wiederholt, bis eine vorgegebene Übereinstimmung erzielt worden ist oder bis Anzeichen einer Überanpassung auftreten.
Das Trainieren des Monitorsystems KR kann beispielsweise auch nach dem Trainieren des Klassifikationssystems K erfolgen, wobei beachtet werden muss, dass die gleichen Trainings-Eingabedaten X verwendet werden müssen.
Der Auto-Encoder bzw. das Monitorsystem KR kann zu jeder Zeit seine Ausgabe zu den ursprünglichen Sensordaten vergleichen und (mittels einer Metrik) einen quantifizierten Fehler bzw. eine quantifizierte Unsicherheit U berechnen. Die Abweichung der Rekonstruktionsdaten X' von den Eingabedaten X wird mittels einer Metrik bestimmt. Der so bestimmte Abweichungswert quantifiziert die Unsicherheit U der Ausgabedaten Y‘.
Figur 3b zeigt ein Flussdiagramm eines zum Ausführungsbeispiel der Figur 3a passenden Verfahrens zur Anwendung des Klassifikationssystems K und des Monitorsystems KR. ES ermöglicht die Quantifizierung von Unsicherheiten U der Ausgabedaten Y‘ des Klassifikationssystems K.
Dieses Prinzip hat den Vorteil, dass das Monitorsystem KR selbst in der Anwendung (Inferenz) mittels der Metrik den Fehler seiner Rekonstruktionsdaten X' in Relation zum Eingangssignal bzw. den Eingangsdaten X messen kann, und das zu jedem Zeitpunkt.
Da sowohl das Klassifikationssystem K als auch das Monitorsystem KR auf denselben Daten entwickelt wurden, weisen beide Systeme vergleichbare Defizite auf. Da die Defizite der Ausgabedaten Y‘ im Falle des Klassifikationssystems K aber in der Anwendung nicht mehr messbar sind, können sie aus der Relation mit dem Monitorsystem KR identifiziert werden. Als Beispiel seien die Eingabedaten X Bilddaten eines Bildes und die Ausgabedaten Y‘ Klassifikationsdaten, die auf dem Bild dargestellten Objekten entsprechen. Ist es nun möglich, mittels des Monitorsystems KR ein rekonstruiertes Bild X' zu erzeugen, das dem ursprünglichen Bild X ähnlich ist, dann deutet das darauf hin, dass beim Trainieren des Monitorsystems KR und des Klassifikationssystems K schon ähnliche Eingabedaten X vorhanden waren, so dass die Unsicherheit U der Ausgabedaten Y‘ gering ist. Ist jedoch das rekonstruierte Bild X' stark vom ursprünglichen Bild X verschieden, dann deutet dies darauf hin, dass keine ähnlichen Eingabedaten X zum Trainieren des des Monitorsystems KR und des Klassifikationssystems K verwendet wurden und demnach die Unsicherheit U der Ausgabedaten Y‘ groß ist.
Eine große Unsicherheit U ist somit ein Hinweis, dass es sich bei den Eingangs- bzw. Eingabedaten um einen Edge Case handeln könnte.
Fig. 4 zeigt schematisch ein Fahrzeug 2, welches eine unbekannten Szene/ Situation erfasst. Im Erfassungsbereich 44 des Umgebungserfassungssensors des Fahrzeugs befindet sich ein außergewöhnliches Objekt 42, nämlich ein Elefant. Es kommt in der Anwendung der trainierten Systeme nun zu einer Situation, die während der Entwicklung nicht hinreichend abgebildet wurde, da in den Trainingsdaten keine Elefant als außergewöhnliches Objekt 42 enthalten war. Diese grenzwertige Situation kann durch das Monitorsystem KR identifiziert werden, symbolisiert durch das Ausrufezeichen bzw. Achtung! Symbol 46 in Fig. 4. Die vom Umgebungserfassungssensor erfassten Daten können dann anschließend verwendet werden, um das Detektionssystem K weiterzuentwickeln. Dazu können die Daten beispielsweise über eine Telematikeinrichtung drahtlos übertragen werden 48 an eine externe Dateneinheit, z.B. an einen Server bzw. an eine Cloud 50. Im Rahmen eines möglichen Entwicklungsprozesses, werden die in der Cloud gespeicherten Daten verwendet, um zukünftig auch mittels optimiertem Training auf derartige Grenzfälle vorbereitet zu sein.
Mit diesem System eine Vielzahl von nicht ausreichend in den Trainingsdaten repräsentierten Daten identifizieren. Nicht ausreichend repräsentierte Daten können durch Limitationen des Umgebungserfassungssensors in besonderen Fahrsituationen aber auch schlicht durch ungewöhnliche Umgebungsszenarien bedingt sein, oder aber auch schlicht
Fig. 5 zeigt schematisch ein Graustufenbild einer Fahrzeugkamera, welches eine Überbelichtung aufgrund von fehlerhafter Belichtungssteuerung aufweist. Eine Klassifikation dieses zu hellen und kontrastarmen Bildes wird in den meisten Fällen nicht gelingen. Eine solche Situation tritt in ähnlich gelagerten Fahrsituationen aufgrund der Limitationen der Belichtungssteuerung häufig auf, z.B. kurzzeitig bei einer Ausfahrt aus einem Tunnel. Die Ursache ist hier sensorischer Natur.
Fig. 6 zeigt schematisch ein Graustufenbild, das unerwartete Effekte von moderner Kunst an einer Verkehrsinsel einer Straße wiedergibt. Dargestellt ist das Kunstwerk „Traffic Light Tree“, 5TG, Trafalgar Way, Blackwall, London, Großbritannien.
Das moderne Kunstwerk besteht aus mehreren Ampeln. Diese dienen nicht der Verkehrsregelung. Eine kamerabasierte Ampelerkennung wäre damit überfordert, diesem Kunstwerk eine verkehrsregelnde Information zuzuordnen.
Im Folgenden werden weitere Aspekte und Ausführungsbeispiele beschrieben:
Der Übergang von assistierten zu autonomem Fahren stellt eine technische Hürde dar. Ein autonomes System muss auch komplexe Szenarien beherrschen, die eventuell nicht durch die Simulation oder Erprobungsfahrten abgedeckt wurden. Das Ziel ist es hierbei, dass die Umfelderfassung für Fahrzeugfunktionen zu jeder Zeit und in möglichst zahlreichen Szenarien - idealerweise allen Szenarien - zuverlässig funktioniert.
Um dieses Problem zu lösen, schlagen wir ein zusätzliches Monitorsystem vor, also ein nicht sicherheitskritisches System, dass diese komplexen und relevanten Daten automatisiert für die Entwicklung aus dem realen Straßenverkehr einholt. Da sich die “relevanten” Daten mit jeder Softwareversion kontinuierlich verschieben können, ist es darüber hinaus erforderlich, dass das System updatefähig ist und zu den rohen Daten zusätzlich eine Versionierung aufweist. Im Detail sieht das Gesamtsystem wie folgt aus:
Die zu implementierende oder überwachende Fahrzeugfunktion wird um ein zweites unabhängiges Monitorsystem erweitert, welches auf denselben Daten basiert. Das Monitorsystem wird somit bei Anpassungen an der Fahrzeugfunktion ebenfalls angepasst.
Im Betrieb überwacht das Monitorsystem anschließend kontinuierlich die Abdeckung der aktuellen Situation in Relation zu dem vom System abgedeckten Daten. Kommt es hierbei zu einer hinreichenden Abweichung, z.B. über eine Schwellwertregelung, werden die Daten für die Entwicklung erfasst und für die Weiterentwicklung der Fahrzeugfunkton übermittelt. Das Monitorsystem kann hierzu die gesamte Szene aufgenommen durch einen oder mehrere Sensoren bewerten oder Ausschnitte einer Szene, z.B. einzelne Objekte.
Zusätzlich zu den Rohdaten enthält dieses Datenpaket auch Metainformationen wie die aktuelle Softwareversion, berechnete Scores des Monitorsystems über die Relevanz der Daten, GPS-Information, Datum, FIN (Fahrzeugsidentifikationsnummer), oder auch connected-vehicle-cloud Daten. Basierend hierauf kann die Szene in der Entwicklung exakt nachvollzogen werden (Simulation mit demselben Softwarestand). Durch diesen Informationsgewinn können unbekannte Szenarien und Edge-Cases ausgewählt werden und direkt in den Entwicklungsprozess der Fahrzeugfunktion einfließen. Dadurch kann ein kontinuierlicher Qualitätssicherungsprozess etabliert werden. Mit jedem Entwicklungsschritt fließen mehr und mehr relevante Daten in das System ein.
Zusätzlich lässt sich auch ein Reifegrad der Software über die Anzahl der eintreffenden Datenübermittelungen ableiten.
Erweiterung zu Multi-Sensor/ Multi-Network-Setup Das vorgeschlagene Monitorsystem betrachtet hierbei ein Sensor-Setup für Fahrzeuge im Kontext des assistierten und autonomen Fahrens. Dies kann optional auf ein Multi-Sensor-Setup erweitert werden. Multi-Sensor Systeme haben den Vorteil durch Verifikation der Detektionen mehrerer Sensoren die Sicherheit von Detektionsalgorithmen für den Straßenverkehr zu erhöhen. Multi-Sensorsysteme können hierbei eine beliebige Kombination aus: einer bis mehreren Kameras, einem bis mehreren Radaren, einem bis mehreren Ultraschallsystemen, einem bis mehreren Lidaren, und / oder einem bis mehreren Mikrofonen sein.
Ein Multi-Sensor-System besteht hierbei aus mindestens zwei Sensoren. Die Datenaufnahme eines dieser Sensoren s zum Zeitpunkt t wird im Folgenden mit D_(s,t) bezeichnet. Die Daten D können Bilder und/oder Audioaufnahmen, sowie Messungen von Winkel, Entfernung, Geschwindigkeit und Reflexionen von Objekten in der Umgebung sein.
Funktionsweise
Das beschriebene Monitorsystem (bzw. nicht sicherheitskritische System) wird durch einen Auto-Encoder realisiert. Dieser wird basierend auf denselben Daten wie der betrachtete Detektionsalgorithmus oder die Funktion entwickelt. Der Auto-Encoder kann auf unterschiedliche Weise realisiert werden. Eine Möglichkeit ist die parallele Verwendung eines Auto-Encoders zusätzlich zum Detektionsalgorithmus, eine andere Möglichkeit ist die Realisierung als zusätzlicher Detektor-Head, heißt die Verwendung eines gemeinsamen Encoders für Detektion und Auto-Encoder. Auch eine Verwendung als nachfolgendes System wäre denkbar, also ein Monitorsystem, dass nach erfolgter Umgebungsdetektion startet. Durch sein Funktionsprinzip bietet der Auto-Encoder einen signifikanten Vorteil gegenüber anderen Ansätzen. Anschaulich am Beispiel von Bilddaten: Wird ein Bild in den Auto-Encoder gegeben, versucht er dieses in der Ausgabe zu rekonstruieren. Der Auto-Encoder kann somit ohne Verwendung von zusätzlichen Labeln ausschließlich mit dem Eingangssignal trainiert werden. Dies bietet zum einen den Vorteil, dass kein Mehraufwand hinsichtlich Annotation entsteht und zum anderen den entscheidenden Vorteil, dass zu jeder Zeit (auch auf unbekannten Daten) ein Fehler in Relation zu den Eingangsdaten quantifiziert ermittelt werden kann. Hierbei bietet sich eine geeignete Schwellwertbildung an. Der Autoencoder kann auf das gesamte Bild oder auf Teilausschnitte angewendet werden.
Der Autoencoder kann somit bei jedem möglichen Eingangssignal seinen eigenen Fehler messen. Im Allgemeinen sind bei Methoden des maschinellen Lernens höhere Fehlerwerte zu erwarten auf Eingabedaten die nicht hinreichend mit den Trainingsdaten übereinstimmen. Dadurch, dass der Autoencoder und die Detektionsfunktion auf den gleichen Daten basieren, ergibt sich hierbei folgender Vorteil: unbekannte oder ungewisse Szenarien identifiziert durch den Autoencoder weisen darauf hin, dass diese Szenarien nicht ausreichend in den Trainingsdaten enthalten sind und somit für eine weitreichende Abdeckung von Verkehrsszenarien der Funktionsentwicklung relevant sind.
Erweiterung um ein Unsicherheitsmaß
Neben der Ausgabe des Autoencoders, welcher die Rekonstruktionssicherheit des Netzwerks schätzt, ist weiterhin ein Maß für die Sicherheit, mit welcher der Autoencoder seine Entscheidung trifft, relevant. Dieses sogenannte Sicherheitsmaß ist ergänzend zu der Autoencoder-Ausgabe und insbesondere relevant, wenn die Fusion der Autoencoder-Ausgabe über verschiedene Sensoren betrachtet wird oder/und die zeitliche Fusion der Autoencoder-Ausgaben.
Ein derartiges Sicherheitsmaß kann über statistische Kalibrierung oder Unsicherheitsschätzung berechnet werden. Hierzu eignen sich: a) Statistische Kalibrierungsverfahren, welche die Ausgaben des Autoencoders derart gewichten, dass diese eine probabilistische Unsicherheit repräsentieren. Dieses Verfahren ist geeignet, wenn kaum Rechenressourcen zur Verfügung stehen. b) Stehen jedoch ausreichend Rechenressourcen zur Verfügung, können Modellunsicherheiten geschätzt werden: beispielsweise indem einzelne Netzwerkschichten durch Monte-Carlo-Dropout erweitert werden. Somit werden zur Laufzeit diese Netzwerkschichten und die darauffolgenden m-mal wiederholt berechnet, mit einer random isierten Aktivierung der einzelnen neuronalen Schichten. Somit ergibt sich ein Set an Ausgaben y_i (i = 1 ... m). c) Weiterhin kann eine Messunsicherheit geschätzt werden, z.B. indem der Fehlerfunktion (Loss; L0SS2) eine Regularisierung hinzugefügt wird, welche zur Laufzeit die Messunsicherheit misst.
Die Erweiterung zur Bestimmung von unbekannten oder ungewissen Szenen um eine Unsicherheitsschätzung ermöglicht die Bewertung von Szenen, in welchen der Klassifikator zwar korrekt entscheidet, jedoch diese Entscheidung mit einer großen Unsicherheit verbunden ist. Durch Hinzunahme der Unsicherheitsschätzung wird die Robustheit der Suche nach unbekannten Szenen, um die Suche nach ungewissen Szenen erweitert. Somit können mit dieser Architektur sowohl unbekannte Szenen als auch dem Netzwerk ungewisse Szenen selektiert werden.
Erweiterung um Zeitliche Konsistenz
Wie oben beschrieben, bietet der Autoencoder die Möglichkeit nicht hinreichend in den Trainingsdaten abgebildete Daten zu identifizieren. Kombiniert man dieses Prinzip mit der Idee von Temporal Consistency ergibt sich ein weiterer Mehrwert. Filtert man so zum Beispiel die identifizierten Daten zeitlich und unterscheidet zwischen kontinuierlich auftretenden Beispieldaten und nur vereinzelten Ausreißern ergeben sich wertvolle Zusatzinformationen.
Kurze Ausreißer könnten so z.B. auf sensorische Ursachen hinweisen. So könnte bei der Einfahrt in einen Tunnel der Weißabgleich der Kamera für einzelne Zeitpunkte t stark schwanken. Diese Daten wären von Relevanz für die jeweilige Sensor-Entwicklung.
Treten die identifizierten Daten kontinuierlich auf, so handelt es sich mit hoher Wahrscheinlichkeit um ein unbekanntes Szenario, dass für die Algorithmus-Entwicklung von Relevanz ist. Folgende Vorteile ergeben sich aus genannten Ausführungsformen und Aspekten:
- Besonderer Vorteil: Laufzeit optimiert
- Anwendbar auf beliebige Sensordaten sowie Kombinationen dieser - Einfach Integration in den Entwicklungsprozess, keine separate Datenaufnahme notwendig
- Höhere Abdeckung als Event-basierte Ansätze, die nur den Ausgang einer Fahrzeugfunktion überwachen, wie zum Beispiel den Verlust eines Objekttracks
- Automatische Selektion von speziell für den betrachteten Algorithmus relevanter Daten
- Identifikation von echten Szenarien, die nur schwer reproduzierbar sind (Unfälle, unwahrscheinliche Kombinationen von Ereignissen, ... )

Claims

Patentansprüche
1. Fahrzeugdatensystem (10) umfassend ein Umgebungsdetektionssystem (16) und ein Monitorsystem (15) im Fahrzeug (2), wobei das Umgebungsdetektionssystem (16) dazu konfiguriert ist, Eingangsdaten X eines Umgebungserfassungssensors (1 ) zu empfangen und mittels eines ersten trainierten künstlichen neuronalen Netzwerks K auszuwerten und als Ergebnis der Auswertung Umgebungsdetektionsdaten Y‘ auszugeben, das Monitorsystem (15) dazu konfiguriert ist, dieselben Eingangsdaten X des Umgebungserfassungssensors (1 ) mittels eines zweiten trainierten künstlichen neuronalen Netzwerks KR auszuwerten und als Ergebnis der Auswertung Rekonstruktionsdaten X' auszugeben, wobei im Fall, dass das Monitorsystem eine Abweichung der Rekonstruktionsdaten X' gegenüber den Eingangsdaten X feststellt, die einen Schwellwert übersteigt, das Monitorsystem (15) eine Übertragung der Eingangsdaten X an eine separate Dateneinheit (20) veranlasst.
2. Fahrzeugdatensystem (10) nach Anspruch 1 , wobei das zweite künstliche neuronale Netzwerk KR ein Auto-Encoder ist.
3. Fahrzeugdatensystem (10) nach Anspruch 1 oder 2, wobei das Monitorsystem (15) einen Score berechnet, der auf Grundlage der Abweichung eine Relevanz der Eingangsdaten X abschätzt.
4. Fahrzeugdatensystem (10) nach einem der vorhergehenden Ansprüche, wobei das erste künstliche neuronale Netzwerk K anhand von vorgegebenen Trainingsdaten trainiert worden ist, wobei zu Eingangsdaten X_1 , X_2, ... , X_n jeweils Soll-Ausgabedaten Y_1 , Y_2, ... , Y_n verwendet wurden und durch Anpassen von Gewichten des ersten neuronalen Netzwerks K eine erste Fehlerfunktion (Loss) minimiert wurde, die Abweichungen zwischen Ausgaben des ersten neuronalen Netzwerks K für Eingangsdaten X_1 , X_2, ... , X_n von korrespondierenden Soll-Ausgabedaten Y_1 , Y_2, ... , Y_n angibt.
5. Fahrzeugdatensystem (10) nach einem der vorhergehenden Ansprüche, wobei das zweite künstliche neuronale Netzwerk KR trainiert wurde durch Anpassen von Gewichten des zweiten neuronalen Netzwerks KR, wobei eine zweite Fehlerfunktion (L0SS2) minimiert wird, die die Abweichung von Rekonstruktionsdaten X' zu Eingangsdaten X des Umgebungserfassungssensors (1 ) angibt.
6. Fahrzeugdatensystem (10) nach einem der vorhergehenden Ansprüche, wobei zusätzlich zu den Eingangsdaten X des Umgebungserfassungssensors (1 ) Metainformationen übertragen werden, wobei Metainformationen einer oder mehrerer Information aus der folgenden Gruppe entsprechen: aktuelle Softwareversion, berechnete Scores des Monitorsystems, GPS-Daten, Datum, Uhrzeit, Fahrzeugidentifikationsnummer und Cloud-Daten, die ein Nachvollziehen der Szene und/oder der Fahrzeugsituation ermöglichen.
7. Fahrzeugdatensystem (10) nach einem der vorhergehenden Ansprüche, wobei das Umgebungsdetektionssystem (16) dazu konfiguriert ist, Eingangsdaten X einer Mehrzahl von Umgebungserfassungssensoren (1 ) zu empfangen und diese gemeinsam auszuwerten.
8. Fahrzeugdatensystem (10) nach einem der vorhergehenden Ansprüche, wobei das Monitorsystem (15) dazu konfiguriert ist, die Eingangsdaten X des Umgebungserfassungssensors (1 ) parallel zum Umgebungsdetektionssystem (16) zu verarbeiten.
9. Fahrzeugdatensystem (10) nach einem der vorhergehenden Ansprüche, wobei das Monitorsystem (15) als zusätzlicher Detektor-Head im Umgebungsdetektionssystem (16) integriert ist und wobei das Monitorsystem (15) und das Umgebungsdetektionssystem (16) einen gemeinsamen Encoder nutzen.
10. Fahrzeugdatensystem (10) nach einem der vorhergehenden Ansprüche, wobei die Eingangsdaten des Umgebungserfassungssensors (1 ) Bilddaten sind und wobei das Monitorsystem (15) dazu konfiguriert ist, das gesamte Bild oder einen Teilausschnitt des Bildes zu rekonstruieren.
11. Fahrzeugdatensystem (10) nach einem der vorhergehenden Ansprüche, wobei das Monitorsystem (15) dazu konfiguriert ist, ein Unsicherheitsmaß zu bestimmen und auszugeben, wobei das Unsicherheitsmaß angibt, wie sicher sich das Monitorsystem (15) bei der Ausgabe seiner Rekonstruktionsdaten X' ist.
12. Fahrzeugdatensystem (10) nach einem der vorhergehenden Ansprüche, wobei das Monitorsystem (15) dazu konfiguriert ist, eine zeitliche Konsistenz der Rekonstruktionsdaten X' zu berücksichtigen.
13. Fahrzeugdatensystem nach Anspruch 12, wobei unterschieden wird, ob eine Abweichung der Rekonstruktionsdaten X' des Monitorsystems (15) von den Eingangsdaten X kontinuierlich oder nur für begrenzte Zeiträume auftritt.
14. Fahrzeugdatensystem nach einem der vorhergehenden Ansprüche, wobei das Umgebungsdetektionssystem (16) und das Monitorsystem (15) derart konfiguriert sind, dass beide over the air - updatefähig sind.
15. Verfahren zur Ermittlung von übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors (1 ) umfassend die Schritte
Auswerten von Eingangsdaten X des Umgebungserfassungssensors (1 ) durch ein Umgebungsdetektionssystem (16) mittels eines ersten trainierten künstlichen neuronalen Netzwerks;
Ausgeben der beim Auswerten ermittelten Umgebungsdetektionsdaten Y‘;
Auswerten derselben Eingangsdaten X des Umgebungserfassungssensors (1 ) durch ein Monitorsystem (15) mittels eines zweiten trainierten künstlichen neuronalen Netzwerks KR;
Ausgeben der beim Auswerten ermittelten Rekonstruktionsdaten X‘; und Veranlassen einer Übertragung der Eingangsdaten X an eine separate Dateneinheit (20) in dem Fall, dass eine Abweichung der Rekonstruktionsdaten X' gegenüber den Eingangsdaten X festgestellt wird, die einen Schwellwert übersteigt.
EP22838636.3A 2021-12-14 2022-12-12 Fahrzeugdatensystem und verfahren zur ermittlung von relevanten bzw. übertragenswerten fahrzeugdaten eines umgebungserfassungssensors Pending EP4449310A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021214334.2A DE102021214334B3 (de) 2021-12-14 2021-12-14 Fahrzeugdatensystem und Verfahren zur Ermittlung von relevanten bzw. übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors
PCT/DE2022/200295 WO2023110034A1 (de) 2021-12-14 2022-12-12 Fahrzeugdatensystem und verfahren zur ermittlung von relevanten bzw. übertragenswerten fahrzeugdaten eines umgebungserfassungssensors

Publications (1)

Publication Number Publication Date
EP4449310A1 true EP4449310A1 (de) 2024-10-23

Family

ID=84829711

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22838636.3A Pending EP4449310A1 (de) 2021-12-14 2022-12-12 Fahrzeugdatensystem und verfahren zur ermittlung von relevanten bzw. übertragenswerten fahrzeugdaten eines umgebungserfassungssensors

Country Status (7)

Country Link
US (1) US20250042409A1 (de)
EP (1) EP4449310A1 (de)
JP (1) JP7797646B2 (de)
KR (1) KR20240090518A (de)
CN (1) CN118355393A (de)
DE (1) DE102021214334B3 (de)
WO (1) WO2023110034A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022205084B3 (de) * 2022-05-20 2023-10-12 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zur Umfeldwahrnehmung im Fahrzeug sowie entsprechendes Fahrzeug
DE102024200724A1 (de) 2024-01-26 2025-07-31 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Integration von maschinellen Lernsystemen auf eingebettete Geräte

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898759B2 (en) * 2014-03-28 2018-02-20 Joseph Khoury Methods and systems for collecting driving information and classifying drivers and self-driving systems
US10552727B2 (en) * 2015-12-15 2020-02-04 Deep Instinct Ltd. Methods and systems for data traffic analysis
US11636348B1 (en) * 2016-05-30 2023-04-25 Apple Inc. Adaptive training of neural network models at model deployment destinations
JP6599294B2 (ja) * 2016-09-20 2019-10-30 株式会社東芝 異常検知装置、学習装置、異常検知方法、学習方法、異常検知プログラム、および学習プログラム
JP6946812B2 (ja) * 2017-07-20 2021-10-06 株式会社デンソー 学習サーバ及び支援システム
KR102538768B1 (ko) 2018-09-14 2023-06-01 테슬라, 인크. 트레이닝 데이터를 획득하기 위한 시스템 및 방법
US11087144B2 (en) 2018-10-10 2021-08-10 Harman International Industries, Incorporated System and method for determining vehicle data set familiarity
CN111191487A (zh) * 2018-11-14 2020-05-22 北京市商汤科技开发有限公司 车道线的检测及驾驶控制方法、装置和电子设备
DE102019200565A1 (de) * 2019-01-17 2020-07-23 Robert Bosch Gmbh Vorrichtung und Verfahren zur Klassifizierung von Daten insbesondere für ein Controller Area Netzwerk oder ein automotive Ethernet Netzwerk.
US11404047B2 (en) * 2019-03-08 2022-08-02 International Business Machines Corporation Feature and feature variant reconstruction for recurrent model accuracy improvement in speech recognition
KR102737991B1 (ko) * 2019-08-15 2024-12-05 엘지전자 주식회사 딥러닝 기반의 세탁기의 진동 분석 방법과 그 장치
DE102019124257A1 (de) 2019-09-10 2021-03-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Ermittlung von KI-Trainingsdaten in einem Fahrzeug und Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Ermittlung von relevanten Situationsparametern zum Trainieren einer künstlichen Intelligenzeinheit eines automatisiert fahrbaren Fahrzeuges
WO2021183256A1 (en) * 2020-03-10 2021-09-16 Sri International Physics-guided deep multimodal embeddings for task-specific data exploitation
US11966673B2 (en) * 2020-03-13 2024-04-23 Nvidia Corporation Sensor simulation and learning sensor models with generative machine learning methods
US11458994B2 (en) * 2020-03-30 2022-10-04 Toyota Research Institute, Inc. Systems and methods for semi-autonomously controlling a vehicle
DE102020205315B4 (de) 2020-04-27 2025-12-24 Volkswagen Aktiengesellschaft Verfahren zur Klassifikation kritischer Fahrsituationen, Auswahl von der kritischen Fahrsituation ähnlichen Daten und Nachtraining des automatischen Systems
EP3961511A1 (de) 2020-08-31 2022-03-02 Technische Universität Clausthal Ml-basierte automatische erkennung von neuen und relevanten datensätzen
DE102020215378A1 (de) * 2020-12-04 2022-06-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Ermitteln einer Restlebensdauer eines technischen Systems
EP4024308A1 (de) * 2021-01-05 2022-07-06 MasterCard International Incorporated Auf künstlicher intelligenz basierende verfahren und systeme zur bereitstellung von zahlungsautorisationen in autonomen fahrzeugen
US20220390961A1 (en) * 2021-06-08 2022-12-08 X Development Llc Drone control using brain emulation neural networks
DE102021213392A1 (de) * 2021-11-29 2023-06-01 Continental Autonomous Mobility Germany GmbH Verfahren und System zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems sowie Verfahren zum Trainieren eines maschinellen Lernsystems
US20250356582A1 (en) * 2024-05-17 2025-11-20 Disney Enterprises, Inc. Training for multimodal conditional 3d shape geometry generation
EP4660886A1 (de) * 2024-06-05 2025-12-10 Schneider Electric Industries Sas Verfahren zur überwachung eines prädiktionsfehlers bei der inferenz eines maschinenlernmodells

Also Published As

Publication number Publication date
JP7797646B2 (ja) 2026-01-13
CN118355393A (zh) 2024-07-16
US20250042409A1 (en) 2025-02-06
KR20240090518A (ko) 2024-06-21
DE102021214334B3 (de) 2023-06-07
JP2024541489A (ja) 2024-11-08
WO2023110034A1 (de) 2023-06-22

Similar Documents

Publication Publication Date Title
DE102018222720B4 (de) Überwachung von auf neuronalen Netzwerken basierten Fahrfunktionen
DE102018200134B3 (de) Verfahren zum Erfassen von Trainingsdaten für ein Fahrerassistenzsystem, Kraftfahrzeug und Servereinrichtung
DE102008013366B4 (de) Verfahren zur Bereitstellung von Information für Fahrerassistenzsysteme
EP3729213B1 (de) Verhaltensmodell eines umgebungssensors
WO2018177484A1 (de) Verfahren und system zur vorhersage von sensorsignalen eines fahrzeugs
DE102020200911B3 (de) Verfahren zum Erkennen von Objekten in einer Umgebung eines Fahrzeugs
EP3945338B1 (de) Vorrichtung zur umfelderkennung eines automatisiert betreibbaren fahrsystems
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102021214334B3 (de) Fahrzeugdatensystem und Verfahren zur Ermittlung von relevanten bzw. übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors
DE102022206346A1 (de) Verfahren zur zeitlichen Korrektur multimodaler Daten
DE102021128041A1 (de) Verbesserung eines neuronalen fahrzeugnetzwerks
WO2017102150A1 (de) Verfahren zum bewerten einer durch zumindest einen sensor eines fahrzeugs erfassten gefahrensituation, verfahren zum steuern einer wiedergabe einer gefahrenwarnung und verfahren zum wiedergeben einer gefahrenwarnung
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
EP3985565A1 (de) Verfahren und vorrichtung zum überprüfen eines beim teilautomatisierten oder vollautomatisierten steuern eines fahrzeugs verwendeten ki-basierten informationsverarbeitungssystems
DE102020209987A1 (de) Vorrichtung und Verfahren zum Verarbeiten von Umfeldsensordaten
DE102021206618A1 (de) Verfahren zur Erhöhung der Erkennungsgenauigkeit eines Überwachungssystems
DE102024200317A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Vorhersagen von Müdigkeit eines Fahrers eines Fahrzeugs
DE102018205146B4 (de) Testverfahren für hochauflösende Scheinwerfer mittels KI
DE102023005203A1 (de) Verfahren zur Sensorfusion
DE102016208076A1 (de) Verfahren und vorrichtung zur auswertung eines eingabewerts in einem fahrerassistenzsystem, fahrerassistenzsystem und testsystem für ein fahrerassistenzsystem
DE102019218127B4 (de) Verfahren und Vorrichtung zum optimalen Bereitstellen von KI-Systemen
DE102022125229A1 (de) System und verfahren zum automatischen aktivieren eines scheibenwischers eines fahrzeugs
DE102021101717A1 (de) Verfahren zum Bereitstellen von fusionierten Daten, Assistenzsystem und Kraftfahrzeug
DE102018200754A1 (de) Verfahren und Vorrichtung zum Auswerten von Sensordaten mittels Kameradaten und Fahrerassistenzsystem
DE102022202071A1 (de) Verfahren zum Bereitstellen von Daten in einem Fahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240715

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH