EP3966743A1 - Überwachung eines ki-moduls einer fahrfunktion eines fahrzeugs - Google Patents

Überwachung eines ki-moduls einer fahrfunktion eines fahrzeugs

Info

Publication number
EP3966743A1
EP3966743A1 EP20720772.1A EP20720772A EP3966743A1 EP 3966743 A1 EP3966743 A1 EP 3966743A1 EP 20720772 A EP20720772 A EP 20720772A EP 3966743 A1 EP3966743 A1 EP 3966743A1
Authority
EP
European Patent Office
Prior art keywords
module
monitoring
data stream
training
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20720772.1A
Other languages
English (en)
French (fr)
Inventor
Peter Schlicht
Rene Waldmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP3966743A1 publication Critical patent/EP3966743A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B60W50/045—Monitoring control system parameters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration

Definitions

  • the invention relates to a method and a device for monitoring a KI module which is part of a processing chain of a semi-automatic or
  • Kl modules When developing functions for semi-automatic or automatic driving, the use of Kl modules is essential for coping with highly complex situations
  • Model intrinsic confidences are subject to training bias and can be very incorrect, which means that adverse examples, namely small changes to the data signal that lead to a change in the model output, lead to misclassifications with a high intrinsic confidence.
  • the document US 2016/0335536 A1 relates to a hierarchical neural network and a classifying learning method and a discriminatory method based on the hierarchical neural network. It includes a hierarchical neural
  • Network device comprises a weight learning unit for generating loosely coupled parts by establishing links between partial nodes in the hierarchical network based on a checking matrix of an error correcting code and for learning weights between the coupled nodes. Furthermore, the device comprises the hierarchical neural network with an input layer, at least one
  • the document US 2016/0071024 A1 relates to a multimodal data analysis device comprising instructions that are embodied in one or more non-volatile machine-readable storage medium, the multimodal data analysis device using a computer system with one or more computer devices to cause a set of time-variable instances of multimodal data are accessed with at least two different modalities, each instance of the multimodal data having a different time component and algorithmically one
  • the method comprises two neural networks that perform a zero-sum game.
  • One network, the generator creates candidates and the second neural network, the discriminator, evaluates the candidates.
  • the generator typically maps a vector of latent variables to the desired result space.
  • the aim of the generator is to learn Generate results according to a certain distribution.
  • the discriminator is trained to extract the results of the generator from the data from the real,
  • the generator's objective function is then to produce results that the discriminator cannot distinguish. As a result, the generated distribution should gradually adjust to the real distribution.
  • the invention is based on the object of a method and a device for
  • Discriminator is formed, the method having a training phase and a
  • the KI module is checked by the monitoring module, in that the trained KI module generates suitable output signals for the driving function from the real input data stream and, in parallel, the real one
  • Input data stream is fed to the discriminator of the trained monitoring module, which uses it to determine distances that are used to assess the
  • Input data stream and to check the output signals of the Kl module are used.
  • the numerical value expressing the distance, which represents a real number, is interpreted as the distance between the input data and the training data set, so that the situation on which the real input data stream of the inference phase is based is based on this
  • Input data are "real", while a numerical value of d> 0.5 means that the
  • Input data are, so to speak, "fake", that is they did not belong to the training data set.
  • the latter indicates an untrained or learned environmental situation, for example a corner case.
  • the definition of the value interval is not limited to the above-mentioned interval, but other intervals and assignments of the distance d to the respective interval are possible; it only needs to be recognizable from the distance d whether the currently assessed situation is typical for the training data sets learned or not, ie there is a case that deviates from the learned training data sets.
  • the generator preferably uses a background data source to generate the false training data which are fed to the discriminator.
  • the background data source can be generated, for example, by a suitable random generator.
  • a first device for monitoring the input data stream of a KI module, the device being set up and designed to carry out the method explained above
  • a Kl module which is part of a processing chain of a
  • a monitoring module that uses real input signals to generate a differential signal that is used to monitor the input data stream of the KI module.
  • Forms vehicle comprises three monitoring modules, which are each formed by a generative adversarial network comprising a generator and a discriminator, the method having a training phase and an inference phase and in the training phase
  • the first monitoring module for monitoring the input data stream of the Kl module by real training data and false, from the generator of the first
  • Monitoring module generated false generated training data is trained and generates first difference signals
  • the KI module is trained using real training data and ground truth data, and output signals are generated,
  • the second monitoring module for monitoring the output data stream of the KI module is trained by output data from the KI module and spurious, spuriously generated output data generated by the generator of the second monitoring module, and a second difference signal is generated,
  • the third monitoring module for monitoring the output data stream of the Kl module through ground truth data and false data from the generator of the third
  • Monitoring module generated false ground truth data is trained, and a third difference signal is generated,
  • both the input data stream into the KI module and the output data stream from the KI module are monitored by
  • Monitoring module is supplied, which determines distances from it, which to
  • Monitoring module is supplied, which determines distances from it, which to
  • Monitoring module is supplied, which determines distances from it, which to
  • the first distance is therefore used to evaluate the typicality of the real input data stream, for example an environment sensor system, relative to the training data of the training phase, the second distance to evaluate the typicality of the output of the CI module relative to the output of the training and the third distance to evaluate the typicality of the output of the Kl module relative to the ground truth seen from the training.
  • the three distances what was said for the distance in the first method applies. In other words, the distances are a measure of whether the data stream in question is similar to or deviates from the data streams in training. If the deviation is outside of a specification, it can be concluded that a situation has not been trained and that is to be responded to accordingly.
  • the generators preferably generate spurious training data by means of a respective background data source, which are fed to the discriminators of the respective monitoring modules.
  • training losses are determined from the three distances with regard to the respective training data, which are used to train the generators and discriminators of the respective monitoring module.
  • a second device for monitoring the input data stream and the output data stream of a KI module, which is part of a
  • a Kl module which is part of a processing chain of a
  • Output signals of the Kl module generate respective distance signals, which for
  • Monitoring of the input data stream and the output data stream of the Kl module can be used.
  • the central object of the invention is a generative-discriminative situation assessment, which provides a control mechanism for KI modules along the
  • the control mechanism is implemented by a monitoring unit for monitoring input and output data of a control module implemented by a Kl module for partially automatic or automatic driving.
  • This situation assessment i.e. the control mechanism, measures the data stream flowing into and out of a KI module and measures a distance of the reference data distribution with which the KI module was originally developed and trained.
  • the situation assessment uses a preferably triple generative discriminative approach, which is developed in the development phase of the CI model and is generally described below.
  • Module output is compared with a basic truth called the Ground Truth.
  • a loss value, the loess is calculated from the difference between the last two values and the module is adjusted accordingly to this loess.
  • the control unit for monitoring the KI module preferably consists of three independent monitoring modules, the so-called generative-discriminative ones
  • Distance measurement modules for measuring the distance to the training input, the distance to the
  • Each of the three individual modules consists of a generator and a discriminator.
  • the task of the generator is to create data that is as realistic as possible, namely input, output and ground truth.
  • the task of the discriminator on the other hand, is to distinguish between real data and generated data. Its issue is therefore learning a measure to the generator.
  • the discriminator of a distance measuring module is a Kl module, the training of which is run through during the training of the actual Kl module of the driving function.
  • the data used and created in the training namely input, output or ground truth, are used as training data for the respective discriminator.
  • Further training data for the discriminator are provided by the generator.
  • the generator in turn uses a background data source, called latent space, and generates spurious data from it Training data. It can also be a KI module itself, such as a GAN approach from the area of machine learning, but also a simulation or a
  • inference only the discriminators are used by the control unit according to the invention. You then evaluate and monitor the distance between the incoming and outgoing data stream in the actual KI module of the driving function and the reference data set during runtime.
  • one of the two distance measurement modules can be used to monitor the
  • Output current can be dispensed with.
  • the distance measuring module which is responsible for the input data stream of the Kl module, can also be operated alone. In other words, in the simplest embodiment of the control unit, it only comprises the distance measuring module for the input data stream, which, however, leads to a reduced performance.
  • the holistic approach of the control device according to the invention with at least two distance measuring modules allows the monitoring of relationships between incoming and outgoing data streams. Since the training of the individual modules can be carried out in parallel with the training of the actual KI module of the driving function and without significant additional technical effort, this represents a considerable savings potential compared to currently known solutions.
  • Figure 2 shows the inference phase, i.e. the operating phase, a KI application with the trained discriminator of Fig. 1,
  • FIG. 3 shows the training phase of a generative adversarial network including the KI application, with input signals and output signals of the KI application being monitored,
  • FIG. 4 shows the inference phase of the KI application with the trained discriminators of FIGS. 3, and
  • FIG. 5 shows an application of a generative adversarial network in the processing chain of a driving function in a schematic representation.
  • the module M_IN includes a generator G_IN, which generates spurious training data from a background data source L_IN, the so-called “latent space for input data", the generator G_IN having the task of generating training data that is as realistic as possible.
  • spurious training data generated by the generator G_IN are fed to a discriminator D_IN together with the real training data TD.
  • the task of the discriminator D_IN is to differentiate between the false training data of the generator G_IN and the real training data. For this purpose, a distance DistJN is determined between the real and the false training data, which represents a measure of the distance between the training data TD and the generated data. This distance DistJN then becomes a quantity
  • Loss of training TL_IN determines which is used to train the module MJN, so that due to the loss of training TL_IN, the generator GJN generates data that the
  • FIG. 2 shows the use of the discriminator D_IN of the module M_IN trained in FIG. 1 in a K1 module K1, for example a K1 module of a vehicle.
  • a real input IN is fed to a Kl module Kl, which generates an output OUT.
  • the input IN is usually formed by sensor signals from one or more environment sensors that are processed in the Kl module. From these input signals IN, the Kl module Kl consequently generates output signals OUT, which are further processed in the control during automatic driving.
  • the input signals IN can be the signals from a camera (not shown) and / or a radar sensor.
  • the Kl module Kl is a module for object recognition
  • the Kl module Kl should recognize and determine the objects in the vicinity of the vehicle from the signals IN received, so that the objects in the output OUT of the Kl module the surroundings of the vehicle, their spatial arrangement and the type of objects, for example vehicle, pedestrian or two-wheeler, are output, the type of objects representing a probability statement.
  • This output OUT can then be fed to a scene recognition and scene prediction (not shown) so that ultimately an automatic driving function (not shown) can be controlled.
  • the Kl module Kl can also be a module for lane detection, which from the signals IN of the environment sensors as the lanes of the road
  • Output OUT determines on which the vehicle is located, so that when these results are merged with the results of object recognition, it can determine which object is on which lane.
  • the list of the use of Kl modules for automatic driving is only to be regarded as an example and not as complete.
  • the input signals IN are not only fed to the K1 module K1, but also to the discriminator D_IN of the trained distance measurement module M_IN in parallel.
  • the trained discriminator determines a distance DistJN from the input signals IN, which indicates the distance between the input signals IN and known trained situations, so that the determined distance signals IN can be used to determine whether the surrounding situation corresponds to a known situation. In this way, deviations of the input signals from known situations can be determined via the output DistJN and the Kl module can be monitored
  • Fig. 3 shows the training phase of a control unit for complete generative discriminative situation assessment in a schematic representation, which one
  • Control mechanism for Kl modules along the processing chain of an automatic driving function the control mechanism being a program or a
  • Control unit for monitoring input and output data of a Kl control module for semi-automatic or automatic driving is.
  • the illustrated control unit ST with Kl module Kl includes, in addition to the Kl module Kl, three generative-discriminative distance measurement modules, namely the module M_IN for determining a distance to a training input, the module M_OUT for determining a distance to a training output and the module M_GT for determining a distance to a training ground truth, the modules being explained in detail below.
  • the distance measurement module M_IN includes a generator G_IN, which generates the most realistic possible false input training data, with the generation of the false
  • Training data of the generator G_IN is a background data source L_IN, the
  • the module M_IN also includes a discriminator G_IN, which compares the false training data generated by the generator G_IN with real
  • a distance DistJN As the output of the distance measurement module M_IN, the distance DistJN representing the distance between the spurious training data and the real training data, i.e. a measure of the expected association of the current spurious date with the amount of spurious data generated.
  • a function called training loss TL_IN is determined, which is used to train the distance measuring module MJN with the generator GJN and the
  • Kl module Kl of a partially or fully automatic driving function such as a parking assistant or the like
  • input data such as the environment sensor system
  • the training data TD are also fed to the Kl module Kl, which uses it to generate an output OUT that is responsible, for example, for controlling a driving function.
  • This output OUT of the Kl module Kl is the discriminator D_OUT of a second Generative-discriminative distance measurement module M_OUT supplied.
  • the second module M_OUT includes a generator G_OUT which, with the aid of a further background data source L_OUT, generates spurious training data that are fed to the discriminator D_OUT.
  • the discriminator D_OUT generates a distance Dist_OUT from the real output data OUT of the Kl module Kl and the spurious training data generated by the generator G_OUT, the distance Dist_OUT being the distance between the spurious training data and the real one
  • Output OUT of the Kl module Kl represents, that is, a measure of the expected association of the current spurious date with the amount of spurious data generated. From the distance Dist_OUT and the associated data, a function called training loss TLJDUT is determined with respect to the output OUT of the Kl module Kl, which is used to train the distance measuring module M_OUT with the generator G_OUT and the discriminator D_OUT.
  • the output OUT is linked to ground truth data GT, so that a loss function TL that can be used to train the Kl module results, where TL stands for "Training Loess”.
  • the mentioned ground truth data GT are fed to the discriminator D_GT of a third generative-discriminative distance measurement module M_GT.
  • the third module M_GT includes a generator G_GT which, with the aid of a third background data source L_GT, generates spurious training data that are fed to the discriminator D_GT. From the real ground truth data GT and the false data generated by the generator G_GT
  • the discriminator D_GT generates a distance Dist_GT for training data, the distance Dist_GT representing the distance between the spurious training data and real ground truth data GT, that is to say a measure of the expected association of the current spurious date with the amount of spurious data generated. From the distance Dist_GT and the associated data, a loss function TL_GT with respect to the ground truth data GT is determined, which is used to train the distance measuring module M_GT with the generator G_GT and the
  • Discriminator D_GT is used.
  • the inference phase that is to say the application phase, of the control unit ST with K1 module K1, with only the discriminators D_IN, D_OUT and D_GT of the three modules M_IN, M_OUT and M_GT being used in the inference phase.
  • the input signals for example an environment sensor system, are fed as real input IN to both the Kl module Kl for processing and the discriminator D_IN of the module M_IN, which is responsible for assessing the input signals.
  • a first distance DistJN with respect to the input signals IN is determined by the discriminator D_IN from the input signal IN.
  • Dist_OUT With respect to the output signal OUT of the Kl module Kl and Dist_GT with respect to the ground truth GT shown in FIG. 3.
  • the distances DistJN, Dist_OUT and Dist_GT generated by the three distance measurement modules M_IN, MOUT and M_GT monitor the data streams IN and OUT flowing into and out of the Kl module Kl and therefore provide information about the behavior of the Kl module, especially when the data stream is input IN is an untrained situation so that the output OUT of the Kl module also does not correspond to a trained situation, which is noticeable in the distances Dist_OUT and Dist_GT of the two discriminators D_OUT and D_GT.
  • corner cases i.e. borderline cases
  • the object recognition implemented by the K1 module (K1) receives input data IN from an environment sensor system US, which can include cameras, radar, lidar, ultrasonic sensors or the like.
  • the Kl module Kl serving as object recognition recognizes from the input data IN it is supplied with objects, for example other vehicles, pedestrians, traffic signs, trees, curbs, etc., in the vicinity of the vehicle and outputs these objects with corresponding properties, such as relative speed, position relative to
  • the input data stream IN into the Kl module Kl and the output data stream OUT from the Kl module Kl is monitored by the monitoring unit ÜW, the
  • Monitoring unit ÜW is formed by the three discriminators D_IN, D_OUT and D_GT of the distance measuring modules M_IN, M_OUT and M_GT described in FIGS. 3 and 4.
  • the discriminators D_IN, D_OUT, D_GT generate distances DistJN, Dist_OUT and Dist_GT which show the typicality of the input data stream and the output data stream of the Kl module Kl compared to the corresponding training data.
  • both discriminators D_OUT and D_GT are not necessary for monitoring the output data stream OUT of the KI module; with sufficiently good training, one of the mentioned discriminators can be dispensed with.
  • a respective threshold SJN, S_OUT and S_GT can now be defined with the following criteria:
  • DistJN ⁇ SJN input data stream IN "real” in the sense of known, i.e. trained, DistJN>
  • SJN input data stream IN "unknown” in the sense of not trained
  • M_IN module for determining the distance between input data
  • M_OUT module for determining the distance from output data
  • M_GT module for determining the distance from ground truth data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)

Abstract

Eine Überwachung eines Kl-Moduls einer Fahrfunktion eines Fahrzeugs erfolgt durch eine generativ-diskriminative Situationsbewertung, welche einen Kontrollmechanismus für die Kl-Module entlang der Verarbeitungskette der Fahrfunktion darstellt. Der Kontrollmechanismus wird dabei durch eine Überwachungseinheit zur Überwachung von Ein- und Ausgabedaten eines durch eine Kl-Modul realisierten Steuerungsmoduls des teilautomatischen oder automatischen Fahrens realisiert.

Description

Beschreibung
Überwachung eines Kl-Moduls einer Fahrfunktion eines Fahrzeugs
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Überwachung eines Kl-Moduls, welches einen Bestandteil einer Verarbeitungskette einer teilautomatischen oder
automatischen Fahrfunktion eines Fahrzeugs bildet.
Bei der Entwicklung von Funktionen für das teil-automatische oder automatische Fahren ist die Benutzung von Kl-Modulen für die Bewältigung hoch komplexer Situationen
unumgänglich. Um diese Funktionen nachhaltig zu entwickeln und einzusetzen ist eine Überwachung der Ausführung der Kl-Module zwingend erforderlich. Dies gilt sowohl für die Trainingsphase der Kl-Module, bei der man Ausnahmefälle, sogenannte Corner Cases, also typische Situationen eingeschränkter Korrektheit der Modulausgabe, sucht, als auch im Produktiveinsatz, wenn man im Rahmen von Redundanz- und Systemüberwachungen die Vertrauenswürdigkeit von Kl-Modulentscheidungen einschätzen muss.
Momentan wird für die Redundanz- und Systemüberwachung im Wesentlichen auf modelintrinsische Konfidenzen, also Interpretation von Softmaxanregungen, oder auf Plausibilisierungen durch analytische Methoden zurückgegriffen. Die Identifikation von Ausnahmefällen, also Corner Cases, entsteht vor allem aus Funktionsabsprüngen, also Fällen, bei denen ein Kl-Modul oder die entsprechende Funktion abbricht, oder Soll-Ist- Vergleichen.
Modelintrinsische Konfidenzen unterliegen einem Trainingsbias und können sehr inkorrekt sein, was bedeutet, dass adverseriale Beispiele, nämlich kleine Änderungen am Datensignal, die zu einer Änderung der Modellausgabe führen, zu Fehlklassifikationen mit hoher intrinsischer Konfidenz führen.
Ferner setzen Plausibilisierungen durch analytische Methoden hochpotente Plausibilisierungsfunktionen voraus. Diese sind entweder extrem defensiv und verhindern so einen hochfrequenten Einsatz der Kl-Module, oder sind nicht realistisch konstruierbar. Die Druckschrift US 2016/0335536 A1 betrifft ein hierarchisches neuronales Netzwerk sowie ein klassifizierendes Lernverfahren und ein diskriminierendes Verfahren basierend auf dem hierarchischen neuronalen Netzwerk. Dabei umfasst eine hierarchische neuronale
Netzwerkvorrichtung eine gewichtslernende Einheit zum Generieren lose gekoppelter Teile durch das Ausbilden von Kopplungen zwischen partiellen Knoten in dem hierarchischen Netzwerk basierend auf einer Überprüfungsmatrix eines fehlerkorrigierenden Codes und zum Lernen von Gewichten zwischen den gekoppelten Knoten. Ferner umfasst die Vorrichtung das hierarchische neuronale Netzwerk mit einer Eingabeschicht, mindestens einer
Zwischenschicht und einer Ausgabeschicht, wobei jede dieser Schichten Knoten aufweist, sowie einen Diskriminierungsprozessor, um Klassifikationsprobleme oder
Regressionsprobleme unter der Verwendung des hierarchischen neuronalen Netzwerks zu lösen, dessen Gewichte zwischen den Knoten durch diejenigen Gewichte, die durch die gewichtslernende Einheit gelernt wurde, auf den neuesten Stand gebracht werden.
Die Druckschrift US 2016/0071024 A1 betrifft eine multimodale Datenanalyse-Einrichtung umfassend Instruktionen, die in einem oder mehreren nichtflüchtigen maschinenlesbaren Speichermedium verkörpert sind, wobei die multimodale Datenanalyse-Einrichtung mittels eines Computersystems mit einem oder mehreren Computer-Einrichtungen bewirkt, dass auf eine Menge von zeitvariablen Instanzen von multimodalen Daten mit mindestens zwei unterschiedlichen Modalitäten zugegriffen wird, wobei jede Instanz der multimodalen Daten eine unterschiedliche zeitliche Komponente aufweist und algorithmisch eine
Merkmalsrepräsentation der zeitlichen Komponente der multimodalen Daten unter
Verwendung einer Deep-Iearning Architektur lernt.
In der Veröffentlichung von I. J. Goodfellow et.al.: "Generative Adversarial Nets", NIPS 2014 (https://papers.nips.cc/paper/5423-generative-adversial-nets), wird ein Verfahren zum Bewerten generativer Modelle durch einen kontradiktorischen Prozess beschrieben, wobei simultan zwei Modelle trainiert werden, nämlich ein generierendes Modell G, welches Daten einer Datenverteilung erzeugt, und einem diskriminierenden Modell D, welches die
Wahrscheinlichkeit bestimmt, dass ein zu diskriminierender Datensatz zu Trainingsdaten anstelle von Daten des generierenden Models gehört. Mit anderen Worten, das Verfahren umfasst zwei neuronale Netzwerke, die ein Nullsummenspiel durchführen. Ein Netzwerk, der Generator, erstellt Kandidaten und das zweite neuronale Netzwerk, der Diskriminator, bewertet die Kandidaten. Typischerweise bildet der Generator von einem Vektor aus latenten Variablen auf den gewünschten Ergebnisraum ab. Das Ziel des Generators ist es zu lernen, Ergebnisse nach einer bestimmten Verteilung zu erzeugen. Der Diskriminator wird hingegen darauf trainiert, die Ergebnisse des Generators von den Daten aus der echten,
vorgegebenen Verteilung zu unterscheiden. Die Zielfunktion des Generators besteht dann darin, Ergebnisse zu erzeugen, die der Diskriminator nicht unterscheiden kann. Dadurch soll sich die erzeugte Verteilung nach und nach der echten Verteilung angleichen.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur
verbesserten Überwachung eines Kl-Moduls, welches einen Bestandteil einer
Verarbeitungskette einer teilautomatischen oder automatischen Fahrfunktion eines
Fahrzeugs bildet, zu schaffen.
Dies Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 , ein Verfahren mit den Merkmalen des Anspruchs 5 sowie durch eine Vorrichtungen mit den Merkmalen des Anspruchs 4 und durch eine Vorrichtung mit den Merkmalen des Anspruchs 8 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Ein erstes erfindungsgemäßes Verfahren zur Überwachung des Eingangsdatenstroms eines Kl-Moduls, welches einen Bestandteil einer Verarbeitungskette einer teilautomatischen oder automatischen Fahrfunktion eines Fahrzeugs bildet, durch ein Überwachungsmodul, welches durch ein generatives kontradiktorisches Netz umfassend einen Generator und einen
Diskriminator gebildet wird, wobei das Verfahren eine Trainingsphase und eine
Inferenzphase aufweist, und
in der Trainingsphase, auch als Lernphase bezeichnet, ein Trainieren des
Überwachungsmoduls durch reale Trainingsdaten und generierte unechte, vom
Generator erzeugte Trainingsdaten erfolgt, die beide dem Diskriminator zugeführt werden, welcher eine Distanz zwischen den echten Trainingsdaten und den
generierten Trainingsdaten als Ausgabe lernt,
und
in der Inferenzphase eine Überprüfung des Kl-Moduls durch das Überwachungsmodul erfolgt, indem aus dem realen Eingangsdatenstrom das trainierte Kl-Modul für die Fahrfunktion geeignete Ausgabesignale erzeugt und parallel dazu der reale
Eingangsdatenstrom dem Diskriminator des trainierten Überwachungsmoduls zugeführt wird, der daraus Distanzen ermittelt, die zur Beurteilung des
Eingangsdatenstroms und zur Überprüfung der Ausgabesignale des Kl-Moduls herangezogen werden. Dabei wird der die Distanz ausdrückende Zahlenwert, der eine reelle Zahl darstellt, als Distanz der Eingangsdaten zum Trainingsdatensatz interpretiert, so dass die dem realen Eingangsdatenstrom der Inferenzphase zugrunde liegende Situation anhand dieses
Zahlenwertes beurteilt werden kann.
Mit anderen Worten, ist beispielsweise der Zahlenwert einer Distanz d auf das Intervall [0, 1] normiert, so könnte ein Zahlenwert der Distanz von d < 0,5 bedeuten, dass die
Eingabedaten "echt" sind, während eine Zahlenwert von d > 0,5 bedeutet, dass die
Eingangsdaten sozusagen "unecht" sind, also nicht zum Trainingsdatensatz gehört haben. Letzteres deutet auf eine nicht trainierte oder gelernte Umfeldsituation hin, beispielsweise einen Corner Case. Dabei ist die Definition des Werteintervalls nicht auf das oben genannte Intervall beschränkt, sondern andere Intervalle und Zuordnungen der Distanz d zu dem jeweiligen Intervall sind möglich, es muss nur aus der Distanz d erkennbar sein, ob die aktuell bewertete Situation typisch für die gelernten Trainingsdatensätze ist oder nicht, d.h. ein Fall vorliegt, der von den gelernten Trainingsdatensätzen abweicht.
Vorzugsweise erzeugt der Generator mittels einer Hintergrunddatenquelle die unechten Trainingsdaten, die dem Diskriminator zugeführt werden. Die Hintergrunddatenquelle kann beispielsweise durch einen geeigneten Zufallsgenerator gebildet werden.
Weiter bevorzugt wird aus der Distanz ein Trainingsverlust bezüglich der realen
Trainingsdaten ermittelt, der zum Trainieren des Generators und des Diskriminators des Überwachungsmoduls dient.
Eine erste erfindungsgemäße Vorrichtung zur Überwachung des Eingangsdatenstroms eines Kl-Moduls, wobei die Vorrichtung zur Durchführung des oben erläuterten Verfahrens eingerichtet und ausgelegt ist, umfasst
ein Kl-Modul, welches einen Bestandteil einer Verarbeitungskette einer
teilautomatischen oder automatischen Fahrfunktion eines Fahrzeugs bildet, und auf realen Eingangssignalen basierend Ausgabesignale zur Verwendung in der
Fahrfunktion erzeugt, und
ein Überwachungsmodul, das anhand realer Eingangssignale ein Differenzsignal erzeugt, welches zur Überwachung des Eingangsdatenstroms des Kl-Moduls verwendet wird. Ein zweites erfindungsgemäßes Verfahren zur Überwachung des Eingangsdatenstroms und des Ausgangsdatenstrom eines Kl-Moduls, welches einen Bestandteil einer
Verarbeitungskette einer teilautomatischen oder automatischen Fahrfunktion eines
Fahrzeugs bildet, umfasst drei Überwachungsmodule, welche jeweils durch ein generatives kontradiktorisches Netz umfassend einen Generator und einen Diskriminator gebildet werden, wobei das Verfahren eine Trainingsphase und eine Inferenzphase aufweist und in der Trainingsphase
das erste Überwachungsmodul zur Überwachung des Eingangsdatenstroms des Kl- Moduls durch reale Trainingsdaten und unechte, vom Generator des ersten
Überwachungsmoduls erzeugte unechte generierte Trainingsdaten trainiert wird und erste Differenzsignale erzeugt,
das Kl-Modul durch reale Trainingsdaten und Ground-Truth-Daten trainiert wird, und Ausgabesignale erzeugt,
das zweite Überwachungsmodul zur Überwachung des Ausgangsdatenstroms des Kl- Moduls durch Ausgangsdaten des Kl-Moduls und unechte, vom Generator des zweiten Überwachungsmoduls erzeugte unechte generierte Ausgangsdaten trainiert wird, und ein zweites Differenzsignal erzeugt,
das dritte Überwachungsmodul zur Überwachung des Ausgangsdatenstroms des Kl- Moduls durch Ground-Truth-Daten und unechte, vom Generator des dritten
Überwachungsmoduls erzeugte unechte generierte Ground-Truth-Daten trainiert wird, und ein drittes Differenzsignal erzeugt,
und in der Inferenzphase eine Überwachung sowohl des Eingangsdatenstroms in das Kl- Modul als auch des Ausgabedatenstroms aus dem Kl-Modul erfolgt, indem
ein realer Eingangsdatenstrom dem Diskriminator des trainierten ersten
Überwachungsmoduls zugeführt wird, der daraus Distanzen ermittelt, die zur
Beurteilung des Eingangsdatenstroms verwendet werden, und
der Ausgangsdatenstrom dem Diskriminator des trainierten zweiten
Überwachungsmoduls zugeführt wird, der daraus Distanzen ermittelt, die zur
Beurteilung des Ausgangsdatenstroms verwendet werden, und/oder
der Ausgangsdatenstrom dem Diskriminator des trainierten dritten
Überwachungsmoduls zugeführt wird, der daraus Distanzen ermittelt, die zur
Beurteilung des Ausgangsdatenstroms verwendet werden. In der Inferenzphase dient die erste Distanz daher zur Bewertung der Typikalität des realen Eingangsdatenstroms, beispielsweise eines Umfeldsensorik, relativ zu den Trainingsdaten der Trainingsphase, die zweite Distanz zur Bewertung der Typikalität der Ausgabe des Kl-Moduls relativ zur der Ausgabe des Trainings und die dritte Distanz zur Bewertung der Typikalität der Ausgabe des Kl-Moduls relativ zu gesehener Ground-Truth aus dem Training. Hinsichtlich der drei Distanzen gilt das für die Distanz im ersten Verfahren gesagte. Mit anderen Worten, die Distanzen sind ein Maß dafür, ob der betrachtete Datenstrom den Datenströmen im Training ähnlich ist oder davon abweicht. Ist also die Abweichung außerhalb einer Vorgabe, so kann auf eine nicht trainierte Situation geschlossen werden, auf die entsprechend zu reagieren ist.
Vorzugsweise erzeugen die Generatoren mittels einer jeweiligen Hintergrunddatenquelle unechte Trainingsdaten, die den Diskriminatoren der jeweiligen Überwachungsmodule zugeführt werden.
Weiter bevorzugt werden während der Trainingsphase aus den drei Distanzen jeweils Trainingsverluste bezüglich der jeweiligen Trainingsdaten ermittelt, die zum Trainieren der Generatoren und Diskriminatoren des jeweiligen Überwachungsmoduls dienen.
Eine zweite erfindungsgemäße Vorrichtung zur Überwachung des Eingangsdatenstroms und des Ausgangsdatenstrom eines Kl-Moduls, welches einen Bestandteil einer
Verarbeitungskette einer teilautomatischen oder automatischen Fahrfunktion eines
Fahrzeugs bildet, wobei die Vorrichtung zur Durchführung des im Vorangegangenen erläuterten Verfahrens eingerichtet und ausgelegt ist, umfasst
ein Kl-Modul, welches einen Bestandteil einer Verarbeitungskette einer
teilautomatischen oder automatischen Fahrfunktion eines Fahrzeugs bildet, und auf realen Eingangssignale basierend Ausgabesignale für die Fahrfunktion erzeugt, und drei Überwachungsmodule, die anhand realer Eingangssignale und der
Ausgabesignale des Kl-Moduls jeweilige Distanzsignale erzeugen, welche zur
Überwachung des Eingangsdatenstroms und des Ausgabedatenstroms des Kl-Moduls verwendet werden.
Zusammenfassend ist zentraler Gegenstand der Erfindung eine generativ-diskriminative Situationsbewertung, welche einen Kontrollmechanismus für Kl-Module entlang der
Verarbeitungskette einer automatischen Fahrfunktion darstellt. Der Kontrollmechanismus wird dabei durch eine Überwachungseinheit zur Überwachung von Ein- und Ausgabedaten eines durch eine Kl-Modul realisierten Steuerungsmoduls des teilautomatischen oder automatischen Fahrens realisiert.
Diese Situationsbewertung, also der Kontrollmechanismus, misst den in ein Kl-Modul hinein- und herausfließenden Datenstrom und misst eine Distanz der Referenzdatenverteilung mit der das Kl-Modul ursprünglich entwickelt und trainiert wurde.
Dabei bedient sich die Situationsbewertung einem vorzugsweise dreifachen generativ diskriminativen Ansatz, der in der Entwicklungsphase des Kl-Models entwickelt und im Folgenden allgemein beschrieben wird.
Das Entwickeln und überwachte Trainieren von Kl-Modulen geschieht durch ein iteratives Vorgehen, bei dem einem Modul Referenzdaten präsentiert und die entstandene
Modulausgabe mit einer Grundwahrheit, genannt Ground Truth, verglichen wird. Aus der Differenz der beiden letzten Werte wird ein Verlustwert, der Löss, berechnet und das Modul diesem Löss entsprechend angepasst.
Die Steuereinheit zur Überwachung des Kl-Moduls besteht vorzugsweise aus drei unabhängigen Überwachungsmodulen, den sogenannten generativ-diskriminativen
Distanzmessmodulen zur Messung der Distanz zum Trainingsinput, der Distanz zum
Trainingsoutput und der Distanz zum Trainings-Ground Truth. Dabei besteht jedes der drei Einzelmodule aus einem Generator und einem Diskriminator. Die Aufgabe des Generators ist dabei das Erstellen von möglichst realistischen Daten, nämlich Input, Output und Ground- Truth. Die Aufgabe des Diskriminators hingegen ist das Unterscheiden von echten Daten und generierten Daten. Seine Ausgabe ist folglich das Lernen eines Maßes zur
Unterscheidung von typischen und atypischen Ein- und Ausgabedaten. Dieses Maß wird dann als eine Distanz zu den echten Daten interpretiert und verwendet
Der Diskriminator eines Distanzmessmoduls ist ein Kl-Modul, dessen Training während des Trainings des eigentlichen Kl-Moduls der Fahrfunktion durchlaufen wird. Dabei werden die im Training verwendeten und entstehenden Daten, nämlich Input, Output oder Ground Truth, als Trainingsdaten für den jeweiligen Diskriminator verwendet. Weitere Trainingsdaten für den Diskriminator werden vom Generator bereitgestellt. Der Generator wiederum bedient sich eine Hintergrunddatenquelle, genannt Latent Space, und generiert daraus unechte Trainingsdaten. Er kann ebenfalls selbst ein Kl-Modul sein, wie beispielsweise ein GAN- Ansatz aus dem Bereich Maschine Learning, aber auch eine Simulation oder eine
Bildersuche auf dem Internet.
Zum Zeitpunkt der Ausführung, genannt Inferenz, werden von der erfindungsgemäßen Steuereinheit lediglich die Diskriminatoren verwendet. Sie bewerten und überwachen dann zur Laufzeit die Distanz des eingehenden und ausgehenden Datenstromes im eigentlichen Kl-Modul der Fahrfunktion zum Referenzdatensatz.
Es kann im Sinne der Recheneffizienz oder bei extrem gut trainierten Kl-Modulen der Fahrfunktion auf einen der beiden Distanzmessmodule zur Überwachung des
Ausgangsstroms verzichtet werden.
Für eine möglichst gute Überwachung der korrekten Funktionalität von Kl-Modulen sollten auch Beziehungen zwischen der Typikalität einer aktuellen Modulausgabe in Hinsicht auf Referenz-Ground-Truth-Daten auf der einen und Referenz-Trainingsausgaben auf der anderen Seite berücksichtigt werden. Dies kann potentiell Aufschluss auf eine
Generalisierungsfähigkeit des Kl-Moduls liefern.
Das Distanzmessmodul, welches für den Eingangsdatenstrom des Kl-Moduls zuständig ist, kann auch allein betrieben werden. Mit anderen Worten, in der einfachsten Ausführungsform der Steuereinheit umfasst diese nur das Distanzmessmodul für den Eingangsdatenstrom, was allerdings zu einer verringerten Performanz führt.
Der ganzheitliche Ansatz des erfindungsgemäßen Steuergeräts mit mindestens zwei Distanzmessmodulen erlaubt die Überwachung von Beziehungen zwischen eingehenden und ausgehenden Datenströmen. Da das Trainieren der Einzelmodule parallel und ohne wesentlichen technischen Mehraufwand mit dem Training des eigentlichen Kl-Moduls der Fahrfunktion durchführbar ist, stellt dies ein erhebliches Einsparpotential gegenüber momentan bekannten Lösungen dar.
Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigt Fig. 1 ein Beispiel der Trainingsphase eines generativen kontradiktorischen Netzes angewandt auf Eingangssignale,
Fig. 2 die Inferenzphase, d.h. die Betriebsphase, einer Kl-Anwendung mit dem trainierten Diskriminator der Fig. 1 ,
Fig. 3 die Trainingsphase eines generativen kontradiktorischen Netzes einschließlich der Kl- Anwendung, wobei Eingangssignale und Ausgangssignale der Kl-Anwendung überwacht werden,
Fig. 4 die Inferenzphase der Kl-Anwendung mit den trainierten Diskriminatoren der Fig. 3, und
Fig. 5 eine Anwendung generativen kontradiktorischen Netzes in der Verarbeitungskette einer Fahrfunktion in schematischer Darstellung.
Fig. 1 zeigt ein sogenanntes generativ-diskriminatives-Distanzmessmodul M_IN, welches eine Distanz zwischen Trainingsdaten TD und künstlich erzeugten Daten bestimmt. Dabei wird das Modul M_IN durch ein generatives kontradiktorisches Netz, kurz GAN für den Fachbegriff "Generative Adversarial Network", gebildet, welches beispielsweise in dem oben genannten Artikel von I.J. Goodfellow beschrieben ist. Das Modul M_IN umfasst einen Generator G_IN, der aus einer Hintergrunddatenquelle L_IN, dem sogenannten "Latent Space für Input-Daten", unechte Trainingsdaten generiert, wobei dem Generator G_IN die Aufgabe zufällt, möglichst realistische Trainingsdaten zu generieren. Diese vom Generator G_IN generierten unechten Trainingsdaten werden einem Diskriminator D_IN zusammen mit den echten Trainingsdaten TD zugeführt. Aufgabe des Diskriminators D_IN ist es nun zwischen den unechten Trainingsdaten des Generators G_IN und den echten Trainingsdaten zu unterscheiden. Dazu wird eine Distanz DistJN zwischen den echten und den unechten Trainingsdaten bestimmt, die ein Maß für die Distanz der Trainingsdaten TD zu den generierten Daten darstellt. Aus dieser Distanz DistJN wird dann eine Größe
Trainingsverlust TL_IN bestimmt, die zum Trainieren des Moduls MJN dient, so dass aufgrund des Trainingsverlusts TL_IN der Generator GJN Daten generiert, die den
Trainingsdaten TD ähnlicher werden und der Diskriminator DJN die Unterscheidung zwischen echten und unechten Daten verbessert. Sowohl der Diskriminator DJN als auch der Generator GJN können als Kl-Module ausgelegt sein. Fig. 2 zeigt die Anwendung des in Fig. 1 trainierten Diskriminators D_IN des Moduls M_IN in einem Kl-Modul Kl, beispielsweise einem Kl-Modul eines Fahrzeugs. Ein realer Input IN wird einem Kl-Modul Kl zugeführt, welches einen Output OUT erzeugt. Dabei wird der Input IN üblicherweise durch Sensorsignale eines oder mehrerer Umfeldsensoren gebildet, die im Kl- Modul verarbeitet werden. Das Kl-Modul Kl erzeugt aus diesen Eingangssignalen IN folglich Ausgangssignale OUT, die in der Steuerung beim automatischen Fahren weiter verarbeitet werden. So können die Eingangssignale IN beispielsweise die Signale einer Kamera (nicht dargestellt) und/oder eines Radarsensors sein.
Handelt es sich bei dem Kl-Modul Kl um eine Modul zur Objekterkennung, so soll das Kl- Modul Kl aus den erhaltenen Signalen IN die Objekte in der Umgebung des Fahrzeugs erkennen und bestimmen, so dass als Ausgabe OUT des Kl-Moduls die Objekte in der Umgebung des Fahrzeugs, deren räumliche Anordnung sowie die Art der Objekte, also beispielsweise Fahrzeug, Fußgänger oder Zweiradfahrer, ausgegeben werden, wobei die Art der Objekte eine Wahrscheinlichkeitsaussage darstellt. Diese Ausgabe OUT kann dann einer Szenenerkennung und Szenenvorhersage (nicht dargestellt) zugeführt werden, so dass letztlich eine automatische Fahrfunktion (nicht dargestellt) angesteuert werden kann.
Bei dem Kl-Modul Kl kann es sich auch um ein Modul zur Fahrspurerkennung handeln, welches aus den Signalen IN der Umfeldsensoren die Fahrspuren der Fahrbahn als
Ausgabe OUT bestimmt, auf der sich das Fahrzeug befindet, so dass diese Ergebnisse bei einer Fusionierung mit den Ergebnissen einer Objekterkennung feststellen kann, welches Objekt sich auf welcher Fahrbahn befindet. Die Aufzählung des Einsatzes von Kl-Modulen beim automatischen Fahren ist nur als beispielhaft und nicht als vollständig zu betrachten.
Die Eingangssingale IN werden in der Anwendung der Fig. 2 nicht nur dem Kl-Modul Kl zugeführt, sondern parallel dazu dem Diskriminator D_IN des trainierten Distanzmessmoduls M_IN. Der trainierte Diskriminator bestimmt aus den Eingangssignalen IN eine Distanz DistJN, die die Entfernung der Eingangssignale IN von bekannten trainierten Situationen angibt, so dass sich aus dem so ermittelten Distanzsignalen IN die Aussage ableiten lässt, ob die Umfeldsituation einer bekannten Situation entspricht. Auf diese Weise können über die Ausgabe DistJN Abweichungen der Eingangssignale von bekannten Situationen bestimmt und das Kl-Modul überwacht werden Fig. 3 zeigt die Trainingsphase einer Steuereinheit zur vollständigen generativ diskriminativen Situationsbewertung in schematischer Darstellung, welche einen
Kontrollmechanismus für Kl-Module entlang der Verarbeitungskette einer automatischen Fahrfunktion darstellt, wobei der Kontrollmechanismus ein Programm bzw. eine
Steuereinheit zur Überwachung von Ein- und Ausgabedaten eines Kl-Steuerungsmoduls des teilautomatischen bzw. automatischen Fahrens ist.
Die dargestellte Steuereinheit ST mit Kl-Modul Kl umfasst neben dem Kl-Modul Kl drei generativ-diskriminative Distanzmessmodule, nämlich das Modul M_IN zum Bestimmen einer Distanz zu einem Trainingsinput, das Modul M_OUT zum Bestimmen einer Distanz zu einem Trainingsoutput und das Modul M_GT zum Bestimmen einer Distanz zu einem Trainings-Ground-Truth, wobei die Module nachfolgend im Einzelnen erläutert werden.
Das Distanzmessmodul M_IN umfasst einen Generator G_IN, der möglichst realistische unechte Eingangs-Trainingsdaten erzeugt, wobei zur Erzeugung der unechten
Trainingsdaten der Generator G_IN sich einer Hintergrunddatenquelle L_IN, dem
sogenannten Latent Space, bedient. Weiter umfasst das Modul M_IN einen Diskriminator G_IN, der die vom Generator G_IN erzeugten unechten Trainingsdaten mit realen
Trainingsdaten TD vergleicht und eine Distanz DistJN als Ausgabe des Distanzmessmoduls M_IN ausgibt, wobei die Distanz DistJN die Distanz der unechten Trainingsdaten zu den echten Trainingsdaten darstellt, also ein Maß für die erwartete Zugehörigkeit des aktuellen unechten Datums zur Menge der generierten unechten Daten ist. Aus der Distanz DistJN und den dazugehörigen Daten wird eine Funktion genannt Trainingsverlust TL_IN bestimmt, die zum Trainieren des Distanzmessmoduls MJN mit dem Generator GJN und dem
Diskriminator DJN dient.
Da es zum Beurteilen des Verhaltens und der Funktionalität eines Kl-Moduls Kl einer teil- oder vollautomatischen Fahrfunktion, wie beispielsweise einem Parkassistenten oder dergleichen, nicht ausreichend ist nur Eingangsdaten, beispielsweise der Umfeldsensorik, zu betrachten, erfolgt ferner eine Überwachung des Kl-Moduls Kl hinsichtlich seiner Ausgabe sowie bezüglich sogenannter Ground-Truth-Daten.
So werden die Trainingsdaten TD ebenfalls dem Kl-Modul Kl zugeführt, welches daraus eine Ausgabe OUT erzeugt, die beispielsweise für die Steuerung einer Fahrfunktion zuständig ist. Diese Ausgabe OUT des Kl-Moduls Kl wird dem Diskriminator D_OUT eines zweiten generativ-diskriminativen Distanzmessmodul M_OUT zugeführt. Dabei umfasst das zweite Modul M_OUT einen Generator G_OUT, der mit Hilfe einer weiteren Hintergrunddatenquelle L_OUT unechte Trainingsdaten erzeugt, die dem Diskriminator D_OUT zugeführt werden. Aus den echten Ausgabedaten OUT des Kl-Moduls Kl und den unechten, vom Generator G_OUT erzeugten Trainingsdaten erzeugt der Diskriminator D_OUT eine Distanz Dist_OUT, wobei die Distanz Dist_OUT die Distanz der unechten Trainingsdaten zu der echten
Ausgabe OUT des Kl-Moduls Kl darstellt, also ein Maß für die erwartete Zugehörigkeit des aktuellen unechten Datums zur Menge der generierten unechten Daten ist. Aus der Distanz Dist_OUT und den dazugehörigen Daten wird eine Funktion genannt Trainingsverlust TLJDUT bezüglich der Ausgabe OUT des Kl-Moduls Kl bestimmt, die zum Trainieren des Distanzmessmoduls M_OUT mit dem Generator G_OUT und dem Diskriminator D_OUT dient.
Zum Trainieren des Kl-Moduls Kl selbst wird die Ausgabe OUT mit Ground-Truth-Daten GT verknüpft, so dass sich eine zum Trainieren des Kl-Moduls verwendbare Verlustfunktion TL ergibt, wobei TL für "Training Löss" steht.
Die genannten Ground-Truth-Daten GT werden dem Diskriminator D_GT eines dritten generativ-diskriminativen Distanzmessmoduls M_GT zugeführt. Dabei umfasst das dritte Modul M_GT einen Generator G_GT, der mit Hilfe einer dritten Hintergrunddatenquelle L_GT unechte Trainingsdaten erzeugt, die dem Diskriminator D_GT zugeführt werden. Aus den echten Ground-Truth-Daten GT und den unechten, vom Generator G_GT erzeugten
Trainingsdaten erzeugt der Diskriminator D_GT eine Distanz Dist_GT, wobei die Distanz Dist_GT die Distanz der unechten Trainingsdaten zu echten Ground-Truth-Daten GT darstellt, also ein Maß für die erwartete Zugehörigkeit des aktuellen unechten Datums zur Menge der generierten unechten Daten ist. Aus der Distanz Dist_GT und den dazugehörigen Daten wird eine Verlustfunktion TL_GT bezüglich der Ground-Truth-Daten GT bestimmt, die zum Trainieren des Distanzmessmoduls M_GT mit dem Generator G_GT und dem
Diskriminator D_GT dient.
Fig. 4 zeigt die Inferenzphase, also die Anwendungsphase, der Steuereinheit ST mit Kl- Modul Kl, wobei in der Inferenzphase nur die Diskriminatoren D_IN, D_OUT und D_GT der drei Module M_IN, M_OUT und M_GT verwendet werden. Die Eingangssignale, beispielsweise einer Umfeldsensorik, werden als reale Eingabe IN sowohl dem Kl-Modul Kl zur Bearbeitung als auch dem Diskriminator D_IN des Moduls M_IN, welches für die Beurteilung der Eingangssignale zuständig ist, zugeführt. Aus dem Eingangssignal IN wird vom Diskriminator D_IN eine erste Distanz DistJN bezüglich der Eingangssignale IN ermittelt. Die von dem Kl-Modul Kl aufgrund des Eingangssignals bestimmte Modulausgabe OUT , die innerhalb der Verarbeitungskette der Fahrfunktion weiterverarbeitet wird, was durch den Pfeil symbolisiert wird, wird sowohl dem Diskriminator D_OUT des zweiten Distanzmessmoduls M_OUT bezüglich dem Ausgabesignal OUT als auch dem dritten Distanzmessmodul M_GT bezüglich der Ground-Truth GT zugeführt.
Dadurch werden Distanzen Dist_OUT bezüglich des Ausgabesignals OUT des Kl-Moduls Kl und Dist_GT bezüglich der In Fig. 3 dargestellten Ground-Truth GT erzeugt.
Die von den drei Distanzmessmodulen M_IN, MOUT und M_GT erzeugten Distanzen DistJN, Dist_OUT und Dist_GT überwachen die in das Kl-Modul Kl hinein und hinaus fließenden Datenströme IN und OUT und geben daher Auskunft über das Verhalten den Kl- Moduls, insbesondere wenn der Datenstrom Eingabe IN eine nicht trainierte Situation ist, sodass die Ausgabe OUT des Kl-Moduls ebenfalls keiner trainierten Situation entspricht, was sich in den Distanzen Dist_OUT und Dist_GT der beiden Diskriminatoren D_OUT und D_GT bemerkbar macht. Auf diese Weise ist es beispielsweise beim Betrieb der Steuereinheit zur Überwachung eines Kl-Moduls Kl einer Fahrfunktion sogenannte Corner Cases, also Grenzfälle, zu bestimmen, die in der Simulation, also der Erzeugung entsprechender Trainingsdaten, nicht berücksichtigt wurden, da bekanntlich eine Berücksichtigung aller möglichen Situationen bei einer teil- oder vollautomatischen Fahrfunktion kaum möglich ist.
Fig. 5 zeigt eine Anwendung der Steuereinheit ST bestehend aus dem Kl-Modul Kl und der Überwachungseinheit ÜW in einer teilautomatischen Fahrfunktion eines Fahrzeugs, hier als nicht einschränkendes Beispiel in der Objekterkennung der Fahrfunktion "Einparkassistent". Die durch das Kl-Modul (Kl) realisierte Objekterkennung erhält Eingangsdaten IN einer Umfeldsensorik US, die Kameras, Radar, Lidar, Ultraschallsensoren oder dergleichen umfassen kann. Das als Objekterkennung dienende Kl-Modul Kl erkennt aus den ihm zugeführten Eingangsdaten IN Objekte, beispielsweise andere Fahrzeuge, Fußgänger, Verkehrszeichen, Bäume, Randsteine etc., im Umfeld des Fahrzeugs und gibt diese Objekte mit entsprechenden Eigenschaften, wie Relativgeschwindigkeit, Position relativ zum
Fahrzeug, etc., als Ausgabedaten (OUT) zur Weiterverarbeitung durch weitere Instanzen (nicht dargestellt) aus. Der Eingabedatenstrom IN in das Kl-Modul Kl und der Ausgabedatenstrom OUT aus dem Kl-Modul Kl wird von der Überwachungseinheit ÜW überwacht, wobei die
Überwachungseinheit ÜW durch die drei Diskriminatoren D_IN, D_OUT und D_GT der in den Figuren 3 und 4 beschriebenen Distanzmessmodulen M_IN, M_OUT und M_GT gebildet wird. Die Diskriminatoren D_IN, D_OUT, D_GT erzeugen Distanzen DistJN, Dist_OUT und Dist_GT, die die Typikalität des Eingangsdatenstroms und des Ausgabedatenstrom des Kl- Moduls Kl gegenüber den entsprechenden Trainingsdaten zeigen. Dabei sind im
Überwachungsmodul in einer einfacheren Form nicht beide Diskriminatoren D_OUT und D_GT für die Überwachung des Ausgabedatenstroms OUT des Kl-Moduls notwendig, bei einem genügend guten Training kann auf einen der genannten Diskriminatoren verzichtet werden.
Für jede der drei von den Diskriminatoren D_IN, D_OUT, D_GT gemessenen Distanzen DistJN, Dist_OUT und Dist_GT lässt sich nun eine jeweilige Schwelle SJN, S_OUT und S_GT mit folgenden Maßgaben festlegen:
DistJN < SJN : Eingangsdatenstrom IN„echt“ im Sinn von bekannt, d.h. trainiert, DistJN > SJN : Eingangsdatenstrom IN„unbekannt“ im Sinn von nicht trainiert,
DistjDUT < S_OUT : Ausgangsdatenstrom OUT„echt“,
DistjDUT > S_OUT : Ausgangsdatenstrom OUT„unbekannt“,
DistjST < OUT : Ausgangsdatenstrom OUT„echt“,
DistjST > OUT : Ausgangsdatenstrom OUT„unbekannt“.
Bezugszeichenliste
ST Steuereinheit mit Kl-Modul
üw Überwachungsmodul
M_IN Modul zur Bestimmung der Distanz von Input-Daten
G_IN Generator Input-Daten
D_IN Diskriminator Input-Daten
L_IN Latent Space Input-Daten
TD Trainingsdaten
Dist_IN Distanz Input-Daten
TL_IN Trainingsverlust Input-Daten
IN realer Input
Kl Kl-Modul
OUT Ausgabe bzw. Output des Kl-Moduls
M_OUT Modul zur Bestimmung der Distanz von Output-Daten
G_OUT Generator Output-Daten
D_OUT Diskriminator Output-Daten
L_OUT Latent Space Output-Daten
Dist_OUT Distanz Output- Daten
TL_OUT Trainingsverlust Output-Daten
M_GT Modul zur Bestimmung der Distanz von Ground-Truth-Daten
G_GT Generator Ground-Truth-Daten
D_GT Diskriminator Ground-Truth-Daten
GT Ground-T ruth-Daten
L_GT Latent Space Ground-Truth-Daten
TL Trainingsverlust OUT und GT Dist GT Distanz Ground-Truth-Daten
TL_GT T rainingsverlust Ground-T ruth-Daten
US Umfeldsensorik

Claims

Patentansprüche
1. Verfahren zur Überwachung des Eingangsdatenstroms (IN) eines Kl-Moduls (Kl),
welches einen Bestandteil einer Verarbeitungskette einer teilautomatischen oder automatischen Fahrfunktion eines Fahrzeugs bildet, durch ein Überwachungsmodul (M_IN), welches durch ein generatives kontradiktorisches Netz umfassend einen Generator (G_IN) und einen Diskriminator (D_IN) gebildet wird, wobei das Verfahren eine Trainingsphase und eine Inferenzphase aufweist, und
in der Trainingsphase ein Trainieren des Überwachungsmoduls (M_IN) durch reale Trainingsdaten (TD) und generierte unechte, vom Generator (G_IN) erzeugte Trainingsdaten erfolgt, die beide dem Diskriminator (D_IN) zugeführt werden, welcher eine Distanz (D_IN) zwischen den echten Trainingsdaten und den generierten Trainingsdaten als Ausgabe erzeugt,
und
in der Inferenzphase eine Überprüfung des Kl-Moduls (Kl) durch das Überwachungsmodul (M_IN) erfolgt, indem aus dem realen Eingangsdatenstrom (IN) das trainierte Kl-Modul (Kl) für die Fahrfunktion geeignete Ausgabesignale (OUT) erzeugt und parallel dazu der reale Eingangsdatenstrom (IN) dem Diskriminator (D_IN) des trainierten Überwachungsmoduls (M_IN) zugeführt wird, der daraus Distanzen (DistJN) ermittelt, die zur Beurteilung des
Eingangsdatenstroms (IN) und damit zur Überprüfung der Ausgabesignale (OUT) herangezogen werden.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass der Generator (G_IN) mittels einer Hintergrunddatenquelle (L_IN) unechte Trainingsdaten erzeugt, die dem Diskriminator (D_IN) zugeführt werden.
3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass aus der Distanz (D_IN) ein Trainingsverlust (TL_IN) bezüglich der realen Trainingsdaten (TD) ermittelt wird, der zum Trainieren des Generators (G_IN) und des Diskriminators (D_IN) des Überwachungsmoduls (M_IN) dient.
4. Vorrichtung zur Überwachung des Eingangsdatenstroms (IN) eines Kl-Moduls (Kl), wobei die Vorrichtung zur Durchführung des Verfahrens nach einem der
vorangegangenen Ansprüche eingerichtet und ausgelegt ist, mit
einem Kl-Modul (Kl), welches einen Bestandteil einer Verarbeitungskette einer teilautomatischen oder automatischen Fahrfunktion eines Fahrzeugs bildet, und auf realen Eingangssignale (IN) basierend Ausgabesignale (OUT) für die Fahrfunktion erzeugt, und
einem Überwachungsmodul (M_IN), das anhand realer Eingangssignale (IN) ein Differenzsignal (DistJN) erzeugt, welches zur Überwachung des
Eingangsdatenstroms (IN) des Kl-Moduls (Kl) verwendet wird.
5. Verfahren zur Überwachung des Eingangsdatenstroms (IN) und des
Ausgangsdatenstrom (OUT) eines Kl-Moduls (Kl), welches einen Bestandteil einer Verarbeitungskette einer teilautomatischen oder automatischen Fahrfunktion eines Fahrzeugs bildet, durch drei Überwachungsmodule (M_IN, M_OUT, M_GT), welche jeweils durch ein generatives kontradiktorisches Netz umfassend einen Generator (G_IN, G_OUT, G_GT) und einen Diskriminator (D_IN, D_OUT, D_GT) gebildet werden, wobei das Verfahren eine Trainingsphase und eine Inferenzphase aufweist, und in der Trainingsphase
das erste Überwachungsmodul (M_IN) zur Überwachung des
Eingangsdatenstroms des Kl-Moduls (Kl) durch reale Trainingsdaten (TD) und unechte, vom Generator des ersten Überwachungsmoduls (M_IN) erzeugte unechte generierte Trainingsdaten trainiert wird und erste Differenzsignale (DistJN) erzeugt,
das Kl-Modul (Kl) durch reale Trainingsdaten (TD) und Ground-Truth-Daten (GT) trainiert wird und Ausgabedaten (OUT) erzeugt,
das zweite Überwachungsmodul (M_OUT) zur Überwachung des
Ausgangsdatenstroms des Kl-Moduls (Kl) durch die Ausgabedaten (OUT) des Kl-Moduls und unechte, vom Generator (G_OUT) des zweiten
Überwachungsmoduls (M_OUT) erzeugte unechte generierte Ausgabedaten trainiert wird und ein erstes Differenzsignal (DistJN) erzeugt,
das dritte Überwachungsmodul (MJ3T) zur Überwachung des
Ausgangsdatenstroms des Kl-Moduls (Kl) durch Ground-Truth-Daten und unechte, vom Generator (G_GT) des dritten Überwachungsmoduls (MJ3T) erzeugte unechte generierte Groung-Truth-Daten trainiert wird und ein drittes Differenzsignal (Dist_GT) erzeugt,
und in der Inferenzphase eine Überwachung sowohl des Eingangsdatenstroms (IN) in das Kl-Modul (Kl) hinein als auch des Ausgabedatenstroms (OUT) aus dem Kl-Modul heraus erfolgt, indem
der reale Eingangsdatenstrom (IN) dem Diskriminator (D_IN) des trainierten ersten Überwachungsmoduls (M_IN) zugeführt wird, der daraus Distanzen (DistJN) ermittelt, die zur Beurteilung des Eingangsdatenstroms (IN) des Kl- Moduls (Kl) verwendet werden, und
der Ausgangsdatenstrom (OUT) dem Diskriminator (D_OUT) des trainierten zweiten Überwachungsmoduls (M_OUT) zugeführt wird, der daraus Distanzen (Dist_OUT) ermittelt, die zur Beurteilung des Ausgangsdatenstroms (OUT) des Kl-Moduls (Kl) verwendet werden, und/oder
der Ausgangsdatenstrom (OUT) dem Diskriminator (D_GT) des trainierten dritten Überwachungsmoduls (M_GT) zugeführt wird, der daraus Distanzen (Dist_GT) ermittelt, die zur Beurteilung des Ausgangsdatenstroms (OUT) des Kl-Moduls (Kl) verwendet werden.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Generatoren (G_IN, G_OUT, G_GT) mittels einer jeweiligen Hintergrunddatenquelle (L_IN, L_OUT, L_GT) unechte Trainingsdaten erzeugen, die den Diskriminatoren (D_IN, D_OUT, D_GT) der jeweiligen Überwachungsmodule (M_IN, M_OUT, MGT) zugeführt werden.
7. Verfahren nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass
während der Trainingsphase aus den drei Distanzen (D_IN, D_OUT, D_GT) jeweils Trainingsverluste (TL_IN, TLJDUT, TL_GT) bezüglich der jeweiligen Trainingsdaten (TD, OUT, GT) ermittelt werden, die zum Trainieren der Generatoren (G_IN, G_OUT, G_GT) und Diskriminatoren (D_IN, D_OUT, D_GT) des jeweiligen
Überwachungsmoduls (M_IN, M_OUT, M_GT) dienen.
8. Vorrichtung zur Überwachung des Eingangsdatenstroms (IN) und des
Ausgangsdatenstrom (OUT) eines Kl-Moduls (Kl), welches einen Bestandteil einer Verarbeitungskette einer teilautomatischen oder automatischen Fahrfunktion eines Fahrzeugs bildet, wobei die Vorrichtung zur Durchführung des Verfahrens nach einem der vorangegangenen Ansprüche eingerichtet und ausgelegt ist, mit einem Kl-Modul (Kl), welches einen Bestandteil einer Verarbeitungskette einer teilautomatischen oder automatischen Fahrfunktion eines Fahrzeugs bildet, und auf realen Eingangssignale (IN) basierend Ausgabesignale (OUT) für die Fahrfunktion erzeugt, und
drei Überwachungsmodule (M_IN, M_OUT, M_GT), die anhand realer
Eingangssignale (IN) und der Ausgabesignale des Kl-Moduls (Kl) jeweilige Distanzsignale (DistJN, Dist_OUT, Dist_GT) erzeugen, welche zur
Überwachung des Eingangsdatenstroms (IN) und des Ausgabedatenstroms des Kl-Moduls (Kl) verwendet werden.
EP20720772.1A 2019-05-09 2020-04-15 Überwachung eines ki-moduls einer fahrfunktion eines fahrzeugs Pending EP3966743A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019206720.4A DE102019206720B4 (de) 2019-05-09 2019-05-09 Überwachung eines KI-Moduls einer Fahrfunktion eines Fahrzeugs
PCT/EP2020/060593 WO2020224925A1 (de) 2019-05-09 2020-04-15 Überwachung eines ki-moduls einer fahrfunktion eines fahrzeugs

Publications (1)

Publication Number Publication Date
EP3966743A1 true EP3966743A1 (de) 2022-03-16

Family

ID=70391096

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20720772.1A Pending EP3966743A1 (de) 2019-05-09 2020-04-15 Überwachung eines ki-moduls einer fahrfunktion eines fahrzeugs

Country Status (5)

Country Link
US (1) US20220324470A1 (de)
EP (1) EP3966743A1 (de)
CN (1) CN113811894B (de)
DE (1) DE102019206720B4 (de)
WO (1) WO2020224925A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021205274A1 (de) 2021-05-21 2022-11-24 Robert Bosch Gesellschaft mit beschränkter Haftung Sichere Steuerung/Überwachung eines computergesteuerten Systems
DE102021208047A1 (de) 2021-07-27 2023-02-02 Zf Friedrichshafen Ag Verfahren und Computerprogramm zum Überwachen von Ausgaben eines Generators eines generativen kontradiktorischen Netzwerks
WO2024086771A1 (en) * 2022-10-21 2024-04-25 Ohio State Innovation Foundation System and method for prediction of artificial intelligence model generalizability
DE102024201218A1 (de) * 2024-02-09 2025-08-14 Robert Bosch Gesellschaft mit beschränkter Haftung Bewerten von Ergebnissen eines computerbasierten Maschinenlernsystems
DE102024208360A1 (de) * 2024-09-03 2026-03-05 Aumovio Autonomous Mobility Germany Gmbh Eingabeüberwachung für ein Maschinenlernmodell

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090034809A1 (en) * 2007-08-01 2009-02-05 Fujifilm Corporation Abnormal tissue pattern detection apparatus, method and program
US10796223B2 (en) 2014-02-10 2020-10-06 Mitsubishi Electric Corporation Hierarchical neural network apparatus, classifier learning method and discriminating method
US9875445B2 (en) 2014-02-25 2018-01-23 Sri International Dynamic hybrid models for multimodal analysis
EP3995782B1 (de) * 2016-01-05 2026-03-18 Mobileye Vision Technologies Ltd. Systeme und verfahren zur schätzung zukünftiger pfade
DE102016207276A1 (de) * 2016-04-28 2017-11-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Freigabe einer Fahrfunktion in einem Fahrzeug
DE102016009655A1 (de) * 2016-08-09 2017-04-06 Daimler Ag Verfahren zum Betrieb eines Fahrzeugs
US9989964B2 (en) * 2016-11-03 2018-06-05 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling vehicle using neural network
US20180336439A1 (en) 2017-05-18 2018-11-22 Intel Corporation Novelty detection using discriminator of generative adversarial network
US11003995B2 (en) * 2017-05-19 2021-05-11 Huawei Technologies Co., Ltd. Semi-supervised regression with generative adversarial networks
DE102017213119A1 (de) * 2017-07-31 2019-01-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln von Anomalien in einem Kommunikationsnetzwerk
US10753997B2 (en) * 2017-08-10 2020-08-25 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
DE102017215552A1 (de) * 2017-09-05 2019-03-07 Robert Bosch Gmbh Plausibilisierung der Objekterkennung für Fahrassistenzsysteme
DE102017217443B4 (de) * 2017-09-29 2023-03-02 Volkswagen Ag Verfahren und System zur Bereitstellung von Trainingsdaten zum maschinellen Lernen für ein Steuerungsmodell einer automatischen Fahrzeugsteuerung
US11120337B2 (en) * 2017-10-20 2021-09-14 Huawei Technologies Co., Ltd. Self-training method and system for semi-supervised learning with generative adversarial networks
DE102017219441A1 (de) * 2017-10-30 2019-05-02 Robert Bosch Gmbh Verfahren zum Trainieren eines zentralen Künstlichen-Intelligenz-Moduls
US11543830B2 (en) * 2017-12-06 2023-01-03 Petuum, Inc. Unsupervised real-to-virtual domain unification for end-to-end highway driving
CN108520155B (zh) * 2018-04-11 2020-04-28 大连理工大学 基于神经网络的车辆行为模拟方法
DE102018112929A1 (de) * 2018-05-30 2018-07-26 FEV Europe GmbH Verfahren zur Validierung eines Fahrerassistenzsystems mithilfe von weiteren generierten Testeingangsdatensätzen
GB201809604D0 (en) * 2018-06-12 2018-07-25 Tom Tom Global Content B V Generative adversarial networks for image segmentation
KR102565279B1 (ko) * 2018-08-23 2023-08-09 삼성전자주식회사 객체 검출 방법, 객체 검출을 위한 학습 방법 및 그 장치들
EP3654246B1 (de) * 2018-11-14 2024-01-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren, fahrzeug, system und speichermedium zur anzeige eines anormalen fahrzeugszenarios unter verwendung eines encodernetzwerks und eines wiedergabepuffers
DE102019205519A1 (de) * 2019-04-16 2020-10-22 Robert Bosch Gmbh Verfahren zum Ermitteln von Fahrverläufen

Also Published As

Publication number Publication date
DE102019206720A1 (de) 2020-11-12
CN113811894B (zh) 2024-06-28
DE102019206720B4 (de) 2021-08-26
CN113811894A (zh) 2021-12-17
US20220324470A1 (en) 2022-10-13
WO2020224925A1 (de) 2020-11-12

Similar Documents

Publication Publication Date Title
DE102019206720B4 (de) Überwachung eines KI-Moduls einer Fahrfunktion eines Fahrzeugs
DE102020205315B4 (de) Verfahren zur Klassifikation kritischer Fahrsituationen, Auswahl von der kritischen Fahrsituation ähnlichen Daten und Nachtraining des automatischen Systems
DE102017217733A1 (de) Prüfen eines neuronalen Netzes
DE102018128289A1 (de) Verfahren und vorrichtung für eine autonome systemleistung und zur einstufung
DE102019208735B4 (de) Verfahren zum Betreiben eines Fahrassistenzsystems eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug
DE112017008149T5 (de) VORRICHTUNG FÜR EINE VON EINEM FAHRZEUG AUSGEHENDE KOMMUNIKATION, VERFAHREN ZUM KOMMUNIZIEREN VON EINEM FAHRZEUG NACH AUßEN INFORMATIONSVERARBEITUNGSVORRICHTUNG UND PROGRAMM FÜR EINE VON EINEM FAHRZEUG AUSGEHENDE KOMMUNIKATION
DE102010013943A1 (de) Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens
WO2022028935A1 (de) Computerimplementiertes verfahren zum bereitstellen eines test-verlaufs zu testender verkehrsszenarien
EP3959660B1 (de) Training trainierbarer module mit lern-daten, deren labels verrauscht sind
DE102017006155A1 (de) Verfahren zum Betreiben eines Sensorsystems eines Fahrzeugs
WO2020061603A1 (de) Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs
DE102020203707A1 (de) Plausibilisierung der Ausgabe neuronaler Klassifikatornetzwerke
DE102020203829A1 (de) Verfahren zum Überwachen eines Fahrzeugsystems zum Erkennen einer Umgebung eines Fahrzeugs
DE102019209463A1 (de) Verfahren zur Bestimmung eines Vertrauenswertes eines Objektes einer Klasse
EP3985565B1 (de) Verfahren und vorrichtung zum überprüfen eines beim teilautomatisierten oder vollautomatisierten steuern eines fahrzeugs verwendeten ki-basierten informationsverarbeitungssystems
DE102021208349B3 (de) Verfahren und Sensorsystem zum Zusammenführen von Sensordaten sowie Fahrzeug mit einem Sensorsystem zum Zusammenführen von Sensordaten
DE102018005864A1 (de) Verfahren zum Testen eines Totwinkelassistenzsystems für ein Fahrzeug
EP4125005B1 (de) Kontrastives representation learning für messdaten
WO2023280531A1 (de) Computerimplementiertes verfahren, computerprogramm und vorrichtung zum erzeugen einer daten-basierten modellkopie in einem sensor
EP4000011B1 (de) Komponentenbasierte verarbeitung von eingangsgrössen
WO2021122337A1 (de) Verfahren und vorrichtung zum erkennen einer entfremdung einer sensordatendomäne von einer referenzdatendomäne
DE102022213244A1 (de) Fahrzeugsystem zur Erhöhung der Sicherheit eines Fahrzeugs, Verfahren und Verwendung
DE102022200735A1 (de) Verfahren und Steuergerät zum Trainieren eines Objektdetektors
DE102022107820A1 (de) Verfahren und Prozessorschaltung zum Überprüfen einer Plausibilität eines Detektionsergebnisses einer Objekterkennung in einem künstlichen neuronalen Netzwerk sowie Kraftfahrzeug
DE102019128223B4 (de) Verfahren, Vorrichtungen und Computerprogramme

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20211209

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250424