EP4022535A1 - Klassifizierung von ki-modulen - Google Patents

Klassifizierung von ki-modulen

Info

Publication number
EP4022535A1
EP4022535A1 EP20764340.4A EP20764340A EP4022535A1 EP 4022535 A1 EP4022535 A1 EP 4022535A1 EP 20764340 A EP20764340 A EP 20764340A EP 4022535 A1 EP4022535 A1 EP 4022535A1
Authority
EP
European Patent Office
Prior art keywords
module
modules
motor vehicle
classifier
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20764340.4A
Other languages
English (en)
French (fr)
Inventor
Ruby Moritz
Fabian HÜGER
Peter Schlicht
Nikhil KAPOOR
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP4022535A1 publication Critical patent/EP4022535A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Definitions

  • the present invention relates to a method, a computer program with instructions and a device for providing a classifier for a KI module for processing input data provided by a sensor system of a motor vehicle, as well as a classifier provided with such a method.
  • the invention further relates to a method, a computer program with instructions and a device for configuring a control system of a motor vehicle with a library of Kl modules for processing input data provided by a sensor system of the motor vehicle, and a motor vehicle that has such a method or such Device uses.
  • CI artificial intelligence
  • KL models are very versatile and also differ greatly in terms of their functional quality.
  • the term functional quality describes the quality or quality of the Kl model with regard to the intended function or task.
  • CI models are mainly differentiated on the basis of their architecture and the data used in training. As a rule, attempts are made to compensate for insufficient functional quality by adding training data or increasing the complexity of the architecture.
  • a KI module is to be understood here as a software component through which a KI model is implemented.
  • DE 102017006599 A1 describes a method for operating an at least partially automated motor vehicle.
  • at least three artificial neural networks in disjoint training drives of the motor vehicle are independently of one another using an end-to-end approach based on training actuator data recorded during the training drives and on the basis of training sensor data correlated with the training actuator data Vehicle sensors trained.
  • Actual sensor data are recorded as input data of the neural networks and the actual sensor data are assigned training actuator data as output data of the neural networks on the basis of a comparison with the training sensor data.
  • the training actuator data of all neural networks are fed to a fusion module, which fuses the training actuator data of all neural networks according to a predetermined rule and determines actual actuator data on the basis of a result of the fusion.
  • a transverse and / or longitudinal control of the motor vehicle is carried out at least partially automatically on the basis of a control of the vehicle actuators with the determined actual actuator data.
  • DE 102017 107837 A1 describes an adaptable sensor arrangement.
  • the sensor arrangement comprises at least one sensor element with a control and evaluation unit.
  • the sensor data are evaluated with a classifier.
  • the classifier has a neural network.
  • the sensor arrangement can be connected to a higher-level computer network via an interface.
  • the control and evaluation unit is designed for an expansion function.
  • the sensor arrangement uses an expansion function to transmit selected sensor data, which are also to be processed by the classifier, to the computer network.
  • a classifier is trained there on the basis of the sensor data, and after the training has ended, the sensor arrangement receives classifier data back for modifying the classifier, such as parameters, program sections or even the entire trained classifier.
  • the sensor arrangement is thus also equipped for the classification of the selected sensor data.
  • a method for providing a classifier for a KI module for processing input data provided by a sensor system of a motor vehicle comprises the steps:
  • a computer program comprises instructions which, when executed by a computer, cause the computer to carry out the following steps for providing a classifier for a KI module for processing input data provided by a sensor system of a motor vehicle:
  • the term computer is to be understood broadly. In particular, it also includes workstations, distributed systems and other processor-based data processing devices.
  • the computer program can, for example, be provided for electronic retrieval or can be stored on a computer-readable storage medium.
  • a device for providing a classifier for a KI module for processing input data provided by a sensor system of a motor vehicle has:
  • test module for causing the KI module to be applied to two or more data points from a test data set, basic truths and contextual parameters associated with the two or more data points being known;
  • An evaluation module for determining a functional quality for each of the two or more data points and for creating a classifier for the KI module, which outputs a functional quality for given contextual parameters.
  • Kl modules or the Kl models implemented by these Kl modules there is a dependency between the functional quality of a Kl model and the data that it processes. This dependency ensures that KI models are not good or bad per se, but rather have an environment-dependent functional quality.
  • a meaningful description of KI models and their capabilities can be created in a test phase. A list of the most meaningful properties can be determined as a metric for the performance of a KI module.
  • the Kl models can not only be better understood, they can also be used in a variety of ways, for example as an ensemble of expert models.
  • a classification system based on a set of contextual dimensions, a set of KI modules and a set of test data evaluates the KI modules with regard to their expected functional quality relative to individual contextual parameters.
  • the contextual parameters can include, for example, properties in the context of the data points or properties of an architecture of the KI modules.
  • the term data point refers to the input data for a given situation.
  • the ground truth is known for the test data, i.e. the correct results are available for the respective input data.
  • the contextual parameters for the evaluation of the data with regard to the context dimensions are known for the test data.
  • the contextual assignment makes the resulting classification comprehensible, testable and safeguardable.
  • the resulting classifier is set up to classify the KI modules on the basis of contextual parameters of input data with regard to the expected functional quality.
  • the KI module realizes a KI model or a family of KI models in the sense of an ensemble.
  • a single KI model is implemented in a KI module, e.g. a neural network that is classified as part of the test phase.
  • the solution according to the invention can, however, also be used to determine an empirically based weighting function for the common inference of a family of KI models in the sense of an ensemble, i.e. a collective of KI models that process the same input data.
  • an output of the KI module for the data point is compared with the associated basic truth.
  • a loU metric (loU: Intersection over union; Relationship between intersection and union, also known as the Jaccard coefficient) can be used.
  • the functional quality can be easily determined by comparing it with the basic truth.
  • the use of a loU metric has proven its worth, especially in the case of K1 modules for object recognition.
  • the classifier is formed by a neural network. This has the advantage that the classifier can be trained in the test phase without the relevance of the contextual parameters having to be known in advance.
  • the classifier can also be implemented using other functions.
  • a classifier for a KI module is preferably provided by means of a method according to the invention. By executing such a classifier on given input data, a situation-dependent evaluation of the KI modules available for processing the input data can be carried out.
  • a method for configuring a control system of a motor vehicle with a library of KI modules for processing input data provided by a sensor system of the motor vehicle comprises the steps:
  • a computer program comprises instructions which, when executed by a computer, cause the computer to carry out the following steps for configuring a control system of a motor vehicle with a library of KI modules for processing input data provided by a sensor system of the motor vehicle:
  • the term computer is to be understood broadly. In particular, it also includes control devices and other processor-based data processing devices.
  • the computer program can, for example, be provided for electronic retrieval or can be stored on a computer-readable storage medium.
  • a device for configuring a control system of a motor vehicle with a library of KI modules for processing input data provided by a sensor system of the motor vehicle has:
  • An evaluation module for determining a KI module to be used for the input data or a combination of KI modules and associated weights to be used.
  • the solution according to the invention determines in a test phase those conditions or contextual parameters which have the most relevant influence on the functional properties of the available KI modules, for example deep neural networks for use in automatic driving.
  • the classifier now uses these previously determined conditions to determine a particularly effective combination of several KI modules for the given input data in order to increase the effectiveness of the overall system.
  • a method according to the invention or a device according to the invention is used particularly advantageously in a motor vehicle.
  • the use of the solution described is particularly useful if automatic driving of the autonomy levels or level 4 or 5 is to be implemented.
  • the KI modules can in particular be set up to carry out an environment recognition for an automatic driving function of a motor vehicle.
  • the different Kl modules can be adapted to different lighting conditions, different speeds, different vehicle environments, different driving situations, different environmental conditions, different driving conditions or different objectives.
  • the adaptation to different lighting conditions is particularly advantageous for the recognition of the surroundings for an automatic driving function when the lighting conditions change.
  • the lighting conditions may change due to a change in the weather, entering a tunnel or exiting a tunnel, or a very short one Twilight, as it occurs, for example, near the equator, change.
  • a Kl module can be provided as an expert system for the various lighting conditions.
  • the adjustment to different speeds is useful e.g. for 3D object recognition.
  • Kl modules can be provided for journeys on the motorway, in parking garages, in traffic jams or for complex intersections with a specific Car2X infrastructure.
  • Kl modules can be provided for special weather conditions, lighting conditions,
  • the pedestrian density can also be considered in this context.
  • expert systems for streets with a high density of pedestrians and expert systems for recognizing pedestrians at different distances can be provided. If there is a high density of pedestrians, the expert system must be able to detect the intent of pedestrians in the immediate vicinity of the vehicle. If there is a low number of pedestrians, it is usually possible to drive faster. Here again it is important to recognize pedestrians further away at an early stage. The intent of these pedestrians, however, is less important.
  • the driving behavior of the automatic driving function can be adapted for different driving conditions by using adapted Kl modules, e.g. the speed, the vehicle type, the presence of a trailer, parameters of the journey or the preferences of the vehicle occupants.
  • Kl modules e.g. the speed, the vehicle type, the presence of a trailer, parameters of the journey or the preferences of the vehicle occupants.
  • Kl modules for noise-reduced or low-emission driving are provided.
  • Other Kl modules can be adapted to special rules of conduct.
  • FIG. 1 shows schematically a method for providing a classifier for a KI module for processing input data provided by a sensor system of a motor vehicle;
  • FIG. 2 shows a first embodiment of a device for providing a classifier for a KI module for processing input data provided by a sensor system of a motor vehicle;
  • FIG. 3 shows a second embodiment of a device for providing a classifier for a KI module for processing input data provided by a sensor system of a motor vehicle;
  • FIG. 4 shows schematically a method for configuring a control system of a motor vehicle with a library of KI modules for processing input data provided by a sensor system of the motor vehicle;
  • FIG. 5 shows a first embodiment of a device for configuring a
  • Fig. 6 shows a second embodiment of a device for configuring a
  • FIG. 8 schematically shows a system diagram of a solution according to the invention for providing a classifier for a KI module for processing input data provided by a sensor system of a motor vehicle;
  • FIG. 9 schematically shows a system diagram of a solution according to the invention for configuring a control system with a library of KI modules.
  • a KI module to be classified is selected 10.
  • the KI module realizes, for example, a KI model or a family of KI models in the sense of an ensemble.
  • a suitable test data set is selected 11.
  • the KI module is then applied to data points of the test data set 12.
  • Associated basic truths and contextual parameters are known for the data points.
  • the contextual parameters can include, for example, properties in the context of the data points or properties of an architecture of the Kl module. Based on the outputs of the KI module, a functional quality is then determined for each of the data points 13.
  • a comparison can be made with the respective associated basic truth, e.g. using a loU metric.
  • a classifier for the KI module is created 14, which outputs a functional quality for given contextual parameters.
  • the classifier can be formed, for example, by a neural network.
  • FIG. 2 shows a simplified schematic illustration of a first embodiment of a device 20 for providing a classifier for a KI module for processing input data provided by a sensor system of a motor vehicle.
  • the Kl module realizes, for example, a Kl model or a family of Kl models in the sense of an ensemble.
  • the device 20 has an input 21 via which, for example, data of a Test data set can be received. Such a test data set can, however, also be held in a database 22 of the device 20.
  • a test module 23 causes the application of a selected KI module to data points of a selected test data set.
  • Associated basic truths and contextual parameters are known for the data points.
  • the contextual parameters can include, for example, properties in the context of the data points or properties of an architecture of the KI module.
  • an evaluation module 24 determines a functional quality for each of the data points. For this purpose, the evaluation module 24 can make a comparison with the respective associated basic truth, for example using a loU metric. In addition, the evaluation module 24 creates a classifier K for the K1 module, which outputs a functional quality for given contextual parameters. For this purpose, the evaluation module 24 can access the classifier K via an output 27 of the device 20, for example. The creation of the classifier K can alternatively also be carried out by a further independent module. The classifier K can be formed, for example, by a neural network.
  • the test module 23 and the evaluation module 24 can be controlled by a control unit 25. If necessary, settings of the test module 23, the evaluation module 24 or the control unit 25 can be changed via a user interface 28.
  • the data in the device 20 can be stored in a memory 26 if necessary, for example for later evaluation or for use by the components of the device 20.
  • the test module 23, the evaluation module 24 and the control unit 25 can be implemented as dedicated hardware , for example as integrated circuits. Of course, they can also be partially or fully combined or implemented as software that runs on a suitable processor, for example on a GPU or a CPU.
  • the input 21 and the output 27 can be implemented as separate interfaces or as a combined bidirectional interface.
  • FIG. 3 shows a simplified schematic illustration of a second embodiment of a device 30 for providing a classifier for a KI module for processing input data provided by a sensor system of a motor vehicle.
  • the device 30 has a processor 32 and a memory 31.
  • the device 30 is a computer or a control device. Instructions are stored in the memory 31 which, when executed by the processor 32, cause the device 30 to carry out the steps according to one of the methods described.
  • the instructions stored in the memory 31 thus embody a by the processor 32 executable program which implements the method according to the invention.
  • the device 30 has an input 33 for receiving information, for example data from a test data set. Data generated by the processor 32 are provided via an output 34. In addition, they can be stored in memory 31.
  • the input 33 and the output 34 can be combined to form a bidirectional interface.
  • Processor 32 may include one or more processing units, such as microprocessors, digital signal processors, or combinations thereof.
  • the memories 26, 31 of the described embodiments can have both volatile and non-volatile storage areas and include a wide variety of storage devices and storage media, for example hard disks, optical storage media or semiconductor memories.
  • FIG. 4 schematically shows a method for configuring a control system of a motor vehicle with a library of KI modules for processing input data provided by a sensor system of the motor vehicle.
  • input data to be processed by the KI modules are recorded 40.
  • the KI modules are then evaluated on the basis of contextual parameters 41.
  • a classifier created previously as described above can be used, which is formed, for example, by a neural network can.
  • the contextual parameters can include, for example, properties in the context of the input data or properties of an architecture of the Kl modules.
  • a KI module to be used for the input data or a combination of KI modules and associated weights to be used are finally determined 42.
  • FIG. 5 shows a simplified schematic illustration of a first embodiment of a device 50 for configuring a control system of a motor vehicle with a library of KI modules for processing input data provided by a sensor system of the motor vehicle.
  • the device 50 has an input 51 via which input data to be processed by the KI modules are received and can be recorded by a data module 52.
  • a classifier K which can be formed, for example, by a neural network, then evaluates the available KI modules on the basis of contextual parameters.
  • the contextual parameters can include, for example, properties in the context of the input data or properties of an architecture of the KI modules.
  • An evaluation module 53 finally determines a for the input data on the basis of the evaluation Kl module to be used or a combination of Kl modules and associated weights to be used.
  • Information on the CI modules to be used and on a weighting to be used can be output to a fusion module 80 via an output 56 of the device 50.
  • the data module 52 and the evaluation module 53 can be controlled by a control unit 54. If necessary, settings of the data module 52, the evaluation module 53 or the control unit 54 can be changed via a user interface 57.
  • the data obtained in the device 50 can be stored in a memory 55 if necessary, for example for later evaluation or for use by the components of the device 50.
  • the data module 52, the evaluation module 53 and the control unit 54 can be implemented as dedicated hardware , for example as integrated circuits. Of course, they can also be partially or fully combined or implemented as software that runs on a suitable processor, for example on a GPU or a CPU.
  • the input 51 and the output 56 can be implemented as separate interfaces or as a combined bidirectional interface.
  • the device 60 has a processor 62 and a memory 61.
  • the device 60 is a computer or a control device. Instructions are stored in the memory 61 which, when executed by the processor 62, cause the device 60 to carry out the steps in accordance with one of the methods described.
  • the instructions stored in the memory 61 thus embody a program which can be executed by the processor 62 and which implements the method according to the invention.
  • the device 60 has an input 63 for receiving information, for example input data to be processed by the KI modules. Data generated by the processor 62 are provided via an output 64. In addition, they can be stored in memory 61.
  • the input 63 and the output 64 can be combined to form a bidirectional interface.
  • the processor 62 may include one or more processing units, such as microprocessors, digital signal processors, or combinations thereof.
  • the memories 55, 61 of the described embodiments can have both volatile and non-volatile storage areas and include a wide variety of storage devices and storage media, for example hard disks, optical storage media or semiconductor memories.
  • FIG. 7 schematically shows a motor vehicle 70 in which a solution according to the invention is implemented.
  • the motor vehicle 70 has a control system 71 for the automated or highly automated ferry operation, which is configured by a device 50.
  • the device 50 is an independent component, but it can also be integrated in the control system 71.
  • the device 50 uses a series of input data to select KI modules from a library of KI modules. These can be, for example, environmental data from an environment sensor system 72 installed in the motor vehicle 70 or operating parameters of the motor vehicle 70 that are made available by control units 73.
  • a further component of the motor vehicle 70 is a data transmission unit 74 via which, among other things, a connection to a backend can be established, e.g. to obtain additional or modified KI modules.
  • a memory 75 is available for storing the library of KI modules or other data. The data exchange between the various components of the motor vehicle 70 takes place via a network 76.
  • Distinctive properties in the context of the input data to be processed have a particular influence on the functional quality of the processing Kl modules. Such properties can be very diverse and are not necessarily intuitive for people, such as the distribution of special color values, contrasts or specific frequencies.
  • the architectural properties of the Kl modules also play a role. For example, specific features in the composition of a neural network affect its performance. If, for example, there is also a rule-based knowledge base for permitted street signs in addition to a learned neural network, the resulting KI model will have better performance in sign recognition than a comparable KI model without this knowledge base.
  • the properties in the context of the input data to be processed include all those influences on the data that influence or at least can influence the functional behavior of the Kl module.
  • FIG. 8 schematically shows a system diagram of a solution according to the invention for providing a classifier K for a KI module NN for processing input data provided by a sensor system of a motor vehicle.
  • the classification system uses a number of KI modules NN, eg trained neural networks, as candidates for later execution in a specific environment.
  • the KI modules NN are intended for the same task, for example object recognition or semantic segmentation, but differ in terms of architecture, training data and training parameters.
  • all given KI modules NN are now used for inferences for all data points d n from a test data set D.
  • the term inference describes the process of using the trained model to draw conclusions.
  • the functional quality FGi_ n is determined for each data point d n with the given contextual parameters P n .
  • a neural network can now be trained, which learns the relevance of the various contextual parameters P n and the dependency of the functional quality FG, of the various KI modules NN, on the contextual parameters P n .
  • a classifier K which outputs a functional quality FG or weights W corresponding to the functional quality FG for given contextual parameters P for all K1 modules NN, independent of the data point.
  • the classifier K can output an empirically based weighting function for the common inference of a family of K1 modules NN, in the sense of an ensemble.
  • FIG. 9 schematically shows a system diagram of a solution according to the invention for configuring a control system 71 with a library of KI modules NN,.
  • the contextual parameters P are extracted from the input data E obtained by means of a sensor system 81 during operation of the control system 71, for example in a vehicle.
  • an optimal combination of K1 modules NN and associated weights W is determined. This is preferably done synchronously with the data processing in the KI modules NN, since it is only for the fusion of the outputs of the KI modules NN to know how the respective output is to be evaluated.
  • a fusion module 80 combines the outputs of the selected K1 modules NN according to the weights W provided by the classifier K.
  • the contextual parameters P determined by the classifier K can also be sent to a Selection unit 82 are transferred, which on the basis of the parameters P can start or stop individual Kl modules NN in a targeted manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Feedback Control In General (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm mit Instruktionen und eine Vorrichtung zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten, sowie einen mit einem solchen Verfahren bereitgestellten Klassifikator. Die Erfindung betrifft weiterhin ein Verfahren, ein Computerprogramm mit Instruktionen und eine Vorrichtung zum Konfigurieren eines Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl- Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten, sowie ein Kraftfahrzeug, das ein solches Verfahren oder eine solche Vorrichtung nutzt. In einem ersten Schritt wird ein zu klassifizierendes Kl-Modul ausgewählt (10). Zudem wird ein geeigneter Testdatensatz ausgewählt (11). Das Kl-Modul wird dann auf Datenpunkte des Testdatensatzes angewendet (12). Für die Datenpunkte sind dabei zugehörige Grundwahrheiten und kontextuelle Parameter bekannt. Basierend auf den Ausgaben des Kl-Moduls wird anschließend eine funktionale Güte für jeden der Datenpunkte ermittelt (13). Schließlich wird ein Klassifikator für das Kl-Modul erstellt (14), der für gegebene kontextuelle Parameter eine funktionale Güte ausgibt.

Description

Beschreibung
Klassifizierung von Kl-Modulen
Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm mit Instruktionen und eine Vorrichtung zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten, sowie einen mit einem solchen Verfahren bereitgestellten Klassifikator. Die Erfindung betrifft weiterhin ein Verfahren, ein Computerprogramm mit Instruktionen und eine Vorrichtung zum Konfigurieren eines Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl- Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten, sowie ein Kraftfahrzeug, das ein solches Verfahren oder eine solche Vorrichtung nutzt.
Das (hoch-)automatisierte Fahren ist ohne auf künstlicher Intelligenz (Kl) basierende Verfahren und insbesondere ohne eine Bilddatenverarbeitung, die sich auf tiefe neuronale Netze stützt, zum aktuellen Zeitpunkt nicht realisierbar. Kl-Modelle sind, selbst wenn sie zur Lösung derselben Aufgabe konzipiert wurden, allerdings sehr vielseitig und unterscheiden sich auch in ihrer funktionalen Güte stark. Der Begriff funktionale Güte beschreibt dabei die Güte bzw. Qualität des Kl-Modells in Hinblick auf die vorgesehene Funktion bzw. Aufgabe. Bei derzeitigen Ansätzen werden Kl-Modelle hauptsächlich anhand ihrer Architektur und der im Training genutzten Daten unterschieden. Dabei wird in der Regel versucht, eine nicht ausreichende funktionale Güte durch eine Hinzunahme von Trainingsdaten oder eine Erhöhung der Komplexität der Architektur zu kompensieren.
Einfache Ansätze bei der Nutzung künstlicher Intelligenz in Kraftfahrzeugen beschränken sich auf die Verwendung eines einzelnen Kl-Moduls oder eines Ensembles von Kl-Modulen und dessen Optimierung. Unter einem Kl-Modul ist hier eine Softwarekomponente zu verstehen, durch die ein Kl-Modell umgesetzt wird.
Vor diesem Hintergrund beschreibt DE 102017006599 A1 ein Verfahren zum Betrieb eines zumindest teilautomatisiert fahrenden Kraftfahrzeugs. In dem Verfahren werden zumindest drei künstliche neuronale Netzwerke in disjunkten Trainingsfahrten des Kraftfahrzeugs unabhängig voneinander jeweils mittels eines Ende-zu-Ende-Ansatzes anhand von während der Trainingsfahrten aufgezeichneten Trainings-Aktordaten einer Fahrzeugaktorik und anhand von mit den Trainings-Aktordaten korrelierten Trainings-Sensordaten einer Fahrzeugsensorik trainiert. Im zumindest teilautomatisierten Betrieb des Kraftfahrzeugs werden Ist-Sensordaten als Eingangsdaten der neuronalen Netzwerke erfasst und den Ist- Sensordaten werden anhand eines Vergleichs mit den Trainings-Sensordaten Trainings- Aktordaten als Ausgangsdaten der neuronalen Netzwerke zugeordnet. Die Trainings- Aktordaten aller neuronalen Netzwerke werden einem Fusionsmodul zugeführt, welches die Trainings-Aktordaten aller neuronalen Netzwerke nach einer vorgegebenen Regel fusioniert und anhand eines Ergebnisses der Fusion Ist-Aktordaten ermittelt. Anhand einer Ansteuerung der Fahrzeugaktorik mit den ermittelten Ist- Aktordaten wird eine Quer- und/oder Längssteuerung des Kraftfahrzeugs zumindest teilautomatisiert durchgeführt.
Des Weiteren beschreibt DE 102017 107837 A1 eine anpassbare Sensoranordnung. Die Sensoranordnung umfasst zumindest ein Sensorelement mit einer Steuer- und Auswertungseinheit. Die Sensordaten werden mit einem Klassifikator ausgewertet. Der Klassifikator weist ein neuronales Netz auf. Über eine Schnittstelle ist die Sensoranordnung mit einem übergeordneten Rechnernetzwerk verbindbar. Die Steuer- und Auswertungseinheit ist für eine Erweiterungsfunktion ausgebildet. Dazu überträgt die Sensoranordnung in einer Erweiterungsfunktion ausgewählte Sensordaten, die zusätzlich von dem Klassifikator verarbeitet werden sollen, an das Rechnernetzwerk. Dort wird auf Basis der Sensordaten ein Klassifikator trainiert, und nach Abschluss des Trainings erhält die Sensoranordnung Klassifikatordaten zur Modifikation des Klassifikators zurück, wie Parameter, Programmabschnitte oder sogar den gesamten trainierten Klassifikator. Damit ist die Sensoranordnung auch für die Klassifikation der ausgewählten Sensordaten gerüstet.
Bei einem weiteren Ansatz liegt der Fokus hingegen nicht darauf, eine Funktion zu entwickeln, die in allen Situationen gut und sicher arbeitet. Vielmehr wird eine Menge von guten Funktionen kombiniert, d.h. verschiedene Kl-Module werden auf Fahrzeugseite dynamisch miteinander kombiniert.
Es ist eine Aufgabe der Erfindung, Lösungen bereitzustellen, die eine dynamische Kombination von verfügbaren Kl-Modulen unterstützen.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 oder 12, durch ein Computerprogramm mit Instruktionen gemäß Anspruch 9 oder 15, durch eine Vorrichtung mit den Merkmalen des Anspruchs 10 oder 16 und durch einen Klassifikator gemäß Anspruch 11 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche. Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten die Schritte:
- Anwenden des Kl-Moduls auf zwei oder mehr Datenpunkte aus einem Testdatensatz, wobei für die zwei oder mehr Datenpunkte zugehörige Grundwahrheiten und kontextuelle Parameter bekannt sind;
- Ermitteln einer funktionalen Güte für jeden der zwei oder mehr Datenpunkte; und
- Erstellen eines Klassifikators für das Kl-Modul, der für gegebene kontextuelle Parameter eine funktionale Güte ausgibt.
Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten veranlassen:
- Anwenden des Kl-Moduls auf zwei oder mehr Datenpunkte aus einem Testdatensatz, wobei für die zwei oder mehr Datenpunkte zugehörige Grundwahrheiten und kontextuelle Parameter bekannt sind;
- Ermitteln einer funktionalen Güte für jeden der zwei oder mehr Datenpunkte; und
- Erstellen eines Klassifikators für das Kl-Modul, der für gegebene kontextuelle Parameter eine funktionale Güte ausgibt.
Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Workstations, verteilte Systeme und andere prozessorbasierte Datenverarbeitungsvorrichtungen.
Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.
Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten auf:
- ein Testmodul zum Veranlassen eines Anwendens des Kl-Moduls auf zwei oder mehr Datenpunkte aus einem Testdatensatz, wobei für die zwei oder mehr Datenpunkte zugehörige Grundwahrheiten und kontextuelle Parameter bekannt sind; und
- ein Auswertemodul zum Ermitteln einer funktionalen Güte für jeden der zwei oder mehr Datenpunkte und zum Erstellen eines Klassifikators für das Kl-Modul, der für gegebene kontextuelle Parameter eine funktionale Güte ausgibt. Bei der Nutzung von Kl-Modulen bzw. den durch diese Kl-Module realisierten Kl-Modellen ist zu beachten, dass eine Abhängigkeit besteht zwischen der funktionalen Güte eines Kl- Modells und den Daten, die es verarbeitet. Diese Abhängigkeit sorgt dafür, dass Kl-Modelle nicht per se gut oder schlecht sind, sondern eine umgebungsabhängige funktionale Güte aufweisen. Durch die erfindungsgemäße Lösung lässt sich in einer Testphase eine aussagekräftige Beschreibung von Kl-Modellen und deren Fähigkeiten erstellen. Dabei kann eine Liste der aussagekräftigsten Eigenschaften als Metrik für die Performanz eines Kl- Moduls ermittelt werden. Die Kl-Modelle können so nicht nur besser verstanden werden, sondern auch vielfältiger eingesetzt werden, etwa als Ensembles von Experten-Modellen.
Im Rahmen der Testphase bewertet ein Klassifizierungssystem basierend auf einer Menge kontextueller Dimensionen, einer Menge Kl-Module und einer Menge an Testdaten die Kl- Module in Hinsicht auf deren zu erwartende funktionale Güte relativ zu einzelnen kontextuellen Parametern. Die kontextuellen Parameter können beispielsweise Eigenschaften im Kontext der Datenpunkte oder Eigenschaften einer Architektur der Kl- Module umfassen. Unter dem Begriff Datenpunkt sind hier die Eingangsdaten für eine gegebene Situation zu verstehen. Für die Testdaten ist die Grundwahrheit (engl ground truth) bekannt, d.h. es liegen die korrekten Ergebnisse für die jeweiligen Eingangsdaten vor. Zudem sind für die Testdaten die kontextuellen Parameter für die Bewertung der Daten hinsichtlich der Kontextdimensionen bekannt. Durch die kontextuelle Zuordnung wird die resultierende Klassifikation nachvollziehbar, testbar und absicherbar. Der resultierende Klassifikator ist dazu eingerichtet, die Kl-Module auf Grundlage von kontextuellen Parametern von Eingangsdaten in Hinblick auf die zu erwartende funktionale Güte zu klassifizieren.
Gemäß einem Aspekt der Erfindung realisiert das Kl-Modul ein Kl-Modell oder eine Familie von Kl-Modellen im Sinne eines Ensembles. In der Regel ist in einem Kl-Modul ein einzelnes Kl-Modell realisiert, z.B. ein neuronales Netz, das im Rahmen der Testphase klassifiziert wird. Die erfindungsgemäße Lösung kann aber auch genutzt werden, um eine auf Empirie gestützte Gewichtungsfunktion für die gemeinsame Inferenz einer Familie von Kl-Modellen im Sinne eines Ensembles zu ermitteln, d.h. eines Kollektivs von Kl-Modellen, die die gleichen Eingangsdaten verarbeiten.
Gemäß einem Aspekt der Erfindung erfolgt zum Ermitteln der funktionalen Güte für einen Datenpunkt ein Vergleich einer Ausgabe des Kl-Moduls für den Datenpunkt mit der zugehörigen Grundwahrheit. Dazu kann beispielsweise eine loU-Metrik (loU: Intersection over Union; Verhältnis zwischen Schnittmenge und Vereinigungsmenge, auch als Jaccard- Koeffizient bezeichnet) verwendet werden. Durch den Vergleich mit der Grundwahrheit kann die funktionale Güte auf einfache Weise bestimmt werden. Dabei hat sich die Verwendung einer loU-Metrik bewährt, insbesondere bei Kl-Modulen für die Objekterkennung.
Gemäß einem Aspekt der Erfindung wird der Klassifikator durch ein neuronales Netz gebildet. Dies hat den Vorteil, dass der Klassifikator in der Testphase trainiert werden kann, ohne dass eine Relevanz der kontextuellen Parameter im Voraus bekannt sein muss. Der Klassifikator kann aber auch durch andere Funktionen realisiert werden.
Vorzugsweise wird ein Klassifikator für ein Kl-Modul mittels eines erfindungsgemäßen Verfahrens bereitgestellt. Durch die Ausführung eines solchen Klassifikators auf gegebene Eingangsdaten kann eine situationsabhängige Bewertung der für die Verarbeitung der Eingangsdaten zur Verfügung stehenden Kl-Module vorgenommen werden.
Gemäß einem weiteren Aspekt der Erfindung umfasst ein Verfahren zum Konfigurieren eines Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten die Schritte:
- Erfassen von durch die Kl-Module zu verarbeitenden Eingangsdaten;
- Bewerten der Kl-Module auf Grundlage von kontextuellen Parametern; und
- Bestimmen eines für die Eingangsdaten zu nutzenden Kl-Moduls oder einer zu nutzenden Kombination von Kl-Modulen und zugehöriger Gewichte.
Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Konfigurieren eines Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten veranlassen:
- Erfassen von durch die Kl-Module zu verarbeitenden Eingangsdaten;
- Bewerten der Kl-Module auf Grundlage von kontextuellen Parametern; und
- Bestimmen eines für die Eingangsdaten zu nutzenden Kl-Moduls oder einer zu nutzenden Kombination von Kl-Modulen und zugehöriger Gewichte.
Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Steuergeräte und andere prozessorbasierte Datenverarbeitungsvorrichtungen. Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.
Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zum Konfigurieren eines Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten auf:
- ein Datenmodul zum Erfassen von durch die Kl-Module zu verarbeitenden Eingangsdaten;
- einen Klassifikator zum Bewerten der Kl-Module auf Grundlage von kontextuellen Parametern; und
- ein Auswertemodul zum Bestimmen eines für die Eingangsdaten zu nutzenden Kl-Moduls oder einer zu nutzenden Kombination von Kl-Modulen und zugehöriger Gewichte.
Durch die erfindungsgemäße Lösung werden in einer Testphase diejenigen Bedingungen bzw. kontextuellen Parameter ermittelt, die den relevantesten Einfluss auf die funktionalen Eigenschaften der verfügbaren Kl-Module haben, beispielsweise tiefen neuronale Netze für die Verwendung im automatischen Fahren. Der Klassifikator nutzt diese zuvor ermittelten Bedingungen nun, um zur Erhöhung der Effektivität des Gesamtsystems eine besonders effektive Kombination mehrerer Kl-Module für die gegebenen Eingangsdaten zu ermitteln.
Besonders vorteilhaft wird ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung in einem Kraftfahrzeug eingesetzt. Die Verwendung der beschriebenen Lösung ist insbesondere sinnvoll, wenn automatisches Fahren der Autonomiestufen bzw. Level 4 oder 5 realisiert werden soll. Die Kl-Module können in diesem Kontext insbesondere dazu eingerichtet sein, eine Umfelderkennung für eine automatische Fahrfunktion eines Kraftfahrzeugs durchzuführen.
Beispielsweise können die verschiedenen Kl-Module an unterschiedliche Lichtverhältnisse, unterschiedliche Geschwindigkeiten, unterschiedliche Fahrzeugumgebungen, unterschiedliche Fahrsituationen, unterschiedliche Umgebungsbedingungen, unterschiedliche Fahrbedingungen oder unterschiedliche Zielsetzungen angepasst sein.
Die Anpassung an unterschiedliche Lichtverhältnisse ist insbesondere vorteilhaft für die Umfelderkennung für eine automatische Fahrfunktion bei sich ändernden Lichtverhältnissen. Beispielsweise können sich die Lichtverhältnisse aufgrund eines Wechsels des Wetters, des Einfahrens in einen Tunnel oder des Ausfahrens aus einem Tunnel oder eine sehr kurze Dämmerung, wie sie z.B. in Äquatornähe auftritt, ändern. Für die verschiedenen Lichtverhältnisse kann jeweils ein Kl-Modul als Expertensystem bereitgestellt werden.
Die Anpassung an unterschiedliche Geschwindigkeiten ist z.B. nützlich für die 3D- Objekterkennung. Hier kann es sinnvoll sein, Kl-Module als Expertensysteme für verschiedene Geschwindigkeiten des Fahrzeugs bereitzustellen, z.B. für den Fall, dass das Fahrzeug in eine Straße mit einer Geschwindigkeitsbegrenzung einfährt, die deutlich von der Geschwindigkeitsbegrenzung der zuvor befahrenen Straße abweicht.
Bei der Anpassung an unterschiedliche Fahrzeugumgebungen kann z.B. unterschieden werden zwischen urbanen und ländlichen Umgebungen, aber auch, ob sich das Fahrzeug in der Innenstadt oder in der Nähe einer Schule oder eines Krankenhauses befindet.
Bei der Anpassung an unterschiedliche Fahrsituationen können z.B. Kl-Module vorgesehen sein für Fahrten auf der Autobahn, in Parkhäusern, im Stau oder für komplexe Kreuzungen mit einer spezifischen Car2X-lnfrastruktur.
In Hinblick auf die Anpassung an unterschiedliche Umgebungsbedingungen können z.B. Kl- Module vorgesehen sein für spezielle Wetterbedingungen, Lichtverhältnisse,
Verkehrsdichten, Straßentypen, Tageszeiten oder Geographien. In diesem Zusammenhang kann auch die Fußgängerdichte betrachtet werden. So können insbesondere Expertensysteme für Straßen mit einer hohen Fußgängerdichte und Expertensysteme für die Erkennung von Fußgängern in unterschiedlichen Entfernungen vorgesehen sein. Bei einer hohen Fußgängerdichte muss das Expertensystem in der Lage sein, die Absicht von Fußgängern in unmittelbarer Nähe des Fahrzeugs zu erfassen. Bei einer geringen Fußgängerdichte kann in der Regel schneller gefahren werden. Hier ist es wiederum wichtig, weiter entfernte Fußgänger frühzeitig zu erkennen. Die Absicht dieser Fußgänger ist hingegen weniger wichtig.
Das Fahrverhalten der automatischen Fahrfunktion kann durch die Verwendung angepasster Kl-Module für unterschiedliche Fahrbedingungen adaptiert werden, z.B. die Geschwindigkeit, den Fahrzeugtyp, das Vorhandensein eines Anhängers, Parameter der Fahrt oder Vorlieben der Fahrzeuginsassen.
Unterschiedliche Zielsetzungen können aus rechtlichen oder umweltbezogenen Randbedingungen resultieren. So können z.B. Kl-Module für lärmreduziertes oder emissionsarmes Fahren bereitgestellt werden. Andere Kl-Module können an spezielle Verhaltensregeln angepasst sein.
Bei allen diesen Beispielen ist es sinnvoll, auf Grundlage von kontextuellen Parametern die zu nutzenden Kl-Module und die zugehörigen Gewichte für die Verarbeitung der Eingangsdaten zu bestimmen.
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.
Fig. 1 zeigt schematisch ein Verfahren zum Bereitstellen eines Klassifikators für ein Kl- Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten;
Fig. 2 zeigt eine erste Ausführungsform einer Vorrichtung zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten;
Fig. 3 zeigt eine zweite Ausführungsform einer Vorrichtung zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten;
Fig. 4 zeigt schematisch ein Verfahren zum Konfigurieren eines Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten;
Fig. 5 zeigt eine erste Ausführungsform einer Vorrichtung zum Konfigurieren eines
Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten;
Fig. 6 zeigt eine zweite Ausführungsform einer Vorrichtung zum Konfigurieren eines
Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten; Fig. 7 stellt schematisch ein Kraftfahrzeug dar, in dem eine erfindungsgemäße Lösung realisiert ist;
Fig. 8 zeigt schematisch ein Systemdiagramm einer erfindungsgemäßen Lösung zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten; und
Fig. 9 zeigt schematisch ein Systemdiagramm einer erfindungsgemäßen Lösung zum Konfigurieren eines Steuerungssystems mit einer Bibliothek von Kl-Modulen.
Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.
Fig. 1 zeigt schematisch ein Verfahren zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten. In einem ersten Schritt wird ein zu klassifizierendes Kl-Modul ausgewählt 10. Das Kl-Modul realisiert beispielsweise ein Kl-Modell oder eine Familie von Kl-Modellen im Sinne eines Ensembles. Zudem wird ein geeigneter Testdatensatz ausgewählt 11. Das Kl- Modul wird dann auf Datenpunkte des Testdatensatzes angewendet 12. Für die Datenpunkte sind dabei zugehörige Grundwahrheiten und kontextuelle Parameter bekannt. Die kontextuellen Parameter können z.B. Eigenschaften im Kontext der Datenpunkte oder Eigenschaften einer Architektur des Kl-Moduls umfassen. Basierend auf den Ausgaben des Kl-Moduls wird anschließend eine funktionale Güte für jeden der Datenpunkte ermittelt 13. Dazu kann ein Vergleich mit der jeweils zugehörigen Grundwahrheit erfolgen, z.B. unter Verwendung einer loU-Metrik. Schließlich wird ein Klassifikator für das Kl-Modul erstellt 14, der für gegebene kontextuelle Parameter eine funktionale Güte ausgibt. Der Klassifikator kann beispielsweise durch ein neuronales Netz gebildet werden.
Fig. 2 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 20 zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten. Das Kl-Modul realisiert beispielsweise ein Kl-Modell oder eine Familie von Kl-Modellen im Sinne eines Ensembles. Die Vorrichtung 20 hat einen Eingang 21, über den beispielsweise Daten eines Testdatensatzes empfangen werden können. Ein solcher Testdatensatz kann aber auch in einer Datenbank 22 der Vorrichtung 20 vorgehalten werden. Ein Testmodul 23 veranlasst die Anwendung eines ausgewählten Kl-Moduls auf Datenpunkte eines ausgewählten Testdatensatzes. Für die Datenpunkte sind dabei zugehörige Grundwahrheiten und kontextuelle Parameter bekannt. Die kontextuellen Parameter können z.B. Eigenschaften im Kontext der Datenpunkte oder Eigenschaften einer Architektur des Kl-Moduls umfassen. Basierend auf den Ausgaben des Kl-Moduls ermittelt ein Auswertemodul 24 anschließend eine funktionale Güte für jeden der Datenpunkte. Dazu kann das Auswertemodul 24 einen Vergleich mit der jeweils zugehörigen Grundwahrheit vornehmen, z.B. unter Verwendung einer loU-Metrik. Zudem erstellt das Auswertemodul 24 einen Klassifikator K für das Kl- Modul, der für gegebene kontextuelle Parameter eine funktionale Güte ausgibt. Dazu kann das Auswertemodul 24 beispielsweise über einen Ausgang 27 der Vorrichtung 20 auf den Klassifikator K zugreifen. Das Erstellen des Klassifikators K kann alternativ auch von einem weiteren eigenständigen Modul vorgenommen werden. Der Klassifikator K kann beispielsweise durch ein neuronales Netz gebildet werden.
Das Testmodul 23 und das Auswertemodul 24 können von einer Kontrolleinheit 25 gesteuert werden. Über eine Benutzerschnittstelle 28 können gegebenenfalls Einstellungen des Testmoduls 23, des Auswertemoduls 24 oder der Kontrolleinheit 25 geändert werden. Die in der Vorrichtung 20 anfallenden Daten können bei Bedarf in einem Speicher 26 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 20. Das Testmodul 23, das Auswertemodul 24 sowie die Kontrolleinheit 25 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 21 und der Ausgang 27 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein.
Fig. 3 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 30 zum Bereitstellen eines Klassifikators für ein Kl-Modul für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten. Die Vorrichtung 30 weist einen Prozessor 32 und einen Speicher 31 auf. Beispielsweise handelt es sich bei der Vorrichtung 30 um einen Computer oder ein Steuergerät. Im Speicher 31 sind Instruktionen abgelegt, die die Vorrichtung 30 bei Ausführung durch den Prozessor 32 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 31 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 32 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 30 hat einen Eingang 33 zum Empfangen von Informationen, beispielsweise Daten eines Testdatensatzes. Vom Prozessor 32 generierte Daten werden über einen Ausgang 34 bereitgestellt. Darüber hinaus können sie im Speicher 31 abgelegt werden. Der Eingang 33 und der Ausgang 34 können zu einer bidirektionalen Schnittstelle zusammengefasst sein.
Der Prozessor 32 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.
Die Speicher 26, 31 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.
Fig. 4 zeigt schematisch ein Verfahren zum Konfigurieren eines Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten. In einem ersten Schritt werden durch die Kl-Module zu verarbeitende Eingangsdaten erfasst 40. Die Kl-Module werden daraufhin auf Grundlage von kontextuellen Parametern bewertet 41. Dazu kann ein zuvor wie oben beschrieben erstellter Klassifikator verwendet werden, der z.B. durch ein neuronales Netz gebildet werden kann. Die kontextuellen Parameter können z.B. Eigenschaften im Kontext der Eingangsdaten oder Eigenschaften einer Architektur der Kl- Module umfassen. Auf Basis der Bewertung werden schließlich ein für die Eingangsdaten zu nutzendes Kl-Modul oder eine zu nutzende Kombination von Kl-Modulen und zugehörige Gewichte bestimmt 42.
Fig. 5 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 50 zum Konfigurieren eines Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten. Die Vorrichtung 50 hat einen Eingang 51, über den durch die Kl-Module zu verarbeitende Eingangsdaten empfangen werden und von einem Datenmodul 52 erfasst werden können. Ein Klassifikator K, der z.B. durch ein neuronales Netz gebildet werden kann, bewertet die verfügbaren Kl-Module dann auf Grundlage von kontextuellen Parametern. Die kontextuellen Parameter können z.B. Eigenschaften im Kontext der Eingangsdaten oder Eigenschaften einer Architektur der Kl-Module umfassen. Ein Auswertemodul 53 bestimmt schließlich auf Basis der Bewertung ein für die Eingangsdaten zu nutzendes Kl-Modul oder eine zu nutzende Kombination von Kl-Modulen und zugehörige Gewichte. Informationen zu den zu nutzenden Kl-Modulen und zu einer zu verwendenden Gewichtung können über einen Ausgang 56 der Vorrichtung 50 an ein Fusionsmodul 80 ausgegeben werden.
Das Datenmodul 52 und das Auswertemodul 53 können von einer Kontrolleinheit 54 gesteuert werden. Über eine Benutzerschnittstelle 57 können gegebenenfalls Einstellungen des Datenmoduls 52, des Auswertemoduls 53 oder der Kontrolleinheit 54 geändert werden. Die in der Vorrichtung 50 anfallenden Daten können bei Bedarf in einem Speicher 55 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 50. Das Datenmodul 52, das Auswertemodul 53 sowie die Kontrolleinheit 54 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 51 und der Ausgang 56 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein.
Fig. 6 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 60 zum Konfigurieren eines Steuerungssystems eines Kraftfahrzeugs mit einer Bibliothek von Kl-Modulen für eine Verarbeitung von durch eine Sensorik des Kraftfahrzeugs bereitgestellten Eingangsdaten. Die Vorrichtung 60 weist einen Prozessor 62 und einen Speicher 61 auf. Beispielsweise handelt es sich bei der Vorrichtung 60 um einen Computer oder ein Steuergerät. Im Speicher 61 sind Instruktionen abgelegt, die die Vorrichtung 60 bei Ausführung durch den Prozessor 62 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 61 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 62 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 60 hat einen Eingang 63 zum Empfangen von Informationen, beispielsweise von durch die Kl-Module zu verarbeitenden Eingangsdaten. Vom Prozessor 62 generierte Daten werden über einen Ausgang 64 bereitgestellt. Darüber hinaus können sie im Speicher 61 abgelegt werden. Der Eingang 63 und der Ausgang 64 können zu einer bidirektionalen Schnittstelle zusammengefasst sein.
Der Prozessor 62 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus. Die Speicher 55, 61 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.
Fig. 7 stellt schematisch ein Kraftfahrzeug 70 dar, in dem eine erfindungsgemäße Lösung realisiert ist. Das Kraftfahrzeug 70 weist ein Steuerungssystem 71 für den automatisierten oder hochautomatisierten Fährbetrieb auf, das durch eine Vorrichtung 50 konfiguriert wird. In Fig. 7 ist die Vorrichtung 50 eine eigenständige Komponente, sie kann aber auch im Steuerungssystem 71 integriert sein. Zum Auswählen von Kl-Modulen aus einer Bibliothek von Kl-Modulen nutzt die Vorrichtung 50 eine Reihe von Eingangsdaten. Dies können beispielsweise Umgebungsdaten einer im Kraftfahrzeug 70 verbauten Umfeldsensorik 72 oder Betriebsparameter des Kraftfahrzeugs 70 sein, die von Steuergeräten 73 zur Verfügung gestellt werden. Eine weitere Komponente des Kraftfahrzeugs 70 ist eine Datenübertragungseinheit 74, über die u.a. eine Verbindung zu einem Backend aufgebaut werden kann, z.B. um zusätzliche oder veränderte Kl-Module zu beziehen. Zur Speicherung der Bibliothek von Kl-Modulen oder weiterer Daten ist ein Speicher 75 vorhanden. Der Datenaustausch zwischen den verschiedenen Komponenten des Kraftfahrzeugs 70 erfolgt über ein Netzwerk 76.
Nachfolgend soll eine bevorzugte Ausführungsform der Erfindung am Beispiel von Fig. 8 und Fig. 9 erläutert werden.
Markante Eigenschaften im Kontext der zu verarbeitenden Eingangsdaten beeinflussen in besonderem Maße die funktionale Qualität der verarbeitenden Kl-Module. Solche Eigenschaft können sehr vielfältig sein und sind für Menschen nicht zwingend intuitiv, wie etwa die Verteilung spezieller Farbwerte, Kontraste oder spezifische Häufigkeiten. Zusätzlich spielen auch architektonische Eigenschaften der Kl-Module eine Rolle. So haben z.B. spezifische Features in der Zusammensetzung eines neuronalen Netzes Auswirkungen auf dessen Performanz. Liegt beispielsweise zusätzlich zu einem angelernten neuronalen Netz noch eine regelbasierte Wissensbasis für zulässige Straßenbeschilderungen vor, wird das resultierende Kl-Modell eine bessere Performanz bei der Schildererkennung haben als ein vergleichbares Kl-Modell ohne diese Wissensbasis. Zu den Eigenschaften im Kontext der zu verarbeitenden Eingangsdaten gehören alle diejenigen Einflüsse auf die Daten, die das funktionale Verhalten des Kl-Moduls beeinflussen oder zumindest beeinflussen können. Solche können sowohl semantisch sein, wie z.B. Wetter, Verkehr, Umgebung, etc., als auch wie oben beschrieben nicht intuitiv. Fig. 8 zeigt schematisch ein Systemdiagramm einer erfindungsgemäßen Lösung zum Bereitstellen eines Klassifikators K für ein Kl-Modul NN, für eine Verarbeitung von durch eine Sensorik eines Kraftfahrzeugs bereitgestellten Eingangsdaten. Das Klassifizierungssystem verwendet eine Menge Kl-Module NN,, z.B. trainierte neuronale Netze, als Kandidaten für eine spätere Ausführung in einer spezifischen Umgebung. Die Kl-Module NN, sind für die gleiche Aufgabe vorgesehen, z.B. eine Objekterkennung oder eine semantische Segmentierung, unterscheiden sich aber in Hinsicht auf Architektur, Trainingsdaten und T rainingsparameter.
Während einer Testphase werden nun alle gegebenen Kl-Module NN, für Inferenzen für alle Datenpunkte dn aus einem Testdatensatz D genutzt. Der Begriff Inferenz bezeichnet dabei den Prozess der Verwendung des trainierten Modells für Schlussfolgerungen. Durch einen Vergleich der Ausgaben der Kl-Module NN, mit der jeweiligen Grundwahrheit Gn, in diesem Beispiel unter Verwendung einer loU-Metrik, wird die funktionale Güte FGi_n für jeden Datenpunkt dn mit den gegebenen kontextuellen Parametern Pn ermittelt. Mit diesen Informationen kann nun z.B. ein neuronales Netzt trainiert werden, das im Rahmen des Trainings die Relevanz der verschiedenen kontextuellen Parameter Pn sowie die Abhängigkeit der funktionalen Güte FG, der verschiedenen Kl-Module NN, von den kontextuellen Parametern Pn erlernt. Auf diese Weise wird ein Klassifikator K erstellt, der für gegebene kontextuelle Parameter P für alle Kl-Module NN, datenpunktunabhängig eine funktionale Güte FG, bzw. der funktionalen Güte FG, entsprechende Gewichte W, ausgibt. Alternativ kann der Klassifikator K eine auf Empirie gestützte Gewichtungsfunktion für die gemeinsame Inferenz einer Familie von Kl-Modulen NN, im Sinne eines Ensembles ausgeben.
Fig. 9 zeigt schematisch ein Systemdiagramm einer erfindungsgemäßen Lösung zum Konfigurieren eines Steuerungssystems 71 mit einer Bibliothek von Kl-Modulen NN,. Mithilfe eines Klassifikators K werden während des Betriebs des Steuerungssystems 71, beispielsweise in einem Fahrzeug, aus den mittels einer Sensorik 81 gewonnenen Eingangsdaten E die kontextuellen Parameter P extrahiert. Auf Basis dieser kontextuellen Parameter P werden eine optimale Kombination aus Kl-Modulen NN, und zugehörige Gewichte W, ermittelt. Dies geschieht vorzugsweise synchron zur Datenverarbeitung in den Kl-Modulen NN,, da erst für die Fusion der Ausgaben der Kl-Module NN, bekannt sein muss, wie die jeweilige Ausgabe zu bewerten ist. Ein Fusionsmodul 80 kombiniert die Ausgaben der gewählten Kl-Modulen NN, gemäß den vom Klassifikator K bereitgestellten Gewichten W. Die vom Klassifikator K ermittelten kontextuellen Parameter P können zudem an eine Auswahleinheit 82 übergeben werden, die auf Basis der Parameter P einzelne Kl-Module NN, gezielt starten oder stoppen kann.
Bezugszeichenliste
Auswählen eines Kl-Moduls Auswählen eines Testdatensatzes
Anwenden des Kl-Moduls auf Datenpunkte des Testdatensatzes
Ermitteln einer funktionalen Güte für die Datenpunkte
Erstellen eines Klassifikators für das Kl-Modul
Vorrichtung
Eingang
Datenbank
Testmodul
Auswertemodul
Kontrolleinheit
Speicher
Ausgang
Benutzerschnittstelle
Vorrichtung
Speicher
Prozessor
Eingang
Ausgang
Erfassen von durch Kl-Module zu verarbeitenden Eingangsdaten
Bewerten der Kl-Module anhand kontextueller Parameter
Bestimmen zu nutzender Kl-Module und Gewichte
Vorrichtung
Eingang
Datenmodul
Auswertemodul
Kontrolleinheit
Speicher
Ausgang
Benutzerschnittstelle
Vorrichtung
Speicher
Prozessor
Eingang
Ausgang 70 Kraftfahrzeug
71 Steuerungssystem
72 Umfeldsensorik
73 Steuergerät
74 Datenübertragungseinheit
75 Speicher IQ Netzwerk 80 Fusionsmodul 81 Sensorik dn Datenpunkt D Testdatensatz E Eingangsdatum
FGi, FGLn Funktionale Güte
Gn Grundwahrheit
K Klassifikator
NNi Kl-Modul P, Pn Kontextueller Parameter
Wi Gewicht

Claims

Patentansprüche
1. Verfahren zum Bereitstellen eines Klassifikators (K) für ein Kl-Modul (NN,) für eine Verarbeitung von durch eine Sensorik (72, 81) eines Kraftfahrzeugs (70) bereitgestellten Eingangsdaten (E), mit den Schritten:
- Anwenden (12) des Kl-Moduls (NN,) auf zwei oder mehr Datenpunkte (dn) aus einem Testdatensatz (D), wobei für die zwei oder mehr Datenpunkte (dn) zugehörige Grundwahrheiten (Gn) und kontextuelle Parameter (Pn) bekannt sind;
- Ermitteln (13) einer funktionalen Güte (FGi_n) für jeden der zwei oder mehr Datenpunkte (dn); und
- Erstellen (14) eines Klassifikators (K) für das Kl-Modul (NN,), der für gegebene kontextuelle Parameter (P) eine funktionale Güte (FG,) ausgibt.
2. Verfahren gemäß Anspruch 1, wobei das Kl-Modul (NN,) ein Kl-Modell oder eine Familie von Kl-Modellen im Sinne eines Ensembles realisiert.
3. Verfahren gemäß Anspruch 1 oder 2, wobei zum Ermitteln (13) der funktionalen Güte (FGi_n) für einen Datenpunkt (dn) ein Vergleich einer Ausgabe des Kl-Moduls (NN,) für den Datenpunkt (dn) mit der zugehörigen Grundwahrheit (Gn) erfolgt.
4. Verfahren gemäß Anspruch 3, wobei für den Vergleich der Ausgabe des Kl-Moduls (NN,) für den Datenpunkt (dn) mit der zugehörigen Grundwahrheit (Gn) eine loU-Metrik verwendet wird.
5. Verfahren gemäß einem der vorherigen Ansprüche, wobei die kontextuellen Parameter (P, Pn) Eigenschaften im Kontext der Datenpunkte (dn) oder Eigenschaften einer Architektur des Kl-Moduls (NN,) umfassen.
6. Verfahren gemäß einem der vorherigen Ansprüche, wobei der Klassifikator (K) durch ein neuronales Netz gebildet wird.
7. Verfahren gemäß einem der vorherigen Ansprüche, wobei das Kl-Modul (NN,) eingerichtet ist, eine Umfelderkennung für eine automatische Fahrfunktion eines Kraftfahrzeugs (70) durchzuführen.
8. Verfahren gemäß einem der vorherigen Ansprüche, wobei verschiedene Kl-Module (NN,) an unterschiedliche Lichtverhältnisse, unterschiedliche Geschwindigkeiten, unterschiedliche Fahrzeugumgebungen, unterschiedliche Fahrsituationen, unterschiedliche Umgebungsbedingungen, unterschiedliche Fahrbedingungen oder unterschiedliche Zielsetzungen angepasst sind.
9. Computerprogramm mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 8 zum Bereitstellen eines Klassifikators (K) für ein Kl-Modul (NN,) für eine Verarbeitung von durch eine Sensorik (72, 81) eines Kraftfahrzeugs (70) bereitgestellten Eingangsdaten (E) veranlassen.
10. Vorrichtung (20) zum Bereitstellen eines Klassifikators (K) für ein Kl-Modul (NN,) für eine Verarbeitung von durch eine Sensorik (72, 81) eines Kraftfahrzeugs (70) bereitgestellten Eingangsdaten (E), mit:
- einem Testmodul (23) zum Veranlassen eines Anwendens (12) des Kl-Moduls (NN,) auf zwei oder mehr Datenpunkte (dn) aus einem Testdatensatz (D), wobei für die zwei oder mehr Datenpunkte (dn) zugehörige Grundwahrheiten (Gn) und kontextuelle Parameter (Pn) bekannt sind; und
- einem Auswertemodul (24) zum Ermitteln (13) einer funktionalen Güte (FGi_n) für jeden der zwei oder mehr Datenpunkte (dn) und zum Erstellen (14) eines Klassifikators (K) für das Kl-Modul (NN,), der für gegebene kontextuelle Parameter (P) eine funktionale Güte (FG,) ausgibt.
11. Klassifikator (K) für ein Kl-Modul (NN,), wobei der Klassifikator (K) mittels eines Verfahrens gemäß einem der Ansprüche 1 bis 8 bereitgestellt wird.
12. Verfahren zum Konfigurieren eines Steuerungssystems (71) eines Kraftfahrzeugs (70) mit einer Bibliothek von Kl-Modulen (NN,) für eine Verarbeitung von durch eine Sensorik (72, 81) des Kraftfahrzeugs (70) bereitgestellten Eingangsdaten (E), mit den Schritten:
- Erfassen (40) von durch die Kl-Module (NN,) zu verarbeitenden Eingangsdaten (E);
- Bewerten (41) der Kl-Module (NN,) auf Grundlage von kontextuellen Parametern (P); und
- Bestimmen (42) eines für die Eingangsdaten (E) zu nutzenden Kl-Moduls (NN,) oder einer zu nutzenden Kombination von Kl-Modulen (NN,) und zugehöriger Gewichte (W,).
13. Verfahren gemäß Anspruch 12, wobei die Kl-Module (NN,) eingerichtet sind, eine Umfelderkennung für eine automatische Fahrfunktion eines Kraftfahrzeugs (70) durchzuführen.
14. Verfahren gemäß Anspruch 12 oder 13, wobei verschiedene Kl-Module (NN,) an unterschiedliche Lichtverhältnisse, unterschiedliche Geschwindigkeiten, unterschiedliche Fahrzeugumgebungen, unterschiedliche Fahrsituationen, unterschiedliche Umgebungsbedingungen, unterschiedliche Fahrbedingungen oder unterschiedliche Zielsetzungen angepasst sind.
15. Computerprogramm mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte eines Verfahrens gemäß einem der Ansprüche 12 bis 14 zum Konfigurieren eines Steuerungssystems (71) mit einer Bibliothek (B) von Kl-Modulen (NN,) veranlassen.
16. Vorrichtung (50) zum Konfigurieren eines Steuerungssystems (71) eines Kraftfahrzeugs (70) mit einer Bibliothek von Kl-Modulen (NN,) für eine Verarbeitung von durch eine Sensorik (72, 81) des Kraftfahrzeugs (70) bereitgestellten Eingangsdaten (E), mit:
- einem Datenmodul (52) zum Erfassen (40) von durch die Kl-Module (NN,) zu verarbeitenden Eingangsdaten (E);
- einem Klassifikator (K) zum Bewerten (41) der Kl-Module (NN,) auf Grundlage von kontextuellen Parametern (P); und
- einem Auswertemodul (53) zum Bestimmen (42) eines für die Eingangsdaten (E) zu nutzenden Kl-Moduls (NN,) oder einer zu nutzenden Kombination von Kl-Modulen (NN,) und zugehöriger Gewichte (W,).
17. Kraftfahrzeug (70), dadurch gekennzeichnet, dass das Kraftfahrzeug (70) eine Vorrichtung (50) gemäß Anspruch 16 aufweist oder eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 12 bis 14 auszuführen.
EP20764340.4A 2019-08-29 2020-08-26 Klassifizierung von ki-modulen Pending EP4022535A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019213061.5A DE102019213061A1 (de) 2019-08-29 2019-08-29 Klassifizierung von KI-Modulen
PCT/EP2020/073851 WO2021037911A1 (de) 2019-08-29 2020-08-26 Klassifizierung von ki-modulen

Publications (1)

Publication Number Publication Date
EP4022535A1 true EP4022535A1 (de) 2022-07-06

Family

ID=72291020

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20764340.4A Pending EP4022535A1 (de) 2019-08-29 2020-08-26 Klassifizierung von ki-modulen

Country Status (5)

Country Link
US (1) US20220327429A1 (de)
EP (1) EP4022535A1 (de)
CN (1) CN114287006B (de)
DE (1) DE102019213061A1 (de)
WO (1) WO2021037911A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021202526A1 (de) * 2021-03-16 2022-09-22 Psa Automobiles Sa Computerimplementiertes Verfahren zum Durchführen einer automatisierten Fahrfunktion, Computerprogrammprodukt, Steuereinheit sowie Kraftfahrzeug
DE102021204960A1 (de) 2021-05-17 2022-11-17 Robert Bosch Gesellschaft mit beschränkter Haftung Numerisch stabileres Trainingsverfahren für Bildklassifikatoren
CN119557444B (zh) * 2023-08-28 2026-02-27 小米汽车科技有限公司 自动驾驶算法评测报告的生成方法及装置
DE102024133678A1 (de) * 2024-11-18 2026-05-21 Dr. Ing. H.C. F. Porsche Aktiengesellschaft System und Verfahren zur Optimierung eines maschinellen Lernmodells zur Vorhersage von Crashtestergebnissen

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9226076B2 (en) * 2014-04-30 2015-12-29 Apple Inc. Evacuation of liquid from acoustic space
US10343685B2 (en) * 2016-09-28 2019-07-09 Baidu Usa Llc Physical model and machine learning combined method to simulate autonomous vehicle movement
WO2018067667A1 (en) * 2016-10-06 2018-04-12 The Dun & Bradstreet Corporation Machine learning classifier and prediction engine for artificial intelligence optimized prospect determination on win/loss classification
DE102017107837A1 (de) * 2017-04-11 2018-10-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Anpassen einer Sensoranordnung durch ein Rechnernetzwerk
DE102017006599A1 (de) * 2017-07-12 2018-03-01 Daimler Ag Verfahren zum Betrieb eines Fahrzeugs
EP3435295A1 (de) * 2017-07-26 2019-01-30 Siemens Aktiengesellschaft Vorverarbeitung für einen klassifikationsalgorithmus
US10586132B2 (en) * 2018-01-08 2020-03-10 Visteon Global Technologies, Inc. Map and environment based activation of neural networks for highly automated driving
US11263549B2 (en) * 2018-03-22 2022-03-01 Here Global B.V. Method, apparatus, and system for in-vehicle data selection for feature detection model creation and maintenance
US10643130B2 (en) * 2018-03-23 2020-05-05 The Governing Council Of The University Of Toronto Systems and methods for polygon object annotation and a method of training and object annotation system
US20200410288A1 (en) * 2019-06-26 2020-12-31 Here Global B.V. Managed edge learning in heterogeneous environments

Also Published As

Publication number Publication date
DE102019213061A1 (de) 2021-03-04
CN114287006B (zh) 2025-10-17
CN114287006A (zh) 2022-04-05
US20220327429A1 (en) 2022-10-13
WO2021037911A1 (de) 2021-03-04

Similar Documents

Publication Publication Date Title
DE102022112059B3 (de) Verfahren, System und Computerprogrammprodukt zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS)
DE102016000493B4 (de) Verfahren zum Betrieb eines Fahrzeugsystems und Kraftfahrzeug
WO2021037911A1 (de) Klassifizierung von ki-modulen
DE102022112060B3 (de) Szenariendatenbank für ein Verfahren und ein System zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS)
DE102022132917A1 (de) Verfahren und System zur Bestimmung der Kritikalität und Kontrollierbarkeit von Szenarien für automatisierte Fahrfunktionen
EP3723062A1 (de) Verfahren und vorrichtung zur computer-implementierten verkehrsleitung von kraftfahrzeugen in einem vorbestimmten gebiet
DE102022132922A1 (de) Verfahren und System zur virtuellen Verifikation von automatisierten Fahrfunktionen
DE102019214558A1 (de) Projektionsinformations-erkennungsvorrichtung auf basis eines künstlichen neuronalen netzwerks und verfahren derselben
DE102021004426A1 (de) Verfahren zum Trainieren einer autonomen Fahrfunktion
DE102022127857A1 (de) Verfahren, System und Computerprogrammprodukt zur Sensitivitätsanalyse von Applikationsparametern für automatisierte Fahrfunktionen
DE102024100521A1 (de) Bildgestützte generierung von beschreibenden und wahrnehmungs-nachrichten von automobilszenen
DE102018205248B4 (de) Fusionssystem zur Fusion von Umfeldinformation für ein Kraftfahrzeug
DE102022116564A1 (de) Verfahren, System und Computerprogrammprodukt zur Bewertung von Testfällen zum Testen und Trainieren eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS)
DE102023124870B4 (de) Verfahren und System zur erweiterten automatisierten Kalibrierung von Funktionen eines Fahrerassistenzsystems
DE102021207456A1 (de) Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs
DE102024200317A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Vorhersagen von Müdigkeit eines Fahrers eines Fahrzeugs
DE102015012648A1 (de) Verfahren zum Betrieb wenigstens eines Fahrzeugsystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102019207575A1 (de) Verfahren zum Beurteilen einer funktionsspezifischen Robustheit eines Neuronalen Netzes
DE102019218127B4 (de) Verfahren und Vorrichtung zum optimalen Bereitstellen von KI-Systemen
DE102019128223B4 (de) Verfahren, Vorrichtungen und Computerprogramme
DE102022213244A1 (de) Fahrzeugsystem zur Erhöhung der Sicherheit eines Fahrzeugs, Verfahren und Verwendung
DE102022204770A1 (de) Verfahren zum Steuern einer Robotervorrichtung
DE112021000387T5 (de) Steuereinrichtung und -verfahren
DE102023124861B4 (de) Verfahren und System zur automatisierten Kalibrierung von Funktionen eines Fahrerassistenzsystems
DE102023124866B4 (de) Verfahren und System zur Verbesserung der automatisierten Kalibrierung von Funktionen eines Fahrerassistenzsystems

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220329

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250730