EP4179470A1 - Verfahren und vorrichtung zum bereitstellen einer datenbasis zur robustheitsbeurteilung mindestens eines ki-basierten informationsverarbeitungssystems - Google Patents

Verfahren und vorrichtung zum bereitstellen einer datenbasis zur robustheitsbeurteilung mindestens eines ki-basierten informationsverarbeitungssystems

Info

Publication number
EP4179470A1
EP4179470A1 EP21743443.0A EP21743443A EP4179470A1 EP 4179470 A1 EP4179470 A1 EP 4179470A1 EP 21743443 A EP21743443 A EP 21743443A EP 4179470 A1 EP4179470 A1 EP 4179470A1
Authority
EP
European Patent Office
Prior art keywords
data
information processing
processing system
based information
data structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21743443.0A
Other languages
English (en)
French (fr)
Inventor
Fabian HÜGER
Peter Schlicht
Nico Schmidt
Florens GRESSNER
Wiebke Günther
Felix ASSION
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dspace Se & Co Kg
Volkswagen AG
Original Assignee
Volkswagen AG
Neurocat GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG, Neurocat GmbH filed Critical Volkswagen AG
Publication of EP4179470A1 publication Critical patent/EP4179470A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Definitions

  • the invention relates to a method and a device for providing a database for evaluating the robustness of at least one AI-based information processing system.
  • Machine learning for example based on neural networks, has great potential for use in modern driver assistance systems and automated vehicles.
  • Functions based on deep neural networks process sensor data (e.g. from cameras, radar or lidar sensors) in order to derive relevant information from it.
  • sensor data e.g. from cameras, radar or lidar sensors
  • This information includes, for example, a type and a position of objects in the area surrounding the motor vehicle, a behavior of the objects, or a roadway geometry or topology.
  • An essential feature in the development of AI-based information processing systems lies in the purely data-driven parameter fitting without expert intervention.
  • a deviation of an output (for a given parameterization) of the neural network from a ground truth is determined (the so-called loess).
  • the loss function used here is selected in such a way that the parameters of the neural network depend on it in a differentiable manner.
  • the parameters of the neural network are adjusted in each training step depending on the derivation of the deviation (determined on several examples). These training steps are repeated very often until the loess no longer decreases.
  • an AI-based information processing system in particular a neural network
  • the parameters of an AI-based information processing system are determined without an expert assessment or semantically motivated modeling. This can have significant consequences for the properties of the AI-based information processing system, in particular the neural network.
  • deep neural networks are largely non-transparent for humans and their calculations are difficult to interpret. This poses a massive limitation to systematic testing or formal verification.
  • neural networks in particular are susceptible to harmful interference, so-called adversarial perturbations: small manipulations of the input data that are hardly perceptible to humans or do not change a semantic content can lead to completely different output data.
  • disruptive influences can be both intentional changes to the data ("neural hacking") and random image changes (sensor noise, weather influences, certain colors or contrasts).
  • neural networks trained in simulation or on otherwise synthetic data have an astonishingly poor performance on real sensor data.
  • Executing neural networks in a different data domain training in summer, execution in winter, etc.
  • One of the consequences of this is that the possibility of developing and releasing neural networks in simulation (elimination of expensive labeling and complex real tests), which sounds very attractive from the cost point of view, does not seem realistic.
  • the second point in particular is of great importance for possible limitations of potent neural networks in the area of functional safety.
  • it is essential to measure an assessment of the robustness of the network design against minor changes (augmentations) of the input data. Since such changes can be manifold (sensor noise, weather influences, image manipulations, semantically meaningless content changes, e.g. the wall color of background buildings), there is no clear and accepted measure of robustness. Rather, many robustness values against disturbances (i.e. augmentations) of various types and intensities must be measured.
  • the robustness of neural networks is not an absolute value, but rather dependent on current input data.
  • the invention is therefore based on the object of providing a method and a device for providing a database for the robustness assessment of at least one AI-based information processing system.
  • a method for providing a database for the robustness assessment of at least one AI-based information processing system having a function for automated driving of a motor vehicle and/or for driver assistance of the motor vehicle and/or for environment detection and/or or environmental perception or for another application, with at least one Kl-based information processing system, at least one data set, at least one data augmentation definition and at least one difference measure definition being received as input parameters, with a multidimensional data structure being generated based on the input parameters, with the dimensions and value ranges of Dimensions of the multidimensional data structure are defined by the received input parameters, and each data point of the multidimensional data structure has a middle ls of the at least one defined difference measure, which is determined by forming the at least one defined difference measure between output data, which is formed by the at least one KI-based information processing system for data of the at least one data set and for the same by means of the at least one defined data augmentation augmented data were generated, and wherein the generated multidimensional data structure is provided, so
  • a device for providing a database for the robustness assessment of at least one AI-based information processing system comprising a data processing device, the data processing device being set up for this purpose is to receive at least one Kl-based information processing system, at least one data set, at least one data augmentation definition and at least one differential dimension definition as input parameters, and to generate a multidimensional data structure based on the input parameters, with the dimensions and value ranges of the dimensions of the multidimensional data structure being determined by the received input parameters are defined, and wherein each data point of the multidimensional data structure has a difference determined by means of the at least one defined difference measure zwert, which is determined by forming the at least one defined difference measure between output data that was generated by inference from the AI-based information processing system for data in the at least one data set and for the same data augmented by means
  • the method and the device make it possible to provide a database for the robustness assessment of at least one AI-based information processing system.
  • a multidimensional data structure is generated in which differential values are stored as data points.
  • the dimensions of the multidimensional data structure include at least the following dimensions: AI-based information processing system, data set, data augmentation and difference measure. Therefore, at least one AI-based information processing system, at least one data set, at least one data augmentation definition and at least one difference measure definition are received for generating the multidimensional data structure. For each combination of these dimensions, i.e. for each possible characteristic within the dimensions, a difference value is calculated using the respective difference measure and stored for the associated data point.
  • the difference value defined via the respective difference measure definition is determined from the output data that is generated by the at least one CI-based information processing system for (non-augmented) data of the data set and for augmented data.
  • the augmented data is defined using the for the data point via the data augmentation definition data augmentation generated.
  • there is a combination of at least the dimensions Kl-based information processing system, data set, data augmentation definition and difference measure definition i.e. for each data point there is a Kl-based information processing system, a data set, a data augmentation (or a data augmentation method ) and a difference measure is defined.
  • data of the data set are augmented for the data point by means of data augmentation (e.g. disturbed) and a difference value between the non-augmented data and the augmented data of the data set is determined using the difference measure by applying the AI-based information processing system to the data.
  • the determined difference value is stored in the data point. This procedure is carried out for all data points until a difference value has been determined and stored for each of the data points within the multidimensional data structure.
  • the difference values can later be retrieved from the data structure at any time in a targeted manner, i.e.
  • One advantage of the method and the device is that the robustness of a AI-based information processing system can be measured and evaluated even without the AI-based information processing system, i.e. without a model description (structure,
  • the method allows a KI-based information processing system to be certified without the KI-based information processing system itself having to be part of the certification method.
  • the method and the device allow meaningful robustness metrics to be flexibly generated based on the multidimensional data structure.
  • the method and the device can provide a metric generator for assessing a robustness of the AI-based information processing system.
  • a Kl-based information processing system to provide a function for automated driving of a motor vehicle and/or for driver assistance of the motor vehicle and/or for detecting and/or perceiving the surroundings.
  • Information processing system for example a trained neural network, is loaded into the memory of at least one control unit and is executed or used there in order to evaluate and process sensor data recorded in particular by means of a sensor system and, for example, to generate and provide control signals, for example for an actuator system.
  • the generated at least one multidimensional data structure can also be stored or have been stored in the memory of the at least one control unit. As a result, robustness can be checked and/or verified at any time.
  • the method and the device are used in other applications.
  • This can be, for example, automated fleet control, interior surveillance, driver monitoring, production control, video surveillance, robotic applications, automated flying, automated rail vehicles or space travel applications.
  • provision is made for a AI-based information processing system to be loaded into the memory of at least one control device, with the at least one control device being used to execute the AI-based information processing system, for example for evaluating recorded sensor data and for generating and providing control signals, for example for a production process and/or for at least one actuator.
  • the generated at least one multidimensional data structure can also be stored or stored in the memory of the control device.
  • An AI-based information processing system is in particular an information processing system that is based on a method of artificial intelligence (AI).
  • AI artificial intelligence
  • the AI-based information processing system can be designed as a deep neural network.
  • the method described in this disclosure can also be used in other AI-based information processing systems be used, for example in rule-based information processing systems.
  • Receiving the at least one AI-based information processing system should mean in particular that a link or a reference is received that uniquely identifies the at least one AI-based information processing system (eg a name, a version number, etc.).
  • receiving the AI-based information processing system can also include receiving a structural description and/or parameters of the at least one AI-based information processing system, so that the at least one AI-based information processing system is then executed directly or used as part of the method can.
  • the at least one AI-based information processing system is in particular trained and/or finally parameterized.
  • the AI-based information processing system can be a trained neural network.
  • the at least one AI-based information processing system is then executed on the data and the augmented data, in particular by means of the data processing device, and delivers results in each case.
  • a trained neural network includes, in particular, a structural description and parameters (e.g. filter parameters, weightings, activation functions, etc.) of the neural network.
  • a structural description and parameters e.g. filter parameters, weightings, activation functions, etc.
  • the trained neural network is then executed on the data and the augmented data using the data processing device.
  • a data set comprises in particular data, in particular (acquired) sensor data.
  • the data can be one-dimensional or multi-dimensional, in particular two-dimensional.
  • the data can be images from a camera or a lidar sensor. In principle, however, any sensor data can be used.
  • a data augmentation definition defines in particular a data augmentation or a data augmentation method.
  • the data augmentation definition specifies how data in the dataset is to be modified.
  • a large number of changes can be provided here. Examples include: adding noise, adding one or more adversarial disorders, changing a contrast, changing a brightness, Changing colors, changing a weather condition (e.g. adding snow or rain to a camera image captured in summer).
  • a data augmentation or a data augmentation method is configured or defined in particular as a function of physical sensor properties (faults, etc.) and/or possible physical and/or technical faults in the sensor system and/or possible adversarial faults.
  • a difference measure definition defines in particular a difference measure.
  • the difference measure specifies in particular how output data from the at least one KI-based information processing system, which was generated for (non-augmented) data in the dataset, with output data from the at least one KI-based
  • a difference measure can include the comparison of the vectors, for example by determining a difference between the vectors.
  • a simple example of a further difference measure is the following: If the AI-based information processing system outputs, for example, as output data how many pedestrians are present in a captured camera image, the number output for the data and the augmented data can be compared with one another (e.g 3 pedestrians versus 5 pedestrians, so the difference value is equal to 2 pedestrians).
  • a difference measure can also refer to chronologically sequential, ie temporally adjacent, data.
  • a database for robustness assessments when processing video sequences can be generated and made available by an AI-based information processing system. For example, as part of the robustness assessment, it can be checked whether or not a pedestrian in a video sequence is reliably recognized as a pedestrian by the AI-based information processing system over a number of individual video frames.
  • artefacts are also stored in the multidimensional data structure as metadata and/or headers.
  • artifacts include, for example: references to software code used, references to the at least one Kl-based information processing system (e.g. to a trained neural network) and hyperparameters used for training, references to one or more data sets used (possibly incl descriptive data) and/or initial values used for random generators used (“Random Seeds”).
  • the artifacts include neither the at least one data set used nor the AI-based information processing system. In particular, therefore, no data record and no AI-based information processing system are stored in the multidimensional data structure.
  • Parts of the data processing device can be designed individually or combined as a combination of hardware and software, for example as program code that is executed on a microcontroller or microprocessor.
  • the difference values of the individual data points are evaluated and a robustness is determined.
  • the difference values can be compared with at least one robustness requirement.
  • a robustness requirement can be, for example, a threshold value that is predetermined as a function of the respective augmentation method and that, for example, must not be exceeded by (averaged) difference values.
  • a report for assessing the robustness of the AI-based information processing system for example a trained neural network
  • a metric generator for assessing the robustness of the AI-based information processing system, for example the trained neural network can be provided using the method and the device.
  • the at least one AI-based information processing system is discarded based on the evaluation, the method is repeated with changed input parameters, or the AI-based one is repeated
  • the information processing system is certified as robust. Furthermore, it can also be provided that the output data of an AI-based information processing system certified as robust, for example a trained neural network, is likewise certified and/or marked as robust. Provision can be made here for the AI-based information processing system, for example the trained neural network, to be loaded into a memory of at least one control unit after certification. There, the at least one AI-based information processing system, for example the trained neural network, can then be used to process sensor data, for example when detecting the surroundings in a motor vehicle.
  • the at least one AI-based information processing system is a neural network and/or comprises at least one neural network.
  • the neural network can in particular be a deep neural network, for example a convolutional network.
  • a neural network includes in particular a structural description and parameters (e.g. filter parameters, weightings, activation functions, etc.) of the neural network.
  • the neural network is in particular a trained neural network.
  • the provision includes providing an interface for the targeted retrieval of data points of the multidimensional data structure.
  • an interface for the targeted retrieval of data points of the multidimensional data structure.
  • an interface enables individual data points or areas or sets of data points to be retrieved or queried as a function of combinations of at least one AI-based information processing system, for example a trained neural network, a data set, a data augmentation definition and a difference measure definition.
  • robustness in particular robustness values
  • the interface can also be a remote interface, for example provided by a central server on which multidimensional data structures are stored and from which data points can be retrieved via the remote interface.
  • Possible queries with specification of the corresponding parameters can be, for example, the following:
  • the provision includes transmitting the multidimensional data structure to a certification service provider and/or a user of the AI-based information processing system and/or loading the multidimensional data structure into a memory of at least one control unit.
  • robustness can also be determined afterwards, i.e. after delivery and use or during the entire service life of the at least one AI-based information processing system in the field, for example by means of new or changed robustness measures, without the Difference values must be determined.
  • the control unit checks whether an associated multidimensional data structure is stored in the memory or not, with the AI-based information processing system only being able to be operated or used if such a multidimensional data structure is stored.
  • the robustness of the AI-based information processing system can also be checked using the control unit, in particular as a function of the difference values stored in the multidimensional data structure.
  • multidimensional data structures can be stored in a central archive, for example in a memory on a central server, in order to be able to check and/or check the robustness of AI-based information processing systems used in the field at any time.
  • a set of sub-parameters for the at least one data augmentation definition is additionally received as an input parameter, with the multidimensional data structure being generated and/or the data being augmented taking into account the received set of sub-parameters.
  • the data augmentation or the data augmentation method or methods can be further specified or parameterized.
  • a range of brightness values can be specified, for example, within which the camera images are to be augmented, ie their brightness should be varied.
  • the multidimensional data structure expands accordingly.
  • a brightness variation with three sub-parameters e.g. -20%, 0 and +20%)
  • noise parameters e.g. target value for a signal-to-noise ratio, etc.
  • a set of filter criteria for individual input parameters is additionally received as an input parameter, with the multidimensional data structure being generated taking into account the received set of filter criteria.
  • filter criteria can be tags on the data that allow binning and/or resolving a certain robustness on the criteria.
  • these can be context values (e.g. for the contexts city, country, corner case, holiday, big event nearby, weather, etc. or data properties (e.g. pollution, motion blur, blinding... ).
  • One embodiment provides that a selection of statistical distribution functions for parameter distributions for the at least one data augmentation definition is additionally received as an input parameter, the multidimensional data structure being generated taking into account the selection of statistical distribution functions for parameter distributions.
  • This allows statistical distributions to be taken into account when augmenting (eg disruption) the data in the dataset.
  • a selection of distributions for combinations of parameters of data augmentation definitions and data of the data set is additionally received as an input parameter, the multidimensional data structure being generated taking into account the received set of distributions for the combinations of the parameters.
  • This allows distributions for the combinations to be taken into account.
  • a distribution can, for example, be an 'exposure' to the individual input data streams or tags, which allows aggregating "against" the distribution (ie it is summed up over (the individual data)x(exposure)). In this way, a "realistically expected robustness risk" can be calculated.
  • One embodiment provides that a selection for a relevance of individual data points is received as an input parameter, with the multidimensional data structure being generated taking into account the received relevance.
  • particularly relevant data points that is to say particularly relevant combinations of the input parameters, can be identified so that data points and difference values are generated or determined for these combinations. This is particularly advantageous if a robustness check for specific combinations of the input parameters is required by law, for example, or has proven itself in the robustness assessment.
  • the results obtained from the at least one AI-based information processing system are additionally stored in the multidimensional data structure for each data point.
  • the results generated for the data and the augmented data can still be used later.
  • the multidimensional data structure is expanded to include further data augmentations, results for the non-augmented data do not have to be generated again, instead the results already stored in the multidimensional data structure can be accessed directly. In this way, computing power and computing time can be saved.
  • One embodiment provides for the multidimensional data structure to be expanded after it has been provided by inserting at least one additional dimension and/or by expanding a value range of at least one dimension, with the expanded multidimensional data structure being provided.
  • additional or new data augmentation methods, additional or new data sets and/or additional or new difference measures can also be taken into account subsequently.
  • they can already existing data points can be reused and do not have to be recalculated, since an extension of the multidimensional data structure is easily possible.
  • control unit comprising a memory, a multidimensional data structure being stored in the memory, which is suitable as a database for a robustness assessment for at least one AI-based
  • the multidimensional data structure was created in particular by means of the method described in this disclosure or by means of the device described in this disclosure.
  • control unit A use of the control unit described above for evaluating and certifying at least one AI-based information processing system is then proposed.
  • the multidimensional data structure can be provided in a manner that is technically easy to implement.
  • the control unit also provides the AI-based information processing system. If both are provided by the control unit, the robustness of the AI-based information processing system can be checked and/or verified at any time, in particular after delivery of the control unit to a certifier and/or an end customer.
  • a computer program comprising instructions which, when the computer program is executed by a computer, cause it to carry out the method steps of the method according to any of the described embodiments.
  • a data carrier signal is also created that transmits such a computer program.
  • Fig. 1 is a schematic representation of an embodiment of the device for
  • Fig. 2 is a schematic flowchart to illustrate an embodiment of the
  • the device 1 shows a schematic representation of an embodiment of the device 1 for providing a database for the robustness assessment of at least one AI-based information processing system 10, which is embodied as a trained neural network, for example.
  • the device 1 can also be used for other AI-based information processing systems 10 .
  • the device 1 comprises a data processing device 2.
  • Data processing device 2 includes a computing device 3 and a memory 4.
  • the device 1 is set up in particular to carry out the method described in this disclosure.
  • At least one data processing system 10 i.e. at least one neural network in the example
  • at least one data set 11, at least one data augmentation definition 12 and at least one difference measure definition 13 are supplied to the data processing device 2 as input parameters 9, these are received by the data processing device 2.
  • a AI-based information processing system 10 includes in particular a structural description and parameters (e.g. weightings, activation functions, filter parameters, etc.) of the AI-based information processing system 10.
  • the data set 11 includes data, for example two-dimensional camera images and/or other one- or multi-dimensional sensor data from at least one Sensor (camera, lidar, radar, ultrasound, etc.).
  • the at least one data augmentation definition 12 includes in particular a description of at least one data augmentation method, ie a description of how data is to be augmented (eg disturbed) within the framework of the method described in this disclosure.
  • the at least one difference measure definition includes in particular a description of at least one difference measure, i.e. a description of how the non-augmented data is to be compared with the augmented data within the scope of the method described in this disclosure or how a difference value 22 is to be determined .
  • a multidimensional data structure 20 is generated by the data processing device 2, in particular by the computing device 3, and stored in the memory 4, which is shown schematically as a cube in FIG.
  • the dimensions and value ranges of the dimensions of the multidimensional data structure 20 are or are defined by the received input parameters 10, 11, 12, 13 (in the example described, the multidimensional data structure 20 includes four dimensions in particular).
  • a data point 21 is generated or determined for each combination of the input parameters 10, 11, 12, 13.
  • Each data point 21 of the multidimensional data structure 20 comprises a difference value 22 determined by means of the difference measure defined by the at least one difference measure definition 13.
  • the difference value 22 is determined by means of the data processing device 2, in particular by means of the computing device 3, in that the at least one defined difference measure between output data is formed is generated by the at least one AI-based information processing system 10 for data of the at least one data set 11 and for the same data augmented by means of the data augmentation defined by the at least one data augmentation definition 12 .
  • the data processing device 2, in particular the computing device 3 executes the AI-based information processing system 10 on the data and on the augmented data.
  • a difference measure can be a difference between the supplied numbers, for example. If vectors are output, differences between the vectors can be formed, for example using a scalar product.
  • the generated multidimensional data structure 20 is provided.
  • the multidimensional data structure 20 is output.
  • a robustness of at least one Kl-based Information processing system 10 can be assessed based on the difference values 22 comprised by the multidimensional data structure 20 .
  • difference values 22 can be determined for different data sets, different data augmentation methods and different difference measures. It is also possible to compare different AI-based information processing systems 10 (e.g. different trained neural networks) with one another. Every possible combination of the input parameters 9 corresponds to a data point 21 for which a difference value 22 is determined.
  • the device 1 and the method therefore allow the provision of an extensive and flexibly expandable database for the robustness assessment of at least one AI-based information processing system 10.
  • the difference values 22 of the individual data points 21 are evaluated and a robustness is determined from this.
  • the difference values 22 can be compared with at least one robustness requirement.
  • a robustness requirement can be, for example, a threshold value that is predefined as a function of the respective data augmentation method and that, for example, must not be exceeded by (averaged) difference values 22 .
  • the at least one AI-based information processing system 10 is discarded based on the evaluation, the method is repeated with changed input parameters 10, 11, 12, 13, or the AI-based information processing system 10 is certified as robust.
  • the providing includes providing an interface 5 for the targeted retrieval of data points 21 of the multidimensional data structure 20 .
  • the interface 5 can be in the form of hardware and/or software.
  • providing a transmission of the multidimensional data structure 20 to a certification service provider and / or a user of the class based information processing system 10 and / or loading the multidimensional data structure 20 in a memory of at least one control unit 30 comprises.
  • the sub-parameters 14 include, for example, value ranges as input parameters 9 for a data augmentation function.
  • a set of filter criteria 15 for individual ones of the input parameters 9 is additionally received as the input parameter 9 , the multidimensional data structure 20 being generated taking into account the received set of filter criteria 15 .
  • a selection of statistical distribution functions 16 for parameter distributions for the at least one data augmentation definition 12 is additionally received as an input parameter 9, with the multidimensional data structure 20 being generated taking into account the selection of statistical distribution functions 16 for parameter distributions.
  • a selection of distributions 17 for combinations of parameters of data augmentation definitions 12 and data of the data set 11 is additionally received as an input parameter 9, with the generation of the multidimensional data structure 20 taking into account the received quantity of distributions 17 for the combinations of the parameters he follows.
  • the results 23 generated by the at least one AI-based information processing system 10 are additionally stored in the multidimensional data structure 20 for each data point 21 . Provision can be made for the multidimensional data structure 20 to be expanded after it has been provided by inserting at least one additional dimension and/or by expanding a value range of at least one dimension, with the expanded multidimensional data structure 20+ being provided.
  • FIG. 2 shows a schematic flowchart to illustrate an embodiment of the method for providing a database for robustness assessment of at least one AI-based information processing system 10 . Provision is made for the at least one AI-based information processing system 10 to provide a function for automated driving of a motor vehicle and/or for driver assistance of the motor vehicle and/or for surroundings detection and/or surroundings perception or another application.
  • Information processing system 10 e.g. a trained neural network
  • at least one data record 11, at least one data augmentation definition 12 and at least one difference measure definition 13 are specified.
  • at least one AI-based information processing system 10 data 11a from at least one data set 11, at least one data augmentation method 12a and at least one differential measure 13a are specified.
  • the data 11a is augmented by means of the at least one data augmentation method 12a, e.g. the data 11a is disturbed by adding noise or at least one adversarial disturbance. Provision can be made here for parameters for the data augmentation to be selected at random in a preceding method step 90 .
  • a method step 101 the at least one AI-based information processing system 10 is applied to the non-augmented data 11a and the respectively associated augmented data.
  • the results obtained in each case are compared with one another by date in a method step 102 and a differential value is determined for each date by means of the at least one differential measure 13a.
  • a differential value is determined for each date by means of the at least one differential measure 13a.
  • a multidimensional data structure 20 is generated from the difference values, the Difference values are assigned to individual data points, each of which is assigned to a possible combination of the input parameters 9 .
  • the multidimensional data structure 20 generated in this way is provided, for example in the form of an interface 5, by means of which the difference values for any combination of the input parameters 9 can be queried or retrieved, so that the at least one Kl-based information processing system 10 is robust based on the difference values comprised by the multidimensional data structure 20 can be assessed.
  • a method step 200 difference values are retrieved according to various filter criteria, with the filter criteria resulting from a predetermined degree of robustness.
  • the aggregation takes place here, for example, across one or more dimension axis(s) of the multidimensional data structure 20, e.g. across a complete data set 11 and/or across all data augmentation methods 12a and/or all difference measures 13a.
  • maximum values and/or unweighted or weighted average values can be formed and provided.
  • a method step 202 the key figures and/or aggregated values generated in this way can be visualized, for example by displaying the results as a graph 41, forming histograms 43, displaying the scalar values 44,
  • Heatmaps 45 are generated and/or a cake graphic 46 is displayed. This allows a robustness 25 of the at least one Kl-based
  • a report 42 can be created and output, which contains the results of a robustness assessment and/or certification.
  • a query can include the following parameters in particular: desired filter criteria 50, desired axis or dimension selection 51, desired aggregation method(s) 52, desired visualization method 53.
  • a metric generator 300 can be created with which AI-based information processing systems 10 (e.g. trained neural networks) can be evaluated and certified in terms of robustness 25 in a comparable and repeatable manner.
  • AI-based information processing systems 10 e.g. trained neural networks
  • the provision of the multidimensional data structure 20 makes it possible in particular to be able to assess the robustness 25 of a AI-based information processing system 10 even without the data 11a and without the AI-based information processing system 10 itself. This is particularly useful for sensitive data.
  • Histogram scalar value Heatmap cake graphic Desired filter criterion Desired axis or dimension selection Desired aggregation method Desired visualization method Process step -102 Process steps -202 Process steps Metric generator

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems (10), wobei als Eingangsparameter (9) mindestens ein Kl-basiertes Informationsverarbeitungssystem (10), mindestens ein Datensatz (11), mindestens eine Datenaugmentierungsdefinition (12) und mindestens eine Differenzmaßdefinition (13) empfangen werden, wobei eine multidimensionale Datenstruktur (20) erzeugt wird, und wobei jeder Datenpunkt (21) der multidimensionalen Datenstruktur (20) einen mittels des mindestens einen definierten Differenzmaßes (13a) bestimmten Differenzwert (22) umfasst, der bestimmt wird, indem das mindestens eine definierte Differenzmaß (13a) zwischen Ausgangsdaten gebildet wird, die von dem mindestens einen Kl-basierten Informationsverarbeitungssystem (10) jeweils für Daten (11a) und für augmentierte Daten erzeugt wurden, und wobei die erzeugte multidimensionale Datenstruktur (20) bereitgestellt wird, sodass eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems (10) basierend auf den von der multidimensionalen Datenstruktur (20) umfassten Differenzwerten (22) beurteilt werden kann. Ferner betrifft die Erfindung eine Vorrichtung (1).

Description

Beschreibung
Verfahren und Vorrichtung zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems.
Maschinelles Lernen, beispielsweise auf Grundlage von Neuronalen Netzen, hat großes Potenzial für eine Anwendung in modernen Fahrerassistenzsystemen und automatisiert fahrenden Fahrzeugen. Auf tiefen Neuronalen Netzen basierende Funktionen verarbeiten hierbei Sensordaten (zum Beispiel von Kameras, Radar- oder Lidarsensoren), um hieraus relevante Informationen abzuleiten. Diese Informationen umfassen zum Beispiel eine Art und eine Position von Objekten in einem Umfeld des Kraftfahrzeugs, ein Verhalten der Objekte oder eine Fahrbahngeometrie oder -topologie.
Ein wesentliches Merkmal bei der Entwicklung von Kl-basierten Informationsverarbeitungssystemen (dem Training) liegt im rein datengetriebenen Parameterfitting ohne Experteneingriff. Beispielsweise bei tiefen Neuronalen Netzen wird hierbei eine Abweichung einer Ausgabe (für eine gegebene Parametrierung) des Neuronalen Netzes von einer Grundwahrheit (engl ground truth) bestimmt (der sogenannte Löss). Die hierbei verwendete Lossfunktion wird in einer Weise gewählt, dass die Parameter des Neuronalen Netzes differenzierbar von dieser abhängen. Im Rahmen des Gradientenabstiegsverfahrens werden in jedem Trainingsschritt die Parameter des Neuronalen Netzes in Abhängigkeit der Ableitung der (auf mehreren Beispielen ermittelten) Abweichung angepasst. Diese Trainingsschritte werden sehr oft wiederholt, bis sich der Löss nicht mehr verringert.
Bei diesem Vorgehen werden die Parameter eines Kl-basierten Informationsverarbeitungssystems, insbesondere eines Neuronalen Netzes, ohne eine Experteneinschätzung oder eine semantisch motivierte Modellierung ermittelt. Dies kann wesentliche Folgen für die Eigenschaften des Kl-basierten Informationsverarbeitungssystems, insbesondere des Neuronalen Netzes, nach sich ziehen. Insbesondere sind tiefe Neuronale Netze für den Menschen weitgehend intransparent und ihre Berechnungen nur schwer interpretierbar. Dies stellt eine massive Einschränkung für ein systematisches Testen oder eine formale Überprüfung dar.
Ferner sind insbesondere tiefe Neuronale Netze anfällig für schädliche Störeinflüsse, sogenannte adversariale Störungen (engl adversarial perturbations): kleine, für den Menschen kaum wahrnehmbare oder einen semantischen Inhalt nicht verändernde Manipulationen an den Eingangsdaten können zu komplett anderen Ausgangsdaten führen. Solche Störeinflüsse können sowohl mutwillig herbeigeführte Veränderungen der Daten ("Neural Hacking") als auch zufällig auftretende Bildveränderungen (Sensorrauschen, Witterungseinflüsse, bestimmte Farben oder Kontraste) sein.
Ferner ist insbesondere unklar, auf welche Eingangsmerkmale ein Neuronales Netz sensibilisiert. Dies sorgt dafür, dass synthetisch, beispielsweise durch Simulation, erzeugte Daten bisher kaum erfolgreich für das Training von Neuronalen Netzen verwendet werden können: in Simulation oder auf anderweitig synthetischen Daten trainierte Neuronale Netze weisen eine erstaunlich schwache Performanz auf reellen Sensordaten auf. Auch eine Ausführung von Neuronalen Netzen in einer anderen Datendomäne (Training im Sommer, Ausführung im Wnter etc.) reduziert die funktionale Güte teilweise drastisch. Dies hat u.a. zur Folge, dass die vom Kostenstandpunkt aus sehr attraktiv klingende Möglichkeit der Entwicklung und Freigabe von Neuronalen Netzen in Simulation (Entfall teuren Labellings und aufwendiger Realtests) nicht realistisch scheint.
Insbesondere der zweite Punkt hat starke Bedeutung für eventuelle Einschränkungen potenter Neuronaler Netze im Bereich funktionaler Sicherheit. Um letztere zu messen ist es unabdingbar, eine Einschätzung der Robustheit der Netzausführung gegenüber geringfügigen Veränderungen (Augmentierungen) der Eingangsdaten zu messen. Da solche Änderungen mannigfaltig sein können (Sensorrauschen, Witterungseinflüsse, Bildmanipulationen, semantisch nicht bedeutungsvolle Inhaltsveränderungen, z.B. der Wandfarbe von Hintergrundgebäuden), gibt es kein eindeutiges und akzeptiertes Maß für die Robustheit. Vielmehr müssen viele Robustheitswerte gegen Störungen (d.h. Augmentierungen) verschiedener Art und Intensität gemessen werden. Weiter ist die Robustheit Neuronaler Netze keine absolute Größe, sondern vielmehr von aktuellen Eingangsdaten abhängig.
Daher ist eine nachhaltige und reproduzierbare Messbarkeit der Robustheit von Kl-basierten Informationsverarbeitungssystemen, insbesondere von Neuronalen Netzen, wünschenswert. Insbesondere ist hierbei wünschenswert, auf möglichst rechen-, Speicher- und dateneffiziente Art und Weise eine flexible und modulare Messung des Einflusses von Datenstörungen (Augmentierungen) auf die Vorhersagequalität von Kl-basierten
Informationsverarbeitungssystemen, insbesondere von Neuronaler Netzen, bereitzustellen.
Der Erfindung liegt daher die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems bereitzustellen.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 10 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Insbesondere wird ein Verfahren zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems zur Verfügung gestellt, wobei das Kl-basierte Informationsverarbeitungssystem eine Funktion für das automatisierte Fahren eines Kraftfahrzeugs und/oder für eine Fahrerassistenz des Kraftfahrzeugs und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung oder für eine andere Anwendung bereitstellt, wobei als Eingangsparameter mindestens ein Kl-basiertes Informationsverarbeitungssystem, mindestens ein Datensatz, mindestens eine Datenaugmentierungsdefinition und mindestens eine Differenzmaßdefinition empfangen werden, wobei basierend auf den Eingangsparametern eine multidimensionale Datenstruktur erzeugt wird, wobei die Dimensionen und Wertebereiche der Dimensionen der multidimensionalen Datenstruktur durch die empfangenen Eingangsparameter festgelegt sind, und wobei jeder Datenpunkt der multidimensionalen Datenstruktur einen mittels des mindestens einen definierten Differenzmaßes bestimmten Differenzwert umfasst, der bestimmt wird, indem das mindestens eine definierte Differenzmaß zwischen Ausgangsdaten gebildet wird, die von dem mindestens einen Kl-basierten Informationsverarbeitungssystem jeweils für Daten des mindestens einen Datensatzes und für dieselben mittels der mindestens einen definierten Datenaugmentierung augmentierten Daten erzeugt wurden, und wobei die erzeugte multidimensionale Datenstruktur bereitgestellt wird, sodass eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems basierend auf den von der multidimensionalen Datenstruktur umfassten Differenzwerten beurteilt werden kann.
Ferner wird insbesondere eine Vorrichtung zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems geschaffen, wobei das Kl-basierte Informationsverarbeitungssystem eine Funktion für das automatisierte Fahren eines Kraftfahrzeugs und/oder für eine Fahrerassistenz des Kraftfahrzeugs und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung oder für eine andere Anwendung bereitstellt, umfassend eine Datenverarbeitungseinrichtung, wobei die Datenverarbeitungseinrichtung dazu eingerichtet ist, als Eingangsparameter mindestens ein Kl- basierten Informationsverarbeitungssystem, mindestens einen Datensatz, mindestens eine Datenaugmentierungsdefinition und mindestens eine Differenzmaßdefinition zu empfangen, und basierend auf den Eingangsparametern eine multidimensionale Datenstruktur zu erzeugen, wobei die Dimensionen und Wertebereiche der Dimensionen der multidimensionalen Datenstruktur durch die empfangenen Eingangsparameter festgelegt sind, und wobei jeder Datenpunkt der multidimensionalen Datenstruktur einen mittels des mindestens einen definierten Differenzmaßes bestimmten Differenzwert umfasst, der bestimmt wird, indem das mindestens eine definierte Differenzmaß zwischen Ausgangsdaten gebildet wird, die von dem Kl-basierten Informationsverarbeitungssystem jeweils für Daten des mindestens einen Datensatzes und für dieselben mittels der mindestens einen definierten Datenaugmentierung augmentierten Daten durch Inferenz erzeugt wurden, und die erzeugte multidimensionale Datenstruktur bereitzustellen, sodass eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems basierend auf den von der multidimensionalen Datenstruktur umfassten Differenzwerten beurteilt werden kann.
Das Verfahren und die Vorrichtung ermöglichen es, eine Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems bereitzustellen. Hierzu wird eine multidimensionale Datenstruktur erzeugt, in der als Datenpunkte jeweils Differenzwerte hinterlegt werden. Die Dimensionen der multidimensionalen Datenstruktur, die insbesondere auch als Hypercube bezeichnet werden kann, umfassen zumindest die Dimensionen: Kl- basiertes Informationsverarbeitungssystem, Datensatz, Datenaugmentierung und Differenzmaß. Daher werden zum Erzeugen der multidimensionalen Datenstruktur mindestens ein Kl-basiertes Informationsverarbeitungssystem, mindestens ein Datensatz, mindestens eine Datenaugmentierungsdefinition und mindestens eine Differenzmaßdefinition empfangen. Für jede Kombination dieser Dimensionen, das heißt für jede mögliche Ausprägung innerhalb der Dimensionen, wird mittels des jeweiligen Differenzmaßes ein Differenzwert berechnet und für den zugehörigen Datenpunkt hinterlegt. Der über die jeweilige Differenzmaßdefinition definierte Differenzwert wird hierbei aus den Ausgangsdaten bestimmt, die von dem mindestens einen Kl- basierten Informationsverarbeitungssystem jeweils für (nicht augmentierte) Daten des Datensatzes und für augmentierte Daten erzeugt werden. Die augmentierten Daten werden mittels des für den Datenpunkt über die Datenaugmentierungsdefinition definierte Datenaugmentierung erzeugt. Anders ausgedrückt ergibt sich für jeden Datenpunkt innerhalb der multidimensionalen Datenstruktur eine Kombination zumindest aus den Dimensionen Kl- basiertes Informationsverarbeitungssystem, Datensatz, Datenaugmentierungsdefinition und Differenzmaßdefinition, das heißt für jeden Datenpunkt sind ein Kl-basiertes Informationsverarbeitungssystem, ein Datensatz, eine Datenaugmentierung (bzw. ein Datenaugmentierungsverfahren) und ein Differenzmaß definiert. Ausgehend hiervon werden für den Datenpunkt Daten des Datensatzes mittels der Datenaugmentierung augmentiert (z.B. gestört) und mittels des Differenzmaßes ein Differenzwert zwischen den nicht augmentierten Daten und den augmentierten Daten des Datensatzes durch Anwendung des Kl-basierten Informationsverarbeitungssystems auf die Daten bestimmt. Der bestimmte Differenzwert wird in dem Datenpunkt hinterlegt. Dieses Vorgehen wird für alle Datenpunkte durchgeführt, bis für jeden der Datenpunkte innerhalb der multidimensionalen Datenstruktur ein Differenzwert bestimmt und hinterlegt wurde. Die Differenzwerte können später jederzeit aus der Datenstruktur gezielt, das heißt durch Vorgabe der Kombination aus zumindest dem Kl- basierten Informationsverarbeitungssystem (bzw. eine Verknüpfung hiermit), dem Datensatz, der Datenaugmentierungsdefinition und der Differenzmaßdefinition wieder abgerufen werden, sodass eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems basierend auf den von der multidimensionalen Datenstruktur umfassten Differenzwerten beurteilt werden kann. Dies ermöglicht es, jederzeit, das heißt auch im Nachhinein, eine Robustheit zu bestimmen und hierzu beispielweise nur eine Teilmenge der multidimensionalen Datenstruktur zu betrachten. Hierdurch kann das Bestimmen und Bewerten der Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems, insbesondere im Hinblick auf eine Flexibilität, verbessert werden.
Ein Vorteil des Verfahrens und der Vorrichtung ist, dass ein Messen und Bewerten der Robustheit eines Kl-basierten Informationsverarbeitungssystems auch ohne das Kl-basierte Informationsverarbeitungssystem, das heißt ohne eine Modellbeschreibung (Struktur,
Parameter, Aktivierungsfunktionen etc.), und ohne den mindestens einen Datensatz erfolgen kann. Dies ist insbesondere von Vorteil, wenn das Kl-basierte Informationsverarbeitungssystem und/oder gegebenenfalls sensible Daten selbst nicht veröffentlicht oder bereitgestellt werden sollen. Beispielsweise ermöglicht das Verfahren ein Zertifizieren eines Kl-basierten Informationsverarbeitungssystems, ohne dass das Kl-basierte Informationsverarbeitungssystem selbst Teil des Zertifizierungsverfahrens sein muss. Hierzu muss lediglich die multidimensionale Datenstruktur bereitgestellt werden. Insbesondere erlauben das Verfahren und die Vorrichtung es, basierend auf der multidimensionalen Datenstruktur flexibel aussagekräftige Robustheitsmetriken zu generieren. Insbesondere können das Verfahren und die Vorrichtung einen Metrikgenerator zur Beurteilung einer Robustheit des Kl-basierten Informationsverarbeitungssystems bereitstellen.
Es ist vorgesehen, dass das mindestens eine Kl-basierte Informationsverarbeitungssystem eine Funktion für das automatisierte Fahren eines Kraftfahrzeugs und/oder für eine Fahrerassistenz des Kraftfahrzeugs und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung bereitstellt. Insbesondere ist vorgesehen, dass ein Kl-basiertes
Informationsverarbeitungssystem, beispielsweise ein trainiertes Neuronales Netz, in den Speicher von mindestens einem Steuergerät geladen wird und dort ausgeführt bzw. angewendet wird, um insbesondere mittels einer Sensorik erfasste Sensordaten auszuwerten und zu verarbeiten und beispielsweise Steuersignale, beispielsweise für eine Aktorik, zu erzeugen und bereitzustellen. Zusätzlich kann auch die erzeugte mindestens eine multidimensionale Datenstruktur in dem Speicher des mindestens einen Steuergeräts hinterlegt werden oder hinterlegt sein. Hierdurch kann jederzeit eine Robustheit überprüft und/oder nachgeprüft werden.
Es kann prinzipiell alternativ oder zusätzlich jedoch auch vorgesehen sein, dass das Verfahren und die Vorrichtung bei anderen Anwendungen eingesetzt werden. Dies können beispielsweise eine automatisierte Flottensteuerung, eine Innenraumüberwachung, eine Fahrerbeobachtung, eine Produktionssteuerung, eine Videoüberwachung, Robotikanwendungen, ein automatisiertes Fliegen, automatisierte Schienenfahrzeuge oder Anwendungen in der Raumfahrt sein. Auch bei diesen Anwendungen ist vorgesehen, dass ein Kl-basiertes Informationsverarbeitungssystem in den Speicher mindestens eines Steuergeräts geladen wird, wobei mittels des mindestens einen Steuergeräts das Kl-basierte Informationsverarbeitungssystem ausgeführt wird, beispielsweise zum Auswerten von erfassten Sensordaten und zum Erzeugen und Bereitstellen von Steuersignalen, beispielsweise für einen Produktionsablauf und/oder für mindestens eine Aktorik. Zusätzlich kann auch die erzeugte mindestens eine multidimensionale Datenstruktur in dem Speicher des Steuergeräts hinterlegt werden oder hinterlegt sein.
Ein Kl-basiertes Informationsverarbeitungssystem ist insbesondere ein Informationsverarbeitungssystem, das auf einem Verfahren der Künstlichen Intelligenz (Kl) basiert. Beispielsweise kann das Kl-basierte Informationsverarbeitungssystem als tiefes Neuronales Netz ausgestaltet sein. Prinzipiell kann das in dieser Offenbarung beschriebene Verfahren jedoch auch bei anderen Kl-basierten Informationsverarbeitungssystemen eingesetzt werden, beispielsweise bei regelbasierten Informationsverarbeitungssystemen. Das Empfangen des mindestens einen Kl-basierten Informationsverarbeitungssystems soll insbesondere bedeuten, dass eine Verknüpfung bzw. ein Verweis empfangen wird, der das mindestens eine Kl-basierte Informationsverarbeitungssystem eindeutig bezeichnet (z.B. einen Namen, eine Versionsnummer etc.). Alternativ oder zusätzlich kann das Empfangen des Kl-basierten Informationsverarbeitungssystems auch das Empfangen von einer Strukturbeschreibung und/oder von Parametern des mindestens einen Kl-basierten Informationsverarbeitungssystems umfassen, sodass das mindestens eine Kl-basierte Informationsverarbeitungssystem anschließend direkt ausgeführt bzw. im Rahmen des Verfahrens angewendet werden kann.
Das mindestens eine Kl-basierte Informationsverarbeitungssystem ist insbesondere trainiert und/oder abschließend parametriert. Beispielsweise kann das Kl-basierte Informationsverarbeitungssystem ein trainiertes Neuronales Netz sein. Das mindestens eine Kl- basierte Informationsverarbeitungssystem wird dann insbesondere mittels der Datenverarbeitungseinrichtung auf den Daten und den augmentierten Daten ausgeführt und liefert jeweils Ergebnisse. Prinzipiell ist insbesondere auch das Ausführen des mindestens einen Kl-basierten Informationsverarbeitungssystems auf einer anderen Einrichtung, beispielsweise einem Steuergerät oder einer externen Datenverarbeitungseinrichtung, möglich, wobei die andere Einrichtung dann die Ergebnisse für die Daten und die augmentierten Daten bereitstellt.
Ein trainiertes Neuronales Netz umfasst insbesondere eine Strukturbeschreibung sowie Parameter (z.B. Filterparameter, Gewichtungen, Aktivierungsfunktionen etc.) des Neuronalen Netzes. Beim Empfangen werden insbesondere die Strukturbeschreibung und die Parameter empfangen. Das trainierte Neuronale Netz wird dann mittels der Datenverarbeitungseinrichtung auf den Daten und den augmentierten Daten ausgeführt.
Ein Datensatz umfasst insbesondere Daten, insbesondere (erfasste) Sensordaten. Die Daten können insbesondere eindimensional oder mehrdimensional, insbesondere zweidimensional, sein. Beispielsweise können die Daten Bilder einer Kamera oder eines Lidarsensors sein. Prinzipiell können jedoch beliebige Sensordaten verwendet werden.
Eine Datenaugmentierungsdefinition definiert insbesondere eine Datenaugmentierung bzw. ein Datenaugmentierungsverfahren. Die Datenaugmentierungsdefinition gibt an, wie Daten des Datensatzes verändert werden sollen. Es kann hierbei eine Vielzahl von Veränderungen vorgesehen sein. Beispielhaft genannt seien: Hinzufügen von Rauschen, Hinzufügen einer oder mehrerer adversarialer Störungen, Änderung eines Kontrastes, Änderung einer Helligkeit, Änderung von Farben, Änderung einer Witterungsbedingung (z.B. Hinzufügen von Schnee oder Regen in einem Kamerabild, das im Sommer erfasst wurde). Eine Datenaugmentierung bzw. ein Datenaugmentierungsverfahren wird insbesondere in Abhängigkeit von physikalischen Sensoreigenschaften (Störungen etc.) und/oder möglichen physikalischen und/oder technischen Störungen der Sensorik und/oder möglichen adversarialen Störungen ausgestaltet bzw. definiert.
Eine Differenzmaßdefinition definiert insbesondere ein Differenzmaß. Das Differenzmaß gibt insbesondere an, wie Ausgangsdaten des mindestens einen Kl-basierten Informationsverarbeitungssystems, die für (nicht augmentierte) Daten des Datensatzes erzeugt wurden, mit Ausgangsdaten des mindestens einen Kl-basierten
Informationsverarbeitungssystems, die für augmentierte Daten erzeugt wurden, verglichen werden sollen. Gibt das Kl-basierte Informationsverarbeitungssystem beispielsweise einen Vektor als Ausgangsdaten aus, so kann ein Differenzmaß den Vergleich der Vektoren umfassen, beispielsweise indem ein Unterschied zwischen den Vektoren bestimmt wird. Ein einfaches Beispiel für ein weiteres Differenzmaß ist das folgende: Gibt das Kl-basierte Informationsverarbeitungssystem beispielsweise als Ausgangsdaten aus, wie viele Fußgänger in einem erfassten Kamerabild vorhanden sind, so kann die jeweils für die Daten und die augmentierten Daten ausgegebene Anzahl miteinander verglichen werden (z.B. 3 Fußgänger gegenüber 5 Fußgängern, sodass der Differenzwert gleich 2 Fußgänger ist).
Sind in einem Datensatz zeitlich sequentielle Daten hinterlegt, so kann ein Differenzmaß sich auch auf zeitlich sequentielle, das heißt zeitlich benachbarte, Daten beziehen. Hierdurch kann eine Datenbasis zur Robustheitsbeurteilung bei der Verarbeitung von Videosequenzen (oder anderen zeitlich sequentiellen Daten) durch ein Kl-basiertes Informationsverarbeitungssystem erzeugt und bereitgestellt werden. Beispielsweise kann im Rahmen der Robustheitsbeurteilung überprüft werden, ob ein Fußgänger in einer Videosequenz über mehrere Videoeinzelbilder hinweg von dem Kl-basierten Informationsverarbeitungssystem zuverlässig als Fußgänger erkannt wird oder nicht.
Vor dem Bereitstellen der multidimensionalen Datenstruktur werden insbesondere auch sämtliche Artefakte als Metadaten und/oder Header in der multidimensionalen Datenstruktur hinterlegt. Diese Artefakte umfassen beispielsweise: Verweise auf einen verwendeten Softwarecode, Verweise auf das mindestens eine Kl-basierte Informationsverarbeitungssystem (beispielsweise auf ein trainiertes Neuronales Netz) sowie zum Trainieren verwendete Hyperparameter, Verweise auf einen oder mehrere verwendete Datensätze (ggf. inkl. von Beschreibungsdaten) und/oder verwendete Anfangswerte für verwendete Zufallsgeneratoren („Random Seeds“). Die Artefakte umfassen insbesondere weder den verwendeten mindestens einen Datensatz, noch das Kl-basierte Informationsverarbeitungssystem. In der multidimensionalen Datenstruktur werden daher insbesondere kein Datensatz und kein Kl- basiertes Informationsverarbeitungssystem gespeichert.
Teile der Datenverarbeitungseinrichtung können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird.
Es kann vorgesehen sein, dass eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems ausgehend von der bereitgestellten multidimensionalen Datenstruktur bewertet wird. Hierzu werden die Differenzwerte der einzelnen Datenpunkte ausgewertet und eine Robustheit bestimmt. Beispielsweise können die Differenzwerte mit mindestens einer Robustheitsanforderung verglichen werden. Eine solche Robustheitsanforderung kann beispielsweise ein in Abhängigkeit des jeweiligen Augmentierungsverfahrens vorgegebener Schwellenwert sein, der beispielsweise durch (gemittelte) Differenzwerte nicht überschritten werden darf.
Es kann beispielsweise auch basierend auf den in der multidimensionalen Datenstruktur hinterlegten Differenzwerten unter Vorgabe von mindestens einer Robustheitsmetrik ein Bericht zur Beurteilung der Robustheit des Kl-basierten Informationsverarbeitungssystems, beispielsweise eines trainierten Neuronalen Netzes, erstellt und ausgegeben werden. Es kann mittels des Verfahrens und der Vorrichtung insbesondere ein Metrikgenerator zur Beurteilung einer Robustheit des Kl-basierten Informationsverarbeitungssystems, beispielsweise des trainierten Neuronalen Netzes, bereitgestellt werden.
Weiterbildend kann vorgesehen sein, dass das mindestens eine Kl-basierte Informationsverarbeitungssystem ausgehend von der Bewertung verworfen, das Verfahren mit geänderten Eingangsparametern wiederholt oder das Kl-basierte
Informationsverarbeitungssystem als robust zertifiziert wird. Es kann ferner auch vorgesehen sein, dass Ausgangsdaten eines als robust zertifizierten Kl-basierten Informationsverarbeitungssystems, beispielsweise eines trainierten Neuronalen Netzes, ebenfalls als robust zertifiziert und/oder markiert werden. Es kann hierbei vorgesehen sein, dass das Kl-basierte Informationsverarbeitungssystem, beispielsweise das trainierte Neuronale Netz, nach einer Zertifizierung in einen Speicher von mindestens einem Steuergerät geladen wird. Dort kann das mindestens eine Kl-basierte Informationsverarbeitungssystem, beispielsweise das trainierte Neuronale Netz, dann verwendet werden, um Sensordaten zu verarbeiten, beispielsweise bei der Umfelderfassung in einem Kraftfahrzeug.
In einer Ausführungsform ist vorgesehen, dass das mindestens eine Kl-basierte Informationsverarbeitungssystem ein Neuronales Netz ist und/oder mindestens ein Neuronales Netz umfasst. Das Neuronale Netz kann insbesondere ein tiefes Neuronales Netz sein, beispielsweise ein Faltungsnetz. Ein Neuronales Netz umfasst insbesondere eine Strukturbeschreibung sowie Parameter (z.B. Filterparameter, Gewichtungen, Aktivierungsfunktionen etc.) des Neuronalen Netzes. Das Neuronale Netz ist insbesondere ein trainiertes Neuronales Netz.
In einer Ausführungsform ist vorgesehen, dass das Bereitstellen ein Bereitstellen einer Schnittstelle zum gezielten Abrufen von Datenpunkten der multidimensionalen Datenstruktur umfasst. Eine solche Schnittstelle ermöglicht insbesondere ein Abrufen bzw. Abfragen von einzelnen Datenpunkten oder Bereichen bzw. Mengen von Datenpunkten in Abhängigkeit von Kombinationen aus zumindest einem Kl-basierten Informationsverarbeitungssystem, beispielsweise einem trainierten Neuronalen Netz, einem Datensatz, einer Datenaugmentierungsdefinition und einer Differenzmaßdefinition. Hierdurch können flexibel Robustheiten (insbesondere Robustheitswerte) bestimmt und beispielsweise über mehrere Datenpunkte oder mehrere Datenaugmentierungen bzw. Datenaugmentierungsverfahren gemittelt werden. Die Schnittstelle kann auch eine Fernschnittstelle sein, beispielsweise bereitgestellt mittels eines zentralen Servers, auf dem multidimensionale Datenstrukturen hinterlegt sind, und von dem Datenpunkte über die Fernschnittstelle abgerufen werden können.
Es kann hierbei weiter vorgesehen sein, dass die Schnittstelle dazu eingerichtet ist, dass eine Abfrage gezielt durch weitere Parameter eingeschränkt werden kann. Mögliche Abfragen unter Vorgabe der entsprechenden Parameter können hierbei beispielsweise die folgenden sein:
- Abfragen von konkreten Einträgen (Differenzwerten) der multidimensionalen Datenstruktur,
- Abfragen von Maximal-, Minimal- oder Durchschnittswerten über Ausschnitte der multidimensionalen Datenstruktur, - Abfragen von Varianzen, Bandbreiten etc. der Differenzwerte in Ausschnitten der multidimensionalen Datenstruktur,
- Abfragen von gewichteten Summen (Integralen) über Ausschnitte der multidimensionalen Datenstruktur,
- Abfragen von Histogrammen über die Differenzwerte und/oder die vorgenannten Werte,
- Abfragen über funktionale Verläufe der Differenzwerte und/oder der vorgenannten Werte unter Variation von Ausschnittparametern,
- Abfragen von Heatmaps oder anderen Datenvisualisierunsverfahren über die Differenzwerte und/oder die vorgenannten Werte oder Verläufe,
- Abfragen von zeitlichen Verläufen der Differenzwerte und/oder der vorgenannten Werte im Falle eines zeitlich sequentiellen Datensatzes.
In einer Ausführungsform ist vorgesehen, dass das Bereitstellen ein Übermitteln der multidimensionalen Datenstruktur an einen Zertifizierungsdienstleister und/oder einen Verwender des Kl-basierten Informationsverarbeitungssystems und/oder ein Einladen der multidimensionalen Datenstruktur in einen Speicher von mindestens einem Steuergerät umfasst. Hierdurch kann auch im Nachhinein, das heißt nach einer Auslieferung und Verwendung bzw. während der gesamten Nutzungsdauer des mindestens einen Kl-basierten Informationsverarbeitungssystems im Feld weiterhin bzw. erneut eine Robustheit, beispielsweise mittels neuer oder geänderter Robustheitsmaße, bestimmt werden, ohne dass hierfür erneut die Differenzwerte bestimmt werden müssen. Es kann hierbei vorgesehen sein, dass zum Betreiben des Kl-basierten Informationsverarbeitungssystems eine zugehörige multidimensionale Datenstruktur in dem Speicher hinterlegt sein muss. Beispielsweise kann vorgesehen sein, dass vor einem Betreiben des Kl-basierten Informationsverarbeitungssystems mittels des Steuergeräts überprüft wird, ob eine zugehörige multidimensionale Datenstruktur im Speicher hinterlegt ist oder nicht, wobei das Kl-basierte Informationsverarbeitungssystem nur betrieben bzw. angewendet werden darf, wenn eine solche multidimensionale Datenstruktur hinterlegt ist. Zusätzlich kann auch noch eine Robustheit des Kl-basierten Informationsverarbeitungssystems, insbesondere in Abhängigkeit der in der multidimensionalen Datenstruktur hinterlegten Differenzwerte, mittels des Steuergeräts überprüft werden.
Ferner ist es möglich, dass multidimensionale Datenstrukturen in einem zentralen Archiv hinterlegt werden, beispielsweise in einem Speicher eines zentralen Servers, um jederzeit eine Robustheit von im Feld eingesetzten Kl-basierten Informationsverarbeitungssystemen über und/oder nachprüfen zu können. In einer Ausführungsform ist vorgesehen, dass als Eingangsparameter zusätzlich eine Menge an Unterparametern für die mindestens eine Datenaugmentierungsdefinition empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur und/oder das Augmentieren der Daten unter Berücksichtigung der empfangenen Menge an Unterparametern erfolgt. Hierdurch kann die Datenaugementierung bzw. das oder die Datenaugmentierungsverfahren weiter spezifiziert bzw. parametriert werden. Im Falle einer Helligkeitsvariation in Kamerabildern kann beispielsweise eine Bandbreite an Helligkeitswerten vorgegeben werden, innerhalb derer die Kamerabilder jeweils augmentiert, das heißt in ihrer Helligkeit variiert, werden sollen. Für jeden der Unterparameter, die berücksichtigt werden sollen, erweitert sich die multidimensionale Datenstruktur entsprechend. Bei einer Helligkeitsvariation mit drei Unterparametern (z.B. -20 %, 0 und +20 %) gibt es in der Dimension Datenaugmentierungsdefinition dann für die Helligkeitsvariation entsprechend drei Ausprägungen. Ein weiteres Beispiel ist das Angeben von verschiedenen Rauschparametern (z.B. Zielwert für ein Signal-zu-Rauschverhältnis etc.).
In einer Ausführungsform ist vorgesehen, dass als Eingangsparameter zusätzlich eine Menge an Filterkriterien für einzelne der Eingangsparameter empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur unter Berücksichtigung der empfangenen Menge an Filterkriterien erfolgt. Hierdurch kann gezielt eine multidimensionale Datenstruktur geschaffen werden, die die Filterkriterien berücksichtigt. Hierdurch lassen sich insbesondere bestimmte Testszenarien abbilden bzw. vorbereiten. Filterkriterien können beispielsweise Tags an den Daten sein, die ein Binning und/oder Auflösen einer bestimmten Robustheit an den Kriterien zulassen. Zum Beispiel können dies Kontextwerte (z.B. für die Kontexte Stadt, Land, Corner Case, Festtag, großes Event in der Nähe, Wetter,...) oder Dateneigenschaften (z.B. eine Verschmutzung, Motion Blurr, Blinding... ) sein.
In einer Ausführungsform ist vorgesehen, dass als Eingangsparameter zusätzlich eine Auswahl an statistischen Verteilungsfunktionen für Parameterverteilungen für die mindestens eine Datenaugmentierungsdefinition empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur unter Berücksichtigung der Auswahl an statistischen Verteilungsfunktionen für Parameterverteilungen erfolgt. Hierdurch können statistische Verteilungen bei der Augmentierung (z.B. Störung) der Daten des Datensatzes berücksichtigt werden. Beispielsweise kann für eine Datenaugmentierung, die eine Helligkeitsvariation in Bildern beinhaltet, eine Verteilungsfunktion übergeben werden, aus der beim Erzeugen der multidimensionalen Datenstruktur statistisch gesampelt wird (z.B. 10 Samples aus folgender Verteilung: [-30 % bis -10 %] mit p=0.3, [-10 % bis +10 %] mit p=0.5 und [+10 % bis +30 %] mit p=0.2). ln einer Ausführungsform ist vorgesehen, dass als Eingangsparameter zusätzlich eine Auswahl an Verteilungen für Kombinationen von Parametern von Datenaugmentierungsdefinitionen und Daten des Datensatzes empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur unter Berücksichtigung der empfangenen Menge an Verteilungen für die Kombinationen der Parameter erfolgt. Hierdurch können Verteilungen für die Kombinationen berücksichtigt werden. Eine Verteilung kann beispielsweise eine ,Exposure‘ zu den einzelnen Eingangsdatenströmen oder Tags sein, die es erlaubt, „gegen“ die Verteilung zu aggregieren (d.h. es wird über (die Einzeldaten)x(Exposure) summiert). Auf diese Weise kann ein „realistisch erwartbares Robustheitsrisiko“ errechnet werden.
In einer Ausführungsform ist vorgesehen, dass als Eingangsparameter eine Auswahl für eine Relevanz einzelner Datenpunkte empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur unter Berücksichtigung der empfangenen Relevanz erfolgt. Hierdurch können besonders relevante Datenpunkte, das heißt besonders relevante Kombinationen der Eingangsparameter, gekennzeichnet werden, sodass für diese Kombinationen Datenpunkte und Differenzwerte erzeugt bzw. bestimmt werden. Dies ist insbesondere von Vorteil, wenn eine Prüfung der Robustheit für bestimmte Kombinationen der Eingangsparameter beispielsweise gesetzlich vorgeschrieben sind oder sich bei der Beurteilung der Robustheit bewährt haben.
In einer Ausführungsform ist vorgesehen, dass zusätzlich für jeden Datenpunkt die jeweils von dem mindestens einen Kl-basierten Informationsverarbeitungssystem erhaltenen Ergebnisse in der multidimensionalen Datenstruktur hinterlegt werden. Hierdurch können auch die für die Daten und die augmentierten Daten erzeugten Ergebnisse nachträglich noch verwendet werden. Insbesondere müssen bei einer Erweiterung der multidimensionalen Datenstruktur um weitere Datenaugmentierungen nicht ein weiteres Mal Ergebnisse für die nicht augmentierten Daten erzeugt werden, sondern es kann direkt auf die bereits in der multidimensionalen Datenstruktur hinterlegten Ergebnisse zurückgegriffen werden. Hierdurch können Rechenleistung und Rechenzeit eingespart werden.
In einer Ausführungsform ist vorgesehen, dass die multidimensionale Datenstruktur nach dem Bereitstellen durch Einfügen von mindestens einerweiteren Dimension und/oder durch Erweitern eines Wertebereiches mindestens einer Dimension erweitert wird, wobei die erweiterte multidimensionale Datenstruktur bereitgestellt wird. Hierdurch können auch nachträglich weitere oder neue Datenaugmentierungsverfahren, weitere oder neue Datensätze und/oder weitere oder neue Differenzmaße berücksichtigt werden. Insbesondere können die bereits vorhandenen Datenpunkte weiterverwendet werden und müssen nicht erneut berechnet werden, da eine Erweiterung der multidimensionalen Datenstruktur ohne Weiteres möglich ist.
Weitere Merkmale zur Ausgestaltung der Vorrichtung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der Vorrichtung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
Es wird ferner auch ein Steuergerät geschaffen, umfassend einen Speicher, wobei in dem Speicher eine multidimensionale Datenstruktur gespeichert ist, die als Datenbasis geeignet ist, um eine Robustheitsbeurteilung für mindestens ein Kl-basiertes
Informationsverarbeitungssystem zu ermöglichen. Die multidimensionale Datenstruktur ist insbesondere mittels des in dieser Offenbarung beschriebenen Verfahrens bzw. mittels der in dieser Offenbarung beschriebenen Vorrichtung erstellt worden.
Sodann wird eine Verwendung des voranstehend beschriebenen Steuergeräts zum Bewerten und Zertifizieren von mindestens einem Kl-basierten Informationsverarbeitungssystem vorgeschlagen. Hierdurch kann die multidimensionale Datenstruktur auf technisch einfach umsetzbare Weise bereitgestellt werden. Es kann hierbei vorgesehen sein, dass das Steuergerät auch das Kl-basierte Informationsverarbeitungssystem bereitstellt. Wird beides von dem Steuergerät bereitgestellt, so kann jederzeit, insbesondere nach einer Auslieferung des Steuergeräts an einen Zertifizierer und/oder einen Endkunden, eine Robustheit des Kl-basierten Informationsverarbeitungssystems überprüft und/oder nachgeprüft werden.
Weiter wird auch ein Computerprogramm geschaffen, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, die Verfahrensschritte des Verfahrens nach einem beliebigen der beschriebenen Ausführungsformen auszuführen.
Darüber hinaus wird auch ein Datenträgersignal geschaffen, das ein solches Computerprogramm überträgt.
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen: Fig. 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum
Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl- basierten Informationsverarbeitungssystems;
Fig. 2 ein schematisches Flussdiagramm zur Verdeutlichung einer Ausführungsform des
Verfahrens zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems.
In Fig. 1 ist eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems 10 gezeigt, das beispielsweise als trainiertes Neuronales Netz ausgebildet ist. Prinzipiell kann die Vorrichtung 1 jedoch auch für andere Kl-basierte Informationsverarbeitungssysteme 10 verwendet werden.
Es ist vorgesehen, dass das mindestens eine Kl-basierte Informationsverarbeitungssystem 10 eine Funktion für das automatisierte Fahren eines Kraftfahrzeugs und/oder für eine Fahrerassistenz des Kraftfahrzeugs und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung oder für eine andere Anwendung bereitstellt.
Die Vorrichtung 1 umfasst eine Datenverarbeitungseinrichtung 2. Die
Datenverarbeitungseinrichtung 2 umfasst eine Recheneinrichtung 3 und einen Speicher 4. Die Vorrichtung 1 ist insbesondere dazu eingerichtet, das in dieser Offenbarung beschriebene Verfahren auszuführen.
Der Datenverarbeitungseinrichtung 2 werden als Eingangsparameter 9 mindestens ein Kl- basiertes Informationsverarbeitungssystem 10 (d.h. im Beispiel mindestens ein Neuronales Netz), mindestens ein Datensatz 11, mindestens eine Datenaugmentierungsdefinition 12 und mindestens eine Differenzmaßdefinition 13 zugeführt, diese werden von der Datenverarbeitungseinrichtung 2 empfangen.
Ein Kl-basiertes Informationsverarbeitungssystem 10 umfasst insbesondere eine Strukturbeschreibung sowie Parameter (z.B. Gewichtungen, Aktivierungsfunktionen, Filterparameter etc.) des Kl-basierten Informationsverarbeitungssystems 10. Der Datensatz 11 umfasst Daten, beispielsweise zweidimensionale Kamerabilder und/oder andere ein- oder mehrdimensionale Sensordaten von mindestens einem Sensor (Kamera, Lidar, Radar, Ultraschall etc.). Die mindestens eine Datenaugmentierungsdefinition 12 umfasst insbesondere eine Beschreibung mindestens eines Datenaugmentierungsverfahrens, das heißt eine Beschreibung darüber, wie Daten im Rahmen des in dieser Offenbarung beschriebenen Verfahrens augmentiert (z.B. gestört) werden sollen. Die mindestens eine Differenzmaßdefinition umfasst insbesondere eine Beschreibung von mindestens einem Differenzmaß, das heißt eine Beschreibung darüber, wie die nicht augmentierten Daten mit den augmentierten Daten im Rahmen des in dieser Offenbarung beschriebenen Verfahrens verglichen werden sollen bzw. auf welche Weise ein Differenzwert 22 bestimmt werden soll.
Basierend auf den Eingangsparametern 9 wird mittels der Datenverarbeitungseinrichtung 2, insbesondere mittels der Recheneinrichtung 3, eine multidimensionale Datenstruktur 20 erzeugt und im Speicher 4 ablegt, welche in der Fig. 1 schematisch als Würfel dargestellt ist. Die Dimensionen und Wertebereiche der Dimensionen der multidimensionalen Datenstruktur 20 werden bzw. sind durch die empfangenen Eingangsparameter 10, 11, 12, 13 festgelegt (im beschriebenen Beispiel umfasst die multidimensionale Datenstruktur 20 insbesondere vier Dimensionen). Zum Erzeugen der multidimensionalen Datenstruktur 20 wird für jede Kombination der Eingangsparameter 10, 11, 12, 13 jeweils ein Datenpunkt 21 erzeugt bzw. bestimmt. Jeder Datenpunkt 21 der multidimensionalen Datenstruktur 20 umfasst hierbei einen mittels des über die mindestens eine Differenzmaßdefinition 13 definierten Differenzmaßes bestimmten Differenzwert 22. Der Differenzwert 22 wird mittels der Datenverarbeitungseinrichtung 2, insbesondere mittels der Recheneinrichtung 3, bestimmt, indem das mindestens eine definierte Differenzmaß zwischen Ausgangsdaten gebildet wird, die von dem mindestens einen Kl-basierten Informationsverarbeitungssystem 10 jeweils für Daten des mindestens einen Datensatzes 11 und für dieselben mittels der über die mindestens eine Datenaugmentierungsdefinition 12 definierten Datenaugmentierung augmentierten Daten durch erzeugt wurden. Hierzu führt die Datenverarbeitungseinrichtung 2, insbesondere die Recheneinrichtung 3, das Kl-basierte Informationsverarbeitungssystem 10 jeweils auf den Daten und auf den augmentierten Daten aus. In einem einfachen Beispiel, bei dem das Kl- basierte Informationsverarbeitungssystem 10 beispielsweise eine Zahl als Ausgangsdatum liefert, kann ein Differenzmaß beispielsweise eine Differenz zwischen den gelieferten Zahlen sein. Werden Vektoren ausgegeben, so können Differenzen zwischen den Vektoren gebildet werden, beispielsweise unter Verwendung eines Skalarprodukts.
Sind die Differenzwerte 22 für alle Datenpunkte 21 der multidimensionalen Datenstruktur 20 bestimmt, so wird die erzeugte multidimensionale Datenstruktur 20 bereitgestellt. Insbesondere wird die multidimensionale Datenstruktur 20 ausgegeben. Mit Hilfe der bereitgestellten multidimensionalen Datenstruktur 20 kann eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems 10 basierend auf den von der multidimensionalen Datenstruktur 20 umfassten Differenzwerten 22 beurteilt werden.
Mit Hilfe der Vorrichtung und des Verfahrens können für verschiedene Datensätze, verschiedene Datenaugmentierungsverfahren und verschiedene Differenzmaße jeweils Differenzwerte 22 bestimmt werden. Ferner ist es möglich, auch verschiedene Kl-basierte Informationsverarbeitungssysteme 10 (z.B. verschiedene trainierte Neuronale Netze) miteinander zu vergleichen. Jede mögliche Kombination der Eingangsparameter 9 korrespondiert hierbei mit einem Datenpunkt 21, für den ein Differenzwert 22 bestimmt wird. Die Vorrichtung 1 und das Verfahren erlauben daher das Bereitstellen einer umfangreichen und flexibel erweiterbaren Datenbasis zur Robustheitsbeurteilung von mindestens einem Kl- basierten Informationsverarbeitungssystem 10.
Es kann insbesondere vorgesehen sein, dass eine Robustheit des mindestens einen Kl- basierten Informationsverarbeitungssystems 10 ausgehend von der bereitgestellten multidimensionalen Datenstruktur 20 bewertet wird. Hierzu werden die Differenzwerte 22 der einzelnen Datenpunkte 21 ausgewertet und hieraus eine Robustheit bestimmt. Beispielsweise können die Differenzwerte 22 mit mindestens einer Robustheitsanforderung verglichen werden. Eine solche Robustheitsanforderung kann beispielsweise ein in Abhängigkeit des jeweiligen Datenaugmentierungsverfahrens vorgegebener Schwellenwert sein, der beispielsweise durch (gemittelte) Differenzwerte 22 nicht überschritten werden darf.
Weiterbildend kann vorgesehen sein, dass das mindestens eine Kl-basierte Informationsverarbeitungssystem 10 ausgehend von der Bewertung verworfen, das Verfahren mit geänderten Eingangsparametern 10, 11, 12, 13 wiederholt oder das Kl-basierte Informationsverarbeitungssystem 10 als robust zertifiziert wird.
Es kann hierbei vorgesehen sein, dass das Kl-basierte Informationsverarbeitungssystem 10 nach einer Zertifizierung in einen Speicher von mindestens einem Steuergerät 30 geladen wird.
Es kann vorgesehen sein, dass das Bereitstellen ein Bereitstellen einer Schnittstelle 5 zum gezielten Abrufen von Datenpunkten 21 der multidimensionalen Datenstruktur 20 umfasst. Die Schnittstelle 5 kann als Hardware und/oder als Software ausgebildet sein.
Es kann vorgesehen sein, dass das Bereitstellen ein Übermitteln der multidimensionalen Datenstruktur 20 an einen Zertifizierungsdienstleister und/oder einen Verwender des Kl- basierten Informationsverarbeitungssystems 10 und/oder ein Einladen der multidimensionalen Datenstruktur 20 in einen Speicher von mindestens einem Steuergerät 30 umfasst.
Es kann vorgesehen sein, dass als Eingangsparameter 9 zusätzlich eine Menge an Unterparametern 14 für die mindestens eine Datenaugmentierungsdefinition 12 empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur 20 und/oder das Augmentieren der Daten unter Berücksichtigung der empfangenen Menge an Unterparametern 14 erfolgt. Die Unterparameter 14 umfassen beispielsweise Wertebereiche als Eingangsparameter 9 für eine Datenaugmentierungsfunktion.
Es kann vorgesehen sein, dass als Eingangsparameter 9 zusätzlich eine Menge an Filterkriterien 15 für einzelne der Eingangsparameter 9 empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur 20 unter Berücksichtigung der empfangenen Menge an Filterkriterien 15 erfolgt.
Es kann vorgesehen sein, dass als Eingangsparameter 9 zusätzlich eine Auswahl an statistischen Verteilungsfunktionen 16 für Parameterverteilungen für die mindestens eine Datenaugmentierungsdefinition 12 empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur 20 unter Berücksichtigung der Auswahl an statistischen Verteilungsfunktionen 16 für Parameterverteilungen erfolgt.
Es kann vorgesehen sein, dass als Eingangsparameter 9 zusätzlich eine Auswahl an Verteilungen 17 für Kombinationen von Parametern von Datenaugmentierungsdefinitionen 12 und Daten des Datensatzes 11 empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur 20 unter Berücksichtigung der empfangenen Menge an Verteilungen 17 für die Kombinationen der Parameter erfolgt.
Es kann vorgesehen sein, dass als Eingangsparameter 9 eine Auswahl für eine Relevanz 18 einzelner Datenpunkte 21 empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur 20 unter Berücksichtigung der empfangenen Relevanz 18 erfolgt.
Es kann vorgesehen sein, dass zusätzlich für jeden Datenpunkt 21 die jeweils von dem mindestens einen Kl-basierten Informationsverarbeitungssystem 10 erzeugten Ergebnisse 23 in der multidimensionalen Datenstruktur 20 hinterlegt werden. Es kann vorgesehen sein, dass die multidimensionale Datenstruktur 20 nach dem Bereitstellen durch Einfügen von mindestens einerweiteren Dimension und/oder durch Erweitern eines Wertebereiches mindestens einer Dimension erweitert wird, wobei die erweiterte multidimensionale Datenstruktur 20+ bereitgestellt wird.
In Fig. 2 ist ein schematisches Flussdiagramm zur Verdeutlichung einer Ausführungsform des Verfahrens zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl- basierten Informationsverarbeitungssystems 10 gezeigt. Es ist vorgesehen, dass das mindestens eine Kl-basierte Informationsverarbeitungssystem 10 eine Funktion für das automatisierte Fahren eines Kraftfahrzeugs und/oder für eine Fahrerassistenz des Kraftfahrzeugs und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung oder eine andere Anwendung bereitstellt.
Als Eingangsparameter 9 werden mindestens ein Kl-basiertes
Informationsverarbeitungssystem 10 (z.B. ein trainiertes Neuronales Netz), mindestens ein Datensatz 11, mindestens eine Datenaugmentierungsdefinition 12 und mindestens eine Differenzmaßdefinition 13 vorgegeben. Ausgehend hiervon sind mindestens ein Kl-basiertes Informationsverarbeitungssystem 10, Daten 11a von mindestens einem Datensatz 11, mindestens ein Datenaugmentierungsverfahren 12a und mindestens ein Differenzmaß 13a vorgegeben.
In einem Verfahrensschritt 100 werden die Daten 11a mittels des mindestens einen Datenaugmentierungsverfahrens 12a augmentiert, z.B. werden die Daten 11a durch Hinzufügen von Rauschen oder mindestens einer adversarialen Störung gestört. Es kann hierbei vorgesehen sein, dass in einem voranstehenden Verfahrensschritt 90 Parameter für die Datenaugmentierung zufällig gewählt werden.
In einem Verfahrensschritt 101 wird das mindestens eine Kl-basierte Informationsverarbeitungssystem 10 auf die nicht augmentierten Daten 11a und die jeweils zugehörigen augmentierten Daten angewandt. Die jeweils erhaltenen Ergebnisse werden in einem Verfahrensschritt 102 Datumsweise miteinander verglichen und mittels des mindestens einen Differenzmaßes 13a für jedes Datum ein Differenzwert bestimmt. Bei mehreren Kl- basierten Informationsverarbeitungssystemen 10, mehreren Datensätzen 11, mehreren Datenaugmentierungsverfahren 12a und/oder mehreren Differenzmaßen 13a wird dies für jede mögliche Kombination durchgeführt, sodass für jede Kombination ein Differenzwert bestimmt wird. Aus den Differenzwerten wird eine multidimensionale Datenstruktur 20 erzeugt, wobei die Differenzwerte jeweils einzelnen Datenpunkten zugeordnet werden, die jeweils einer möglichen Kombination der Eingangsparameter 9 zugeordnet sind.
Die auf diese Weise erzeugte multidimensionale Datenstruktur 20 wird bereitgestellt, beispielsweise in Form einer Schnittstelle 5, mittels derer die Differenzwerte für jede beliebige Kombination der Eingangsparameter 9 abgefragt bzw. abgerufen werden können, sodass eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems 10 basierend auf den von der multidimensionalen Datenstruktur 20 umfassten Differenzwerten beurteilt werden kann.
Das Bestimmen der Robustheit ist schematisch in den Verfahrensschritten 200 bis 202 dargestellt. Hierbei werden in einem Verfahrensschritt 200 Differenzwerte nach verschiedenen Filterkriterien abgerufen, wobei die Filterkriterien sich aus einem vorgegebenen Robustheitsmaß ergeben. Die abgerufenen Differenzwerte werden in einem Verfahrensschritt 201 aggregiert, beispielsweise indem die abgerufenen Differenzwerte statistisch oder auf andere Weise ausgewertet werden, sodass (statistische) Kennzahlen (z.B. in Form von Key Performance Indikatoren 40, beispielsweise in Form von aggregierten Differenzmaßen, z.B. „durchschnittlicher Fehler“ = 0,5 oder 0,4 etc.) berechnet und bereitgestellt werden können (Verteilungsparameter etc.). Das Aggregieren erfolgt hierbei beispielsweise hinweg über eine oder mehrere Dimensionsachse(n) der multidimensionalen Datenstruktur 20, z.B. über einen kompletten Datensatz 11 und/oder über alle Datenaugmentierungsverfahren 12a und/oder alle Differenzmaße 13a. Es können dann beispielsweise Maximalwerte und/oder ungewichtete oder gewichtete Durchschnittswerte gebildet und bereitgestellt werden.
In einem Verfahrensschritt 202 können die derart erzeugten Kennzahlen und/oder aggregierten Werte visualisiert werden, beispielsweise indem die Ergebnisse als Graph 41 dargestellt werden, Histogramme 43 gebildet werden, die skalaren Werte 44 dargestellt werden,
Heatmaps 45 erzeugt werden und/oder ein Kuchengraphik 46 dargestellt wird. Hierdurch lässt sich eine Robustheit 25 des mindestens einen Kl-basierten
Informationsverarbeitungssystems 10 verbessert bewerten und zertifizieren. Ferner kann ein Bericht 42 erstellt und ausgeben werden, der die Ergebnisse einer Robustheitsbewertung und/oder -Zertifizierung beinhaltet.
Es ist insbesondere möglich, dass das Bereitstellen der multidimensionalen Datenstruktur 20 ein Bereitstellen einer Schnittstelle 5 zum gezielten Abrufen von Datenpunkten der multidimensionalen Datenstruktur 20 umfasst. Hierbei kann eine Abfrage insbesondere die folgenden Parameter umfassen: gewünschte Filterkriterien 50, gewünschte Achsen- bzw. Dimensionsauswahl 51, gewünschte(s) Aggregationsverfahren 52, gewünschtes Visualisierungsverfahren 53.
Auf diese Weise kann insbesondere ein Metrikgenerator 300 geschaffen werden, mit dem Kl- basierte Informationsverarbeitungssysteme 10 (z.B. trainierte Neuronale Netze) vergleichbar und wiederholbar hinsichtlich einer Robustheit 25 bewertet und zertifiziert werden können.
Das Bereitstellen der multidimensionalen Datenstruktur 20 erlaubt es insbesondere, eine Robustheit 25 eines Kl-basierten Informationsverarbeitungssystems 10 auch ohne die Daten 11a und ohne das Kl-basierte Informationsverarbeitungssystem 10 selbst beurteilen zu können. Dies ist insbesondere bei sensiblen Daten von Vorteil.
Bezugszeichenliste
Vorrichtung
Datenverarbeitungseinrichtung
Recheneinrichtung
Speicher
Schnittstelle
Eingangsparameter
Kl-basiertes Informationsverarbeitungssystem
Datensatz a Daten
Datenaugmentierungsdefinition a Datenaugmentierungsverfahren
Differenzmaßdefinition a Differenzmaß
Unterparameter
Filterkriterien
Verteilungsfunktion
Verteilungen
Relevanz multidimensionale Datenstruktur + erweiterte multidimensionale Datenstruktur
Datenpunkt
Differenzwert inferiertes Ergebnis
Robustheit
Steuergerät
Key Performance Indikator
Graph
Bericht
Histogramm skalarer Wert Heatmap Kuchengraphik gewünschtes Filterkriterium gewünschte Achsen- bzw. Dimensionsauswahl gewünschtes Aggregationsverfahren gewünschtes Visualisierungsverfahren Verfahrensschritt -102 Verfahrensschritte -202 Verfahrensschritte Metrikgenerator

Claims

Patentansprüche
1. Verfahren zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems (10), wobei das Kl-basierte Informationsverarbeitungssystem (10) eine Funktion für das automatisierte Fahren eines Kraftfahrzeugs und/oder für eine Fahrerassistenz des Kraftfahrzeugs und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung oder für eine andere Anwendung bereitstellt, wobei als Eingangsparameter (9) mindestens ein Kl-basiertes
Informationsverarbeitungssystem (10), mindestens ein Datensatz (11), mindestens eine Datenaugmentierungsdefinition (12) und mindestens eine Differenzmaßdefinition (13) empfangen werden, wobei basierend auf den Eingangsparametern (9) eine multidimensionale Datenstruktur (20) erzeugt wird, wobei die Dimensionen und Wertebereiche der Dimensionen der multidimensionalen Datenstruktur (20) durch die empfangenen Eingangsparameter (9) festgelegt sind, und wobei jeder Datenpunkt (21) der multidimensionalen Datenstruktur (20) einen mittels des mindestens einen definierten Differenzmaßes (13a) bestimmten Differenzwert (22) umfasst, der bestimmt wird, indem das mindestens eine definierte Differenzmaß (13a) zwischen Ausgangsdaten gebildet wird, die von dem mindestens einen Kl-basierten Informationsverarbeitungssystem (10) jeweils für Daten (11a) des mindestens einen Datensatzes (11) und für dieselben mittels der mindestens einen definierten Datenaugmentierung (12a) augmentierten Daten erzeugt wurden, und wobei die erzeugte multidimensionale Datenstruktur (20) bereitgestellt wird, sodass eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems (10) basierend auf den von der multidimensionalen Datenstruktur (20) umfassten Differenzwerten (22) beurteilt werden kann.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Bereitstellen ein Bereitstellen einer Schnittstelle (5) zum gezielten Abrufen von Datenpunkten (21) der multidimensionalen Datenstruktur (20) umfasst.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bereitstellen ein Übermitteln der multidimensionalen Datenstruktur (20) an einen Zertifizierungsdienstleister und/oder einen Verwender des Kl-basierten Informationsverarbeitungssystems (10) und/oder ein Einladen der multidimensionalen Datenstruktur (20) in einen Speicher von mindestens einem Steuergerät (30) umfasst.
4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass als Eingangsparameter (9) zusätzlich eine Menge an Unterparametern (14) für die mindestens eine Datenaugmentierungsdefinition (12) empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur (20) und/oder das Augmentieren der Daten (11a) unter Berücksichtigung der empfangenen Menge an Unterparametern (14) erfolgt.
5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass als Eingangsparameter (9) zusätzlich eine Auswahl an statistischen Verteilungsfunktionen (16) für Parameterverteilungen für die mindestens eine Datenaugmentierungsdefinition (12) empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur (20) unter Berücksichtigung der Auswahl an statistischen Verteilungsfunktionen (16) für Parameterverteilungen erfolgt.
6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass als Eingangsparameter (9) eine Auswahl für eine Relevanz (18) einzelner Datenpunkte (21) empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur (20) unter Berücksichtigung der empfangenen Relevanz (18) erfolgt.
7. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass zusätzlich für jeden Datenpunkt (21) die jeweils von dem mindestens einen Kl-basierten Informationsverarbeitungssystem (10) erhaltenen Ergebnisse (23) in der multidimensionalen Datenstruktur (20) hinterlegt werden.
8. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die multidimensionale Datenstruktur (20) nach dem Bereitstellen durch Einfügen von mindestens einer weiteren Dimension und/oder durch Erweitern eines Wertebereiches mindestens einer Dimension erweitert wird, wobei die erweiterte multidimensionale Datenstruktur (20+) bereitgestellt wird.
9. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das mindestens eine Kl-basierte Informationsverarbeitungssystem (10) ein Neuronales Netz ist und/oder mindestens ein Neuronales Netz umfasst.
10. Vorrichtung (1) zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems (10), wobei das Kl-basierte Informationsverarbeitungssystem (10) eine Funktion für das automatisierte Fahren eines Kraftfahrzeugs und/oder für eine Fahrerassistenz des Kraftfahrzeugs und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung oder für eine andere Anwendung bereitstellt, umfassend eine Datenverarbeitungseinrichtung (2), wobei die Datenverarbeitungseinrichtung (2) dazu eingerichtet ist, als Eingangsparameter (9) mindestens ein Kl-basiertes
Informationsverarbeitungssystem (10), mindestens einen Datensatz (11), mindestens eine Datenaugmentierungsdefinition (12) und mindestens eine Differenzmaßdefinition (13) zu empfangen, und basierend auf den Eingangsparametern (9) eine multidimensionale Datenstruktur (20) zu erzeugen, wobei die Dimensionen und Wertebereiche der Dimensionen der multidimensionalen Datenstruktur (20) durch die empfangenen Eingangsparameter (9) festgelegt sind, und wobei jeder Datenpunkt (21) der multidimensionalen Datenstruktur (20) einen mittels des mindestens einen definierten Differenzmaßes (13a) bestimmten Differenzwert (22) umfasst, der bestimmt wird, indem das mindestens eine definierte Differenzmaß (13a) zwischen Ausgangsdaten gebildet wird, die von dem Kl- basierten Informationsverarbeitungssystem (10) jeweils für Daten (11a) des mindestens einen Datensatzes (11) und für dieselben mittels der mindestens einen definierten Datenaugmentierung (12a) augmentierten Daten erzeugt wurden, und die erzeugte multidimensionale Datenstruktur (20) bereitzustellen, sodass eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems (10) basierend auf den von der multidimensionalen Datenstruktur (20) umfassten Differenzwerten (22) beurteilt werden kann.
11. Steuergerät (30), umfassend einen Speicher, wobei in dem Speicher eine multidimensionale Datenstruktur (20) gespeichert ist, die als Datenbasis geeignet ist, um eine Robustheitsbeurteilung für mindestens ein Kl-basiertes Informationsverarbeitungssystem (10) zu ermöglichen.
12. Verwendung des Steuergeräts (30) nach Anspruch 11 zum Bewerten und Zertifizieren von mindestens einem Kl-basierten Informationsverarbeitungssystem (10).
EP21743443.0A 2020-07-13 2021-07-12 Verfahren und vorrichtung zum bereitstellen einer datenbasis zur robustheitsbeurteilung mindestens eines ki-basierten informationsverarbeitungssystems Pending EP4179470A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020208736.9A DE102020208736A1 (de) 2020-07-13 2020-07-13 Verfahren und Vorrichtung zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines KI-basierten Informationsverarbeitungssystems
PCT/EP2021/069268 WO2022013124A1 (de) 2020-07-13 2021-07-12 Verfahren und vorrichtung zum bereitstellen einer datenbasis zur robustheitsbeurteilung mindestens eines ki-basierten informationsverarbeitungssystems

Publications (1)

Publication Number Publication Date
EP4179470A1 true EP4179470A1 (de) 2023-05-17

Family

ID=76999846

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21743443.0A Pending EP4179470A1 (de) 2020-07-13 2021-07-12 Verfahren und vorrichtung zum bereitstellen einer datenbasis zur robustheitsbeurteilung mindestens eines ki-basierten informationsverarbeitungssystems

Country Status (3)

Country Link
EP (1) EP4179470A1 (de)
DE (1) DE102020208736A1 (de)
WO (1) WO2022013124A1 (de)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3754557A1 (de) 2019-06-19 2020-12-23 Robert Bosch GmbH Robustheitsanzeigeeinheit, zertifikatbestimmungseinheit, trainingseinheit, steuerungseinheit und computerimplementiertes verfahren zur bestimmung eines robustheitsindikators

Also Published As

Publication number Publication date
WO2022013124A1 (de) 2022-01-20
DE102020208736A1 (de) 2022-01-13

Similar Documents

Publication Publication Date Title
DE102018128289A1 (de) Verfahren und vorrichtung für eine autonome systemleistung und zur einstufung
DE102019218613B4 (de) Objektklassifizierungsverfahren, Objektklassifizierungsschaltung, Kraftfahrzeug
EP3393875B1 (de) Verfahren zum verbesserten erkennen von objekten durch ein fahrerassistenzsystem
EP3985565B1 (de) Verfahren und vorrichtung zum überprüfen eines beim teilautomatisierten oder vollautomatisierten steuern eines fahrzeugs verwendeten ki-basierten informationsverarbeitungssystems
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
DE102019203205B4 (de) Verfahren zum Auswerten von Fahrzeugdaten sowie Fahrzeugdatenauswertesystem zum Durchführen eines derartigen Verfahrens
EP4179471A1 (de) Verfahren und vorrichtung zum bewerten und zertifizieren einer robustheit eines ki-basierten informationsverarbeitungssystems
DE102021131115A1 (de) Verfahren zur Szenarienidentifikation für eine Applikation von Fahrerassistenzsystemen
EP4179470A1 (de) Verfahren und vorrichtung zum bereitstellen einer datenbasis zur robustheitsbeurteilung mindestens eines ki-basierten informationsverarbeitungssystems
DE102025102535A1 (de) Verfahren und Vorrichtung zur Anomalieerkennung
DE102023124870B4 (de) Verfahren und System zur erweiterten automatisierten Kalibrierung von Funktionen eines Fahrerassistenzsystems
DE102020212921A1 (de) Verfahren, Computerprogramm und Vorrichtung zum Bewerten einer Verwendbarkeit von Simulationsdaten
EP4078237A1 (de) Verfahren und vorrichtung zum erkennen einer entfremdung einer sensordatendomäne von einer referenzdatendomäne
DE102020127253A1 (de) Quantifizieren von fotorealismus in simulierten daten mit gan
DE102020120934A1 (de) Verfahren zum Bereitstellen eines komprimierten neuronalen Netzes zur Multi-Label Multi-Klassen Kategorisierung, Fahrzeugassistenzeinrichtung zur Umgebungskategorisierung und Kraftfahrzeug
WO2020114724A1 (de) Verfahren zum überprüfen wenigstens eines fahrzeugs sowie elektronische recheneinrichtung
DE102019128223B4 (de) Verfahren, Vorrichtungen und Computerprogramme
DE102020213058A1 (de) Verfahren und Vorrichtung zum teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs
DE102020123721A1 (de) Zustandsbestimmungsverfahren für eine Fahrzeugkomponente, Schaltung, Kraftfahrzeug
DE102020006267A1 (de) Verfahren zum Erzeugen eines Verhaltensmodells für eine Kraftfahrzeugflotte mittels einer kraftfahrzeugexternen elektronischen Recheneinrichtung, sowie kraftfahrzeugexterne elektronische Recheneinrichtung
DE102023124861B4 (de) Verfahren und System zur automatisierten Kalibrierung von Funktionen eines Fahrerassistenzsystems
DE102023124866B4 (de) Verfahren und System zur Verbesserung der automatisierten Kalibrierung von Funktionen eines Fahrerassistenzsystems
EP4553713A1 (de) Verfahren und vorrichtung zur vervollständigung eines datensatzes für ein maschinenlernmodel
EP4006848A1 (de) Verfahren zum testen eines objekterkennungssystems
DE102022111179A1 (de) Verfahren und vorrichtung zur erzeugung eines auf künstlicher intelligenz beruhenden prädiktors sowie dessen verwendung, und computerprogramm

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230201

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
19U Interruption of proceedings before grant

Effective date: 20240901

19W Proceedings resumed before grant after interruption of proceedings

Effective date: 20250701

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: VOLKSWAGEN AKTIENGESELLSCHAFT

Owner name: DSPACE GMBH

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: VOLKSWAGEN AKTIENGESELLSCHAFT

Owner name: DSPACE SE & CO. KG