EP4097647A1 - Verfahren zur qualitätssicherung eines beispielbasierten systems - Google Patents

Verfahren zur qualitätssicherung eines beispielbasierten systems

Info

Publication number
EP4097647A1
EP4097647A1 EP21711743.1A EP21711743A EP4097647A1 EP 4097647 A1 EP4097647 A1 EP 4097647A1 EP 21711743 A EP21711743 A EP 21711743A EP 4097647 A1 EP4097647 A1 EP 4097647A1
Authority
EP
European Patent Office
Prior art keywords
examples
complexity
quality
determined
assessment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21711743.1A
Other languages
English (en)
French (fr)
Inventor
Thomas Waschulzik
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP4097647A1 publication Critical patent/EP4097647A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space

Definitions

  • the invention relates to a method for quality assurance of an example-based system.
  • Example-based systems such as artificial neural networks, are known in principle. These are usually used in areas in which a direct algorithmic solution does not exist or cannot be adequately created using conventional software methods. Using example-based systems, it is possible to create and train a task on the basis of a number of examples. The learned task can be applied to a number of other examples.
  • this object is achieved by a method for quality assurance of an example-based system, in which the example-based system is created and trained on the basis of collected examples which form an example set.
  • the respective example of the sample set includes an input value which is in an input space.
  • a quality assessment (or a quality indicator), which covers the input space with examples of the example amount represented is determined based on the distribution of the input values in the input space.
  • the invention is based on the one hand on the knowledge that game-based systems such as neural networks are often viewed as black boxes.
  • the internal processing of information is not analyzed and an understandable model is not generated.
  • the system is not verified by an inspection. This leads to reservations when using example-based systems in tasks with a high level of criticality.
  • the invention is also based on the knowledge that when recording examples for creating and training the example-based system, it is often unknown how many examples must be recorded in which areas of the input space in order to create a suitable knowledge base.
  • the solution according to the invention eliminates these problems in that the coverage of the input space is determined by means of examples based on the distribution of the input values in the input space. This results in a mapping of the input space, which serves as a basis for the further acquisition of examples for the creation of a suitable knowledge base. In this way, the acquisition of the examples can be controlled according to the distribution in the input space, although the specific type of classifier or approximator has not yet been determined. The number of degrees of freedom with which the knowledge base is trained does not yet have to be specified either. By knowing the areas in which further examples have to be recorded, the examples can be recorded in a more targeted manner and consequently the costs for the recording of examples (since fewer examples have to be recorded in total) can be considerably reduced.
  • mapping of the input space for example-based systems
  • Coding of the characteristics is a prerequisite for the use of mapping of the input space for example-based systems.
  • the raw data are converted into a representation adapted to the solution of the task by application-specific transformations.
  • This representation is converted using standard procedures so that it can be used as the activity of the input neurons of a neural network (so-called coding).
  • the quality assessment which represents the coverage of the input space by examples of the sample set, can be used on the level of the representations and on the level of the coding.
  • the invention is further based on the knowledge that the coding and / or representation of the input features in the input space preferably have a semantic connection with the desired output of the example-based system. For example, pixel values of an RGB image are unsuitable as input for the large-, rotation- and translation-invariant classification of objects.
  • the input space should preferably be mapped if, for example, preprocessing has determined features that have a semantic relationship to the outputs.
  • the invention is further based on the knowledge that the relationship between the number of independent input features which determine the dimension of the state space spanned and the number of examples to be recorded for the configuration, training, evaluation and testing of the system is preferably not too large: because the coverage of the input space by examples is not sufficient in the case of a large ratio.
  • the invention is also based on the knowledge that the dimensions which span the state space are preferably semantically independent of one another (ie represent independent aspects of the task). Furthermore, the dimensions are preferably of equal relevance for solving the task. Further preferably, only a single classification task or approximation task is considered for quality assurance. For example, in an artificial neural network that is used as a single shot multibox detector (SSD), only the classification for a given object size is shown in a so-called default box (i.e. with a given aspect ratio, with a given scaling and at a given position in the Image) considered.
  • SSD single shot multibox detector
  • the example-based system is preferably provided for use in a safety-related function.
  • safety-related function to be a function of a system that is safety-relevant, i.e. whose behavior has an impact on the safety of the system's environment.
  • safety is to be understood in the sense of so-called safety.
  • safety the goal of protecting the environment of a system from dangers emanating from the system is referred to as "safety” the environment of the system, referred to as "security”.
  • the determination comprises: distributing representatives in the input space and assigning a number of examples of the sample set to the respective representative.
  • the examples assigned to the representative are located in an area surrounding the input space which surrounds the representative.
  • a local quality assessment for the surrounding area is determined as a quality assessment.
  • example data sets are determined within the environmental areas that are assigned to the representatives.
  • the local quality assessments are calculated for each of these sample data sets.
  • the subdivision of the sample set into several surrounding areas brings with it the advantages that usually result from the ITS approach of the divide-and-conquer method.
  • a developer of the example-based system can concentrate on those parts of the input space in which certain quality criteria are not met by the determined quality assessment.
  • a representative example is preferably distributed as a representative.
  • the distribution is preferably a uniform distribution.
  • a grid for arranging the representative examples is selected in the input room.
  • the grid can be set individually for each dimension of the input space.
  • a criterion for defining the grid for example in the case of categorical variables, can be a model of target properties of the example distribution in the input space, which is made on the basis of the requirements of the example-based system.
  • the grid can have a hierarchical structure, for example in order to map hierarchical codings.
  • a representative example is distributed in each hypercube in the input space of the grid. In the case of a hierarchical structure of the grid, a representative example is distributed per hierarchy level.
  • the representative is a center of a cluster, which is determined by means of a cluster method.
  • the cluster method is preferably used to determine the position and to determine the extent of the respective cluster in the input space. More preferably, the cluster method is carried out taking into account output values of the examples that are in an output space.
  • the clusters can be configured on the basis of property requirements ten of the example-based system or on the basis of a subset of example data. In the application of the example-based system, for example, a set of examples can be recorded in an early phase, which are selected on the basis of knowledge to meet the requirements. This distribution of the sample data is then quality assured. In a subsequent project phase, further examples with the same distribution can be recorded.
  • each example of the quality-assured sample set represents a representative for the following phase of capturing the examples. This ensures that an additional quality-assured set of examples is captured for each initial example.
  • the position of the representative can for example be determined by the cluster center.
  • a hierarchical clustering method can be used in which a representative is inserted per cluster and per hierarchical level and in which each example per hierarchical level is assigned to a cluster and consequently to a representative.
  • the set of examples that is available for calculating the quality assessment is then assigned to the clusters and consequently to the representative using a predefined metric. For an example that cannot be assigned to a cluster, a new cluster with a representative is preferably created. Alternatively, this example is recorded separately by a quality assessment together with other examples that could not be assigned to any cluster.
  • the examples are preferably not assigned to a representative in full, but only to a predetermined proportion. This can result, for example, from the fact that a cluster algorithm is used which provides a partial assignment of the examples to the sample data sets (for example a percentage assignment to several surrounding areas, the sum of the proportions being 1).
  • the respective example is taken into account according to the associated proportion.
  • the quality assessment is preferably determined on the basis of the number of examples assigned to the respective representative or on the basis of other features. This is particularly advantageous if the specific examples are no longer used in the following.
  • the specific examples or a reference to the examples are stored in the representative (transformation of the sample data volume into a structure based on the topography of the input space). This is advantageous if the specific examples are needed later.
  • the storage space required for the processing is preferably reduced in that the representatives are only stored if there is at least one example in the respective surrounding area.
  • the quality assessment comprises a statistical means which is determined on the basis of the sample set and / or the examples assigned to a respective representative.
  • a histogram of the number of examples assigned to a representative is created as a statistical means.
  • a statistical measure in particular a mean value, median, minimum, maximum and / or quantile of the number of examples assigned to a representative, is determined as the statistical mean.
  • adjacent surrounding areas are determined in the input room, the respective representatives of which are assigned a number of examples that meet a predefined quality criterion of the quality assessment.
  • the specified quality criterion is preferably met if the number of examples assigned to a respective representative exceeds a specified quality threshold value. falls below, exceeds or is in a specified quality band of the quality assessment.
  • different neighborhood relationships can be used, for example the Von Neumann neighborhood (also called the 4-way neighborhood), the Moore neighborhood (also called the 8-part neighborhood) or the neighborhood from graph theory, be used.
  • the defined neighborhood relationships must be transferred accordingly for higher-dimensional spaces: In three-dimensional space, for example, the 6-fold neighborhood for cuboids with common areas, the 18-fold neighborhood for cuboids with common edges and the 26-fold neighborhood for cuboids with common corner points considered.
  • the neighborhood is defined by how many dimensions two grid points may differ in order to still be seen as adjacent.
  • a context area is determined within the input space, which consists of neighboring surrounding areas, the representatives of which are each assigned a number of examples that meet a predefined quality criterion.
  • the predefined quality criterion is preferably met when the number of examples assigned to a respective representative falls below or exceeds a predefined quality threshold value or is in a predefined quality band of the quality assessment.
  • the location and size of areas of the input space in which too few examples were recorded can be determined in a particularly advantageous manner.
  • a particular advantage of the embodiment is that sub-areas of the input space are identifiable. in which the sample values do not provide a sufficient basis for a safety-critical application. This in turn has the advantage that corrective action can be taken, for example by recording further examples or by restricting the knowledge base in the application to the high-quality related areas.
  • the determination of the areas in which too few examples were recorded has the advantage that attacks by adversarial examples can be counteracted preventively. Because in these areas the probability of an attack being successful by an adversarial example is comparatively high. It can be reduced by recording further examples in these areas or by restricting the knowledge base to the high-quality related areas.
  • Quality assessments can be calculated on the basis of the determined connection areas. For example, the number of representatives in a related area can be determined. Histograms can be created for the size or other properties of a context area. In addition, statistical measures such as a mean value, median, quantile or standard deviation of properties of the areas of connection can be calculated. In addition, the extent of the connected areas in the dimensions of the input space can be determined. The dimensions can be arranged in the order of the greatest extent of the context.
  • examples are recorded in the respective surrounding area if the quality assessment determined for the respective surrounding area is less than a predetermined quality threshold value.
  • examples are removed from a respective surrounding area if those for the respective surrounding area determined quality assessment is greater than a predetermined quality threshold value.
  • the respective example comprises an output value that lies in an output space.
  • a local complexity assessment is determined for the respective environmental area, which represents a complexity of a task of the example-based system defined by the examples of the environmental area.
  • the local complexity assessment is determined by the relative position of the examples of the surrounding area to one another in the input space and output space.
  • the complexity assessment corresponds, for example, to the WASCHULZIK section 4 (QUEEN quality indicators) written quality indicators. These quality indicators can be defined and used for the representation or coding of the characteristics (see section 4.5 of WASCHULZIK).
  • the integrated quality indicator QI 2 according to section 4.6 of WASCHULZIK, which is defined according to formula 4.21 as follows, is used as the quality indicator for the representations: where according to formula 4.18 from WASCHULZIK: the normalized distance between the represented inputs (NRE) and is the normalized spacing of the represented expenditure (NRA).
  • x is the pair (x- ⁇ x 2 ,) consisting of the two examples x 1 and x 2 .
  • C and x 2 are examples from the example set P. P.
  • BAG ⁇ ri, Ri, ..., p ⁇ p ⁇ ] is the set of elements of BAG P, where
  • BAG is a multiset (called multiset or bag in English), as defined in Specification 21.5 on page 27 of the WASCHULZIK appendix.
  • the QAG task is defined in definition 3.1 on page 23 of WASCHULZIK and is referred to there as the QUEEN task.
  • ⁇ RE () is an abbreviation for the distance in the input space d re ( ve P xi> ve V xi ) and d R4 (x) is an abbreviation for the distance im
  • Output space d ra (vap xl , vap x2 ).
  • the definition of the distance between the representation of two examples according to WASCHULZIK is based on the Euclidean norm.
  • the distance in the input space is defined as (see formula 4.3 from WASCHULZIK): -reiPkl'Vkl) ⁇
  • an aggregated complexity assessment is determined by aggregating the local complexity assessments.
  • the aggregated complexity assessment has the advantage that a developer of the example-based system can easily perform his quality assurance.
  • a histogram of the complexity in the different areas surrounding the input space is created as an aggregated complexity assessment.
  • the range of values of the complexity assessments is binned (ie divided into ranges).
  • the bins preferably contain only the number of surrounding areas with a corresponding complexity when the positions of the surrounding areas are no longer required.
  • This histogram is preferably combined with information about the number of examples. summarized, for example also in a histogram of the number of examples assigned to the representative. More preferably, information about the representatives is stored in the histogram so that they can be used for detailed analyzes.
  • environmental areas are identified on the basis of the aggregated complexity assessment, the complexity assessment of which falls below a predefined complexity threshold value.
  • the task of the example-based system is implemented through an algorithmic solution. This is particularly advantageous for applications with high quality requirements, for example in the case of safety-oriented functions.
  • the input space is divided hierarchically on the basis of the quality assessment.
  • a hierarchical mapping of the input space is preferably achieved through the hierarchical division of the input space.
  • the hierarchy is furthermore preferably derived from the representation or coding of the input feature and / or from the analysis of the complexity of the task.
  • the density of the representatives can either be increased dynamically (until a homogeneous complexity is achieved) or a new hierarchy level can be introduced.
  • a new hierarchy level is introduced by adding a new subdivision with a higher resolution in the area of the representative. The procedure can be iterated by adding a further hierarchy level in the high-resolution area when the local complexity increases again. This means that the resolution can be dynamically adapted to the task at hand.
  • a complexity distribution is determined by means of a histogram representation of the complexity assessment over k nearest neighbors of an example in the input space.
  • it is determined for the local environment of an example how the complexity is distributed.
  • the characteristic of the complexity in the local environment of the example is determined and, so to speak, a fingerprint of the local environment of the example is determined with regard to the complexity.
  • the value range of the complexity evaluations is preferably binned for the histogram display (ie divided into areas). For example, the "binned" values are plotted on the y-axis and the representation of the increasing k (the k-nearest neighbors) is entered on the x-axis.
  • the number of values of the complexity evaluation is preferably stored for the calculated histogram field (complexity evaluation binned, k). More preferably, identification information (for example a number) containing the example in the vicinity of which the complexity distribution was determined is also stored.
  • the example-based system is intended for use in a safety-related function, the safety-related function comprising object recognition based on image recognition, in which the object is recognized using the example-based system.
  • the object recognition is performed during automated operation of a vehicle, in particular a track-bound vehicle, a motor vehicle, an aircraft, a watercraft and / or a spacecraft used.
  • the object recognition in an automated operation of a vehicle is a particularly expedient embodiment of a Si ⁇ cherheits penetrateeten function.
  • the object recognition is necessary, for example, to recognize obstacles on the road or to analyze traffic situations with regard to the right of way of road users.
  • the motor vehicle is, for example, a motor vehicle, e.g. a passenger car (passenger car), a truck (truck) or a tracked vehicle.
  • a motor vehicle e.g. a passenger car (passenger car), a truck (truck) or a tracked vehicle.
  • the watercraft is, for example, a ship or a submarine.
  • the vehicle can be manned or unmanned.
  • An example of an application area is the autonomous or automated driving of a rail vehicle.
  • object recognition systems are used to analyze scenes that are digitized with sensors. This scene analysis is necessary, for example, to recognize obstacles on the road or to analyze traffic situations with regard to the right of way of road users.
  • Systems based on the use of examples with which the parameters of the pattern recognition system are trained are currently used particularly successfully for the recognition of the objects. Examples of this are neural networks, e.g. with deep learning algorithms.
  • the example-based system is provided for use in a safety-related function, the safety-related function comprising a classification based on sensor data from organisms.
  • the tissue classification of animal or human tissue is a particularly useful implementation of a safety-oriented function in the field of medical image processing.
  • the organisms include, for example, Archaea (primordial bacteria), Bacteria (real bacteria) and Eukarya (nuclei) or from tissue from Protista (also Protoctista, greener), Plantae (plants), Fungi (fungi, chitin fungi) and Animalia (Animals).
  • the example-based system comprises
  • an artificial neural network with one or more layers of neurons that are not input neurons or output neurons and are trained with backpropagation
  • the one or more layers of neurons that are not input neurons or output neurons are often referred to in technical terms as "hidden” neurons.
  • the training of neural networks with many levels hidden neurons is also often referred to by experts as deep learning.
  • a special type of deep learning network for pattern recognition are the so-called Conventional Neuronal Networks (CNNs).
  • CNNs Conventional Neuronal Networks
  • SSD networks Single Shot MultiBox.
  • Single Shot MultiBox Detector Single shot multibox detector. European Conference on Computer Vision. Lecture Notes in Computer Science. 9905. pp. 21-37. ArXiv: 1512.02325
  • the invention also relates to a computer program comprising instructions which, when the program is executed by a computing unit, cause the computing unit to carry out the method of the type described above.
  • the invention also relates to a computer-readable storage medium, comprising instructions which, when executed by a computing unit, cause the computing unit to carry out the method of the type described above.
  • Figure 1 schematically the sequence of an embodiment example of a method according to the invention
  • Figure 2 schematically shows the structure of an exemplary system based on thewhosbei game of the method according to the invention
  • Figure 3 schematically shows a two-dimensional input space according to the embodiment of the method according to the invention
  • FIG. 4 shows a schematic side view of a track-bound vehicle on a route
  • FIG. 5 shows a hierarchical division of the input space
  • FIG. 6 shows two axis diagrams which represent the application of the complexity assessment to a first synthetic function
  • FIG. 7 shows two axis diagrams which represent the application of the complexity assessment to a second synthetic function
  • FIG. 8 shows two axis diagrams which represent the application of the complexity assessment to a third synthetic function
  • FIG. 9 schematically shows a further example of a two-dimensional input space in accordance with a further exemplary embodiment of the method according to the invention.
  • FIG. 1 shows a schematic flow diagram which represents the sequence of an exemplary embodiment of a method according to the invention for quality assurance of an example-based system.
  • FIG. 2 shows schematically the structure of an example-based system 1 in which the quality assurance of the system is carried out using the exemplary embodiment of the method according to the invention.
  • the example-based system 1 is a system with supervised learning and is formed by an artificial neural network 2, which has a layer 4 of input neurons 5 and a layer 6 of output neurons 7.
  • the artificial neural network 2 has several layers 8 of neurons 9 that are not input neurons 5 or output neurons 7.
  • the artificial neural network 2 is a so-called multi-layer perceptron, but it can also be a recurrent neural network, a convolutional neural network, or in particular a so-called single-shot multi-box detector network.
  • the example-based system and the method according to the invention are implemented using one or more computer programs.
  • the computer program comprises commands which, when the program is executed by a computer unit, cause the computer unit to carry out the method according to the invention in accordance with the exemplary embodiment shown in FIG.
  • the computer program is stored on a computer-readable storage medium.
  • the example-based system is used in a safety-related function of a system.
  • the behavior of the function therefore has an impact on the safety of the system's environment.
  • An example of a safety-related function is object recognition based on image recognition, in which the object is recognized using the example-based system 1.
  • the object recognition is used, for example, in automated operation of a vehicle, in particular a track-bound vehicle 40 shown in FIG. 4, a motor vehicle, an aircraft, a watercraft or a spacecraft.
  • a safety-related function is a classification based on sensor data from organisms, e.g. from Archaea (original bacteria), Bacteria (real bacteria) and Eukarya (nuclei) or from tissue from Protista (also Protoctista, founder), Plantae (plants), Fungi (mushrooms, chitin mushrooms) and Animalia (animals), a safe control of industrial plants, a classification of chemical substances, a classification of signatures of Vehicles or a controller in the field of industrial automation.
  • organisms e.g. from Archaea (original bacteria), Bacteria (real bacteria) and Eukarya (nuclei) or from tissue from Protista (also Protoctista, founder), Plantae (plants), Fungi (mushrooms, chitin mushrooms) and Animalia (animals), a safe control of industrial plants, a classification of chemical substances, a classification of signatures of Vehicles or a controller in the field of industrial automation
  • a process step A it is determined which examples are to be collected.
  • a step B the examples are collected:
  • the collected examples form an example set.
  • the respective example has an input value 12, which lies in an input space, and an output value 14, which lies in an output space.
  • object recognition as one of several possible examples of a safety-oriented function
  • the examples are collected by providing the track-bound vehicle 40 with a camera unit 42 for capturing images.
  • the camera unit 42 is oriented in the direction of travel 41 in such a way that a spatial area 43 ahead in the direction of travel 41 is captured by the camera unit.
  • the lane-bound vehicle 40 drives with the camera unit 42 in the direction of travel 41 along a route 44.
  • scenes that are relevant for the creation and training of the example-based system 1 for object recognition are simulated.
  • cardboard figures, crash test dummies or actors 45 are used to represent people on the route 44 who are to be recognized by means of the example-based system 1 to be created and trained.
  • scenes can be simulated using so-called virtual reality.
  • a quality assessment which represents coverage of the input space by examples of the sample set, is determined.
  • C the quality assessment
  • CI representatives are distributed in the input space in a method step.
  • FIG. 3 shows a two-dimensional input space 20 as an example. In the actual application of the method according to the invention, the input space and output space will often have a higher dimensionality.
  • the examples 22 of the example set are shown as crosshairs 23 in FIG.
  • the representatives 24 are evenly distributed and are shown as intersection points 25 of the grid 26 shown.
  • a respective representative 28 is assigned a number of examples 29 of the example set.
  • the examples 29 assigned to the representative 28 are located in a surrounding area 30 of the input space 20, which surrounds the respective representative 28.
  • the surrounding area 30 is shown by way of example in FIG. 3 as a dotted area.
  • a quality assessment a local quality assessment for the surrounding area 30 is determined in a method step C3.
  • a method step C4 adjacent surrounding areas 32-36 are determined in the input space, the respective representative of which is assigned a number of examples which fall below a predetermined quality threshold value.
  • these surrounding areas 32-36 are shown as areas with diagonal stripes.
  • the surrounding areas 32-36 are areas in which there is no example.
  • a context area 38 is determined within the input space 20, which consists of the adjacent surrounding areas 32-36, the representatives of which are each assigned a number of examples that are below a predetermined quality threshold. This determines the position and size of areas of input space 20 in which too few examples have been recorded. In other words: partial areas of the input space 20 are identified in which the example values do not provide a sufficient basis for a safety-critical application.
  • Corrective action can be taken on the basis of the identification: For this purpose, for example, in a method step D, further examples are recorded in a respective surrounding area if the quality assessment determined for the respective surrounding area is less than a predetermined quality threshold.
  • a local complexity assessment is determined for the respective surrounding area, which represents a complexity of a task of the example-based system defined by the examples of the surrounding area.
  • the local complexity assessment is determined according to a method step E1 by the relative position of the examples of the surrounding area to one another in the input space 20 and the output space. That is to say, the complexity assessment is defined based on the consideration of the similarity of the distances between the examples in the input space 20 and the distances in the output space.
  • the task of the example-based system has a comparatively low complexity if the distances in the input space 20 (apart from the scaling) correspond approximately to the distances in the output space.
  • the complexity assessment is used to identify areas in which, due to the high complexity of the task of the example-based system, a comparatively high number of examples must be recorded. For example, in areas of the input space 20 in which there is a higher complexity, the density of the representatives is dynamically increased until a homogeneous complexity is reached. Alternatively, a new hierarchy level can be introduced (as is described below by way of example with reference to FIG. 5).
  • the complexity assessment corresponds to the quality indicators described in section 4 (QUEEN quality indicators) of WASCHULZIK. These quality indicators can be defined and used for the representation or coding of the characteristics (see section 4.5 of WASCHULZIK).
  • An example of this quality indicator for the representations is the integrated quality indicator QI 2 according to Section 4.6 of WASCHULZIK.
  • an aggregated complexity assessment is determined by aggregating the local complexity assessment: For example, the aggregated complexity Complexity assessment creates a histogram of the complexity in the various surrounding areas of the input space. For this purpose, the value range of the complexity assessments is binned (ie divided into areas). The bins contain only the number of surrounding areas with the corresponding complexity, provided that the positions of the surrounding areas are no longer required.
  • This histogram is summarized with information about the number of examples, for example also in a histogram about the number of examples assigned to the representative. More preferably, information about the representatives is stored in the histogram so that they can be used for detailed analyzes.
  • a method step F On the basis of the complexity assessment, it can be recorded in a method step F whether an appropriate number of examples were recorded in all areas. If an area is identified in which too many examples were captured with low complexity, examples can be removed from this area. This reduction of the examples reduces the storage space requirement and the costs for the calculations, e.g. for quality assurance measures based on the sample data volume. If an area is identified in which too few examples were recorded (e.g. because the complexity is comparatively high), further examples may have to be recorded in this area. The latter case frequently occurs in those areas in which a new hierarchical level has been introduced (as is described below by way of example with reference to FIG. 5). After further examples have been recorded, a quality assurance loop (according to method steps C to E) is run through until all the desired quality requirements are met.
  • a method step G environmental areas are identified whose complexity assessment falls below a predetermined complexity threshold.
  • the task of the example-based system is implemented according to a method step H by an algorithmic solution if the functionality of the system (ie semantic relationships) is known for the surrounding area.
  • the system's task is therefore implemented as a conventional algorithm (instead of an example-based system).
  • the statistical system is also created in step H or the structure of the neural network is established and the neural network is trained.
  • FIG. 5 shows, by way of example, a hierarchical division of an input space 120, by means of which a hierarchical mapping of the input space is achieved.
  • the collected examples 122 of the example set are shown as stars 123 and circles 125 in FIG.
  • the stars 123 and Kriese 125 are examples of different object classes (i.e. have a different position in the output space).
  • a new hierarchy level 126 can also be introduced.
  • the new hierarchy level 126 is introduced, for example, by adding a new subdivision 132 with a higher resolution 134 in the area 130.
  • the procedure can be iterated by adding a further hierarchy level in the high-resolution area when the local complexity increases again.
  • FIGS. 6 to 8 each show, for a synthetic function, a histogram of the distribution of the complexity evaluation over k-nearest neighbors of a preselected example.
  • the example is a proxy or a center of a cluster (as described above).
  • the example can also be an example selected from the area surrounding a representative, which was selected for a more in-depth investigation with regard to the complexity of the task.
  • Figure 6 shows Figures 4.1 on the left and Figure 4.4 from WASCHULZIK on the right.
  • Figure 7 shows Figure 4.17 on the left and Figure 4.20 from WASCHULZIK on the right.
  • the axis diagram in FIG. 7 on the right is scaled in such a way that 40 stands for the value 1.
  • Figure 8 shows Figure 4.41 on the left and Figure 4.44 from WASCHULZIK on the right.
  • y sin (8 * pi * x / 300) + br (seed, 300) is shown as an axis diagram on the left in FIG. It is a sine function that has stochastic noise in the ranges 0 ⁇ xd 50 and 100 ⁇ xd 200.
  • the axis diagram in Figure 8 is so sketchy determines that 40 stands for the value 1.
  • the person skilled in the art can also identify the representatives in which, for example, very
  • FIG. 9 shows an exemplary embodiment of an input space 220 in which the representatives each form a center of a cluster which is determined by means of a clustering method. Examples 222 of the example set are shown in FIG. 9 as crosshairs 223.
  • FIG. 9 shows, by way of example, four clusters 230, 232, 234 and 236, each of which comprises several examples. These examples lie within a dashed border line in the representation, which does not represent an actual delimitation of a cluster, but has only been drawn in for illustration.
  • the clusters 230, 232, 234 and 236 each have an associated cluster center 240, 242, 244 and 246 (shown as a plus).
  • the cluster centers 240, 242, 244, 246 each lie centrally within the cluster and are assigned to a cluster regardless of the boundaries of the grid of the input space.
  • the clusters according to FIG. 9 have the advantage that they represent the topology of the data in a particularly suitable manner.
  • the grating according to FIG. 3 has the advantage that the uncovered areas are mapped more appropriately.
  • the coverage of the input space (according to method step C) can be calculated using the grid and the complexity assessment (according to method step E) can also be calculated using the cluster center in addition to the grid.
  • Which approach is more suitable can also depend on the neural network method. If the coding neurons can move in the input space, then the cluster approach is preferably chosen or the cluster centers are equated with the positions of the coding neurons in the input space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

201921247 35 Zusammenfassung Verfahren zur Qualitätssicherung eines beispielbasierten Sys- tems 5 Die Erfindung betrifft ein Verfahren zur Qualitätssicherung eines beispielbasierten Systems (1). Zur Verbesserung der Qualitätssicherung wird bei dem Verfahren das beispielbasier- te System (1) anhand von erhobenen Beispielen (22), welche eine Beispielmenge bilden, erstellt und trainiert. Das jewei-10 lige Beispiel (22) der Beispielmenge umfasst einen Eingabe- wert (12), welcher in einem Eingaberaum (20) liegt. Eine Qua- litätsbewertung, welche eine Abdeckung des Eingaberaums (20) durch Beispiele (22) der Beispielmenge repräsentiert, wird anhand der Verteilung der Eingabewerte (12) im Eingaberaum 15 (20) ermittelt (C). Figur 1

Description

Beschreibung
Verfahren zur Qualitätssicherung eines beispielbasierten Sys tems
Die Erfindung betrifft ein Verfahren zur Qualitätssicherung eines beispielbasierten Systems.
Beispielbasierte Systeme, wie künstliche neuronale Netze, sind grundsätzlich bekannt. Diese werden in der Regel in Be reichen eingesetzt, in denen eine direkte algorithmische Lö sung nicht existiert oder mit konventionellen Softwaremetho den nicht adäquat erstellt werden kann. Mittels beispielba sierter Systeme ist es möglich, eine Aufgabenstellung auf der Basis einer Menge von Beispielen zu erstellen und zu trainie ren. Die gelernte Aufgabenstellung kann auf eine Menge von weiteren Beispielen angewandt werden.
In der Dissertation „Qualitätsgesicherte effiziente Entwick lung vorwärtsgerichteter künstlicher Neuronaler Netze mit überwachtem Lernen (QUEEN) " von Thomas Waschulzik wird die Entwicklung vorwärtsgerichteter künstlicher neuronaler Netze mit überwachtem Lernen beschrieben (im Folgenden:
WASCHULZIK).
Vor diesem Hintergrund ist es Aufgabe der Erfindung, die Qua litätssicherung eines beispielbasierten Systems zu verbes sern.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zur Qualitätssicherung eines beispielbasierten Systems gelöst, bei welchem das beispielbasierte System anhand von erhobenen Beispielen, welche eine Beispielmenge bilden, erstellt und trainiert wird. Das jeweilige Beispiel der Beispielmenge um fasst einen Eingabewert, welcher in einem Eingaberaum liegt. Eine Qualitätsbewertung (bzw. ein Qualitätsindikator), welche eine Abdeckung des Eingaberaums durch Beispiele der Beispiel- menge repräsentiert, wird anhand der Verteilung der Eingabe werte im Eingaberaum ermittelt.
Die Erfindung beruht einerseits auf der Erkenntnis, dass bei spielbasierte Systeme, wie neuronale Netze, häufig als Black box betrachtet werden. Hierbei wird die interne Informations verarbeitung nicht analysiert und die Erzeugung eines ver ständlichen Modells entfällt. Zudem wird das System nicht durch eine Inspektion verifiziert. Dies führt zu Vorbehalten beim Einsatz beispielbasierter Systeme in Aufgabenstellungen mit hoher Kritikalität.
Die Erfindung beruht zudem auf der Erkenntnis, dass bei der Erfassung von Beispielen zur Erstellung und zum Training des beispielbasierten Systems häufig unbekannt ist, wie viele Beispiele in welchen Bereichen des Eingaberaums erfasst wer den müssen, um eine geeignete Wissensbasis zu erstellen.
Die erfindungsgemäße Lösung behebt diese Probleme, indem die Abdeckung des Eingaberaums durch Beispiele anhand der Vertei lung der Eingabewerte im Eingaberaum ermittelt wird. Dadurch wird eine Kartierung des Eingaberaums erzielt, welche als Ba sis für die weitere Erfassung von Beispielen zur Erstellung einer geeigneten Wissensbasis dient. So kann die Erfassung der Beispiele entsprechend der Verteilung im Eingaberaum ge steuert werden, obwohl die konkrete Art des Klassifikators oder Approximators noch nicht festgelegt wurde. Auch die An zahl der Freiheitsgrade, mit denen die Wissensbasis trainiert wird, muss noch nicht festgelegt werden. Durch die Kenntnis darüber, in welchen Bereichen weitere Beispiele erfasst wer den müssen, können die Beispiele gezielter erfasst werden und folglich die Kosten für die Erfassung von Beispielen (da ins gesamt weniger Beispiele erfasst werden müssen) erheblich re duziert werden.
Mit der Erfindung wurde zudem erkannt, dass eine Vorausset zung für den Einsatz von Kartierungen des Eingaberaums für beispielbasierte Systeme eine geeignete Repräsentation und Kodierung der Merkmale ist. Die Rohdaten werden durch appli kationsspezifische Transformationen in eine der Lösung der Aufgabenstellung angepasste Repräsentation umgewandelt. Diese Repräsentation wird mithilfe von Standardverfahren so umge wandelt, dass sie als Aktivität der Eingabeneuronen eines neuronalen Netzes verwendet werden kann (sogenannte Kodie rung). Die Qualitätsbewertung, welche die Abdeckung des Ein gaberaums durch Beispiele der Beispielmenge repräsentiert, kann auf der Ebene der Repräsentationen und auf der Ebene der Kodierungen eingesetzt werden.
Die Erfindung beruht weiter auf der Erkenntnis, dass die Ko dierung und/oder Repräsentation der Eingabemerkmale im Einga beraum vorzugsweise einen semantischen Zusammenhang mit der gewünschten Ausgabe des beispielbasierten Systems haben. So sind beispielsweise Pixelwerte eines RGB-Bildes als Eingabe für die großen-, rotations- und translationsinvariante Klas sifikation von Objekten ungeeignet. Vorzugsweise ist die Kar tierung des Eingaberaums vorzunehmen, wenn beispielsweise durch eine Vorverarbeitung Merkmale bestimmt wurden, die ei nen semantischen Zusammenhang zu den Ausgaben haben.
Die Erfindung beruht weiter auf der Erkenntnis, dass das Ver hältnis zwischen der Anzahl der unabhängigen Eingabemerkmale, welche die Dimension des aufgespannten Zustandsraums bestim men, und der Anzahl der für die Konfiguration, das Training, die Evaluierung und den Test des Systems zu erfassenden Bei spiele vorzugsweise nicht zu groß ist: Denn die Abdeckung des Eingaberaums durch Beispiele ist im Falle eines großen Ver hältnisses nicht ausreichend.
Weiter beruht die Erfindung auf der Erkenntnis, dass die Di mensionen, welche den Zustandsraum aufspannen, vorzugsweise voneinander semantisch unabhängig sind (d.h. unabhängige As pekte der Aufgabe repräsentieren). Weiter vorzugsweise sind die Dimensionen für die Lösung der Aufgabenstellung von glei cher Relevanz. Weiter vorzugsweise wird für die Qualitätssicherung aus schließlich eine einzige Klassifikationsaufgabe oder Approxi mationsaufgabe betrachtet. Beispielsweise wird in einem künstlichen neuronalen Netz, welches als Single Shot Multibox Detector (SSD) verwendet wird, ausschließlich die Klassifika tion für eine vorgegebene Objektgröße in einer sogenannten Default Box (d.h. mit einem vorgegebenen Seitenverhältnis, mit einer vorgegebenen Skalierung und an einer vorgegebenen Position im Bild) betrachtet.
Vorzugsweise ist das beispielbasierte System für den Einsatz in einer sicherheitsgerichteten Funktion vorgesehen. Der Fachmann versteht unter dem Begriff „sicherheitsgerichtete Funktion" eine Funktion eines Systems, welche sicherheitsre levant ist, d.h. deren Verhalten Einfluss auf die Sicherheit der Umgebung des Systems hat. Dabei ist der Begriff „Sicher heit" im Sinne der sogenannten Safety zu verstehen. Als „Sa- fety" wird im fachmännischen Sprachgebrauch das Ziel bezeich net, die Umwelt eines Systems vor Gefahren zu schützen, die von dem System ausgehen. Im Unterscheid dazu wird im fachmän nischen Sprachgebrauch das Ziel, das System vor Gefahren zu schützen, die von der Umwelt des Systems ausgehen, als „Security" bezeichnet.
Bei einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens umfasst das Ermitteln: Verteilen von Repräsentan ten im Eingaberaum und Zuordnen einer Anzahl von Beispielen der Beispielmenge zu dem jeweiligen Repräsentanten. Die dem Repräsentanten zugeordneten Beispiele liegen in einem Umge bungsbereich des Eingaberaums, welcher den Repräsentanten umgibt. Als Qualitätsbewertung wird eine lokale Qualitätsbe wertung für den Umgebungsbereich ermittelt.
Durch die Zuordnung der Beispiele aus der Beispielmenge zu den Repräsentanten werden Beispieldatenmengen innerhalb der Umgebungsbereiche bestimmt, die den Repräsentanten zugeordnet sind. Für diese Beispieldatenmengen werden jeweils die loka len Qualitätsbewertungen berechnet. Die Unterteilung der Beispielmenge in mehrere Umgebungsberei che bringt die Vorteile mit sich, die sich in der Regel aus dem Ansatz des Teile-und-Herrsche-Verfahrens aus der Informa tik ergeben. So kann sich beispielsweise ein Entwickler des beispielbasierten Systems auf diejenigen Teile des Eingabe raums konzentrieren, in denen bestimmte Qualitätskriterien durch die ermittelte Qualitätsbewertung nicht erfüllt sind.
In diesen Teilen kann die Qualität entsprechend überprüft und gegebenenfalls verbessert werden. Dadurch wird der Aufwand bei der Bewertung der Gesamtbeispielmenge erheblich redu ziert.
Als Repräsentant wird vorzugsweise ein Stellvertreterbeispiel verteilt. Das Verteilen ist vorzugsweise ein Gleichverteilen. Dabei wird beispielsweise im Eingaberaum ein Raster zur An ordnung der Stellvertreterbeispiele gewählt. Das Raster kann für jede Dimension des Eingaberaums einzeln festgelegt wer den. Ein Kriterium für die Festlegung des Rasters, beispiels weise bei kategorialen Variablen, kann ein Modell über Soll- Eigenschaften der Beispielverteilung im Eingaberaum sein, welches auf der Basis der Anforderungen an das beispielba sierte System gestellt wird. Das Raster kann hierarchisch aufgebaut sein, um beispielsweise hierarchische Kodierungen abzubilden. Bei der Anwendung eines Rasters zur Anordnung der Stellvertreterbeispiele wird in jedem Hyperkubus im Eingabe raum des Rasters ein Stellvertreterbeispiel verteilt. Bei ei nem hierarchischen Aufbau des Rasters wird pro Hierarchieebe ne ein Stellvertreterbeispiel verteilt.
Alternativ ist der Repräsentant ein Zentrum eines Clusters, welches mittels eines Clusterverfahrens bestimmt wird. Das Clusterverfahren wird vorzugsweise zur Bestimmung der Positi on und zur Bestimmung der Ausdehnung des jeweiligen Clusters im Eingaberaum verwendet. Weiter vorzugsweise wird das Clus terverfahren unter Berücksichtigung von Ausgabewerten der Beispiele, die in einem Ausgaberaum liegen, durchgeführt. Die Cluster können auf der Basis von Anforderungen an Eigenschaf- ten des beispielbasierten Systems festgelegt werden oder auf der Basis einer Teilmenge von Beispieldaten. In der Anwendung des beispielbasierten Systems kann beispielsweise in einer frühen Phase eine Menge von Beispielen erfasst werden, welche aufgrund von Kenntnissen zur Erfüllung der Anforderungen aus gewählt werden. Diese Verteilung der Beispieldaten wird dann qualitätsgesichert. In einer folgenden Projektphase können weitere Beispiele mit der gleichen Verteilung erfasst werden. In diesem Fall stellt jedes Beispiel der qualitätsgesicherten Beispielmenge einen Repräsentanten für die folgende Phase der Erfassung der Beispiele dar. Dadurch wird sichergestellt, dass zu jedem initialen Beispiel eine zusätzliche qualitäts gesicherte Menge von Bespielen erfasst wird. Die Position des Repräsentanten kann beispielsweise durch das Clusterzentrum festgelegt sein. Alternativ kann ein hierarchisches Cluster verfahren verwendet werden, bei welchem pro Cluster und pro Hierarchieebene ein Repräsentant eingefügt wird und bei wel chem jedes Beispiel pro Hierarchieebene einem Cluster und folglich einem Repräsentanten zugeordnet wird. Die Menge der Beispiele, welche für die Berechnung der Qualitätsbewertung zur Verfügung steht, wird anschließend über eine vorgegebene Metrik den Clustern und folglich dem Repräsentanten zugeord net. Für ein Beispiel, das keinem Cluster zugeordnet werden kann, wird vorzugsweise ein neues Cluster mit einem Repräsen tanten erstellt. Alternativ wird dieses Beispiel zusammen mit weiteren Beispielen, welche keinem Cluster zugeordnet werden konnten, separat durch eine Qualitätsbewertung erfasst.
Weiter vorzugsweise werden die Beispiele einem Repräsentanten nicht vollständig, sondern nur zu einem vorgegebenen Anteil zugeordnet. Dies kann sich beispielsweise dadurch ergeben, dass ein Clusteralgorithmus verwendet wird, der eine teilwei se Zuordnung der Beispiele zu den Beispieldatenmengen liefert (beispielsweise eine prozentuale Zuordnung zu mehreren Umge bungsbereichen, wobei die Summe der Anteile 1 ergibt). Bei der Ermittlung der Qualitätsbewertungen auf Basis dieser teilweisen Zuordnung wird das jeweilige Beispiel entsprechend dem zugehörigen Anteil berücksichtigt. Vorzugsweise wird die Qualitätsbewertung anhand der Anzahl der dem jeweiligen Repräsentanten zugeordneten Beispiele oder anhand von anderen Merkmalen ermittelt. Dies ist besonders vorteilhaft, wenn die konkreten Beispiele im weiteren Verlauf nicht mehr verwendet werden. Alternativ oder zusätzlich wer den die konkreten Beispiele oder ein Verweis auf die Beispie le im Repräsentanten (Transformation der Beispieldatenmenge in eine an der Topographie des Eingaberaums orientierten Struktur) gespeichert. Dies ist vorteilhaft, wenn die konkre ten Beispiele im weiteren Verlauf benötigt werden.
Der für die Verarbeitung erforderliche Speicherplatz wird vorzugsweise dadurch reduziert, dass die Repräsentanten le diglich dann gespeichert werden, wenn in dem jeweiligen Umge bungsbereich wenigstens ein Beispiel liegt. Wenn die Abde ckung des Eingaberaums ermittelt wird, werden die Umgebungs bereiche, in denen kein Repräsentant erstellt wurde, als „kein Beispiel vorhanden" bewertet. Dennoch kann ein Histo gramm über die Anzahl der Beispiele pro Repräsentanten er stellt werden, da die Anzahl der Umgebungsbereiche, in denen kein Beispiel erfasst wurde, mit geringem Aufwand bestimmt werden kann (Summe der zu erwartenden Repräsentanten - er stellte Repräsentanten = Anzahl der Felder ohne erfasste Bei spiele).
Gemäß einer weiteren bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens umfasst die Qualitätsbewertung ein statistisches Mittel, welches anhand der Beispielmenge und/oder der einem jeweiligen Repräsentanten zugeordneten Beispiele ermittelt wird.
Auf diese Weise können auf Basis der Informationen, die den Repräsentanten zugeordnet sind, Qualitätsbewertungen, bei spielsweise mit Mitteln der deskriptiven Statistik (wie be schrieben in einem der folgenden Lehrbücher: „Statistik: Der Weg zur Datenanalyse" (Springer-Lehrbuch) Taschenbuch - 15. September 2016 von Ludwig Fahrmeir (Autor), Christian Heumann (Autor), Rita Künstler (Autor), Iris Pigeot (Autor), Gerhard Tutz (Autor); „Statistik für Dummies" Taschenbuch - 4. Dezem ber 2019 von Deborah J. Rumsey (Autor), Beate Majetschak (Übersetzer), Reinhard Engel (Übersetzer); „Arbeitsbuch zur deskriptiven und induktiven Statistik" (Springer-Lehrbuch) Taschenbuch - 27. Februar 2009 von Helge Toutenburg (Autor), Michael Schomaker (Mitwirkende), Malte Wißmann (Mitwirkende), Christian Heumann (Mitwirkende)), definiert werden.
Bei einer bevorzugten Weiterbildung wird als statistisches Mittel ein Histogramm über die Anzahl der einem Repräsentan ten zugeordneten Beispiele erstellt.
Dadurch wird eine besonders einfache und intuitive Möglich keit zur Auswertung und Darstellung der Abdeckung des Einga beraums erzielt.
Der Fachmann versteht die Formulierung „über die Anzahl der einem Repräsentanten zugeordneten Beispiele" vorzugsweise da hingehend, dass die Werte der Anzahl der einem Repräsentanten zugeordneten Beispiele für die Erstellung des Histogramms ge- binnt (d.h. in Bereiche unterteilt) werden.
Gemäß einer weiteren bevorzugten Weiterbildung wird als sta tistisches Mittel ein statistisches Maß, insbesondere ein Mittelwert, Median, Minimum, Maximum und/oder Quantile der Anzahl der einem Repräsentanten zugeordneten Beispiele, er mittelt.
Nach einer weiteren bevorzugten Weiterbildung werden im Ein gaberaum benachbarte Umgebungsbereiche ermittelt, deren je weiligem Repräsentanten eine Anzahl von Beispielen zugeordnet ist, die ein vorgegebenes Qualitätskriterium der Qualitätsbe wertung erfüllt.
Vorzugsweise ist das vorgegebene Qualitätskriterium erfüllt, wenn die Anzahl der einem jeweiligen Repräsentanten zugeord neten Beispiele einen vorgegebenen Qualitätsschwellwert un- terschreitet, überschreitet oder in einem vorgegebenen Quali tätsband der Qualitätsbewertung liegt.
Bei der Bestimmung, ob zwei Umgebungsbereiche zueinander be nachbart sind, können unterschiedliche Nachbarschaftsbezie hungen, beispielsweise die Von-Neumann-Nachbarschaft (auch 4er-Nachbarschaft genannt), die Moore-Nachbarschaft (auch 8er-Nachbarschaft genannt) oder die Nachbarschaft aus der Graphentheorie, verwendet werden. Die definierten Nachbar schaftsbeziehungen müssen bei höherdimensionalen Räumen ent sprechend übertragen werden: So werden im dreidimensionalen Raum beispielsweise die 6er-Nachbarschaft für Quader mit ge meinsamen Flächen, die 18er-Nachbarschaft für Quader mit ge meinsamen Kanten und die 26er-Nachbarschaft für Quader mit gemeinsamen Eckpunkten betrachtet. Die Nachbarschaft wird da bei darüber definiert, in wie vielen Dimensionen sich zwei Gitterpunkte unterscheiden dürfen, um noch als benachbart an gesehen zu werden.
Bei einer bevorzugten Weiterbildung wird ein Zusammenhangsge biet innerhalb des Eingaberaums ermittelt, welches aus be nachbarten Umgebungsbereichen besteht, deren Repräsentanten jeweils eine Anzahl von Beispielen zugeordnet ist, die ein vorgegebenes Qualitätskriterium erfüllt.
Vorzugsweise ist das vorgegebene Qualitätskriterium erfüllt, wenn die Anzahl der einem jeweiligen Repräsentanten zugeord neten Beispiele einen vorgegebenen Qualitätsschwellwert un terschreitet, überschreitet oder in einem vorgegebenen Quali tätsband der Qualitätsbewertung liegt.
Bei der Erfüllung des Qualitätskriteriums durch Unterschrei- tung eines vorgegebenen Qualitätsschwellwerts, kann auf be sonders vorteilhafte Weise die Lage und Größe von Bereichen des Eingaberaums ermittelt werden, in denen zu wenige Bei spiele erfasst wurden (sozusagen „Löcher im Eingaberaum").
Mit anderen Worten: Ein besonderer Vorteil der Ausführungs form liegt darin, dass Teilbereiche des Eingaberaums identi- fiziert werden, in denen die Beispielwerte keine ausreichende Basis für eine sicherheitskritische Anwendung bereitstellen. Dies hat wiederum den Vorteil, dass korrigierend eingegriffen werden kann, beispielsweise durch Erfassung von weiteren Bei spielen oder durch die Einschränkung der Wissensbasis in der Anwendung auf die Zusammenhangsgebiete mit hoher Qualität.
Insbesondere hat die Ermittlung der Bereiche, in denen zu we nige Beispiele erfasst wurden, den Vorteil, dass Angriffen durch Adversarial Examples vorbeugend entgegengewirkt werden kann. Denn in diesen Bereichen ist die Erfolgswahrscheinlich keit eines Angriffs durch ein Adversarial Example vergleichs weise hoch. Sie kann durch die Erfassung von weiteren Bei spielen in diesen Bereichen oder die Einschränkung der Wis sensbasis auf die Zusammenhangsgebiete mit hoher Qualität verringert werden.
Auf der Basis der ermittelten Zusammenhangsgebiete können Qualitätsbewertungen berechnet werden. So kann beispielsweise die Anzahl der Repräsentanten in einem Zusammenhangsgebiet bestimmt werden. Es können Histogramme über die Größe oder weitere Eigenschaften eines Zusammenhangsgebiets erstellt werden. Des Weiteren können statistische Maße, wie ein Mit telwert, Median, Quantile oder Standardabweichungen von Ei genschaften der Zusammenhangsgebiete berechnet werden. Zudem kann die Ausdehnung der Zusammenhangsgebiete in den Dimensio nen des Eingaberaums ermittelt werden. Die Dimensionen können in der Reihenfolge der größten Ausdehnung des Zusammenhangs gebiets geordnet werden.
Nach einer weiteren bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens werden in dem jeweiligen Umgebungsbe reich weitere Beispiele erfasst, wenn die für den jeweiligen Umgebungsbereich ermittelte Qualitätsbewertung kleiner als ein vorgegebener Qualitätsschwellwert ist. Alternativ oder zusätzlich werden aus einem jeweiligen Umgebungsbereich Bei spiele entfernt, wenn die für den jeweiligen Umgebungsbereich ermittelte Qualitätsbewertung größer als ein vorgegebener Qualitätsschwellwert ist.
Nach einer besonders bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens umfasst das jeweilige Beispiel einen Ausgabewert, der in einem Ausgaberaum liegt. Für den jeweili gen Umgebungsbereich wird eine lokale Komplexitätsbewertung ermittelt, welche eine durch die Beispiele des Umgebungsbe reichs definierte Komplexität einer Aufgabenstellung des bei spielbasierten Systems repräsentiert. Die lokale Komplexi tätsbewertung wird durch die relative Lage der Beispiele des Umgebungsbereichs zueinander im Eingaberaum und Ausgaberaum bestimmt.
Der Fachmann versteht die Formulierung „relative Lage der Beispiele des Umgebungsbereichs zueinander im Eingaberaum und Ausgaberaum" vorzugsweise dahingehend, dass die Komplexitäts bewertung basierend auf der Betrachtung der Ähnlichkeit der Abstände der Beispiele im Eingaberaum zu den Abständen im Ausgaberaum definiert ist. Beispielsweise weist die Aufgaben stellung des beispielbasierten Systems eine vergleichsweise geringe Komplexität auf, wenn die Abstände im Eingaberaum (abgesehen von der Skalierung) etwa den Abständen im Ausgabe raum entsprechen.
Daraus ergibt sich der Vorteil, dass Beispiele effektiv er fasst werden können. Denn anhand der Komplexitätsbewertung sind Bereiche bekannt, in denen aufgrund hoher Komplexität der Aufgabenstellung des beispielbasierten Systems eine ver gleichsweise hohe Anzahl von Beispielen erfasst werden müs sen. Vorzugsweise wird in Bereichen des Eingaberaums, in de nen eine höhere Komplexität vorhanden ist, dynamisch die Dichte der Repräsentanten erhöht, bis eine homogene Komplexi tät erreicht ist und eine ausreichende Menge an Beispielen in der Umgebung der Repräsentanten liegen.
Die Komplexitätsbewertung entspricht beispielsweise den in Abschnitt 4 (QUEEN-Qualitätsindikatoren) von WASCHULZIK be- schriebenen Qualitätsindikatoren. Diese Qualitätsindikatoren können sowohl für die Repräsentation oder Kodierung der Merk male definiert und angewendet werden (vgl. Abschnitt 4.5 von WASCHULZIK).
Gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird als Qualitätsindikator für die Repräsentatio nen der integrierte Qualitätsindikator QI2 gemäß Abschnitt 4.6 von WASCHULZIK, welcher gemäß Formel 4.21 wie folgt defi niert ist: wobei gemäß Formel 4.18 von WASCHULZIK: der normierte Abstand der repräsentierten Eingaben (NRE) und der normierte Abstand der repräsentierten Ausgaben (NRA) ist. Dabei ist x das Paar (x-^x2,) bestehend aus den zwei Beispielen x1 und x2 . C und x2 sind Beispiele aus der Beispielmenge P . P
= {ri,Ri, ...,p\p\] ist die Menge der Elemente von BAG P, wobei |P| die Anzahl der Elemente des BAG P ist. Bei BAG handelt es sich um eine Multimenge (in Englisch multiset oder bag ge nannt), wie sie in Spezifikation 21.5 auf Seite 27 des An hangs von WASCHULZIK definiert ist. Die Aufgabenstellung QAG ist in Definition 3.1 auf Seite 23 von WASCHULZIK definiert und wird dort als QUEEN-Aufgabenstellung bezeichnet.
^RE() ist eine Abkürzung für den Abstand im Eingaberaum dre (vePxi> veVxi) und dR4(x) ist eine Abkürzung für den Abstand im
Ausgaberaum dra(vapxl,vapx2) . Die Definition des Abstands zwischen der Repräsentation von zwei Beispielen gemäß WASCHULZIK basiert auf der Euklidischen Norm. So wird der Abstand im Eingaberaum definiert als (siehe Formel 4.3 von WASCHULZIK): -reiPkl’Vkl)~
N mit pki_,pk2 als Beispiele aus der Menge P, wobei mit i Laufindex über alle Ausprägungen; vempi kx Ausprägung des Eingabemerkmals i des Beispiels kx mit kx G R (R ist die Menge der reellen Zah len); und aem AnzahlEing abeM erkmale der Aufgabenstellung QAG .
Bei einer bevorzugten Weiterbildung wird eine aggregierte Komplexitätsbewertung durch Aggregation der lokalen Komplexi tätsbewertungen ermittelt.
Die aggregierte Komplexitätsbewertung hat den Vorteil, dass ein Entwickler des beispielbasierten Systems seine Qualitäts sicherung einfach durchführen kann.
Beispielsweise wird als aggregierte Komplexitätsbewertung ein Histogramm über die Komplexität in den unterschiedlichen Um gebungsbereichen des Eingaberaums erstellt. Dazu wird der Wertebereich der Komplexitätsbewertungen gebinnt (d.h. in Be reiche unterteilt). In die Bins wird vorzugsweise ausschließ lich die Anzahl der Umgebungsbereiche mit entsprechender Kom plexität gefasst, wenn die Positionen der Umgebungsbereiche nicht mehr benötigt werden. Vorzugsweise wird dieses Histo gramm mit Informationen über die Anzahl der Beispiele zusam- mengefasst, beispielsweise ebenfalls in einem Histogramm über die Anzahl der dem Repräsentanten zugeordneten Beispiele. Weiter vorzugsweise sind im Histogramm Informationen über die Repräsentanten hinterlegt, damit bei Detailanalysen auf diese zurückgegriffen werden kann.
Gemäß einer weiteren bevorzugten Weiterbildung werden anhand der aggregierten Komplexitätsbewertung Umgebungsbereiche identifiziert, deren Komplexitätsbewertung einen vorgegebenen Komplexitätsschwellwert unterschreitet. In den ermittelten Umgebungsbereichen wird die Aufgabenstellung des beispielba sierten Systems durch eine algorithmische Lösung implemen tiert. Dies ist besonders vorteilhaft für Anwendungen mit ho hen Qualitätsanforderungen, beispielsweise bei sicherheitsge richteten Funktionen.
Diese bevorzugte Weiterbildung basiert auf der Erkenntnis, dass die exakte Funktionsweise des Systems (d.h. semantische Zusammenhänge) für Bereiche mit geringer Komplexität der Auf gabenstellung häufig bekannt ist. In diesem Fall kann die Aufgabenstellung als konventioneller Algorithmus implemen tiert werden (anstatt als beispielbasiertes System). Dies ist besonders vorteilhaft, da eine ausreichende Sicherheit der sicherheitsgerichteten Funktion im Rahmen eines Zulassungs verfahrens für die einfache algorithmische Lösung in der Re gel einfacher nachweisbar ist.
Es ergibt sich durch diese Weiterbildung zudem der Vorteil, dass in den Bereichen geringer Komplexität keine weiteren Beispiele erfasst werden müssen.
Vorzugsweise wird bei der Suche nach einfachen Bereichen auch nach Datenerhebungsartefakten gesucht, welche einen Zusammen hang zwischen Eingabe und Ausgabe ergeben, die durch speziel le Umstände der Datenerhebung gegeben sind, jedoch keinen in der Praxis verwendbaren Zusammenhang darstellen (wie bei spielsweise von dem sogenannten Kluger-Hans-Effekt bekannt: https://de.wikipedia.org/wiki/Kluger_Hans). In Bereichen mit besonders hoher Komplexität werden die Beispiele dahingehend analysiert, ob zum Beispiel Probleme bei der Erhebung und Er fassung der Beispiele aufgetreten sind.
Nach einer weiteren bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens wird der Eingaberaum anhand der Qua litätsbewertung hierarchisch aufgeteilt.
Vorzugsweise wird durch die hierarchische Aufteilung des Ein gaberaums eine hierarchische Kartierung des Eingaberaums er zielt. Die Hierarchie wird weiter vorzugsweise aus der Reprä sentation oder Kodierung des Eingabemerkmals und/oder aus der Analyse der Komplexität der Aufgabenstellung abgeleitet.
Anhand der Einführung einer zusätzlichen Hierarchie in der Analyse des Eingaberaums kann in den Bereichen, in denen eine hohe Komplexität vorhanden ist, entweder dynamisch die Dichte der Repräsentanten erhöht (bis eine homogene Komplexität er reicht ist) oder eine neue Hierarchieebene eingeführt werden. Die Einführung einer neuen Hierarchieebene erfolgt, indem in dem Bereich des Repräsentanten eine neue Unterteilung mit ei ner höheren Auflösung hinzugefügt wird. Das Vorgehen kann i- teriert werden, indem in dem hochaufgelösten Bereich bei er neut erhöhter lokaler Komplexität eine weitere Hierarchiestu fe hinzugefügt wird. Dadurch kann die Auflösung dynamisch an die jeweilige Aufgabenstellung angepasst werden.
Nach einer weiteren bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens wird eine Komplexitätsverteilung mit tels einer Histogrammdarstellung der Komplexitätsbewertung über k nächste Nachbarn eines Beispiels im Eingaberaum ermit telt. Auf diese Weise wird für die lokale Umgebung eines Bei spiels ermittelt, wie die Komplexität verteilt ist. Insbeson dere wird die Charakteristik der Komplexität in der lokalen Umgebung des Beispiels ermittelt und sozusagen ein Fingerab druck der lokalen Umgebung des Beispiels hinsichtlich der Komplexität ermittelt. Vorzugsweise wird der Wertebereich der Komplexitätsbewertun gen für die Histogrammdarstellung gebinnt (d.h. in Bereiche unterteilt). Beispielsweise werden die „gebinnten" Werte auf der y-Achse aufgetragen und die Darstellung des größer wer denden k (der k-nächsten Nachbarn) auf der x-Achse eingetra gen.
Um erforderliche Rechenkapazität bei der Ermittlung der Kom plexitätsverteilung zu verringern, wird die Schrittweite der Werte von k > 1 gewählt. Beispielsweise wird bei einer Schrittweite von 5 für die Werte von k=5, 10, 15, 20, etc. eine Verteilung der Komplexitätsbewertung ermittelt. Weiter vorzugsweise wird die Schrittweite von k ausschließlich in Bereichen von besonderem Interesse klein gewählt. So wird die Verteilung der Komplexitätsbewertung beispielsweise zunächst mit einer vergleichsweise großen Schrittweite von k berech net, um dann in einem Bereich von besonderem Interesse mit einer kleinen Schrittweite von k berechnet zu werden.
Weiter vorzugsweise wird für das berechnete Histogrammfeld (Komplexitätsbewertung gebinnt, k) die Anzahl der Werte der Komplexitätsbewertung gespeichert. Weiter vorzugsweise wird auch eine Identifikationsinformation (beispielsweise eine Nummer), die das Beispiel, in dessen Umgebung die Komplexi tätsverteilung ermittelt wurde, gespeichert.
Gemäß einer weiteren bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens ist das beispielbasierte System für den Einsatz in einer sicherheitsgerichteten Funktion vorgese hen, wobei die sicherheitsgerichtete Funktion eine Objekter kennung auf Basis einer Bilderkennung, bei welcher das Objekt unter Verwendung des beispielbasierten Systems erkannt wird, umfasst.
Bei einer bevorzugten Weiterbildung wird die Objekterkennung bei einem automatisierten Betrieb eines Fahrzeugs, insbeson dere eines spurgebundenen Fahrzeugs, eines Kraftfahrzeugs, eines Flugzeugs, eines Wasserfahrzeugs und/oder eines Raum fahrzeugs, verwendet.
Die Objekterkennung bei einem automatisierten Betrieb eines Fahrzeugs ist eine besonders zweckmäßige Ausführung einer Si¬ cherheitsgerichteten Funktion. Die Objekterkennung ist dabei erforderlich, um z.B. Hindernisse auf dem Fahrweg zu erkennen oder Verkehrssituationen hinsichtlich der Vorfahrt von Ver kehrsteilnehmern zu analysieren.
Das Kraftfahrzeug ist beispielsweise ein Kraftwagen, z.B. ein Personenkraftwagen (PKW), ein Lastkraftwagen (LKW) oder ein Kettenfahrzeug.
Das Wasserfahrzeug ist beispielsweise ein Schiff oder U-Boot.
Das Fahrzeug kann bemannt oder unbemannt sein.
Ein Beispiel für einen Anwendungsbereich ist das autonome o- der automatisierte Fahren eines Schienenfahrzeugs. Zur Lösung der Aufgabenstellungen werden Objekterkennungssysteme einge setzt, um Szenen zu analysieren, die mit Sensoren digitali siert werden. Diese Szeneanalyse ist erforderlich, um z.B. Hindernisse auf dem Fahrweg zu erkennen oder Verkehrssituati onen hinsichtlich der Vorfahrt von Verkehrsteilnehmern zu analysieren. Für die Erkennung der Objekte werden zurzeit be sonders erfolgreich Systeme eingesetzt, die auf der Nutzung von Beispielen basieren, mit denen Parameter des Mustererken nungssystems trainiert werden. Beispiele dafür sind neuronale Netze, z.B. mit Deep-Learning-Algorithmen.
Gemäß einer weiteren bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens ist das beispielbasierte System für den Einsatz in einer sicherheitsgerichteten Funktion vorgese hen, wobei die sicherheitsgerichtete Funktion eine Klassifi kation auf der Basis von Sensordaten von Organismen umfasst. Die Gewebeklassifikation tierischen oder menschlichen Gewebes ist eine besonders zweckmäßige Ausführung einer sicherheits gerichteten Funktion im Bereich der medizinischen Bildverar beitung. Die Organismen umfassen beispielsweise Archaea (Ur- bakterien), Bacteria (Echte Bakterien) und Eukarya (Kernhal tige) oder von Gewebe von Protista (auch Protoctista, Begrün der), Plantae (Pflanzen), Fungi (Pilze, Chitinpilze) und Ani- malia (Tiere).
Weitere Anwendungsgebiete sind die sichere Steuerung von In dustrieanlagen (z.B. Synthese in der Chemie, die Steuerung von Produktionsprozessen z.B. Walzwerke), eine Klassifikation von chemischen Substanzen (z.B. Umweltgifte, Kampfstoffe), eine Klassifikation von Signaturen von Fahrzeugen (z.B. Radar oder Ultraschallsignaturen) und/oder eine Steuerung im Be reich der Industrieautomatisierung (z.B. Produktion von Ma schinen).
Nach einer weiteren bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens umfasst das beispielbasierte System
- ein System mit überwachtem Lernen,
- ein System, das mit den Methoden der Statistik aufgebaut ist,
- vorzugsweise ein künstliches neuronales Netz mit einer oder mehreren Schichten von Neuronen, die nicht Eingabe neuron oder Ausgabeneuron sind und mit Backpropagation trainiert werden,
- insbesondere ein Convolutional Neural Network,
- insbesondere ein Single-Shot-MultiBox-Detector-Netz.
Der Einsatz von künstlichen Neuronalen Netzen ermöglicht häu fig eine Verbesserung der Klassifikations- oder Approximati onsleistung.
Die eine Schicht oder mehreren Schichten von Neuronen, die nicht Eingabeneuronen oder Ausgabeneuronen sind, werden fach männisch häufig als verdeckte oder „hidden" Neuronen bezeich net. Das Training von neuronalen Netzen mit vielen Ebenen an verdeckten Neuronen wird fachmännisch häufig auch als Deep- Learning bezeichnet. Ein spezieller Typ von Deep-Learning- Netzwerken für die Mustererkennung sind die sogenannten Con- volutional Neuronal Networks (CNNs). Ein Spezialfall der CNNs sind die sogenannten SSD-Netze (Single Shot MultiBox). Der Fachmann versteht unter dem Begriff „Single Shot MultiBox De- tector" ein Verfahren zur Objekterkennung nach dem Deep- Learning-Ansatz, welches auf einem Convolutional Neural Netz- work basiert und beschrieben ist in: Liu, Wei (October 2016). SSD: Single shot multibox detector. European Conference on Computer Vision. Lecture Notes in Computer Science. 9905. pp. 21-37. arXiv:1512.02325
Die Erfindung betrifft ferner ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch eine Re cheneinheit diese veranlassen, das Verfahren der vorstehend beschriebenen Art durchzuführen.
Die Erfindung betrifft ferner ein computerlesbares Speicher medium, umfassend Befehle, die bei der Ausführung durch eine Recheneinheit diese veranlassen, das Verfahren der vorstehend beschriebenen Art durchzuführen.
Zu Vorteilen, Ausführungsformen und Ausführungsdetails der Merkmale des erfindungsgemäßen Computerprogramms und compu terlesbaren Speichermediums kann auf die obige Beschreibung zu den entsprechenden Merkmalen des erfindungsgemäßen Verfah rens verwiesen werden.
Ein Ausführungsbeispiel der Erfindung wird anhand der Zeich nungen erläutert. Es zeigen:
Figur 1 schematisch den Ablauf eines Ausführungs beispiels eines erfindungsgemäßen Verfah rens,
Figur 2 schematisch den Aufbau eines beispielba sierten Systems gemäß dem Ausführungsbei spiel des erfindungsgemäßen Verfahrens, Figur 3 schematisch einen zweidimensionalen Ein gaberaum gemäß dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens,
Figur 4 eine schematische Seitenansicht eines sich auf eine Fahrstrecke befindenden spurgebundenen Fahrzeugs
Figur 5 eine hierarchische Aufteilung des Einga beraums
Figur 6 zwei Achsendiagramme, welche die Anwen dung der Komplexitätsbewertung auf eine erste synthetische Funktion repräsentie ren,
Figur 7 zwei Achsendiagramme, welche die Anwen dung der Komplexitätsbewertung auf eine zweite synthetische Funktion repräsentie ren,
Figur 8 zwei Achsendiagramme, welche die Anwen dung der Komplexitätsbewertung auf eine dritte synthetische Funktion repräsentie ren, und
Figur 9 schematisch ein weiteres Beispiel eines zweidimensionalen Eingaberaums gemäß ei nem weiteren Ausführungsbeispiel des er findungsgemäßen Verfahrens.
Figur 1 zeigt ein schematisches Ablaufdiagramm, welches den Ablauf eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Qualitätssicherung eines beispielbasierten Systems repräsentiert.
Figur 2 zeigt schematisch den Aufbau eines beispielbasierten Systems 1, bei dem die Qualitätssicherung des Systems über das Ausführungsbeispiel des erfindungsgemäßen Verfahrens er folgt. Das beispielbasierte System 1 ist ein System mit über wachtem Lernen und wird von einem künstlichen neuronalen Netz 2 gebildet, welches eine Schicht 4 von Eingabeneuronen 5 und eine Schicht 6 von Ausgabeneuronen 7 aufweist. Das künstliche neuronale Netz 2 weist mehrere Schichten 8 von Neuronen 9 auf, die nicht Eingabeneuronen 5 oder Ausgabeneuronen 7 sind. Das künstliche neuronale Netz 2 ist ein sogenanntes Mehrlagi ges Perzeptron, es kann aber auch ein Rekurrentes neuronales Netz, ein Convolutional Neural Network, oder insbesondere ein sogenanntes Single-Shot-MultiBox-Detector-Netz sein.
Das beispielbasierte System sowie das erfindungsgemäße Ver fahren werden mittels eines oder mehrerer Computerprogramme implementiert. Das Computerprogramm umfasst Befehle, die bei Ausführung des Programms durch eine Recheneinheit diese ver anlassen, das erfindungsgemäße Verfahren gemäß dem in Figur 1 gezeigten Ausführungsbeispiel durchzuführen. Das Computerpro gramm ist auf einem computerlesbaren Speichermedium gespei chert.
Das beispielbasierte System wird in einer sicherheitsgerich teten Funktion eines Systems eingesetzt. Das Verhalten der Funktion hat demnach Einfluss auf die Safety der Umgebung des Systems.
Ein Beispiel für eine sicherheitsgerichtete Funktion ist eine Objekterkennung auf Basis einer Bilderkennung, bei welcher das Objekt unter Verwendung des beispielbasierten Systems 1 erkannt wird. Die Objekterkennung wird beispielsweise bei ei nem automatisierten Betrieb eines Fahrzeugs, insbesondere ei nes in Figur 4 gezeigten spurgebundenen Fahrzeugs 40, eines Kraftfahrzeugs, eines Flugzeugs, eines Wasserfahrzeugs oder eines Raumfahrzeugs, verwendet.
Ein weiteres Beispiel für eine sicherheitsgerichtete Funktion ist eine Klassifikation auf der Basis von Sensordaten von Or ganismen z.B. von Archaea (Urbakterien), Bacteria (Echte Bak terien) und Eukarya (Kernhaltige) oder von Gewebe von Protis- ta (auch Protoctista, Begründer), Plantae (Pflanzen), Fungi (Pilze, Chitinpilze) und Animalia (Tiere), eine sichere Steu erung von Industrieanlagen, eine Klassifikation von chemi schen Substanzen, eine Klassifikation von Signaturen von Fahrzeugen oder eine Steuerung im Bereich der Industrieauto matisierung.
In einem Verfahrensschritt A wird festgelegt, welche Beispie le zu erheben sind. In einem Schritt B werden die Beispiele erhoben: Die erhobenen Beispiele bilden eine Beispielmenge. Das jeweilige Beispiel weist einen Eingabewert 12, welcher in einem Eingaberaum liegt, und einen Ausgabewert 14, welcher in einem Ausgaberaum liegt, auf. Bei der Objekterkennung (als eines von mehreren möglichen Beispielen einer sicherheitsge richteten Funktion) für einen automatisierten Betrieb des in Figur 4 gezeigten spurgebundenen Fahrzeugs 40 werden die Bei spiele erhoben, indem das spurgebundene Fahrzeug 40 mit einer Kameraeinheit 42 zur Erfassung von Bildern versehen wird. Die Kameraeinheit 42 ist derart in Fahrtrichtung 41 ausgerichtet, dass ein in Fahrtrichtung 41 vorausliegender räumlicher Be reich 43 von der Kameraeinheit erfasst wird. Das spurgebunde ne Fahrzeug 40 fährt mit der Kameraeinheit 42 in Fahrtrich tung 41 entlang einer Fahrtstrecke 44. Zur Erfassung der Bei spiele werden Szenen, die für die Erstellung und das Training des beispielbasierten Systems 1 zur Objekterkennung relevant sind, nachgestellt. So werden beispielsweise Pappfiguren, Crashtest-Dummies oder Schauspieler 45 eingesetzt, um Perso nen auf der Fahrtstrecke 44 darzustellen, die mittels des zu erstellenden und zu trainierenden beispielbasierten Systems 1 erkannt werden sollen. Alternativ können Szenen mittels einer sogenannten Virtual Reality nachgestellt werden.
In einem Verfahrensschritt C wird eine Qualitätsbewertung, welche eine Abdeckung des Eingaberaums durch Beispiele der Beispielmenge repräsentiert, ermittelt. Bei dem Ermitteln C der Qualitätsbewertung werden in einem Verfahrensschritt CI Repräsentanten im Eingaberaum verteilt. Figur 3 zeigt als Beispiel einen zweidimensionalen Eingaberaum 20. In der tat sächlichen Anwendung des erfindungsgemäßen Verfahrens werden der Eingaberaum und Ausgaberaum häufig eine höhere Dimensio- nalität aufweisen. Die Beispiele 22 der Beispielmenge sind als Fadenkreuze 23 in Figur 3 dargestellt. Die Repräsentanten 24 werden gleichverteilt und sind als Kreuzpunkte 25 des ge zeigten Gitters 26 dargestellt.
In einem Verfahrensschritt C2 wird einem jeweiligen Repräsen tanten 28 eine Anzahl von Beispielen 29 der Beispielmenge zu geordnet. Die dem Repräsentanten 28 zugeordneten Beispiele 29 liegen in einem Umgebungsbereich 30 des Eingaberaums 20, wel cher den jeweiligen Repräsentanten 28 umgibt. Der Umgebungs bereich 30 ist beispielhaft in Figur 3 als gepunktete Fläche dargestellt. Als Qualitätsbewertung wird dabei in einem Ver fahrensschritt C3 eine lokale Qualitätsbewertung für den Um gebungsbereich 30 ermittelt.
In einem Verfahrensschritt C4 werden im Eingaberaum benach barte Umgebungsbereiche 32-36 ermittelt, deren jeweiligem Re präsentanten eine Anzahl von Beispielen zugeordnet ist, die einen vorgegebenen Qualitätsschwellwert unterschreitet. In Figur 3 sind diese Umgebungsbereiche 32-36 als Flächen mit diagonalen Streifen dargestellt. Es handelt sich in dem in Figur 3 gezeigte Beispiel bei den Umgebungsbereichen 32-36 um Bereiche, in denen kein Beispiel liegt. Zudem wird in einem Verfahrensschritt C5 ein Zusammenhangsgebiet 38 innerhalb des Eingaberaums 20 ermittelt, welches aus den benachbarten Umge bungsbereichen 32-36 besteht, deren Repräsentanten jeweils eine Anzahl von Beispielen zugeordnet ist, die einen vorgege benen Qualitätsschwellwert unterschreitet. Dadurch wird die Lage und Größe von Bereichen des Eingaberaums 20 ermittelt, in denen zu wenige Beispiele erfasst wurden. Mit anderen Wor ten: Es werden Teilbereiche des Eingaberaums 20 identifi ziert, in denen die Beispielswerte keine ausreichende Basis für einen sicherheitskritischen Anwendung bereitstellen.
Anhand der Identifizierung kann korrigierend eingegriffen werden: Dazu werden beispielsweise in einem Verfahrensschritt D in einem jeweiligen Umgebungsbereich weitere Beispiele er fasst, wenn die für den jeweiligen Umgebungsbereich ermittel te Qualitätsbewertung kleiner als ein vorgegebener Qualitäts schwellwert ist. In einem Verfahrensschritt E wird für den jeweiligen Umge bungsbereich eine lokale Komplexitätsbewertung ermittelt, welche eine durch die Beispiele des Umgebungsbereichs defi nierte Komplexität einer Aufgabenstellung des beispielbasier ten Systems repräsentiert. Dabei wird die lokale Komplexi tätsbewertung gemäß einem Verfahrensschritt El durch die re lative Lage der Beispiele des Umgebungsbereichs zueinander im Eingaberaum 20 und dem Ausgaberaum bestimmt. Das heißt die Komplexitätsbewertung ist basierend auf der Betrachtung der Ähnlichkeit der Abstände der Beispiele im Eingaberaum 20 zu den Abständen im Ausgaberaum definiert. Beispielsweise weist die Aufgabenstellung des beispielbasierten Systems eine ver gleichsweise geringe Komplexität auf, wenn die Abstände im Eingaberaum 20 (abgesehen von der Skalierung) etwa den Ab ständen im Ausgaberaum entsprechen. Anhand der Komplexitäts bewertung werden Bereiche ermittelt, in denen aufgrund hoher Komplexität der Aufgabenstellung des beispielbasierten Sys tems eine vergleichsweise hohe Anzahl von Beispielen erfasst werden müssen. Beispielsweise wird in Bereichen des Eingabe raums 20, in denen eine höhere Komplexität vorhanden ist, dy namisch die Dichte der Repräsentanten erhöht, bis eine homo gene Komplexität erreicht ist. Alternativ kann eine neue Hie rarchieebene eingeführt werden (wie es beispielhaft in Bezug auf Figur 5 unten beschrieben ist).
Die Komplexitätsbewertung entspricht den in Abschnitt 4 (QUEEN-Qualitätsindikatoren) von WASCHULZIK beschriebenen Qualitätsindikatoren. Diese Qualitätsindikatoren können so wohl für die Repräsentation oder Kodierung der Merkmale defi niert und angewendet werden (vgl. Abschnitt 4.5 von WASCHULZIK). Ein Beispiel für diesen Qualitätsindikator für die Repräsentationen ist der integrierte Qualitätsindikator QI2 gemäß Abschnitt 4.6 von WASCHULZIK.
In einem Verfahrensschritt E2 wird eine aggregierte Komplexi tätsbewertung durch Aggregation der lokalen Komplexitätsbe wertung ermittelt: Beispielsweise wird als aggregierte Kom- plexitätsbewertung ein Histogramm über die Komplexität in den unterschiedlichen Umgebungsbereichen des Eingaberaums er stellt. Dazu wird der Wertebereich der Komplexitätsbewertun gen gebinnt (d.h. in Bereiche unterteilt). In die Bins werden ausschließlich die Anzahl der Umgebungsbereiche mit entspre chender Komplexität gefasst, sofern die Positionen der Umge bungsbereiche nicht mehr benötigt werden. Dieses Histogramm wird mit Informationen über die Anzahl der Beispiele zusam mengefasst, beispielsweise ebenfalls in einem Histogramm über die Anzahl der dem Repräsentanten zugeordneten Beispiele. Weiter vorzugsweise sind im Histogramm Informationen über die Repräsentanten hinterlegt, damit bei Detailanalysen auf diese zurückgegriffen werden kann.
Anhand der Komplexitätsbewertung kann in einem Verfahrens schritt F erfasst werden, ob in sämtlichen Bereichen eine an gemessene Anzahl an Beispielen erfasst wurden. Wird ein Be reich identifiziert, in dem zu viele Beispiele bei niedriger Komplexität erfasst wurden, können Beispiele aus diesem Be reich entfernt werden. Diese Reduktion der Beispiele redu ziert den Speicherplatzbedarf und die Kosten für die Berech nungen z.B. für die qualitätssichernden Maßnahmen auf der Ba sis der Beispieldatenmenge. Wird ein Bereich identifiziert, in dem zu wenige Beispiele erfasst wurden (z.B. da die Kom plexität vergleichsweise hoch ist), müssen ggfs, weitere Bei spiele in diesem Bereich erfasst werden. Der letztgenannte Fall tritt häufig in den Bereichen auf, in denen eine neue Hierarchieebene eingeführt wurde (wie es beispielhaft in Be zug auf Figur 5 unten beschrieben ist). Nach der Erfassung weiterer Beispiele, wird eine Schleife zur Qualitätssicherung (gemäß den Verfahrensschritten C bis E) so lange durchlaufen, bis sämtliche gewünschten Qualitätsanforderungen erfüllt sind.
Anhand der aggregierten Komplexitätsbewertung werden in einem Verfahrensschritt G Umgebungsbereiche identifiziert, deren Komplexitätsbewertung einen vorgegebenen Komplexitätsschwell wert unterschreitet. In den ermittelten Umgebungsbereichen wird die Aufgabenstellung des beispielbasierten Systems gemäß einem Verfahrensschritt H durch eine algorithmische Lösung implementiert, wenn die Funktionsweise des Systems (d.h. se mantische Zusammenhänge) für den Umgebungsbereich bekannt ist. Die Aufgabenstellung des Systems wird demnach als kon ventioneller Algorithmus implementiert (anstatt als beispiel basiertes System). Für die Bereiche des Eingaberaumes, für die ein statistisches System oder ein neuronales Netz einge setzt werden soll, wird in Schritt H ebenfalls das statisti sche System erstellt oder die Struktur des neuronalen Netzes festgelegt und das neuronale Netz trainiert.
Figur 5 zeigt bespielhaft eine hierarchische Aufteilung eines Eingaberaums 120, durch die eine hierarchische Kartierung des Eingaberaums erzielt wird. Die erhobenen Beispiele 122 der Beispielmenge sind als Sterne 123 und Kreise 125 in Figur 5 dargestellt. Die Sterne 123 und Kriese 125 sind Beispiele un terschiedlicher Objektklassen (d.h. haben eine unterschiedli che Position im Ausgaberaum).
In den Bereichen, in denen eine hohe Komplexität vorhanden ist, kann zusätzlich eine neue Hierarchieebene 126 eingeführt werden. Die neue Hierarchieebene 126 wird beispielsweise ein geführt, indem in dem Bereich 130 eine neue Unterteilung 132 mit einer höheren Auflösung 134 hinzugefügt wird. Das Vorge hen kann iteriert werden, indem in dem hochaufgelösten Be reich bei erneut erhöhter lokaler Komplexität eine weitere Hierarchiestufe hinzugefügt wird.
Um ein Verständnis über die Eigenschaften und das Verhalten der in WASCHULZIK beschriebenen Qualitätsindikatoren als Bei spiele einer Komplexitätsbewertung zu erhalten, ist es hilf reich, diese auf synthetische Funktionen (z.B. y=x) anzuwen den. Daraus kann geschlossen werden, wie diese Qualitätsindi katoren Anwendung bei beispielbasierten Systemen finden kön- nen Die Figuren 6 bis 8 zeigen jeweils für eine synthetische Funktion ein Histogramm der Verteilung der Komplexitätsbewer tung über k-nächste Nachbarn eines vorausgewählten Beispiels. Das Beispiel ist beispielsweise ein Stellvertreterbeispiel oder ein Zentrum eines Clusters (wie oben beschrieben). Das Beispiel kann zudem ein aus dem Umgebungsbereich eines Reprä sentanten ausgewähltes Beispiel sein, welches für eine tie fergehende Untersuchung hinsichtlich der Komplexität der Auf gabenstellung ausgewählt wurde.
Figur 6 zeigt links die Abbildungen 4.1 und rechts die Abbil dung 4.4 von WASCHULZIK. Als synthetische Funktion ist in Fi gur 6 links y = x als Achsendiagramm dargestellt (die Einträ ge im Achsendiagramm sind als „+" gezeigt). Das Achsendia gramm rechts zeigt ein Histogramm SHLQ2 von QI2 über die k- nächsten Nachbarn eines Beispiels für die Funktion y=x. Es zeigt sich, dass für beliebige lokale Umgebungen k eines Bei spiels das gezeigte Histogramm SHLQ2 den Wert Null hat.
Figur 7 zeigt links die Abbildung 4.17 und rechts die Abbil dung 4.20 von WASCHULZIK. Als synthetische Funktion ist in Figur 7 links y=ru(seed,300)*300 als Achsendiagramm darge stellt. Es handelt sich um eine gleichverteilte Zufallsvari able mit Werten zwischen 0 und 300. Das Achsendiagramm rechts zeigt das Histogramm SHLQ2 von QL2 über die k-nächsten Nach barn eines Beispiels für die Funktion y=ru(seed,300)*300. Das Achsendiagramm in Figur 7 rechts ist derart skaliert, dass 40 für den Wert 1 steht.
Figur 8 zeigt links die Abbildung 4.41 und rechts die Abbil dung 4.44 von WASCHULZIK. Als synthetische Funktion ist in Figur 8 links y = sin (8*pi*x/300) + br (seed,300) als Achsen diagramm dargestellt. Es handelt sich um eine Sinusfunktion, die in den Bereichen 0 < x d 50 sowie 100 < x d 200 ein stochastisches Rauschen hat. Das Achsendiagramm rechts zeigt das Histogramm SHLQ2 von QL2 über die k-nächsten Nachbarn ei nes Beispiels für die Funktion y = sin (8*pi*x/300) + br (seed,300). Das Achsendiagramm in Figur 8 ist derart ska- liert, dass 40 für den Wert 1 steht. Der Fachmann erkennt auf dieser Darstellung, dass es mehrere k-Nachbarschaften bis zur Größe ca. 45 gibt, in denen der Wert von QI2 fast 0 ist (zu erkennen an der dunkelgrauen Schattierung der Bins mit klei ner Nummer aufgetragen an der V-Achse) und damit eine fast lineare Abbildung des Eingabe- und Ausgaberaums vorliegt. Analysiert der Fachmann nun durch das Auslesen der Informati on in dem Histogramm, in der Umgebung welcher Beispiele die niedrige Komplexität vorhanden ist, so erhält er das Beispiel mit x=75 in dessen Nachbarschaft k=45 die Komplexität sehr gering ist. Gleiches gilt für x=225 oder x=275 für k=45. So kann der Fachmann ohne ein Vorwissen darüber, wie die Bei spiele im Eingaberaum verteilt sind, einfach, schnell und si cher die Bereiche identifizieren, in denen die Komplexität besonders niedrig oder hoch ist. Durch das Auslesen der Bins mit den hohen Werten auch bei großen Umgebungen kann er Be reiche mit hoher Komplexität identifizieren (z.B. Bin-Nummer 80 bei K=20). Diese Identifikation der Bereiche mit hoher o- der niedriger Komplexität kann unabhängig von der Dimension des Eingabe- und Ausgaberaumes erfolgen, da der Abstand der k-nächsten Nachbarn in Räumen beliebiger Dimensionalität be stimmt werden kann. Über das gleichartige Vorgehen kann der Fachmann auch aus den Histogrammen über die Größe der Zusam menhangsbereiche die Repräsentanten identifizieren, in denen z.B. sehr wenige Beispiele enthalten sind. Über den Repräsen tanten kann dann die Position im Eingaberaum bestimmt werden, in denen weitere Beispiele erfasst werden müssen.
Alternativ zu dem in Bezug auf Figur 3 beschriebenen Ausfüh rungsbeispiel, wonach Repräsentanten im Eingaberaum gleich verteilt werden, zeigt Figur 9 ein Ausführungsbeispiel eines Eingaberaums 220, bei dem die Repräsentanten jeweils ein Zentrum eines Clusters, welches mittels eines Clusterverfah rens bestimmt wird, bilden. Die Beispiele 222 der Beispiel menge sind in Figur 9 als Fadenkreuze 223 dargestellt.
Figur 9 zeigt beispielhaft vier Cluster 230, 232, 234 und 236, die jeweils mehrere Beispiele umfassen. Diese Beispiele liegen in der Darstellung innerhalb einer gestrichelten Grenzlinie, die jedoch keine tatsächliche Begrenzung eines Clusters repräsentiert, sondern lediglich zur Illustration eingezeichnet wurde. Die Cluster 230, 232, 234 und 236 weisen jeweils ein zugehöriges Clusterzentrum 240, 242, 244 und 246 (plusförmig dargestellt) auf. Die Clusterzentren 240, 242, 244, 246 liegen jeweils mittig innerhalb des Clusters und werden unabhängig von den Grenzen des Gitters des Eingabe raums einem Cluster zugeordnet.
Die Cluster gemäß Figur 9 haben den Vorteil, dass sie die To pologie der Daten besonders geeignet repräsentieren. Das Git ter gemäß Figur 3 hat den Vorteil, dass die nicht abgedeckten Bereiche geeigneter abbildet werden. Beispielsweise kann die Abdeckung des Eingaberaums (gemäß dem Verfahrensschritt C) über das Gitter berechnet werden und die Komplexitätsbewer tung (gemäß dem Verfahrensschritt E) neben dem Gitter auch über das Clusterzentrum berechnet werden. Welcher Ansatz ge eigneter ist, kann auch von dem Verfahren des Neuronalen Net zes abhängen. Wenn sich die Kodierungsneurone im Eingebraum bewegen können, dann wird vorzugsweise der Clusteransatz ge wählt oder die Clusterzentren mit den Positionen der Kodie rungsneurone im Eingaberaum gleichsetzt.

Claims

Patentansprüche
1. Verfahren zur Qualitätssicherung eines beispielbasierten Systems (1), wobei
- das beispielbasierte System (1) anhand von erhobenen Bei spielen (22), welche eine Beispielmenge bilden, erstellt und trainiert wird,
- das jeweilige Beispiel (22) der Beispielmenge einen Ein gabewert (12), welcher in einem Eingaberaum (20) liegt, umfasst und
- eine Qualitätsbewertung, welche eine Abdeckung des Einga beraums (20) durch Beispiele (22) der Beispielmenge re präsentiert, anhand der Verteilung der Eingabewerte (12) im Eingaberaum (20) ermittelt wird (C).
2. Verfahren nach Anspruch 1, wobei das Ermitteln (C) der Qualitätsbewertung umfasst:
- Verteilen (Ci) von Repräsentanten (24, 28) im Eingaberaum (20) und
- Zuordnen (C2) einer Anzahl von Beispielen (29) der Bei spielmenge zu dem jeweiligen Repräsentanten (28), wobei die dem Repräsentanten (28) zugeordneten Beispiele (29) in einem Umgebungsbereich (30) des Eingaberaums (20), welcher den Repräsentanten (28) umgibt, liegen und wobei als Qualitätsbewertung eine lokale Qualitätsbewertung für den Umgebungsbereich (30) ermittelt wird (C3).
3. Verfahren nach Anspruch 1 oder 2, wobei die Qualitätsbewertung ein statistisches Mittel, wel ches anhand
- der Beispielmenge und/oder
- der einem jeweiligen Repräsentanten (28) zugeordneten Beispiele ermittelt wird, umfasst.
4. Verfahren nach Anspruch 3, wobei als statistisches Mittel ein Histogramm über die Anzahl der einem Repräsentanten zugeordneten Beispiele erstellt wird.
5. Verfahren nach Anspruch 2 und 3, wobei als statistisches Mittel ein statistisches Maß, insbe sondere ein Mittelwert, Median, Minimum und/oder Quantile der Anzahl der einem Repräsentanten zugeordneten Beispiele, er mittelt wird.
6. Verfahren nach wenigstens einem der Ansprüche 2 bis 5, wobei im Eingaberaum (20) benachbarte Umgebungsbereiche (32- 36) ermittelt werden (C4), deren jeweiligem Repräsentanten eine Anzahl von Beispielen zugeordnet ist, die ein vorgegebe nes Qualitätskriterium der Qualitätsbewertung erfüllt.
7. Verfahren nach Anspruch 6, wobei ein Zusammenhangsgebiet (38) innerhalb des Eingaberaums (20) ermittelt wird (C5), welches aus benachbarten Umgebungs bereichen (32-36) besteht, deren Repräsentanten jeweils eine Anzahl von Beispielen zugeordnet ist, die ein vorgegebenes Qualitätskriterium der Qualitätsbewertung erfüllt.
8. Verfahren nach wenigstens einem der vorhergehenden Ansprü che 2 bis 7, wobei in einem jeweiligen Umgebungsbereich (32-36) weitere Beispiele erfasst werden (D), wenn die für den jeweiligen Um gebungsbereich (32-36) ermittelte Qualitätsbewertung kleiner als ein vorgegebener Qualitätsschwellwert ist, und/oder wobei aus einem jeweiligen Umgebungsbereich (30) Beispiele entfernt werden, wenn die für den jeweiligen Umgebungsbereich ermittelte Qualitätsbewertung größer als ein vorgegebener Qualitätsschwellwert ist.
9. Verfahren nach wenigstens einem der vorhergehenden Ansprü che 2 bis 8, wobei
- das jeweilige Beispiel einen Ausgabewert (14), der in ei nem Ausgaberaum liegt, umfasst,
- für den jeweiligen Umgebungsbereich eine lokale Komplexi tätsbewertung ermittelt wird (E), welche eine durch die Beispiele des Umgebungsbereichs definierte Komplexität einer Aufgabenstellung des beispielbasierten Systems (1) repräsentiert, und
- die lokale Komplexitätsbewertung durch die relative Lage der Beispiele des Umgebungsbereichs zueinander im Einga beraum (20) und Ausgaberaum bestimmt wird (El).
10. Verfahren nach Anspruch 9, wobei eine aggregierte Komplexitätsbewertung durch Aggregati on der lokalen Komplexitätsbewertungen ermittelt wird (E2).
11. Verfahren nach Anspruch 10, wobei anhand der aggregierten Komplexitätsbewertung Umge bungsbereiche identifiziert werden (G), deren Komplexitätsbe wertung einen vorgegebenen Komplexitätsschwellwert unter schreitet, und wobei in den ermittelten Umgebungsbereichen die Aufgabenstel lung des beispielbasierten Systems durch eine algorithmische Lösung implementiert wird (H).
12. Verfahren nach wenigstens einem der vorhergehenden An sprüche, wobei der Eingaberaum (20, 120) anhand der Qualitätsbewertung hierarchisch aufgeteilt wird.
13. Verfahren nach wenigstens einem der Ansprüche 9-12, wobei eine Komplexitätsverteilung mittels einer Histogramm darstellung der Komplexitätsbewertung über k nächste Nachbarn eines Beispiels im Eingaberaum ermittelt wird.
14. Verfahren nach wenigstens einem der Ansprüche 9-13, wobei die Komplexitätsbewertung ein integrierter Qualitätsin dikator QI2 ist,
- wobei der Qualitätsindikator insbesondere definiert ist nach: wobei : der normierte Abstand der repräsentierten Eingaben und der normierte Abstand der repräsentierten Ausgaben ist, wobei x das Paar (i,2<) bestehend aus den zwei Beispie len -L und x2 ist, wobei x1 und x2 Beispiele aus der Beispielmenge P sind, wobei P = {ri,Ri,—,P\p\} die Menge der Elemente der Multi menge BAGP und wobei \P\die Anzahl der Elemente der Multimenge BAGP ist.
15. Verfahren nach wenigstens einem der vorhergehenden An sprüche, wobei das beispielbasierte System (1) für den Einsatz in ei ner sicherheitsgerichteten Funktion vorgesehen ist und die sicherheitsgerichtete Funktion eine Objekterkennung auf Basis einer Bilderkennung umfasst, bei welcher das Objekt (45) un ter Verwendung des beispielbasierten Systems (1) erkannt wird.
16. Verfahren nach Anspruch 15, wobei die Objekterkennung bei einem automatisierten Betrieb eines Fahrzeugs, insbesondere eines spurgebundenen Fahrzeugs (40), eines Kraftfahrzeugs, eines Flugzeugs, eines Wasser fahrzeugs und/oder eines Raumfahrzeugs, verwendet wird.
17. Verfahren nach wenigstens einem der vorhergehenden An sprüche, wobei das beispielbasierte System (1) für den Einsatz in ei ner sicherheitsgerichteten Funktion vorgesehen ist und die sicherheitsgerichtete Funktion eine Klassifikation auf der Basis von Sensordaten von Organismen darstellt oder eine si chere Steuerung von Industrieanlagen, eine Klassifikation von chemischen Substanzen, Signaturen von Fahrzeugen und/oder ei ne Steuerung im Bereich der Industrieautomatisierung umfasst.
18. Verfahren nach wenigstens einem der vorhergehenden An sprüche, wobei das beispielbasierte System (1)
- ein System mit überwachtem Lernen,
- vorzugsweise ein künstliches neuronales Netz (2) mit ei ner oder mehreren Schichten (8) von Neuronen (9), die nicht Eingabeneuron (5) oder Ausgabeneuron (7) sind und mit Backpropagation trainiert werden,
- insbesondere ein Convolutional Neural Network,
- insbesondere ein Single-Shot-MultiBox-Detector-Netz, umfasst.
19. Computerprogramm, umfassend Befehle, die bei der Ausfüh rung des Programms durch eine Recheneinheit diese veranlas sen, das Verfahren nach wenigstens einem der Ansprüche 1 bis 18 durchzuführen.
20. Computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch eine Recheneinheit diese veranlas sen, dass Verfahren nach wenigstens einem der Ansprüche 1 bis 18 durchzuführen.
EP21711743.1A 2020-03-11 2021-02-24 Verfahren zur qualitätssicherung eines beispielbasierten systems Pending EP4097647A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020203135.5A DE102020203135A1 (de) 2020-03-11 2020-03-11 Verfahren zur Qualitätssicherung eines beispielbasierten Systems
PCT/EP2021/054507 WO2021180470A1 (de) 2020-03-11 2021-02-24 Verfahren zur qualitätssicherung eines beispielbasierten systems

Publications (1)

Publication Number Publication Date
EP4097647A1 true EP4097647A1 (de) 2022-12-07

Family

ID=74873684

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21711743.1A Pending EP4097647A1 (de) 2020-03-11 2021-02-24 Verfahren zur qualitätssicherung eines beispielbasierten systems

Country Status (5)

Country Link
US (1) US20230121276A1 (de)
EP (1) EP4097647A1 (de)
CN (1) CN115280328A (de)
DE (1) DE102020203135A1 (de)
WO (1) WO2021180470A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4379671A1 (de) * 2022-12-01 2024-06-05 Siemens Mobility GmbH Beurteilung von eingabe-ausgabe-datensätzen unter verwendung lokaler komplexitätswerte und zugehörige datenstruktur

Also Published As

Publication number Publication date
CN115280328A (zh) 2022-11-01
WO2021180470A1 (de) 2021-09-16
US20230121276A1 (en) 2023-04-20
DE102020203135A1 (de) 2021-09-16

Similar Documents

Publication Publication Date Title
DE102017220307B4 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
EP3785177B1 (de) Verfahren und vorrichtung zum ermitteln einer netzkonfiguration eines neuronalen netzes
DE102017122712A1 (de) Verfahren für den Betrieb einer selbstfahrenden landwirtschaftlichen Arbeitsmaschine
DE102017203276B4 (de) Verfahren und Vorrichtung zur Ermittlung einer Trajektorie in Off-road-Szenarien
DE102019209644A1 (de) Verfahren zum Trainieren eines neuronalen Netzes
DE102019214402A1 (de) Verfahren und vorrichtung zum verarbeiten von daten mittels eines neuronalen konvolutionsnetzwerks
DE102021207613A1 (de) Verfahren zur Qualitätssicherung eines Systems
DE102019209463A1 (de) Verfahren zur Bestimmung eines Vertrauenswertes eines Objektes einer Klasse
EP4097647A1 (de) Verfahren zur qualitätssicherung eines beispielbasierten systems
DE102008036219A1 (de) Verfahren zur Erkennung von Objekten im Umfeld eines Fahrzeugs
DE102020203047A1 (de) Effiziente gleichzeitige Inferenzberechnung für mehrere neuronale Netzwerke
DE102020203707A1 (de) Plausibilisierung der Ausgabe neuronaler Klassifikatornetzwerke
DE102019127622A1 (de) Abwehrgenerator, Verfahren zur Verhinderung eines Angriffs auf eine KI-Einheit und computerlesbares-Speichermedium
DE102019129029A1 (de) System und verfahren zur objektdetektion
DE102020208080A1 (de) Erkennung von Objekten in Bildern unter Äquivarianz oder Invarianz gegenüber der Objektgröße
EP4205047A1 (de) Verfahren zur qualitätssicherung eines beispielbasierten systems
WO2022248171A1 (de) Verfahren zur qualitätssicherung eines systems
DE102020208765A1 (de) Bildklassifikator mit variablen rezeptiven Feldern in Faltungsschichten
DE102020128952A1 (de) Verfahren und Assistenzeinrichtung zur zweistufigen bildbasierten Szenenerkennung und Kraftfahrzeug
DE102020211596A1 (de) Verfahren zum Generieren eines trainierten neuronalen Faltungs-Netzwerks mit invarianter Integrationsschicht zum Klassifizieren von Objekten
DE102007025620A1 (de) Vorrichtung zur Bestimmung einer Objekt- und/oder Existenzwahrscheinlichtkeit eines Suchobjekts in einem Auslesefenster eines Bildes, Verfahren sowie Computerprogramm
DE102022212374A1 (de) Computerimplementiertes Verfahren zum Erkennen von Objekten
DE102022212666A1 (de) Computerimplementierte Verfahren zur Anker und zur Keypoint basierten Erkennung von Objektzentren
DE102022213064A1 (de) Erkennung unbekannter Objekte durch neuronale Netze für Fahrzeuge
DE102021208722A1 (de) Konfigurieren eines neuronalen Netzwerks auf äquivariantes oder invariantes Verhalten

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220829

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)