DE102020211995A1 - Determination of the image parts in the latent space of the image classifier that are relevant for the decision of an image classifier - Google Patents
Determination of the image parts in the latent space of the image classifier that are relevant for the decision of an image classifier Download PDFInfo
- Publication number
- DE102020211995A1 DE102020211995A1 DE102020211995.3A DE102020211995A DE102020211995A1 DE 102020211995 A1 DE102020211995 A1 DE 102020211995A1 DE 102020211995 A DE102020211995 A DE 102020211995A DE 102020211995 A1 DE102020211995 A1 DE 102020211995A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- decision
- input image
- classifier
- components
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
Abstract
Verfahren (100) zur Messung, auf welche Anteile (2a) eines Eingabe-Bildes (2) ein Bildklassifikator (1) seine Entscheidung über die Zuordnung (14a) dieses Eingabe-Bildes (2) zu einer oder mehreren Klassen einer vorgegebenen Klassifikation stützt, mit den Schritten:• es wird ein trainierter Bildklassifikator (1) bereitgestellt (110), der dazu ausgebildet ist, unter Anwendung einer oder mehrerer Faltungsschichten (11-13) Zwischenprodukte (11a-13a) aus dem Eingabe-Bild (2) zu erzeugen und unter Anwendung einer oder mehrerer Klassifikatorschichten (14) ein derartiges Zwischenprodukt (11a-13a) auf die Zuordnung (14a) zu der oder den Klassen abzubilden;• es wird ein Eingabe-Bild (2) bereitgestellt (120);• aus dem Eingabe-Bild (2) werden mit dem Bildklassifikator (1) mindestens ein Zwischenprodukt (11a-13a) und eine Zuordnung (14a) zu einer oder mehreren Klassen erzeugt (130);• mindestens ein Zwischenprodukt (11a-13a) wird in räumlich zusammenhängende Bereiche (31-35) zerlegt (140), die jeweils ein vorgegebenes Relevanzkriterium (3) erfüllen und durch Bereiche, die dieses Relevanzkriterium (3) nicht erfüllen, voneinander getrennt sind;• diese zusammenhängenden Bereiche (31-35) werden als voneinander unabhängige Komponenten des Zwischenprodukts (11a-13a) gewertet, und es werden Abhängigkeiten (41-45) der Entscheidung des Bildklassifikators (1) von diesen Komponenten (31-35) ermittelt (150);• aus diesen Abhängigkeiten (41-45) werden die gesuchten entscheidungsrelevanten Anteile (2a) des Eingabe-Bildes (2) ermittelt (160).Method (100) for measuring the parts (2a) of an input image (2) on which an image classifier (1) bases its decision on the assignment (14a) of this input image (2) to one or more classes of a predetermined classification, with the steps: • a trained image classifier (1) is provided (110), which is designed to generate intermediate products (11a-13a) from the input image (2) using one or more convolution layers (11-13). and using one or more classifier layers (14) to map such an intermediate product (11a-13a) to the assignment (14a) to the class or classes;• an input image (2) is provided (120);• from the input -image (2), at least one intermediate product (11a-13a) and an assignment (14a) to one or more classes are generated (130) with the image classifier (1);• at least one intermediate product (11a-13a) is divided into spatially contiguous areas (31-35) decomposed (140), the jewei ls meet a predetermined relevance criterion (3) and are separated from one another by areas that do not meet this relevance criterion (3);• these contiguous areas (31-35) are evaluated as independent components of the intermediate product (11a-13a), and it dependencies (41-45) of the decision of the image classifier (1) are determined (150) from these components (31-35); • from these dependencies (41-45) the searched for decision-relevant parts (2a) of the input image (2 ) determined (160).
Description
Die vorliegende Erfindung betrifft die Kontrolle des Verhaltens trainierbarer Bildklassifikatoren, die beispielsweise für die Qualitätskontrolle von in Serie gefertigten Produkten oder auch für das zumindest teilweise automatisierte Führen von Fahrzeugen genutzt werden können.The present invention relates to the control of the behavior of trainable image classifiers that can be used, for example, for the quality control of mass-produced products or also for the at least partially automated driving of vehicles.
Stand der TechnikState of the art
Bei der Serienfertigung von Produkten ist es in der Regel erforderlich, die Qualität der Fertigung laufend zu überprüfen. Dabei wird angestrebt, Qualitätsprobleme möglichst schnell zu erkennen, um die Ursache baldmöglichst beheben zu können und nicht zu viele Einheiten des jeweiligen Produkts als Ausschuss zu verlieren.In the series production of products, it is usually necessary to continuously check the quality of the production. The aim is to identify quality problems as quickly as possible in order to be able to remedy the cause as soon as possible and not lose too many units of the respective product as scrap.
Die optische Kontrolle der Geometrie und/oder Oberfläche eines Produkts ist schnell und zerstörungsfrei. Die
Bilder des Produkts können auch unmittelbar mit einem Bildklassifikator auf der Basis künstlicher neuronaler Netzwerke einer von mehreren Klassen einer vorgegebenen Klassifikation zugeordnet werden. Auf dieser Basis kann das Produkt einer von mehreren vorgegebenen Qualitätsklassen zugeordnet werden. Im einfachsten Fall ist diese Klassifikation binär („OK“/ „nicht OK“).Images of the product can also be directly assigned to one of several classes of a given classification using an image classifier based on artificial neural networks. On this basis, the product can be assigned to one of several specified quality classes. In the simplest case, this classification is binary ("OK"/"not OK").
Beim zumindest teilweise automatisierten Führen von Fahrzeugen werden ebenfalls trainierbare Bildklassifikatoren eingesetzt, um Verkehrssituationen zu bewerten oder zumindest auf ihren Gehalt an Objekten zu untersuchen.When driving vehicles in an at least partially automated manner, image classifiers that can be trained are also used in order to evaluate traffic situations or at least to examine their content of objects.
Offenbarung der ErfindungDisclosure of Invention
Im Rahmen der Erfindung wurde ein Verfahren zur Messung entwickelt, auf welche Anteile eines Eingabe-Bildes ein Bildklassifikator seine Entscheidung über die Zuordnung dieses Eingabe-Bildes zu einer oder mehreren Klassen einer vorgegebenen Klassifikation stützt. Die Kenntnis dieser Anteile ist in vielen Anwendungen wichtig für die Beurteilung, ob der Bildklassifikator in allen Situationen schnell und richtig reagiert, so dass nachgeschaltete Systeme angemessen auf die jeweilige Situation reagieren.Within the scope of the invention, a method was developed for measuring the parts of an input image on which an image classifier bases its decision on the assignment of this input image to one or more classes of a specified classification. In many applications, knowledge of these parts is important for assessing whether the image classifier reacts quickly and correctly in all situations, so that downstream systems react appropriately to the respective situation.
So ist es beispielsweise wünschenswert, dass ein Bildklassifikator für Verkehrssituationen einen Fußgänger nicht erst dann erkennt, wenn er vollständig sichtbar ist, sondern schon in dem Moment, indem der Kopf, die Beine oder andere Merkmale, die den Fußgänger eindeutig als solchen erkennen lassen, sichtbar werden. Wenn ein solcher Bildklassifikator ein Warnsystem, ein Fahrassistenzsystem oder ein System für das zumindest teilweise automatisierte Fahren ansteuert, können gefährliche Situationen, in denen beispielsweise ein Fußgänger zwischen geparkten Fahrzeugen auf die Fahrbahn tritt, früher entschärft werden.For example, it is desirable for an image classifier for traffic situations to recognize a pedestrian not only when the pedestrian is fully visible, but as soon as the head, legs or other features that clearly identify the pedestrian as such are visible will. If such an image classifier controls a warning system, a driver assistance system or a system for at least partially automated driving, dangerous situations in which, for example, a pedestrian steps onto the road between parked vehicles, can be defused earlier.
Bei der Qualitätskontrolle von in Serie gefertigten Produkten ist es beispielsweise wichtig, dass bestimmte Mängel und Schäden in jedem Fall dazu führen, dass das Produkt als „nicht OK = NOK“ klassifiziert wird. Der Mangel bzw. Schaden wird dadurch, dass andere Bildbereiche möglicherweise besonders „schön“ sind, nicht aufgehoben.For example, in the quality control of mass-produced products, it is important that certain defects and damage always lead to the product being classified as "not OK = NOK". The defect or damage is not offset by the fact that other areas of the image may be particularly "beautiful".
Für das Verfahren wird ein trainierter Bildklassifikator bereitgestellt, der dazu ausgebildet ist, unter Anwendung einer oder mehrerer Faltungsschichten Zwischenprodukte aus dem Eingabe-Bild zu erzeugen und unter Anwendung einer oder mehrerer Klassifikatorschichten ein derartiges Zwischenprodukt auf die Zuordnung zu der oder den Klassen abzubilden.A trained image classifier is provided for the method, which is designed to generate intermediate products from the input image using one or more convolution layers and to map such an intermediate product to the assignment to the class or classes using one or more classifier layers.
Beispielsweise können die Faltungsschichten des Bildklassifikators Filterkerne umfassen. Die Faltungsschichten erzeugen dann als Zwischenprodukte Merkmalskarten, die jeweils Aktivierungswerte der von einem Filterkern erkannten Merkmale angeben. Die Klassifikatorschicht kann beispielsweise eine vollvernetzte Schicht umfassen.For example, the convolution layers of the image classifier may include filter kernels. The convolution layers then produce feature maps as intermediate products, each of which indicates activation values of the features recognized by a filter kernel. The classifier layer can include a fully crosslinked layer, for example.
Es wird ein Eingabe-Bild bereitgestellt, dessen entscheidungsrelevanter Anteil zu bestimmen ist. Der Bildklassifikator bildet dieses Eingabe-Bild auf eine Zuordnung zu einer oder mehreren Klassen ab. Diese Zuordnung, und hier insbesondere eine im Rahmen dieser Zuordnung besonders bevorzugte Klasse (etwa diejenige Klasse mit einer höchsten Klassifikations-Score), kann als Entscheidung des Bildklassifikators verstanden werden. Auf dem Weg zu dieser Entscheidung entstehen automatisch auch die besagten Zwischenprodukte. Eines oder mehrere dieser Zwischenprodukte werden ausgewertet, um die für die Entscheidung des Bildklassifikators relevanten Anteile des Eingabe-Buldes zu ermitteln.An input image is provided, the decision-relevant part of which is to be determined. The image classifier maps this input image to a mapping to one or more classes. This assignment, and here in particular a class that is particularly preferred within the scope of this assignment (for example that class with a highest classification score), can be understood as a decision by the image classifier. On the way to this decision, the aforementioned intermediate products are also created automatically. One or more of these intermediate products are evaluated in order to determine the parts of the input bulge that are relevant for the decision of the image classifier.
Zu diesem Zweck wird ausgehend von einem vorgegebenen Relevanzkriterium mindestens ein Zwischenprodukt in räumlich zusammenhängende Bereiche zerlegt, die jeweils dieses Relevanzkriterium erfüllen und durch Bereiche, die das Relevanzkriterium nicht erfüllen, voneinander getrennt sind. Diese zusammenhängenden Bereiche werden als voneinander unabhängige Komponenten des Zwischenprodukts gewertet.For this purpose, starting from a predetermined relevance criterion, at least one intermediate product is broken down into spatially connected areas that each meet this relevance criterion and are separated from one another by areas that do not meet the relevance criterion. These contiguous areas are called mutually independent components of the intermediate are evaluated.
Es werden nun Abhängigkeiten der Entscheidung des Bildklassifikators von diesen Komponenten ermittelt. Hierunter ist insbesondere beispielsweise jede Form von Messung oder sonstiger Quantifizierung zu verstehen,
- • inwieweit sich die Entscheidung des Bildklassifikators ändern würde, wenn eine oder mehrere Komponenten nicht im Zwischenprodukt enthalten wären, bzw.
- • inwieweit das Vorhandensein einer oder mehrerer Komponenten im Zwischenprodukt hinreichend für die Entscheidung des Bildklassifikators ist, unabhängig vom restlichen Inhalt des Zwischenprodukts.
- • to what extent the decision of the image classifier would change if one or more components were not included in the intermediate product, or
- • To what extent the presence of one or more components in the intermediate is sufficient for the decision of the image classifier, independent of the rest of the content of the intermediate.
Aus den so ermittelten Abhängigkeiten werden die gesuchten entscheidungsrelevanten Anteile des Eingabe-Bildes ermittelt. Hierbei kann insbesondere eine räumliche Korrespondenz zwischen dem Zwischenprodukt und dem Eingabe-Bild ausgenutzt werden. Das Zwischenprodukt hat im Vergleich zum Eingabe-Bild in der Regel eine deutlich verminderte Dimensionalität. Jedoch trägt immer noch beispielsweise eine bestimmte Ecke des Eingabe-Bildes das Meiste zur hierzu korrespondierenden Ecke bei.From the dependencies determined in this way, the searched for decision-relevant parts of the input image are determined. Here, in particular, a spatial correspondence between the intermediate product and the input image can be used. The intermediate product usually has a significantly reduced dimensionality compared to the input image. However, for example, a particular corner of the input image still contributes the most to its corresponding corner.
Es wurde erkannt, dass die Zerlegung des Zwischenprodukts in Komponenten den Rechenaufwand für viele Untersuchungen, welche Anteile des Eingabe-Bildes entscheidungsrelevant sind, drastisch vermindert. In den als unabhängig ermittelten Komponenten des Zwischenprodukts sind jeweils mehrere Zahlenwerte des Zwischenprodukts, die sich auf einzelne Merkmale beziehen, zusammengefasst. Statt einer sehr großen Anzahl von Merkmalen ist somit nur eine deutlich geringere Anzahl von Komponenten auf Relevanz für die Entscheidung zu untersuchen. Insbesondere ist die Anzahl der zu untersuchenden Kombinationen deutlich geringer.It was recognized that the decomposition of the intermediate product into components drastically reduces the computational effort for many investigations into which parts of the input image are relevant to the decision. In the components of the intermediate that were determined to be independently, several numerical values of the intermediate that relate to individual characteristics are summarized. Instead of a very large number of features, only a significantly smaller number of components need to be examined for relevance to the decision. In particular, the number of combinations to be examined is significantly lower.
Weiterhin entspricht die Unterteilung des Zwischenprodukts in Merkmale, die durch die Wahl der Filterkerne festgelegt wird, nicht notwendigerweise der sinnvollen Unterteilung entsprechend der semantischen Bedeutung von Teilen des Eingabe-Bildes. Daher ist eine Untersuchung der Entscheidungsrelevanz anhand der erkannten unabhängigen Komponenten deutlich besser motiviert.Furthermore, the subdivision of the intermediate product into features determined by the choice of filter kernels does not necessarily correspond to the meaningful subdivision according to the semantic meaning of parts of the input image. Therefore, an examination of the decision-making relevance based on the recognized independent components is much better motivated.
In einer besonders vorteilhaften Ausgestaltung beinhaltet das Relevanzkriterium, dass Zahlenwerte in dem Zwischenprodukt oberhalb eines vorgegebenen Schwellwerts liegen. Eine zweidimensionale Merkmalskarte kann dann etwa als „Gebirge“ angesehen werden, von dem abhängig vom durch den Schwellwert bestimmten „Wasserstand“ mehr oder weniger sichtbar ist. Insbesondere können mehrere „hoch aufragende“ Bereiche durch etwas „tiefer liegende“ Bereiche miteinander verbunden sein. Der „Wasserstand“ entscheidet dann darüber, ob die „tiefer liegenden“ Bereiche noch sichtbar sind und somit zusammen mit den „hoch aufragenden“ Bereichen eine zusammenhängende Komponente des Zwischenprodukts bilden, bzw. ob die „tiefer liegenden“ Bereiche „versinken“ und jeder der „hoch aufragenden“ Bereiche eine separate Komponente des Zwischenprodukts bildet.In a particularly advantageous embodiment, the relevance criterion includes numerical values in the intermediate product being above a predetermined threshold value. A two-dimensional feature map can then be viewed as a "mountain range" from which more or less is visible depending on the "water level" determined by the threshold value. In particular, several "high-rise" areas may be connected to one another by somewhat "lower-lying" areas. The "water level" then decides whether the "deeper" areas are still visible and thus form a coherent component of the intermediate product together with the "high-rising" areas, or whether the "lower-lying" areas "sink" and each of the "high-rise" areas form a separate component of the intermediate.
Der Schwellwert kann insbesondere beispielsweise selbstkonsistent optimiert werden. Zu diesem Zweck können die im Rahmen des Verfahrens ermittelten tatsächlich entscheidungsrelevanten Anteile des Eingabe-Bildes mit vorgegebenen Soll-Anteilen verglichen werden, die für den Bildklassifikator nominell entscheidungsrelevant sein sollen. Der vorgegebene Schwellwert für die Festlegung der unabhängigen Komponenten kann dann optimiert werden mit dem Ziel, dass die dann ermittelten tatsächlich entscheidungsrelevanten Anteile besser in Einklang mit den nominell entscheidungsrelevanten Anteilen kommen.In particular, the threshold value can be optimized in a self-consistent manner, for example. For this purpose, the parts of the input image that are actually relevant to the decision and that are determined within the framework of the method can be compared with specified target parts that are supposed to be nominally relevant to the decision of the image classifier. The specified threshold value for determining the independent components can then be optimized with the aim that the actually decision-relevant parts that are then determined come into better agreement with the nominal decision-relevant parts.
Die Suche nach dem geeigneten Schwellwert kann aber auch beispielsweise bei einem vorgegebenen hohen Schwellwert starten, und der Schwellwert kann sukzessive vermindert werden, bis beispielsweise eine Zusammenstellung von Komponenten gefunden wird, die für die Entscheidung des Bildklassifikators wesentlich und/oder hinreichend ist.However, the search for the appropriate threshold value can also start, for example, at a predetermined high threshold value, and the threshold value can be successively reduced until, for example, a combination of components is found that is essential and/or sufficient for the decision of the image classifier.
Das Relevanzkriterium, wie etwa ein Schwellwert, kann beispielsweise für verschiedene Merkmalskarten unterschiedlich gewählt werden. Es können aber auch beispielsweise Aktivierungswerte mehrerer Merkmalskarten summiert oder gemittelt werden, und diese Summe, bzw. der Mittelwert, kann dann mit dem Relevanzkriterium bewertet werden. Letztere Alternative fasst die Information aus allen Merkmalskarten in einem Satz unabhängiger Komponenten des Zwischenprodukts zusammen, so dass die Gesamtanzahl dieser unabhängigen Komponenten, die für den Rechenaufwand einer weiteren Analyse maßgeblich ist, weiter reduziert wird.The relevance criterion, such as a threshold value, can be selected differently for different feature maps, for example. However, it is also possible, for example, to add up or average activation values from a number of feature maps, and this sum or the average value can then be evaluated using the relevance criterion. The latter alternative combines the information from all feature maps into a set of independent components of the intermediate product, so that the total number of these independent components, which is decisive for the computational effort of a further analysis, is further reduced.
In einer besonders vorteilhaften Ausgestaltung beinhaltet das Ermitteln der Abhängigkeiten, eine kleinste Zusammenstellung von Komponenten zu ermitteln, deren Deaktivierung im Zwischenprodukt die Entscheidung des Bildklassifikators aufhebt und/oder ändert. Wenn beispielsweise das Weglassen eines bestimmten Kratzers in einem Bild eines Produkts dazu führt, dass das Produkt bei der optischen Qualitätskontrolle von der Klasse „nicht OK = NOK“ in die Klasse „OK“ wechselt, dann ist der Kratzer für die Entscheidung über die Klassenzuordnung relevant. Ein maßgebliches Verändern der Entscheidung kann jedoch auch beispielsweise bereits dann vorliegen, wenn ein Klassifikations-Score des Bildklassifikators in Bezug auf die bisher bevorzugte Klasse minimiert wird.In a particularly advantageous embodiment, determining the dependencies includes determining a smallest combination of components whose deactivation in the intermediate product cancels and/or changes the decision of the image classifier. For example, if the omission of a particular scratch in an image of a product causes the product to go from a "not OK = NOK" class to an "OK" class in optical quality control, then the Krat Zer relevant for the decision about the class assignment. However, a significant change in the decision can already be present, for example, when a classification score of the image classifier is minimized in relation to the previously preferred class.
Dies ist jedoch nur eine Seite der Medaille. Es ist ebenso wichtig zu wissen, ob dieser Kratzer allein bereits zur Einstufung in die Klasse „NOK“ führt oder ob beispielsweise erst eine Kombination von Kratzern, die sich von einem Rand des Produkts zum anderen erstreckt, zur Einstufung in die Klasse „NOK“ führt. Beispielsweise kann das Risiko eines metallischen Ermüdungsbruchs erst bei einer durchgehenden Kombination von Kratzern maßgeblich gegenüber dem Risiko bei einem völlig mangelfreien Produkt erhöht sein.However, this is only one side of the coin. It is also important to know whether this scratch alone already leads to a classification as NOK or whether, for example, a combination of scratches extending from one edge of the product to the other leads to classification as NOK . For example, the risk of a metallic fatigue fracture can only be significantly increased compared to the risk of a completely defect-free product if there is a continuous combination of scratches.
Daher beinhaltet in einer weiteren vorteilhaften Ausgestaltung das Ermitteln der Abhängigkeiten, eine kleinste Zusammenstellung von zu ermitteln, deren Vorhandensein im Zwischenprodukt hinreichend für die Entscheidung des Bildklassifikators ist. Dies kann insbesondere beispielsweise bedeuten, dass die Entscheidung des Bildklassifikators auch dann unverändert bleibt, wenn alle Komponenten außer den Komponenten in der Zusammenstellung deaktiviert werden.Therefore, in a further advantageous embodiment, determining the dependencies includes determining a smallest compilation of whose presence in the intermediate product is sufficient for the decision of the image classifier. In particular, this can mean, for example, that the decision of the image classifier remains unchanged even if all components except the components in the composition are deactivated.
Bei diesen Untersuchungen kann eine Komponente im Zwischenprodukt insbesondere beispielsweise deaktiviert werden, indem alle der Komponente zugeordneten Werte des Zwischenprodukts auf Null gesetzt werden. Jedoch kommen Aktivierungswerte von genau Null in der Realität selten vor. Die Aktivierungswerte von aktuell nicht relevanten Komponenten werden zwar typischerweise sehr klein sein, aber von Null verschieden bleiben. Daher wird in einer weiteren besonders vorteilhaften Ausgestaltung eine Komponente im Zwischenprodukt deaktiviert, indem ihr im Zwischenprodukt Aktivierungswerte zugewiesen werden, die der Bildklassifikator dieser Komponente zuordnet, wenn ihm ein Eingabe-Bild einer anderen Klasse zugeführt wird.In these investigations, a component in the intermediate can be deactivated, for example, by setting all the values of the intermediate that are assigned to the component to zero. However, activation values of exactly zero rarely occur in reality. The activation values of components that are not currently relevant will typically be very small, but will remain different from zero. Therefore, in a further particularly advantageous embodiment, a component in the intermediate product is deactivated by being assigned activation values in the intermediate product, which the image classifier assigns to this component when an input image of a different class is fed to it.
Beispielsweise kann ein Bildklassifikator für die Qualitätskontrolle von Produkten Bilder der Produkte in die drei Klassen „OK“, „NOK“ und „keine Entscheidung möglich“ einteilen. Bei einer Untersuchung, ob eine bestimmte Komponente für die Einteilung in die Klasse „OK“ bzw. „NOK“ relevant ist, können die Aktivierungswerte für diese bestimmte Komponente auf diejenigen Aktivierungswerte gesetzt werden, die der Bildklassifikator für die gleiche Komponente liefert, wenn ihm ein Bild der Klasse „keine Entscheidung möglich“ zugeführt wird.For example, an image classifier for the quality control of products can classify images of the products into the three classes "OK", "NOK" and "no decision possible". When examining whether a particular component is relevant for the classification into the class "OK" or "NOK", the activation values for this particular component can be set to those activation values that the image classifier provides for the same component if it has a Image of the class "no decision possible" is added.
In einer weiteren besonders vorteilhaften Ausgestaltung wird die Wichtigkeit individueller Komponenten mit einem vorgegebenen Wichtigkeitsmaß bewertet. Komponenten können dann anhand dieser Bewertung für das Ermitteln der Abhängigkeiten vorausgewählt werden. Auf diese Weise kann die Zahl der zu untersuchenden Komponenten, und insbesondere die Zahl der zu untersuchenden Kombinationen von Komponenten, noch weiter reduziert werden.In a further particularly advantageous embodiment, the importance of individual components is evaluated using a predefined degree of importance. Components can then be pre-selected for dependency determination based on this assessment. In this way, the number of components to be examined, and in particular the number of combinations of components to be examined, can be reduced even further.
Beispielsweise kann die Wichtigkeit einer individuellen Komponente anhand eines Erwartungswerts für einen vom Bildklassifikator gelieferten Klassifikations-Score über eine Vielzahl von Zwischenprodukten, die jeweils diese Komponente enthalten, ermittelt werden. Wenn es beispielswiese N individuelle Komponenten gibt, kann eine binäre Maske aus N Bits aufgestellt werden, die für jede Komponente angibt, ob sie aktiviert ist oder nicht. Es können dann viele solche binäre Masken aus einer Zufallsverteilung gezogen werden, wobei in all diesen Masken das Bit, das sich auf die aktuell untersuchte Komponente bezieht, auf 1 gesetzt wird. Aus all diesen Masken kann dann jeweils ein Zwischenprodukt gebildet werden, und für jedes dieser Zwischenprodukte kann der Bildklassifikator einen Klassifikations-Score liefern. Aus den auf diese Weise ermittelten vielen Klassifikations-Scores geht ein Erwartungswert hervor.For example, the importance of an individual component can be determined using an expected value for a classification score supplied by the image classifier via a large number of intermediate products, each of which contains this component. For example, if there are N individual components, a binary mask of N bits can be constructed that indicates for each component whether it is activated or not. Many such binary masks can then be drawn from a random distribution, with the bit relating to the currently examined component being set to 1 in all of these masks. An intermediate product can then be formed from each of these masks, and the image classifier can supply a classification score for each of these intermediate products. An expected value emerges from the many classification scores determined in this way.
Dies schließt nicht aus, dass bei einer vergleichsweise geringen Anzahl N individueller Komponenten auch eine Brute-Force-Suche nach dem Zwischenprodukt mit dem besten Klassifikations-Score praktikabel ist. Weiterhin können die Komponenten auch vorab gefiltert werden. Beispielsweise können alle Komponenten, deren Pixelanzahl unterhalb eines vorgegebenen Schwellwerts liegt, unberücksichtigt bleiben. Auf diese Weise kann die Suche deutlich vereinfacht und das Verfahren entsprechend beschleunigt werden.This does not rule out that, given a comparatively small number N of individual components, a brute-force search for the intermediate product with the best classification score is also practicable. The components can also be filtered in advance. For example, all components whose number of pixels is below a predetermined threshold value can remain unconsidered. In this way, the search can be significantly simplified and the process accelerated accordingly.
In einer besonders vorteilhaften Ausgestaltung wird ein Bild eines in Serie gefertigten Produkts als Eingabe-Bild gewählt. Die Klassen der Klassifikation repräsentieren dann eine Qualitätsbewertung des Produkts, wie beispielsweise „OK“, „nicht OK = NOK“, „keine Entscheidung möglich“ oder auch beliebige Abstufungen dazwischen. In diesem Zusammenhang sind insbesondere Erklärungen dafür, warum der Bildklassifikator ein Eingabe-Bild der Klasse „NOK“ zuordnet, wichtig. Mit solchen Erklärungen lässt sich nicht nur der Bildklassifikator selbst verbessern, sondern es lassen sich auch Erkenntnisse über die mögliche Ursache des Qualitätsproblems gewinnen, die im Fertigungsprozess gesetzt wurde. Wenn beispielsweise eine Vielzahl kleiner lokalisierter Defekte am Produkt für die Einstufung als „NOK“ ausschlaggebend waren und diese Defekte wiederum mit bestimmten physikalischen Bedingungen während der Herstellung des Produkts korreliert sind (wie etwa hohe Temperatur oder hoher Druck), kann gezielt darauf hingewirkt werden, diese Bedingungen zu korrigieren, damit künftig ein größerer Anteil der hergestellten Produktexemplare als „OK“ eingestuft wird.In a particularly advantageous embodiment, an image of a mass-produced product is selected as the input image. The classes of the classification then represent a quality assessment of the product, such as "OK", "not OK = NOK", "no decision possible" or any gradations in between. In this context, explanations for why the image classifier assigns an input image to the class "NOK" are particularly important. Such explanations not only improve the image classifier itself, but also provide insight into the possible root cause of the quality issue that was set in the manufacturing process. If, for example, a large number of small localized defects in the product were decisive for the classification as "NOK" and these defects in turn were associated with certain physical conditions during the manufacture of the correlated to the product (such as high temperature or high pressure), efforts can be made to correct these conditions so that a greater proportion of manufactured product specimens will be classified as “OK” in the future.
Bei einem aus verschiedenen Einzelteilen oder Baugruppen zusammengesetzten Produkt kann weiterhin beispielsweise erkannt werden, dass die für die Einstufung als „NOK“ ausschlaggebenden Merkmale alle an einem Einzelteil, bzw. in einer Baugruppe, lokalisiert sind. Dies ist ein Hinweis darauf, dass derjenige Teil des Fertigungsprozesses, in dem dieses Einzelteil, bzw. diese Baugruppe, entsteht, möglicherweise mangelhaft arbeitet. Es kann also in eine komplexe Abfolge von Fertigungsschritten gleichsam „chirurgisch“ eingegriffen werden, um Probleme gezielt zu beheben, ohne dabei andere Aspekte zu sehr zu verschlechtern.In the case of a product made up of various individual parts or assemblies, it can also be recognized, for example, that the characteristics that are decisive for classification as "NOK" are all localized on an individual part or in an assembly. This is an indication that the part of the manufacturing process in which this part or assembly is created may be defective. It is therefore possible to “surgically” intervene in a complex sequence of production steps in order to specifically rectify problems without making other aspects too bad.
Die ermittelten Anteile des Eingabe-Bildes, auf die der Bildklassifikator seine Entscheidung stützt, können insbesondere beispielsweise mit einem Anteil des Eingabe-Bildes verglichen werden, der anhand einer Beobachtung des gleichen Produkts mit einer anderen Abbildungsmodalität als relevant für die Qualitätsbewertung des Produkts ermittelt wurde. Aus dem Ergebnis dieses Vergleichs kann dann eine Qualitätsbewertung für den Bildklassifikator ermittelt werden. Beispielsweise können Hyperparameter des Bildklassifikators optimiert werden mit dem Ziel, diese Qualitätsbewertung zu optimieren.The determined parts of the input image, on which the image classifier bases its decision, can be compared, for example, with a part of the input image that was determined as relevant for the quality assessment of the product based on an observation of the same product with a different imaging modality. A quality assessment for the image classifier can then be determined from the result of this comparison. For example, hyperparameters of the image classifier can be optimized with the aim of optimizing this quality assessment.
In einer weiteren besonders vorteilhaften Ausgestaltung wird ein von einem Fahrzeug aus aufgenommenes Bild einer Verkehrssituation als Eingabe-Bild gewählt. Die Klassen der Klassifikation repräsentieren dann Bewertungen der Verkehrssituation, auf deren Basis das künftige Verhalten des Fahrzeugs geplant wird. Gerade in diesem Anwendungsfeld kann dem Bildklassifikator und einem nachgeschalteten Warnsystem, Fahrassistenzsystem oder System zum zumindest teilweise automatisierten Fahren häufig nur unter der Voraussetzung vertraut werden, dass die Entscheidungen des Bildklassifikators erklärbar sind. Das Verfahren kann genau diese Erklärungen liefern.In a further particularly advantageous embodiment, an image of a traffic situation taken from a vehicle is selected as the input image. The classes of the classification then represent assessments of the traffic situation, on the basis of which the future behavior of the vehicle is planned. Especially in this field of application, the image classifier and a downstream warning system, driver assistance system or system for at least partially automated driving can often only be trusted if the decisions of the image classifier can be explained. The method can provide precisely these explanations.
Die ermittelten Anteile des Eingabe-Bildes, auf die der Bildklassifikator seine Entscheidung stützt, können insbesondere beispielsweise mit einem Anteil des Eingabe-Bildes verglichen werden, der als für die Beurteilung der Verkehrssituation relevant bekannt ist. Aus dem Ergebnis dieses Vergleichs kann dann eine Qualitätsbewertung für den Bildklassifikator ermittelt werden. Analog zum Anwendungsbeispiel der Qualitätskontrolle von in Serie gefertigten Produkten können dann beispielsweise Hyperparameter des Bildklassifikators optimiert werden mit dem Ziel, dass die Qualität des Bildklassifikators danach besser bewertet wird.The determined parts of the input image, on which the image classifier bases its decision, can be compared, for example, with a part of the input image that is known to be relevant for the assessment of the traffic situation. A quality assessment for the image classifier can then be determined from the result of this comparison. Analogous to the application example of the quality control of products manufactured in series, hyper parameters of the image classifier can then be optimized with the aim that the quality of the image classifier is then better evaluated.
Das Verfahren kann insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, das beschriebene Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.In particular, the method can be fully or partially computer-implemented. The invention therefore also relates to a computer program with machine-readable instructions which, when executed on one or more computers, cause the computer or computers to carry out the method described. In this sense, control devices for vehicles and embedded systems for technical devices that are also able to execute machine-readable instructions are also to be regarded as computers.
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.The invention also relates to a machine-readable data carrier and/or a download product with the computer program. A downloadable product is a digital product that can be transmitted over a data network, i.e. can be downloaded by a user of the data network and that can be offered for sale in an online shop for immediate download, for example.
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.Furthermore, a computer can be equipped with the computer program, with the machine-readable data carrier or with the downloadable product.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.Further measures improving the invention are presented in more detail below together with the description of the preferred exemplary embodiments of the invention with the aid of figures.
Figurenlistecharacter list
Es zeigt:
-
1 Ausführungsbeispiel des Verfahrens 100 zur Messung der für einen Bildklassifikator 1 entscheidungsrelevanten Anteile 2a eines Eingabe-Bildes 2; -
2 Beispielhafte Anwendung desVerfahrens 100 bei der Analyse einer Verkehrssituation 50; -
3 Beispielhafte Anwendung desVerfahrens 100 bei der Analyse eines bei der optischen Qualitätskontrolle aufgenommenen Bildes 60.
-
1 Exemplary embodiment of themethod 100 for measuring theparts 2a of aninput image 2 that are relevant for an image classifier 1; -
2 Exemplary application of themethod 100 in the analysis of a traffic situation 50; -
3 Exemplary application of themethod 100 in the analysis of an image 60 recorded during optical quality control.
In Schritt 110 wird ein trainierter Bildklassifikator 1 bereitgestellt. In Schritt 120 wird ein Eingabe-Bild 2 bereitgestellt. In Schritt 130 erzeugen eine oder mehrere Faltungsschichten 11-13 in dem Bildklassifikator 1 Zwischenprodukte 11a-13a, und mindestens eine Klassifikatorschicht 14 des Bildklassifikators 1 erzeugt hieraus eine Zuordnung 14a zu einer oder mehreren Klassen.In step 110 a trained image classifier 1 is provided. In
Mindestens eines der Zwischenprodukte 11a-13a wird in Schritt 140 in räumlich zusammenhängende Bereiche 31-35 zerlegt, die jeweils ein vorgegebenes Relevanzkriterium (3) erfüllen und durch Bereiche, die dieses Relevanzkriterium 3 nicht erfüllen, voneinander getrennt sind. Diese zusammenhängenden Bereiche 31-35 bilden voneinander unabhängige Komponenten des untersuchten Zwischenprodukts 11a-13a und werden daher im Folgenden nur noch Komponenten genannt. In Schritt 150 werden Abhängigkeiten 41-45 der Entscheidung des Bildklassifikators 1 von diesen Komponenten 31-35 ermittelt. Aus diesen Abhängigkeiten 41-45 werden die gesuchten entscheidungsrelevanten Anteile 2a des Eingabe-Bildes 2 ermittelt.At least one of the
Gemäß Block 141 können beispielsweise für verschiedene Merkmalskarten in den Zwischenprodukten 11a-13a, die etwa von verschiedenen Filterkernen in den Faltungsschichten 11-13 herrühren können, unterschiedliche Relevanzkriterien 3 gewählt werden. Alternativ können gemäß Block 142 beispielsweise Aktivierungswerte mehrerer Merkmalskarten summiert werden, und diese Summe kann mit dem Relevanzkriterium 3 bewertet werden.According to block 141,
Gemäß Block 144 kann das Relevanzkriterium 3 insbesondere beispielsweise beinhalten, dass Zahlenwerte in dem Zwischenprodukt 11a-13a oberhalb eines vorgegebenen Schwellwerts 3a liegen. Insbesondere können beispielsweise gemäß Block 144a bereits ermittelte tatsächlich entscheidungsrelevante Anteile 2a des Eingabe-Bildes 2 mit vorgegebenen Soll-Anteilen 2# verglichen werden, die nominell entscheidungsrelevant sein sollen. Der Schwellwert 3a kann dann gemäß Block 144b optimiert werden mit dem Ziel, dass die dann ermittelten tatsächlich entscheidungsrelevanten Anteile 2a besser in Einklang mit den nominell entscheidungsrelevanten Anteilen 2# kommen.According to block 144, the
Das Ermitteln der Abhängigkeiten 41-43 kann gemäß Block 151 insbesondere beispielsweise beinhalten, eine kleinste Zusammenstellung von Komponenten 31-35 zu ermitteln, deren Deaktivierung im Zwischenprodukt 11a-13a die Entscheidung des Bildklassifikators 1 aufhebt und/oder ändert. Hierbei ist eine bloße Verminderung eines Klassifikations-Scores noch nicht notwendigerweise eine wesentliche Änderung der Entscheidung. Wird ein Klassifikations-Score für eine Klasse hingegen fast auf Null gedrückt, und/oder rückt durch die Verminderung des Klassifikations-Scores für die bislang bevorzugte Klasse nunmehr eine andere Klasse in den Vordergrund, kann durchaus von einer Aufhebung bzw. Änderung der Entscheidung gesprochen werden.According to block 151, the determination of the dependencies 41-43 can include, for example, determining a smallest combination of components 31-35 whose deactivation in the
Alternativ oder auch in Kombination hierzu kann das Ermitteln der Abhängigkeiten 41-43 gemäß Block 152 beispielsweise beinhalten, eine kleinste Zusammenstellung von Komponenten 31-35 zu ermitteln, deren Vorhandensein im Zwischenprodukt 11a-13a hinreichend für die Entscheidung des Bildklassifikators 1 ist.Alternatively or also in combination with this, determining the dependencies 41-43 according to block 152 can include, for example, determining a smallest combination of components 31-35 whose presence in the
Eine Komponente 31-35 kann im Zwischenprodukt 11a-13a gemäß Block 153 insbesondere beispielsweise deaktiviert werden, indem ihr im Zwischenprodukt 11a-13a Aktivierungswerte zugewiesen werden, die der Bildklassifikator 1 dieser Komponente 31-35 zuordnet, wenn ihm ein Eingabe-Bild 2 einer anderen Klasse zugeführt wird.A component 31-35 can be deactivated in the
Bevor Abhängigkeiten 41-43 der Entscheidung des Bildklassifikators 1 von Komponenten 31-35 eingehend untersucht werden, können individuelle Komponenten 31-35 gemäß Block 154 zunächst mit einem vorgegebenen Wichtigkeitsmaß bewertet werden. Gemäß Block 155 können Komponenten 31-35 dann anhand dieser Bewertung für das Ermitteln der Abhängigkeiten 41-45 vorausgewählt werden.Before dependencies 41-43 of the decision of the image classifier 1 of components 31-35 are examined in detail, individual components 31-35 can first be evaluated according to block 154 with a predetermined degree of importance. According to block 155, components 31-35 can then be preselected on the basis of this evaluation for determining the dependencies 41-45.
Die Bewertung der Wichtigkeit einer individuellen Komponente 31-35 kann gemäß Block 154a insbesondere beispielsweise anhand eines Erwartungswerts für einen vom Bildklassifikator 1 gelieferten Klassifikations-Score über eine Vielzahl von Zwischenprodukten 11a-13a, die jeweils diese Komponente 31-35 enthalten, ermittelt werden.According to
Das Eingabe-Bild 2 kann gemäß Block 105 insbesondere beispielsweise ein Bild eines in Serie gefertigten Produkts sein. Die Klassen der Klassifikation repräsentieren dann eine Qualitätsbewertung des Produkts. Die in Schritt 160 ermittelten Anteile 2a des Eingabe-Bildes 2, auf die der Bildklassifikator 1 seine Entscheidung stützt, können in Schritt 170 mit einem Anteil 2b des Eingabe-Bildes 2 verglichen werden, der anhand einer Beobachtung des gleichen Produkts mit einer anderen Abbildungsmodalität als relevant für die Qualitätsbewertung des Produkts ermittelt wurde.According to block 105, the
Das Eingabe-Bild 2 kann alternativ gemäß Block 106 insbesondere beispielsweise ein von einem Fahrzeug aus aufgenommenes Bild sein. Die Klassen der Klassifikation repräsentieren dann Bewertungen der Verkehrssituation, auf deren Basis das künftige Verhalten des Fahrzeugs geplant wird. Die in Schritt 160 ermittelten Anteile 2a des Eingabe-Bildes 2, auf die der Bildklassifikator 1 seine Entscheidung stützt, können in Schritt 180 mit einem Anteil 2b des Eingabe-Bildes 2 verglichen werden, der aus beliebiger Quelle als für die Beurteilung der Verkehrssituation relevant bekannt ist.Alternatively, according to block 106, the
Aus den in den Vergleichen 170 bzw. 180 ermittelten Ergebnisse 170a bzw. 180a kann in Schritt 190 eine Qualitätsbewertung 1a des Bildklassifikators 1 ermittelt werden.A
Wenn die Verarbeitung dieses Eingabe-Bildes 2 durch den Bildklassifikator 1 mit dem zuvor beschriebenen Verfahren 100 analysiert wird, können beispielsweise die in
Komponente 31 enthält den Kopf des Fußgängers 52. Komponente 32 enthält einen Teil des Torsos des Fußgängers 52. Komponente 33 enthält Arm und Hand des Fußgängers 52. Komponente 34 enthält das Smartphone 53. Komponente 35 enthält das geparkte Fahrzeug 51.
Mit dem Verfahren 100 kann nun beispielsweise geprüft werden, ob der Fußgänger 52 auch dann noch als solcher erkannt wird, wenn er seinen Arm gesenkt hat und das Smartphone 53 nicht an sein Ohr hält. In diesem Fall sind weder der Arm noch das Smartphone 53 sichtbar. Wenn der Bildklassifikator 1 sehr viele Trainingsbilder mit telefonierenden Menschen gesehen hat und das Smartphone praktisch als zusätzliches Körperteil eines Menschen gelernt hat, könnte paradoxerweise gerade ein Fußgänger 52, der sich im Verkehr richtig verhält und beim Überqueren einer Straße nicht telefoniert, zu spät erkannt und überfahren werden.The
Umgekehrt kann beispielsweise geprüft werden, ob der Bildklassifikator 1 aus der Anwesenheit eines Smartphones 53 auch gleich die Anwesenheit eines Fußgängers 52 folgert und dessen Erkennung vermeldet. Dann könnte ein von dem Bildklassifikator 1 angesteuertes Fahrzeug beispielsweise durch ein auf der Straße 54 verlorenes Smartphone 53 zu einer Vollbremsung veranlasst werden, was einen Auffahrunfall auslösen kann.Conversely, it can be checked, for example, whether the image classifier 1 also deduces the presence of a
Komponente 31 enthält den ersten Riss 62. Komponente 32 enthält den zweiten Riss 63. Komponente 33 enthält den unbeschädigten Rest der Schraubenmutter 61. Analog zu
Im Rahmen der Qualitätskontrolle kann beispielsweise erwünscht sein, dass eine völlig unbeschädigte Schraubenmutter 61 als A-Ware und eine Schraubenmutter 61 mit nur einem Riss 62 oder 63 als preisreduzierte, aber noch verkaufsfähige B-Ware eingestuft wird. Die in
Mit dem Verfahren 100 kann allein an Hand des Eingabe-Bildes 2 und des Bildklassifikators 1 analysiert werden, ob der Bildklassifikator 1 dieses erwünschte Verhalten zeigt.With the
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent Literature Cited
- WO 2018/197074 A1 [0003]WO 2018/197074 A1 [0003]
Claims (18)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020211995.3A DE102020211995A1 (en) | 2020-09-24 | 2020-09-24 | Determination of the image parts in the latent space of the image classifier that are relevant for the decision of an image classifier |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020211995.3A DE102020211995A1 (en) | 2020-09-24 | 2020-09-24 | Determination of the image parts in the latent space of the image classifier that are relevant for the decision of an image classifier |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102020211995A1 true DE102020211995A1 (en) | 2022-03-24 |
Family
ID=80473776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102020211995.3A Pending DE102020211995A1 (en) | 2020-09-24 | 2020-09-24 | Determination of the image parts in the latent space of the image classifier that are relevant for the decision of an image classifier |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102020211995A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018197074A1 (en) | 2017-04-27 | 2018-11-01 | Robert Bosch Gmbh | Inspection apparatus for optically inspecting an object, and object inspection arrangement |
DE102018205561A1 (en) | 2017-08-18 | 2019-02-21 | Robert Bosch Gmbh | Device for classifying signals |
DE102018213052A1 (en) | 2018-08-03 | 2020-02-06 | Robert Bosch Gmbh | Method and device for determining an explanation card |
EP3642758B1 (en) | 2017-09-07 | 2020-08-19 | Audi AG | Method for evaluating an optical appearance in the surroundings of a vehicle, and vehicle |
-
2020
- 2020-09-24 DE DE102020211995.3A patent/DE102020211995A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018197074A1 (en) | 2017-04-27 | 2018-11-01 | Robert Bosch Gmbh | Inspection apparatus for optically inspecting an object, and object inspection arrangement |
DE102018205561A1 (en) | 2017-08-18 | 2019-02-21 | Robert Bosch Gmbh | Device for classifying signals |
EP3642758B1 (en) | 2017-09-07 | 2020-08-19 | Audi AG | Method for evaluating an optical appearance in the surroundings of a vehicle, and vehicle |
DE102018213052A1 (en) | 2018-08-03 | 2020-02-06 | Robert Bosch Gmbh | Method and device for determining an explanation card |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102018128289B4 (en) | METHOD AND DEVICE FOR AUTONOMOUS SYSTEM PERFORMANCE AND CLASSIFICATION | |
DE102013213593A1 (en) | Method and apparatus for assessing the requirement to perform an integration test | |
DE102020211995A1 (en) | Determination of the image parts in the latent space of the image classifier that are relevant for the decision of an image classifier | |
DE102015205720A1 (en) | System for analyzing unclassified motor vehicle error data | |
DE102020208474B4 (en) | Measuring the sensitivity of classifiers based on interacting disturbances | |
EP3923193B1 (en) | Measurement of sensitivity of image classifiers against changes in the input image | |
DE102020212005B4 (en) | Procedure for determining the image parts that are relevant for an image classifier | |
DE102021204550A1 (en) | Method for generating at least one data set for training a machine learning algorithm | |
DE102020207323A1 (en) | Measure the sensitivity of image classifiers based on realistic changes that cross class boundaries | |
EP4016082A1 (en) | Method and device for detecting a presence of a fluorescence pattern type on an organ segment by means of immunofluorescence microscopy | |
DE102020208765A1 (en) | Image classifier with variable receptive fields in convolutional layers | |
DE102020214944A1 (en) | Determination of the image parts that are relevant for an image classifier with a reduced computing time requirement | |
DE102020214996A1 (en) | Measurement of the sensitivity of an image classifier to changes in the input image | |
DE102018222801A1 (en) | Method and device for measuring a system to be tested | |
DE102020207324A1 (en) | Plausibility check of the output of an image classifier with a generator for modified images | |
DE102020210729A1 (en) | Training of classifier networks for a better explainability of the obtained classification scores | |
DE102017217596A1 (en) | Method for checking an electronic component, method for generating a model and device | |
DE102020210732A1 (en) | Method for measuring the relevance of image areas for decisions of an image classifier | |
DE102021214253A1 (en) | Determination of the image parts that are relevant for image processing with a transformer network | |
DE102021104672A1 (en) | Generation of counterfactual images for the evaluation of image classifiers | |
DE102020126291A1 (en) | Method for analyzing a component, method for training a system, apparatus, computer program and computer-readable storage medium | |
DE102018109816B3 (en) | A method for obtaining at least one significant feature in a series of components of the same type and method for classifying a component of such a series | |
DE102020216264A1 (en) | Generating realistic images with greater variability | |
DE102021200877A1 (en) | Quantitative assessment of relevance rating functions for the output of an image classifier | |
DE102022200548A1 (en) | Method for creating a training data set for training a machine learning system for semiconductor wafer defect detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06K0009620000 Ipc: G06V0030190000 |