DE102020211995A1 - Determination of the image parts in the latent space of the image classifier that are relevant for the decision of an image classifier - Google Patents

Determination of the image parts in the latent space of the image classifier that are relevant for the decision of an image classifier Download PDF

Info

Publication number
DE102020211995A1
DE102020211995A1 DE102020211995.3A DE102020211995A DE102020211995A1 DE 102020211995 A1 DE102020211995 A1 DE 102020211995A1 DE 102020211995 A DE102020211995 A DE 102020211995A DE 102020211995 A1 DE102020211995 A1 DE 102020211995A1
Authority
DE
Germany
Prior art keywords
image
decision
input image
classifier
components
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020211995.3A
Other languages
German (de)
Inventor
Andres Mauricio Munoz Delgado
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102020211995.3A priority Critical patent/DE102020211995A1/en
Publication of DE102020211995A1 publication Critical patent/DE102020211995A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm

Abstract

Verfahren (100) zur Messung, auf welche Anteile (2a) eines Eingabe-Bildes (2) ein Bildklassifikator (1) seine Entscheidung über die Zuordnung (14a) dieses Eingabe-Bildes (2) zu einer oder mehreren Klassen einer vorgegebenen Klassifikation stützt, mit den Schritten:• es wird ein trainierter Bildklassifikator (1) bereitgestellt (110), der dazu ausgebildet ist, unter Anwendung einer oder mehrerer Faltungsschichten (11-13) Zwischenprodukte (11a-13a) aus dem Eingabe-Bild (2) zu erzeugen und unter Anwendung einer oder mehrerer Klassifikatorschichten (14) ein derartiges Zwischenprodukt (11a-13a) auf die Zuordnung (14a) zu der oder den Klassen abzubilden;• es wird ein Eingabe-Bild (2) bereitgestellt (120);• aus dem Eingabe-Bild (2) werden mit dem Bildklassifikator (1) mindestens ein Zwischenprodukt (11a-13a) und eine Zuordnung (14a) zu einer oder mehreren Klassen erzeugt (130);• mindestens ein Zwischenprodukt (11a-13a) wird in räumlich zusammenhängende Bereiche (31-35) zerlegt (140), die jeweils ein vorgegebenes Relevanzkriterium (3) erfüllen und durch Bereiche, die dieses Relevanzkriterium (3) nicht erfüllen, voneinander getrennt sind;• diese zusammenhängenden Bereiche (31-35) werden als voneinander unabhängige Komponenten des Zwischenprodukts (11a-13a) gewertet, und es werden Abhängigkeiten (41-45) der Entscheidung des Bildklassifikators (1) von diesen Komponenten (31-35) ermittelt (150);• aus diesen Abhängigkeiten (41-45) werden die gesuchten entscheidungsrelevanten Anteile (2a) des Eingabe-Bildes (2) ermittelt (160).Method (100) for measuring the parts (2a) of an input image (2) on which an image classifier (1) bases its decision on the assignment (14a) of this input image (2) to one or more classes of a predetermined classification, with the steps: • a trained image classifier (1) is provided (110), which is designed to generate intermediate products (11a-13a) from the input image (2) using one or more convolution layers (11-13). and using one or more classifier layers (14) to map such an intermediate product (11a-13a) to the assignment (14a) to the class or classes;• an input image (2) is provided (120);• from the input -image (2), at least one intermediate product (11a-13a) and an assignment (14a) to one or more classes are generated (130) with the image classifier (1);• at least one intermediate product (11a-13a) is divided into spatially contiguous areas (31-35) decomposed (140), the jewei ls meet a predetermined relevance criterion (3) and are separated from one another by areas that do not meet this relevance criterion (3);• these contiguous areas (31-35) are evaluated as independent components of the intermediate product (11a-13a), and it dependencies (41-45) of the decision of the image classifier (1) are determined (150) from these components (31-35); • from these dependencies (41-45) the searched for decision-relevant parts (2a) of the input image (2 ) determined (160).

Description

Die vorliegende Erfindung betrifft die Kontrolle des Verhaltens trainierbarer Bildklassifikatoren, die beispielsweise für die Qualitätskontrolle von in Serie gefertigten Produkten oder auch für das zumindest teilweise automatisierte Führen von Fahrzeugen genutzt werden können.The present invention relates to the control of the behavior of trainable image classifiers that can be used, for example, for the quality control of mass-produced products or also for the at least partially automated driving of vehicles.

Stand der TechnikState of the art

Bei der Serienfertigung von Produkten ist es in der Regel erforderlich, die Qualität der Fertigung laufend zu überprüfen. Dabei wird angestrebt, Qualitätsprobleme möglichst schnell zu erkennen, um die Ursache baldmöglichst beheben zu können und nicht zu viele Einheiten des jeweiligen Produkts als Ausschuss zu verlieren.In the series production of products, it is usually necessary to continuously check the quality of the production. The aim is to identify quality problems as quickly as possible in order to be able to remedy the cause as soon as possible and not lose too many units of the respective product as scrap.

Die optische Kontrolle der Geometrie und/oder Oberfläche eines Produkts ist schnell und zerstörungsfrei. Die WO 2018/197 074 A1 offenbart eine Prüfvorrichtung, in der ein Objekt einer Vielzahl von Beleuchtungssituationen ausgesetzt werden kann, wobei in jeder dieser Beleuchtungssituationen mit einer Kamera Bilder des Objekts aufgezeichnet werden. Aus diesen Bildern wird die Topographie des Objekts ausgewertet.Optical inspection of a product's geometry and/or surface is fast and non-destructive. the WO 2018/197 074 A1 discloses an inspection apparatus in which an object can be exposed to a plurality of lighting situations, images of the object being recorded with a camera in each of these lighting situations. The topography of the object is evaluated from these images.

Bilder des Produkts können auch unmittelbar mit einem Bildklassifikator auf der Basis künstlicher neuronaler Netzwerke einer von mehreren Klassen einer vorgegebenen Klassifikation zugeordnet werden. Auf dieser Basis kann das Produkt einer von mehreren vorgegebenen Qualitätsklassen zugeordnet werden. Im einfachsten Fall ist diese Klassifikation binär („OK“/ „nicht OK“).Images of the product can also be directly assigned to one of several classes of a given classification using an image classifier based on artificial neural networks. On this basis, the product can be assigned to one of several specified quality classes. In the simplest case, this classification is binary ("OK"/"not OK").

Beim zumindest teilweise automatisierten Führen von Fahrzeugen werden ebenfalls trainierbare Bildklassifikatoren eingesetzt, um Verkehrssituationen zu bewerten oder zumindest auf ihren Gehalt an Objekten zu untersuchen.When driving vehicles in an at least partially automated manner, image classifiers that can be trained are also used in order to evaluate traffic situations or at least to examine their content of objects.

Offenbarung der ErfindungDisclosure of Invention

Im Rahmen der Erfindung wurde ein Verfahren zur Messung entwickelt, auf welche Anteile eines Eingabe-Bildes ein Bildklassifikator seine Entscheidung über die Zuordnung dieses Eingabe-Bildes zu einer oder mehreren Klassen einer vorgegebenen Klassifikation stützt. Die Kenntnis dieser Anteile ist in vielen Anwendungen wichtig für die Beurteilung, ob der Bildklassifikator in allen Situationen schnell und richtig reagiert, so dass nachgeschaltete Systeme angemessen auf die jeweilige Situation reagieren.Within the scope of the invention, a method was developed for measuring the parts of an input image on which an image classifier bases its decision on the assignment of this input image to one or more classes of a specified classification. In many applications, knowledge of these parts is important for assessing whether the image classifier reacts quickly and correctly in all situations, so that downstream systems react appropriately to the respective situation.

So ist es beispielsweise wünschenswert, dass ein Bildklassifikator für Verkehrssituationen einen Fußgänger nicht erst dann erkennt, wenn er vollständig sichtbar ist, sondern schon in dem Moment, indem der Kopf, die Beine oder andere Merkmale, die den Fußgänger eindeutig als solchen erkennen lassen, sichtbar werden. Wenn ein solcher Bildklassifikator ein Warnsystem, ein Fahrassistenzsystem oder ein System für das zumindest teilweise automatisierte Fahren ansteuert, können gefährliche Situationen, in denen beispielsweise ein Fußgänger zwischen geparkten Fahrzeugen auf die Fahrbahn tritt, früher entschärft werden.For example, it is desirable for an image classifier for traffic situations to recognize a pedestrian not only when the pedestrian is fully visible, but as soon as the head, legs or other features that clearly identify the pedestrian as such are visible will. If such an image classifier controls a warning system, a driver assistance system or a system for at least partially automated driving, dangerous situations in which, for example, a pedestrian steps onto the road between parked vehicles, can be defused earlier.

Bei der Qualitätskontrolle von in Serie gefertigten Produkten ist es beispielsweise wichtig, dass bestimmte Mängel und Schäden in jedem Fall dazu führen, dass das Produkt als „nicht OK = NOK“ klassifiziert wird. Der Mangel bzw. Schaden wird dadurch, dass andere Bildbereiche möglicherweise besonders „schön“ sind, nicht aufgehoben.For example, in the quality control of mass-produced products, it is important that certain defects and damage always lead to the product being classified as "not OK = NOK". The defect or damage is not offset by the fact that other areas of the image may be particularly "beautiful".

Für das Verfahren wird ein trainierter Bildklassifikator bereitgestellt, der dazu ausgebildet ist, unter Anwendung einer oder mehrerer Faltungsschichten Zwischenprodukte aus dem Eingabe-Bild zu erzeugen und unter Anwendung einer oder mehrerer Klassifikatorschichten ein derartiges Zwischenprodukt auf die Zuordnung zu der oder den Klassen abzubilden.A trained image classifier is provided for the method, which is designed to generate intermediate products from the input image using one or more convolution layers and to map such an intermediate product to the assignment to the class or classes using one or more classifier layers.

Beispielsweise können die Faltungsschichten des Bildklassifikators Filterkerne umfassen. Die Faltungsschichten erzeugen dann als Zwischenprodukte Merkmalskarten, die jeweils Aktivierungswerte der von einem Filterkern erkannten Merkmale angeben. Die Klassifikatorschicht kann beispielsweise eine vollvernetzte Schicht umfassen.For example, the convolution layers of the image classifier may include filter kernels. The convolution layers then produce feature maps as intermediate products, each of which indicates activation values of the features recognized by a filter kernel. The classifier layer can include a fully crosslinked layer, for example.

Es wird ein Eingabe-Bild bereitgestellt, dessen entscheidungsrelevanter Anteil zu bestimmen ist. Der Bildklassifikator bildet dieses Eingabe-Bild auf eine Zuordnung zu einer oder mehreren Klassen ab. Diese Zuordnung, und hier insbesondere eine im Rahmen dieser Zuordnung besonders bevorzugte Klasse (etwa diejenige Klasse mit einer höchsten Klassifikations-Score), kann als Entscheidung des Bildklassifikators verstanden werden. Auf dem Weg zu dieser Entscheidung entstehen automatisch auch die besagten Zwischenprodukte. Eines oder mehrere dieser Zwischenprodukte werden ausgewertet, um die für die Entscheidung des Bildklassifikators relevanten Anteile des Eingabe-Buldes zu ermitteln.An input image is provided, the decision-relevant part of which is to be determined. The image classifier maps this input image to a mapping to one or more classes. This assignment, and here in particular a class that is particularly preferred within the scope of this assignment (for example that class with a highest classification score), can be understood as a decision by the image classifier. On the way to this decision, the aforementioned intermediate products are also created automatically. One or more of these intermediate products are evaluated in order to determine the parts of the input bulge that are relevant for the decision of the image classifier.

Zu diesem Zweck wird ausgehend von einem vorgegebenen Relevanzkriterium mindestens ein Zwischenprodukt in räumlich zusammenhängende Bereiche zerlegt, die jeweils dieses Relevanzkriterium erfüllen und durch Bereiche, die das Relevanzkriterium nicht erfüllen, voneinander getrennt sind. Diese zusammenhängenden Bereiche werden als voneinander unabhängige Komponenten des Zwischenprodukts gewertet.For this purpose, starting from a predetermined relevance criterion, at least one intermediate product is broken down into spatially connected areas that each meet this relevance criterion and are separated from one another by areas that do not meet the relevance criterion. These contiguous areas are called mutually independent components of the intermediate are evaluated.

Es werden nun Abhängigkeiten der Entscheidung des Bildklassifikators von diesen Komponenten ermittelt. Hierunter ist insbesondere beispielsweise jede Form von Messung oder sonstiger Quantifizierung zu verstehen,

  • • inwieweit sich die Entscheidung des Bildklassifikators ändern würde, wenn eine oder mehrere Komponenten nicht im Zwischenprodukt enthalten wären, bzw.
  • • inwieweit das Vorhandensein einer oder mehrerer Komponenten im Zwischenprodukt hinreichend für die Entscheidung des Bildklassifikators ist, unabhängig vom restlichen Inhalt des Zwischenprodukts.
Dependencies of the decision of the image classifier on these components are now determined. This means in particular, for example, any form of measurement or other quantification,
  • • to what extent the decision of the image classifier would change if one or more components were not included in the intermediate product, or
  • • To what extent the presence of one or more components in the intermediate is sufficient for the decision of the image classifier, independent of the rest of the content of the intermediate.

Aus den so ermittelten Abhängigkeiten werden die gesuchten entscheidungsrelevanten Anteile des Eingabe-Bildes ermittelt. Hierbei kann insbesondere eine räumliche Korrespondenz zwischen dem Zwischenprodukt und dem Eingabe-Bild ausgenutzt werden. Das Zwischenprodukt hat im Vergleich zum Eingabe-Bild in der Regel eine deutlich verminderte Dimensionalität. Jedoch trägt immer noch beispielsweise eine bestimmte Ecke des Eingabe-Bildes das Meiste zur hierzu korrespondierenden Ecke bei.From the dependencies determined in this way, the searched for decision-relevant parts of the input image are determined. Here, in particular, a spatial correspondence between the intermediate product and the input image can be used. The intermediate product usually has a significantly reduced dimensionality compared to the input image. However, for example, a particular corner of the input image still contributes the most to its corresponding corner.

Es wurde erkannt, dass die Zerlegung des Zwischenprodukts in Komponenten den Rechenaufwand für viele Untersuchungen, welche Anteile des Eingabe-Bildes entscheidungsrelevant sind, drastisch vermindert. In den als unabhängig ermittelten Komponenten des Zwischenprodukts sind jeweils mehrere Zahlenwerte des Zwischenprodukts, die sich auf einzelne Merkmale beziehen, zusammengefasst. Statt einer sehr großen Anzahl von Merkmalen ist somit nur eine deutlich geringere Anzahl von Komponenten auf Relevanz für die Entscheidung zu untersuchen. Insbesondere ist die Anzahl der zu untersuchenden Kombinationen deutlich geringer.It was recognized that the decomposition of the intermediate product into components drastically reduces the computational effort for many investigations into which parts of the input image are relevant to the decision. In the components of the intermediate that were determined to be independently, several numerical values of the intermediate that relate to individual characteristics are summarized. Instead of a very large number of features, only a significantly smaller number of components need to be examined for relevance to the decision. In particular, the number of combinations to be examined is significantly lower.

Weiterhin entspricht die Unterteilung des Zwischenprodukts in Merkmale, die durch die Wahl der Filterkerne festgelegt wird, nicht notwendigerweise der sinnvollen Unterteilung entsprechend der semantischen Bedeutung von Teilen des Eingabe-Bildes. Daher ist eine Untersuchung der Entscheidungsrelevanz anhand der erkannten unabhängigen Komponenten deutlich besser motiviert.Furthermore, the subdivision of the intermediate product into features determined by the choice of filter kernels does not necessarily correspond to the meaningful subdivision according to the semantic meaning of parts of the input image. Therefore, an examination of the decision-making relevance based on the recognized independent components is much better motivated.

In einer besonders vorteilhaften Ausgestaltung beinhaltet das Relevanzkriterium, dass Zahlenwerte in dem Zwischenprodukt oberhalb eines vorgegebenen Schwellwerts liegen. Eine zweidimensionale Merkmalskarte kann dann etwa als „Gebirge“ angesehen werden, von dem abhängig vom durch den Schwellwert bestimmten „Wasserstand“ mehr oder weniger sichtbar ist. Insbesondere können mehrere „hoch aufragende“ Bereiche durch etwas „tiefer liegende“ Bereiche miteinander verbunden sein. Der „Wasserstand“ entscheidet dann darüber, ob die „tiefer liegenden“ Bereiche noch sichtbar sind und somit zusammen mit den „hoch aufragenden“ Bereichen eine zusammenhängende Komponente des Zwischenprodukts bilden, bzw. ob die „tiefer liegenden“ Bereiche „versinken“ und jeder der „hoch aufragenden“ Bereiche eine separate Komponente des Zwischenprodukts bildet.In a particularly advantageous embodiment, the relevance criterion includes numerical values in the intermediate product being above a predetermined threshold value. A two-dimensional feature map can then be viewed as a "mountain range" from which more or less is visible depending on the "water level" determined by the threshold value. In particular, several "high-rise" areas may be connected to one another by somewhat "lower-lying" areas. The "water level" then decides whether the "deeper" areas are still visible and thus form a coherent component of the intermediate product together with the "high-rising" areas, or whether the "lower-lying" areas "sink" and each of the "high-rise" areas form a separate component of the intermediate.

Der Schwellwert kann insbesondere beispielsweise selbstkonsistent optimiert werden. Zu diesem Zweck können die im Rahmen des Verfahrens ermittelten tatsächlich entscheidungsrelevanten Anteile des Eingabe-Bildes mit vorgegebenen Soll-Anteilen verglichen werden, die für den Bildklassifikator nominell entscheidungsrelevant sein sollen. Der vorgegebene Schwellwert für die Festlegung der unabhängigen Komponenten kann dann optimiert werden mit dem Ziel, dass die dann ermittelten tatsächlich entscheidungsrelevanten Anteile besser in Einklang mit den nominell entscheidungsrelevanten Anteilen kommen.In particular, the threshold value can be optimized in a self-consistent manner, for example. For this purpose, the parts of the input image that are actually relevant to the decision and that are determined within the framework of the method can be compared with specified target parts that are supposed to be nominally relevant to the decision of the image classifier. The specified threshold value for determining the independent components can then be optimized with the aim that the actually decision-relevant parts that are then determined come into better agreement with the nominal decision-relevant parts.

Die Suche nach dem geeigneten Schwellwert kann aber auch beispielsweise bei einem vorgegebenen hohen Schwellwert starten, und der Schwellwert kann sukzessive vermindert werden, bis beispielsweise eine Zusammenstellung von Komponenten gefunden wird, die für die Entscheidung des Bildklassifikators wesentlich und/oder hinreichend ist.However, the search for the appropriate threshold value can also start, for example, at a predetermined high threshold value, and the threshold value can be successively reduced until, for example, a combination of components is found that is essential and/or sufficient for the decision of the image classifier.

Das Relevanzkriterium, wie etwa ein Schwellwert, kann beispielsweise für verschiedene Merkmalskarten unterschiedlich gewählt werden. Es können aber auch beispielsweise Aktivierungswerte mehrerer Merkmalskarten summiert oder gemittelt werden, und diese Summe, bzw. der Mittelwert, kann dann mit dem Relevanzkriterium bewertet werden. Letztere Alternative fasst die Information aus allen Merkmalskarten in einem Satz unabhängiger Komponenten des Zwischenprodukts zusammen, so dass die Gesamtanzahl dieser unabhängigen Komponenten, die für den Rechenaufwand einer weiteren Analyse maßgeblich ist, weiter reduziert wird.The relevance criterion, such as a threshold value, can be selected differently for different feature maps, for example. However, it is also possible, for example, to add up or average activation values from a number of feature maps, and this sum or the average value can then be evaluated using the relevance criterion. The latter alternative combines the information from all feature maps into a set of independent components of the intermediate product, so that the total number of these independent components, which is decisive for the computational effort of a further analysis, is further reduced.

In einer besonders vorteilhaften Ausgestaltung beinhaltet das Ermitteln der Abhängigkeiten, eine kleinste Zusammenstellung von Komponenten zu ermitteln, deren Deaktivierung im Zwischenprodukt die Entscheidung des Bildklassifikators aufhebt und/oder ändert. Wenn beispielsweise das Weglassen eines bestimmten Kratzers in einem Bild eines Produkts dazu führt, dass das Produkt bei der optischen Qualitätskontrolle von der Klasse „nicht OK = NOK“ in die Klasse „OK“ wechselt, dann ist der Kratzer für die Entscheidung über die Klassenzuordnung relevant. Ein maßgebliches Verändern der Entscheidung kann jedoch auch beispielsweise bereits dann vorliegen, wenn ein Klassifikations-Score des Bildklassifikators in Bezug auf die bisher bevorzugte Klasse minimiert wird.In a particularly advantageous embodiment, determining the dependencies includes determining a smallest combination of components whose deactivation in the intermediate product cancels and/or changes the decision of the image classifier. For example, if the omission of a particular scratch in an image of a product causes the product to go from a "not OK = NOK" class to an "OK" class in optical quality control, then the Krat Zer relevant for the decision about the class assignment. However, a significant change in the decision can already be present, for example, when a classification score of the image classifier is minimized in relation to the previously preferred class.

Dies ist jedoch nur eine Seite der Medaille. Es ist ebenso wichtig zu wissen, ob dieser Kratzer allein bereits zur Einstufung in die Klasse „NOK“ führt oder ob beispielsweise erst eine Kombination von Kratzern, die sich von einem Rand des Produkts zum anderen erstreckt, zur Einstufung in die Klasse „NOK“ führt. Beispielsweise kann das Risiko eines metallischen Ermüdungsbruchs erst bei einer durchgehenden Kombination von Kratzern maßgeblich gegenüber dem Risiko bei einem völlig mangelfreien Produkt erhöht sein.However, this is only one side of the coin. It is also important to know whether this scratch alone already leads to a classification as NOK or whether, for example, a combination of scratches extending from one edge of the product to the other leads to classification as NOK . For example, the risk of a metallic fatigue fracture can only be significantly increased compared to the risk of a completely defect-free product if there is a continuous combination of scratches.

Daher beinhaltet in einer weiteren vorteilhaften Ausgestaltung das Ermitteln der Abhängigkeiten, eine kleinste Zusammenstellung von zu ermitteln, deren Vorhandensein im Zwischenprodukt hinreichend für die Entscheidung des Bildklassifikators ist. Dies kann insbesondere beispielsweise bedeuten, dass die Entscheidung des Bildklassifikators auch dann unverändert bleibt, wenn alle Komponenten außer den Komponenten in der Zusammenstellung deaktiviert werden.Therefore, in a further advantageous embodiment, determining the dependencies includes determining a smallest compilation of whose presence in the intermediate product is sufficient for the decision of the image classifier. In particular, this can mean, for example, that the decision of the image classifier remains unchanged even if all components except the components in the composition are deactivated.

Bei diesen Untersuchungen kann eine Komponente im Zwischenprodukt insbesondere beispielsweise deaktiviert werden, indem alle der Komponente zugeordneten Werte des Zwischenprodukts auf Null gesetzt werden. Jedoch kommen Aktivierungswerte von genau Null in der Realität selten vor. Die Aktivierungswerte von aktuell nicht relevanten Komponenten werden zwar typischerweise sehr klein sein, aber von Null verschieden bleiben. Daher wird in einer weiteren besonders vorteilhaften Ausgestaltung eine Komponente im Zwischenprodukt deaktiviert, indem ihr im Zwischenprodukt Aktivierungswerte zugewiesen werden, die der Bildklassifikator dieser Komponente zuordnet, wenn ihm ein Eingabe-Bild einer anderen Klasse zugeführt wird.In these investigations, a component in the intermediate can be deactivated, for example, by setting all the values of the intermediate that are assigned to the component to zero. However, activation values of exactly zero rarely occur in reality. The activation values of components that are not currently relevant will typically be very small, but will remain different from zero. Therefore, in a further particularly advantageous embodiment, a component in the intermediate product is deactivated by being assigned activation values in the intermediate product, which the image classifier assigns to this component when an input image of a different class is fed to it.

Beispielsweise kann ein Bildklassifikator für die Qualitätskontrolle von Produkten Bilder der Produkte in die drei Klassen „OK“, „NOK“ und „keine Entscheidung möglich“ einteilen. Bei einer Untersuchung, ob eine bestimmte Komponente für die Einteilung in die Klasse „OK“ bzw. „NOK“ relevant ist, können die Aktivierungswerte für diese bestimmte Komponente auf diejenigen Aktivierungswerte gesetzt werden, die der Bildklassifikator für die gleiche Komponente liefert, wenn ihm ein Bild der Klasse „keine Entscheidung möglich“ zugeführt wird.For example, an image classifier for the quality control of products can classify images of the products into the three classes "OK", "NOK" and "no decision possible". When examining whether a particular component is relevant for the classification into the class "OK" or "NOK", the activation values for this particular component can be set to those activation values that the image classifier provides for the same component if it has a Image of the class "no decision possible" is added.

In einer weiteren besonders vorteilhaften Ausgestaltung wird die Wichtigkeit individueller Komponenten mit einem vorgegebenen Wichtigkeitsmaß bewertet. Komponenten können dann anhand dieser Bewertung für das Ermitteln der Abhängigkeiten vorausgewählt werden. Auf diese Weise kann die Zahl der zu untersuchenden Komponenten, und insbesondere die Zahl der zu untersuchenden Kombinationen von Komponenten, noch weiter reduziert werden.In a further particularly advantageous embodiment, the importance of individual components is evaluated using a predefined degree of importance. Components can then be pre-selected for dependency determination based on this assessment. In this way, the number of components to be examined, and in particular the number of combinations of components to be examined, can be reduced even further.

Beispielsweise kann die Wichtigkeit einer individuellen Komponente anhand eines Erwartungswerts für einen vom Bildklassifikator gelieferten Klassifikations-Score über eine Vielzahl von Zwischenprodukten, die jeweils diese Komponente enthalten, ermittelt werden. Wenn es beispielswiese N individuelle Komponenten gibt, kann eine binäre Maske aus N Bits aufgestellt werden, die für jede Komponente angibt, ob sie aktiviert ist oder nicht. Es können dann viele solche binäre Masken aus einer Zufallsverteilung gezogen werden, wobei in all diesen Masken das Bit, das sich auf die aktuell untersuchte Komponente bezieht, auf 1 gesetzt wird. Aus all diesen Masken kann dann jeweils ein Zwischenprodukt gebildet werden, und für jedes dieser Zwischenprodukte kann der Bildklassifikator einen Klassifikations-Score liefern. Aus den auf diese Weise ermittelten vielen Klassifikations-Scores geht ein Erwartungswert hervor.For example, the importance of an individual component can be determined using an expected value for a classification score supplied by the image classifier via a large number of intermediate products, each of which contains this component. For example, if there are N individual components, a binary mask of N bits can be constructed that indicates for each component whether it is activated or not. Many such binary masks can then be drawn from a random distribution, with the bit relating to the currently examined component being set to 1 in all of these masks. An intermediate product can then be formed from each of these masks, and the image classifier can supply a classification score for each of these intermediate products. An expected value emerges from the many classification scores determined in this way.

Dies schließt nicht aus, dass bei einer vergleichsweise geringen Anzahl N individueller Komponenten auch eine Brute-Force-Suche nach dem Zwischenprodukt mit dem besten Klassifikations-Score praktikabel ist. Weiterhin können die Komponenten auch vorab gefiltert werden. Beispielsweise können alle Komponenten, deren Pixelanzahl unterhalb eines vorgegebenen Schwellwerts liegt, unberücksichtigt bleiben. Auf diese Weise kann die Suche deutlich vereinfacht und das Verfahren entsprechend beschleunigt werden.This does not rule out that, given a comparatively small number N of individual components, a brute-force search for the intermediate product with the best classification score is also practicable. The components can also be filtered in advance. For example, all components whose number of pixels is below a predetermined threshold value can remain unconsidered. In this way, the search can be significantly simplified and the process accelerated accordingly.

In einer besonders vorteilhaften Ausgestaltung wird ein Bild eines in Serie gefertigten Produkts als Eingabe-Bild gewählt. Die Klassen der Klassifikation repräsentieren dann eine Qualitätsbewertung des Produkts, wie beispielsweise „OK“, „nicht OK = NOK“, „keine Entscheidung möglich“ oder auch beliebige Abstufungen dazwischen. In diesem Zusammenhang sind insbesondere Erklärungen dafür, warum der Bildklassifikator ein Eingabe-Bild der Klasse „NOK“ zuordnet, wichtig. Mit solchen Erklärungen lässt sich nicht nur der Bildklassifikator selbst verbessern, sondern es lassen sich auch Erkenntnisse über die mögliche Ursache des Qualitätsproblems gewinnen, die im Fertigungsprozess gesetzt wurde. Wenn beispielsweise eine Vielzahl kleiner lokalisierter Defekte am Produkt für die Einstufung als „NOK“ ausschlaggebend waren und diese Defekte wiederum mit bestimmten physikalischen Bedingungen während der Herstellung des Produkts korreliert sind (wie etwa hohe Temperatur oder hoher Druck), kann gezielt darauf hingewirkt werden, diese Bedingungen zu korrigieren, damit künftig ein größerer Anteil der hergestellten Produktexemplare als „OK“ eingestuft wird.In a particularly advantageous embodiment, an image of a mass-produced product is selected as the input image. The classes of the classification then represent a quality assessment of the product, such as "OK", "not OK = NOK", "no decision possible" or any gradations in between. In this context, explanations for why the image classifier assigns an input image to the class "NOK" are particularly important. Such explanations not only improve the image classifier itself, but also provide insight into the possible root cause of the quality issue that was set in the manufacturing process. If, for example, a large number of small localized defects in the product were decisive for the classification as "NOK" and these defects in turn were associated with certain physical conditions during the manufacture of the correlated to the product (such as high temperature or high pressure), efforts can be made to correct these conditions so that a greater proportion of manufactured product specimens will be classified as “OK” in the future.

Bei einem aus verschiedenen Einzelteilen oder Baugruppen zusammengesetzten Produkt kann weiterhin beispielsweise erkannt werden, dass die für die Einstufung als „NOK“ ausschlaggebenden Merkmale alle an einem Einzelteil, bzw. in einer Baugruppe, lokalisiert sind. Dies ist ein Hinweis darauf, dass derjenige Teil des Fertigungsprozesses, in dem dieses Einzelteil, bzw. diese Baugruppe, entsteht, möglicherweise mangelhaft arbeitet. Es kann also in eine komplexe Abfolge von Fertigungsschritten gleichsam „chirurgisch“ eingegriffen werden, um Probleme gezielt zu beheben, ohne dabei andere Aspekte zu sehr zu verschlechtern.In the case of a product made up of various individual parts or assemblies, it can also be recognized, for example, that the characteristics that are decisive for classification as "NOK" are all localized on an individual part or in an assembly. This is an indication that the part of the manufacturing process in which this part or assembly is created may be defective. It is therefore possible to “surgically” intervene in a complex sequence of production steps in order to specifically rectify problems without making other aspects too bad.

Die ermittelten Anteile des Eingabe-Bildes, auf die der Bildklassifikator seine Entscheidung stützt, können insbesondere beispielsweise mit einem Anteil des Eingabe-Bildes verglichen werden, der anhand einer Beobachtung des gleichen Produkts mit einer anderen Abbildungsmodalität als relevant für die Qualitätsbewertung des Produkts ermittelt wurde. Aus dem Ergebnis dieses Vergleichs kann dann eine Qualitätsbewertung für den Bildklassifikator ermittelt werden. Beispielsweise können Hyperparameter des Bildklassifikators optimiert werden mit dem Ziel, diese Qualitätsbewertung zu optimieren.The determined parts of the input image, on which the image classifier bases its decision, can be compared, for example, with a part of the input image that was determined as relevant for the quality assessment of the product based on an observation of the same product with a different imaging modality. A quality assessment for the image classifier can then be determined from the result of this comparison. For example, hyperparameters of the image classifier can be optimized with the aim of optimizing this quality assessment.

In einer weiteren besonders vorteilhaften Ausgestaltung wird ein von einem Fahrzeug aus aufgenommenes Bild einer Verkehrssituation als Eingabe-Bild gewählt. Die Klassen der Klassifikation repräsentieren dann Bewertungen der Verkehrssituation, auf deren Basis das künftige Verhalten des Fahrzeugs geplant wird. Gerade in diesem Anwendungsfeld kann dem Bildklassifikator und einem nachgeschalteten Warnsystem, Fahrassistenzsystem oder System zum zumindest teilweise automatisierten Fahren häufig nur unter der Voraussetzung vertraut werden, dass die Entscheidungen des Bildklassifikators erklärbar sind. Das Verfahren kann genau diese Erklärungen liefern.In a further particularly advantageous embodiment, an image of a traffic situation taken from a vehicle is selected as the input image. The classes of the classification then represent assessments of the traffic situation, on the basis of which the future behavior of the vehicle is planned. Especially in this field of application, the image classifier and a downstream warning system, driver assistance system or system for at least partially automated driving can often only be trusted if the decisions of the image classifier can be explained. The method can provide precisely these explanations.

Die ermittelten Anteile des Eingabe-Bildes, auf die der Bildklassifikator seine Entscheidung stützt, können insbesondere beispielsweise mit einem Anteil des Eingabe-Bildes verglichen werden, der als für die Beurteilung der Verkehrssituation relevant bekannt ist. Aus dem Ergebnis dieses Vergleichs kann dann eine Qualitätsbewertung für den Bildklassifikator ermittelt werden. Analog zum Anwendungsbeispiel der Qualitätskontrolle von in Serie gefertigten Produkten können dann beispielsweise Hyperparameter des Bildklassifikators optimiert werden mit dem Ziel, dass die Qualität des Bildklassifikators danach besser bewertet wird.The determined parts of the input image, on which the image classifier bases its decision, can be compared, for example, with a part of the input image that is known to be relevant for the assessment of the traffic situation. A quality assessment for the image classifier can then be determined from the result of this comparison. Analogous to the application example of the quality control of products manufactured in series, hyper parameters of the image classifier can then be optimized with the aim that the quality of the image classifier is then better evaluated.

Das Verfahren kann insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, das beschriebene Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.In particular, the method can be fully or partially computer-implemented. The invention therefore also relates to a computer program with machine-readable instructions which, when executed on one or more computers, cause the computer or computers to carry out the method described. In this sense, control devices for vehicles and embedded systems for technical devices that are also able to execute machine-readable instructions are also to be regarded as computers.

Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.The invention also relates to a machine-readable data carrier and/or a download product with the computer program. A downloadable product is a digital product that can be transmitted over a data network, i.e. can be downloaded by a user of the data network and that can be offered for sale in an online shop for immediate download, for example.

Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.Furthermore, a computer can be equipped with the computer program, with the machine-readable data carrier or with the downloadable product.

Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.Further measures improving the invention are presented in more detail below together with the description of the preferred exemplary embodiments of the invention with the aid of figures.

Figurenlistecharacter list

Es zeigt:

  • 1 Ausführungsbeispiel des Verfahrens 100 zur Messung der für einen Bildklassifikator 1 entscheidungsrelevanten Anteile 2a eines Eingabe-Bildes 2;
  • 2 Beispielhafte Anwendung des Verfahrens 100 bei der Analyse einer Verkehrssituation 50;
  • 3 Beispielhafte Anwendung des Verfahrens 100 bei der Analyse eines bei der optischen Qualitätskontrolle aufgenommenen Bildes 60.
It shows:
  • 1 Exemplary embodiment of the method 100 for measuring the parts 2a of an input image 2 that are relevant for an image classifier 1;
  • 2 Exemplary application of the method 100 in the analysis of a traffic situation 50;
  • 3 Exemplary application of the method 100 in the analysis of an image 60 recorded during optical quality control.

1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100. 1 10 is a schematic flow chart of an embodiment of the method 100.

In Schritt 110 wird ein trainierter Bildklassifikator 1 bereitgestellt. In Schritt 120 wird ein Eingabe-Bild 2 bereitgestellt. In Schritt 130 erzeugen eine oder mehrere Faltungsschichten 11-13 in dem Bildklassifikator 1 Zwischenprodukte 11a-13a, und mindestens eine Klassifikatorschicht 14 des Bildklassifikators 1 erzeugt hieraus eine Zuordnung 14a zu einer oder mehreren Klassen.In step 110 a trained image classifier 1 is provided. In step 120 an input image 2 is provided. In step 130, one or more convolution layers 11-13 in the image classifier 1 generate intermediate products 11a-13a, and at least one classifier layer 14 of the image classifier 1 generates an assignment 14a to one or more classes from this.

Mindestens eines der Zwischenprodukte 11a-13a wird in Schritt 140 in räumlich zusammenhängende Bereiche 31-35 zerlegt, die jeweils ein vorgegebenes Relevanzkriterium (3) erfüllen und durch Bereiche, die dieses Relevanzkriterium 3 nicht erfüllen, voneinander getrennt sind. Diese zusammenhängenden Bereiche 31-35 bilden voneinander unabhängige Komponenten des untersuchten Zwischenprodukts 11a-13a und werden daher im Folgenden nur noch Komponenten genannt. In Schritt 150 werden Abhängigkeiten 41-45 der Entscheidung des Bildklassifikators 1 von diesen Komponenten 31-35 ermittelt. Aus diesen Abhängigkeiten 41-45 werden die gesuchten entscheidungsrelevanten Anteile 2a des Eingabe-Bildes 2 ermittelt.At least one of the intermediate products 11a-13a is broken down in step 140 into spatially connected areas 31-35, which each meet a predetermined relevance criterion (3) and are separated from one another by areas that do not meet this relevance criterion 3. These contiguous areas 31-35 form mutually independent components of the intermediate product 11a-13a examined and are therefore only called components in the following. In step 150, dependencies 41-45 of the decision of the image classifier 1 on these components 31-35 are determined. From these dependencies 41-45, the parts 2a of the input image 2 that are relevant to the decision are determined.

Gemäß Block 141 können beispielsweise für verschiedene Merkmalskarten in den Zwischenprodukten 11a-13a, die etwa von verschiedenen Filterkernen in den Faltungsschichten 11-13 herrühren können, unterschiedliche Relevanzkriterien 3 gewählt werden. Alternativ können gemäß Block 142 beispielsweise Aktivierungswerte mehrerer Merkmalskarten summiert werden, und diese Summe kann mit dem Relevanzkriterium 3 bewertet werden.According to block 141, different relevance criteria 3 can be selected, for example, for different feature maps in the intermediate products 11a-13a, which can originate from different filter cores in the convolution layers 11-13. Alternatively, according to block 142, for example, activation values of multiple feature maps can be summed up, and this sum can be evaluated using relevance criterion 3.

Gemäß Block 144 kann das Relevanzkriterium 3 insbesondere beispielsweise beinhalten, dass Zahlenwerte in dem Zwischenprodukt 11a-13a oberhalb eines vorgegebenen Schwellwerts 3a liegen. Insbesondere können beispielsweise gemäß Block 144a bereits ermittelte tatsächlich entscheidungsrelevante Anteile 2a des Eingabe-Bildes 2 mit vorgegebenen Soll-Anteilen 2# verglichen werden, die nominell entscheidungsrelevant sein sollen. Der Schwellwert 3a kann dann gemäß Block 144b optimiert werden mit dem Ziel, dass die dann ermittelten tatsächlich entscheidungsrelevanten Anteile 2a besser in Einklang mit den nominell entscheidungsrelevanten Anteilen 2# kommen.According to block 144, the relevance criterion 3 can in particular include, for example, that numerical values in the intermediate product 11a-13a are above a predefined threshold value 3a. In particular, according to block 144a, for example, portions 2a of the input image 2 that are actually relevant to the decision can be compared with specified target portions 2# that are supposed to be nominally relevant to the decision. The threshold value 3a can then be optimized according to block 144b with the aim that the actually decision-relevant components 2a then determined come into better agreement with the nominal decision-relevant components 2#.

Das Ermitteln der Abhängigkeiten 41-43 kann gemäß Block 151 insbesondere beispielsweise beinhalten, eine kleinste Zusammenstellung von Komponenten 31-35 zu ermitteln, deren Deaktivierung im Zwischenprodukt 11a-13a die Entscheidung des Bildklassifikators 1 aufhebt und/oder ändert. Hierbei ist eine bloße Verminderung eines Klassifikations-Scores noch nicht notwendigerweise eine wesentliche Änderung der Entscheidung. Wird ein Klassifikations-Score für eine Klasse hingegen fast auf Null gedrückt, und/oder rückt durch die Verminderung des Klassifikations-Scores für die bislang bevorzugte Klasse nunmehr eine andere Klasse in den Vordergrund, kann durchaus von einer Aufhebung bzw. Änderung der Entscheidung gesprochen werden.According to block 151, the determination of the dependencies 41-43 can include, for example, determining a smallest combination of components 31-35 whose deactivation in the intermediate product 11a-13a cancels and/or changes the decision of the image classifier 1. A mere reduction in a classification score is not necessarily a significant change in the decision. If, on the other hand, a classification score for a class is reduced to almost zero and/or another class now comes to the fore as a result of the reduction in the classification score for the previously preferred class, one can certainly speak of an annulment or change of the decision .

Alternativ oder auch in Kombination hierzu kann das Ermitteln der Abhängigkeiten 41-43 gemäß Block 152 beispielsweise beinhalten, eine kleinste Zusammenstellung von Komponenten 31-35 zu ermitteln, deren Vorhandensein im Zwischenprodukt 11a-13a hinreichend für die Entscheidung des Bildklassifikators 1 ist.Alternatively or also in combination with this, determining the dependencies 41-43 according to block 152 can include, for example, determining a smallest combination of components 31-35 whose presence in the intermediate product 11a-13a is sufficient for the decision of the image classifier 1.

Eine Komponente 31-35 kann im Zwischenprodukt 11a-13a gemäß Block 153 insbesondere beispielsweise deaktiviert werden, indem ihr im Zwischenprodukt 11a-13a Aktivierungswerte zugewiesen werden, die der Bildklassifikator 1 dieser Komponente 31-35 zuordnet, wenn ihm ein Eingabe-Bild 2 einer anderen Klasse zugeführt wird.A component 31-35 can be deactivated in the intermediate product 11a-13a according to block 153, for example, by assigning activation values to it in the intermediate product 11a-13a, which the image classifier 1 assigns to this component 31-35 when it receives an input image 2 from another class is supplied.

Bevor Abhängigkeiten 41-43 der Entscheidung des Bildklassifikators 1 von Komponenten 31-35 eingehend untersucht werden, können individuelle Komponenten 31-35 gemäß Block 154 zunächst mit einem vorgegebenen Wichtigkeitsmaß bewertet werden. Gemäß Block 155 können Komponenten 31-35 dann anhand dieser Bewertung für das Ermitteln der Abhängigkeiten 41-45 vorausgewählt werden.Before dependencies 41-43 of the decision of the image classifier 1 of components 31-35 are examined in detail, individual components 31-35 can first be evaluated according to block 154 with a predetermined degree of importance. According to block 155, components 31-35 can then be preselected on the basis of this evaluation for determining the dependencies 41-45.

Die Bewertung der Wichtigkeit einer individuellen Komponente 31-35 kann gemäß Block 154a insbesondere beispielsweise anhand eines Erwartungswerts für einen vom Bildklassifikator 1 gelieferten Klassifikations-Score über eine Vielzahl von Zwischenprodukten 11a-13a, die jeweils diese Komponente 31-35 enthalten, ermittelt werden.According to block 154a, the evaluation of the importance of an individual component 31-35 can be determined, for example, using an expected value for a classification score supplied by the image classifier 1 via a large number of intermediate products 11a-13a, each of which contains this component 31-35.

Das Eingabe-Bild 2 kann gemäß Block 105 insbesondere beispielsweise ein Bild eines in Serie gefertigten Produkts sein. Die Klassen der Klassifikation repräsentieren dann eine Qualitätsbewertung des Produkts. Die in Schritt 160 ermittelten Anteile 2a des Eingabe-Bildes 2, auf die der Bildklassifikator 1 seine Entscheidung stützt, können in Schritt 170 mit einem Anteil 2b des Eingabe-Bildes 2 verglichen werden, der anhand einer Beobachtung des gleichen Produkts mit einer anderen Abbildungsmodalität als relevant für die Qualitätsbewertung des Produkts ermittelt wurde.According to block 105, the input image 2 can in particular be an image of a mass-produced product, for example. The classes of the classification then represent a quality rating of the product. The parts 2a of the input image 2 determined in step 160, on which the image classifier 1 bases its decision, can be compared in step 170 with a part 2b of the input image 2, which is based on an observation of the same product with a different imaging modality than relevant for the quality assessment of the product.

Das Eingabe-Bild 2 kann alternativ gemäß Block 106 insbesondere beispielsweise ein von einem Fahrzeug aus aufgenommenes Bild sein. Die Klassen der Klassifikation repräsentieren dann Bewertungen der Verkehrssituation, auf deren Basis das künftige Verhalten des Fahrzeugs geplant wird. Die in Schritt 160 ermittelten Anteile 2a des Eingabe-Bildes 2, auf die der Bildklassifikator 1 seine Entscheidung stützt, können in Schritt 180 mit einem Anteil 2b des Eingabe-Bildes 2 verglichen werden, der aus beliebiger Quelle als für die Beurteilung der Verkehrssituation relevant bekannt ist.Alternatively, according to block 106, the input image 2 can be, for example, an image taken from a vehicle. The classes of the classification then represent assessments of the traffic situation, on the basis of which the future behavior of the vehicle is planned. The parts 2a of the input image 2 determined in step 160, on which the image classifier 1 bases its decision, can be compared in step 180 with a part 2b of the input image 2, which is known from any source to be relevant for the assessment of the traffic situation is.

Aus den in den Vergleichen 170 bzw. 180 ermittelten Ergebnisse 170a bzw. 180a kann in Schritt 190 eine Qualitätsbewertung 1a des Bildklassifikators 1 ermittelt werden.A quality evaluation 1a of the image classifier 1 can be determined in step 190 from the results 170a or 180a determined in the comparisons 170 or 180 .

2 zeigt eine beispielhafte Anwendung des Verfahrens 100 bei der Analyse eines Eingabe-Bildes 2, das eine Verkehrssituation 50 zeigt. Die Verkehrssituation 50 enthält vor einer Straße 54 als Hintergrund ein geparktes Fahrzeug 51, einen Fußgänger 52 und ein Smartphone 53. Der Fußgänger 52 ist gerade im Begriff, hinter dem Fahrzeug 51 hervorzutreten, und achtet nicht auf den fließenden Verkehr, weil er das Smartphone 53 in seiner Hand hält und in ein Telefonat vertieft ist. 2 shows an exemplary application of the method 100 in the analysis of an input image 2 showing a traffic situation 50 . The traffic situation 50 contains a parked vehicle 51, a pedestrian 52 and a smartphone 53 in front of a road 54 as a background. The pedestrian 52 is just about to step out from behind the vehicle 51 and does not pay attention to the moving traffic because he is using the smartphone 53 in his hand and deep in a phone call.

Wenn die Verarbeitung dieses Eingabe-Bildes 2 durch den Bildklassifikator 1 mit dem zuvor beschriebenen Verfahren 100 analysiert wird, können beispielsweise die in 2 eingezeichneten fünf Komponenten 31-35 zu Tage treten, die hier der Übersichtlichkeit halber bereits aus dem Raum der Zwischenprodukte 11a-13a zurück in den Raum der Eingabe-Bilder 2 überführt wurden. Daher grenzen die Komponenten 31-35 in dieser Darstellung auch zum Teil aneinander an, während sie im Raum der Zwischenprodukte 11a-13a voneinander beabstandet sind.If the processing of this input image 2 by the image classifier 1 is analyzed using the method 100 described above, for example the 2 indicated five components 31-35 come to light, which for the sake of clarity have already been transferred from the space of the intermediate products 11a-13a back into the space of the input images 2. Therefore, the components 31-35 also partly adjoin one another in this representation, while they are spaced apart from one another in the space of the intermediate products 11a-13a.

Komponente 31 enthält den Kopf des Fußgängers 52. Komponente 32 enthält einen Teil des Torsos des Fußgängers 52. Komponente 33 enthält Arm und Hand des Fußgängers 52. Komponente 34 enthält das Smartphone 53. Komponente 35 enthält das geparkte Fahrzeug 51.Component 31 contains the head of pedestrian 52. Component 32 contains part of the torso of pedestrian 52. Component 33 contains the arm and hand of pedestrian 52. Component 34 contains the smartphone 53. Component 35 contains the parked vehicle 51.

Mit dem Verfahren 100 kann nun beispielsweise geprüft werden, ob der Fußgänger 52 auch dann noch als solcher erkannt wird, wenn er seinen Arm gesenkt hat und das Smartphone 53 nicht an sein Ohr hält. In diesem Fall sind weder der Arm noch das Smartphone 53 sichtbar. Wenn der Bildklassifikator 1 sehr viele Trainingsbilder mit telefonierenden Menschen gesehen hat und das Smartphone praktisch als zusätzliches Körperteil eines Menschen gelernt hat, könnte paradoxerweise gerade ein Fußgänger 52, der sich im Verkehr richtig verhält und beim Überqueren einer Straße nicht telefoniert, zu spät erkannt und überfahren werden.The method 100 can now be used to check, for example, whether the pedestrian 52 is still recognized as such when he has lowered his arm and is not holding the smartphone 53 to his ear. In this case neither the arm nor the smartphone 53 are visible. Paradoxically, if the image classifier 1 has seen a large number of training images with people phoning and has practically learned the smartphone as an additional body part of a person, a pedestrian 52 who behaves correctly in traffic and does not make a phone call when crossing a street could be recognized too late and run over will.

Umgekehrt kann beispielsweise geprüft werden, ob der Bildklassifikator 1 aus der Anwesenheit eines Smartphones 53 auch gleich die Anwesenheit eines Fußgängers 52 folgert und dessen Erkennung vermeldet. Dann könnte ein von dem Bildklassifikator 1 angesteuertes Fahrzeug beispielsweise durch ein auf der Straße 54 verlorenes Smartphone 53 zu einer Vollbremsung veranlasst werden, was einen Auffahrunfall auslösen kann.Conversely, it can be checked, for example, whether the image classifier 1 also deduces the presence of a pedestrian 52 from the presence of a smartphone 53 and reports its detection. A vehicle controlled by the image classifier 1 could then be prompted to brake hard, for example by a smartphone 53 lost on the road 54, which can trigger a rear-end collision.

3 zeigt eine weitere beispielhafte Anwendung des Verfahrens 100 bei der Analyse eines bei der optischen Qualitätskontrolle einer Schraubenmutter 61 aufgenommenen Bildes 60 als Eingabe-Bild 2. In dem in 3 gezeigten Beispiel 61 weist die Schraubenmutter 61 zwei Risse 62 und 63 auf. Dementsprechend können bei der Analyse beispielsweise drei Komponenten 31-33 zu Tage treten. 3 shows a further exemplary application of the method 100 in the analysis of an image 60 recorded during the optical quality control of a screw nut 61 as input image 2. In FIG 3 Example 61 shown, the nut 61 has two cracks 62 and 63. Accordingly, for example, three components 31-33 can emerge from the analysis.

Komponente 31 enthält den ersten Riss 62. Komponente 32 enthält den zweiten Riss 63. Komponente 33 enthält den unbeschädigten Rest der Schraubenmutter 61. Analog zu 2 sind die Komponenten 31-33 hier wieder in den Raum der Eingabe-Bilder 2 überführt.Component 31 contains the first crack 62. Component 32 contains the second crack 63. Component 33 contains the undamaged remainder of the nut 61. Analogous to 2 the components 31-33 are transferred here again to the space of the input images 2.

Im Rahmen der Qualitätskontrolle kann beispielsweise erwünscht sein, dass eine völlig unbeschädigte Schraubenmutter 61 als A-Ware und eine Schraubenmutter 61 mit nur einem Riss 62 oder 63 als preisreduzierte, aber noch verkaufsfähige B-Ware eingestuft wird. Die in 3 beispielhaft gezeichnete Schraubenmutter 61 mit zwei Rissen 62 und 63, die zusammen mit dem Mittelloch der Schraubenmutter 61 die Schraubenmutter 61 in zwei Teile teilen, soll hingegen als Ausschuss eingestuft werden, da bei mechanischer Belastung ein hohes Risiko besteht, dass die Schraubenmutter 61 komplett durchbricht.As part of quality control, for example, it may be desirable for a nut 61 that is completely undamaged to be classified as A-goods and a nut 61 with only one crack 62 or 63 as price-reduced but still salable B-goods. In the 3 The nut 61 shown as an example with two cracks 62 and 63, which together with the central hole of the nut 61 divide the nut 61 into two parts, should be classified as rejects, since there is a high risk that the nut 61 will break through completely under mechanical stress.

Mit dem Verfahren 100 kann allein an Hand des Eingabe-Bildes 2 und des Bildklassifikators 1 analysiert werden, ob der Bildklassifikator 1 dieses erwünschte Verhalten zeigt.With the method 100 it is possible to analyze whether the image classifier 1 shows this desired behavior solely on the basis of the input image 2 and the image classifier 1 .

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • WO 2018/197074 A1 [0003]WO 2018/197074 A1 [0003]

Claims (18)

Verfahren (100) zur Messung, auf welche Anteile (2a) eines Eingabe-Bildes (2) ein Bildklassifikator (1) seine Entscheidung über die Zuordnung (14a) dieses Eingabe-Bildes (2) zu einer oder mehreren Klassen einer vorgegebenen Klassifikation stützt, mit den Schritten: • es wird ein trainierter Bildklassifikator (1) bereitgestellt (110), der dazu ausgebildet ist, unter Anwendung einer oder mehrerer Faltungsschichten (11-13) Zwischenprodukte (11a-13a) aus dem Eingabe-Bild (2) zu erzeugen und unter Anwendung einer oder mehrerer Klassifikatorschichten (14) ein derartiges Zwischenprodukt (11a-13a) auf die Zuordnung (14a) zu der oder den Klassen abzubilden; • es wird ein Eingabe-Bild (2) bereitgestellt (120); • aus dem Eingabe-Bild (2) werden mit dem Bildklassifikator (1) mindestens ein Zwischenprodukt (11a-13a) und eine Zuordnung (14a) zu einer oder mehreren Klassen erzeugt (130); • mindestens ein Zwischenprodukt (11a-13a) wird in räumlich zusammenhängende Bereiche (31-35) zerlegt (140), die jeweils ein vorgegebenes Relevanzkriterium (3) erfüllen und durch Bereiche, die dieses Relevanzkriterium (3) nicht erfüllen, voneinander getrennt sind; • diese zusammenhängenden Bereiche (31-35) werden als voneinander unabhängige Komponenten des Zwischenprodukts (11a-13a) gewertet, und es werden Abhängigkeiten (41-45) der Entscheidung des Bildklassifikators (1) von diesen Komponenten (31-35) ermittelt (150); • aus diesen Abhängigkeiten (41-45) werden die gesuchten entscheidungsrelevanten Anteile (2a) des Eingabe-Bildes (2) ermittelt (160).Method (100) for measuring the parts (2a) of an input image (2) on which an image classifier (1) bases its decision on the assignment (14a) of this input image (2) to one or more classes of a predetermined classification, with the steps: • a trained image classifier (1) is provided (110), which is designed to generate intermediate products (11a-13a) from the input image (2) using one or more convolution layers (11-13) and using a or a plurality of classifier layers (14) to map such an intermediate product (11a-13a) to the assignment (14a) to the class or classes; • an input image (2) is provided (120); • at least one intermediate product (11a-13a) and an assignment (14a) to one or more classes are generated (130) from the input image (2) using the image classifier (1); • at least one intermediate product (11a-13a) is broken down (140) into spatially contiguous areas (31-35), which each meet a predetermined relevance criterion (3) and are separated from one another by areas that do not meet this relevance criterion (3); • these contiguous areas (31-35) are evaluated as mutually independent components of the intermediate product (11a-13a), and dependencies (41-45) of the decision of the image classifier (1) on these components (31-35) are determined (150 ); • From these dependencies (41-45), the parts (2a) of the input image (2) relevant to the decision are determined (160). Verfahren (100) nach Anspruch 1, wobei das Zwischenprodukt (11a-13a) eine oder mehrere Merkmalskarten umfasst, die jeweils Aktivierungswerte der von einem Filterkern erkannten Merkmale angeben.Method (100) according to claim 1 , wherein the intermediate product (11a-13a) comprises one or more feature maps each indicating activation values of the features recognized by a filter core. Verfahren (100) nach Anspruch 2, wobei für verschiedene Merkmalskarten unterschiedliche Relevanzkriterien (3) gewählt werden (141).Method (100) according to claim 2 , different relevance criteria (3) being selected (141) for different feature maps. Verfahren (100) nach Anspruch 2, wobei Aktivierungswerte mehrerer Merkmalskarten summiert oder gemittelt werden (142) und wobei diese Summe, bzw. der Mittelwert, mit dem Relevanzkriterium (3) bewertet wird (143).Method (100) according to claim 2 , whereby activation values of several feature cards are summed or averaged (142) and this sum or the mean value is evaluated (143) with the relevance criterion (3). Verfahren (100) nach einem der Ansprüche 1 bis 4, wobei das Ermitteln der Abhängigkeiten (41-45) beinhaltet, eine kleinste Zusammenstellung von Komponenten (31-35) zu ermitteln (151), deren Deaktivierung im Zwischenprodukt (11a-13a) die Entscheidung des Bildklassifikators (1) aufhebt und/oder ändert.Method (100) according to any one of Claims 1 until 4 , wherein determining the dependencies (41-45) includes determining (151) a smallest set of components (31-35) whose deactivation in the intermediate product (11a-13a) cancels and/or changes the decision of the image classifier (1). . Verfahren (100) nach einem der Ansprüche 1 bis 5, wobei das Ermitteln der Abhängigkeiten (41-45) beinhaltet, eine kleinste Zusammenstellung von Komponenten (31-35) zu ermitteln (152), deren Vorhandensein im Zwischenprodukt (11a-13a) hinreichend für die Entscheidung des Bildklassifikators (1) ist.Method (100) according to any one of Claims 1 until 5 , wherein determining the dependencies (41-45) includes determining (152) a smallest combination of components (31-35) whose presence in the intermediate product (11a-13a) is sufficient for the decision of the image classifier (1). Verfahren (100) nach einem der Ansprüche 5 bis 6, wobei eine Komponente (31-35) im Zwischenprodukt (11a-13a) deaktiviert wird, indem ihr im Zwischenprodukt (11a-13a) Aktivierungswerte zugewiesen werden (153), die der Bildklassifikator (1) dieser Komponente (31-35) zuordnet, wenn ihm ein Eingabe-Bild (2) einer anderen Klasse zugeführt wird.Method (100) according to any one of Claims 5 until 6 , wherein a component (31-35) in the intermediate product (11a-13a) is deactivated by assigning (153) activation values to it in the intermediate product (11a-13a), which the image classifier (1) assigns to this component (31-35), when fed an input image (2) of another class. Verfahren (100) nach einem der Ansprüche 1 bis 7, wobei die Wichtigkeit individueller Komponenten (31-35) mit einem vorgegebenen Wichtigkeitsmaß bewertet wird (154) und wobei Komponenten (31-35) anhand dieser Bewertung für das Ermitteln der Abhängigkeiten (41-45) vorausgewählt werden (155).Method (100) according to any one of Claims 1 until 7 , wherein the importance of individual components (31-35) is evaluated with a predetermined degree of importance (154) and wherein components (31-35) are preselected (155) on the basis of this evaluation for determining the dependencies (41-45). Verfahren (100) nach Anspruch 8, wobei die Wichtigkeit einer individuellen Komponente (31-35) anhand eines Erwartungswerts für einen vom Bildklassifikator (1) gelieferten Klassifikations-Score über eine Vielzahl von Zwischenprodukten (11a-13a), die jeweils diese Komponente (31-35) enthalten, ermittelt wird (154a).Method (100) according to claim 8 , the importance of an individual component (31-35) being determined using an expected value for a classification score supplied by the image classifier (1) via a large number of intermediate products (11a-13a), each of which contains this component (31-35). (154a). Verfahren (100) nach einem der Ansprüche 1 bis 9, wobei ein Bild eines in Serie gefertigten Produkts als Eingabe-Bild (2) gewählt wird (105) und wobei die Klassen der Klassifikation eine Qualitätsbewertung des Produkts repräsentieren.Method (100) according to any one of Claims 1 until 9 , wherein an image of a mass-produced product is selected (105) as the input image (2) and the classes of the classification represent a quality assessment of the product. Verfahren (100) nach Anspruch 10, wobei die ermittelten Anteile (2a) des Eingabe-Bildes (2), auf die der Bildklassifikator (1) seine Entscheidung stützt, mit einem Anteil (2b) des Eingabe-Bildes (2) verglichen wird (170), der anhand einer Beobachtung des gleichen Produkts mit einer anderen Abbildungsmodalität als relevant für die Qualitätsbewertung des Produkts ermittelt wurde, und wobei aus dem Ergebnis (170a) dieses Vergleichs (170) eine Qualitätsbewertung (1a) für den Bildklassifikator (1) ermittelt wird (190).Method (100) according to claim 10 , The determined parts (2a) of the input image (2), on which the image classifier (1) bases its decision, being compared (170) with a part (2b) of the input image (2) which is based on an observation of the same product with a different imaging modality was determined as relevant for the quality assessment of the product, and from the result (170a) of this comparison (170) a quality assessment (1a) for the image classifier (1) is determined (190). Verfahren (100) nach einem der Ansprüche 1 bis 9, wobei ein von einem Fahrzeug aus aufgenommenes Bild einer Verkehrssituation als Eingabe-Bild (2) gewählt wird (106) und wobei die Klassen der Klassifikation Bewertungen der Verkehrssituation repräsentieren, auf deren Basis das künftige Verhalten des Fahrzeugs geplant wird.Method (100) according to any one of Claims 1 until 9 wherein an image of a traffic situation taken from a vehicle is selected as input image (2) (106) and wherein the classes of the classification represent ratings of the traffic situation on the basis of which the future behavior of the vehicle is planned. Verfahren (100) nach Anspruch 12, wobei die ermittelten Anteile (2a) des Eingabe-Bildes (2), auf die der Bildklassifikator (1) seine Entscheidung stützt, mit einem Anteil (2b) des Eingabe-Bildes (2) verglichen wird (180), der als für die Beurteilung der Verkehrssituation relevant bekannt ist, und wobei aus dem Ergebnis (180a) dieses Vergleichs eine Qualitätsbewertung (1a) für den Bildklassifikator (1) ermittelt wird (190).Method (100) according to claim 12 , where the determined parts (2a) of the input image (2), on which the image classifier (1) bases its decision, is compared (180) with a portion (2b) of the input image (2) which is known to be relevant for the assessment of the traffic situation, and from the result (180a) this Comparison, a quality rating (1a) for the image classifier (1) is determined (190). Verfahren (100) nach einem der Ansprüche 1 bis 13, wobei das Relevanzkriterium (3) beinhaltet (144), dass Zahlenwerte in dem Zwischenprodukt (11a-13a) oberhalb eines vorgegebenen Schwellwerts (3a) liegen.Method (100) according to any one of Claims 1 until 13 , wherein the relevance criterion (3) includes (144) that numerical values in the intermediate product (11a-13a) are above a predetermined threshold value (3a). Verfahren (100) nach Anspruch 14, wobei • die ermittelten tatsächlich entscheidungsrelevanten Anteile (2a) mit vorgegeben Soll-Anteilen (2#) verglichen werden (144a), die für den Bildklassifikator (1) nominell entscheidungsrelevant sein sollen; • der Schwellwert (3a) optimiert wird (144b) mit dem Ziel, dass die dann ermittelten tatsächlich entscheidungsrelevanten Anteile (2a) besser in Einklang mit den nominell entscheidungsrelevanten Anteilen (2#) kommen.Method (100) according to Claim 14 , wherein • the ascertained components (2a) that are actually relevant to the decision are compared (144a) with specified target components (2#), which are supposed to be nominally relevant to the decision for the image classifier (1); • the threshold value (3a) is optimized (144b) with the aim that the actually decision-relevant components (2a) determined then come better into line with the nominal decision-relevant components (2#). Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, das Verfahren (100) nach einem der Ansprüche 1 bis 15 auszuführen.Computer program containing machine-readable instructions which, when executed on one or more computers, cause the computer or computers to perform the method (100) according to any one of Claims 1 until 15 to execute. Maschinenlesbarer Datenträger mit dem Computerprogramm nach Anspruch 16.Machine-readable data carrier with the computer program Claim 16 . Computer, ausgerüstet mit dem Computerprogramm nach Anspruch 16, und/oder mit dem maschinenlesbaren Datenträger nach Anspruch 17.Computer equipped with the computer program according to Claim 16 , and/or with the machine-readable data carrier Claim 17 .
DE102020211995.3A 2020-09-24 2020-09-24 Determination of the image parts in the latent space of the image classifier that are relevant for the decision of an image classifier Pending DE102020211995A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020211995.3A DE102020211995A1 (en) 2020-09-24 2020-09-24 Determination of the image parts in the latent space of the image classifier that are relevant for the decision of an image classifier

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020211995.3A DE102020211995A1 (en) 2020-09-24 2020-09-24 Determination of the image parts in the latent space of the image classifier that are relevant for the decision of an image classifier

Publications (1)

Publication Number Publication Date
DE102020211995A1 true DE102020211995A1 (en) 2022-03-24

Family

ID=80473776

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020211995.3A Pending DE102020211995A1 (en) 2020-09-24 2020-09-24 Determination of the image parts in the latent space of the image classifier that are relevant for the decision of an image classifier

Country Status (1)

Country Link
DE (1) DE102020211995A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018197074A1 (en) 2017-04-27 2018-11-01 Robert Bosch Gmbh Inspection apparatus for optically inspecting an object, and object inspection arrangement
DE102018205561A1 (en) 2017-08-18 2019-02-21 Robert Bosch Gmbh Device for classifying signals
DE102018213052A1 (en) 2018-08-03 2020-02-06 Robert Bosch Gmbh Method and device for determining an explanation card
EP3642758B1 (en) 2017-09-07 2020-08-19 Audi AG Method for evaluating an optical appearance in the surroundings of a vehicle, and vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018197074A1 (en) 2017-04-27 2018-11-01 Robert Bosch Gmbh Inspection apparatus for optically inspecting an object, and object inspection arrangement
DE102018205561A1 (en) 2017-08-18 2019-02-21 Robert Bosch Gmbh Device for classifying signals
EP3642758B1 (en) 2017-09-07 2020-08-19 Audi AG Method for evaluating an optical appearance in the surroundings of a vehicle, and vehicle
DE102018213052A1 (en) 2018-08-03 2020-02-06 Robert Bosch Gmbh Method and device for determining an explanation card

Similar Documents

Publication Publication Date Title
DE102018128289B4 (en) METHOD AND DEVICE FOR AUTONOMOUS SYSTEM PERFORMANCE AND CLASSIFICATION
DE102013213593A1 (en) Method and apparatus for assessing the requirement to perform an integration test
DE102020211995A1 (en) Determination of the image parts in the latent space of the image classifier that are relevant for the decision of an image classifier
DE102015205720A1 (en) System for analyzing unclassified motor vehicle error data
DE102020208474B4 (en) Measuring the sensitivity of classifiers based on interacting disturbances
EP3923193B1 (en) Measurement of sensitivity of image classifiers against changes in the input image
DE102020212005B4 (en) Procedure for determining the image parts that are relevant for an image classifier
DE102021204550A1 (en) Method for generating at least one data set for training a machine learning algorithm
DE102020207323A1 (en) Measure the sensitivity of image classifiers based on realistic changes that cross class boundaries
EP4016082A1 (en) Method and device for detecting a presence of a fluorescence pattern type on an organ segment by means of immunofluorescence microscopy
DE102020208765A1 (en) Image classifier with variable receptive fields in convolutional layers
DE102020214944A1 (en) Determination of the image parts that are relevant for an image classifier with a reduced computing time requirement
DE102020214996A1 (en) Measurement of the sensitivity of an image classifier to changes in the input image
DE102018222801A1 (en) Method and device for measuring a system to be tested
DE102020207324A1 (en) Plausibility check of the output of an image classifier with a generator for modified images
DE102020210729A1 (en) Training of classifier networks for a better explainability of the obtained classification scores
DE102017217596A1 (en) Method for checking an electronic component, method for generating a model and device
DE102020210732A1 (en) Method for measuring the relevance of image areas for decisions of an image classifier
DE102021214253A1 (en) Determination of the image parts that are relevant for image processing with a transformer network
DE102021104672A1 (en) Generation of counterfactual images for the evaluation of image classifiers
DE102020126291A1 (en) Method for analyzing a component, method for training a system, apparatus, computer program and computer-readable storage medium
DE102018109816B3 (en) A method for obtaining at least one significant feature in a series of components of the same type and method for classifying a component of such a series
DE102020216264A1 (en) Generating realistic images with greater variability
DE102021200877A1 (en) Quantitative assessment of relevance rating functions for the output of an image classifier
DE102022200548A1 (en) Method for creating a training data set for training a machine learning system for semiconductor wafer defect detection

Legal Events

Date Code Title Description
R163 Identified publications notified
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000