DE102020208621A1

DE102020208621A1 - Procedure for determining image areas on which an image classifier bases its decisions

Info

Publication number: DE102020208621A1
Application number: DE102020208621.4A
Authority: DE
Inventors: Andres Mauricio Munoz Delgado
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-07-09
Filing date: 2020-07-09
Publication date: 2022-01-13

Abstract

Verfahren (100) zur Prüfung, inwieweit ein Bildklassifikator (1) seine Entscheidungen auf für eine konkrete Anwendung des Bildklassifikators relevante Bildbereiche, ROI (2a), stützt, mit den Schritten:• es wird ein trainierter Bildklassifikator (1) bereitgestellt (110), der ein Eingabe-Bild (2) auf eine Klassenzuordnung zu einer oder mehreren Klassen (3a-3c) einer vorgegebenen Klassifikation (3) abbildet, wobei dieser Bildklassifikator (1) ein faltendes neuronales Netzwerk, CNN (1a), mit einer Mehrzahl von Faltungsschichten (1b) beinhaltet;• es wird mindestens ein Eingabe-Bild (2) bereitgestellt (120);• es wird mindestens eine für die Anwendung des Bildklassifikators (1) relevante ROI (2a) dieses Eingabe-Bildes (2) bereitgestellt (130);• aus der Architektur des CNN (1a) sowie aus Parametern, die das Verhalten des CNN (1a) charakterisieren, werden Neuronen und/oder andere Verarbeitungseinheiten (1d) des CNN (1a) ermittelt (140), deren rezeptives Feld nach Maßgabe eines vorgegebenen Kriteriums ähnlich zu der ROI (2a) ist;• selektiv in die ermittelten Neuronen und/oder anderen Verarbeitungseinheiten (1d), und/oder in die Eingaben dieser Neuronen und/oder anderen Verarbeitungseinheiten (1d), wird mindestens eine Veränderung eingebracht (150);• aus der Auswirkung (150a) dieser Veränderung auf die vom Bildklassifikator (1) gelieferte Klassenzuordnung wird ausgewertet (160), inwieweit (2a*) der Bildklassifikator (1) seine Entscheidung auf die ROI (2a) stützt.Method (100) for testing the extent to which an image classifier (1) bases its decisions on image regions, ROI (2a), relevant for a specific application of the image classifier, with the steps: • a trained image classifier (1) is provided (110), which maps an input image (2) to a class assignment to one or more classes (3a-3c) of a predetermined classification (3), this image classifier (1) being a convolutional neural network, CNN (1a), with a plurality of convolution layers (1b);• at least one input image (2) is provided (120);• at least one ROI (2a) relevant to the application of the image classifier (1) of this input image (2) is provided (130) ;• From the architecture of the CNN (1a) and from parameters that characterize the behavior of the CNN (1a), neurons and/or other processing units (1d) of the CNN (1a) are determined (140), whose receptive field is based on a given crit eriums is similar to the ROI (2a);• selectively in the determined neurons and/or other processing units (1d), and/or in the inputs of these neurons and/or other processing units (1d), at least one change is introduced (150) • From the effect (150a) of this change on the class assignment supplied by the image classifier (1), it is evaluated (160) to what extent (2a*) the image classifier (1) bases its decision on the ROI (2a).

Description

Die vorliegende Erfindung betrifft die Kontrolle des Verhaltens trainierbarer Bildklassifikatoren, die beispielsweise für die Qualitätskontrolle von in Serie gefertigten Produkten oder auch für das zumindest teilweise automatisierte Führen von Fahrzeugen genutzt werden können.The present invention relates to the control of the behavior of trainable image classifiers that can be used, for example, for the quality control of mass-produced products or also for the at least partially automated driving of vehicles.

Stand der TechnikState of the art

Bei der Serienfertigung von Produkten ist es in der Regel erforderlich, die Qualität der Fertigung laufend zu überprüfen. Dabei wird angestrebt, Qualitätsprobleme möglichst schnell zu erkennen, um die Ursache baldmöglichst beheben zu können und nicht zu viele Einheiten des jeweiligen Produkts als Ausschuss zu verlieren.In the series production of products, it is usually necessary to continuously check the quality of the production. The aim is to identify quality problems as quickly as possible in order to be able to remedy the cause as soon as possible and not lose too many units of the respective product as scrap.

Die optische Kontrolle der Geometrie und/oder Oberfläche eines Produkts ist schnell und zerstörungsfrei. Die WO 2018/197 074 A1 offenbart eine Prüfvorrichtung, in der ein Objekt einer Vielzahl von Beleuchtungssituationen ausgesetzt werden kann, wobei in jeder dieser Beleuchtungssituationen mit einer Kamera Bilder des Objekts aufgezeichnet werden. Aus diesen Bildern wird die Topographie des Objekts ausgewertet.Optical inspection of a product's geometry and/or surface is fast and non-destructive. the WO 2018/197 074 A1 discloses an inspection apparatus in which an object can be exposed to a plurality of lighting situations, images of the object being recorded with a camera in each of these lighting situations. The topography of the object is evaluated from these images.

Bilder des Produkts können auch unmittelbar mit einem Bildklassifikator auf der Basis künstlicher neuronaler Netzwerke einer von mehreren Klassen einer vorgegebenen Klassifikation zugeordnet werden. Auf dieser Basis kann das Produkt einer von mehreren vorgegebenen Qualitätsklassen zugeordnet werden. Im einfachsten Fall ist diese Klassifikation binär („OK“/„nicht OK“).Images of the product can also be directly assigned to one of several classes of a given classification using an image classifier based on artificial neural networks. On this basis, the product can be assigned to one of several specified quality classes. In the simplest case, this classification is binary ("OK"/"not OK").

Beim zumindest teilweise automatisierten Führen von Fahrzeugen werden ebenfalls trainierbare Bildklassifikatoren eingesetzt, um Verkehrssituationen zu bewerten oder zumindest auf ihren Gehalt an Objekten zu untersuchen.When driving vehicles in an at least partially automated manner, image classifiers that can be trained are also used in order to evaluate traffic situations or at least to examine their content of objects.

Offenbarung der ErfindungDisclosure of Invention

Im Rahmen der Erfindung wurde ein Verfahren zur Prüfung entwickelt, inwieweit ein Bildklassifikator seine Entscheidungen auf für eine konkrete Anwendung des Bildklassifikators relevante Bildbereiche, ROI, stützt.Within the scope of the invention, a method was developed for testing the extent to which an image classifier bases its decisions on image regions (ROI) relevant to a specific application of the image classifier.

Bei diesem Verfahren wird ein trainierter Bildklassifikator bereitgestellt. Dieser Bildklassifikator bildet ein Eingabe-Bild auf eine Klassenzuordnung zu einer oder mehreren Klassen einer vorgegebenen Klassifikation ab. Der Bildklassifikator beinhaltet ein faltendes neuronales Netzwerk, CNN, mit einer Mehrzahl von Faltungsschichten.In this method, a trained image classifier is provided. This image classifier maps an input image to a class assignment to one or more classes of a given classification. The image classifier includes a convolutional neural network, CNN, with a plurality of convolution layers.

Es werden weiterhin mindestens ein Eingabe-Bild sowie mindestens eine für die Anwendung relevante ROI dieses Eingabe-Bildes bereitgestellt.At least one input image and at least one ROI of this input image relevant to the application are also provided.

Beispielswiese kann ein Bild eines in Serie gefertigten Produkts, das im Rahmen der Qualitätskontrolle dieses Produkts aufgenommen wurde, als Eingabe-Bild gewählt werden. Die Klassen der Klassifikation können dann eine Qualitätsbewertung des Produkts repräsentieren, beispielsweise „OK“, „nicht OK = NOK“ sowie optional beliebige Zwischenstufen. Als für diese Qualitätsbewertung relevante ROI kann dann beispielsweise ein Bildbereich mit einem Merkmal, das für die Qualitätsbewertung des Produkts relevant ist, gewählt werden. Derartige Merkmale können beispielsweise optisch sichtbare Mängel oder Schäden, wie etwa Kratzer oder Risse, sein. Mit dem Verfahren kann dann etwa untersucht werden, ob die Entscheidung, das Produkt als „nicht OK = NOK“ zu klassifizieren, tatsächlich auf Grund sichtbarer Mängel oder Schäden am Produkt getroffen wurde oder ob beispielsweise Merkmale im Bildhintergrund oder an einer Halterung, die das Produkt in die Kamera hält, zu dieser Beurteilung geführt haben.For example, an image of a mass-produced product taken as part of the quality control of that product can be selected as an input image. The classes of the classification can then represent a quality assessment of the product, for example "OK", "not OK = NOK" and optionally any intermediate levels. For example, an image area with a feature that is relevant for the quality assessment of the product can then be selected as the ROI relevant for this quality assessment. Such features can be, for example, optically visible defects or damage such as scratches or cracks. The procedure can then be used to examine whether the decision to classify the product as "not OK = NOK" was actually made on the basis of visible defects or damage to the product or whether, for example, features in the image background or on a bracket that the product holds in the camera, have led to this assessment.

Beispielsweise können diejenigen Bildpixel, die zu dem Produkt selbst gehören und nicht etwa zum Hintergrund oder zu der Halterung, als ROI gewählt werden. Es kann aber auch beispielsweise beim Training des Bildklassifikators oder vor dem Aussortieren eines als mangelhaft klassifizierten Produkts die Festlegung einer ROI von einem Bediener angefordert werden.For example, those image pixels that belong to the product itself and not to the background or the mount can be selected as ROI. However, for example when training the image classifier or before sorting out a product classified as defective, an operator can also request that an ROI be defined.

Allgemein können also die möglichen Gründe, warum der Bildklassifikator eine bestimmte Klassenzuordnung ausgibt, auf diese ROI eingeschränkt werden. Dies lässt sich ausnutzen, um den Bildklassifikator zu validieren bzw. zu verifizieren. Umgekehrt können auch bestimmte Bildbereiche aus der Menge der möglichen Faktoren, die die Entscheidung des Bildklassifikators beeinflussen, ausgeschlossen werden. Wichtig ist in diesem Zusammenhang vor allem, dass die ROI vom Anwender in Bezug auf die jeweilige konkrete Anwendung frei wählbar ist.In general, the possible reasons why the image classifier outputs a certain class assignment can be restricted to this ROI. This can be exploited to validate or verify the image classifier. Conversely, certain image areas can also be excluded from the set of possible factors that influence the image classifier's decision. In this context, it is particularly important that the ROI can be freely selected by the user in relation to the respective concrete application.

Es kann auch beispielsweise ein von einem Fahrzeug aus aufgenommenes Bild einer Verkehrssituation als Eingabe-Bild gewählt werden. Die Klassen der Klassifikation können dann Bewertungen der Verkehrssituation repräsentieren, auf deren Basis das künftige Verhalten des Fahrzeugs geplant wird. Die Bewertung der Verkehrssituation kann beispielsweise eine Analyse der im Eingabe-Bild sichtbaren Objekte umfassen. Die Bewertung der Verkehrssituation kann aber auch beispielsweise eine Klassifikation der Verkehrssituation als Ganzes (etwa „Fußgänger betritt Fahrbahn“), ein von der Verkehrssituation ausgehendes Gefährdungspotential und/oder eine angesichts der Verkehrssituation angemessene Reaktion des Fahrzeugs umfassen.For example, an image of a traffic situation taken from a vehicle can also be selected as the input image. The classes of the classification can then represent assessments of the traffic situation, on the basis of which the future behavior of the vehicle is planned. The assessment of the traffic situation can, for example, include an analysis of the objects visible in the input image. However, the evaluation of the traffic situation can also, for example, include a classification of the traffic situation as a whole (e.g. “pedestrian enters the lane”), a classification of the traffic situation tion emanating risk potential and/or a reaction of the vehicle that is appropriate in view of the traffic situation.

Es kann dann beispielsweise mindestens ein Bildbereich unabhängig von dem CNN als für die Beurteilung der Verkehrssituation wichtig identifiziert und als ROI gewählt werden. Beispielsweise kann durch eine Analyse des optischen Flusses zwischen aufeinander folgenden Bildern oder durch zusätzliches Heranziehen eines ereignisbasierten optischen Sensors ermittelt werden, wo im Bild ein dynamisches Geschehen stattfindet, und der Bereich dieses dynamischen Geschehens kann als ROI festgelegt werden.For example, at least one image area can then be identified as important for the assessment of the traffic situation, independently of the CNN, and selected as ROI. For example, by analyzing the optical flow between successive images or by additionally using an event-based optical sensor, it can be determined where dynamic events are taking place in the image, and the area of this dynamic event can be defined as an ROI.

Aus der Architektur des CNN sowie aus Parametern, die das Verhalten des CNN charakterisieren, werden Neuronen und/oder andere Verarbeitungseinheiten des CNN ermittelt, deren rezeptives Feld nach Maßgabe eines vorgegebenen Kriteriums ähnlich zu der ROI ist. Das bedeutet, dass das Verhalten dieser Neuronen bzw. Verarbeitungseinheiten von dem Inhalt des Eingabe-Bildes in der ROI maßgeblich abhängt.From the architecture of the CNN and from parameters that characterize the behavior of the CNN, neurons and/or other processing units of the CNN are determined whose receptive field is similar to the ROI according to a predetermined criterion. This means that the behavior of these neurons or processing units depends significantly on the content of the input image in the ROI.

Die Ähnlichkeit kann beispielsweise an dem vergleichsweise einfachen Kriterium gemessen werden, inwieweit das rezeptive Feld der Neuronen und/oder anderen Verarbeitungseinheiten eine Schnittmenge mit der ROI hat. Das Kriterium kann jedoch alternativ beispielsweise beinhalten, dass das rezeptive Feld ein vorgegebenes Ähnlichkeitsmaß zwischen sich selbst einerseits und der ROI andererseits maximiert. Dieses Kriterium hat den Vorteil, dass es auch für sehr „tiefe“ Neuronen und/oder Verarbeitungseinheiten erklärt ist, deren rezeptives Feld in das komplette Eingabe-Bild übergeht. Als Ähnlichkeitsmaß kann beispielsweise der Jaccard-Koeffizient, im Englischen auch bekannt als „Intersection over Union“ (loU), gewählt werden.The similarity can be measured, for example, using the comparatively simple criterion of the extent to which the receptive field of the neurons and/or other processing units has an intersection with the ROI. However, the criterion can alternatively include, for example, that the receptive field maximizes a predetermined degree of similarity between itself on the one hand and the ROI on the other hand. This criterion has the advantage that it is also explained for very "deep" neurons and/or processing units whose receptive field merges into the complete input image. For example, the Jaccard coefficient, also known as “intersection over union” (loU), can be selected as a measure of similarity.

Selektiv in die ermittelten Neuronen bzw. Verarbeitungseinheiten, und/oder in die Eingaben, die diese Neuronen bzw. Verarbeitungseinheiten erhalten, wird mindestens eine Veränderung eingebracht. Aus der Auswirkung dieser Veränderung auf die vom Bildklassifikator gelieferte Klassenzuordnung wird ausgewertet, inwieweit der Bildklassifikator seine Entscheidung auf die ROI stützt. „Selektiv“ bedeutet in diesem Zusammenhang insbesondere, dass Eingaben sowie Neuronen oder andere Verarbeitungseinheiten, die nicht über das rezeptive Feld als relevant für die Entscheidung des Bildklassifikators identifiziert wurden, möglichst unverändert bleiben sollen. Hiermit ist jedoch nicht verlangt, dass in den nicht als relevant identifizierten Eingaben, Neuronen bzw. Verarbeitungseinheiten überhaupt keine Änderungen vorgenommen werden dürfen. Je nach Architektur des CNN können große Änderungen bezüglich relevanter Eingaben, Neuronen bzw. Verarbeitungseinheiten untrennbar nach sich ziehen, dass es auch bei nicht relevanten Eingaben, Neuronen bzw. Verarbeitungseinheiten kleine Änderungen gibt.At least one change is introduced selectively in the determined neurons or processing units and/or in the inputs that these neurons or processing units receive. From the effect of this change on the class assignment provided by the image classifier, it is evaluated to what extent the image classifier bases its decision on the ROI. In this context, “selective” means in particular that inputs as well as neurons or other processing units that were not identified via the receptive field as relevant for the decision of the image classifier should remain unchanged as far as possible. However, this does not mean that no changes at all may be made in the inputs, neurons or processing units that have not been identified as relevant. Depending on the architecture of the CNN, large changes in relevant inputs, neurons or processing units can inevitably result in small changes in irrelevant inputs, neurons or processing units.

Es werden also Veränderungen gezielt in Bereiche des CNN eingebracht, die auch durch Änderungen des Eingabe-Bildes im Bereich der ROI beeinflusst würden. Wenn diese Veränderungen dann beispielsweise dazu führen, dass sich die Klassenzuordnung ändert, deutet dies darauf hin, dass die Entscheidung des CNN tatsächlich maßgeblich auf dem Inhalt der ROI in dem Eingabe-Bild beruht.Changes are therefore introduced in a targeted manner in areas of the CNN that would also be influenced by changes in the input image in the area of the ROI. If these changes then result in, for example, the class assignment changing, this indicates that the CNN's decision is indeed based significantly on the content of the ROI in the input image.

Wenn das Eingabe-Bild beispielsweise ein Produkt zeigt, das einen Kratzer, einen Riss oder einen sonstigen Mangel oder Schaden aufweist, und der Bildklassifikator dieses Eingabe-Bild der Klasse „nicht OK = NOK“ zuordnet, kann mit dem Verfahren geprüft werden, ob diese Entscheidung tatsächlich auf dem Mangel oder Schaden beruht. Dazu wird der Bereich, in dem der Mangel oder Schaden sichtbar ist, als ROI festgelegt. Durch die in tiefere Schichten des CNN eingebrachten Veränderungen kann dann das Vorhandensein des Mangels bzw. Schadens im Eingabe-Bild für die weitere Verarbeitung durch den Bildklassifikator gleichsam „neutralisiert“ werden. Das heißt, der Bildklassifikator entscheidet so, wie er auch entschieden hätte, wenn der Mangel oder Schaden im Eingabe-Bild gar nicht sichtbar wäre. Wenn dies zu einer Einordnung in die Klasse „OK“ führt, deutet dies darauf hin, dass die Entscheidung zwischen „OK“ und „NOK“ gerade an den Merkmalen in der ROI hängt. Wenn die Klassenzuordnung sich hingegen nicht ändert, dann hängt sie möglicherweise nicht (allein) am Inhalt des Eingabe-Bildes in der ROI.For example, if the input image shows a product that has a scratch, tear, or other defect or damage, and the image classifier assigns this input image to the class "not OK = NOK", the method can be used to check whether this decision is actually based on the defect or damage. To do this, the area in which the defect or damage is visible is defined as the ROI. Due to the changes introduced into deeper layers of the CNN, the presence of the defect or damage in the input image can then be “neutralized” for further processing by the image classifier, so to speak. This means that the image classifier decides as it would have done if the defect or damage were not visible at all in the input image. If this leads to a classification in the "OK" class, this indicates that the decision between "OK" and "NOK" depends precisely on the features in the ROI. On the other hand, if the class assignment does not change, then it may not depend (alone) on the content of the input image in the ROI.

Es lassen sich also Hypothesen dahingehend, welche Teile des Eingabe-Bildes für die Klassenzuordnung relevant sind, automatisiert prüfen. Dabei hat das Einbringen der Veränderungen speziell in tiefere Schichten des CNN, statt in das Eingabe-Bild selbst, die Wirkung, dass alle Veränderungen auf der Ebene von bereits durch das CNN erkannten Merkmalen des Eingabe-Bildes wirken. In diesem „latenten Raum“ können beispielsweise Aktivierungen von Neuronen in verschiedenen Schichten zu Bildmerkmalen, wie etwa dem Torso, dem Kopf oder Gliedmaßen eines im Bild sichtbaren Menschen, korrespondieren. Auf diese Weise lässt sich mit den Veränderungen gezielt Information aus dem Eingabe-Bild unterdrücken, um so zu testen, ob der Bildklassifikator speziell ohne diese Information anders entscheidet. Werden hingegen Veränderungen unmittelbar in das Eingabe-Bild eingebracht, kann nicht nur Information unterdrückt, sondern auch unbeabsichtigt neue Information hinzugefügt werden. Insbesondere kann Gradienteninformation hinzugefügt werden, die den Bildklassifikator zur Einordnung des geänderten Bildes in eine beliebige Klasse veranlassen kann.Hypotheses as to which parts of the input image are relevant for the class assignment can therefore be checked automatically. The effect of introducing the changes specifically into deeper layers of the CNN, rather than into the input image itself, is that all changes act at the level of features of the input image already recognized by the CNN. In this “latent space”, for example, activations of neurons in different layers can correspond to image features such as the torso, head, or limbs of a human being visible in the image. In this way, information from the input image can be specifically suppressed with the changes in order to test whether the image classifier decides differently without this information. If, on the other hand, changes are introduced directly into the input image, not only can information be suppressed, but new information can also be added unintentionally. In particular, gradient information can be added, which can cause the image classifier to assign the changed image to any class.

Daher werden in einer vorteilhaften Ausgestaltung speziell solche Neuronen bzw. Verarbeitungseinheiten gewählt, die bereits Ausgaben weiterer Neuronen und/oder anderer Verarbeitungseinheiten des CNN als Eingaben erhalten. Das heißt, es handelt sich um „tiefe“ Neuronen bzw. Verarbeitungseinheiten unterhalb der Eingangsschicht, die das Eingabe-Bild als Eingabe erhält.Therefore, in an advantageous embodiment, those neurons or processing units are specifically selected that already receive outputs from other neurons and/or other processing units of the CNN as inputs. That is, they are "deep" neurons or processing units below the input layer that receive the input image as input.

Tendenziell ist das rezeptive Feld eines Neurons, bzw. einer Verarbeitungseinheit, räumlich umso größer, je tiefer das Neuron bzw. die Verarbeitungseinheit im CNN angeordnet ist, d.h., je weiter das Neuron bzw. die Verarbeitungseinheit von der Eingangsschicht entfernt ist. Zugleich lässt sich der Effekt der gezielt eingebrachten Veränderungen umso schneller berechnen, je tiefer das Neuron bzw. die Verarbeitungseinheit im CNN angeordnet ist: Aktivierungen müssen dann bis zu ihrer Auswirkung auf die letztendliche Ausgabe des CNN auf einem kürzeren Pfad in Vorwärtsrichtung durch das CNN propagiert werden als wenn beispielsweise unmittelbar das Eingabe-Bild geändert würde. Die Ersparnis an Rechenzeit ist insbesondere in zeitkritischen Anwendungen, wie etwa dem zumindest teilweise automatisierten Führen von Fahrzeugen oder der optischen Qualitätskontrolle in der Serienfertigung von Produkten mit hohem Durchsatz, vorteilhaft.The receptive field of a neuron or a processing unit tends to be larger spatially, the deeper the neuron or the processing unit is arranged in the CNN, i.e. the further the neuron or the processing unit is from the input layer. At the same time, the effect of the deliberately introduced changes can be calculated the faster the deeper the neuron or processing unit is located in the CNN: Activations then have to be propagated forwards through the CNN on a shorter path until they affect the final output of the CNN as if, for example, the input image were changed immediately. The saving in computing time is advantageous in particular in time-critical applications, such as the at least partially automated driving of vehicles or optical quality control in the series production of products with a high throughput.

Weiterhin können bei „tiefen“ Neuronen und/oder anderen Verarbeitungseinheiten Veränderungen in unmittelbar einsichtiger Weise eingebracht werden, indem diese Neuronen, bzw. diese anderen Verarbeitungseinheiten, deaktiviert werden. Damit wird jeweils ein bestimmtes Merkmal deaktiviert, welches das CNN zuvor gelernt hat. Beim direkten Ändern (etwa Nullsetzen) von Pixeln des Eingabe-Bildes ist es hingegen, wie oben erläutert, nicht garantiert, dass wirklich nur Information entfernt und keine neue Information hinzugefügt wird.Furthermore, "deep" neurons and/or other processing units can be subject to changes in an immediately understandable manner by deactivating these neurons or these other processing units. This deactivates a specific feature that the CNN has previously learned. On the other hand, when pixels of the input image are directly changed (e.g. set to zero), as explained above, it is not guaranteed that only information is really only removed and no new information is added.

Neuronen und/oder andere Verarbeitungseinheiten, deren rezeptives Feld ähnlich zu der ROI ist, können insbesondere beispielsweise unter Heranziehung der Größen von Filterkernen, der Schrittweite bei der Anwendung von Filterkernen, und/oder der Dilationsfaktoren von Filterkernen, in Faltungsschichten, die den Neuronen oder anderen Verarbeitungseinheiten in dem CNN jeweils vorausgehen, ermittelt werden. Die Schrittweite entspricht der Anzahl von Pixeln, um die der Filterkern zwischen zwei aufeinander folgenden Anwendungen über das Eingabe-Bild bewegt wird. Der Dilationsfaktor ist ein Faktor, um den das rezeptive Feld des Filterkerns vergrößert wird, ohne die Anzahl der Parameter zu erhöhen, die den Filterkern charakterisieren. Auch die Gewichte, die Verbindungen zwischen Neuronen bzw. anderen Verarbeitungseinheiten in unterschiedlichen Schichten des CNN zugewiesen sind, entscheiden darüber, aus welchen Bereichen des Eingabe-Bildes Information zu einem Neuron, bzw. einer anderen Verarbeitungseinheit, tiefer innen im CNN transportiert wird.In particular, neurons and/or other processing units whose receptive field is similar to the ROI can, for example, using the sizes of filter kernels, the step size in the application of filter kernels, and/or the dilation factors of filter kernels, in convolutional layers assigned to the neurons or others Processing units in which CNN precedes each can be determined. The step size corresponds to the number of pixels by which the filter kernel is moved over the input image between two consecutive applications. The dilation factor is a factor by which the receptive field of the filter kernel is increased without increasing the number of parameters that characterize the filter kernel. The weights assigned to connections between neurons or other processing units in different layers of the CNN also determine from which areas of the input image information is transported to a neuron or other processing unit deeper in the CNN.

Neuronen und/oder andere Verarbeitungseinheiten, deren rezeptives Feld ähnlich zu der ROI ist, können alternativ oder auch in Kombination hierzu heuristisch ermittelt werden. Zu diesem Zweck wird dem CNN eine Vielzahl von Test-Bildern zugeführt, die sich nur innerhalb der ROI voneinander unterscheiden. Jedes dieser Test-Bilder ruft innerhalb des CNN bestimmte Aktivierungen von Neuronen und/oder anderen Verarbeitungseinheiten hervor. Es werden nun die die Varianzen der Aktivierungen von Neuronen und/oder anderen Verarbeitungseinheiten über diese Test-Bilder ermittelt. Anhand dieser Varianzen werden Neuronen und/oder andere Verarbeitungseinheiten, deren rezeptives Feld ähnlich zu der ROI ist, ermittelt. Es wird also geprüft, wie stark Aktivierungen sich ändern, wenn sich der Inhalt des Eingabe-Bildes innerhalb der ROI ändert. Die auf diese Weise ausgewählten Neuronen bzw. Verarbeitungseinheiten können dann anschließend wie zuvor beschrieben manipuliert werden, um zu prüfen, ob sich die Klassenzuordnung ändert.Alternatively or in combination with this, neurons and/or other processing units whose receptive field is similar to the ROI can be determined heuristically. For this purpose, the CNN is supplied with a large number of test images which only differ from one another within the ROI. Each of these test images evokes specific activations of neurons and/or other processing units within the CNN. The variances in the activation of neurons and/or other processing units are now determined via these test images. Based on these variances, neurons and/or other processing units whose receptive field is similar to the ROI are identified. It is therefore checked how much activations change when the content of the input image changes within the ROI. The neurons or processing units selected in this way can then be manipulated as previously described in order to check whether the class assignment changes.

Beispielsweise kann für Neuronen und/oder andere Verarbeitungseinheiten, für die die Varianzen der Aktivierungen einen vorgegebenen Schwellwert erreichen oder überschreiten, festgestellt werden, dass ihr rezeptives Feld ähnlich zu der ROI ist.For example, neurons and/or other processing units for which the variances of activations meet or exceed a predetermined threshold can be determined to have their receptive field similar to the ROI.

Alternativ oder auch in Kombination hierzu kann für Neuronen und/oder andere Verarbeitungseinheiten, die bezüglich der Varianzen der Aktivierungen mindestens einen vorgegebenen Prozentrang aller Neuronen bzw. anderen Verarbeitungseinheiten erreichen, festgestellt werden, dass ihr rezeptives Feld ähnlich zu der ROI ist. Es können also beispielsweise alle Neuronen bzw. Verarbeitungseinheiten ausgewählt werden, die in einer nach Varianzen der Aktivierungen geordneten Rangfolge unter den obersten 10 % rangieren.Alternatively or in combination with this, it can be determined for neurons and/or other processing units that achieve at least a predetermined percentage rank of all neurons or other processing units with regard to the variances of the activations that their receptive field is similar to the ROI. It is therefore possible, for example, to select all neurons or processing units which rank among the top 10% in a ranking according to the variances of the activations.

Vorteilhaft werden die Neuronen und/oder anderen Verarbeitungseinheiten, deren rezeptives Feld ähnlich zu der ROI ist, aus Schichten des CNN ausgewählt, die für die Extraktion von Merkmalen aus dem Eingabe-Bild zuständig sind. Hier besteht noch eine mehr oder weniger ausgeprägte räumliche Korrespondenz zu dem Eingabe-Bild. Das heißt, dass etwa eine rechte obere Ecke einer von einer Faltungsschicht gelieferten Merkmalskarte stärker von der rechten oberen Ecke des Eingabe-Bildes abhängt als von anderen Bildanteilen. Diese räumliche Korrespondenz wird in einem Bildklassifikator typischerweise aufgebrochen, wenn eine unter Mitwirkung von Faltungsschichten entstandene Merkmalsextraktion einer globalen Pooling-Schicht oder einer vollvernetzten Schicht zugeführt wird, um zu einer Klassenzuordnung zu gelangen.Advantageously, the neurons and/or other processing units whose receptive field is similar to the ROI are selected from layers of the CNN responsible for extracting features from the input image. Here there is still a more or less pronounced spatial correspondence to the input image. That is, about a top-right corner of a feature map provided by a convolutional layer differs more from the top-right corner of the input image depends than on other parts of the image. This spatial correspondence is typically broken up in an image classifier when a feature extraction created with the participation of convolution layers is fed to a global pooling layer or a fully networked layer in order to arrive at a class assignment.

Welche von den für die Extraktion von Merkmalen zuständigen Neuronen bzw. anderen Verarbeitungseinheiten im Einzelnen ausgewählt werden, ist eine Abwägung zwischen der Genauigkeit, mit der die Abhängigkeit einer Entscheidung des Bildklassifikators vom Inhalt der ROI studiert werden kann, und der benötigten Rechenzeit.Which of the neurons responsible for the extraction of features or other processing units are selected in detail is a trade-off between the accuracy with which the dependency of a decision of the image classifier on the content of the ROI can be studied and the required computing time.

So ist beispielsweise der Weg, auf dem die in die Neuronen und/oder anderen Verarbeitungseinheiten eingebrachten Veränderungen noch durch den Rest des CNN propagiert werden müssen, am kürzesten, wenn die Neuronen und/oder anderen Verarbeitungseinheiten, deren rezeptives Feld ähnlich zu der ROI ist, aus einer Schicht des CNN ausgewählt werden, auf die keine weitere für die Extraktion von Merkmalen zuständige Faltungsschicht folgt. Das rezeptive Feld dieser Schicht ist tendenziell am größten und sollte lediglich noch nicht so groß sein, dass es Inhalte aus dem gesamten Bild erfasst. Dann ist ein Unterschied zwischen einer ROI einerseits und dem Rest des Bildes andererseits noch erklärt.For example, the path by which the changes introduced into the neurons and/or other processing units have yet to be propagated through the rest of the CNN is shortest when the neurons and/or other processing units whose receptive field is similar to the ROI be selected from a layer of the CNN that is not followed by another convolutional layer responsible for extracting features. The receptive field of this layer tends to be the largest and should just not be large enough to capture content from the entire image. Then a difference between an ROI on the one hand and the rest of the image on the other hand is explained.

Eine Veränderung kann insbesondere beispielsweise in das CNN eingebracht werden, indem für Neuronen und/oder andere Verarbeitungseinheiten, deren rezeptives Feld ähnlich zu der ROI ist, aus mindestens einer Bernoulli-Zufallsverteilung gezogen wird, ob das Neuron bzw. die Verarbeitungseinheit deaktiviert wird. Dabei kann insbesondere beispielsweise für jedes Neuron, bzw. für jede Verarbeitungseinheit, eine eigene Bernoulli-Verteilung mit einer eigenen Wahrscheinlichkeit für ein Deaktivieren verwendet werden. Das Deaktivieren anhand von Werten, die aus einer Zufallsverteilung gezogen werden, wird auch „Monte-Carlo-Dropout“ genannt.A change can in particular be introduced into the CNN, for example, by drawing from at least one Bernoulli random distribution for neurons and/or other processing units whose receptive field is similar to the ROI whether the neuron or the processing unit is deactivated. In this case, for example, a separate Bernoulli distribution with a separate probability of a deactivation can be used in particular for each neuron or for each processing unit. Deactivation based on values drawn from a random distribution is also called "Monte Carlo dropout".

Die Auswirkung der eingebrachten Veränderung kann insbesondere beispielsweise anhand der Wahrscheinlichkeit dafür ermittelt werden, dass das Eingabe-Bild von dem Bildklassifikator unter der Wirkung der Veränderung einer vorgegebenen Klasse zugeordnet wird. Im Gegensatz zur Klassenzuordnung in notwendigerweise diskrete Klassen ist die Wahrscheinlichkeit für die Zuordnung zu einer bestimmten Klasse ein kontinuierliches Maß.The effect of the introduced change can be determined, for example, based on the probability that the input image will be assigned to a predefined class by the image classifier under the effect of the change. In contrast to class assignment into necessarily discrete classes, the probability of assignment to a particular class is a continuous measure.

Diese Wahrscheinlichkeit kann insbesondere beispielsweise als arithmetisches Mittel von Softmax-Scores für verschiedene aus der mindestens einen Bernoulli-Zufallsverteilung gezogene Konfigurationen von Neuronen und/oder anderen Verarbeitungseinheiten approximiert werden. Die von dieser Wahrscheinlichkeit abhängige Entropie ist dann ein Maß für die Unsicherheit der Klassenzuordnung. Je größer wiederum diese Unsicherheit ist, die von den Veränderungen induziert wird, desto stärker stützt der Bildklassifikator seine Entscheidung auf den Bildinhalt in der ROI. Das Deaktivieren von Neuronen und/oder anderen Verarbeitungseinheiten per „Monte-Carlo-Dropout“ ist jedoch nur eine beispielhafte von vielen Möglichkeiten, die Unsicherheit zu messen bzw. zu approximieren.In particular, this probability can be approximated, for example, as the arithmetic mean of softmax scores for different configurations of neurons and/or other processing units drawn from the at least one Bernoulli random distribution. The entropy that depends on this probability is then a measure of the uncertainty of the class assignment. In turn, the greater this uncertainty induced by the changes, the more the image classifier bases its decision on the image content in the ROI. However, the deactivation of neurons and/or other processing units via a “Monte Carlo dropout” is just one example of many ways of measuring or approximating the uncertainty.

Wie zuvor erläutert, kann mit dem Verfahren insbesondere beispielsweise festgestellt werden, ob bei der optischen Qualitätskontrolle die Entscheidung des Bildklassifikators auf diejenigen Bildmerkmale gestützt wird, die tatsächlich objektiv für die Qualitätseinstufung relevant sind. Daneben kann aber auch beispielsweise untersucht werden, ob ein zumindest teilweise automatisiert im Verkehr geführtes Fahrzeug Verkehrssituationen anhand derjenigen Informationen beteiligt, die aus verkehrstechnischer Sicht tatsächlich wichtig sind. In diesem Anwendungsfall ist die Herausforderung noch etwas größer als bei der optischen Qualitätskontrolle, da ein und dasselbe Objekt in der Verkehrssituation schnell zwischen „relevant“ und „nicht relevant“ wechseln kann. So ist etwa ein Fußgänger, der parallel zur Fahrbahn auf dem Gehweg geht, zunächst nicht wichtig für die Trajektorienplanung eines Fahrzeugs, das auf der Fahrbahn fährt. Sobald sich jedoch die Intention des Fußgängers dahingehend ändert, dass er die Fahrbahn überqueren möchte, kann der Fußgänger plötzlich die höchstmögliche Relevanz in der ganzen Verkehrssituation bekommen. Das hier beschriebene Verfahren ist ein Werkzeug, mit dem sich das Verhalten eines Bildklassifikators in derartigen Situationen detailliert testen und debuggen lässt.As explained above, the method can be used to determine, for example, whether the decision of the image classifier in the optical quality control is based on those image features that are actually objectively relevant for the quality classification. In addition, however, it is also possible to examine, for example, whether a vehicle that is at least partially automatically driven in traffic participates in traffic situations on the basis of information that is actually important from a traffic-related point of view. In this application, the challenge is even greater than with optical quality control, since one and the same object can quickly switch between "relevant" and "not relevant" in the traffic situation. For example, a pedestrian walking parallel to the road on the sidewalk is initially not important for the trajectory planning of a vehicle driving on the road. However, as soon as the pedestrian's intention changes so that he wants to cross the roadway, the pedestrian can suddenly get the highest possible relevance in the whole traffic situation. The procedure described here is a tool that can be used to test and debug in detail the behavior of an image classifier in such situations.

Das Verfahren kann insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, das beschriebene Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.In particular, the method can be fully or partially computer-implemented. The invention therefore also relates to a computer program with machine-readable instructions which, when executed on one or more computers, cause the computer or computers to carry out the method described. In this sense, control devices for vehicles and embedded systems for technical devices that are also able to execute machine-readable instructions are also to be regarded as computers.

Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.The invention also relates to a machine-readable data carrier and/or a download product with the computer program. A download product is a digital product that can be transmitted over a data network, i.e. downloaded by a user of the data network for example, can be offered for sale in an online shop for immediate download.

Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.Furthermore, a computer can be equipped with the computer program, with the machine-readable data carrier or with the downloadable product.

Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.Further measures improving the invention are presented in more detail below together with the description of the preferred exemplary embodiments of the invention with the aid of figures.

Ausführungsbeispieleexemplary embodiments

Es zeigt:

1 Ausführungsbeispiel des Verfahrens 100;
2 Beispielhafte Wirkung des Verfahrens 100 an einem Bild 2 eines Produkts 11 mit einem Fehler 12

It shows:

1 embodiment of the method 100;
2 Exemplary effect of the method 100 on an image 2 of a product 11 with a defect 12

1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100. In Schritt 110 wird ein trainierter Bildklassifikator 1 bereitgestellt. Dieser Bildklassifikator 1 bildet ein Eingabe-Bild 2 auf eine Klassenzuordnung zu einer oder mehreren Klassen 3a-3c einer vorgegebenen Klassifikation 3 ab. Der Bildklassifikator 1 beinhaltet ein faltendes neuronales Netzwerk, CNN 1a, mit einer Mehrzahl von Faltungsschichten 1b. 1 FIG. 1 is a schematic flowchart of an embodiment of the method 100. In step 110, a trained image classifier 1 is provided. This image classifier 1 maps an input image 2 to a class assignment to one or more classes 3a-3c of a predetermined classification 3. The image classifier 1 includes a convolutional neural network, CNN 1a, with a plurality of convolution layers 1b.

In Schritt 120 wird mindestens ein Eingabe-Bild 2 bereitgestellt. In Schritt 130 wird mindestens eine für die Anwendung des Bildklassifikators 1 relevante ROI 2a des Eingabe-Bildes 2 bereitgestellt.In step 120 at least one input image 2 is provided. In step 130 at least one ROI 2a of the input image 2 relevant for the application of the image classifier 1 is provided.

Gemäß Block 121 kann ein Bild eines in Serie gefertigten Produkts 11 als Eingabe-Bild 2 gewählt werden. Die Klassen 3a-3c der Klassifikation 3 repräsentieren dann eine Qualitätsbewertung des Produkts 11. Es kann dann gemäß Block 131 insbesondere ein Bildbereich mit einem Merkmal 12, das für die Qualitätsbewertung des Produkts 11 relevant ist, als ROI 2a gewählt werden.According to block 121 , an image of a mass-produced product 11 can be selected as the input image 2 . The classes 3a-3c of classification 3 then represent a quality assessment of the product 11. According to block 131, in particular an image area with a feature 12 that is relevant for the quality assessment of the product 11 can be selected as ROI 2a.

Gemäß Block 122 kann ein von einem Fahrzeug aus aufgenommenes Bild einer Verkehrssituation als Eingabe-Bild 2 gewählt werden. Die Klassen 3a-3c der Klassifikation 3 repräsentieren dann Bewertungen der Verkehrssituation, auf deren Basis das künftige Verhalten des Fahrzeugs geplant wird. Gemäß Block 132 kann dann mindestens ein Bildbereich unabhängig von dem CNN 1a als für die Beurteilung der Verkehrssituation wichtig identifiziert und als ROI 2a gewählt werden. Wie zuvor erläutert, können hierzu Bilder oder Bildfolgen nach anderen Algorithmen ausgewertet werden, und/oder es können zusätzliche Sensoren herangezogen werden.According to block 122 , an image of a traffic situation taken from a vehicle can be selected as input image 2 . Classes 3a-3c of classification 3 then represent assessments of the traffic situation, on the basis of which the future behavior of the vehicle is planned. According to block 132, at least one image area can then be identified independently of the CNN 1a as important for assessing the traffic situation and selected as ROI 2a. As explained above, for this purpose images or image sequences can be evaluated according to other algorithms and/or additional sensors can be used.

In Schritt 140 werden aus der Architektur des CNN 1a sowie aus Parametern, die das Verhalten des CNN 1a charakterisieren, Neuronen und/oder andere Verarbeitungseinheiten 1d ermittelt, deren rezeptives Feld nach Maßgabe eines vorgegebenen Kriteriums ähnlich zu der ROI 2a ist. Diese Neuronen bzw. Verarbeitungseinheiten 1d können weiterhin beispielsweise bereits Ausgaben weiterer Neuronen und/oder anderer Verarbeitungseinheiten 1d' erhalten. Das heißt, die Neuronen bzw. Verarbeitungseinheiten 1d liegen nicht direkt in der Eingabeschicht des CNN 1a, sondern in einer tieferen Schicht.In step 140, neurons and/or other processing units 1d are determined from the architecture of the CNN 1a and from parameters that characterize the behavior of the CNN 1a, whose receptive field is similar to the ROI 2a according to a predetermined criterion. These neurons or processing units 1d can, for example, already receive outputs from other neurons and/or other processing units 1d′. This means that the neurons or processing units 1d are not located directly in the input layer of the CNN 1a, but in a lower layer.

Um die Neuronen und/oder anderen Verarbeitungseinheiten 1d, deren rezeptives Feld ähnlich zu der ROI 2a ist, zu ermitteln, können gemäß Block 141 insbesondere beispielsweise die Größen von Filterkernen, die Schrittweite bei der Anwendung von Filterkernen, und/oder die Dilationsfaktoren von Filterkernen, in vorausgehenden Faltungsschichten 1b herangezogen werden.In order to determine the neurons and/or other processing units 1d whose receptive field is similar to the ROI 2a, according to block 141, in particular, for example, the sizes of filter kernels, the step size when using filter kernels, and/or the dilation factors of filter kernels, in preceding convolution layers 1b.

Gemäß Block 142 kann dem CNN 1a eine Vielzahl von Test-Bildern 2' zugeführt werden, die sich nur innerhalb der ROI 2a voneinander unterscheiden. Von einem Test-Bild 2' zum nächsten ändern sich dann jeweils die Aktivierungen 1d* der Neuronen und/oder anderen Verarbeitungseinheiten 1d, 1d'.According to block 142, the CNN 1a can be supplied with a multiplicity of test images 2' which differ from one another only within the ROI 2a. The activations 1d* of the neurons and/or other processing units 1d, 1d' then change from one test image 2' to the next.

Gemäß Block 143 können die Varianzen 1d# der Aktivierungen 1d* über die Test-Bilder 2' ermittelt werden. Anhand dieser Varianzen 1d# können dann gemäß Block 144 diejenigen Neuronen und/oder anderen Verarbeitungseinheiten 1d ermittelt werden, deren rezeptives Feld ähnlich zu der ROI 2a ist.According to block 143, the variances 1d# of the activations 1d* can be determined via the test images 2'. Based on these variances 1d#, according to block 144 those neurons and/or other processing units 1d can then be determined whose receptive field is similar to the ROI 2a.

Hierzu kann beispielsweise gemäß Block 144a für Neuronen und/oder andere Verarbeitungseinheiten 1d, für die die Varianzen 1d# der Aktivierungen 1d* einen vorgegebenen Schwellwert erreichen oder überschreiten, festgestellt werden, dass ihr rezeptives Feld ähnlich zu der ROI 2a ist.For example, according to block 144a, it can be determined for neurons and/or other processing units 1d for which the variances 1d# of the activations 1d* reach or exceed a predetermined threshold value that their receptive field is similar to the ROI 2a.

Alternativ oder auch in Kombination hierzu kann beispielsweise gemäß Block 144b für Neuronen und/oder andere Verarbeitungseinheiten 1d, die bezüglich der Varianzen 1d# der Aktivierungen 1d* mindestens einen vorgegebenen Prozentrang aller Neuronen bzw. anderen Verarbeitungseinheiten 1d, 1d' erreichen, festgestellt werden, dass ihr rezeptives Feld ähnlich zu der ROI 2a ist.Alternatively or in combination with this, it can be determined, for example according to block 144b, for neurons and/or other processing units 1d which, with regard to the variances 1d# of the activations 1d*, achieve at least a predetermined percentage rank of all neurons or other processing units 1d, 1d' that its receptive field is similar to ROI 2a.

Gemäß Block 145 können die Neuronen und/oder anderen Verarbeitungseinheiten 1d, deren rezeptives Feld ähnlich zu der ROI 2a ist, aus Schichten 1b des CNN 1a ausgewählt werden, die für die Extraktion von Merkmalen aus dem Eingabe-Bild 2 zuständig sind. In diesen Schichten ist noch die größte räumliche Korrespondenz zu dem Eingabe-Bild 2 gegeben. Insbesondere können beispielsweise gemäß Block 145a die Neuronen und/oder anderen Verarbeitungseinheiten 1d, deren rezeptives Feld ähnlich zu der ROI 2a ist, aus einer Schicht des CNN 1a ausgewählt werden, auf die keine weitere für die Extraktion von Merkmalen zuständige Faltungsschicht 1b folgt. Wie zuvor erläutert, haben diese Schichten das größte rezeptive Feld, und der Weg durch das CNN 1a, auf dem eingebrachte Veränderungen noch propagiert werden müssen, ist am kürzesten.According to block 145, the neurons and/or other processing units 1d whose receptive field is similar to the ROI 2a can be selected from layers 1b of the CNN 1a responsible for the extraction of features from the input image 2. In these layers there is still the greatest spatial correspondence to the input picture 2 given. In particular, for example according to block 145a, the neurons and/or other processing units 1d whose receptive field is similar to the ROI 2a can be selected from a layer of the CNN 1a which is not followed by another convolutional layer 1b responsible for the extraction of features. As previously explained, these layers have the largest receptive field and the path through the CNN 1a, along which introduced changes have yet to be propagated, is the shortest.

In Schritt 150 wird selektiv in die zuvor ermittelten Neuronen und/oder anderen Verarbeitungseinheiten 1d, und/oder in die Eingaben, die diese Neuronen und/oder anderen Verarbeitungseinheiten 1d erhalten, mindestens eine Veränderung eingebracht. Dies kann gemäß Block 151 insbesondere beispielsweise beinhalten, dass aus mindestens einer Bernoulli-Zufallsverteilung gezogen wird, ob das jeweilige Neuron, bzw. die jeweilige Verarbeitungseinheit 1d, deaktiviert wird.In step 150, at least one change is selectively introduced into the previously determined neurons and/or other processing units 1d, and/or into the inputs that these neurons and/or other processing units 1d receive. According to block 151, this can in particular include, for example, drawing from at least one Bernoulli random distribution whether the respective neuron or the respective processing unit 1d is deactivated.

Aus der Auswirkung 150a der Veränderung auf die vom Bildklassifikator 1 gelieferte Klassenzuordnung wird in Schritt 160 ausgewertet, zu welchem Grade 2a* der Bildklassifikator 1 seine Entscheidung auf die ROI 2a stützt.From the effect 150a of the change on the class assignment supplied by the image classifier 1, it is evaluated in step 160 to what degree 2a* the image classifier 1 bases its decision on the ROI 2a.

Gemäß Block 161 kann dies insbesondere beispielsweise beinhalten, dass die Auswirkung 150a der eingebrachten Veränderung anhand einer Wahrscheinlichkeit dafür, dass das Eingabe-Bild 2 von dem Bildklassifikator 1 unter der Wirkung der Veränderung einer vorgegebenen Klasse 3a-3c zugeordnet wird, ermittelt wird. Insbesondere kann beispielsweise gemäß Block 161a die Wahrscheinlichkeit als arithmetisches Mittel, als Varianz und/oder als Unsicherheit der Softmax-Scores für verschiedene aus der mindestens einen Bernoulli-Zufallsverteilung gezogene Konfigurationen von Neuronen und/oder anderen Verarbeitungseinheiten 1d approximiert werden. Wie zuvor erläutert, kann die Unsicherheit insbesondere als die aus der Verteilung der Softmax-Scores berechnete Entropie ausgedrückt werden.According to block 161, this can in particular include, for example, determining the effect 150a of the introduced change based on a probability that the input image 2 will be assigned by the image classifier 1 to a predefined class 3a-3c under the effect of the change. In particular, according to block 161a, for example, the probability can be approximated as an arithmetic mean, as a variance and/or as an uncertainty of the softmax scores for different configurations of neurons and/or other processing units 1d drawn from the at least one Bernoulli random distribution. In particular, as discussed previously, the uncertainty can be expressed as the entropy calculated from the distribution of the softmax scores.

2 zeigt eine beispielhafte Wirkung des Verfahrens 100 an einem Bild 2, das eine Schraubenmutter als Produkt 11 zeigt. Die Schraubenmutter 11 hat einen Riss 12, der im Bild 2 als ROI 2a markiert ist. Wird dieses Bild 2 dem Bildklassifikator 1 zugeführt, wird es wegen des Risses 12 in die Klasse 3a = „nicht OK, NOK“ einsortiert. 2 shows an exemplary effect of the method 100 on an image 2, which shows a screw nut as the product 11. The nut 11 has a crack 12, which is marked as ROI 2a in Figure 2. If this image 2 is fed into image classifier 1, it is sorted into class 3a = "not OK, NOK" because of the crack 12.

Der Bildklassifikator 1 umfasst ein CNN 1a mit vier Faltungsschichten 1b, die sukzessive Merkmale aus dem Eingabe-Bild 2 extrahieren, sowie eine vollvernetzte Schicht 1c, die die erkannten Merkmale zu der Klassenzuordnung aggregiert. Im Rahmen des Verfahrens 100 werden Neuronen 1d identifiziert, deren rezeptives Feld ähnlich zu der ROI 2a ist. Nach Maßgabe von Bernoulli-Zufallsverteilungen werden diese Neuronen 1d jeweils deaktiviert. Aktivierte Neuronen 1d sind in 2 als durchgezogene Kreise eingezeichnet, während deaktivierte Neuronen 1d als gestrichelte Kreise eingezeichnet sind.The image classifier 1 comprises a CNN 1a with four convolution layers 1b, which successively extract features from the input image 2, and a fully meshed layer 1c, which aggregates the recognized features into the class assignment. As part of the method 100, neurons 1d are identified whose receptive field is similar to the ROI 2a. According to Bernoulli random distributions, these neurons 1d are each deactivated. Activated neurons 1d are in 2 drawn as solid circles, while deactivated neurons 1d are drawn as dashed circles.

In der in 2 gezeigten Momentaufnahme sind drei Neuronen 1d aktiviert und drei Neuronen 1d deaktiviert. Dies hat zur Folge, dass der Riss 12 von dem CNN 1a nicht mehr als solcher erkannt wird und das Eingabe-Bild 2 in die Klasse 3b = „OK“ einsortiert wird. Hieraus folgt, dass der Bildinhalt der ROI 2a eine hohe Relevanz 2a* für die Klassenzuordnung durch den Bildklassifikator 1 hat.in the in 2 The snapshot shown has three neurons 1d activated and three neurons 1d deactivated. As a result, the crack 12 is no longer recognized as such by the CNN 1a and the input image 2 is sorted into class 3b = "OK". From this it follows that the image content of the ROI 2a has a high relevance 2a* for the class assignment by the image classifier 1.

Werden hingegen in der gleichen Weise andere Neuronen 1e identifiziert, deren rezeptives Feld ähnlich zu einer anderen ROI 2a' im Hintergrundbereich des Eingabe-Bildes 2 ist, so wird eine in diese Neuronen 1e eingebrachte Veränderung nicht zu einer Änderung der Klassenzuordnung führen. Das Eingabe-Bild 2 wird also immer noch in die Klasse 3a = „NOK“ einsortiert. Hiermit kann beispielsweise getestet werden, ob das CNN 1a unerwünscht bestimmte Merkmale im Bildhintergrund lernt.On the other hand, if other neurons 1e are identified in the same way, whose receptive field is similar to another ROI 2a' in the background area of the input image 2, then a change introduced into these neurons 1e will not lead to a change in the class assignment. The input image 2 is therefore still sorted into class 3a = "NOK". This can be used to test, for example, whether the CNN 1a learns certain features in the image background that are not desired.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

WO 2018/197074 A1 [0003]

Claims

Method (100) for checking the extent to which an image classifier (1) bases its decisions on image areas relevant to a specific application of the image classifier, ROI (2a), with the steps: • A trained image classifier (1) is provided (110) which maps an input image (2) to a class assignment to one or more classes (3a-3c) of a specified classification (3), this image classifier (1) being a convolutional neural network, CNN (1a), comprising a plurality of convolutional layers (1b); • at least one input image (2) is provided (120); • at least one ROI (2a) relevant to the application of the image classifier (1) of this input image (2) is provided (130); • from the architecture of the CNN (1a) and from parameters that characterize the behavior of the CNN (1a), neurons and / or other processing units (1d) of the CNN (1a) are determined (140) whose receptive field according to a predetermined criterion is similar to the ROI (2a); • at least one change is introduced (150) selectively into the determined neurons and/or other processing units (1d), and/or into the inputs of these neurons and/or other processing units (1d); • From the effect (150a) of this change on the class assignment supplied by the image classifier (1), it is evaluated (160) to what extent (2a*) the image classifier (1) bases its decision on the ROI (2a).

Method (100) according to claim 1 , wherein such neurons and/or other processing units (1d) of the CNN (1a) are selected which already receive outputs of further neurons and/or other processing units (1d') of the CNN (1a) as inputs.

Method (100) according to any one of Claims 1 until 2 , wherein the neurons and/or other processing units (1d), whose receptive field is similar to the ROI (2a), using the sizes of filter kernels, the step size in the application of filter kernels, and/or the dilation factors of filter kernels, in convolutional layers (1b) preceding the neurons or other processing units (1d) in the CNN (1a), respectively, are determined (141).

Method (100) according to any one of Claims 1 until 3 , where • the CNN (1a) is supplied with a large number of test images (2') (142) which differ from one another only within the ROI (2a), • the variances (ld#) of the activations (1d*) of Neurons and/or other processing units (1d, 1d') are determined (143) via these test images (2') and • neurons and/or other processing units (1d) whose receptive field is similar to the ROI (2a), can be determined using these variances (ld#) (144).

Method (100) according to claim 4 , it being determined (144a) for neurons and/or other processing units (1d) for which the variances (ld#) of the activations (1d*) reach or exceed a predetermined threshold value that their receptive field is similar to the ROI (2a ) is.

Method (100) according to any one of Claims 4 until 5 , it being determined (144b) for neurons and/or other processing units (1d) which, with regard to the variances (ld#) of the activations (1d*), achieve at least a predetermined percentage rank of all neurons or other processing units (1d, 1d') that its receptive field is similar to the ROI (2a).

Method (100) according to any one of Claims 1 until 6 , wherein the neurons and/or other processing units (1d) whose receptive field is similar to the ROI (2a) are selected (145) from layers (1b) of the CNN (1a) responsible for the extraction of features from the input -Image (2) are responsible.

Method (100) according to claim 7 , wherein the neurons and/or other processing units (1d) whose receptive field is similar to the ROI (2a) are selected (145a) from a layer of the CNN (1a) on which there is no other convolutional layer responsible for the extraction of features (1b) follows.

Method (100) according to any one of Claims 1 until 8th , wherein for neurons and/or other processing units (1d) whose receptive field is similar to the ROI (2a), it is drawn from at least one Bernoulli random distribution (151) whether the neuron or the processing unit is deactivated.

Method (100) according to any one of Claims 1 until 9 , the effect (150a) of the introduced change being determined (161) on the basis of a probability that the input image (2) will be assigned to a predetermined class (3a-3c) by the image classifier (1) under the effect of the change .

Method (100) according to claim 9 and 10 , where the probability is expressed as the arithmetic mean, as the variance and/or as the uncertainty of the softmax scores for various from the at least configurations of neurons and/or other processing units (1d) drawn from a Bernoulli random distribution are approximated (161a).

Method (100) according to any one of Claims 1 until 11 , wherein an image of a mass-produced product (11) is selected as input image (2) (121) and wherein the classes (3a-3c) of the classification (3) represent a quality assessment of the product (11).

Method (100) according to claim 12 , wherein an image area with a feature (12) that is relevant for the quality assessment of the product (11) is selected as ROI (2a) (131).

Method (100) according to any one of Claims 1 until 11 , wherein an image of a traffic situation taken from a vehicle is selected as the input image (2) (122) and wherein the classes (3a-3c) of the classification (3) represent assessments of the traffic situation, on the basis of which the future behavior of the vehicle is planned.

Method (100) according to Claim 14 , wherein at least one image area is identified as important for the assessment of the traffic situation independently of the CNN (1a) and selected as ROI (2a) (132).

Computer program containing machine-readable instructions which, when executed on one or more computers, cause the computer or computers to perform the method (100) according to any one of Claims 1 until 15 to execute.

Machine-readable data carrier with the computer program Claim 16 .

Computer equipped with the computer program according to Claim 16 , and/or with the machine-readable data medium Claim 17 .